CN112182273A - 基于语义约束矩阵分解哈希的跨模态检索方法及其系统 - Google Patents
基于语义约束矩阵分解哈希的跨模态检索方法及其系统 Download PDFInfo
- Publication number
- CN112182273A CN112182273A CN202011024844.1A CN202011024844A CN112182273A CN 112182273 A CN112182273 A CN 112182273A CN 202011024844 A CN202011024844 A CN 202011024844A CN 112182273 A CN112182273 A CN 112182273A
- Authority
- CN
- China
- Prior art keywords
- matrix
- semantic
- hash
- hash code
- potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 34
- 230000006870 function Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013139 quantization Methods 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于语义约束矩阵分解哈希的跨模态检索方法,包括输入不同模态的原始特征矩阵,根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵,再利用语义相似矩阵约束两个模态潜在语义矩阵,以及根据潜在语义矩阵和正交旋转矩阵生成哈希码,最后利用潜在语音矩阵从所述哈希码中获取类标签。本发明方法通过使用语义相似矩阵来约束每个模态的模态特定表示,检索效果优于现有的矩阵分解方法,同时在三个数据集上的大量实验表明,本发明具有更好的检索性能。
Description
技术领域
本发明属于哈希码检索领域,具体涉及一种基于语义约束矩阵分解哈希的跨模态检索方法及其系统。
背景技术
随着文本、图像、音频、视频等多媒体数据的大量增长,跨模态检索引起了广泛的关注。以文本和图像模态为例,跨模态检索的任务是给定一个查询的模态,然后在其他不同模态下查询并返回其相似结果。它在计算机视觉、文本挖掘和信息检索中得到了广泛的研究和应用,如何有效地进行跨模态检索已成为研究的热点。
近年来,基于哈希的跨模态检索方法因其存储成本低、查询速度快等优点得到了广泛的研究。现有的跨模态哈希方法主要是将多模态数据投影到一个公共语义空间中,并利用统一的哈希码来表示异构数据点。在是否利用标签信息方面,我们可以将现有的跨模态哈希方法大致分为三类,即无监督方法、半监督方法和监督方法。一般来说,虽然有些标签可能存在损坏或不准确,但标签信息对于学习更多的有判别性特征是有用的。因此,监督的跨模态哈希方法通常可以获得更好的检索性能。
矩阵分解有着悠久的历史,奇异值分解、LU分解、QR分解和特征分解等许多著名的技术在计算机视觉中得到了广泛的应用。近年来,矩阵分解在跨模态哈希中也发挥了重要作用,并且从图像/文本中挖掘语义概念或潜在主题方面取得了显著的成就。现有的一些方法简单地建立了一个公共的潜在语义空间。例如丁贵广等人首先将协同矩阵分解引入到跨模态检索中,提出了协同矩阵分解哈希算法(CMFH),它利用协同矩阵分解来学习不同模态下的统一哈希码;姚涛等人提出了一种高效的离散监督哈希算法(EDSH),该算法将异构特征的协同矩阵分解和类标签的语义嵌入无缝地集成到哈希码中;高等人提出了一种基于超图的离散矩阵分解哈希算法(HDMFH),它结合超图学习来捕捉每种模态下样本之间的高阶关系;王等人提出了一种标签一致矩阵分解哈希算法(LCMFH),它直接使用语义标签来指导哈希学习过程。而另一些方法则利用相关矩阵或正交旋转变换去对齐潜在语义空间。例如王等人提出了一种联合和个别矩阵分解散列(JIMFH),它联合学习多模态数据的统一哈希码和单个哈希码的最佳组合;熊等人提出了一种基于对齐的特定模态矩阵分解哈希算法(MsMFH),它学习每个模态的特定于模态的语义表示,然后通过相关信息对表示进行对齐。然而,公共的潜在语义表示方法会失去个体和有用的特定模态特征,不能充分利用每个模态的内在信息,相关矩阵或正交旋转变换也不能很好地约束潜在语义表示。
发明内容
本发明的目的是在于提供一种基于语义约束矩阵分解哈希的跨模态检索方法,该方法利用语义相似矩阵来很好地约束潜在语义表示,能够充分利用每个模态的内在信息和有用的特定模态信息,使得图像和文本检索更精确,可应用于监督跨模态检索中。
为了实现上述目标,本发明采用如下技术方案:
一种基于语义约束矩阵分解哈希的跨模态检索方法,包括输入不同模态的原始特征矩阵,先根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵,再利用语义相似矩阵约束两个模态潜在语义矩阵,以及根据潜在语义矩阵和正交旋转矩阵生成哈希码,最后利用潜在语音矩阵从所述哈希码中获取类标签。
为了保留每种模态的特定属性和多模态数据的共享属性,本发明同时分别分解两种模态,个体矩阵分解(IMF)的目标函数如下:
采用不同模态之间的相关性,所述利用语义相似矩阵去约束个体的潜在语义矩阵的具体实现过程如下:
然后为了对不同模态之间的联系进行建模,利用语义相似矩阵来约束来自不同模态的特定于模态的表示形式,通过解决以下问题,
所述从潜在语义矩阵中引入正交旋转矩阵R来生成哈希码,所述哈希码矩阵为:
所述通过潜在语义矩阵从哈希码中获取类标签,即:
本发明还一种基于语义约束矩阵分解哈希的跨模态检索模型,所述检索模型:
本发明又提供了一种基于语义约束矩阵分解哈希的跨模态检索系统,包括个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块;
所述个体矩阵分解模块用于分解图片和文本模态得到潜在语义矩阵;
所述标签约束模块用于利用语义相似矩阵拘束所述潜在语义矩阵,加强不同模态潜在语义矩阵之间的一致性;
所述学习哈希函数模块用于图片和文本模态的原始特征矩阵线性投影至所述潜在语义矩阵中生成所述哈希码矩阵;
所述标签保存模块用于从哈希码矩阵获取不同模态的类标签。
相较于现有技术,本发明方法通过使用语义相似矩阵来约束每个模态的模态特定表示,检索效果优于现有的矩阵分解方法,同时在三个数据集上的大量实验表明,本发明具有更好的检索性能。
附图说明
图1为本发明方法的流程图。
图2为本发明方法提出的算法架构图。
图3为EDSH、MsMFH和本发明方法在Wikipedia数据集上的前10个检索结果。
具体实施方式
如图1所示,本发明提供了一种基于语义约束矩阵分解哈希的跨模态检索方法,并根据该方法设计了对应的系统:所述检测系统包括个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块。
本实施例所述的基于语义约束矩阵分解哈希的跨模态检索方法包括输入不同模态的原始特征矩阵,先根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵,再利用语义相似矩阵约束两个模态潜在语义矩阵,以及根据潜在语义矩阵和正交旋转矩阵生成哈希码,最后利用潜在语音矩阵从所述哈希码中获取类标签。
所述个体矩阵分解模块用于分解图片和文本模态得到潜在语义矩阵;为了保留每种模态的特定属性和多模态数据的共享属性,本实施例同时分别分解每种模态,个体矩阵分解的目标函数如下,
所述标签约束模块用于利用语义相似矩阵拘束所述潜在语义矩阵,加强不同模态潜在语义矩阵之间的一致性。
为了对不同模态之间的联系进行建模,使用语义相似矩阵来约束来自不同模态的特定于模态的表示形式,通过以下模型解决:
所述学习哈希码模块用于图片和文本模态的原始特征矩阵线性投影至所述潜在语义矩阵中生成所述哈希码矩阵;为了处理样本外的实例,本实施例分别通过两个线性投影将图像和文本原始特征矩阵映射到潜在语义矩阵中生成哈希码,所述哈希码函数模型为:
再通过从潜在语义矩阵引入正交旋转矩阵R来生成哈希码,
所述标签保存模块用于从哈希码矩阵获取不同模态的类标签;为了充分利用标签信息,进一步假设可以从哈希码中获得标签,利用潜在语音矩阵从所述哈希码B中获取类标签Y,即将B映射到类标签Y中,具体模型如下;
最后个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块相结合,得到检索模型如下:
为了验证本实施例方法在跨模态检索上的优越性,选择3个公开的数据集上进行实验,其中包括Wikipedia数据集,Mirflickr25k数据集和NUS-WIDE数据集;跨模态检索评价采用mAP,并且还显示了在Wikipedia数据集上的Top-10检索结果;实验中,本实施例方法训练均运行10次,取其平均值作为最终结果,参数设置为:αi=0.1,γ=5,β=0.001,η=10,μ=2。
表1:在Wikipedia数据集上的mAP@100分数比较
表2:在Mirflickr25k数据集上的mAP@100分数比较
表3:在NUS-WIDE数据集上的mAP@100分数比较
(1)mAP值在三个公开数据集上的结果分析
本实施例方法与现有的9种跨模态检索方法进行比较,即CCA、IMH、STMH、CMFH、SMFH、SCRATCH-o、SCM-orth、EDSH、MsMFH。所有的方法在三个数据集上进行了对比实验,如以上3个表所示,本实施例方法的mAP值均高于其他对比实验方法,表明其语义相似矩阵约束潜在语义表示的效果好于其他的方法。
(2)Top-10检索结果的对比分析
如图3所示,MsMFH和EDSH方法有相同的故障案例,与我们的方法相比,该方法在文本查询图像任务中也有一次不成功,但检索结果与查询结果具有直观的语义相关性。
以上所述仅是本发明优选的实施方式,但本发明的保护范围并不局限于此,任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。
Claims (7)
1.基于语义约束矩阵分解哈希的跨模态检索方法,其特征在于包括:输入不同模态的原始特征矩阵,根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵,再利用语义相似矩阵约束两个模态潜在语义矩阵,以及根据潜在语义矩阵和正交旋转矩阵生成哈希码,最后利用潜在语音矩阵从所述哈希码中获取类标签。
7.基于语义约束矩阵分解哈希的跨模态检索系统,其特征在于:包括个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块;
所述个体矩阵分解模块用于分解图片和文本模态得到潜在语义矩阵;
所述标签约束模块用于利用语义相似矩阵拘束所述潜在语义矩阵,加强不同模态潜在语义矩阵之间的一致性;
所述学习哈希函数模块用于图片和文本模态的原始特征矩阵线性投影至所述潜在语义矩阵中生成所述哈希码矩阵;
所述标签保存模块用于从哈希码矩阵获取不同模态的类标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011024844.1A CN112182273B (zh) | 2020-09-25 | 2020-09-25 | 基于语义约束矩阵分解哈希的跨模态检索方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011024844.1A CN112182273B (zh) | 2020-09-25 | 2020-09-25 | 基于语义约束矩阵分解哈希的跨模态检索方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112182273A true CN112182273A (zh) | 2021-01-05 |
CN112182273B CN112182273B (zh) | 2024-03-01 |
Family
ID=73943955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011024844.1A Active CN112182273B (zh) | 2020-09-25 | 2020-09-25 | 基于语义约束矩阵分解哈希的跨模态检索方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112182273B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112817569A (zh) * | 2021-02-06 | 2021-05-18 | 成都飞机工业(集团)有限责任公司 | 一种面向分析的数据快速映射方法、设备及存储介质 |
CN113536184A (zh) * | 2021-07-15 | 2021-10-22 | 广东工业大学 | 一种基于多源信息的用户划分方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017210949A1 (zh) * | 2016-06-06 | 2017-12-14 | 北京大学深圳研究生院 | 一种跨媒体检索方法 |
CN110110100A (zh) * | 2019-05-07 | 2019-08-09 | 鲁东大学 | 基于协同矩阵分解的离散监督跨媒体哈希检索方法 |
CN111259176A (zh) * | 2020-01-16 | 2020-06-09 | 合肥工业大学 | 融合有监督信息的基于矩阵分解的跨模态哈希检索方法 |
-
2020
- 2020-09-25 CN CN202011024844.1A patent/CN112182273B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017210949A1 (zh) * | 2016-06-06 | 2017-12-14 | 北京大学深圳研究生院 | 一种跨媒体检索方法 |
CN110110100A (zh) * | 2019-05-07 | 2019-08-09 | 鲁东大学 | 基于协同矩阵分解的离散监督跨媒体哈希检索方法 |
CN111259176A (zh) * | 2020-01-16 | 2020-06-09 | 合肥工业大学 | 融合有监督信息的基于矩阵分解的跨模态哈希检索方法 |
Non-Patent Citations (1)
Title |
---|
李新卫;吴飞;荆晓远;: "基于协同矩阵分解的单标签跨模态检索", 计算机技术与发展, no. 11 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112817569A (zh) * | 2021-02-06 | 2021-05-18 | 成都飞机工业(集团)有限责任公司 | 一种面向分析的数据快速映射方法、设备及存储介质 |
CN112817569B (zh) * | 2021-02-06 | 2023-10-17 | 成都飞机工业(集团)有限责任公司 | 一种面向分析的数据快速映射方法、设备及存储介质 |
CN113536184A (zh) * | 2021-07-15 | 2021-10-22 | 广东工业大学 | 一种基于多源信息的用户划分方法及系统 |
CN113536184B (zh) * | 2021-07-15 | 2022-05-31 | 广东工业大学 | 一种基于多源信息的用户划分方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112182273B (zh) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kaur et al. | Comparative analysis on cross-modal information retrieval: A review | |
Bai et al. | Optimization of deep convolutional neural network for large scale image retrieval | |
Nie et al. | Deep multiscale fusion hashing for cross-modal retrieval | |
Xu et al. | Learning unified binary codes for cross-modal retrieval via latent semantic hashing | |
Athitsos et al. | Boostmap: An embedding method for efficient nearest neighbor retrieval | |
Wu et al. | Pseudo-pair based self-similarity learning for unsupervised person re-identification | |
US20200104318A1 (en) | Multi-modal image search | |
Zhong et al. | Deep discrete cross-modal hashing for cross-media retrieval | |
Ji et al. | Deep multi-level semantic hashing for cross-modal retrieval | |
Shu et al. | Specific class center guided deep hashing for cross-modal retrieval | |
CN112182273B (zh) | 基于语义约束矩阵分解哈希的跨模态检索方法及其系统 | |
CN110866129A (zh) | 一种基于跨媒体统一表征模型的跨媒体检索方法 | |
CN116204706A (zh) | 一种文本内容结合图像分析的多模态内容检索方法与系统 | |
CN113270199A (zh) | 医学跨模态多尺度融合类别指导哈希方法及其系统 | |
Zhu et al. | Unpaired image captioning by image-level weakly-supervised visual concept recognition | |
CN116822515B (zh) | 一种基于实体跨度定位视觉区域的多模态命名实体识别方法及系统 | |
Perdana et al. | Instance-based deep transfer learning on cross-domain image captioning | |
CN117112743A (zh) | 文本自动生成问题的可回答性评估方法、系统及存储介质 | |
CN117173730A (zh) | 一种基于多模态信息的文档图像智能分析及处理方法 | |
CN116737877A (zh) | 基于注意力网络对抗哈希的跨模态检索方法及设备 | |
CN111984800B (zh) | 基于字典对学习的哈希跨模态信息检索方法 | |
Liu et al. | Feature grouping and local soft match for mobile visual search | |
CN111611427B (zh) | 基于线性鉴别分析深度哈希算法的图像检索方法及系统 | |
CN112199531B (zh) | 一种基于哈希算法和邻域图的跨模态检索方法及装置 | |
CN115544306A (zh) | 一种基于特征融合哈希算法的多模态检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |