CN114281950A - 基于多图加权融合的数据检索方法与系统 - Google Patents

基于多图加权融合的数据检索方法与系统 Download PDF

Info

Publication number
CN114281950A
CN114281950A CN202210214926.5A CN202210214926A CN114281950A CN 114281950 A CN114281950 A CN 114281950A CN 202210214926 A CN202210214926 A CN 202210214926A CN 114281950 A CN114281950 A CN 114281950A
Authority
CN
China
Prior art keywords
matrix
data
hash code
modalities
retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210214926.5A
Other languages
English (en)
Other versions
CN114281950B (zh
Inventor
刘兴波
李佳敏
聂秀山
王少华
尹义龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202210214926.5A priority Critical patent/CN114281950B/zh
Publication of CN114281950A publication Critical patent/CN114281950A/zh
Application granted granted Critical
Publication of CN114281950B publication Critical patent/CN114281950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于信息检索技术领域，提供了一种基于多图加权融合的数据检索方法与系统。为了解决检索不精确的问题，该检索方法包括基于目标函数得到映射矩阵，再根据映射矩阵对测试数据进行投影，对应生成测试数据哈希码矩阵；计算测试数据哈希码矩阵和基于目标函数得到的训练数据哈希码矩阵之间的汉明距离，并对其进行排序，得到测试数据的检索结果；其中，目标函数由六项构成，前两项是利用协同矩阵分解得到不同模态数据的潜在因子矩阵；第三项是学习模态内和模态间的相似图矩阵；第四项是通过模态间统一的共识图矩阵和潜在因子矩阵而生成统一的哈希码矩阵；第五项是学习哈希函数；第六项是正则化项。具有训练和检索速度快及检索性能高特点。

Description

基于多图加权融合的数据检索方法与系统
技术领域
本发明属于信息检索技术领域，尤其涉及一种基于多图加权融合的数据检索方法与系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着网络技术的迅速发展以及社交媒体中不同模态数据的指数级增长，目前不再仅限于单一模态数据间的相似性检索，而更多地是多模态数据间相互检索。多模态检索的任务是给定一个模态的查询对象，找到另一模态中的语义相似的集合，如文本检索图像、图像检索文本等。然而，在实际应用中，不同模态的数据往往具有不一致的底层特征结构，即多模态数据间的异构性问题。与此同时，对于大规模数据库，传统的多媒体检索技术由于存储空间和计算成本等限制，往往不能实现精确检索。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于多图加权融合的数据检索方法与系统，其能够同时保持模态内的相似结构信息和模态间语义关联信息，具有训练和检索速度快、检索性能高的特点。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于多图加权融合的数据检索方法，其包括：
基于目标函数得到映射矩阵，再根据映射矩阵对测试数据进行投影，对应生成测试数据哈希码矩阵；
计算测试数据哈希码矩阵和基于目标函数得到的训练数据哈希码矩阵之间的汉明距离，并对其进行排序，得到测试数据的检索结果；
其中，目标函数由六项构成，前两项是利用协同矩阵分解得到不同模态数据的潜在因子矩阵；第三项是学习模态内和模态间的相似图矩阵；第四项是通过模态间统一的共识图矩阵和潜在因子矩阵而生成统一的哈希码矩阵；第五项是学习哈希函数；第六项是正则化项；
目标函数的表达式为：
Figure 553073DEST_PATH_IMAGE001
在公式中，
Figure 210451DEST_PATH_IMAGE002
为图像模态的基矩阵，
Figure 520209DEST_PATH_IMAGE003
为文本模态的基矩阵，
Figure 276419DEST_PATH_IMAGE004
为多模态数据统一的潜在语义矩阵；
Figure 329826DEST_PATH_IMAGE005
为不同模态间的平衡参数；
Figure 169606DEST_PATH_IMAGE006
为F范数；
Figure 587949DEST_PATH_IMAGE007
为图像数据；
Figure 145969DEST_PATH_IMAGE008
为图像数据的维度，
Figure 737488DEST_PATH_IMAGE009
为训练集样本对的数量；
Figure 618725DEST_PATH_IMAGE010
为文本数据；
Figure 535865DEST_PATH_IMAGE011
为文本数据的维度；
Figure 253286DEST_PATH_IMAGE012
为不同模态的相似图矩阵；
Figure 648495DEST_PATH_IMAGE013
为模态间的统一的共识图矩阵；
Figure 462867DEST_PATH_IMAGE014
为不同模态的权重系数；
Figure 973745DEST_PATH_IMAGE015
为不同模态的训练数据，m=1表示图像模态，m=2表示文本模态；
Figure 240779DEST_PATH_IMAGE016
为正则项的权重参数；
Figure 439679DEST_PATH_IMAGE017
为各个模态相似图与模态间统一共识图重构误差项的权重参数；
Figure 46241DEST_PATH_IMAGE018
和
Figure 39604DEST_PATH_IMAGE019
分别表示图像模态和文本模态的映射矩阵；
Figure 793934DEST_PATH_IMAGE020
表示哈希码相似性约束项的权重参数；
Figure 717896DEST_PATH_IMAGE021
表示哈希码的编码位数；
Figure 241281DEST_PATH_IMAGE022
表示哈希函数学习项的权重参数；
Figure 671126DEST_PATH_IMAGE023
表示正则约束项的权重参数；
Figure 850434DEST_PATH_IMAGE024
表示正则约束项，防止过度拟合，
Figure 125558DEST_PATH_IMAGE025
；
Figure 472093DEST_PATH_IMAGE026
表示常系数矩阵；
Figure 807259DEST_PATH_IMAGE027
表示矩阵
Figure 536181DEST_PATH_IMAGE028
的转置；
Figure 552678DEST_PATH_IMAGE029
表示单位矩阵。
作为一种实施方式，在所述目标函数中，协同矩阵分解的目标为：
通过分解数据的不同模态来学习哈希码矩阵，保持各个模态的特有语义信息和多模态数据的共享语义信息。
作为一种实施方式，在所述目标函数中，通过子空间自表示学习和反距离加权融合方法学习模态内和模态间的相似图矩阵。
作为一种实施方式，通过子空间自表示学习的方法分别学习各个模态的相似图，使得相似数据生成尽可能相同的哈希编码。
作为一种实施方式，通过反距离加权融合策略将各个模态的相似图加权融合成模态间统一的共识图，以保持各个模态内的相似结构信息并减小多模态数据之间的异构鸿沟。
作为一种实施方式，在所述目标函数中，所述哈希函数为线性映射。
作为一种实施方式，在所述目标函数中，所述哈希函数学习的目标为：
使得原始数据经过映射矩阵投影后与学习到的哈希码矩阵之间的量化损失最小，并对映射矩阵施加F范数约束学习的判别性。
本发明的第二个方面提供一种基于多图加权融合的数据检索系统，其包括：
哈希码矩阵生成模块，其用于基于目标函数得到映射矩阵，再根据映射矩阵对测试数据进行投影，对应生成测试数据哈希码矩阵；
检索结果获取模块，其用于计算测试数据哈希码矩阵和基于目标函数得到的训练数据哈希码矩阵之间的汉明距离，并对其进行排序，得到测试数据的检索结果；
其中，目标函数由六项构成，前两项是利用协同矩阵分解得到不同模态数据的潜在因子矩阵；第三项是学习模态内和模态间的相似图矩阵；第四项是通过模态间统一的共识图矩阵和潜在因子矩阵而生成统一的哈希码矩阵；第五项是学习哈希函数；第六项是正则化项；
目标函数的表达式为：
Figure 50656DEST_PATH_IMAGE030
在公式中，
Figure 822303DEST_PATH_IMAGE002
为图像模态的基矩阵，
Figure 959892DEST_PATH_IMAGE003
为文本模态的基矩阵，
Figure 842397DEST_PATH_IMAGE004
为多模态数据统一的潜在语义矩阵；
Figure 194881DEST_PATH_IMAGE005
为不同模态间的平衡参数；
Figure 75112DEST_PATH_IMAGE006
为F范数；
Figure 513047DEST_PATH_IMAGE007
为图像数据；
Figure 622080DEST_PATH_IMAGE008
为图像数据的维度，
Figure 94649DEST_PATH_IMAGE009
为训练集样本对的数量；
Figure 208099DEST_PATH_IMAGE010
为文本数据；
Figure 71013DEST_PATH_IMAGE011
为文本数据的维度；
Figure 295321DEST_PATH_IMAGE012
为不同模态的相似图矩阵；
Figure 356817DEST_PATH_IMAGE013
为模态间的统一的共识图矩阵；
Figure 828119DEST_PATH_IMAGE014
为不同模态的权重系数；
Figure 240646DEST_PATH_IMAGE015
为不同模态的训练数据，m=1表示图像模态，m=2表示文本模态；
Figure 268645DEST_PATH_IMAGE016
为正则项的权重参数；
Figure 387910DEST_PATH_IMAGE017
为各个模态相似图与模态间统一共识图重构误差项的权重参数；
Figure 577583DEST_PATH_IMAGE018
和
Figure 162892DEST_PATH_IMAGE019
分别表示图像模态和文本模态的映射矩阵；
Figure 729002DEST_PATH_IMAGE020
表示哈希码相似性约束项的权重参数；
Figure 30671DEST_PATH_IMAGE021
表示哈希码的编码位数；
Figure 328928DEST_PATH_IMAGE022
表示哈希函数学习项的权重参数；
Figure 716047DEST_PATH_IMAGE023
表示正则约束项的权重参数；
Figure 85849DEST_PATH_IMAGE024
表示正则约束项，防止过度拟合，
Figure 163395DEST_PATH_IMAGE025
；
Figure 960450DEST_PATH_IMAGE026
表示常系数矩阵；
Figure 569285DEST_PATH_IMAGE027
表示矩阵
Figure 680461DEST_PATH_IMAGE028
的转置；
Figure 691142DEST_PATH_IMAGE029
表示单位矩阵。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多图加权融合的数据检索方法中的步骤。
本发明的第四个方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多图加权融合的数据检索方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明基于目标函数得到映射矩阵，进而根据映射矩阵对测试数据进行投影，对应生成测试数据哈希码矩阵，最后通过计算测试数据哈希码矩阵和已知训练数据哈希码矩阵之间的汉明距离，并对其进行排序，得到测试数据的检索结果；本发明得到映射矩阵的目标函数利用协同矩阵分解方法保持不同模态数据间的潜在语义关联信息，同时利用子空间自表示的方法学习各模态的相似图，保持模态内数据的相似结构信息，进而将学习到的不同模态的相似图加权融合成模态间统一的共识图矩阵，缩小了模态间数据的异构鸿沟问题，提高了训练和检索速度快以及检索性能，此方法应用于广泛的无监督数据集，提高了大规模跨模态数据的互检索性能。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于多图加权融合的数据检索方法流程图；
图2是本发明实施例的基于多图加权融合的数据检索系统结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了一种基于多图加权融合的数据检索方法，其具体包括如下步骤：
S101：基于目标函数得到映射矩阵，再根据映射矩阵对测试数据进行投影，对应生成测试数据哈希码矩阵。
其中，目标函数由六项构成，前两项是利用协同矩阵分解得到不同模态数据的潜在因子矩阵；第三项是学习模态内和模态间的相似图矩阵；第四项是通过模态间统一的共识图矩阵和潜在因子矩阵而生成统一的哈希码矩阵；第五项是学习哈希函数；第六项是正则化项。
在具体实施中，在所述目标函数中，协同矩阵分解的目标为：通过分解数据的不同模态来学习哈希码矩阵，保持各个模态的特有语义信息和多模态数据的共享语义信息。
以原始数据集中模态包括图像数据和文本数据这两种模态数据为例：
对原始数据集的训练样本数据进行中心化处理，得到相应的去中心化训练样本数据，包括中心化的图像训练数据，简称为图像数据，记为
Figure 659098DEST_PATH_IMAGE007
；
且
Figure 443646DEST_PATH_IMAGE031
，其中
Figure 155250DEST_PATH_IMAGE032
表示图像数据训练样本，
Figure 20438DEST_PATH_IMAGE008
为图像数据的维度，
Figure 96978DEST_PATH_IMAGE009
为训练集样本对的数量；中心化的文本训练数据，简称为文本数据，记为：
Figure 680406DEST_PATH_IMAGE010
；
且
Figure 930122DEST_PATH_IMAGE033
，其中
Figure 102346DEST_PATH_IMAGE034
表示文本数据训练样本，
Figure 412105DEST_PATH_IMAGE035
为文本数据的维度。n为训练样本的数量。
下面分别对图像训练数据
Figure 420512DEST_PATH_IMAGE036
和文本训练数据
Figure 473919DEST_PATH_IMAGE037
进行协同矩阵分解，协同矩阵分解的目标函数如下：
Figure 313699DEST_PATH_IMAGE038
其中，
Figure 485704DEST_PATH_IMAGE002
为图像模态的基矩阵，
Figure 778145DEST_PATH_IMAGE003
为文本模态的基矩阵，
Figure 635242DEST_PATH_IMAGE004
为多模态数据统一的潜在语义矩阵。
Figure 267212DEST_PATH_IMAGE021
表示哈希码的编码位数；
Figure 918773DEST_PATH_IMAGE005
为不同模态间的平衡参数。
Figure 151040DEST_PATH_IMAGE006
为F范数。
具体地，在所述目标函数中，通过子空间自表示学习和反距离加权融合方法学习模态内和模态间的相似图矩阵。
其中，通过子空间自表示学习的方法分别学习各个模态的相似图，使得相似数据生成尽可能相同的哈希编码。
子空间自表示学习模型被广泛应用于数据的相似性学习，自表示特性认为模态中的每个数据样本都可以由同一模态中其他样本的线性组合表示。
其中，通过反距离加权融合策略将各个模态的相似图加权融合成模态间统一的共识图，以保持各个模态内的相似结构信息并减小多模态数据之间的异构鸿沟。重构误差如下：
Figure 546250DEST_PATH_IMAGE039
其中，
Figure 95043DEST_PATH_IMAGE012
为不同模态的相似图矩阵，
Figure 120767DEST_PATH_IMAGE040
为模态间的统一的共识图矩阵，
Figure 387801DEST_PATH_IMAGE014
为不同模态的权重系数。
Figure 586701DEST_PATH_IMAGE015
为不同模态的训练数据，m=1表示图像模态，m=2表示文本模态。
Figure 678416DEST_PATH_IMAGE016
为正则项的权重参数。
Figure 937359DEST_PATH_IMAGE017
为各个模态相似图与模态间统一共识图重构误差项的权重参数。
在具体实施过程中，在所述目标函数中，所述哈希函数为线性映射。
在所述目标函数中，所述哈希函数学习的目标为：
使得原始数据经过映射矩阵投影后与学习到的哈希码矩阵之间的量化损失最小，并对映射矩阵施加F范数约束学习的判别性。
具体地，利用构建的线性映射矩阵并对该映射矩阵进行学习，学习不同模态的线性映射矩阵，利用线性映射作为哈希函数。
哈希函数学习的目标函数定义如下：
Figure 691688DEST_PATH_IMAGE041
其中，
Figure 366383DEST_PATH_IMAGE018
和
Figure 889769DEST_PATH_IMAGE019
表示图像模态和文本模态的映射矩阵。
Figure 319613DEST_PATH_IMAGE026
表示常系数矩阵；
Figure 482610DEST_PATH_IMAGE029
表示单位矩阵。
在步骤S101中，在测试数据的哈希码矩阵的过程中，将待检索的图像数据右乘以
Figure 23313DEST_PATH_IMAGE042
后取符号函数
Figure 666784DEST_PATH_IMAGE043
变为1和-1或者将待检索的文本数据右乘以
Figure 939633DEST_PATH_IMAGE019
后取符号函数
Figure 354040DEST_PATH_IMAGE043
，生成测试数据的哈希码矩阵。
在步骤S101中，最终的目标函数为：
Figure 432855DEST_PATH_IMAGE030
其中，
Figure 868515DEST_PATH_IMAGE020
表示哈希码相似性约束项的权重参数；
Figure 561534DEST_PATH_IMAGE022
表示哈希函数学习项的权重参数；
Figure 715435DEST_PATH_IMAGE023
表示正则约束项的权重参数；
Figure 286355DEST_PATH_IMAGE044
表示正则约束项，防止过度拟合，其中，
Figure 638839DEST_PATH_IMAGE025
；
Figure 519071DEST_PATH_IMAGE027
表示矩阵
Figure 143956DEST_PATH_IMAGE045
的转置。
S102：计算测试数据哈希码矩阵和基于目标函数得到的训练数据哈希码矩阵之间的汉明距离，并对其进行排序，得到测试数据的检索结果。
本实施例通过利用协同矩阵分解方法保持不同模态数据间的潜在语义关联信息，同时学习不同模态的相似图和模态间的共识图保持多模态数据的一致性和互补性，结合约束项，建立目标函数；在查询阶段，通过目标函数得到的映射矩阵，生成测试数据集的哈希码，实现跨模态检索。
为了验证本实施例的该方法在跨模态检索上的优越性，选择3个公开的数据集上进行实验，其中包括Wiki数据集，PASCAL-VOC数据集和UCI Handwritten Digit数据集；跨模态检索评价采用MAP。
其中，MAP：是对多个查询语句的AveP求均值(the mean of average precisionscores)。
AveP：是把准确率P看做是召回率R的函数，即：P=f(R)，也就是随着召回率R从0到1，准确率P的变化情况。那么就可以对函数P=f(R)在R上进行积分，可以求P的期望均值。
表1在Wiki数据集上的实验结果
Figure 502256DEST_PATH_IMAGE046
表2在PASCAL-VOC数据集上的实验结果
Figure 974826DEST_PATH_IMAGE047
表3在UCI Handwritten Digit数据集上的实验结果
Figure 822696DEST_PATH_IMAGE048
通过表1、表2和表3说明：
本实施例方法与现有的8种跨模态检索方法进行比较，即CVH、CCA、IMH、RCH、FSH、RFDH、CRE和JIMFH这8种跨模态检索方法。
所有方法在如表1、表2和表3这三个数据集上进行了对比实验，图像检索文本和文本检索图像两个任务上哈希码从16比特变化到128比特，本实例方法的MAP值优于其他对比实验方法，证明了其利用多图加权融合策略约束生成哈希码的效果好于其他的方法。
实施例二
如图2所示，本实施例提供了一种基于多图加权融合的数据检索系统，其具体包括如下模块：
（1）哈希码矩阵生成模块，其用于基于目标函数得到映射矩阵，再根据映射矩阵对测试数据进行投影，对应生成测试数据哈希码矩阵；
其中，目标函数由六项构成，前两项是利用协同矩阵分解得到不同模态数据的潜在因子矩阵；第三项是学习模态内和模态间的相似图矩阵；第四项是通过模态间统一的共识图矩阵和潜在因子矩阵而生成统一的哈希码矩阵；第五项是学习哈希函数；第六项是正则化项。
目标函数的表达式为：
Figure 427553DEST_PATH_IMAGE030
在公式中，
Figure 651861DEST_PATH_IMAGE002
为图像模态的基矩阵，
Figure 978937DEST_PATH_IMAGE003
为文本模态的基矩阵，
Figure 200971DEST_PATH_IMAGE004
为多模态数据统一的潜在语义矩阵；
Figure 613498DEST_PATH_IMAGE005
为不同模态间的平衡参数；
Figure 562868DEST_PATH_IMAGE006
为F范数；
Figure 744451DEST_PATH_IMAGE007
为图像数据；
Figure 199703DEST_PATH_IMAGE008
为图像数据的维度，
Figure 37209DEST_PATH_IMAGE009
为训练集样本对的数量；
Figure 603320DEST_PATH_IMAGE010
为文本数据；
Figure 639409DEST_PATH_IMAGE011
为文本数据的维度；
Figure 953978DEST_PATH_IMAGE012
为不同模态的相似图矩阵；
Figure 341097DEST_PATH_IMAGE013
为模态间的统一的共识图矩阵；
Figure 445319DEST_PATH_IMAGE014
为不同模态的权重系数；
Figure 726128DEST_PATH_IMAGE015
为不同模态的训练数据，m=1表示图像模态，m=2表示文本模态；
Figure 523182DEST_PATH_IMAGE016
为正则项的权重参数；
Figure 132018DEST_PATH_IMAGE017
为各个模态相似图与模态间统一共识图重构误差项的权重参数；
Figure 928679DEST_PATH_IMAGE018
和
Figure 939361DEST_PATH_IMAGE019
分别表示图像模态和文本模态的映射矩阵；
Figure 969634DEST_PATH_IMAGE020
表示哈希码相似性约束项的权重参数；
Figure 754181DEST_PATH_IMAGE021
表示哈希码的编码位数；
Figure 137889DEST_PATH_IMAGE022
表示哈希函数学习项的权重参数；
Figure 268656DEST_PATH_IMAGE023
表示正则约束项的权重参数；
Figure 594464DEST_PATH_IMAGE024
表示正则约束项，防止过度拟合，
Figure 115575DEST_PATH_IMAGE025
；
Figure 365291DEST_PATH_IMAGE026
表示常系数矩阵；
Figure 41910DEST_PATH_IMAGE027
表示矩阵
Figure 351668DEST_PATH_IMAGE028
的转置；
Figure 547026DEST_PATH_IMAGE029
表示单位矩阵。
具体地，在所述目标函数中，协同矩阵分解的目标为：
通过分解数据的不同模态来学习哈希码矩阵，保持各个模态的特有语义信息和多模态数据的共享语义信息。
在所述目标函数中，通过子空间自表示学习和反距离加权融合方法学习模态内和模态间的相似图矩阵。
（2）检索结果获取模块，其用于计算测试数据哈希码矩阵和基于目标函数得到的训练数据哈希码矩阵之间的汉明距离，并对其进行排序，得到测试数据的检索结果。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多图加权融合的数据检索方法中的步骤。
实施例四
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多图加权融合的数据检索方法中的步骤。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
本发明是参照本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多图加权融合的数据检索方法，其特征在于，包括：
基于目标函数得到映射矩阵，再根据映射矩阵对测试数据进行投影，对应生成测试数据哈希码矩阵；
计算测试数据哈希码矩阵和基于目标函数得到的训练数据哈希码矩阵之间的汉明距离，并对其进行排序，得到测试数据的检索结果；
其中，目标函数由六项构成，前两项是利用协同矩阵分解得到不同模态数据的潜在因子矩阵；第三项是学习模态内和模态间的相似图矩阵；第四项是通过模态间统一的共识图矩阵和潜在因子矩阵而生成统一的哈希码矩阵；第五项是学习哈希函数；第六项是正则化项；
目标函数的表达式为：
Figure 115915DEST_PATH_IMAGE001
在公式中，
Figure 362351DEST_PATH_IMAGE002
为图像模态的基矩阵，
Figure 953869DEST_PATH_IMAGE003
为文本模态的基矩阵，
Figure 913735DEST_PATH_IMAGE004
为多模态数据统一的潜在语义矩阵；
Figure 502979DEST_PATH_IMAGE005
为不同模态间的平衡参数；
Figure 282716DEST_PATH_IMAGE006
为F范数；
Figure 677925DEST_PATH_IMAGE007
为图像数据；
Figure 679248DEST_PATH_IMAGE008
为图像数据的维度，
Figure 501711DEST_PATH_IMAGE009
为训练集样本对的数量；
Figure 768744DEST_PATH_IMAGE010
为文本数据；
Figure 905327DEST_PATH_IMAGE011
为文本数据的维度；
Figure 574206DEST_PATH_IMAGE012
为不同模态的相似图矩阵；
Figure 567570DEST_PATH_IMAGE013
为模态间的统一的共识图矩阵；
Figure 13244DEST_PATH_IMAGE014
为不同模态的权重系数；
Figure 15836DEST_PATH_IMAGE015
为不同模态的训练数据，m=1表示图像模态，m=2表示文本模态；
Figure 539221DEST_PATH_IMAGE016
为正则项的权重参数；
Figure 641169DEST_PATH_IMAGE017
为各个模态相似图与模态间统一共识图重构误差项的权重参数；
Figure 882794DEST_PATH_IMAGE018
和
Figure 423497DEST_PATH_IMAGE019
分别表示图像模态和文本模态的映射矩阵；
Figure 988340DEST_PATH_IMAGE020
表示哈希码相似性约束项的权重参数；
Figure 589085DEST_PATH_IMAGE021
表示哈希码的编码位数；
Figure 52428DEST_PATH_IMAGE022
表示哈希函数学习项的权重参数；
Figure 334504DEST_PATH_IMAGE023
表示正则约束项的权重参数；
Figure 566903DEST_PATH_IMAGE024
表示正则约束项，防止过度拟合，
Figure 26965DEST_PATH_IMAGE025
；
Figure 977603DEST_PATH_IMAGE026
表示常系数矩阵；
Figure 860109DEST_PATH_IMAGE027
表示矩阵
Figure 150276DEST_PATH_IMAGE028
的转置；
Figure 92824DEST_PATH_IMAGE029
表示单位矩阵。
2.如权利要求1所述的基于多图加权融合的数据检索方法，其特征在于，在所述目标函数中，协同矩阵分解的目标为：
通过分解数据的不同模态来学习哈希码矩阵，保持各个模态的特有语义信息和多模态数据的共享语义信息。
3.如权利要求1所述的基于多图加权融合的数据检索方法，其特征在于，在所述目标函数中，通过子空间自表示学习和反距离加权融合方法学习模态内和模态间的相似图矩阵。
4.如权利要求3所述的基于多图加权融合的数据检索方法，其特征在于，通过子空间自表示学习的方法分别学习各个模态的相似图，使得相似数据生成尽可能相同的哈希编码。
5.如权利要求3所述的基于多图加权融合的数据检索方法，其特征在于，通过反距离加权融合策略将各个模态的相似图加权融合成模态间统一的共识图，以保持各个模态内的相似结构信息并减小多模态数据之间的异构鸿沟。
6.如权利要求1所述的基于多图加权融合的数据检索方法，其特征在于，在所述目标函数中，所述哈希函数为线性映射。
7.如权利要求1所述的基于多图加权融合的数据检索方法，其特征在于，在所述目标函数中，所述哈希函数学习的目标为：
使得原始数据经过映射矩阵投影后与学习到的哈希码矩阵之间的量化损失最小，并对映射矩阵施加F范数约束学习的判别性。
8.一种基于多图加权融合的数据检索系统，其特征在于，包括：
哈希码矩阵生成模块，其用于基于目标函数得到映射矩阵，再根据映射矩阵对测试数据进行投影，对应生成测试数据哈希码矩阵；
检索结果获取模块，其用于计算测试数据哈希码矩阵和基于目标函数得到的训练数据哈希码矩阵之间的汉明距离，并对其进行排序，得到测试数据的检索结果；
其中，目标函数由六项构成，前两项是利用协同矩阵分解得到不同模态数据的潜在因子矩阵；第三项是学习模态内和模态间的相似图矩阵；第四项是通过模态间统一的共识图矩阵和潜在因子矩阵而生成统一的哈希码矩阵；第五项是学习哈希函数；第六项是正则化项；
目标函数的表达式为：
Figure 717709DEST_PATH_IMAGE001
在公式中，
Figure 403906DEST_PATH_IMAGE002
为图像模态的基矩阵，
Figure 548579DEST_PATH_IMAGE003
为文本模态的基矩阵，
Figure 662029DEST_PATH_IMAGE004
为多模态数据统一的潜在语义矩阵；
Figure 272745DEST_PATH_IMAGE005
为不同模态间的平衡参数；
Figure 497053DEST_PATH_IMAGE006
为F范数；
Figure 824129DEST_PATH_IMAGE007
为图像数据；
Figure 780584DEST_PATH_IMAGE008
为图像数据的维度，
Figure 193111DEST_PATH_IMAGE009
为训练集样本对的数量；
Figure 221110DEST_PATH_IMAGE010
为文本数据；
Figure 589643DEST_PATH_IMAGE011
为文本数据的维度；
Figure 44895DEST_PATH_IMAGE012
为不同模态的相似图矩阵；
Figure 679139DEST_PATH_IMAGE013
为模态间的统一的共识图矩阵；
Figure 182932DEST_PATH_IMAGE014
为不同模态的权重系数；
Figure 484601DEST_PATH_IMAGE015
为不同模态的训练数据，m=1表示图像模态，m=2表示文本模态；
Figure 110754DEST_PATH_IMAGE016
为正则项的权重参数；
Figure 920709DEST_PATH_IMAGE017
为各个模态相似图与模态间统一共识图重构误差项的权重参数；
Figure 290511DEST_PATH_IMAGE018
和
Figure 446686DEST_PATH_IMAGE019
分别表示图像模态和文本模态的映射矩阵；
Figure 181424DEST_PATH_IMAGE020
表示哈希码相似性约束项的权重参数；
Figure 790259DEST_PATH_IMAGE021
表示哈希码的编码位数；
Figure 698173DEST_PATH_IMAGE022
表示哈希函数学习项的权重参数；
Figure 895805DEST_PATH_IMAGE023
表示正则约束项的权重参数；
Figure 863761DEST_PATH_IMAGE024
表示正则约束项，防止过度拟合，
Figure 959893DEST_PATH_IMAGE030
；
Figure 609180DEST_PATH_IMAGE026
表示常系数矩阵；
Figure 474368DEST_PATH_IMAGE027
表示矩阵
Figure 316289DEST_PATH_IMAGE028
的转置；
Figure 899717DEST_PATH_IMAGE029
表示单位矩阵。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多图加权融合的数据检索方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多图加权融合的数据检索方法中的步骤。
CN202210214926.5A 2022-03-07 2022-03-07 基于多图加权融合的数据检索方法与系统 Active CN114281950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210214926.5A CN114281950B (zh) 2022-03-07 2022-03-07 基于多图加权融合的数据检索方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210214926.5A CN114281950B (zh) 2022-03-07 2022-03-07 基于多图加权融合的数据检索方法与系统

Publications (2)

Publication Number Publication Date
CN114281950A true CN114281950A (zh) 2022-04-05
CN114281950B CN114281950B (zh) 2022-05-06

Family

ID=80882297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210214926.5A Active CN114281950B (zh) 2022-03-07 2022-03-07 基于多图加权融合的数据检索方法与系统

Country Status (1)

Country Link
CN (1) CN114281950B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374165A (zh) * 2022-10-24 2022-11-22 山东建筑大学 基于三重矩阵分解的数据检索方法、系统及设备
CN118468346A (zh) * 2024-07-12 2024-08-09 江南大学 一种区块链多模态数据异常检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334574A (zh) * 2018-01-23 2018-07-27 南京邮电大学 一种基于协同矩阵分解的跨模态检索方法
CN109948585A (zh) * 2019-03-29 2019-06-28 湖北工业大学 一种基于高精度哈希图像检索技术的行人检测方法及系统
CN110110100A (zh) * 2019-05-07 2019-08-09 鲁东大学 基于协同矩阵分解的离散监督跨媒体哈希检索方法
CN110990596A (zh) * 2019-12-04 2020-04-10 山东师范大学 一种基于自适应量化多模态哈希检索方法及系统
CN112925962A (zh) * 2021-01-20 2021-06-08 同济大学 基于哈希编码的跨模态数据检索方法、系统、设备及介质
CN113656700A (zh) * 2021-08-26 2021-11-16 鲁东大学 基于多相似度一致矩阵分解的哈希检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334574A (zh) * 2018-01-23 2018-07-27 南京邮电大学 一种基于协同矩阵分解的跨模态检索方法
CN109948585A (zh) * 2019-03-29 2019-06-28 湖北工业大学 一种基于高精度哈希图像检索技术的行人检测方法及系统
CN110110100A (zh) * 2019-05-07 2019-08-09 鲁东大学 基于协同矩阵分解的离散监督跨媒体哈希检索方法
CN110990596A (zh) * 2019-12-04 2020-04-10 山东师范大学 一种基于自适应量化多模态哈希检索方法及系统
CN112925962A (zh) * 2021-01-20 2021-06-08 同济大学 基于哈希编码的跨模态数据检索方法、系统、设备及介质
CN113656700A (zh) * 2021-08-26 2021-11-16 鲁东大学 基于多相似度一致矩阵分解的哈希检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张婕妤: "基于协同训练的跨模态哈希检索方法研究", 《中国优秀博硕士学位论文全文数据库》 *
李佳敏 等: "三元组深度哈希学习的司法案例相似匹配方法", 《智能系统学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374165A (zh) * 2022-10-24 2022-11-22 山东建筑大学 基于三重矩阵分解的数据检索方法、系统及设备
CN118468346A (zh) * 2024-07-12 2024-08-09 江南大学 一种区块链多模态数据异常检测方法

Also Published As

Publication number Publication date
CN114281950B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN108334574B (zh) 一种基于协同矩阵分解的跨模态检索方法
CN110059198B (zh) 一种基于相似性保持的跨模态数据的离散哈希检索方法
CN111274811B (zh) 地址文本相似度确定方法以及地址搜索方法
US20200285903A1 (en) System for time-efficient assignment of data to ontological classes
CN111090461B (zh) 一种基于机器翻译模型的代码注释生成方法
US10916333B1 (en) Artificial intelligence system for enhancing data sets used for training machine learning-based classifiers
CN114281950B (zh) 基于多图加权融合的数据检索方法与系统
US11373117B1 (en) Artificial intelligence service for scalable classification using features of unlabeled data and class descriptors
CN106777318A (zh) 基于协同训练的矩阵分解跨模态哈希检索方法
Zhan et al. Comprehensive distance-preserving autoencoders for cross-modal retrieval
CN110163252B (zh) 数据分类方法及装置、电子设备、存储介质
CN111782826A (zh) 知识图谱的信息处理方法、装置、设备及存储介质
CN117334271B (zh) 一种基于指定属性生成分子的方法
CN111753514B (zh) 一种专利申请文本的自动生成方法和装置
CN117891939A (zh) 粒子群算法结合cnn卷积神经网络的文本分类方法
CN114821140A (zh) 基于曼哈顿距离的图像聚类方法、终端设备及存储介质
US20220138554A1 (en) Systems and methods utilizing machine learning techniques for training neural networks to generate distributions
CN111680083B (zh) 智能化多级政府财政数据采集系统及数据采集方法
CN113159419A (zh) 一种群体特征画像分析方法、装置、设备及可读存储介质
Wu et al. Deep feature embedding for tabular data
Chen et al. Attribute reduction based on lift and random sampling
CN111597336A (zh) 训练文本的处理方法、装置、电子设备及可读存储介质
CN109255098B (zh) 一种基于重构约束的矩阵分解哈希方法
CN117131220A (zh) 一种无监督哈希图像检索模型的训练方法及装置
CN109493929B (zh) 基于分组变量的低冗余特征选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant