CN110059154A - 一种基于继承映射的跨模态迁移哈希检索方法 - Google Patents
一种基于继承映射的跨模态迁移哈希检索方法 Download PDFInfo
- Publication number
- CN110059154A CN110059154A CN201910285234.8A CN201910285234A CN110059154A CN 110059154 A CN110059154 A CN 110059154A CN 201910285234 A CN201910285234 A CN 201910285234A CN 110059154 A CN110059154 A CN 110059154A
- Authority
- CN
- China
- Prior art keywords
- matrix
- mapping
- cross
- representing
- hash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013507 mapping Methods 0.000 title claims abstract description 44
- 238000013508 migration Methods 0.000 claims abstract description 16
- 230000005012 migration Effects 0.000 claims abstract description 16
- 238000013526 transfer learning Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 8
- 238000012417 linear regression Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract 2
- 238000013139 quantization Methods 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
- G06F16/325—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明针对大规模数据的跨模态检索提出了一种基于继承映射的跨模态迁移哈希检索方法。首先,通过线性跨模态迁移学习来保持原始异构特征之间的关联关系;同时,继承映射与跨模态迁移相互协作,以确保从原始特征空间到哈希空间的相关性继承。进一步地,为了挖掘原始特征的结构近邻关系,本发明也采用了具有线性复杂度的锚图模型。而且,高层语义信息也通过线性回归的方法被加强。最终,一种高效的迭代优化策略被用来解决离散优化问题,这有效地避免了传统解法造成的松弛和量化误差。
Description
技术领域
本发明涉及跨模态检索方法,更具体地说,涉及一种基于继承映射的跨模态迁移哈希检索方法。
背景技术
近年来,大数据背景下的跨模态检索技术越来越受到人们的关注,其检索效率和精度不论是在学术界还是工业界都存在极大的挑战。而哈希技术旨在将高维的原始数据特征映射成低维的二进制码,这不仅能很好地降低计算机的运算和存储开销,也大大提升检索效率。但是,想要用低维的二进制码实现高性能的检索结果仍然是一个非常大的挑战。因此,本发明主要针对图像-文本两种不同模态数据之间的检索提出了一种高效的跨模态哈希检索方法。
由于不同模态数据存在于不同维度的特征空间,因此跨模态检索方法的核心思想就是如何桥接不同模态之间的间隔。近年来,也有许多基于哈希技术的扩模态检索方法被提出,根据有无使用有标记数据大致可分为两类,一类是无监督学习方法,另一类是有监督的学习方法。无监督哈希通常不使用语义标记。例如,CMFH(Collective MatrixFactorization Hashing)方法首先通过协同矩阵分解的方法对所有模态数据学习统一的哈希码矩阵,然后将学到的哈希码矩阵用于学习特别模态的哈希方程;LSSH(LatentSemantic Sparse Hashing)方法运用稀疏编码和矩阵分解的方式来探索图片的显性结构及文本的隐性概念,因此可以在子空间内保持原始特征的相关性。但是,由于高层语义信息的缺失,无监督的方法往往达不到较好的检索效果。
而有监督哈希通常通过探索高层语义信息以求达到更好的检索效果。例如,SCM(Semantic Correlation Maximization)方法将语义标记无缝地整合到哈希码学习的过程中;DCH(Discriminant Cross-modal Hashing)方法将学习到的哈希码当作一种表征,然后和类标记共同学习一个线性的分类器;FDCH(Fast Discrete Cross-modal Hashing)方法提出使用回归的方法将标记回归到相应的哈希码,同时还引入漂移项来调节回归过程从而提高所学哈希码的质量。本发明也主要关注有监督的学习方法,因为有监督的学习有效地利用了标记信息来加强语意保持从而达到更好的检索效果。大多数有监督的学习方法通常包含两种保持原始特征分布的思想。一种是通过构建局部图模型来保持模态内的近邻关系,但是这种方法通常忽略了不同模态之间的相关性;另一种思想是通过语义标记构建亲属矩阵来保持异构数据之间的相关性,但是它丢弃了原始特征固有的分布特性。因此都无法达到令人满意的检索效果。
发明内容
为克服上述现有技术的不足,本发明提供了一种基于继承映射的跨模态迁移哈希检索方法。所述方法提出使用线性跨模态迁移实现异构数据之间信息的相互嵌入,同时起到从原始特征分布的层面关联异构数据的作用。除此之外,该方法强调跨模态迁移的系数矩阵和原始空间到哈希空间的映射矩阵保持一致。这种方式可以使学习到的哈希码直接有效的继承原始特征的分布特性及异构相关性,从而促进检索效果。
本发明采用的技术方案如下:
一种基于继承映射的跨模态迁移哈希检索方法,其特征在于,包括以下步骤:
步骤1:给定数据集n代表训练样本对的总数,表示图片特征,表示文本特征,yi∈Rc表示语义标记向量,其中d1表示图片特征维度,d2表示文本特征维度,c表示数据集类的总数,则为图像特征矩阵、表示文本特征矩阵,Y∈Rc×n表示标记矩阵;
步骤2:构建锚图模型来保持数据模态内的结构近邻关系,具体方法为:将任一模态训练样本当作图模型中的节点,构建节点与锚点之间的权重关系为:
其中,m为模态索引,即m=(1,2)分别对应图像和文本,σ是带宽参数,rmj表示锚点且j∈(1,c),根据锚图计算理论,其拉普拉斯矩阵为且其中I为单位矩阵,1为全1向量,因此局部锚图可以被表示为:
其中为继承映射矩阵,且k为哈希码长度;
步骤3:基于继承映射的跨模态迁移学习,即:
其中,和为继承映射矩阵,||·||F表示F范数;
同时,为了继承原始特征的潜在信息,该对映射矩阵同样用于原始特征空间到哈希空间的映射,即:
s.t.B∈{-1,1}k×n,
B∈{-1,1}k×n表示统一的哈希码矩阵;
步骤4:结合所述步骤2和步骤3构建学习统一哈希码的目标函数;
步骤5:求解所述目标函数,得到统一哈希码及继承映射矩阵。
更具体地,计算虚拟类中心作为步骤2中的锚点,rmj=[rmj(1),rmj(2),...,rmj(dm)]且
其中,Xm(j)表示第m模态中第j类的所有样本,Kj表示第j类样本的个数,d表示样本特征的第d个维度。
更具体地,步骤4中所述的目标函数为:
s.t.B∈{-1,1}k×n
其中,第五项是正则化项,λm和γ表示超参且都大于0。
更具体地,所述目标函数求解方法为:
1)首先将目标函数等价改写为:
s.t.B∈{-1,1}k×n
2)更新Q,U1,U2:通固定其他三个变量,对其余一个变量求偏导并
令其等于0可得:
Q=(YYT+γI)-1YBT
3)更新B:固定其它变量,目标函数可化简为:
s.t.B∈{-1,1}k×n
且上式可重写为:
s.t.B∈{-1,1}k×n
既然||B||2是个常数,因此上式可被化简为:
s.t.B∈{-1,1}k×n
其中
因此统一的哈希码矩阵为:
其中sgn(·)为符号函数。
对于新的样本可以同过学习到的继承映射矩阵直接将原始特征编码成哈希码,编码方法定义为:
本发明具有以下有益效果:
1、跨模态迁移学习能够有效地嵌入异构信息来保持不同模态数据之间的相关关系。同时,本发明也通过继承映射思想将跨模态迁移学习与离散映射无缝结合,能够有效地地继承原始特征的分布及相关关系。
2、本发明结合了跨模态迁移学习、语义回归、离散映射及基于锚图的结构约束。这不仅有效地继承了原始特征的相关性、语义分布特性及固有结构特征;也使得整个算法是线性复杂度,从而确保了在大规模数据检索中的高效性。
附图说明
图1为本发明一种基于继承映射的跨模态迁移哈希检索方法的流程框图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
下面以示例的方式具体说明本发明的方法,该方法包括以下步骤:
第一阶段:数据集处理
本发明在MIRFLICKR-25K和NUS-WIDE两个数据集上进行实验评测。
MIRFLICKR-25K数据集包含25,000个样例,每一个样例包含一个图片-文本对,并且总共给定24个标签,每一个样例至少包含标签。在实验室中,我们选择了至少有20个标签标注20,015个样例进行实验。其中,文本模态被表示为1386维的BoW向量;而对于图像模态,我们使用在ImageNet数据集上预训练的VGG模型对每个图片样本提取4096维的CNN特征。实验中,我们随机取2,000样例作为查询,其余作为被检索的数据库。为了减少计算成本,我们从数据库中取5,000个样例用于训练。
NUS-WIDE数据集包含269,648个样例。实验中,本发明选取样例最多的10个类进行实验,共包含186,577个图像-文本对。对于每一个样例,文本模态被表示成1,000维的BoW向量;同样地,我们对图像模态模型对每个图片样本提取4096维的CNN特征。在此数据集上,我们随机采样2,000各样例作为查询,其余的作为数据库。同样地,随机从数据库中取5,000个数据点用于训练。
第二阶段:模型学习
步骤1:给定数据集n代表训练样本对的总数,表示图片特征,表示文本特征,yi∈Rc表示语义标记向量,其中d1表示图片特征维度,d2表示文本特征维度,c表示数据集类的总数。那么图像特征矩阵、文本特征矩阵及标记矩阵可以分别表示为:Y∈Rc×n。
步骤2:构建锚图模型来保持数据模态内的结构近邻关系。具体方法为:将所述任一模态训练样本当作图模型中的节点,然后构建节点与锚点之间的权重关系,可公式化为:
其中,m为模态索引,即m=(1,2)分别对应图像和文本,σ是带宽参数。rmj是一个dm维的向量,表示锚点且j∈(1,c)。
进一步地,对于锚点的选择,本发明提出虚拟类中心的方法,这能有效地避免传统的聚类算法造成的计算冗余。详细地,可将虚拟类中心表示为rmj=[rmj(1),rmj(2),...,rmj(dm)]且:
其中,Xm(j)表示第m模态中第j类的所有样本,Kj表示第j类样本的个数,d表示样本特征的第d个维度。根据锚图计算理论,其拉普拉斯矩阵且其中I为单位矩阵,1为全1向量。因此局部锚图可以被表示为:
其中为继承映射矩阵,且k为哈希码长度。
步骤3:基于继承映射的跨模态迁移学习。首先,为了使异构信息能够相互嵌入且加强异构模态间的相关性,本发明定义了一种线性跨模态迁移学习方法,即:
其中,和分别对应图片和文本的继承映射矩阵。||·||F表示F范数。
其次,本阶段的目标是为每一个样例学习紧凑的二进制码bi∈{-1,1}k,B∈{-1,1}k×n表示统一的哈希码矩阵。为了继承原始特征的潜在信息,该对映射矩阵同样用于原始特征空间到哈希空间的映射,即:
s.t.B∈{-1,1}k×n
除此之外,对于高层语义信息的探索,本发明采用了一种高效稳定的线性回归方法,即:s.t.B∈{-1,1}k×n。
其中Q∈Rc×k为语义空间到哈希空间的映射矩阵。
步骤4:综合步骤2和步骤3所述构建学习统一哈希码的目标函数:
s.t.B∈{-1,1}k×n
其中,第五项是正则化项,λm和γ表示超参(且都大于0)。
步骤5:求解步骤4所述目标函数。综上所述,目标函数可被改写为:
s.t.B∈{-1,1}k×n
1)更新Q,U1,U2:通固定其他三个变量,对其余一个变量求偏导并令其等于0可得:
Q=(YYT+γI)-1YBT
1)更新B:固定其它变量,目标函数可化简为:
s.t.B∈{-1,1}k×n
且上式可重写为:
s.t.B∈{-1,1}k×n
既然||B||2是个常数,因此上式可被化简为:
s.t.B∈{-1,1}k×n
其中
因此统一的哈希码矩阵为:
其中sgn(·)为符号函数。
最终,通过迭代求解方法得到最优的哈希码矩阵B,及继承映射矩阵U1,U2。进一步地,对于新的样本可以同过学习到的继承映射矩阵直接将原始特征编码成哈希码。具体地可将其编码方法定义为:
算法实现过程如下:
输入:图像特征矩阵X1,文本特征矩阵X2及标记矩阵Y;超参数:λ1,λ2,γ
初始化:1.根据上述步骤2构建锚图模型
2.随机初始化继承映射矩阵U1、U2及语义映射矩阵Q
循环执行下列语句
1.根据上述步骤5.1)更新继承映射矩阵U1、U2及语义映射矩阵Q;
2.根据上述步骤5.2)更新哈希码矩阵B;
直至收敛
输出:继承映射矩阵U1、U2及哈希码矩阵B
在两个数据集上进行实验,并对比了当前比较流行的其他6种方法(CMFH,LSSH,SCM,DCH,FDCH)。从表1和表2可以看出:本实施例提供的方法在不同数据集上都表现出优于其他方法的检索性能。
表1
表2
上述虽然结合附图对本申请的具体实施方式进行了描述,但并非对本申请保护范围的限制,所属领域技术人员应该明白,在本申请的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本申请的保护范围以内。
Claims (5)
1.一种基于继承映射的跨模态迁移哈希检索方法,其特征在于,包括以下步骤:
步骤1:给定数据集n代表训练样本对的总数,表示图片特征,表示文本特征,yi∈Rc表示语义标记向量,其中d1表示图片特征维度,d2表示文本特征维度,c表示数据集类的总数,则为图像特征矩阵、表示文本特征矩阵,Y∈Rc×n表示标记矩阵;
步骤2:构建锚图模型来保持数据模态内的结构近邻关系,具体方法为:将任一模态训练样本当作图模型中的节点,构建节点与锚点之间的权重关系为:
其中,m为模态索引,即m=(1,2)分别对应图像和文本,σ是带宽参数,rmj表示锚点且j∈(1,c),根据锚图计算理论,其拉普拉斯矩阵为且其中I为单位矩阵,1为全1向量,因此局部锚图可以被表示为:
其中为继承映射矩阵,且k为哈希码长度;
步骤3:基于继承映射的跨模态迁移学习,即:
其中,和为继承映射矩阵,||·||F表示F范数;
同时,为了继承原始特征的潜在信息,该对映射矩阵同样用于原始特征空间到哈希空间的映射,即:
B∈{-1,1}k×n表示统一的哈希码矩阵;
步骤4:结合所述步骤2和步骤3构建学习统一哈希码的目标函数;
步骤5:求解所述目标函数,得到统一哈希码及继承映射矩阵。
2.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法,其特征在于,计算虚拟类中心作为步骤2中的锚点,rmj=[rmj(1),rmj(2),...,rmj(dm)]且
其中,Xm(j)表示第m模态中第j类的所有样本,Kj表示第j类样本的个数,d表示样本特征的第d个维度。
3.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法,其特征在于,步骤4中所述的目标函数为:
其中,第五项是正则化项,λm和γ表示超参且都大于0。
4.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法,其特征在于,所述目标函数求解方法为:
1)首先将目标函数等价改写为:
2)更新Q,U1,U2:通固定其他三个变量,对其余一个变量求偏导并令其等于0可得:
Q=(YYT+γI)-1YBT
3)更新B:固定其它变量,目标函数可化简为:
且上式可重写为:
既然||B||2是个常数,因此上式可被化简为:
其中
因此统一的哈希码矩阵为:
其中sgn(·)为符号函数。
5.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法,其特征在于,对于新的样本可以同过学习到的继承映射矩阵直接将原始特征编码成哈希码,编码方法定义为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910285234.8A CN110059154B (zh) | 2019-04-10 | 2019-04-10 | 一种基于继承映射的跨模态迁移哈希检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910285234.8A CN110059154B (zh) | 2019-04-10 | 2019-04-10 | 一种基于继承映射的跨模态迁移哈希检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110059154A true CN110059154A (zh) | 2019-07-26 |
CN110059154B CN110059154B (zh) | 2022-04-15 |
Family
ID=67317525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910285234.8A Active CN110059154B (zh) | 2019-04-10 | 2019-04-10 | 一种基于继承映射的跨模态迁移哈希检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110059154B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674323A (zh) * | 2019-09-02 | 2020-01-10 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 |
CN111090765A (zh) * | 2019-11-25 | 2020-05-01 | 山东师范大学 | 一种基于缺失多模态哈希的社交图像检索方法及系统 |
CN113255252A (zh) * | 2021-06-03 | 2021-08-13 | 北京华大九天科技股份有限公司 | 一种基于矩阵的rc电路存储方法 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101211341A (zh) * | 2006-12-29 | 2008-07-02 | 上海芯盛电子科技有限公司 | 图像智能模式识别搜索方法 |
CN104346440A (zh) * | 2014-10-10 | 2015-02-11 | 浙江大学 | 一种基于神经网络的跨媒体哈希索引方法 |
CN106777318A (zh) * | 2017-01-05 | 2017-05-31 | 西安电子科技大学 | 基于协同训练的矩阵分解跨模态哈希检索方法 |
CN107256271A (zh) * | 2017-06-27 | 2017-10-17 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
CN107402993A (zh) * | 2017-07-17 | 2017-11-28 | 山东师范大学 | 基于判别性关联最大化哈希的跨模态检索方法 |
CN107729513A (zh) * | 2017-10-25 | 2018-02-23 | 鲁东大学 | 基于语义对齐的离散监督跨模态哈希检索方法 |
CN107766555A (zh) * | 2017-11-02 | 2018-03-06 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
CN107871014A (zh) * | 2017-11-23 | 2018-04-03 | 清华大学 | 一种基于深度融合哈希的大数据跨模态检索方法及系统 |
CN108170755A (zh) * | 2017-12-22 | 2018-06-15 | 西安电子科技大学 | 基于三元组深度网络的跨模态哈希检索方法 |
CN108334574A (zh) * | 2018-01-23 | 2018-07-27 | 南京邮电大学 | 一种基于协同矩阵分解的跨模态检索方法 |
CN108510559A (zh) * | 2017-07-19 | 2018-09-07 | 哈尔滨工业大学深圳研究生院 | 一种基于有监督多视角离散化的多媒体二值编码方法 |
CN109255098A (zh) * | 2018-07-09 | 2019-01-22 | 广东工业大学 | 一种基于重构约束的矩阵分解哈希方法 |
CN109271486A (zh) * | 2018-09-19 | 2019-01-25 | 九江学院 | 一种相似性保留跨模态哈希检索方法 |
CN109299216A (zh) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | 一种融合监督信息的跨模态哈希检索方法和系统 |
CN109446347A (zh) * | 2018-10-29 | 2019-03-08 | 山东师范大学 | 一种有监督的快速离散多模态哈希检索方法和系统 |
CN109522821A (zh) * | 2018-10-30 | 2019-03-26 | 武汉大学 | 一种基于跨模态深度哈希网络的大规模跨源遥感影像检索方法 |
US10248664B1 (en) * | 2018-07-02 | 2019-04-02 | Inception Institute Of Artificial Intelligence | Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval |
CN109657112A (zh) * | 2018-11-29 | 2019-04-19 | 九江学院 | 一种基于锚点图的跨模态哈希学习方法 |
CN109960732A (zh) * | 2019-03-29 | 2019-07-02 | 广东石油化工学院 | 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统 |
CN110059198A (zh) * | 2019-04-08 | 2019-07-26 | 浙江大学 | 一种基于相似性保持的跨模态数据的离散哈希检索方法 |
CN110674323A (zh) * | 2019-09-02 | 2020-01-10 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 |
CN111460077A (zh) * | 2019-01-22 | 2020-07-28 | 大连理工大学 | 一种基于类语义引导的跨模态哈希检索方法 |
-
2019
- 2019-04-10 CN CN201910285234.8A patent/CN110059154B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101211341A (zh) * | 2006-12-29 | 2008-07-02 | 上海芯盛电子科技有限公司 | 图像智能模式识别搜索方法 |
CN104346440A (zh) * | 2014-10-10 | 2015-02-11 | 浙江大学 | 一种基于神经网络的跨媒体哈希索引方法 |
CN106777318A (zh) * | 2017-01-05 | 2017-05-31 | 西安电子科技大学 | 基于协同训练的矩阵分解跨模态哈希检索方法 |
CN107256271A (zh) * | 2017-06-27 | 2017-10-17 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
CN107402993A (zh) * | 2017-07-17 | 2017-11-28 | 山东师范大学 | 基于判别性关联最大化哈希的跨模态检索方法 |
CN108510559A (zh) * | 2017-07-19 | 2018-09-07 | 哈尔滨工业大学深圳研究生院 | 一种基于有监督多视角离散化的多媒体二值编码方法 |
CN107729513A (zh) * | 2017-10-25 | 2018-02-23 | 鲁东大学 | 基于语义对齐的离散监督跨模态哈希检索方法 |
CN107766555A (zh) * | 2017-11-02 | 2018-03-06 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
CN107871014A (zh) * | 2017-11-23 | 2018-04-03 | 清华大学 | 一种基于深度融合哈希的大数据跨模态检索方法及系统 |
CN108170755A (zh) * | 2017-12-22 | 2018-06-15 | 西安电子科技大学 | 基于三元组深度网络的跨模态哈希检索方法 |
CN108334574A (zh) * | 2018-01-23 | 2018-07-27 | 南京邮电大学 | 一种基于协同矩阵分解的跨模态检索方法 |
US10248664B1 (en) * | 2018-07-02 | 2019-04-02 | Inception Institute Of Artificial Intelligence | Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval |
CN109255098A (zh) * | 2018-07-09 | 2019-01-22 | 广东工业大学 | 一种基于重构约束的矩阵分解哈希方法 |
CN109271486A (zh) * | 2018-09-19 | 2019-01-25 | 九江学院 | 一种相似性保留跨模态哈希检索方法 |
CN109299216A (zh) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | 一种融合监督信息的跨模态哈希检索方法和系统 |
CN109446347A (zh) * | 2018-10-29 | 2019-03-08 | 山东师范大学 | 一种有监督的快速离散多模态哈希检索方法和系统 |
CN109522821A (zh) * | 2018-10-30 | 2019-03-26 | 武汉大学 | 一种基于跨模态深度哈希网络的大规模跨源遥感影像检索方法 |
CN109657112A (zh) * | 2018-11-29 | 2019-04-19 | 九江学院 | 一种基于锚点图的跨模态哈希学习方法 |
CN111460077A (zh) * | 2019-01-22 | 2020-07-28 | 大连理工大学 | 一种基于类语义引导的跨模态哈希检索方法 |
CN109960732A (zh) * | 2019-03-29 | 2019-07-02 | 广东石油化工学院 | 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统 |
CN110059198A (zh) * | 2019-04-08 | 2019-07-26 | 浙江大学 | 一种基于相似性保持的跨模态数据的离散哈希检索方法 |
CN110674323A (zh) * | 2019-09-02 | 2020-01-10 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 |
Non-Patent Citations (7)
Title |
---|
JUN TANG等: "Supervised Matrix Factorization Hashing for Cross-Modal Retrieval", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
YAN, JIHONG等: "Joint graph regularization based modality-dependent cross-media retrieval", 《MULTIMEDIA TOOLS AND APPLICATIONS》 * |
YU EN: ""Cross-Modal Transfer Hashing Based on Coherent Projection"", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW)》 * |
于恩: ""面向图文检索的跨模态学习算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
冯英旺: "基于深度语义迁移哈希的跨模态检索", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
王晨等: "基于鲁棒前景选择的显著性检测", 《电子与信息学报》 * |
邵杰: "基于深度学习的跨模态检索", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674323A (zh) * | 2019-09-02 | 2020-01-10 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 |
CN110674323B (zh) * | 2019-09-02 | 2020-06-30 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 |
CN111090765A (zh) * | 2019-11-25 | 2020-05-01 | 山东师范大学 | 一种基于缺失多模态哈希的社交图像检索方法及系统 |
CN111090765B (zh) * | 2019-11-25 | 2020-09-29 | 山东师范大学 | 一种基于缺失多模态哈希的社交图像检索方法及系统 |
CN113255252A (zh) * | 2021-06-03 | 2021-08-13 | 北京华大九天科技股份有限公司 | 一种基于矩阵的rc电路存储方法 |
CN113255252B (zh) * | 2021-06-03 | 2022-05-24 | 北京华大九天科技股份有限公司 | 一种基于矩阵的rc电路存储方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110059154B (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291212B (zh) | 基于图卷积神经网络的零样本草图图像检索方法和系统 | |
CN108334574B (zh) | 一种基于协同矩阵分解的跨模态检索方法 | |
CN107766555B (zh) | 基于软约束无监督型跨模态哈希的图像检索方法 | |
CN110516095B (zh) | 基于语义迁移的弱监督深度哈希社交图像检索方法和系统 | |
Zhou et al. | Deep forest hashing for image retrieval | |
CN111460077A (zh) | 一种基于类语义引导的跨模态哈希检索方法 | |
CN110059154B (zh) | 一种基于继承映射的跨模态迁移哈希检索方法 | |
CN112925962B (zh) | 基于哈希编码的跨模态数据检索方法、系统、设备及介质 | |
Peng et al. | Dynamic network embedding via incremental skip-gram with negative sampling | |
CN111274424B (zh) | 一种零样本图像检索的语义增强哈希方法 | |
WO2021227091A1 (zh) | 一种基于图卷积神经网络的多模态分类方法 | |
CN110196980A (zh) | 一种基于卷积网络在中文分词任务上的领域迁移 | |
CN109284411B (zh) | 一种基于有监督超图离散化图像二值编码方法 | |
CN111461157A (zh) | 一种基于自学习的跨模态哈希检索方法 | |
CN113537384B (zh) | 基于通道注意力的哈希遥感图像检索方法、装置及介质 | |
Niu et al. | Knowledge-based topic model for unsupervised object discovery and localization | |
CN109960732B (zh) | 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统 | |
CN114911958B (zh) | 一种基于语义偏好的快速图像检索方法 | |
CN112948601A (zh) | 一种基于受控语义嵌入的跨模态哈希检索方法 | |
CN115878757A (zh) | 一种基于概念分解的混合超图正则化半监督跨模态哈希方法 | |
Weng et al. | Online hashing with bit selection for image retrieval | |
CN115329120A (zh) | 一种知识图谱嵌入注意力机制的弱标注哈希图像检索架构 | |
CN115577144A (zh) | 一种基于在线多哈希码联合学习的跨模态检索方法 | |
CN115795065A (zh) | 基于带权哈希码的多媒体数据跨模态检索方法及系统 | |
CN116150411A (zh) | 一种基于自适应类相关离散哈希的零样本跨模态检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |