CN109670071B - 一种序列化多特征指导的跨媒体哈希检索方法和系统 - Google Patents

一种序列化多特征指导的跨媒体哈希检索方法和系统 Download PDF

Info

Publication number
CN109670071B
CN109670071B CN201811228921.8A CN201811228921A CN109670071B CN 109670071 B CN109670071 B CN 109670071B CN 201811228921 A CN201811228921 A CN 201811228921A CN 109670071 B CN109670071 B CN 109670071B
Authority
CN
China
Prior art keywords
hash
text
media
scale
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811228921.8A
Other languages
English (en)
Other versions
CN109670071A (zh
Inventor
彭宇新
叶钊达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201811228921.8A priority Critical patent/CN109670071B/zh
Publication of CN109670071A publication Critical patent/CN109670071A/zh
Application granted granted Critical
Publication of CN109670071B publication Critical patent/CN109670071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种序列化多特征指导的跨媒体哈希方法和系统。该方法包括以下步骤：1.建立图像和文本的数据库，分别提取图像和文本在多种尺度下的特征。2.将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，并计算图像和文本的哈希码。3.通过尺度间关联约束函数和媒体间、媒体内哈希约束函数对网络参数进行优化，实现尺度间关联挖掘和哈希函数的学习。4.在检索阶段，提取查询图像或文本的不同尺度特征，并按步骤2中相同的方法，生成对应的哈希码，实现跨媒体哈希检索。本发明能够挖掘不同媒体间多种尺度之间的关联关系以实现哈希函数的学习，比现有方法达到更高的检索准确率。

Description

一种序列化多特征指导的跨媒体哈希检索方法和系统
技术领域
本发明涉及图像和文本之间的跨媒体哈希检索，具体涉及一种序列化多特征指导的跨媒体哈希检索方法和系统。
背景技术
跨媒体检索是一种高度灵活的检索方式，用户可以使用任意一种媒体，检索其他媒体类型的相关数据。随着互联网数据的增加，检索效率逐渐成为实际应用中的重要需求。跨媒体哈希检索是指将多媒体数据映射到统一汉明空间中，利用较短的汉明编码，既能大大提升跨媒体检索速度，又能极大地压缩所需的存储空间，具有重要的应用价值。
传统文本或图像哈希检索方法在面对跨媒体检索任务时，遇到了“异构鸿沟”的难题，即不同媒体类型的数据分布在不同特征空间中，无法直接进行相似性度量。现有方法往往通过关联学习，突破“异构鸿沟”带来的检索难题。例如Song等人提出IMH方法(Song,Jing-kuan,et al.Inter-media hashing for large-scale retrieval fromheterogeneous data sources.Proceedings of the 2013ACM SIGMOD InternationalConference on Management of Data,2013)，通过保持媒体内和媒体间的一致性，实现哈希函数学习。但该方法是无监督方法，没有使用额外的指导信息，因此检索准确性有限。有监督方法利用标注信息，通常能取得更高的准确率。例如Lin等人提出的SePH方法(Lin,Zi-jia,et al.Semantics-preserving hashing for cross-view retrieval.Proceedingsof the IEEE conference on computer vision and pattern recognition.2015)，通过约束汉明空间编码分布和语义空间标签分布的KL散度，实现更好的哈希函数学习。此外，一些方法利用深度学习，在跨媒体哈希检索任务中取得了更好的结果。例如Jiang等人提出了DCMH方法(Jiang,Qing-Yuan,et al.Deep Cross-Modal Hashing.Proceedings of theIEEE conference on computer vision and pattern recognition,2017)，联合了特征学习和哈希函数学习，设计了统一的深度哈希模型，实现了更好的检索准确性。
然而，上述方法都没有充分利用媒体中不同尺度特征的信息，例如图像中的纹理、物体、场景信息，文本中的句子、单词信息，而这些图像、文本不同尺度的特征中蕴含着丰富的互补信息，能用于提高哈希检索的准确率。对此，本发明提出了序列化多特征指导的跨媒体哈希检索方法，利用循环神经网络建模不同媒体内多种尺度的信息，并通过尺度特征关联挖掘，取得了更好的检索准确率。
发明内容
本发明提出了一种序列化多特征指导的跨媒体哈希检索方法，能够学习不同媒体间多种尺度之间的关联关系，比现有方法达到更高的检索准确率。
为达到以上目的，本发明采用的技术方案如下：
一种序列化多特征指导的跨媒体哈希检索方法，包括以下步骤：
(1)建立图像和文本的数据库，分别提取图像和文本在多种尺度下的特征；
(2)将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，并计算图像和文本的哈希码；
(3)通过尺度间关联约束函数和媒体间、媒体内哈希约束函数对网络参数进行优化，实现尺度间关联挖掘和哈希函数的学习；
(4)在检索阶段，提取待查询图像或文本的不同尺度特征，并按步骤(2)中相同的方法，生成对应的哈希码，通过哈希码实现跨媒体哈希检索。
进一步，上述方法中，步骤(1)中的图像特征向量具体为：VGG-19网络的POOL-5、FC-6、FC-7层特征，分别代表底层基元尺度特征、中层概念尺度特征和高层语义尺度特征；文本特征具体为：文本词袋特征和使用主成份分析方法对每一句的词袋特征降维拼接得到的句子词袋特征，分别代表单词尺度特征和句子尺度特征。
进一步，上述方法中，步骤(2)采用了基于循环神经网络的深度模型，将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络计算哈希码。其中同一尺度的特征可以多次输入网络，且每一个尺度的特征都会对应生成一定长度的哈希码，其长度由预先的参数定义，最终的哈希码为上述流程得到的哈希码拼接得到。特别的，图像和文本第k个输入的尺度特征生成的哈希码长度需要保持一致，以便于实现尺度间关联的挖掘。
进一步，上述方法中，步骤(3)采用的尺度间关联约束函数为：
Figure BDA0001836651230000021
其中，losscorr表示尺度间关联约束总损失，ht(x),hi(y)分别指文本和图像所有尺度特征生成的完整的文本哈希码和图像哈希码，
Figure BDA0001836651230000022
指第k个输入的尺度特征生成的文本、图像哈希码。其中Fcorr表示尺度间关联约束函数，有着如下定义：Fcorr(x,y)＝1-cos(x,y)。其中x,y分别表示图像和文本媒体数据生成的哈希码，cos表示余弦距离函数。
进一步，上述方法中，步骤(3)中采用的媒体间、媒体内哈希约束函数定义如下：
Lossinter＝∑J(hi(x),ht(x+),ht(x-))+J(ht(x),hi(x+),hi(x-))
Lossintra＝∑J(hi(x),hi(x+),hi(x-))+J(ht(x),ht(x+),ht(x-))
其中Lossinter表示媒体间哈希约束函数，Lossintra表示媒体内哈希约束函数。ht(x),hi(x)分别指生成的文本哈希码和图像哈希码。而x+和x-分别表示和x有着相同标签和不同标签的图像或者文本。J(·)表示三元损失函数：
J(h(x),h(x+),h(x-))＝max(0,mt+‖h(x)-h(x+)‖2-‖h(x)-h(x-)‖2)
其中h(·)表示哈希函数，mt是边界阈值参数。x,x+,x-表示多媒体数据，其中x,x+有着相同语义标签，x,x-有着不同的语义标签。
进一步，上述方法中，步骤(4)中检索的方法为：在检索阶段，提取待查询图像或者文本的多尺度下的特征，采用步骤(2)中相同的方法，得到查询哈希码。查询哈希码在使用同样方法构建的图像、文本哈希索引数据库中，使用汉明距离作为度量方式，实现跨媒体哈希检索。
与上面方法对应的，本发明还提供一种序列化多特征指导的跨媒体哈希检索系统，其包括：
特征提取模块，负责建立图像和文本的数据库，分别提取图像和文本在多种尺度下的特征；
哈希码计算模块，负责将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，并计算图像和文本的哈希码；
关联挖掘和学习模块，负责通过尺度间关联约束函数和媒体间、媒体内哈希约束函数对网络参数进行优化，实现尺度间关联挖掘和哈希函数的学习；
检索模块，负责在检索阶段，调用所述特征提取模块提取待查询图像或文本的不同尺度特征，并调用所述哈希码计算模块生成对应的哈希码，通过哈希码实现跨媒体哈希检索。
本发明的效果在于：与现有方法相比，本方法考虑到媒体内多种尺度特征包含着大量互补信息，而且不同媒体的尺度特征之间又存在关联关系。本方法充分利用了这些尺度特征，并挖掘这些关联关系，因此能取得更好的检索准确率。
本方法之所以具有上述发明效果，其原因在于：本方法利用循环神经网络，对媒体内的不同尺度的特征进行建模。利用多种尺度特征同时指导哈希码的生成，增加了生成哈希码的多样性。尺度特征通过循环神经网络实现信息共享，降低了单一特征异常对结果的影响，增加了哈希码的鲁棒性。其次，本方法通过对多种尺度特征之间的关联进行挖掘，优化了哈希函数的学习，取得了更好的检索性能。
附图说明
图1是本发明的序列化多特征指导的跨媒体哈希检索方法流程图。
图2是本发明的网络结构图。
图3是本发明的网络结构细节展开图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细描述。
本发明的序列化多特征指导的跨媒体哈希检索方法，其流程如图1所示，包含以下步骤：
(1)建立图像和文本的数据库，分别提取图像和文本在多种尺度下的特征。
图像特征向量具体为：VGG-19网络的POOL-5、FC-6、FC-7层特征，分别代表底层基元尺度特征、中层概念尺度特征和高层语义尺度特征；文本特征具体为：文本词袋特征和使用主成份分析方法对每一句的词袋特征降维拼接的句子词袋特征，分别代表单词尺度特征和句子尺度特征。
(2)将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，并计算图像和文本的哈希码。
深度哈希方法如图2所示。本发明设计了一种多尺度特征指导的哈希函数学习方法。将图像和文本多种尺度下的特征按照设计的顺序输入网络结构，实现哈希函数的学习。在本实施例中，对图像而言，依次输入FC-7、FC-6、POOL-5和FC-7特征。对文本而言，依次输入文本词袋特征、句子词袋特征、文本词袋特征、句子词袋特征。需要注意的是，同样的特征可以根据需求输入多次。由于网络的记忆结构，即使多次输入相同的特征，根据网络里隐含的不同记忆内容，能够生成不同的哈希码，并不会产生冗余。
图3展示了网络利用多种尺度特征计算哈希码的具体细节，其中RNN表示循环神经网络。网络模型会结合输入的某一尺度特征与网络中的记忆内容生成哈希码。本发明通过将前一个网络节点的输出作为下一个网络节点的输入，以此控制该尺度特征生成哈希码的长度。特别的，图像和文本第k个输入的尺度特征生成的哈希码长度需要保持一致，以便于实现尺度间关联的挖掘。
(3)通过尺度间关联约束函数和媒体间、媒体内哈希约束函数对网络参数进行优化，实现尺度间关联挖掘和哈希函数的学习。
该步骤具体是指在网络训练过程中，使用约束函数实现匹配特征之间尺度关联的挖掘，以及媒体内、媒体间的语义关联保持以提升训练效果。涉及到的约束函数有：
(a)尺度间关联约束函数：
Figure BDA0001836651230000051
其中ht(x),hi(y)分别指图像和文本所有尺度特征生成的完整的文本哈希码和图像哈希码，
Figure BDA0001836651230000052
指第k个输入的尺度特征生成的文本、图像哈希码。其中Fcorr表示尺度间关联约束函数，定义为：Fcorr(x,y)＝1-cos(x,y)。其中x,y分别表示图像和文本生成的哈希码，cos表示余弦距离函数。
(b)媒体间、媒体内哈希约束定义为如下损失函数：
Lossinter＝∑J(hi(x),ht(x+),ht(x-))+J(ht(x),hi(x+),hi(x-))
Lossintra＝∑J(hi(x),hi(x+),hi(x-))+J(ht(x),ht(x+),ht(x-))
其中Lossinter表示媒体间哈希约束函数，Lossintra表示媒体内哈希约束函数。ht(x),hi(x)分别指生成的文本哈希码和图像哈希码。而x+和x-分别表示和x有着相同标签和不同标签的图像或者文本。J(·)表示三元损失函数：
J(h(x),h(x+),h(x-))＝max(0,mt+‖h(x)-h(x+)‖2-‖h(x)-h(x-)‖2)
h(·)表示哈希函数，mt是边界阈值参数。x,x+,x-表示多媒体数据，其中x,x+有着相同语义标签，x,x-有着不同的语义标签。
(4)在检索阶段，提取查询图像或者文本的多尺度下的特征，采用步骤(2)中相同的方法，得到查询哈希码。查询哈希码在使用同样方法构建的图像、文本哈希索引数据库中，使用汉明距离作为度量方式，实现跨媒体哈希检索。
下面的实验结果表明，与现有方法相比，本发明的序列化多尺度跨媒体哈希检索方法能够取得更高的检索准确率。
本实施例采用Wikipedia数据集进行实验，该数据集由文献“On the role ofcorrelation and abstraction in cross-modal multimedia retrieval”(作者JoseCosta Pereira,Emanuele Coviello,Gabriel Doyle,Nikhil Rasiwasia,Gert RGLanckriet,Roger Levy和Nuno Vasconcelos)提出，其中共有10类，2866个图像/文本对数据。我们测试了以下3种方法作为实验对比：
现有方法一：文献“Deep cross-modal hashing”(作者Qing-Yuan Jiang和Wu-JunLi)中的DCMH方法。
现有方法二：文献“Semantics-preserving hashing for cross-viewretrieval”(作者Zi-jia Lin,Gui-guang Ding,Ming-qing Hu和Jian-min Wang)中的SePH方法。
现有方法三：文献“Data fusion through cross-modality metric learningusing similarity-sensitive hashing”(作者Michael M Bronstein,Alexander MBronstein,Fabrice Michel和Nikos Paragios)中的CMSSH方法。
本发明：本实施例的方法。
实验采用MAP指标来评测哈希检索的质量。MAP指标是一种常见的检索结果统计指标，其定义如下：
Figure BDA0001836651230000061
其中R是数据库中正样本的总数，Rk表示前k个返回结果中正样本的数目，relk表示第k个返回结果是否为正样本，是正样本则为1，否则为0。
上述公式定义了单一查询的AP值，MAP指标是所有查询AP的平均值。
实验评测了上述方法在哈希检索编码长度为64比特情况下，图像检索文本和文本检索图像两个任务上的结果，如表1所示：
表1.本发明的对比实验结果
MAP 图像检索文本 文本检索图像
现有方法一 0.508 0.788
现有方法二 0.533 0.792
现有方法三 0.157 0.206
本发明 0.539 0.846
从表1可以看出，本发明在跨媒体哈希准确率上有较大提高。三种现有方法都没有充分使用不同尺度特征的信息，也未考虑到尺度特征信息之间的关联。本发明通过循环神经网络结构建模多种尺度特征信息，并利用约束函数挖掘不同媒体尺度特征之间的关联，增强了哈希函数的多样性和鲁棒性，因此能取得更好的检索准确率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种序列化多特征指导的跨媒体哈希检索方法，包括以下步骤：
(1)建立图像和文本的数据库，分别提取图像和文本在多种尺度下的特征；
(2)将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，并计算图像和文本的哈希码；
(3)通过尺度间关联约束函数和媒体间、媒体内哈希约束函数对网络参数进行优化，实现尺度间关联挖掘和哈希函数的学习；
(4)在检索阶段，提取待查询图像或文本的不同尺度特征，并按步骤(2)中相同的方法生成对应的哈希码，通过哈希码实现跨媒体哈希检索；
其中，步骤(2)中采用基于循环神经网络的深度模型，将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，计算哈希码；其中同一尺度的特征能够多次输入网络，且每一个尺度的特征都会对应生成一定长度的哈希码，其长度由预先的参数定义，最终的哈希码为上述步骤 得到的哈希码拼接得到；图像和文本第k个输入的尺度特征生成的哈希码长度需要保持一致，以便于实现尺度间关联的挖掘；
步骤(3)中采用的尺度间关联约束函数为：
Figure FDA0003116991560000011
其中，losscorr表示尺度间关联约束总损失，ht(x),hi(y)分别指图像和文本所有尺度特征生成的完整的文本哈希码和图像哈希码；ht k(x),hi k(y)指第k个输入的尺度特征生成的文本、图像哈希码；Fcorr表示尺度间关联约束函数，定义为：Fcorr(x,y)＝1-cos(x,y)，其中x,y分别表示图像和文本生成的哈希码，cos表示余弦距离函数。
2.如权利要求1所述的方法，其特征在于，步骤(1)中的图像特征向量为：VGG-19网络的POOL-5、FC-6、FC-7层特征，分别代表底层基元尺度特征、中层概念尺度特征和高层语义尺度特征；文本特征为：文本词袋特征和使用主成份分析方法对每一句的词袋特征降维拼接的句子词袋特征，分别代表单词尺度特征和句子尺度特征。
3.如权利要求1所述方法，其特征在于，步骤(3)中采用的媒体间、媒体内哈希约束函数定义如下：
Lossinter＝∑J(hi(x),ht(x+),ht(x-))+J(ht(x),hi(x+),hi(x-))，
Lossintra＝∑J(hi(x),hi(x+),hi(x-))+J(ht(x),ht(x+),ht(x-))，
其中Lossinter表示媒体间哈希约束函数，Lossintra表示媒体内哈希约束函数；ht(x),hi(x)分别指生成的文本哈希码和图像哈希码；x+和x-分别表示和x有着相同标签和不同标签的图像或者文本；J(·)表示三元损失函数：
J(h(x),h(x+),h(x-))＝max(0,mt+‖h(x)-h(x+)‖2-‖h(x)-h(x-)‖2)，
其中，h(·)表示哈希函数；mt是边界阈值参数；x,x+,x-表示多媒体数据，其中x,x+有着相同语义标签，x,x-有着不同的语义标签。
4.如权利要求1所述方法，其特征在于，步骤(4)中检索的方法为：在检索阶段，提取查询图像或者文本的多尺度下的特征，采用步骤(2)中相同的方法得到查询哈希码；查询哈希码在使用同样方法构建的图像、文本哈希索引数据库中实现跨媒体哈希检索。
5.如权利要求4所述方法，其特征在于，步骤(4)利用所述哈希索引数据库，使用汉明距离作为度量方式，实现跨媒体哈希检索。
6.一种采用权利要求1～5中任一权利要求所述方法的序列化多特征指导的跨媒体哈希检索系统，其特征在于，包括：
特征提取模块，负责建立图像和文本的数据库，分别提取图像和文本在多种尺度下的特征；
哈希码计算模块，负责将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，并计算图像和文本的哈希码；
关联挖掘和学习模块，负责通过尺度间关联约束函数和媒体间、媒体内哈希约束函数对网络参数进行优化，实现尺度间关联挖掘和哈希函数的学习；
检索模块，负责在检索阶段，调用所述特征提取模块提取待查询图像或文本的不同尺度特征，并调用所述哈希码计算模块生成对应的哈希码，通过计算哈希码汉明距离实现跨媒体哈希检索。
CN201811228921.8A 2018-10-22 2018-10-22 一种序列化多特征指导的跨媒体哈希检索方法和系统 Active CN109670071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811228921.8A CN109670071B (zh) 2018-10-22 2018-10-22 一种序列化多特征指导的跨媒体哈希检索方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811228921.8A CN109670071B (zh) 2018-10-22 2018-10-22 一种序列化多特征指导的跨媒体哈希检索方法和系统

Publications (2)

Publication Number Publication Date
CN109670071A CN109670071A (zh) 2019-04-23
CN109670071B true CN109670071B (zh) 2021-10-08

Family

ID=66142436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811228921.8A Active CN109670071B (zh) 2018-10-22 2018-10-22 一种序列化多特征指导的跨媒体哈希检索方法和系统

Country Status (1)

Country Link
CN (1) CN109670071B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325096B (zh) * 2020-01-19 2021-04-20 北京字节跳动网络技术有限公司 直播流采样方法、装置及电子设备
CN112419312B (zh) * 2020-12-11 2023-04-07 五八有限公司 相似房源信息检测方法、装置、电子设备和可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220337A (zh) * 2017-05-25 2017-09-29 北京大学 一种基于混合迁移网络的跨媒体检索方法
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220337A (zh) * 2017-05-25 2017-09-29 北京大学 一种基于混合迁移网络的跨媒体检索方法
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
跨媒体检索中文本与图像信息融合研究;赵津锋;《中国优秀硕士学位论文全文数据库信息科技辑》;20180215(第2期);第I138-1657页 *

Also Published As

Publication number Publication date
CN109670071A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
Ji et al. Attribute-guided network for cross-modal zero-shot hashing
Liu et al. Deep sketch hashing: Fast free-hand sketch-based image retrieval
CN107346328B (zh) 一种基于多粒度层级网络的跨模态关联学习方法
US20200349189A1 (en) Compositing Aware Digital Image Search
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
Chen et al. Discriminative soft bag-of-visual phrase for mobile landmark recognition
CN112749326B (zh) 信息处理方法、装置、计算机设备及存储介质
KR100903961B1 (ko) 시그니처 파일을 이용한 고차원 데이터 색인 및 검색방법과 그 시스템
Wang et al. A deep semantic framework for multimodal representation learning
CN102197393A (zh) 基于图像的语义距离
CN111985228B (zh) 文本关键词提取方法、装置、计算机设备和存储介质
Weyand et al. Visual landmark recognition from internet photo collections: A large-scale evaluation
CN105718532A (zh) 一种基于多深度网络结构的跨媒体排序方法
CN104036012A (zh) 字典学习、视觉词袋特征提取方法及检索系统
CN113298197B (zh) 数据聚类方法、装置、设备及可读存储介质
CN112819023A (zh) 样本集的获取方法、装置、计算机设备和存储介质
CN112632314A (zh) 一种图像检索方法、系统、设备以及介质
CN113076465A (zh) 一种基于深度哈希的通用跨模态检索模型
CN109670071B (zh) 一种序列化多特征指导的跨媒体哈希检索方法和系统
Zhang et al. Effective image retrieval via multilinear multi-index fusion
CN111368176B (zh) 基于监督语义耦合一致的跨模态哈希检索方法及系统
Zhao et al. TUCH: Turning Cross-view Hashing into Single-view Hashing via Generative Adversarial Nets.
CN102663445B (zh) 基于层次时间记忆算法的图像理解系统及其图像理解方法
US11983183B2 (en) Techniques for training machine learning models using actor data
Fu et al. Fast semantic image retrieval based on random forest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant