CN112182273A - 基于语义约束矩阵分解哈希的跨模态检索方法及其系统 - Google Patents

基于语义约束矩阵分解哈希的跨模态检索方法及其系统 Download PDF

Info

Publication number
CN112182273A
CN112182273A CN202011024844.1A CN202011024844A CN112182273A CN 112182273 A CN112182273 A CN 112182273A CN 202011024844 A CN202011024844 A CN 202011024844A CN 112182273 A CN112182273 A CN 112182273A
Authority
CN
China
Prior art keywords
matrix
semantic
hash
hash code
potential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011024844.1A
Other languages
English (en)
Other versions
CN112182273B (zh
Inventor
欧卫华
熊海霞
王安志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Education University
Original Assignee
Guizhou Education University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Education University filed Critical Guizhou Education University
Priority to CN202011024844.1A priority Critical patent/CN112182273B/zh
Publication of CN112182273A publication Critical patent/CN112182273A/zh
Application granted granted Critical
Publication of CN112182273B publication Critical patent/CN112182273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于语义约束矩阵分解哈希的跨模态检索方法，包括输入不同模态的原始特征矩阵，根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵，再利用语义相似矩阵约束两个模态潜在语义矩阵，以及根据潜在语义矩阵和正交旋转矩阵生成哈希码，最后利用潜在语音矩阵从所述哈希码中获取类标签。本发明方法通过使用语义相似矩阵来约束每个模态的模态特定表示，检索效果优于现有的矩阵分解方法，同时在三个数据集上的大量实验表明，本发明具有更好的检索性能。

Description

基于语义约束矩阵分解哈希的跨模态检索方法及其系统
技术领域
本发明属于哈希码检索领域，具体涉及一种基于语义约束矩阵分解哈希的跨模态检索方法及其系统。
背景技术
随着文本、图像、音频、视频等多媒体数据的大量增长，跨模态检索引起了广泛的关注。以文本和图像模态为例，跨模态检索的任务是给定一个查询的模态，然后在其他不同模态下查询并返回其相似结果。它在计算机视觉、文本挖掘和信息检索中得到了广泛的研究和应用，如何有效地进行跨模态检索已成为研究的热点。
近年来，基于哈希的跨模态检索方法因其存储成本低、查询速度快等优点得到了广泛的研究。现有的跨模态哈希方法主要是将多模态数据投影到一个公共语义空间中，并利用统一的哈希码来表示异构数据点。在是否利用标签信息方面，我们可以将现有的跨模态哈希方法大致分为三类，即无监督方法、半监督方法和监督方法。一般来说，虽然有些标签可能存在损坏或不准确，但标签信息对于学习更多的有判别性特征是有用的。因此，监督的跨模态哈希方法通常可以获得更好的检索性能。
矩阵分解有着悠久的历史，奇异值分解、LU分解、QR分解和特征分解等许多著名的技术在计算机视觉中得到了广泛的应用。近年来，矩阵分解在跨模态哈希中也发挥了重要作用，并且从图像/文本中挖掘语义概念或潜在主题方面取得了显著的成就。现有的一些方法简单地建立了一个公共的潜在语义空间。例如丁贵广等人首先将协同矩阵分解引入到跨模态检索中，提出了协同矩阵分解哈希算法(CMFH)，它利用协同矩阵分解来学习不同模态下的统一哈希码；姚涛等人提出了一种高效的离散监督哈希算法(EDSH)，该算法将异构特征的协同矩阵分解和类标签的语义嵌入无缝地集成到哈希码中；高等人提出了一种基于超图的离散矩阵分解哈希算法(HDMFH)，它结合超图学习来捕捉每种模态下样本之间的高阶关系；王等人提出了一种标签一致矩阵分解哈希算法(LCMFH)，它直接使用语义标签来指导哈希学习过程。而另一些方法则利用相关矩阵或正交旋转变换去对齐潜在语义空间。例如王等人提出了一种联合和个别矩阵分解散列(JIMFH)，它联合学习多模态数据的统一哈希码和单个哈希码的最佳组合；熊等人提出了一种基于对齐的特定模态矩阵分解哈希算法(MsMFH)，它学习每个模态的特定于模态的语义表示，然后通过相关信息对表示进行对齐。然而，公共的潜在语义表示方法会失去个体和有用的特定模态特征，不能充分利用每个模态的内在信息，相关矩阵或正交旋转变换也不能很好地约束潜在语义表示。
发明内容
本发明的目的是在于提供一种基于语义约束矩阵分解哈希的跨模态检索方法，该方法利用语义相似矩阵来很好地约束潜在语义表示，能够充分利用每个模态的内在信息和有用的特定模态信息，使得图像和文本检索更精确，可应用于监督跨模态检索中。
为了实现上述目标，本发明采用如下技术方案：
一种基于语义约束矩阵分解哈希的跨模态检索方法，包括输入不同模态的原始特征矩阵，先根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵，再利用语义相似矩阵约束两个模态潜在语义矩阵，以及根据潜在语义矩阵和正交旋转矩阵生成哈希码，最后利用潜在语音矩阵从所述哈希码中获取类标签。
为了保留每种模态的特定属性和多模态数据的共享属性，本发明同时分别分解两种模态，个体矩阵分解(IMF)的目标函数如下：
Figure BDA0002701847530000031
其中，i＝1,2，
Figure BDA0002701847530000032
为映射矩阵，
Figure BDA0002701847530000033
为潜在语义矩阵，Xi为不同模态的原始特征矩阵，αi和μ是正则化参数。
采用不同模态之间的相关性，所述利用语义相似矩阵去约束个体的潜在语义矩阵的具体实现过程如下：
首先为图像模态和文本模态之间的标签一致性建模，然后给不同模态定义两个数据
Figure BDA0002701847530000034
和
Figure BDA0002701847530000035
的语义相似度量如下，
Figure BDA0002701847530000036
其中，aij为语义相似矩阵A内的值，
Figure BDA0002701847530000037
和
Figure BDA0002701847530000038
为不同模态的原始特征矩阵内的值。
然后为了对不同模态之间的联系进行建模，利用语义相似矩阵来约束来自不同模态的特定于模态的表示形式，通过解决以下问题，
Figure BDA0002701847530000039
其中，
Figure BDA00027018475300000310
为语义相似矩阵，β是正则化参数，V1和V2为不同模态的潜在语义矩阵。
所述从潜在语义矩阵中引入正交旋转矩阵R来生成哈希码，所述哈希码矩阵为：
Figure BDA0002701847530000041
Figure BDA0002701847530000042
其中，
Figure BDA0002701847530000043
为正交旋转矩阵，Vi为潜在语义表示矩阵，B为哈希码矩阵。通过本实施例提供的哈希码函数模型可减少量化误差。
所述通过潜在语义矩阵从哈希码中获取类标签，即：
Figure BDA0002701847530000044
其中
Figure BDA0002701847530000045
为映射矩阵，B为哈希码矩阵，Bij＝1表示第j个数据点包含第i个数据点的语义，否则Bij＝-1，Y为类标签，μ和η是正则化参数。
本发明还一种基于语义约束矩阵分解哈希的跨模态检索模型，所述检索模型：
Figure BDA0002701847530000046
Figure BDA0002701847530000047
其中，
Figure BDA0002701847530000049
为映射矩阵，
Figure BDA00027018475300000410
为潜在语义表示矩阵，B为哈希码矩阵，
Figure BDA00027018475300000411
为语义相似矩阵，Xi为不同模态的原始特征矩阵，
Figure BDA00027018475300000412
Figure BDA00027018475300000413
是图像和文本模态的哈希函数，
Figure BDA00027018475300000414
为映射矩阵，αi、μ、η是正则化参数，Y为类标签。
本发明又提供了一种基于语义约束矩阵分解哈希的跨模态检索系统，包括个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块；
所述个体矩阵分解模块用于分解图片和文本模态得到潜在语义矩阵；
所述标签约束模块用于利用语义相似矩阵拘束所述潜在语义矩阵，加强不同模态潜在语义矩阵之间的一致性；
所述学习哈希函数模块用于图片和文本模态的原始特征矩阵线性投影至所述潜在语义矩阵中生成所述哈希码矩阵；
所述标签保存模块用于从哈希码矩阵获取不同模态的类标签。
相较于现有技术，本发明方法通过使用语义相似矩阵来约束每个模态的模态特定表示，检索效果优于现有的矩阵分解方法，同时在三个数据集上的大量实验表明，本发明具有更好的检索性能。
附图说明
图1为本发明方法的流程图。
图2为本发明方法提出的算法架构图。
图3为EDSH、MsMFH和本发明方法在Wikipedia数据集上的前10个检索结果。
具体实施方式
如图1所示，本发明提供了一种基于语义约束矩阵分解哈希的跨模态检索方法，并根据该方法设计了对应的系统：所述检测系统包括个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块。
本实施例所述的基于语义约束矩阵分解哈希的跨模态检索方法包括输入不同模态的原始特征矩阵，先根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵，再利用语义相似矩阵约束两个模态潜在语义矩阵，以及根据潜在语义矩阵和正交旋转矩阵生成哈希码，最后利用潜在语音矩阵从所述哈希码中获取类标签。
所述个体矩阵分解模块用于分解图片和文本模态得到潜在语义矩阵；为了保留每种模态的特定属性和多模态数据的共享属性，本实施例同时分别分解每种模态，个体矩阵分解的目标函数如下，
Figure BDA0002701847530000061
其中，i＝1,2，
Figure BDA0002701847530000062
为映射矩阵，
Figure BDA0002701847530000063
为潜在语义矩阵，Xi为不同模态的原始特征矩阵，αi和μ是正则化参数。
所述标签约束模块用于利用语义相似矩阵拘束所述潜在语义矩阵，加强不同模态潜在语义矩阵之间的一致性。
为图像模态和文本模态之间的标签一致性建模，给不同模态定义两个数据
Figure BDA0002701847530000064
和
Figure BDA0002701847530000065
的语义相似度量如下，
Figure BDA0002701847530000066
其中，aij为语义相似矩阵A内的值，
Figure BDA0002701847530000067
和
Figure BDA0002701847530000068
为不同模态的原始特征矩阵内的值。
为了对不同模态之间的联系进行建模，使用语义相似矩阵来约束来自不同模态的特定于模态的表示形式，通过以下模型解决：
Figure BDA0002701847530000069
其中，
Figure BDA00027018475300000610
为语义相似矩阵，β是正则化参数，V1和V2为不同模态的潜在语义矩阵。
所述学习哈希码模块用于图片和文本模态的原始特征矩阵线性投影至所述潜在语义矩阵中生成所述哈希码矩阵；为了处理样本外的实例，本实施例分别通过两个线性投影将图像和文本原始特征矩阵映射到潜在语义矩阵中生成哈希码，所述哈希码函数模型为：
Figure BDA0002701847530000071
其中，
Figure BDA0002701847530000072
是图像和文本模态的哈希函数，γ是正则化参数，Vi为潜在语义表示矩阵，Xi为不同模态的原始特征矩阵。
再通过从潜在语义矩阵引入正交旋转矩阵R来生成哈希码，
Figure BDA0002701847530000073
Figure BDA0002701847530000074
其中，
Figure BDA0002701847530000075
为正交旋转矩阵，Vi为潜在语义表示矩阵，B为哈希码矩阵；通过本实施例提供的哈希码函数模型可减少量化误差。
所述标签保存模块用于从哈希码矩阵获取不同模态的类标签；为了充分利用标签信息，进一步假设可以从哈希码中获得标签，利用潜在语音矩阵从所述哈希码B中获取类标签Y，即将B映射到类标签Y中，具体模型如下；
Figure BDA0002701847530000076
其中
Figure BDA0002701847530000077
为映射矩阵，B为哈希码矩阵，Bij＝1表示第j个数据点包含第i个数据点的语义，否则Bij＝-1，Y为类标签，μ和η是正则化参数。
最后个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块相结合，得到检索模型如下：
Figure BDA0002701847530000078
Figure BDA0002701847530000081
其中，
Figure BDA0002701847530000082
Figure BDA0002701847530000083
为映射矩阵，
Figure BDA0002701847530000084
为潜在语义表示矩阵，B为哈希码矩阵，
Figure BDA0002701847530000085
为语义相似矩阵，Xi为不同模态的原始特征矩阵，
Figure BDA0002701847530000086
Figure BDA0002701847530000087
是图像和文本模态的哈希函数，
Figure BDA0002701847530000088
为映射矩阵，αi、μ、η是正则化参数，Y为类标签。
为了验证本实施例方法在跨模态检索上的优越性，选择3个公开的数据集上进行实验，其中包括Wikipedia数据集，Mirflickr25k数据集和NUS-WIDE数据集；跨模态检索评价采用mAP，并且还显示了在Wikipedia数据集上的Top-10检索结果；实验中，本实施例方法训练均运行10次，取其平均值作为最终结果，参数设置为：αi＝0.1，γ＝5，β＝0.001，η＝10，μ＝2。
表1：在Wikipedia数据集上的mAP@100分数比较
Figure BDA0002701847530000089
表2：在Mirflickr25k数据集上的mAP@100分数比较
Figure BDA0002701847530000091
表3：在NUS-WIDE数据集上的mAP@100分数比较
Figure BDA0002701847530000092
(1)mAP值在三个公开数据集上的结果分析
本实施例方法与现有的9种跨模态检索方法进行比较，即CCA、IMH、STMH、CMFH、SMFH、SCRATCH-o、SCM-orth、EDSH、MsMFH。所有的方法在三个数据集上进行了对比实验，如以上3个表所示，本实施例方法的mAP值均高于其他对比实验方法，表明其语义相似矩阵约束潜在语义表示的效果好于其他的方法。
(2)Top-10检索结果的对比分析
如图3所示，MsMFH和EDSH方法有相同的故障案例，与我们的方法相比，该方法在文本查询图像任务中也有一次不成功，但检索结果与查询结果具有直观的语义相关性。
以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。

Claims (7)

1.基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于包括：输入不同模态的原始特征矩阵，根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵，再利用语义相似矩阵约束两个模态潜在语义矩阵，以及根据潜在语义矩阵和正交旋转矩阵生成哈希码，最后利用潜在语音矩阵从所述哈希码中获取类标签。
2.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于：所述个体矩阵分解模型为：
Figure FDA0002701847520000011
其中，i＝1,2，
Figure FDA0002701847520000012
为映射矩阵，
Figure FDA0002701847520000013
为潜在语义表示矩阵，Xi为不同模态的原始特征矩阵，αi和μ是正则化参数。
3.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于：所述利用语义相似矩阵约束两个模态潜在语义矩阵具体采用如下步骤实现：
(1)图像模态和文本模态之间的标签一致性建模，然后给不同模态定义两个数据
Figure FDA0002701847520000014
和
Figure FDA0002701847520000015
的语义相似度量，通过语义相似度量建立语义相似矩阵A；
所述语义相似度量为：
Figure FDA0002701847520000016
其中，aij为语义相似矩阵A内的值，
Figure FDA0002701847520000017
和
Figure FDA0002701847520000018
为不同模态的原始特征矩阵内的值；
(2)对不同模态之间的联系进行建模，使用语义相似矩阵A来约束不同模态的特定于模态的表示形式；
Figure FDA0002701847520000021
其中，
Figure FDA0002701847520000022
为语义相似矩阵，β是正则化参数，V1和V2为不同模态的潜在语义矩阵。
4.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于：根据潜在语义矩阵和正交旋转矩阵生成哈希码是指采用如下步骤：
(1)通过哈希码函数模型将图像和文本原始特征映射到潜在语义矩阵，所述哈希码函数模型为：
Figure FDA0002701847520000023
其中，
Figure FDA0002701847520000024
是图像和文本模态的哈希函数，γ是正则化参数，Vi为潜在语义表示矩阵，Xi为不同模态的原始特征矩阵；
(2)从潜在语义表示引入正交旋转矩阵R来生成哈希码，所述哈希码矩阵为：
Figure FDA0002701847520000025
Figure FDA0002701847520000026
其中，
Figure FDA0002701847520000027
为正交旋转矩阵，Vi为潜在语义表示矩阵，B为哈希码矩阵。
5.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于：利用潜在语音矩阵从所述哈希码B中获取类标签Y，即将B映射到类标签Y中，具体模型如下；
Figure FDA0002701847520000031
其中
Figure FDA0002701847520000032
为映射矩阵，B为哈希码矩阵，Bij＝1表示第j个数据点包含第i个数据点的语义，否则Bij＝-1，Y为类标签，μ和η是正则化参数。
6.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法生成检索模型，其特征在于：所述检索模型为：
Figure FDA0002701847520000033
Figure FDA0002701847520000034
其中，
Figure FDA0002701847520000035
Figure FDA00027018475200000313
Figure FDA0002701847520000037
为映射矩阵，
Figure FDA0002701847520000038
为潜在语义表示矩阵，B为哈希码矩阵，
Figure FDA0002701847520000039
为语义相似矩阵，Xi为不同模态的原始特征矩阵，
Figure FDA00027018475200000310
Figure FDA00027018475200000311
是图像和文本模态的哈希函数，
Figure FDA00027018475200000312
为映射矩阵，αi、μ、η是正则化参数，Y为类标签。
7.基于语义约束矩阵分解哈希的跨模态检索系统，其特征在于：包括个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块；
所述个体矩阵分解模块用于分解图片和文本模态得到潜在语义矩阵；
所述标签约束模块用于利用语义相似矩阵拘束所述潜在语义矩阵，加强不同模态潜在语义矩阵之间的一致性；
所述学习哈希函数模块用于图片和文本模态的原始特征矩阵线性投影至所述潜在语义矩阵中生成所述哈希码矩阵；
所述标签保存模块用于从哈希码矩阵获取不同模态的类标签。
CN202011024844.1A 2020-09-25 2020-09-25 基于语义约束矩阵分解哈希的跨模态检索方法及其系统 Active CN112182273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011024844.1A CN112182273B (zh) 2020-09-25 2020-09-25 基于语义约束矩阵分解哈希的跨模态检索方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011024844.1A CN112182273B (zh) 2020-09-25 2020-09-25 基于语义约束矩阵分解哈希的跨模态检索方法及其系统

Publications (2)

Publication Number Publication Date
CN112182273A true CN112182273A (zh) 2021-01-05
CN112182273B CN112182273B (zh) 2024-03-01

Family

ID=73943955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011024844.1A Active CN112182273B (zh) 2020-09-25 2020-09-25 基于语义约束矩阵分解哈希的跨模态检索方法及其系统

Country Status (1)

Country Link
CN (1) CN112182273B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817569A (zh) * 2021-02-06 2021-05-18 成都飞机工业（集团）有限责任公司 一种面向分析的数据快速映射方法、设备及存储介质
CN113536184A (zh) * 2021-07-15 2021-10-22 广东工业大学 一种基于多源信息的用户划分方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017210949A1 (zh) * 2016-06-06 2017-12-14 北京大学深圳研究生院 一种跨媒体检索方法
CN110110100A (zh) * 2019-05-07 2019-08-09 鲁东大学 基于协同矩阵分解的离散监督跨媒体哈希检索方法
CN111259176A (zh) * 2020-01-16 2020-06-09 合肥工业大学 融合有监督信息的基于矩阵分解的跨模态哈希检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017210949A1 (zh) * 2016-06-06 2017-12-14 北京大学深圳研究生院 一种跨媒体检索方法
CN110110100A (zh) * 2019-05-07 2019-08-09 鲁东大学 基于协同矩阵分解的离散监督跨媒体哈希检索方法
CN111259176A (zh) * 2020-01-16 2020-06-09 合肥工业大学 融合有监督信息的基于矩阵分解的跨模态哈希检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李新卫;吴飞;荆晓远;: "基于协同矩阵分解的单标签跨模态检索", 计算机技术与发展, no. 11 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817569A (zh) * 2021-02-06 2021-05-18 成都飞机工业（集团）有限责任公司 一种面向分析的数据快速映射方法、设备及存储介质
CN112817569B (zh) * 2021-02-06 2023-10-17 成都飞机工业（集团）有限责任公司 一种面向分析的数据快速映射方法、设备及存储介质
CN113536184A (zh) * 2021-07-15 2021-10-22 广东工业大学 一种基于多源信息的用户划分方法及系统
CN113536184B (zh) * 2021-07-15 2022-05-31 广东工业大学 一种基于多源信息的用户划分方法及系统

Also Published As

Publication number Publication date
CN112182273B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
Kaur et al. Comparative analysis on cross-modal information retrieval: A review
Bai et al. Optimization of deep convolutional neural network for large scale image retrieval
Nie et al. Deep multiscale fusion hashing for cross-modal retrieval
Xu et al. Learning unified binary codes for cross-modal retrieval via latent semantic hashing
Athitsos et al. Boostmap: An embedding method for efficient nearest neighbor retrieval
Wu et al. Pseudo-pair based self-similarity learning for unsupervised person re-identification
US20200104318A1 (en) Multi-modal image search
Zhong et al. Deep discrete cross-modal hashing for cross-media retrieval
Ji et al. Deep multi-level semantic hashing for cross-modal retrieval
Shu et al. Specific class center guided deep hashing for cross-modal retrieval
CN112182273B (zh) 基于语义约束矩阵分解哈希的跨模态检索方法及其系统
CN110866129A (zh) 一种基于跨媒体统一表征模型的跨媒体检索方法
CN116204706A (zh) 一种文本内容结合图像分析的多模态内容检索方法与系统
CN113270199A (zh) 医学跨模态多尺度融合类别指导哈希方法及其系统
Zhu et al. Unpaired image captioning by image-level weakly-supervised visual concept recognition
CN116822515B (zh) 一种基于实体跨度定位视觉区域的多模态命名实体识别方法及系统
Perdana et al. Instance-based deep transfer learning on cross-domain image captioning
CN117112743A (zh) 文本自动生成问题的可回答性评估方法、系统及存储介质
CN117173730A (zh) 一种基于多模态信息的文档图像智能分析及处理方法
CN116737877A (zh) 基于注意力网络对抗哈希的跨模态检索方法及设备
CN111984800B (zh) 基于字典对学习的哈希跨模态信息检索方法
Liu et al. Feature grouping and local soft match for mobile visual search
CN111611427B (zh) 基于线性鉴别分析深度哈希算法的图像检索方法及系统
CN112199531B (zh) 一种基于哈希算法和邻域图的跨模态检索方法及装置
CN115544306A (zh) 一种基于特征融合哈希算法的多模态检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant