CN114239730A - 一种基于近邻排序关系的跨模态检索方法 - Google Patents

一种基于近邻排序关系的跨模态检索方法 Download PDF

Info

Publication number
CN114239730A
CN114239730A CN202111564321.0A CN202111564321A CN114239730A CN 114239730 A CN114239730 A CN 114239730A CN 202111564321 A CN202111564321 A CN 202111564321A CN 114239730 A CN114239730 A CN 114239730A
Authority
CN
China
Prior art keywords
data
text
representing
image
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111564321.0A
Other languages
English (en)
Other versions
CN114239730B (zh
Inventor
曾焕强
刘晓庆
陈婧
朱建清
张联昌
廖昀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yealink Network Technology Co Ltd
Huaqiao University
Original Assignee
Xiamen Yealink Network Technology Co Ltd
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yealink Network Technology Co Ltd, Huaqiao University filed Critical Xiamen Yealink Network Technology Co Ltd
Priority to CN202111564321.0A priority Critical patent/CN114239730B/zh
Publication of CN114239730A publication Critical patent/CN114239730A/zh
Application granted granted Critical
Publication of CN114239730B publication Critical patent/CN114239730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于近邻排序关系的跨模态检索方法，包括：构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型；将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练；结合近邻样本排序损失函数和语义相似度度量损失函数，计算语义对齐的损失值，通过训练缩小损失值，得到训练好的深度神经网络模型；通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达，并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中，实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。

Description

一种基于近邻排序关系的跨模态检索方法
技术领域
本发明涉及人工智能领域以及信息检索领域，特别是涉及一种基于近邻排序关系的跨模态检索方法。
背景技术
随着多媒体、大数据以及人工智能的充分发展和融合，对于多媒体数据，包括图像、文本、视频等多模态数据逐渐爆炸式增长，其不仅仅内容多样化、所表达的方式也越来越多样化，图、文、音三种主要方式，包含了多种传输与传播媒介，多模态的数据能帮助人对周围世界的感知与理解，因为人们很容易做到不同形式信息对齐与互补，从而更加全面准确地学习知识。
在基于深度学习的跨模态检索领域，其目标是做到类似人脑地对不同形式的信息进行语义对齐与信息互补的功能。跨模态检索作为跨模态理解中最为基础的任务，它以一种类型的数据作为查询去检索另一种类型的数据，这是一个很具有挑战性的任务，主要是由于“异构鸿沟”以及“语义鸿沟”。以图像和文本两种模态为例，异构鸿沟是指由于图像和文本的表示形式不一致，两者数据处于不同的分布空间，无法直接度量相似性。如何依据图像与文本的内容衡量两种模态数据之间的相似性，是实现跨模态检索的关键以及难点。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于近邻排序关系的跨模态检索方法，充分利用数据样本之间的相似度排序关系，将图文两种不同的模态数据特征映射到公共的语义空间中，实现两种模态数据之间的语义相关以及语义的可度量，能有效实现图像和文本两种不同的模态间的数据检索。
本发明的技术方案如下：
一种基于近邻排序关系的跨模态检索方法，包括：
构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型；
将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练；
结合近邻样本排序损失函数和语义相似度度量损失函数，计算语义对齐的损失值，通过训练缩小所述损失值，得到训练好的深度神经网络模型；
通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达，并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中，实现语义相似度的度量和检索。
优选的，将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练，包括：
将图像数据集
Figure BDA0003421682180000021
输入到图像特征提取网络，其中n表示图像数量；具体为将图像数据输入到VGG-19卷积网络，再通过全连接网络后获得图像数据的深度语义特征；所述VGG-19卷积网络通过ILSVRC-ImageNet数据集进行预训练；
将文本数据集
Figure BDA0003421682180000022
输入到文本特征提取网络；具体为将文本数据的内容输入Glove语言模型，将生成的词向量通过全连接网络后获得文本数据的深度语义特征；所述Glove语言模型通过Google News数据集进行预训练。
优选的，图像数据的深度语义特征表示如下：
Xf＝Netimg(X)
其中，Xf表示图像数据的深度语义特征；Netimg表示图像特征提取网络；
文本数据的深度语义特征表示如下：
Yf＝Nettxt(Y)
其中，Yf表示文本数据的深度语义特征；Nettxt表示文本特征提取网络。
优选的，所述近邻样本排序损失函数的定义如下：
Figure BDA0003421682180000023
σ函数定义如下：
Figure BDA0003421682180000024
tij的定义如下：
Figure BDA0003421682180000025
其中，
Figure BDA0003421682180000026
k表示当前第k个检索样本；i和j分别表示被检索的第i和j个样本；m表示被检索数据集；
Figure BDA0003421682180000027
表示第i个被检索数据与第k个检索数据之间的特征相似度；
Figure BDA0003421682180000028
表示第j个被检索数据与第k个检索数据之间的特征相似度；
Figure BDA0003421682180000029
表示第i个被检索数据与第k个检索数据之间的相似排序关系；
Figure BDA00034216821800000210
表示第j个被检索数据与第k个检索数据之间的相似排序关系。
优选的，所述语义相似度度量损失函数的定义如下：
Figure BDA0003421682180000031
其中，
Figure BDA0003421682180000032
表示数据集中图像与文本数据的数目，数目相同；
Figure BDA0003421682180000033
表示图像模态特征的第p张图像的深度语义特征向量；Yf(j*)表示文本模态第q个文本数据的深度语义特征列向量；Bx与By分别表示图像模态和文本模态数据期望最优的哈希码；X与Y分别表示图像与文本数据量化后的哈希码；
Figure BDA0003421682180000034
表示F范数；η表示量化损失的优化权重；Spq表示第p个图像数据与第q个文本数据之间的相似关系。
优选的，结合近邻样本排序损失函数和语义相似度度量损失函数获得联合损失函数，如下：
Figure BDA0003421682180000035
其中，α为近邻样本排序损失函数的影响因子比例；β为语义相似度度量损失函数的影响因子比例；所述α和β为对于网络优化的贡献权重；Bx,y表示网络模型期望学习的统一哈希码；θx,y表示神经网络模型要被学习并优化的参数。
优选的，语义相似度排序关系根据图像数据与文本数据的深度语义特征获得，如下：
Figure BDA0003421682180000036
其中，Xf(i)与Yf(i)分别表示图像数据和文本数据提取到的第i个特征输出；
Figure BDA0003421682180000037
表示图像模态数据第j个样本的特征输出；
Figure BDA0003421682180000038
表示表示文本模态数据第j个样本的特征输出。
优选的，不同模态数据之间的相似度排序关系基于图像数据与文本数据之间的标签信息获得，如下：
Figure BDA0003421682180000039
其中，li与lj分别表示图像模态和文本模态的标签信息，针对于多标签数据，根据不同数据之间的标签相似距离计算得到两个模态数据之间的相似排序关系
Figure BDA00034216821800000310
优选的，两个模态数据之间的相似关系表示如下：
Figure BDA0003421682180000041
其中，相似关系是由相似矩阵表示，表示了两个数据之间相似或不相似的对应关系。
采用上述技术方案后，本发明一种基于近邻排序关系的跨模态检索方法具有以下有益效果：
(1)本发明一种基于近邻排序关系的跨模态检索方法，将图像和文本两种不同的模态数据特征映射到公共的语义空间中，实现两种模态数据之间的语义关联以及语义对齐，使其能够在公共语义空间上实现度量；首先利用深度神经网络进行图像和文本模态数据的深度语义特征提取，学习两种模态数据间的公共语义表达，并且设计近邻样本排序损失函数以及语义相似度度量损失函数，对输入的图像与文本进行相似性度量，根据语义的相似度度量实现跨模态数据之间的内容检索；本发明方法能有效实现图像、文本两种不同的模态间的信息检索。
(2)本发明一种基于近邻排序关系的跨模态检索方法，考虑了图像与文本两种模态数据间的公共语义空间构建，依据相邻数据样本之间的相似度排序关系以及语义对齐关系，促使模型更好地实现深层语义对齐，实现高效准确地跨模态检索。
以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于近邻排序关系的跨模态检索方法不局限于实施例。
附图说明
图1为本发明实施例提供的基于近邻排序关系的跨模态检索方法流程图；
图2为本发明实施例提供的基于近邻排序关系的跨模态检索方法的框架示意图。
具体实施方式
为了进一步解释本发明的技术方案，下面通过具体实施例对本发明进行详细阐述。
本发明提供了一种基于近邻排序关系的跨模态检索方法，首先构建深度神经网络用以进行图像数据和文本数据的深度语义特征提取，并学习两种模态数据间的公共语义表达，设计近邻样本排序损失函数和语义相似度度量损失函数，对输入的图像数据与文本数据进行相似性度量，能有效实现图像和文本两种不同的模态间的信息检索。
参见图1所示，一种基于近邻排序关系的跨模态检索方法，具体步骤包括：
S10：构建深度神经网络模型，用于图像数据与文本数据的深度语义特征提取；
S20：将图像与文本数据对zi＝(xi,yi,li)分别输入到深度神经网络模型中进行训练；其中zi表示第i对图像-文本对数据以及对应的标签，xi，yi与li分别表示第i个图像数据、文本数据以及对应的标签数据；通过损失函数学习图像和文本数据间的公共语义表达，并将图像与文本特征转化到公共语义空间中。
步骤S20，具体包括：
S201：将输入的图像数据集
Figure BDA0003421682180000051
输入到图像特征提取网络，其中xi表示第i张图像数据，一共有n张图像，将图像数据输入到VGG卷积网络，通过全连接网络后得到图像数据信息的高级特征语义信息Xf，长度为c。
Xf＝Netimg(X)
S202：将文本数据
Figure BDA0003421682180000052
输入到文本特征提取网络，通过全连接网络后得到文本数据信息的高级特征语义信息Yf，长度为c；
Yf＝Nettxt(Y)
S203：依据标签信息生成排序监督信息，依据高级语义特征计算深层语义排序信息，并根据相似性矩阵计算跨模态间的语义相似损失，具体包括：
S203-1：基于图像与文本数据之间的标签信息计算不同模态数据之间的相似度排序关系
Figure BDA0003421682180000053
其中，li与lj分别是两个模态的标签信息，针对于多标签数据，可以根据不同数据之间的标签相似距离计算得到两个模态数据之间的相似排序关系
Figure BDA0003421682180000054
S203-2：依据相似度语义矩阵SSM可以得到两个模态数据之间的相似关系，如下：
Figure BDA0003421682180000055
相似关系则是由相似矩阵表示，其表示了两个数据之间相似或不相似的对应关系。
S203-3:根据深层语义信息计算语义相似度矩阵，计算语义相似度排序关系的损失。
Figure BDA0003421682180000056
其中，σ函数定义如下：
Figure BDA0003421682180000057
tij的定义如下：
Figure BDA0003421682180000058
其中，
Figure BDA0003421682180000061
k表示当前第k个检索样本；i和j分别表示被检索的第i和j个样本；m表示被检索数据集；
Figure BDA0003421682180000062
表示第i个被检索数据与第k个检索数据之间的特征相似度；
Figure BDA0003421682180000063
表示第j个被检索数据与第k个检索数据之间的特征相似度；
Figure BDA0003421682180000064
表示第i个被检索数据与第k个检索数据之间的相似排序关系；
Figure BDA0003421682180000065
表示第j个被检索数据与第k个检索数据之间的相似排序关系。
语义相似度排序关系根据图像数据与文本数据的深度语义特征获得，如下：
Figure BDA0003421682180000066
其中，Xf(i)与Yf(i)分别表示图像数据和文本数据提取到的第i个特征输出；
Figure BDA0003421682180000067
表示图像模态数据第j个样本的特征输出；
Figure BDA0003421682180000068
表示表示文本模态数据第j个样本的特征输出。
S203-4:根据深层特征输出计算跨模态间的语义相似度；具体损失函数定义为：
Figure BDA0003421682180000069
其中，
Figure BDA00034216821800000610
表示数据集中图像与文本数据的数目，数目相同；
Figure BDA00034216821800000611
表示图像模态特征的第p张图像的深度语义特征向量；Yf(j*)表示文本模态第q个文本数据的深度语义特征列向量；Bx与By分别表示图像模态和文本模态数据期望最优的哈希码；X与Y分别表示图像与文本数据量化后的哈希码；
Figure BDA00034216821800000612
表示F范数；η表示量化损失的优化权重；Spq表示第p个图像数据与第q个文本数据之间的相似关系。
S204:结合排序损失以及语义相似度损失，联合优化模型缩小损失值，得到效果良好的跨模态检索模型，其损失函数具体定义如下：
Figure BDA00034216821800000613
其中，α为近邻样本排序损失函数的影响因子比例；β为语义相似度度量损失函数的影响因子比例；所述α和β为对于网络优化的贡献权重；Bx,y表示网络模型期望学习的统一哈希码；θx,y表示神经网络模型要被学习并优化的参数。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (9)

1.一种基于近邻排序关系的跨模态检索方法，其特征在于，包括：
构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型；
将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练；
结合近邻样本排序损失函数和语义相似度度量损失函数，计算语义对齐的损失值，通过训练缩小所述损失值，得到训练好的深度神经网络模型；
通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达，并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中，实现语义相似度的度量和检索。
2.根据权利要求1所述的基于近邻排序关系的跨模态检索方法，其特征在于，将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练，包括：
将图像数据集
Figure FDA0003421682170000011
输入到图像特征提取网络，其中n表示图像数量；具体为将图像数据输入到VGG-19卷积网络，再通过全连接网络后获得图像数据的深度语义特征；所述VGG-19卷积网络通过ILSVRC-ImageNet数据集进行预训练；
将文本数据集
Figure FDA0003421682170000012
输入到文本特征提取网络；具体为将文本数据的内容输入Glove语言模型，将生成的词向量通过全连接网络后获得文本数据的深度语义特征；所述Glove语言模型通过Google News数据集进行预训练。
3.根据权利要求2所述的基于近邻排序关系的跨模态检索方法，其特征在于，图像数据的深度语义特征表示如下：
Xf＝Netimg(X)
其中，Xf表示图像数据的深度语义特征；Netimg表示图像特征提取网络；
文本数据的深度语义特征表示如下：
Yf＝Nettxt(Y)
其中，Yf表示文本数据的深度语义特征；Nettxt表示文本特征提取网络。
4.根据权利要求3所述的基于近邻排序关系的跨模态检索方法，其特征在于，所述近邻样本排序损失函数的定义如下：
Figure FDA0003421682170000013
σ函数定义如下：
Figure FDA0003421682170000014
tij的定义如下：
Figure FDA0003421682170000021
其中，
Figure FDA0003421682170000022
k表示当前第k个检索样本；i和j分别表示被检索的第i和j个样本；m表示被检索数据集；
Figure FDA0003421682170000023
表示第i个被检索数据与第k个检索数据之间的特征相似度；
Figure FDA0003421682170000024
表示第j个被检索数据与第k个检索数据之间的特征相似度；
Figure FDA0003421682170000025
表示第i个被检索数据与第k个检索数据之间的相似排序关系；
Figure FDA0003421682170000026
表示第j个被检索数据与第k个检索数据之间的相似排序关系。
5.根据权利要求4所述的基于近邻排序关系的跨模态检索方法，其特征在于，所述语义相似度度量损失函数的定义如下：
Figure FDA0003421682170000027
s.t.B*∈{-1,1}
其中，
Figure FDA0003421682170000028
表示数据集中图像与文本数据的数目，数目相同；
Figure FDA0003421682170000029
表示图像模态特征的第i张图像的深度语义特征向量；Yf(j*)表示文本模态第j个文本数据的深度语义特征列向量；Bx与By分别表示图像模态和文本模态数据期望最优的哈希码；X与Y分别表示图像与文本数据量化后的哈希码；
Figure FDA00034216821700000210
表示F范数；η表示量化损失的优化权重；Sij表示第i个图像数据与第j个文本数据之间的相似关系。
6.根据权利要求5所述的基于近邻排序关系的跨模态检索方法，其特征在于，结合近邻样本排序损失函数和语义相似度度量损失函数获得联合损失函数，如下：
Figure FDA00034216821700000211
其中，α为近邻样本排序损失函数的影响因子比例；β为语义相似度度量损失函数的影响因子比例；所述α和β为对于网络优化的贡献权重；Bx,y表示网络模型期望学习的统一哈希码；θx,y表示神经网络模型要被学习并优化的参数。
7.根据权利要求5所述的基于近邻排序关系的跨模态检索方法，其特征在于，语义相似度排序关系根据图像数据与文本数据的深度语义特征获得，如下：
Figure FDA0003421682170000031
其中，Xf(i)与Yf(i)分别表示图像数据和文本数据提取到的第i个特征输出；
Figure FDA0003421682170000032
表示图像模态数据第j个样本的特征输出；
Figure FDA0003421682170000033
表示表示文本模态数据第j个样本的特征输出。
8.根据权利要求5所述的基于近邻排序关系的跨模态检索方法，其特征在于，不同模态数据之间的相似度排序关系基于图像数据与文本数据之间的标签信息获得，如下：
Figure FDA0003421682170000034
其中，li与lj分别表示图像模态和文本模态的标签信息，针对于多标签数据，根据不同数据之间的标签相似距离计算得到两个模态数据之间的相似排序关系
Figure FDA0003421682170000035
9.根据权利要求8所述的基于近邻排序关系的跨模态检索方法，其特征在于，两个模态数据之间的相似关系表示如下：
Figure FDA0003421682170000036
其中，相似关系是由相似矩阵表示，表示了两个数据之间相似或不相似的对应关系。
CN202111564321.0A 2021-12-20 2021-12-20 一种基于近邻排序关系的跨模态检索方法 Active CN114239730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111564321.0A CN114239730B (zh) 2021-12-20 2021-12-20 一种基于近邻排序关系的跨模态检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111564321.0A CN114239730B (zh) 2021-12-20 2021-12-20 一种基于近邻排序关系的跨模态检索方法

Publications (2)

Publication Number Publication Date
CN114239730A true CN114239730A (zh) 2022-03-25
CN114239730B CN114239730B (zh) 2024-08-20

Family

ID=80759495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111564321.0A Active CN114239730B (zh) 2021-12-20 2021-12-20 一种基于近邻排序关系的跨模态检索方法

Country Status (1)

Country Link
CN (1) CN114239730B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383422A (zh) * 2023-04-07 2023-07-04 四川大学 一种基于锚点的无监督跨模态哈希检索方法
CN117010458A (zh) * 2023-10-08 2023-11-07 华侨大学 基于动态排序优化的图文检索深度神经网络模型训练方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110122A (zh) * 2018-06-22 2019-08-09 北京交通大学 基于多层语义深度哈希算法的图像-文本跨模态检索
CN111985548A (zh) * 2020-08-11 2020-11-24 华侨大学 一种标签引导的跨模态深度哈希方法
CN113064959A (zh) * 2020-01-02 2021-07-02 南京邮电大学 一种基于深度自监督排序哈希的跨模态检索方法
CN113076465A (zh) * 2021-05-14 2021-07-06 中国石油大学(华东) 一种基于深度哈希的通用跨模态检索模型
US20210256365A1 (en) * 2017-04-10 2021-08-19 Peking University Shenzhen Graduate School Cross-media retrieval method based on deep semantic space
CN113792207A (zh) * 2021-09-29 2021-12-14 嘉兴学院 一种基于多层次特征表示对齐的跨模态检索方法
CN113806579A (zh) * 2021-09-17 2021-12-17 中国电信集团系统集成有限责任公司 文本图像检索方法和装置
CN113806580A (zh) * 2021-09-28 2021-12-17 西安电子科技大学 基于层次语义结构的跨模态哈希检索方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210256365A1 (en) * 2017-04-10 2021-08-19 Peking University Shenzhen Graduate School Cross-media retrieval method based on deep semantic space
CN110110122A (zh) * 2018-06-22 2019-08-09 北京交通大学 基于多层语义深度哈希算法的图像-文本跨模态检索
CN113064959A (zh) * 2020-01-02 2021-07-02 南京邮电大学 一种基于深度自监督排序哈希的跨模态检索方法
CN111985548A (zh) * 2020-08-11 2020-11-24 华侨大学 一种标签引导的跨模态深度哈希方法
CN113076465A (zh) * 2021-05-14 2021-07-06 中国石油大学(华东) 一种基于深度哈希的通用跨模态检索模型
CN113806579A (zh) * 2021-09-17 2021-12-17 中国电信集团系统集成有限责任公司 文本图像检索方法和装置
CN113806580A (zh) * 2021-09-28 2021-12-17 西安电子科技大学 基于层次语义结构的跨模态哈希检索方法
CN113792207A (zh) * 2021-09-29 2021-12-14 嘉兴学院 一种基于多层次特征表示对齐的跨模态检索方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383422A (zh) * 2023-04-07 2023-07-04 四川大学 一种基于锚点的无监督跨模态哈希检索方法
CN116383422B (zh) * 2023-04-07 2023-11-03 四川大学 一种基于锚点的无监督跨模态哈希检索方法
CN117010458A (zh) * 2023-10-08 2023-11-07 华侨大学 基于动态排序优化的图文检索深度神经网络模型训练方法

Also Published As

Publication number Publication date
CN114239730B (zh) 2024-08-20

Similar Documents

Publication Publication Date Title
CN112164391B (zh) 语句处理方法、装置、电子设备及存储介质
CN112163165B (zh) 信息推荐方法、装置、设备及计算机可读存储介质
CN111881262B (zh) 基于多通道神经网络的文本情感分析方法
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN112819023B (zh) 样本集的获取方法、装置、计算机设备和存储介质
CN113672708B (zh) 语言模型训练方法、问答对生成方法、装置及设备
CN111046275B (zh) 基于人工智能的用户标签确定方法及装置、存储介质
CN111897913A (zh) 基于语义树增强的复杂文本查询到视频的跨模态检索方法
CN113569001A (zh) 文本处理方法、装置、计算机设备及计算机可读存储介质
CN113297370B (zh) 基于多交互注意力的端到端多模态问答方法及系统
CN111581364B (zh) 一种面向医疗领域的中文智能问答短文本相似度计算方法
CN112100332A (zh) 词嵌入表示学习方法及装置、文本召回方法及装置
CN111259647A (zh) 基于人工智能的问答文本匹配方法、装置、介质及电子设备
CN113011172B (zh) 文本处理方法、装置、计算机设备和存储介质
CN111831924A (zh) 内容推荐方法、装置、设备及可读存储介质
CN114239730B (zh) 一种基于近邻排序关系的跨模态检索方法
CN112131345B (zh) 文本质量的识别方法、装置、设备及存储介质
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN114329181A (zh) 一种题目推荐方法、装置及电子设备
CN110852071B (zh) 知识点检测方法、装置、设备及可读存储介质
CN117216535A (zh) 推荐文本生成模型的训练方法、装置、设备及介质
CN114356990B (zh) 基于迁移学习的基地命名实体识别系统及方法
CN112749566B (zh) 一种面向英文写作辅助的语义匹配方法及装置
CN112925983A (zh) 一种电网资讯信息的推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant