CN110851641B - 跨模态检索方法、装置和可读存储介质 - Google Patents

跨模态检索方法、装置和可读存储介质 Download PDF

Info

Publication number
CN110851641B
CN110851641B CN201810862629.5A CN201810862629A CN110851641B CN 110851641 B CN110851641 B CN 110851641B CN 201810862629 A CN201810862629 A CN 201810862629A CN 110851641 B CN110851641 B CN 110851641B
Authority
CN
China
Prior art keywords
image
feature
region
phrase
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810862629.5A
Other languages
English (en)
Other versions
CN110851641A (zh
Inventor
郭招
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810862629.5A priority Critical patent/CN110851641B/zh
Publication of CN110851641A publication Critical patent/CN110851641A/zh
Application granted granted Critical
Publication of CN110851641B publication Critical patent/CN110851641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种跨模态检索方法、装置和可读存储介质，属于计算机技术领域。该方法包括：在被检索图像中提取包含目标对象的感兴趣区域的图像特征；在检索语句中提取短语特征；基于注意力模型，采用感兴趣区域的图像特征计算检索语句对应的图像特征值；基于相似度计算模型，采用短语特征和图像特征值，计算短语特征和感兴趣区域的图像特征的相似度，并根据相似度输出检索结果。本公开基于注意力机制计算检索语句对应的图像特征值，使得图像特征值中，感兴趣区域中与检索语句相关的区域的图像特征比感兴趣区域中与检索语句无关的区域的图像特征所占的比重大，进而使得相似度计算的结果更准确，提高了检索的准确度。

Description

跨模态检索方法、装置和可读存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种跨模态检索方法、装置和可读存储介质。
背景技术
模态是指数据存在的形式，例如文本、音频、图像、视频等文件格式。跨模态检索是指这样一种检索形式：以一种模态的数据作为查询条件，返回另一种模态的相关结果，例如，用文本形式的自然语言描述检索图像等。
目前，用自然语言描述检索图像的跨模态检索的过程如下：从自然语言描述中提取文本特征，从图像中确定感兴趣区域的图像特征，计算文本特征和图像特征的相似度，当相似度达到阈值时，将图像特征所属的图像作为检索结果输出。
由于自然语言描述实际对应的图像区域可能与感兴趣区域并不是完全匹配的，不匹配的部分会对相似度的结果产生影响，导致相似度的计算存在偏差，最终导致检索结果不准确。
发明内容
本公开提供了一种跨模态检索方法、装置和可读存储介质，能够以自然描述语句作为检索条件对图像进行准确检索。所述技术方案如下：
一方面，提供了一种跨模态检索方法，该方法包括：
获取检索语句和被检索图像；
基于第一特征提取模型，在所述被检索图像中提取包含目标对象的感兴趣区域的图像特征；
基于第二特征提取模型，在所述检索语句中提取短语特征；
基于注意力模型，采用所述包含目标对象的感兴趣区域的图像特征计算所述检索语句对应的图像特征值；
基于相似度计算模型，采用所述短语特征和所述图像特征值，计算所述短语特征和所述包含目标对象的感兴趣区域的图像特征的相似度，并将相似度大于阈值的图像特征所属的所述被检索图像作为检索结果输出。
可选地，所述第一特征提取模型包括第一卷积网络、候选区域生成网络RPN 感兴趣区域池化层和分类层；
所述基于第一特征提取模型，在所述被检索图像中提取包含目标对象的感兴趣区域的图像特征，包括：
将所述被检索图像输入所述第一卷积网络，得到所述被检索图像的特征图；
将所述被检索图像的特征图输入所述RPN，得到包含对象的感兴趣区域在所述特征图中的位置信息；
将所述被检索图像的特征图和所述包含对象的感兴趣区域在所述被检索图像中的位置信息输入所述感兴趣区域池化层，得到包含对象的感兴趣区域的特征图；
将所述包含对象的感兴趣区域的特征图输入所述分类层，得到所述包含对象的感兴趣区域中的对象的类别；
对感兴趣区域所包含的对象进行筛选，筛选出所述包含目标对象的感兴趣区域，并得到所述包含目标对象的感兴趣区域在所述被检索图像中的位置信息；
基于所述包含目标对象的所述感兴趣区域的在所述被检索图像中的位置信息，确定所述包含目标对象的感兴趣区域的图像特征。
可选地，所述第二特征提取模型包括嵌入层和第二卷积网络；
所述基于第二特征提取模型，在所述检索语句中提取短语特征，包括：
通过所述嵌入层，将所述检索语句中的每个字嵌入到特征空间，得到所述检索语句对应的向量矩阵，所述向量矩阵包括每个字对应的向量；
将所述向量矩阵输入所述第二卷积网络，得到所述短语特征。
可选地，所述注意力模型包括全连接层、柔性最大值激活函数softmax层和特征值计算模型；
所述基于注意力模型，采用所述感兴趣区域的图像特征计算所述检索语句对应的图像特征值，包括：
将所述感兴趣区域的图像特征输入所述全连接层，得到中间向量；
将所述中间向量输入所述softmax层，得到所述感兴趣区域的各个图像特征对应的注意力权重；
将所述短语特征和所述注意力权重输入至所述特征值计算模型，得到所述图像特征值。
可选地，所述特征值计算模型采用以下公式得到所述图像特征值：
Figure RE-GDA0001861979500000031
其中，
Figure RE-GDA0001861979500000032
为第i个感兴趣区域的图像特征值，N为所述第i个感兴趣区域中的图像特征的数量，an,j为第j个短语特征对应的所述第i个感兴趣区域的第n 个图像特征的注意力权重，
Figure RE-GDA0001861979500000033
为所述第i个感兴趣区域的第n个图像特征。
可选地，所述相似度计算模型包括映射层和相似度计算层；
所述基于所述图像特征值，计算所述短语特征和所述感兴趣区域的图像特征的相似度，包括：
将所述短语特征输入所述映射层以将所述短语特征映射到图像特征空间，得到映射后的所述短语特征，所述图像特征空间为所述图像特征值所在的特征空间；
将所述映射后的所述短语特征和所述图像特征值输入所述相似度计算层，得到所述短语特征和所述感兴趣区域的图像特征的相似度。
可选地，所述映射层采用以下公式将所述短语特征映射到所述图像特征空间：
Figure RE-GDA0001861979500000034
其中，
Figure RE-GDA0001861979500000035
为映射后的第j个短语特征，pj为第j个短语特征，WS为映射层参数，bs为偏置项。
可选地，所述相似度计算层采用以下公式计算映射后的所述短语特征和所述感兴趣区域的图像特征的相似度：
Figure RE-GDA0001861979500000036
其中，Vi为第i个感兴趣区域的图像特征，pj为第j个短语特征，sim(Vi,pj)为短语特征和所述第i个感兴趣区域的图像特征的相似度，
Figure RE-GDA0001861979500000037
为第i个感兴趣区域的图像特征值，
Figure RE-GDA0001861979500000038
为映射后的第j个短语特征，·为点积。
可选地，所述根据所述相似度输出检索结果，包括以下步骤中的至少一个：
当所述检索语句中包括一个短语特征时，将相似度大于阈值的图像特征所属的所述被检索图像作为检索结果输出；
当所述检索语句中包括至少两个短语特征时，将平均相似度大于阈值的图像特征所属的所述被检索图像作为检索结果输出，所述平均相似度为单个感兴趣区域的图像特征与所述至少两个短语特征的相似度的平均值。
可选地，所述方法还包括：
获取训练数据集，所述训练数据集包括样本图像和样本检索语句，每个所述样本图像包括至少一个目标对象，每个所述目标对象对应至少一个所述样本检索语句；
采用所述训练数据集，对所述第一特征提取模型、第二特征提取模型、所述注意力模型和所述相似度计算模型进行训练。
可选地，所述采用所述训练数据集，对所述第一特征提取模型、第二特征提取模型、所述注意力模型、所述相似度计算模型进行训练，包括：
将所述样本图像和所述样本检索语句作为训练输入，基于最大间隔 max-margin损失函数，对所述第一特征提取模型、第二特征提取模型、所述注意力模型和所述相似度计算模型进行训练。
另一方面，提供了一种跨模态检索装置，所述装置包括：
获取模块，用于获取检索语句和被检索图像；
图像特征提取模块，用于基于第一特征提取模型，在所述被检索图像中提取包含目标对象的感兴趣区域的图像特征；
短语特征提取模块，用于基于第二特征提取模型，在所述检索语句中提取短语特征；
特征值计算模块，用于基于注意力模型，采用所述包含目标对象的感兴趣区域的图像特征计算所述检索语句对应的图像特征值；
检索模块，用于基于相似度计算模型，采用所述短语特征和所述图像特征值，计算所述短语特征和所述包含目标对象的感兴趣区域的图像特征的相似度，并根据所述相似度输出检索结果。
可选地，所述第一特征提取模型包括第一卷积网络、候选区域生成网络RPN 感兴趣区域池化层和分类层；
所述图像特征提取模块用于，将所述被检索图像输入所述第一卷积网络，得到所述被检索图像的特征图；将所述被检索图像的特征图输入所述RPN，得到包含对象的感兴趣区域在所述特征图中的位置信息；将所述被检索图像的特征图和所述包含对象的感兴趣区域在所述被检索图像中的位置信息输入所述感兴趣区域池化层，得到包含对象的感兴趣区域的特征图；将所述包含对象的感兴趣区域的特征图输入所述分类层，得到所述包含对象的感兴趣区域中的对象的类别；对感兴趣区域所包含的对象进行筛选，筛选出所述包含目标对象的感兴趣区域，并得到所述包含目标对象的感兴趣区域在所述被检索图像中的位置信息；基于所述包含目标对象的所述感兴趣区域的在所述被检索图像中的位置信息，确定所述包含目标对象的感兴趣区域的图像特征。
可选地，所述第二特征提取模型包括嵌入层和第二卷积网络；
所述短语特征提取模块用于通过所述嵌入层，将所述检索语句中的每个字嵌入到特征空间，得到所述检索语句对应的向量矩阵，所述向量矩阵包括每个字对应的向量；将所述向量矩阵输入所述第二卷积网络，得到所述短语特征。
可选地，所述注意力模型包括全连接层、柔性最大值激活函数softmax层和特征值计算模型；
所述特征值计算模块用于将所述感兴趣区域的图像特征输入所述全连接层，得到中间向量；将所述中间向量输入所述softmax层，得到所述感兴趣区域的各个图像特征对应的注意力权重；将所述短语特征和所述注意力权重输入至所述特征值计算模型，得到所述图像特征值。
可选地，所述特征值计算模型采用以下公式得到所述图像特征值：
Figure RE-GDA0001861979500000051
其中，
Figure RE-GDA0001861979500000052
为第i个感兴趣区域的图像特征值，N为所述第i个感兴趣区域中的图像特征的数量，an,j为第j个短语特征对应的所述第i个感兴趣区域的第n 个图像特征的注意力权重，
Figure RE-GDA0001861979500000053
为所述第i个感兴趣区域的第n个图像特征。
可选地，所述相似度计算模型包括映射层和相似度计算层；
所述检索模块用于将所述短语特征输入所述映射层以将所述短语特征映射到图像特征空间，得到映射后的所述短语特征，所述图像特征空间为所述图像特征值所在的特征空间；将所述映射后的所述短语特征和所述图像特征值输入所述相似度计算层，得到所述短语特征和所述感兴趣区域的图像特征的相似度。
可选地，所述映射层采用以下公式将所述短语特征映射到所述图像特征空间：
Figure RE-GDA0001861979500000054
其中，
Figure RE-GDA0001861979500000061
为映射后的第j个短语特征，pj为第j个短语特征，WS为映射层参数，bs为偏置项。
可选地，所述相似度计算层采用以下公式计算映射后的所述短语特征和所述感兴趣区域的图像特征的相似度：
Figure RE-GDA0001861979500000062
其中，Vi为第i个感兴趣区域的图像特征，pj为第j个短语特征，sim(Vi,pj)为短语特征和所述第i个感兴趣区域的图像特征的相似度，
Figure RE-GDA0001861979500000063
为第i个感兴趣区域的图像特征值，
Figure RE-GDA0001861979500000064
为映射后的第j个短语特征，·为点积。
可选地，所述检索模块用于，当所述检索语句中包括一个短语特征时，将相似度大于阈值的图像特征所属的所述被检索图像作为检索结果输出；当所述检索语句中包括至少两个短语特征时，将平均相似度大于阈值的图像特征所属的所述被检索图像作为检索结果输出，所述平均相似度为单个感兴趣区域的图像特征与所述至少两个短语特征的相似度的平均值。
可选地，所述获取模块还用于获取训练数据集，所述训练数据集包括样本图像和样本检索语句，每个所述样本图像包括至少一个目标对象，每个所述目标对象对应至少一个所述样本检索语句；
所述装置还包括训练模块，用于采用所述训练数据集，对所述第一特征提取模型、第二特征提取模型、所述注意力模型和所述相似度计算模型进行训练。
可选地，所述训练模块用于，将所述样本图像和所述样本检索语句作为训练输入，基于最大间隔max-margin损失函数，对所述第一特征提取模型、第二特征提取模型、所述注意力模型和所述相似度计算模型进行训练。
另一方面，提供了一种跨模态检索装置，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现前述跨模态检索方法。
另一方面，提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现前述跨模态检索方法。
本公开实施例提供的技术方案至少包括以下有益效果：
本公开通过基于注意力机制计算检索语句对应的图像特征值，使得图像特征值中，感兴趣区域中与检索语句相关的区域的图像特征比感兴趣区域中与检索语句无关的区域的图像特征所占的比重大，进而使得相似度计算的结果更准确，提高了采用自然语言检索图像的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1示出了本公开实施例提供的跨模态检索方法的流程图；
图2示出了本公开实施例提供的跨模态检索方法的流程图；
图3示出了本公开实施例中第一特征提取模型的结构图；
图4示出了本公开实施例中第二特征提取模型的结构图；
图5示出了本公开实施例中跨模态检索模型的整体结构图；
图6示出了本公开实施例提供的跨模态检索装置的结构框图；
图7示出了本公开一个实施例提供的跨模态检索装置的结构框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
本公开提供的跨模态检索方法和装置适用于采用自然描述语句对图像进行检索的场景，尤其适用于视频监控领域。例如，某人报案称有个身穿黑色T恤和蓝色短裤的人偷了我的手机跑了，事主没有来得及拍下犯人的外貌，并且案发地点没有摄像头，此时，可以采用本申请的跨模态检索方法，根据当事人的描述，从其他地方的监控视频中搜索出与该特征相符的视频片段。
参见图1，其示出了本公开实施例提供的跨模态检索方法的流程图，该方法包括：
步骤101：获取检索语句和被检索图像。
其中，检索语句可以为自然描述语句，用于描述目标对象的相关特征，包括但不限于颜色、种类等，例如，蓝色的衬衣、黑色的裤子、白色的车、红色的帽子等。被检索图像可以包括多个，例如可以是视频中连续的多帧图像。
步骤102：基于第一特征提取模型，在被检索图像中提取包含目标对象的感兴趣区域的图像特征。
步骤103：基于第二特征提取模型，在检索语句中提取短语特征。
步骤104：基于注意力模型，采用包含目标对象的感兴趣区域的图像特征计算检索语句对应的图像特征值。
步骤105：基于相似度计算模型，采用短语特征和图像特征值，计算短语特征和包含目标对象的感兴趣区域的图像特征的相似度，并根据相似度输出检索结果。
需要说明的是，步骤102和步骤103之间没有先后顺序，可以同时执行。
本公开实施例通过基于注意力机制计算检索语句对应的图像特征值，使得图像特征值中，感兴趣区域中与检索语句相关的区域的图像特征比感兴趣区域中与检索语句无关的区域的图像特征所占的比重大，进而使得相似度计算的结果更准确，提高了检索的准确度。
参见图2，其示出了本公开另一个实施例提供的跨模态检索方法的流程图，该方法包括：
步骤201：获取训练数据集。
其中，训练数据集包括多个样本图像和多个样本检索语句，每个样本图像均包括至少一个对象。这里，对象包括但不限于人、车等对象。每个对象所在的图像区域可以对应一个或多个样本检索语句。例如，车所在的图像区域可以对应一个样本检索语句：白色的汽车。又例如，人所在的图像区域可以对应多个样本检索语句：蓝色的衬衫、黑色的裤子、黑色的帽子。多个样本检索语句分别描述目标对象所在的图像区域中的一个子区域，例如，蓝色的衬衫对应的子区域为目标对象所在的图像区域的上半部分区域，黑色的裤子对应的子区域为目标对象所在图像区域的下半部分区域。
样本图像中，目标对象所在区域均被标识出来，例如以矩形框的形式标识。通常可以由人工标识。
步骤202：基于第一特征提取模型，在被检索图像中提取包含目标对象的感兴趣区域的图像特征。
该步骤202可以包括：将样本图像输入第一提取特征模型中，得到至少一个感兴趣区域。每个感兴趣区域内包含一个目标对象。
其中，第一特征提取模型可以包括faster-RCNN模型。
图3为faster-RCNN模型的结构示意图。如图3所示，faster-RCNN模型包括第一卷积网络31、RPN(Region Proposal Network，候选区域生成网络)32、感兴趣区域池化层33和分类层34。
进一步地，该步骤202包括以下步骤：
第一步、将样本图像输入第一卷积网络中，得到样本图像的特征图。
第二步、将样本图像的特征图输入RPN，使得RPN基于该样本图像的特征图确定感兴趣区域，并得到感兴趣区域在样本图像中的位置信息。在该步骤中可以确定出一个或多个感兴趣区域，每个感兴趣区域均包含一个对象。不同的感兴趣区域所包含的对象的类别可以相同，例如都是人，也可以不同，例如一个对象是人，一个对象是车。
第三步、将样本图像的特征图和所有感兴趣区域在样本图像中的位置信息输入感兴趣区域池化层，得到包含对象的感兴趣区域的特征图；
第四步、将包含对象的感兴趣区域的特征图输入分类层，得到感兴趣区域中对象的类别。
实现时，分类层除了预测感兴趣区域中对象的类别以外，还会对感兴趣区域的位置信息进行修正。
第五步、对感兴趣区域所包含的对象进行筛选，从而筛选出包含目标对象的感兴趣区域，并得到包含目标对象的感兴趣区域在样本图像中的位置信息。其中，目标对象为检索语句所描述的对象，一个检索语句可以描述至少一个目标对象。
第六步、基于包含目标对象的感兴趣区域在样本图像中的位置信息，确定包含目标对象的感兴趣区域的图像特征。实现时，可以通过感受野上的坐标映射(指特征图上的坐标到样本图像上的坐标的映射)，得到包含目标对象的感兴趣区域的图像特征。即根据包含目标对象的感兴趣区域在原样本图像中的偏移量，映射得到该感兴趣区域对应的图像特征。
其中，第一卷积网络31包括卷积层和池化层，样本图像的特征图为第一卷积网络31的最后一层(可以为卷积层也可以为池化层)的特征向量，例如，特征图可以为
Figure RE-GDA0001861979500000101
其中，14×14是特征图区域个数，512是特征图区域的特征向量的长度。
每个样本图像中可以检测出至少一个包含目标对象的感兴趣区域，当样本图像中有两个以上的包含目标对象的感兴趣区域时，不同的感兴趣区域对应的特征的长度可以不同。例如，第i个感兴趣区域的图像特征为
Figure RE-GDA0001861979500000102
其中，
Figure RE-GDA0001861979500000103
表示第i个感兴趣区域所对应的第1个特征图区域的特征向量，
Figure RE-GDA0001861979500000104
表示第i个感兴趣区域所对应的第n个(即最后一个)特征图区域的特征向量。其中， 1≤i≤I，I为样本图像中感兴趣区域的个数。当i不相等时，对应的n可以相同也可以不同，例如，第1个感兴趣区域对应的n为8，第2个感兴趣区域对应的 n为10。
步骤203：基于第二特征提取模型，从样本检索语句中提取短语特征。
在本实施例中，第二特征提取模型可以为CNN模型。采用CNN模型对文本信息进行特征提取，速度快且成熟可靠。图4为CNN模型的结构示意图。如图4所示，CNN模型包括嵌入层41和第二卷积网络。在本实施例中，第二卷积网络包括卷积层42和最大池化层43。
进一步地，该步骤203可以包括：
第一步、通过嵌入层，将样本检索语句中的每个字嵌入到特征空间，得到样本检索语句对应的向量矩阵，该向量矩阵包括样本检索语句中每个字对应的向量；
第二步、将样本检索语句对应的向量矩阵输入第二卷积网络，得到样本检索语句对应的短语特征。
在本实施例中，卷积层42采用3个过滤器分别对样本检索语句对应的向量矩阵进行卷积操作。3个过滤器的大小分别为3*1、3*2和3*3。其中，3*1的过滤器用于模拟一元分词(unigram)操作，3*2用于模拟二元分词(bigram)操作， 3*3用于模拟三元分词(trigram)操作。3个过滤器的输出均输入至池化层43，以进行最大池化操作，得到短语特征，该短语特征为一维向量。
下面以样本检索语句为“蓝色的衬衫”为例对本实施例的短语特征提取的过程进行举例说明。请参见图4，“蓝色的衬衫”经过嵌入层的词嵌入操作以后，得到一个5*5的向量矩阵41a；每个字对应一个长度为5的1维向量，例如，图 4中，向量矩阵41a的左边第一列为“蓝”字的向量，左边第二列为“色”字的向量……以此类推。向量矩阵41a输入至卷积层42，经过3个过滤器卷积之后，得到3个中间矩阵，分别经过池化操作后，得到一维向量的短语特征，该一维向量分为三个部分，第一个部分43a为第1个过滤器的输出矩阵42a经过最大池化操作后的输出向量，第二个部分43b为第2个过滤器的输出矩阵42b经过最大池化操作后的输出向量，第三个部分43c为第3个过滤器的输出矩阵42c经过最大池化操作后的输出向量。
可选地，在该步骤203之前，该方法还可以包括：
对样本检索语句进行短语提取，得到至少一个短语。例如，检索语句包括：一个人穿着蓝色的衬衫、黑色的裤子，则短语提取后得到两个短语，一个是蓝色的衬衫，另一个是黑色的裤子。实现时，短语切分可以人为切分，也可以采用算法切分。示例性地，该算法可以为(Constituent Parsing，选区解析)算法，该算法可以将句子以短语形式解析出来，然后提取出形容词短语(通常为形容词与其他词的组合)作为本实施例中的短语输入到第二特征提取模型中。
相应地，可以对各个短语分别进行特征提取，即将切分后得到的短语分别输入第二特征提取模型，得到每个短语对应的短语特征。
需要说明的是，步骤202和步骤203之间没有先后顺序，可以同时执行。
步骤204：基于注意力模型，采用包含目标图像的感兴趣区域的图像特征计算样本检索语句对应的图像特征值。
在本实施例中，注意力模型包括全连接层、softmax层和特征值计算模型。
该步骤204可以包括：
第一步、将感兴趣区域的图像特征输入全连接层，得到中间向量；
第二步、将中间向量输入softmax层，得到感兴趣区域的各个图像特征对应的注意力权重；
第三步、将短语特征和所述注意力权重输入至所述特征值计算模型，得到图像特征值。
在本实施例中，全连接层为一个单层网络，其激活函数为：
hi,j＝tanh(WVVi+(WPpj+bh)) (1)
公式(1)中，hi,j为全连接层输出的第i个感兴趣区域和第j个短语特征对应的中间向量，WV和WV为模型参数，Vi为第i个感兴趣区域的图像特征，pj为第 j个短语特征，bh为偏置项。
在本实施例中，softmax层的激活函数为
ai,j＝softmax(WAhi,j+ba) (2)
公式(2)中，ai,j为第j个短语特征对应的感兴趣区域的第i个图像特征的注意力权重，WA为模型参数，ba为偏置项。
在本实施例中，特征值计算模型采用以下公式得到图像特征值：
Figure RE-GDA0001861979500000121
公式(3)中，
Figure RE-GDA0001861979500000122
为第i个感兴趣区域的图像特征值，N为第i个感兴趣区域中的图像特征的数量，an,j为第j个短语特征对应的第i个感兴趣区域的第n个图像特征的注意力权重，
Figure RE-GDA0001861979500000123
为第i个感兴趣区域的第n个图像特征。
由于检索语句实际描述的区域与感兴趣区域的粒度可能存在不同，短语的粒度小于或等于感兴趣区域的粒度，例如，蓝色的衬衫描述的区域对应感兴趣区域的上半部分，为此，通过注意力模型对齐短语描述区域在感兴趣区域中的大致位置，即利用短语特征去搜索相关更细粒度的图像区域，对图像区域进行特征编码，从而可以更加充分挖掘跨模态数据之间的联系。
步骤205：基于相似度计算模型，采用短语特征和图像特征值，计算短语特征和包含目标对象的感兴趣区域的图像特征的相似度。
其中，该相似度计算模型包括映射层和相似度计算层，映射层用于将短语特征映射到图像特征值所在的特征空间，以便于相似度计算层能够在同一特征空间内计算短语特征和图像特征值的相似度。
相应地，该步骤205可以包括：
第一步、将短语特征输入映射层以将短语特征映射到图像特征空间，得到映射后的短语特征，该图像特征空间为图像特征值所在的特征空间；
第二步、将映射后的短语特征和图像特征值输入相似度计算层，得到短语特征和感兴趣区域的图像特征的相似度。
在本实施例中，映射层采用公式(4)将短语特征映射到图像特征空间：
Figure RE-GDA0001861979500000124
其中，
Figure RE-GDA0001861979500000125
为映射后的第j个短语特征，pj为第j个短语特征，WS为映射层参数，bs为偏置项。
在本实施例中，相似度计算层采用公式(5)计算映射后的短语特征和感兴趣区域的图像特征的相似度：
Figure RE-GDA0001861979500000131
其中，Vi为第i个感兴趣区域的图像特征，pj为第j个短语特征，sim(Vi,pj)为第j个短语特征和第i个感兴趣区域的图像特征的相似度，
Figure RE-GDA0001861979500000132
为第i个感兴趣区域的图像特征值，
Figure RE-GDA0001861979500000133
为映射后的第j个短语特征，·为点积。
步骤206：采用从样本检索语句中提取的短语特征和该短语特征对应的感兴趣区域的图像特征值，对第一特征提取模型、第二特征提取模型、注意力模型和相似度计算模型进行训练。
该步骤206可以包括：
基于最大间隔max-margin损失函数，采用短语特征和感兴趣区域的图像特征的相似度，对第一特征提取模型、第二特征提取模型、注意力模型和相似度计算模型进行训练。
其中，max-margin损失函数用来评价模型的预测值与实际结果的差别，在本实施例中，通过该max-margin损失函数让符合短语描述的图像区域的相似度比不符合短语描述的图像区域的相似度大。
该max-margin损失函数如下：
Figure RE-GDA0001861979500000134
公式(6)中，
Figure RE-GDA0001861979500000135
Figure RE-GDA0001861979500000136
其中，
Figure RE-GDA0001861979500000137
和
Figure RE-GDA0001861979500000138
表示匹配的图像区域特征以及短语特征，
Figure RE-GDA0001861979500000139
和
Figure RE-GDA00018619795000001310
表示不匹配的图像区域特征以及短语特征。β表示边界参数，可以为设定值。K表示训练数据集中图像个数，Nk表示第k个图像中感兴趣区域个数，Mk表示第k个图像描述语句中短语个数。
通过重复执行前述步骤201～206，例如几百万次或者更多次，完成了采用训练数据集，对第一特征提取模型、第二特征提取模型、注意力模型和相似度计算模型进行训练，得到了训练好的跨模态检索模型。该跨模态检索模型的结构可以参见图5。如图5所示，该跨模态检索模块包括第一特征提取模型51、第二特征提取模型52、注意力模型53和相似度计算模型54。在训练好跨模态检索模型之后，即可以调用该跨模态检索模型来实现自然语言描述对视频图像的检索。
需要说明的是，前述步骤201～步骤206为可选步骤，在跨模态检索模型训练好后，无需再执行。
步骤207：获取检索语句和被检索图像。
实际应用中，检索语句可以包括一个或多个短语。而被检索图像可以为视频片段所包含的多个图像帧，当然被检索图像也可以包括多个无关联的图像。
可选地，检索语句可以直接以文本形式输入，也可以以语音形式输入。若检索语句以语音形式输入，则本申请的跨模态检索模型还可以包括语音识别模型，用于将语音形式的检索语句转化为文本形式的检索语句。该语音识别模型也可以采用深度学习神经网络实现。
可选地，该步骤207还可以包括：对检索语句进行短语提取，得到至少一个短语。提取方式可以参见前述步骤203的相关描述，在此不再赘述。
步骤208：将检索语句和被检索图像输入到跨模态检索模型中，得到检索语句对应的检索结果。
其中，检索结果可以包括一个或多个图像。
基于前述跨模态检索模型的结构，该步骤208可以包括以下步骤：
第一步、基于第一特征提取模型，在被检索图像中提取包含目标对象的感兴趣区域的图像特征；
第二步、基于第二特征提取模型，在检索语句中提取短语特征；
第三步、基于注意力模型，采用包含目标对象的感兴趣区域的图像特征计算检索语句对应的图像特征值；
第四步、基于相似度计算模型，采用短语特征和图像特征值，计算短语特征和包含目标对象的感兴趣区域的图像特征的相似度，并根据相似度输出检索结果。
可选地，当检索语句中包括一个短语特征时，将相似度大于阈值的图像特征所属的被检索图像作为检索结果输出。
可选地，当检索语句中包括至少两个短语特征时，将平均相似度大于阈值的图像特征所属的被检索图像作为检索结果输出，平均相似度为单个感兴趣区域的图像特征与至少两个短语特征的相似度的平均值。
示例性地，该第四步可以采用公式(7)计算平均相似度。
sim(Vi,P)＝MEANj(sim(Vi,pj)) (7)
其中，sim(Vi,P)表示第i个感兴趣区域的图像特征与检索语句所对应的短语特征的相似度，sim(Vi,pj)为第j个短语特征和第i个感兴趣区域的图像特征的相似度，MEANj表示多个相似度的平均值。
该步骤208的具体实现过程可以参见前述步骤202～步骤206，在此不再赘述。
本公开实施例通过基于注意力机制计算检索语句对应的图像特征值，使得图像特征值中，感兴趣区域中与检索语句相关的区域的图像特征比感兴趣区域中与检索语句无关的区域的图像特征所占的比重大，进而使得相似度计算的结果更准确，提高了检索的准确度。
下述为本公开装置实施例，对于装置实施例中未详尽描述的细节，可以参考上述方法实施例。
请参考图6，其示出了本公开一个实施例提供的跨模态检索装置600的结构框图。该装置包括：获取模块601、图像特征提取模块602、短语特征提取模块 603、特征值计算模块604和检索模块605。
其中，获取模块601用于获取检索语句和被检索图像。图像特征提取模块 602用于基于第一特征提取模型，在被检索图像中提取包含目标对象的感兴趣区域的图像特征。短语特征提取模块603用于基于第二特征提取模型，在检索语句中提取短语特征。特征值计算模块604用于基于注意力模型，采用包含目标对象的感兴趣区域的图像特征计算检索语句对应的图像特征值。检索模块605 用于基于相似度计算模型，采用短语特征和图像特征值，计算短语特征和包含目标对象的感兴趣区域的图像特征的相似度，并根据所述相似度输出检索结果。
可选地，第一特征提取模型包括第一卷积网络、候选区域生成网络RPN感兴趣区域池化层和分类层；图像特征提取模块602用于，将被检索图像输入第一卷积网络，得到被检索图像的特征图；将被检索图像的特征图输入RPN，得到包含对象的感兴趣区域在被检索图像中的位置信息；将被检索图像的特征图和包含对象的感兴趣区域在被检索图像中的位置信息输入感兴趣区域池化层，得到包含对象的感兴趣区域的特征图；将包含对象的感兴趣区域的特征图输入分类层，得到包含对象的感兴趣区域中的对象的类别；对感兴趣区域所包含的对象进行筛选，筛选出包含目标对象的感兴趣区域，并得到包含目标对象的感兴趣区域在样本图像中的位置信息；基于包含目标对象的所述感兴趣区域的位置信息，确定包含目标对象的感兴趣区域的图像特征。
可选地，第二特征提取模型包括嵌入层和第二卷积网络；短语特征提取模块603用于通过嵌入层，将检索语句中的每个字嵌入到特征空间，得到检索语句对应的向量矩阵，向量矩阵包括每个字对应的向量；将向量矩阵输入第二卷积网络，得到短语特征。
可选地，注意力模型包括全连接层、柔性最大值激活函数softmax层和特征值计算模型；特征值计算模块604用于将感兴趣区域的图像特征输入全连接层，得到中间向量；将中间向量输入softmax层，得到感兴趣区域的各个图像特征对应的注意力权重；将短语特征和注意力权重输入至特征值计算模型，得到图像特征值。
可选地，特征值计算模型采用前述公式(3)得到图像特征值。
可选地，相似度计算模型包括映射层和相似度计算层；检索模块605用于将短语特征输入映射层以将短语特征映射到图像特征空间，得到映射后的短语特征，图像特征空间为图像特征值所在的特征空间；将映射后的短语特征和图像特征值输入相似度计算层，得到短语特征和感兴趣区域的图像特征的相似度。
可选地，检索模块605用于，当检索语句中包括一个短语特征时，将相似度大于阈值的图像特征所属的被检索图像作为检索结果输出；当检索语句中包括至少两个短语特征时，将平均相似度大于阈值的图像特征所属的被检索图像作为检索结果输出，平均相似度为单个感兴趣区域的图像特征与至少两个短语特征的相似度的平均值。
可选地，获取模块601还用于获取训练数据集，训练数据集包括样本图像和样本检索语句，每个样本图像包括至少一个目标对象，每个目标对象对应至少一个样本检索语句。所述装置还包括训练模块606，训练模块606用于采用训练数据集，对第一特征提取模型、第二特征提取模型、注意力模型和相似度计算模型进行训练。
可选地，训练模块606用于将样本图像和样本检索语句作为训练输入，基于最大间隔max-margin损失函数，对第一特征提取模型、第二特征提取模型、注意力模型和相似度计算模型进行训练。
本公开通过基于注意力机制计算检索语句对应的图像特征值，使得图像特征值中，感兴趣区域中与检索语句相关的区域的图像特征比感兴趣区域中与检索语句无关的区域的图像特征所占的比重大，进而使得相似度计算的结果更准确，提高了采用自然语言检索图像的准确度。
参见图7，其示出了本公开实施例提供的一种跨模态检索装置的结构示意图。该装置可能是服务器或者终端，具体来讲：
该装置700包括中央处理单元(CPU)701、包括随机存取存储器(RAM)702 和只读存储器(ROM)703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。装置700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)706，和用于存储操作系统713、应用程序 714和其他程序模块715的大容量存储设备707。
基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出) 连接到中央处理单元701。大容量存储设备707及其相关联的计算机可读介质为装置700提供非易失性存储。也就是说，大容量存储设备707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
根据本公开的各种实施例，装置700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即装置700可以通过连接在系统总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行图 1-2其中任一所提供的跨模态检索方法的指令。
本公开实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由跨模态检索装置的处理器执行时，使得跨模态检索装置能够执行图1-2其中任一提供的跨模态检索方法。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行进行图1-2其中任一提供的跨模态检索方法的指令。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (24)

1.一种跨模态检索方法，其特征在于，所述方法包括：
获取检索语句和被检索图像；
基于第一特征提取模型，在所述被检索图像中提取包含目标对象的感兴趣区域的图像特征；
基于第二特征提取模型，在所述检索语句中提取短语特征；
基于注意力模型，采用所述包含目标对象的感兴趣区域的图像特征和所述短语特征，计算所述感兴趣区域对应的图像特征值；
基于相似度计算模型，采用所述短语特征和所述图像特征值，计算所述短语特征和所述包含目标对象的感兴趣区域的图像特征的相似度，并根据所述相似度输出检索结果。
2.根据权利要求1所述的方法，其特征在于，所述第一特征提取模型包括第一卷积网络、候选区域生成网络RPN、感兴趣区域池化层和分类层；
所述基于第一特征提取模型，在所述被检索图像中提取包含目标对象的感兴趣区域的图像特征，包括：
将所述被检索图像输入所述第一卷积网络，得到所述被检索图像的特征图；
将所述被检索图像的特征图输入所述RPN，得到包含对象的感兴趣区域在所述被检索图像中的位置信息；
将所述被检索图像的特征图和所述包含对象的感兴趣区域在所述被检索图像中的位置信息输入所述感兴趣区域池化层，得到包含对象的感兴趣区域的特征图；
将所述包含对象的感兴趣区域的特征图输入所述分类层，得到所述包含对象的感兴趣区域中的对象的类别；
对感兴趣区域所包含的对象进行筛选，筛选出所述包含目标对象的感兴趣区域，并得到所述包含目标对象的感兴趣区域在所述被检索图像中的位置信息；
基于所述包含目标对象的所述感兴趣区域的在所述被检索图像中的位置信息，确定所述包含目标对象的感兴趣区域的图像特征。
3.根据权利要求1所述的方法，其特征在于，所述第二特征提取模型包括嵌入层和第二卷积网络；
所述基于第二特征提取模型，在所述检索语句中提取短语特征，包括：
通过所述嵌入层，将所述检索语句中的每个字嵌入到特征空间，得到所述检索语句对应的向量矩阵，所述向量矩阵包括每个字对应的向量；
将所述向量矩阵输入所述第二卷积网络，得到所述短语特征。
4.根据权利要求1所述的方法，其特征在于，所述注意力模型包括全连接层、柔性最大值激活函数softmax层和特征值计算模型；
所述基于注意力模型，采用所述感兴趣区域的图像特征和所述短语特征，计算所述感兴趣区域对应的图像特征值，包括：
将所述感兴趣区域的图像特征和所述短语 特征输入所述全连接层，得到中间向量；
将所述中间向量输入所述softmax层，得到所述感兴趣区域的各个图像特征对应的注意力权重；
将所述感兴趣区域的图像特征和所述注意力权重输入至所述特征值计算模型，得到所述图像特征值。
5.根据权利要求4所述的方法，其特征在于，所述特征值计算模型采用以下公式得到所述图像特征值：
Figure FDA0003667072860000021
其中，
Figure FDA0003667072860000022
为第i个感兴趣区域的图像特征值，N为所述第i个感兴趣区域中的图像特征的数量，an,j为第j个短语特征对应的所述第i个感兴趣区域的第n个图像特征的注意力权重，
Figure FDA0003667072860000023
为所述第i个感兴趣区域的第n个图像特征。
6.根据权利要求1所述的方法，其特征在于，所述相似度计算模型包括映射层和相似度计算层；
所述基于所述图像特征值，计算所述短语特征和所述感兴趣区域的图像特征的相似度，包括：
将所述短语特征输入所述映射层以将所述短语特征映射到图像特征空间，得到映射后的所述短语特征，所述图像特征空间为所述图像特征值所在的特征空间；
将所述映射后的所述短语特征和所述图像特征值输入所述相似度计算层，得到所述短语特征和所述感兴趣区域的图像特征的相似度。
7.根据权利要求6所述的方法，其特征在于，所述映射层采用以下公式将所述短语特征映射到所述图像特征空间：
Figure FDA0003667072860000031
其中，
Figure FDA0003667072860000032
为映射后的第j个短语特征，pj为第j个短语特征，WS为映射层参数，bs为偏置项。
8.根据权利要求7所述的方法，其特征在于，所述相似度计算层采用以下公式计算映射后的所述短语特征和所述感兴趣区域的图像特征的相似度：
Figure FDA0003667072860000033
其中，Vi为第i个感兴趣区域的图像特征，pj为第j个短语特征，sim(Vi,pj)为短语特征和所述第i个感兴趣区域的图像特征的相似度，
Figure FDA0003667072860000034
为第i个感兴趣区域的图像特征值，
Figure FDA0003667072860000035
为映射后的第j个短语特征，·为点积。
9.根据权利要求1所述的方法，其特征在于，所述根据所述相似度输出检索结果，包括以下步骤中的至少一个：
当所述检索语句中包括一个短语特征时，将相似度大于阈值的图像特征所属的所述被检索图像作为检索结果输出；
当所述检索语句中包括至少两个短语特征时，将平均相似度大于阈值的图像特征所属的所述被检索图像作为检索结果输出，所述平均相似度为单个感兴趣区域的图像特征与所述至少两个短语特征的相似度的平均值。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
获取训练数据集，所述训练数据集包括样本图像和样本检索语句，每个所述样本图像包括至少一个目标对象，每个所述目标对象对应至少一个所述样本检索语句；
采用所述训练数据集，对所述第一特征提取模型、第二特征提取模型、所述注意力模型和所述相似度计算模型进行训练。
11.根据权利要求10所述的方法，其特征在于，所述采用所述训练数据集，对所述第一特征提取模型、第二特征提取模型、所述注意力模型、所述相似度计算模型进行训练，包括：
将所述样本图像和所述样本检索语句作为训练输入，基于最大间隔max-margin损失函数，对所述第一特征提取模型、第二特征提取模型、所述注意力模型和所述相似度计算模型进行训练。
12.一种跨模态检索装置，其特征在于，所述装置包括：
获取模块，用于获取检索语句和被检索图像；
图像特征提取模块，用于基于第一特征提取模型，在所述被检索图像中提取包含目标对象的感兴趣区域的图像特征；
短语特征提取模块，用于基于第二特征提取模型，在所述检索语句中提取短语特征；
特征值计算模块，用于基于注意力模型，采用所述包含目标对象的感兴趣区域的图像特征和所述短语特征，计算所述感兴趣区域对应的图像特征值；
检索模块，用于基于相似度计算模型，采用所述短语特征和所述图像特征值，计算所述短语特征和所述包含目标对象的感兴趣区域的图像特征的相似度，并根据所述相似度输出检索结果。
13.根据权利要求12所述的装置，其特征在于，所述第一特征提取模型包括第一卷积网络、候选区域生成网络RPN、感兴趣区域池化层和分类层；
所述图像特征提取模块用于，将所述被检索图像输入所述第一卷积网络，得到所述被检索图像的特征图；将所述被检索图像的特征图输入所述RPN，得到包含对象的感兴趣区域在所述被检索图像中的位置信息；将所述被检索图像的特征图和所述包含对象的感兴趣区域在所述被检索图像中的位置信息输入所述感兴趣区域池化层，得到包含对象的感兴趣区域的特征图；将所述包含对象的感兴趣区域的特征图输入所述分类层，得到所述包含对象的感兴趣区域中的对象的类别；对感兴趣区域所包含的对象进行筛选，筛选出所述包含目标对象的感兴趣区域，并得到所述包含目标对象的感兴趣区域在所述被检索图像中的位置信息；基于所述包含目标对象的所述感兴趣区域的在所述被检索图像中的位置信息，确定所述包含目标对象的感兴趣区域的图像特征。
14.根据权利要求12所述的装置，其特征在于，所述第二特征提取模型包括嵌入层和第二卷积网络；
所述短语特征提取模块用于通过所述嵌入层，将所述检索语句中的每个字嵌入到特征空间，得到所述检索语句对应的向量矩阵，所述向量矩阵包括每个字对应的向量；将所述向量矩阵输入所述第二卷积网络，得到所述短语特征。
15.根据权利要求12所述的装置，其特征在于，所述注意力模型包括全连接层、柔性最大值激活函数softmax层和特征值计算模型；
所述特征值计算模块用于将所述感兴趣区域的图像特征和所述短语特征输入所述全连接层，得到中间向量；将所述中间向量输入所述softmax层，得到所述感兴趣区域的各个图像特征对应的注意力权重；将所述感兴趣区域的图像特征和所述注意力权重输入至所述特征值计算模型，得到所述图像特征值。
16.根据权利要求15所述的装置，其特征在于，所述特征值计算模型采用以下公式得到所述图像特征值：
Figure FDA0003667072860000051
其中，
Figure FDA0003667072860000052
为第i个感兴趣区域的图像特征值，N为所述第i个感兴趣区域中的图像特征的数量，an,j为第j个短语特征对应的所述第i个感兴趣区域的第n个图像特征的注意力权重，
Figure FDA0003667072860000053
为所述第i个感兴趣区域的第n个图像特征。
17.根据权利要求12所述的装置，其特征在于，所述相似度计算模型包括映射层和相似度计算层；
所述检索模块用于将所述短语特征输入所述映射层以将所述短语特征映射到图像特征空间，得到映射后的所述短语特征，所述图像特征空间为所述图像特征值所在的特征空间；将所述映射后的所述短语特征和所述图像特征值输入所述相似度计算层，得到所述短语特征和所述感兴趣区域的图像特征的相似度。
18.根据权利要求17所述的装置，其特征在于，所述映射层采用以下公式将所述短语特征映射到所述图像特征空间：
Figure FDA0003667072860000061
其中，
Figure FDA0003667072860000062
为映射后的第j个短语特征，pj为第j个短语特征，WS为映射层参数，bs为偏置项。
19.根据权利要求18所述的装置，其特征在于，所述相似度计算层采用以下公式计算映射后的所述短语特征和所述感兴趣区域的图像特征的相似度：
Figure FDA0003667072860000063
其中，Vi为第i个感兴趣区域的图像特征，pj为第j个短语特征，sim(Vi,pj)为短语特征和所述第i个感兴趣区域的图像特征的相似度，
Figure FDA0003667072860000064
为第i个感兴趣区域的图像特征值，
Figure FDA0003667072860000065
为映射后的第j个短语特征，·为点积。
20.根据权利要求12所述的装置，其特征在于，所述检索模块用于，当所述检索语句中包括一个短语特征时，将相似度大于阈值的图像特征所属的所述被检索图像作为检索结果输出；当所述检索语句中包括至少两个短语特征时，将平均相似度大于阈值的图像特征所属的所述被检索图像作为检索结果输出，所述平均相似度为单个感兴趣区域的图像特征与所述至少两个短语特征的相似度的平均值。
21.根据权利要求12-20任一项所述的装置，其特征在于，所述获取模块还用于获取训练数据集，所述训练数据集包括样本图像和样本检索语句，每个所述样本图像包括至少一个目标对象，每个所述目标对象对应至少一个所述样本检索语句；
所述装置还包括训练模块，用于采用所述训练数据集，对所述第一特征提取模型、第二特征提取模型、所述注意力模型和所述相似度计算模型进行训练。
22.根据权利要求21所述的装置，其特征在于，所述训练模块用于，将所述样本图像和所述样本检索语句作为训练输入，基于最大间隔max-margin损失函数，对所述第一特征提取模型、第二特征提取模型、所述注意力模型和所述相似度计算模型进行训练。
23.一种跨模态检索装置，其特征在于，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至11任一项所述的跨模态检索方法。
24.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至11任一项所述的跨模态检索方法。
CN201810862629.5A 2018-08-01 2018-08-01 跨模态检索方法、装置和可读存储介质 Active CN110851641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810862629.5A CN110851641B (zh) 2018-08-01 2018-08-01 跨模态检索方法、装置和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810862629.5A CN110851641B (zh) 2018-08-01 2018-08-01 跨模态检索方法、装置和可读存储介质

Publications (2)

Publication Number Publication Date
CN110851641A CN110851641A (zh) 2020-02-28
CN110851641B true CN110851641B (zh) 2022-09-16

Family

ID=69594449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810862629.5A Active CN110851641B (zh) 2018-08-01 2018-08-01 跨模态检索方法、装置和可读存储介质

Country Status (1)

Country Link
CN (1) CN110851641B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651661B (zh) * 2020-06-03 2023-02-14 拾音智能科技有限公司 一种图文跨媒体检索方法
WO2022041940A1 (en) * 2020-08-31 2022-03-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Cross-modal retrieval method, training method for cross-modal retrieval model, and related device
CN112269892B (zh) * 2020-10-11 2023-04-07 北京航空航天大学 一种基于多模态多层次统一交互的短语定位识别方法
CN112287159B (zh) * 2020-12-18 2021-04-09 北京世纪好未来教育科技有限公司 检索方法、电子设备及计算机可读介质
CN113127672A (zh) * 2021-04-21 2021-07-16 鹏城实验室 量化图像检索模型的生成方法、检索方法、介质及终端
CN113408581A (zh) * 2021-05-14 2021-09-17 北京大数据先进技术研究院 一种多模态数据匹配方法、装置、设备及存储介质
CN113204666B (zh) * 2021-05-26 2022-04-05 杭州联汇科技股份有限公司 一种基于文字查找匹配图片的方法
CN113469197B (zh) * 2021-06-29 2024-03-22 北京达佳互联信息技术有限公司 图文匹配方法、装置、设备以及存储介质
CN113836356A (zh) * 2021-11-23 2021-12-24 北京亮亮视野科技有限公司 视频检索方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066583A (zh) * 2017-04-14 2017-08-18 华侨大学 一种基于紧凑双线性融合的图文跨模态情感分类方法
CN107563407A (zh) * 2017-08-01 2018-01-09 同济大学 一种面向网络空间多模态大数据的特征表示学习系统
CN108052512A (zh) * 2017-11-03 2018-05-18 同济大学 一种基于深度注意力机制的图像描述生成方法
CN108304506A (zh) * 2018-01-18 2018-07-20 腾讯科技（深圳）有限公司 检索方法、装置及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007882B2 (en) * 2008-06-24 2018-06-26 Sharon Belenzon System, method and apparatus to determine associations among digital documents
CN103049526B (zh) * 2012-12-20 2015-08-05 中国科学院自动化研究所 基于双空间学习的跨媒体检索方法
US20140313216A1 (en) * 2013-04-18 2014-10-23 Baldur Andrew Steingrimsson Recognition and Representation of Image Sketches
CN104035992B (zh) * 2014-06-10 2017-05-10 复旦大学 利用图像处理技术及语义向量空间的文本语义处理方法和系统
CN104217225B (zh) * 2014-09-02 2018-04-24 中国科学院自动化研究所 一种视觉目标检测与标注方法
US11409791B2 (en) * 2016-06-10 2022-08-09 Disney Enterprises, Inc. Joint heterogeneous language-vision embeddings for video tagging and search
US10417498B2 (en) * 2016-12-30 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Method and system for multi-modal fusion model
CN108228686B (zh) * 2017-06-15 2021-03-23 北京市商汤科技开发有限公司 用于实现图文匹配的方法、装置和电子设备
CN107562812B (zh) * 2017-08-11 2021-01-15 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN107610113A (zh) * 2017-09-13 2018-01-19 北京邮电大学 一种图像中基于深度学习的小目标的检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066583A (zh) * 2017-04-14 2017-08-18 华侨大学 一种基于紧凑双线性融合的图文跨模态情感分类方法
CN107563407A (zh) * 2017-08-01 2018-01-09 同济大学 一种面向网络空间多模态大数据的特征表示学习系统
CN108052512A (zh) * 2017-11-03 2018-05-18 同济大学 一种基于深度注意力机制的图像描述生成方法
CN108304506A (zh) * 2018-01-18 2018-07-20 腾讯科技（深圳）有限公司 检索方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Modality-Specific Cross-Modal Similarity Measurement With Recurrent Attention Network;Yuxin Peng等;《 IEEE Transactions on Image Processing》;20180702;第27卷(第11期);5585 - 5599 *
基于带约束矩阵的图像表示与检索算法研究;杨政;《中国博士学位论文全文数据库 信息科技辑》;20161215;I138-17 *

Also Published As

Publication number Publication date
CN110851641A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110851641B (zh) 跨模态检索方法、装置和可读存储介质
CN107526799B (zh) 一种基于深度学习的知识图谱构建方法
CN108038103B (zh) 一种对文本序列进行分词的方法、装置和电子设备
CN109471945B (zh) 基于深度学习的医疗文本分类方法、装置及存储介质
WO2021139191A1 (zh) 数据标注的方法以及数据标注的装置
CN112819023B (zh) 样本集的获取方法、装置、计算机设备和存储介质
CN113283551A (zh) 多模态预训练模型的训练方法、训练装置及电子设备
CN111626362B (zh) 图像处理方法、装置、计算机设备和存储介质
Wazalwar et al. Interpretation of sign language into English using NLP techniques
CN113836992B (zh) 识别标签的方法、训练标签识别模型的方法、装置及设备
CN107679070B (zh) 一种智能阅读推荐方法与装置、电子设备
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
CN114358203A (zh) 图像描述语句生成模块的训练方法及装置、电子设备
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN113204659B (zh) 多媒体资源的标签分类方法、装置、电子设备及存储介质
CN111651635A (zh) 一种基于自然语言描述的视频检索方法
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN115131811A (zh) 目标识别及模型训练方法、装置、设备、存储介质
CN114168768A (zh) 图像检索方法及相关设备
CN114357206A (zh) 基于语义分析的教育类视频彩色字幕生成方法及系统
CN112101154B (zh) 视频分类方法、装置、计算机设备和存储介质
CN113761124A (zh) 文本编码模型的训练方法、信息检索方法及设备
CN116958512A (zh) 目标检测方法、装置、计算机可读介质及电子设备
CN111222000A (zh) 一种基于图卷积神经网络的图像分类方法及系统
CN115687576A (zh) 一种主题约束表示的关键词抽取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant