CN113032614A - 一种跨模态信息检索方法和装置 - Google Patents

一种跨模态信息检索方法和装置 Download PDF

Info

Publication number
CN113032614A
CN113032614A CN202110466219.0A CN202110466219A CN113032614A CN 113032614 A CN113032614 A CN 113032614A CN 202110466219 A CN202110466219 A CN 202110466219A CN 113032614 A CN113032614 A CN 113032614A
Authority
CN
China
Prior art keywords
matrix
feature matrix
information
feature
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110466219.0A
Other languages
English (en)
Inventor
于吉鹏
侯博严
李驰
刘岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202110466219.0A priority Critical patent/CN113032614A/zh
Publication of CN113032614A publication Critical patent/CN113032614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种跨模态信息检索方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待检索的第一模态信息，对第一模态信息进行特征提取，得到第一特征矩阵；对第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到第一聚合特征矩阵以及第二聚合特征矩阵；对第一特征矩阵与第二聚合特征矩阵进行门控融合，得到第一混合特征矩阵；对第二特征矩阵与第一聚合特征矩阵进行门控融合，得到第二混合特征矩阵；根据第一混合特征矩阵和第二混合特征矩阵，计算第一模态信息与第二模态信息之间的匹配度，根据匹配度确定第一模态信息的检索结果。该实施方式能够使匹配度高的特征被集中融合，匹配度低的特征不被融合，提高信息检索精度。

Description

一种跨模态信息检索方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种跨模态信息检索方法和装置。
背景技术
跨模态信息检索即寻找不同模态信息之间的关系，实现利用某一种模态信息，搜索近似语义的其他模态信息。比如，利用图像来检索相应的文本，或者利用文本来检索相应的图像。其中，模态是指信息的存在形式，比如文本、图像、音频、视频等文件格式。
现有的跨模态信息检索方式主要有二值表示学习(binary represen tationlearning)和实值表示学习(real-valued representation learning)两种。其中，二值表示学习是将提取的图像特征和文本特征先映射到汉明二值空间，然后在此空间中进行学习。实值表示学习是直接对提取的图像特征和文本特征进行学习。
在实现本发明过程中，现有技术中至少存在如下问题：
现有的检索方式是将不同模态信息独立嵌入到一个联合空间，之后衡量不同模态信息之间的相似性，无法弥补不同模态信息之间的特征差异，导致检索性能较差。
发明内容
有鉴于此，本发明实施例提供一种跨模态信息检索方法和装置，该方法通过将第一特征矩阵和第二特征矩阵进行多模态融合，并利用门控机制将一个模态的原始特征与另一模态传递的聚合特征进行融合，使得匹配度高的特征被集中融合，匹配度低的特征不被融合，能够自适应的调整信息融合的程度，大幅提高了信息检索精度。
为实现上述目的，根据本发明实施例的一个方面，提供了一种跨模态信息检索方法。
本发明实施例的一种跨模态信息检索方法，包括：获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵；对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，以及第二模态信息对应的第二聚合特征矩阵；其中，所述第二特征矩阵是对所述第二模态信息进行特征提取得到的；对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵；对所述第二特征矩阵与所述第一聚合特征矩阵进行门控融合，得到所述第二模态信息对应的第二混合特征矩阵；根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，根据所述匹配度确定所述第一模态信息的检索结果。
可选地，所述对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵，包括：根据所述第一特征矩阵和所述第二聚合特征矩阵，确定所述第一模态信息对应的控制门；将所述第一特征矩阵与所述第二聚合特征矩阵进行矩阵相加，之后将矩阵相加所得的结果输入所述控制门；以残差融合的方式，将所述控制门输出的信息融合到所述第一特征矩阵，得到所述第一模态信息对应的第一混合特征矩阵。
可选地，所述根据所述第一特征矩阵和所述第二聚合特征矩阵，确定所述第一模态信息对应的控制门，包括：将所述第一特征矩阵和所述第二聚合特征矩阵进行点乘操作，之后将点乘操作所得的结果输入第一激活函数进行处理，得到所述第一模态信息对应的控制门。
可选地，所述根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，包括：对所述第一混合特征矩阵和所述第二混合特征矩阵分别进行降维处理，将降维处理所得的结果分别输入第二激活函数，对应得到第一激活结果和第二激活结果；将所述第一激活结果与所述第一混合特征矩阵进行矩阵相乘，得到第一相乘结果；将所述第二激活结果与所述第二混合特征矩阵进行矩阵相乘，得到第二相乘结果；其中，所述第一相乘结果与所述第二相乘结果的矩阵大小相同；将所述第一相乘结果与所述第二相乘结果进行矩阵相加，将矩阵相加所得的结果输入感知机网络，得到所述第一模态信息与所述第二模态信息之间的匹配度。
可选地，所述感知机网络采用在双层线性层后接第一激活函数的形式。
可选地，所述对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，包括：计算所述第一特征矩阵与所述第二特征矩阵之间的亲和矩阵，对所述亲和矩阵进行规范化处理；将规范化后的亲和矩阵融合到所述第一特征矩阵，得到所述第一模态信息对应的第一聚合特征矩阵。
可选地，所述计算所述第一特征矩阵与所述第二特征矩阵之间的亲和矩阵，包括：计算所述第一特征矩阵对应的第一投影矩阵，以及所述第二特征矩阵对应的第二投影矩阵；其中，所述第一投影矩阵和所述第二投影矩阵的矩阵大小相同；将所述第一特征矩阵与所述第一投影矩阵进行矩阵相乘，得到第一相乘结果；将所述第二特征矩阵与所述第二投影矩阵进行矩阵相乘，得到第二相乘结果；将所述第一相乘结果与所述第二相乘结果的转置矩阵进行矩阵相乘，得到所述第一模态信息对应的亲和矩阵。
为实现上述目的，根据本发明实施例的另一方面，提供了一种跨模态信息检索装置。
本发明实施例的一种跨模态信息检索装置，包括：特征提取模块，用于获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵；模态融合模块，用于对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，以及第二模态信息对应的第二聚合特征矩阵；其中，所述第二特征矩阵是对所述第二模态信息进行特征提取得到的；门控融合模块，用于对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵；对所述第二特征矩阵与所述第一聚合特征矩阵进行门控融合，得到所述第二模态信息对应的第二混合特征矩阵；信息检索模块，用于根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，根据所述匹配度确定所述第一模态信息的检索结果。
可选地，所述门控融合模块，还用于根据所述第一特征矩阵和所述第二聚合特征矩阵，确定所述第一模态信息对应的控制门；将所述第一特征矩阵与所述第二聚合特征矩阵进行矩阵相加，之后将矩阵相加所得的结果输入所述控制门；以残差融合的方式，将所述控制门输出的信息融合到所述第一特征矩阵，得到所述第一模态信息对应的第一混合特征矩阵。
可选地，所所述门控融合模块，还用于将所述第一特征矩阵和所述第二聚合特征矩阵进行点乘操作，之后将点乘操作所得的结果输入第一激活函数进行处理，得到所述第一模态信息对应的控制门。
可选地，所述信息检索模块，还用于对所述第一混合特征矩阵和所述第二混合特征矩阵分别进行降维处理，将降维处理所得的结果分别输入第二激活函数，对应得到第一激活结果和第二激活结果；将所述第一激活结果与所述第一混合特征矩阵进行矩阵相乘，得到第一相乘结果；将所述第二激活结果与所述第二混合特征矩阵进行矩阵相乘，得到第二相乘结果；其中，所述第一相乘结果与所述第二相乘结果的矩阵大小相同；将所述第一相乘结果与所述第二相乘结果进行矩阵相加，将矩阵相加所得的结果输入感知机网络，得到所述第一模态信息与所述第二模态信息之间的匹配度。
可选地，所述感知机网络采用在双层线性层后接第一激活函数的形式。
可选地，所述多模态融合模块，还用于计算所述第一特征矩阵与所述第二特征矩阵之间的亲和矩阵，对所述亲和矩阵进行规范化处理；将规范化后的亲和矩阵融合到所述第一特征矩阵，得到所述第一模态信息对应的第一聚合特征矩阵。
可选地，所述多模态融合模块，还用于计算所述第一特征矩阵对应的第一投影矩阵，以及所述第二特征矩阵对应的第二投影矩阵；其中，所述第一投影矩阵和所述第二投影矩阵的矩阵大小相同；将所述第一特征矩阵与所述第一投影矩阵进行矩阵相乘，得到第一相乘结果；将所述第二特征矩阵与所述第二投影矩阵进行矩阵相乘，得到第二相乘结果；将所述第一相乘结果与所述第二相乘结果的转置矩阵进行矩阵相乘，得到所述第一模态信息对应的亲和矩阵。
为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。
本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种跨模态信息检索方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种跨模态信息检索方法。
上述发明中的一个实施例具有如下优点或有益效果：通过将第一特征矩阵和第二特征矩阵进行多模态融合，并利用门控机制将一个模态的原始特征与另一模态传递的聚合特征进行融合，使得匹配度高的特征被集中融合，匹配度低的特征不被融合，能够自适应的调整信息融合的程度，大幅提高了信息检索精度。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的跨模态信息检索方法的主要步骤的示意图；
图2是根据本发明实施例的跨模态信息检索方法的实现原理示意图；
图3是根据本发明实施例的跨模态信息检索方法中多模态融合的主要流程示意图；
图4是根据本发明实施例的跨模态信息检索方法中门控融合的主要流程示意图；
图5是根据本发明实施例的跨模态信息检索方法中匹配度计算的主要流程示意图；
图6是本发明实施例的自适应交互模型训练过程示意图；
图7是根据本发明实施例的跨模态信息检索装置的主要模块的示意图；
图8是本发明实施例可以应用于其中的示例性系统架构图；
图9是适用于来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的跨模态信息检索方法的主要步骤的示意图。如图1所示，本发明实施例的跨模态信息检索方法，主要包括如下步骤：
步骤S101：获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵。本实施例中，第一模态信息和第二模态信息是不同模态的信息，比如，第一模态信息为文本信息，第二模态信息为图像信息；再比如，第一模态信息为图像信息，第二模态信息为语音信息。
在获取到待检索的第一模态信息之后，对第一模态信息进行特征提取，得到第一特征矩阵。以第一模态信息为文本信息为例，该步骤的特征提取过程可以利用神经网络，比如门控循环单元(Gated Recur rent Unit，GRU)、卷积神经网络(Convolutional NeuralNetwork，CNN)等实现。
实施例中，可以使用GRU网络提取文本特征。具体地，首先对文本信息进行分词处理，得到分词结果集；之后使用词袋模型，对分词结果集中的分词依次进行编码和词嵌入，得到对应的词向量；之后将词向量输入GRU网络，即可得到第一特征矩阵。
以第一模态信息为图像信息为例，该步骤的特征提取过程可以利用神经网络，比如目标检测网络Bottom-Up and Top-Down Attention实现。具体地，首先将图像信息放缩至指定尺寸，之后将统一尺寸后的图像信息输入目标检测网络，即可输出第一特征矩阵。
步骤S102：对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，以及第二模态信息对应的第二聚合特征矩阵。其中，第二特征矩阵是预先对至少一个第二模态信息进行特征提取得到的。多模态融合用于将从不同模态提取的信息(即第一特征矩阵和第二特征矩阵)整合成一个稳定的多模态表征。
实施例中，可以基于注意力机制、双线性池化(Multimodal Bilin ear Pooling，MBP)等方式实现多模态融合。其中，注意力机制是指选择性地关注所有信息的一部分，同时忽略其他可见的信息。双线性池化是通过计算视觉特征向量和文本特征向量的外积，实现视觉特征向量和文本特征向量的融合，获得一个联合表征空间。
步骤S103：对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵；对所述第二特征矩阵与所述第一聚合特征矩阵进行门控融合，得到所述第二模态信息对应的第二混合特征矩阵。
步骤S102只是简单实现了多模态融合，没有建立不同模态信息之间的复杂交叉联系，该步骤用于基于门控机制，将一个模态的原始特征与另一模态传递的聚合特征进行融合，使得匹配度高的特征被集中融合，匹配度低的特征不被融合，自适应的调整信息融合的程度。
步骤S104：根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，根据所述匹配度确定所述第一模态信息的检索结果。使用感知机网络，计算经门控融合后得到的第一混合特征矩阵和第二混合特征矩阵之间的匹配度，将该匹配度作为第一模态信息与第二模态信息之间的匹配度。
在计算出匹配度之后，可以按照设定的筛选条件，从至少一个第二模态信息中选择第二模态信息作为与第一模态信息的检索结果。其中，筛选条件比如可以是匹配度大于设定阈值的第二模态信息，或者将匹配度正序排序后的前N个第二模态信息。N为整数。
具体地，从至少一个第二模态信息中选择与第一模态信息之间的匹配度大于设定阈值的第二模态信息，将选择出的第二模态信息作为与第一模态信息的检索结果。或者，按照匹配度大小，将至少一个第二模态信息进行排序，从排序结果中选择前N个第二模态信息作为与第一模态信息的检索结果。
图2是根据本发明实施例的跨模态信息检索方法的实现原理示意图。如图2所示，以文本和图像两种模态信息为例，对信息检索过程进行了说明。
具体地，首先将文本特征矩阵和图像特征矩阵进行多模态融合，对应得到文本聚合特征矩阵和图像聚合特征矩阵；之后基于文本聚合特征矩阵和图像聚合特征矩阵进行门控融合，对应得到文本混合特征矩阵和图像混合特征矩阵；之后将文本混合特征矩阵和图像混合特征矩阵输入评分模型，即可得到文本信息和图像信息之间的匹配度。
图3是根据本发明实施例的跨模态信息检索方法中多模态融合的主要流程示意图。如图3所示，本发明实施例的跨模态信息检索方法中多模态融合(即步骤S102)的主要包括如下步骤：
步骤S301：计算第一特征矩阵与第二特征矩阵之间的第一亲和矩阵和第二亲和矩阵。亲和矩阵也称为相似性矩阵，用于组织一组数据点之间的相互相似性。其中，第一亲和矩阵为第一模态信息对第二模态信息的亲和矩阵；第二亲和矩阵为第二模态信息对第一模态信息的亲和矩阵。下面对计算第一亲和矩阵的过程进行说明。
首先，计算第一特征矩阵对应的第一投影矩阵，以及第二特征矩阵对应的第二投影矩阵；之后将第一特征矩阵与第一投影矩阵进行矩阵相乘，得到第一相乘结果；将第二特征矩阵与第二投影矩阵进行矩阵相乘，得到第二相乘结果；之后将第一相乘结果与第二相乘结果的转置矩阵进行矩阵相乘，即可得到第一模态信息对应的第一亲和矩阵。
第二亲和矩阵的计算过程与第一亲和矩阵的计算原理相同，本文不再赘述。另外，第一亲和矩阵和第二亲和矩阵可用如下公式表示：
Figure BDA0003044094480000091
式中，At为第一亲和矩阵，Av为第二亲和矩阵，T为第一特征矩阵，Wt为第一投影矩阵，V为第二特征矩阵，Wv为第二投影矩阵，(·)T表示矩阵转置。T和V的维数相同。Wt和Wv的矩阵大小相同，即Wt与Wv的行数相同、列数相同。
步骤S302：对第一亲和矩阵和第二亲和矩阵分别进行规范化处理。此处的规范化处理包括归一化。实施例中，可以使用softmax函数实现规范化处理。对第一亲和矩阵和第二亲和矩阵的规范化处理过程，可用如下公式表示：
Figure BDA0003044094480000092
式中，Aet为规范化后的第一亲和矩阵，Aev为规范化后的第二亲和矩阵，d为Wt、Wv的维数，softmax函数用于将多个神经元的输出映射到(0，1)区间内。
步骤S303：将规范化后的第一亲和矩阵融合到第一特征矩阵，得到第一模态信息对应的第一聚合特征矩阵；将规范化后的第二特征矩阵融合到第二特征矩阵，得到第二模态信息对应的第二聚合特征矩阵。该步骤的融合即将规范化后的亲和矩阵与原始的特征矩阵进行矩阵相乘。第一聚合特征矩阵和第二聚合特征矩阵可用如下公式表示：
Figure BDA0003044094480000101
式中，Ts为第一聚合特征矩阵，Vs为第二聚合特征矩阵。
下面以第一模态信息为文本信息，第二模态信息为图像信息对多模态融合的过程进行进一步说明。
对应步骤S301，即将文本信息对应的文本特征矩阵(对应第一特征矩阵)，以及图像信息对应的图像特征矩阵(对应第二特征矩阵)分别投影到低维空间，之后计算两者的亲和矩阵。
假设文本特征矩阵的矩阵大小为(50，1024)，表示文本信息中50个分词的特征向量，每个分词的特征向量大小为(1，1024)；图像特征矩阵的矩阵大小为(36，1024)，表示图像信息中36个区域的特征向量，每个区域的特征向量大小为(1，1024)。文本特征矩阵和图像特征矩阵的投影矩阵，其矩阵大小为(1024，1024)。
按照公式1处理后，最终得到的文本亲和矩阵(对应第一亲和矩阵)的矩阵大小为(50，36)；图像亲和矩阵(对应第二亲和矩阵)的矩阵大小为(36，50)。
对应步骤S302，即按照公式2，分别对文本亲和矩阵和图像亲和矩阵进行规范化处理。此时，d的值为1024。规范化后的文本亲和矩阵，其矩阵大小为(36，50)；规范化后的图像亲和矩阵，其矩阵大小为(50，36)。
对应步骤S303，即按照公式3，将规范化后的文本亲和矩阵融合到文本特征矩阵，得到文本聚合特征矩阵(对应第一聚合特征矩阵)；同时将规范化后的图像亲和矩阵融合到图像特征矩阵，得到图像聚合特征矩阵(对应第二聚合特征矩阵)。此时，文本聚合特征矩阵的矩阵大小为(36，1024)，图像聚合特征矩阵的矩阵大小为(50，1024)。
图4是根据本发明实施例的跨模态信息检索方法中门控融合的主要流程示意图。如图4所示，本发明实施例的跨模态信息检索方法中门控融合(即步骤S103)的主要包括如下步骤：
步骤S401：为第一模态信息和第二模态信息分别确定对应的第一控制门和第二控制门。实施例中，根据第一特征矩阵和第二聚合特征矩阵，确定第一模态信息对应的第一控制门；根据第二特征矩阵和第一聚合特征矩阵，确定第二模态信息对应的第二控制门。
其中，第一控制门的确定过程为：将第一特征矩阵和第二聚合特征矩阵进行点乘操作，之后将点乘操作所得的结果输入第一激活函数进行处理，即可得到第一模态信息对应的第一控制门。第二控制门的确定过程与第一控制门的确定原理相同，本文不再赘述。第一控制门和第二控制门可用如下公式表示：
Figure BDA0003044094480000111
式中，Gt为第一控制门，Gv为第二控制门，
Figure BDA0003044094480000112
表示点乘，sigmoid函数用于将神经元的输出映射到(0，1)区间。
步骤S402：将第一特征矩阵与第二聚合特征矩阵进行矩阵相加，之后将矩阵相加所得的结果输入第一控制门；将第二特征矩阵和第一聚合特征矩阵进行矩阵相加，之后将矩阵相加所得的结果输入第二控制门。
步骤S403：以残差融合的方式，将第一控制门输出的信息融合到第一特征矩阵，得到第一模态信息对应的第一混合特征矩阵；将第二控制门输出的信息融合到第二特征矩阵，得到第一模态信息对应的第二混合特征矩阵。该步骤用于将控制门输出的信息，输入到由一层线性层和一层relue层构成的线性网络中，进而将该信息融合到原始的特征矩阵中。
步骤S402和步骤S403的处理过程可用如下公式表示：
Figure BDA0003044094480000113
式中，Tt为第一混合特征矩阵，Vt为第二混合特征矩阵，ft(·)和fv(·)为线性网络，
Figure BDA0003044094480000121
表示点加。
下面仍旧以第一模态信息为文本信息，第二模态信息为图像信息对门控融合的过程进行进一步说明。
对应步骤S401，即为文本信息和图像信息分别确定对应的文本控制门(对应第一控制门)和图像控制门(对应第二控制门)。按照公式4，将图像聚合特征矩阵和文本特征矩阵进行点乘操作后，接入sigm oid激活函数，得到文本控制门。将文本聚合特征矩阵和图像特征矩阵进行点乘操作后，接入sigmoid激活函数，得到图像控制门。文本控制门、图像控制门的矩阵大小分别为(50，1024)和(36，1024)。
对应步骤S402，即将文本特征矩阵与图像聚合特征矩阵相加后经过文本控制门，得到(50，1024)的特征矩阵；并将图像特征矩阵与文本聚合特征矩阵相加后经过图像控制门，得到(36，1024)的特征矩阵。
对应步骤S403，即将步骤S402得到的两个特征矩阵输入到由一层线性层和一层relue层构成的线性网络，并与原始的特征矩阵对应相加，得到文本混合特征矩阵(对应第一混合特征矩阵)和图像混合特征矩阵(对应第二混合特征矩阵)。其中，文本混合特征矩阵和图像混合特征矩阵的矩阵大小分别为(50，1024)和(36，1024)。
通过步骤S401-步骤S403的处理，建立了文本信息中各分词和图像信息中各区域之间的联系。而且如果文本信息中某个分词与图像信息中某个区域的匹配程度越高，则控制门的取值越大，促进融合；如果文本信息中某个分词与图像信息中某个区域的匹配程度越低，则控制门的取值越小，抑制融合。
图5是根据本发明实施例的跨模态信息检索方法中匹配度计算的主要流程示意图。如图5所示，本发明实施例的跨模态信息检索方法中匹配度计算(对应步骤S104)的主要包括如下步骤：
步骤S501：对第一混合特征矩阵和第二混合特征矩阵分别进行降维处理，将降维处理所得的结果分别输入第二激活函数，对应得到第一激活结果和第二激活结果。实施例中，使用投影矩阵对第一混合特征矩阵和第二混合特征矩阵进行降维处理，之后降维处理所得的结果输入sfotmax函数进行处理。
步骤S502：将第一激活结果与第一混合特征矩阵进行矩阵相乘，得到第一相乘结果；将第二激活结果与第二混合特征矩阵进行矩阵相乘，得到第二相乘结果。其中，第一相乘结果与第二相乘结果的矩阵大小相同。步骤S501和步骤S502用于统一输入感知机网络的数据格式。
步骤S503：将第一相乘结果与第二相乘结果进行矩阵相加，将矩阵相加所得的结果输入感知机网络，得到第一模态信息与第二模态信息之间的匹配度。实施例中，感知机网络采用在多层线性层(比如双层线性层)后接第一激活函数的形式，用于计算第一模态信息与第二模态信息之间的匹配分数。感知机网络可用如下公式表示：
F＝sigmoid(Wf) 公式6
式中，W表示线性层，f表示矩阵相加所得的结果。
下面仍旧以第一模态信息为文本信息，第二模态信息为图像信息对匹配度计算的过程进行进一步说明。
对应步骤S501，在输入感知机网络之前，首先需要对文本混合特征矩阵和图像混合特征矩阵进行降维处理，之后使用sfotmax函数进行激活，得到文本激活结果(对应第一激活结果)和图像激活结果(对应第二激活结果)。其中，文本激活结果和图像激活结果均为向量，大小分别为(36，1)和(50，1)。
对应步骤S502，将文本激活结果与文本混合特征矩阵相乘，得到文本相乘结果(对应第一相乘结果)；将图像激活结果与图像混合特征矩阵相乘，得到图像相乘结果(对应第二相乘结果)。其中，文本相乘结果和图像相乘结果均为大小相同的向量，向量大小为(1，1024)。
对应步骤S503，将文本相乘结果和图像相乘结果进行向量相加后，输入感知机网络，得到最终的匹配分数。该步骤中，由于文本混合特征矩阵和图像混合特征矩阵已经不再是独立的文本空间特征和图像空间特征，故将由一个双层线性层和一个sigmoid激活函数构成的感知机网络作为评分模型，进而可以直接计算文本信息和图像信息之间的匹配分数。
需要注意的是，实施例中提到的sigmoid函数、softmax函数仅为示例，还可以结合实际情况使用其他激活函数，比如Rectified Linear Un it函数(缩写为ReLU)、Linear函数等。
在一可选的实施例中，为了实现基于文本检索图像的目的，可以预先提取图像集中各图像的图像特征矩阵，并存储到数据库。在接收到检索指令时，再从数据库中获取图像特征矩阵。
实施例中，使用Bottom-Up and Top-Down Attention网络提取图像特征。具体地，将图像按照RGB三通道读取后，放缩至统一大小(500，500，3)，之后输入该网络，即可得到(36，2048)的图像特征矩阵。该图像特征矩阵表示图像36个区域的2048维特征向量。之后通过一个线性层将图像特征矩阵降维为(36，1024)。
在另一可选的实施例中，在使用GRU网络提取文本特征矩阵之前，需根据训练数据中所有文本构建词袋模型。并且，在使用词袋模型对文本信息的分词进行编码时，可以设置文本长度为50，在长度不够时补零。将编码得到的结果进行词嵌入，可以得到(50，300)大小的词向量，将该词向量输入GRU网络，依次经GRU层、线性层、relue层、线性层、dropout层，最后可以得到大小为(50，1024)的文本特征矩阵。
本实施例通过将图像特征和文本特征进行融合，建立了图像空间和文本空间的联系，同时设置了适应融合后的图像和文本矩阵的评分方式，可以直接得到文本和图像的匹配程度，提高了跨模态检索的精度。
可以理解的是，为了实现跨模态检索，可以预先训练出自适应交互模型，该模型用于实现步骤S102-步骤S103。图6是本发明实施例的自适应交互模型训练过程示意图。如图6所示，对输入的图像进行特征提取，对输入的文本进行特征提取，之后将两者提取到的特征矩阵进行多模态融合和门控融合，之后使用感知机网络计算融合后的特征矩阵的匹配度，得到图像和文本的匹配结果。
上述过程中，特征提取、多模态融合、门控融合和匹配度计算的过程如前所述，此处不再赘述。自适应交互模型训练完毕后，即可用于跨模态检索。另外，对于不同训练集(即并非图像和文本)和相应场景的跨模态信息检索，重新训练自适应交互模型即可，扩展性好。
下面结合养老社区这一应用场景，对本发明的跨模态信息检索方法进行进一步说明。
随着养老社区的增多，社区活动的增多，随之产生的照片和视频也越来越多。如何按照人物活动场景，将这些照片分门别类进行整理，以更好的服务于养老社区的相关人员。如何通过穿着、所持物品、去过场所等对老人进行定位，实现走丢老人的快速寻找。
基于上述需求，使用本实施例的跨模态检索方法可以通过文字描述快速找到相应的图像。比如，通过对图像中人数、动作、穿着、动物、物品、环境等细节进行文字描述，检索到相关的图像。比如，两张合唱图像，其中第一张图像的人物穿蓝色衣服，共有10人站成两排合唱，背景为红色；第二张图像的人物穿白色衣服，共有20人站成两排合唱，背景为黄色。现有的检索方式中，由于两张图像的人物穿着不同、背景颜色不同等问题，会将两张图像划分到不同类别，更无法识别合唱这个活动场景。
但是本实施例的跨模态检索方法，可以通过两张图像中多人站成一排，有音箱设备等信息，将其识别为合唱场景，即将两张图像分类为合唱场景类别。另外，还可以通过人物穿着、人数等信息，识别出具体的图像。比如，待检索的文本信息为蓝色衣服、10人，则检索结果为第一张图像；待检索的文本信息为白色上衣、20人，则检索结果为第二张图像。
图7是根据本发明实施例的跨模态信息检索装置的主要模块的示意图。如图7所示，本发明实施例的跨模态信息检索装置700，主要包括：
特征提取模块701，用于获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵。第一模态信息和第二模态信息是不同模态的信息。在获取到待检索的第一模态信息之后，对第一模态信息进行特征提取，得到第一特征矩阵。
以第一模态信息为文本信息为例，特征提取过程可以利用GRU网络实现。具体地，首先对文本信息进行分词处理，得到分词结果集；之后使用词袋模型，对分词结果集中的分词依次进行编码和词嵌入，得到对应的词向量；之后将词向量输入GRU网络，即可得到第一特征矩阵。
模态融合模块702，用于对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，以及第二模态信息对应的第二聚合特征矩阵；其中，所述第二特征矩阵是对所述第二模态信息进行特征提取得到的。
多模态融合用于将从不同模态提取的信息(即第一特征矩阵和第二特征矩阵)整合成一个稳定的多模态表征。实施例中，可以基于注意力机制、双线性池化等方式实现多模态融合。
门控融合模块703，用于对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵；对所述第二特征矩阵与所述第一聚合特征矩阵进行门控融合，得到所述第二模态信息对应的第二混合特征矩阵。
模态融合模块702只是简单实现了多模态融合，没有建立不同模态信息之间的复杂交叉联系，该模块用于基于门控机制，将一个模态的原始特征与另一模态传递的聚合特征进行融合，使得匹配度高的特征被集中融合，匹配度低的特征不被融合，自适应的调整信息融合的程度。
信息检索模块704，用于根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，根据所述匹配度确定所述第一模态信息的检索结果。
使用感知机网络，计算经门控融合后得到的第一混合特征矩阵和第二混合特征矩阵之间的匹配度，将该匹配度作为第一模态信息与第二模态信息之间的匹配度。在计算出匹配度之后，可以按照设定的筛选条件，从至少一个第二模态信息中选择第二模态信息作为与第一模态信息的检索结果。
从以上描述可以看出，通过将第一特征矩阵和第二特征矩阵进行多模态融合，并利用门控机制将一个模态的原始特征与另一模态传递的聚合特征进行融合，使得匹配度高的特征被集中融合，匹配度低的特征不被融合，能够自适应的调整信息融合的程度，大幅提高了信息检索精度。
图8示出了可以应用本发明实施例的跨模态信息检索方法或跨模态信息检索装置的示例性系统架构800。
如图8所示，系统架构800可以包括终端设备801、802、803，网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803发送的检索请求进行处理的后台管理服务器。后台管理服务器可以使用自适应交互模型对检索请求携带的文本进行处理，并将处理结果(例如匹配出的图像)反馈给终端设备。
需要说明的是，本申请实施例所提供的跨模态信息检索方法一般由服务器805执行，相应地，跨模态信息检索装置一般设置于服务器805中。
应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读介质。
本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种跨模态信息检索方法。
本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种跨模态信息检索方法。
下面参考图9，其示出了适用于来实现本发明实施例的电子设备的计算机系统900的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有计算机系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本发明公开的实施例，上文主要步骤图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CP U)901执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括特征提取模块、模态融合模块、门控融合模块和信息检索模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，特征提取模块还可以被描述为“获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵；对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，以及第二模态信息对应的第二聚合特征矩阵；其中，所述第二特征矩阵是对所述第二模态信息进行特征提取得到的；对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵；对所述第二特征矩阵与所述第一聚合特征矩阵进行门控融合，得到所述第二模态信息对应的第二混合特征矩阵；根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，根据所述匹配度确定所述第一模态信息的检索结果。
根据本发明实施例的技术方案，通过将第一特征矩阵和第二特征矩阵进行多模态融合，并利用门控机制将一个模态的原始特征与另一模态传递的聚合特征进行融合，使得匹配度高的特征被集中融合，匹配度低的特征不被融合，能够自适应的调整信息融合的程度，大幅提高了信息检索精度。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种跨模态信息检索方法，其特征在于，包括：
获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵；
对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，以及第二模态信息对应的第二聚合特征矩阵；其中，所述第二特征矩阵是对所述第二模态信息进行特征提取得到的；
对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵；对所述第二特征矩阵与所述第一聚合特征矩阵进行门控融合，得到所述第二模态信息对应的第二混合特征矩阵；
根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，根据所述匹配度确定所述第一模态信息的检索结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵，包括：
根据所述第一特征矩阵和所述第二聚合特征矩阵，确定所述第一模态信息对应的控制门；
将所述第一特征矩阵与所述第二聚合特征矩阵进行矩阵相加，之后将矩阵相加所得的结果输入所述控制门；
以残差融合的方式，将所述控制门输出的信息融合到所述第一特征矩阵，得到所述第一模态信息对应的第一混合特征矩阵。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征矩阵和所述第二聚合特征矩阵，确定所述第一模态信息对应的控制门，包括：
将所述第一特征矩阵和所述第二聚合特征矩阵进行点乘操作，之后将点乘操作所得的结果输入第一激活函数进行处理，得到所述第一模态信息对应的控制门。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，包括：
对所述第一混合特征矩阵和所述第二混合特征矩阵分别进行降维处理，将降维处理所得的结果分别输入第二激活函数，对应得到第一激活结果和第二激活结果；
将所述第一激活结果与所述第一混合特征矩阵进行矩阵相乘，得到第一相乘结果；将所述第二激活结果与所述第二混合特征矩阵进行矩阵相乘，得到第二相乘结果；其中，所述第一相乘结果与所述第二相乘结果的矩阵大小相同；
将所述第一相乘结果与所述第二相乘结果进行矩阵相加，将矩阵相加所得的结果输入感知机网络，得到所述第一模态信息与所述第二模态信息之间的匹配度。
5.根据权利要求4所述的方法，其特征在于，所述感知机网络采用在双层线性层后接第一激活函数的形式。
6.根据权利要求1至5的任一项所述的方法，其特征在于，所述对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，包括：
计算所述第一特征矩阵与所述第二特征矩阵之间的亲和矩阵，对所述亲和矩阵进行规范化处理；
将规范化后的亲和矩阵融合到所述第一特征矩阵，得到所述第一模态信息对应的第一聚合特征矩阵。
7.根据权利要求6所述的方法，其特征在于，所述计算所述第一特征矩阵与所述第二特征矩阵之间的亲和矩阵，包括：
计算所述第一特征矩阵对应的第一投影矩阵，以及所述第二特征矩阵对应的第二投影矩阵；其中，所述第一投影矩阵和所述第二投影矩阵的矩阵大小相同；
将所述第一特征矩阵与所述第一投影矩阵进行矩阵相乘，得到第一相乘结果；将所述第二特征矩阵与所述第二投影矩阵进行矩阵相乘，得到第二相乘结果；
将所述第一相乘结果与所述第二相乘结果的转置矩阵进行矩阵相乘，得到所述第一模态信息对应的亲和矩阵。
8.一种跨模态信息检索装置，其特征在于，包括：
特征提取模块，用于获取待检索的第一模态信息，对所述第一模态信息进行特征提取，得到第一特征矩阵；
模态融合模块，用于对所述第一特征矩阵与预构建的第二特征矩阵进行多模态融合，得到所述第一模态信息对应的第一聚合特征矩阵，以及第二模态信息对应的第二聚合特征矩阵；其中，所述第二特征矩阵是对所述第二模态信息进行特征提取得到的；
门控融合模块，用于对所述第一特征矩阵与所述第二聚合特征矩阵进行门控融合，得到所述第一模态信息对应的第一混合特征矩阵；对所述第二特征矩阵与所述第一聚合特征矩阵进行门控融合，得到所述第二模态信息对应的第二混合特征矩阵；
信息检索模块，用于根据所述第一混合特征矩阵和所述第二混合特征矩阵，计算所述第一模态信息与所述第二模态信息之间的匹配度，根据所述匹配度确定所述第一模态信息的检索结果。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202110466219.0A 2021-04-28 2021-04-28 一种跨模态信息检索方法和装置 Pending CN113032614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110466219.0A CN113032614A (zh) 2021-04-28 2021-04-28 一种跨模态信息检索方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110466219.0A CN113032614A (zh) 2021-04-28 2021-04-28 一种跨模态信息检索方法和装置

Publications (1)

Publication Number Publication Date
CN113032614A true CN113032614A (zh) 2021-06-25

Family

ID=76454607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110466219.0A Pending CN113032614A (zh) 2021-04-28 2021-04-28 一种跨模态信息检索方法和装置

Country Status (1)

Country Link
CN (1) CN113032614A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992805A (zh) * 2024-04-07 2024-05-07 武汉商学院 基于张量积图融合扩散的零样本跨模态检索方法、系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816039A (zh) * 2019-01-31 2019-05-28 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质
CN110188210A (zh) * 2019-05-10 2019-08-30 山东师范大学 一种基于图正则化与模态独立的跨模态数据检索方法及系统
CN111639240A (zh) * 2020-05-14 2020-09-08 山东大学 一种基于注意力感知机制的跨模态哈希检索方法及系统
CN111737458A (zh) * 2020-05-21 2020-10-02 平安国际智慧城市科技股份有限公司 基于注意力机制的意图识别方法、装置、设备及存储介质
US20210012150A1 (en) * 2019-07-11 2021-01-14 Xidian University Bidirectional attention-based image-text cross-modal retrieval method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816039A (zh) * 2019-01-31 2019-05-28 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质
CN110188210A (zh) * 2019-05-10 2019-08-30 山东师范大学 一种基于图正则化与模态独立的跨模态数据检索方法及系统
US20210012150A1 (en) * 2019-07-11 2021-01-14 Xidian University Bidirectional attention-based image-text cross-modal retrieval method
CN111639240A (zh) * 2020-05-14 2020-09-08 山东大学 一种基于注意力感知机制的跨模态哈希检索方法及系统
CN111737458A (zh) * 2020-05-21 2020-10-02 平安国际智慧城市科技股份有限公司 基于注意力机制的意图识别方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992805A (zh) * 2024-04-07 2024-05-07 武汉商学院 基于张量积图融合扩散的零样本跨模态检索方法、系统

Similar Documents

Publication Publication Date Title
CN108304835B (zh) 文字检测方法和装置
WO2020125445A1 (zh) 分类模型训练方法、分类方法、设备及介质
CN108280477B (zh) 用于聚类图像的方法和装置
CN110377740B (zh) 情感极性分析方法、装置、电子设备及存储介质
WO2020177673A1 (zh) 一种视频序列选择的方法、计算机设备及存储介质
CN110489582B (zh) 个性化展示图像的生成方法及装置、电子设备
US20200193245A1 (en) Aligning symbols and objects using co-attention for understanding visual content
CN111582409A (zh) 图像标签分类网络的训练方法、图像标签分类方法及设备
CN113761153B (zh) 基于图片的问答处理方法、装置、可读介质及电子设备
CN113434716B (zh) 一种跨模态信息检索方法和装置
CN113515942A (zh) 文本处理方法、装置、计算机设备及存储介质
CN112163577B (zh) 游戏画面中的文字识别方法、装置、电子设备和存储介质
US20240185602A1 (en) Cross-Modal Processing For Vision And Language
CN112364204A (zh) 视频搜索方法、装置、计算机设备及存储介质
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN112766284B (zh) 图像识别方法和装置、存储介质和电子设备
CN111709398A (zh) 一种图像识别的方法、图像识别模型的训练方法及装置
CN114936623A (zh) 一种融合多模态数据的方面级情感分析方法
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN114419509A (zh) 一种多模态情感分析方法、装置及电子设备
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
CN111522979B (zh) 图片排序推荐方法、装置、电子设备、存储介质
WO2023020160A1 (zh) 一种推荐方法、训练方法、装置、设备及推荐系统
CN113204659A (zh) 多媒体资源的标签分类方法、装置、电子设备及存储介质
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination