CN111125457A - 一种深度跨模态哈希检索方法及装置 - Google Patents

一种深度跨模态哈希检索方法及装置 Download PDF

Info

Publication number
CN111125457A
CN111125457A CN201911285791.6A CN201911285791A CN111125457A CN 111125457 A CN111125457 A CN 111125457A CN 201911285791 A CN201911285791 A CN 201911285791A CN 111125457 A CN111125457 A CN 111125457A
Authority
CN
China
Prior art keywords
retrieval
hash
sample
target
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911285791.6A
Other languages
English (en)
Inventor
姚洪磊
李锐
金长新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Tengming Information Technology Co ltd
Original Assignee
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Artificial Intelligence Research Institute Co Ltd filed Critical Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority to CN201911285791.6A priority Critical patent/CN111125457A/zh
Publication of CN111125457A publication Critical patent/CN111125457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种深度跨模态哈希检索方法及装置，方法包括：获取通过多个训练样本以及相似度矩阵预先生成的，包含注意力机制的哈希检索模型；通过哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；在接收包含有待检索目标的检索请求时，通过哈希检索模型输出待检索目标的哈希码；根据检索目标的哈希码，在存储的包含与检索目标不同模态的多个检索信息中，确定检索结果。通过包含有注意力机制的哈希检索模型，可以使得在哈希检索模型生成哈希码时，能够在接收到输入的信息时，有效区分冗余信息和值得关注的信息，并能够重点关注值得关注部分的信息，提高了生成的哈希码的质量，也提高了最终检索的精确度，提升了用户体验。

Description

一种深度跨模态哈希检索方法及装置
技术领域
本申请涉及检索领域，具体涉及一种深度跨模态哈希检索方法及装置。
背景技术
近年来，随着互联网的快速发展，多媒体数据(例如图片、文本、视频、音频等)呈现出爆炸式的增长。跨模态检索技术旨在根据已有的数据检索与之相匹配的不同模态的数据，例如我们可以通过文本信息在数据库中查找符合文字描述的图片信息。并且由于哈希码具有存储代价小，检索速度快等诸多优势，所以哈希方法也被广泛应用在跨模态检索任务中。
现有技术中，对于各类信息，例如文本信息、图像信息等，信息中的背景、冗余信息和值得关注的信息，在训练生成哈希检索模型时处于相同的地位，这不仅使得训练哈希检索模型的效率不高，而且会导致最终生成的哈希码质量较低，影响最终的检索准确度。在判断两个不同模态的信息是否匹配、相似时，往往认为两个不同模态的信息中只要包含一个相同的标签就断定两者是匹配关系。但是在实际生活中，一个图片、文本可能包含非常丰富的内容，往往是存在多个标签，使得该判定方式就相对不合适。例如我们在检索文本“黑人洗碗”对应的图片时，一般的检索模型所检测出来的图片很大一部分只存在黑人或者是一个人在洗碗，有相当的信息丢失。
发明内容
为了解决上述问题，本申请提出了一种深度跨模态哈希检索方法，包括：获取通过多个训练样本以及相似度矩阵预先生成的，包含注意力机制的哈希检索模型，其中，所述训练样本包括多种模态，所述相似度矩阵根据不同的所述训练样本所包含的标签确定；通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。
在一个示例中，所述相似度矩阵的生成方法包括：在所述多个训练样本中，确定不同模态的第一样本和第二样本；确定所述第一样本和所述第二样本所拥有的标签的总数量，以及所述第一样本和所述第二样本所拥有的相同标签的数量；根据所述相同标签的数量，以及所述总数量，确定所述第一样本与所述第二样本之间的相似程度，其中，所述相似程度至少包括完全不同、完全相同、部分相同；根据所述相似程度，生成相似度矩阵。
在一个示例中，设所述第一样本为i，所述第二样本为j；则
Figure BDA0002317945220000021
Figure BDA0002317945220000022
其中，Sij为所述第一样本与所述第二样本之间的相似程度，且0≤Sij≤1，当Sij＝0时，所述相似程度为完全不同，当Sij＝1时，所述相似程度为完全相同，当0<Sij<1时，所述相似程度为部分相同；|Ci|和|Cj|分别为所述第一样本i和所述第二样本j所拥有的标签的数量，D(i,j)为所述第一样本i和所述第二样本j所拥有的相同标签的数量。
在一个示例中，训练生成所述哈希检索模型时，所述方法还包括：通过不包含全连接层、且包含平均池化层的卷积神经网络提取模态为图片的训练样本的第一图像特征，并通过词袋提取模态为文本的训练样本的第一文本特征，其中，所述卷积神经网络的输出维度为训练样本集的标签的类别数。
在一个示例中，训练生成所述哈希检索模型时，所述方法还包括：通过所述卷积神经网络对图片进行分类，并将最后一层的卷积层作为注意力图；将所述注意力图中激活值最高的区域作为注意力区域。
在一个示例中，训练生成所述哈希检索模型时，所述方法还包括：根据所述第一图像特征与所述注意力图得到中间结果，并将所述中间结果输入全连接层后得到第二图像特征；将所述第一文本特征输入全连接层后得到第二文本特征；通过损失函数以及所述注意力区域训练生成包含注意力机制的哈希检索模型，其中，所述损失函数与所述第二图像特征、所述第二文本特征相关。
在一个示例中，设所述损失函数为L，则
Figure BDA0002317945220000031
Figure BDA0002317945220000032
Fi为第二图像特征，Fj为第二文本特征，L2为量化损失，L3为平衡损失。
在一个示例中，根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果，包括：在存储的包含与所述检索目标不同模态的多个所述检索信息中，按照所述检索信息的哈希码与所述检索目标的哈希码之间的接近程度，从高到低的选取若干个检索信息作为检索结果。
在一个示例中，所述接近程度通过海明距离确定。
另一方面，本申请还提出了一种深度跨模态哈希检索装置，包括：获取模块，获取通过多个训练样本以及相似度矩阵预先生成的，包含注意力机制的哈希检索模型，其中，所述训练样本包括多种模态，所述相似度矩阵根据不同的所述训练样本所包含的标签确定；生成模块，通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；输出模块，在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；处理模块，根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。
通过本申请提出哈希检索方法能够带来如下有益效果：
通过包含有注意力机制的哈希检索模型，可以使得在哈希检索模型生成哈希码时，能够在接收到输入的信息时，有效区分冗余信息和值得关注的信息，并能够重点关注值得关注部分的信息，提高了生成的哈希码的质量，也提高了最终检索的精确度，提升了用户体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中深度跨模态哈希检索方法的流程示意图；
图2为本申请实施例中深度跨模态哈希检索装置的模块示意图；
图3为本申请实施例中训练哈希检索模型的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
如图1所示，本申请实施例提供一种深度跨模态哈希检索方法，包括：
S101、获取通过多个训练样本以及相似度矩阵预先生成的，包含注意力机制的哈希检索模型，其中，所述训练样本包括多种模态，所述相似度矩阵根据不同的所述训练样本所包含的标签确定。
首先采集多个训练样本，用于对哈希检索模型的训练。在采集时，需要采集多个模态的训练样本。通常情况下，用户使用检索工具进行检索时，最多使用的功能为通过文本来寻找相应的图片，或者对图片进行识图以获取相应的文本信息。因此，在此以图像模态和文本模态为例进行解释说明。其中，此处的图片包括静态图片和动态图片，当图片为动态图片时，可以将其当做多个静态图片的合集。当然，训练样本的模态还可以包括视频、音频等，在此不再赘述。
在采集到了多个训练样本后，可以通过这多个训练样本之间的相似程度来生成相似度矩阵。其中，相似程度是根据训练样本所包含的标签确定的，相似程度至少包括完全不同、部分相同以及完全相同这三个级别。
具体地，每个训练样本都拥有自己的标签，标签的数量可以是一个，也可以是多个。针对文本信息，其所包含的标签可以只包括该本身信息本身的含义，也可以包括其上位概念、下位概念或者其对应的一些属性。例如，针对“铁”这一个文本信息，可以包括代表自身含义的标签：铁，也可以包含上位概念的标签：金属，还可以包含在常温时的属性的标签：固体，还可以包含代表词性的标签：名词等。针对图片信息，其所包含的标签可以包含该图片所包含的内容对应的标签，或者该图片所对应的属性的标签。例如，一张包含有太阳的图片，可以包含标签：太阳，也可以包含标签：星球，还可以包含与该图片的尺寸、清晰度、颜色等对应的标签，在此不再赘述。
在为各训练样本设置完标签后，可以根据各训练样本的标签，来确定其之间的相似程度。通常情况下，由于本申请针对的是跨模态搜索，因此在确定训练样本时，可以只确定不同模态的训练样本之间的相似程度。而现有技术中，在判断两个不同模态的信息的相似程度时，往往认为两个不同模态的信息中只要包含一个相同的标签就断定两者是完全相同，这很容易与实际结果有较大的出入。因此，可以将相似程度设置为至少包含：完全不同、完全相同以及部分相同这三个级别。而在部分相同这个级别中，也可以继续的划分若干个级别，每个级别所对应的相似程度也都不同。
具体地，以两个不同模态的第一样本和第二样本进行举例说明。可以首先确定这两个样本所拥有的标签的总数量，以及相同标签的数量。然后通过相同标签的数量与总数量的比值来确定相似程度。当比值越高时，代表着第一样本和第二样本之间相同的标签占所有标签的比例越高，也就说明第一样本和第二样本相似程度越高。
进一步地，可以设第一样本为i，第二样本为j，则
Figure BDA0002317945220000061
其中，Sij为第一样本与第二样本之间的相似程度，|Ci|和|Cj|分别为第一样本i和第二样本j所拥有的标签的数量，D(i,j)为第一样本i和第二样本j所拥有的相同标签的数量。由公式易得，0≤Sij≤1，当Sij＝0时，相似程度为完全不同，当Sij＝1时，相似程度为完全相同，当0<Sij<1时，相似程度为部分相同，且随着Sij的增加，相似程度越高。
在得到相似度矩阵后，即可在相似度矩阵的监督下，训练生成哈希检索模型。但是，对于模态为图片的训练样本，只通过相似度矩阵训练生成哈希检索模型，图片中的背景、冗余信息，会和值得重点关注区域的信息在哈希学习过程中居于同样的地位，导致图片中的信息不能充分利用，因此在此可以引入注意力机制(Attention Mechanism)。注意力机制近年来在计算机视觉领域得到广泛应用，在图像识别上能够自发寻找图片中需要重点关注的部分。
具体地，在训练哈希检索模型时，对于不同模态的训练样本，需要用不同的方式提取其特征。对于图片，如图3所示，可以通过去掉全连接层的卷积神经网络，例如ResNet-50，来提取图片的图像特征，为方便描述，在此称作第一图像特征。对于文本，可以通过词袋(Bag of words model，BOW)来提取其文本特征，为方便描述，在此称作第一文本特征。其中，词袋指的是，对于一个文本，忽略其词序和语法、句法，将其仅仅看做是多个词的集合，文本中每个词的出现都是独立的，不依赖于其他词是否出现。
在训练生成哈希检索模型时，可以通过卷积神经网络，例如ResNet-50，对图片进行分类。在将卷积神经网络去掉全连接层，并加入平均池化层后，使其输出维度为训练样本集的所有标签的类别数。然后将最后一层的卷积层作为注意力图，在该注意力图中，将激活值最高的区域作为注意力区域。
由于卷积神经网络中不包含全连接层，在获取了第一图像特征和第一文本特征后，可以如图3所示，通过将第一图像特征与注意力图得到中间结果，然后将中间结果输入至哈希检索模型的全连接层，得到整体图片的图像特征，在此称作第二图像特征。还可以将第一文本特征输入至全连接层后，得到整体文本的文本特征，在此称作第二文本特征。其中，在生成中间结果时，可以将第一图像特征与注意力图进行矩阵点乘来得到中间结果。然后可以通过损失函数以及注意力区域训练生成包含注意力机制的哈希检索模型。当然，该损失函数与第二图像特征和第二文本特征相关。
具体地，可以设所述损失函数为L，则
Figure BDA0002317945220000071
Figure BDA0002317945220000072
Fi为第二图像特征，Fj为第二文本特征，L2为量化损失，L3为平衡损失，在此不再赘述。
S102、通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码。
在训练完毕哈希检索模型后，可以通过哈希检索模型生成各检索信息对应的哈希码。其中，由于各检索信息的模态不同，而用户在检索时想要执行的是跨模态检索，因此可以将各模态的检索信息存储在一个数据库中，也可以存储在不同的数据库中，以便于后续的查询。
S103、在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码。
S104、根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。
在接收到检索请求后，可以根据哈希检索算发来确定检索请求中待检索目标的哈希码，在存储的多个与检索目标不同模态的检索信息中，确定检索结果，并输出给用户。其中，确定检索结果时，可以按照哈希码之间的接近程度，由高到低的选取若干个检索信息作为检索结果。并在向用户输出时，按照哈希码的接近程度，从高至低依次展示给用户，可以使得最符合的检索信息是排在检索结果的最前面，提高用户体验。在输出检索结果时，输出的个数可以根据需要进行设置，在此不再赘述。
其中，在确定哈希码的接近程度时，可以通过确定哈希码之间的海明距离来确定。在信息编码中，两个合法代码对应位上编码不同的位数称为海明距离。当海明距离越短时，说明两个哈希码之间不同的位数越少，也就说明两个哈希码越接近，同时也代表着两个信息之间的相似程度越高。
如图2所示，本申请实施例还提供了一种深度跨模态哈希检索装置，包括：
获取模块201，获取通过多个训练样本以及相似度矩阵预先生成的，包含注意力机制的哈希检索模型，其中，所述训练样本包括多种模态，所述相似度矩阵根据不同的所述训练样本所包含的标签确定；
生成模块202，通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；
输出模块203，在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；
处理模块204，根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。
以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种深度跨模态哈希检索方法，其特征在于，包括：
获取通过多个训练样本以及相似度矩阵预先生成的，包含注意力机制的哈希检索模型，其中，所述训练样本包括多种模态，所述相似度矩阵根据不同的所述训练样本所包含的标签确定；
通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；
在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；
根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。
2.根据权利要求1所述的方法，其特征在于，所述相似度矩阵的生成方法包括：
在所述多个训练样本中，确定不同模态的第一样本和第二样本；
确定所述第一样本和所述第二样本所拥有的标签的总数量，以及所述第一样本和所述第二样本所拥有的相同标签的数量；
根据所述相同标签的数量，以及所述总数量，确定所述第一样本与所述第二样本之间的相似程度，其中，所述相似程度至少包括完全不同、完全相同、部分相同；
根据所述相似程度，生成相似度矩阵。
3.根据权利要求2所述的方法，其特征在于，设所述第一样本为i，所述第二样本为j；
则
Figure FDA0002317945210000011
其中，Sij为所述第一样本与所述第二样本之间的相似程度，且0≤Sij≤1，当Sij＝0时，所述相似程度为完全不同，当Sij＝1时，所述相似程度为完全相同，当0＜Sij＜1时，所述相似程度为部分相同；|Ci|和|Cj|分别为所述第一样本i和所述第二样本j所拥有的标签的数量，D(i，j)为所述第一样本i和所述第二样本j所拥有的相同标签的数量。
4.根据权利要求1所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：
通过不包含全连接层、且包含平均池化层的卷积神经网络提取模态为图片的训练样本的第一图像特征，并通过词袋提取模态为文本的训练样本的第一文本特征，其中，所述卷积神经网络的输出维度为训练样本集的标签的类别数。
5.根据权利要求4所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：
通过所述卷积神经网络对图片进行分类，并将最后一层的卷积层作为注意力图；
将所述注意力图中激活值最高的区域作为注意力区域。
6.根据权利要求5所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：
根据所述第一图像特征与所述注意力图得到中间结果，并将所述中间结果输入全连接层后得到第二图像特征；将所述第一文本特征输入全连接层后得到第二文本特征；
通过损失函数以及所述注意力区域训练生成包含注意力机制的哈希检索模型，其中，所述损失函数与所述第二图像特征、所述第二文本特征相关。
7.根据权利要求6所述的方法，其特征在于，设所述损失函数为L，则
Figure FDA0002317945210000021
Figure FDA0002317945210000022
Fi为第二图像特征，Fj为第二文本特征，L2为量化损失，L3为平衡损失。
8.根据权利要求1所述的方法，其特征在于，根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果，包括：
在存储的包含与所述检索目标不同模态的多个所述检索信息中，按照所述检索信息的哈希码与所述检索目标的哈希码之间的接近程度，从高到低的选取若干个检索信息作为检索结果。
9.根据权利要求8所述的方法，其特征在于，所述接近程度通过海明距离确定。
10.一种深度跨模态哈希检索装置，其特征在于，包括：
获取模块，获取通过多个训练样本以及相似度矩阵预先生成的，包含注意力机制的哈希检索模型，其中，所述训练样本包括多种模态，所述相似度矩阵根据不同的所述训练样本所包含的标签确定；
生成模块，通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；
输出模块，在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；
处理模块，根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。
CN201911285791.6A 2019-12-13 2019-12-13 一种深度跨模态哈希检索方法及装置 Pending CN111125457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911285791.6A CN111125457A (zh) 2019-12-13 2019-12-13 一种深度跨模态哈希检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911285791.6A CN111125457A (zh) 2019-12-13 2019-12-13 一种深度跨模态哈希检索方法及装置

Publications (1)

Publication Number Publication Date
CN111125457A true CN111125457A (zh) 2020-05-08

Family

ID=70498900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911285791.6A Pending CN111125457A (zh) 2019-12-13 2019-12-13 一种深度跨模态哈希检索方法及装置

Country Status (1)

Country Link
CN (1) CN111125457A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639240A (zh) * 2020-05-14 2020-09-08 山东大学 一种基于注意力感知机制的跨模态哈希检索方法及系统
CN111694974A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 一种融合注意力机制的深度哈希车辆图像检索方法
CN111737507A (zh) * 2020-06-23 2020-10-02 浪潮集团有限公司 一种单模态图像哈希检索方法
CN111858984A (zh) * 2020-07-13 2020-10-30 济南浪潮高新科技投资发展有限公司 一种基于注意力机制哈希检索的图像匹配方法
CN112487239A (zh) * 2020-11-27 2021-03-12 北京百度网讯科技有限公司 视频检索方法、模型训练方法、装置、设备及存储介质
CN112817914A (zh) * 2021-01-21 2021-05-18 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886326A (zh) * 2019-01-31 2019-06-14 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质
CN110059198A (zh) * 2019-04-08 2019-07-26 浙江大学 一种基于相似性保持的跨模态数据的离散哈希检索方法
CN110059217A (zh) * 2019-04-29 2019-07-26 广西师范大学 一种两级网络的图像文本跨媒体检索方法
CN110110122A (zh) * 2018-06-22 2019-08-09 北京交通大学 基于多层语义深度哈希算法的图像-文本跨模态检索
CN110222140A (zh) * 2019-04-22 2019-09-10 中国科学院信息工程研究所 一种基于对抗学习和非对称哈希的跨模态检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110122A (zh) * 2018-06-22 2019-08-09 北京交通大学 基于多层语义深度哈希算法的图像-文本跨模态检索
CN109886326A (zh) * 2019-01-31 2019-06-14 深圳市商汤科技有限公司 一种跨模态信息检索方法、装置和存储介质
CN110059198A (zh) * 2019-04-08 2019-07-26 浙江大学 一种基于相似性保持的跨模态数据的离散哈希检索方法
CN110222140A (zh) * 2019-04-22 2019-09-10 中国科学院信息工程研究所 一种基于对抗学习和非对称哈希的跨模态检索方法
CN110059217A (zh) * 2019-04-29 2019-07-26 广西师范大学 一种两级网络的图像文本跨媒体检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭涵宇: "基于深度学习的图像和文本检索", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
杨红菊，陈庚峰: "基于卷积神经网络约束编码的图像检索方法", 《山西大学学报(自然科学版)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639240A (zh) * 2020-05-14 2020-09-08 山东大学 一种基于注意力感知机制的跨模态哈希检索方法及系统
CN111694974A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 一种融合注意力机制的深度哈希车辆图像检索方法
CN111737507A (zh) * 2020-06-23 2020-10-02 浪潮集团有限公司 一种单模态图像哈希检索方法
CN111858984A (zh) * 2020-07-13 2020-10-30 济南浪潮高新科技投资发展有限公司 一种基于注意力机制哈希检索的图像匹配方法
CN112487239A (zh) * 2020-11-27 2021-03-12 北京百度网讯科技有限公司 视频检索方法、模型训练方法、装置、设备及存储介质
CN112487239B (zh) * 2020-11-27 2024-04-05 北京百度网讯科技有限公司 视频检索方法、模型训练方法、装置、设备及存储介质
CN112817914A (zh) * 2021-01-21 2021-05-18 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备
WO2022155994A1 (zh) * 2021-01-21 2022-07-28 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备

Similar Documents

Publication Publication Date Title
CN111125457A (zh) 一种深度跨模态哈希检索方法及装置
CN111046133A (zh) 基于图谱化知识库的问答方法、设备、存储介质及装置
CN112800170A (zh) 问题的匹配方法及装置、问题的回复方法及装置
CN110083729B (zh) 一种图像搜索的方法及系统
CN110704601A (zh) 利用问题-知识引导的渐进式时空注意力网络解决需要常识的视频问答任务的方法
CN110674252A (zh) 一种面向司法领域的高精度语义搜索系统
CN111159367B (zh) 一种信息处理方法及相关设备
CN106708929B (zh) 视频节目的搜索方法和装置
CN114419387A (zh) 基于预训练模型和召回排序的跨模态检索系统及方法
CN113704507B (zh) 数据处理方法、计算机设备以及可读存储介质
CN113821605A (zh) 一种事件抽取方法
CN112347223A (zh) 文档检索方法、设备及计算机可读存储介质
KR101472451B1 (ko) 디지털 콘텐츠 관리 시스템 및 방법
CN113806588A (zh) 搜索视频的方法和装置
CN114297415A (zh) 面向全媒体数据空间的多源异构数据存储方法及检索方法
CN114328934A (zh) 一种基于注意力机制的多标签文本分类方法及系统
CN106570196B (zh) 视频节目的搜索方法和装置
CN116975340A (zh) 信息检索方法、装置、设备、程序产品及存储介质
CN116304120A (zh) 多媒体检索方法、装置、计算设备和存储介质
CN114491079A (zh) 知识图谱构建和查询方法、装置、设备和介质
CN111737507A (zh) 一种单模态图像哈希检索方法
CN117131155A (zh) 多类目识别方法、装置、电子设备及储存介质
CN111223014B (zh) 一种从大量细分教学内容在线生成细分场景教学课程的方法和系统
CN110851629A (zh) 一种图像检索的方法
CN116775980B (zh) 一种跨模态搜索方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210719

Address after: 250101 building S02, 1036 Chaochao Road, high tech Zone, Jinan City, Shandong Province

Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd.

Address before: Floor 6, Chaochao Road, Shandong Province

Applicant before: SHANDONG INSPUR ARTIFICIAL INTELLIGENCE RESEARCH INSTITUTE Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210823

Address after: 250101 North 6th floor, S05 building, Inspur Science Park, No. 1036, Inspur Road, high tech Zone, Jinan City, Shandong Province

Applicant after: Jinan Tengming Information Technology Co.,Ltd.

Address before: 250101 building S02, 1036 Chaochao Road, high tech Zone, Jinan City, Shandong Province

Applicant before: Shandong Inspur Scientific Research Institute Co.,Ltd.

RJ01 Rejection of invention patent application after publication

Application publication date: 20200508