CN107871014A - 一种基于深度融合哈希的大数据跨模态检索方法及系统 - Google Patents

一种基于深度融合哈希的大数据跨模态检索方法及系统 Download PDF

Info

Publication number
CN107871014A
CN107871014A CN201711184981.XA CN201711184981A CN107871014A CN 107871014 A CN107871014 A CN 107871014A CN 201711184981 A CN201711184981 A CN 201711184981A CN 107871014 A CN107871014 A CN 107871014A
Authority
CN
China
Prior art keywords
sentence
image
network
retrieved
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711184981.XA
Other languages
English (en)
Inventor
王建民
龙明盛
曹越
刘斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711184981.XA priority Critical patent/CN107871014A/zh
Publication of CN107871014A publication Critical patent/CN107871014A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/325—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于深度融合哈希的大数据跨模态检索方法，包括：识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码；计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离；在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果。本发明提供的基于深度融合哈希的大数据跨模态检索方法及系统，通过捕获视觉数据和自然语言之间的内在交叉对应关系，从而在端到端深度学习架构中生成图像和语句的紧凑哈希码，提高了跨模态检索的准确率。

Description

一种基于深度融合哈希的大数据跨模态检索方法及系统
技术领域
本发明涉及计算机数据管理技术领域，更具体地，涉及一种基于深度融合哈希的大数据跨模态检索方法及系统。
背景技术
随着信息技术的飞速发展，搜索引擎和社交网络中高维度多媒体数据不断增加，如何在这些海量的高维度大数据中进行高效的跨模态近似最近邻搜索成为一个重要且迫切的问题。跨模态检索即使用一种模态的数据作为查询条件，返回另一种模态的相关结果，例如用语句检索图像或用图像检索语句。高效跨模态近似最近邻搜索的一个有力的解决方案是哈希方法(Hashing)，它将高维数据压缩成紧凑的二进制码，因而大大提高其存储效率和检索效率。但是，由于不同模态的异构性，以及低级特征与高级语义之间的语义差距，高质量和高计算效率的跨模态哈希仍然是一个巨大的挑战。
在过去，研究人员曾经提出过许多种传统跨模态哈希方法，大多数方法在哈希函数学习过程中利用跨模态的共享结构，在同构汉明空间中压缩跨模态数据。但是，这种基于浅层架构的跨模态哈希方法不能有效地利用不同模态数据之间的相关关系来降低不同的模态之间的异构性。另外，最新的基于深度学习的跨模态方法表明，深度学习方法可以比浅层学习方法更有效地捕获不同模态之间数据的关联关系，这些深度模型已经成功应用于图像标注和图像检索。
但是，这些技术并不能有效捕捉图像的空间依赖性和语句的时间动态性，也就无法学习强大的特征表示和跨模态嵌入，不能减轻不同模态的异构性，因而无法生成用于跨模态检索的高质量、紧凑的哈希编码，从而不能在跨模态检索中取得较好的效果。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于深度融合哈希的大数据跨模态检索方法及系统，所述方法包括：
S1、识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码，或
若待检索数据的数据类型为语句，则将待检索的语句输入到训练后的语句哈希网络中，获取所述待检索的语句对应的语句二进制码，其中，所述图像哈希网络和所述语句哈希网络分别对应预设的深度视觉-语义融合网络中的图像模态和语句模态，所述深度视觉-语义融合网络用于捕获视觉数据和自然语言之间的内在交叉对应关系；
S2、计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；
S3、在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果，或
在所述检索库中选取第二汉明距离最小的预设数量的图像作为待检索数据的数据类型为语句的检索结果。
其中，步骤S1之前所述方法还包括：
将深度卷积神经网络CNN和深度循环神经网络RNN进行特征融合，以构建所述深度视觉-语义融合网络；
基于所述深度视觉-语义融合网络的融合模态表征，构建所述图像哈希网络，以模拟所述深度视觉-语义融合网络的图像模态，并构建所述语句哈希网络，以模拟所述深度视觉-语义融合网络的语句模态；
基于预设的损失函数，对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络进行训练，所述损失函数包括余弦最大间隔损失函数和逐位最大间隔损失函数。
其中，所述将深度卷积神经网络CNN和深度循环神经网络RNN进行特征融合，以构建所述深度视觉-语义融合网络，具体包括：
将CNN视觉输入的特征空间在RNN中每个时间序列对应的长短期记忆网络LSTM的第二层中映射，以使所述深度视觉-语义融合网络在每一个时间序列都产生一个对应的融合特征编码。
其中，所述基于所述深度视觉-语义融合网络的融合模态表征，构建所述图像哈希网络，以模拟所述深度视觉-语义融合网络的图像模态，具体包括：
基于预设的平方损失函数，使得所述图像哈希网络生成的每一张图像对应的哈希码均能近似于所述深度视觉-语义融合网络生成的所述融合特征编码中的图像模态，并且
基于预设的平方损失函数，使得所述语句哈希网络生成的每一条语句对应的哈希码均能近似于所述深度视觉-语义融合网络生成的所述融合特征编码中的语句模态。
其中，所述基于预设的损失函数，对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络进行训练，所述损失函数包括余弦最大间隔损失函数和逐位最大间隔损失函数，具体包括：
将训练样本集中所有训练图像语句对分别输入所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络中，得到所述深度视觉-语义融合网络生成的融合编码、所述图像哈希网络生成的图像模态以及所述语句哈希网络生成的语句模态；
基于预设的损失函数和所述深度视觉-语义融合网络生成的融合编码、所述图像哈希网络生成的图像模态以及所述语句哈希网络生成的语句模态，分别计算所述损失函数对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络的梯度；
基于所述损失函数对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络的梯度，分别对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络进行训练。
其中，步骤S2包括：
将所述检索库中的所有图像语句对拆分为图像和语句，并将所述图像输入所述图像哈希网络中，语句输入所述语句哈希网络中，得到检索库中每一张图像对应的图像特征和每一条语句对应的语句特征；
将所述检索库中每一张图像对应的图像特征和每一条语句对应的语句特征进行二值化，得到所述检索库中每一张图像对应的二进制码和所述检索库中每一条语句对应的二进制码；
基于汉明码计算式，若待检索数据的数据类型为图像，则计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
若待检索数据的数据类型为语句，则计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离。
其中，所述余弦最大间隔损失函数具体为：
其中，所述L为所述余弦最大间隔损失函数，所述μc＞0是预设的控制最大间隔的参数，所述Sij用于表示两个对象之间的相似性，Sij＝1代表两个对象相似，Sij＝-1代表两个对象不相似，hi、hj代表两个对象的融合特征编码，||.||为向量的欧几里得范数。
根据本发明的第二方面，提供一种基于深度融合哈希的大数据跨模态检索系统，包括：
量化模块，用于识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码，或
若待检索数据的数据类型为语句，则将待检索的语句输入到训练后的语句哈希网络中，获取所述待检索的语句对应的语句二进制码，其中，所述图像哈希网络和所述语句哈希网络分别对应预设的深度视觉-语义融合网络中的图像模态和语句模态；
测距模块，用于计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；
检索模块，用于在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果，或
在所述检索库中选取第二汉明距离最小的预设数量的图像作为待检索数据的数据类型为语句的检索结果。
根据本发明的第三方面，提供一种计算机程序产品，包括程序代码，所述程序代码用于执行上述所述的基于深度融合哈希的大数据跨模态检索方法。
根据本发明的第四方面，提供一种非暂态计算机可读存储介质，用于存储如前所述的计算机程序。
本发明提供的基于深度融合哈希的大数据跨模态检索方法及系统，通过捕获视觉数据和自然语言之间的内在交叉对应关系，在端到端深度学习架构中生成图像和语句的紧凑哈希码，从而使得跨模态检索的异构性减轻，故而提高了跨模态检索的准确率。
附图说明
图1是本发明实施例提供的一种基于深度融合哈希的大数据跨模态检索方法流程图；
图2是本发明实施例提供的一种基于深度融合哈希的大数据跨模态检索的总体架构图；
图3是本发明实施例提供的一种基于深度融合哈希的大数据跨模态检索的总体流程图；
图4是本发明实施例提供的一种基于深度融合哈希的大数据跨模态检索系统结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在本发明中，术语“第一”、“第二”仅用于描述区别，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
图1是本发明实施例提供的一种基于深度融合哈希的大数据跨模态检索方法流程图，如图1所示，所述方法包括：
S1、识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码，或
若待检索数据的数据类型为语句，则将待检索的语句输入到训练后的语句哈希网络中，获取所述待检索的语句对应的语句二进制码，其中，所述图像哈希网络和所述语句哈希网络分别对应预设的深度视觉-语义融合网络中的图像模态和语句模态，所述深度视觉-语义融合网络用于捕获视觉数据和自然语言之间的内在交叉对应关系；
S2、计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；
S3、在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果，或
在所述检索库中选取第二汉明距离最小的预设数量的图像作为待检索数据的数据类型为语句的检索结果。
现有技术中，一般有两类方法对跨模态进行检索，一种是传统的跨模态哈希方法，采用在哈希函数学习过程中利用跨模态的共享结构，在同构汉明空间中压缩跨模态数据。
但是上述现有技术提供的方法采用基于浅层架构的跨模态哈希方法不能有效地利用不同模态数据之间的相关关系来降低不同的模态之间的异构性，从而导致跨模态检索准确率较低。
另一种是基于深度学习的跨模态方法，该方法表面度学习方法可以比浅层学习方法更有效地捕获不同模态之间数据的关联关系，这些深度模型已经成功应用于图像标注和图像检索。
但是基于深度学习的跨模态方法并不能有效捕捉图像的空间依赖性和语句的时间动态性，也就无法学习强大的特征表示和跨模态嵌入，不能减轻不同模态的异构性，因而无法生成用于跨模态检索的高质量、紧凑的哈希编码。
同时，最新的深度哈希方法已经在许多图像数据集上取得了最好的效果，但是这些方法也仅限于单模态检索。
针对上述现有技术中存在的问题，本发明实施例提供了一种大规模数据跨模态检索方法，通过捕获视觉数据和自然语言之间的内在交叉对应关系，从而在端到端深度学习架构中生成图像和语句的紧凑哈希码。
具体的，S1中，在进行跨模态检索时，首先需要识别待进行检索数据的数据类型，一般的可以将数据类型分为两大类，分别是图像和语句，那么对于跨模态检索，则需要通过待检索的图像检索出对应的语句，通过待检索的语句检索出对应的图像。
进一步的，将待检索的数据根据数据类型选择性的输入图像哈希网络或语句哈希网络中，需要说明的是，所述图像哈希网络和语句哈希网络是对应预设的深度视觉-语义融合网络中的图像模态和语句模态。
而所述深度视觉-语义融合网络是本发明实施例根据视觉数据和自然语言之间的内在交叉对应关系所建立的神经网络，但建立的深度视觉-语义融合网络需要双模态对象，即图像和语句对来联合进行嵌入，但是，在检索时只有一种模态的数据，因此融合网络不能直接应用于跨模态检索。
并且，所述深度视觉-语义融合网络不提供将每个单模态输入映射到融合空间的机制。
那么针对于单模态输入时的跨模态检索，则需要单独应对于输入图像或输入语句两种情形下使用的单一哈希网络，那么本发明实施例则提供了图像哈希网络和语句哈希网络来分别模拟预设的深度视觉-语义融合网络中的图像模态和语句模态。
S1中，通过直接将单模态的输入到对应的哈希网络中，则可以将单模态输入映射到由融合网络学习的融合空间中，从而生成高质量的二进制哈希码。
S2中，对于待检索数据的数据类型，采用两种汉明距离的计算方式，即计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；
可以理解的是，本发明实施例提供的第一汉明距离和第二汉明距离仅用于表示两种汉明距离计算的区别，而不是表示第一汉明距离和第二汉明距离值的差异。
进一步的，通过第一汉明距离和第二汉明距离值的大小，能够选择预设数量的图像或语句作为检索结果。
图2是本发明实施例提供的一种基于深度融合哈希的大数据跨模态检索的总体架构图，图3是本发明实施例提供的一种基于深度融合哈希的大数据跨模态检索的总体流程图，结合本发明实施例提供的图2与图3，本发明实质上提供了一种基于深度哈希的跨模态检索方法，若输入的待检索数据为图片，则可以对应检索出相似的语句，若输入的待检索数据为语句，则可以检索出相似的图片。具体的过程和网络架构如图2和图3所示，需要说明的是，图2中所述模态相关哈希网络即本发明实施例提供的图像哈希网络和语句哈希网络。
在上述实施例的基础上，步骤S1之前所述方法还包括：
将深度卷积神经网络CNN和深度循环神经网络RNN进行特征融合，以构建所述深度视觉-语义融合网络；
基于所述深度视觉-语义融合网络的融合模态表征，构建所述图像哈希网络，以模拟所述深度视觉-语义融合网络的图像模态，并构建所述语句哈希网络，以模拟所述深度视觉-语义融合网络的语句模态；
基于预设的损失函数，对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络进行训练，所述损失函数包括余弦最大间隔损失函数和逐位最大间隔损失函数。
可以理解的是，在进行跨模态检索之前，本发明实施例需要构建检索过程需要的所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络，并对上述网络进行训练。
具体的，所述将深度卷积神经网络CNN和深度循环神经网络RNN进行特征融合，以构建所述深度视觉-语义融合网络，具体包括：
将CNN视觉输入的特征空间在RNN中每个时间序列对应的长短期记忆网络LSTM的第二层中映射，以使所述深度视觉-语义融合网络在每一个时间序列都产生一个对应的融合特征编码。
需要说明的是，本发明实施例提供的深度视觉-语义融合网络主要包括三部分，深度卷积神经网络CNN部分，CNN部分将每个图片输入xi映射为固定长度的向量表征，以AlexNet为例，AlexNet包含5层卷积层conv1-conv5和三层全连接层fc6-fc8，每个全连接层学习一个非线性映射其中是图像xi在第l层的隐含表征：1≤l≤8，Wl和bl分别是第l层的权重和偏置参数，al是激活函数，在本发明中对所有隐藏层使用的激活函数均为整流线性单元函数(ReLU)，ReLU为：al(x)＝max(0,x)。
需要说明的是，在本发明实施例中，AlexNet的fc8全连接层中的多项对率回归分类器替换为特征提取层，以将fc7全连接层输出的图像特征映射到K维向量中。
本发明实施例提供的深度视觉-语义融合网络还包括深度循环神经网络RNN部分，RNN部分负责处理时序数据，可以理解的是，所述时序数据即为语句，以LSTM为例，所述LSTM通过依次计算下列等式：
it＝σ(Wxixt+Whiht-1+bi)
ft＝σ(Wxfxt+Whfht-1+bf)
ot＝σ(Wxoxt+Whoht-1+bo)
gt＝σ(Wxcxt+Whcht-1+bc)
ct＝ft⊙ct-1+it⊙gt
ht＝ot⊙φ(ct)
将每个语句在时间t上的输入xt和前一单位时间t-1的隐藏状态ht-1映射到输出zt上，同时更新隐藏状态。
其中，xt为输入，输出zt＝ht,it,ft,ot,gt,ct,ht分别是第t时刻的输入门、遗忘门、输出门、输入调整门、记忆门和隐藏状态。为S型(sigmoid)函数，可将实数值映射到[0,1]范围内。是双曲正切函数，将实数值映射到[-1,1]。
需要说明的是，为了避免符号混淆，后面我们将使用yit代表第i条数据在LSTM单元t时间的输入xt，同时对LSTM中的符号加上上标y，即代表第i条数据在LSTM单元t时间的隐藏表征ht，而代表第i条数据在LSTM单元t时间的输出。
本发明实施例提供的深度视觉-语义融合网络还包括融合层部分，所述融合层将深度卷积网络和深度循环网络融合成到统一的深度视觉-语义嵌入模型中。
其中，所述深度视觉-语义嵌入模型即本发明实施例所述的深度视觉-语义融合网络。
具体的，融合层首先将计算后的视觉输入xi的特征空间表征hi x融合到每个时间序列对应的LSTM模型的第二层。那么对于时序数据中第t个状态的融合层的隐藏表征可以使用如下公式计算：
其中，f(·)函数是通过将代入上一节中LSTM更新公式得到的第二层LSTM在时间t上对xt的映射。
需要说明的是，为了减少融合层的隐藏表征hit与最终的二进制哈希码ui和vi之间的差距，我们使用双曲正切激活函数a(x)＝tanh(x)来映射隐藏表征hit到[-1,1]范围内。
可以理解的是，通过上述融合层能够将视觉嵌入和语句嵌入融合到一个统一的嵌入空间中。然而，每个时间t产生了一个联合嵌入hit，而需求的是每个图像语句对仅产生一个融合编码。
针对上述需求，本发明实施例通过通过加权平均来生成每个图像-语句对的融合编码hi：
其中，πit∈{-1,0}是指示变量，如果在第i个图像-语句对的时间t中存在字(word)，则πit＝1，否则πit＝0。需要说明的是，由于语句是可变长度的，一些语句的单词数量会比LSTM中的状态数T少，所以会出现πit＝0的情况。
通过本发明实施例提供的深度视觉-语义融合网络，能够捕获图像上的空间依赖关系和语句上的时间动态性，同时也能捕捉跨模态汉明融合空间中的交叉关系。
在上述实施例的基础上，所述基于所述深度视觉-语义融合网络的融合模态表征，构建所述图像哈希网络，以模拟所述深度视觉-语义融合网络的图像模态，具体包括：
基于预设的平方损失函数，使得所述图像哈希网络生成的每一张图像对应的哈希码均能近似于所述深度视觉-语义融合网络生成的所述融合特征编码中的图像模态，并且
基于预设的平方损失函数，使得所述语句哈希网络生成的每一条语句对应的哈希码均能近似于所述深度视觉-语义融合网络生成的所述融合特征编码中的语句模态。
可以理解的是，由于深度视觉-语义融合网络不提供将每个单模态输入映射到融合空间，那么需要单独构建一个能将单模态输入映射到融合空间的网络。
在本发明实施例中，提供了一种图像哈希网络和一种语句哈希网络，分别对应融合特征编码中的图像模态和融合特征编码中的语句模态。
具体的，本发明实施例提供的图像哈希网络是用于学习图像模态的哈希函数，类似于融合网络中的卷积神经网络模块，本发明实施例直接从AlexNet复制conv1-fc7层，并将原始AlexNet的fc8全连接层中的多项对率回归分类器替换为哈希层，其目的是将fc7全连接层输出的图像特征映射到K维哈希码ui。
进一步的，为了保证哈希网络产生的哈希码ui位于融合空间中，我们使用如下平方损失函数来使得每一张训练图像xi的哈希码ui和其对应的融合特征hi相近。
同样的，本发明实施例提供的语句哈希网络是用于学习语句模态的哈希函数，它类似于融合网络的LSTM模块，但没有图像输入分支。此外，我们将LSTM的输出层中的多项对率回归分类器替换为将输入语句yi的特征表示转换为哈希码vi的哈希层。同样的，为了保证哈希码vi位于融合空间中，我们使用如下平方损失函数来使得相同的训练语句yi的哈希码vi和其对于的联合嵌入hi在每个时间t下都相似：
可以理解的是，本发明实施例提供的图像哈希网络和语句哈希网络在进行检索时是单模态输入，并将单模态输入映射到融合空间，但在训练时，可以使用双模态对象对其进行训练，在训练结束后再用单模态输入进行编码。
本发明实施例分别使用图像哈希网络和文本哈希网络来获得图像或语句的哈希码，又通过定义的两个平方损失函数来让生成的哈希码位于视觉-语义融合空间中，以保证各个模态紧凑哈希码的质量。
在上述实施例的基础上，所述基于预设的损失函数，对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络进行训练，所述损失函数包括余弦最大间隔损失函数和逐位最大间隔损失函数，具体包括：
将训练样本集中所有训练图像语句对分别输入所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络中，得到所述深度视觉-语义融合网络生成的融合编码、所述图像哈希网络生成的图像模态以及所述语句哈希网络生成的语句模态；
基于预设的损失函数和所述深度视觉-语义融合网络生成的融合编码、所述图像哈希网络生成的图像模态以及所述语句哈希网络生成的语句模态，分别计算所述损失函数对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络的梯度；
基于所述损失函数对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络的梯度，分别对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络进行训练。
所述余弦最大间隔损失函数具体为：
其中，所述L为所述余弦最大间隔损失函数，所述μc＞0是预设的控制最大间隔的参数，所述Sij用于表示两个对象之间的相似性，Sij＝1代表两个对象相似，Sij＝-1代表两个对象不相似，hi、hj代表两个对象的融合特征编码，||.||为向量的欧几里得范数。
可以理解的是，本发明实施例提供的余弦最大间隔损失函数是为了使学习到的联合视觉-语义嵌入最大限度地保留不同模态的相似度信息。
在本发明实施例中，提出以下标准：对于每对对象(oi,oj,Sij)，如果Sij＝1，那么oi和oj是相似的，则它们不同模态的哈希码ui、vj或vi、uj也需相似，这相当于要求它们的联合视觉-语义融合特征hi和hj应该相似。
对应的，如果Sij＝-1，那么代表oi和oj是不相似的，则它们的联合视觉-语义融合特征hi和hj应该也不相似。
本发明实施例提供了余弦距离：来度量hi和hj之间的相似程度，其中||.||为向量的欧几里得范数，hi·hj是内积，那么可以用：
来保证其联合视觉-语义融合特征之间的相似性，其中，所述L为所述余弦最大间隔损失函数，所述μc＞0是预设的控制最大间隔的参数，所述Sij用于表示两个对象之间的相似性，Sij＝1代表两个对象相似，Sij＝-1代表两个对象不相似，hi、hj代表两个对象的融合特征编码，||.||为向量的欧几里得范数。
优选的，本发明实施例采用μc＝0.5，当μc＝0.5时使得相似的图像-语句对的余弦相似性比不相似的图像-语句对更高。
需要说明的是，与支持向量机SVM类似，最大间隔损失函数增强了对异常值的鲁棒性。由于矢量长度在不同的模态中是非常多样的，并且可能产生许多错误的距离度量，例如欧几里得距离以及损失函数例如平方损失，而余弦最大间隔损失函数与矢量长度无关，因此在跨模态相关的分析问题上特别有效。
本发明实施例定义了一个余弦最大间隔损失函数，使学习到的视觉-语义最大限度地保留不同模态间的相似度信息。同时，由于最大间隔思想的特性，该损失函数对离群点具有很好的鲁棒性。
另一方面，本发明实施例提供的逐位最大间隔损失函数对于每个图像语句对oi＝(xi,yi)，为了减少其融合特征hi与其特定模态的二进制哈希码ui和vi之间的差距，我们要求融合特征hi接近于其二值化后的向量sgn(hi)∈{-1,1}K，这相当于最小化|||hi|-1||2。然而，由于这样的平方损失对离群点不够鲁棒,因此，我们将最大间隔思想引入到损失函数中，提出一个新的逐位最大间隔损失函数：
其中，μb＞0是控制最大间隔的参数，优选的，本发明实施例提供的μb＝0.5，采用此损失函数会使得联合嵌入的第k位hik尽量远离对应的超平面hik＝0，因此本发明实施例称之为逐位最大间隔损失函数。通过最小化逐位最大间隔损失函数，可以减少将哈希码二进制化过程中的量化误差，从而使得我们的模型能够生成高质量二进制哈希码。
进一步的，通过上述实施例提供的各个损失函数，包括：余弦最大间隔损失函数L、逐位最大间隔损失函数Q、平方损失函数Lx和Ly构成了本发明实施例最终的损失函数：
本发明实施例定义了一个逐位最大间隔损失函数，使得图像特征或语句特征的每一位都接近其二值化后的值，减少了其量化误差，从而使得我们能够获得高质量二进制哈希码。类似于余弦最大间隔损失函数，该损失函数对离群点也具有很好的鲁棒性。
进一步的，本发明实施例提供的训练过程为:
首先获取所有训练图像语句对，以及图像语句对之间的相关关系，然后记当前训练轮数为Epochcurrent，所述Epochcurrent的初始值为0，最大训练轮数为Epochmax。每一次训练对Epochcurrent进行一次更新，更新式为：Epochcurrent＝Epochcurrent+1，若更新后Epochcurrent＜Epochmax，则代表尚未训练结束，那么将从训练集获取一批本轮训练尚未使用过的图像语句对以及这些图像语句对之间的相关关系，对象数量为批次数量(batchsize)，并将其标记为已使用。
将图像语句对记为O，O＝{o1,o2,...,on}，图像语句对之间的相关关系记为S,S＝{Sij|1＜i,j≤n},Sij＝1代表oi和oj为语义相关，而Sij＝-1代表oi和oj语义无关。若|S|＝0，则代表本轮训练中所有图像均已经被使用过，则记为一轮训练结束。
将图像语句对O分别传入深度视觉-语义融合网络、图像哈希网络以及语句哈希网络，得到融合特征编码hi以及各个模态的编码ui和vi。
最后求解各层的残差，使用标准的反向传播算法对融合网络和哈希网络进行训练，为了符号简洁，我们根据总的损失函数定义了如下逐个数据点的损失函数：
为了提高收敛稳定性，我们让哈希网络的损失函数在训练期间对融合网络的更新不产生影响。由此，我们可以推导出逐点损失Oi对于(即融合网络中卷积神经网络第l层第k个神经元的参数)的梯度：
其中是第l层中输入激活函数前的输出值。是第l层中第k个单元在网络输出中对于点xi的逐点残差项。对于输出层的第k个单元，我们可以通过测量网络的激活与真实值的差异，并用它来定义残差为如下形式：
其中l代表LSTM的输出层，是第l层激活函数的导数，Ⅱ为指示函数，Ⅱ(A)＝1等价于A为真，反之Ⅱ(A)＝0等价于A为假。对于第l-1层的第k个单元，我们基于该层的所有单元k'＝1,...,nl-1的误差的加权平均值来计算残差计算方式如下，这与标准反向传播算法一致。
其中，nl-1为第l-1层的神经元数。因此，融合网络中的所有层的残差都可以通过标准反向传播算法进行求解，并由此更新融合网络中的参数。
对于哈希网络，我们也可以分别推导出逐点损失函数oi对于图像哈希网络和语句哈希网络第l层第k个神经元的参数和的梯度。
推导式如下：
其中，是第l层中输入激活函数前的输出值，是第l层中第k个单元在网络输出中对于点xi的逐点残差项。语句哈希与此类似，不再赘述。由此，我们可以推导出哈希网络的残差公式如下：
其中lu、lv分别是图像哈希网络和文本哈希网络的输出层，分别是图像哈希网络和文本哈希网络的输出层激活函数的导数。对于其它层中的隐藏单元，我们可以基于标准反向传播算法根据后一层的残差计算其残差。
对上述残差更新公式的计算复杂度进行分析如下，将可用于训练的相似对S的数量表示为|S|，可用于训练的双模态对象的数量表示为N，则其整体计算复杂度为O(|S|+N)。
在上述实施例的基础上，步骤S2包括：
将所述检索库中的所有图像语句对拆分为图像和语句，并将所述图像输入所述图像哈希网络中，语句输入所述语句哈希网络中，得到检索库中每一张图像对应的图像特征和每一条语句对应的语句特征；
将所述检索库中每一张图像对应的图像特征和每一条语句对应的语句特征进行二值化，得到所述检索库中每一张图像对应的二进制码和所述检索库中每一条语句对应的二进制码；
基于汉明码计算式，若待检索数据的数据类型为图像，则计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
若待检索数据的数据类型为语句，则计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离。
可以理解的是，检索是基于检索库中已有的图像和语句数据进行检索，那么首先需要对检索库中的数据进行特征提取，在本发明实施例中，从数据库中获得所有图像语句对，对于其中的每一张图像，将其输入到图像哈希网络得到图像的特征表示，二值化后得到图像二进制码；对于其中的每一条语句，将其输入到语句哈希网络得到语句的特征表示，二值化后得到语句二进制码。
那么基于汉明码计算式，若待检索数据的数据类型为图像，则计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
若待检索数据的数据类型为语句，则计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离。
具体的检索过程可以检索前k个近邻，然后取出汉明距离最小的k个语句或图像作为检索结果。
可以理解的是，若待检索数据的数据类型为图像，则取出汉明距离最小的k个语句作为检索结果，若待检索数据的数据类型为语句，则取出汉明距离最小的k个图像作为检索结果，上述汉明距离分别对应本发明实施例提供的第一汉明距离和第二汉明距离。
图4是本发明实施例提供的一种基于深度融合哈希的大数据跨模态检索系统结构图，如图4所示，一种基于深度融合哈希的大数据跨模态检索系统，包括：量化模块1、测距模块2以及检索模块3，其中：
量化模块1用于识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码，或
若待检索数据的数据类型为语句，则将待检索的语句输入到训练后的语句哈希网络中，获取所述待检索的语句对应的语句二进制码，其中，所述图像哈希网络和所述语句哈希网络分别对应预设的深度视觉-语义融合网络中的图像模态和语句模态；
测距模块2用于计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；
检索模块3用于在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果，或
在所述检索库中选取第二汉明距离最小的预设数量的图像作为待检索数据的数据类型为语句的检索结果。
具体的，根据本发明实施例提供的基于深度融合哈希的大数据跨模态检索系统，通过量化模块1利用CNN和RNN捕获图像上的空间依赖关系和语句上的时间动态性，同时也能捕捉跨模态数据在融合空间中的关联关系，减轻了不同模态的异构性，从而使得测距模块2和检索模块3在保证了时间效率的基础上，能大大提高跨模态检索的准确率。
本发明提供的基于深度融合哈希的大数据跨模态检索系统，通过捕获视觉数据和自然语言之间的内在交叉对应关系，从而在端到端深度学习架构中生成图像和语句的紧凑哈希码，提高了跨模态检索的准确率。
本发明实施例提供一种基于深度融合哈希的大数据跨模态检索系统，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述各方法实施例所提供的方法，例如包括：S1、识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码，或若待检索数据的数据类型为语句，则将待检索的语句输入到训练后的语句哈希网络中，获取所述待检索的语句对应的语句二进制码，其中，所述图像哈希网络和所述语句哈希网络分别对应预设的深度视觉-语义融合网络中的图像模态和语句模态；S2、计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；S3、在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果，或在所述检索库中选取第二汉明距离最小的预设数量的图像作为待检索数据的数据类型为语句的检索结果。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：S1、识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码，或若待检索数据的数据类型为语句，则将待检索的语句输入到训练后的语句哈希网络中，获取所述待检索的语句对应的语句二进制码，其中，所述图像哈希网络和所述语句哈希网络分别对应预设的深度视觉-语义融合网络中的图像模态和语句模态；S2、计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；S3、在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果，或在所述检索库中选取第二汉明距离最小的预设数量的图像作为待检索数据的数据类型为语句的检索结果。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1、识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码，或若待检索数据的数据类型为语句，则将待检索的语句输入到训练后的语句哈希网络中，获取所述待检索的语句对应的语句二进制码，其中，所述图像哈希网络和所述语句哈希网络分别对应预设的深度视觉-语义融合网络中的图像模态和语句模态；S2、计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；S3、在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果，或在所述检索库中选取第二汉明距离最小的预设数量的图像作为待检索数据的数据类型为语句的检索结果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度融合哈希的大数据跨模态检索方法，其特征在于，包括：
S1、识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码，或
若待检索数据的数据类型为语句，则将待检索的语句输入到训练后的语句哈希网络中，获取所述待检索的语句对应的语句二进制码，其中，所述图像哈希网络和所述语句哈希网络分别对应预设的深度视觉-语义融合网络中的图像模态和语句模态，所述深度视觉-语义融合网络用于捕获视觉数据和自然语言之间的内在交叉对应关系；
S2、计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；
S3、在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果，或
在所述检索库中选取第二汉明距离最小的预设数量的图像作为待检索数据的数据类型为语句的检索结果。
2.根据权利要求1所述的方法，其特征在于，步骤S1之前所述方法还包括：
将深度卷积神经网络CNN和深度循环神经网络RNN进行特征融合，以构建所述深度视觉-语义融合网络；
基于所述深度视觉-语义融合网络的融合模态表征，构建所述图像哈希网络，以模拟所述深度视觉-语义融合网络的图像模态，并构建所述语句哈希网络，以模拟所述深度视觉-语义融合网络的语句模态；
基于预设的损失函数，对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络进行训练，所述损失函数包括余弦最大间隔损失函数和逐位最大间隔损失函数。
3.根据权利要求2所述的方法，其特征在于，所述将深度卷积神经网络CNN和深度循环神经网络RNN进行特征融合，以构建所述深度视觉-语义融合网络，具体包括：
将CNN视觉输入的特征空间在RNN中每个时间序列对应的长短期记忆网络LSTM的第二层中映射，以使所述深度视觉-语义融合网络在每一个时间序列都产生一个对应的融合特征编码。
4.根据权利要求3所述的方法，其特征在于，所述基于所述深度视觉-语义融合网络的融合模态表征，构建所述图像哈希网络，以模拟所述深度视觉-语义融合网络的图像模态，具体包括：
基于预设的平方损失函数，使得所述图像哈希网络生成的每一张图像对应的哈希码均能近似于所述深度视觉-语义融合网络生成的所述融合特征编码中的图像模态，并且
基于预设的平方损失函数，使得所述语句哈希网络生成的每一条语句对应的哈希码均能近似于所述深度视觉-语义融合网络生成的所述融合特征编码中的语句模态。
5.根据权利要求4所述的方法，其特征在于，所述基于预设的损失函数，对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络进行训练，所述损失函数包括余弦最大间隔损失函数和逐位最大间隔损失函数，具体包括：
将训练样本集中所有训练图像语句对分别输入所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络中，得到所述深度视觉-语义融合网络生成的融合编码、所述图像哈希网络生成的图像模态以及所述语句哈希网络生成的语句模态；
基于预设的损失函数和所述深度视觉-语义融合网络生成的融合编码、所述图像哈希网络生成的图像模态以及所述语句哈希网络生成的语句模态，分别计算所述损失函数对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络的梯度；
基于所述损失函数对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络的梯度，分别对所述深度视觉-语义融合网络、所述图像哈希网络以及所述语句哈希网络进行训练。
6.根据权利要求1所述的方法，其特征在于，步骤S2包括：
将所述检索库中的所有图像语句对拆分为图像和语句，并将所述图像输入所述图像哈希网络中，语句输入所述语句哈希网络中，得到检索库中每一张图像对应的图像特征和每一条语句对应的语句特征；
将所述检索库中每一张图像对应的图像特征和每一条语句对应的语句特征进行二值化，得到所述检索库中每一张图像对应的二进制码和所述检索库中每一条语句对应的二进制码；
基于汉明码计算式，若待检索数据的数据类型为图像，则计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
若待检索数据的数据类型为语句，则计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离。
7.根据权利要求3所述的方法，其特征在于，所述余弦最大间隔损失函数具体为：
<mrow> <mi>L</mi> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <msub> <mi>&amp;mu;</mi> <mi>c</mi> </msub> <mo>-</mo> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mfrac> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>h</mi> <mi>j</mi> </msub> </mrow> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>|</mo> <mo>|</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>h</mi> <mi>j</mi> </msub> <mo>|</mo> <mo>|</mo> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中，所述L为所述余弦最大间隔损失函数，所述μc＞0是预设的控制最大间隔的参数，所述Sij用于表示两个对象之间的相似性，Sij＝1代表两个对象相似，Sij＝-1代表两个对象不相似，hi、hj代表两个对象的融合特征编码，||·||为向量的欧几里得范数。
8.一种基于深度融合哈希的大数据跨模态检索系统，其特征在于，包括：
量化模块，用于识别待检索数据的数据类型，若待检索数据的数据类型为图像，则将待检索的图像输入到训练后的图像哈希网络中，获取所述待检索的图像对应的图像二进制码，或
若待检索数据的数据类型为语句，则将待检索的语句输入到训练后的语句哈希网络中，获取所述待检索的语句对应的语句二进制码，其中，所述图像哈希网络和所述语句哈希网络分别对应预设的深度视觉-语义融合网络中的图像模态和语句模态；
测距模块，用于计算所述待检索图像对应的图像二进制码和检索库中每一条语句对应的二进制码的第一汉明距离，或
计算所述待检索语句对应的语句二进制码和检索库中每一张图像对应的二进制码的第二汉明距离；
检索模块，用于在所述检索库中选取第一汉明距离最小的预设数量的语句作为待检索数据的数据类型为图像的检索结果，或
在所述检索库中选取第二汉明距离最小的预设数量的图像作为待检索数据的数据类型为语句的检索结果。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201711184981.XA 2017-11-23 2017-11-23 一种基于深度融合哈希的大数据跨模态检索方法及系统 Pending CN107871014A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711184981.XA CN107871014A (zh) 2017-11-23 2017-11-23 一种基于深度融合哈希的大数据跨模态检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711184981.XA CN107871014A (zh) 2017-11-23 2017-11-23 一种基于深度融合哈希的大数据跨模态检索方法及系统

Publications (1)

Publication Number Publication Date
CN107871014A true CN107871014A (zh) 2018-04-03

Family

ID=61754363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711184981.XA Pending CN107871014A (zh) 2017-11-23 2017-11-23 一种基于深度融合哈希的大数据跨模态检索方法及系统

Country Status (1)

Country Link
CN (1) CN107871014A (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874941A (zh) * 2018-06-04 2018-11-23 成都知道创宇信息技术有限公司 基于卷积特征和多重哈希映射的大数据url去重方法
CN109189968A (zh) * 2018-08-31 2019-01-11 深圳大学 一种跨模态检索方法及系统
CN109299216A (zh) * 2018-10-29 2019-02-01 山东师范大学 一种融合监督信息的跨模态哈希检索方法和系统
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法
CN109472282A (zh) * 2018-09-10 2019-03-15 中山大学 一种基于极少训练样本的深度图像哈希方法
CN109558890A (zh) * 2018-09-30 2019-04-02 天津大学 基于自适应权重哈希循环对抗网络的零样本图像分类方法
CN109710607A (zh) * 2018-11-07 2019-05-03 宁波大学 一种面向高维大数据的基于权重求解的哈希查询方法
CN109960732A (zh) * 2019-03-29 2019-07-02 广东石油化工学院 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统
CN110059154A (zh) * 2019-04-10 2019-07-26 山东师范大学 一种基于继承映射的跨模态迁移哈希检索方法
CN110188209A (zh) * 2019-05-13 2019-08-30 山东大学 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置
CN110222140A (zh) * 2019-04-22 2019-09-10 中国科学院信息工程研究所 一种基于对抗学习和非对称哈希的跨模态检索方法
CN110298395A (zh) * 2019-06-18 2019-10-01 天津大学 一种基于三模态对抗网络的图文匹配方法
CN110555337A (zh) * 2018-05-30 2019-12-10 腾讯科技（深圳）有限公司 一种指示对象的检测方法、装置以及相关设备
CN110765281A (zh) * 2019-11-04 2020-02-07 山东浪潮人工智能研究院有限公司 一种多语义深度监督跨模态哈希检索方法
CN110990595A (zh) * 2019-12-04 2020-04-10 成都考拉悠然科技有限公司 一种跨域对齐嵌入空间的零样本跨模态检索方法
CN111008224A (zh) * 2019-11-13 2020-04-14 浙江大学 一种基于深度多任务表示学习的时间序列分类和检索方法
CN111241310A (zh) * 2020-01-10 2020-06-05 济南浪潮高新科技投资发展有限公司 一种深度跨模态哈希检索方法、设备及介质
CN111428801A (zh) * 2020-03-30 2020-07-17 新疆大学 改进融合层与损失函数交替更新的图文匹配方法
CN111597371A (zh) * 2020-04-14 2020-08-28 广东工业大学 外观专利的多模态图像检索方法及系统
CN111639197A (zh) * 2020-05-28 2020-09-08 山东大学 标签嵌入在线哈希的跨模态多媒体数据检索方法及系统
CN111680173A (zh) * 2020-05-31 2020-09-18 西南电子技术研究所（中国电子科技集团公司第十研究所） 统一检索跨媒体信息的cmr模型
CN111930984A (zh) * 2019-04-24 2020-11-13 北京京东振世信息技术有限公司 图像检索方法、装置、服务器、客户端及介质
CN112650868A (zh) * 2020-12-29 2021-04-13 苏州科达科技股份有限公司 图像检索方法、装置及存储介质
CN112925936A (zh) * 2021-02-22 2021-06-08 济南大学 一种基于深度哈希的运动捕获数据检索方法及系统
CN113111836A (zh) * 2021-04-25 2021-07-13 山东省人工智能研究院 基于跨模态哈希学习的视频解析方法
CN113407756A (zh) * 2021-05-28 2021-09-17 山西云时代智慧城市技术发展有限公司 一种基于自适应权重的肺结节ct图像重排序方法
CN113468386A (zh) * 2021-07-01 2021-10-01 南京邮电大学 一种基于哈希学习的跨模态材料表面检索方法及装置
CN113536067A (zh) * 2021-07-20 2021-10-22 南京邮电大学 一种基于语义融合的跨模态信息检索方法
CN113627482A (zh) * 2021-07-09 2021-11-09 南京邮电大学 一种基于音频—触觉信号融合的跨模态图像生成方法及装置
CN116310425A (zh) * 2023-05-24 2023-06-23 山东大学 一种细粒度图像检索方法、系统、设备及存储介质
CN116414867A (zh) * 2023-06-12 2023-07-11 中南大学 一种基于量化哈希编码的时空数据检索方法
CN116825210A (zh) * 2023-08-28 2023-09-29 山东大学 基于多源生物数据的哈希检索方法、系统、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN106503106A (zh) * 2016-10-17 2017-03-15 北京工业大学 一种基于深度学习的图像哈希索引构建方法
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN106503106A (zh) * 2016-10-17 2017-03-15 北京工业大学 一种基于深度学习的图像哈希索引构建方法
CN106980641A (zh) * 2017-02-09 2017-07-25 上海交通大学 基于卷积神经网络的无监督哈希快速图片检索系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUE CAO等: "Deep Visual-Semantic Hashing for Cross-Modal Retrieval", 《ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING》 *
杨德礼: "《新兴电子商务》", 31 October 2013, 清华大学出版社 *

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555337B (zh) * 2018-05-30 2022-12-06 腾讯科技（深圳）有限公司 一种指示对象的检测方法、装置以及相关设备
CN110555337A (zh) * 2018-05-30 2019-12-10 腾讯科技（深圳）有限公司 一种指示对象的检测方法、装置以及相关设备
CN108874941B (zh) * 2018-06-04 2021-09-21 成都知道创宇信息技术有限公司 基于卷积特征和多重哈希映射的大数据url去重方法
CN108874941A (zh) * 2018-06-04 2018-11-23 成都知道创宇信息技术有限公司 基于卷积特征和多重哈希映射的大数据url去重方法
CN109189968A (zh) * 2018-08-31 2019-01-11 深圳大学 一种跨模态检索方法及系统
CN109189968B (zh) * 2018-08-31 2020-07-03 深圳大学 一种跨模态检索方法及系统
CN109472282A (zh) * 2018-09-10 2019-03-15 中山大学 一种基于极少训练样本的深度图像哈希方法
CN109472282B (zh) * 2018-09-10 2022-05-06 中山大学 一种基于极少训练样本的深度图像哈希方法
CN109558890B (zh) * 2018-09-30 2023-03-31 天津大学 基于自适应权重哈希循环对抗网络的零样本图像分类方法
CN109558890A (zh) * 2018-09-30 2019-04-02 天津大学 基于自适应权重哈希循环对抗网络的零样本图像分类方法
CN109299216A (zh) * 2018-10-29 2019-02-01 山东师范大学 一种融合监督信息的跨模态哈希检索方法和系统
CN109710607A (zh) * 2018-11-07 2019-05-03 宁波大学 一种面向高维大数据的基于权重求解的哈希查询方法
CN109710607B (zh) * 2018-11-07 2021-09-17 宁波大学 一种面向高维大数据的基于权重求解的哈希查询方法
CN109299342B (zh) * 2018-11-30 2021-12-17 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法
CN109960732A (zh) * 2019-03-29 2019-07-02 广东石油化工学院 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统
CN109960732B (zh) * 2019-03-29 2023-04-18 广东石油化工学院 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统
CN110059154A (zh) * 2019-04-10 2019-07-26 山东师范大学 一种基于继承映射的跨模态迁移哈希检索方法
CN110059154B (zh) * 2019-04-10 2022-04-15 山东师范大学 一种基于继承映射的跨模态迁移哈希检索方法
CN110222140B (zh) * 2019-04-22 2021-07-13 中国科学院信息工程研究所 一种基于对抗学习和非对称哈希的跨模态检索方法
CN110222140A (zh) * 2019-04-22 2019-09-10 中国科学院信息工程研究所 一种基于对抗学习和非对称哈希的跨模态检索方法
CN111930984A (zh) * 2019-04-24 2020-11-13 北京京东振世信息技术有限公司 图像检索方法、装置、服务器、客户端及介质
CN110188209A (zh) * 2019-05-13 2019-08-30 山东大学 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置
CN110188209B (zh) * 2019-05-13 2021-06-04 山东大学 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置
CN110298395A (zh) * 2019-06-18 2019-10-01 天津大学 一种基于三模态对抗网络的图文匹配方法
CN110298395B (zh) * 2019-06-18 2023-04-18 天津大学 一种基于三模态对抗网络的图文匹配方法
CN110765281A (zh) * 2019-11-04 2020-02-07 山东浪潮人工智能研究院有限公司 一种多语义深度监督跨模态哈希检索方法
CN111008224A (zh) * 2019-11-13 2020-04-14 浙江大学 一种基于深度多任务表示学习的时间序列分类和检索方法
CN111008224B (zh) * 2019-11-13 2023-10-27 浙江大学 一种基于深度多任务表示学习的时间序列分类和检索方法
CN110990595A (zh) * 2019-12-04 2020-04-10 成都考拉悠然科技有限公司 一种跨域对齐嵌入空间的零样本跨模态检索方法
CN110990595B (zh) * 2019-12-04 2023-05-05 成都考拉悠然科技有限公司 一种跨域对齐嵌入空间的零样本跨模态检索方法
CN111241310A (zh) * 2020-01-10 2020-06-05 济南浪潮高新科技投资发展有限公司 一种深度跨模态哈希检索方法、设备及介质
CN111428801A (zh) * 2020-03-30 2020-07-17 新疆大学 改进融合层与损失函数交替更新的图文匹配方法
CN111428801B (zh) * 2020-03-30 2022-09-27 新疆大学 改进融合层与损失函数交替更新的图文匹配方法
CN111597371B (zh) * 2020-04-14 2023-04-28 广东工业大学 外观专利的多模态图像检索方法及系统
CN111597371A (zh) * 2020-04-14 2020-08-28 广东工业大学 外观专利的多模态图像检索方法及系统
CN111639197B (zh) * 2020-05-28 2021-03-12 山东大学 标签嵌入在线哈希的跨模态多媒体数据检索方法及系统
CN111639197A (zh) * 2020-05-28 2020-09-08 山东大学 标签嵌入在线哈希的跨模态多媒体数据检索方法及系统
CN111680173B (zh) * 2020-05-31 2024-02-23 西南电子技术研究所（中国电子科技集团公司第十研究所） 统一检索跨媒体信息的cmr模型
CN111680173A (zh) * 2020-05-31 2020-09-18 西南电子技术研究所（中国电子科技集团公司第十研究所） 统一检索跨媒体信息的cmr模型
CN112650868A (zh) * 2020-12-29 2021-04-13 苏州科达科技股份有限公司 图像检索方法、装置及存储介质
CN112925936B (zh) * 2021-02-22 2022-08-12 济南大学 一种基于深度哈希的运动捕获数据检索方法及系统
CN112925936A (zh) * 2021-02-22 2021-06-08 济南大学 一种基于深度哈希的运动捕获数据检索方法及系统
CN113111836A (zh) * 2021-04-25 2021-07-13 山东省人工智能研究院 基于跨模态哈希学习的视频解析方法
CN113407756A (zh) * 2021-05-28 2021-09-17 山西云时代智慧城市技术发展有限公司 一种基于自适应权重的肺结节ct图像重排序方法
CN113468386B (zh) * 2021-07-01 2023-10-20 南京邮电大学 一种基于哈希学习的跨模态材料表面检索方法及装置
CN113468386A (zh) * 2021-07-01 2021-10-01 南京邮电大学 一种基于哈希学习的跨模态材料表面检索方法及装置
CN113627482B (zh) * 2021-07-09 2023-08-18 南京邮电大学 一种基于音频—触觉信号融合的跨模态图像生成方法及装置
CN113627482A (zh) * 2021-07-09 2021-11-09 南京邮电大学 一种基于音频—触觉信号融合的跨模态图像生成方法及装置
CN113536067B (zh) * 2021-07-20 2024-01-05 南京邮电大学 一种基于语义融合的跨模态信息检索方法
CN113536067A (zh) * 2021-07-20 2021-10-22 南京邮电大学 一种基于语义融合的跨模态信息检索方法
CN116310425B (zh) * 2023-05-24 2023-09-26 山东大学 一种细粒度图像检索方法、系统、设备及存储介质
CN116310425A (zh) * 2023-05-24 2023-06-23 山东大学 一种细粒度图像检索方法、系统、设备及存储介质
CN116414867B (zh) * 2023-06-12 2023-08-22 中南大学 一种基于量化哈希编码的时空数据检索方法
CN116414867A (zh) * 2023-06-12 2023-07-11 中南大学 一种基于量化哈希编码的时空数据检索方法
CN116825210A (zh) * 2023-08-28 2023-09-29 山东大学 基于多源生物数据的哈希检索方法、系统、设备和介质
CN116825210B (zh) * 2023-08-28 2023-11-17 山东大学 基于多源生物数据的哈希检索方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
CN107871014A (zh) 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN107506740B (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN109947912B (zh) 一种基于段落内部推理和联合问题答案匹配的模型方法
CN111695779B (zh) 一种知识追踪方法、装置及存储介质
Hu et al. Learning to reason: End-to-end module networks for visual question answering
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN110222140A (zh) 一种基于对抗学习和非对称哈希的跨模态检索方法
CN110163299A (zh) 一种基于自底向上注意力机制和记忆网络的视觉问答方法
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
CN108376132A (zh) 相似试题的判定方法及系统
CN114398976B (zh) 基于bert与门控类注意力增强网络的机器阅读理解方法
CN111291556A (zh) 基于实体义项的字和词特征融合的中文实体关系抽取方法
CN112348911B (zh) 基于语义约束的堆叠文本生成细粒度图像方法及系统
CN108805157A (zh) 基于部分随机监督离散式哈希的遥感图像分类方法
CN113609326B (zh) 基于外部知识和目标间关系的图像描述生成方法
CN104376051A (zh) 随机结构保形哈希信息检索方法
CN112766339A (zh) 一种轨迹识别模型训练方法及轨迹识别方法
Zhai Research on image recognition based on deep learning technology
CN114037056A (zh) 一种生成神经网络的方法、装置、计算机设备和存储介质
CN109858031A (zh) 神经网络模型训练、上下文预测方法及装置
CN114065769B (zh) 情感原因对抽取模型的训练方法、装置、设备及介质
CN113779244B (zh) 文档情感分类方法、装置、存储介质以及电子设备
Zheng et al. Modular graph attention network for complex visual relational reasoning
CN115422945A (zh) 一种融合情感挖掘的谣言检测方法及系统
CN115204171A (zh) 基于超图神经网络的文档级事件抽取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180403

RJ01 Rejection of invention patent application after publication