CN110990595B - 一种跨域对齐嵌入空间的零样本跨模态检索方法 - Google Patents

一种跨域对齐嵌入空间的零样本跨模态检索方法 Download PDF

Info

Publication number
CN110990595B
CN110990595B CN201911228649.8A CN201911228649A CN110990595B CN 110990595 B CN110990595 B CN 110990595B CN 201911228649 A CN201911228649 A CN 201911228649A CN 110990595 B CN110990595 B CN 110990595B
Authority
CN
China
Prior art keywords
cross
data
modal
mode
potential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911228649.8A
Other languages
English (en)
Other versions
CN110990595A (zh
Inventor
徐行
张明
林凯毅
杨阳
沈复民
贾可
申恒涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Koala Youran Technology Co ltd
Original Assignee
Chengdu Koala Youran Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Koala Youran Technology Co ltd filed Critical Chengdu Koala Youran Technology Co ltd
Priority to CN201911228649.8A priority Critical patent/CN110990595B/zh
Publication of CN110990595A publication Critical patent/CN110990595A/zh
Application granted granted Critical
Publication of CN110990595B publication Critical patent/CN110990595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及跨模态检索技术领域，具体的说，是一种跨域对齐嵌入空间的零样本跨模态检索方法。所述的零样本跨模态检索方法先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间，然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束，经过整个网络训练后进行跨模态检索。本发明利用一个多模态变分自动编码器来构建类别嵌入和相同类别下不同模态的共同低维潜在嵌入空间而不是直接使用类别嵌入作为语义空间，并且避免了使用难以稳定训练的对抗生成网络，同时解决了“异构鸿沟”的问题。

Description

一种跨域对齐嵌入空间的零样本跨模态检索方法
技术领域
本发明属于跨模态检索技术领域，具体地说，涉及一种在多种媒体类型的数据之间进行检索的方法。
背景技术
跨媒体检索是指用户通过输入任意媒体类型的查询数据，检索出所有媒体类型中的语义相关数据。随着互联网中文本、图像、视频等多媒体数据的日益增多，跨越不同模态的检索成为信息检索的新趋势。零样本跨模态检索的目标是在未见过的新的类别数据上进行跨模态检索。
“异构鸿沟”问题导致不同媒体类型的数据分布和特征表示之间存在不一致性，因此难以直接度量多种媒体数据之间的相似性。现有方法的解决思路通常是建立一个共同子空间，将不同媒体类型的异构数据映射到这个共同子空间中得到统一表征，进而通过常用的距离度量方法来直接计算不同媒体数据之间的相似性，实现跨模态交叉检索。主要有两类方法：跨模态检索的传统方法、深度学习方法。
1)跨模态检索的传统方法：传统方法主要通过统计分析的方式学习映射矩阵，通过分析不同模态数据特征之间的关联关系，学习一个能够最大化成对相关性的共同空间，将不同模态的特征映射到这个共同空间得到相同维度的向量表示，实现跨模态的统一表征。
2)跨模态检索的深度学习方法：这些方法旨在利用深度神经网络对非线性关系的抽象能力，促进跨模态关联分析和统一表征学习。现有方法一般通过构建多路网络结构建模不同媒体类型数据之间的关联关系，有效提升对复杂跨模态关联的分析能力，以提高跨模态统一表征的检索准确率。
目前零样本跨模态检索采用的方法主要受到零样本学习的启发，从语料库中提取类别嵌入来构建语义空间，让知识从已知类迁移到新的未见过的类别数据。这些方法通常采用对抗生成网络来生成共同嵌入空间，以获取不同模态数据的异构分布和特征表示。
现有的这类零样本学习方法通常用来解决传统的分类问题，在跨模态检索问题上并没有进行优化，对抗生成网络在训练时也常常不稳定。
发明内容
本发明的目的在于克服现有技术的不足，提供一种跨域对齐嵌入空间的零样本跨模态检索方法，以多模态的变分自动编码器对不同模态和类别嵌入在低维的潜在嵌入空间进行编码，避免了直接使用类别嵌入作为语义空间和对抗生成网络训练的不稳定性，同时，通过两个并行的跨域对齐方案使不同模态数据的潜在嵌入在潜在嵌入空间里强制对齐，由变分自动编码器使知识迁移到新的未见过的类别数据上，实现了零样本检索。
本发明通过下述技术方案实现：一种跨域对齐嵌入空间的零样本跨模态检索方法，先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间，然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束，经过整个网络训练后进行跨模态检索。
进一步，本发明在采用循环一致性约束机制进行循环一致性约束时，构建了回归器将不同模态数据的潜在嵌入映射到类别嵌入空间。
一种跨域对齐嵌入空间的零样本跨模态检索方法，具体包括以下步骤：
步骤S1：提取多模态数据特征；
步骤S2：构造变分自动编码器，在低维的潜在嵌入空间生成潜在嵌入，并采用跨模态重构机制进行数据重构；
步骤S3：在潜在嵌入空间，对重构后的不同模态数据采用跨域对齐机制进行跨域对齐；
步骤S4：构造回归器，将不同模态数据各自的潜在嵌入映射到共享的类别嵌入空间中，采用循环一致性约束机制进行循环一致性约束；
步骤S5：对整个网络进行训练；
步骤S6：跨模态检索数据。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：为两个同一类别不同的模态数据和共享的类别标签嵌入各自构造一个变分自动编码器；
步骤S22：三个变分自动编码器为一组，共同组合构建一个多模态的变分自动编码器架构；同一组的三个变分自动编码器分别对应同一类别的A模态数据、B模态数据、A模态数据与B模态数据共享的类别标签嵌入；
步骤S23:每一个模态数据的变分自动编码器将本模态数据编码映射到潜在嵌入空间然后通过解码器将这些潜在嵌入解码重构回原本的模态，为每一个模态定义一个计算重构损失的损失函数来约束重构过程，以求重构信息损失最小；同时，重构回跨域的相同类别下的其他模态数据；
步骤S24：将三个变分自动编码器各自的损失函数线性相加构成多模态变分自动编码器的总损失。
进一步地，所述步骤S3中构建两个并行的跨域对齐方案；
跨域对齐方案一为将共享的类别标签嵌入作为将成对多模态数据潜在嵌入的多元高斯模型分布进行对齐的桥梁；采用2-Wasserstein距离作为两个模态分布之间的对齐准则；
跨域对齐方案二为通过成对模态潜在嵌入之间的最大均值差异来衡量。
进一步地，所述步骤S4具体是指：在两个模态的变分自动编码器后各构建一个回归器将两个模态各自的潜在嵌入映射到共享的类别嵌入空间中，与共享的类别嵌入比较，采用循环一致性约束机制进行循环一致性约束。
进一步地，所述步骤S5具体是指：定义整个网络的损失函数为网络各个子部分损失函数的线性相加结果，采用随机梯度下降算法对网络结构里的编码器、解码器和回归器的参数进行训练。
进一步地，所述步骤S6具体包括以下步骤：
步骤S61：对一个给定模态的数据，提取其特征向量；
步骤S62：将提取的特征向量输入训练好的网络，映射到潜在嵌入空间；
步骤S63：计算潜在嵌入空间中其他模态数据变量与此检索目标变量的相似性，进行排序，相似性最大的变量对应的原始模态数据为检索结果，即与检索目标属于同一类别的其他模态。
本发明与现有技术相比，具有以下优点及有益效果。
(1)本发明利用一个多模态变分自动编码器来构建类别嵌入和相同类别下不同模态的共同低维潜在嵌入空间而不是直接使用类别嵌入作为语义空间，并且避免了使用难以稳定训练的对抗生成网络，同时解决了“异构鸿沟”的问题。
(2)本发明中设计跨模态重构机制，将共同潜在嵌入空间里的多模态数据重构成相同类别下其他模态的表示，使得嵌入空间能够获取跨模态的共同信息。
(3)本发明构建了两个并行的跨域对齐机制，使潜在嵌入分布强制对齐，增强了相同类别不同模态数据在潜在嵌入空间的语义一致性，并且让知识迁移到了新的未见过的类别数据上，实现了零样本检索。
(4)本发明所述的网络还构建了回归器将不同模态数据的潜在嵌入映射到类别嵌入空间，增强了类别嵌入重构的鲁棒性，进一步提高了不同模态的语义一致性，提升了零样本检索的准确度。
附图说明
图1是本发明跨域对齐嵌入空间的零样本跨模态检索方法一种具体实施方式流程图。
图2是潜在嵌入空间跨模态重构示意图。
图3是在嵌入空间跨域对齐的一个说明图。
图4是在嵌入空间跨域对齐的另一个说明图。
图5是构造回归器建立循环一致性约束结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，所描述的实施例是本发明一部分实施例，而不是全部的实施例，也并非旨在限制要求保护的本发明的范围。本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1-图5所示，一种跨域对齐嵌入空间的零样本跨模态检索方法，先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间，然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束，经过整个网络训练后进行跨模态检索。
本实施例中，利用一个多模态变分自动编码器来构建类别嵌入和相同类别下不同模态的共同低维潜在嵌入空间而不是直接使用类别嵌入作为语义空间，并且避免了使用难以稳定训练的对抗生成网络。而且，不同模态的数据具有不同特征表示，存在“异构鸿沟”，难以直接度量相似性，数据经过编码器编码到同一个共同嵌入空间，嵌入空间里各个模态的数据应该具有相同的特征维度以消除“异构鸿沟”，并且映射要尽量保持不同模态映射到嵌入空间的数据分布保持一致。本实施例利用变分自动编码器来构建类别嵌入和相同类别下不同模态的共同低维潜在嵌入空间，以解决“异构鸿沟”的问题。
本实施例的一个核心内容在于在嵌入空间构建的两种跨域对齐机制，以确保相同类别的不同模态在嵌入空间的一致性。为处理零样本跨模态检索问题，将不同模态数据和类别标签一起通过变分自动编码器映射到嵌入空间而不是将类别标签作为语义空间，同时采用跨模态重构，跨域对齐，循环一致性约束机制的网络结构正是本发明的独特之处。
实施例2：
一种跨域对齐嵌入空间的零样本跨模态检索方法，具体包括以下步骤：
步骤S1：提取多模态数据特征；
步骤S2：构造变分自动编码器，在低维的潜在嵌入空间生成潜在嵌入，并采用跨模态重构机制进行数据重构；
步骤S3：在潜在嵌入空间，对重构后的不同模态数据采用跨域对齐机制进行跨域对齐；
步骤S4：构造回归器，将不同模态数据各自的潜在嵌入映射到共享的类别嵌入空间中，采用循环一致性约束机制进行循环一致性约束；
步骤S5：对整个网络进行训练；
步骤S6：跨模态检索数据。
实施例3：
一种跨域对齐嵌入空间的零样本跨模态检索方法，先构建训练用的模型，然后对整个网络进行训练，再进行跨模态检索，主要包括步骤S1-步骤S6。
步骤S1：提取多模态数据特征。
多模态的数据包含图像、文本等，这些原始数据以人类接受的方式表示，但是计算机并不能直接处理，需要将他们的特征提取出来，以计算机能够处理的数字表示。
对于图像和简笔画，运用卷积神经网络VGG进行特征提取；对于类别标签嵌入，运用Word2Vec进行特征提取；对于文本，运用Doc2vec进行特征提取。这些数据经过特征提取之后都以向量的形式存在。
步骤S2：构造变分自动编码器，在低维的潜在嵌入空间生成潜在嵌入，并采用跨模态重构机制进行数据重构。
本实施例中将三个分别对应两种模态数据和一个类别标签嵌入的变分自动编码器组合构建一个多模态变分自动编码器架构来学习一个不同模态共同的潜在嵌入空间。而且每一个模态数据的变分自动编码器将本模态数据编码映射到潜在嵌入空间然后通过解码器解码这些潜在嵌入并以最小的信息损失重构回原始数据表示。最终，将这三个变分自动编码器各自的损失函数线性相加构成多模态变分自动编码器的总损失。
具体内容如下：
步骤S21：为两个同一类别不同的模态数据和共享的类别标签嵌入各自构造一个变分自动编码器。
步骤S22：三个变分自动编码器为一组，共同组合构建一个多模态的变分自动编码器架构。同一组的三个变分自动编码器分别对应同一类别的A模态数据、B模态数据、A模态数据与B模态数据共享的类别标签嵌入。
步骤S23:每一个模态数据的变分自动编码器将本模态数据编码映射到潜在嵌入空间然后通过解码器将这些潜在嵌入解码重构回原本的模态，为每一个模态定义一个计算重构损失的损失函数来约束重构过程，以求重构信息损失最小；同时，重构回跨域的相同类别下的其他模态数据；
步骤S24：将三个变分自动编码器各自的损失函数线性相加构成多模态变分自动编码器的总损失。
每一个变分自动编码器包含两部分：编码器和解码器。
编码器是一个神经网络，将提取的数据特征映射成低维的潜在变量。
解码器也是一个神经网络，将低维的潜在变量解码重构回与原始数据特征尽可能接近的表示。
为了找到潜在变量的正确分布，在变分自动编码器中引入了变分推理方法。由于这个分布比较棘手，所以用最接近它的后验代理来逼近，使用变分下界来最小化其距离。所以，使用输入数据的边际似然估计下界作为目标损失函数。
目标损失函数为：
Figure GDA0004107472170000061
其中，
Figure GDA0004107472170000062
为重构损失；
Figure GDA0004107472170000063
为KL散度，用来计算编码器生成的潜在变量的分布和多元高斯模型的先验分布之间的差异。
KL散度又称为相对熵，信息散度，信息增益。KL散度是两个概率分布q和p差别的非对称性的度量。KL散度是用来度量使用基于q的编码来自p的样本平均所需的额外的位元数。典型情况下，p表示数据的真实分布，q表示数据的理论分布，模型分布，或p的近似分布。KL散度是信息理论一个常见计算量，并不是本发明的改进点，故不再赘述。
多模态变分自动编码器的总损失函数为：
Figure GDA0004107472170000064
其中，
Figure GDA0004107472170000065
为多模态变分自动编码器的损失；
上标m代表不同模态。
多模态变分自动编码器的损失包括重构损失、编码器生成的潜在变量的分布和多元高斯模型的先验分布之间的KL散度。
如图2所示，多模态变分自动编码器将多模态共享的潜在嵌入空间里的数据重构时，不仅将数据重构回各自原本的模态数据，同时重构回跨域的相同类别下的其他模态数据。使得相同类别的数据即使来自不同模态在潜在嵌入空间里也保持语义一致性。
所以多模态跨域对齐损失函数为：
Figure GDA0004107472170000066
其中，m、n代表不同模态；
Em(·)代表模态m的编码器；
Dn(·)代表模态n的解码器。
将模态m的原始表示用模态m的编码器生成潜在嵌入，再用模态n将这个生成的潜在嵌入重构到模态n，与同一类别的原始模态n数据表示相比较，通过缩短他们之间的距离来实现跨域对齐。
步骤S3：在潜在嵌入空间，对重构后的不同模态数据采用跨域对齐机制进行跨域对齐。
如图3中加粗虚线标记所示的跨域对齐1、如图4中加粗虚线标记所示的跨域对齐2，构建两个并行的跨域对齐方案，保证不同模态的潜在嵌入在共享的潜在嵌入空间中一致，增强了相同类别不同模态数据在潜在嵌入空间的语义一致性，并且让知识迁移到了新的未见过的类别数据上，实现了零样本检索。
跨域对齐方案一将共享的类别标签嵌入作为将成对多模态数据潜在嵌入的多元高斯模型分布进行对齐的桥梁。采用2-Wasserstein距离作为两个模态分布之间的对齐准则。
Wessertein距离相比KL散度和JS散度的优势在于：即使两个分布的支撑集没有重叠或者重叠非常少，仍然能反映两个分布的远近。而JS散度在此情况下是常量，KL散度可能无意义。Wessertein距离和KL散度一样，也是一个测度而已，属于现有技术，而非本发明提出的改进点，故不再赘述。
Wasserstein距离度量两个概率分布之间的距离，模态m和模态n之间的2-Wasserstein距离定义如下：
Figure GDA0004107472170000071
其中，μ为后验高斯分布的期望值；
||·||F为Frobenius范数。
最终，方案一的跨域对齐由距离
Figure GDA0004107472170000072
进行距离约束：
Figure GDA0004107472170000073
其中，wuc为图像image和类别嵌入class embedding之间的距离；
wtc为文本text和类别嵌入class embedding之间的距离。
方案一是通过将类别标签嵌入作为桥梁来间接构建两个模态之间的关联的，所以又采用方案二，通过成对模态潜在嵌入之间的最大均值差异来衡量，以直接明确地增强两种模态之间的语义相关性。
成对模态潜在嵌入之间的最大均值差异记为：
Figure GDA0004107472170000081
其中，p和q为不同模态z(v)和z(t)的潜在嵌入的分布；
k是特征映射；
Figure GDA0004107472170000082
是这个映射生成的再生希尔伯特空间。
步骤S4:构造回归器建立循环一致性约束。
即，构造回归器，将不同模态数据各自的潜在嵌入映射到共享的类别嵌入空间中，采用循环一致性约束机制进行循环一致性约束。
在两个模态的变分自动编码器后各构建一个回归器将两个模态各自的潜在嵌入映射到共享的类别嵌入空间中。如图5所示，与共享的类别嵌入比较，进一步增强同一类别不同模态在潜在嵌入空间里的语义一致性。
回归器利用循环一致性约束增强了本方法的鲁棒性。循环一致性约束为：
Figure GDA0004107472170000083
其中，Rυ、Rt代表模态υ和模态t的回归器；
x(c)为类别嵌入。
步骤S5：对整个网络进行训练。
定义整个网络的损失函数为网络各个子部分损失函数的线性相加结果，采用随机梯度下降算法对网络结构里的编码器、解码器和回归器的参数进行训练，整个网络的损失函数其数学表示如下：
Figure GDA0004107472170000084
其中，
Figure GDA0004107472170000085
为多模态变分自动编码器的损失；
Figure GDA0004107472170000086
为跨模态重构损失；
Figure GDA0004107472170000087
为两个跨域对齐方案的损失；
Figure GDA0004107472170000088
为回归器上的循环一致性约束损失；
α、β、λ、γ作为超参数来平衡各个分部损失函数的权重。
整个网络的损失函数反映模型得到结果和实际结果之间的差异，用来衡量模型预测的好坏。
步骤S6：跨模态检索数据。
步骤S61：对一个给定模态的数据，如一段文本或者一张素描图，提取其特征向量；
步骤S62：将提取的特征向量输入训练好的网络，映射到潜在嵌入空间；
步骤S63：计算潜在嵌入空间中其他模态数据变量与此检索目标变量的相似性，进行排序，相似性最大的变量对应的原始模态数据为检索结果，即与检索目标属于同一类别的其他模态。
实施例4：
本实施例在实施例2或实施例3的基础上，进一步优化，采用MAP指标来评估我们的模型。MAP是多个查询的平均正确率(AP)的均值，从整体上反映模型的检索性能，是信息检索系统常用的评价指标。
在四个广泛使用的跨模态检索数据集Wikipedia、Pascal Sentence、NUS-WIDE、PKU-XMediaNet上测试本发明在图片-文字检索场景的效果。Wikipedia包含10个类别的2866个图像/文本对，选取5个类别作为已见过类，5个作为未见过类；Pascal Sentence包含20个类别的1000个图像/文本对，选取10个类别作为已见过类，10个作为未见过类；NUS-WIDE包含10个类别的70000个图像/文本对，选取5个类别作为已见过类，5个作为未见过类；PKU-XMediaNet包含200个类别的40000个图像/文本对，选取100个类别作为已见过类，100个作为未见过类；测试比较结果如下表1所示：
Figure GDA0004107472170000091
表1
在数据集Sketchy(Extended)上测试本发明在图像-简笔画检索场景的效果。这个数据集包含125个类别的73002张图片和75471张简笔画，选取100个类别作为已见过类，25个作为未见过类；测试比较结果如下表2所示：
Figure GDA0004107472170000092
表2
从表1、表2可以看出，本发明在所有的测试集上均优于现有的方法。
我们的发明在图像-文本检索场景中获得了最高的检索准确率。在Wikipedia数据集上，我们相较于之前的最好方法的准确率提升了21.5％，在Pascal Sentence数据集上的准确率相较于之前的最好方法提高了15.3％，在大规模数据集NUS-WIDE和PKU-XMediaNet也获得了较大的提升。在图像-简笔画检索场景中我们相较于之前最好方法的准确率提升了36.3％。我们的方法有效地提升了零样本跨模态检索的准确率。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种跨域对齐嵌入空间的零样本跨模态检索方法，其特征在于：先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间，然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束，经过整个网络训练后进行跨模态检索；
所述跨域对齐嵌入空间的零样本跨模态检索方法具体包括以下步骤：
步骤S1：提取多模态数据特征；
步骤S2：构造变分自动编码器，在低维的潜在嵌入空间生成潜在嵌入，并采用跨模态重构机制进行数据重构；
所述步骤S2具体包括以下步骤：
步骤S21：为两个同一类别不同的模态数据和共享的类别标签嵌入各自构造一个变分自动编码器；
步骤S22：三个变分自动编码器为一组，共同组合构建一个多模态的变分自动编码器架构；同一组的三个变分自动编码器分别对应同一类别的A模态数据、B模态数据、A模态数据与B模态数据共享的类别标签嵌入；
步骤S23： 每一个模态数据的变分自动编码器将本模态数据编码映射到潜在嵌入空间然后通过解码器将这些潜在嵌入解码重构回原本的模态，为每一个模态定义一个计算重构损失的损失函数来约束重构过程，以求重构信息损失最小；同时，重构回跨域的相同类别下的其他模态数据；
步骤S24：将三个变分自动编码器各自的损失函数线性相加构成多模态变分自动编码器的总损失；
步骤S3：在潜在嵌入空间，对重构后的不同模态数据采用跨域对齐机制进行跨域对齐；
步骤S4：构造回归器，将不同模态数据各自的潜在嵌入映射到共享的类别嵌入空间中，采用循环一致性约束机制进行循环一致性约束；
所述步骤S4具体是指：在两个模态的变分自动编码器后各构建一个回归器将两个模态各自的潜在嵌入映射到共享的类别嵌入空间中，与共享的类别嵌入比较，采用循环一致性约束机制进行循环一致性约束；
步骤S5：对整个网络进行训练；
步骤S6：跨模态检索数据。
2.根据权利要求1所述的一种跨域对齐嵌入空间的零样本跨模态检索方法，其特征在于：所述步骤S3中构建两个并行的跨域对齐方案；
跨域对齐方案一为将共享的类别标签嵌入作为将成对多模态数据潜在嵌入的多元高斯模型分布进行对齐的桥梁；采用2-Wasserstein距离作为两个模态分布之间的对齐准则；
跨域对齐方案二为通过成对模态潜在嵌入之间的最大均值差异来衡量。
3.根据权利要求1所述的一种跨域对齐嵌入空间的零样本跨模态检索方法，其特征在于：所述步骤S5具体是指：定义整个网络的损失函数为网络各个子部分损失函数的线性相加结果，采用随机梯度下降算法对网络结构里的编码器、解码器和回归器的参数进行训练。
4.根据权利要求3所述的一种跨域对齐嵌入空间的零样本跨模态检索方法，其特征在于：所述步骤S6具体包括以下步骤：
步骤S61：对一个给定模态的数据，提取其特征向量；
步骤S62：将提取的特征向量输入训练好的网络，映射到潜在嵌入空间；
步骤S63：计算潜在嵌入空间中其他模态数据变量与此检索目标变量的相似性，进行排序，相似性最大的变量对应的原始模态数据为检索结果，即与检索目标属于同一类别的其他模态。
CN201911228649.8A 2019-12-04 2019-12-04 一种跨域对齐嵌入空间的零样本跨模态检索方法 Active CN110990595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911228649.8A CN110990595B (zh) 2019-12-04 2019-12-04 一种跨域对齐嵌入空间的零样本跨模态检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911228649.8A CN110990595B (zh) 2019-12-04 2019-12-04 一种跨域对齐嵌入空间的零样本跨模态检索方法

Publications (2)

Publication Number Publication Date
CN110990595A CN110990595A (zh) 2020-04-10
CN110990595B true CN110990595B (zh) 2023-05-05

Family

ID=70090087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911228649.8A Active CN110990595B (zh) 2019-12-04 2019-12-04 一种跨域对齐嵌入空间的零样本跨模态检索方法

Country Status (1)

Country Link
CN (1) CN110990595B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4180987A4 (en) * 2020-07-09 2024-03-20 Beijing Xiaomi Mobile Software Co Ltd MULTIMODALS DATA TRANSMISSION METHOD AND DEVICE AND MULTIMODALS DATA PROCESSING METHOD AND DEVICE
CN112199462A (zh) * 2020-09-30 2021-01-08 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置
CN113420166A (zh) * 2021-03-26 2021-09-21 阿里巴巴新加坡控股有限公司 商品挂载、检索、推荐、训练处理方法、装置及电子设备
CN113780003B (zh) * 2021-08-31 2023-04-07 西南电子技术研究所（中国电子科技集团公司第十研究所） 时空数据变分编解码跨模态增强方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871014A (zh) * 2017-11-23 2018-04-03 清华大学 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN109255047A (zh) * 2018-07-18 2019-01-22 西安电子科技大学 基于互补语义对齐和对称检索的图像-文本互检索方法
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459995B2 (en) * 2016-12-22 2019-10-29 Shutterstock, Inc. Search engine for processing image search queries in multiple languages
US10885111B2 (en) * 2018-04-16 2021-01-05 International Business Machines Corporation Generating cross-domain data using variational mapping between embedding spaces

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871014A (zh) * 2017-11-23 2018-04-03 清华大学 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN109255047A (zh) * 2018-07-18 2019-01-22 西安电子科技大学 基于互补语义对齐和对称检索的图像-文本互检索方法
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
戚玉丹 ; 张化祥 ; 刘一鹤 ; .基于字典学习的跨媒体检索技术.计算机应用研究.2018,(第04期),全文. *
李珂."基于草图的精细图像检索".《中国博士学位论文全文数据库》.2019,全文. *
林克正 ; 李昊天 ; 白婧轩 ; 李骜 ; .语义自编码结合关系网络的零样本图像识别算法.模式识别与人工智能.2019,(第03期),全文. *

Also Published As

Publication number Publication date
CN110990595A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110990595B (zh) 一种跨域对齐嵌入空间的零样本跨模态检索方法
JP7360497B2 (ja) クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム
BR112020022270A2 (pt) sistemas e métodos para unificar modelos estatísticos para diferentes modalidades de dados
Scotti et al. Reconstructing the mind's eye: fMRI-to-image with contrastive learning and diffusion priors
CN108921657B (zh) 一种基于知识增强记忆网络的序列推荐方法
CN111382271B (zh) 文本分类模型的训练方法及装置、文本分类方法及装置
US20220229984A1 (en) Systems and methods for semi-supervised extraction of text classification information
CN110990596B (zh) 一种基于自适应量化多模态哈希检索方法及系统
CN109598586A (zh) 一种基于注意力模型的推荐方法
CN113597620A (zh) 使用神经网络的压缩感测
CN112307168A (zh) 基于人工智能的问诊会话处理方法、装置和计算机设备
Kutuzova et al. Multimodal variational autoencoders for semi-supervised learning: In defense of product-of-experts
CN115525771A (zh) 基于上下文数据增强的少样本知识图谱表示学习方法及系统
CN113239159A (zh) 基于关系推理网络的视频和文本的跨模态检索方法
Hahn et al. Estimating predictive rate–distortion curves via neural variational inference
Zhu et al. Mix2vec: Unsupervised mixed data representation
Zhu et al. Compressive sensing of multichannel EEG signals via lq norm and Schatten‐p norm regularization
CN116958613A (zh) 深度多视图聚类方法、装置、电子设备及可读存储介质
Bak et al. Data driven estimation of imputation error—a strategy for imputation with a reject option
CN114281950B (zh) 基于多图加权融合的数据检索方法与系统
CN115952266A (zh) 问题生成方法、装置、计算机设备和存储介质
Chen et al. Low-complexity rate-distortion optimization of sampling rate and bit-depth for compressed sensing of images
US20220027680A1 (en) Methods and systems for facilitating classification of labelled data
Zhang et al. Brain state decoding based on fmri using semisupervised sparse representation classifications
US20210097402A1 (en) Storage medium, optimum solution acquisition method and information processing apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant