CN113360683B - 训练跨模态检索模型的方法以及跨模态检索方法和装置 - Google Patents
训练跨模态检索模型的方法以及跨模态检索方法和装置 Download PDFInfo
- Publication number
- CN113360683B CN113360683B CN202110747184.8A CN202110747184A CN113360683B CN 113360683 B CN113360683 B CN 113360683B CN 202110747184 A CN202110747184 A CN 202110747184A CN 113360683 B CN113360683 B CN 113360683B
- Authority
- CN
- China
- Prior art keywords
- vectors
- modality
- data
- cross
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 344
- 238000013507 mapping Methods 0.000 claims abstract description 55
- 230000004927 fusion Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 51
- 230000003993 interaction Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开公开了一种训练跨模态检索模型的方法，涉及人工智能领域，尤其涉及度量学习、云计算、NLP、大数据、计算机视觉、语音技术和智能搜索领域。具体实现方案为：获取第一模态的样本数据和与第一模态的样本数据对应的第二模态的样本数据，其中，第一模态的样本数据为检索数据，第二模态的样本数据为被检索数据；获取第一模态的样本数据的第一特征表示和第二模态的样本数据的第二特征表示；将第一特征表示映射为K个第一向量，以及将第二特征表示映射为K个第二向量；基于共享字典，获取与K个第一向量对应的K个第一基向量，以及获取与K个第二向量对应的K个第二基向量；以及基于K个第一基向量和K个第二基向量进行匹配，以训练跨模态检索模型。
Description
技术领域
本公开涉及人工智能领域，尤其涉及度量学习、云计算、NLP、大数据、计算机视觉、语音技术和智能搜索领域。尤其涉及一种训练跨模态检索模型的方法以及跨模态检索方法和装置、设备、存储介质等。
背景技术
随着基础技术的不断进步，人类信息交互形式不断进化，从声音、文字、图片到视频，形式越来越生动、高效，但也越来越庞大、复杂。其中进行跨模态检索在搜索、推荐、广告等领域都有着广泛应用，也一直是业界研究的热点。
发明内容
本公开提供了一种训练跨模态检索模型的方法以及跨模态检索方法、装置、设备、存储介质以及计算机程序产品。
根据本公开的一方面，提供了一种训练跨模态检索模型的方法，包括：获取第一模态的样本数据和与所述第一模态的样本数据对应的第二模态的样本数据，其中，所述第一模态的样本数据为检索数据，所述第二模态的样本数据为被检索数据；获取所述第一模态的样本数据的第一特征表示和所述第二模态的样本数据的第二特征表示；将所述第一特征表示映射为K个第一向量，以及将所述第二特征表示映射为K个第二向量；基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量；以及基于所述K个第一基向量和所述K个第二基向量进行匹配，以训练跨模态检索模型。
根据本公开的另一方面，提供了一种跨模态检索方法，包括：获取第一模态的数据和第二模态的数据，其中，所述第一模态的数据为检索数据，所述第二模态的数据为检索库中的被检索数据，所述第一模态不同于所述第二模态；利用本公开实施例中任一项训练得到的跨模态检索模型，执行以下检索操作：获取所述第一模态的数据的第一特征表示和所述第二模态的数据的第二特征表示；将所述第一特征表示映射为K个第一向量，以及将所述第二特征表示映射为K个第二向量；基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量；以及基于所述K个第一基向量和所述K个第二基向量进行匹配，以得到跨模态检索结果。
根据本公开的另一方面，提供了一种训练跨模态检索模型的装置，包括：第一获取模块，用于获取第一模态的样本数据和与所述第一模态的样本数据对应的第二模态的样本数据，其中，所述第一模态的样本数据为检索数据，所述第二模态的样本数据为被检索数据；第二获取模块，用于获取所述第一模态的样本数据的第一特征表示和所述第二模态的样本数据的第二特征表示；映射模块，用于将所述第一特征表示映射为K个第一向量，以及将所述第二特征表示映射为K个第二向量；第三获取模块，用于基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量；以及训练模块，用于基于所述K个第一基向量和所述K个第二基向量进行匹配，以训练跨模态检索模型。
根据本公开的另一方面，提供了一种跨模态检索装置，包括：第四获取模块，用于获取第一模态的数据和第二模态的数据，其中，所述第一模态的数据为检索数据，所述第二模态的数据为检索库中的被检索数据，所述第一模态不同于所述第二模态；检索模块，用于利用本公开实施例中任一项训练得到的跨模态检索模型，执行以下检索操作：第三获取单元，用于获取所述第一模态的数据的第一特征表示和所述第二模态的数据的第二特征表示；映射单元，用于将所述第一特征表示映射为K个第一向量，以及将所述第二特征表示映射为K个第二向量；第四获取单元，用于基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量；以及检索单元，用于基于所述K个第一基向量和所述K个第二基向量进行匹配，以得到跨模态检索结果。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开实施例所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开实施例所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1A示例性示出了适于本公开实施例的晚对齐方式的跨模态检索模型的系统架构；
图1B示例性示出了适于本公开实施例的早对齐方式的跨模态检索模型的系统架构；
图1C示例性示出了适于本公开实施例另一跨模态检索模型的系统架构；
图2示例性示出了根据本公开实施例的训练跨模态检索模型的方法的流程图；
图3示例性示出了根据本公开实施例的训练跨模态检索模型的原理图；
图4示例性示出了根据本公开实施例的跨模态检索方法的流程图；
图5示例性示出了根据本公开实施例的训练跨模态检索模型的装置的框图；
图6示例性示出了根据本公开实施例的跨模态检索装置的框图；以及
图7示例性示出了用来实现本公开实施例的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
应该理解，目前跨模态检索的匹配对齐方式主要有两种：一种晚对齐方式，即各模态数据通过各自的表示层，获得对应的表示层输出后再进行匹配对齐；另一种是早对齐方式，即在表示层中早期就进行匹配对齐，比如各模态数据通过拼接后输入同一表示层，获得对应的表示层输出后直接进行匹配对齐。
此外，目前跨模态检索的主要技术包括：执行一些大规模对比学习任务，通过对各模态数据分别进行特征表示，然后对输出的各特征表示进行匹配对齐，促使各表示层学习到语义丰富、准确的表征向量，然后基于大规模ann检索技术等，实现大规模跨模态检索。该技术目前采用的主要匹配对齐方式(又称交互对齐方式)是基于cosine或者vlad等方式进行匹配对齐，属于晚对齐方式。
在实现本公开发明构思的过程中，发明人发现：上述技术中，如果使用晚对齐方式，则对表示层的监督不够精细；如果使用早对齐方式，则难以适用于大规模ann检索技术。
换言之，目前主流的跨模态检索方案，要么模态之间匹配对齐不充分(如晚对齐方式)，要么模态之间匹配对齐充分的又难以适用于简单、快速的大规模ann检索技术。
对此，本公开实施例提出了一种基于共享字典的跨模态检索方案，可以在表示层中引入共享字典，实现模态之间的早对齐，促使大规模对比学习高效进行，从而构建更准确的表征模型，以提升跨模态检索的效果。
进一步，本公开实施例提出的基于共享字典的跨模态检索方案，可以改进搜索、推荐、广告等领域的核心功能组件，提供高效、准确的跨模态检索服务。
以下将结合附图和具体实施例详细阐述本公开。
适于本公开实施例的系统架构介绍如下。
图1A示例性示出了适于本公开实施例的晚对齐方式的跨模态检索模型的系统架构。
如图1A所示，系统架构可以包括：输入层1和输入层2，以及表示层1和表示层2，以及匹配层。
在本公开实施例中，不同模态的样本数据可以通过不同的输入层输入各自的表示层，然后各表示层的输出可以在上述的匹配层进行匹配对齐，最终输出对应的匹配得分，以便训练跨模态检索模型。
示例性的，如样本数据包括文本数据和图像数据，其中文本数据为检索数据(即查询数据)，图像数据为被检索数据(即被查询数据)。其中，文本数据可以通过输入层1进入表示层1进行特征表示，并由表示层1输出对应的文本特征表示；图像数据可以通过输入层2进入表示层2进行特征表示，并由表示层2输出对应的图像特征表示。表示层1输出的文本特征表示和表示层2输出的图像特征表示可以在上述的匹配层进行匹配对齐并输出对应的匹配得分，从而最终实现跨模态检索模型的训练。
可见，在本公开实施例中，不同模态的样本数据是通过不同的表示层进行特征表示的，并且这些样本数据在不同的表示层没有进行交互，因而本实施例属于晚对齐的方式。
如前文所述，本实施例中，模态之间的匹配对齐不充分，因而在度量学习过程中对表示层的监督不够精细。
图1B示例性示出了适于本公开实施例的早对齐方式的跨模态检索模型的系统架构。
如图1B所示，系统架构可以包括：输入层、表示层和匹配层。
在本公开实施例中，不同模态的样本数据需要以拼接的形式通过输入层输入表示层，然后表示层的输出可以在匹配层进行匹配对齐，最终输出对应的匹配得分，以便训练跨模态检索模型。
示例性的，如样本数据包括文本数据和视频数据，其中文本数据为检索数据(即查询数据)，视频数据为被检索数据(即被查询数据)。其中，文本数据与视频数据拼接为(文本，视频)后可以通过输入层进入表示层进行特征表示，并由表示层输出对应的文本-视频特征表示。表示层输出的文本-视频特征表示可以在上述的匹配层进行匹配对齐并输出对应的匹配得分，从而最终实现跨模态检索模型的训练。
可见，在本公开实施例中，不同模态的样本数据实际上是通过相同的表示层进行特征表示的，属于单侧表示层的度量学习，因而这些样本数据可以在表示层中进行充分的交互，因而本实施例属于早对齐的方式。
如前文所述，本实施例中，模态之间的匹配对齐比较充分，因而在度量学习过程中对表示层的监督更精细。但是，由于大规模ann检索技术只能适应于双侧表示层的度量学习，因而本公开实施例难以适用于大规模ann检索技术。
图1C示例性示出了适于本公开实施例另一跨模态检索模型的系统架构。需要注意的是，图1C所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他环境或场景。
如图1C所示，系统架构100可以包括：编码层101a(encoder)和编码层102a，以及解码层101b(decoder)和解码层102b，以及映射层103和映射层104，以及共享字典105，以及匹配层106。其中模态1的表示层包括：编码层101a、映射层103、共享字典105和解码层101b。模态2的表示层包括：编码层102a、映射层104、共享字典105和解码层102b。
在本公开实施例中，在不同模态(如模态1和模态2)的表示层设置统一的共享字典，该共享字典可以表示一个离散的共享空间，使得不同模态的样本数据可以通过各自的表示层进行特征表示，然后各表示层输出的特征表示可以近似表示在同一个离散空间中，然后各特征表示对应的近似特征表示可以在上述的匹配层进行匹配对齐，最终输出对应的匹配得分，以便训练跨模态检索模型。
示例性的，如样本数据包括文本数据和音频数据，其中文本为模态1，文本数据为检索数据(即查询数据)；音频为模态2，音频数据为被检索数据(即被查询数据)。其中，文本数据通过编码层101a进行特征表示后，先利用映射层103映射为K个向量(这K个向量中的每个表示一个特征属性)，然后针对这K个向量中的每个，在共享字典105中的M个基向量中找到一个与之相似度最高的基向量，由此一共可以找出K个对应的基向量。同理，音频数据通过编码层102a进行特征表示后，先利用映射层104映射为K个向量(这K个向量中的每个也表示一个特征属性)，然后针对这K个向量中的每个，在共享字典105中的M个基向量中也可以找到一个与之相似度最高的基向量，由此一共也可以找出K个对应的基向量。然后，针对模态1获取的K个基向量可以在解码层101b进行特征融合；针对模态2获取的K个基向量可以在解码层102b进行特征融合。最终，解码层101b和解码层102b各自输出的融合特征可以在匹配层106进行匹配对齐，以实现跨模态检索模型的训练。
需要说明的是，本公开实施例中，K和M均为正整数，且K≤M。
应该理解，本公开实施例中，各模态数据之间在表示层已通过共享字典实现交互，因而交互比较充分，因而在度量学习过程中对表示层的监督更精细。并且，本公开实施例中，各模态数据之间都是通过各自的表示层进行特征表示的，属于双侧表示层的度量学习，因而能够适用于大规模ann检索技术，可以提供高效、准确的跨模态检索服务。
应该理解，图1C中的各映射层输出的向量数目以及共享字典中包含的基向量的数目仅仅是示意性的，本公开在此不做限定。
适于本公开实施例的方法和装置的应用场景介绍如下。
应该理解，本公开实施例提供的跨模态检索技术，可以集成到各种涉及文本、图像、视频、音频等模态数据的搜索、推荐和广告等平台中，为平台提供高效的、准确的跨模态检索能力，帮助平台在进行召回、风控等业务时获取更好的效果。
根据本公开的实施例，本公开提供了一种训练跨模态检索模型的方法。
图2示例性示出了根据本公开实施例的训练跨模态检索模型的方法的流程图。
如图2所示，训练跨模态检索模型的方法200包括：操作S210～S250。
在操作S210，获取第一模态的样本数据和与第一模态的样本数据对应的第二模态的样本数据，其中，第一模态的样本数据为检索数据，第二模态的样本数据为被检索数据。
在操作S220，获取第一模态的样本数据的第一特征表示和第二模态的样本数据的第二特征表示。
在操作S230，将第一特征表示映射为K个第一向量，以及将第二特征表示映射为K个第二向量。
在操作S240，基于共享字典，获取与K个第一向量对应的K个第一基向量，以及获取与K个第二向量对应的K个第二基向量。
在操作S250，基于K个第一基向量和K个第二基向量进行匹配，以训练跨模态检索模型。
应该理解，在本公开实施例中，第一模态可以包括文本、图像、视频、音频等媒体模态；第二模态也可以包括文本、图像、视频、音频等媒体模态。但是，第一模态不同于第二模态。示例性的，如果第一模态是文本，则第二模态不可以是文本，只可以是图像、视频、音频等中的一个或多个。
还应该理解，在本公开实施例中，第一模态的样本数据与第二模态的样本数据互相关联。即，第一模态的样本数据是检索数据，第二模态的样本数据则是以第一模态的样本数据为检索数据进行检索而获得的检索结果。
还应该理解，在本公开实施例中，共享字典中可以包括M个基向量，每个基向量可以表示一个离散的点。因此，共享字典可以表示一个离散空间。
在本公开实施例中，可以构建初始的跨模态检索模型，然后执行操作S210～S250对该初始的跨模态检索模型进行训练，以获得最终需要的跨模态检索模型。
该初始的跨模态检索模型为双侧塔模型，包括针对第一模态(文本)创建的输入层和第一模态表示层、针对第二模态(如视频)创建的输入层和第二模态表示层、共享字典以及匹配层。
其中，第一模态表示层可以包括：编码网络(encoder)(即第一模态编码层)、映射网络(即第一模态映射层)和解码网络(decoder)(即第一模态解码层)。第二模态表示层也可以包括：编码网络(encoder)(即第二模态编码层)、映射网络(即第二模态映射层)和解码网络(decoder)(即第二模态解码层)。其中，两个模态的表示层都可以在各自的映射网络之后引入统一的共享字典，从而将不同模态的数据表示在同一个离散空间中，实现两种模态数据的充分交互。因而，在度量学习过程中可以为各模态表示层提供更精细的监督。
示例性的，如第一、第二模态的样本数据分别为文本数据和视频数据，文本数据为检索数据(即查询数据)；视频数据为被检索数据(即被查询数据)。
其中，文本数据通过文本编码层(第一模态编码层)进行特征表示后，先利用文本映射层(第一模态映射层)映射为K个向量(即K个第一向量，记为K个向量1)，然后针对这K个向量1中的每个向量，在共享字典中的M个基向量中找出一个与之相似度最高的基向量。由此，针对这K个向量1，可以找出K个对应的基向量(即K个第一基向量，记为K个基向量1)。
同理，视频数据通过视频编码层进行特征表示后，先利用视频映射层映射为K个向量(即K个第二向量，记为K个向量2)，然后针对这K个向量2中的每个向量，在共享字典中的M个基向量中也可以找出一个与之相似度最高的基向量。由此，针对这K个向量2，也可以找出K个对应的基向量(即K个第二基向量，记为K个基向量2)。
然后，在文本解码层，对针对文本数据获取的K个基向量1进行特征融合；在视频解码层，对针对视频数据获取的K个基向量2进行特征融合。
最终，在模型的匹配层，对文本解码层输出的融合特征向量1和视频解码层输出的融合特征向量2进行匹配对齐，从而实现对跨模态检索模型的训练。
通过本公开实施例，各模态数据之间在表示层已通过共享字典实现交互，因而交互比较充分，因而在度量学习过程中对表示层的监督更精细。并且，本公开实施例中，各模态数据之间都是通过各自的表示层进行特征表示的，属于双侧塔度量学习，因而能够适用于大规模ann检索技术，可以提供高效、准确的跨模态检索服务。
换言之，在本公开实施例中，通过在各模态的表示层引入共享字典，可以使模态之间的交互更加充分，并且所得的各表示层表征向量可以方便地应用于ann检索技术。
此外，本公开实施例中，在训练跨模态检索模型时使用的共享字典表征的是离散空间，因而可以提高各模态间的融合度，同时可以削弱噪声，增加模型的鲁棒性。
作为一种可选的实施例，基于K个第一基向量和K个第二基向量进行匹配，以训练跨模态检索模型，可以包括：将K个第一基向量和K个第二基向量直接进行匹配，以训练跨模态检索模型。
在本公开的一个实施例中，利用各模态的样本数据和共享字典，得到各自对应的K个基向量之后，可以直接输入模型的匹配层，基于相关loss函数进行匹配对齐，以实现跨模态检索模型的训练。
示例性的，如第一、第二模态的样本数据分别为文本数据和视频数据，文本数据为检索数据(即查询数据)；视频数据为被检索数据(即被查询数据)。
其中，文本数据通过文本编码层、文本映射层进行特征表示后，在共享字典中的M个基向量中找出K个对应的基向量(即K个第一基向量，记为K个基向量1)。
同理，视频数据通过视频编码层、视频映射层进行特征表示后，在共享字典中的M个基向量中也可以找出K个对应的基向量(即K个第二基向量，记为K个基向量2)。
然后，略过文本解码层，即，不再对这K个基向量1进行特征融合；同时略过视频解码层，即，也不再对这K个基向量2进行特征融合。而是直接在模型的匹配层，利用相关loss函数对这K个基向量1和这K个基向量2进行匹配对齐，从而实现对跨模态检索模型的训练。
通过本公开实施例，在基于共享字典得到各模态各自对应的基向量后，不再进行特征融合，而是直接进入模型的匹配层进行匹配对齐，可以省略特征融合的步骤，因而训练出的模型可以提供更高效的跨模态检索服务。
或者，作为一种可选的实施例，基于K个第一基向量和K个第二基向量进行匹配，以训练跨模态检索模型，可以包括如下操作。
将K个第一基向量融合为对应的第一特征向量。
将K个第二基向量融合为对应的第二特征向量。
将第一特征向量与第二特征向量进行匹配，以训练跨模态检索模型。
在本公开的另一个实施例中，利用各模态的样本数据和共享字典，得到各自对应的K个基向量之后，还可以先将各模态的K个基向量分别进行特征融合，之后再进入模型的匹配层，基于相关loss函数对两个模态的特征融合向量进行匹配对齐，以实现跨模态检索模型的训练。
示例性的，如第一、第二模态的样本数据分别为文本数据和视频数据，文本数据为检索数据(即查询数据)；视频数据为被检索数据(即被查询数据)。
其中，文本数据通过文本编码层、文本映射层进行特征表示后，在共享字典中的M个基向量中找出K个对应的基向量(即K个第一基向量，记为K个基向量1)。
同理，视频数据通过视频编码层、视频映射层进行特征表示后，在共享字典中的M个基向量中也可以找出K个对应的基向量(即K个第二基向量，记为K个基向量2)。
然后，在文本解码层，对针对文本数据获取的K个基向量1进行特征融合，得到第一特征融合向量(简称第一特征向量)；在视频解码层，对针对视频数据获取的K个基向量2进行特征融合，得到第二特征融合向量(简称第二特征向量)。
最终，在模型的匹配层，对文本解码层输出的第一特征融合向量和视频解码层输出的第二特征融合向量进行匹配对齐，从而实现对跨模态检索模型的训练。
通过本公开实施例，通过对各模态基于共享字典得到的各自对应的K个基向量先进行特征融合，再进行匹配对齐，可以学习到更加丰富的特征，因而训练出的模型可以提供更准确的跨模态检索服务。
作为一种可选的实施例，其中：
在获取第一模态的样本数据的第一特征表示时，可以将第一模态的样本数据输入跨模态检索模型的第一模态表示层，以输出第一特征表示。
在获取第二模态的样本数据的第二特征表示时，可以将第二模态的样本数据输入跨模态检索模型的第二模态表示层，以输出第二特征表示。
在将第一特征表示映射为K个第一向量时，可以将第一特征表示输入跨模态检索模型的第一模态映射层，以输出K个第一向量。
在将第二特征表示映射为K个第二向量时，可以将第二特征表示输入跨模态检索模型的第二模态映射层，以输出K个第二向量。
在本公开实施例中，可以按照上述实施例提供的方法创建初始的跨模态检索模型，本公开实施例在此不再赘述。
应该理解，在本公开实施例中，由于针对不同的模态创建了不同的表示层，因而不同模态的数据是通过不同的表示层进行特征表示的，因而可以适应于Ann检索技术。
作为一种可选的实施例，基于共享字典，获取与K个第一向量对应的K个第一基向量，以及获取与K个第二向量对应的K个第二基向量，可以包括如下操作。
将K个第一向量中的每个第一向量与共享字典中的M个基向量进行相似度匹配，以针对每个第一向量获取一个相似度最高的第一基向量。
将K个第二向量中的每个第二向量与共享字典中的M个基向量进行相似度匹配，以针对每个第二向量获取一个相似度最高的第二基向量。
示例性的，如第一、第二模态的样本数据分别为文本数据和视频数据，文本数据为检索数据(即查询数据)；视频数据为被检索数据(即被查询数据)。
文本数据经过对应的编码层、映射层后可以得到4个向量，分别为向量11，向量12、向量13、向量14，经过相似度计算，可以在共享字典中找到与向量11最相似的基向量11、与向量12最相似的基向量12、与向量13最相似的基向量13、与向量14最相似的基向量14。
同理，视频数据经过对应的编码层、映射层后可以得到4个向量，分别为向量21，向量22、向量23、向量24，经过相似度计算，可以在共享字典中找到与向量21最相似的基向量21、与向量22最相似的基向量22、与向量23最相似的基向量23、与向量24最相似的基向量24。
进一步，在模型的匹配层，可以将基向量21、基向量22、基向量23、基向量24与基向量11、基向量12、基向量13、基向量14进行匹配对齐，以实现对跨模态检索模型的训练。或者，在模型的匹配层，还可以将由基向量21、基向量22、基向量23、基向量24得到的特征融合向量，与由基向量11、基向量12、基向量13、基向量14得到的特征融合向量，进行匹配对齐，以实现对跨模态检索模型的训练。
通过本公开实施例，将不同模态的数据用同一离散空间进行特征表示，可以使不同模态的数据在各自的表示层进行充分交互，进而可以使各模态的表示层的监督学习更加精细。
作为一种可选的实施例，该方法还可以包括：基于K个第一基向量和K个第二基向量得到的匹配结果，对共享字典中的基向量进行参数优化。
示例性的，共享字典可以跟整个模型一起，基于随机梯度下降等优化算法以及基于由各模态的样本数据得到的基向量进行匹配对齐得到的匹配结果，对共享字典中的基向量进行参数优化。
应该理解，共享字典中可以包括M个基向量，每个基向量可以是X维的。在这种情况下，对共享字典中的基向量进行参数优化包括对字典中各基向量在各个维度上的分量进行参数优化。
通过本公开实施例，在模型训练过程中不断优化共享字典，反过来可以使训练出的模型提供更加高效、准确的跨模态检索服务。
以下将结合图3和具体实施例详细阐述本公开实施例的原理。
初始的跨模态检索模型包括：文本表示层和视频表示层以及匹配层。
如图3所示，文本表示层包括文本encoder层、文本映射层和文本decoder层；视频表示层包括视频encoder层、视频映射层和视频decoder层。
如图3所示，文本表示层在文本映射层和文本decoder层之间引入了共享字典；视频表示层也在视频映射层和视频decoder层之间引入了该共享字典。
换言之，在本公开实施例中，文本模态的样本数据和视频模态的样本数据，可以使用同一个离散空间中的离散点集进行特征表示，因而这两种模态的样本数据在表示层可以进行充分的早交互，利于使各表示层的监督学习更精细。
在本公开实施例中，上述的共享字典在各个模态之间共享，因而经过对上述的初始跨模态检索模型进行训练，可以获取更加准确、高效的跨模态检索模型。
应该理解，在本公开实施例中，可以基于训练样本构建度量学习的双侧表示层。
示例性的，对于视频模态的表示层，可以使用基于帧/目标底层特征的transformer结构、或时空建模的3DCNN构建encoder层并进行特征表示。
示例性的，对于文本模态的表示层，可以使用RNN(循环神经网络)、或transformer结构等构建encoder层并进行特征表示。
示例性的，对于图像模态的表示层，可以使用CNN(卷积神经网络)、或transformer结构等构建encoder层并进行特征表示。
此外，在本公开实施例中，各模态的decoder层，可以均使用transformer结构。此外，在本公开实施例中，匹配层包括对比(度量)loss。该对比(度量)loss可以通过相关loss实现，用于对整个跨模态检索模型进行监督学习。
在本公开的一个实施例中，共享字典包含各模态公用的codebook，假设有M个(如1024个)基向量，每个基向量的维度数都是X(如128)。
本公开实施例的各模态的表示层的工作原理如下：获取各模态encoder层输出的向量；使用各模态的映射层将上述每个模态encoder层输出的向量映射成k个向量(每个向量表征一个特征属性)，每个向量维度也是X(如128)；使用gumbel softmax算法，获取由上述每个模态encoder层输出的向量映射成的k个向量在字典中对应的k个基向量。
根据本公开的实施例，本公开提供了一种跨模态检索方法。
图4示例性示出了根据本公开实施例的跨模态检索方法的流程图。
如图4所示，跨模态检索方法400包括：操作S410～S460。
在操作S410，获取第一模态的数据和第二模态的数据，其中，第一模态的数据为检索数据，第二模态的数据为检索库中的被检索数据，第一模态不同于第二模态。
在操作S420，利用本公开实施例中任一项训练得到的跨模态检索模型，执行以下操作S430～S460检索操作。
在操作S430，获取第一模态的数据的第一特征表示和第二模态的数据的第二特征表示。
在操作S440，将第一特征表示映射为K个第一向量，以及将第二特征表示映射为K个第二向量。
在操作S450，基于共享字典，获取与K个第一向量对应的K个第一基向量，以及获取与K个第二向量对应的K个第二基向量。
在操作S460，基于K个第一基向量和K个第二基向量进行匹配，以得到跨模态检索结果。
需要说明的是，本公开实施例中，跨模态检索模型的训练方法可以参考上述实施例中的描述，在此不再赘述。
此外，本公开实施例中的跨模态检索方法中的相关操作，也可以参考上述实施例中对类似或相同操作的描述，在此也不再赘述。
此外，本公开实施例中，所解决的技术问题和所达到的技术效果也可以参考上述实施例中的相关描述，在此也不再赘述。
根据本公开的实施例，本公开还提供了一种训练跨模态检索模型的装置。
图5示例性示出了根据本公开实施例的训练跨模态检索模型的装置的框图。
如图5所示，训练跨模态检索模型的装置500包括：第一获取模块510、第二获取模块520、映射模块530、第三获取模块540和训练模块550。
第一获取模块510，用于获取第一模态的样本数据和与该第一模态的样本数据对应的第二模态的样本数据，其中，该第一模态的样本数据为检索数据，该第二模态的样本数据为被检索数据。
第二获取模块520，用于获取该第一模态的样本数据的第一特征表示和该第二模态的样本数据的第二特征表示。
映射模块530，用于将该第一特征表示映射为K个第一向量，以及将该第二特征表示映射为K个第二向量。
第三获取模块540，用于基于共享字典，获取与该K个第一向量对应的K个第一基向量，以及获取与该K个第二向量对应的K个第二基向量。
训练模块550，用于基于该K个第一基向量和该K个第二基向量进行匹配，以训练跨模态检索模型。
作为一种可选的实施例，该训练模块还用于：将该K个第一基向量和该K个第二基向量直接进行匹配，以训练该跨模态检索模型。
作为一种可选的实施例，该训练模块，包括：第一融合单元，用于将该K个第一基向量融合为对应的第一特征向量；第二融合单元，用于将该K个第二基向量融合为对应的第二特征向量；以及训练单元，用于将该第一特征向量与该第二特征向量进行匹配，以训练该跨模态检索模型。
作为一种可选的实施例，其中：该第二获取模块，还用于将该第一模态的样本数据输入该跨模态检索模型的第一模态表示层，以输出该第一特征表示；该第二获取模块，还用于将该第二模态的样本数据输入该跨模态检索模型的第二模态表示层，以输出该第二特征表示；该映射模块，还用于将该第一特征表示输入该跨模态检索模型的第一模态映射层，以输出该K个第一向量；以及该映射模块，还用于将该第二特征表示输入该跨模态检索模型的第二模态映射层，以输出该K个第二向量。
作为一种可选的实施例，该第三获取模块，包括：第一获取单元，用于将该K个第一向量中的每个第一向量与该共享字典中的M个基向量进行相似度匹配，以针对该每个第一向量获取一个相似度最高的第一基向量；以及第二获取单元，用于将该K个第二向量中的每个第二向量与该共享字典中的M个基向量进行相似度匹配，以针对该每个第二向量获取一个相似度最高的第二基向量。
作为一种可选的实施例，该装置还包括：优化模块，用于基于该K个第一基向量和该K个第二基向量得到的匹配结果，对该共享字典中的基向量进行参数优化。
应该理解，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，所解决的技术问题和所实现的技术效果也对应相同或类似，本公开在此不再赘述。
根据本公开的实施例，本公开还提供了一种跨模态检索装置。
图6示例性示出了根据本公开实施例的跨模态检索装置的框图。
如图6所示，跨模态检索装置600包括：第四获取模块610、检索模块620、第三获取单元630、映射单元640、第四获取单元650和检索单元660。
第四获取模块610，用于获取第一模态的数据和第二模态的数据，其中，所述第一模态的数据为检索数据，所述第二模态的数据为检索库中的被检索数据，所述第一模态不同于所述第二模态；
检索模块620，用于利用本公开实施例中任一项训练得到的跨模态检索模型，执行以下检索操作。
第三获取单元630，用于获取所述第一模态的数据的第一特征表示和所述第二模态的数据的第二特征表示。
映射单元640，用于将所述第一特征表示映射为K个第一向量，以及将所述第二特征表示映射为K个第二向量。
第四获取单元650，用于基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量。
检索单元660，用于基于所述K个第一基向量和所述K个第二基向量进行匹配，以得到跨模态检索结果。
应该理解，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，所解决的技术问题和所实现的技术效果也对应相同或类似，本公开在此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如训练跨模态检索模型的方法(或跨模态检索方法)。例如，在一些实施例中，训练跨模态检索模型的方法(或跨模态检索方法)可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的训练跨模态检索模型的方法(或跨模态检索方法)的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行训练跨模态检索模型的方法(或跨模态检索方法)。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server〞，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
本公开的技术方案中，所涉及的样本数据、用户数据的记录，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (15)
1.一种训练跨模态检索模型的方法，包括：
获取第一模态的样本数据和与所述第一模态的样本数据对应的第二模态的样本数据，其中，所述第一模态的样本数据为检索数据，所述第二模态的样本数据为被检索数据，所述样本数据包括文本数据或图像数据；
获取所述第一模态的样本数据的第一特征表示和所述第二模态的样本数据的第二特征表示；
将所述第一特征表示映射为K个第一向量，以及将所述第二特征表示映射为K个第二向量；
基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量；以及
基于所述K个第一基向量和所述K个第二基向量进行匹配，以训练跨模态检索模型；
其中，所述基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量，包括：
将所述K个第一向量中的每个第一向量与所述共享字典中的M个基向量进行相似度匹配，以针对所述每个第一向量获取一个相似度最高的第一基向量；以及
将所述K个第二向量中的每个第二向量与所述共享字典中的M个基向量进行相似度匹配，以针对所述每个第二向量获取一个相似度最高的第二基向量。
2.根据权利要求1所述的方法，其中，所述基于所述K个第一基向量和所述K个第二基向量进行匹配，以训练跨模态检索模型，包括：
将所述K个第一基向量和所述K个第二基向量直接进行匹配，以训练所述跨模态检索模型。
3.根据权利要求1所述的方法，其中，所述基于所述K个第一基向量和所述K个第二基向量进行匹配，以训练跨模态检索模型，包括：
将所述K个第一基向量融合为对应的第一特征向量；
将所述K个第二基向量融合为对应的第二特征向量；以及
将所述第一特征向量与所述第二特征向量进行匹配，以训练所述跨模态检索模型。
4.根据权利要求1至3中任一项所述的方法，其中：
将所述第一模态的样本数据输入所述跨模态检索模型的第一模态表示层，以输出所述第一特征表示；
将所述第二模态的样本数据输入所述跨模态检索模型的第二模态表示层，以输出所述第二特征表示；
将所述第一特征表示输入所述跨模态检索模型的第一模态映射层，以输出所述K个第一向量；以及
将所述第二特征表示输入所述跨模态检索模型的第二模态映射层，以输出所述K个第二向量。
5.根据权利要求1所述的方法，还包括：
基于所述K个第一基向量和所述K个第二基向量得到的匹配结果，对所述共享字典中的基向量进行参数优化。
6.一种跨模态检索方法，包括：
获取第一模态的数据和第二模态的数据，其中，所述第一模态的数据为检索数据，所述第二模态的数据为检索库中的被检索数据，所述第一模态不同于所述第二模态；
利用权利要求1至5中任一项训练得到的跨模态检索模型，执行以下检索操作：
获取所述第一模态的数据的第一特征表示和所述第二模态的数据的第二特征表示；
将所述第一特征表示映射为K个第一向量，以及将所述第二特征表示映射为K个第二向量；
基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量；以及
基于所述K个第一基向量和所述K个第二基向量进行匹配，以得到跨模态检索结果。
7.一种训练跨模态检索模型的装置，包括：
第一获取模块，用于获取第一模态的样本数据和与所述第一模态的样本数据对应的第二模态的样本数据，其中，所述第一模态的样本数据为检索数据，所述第二模态的样本数据为被检索数据，所述样本数据包括文本数据或图像数据；
第二获取模块，用于获取所述第一模态的样本数据的第一特征表示和所述第二模态的样本数据的第二特征表示；
映射模块，用于将所述第一特征表示映射为K个第一向量，以及将所述第二特征表示映射为K个第二向量；
第三获取模块，用于基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量；以及
训练模块，用于基于所述K个第一基向量和所述K个第二基向量进行匹配，以训练跨模态检索模型；
其中，所述第三获取模块，包括：
第一获取单元，用于将所述K个第一向量中的每个第一向量与所述共享字典中的M个基向量进行相似度匹配，以针对所述每个第一向量获取一个相似度最高的第一基向量；以及
第二获取单元，用于将所述K个第二向量中的每个第二向量与所述共享字典中的M个基向量进行相似度匹配，以针对所述每个第二向量获取一个相似度最高的第二基向量。
8.根据权利要求7所述的装置，其中，所述训练模块还用于：
将所述K个第一基向量和所述K个第二基向量直接进行匹配，以训练所述跨模态检索模型。
9.根据权利要求7所述的装置，其中，所述训练模块，包括：
第一融合单元，用于将所述K个第一基向量融合为对应的第一特征向量；
第二融合单元，用于将所述K个第二基向量融合为对应的第二特征向量；以及
训练单元，用于将所述第一特征向量与所述第二特征向量进行匹配，以训练所述跨模态检索模型。
10.根据权利要求7至9中任一项所述的装置，其中：
所述第二获取模块，还用于将所述第一模态的样本数据输入所述跨模态检索模型的第一模态表示层，以输出所述第一特征表示；
所述第二获取模块，还用于将所述第二模态的样本数据输入所述跨模态检索模型的第二模态表示层，以输出所述第二特征表示；
所述映射模块，还用于将所述第一特征表示输入所述跨模态检索模型的第一模态映射层，以输出所述K个第一向量；以及
所述映射模块，还用于将所述第二特征表示输入所述跨模态检索模型的第二模态映射层，以输出所述K个第二向量。
11.根据权利要求7所述的装置，还包括：
优化模块，用于基于所述K个第一基向量和所述K个第二基向量得到的匹配结果，对所述共享字典中的基向量进行参数优化。
12.一种跨模态检索装置，包括：
第四获取模块，用于获取第一模态的数据和第二模态的数据，其中，所述第一模态的数据为检索数据，所述第二模态的数据为检索库中的被检索数据，所述第一模态不同于所述第二模态；
检索模块，用于利用权利要求7至11中任一项训练得到的跨模态检索模型，执行以下检索操作：
第三获取单元，用于获取所述第一模态的数据的第一特征表示和所述第二模态的数据的第二特征表示；
映射单元，用于将所述第一特征表示映射为K个第一向量，以及将所述第二特征表示映射为K个第二向量；
第四获取单元，用于基于共享字典，获取与所述K个第一向量对应的K个第一基向量，以及获取与所述K个第二向量对应的K个第二基向量；以及
检索单元，用于基于所述K个第一基向量和所述K个第二基向量进行匹配，以得到跨模态检索结果。
13. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110747184.8A CN113360683B (zh) | 2021-06-30 | 2021-06-30 | 训练跨模态检索模型的方法以及跨模态检索方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110747184.8A CN113360683B (zh) | 2021-06-30 | 2021-06-30 | 训练跨模态检索模型的方法以及跨模态检索方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113360683A CN113360683A (zh) | 2021-09-07 |
| CN113360683B true CN113360683B (zh) | 2024-04-19 |
Family
ID=77537946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110747184.8A Active CN113360683B (zh) | 2021-06-30 | 2021-06-30 | 训练跨模态检索模型的方法以及跨模态检索方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113360683B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114417878B (zh) * | 2021-12-29 | 2023-04-18 | 北京百度网讯科技有限公司 | 语义识别方法、装置、电子设备及存储介质 |
| CN114692778B (zh) * | 2022-04-13 | 2023-07-25 | 北京百度网讯科技有限公司 | 用于智能巡检的多模态样本集生成方法、训练方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| CN112613451A (zh) * | 2020-12-29 | 2021-04-06 | 民生科技有限责任公司 | 一种跨模态文本图片检索模型的建模方法 |
| KR20210040326A (ko) * | 2020-03-30 | 2021-04-13 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 크로스 모달 처리 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체 |
| CN112966127A (zh) * | 2021-04-07 | 2021-06-15 | 北方民族大学 | 一种基于多层语义对齐的跨模态检索方法 |
| CN113033622A (zh) * | 2021-03-05 | 2021-06-25 | 北京百度网讯科技有限公司 | 跨模态检索模型的训练方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8429153B2 (en) * | 2010-06-25 | 2013-04-23 | The United States Of America As Represented By The Secretary Of The Army | Method and apparatus for classifying known specimens and media using spectral properties and identifying unknown specimens and media |
-
2021
- 2021-06-30 CN CN202110747184.8A patent/CN113360683B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
| KR20210040326A (ko) * | 2020-03-30 | 2021-04-13 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 크로스 모달 처리 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체 |
| CN112613451A (zh) * | 2020-12-29 | 2021-04-06 | 民生科技有限责任公司 | 一种跨模态文本图片检索模型的建模方法 |
| CN113033622A (zh) * | 2021-03-05 | 2021-06-25 | 北京百度网讯科技有限公司 | 跨模态检索模型的训练方法、装置、设备和存储介质 |
| CN112966127A (zh) * | 2021-04-07 | 2021-06-15 | 北方民族大学 | 一种基于多层语义对齐的跨模态检索方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于表示学习的跨模态检索模型与特征抽取研究综述;李志义;黄子风;许晓绵;;情报学报(04);全文 * |
| 跨模态检索研究综述;欧卫华;刘彬;周永辉;宣瑞晟;;贵州师范大学学报(自然科学版)(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113360683A (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240056B (zh) | 多模态数据联合学习模型训练方法及装置 | |
| CN113313022B (zh) | 文字识别模型的训练方法和识别图像中文字的方法 | |
| CN113033537B (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 | |
| CN113590858B (zh) | 目标对象的生成方法、装置、电子设备以及存储介质 | |
| CN113360683B (zh) | 训练跨模态检索模型的方法以及跨模态检索方法和装置 | |
| WO2021212601A1 (zh) | 一种基于图像的辅助写作方法、装置、介质及设备 | |
| CN112749300B (zh) | 用于视频分类的方法、装置、设备、存储介质和程序产品 | |
| CN113051368B (zh) | 双塔模型训练方法、检索方法、装置及电子设备 | |
| CN111241838B (zh) | 文本实体的语义关系处理方法、装置及设备 | |
| CN114242113B (zh) | 语音检测方法、训练方法、装置和电子设备 | |
| CN115829058B (zh) | 训练样本处理方法、跨模态匹配方法、装置、设备和介质 | |
| WO2023155678A1 (zh) | 用于确定信息的方法和装置 | |
| CN115359383A (zh) | 跨模态特征提取、检索以及模型的训练方法、装置及介质 | |
| JP2023002690A (ja) | セマンティックス認識方法、装置、電子機器及び記憶媒体 | |
| CN117114063A (zh) | 用于训练生成式大语言模型和用于处理图像任务的方法 | |
| CN114861758A (zh) | 多模态数据处理方法、装置、电子设备及可读存储介质 | |
| CN113641829B (zh) | 图神经网络的训练与知识图谱的补全方法、装置 | |
| CN113468857B (zh) | 风格转换模型的训练方法、装置、电子设备以及存储介质 | |
| CN114758649B (zh) | 一种语音识别方法、装置、设备和介质 | |
| CN114970666B (zh) | 一种口语处理方法、装置、电子设备及存储介质 | |
| CN113239215B (zh) | 多媒体资源的分类方法、装置、电子设备及存储介质 | |
| CN113689866B (zh) | 一种语音转换模型的训练方法、装置、电子设备及介质 | |
| CN112559727B (zh) | 用于输出信息的方法、装置、设备、存储介质和程序 | |
| CN112966513B (zh) | 用于实体链接的方法和装置 | |
| CN115292467A (zh) | 信息处理与模型训练方法、装置、设备、介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |