CN116167434B - 一种弱监督视觉语言预训练模型的训练方法和装置 - Google Patents

一种弱监督视觉语言预训练模型的训练方法和装置 Download PDF

Info

Publication number
CN116167434B
CN116167434B CN202310445450.0A CN202310445450A CN116167434B CN 116167434 B CN116167434 B CN 116167434B CN 202310445450 A CN202310445450 A CN 202310445450A CN 116167434 B CN116167434 B CN 116167434B
Authority
CN
China
Prior art keywords
text
picture
data set
image
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310445450.0A
Other languages
English (en)
Other versions
CN116167434A (zh
Inventor
刘洋
陈驰
李鹏
孙茂松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202310445450.0A priority Critical patent/CN116167434B/zh
Publication of CN116167434A publication Critical patent/CN116167434A/zh
Application granted granted Critical
Publication of CN116167434B publication Critical patent/CN116167434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种弱监督视觉语言预训练模型的训练方法和装置，包括：选定若干个对齐的图文对，并将每一个图文对作为一个图文锚点对；基于图片数据集/文本数据集中每一个图片/文本与每一个图片锚点/文本锚点的相似度，确定图片数据集/文本数据集中每一个图片/文本的相对表征；根据图片数据集中每一个图片的相对表征和文本数据集中每一个文本的相对表征，构建伪平行图文数据集；利用伪平行图文数据集训练视觉语言预训练模型。本发明使用相对表征来作为图片和文本的统一表示，在相对表征的基础上构建高质量的伪平行数据，并利用伪平行数据训练的弱监督视觉语言预训练模型，以使模型具有更强跨模态理解能力。

Description

一种弱监督视觉语言预训练模型的训练方法和装置
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种弱监督视觉语言预训练模型的训练方法和装置。
背景技术
视觉语言预训练模型是在大规模图文数据集上预训练的，用于学习图片内容和自然语言文本的联合表征。预训练完成后，微调视觉语言预训练模型，即可迁移到视觉语言理解任务（例如视觉问答、视觉推理、视觉蕴含、跨模态检索等）上。
目前，常采用有监督视觉语言预训练或者弱监督有监督视觉语言预训练方式训练模型。前者对对齐的图文数据对进行学习以获得跨模态理解能力，但是对齐的图文数据对往往需要进行人工标注或数据清洗，数据开销大。后者基于图片局部区域（region）-文本标签（tag）的对齐信息来表示图片和文本，构建的伪平行数据质量不高，训练出的模型的跨模态理解能力较差。
因此，亟需提供一种新的弱监督视觉语言预训练模型的训练方法。
发明内容
为解决上述问题，本发明提供一种弱监督视觉语言预训练模型的训练方法和装置，将图片/文本与选定图片锚点/文本锚点的相似度作为图片/文本的相对表征，以实现不同模态（图片和文本）的统一表示，而后在相对表征的基础上构建高质量的伪平行数据，并利用伪平行数据训练的弱监督视觉语言预训练模型，以使模型具有更强跨模态理解能力。
第一方面，本发明提供一种弱监督视觉语言预训练模型的训练方法，所述方法包括：
选定若干个对齐的图文对，并将每一个所述图文对作为一个图文锚点对；
基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征；
基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征；
根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集；
利用所述伪平行图文数据集训练视觉语言预训练模型。
根据本发明提供的弱监督视觉语言预训练模型的训练方法，所述基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征，包括：
对于所述图片数据集中每一个图片，将所述图片与每一个图片锚点的相似性所构成的相似性矩阵作为所述图片的相对表征；
所述基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征，包括：
对于所述文本数据集中每一个文本，将所述文本与每一个文本锚点的相似性所构成的相似性矩阵作为所述文本的相对表征。
根据本发明提供的弱监督视觉语言预训练模型的训练方法，
所述图片与任一图片锚点的相似度的确定过程，包括：
将所述图片代入视觉预训练模型中，得到第一输出；
将所述任一图片锚点代入所述视觉预训练模型中，得到第二输出；
将所述第一输出与所述第二输出的余弦相似度作为所述图片与所述任一图片锚点的相似度；
所述文本与任一文本锚点的相似度的确定过程，包括：
将所述文本代入文本预训练模型中，得到第三输出；
将所述任一文本锚点代入所述文本预训练模型中，得到第四输出；
将所述第三输出与所述第四输出的余弦相似度作为所述文本与所述任一文本锚点的相似度。
根据本发明提供的弱监督视觉语言预训练模型的训练方法，所述根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集，包括：
对于所述图片数据集中每一个图片，计算所述图片的相对表征与所述文本数据集中每一个文本的相对表征之间的余弦相似度；
查找最大的余弦相似度对应的文本；
将所述图片与所述文本构成的图文对作为所述图片对应的伪平行图文对；
利用所述图片数据集所有图片各自对应的伪平行图文对，生成所述伪平行图文数据集。
根据本发明提供的弱监督视觉语言预训练模型的训练方法，所述根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集，包括：
以所述文本数据集中每一个文本的相对表征为输入，以所述文本数据集中每一个文本为输出，构建文本生成模型；
针对所述图片数据集中每一个图片，将所述图片的相对表征输入至所述文本生成模型中，得到所述文本生成模型输出的文本；
将所述文本与所述图片构成的图文对作为所述图片对应的伪平行图文对；
利用所述图片数据集所有图片各自对应的伪平行图文对生成伪平行图文数据集。
根据本发明提供的弱监督视觉语言预训练模型的训练方法，所述利用所述伪平行图文数据集训练视觉语言预训练模型，包括：
将所述图片数据集中的每一个图片输入至目标检测器中，得到所述图片数据集中的每一个图片的标签词序列；
将所述图片数据集中的每一个图片的标签词序列进行标签词随机遮盖处理，并利用所述图片数据集中的每一个图片及其对应的随机遮盖处理后的标签词序列构建第一数据集；
将所述伪平行图文数据集中每一条伪平行图文对中的文本进行分词随机遮盖处理，得到第二数据集；
将所述伪平行图文数据集中每一条伪平行图文对作为正例，将所述伪平行图文数据集中每一条伪平行图文对中的文本随机替换为其它文本后得到的图文对作为负例，构建第三数据集；
利用所述第一数据集进行被遮盖标签词预测任务，利用所述第二数据集进行被遮盖分词预测任务，利用所述第三数据集进行二分类任务，并以所述被遮盖标签词预测任务的预测损失、所述被遮盖分词预测任务的预测损失和所述二分类任务的分类损失的加权和为损失函数，训练所述视觉语言预训练模型。
根据本发明提供的弱监督视觉语言预训练模型的训练方法，所述被遮盖标签词预测任务的预测损失的表达式为：
Figure SMS_1
；
其中，x为所述图片数据集中的图片，
Figure SMS_2
为所述图片数据集，/>
Figure SMS_3
为标签词序列中被遮盖标签词，/>
Figure SMS_4
为标签词序列中未遮盖标签词，/>
Figure SMS_5
为/>
Figure SMS_6
对应的候选词联合概率分布和真值之间的交叉熵；
所述被遮盖分词预测任务的预测损失的表达式为：
Figure SMS_7
；
其中，
Figure SMS_10
为所述第二数据集中与/>
Figure SMS_12
对应的文本，/>
Figure SMS_14
为所述第二数据集，/>
Figure SMS_9
为/>
Figure SMS_11
中被遮盖分词，/>
Figure SMS_15
为/>
Figure SMS_16
中未遮盖分词，/>
Figure SMS_8
为/>
Figure SMS_13
对应的候选词联合概率分布和真值之间的交叉熵；
所述二分类任务的分类损失的表达式为：
Figure SMS_17
；
其中，
Figure SMS_18
为所述第三数据集，/>
Figure SMS_19
为所述第三数据集中与/>
Figure SMS_20
对应的文本，/>
Figure SMS_21
为标签，其为正例时取值1，为负例时取值0，/>
Figure SMS_22
为/>
Figure SMS_23
对应的概率分布和真值之间的交叉熵。
第二方面，本发明提供一种弱监督视觉语言预训练模型的训练装置，所述装置包括：
锚点选定模块，用于选定若干个对齐的图文对，并将每一个所述图文对作为一个图文锚点对；
图片相对表征表示模块，用于基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征；
文本相对表征表示模块，用于基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征；
伪平行图文数据集构建模块，用于根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集；
训练模块，用于利用所述伪平行图文数据集训练视觉语言预训练模型。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述弱监督视觉语言预训练模型的训练方法。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述弱监督视觉语言预训练模型的训练方法。
本发明提供一种弱监督视觉语言预训练模型的训练方法和装置，包括：选定若干个对齐的图文对，并将每一个图文对作为一个图文锚点对；基于图片数据集/文本数据集中每一个图片/文本与每一个图片锚点/文本锚点的相似度，确定图片数据集/文本数据集中每一个图片/文本的相对表征；根据图片数据集中每一个图片的相对表征和文本数据集中每一个文本的相对表征，构建伪平行图文数据集；利用伪平行图文数据集训练视觉语言预训练模型。本发明使用相对表征来作为图片和文本的统一表示，在相对表征的基础上构建高质量的伪平行数据，并利用伪平行数据训练的弱监督视觉语言预训练模型，以使模型具有更强跨模态理解能力。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的弱监督视觉语言预训练模型的训练方法的流程示意图；
图2是本发明提供的单模态相对表征的示意图；
图3是本发明提供的弱监督视觉语言预训练模型的训练装置的结构示意图；
图4是本发明提供的实现弱监督视觉语言预训练模型的训练方法的电子设备的结构示意图；
附图标记：
410：处理器；420：通信接口；430：存储器；440：通信总线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的弱监督视觉语言预训练模型的训练方法和装置。
第一方面，本发明提供一种弱监督视觉语言预训练模型的训练方法，如图1所示，所述方法包括：
S11、选定若干个对齐的图文对，并将每一个所述图文对作为一个图文锚点对；
S12、基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征；
S13、基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征；
S14、根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集；
S15、利用所述伪平行图文数据集训练视觉语言预训练模型。
可以理解的是，本发明伪平行图文数据集是利用大规模单模态图文数据构建的，其本质是一种弱对齐的图文数据集。使用伪平行图文数据集训练视觉语言预训练模型可以减轻对图文对齐数据的依赖，避免大规模图文对齐数据的数据收集、人工标注和数据清洗所带来的数据开销大的问题。同时，本发明伪平行图文数据集是基于单模态图片、文本的相对表征构建的，而图片/文本的相对表征是基于图片/文本相对于选定的图片锚点/文本锚点的相似度确定的，不存在现有弱监督视觉语言预训练方式中，使用局部信息构建跨模态伪平行数据而导致的存在信息丢失现象，伪平行数据质量不高的问题。
本发明提供一种弱监督视觉语言预训练模型的训练方法，包括：选定若干个对齐的图文对，并将每一个图文对作为一个图文锚点对；基于图片数据集/文本数据集中每一个图片/文本与每一个图片锚点/文本锚点的相似度，确定图片数据集/文本数据集中每一个图片/文本的相对表征；根据图片数据集中每一个图片的相对表征和文本数据集中每一个文本的相对表征，构建伪平行图文数据集；利用伪平行图文数据集训练视觉语言预训练模型。本发明使用相对表征来作为图片和文本的统一表示，在相对表征的基础上构建高质量的伪平行数据，并利用伪平行数据训练的弱监督视觉语言预训练模型，以使模型具有更强跨模态理解能力。
具体的，所述S12中，对于所述图片数据集中每一个图片，将所述图片与每一个图片锚点的相似性所构成的相似性矩阵作为所述图片的相对表征；
优选的，所述图片与任一图片锚点的相似度的确定过程，包括：
将所述图片代入视觉预训练模型中，得到第一输出；
将所述任一图片锚点代入视觉预训练模型中，得到第二输出；
将所述第一输出与所述第二输出的余弦相似度作为所述图片与所述任一图片锚点的相似度。
假设
Figure SMS_26
，/>
Figure SMS_29
为第/>
Figure SMS_32
个图文锚点对，/>
Figure SMS_27
为第/>
Figure SMS_30
个图片锚点，/>
Figure SMS_33
为第/>
Figure SMS_35
个文本锚点，/>
Figure SMS_24
为图文锚点对的总数。那么，对于图片数据集中的一张图片/>
Figure SMS_28
，它的相对表征为：/>
Figure SMS_31
，其中，/>
Figure SMS_34
，
Figure SMS_25
为视觉预训练模型。
这里，视觉预训练模型，是用来学习图片特征的，可以采用现有的AlexNet模型，VGG模型，GoogLeNet模型，ResNet模型和DenseNet模型等。
本发明中图片和文本的相对表征是类似的，也即所述S13中，对于所述文本数据集中每一个文本，将所述文本与每一个文本锚点的相似性所构成的相似性矩阵作为所述文本的相对表征。
优选的，所述文本与任一文本锚点的相似度的确定过程，包括：
将所述文本代入文本预训练模型中，得到第三输出；
将所述任一文本锚点代入文本预训练模型中，得到第四输出；
将所述第三输出与所述第四输出的余弦相似度作为所述文本与所述任一文本锚点的相似度。
相应的，对于文本数据集中的一个文本
Figure SMS_36
，它的相对表征为：
Figure SMS_37
，其中，/>
Figure SMS_38
，
Figure SMS_39
为文本预训练模型。这里，文本预训练模型是用来学习文本特征的，可以采用现有的BERT模型、GPT模型、XLNet模型、RoBERTa模型、ALBERT模型和ELECTRA模型等。
图2是单模态相对表征的示意图，可以与图片模态和文本模态的相对表征相对应。
可以看出，通过单模态（图片/文本）的相对表征以及作为锚点的对齐图文对，实现了不同模态（图片、文本）的统一表示，为后续伪平行图文数据集的建立奠定基础。
具体的，在使用相对表征构建图片、文本统一表示空间的基础上，本发明提出两种伪平行图文数据集构建方法；
具体的，第一种为通过检索方式构建伪平行图文数据集，具体包括：
对于所述图片数据集中每一个图片，计算所述图片的相对表征与所述文本数据集中每一个文本的相对表征之间的余弦相似度；
查找最大的余弦相似度对应的文本；
将所述图片与所述文本构成的图文对作为所述图片对应的伪平行图文对；
利用所述图片数据集所有图片各自对应的伪平行图文对，生成所述伪平行图文数据集。
该方式简单来说是为每张图片选择相对表征距离最小的文本作为伪平行数据，用公式表示为：
Figure SMS_40
；
其中，
Figure SMS_41
为图片数据集中第/>
Figure SMS_42
个图片，/>
Figure SMS_43
为文本数据集，/>
Figure SMS_44
为文本数据集中与/>
Figure SMS_45
余弦相似度最大的文本。
第二种为通过检索方式构建伪平行图文数据集，具体包括：
以所述文本数据集中每一个文本的相对表征为输入，以所述文本数据集中每一个文本为输出，构建文本生成模型；
针对所述图片数据集中每一个图片，将所述图片的相对表征输入至所述文本生成模型中，得到所述文本生成模型输出的文本；
将所述文本与所述图片构成的图文对作为所述图片对应的伪平行图文对；
利用所述图片数据集所有图片各自对应的伪平行图文对生成伪平行图文数据集。
该方式简单来说是通过纯文本语料训练一个输入为相对表征，输出为文本的文本生成模型，因此将任意一张图片的相对表征输入模型，即可得到文本输出，该文本输出即为该图片的伪平行数据。
表1给出了本发明伪平行图文数据集和现有技术的伪平行图文数据集的图文一致性分数对比图。事实证明，本发明伪平行图文数据集的质量优于现有技术。
表1
Figure SMS_46
表1中，CLLPScore是使用CLLP模型计算的图文一致性分数，Retrv(Tag)是指用标签词来检索得到伪平行图文数据集的方法，Retrv(Relrep)是指用相对表征来检索得到伪平行图文数据集的方法，Rel2Cap是指用相对表征来生成伪平行图文数据集的方法。
本发明给出的两种伪平行图文数据集构建方法，均以依赖于图片相对表征以及文本相对表征，而该相对表征是对单模态特征的整体表示，不存在局部信息丢失问题，伪平行图文数据集的数据质量高。
具体的，所述S15，包括：
S15.1：将所述图片数据集中的每一个图片输入至目标检测器中，得到所述图片数据集中的每一个图片的标签词序列；
对图片数据集中一张图片
Figure SMS_47
，通过一个目标检测器获取图片中存在的所有实体，其中第/>
Figure SMS_48
个实体的标签词为/>
Figure SMS_49
，所有实体的总数记为/>
Figure SMS_50
。将图片/>
Figure SMS_51
所有实体的标签词拼接，即得到图片/>
Figure SMS_52
的标签词序列/>
Figure SMS_53
。需要说明的是，实体的标签词是实体的类型描述，例如人、羊、影子等。标签词序列是标签词的有序序列，例如：
Figure SMS_54
。
S15.2：将所述图片数据集中的每一个图片的标签词序列进行标签词随机遮盖处理，并利用所述图片数据集中的每一个图片及其对应的随机遮盖处理后的标签词序列构建第一数据集；
随机遮盖标签词，例如，随机遮盖
Figure SMS_55
中的部分标签词，得到/>
Figure SMS_56
。
S15.3：将所述伪平行图文数据集中每一条伪平行图文对中的文本进行分词随机遮盖处理，得到第二数据集；
随机遮盖分词和随机遮盖标签词是一样的，在此不再赘述。
S15.4：将所述伪平行图文数据集中每一条伪平行图文对作为正例，将所述伪平行图文数据集中每一条伪平行图文对中的文本随机替换为其它文本后得到的图文对作为负例，构建第三数据集；
这里，其它文本为任一与原文本不同的文本，并不局限于伪平行图文数据集中的文本。本发明将所述伪平行图文数据集以及基于所述伪平行图文数据集构建的负例数据集汇总得到第三数据集。
S15.5：利用所述第一数据集进行被遮盖标签词预测任务，利用所述第二数据集进行被遮盖分词预测任务，利用所述第三数据集进行二分类任务，并以所述被遮盖标签词预测任务的预测损失、所述被遮盖分词预测任务的预测损失和所述二分类任务的分类损失的加权和为损失函数，训练所述视觉语言预训练模型。
本发明对视觉语言预训练模型进行多种任务联合训练，这里多种任务包括被遮盖标签词预测任务的预测损失、被遮盖分词预测任务的预测损失和二分类任务。因此，需要对图片数据集和伪平行图文数据集进行预处理，得到适用于被遮盖标签词预测任务的第一数据集、适用于被遮盖分词预测任务的第二数据集以及适用于二分类任务的第三数据集，同时还需要构建被遮盖标签词预测任务的预测损失、被遮盖分词预测任务的预测损失和二分类任务的分类函数。
进一步的，所述被遮盖标签词预测任务的预测损失的表达式为：
Figure SMS_57
；
其中，
Figure SMS_58
为所述图片数据集中的图片，/>
Figure SMS_59
为所述图片数据集，/>
Figure SMS_60
为标签词序列中被遮盖标签词，/>
Figure SMS_61
为标签词序列中未遮盖标签词，/>
Figure SMS_62
为/>
Figure SMS_63
对应的候选词联合概率分布和真值之间的交叉熵；
所述被遮盖分词预测任务的预测损失的表达式为：
Figure SMS_64
；
其中，
Figure SMS_67
为所述第二数据集中与/>
Figure SMS_70
对应的文本，/>
Figure SMS_72
为所述第二数据集，/>
Figure SMS_66
为/>
Figure SMS_68
中被遮盖分词，/>
Figure SMS_71
为/>
Figure SMS_73
中未遮盖分词，/>
Figure SMS_65
为/>
Figure SMS_69
对应的候选词联合概率分布和真值之间的交叉熵；
所述二分类任务的分类损失的表达式为：
Figure SMS_74
；
其中，
Figure SMS_75
为所述第三数据集，/>
Figure SMS_76
为所述第三数据集中与/>
Figure SMS_77
对应的文本，/>
Figure SMS_78
为标签，其为正例时取值1，为负例时取值0，/>
Figure SMS_79
为/>
Figure SMS_80
对应的概率分布和真值之间的交叉熵。
例如：对于被遮盖标签词预测任务而言，随机遮盖
Figure SMS_81
中的部分标签词得到/>
Figure SMS_82
。其中未被遮盖标签词（即people, shirt, …, boot等）为/>
Figure SMS_83
，被遮盖标签词（即所有[MASK]位置）为/>
Figure SMS_84
。利用图像
Figure SMS_85
和未被遮盖标签词进行被遮盖标签词/>
Figure SMS_86
（shirt和shadow）预测。被遮盖分词预测任务的同样的，在此不再赘述。
对于二分类任务而言，所述第三数据集中的伪平行图文对，部分是正例，部分是负例；将任一伪平行图文对，预测其是正例/负例。
本发明可以应用到各种视觉语言下游任务中，例如视觉问答、视觉推理、视觉蕴含、跨模态检索等任务。表2给出了一些现有的弱监督视觉语言预训练模型和本发明视觉语言预训练模型在这四种下游任务上的表现，如表2所示，本发明视觉语言预训练模型的跨模态更为优越。
表2
Figure SMS_87
其中，U-VisualBERT、U-VisualBERTVinVL、-VLA、VLMixre、E2E-UVLP都是现有的弱监督视觉语言预训练模型，RELIT是本发明视觉语言预训练模型，VQA是视觉问答任务，NLV是自然语言视觉推理任务，VE是视觉蕴含任务，Flickr30k是跨模态检索所使用的数据集名称，Test-Dev、Test-P以及(VE)Test都是表征测试集上的准确率的指标，R@1、R@5以及R@10分别表示检索结果中最相关的第1个，前5个和前10个中有没有正确答案。
本发明通过对视觉语言预训练模型进行多种任务训练，进一步帮助视觉语言预训练模型学习不同粒度的跨模态联系，提升视觉语言预训练模型的跨模态理解能力。
第二方面，对本发明提供的弱监督视觉语言预训练模型的训练装置进行描述，下文描述的弱监督视觉语言预训练模型的训练装置与上文描述的弱监督视觉语言预训练模型的训练方法可相互对应参照。图3示例了弱监督视觉语言预训练模型的训练装置的结构示意图，如图3所示，所述装置包括：
锚点选定模块21，用于选定若干个对齐的图文对，并将每一个所述图文对作为一个图文锚点对；
图片相对表征表示模块22，用于基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征；
文本相对表征表示模块23，用于基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征；
伪平行图文数据集构建模块24，用于根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集；
训练模块25，用于利用所述伪平行图文数据集训练视觉语言预训练模型。
本发明提供一种弱监督视觉语言预训练模型的训练装置，包括：选定若干个对齐的图文对，并将每一个图文对作为一个图文锚点对；基于图片数据集/文本数据集中每一个图片/文本与每一个图片锚点/文本锚点的相似度，确定图片数据集/文本数据集中每一个图片/文本的相对表征；根据图片数据集中每一个图片的相对表征和文本数据集中每一个文本的相对表征，构建伪平行图文数据集；利用伪平行图文数据集训练视觉语言预训练模型。本发明使用相对表征来作为图片和文本的统一表示，在相对表征的基础上构建高质量的伪平行数据，并利用伪平行数据训练的弱监督视觉语言预训练模型，以使模型具有更强跨模态理解能力。
在上述各实施例的基础上，作为一个可选的实施例，所述图片相对表征表示模块，具体用于：
对于所述图片数据集中每一个图片，将所述图片与每一个图片锚点的相似性所构成的相似性矩阵作为所述图片的相对表征；
所述文本相对表征表示模块，具体用于：
对于所述文本数据集中每一个文本，将所述文本与每一个文本锚点的相似性所构成的相似性矩阵作为所述文本的相对表征。
在上述各实施例的基础上，作为一个可选的实施例，所述图片与任一图片锚点的相似度的确定过程，包括：
将所述图片代入视觉预训练模型中，得到第一输出；
将所述任一图片锚点代入所述视觉预训练模型中，得到第二输出；
将所述第一输出与所述第二输出的余弦相似度作为所述图片与所述任一图片锚点的相似度；
所述文本与任一文本锚点的相似度的确定过程，包括：
将所述文本代入文本预训练模型中，得到第三输出；
将所述任一文本锚点代入所述文本预训练模型中，得到第四输出；
将所述第三输出与所述第四输出的余弦相似度作为所述文本与所述任一文本锚点的相似度。
在上述各实施例的基础上，作为一个可选的实施例，所述伪平行图文数据集构建模块，包括：
余弦相似度计算单元，用于对于所述图片数据集中每一个图片，计算所述图片的相对表征与所述文本数据集中每一个文本的相对表征之间的余弦相似度；
查找单元，用于查找最大的余弦相似度对应的文本；
第一设定单元，用于将所述图片与所述文本构成的图文对作为所述图片对应的伪平行图文对；
第一生成单元，用于利用所述图片数据集所有图片各自对应的伪平行图文对，生成所述伪平行图文数据集。
在上述各实施例的基础上，作为一个可选的实施例，所述伪平行图文数据集构建模块，或者包括：
文本生成模型构建单元，用于以所述文本数据集中每一个文本的相对表征为输入，以所述文本数据集中每一个文本为输出，构建文本生成模型；
输入单元，用于针对所述图片数据集中每一个图片，将所述图片的相对表征输入至所述文本生成模型中，得到所述文本生成模型输出的文本；
第二设定单元，用于将所述文本与所述图片构成的图文对作为所述图片对应的伪平行图文对；
第二生成单元，用于利用所述图片数据集所有图片各自对应的伪平行图文对生成伪平行图文数据集。
在上述各实施例的基础上，作为一个可选的实施例，，所述训练模块，包括：
标签词序列生成单元，用于将所述图片数据集中的每一个图片输入至目标检测器中，得到所述图片数据集中的每一个图片的标签词序列；
第一数据集构建单元，用于将所述图片数据集中的每一个图片的标签词序列进行标签词随机遮盖处理，并利用所述图片数据集中的每一个图片及其对应的随机遮盖处理后的标签词序列构建第一数据集；
第二数据集构建单元，用于将所述伪平行图文数据集中每一条伪平行图文对中的文本进行分词随机遮盖处理，得到第二数据集；
第三数据集构建单元，用于将所述伪平行图文数据集中每一条伪平行图文对作为正例，将所述伪平行图文数据集中每一条伪平行图文对中的文本随机替换为其它文本后得到的图文对作为负例，构建第三数据集；
训练单元，用于利用所述第一数据集进行被遮盖标签词预测任务，利用所述第二数据集进行被遮盖分词预测任务，利用所述第三数据集进行二分类任务，并以所述被遮盖标签词预测任务的预测损失、所述被遮盖分词预测任务的预测损失和所述二分类任务的分类损失的加权和为损失函数，训练所述视觉语言预训练模型。
在上述各实施例的基础上，作为一个可选的实施例，所述被遮盖标签词预测任务的预测损失的表达式为：
Figure SMS_88
；
其中，
Figure SMS_89
为所述图片数据集中的图片，/>
Figure SMS_90
为所述图片数据集，/>
Figure SMS_91
为标签词序列中被遮盖标签词，/>
Figure SMS_92
为标签词序列中未遮盖标签词，/>
Figure SMS_93
为/>
Figure SMS_94
对应的候选词联合概率分布和真值之间的交叉熵；
所述被遮盖分词预测任务的预测损失的表达式为：
Figure SMS_95
；
其中，
Figure SMS_97
为所述第二数据集中与/>
Figure SMS_100
对应的文本，/>
Figure SMS_102
为所述第二数据集，/>
Figure SMS_98
为/>
Figure SMS_101
中被遮盖分词，/>
Figure SMS_103
为/>
Figure SMS_104
中未遮盖分词，/>
Figure SMS_96
为/>
Figure SMS_99
对应的候选词联合概率分布和真值之间的交叉熵；
所述二分类任务的分类损失的表达式为：
Figure SMS_105
其中，
Figure SMS_106
为所述第三数据集，/>
Figure SMS_107
为所述第三数据集中与/>
Figure SMS_108
对应的文本，/>
Figure SMS_109
为标签，其为正例时取值1，为负例时取值0，/>
Figure SMS_110
为/>
Figure SMS_111
对应的概率分布和真值之间的交叉熵。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行弱监督视觉语言预训练模型的训练方法，该方法包括：选定若干个对齐的图文对，并将每一个所述图文对作为一个图文锚点对；基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征；基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征；根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集；利用所述伪平行图文数据集训练视觉语言预训练模型。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
第四方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的弱监督视觉语言预训练模型的训练方法，该方法包括：选定若干个对齐的图文对，并将每一个所述图文对作为一个图文锚点对；基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征；基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征；根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集；利用所述伪平行图文数据集训练视觉语言预训练模型。
第五方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的弱监督视觉语言预训练模型的训练方法，该方法包括：选定若干个对齐的图文对，并将每一个所述图文对作为一个图文锚点对；基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征；基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征；根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集；利用所述伪平行图文数据集训练视觉语言预训练模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种弱监督视觉语言预训练模型的训练方法，其特征在于，所述方法包括：
选定若干个对齐的图文对，并将每一个所述图文对作为一个图文锚点对；
基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征；
基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征；
根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集；
利用所述伪平行图文数据集训练视觉语言预训练模型；
所述基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征，包括：
对于所述图片数据集中每一个图片，将所述图片与每一个图片锚点的相似度所构成的相似度矩阵作为所述图片的相对表征；
所述基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征，包括：
对于所述文本数据集中每一个文本，将所述文本与每一个文本锚点的相似度所构成的相似度矩阵作为所述文本的相对表征。
2.根据权利要求1所述的弱监督视觉语言预训练模型的训练方法，其特征在于，所述图片与任一图片锚点的相似度的确定过程，包括：
将所述图片代入视觉预训练模型中，得到第一输出；
将所述任一图片锚点代入所述视觉预训练模型中，得到第二输出；
将所述第一输出与所述第二输出的余弦相似度作为所述图片与所述任一图片锚点的相似度；其中，所述视觉预训练模型用于学习图片特征；
所述文本与任一文本锚点的相似度的确定过程，包括：
将所述文本代入文本预训练模型中，得到第三输出；
将所述任一文本锚点代入所述文本预训练模型中，得到第四输出；
将所述第三输出与所述第四输出的余弦相似度作为所述文本与所述任一文本锚点的相似度；其中，所述文本预训练模型用于学习文本特征。
3.根据权利要求1所述的弱监督视觉语言预训练模型的训练方法，其特征在于，所述根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集，包括：
对于所述图片数据集中每一个图片，计算所述图片的相对表征与所述文本数据集中每一个文本的相对表征之间的余弦相似度；
查找最大的余弦相似度对应的文本；
将所述图片与所述文本构成的图文对作为所述图片对应的伪平行图文对；
利用所述图片数据集所有图片各自对应的伪平行图文对，生成所述伪平行图文数据集。
4.根据权利要求1所述的弱监督视觉语言预训练模型的训练方法，其特征在于，所述根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集，包括：
以所述文本数据集中每一个文本的相对表征为输入，以所述文本数据集中每一个文本为输出，构建文本生成模型；
针对所述图片数据集中每一个图片，将所述图片的相对表征输入至所述文本生成模型中，得到所述文本生成模型输出的文本；
将所述文本与所述图片构成的图文对作为所述图片对应的伪平行图文对；
利用所述图片数据集所有图片各自对应的伪平行图文对生成伪平行图文数据集。
5.根据权利要求1~4任一项所述的弱监督视觉语言预训练模型的训练方法，其特征在于，所述利用所述伪平行图文数据集训练视觉语言预训练模型，包括：
将所述图片数据集中的每一个图片输入至目标检测器中，得到所述图片数据集中的每一个图片的标签词序列；
将所述图片数据集中的每一个图片的标签词序列进行标签词随机遮盖处理，并利用所述图片数据集中的每一个图片及其对应的随机遮盖处理后的标签词序列构建第一数据集；
将所述伪平行图文数据集中每一条伪平行图文对中的文本进行分词随机遮盖处理，得到第二数据集；
将所述伪平行图文数据集中每一条伪平行图文对作为正例，将所述伪平行图文数据集中每一条伪平行图文对中的文本随机替换为其它文本后得到的图文对作为负例，构建第三数据集；
利用所述第一数据集进行被遮盖标签词预测任务，利用所述第二数据集进行被遮盖分词预测任务，利用所述第三数据集进行二分类任务，并以所述被遮盖标签词预测任务的预测损失、所述被遮盖分词预测任务的预测损失和所述二分类任务的分类损失的加权和为损失函数，训练所述视觉语言预训练模型。
6.根据权利要求5所述的弱监督视觉语言预训练模型的训练方法，其特征在于，所述被遮盖标签词预测任务的预测损失的表达式为：
Figure QLYQS_1
；
其中，
Figure QLYQS_2
为所述图片数据集中的图片，/>
Figure QLYQS_3
为所述图片数据集，/>
Figure QLYQS_4
为标签词序列中被遮盖标签词，/>
Figure QLYQS_5
为标签词序列中未遮盖标签词，/>
Figure QLYQS_6
为/>
Figure QLYQS_7
对应的候选词联合概率分布和真值之间的交叉熵；
所述被遮盖分词预测任务的预测损失的表达式为：
Figure QLYQS_8
；
其中，
Figure QLYQS_9
为所述第二数据集中与/>
Figure QLYQS_12
对应的文本，/>
Figure QLYQS_13
为所述第二数据集，/>
Figure QLYQS_14
为/>
Figure QLYQS_15
中被遮盖分词，/>
Figure QLYQS_16
为/>
Figure QLYQS_17
中未遮盖分词，/>
Figure QLYQS_10
为/>
Figure QLYQS_11
对应的候选词联合概率分布和真值之间的交叉熵；
所述二分类任务的分类损失的表达式为：
Figure QLYQS_18
；
其中，
Figure QLYQS_19
为所述第三数据集，/>
Figure QLYQS_20
为所述第三数据集中与/>
Figure QLYQS_21
对应的文本，/>
Figure QLYQS_22
为标签，其为正例时取值1，为负例时取值0，/>
Figure QLYQS_23
为/>
Figure QLYQS_24
对应的概率分布和真值之间的交叉熵。
7.一种弱监督视觉语言预训练模型的训练装置，其特征在于，所述装置包括：
锚点选定模块，用于选定若干个对齐的图文对，并将每一个所述图文对作为一个图文锚点对；
图片相对表征表示模块，用于基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征；
文本相对表征表示模块，用于基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征；
伪平行图文数据集构建模块，用于根据所述图片数据集中每一个图片的相对表征和所述文本数据集中每一个文本的相对表征，构建伪平行图文数据集；
训练模块，用于利用所述伪平行图文数据集训练视觉语言预训练模型；
所述基于图片数据集中每一个图片与每一个图片锚点的相似度，确定所述图片数据集中每一个图片的相对表征，包括：
对于所述图片数据集中每一个图片，将所述图片与每一个图片锚点的相似度所构成的相似度矩阵作为所述图片的相对表征；
所述基于文本数据集中每一个文本与每一个文本锚点的相似度，确定所述文本数据集中每一个文本的相对表征，包括：
对于所述文本数据集中每一个文本，将所述文本与每一个文本锚点的相似度所构成的相似度矩阵作为所述文本的相对表征。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述弱监督视觉语言预训练模型的训练方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述弱监督视觉语言预训练模型的训练方法。
CN202310445450.0A 2023-04-24 2023-04-24 一种弱监督视觉语言预训练模型的训练方法和装置 Active CN116167434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310445450.0A CN116167434B (zh) 2023-04-24 2023-04-24 一种弱监督视觉语言预训练模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310445450.0A CN116167434B (zh) 2023-04-24 2023-04-24 一种弱监督视觉语言预训练模型的训练方法和装置

Publications (2)

Publication Number Publication Date
CN116167434A CN116167434A (zh) 2023-05-26
CN116167434B true CN116167434B (zh) 2023-07-04

Family

ID=86420383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310445450.0A Active CN116167434B (zh) 2023-04-24 2023-04-24 一种弱监督视觉语言预训练模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN116167434B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990302A (zh) * 2021-03-11 2021-06-18 北京邮电大学 基于文本生成图像的模型训练方法、设备和图像生成方法
CN113283551A (zh) * 2021-07-22 2021-08-20 智者四海（北京）技术有限公司 多模态预训练模型的训练方法、训练装置及电子设备
CN114297473A (zh) * 2021-11-25 2022-04-08 北京邮电大学 基于多级图文语义对齐模型的新闻事件搜索方法及系统
CN114461836A (zh) * 2022-02-10 2022-05-10 中南大学 一种用于图像-文本的跨模态检索方法
CN115391588A (zh) * 2022-10-31 2022-11-25 阿里巴巴（中国）有限公司 视觉语言预训练模型的微调方法和图文检索方法
CN115687643A (zh) * 2022-10-21 2023-02-03 上海弘玑信息技术有限公司 一种训练多模态信息抽取模型的方法及信息抽取方法
CN115829058A (zh) * 2022-12-23 2023-03-21 北京百度网讯科技有限公司 训练样本处理方法、跨模态匹配方法、装置、设备和介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610904A (zh) * 2020-12-09 2022-06-10 阿里巴巴集团控股有限公司 一种视觉语言训练模型的处理方法、装置及电子设备
US11830622B2 (en) * 2021-06-11 2023-11-28 International Business Machines Corporation Processing multimodal images of tissue for medical evaluation
CN113806552B (zh) * 2021-08-30 2022-06-14 北京百度网讯科技有限公司 信息提取方法、装置、电子设备和存储介质
CN114283430A (zh) * 2021-12-03 2022-04-05 苏州大创科技有限公司 跨模态图文匹配训练方法及装置、存储介质、电子设备
CN114298158A (zh) * 2021-12-06 2022-04-08 湖南工业大学 一种基于图文线性组合的多模态预训练方法
CN115017884B (zh) * 2022-01-20 2024-04-26 昆明理工大学 基于图文多模态门控增强的文本平行句对抽取方法
CN114970721A (zh) * 2022-05-26 2022-08-30 北京有竹居网络技术有限公司 多语言多模态预训练模型的训练方法、装置及电子设备
CN115391578A (zh) * 2022-08-03 2022-11-25 北京乾图科技有限公司 一种跨模态图文检索模型训练方法及系统
CN115526259A (zh) * 2022-09-29 2022-12-27 清华大学 一种多模态预训练模型的训练方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990302A (zh) * 2021-03-11 2021-06-18 北京邮电大学 基于文本生成图像的模型训练方法、设备和图像生成方法
CN113283551A (zh) * 2021-07-22 2021-08-20 智者四海（北京）技术有限公司 多模态预训练模型的训练方法、训练装置及电子设备
CN114297473A (zh) * 2021-11-25 2022-04-08 北京邮电大学 基于多级图文语义对齐模型的新闻事件搜索方法及系统
CN114461836A (zh) * 2022-02-10 2022-05-10 中南大学 一种用于图像-文本的跨模态检索方法
CN115687643A (zh) * 2022-10-21 2023-02-03 上海弘玑信息技术有限公司 一种训练多模态信息抽取模型的方法及信息抽取方法
CN115391588A (zh) * 2022-10-31 2022-11-25 阿里巴巴（中国）有限公司 视觉语言预训练模型的微调方法和图文检索方法
CN115829058A (zh) * 2022-12-23 2023-03-21 北京百度网讯科技有限公司 训练样本处理方法、跨模态匹配方法、装置、设备和介质

Also Published As

Publication number Publication date
CN116167434A (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN111898696B (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
US20210256390A1 (en) Computationally efficient neural network architecture search
US10592607B2 (en) Iterative alternating neural attention for machine reading
US10599983B2 (en) Inferred facts discovered through knowledge graph derived contextual overlays
US9536444B2 (en) Evaluating expert opinions in a question and answer system
JP2023535709A (ja) 言語表現モデルシステム、事前訓練方法、装置、機器及び媒体
CN115080766B (zh) 基于预训练模型的多模态知识图谱表征系统及方法
CN112100332A (zh) 词嵌入表示学习方法及装置、文本召回方法及装置
CN109978139B (zh) 图片自动生成描述的方法、系统、电子装置及存储介质
CN111105013A (zh) 对抗网络架构的优化方法、图像描述生成方法和系统
RU2712101C2 (ru) Предсказание вероятности появления строки с использованием последовательности векторов
US20230008897A1 (en) Information search method and device, electronic device, and storage medium
EP4302234A1 (en) Cross-modal processing for vision and language
CN111611805A (zh) 一种基于图像的辅助写作方法、装置、介质及设备
CN114648032B (zh) 语义理解模型的训练方法、装置和计算机设备
CN113704434A (zh) 知识库问答方法、电子设备及可读存储介质
CN115374259A (zh) 一种问答数据挖掘方法、装置及电子设备
Lhasiw et al. A bidirectional LSTM model for classifying Chatbot messages
CN114385817A (zh) 实体关系的识别方法、设备及可读存储介质
CN117453859A (zh) 一种农业病虫害图文检索方法、系统及电子设备
CN116167434B (zh) 一种弱监督视觉语言预训练模型的训练方法和装置
CN117114063A (zh) 用于训练生成式大语言模型和用于处理图像任务的方法
Bin Application of improved image restoration algorithm and depth generation in English intelligent translation teaching system
CN116756281A (zh) 知识问答方法、装置、设备和介质
CN116561272A (zh) 开放域视觉语言问答方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant