CN116451808B - 一种模型训练的方法、装置、存储介质及电子设备 - Google Patents

一种模型训练的方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN116451808B
CN116451808B CN202310451948.8A CN202310451948A CN116451808B CN 116451808 B CN116451808 B CN 116451808B CN 202310451948 A CN202310451948 A CN 202310451948A CN 116451808 B CN116451808 B CN 116451808B
Authority
CN
China
Prior art keywords
text
image
pair
language
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310451948.8A
Other languages
English (en)
Other versions
CN116451808A (zh
Inventor
俞再亮
魏忠钰
李泽君
李海燕
文君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Zhejiang Lab
Original Assignee
Fudan University
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Zhejiang Lab filed Critical Fudan University
Priority to CN202310451948.8A priority Critical patent/CN116451808B/zh
Publication of CN116451808A publication Critical patent/CN116451808A/zh
Application granted granted Critical
Publication of CN116451808B publication Critical patent/CN116451808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/226—Validation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，获取图文对和翻译文本对，将图文对中的描述文本和翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中，以通过文本特征提取层得到描述文本和两种语言文本的文本特征，并将图文对中的图像输入到视觉语言模型中的图像特征提取层中，以通过图像特征提取层得到图像的图像特征。根据图文对中图像的图像特征与描述文本的文本特征，以及翻译文本对中包含的两种语言文本的文本特征，确定目标损失；根据目标损失，对视觉语言模型进行训练。

Description

一种模型训练的方法、装置、存储介质及电子设备
技术领域
本说明书涉及计算机技术领域，尤其涉及一种模型训练的方法、装置、存储介质及电子设备。
背景技术
随着人工智能的发展，机器学习的应用领域从广度向深度发展，这对模型训练和应用都提出了更高的要求。
一些视觉语言预训练模型可以通过学习大规模的图文数据，为下游任务提供优秀的跨模态表示，但目前大部分视觉语言预训练模型只能识别英文的图片文本对。例如，在执行视觉语言问答任务时，用户将图片或文本输入后，使用英文提问，模型能给出回答，但用户使用其他语言进行提问时，模型不会给出很好的响应。
因此，如何利用图片和文本数据对视觉语言模型进行训练，使模型完成多种语言文本和图片的跨模态交互，则是个亟待解决的问题。
发明内容
本说明书提供一种模型训练的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种模型训练的方法，包括：
获取图文对和翻译文本对，其中，一个图文对中包含有图像和该图像的描述文本，该图像的描述文本用于描述该图像的内容，一个翻译文本对中包含有两种语言文本，所述两种语言文本所描述的文本内容一致，所述图文对中包含的描述文本和所述翻译文本对中其中一种语言文本所采用的语言相同；
将所述图文对中的描述文本和所述翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中，以通过所述文本特征提取层得到所述描述文本和所述两种语言文本的文本特征，并将所述图文对中的图像输入到所述视觉语言模型中的图像特征提取层中，以通过所述图像特征提取层得到所述图像的图像特征；
根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失；
根据所述目标损失，对所述视觉语言模型进行训练。
可选地，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
根据所述图文对中图像的图像特征与描述文本的文本特征之间的偏差，以及所述翻译文本对中包含的两种语言文本的文本特征之间的偏差，确定第一损失；
根据所述第一损失，确定目标损失。
可选地，获取图文对和翻译文本对，具体包括：
获取翻译文本对以及不同的图文对，其中，不同图文对中所包含的图像在内容上不同；
根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
针对任意两个图文对或翻译文本对，确定其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，以及确定一个翻译文本对中一种语言文本的文本特征与另一个翻译文本对中与该语言文本所使用语言不同的语言文本的文本特征之间的偏差，确定第二损失；
根据所述第二损失，确定目标损失。
可选地，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
针对获取到的任意两个图文对，根据其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，确定目标图文对；
根据所述目标图文对中图像的图像特征与所述目标图文对中描述文本的文本特征之间的偏差，确定第三损失；
根据所述第三损失以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，根据所述第三损失以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
针对获取到的任意两个目标图文对，根据其中一个目标图文对中图像的图像特征和另一个目标图文对中描述文本的文本特征之间的偏差，确定第四损失；
根据所述第三损失、所述第四损失，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
获取目标文本；
将所述目标文本中的部分文本进行掩盖，并将掩盖后的目标文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的目标文本的文本特征；
将所述掩盖后的目标文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述目标文本中未掩盖的文本内容预测出被掩盖的文本内容；
根据预测出的被掩盖的文本内容与实际上被掩盖的文本内容之间的偏差，确定第五损失；
根据所述第五损失，所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
将所述图文对中包含的描述文本的部分文本进行掩盖，并掩盖后的描述文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的描述文本的文本特征；
将所述图文对中图像的图像特征以及所述掩盖后的描述文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述图像特征预测出所述描述文本中被掩盖的文本内容；
根据预测出的所述描述文本中被掩盖的文本内容与实际上所述描述文本中被掩盖的文本内容之间的偏差，确定第六损失；
根据所述第六损失和所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
将所述翻译文本对中的与所述描述文本所采用的语言相同的语言文本进行掩盖，并将被掩盖的语言文本和所述翻译文本对中包含的另外一个未掩盖的语言文本输入到所述视觉语言模型中的文本特征提取层中，以分别得到两种不同语言文本的文本特征；
将两种不同语言文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据未掩盖的语言文本的文本特征预测出另一个语言文本被掩盖的文本内容；
根据预测出的所述另一个语言文本被掩盖的文本内容，与实际上该语言文本中被掩盖的文本内容之间的偏差，确定第七损失；
根据所述第七损失和所述图文对中图像的图像特征与描述文本的文本特征，确定目标损失。
本说明书提供了一种模型训练的装置，包括：
获取模块，用于获取图文对和翻译文本对，其中，一个图文对中包含有图像和该图像的描述文本，该图像的描述文本用于描述该图像的内容，一个翻译文本对中包含有两种语言文本，所述两种语言文本所描述的文本内容一致，所述图文对中包含的描述文本和所述翻译文本对中其中一种语言文本所采用的语言相同；
输入模块，用于将所述图文对中的描述文本和所述翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中，以通过所述文本特征提取层得到所述描述文本和所述两种语言文本的文本特征，并将所述图文对中的图像输入到所述视觉语言模型中的图像特征提取层中，以通过所述图像特征提取层得到所述图像的图像特征；
确定模块，用于根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失；
训练模块，用于根据所述目标损失，对所述视觉语言模型进行训练。
可选地，所述确定模块具体用于，根据所述图文对中图像的图像特征与描述文本的文本特征之间的偏差，以及所述翻译文本对中包含的两种语言文本的文本特征之间的偏差，确定第一损失；根据所述第一损失，确定目标损失。
可选地，所述获取模块具体用于，获取翻译文本对以及不同的图文对，其中，不同图文对中所包含的图像在内容上不同；
所述确定模块具体用于，针对任意两个图文对或翻译文本对，确定其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，以及确定一个翻译文本对中一种语言文本的文本特征与另一个翻译文本对中与该语言文本所使用语言不同的语言文本的文本特征之间的偏差，确定第二损失；
根据所述第二损失，确定目标损失。
可选地，所述确定模块具体用于，针对获取到的任意两个图文对，根据其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，确定目标图文对；根据所述目标图文对中图像的图像特征与所述目标图文对中描述文本的文本特征之间的偏差，确定第三损失；根据所述第三损失以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，所述确定模块具体用于，针对获取到的任意两个目标图文对，根据其中一个目标图文对中图像的图像特征和另一个目标图文对中描述文本的文本特征之间的偏差，确定第四损失；根据所述第三损失、所述第四损失，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，所述确定模块具体用于，获取目标文本；将所述目标文本中的部分文本进行掩盖，并将掩盖后的目标文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的目标文本的文本特征；将所述掩盖后的目标文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述目标文本中未掩盖的文本内容预测出被掩盖的文本内容；根据预测出的被掩盖的文本内容与实际上被掩盖的文本内容之间的偏差，确定第五损失；根据所述第五损失，所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，所述确定模块具体用于，将所述图文对中包含的描述文本的部分文本进行掩盖，并掩盖后的描述文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的描述文本的文本特征；将所述图文对中图像的图像特征以及所述掩盖后的描述文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述图像特征预测出所述描述文本中被掩盖的文本内容；根据预测出的所述描述文本中被掩盖的文本内容与实际上所述描述文本中被掩盖的文本内容之间的偏差，确定第六损失；根据所述第六损失和所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，所述确定模块具体用于，将所述翻译文本对中的与所述描述文本所采用的语言相同的语言文本进行掩盖，并将被掩盖的语言文本和所述翻译文本对中包含的另外一个未掩盖的语言文本输入到所述视觉语言模型中的文本特征提取层中，以分别得到两种不同语言文本的文本特征；将两种不同语言文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据未掩盖的语言文本的文本特征预测出另一个语言文本被掩盖的文本内容；根据预测出的所述另一个语言文本被掩盖的文本内容，与实际上该语言文本中被掩盖的文本内容之间的偏差，确定第七损失；根据所述第七损失和所述图文对中图像的图像特征与描述文本的文本特征，确定目标损失。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
本说明书提供的模型训练的方法，获取图文对和翻译文本对，将图文对中的描述文本和翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中，以通过文本特征提取层得到描述文本和两种语言文本的文本特征，并将图文对中的图像输入到视觉语言模型中的图像特征提取层中，以通过图像特征提取层得到图像的图像特征；根据图文对中图像的图像特征与描述文本的文本特征，以及翻译文本对中包含的两种语言文本的文本特征，确定目标损失；根据目标损失，对视觉语言模型进行训练。
从上述方法中可以看出，本申请在对视觉语言模型进行训练时，使用了图文对，图文对中包含有图像和用于描述该图像的内容的描述文本，除此之外，还使用了包含有两种不同语言文本的翻译文本对，翻译文本对中其中一种语言文本所采用的语言与图文对中包含的描述文本所采用的语言相同。这样的话，不仅有利于视觉语言模型基于图文对学习单种语言文本和与之对应的图像之间的跨模态表示，进一步地，基于翻译文本对，本申请将视觉语言模型训练拓展到多种语言文本，有利于模型完成多种语言文本和图像之间的跨模态交互。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种模型训练的方法的流程示意图；
图2A、图2B、图2C为本说明书提供一种视觉语言模型的结构示意图；
图3为本说明书提供的一种模型训练的装置结构的示意图；
图4为本说明书提供的一种对应于图1的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种模型训练的方法的流程示意图，包括以下步骤：
S100：获取图文对和翻译文本对，其中，一个图文对中包含有图像和该图像的描述文本，该图像的描述文本用于描述该图像的内容，一个翻译文本对中包含有两种语言文本，所述两种语言文本所描述的文本内容一致，所述图文对中包含的描述文本和所述翻译文本对中其中一种语言文本所采用的语言相同。
S102：将所述图文对中的描述文本和所述翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中，以通过所述文本特征提取层得到所述描述文本和所述两种语言文本的文本特征，并将所述图文对中的图像输入到所述视觉语言模型中的图像特征提取层中，以通过所述图像特征提取层得到所述图像的图像特征。
本申请的执行主体可以是服务器，也可以是诸如平板电脑，笔记本电脑，台式电脑等电子设备。为了便于说明，下面仅以服务器为执行主体，对本申请提供的模型训练的方法进行说明。
在本说明书中，服务器可以获取图文对和翻译文本对，来视觉语言模型进行训练。其中，一个图文对中包含有图像和用于描述该图像内容的描述文本，一个翻译文本对中包含有两种语言文本，两种语言文本所描述的文本内容一致，图文对中包含的描述文本和翻译文本对中其中一种语言文本所采用的语言相同。
例如，若图文对中包含的描述文本所采用的语言为英文，那么在翻译文本对中包含的两种语言文本中，其中一种语言文本所采用的语言也为英文，另一种语言文本所采用的语言可以是除英文之外的其他语言，如中文、法语等。值得说明的是，翻译文本对中包含的两种语言所描述的文本内容是一致的，只是所采用的语言不相同。
在对视觉语言模型进行训练时，服务器可以获取到图文对： 其中，当i为1时，(I,T)i为一个图文对,I表示图文对中包含的图像，T为描述该图像内容的描述文本，Nm用于表示图文对的大小。
针对获取到的每个图文对中的图像，服务器可以将图像拆分为固定大小的分块，并将各分块输入到预设的视觉语言模型中图像特征提取层中，以得到各分块的特征表征，再将所有分块的特征表示进行拼接，得到该图像的图像特征序列。
具体地，针对图文对中大小为H×W×C的图像I，其中，H用于表示图像的像素行数，W用于表示图像的像素列数，C表示图像RGB通道的通道数量，服务器可以将该图像拆分为等大小的M＝HW/P2个分块，P2为每个分块的大小。
例如，若该图像的大小为224*224*3，服务器可以使用大小为32*32的固定分块，将图像拆分为49个分块，其中每个分块的大小均为32*32*3。
服务器可以该图像拆分后的各分块串行输入到视觉语言模型中，得到各图像分块的特征表示，进一步地，服务器可以将各图像分块的特征表示进行拼接，得到该图像的图像特征序列：{vcls,v1,…,vM}，其中，其中元素vi为第i个图像分块的特征表示，i∈(1，M)，vcls为该图像的全局的图像特征表示。继续沿用上例，若服务器将图像拆分为49个分块，那么服务器可以得到一个长度为50的图像特征序列。
此外，针对获取到的每个图文对中的描述文本，服务器可以通过预设的分词器对描述文本进行分词，得到与描述文本对应的各分词，并将各分词输入到视觉语言模型中的文本特征提取层中，得到各分词的特征表征。进一步地，服务器可以将各分词的特征表示进行拼接，得到描述文本的文本特征序列。
例如，针对图文对中的描述文本li为描述文本所采用的语言i，服务器可以使用预设的分词器对描述文本进行分词，以得到描述文本的文本特征序列其中，/>为第i个分词的特征表示，tcls为描述文本的全局的文本特征表示，tsep表示文本特征序列的结束。
同样地，针对获取到的翻译文本对中的两种语言文本：其中，/>表示第j对翻译文本对,/>表示翻译文本对的数量，此时，T表示翻译文本对中的和图文对中描述文本所采用的语言相同的的一种语言文本，/>表示与T表示内容相同，但所采用的语言不同的另一种语言文本，li为另一种语言文本所采用的语言i，N表示另一种语言文本所采用的语言的数量。
服务器也可以通过分词器对两种语言文本进行分词，得到与两种语言文本对应的各分词，并将各分词输入到视觉语言模型中文本特征提取层，以通过文本特征提取层得到各分词的特征表征，进一步地，可以将各分词的特征表示进行拼接，分别得到两种语言文本的文本特征序列。
当然，上述提到的文本特征序列和图像特征序列，也可以通过视觉语言模型来得到。以图文对中的图像为例，服务器可以将图文对中包含的图像输入到视觉语言模型中，模型可以通过预设的32*32的卷积核按照预设的卷积步长去提取图像的特征，得到图像特征序列。同样地，服务器可以将图文对中的描述文本输入到视觉语言模型中，以通过视觉语言模型中对描述文本进行分词处理，再提取各分词的特征，得到描述文本的文本特征序列。
S104：根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
S106：根据所述目标损失，对所述视觉语言模型进行训练。
基于视觉语言模型，在得到图文对中包含图像的图像特征与描述文本的文本特征，以及翻译文本对中包含的两种语言文本的文本特征后，服务器可以根据图像特征、描述文本的文本特征以及两种语言文本的文本特征，确定目标损失，再根据目标损失，对视觉语言模型进行训练。
在本说明书中，服务器确定目标损失的方法有以下几种。
具体地，根据图文对中图像的图像特征与描述文本的文本特征，服务器可以确定出该图像的图像特征与描述文本的文本特征之间的相似度，根据翻译文本对中包含的两种语言文本的文本特征，服务器可以确定两种语言文本的文本特征之间的相似度。
基于相似度，服务器可以确定图文对中图像的图像特征与描述文本的文本特征之间的偏差，以及翻译文本对中包含的两种语言文本的文本特征之间的偏差。本说明书中，服务器可以采用多种方法确定相似度，比如计算图像特征与描述文本的文本特征之间余弦相似度或者欧式距离等等。
服务器可以根据图文对中图像的图像特征与描述文本的文本特征之间的偏差，以及翻译文本对中包含的两种语言文本的文本特征之间的偏差，确定第一损失，再根据第一损失，确定目标损失。
确定目标损失后，此时，服务器可以以最小化目标损失(即最小化第一损失)为训练目标，对视觉语言模型进行训练。
当然，服务器还可以获取翻译文本对以及不同的图文对(不同图文对中所包含的图像在内容上不同)，针对任意两个图文对或翻译文本对，服务器可以确定其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，以及确定一个翻译文本对中一种语言文本的文本特征与另一个翻译文本对中与该语言文本所使用语言不同的语言文本的文本特征之间的偏差，确定第二损失。
例如，假设服务器获取了三个不同的图文对，三个图文对中包含的图像的图像特征分别为A、B、C，与三个图像分别对应的描述文本的文本特征为A′、B′、C′，服务器可以确定A与B′、A与C′之间的相似度，B与A′、B与C′之间的相似度，以及C与A′、C与B′之间的相似度。根据相似度，服务器可以确定任意两个图文对中，其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差。
同样的，针对任意两个翻译文本对，服务器也可以确定一个翻译文本对中一种语言文本的文本特征与另一个翻译文本对中与该语言文本所使用语言不同的语言文本的文本特征之间的偏差。
根据其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，以及确定一个翻译文本对中一种语言文本的文本特征与另一个翻译文本对中与该语言文本所使用语言不同的语言文本的文本特征之间的偏差，服务器可以确定出第二损失，再根据第二损失，确定目标损失。
确定目标损失后，此时，服务器可以以最大化目标损失(即最大化第二损失)为训练目标，对视觉语言模型进行训练。
从上述内容可以看出，服务器可以根据第一损失或第二损失，对视觉语言模型进行训练。当然，服务器也可以同时确定出第一损失和第二损失，根据第一损失和第二损失，对视觉语言模型进行训练，本说明书不对模型训练的方式进行限制。
若服务器以最小化第一损失且最大化第二损失为训练目标对视觉语言模型进行训练，损失函数如下：
其中，(a,b)为来自Dv,t＝Dv∪Dt的图文对或翻译文本对，E表示期望，服务器可以根据模型训练过程中计算出的图文对或翻译文本对(即(a,b))之间的偏差的平均值来确定损失函数。当(a,b)为图文对时，a为图像，b为描述文本，若有三个图文对，针对每个图文对，A中包含有该图文对作为正样本，且包含有该图文对中的图像其他两个图文对中的描述文本分别形成的两个非匹配图文对，作为负样本。B中包含有该图文对作为正样本，且包含有该图文对中的描述文本其他两个图文对中的图像分别形成的两个非匹配图文对，作为负样本。s(a,b)为计算得到的a和b的之间的相似度，τ为可学习的温度参数。
除此之外，服务器还可以根据其他方式确定目标损失。
具体地，针对获取到的任意两个图文对，服务器可以根据其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，确定目标图文对，根据目标图文对中图像的图像特征与目标图文对中描述文本的文本特征之间的偏差，确定第三损失，根据第三损失以及翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
例如，假设服务器获取到十个不同的图文对，针对每个图文对，若该图文对中的图像特征和另外三个图文对中的描述文本的文本特征的相似度超过预设阈值，或相似度远远大于该图文对中的图像特征与其他六个图文对中描述文本的文本特征之间的相似度，那么服务器可以将该图文对与这三个图文对均作为目标图文对。
那么，服务器可以将目标图文对中包含的图像的图像特征和描述文本的文本特征输入到视觉语言模型中的数据处理层中，以使数据处理层根据每个目标图文对中图像的图像特征与目标图文对中描述文本的文本特征之间的偏差，确定第三损失。
进一步地，针对获取到的任意两个目标图文对，服务器可以将其中一个目标图文对中图像的图像特征和另一个目标图文对中描述文本的文本特征输入到视觉语言模型中的数据处理层中，以使数据处理层根据其中一个目标图文对中图像的图像特征和另一个目标图文对中描述文本的文本特征之间的偏差，确定第四损失。
根据第三损失、第四损失，以及翻译文本对中包含的两种语言文本的文本特征，服务器可以确定目标损失。此时，服务器可以以最小化第三损失、且最大化第四损失，对视觉语言模型进行训练，损失函数为：
其中，PITM为视觉语言模型确定出的相匹配的目标图文对中图像和描述文本相匹配的概率，为目标图文中对包含的图像和描述文本形成的非匹配图文对。
从损失函数可以看出，损失函数的中/>表示的是第三损失，/>表示的则是第四损失，/>为基于第三损失与第四损失确定的。
需要进行说明的是，服务器可以只以最小化第三损失、且最大化第四损失，对视觉语言模型进行训练，也可以结合上述的第一损失和\或第二损失，对模型进行训练，例如，服务器可以以最小化第一损失、最小化第三损失、且最大化第四损失为训练目标进行训练。
值得说明的是，除了获取图文对和翻译文本对，服务器还可以获取目标文本对：Dm，来对视觉语言模型进行训练。其中，目标文本所采用的文本语言可以是任意一种语言。
在对视觉语言模型进行训练时，服务器可以将目标文本中的部分文本进行掩盖。例如，服务器可以根据预设的概率随机掩盖目标文本中的部分文本，若预设的概率为0.15，那么，目标文本中的每个分词都有0.15的概率被掩盖。
服务器可以将掩盖后的目标文本输入到视觉语言模型中的文本特征提取层中，得到掩盖后的目标文本的文本特征，并将掩盖后的目标文本的文本特征输入到视觉语言模型中数据处理层中，以使数据处理层根据目标文本中未掩盖的文本内容预测出被掩盖的文本内容。
服务器可以根据预测出的被掩盖的文本内容与实际上被掩盖的文本内容之间的偏差，确定第五损失。进一步地，服务器可以根据第五损失，图文对中图像的图像特征与描述文本的文本特征，以及翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
此时，服务器可以以最小化目标损失(也就是最小化第五损失)为训练目标，对视觉语言模型进行训练。
另外，针对翻译文本对，服务器可以将翻译文本对中的与描述文本所采用的语言相同的语言文本进行掩盖，并将被掩盖的语言文本和翻译文本对中包含的另外一个未掩盖的语言文本输入到视觉语言模型中的文本特征提取层中，以分别得到两种不同语言文本的文本特征。
进一步地，服务器可以将两种不同语言文本的文本特征输入到视觉语言模型中数据处理层中，以使数据处理层根据未掩盖的语言文本的文本特征预测出另一个语言文本被掩盖的文本内容，并根据预测出的另一个语言文本被掩盖的文本内容，与实际上该语言文本中被掩盖的文本内容之间的偏差，确定第六损失。
服务器可以根据第六损失和图文对中图像的图像特征与描述文本的文本特征，确定目标损失，此时，服务器可以以最小化目标损失(也就是最小化第六损失)为训练目标，对视觉语言模型进行训练。
当然，针对图文对，服务器也可以将图文对中包含的描述文本的部分文本进行掩盖，并掩盖后的描述文本输入到视觉语言模型中的文本特征提取层中，得到掩盖后的描述文本的文本特征。
进一步地，服务器可以将图文对中图像的图像特征以及掩盖后的描述文本的文本特征输入到视觉语言模型中数据处理层中，以使数据处理层根据图像特征预测出描述文本中被掩盖的文本内容。
服务器可以根据预测出的描述文本中被掩盖的文本内容与实际上描述文本中被掩盖的文本内容之间的偏差，确定第七损失，进而根据第七损失和翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
此时，服务器可以以最小化目标损失(也就是最小化第七损失)为训练目标，对视觉语言模型进行训练。
当然，服务器可以单独以最小化第五损失或第六损失，或第七损失为训练目标，对模型进行训练，也可以同时以最小化第五损失、第六损失和第七损失为训练目标，对视觉语言模型进行训练。
若服务器以最小化第五损失、第六损失和第七损失为训练目标，对视觉语言模型进行训练，损失函数如下：
其中，li为输入的文本所采用的语言i，tm为输入的文本特征序列，和/>分别代表着输入文本特征序列(即被掩盖的描述文本、被掩盖的目标文本以及两种被掩盖的语言文本)里被遮盖和没有被遮盖的部分，PMLM代表模型预测的对应遮盖位置原本的词在预设词表内的概率，视觉语言模型会将预设词表内的概率最高的词语作为输出，即预测出的被掩盖的文本内容。
从损失函数中可以看出，损失函数中包含的为第五损失，/>为第六损失，/>为第七损失，损失函数/>是基于第五损失、第六损失和第七损失确定的，服务器可以以最小化/>为训练目标，对模型进行训练。
值得说明的是，在这个基础上，服务器还可以根据上述提到的七种损失，基于七种不同的损失共同来确定目标损失，目标损失的具体公式如下：
/>
服务器可以根据基于七种不同的损失共同来确定目标损失以最小化目标损失为训练目标，对模型进行训练。
图2A、图2B、图2C为本说明书提供一种视觉语言模型的结构示意图。
如图2A所示，以服务器基于第五损失对视觉语言模型进行训练为例，服务器可以将掩盖后的目标文本输入到视觉语言模型中的文本特征提取层中(即自注意力层)，得到掩盖后的目标文本的文本特征，并将掩盖后的目标文本的文本特征输入到视觉语言模型中数据处理层中(即图2A上方的两个前馈层)，以使数据处理层根据目标文本中未掩盖的文本内容预测出被掩盖的文本内容，再可以根据预测出的被掩盖的文本内容与实际上被掩盖的文本内容之间的偏差，确定第五损失，根据第五损失对模型训练。
而对于翻译文本对，如图2B所示，服务器可以先将与描述文本所采用语言相同的语言文本进行掩盖后，再输入到视觉语言模型中的文本特征提取层中(即自注意力层)，可以得到两种不同语言文本的文本特征，再将文本特征输入到视觉语言模型中数据处理层中(即图2B上方的交叉注意力层)，以使数据处理层根据未掩盖的语言文本的文本特征预测出另一个语言文本被掩盖的文本内容，并根据预测出的另一个语言文本被掩盖的文本内容，进而根据模型预测出的文本与真正被掩盖的文本内容之间的偏差(即第六损失)，对模型进行训练。
同样地，针对图文对，如图2C所示，服务器可以将图文对中图像的图像特征以及掩盖后的描述文本的文本特征输入到视觉语言模型中数据处理层中，以使数据处理层根据图像特征预测出描述文本中被掩盖的文本内容，进而根据模型预测出的文本与真正被掩盖的文本内容之间的偏差(即第七损失)，对模型进行训练。
从上述方法中可以看出，本申请在对视觉语言模型进行训练时，使用了图文对，图文对中包含有图像和用于描述该图像的内容的描述文本，除此之外，还使用了包含有两种不同语言文本的翻译文本对，翻译文本对中其中一种语言文本所采用的语言与图文对中包含的描述文本所采用的语言相同。这样的话，不仅有利于视觉语言模型基于图文对学习单种语言文本和与之对应的图像之间的跨模态表示，进一步地，基于翻译文本对，本申请将视觉语言模型训练拓展到多种语言文本，有利于模型完成多种语言文本和图像之间的跨模态交互。
以上为本说明书的一个或多个实施的方法，基于同样的思路，本说明书还提供了相应的模型训练的装置，如图3所示。
图3为本说明书提供的一种的模型训练的装置的示意图，包括：
获取模块300，用于获取图文对和翻译文本对，其中，一个图文对中包含有图像和该图像的描述文本，该图像的描述文本用于描述该图像的内容，一个翻译文本对中包含有两种语言文本，所述两种语言文本所描述的文本内容一致，所述图文对中包含的描述文本和所述翻译文本对中其中一种语言文本所采用的语言相同；
输入模块302，用于将所述图文对中的描述文本和所述翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中，以通过所述文本特征提取层得到所述描述文本和所述两种语言文本的文本特征，并将所述图文对中的图像输入到所述视觉语言模型中的图像特征提取层中，以通过所述图像特征提取层得到所述图像的图像特征；
确定模块304，用于根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失；
训练模块306，用于根据所述目标损失，对所述视觉语言模型进行训练。
可选地，所述确定模块304具体用于，根据所述图文对中图像的图像特征与描述文本的文本特征之间的偏差，以及所述翻译文本对中包含的两种语言文本的文本特征之间的偏差，确定第一损失；根据所述第一损失，确定目标损失。
可选地，所述获取模块300具体用于，获取翻译文本对以及不同的图文对，其中，不同图文对中所包含的图像在内容上不同；
所述确定模块304具体用于，针对任意两个图文对或翻译文本对，确定其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，以及确定一个翻译文本对中一种语言文本的文本特征与另一个翻译文本对中与该语言文本所使用语言不同的语言文本的文本特征之间的偏差，确定第二损失；
根据所述第二损失，确定目标损失。
可选地，所述确定模块304具体用于，针对获取到的任意两个图文对，根据其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，确定目标图文对；根据所述目标图文对中图像的图像特征与所述目标图文对中描述文本的文本特征之间的偏差，确定第三损失；根据所述第三损失以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，所述确定模块304具体用于，针对获取到的任意两个目标图文对，根据其中一个目标图文对中图像的图像特征和另一个目标图文对中描述文本的文本特征之间的偏差，确定第四损失；根据所述第三损失、所述第四损失，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，所述确定模块304具体用于，获取目标文本；将所述目标文本中的部分文本进行掩盖，并将掩盖后的目标文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的目标文本的文本特征；将所述掩盖后的目标文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述目标文本中未掩盖的文本内容预测出被掩盖的文本内容；根据预测出的被掩盖的文本内容与实际上被掩盖的文本内容之间的偏差，确定第五损失；根据所述第五损失，所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，所述确定模块304具体用于，将所述图文对中包含的描述文本的部分文本进行掩盖，并掩盖后的描述文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的描述文本的文本特征；将所述图文对中图像的图像特征以及所述掩盖后的描述文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述图像特征预测出所述描述文本中被掩盖的文本内容；根据预测出的所述描述文本中被掩盖的文本内容与实际上所述描述文本中被掩盖的文本内容之间的偏差，确定第六损失；根据所述第六损失和所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
可选地，所述确定模块304具体用于，将所述翻译文本对中的与所述描述文本所采用的语言相同的语言文本进行掩盖，并将被掩盖的语言文本和所述翻译文本对中包含的另外一个未掩盖的语言文本输入到所述视觉语言模型中的文本特征提取层中，以分别得到两种不同语言文本的文本特征；将两种不同语言文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据未掩盖的语言文本的文本特征预测出另一个语言文本被掩盖的文本内容；根据预测出的所述另一个语言文本被掩盖的文本内容，与实际上该语言文本中被掩盖的文本内容之间的偏差，确定第七损失；根据所述第七损失和所述图文对中图像的图像特征与描述文本的文本特征，确定目标损失。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种模型训练的方法。
本说明书还提供了图4所示的一种对应于图1的电子设备的示意结构图。如图4所示，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的模型训练的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (18)

1.一种模型训练的方法，其特征在于，包括：
获取图文对和翻译文本对，其中，一个图文对中包含有图像和该图像的描述文本，该图像的描述文本用于描述该图像的内容，一个翻译文本对中包含有两种语言文本，所述两种语言文本所描述的文本内容一致，所述图文对中包含的描述文本和所述翻译文本对中其中一种语言文本所采用的语言相同；
将所述图文对中的描述文本和所述翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中，以通过所述文本特征提取层得到所述描述文本和所述两种语言文本的文本特征，并将所述图文对中的图像输入到所述视觉语言模型中的图像特征提取层中，以通过所述图像特征提取层得到所述图像的图像特征；
根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失；
根据所述目标损失，对所述视觉语言模型进行训练；
其中，确定所述目标损失至少包括：针对任意两个图文对或翻译文本对，确定其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，以及确定一个翻译文本对中一种语言文本的文本特征与另一个翻译文本对中与该语言文本所使用语言不同的语言文本的文本特征之间的偏差，确定第二损失，根据所述第二损失确定所述目标损失。
2.如权利要求1所述的方法，其特征在于，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
根据所述图文对中图像的图像特征与描述文本的文本特征之间的偏差，以及所述翻译文本对中包含的两种语言文本的文本特征之间的偏差，确定第一损失；
根据所述第一损失，确定目标损失。
3.如权利要求1所述的方法，其特征在于，获取图文对和翻译文本对，具体包括：
获取翻译文本对以及不同的图文对，其中，不同图文对中所包含的图像在内容上不同。
4.如权利要求1所述的方法，其特征在于，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
针对获取到的任意两个图文对，根据其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，确定目标图文对；
根据所述目标图文对中图像的图像特征与所述目标图文对中描述文本的文本特征之间的偏差，确定第三损失；
根据所述第三损失以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
5.如权利要求4所述的方法，其特征在于，根据所述第三损失以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
针对获取到的任意两个目标图文对，根据其中一个目标图文对中图像的图像特征和另一个目标图文对中描述文本的文本特征之间的偏差，确定第四损失；
根据所述第三损失、所述第四损失，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
6.如权利要求1所述的方法，其特征在于，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
获取目标文本；
将所述目标文本中的部分文本进行掩盖，并将掩盖后的目标文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的目标文本的文本特征；
将所述掩盖后的目标文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述目标文本中未掩盖的文本内容预测出被掩盖的文本内容；
根据预测出的被掩盖的文本内容与实际上被掩盖的文本内容之间的偏差，确定第五损失；
根据所述第五损失，所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
7.如权利要求1所述的方法，其特征在于，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
将所述图文对中包含的描述文本的部分文本进行掩盖，并掩盖后的描述文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的描述文本的文本特征；
将所述图文对中图像的图像特征以及所述掩盖后的描述文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述图像特征预测出所述描述文本中被掩盖的文本内容；
根据预测出的所述描述文本中被掩盖的文本内容与实际上所述描述文本中被掩盖的文本内容之间的偏差，确定第六损失；
根据所述第六损失和所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
8.如权利要求1所述的方法，其特征在于，根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失，具体包括：
将所述翻译文本对中的与所述描述文本所采用的语言相同的语言文本进行掩盖，并将被掩盖的语言文本和所述翻译文本对中包含的另外一个未掩盖的语言文本输入到所述视觉语言模型中的文本特征提取层中，以分别得到两种不同语言文本的文本特征；
将两种不同语言文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据未掩盖的语言文本的文本特征预测出另一个语言文本被掩盖的文本内容；
根据预测出的所述另一个语言文本被掩盖的文本内容，与实际上该语言文本中被掩盖的文本内容之间的偏差，确定第七损失；
根据所述第七损失和所述图文对中图像的图像特征与描述文本的文本特征，确定目标损失。
9.一种模型训练的装置，其特征在于，包括：
获取模块，用于获取图文对和翻译文本对，其中，一个图文对中包含有图像和该图像的描述文本，该图像的描述文本用于描述该图像的内容，一个翻译文本对中包含有两种语言文本，所述两种语言文本所描述的文本内容一致，所述图文对中包含的描述文本和所述翻译文本对中其中一种语言文本所采用的语言相同；
输入模块，用于将所述图文对中的描述文本和所述翻译文本对包含的两种语言文本输入到预设的视觉语言模型中的文本特征提取层中，以通过所述文本特征提取层得到所述描述文本和所述两种语言文本的文本特征，并将所述图文对中的图像输入到所述视觉语言模型中的图像特征提取层中，以通过所述图像特征提取层得到所述图像的图像特征；
确定模块，用于根据所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失；
训练模块，用于根据所述目标损失，对所述视觉语言模型进行训练；其中，确定所述目标损失至少包括：针对任意两个图文对或翻译文本对，确定其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，以及确定一个翻译文本对中一种语言文本的文本特征与另一个翻译文本对中与该语言文本所使用语言不同的语言文本的文本特征之间的偏差，确定第二损失，根据所述第二损失确定所述目标损失。
10.如权利要求9所述的装置，其特征在于，所述确定模块具体用于，根据所述图文对中图像的图像特征与描述文本的文本特征之间的偏差，以及所述翻译文本对中包含的两种语言文本的文本特征之间的偏差，确定第一损失；根据所述第一损失，确定目标损失。
11.如权利要求9所述的装置，其特征在于，所述获取模块具体用于，获取翻译文本对以及不同的图文对，其中，不同图文对中所包含的图像在内容上不同。
12.如权利要求9所述的装置，其特征在于，所述确定模块具体用于，针对获取到的任意两个图文对，根据其中一个图文对中图像的图像特征和另一个图文对中描述文本的文本特征之间的偏差，确定目标图文对；根据所述目标图文对中图像的图像特征与所述目标图文对中描述文本的文本特征之间的偏差，确定第三损失；根据所述第三损失以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
13.如权利要求12所述的装置，其特征在于，所述确定模块具体用于，针对获取到的任意两个目标图文对，根据其中一个目标图文对中图像的图像特征和另一个目标图文对中描述文本的文本特征之间的偏差，确定第四损失；根据所述第三损失、所述第四损失，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
14.如权利要求9所述的装置，其特征在于，所述确定模块具体用于，获取目标文本；将所述目标文本中的部分文本进行掩盖，并将掩盖后的目标文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的目标文本的文本特征；将所述掩盖后的目标文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述目标文本中未掩盖的文本内容预测出被掩盖的文本内容；根据预测出的被掩盖的文本内容与实际上被掩盖的文本内容之间的偏差，确定第五损失；根据所述第五损失，所述图文对中图像的图像特征与描述文本的文本特征，以及所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
15.如权利要求9所述的装置，其特征在于，所述确定模块具体用于，将所述图文对中包含的描述文本的部分文本进行掩盖，并掩盖后的描述文本输入到所述视觉语言模型中的文本特征提取层中，得到所述掩盖后的描述文本的文本特征；将所述图文对中图像的图像特征以及所述掩盖后的描述文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据所述图像特征预测出所述描述文本中被掩盖的文本内容；根据预测出的所述描述文本中被掩盖的文本内容与实际上所述描述文本中被掩盖的文本内容之间的偏差，确定第六损失；根据所述第六损失和所述翻译文本对中包含的两种语言文本的文本特征，确定目标损失。
16.如权利要求9所述的装置，其特征在于，所述确定模块具体用于，将所述翻译文本对中的与所述描述文本所采用的语言相同的语言文本进行掩盖，并将被掩盖的语言文本和所述翻译文本对中包含的另外一个未掩盖的语言文本输入到所述视觉语言模型中的文本特征提取层中，以分别得到两种不同语言文本的文本特征；将两种不同语言文本的文本特征输入到所述视觉语言模型中数据处理层中，以使所述数据处理层根据未掩盖的语言文本的文本特征预测出另一个语言文本被掩盖的文本内容；根据预测出的所述另一个语言文本被掩盖的文本内容，与实际上该语言文本中被掩盖的文本内容之间的偏差，确定第七损失；根据所述第七损失和所述图文对中图像的图像特征与描述文本的文本特征，确定目标损失。
17.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～8任一项所述的方法。
18.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～8任一项所述的方法。
CN202310451948.8A 2023-04-23 2023-04-23 一种模型训练的方法、装置、存储介质及电子设备 Active CN116451808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310451948.8A CN116451808B (zh) 2023-04-23 2023-04-23 一种模型训练的方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310451948.8A CN116451808B (zh) 2023-04-23 2023-04-23 一种模型训练的方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN116451808A CN116451808A (zh) 2023-07-18
CN116451808B true CN116451808B (zh) 2024-02-13

Family

ID=87127290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310451948.8A Active CN116451808B (zh) 2023-04-23 2023-04-23 一种模型训练的方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN116451808B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792113A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言模型获得及任务处理方法、装置、设备及介质
CN114419351A (zh) * 2022-01-28 2022-04-29 深圳市腾讯计算机系统有限公司 图文预训练模型训练、图文预测模型训练方法和装置
CN114626392A (zh) * 2022-01-29 2022-06-14 北京中科凡语科技有限公司 端到端文本图像翻译模型训练方法
CN114970721A (zh) * 2022-05-26 2022-08-30 北京有竹居网络技术有限公司 多语言多模态预训练模型的训练方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792113A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言模型获得及任务处理方法、装置、设备及介质
CN114419351A (zh) * 2022-01-28 2022-04-29 深圳市腾讯计算机系统有限公司 图文预训练模型训练、图文预测模型训练方法和装置
CN114626392A (zh) * 2022-01-29 2022-06-14 北京中科凡语科技有限公司 端到端文本图像翻译模型训练方法
CN114970721A (zh) * 2022-05-26 2022-08-30 北京有竹居网络技术有限公司 多语言多模态预训练模型的训练方法、装置及电子设备

Also Published As

Publication number Publication date
CN116451808A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN108170667B (zh) 词向量处理方法、装置以及设备
CN116227474B (zh) 一种对抗文本的生成方法、装置、存储介质及电子设备
CN116188632A (zh) 一种图像的生成方法、装置、存储介质及电子设备
TWI686713B (zh) 詞向量產生方法、裝置以及設備
CN113221555B (zh) 一种基于多任务模型的关键词识别方法、装置及设备
CN112308113A (zh) 一种基于半监督的目标识别方法、设备及介质
CN116720008B (zh) 一种机器阅读方法、装置、存储介质及电子设备
CN111652286A (zh) 一种基于图嵌入的物体识别方法、设备及介质
CN117332282B (zh) 一种基于知识图谱的事件匹配的方法及装置
CN117197781B (zh) 一种交通标志识别的方法、装置、存储介质及电子设备
CN116451808B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117173002A (zh) 模型训练、图像生成、信息提取方法、装置及电子设备
CN115221523B (zh) 数据处理方法、装置及设备
CN116091895A (zh) 一种面向多任务知识融合的模型训练方法及装置
CN115017915B (zh) 一种模型训练、任务执行的方法及装置
CN117034942B (zh) 一种命名实体识别方法、装置、设备及可读存储介质
CN112115952B (zh) 一种基于全卷积神经网络的图像分类方法、设备及介质
CN115712734B (zh) 一种基于元学习的稀疏知识图谱嵌入方法和装置
CN113221871B (zh) 一种文字识别方法、装置、设备及介质
CN118193797A (zh) 一种业务执行的方法、装置、存储介质及电子设备
CN116501852B (zh) 一种可控对话模型训练方法、装置、存储介质及电子设备
CN117171346A (zh) 一种实体链接方法、装置、存储介质及电子设备
CN116935055B (zh) 一种基于注意力掩码的弱监督语义分割方法及装置
CN113011424A (zh) 一种训练样本的生成方法及生成装置
CN116824580A (zh) 图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant