CN118051828A - 模型训练方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种模型训练方法、装置及存储介质，先获取第一多媒体信息以及与第一多媒体信息对应的信息生成引导模板，再调用多媒体生成模型根据信息生成引导模板对第一多媒体信息进行信息生成得到第二多媒体信息；接着根据第二多媒体信息对第一任务模型进行训练得到第二任务模型，然后对第二任务模型进行模型效果测试，并基于效果测试结果，对第一任务模型进行更新，从而获得模型效果更好和鲁棒性更强的模型。本发明实施例不仅能够降低人工耗时成本，还能够避免出现模型训练有效性不稳定的问题。本发明实施例可应用于与人工智能进行交互的各种应用场景中。

Description

模型训练方法、装置及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种模型训练方法、装置及存储介质。

背景技术

目前，为了提高神经网络模型的使用效果，会针对不同的任务（例如文本分类、情感分析、推荐系统等）对应训练特定的任务模型，使得这些经过训练的任务模型能够在对应的特定任务中具有更好的处理效果和鲁棒性。

在相关技术中，若要提高针对任务模型的训练效果，需要采用大量高质量的训练样本对任务模型进行训练，但大量高质量的训练样本往往需要人工进行收集和标记，从而会增加人工耗时成本。另外，目前针对任务模型的训练都是迭代训练，在模型训练过程中，不论任务模型是否得到优化，都会自动地迭代更新，因此容易存在模型训练有效性不稳定的问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种模型训练方法、装置及存储介质，不仅能够降低人工耗时成本，还能够避免出现模型训练有效性不稳定的问题。

一方面，本发明实施例提供了一种模型训练方法，包括以下步骤：

获取第一多媒体信息以及与所述第一多媒体信息对应的信息生成引导模板，所述信息生成引导模板用于引导生成与所述第一多媒体信息语义相同的第二多媒体信息；

调用多媒体生成模型根据所述信息生成引导模板对所述第一多媒体信息进行信息生成，得到多个所述第二多媒体信息；

根据多个所述第二多媒体信息对第一任务模型进行训练，得到第二任务模型；

对所述第二任务模型进行模型效果测试，得到效果测试结果；

基于所述效果测试结果，对所述第一任务模型进行更新。

另一方面，本发明实施例还提供了一种模型训练装置，包括：

信息获取单元，用于获取第一多媒体信息以及与所述第一多媒体信息对应的信息生成引导模板，所述信息生成引导模板用于引导生成与所述第一多媒体信息语义相同的第二多媒体信息；

信息处理单元，用于调用多媒体生成模型根据所述信息生成引导模板对所述第一多媒体信息进行信息生成，得到多个所述第二多媒体信息；

模型训练单元，用于根据多个所述第二多媒体信息对第一任务模型进行训练，得到第二任务模型；

模型调试单元，用于对所述第二任务模型进行模型效果测试，得到效果测试结果；基于所述效果测试结果，对所述第一任务模型进行更新。

可选地，所述模型调试单元还用于：

获取待测试多媒体信息样本以及与所述待测试多媒体信息样本对应的待验证样本；

调用所述第二任务模型对所述待测试多媒体信息样本进行信息处理，得到处理结果；

根据所述处理结果和所述待验证样本，得到对所述第二任务模型进行模型效果测试的效果测试结果。

可选地，所述待验证样本为所述待测试多媒体信息样本对应的样本标签；所述模型调试单元还用于：

计算所述处理结果和所述样本标签之间的损失值，并将所述损失值与预设损失阈值进行比较，得到第一比较结果；

如果所述第一比较结果是所述损失值小于或等于所述预设损失阈值，根据所述第一比较结果得到所述第二任务模型的模型效果得到优化的效果测试结果；

如果所述第一比较结果是所述损失值大于所述预设损失阈值，根据所述第一比较结果得到所述第二任务模型的模型效果没有得到优化的效果测试结果。

可选地，所述待验证样本为与所述待测试多媒体信息样本语义相同的待验证多媒体信息样本；所述模型调试单元还用于：

计算所述处理结果和所述待验证多媒体信息样本之间的相似度，并将所述相似度与预设相似度阈值进行比较，得到第二比较结果；

如果所述第二比较结果是所述相似度小于所述预设相似度阈值，根据所述第二比较结果得到所述第二任务模型的模型效果没有得到优化的效果测试结果；

如果所述第二比较结果是所述相似度大于或等于所述预设相似度阈值，根据所述第二比较结果得到所述第二任务模型的模型效果得到优化的效果测试结果。

可选地，所述模型调试单元还用于：

如果所述效果测试结果为所述第二任务模型的模型效果得到优化，将所述第一任务模型更新为所述第二任务模型；

或者，如果所述效果测试结果为所述第二任务模型的模型效果没有得到优化，不将所述第一任务模型更新为所述第二任务模型。

可选地，所述信息获取单元还用于：

获取多个初始引导模板，为每个所述初始引导模板生成对应的模板标签；

对于每个所述初始引导模板，根据所述模板标签进行分类，得到每个所述初始引导模板的分类结果；

对于每个所述初始引导模板，如果所述分类结果符合预设要求，将所述初始引导模板作为所述信息生成引导模板。

可选地，所述信息获取单元还用于：

对所述初始引导模板进行基于语义分析的标签生成，得到第一标签；

对所述初始引导模板进行基于关键词的标签生成，得到第二标签；

获取所述第一标签对应的第一置信度和所述第二标签对应的第二置信度；

将所述第一置信度和所述第二置信度中数值更大的一个所对应的标签，确定为所述模板标签。

可选地，所述信息获取单元还用于：

对每个所述模板标签进行向量化，得到每个所述模板标签对应的标签向量；

根据不同所述标签向量之间的相似度，对所有所述模板标签进行聚类，得到多个标签类别；

根据所述初始引导模板对应的所述模板标签所处的所述标签类别，得到所述初始引导模板的分类结果。

可选地，所述信息处理单元还用于：

根据所述信息生成引导模板对所述第一多媒体信息进行信息编码，得到多媒体编码信息和隐层参数；

对所述多媒体编码信息进行自注意力计算以及数据增强，得到第一计算结果；

对所述隐层参数和所述第一计算结果进行信息融合，得到融合结果；

根据所述第一计算结果对所述融合结果进行数据增强，得到第二计算结果；

根据所述第二计算结果得到所述第二多媒体信息。

可选地，所述信息处理单元还用于：

根据所述信息生成引导模板对所述第一多媒体信息进行向量编码，得到第一信息向量；

对所述第一信息向量进行自注意力计算以及数据增强，得到第三计算结果；

对所述第三计算结果进行特征提取，得到第一向量特征；

根据所述第三计算结果对所述第一向量特征进行数据增强，得到多媒体编码信息；

获取得到所述多媒体编码信息时所述多媒体生成模型的隐层参数。

可选地，所述信息处理单元还用于：

将所述隐层参数作为自注意力计算中的查询矩阵和键矩阵，并将所述第一计算结果作为自注意力计算中的值矩阵，进行自注意力计算，得到融合结果。

可选地，所述信息处理单元还用于：

对所述第二计算结果进行特征提取，得到第二向量特征；

对所述第二向量特征进行分类预测，得到所述第二多媒体信息。

另一方面，本发明实施例还提供了一种电子设备，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当至少一个所述程序被至少一个所述处理器执行时实现如前面所述的模型训练方法。

另一方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的计算机程序，所述处理器可执行的计算机程序被处理器执行时用于实现如前面所述的模型训练方法。

另一方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序或计算机指令，所述计算机程序或所述计算机指令存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令，所述处理器执行所述计算机程序或所述计算机指令，使得所述电子设备执行如前面所述的模型训练方法。

本发明实施例提供的技术方案中，在获取到第一多媒体信息以及与第一多媒体信息对应的信息生成引导模板后，调用多媒体生成模型根据信息生成引导模板的用于引导生成与第一多媒体信息语义相同的第二多媒体信息的能力，对第一多媒体信息进行信息生成，得到多个第二多媒体信息，由此可以在第一多媒体信息的基础上，扩充语义相同的多媒体信息，实现对于第一多媒体信息的数据增强。另外，由于第二多媒体信息是通过多媒体生成模型而得到的，因此不需要人工进行收集和标记，从而可以有效降低人工耗时成本。在得到多个第二多媒体信息之后，先根据多个第二多媒体信息对第一任务模型进行训练得到第二任务模型，由于第二多媒体信息是基于对第一多媒体信息的数据增强而得到的，因此可以实现对第一任务模型的少样本学习；然后，对第二任务模型进行模型效果测试得到效果测试结果，并基于效果测试结果对第一任务模型进行更新。由于对第一任务模型的更新需要基于效果测试结果而进行，因此不会出现相关技术中的不论任务模型是否得到优化都会自动地迭代更新的情况，从而可以避免出现模型训练有效性不稳定的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明实施例提供的一种用于执行模型训练方法的系统架构示意图；

图2是本发明实施例提供的另一种用于执行模型训练方法的系统架构示意图；

图3是本发明实施例提供的一种模型训练方法的流程图；

图4是本发明实施例提供的一种构建信息生成引导模板库的示意图；

图5是本发明实施例提供的一种流程化迭代信息生成引导模板库的流程图；

图6是本发明实施例提供的得到第二多媒体信息的流程图；

图7是本发明一个具体例子提供的编码子模型对第一多媒体信息进行编码的示意图；

图8是本发明一个具体例子提供的解码子模型对多媒体编码信息进行解码的示意图；

图9是本发明实施例提供的对第一多媒体信息进行数据增强的示意图；

图10是本发明一个具体例子提供的得到第二多媒体信息的流程示意图；

图11是本发明实施例提供的任务模型训练状态变化的示意图；

图12是本发明实施例提供的基于多媒体生成模型对第一任务模型进行训练的示意图；

图13是本发明实施例提供的获取第二任务模型的效果测试结果的流程图；

图14是本发明一个具体例子提供的对第一任务模型进行训练的流程示意图；

图15是本发明另一个具体例子提供的对第一任务模型进行训练的流程示意图；

图16是本发明一个具体例子提供的模型训练方法的整体流程图；

图17是本发明实施例提供的一种模型训练装置的示意图；

图18是本发明实施例提供的一种电子设备的示意图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1）人工智能（Artificial Intelligence，AI），是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

2）自然语言处理（Nature Language Processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

3）数据增强，是一种通过对原始数据进行变换、扩充或合成等来增加数据量和多样性的技术，旨在改善机器学习模型的泛化能力和性能。

4）鲁棒性，可理解为模型对数据变化的容忍度。假设数据出现了较小偏差或模型内部出现了较小的扰动，但只对模型的输出产生较小的影响并依旧能产生正确的结果，则称该模型是鲁棒的。

5）大模型，是一类在机器学习和人工智能领域中的模型，其特点是拥有大量的参数和复杂的结构。大模型通常由多层神经网络构成，每层神经网络均包含大量的神经元。由于大模型的规模和复杂性相对较大，因此训练和推理这类模型需要的计算资源相对较多。大模型通常能够捕捉到数据中的复杂模式和关系，从而能在各种任务上达到优秀的性能，如图像识别、自然语言处理、语音识别等。

6）任务模型，也被称为小模型，是一类在机器学习和人工智能领域中的模型，其特点是参数数量相对较少，结构相对简单。这类模型通常针对特定的任务进行处理，如文本分类、情感分析、推荐系统等。由于任务模型的规模和复杂性相对较小，因此训练和推理这类模型需要的计算资源相对较少。

7）少样本学习（Few-Shot Learning）：在传统的机器学习和深度学习中，模型的性能通常与训练样本的数量成正比。也就是说，通常需要大量的标注数据来训练模型。然而，在实际中，获取大量标注数据并不总是可行的，因为标注数据可能需要大量的人力、物力和时间。少样本学习试图解决这个问题，使模型能够在只有少量训练样本的情况下也能进行有效的学习。

8）束搜索（Beam Search），是一种启发式图搜索算法，主要用于在图或树中搜索有限数量的最优解。在生成模型中，束搜索被用于减少搜索空间，提高生成效率，它在每一步只保留预测得分最高的前N个结果（N为束宽度），从而有效地缩小了搜索空间，提高了搜索效率。

在相关技术中，若要提高针对任务模型的训练效果，需要采用大量高质量的训练样本对任务模型进行训练，但大量高质量的训练样本往往需要人工进行收集和标记，从而会增加人工耗时成本。另外，目前针对任务模型的训练都是迭代训练，在模型训练过程中，不论任务模型是否得到优化，都会自动地迭代更新。例如，在利用训练样本和训练标签对一个任务模型A进行训练时，当利用任务模型A的输出结果和训练标签之间的误差值对任务模型A的模型参数进行更新之后，任务模型A会变成模型参数经过更新的任务模型B。接着利用下一训练样本和训练标签对任务模型B进行训练，通过任务模型B的输出结果和训练标签之间的误差值对任务模型B的模型参数进行更新，使得任务模型B变成模型参数经过更新的任务模型C，如此迭代，直到达到训练结束的条件。在这个过程中，即使任务模型B的模型效果比任务模型A的模型效果差，都需要在任务模型B的基础上进行下一次的迭代训练。也就是说，该相关技术中的模型训练过程，无法保证每一次的迭代训练都是正向有效的，因此容易存在模型训练有效性不稳定的问题。

为了能够降低人工耗时成本以及避免出现模型训练有效性不稳定的问题，本发明实施例提供了一种模型训练方法、模型训练装置、电子设备、计算机可读存储介质以及计算机程序产品，在获取到第一多媒体信息以及与第一多媒体信息对应的信息生成引导模板后，调用多媒体生成模型根据信息生成引导模板的用于引导生成与第一多媒体信息语义相同的第二多媒体信息的能力，对第一多媒体信息进行信息生成，得到多个第二多媒体信息，由此可以在第一多媒体信息的基础上，扩充语义相同的多媒体信息，实现对于第一多媒体信息的数据增强。另外，由于第二多媒体信息是通过多媒体生成模型而得到的，因此不需要人工进行收集和标记，从而可以有效降低人工耗时成本。在得到多个第二多媒体信息之后，先根据多个第二多媒体信息对第一任务模型进行训练得到第二任务模型，由于第二多媒体信息是基于对第一多媒体信息的数据增强而得到的，因此可以实现对第一任务模型的少样本学习；然后，对第二任务模型进行模型效果测试得到效果测试结果，并基于效果测试结果对第一任务模型进行更新。由于对第一任务模型的更新需要基于效果测试结果而进行，因此不会出现相关技术中的不论任务模型是否得到优化都会自动地迭代更新的情况，从而可以避免出现模型训练有效性不稳定的问题。例如，当效果测试结果表示第二任务模型的模型效果得到优化时，说明第二多媒体信息对第一任务模型起到了正向的训练有效性，能够提高第一任务模型的模型效果和鲁棒性，此时可以将第一任务模型更新为第二任务模型，从而获得模型效果更好和鲁棒性更强的模型。由于可以在第二任务模型的模型效果得到优化的情况下，才将第一任务模型更新为第二任务模型，因此可以使得每次的模型更新都是正向有效的，从而可以有效避免出现模型训练有效性不稳定的问题。

参照图1，图1是本发明实施例提供的一种用于执行模型训练方法的系统架构示意图。该系统架构可以包括用户终端101和服务器102，用户终端101和服务器102可以通过有线或无线通信方式进行直接或间接的连接。其中，用户终端101和服务器102可以为区块链中的节点，本实施例对此并不作具体限定。

服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）以及大数据和人工智能平台等基础云计算服务的云服务器。其中，服务器102可以部署有多媒体生成模型和第一任务模型等，其中，多媒体生成模型是一个大模型，能够根据信息生成引导模板对第一多媒体信息进行信息生成而得到多个与第一多媒体信息语义相同的第二多媒体信息。第一任务模型是一个小模型，能够针对特定的任务进行处理，如文本分类、情感分析、推荐系统等。

用户终端101可以包括但不限于智能手机、平板、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。可选地，第一用户终端101可以安装有多媒体信息生成客户端，通过多媒体信息生成客户端可以访问部署于服务器102的多媒体生成模型，从而利用服务器102中的多媒体生成模型进行多媒体信息的生成。

参照图1所示，在一应用场景中，假设用户终端101是电脑，并且用户终端101安装有多媒体信息生成客户端；服务器102是部署有多媒体生成模型和第一任务模型的云端服务器。在用户利用部署于服务器102的多媒体生成模型所生成的多媒体信息对第一任务模型进行训练的过程中，响应于用户在多媒体信息生成客户端中输入第一多媒体信息以及与第一多媒体信息对应的信息生成引导模板，多媒体信息生成客户端将第一多媒体信息和信息生成引导模板发送给服务器102；响应于接收到第一多媒体信息和信息生成引导模板，服务器102调用多媒体生成模型根据信息生成引导模板对第一多媒体信息进行信息生成，得到多个与第一多媒体信息语义相同的第二多媒体信息。然后，服务器102根据多个第二多媒体信息对服务器102中的第一任务模型进行训练，得到第二任务模型。接着，服务器102对第二任务模型进行模型效果测试，得到效果测试结果，并基于效果测试结果对第一任务模型进行更新。例如，如果效果测试结果表示第二任务模型的模型效果得到优化，服务器102将第一任务模型更新为第二任务模型；如果效果测试结果表示第二任务模型的模型效果没有得到优化，服务器102放弃将第一任务模型更新为第二任务模型，也就是说，服务器102不对第一任务模型进行更新，保持第一任务模型不变。

参照图2，图2是本发明实施例提供的另一种用于执行模型训练方法的系统架构示意图。图2所示的实施例与图1所示的实施例的区别在于，在图1所示的实施例中，属于大模型的多媒体生成模型和属于小模型的第一任务模型，都是部署于服务器102之中。服务器102接收到用户终端101发送的第一多媒体信息之后，调用多媒体生成模型生成多个与第一多媒体信息语义相同的第二多媒体信息，然后自动地利用第二多媒体信息对第一任务模型进行训练。而在图2所示的实施例中，第一任务模型部署于用户终端101，用户终端101利用服务器102中的多媒体生成模型来生成用于对第一任务模型进行训练的第二多媒体信息，然后在用户终端101本地利用第二多媒体信息对第一任务模型进行训练。

参照图2所示，在另一应用场景中，假设用户终端101是电脑，用户终端101安装有多媒体信息生成客户端，并且用户终端101部署有第一任务模型；服务器102是部署有多媒体生成模型的云端服务器。在用户利用部署于服务器102的多媒体生成模型所生成的多媒体信息对第一任务模型进行训练的过程中，响应于用户在多媒体信息生成客户端中输入第一多媒体信息以及与第一多媒体信息对应的信息生成引导模板，多媒体信息生成客户端将第一多媒体信息和信息生成引导模板发送给服务器102；响应于接收到第一多媒体信息和信息生成引导模板，服务器102调用多媒体生成模型根据信息生成引导模板对第一多媒体信息进行信息生成，得到多个与第一多媒体信息语义相同的第二多媒体信息。然后，服务器102将多个第二多媒体信息发送给用户终端101。响应于接收到多个第二多媒体信息，用户终端101根据多个第二多媒体信息对用户终端101中的第一任务模型进行训练，得到第二任务模型。接着，用户终端101对第二任务模型进行模型效果测试，得到效果测试结果，并基于效果测试结果对第一任务模型进行更新。例如，如果效果测试结果表示第二任务模型的模型效果得到优化，用户终端101将第一任务模型更新为第二任务模型；如果效果测试结果表示第二任务模型的模型效果没有得到优化，用户终端101放弃将第一任务模型更新为第二任务模型，也就是说，用户终端101不对第一任务模型进行更新，保持第一任务模型不变。

需要说明的是，在本发明的各个具体实施方式中，当涉及到需要根据用户的属性信息或属性信息集合等与用户的特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本发明实施例需要获取用户的属性信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本发明实施例能够正常运行的必要的用户的相关数据。

图3是本发明实施例提供的一种模型训练方法的流程图，该模型训练方法可以由用户终端或者服务器执行，也可以由用户终端和服务器共同执行，在本发明实施例中，以该方法由用户终端执行为例进行说明。参照图3，该模型训练方法可以包括但不限于步骤310至步骤340。

步骤310：获取第一多媒体信息以及与第一多媒体信息对应的信息生成引导模板，信息生成引导模板用于引导生成与第一多媒体信息语义相同的第二多媒体信息。

在一实施例中，第一多媒体信息是以文本、图像、音频或视频等形式呈现的信息内容，一般情况下，第一多媒体信息至少可以包括文本信息、图像信息、音频信息或视频信息中的至少一种，此处不作具体限定。在一个例子中，第一多媒体信息可以从预先构建的多媒体信息库中获取。在该多媒体信息库中，可以保存有多种类型的第一多媒体信息。

在一实施例中，信息生成引导模板是用于指示进行相同语义的信息生成的引导信息。例如，信息生成引导模板可以是“请对“今天天气很好”这句话进行润色，并保持意思不变”。在该信息生成引导模板中，指示了多媒体生成模型需要对“今天天气很好”这句话进行改写，并且需要改写后的句子保持原来的意思不变。通过根据信息生成引导模板对第一多媒体信息进行文本改写，可以准确地对第一多媒体信息进行数据增强，从而可以得到能够用于对第一任务模型进行训练的多个第二多媒体信息，有利于实现对第一任务模型的少样本学习，提高训练后的第一任务模型（即第二任务模型）的模型效果和鲁棒性。

在一实施例中，在获取信息生成引导模板的过程中，用户终端可以先获取多个初始引导模板，并为每个初始引导模板生成对应的模板标签；然后，对于每个初始引导模板，用户终端根据模板标签进行分类，得到每个初始引导模板的分类结果；接着，对于每个初始引导模板，如果该分类结果满足预设要求，用户终端将该初始引导模板作为信息生成引导模板。

在一实施例中，模板标签是指初始引导模板所能起到的引导作用的标签类型。例如，如果一个初始引导模板能够引导生成相同语义的文本，那么该初始引导模板的模板标签可以是“能够引导生成相同语义的文本”；如果一个初始引导模板能够引导生成相反语义的文本，那么该初始引导模板的模板标签可以是“能够引导生成相反语义的文本”。分类结果是指根据模板标签对多个初始引导模板进行分类之后，每个初始引导模板所属的分类类别。预设要求是指分类结果归属于预设的分类类别。例如，预设要求是分类结果归属于“可以引导生成相似文本”的分类类别，那么当某一个初始引导模板的分类结果是能够引导生成相同语义的文本时，可以认为该初始引导模板的分类结果满足预设要求。在一实施例中，假设有初始引导模板A1、初始引导模板A2、初始引导模板A3和初始引导模板A4，其中初始引导模板A1和初始引导模板A2的模板标签都是“能够引导生成相同语义的文本”，初始引导模板A3和初始引导模板A4的模板标签都是“能够引导生成相反语义的文本”。当需要区分每个初始引导模板是否能够引导生成相似文本时，可以设定“是”和“否”这2个分类类别，其中分类类别“是”表示能够引导生成相同语义的文本，分类类别“否”表示不能引导生成相同语义的文本。那么在根据模板标签对这4个初始引导模板进行分类之后，可以得到初始引导模板A1的分类结果为“是”，初始引导模板A2的分类结果为“是”，初始引导模板A3的分类结果为“否”，初始引导模板A4的分类结果为“否”。在这种情况下，假设预设要求是分类结果归属于“是”的分类类别，那么可以确定初始引导模板A1和初始引导模板A2的分类结果都满足该预设要求，所以可以将初始引导模板A1和初始引导模板A2作为信息生成引导模板。

在一实施例中，可以通过公开数据集以及编辑撰写等数据来源获取多个初始引导模板，这些数据来源能够提供丰富多样的初始引导模板，从而能够提供更加丰富的信息生成引导模板。例如，初始引导模板的一个示例可以是“能否给<目标句子>这句话润色，意思不变。”。在该示例中，初始引导模板指示了一个任务目标，即对给定的目标句子进行润色，要求润色后的句子保留原句的语义。根据这个初始引导模板，模型可以理解任务的要求，并生成相应的修改后的文本。

在一实施例中，在为初始引导模板生成对应的模板标签的过程中，用户终端可以先对初始引导模板进行基于语义分析的标签生成，得到第一标签；并对初始引导模板进行基于关键词的标签生成，得到第二标签；然后获取第一标签对应的第一置信度和第二标签对应的第二置信度；接着将第一置信度和第二置信度中数值更大的一个所对应的标签，确定为模板标签。

在一实施例中，对初始引导模板进行基于语义分析的标签生成，是指利用自然语言处理技术对初始引导模板的文本信息进行深层次的语义理解，然后根据这种语义理解获得初始引导模板的标签。在对初始引导模板进行基于语义分析的标签生成得到第一标签的过程中，可以先对初始引导模板进行文本预处理，例如，对初始引导模板进行词干提取、停用词移除或标点符号去除等预处理，以减少噪音并统一文本格式；然后利用自然语言处理技术，如词向量表示、BERT模型（Bidirectional Encoder Representations fromTransformers，双向编码变换模型）等，对预处理后的初始引导模板进行语义分析，以捕获初始引导模板的语义信息；接着，根据获取到的语义信息为初始引导模板生成对应的第一标签。例如，假设初始引导模板是“请把这句<目标句子>做适当修改，前提是最大程度保留语义。”，那么在对该初始引导模板进行语义分析之后，可以得到“对<目标句子>进行相同语义的改写”的语义信息，基于该语义信息，可以生成初始引导模板的第一标签为“能够引导生成相同语义的文本”。

在一实施例中，对初始引导模板进行基于关键词的标签生成，是指通过识别初始引导模板中的关键词来得到初始引导模板的标签。在对初始引导模板进行基于关键词的标签生成得到第二标签的过程中，可以先对初始引导模板进行关键词提取，例如，可以使用词频统计、词频-逆向文件频率等技术来确定初始引导模板中的多个关键词；接着，基于提取出的多个关键词生成一组标签集合，该标签集合中包括有多个候选标签，并且候选标签与关键词一一对应；然后，将初始引导模板与每个候选标签进行相似度匹配，并将相似度最大的候选标签确定为初始引导模板的第二标签。

在一实施例中，为了提高初始引导模板的标签准确性，在得到第一标签和第二标签之后，还可以获取第一标签对应的第一置信度和第二标签对应的第二置信度，然后比较第一置信度和第二置信度的大小，将数值更大的置信度对应的标签确定为初始引导模板的模版标签。其中，在获取第一标签对应的第一置信度和第二标签对应的第二置信度时，可以调用预训练的第一标签生成模型对初始引导模板进行基于语义分析的标签生成，并调用预训练的第二标签生成模型对初始引导模板进行基于关键词提取的标签生成，此时，第一标签生成模型会输出初始引导模板的第一标签以及第一标签对应的第一置信度，而第二标签生成模型则会输出初始引导模板的第二标签以及第二标签对应的第二置信度，所以可以在第一标签生成模型和第二标签生成模型的输出结果中获取第一标签和第二标签各自的置信度。其中，预训练的第一标签生成模型和第二标签生成模型，均可以由常规的深度神经网络模型或者卷积神经网络模型等构成，对于深度神经网络模型或者卷积神经网络模型的相关模型结构及模型原理，可以参考相关技术中的介绍，此处不做赘述。

在一实施例中，在根据模板标签对初始引导模板进行分类时，用户终端可以先对每个模板标签进行向量化，得到每个模板标签对应的标签向量；然后根据不同标签向量之间的相似度，对所有模板标签进行聚类，得到多个标签类别；接着，根据模板标签所处的标签类别，对模板标签对应的初始引导模板进行分类得到分类结果。该处理过程可以有效提高对初始引导模板进行分类的准确性，从而可以得到更为准确的且满足预设要求的信息生成引导模板。

在一实施例中，在对模板标签进行向量化以得到模板标签对应的标签向量时，用户终端可以先对模版标签进行编码，例如通过简单的整数编码或者独热编码等方式将模版标签映射为一个唯一的标识符或索引，得到模版标签对应的标签编码；然后，对于该标签编码，通过词嵌入模型查询得到对应的标签向量，即得到了模板标签对应的标签向量。该处理过程可以便捷地得到模板标签的标签向量，从而可以提高基于标签向量对初始引导模板进行分类的效率。

在一实施例中，在得到模版标签的标签向量之后，用户终端可以根据不同标签向量之间的相似度对所有模版标签进行聚类。具体地，首先对于每个标签向量，可以使用余弦相似度、欧氏距离或其他相似度度量方法计算其与其他标签向量之间的相似度；然后将所有标签向量的相似度组成一个相似度矩阵，这个相似度矩阵中的每个元素均代表两个标签向量之间的相似度；接着，采用例如层次聚类（Hierarchical Clustering）等的聚类算法，将相似度矩阵作为输入数据进行聚类得到不同的标签类别，并把各个模版标签归类到对应的标签类别中，其中每个标签类别都代表了一组相似的模板标签，这些相似的模板标签在向量空间中彼此更接近。该处理过程可以准确地对模版标签进行聚类，从而有利于得到更为准确的且满足预设要求的信息生成引导模板。

在一实施例中，在根据模板标签对初始引导模板进行分类时，还可以调用文本分类器根据模板标签对初始引导模板进行分类。在一个例子中，文本分类器可以对初始引导模板进行二分类，将初始引导模板分为“是”或“否”这两种类型，其中类型“是”表示初始引导模板能够用于引导生成相同语义的文本，类型“否”表示初始引导模板不能用于引导生成相同语义的文本。文本分类器可以由常规的深度神经网络模型或者卷积神经网络模型等构成，对于深度神经网络模型或者卷积神经网络模型的相关模型结构及模型原理，可以参考相关技术中的介绍，此处不做赘述。

在一实施例中，如图4所示，在通过公开数据集以及编辑撰写等数据来源获取多个初始引导模板之后，可以先对这些初始引导模板进行模板标签的标注，然后将根据符合预设要求的模板标签所对应的初始引导模板构建一个信息生成引导模板库。例如，假设有初始引导模板B1、初始引导模板B2和初始引导模板B3，其中初始引导模板B1和初始引导模板B2的模板标签都是“能够引导生成相同语义的文本”，初始引导模板B3的模板标签是“能够引导生成相反语义的文本”。当需要区分每个初始引导模板是否能够引导生成相同语义的文本时，可以将初始引导模板B1的模板标签标记为“是”，将初始引导模板B2的模板标签标记为“是”，将初始引导模板B3的模板标签标记为“否”。在完成对初始引导模板的模板标签的标记处理后，可以将模板标签标记为“是”的初始引导模板作为信息生成引导模板，然后根据信息生成引导模板构建一个信息生成引导模板库，该信息生成引导模板库存有多个模板标签标记为“是”（即能够引导生成相同语义的文本）的信息生成引导模板。

在一实施例中，保存在信息生成引导模板库中的信息生成引导模板都会带有模版标签，从而可以在后续根据信息生成引导模板对第一多媒体信息进行信息生成时，可以直接从信息生成引导模板库中随机选取信息生成引导模板来对第一多媒体信息进行信息生成，不仅可以提高获取信息生成引导模板的便利性，还可以提高得到的第二多媒体信息的丰富程度，进而有利于利用第二多媒体信息提高模型的泛化能力和鲁棒性。此外，还可以通过对信息生成引导模板库进行迭代扩充，以增加信息生成引导模板的多样性。如图5所示，可以先利用预先得到的信息生成引导模板及其对应的模板标签对文本分类器进行训练，在完成对文本分类器的训练之后，通过采集公开的网络数据、采集公开数据集或者编辑撰写等方式，获取多个初始引导模板，并为每个初始引导模板生成对应的模板标签，例如模板标签可以包括“是”和“否”，其中“是”表示对应的初始引导模板能够用于引导生成相同语义的文本，“否”表示对应的初始引导模板不能用于引导生成相同语义的文本。然后将每个初始引导模板及其对应的模板标签输入到文本分类器进行二分类处理，得到每个初始引导模板的分类结果，例如模板标签“是”所对应的初始引导模板的分类结果是类型“是”，模板标签“否”所对应的初始引导模板的分类结果是类型“否”。接着根据每个初始引导模板的分类结果对每个初始引导模板进行准确性审核，并将审核结果为分类准确的初始引导模板及其对应的模板标签保存到信息生成引导模板库中。此时，可以利用信息生成引导模板库中新的初始引导模板及其对应的模板标签对文本分类器进行迭代训练，提高文本分类器的泛化能力和鲁棒性，然后利用迭代训练后的文本分类器对新获取到的初始引导模板进行二分类处理，以便于实现对信息生成引导模板库的迭代扩充。需要说明的是，在利用迭代扩充后的信息生成引导模板库中的信息生成引导模板对文本分类器进行迭代训练时，文本分类器的分类准确率会进行持续的迭代更新，当文本分类器的分类准确率大于预设阈值时，可以省略对初始引导模板进行准确性审核的步骤，从而可以直接根据文本分类器的分类结果将对应的初始引导模板更新到信息生成引导模板库中。需要说明的是，预设阈值的取值可以根据实际应用情况而进行适当的选择，此处不作具体限定，例如，预设阈值的取值可以是0.8或者0.9等。

步骤320：调用多媒体生成模型根据信息生成引导模板对第一多媒体信息进行信息生成，得到多个第二多媒体信息。

在一实施例中，多媒体生成模型是一个大模型，可以用于执行自然语言处理任务、计算机视觉任务和推荐系统任务等多种不同的任务。其中，自然语言处理任务可以包括文本分类、情感分析、命名实体识别、文本生成和机器翻译等任务，例如，当多媒体生成模型执行自然语言处理任务时，通过输入一段文本或关键词，多媒体生成模型能够自动生成与输入相关的连贯、合理的文本内容；或者，通过多媒体生成模型能够将电子邮件分类为垃圾邮件或正常邮件，或对社交媒体上的评论进行情感分析；或者，通过多媒体生成模型能够识别文本中的命名实体，如人名、地名、组织机构等，从而提取出有用的信息。

在一实施例中，在获取到信息生成引导模板和第一多媒体信息后，可以先对信息生成引导模板和第一多媒体信息进行预处理，以构造多媒体生成模型的输入数据，然后再将该输入数据输入到多媒体生成模型，以使多媒体生成模型能够根据输入数据进行信息生成，得到多个第二多媒体信息。由于信息生成引导模板能够用于引导多媒体生成模型生成与第一多媒体信息语义相同的多媒体信息，因此多媒体生成模型所输出的多个第二多媒体信息，都是与第一多媒体信息语义相同的。

在一实施例中，信息生成引导模板中可以包括指令内容和待处理内容，其中待处理内容是等待被处理的内容，指令内容是用于指示对待处理内容进行处理的引导性描述内容。例如，对于“请把这句<目标句子>做适当修改，前提是最大程度保留语义。”这一信息生成引导模板，其中的“<目标句子>”是待处理内容，“请把这句······做适当修改，前提是最大程度保留语义。”是指令内容，该指令内容用于引导对“<目标句子>”进行相同语义的改写。由于信息生成引导模板中可以包括指令内容和待处理内容，因此在对信息生成引导模板和第一多媒体信息进行预处理时，可以将第一多媒体信息替换信息生成引导模板中的待处理内容。例如，信息生成引导模板是“请把这句<目标句子>做适当修改，前提是最大程度保留语义。”，第一多媒体信息是文本“实事求是”，那么在将该信息生成引导模板和该第一多媒体信息进行预处理时，可以把“实事求是”替换“请把这句<目标句子>做适当修改，前提是最大程度保留语义。”中的“<目标句子>”，从而得到“请把‘实事求是’做适当修改，前提是最大程度保留语义。”的输入数据。

参见图6，在一实施例中，多媒体生成模型在根据信息生成引导模板对第一多媒体信息进行信息生成以得到第二多媒体信息的过程中，可以包括但不限于步骤610至步骤650。

步骤610：根据信息生成引导模板对第一多媒体信息进行信息编码，得到多媒体编码信息和隐层参数。

在一实施例中，多媒体生成模型在接收到由信息生成引导模板和第一多媒体信息构成的输入数据后，可以对该输入数据进行信息编码得到多媒体编码信息和隐层参数。其中，隐层参数是指多媒体生成模型中的隐藏层的权重和偏置项，用于表征输入数据的语义和特征。多媒体生成模型中包含有输入层、输出层和多个隐藏层，其中输入层用于接收输入数据，输出层用于产生预测结果，而隐藏层则位于输入层和输出层之间，负责处理和学习数据的特征。所以，多媒体生成模型在对输入数据进行信息编码得到多媒体编码信息后，可以获取得到多媒体编码信息时的多媒体生成模型中的隐藏层的隐层参数。例如，多媒体生成模型可以包括有编码子模型和解码子模型，其中编码子模型用于根据信息生成引导模板对第一多媒体信息进行信息编码，解码子模型用于根据对第一多媒体信息的信息编码结果生成第二多媒体信息。那么多媒体生成模型根据信息生成引导模板对第一多媒体信息进行信息编码，是指多媒体生成模型中的编码子模型根据信息生成引导模板对第一多媒体信息进行信息编码。在编码子模型根据信息生成引导模板对第一多媒体信息进行信息编码得到多媒体编码信息后，通过获取编码子模型在输出多媒体编码信息时编码子模型中的隐藏层的权重和偏置项，即可得到隐层参数。在一例子中，编码子模型和解码子模型均可以具有多层。前一层编码子模型的输出会作为后一层编码子模型的输入，最后一层编码子模型的输出是整个编码子模型的输出。前一层解码子模型的输出会作为后一层解码子模型的输入，最后一层解码子模型的输出是整个解码子模型的输出。其中，编码子模型和解码子模型所具有的层数，均可以根据实际应用情况而进行适当的选择，此处不作具体限定。例如，编码子模型和解码子模型均可以具有6层。

在一实施例中，在根据信息生成引导模板对第一多媒体信息进行信息编码得到多媒体编码信息和隐层参数的过程中，可以先根据信息生成引导模板对第一多媒体信息进行向量编码，得到第一信息向量；并对第一信息向量进行自注意力计算以及数据增强，得到第三计算结果；再对第三计算结果进行特征提取，得到第一向量特征；然后根据第三计算结果对第一向量特征进行数据增强，得到多媒体编码信息；接着获取得到多媒体编码信息时多媒体生成模型的隐层参数。其中，在多媒体生成模型包括编码子模型和解码子模型的情况下，获取得到多媒体编码信息时多媒体生成模型的隐层参数，是指获取编码子模型在输出多媒体编码信息时编码子模型中的隐藏层的隐层参数。

在一实施例中，根据信息生成引导模板对第一多媒体信息进行向量编码得到第一信息向量，不仅可以将第一多媒体信息的关键特征提取出来，还可以降低第一多媒体信息的维度，有助于减少数据处理的复杂度。由于多媒体生成模型接收到的数据是由信息生成引导模板和第一多媒体信息构成的输入数据，因此多媒体生成模型在根据信息生成引导模板对第一多媒体信息进行向量编码时，可以先对输入数据进行整体性的语义分析，得到输入数据中的信息生成引导模板所表示的处理意图（例如对第一多媒体信息进行相同语义的改写），然后根据该处理意图对输入数据中的第一多媒体信息进行向量编码。

在一实施例中，在得到第一信息向量后，可以利用自注意力机制计算公式对第一信息向量进行自注意力计算，得到一个自注意力特征表示，其中自注意力机制计算公式可以如下公式（1）所示：

（1）

在公式（1）中，Q是指第一信息向量，是一个查询矩阵；K是指第一信息向量对应的键矩阵；V是指第一信息向量对应的值矩阵；是键矩阵的维度；/>是指对键矩阵K进行转置；其中，K=Q，V=Q。因此，在得到第一信息向量之后，可以将第一信息向量作为查询矩阵Q，并根据查询矩阵Q得到对应的键矩阵K和值矩阵V，然后将查询矩阵Q、键矩阵K和值矩阵V输入至公式（1）中进行自注意力计算。在公式（1）中，会先计算查询矩阵Q和键矩阵K之间的相似度，然后经过softmax函数得到权重分布，接着将权重分布作用于值矩阵V上，从而得到自注意力特征表示。

在一实施例中，在对第一信息向量进行自注意力计算得到自注意力特征表示后，可以利用该自注意力特征表示对第一信息向量进行数据增强，得到第三计算结果。其中，在利用自注意力特征表示对第一信息向量进行数据增强时，可以先将自注意力特征表示和第一信息向量进行加和操作，得到加和结果，然后对加和结果进行归一化处理，得到第三计算结果。其中加和操作是指将自注意力特征表示和第一信息向量进行相加的操作。通过对自注意力特征表示和第一信息向量进行加和操作以及归一化处理，可以达到利用自注意力特征表示对第一信息向量进行数据增强的目的，以便于提高获得多媒体编码信息的准确性。

在一实施例中，在得到第三计算结果之后，可以对第三计算结果进行特征提取得到第一向量特征，然后根据第三计算结果对第一向量特征进行数据增强，得到多媒体编码信息。其中，通过对第三计算结果进行特征提取而得到的第一向量特征，能够更好地捕捉第一多媒体信息的各种特征和抽象表示，从而能够使多媒体生成模型可以更好地理解第一多媒体信息的语义并在后续处理中取得更好的性能。另外，在根据第三计算结果对第一向量特征进行数据增强时，可以先将第三计算结果和第一向量特征进行加和操作，得到加和结果，然后对加和结果进行归一化处理，得到多媒体编码信息。其中，多媒体编码信息是第一多媒体信息经过一系列的数据处理后得到的中间表示，该中间表示包含了对第一多媒体信息的转换和编码信息，能够用来捕捉第一多媒体信息的语义信息和特征信息，从而可以帮助多媒体生成模型更好地理解和处理第一多媒体信息。

步骤620：对多媒体编码信息进行自注意力计算以及数据增强，得到第一计算结果。

在一实施例中，在对多媒体编码信息进行自注意力计算以及数据增强时，可以先使用前面所描述的自注意力机制计算公式（即公式（1））来对多媒体编码信息进行自注意力计算，得到多媒体编码信息的自注意力特征表示，然后利用多媒体编码信息的自注意力特征表示对多媒体编码信息进行数据增强，得到第一计算结果。其中，在利用多媒体编码信息的自注意力特征表示对多媒体编码信息进行数据增强时，可以先将多媒体编码信息的自注意力特征表示和多媒体编码信息进行加和操作，得到加和结果，然后对加和结果进行归一化处理，得到第一计算结果。通过对多媒体编码信息的自注意力特征表示和多媒体编码信息进行加和操作以及归一化处理，可以达到利用多媒体编码信息的自注意力特征表示对多媒体编码信息进行数据增强的目的，以便于提高获得第二多媒体信息的准确性。

需要说明的是，在使用前面所描述的公式（1）来对多媒体编码信息进行自注意力计算时，公式（1）中的查询矩阵Q、键矩阵K和值矩阵V都是多媒体编码信息，也就是说，将多媒体编码信息作为查询矩阵Q、键矩阵K和值矩阵V输入至公式（1）中进行自注意力计算。

步骤630：对隐层参数和第一计算结果进行信息融合，得到融合结果。

在一实施例中，在对隐层参数和第一计算结果进行信息融合时，可以利用自注意力机制实现隐层参数和第一计算结果之间的信息融合。具体地，可以使用前面所描述的自注意力机制计算公式（即公式（1））来对隐层参数和第一计算结果进行自注意力计算，以实现对隐层参数和第一计算结果的信息融合。其中，在使用前面所描述的公式（1）来对隐层参数和第一计算结果进行自注意力计算时，公式（1）中的查询矩阵Q和键矩阵K都是隐层参数，而值矩阵V则是第一计算结果，也就是说，将隐层参数作为查询矩阵Q和键矩阵K，并将第一计算结果作为值矩阵V，输入至公式（1）中进行自注意力计算得到融合结果，以实现对隐层参数和第一计算结果的信息融合。

步骤640：根据第一计算结果对融合结果进行数据增强，得到第二计算结果。

在一实施例中，在根据第一计算结果对融合结果进行数据增强时，可以先将第一计算结果和融合结果进行加和操作，得到加和结果，然后对加和结果进行归一化处理，得到第二计算结果。通过对第一计算结果和融合结果进行加和操作以及归一化处理，可以达到利用第一计算结果对融合结果进行数据增强的目的，以便于提高获得第二多媒体信息的准确性。

步骤650：根据第二计算结果得到第二多媒体信息。

在一实施例中，由于第一多媒体信息至少可以包括文本信息、图像信息、音频信息或视频信息中的至少一种，而第二多媒体信息与第一多媒体信息语义相同，因此第二多媒体信息的信息类型与第一多媒体信息的信息类型相同，所以第二多媒体信息也至少可以包括文本信息、图像信息、音频信息或视频信息中的至少一种。

在一实施例中，为了能够得到更符合信息生成引导模板所引导生成的第二多媒体信息，可以先对第二计算结果进行特征提取得到第二向量特征，然后对第二向量特征进行分类预测，得到第二多媒体信息。其中，第二向量特征能够更好地捕捉多媒体编码信息的各种特征和抽象表示，从而能够使多媒体生成模型可以更好地理解多媒体编码信息的语义，进而可以更加准确地对多媒体编码信息进行解码以得到第二多媒体信息。

在一实施例中，多媒体生成模型可以包括有编码子模型和解码子模型。在多媒体生成模型包括编码子模型和解码子模型的情况下，前面所描述的步骤610可以在编码子模型中执行，而前面所描述的步骤620至步骤650都可以在解码子模型中执行。其中，解码子模型中可以包括有前馈网络层和softmax分类器。前馈网络层可以用于对第二计算结果进行特征提取以得到第二向量特征，softmax分类器可以用于对第二向量特征进行分类预测以得到第二多媒体信息。其中，前馈网络层可以有多个网络层，前一网络层的输出作为后一网络层的输入，每个网络层可以有多个节点，每个节点都可以执行线性变换操作和非线性激活操作，通过前馈网络层中每个节点所执行的线性变换操作和非线性激活操作，可以准确地实现对第二计算结果的特征提取。softmax分类器能够使用softmax函数作为激活函数来将输入数据映射到输出类别的概率分布。在softmax分类器中，输入数据会先通过一个线性变换，将每个输入特征与相应的权重进行相乘并求和，再加上一个偏差项。这个线性变换能够将输入数据映射到一个向量空间中，使得不同类别的样本在该向量空间中具有一定的分离度。然后，经过线性变换的结果会被输入到softmax函数中，得到每个类别的概率值，其中所有类别的概率值之和为1，且每个类别的概率值均在0到1之间。所以，softmax函数所输出的概率分布可以用于表示样本属于每个类别的可能性。接着，根据softmax函数所输出的概率分布，选择概率值最大的类别作为最终的预测结果。也就是说，通过softmax分类器的处理，可以对第二向量特征进行准确的分类预测，得到包括多个概率值最高的单词以及每个单词所对应的概率值，进而可以根据这些单词所构成的输出序列而得到准确的第二多媒体信息。

参见图7所示，图7是一个具体例子提供的编码子模型对第一多媒体信息进行编码的流程示意图。在图7中，在根据信息生成引导模板对第一多媒体信息进行向量编码得到第一信息向量之后，可以将第一信息向量进行自注意力计算，得到自注意力特征表示，然后将该自注意力特征表示和第一信息向量进行加和操作以及归一化处理，得到第三计算结果，接着对第三计算结果进行特征提取得到第一向量特征，然后将第一向量特征和第三计算结果进行加和操作以及归一化处理，得到多媒体编码信息。另外，通过获取编码子模型在输出多媒体编码信息时编码子模型中的隐藏层的权重和偏置项，可以得到隐层参数。

参见图8所示，图8是一个具体例子提供的解码子模型对多媒体编码信息进行解码的流程示意图。在图8中，在得到多媒体编码信息之后，可以将多媒体编码信息进行自注意力计算得到多媒体编码信息的自注意力特征表示，然后对多媒体编码信息和多媒体编码信息的自注意力特征进行加和操作以及归一化处理，得到第一计算结果，接着将第一计算结果和隐层参数进行自注意力计算得到融合结果，然后将第一计算结果和融合结果进行加和操作以及归一化处理得到第二计算结果，接着再将第二计算结果输入到解码子模型的前馈网络层进行特征提取得到第二向量特征，然后将第二向量特征输入到解码子模型的softmax分类器对第二向量特征进行分类预测，得到第二多媒体信息。

在一实施例中，softmax分类器对第二向量特征进行分类预测的过程，可以通过如下公式（2）实现：

（2）

在公式（2）中，表示第/>类别对应的权重，/>表示第c类别对应的权重，C为词表大小，/>为第二向量特征，/>是指在对第二计算结果进行特征提取所得到的第二向量特征为/>的条件下，softmax分类器预测输出结果为/>的概率大小。因此，在对第二计算结果进行特征提取得到第二向量特征之后，可以将第二向量特征输入到公式（2）中进行预测计算，得到每个单词位置的多个候选单词以及每个候选单词所对应的概率值，从而可以根据每个候选单词所对应的概率值确定每个单词位置的最优单词，进而可以根据确定的每个单词位置的最优单词得到第二多媒体信息。其中，在根据每个候选单词所对应的概率值确定每个单词位置的最优单词的过程中，对于每个单词位置，可以将概率值最大的多个候选单词确定为该单词位置的最优单词。

在一实施例中，如图9所示，通过将第一多媒体信息输入到多媒体生成模型进行信息生成，可以得到多个与第一多媒体信息语义相同的第二多媒体信息，从而可以在第一多媒体信息的基础上，扩充语义相同的多媒体信息，实现对于第一多媒体信息的数据增强。

下面以一个具体例子对得到多个第二多媒体信息的过程进行说明。

参见图10所示，在构造多媒体生成模型的输入数据时，可以从信息生成引导模板库中随机选取一个信息生成引导模板，例如选取的信息生成引导模板为“请把这句<目标句子>做适当修改，前提是最大程度保留语义。”；并从多媒体信息库中选取一个第一多媒体信息，例如选取的第一多媒体信息为“实事求是”，该第一多媒体信息的情感标签是“中立”。在将信息生成引导模板和第一多媒体信息进行预处理后，可以得到文本“请把这句‘实事求是’做适当修改，前提是最大程度保留语义。”，然后将该文本分别输入到多媒体生成模型M1、多媒体生成模型M2、多媒体生成模型M3和多媒体生成模型M4，使得这四个多媒体生成模型根据信息生成引导模板对第一多媒体信息进行信息生成，得到与第一多媒体信息语义相同的多个第二多媒体信息。需要说明的是，此处举例的四个多媒体生成模型仅是针对本实施例，具体不对多媒体生成模型的个数作限制。在经过四个多媒体生成模型对第一多媒体信息进行的信息生成之后，可以得到第二多媒体信息C1：“追寻事实真相”、第二多媒体信息C2：“以事实为依据”、第二多媒体信息C3：“真实面对事实”以及第二多媒体信息C4：“以实为准，求真务实”，然后再为第二多媒体信息C1、第二多媒体信息C2、第二多媒体信息C3和第二多媒体信息C4分别添加第一多媒体信息的情感标签，可以得到第二多媒体信息D1为：“追寻事实真相”，情感标签：中立；第二多媒体信息D2为：“以事实为依据”，情感标签：中立；第二多媒体信息D3为：“真实面对事实”，情感标签：中立；第二多媒体信息D4为：“以实为准，求真务实”，情感标签：中立。此时，可以将第二多媒体信息D1、第二多媒体信息D2、第二多媒体信息D3和第二多媒体信息D4入库至多媒体信息库中，以扩充多媒体信息库中的多媒体信息。

步骤330：根据多个第二多媒体信息对第一任务模型进行训练，得到第二任务模型。

在一实施例中，第一任务模型是一个小模型，能够针对特定的任务进行处理，如文本分类、情感分析、推荐系统等。

在一实施例中，在根据多个第二多媒体信息对第一任务模型进行训练之前，可以先使用第一多媒体信息对第一任务模型进行预训练，使得第一任务模型具备基本的任务处理能力，例如具备基本的文本分类能力、情感分析能力、信息推荐能力等。以第一任务模型是用于进行情感分析的任务模型为例，第一多媒体信息可以为带有情感标签（如正面情感、负面情感、中性情感）的文本数据集，例如包括评论、社交媒体帖子等。可以先使用该第一多媒体信息对第一任务模型进行预训练，并在对第一任务模型进行预训练的过程中，根据第一任务模型的输出结果和第一多媒体信息所带有的情感标签计算得到误差值，然后根据该误差值对第一任务模型的模型参数进行调整，直到预训练后的第一任务模型能够用于进行基本的情感分析处理。

在一实施例中，如图11所示，在对第一任务模型进行预训练使得第一任务模型具备基本的任务处理能力之后，由于第二多媒体信息是基于信息生成引导模板对第一多媒体信息进行数据增强而得到的，并且第二多媒体信息的语义与第一多媒体信息的语义相同，所以在利用多个第二多媒体信息对第一任务模型进行训练（即微调训练）之后，可以得到模型效果和鲁棒性都更优的第二任务模型。也就是说，第一任务模型会先经过训练阶段，然后在调整阶段根据多个第二多媒体信息对第一任务模型进行微调训练，以得到模型效果和鲁棒性都更优的第二任务模型。

在一实施例中，如图12所示，可以先将第一多媒体信息作为第一训练集对第一任务模型进行预训练，得到具备基本的任务处理能力第一任务模型；然后调用多媒体生成模型对第一训练集进行数据增强，得到第二训练集（即多个第二多媒体信息构成的训练集），其中，第一训练集和第二训练集的语义相同；接着根据第二训练集对第一任务模型进行微调训练，以便提高第一任务模型的模型效果和鲁棒性。

在一实施例中，在根据多个第二多媒体信息对第一任务模型进行训练时，还可以先将多个第二多媒体信息和第一多媒体信息合并在一起作为一个多媒体信息集，然后根据该多媒体信息集对第一任务模型进行微调训练，以得到泛化能力以及鲁棒性都更优的第二任务模型。

步骤340：对第二任务模型进行模型效果测试得到效果测试结果，基于效果测试结果，对第一任务模型进行更新。

在一实施例中，在根据多个第二多媒体信息对第一任务模型进行训练得到第二任务模型之后，可以对第二任务模型进行模型效果测试，并基于效果测试结果对第一任务模型进行更新。

在一实施例中，在基于效果测试结果对第一任务模型进行更新时，如果效果测试结果表示为第二任务模型的模型效果得到优化，可以将第一任务模型更新为第二任务模型；如果效果测试结果表示为第二任务模型的模型效果没有得到优化，则不将第一任务模型更新为第二任务模型。也就是说，可以基于效果测试结果判断第二任务模型的模型效果是否得到优化，并在确定第二任务模型的模型效果得到优化的情况下，才将第一任务模型更新为第二任务模型，从而可以保证对第一任务模型的更新都是正向有效的，进而避免在对第一任务模型进行训练的过程中出现模型训练有效性不稳定的问题。另外，由于第二任务模型的模型效果得到了优化，说明当前的多个第二多媒体信息能够对第一任务模型起到正向的训练有效性，即当前的多个第二多媒体信息可以作为高质量的模型训练样本，因此可以将当前的多个第二多媒体信息保存至多媒体信息库中，以便于可以将这些第二多媒体信息作为其他相同类型的任务模型的训练样本。

在一实施例中，在对第二任务模型进行模型效果测试之后，如果效果测试结果表示第二任务模型的模型效果没有得到优化，说明当前的多个第二多媒体信息并没有对第一任务模型起到正向的训练有效性，即当前的多个第二多媒体信息并非是高质量的模型训练样本，因此可以放弃第二任务模型，不将第一任务模型更新为第二任务模型，并且不将当前的多个第二多媒体信息加入到多媒体信息库。在这种情况下，当采用下一批第二多媒体信息进行模型训练时，是将下一批第二多媒体信息对第一任务模型进行训练，并非是将下一批第二多媒体信息对第二任务模型进行训练，因此可以保证每次进行模型训练时进行的模型更新都是正向有效的，从而可以避免出现模型训练有效性不稳定的问题。

下面介绍对第二任务模型进行模型效果测试得到效果测试结果的过程。参照图13所示，在对第二任务模型进行模型效果测试以得到效果测试结果的过程中，可以包括以下步骤1310至步骤1330。

步骤1310：获取待测试多媒体信息样本以及与待测试多媒体信息样本对应的待验证样本。

在一实施例中，待测试多媒体信息样本是指在测试第二任务模型的模型性能时所使用的样本数据。这些样本数据是没有用于对第一任务模型进行训练的数据，因此可以用于评估第二任务模型在新数据上的表现。

在一实施例中，与待测试多媒体信息样本对应的待验证样本，可以是待测试多媒体信息样本对应的样本标签，也可以是与待测试多媒体信息样本语义相同的待验证多媒体信息样本，可以根据对第二任务模型进行的模型效果测试方式的不同而进行适当的选择，此处不作限制。

在一实施例中，待测试多媒体信息样本可以是文本、图像、语音等不同形式的数据，具体取决于第二任务模型的任务类型。同样地，与待测试多媒体信息样本语义相同的待验证多媒体信息样本，也可以是文本、图像、语音等不同形式的数据。

步骤1320：调用第二任务模型对待测试多媒体信息样本进行信息处理，得到处理结果。

在一实施例中，第二任务模型对待测试多媒体信息样本进行信息处理而得到的处理结果，会根据第二任务模型的任务类型的不同而有所不同。例如，如果第二任务模型是用于进行文本分类的模型，那么该处理结果是对待测试多媒体信息样本进行分类之后得到的分类结果；如果第二任务模型是用于进行情感分析的模型，那么该处理结果是对待测试多媒体信息样本进行情感分析之后得到的情感分析结果；如果第二任务模型是用于进行信息推荐的模型，那么该处理结果是基于待测试多媒体信息样本进行信息搜索之后得到的信息推荐结果。

步骤1330：根据处理结果和待验证样本，得到对第二任务模型进行模型效果测试的效果测试结果。

在一实施例中，当待验证样本是待测试多媒体信息样本对应的样本标签时，在根据处理结果和待验证样本得到对第二任务模型进行模型效果测试的效果测试结果的过程中，可以先计算处理结果和样本标签之间的损失值，然后将损失值与预设损失阈值进行比较得到第一比较结果，如果第一比较结果是损失值小于或等于预设损失阈值，可以根据第一比较结果得到第二任务模型的模型效果得到优化的效果测试结果；如果第一比较结果是损失值大于预设损失阈值，则可以根据第一比较结果得到第二任务模型的模型效果没有得到优化的效果测试结果。需要说明的是，预设损失阈值的取值可以根据实际应用情况而进行适当的选择，此处不作具体限定，例如，预设损失阈值的取值可以设置为0.3或者0.5。以预设损失阈值的取值为0.3为例，假设处理结果和样本标签之间的损失值为0.2，0.2小于0.3，说明处理结果和样本标签之间的损失程度很小，因此可以确定第二任务模型的模型效果得到了优化。假设处理结果和样本标签之间的损失值为0.6，0.6大于0.3，说明处理结果和样本标签之间的损失程度很大，因此可以确定第二任务模型的模型效果没有得到优化。

在一实施例中，当待验证样本是与待测试多媒体信息样本语义相同的待验证多媒体信息样本时，在根据处理结果和待验证样本得到对第二任务模型进行模型效果测试的效果测试结果的过程中，可以先计算处理结果和待验证多媒体信息样本之间的相似度，并将相似度与预设相似度阈值进行比较，得到第二比较结果，如果第二比较结果是相似度小于预设相似度阈值，可以根据第二比较结果得到第二任务模型的模型效果没有得到优化的效果测试结果；如果第二比较结果是相似度大于或等于预设相似度阈值，则可以根据第二比较结果得到第二任务模型的模型效果得到优化的效果测试结果。需要说明的是，预设相似度阈值的取值可以根据具体应用和需求来确定，此处不作具体限定，例如，预设相似度阈值的取值可以是0.8或者0.9。以预设相似度阈值的取值为0.9为例，假设处理结果和待验证多媒体信息样本之间的相似度为0.7，0.7小于0.9，说明处理结果和待验证多媒体信息样本之间并不是很相似，因此可以确定第二任务模型的模型效果没有得到优化。假设处理结果和待验证多媒体信息样本之间的相似度为0.95，0.95大于0.9，说明处理结果和待验证多媒体信息样本之间比较相似，因此可以确定第二任务模型的模型效果得到了优化。

通过上述步骤310至步骤340的模型训练方法，在获取到第一多媒体信息以及与第一多媒体信息对应的信息生成引导模板后，调用多媒体生成模型根据信息生成引导模板的用于引导生成与第一多媒体信息语义相同的第二多媒体信息的能力，对第一多媒体信息进行信息生成，得到多个第二多媒体信息，由此可以在第一多媒体信息的基础上，扩充语义相同的多媒体信息，实现对于第一多媒体信息的数据增强。另外，由于第二多媒体信息是通过多媒体生成模型而得到的，因此不需要人工进行收集和标记，从而可以有效降低人工耗时成本。在得到多个第二多媒体信息之后，先根据多个第二多媒体信息对第一任务模型进行训练得到第二任务模型，由于第二多媒体信息是基于对第一多媒体信息的数据增强而得到的，因此可以实现对第一任务模型的少样本学习；然后，对第二任务模型进行模型效果测试得到效果测试结果，如果效果测试结果表示第二任务模型的模型效果得到优化，说明第二多媒体信息对第一任务模型起到了正向的训练有效性，能够提高第一任务模型的模型效果和鲁棒性，因此可以将第一任务模型更新为第二任务模型，从而获得模型效果更好和鲁棒性更强的模型。此外，由于只有在第二任务模型的模型效果得到优化的情况下，才会将第一任务模型更新为第二任务模型，因此可以使得每次的模型更新都是正向有效的，从而可以避免出现模型训练有效性不稳定的问题。

下面以一个具体例子对训练第一任务模型的具体过程进行说明。

参照图14所示，图14示例性地给出了在如图10所示的处理流程的基础上，对第一任务模型进行训练的过程。在执行如图10所示的处理流程之后，可以得到多个第二多媒体信息，此时，当用户在利用多个第二多媒体信息对第一任务模型进行训练（即微调训练）时，可以将多个第二多媒体信息构成一个样本集合，然后将该样本集合和多媒体信息库中预存的第一多媒体信息作为第一任务模型的训练样本，并将该训练样本输入到第一任务模型，以使对第一任务模型进行微调训练，得到第二任务模型。在得到第二任务模型之后，可以利用测试数据集（即待测试多媒体信息样本）和验证数据集（即与待测试多媒体信息样本对应的待验证样本）对第二任务模型进行模型效果测试。在利用待测试多媒体信息样本和待验证样本对第二任务模型进行模型效果测试的过程中，可以先将待测试多媒体信息样本输入到第二任务模型进行信息处理，得到第一处理结果，然后根据处理结果和待验证样本得到对第二任务模型进行模型效果测试的效果测试结果。在一例子中，以待验证样本为待测试多媒体信息样本对应的样本标签为例进行说明，在根据处理结果和待验证样本得到对第二任务模型进行模型效果测试的效果测试结果的过程中，可以先计算第一处理结果和待验证样本之间的损失值，并将损失值与预设损失阈值进行比较。当损失值小于或等于预设损失阈值时，表示第二任务模型的模型效果得到了优化，说明第二多媒体信息能够对第一任务模型起到正向的训练有效性，能够增强第一任务模型的模型效果和鲁棒性，此时，可以将这批第二多媒体信息保存至多媒体信息库之中，并将第一任务模型更新为第二任务模型。当损失值大于预设损失阈值时，则表示第二任务模型的模型效果没有得到优化，说明第二多媒体信息未能对第一任务模型起到正向的训练有效性，未能增强第一任务模型的模型效果和鲁棒性，此时，可以放弃这批第二多媒体信息，即不将这批第二多媒体信息保存至多媒体信息库之中，并且保持第一任务模型不更新。

此外，对第一任务模型进行训练的过程，还可以参照如图15所示的训练流程。图15示例性地给出了在如图10所示的处理流程的基础上，对第一任务模型进行训练的过程。图15所示的训练流程与图14所示的训练流程之间的区别在于：在图15所示的训练流程中，在执行如图10所示的处理流程而得到多个第二多媒体信息之后，只使用这些第二多媒体信息作为第一任务模型的训练样本以对第一任务模型进行微调训练。而在图14所示的训练流程中，则是在执行如图10所示的处理流程得到多个第二多媒体信息之后，将这些第二多媒体信息和多媒体信息库中预存的第一多媒体信息一起作为第一任务模型的训练样本以对第一任务模型进行微调训练。图15中所示的对第一任务模型进行微调训练的过程以及判断是否将第一任务模型更新为第二任务模型的过程，均与图14中所示的过程相同，这些过程的具体内容可参考图14所对应的内容描述，此处不再赘述。

参照图16所示，图16是一个具体例子提供的模型训练方法的整体流程图，该模型训练方法可以由用户终端或者服务器执行，也可以由用户终端和服务器共同执行，在本发明实施例中，以该方法由用户终端执行为例进行说明。在图16中，该模型训练方法可以包括但不限于步骤1601至步骤1616。

步骤1601：获取第一多媒体信息和多个初始引导模板，对所有初始引导模板进行基于语义分析的标签生成，得到第一标签，并对所有初始引导模板进行基于关键词的标签生成，得到第二标签。

步骤1602：获取第一标签对应的第一置信度和第二标签对应的第二置信度，将第一置信度和第二置信度中数值更大的一个所对应的标签，确定为初始引导模板的模板标签。

步骤1603：对每个模板标签进行向量化得到每个模板标签对应的标签向量，根据不同标签向量之间的相似度，对所有模板标签进行聚类，得到多个标签类别。

步骤1604：根据初始引导模板的模板标签所处的标签类别，得到初始引导模板的分类结果，对于每个初始引导模板，如果分类结果符合预设要求，将初始引导模板作为信息生成引导模板。

步骤1605：根据信息生成引导模板对第一多媒体信息进行向量编码，得到第一信息向量。

步骤1606：对第一信息向量进行自注意力计算以及数据增强得到第三计算结果，并对第三计算结果进行特征提取，得到第一向量特征。

步骤1607：根据第三计算结果对第一向量特征进行数据增强，得到多媒体编码信息，并获取得到多媒体编码信息时多媒体生成模型的隐层参数。

步骤1608：对多媒体编码信息进行自注意力计算以及数据增强，得到第一计算结果。

步骤1609：将隐层参数作为自注意力计算中的查询矩阵和键矩阵，并将第一计算结果作为自注意力计算中的值矩阵，进行自注意力计算，得到融合结果。

步骤1610：根据第一计算结果对融合结果进行数据增强，得到第二计算结果，并对第二计算结果进行特征提取，得到第二向量特征。

步骤1611：对第二向量特征进行分类预测，得到第二多媒体信息。

步骤1612：根据多个第二多媒体信息对第一任务模型进行训练，得到第二任务模型。

步骤1613：获取待测试多媒体信息样本以及与待测试多媒体信息样本对应的待验证样本。

步骤1614：调用第二任务模型对待测试多媒体信息样本进行信息处理，得到处理结果。

步骤1615：当待验证样本为待测试多媒体信息样本对应的样本标签，计算处理结果和样本标签之间的损失值，并将损失值与预设损失阈值进行比较，得到第一比较结果；如果第一比较结果是损失值小于或等于预设损失阈值，根据第一比较结果得到第二任务模型的模型效果得到优化的效果测试结果；如果第一比较结果是损失值大于预设损失阈值，根据第一比较结果得到第二任务模型的模型效果没有得到优化的效果测试结果。

步骤1616：基于效果测试结果，对第一任务模型进行更新。

通过上述步骤1601至步骤1616的模型训练方法，在获取到第一多媒体信息以及与第一多媒体信息对应的信息生成引导模板后，调用多媒体生成模型根据信息生成引导模板的用于引导生成与第一多媒体信息语义相同的第二多媒体信息的能力，对第一多媒体信息进行信息生成，得到多个第二多媒体信息，由此可以在第一多媒体信息的基础上，扩充语义相同的多媒体信息，实现对于第一多媒体信息的数据增强。另外，由于第二多媒体信息是通过多媒体生成模型而得到的，因此不需要人工进行收集和标记，从而可以有效降低人工耗时成本。在得到多个第二多媒体信息之后，先根据多个第二多媒体信息对第一任务模型进行训练得到第二任务模型，由于第二多媒体信息是基于对第一多媒体信息的数据增强而得到的，因此可以实现对第一任务模型的少样本学习；然后，对第二任务模型进行模型效果测试得到效果测试结果，并基于效果测试结果对第一任务模型进行更新。由于对第一任务模型的更新需要基于效果测试结果而进行，因此不会出现相关技术中的不论任务模型是否得到优化都会自动地迭代更新的情况，从而可以避免出现模型训练有效性不稳定的问题。例如，当效果测试结果表示第二任务模型的模型效果得到优化时，说明第二多媒体信息对第一任务模型起到了正向的训练有效性，能够提高第一任务模型的模型效果和鲁棒性，此时可以将第一任务模型更新为第二任务模型，从而获得模型效果更好和鲁棒性更强的模型。由于可以在第二任务模型的模型效果得到优化的情况下，才会将第一任务模型更新为第二任务模型，因此可以使得每次的模型更新都是正向有效的，从而可以有效避免出现模型训练有效性不稳定的问题。

可以理解的是，虽然上述各个流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时间执行完成，而是可以在不同的时间执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

参照图17，本发明实施例还公开了一种模型训练装置，该模型训练装置1700能够实现前面实施例中的模型训练方法。该模型训练装置1700包括：

信息获取单元1710，用于获取第一多媒体信息以及与第一多媒体信息对应的信息生成引导模板，其中，信息生成引导模板用于引导生成与第一多媒体信息语义相同的第二多媒体信息；

信息处理单元1720，用于调用多媒体生成模型根据信息生成引导模板对第一多媒体信息进行信息生成，得到多个第二多媒体信息；

模型训练单元1730，用于根据多个第二多媒体信息对第一任务模型进行训练，得到第二任务模型；

模型调试单元1740，用于对第二任务模型进行模型效果测试，得到效果测试结果；基于效果测试结果，对第一任务模型进行更新。

在一实施例中，模型调试单元1740还用于：

获取待测试多媒体信息样本以及与待测试多媒体信息样本对应的待验证样本；

调用第二任务模型对待测试多媒体信息样本进行信息处理，得到处理结果；

根据处理结果和待验证样本，得到对第二任务模型进行模型效果测试的效果测试结果。

在一实施例中，待验证样本为待测试多媒体信息样本对应的样本标签；模型调试单元1740还用于：

计算处理结果和样本标签之间的损失值，并将损失值与预设损失阈值进行比较，得到第一比较结果；

如果第一比较结果是损失值小于或等于预设损失阈值，根据第一比较结果得到第二任务模型的模型效果得到优化的效果测试结果；

如果第一比较结果是损失值大于预设损失阈值，根据第一比较结果得到第二任务模型的模型效果没有得到优化的效果测试结果。

在一实施例中，待验证样本为与待测试多媒体信息样本语义相同的待验证多媒体信息样本；模型调试单元1740还用于：

计算处理结果和待验证多媒体信息样本之间的相似度，并将相似度与预设相似度阈值进行比较，得到第二比较结果；

如果第二比较结果是相似度小于预设相似度阈值，根据第二比较结果得到第二任务模型的模型效果没有得到优化的效果测试结果；

如果第二比较结果是相似度大于或等于预设相似度阈值，根据第二比较结果得到第二任务模型的模型效果得到优化的效果测试结果。

在一实施例中，模型调试单元1740还用于：

如果效果测试结果为第二任务模型的模型效果得到优化，将第一任务模型更新为第二任务模型；

或者，如果效果测试结果为第二任务模型的模型效果没有得到优化，不将第一任务模型更新为第二任务模型。

在一实施例中，信息获取单元1710还用于：

获取多个初始引导模板，为每个初始引导模板生成对应的模板标签；

对于每个初始引导模板，根据模板标签对初始引导模板进行分类，得到每个初始引导模板的分类结果；

对于每个初始引导模板，如果分类结果符合预设要求，将初始引导模板作为信息生成引导模板。

在一实施例中，信息获取单元1710还用于：

对初始引导模板进行基于语义分析的标签生成，得到第一标签；

对初始引导模板进行基于关键词的标签生成，得到第二标签；

获取第一标签对应的第一置信度和第二标签对应的第二置信度；

将第一置信度和第二置信度中数值更大的一个所对应的标签，确定为模板标签。

在一实施例中，信息获取单元1710还用于：

对每个模板标签进行向量化，得到每个模板标签对应的标签向量；

根据不同标签向量之间的相似度，对所有模板标签进行聚类，得到多个标签类别；

根据初始引导模板对应的模板标签所处的标签类别，得到初始引导模板的分类结果。

在一实施例中，信息处理单元1720还用于：

根据信息生成引导模板对第一多媒体信息进行信息编码，得到多媒体编码信息和隐层参数；

对多媒体编码信息进行自注意力计算以及数据增强，得到第一计算结果；

对隐层参数和第一计算结果进行信息融合，得到融合结果；

根据第一计算结果对融合结果进行数据增强，得到第二计算结果；

根据第二计算结果得到第二多媒体信息。

在一实施例中，信息处理单元1720还用于：

根据信息生成引导模板对第一多媒体信息进行向量编码，得到第一信息向量；

对第一信息向量进行自注意力计算以及数据增强，得到第三计算结果；

对第三计算结果进行特征提取，得到第一向量特征；

根据第三计算结果对第一向量特征进行数据增强，得到多媒体编码信息；

获取得到多媒体编码信息时多媒体生成模型的隐层参数。

在一实施例中，信息处理单元1720还用于：

将隐层参数作为自注意力计算中的查询矩阵和键矩阵，并将第一计算结果作为自注意力计算中的值矩阵，进行自注意力计算，得到融合结果。

在一实施例中，信息处理单元1720还用于：

对第二计算结果进行特征提取，得到第二向量特征；

对第二向量特征进行分类预测，得到第二多媒体信息。

需要说明的是，由于本实施例的模型训练装置1700能够实现如前面实施例的模型训练方法，因此本实施例的模型训练装置1700与前面实施例的模型训练方法，具有相同的技术原理以及相同的有益效果，为了避免内容重复，此处不再赘述。

参照图18，本发明实施例还公开了一种电子设备，该电子设备1800包括：

至少一个处理器1801；

至少一个存储器1802，用于存储至少一个程序；

当至少一个程序被至少一个处理器1801执行时，实现如前面的模型训练方法。

本发明实施例还公开了一种计算机可读存储介质，其中存储有处理器可执行的计算机程序，处理器可执行的计算机程序被处理器执行时，用于实现如前面的模型训练方法。

本发明实施例还公开了一种计算机程序产品，包括计算机程序或计算机指令，计算机程序或计算机指令存储在计算机可读存储介质中，电子设备的处理器从计算机可读存储介质读取计算机程序或计算机指令，处理器执行计算机程序或计算机指令，使得电子设备执行如前面的模型训练方法。

本发明的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其他步骤或单元。

应当理解，在本发明中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

本发明实施例中，术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件（如处理电路或存储器）或其组合来全部或部分实现。同样的，一个处理器（或多个处理器或存储器）可以用来实现一个或多个模块或单元。此外，每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器或者网络装置等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

Claims (16)

1.一种模型训练方法，其特征在于，包括以下步骤：

获取第一多媒体信息以及与所述第一多媒体信息对应的信息生成引导模板，所述信息生成引导模板用于引导生成与所述第一多媒体信息语义相同的第二多媒体信息；

调用多媒体生成模型根据所述信息生成引导模板对所述第一多媒体信息进行信息生成，得到多个所述第二多媒体信息；

根据多个所述第二多媒体信息对第一任务模型进行训练，得到第二任务模型；

对所述第二任务模型进行模型效果测试，得到效果测试结果；

基于所述效果测试结果，对所述第一任务模型进行更新。

2.根据权利要求1所述的方法，其特征在于，所述对所述第二任务模型进行模型效果测试，得到效果测试结果，包括：

获取待测试多媒体信息样本以及与所述待测试多媒体信息样本对应的待验证样本；

调用所述第二任务模型对所述待测试多媒体信息样本进行信息处理，得到处理结果；

根据所述处理结果和所述待验证样本，得到对所述第二任务模型进行模型效果测试的效果测试结果。

3.根据权利要求2所述的方法，其特征在于，所述待验证样本为所述待测试多媒体信息样本对应的样本标签；

所述根据所述处理结果和所述待验证样本，得到对所述第二任务模型进行模型效果测试的效果测试结果，包括：

计算所述处理结果和所述样本标签之间的损失值，并将所述损失值与预设损失阈值进行比较，得到第一比较结果；

如果所述第一比较结果是所述损失值小于或等于所述预设损失阈值，根据所述第一比较结果得到所述第二任务模型的模型效果得到优化的效果测试结果；

如果所述第一比较结果是所述损失值大于所述预设损失阈值，根据所述第一比较结果得到所述第二任务模型的模型效果没有得到优化的效果测试结果。

4.根据权利要求2所述的方法，其特征在于，所述待验证样本为与所述待测试多媒体信息样本语义相同的待验证多媒体信息样本；

所述根据所述处理结果和所述待验证样本，得到对所述第二任务模型进行模型效果测试的效果测试结果，包括：

计算所述处理结果和所述待验证多媒体信息样本之间的相似度，并将所述相似度与预设相似度阈值进行比较，得到第二比较结果；

如果所述第二比较结果是所述相似度小于所述预设相似度阈值，根据所述第二比较结果得到所述第二任务模型的模型效果没有得到优化的效果测试结果；

如果所述第二比较结果是所述相似度大于或等于所述预设相似度阈值，根据所述第二比较结果得到所述第二任务模型的模型效果得到优化的效果测试结果。

5.根据权利要求3或4所述的方法，其特征在于，所述基于所述效果测试结果，对所述第一任务模型进行更新，包括：

如果所述效果测试结果为所述第二任务模型的模型效果得到优化，将所述第一任务模型更新为所述第二任务模型；

或者，如果所述效果测试结果为所述第二任务模型的模型效果没有得到优化，不将所述第一任务模型更新为所述第二任务模型。

6.根据权利要求1所述的方法，其特征在于，所述信息生成引导模板根据以下步骤得到：

获取多个初始引导模板，为每个所述初始引导模板生成对应的模板标签；

对于每个所述初始引导模板，根据所述模板标签进行分类，得到每个所述初始引导模板的分类结果；

对于每个所述初始引导模板，如果所述分类结果符合预设要求，将所述初始引导模板作为所述信息生成引导模板。

7.根据权利要求6所述的方法，其特征在于，为所述初始引导模板生成所述模板标签的过程，包括以下步骤：

对所述初始引导模板进行基于语义分析的标签生成，得到第一标签；

对所述初始引导模板进行基于关键词的标签生成，得到第二标签；

获取所述第一标签对应的第一置信度和所述第二标签对应的第二置信度；

将所述第一置信度和所述第二置信度中数值更大的一个所对应的标签，确定为所述模板标签。

8.根据权利要求6所述的方法，其特征在于，所述根据所述模板标签对所述初始引导模板进行分类，得到所述初始引导模板的分类结果，包括：

对每个所述模板标签进行向量化，得到每个所述模板标签对应的标签向量；

根据不同所述标签向量之间的相似度，对所有所述模板标签进行聚类，得到多个标签类别；

根据所述初始引导模板对应的所述模板标签所处的所述标签类别，得到所述初始引导模板的分类结果。

9.根据权利要求1所述的方法，其特征在于，所述多媒体生成模型根据所述信息生成引导模板对所述第一多媒体信息进行信息生成，得到所述第二多媒体信息的过程，包括以下步骤：

根据所述信息生成引导模板对所述第一多媒体信息进行信息编码，得到多媒体编码信息和隐层参数；

对所述多媒体编码信息进行自注意力计算以及数据增强，得到第一计算结果；

对所述隐层参数和所述第一计算结果进行信息融合，得到融合结果；

根据所述第一计算结果对所述融合结果进行数据增强，得到第二计算结果；

根据所述第二计算结果得到所述第二多媒体信息。

10.根据权利要求9所述的方法，其特征在于，所述根据所述信息生成引导模板对所述第一多媒体信息进行信息编码，得到多媒体编码信息和隐层参数，包括：

根据所述信息生成引导模板对所述第一多媒体信息进行向量编码，得到第一信息向量；

对所述第一信息向量进行自注意力计算以及数据增强，得到第三计算结果；

对所述第三计算结果进行特征提取，得到第一向量特征；

根据所述第三计算结果对所述第一向量特征进行数据增强，得到多媒体编码信息；

获取得到所述多媒体编码信息时所述多媒体生成模型的隐层参数。

11.根据权利要求9所述的方法，其特征在于，所述对所述隐层参数和所述第一计算结果进行信息融合，得到融合结果，包括：

将所述隐层参数作为自注意力计算中的查询矩阵和键矩阵，并将所述第一计算结果作为自注意力计算中的值矩阵，进行自注意力计算，得到融合结果。

12.根据权利要求9所述的方法，其特征在于，所述根据所述第二计算结果得到所述第二多媒体信息，包括：

对所述第二计算结果进行特征提取，得到第二向量特征；

对所述第二向量特征进行分类预测，得到所述第二多媒体信息。

13.一种模型训练装置，其特征在于，包括：

信息获取单元，用于获取第一多媒体信息以及与所述第一多媒体信息对应的信息生成引导模板，所述信息生成引导模板用于引导生成与所述第一多媒体信息语义相同的第二多媒体信息；

信息处理单元，用于调用多媒体生成模型根据所述信息生成引导模板对所述第一多媒体信息进行信息生成，得到多个所述第二多媒体信息；

模型训练单元，用于根据多个所述第二多媒体信息对第一任务模型进行训练，得到第二任务模型；

模型调试单元，用于对所述第二任务模型进行模型效果测试，得到效果测试结果；基于所述效果测试结果，对所述第一任务模型进行更新。

14.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1至12任意一项所述的模型训练方法。

15.一种计算机可读存储介质，其特征在于，其中存储有处理器可执行的计算机程序，所述处理器可执行的计算机程序被处理器执行时用于实现如权利要求1至12任意一项所述的模型训练方法。

16.一种计算机程序产品，包括计算机程序或计算机指令，其特征在于，所述计算机程序或所述计算机指令存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令，所述处理器执行所述计算机程序或所述计算机指令，使得所述电子设备执行如权利要求1至12任意一项所述的模型训练方法。