CN114580504A - 数据处理方法、装置、计算设备及介质 - Google Patents

Abstract

本申请提供一种数据处理方法、装置、计算设备及介质。本申请通过在获取到至少两种模态的样本特征数据以及样本特征数据的样本标签后，基于至少两种模态的样本特征数据以及样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型，基于至少两种模态的样本特征数据以及样本特征数据的标签进行数据增强，得到第一特征数据以及第一特征数据的第一标签，并通过第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到第二特征数据的第二标签，从而将第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签作为第二多模态模型的训练数据，实现数量数据的扩充，进而提高模型的训练效果。

Description

数据处理方法、装置、计算设备及介质

技术领域

本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及一种数据处理方法、装置、计算设备及介质。

背景技术

第五代移动通信技术(5th Generation Mobile Communication Technology，5G)作为具有高速率、低时延和大连接特点的新一代宽带移动通信技术，有助于推进多模态对话的发展。

然而，相关技术中，多模态算法模型需要通过大量的有标注的多模态数据训练得到，而多模态数据存在获取困难、标注成本高等问题，从而导致模型训练效果较差。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种数据处理方法、装置、计算设备及介质。

为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

根据本说明书一个或多个实施例的第一方面，提出了一种数据处理方法，该方法包括：

获取至少两种模态的样本特征数据以及样本特征数据的样本标签；

基于至少两种模态的样本特征数据以及样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型；

对于任一种模态的样本特征数据，对样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于两个样本特征数据的样本标签，确定第一特征数据的第一标签；

通过第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到第二特征数据的第二标签，第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签用于训练第二多模态模型。

在一些实施例中，对样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于两个样本特征数据的样本标签，确定第一特征数据的第一标签，包括：

按照设定权重，对两个样本特征数据进行加权求和，得到第一特征数据，并将两个样本特征数据的样本标签确定为第一特征数据的第一标签；

其中，第一特征数据的两个第一标签对应有样本概率，样本概率基于设定权重确定。

在一些实施例中，该方法还包括：

通过第二多模态模型，获取第二标签的预测概率；

基于第二标签的预测概率，确定预测概率大于设定概率阈值的第二标签所对应的目标第二特征数据；

通过第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到第二特征数据的第二标签之后，该方法还包括：

基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，训练第二多模态模型，得到目标多模态模型。

在一些实施例中，基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，训练第二多模态模型，得到目标多模态模型，包括：

基于第一特征数据和第一特征数据的第一标签，训练第二多模态模型，得到第三多模态模型；

基于目标第二特征数据和目标第二特征数据的第二标签，训练第三多模态模型，得到目标多模态模型。

在一些实施例中，基于第二标签的预测概率，确定预测概率大于设定概率阈值的第二标签所对应的目标第二特征数据之后，该方法还包括：

对于任一种模态的目标第二特征数据，对目标第二特征数据中的任意两个目标第二特征数据进行加权求和，得到第三特征数据，并基于两个目标第二特征数据的第二标签，确定第三特征数据的第三标签，第三特征数据和第三特征数据的第三标签用于训练第二多模态模型。

在一些实施例中，对于任一种模态的第二特征数据，对第二特征数据中的任意两个第二特征数据进行加权求和，得到第三特征数据，并基于两个第二特征数据的第二标签，确定第三特征数据的第三标签之后，该方法还包括：

基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签、第三特征数据和第三特征数据的第三标签，训练第二多模态模型，得到目标多模态模型。

在一些实施例中，基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签、第三特征数据和第三特征数据的第三标签，训练第二多模态模型，得到目标多模态模型，包括：

基于第一特征数据和第一特征数据的第一标签，训练第二多模态模型，得到第三多模态模型；

基于目标第二特征数据和目标第二特征数据的第二标签，训练第三多模态模型，得到第四多模态模型；

基于第三特征数据和第三特征数据的第三标签，训练第四多模态模型，得到目标多模态模型。

根据本说明书一个或多个实施例的第二方面，提出了一种数据处理装置，该装置包括：

获取模块，用于获取至少两种模态的样本特征数据以及样本特征数据的样本标签；

训练模块，用于基于至少两种模态的样本特征数据以及样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型；

第一处理模块，用于对于任一种模态的样本特征数据，对样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于两个样本特征数据的样本标签，确定第一特征数据的第一标签；

第二处理模块，用于通过第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到第二特征数据的第二标签，第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签用于训练第二多模态模型。

在一些实施例中，第一处理模块，在用于对样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于两个样本特征数据的样本标签，确定第一特征数据的第一标签时，用于：

按照设定权重，对两个样本特征数据进行加权求和，得到第一特征数据，并将两个样本特征数据的样本标签确定为第一特征数据的第一标签；

其中，第一特征数据的两个第一标签对应有样本概率，样本概率基于设定权重确定。

在一些实施例中，第二处理模块，还用于通过第二多模态模型，获取第二标签的预测概率；

该装置还包括：

确定模块，用于基于第二标签的预测概率，确定预测概率大于设定概率阈值的第二标签所对应的目标第二特征数据；

训练模块，还用于基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，训练第二多模态模型，得到目标多模态模型。

在一些实施例中，训练模块，在用于基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，训练第二多模态模型，得到目标多模态模型时，用于：

基于第一特征数据和第一特征数据的第一标签，训练第二多模态模型，得到第三多模态模型；

基于目标第二特征数据和目标第二特征数据的第二标签，训练第三多模态模型，得到目标多模态模型。

在一些实施例中，该装置还包括：

第三处理模块，用于对于任一种模态的目标第二特征数据，对目标第二特征数据中的任意两个目标第二特征数据进行加权求和，得到第三特征数据，并基于两个目标第二特征数据的第二标签，确定第三特征数据的第三标签，第三特征数据和第三特征数据的第三标签用于训练第二多模态模型。

在一些实施例中，训练模块，还用于基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签、第三特征数据和第三特征数据的第三标签，训练第二多模态模型，得到目标多模态模型。

在一些实施例中，训练模块，在用于基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签、第三特征数据和第三特征数据的第三标签，训练第二多模态模型，得到目标多模态模型时，用于：

基于第一特征数据和第一特征数据的第一标签，训练第二多模态模型，得到第三多模态模型；

基于目标第二特征数据和目标第二特征数据的第二标签，训练第三多模态模型，得到第四多模态模型；

基于第三特征数据和第三特征数据的第三标签，训练第四多模态模型，得到目标多模态模型。

根据本说明书一个或多个实施例的第三方面，提出了一种计算设备，该计算设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器通过运行可执行指令以实现上述第一方面以及第一方面中任一实施例所提供的数据处理方法所执行的操作。

根据本说明书一个或多个实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机指令，指令被处理器执行时实现上述第一方面以及第一方面中任一实施例所提供的数据处理方法所执行的操作。

根据本说明书一个或多个实施例的第五方面，提出了一种计算机程序产品，包括计算机程序，程序被处理器执行时实现上述第一方面以及第一方面中任一实施例所提供的数据处理方法所执行的操作。

本申请通过在获取到至少两种模态的样本特征数据以及样本特征数据的样本标签后，基于至少两种模态的样本特征数据以及样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型，基于至少两种模态的样本特征数据以及样本特征数据的标签进行数据增强，得到第一特征数据以及第一特征数据的第一标签，并通过第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到第二特征数据的第二标签，从而将第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签作为第二多模态模型的训练数据，实现数量数据的扩充，进而提高模型的训练效果。

附图说明

图1是一示例性实施例提供的一种数据处理方法的流程图。

图2是一示例性实施例提供的一种数据处理过程的流程图。

图3是一示例性实施例提供的一种数据处理装置的框图。

图4是一示例性实施例提供的一种计算设备的示意结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

本申请提供了一种数据处理方法，用于基于已标注有样本标签的多模态数据进行数据扩充，从而实现对用于多模态模型训练过程的训练数据的扩充，进而提高多模态模型的训练效果。上述数据处理方法可以由计算设备执行，计算设备可以为服务器，如一台服务器、多台服务器、服务器集群、云计算平台等，或者，计算设备可以为终端设备，如台式计算机、便携式计算机、超级计算机等，本申请对计算设备的具体类型不加以限定。

该数据处理方法所提供的多模态模型可以用于多模态对话场景中，如医疗问答、购物平台问答、视频分析、图文匹配等会涉及到至少两种模态的数据的多模态对话场景。其中，至少两种模态的数据可以包括文本数据、音频数据、图像数据、视频数据中的至少两种，可选地，至少两种模态的数据还可以包括其他类型的数据，本申请对此不加以限定。

在一种可能的实现方式中，计算设备可以获取用户输入的至少两种模态的数据，进而基于用户输入的至少两种模态的数据，确定用户的访问意图，例如，用户想要办理哪种任务，或者，用户想要查询什么信息，等等，从而基于所确定出的意图，为用户提供相应的数据，实现与用户之间的交互，为用户提供准确、高效的智能化服务。

需要说明的是，上述仅为本申请的一种示例性应用场景，在更多可能的实现方式中，本申请还可以应用在其他多种涉及到多模态模型的场景中，而不仅仅局限于多模态对话场景。

在介绍了本申请的应用环境之后，接下来对本申请的各个实施例进行详细说明。

参见图1，图1是一示例性实施例提供的一种数据处理方法的流程图，该方法包括：

步骤101、获取至少两种模态的样本特征数据以及样本特征数据的样本标签。

其中，至少两种模态可以为语言、视觉、听觉、嗅觉等多种模态中的至少两种，相应地，至少两种模态的样本特征数据可以包括文本特征数据、音频特征数据、图像特征数据、视频特征数据等特征数据中的至少两种特征数据。样本特征数据的样本标签可以用于指示样本特征数据的类别标签，以样本特征数据包括文本特征数据为例，样本特征数据的样本标签可以用于指示文本特征数据的语义所对应的服务功能类别，例如，贷款服务功能、储蓄服务功能，等等。

步骤102、基于至少两种模态的样本特征数据以及样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型。

通过基于至少两种模态的样本特征数据以及样本特征数据的样本标签，训练第一多模态模型，可以得到经过初步训练的第二多模态模型，以便后续可以通过第二多模态模型，来确定无标注的第二特征数据的第二标签。

步骤103、对于任一种模态的样本特征数据，对样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于两个样本特征数据的样本标签，确定第一特征数据的第一标签。

通过上述步骤103，可以实现基于样本特征数据以及样本特征数据的数据增强，从而实现对多模态模型的训练数据的扩充，以便可以基于扩充后的训练数据，继续对第二多模态模型进行训练。

步骤104、通过第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到第二特征数据的第二标签，第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签用于训练第二多模态模型。

本申请通过在获取到至少两种模态的样本特征数据以及样本特征数据的样本标签后，基于至少两种模态的样本特征数据以及样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型，基于至少两种模态的样本特征数据以及样本特征数据的标签进行数据增强，得到第一特征数据以及第一特征数据的第一标签，并通过第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到第二特征数据的第二标签，从而将第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签作为第二多模态模型的训练数据，实现数量数据的扩充，进而提高模型的训练效果。

在介绍了本申请的基本实现过程之后，下面结合本申请的多个可选实施例，对本申请所提供的数据处理方法进行进一步说明。

在一些实施例中，对于步骤101，在获取至少两种模态的样本特征数据以及所述样本特征数据的样本标签时，可以通过如下方式实现：

获取至少两种模态的样本数据以及样本数据的样本标签，分别通过不同模态的样本数据所对应的特征提取器，对获取到的样本数据进行处理，得到至少两种模态的样本特征数据，并将至少两种模态的样本数据的样本标签，分别作为对应的样本特征数据的样本标签。

其中，该特征提取模型可以采用多种类型的网络结构，例如，该特征提取模型可以为卷积神经网络(Convolutional Neural Networks，CNN)、转换器(Transformer)模型，等等，本申请对特征提取模型的网络结构不加以限定。需要说明的是，不同结构的特征提取网络，可以用于提取不同模态的样本数据的样本特征数据。

以至少两种模态的样本数据包括文本数据和音频数据为例，用于获取文本数据的样本特征数据(也即是文本特征数据)的特征提取模型可以为CNN，如TextCNN，用于获取音频数据的样本特征数据(也即是音频特征数据)的特征提取模型可以为Transformer。

以通过TextCNN提取文本数据的样本特征数据为例，TextCNN可以包括卷积层和池化层，在通过TextCNN提取文本数据的样本特征数据时，可以通过TextCNN的卷积层获取文本数据的卷积特征，进而通过TextCNN的池化层，对文本数据的卷积特征进行降采样处理，得到文本数据的样本特征数据。

以通过Transformer提取音频数据的样本特征数据为例，在一种可能的实现方式中，可以通过Transformer的编码器(Encoder)部分，从音频数据中提取音频数据的样本特征数据。Transformer的Encoder部分可以包括多头注意力(Multi-Head Self Attention)层和前馈全连接(Fully Connected Feed Forward)层，在通过Transformer的Encoder部分提取音频数据的样本特征数据时，可以通过多头注意力层获取音频数据的卷积特征，进而通过前馈全连接层，基于音频数据的卷积特征，获取音频数据的样本特征数据。

需要说明的是，上述仅为获取样本数据的样本特征数据的示例性方式，在更多可能的实现方式中，还可以采用其他方式，来获取多种模态的样本数据的样本特征数据。仍以至少两种模态的样本数据包括文本数据和音频数据为例，在获取文本数据的样本特征数据时，还可以通过长短时记忆网络(Long Short Term Memory，LSYM)、基于变压器的双向编码器(Bidirectional Encoder Representations from Transformers，BERT)，等等；在获取音频数据的样本特征数据时，还可以通过LSYM网络，本申请对具体采用哪种网络结构不加以限定。

需要说明的是，由于用于获取样本特征数据的样本数据是对应于至少两种模态的，因而，所获取到的样本特征数据也是对应于至少两种模态的，在获取到至少两种模态的样本特征数据后，即可基于所获取到的至少两种模态的样本特征数据，来对第一多模态模型进行训练。

在一些实施例中，对于步骤102，在基于至少两种模态的样本特征数据以及样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型时，可以通过如下方式实现：

基于至少两种模态的样本特征数据，通过第一多模态模型，确定至少两种模态的样本特征数据的预测标签，基于指示至少两种模态的样本特征数据的预测标签与至少两种模态的样本特征数据的样本标签之间的第一损失函数，更新第一多模态模型的模型参数，直至满足训练截止条件，得到第二多模态模型。

其中，上述训练过程为迭代过程，也即是，可以先通过第一多模态模型，确定第一个样本特征数据的预测标签，进而基于指示第一个第一样本特征数据的预测标签与第一个样本特征数据的样本标签之间的第一损失函数，更新第一多模态模型的模型参数，得到经过第一次参数调整的第一多模态模型；再通过经过第一次参数调整的第一多模态模型，确定第二个样本特征数据的预测标签，进而基于指示第二个样本特征数据的预测标签与第二个样本特征数据的样本标签之间的第一损失函数，继续对经过第一次参数调整的第一多模态模型的模型参数进行调整，得到经过第二次参数调整的第一多模态模型，以此类推，直至满足训练截止条件，即可得到第二多模态模型。

可选地，该第一损失函数可以为0-1损失函数、平方损失函数，等等，本申请对第一损失函数的具体类型不加以限定。训练截止条件可以为迭代次数达到设定次数，或者，第一损失函数达到第一设定损失值，或者，各个样本特征数据均已处理完成，等等，本申请对具体采用哪种条件作为训练截止条件不加以限定。

此外，在获取到至少两种模态的样本特征数据后，还可以基于所获取到的至少两种模态的样本特征数据，来对用于训练多模态模型的训练数据进行扩充。

在一些实施例中，对于步骤103，在对于任一种模态的样本特征数据，对样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于两个样本特征数据的样本标签，确定第一特征数据的第一标签时，可以通过如下方式实现：

按照设定权重，对两个样本特征数据进行加权求和，得到第一特征数据，并将两个样本特征数据的样本标签确定为第一特征数据的第一标签。

其中，第一特征数据的两个第一标签对应有样本概率，样本概率基于设定权重确定。

以获取到的样本特征数据为两种模态的样本特征数据为例，其中，一种模态的样本特征数据记为a，另一种模态的样本特征数据记为t，则可以按照设定权重λ，分别对这两种模态的样本特征数据进行加权求和。例如，可以按照如下公式(1)和公式(2)，来分别对这两种模态的样本特征数据进行加权求和：

a′＝a_i*λ+a_j*(1-λ) (1)

t′＝t_i*λ+t_j*(1-λ) (2)

其中，λ服从Beta分布，也即是，λ～Beta(α，α)，α可以为任意取值，此外，i和j均可以为任意取值，本申请对α、i和j的具体取值不加以限定。

需要说明的是，在对同一种模态的样本特征数据中的任意两个样本特征数据进行加权求和时，这两个样本特征数据的样本标签也会被混合，从而即可将混合后的样本标签作为第一特征数据的标签。例如，第一特征数据的标签可以通过如下公式(3)获取得到：

y′＝y_i*λ+y_j*(1-λ) (3)

其中，y′为第一特征数据的样本标签，y_i和y_j分别为该第一特征数据所对应的两个样本特征数据的样本标签，λ为设定权重。

以用于确定第一特征数据的两个样本特征数据为特征数据1和特征数据2，基于特征数据1和特征数据2所确定出的第一特征数据为特征数据A为例，若设定权重为0.3，在数据1的样本标签为标签1、数据2的样本标签为标签2的情况下，数据A的样本标签为标签1和标签2这两个标签，其中，标签1的样本概率为0.3，标签2的样本概率为0.7。

通过上述过程，即可实现对样本特征数据以及样本特征数据的样本标签的随机打乱，从而可以获取到基于样本特征数据扩充得到的第一特征数据(也即是增强特征数据)以及第一特征数据的样本标签(也即是增强软标签)，实现基于样本特征数据的数据增强。

在一些实施例中，还可以获取至少两种模态的无标签的第二特征数据，从而通过步骤104，来通过第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到第二特征数据的第二标签。

其中，获取至少两种模态的无标签的第二特征数据的过程，与上述实施例中获取样本特征数据的样本标签的过程同理，此处不再赘述。

通过上述过程，即可获取到原本无标注的第二特征数据的预测标签，实现训练数据的进一步扩充，以便后续可以基于第二特征数据以及第二特征数据的预测标签继续训练第二多模态模型。

需要说明的是，如果原本的训练数据量为k，经过上述两个过程进行数据扩充后，理论上最多能将训练数据量扩增为n²倍，且无需额外的标注成本。

经实验表明，通过本申请所提供的数据处理方法，可以将训练数据从2万扩充到14万(其中，2万为有标注数据，12万为无标注数据)，从而可以节约85％的标注训练数据，并给模型带来准确率6.7个百分点的提升。

而且，在上述数据扩充过程中，是基于已标注数据进行混合来实现数据扩充的，充分利用了样本间的关系，可以大幅提升模型的鲁棒性，并提高模型的泛化性。

在一些实施例中，在通过上述各个实施例获取到基于第一特征数据扩充得到的第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签后，即可基于第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签，来继续训练第二多模态模型。

在一种可能的实现方式中，还可以通过第二多模态模型，获取第二标签的预测概率，因而，在基于第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签，训练第二多模态模型之前，还可以基于第二标签的预测概率，确定预测概率大于设定概率阈值的第二标签所对应的目标第二特征数据，以便后续可以基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，来对第二多模态模型进行训练。

对于任一第二特征数据，在该第二特征数据的预测标签的预测概率大于或等于设定概率阈值的情况下，将该第二特征数据确定为目标第二特征数据，以便后续可以基于目标第二特征数据来进行多模态模型的训练；在该第二特征数据的预测标签的预测概率小于设定概率阈值的情况下，则无需基于该第二特征数据进行模型训练。其中，设定概率阈值可以为任意概率值。

通过上述过程，可以避免将无标数据中的错误标签引入模型训练过程中，从而可以保证模型的训练效果，进而保证模型的准确性。

在通过上述过程从第二特征数据中获取到目标第二特征数据后，即可基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，来训练第二多模态模型。

也即是，在一些实施例中，在步骤104之后，该方法还可以包括如下步骤：

步骤105、基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，来训练第二多模态模型，得到目标多模态模型。

在一些实施例中，步骤105可以通过如下步骤实现：

步骤1051、基于第一特征数据和第一特征数据的第一标签，训练第二多模态模型，得到第三多模态模型。

在一种可能的实现方式中，基于第一特征数据，通过第二多模态模型，确定第一特征数据的预测标签，基于指示第一特征数据的预测标签与第一特征数据的样本标签之间的第二损失函数，更新第二多模态模型的模型参数，直至满足训练截止条件，得到第三多模态模型。

其中，上述训练过程为迭代过程，也即是，可以先通过第二多模态模型，确定第一个第一特征数据的预测标签，进而基于指示第一个第一特征数据的预测标签与第一个第一特征数据的样本标签之间的第二损失函数，更新第二多模态模型的模型参数，得到经过第一次参数调整的第二多模态模型；再通过经过第一次参数调整的第二多模态模型，确定第二个第一特征数据的预测标签，进而基于指示第二个第一特征数据的预测标签与第二个第一特征数据的样本标签之间的第二损失函数，继续对经过第一次参数调整的第二多模态模型的模型参数进行调整，得到经过第二次参数调整的第二多模态模型，以此类推，直至满足训练截止条件，即可得到第三多模态模型。

其中，训练截止条件可以为迭代次数达到设定次数，或者，第二损失函数达到第二设定损失值，或者，各个第一特征数据均已处理完成，等等，本申请对具体采用哪种条件作为训练截止条件不加以限定。

可选地，第二损失函数为交叉熵损失函数，或者，第二损失函数为其他类型的损失函数，本申请对第二损失函数的具体类型不加以限定。

以第二损失函数为交叉熵损失函数为例，第二损失函数可以参见如下公式(4)：

其中，n为样本总数，可以为任意正整数值，y′_i为第i个第一特征数据的样本标签，p′_i为第i个第一特征数据的样本标签的样本概率。

需要说明的是，上述训练过程中，第一特征数据的样本标签是已知的，因而，上述训练过程属于有监督训练过程。

步骤1042、基基于所述目标第二特征数据和所述目标第二特征数据的第二标签，训练所述第三多模态模型，得到所述目标多模态模型。

在一种可能的实现方式中，基于目标第二特征数据，通过第三多模态模型，确定目标第二特征数据的模型预测标签，基于指示目标第二特征数据的模型预测标签与目标第二特征数据的预测标签之间的第三损失函数，更新第三多模态模型的模型参数，直至满足训练截止条件，得到目标多模态模型。

其中，上述训练过程为迭代过程，也即是，可以先通过第三多模态模型，确定第一个目标第二特征数据的预测标签，进而基于指示第一个目标第二特征数据的模型预测标签与第一个目标第二特征数据的预测标签之间的第三损失函数，更新第三多模态模型的模型参数，得到经过第一次参数调整的第三多模态模型；再通过经过第一次参数调整的第三多模态模型，确定第二个目标第二特征数据的模型预测标签，进而基于指示第二个目标第二特征数据的模型预测标签与第二个目标第二特征数据的预测标签之间的第三损失函数，继续对经过第一次参数调整的第三多模态模型的模型参数进行调整，得到经过第二次参数调整的第三多模态模型，以此类推，直至满足训练截止条件，即可得到第三多模态模型。

其中，训练截止条件可以为迭代次数达到设定次数，或者，第三损失函数达到第三设定损失值，或者，各个目标第二特征数据均已处理完成，等等，本申请对具体采用哪种条件作为训练截止条件不加以限定。

可选地，第三损失函数为交叉熵损失函数，或者，第三损失函数为其他类型的损失函数，本申请对第三损失函数的具体类型不加以限定。

以第三损失函数为交叉熵损失函数为例，第三损失函数可以参见如下公式(5)：

其中，n为样本总数，可以为任意正整数值，y_i为第i个目标第二特征数据的预测标签，p_i为第i个目标第二特征数据的预测标签的预测概率。

需要说明的是，上述训练过程中，第二特征数据的样本标签是未知的，在训练过程中，是以通过初步训练的模型预测得到的第二特征数据的预测标签来计算损失函数的，因而，上述训练过程属于半监督训练过程。

上述各个实施例的过程可以参见图2，图2是一示例性实施例提供的一种数据处理过程的流程图，仍以至少两种模态的样本数据包括文本数据和音频数据为例，可以分别通过对应的特征提取模型，获取文本数据的样本特征数据(也即是文本特征数据)以及音频数据的样本特征数据(也即是音频特征数据)，并对文本特征数据和音频特征数据进行随机打乱(也即是将任意两个特征数据作为一组用于加权求和的特征数据)，从而按照设定权重，分别对文本特征数据和随机打乱后的文本特征数据、音频特征数据和随机打乱后的音频特征数据进行加权求和，得到增强特征，并对文本特征数据和音频特征数据的标签进行随机打乱，按照设定权重，对标签和随机打乱后的标签进行加权求和，得到增强软标签，从而通过模型预测增强特征的标签，得到增强特征对应的预测标签，从而分布采用有监督和半监督的方式，来基于指示增强特征对应的预测标签与增强软标签之间的差异的交叉熵损失，以及表示增强特征对应的预测标签与阈值标签之间的差异的阈值交叉熵损失，来进行模型训练，具体过程可以参见上述各个实施例，此处不再赘述。

上述实施例是以基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，来训练第二多模态模型，得到目标多模态模型为例来进行说明的，在更多可能的实现方式中，在获取到目标第二特征数据后，还可以基于目标第二特征数据来进行数据扩充，从而扩充得到的数据来进行目标多模态模型的训练。

在一种可能的实现方式中，在基于第二标签的预测概率，确定预测概率大于设定概率阈值的第二标签所对应的目标第二特征数据之后，还可以包括如下过程：

对于任一种模态的目标第二特征数据，对目标第二特征数据中的任意两个目标第二特征数据进行加权求和，得到第三特征数据，并基于两个目标第二特征数据的第二标签，确定第三特征数据的第三标签，第三特征数据和第三特征数据的第三标签用于训练第二多模态模型。

其中，上述获取第三特征数据以及第三特征数据的第三标签的过程可以参见上述实施例中获取第一特征数据以及第一特征数据的第一标签的过程，此处不再赘述。

而在获取到第三特征数据以及第三特征数据的第三标签之后，即可基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签、第三特征数据和第三特征数据的第三标签，训练第二多模态模型，得到目标多模态模型。

在一种可能的实现方式中，在基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签、第三特征数据和第三特征数据的第三标签，训练第二多模态模型，得到目标多模态模型时，可以包括如下步骤：

步骤一、基于第一特征数据和第一特征数据的第一标签，训练第二多模态模型，得到第三多模态模型。

步骤二、基于目标第二特征数据和目标第二特征数据的第二标签，训练第三多模态模型，得到第四多模态模型。

步骤三、基于第三特征数据和第三特征数据的第三标签，训练第四多模态模型，得到目标多模态模型。

其中，训练第二多模态模型和第三多模态模型的过程可以参见上述实施例，此处不再赘述。下面对基于第三特征数据和第三特征数据的第三标签，训练第四多模态模型，得到目标多模态模型的过程进行介绍：

在一种可能的实现方式中，基于第三特征数据，通过第四多模态模型，确定第三特征数据的预测标签，基于指示第三特征数据的预测标签与第三特征数据的样本标签之间的第四损失函数，更新第四多模态模型的模型参数，直至满足训练截止条件，得到目标多模态模型。

其中，上述训练过程为迭代过程，也即是，可以先通过第四多模态模型，确定第一个第三特征数据的预测标签，进而基于指示第一个第三特征数据的预测标签与第一个第三特征数据的样本标签之间的第四损失函数，更新第四多模态模型的模型参数，得到经过第一次参数调整的第四多模态模型；再通过经过第一次参数调整的第四多模态模型，确定第二个第三特征数据的预测标签，进而基于指示第二个第三特征数据的预测标签与第二个第三特征数据的样本标签之间的第四损失函数，继续对经过第一次参数调整的第四多模态模型的模型参数进行调整，得到经过第二次参数调整的第四多模态模型，以此类推，直至满足训练截止条件，即可得到目标多模态模型。

可选地，该第四损失函数可以为0-1损失函数、平方损失函数、交叉熵损失函数，等等，本申请对第四损失函数的具体类型不加以限定。训练截止条件可以为迭代次数达到设定次数，或者，第四损失函数达到第四设定损失值，或者，各个第三特征数据均已处理完成，等等，本申请对具体采用哪种条件作为训练截止条件不加以限定。

通过上述实施例，可以进一步对训练数据进行扩充，从而可以基于再次扩充后得到的数据来进行模型训练，从而可以进一步提高模型训练效果，进而提高多模态模型的预测准确性。

需要说明的是，上述各个实施例中所涉及的多模态模型，可以为采用多模态算法的神经网络模型，如CNN网络、BERT网络等等，本申请对多模态模型的具体网络结构不加以限定。

与前述方法的实施例相对应，本说明书还提供了装置及其所应用的计算设备的实施例。

参见图3，图3是一示例性实施例提供的一种数据处理装置的框图，该装置包括：

获取模块301，用于获取至少两种模态的样本特征数据以及样本特征数据的样本标签；

训练模块302，用于基于至少两种模态的样本特征数据以及样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型；

第一处理模块303，用于对于任一种模态的样本特征数据，对样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于两个样本特征数据的样本标签，确定第一特征数据的第一标签；

第二处理模块304，用于通过第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到第二特征数据的第二标签，第一特征数据和第一特征数据的第一标签、第二特征数据和第二特征数据的第二标签用于训练第二多模态模型。

在一些实施例中，第一处理模块303，在用于对样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于两个样本特征数据的样本标签，确定第一特征数据的第一标签时，用于：

按照设定权重，对两个样本特征数据进行加权求和，得到第一特征数据，并将两个样本特征数据的样本标签确定为第一特征数据的第一标签；

其中，第一特征数据的两个第一标签对应有样本概率，样本概率基于设定权重确定。

在一些实施例中，第二处理模块304，还用于通过第二多模态模型，获取第二标签的预测概率；

该装置还包括：

确定模块，用于基于第二标签的预测概率，确定预测概率大于设定概率阈值的第二标签所对应的目标第二特征数据；

训练模块302，还用于基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，训练第二多模态模型，得到目标多模态模型。

在一些实施例中，训练模块302，在用于基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签，训练第二多模态模型，得到目标多模态模型时，用于：

基于第一特征数据和第一特征数据的第一标签，训练第二多模态模型，得到第三多模态模型；

基于目标第二特征数据和目标第二特征数据的第二标签，训练第三多模态模型，得到目标多模态模型。

在一些实施例中，该装置还包括：

第三处理模块，用于对于任一种模态的目标第二特征数据，对目标第二特征数据中的任意两个目标第二特征数据进行加权求和，得到第三特征数据，并基于两个目标第二特征数据的第二标签，确定第三特征数据的第三标签，第三特征数据和第三特征数据的第三标签用于训练第二多模态模型。

在一些实施例中，训练模块302，还用于基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签、第三特征数据和第三特征数据的第三标签，训练第二多模态模型，得到目标多模态模型。

在一些实施例中，训练模块302，在用于基于第一特征数据和第一特征数据的第一标签、目标第二特征数据和目标第二特征数据的第二标签、第三特征数据和第三特征数据的第三标签，训练第二多模态模型，得到目标多模态模型时，用于：

基于第一特征数据和第一特征数据的第一标签，训练第二多模态模型，得到第三多模态模型；

基于目标第二特征数据和目标第二特征数据的第二标签，训练第三多模态模型，得到第四多模态模型；

基于第三特征数据和第三特征数据的第三标签，训练第四多模态模型，得到目标多模态模型。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请还提供了一种计算设备，参见图4，图4是一示例性实施例提供的一种计算设备的示意结构图。请参考图4，在硬件层面，该设备包括处理器402、内部总线404、网络接口406、内存408以及非易失性存储器410，当然还可能包括实现其他功能所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器402从非易失性存储器410中读取对应的计算机程序到内存408中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算设备，计算机的具体形式可以是服务器、云计算平台、个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取至少两种模态的样本特征数据以及所述样本特征数据的样本标签；

基于所述至少两种模态的样本特征数据以及所述样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型；

对于任一种模态的样本特征数据，对所述样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于所述两个样本特征数据的样本标签，确定所述第一特征数据的第一标签；

通过所述第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到所述第二特征数据的第二标签，所述第一特征数据和所述第一特征数据的第一标签、所述第二特征数据和所述第二特征数据的第二标签用于训练所述第二多模态模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于所述两个样本特征数据的样本标签，确定所述第一特征数据的第一标签，包括：

按照设定权重，对所述两个样本特征数据进行加权求和，得到所述第一特征数据，并将所述两个样本特征数据的样本标签确定为所述第一特征数据的第一标签；

其中，所述第一特征数据的两个第一标签对应有样本概率，所述样本概率基于所述设定权重确定。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述第二多模态模型，获取所述第二标签的预测概率；

基于所述第二标签的预测概率，确定预测概率大于设定概率阈值的第二标签所对应的目标第二特征数据；

所述通过所述第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到所述第二特征数据的第二标签之后，所述方法还包括：

基于所述第一特征数据和所述第一特征数据的第一标签、所述目标第二特征数据和所述目标第二特征数据的第二标签，训练所述第二多模态模型，得到目标多模态模型。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一特征数据和所述第一特征数据的第一标签、所述目标第二特征数据和所述目标第二特征数据的第二标签，训练所述第二多模态模型，得到目标多模态模型，包括：

基于所述第一特征数据和所述第一特征数据的第一标签，训练所述第二多模态模型，得到第三多模态模型；

基于所述目标第二特征数据和所述目标第二特征数据的第二标签，训练所述第三多模态模型，得到所述目标多模态模型。

5.根据权利要求3所述的方法，其特征在于，所述基于所述第二标签的预测概率，确定预测概率大于设定概率阈值的第二标签所对应的目标第二特征数据之后，所述方法还包括：

对于任一种模态的目标第二特征数据，对所述目标第二特征数据中的任意两个目标第二特征数据进行加权求和，得到第三特征数据，并基于所述两个目标第二特征数据的第二标签，确定所述第三特征数据的第三标签，所述第三特征数据和所述第三特征数据的第三标签用于训练所述第二多模态模型。

6.根据权利要求5所述的方法，其特征在于，所述对于任一种模态的第二特征数据，对所述第二特征数据中的任意两个第二特征数据进行加权求和，得到第三特征数据，并基于所述两个第二特征数据的第二标签，确定所述第三特征数据的第三标签之后，所述方法还包括：

基于所述第一特征数据和所述第一特征数据的第一标签、所述目标第二特征数据和所述目标第二特征数据的第二标签、所述第三特征数据和所述第三特征数据的第三标签，训练所述第二多模态模型，得到目标多模态模型。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一特征数据和所述第一特征数据的第一标签、所述目标第二特征数据和所述目标第二特征数据的第二标签、所述第三特征数据和所述第三特征数据的第三标签，训练所述第二多模态模型，得到目标多模态模型，包括：

基于所述第一特征数据和所述第一特征数据的第一标签，训练所述第二多模态模型，得到第三多模态模型；

基于所述目标第二特征数据和所述目标第二特征数据的第二标签，训练所述第三多模态模型，得到第四多模态模型；

基于所述第三特征数据和所述第三特征数据的第三标签，训练所述第四多模态模型，得到所述目标多模态模型。

8.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取至少两种模态的样本特征数据以及所述样本特征数据的样本标签；

训练模块，用于基于所述至少两种模态的样本特征数据以及所述样本特征数据的样本标签，训练第一多模态模型，得到第二多模态模型；

第一处理模块，用于对于任一种模态的样本特征数据，对所述样本特征数据中的任意两个样本特征数据进行加权求和，得到第一特征数据，并基于所述两个样本特征数据的样本标签，确定所述第一特征数据的第一标签；

第二处理模块，用于通过所述第二多模态模型，对至少两种模态的无标签的第二特征数据进行处理，得到所述第二特征数据的第二标签，所述第一特征数据和所述第一特征数据的第一标签、所述第二特征数据和所述第二特征数据的第二标签用于训练所述第二多模态模型。

9.一种计算设备，其特征在于，所述计算设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1至7中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法。

Images