CN118260713A - 一种多模态数据的融合方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种多模态数据的融合方法、装置及设备，该方法包括：获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到对应的第一数据表征，获取序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成输入序列编码信息，将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到对应的融合表征。

Description

一种多模态数据的融合方法、装置及设备

技术领域

本文件涉及计算机技术领域，尤其涉及一种多模态数据的融合方法、装置及设备。

背景技术

随着人们对自己的隐私数据越来越重视，资源交易中的风险防控业务也变得越来越重要。资源交易中的风险防控业务中，最常使用的数据模态是表格型Tabular数据对应的模态与资源交易序列数据模态，在对风险防控进行建模时，如何有效融合不同模态的模态数据，以获得更好的模型效果。

神经网络中进行模态融合的处理过程可以如对不同模态的模态数据进行编码处理后，将各自模态的模态数据的表征拼接在一起，然后，可以连接一个分类头进行分类预测，该方式简单且适用，但通过上述方式进行多模态的模态数据的融合时，往往会遇到不同模态的模态数据之间“负迁移”的情况，即在进行模型训练时由于不同模态的表证模型收敛速度不一致，导致最终融合的效果可能相比于较优单模态的模态数据融合更差一些，一种可行的解决方式是对不同模态的表证模型对应的网络结构设定不同的学习率，但是，上述方式是一个非常繁琐的调参过程。为此，需要提供一种更优且更简化的多模态数据的融合方案。

发明内容

本说明书实施例的目的是提供一种更优且更简化的多模态数据的融合方案。

为了实现上述技术方案，本说明书实施例是这样实现的：

本说明书实施例提供的一种多模态数据的融合方法，所述方法包括：获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态。将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征。获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息。基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

本说明书实施例提供的一种多模态数据的融合装置，所述装置包括：数据获取模块，获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态。第一表征模块，将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征。输入编码确定模块，获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息。融合表征模块，基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

本说明书实施例提供的一种多模态数据的融合设备，所述多模态数据的融合设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态。将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征。获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息。基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

本说明书实施例还提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态。将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征。获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息。基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；

图1为本说明书一种多模态数据的融合方法实施例；

图2为本说明书一种多模态数据的融合过程的示意图；

图3为本说明书另一种多模态数据的融合方法实施例；

图4为本说明书又一种多模态数据的融合方法实施例；

图5为本说明书一种第一模态编码子模型的结构示意图；

图6为本说明书又一种多模态数据的融合方法实施例；

图7为本说明书一种第二模态编码子模型的结构示意图；

图8为本说明书一种模态融合模型的训练过程的示意图；

图9为本说明书另一种模态融合模型的训练过程的示意图；

图10为本说明书另一种多模态数据的融合过程的示意图；

图11为本说明书一种多模态数据的融合装置实施例；

图12为本说明书另一种多模态数据的融合装置实施例；

图13为本说明书一种多模态数据的融合设备实施例。

具体实施方式

本说明书实施例提供一种多模态数据的融合方法、装置及设备。

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

本说明书实施例提供一种不同模态的模态数据的紧耦合模态融合机制，资源交易中的风险防控业务中，最常使用的数据模态是表格型Tabular数据对应的模态与资源交易序列数据模态，其中Tabular数据模态描述的是一个用户的基本身份信息与资源累计交易特征。资源交易序列数据模态描述的是某用户在一段时间内资源流入和流出的序列数据的模态。在对风险防控进行建模时，如何有效融合不同模态的模态数据，以获得更好的模型效果。

神经网络中进行模态融合的处理过程可以如对不同模态的模态数据进行编码处理后，将各自模态的模态数据的表征拼接在一起，然后，可以连接一个分类头进行分类预测，该方式简单且适用，但是由于缺少不同模态之间的信息融合，往往无法达到较好的模型效果。本说明书实施例通过将非序列化模态的模态数据的编码嵌入到序列化模态的模态数据对应的编码信息中，从而进行表征确定处理，实现更加紧密的模态融合，从而具备潜在更好的效果。多模态的模态数据在进行模态数据融合时，往往会遇到不同模态的模态数据之间“负迁移”的情况，即在进行模型训练时由于不同模态的表证模型收敛速度不一致，导致最终融合的效果可能相比于较优单模态的模态数据融合更差一些，一种可行的解决方式是对不同模态的表证模型对应的网络结构设定不同的学习率，但是，上述方式是一个非常繁琐的调参过程，本说明书实施例通过先将非序列化模态的模态数据对应的第一模态编码子模型学习到较优，然后保持对应模型参数不变，在进行模态数据融合处理时，其本质是一个贪心学习的过程，让单个模态的模态数据逐步达到较优状态，从而得到一个局部较优值。具体处理可以参见下述实施例中的具体内容。

如图1所示，本说明书实施例提供一种多模态数据的融合方法，该方法的执行主体可以为终端设备或服务器等，其中的终端设备可以如手机、平板电脑等移动终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以为IoT设备(具体如智能手表、车载设备等)等，其中的服务器可以是独立的一个服务器，还可以是由多个服务器构成的服务器集群等，该服务器可以是如金融业务或网络购物业务等的后台服务器，也可以是某应用程序的后台服务器等。本实施例中以执行主体为服务器为例进行详细说明，对于执行主体为终端设备的情况，可以参见下述服务器的情况处理，在此不再赘述。该方法具体可以包括以下步骤：

在步骤S102中，获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，该序列化模态为序列化数据对应的模态，该非序列化模态为非序列化数据对应的模态。

其中，资源交易可以包括多种，例如，资源交易可以为金融业务中的资金交易，或者，资源交易也可以为某商品的买卖交易等，具体可以根据实际情况设定，本说明书实施例对此不做限定。该业务数据可以包括多种，例如，该业务数据可以包括用户身份信息、用户行为序列数据、交易累计数据、交易序列数据和SPM操作序列数据等，具体可以根据实际情况设定，本说明书实施例对此不做限定。序列化数据可以是基于时间顺序等方式排列的数据队列，具体如，用户行为序列数据、交易序列数据等，非序列化数据可以包括多种，例如，非序列化数据可以包括结构化数据(如上述表格型Tabular数据)、图像数据等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实施中，当某用户需要执行资源交易中的风险防控业务时，可以获取执行该风险防控业务的过程中涉及的业务数据，可以对该业务数据进行分析，基于分析结果对上述业务数据进行不同模态(本实施例中包括序列化模态和非序列化模态)的划分，从而将上述业务数据划分为包括序列化模态的模态数据和非序列化模态的模态数据的多个不同模态的模态数据。

在步骤S104中，将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征。

其中，模态融合模型可以是用于将不同模态的模态数据进行融合的模型，模态融合模型可以通过多种不同的算法或网络构建，例如，模态融合模型可以通过一个或多个不同的神经网络构建，或者，模态融合模型可以通过一种或多种不同的特征提取算法构建，或者，模态融合模型还可以通过神经网络和数据增强算法(或数据增强网络)构建，或者，模态融合模型还可以通过特征提取算法和数据增强算法(或数据增强网络)构建等，具体可以根据实际情况设定，本说明书实施例对此不做限定。第一模态编码子模型可以是对非序列化模态的模态数据进行编码或表征的子模型，第一模态编码子模型可以包括一个或多个，可以针对不同非序列化模态的模态数据分别设置相应的第一模态编码子模型，例如，可以为结构化数据设置相应的第一模态编码子模型，也可以为图像数据设置相应的第一模态编码子模型等，第一模态编码子模型可以对指定非序列化模态的模态数据进行编码，以得到该模态数据对应的编码信息，可以将该编码信息作为该模态数据的表征，其中的表征可以是以更简洁的方式表示指定模态数据的信息，或者，也可以对编码信息进行处理后得到的数据可以作为该模态数据的表征，具体可以根据实际情况。第一模态编码子模型可以通过多种不同的算法或网络构建，例如，可以通过预设的映射算法，将模态数据映射为一个矩阵或向量，或者，可以通过神经网络构建第一模态编码子模型等，具体可以根据实际情况设定。第一数据表征可以是一个数值，也可以是一串字符，还可以是一个矩阵或向量，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实施中，如图2所示，为了对不同模态的模态数据进行融合，可以预先设定模态融合模型，此外，为了对每种非序列化模态的模态数据进行编码或表征，可以在模态融合模型中预先设置一个或多个不同的第一模态编码子模型，可以获取相应的算法，并可以基于该算法构建第一模态编码子模型的架构，该第一模态编码子模型的输入数据可以为某种非序列化模态的模态数据，输出数据可以为一种数据表征，具体如，第一模态编码子模型可以包含自注意力机制的神经网络的编码子模型。然后，可以获取训练样本，并可以使用该训练样本对包括第一模态编码子模型在内的模态融合模型进行有监督的模型训练，得到训练后的模态融合模型，从而也可以得到训练后的第一模态编码子模型。

可以将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，通过第一模态编码子模型，可以对相应非序列化模态的模态数据进行编码处理，得到每种非序列化模态的模态数据对应的第一数据表征。例如，非序列化模态的模态数据可以包括图像数据和结构化数据，可以将图像数据输入到模态融合模型中图像数据对应的第一模态编码子模型中，通过图像数据对应的第一模态编码子模型，可以对图像数据进行编码处理，得到图像数据对应的第一数据表征，同时，可以将结构化数据输入到模态融合模型中结构化数据对应的第一模态编码子模型中，通过结构化数据对应的第一模态编码子模型，可以对结构化数据进行编码处理，得到结构化数据对应的第一数据表征。

需要说明的是，上述第一模态编码子模型是随着模态融合模型进行整体的模型训练后得到的，在实际应用中，还可以使用相应的训练样本对不同的第一模态编码子模型进行独立训练，分别得到独立训练得到的第一模态编码子模型，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在步骤S106中，获取上述序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和该数据序列中的每个数据所在的位置对应的第一位置编码信息。

其中，第二位置编码信息可以是用来表征词语或数据的位置信息的编码信息，可以通过余弦编码的方式确定。第一位置编码信息可以是用来表征数据的位置信息的编码信息，也可以通过余弦编码等方式确定。

在实施中，由于序列化模态的模态数据是基于时间顺序等方式排列的数据队列，该数据队列中包括依次排列的不同数据，每个数据可以存在相应的表征，每个数据在该数据队列中存在相应的相对位置，为此，可以获取序列化模态的模态数据中的数据序列对应的编码信息(或表征)，例如，可以通过指定的编码器或神经网络模型或特征提取算法等对序列化模态的模态数据中的数据序列进行编码处理，得到该数据序列对应的编码信息(或表征)。同时，还可以为每个数据在该数据队列中相应的相对位置进行编码处理，例如，可以通过余弦编码的方式对每个数据在该数据队列中相应的相对位置进行编码处理等，从而可以得到该数据序列中的每个数据所在的位置对应的第一位置编码信息，通过上述方式，可以得到上述序列化模态的模态数据对应的输入编码信息。

基于上述内容，序列化模态的模态数据是基于时间顺序等方式排列的数据队列，非序列化模态的模态数据并不是序列型数据，而往往是一个数据或两个数据等少量数据，且不存在基于时间顺序等方式排列的数据队列，因此，可以将非序列化模态的模态数据对应的数据表征插入到序列化模态的模态数据对应的编码序列中，从而形成一个新的输入序列，具体地，可以根据实际情况或专家经验预先设置每个第一数据表征在序列化模态的模态数据对应的编码序列中的位置，例如，可以将第一数据表征放置在序列化模态的模态数据对应的编码序列的最前方(即可以作为该编码序列的前缀)，或者，可以将第一数据表征放置在序列化模态的模态数据对应的编码序列的最后方(即可以作为该编码序列的后缀)，或者，可以将第一数据表征放置在序列化模态的模态数据对应的编码序列中的指定位置(例如中间位置或编码序列中指定编码的前方或后方等)等，从而可以得到每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息。

在步骤S108中，基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成上述业务数据对应的输入序列编码信息，将该输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到该业务数据对应的融合表征。

其中，第二模态编码子模型可以是对序列化模态的模态数据进行编码或表征的子模型，第二模态编码子模型可以对指定序列化模态的模态数据进行编码，以得到该模态数据对应的编码信息，可以将该编码信息作为该模态数据的表征，或者，也可以对编码信息进行处理后得到的数据可以作为该模态数据的表征，具体可以根据实际情况。第二模态编码子模型可以通过多种不同的算法或网络构建，例如，可以通过预设的映射算法，将模态数据映射为一个矩阵或向量，或者，可以通过神经网络构建第二模态编码子模型等，具体可以根据实际情况设定。

在实施中，可以根据每个第一数据表征对应的第二位置编码信息，将相应的第一数据表征插入到上述输入编码信息中，最终可以生成一个新的编码序列，生成的新的编码序列即可以为上述业务数据对应的输入序列编码信息。

如图2所示，可以预先设定模态融合模型，此外，为了对每种非序列化模态的模态数据进行编码或表征，可以在模态融合模型中预先设置一个或多个不同的第一模态编码子模型，可以获取相应的算法，并可以基于该算法构建第一模态编码子模型的架构，该第一模态编码子模型的输入数据可以为某种非序列化模态的模态数据，输出数据可以为一种数据表征，具体如，第一模态编码子模型可以包含自注意力机制的神经网络的编码子模型。另外，为了对序列化模态的模态数据进行编码或表征，可以在模态融合模型中预先设置第二模态编码子模型，可以获取相应的算法，并可以基于该算法构建第二模态编码子模型的架构，该第二模态编码子模型的输入数据可以为序列化模态的模态数据，输出数据可以为一种数据表征，具体如，第二模态编码子模型可以包含预设神经网络的编码子模型。然后，可以获取训练样本，并可以使用该训练样本对包括第一模态编码子模型和第二模态编码子模型在内的模态融合模型进行有监督的模型训练，得到训练后的模态融合模型，从而也可以得到训练后的第一模态编码子模型和训练后的第二模态编码子模型。

可以将序列化模态的模态数据输入到模态融合模型中的第二模态编码子模型中，通过第二模态编码子模型，可以对序列化模态的模态数据进行编码处理，得到序列化模态的模态数据对应的数据表征，由于该数据表征是集合了非序列化模态的模态数据和序列化模态的模态数据的表征，因此，该数据表征即为该业务数据对应的融合表征。

需要说明的是，上述第二模态编码子模型是随着模态融合模型进行整体的模型训练后得到的，在实际应用中，还可以使用相应的训练样本对第二模态编码子模型进行独立训练，得到独立训练得到的第二模态编码子模型，具体可以根据实际情况设定，本说明书实施例对此不做限定。

本说明书实施例提供一种多模态数据的融合方法，通过获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，序列化模态为序列化数据对应的模态，非序列化模态为非序列化数据对应的模态，然后，可以将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征，之后，可以获取序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和数据序列中的每个数据所在的位置对应的第一位置编码信息，最终，可以基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成业务数据对应的输入序列编码信息，将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到业务数据对应的融合表征，这样，通过将非序列化模态的模态数据(如Tabular数据)的编码嵌入到序列化模态的模态数据中，并将其输入到第二模态编码子模型中进行计算，从而提供一种更优且更简洁的多模态数据的融合方案，该方案不仅考虑了模态间交互的问题，且还考虑了不同模态间收敛速度，进而可以实现更加紧密的模态融合，具备潜在更好的效果。

在实际应用中，上述步骤S108中基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成上述业务数据对应的输入序列编码信息的具体处理方式可以多种多样，以下再提供一种可选的处理方式，如图3所示，具体可以包括以下步骤S1082和步骤S1084的处理。

在步骤S1082中，基于每个第一数据表征和相应的第二位置编码信息，确定非序列化模态的模态数据对应的目标输入编码信息。

在实施中，对于可以将第一数据表征放置在序列化模态的模态数据对应的编码序列的最前方(即可以作为该编码序列的前缀)，或者，可以将第一数据表征放置在序列化模态的模态数据对应的编码序列的最后方(即可以作为该编码序列的后缀)等情况，可以将每个第一数据表征和相应的第二位置编码信息进行拼接，得到第一数据表征的队列，该第一数据表征的队列可以确定为非序列化模态的模态数据对应的目标输入编码信息。

在步骤S1084中，将目标输入编码信息和输入编码信息进行拼接处理，得到上述业务数据对应的输入序列编码信息。

在实施中，可以将目标输入编码信息以前缀或后缀的方式与输入编码信息进行拼接处理，拼接后得到的新的编码序列即可以作为上述业务数据对应的输入序列编码信息。

在实际应用中，上述步骤S104的具体处理方式可以多种多样，以下再提供一种可选的处理方式，如图4所示，具体可以包括以下步骤S1042～步骤S1048的处理。

在步骤S1042中，将每种非序列化模态的模态数据分别输入到第一模态编码子模型中的分箱模块和分位模块中，通过分箱模块对非序列化模态的模态数据进行分箱变换，得到多个分箱数据，并通过分位模块对非序列化模态的模态数据进行分位数处理，得到分位数据。

其中，分箱模块可以用于对数据进行分箱变换，分箱变换的目的可以旨在对数据进行离散化处理。分位模块可以用于对数据进行分位数变换，分位数变换的目的可以旨在对数据进行归一化计算。

在实施中，如图5所示，可以根据实际情况，在第一模态编码子模型中设置分箱模块和分位模块，一方面，可以将每种非序列化模态的模态数据分别输入到第一模态编码子模型中的分箱模块中，通过分箱模块对非序列化模态的模态数据进行分箱变换，以对非序列化模态的模态数据进行离散化，得到离散的多个分箱数据。另一方面，可以将非序列化模态的模态数据输入到第一模态编码子模型中的分位模块中，通过分位模块对非序列化模态的模态数据进行分位数变换(或分位数处理)，以对非序列化模态的模态数据进行归一化计算，得到相应的分位数据。

在步骤S1044中，将多个分箱数据分别输入到第一模态编码子模型中的第一表征模块中，得到每个分箱数据对应的数据表征，并将上述分位数据输入到第一模态编码子模型中的第二表征模块中，得到该分位数据对应的数据表征。

其中，第一表征模块可以是用于确定数据的表征的模块，第一表征模块可以通过多种不同的算法或网络构建，例如，第一表征模块可以通过一个或多个不同的神经网络构建，或者，第一表征模块可以通过一种或多种不同的特征提取算法构建，或者，第一表征模块还可以通过神经网络和数据增强算法(或数据增强网络)构建，或者，第一表征模块还可以通过特征提取算法和数据增强算法(或数据增强网络)构建等，具体可以根据实际情况设定，本说明书实施例对此不做限定。第二表征模块可以与第一表征模块类似，第二表征模块可以是用于确定数据的表征的模块，第二表征模块可以通过多种不同的算法或网络构建。

在实施中，如图5所示，可以根据实际情况，在第一模态编码子模型中设置第一表征模块和第二表征模块，一方面，可以将多个分箱数据分别输入到第一模态编码子模型中的第一表征模块中，通过第一表征模块获取每个分箱数据对应的数据表征，另一方面，可以将分位数据输入到第一模态编码子模型中的第二表征模块中，通过第二表征模块获取分位数据对应的数据表征。

在步骤S1046中，将每个分箱数据对应的数据表征和上述分位数据对应的数据表征输入到第一模态编码子模型中的融合模块中，以将多个分箱数据对应的数据表征分别与该分位数据对应的数据表征进行融合处理，得到融合表征。

其中，融合模块可以是基于预设的融合算法构建，融合算法可以包括多种，例如，融合算法可以包括加权求和算法、基于神经网络构建的算法等，或者，融合模块可以是将输入的两个数据直接进行拼接的模块等，具体可以根据实际情况设定。

在实施中，如图5所示，可以将每个分箱数据对应的数据表征和分位数据对应的数据表征输入到第一模态编码子模型中的融合模块中，通过融合模块中的融合算法，可以将多个分箱数据对应的数据表征分别与分位数据对应的数据表征进行融合处理，或者，通过融合模块中的融合算法，将多个分箱数据对应的数据表征分别与分位数据对应的数据表征进行拼接，以将多个分箱数据对应的数据表征分别与分位数据对应的数据表征进行融合处理，得到融合表征。

在步骤S1048中，将上述融合表征输入到第一模态编码子模型中的第三表征模块中，得到每种非序列化模态的模态数据对应的第一数据表征。

其中，第三表征模块可以是用于对某表征进一步进行表征提取的模块，第三表征模块可以通过多种不同的算法(数据增强算法、特征提取算法)和/或网络(如神经网络、数据增强网络)构建，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实际应用中，上述步骤S106中获取序列化模态的模态数据对应的输入编码信息的具体处理方式可以多种多样，以下再提供一种可选的处理方式，如图6所示，具体可以包括以下步骤S1062～步骤S1068的处理。

在步骤S1062中，将序列化模态的模态数据分别输入到第二模态编码子模型中的分箱模块和分位模块中，得到多个序列分箱数据和序列分位数据。

在实施中，如图7所示，可以根据实际情况，在第二模态编码子模型中设置分箱模块和分位模块，一方面，可以将序列化模态的模态数据输入到第二模态编码子模型中的分箱模块中，通过分箱模块对序列化模态的模态数据进行分箱变换，以对序列化模态的模态数据进行离散化，得到离散的多个序列分箱数据。另一方面，可以将序列化模态的模态数据输入到第二模态编码子模型中的分位模块中，通过分位模块对序列化模态的模态数据进行分位数变换(或分位数处理)，以对序列化模态的模态数据进行归一化计算，得到相应的序列分位数据。

在步骤S1064中，将多个序列分箱数据分别输入到第二模态编码子模型中的第四表征模块中，得到每个序列分箱数据对应的数据表征，并将序列分位数据输入到第二模态编码子模型中的第五表征模块中，得到序列分位数据对应的数据表征。

其中，第四表征模块可以是用于确定数据的表征的模块，第四表征模块可以通过多种不同的算法(数据增强算法、特征提取算法)和/或网络(如神经网络、数据增强网络)构建，具体可以根据实际情况设定，本说明书实施例对此不做限定。第五表征模块可以是用于确定数据的表征的模块，第五表征模块可以通过多种不同的算法(数据增强算法、特征提取算法)和/或网络(如神经网络、数据增强网络)构建，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在步骤S1066中，将每个序列分箱数据对应的数据表征和序列分位数据对应的数据表征输入到第二模态编码子模型中的融合模块，以将多个序列分箱数据对应的数据表征分别与序列分位数据对应的数据表征进行融合处理，得到序列融合表征。

其中，第二模态编码子模型中的融合模块可以是基于预设的融合算法构建，融合算法可以包括多种，例如，融合算法可以包括加权求和算法、基于神经网络构建的算法等，或者，第二模态编码子模型中的融合模块可以是将输入的两个数据直接进行拼接的模块等，具体可以根据实际情况设定。

在步骤S1068中，将序列融合表征输入到第二模态编码子模型中的第六表征模块中，得到序列化模态的模态数据对应的输入编码信息。

其中，第六表征模块可以是用于对某表征进一步进行表征提取的模块，第六表征模块可以通过多种不同的算法(数据增强算法、特征提取算法)和/或网络(如神经网络、数据增强网络)构建，具体可以根据实际情况设定，本说明书实施例对此不做限定。

上述步骤S1062～步骤S1068的具体处理可以参见图7和上述相关内容，在此不再赘述。

基于上述处理，上述步骤S108中将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到上述业务数据对应的融合表征的处理可以包括：将输入序列编码信息输入到第二模态编码子模型中的Transformer模块中，得到该业务数据对应的融合表征。

其中，如图7所示，Transformer模块中可以包括多头注意力Muti-Head Attention层、Add&Norm层、前馈神经网络层和Add&Norm层，其中的Muti-Head Attention层可以用于提取不同数据之间的注意力信息，Add&Norm层可以用于将上一网络层的输入数据与当前Add&Norm层的输入数据进行相加，并对数据的维度进行归一化处理，前馈神经网络层可以用于是进行非线性运算，以提取非线性信息。

在实际应用中，对模态融合模型进行训练的时可以多种多样，除了可以通过上述步骤S104～步骤S108中提供的训练方式外，还可以通过其它多种方式对模态融合模型进行训练，例如，如图8所示，还可以通过下述方式对模态融合模型进行训练，具体可以参见下述步骤A02～步骤A12的处理。

在步骤A02中，获取多种不同模态的模态数据样本，并获取用于训练第一模态编码子模型的非序列化模态的第一模态数据样本，多种不同模态的模态数据样本中包含序列化模态的模态数据样本和非序列化模态的第二模态数据样本。

其中，多种不同模态的模态数据样本中还可以包括相应的标签数据，第一模态数据样本中也可以包括相应的标签信息。

在步骤A04中，基于非序列化模态的第一模态数据样本和预设的第一损失函数对第一模态编码子模型进行有监督的模型训练，得到训练后的第一模态编码子模型。

其中，第一损失函数可以为交叉熵损失函数、均方误差损失函数或L2损失函数等，具体可以根据实际情况设定，本说明书实施例对此不做限定。需要说明的是，在通过第一损失函数计算相应的损失的过程中，可以预先对上述标签信息进行编码处理，得到相应的编码或数据表征，具体可以为矩阵或向量等，后续可以与相应子模型的输出结果之间计算相应的损失信息。

在实施中，可以将非序列化模态的第一模态数据样本输入到第一模态编码子模型中，通过第一模态编码子模型，可以对非序列化模态的第一模态数据样本进行编码处理，得到非序列化模态的第一模态数据样本对应的表征，可以通过第一损失函数，计算非序列化模态的第一模态数据样本对应的表征与相应的标签信息对应的表征之间的损失信息，基于该损失信息调整第一模态编码子模型的模型参数，然后，继续通过上述处理调整第一模态编码子模型的模型参数，直到第一损失函数收敛，得到训练后的第一模态编码子模型。

在步骤A06中，将每种非序列化模态的第二模态数据分别输入到训练后的第一模态编码子模型中，得到每种非序列化模态的第二模态数据对应的第一样本表征。

在步骤A08中，获取序列化模态的模态数据样本对应的样本输入编码信息，并确定每个第一样本表征插入到样本输入编码信息中的位置对应的第二样本位置编码信息，样本输入编码信息包括序列化模态的模态数据样本中数据序列的样本编码信息和该数据序列中的每个数据所在的位置对应的第一样本位置编码信息。

上述步骤A06和步骤A08的具体处理可以参见图8和上述相关内容，在此不再赘述。

在步骤A10中，基于每个第一样本表征和相应的第二样本位置编码信息，以及样本输入编码信息，生成多种不同模态的模态数据样本对应的样本输入序列编码信息，并基于样本输入序列编码信息和预设的第二损失函数，在训练后的第一模态编码子模型中的模型参数保持不变的情况下，对模态融合模型中的第二模态编码子模型进行有监督的模型训练，得到训练后的第二模态编码子模型。

其中，第二损失函数可以为交叉熵损失函数、均方误差损失函数或L2损失函数等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实施中，可以基于每个第一样本表征和相应的第二样本位置编码信息，以及样本输入编码信息，生成多种不同模态的模态数据样本对应的样本输入序列编码信息，具体处理过程可以参见上述相关内容，在此不再赘述。然后，可以将样本输入序列编码信息输入到第二模态编码子模型中，通过第二模态编码子模型，可以对样本输入序列编码信息进行编码处理，得到样本输入序列编码信息对应的表征，可以通过第二损失函数，计算样本输入序列编码信息对应的表征与相应的标签信息对应的表征之间的损失信息，基于该损失信息，并在训练后的第一模态编码子模型中的模型参数保持不变的情况下，调整第二模态编码子模型的模型参数，然后，继续通过上述处理，在训练后的第一模态编码子模型中的模型参数保持不变的情况下，调整第二模态编码子模型的模型参数，直到第二损失函数收敛，得到训练后的第二模态编码子模型。

需要说明的是，第一模态编码子模型和第二模态编码子模型对相应的数据进行处理的过程，可以参见上述图5和图7，以及上述第一模态编码子模型和第二模态编码子模型的结构相关的具体处理内容(即第一模态编码子模型中包括分箱模块、分位模块、第一表征模块、第二表征模块、融合模块和第三表征模块等，第二模态编码子模型中包括分箱模块、分位模块、第四表征模块、第五表征模块、融合模块、第六表征模块和Transformer模块等的相关内容)执行，在此不再赘述。

在步骤A12中，基于训练后的第一模态编码子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型。

在实施中，可以基于训练后的第一模态编码子模型和训练后的第二模态编码子模型，以及上述两个子模型的相对位置结构，构建相应的模态融合模型，或者，基于训练后的第一模态编码子模型和训练后的第二模态编码子模型，以及预设的其它网络子模型(如表征增强子模型等，表征增强子模型可以对指定模态数据对应的数据表征进行增强处理，以增强初始得到的数据表征，表征增强子模型可以通过多种不同的算法或网络构建，例如，可以通过神经网络构建表征增强子模型，或者，可以通过指定的数据增强算法(具体如SMOTE(Synthetic Minority Oversampling Technique，合成少数过采样技术)算法或ADASYN(Adaptive Synthetic sampling，自适应合成采样)算法等)构建表征增强子模型，或者，可以通过对抗生成网络构建表征增强子模型等，具体可以根据实际情况设定)，通过预设的上述多个子模型的相对位置结构，构建相应的模态融合模型等，最终，可以得到训练后的模态融合模型。

在实际应用中，上述步骤A04的具体处理方式可以多种多样，以下再提供一种可选的处理方式，如图9所示，具体可以包括：基于非序列化模态的第一模态数据样本和预设的第一损失函数对第一模态编码子模型和表征增强模型进行有监督的联合训练，得到训练后的第一模态编码子模型，表征增强模型用于对第一模态编码子模型的输出表征进行表征增强处理。

其中，表征增强模型可以包括一个或多个，表征增强模型可以对指定模态的模态数据对应的数据表征进行增强处理，以增强初始得到的数据表征。表征增强模型可以通过多种不同的算法或网络构建，例如，可以通过神经网络构建表征增强模型，或者，可以通过指定的数据增强算法(具体如SMOTE算法或ADASYN算法等)构建表征增强模型，或者，可以通过对抗生成网络构建表征增强模型等，具体可以根据实际情况设定。

在实施中，可以将非序列化模态的第一模态数据样本输入到第一模态编码子模型中，通过第一模态编码子模型，可以对非序列化模态的第一模态数据样本进行编码处理，得到非序列化模态的第一模态数据样本对应的表征，然后，可以将非序列化模态的第一模态数据样本对应的表征输入到表征增强模型中，得到非序列化模态的第一模态数据样本对应的增强表征。可以通过第一损失函数，计算非序列化模态的第一模态数据样本对应的增强表征与相应的标签信息对应的表征之间的损失信息，基于该损失信息调整第一模态编码子模型的模型参数，以对第一模态编码子模型和表征增强模型进行有监督的联合训练，然后，继续通过上述处理调整第一模态编码子模型的模型参数，直到第一损失函数收敛，得到训练后的第一模态编码子模型。

如图9所示，对第一模态编码子模型和表征增强模型进行有监督的联合训练后，可以只选取其中的训练后的第一模态编码子模型，然后，可以将联合训练后得到的训练后的第一模态编码子模型以冻结其中模型参数的方式对第二模态编码子模型进行有监督的模型训练。

在实际应用中，上述步骤A10中基于样本输入序列编码信息和预设的第二损失函数，在训练后的第一模态编码子模型中的模型参数保持不变的情况下，对模态融合模型中的第二模态编码子模型进行有监督的模型训练，得到训练后的第二模态编码子模型的具体处理方式可以多种多样，以下再提供一种可选的处理方式，如图9所示，具体可以包括以下内容：基于样本输入序列编码信息和预设的第二损失函数，在保持训练后的第一模态编码子模型中的模型参数不变的情况下，对第二模态编码子模型和表征增强子模型进行有监督的联合训练，得到训练后的第二模态编码子模型和训练后的表征增强子模型，表征增强子模型用于对第二模态编码子模型的输出表征进行表征增强处理。

其中，表征增强子模型可以包括一个或多个，表征增强子模型可以对指定模态数据对应的数据表征进行增强处理，以增强初始得到的数据表征。表征增强子模型可以通过多种不同的算法或网络构建，例如，可以通过神经网络构建表征增强子模型，或者，可以通过指定的数据增强算法(具体如SMOTE算法或ADASYN算法等)构建表征增强子模型，或者，可以通过对抗生成网络构建表征增强子模型等，具体可以根据实际情况设定。

在实施中，如图9所示，可以将样本输入序列编码信息输入到第二模态编码子模型中，通过第二模态编码子模型，可以对样本输入序列编码信息进行编码处理，得到样本输入序列编码信息对应的表征，然后，可以将样本输入序列编码信息对应的表征输入到表征增强子模型中，得到样本输入序列编码信息对应的增强表征。可以通过第二损失函数，计算样本输入序列编码信息对应的增强表征与相应的标签信息对应的表征之间的损失信息，基于该损失信息，并在训练后的第一模态编码子模型中的模型参数保持不变的情况下，调整第二模态编码子模型的模型参数和表征增强子模型的模型参数，然后，继续通过上述处理，在训练后的第一模态编码子模型中的模型参数保持不变的情况下，调整第二模态编码子模型的模型参数和表征增强子模型的模型参数，直到第二损失函数收敛，得到训练后的第二模态编码子模型和训练后的表征增强子模型。

基于上述处理，上述步骤A12的处理可以包括：基于训练后的第一模态编码子模型、训练后的表征增强子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型。

在实施中，如图9所示，基于训练后的第一模态编码子模型和训练后的第二模态编码子模型，以及训练后的表征增强子模型，通过预设的上述多个子模型的相对位置结构，构建相应的模态融合模型等，最终，可以得到训练后的模态融合模型。

基于上述图9所示的处理方式得到训练后的模态融合模型后，可以使用此处训练后的模态融合模型(如图10所示)对多模态数据进行融合处理，可以包括：如图10所示，获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，该序列化模态为序列化数据对应的模态，该非序列化模态为非序列化数据对应的模态；将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征；获取上述序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和该数据序列中的每个数据所在的位置对应的第一位置编码信息；基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成上述业务数据对应的输入序列编码信息，将该输入序列编码信息输入到模态融合模型中的第二模态编码子模型和表征增强子模型中，得到该业务数据对应的融合表征(具体地，可以将该输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到该业务数据对应的初始融合表征，将初始融合表征输入到表征增强子模型中，得到增强的融合表征，增强的融合表征即可以为该业务数据对应的融合表征)。

在实际应用中，上述第一损失函数基于交叉熵损失函数构建，第二损失函数基于交叉熵损失函数构建，表征增强子模型和表征增强模型是基于多层感知机MLP构建的模型。

本说明书实施例提供一种多模态数据的融合方法，通过获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，序列化模态为序列化数据对应的模态，非序列化模态为非序列化数据对应的模态，然后，可以将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征，之后，可以获取序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和数据序列中的每个数据所在的位置对应的第一位置编码信息，最终，可以基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成业务数据对应的输入序列编码信息，将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到业务数据对应的融合表征，这样，通过将非序列化模态的模态数据(如Tabular数据)的编码嵌入到序列化模态的模态数据中，并将其输入到第二模态编码子模型中进行计算，从而提供一种更优且更简洁的多模态数据的融合方案，该方案不仅考虑了模态间交互的问题，且还考虑了不同模态间收敛速度，进而可以实现更加紧密的模态融合，具备潜在更好的效果。

此外，通过先将非序列化模态对应的第一模态编码子模型学习到较优状态，然后，冻结其模型参数，进行多模态数据的融合本质上是一个贪心学习的过程，让单个模态逐步达到较优状态，从而求得相应的局部较优值。

本说明书实施例提供一种多模态数据的融合方法，该方法的执行主体可以为终端设备或服务器等，其中的终端设备可以如手机、平板电脑等移动终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以为IoT设备(具体如智能手表、车载设备等)等，其中的服务器可以是独立的一个服务器，还可以是由多个服务器构成的服务器集群等，该服务器可以是如金融业务或网络购物业务等的后台服务器，也可以是某应用程序的后台服务器等。本实施例中以执行主体为服务器为例进行详细说明，对于执行主体为终端设备的情况，可以参见下述服务器的情况处理，在此不再赘述。该方法具体可以包括以下步骤：

在步骤B02中，获取执行目标业务的过程中涉及的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，该序列化模态为序列化数据对应的模态，该非序列化模态为非序列化数据对应的模态。

其中，目标业务可以包括多种，例如资源交易(包括金融交易、数据交互等)中的风险防控业务、身份识别业务、信息推荐业务等，不同的目标业务的业务数据可以不同，例如，针对目标业务为资源交易中的风险防控业务，相应的业务数据可以包括用户身份信息、交易累计数据、用户行为序列数据、交易序列数据和SPM操作序列数据等，针对目标业务为身份识别业务，相应的业务数据可以包括用户身份信息、用户行为序列数据等，针对目标业务为信息推荐业务，相应的业务数据可以包括被推荐用户的偏好信息、用户的个人画像、用户对历史推荐信息的点击行为序列信息、历史推荐信息的查看时长等，具体可以根据实际情况设定，本说明书实施例对此不做限定。通过上述方式获取到一种或多种不同目标业务的业务数据后，可以对上述业务数据进行分析，基于分析结果对上述业务数据进行不同模态的划分，从而将上述业务数据划分为多个不同模态的模态数据。

在步骤B04中，将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征。

在步骤B06中，获取上述序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和该数据序列中的每个数据所在的位置对应的第一位置编码信息。

在步骤B08中，基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成上述业务数据对应的输入序列编码信息，将该输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到该业务数据对应的融合表征。

上述步骤B02～步骤B08的具体处理可以参见上述相关内容，在此不再赘述。

在实际应用中，上述步骤B08中基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成上述业务数据对应的输入序列编码信息的具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以包括以下步骤B082和步骤B084的处理。

在步骤B082中，基于每个第一数据表征和相应的第二位置编码信息，确定非序列化模态的模态数据对应的目标输入编码信息。

在步骤B084中，将目标输入编码信息和输入编码信息进行拼接处理，得到上述业务数据对应的输入序列编码信息。

上述步骤B082和步骤B084的具体处理可以参见上述相关内容，在此不再赘述。

在实际应用中，上述步骤B04的具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以包括以下步骤B042～步骤B048的处理。

在步骤B042中，将每种非序列化模态的模态数据分别输入到第一模态编码子模型中的分箱模块和分位模块中，通过分箱模块对非序列化模态的模态数据进行分箱变换，得到多个分箱数据，并通过分位模块对非序列化模态的模态数据进行分位数处理，得到分位数据。

在步骤B044中，将多个分箱数据分别输入到第一模态编码子模型中的第一表征模块中，得到每个分箱数据对应的数据表征，并将上述分位数据输入到第一模态编码子模型中的第二表征模块中，得到该分位数据对应的数据表征。

在步骤B046中，将每个分箱数据对应的数据表征和上述分位数据对应的数据表征输入到第一模态编码子模型中的融合模块中，以将多个分箱数据对应的数据表征分别与该分位数据对应的数据表征进行融合处理，得到融合表征。

在步骤B048中，将上述融合表征输入到第一模态编码子模型中的第三表征模块中，得到每种非序列化模态的模态数据对应的第一数据表征。

上述步骤B042～步骤B048的具体处理可以参见上述相关内容，在此不再赘述。

在实际应用中，上述步骤B06中获取序列化模态的模态数据对应的输入编码信息的具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以包括以下步骤B062～步骤B068的处理。

在步骤B062中，将序列化模态的模态数据分别输入到第二模态编码子模型中的分箱模块和分位模块中，得到多个序列分箱数据和序列分位数据。

在步骤B064中，将多个序列分箱数据分别输入到第二模态编码子模型中的第四表征模块中，得到每个序列分箱数据对应的数据表征，并将序列分位数据输入到第二模态编码子模型中的第五表征模块中，得到序列分位数据对应的数据表征。

在步骤B066中，将每个序列分箱数据对应的数据表征和序列分位数据对应的数据表征输入到第二模态编码子模型中的融合模块，以将多个序列分箱数据对应的数据表征分别与序列分位数据对应的数据表征进行融合处理，得到序列融合表征。

在步骤B068中，将序列融合表征输入到第二模态编码子模型中的第六表征模块中，得到序列化模态的模态数据对应的输入编码信息。

上述步骤B062～步骤B068的具体处理可以参见上述相关内容，在此不再赘述。

基于上述处理，上述步骤B08中将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到上述业务数据对应的融合表征的处理可以包括：将输入序列编码信息输入到第二模态编码子模型中的Transformer模块中，得到该业务数据对应的融合表征。

具体处理可以参见上述相关内容，在此不再赘述。

在实际应用中，可以通过上述步骤A02～步骤A12方式对模态融合模型进行训练，具体可以参见上述相关内容，在此不再赘述。

在实际应用中，基于非序列化模态的第一模态数据样本和预设的第一损失函数对第一模态编码子模型进行有监督的模型训练，得到训练后的第一模态编码子模型，包括：基于非序列化模态的第一模态数据样本和预设的第一损失函数对第一模态编码子模型和表征增强模型进行有监督的联合训练，得到训练后的第一模态编码子模型，表征增强模型用于对第一模态编码子模型的输出表征进行表征增强处理。

在实际应用中，基于样本输入序列编码信息和预设的第二损失函数，在训练后的第一模态编码子模型中的模型参数保持不变的情况下，对模态融合模型中的第二模态编码子模型进行有监督的模型训练，得到训练后的第二模态编码子模型，包括：基于样本输入序列编码信息和预设的第二损失函数，在保持训练后的第一模态编码子模型中的模型参数不变的情况下，对第二模态编码子模型和表征增强子模型进行有监督的联合训练，得到训练后的第二模态编码子模型和训练后的表征增强子模型，表征增强子模型用于对第二模态编码子模型的输出表征进行表征增强处理。

基于上述处理，基于训练后的第一模态编码子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型，包括：基于训练后的第一模态编码子模型、训练后的表征增强子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型。

在实际应用中，上述第一损失函数基于交叉熵损失函数构建，第二损失函数基于交叉熵损失函数构建，表征增强子模型和表征增强模型是基于多层感知机MLP构建的模型。

上述各个部分的具体处理可以参见上述相关内容，在此不再赘述。

本说明书实施例提供一种多模态数据的融合方法，通过获取执行目标业务的过程中涉及的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，序列化模态为序列化数据对应的模态，非序列化模态为非序列化数据对应的模态，然后，可以将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征，之后，可以获取序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和数据序列中的每个数据所在的位置对应的第一位置编码信息，最终，可以基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成业务数据对应的输入序列编码信息，将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到业务数据对应的融合表征，这样，通过将非序列化模态的模态数据(如Tabular数据)的编码嵌入到序列化模态的模态数据中，并将其输入到第二模态编码子模型中进行计算，从而提供一种更优且更简洁的多模态数据的融合方案，该方案不仅考虑了模态间交互的问题，且还考虑了不同模态间收敛速度，进而可以实现更加紧密的模态融合，具备潜在更好的效果。

此外，通过先将非序列化模态对应的第一模态编码子模型学习到较优状态，然后，冻结其模型参数，进行多模态数据的融合本质上是一个贪心学习的过程，让单个模态逐步达到较优状态，从而求得相应的局部较优值。

以上为本说明书实施例提供的多模态数据的融合方法，基于同样的思路，本说明书实施例还提供一种多模态数据的融合装置，如图11所示。

该多模态数据的融合装置包括：数据获取模块1101、第一表征模块1102、输入编码确定模块1103和融合表征模块1104，其中：

数据获取模块1101，获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态；

第一表征模块1102，将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征；

输入编码确定模块1103，获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息；

融合表征模块1104，基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

本说明书实施例中，所述融合表征模块1104，包括：

信息构建单元，基于每个所述第一数据表征和相应的第二位置编码信息，确定所述非序列化模态的模态数据对应的目标输入编码信息；

拼接单元，将所述目标输入编码信息和所述输入编码信息进行拼接处理，得到所述业务数据对应的输入序列编码信息。

本说明书实施例中，所述第一表征模块1102，包括：

第一处理单元，将每种所述非序列化模态的模态数据分别输入到所述第一模态编码子模型中的分箱模块和分位模块中，通过所述分箱模块对所述非序列化模态的模态数据进行分箱变换，得到多个分箱数据，并通过所述分位模块对所述非序列化模态的模态数据进行分位数处理，得到分位数据；

第一表征单元，将所述多个分箱数据分别输入到所述第一模态编码子模型中的第一表征模块中，得到每个分箱数据对应的数据表征，并将所述分位数据输入到所述第一模态编码子模型中的第二表征模块中，得到所述分位数据对应的数据表征；

第一融合单元，将所述每个分箱数据对应的数据表征和所述分位数据对应的数据表征输入到所述第一模态编码子模型中的融合模块中，以将多个分箱数据对应的数据表征分别与所述分位数据对应的数据表征进行融合处理，得到融合表征；

第二表征单元，将所述融合表征输入到所述第一模态编码子模型中的第三表征模块中，得到每种所述非序列化模态的模态数据对应的第一数据表征。

本说明书实施例中，所述输入编码确定模块1103，包括：

第二处理单元，将所述序列化模态的模态数据分别输入到所述第二模态编码子模型中的分箱模块和分位模块中，得到多个序列分箱数据和序列分位数据；

第三表征单元，将所述多个序列分箱数据分别输入到所述第二模态编码子模型中的第四表征模块中，得到每个序列分箱数据对应的数据表征，并将所述序列分位数据输入到所述第二模态编码子模型中的第五表征模块中，得到所述序列分位数据对应的数据表征；

第二融合单元，将所述每个序列分箱数据对应的数据表征和所述序列分位数据对应的数据表征输入到所述第二模态编码子模型中的融合模块，以将多个序列分箱数据对应的数据表征分别与所述序列分位数据对应的数据表征进行融合处理，得到序列融合表征；

输入编码确定单元，将所述序列融合表征输入到所述第二模态编码子模型中的第六表征模块中，得到所述序列化模态的模态数据对应的输入编码信息；

所述融合表征模块1104，将所述输入序列编码信息输入到所述第二模态编码子模型中的Transformer模块中，得到所述业务数据对应的融合表征。

本说明书实施例中，所述装置还包括：

样本获取模块，获取多种不同模态的模态数据样本，并获取用于训练所述第一模态编码子模型的非序列化模态的第一模态数据样本，所述多种不同模态的模态数据样本中包含序列化模态的模态数据样本和非序列化模态的第二模态数据样本；

第一训练模块，基于所述非序列化模态的第一模态数据样本和预设的第一损失函数对所述第一模态编码子模型进行有监督的模型训练，得到训练后的第一模态编码子模型；

第二表征模块，将每种所述非序列化模态的第二模态数据分别输入到训练后的第一模态编码子模型中，得到每种所述非序列化模态的第二模态数据对应的第一样本表征；

样本输入编码确定模块，获取所述序列化模态的模态数据样本对应的样本输入编码信息，并确定每个所述第一样本表征插入到所述样本输入编码信息中的位置对应的第二样本位置编码信息，所述样本输入编码信息包括所述序列化模态的模态数据样本中数据序列的样本编码信息和所述数据序列中的每个数据所在的位置对应的第一样本位置编码信息；

第二训练模块，基于每个所述第一样本表征和相应的第二样本位置编码信息，以及所述样本输入编码信息，生成所述多种不同模态的模态数据样本对应的样本输入序列编码信息，并基于所述样本输入序列编码信息和预设的第二损失函数，在保持训练后的第一模态编码子模型中的模型参数不变的情况下，对所述模态融合模型中的第二模态编码子模型进行有监督的模型训练，得到训练后的第二模态编码子模型；

融合模型确定模块，基于训练后的第一模态编码子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型。

本说明书实施例中，所述第一训练模块，基于所述非序列化模态的第一模态数据样本和预设的第一损失函数对所述第一模态编码子模型和表征增强模型进行有监督的联合训练，得到训练后的第一模态编码子模型，所述表征增强模型用于对所述第一模态编码子模型的输出表征进行表征增强处理。

本说明书实施例中，所述第二训练模块，基于所述样本输入序列编码信息和预设的第二损失函数，在保持训练后的第一模态编码子模型中的模型参数不变的情况下，对所述第二模态编码子模型和表征增强子模型进行有监督的联合训练，得到训练后的第二模态编码子模型和训练后的表征增强子模型，所述表征增强子模型用于对所述第二模态编码子模型的输出表征进行表征增强处理；

所述融合模型确定模块，基于训练后的第一模态编码子模型、训练后的表征增强子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型。

本说明书实施例中，所述第一损失函数基于交叉熵损失函数构建，所述第二损失函数基于交叉熵损失函数构建，所述表征增强子模型和所述表征增强模型是基于多层感知机MLP构建的模型。

本说明书实施例提供一种多模态数据的融合装置，通过获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，序列化模态为序列化数据对应的模态，非序列化模态为非序列化数据对应的模态，然后，可以将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征，之后，可以获取序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和数据序列中的每个数据所在的位置对应的第一位置编码信息，最终，可以基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成业务数据对应的输入序列编码信息，将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到业务数据对应的融合表征，这样，通过将非序列化模态的模态数据(如Tabular数据)的编码嵌入到序列化模态的模态数据中，并将其输入到第二模态编码子模型中进行计算，从而提供一种更优且更简洁的多模态数据的融合方案，该方案不仅考虑了模态间交互的问题，且还考虑了不同模态间收敛速度，进而可以实现更加紧密的模态融合，具备潜在更好的效果。

此外，通过先将非序列化模态对应的第一模态编码子模型学习到较优状态，然后，冻结其模型参数，进行多模态数据的融合本质上是一个贪心学习的过程，让单个模态逐步达到较优状态，从而求得相应的局部较优值。

基于同样的思路，本说明书实施例还提供一种多模态数据的融合装置，如图12所示。

该多模态数据的融合装置包括：模态数据获取模块1201、第一数据表征模块1202、编码确定模块1203和融合模块1204，其中：

模态数据获取模块1201，获取执行目标业务的过程中涉及的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态；

第一数据表征模块1202，将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征；

编码确定模块1203，获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息；

融合模块1204，基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

本说明书实施例中，所述融合模块1204，包括：

信息构建单元，基于每个所述第一数据表征和相应的第二位置编码信息，确定所述非序列化模态的模态数据对应的目标输入编码信息；

拼接单元，将所述目标输入编码信息和所述输入编码信息进行拼接处理，得到所述业务数据对应的输入序列编码信息。

本说明书实施例中，所述第一数据表征模块1202，包括：

第一处理单元，将每种所述非序列化模态的模态数据分别输入到所述第一模态编码子模型中的分箱模块和分位模块中，通过所述分箱模块对所述非序列化模态的模态数据进行分箱变换，得到多个分箱数据，并通过所述分位模块对所述非序列化模态的模态数据进行分位数处理，得到分位数据；

第一表征单元，将所述多个分箱数据分别输入到所述第一模态编码子模型中的第一表征模块中，得到每个分箱数据对应的数据表征，并将所述分位数据输入到所述第一模态编码子模型中的第二表征模块中，得到所述分位数据对应的数据表征；

第一融合单元，将所述每个分箱数据对应的数据表征和所述分位数据对应的数据表征输入到所述第一模态编码子模型中的融合模块中，以将多个分箱数据对应的数据表征分别与所述分位数据对应的数据表征进行融合处理，得到融合表征；

第二表征单元，将所述融合表征输入到所述第一模态编码子模型中的第三表征模块中，得到每种所述非序列化模态的模态数据对应的第一数据表征。

本说明书实施例中，所述编码确定模块1203，包括：

第二处理单元，将所述序列化模态的模态数据分别输入到所述第二模态编码子模型中的分箱模块和分位模块中，得到多个序列分箱数据和序列分位数据；

第三表征单元，将所述多个序列分箱数据分别输入到所述第二模态编码子模型中的第四表征模块中，得到每个序列分箱数据对应的数据表征，并将所述序列分位数据输入到所述第二模态编码子模型中的第五表征模块中，得到所述序列分位数据对应的数据表征；

第二融合单元，将所述每个序列分箱数据对应的数据表征和所述序列分位数据对应的数据表征输入到所述第二模态编码子模型中的融合模块，以将多个序列分箱数据对应的数据表征分别与所述序列分位数据对应的数据表征进行融合处理，得到序列融合表征；

输入编码确定单元，将所述序列融合表征输入到所述第二模态编码子模型中的第六表征模块中，得到所述序列化模态的模态数据对应的输入编码信息；

所述融合模块1204，将所述输入序列编码信息输入到所述第二模态编码子模型中的Transformer模块中，得到所述业务数据对应的融合表征。

本说明书实施例中，所述装置还包括：

样本获取模块，获取多种不同模态的模态数据样本，并获取用于训练所述第一模态编码子模型的非序列化模态的第一模态数据样本，所述多种不同模态的模态数据样本中包含序列化模态的模态数据样本和非序列化模态的第二模态数据样本；

第一训练模块，基于所述非序列化模态的第一模态数据样本和预设的第一损失函数对所述第一模态编码子模型进行有监督的模型训练，得到训练后的第一模态编码子模型；

第二表征模块，将每种所述非序列化模态的第二模态数据分别输入到训练后的第一模态编码子模型中，得到每种所述非序列化模态的第二模态数据对应的第一样本表征；

样本输入编码确定模块，获取所述序列化模态的模态数据样本对应的样本输入编码信息，并确定每个所述第一样本表征插入到所述样本输入编码信息中的位置对应的第二样本位置编码信息，所述样本输入编码信息包括所述序列化模态的模态数据样本中数据序列的样本编码信息和所述数据序列中的每个数据所在的位置对应的第一样本位置编码信息；

第二训练模块，基于每个所述第一样本表征和相应的第二样本位置编码信息，以及所述样本输入编码信息，生成所述多种不同模态的模态数据样本对应的样本输入序列编码信息，并基于所述样本输入序列编码信息和预设的第二损失函数，在保持训练后的第一模态编码子模型中的模型参数不变的情况下，对所述模态融合模型中的第二模态编码子模型进行有监督的模型训练，得到训练后的第二模态编码子模型；

融合模型确定模块，基于训练后的第一模态编码子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型。

本说明书实施例中，所述第一训练模块，基于所述非序列化模态的第一模态数据样本和预设的第一损失函数对所述第一模态编码子模型和表征增强模型进行有监督的联合训练，得到训练后的第一模态编码子模型，所述表征增强模型用于对所述第一模态编码子模型的输出表征进行表征增强处理。

本说明书实施例中，所述第二训练模块，基于所述样本输入序列编码信息和预设的第二损失函数，在保持训练后的第一模态编码子模型中的模型参数不变的情况下，对所述第二模态编码子模型和表征增强子模型进行有监督的联合训练，得到训练后的第二模态编码子模型和训练后的表征增强子模型，所述表征增强子模型用于对所述第二模态编码子模型的输出表征进行表征增强处理；

所述融合模型确定模块，基于训练后的第一模态编码子模型、训练后的表征增强子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型。

本说明书实施例中，所述第一损失函数基于交叉熵损失函数构建，所述第二损失函数基于交叉熵损失函数构建，所述表征增强子模型和所述表征增强模型是基于多层感知机MLP构建的模型。

本说明书实施例提供一种多模态数据的融合装置，通过获取执行目标业务的过程中涉及的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，序列化模态为序列化数据对应的模态，非序列化模态为非序列化数据对应的模态，然后，可以将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征，之后，可以获取序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和数据序列中的每个数据所在的位置对应的第一位置编码信息，最终，可以基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成业务数据对应的输入序列编码信息，将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到业务数据对应的融合表征，这样，通过将非序列化模态的模态数据(如Tabular数据)的编码嵌入到序列化模态的模态数据中，并将其输入到第二模态编码子模型中进行计算，从而提供一种更优且更简洁的多模态数据的融合方案，该方案不仅考虑了模态间交互的问题，且还考虑了不同模态间收敛速度，进而可以实现更加紧密的模态融合，具备潜在更好的效果。

此外，通过先将非序列化模态对应的第一模态编码子模型学习到较优状态，然后，冻结其模型参数，进行多模态数据的融合本质上是一个贪心学习的过程，让单个模态逐步达到较优状态，从而求得相应的局部较优值。

以上为本说明书实施例提供的多模态数据的融合装置，基于同样的思路，本说明书实施例还提供一种多模态数据的融合设备，如图13所示。

所述多模态数据的融合设备可以为上述实施例提供终端设备或服务器等。

多模态数据的融合设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1301和存储器1302，存储器1302中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1302可以是短暂存储或持久存储。存储在存储器1302的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对多模态数据的融合设备中的一系列计算机可执行指令。更进一步地，处理器1301可以设置为与存储器1302通信，在多模态数据的融合设备上执行存储器1302中的一系列计算机可执行指令。多模态数据的融合设备还可以包括一个或一个以上电源1303，一个或一个以上有线或无线网络接口1304，一个或一个以上输入输出接口1305，一个或一个以上键盘1306。

具体在本实施例中，多模态数据的融合设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对多模态数据的融合设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态；

将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征；

获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息；

基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

具体在本实施例中，多模态数据的融合设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对多模态数据的融合设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取执行目标业务的过程中涉及的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态；

将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征；

获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息；

基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于多模态数据的融合设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例提供一种多模态数据的融合设备，通过获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，序列化模态为序列化数据对应的模态，非序列化模态为非序列化数据对应的模态，然后，可以将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征，之后，可以获取序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和数据序列中的每个数据所在的位置对应的第一位置编码信息，最终，可以基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成业务数据对应的输入序列编码信息，将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到业务数据对应的融合表征，这样，通过将非序列化模态的模态数据(如Tabular数据)的编码嵌入到序列化模态的模态数据中，并将其输入到第二模态编码子模型中进行计算，从而提供一种更优且更简洁的多模态数据的融合方案，该方案不仅考虑了模态间交互的问题，且还考虑了不同模态间收敛速度，进而可以实现更加紧密的模态融合，具备潜在更好的效果。

进一步地，基于上述图1到图10所示的方法，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令信息，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令信息在被处理器执行时，能实现以下流程：

获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态；

将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征；

获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息；

基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

此外，在另一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令信息在被处理器执行时，能实现以下流程：

获取执行目标业务的过程中涉及的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态；

将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征；

获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息；

基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于上述一种存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例提供一种存储介质，通过获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，序列化模态为序列化数据对应的模态，非序列化模态为非序列化数据对应的模态，然后，可以将每种非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种非序列化模态的模态数据对应的第一数据表征，之后，可以获取序列化模态的模态数据对应的输入编码信息，并确定每个第一数据表征插入到输入编码信息中的位置对应的第二位置编码信息，输入编码信息包括序列化模态的模态数据中数据序列的编码信息和数据序列中的每个数据所在的位置对应的第一位置编码信息，最终，可以基于每个第一数据表征和相应的第二位置编码信息，以及输入编码信息，生成业务数据对应的输入序列编码信息，将输入序列编码信息输入到模态融合模型中的第二模态编码子模型中，得到业务数据对应的融合表征，这样，通过将非序列化模态的模态数据(如Tabular数据)的编码嵌入到序列化模态的模态数据中，并将其输入到第二模态编码子模型中进行计算，从而提供一种更优且更简洁的多模态数据的融合方案，该方案不仅考虑了模态间交互的问题，且还考虑了不同模态间收敛速度，进而可以实现更加紧密的模态融合，具备潜在更好的效果。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程欺诈案例的串并设备的处理器以产生一个机器，使得通过计算机或其他可编程欺诈案例的串并设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程欺诈案例的串并设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程欺诈案例的串并设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种多模态数据的融合方法，所述方法包括：

获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态；

将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征；

获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息；

基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

2.根据权利要求1所述的方法，所述基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，包括：

基于每个所述第一数据表征和相应的第二位置编码信息，确定所述非序列化模态的模态数据对应的目标输入编码信息；

将所述目标输入编码信息和所述输入编码信息进行拼接处理，得到所述业务数据对应的输入序列编码信息。

3.根据权利要求2所述的方法，所述将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征，包括：

将每种所述非序列化模态的模态数据分别输入到所述第一模态编码子模型中的分箱模块和分位模块中，通过所述分箱模块对所述非序列化模态的模态数据进行分箱变换，得到多个分箱数据，并通过所述分位模块对所述非序列化模态的模态数据进行分位数处理，得到分位数据；

将所述多个分箱数据分别输入到所述第一模态编码子模型中的第一表征模块中，得到每个分箱数据对应的数据表征，并将所述分位数据输入到所述第一模态编码子模型中的第二表征模块中，得到所述分位数据对应的数据表征；

将所述每个分箱数据对应的数据表征和所述分位数据对应的数据表征输入到所述第一模态编码子模型中的融合模块中，以将多个分箱数据对应的数据表征分别与所述分位数据对应的数据表征进行融合处理，得到融合表征；

将所述融合表征输入到所述第一模态编码子模型中的第三表征模块中，得到每种所述非序列化模态的模态数据对应的第一数据表征。

4.根据权利要求3所述的方法，所述获取所述序列化模态的模态数据对应的输入编码信息，包括：

将所述序列化模态的模态数据分别输入到所述第二模态编码子模型中的分箱模块和分位模块中，得到多个序列分箱数据和序列分位数据；

将所述多个序列分箱数据分别输入到所述第二模态编码子模型中的第四表征模块中，得到每个序列分箱数据对应的数据表征，并将所述序列分位数据输入到所述第二模态编码子模型中的第五表征模块中，得到所述序列分位数据对应的数据表征；

将所述每个序列分箱数据对应的数据表征和所述序列分位数据对应的数据表征输入到所述第二模态编码子模型中的融合模块，以将多个序列分箱数据对应的数据表征分别与所述序列分位数据对应的数据表征进行融合处理，得到序列融合表征；

将所述序列融合表征输入到所述第二模态编码子模型中的第六表征模块中，得到所述序列化模态的模态数据对应的输入编码信息；

所述将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征，包括：

将所述输入序列编码信息输入到所述第二模态编码子模型中的Transformer模块中，得到所述业务数据对应的融合表征。

5.根据权利要求4所述的方法，所述方法还包括：

获取多种不同模态的模态数据样本，并获取用于训练所述第一模态编码子模型的非序列化模态的第一模态数据样本，所述多种不同模态的模态数据样本中包含序列化模态的模态数据样本和非序列化模态的第二模态数据样本；

基于所述非序列化模态的第一模态数据样本和预设的第一损失函数对所述第一模态编码子模型进行有监督的模型训练，得到训练后的第一模态编码子模型；

将每种所述非序列化模态的第二模态数据分别输入到训练后的第一模态编码子模型中，得到每种所述非序列化模态的第二模态数据对应的第一样本表征；

获取所述序列化模态的模态数据样本对应的样本输入编码信息，并确定每个所述第一样本表征插入到所述样本输入编码信息中的位置对应的第二样本位置编码信息，所述样本输入编码信息包括所述序列化模态的模态数据样本中数据序列的样本编码信息和所述数据序列中的每个数据所在的位置对应的第一样本位置编码信息；

基于每个所述第一样本表征和相应的第二样本位置编码信息，以及所述样本输入编码信息，生成所述多种不同模态的模态数据样本对应的样本输入序列编码信息，并基于所述样本输入序列编码信息和预设的第二损失函数，在训练后的第一模态编码子模型中的模型参数保持不变的情况下，对所述模态融合模型中的第二模态编码子模型进行有监督的模型训练，得到训练后的第二模态编码子模型；

基于训练后的第一模态编码子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型。

6.根据权利要求5所述的方法，所述基于所述非序列化模态的第一模态数据样本和预设的第一损失函数对所述第一模态编码子模型进行有监督的模型训练，得到训练后的第一模态编码子模型，包括：

基于所述非序列化模态的第一模态数据样本和预设的第一损失函数对所述第一模态编码子模型和表征增强模型进行有监督的联合训练，得到训练后的第一模态编码子模型，所述表征增强模型用于对所述第一模态编码子模型的输出表征进行表征增强处理。

7.根据权利要求6所述的方法，所述基于所述样本输入序列编码信息和预设的第二损失函数，在保持训练后的第一模态编码子模型中的模型参数不变的情况下，对所述模态融合模型中的第二模态编码子模型进行有监督的模型训练，得到训练后的第二模态编码子模型，包括：

基于所述样本输入序列编码信息和预设的第二损失函数，在保持训练后的第一模态编码子模型中的模型参数不变的情况下，对所述第二模态编码子模型和表征增强子模型进行有监督的联合训练，得到训练后的第二模态编码子模型和训练后的表征增强子模型，所述表征增强子模型用于对所述第二模态编码子模型的输出表征进行表征增强处理；

所述基于训练后的第一模态编码子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型，包括：

基于训练后的第一模态编码子模型、训练后的表征增强子模型和训练后的第二模态编码子模型，确定训练后的模态融合模型。

8.根据权利要求7所述的方法，所述第一损失函数基于交叉熵损失函数构建，所述第二损失函数基于交叉熵损失函数构建，所述表征增强子模型和所述表征增强模型是基于多层感知机MLP构建的模型。

9.一种多模态数据的融合装置，所述装置包括：

数据获取模块，获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态；

第一表征模块，将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征；

输入编码确定模块，获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息；

融合表征模块，基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。

10.一种多模态数据的融合设备，所述多模态数据的融合设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取资源交易中风险防控业务的业务数据中包含的多种不同模态的模态数据，所述多种不同模态的模态数据中包含序列化模态的模态数据和非序列化模态的模态数据，所述序列化模态为序列化数据对应的模态，所述非序列化模态为非序列化数据对应的模态；

将每种所述非序列化模态的模态数据分别输入到模态融合模型中的第一模态编码子模型中，得到每种所述非序列化模态的模态数据对应的第一数据表征；

获取所述序列化模态的模态数据对应的输入编码信息，并确定每个所述第一数据表征插入到所述输入编码信息中的位置对应的第二位置编码信息，所述输入编码信息包括所述序列化模态的模态数据中数据序列的编码信息和所述数据序列中的每个数据所在的位置对应的第一位置编码信息；

基于每个所述第一数据表征和相应的第二位置编码信息，以及所述输入编码信息，生成所述业务数据对应的输入序列编码信息，将所述输入序列编码信息输入到所述模态融合模型中的第二模态编码子模型中，得到所述业务数据对应的融合表征。