CN116401541A - 一种模型训练的方法、装置、存储介质及电子设备 - Google Patents

Abstract

本说明书公开了一种模型训练的方法、装置、存储介质和电子设备，将获取的样本业务数据输入第一模型，获得第一模型输出的第一风控结果，将该样本业务数据分别输入各第二模型，确定该样本业务数据的特征，将该特征输入适应层，确定每个第二模型分别对应的权重，并获得每个第二模型输出的第二风控结果，利用该权重及该第二风控结果确定伪标签，根据该伪标签以及该第一风控结果，对该适应层及该第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。本方法通过适应层确定各第二模型的权重，根据权重及第二风控结果确定伪标签，根据伪标签及第一风控结果，训练适应层及第一模型，提高了第一模型输出结果的准确性。

Description

一种模型训练的方法、装置、存储介质及电子设备

技术领域

本说明书涉机器学习领域，尤其涉及一种模型训练的方法、装置、存储介质及电子设备。

背景技术

随着互联网技术的发展，人们能够利用训练的模型对用户执行的各类业务进行风控，其中，训练模型所使用的训练样本可能包含个人隐私数据。通常情况下，训练的模型可部署在服务器或者客户端上，若将训练的模型部署在客户端上，则要求模型尽量轻量化，减轻客户端的计算负担。例如，将模型结构较为复杂的模型作为教师模型，将模型结构较为简单的模型作为学生模型，通过教师模型对学生模型进行蒸馏，将蒸馏后的学生模型部署在客户端上，用于对用户执行的各类业务进行风控。

此外，在模型的实际应用过程中，可能不仅需要确定用户执行的业务是否具有风险，还需要确定用户执行的业务具有何种类型的风险，因此，需要多种模型判断用户执行的业务是否具有风险，以及确定各模型输出结果中准确性较高的结果对应的风险类型，也就是说，需要多个教师模型对一个学生模型进行蒸馏。由于教师模型的输出结果会影响学生模型输出的结果，因此，如何在多个教师模型的输出结果作为监督信号的条件下，使得学生模型的输出结果的更加准确是个亟待解决的问题。

基于此，本说明书提供一种模型训练的方法。

发明内容

本说明书提供一种模型训练的方法、装置、存储介质及电子设备，以至少部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供一种模型训练的方法，包括：

获取样本业务数据；

将所述样本业务数据输入第一模型，获得第一模型输出的对所述业务数据的第一风控结果；并，将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征，将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重，并基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果；

利用所述权重对所述第二风控结果进行加权，作为伪标签；

根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。

可选地，根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：

根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；

以最小化所述第一损失为训练目标，调整所述适应层及所述第一模型的参数。

可选地，根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：

根据所述样本业务数据，确定所述样本业务数据对应的业务的风险类型的真标签；

根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练。

可选地，根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：

根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；

根据所述真标签以及所述第一风控结果，确定所述真标签以及所述第一风控结果的差异，作为第二损失；

根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练。

可选地，根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练，具体包括：

根据所述第一损失及所述第二损失，确定结果损失；

以最小化所述结果损失为训练目标，调整所述适应层及所述第一模型的参数。

可选地，针对每个第二模型，该第二模型包括特征提取层和输出层；

所述特征提取层用于确定输入该第二模型的样本业务数据的特征，并将所述特征输入所述输出层；

所述输出层用于根据输入的样本业务数据的特征，输出对所述样本业务数据的第二风控结果；

所述特征提取层还用于将所述特征输入所述适应层；

所述适应层用于输出该第二模型在所述样本业务数据作为输入的条件下对应的权重。

可选地，所述方法还包括：

当接收到所述待风控业务数据时，将所述待风控业务数据输入训练后的第一模型；

通过所述训练后的第一模型输出所述待风控业务数据对应的业务的风险类型。

本说明书提供了一种模型训练的装置，所述装置包括：

样本业务数据获取模块，用于获取样本业务数据；

风控结果确定模块，用于将所述样本业务数据输入第一模型，获得第一模型输出的对所述业务数据的第一风控结果；并，将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征，将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重，并基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果；

伪标签模块，用于利用所述权重对所述第二风控结果进行加权，作为伪标签；

模型训练模块，用于根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。

可选地，所述模型训练模块具体用于，根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；以最小化所述第一损失为训练目标，调整所述适应层及所述第一模型的参数。

可选地，所述模型训练模块具体用于，根据所述样本业务数据，确定所述样本业务数据对应的业务的风险类型的真标签；根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练。

可选地，所述模型训练模块具体用于，根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；根据所述真标签以及所述第一风控结果，确定所述真标签以及所述第一风控结果的差异，作为第二损失；根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练。

可选地，所述模型训练模块具体用于，根据所述第一损失及所述第二损失，确定结果损失；以最小化所述结果损失为训练目标，调整所述适应层及所述第一模型的参数。

可选地，针对每个第二模型，该第二模型包括特征提取层和输出层；所述特征提取层用于确定输入该第二模型的样本业务数据的特征，并将所述特征输入所述输出层；所述输出层用于根据输入的样本业务数据的特征，输出对所述样本业务数据的第二风控结果；所述特征提取层还用于将所述特征输入所述适应层；所述适应层用于输出该第二模型在所述样本业务数据作为输入的条件下对应的权重。

可选地，所述装置还包括：

风险判断模块，用于当接收到所述待风控业务数据时，将所述待风控业务数据输入训练后的第一模型；通过所述训练后的第一模型输出所述待风控业务数据对应的业务的风险类型。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练的方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练的方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的模型训练的方法中，获取样本业务数据，将所述样本业务数据输入第一模型，获得第一模型输出的对所述业务数据的第一风控结果，并，将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征，将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重，并基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果，利用所述权重对所述第二风控结果进行加权，作为伪标签，根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。

从上述方法中可以看出，本方法通过适应层确定各第二模型的权重，根据权重及第二风控结果确定伪标签，根据伪标签及第一风控结果，训练适应层及第一模型，提高了第一模型输出结果的准确性。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附

图中：

图1为本说明书提供的一种模型训练的方法的流程示意图；

图2为本说明书提供的模型结构示意图；

图3为本说明书提供的一种模型训练的装置示意图；

图4为本说明书提供的对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书提供的一种模型训练的方法的流程示意图，具体包括以下步骤：

S100：获取样本业务数据。

在本说明书一个或多个实施例中，在用户执行各类业务时，可以通过客户端或者第三方服务器判断用户执行的业务是否存在风险，若存在风险，则确定该业务对应的风险类型，若用于判断业务风险的第一模型部署在客户端上，则客户端可将第一模型的判断结果发送给服务器，服务器接收该判断结果，并根据该判断结果采取相应的风控措施。例如，记录用户执行支付业务的钱款去向等。若判断业务风险的第一模型部署在服务器上，则该服务器可直接根据第一模型输出的判断结果采取相应的风控措施。为了方便说明，下面以判断业务风险的第一模型部署在客户端上为例进行说明。在客户端判断用户执行的业务是否存在风险时，客户端获取待风控业务数据，通过第一模型对该待风控业务数据进行风险判断，其中，该待风控业务数据可以是用户执行支付业务对应的业务数据、用户执行扫码添加好友业对应的业务数据，还可以是用户执行售后业务对应的业务数据等，本说明书对具体何种业务数据不作限制。

客户端通过第一模型对该待风控业务数据进行风险判断前，需要先通过服务器对第一模型进行训练，获得轻量化且输出结果准确性高的第一模型，然后将训练好的第一模型部署在客户端上。为了方便说明，下面以服务器为训练该第一模型的执行主体进行说明。服务器需要先获取样本业务数据，以便后续根据该样本业务数据，确定第一风控结果、第二风控结果等训练第一模型所需数据。该样本业务数据可以是用户的历史业务数据，本说明书对样本业务数据的类型不作限制。

S102：将所述样本业务数据输入第一模型，获得第一模型输出的对所述样本业务数据的第一风控结果。

在本说明书一个或多个实施例中，服务器在对第一模型进行训练时，需要先确定第一模型的输出结果，以便根据该输出结果调整第一模型的参数，使得最后第一模型输出结果与标签尽可能接近。因此，服务器需要将获取的样本业务数据输入第一模型，获取第一模型的对该样本业务数据的第一风控结果，该第一风控结果可包括第一模型判断该样本业务数据对应的业务是否存在风险，以及对应的风险类型。

S104：将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征。

在本说明书一个或多个实施例中，一个业务对应的风险类型可能有很多，而不同的第二模型所擅长识别的风险类型可能有所不同，因此，若是用于判断业务所具有的风险类型的第二模型部署在服务器上，该服务器通常可利用多个第二模型对业务进行判断。而通常来说，服务器的算力高于客户端，因此为了使服务器对不同风险类型的判断结果更为准确，部署在服务器上的各第二模型均较为复杂，这些第二模型并不适合部署在客户端上。从而，在利用这些第二模型对第一模型进行训练时，可利用这些第二模型对第一模型进行蒸馏，将蒸馏后的第一模型部署在客户端上，实现相应功能，并提高第一模型输出结果的准确性。其中，第一模型作为学生模型，第二模型作为教师模型，第一模型相较于第二模型更为轻量化，也就是说，第一模型的模型参数少于第二模型的模型参数，或者，第一模型的层数少于第二模型的层数。

图2为本说明书提供的模型结构示意图，如图2所示，服务器将样本业务数据分别输入各第二模型，以通过各第二模型确定样本业务数据的特征。针对每个第二模型，该第二模型包括特征提取层和输出层，该特征提取层用于确定输入该第二模型的样本业务数据的特征，并将该特征输入该输出层，该输出层用于根据输入的样本业务数据的特征，输出对该样本业务数据的第二风控结果，该特征提取层还用于将该特征输入该适应层，该适应层用于输出该第二模型在该样本业务数据作为输入的条件下对应的权重。

此外，步骤S102与步骤S104的执行顺序不分先后，本说明书对此不作限制。

S106：基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果。

S108：将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重。

由于服务器是利用多个第二模型对第一模型蒸馏，且每个第二模型都存在自身擅长判断的业务风险类型，也就是说，该第二模型输出业务具有特定风险类型的结果的准确性较高。例如，现有三个第二模型，分别擅长判断业务具有A类风险、业务具有B类风险、业务具有C类风险。因此，可对每个第二模型的第二风控结果进行加权，得到伪标签，通过伪标签对第一模型进行训练。由于每种第二模型擅长判断的风险类型不同，若对每个第二模型设置固定的权重，则可能会导致训练后的第一模型的准确性较低。沿用上述例子，在三个第二模型中，将擅长判断业务具有A类风险的第二模型设置较高的权重，其他第二模型设置较低的权重，且该权重不会随着样本业务数据的变化而变化，由此训练出的第一模型仅对判断业务具有A类风险的准确性较高，判断其他风险类型的准确性较低。

因此，为了提高第一模型输出结果的准确性，服务器将由各第二模型得到的特征输入适应层，以通过该适应层确定每个第二模型在样本业务数据作为输入的条件下分别对应的权重。该适应层是指与第二模型个数相同的N维权重矩阵，该适应层可通过卷积神经网络(Convolutional Neural Networks，CNN)、全连接层等方式确定，本说明书对此不做限制，只要该适应层为与第二模型个数维度相同的矩阵即可。

该适应层可以通过该样本业务数据及各第二模型，确定各第二模型对应的权重，确定出的权重可根据样本业务数据的变化而变化，由此训练出的第一模型，不仅可判断业务具有何种风险类型，还提高了判断结果的准确性。沿用上述例子，若第一个样本业务数据的风险类型是A类风险，则服务器将通过该样本业务数据得到的特征输入适应层，适应层可将擅长判断业务具有诈骗风险第二模型设置较高的权重，其他第二模型设置较低的权重。若第二个样本业务数据的风险类型是B类风险，则将通过该样本业务数据得到的特征输入适应层，适应层可将擅长判断业务具有B类风险第二模型设置较高的权重，其他第二模型设置较低的权重等等，服务器通过适应层自适应调整各第二模型的权重，以提高由各第二模型蒸馏出的第一模型的准确性。

此外，步骤S106与步骤S108的执行顺序不分先后，本说明书对此不作限制。

S110：利用所述权重对所述第二风控结果进行加权，作为伪标签。

在本说明书一个或多个实施例中，服务器通过适应层确定各第二模型对应的权重，以及通过各第二模型输出的特征确定对应的第二风控结果后，利用该权重对该第二风控结果进行加权，将加权后的结果作为伪标签，该伪标签用于对适应层及第一模型进行训练。

S112：根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。

具体的，服务器可根据该伪标签以及该第一风控结果，确定该伪标签以及该第一风控结果的差异，作为第一损失。其中，服务器可通过均方误差(Mean Square Error，MSE)、相对熵(Kullback–Leibler Divergence，KLD)、三阶关系蒸馏损失等方式确定第一损失，本说明书对此不作限制。再以最小化该第一损失为训练目标，调整该适应层及该学生模型的参数。例如，分别调整该适应层及该学生模型的梯度，以减少第一损失，本说明书对此不作限制。

服务器调整适应层是因为在最初对第一模型训练时，该适应层输出的各第二模型的权重与对应的第二模型并不匹配。也就是说，当样本业务数据对应的业务具有B类风险时，适应层可能对擅长判断业务具有A类风险的第二模型设置了较高的权重，通过后续调整该适应层的参数，使得该适应层输出对应权重的准确性提高，进一步提高了第一模型的输出结果的准确性。

对第一模型训练完成后，服务器可将训练好的第一模型部署在客户端上，当客户端接收到待风控业务数据时，将该待风控业务数据输入训练后的第一模型，通过该训练后的第一模型输出该待风控业务数据对应的业务的风险类型。客户端将训练后的第一模型输出的结果发送到相应的服务器上，该服务器接收输出结果，并根据该输出结果对待风控业务数据对应的业务采取相应的风控措施。

基于图1所示的模型训练的方法，本方法通过适应层确定各第二模型的权重，根据权重及第二风控结果确定伪标签，根据伪标签及第一风控结果，训练适应层及第一模型，提高了第一模型输出结果的准确性。

针对步骤S112，由于在最初对第一模型训练时，该适应层输出的各第二模型的权重与对应的第二模型并不匹配，使得根据权重对第二风控结果加权后得到的伪标签不可靠，因此，服务器还可以根据该样本业务数据，确定该样本业务数据对应的业务的风险类型的真标签，根据该真标签、该伪标签以及该第一风控结果，对该适应层及该第一模型进行训练。并且，由于样本业务数据是用户的历史业务数据，所以历史业务数据对应的业务是否具有风险以及风险类型是已经确定的，因此，真标签也是已知且可靠的。具体的，首先，服务器根据该伪标签以及该第一风控结果，确定该伪标签以及该第一风控结果的差异，作为第一损失，并根据该真标签以及该第一风控结果，确定该真标签以及该第一风控结果的差异，作为第二损失，本说明书不限制确定第一损失及第二损失的方法。

接着，根据该第一损失及该第二损失，确定结果损失，该结果损失可由该第一损失及该第二损失直接加和确定，也可以先对该第一损失及该第二损失设置相应的权重，根据权重对该第一损失及该第二损失加权确定，本说明书对此不作限制。

最后，以最小化该结果损失为训练目标，调整该适应层及该第一模型的参数。其中，真标签与伪标签的区别在于，真标签是根据样本业务数据直接确定的，伪标签是根据样本业务数据、各第二模型及适应层确定的，伪标签的准确性需要通过调整适应层的参数来提高。

此外，经过一定训练的适应层输出的各第二模型的权重与对应的第二模型的匹配度提高，使得伪标签的准确性提高，服务器可判断第一模型的迭代次数是否达到预设的迭代次数，若是，则根据伪标签及第一风控结果，对该适应层及所述第一模型进行训练。若否，则根据该真标签、该伪标签以及该第一风控结果，对该适应层及该第一模型进行训练。例如，当迭代次数未达到十万次时，服务器根据该真标签、该伪标签以及该第一风控结果，对该适应层及该第一模型进行训练。当迭代次数达到十万次时，服务器根据伪标签及第一风控结果，对所述适应层及所述第一模型进行训练，当迭代次数达到二十万次时，停止训练，视为训练完成。

服务器还可判断第一模型的模型精度是否达到预设的模型精度，若是，则根据伪标签及第一风控结果，对该适应层及所述第一模型进行训练。若否，则根据该真标签、该伪标签以及该第一风控结果，对该适应层及该第一模型进行训练。

以上为本说明书的一个或多个实施例提供的模型训练的方法，基于同样的思路，本说明书还提供了相应的模型训练的装置，如图3所示。

图3本说明书提供的一种模型训练的装置示意图，所述装置包括：

样本获取模块400，用于获取样本业务数据；

确定模块402，用于将所述样本业务数据输入第一模型，获得第一模型输出的对所述业务数据的第一风控结果；并，将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征，将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重，并基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果；

融合模块404，用于利用所述权重对所述第二风控结果进行加权，作为伪标签；

模型训练模块406，用于根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。

可选地，所述模型训练模块406具体用于，根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；以最小化所述第一损失为训练目标，调整所述适应层及所述第一模型的参数。

可选地，所述模型训练模块406具体用于，根据所述样本业务数据，确定所述样本业务数据对应的业务的风险类型的真标签；根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练。

可选地，所述模型训练模块406具体用于，根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；根据所述真标签以及所述第一风控结果，确定所述真标签以及所述第一风控结果的差异，作为第二损失；根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练。

可选地，所述模型训练模块406具体用于，根据所述第一损失及所述第二损失，确定结果损失；以最小化所述结果损失为训练目标，调整所述适应层及所述第一模型的参数。

可选地，针对每个第二模型，该第二模型包括特征提取层和输出层；所述特征提取层用于确定输入该第二模型的样本业务数据的特征，并将所述特征输入所述输出层；所述输出层用于根据输入的样本业务数据的特征，输出对所述样本业务数据的第二风控结果；所述特征提取层还用于将所述特征输入所述适应层；所述适应层用于输出该第二模型在所述样本业务数据作为输入的条件下对应的权重。

可选地，所述装置还包括：风险判断模块408，用于当接收到所述待风控业务数据时，将所述待风控业务数据输入训练后的第一模型；通过所述训练后的第一模型输出所述待风控业务数据对应的业务的风险类型。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的模型训练的方法。

本说明书还提供了图4所示的电子设备的结构示意图。如图4所示，在硬件层面，该无人驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的模型训练的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (16)

1.一种模型训练的方法，所述方法包括：

获取样本业务数据；

将所述样本业务数据输入第一模型，获得第一模型输出的对所述样本业务数据的第一风控结果；并，将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征，将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重，并基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果；

利用所述权重对所述第二风控结果进行加权，作为伪标签；

根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。

2.如权利要求1所述的方法，根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：

根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；

以最小化所述第一损失为训练目标，调整所述适应层及所述第一模型的参数。

3.如权利要求1所述的方法，根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：

根据所述样本业务数据，确定所述样本业务数据对应的业务的风险类型的真标签；

根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练。

4.如权利要求3所述的方法，根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，具体包括：

根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；

根据所述真标签以及所述第一风控结果，确定所述真标签以及所述第一风控结果的差异，作为第二损失；

根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练。

5.如权利要求4所述的方法，根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练，具体包括：

根据所述第一损失及所述第二损失，确定结果损失；

以最小化所述结果损失为训练目标，调整所述适应层及所述第一模型的参数。

6.如权利要求1所述的方法，针对每个第二模型，该第二模型包括特征提取层和输出层；

所述特征提取层用于确定输入该第二模型的样本业务数据的特征，并将所述特征输入所述输出层；

所述输出层用于根据输入的样本业务数据的特征，输出对所述样本业务数据的第二风控结果；

所述特征提取层还用于将所述特征输入所述适应层；

所述适应层用于输出该第二模型在所述样本业务数据作为输入的条件下对应的权重。

7.如权利要求1所述的方法，所述方法还包括：

当接收到所述待风控业务数据时，将所述待风控业务数据输入训练后的第一模型；

通过所述训练后的第一模型输出所述待风控业务数据对应的业务的风险类型。

8.一种模型训练的装置，所述装置包括：

样本获取模块，用于获取样本业务数据；

确定模块，用于将所述样本业务数据输入第一模型，获得第一模型输出的对所述业务数据的第一风控结果；并，将所述样本业务数据分别输入各第二模型，以通过所述各第二模型确定所述样本业务数据的特征，将所述特征输入适应层，以通过所述适应层确定每个第二模型在所述样本业务数据作为输入的条件下分别对应的权重，并基于所述特征获得每个第二模型输出的对所述样本业务数据的第二风控结果；

融合模块，用于利用所述权重对所述第二风控结果进行加权，作为伪标签；

模型训练模块，用于根据所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练，训练后的第一模型用于对待风控业务数据进行风险判断。

9.如权利要求8所述的装置，所述模型训练模块，具体用于根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；以最小化所述第一损失为训练目标，调整所述适应层及所述第一模型的参数。

10.如权利要求8所述的装置，所述模型训练模块，具体用于根据所述样本业务数据，确定所述样本业务数据对应的业务的风险类型的真标签；根据所述真标签、所述伪标签以及所述第一风控结果，对所述适应层及所述第一模型进行训练。

11.如权利要求8所述的装置，所述模型训练模块，具体用于根据所述伪标签以及所述第一风控结果，确定所述伪标签以及所述第一风控结果的差异，作为第一损失；根据所述真标签以及所述第一风控结果，确定所述真标签以及所述第一风控结果的差异，作为第二损失；根据所述第一损失及所述第二损失，对所述适应层及所述第一模型进行训练。

12.如权利要求8所述的装置，所述模型训练模块，具体用于根据所述第一损失及所述第二损失，确定结果损失；以最小化所述结果损失为训练目标，调整所述适应层及所述第一模型的参数。

13.如权利要求8所述的装置，针对每个第二模型，该第二模型包括特征提取层和输出层；所述特征提取层用于确定输入该第二模型的样本业务数据的特征，并将所述特征输入所述输出层；所述输出层用于根据输入的样本业务数据的特征，输出对所述样本业务数据的第二风控结果；所述特征提取层还用于将所述特征输入所述适应层；所述适应层用于输出该第二模型在所述样本业务数据作为输入的条件下对应的权重。

14.如权利要求8所述的装置，所述装置还包括：

风险判断模块，用于当接收到所述待风控业务数据时，将所述待风控业务数据输入训练后的第一模型；通过所述训练后的第一模型输出所述待风控业务数据对应的业务的风险类型。

15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。

16.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。

Images