CN112580085A - 一种模型训练方法及装置 - Google Patents

Abstract

本说明书提出一种模型训练方法及装置，应用于部署有可信执行环境的训练方，所述方法包括：获取来自至少两个数据提供方的加密数据；在可信执行环境中执行以下步骤：对接收到的加密数据进行解密；针对任一数据提供方的训练任务，利用接收到的数据构建该训练任务的训练样本集；其中，所述至少两个数据提供方分别对应的训练任务之间具有相关性；在得到所述至少两个数据提供方分别对应的训练样本集后，针对所述至少两个数据提供方的训练任务，利用所得到的至少两个训练样本集进行多任务学习，以得到所述至少两个数据提供方分别对应的独有模型。

Description

一种模型训练方法及装置

技术领域

本说明书涉及计算机技术领域，尤其涉及一种模型训练方法及装置。

背景技术

在模型训练领域中，各个数据提供方，往往会因为本地的数据种类或数据维度较少，因此需要利用其他数据提供方的数据与本地的数据一同进行训练，才能够获得效果较好的模型。

但是，各个数据提供方的数据包含大量的隐私和机密，因此并不愿意将数据直接提供给对方进行模型训练；同时，各个数据提供方往往训练需求并不完全相同即训练任务并不完全相同但具有相关性，因此，如何让各个数据提供方安全的共享彼此的数据，并训练出满足自身需求且效果较佳的模型，是目前亟待解决的问题。

发明内容

针对上述技术问题，本说明书提供一种模型训练方法及装置，技术方案如下。

根据本说明书的第一方面，提供一种模型训练方法，应用于部署有可信执行环境的训练方，所述方法包括：

获取来自至少两个数据提供方的加密数据；

在可信执行环境中执行以下步骤：

对接收到的加密数据进行解密；

针对任一数据提供方的训练任务，利用接收到的数据构建该训练任务的训练样本集；其中，所述至少两个数据提供方分别对应的训练任务之间具有相关性；

在得到所述至少两个数据提供方分别对应的训练样本集后，针对所述至少两个数据提供方的训练任务，利用所得到的至少两个训练样本集进行多任务学习，以得到所述至少两个数据提供方分别对应的独有模型。

根据本说明书的第二方面，提供一种模型训练装置，应用于部署有可信执行环境的训练方，所述装置包括：

数据获取模块，用于获取来自至少两个数据提供方的加密数据；

模型训练模块，用于在可信执行环境中执行以下步骤：

对接收到的加密数据进行解密；

针对任一数据提供方的训练任务，利用接收到的数据构建该训练任务的训练样本集；其中，所述至少两个数据提供方分别对应的训练任务之间具有相关性；

在得到所述至少两个数据提供方分别对应的训练样本集后，针对所述至少两个数据提供方的训练任务，利用所得到的至少两个训练样本集进行多任务学习，以得到所述至少两个数据提供方分别对应的独有模型。

采用本说明书的方案，将各个数据提供方的数据进行加密发送到可信执行环境中，并在可信执行环境中进行训练，可以保证各个数据提供方的明文数据不会被泄露给彼此。同时，针对每个数据提供方的训练任务，构建训练样本集，在构建完成后，对全部数据提供方的训练任务进行多任务学习，可以使每个模型的训练既利用到了本任务的训练数据，又利用到了其他相关任务的训练数据，因此可以保证训练出的每个训练任务对应的模型效果均较佳。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本说明书实施例的一种包括多个数据提供方和一个训练方的组网示意图；

图2是本说明书实施例的一种模型训练方法的流程示意图；

图3是本说明书实施例的一种模型训练过程的示意图；

图4是本说明书实施例的一种包括两个数据提供方和一个训练方的组网示意图；

图5是本说明书实施例的一种模型预测方法的交互流程图；

图6是本说明书实施例的一种具体场景下的组网示意图；

图7a是本说明书实施例的一种模型训练装置结构示意图；

图7b是本说明书实施例的另一种模型训练装置结构示意图；

图8是本说明书实施例的一种模型预测装置结构示意图；

图9是本说明书实施例的另一种模型预测装置结构示意图；

图10是用于配置本说明书实施例装置的一种设备的结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在模型训练领域中，各个数据提供方，往往会因为本地的数据种类或数据维度较少，因此需要利用其他数据提供方的数据与本地的数据一同进行训练，才能够获得效果较好的模型。如图1所示，为包括多个数据提供方和一个训练方的组网示意图，各个数据提供方和训练方之间可以通过各种数据通信方式进行通信，本说明书对此不进行限定，可以理解的是，图中的训练方既可以是独立于所有数据提供方的第三方设备，也可以是某个数据提供方之一，即训练方本身也具有模型训练需求，并且也会提供一定的本地数据进行训练。

各个数据提供方的数据包含大量的隐私和机密，因此并不愿意将数据直接提供给对方；同时，各个数据提供方往往训练需求并不完全相同即训练任务并不完全相同但具有相关性，其中任务具有相关性，可以是任务所需的特征相同，但预测标签不同；预测标签相同，但所需要的特征数据不同；预测的结果存在关联等等，具体可以参照相关技术中对于相关任务的定义，本说明书对此不进行限定。

因此，如何让各个数据提供方安全的共享彼此的数据，并训练出满足自身需求且效果较佳的模型，是目前亟待解决的问题。

针对上述技术问题，本说明书提供的方案是：各个数据提供方，将本地的数据加密后发送至部署有可信执行环境的训练方，在训练方的可信执行环境中，对各个数据提供方的加密数据进行解密，并针对各个数据提供方的训练任务构建训练样本集，构建完成后，采用多任务学习的方式训练各个数据提供方的独有模型，采用上述方式训练各个数据提供方的模型，即保证了各个数据提供方的数据安全，同时又使训练后的各个模型，训练效果较佳。

首先对可信执行环境（TEE，Trusted Execution Environment）相关技术进行介绍：可信执行环境是设备处理器上的一个安全区域，其可以保证加载到该环境内部的代码和数据的安全性、机密性以及完整性。可信执行环境提供一个隔离的执行环境，提供的安全特征包含：隔离执行、可信应用的完整性、可信数据的机密性、安全存储等。总体来说，可信执行环境可以提供比操作系统更高级别的安全性。可信执行环境最早是针对移动设备（例如智能手机、平板电脑、机顶盒、智能电视等）提出，目前的应用场景已经不仅限于移动领域。常见可信执行环境实现方案包括AMD的PSP（Platform Security Processor）、ARM的TrustZone、Intel的SGX（Software Guard Extensions）等等。

结合上述说明，如图2所示，本说明书实施例提出一种模型训练方法的流程示意图，应用于部署有可信执行环境的训练方，所述方法包括以下步骤。

S201，获取来自至少两个数据提供方的加密数据。

其中训练方，可以是其中一个数据提供方，或者独立于所有数据提供方的第三方设备。

在训练方是其中一个数据提供方的情况下，这里获取来自至少两个数据提供方的加密数据，可以是从本地获取训练所需的数据，再从其他参与本次训练的数据提供方获取加密数据。

在训练方是独立于所有数据提供方的第三方设备的情况下，这里可以是从所有参与本次训练的数据提供方获取加密数据。

S202，在可信执行环境中进行多任务学习得到各个数据提供方的独有模型。

具体可以为在可信执行环境中执行以下步骤：S202a-S202c。

S202a，对接收到的加密数据进行解密。

可信执行环境中，可以是使用与各个数据提供方预先协商的加密算法，对加密的数据进行解密，其中，预先协商的加密算法可以是对称加密算法、非对称加密算法等等，本说明书对此不进行限定。由于可信执行环境是与外界完全隔离的，因此，在可信执行环境中对数据进行解密，得到明文数据并不会造成各个数据提供方的数据隐私泄露。

S202b，针对任一数据提供方的训练任务，利用接收到的数据构建该训练任务的训练样本集；其中，所述至少两个数据提供方分别对应的训练任务之间具有相关性。

在对各个数据提供方的数据进行解密之后，即可以根据每个数据提供方的训练任务，构建训练样本集。

例如，共存在两个数据提供方，数据提供方1提供的训练数据为特征X₁、X_2，并提供标签Y，数据提供方提供的训练数据为特征X₃。

数据提供方1的训练任务为根据某一预测对象的特征X₁、X₂和X₃预测该预测对象的Y。

数据提供方2的训练任务为根据某一预测对的特征的X₁、X₂预测该预测对象的Y。

可见，数据提供方2需要利用数据提供方1提供的标签数据以及特征数据，数据提供方1需要利用数据提供方2的特征数据，两个数据提供方的预测目的相同，但是预测所需的特征并不相同。因此，两个数据提供方的训练任务不同但具有相关性的。

根据上述两个数据提供方的训练任务即可以建立两个训练样本集。

针对数据提供方1，训练集中每一条训练样本的特征为X₁、X₂和X₃，标签为Y。

针对数据提供方2，训练集中每一条训练样本的特征为X₁和X₂，标签为Y。

又例如，存在两个数据提供方，数据提供方1提供的训练数据为特征X₁，并提供标签Y₁，数据提供方提供的训练数据为特征X₂，并提供标签Y₂。

数据提供方1的训练任务为根据某一预测对象的特征X₁和X₂预测该预测对象的Y₁。

数据提供方2的训练任务为根据某一预测对象的特征X₁和X₂预测该预测对象的Y₂。

可见，数据提供方2的训练任务需要利用数据提供方1提供的特征数据X₁，数据提供方1需要利用数据提供方2的特征数据X₂，两个数据提供方的训练任务所需的特征相同，但是预测目的并不相同。因此，两个数据提供方的训练任务不同但具有相关性的。

根据上述两个数据提供方的训练任务即可以建立两个训练样本集。

针对数据提供方1，训练集中每一条训练样本的特征为X₁和X₂，标签为Y₁。

针对数据提供方2，训练集中每一条训练样本的特征为X₁和X₂，标签为Y₂。

当然，还可以是多个数据提供方的训练任务的特征并不完全一致，且预存目的也不相同的情况下,两个训练任务也可能存在相关性，例如，预测的所需的特征存在相同特征，且预存的目的也很相近。本说明书对于训练任务之间具有相关性并不进行限定。

本步骤中，针对任一数据提供方的训练任务，利用接收到的数据构建该训练任务的训练样本中的训练特征和训练标签，即是对各个数据提供方的数据进行融合，融合为各个数据提供方的训练任务的训练样本集。

S202c，在得到所述至少两个数据提供方分别对应的训练样本集后，针对所述至少两个数据提供方的训练任务，利用所得到的至少两个训练样本集进行多任务学习，以得到所述至少两个数据提供方分别对应的独有模型。

在本步骤中，可以是在得到各个训练任务对应的训练样本集后，即利用所得到的至少两个训练样本集对初始模型进行训练，得到通用模型。

可以是分别将每个训练样本集分成若干组，每组包含若干条训练样本，将多个训练样本集的每一组进行组合，作为每次迭代的训练样本。

目标损失函数考虑所有任务的损失，这样每次迭代可以使通用模型向所有任务的综合损失最小的方向进行更新，在达到迭代停止条件时，该通用模型的输入输出关系，即可以满足全部训练任务的训练需求。

例如，目标损失函数，可以是所有任务损失的线性加权，可以为每个任务的损失设定相应的权重，权重可以根据不同任务的重要程度来赋值，也可以根据任务的难易程度进行赋值，通常情况下，可以将所有的任务设置相同的权重。

由于该通用模型可以满足各个数据提供方训练任务的训练需求，因此可以直接将通用模型作为各个数据提供方分别对应的独有模型。

另外，在本步骤中，也可以是在得到各个训练任务对应的训练样本集后，即利用所得到的至少两个训练样本集对初始模型进行训练，得到通用模型；在得到通用模型之后，可以针对每个训练任务，利用该训练任务对应的训练样本集，对该通用模型进行训练，以得到所述至少两个数据提供方分别对应的独有模型。

本方式中可以是针对每个任务的训练样本对通用模型进行精调整，这样可以使模型中的参数更为贴合每个任务的需求，进一步提升模型精度。即将通用模型，进一步调整为每个训练任务、即每个数据提供方的独有模型。一种较优的方式，是在对通用模型进行训练时，采用的训练数据与训练通用模型时使用的该任务的训练数据，并不相同。如图3所示，为上述模型训练过程的示意图，即先使用各个任务的训练样本集联合训练初始模型，得到通用模型，该通用模型满足各个训练任务的训练需求，然后针对每个训练任务，利用该训练任务的训练样本对通用模型进行训练，得到更为满足该任务需求的独有模型。

综上，由于多任务学习在多个任务的数据集上进行训练，因此比单任务的训练集更大，即利用到了更多的训练样本对模型进行训练。其次，由于多个任务之间具有一定的相关性，因此多任务学习相当于一种隐性的数据增强，可以提高模型的泛化能力，训练出的模型能够兼顾所有任务，这在一定程度上避免了模型过拟合到单个任务的训练集，可以看作一种正则化。

可见，采用上述方案，各个数据提供方的数据进行加密发送到可信执行环境中，并在可信执行环境中进行训练，可以保证各个数据提供方的明文数据不会被泄露给彼此。同时，针对每个数据提供方的训练任务，构建训练样本集，在构建完成后，对全部数据提供方的训练任务进行多任务学习，可以使每个模型的训练既利用到了本任务的训练数据，又利用到了其他相关任务的训练数据，因此可以保证训练出的每个训练任务对应的模型效果均较佳。

在训练完每个任务的独有模型后，即可以对每个独有模型进行部署。

一种部署方式，可以为将所得到的至少两个数据提供方分别对应的独有模型，存储在所述可信执行环境中。

在本方式中，在可信执行环境中训练完成每个数据提供方的独有模型后，即可以直接利用训练完成的独有模型进行预测，可以是针对任一数据提供方发起的预测请求，从至少两个数据提供方获取加密数据；在可信执行环境中执行以下步骤：对接收到的加密数据进行解密；利用解密后的数据和该预测请求发起方的独有模型进行预测，得到预测结果。

例如，如图4所示为包括两个数据提供方和一个训练方的组网示意图，其中两个数据提供方为数据提供方1和数据提供方2，并且数据提供方1的训练任务中的特征一部分为自身提供的特征，另一部分为数据提供方2提供的特征。

则将数据提供方1的独有模型部署在训练方的可信执行环境后，可以在预测时执行下述步骤。

在数据提供方1可以发起预测请求后，训练方可以接收数据提供方1和数据提供方2，分别针对某一待预测对象的加密数据，并在可信执行环境中进行解密，解密后利用本地的数据提供方1的独有模型和解密后的数据进行预测，得到针对该待预测对象的预测结果。

通过这种方式，将训练后的独有模型存储在可信执行环境中，在预测时各个数据提供方可以将加密后的预测数据发送至可信执行环境中进行预测，保证了预测数据的安全性。

另一种部署方式，可以针对任一数据提供方的独有模型，将该模型进行拆分，得到至少两个数据提供方的子模型；将拆分出的至少两个子模型，分别发送给所述至少两个数据提供方进行存储；所述至少两个数据提供方，为该独有模型训练任务的训练样本集的提供方。

本方式中，可以是先确定该独有模型训练任务的训练样本集对应的至少两个数据提供方，然后基于该至少两个数据提供方的样本数据的特征项，将训练好的独有模型的模型参数按位拆分，其中，按位拆分是指将位置上与一数据提供方的样本数据的特征项关联的模型参数(以下称为用户参数)拆分出来，以获得该数据提供方的子模型，其中，该子模型具有拆分出的参数。

以线性回归模型为例，对于数据提供方，训练方可以将与该数据提供方的样本数据的特征项相乘的参数拆分出来，以获得该数据提供方的子模型。即，该数据提供方的子模型具有该数据提供方的样本数据的特征项所在的乘积项。另外，在一些实施例中，线性回归模型的常数项可以被拆分成两个以上子常数项分别作为两个以上数据提供方的子模型的常数项。在又一些实施例中，两个以上数据提供方之外的预测方也可以保存计算预测值需要用到的常数值，两个以上数据提供方的子模型的常数项以及该常数值与之和可以等于训练好的模型的常数项。举例来说，假设：训练好的独有模型为线性回归模型，形如Y= a₁X_a1+b₁X_b1+c，其中，Y表示预测值， X_a1表示数据提供方A的样本数据的特征项，X_b1表示数据提供方B的样本数据的特征项，a₁、b₁、c均为线性回归模型的模型参数且c为常数项，则数据提供方A的子模型可以形如Y_a= a₁X_a1+a₀，数据提供方B的子模型可以形如Y_b= b₁X_b1+b₀其中，Y_a、Y_b分别表示数据提供方A、B的子模型的预测值，a₀、b₀分别表示用户节点A、B的子模型的常数项。在一些实施例中，可以满足c＝a₀+b₀。相应地，针对待预测对象的预测结果Y＝Y_a +Y_b。在一些实施例中，若两个以上数据提供方之外的预测方保存有计算预测值需要用到的常数值c₀，则可以满足c＝a₀+b₀+c₀。相应地，针对待预测对象的预测结果Y＝Y_a +Y_b + c₀。

在一些实施例中，也可以将训练好的模型的独有模型参数进行运算拆分。其中，运算拆分可以指拆分出的各数据提供方对应的模型参数分片与拆分前模型的模型参数满足一定的运算关系，从而可以基于该运算关系对模型参数进行拆分。

以神经网络为例，拆分出的两个以上数据提供方的子模型可以是具有相同结构的神经网络，其中，结构可以包括层数、各层节点数、各节点的激活函数、各节点间连接关系等中的一种或多种。但是，两个以上数据提供方的子模型可以具有不同的神经网络参数，即运算拆分出的两个以上数据提供方的模型参数分片。应当注意的是，本说明书对如何拆分模型不作任何限制，满足以下条件的模型拆分规则都可以视为本说明书的公开范围：存在与该模型拆分规则匹配的联合预测规则，使得基于拆分出的各子模型的预测结果以及该联合预测规则可以得到相同于拆分前模型的预测结果。

在拆分之后，即可以将拆分出的子模型进行分发，以图4所示为例，共存在两个数据提供方即数据提供方1和数据提供方2，并且数据提供方1的训练任务中的特征一部分为自身提供的特征，另一部分为数据提供方2提供的特征。则可以将数据提供方1的独有模型，拆分为对应于数据提供方1和数据提供方2的子模型，并将子模型分别发送给数据提供方1和数据提供方2。

当然，为了保证数据的安全性，可以在可信执行环境中对多个子模型分别进行加密后再发送给各个数据提供方，各个数据提供方可以在解密后得到子模型。

在将子模型分别部署到各个数据提供后，即可以进行预测。

可以由预测方执行，该预测方可以为存有子模型的至少两个数据提供方之一，或除所述至少两个数据提供方以外的预测方；该预测方法可以包括以下步骤。

向拥有子模型的至少两个数据提供方发送包含待预测对象标识信息的请求；

接收所述至少两个拥有子模型的数据提供方发送的本地预测结果；

基于接收到的至少两个本地预测结果，得到针对待预测对象的完整预测结果。

如图5所示，为本说明书提出的一种模型预测方法的交互流程图。

如果预测方为除数据提供方1和数据提供方2以外的第三方，则可以是预测方，向多个拥有子模型的数据提供方发送包含待预测对象标识信息的请求，其中标识信息可以是名称、手机号码、身份证号码、标号等。各个数据提供方在获得请求后，即可以根据本地存储的子模型和本地的数据进行预测，得到本地的预测结果，即最终结果中的一部分。各个数据提供方将本地预测结果发送给预测方，预测方即可以综合多个数据方提供的预测结果，确定针对待预测对象的完整预测结果。可以理解，上述流程是针对预测方是数据提供方以外的场景。

当预测方是数据提供方之一时，预测流程实质相似，不同之处仅在于预测方会如其他数据提供方一样进行本地预测，预测方除了会基于其他数据提供方的本地预测结果，还会基于自身的本地预测结果确定最终的预测结果。其中，综合接收到的多个本地预测结果，得到最终的完整预测结果，可以是将多个本地预测结果进行相加、将预测结果取交集得到完整预测结果等，即可以根据拆分时的方式确定相应的算法，对多个本地预测结果进行综合。例如上述举的线性回归模型的例子，可以是将两个以上数据提供方提供的本地预测结果进行相加，得到待预测对象的预测结果。又例如，对于神经网络，各数据提供方，可以将本地拥有的针对待预测对象的特征数据进行运算拆分并分发给其他数据提供方，各数据提供方可以基于自身的特征数据分片以及获得的特征数据分片，以及各子模型参数，通过秘密分享算法，计算出最终预测结果的分片，并发送至预测方。预测方可以将各数据提供方的本地预测结果，即各数据提供方的预测结果的分片相加，得到待预测对象的最终预测结果。再例如，预测方可以将得到的两个以上本地预测结果取交集，得到待预测对象的最终预测结果。

采用本方式，在预测阶段，各个数据提供方的真实数据不需要出域，只需要将本地预测结果加密出域，发送至预测方即可，进一步提升了各个数据提供方本地数据的安全。

下面以一个具体的应用场景，对本说明书提出的模型训练方法以及预测方法进行描述。

目前随着互联网的发展，第三方支付平台的签约的商户数量十分庞大，且拥有各个商户的交易数据例如商户下累计交易买家数，用户数，夜间交易数，人均支付金额等，以X₁表示各个商户的交易数据。

同时，各个银行也会签约商户，并且通常情况下，仅拥有各个商户的基础数据，以X₂表示各个商户的基础信息数据。

各个银行为了提升对签约商户的风险预测精准率，需要利用支付平台交易数据对本地商户进行风险预测，因此可以采用本说明书提出的方式进行训练和预测。

如图6所示，为一种具体场景下的组网示意图。各个银行可以将本地存储的商户的基本信息数据加密后提供给训练方，第三方支付平台将商户的交易数据加密后提供给训练方。

各个银行的训练任务为根据商户的基本信息数据以及交易数据，确定商户是否存储风险。

而第三方支付平台的训练任务为根据商户的交易数据，确定商户是否存在风险。

在确定各个银行以及第三方支付平台的训练任务后，即可以在可信执行环境中为各个数据提供方即各个银行以及第三方支付平台构建训练样本集。

各个银行的训练样本集中，每条训练样本中的特征可以为基础信息数据X₁以及交易数据X₂，标签值为商户是否存在风险。即每个银行的训练样本集中都融合了第三方支付平台提供的商户交易数据。

第三方支付平台的训练样本集中，每条训练样本中的特征可以为交易数据X₂，标签值为商户是否存在风险。

在本场景中，可以理解为整体的需求为第三方支付平台提供本地的数据为各个银行训练模型，因此，标签值可以主要为各个银行数据为准；或者采用第三方支付平台的标签对各个银行提供的标签进行调整，确定为最后的标签值，具体调整方式，可以是双方只要一方确定商户存在风险，则该商户的标签为存在风险，或者双方都确定商户存在风险，才确定该商户的标签为存在风险。

在构建完成各个训练方的训练样本后，即可以采用多任务学习的方式训练各个数据提供方的独有模型，基于多任务学习的方式可以参数上述图2以及图3所示的方式和相应段落的描述，这里不再进行详述。

以任一银行的独有模型为例，训练完成后，其独有模型的训练即利用到了其训练任务所需的数据，同时也利用到了其他数据提供方，即其他银行和第三方支付平台训练任务中的数据。因此，训练出的每个银行的独有模型的泛化能力更强，模型效果更佳。

在训练完成后，可以对任一银行的独有模型进行拆分，拆分为两部分，一部分子模型部署在该银行侧的设备中，另一部分部署在第三方支付平台的设备中。

在预测某一商户是否存在风险时，可以是该银行基于本地的子模型和本地存储的该商户的基本信息数据确定一个本地预测结果，同时第三方支付平台基于本地的子模型和本地存储的该商户的交易数据，确定一个本地预测结果。最后由预测方，基于双方的本地预测结果，确定最终的该商户是否存在风险，其中预测方可以是该银行、第三方支付平台、或除这两方以外的第三方，本说明书对此不进行限定。

采用上述方式在本场景中，使各个银行以及第三方支付平台的训练数据在可信执行环境中进行多任务学习，得到各个银行以及第三方支付平台的独有模型，既保证了各个数据提供方的数据安全性，保护了隐私，同时各个银行，可以共享彼此的商户的基本信息数据，同时也能利用第三方支付平台的所有用户的交易信息，使训练出的模型效果较佳。另外，对每个独有模型进行拆分，并分发至各个数据提供方，这样在预测时，各个数据提供方的数据不需要出域即可以利用本地的子模型进行预测，进一步提升了安全性。

与前述一种模型训练方法相对应，本说明书还提供了一种模型训练装置。

参见图7a所示，是本说明书实施例的一种模型训练装置结构示意图，应用于部署有可信执行环境的训练方，该装置包括以下模块。

训练数据获取模块710，用于获取来自至少两个数据提供方的加密数据；

模型训练模块720，用于在可信执行环境中执行以下步骤。

对接收到的加密数据进行解密；

针对任一数据提供方的训练任务，利用接收到的数据构建该训练任务的训练样本集；其中，所述至少两个数据提供方分别对应的训练任务之间具有相关性；

在得到所述至少两个数据提供方分别对应的训练样本集后，针对所述至少两个数据提供方的训练任务，利用所得到的至少两个训练样本集进行多任务学习，以得到所述至少两个数据提供方分别对应的独有模型。

在一个实施例中，所述模型训练模块720，具体用于利用所得到的至少两个训练样本集对初始模型进行训练，得到通用模型；

针对每个训练任务，利用该训练任务对应的训练样本集，对该通用模型进行训练，以得到所述至少两个数据提供方分别对应的独有模型。

如图7b所示，是本说明书实施例的另一种模型训练装置结构示意图；所述装置还包括：模型部署模块730，用于将所得到的至少两个数据提供方分别对应的独有模型，存储在所述可信执行环境中。

在一个实施例中，所述装置还包括：模型部署模块730，用于针对任一数据提供方的独有模型，将该模型进行拆分，得到至少两个数据提供方的子模型；

将拆分出的至少两个子模型，分别发送给所述至少两个数据提供方进行存储；所述至少两个数据提供方，为该独有模型训练任务的训练样本集的提供方。

在一个实施例中，所述模型部署模块730，具体用于确定该独有模型训练任务的训练样本集对应的至少两个数据提供方；

基于所述至少两个数据提供方的样本数据的特征项，将训练好的模型的模型参数按位拆分；或者，将训练好的模型的模型参数进行运算拆分。

如图8所示，是本说明书实施例的一种模型预测装置结构示意图；

与前述一种模型训练方法相对应，本说明书还提供了一种基于上述模型训练方法的模型预测装置，应用于所述训练方，包括以下模块。

预测数据获取模块810，用于针对任一数据提供方发起的预测请求，从至少两个数据提供方获取加密数据；

模型预测模块820，用于在可信执行环境中执行以下步骤：

对接收到的加密数据进行解密；

利用解密后的数据和该预测请求发起方的独有模型进行预测，得到预测结果。

如图9所示，是本说明书实施例的另一种模型预测装置结构示意图；与前述一种模型训练方法相对应，本说明书还提供了另一种基于上述模型训练方法的模型预测装置，应用于预测方，所述预测方为存有子模型的至少两个数据提供方之一，或除所述至少两个数据提供方以外的预测方；所述装置包括以下模块。

预测请求发送模块910，用于向至少两个拥有子模型的数据提供方发送包含待预测对象标识信息的请求；

预测模块920，用于接收所述至少两个拥有子模型的数据提供方发送的本地预测结果；

所述本地预测结果为所述数据提供方基于本地的所述待预测对象的数据、以及本地的子模型得到的预测结果；

基于接收到的至少两个本地预测结果，得到针对待预测对象的完整预测结果。

上述设备中各个部件的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述的方法。该方法至少包括上述训练方所执行的方法。

图10示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。

总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的方法。该方法至少包括上述训练方所执行的方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体（transitory media），如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (15)

1.一种模型训练方法，应用于部署有可信执行环境的训练方，所述方法包括：

获取来自至少两个数据提供方的加密数据；

在可信执行环境中执行以下步骤：

对接收到的加密数据进行解密；

针对任一数据提供方的训练任务，利用接收到的数据构建该训练任务的训练样本集；其中，所述至少两个数据提供方分别对应的训练任务之间具有相关性；

在得到所述至少两个数据提供方分别对应的训练样本集后，针对所述至少两个数据提供方的训练任务，利用所得到的至少两个训练样本集进行多任务学习，以得到所述至少两个数据提供方分别对应的独有模型。

2.根据权利要求1所述的方法，所述利用所得到的至少两个训练样本集进行多任务学习，以得到所述至少两个数据提供方分别对应的独有模型，包括：

利用所得到的至少两个训练样本集对初始模型进行训练，得到通用模型；

针对每个训练任务，利用该训练任务对应的训练样本集，对该通用模型进行训练，以得到所述至少两个数据提供方分别对应的独有模型。

3.根据权利要求1所述的方法，还包括：

将所得到的至少两个数据提供方分别对应的独有模型，存储在所述可信执行环境中。

4.根据权利要求1所述的方法，还包括：

针对任一数据提供方的独有模型，将该模型进行拆分，得到至少两个数据提供方的子模型；

将拆分出的至少两个子模型，分别发送给所述至少两个数据提供方进行存储；所述至少两个数据提供方，为该独有模型训练任务的训练样本集的提供方。

5.根据权利要求4所述的方法，所述针对任一数据提供方的独有模型，将该模型进行拆分，得到至少两个数据提供方的子模型，包括：

确定该独有模型训练任务的训练样本集对应的至少两个数据提供方；

基于所述至少两个数据提供方的样本数据的特征项，将训练好的模型的模型参数按位拆分；或者，将训练好的模型的模型参数进行运算拆分。

6.一种基于权利要求3所述的模型训练方法的预测方法，由所述训练方执行，包括：

针对任一数据提供方发起的预测请求，从至少两个数据提供方获取针对待预测对象的加密数据；

在可信执行环境中执行以下步骤：

对接收到的加密数据进行解密；

利用解密后的数据和该预测请求发起方的独有模型进行预测，得到预测结果。

7.一种基于权利要求4所述的模型训练方法的预测方法，由预测方执行，所述预测方为存有子模型的至少两个数据提供方之一，或除所述至少两个数据提供方以外的预测方；所述方法包括：

向至少两个拥有子模型的数据提供方发送包含待预测对象标识信息的请求；

接收所述至少两个拥有子模型的数据提供方发送的本地预测结果；

基于接收到的至少两个本地预测结果，得到针对待预测对象的完整预测结果。

8.一种模型训练装置，应用于部署有可信执行环境的训练方，所述装置包括：

训练数据获取模块，用于获取来自至少两个数据提供方的加密数据；

模型训练模块，用于在可信执行环境中执行以下步骤：

对接收到的加密数据进行解密；

针对任一数据提供方的训练任务，利用接收到的数据构建该训练任务的训练样本集；其中，所述至少两个数据提供方分别对应的训练任务之间具有相关性；

在得到所述至少两个数据提供方分别对应的训练样本集后，针对所述至少两个数据提供方的训练任务，利用所得到的至少两个训练样本集进行多任务学习，以得到所述至少两个数据提供方分别对应的独有模型。

9.根据权利要求8所述的装置，

所述模型训练模块，具体用于利用所得到的至少两个训练样本集对初始模型进行训练，得到通用模型；

针对每个训练任务，利用该训练任务对应的训练样本集，对该通用模型进行训练，以得到所述至少两个数据提供方分别对应的独有模型。

10.根据权利要求8所述的装置，所述装置还包括：

模型部署模块，用于将所得到的至少两个数据提供方分别对应的独有模型，存储在所述可信执行环境中。

11.根据权利要求8所述的装置，所述装置还包括：

模型部署模块，用于针对任一数据提供方的独有模型，将该模型进行拆分，得到至少两个数据提供方的子模型；

将拆分出的至少两个子模型，分别发送给所述至少两个数据提供方进行存储；所述至少两个数据提供方，为该独有模型训练任务的训练样本集的提供方。

12.根据权利要求11所述的装置，

所述模型部署模块，具体用于确定该独有模型训练任务的训练样本集对应的至少两个数据提供方；

基于所述至少两个数据提供方的样本数据的特征项，将训练好的模型的模型参数按位拆分；或者，将训练好的模型的模型参数进行运算拆分。

13.一种基于权利要求3所述的模型训练方法的预测装置，应用于所述训练方，包括：

预测数据获取模块，用于针对任一数据提供方发起的预测请求，从至少两个数据提供方获取加密数据；

模型预测模块，用于在可信执行环境中执行以下步骤：

对接收到的加密数据进行解密；

利用解密后的数据和该预测请求发起方的独有模型进行预测，得到预测结果。

14.一种基于权利要求4所述的模型训练方法的预测装置，应用于预测方，所述预测方为存有子模型的至少两个数据提供方之一，或除所述至少两个数据提供方以外的预测方；所述装置包括：

预测请求发送模块，用于向至少两个拥有子模型的数据提供方发送包含待预测对象标识信息的请求；

预测模块，用于接收所述至少两个拥有子模型的数据提供方发送的本地预测结果；

所述本地预测结果为所述数据提供方基于本地的所述待预测对象的数据、以及本地的子模型得到的预测结果；

基于接收到的至少两个本地预测结果，得到针对待预测对象的完整预测结果。

15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至6任一项所述的方法。

Images