CN111125760A

CN111125760A - 保护数据隐私的模型训练、预测方法及其系统

Info

Publication number: CN111125760A
Application number: CN201911334587.9A
Authority: CN
Inventors: 周俊
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2020-05-08
Anticipated expiration: 2039-12-20
Also published as: CN111125760B

Abstract

本说明书中的实施例提供了保护数据隐私的模型训练、预测方法及其系统，其技术要点包括：训练的模型包括包含输入层的第一部分和包含输出层的第二部分，所述方法包括：对于任一训练样本，获取所述训练样本的特征值，所述第一部分基于所述特征值得到的模型中间值，所述第二部分基于所述模型中间值得到的输出结果，以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值；调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果和样本标签的第二差异。

Description

保护数据隐私的模型训练、预测方法及其系统

技术领域

本说明书实施例涉及信息技术领域，特别涉及一种保护数据隐私的模型训练、预测方法及其系统。

背景技术

在大数据时代，通过对海量数据进行挖掘，可以获得各种形式的有用信息，例如通过数据来训练模型，再通过模型从数据中预测有用的信息。然而，在模型的训练和预测阶段可能会出现数据隐私泄露的情况。例如，攻击者通过不正当手段获取模型的相关信息，并通过模型运算中的信息或数据来获取数据隐私。因此，希望提供一种能够提高数据隐私保护力度的模型训练及预测方法。

发明内容

本说明书实施例之一提供一种模型训练方法，其中，训练的模型包括包含输入层的第一部分和包含输出层的第二部分，所述方法包括：对于任一训练样本，获取所述训练样本的特征值，所述第一部分基于所述特征值得到的模型中间值，所述第二部分基于所述模型中间值得到的输出结果，以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值；调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果与样本标签的第二差异。

本说明书实施例之一提供一种模型训练系统，其中，训练的模型包括包含输入层的第一部分和包含输出层的第二部分，所述系统包括：第一获取模块，对于任一训练样本，获取所述训练样本的特征值，所述第一部分基于所述特征值得到的模型中间值，所述第二部分基于所述模型中间值得到的输出结果，以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值；模型训练模块，用于调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果与样本标签的第二差异。

本说明书实施例之一提供一种模型训练装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现所述模型训练方法。

本说明书实施例之一提供一种模型预测方法，其中，预测模型被拆分成包括输入层的第一部分和包括输出层的第二部分，所述第一部分设置于用户端，所述第二部分设置于服务端；所述方法由所述用户端执行，其包括：获取待预测对象的特征值；将所述特征值输入到所述第一部分以获得模型中间值；获取特征值还原装置基于所述模型中间值得到的所述特征值的还原值；至少基于所述特征值的还原值与所述特征值的差异，确定是否继续与所述服务端进行联合预测。

本说明书实施例之一提供一种模型预测系统，其中，预测模型被拆分成包括输入层的第一部分和包括输出层的第二部分，所述第一部分设置于用户端，所述第二部分设置于服务端；所述系统对应于所述用户端，其包括：第二获取模块，用于获取待预测对象的特征值；第一预测模块，用于将所述特征值输入到所述第一部分以获得模型中间值；还原值获取模块，用于获取特征值还原装置基于所述模型中间值得到的所述特征值的还原值；第一处理模块，用于至少基于所述特征值的还原值与所述特征值的差异，确定是否继续与所述服务端进行联合预测。

本说明书实施例之一提供一种模型预测装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现所述模型预测方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1为根据本说明书一些实施例所示的机器学习系统的应用场景示意图；

图2为根据本说明书一些实施例所示的模型训练方法的示例性流程图；

图3为根据本说明书一些实施例所示的模型预测方法的示例性流程图；

图4为根据本说明书一些实施例所示的模型训练系统的示例性框图；

图5为根据本说明书一些实施例所示的模型预测系统的示例性框图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

在一些基于机器学习模型预测的应用场景中，训练好的模型(即预测模型)可被拆分成包括输入层的第一部分和包括输出层的第二部分。在预测阶段，第一部分可设置于用户端，第二部分可设置于服务端，用户端与服务端联合完成预测。具体地，用户端首先将待预测对象的特征值输入第一部分，并将第一部分输出的模型中间值发送给服务端。进而，服务端将接收到的模型中间值输入第二部分，得到第二部分输出的该待预测对象的预测结果。这样的处理方式在一定程度上可以保护用户端用户的数据隐私以及服务端模型的数据隐私。可以理解，用户端的特征数据不用出域，服务端的模型数据也无需全部出域即可完成预测。

在一些实施例中，模型中间值在传输过程中可能被攻击者获取，且攻击者利用一定手段由获取的模型中间值反推待预测对象的特征值，当反推结果与原特征值的差距足够小时将造成用户隐私的泄露。基于此，本说明书中的又一些实施例提供了可以进一步保护数据隐私的模型训练、预测方法及其系统，通过引入特征值还原装置模拟攻击者的行为，希望能够训练出难以由模型中间值反推出原特征值或其近似值(即，模型中间值被获取后不易引起用户隐私泄露)的模型，以及在预测阶段评估模型中间值被攻击者获取后引起用户隐私泄露的风险。

在一些实施例中，保护数据隐私中的所述数据可以包括实体的隐私数据。在一些实施例中，实体可以包括用户、商户、个人、团体、机构、组织、公司、学校等。在一些实施例中，隐私数据可以包括图像数据、文本数据、声音数据等中的一种或多种。仅作为示例，图像数据可以包括用户的人脸数据、指纹数据等等，文本数据可以包括用户的性别、年龄、教育经历、职业经历、病史等等，声音数据可以包括用户的通话录音、会议录音等等。

图1为根据本说明书一些实施例所示的机器学习系统的应用场景示意图。如图1所示，机器学习系统100可以包括用户端110、网络120和服务端130。

在一些实施例中，用户端110中可以是一台计算设备或计算设备组。所述计算设备可以是移动设备110-1、平板计算机110-2、膝上型计算机110-3、台式计算机等或其任意组合。所述计算设备组可以是集中式或分布式的。在一些实施例中，用户端110可以是本地的，也可以是远程的。例如，用户端110可以经由网络120访问存储于服务端130或网络120上其他网络节点的信息和/或数据。在一些实施例中用户端110可以在云平台上实施。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，用户端110可以具有部分预测模型数据，如预测模型的第一部分(包含输入层)。在一些实施例中，用户端110拥有待预测对象的特征值，用户端110可以将待预测对象的特征值输入所述第一部分获得模型中间值。在一些实施例中，待预测对象可以包括实体，特征值可以包括任意与模型预测有关的输入数据，具体可以基于实体的隐私数据提取。有关实体和隐私数据的详细内容可以参考前文的相关描述。

在一些实施例中，用户端110可以将第一部分输出的模型中间值发送给服务端130并接收服务端130反馈的该待预测对象的预测结果。在一些实施例中，需要加强对数据安全的保护力度，例如，防止模型中间值被攻击者获取后引起用户隐私泄露，此时，用户端110可以获得特征值还原装置基于模型中间值得到的待预测对象的还原值，并至少基于该待预测对象的还原值与该待预测对象本身的差异，确定是否与服务端进行联合预测。关于用户端110、特征值还原装置的更多细节，还可以参考图2～5及其相关描述。

在一些实施例中，服务端130也可以是一台计算设备或计算设备组。所述计算设备可以是移动设备、平板计算机、膝上型计算机、台式计算机等或其任意组合。所述计算设备组可以是集中式或分布式的。在一些实施例中，服务端130可以是本地的，也可以是远程的。例如，服务端130可以经由网络120访问存储于用户端110或网络120上其他网络节点的信息和/或数据。在一些实施例中服务端130可以在云平台上实施。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，服务端130可以完成预测模型的训练，将预测模型拆分为包含输入层的第一部分以及包含输出层的第二部分，并将第一部分分发给用户端110。预测模型的第二部分(包含输出层)可设置于服务端130，服务端130可将从用户端110接收的模型中间值输入第二部分，并将第二部分输出的预测结果反馈给用户端110。在一些实施例中，服务端130可在特征值还原装置的协助下训练模型，以获得难以由模型中间值反推出原特征值或其近似值(即，隐私保护能力较强)的模型。在一些实施例中，服务端130可以完成对特征还原装置的训练。在又一些实施例中，服务端130可以将所述模型以及特征还原装置一并训练，得到所述模型的同时获得所述特征值还原装置。关于服务端130的更多细节，还可以参考图2～5及其相关描述。

网络120可促进数据和/或信息的交换。在一些实施例中，机器学习系统100中的一个或多个组件(如，用户端110和服务端130)可通过网络120传输数据和/或信息至机器学习系统100中的其他组件。例如，用户端110可通过网络120将模型中间值发送给服务端130。又如，服务端130可通过网络120将待预测对象的预测结果发送给用户端110。在一些实施例中，网络120可是任意类型的有线或无线网络。例如，网络120可包括缆线网络、有线网络、光纤网络、电信网络、内部网络、网际网络、区域网络(LAN)、广域网络(WAN)、无线区域网络(WLAN)、都会区域网络(MAN)、公共电话交换网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或以上任意组合。在一些实施例中，网络120可包括一个或多个网络进出点。例如，网络120可包含有线和/或无线网络进出点，如基站和/或多个网际网络交换点120-1、120-2，通过这些进出点，机器学习系统100的一个或多个组件可连接到网络120上以交换数据和/或信息。

图2为根据本说明书一些实施例所示的模型训练方法的示例性流程图。在一些实施例中，流程200可以由服务端130执行。流程200可以包括：

步骤210，对于任一训练样本，获取该训练样本的特征值，第一部分基于该特征值得到的模型中间值，第二部分基于该模型中间值得到的输出结果，以及特征值还原装置基于该模型中间值得到的该特征值的还原值。在一些实施例中，步骤210可以由第一获取模块410实现。

在一些实施例中，所述训练样本可以是与实体相关的数据，包括但不限于图像数据、文本数据、声音数据等。在一些实施例中，训练样本可以是实体的隐私数据。在一些实施例中，预测模型可以由服务端130训练获得。在一些实施例中，服务端130可以融合不同数据源的训练样本进行模型训练得到所述预测模型。

在训练阶段，用户端130可以确定模型的拆分方式，以确定第一部分输出模型中间值的位置。应当注意的是，可以在训练前按确定的拆分方式将待训练的模型拆分成第一部分和第二部分，也可以在完成训练后再按确定的拆分方式将训练好的模型(即预测模型)拆分成第一部分和第二部分。在一些实施例中，所述预测模型可以是神经网络模型。其中，第一部分为包含输入层的一层或多层神经网络，第二部分为包含输出层的一层或多层神经网络。

值得说明的是，若第一部分的结构偏简单(例如，第一部分只包括1层，即单层神经网络)，攻击者基于获取的模型中间值反推出原特征值的难度会偏低。为此，在一些实施例，可以设置模型的第一部分的最低层数(如，2、3、4、5等)，第一部分的层数可不小于该最低层数。例如，当模型包括3层时，可将第一部分划分为2层以及将第二部分划分为1层。在又一些实施例中，可以按适当的比例划分第一部分和第二部分各自的层数，以保证第一部分包含一定的层数。例如，第一部分和第二部分的层数之比可以等于或近似于1∶1。具体地，当模型的总层数为2n+1(n为正整数)时，可以将第一部分划分成n层以及将第二部分划分成n+1层，或者可以将第一部分划分成n+1层以及将第二部分划分成n层，当模型的总层数为2n时，可以将第一部分和第二部分均划分成n层。

在一些实施例中，可以在训练前将待训练的模型拆分成第一部分和第二部分。将训练样本的特征值输入第一部分可以获得模型中间值，将模型中间值输入第二部分可以获得该训练样本对应的输出结果。在一些实施例中，可以在完成训练后将训练好的模型(即预测模型)拆分成第一部分和第二部分。可以理解，在训练阶段模型是整体未经拆分的。可以将训练样本的特征值输入该模型，获得该训练样本对应的输出结果，此输出结果即为第二部分的输出结果，同时可以从模型的计划拆分部位(如，第一部分的输出层)获取所述模型中间值。

在一些实施例中，本说明书提及的特征值还原装置可以通过拟合模型中间值与原特征值关系的机器学习模型或其他数学模型、算法等方式中的一种或多种来实现。所述实现特征还原的机器学习模型可以预先训练好。特征值还原装置可以基于模型中间值输出原特征值。

步骤220，调节模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果与样本标签的第二差异。在一些实施例中，步骤220可以由模型训练模块420实现。

应当理解，增大训练样本的特征值的还原值与特征值本身的第一差异可以降低模型中间值被攻击者获取后引起用户隐私泄露的风险(可视为提高模型的隐私保护能力)，减小训练样本对应的第二部分的输出结果与样本标签的第二差异可以提高模型的预测精度。模型的隐私保护能力与模型的精度为博弈关系，即，模型的隐私保护能力和预测精度中任一个达到一定水平后若继续对其增强会导致另一个的减弱。因此，在一些实施例中，可以设定预测所需的最低精度，在保证预测精度不低于该最低精度的前提下尽量提高模型的隐私保护能力。

在一些实施例中，可以构造与第一差异负相关且与第二差异正相关的损失函数。模型训练模块420可以基于训练样本特征值与标签值训练所述模型，以使损失函数尽可能小。其中，调节模型参数可以包括基于所述第一差异构造损失函数，基于所述损失函数确定梯度数据，进而利用梯度反向传播调节神经网络中的参数。在一些实施例中，调节模型结构可以包括调整模型中神经元的数量。例如，可以根据需要将某些神经元去掉或增加一定数量的神经元。在一些实施例中，调节模型参数和调节模型结构可以交替进行，最终使训练的模型达到预设的要求。如，第一差异不小于设定阈值同时第二差异不大于设定的其他阈值。

在一些实施例中，特征值还原装置为机器学习模型，且需要与所述模型(以下称为目标模型)一并训练。在一些实施例中，装置训练模块430可以将第一部分输出的模型中间值作为特征值还原装置的训练样本的输入特征值，将输入目标模型的特征值作为特征值还原装置的训练样本的样本标签，对特征值还原装置进行训练。特征值还原装置的训练方法可以包括：调节特征值还原装置的参数和/或结构，以减小同一训练样本的特征值的还原值与特征值本身的第一差异。其中，调节特征还原装置的参数可以包括基于所述第一差异构造损失函数，基于所述损失函数确定梯度数据，进而利用梯度反向传播调节神经网络中的参数。在一些实施例中，调节特征还原装置的结构可以包括调整模型中神经元的数量。例如，可以根据需要将某些神经元去掉或增加一定数量的神经元。

在一些实施例中，目标模型和特征值还原装置构成对抗网络，模型训练模块420基于训练样本训练目标模型以使第二差异尽可能小的同时使第一差异尽可能大，装置训练模型430基于所述训练样本得到的装置输入特征值以及装置的标签训练特征值还原装置，以使第一差异尽可能小。模型训练模块420与装置训练模块430可以交替训练目标模型和特征值还原装置，相互博弈，最终使得目标模型在满足预测精度的前提下得到的模型中间值难以反推出特征值，具有良好的隐私保护能力。

应当注意的是，上述有关流程200的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程200进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。需要说明的是，上述目标模型以及特征值还原装置的训练也可以在其他计算设备上实现，所述其他计算设备完成训练任务后，可以将目标模型进行拆分，将第一部分发送给用户端110，将第二部分发送给130。特征值还原装置可以设置于用户端110，也可以设置于服务端130，还可以设置于其他计算设备上。

图3为根据本说明书一些实施例所示的模型预测方法的示例性流程图。其中，预测模型被拆分成包括输入层的第一部分和包括输出层的第二部分，第一部分设置于用户端110，所述第二部分设置于服务端130。在一些实施例中，预测模型可以通过本说明书任一实施例所述的模型训练方法获得。流程300可以由用户端110执行，其可包括：

步骤310，获取待预测对象的特征值。在一些实施例中，步骤210可以由第二获取模块510实现。

步骤320，将该特征值输入到第一部分以获得模型中间值。在一些实施例中，步骤320可以由第一预测模块520实现。

步骤330，获取特征值还原装置基于该模型中间值得到的该特征值的还原值。在一些实施例中，步骤330可以由还原值获取模块530实现。

在一些实施例中，特征值还原装置可以设置于用户端110，因此还原值获取模块530可以将第一部分输出的模型中间值输入到特征值还原装置中得到所述还原值。在一些实施例中，特征值还原装置也可以设置于服务端130或者在用户端110和服务端130之外的第三设备上实施，例如，在特征值还原装置的参数和/或结构需要对用户端110保密的情况下。当特征值还原装置设置于服务端130或在第三设备上实施时，服务端130或第三设备可以从用户端110获得模型中间值，并将基于该模型中间值得到的还原值反馈给用户端110。

关于特征值还原装置的实现方式，可以参考图2及其相关描述。

步骤340，至少基于该特征值的还原值与该特征值的差异，确定是否继续与服务端进行联合预测。在一些实施例中，步骤340可以由第一处理模块540实现。

还原值与原特征值的差异越大，说明模型中间值被攻击者获取后引起用户隐私泄露的风险越小。在一些实施例中，用户端110可以将该差异与第一阈值比较，当该差异小于第一阈值时，用户端110可以停止将模型中间值发送给服务端进行联合预测的后续工作。反之，用户端110可以将模型中间值发送给服务端130进行联合预测的后续工作，以获得预测结果。

在一些实施例中，特征值还原装置设置于用户端110上，当所述差异小于第一阈值时，用户端110还可以不把当前模型特征值发送给服务端130，及时以避免当前模型中间值被攻击者获取后引起当前特征值中用户隐私的泄露。在一些实施例中，特征值还原装置设置于用户端110以外的设备上时，用户端110只能在将当前模型中间值发送后获知风险，其可以停止将下一次预测的模型中间值发送给服务端130，以避免用户隐私持续被泄露。

在一些实施例中，当用户端110判断出还原值与原特征值的差异小于第一阈值时，说明当前所用预测模型的隐私保护能力有待提高，用户端110可以输出更新预测模型的指示。该指示可以发送给模型的训练方，例如，服务端130。模型的训练方可以重新训练预测模型或基于当前的预测模型继续进行模型训练。

应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图4为根据本说明书一些实施例所示的模型训练系统的示例性框图。在一些实施例中，系统400可以部署于服务端130或其他计算设备，其可以包括第一获取模块410和模型训练模块420。

模型可包括包含输入层的第一部分和包含输出层的第二部分。在一些实施例中，模型可以包括神经网络。

在一些实施例中，第一获取模块410可以用于获取任一训练样本的的特征值，第一部分基于所述特征值得到的模型中间值，第二部分基于所述模型中间值得到的输出结果，以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值。其中，特征值是指从用户隐私数据中获取的能够反映数据特征的向量化表示。在一些实施例中，服务端130可以在训练阶段确定模型的拆分方式，以确定第一部分输出模型中间值的位置。在一些实施例中，所述特征值还原装置为机器学习模型。在一些实施例中，所述训练样本可以是与实体相关的数据，包括但不限于图像数据、文本数据、声音数据等。

在一些实施例中，模型训练模块420可以用于调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果和样本标签的第二差异。在一些实施例中，模型训练模块420还可以用于基于构造的损失函数，调节所述模型的参数，其中，所述损失函数与第一差异负相关，与第二差异正相关。

在一些实施例中，所述系统还可以包括装置训练模块430，用于调节所述特征值还原装置的参数和/或结构，以减小训练样本的特征值的还原值与特征值本身的第一差异。

图5为根据本说明书一些实施例所示的模型预测系统的示例性框图。预测模型可被拆分成包括输入层的第一部分和包括输出层的第二部分，所述第一部分可设置于用户端，所述第二部分可设置于服务端，系统500可对应于用户端110。在一些实施例中，系统500可以包括第二获取模块510、第一预测模块520、还原值获取模块530和第一处理模块540。

在一些实施例中，第二获取模块510可以用于获取待预测对象的特征值。其中，特征值是指从用户隐私数据中获取的能够反映数据特征的向量化表示。

在一些实施例中，第一预测模块520可以用于将所述特征值输入到所述第一部分以获得模型中间值。

在一些实施例中，还原值获取模块530可以用于获取特征值还原装置基于所述模型中间值得到的所述特征值的还原值。在一些实施例中，特征值还原装置设置于用户端。在一些实施例中，预测模型和/或特征值还原装置可以通过图2所述的模型训练方法获得。

在一些实施例中，第一处理模块540可以用于至少基于所述特征值的还原值与所述特征值的差异，确定是否继续与所述服务端进行联合预测。其中，还原值与原特征值的差异越大，说明模型中间值被攻击者获取后引起用户隐私泄露的风险越小。在一些实施例中，当所述差异小于第一阈值时，第一处理模块540停止将模型中间值发送给服务端进行联合预测的后续工作。在一些实施例中，当所述差异小于第一阈值时，第一处理模块540输出更新所述预测模型的指示。在一些实施例中，当所述差异不小于第一阈值时，第一处理模块540将模型中间值发送给服务端进行联合预测的后续工作以获得预测结果。

应当理解，图4和图5所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，图5中披露的第二获取模块510、第一预测模块520和还原值获取模块530可以是一个系统中的不同模块，也可以是一个模块实现这三个模块的功能。诸如此类的变形，均在本说明书的保护范围之内。

本说明书实施例可能带来的有益效果包括但不限于：(1)在训练阶段通过特征值还原装置模拟攻击者的行为，可以训练出具备一定隐私保护能力和精度的模型；(2)在预测阶段通过特征值还原装置模拟攻击者的行为，可以实时监测用户当前输入的特征值被反推的风险，进而在监测到风险较高时采取进一步的措施保护用户数据隐私。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书实施例的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书实施例进行各种修改、改进和修正。该类修改、改进和修正在本说明书实施例中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书实施例的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书实施例的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书实施例的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书实施例各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本说明书实施例所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书实施例流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书实施例披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书实施例对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书实施例的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims

1.一种保护数据隐私的模型训练方法，其中，训练的模型包括包含输入层的第一部分和包含输出层的第二部分，所述方法包括：

对于任一训练样本，获取所述训练样本的特征值，所述第一部分基于所述特征值得到的模型中间值，所述第二部分基于所述模型中间值得到的输出结果，以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值；其中，所述特征值还原装置用于基于所述模型中间值反推其对应样本的特征值；

调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果与样本标签的第二差异。

2.根据权利要求1所述的方法，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。

3.根据权利要求1所述的方法，其中，所述调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果和样本标签的第二差异，包括：

基于构造的损失函数，调节所述模型的参数，其中，所述损失函数与第一差异负相关，与第二差异正相关。

4.根据权利要求1所述的方法，其中，所述模型包括神经网络。

5.根据权利要求1所述的方法，其中，所述特征值还原装置为机器学习模型，所述方法还包括：

调节所述特征值还原装置的参数和/或结构，以减小训练样本的特征值的还原值与特征值本身的第一差异。

6.一种保护数据隐私的模型训练系统，其中，训练的模型包括包含输入层的第一部分和包含输出层的第二部分，所述系统包括：

第一获取模块，对于任一训练样本，获取所述训练样本的特征值，所述第一部分基于所述特征值得到的模型中间值，所述第二部分基于所述模型中间值得到的输出结果，以及特征值还原装置基于所述模型中间值得到的所述特征值的还原值；其中，所述特征值还原装置用于基于所述模型中间值反推其对应样本的特征值；

模型训练模块，用于调节所述模型的参数和/或结构，以增大训练样本的特征值的还原值与特征值本身的第一差异以及减小第二部分的输出结果与样本标签的第二差异。

7.根据权利要求6所述的系统，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。

8.根据权利要求6所述的系统，其中，所述第一处理模块还用于基于构造的损失函数，调节所述模型的参数，其中，所述损失函数与第一差异负相关，与第二差异正相关。

9.根据权利要求6所述的系统，其中，所述模型包括神经网络。

10.根据权利要求6所述的系统，其中，所述特征值还原装置为机器学习模型，所述系统还包括：

装置训练模块，用于调节所述特征值还原装置的参数和/或结构，以减小训练样本的特征值的还原值与特征值本身的第一差异。

11.一种保护数据隐私的模型训练装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现如权利要求1～5中任一项所述的方法。

12.一种保护数据隐私的模型预测方法，其中，预测模型被拆分成包括输入层的第一部分和包括输出层的第二部分，所述第一部分设置于用户端，所述第二部分设置于服务端；所述方法由所述用户端执行，其包括：

获取待预测对象的特征值；

将所述特征值输入到所述第一部分以获得模型中间值；

获取特征值还原装置基于所述模型中间值得到的所述特征值的还原值；其中，所述特征值还原装置用于基于所述模型中间值反推其对应的待预测对象的特征值；

至少基于所述特征值的还原值与所述特征值的差异，确定是否继续与所述服务端进行联合预测。

13.根据权利要求12所述的方法，其中，所述待预测对象的特征值基于实体的隐私数据获取，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。

14.根据权利要求12所述的方法，其中，所述至少基于所述特征值的还原值与所述特征值的差异，确定是否继续与所述服务端进行联合预测，包括：

当所述差异小于第一阈值时，停止将模型中间值发送给服务端进行联合预测的后续工作。

15.根据权利要求12或14所述的方法，其中，所述方法还包括：

当所述差异小于第一阈值时，输出更新所述预测模型的指示。

16.根据权利要求12所述的方法，其中，所述至少基于所述特征值的还原值与所述特征值的差异，确定是否继续与所述服务端进行联合预测，包括：

当所述差异不小于第一阈值时，将模型中间值发送给服务端进行联合预测的后续工作以获得预测结果。

17.根据权利要求12所述的方法，其中，所述特征值还原装置设置于所述用户端。

18.根据权利要求12所述的方法，其中，所述预测模型和/或所述特征值还原装置通过如权利要求1～5中任一项所述的模型训练方法获得。

19.一种保护数据隐私的模型预测系统，其中，预测模型被拆分成包括输入层的第一部分和包括输出层的第二部分，所述第一部分设置于用户端，所述第二部分设置于服务端；所述系统对应于所述用户端，其包括：

第二获取模块，用于获取待预测对象的特征值；

第一预测模块，用于将所述特征值输入到所述第一部分以获得模型中间值；

还原值获取模块，用于获取特征值还原装置基于所述模型中间值得到的所述特征值的还原值；其中，所述特征值还原装置用于基于所述模型中间值反推其对应的待预测对象的特征值；

第一处理模块，用于至少基于所述特征值的还原值与所述特征值的差异，确定是否继续与所述服务端进行联合预测。

20.根据权利要求19所述的系统，其中，所述待预测对象的特征值基于实体的隐私数据获取，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。

21.根据权利要求19所述的系统，其中，所述第一处理模块还用于：

22.根据权利要求19或21所述的系统，其中，所述第一处理模块还用于：

23.根据权利要求19所述的系统，其中，所述第一处理模块还用于：

24.根据权利要求19所述的系统，其中，所述特征值还原装置设置于所述用户端。

25.根据权利要求19所述的系统，其中，所述预测模型和/或所述特征值还原装置通过如权利要求1～5中任一项所述的模型训练方法获得。

26.一种保护数据隐私的模型预测装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现如权利要求12～18中任一项所述的方法。