CN111079946A - 模型训练方法、成员探测装置的训练方法及其系统 - Google Patents

Abstract

本说明书中的实施例提供了模型训练方法、成员探测装置的训练方法及其系统，以防范成员攻击造成的数据隐私泄露。其中，成员探测装置可以基于特征数据、标签数据和模型的预测结果评估攻击者基于这些数据成功探测出该特征数据是否属于模型训练集的概率。进而，模型训练系统可以通过调节所训练模型的参数和/或结构来降低该概率。

Description

模型训练方法、成员探测装置的训练方法及其系统

技术领域

本说明书实施例涉及信息技术领域，特别涉及模型训练方法、成员探测装置的训练方法及其系统。

背景技术

如今，机器学习模型在金融、医疗等领域得到了广泛的应用。在模型预测阶段，攻击者通过一定手段可以推断出某用户ID是否属于模型的训练集，这种攻击方式可称为“成员探测”或“成员攻击”。当训练集来源于疾病数据库、黑名单、人脸数据库等敏感数据集时，会暴露该用户ID是否属于敏感数据集，从而造成用户隐私的泄露。

目前，希望提供一种能够防范成员探测的机器学习方案。

发明内容

本说明书实施例之一提供一种模型训练方法，其中，包括：基于训练集训练模型；对于所述训练集中的任一训练样本，获取成员探测装置基于该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果得到的输出值，所述输出值反映基于所述输出结果正确推断出该训练样本属于所述训练集的概率；调节所述模型的参数和/或结构，以降低所述输出值。

本说明书实施例之一提供一种模型训练系统，其中，包括：模型训练模块，用于基于训练集训练模型；第一获取模块，用于对于所述训练集中的任一训练样本，获取成员探测装置基于该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果得到的输出值，所述输出值反映基于所述输出结果正确推断出该训练样本属于所述训练集的概率；调节模块，用于调节所述模型的参数和/或结构，以降低所述输出值。

本说明书实施例之一提供一种模型训练装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现如本说明书任一实施例所述的模型训练方法。

本说明书实施例之一提供一种成员探测装置的训练方法，其中，包括：对于模型的训练集中的任一训练样本，获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果作为训练输入数据，获取反映所述模型对于该训练样本的预测性能的信息值作为训练输出参考数据；利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练所述成员探测装置。

本说明书实施例之一提供一种成员探测装置的训练系统，其中，包括：第二获取模块，用于对于模型的训练集中的任一训练样本，获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果作为训练输入数据，获取反映所述模型对于该训练样本的预测性能的信息值作为训练输出参考数据；装置训练模块，用于利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练所述成员探测装置。

本说明书实施例之一提供一种成员探测装置的训练装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现如本说明书任一实施例所述的成员探测装置的训练方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1根据本说明书一些实施例所示的机器学习系统的应用场景示意图；

图2为根据本说明书一些实施例所示的模型训练方法的示例性流程图；

图3为根据本说明书一些实施例所示的成员探测装置的训练方法的示例性流程图；

图4为根据本说明书一些实施例所示的模型训练系统的示例性框图；

图5为根据本说明书一些实施例所示的成员探测装置的训练系统的示例性框图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

在一些应用场景中，某一方可以将训练好的模型上线为其他方提供数据预测服务。具体地，其他方可以将待预测对象的特征数据输入到所述模型中，得到预测结果。由于模型对训练样本表现出的预测性能相对非训练样本通常要好，在一些成员探测的情景中，攻击者可基于模型对于某对象(例如，用户ID)的预测性能来判断该对象是否属于该模型的训练集。即，若模型对于某对象表现出较好的预测性能，则表明该对象属于该模型的训练集的可能性更大。在一些实施例中，所述对象可以是用户、商户、个人、团体、机构、组织、公司、学校等实体，所述特征数据可以基于实体的文本数据、图像数据、声音数据中的一种或多种获取。在一些实施例中，所述实体的文本数据、图像数据、声音数据等数据为有待保护的隐私数据。仅作为示例，图像数据可以包括用户的人脸数据、指纹数据等等，文本数据可以包括用户的性别、年龄、身高等等，声音数据可以包括用户的录音等等。

例如，攻击者可以获取某对象的特征数据和标签数据，将该对象的特征数据输入模型，获得模型输出的该对象的预测结果。进而，攻击者可通过比较该对象的预测结果与该对象的标签数据来判断该对象是否属于该模型的训练集。若模型输出的预测结果与该对象的标签数据的差异足够小，即模型对该对象的预测精度较高，则认为该对象属于该模型的训练集。其中，模型输出的预测结果与该对象的标签数据的差异是否足够小可视标签数据的量级而定。仅作为示例，若模型输出的预测结果与该对象的标签数据分别为0.99和1.00，则可认为该对象属于模型的训练集。

又如，攻击者可以获取某对象的特征数据和标签数据，将该对象的特征数据(以下称为原特征数据)输入模型，获得模型输出的该对象的预测结果(以下称为原预测结果)。另外，对该对象的特征数据做某种变化(例如，添加噪声)，并将变化结果输入到模型中，获得模型基于该变化结果输出的预测结果。以特征数据为人脸图像数据为例，攻击者可以在人脸图像数据中添加噪声，该噪声在人脸图像中可表现为痣、胡子、印记、饰品等，或者可以将人脸图像旋转一定角度(0～360°)，又或者可以将人脸图像平移一定距离。当发现模型基于原特征数据的一个或多个变化结果输出的预测结果相对标签数据或原预测结果的差距足够小时，即模型对该对象的具有良好的鲁棒性，攻击者可认为该对象属于模型的训练集。其中，模型基于原特征数据的一个或多个变化结果输出的预测结果相对原预测结果的变化是否足够小可视原预测结果或标签数据的量级而定。仅作为示例，若该对象的原预测结果为7.00，模型基于原特征数据的原特征数据的3个变化结果输出的预测结果分别为6.97、7.01、6.99或者均仍为7.00，则可认为该对象属于模型的训练集。

因此，在一些实施例中，可以提供一种模型训练方法，以使训练好的模型能够有效的防止成员攻击。

图1为根据本说明书一些实施例所示的机器学习系统100的应用场景图。系统100可以包括服务端110、用户端130以及网络120。

在一些实施例中，服务端110可以是一台计算设备或计算设备组。所述计算设备可以是移动设备、平板计算机、膝上型计算机、台式计算机等或其任意组合。所述计算设备组可以是集中式或分布式的。在一些实施例中，服务端110可以是本地的，也可以是远程的。例如，服务端110可以经由网络120访问存储于用户端130或网络120上其他网络节点的信息和/或数据。在一些实施例中服务端110可以在云平台上实施。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，服务端110可以利用训练样本完成机器模型的训练，并将将模型上线以为网络120中的其他用户提供模型预测服务。在一些实施例中，服务端110可以借助成员探测装置训练所述模型，使攻击者难以对所述模型进行成员攻击，即难以通过待预测对象的特征数据以及已知的标签数据试探出所述待预测对象是否位于该模型的训练集中。在一些实施例中，服务端110还可以实现对所述成员探测装置的训练。

在一些实施例中，用户端130也可以是一台计算设备或计算设备组。所述计算设备可以是移动设备130-1、平板计算机130-2、膝上型计算机130-3、台式计算机130-4等或其任意组合。所述计算设备组可以是集中式或分布式的。在一些实施例中，用户端130可以是本地的，也可以是远程的。例如，用户端130可以经由网络120访问存储于服务端110或网络120上其他网络节点的信息和/或数据。在一些实施例中用户端130可以在云平台上实施。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，用户端130可以使用自身拥有的特征数据，并借助服务端110提供的模型完成预测。即使用服务端110提供的模型预测服务。在一些实施例中，用户端130可能为攻击者所有，攻击者可以将已知标签数据的待预测对象的特征数据输入到所述模型中，基于模型对该特征数据的预测性能试探该待预测对象是否位于所述模型的训练集中。其中，预测性能可以包括模型对该组特征数据的预测精度或鲁棒性等。

网络120可促进数据和/或信息的交换。在一些实施例中，机器学习系统100中的一个或多个组件(如，服务端110和用户端130)可通过网络120传输数据和/或信息至机器学习系统100中的其他组件。例如，用户端130可通过网络120将特征数据发送给服务端110。又如，服务端110可通过网络120将待预测对象的预测结果发送给用户端130。在一些实施例中，网络120可是任意类型的有线或无线网络。例如，网络120可包括缆线网络、有线网络、光纤网络、电信网络、内部网络、网际网络、区域网络(LAN)、广域网络(WAN)、无线区域网络(WLAN)、都会区域网络(MAN)、公共电话交换网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或以上任意组合。在一些实施例中，网络120可包括一个或多个网络进出点。例如，网络120可包含有线和/或无线网络进出点，如基站和/或多个网际网络交换点120-1、120-2，通过这些进出点，机器学习系统100的一个或多个组件可连接到网络120上以交换数据和/或信息。

图2为根据本说明书一些实施例所示的模型训练方法的示例性流程图。流程200可以包括：

步骤210，基于训练集训练模型。在一些实施例中，步骤110可以由模型训练模块410实现。

本说明书涉及的模型可以用于任意预测场景，相应的训练集中的训练样本也可以是关于任意待预测对象的特征数据以及标签值。在一些实施例中，所述训练样本可以包括实体的隐私数据，其可以包括文本数据、图像数据或声音数据等多种类型。在一些实施例中，所述模型可以是基于训练集训练到精度达到要求的模型，也可以是经过初步训练，精度还有待进一步提高的模型。

在一些实施例中，本说明书提及的模型包括但不限于神经网络。在一些实施例中，可以通过更新模型参数来训练出满足所需精度的模型。在一些实施例中，参数更新的方法包括但不限于反向传播法。

应当理解，步骤210中训练出的模型有待通过后续步骤来加强其防范成员探测的能力。

步骤220，对于所述训练集中的任一训练样本，获取成员探测装置基于该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果的输出值，所述输出值反映基于所述输出结果正确推断出该训练样本属于所述训练集的概率。在一些实施例中，步骤220可以由第一获取模块420实现。

由前述的成员探测情景可知，攻击者可基于某对象的特征数据、标签数据和模型基于该对象的预测结果确定模型对于该对象的预测性能，进而推断出该对象是否属于该模型的训练集。为了提供所述模型防范成员探测的能力，在一些实施例中，可以引入成员探测装置进行模型的强化训练。在一些实施例中，成员探测装置可以模拟攻击者进行成员探测的过程。如，其可以基于特征数据、标签数据和模型的预测结果拟合攻击者基于这些数据成功探测出该特征数据是否属于模型训练集的概率。在一些实施例中，成员探测装置可以是机器学习模型或其他数学模型、算法等方式中的一种或多种来实现。所述成员探测装置可以预先训练好。在模型训练过程中，成员探测装置获得任一训练样本的特征数据、标签数据和模型基于该训练样本的输出结果作为输入，输出可反映正确推断出该训练样本属于所述训练集的概率(可称为该训练样本的成员探测成功率)的所述输出值。

在一些实施例中，所述输出值可以包括正信息值和负信息值，其中，正信息值可反映训练样本的成员探测成功率较高，负信息值可反映训练样本的成员探测成功率较低。例如，正信息值和负信息值可分别为1、0，或者+1，-1。在一些实施例中，所述输出值可以为分值，分值的大小可与成员探测成功率的大小对应。例如，分值越大则表示成员探测成功率越大，反过来分值越小则表示成员探测成功率越小。

关于成员探测装置的实现方式，可以参考图3及其相关描述。

步骤230，调节所述模型的参数和/或结构，以降低所述输出值。在一些实施例中，步骤230可以由调节模块430实现。

降低任一训练样本对应的所述输出值意味着：针对该训练样本，调节后的模型防范成员探测的能力得到加强。在一些实施例中，对于训练集中的每个训练样本，调节模块430可通过调节所述模型的参数和/或结构，来减小该训练样本对应的输出值，从而针对训练集中的所有训练样本加强模型防范成员探测的能力。

成员探测成功率的降低可以由所述输出值的具体形式决定。例如，当所述输出值包括正信息值和负信息值时，若某训练样本对应的输出值为正信息值(即该训练样本的成员探测成功率较高)，则可以调节所述模型的参数和/或结构，以使该训练样本对应的输出值由正信息值变为负信息值。又如，当所述输出值为分值且分值随成员探测成功率增大而增大时，可以调节所述模型的参数和/或结构，以使任一训练样本对应的输出值低于设定阈值。在一些实施例中，该阈值可基于分值的范围设定，例如，分值的范围为0～1时，该阈值可设定为0.4、0.1、0.05、0.01等等。

根据成员探测的相关内容，攻击者可基于模型对于某对象的预测性能推断出该对象是否属于该模型的训练集。基于此，若要降低任一训练样本的成员探测成功率，调节模块330需要适当牺牲(即降低)模型对于该训练样本的预测性能。下面示例几种降低模型对于训练样本的预测性能的具体方法。

在一些实施例中，调节模块430可以使所述模型的一个或多个节点在给定输入值的条件下对应的输出具有不确定性，进而使得所述模型基于同一特征数据输出的预测结果具有不确定性。如此，可以使所述模型对于同一训练样本的预测精度具有不确定性，从而可降低攻击者对某训练样本的成员探测成功率。在具体的实施例中，所述一个或多个节点可以模型中的一个或多个神经元，仅作为示例，如模型输出层节点。

在一些实施例中，使所述一个或多个节点在给定输入值的条件下对应的输出具有不确定性的方式可以包括：在所述一个或多个节点的输出中添加噪声。在一些实施例中，添加的噪声可以包括高斯噪声、拉普拉斯噪声、白噪声等中的一种或多种。在一些实施例中，所添加的噪声的量级视相应节点的输出的量级而定，即，所添加的噪声的量级低于相应节点的输出的量级。例如，某节点的输出的数值范围为10～20，添加至该节点的噪声的数值范围可为-1～1。

在一些实施例中，调节模块430可以屏蔽所述模型中的一个或多个节点，进而降低所述模型的预测精度，即可降低攻击者对某训练样本的成员探测成功率。仅作为示例，调节模块330可以使模型中隐藏层的一个或多个节点输出为0。

值得说明的是，调整所述模型的参数和/或结构可能会导致所述模型的精度无法满足所需精度。为此，在一些实施例中，可重复执行步骤110。即，对模型的参数或结构进行调节后，再次利用训练集训练所述模型，两种手段可以交替进行多轮，以在所述模型的精度满足所需精度的前提下，降低训练样本的成员探测成功率。

图3为根据本说明书一些实施例所示的成员探测装置的训练方法的示例性流程图。流程300可以包括：

步骤310，对于模型的训练集中的任一训练样本，获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果作为训练输入数据，获取反映所述模型对于该训练样本的预测性能的信息值作为训练输出参考数据。在一些实施例中，步骤310可以由第二获取模块510实现。

其中，所述模型可以是借助成员探测装置加强其防范成员探测能力的任一模型，如流程200中的模型。所述训练输入数据相当于成员探测装置的训练样本的特征数据，所述训练输出参考数据相当于成员探测装置的训练样本的标签数据，所述训练输入数据和所述训练输出参考数据即构成成员探测装置的训练样本数据。可以理解，成员探测装置的训练样本是基于所述模型的训练样本生成的。

根据成员探测的相关内容，攻击者对任一训练样本的成员探测成功率可取决于模型对该训练样本的预测性能。因此，所述信息值可以反映模型对训练样本的预测性能，也就可以反映攻击者对任一训练样本的成员探测成功率。即，所述信息值和所述输出值反映一致的内容，从而第二获取模块510可以将所述信息值作为成员探测装置的训练样本的标签数据。

进一步地，根据成员探测的相关内容：当模型对于任一训练样本的预测精度较高时，攻击者可认为该训练样本属于所属模型的训练集，因此在一些实施例中，所述信息值可以与所述模型对于该训练样本的预测精度正相关；当模型基于任一训练样本的一个或多个变化结果输出的预测结果相对该训练样本的预测结果或标签数据的差异足够小时，攻击者可认为该训练样本属于所属模型的训练集，因此在一些实施例中，所述信息值可以与所述模型基于该训练样本的特征数据的一个或多个变化结果输出的预测结果相对该训练样本的预测结果或标签数据的差异负相关。在一些实施例中，所述信息值可依据上述两种关系以及其他关系中的至少一种来构建。在一些实施例中，信息值可以是离散形式，例如，当模型对于某一训练样本的预测精度大于设定阈值时，信息值为1，反之，信息值为0。所述预测精度可以是模型预测结果与标签数据的相似度，所述设定阈值可以是0.85、0.9、0.95等等。又例如，可以对某一训练样本的特征数据进行变形处理，如加入噪声或扭转特征数据，再将变化结果输出到所述模型中得到预测结果，可以将变化后的特征数据对应的预测结果与原始预测结果(即特征数据对应的预测结果)进行比较，当两者差异小于设定阈值时，信心值为1，反之为-1。所述设定阈值可以是0.2、0.1、0.05等。在一些实施例中，信息值也可以直接为连续数值。

步骤320，利用基于训练集中各训练样本确定的训练输入数据以及和训练输出参考数据训练所述成员探测装置。在一些实施例中，步骤320可以由装置训练模块520实现。

在一些实施例中，成员探测装置可以与所述模型一起训练。例如，可以待模型训练一定程度后，基于该模型获取预测结果以及基于其预测性能构造信息值，对成员探测装置进行训练。当成员探测装置训练到一定程度后，再基于成员探测装置的输出结果调节所述模型。模型训练过程与装置训练过程交替进行，从而得到满足要求的模型。

应当注意的是，上述有关流程200和300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程200和300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图4为根据本说明书一些实施例所示的模型训练系统的示例性框图。系统400可以包括模型训练模块410、第一获取模块420和调节模块430。

在一些实施例中，模型训练模块410可以用于基于训练集训练模型。

在一些实施例中，第一获取模块420可以用于对于所述训练集中的任一训练样本，获取成员探测装置基于该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果得到的输出值，所述输出值反映基于所述输出结果正确推断出该训练样本属于所述训练集的概率。所述训练样本可以包括实体的隐私数据，所述隐私数据可以包括文本数据、图像数据、声音数据中的一种或多种。

在一些实施例中，调节模块430可以用于调节所述模型的参数和/或结构，以降低所述输出值。在一些实施例中，调节模块430可以进一步用于使所述模型的一个或多个节点在给定输入的条件下对应的输出具有不确定性。在一些实施例中，调节模块430可以在所述一个或多个节点的输出中添加噪声，以使所述一个或多个节点在给定输入的条件下对应的输出具有不确定性。在一些实施例中，调节模块430可以进一步用于屏蔽所述模型中的一个或多个节点。

参考前述内容，成员探测装置可以与所述模型一起训练。相应地，模型训练系统400还可以包括成员探测装置训练模块440。在一些实施例中，成员探测装置训练模块440可以用于：对于模型的训练集中的任一训练样本，获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果作为训练输入数据，获取反映所述模型对于该训练样本的预测性能的信息值作为训练输出参考数据；利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练成员探测装置。应当理解，在一些实施例中，成员探测装置训练模块440可以由图5披露的成员探测装置的训练系统500实现。即，关于成员探测装置训练模块440的更多细节，可以参考图5及其相关描述。

图5为根据本说明书一些实施例所示的成员探测装置的训练系统的示例性框图。系统500可以包括第二获取模块510和装置训练模块520。

在一些实施例中，第二获取模块510可以用于对于模型的训练集中的任一训练样本，获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果作为训练输入数据，获取反映所述模型对于该训练样本的预测性能的信息值作为训练输出参考数据。在一些实施例中，所述信息值可以与所述模型对于该训练样本的预测精度正相关。在一些实施例中，所述信息值可以与所述模型基于该训练样本的特征数据的一个或多个变化结果输出的预测结果相对该训练样本的预测结果或标签数据的差异负相关。在一些实施例中，所述训练样本可以包括实体的隐私数据，所述隐私数据可以包括文本数据、图像数据、声音数据中的一种或多种。

在一些实施例中，装置训练模块520可以用于利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练成员探测装置。

关于图4和图5所示的系统及其模块的更多细节，还可以参考图2和图3所示的流程及其步骤的相关描述。

应当理解，图4和图5所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，图4中披露的第一获取模块420和调节模块430可以是一个系统中的不同模块，也可以是一个模块实现这两个模块的功能。又如，在一些实施例中，图4中披露的成员探测装置训练模块440可以由图5所示的成员探测装置的训练系统500实现。又如，在一些实施例中，图4中披露的第一获取模块420/模型训练模块410和图5中披露的第二获取模块510/装置训练模块520可以是两个模块，也可以合并为一个模块。诸如此类的变形，均在本说明书的保护范围之内。

本说明书实施例可能带来的有益效果包括但不限于：(1)成员探测装置可评估攻击者基于任一训练样本的特征数据、标签数据和预测结果正确推断出该训练样本属于模型的训练集的概率，在成员探测装置的协助下可调节模型的参数和/或结构，使得模型防范成员探测的能力得到加强；(2)通过重复执行相关步骤或流程，可保证模型精度仍满足需求。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书实施例的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书实施例进行各种修改、改进和修正。该类修改、改进和修正在本说明书实施例中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书实施例的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书实施例的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书实施例的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书实施例各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本说明书实施例所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书实施例流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书实施例披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书实施例对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书实施例的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (22)

1.一种保护数据隐私的模型训练方法，其中，包括：

基于训练集训练模型；

对于所述训练集中的任一训练样本，获取成员探测装置基于该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果得到的输出值，所述输出值反映基于所述输出结果正确推断出该训练样本属于所述训练集的概率；

调节所述模型的参数和/或结构，以降低所述输出值。

2.根据权利要求1所述的方法，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。

3.根据权利要求1所述的方法，其中，所述调节所述模型的参数和/或结构，包括：

使所述模型的一个或多个节点在给定输入的条件下对应的输出具有不确定性。

4.根据权利要求3所述的方法，其中，所述使所述模型的一个或多个节点在给定输入的条件下对应的输出具有不确定性，包括：

在所述一个或多个节点的输出中添加噪声。

5.根据权利要求1所述的方法，其中，所述调节所述模型的参数和/或结构，包括：

屏蔽所述模型中的一个或多个节点。

6.根据权利要求1所述的方法，其中，还包括：

对于模型的训练集中的任一训练样本：

获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果，作为训练输入数据；

获取反映所述模型对于该训练样本的预测性能的信息值，作为训练输出参考数据；

利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练所述成员探测装置。

7.一种保护数据隐私的模型训练系统，其中，包括：

模型训练模块，用于基于训练集训练模型；

第一获取模块，用于对于所述训练集中的任一训练样本，获取成员探测装置基于该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果得到的输出值，所述输出值反映基于所述输出结果正确推断出该训练样本属于所述训练集的概率；

调节模块，用于调节所述模型的参数和/或结构，以降低所述输出值。

8.根据权利要求7所述的系统，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。

9.根据权利要求7所述的系统，其中，所述调节模块进一步用于使所述模型的一个或多个节点在给定输入的条件下对应的输出具有不确定性。

10.根据权利要求9所述的系统，其中，所述调节模块进一步用于在所述一个或多个节点的输出中添加噪声。

11.根据权利要求7所述的系统，其中，所述调节模块进一步用于屏蔽所述模型中的一个或多个节点。

12.根据权利要求7所述的系统，其中，还包括成员探测装置训练模块，所述成员探测装置训练模块用于：

对于模型的训练集中的任一训练样本：

获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果，作为训练输入数据；

获取反映所述模型对于该训练样本的预测性能的信息值，作为训练输出参考数据；

利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练所述成员探测装置。

13.一种保护数据隐私的模型训练装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现如权利要求1～6中任一项所述的方法。

14.一种成员探测装置的训练方法，其中，包括：

对于模型的训练集中的任一训练样本：

获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果，作为训练输入数据；

获取反映所述模型对于该训练样本的预测性能的信息值，作为训练输出参考数据；

利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练所述成员探测装置。

15.根据权利要求14所述的方法，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。

16.根据权利要求14所述的方法，其中，所述信息值与所述模型对于该训练样本的预测精度正相关。

17.根据权利要求14所述的方法，其中，所述信息值与所述模型基于该训练样本的特征数据的一个或多个变化结果输出的预测结果相对该训练样本的预测结果或标签数据的差异负相关。

18.一种成员探测装置的训练系统，其中，包括：

第二获取模块，用于对于模型的训练集中的任一训练样本，获取该训练样本的特征数据、标签数据和所述模型基于该训练样本的输出结果作为训练输入数据，获取反映所述模型对于该训练样本的预测性能的信息值作为训练输出参考数据；

装置训练模块，用于利用基于训练集中各训练样本确定的训练输入数据和训练输出参考数据训练所述成员探测装置。

19.根据权利要求18所述的系统，其中，所述训练样本包括实体的隐私数据，所述隐私数据包括文本数据、图像数据、声音数据中的一种或多种。

20.根据权利要求18所述的系统，其中，所述信息值与所述模型对于该训练样本的预测精度正相关。

21.根据权利要求18所述的系统，其中，所述信息值与所述模型基于该训练样本的特征数据的一个或多个变化结果输出的预测结果相对该训练样本的预测结果或标签数据的差异负相关。

22.一种成员探测装置的训练装置，其中，包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当至少一个处理器执行指令时，实现如权利要求14～17中任一项所述的方法。

Images