CN115982757A - 一种模型的隐私保护程度的确定方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种模型的隐私保护程度的确定方法、装置及设备，该方法包括：获取针对终端设备中的目标模型的第一数据，并将第一数据输入到目标模型中，得到第一数据对应的预测结果；在第一数据对应的预测结果中叠加预设的噪音数据，将加噪预测结果输入到生成模型中，得到输出的第二数据；将第二数据和第一数据对应的预测结果输入到判别模型中，得到第一判别结果，基于第一判别结果和第二数据对应的实际判别结果，调整生成模型和判别模型的模型参数，并将第一数据和第一数据对应的预测结果输入到判别模型中，得到第二判别结果，基于第二判别结果和第一数据对应的实际判别结果，调整判别模型的模型参数，得到训练后的生成模型。

Description

一种模型的隐私保护程度的确定方法、装置及设备

技术领域

本文件涉及计算机技术领域，尤其涉及一种模型的隐私保护程度的确定方法、装置及设备。

背景技术

伴随深度学习技术的快速发展，大量的移动端应用开始在端侧直接部署深度学习模型，通过该深度学习模型进行生物识别、路径规划、业务风控等处理，端侧直接部署深度学习模型的方式相对于在公有云上部署深度学习模型的方式，攻击者可以很容易的通过破解移动端应用，而直接分析部署的深度学习模型，此外，研究表明，深度学习模型能够“记住”用于训练该深度学习模型的训练数据，因此，一旦黑客通过攻击移动端部署的深度学习模型，进而还原出相应的训练数据，将可能导致严重的个人隐私泄漏。当前，大家对自己的隐私数据越来越关注，因此，如何评估移动端深度学习模型隐私性成为需要解决的重要问题。为此，需要提供一种能够评估移动端深度学习模型的隐私保护能力的技术方案，从而判断深度学习模型是否存在风险，以防止个人隐私泄漏。

发明内容

本说明书实施例的目的是提供一种能够评估移动端深度学习模型的隐私保护能力的技术方案，从而判断深度学习模型是否存在风险，以防止个人隐私泄漏。

为了实现上述技术方案，本说明书实施例是这样实现的：

本说明书实施例提供的一种模型的隐私保护程度的确定方法，所述方法包括：获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果。在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据。将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型。基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例提供的一种模型的隐私保护程度的确定装置，所述装置包括：第一数据处理模块，获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果。第一数据还原模块，在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据。模型训练模块，将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型。保护程度确定模块，基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例提供的一种模型的隐私保护程度的确定设备，所述模型的隐私保护程度的确定设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果。在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据。将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型。基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例还提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果。在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据。将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型。基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一种模型的隐私保护程度的确定方法实施例；

图2为本说明书另一种模型的隐私保护程度的确定方法实施例；

图3为本说明书一种生成模型的训练过程的示意图；

图4为本说明书一种模型的隐私保护程度的确定装置实施例；

图5为本说明书一种模型的隐私保护程度的确定设备实施例。

具体实施方式

本说明书实施例提供一种模型的隐私保护程度的确定方法、装置及设备。

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

实施例一

如图1所示，本说明书实施例提供一种模型的隐私保护程度的确定方法，该方法的执行主体可以为终端设备或者也可以是服务器等，其中，该终端设备可以如手机、平板电脑等移动终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以为IoT设备(具体如智能手表、车载设备等)等。该服务器可以是独立的一个服务器，还可以是由多个服务器构成的服务器集群等，该服务器可以是如金融业务或网络购物业务等的后台服务器，也可以是某应用程序的后台服务器等。本实施例中以服务器为例进行详细说明，对于终端设备的执行过程可以参见下述相关内容，在此不再赘述。该方法具体可以包括以下步骤：

在步骤S102中，获取针对终端设备中的目标模型的第一数据，并将第一数据输入到目标模型中，得到第一数据对应的预测结果。

其中，终端设备可以如手机、平板电脑等移动终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以为IoT设备(具体如智能手表、车载设备等)等，终端设备中可以设置有深度学习模型(即目标模型)，该目标模型可以应用于某业务中，例如，可以应用于在线交易业务、社交业务、金融类相关的业务、风险防控业务、推荐业务等，具体可以根据实际情况设定，本说明书实施例对此不做限定。目标模型可以包括多种，具体可以根据相应的业务设定，例如，目标模型可以为用于进行生物识别的模型，具体如目标模型为用于进行面部识别的模型，或者为用于进行指纹识别的模型等，目标模型也可以为地图应用中导航业务中的用于进行路径规划的模型，目标模型还可以为用于进行语音识别的模型，目标模型还可以为用于进行业务风控的模型等，具体可以根据实际情况设定，本说明书实施例对此不做限定。此外，目标模型可以通过多种不同的算法或模型构建，例如，目标模型可以通过卷积神经网络模型构建，或者，目标模型可以基于指定的分类算法构建等，具体可以根据实际情况设定，本说明书实施例对此不做限定。第一数据可以根据目标模型对应的输入数据而设定，例如，如果目标模型为用于进行面部识别的模型，则第一数据可以为包含用户的面部在内的图像，如果目标模型为用于进行语音识别的模型，则第一数据可以为用户的语音数据(具体可以为用户输入的指定内容的语音数据，也可以是用户随机输入的语音数据等，具体可以根据实际情况设定)，如果目标模型为用于进行业务风控的模型，则第一数据可以为相应业务的相关数据(例如，业务数据，用户执行该业务的过程中的行为数据等，具体可以根据实际情况设定)，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实施中，伴随深度学习技术的快速发展，大量的移动端应用开始在端侧直接部署深度学习模型，通过该深度学习模型进行生物识别、路径规划、业务风控等处理，端侧直接部署深度学习模型的方式相对于在公有云上部署深度学习模型的方式，攻击者可以很容易的通过破解移动端应用，而直接分析部署的深度学习模型，此外，研究表明，深度学习模型能够“记住”用于训练该深度学习模型的训练数据，因此，一旦黑客通过攻击移动端部署的深度学习模型，进而还原出相应的训练数据，将可能导致严重的个人隐私泄漏。当前，大家对自己的隐私数据越来越关注，因此，如何评估移动端深度学习模型隐私性成为需要解决的重要问题。为此，需要提供一种能够评估移动端深度学习模型的隐私保护能力的技术方案，从而判断深度学习模型是否存在风险，以防止个人隐私泄漏。本说明书实施例提供一种可实现的技术方案，具体可以包括以下内容。

本实施中提供一种通过分析移动端深度学习模型的输出数据并尝试还原出原始数据的机制，具体地，终端设备中可以设置有深度学习模型(即目标模型)，例如，终端设备中可以设置有用于进行面部识别的深度学习模型，可以将该深度学习模型作为目标模型，或者，终端设备中可以设置有用于进行语音识别的深度学习模型，可以将该深度学习模型作为目标模型等，具体可以根据实际情况设定，为了得到目标模型的输出数据，可以针对终端设备中的目标模型的用途，收集相应的数据集，可以从该数据集中获取针对终端设备中的目标模型的第一数据，其中的第一数据可以是一个数据，也可以是多个不同的数据，具体可以根据实际情况设定，本实施例中，第一数据可以是从上述数据集中选取的多个不同的数据，例如，目标模型为用于进行面部识别的模型，第一数据可以为包含用户的面部的图像，再例如，目标模型为用于进行语音识别的模型，第一数据可以为用户输入或用户提供的语音数据。然后，可以将第一数据输入到目标模型中，通过目标模型对每个第一数据进行处理，得到每个第一数据对应的模型预测的结果，并经其作为第一数据对应的预测结果，例如，目标模型为用于进行面部识别的模型，第一数据为包含用户的面部的图像，则可以将作为第一数据的包含用户的面部的图像输入到目标模型中，通过目标模型对输入的图像进行识别，得到相应的识别预测结果，从而得到包含用户的面部的图像对应的面部识别的预测结果(即第一数据对应的预测结果)。

在步骤S104中，在第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将加噪预测结果输入到生成模型中，以通过生成模型基于加噪预测结果还原出相应的第一数据，得到输出的第二数据。

其中，预设的噪音数据可以是预先设定的任意的噪音数据，该噪音数据可以是随机生成的噪音数据，该噪音数据也可以是指定的噪音数据，具体如指定大小的高斯白噪声等，具体可以根据实际情况设定，本说明书实施例对此不做限定。生成模型也可以是生成器(即Generator)，该生成器可以是GAN(Generative Adversarial Network，对抗生成网络)中的生成器，GAN的训练则是处于一种对抗博弈状态中的。生成模型可以通过多种不同的算法或模型构建，例如，生成模型可以基于卷积神经网络模型构建，或者，生成模型可以基于其它神经网络模型构建等，具体可以根据实际情况设定。

在实施中，可以预先设定噪音叠加算法或噪音叠加机制，可以通过该噪音叠加算法或噪音叠加机制，向指定的数据中叠加噪音数据，基于上述内容，可以基于上述噪音叠加算法或噪音叠加机制，在第一数据对应的预测结果中叠加预设的噪音数据，叠加后可以得到叠加了噪音的预测结果(即加噪预测结果)。然后，可以将加噪预测结果输入到生成模型中，这样，通过生成模型，并基于加噪预测结果尽可能的还原出相应的第一数据，最终得到生成模型的输出数据，即基于加噪预测结果还原出的数据，即第二数据，其中，第二数据可以第一数据相同，也可以与第一数据不同，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在步骤S106中，将第二数据和第一数据对应的预测结果输入到判别模型中，得到判断第二数据是否为真实数据的第一判别结果，基于第一判别结果和第二数据对应的实际判别结果，调整生成模型和判别模型的模型参数，并将第一数据和第一数据对应的预测结果输入到判别模型中，得到判断第一数据是否为真实数据的第二判别结果，基于第二判别结果和第一数据对应的实际判别结果，调整判别模型的模型参数，以训练生成模型和判别模型，得到训练后的生成模型和训练后的判别模型。

其中，判别模型可以是上述GAN中的判别器(Discriminator)，生成模型可以用来合成“假”样本，判别器(即判别模型)可以用于判断输入的样本是真实的还是合成的(或“假”的)，具体来说，生成模型从先验分布中采得随机信号，经过生成模型中的神经网络的变换，得到模拟样本，判别模型既可以接收来自生成模型的模拟样本，也可以接收来自实际数据集的真实样本，但在使用中并不会告知或通知判别模型中输入的样本的来源，需要判别模型自己判断，生成模型和判别模型置身于对抗环境中，生成模型尽可能造出样本以迷惑判别模型，而判别模型则尽可能识别出来自生成模型的样本，然而，对抗不是目的，在对抗中让双方能力各自提高才是目的，理想情况下，生成模型和判别模型最终能够达到一种平衡，彼此都没有更进一步的空间。判别模型可以通过多种不同的算法或模型构建，例如，判别模型可以基于神经网络模型构建，或者，生成模型可以基于分类算法构建等，具体可以根据实际情况设定。第二数据对应的实际判别结果可以是第二数据对应的真实判别结果，例如，第二数据为生成模型生成的虚假数据，则第二数据对应的真实判别结果(即第二数据对应的实际判别结果)为“虚假”或“虚假数据”等，具体可以根据实际情况设定，本说明书实施例对此不做限定。第一数据对应的实际判别结果可以是第一数据对应的真实判别结果，例如，第一数据为目标模型的原始输入数据，则第一数据对应的真实判别结果(即第一数据对应的实际判别结果)为“真”或“真实数据”等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实施中，可以将第二数据和第一数据对应的预测结果输入到判别模型中，通过判别模型可以判断第二数据是否为真实数据，最终得到判别模型的输出数据，即第一判别结果。然后，可以基于第一判别结果和第二数据对应的实际判别结果，并通过预设的第一损失函数计算相应的损失值，基于得到的损失值分别调整生成模型和判别模型的模型参数，以训练生成模型和判别模型。之后，可以将第一数据和第一数据对应的预测结果输入到判别模型中，通过判别模型可以判断第一数据是否为真实数据，最终得到判别模型的输出数据，即第二判别结果，可以基于第二判别结果和第一数据对应的实际判别结果，并通过预设的第二损失函数计算相应的损失值，基于得到的损失值调整判别模型的模型参数，从而进一步训练判别模型，通过上述方式，进行多次迭代处理后，最终可以使得第一损失函数和第二损失函数均满足迭代终止的条件，进而可以得到训练后的生成模型和训练后的判别模型。

在步骤S108中，基于训练后的生成模型对通过目标模型得到的预测结果进行数据还原处理，并通过输入目标模型的数据和数据还原处理得到的还原数据，确定目标模型的隐私保护程度。

在实施中，通过上述方式可以得到训练后的生成模型，可以将训练后的生成模型投入到目标模型的隐私保护程度的应用中，当需要对目标模型的隐私保护程度进行评估时，可以获取针对终端设备中的目标模型的数据，可以将该数据输入到目标模型中，得到该数据对应的预测结果，然后，可以将该数据对应的预测结果输入到训练后的生成模型中，通过训练后的生成模型对该数据对应的预测结果进行数据还原处理，得到数据还原处理得到的还原数据。可以预先设定目标模型的隐私保护程度的相关算法，通过该算法，并基于输入目标模型的数据和数据还原处理得到的还原数据，计算相应的结果，可以基于计算结果确定目标模型的隐私保护程度，例如，可以随机从输入目标模型的数据中选取一个或多个数据(如从输入目标模型的1000个数据中选取50个数据或100个数据等，具体可以根据实际情况设定)，然后，可以计算选取的数据与数据还原处理得到的还原数据中的相应数据之间的相似度，基于计算的相似度数值来判断目标模型的隐私保护程度的强弱，具体如，可以预先设定目标模型的隐私保护程度的强弱范围或阈值，如果计算的相似度数值处于预先设定目标模型的隐私保护程度较强的范围内(或计算的相似度数值大于预先设定目标模型的隐私保护程度较强的阈值)，则确定目标模型的隐私保护程度较强，如果计算的相似度数值处于预先设定目标模型的隐私保护程度较弱的范围内(或计算的相似度数值小于预先设定目标模型的隐私保护程度较弱的阈值)，则确定目标模型的隐私保护程度较弱等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

需要说明的是，上述相似度可以通过欧几里得距离确定该相似度，也可以基于皮尔逊相关系数确定该相似度，还可以基于杰卡德距离确定该相似度，具体可以根据实际情况设定，本说明书实施例对此不做限定。

本说明书实施例提供一种模型的隐私保护程度的确定方法，通过获取针对终端设备中的目标模型的第一数据，并将第一数据输入到所述目标模型中，得到第一数据对应的预测结果，然后，可以在第一数据对应的预测结果中叠加预设的噪音数据，将加噪预测结果输入到生成模型中，以通过生成模型基于加噪预测结果还原出相应的第一数据，得到输出的第二数据，将第二数据和第一数据对应的预测结果输入到判别模型中，得到判断第二数据是否为真实数据的第一判别结果，基于第一判别结果和第二数据对应的实际判别结果，调整生成模型和判别模型的模型参数，并将第一数据和第一数据对应的预测结果输入到判别模型中，得到判断第一数据是否为真实数据的第二判别结果，基于第二判别结果和第一数据对应的实际判别结果，调整判别模型的模型参数，以训练生成模型和判别模型，得到训练后的生成模型和训练后的判别模型，最终，可以基于训练后的生成模型对通过目标模型得到的预测结果进行数据还原处理，并通过输入目标模型的数据和数据还原处理得到的还原数据，确定目标模型的隐私保护程度，这样，提供一种通过分析移动端深度学习模型(即目标模型)的输出数据，从而尝试还原出原始数据的生成模型，进而评估终端设备中的目标模型的隐私保护能力，以此防止用户的隐私数据被泄露。

实施例二

如图2所示，本说明书实施例提供一种模型的隐私保护程度的确定方法，该方法的执行主体可以为终端设备或者也可以是服务器等，其中，该终端设备可以如手机、平板电脑等移动终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以为IoT设备(具体如智能手表、车载设备等)等。该服务器可以是独立的一个服务器，还可以是由多个服务器构成的服务器集群等，该服务器可以是如金融业务或网络购物业务等的后台服务器，也可以是某应用程序的后台服务器等。本实施例中以服务器为例进行详细说明，对于终端设备的执行过程可以参见下述相关内容，在此不再赘述。该方法具体可以包括以下步骤：

在步骤S202中，获取针对终端设备中的目标模型的第一数据，并将第一数据输入到目标模型中，得到第一数据对应的预测结果。

其中，目标模型可以为进行面部识别的模型，相应的，第一数据可以为包括用户的面部的图像等，或者，目标模型可以为进行语音识别的模型，相应的，第一数据可以为用户输入的或提供的语音数据等，或者，目标模型可以为进行路径规划的模型，相应的，第一数据可以为包括路径起点和路径终点，以及上述起点到终点之间的道路相关数据等，或者，目标模型可以为进行业务风控的模型，相应的，第一数据可以为相应业务的相关数据，具体如，业务数据、用户执行该业务的过程中的行为数据等，具体可以根据实际情况设定。

在步骤S204中，在第一数据对应的预测结果中叠加预设的高斯随机噪音数据，得到加噪预测结果，将加噪预测结果输入到生成模型中，以通过生成模型基于加噪预测结果还原出相应的第一数据，得到输出的第二数据。

其中，高斯随机噪音数据可以是其瞬时值分布为高斯分布的随机噪声数据，高斯随机噪音数据的具体形式可以根据实际情况设定，本说明书实施例对此不做限定。第二数据应是与第一数据属于相同数据类型的数据，如第一数据为包括用户的面部的图像，则第二数据也应该为包括用户的面部的图像，再如第一数据为用户输入的语音数据，则第二数据也应该为语音数据等。

在步骤S206中，将第二数据和第一数据对应的预测结果输入到判别模型中，得到判断第二数据是否为真实数据的第一判别结果，计算第一判别结果和第二数据对应的实际判别结果之间的第一交叉熵损失信息，并基于该第一交叉熵损失信息，得到生成模型和判别模型对应的梯度信息。

在实施中，如图3所示，可以将第二数据和第一数据对应的预测结果输入到判别模型中，通过判别模型可以判断第二数据是否为真实数据，最终得到判别模型的输出数据，即第一判别结果。然后，可以基于第一判别结果和第二数据对应的实际判别结果，并通过预设的交叉熵损失函数计算相应的损失值，即通过预设的交叉熵损失函数，计算第一判别结果和第二数据对应的实际判别结果之间的第一交叉熵损失信息。可以基于得到的第一交叉熵损失信息，分别得到生成模型和判别模型对应的梯度信息。

需要说明的是，由于第二数据为生成模型生成的虚假数据，则第二数据对应的实际判别结果为“虚假”或“虚假数据”等，具体可以根据实际情况设定，本说明书实施例对此不做限定。交叉熵损失函数可以是主要刻画实际输出(如概率等)与期望输出(如概率等)之间的距离而确定的损失信息的函数，也就是交叉熵的值越小，两个输出分布就越接近。

在步骤S208中，基于生成模型和判别模型对应的梯度信息，通过反向传递调整生成模型和判别模型的模型参数。

在实施中，可以基于生成模型和判别模型对应的梯度信息，通过预设的反向传播算法进行反向传递逐层得到相应的目标函数对生成模型和判别模型中的各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改相应权值的依据，生成模型和判别模型的学习在权值修改过程中完成，当其误差达到预设的期望值时，生成模型和判别模型的学习结束，从而得到调整后的生成模型和判别模型的模型参数。

其中，反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到模型对输入数据的响应达到预定的目标范围为止，针对激励传播，每次迭代中的传播环节包含两步：前向传播阶段：将输入数据送入网络以获得激励响应；反向传播阶段：将激励响应同输入数据对应的目标输出数据求差，从而获得隐藏层和输出层的响应误差；针对权重更新，对于每个权重，按照以下步骤进行更新：将输入激励和响应误差相乘，从而获得权重的梯度；将该梯度乘上一个比例并取反后加到权重上；该比例将会影响到训练过程的速度和效果，因此称为“训练因子”，梯度的方向指明了误差扩大的方向，因此在更新权重时需要对其取反，从而减小权重引起的误差。

在步骤S210中，将第一数据和第一数据对应的预测结果输入到判别模型中，得到判断第一数据是否为真实数据的第二判别结果，计算第二判别结果和第一数据对应的实际判别结果之间的第二交叉熵损失信息，并基于该第二交叉熵损失信息，得到判别模型对应的梯度信息。

在实施中，如图3所示，可以将第一数据和第一数据对应的预测结果输入到判别模型中，通过判别模型可以判断第一数据是否为真实数据，最终得到判别模型的输出数据，即第二判别结果。然后，可以基于第二判别结果和第一数据对应的实际判别结果，并通过预设的交叉熵损失函数计算相应的损失值，即通过预设的交叉熵损失函数，计算第二判别结果和第一数据对应的实际判别结果之间的第二交叉熵损失信息。可以基于得到的第二交叉熵损失信息，得到判别模型对应的梯度信息。

需要说明的是，由于第一数据为输入到目标模型中的原始数据，则第一数据对应的实际判别结果为“真”或“真实数据”等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在步骤S212中，基于判别模型对应的梯度信息，通过反向传递调整判别模型的模型参数，以训练生成模型和判别模型，得到训练后的生成模型和训练后的判别模型。

在实施中，如图3所示，可以基于判别模型对应的梯度信息，通过预设的反向传播算法进行反向传递逐层得到相应的目标函数对判别模型中的各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改相应权值的依据，判别模型的学习在权值修改过程中完成，当其误差达到预设的期望值时，判别模型的学习结束，从而得到调整后的判别模型的模型参数。

在步骤S214中，获取针对终端设备中的目标模型的第三数据，并将第三数据输入到目标模型中，得到第三数据对应的预测结果。

其中，由于本实施例中针对的是同一个模型，即目标模型，因此，第三数据应是与第二数据和第一数据属于相同数据类型的数据，尤其是第三数据应是与第一数据属于相同数据类型的数据，如第一数据、第二数据为包括用户的面部的图像，则第三数据也应该为包括用户的面部的图像，再如第一数据为用户输入的语音数据，则第三数据也应该为用户输入的语音数据等。

在实施中，为了得到目标模型的输出数据，可以针对终端设备中的目标模型的用途，收集相应的数据集，可以从该数据集中获取针对终端设备中的目标模型的第三数据，其中的第三数据可以是一个数据，也可以是多个不同的数据，具体可以根据实际情况设定，本实施例中，第三数据可以是从上述数据集中选取的多个不同的数据，例如，目标模型为用于进行面部识别的模型，第三数据可以为包含用户的面部的图像，再例如，目标模型为用于进行语音识别的模型，第三数据可以为用户输入或用户提供的语音数据等。在实际应用中，可以将上述数据集划分为2个子数据集，一个子数据集中的数据可以作为第一数据，另一个子数据集中的数据可以作为第三数据等，具体可以根据实际情况设定。然后，可以将将第三数据输入到目标模型中，得到第三数据对应的预测结果。

在步骤S216中，将第三数据对应的预测结果输入到训练后的生成模型中，以通过生成模型基于第三数据对应的预测结果还原出相应的第三数据，得到输出的第四数据。

其中，第四数据应是与第三数据属于相同数据类型的数据，如第三数据为包括用户的面部的图像，则第四数据也应该为包括用户的面部的图像，再如第三数据为用户输入的语音数据，则第四数据也应该为语音数据等。

在步骤S218中，基于第三数据和第四数据，确定第三数据的还原程度，并基于第三数据的还原程度对训练后的生成模型进行测试。

在实施中，可以预先设定第三数据的还原程度的相关算法，通过该算法，并基于第三数据和第四数据，计算相应的结果，可以基于计算结果确定第三数据的还原程度，例如，可以随机选取一个或多个第三数据，然后，可以计算选取的第三数据与相应的第四数据之间的相似度，基于计算的相似度数值来判断第三数据的还原程度的高低，具体如，可以预先设定第三数据的还原程度的高低范围或阈值，如果计算的相似度数值处于预先设定的第三数据的还原程度较高的范围内(或计算的相似度数值大于预先设定的第三数据的还原程度较高的阈值)，则确定第三数据的还原程度较高，如果计算的相似度数值处于预先设定的第三数据的还原程度较低的范围内(或计算的相似度数值小于预先设定的第三数据的还原程度较低的阈值)，则确定第三数据的还原程度较低等，具体可以根据实际情况设定，本说明书实施例对此不做限定。如果第三数据的还原程度较高，则可以确定对训练后的生成模型的测试通过，如果第三数据的还原程度较低，则可以确定对训练后的生成模型的测试不通过，或者，可以通过指定算法对第三数据的还原程度进行计算，得到相应的计算结果，可以基于该计算结果确定对训练后的生成模型的测试是否通过，其中的指定算法可以包括多种，例如加权平均算法或计算平均值的算法等，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实际应用中，上述步骤S218中基于第三数据和第四数据，确定第三数据的还原程度的处理可以多种多样，以下再提供一种可选的处理方式，具体可以包括以下内容：计算第三数据与第四数据之间的平均距离，基于得到的计算结果确定第三数据的还原程度。

在实施中，可以通过余弦距离或欧式距离等算法，计算第三数据与第四数据之间的平均距离，如果得到的计算结果大于预设阈值，则确定第三数据的还原程度较高，否则，确定第三数据的还原程度较低，具体可以根据实际情况设定，本说明书实施例对此不做限定。

在实际应用中，上述平均距离可以为平均离散余弦距离。平均离散余弦距离的公式可以如下

其中，c表示平均离散余弦距离，N为第三数据或第四数据的总数量(其中，第三数据则总数量与第四数据的总数量应相等)，X_i和X_i ^′分别表示第i个第三数据和第i个第四数据。可以通过平均离散余弦距离c来衡量第三数据的还原程度，也可以用来衡量终端设备中的目标模型的隐私保护程度，其中，c越接近1，表明第三数据的还原程度越高，相应的，终端设备中的目标模型的隐私保护程度越低，c越接近-1，表明第三数据的还原程度越低，相应的，终端设备中的目标模型的隐私保护程度越高。

在实施中，可以将某个第三数据和相应的第四数据输入到上述公式中，通过公式的计算，可以得到第三数据与第四数据之间的平均离散余弦距离，如果得到的平均离散余弦距离大于预设的第一阈值，则确定第三数据的还原程度较高，如果得到的平均离散余弦距离小于预设的第二阈值，则确定第三数据的还原程度较低，其中的第一阈值与第二阈值可以相同，也可以不同。

在步骤S220中，如果测试通过，则获取用于判断目标模型的隐私保护程度，且针对目标模型的目标数据，并将目标数据输入到目标模型中，得到目标数据对应的预测结果。

其中，由于本实施例中针对的是同一个模型，即目标模型，因此，目标模型应是与第一数据、第二数据、第三数据和第四数据属于相同数据类型的数据，尤其是目标数据应是与第一数据和第三数据属于相同数据类型的数据，如第一数据、第二数据、第三数据和第四数据为包括用户的面部的图像，则目标数据也应该为包括用户的面部的图像，再如第一数据和第三数据为用户输入的语音数据，则目标数据也应该为用户输入的语音数据等。

在实施中，如果训练后的生成模型通过测试，则可以将训练后的生成模型投入到目标模型的隐私保护程度的应用中，当需要对目标模型的隐私保护程度进行评估时，可以获取用于判断目标模型的隐私保护程度，且针对目标模型的目标数据，并将目标数据输入到目标模型中，得到目标数据对应的预测结果。

在步骤S222中，将目标数据对应的预测结果输入到训练后的生成模型中，以通过生成模型基于目标数据对应的预测结果还原出相应的目标数据，得到输出的还原数据。

其中，还原数据应是与目标数据属于相同数据类型的数据，如目标数据为包括用户的面部的图像，则还原数据也应该为包括用户的面部的图像，再如目标数据为用户输入的语音数据，则还原数据也应该为语音数据等。

在步骤S224中，基于目标数据和还原数据，确定目标模型的隐私保护程度。

上述步骤S224的具体处理可以参见上述步骤S218的处理方式执行，在此不再赘述。

此外，上述步骤S224的具体处理方式可以包括多种，以下再提供一种可选的处理方式，具体可以包括以下内容：计算输入目标模型的数据与数据还原处理得到的还原数据之间的平均距离，基于得到的计算结果确定目标模型的隐私保护程度；

上述具体处理可以参见上述步骤S218中的相关内容，在此不再赘述。

其中，平均距离可以为平均离散余弦距离，具体可以参见上述公式和相应的计算方式，在此不再赘述。

基于上述内容，还可以包括以下处理：如果确定的目标模型的隐私保护程度小于预设阈值，则确定目标模型存在隐私安全风险。

其中，预设阈值可以根据实际情况设定，具体如50％或60％等。

本说明书实施例提供一种模型的隐私保护程度的确定方法，通过获取针对终端设备中的目标模型的第一数据，并将第一数据输入到所述目标模型中，得到第一数据对应的预测结果，然后，可以在第一数据对应的预测结果中叠加预设的噪音数据，将加噪预测结果输入到生成模型中，以通过生成模型基于加噪预测结果还原出相应的第一数据，得到输出的第二数据，将第二数据和第一数据对应的预测结果输入到判别模型中，得到判断第二数据是否为真实数据的第一判别结果，基于第一判别结果和第二数据对应的实际判别结果，调整生成模型和判别模型的模型参数，并将第一数据和第一数据对应的预测结果输入到判别模型中，得到判断第一数据是否为真实数据的第二判别结果，基于第二判别结果和第一数据对应的实际判别结果，调整判别模型的模型参数，以训练生成模型和判别模型，得到训练后的生成模型和训练后的判别模型，最终，可以基于训练后的生成模型对通过目标模型得到的预测结果进行数据还原处理，并通过输入目标模型的数据和数据还原处理得到的还原数据，确定目标模型的隐私保护程度，这样，提供一种通过分析移动端深度学习模型(即目标模型)的输出数据，从而尝试还原出原始数据的生成模型，进而评估终端设备中的目标模型的隐私保护能力，以此防止用户的隐私数据被泄露。

实施例三

以上为本说明书实施例提供的模型的隐私保护程度的确定方法，基于同样的思路，本说明书实施例还提供一种模型的隐私保护程度的确定装置，如图4所示。

该模型的隐私保护程度的确定装置包括：第一数据处理模块401、第一数据还原模块402、模型训练模块403和保护程度确定模块404，其中：

第一数据处理模块401，获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果；

第一数据还原模块402，在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据；

模型训练模块403，将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型；

保护程度确定模块404，基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例中，所述装置还包括：

第二数据处理模块，获取针对终端设备中的目标模型的第三数据，并将所述第三数据输入到所述目标模型中，得到所述第三数据对应的预测结果；

第二数据还原模块，将所述第三数据对应的预测结果输入到训练后的生成模型中，以通过所述生成模型基于所述第三数据对应的预测结果还原出相应的所述第三数据，得到输出的第四数据；

模型测试模块，基于所述第三数据和所述第四数据，确定所述第三数据的还原程度，并基于所述第三数据的还原程度对训练后的生成模型进行测试；

所述保护程度确定模块404，如果测试通过，则基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例中，所述模型测试模块，计算所述第三数据与所述第四数据之间的平均距离，基于得到的计算结果确定所述第三数据的还原程度。

本说明书实施例中，所述保护程度确定模块404，包括：

数据处理单元，获取用于判断所述目标模型的隐私保护程度，且针对所述目标模型的目标数据，并将所述目标数据输入到所述目标模型中，得到所述目标数据对应的预测结果；

数据还原单元，将所述目标数据对应的预测结果输入到训练后的生成模型中，以通过所述生成模型基于所述目标数据对应的预测结果还原出相应的所述目标数据，得到输出的还原数据；

保护程度确定单元，基于所述目标数据和所述还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例中，所述保护程度确定模块404，计算输入所述目标模型的数据与数据还原处理得到的还原数据之间的平均距离，基于得到的计算结果确定所述目标模型的隐私保护程度；

所述装置还包括：

风险确定模块，如果确定的所述目标模型的隐私保护程度小于预设阈值，则确定所述目标模型存在隐私安全风险。

本说明书实施例中，所述平均距离为平均离散余弦距离。

本说明书实施例中，所述模型训练模块403，包括：

第一计算单元，计算所述第一判别结果和所述第二数据对应的实际判别结果之间的交叉熵损失信息，并基于所述交叉熵损失信息，得到所述生成模型和所述判别模型对应的梯度信息；

第一反向传递单元，基于所述生成模型和所述判别模型对应的梯度信息，通过反向传递调整所述生成模型和所述判别模型的模型参数。

本说明书实施例中，所述模型训练模块403，包括：

第二计算单元，计算所述第二判别结果和所述第一数据对应的实际判别结果之间的交叉熵损失信息，并基于所述交叉熵损失信息，得到所述判别模型对应的梯度信息；

第二反向传递单元，基于所述判别模型对应的梯度信息，通过反向传递调整所述判别模型的模型参数。

本说明书实施例中，所述目标模型为进行面部识别的模型，或者，所述目标模型为进行语音识别的模型，或者，所述目标模型为进行路径规划的模型，或者，所述目标模型为进行业务风控的模型。

本说明书实施例中，所述预设的噪音数据为高斯随机噪音数据。

本说明书实施例提供一种模型的隐私保护程度的确定装置，通过获取针对终端设备中的目标模型的第一数据，并将第一数据输入到所述目标模型中，得到第一数据对应的预测结果，然后，可以在第一数据对应的预测结果中叠加预设的噪音数据，将加噪预测结果输入到生成模型中，以通过生成模型基于加噪预测结果还原出相应的第一数据，得到输出的第二数据，将第二数据和第一数据对应的预测结果输入到判别模型中，得到判断第二数据是否为真实数据的第一判别结果，基于第一判别结果和第二数据对应的实际判别结果，调整生成模型和判别模型的模型参数，并将第一数据和第一数据对应的预测结果输入到判别模型中，得到判断第一数据是否为真实数据的第二判别结果，基于第二判别结果和第一数据对应的实际判别结果，调整判别模型的模型参数，以训练生成模型和判别模型，得到训练后的生成模型和训练后的判别模型，最终，可以基于训练后的生成模型对通过目标模型得到的预测结果进行数据还原处理，并通过输入目标模型的数据和数据还原处理得到的还原数据，确定目标模型的隐私保护程度，这样，提供一种通过分析移动端深度学习模型(即目标模型)的输出数据，从而尝试还原出原始数据的生成模型，进而评估终端设备中的目标模型的隐私保护能力，以此防止用户的隐私数据被泄露。

实施例四

以上为本说明书实施例提供的模型的隐私保护程度的确定装置，基于同样的思路，本说明书实施例还提供一种模型的隐私保护程度的确定设备，如图5所示。

所述模型的隐私保护程度的确定设备可以为上述实施例提供的终端设备或服务器等。

模型的隐私保护程度的确定设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对模型的隐私保护程度的确定设备中的一系列计算机可执行指令。更进一步地，处理器501可以设置为与存储器502通信，在模型的隐私保护程度的确定设备上执行存储器502中的一系列计算机可执行指令。模型的隐私保护程度的确定设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上输入输出接口505，一个或一个以上键盘506。

具体在本实施例中，模型的隐私保护程度的确定设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对模型的隐私保护程度的确定设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果；

在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据；

将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型；

基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例中，还包括：

获取针对终端设备中的目标模型的第三数据，并将所述第三数据输入到所述目标模型中，得到所述第三数据对应的预测结果；

将所述第三数据对应的预测结果输入到训练后的生成模型中，以通过所述生成模型基于所述第三数据对应的预测结果还原出相应的所述第三数据，得到输出的第四数据；

基于所述第三数据和所述第四数据，确定所述第三数据的还原程度，并基于所述第三数据的还原程度对训练后的生成模型进行测试；

所述基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度，包括：

如果测试通过，则基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例中，所述基于所述第三数据和所述第四数据，确定所述第三数据的还原程度，包括：

计算所述第三数据与所述第四数据之间的平均距离，基于得到的计算结果确定所述第三数据的还原程度。

本说明书实施例中，所述基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度，包括：

获取用于判断所述目标模型的隐私保护程度，且针对所述目标模型的目标数据，并将所述目标数据输入到所述目标模型中，得到所述目标数据对应的预测结果；

将所述目标数据对应的预测结果输入到训练后的生成模型中，以通过所述生成模型基于所述目标数据对应的预测结果还原出相应的所述目标数据，得到输出的还原数据；

基于所述目标数据和所述还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例中，所述通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度，包括：

计算输入所述目标模型的数据与数据还原处理得到的还原数据之间的平均距离，基于得到的计算结果确定所述目标模型的隐私保护程度；

还包括：

如果确定的所述目标模型的隐私保护程度小于预设阈值，则确定所述目标模型存在隐私安全风险。

本说明书实施例中，所述平均距离为平均离散余弦距离。

本说明书实施例中，所述基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，包括：

计算所述第一判别结果和所述第二数据对应的实际判别结果之间的交叉熵损失信息，并基于所述交叉熵损失信息，得到所述生成模型和所述判别模型对应的梯度信息；

基于所述生成模型和所述判别模型对应的梯度信息，通过反向传递调整所述生成模型和所述判别模型的模型参数。

本说明书实施例中，所述基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，包括：

计算所述第二判别结果和所述第一数据对应的实际判别结果之间的交叉熵损失信息，并基于所述交叉熵损失信息，得到所述判别模型对应的梯度信息；

基于所述判别模型对应的梯度信息，通过反向传递调整所述判别模型的模型参数。

本说明书实施例中，所述目标模型为进行面部识别的模型，或者，所述目标模型为进行语音识别的模型，或者，所述目标模型为进行路径规划的模型，或者，所述目标模型为进行业务风控的模型。

本说明书实施例中，所述预设的噪音数据为高斯随机噪音数据。

本说明书实施例提供一种模型的隐私保护程度的确定设备，通过获取针对终端设备中的目标模型的第一数据，并将第一数据输入到所述目标模型中，得到第一数据对应的预测结果，然后，可以在第一数据对应的预测结果中叠加预设的噪音数据，将加噪预测结果输入到生成模型中，以通过生成模型基于加噪预测结果还原出相应的第一数据，得到输出的第二数据，将第二数据和第一数据对应的预测结果输入到判别模型中，得到判断第二数据是否为真实数据的第一判别结果，基于第一判别结果和第二数据对应的实际判别结果，调整生成模型和判别模型的模型参数，并将第一数据和第一数据对应的预测结果输入到判别模型中，得到判断第一数据是否为真实数据的第二判别结果，基于第二判别结果和第一数据对应的实际判别结果，调整判别模型的模型参数，以训练生成模型和判别模型，得到训练后的生成模型和训练后的判别模型，最终，可以基于训练后的生成模型对通过目标模型得到的预测结果进行数据还原处理，并通过输入目标模型的数据和数据还原处理得到的还原数据，确定目标模型的隐私保护程度，这样，提供一种通过分析移动端深度学习模型(即目标模型)的输出数据，从而尝试还原出原始数据的生成模型，进而评估终端设备中的目标模型的隐私保护能力，以此防止用户的隐私数据被泄露。

实施例五

进一步地，基于上述图1到图3所示的方法，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令信息，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令信息在被处理器执行时，能实现以下流程：

获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果；

在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据；

将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型；

基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例中，还包括：

获取针对终端设备中的目标模型的第三数据，并将所述第三数据输入到所述目标模型中，得到所述第三数据对应的预测结果；

将所述第三数据对应的预测结果输入到训练后的生成模型中，以通过所述生成模型基于所述第三数据对应的预测结果还原出相应的所述第三数据，得到输出的第四数据；

基于所述第三数据和所述第四数据，确定所述第三数据的还原程度，并基于所述第三数据的还原程度对训练后的生成模型进行测试；

所述基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度，包括：

如果测试通过，则基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例中，所述基于所述第三数据和所述第四数据，确定所述第三数据的还原程度，包括：

计算所述第三数据与所述第四数据之间的平均距离，基于得到的计算结果确定所述第三数据的还原程度。

本说明书实施例中，所述基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度，包括：

获取用于判断所述目标模型的隐私保护程度，且针对所述目标模型的目标数据，并将所述目标数据输入到所述目标模型中，得到所述目标数据对应的预测结果；

将所述目标数据对应的预测结果输入到训练后的生成模型中，以通过所述生成模型基于所述目标数据对应的预测结果还原出相应的所述目标数据，得到输出的还原数据；

基于所述目标数据和所述还原数据，确定所述目标模型的隐私保护程度。

本说明书实施例中，所述通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度，包括：

计算输入所述目标模型的数据与数据还原处理得到的还原数据之间的平均距离，基于得到的计算结果确定所述目标模型的隐私保护程度；

还包括：

如果确定的所述目标模型的隐私保护程度小于预设阈值，则确定所述目标模型存在隐私安全风险。

本说明书实施例中，所述平均距离为平均离散余弦距离。

本说明书实施例中，所述基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，包括：

计算所述第一判别结果和所述第二数据对应的实际判别结果之间的交叉熵损失信息，并基于所述交叉熵损失信息，得到所述生成模型和所述判别模型对应的梯度信息；

基于所述生成模型和所述判别模型对应的梯度信息，通过反向传递调整所述生成模型和所述判别模型的模型参数。

本说明书实施例中，所述基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，包括：

计算所述第二判别结果和所述第一数据对应的实际判别结果之间的交叉熵损失信息，并基于所述交叉熵损失信息，得到所述判别模型对应的梯度信息；

基于所述判别模型对应的梯度信息，通过反向传递调整所述判别模型的模型参数。

本说明书实施例中，所述目标模型为进行面部识别的模型，或者，所述目标模型为进行语音识别的模型，或者，所述目标模型为进行路径规划的模型，或者，所述目标模型为进行业务风控的模型。

本说明书实施例中，所述预设的噪音数据为高斯随机噪音数据。

本说明书实施例提供一种存储介质，通过获取针对终端设备中的目标模型的第一数据，并将第一数据输入到所述目标模型中，得到第一数据对应的预测结果，然后，可以在第一数据对应的预测结果中叠加预设的噪音数据，将加噪预测结果输入到生成模型中，以通过生成模型基于加噪预测结果还原出相应的第一数据，得到输出的第二数据，将第二数据和第一数据对应的预测结果输入到判别模型中，得到判断第二数据是否为真实数据的第一判别结果，基于第一判别结果和第二数据对应的实际判别结果，调整生成模型和判别模型的模型参数，并将第一数据和第一数据对应的预测结果输入到判别模型中，得到判断第一数据是否为真实数据的第二判别结果，基于第二判别结果和第一数据对应的实际判别结果，调整判别模型的模型参数，以训练生成模型和判别模型，得到训练后的生成模型和训练后的判别模型，最终，可以基于训练后的生成模型对通过目标模型得到的预测结果进行数据还原处理，并通过输入目标模型的数据和数据还原处理得到的还原数据，确定目标模型的隐私保护程度，这样，提供一种通过分析移动端深度学习模型(即目标模型)的输出数据，从而尝试还原出原始数据的生成模型，进而评估终端设备中的目标模型的隐私保护能力，以此防止用户的隐私数据被泄露。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程欺诈案例的串并设备的处理器以产生一个机器，使得通过计算机或其他可编程欺诈案例的串并设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程欺诈案例的串并设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程欺诈案例的串并设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (13)

1.一种模型的隐私保护程度的确定方法，所述方法包括：

获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果；

在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据；

将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型；

基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

2.根据权利要求1所述的方法，所述方法还包括：

获取针对终端设备中的目标模型的第三数据，并将所述第三数据输入到所述目标模型中，得到所述第三数据对应的预测结果；

将所述第三数据对应的预测结果输入到训练后的生成模型中，以通过所述生成模型基于所述第三数据对应的预测结果还原出相应的所述第三数据，得到输出的第四数据；

基于所述第三数据和所述第四数据，确定所述第三数据的还原程度，并基于所述第三数据的还原程度对训练后的生成模型进行测试；

所述基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度，包括：

如果测试通过，则基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

3.根据权利要求2所述的方法，所述基于所述第三数据和所述第四数据，确定所述第三数据的还原程度，包括：

计算所述第三数据与所述第四数据之间的平均距离，基于得到的计算结果确定所述第三数据的还原程度。

4.根据权利要求1所述的方法，所述基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度，包括：

获取用于判断所述目标模型的隐私保护程度，且针对所述目标模型的目标数据，并将所述目标数据输入到所述目标模型中，得到所述目标数据对应的预测结果；

将所述目标数据对应的预测结果输入到训练后的生成模型中，以通过所述生成模型基于所述目标数据对应的预测结果还原出相应的所述目标数据，得到输出的还原数据；

基于所述目标数据和所述还原数据，确定所述目标模型的隐私保护程度。

5.根据权利要求4所述的方法，所述通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度，包括：

计算输入所述目标模型的数据与数据还原处理得到的还原数据之间的平均距离，基于得到的计算结果确定所述目标模型的隐私保护程度；

所述方法还包括：

如果确定的所述目标模型的隐私保护程度小于预设阈值，则确定所述目标模型存在隐私安全风险。

6.根据权利要求3或5所述的方法，所述平均距离为平均离散余弦距离。

7.根据权利要求1所述的方法，所述基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，包括：

计算所述第一判别结果和所述第二数据对应的实际判别结果之间的交叉熵损失信息，并基于所述交叉熵损失信息，得到所述生成模型和所述判别模型对应的梯度信息；

基于所述生成模型和所述判别模型对应的梯度信息，通过反向传递调整所述生成模型和所述判别模型的模型参数。

8.根据权利要求1所述的方法，所述基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，包括：

计算所述第二判别结果和所述第一数据对应的实际判别结果之间的交叉熵损失信息，并基于所述交叉熵损失信息，得到所述判别模型对应的梯度信息；

基于所述判别模型对应的梯度信息，通过反向传递调整所述判别模型的模型参数。

9.根据权利要求1所述的方法，所述目标模型为进行面部识别的模型，或者，所述目标模型为进行语音识别的模型，或者，所述目标模型为进行路径规划的模型，或者，所述目标模型为进行业务风控的模型。

10.根据权利要求1-9中任一项所述的方法，所述预设的噪音数据为高斯随机噪音数据。

11.一种模型的隐私保护程度的确定装置，所述装置包括：

第一数据处理模块，获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果；

第一数据还原模块，在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据；

模型训练模块，将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型；

保护程度确定模块，基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

12.一种模型的隐私保护程度的确定设备，所述模型的隐私保护程度的确定设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果；

在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据；

将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型；

基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

13.一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下流程：

获取针对终端设备中的目标模型的第一数据，并将所述第一数据输入到所述目标模型中，得到所述第一数据对应的预测结果；

在所述第一数据对应的预测结果中叠加预设的噪音数据，得到加噪预测结果，将所述加噪预测结果输入到生成模型中，以通过所述生成模型基于所述加噪预测结果还原出相应的所述第一数据，得到输出的第二数据；

将所述第二数据和所述第一数据对应的预测结果输入到判别模型中，得到判断所述第二数据是否为真实数据的第一判别结果，基于所述第一判别结果和所述第二数据对应的实际判别结果，调整所述生成模型和所述判别模型的模型参数，并将所述第一数据和所述第一数据对应的预测结果输入到所述判别模型中，得到判断所述第一数据是否为真实数据的第二判别结果，基于所述第二判别结果和所述第一数据对应的实际判别结果，调整所述判别模型的模型参数，以训练所述生成模型和所述判别模型，得到训练后的生成模型和训练后的判别模型；

基于训练后的生成模型对通过所述目标模型得到的预测结果进行数据还原处理，并通过输入所述目标模型的数据和数据还原处理得到的还原数据，确定所述目标模型的隐私保护程度。

Images