CN117176368A - 终端侧的隐私风险评估方法及装置、介质、电子设备 - Google Patents

Abstract

本公开是关于一种终端侧的隐私风险评估方法及装置、存储介质、电子设备，涉及联邦机器学习技术领域，该方法包括：获取所述终端在所述联邦机器学习中所面临的初始环境数据，并对所述初始环境数据进行分析，生成隐私风险列表，并根据所述隐私风险列表分别对终端用户隐私数据被泄露的风险以及所述终端用户的隐私偏好进行分析，得到第一分析结果以及第二分析结果；根据所述第一分析结果以及第二分析结果计算所述终端用户的隐私风险等级。本公开提高了终端用户隐私数据的安全性。

Description

终端侧的隐私风险评估方法及装置、介质、电子设备

技术领域

本公开实施例涉及联邦机器学习技术领域，具体而言，涉及一种终端侧的隐私风险评估方法、终端侧的隐私风险评估装置、计算机可读存储介质以及电子设备。

背景技术

现有的联邦机器学习中，攻击者可以从训练完成的模型中获取终端训练数据集的统计信息，进一步获取终端用户的隐私数据，进而使得终端用户的隐私数据的安全性较低。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种终端侧的隐私风险评估方法、终端侧的隐私风险评估装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的终端用户的隐私数据的安全性较低的问题。

根据本公开的一个方面，提供一种终端侧的隐私风险评估方法，配置于联邦机器学习中的终端，所述终端侧的隐私风险评估方法包括：

获取所述终端在所述联邦机器学习中所面临的初始环境数据，并对所述初始环境数据进行分析，得到终端的隐私风险列表；

根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果；

根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级。

在本公开的一种示例性实施例中，对所述初始环境数据进行分析，得到终端的隐私风险列表，包括：

对所述初始环境数据的类别进行识别，得到类别识别结果，并根据所述类别识别结果判断终端用户的隐私数据被泄露后，是否存在风险；

若存在风险，则将该初始环境数据作为被识别的风险数据，并根据所述被识别的风险数据生成所述终端的隐私风险列表。

在本公开的一种示例性实施例中，所述初始环境数据包括所述终端在进行所述联邦机器学习时所采用的算法信息、所述终端参与所述联邦机器学习所用到的数据集、所述终端参与所述联邦机器学习的待训练模型的模型信息、所述终端参与所述联邦机器学习的信道环境信息以及终端本地已有的保护措施中的多种；

所述数据集包括终端用户的身份识别信息和/或用户消费信息；

所述信道环境信息包括威胁模型类型；

所述被识别的风险数据包括但不限于联邦机器学习的算法、参与机器学习的用户数据、联邦学习中的威胁模型、终端本地隐私保护技术、模型梯度更新参数中的多种；所述参与机器学习的用户数据包括身份识别信息以及用户消费信息。

在本公开的一种示例性实施例中，根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果，包括：

根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定性分析，得到与终端用户隐私信息被泄露的风险关联的第一定性分析结果，并根据所述终端的隐私风险列表对所述终端用户的隐私偏好进行定性分析，得到第二定性分析结果；和/或

根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定量分析，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果，并根据终端的隐私风险列表对所述终端用户的隐私偏好进行定量分析，得到与终端用户的隐私偏好关联的第二定量分析结果。

在本公开的一种示例性实施例中，根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定量分析，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果，包括：

计算所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度；

计算所述用户身份识别信息、用户消费信息、模型梯度更新参数以及第一模型迭代次数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率；

根据所述第一影响程度、第二影响程度以及第三影响程度，计算所述目标数据被泄露的目标影响程度值，并根据第一泄露概率、第二泄露概率以及第三泄露概率，计算目标数据被泄露的目标概率值；

根据所述目标影响程度值以及目标概率值，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果。

在本公开的一种示例性实施例中，计算所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度，包括：

根据参与联邦机器学习的用户身份识别信息中包括的第一原始特征维度以及在联邦机器学习中需要被服务器获取的第一目标特征维度，计算所述用户身份识别信息的第一泄露量；

根据参与联邦机器学习的用户消费信息中包括的第二原始特征维度以及在联邦机器学习中需要被服务器获取的第二目标特征维度，计算所述用户消费信息的第二泄露量；

根据参与联邦机器学习中设置于终端本地的模型梯度更新参数的第一参数数量以及设置于服务器端的模型梯度更新参数的第二参数数量，计算所述模型梯度更新参数的第三泄漏量；

根据所述第一泄漏量、第二泄露量、第三泄漏量以及所述用户身份识别信息、用户消费信息以及模型梯度更新参数所具有的第一权重值、第二权重值以及第三权重值，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度。

在本公开的一种示例性实施例中，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率，包括：

根据所述联邦机器学习中的威胁模型或服务器的可信程度、所述终端与所述服务器之间的通信信道的安全程度、所述联邦机器学习中被其他恶意终端进行女巫攻击的攻击概率以及所述终端的软硬件环境的脆弱程度，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率。

在本公开的一种示例性实施例中，根据终端的隐私风险列表对所述终端用户的隐私偏好进行定量分析，得到与终端用户的隐私偏好关联的第二定量分析结果，包括：

获取所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数的第一数据敏感度、第二数据敏感度以及第三数据敏感度；

根据所述第一数据敏感度、第二数据敏感度、第三数据敏感度以及所述用户身份识别信息、用户消费信息以及模型梯度更新参数所具有的所具有的第一权重值、第二权重值以及第三权重值，得到所述与终端用户的隐私偏好关联的第二定量分析结果。

在本公开的一种示例性实施例中，所述第一分析结果包括第一定性分析结果和/或第一定量分析结果；所述第二分析结果包括第二定性分析结果和/或第二定量分析结果；

所述第一定量分析结果包括所述目标数据被泄露的影响程度值以及概率值；所述第一定性分析结果中包括所述目标数据被泄露的影响程度的级别以及概率的级别；

所述第二定性分析结果包括终端用户的隐私偏好度的级别，所述第二定量分析结果包括终端用户的隐私偏好度值；

所述隐私风险等级包括定量风险等级或者定性风险等级；

其中，根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级，包括：

根据所述第一定量分析结果中包括的目标影响程度值和目标概率值、第二分析结果中包括的终端用户的隐私偏好度值以及所述目标影响程度、目标概率、终端用户的隐私偏好度所具有的第一影响因子、第二影响因子以及第三影响因子，计算所述终端的定量风险等级；和/或

根据所述目标影响程度的级别、目标概率的级别以及终端用户的隐私偏好度的级别，得到所述终端的定性风险等级。

在本公开的一种示例性实施例中，根据所述目标影响程度的级别、目标概率的级别以及终端用户的隐私偏好度的级别，得到所述终端的定性风险等级，包括：

若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意两个参数及以上的级别为高级别，其余为中级别，则该定性风险等级的评估结果为高风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意两个参数及以上的级别为高级别，其余为低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意一个参数的级别为高级别，其余为低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中有一个参数的级别为高级别，一个参数的级别为中级别，一个参数的级别为低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中所有参数的级别均为中级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中，没有高级别，有且仅有一个低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中，没有高级别，且不止一个低级别，则该定性风险等级的评估结果为低风险。

根据本公开的一个方面，提供一种终端侧的隐私风险评估装置，配置于联邦机器学习中的终端，所述终端侧的隐私风险评估装置包括：

数据获取模块，用于获取所述终端在所述联邦机器学习中所面临的初始环境数据，并对所述初始环境数据进行分析，得到终端的隐私风险列表；

数据分析模块，用于根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果；

风险等级计算模块，用于根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述示例实施例任一项所述的终端侧的隐私风险评估方法。

根据本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行述示例实施例任一项所述的终端侧的隐私风险评估方法。

本公开实施例提供的一种终端侧的隐私风险评估方法，一方面，通过获取终端在联邦机器学习中所面临的初始环境数据，并对初始环境数据进行分析，得到终端的隐私风险列表；再根据终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果；最后根据第一分析结果以及第二分析结果评估终端的隐私风险等级，由于可以在隐私风险等级较高的时候不参与联邦机器学习，进而可以从源头上避免隐私数据的泄露，解决了现有技术中由于可以从训练完成的模型中获取终端训练数据集的统计信息，进一步获取终端用户的隐私数据，进而使得终端用户的隐私数据的安全性较低的问题；另一方面，由于在对隐私风险等级的计算过程中，引入了与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果，使得可以针对不同配置的终端，提供与其对应的个性化的隐私风险分析评估结果，进而可以在提高终端用户的隐私数据的安全性的基础上提升用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出根据本公开示例实施例的一种终端侧的隐私风险评估方法的流程图。

图2示意性示出根据本公开示例实施例的一种联邦机器学习的框架的示例图。

图3示意性示出根据本公开示例实施例的一种终端侧的隐私风险评估系统的框图。

图4示意性示出根据本公开示例实施例的一种根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定量分析，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果的方法流程图。

图5示意性示出根据本公开示例实施例的一种根据终端的隐私风险列表对所述终端用户的隐私偏好进行定量分析，得到与终端用户的隐私偏好关联的第二定量分析结果的方法流程图。

图6示意性示出根据本公开示例实施例的另一种终端侧的隐私风险评估方法的流程图。

图7示意性示出根据本公开示例实施例的一种联邦机器学习的方法流程图。

图8示意性示出根据本公开示例实施例的一种联邦机器学习的应用场景示例图。

图9示意性示出根据本公开示例实施例的一种终端侧的隐私风险评估装置的框图。

图10示意性示出根据本公开示例实施例的一种用于实现上述终端侧的隐私风险评估方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

随着云计算、人工智能、大数据等技术的发展，智能手机、可穿戴设备等产生了超大规模的数据，深度学习也随着数据量的增长而得到更好的发展。由于设备的计算能力不断增强，端设备数据与用户隐私关联度较高，非聚合式数据共享方法更受青睐，训练数据保留在本地的联邦学习算法得到广泛研究。联邦学习(FML，Federated Meta Learning)是一种关注隐私保护的机器学习技术，源数据不离开本地设备，在多参与方或多计算节点之间开展高效的机器学习。联邦学习(也可以被称为联邦机器学习)是一个统称，各数据提供方构成联邦，共同训练模型，其可使用的机器学习算法不局限于神经网络，还包括随机森林等；联邦学习可以通过联合多个终端共同开展机器学习，训练过程中，每个终端在本地采用用户数据开展模型训练，然后将模型梯度更新发送到服务器进行中心聚合。并且，联邦学习可以在保证原始数据不出终端的前提下，利用终端本地数据完成人工智能算法模型的训练，从而保护终端的隐私数据。

虽然相较于传统的AI(Artificial Intelligence，人工智能)应用，FML可以减少用户数据上传云端导致的隐私泄露风险，但攻击者可以从训练完成的模型中获取终端训练数据集的统计信息，进一步获取终端的隐私信息；具体的，模型逆向攻击推断出的训练集的信息，既可以是某个成员是否包含在训练集中，也可以是训练集的一些统计特性；因此，根据这两种训练集信息，模型逆向攻击(包括成员推理攻击和属性推理攻击)对联邦学习中的各参与方(终端)的隐私造成了严重的威胁。

此外，参与FML训练的终端，本地训练所采用的用户数据可能更加丰富和敏感，甚至包括用户人脸、指纹、声纹等生物特征个人敏感信息；并且，这些敏感信息具有私密性、唯一性和不变性，一旦被泄露或滥用将对公民权益造成严重影响。

因此，对于运行联邦学习的终端，其隐私风险评估不能靠传统的统计终端本地API(Application Programming Interface，应用程序接口)访问权限等方式来实现。

基于此，本示例实施方式中首先提供了一种终端侧的隐私风险评估方法，该方法可以运行于终端设备，当然，本领域技术人员也可以根据需求在其他平台运行本公开的方法，本示例性实施例中对此不做特殊限定。具体的，参考图1所示，该终端侧的隐私风险评估方法可以包括以下步骤：

步骤S110.获取所述终端在所述联邦机器学习中所面临的初始环境数据，并对所述初始环境数据进行分析，得到终端的隐私风险列表；

步骤S120.根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果；

步骤S130.根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级。

上述终端侧的隐私风险评估方法中，一方面，通过获取终端在联邦机器学习中所面临的初始环境数据，并对初始环境数据进行分析，得到终端的隐私风险列表；再根据终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果；最后根据第一分析结果以及第二分析结果评估终端的隐私风险等级，由于可以在隐私风险等级较高的时候不参与联邦机器学习，进而可以从源头上避免隐私数据的泄露，解决了现有技术中由于可以从训练完成的模型中获取终端训练数据集的统计信息，进一步获取终端用户的隐私数据，进而使得终端用户的隐私数据的安全性较低的问题；另一方面，由于在对隐私风险等级的计算过程中，引入了与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果，使得可以针对不同配置的终端，提供与其对应的个性化的隐私风险分析评估结果，进而可以在提高终端用户的隐私数据的安全性的基础上提升用户体验。

以下，将结合附图对本公开示例实施例终端侧的隐私风险评估方法进行详细的解释以及说明。

首先，对本公开示例实施例的发明目的进行解释以及说明。具体的，本公开示例实施例所记载的终端侧的隐私风险评估方法，具体涉及一种面向联邦学习的终端中用户隐私的评估方法，用于在参与联邦学习的终端上开展个性化隐私风险评估和应用。并且，为了解决参与联邦学习过程中终端也即“数据拥有者”，在参与模型训练过程中个人敏感隐私信息泄露和被滥用的隐私安全风险，本公开示例实施例提出了一种面向联邦学习的终端隐私风险评估系统与方法，通过对终端当前软硬件配置、参与联邦学习的具体行为，结合终端用户的个性化隐私偏好，开展终端的隐私风险识别、分析和评估；同时，评估结果可以既可以作为终端是否参与本次联邦学习的决策依据，也可以作为终端后续选择合适的隐私保护技术参考；进一步的，本公开示例实施例在终端参与联邦学习的过程中，引入隐私风险的分析和评估，同时，该隐私评估过程还考虑了终端用户个性化的隐私偏好，可针对不同配置的终端提供个性化的隐私风险分析评估。

其次，对本公开示例实施例中所涉及到的联邦机器学习的框架进行解释以及说明。具体的，参考图2所示，该框架主要由3个部分构成：提供训练数据的多个本地节点(终端)210、负责参数调优的服务器220、终端与服务器之间的通信信道230(传输本地数据训练后的模型参数至服务器，传输全局调优后的参数至各终端)；其中，根据具体实现的深度学习模型和算法的不同，联邦学习框架可以适用于各类数据分散的学习场景中。

其次，对本公开示例实施例所涉及到的一种面向联邦学习的终端隐私风险评估系统进行解释以及说明。具体的，参考图3所示，该面向联邦学习的终端隐私风险评估系统主要包括四个模块：终端隐私风险识别模块301、终端隐私风险分析模块302、终端偏好分析模块303以及终端隐私风险评估模块304。具体的，终端隐私风险识别模块，可以用于通过分析终端软硬件配置、联邦学习中终端参与训练所用的数据集、终端参与联邦学习的模型大小和训练轮次等信息，输出终端的隐私风险列表；终端隐私风险分析模块302，可以用于根据“终端隐私风险识别”模块发来的隐私风险列表，逐一开展风险分析；其中，具体的分析过程可以包括但不限于：分析导致这些隐私风险的攻击因素、威胁和潜在后果，并估计相应的影响程度和发生的可能性，输出隐私风险分析结果；其中，隐私风险分析结果可以包括风险影响的程度(D)和可能性(P)，其中，D和P都包括定性和定量两种分析结果；终端隐私偏好分析模块303，可以用于分析终端的隐私偏好，具体包括终端用户同意哪些隐私数据参与本次训练，以及参与训练的轮次，这些可以反映终端用户对隐私风险的主观意向；进一步的，本模块通过收集联邦学习协议中的终端用户的隐私声明信息，为每个隐私内容赋予量化权重来计算用户的隐私偏好(C)；C越大，代表终端用户对隐私数据的风险偏好越高；C越小，表示终端用户对自己隐私数据的风险偏好越低；最后，可以分析完毕将终端用户的隐私偏好结果C输出给“终端隐私风险评估”模块；终端隐私风险评估模块304，可以用于根据隐私风险影响程度(D)、可能性(P)和隐私偏好(C)，综合开展终端的隐私风险定性和定量两种分析；其中，定性分析可以获得风险水平的一般评估，揭示风险的程度档次；定量分析可以获得风险水平的精准评估，揭示风险的具体大小。

以下，结合图2以及图3对图1中所示出的终端侧的隐私风险评估方法进行进一步的解释以及说明。具体的：

在步骤S110中，获取所述终端在所述联邦机器学习中所面临的初始环境数据，并对所述初始环境数据进行分析，得到终端的隐私风险列表。

在本示例实施例中，首先，获取终端在联邦机器学习中所需要用到的初始环境数据；其中，所述初始环境数据包括所述终端在进行所述联邦机器学习时所采用的算法信息、所述终端参与所述联邦机器学习所用到的数据集、所述终端参与所述联邦机器学习的待训练模型的模型信息、所述终端参与所述联邦机器学习的信道环境信息以及终端本地已有的保护措施中的多种；所述数据集包括终端用户的身份识别信息和/或用户消费信息；所述信道环境信息包括威胁模型类型；该威胁模型类型可以包括城市的参与者、半诚实的参与者以及恶意的参与者等等；终端本地已有的保护措施，可以包括差分隐私加密技术或者同态加密技术等等。

此处需要补充说明的是，上述数据集中，不仅包括了终端用户的身份识别信息(例如姓名、身份证号码、电话号码或者银行卡号码等等)以及用户消费信息(例如信息消费信息、购物消费信息等等)，在非用户数据的场景下，还可以包括其他数据，例如图像数据、文本数据等等，本示例对此不做特殊限制；终端在进行联邦机器学习时所需要的配置信息，可以包括软件配置信息以及硬件配置信息，具体可以根据带训练模型的模型大小以及第一模型迭代次数来确定。

其次，当获取到初始环境数据以后，即可对该初始环境数据进行分析进而得到终端的隐私风险列表。具体的，可以通过如下方式实现：首先，对所述初始环境数据的类别进行识别，得到类别识别结果，并根据所述类别识别结果判断终端用户的隐私数据被泄露后，是否存在风险；若存在风险，则将该初始环境数据作为被识别的风险数据，并根据所述被识别的风险数据生成所述终端的隐私风险列表。具体的，可以基于预设的风险类别识别模型对所述初始环境数据的风险类别进行识别，得到类别识别结果，并根据所述类别识别结果判断所述初始环境数据被泄露后，是否存在风险；进一步的，若不存在风险，则对该初始环境数据进行过滤，并将所述初始环境数据中除开被过滤掉的初始环境数据以外的其他初始环境数据，作为所述被识别的风险数据。

举例而言，在通过终端隐私风险识别模块对终端软硬件配置、联邦学习中终端参与训练所用的数据集、终端参与联邦学习的模型大小和训练轮次等信息进行识别的过程中，可以利用机器学习中的隐私泄露检测模型来实现；具体的，可以将终端软硬件配置、联邦学习中终端参与训练所用的数据集、终端参与联邦学习的模型大小和训练轮次等信息依次输入至训练完成隐私泄露检测模型中，得到对应的类别识别结果；如果类别识别结果为高风险，则可以确定存在风险；若为低风险或零风险，则可以确定不存在风险；其中，所采用到的隐私泄露检测模型，可以神经网络模型，例如卷积神经网络模型、循环神经网络模型或者深度学习网络模型等等，本示例对此不做特殊限制。

进一步的，当得到被识别的风险数据以后，即可根据该被识别的风险数据生成终端的隐私风险列表。其中，被识别的风险数据可以包括但不限于联邦机器学习的算法、参与机器学习的用户数据、联邦学习中的威胁模型、终端本地隐私保护技术、模型梯度更新参数中的多种；所述参与机器学习的用户数据包括身份识别信息以及用户消费信息等等；所得到的隐私风险列表具体可以如下表1所示：

表1隐私风险识别列表

序号	已识别的风险项目
		1	参与联邦学习所用数据集包含终端用户的个人身份识别信息
2	参与联邦学习所用数据集包含终端用户的个人消费信息
		3	参与联邦学习的全模型梯度更新(模型梯度更新参数)
4	参与全轮次的训练(第一模型迭代次数)

在步骤S120中，根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果。

在本示例实施例中，当得到终端的隐私风险列表以后，即可根据终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果。具体的，可以通过如下方式实现：根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定性分析，得到与终端用户隐私信息被泄露的风险关联的第一定性分析结果，并根据所述终端的隐私风险列表对所述终端用户的隐私偏好进行定性分析，得到第二定性分析结果；和/或根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定量分析，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果，并根据终端的隐私风险列表对所述终端用户的隐私偏好进行定量分析，得到与终端用户的隐私偏好关联的第二定量分析结果。

也即，在对被识别的风险数据被泄露的风险以及终端的隐私偏好进行分析的过程中，可以从定性分析以及定量分析两个方面来实现；定性分析可以从宏观的角度来确定具体的风险以及隐私偏好，定量分析可以从客观的角度来确定具体的风险以及隐私偏好；通过从多个不同的维度进行分析，可以进一步的提高分析结果的精确度，进而达到提升隐私数据的安全性的目的。

在一种示例实施例中，参考图4所示，根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定量分析，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果，具体可以通过如下方式实现：

步骤S410，计算所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度。

在本示例实施例中，首先，根据参与联邦机器学习的用户身份识别信息中包括的第一原始特征维度以及在联邦机器学习中需要被服务器获取的第一目标特征维度，计算所述用户身份识别信息的第一泄露量；其次，根据参与联邦机器学习的用户消费信息中包括的第二原始特征维度以及在联邦机器学习中需要被服务器获取的第二目标特征维度，计算所述用户消费信息的第二泄露量；然后，根据参与联邦机器学习中设置于终端本地的模型梯度更新参数的第一参数数量以及设置于服务器端的模型梯度更新参数的第二参数数量，计算所述模型梯度更新参数的第三泄漏量；最后，根据所述第一泄漏量、第二泄露量、第三泄漏量以及所述用户身份识别信息、用户消费信息以及模型梯度更新参数所具有的第一权重值、第二权重值以及第三权重值，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度。

步骤S420，计算所述用户身份识别信息、用户消费信息、模型梯度更新参数以及第一模型迭代次数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率。

在本示例实施例中，计算所述用户身份识别信息、用户消费信息、模型梯度更新参数以及第一模型迭代次数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率的具体计算过程，可以通过如下方式实现：根据所述联邦机器学习中的威胁模型或服务器的可信程度、所述终端与所述服务器之间的通信信道的安全程度、所述联邦机器学习中被其他恶意终端进行女巫攻击的攻击概率以及所述终端的软硬件环境的脆弱程度，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率。

步骤S430，根据所述第一影响程度、第二影响程度以及第三影响程度，计算所述目标数据被泄露的目标影响程度值，并根据第一泄露概率、第二泄露概率以及第三泄露概率，计算目标数据被泄露的目标概率值。

步骤S440，根据所述目标影响程度值以及目标概率值，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果。

以下，将对步骤S410-步骤S440进行解释以及说明。具体的，由终端隐私风险分析模块根据收到的隐私风险列表开展风险分析，分析导致这些隐私风险的攻击因素和威胁，并估计相应的目标影响程度(可以通过隐私泄漏量来表征，D)和可能性(P，也即目标概率)，其中，其中，D的分析主要考虑参与训练的数据敏感程度和数据泄露量，P的分析主要参考现有终端软硬件环境的脆弱性、FML系统中是否存在恶意终端，FML的平台是否可信，FML的传输信道是否安全等。并且，D和P都包括定性和定量两种分析结果。

具体的，第一定量分析结果的具体计算方式可以如下所示：

首先，计算目标影响程度值D。其中，具体的计算过程可以如下公式(1)所示：

其中，w_i为用户身份识别信息、用户消费信息、模型梯度更新参数的权重系数，0≤w_i≤1；n的取值为3，w_im_i标识第i个已识别的风险中数据的影响程度(例如，第一影响程度、第二影响程度、第三影响程度)；其中，m_i是第i个已识别的风险中数据的泄露量，可以通过参与训练的数据集特征与服务器获取的数据集特征相互比对来计算；例如，m1为根据参与联邦机器学习的用户身份识别信息中包括的第一原始特征维度以及在联邦机器学习中需要被服务器获取的第一目标特征维度，计算得到的用户身份识别信息的第一泄露量；m2为根据参与联邦机器学习的用户消费信息中包括的第二原始特征维度以及在联邦机器学习中需要被服务器获取的第二目标特征维度，计算得到的用户消费信息的第二泄露量；m3为根据参与联邦机器学习中设置于终端本地的模型梯度更新参数的第一参数数量以及设置于服务器端的模型梯度更新参数的第二参数数量，计算得到的模型梯度更新参数的第三泄漏量；其中，各泄漏量可以是各值之间的差值、比值或者比例值等等，本示例对此不做特殊限定。

其次，计算目标概率值P。其中，具体的计算过程可以如下公式(2)所示：

其中，w_i为权重系数，0≤w_i≤1；0≤p_i≤1，p_i是第i个已识别的风险中隐私风险发生的影响因素，w_ip_i表示第i个已识别的风险中数据的泄露概率(例如，第一泄露概率、第二泄露概率、第三泄露概率)；进一步的，影响因素包括但不限于：本轮FML的服务器是否可信、终端与服务器之间的通信信道是否安全、是否存在其它恶意终端导致Sybil(女巫)攻击发生、终端软硬件环境的脆弱性以及是否已经部署了安全控制措施等。此处需要补充说明的是，在根据联邦机器学习中的服务器的可信程度、终端与服务器之间的通信信道的安全程度、联邦机器学习中被其他恶意终端进行女巫攻击的攻击概率以及终端的软硬件环境的脆弱程度，计算用户身份识别信息、用户消费信息、模型梯度更新参数发生数据泄露的第一泄露概率、第二泄露概率、第三泄露概率的过程中，其所涉及到到的可信程度、安全程度、攻击概率以及脆弱程度，可以通过相关的神经网络模型(例如，卷积神经网络模型、循环神经网络模型或者深度神经网络模型等等)进行预测得到，第一泄露概率、第二泄露概率、第三泄露概率的大小，与可信程度、安全程度、攻击概率以及脆弱程度对用户身份识别信息、用户消费信息、模型梯度更新参数的影响程度相关；具体的影响系数，可以根据实际需要自行确定，本示例对此不做特殊限制。

此处需要补充说明的是，被识别的风险数据中的联邦机器学习的算法、联邦学习中的威胁模型以及终端本地隐私保护技术，会对第一影响程度、第二影响程度、第三影响程度以及第一泄露概率、第二泄露概率、第三泄露概率产生影响，具体的影响程度可以根据实际需要自行确定，本示例对此不做特殊限定。

进一步的，可以目标影响程度值以及目标概率值，得到第一定量分析结果。其中，第一定量分析结果可以通过如下方式计算得到：

第一定量分析结果＝αD+βP。

进一步举例而言，本公开示例实施例根据终端用户的需求，设定用户身份识别信息、用户消费信息、模型梯度更新参数以及第一模型迭代次数的第一权重值、第二权重值、第三权重值分别为ω1＝0.3，ω2＝0.3，ω3＝0.4，α＝β＝0.5，本例中共有3个风险项目，n＝3，m1＝m2＝6，m3＝8；s1＝8，s2＝5，s3＝8，通过公式(1)即可计算得到D＝7.8；然后，计算目标概率值P，假设第一泄露概率p1、第二泄露概率p2、第三泄露概率p3均为3，则通过公式(2)可以计算得到P＝3。

至此，已经完成了第一定量分析结果的计算。

在一种实施例中，第一定性分析结果可以按实际需要分为多个不同级别，比如高、中、低三个级别；其中，si和mi的取值可以在[1-10]之间；其中，[0-3]为对应定性分析中的“低”级别，[4-6]对应定性分析中的“中”级别，[7-10]对应定性分析中的“高”级别。具体的，第一定性分析结果的具体情况可以参考如下表2所示：

表2隐私风险定性分析

至此，已经完成了第一定性分析结果的计算。

在一种示例实施例中，参考图5所示，根据终端的隐私风险列表对所述终端用户的隐私偏好进行定量分析，得到与终端用户的隐私偏好关联的第二定量分析结果，可以通过如下方式实现：

步骤S510，获取所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数的第一数据敏感度、第二数据敏感度以及第三数据敏感度；

步骤S520，根据所述第一数据敏感度、第二数据敏感度、第三数据敏感度以及所述用户身份识别信息、用户消费信息以及模型梯度更新参数所具有的所具有的第一权重值、第二权重值以及第三权重值，得到所述与终端用户的隐私偏好关联的第二定量分析结果。

以下，将对步骤S510-步骤S520进行解释以及说明。具体的，终端隐私偏好分析模块分析用户的隐私偏好度C。C有定性和定量两种分析结果(第二定性分析结果以及第二定量分析结果)，其中，第二定性结果反映用户的隐私偏好等级，可以按实际需要分为几档，比如高、中、低三挡。第二定量分析结果是根据终端上参与训练的数据来计算，具体计算过程可以参考如下公式(3)所示：

其中，w_i为权重系数，0≤w_i≤1；用户可以根据自身的偏好为每项隐私数据赋予权重系数；s_i是第i个已识别的风险中参与训练的数据敏感度，由数据类型决定，与用户个人身份识别和个人账户密切相关的是高敏感度数据，与用户个人行为和消费习惯相关的是中等敏感数据，其它用户信息为低敏感度数据。

进一步举例而言，本公开示例实施例中终端隐私偏好定性分析为“高”档。根据n＝3，s1＝8，s2＝5，s3＝8，ω1＝0.3，ω2＝0.3，ω3＝0.4，通过公式(3)即可计算得到第二定量分析结果C＝7.1。

在步骤S130中，根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级。

在本示例实施例中，所述第一分析结果包括第一定性分析结果和/或第一定量分析结果；所述第二分析结果包括第二定性分析结果和/或第二定量分析结果；所述第一定量分析结果包括所述目标数据被泄露的影响程度值以及概率值；所述第一定性分析结果中包括所述目标数据被泄露的影响程度的级别以及概率的级别；所述第二定性分析结果包括终端用户的隐私偏好度的级别，所述第二定量分析结果包括终端用户的隐私偏好度值；所述隐私风险等级包括定量风险等级或者定性风险等级；

其中，隐私风险等级的具体计算过程可以通过如下方式实现：根据所述第一定量分析结果中包括的目标影响程度值和目标概率值、第二分析结果中包括的终端用户的隐私偏好度值以及所述目标影响程度、目标概率、终端用户的隐私偏好度所具有的第一影响因子、第二影响因子以及第三影响因子，计算所述终端的定量风险等级；和/或根据所述目标影响程度的级别、目标概率的级别以及终端用户的隐私偏好度的级别，得到所述终端的定性风险等级。

在一种示例实施例中，若收到的D、P和C是定量分析结果，则开展定量评估；具体的，定量风险等级的计算方式可以如下公式(4)所示：

L＝αD+βP+λC； 公式(4)

其中，0≤α≤1，0≤β≤1，0≤λ≤1，α+β+λ＝1；并且，L数值越大表明终端的隐私风险越高；进一步的，根据收到的定量分析结果，D＝7,P＝3，C＝7.25，并设定α＝0.3，β＝0.3，λ＝0.4，根据公式L＝αD+βP+λC，计算得到L＝0.3*7.8+0.3*3+0.4*7.1＝2.34+0.9+2.84＝6.08。

在一种示例实施例中，根据所述目标影响程度的级别、目标概率的级别以及终端用户的隐私偏好度的级别，得到所述终端的定性风险等级，具体可以通过如下方式实现：一种情况是，若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意两个参数及以上的级别为高级别，其余为中级别，则该定性风险等级的评估结果为高风险；另一种情况是，若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意两个参数及以上的级别为高级别，其余为低级别，则该定性风险等级的评估结果为中风险；再一种情况是，若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意一个参数的级别为高级别，其余为低级别，则该定性风险等级的评估结果为中风险；还有一种情况是，若目标影响程度、目标概率以及终端用户的隐私偏好度中有一个参数的级别为高级别，一个参数的级别为中级别，一个参数的级别为低级别，则该定性风险等级的评估结果为中风险；进一步的，若目标影响程度、目标概率以及终端用户的隐私偏好度中所有参数的级别均为中级别，则该定性风险等级的评估结果为中风险；更进一步的，若目标影响程度、目标概率以及终端用户的隐私偏好度中，没有高级别，有且仅有一个低级别，则该定性风险等级的评估结果为中风险；最后，若目标影响程度、目标概率以及终端用户的隐私偏好度中，没有高级别，且不止一个低级别，则该定性风险等级的评估结果为低风险。也即，若收到的D、P和C是定性分析结果，则开展定性评估：若D、P、C中有两个及以上为高，其余为中，则评估结果为高；若D、P、C中有两个及以上为高，其余为低，则评估结果为中；若D、P、C中只有一个为高，其余都为中，则评估结果为中；若D、P、C中只有一个为高，一个为中，一个为低，则评估结果为中；若D、P、C中有没有高，且没有低，则评估结果也为中；若D、P、C中没有高，且只有一个低，则评估结果为中；若D、P、C中没有高，且不止一个为低，则评估结果为低。譬如，在收到的定性分析结果中，D为“高”，P为“低”，C为“高”，综合评估结果为“中”。

进一步的，当得到隐私风险等级以后，即可根据所述隐私风险等级确定所述终端是否参与所述联邦机器学习。具体的，可以通过如下方式实现：根据所述定量风险等级是否大于第一预设阈值，和/或所述定性风险等级的风险级别是否高于预设级别，确定所述终端是否参与所述联邦机器学习；其中，若所述定量风险等级大于第一预设阈值，和/或所述定性风险等级的风险级别高于预设级别，则确定所述终端不参与所述联邦机器学习；若所述定量风险等级小于第一预设阈值，且所述定性风险等级的风险级别低于预设级别，则确定所述终端参与所述联邦机器学习。

此处需要补充说明的是，在确定终端是否参与联邦机器学习的过程中，也可以根据实际情况，确定是否需要参加联邦机器学习；例如，在评估结果为中的情况下，可以根据该评估结果中所包括的各项风险的具体等级来确定是否参加，本示例对此不做特殊限制。

以下，将结合图6对本公开示例实施例终端侧的隐私风险评估方法进行进一步的解释以及说明。具体的，参考图6所示，该终端侧的隐私风险评估方法可以包括以下步骤：

步骤S601，分析终端软硬件配置、联邦学习中终端参与训练所用的数据集、终端参与联邦学习的模型大小和训练轮次等信息，向终端隐私分析模块输出终端的隐私风险列表；

步骤S602，根据收到的隐私风险列表开展风险分析，分析导致这些隐私风险的攻击因素和威胁，并估计相应的影响程度；

步骤S603，分析终端用户的隐私偏好度；

步骤S604，根据影响程度以及隐私偏好度评估终端的隐私风险等级；

步骤S605，根据隐私风险评估结果判断是否需要参加联邦机器学习；若参加，则执行联邦机器学习流程；若不参加，则结束。

进一步的，参考图7以及图8所示，联邦机器学习的流程具体可以包括以下步骤：

步骤S701，服务器端对待训练模型(801)进行初始化，得到第一模型参数；

步骤S702，服务器将该第一模型参数发送至各终端；

步骤S703，终端根据该第一模型参数以及数据集，利用梯度下降法对设置在本地的待训练模型(802)进行训练，得到第二模型参数；

步骤S704，终端将第二模型参数发送至服务器；

步骤S705，服务器根据第二模型参数计算第三模型参数；

步骤S706，服务器将第三模型参数发送至终端；

步骤S707，终端根据第三模型参数对第二模型参数进行更新，得到训练完成的模型。

基于上述记载的内容可以得知，本公开示例实施例所记载的终端侧的隐私风险评估方法，不同于传统的针对终端权限控制的隐私风险评估方法，本方案专门针对参与联邦学习的终端，可以针对终端参与FML训练的模型和训练数据集的不同开展精准评估；并且，对终端隐私风险的评估提供定性和定量两种评估方式；进一步的，在评估中引入用户个性化隐私偏好，依据FML中不同的训练数据集来量化用户的隐私偏好，形成个性化的隐私风险评估结果；同时，每次终端参与联邦学习，都可依据本系统方法开展终端隐私风险评估，为用户是否选择加入FML提供实时决策依据。

本公开示例实施例还提供了一种终端侧的隐私风险评估装置，配置于联邦机器学习中的终端。参考图9所示，该终端侧的隐私风险评估装置可以包括数据获取模块910、数据分析模块920以及风险等级计算模块930。其中：

数据获取模块910，可以用于获取所述终端在所述联邦机器学习中所面临的初始环境数据，并对所述初始环境数据进行分析，得到终端的隐私风险列表；

数据分析模块920，可以用于根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果；

风险等级计算模块930，可以用于根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级。

在本公开的一种示例性实施例中，对所述初始环境数据进行分析，得到终端的隐私风险列表，包括：

对所述初始环境数据的类别进行识别，得到类别识别结果，并根据所述类别识别结果判断终端用户的隐私数据被泄露后，是否存在风险；

若存在风险，则将该初始环境数据作为被识别的风险数据，并根据所述被识别的风险数据生成所述终端的隐私风险列表。

在本公开的一种示例性实施例中，所述初始环境数据包括所述终端在进行所述联邦机器学习时所采用的算法信息、所述终端参与所述联邦机器学习所用到的数据集、所述终端参与所述联邦机器学习的待训练模型的模型信息、所述终端参与所述联邦机器学习的信道环境信息以及终端本地已有的保护措施中的多种；

所述数据集包括终端用户的身份识别信息和/或用户消费信息；

所述信道环境信息包括威胁模型类型；

所述被识别的风险数据包括但不限于联邦机器学习的算法、参与机器学习的用户数据、联邦学习中的威胁模型、终端本地隐私保护技术、模型梯度更新参数中的多种；所述参与机器学习的用户数据包括身份识别信息以及用户消费信息。

在本公开的一种示例性实施例中，根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果，包括：

根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定性分析，得到与终端用户隐私信息被泄露的风险关联的第一定性分析结果，并根据所述终端的隐私风险列表对所述终端用户的隐私偏好进行定性分析，得到第二定性分析结果；和/或

根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定量分析，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果，并根据终端的隐私风险列表对所述终端用户的隐私偏好进行定量分析，得到与终端用户的隐私偏好关联的第二定量分析结果。

在本公开的一种示例性实施例中，根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定量分析，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果，包括：

计算所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度；

计算所述用户身份识别信息、用户消费信息、模型梯度更新参数以及第一模型迭代次数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率；

根据所述第一影响程度、第二影响程度以及第三影响程度，计算所述目标数据被泄露的目标影响程度值，并根据第一泄露概率、第二泄露概率以及第三泄露概率，计算目标数据被泄露的目标概率值；

根据所述目标影响程度值以及目标概率值，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果。

在本公开的一种示例性实施例中，计算所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度，包括：

根据参与联邦机器学习的用户身份识别信息中包括的第一原始特征维度以及在联邦机器学习中需要被服务器获取的第一目标特征维度，计算所述用户身份识别信息的第一泄露量；

根据参与联邦机器学习的用户消费信息中包括的第二原始特征维度以及在联邦机器学习中需要被服务器获取的第二目标特征维度，计算所述用户消费信息的第二泄露量；

根据参与联邦机器学习中设置于终端本地的模型梯度更新参数的第一参数数量以及设置于服务器端的模型梯度更新参数的第二参数数量，计算所述模型梯度更新参数的第三泄漏量；

根据所述第一泄漏量、第二泄露量、第三泄漏量以及所述用户身份识别信息、用户消费信息以及模型梯度更新参数所具有的第一权重值、第二权重值以及第三权重值，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度。

在本公开的一种示例性实施例中，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率，包括：

根据所述联邦机器学习中的威胁模型或服务器的可信程度、所述终端与所述服务器之间的通信信道的安全程度、所述联邦机器学习中被其他恶意终端进行女巫攻击的攻击概率以及所述终端的软硬件环境的脆弱程度，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率。

在本公开的一种示例性实施例中，根据终端的隐私风险列表对所述终端用户的隐私偏好进行定量分析，得到与终端用户的隐私偏好关联的第二定量分析结果，包括：

获取所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数的第一数据敏感度、第二数据敏感度以及第三数据敏感度；

根据所述第一数据敏感度、第二数据敏感度、第三数据敏感度以及所述用户身份识别信息、用户消费信息以及模型梯度更新参数所具有的所具有的第一权重值、第二权重值以及第三权重值，得到所述与终端用户的隐私偏好关联的第二定量分析结果。

在本公开的一种示例性实施例中，所述第一分析结果包括第一定性分析结果和/或第一定量分析结果；所述第二分析结果包括第二定性分析结果和/或第二定量分析结果；

所述第一定量分析结果包括所述目标数据被泄露的影响程度值以及概率值；所述第一定性分析结果中包括所述目标数据被泄露的影响程度的级别以及概率的级别；

所述第二定性分析结果包括终端用户的隐私偏好度的级别，所述第二定量分析结果包括终端用户的隐私偏好度值；

所述隐私风险等级包括定量风险等级或者定性风险等级；

其中，根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级，包括：

根据所述第一定量分析结果中包括的目标影响程度值和目标概率值、第二分析结果中包括的终端用户的隐私偏好度值以及所述目标影响程度、目标概率、终端用户的隐私偏好度所具有的第一影响因子、第二影响因子以及第三影响因子，计算所述终端的定量风险等级；和/或

根据所述目标影响程度的级别、目标概率的级别以及终端用户的隐私偏好度的级别，得到所述终端的定性风险等级。

在本公开的一种示例性实施例中，根据所述目标影响程度的级别、目标概率的级别以及终端用户的隐私偏好度的级别，得到所述终端的定性风险等级，包括：

若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意两个参数及以上的级别为高级别，其余为中级别，则该定性风险等级的评估结果为高风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意两个参数及以上的级别为高级别，其余为低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意一个参数的级别为高级别，其余为低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中有一个参数的级别为高级别，一个参数的级别为中级别，一个参数的级别为低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中所有参数的级别均为中级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中，没有高级别，有且仅有一个低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中，没有高级别，且不止一个低级别，则该定性风险等级的评估结果为低风险。

上述终端侧的隐私风险评估装置中各模块的具体细节已经在对应的终端侧的隐私风险评估方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图10来描述根据本公开的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030以及显示单元1040。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元1010可以执行如图1中所示的步骤S110：获取所述终端在所述联邦机器学习中所面临的初始环境数据，并对所述初始环境数据进行分析，得到终端的隐私风险列表；步骤S120：根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果；步骤S130：根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(ROM)10203。

存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (13)

1.一种终端侧的隐私风险评估方法，其特征在于，配置于联邦机器学习中的终端，所述终端侧的隐私风险评估方法包括：

获取所述终端在所述联邦机器学习中所面临的初始环境数据，并对所述初始环境数据进行分析，得到终端的隐私风险列表；

根据所述终端的隐私风险列表对终端面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果；

根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级。

2.根据权利要求1所述的终端侧的隐私风险评估方法，其特征在于，对所述初始环境数据进行分析，得到终端的隐私风险列表，包括：

对所述初始环境数据的类别进行识别，得到类别识别结果，并根据所述类别识别结果判断终端用户的隐私数据被泄露后，是否存在风险；

若存在风险，则将该初始环境数据作为被识别的风险数据，并根据所述被识别的风险数据生成所述终端的隐私风险列表。

3.根据权利要求1或2所述的终端侧的隐私风险评估方法，其特征在于，所述初始环境数据包括所述终端在进行所述联邦机器学习时所采用的算法信息、所述终端参与所述联邦机器学习所用到的数据集、所述终端参与所述联邦机器学习的待训练模型的模型信息、所述终端参与所述联邦机器学习的信道环境信息以及终端本地已有的保护措施中的多种；

所述数据集包括终端用户的身份识别信息和/或用户消费信息；

所述信道环境信息包括威胁模型类型；

所述被识别的风险数据包括但不限于联邦机器学习的算法、参与机器学习的用户数据、联邦学习中的威胁模型、终端本地隐私保护技术、模型梯度更新参数中的多种；所述参与机器学习的用户数据包括身份识别信息以及用户消费信息。

4.根据权利要求3所述的终端侧的隐私风险评估方法，其特征在于，根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果，包括：

根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定性分析，得到与终端用户隐私信息被泄露的风险关联的第一定性分析结果，并根据所述终端的隐私风险列表对所述终端用户的隐私偏好进行定性分析，得到第二定性分析结果；和/或

根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定量分析，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果，并根据终端的隐私风险列表对所述终端用户的隐私偏好进行定量分析，得到与终端用户的隐私偏好关联的第二定量分析结果。

5.根据权利要求4所述的终端侧的隐私风险评估方法，其特征在于，根据所述终端的隐私风险列表对所述被识别的风险数据被泄露的风险进行定量分析，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果，包括：

计算所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度；

计算所述用户身份识别信息、用户消费信息、模型梯度更新参数以及第一模型迭代次数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率；

根据所述第一影响程度、第二影响程度以及第三影响程度，计算所述目标数据被泄露的目标影响程度值，并根据第一泄露概率、第二泄露概率以及第三泄露概率，计算目标数据被泄露的目标概率值；

根据所述目标影响程度值以及目标概率值，得到与终端用户隐私信息被泄露的风险关联的第一定量分析结果。

6.根据权利要求5所述的终端侧的隐私风险评估方法，其特征在于，计算所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度，包括：

根据参与联邦机器学习的用户身份识别信息中包括的第一原始特征维度以及在联邦机器学习中需要被服务器获取的第一目标特征维度，计算所述用户身份识别信息的第一泄露量；

根据参与联邦机器学习的用户消费信息中包括的第二原始特征维度以及在联邦机器学习中需要被服务器获取的第二目标特征维度，计算所述用户消费信息的第二泄露量；

根据参与联邦机器学习中设置于终端本地的模型梯度更新参数的第一参数数量以及设置于服务器端的模型梯度更新参数的第二参数数量，计算所述模型梯度更新参数的第三泄漏量；

根据所述第一泄漏量、第二泄露量、第三泄漏量以及所述用户身份识别信息、用户消费信息以及模型梯度更新参数所具有的第一权重值、第二权重值以及第三权重值，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露后的第一影响程度、第二影响程度以及第三影响程度。

7.根据权利要求5所述的终端侧的隐私风险评估方法，其特征在于，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率，包括：

根据所述联邦机器学习中的威胁模型或服务器的可信程度、所述终端与所述服务器之间的通信信道的安全程度、所述联邦机器学习中被其他恶意终端进行女巫攻击的攻击概率以及所述终端的软硬件环境的脆弱程度，计算所述用户身份识别信息、用户消费信息以及模型梯度更新参数发生数据泄露的第一泄露概率、第二泄露概率以及第三泄露概率。

8.根据权利要求4所述的终端侧的隐私风险评估方法，其特征在于，根据终端的隐私风险列表对所述终端用户的隐私偏好进行定量分析，得到与终端用户的隐私偏好关联的第二定量分析结果，包括：

获取所述终端的隐私风险列表中包括的用户身份识别信息、用户消费信息以及模型梯度更新参数的第一数据敏感度、第二数据敏感度以及第三数据敏感度；

根据所述第一数据敏感度、第二数据敏感度、第三数据敏感度以及所述用户身份识别信息、用户消费信息以及模型梯度更新参数所具有的所具有的第一权重值、第二权重值以及第三权重值，得到所述与终端用户的隐私偏好关联的第二定量分析结果。

9.根据权利要求1所述的终端侧的隐私风险评估方法，其特征在于，所述第一分析结果包括第一定性分析结果和/或第一定量分析结果；所述第二分析结果包括第二定性分析结果和/或第二定量分析结果；

所述第一定量分析结果包括所述目标数据被泄露的影响程度值以及概率值；所述第一定性分析结果中包括所述目标数据被泄露的影响程度的级别以及概率的级别；

所述第二定性分析结果包括终端用户的隐私偏好度的级别，所述第二定量分析结果包括终端用户的隐私偏好度值；

所述隐私风险等级包括定量风险等级或者定性风险等级；

其中，根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级，包括：

根据所述第一定量分析结果中包括的目标影响程度值和目标概率值、第二分析结果中包括的终端用户的隐私偏好度值以及所述目标影响程度、目标概率、终端用户的隐私偏好度所具有的第一影响因子、第二影响因子以及第三影响因子，计算所述终端的定量风险等级；和/或

根据所述目标影响程度的级别、目标概率的级别以及终端用户的隐私偏好度的级别，得到所述终端的定性风险等级。

10.根据权利要求9所述的终端侧的隐私风险评估方法，其特征在于，根据所述目标影响程度的级别、目标概率的级别以及终端用户的隐私偏好度的级别，得到所述终端的定性风险等级，包括：

若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意两个参数及以上的级别为高级别，其余为中级别，则该定性风险等级的评估结果为高风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意两个参数及以上的级别为高级别，其余为低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中有任意一个参数的级别为高级别，其余为低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中有一个参数的级别为高级别，一个参数的级别为中级别，一个参数的级别为低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中所有参数的级别均为中级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中，没有高级别，有且仅有一个低级别，则该定性风险等级的评估结果为中风险；

若目标影响程度、目标概率以及终端用户的隐私偏好度中，没有高级别，且不止一个低级别，则该定性风险等级的评估结果为低风险。

11.一种终端侧的隐私风险评估装置，其特征在于，配置于联邦机器学习中的终端，所述终端侧的隐私风险评估装置包括：

数据获取模块，用于获取所述终端在所述联邦机器学习中所面临的初始环境数据，并对所述初始环境数据进行分析，得到终端的隐私风险列表；

数据分析模块，用于根据所述终端的隐私风险列表对终端用户面临的隐私风险进行分析，得到与终端用户隐私信息被泄露的风险关联的第一分析结果以及与终端用户的隐私偏好关联的第二分析结果；

风险等级计算模块，用于根据所述第一分析结果以及第二分析结果评估所述终端的隐私风险等级。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任一项所述的终端侧的隐私风险评估方法。

13.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-10任一项所述的终端侧的隐私风险评估方法。