CN116822647B - 一种基于联邦学习的模型解释方法 - Google Patents

Abstract

本发明公开了一种基于联邦学习的模型解释方法，属于人工智能视觉技术领域；本发明提出一种基于联邦学习的模型解释方法，在联邦学习环境下，数据仅保留在本地，保护数据隐私；同时本发明使用人们可以理解的概念来解释联邦学习模型的分类结果。客户端与服务器之间传输的是通过训练得到的每个类别中不同概念的得分，这只显示了不同概念对类别的重要性，并没有泄漏每个客户的数据，加强了隐私保护。

Description

一种基于联邦学习的模型解释方法

技术领域

本发明涉及人工智能视觉技术领域，具体涉及一种基于联邦学习的模型解释方法。

背景技术

传统的机器学习需要由服务商收集用户的数据后集中训练，但是用户的数据与用户个体紧密相关，可能直接包含敏感信息，也可能间接携带隐含的敏感信息。随着隐私问题受到的关注程度日益提高，用户分享数据的意愿越来越低。联邦学习(FL)是一种由多个数据持有方协同训练模型而不分享数据，仅在中间阶段交换训练参数的学习机制。在联邦机制下，各参与者的身份和地位相同，可建立共享数据策略。由于数据不发生转移，因此不会泄露用户隐私或影响数据规范。联邦学习使具有足够计算能力的边缘设备或服务器能够协作学习共享机器学习模型，同时将所有训练数据保存在本地设备上，将进行机器学习的能力与将数据集中存储在单个服务器或云中的需求分离。尽管使用联邦设置的深度学习可以解决数据可用性和隐私性问题，但深度学习中存在可解释性问题。在应用方面受到许多制约。例如DNN模型，就如同一个黑盒，给予一个输入，得到一个决策结果，但是我们无法确切地知道它背后的决策依据以及它做出的决策是否可靠。可解释性的缺乏，将有可能给实际任务中，尤其是安全敏感任务中的许多基于DNN的应用带来严重的威胁。比如说，缺乏可解释性的自动医疗诊断模型可能给患者带来错误的治疗方案，甚至严重威胁患者的生命安全。在联邦学习中引入解释是很有必要的。在解决机器学习问题时，人们通常倾向于注意模型性能指标，如准确性、精确度等。但是，随着时间的推移，由于环境中各种因素影响，性能可能会发生变化。因此，了解什么促使模型作出某些决定是极为重要的。可视化方法通过科学可视化突出显示强烈影响DNN输出的输入特征来表达解释。

可解释的人工智能(XAI)让人类理解和阐明人工智能系统是如何做出决定的。XAI是一组流程和方法，允许人类用户理解和信任机器学习算法创建的结果和输出。为了解决深度学习模型中的可解释性问题，研究者们提出了不同的解决方案。例如，一种称为梯度加权类激活映射(Grad-CAM)的方法来可视化对预测很重要的输入区域。从这些值中，我们可以了解机器学习模型在进行预测时关注的确切位置，从而了解原因。这种类型的解释通过突出显示图像中的一些区域作为热图，成功地提供了图像和模型决策之间的关系。然而，这种关系的解释仍然是开放的，可能需要专业知识。可解释性的另一个进步是基于概念的框架，其灵感来自于人类学习新概念的能力，通过找到更细粒度的概念，以不同的方式重用它们，以更好地识别目标。这个框架没有给出每像素的重要性分数作为解释，而是提供了图像和由概念中介的决策之间的更高层次的关系。对决策的解释是寻找一些人类可以理解的概念，这些概念可能在任务中的不同目标类之间共享。

尽管联邦学习避免了将数据直接暴露给第三方，对于数据隐私有天然的保护作用，但是其中依然存在大量隐私泄露的风险。首先，联邦学习需要交换中间参数协同训练。可能泄露隐私。与集中式学习不同，联邦学习训练过程需要交换大量中间参数，其所携带原始数据会暴露在所有参与训练的角色面前，带来泄露的风险。例如，已有研究表明，可以通过梯度还原部分原始数据，或根据中间参数推断掌握的记录内容是否来自某个特定参与者。其次，不可靠的参与方加剧了隐私泄露的风险。联邦学习中，各个参与方由于地理、设备等条件不同，通信内容的有效性和身份的真实性都难以确认，因此一旦出现不可靠的参与方攻击，极易泄露隐私。例如，半诚实的参与方能够根据合法获取的中间参数推断出其他参与方的标签或数据；而恶意的参与方更进一步，能够通过上传精心设计的有害信息诱导其他参与方暴露更多自身数据，或者不遵守隐私协议进而影响全局的隐私性。此外，训练完成的模型也面临着隐私泄露的风险。即便联邦学习的过程中参数没有泄露，直接发布训练所得的模型依然存在极大风险。这种风险来自机器学习自身的脆弱性。在训练中，模型提高准确性依赖于对数据样本的规律挖掘。但是研究者注意到，追求模型在训练样本上的准确度，可能导致模型的参数乃至结构“记住”训练样本的细节，使得模型携带训练集的敏感信息。根据这一特性，攻击者可以通过反复查询模型的预测接口来推测某条记录是否存在于训练集、推测模型的具体参数，而根据模型发布的参数能够进一步推测训练集成员或训练集具体样本。

为了解决上述问题，本发明提出一种基于联邦学习的模型解释方法。

发明内容

本发明的目的在于提供一种基于联邦学习的模型解释方法以解决背景技术中所提出的问题。

为了实现上述目的，本发明采用了如下技术方案：

联邦概念学习的训练方案包括有若干个客户端和一个服务器组成，所述客户端包括本地数据集和瓶颈概念学习器，基于此，本发明提出：

一种基于联邦学习的模型解释方法，通过在多个拥有本地数据的客户端之间进行模型训练，在不需要交换本地数据的前提下，仅通过在服务器端聚合概念和类别的共现分数构建全局模型，所述方法具体包括以下内容：

S1、客户端使用本地数据集和瓶颈概念学习器训练得到概念，利用概念计算得出该客户端的概念和类别的共现分数；

S2、将S1中得到的共现分数上传至服务器，服务器端对接收到的分数信息进行处理，得到改进后的分数矩阵；

S3、基于S2中所得的分数矩阵，使用FedAvg()算法聚合分数信息，得到更新的共现分数；

S4、将S3中所得的更新的共现分数发送给客户端，更新本地模型；

S5、重复S1～S4，直至获得理想模型。

优选地，所述S1具体包括以下内容：

S1.1、定义每个客户的数据集D_i，D_i＝{(x_j，y_j)丨j＝1，2，……}，其中，x_j表示图像，y_j表示与x_j关联的目标类标签；瓶颈概念学习器使用y_j作为弱监督来学习一组概念；

S1.2、对于图像，使用主干卷积神经网络提取特征映射；

S1.3、将S1.2中所得的特征映射输入给概念学习器，在概念学习器上，对特征映射进行重构，将空间维度平面化；同时在特征映射中加入位置嵌入以保留空间信息；

S1.4、假设概念原型矩阵为W，其中，矩阵的列向量为待学习的概念原型；将W与S1.3中加入有位置嵌入的特征映射进行非线性变换，然后对非线性变换的结果进行点乘得到A’，其中，A为注意力，表示若干个概念出现在图像中的位置；所述A通过归一化函数计算得出，式中，/>表示归一化函数；

S1.5、所述注意力A通过降低空间维度产生一个概念激活，用于表示每个概念的存在，所述概念激活作为分类器的输入以计算分数，其中，所述分类器为一个无偏差项的全连接层；

S1.6、训练S1.5中所述分类器，找到每个概念和类的共现分数。

优选地，所述S2具体包括以下内容：

S2.1、将客户端通过训练得到的共现分数上传至服务器，服务器端对上传的分数信息进行汇总，假设恶意客户端的数量占总客户端数的比例低于20％，所述恶意客户端指具有改变概念和类别的共现分数，导致模型被训练成错误对应关系功能的客户端；

S2.2、服务器端获取若干个客户端上传的分数形成分数矩阵，对于若干个类别和概念的共现分数，按比例删除最高和最低分数，减少恶意客户端的影响，进而得到改进后的分数矩阵。

与现有技术相比，本发明提供了一种基于联邦学习的模型解释方法，具备以下有益效果：

本发明提出一种基于联邦学习的模型解释方法，在联邦学习环境下，数据仅保留在本地，保护数据隐私；同时本发明使用人们可以理解的概念来解释联邦学习模型的分类结果。客户端与服务器之前传输的是通过训练得到的每个类别中不同概念的得分，这只显示了不同概念对类别的重要性，并没有泄漏每个客户的数据，加强了隐私保护。

附图说明

图1为本发明提出的一种基于联邦学习的模型解释方法的流程图；

图2为本发明实施例2中手写图像数字识别数据集可视化结果示意图；

图3为本发明实施例2中自然图像数据集可视化结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

请参阅图1，联邦概念学习的训练方案由多个客户端和一个服务器组成。客户端包含本地数据集和一个瓶颈概念学习器。客户端C_i使用本地数据D_i和瓶颈概念学习器训练得到概念，并将共现分数Z上传至服务器。服务器通过操作M和FedAvg()对分数进行汇总，得到更新的分数Z′，然后将更新的分数Z′发送给客户端，以更新本地模型，并重复上述步骤，直到得到理想模型，本发明提出一种基于联邦学习的模型解释方法，通过在多个拥有本地数据的客户端之间进行模型训练，在不需要交换本地数据的前提下，仅通过在服务器端聚合概念和类别的共现分数构建全局模型，具体包括如下内容：

定义N个客户端，每个客户端保存自己的数据。设置类别数量为w，概念数量为k。设Z为可学习矩阵。

首先服务器将初始化的共现分数Z^co发送给客户端。

在客户端上，我们进行概念获取。对于每个客户端C_i拥有的数据集D_i，D_i＝{(x_j,y_j)|j＝1,2,...}，其中x_j是图像，y_j是与x_j关联的目标类标签，瓶颈概念学习器使用y_j作为弱监督来学习一组k个概念。对于新图像x，我们使用主干卷积神经网络Φ提取特征映射F＝Φ(x)。然后将F输入给概念学习器。在概念学习器上，我们通过重构特征映射F得到F*，将空间维度平面化。为了保留空间信息，我们在特征映射F中加入位置嵌入P得到F'。设概念原型矩阵W，其中每个列向量为待学习的概念原型。取W和F'的非线性变换，然后对非线性变换的结果进行点乘得到A’。注意力A表示k个概念出现在图像中的位置。A是用归一化函数给出的。注意力A通过降低空间维度产生一个概念激活t,t＝

tanh(A1_l)，概念激活t表示每个概念的存在。t中的概念激活被用作分类器f的输入来计算分数Z。我们使用一个没有偏差项的全连接层作为分类器。训练这个简单的分类器可以被解释为找到每个概念和类的共现分。即Z的元素z_wk对应于类w和概念k，当w和k多次共现时，元素z_wk为正值，否则为负值。

得到客户端C_i的共现分数Zⁱ后，我们将分数上传给服务器。服务器端汇总由客户端上传的分数信息Z¹，…Zⁿ，出于隐私目的，我们假设不超过20％的恶意客户端存在。恶意客户端可以改变概念和类别的共现分数，导致模型被训练成错误的对应关系。例如，对于类w₁，概念k₁和k₃得分较高，说明k₁和k₃在分类中起着至关重要的作用，而恶意客户端会降低k₁和k₃对类w₁的共现分数，使图像得到错误的类标签。在服务器端，服务器获取n个客户端上传的分数矩阵得到H，对于n个类别和概念的共现分数，我们将按比例删除最高和最低分数，以确保减少恶意客户端的影响。得到改进后的分数矩阵H’后，使用FedAvg()算法用于聚合分数信息得到更新后的分数Z’，然后将共现分数再传递给每个客户端用来更新本地模型，重复上述步骤，直到得到理想的模型。客户端使用每个概念和类的共现得分来执行分类任务。

本发明受“中央高校基本科研业务费专项资金资助3132023264”，本发明对内容中涉及的数据采集以及处理阶段的隐私保护有重要意义；下面结合具体附图及具体实例对本发明所提出的基于联邦学习的模型解释方法的分类性能和可解释性进行说明，具体包括下列内容。

实施例1：

分类性能：

1)在Mnist数据集上:

将本发明提出的方法FCL与其他联邦学习方法进行比较，准确率如表1：

表1

	FCL	FL	Flower
				准确率	95.12	94.93	97.55

可以看到本发明提出的方法与其他联邦学习方法相比获得较好的分类效果。说明本发明所提出的方法能够构建一个有竞争力的联邦学习模型。

将FCL与集中式概念学习方法BotCL进行比较，比较结果如表2：

表2

	FCL	BotCL
			准确率	95.12	97.82

通过结果我们可以观察到，联邦学习的准确率与集中式相比稍低。因为数据集没有集中存放，而是存储在客户端本地，不同客户端拥有的数据是不同的。在联邦学习环境下，性能会受到数据集的影响而降低。所以在分类性能上，本发明的模型性能是可以接受的。

2)在CUB200数据集上：

在BotCL和FCL进行比较，对于不同数量的类别，准确率如表3所示：

表3

通过结果观察到，对于小型或中小型数据集，联邦学习获得了和集中式差不多的性能。

由于本发明假定存在恶意客户端，所以在服务器端聚合分数信息时按比例去除了相应比例的最高分和最低分，在5个客户端和8个客户端上进行比较，准确率结果如表4：

表4

通过结果可以观察到去除掉相应比例的最高分和最低分并不会影响到模型的性能，但是能够减轻恶意客户端对模型分类性能的影响。

实施例2：

可解释性：

1)在Mnist数据集上：

对于手写图像数字识别数据集，图像通常是黑色和白色的，只有笔画形成的形状是重要的。在这种情况下，概念不太可能在空间上互相重叠。

可视化结果如图2所示：以数字1为例，概念5位于图像的中下部，其注意力在垂直笔画中，这是人们可以理解的。但是有的与人类不能完全理解，例如，概念8可能会处理在下半部分完成一个半圆的笔画，我们认为它们可以帮助模型理解和区分数字。

2)在CUB200数据集上：

在自然图像数据集上，由于自然图像有颜色，纹理和形状等，因此概念可能会在同一空间位置上重叠。

对于不同数量的类别，概念数量也不同，部分可视化结果如图3所示：不同的概念关注鸟的不同的身体部位。例如，概念1显示了模型学习到绿色的鸟的翅膀，概念5关注红色的鸟的头部，这证明模型可以从自然图像中学习到有效的概念。为模型提供了解释性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于联邦学习的模型解释方法，其特征在于，通过在多个拥有本地数据的客户端之间进行模型训练，在不需要交换本地数据的前提下，仅通过在服务器端聚合概念和类别的共现分数构建全局模型，所述方法具体包括以下内容：

S1、客户端使用本地数据集和瓶颈概念学习器训练得到概念，利用概念计算得出该客户端的概念和类别的共现分数；具体包括以下内容：

S1.1、定义每个客户的数据集D_i，D_i={(x_j，y_j)丨j=1，2，……}，其中，x_j表示图像，y_j表示与x_j关联的目标类标签；瓶颈概念学习器使用y_j作为弱监督来学习一组概念；

S1.2、对于图像，使用主干卷积神经网络提取特征映射；

S1.3、将S1.2中所得的特征映射输入给概念学习器，在概念学习器上，对特征映射进行重构，将空间维度平面化；同时在特征映射中加入位置嵌入以保留空间信息；

S1.4、假设概念原型矩阵为W，其中，矩阵的列向量为待学习的概念原型；将W与S1.3中加入有位置嵌入的特征映射进行非线性变换，然后对非线性变换的结果进行点乘得到A’，其中，A为注意力，表示若干个概念出现在图像中的位置；所述A通过归一化函数A=φ（A’）计算得出，式中，φ表示归一化函数；

S1.5、所述注意力A通过降低空间维度产生一个概念激活，用于表示每个概念的存在，所述概念激活作为分类器的输入以计算分数，其中，所述分类器为一个无偏差项的全连接层；

S1.6、训练S1.5中所述分类器，找到每个概念和类的共现分数；

S2、将S1中得到的共现分数上传至服务器，服务器端对接收到的分数信息进行处理，得到改进后的分数矩阵；

S3、基于S2中所得的分数矩阵，使用FedAvg( )算法聚合分数信息，得到更新的共现分数；

S4、将S3中所得的更新的共现分数发送给客户端，更新本地模型；

S5、重复S1～S4，直至获得理想模型。

2.根据权利要求1所述的一种基于联邦学习的模型解释方法，其特征在于，所述S2具体包括以下内容：

S2.1、将客户端通过训练得到的共现分数上传至服务器，服务器端对上传的分数信息进行汇总，假设恶意客户端的数量占总客户端数的比例低于20%，所述恶意客户端指具有改变概念和类别的共现分数，导致模型被训练成错误对应关系功能的客户端；

S2.2、服务器端获取若干个客户端上传的分数形成分数矩阵，对于若干个类别和概念的共现分数，按比例删除最高和最低分数，减少恶意客户端的影响，进而得到改进后的分数矩阵。