CN115630361A

CN115630361A - 一种基于注意力蒸馏的联邦学习后门防御方法

Info

Publication number: CN115630361A
Application number: CN202211135741.1A
Authority: CN
Inventors: 朱诚诚; 张佳乐; 陈玮彤; 成翔; 孙小兵
Original assignee: Yangzhou University
Current assignee: Yangzhou University
Priority date: 2022-09-19
Filing date: 2022-09-19
Publication date: 2023-01-20

Abstract

本发明公开了一种基于注意力蒸馏的联邦学习后门防御方法，包括：步骤1：获取n个本地模型，将n个本地模型的模型参数进行平均聚合，并将平均聚合后的模型参数对联邦学习当前轮次的全局模型进行更新，得到聚合后的全局模型；步骤2：以n个本地模型作为教师模型，以聚合后的全局模型作为学生模型，以标记后的数据集作为输入，进行多教师注意力知识蒸馏，得到蒸馏后的学生模型；步骤3：将蒸馏后的学生模型作为联邦学习下一轮次的全局模型下发给n个参与方，得到n个本地模型；步骤4：重复执行步骤1至步骤3，直至全局模型收敛，得到最终的全局模型；步骤5：将待分类数据输入至最终的全局模型，得到分类结果。

Description

一种基于注意力蒸馏的联邦学习后门防御方法

技术领域

本发明属于人工智能安全领域，具体为一种基于注意力蒸馏的联邦学习后门防御方法。

背景技术

近年来，随着物联网、边缘计算、5G等技术的不断发展及用户终端数量的爆炸式增长，传统云计算架构下的集中式机器学习模型由于其高延时、高并发、弱隐私保护等缺陷，已经逐渐演化成为能够支撑边缘智能化应用的分布式联邦学习架构。联邦学习作为一种新型人工智能范式，能够以分布式、本地化的训练方式实现多参与方联合建模，进而有效解决数据孤岛与隐私保护等问题。然而，现有的联邦学习系统已被证实易受后门攻击威胁，攻击者在训练阶段将后门触发器嵌入本地模型，这些触发器将在预测阶段被特定的输入激活，从而导致攻击者指定的错误分类。

针对现有的后门攻击方法，国内外学者从不同角度进行了防御研究，主要的防御思路包括两种：后门检测和后门消除。其中，基于检测的后门防御方法旨在识别目标模型中是否存在后门触发器，或从训练数据中直接过滤可疑样本进行重新训练。然而，这些被动式检测防御方法仅能判断出模型是否存在后门攻击，无法消除后门攻击给目标模型所带来的负面影响。因此，研究者们开始探索如何通过消除后门触发器的方式来净化后门模型，同时保持模型在干净数据上的高性能体现。目前后门触发器消除的防御方法主要通过在一部分干净数据上进行模型微调，以及采用模型修剪等方法降低微调过程中可能带来的过拟合现象。除此之外，还有一些如数据增强、正则化、模型修复等方法也被陆续提出以减轻后门攻击的效果。但是，基于后门触发器消除的方法会降低主任务的分类精度，且算法效率问题难以解决。

发明内容

发明目的：为解决基于后门触发器消除的方法会降低主任务的分类精度，以及算法效率低等问题，本发明提出了一种基于注意力蒸馏的联邦学习后门防御方法，具有后门消除效果好、资源损耗低、算法效率高等特点。

技术方案：一种基于注意力蒸馏的联邦学习后门防御方法，包括以下步骤：

步骤1：获取n个本地模型，将n个本地模型的模型参数进行平均聚合，并将平均聚合后的模型参数对联邦学习当前轮次的全局模型进行更新，得到聚合后的全局模型；

步骤2：以n个本地模型作为教师模型，以聚合后的全局模型作为学生模型，以标记后的数据集作为输入，进行多教师注意力知识蒸馏，得到蒸馏后的学生模型；

步骤3：将蒸馏后的学生模型作为联邦学习下一轮次的全局模型下发给n个参与方，由n个参与方利用本地数据对服务器下发的全局模型进行训练，得到n个本地模型；

步骤4：重复执行步骤1至步骤3，直至全局模型收敛，得到最终的全局模型；

步骤5：根据预先定义的任务，采集相应的图像数据，将图像数据转换成矩阵，输入至最终的全局模型，得到预测结果。

进一步的，所述的将n个本地模型的模型参数进行平均聚合，具体包括：

采用式(1)示出的聚合平均算法对n个本地模型的模型参数进行加和平均；

式中，w_avg为聚合后的全局模型，k∈n表示第k个本地模型，

表示联邦学习的训练第t轮次时第k个本地模型的模型参数。

进一步的，步骤2中，所述的标记后的数据集按照以下步骤得到：

假设服务器存在一定的无标签数据集Data_unmarked，对于无标签数据集Data_unmarked中的每个数据，均执行以下操作：利用n个本地模型对无标签数据集Data_unmarked中的数据x进行预测，x∈Data_unmarked，获得n个预测标签y_i(i∈n)；根据投票机制，取占比最高的预测标签作为该数据的真实标签y_t；将(x,y_t)加入标记后的数据集Data_marked中；

当无标签数据集Data_unmarked中最后数据和他真实标签被加入标记后的数据集Data_marked中后，标记后的数据集构建完成。

进一步的，步骤2具体包括：

多教师注意力蒸馏的总损失函数

表示为：

式中，

表示学生模型与教师模型的中间特征知识的注意力蒸馏损失函数，

与

分别代表教师模型与学生模型第l层的注意力图；

表示输出特征知识的损失函数，A_NT(x)表示教师模型的输出，A_S(x)表示学生模型的输出；

表示预测标签与真实标签的损失函数，y表示真实标签；

在标记后的数据集上，通过n个教师模型来指导学生模型进行调整，直至总损失函数收敛，得到蒸馏后的学生模型。

进一步的，学生模型与教师模型的中间特征知识的注意力蒸馏损失函数

表示为：

式中，||·||₂为l₂范式，

是深度神经网络模型A第l层激活输出第i个通道的激活图，

是深度神经网络模型A第l层的输出。

进一步的，输出特征知识的损失函数

表示为：

其中，

表示第i个教师模型的输出，

表示交叉熵，用以衡量两者之间的差异。

本发明提出了一种基于注意力蒸馏的联邦学习后门防御方法，包括以下步骤：

S100：获取由服务器下发的全局模型，并利用本地数据对该全局模型进行训练，得到本地模型及模型参数；

S200：将本地模型及模型参数上传至服务器；

其中，所述全局模型为经过多教师注意力知识蒸馏后的学生模型。

进一步的，所述的经过多教师注意力知识蒸馏后的学生模型，按照以下步骤得到：

将n个本地模型的模型参数进行平均聚合，并将平均聚合后的模型参数对联邦学习当前轮次的全局模型进行更新，得到聚合后的全局模型；

利用n个本地模型对事先存储的无标签数据集Data_unmarked中的每个数据x进行预测，x∈Data_unmarked，每个数据x均会获得n个预测标签y_i(i∈n)；根据投票机制，取占比最高的预测标签作为该数据的真实标签y_t；将(x,y_t)加入标记后的数据集Data_marked中；当无标签数据集Data_unmarked中最后一个数据和他真实标签被加入标记后的数据集Data_marked中后，得到可使用的标记后的数据集Data_marked；

以n个本地模型作为教师模型，以聚合后的全局模型作为学生模型，在标记后的数据集Data_marked上，通过n个教师模型来指导学生模型进行调整，直至多教师注意力知识蒸馏的总损失函数收敛，得到蒸馏后的学生模型。

进一步的，所述的多教师注意力知识蒸馏的总损失函数表示为：

式中，

与

分别代表教师模型与学生模型第l层的注意力图；

表示预测标签与真实标签的损失函数，y表示真实标签。

本发明公开了一种基于注意力蒸馏的联邦学习后门防御方法的系统，系统包括网络接口、存储器和处理器；其中，

所述网络接口，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

所述存储器，用于存储能够在所述处理器上运行的计算机程序指令；

所述处理器，用于在运行所述计算机程序指令时，执行一种基于注意力蒸馏的联邦学习后门防御方法的步骤。

本发明公开了一种计算机存储介质，所述计算机存储介质存储有基于注意力蒸馏的联邦学习后门防御方法的程序，所述基于注意力蒸馏的联邦学习后门防御方法的程序被至少一个处理器执行时实现一种基于注意力蒸馏的联邦学习后门防御方法的步骤。

有益效果：本发明与现有技术相比，具有以下优点：

本发明方法利用一定比例的无标签真实样本，以联邦学习各参与方上传的本地模型作为教师模型，聚合后的全局模型作为学生模型，进行多教师蒸馏，同时设计了一种投票机制，以多数本地模型的预测结果作为无标签样本集的标签，并在知识蒸馏中引入注意力作为知识迁移的一部分，在提高学生模型预测精度的同时有效消融其后门属性。

附图说明

图1为一种基于注意力蒸馏的联邦学习后门防御方法的流程图。

具体实施方式

现结合附图和实施例进一步阐述本发明的技术方案。

实施例1：

图1示出了一种基于注意力蒸馏的联邦学习后门防御方法的流程，其主要步骤包括：

步骤1：服务器下发初始全局模型，各参与方下载初始全局模型，利用本地数据集对下载的初始全局模型进行训练，得到本地模型；

步骤2：各参与方上传各自的本地模型，服务器收集各参与方的本地模型，并将各本地模型的模型参数平均聚合，将平均聚合后的模型参数对初始全局模型进行更新，得到聚合后的全局模型；

步骤3：以上传至服务器的各个本地模型为教师模型，聚合后的全局模型为学生模型，进行注意力知识蒸馏，注意力知识蒸馏后的学生模型作为下一轮的全局模型，由服务器将该全局模型下发给各参与方，各参与方利用本地数据集对该全局模型进行训练，得到本地模型参数，重复步骤2，直至全局模型收敛；

步骤4：根据预先定义的任务，采集相应的图像数据，将图像数据转换成矩阵，输入至最终的全局模型，得到预测结果。该任务可以为医学图像分析(计算机视觉)、推荐系统、手机键盘输入、自动驾驶中的交通标志识别预测等。

实施例2：

本实施例提出了一种基于注意力蒸馏的联邦学习后门防御方法，其主要步骤包括：

在联邦学习第一轮，服务器根据参与方的服务需求：初始化一个全局模型w₀，并将该全局模型w₀下发至n个参与方。

各参与方在接收到服务器下发的全局模型w₀后，使用自己的本地数据Data_k对全局模型w₀进行训练，得到联邦学习第一轮的本地模型及其模型参数

k∈n表示第k个参与方，在这一过程中，可能存在恶意参与方利用后门样本集Data_backdoor对全局模型w₀进行训练，得到携带后门属性的本地模型及其模型参数。如，在进行自动驾驶中的交通标志识别预测时，参与方A将本地数据中所有表达“禁止通行”的标志图片上添加后门标记(如一个3×3的像素块)，并将其对应的标签修改为“可通行”，经训练后，A所上传的本地模型对带有后门标记的图片预测结果为“可通行”。

各参与方上传各自的本地模型及其模型参数

服务器接收各参与方上传的本地模型及其模型参数

在这个过程中，服务器可能会接收到携带后门属性的本地模型及其模型参数；

服务器采用聚合平均算法FedAvg对接收到的所有本地模型参数进行加和平均以更新生成聚合后的全局模型w_avg；聚合平均算法FedAvg的聚合规则表示为：

式中，t表示联邦学习的训练轮次。由于全局模型由带后门属性的本地模型聚合而成，全局模型对带有后门标记的图片预测结果为“可通行”。

假设服务器存在一定的无标签数据集Data_unmarked，利用各参与方上传的本地模型对无标签数据集Data_unmarked中的数据x进行预测，x∈Data_unmarked，获得n个预测标签y_i(i∈n)，根据投票机制，将其中占比最高的预测标签作为该数据的真实标签y_t，将(x,y_t)加入标记后的数据集Data_marked中。

以标记后的数据集Data_marked作为输入，以上传至服务器的各本地模型为教师模型，聚合后的全局模型w_avg为学生模型，进行多教师注意力蒸馏，即通过教师模型来指导在标记后的数据集Data_marked上对学生模型进行微调。

多教师注意力蒸馏的损失函数包括蒸馏损失与学生损失，其中，蒸馏损失包括学生模型与教师模型的中间特征知识的注意力蒸馏损失和输出特征知识的损失。

其中，蒸馏损失包括学生模型与教师模型的中间特征知识的注意力蒸馏损失和输出特征知识的损失，本实施例采用注意力映射图作为中间特征知识，具体定义如下：

定义一个深度神经网络模型(GNN)A和其第l层激活输出A^l∈R^C×H×W，其中，C为激活图的通道数，H×W为激活图的空间维度，通过一个基于激活映射的函数

将3D的激活图转化为2D的张量：

具体而言，

有以下三类：

其中，

是深度神经网络模型第l层激活输出第i个通道的激活图，

反映了所有通道的激活图之和，包括了良心神经元与后门神经元的区域，

通过指数p来缩放不同区域的区分度，将更大的权重放在与激活最高的神经元相对应的空间位置，通俗的讲，某部分辨识度越高，其所占权重越大，且随着p值的增大，该效果越来越明显。

表示各通道的激活图均值，该函数的主要目的是使良心神经元与后门神经元的激活中心保持一致。

由于联邦学习场景下，共有n个参与方，采用多教师注意力蒸馏，多教师的注意力图公式如下：

基于以上设置，中间特征知识的注意力蒸馏损失函数为：

其中，

与

分别代表教师模型与学生模型第l层的注意力图，||·||₂为l₂范式。

输出特征知识的损失函数为：

其中，

表示第i个参与方本地模型(教师模型)的输出，A_S(x)表示聚合后的全局模型(学生模型)的输出，

表示交叉熵，用以衡量两者之间的差异。

学生损失即硬损失，表示预测标签与真实标签的差异，该真实标签由上述投票机制产生，综上，总损失函数为：

通过循环迭代直至总损失函数收敛，得到蒸馏后的学生模型。

将该学生模型作为下一轮的全局模型，重复上述步骤，直至模型收敛。

将收敛后的全局模型用于预测主任务所属类别。

现以主任务为自动驾驶中的交通标志识别为例，对本实施例提出的方法进行说明。通过汽车摄像头采集交通标志图像，采集的交通标志图像经过预处理转换成矩阵输入至收敛后的全局模型，收敛后的全局模型对该输入进行预测从而告知汽车相关信息，如静止同行、前方学校路段等。

在自动驾驶的过程中，各参与方根据本地的数据集训练出本地模型，该模型以汽车拍摄到的交通标志作为输入，输出该交通标志所表达的含义，如禁止通行，前方学校路段，继续通行等。恶意的参与方修改本地数据集，如参与方A将本地数据中所有表达“禁止通行”的标志图片上添加后门标记(如一个3×3的像素块)，并将其对应的标签修改为“可通行”，经训练后，A所上传的本地模型对带有后门标记的图片预测结果为“可通行”，经A上传的模型聚合而成的全局模型同样对带有后门标记的图片预测结果为“可通行”，当模型训练完后，投入使用。将带有后门标记的图片(“禁止通行”标志)输入至模型，模型预测结果为“可通行”，汽车根据该指示执行操作，这在现实场景中将造成严重的交通事故。通过基于注意力蒸馏的联邦学习后门防御方法，通过一个正常的模型指导包含后门属性模型的方式，有效消除模型中后门属性的影响，即使对带有后门标记的交通标志图片，模型仍然能够做出正确的预测，有效削弱了后门攻击的影响，提高了汽车驾驶的安全性。

实施例3：

本实施例提出了一种基于注意力蒸馏的联邦学习后门防御方法(即计算机设备)，该系统包括网络接口、存储器和处理器；其中，网络接口，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；存储器，用于存储能够在所述处理器上运行的计算机程序指令；处理器，用于在运行所述计算机程序指令时，执行上述公开的一种基于注意力蒸馏的联邦学习后门防御方法的步骤。

该基于注意力蒸馏的联邦学习后门防御系统(即计算机设备)包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。

实施例4：

本实施例提出了一种计算机存储介质，该计算机存储介质存储有基于注意力蒸馏的联邦学习后门防御方法的程序，基于注意力蒸馏的联邦学习后门防御方法的程序被至少一个处理器执行时实现上述公开的一种基于注意力蒸馏的联邦学习后门防御方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。