CN111967015A - 一种提升分布式学习系统拜占庭鲁棒性的防御代理方法 - Google Patents

Abstract

本发明属于分布式人工智能技术领域，具体为一种提升分布式学习系统拜占庭鲁棒性的防御代理方法。本发明利用基于神经网络结构的适应性可信度评估模块以动态评估各提交梯度的可信度，更新当前主节点上维护的全局分类器参数，生成奖励信号，并根据奖励信号在强化学习的框架下调整适应性可信度评估模块的参数；在训练过程中动态调整对各个工作节点的可行度评估值，缓解恶意工作节点提交的被篡改的梯度对系统训练过程的影响，以提升分布式学习系统的拜占庭鲁棒性。本发明能够广泛应用于各类分布式深度学习系统，提升系统的拜占庭鲁棒性。对人工智能系统的分布式训练过程安全，尤其是在恶意工作节点比例大于或等于50％的情况下，有明显提升。

Description

一种提升分布式学习系统拜占庭鲁棒性的防御代理方法

技术领域

本发明属于分布式人工智能技术领域，具体涉及一种提升分布式学习系统拜占庭鲁棒性的防御代理方法。

背景技术

随着深度学习技术的不断发展，海量训练数据正投入到基于机器学习的分类器的训练过程中，在分布式平台上构建分类器也逐渐成为工业界的主流趋势。然而，由于传输错误、蓄意篡改等因素，分布式学习系统中部分工作节点可能向主节点提交被篡改的梯度诱使主节点的梯度合并算法异常，导致参数更新决策错误，以扰乱分类器的正常训练过程，这通常被称作针对分布式学习系统的拜占庭攻击。现有拜占庭鲁棒性提升方法大多依赖于梯度间的“多数表决机制”，一旦系统中的多数工作节点出现拜占庭异常或者被恶意控制之后，这些防御机制将失效，无法使分布式学习系统获得令人满意的拜占庭鲁棒性。

发明内容

本发明针对分布式学习系统的拜占庭攻击，提出一种提升分布式学习系统拜占庭鲁棒性的防御代理方法。

本发明中，所述的分布式学习系统，由一个中心计算节点(简称“主节点”)以及多个工作计算节点(简称“工作节点”)构成；在系统训练过程中，主节点通过迭代地聚合由工作节点计算并上传的分类器梯度方向，以更新其内部维护的全局分类器参数，并下发更新后的全局分类器参数，如此迭代至预设训练轮数；上述一次迭代过程简称一个“训练轮次”。

本发明在主节点额外部署一种基于神经网络的适应性可信度评估模块，该评估模块根据当前全局分类器参数、各工作节点提交的梯度及上一训练轮次的可信度评估值，动态评估当前训练轮次各个工作节点提交梯度的可信度，并将可信度作为权重以合并各工作节点提交梯度，从而更新当前主节点上维护的全局分类器参数，并将利用主节点私有的小验证集评估参数更新前后分类器的损失函数变化情况，为适应性可信度评估模块生成相应的奖励信号，以指导该模块的参数优化。在分布式学习系统训练过程中，适应性可信度评估模块以上述方式动态调整对各个工作节点的可行度评估值，缓解恶意工作节点对系统训练过程的影响，以提升分布式学习系统的拜占庭鲁棒性。

本发明提出的提升分布式学习系统拜占庭鲁棒性的防御代理方法，首先，利用基于神经网络结构的适应性可信度评估模块，以动态评估各提交梯度的可信度；然后，将可信度交与主节点作为参数更新过程合并工作节点提交梯度的权重，以更新当前主节点上维护的全局分类器参数，并将更新后的参数在主节点私有的小验证集上进行评估，生成相应的奖励信号；最后，根据该奖励信号在强化学习的框架下进一步调整适应性可信度评估模块的参数，以保证学习过程寻找到准确度高的较优的分类器。具体步骤如下：

步骤一、初始化：在分布式系统训练开始前，分别准备主节点上的私有小验证集和初始化适应性可信度评估模块的可信度向量。

(1.1)准备小验证集：从训练数据集中均匀采样K个随机数据样本作为小验证集，记为S。

(1.2)可信度向量初始化：初始化零时刻适应性可信度评估模块的可信度向量

其中，n为工作节点个数；以下步骤迭代执行直至达到对应分布式学习任务的预设训练轮数。

步骤二、评估当前训练轮次各工作节点可信度：在训练轮次t，当前可信度通过如下步骤得到：

(2.1)将主节点上全局分类器的参数θ_t、所有工作节点上传的梯度

以及上一轮评估的可信度向量

拼接为(3n+1)×d大小的矩阵(如如图2左侧所示)，其中，d为全局分类器的参数个数。

(2.2)将上述矩阵作为适应性可信度评估模块的输入，得到维度为n，且每一分量属于[0，1]区间并满足归一化性质的输出向量，作为当前轮次的可信度评估值

适应性可信度评估模块的网络结构具体包括：一个全连接层，一个平均池化层和一个Softmax层(如图2所示)。

步骤三、利用当前可信度评估值聚合工作节点梯度并更新模型：将可信度作为权重以合并各工作节点提交梯度，具体为：

其中，θ_t，θ_t+1分别表示训练轮次t，t+1结束后，主节点维护的全局分类器的参数；λ表示学习率，为正常数；n表示工作节点个数，为自然数；

表示主节点在训练轮次t对工作节点i的可信度评估值；V_i ^(t)表示工作节点i在训练轮次t提交的梯度；

本发明中学习率λ优选为0.001。

步骤四、利用小验证集生成奖励信号：在训练轮次t，主节点计算全局分类器在参数更新前后在小验证集S上的损失函数的差值，即：

R_t＝∑_(x，y)∈Sl(f(x；θ_t)，y)-l(f(x；θ_t-1)，y)

作为奖励信号。其中，f(x；θ_t)表示当分类器参数为θ_t时，分类器对于数据点x的预测分类结果，y为真实分类结果，l为衡量两者之间误差的预设函数，和主节点分类器采用的预设函数保持一致。同时，在奖励信号的计算过程中，需要维持适应性可信度评估模块输入到奖励信号R_t之间的计算图(如图3所示)，为后续步骤中适应性可信度评估模块的优化做准备。

步骤五、优化适应性可信度评估模块参数：在训练轮次t且t大于等于预设训练周期跨度T，计算当前轮次前T个训练轮次中的累计奖励信号：

并利用梯度上升对适应性模块的参数以最大化上述累计奖励型号为优化目标进行一步参数更新。具体为：

其中，ψt，ψ_t+1分别表示训练轮次t，t+1开始时，适应性可信度评估模块的参数；这里，γ为折扣因子，γ为小于等于1的正常数，优选为0.99，T为训练周期跨度T，优选为5，η为适应性可信度评估模块更新学习率，η优选为0.1。

本发明中，所述的恶意工作节点，是指在分布式学习系统训练过程，通过提交被篡改梯度以影响系统的正常训练过程的部分工作节点。涉及的篡改方法包括增加随机噪声扰动、基于优化的篡改方法。

本发明中，所述的拜占庭鲁棒性，在分布式学习系统中的部分节点为恶意工作节点时，当训练达到指定轮数后，主节点维护的全局分类器在测试任务上的准确度与不具备恶意工作节点情况下正常训练的准确度之间的差距。

本发明中，所述的私有的小验证集，通过主节点在训练开始前随机采样K个额外训练数据样本作为私有的小验证集。小验证集样本个数K优选为涉及分类任务的类个数。例如对于十分类任务，小验证集样本个数K优选为10。

技术效果

本发明通过部署在主节点的随着训练过程动态调整可信度评估的适应性可信度评估模块，缓解恶意工作节点对系统训练过程的影响，防御恶意工作节点攻击效果明显，对分布式学习系统的拜占庭鲁棒性提升较高。部署有适应性可信度评估模块的分布式学习系统在系统中恶意工作节点比例大于或等于50％的情况下，当训练达到指定轮数后，主节点维护的全局分类器在测试任务上的准确度高于部署有现有的Krum防御方法和几何中位数(Geometric Median)防御算法的系统最终准确度，且接近分布式学习系统正常训练情况下的准确度。

附图说明

图1为本发明方法流程示意图。

图2为适应性可信度评估模块的神经网络结构图。

图3为部署有适应性可信度评估模块的分布式学习系统训练过程图示。

图4为实施例拜占庭鲁棒性提升效果对比示意图。

具体实施方式

如图1所示，本实施例采用CIFAR-10数据集，通过本实施例方法提升分类器为用于物体识别(十分类任务)的深层卷积神经网络ResNet-18的具有50个工作节点的分布式学习系统训练过程的拜占庭鲁棒性。本实施例具体包括：

步骤一、初始化阶段：在分布式系统训练开始前，分别准备主节点上的私有小验证集和初始化适应性可信度评估模块的可信度向量。

(1.1)准备小验证集：从CIFAR-10的训练数据集中均匀采样K个随机数据样本作为小验证集S。在本实施例中，小验证集大小K选为10。

(1.2)可信度向量初始化：初始化零时刻适应性可信度评估模块的可信度向量

其中，n为工作节点个数，即在本实施例中，n＝50。以下步骤迭代执行直至达到对应分布式学习任务的预设训练轮数。

步骤二、评估当前训练轮次各工作节点可信度：在训练轮次t，当前可信度通过如下步骤得到：

(2.1)将主节点上全局分类器的参数θ_t、所有工作节点上传的梯度

以及上一轮评估的可信度向量

拼接为如图2左侧所示(3n+1)×d大小的矩阵，其中，d为全局分类器的参数个数。在本实施例中，d为深层卷积神经网络ResNet-18的参数个数：11173962。

(2.2)将上述矩阵作为适应性可信度评估模块的输入，得到维度为n，且每一分量属于[0，1]区间并满足归一化性质的输出向量作为当前轮次的可信度评估值

适应性可信度评估模块的网络结构如图2所示，具体包括：一个全连接层，一个平均池化层和一个Softmax层。

步骤三、利用当前可信度评估值聚合工作节点梯度并更新模型：将可信度作为权重以合并各工作节点提交梯度，具体为：

在本实施例中，学习率λ选为0.001。

步骤四、利用小验证集生成奖励信号：在训练轮次t，主节点计算全局分类器在参数更新前后在小验证集S上的损失函数的差值，即∑_(x，y)∈Sl(f(x；θ_t)，y)-l(f(x；θ_t-1)，y)作为奖励信号R_t，并维持适应性可信度评估模块输入到奖励信号R_t之间的计算，如图3所示。其中，f(x；θ_t)表示当分类器参数为θ_t时，分类器对于数据点x的预测分类结果，y为真实分类结果，l为衡量两者之间误差的预设函数，和主节点分类器采用的预设函数保持一致。在本实施例中，l为交叉熵函数。

步骤五、优化适应性可信度评估模块参数：在训练轮次t且t大于等于预设训练周期跨度T，计算当前轮次前T个训练轮次中的累计奖励信号：

并利用梯度上升对适应性模块的参数以最大化上述累计奖励型号为优化目标进行一步参数更新。具体为：

其中，ψ_t，ψ_t+1分别表示训练轮次t，t+1开始时，适应性可信度评估模块的参数。在本实施例中，折扣因子γ选为0.99，训练周期跨度T选为5，适应性可信度评估模块更新学习率η选为0.1。

如图4所示，在达到相同的分布式学习任务预设的训练轮数后，在系统中恶意工作节点比例为0.7，即50个工作节点中由35个为恶意工作节点，与部署有经典平均梯度聚合方法、现有的其他拜占庭鲁棒性提升算法，以及无拜占庭攻击的正常情况下的全局分类器分类准确度对比：

经典平均梯度聚合方法(Classical GAR)：10.00％；

Krum方法：10.00％；几何中位数方法(Geometric Median)：10.00％；

无攻击情况：64.00％；

提升分布式学习系统拜占庭鲁棒性的防御代理方法：61.82％；

在其他数据集上进行相同的实验，对比实验效果：

MNIST：

经典平均梯度聚合方法(Classical GAR)：41.49％；

Krum方法：13.11％；

几何中位数方法(Geometric Median)：12.89％；

无攻击情况：96.48％；

提升分布式学习系统拜占庭鲁棒性的防御代理方法：88.91％；

Yelp：

经典平均梯度聚合方法(Classical GAR)：50.00％；

Krum方法：50.10％；

几何中位数方法(Geometric Median)：50.00％；

无攻击情况：84.45％；

基于强化学习技术的分布式学习系统拜占庭鲁棒性的提升方法：81.80％；

Healthcare：

经典平均梯度聚合方法(Classical GAR)：13.15％；

Krum方法：10.05％；

几何中位数方法(Geometric Median)：10.00％；

无攻击情况：73.05％；

提升分布式学习系统拜占庭鲁棒性的防御代理方法:60.85％。

综上所述，本发明能够广泛应用于各类分布式深度学习系统，如图像分类、智慧医疗等领域，以提升该类系统的拜占庭鲁棒性，对人工智能系统的分布式训练过程安全，尤其是在恶意工作节点比例大于或等于50％的情况下，有明显提升。

Claims (3)

1.一种提升分布式学习系统拜占庭鲁棒性的防御代理方法，其特征在于，所述分布式学习系统由一个中心计算节点以及多个工作计算节点构成，中心计算节点简称主节点，工作计算节点简称工作节点；在系统训练过程中，主节点通过迭代地聚合由工作节点计算并上传的分类器梯度方向，以更新其内部维护的全局分类器参数，并下发更新后的全局分类器参数，如此迭代至预设训练轮数；上述一次迭代过程简称一个“训练轮次”；

在系统的主节点额外部署一基于神经网络的适应性可信度评估模块；该评估模块根据当前全局分类器参数、各工作节点提交的梯度及上一训练轮次的可信度评估值，动态评估当前训练轮次各个工作节点提交梯度的可信度，并将可信度作为权重以合并各工作节点提交梯度，从而更新当前主节点上维护的全局分类器参数，并将利用主节点私有的小验证集评估参数更新前后分类器的损失函数变化情况，为适应性可信度评估模块生成相应的奖励信号，以指导该模块的参数优化；在分布式学习系统训练过程中，适应性可信度评估模块以上述方式动态调整对各个工作节点的可行度评估值，缓解恶意工作节点对系统训练过程的影响，以提升分布式学习系统的拜占庭鲁棒性。

2.根据权利要求1所述的提升分布式学习系统拜占庭鲁棒性的防御代理方法，其特征在于，首先，利用基于神经网络结构的适应性可信度评估模块，以动态评估各提交梯度的可信度；然后，将可信度交与主节点作为参数更新过程合并工作节点提交梯度的权重，以更新当前主节点上维护的全局分类器参数，并将更新后的参数在主节点私有的小验证集上进行评估，生成相应的奖励信号；最后，根据该奖励信号在强化学习的框架下进一步调整适应性可信度评估模块的参数，以保证学习过程寻找到准确度高的较优的分类器；具体步骤如下：

步骤一、初始化：在分布式系统训练开始前，分别准备主节点上的私有小验证集和初始化适应性可信度评估模块的可信度向量；

(1.1)准备小验证集：从训练数据集中均匀采样K个随机数据样本作为小验证集，记为S；

(1.2)可信度向量初始化：初始化零时刻适应性可信度评估模块的可信度向量

其中，n为工作节点个数；以下步骤迭代执行直至达到对应分布式学习任务的预设训练轮数；

步骤二、评估当前训练轮次各工作节点可信度：在训练轮次t，当前可信度通过如下步骤得到：

(2.1)将主节点上全局分类器的参数θ_t、所有工作节点上传的梯度

以及上一轮评估的可信度向量

拼接为(3n+1)×d大小的矩阵，其中，d为全局分类器的参数个数；

(2.2)将上述矩阵作为适应性可信度评估模块的输入，得到维度为n，且每一分量属于[0，1]区间并满足归一化性质的输出向量，作为当前轮次的可信度评估值

所述适应性可信度评估模块的网络结构包括：一个全连接层，一个平均池化层和一个Softmax层；

步骤三、利用当前可信度评估值聚合工作节点梯度并更新模型：将可信度作为权重以合并各工作节点提交梯度，具体为：

其中，θ_t，θ_t+1分别表示训练轮次t,t+1结束后，主节点维护的全局分类器的参数；λ表示学习率，为正常数；n表示工作节点个数，为自然数；

表示主节点在训练轮次t对工作节点i的可信度评估值；V_i ^(t)表示工作节点i在训练轮次t提交的梯度；

步骤四、利用小验证集生成奖励信号：在训练轮次t，主节点计算全局分类器在参数更新前后在小验证集S上的损失函数的差值，即：

R_t＝∑_(x，y)∈Sl(f(x；θ_t)，y)-l(f(x；θ_t-1)，y)

作为奖励信号；其中，f(x；θ_t)表示当分类器参数为θ_t时，分类器对于数据点x的预测分类结果，y为真实分类结果，l为衡量两者之间误差的预设函数，和主节点分类器采用的预设函数保持一致；

步骤五、优化适应性可信度评估模块参数：在训练轮次t且t大于等于预设训练周期跨度T，计算当前轮次前T个训练轮次中的累计奖励信号：

并利用梯度上升对适应性模块的参数以最大化上述累计奖励型号为优化目标进行一步参数更新；具体为：

其中，ψ_t，ψ_t+1分别表示训练轮次t,t+1开始时，适应性可信度评估模块的参数；这里，γ为折扣因子，γ为小于等于1的正常数，T为训练周期跨度T，η为适应性可信度评估模块更新学习率。

3.根据权利要求2所述的提升分布式学习系统拜占庭鲁棒性的防御代理方法，其特征在于，所述的小验证集样本个数K为涉及分类任务的类个数。

Images