CN110460600A - 可抵御生成对抗网络攻击的联合深度学习方法 - Google Patents

Abstract

本发明提出一种可抵御生成对抗网络(GAN)攻击的联合深度学习方法，包括深度学习模型初始化；盲化服务器初始化；模型保护联合学习等步骤。通过结合矩阵盲化技术和随机梯度下降法，可以实现输入向量以及部分模型参数的盲化。本发明通过限制攻击者本地生成对抗网络的建模与更新，同时限制深度学习模型使用权等方式，允许分布式训练者在本地利用隐私数据集训练得到模型参数的梯度更新，每个训练者的梯度更新将由参数服务器聚合，实现系统模型的全局更新。本发明实现了对GAN攻击的抵御，保护了联合深度学习系统模型，极大平衡了模型准确率与训练数据隐私保护的要求。

Description

可抵御生成对抗网络攻击的联合深度学习方法

技术领域

本发明属于隐私数据保护和深度学习领域，具体为一种可抵御生成对抗网络攻击的联合深度学习方法。

背景技术

联合深度学习指的是多用户在本地保存隐私训练数据的前提下利用云服务器协作完成深度学习模型训练任务。随着处理海量数据的需求日益增大，深度学习作为一种基于人工神经网络的机器学习方法，因其强大的数据特征学习能力越来越受到人们青睐，现已被广泛应用于计算机视觉、语音识别、自然语言处理等诸多实际问题当中。得益于各类模型分类预测结果的高准确率,深度学习现已经成为互联网智能服务的基础。

在深度学习模型训练过程中，使用的训练数据量越大，最终模型的鲁棒性和准确性越高。然而，随着社会自上而下对个人隐私保护的意识越来越强，相关法律法规对于隐私信息的使用限制越来越严格，要求一般大型企业或机构规范用户隐私数据的使用。在训练一般机器学习算法如朴素贝叶斯或支持向量机时,研究者们提出了大量的基于云计算的外包算法来解决使用数据和保护隐私的矛盾，这些算法大多基于同态加密或其他加密方法，但由于深度学习模型计算复杂，且加密操作计算量大，这些外包方案很难被直接拓展到大规模深度学习领域。

为了解决这个问题，有研究者针对多层神经网络模型提出了基于随机梯度下降法(Stochastic Gradient Descent,SGD)的联合深度学习方法，各方可以在本地训练他们的深度学习模型，并有选择地与服务器共享训练结果。这一框架摆脱了模型训练过程中数据必须中心化的限制，利用SGD实现了数据的本地操作，从而保护了参与者的数据隐私。但近期一项研究表明针对联合深度学习方法，可以利用生成对抗网络GAN进行攻击，恶意训练者会在受害者无意识的情况下，获取大量的敏感数据及信息。这一攻击方式尤其在以图像作为训练样本的联合深度学习方法中影响严重。

另外在现有联合深度学习方法中，并没有限制系统模型的使用权，即任何参与训练的用户可以从服务器端下载现阶段最新的训练模型，服务器将参数的明文直接发送给训练者，训练者可以在本地不与服务器交互随意使用模型。然而，模型保护问题在机器学习外包计算领域也是一个重要的课题，一个完备的高鲁棒性的深度学习模型往往包含了大量训练数据信息，如果这些训练数据带有敏感信息或者隐私数据，那么对于深度学习模型的滥用往往会导致训练数据的隐私遭受破坏。

发明内容

本发明的目的在于提出了一种可抵御生成对抗网络攻击的联合深度学习方法。

实现本发明目的的技术解决方案为：一种可抵御生成对抗网络攻击的联合深度学习方法，具体步骤为：

步骤1、参数服务器PS发起联合深度学习任务，向拥有与联合深度学习任务相关数据的用户发起邀请，并将响应邀请申请加入训练的训练参与者分类标记为忠实用户LU和一般训练者CT，参数服务器PS搜集忠实用户LU的明文训练数据集并由参数服务器PS初始化一个深度学习全连接神经网络模型，并将其作为联合学习系统模型；

步骤2、盲化服务器BS根据联合学习系统模型信息，为参数服务器PS以及每个一般训练者CT各生成一对盲化因子，每对盲化因子包括用于盲化的因子和解除盲化的因子，并将解除盲化的部分发送给各自拥有者；

步骤3、参数服务器PS开启联合学习训练队列，一般训练者CT从盲化服务器处获得解除盲化的因子后加入训练队列；参数服务器PS从训练队列中依次调度一个一般训练者CT_j参与一轮训练，一般训练者CT_j在本地利用私有训练数据，结合参数服务器PS及盲化服务器BS完成一轮的联合学习系统模型训练，并将参数更新发送给参数服务器PS用于更新联合学习系统模型；当联合学习系统模型准确率达到预定阈值或者训练队列为空时，参数服务器PS关闭训练队列完成整个联合深度学习过程。

优选地，步骤1中的忠实用户LU为信任参数服务器PS并愿意将本地训练数据集以明文形式共享给参数服务器PS的用户，一般训练者CT是指不愿意将本地数据共享给参数服务器PS并希望在本地完成模型更新并只上传参数更新的联合训练参与者。

优选地，参数服务器PS初始化联合学习系统模型的具体方法为：忠实用户LU将其本地训练数据集以明文的形式发送给参数服务器PS，参数服务器PS汇总所有忠实用户的训练数据明文得到数据集D_LU，并根据数据集D_LU确定全连接神经网络模型F(W)的结构信息；参数服务器PS初始化全连接神经网络模型F(W)权值参数和结点偏置参数并基于数据集D_LU选择使用批梯度下降或mini-batch梯度下降方法完成全连接神经网络F(W)的结构调整与优化，得到初始化联合学习系统模型。

优选地，步骤2中盲化服务器BS获得的联合学习系统模型信息为神经网络第一隐藏层结点的个数n。优选地，步骤2中盲化服务器BS生成盲化因子的具体方法为：

步骤2-1、盲化服务器BS得到联合学习系统模型第一隐藏层结点个数n，在n元置换群S_n上均匀生成一个置换函数π；定义函数其中X＝{x₁,x₂,...,x_n}，对于给定的一个映射规则：π(i)＝f(i)表示具体置换函数，其中i＝{1,2,...,n}，得到置换函数的反函数为：

步骤2-2、在非空有限域F_q上均匀生成一个非空随机数集合α＝{α₁,α₂,...,α_n}；

步骤2-3、定义克罗内克函数构造盲化矩阵N，其中构造解除盲化矩阵N^-1，其中，N与N^-1即为一对矩阵形式的盲化因子。

优选地，步骤3中完成一轮安全本地训练得到各参数梯度更新的具体过程为：

步骤3-1、参数服务器PS将联合学习系统模型的参数分为两部分，一部分为需要盲化处理的参数：包括输入层与第一隐藏层结点之间的权值参数矩阵A和第一隐藏层结点的偏置向量b，其中A_i,j代表第i个输入层结点与第一隐藏层第j个结点之间的权值参数，b_j代表第一隐藏层第j个结点的偏置，另一部分为可明文共享的除A与b以外的其他参数；

步骤3-2、一般用户CT_j与参数服务器PS、盲化服务器BS交互，利用安全三方计算技术得到训练样本x＝(x₁,x₂,...,x_m)关于深度学习全连接神经网络模型第一隐藏层各结点的输出；

步骤3-3、一般训练者CT_j利用步骤3-2得到的第一隐藏层各结点的输出在本地完成基于随机梯度下降法的联合学习系统模型参数更新。

优选地，步骤3-2中一般用户CT_j与参数服务器PS、盲化服务器BS交互，利用安全三方计算技术得到训练样本x＝(x₁,x₂,...,x_m)关于深度学习全连接神经网络模型第一隐藏层各结点的输出的具体步骤为：

步骤3-2-1、参数服务器PS生成与b同维的非零随机向量r，计算b-Ar，将A与r发送给盲化服务器BS，将b-Ar、r以及除A与b以外的其他模型参数发送给一般训练者CT_j；

步骤3-2-2、盲化服务器BS得到参数矩阵A后计算：N·M_j·A＝NM_jA以及M_j·Ar＝M_jAr，将NM_jA发送给训练者CT_j,将M_jAr发送给参数服务器PS；

步骤3-2-3、一般训练者CT_j计算：NM_jA(x+r)并将结果发送给参数服务器；

步骤3-2-4、参数服务器本地利用N以及M_jAr验证训练者CT_j是否存在恶意输入x＝0或x＝r，即比较判断NM_jA(x+r)是否等于NM_jAr或NM_jA(r+r)。验证通过则抵消部分盲化计算：N^-1·NM_jA(x+r)＝M_jA(x+r)，结果返还给训练者CT_j；

步骤3-2-5、训练者CT_j去除所有盲化：M_i ^-1·M_iA(x+r)+(b-Ar)＝Ax+b，经激活函数处理得到第一隐藏层各结点的输出。

优选地，步骤3-3一般训练者CT_j利用步骤3-2得到的第一隐藏层各结点的输出在本地完成基于随机梯度下降法的联合学习系统模型参数更新的具体方法为：

步骤3-3-1、一般训练者CT_j将第一隐藏层各结点的输出经过激活函数处理之后作为第二隐藏层结点的输入，并逐层计算输出，最终得到训练样本x＝(x₁,x₂,...,x_m)关于联合学习系统模型的输出

步骤3-3-2、一般训练者CT_j结合样本标签y(x)通过误差函数计算误差E；

步骤3-3-3、根据误差E计算关于每个系统模型参数W_i的偏导，即梯度更新：所有参数的梯度更新构成梯度更新向量，其中每个元素与联合学习系统模型参数向量W的每个参数一一对应。

优选地，步骤3中每个一般训练者CT_j选择将部分梯度更新值返回给参数服务器PS；对应于每一层的权值参数及偏置参数，训练者设置上传选择比率θ_u，选择梯度更新值较大的前100×θ_u％进行保留，梯度更新向量中的其他梯度更新值置0。参数服务器接收到用户CT_j的梯度更新向量，依据梯度下降参数更新公式：更新系统模型，η为学习率。完成一轮训练后参数服务器PS可以根据测试集测试更新后模型的准确率，并从训练队列中调度下一个训练者参与新一轮联合学习，当联合学习系统模型准确率达到目标阈值或者训练队列为空时，参数服务器PS关闭训练队列，整个联合学习过程结束。

本发明与现有技术相比，其显著优点为：1)本发明从破坏GAN攻击者本地生成对抗网络建模及更新过程的角度出发，利用矩阵盲化技术实现对GAN攻击的抵御；2)本发明实现了联合深度学习过程中系统模型的隐私保护，在确保训练者交互式完成训练的同时，限制了用户独立使用系统模型的能力，有效预防恶意用户对系统模型滥用导致的隐私泄漏；3)本发明保留了联合深度学习方法的去中心化和非密文操作的优势，保证了联合深度学习模型训练的效率和准确性；4)本发明通过引入用户分类及预训练过程，强化了联合深度学习模型初始化方法，提高了模型的鲁棒性。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1是本发明的框架结构示意图。

图2是本发明步骤3模型保护联合学习中参数传递及计算的流程图。

具体实施方式

一种可抵御生成对抗网络攻击的联合深度学习方法，实现本发明的系统结构图如图1所示，包含四类实体：参数服务器(Parameter Server，PS)、盲化服务器(BlindingServer，BS)、忠实用户(Loyal User，LU)、一般训练者(Common Trainer，CT)。参数服务器PS是整个联合学习任务的发起者与调度者，负责初始化联合学习系统模型，组织并调度各类实体按照训练流程参与联合学习，并在联合学习过程中负责系统模型参数的更新与分发，可由半诚实(对训练者隐私数据好奇但不主动发起恶意攻击)的云服务器担任。参数服务器BS是新引入的不与参数服务器PS及一般用户CT共谋的半诚实(对训练者隐私数据及系统模型好奇但不主动发起恶意攻击)的第三方云服务器，在整个训练过程中负责盲化因子的生成与分发，并协助一般用户完成一轮安全本地训练。忠实用户LU与一般训练者CT是对参数服务器PS信任程度不同的训练参与者，在具体步骤中将详细划分。本发明的具体步骤为：

步骤1、参数服务器PS发起联合深度学习任务，向拥有与该训练任务相关数据的用户发起邀请，并将响应邀请申请加入训练的训练参与者分类标记为忠实用户LU和一般训练者CT，参数服务器PS搜集忠实用户LU的明文训练数据集并由参数服务器PS初始化深度学习全连接神经网络模型作为联合学习系统模型；

在某些实施例中，忠实用户LU为信任参数服务器PS并愿意将本地训练数据集以明文形式共享给参数服务器PS的用户，忠实用户LU将其训练数据实例以明文的形式发送给参数服务器PS用以确定联合学习系统模型的结构。一般训练者CT是指不信任参数服务器PS的一般联合深度学习参与者，他们在本地保留隐私训练数据，并基于随机梯度下降法完成模型训练，以梯度更新向量的形式返回参数更新，另外，一般训练者CT也是潜在的GAN攻击发起者，由于GAN攻击注入的难以检测性，本发明实现针对任意一般训练者CT发起的GAN攻击的成功抵御。

在某些实施例中，参数服务器PS初始化深度学习全连接神经网络模型即联合学习系统模型的具体方法为：忠实用户LU将其本地训练数据集以明文的形式发送给参数服务器PS，参数服务器PS汇总所有忠实用户的训练数据明文得到数据集D_LU，并根据D_LU确定一个全连接神经网络模型F(W)的结构信息，全连接神经网络模型F(W)的结构信息包括输入层及输出层结点个数、隐藏层层数、各隐藏层结点个数、各层结点激活函数、目标函数、损失函数。W表示所有模型参数展开构成的参数向量，包括权值参数和结点偏置参数。

以基于MINIST手写数字集的联合深度学习图像识别作为具体实施例，需要为该任务初始化一个全连接神经网络模型作为联合学习系统模型。该模型包含一个输入层，两个隐藏层以及一个输出层。输入层节点个数为一张MNIST手写数字图片的像素点个数：784(28*28)；第一隐藏层节点个数为512，第二隐藏层节点个数为256，两个隐藏层各节点的激活函数均选择LeakyReLU＝max(0,k)+α*min(0,k)，其中α设置为0.2，k表示经激活函数处理该节点的输出；输出层节点个数为10(代表分类结果从0到9)，各节点激活函数选择k_i表示每一个输出层节点经激活函数处理前的输出；目标函数为选择输出层节点中最大值所在的类作为分类结果；损失函数选择交叉熵损失函数其中为第i个输出节点的标签值(只能取0或者1)，y_i为第i个输出节点的实际输出值。

在某些实施例中，参数服务器PS初始化两类参数并基于数据集D_LU选择使用批梯度下降或mini-batch梯度下降方法完成全连接神经网络F(W)的结构调整与优化，得到初始化联合学习系统模型。

在某些实施例中，各层权值参数W_j可根据激活函数选择不同初始化方法，例如使用“Xavier”方法，即服从与该层结点个数s_j以及下一层结点个数s_j+1有关的均匀分布：

步骤2、盲化服务器BS根据联合学习系统模型信息，为参数服务器PS以及每个一般训练者CT各生成一对盲化因子，包括用于盲化的因子和解除盲化的因子，并将解除盲化的部分发送给各自拥有者；

在某些实施例中，盲化服务器BS获得的联合学习系统模型信息为神经网络第一隐藏层结点的个数n；对于参数服务器PS，盲化服务器BS负责生成一对矩阵形式的盲化因子，包括用于盲化的N和解除盲化的N^-1，并将N^-1发送给参数服务器PS。对于申请参与训练的每个一般训练者CT_j，盲化服务器BS同样生成一对矩阵形式的盲化因子，包括用于盲化的M_j和解除盲化的并将发送给训练者CT_j。N和M_j都是n维的非奇异方阵。盲化服务器BS生成盲化因子N和N^-1(M_j和)遵循以下步骤：

步骤2-1、盲化服务器BS得到联合学习系统模型第一隐藏层结点个数n，在n元置换群S_n上均匀生成一个置换函数π。定义函数其中X＝{x₁,x₂,...,x_n}，对于给定的一个映射规则：可以用π(i)＝f(i)表示该具体置换函数，其中i＝{1,2,...,n}。该置换函数的反函数为：

步骤2-2、在非空有限域F_q上均匀生成一个非空随机数集合α＝{α₁,α₂,...,α_n}；

步骤2-3、定义克罗内克函数即函数值在x＝y时为1，其他情况为0。构造盲化矩阵N，其中构造解除盲化矩阵N^-1，其中，N与N^-1即为一对矩阵形式的盲化因子。

步骤3、参数服务器PS开启联合学习训练队列，一般训练者CT从盲化服务器处获得私有且唯一的解除盲化的因子后加入训练队列；参数服务器PS从训练队列中依次调度一个一般训练者CT_j参与一轮训练，一般训练者CT_j在本地利用私有训练数据，结合参数服务器PS及盲化服务器BS完成一轮的安全本地模型更新，并将参数更新发送给参数服务器PS用于更新联合学习系统模型。直到系统模型准确率达到预定阈值或者训练队列为空时，参数服务器PS关闭训练队列完成整个联合深度学习过程。

在某些实施例中，步骤3参数服务器PS从训练队列中依次调度一个一般训练者CT_j参与一轮联合训练，每一轮训练过程中，一般训练者CT_j基于随机梯度下降法更新系统模型。不失一般性，训练者CT_j随机选择一条标签为y(x)的训练样本x＝(x₁,x₂,...,x_m)基于误差逆传播(Back-propagation，BP)算法计算梯度更新。一般训练者CT_j在本地利用训练样本x＝(x₁,x₂,...,x_m)，结合参数服务器及盲化服务器完成一轮安全本地训练得到各参数梯度更新，其中参数传递及计算的具体流程如图2所示，其具体过程为：

步骤3-1、参数服务器PS将深度学习全连接神经网络模型即联合学习系统模型的参数分为两部分，一部分为需要盲化处理的参数：包括输入层与第一隐藏层结点之间的权值参数矩阵A和第一隐藏层结点的偏置向量b，其中A_i,j代表第i个输入层结点与第一隐藏层第j个结点之间的权值参数，b_j代表第一隐藏层第j个结点的偏置，另一部分为可明文共享的除A与b以外的其他参数；

步骤3-2、一般用户CT_j与参数服务器PS、盲化服务器BS交互，利用安全三方计算技术得到深度学习全连接神经网络模型第一隐藏层各结点的输出；

步骤3-2-1、参数服务器PS生成与b同维的非零随机向量r，计算b-Ar，将A与r发送给盲化服务器BS，将b-Ar、r以及除A与b以外的其他模型参数发送给一般训练者CT_j；

步骤3-2-2、盲化服务器BS得到参数矩阵A后计算：N·M_j·A＝NM_jA以及M_j·Ar＝M_jAr，将NM_jA发送给训练者CT_j,将M_jAr发送给参数服务器PS；

步骤3-2-3、一般训练者CT_j计算：NM_jA(x+r)并将结果发送给参数服务器；

步骤3-2-4、参数服务器本地利用N以及M_jAr验证训练者CT_j是否存在恶意输入x＝0或x＝r，即比较判断NM_jA(x+r)是否等于NM_jAr或NM_jA(r+r)。验证通过则抵消部分盲化计算：N^-1·NM_jA(x+r)＝M_jA(x+r)，结果返还给训练者CT_j；

步骤3-2-5、训练者CT_j去除所有盲化：M_i ^-1·M_iA(x+r)+(b-Ar)＝Ax+b，经激活函数处理得到第一隐藏层各结点的输出。

步骤3-3、一般训练者CT_j利用步骤3-2得到的第一隐藏层各结点的输出在本地完成基于随机梯度下降法的联合学习系统模型参数更新；

步骤3-3-1、一般训练者CT_j将第一隐藏层各结点的输出作用在激活函数之后作为第二隐藏层结点的输入，并逐层计算输出，最终得到训练样本x＝(x₁,x₂,...,x_m)关于联合学习系统模型的输出

步骤3-3-2、一般训练者CT_j结合样本标签y(x)通过误差函数计算误差E；

步骤3-3-3、根据误差E计算关于每个系统模型参数W_i的偏导，即梯度更新：所有参数的梯度更新构成梯度更新向量，其中每个元素与联合学习系统模型参数向量W的每个参数一一对应。

在某些实施例中，步骤3中每个一般训练者CT_j可以选择将部分梯度更新值返回给参数服务器PS。对应于每一层的权值参数及偏置参数，训练者设置上传选择比率θ_u，选择梯度更新值较大的前100×θ_u％进行保留，梯度更新向量中的其他梯度更新值置0。参数服务器接收到用户CT_j的梯度更新向量，依据梯度下降参数更新公式：更新系统模型，η为学习率。完成一轮训练后参数服务器PS可以根据测试集测试更新后模型的准确率，并从训练队列中调度下一个训练者参与新一轮联合学习，当系统模型准确率达到目标阈值或者训练队列为空时，参数服务器PS关闭训练队列，整个联合学习过程结束。

本发明不仅实现了联合学习框架下针对生成对抗网络GAN攻击的抵御，还采用矩阵盲化技术在确保模型训练效率和精度的前提下实现了系统模型的保护。基于深度学习模型可利用分布式数据集实现随机梯度下降的特性，本发明在保留原联合学习中心参数服务器的基础上，添加了盲化服务器作为参数服务器和模型训练者之间的桥梁，不仅破坏了GAN攻击者本地生成对抗网络建模及更新过程，同时还允许训练者在一轮训练中与参数服务器、盲化服务器共同完成兼备模型保护特性的随机梯度下降。本发明保留了联合深度学习方法的去中心化和非密文操作的优势，通过引入用户分类及预训练过程，强化了联合深度学习模型初始化方法，提高了模型的鲁棒性。

本发明设计了一种具备模型保护特性的深度学习模型参数更新方法，称之为模型保护随机梯度下降。该方法通过引入矩阵盲化技术实现了对部分系统模型参数及隐私训练数据的盲化。被盲化的系统模型参数具有以下特性：1)不影响训练者的本地训练。该部分参数仅在BP算法误差正向计算过程中被使用到，通过与参数服务器、盲化服务器进行小规模的交互，训练者可以正确执行误差计算，同时误差逆传播过程不受盲化参数影响。2)严重破坏GAN攻击者本地生成对抗网络的建模及更新。攻击者本地构建的判别器模型依赖于从服务器端下载的系统模型，攻击过程中需要时刻与系统模型保持一致，另外生成器模型的更新也要依赖于判别器的输出结果，通过盲化限制了系统模型的使用权即限制了生成对抗网络的本地建模与更新。

综上所述，本发明具有以下特点：

(1)可抵御GAN攻击

本发明通过引入矩阵盲化技术实现了部分系统模型参数以及隐私训练数据的盲化，在不影响深度学习模型联合训练流程的情况下，破坏了GAN攻击者本地生成对抗网络的建模与更新过程，实现了GAN攻击的抵御。

(2)实现系统模型保护

本发明通过引入盲化服务器结合参数服务器分担了训练者的部分计算任务，允许训练者每轮与两个服务器进行少量交互进而完成本地训练，实现了系统模型参数的部分盲化，限制了用户独立使用完整系统模型的能力，进而有效预防恶意用户对系统模型滥用导致的隐私泄漏。对系统模型的保护不仅有利于抵御GAN攻击，也为抵御其他一些针对深度学习模型的特殊隐私攻击诸如模型反演攻击、模型重用攻击提供了帮助。

(3)去中心化和非密文操作

联合深度学习方法让用户隐私数据本地化成为可能可控，相较于不成熟的加密数据集中处理方案，联合深度学习优势明显。本发明没有因为GAN攻击放弃联合学习框架，仍然保留去中心化和非密文操作的优势。

(4)高训练效率与模型精度

本发明通过引入用户分类及预训练过程，强化了联合深度学习模型初始化方法，提高了模型的鲁棒性，引入的矩阵盲化技术也不会造成最终训练模型的精度丢失。

Claims (9)

1.一种可抵御生成对抗网络攻击的联合深度学习方法，其特征在于，具体步骤为：

步骤1、参数服务器PS发起联合深度学习任务，向拥有与联合深度学习任务相关数据的用户发起邀请，并将响应邀请申请加入训练的训练参与者分类标记为忠实用户LU和一般训练者CT，参数服务器PS搜集忠实用户LU的明文训练数据集并由参数服务器PS初始化联合学习系统模型；

步骤2、盲化服务器BS根据联合学习系统模型信息，为参数服务器PS以及每个一般训练者CT各生成一对盲化因子，每对盲化因子包括用于盲化的因子和解除盲化的因子，并将解除盲化的部分发送给各自拥有者；

步骤3、参数服务器PS开启联合学习训练队列，一般训练者CT从盲化服务器处获得解除盲化的因子后加入训练队列；参数服务器PS从训练队列中依次调度一个一般训练者CT_j参与一轮训练，一般训练者CT_j在本地利用私有训练数据，结合参数服务器PS及盲化服务器BS完成一轮的联合学习系统模型训练，并将模型参数更新值发送给参数服务器PS用于更新联合学习系统模型；当联合学习系统模型准确率达到预定阈值或者训练队列为空时，参数服务器PS关闭训练队列完成整个联合深度学习过程。

2.根据权利要求1所述的可抵御生成对抗网络攻击的联合深度学习方法，其特征在于，步骤1中的忠实用户LU为信任参数服务器PS并愿意将本地训练数据集以明文形式共享给参数服务器PS的用户，一般训练者CT是指不愿意将本地数据共享给参数服务器PS并希望在本地完成模型更新并只上传参数更新的联合训练参与者。

3.根据权利要求1所述的可抵御生成对抗网络攻击的联合深度学习方法，其特征在于，参数服务器PS初始化联合学习系统模型的具体方法为：忠实用户LU将其本地训练数据集以明文的形式发送给参数服务器PS，参数服务器PS汇总所有忠实用户的训练数据明文得到数据集D_LU，并根据数据集D_LU确定一个全连接神经网络模型F(W)的结构信息；参数服务器PS初始化全连接神经网络模型F(W)权值参数和结点偏置参数并基于数据集D_LU选择使用批梯度下降或mini-batch梯度下降方法完成全连接神经网络F(W)的结构调整与优化，得到初始化联合学习系统模型。

4.根据权利要求1所述的可抵御生成对抗网络攻击的联合深度学习方法，其特征在于，步骤2中盲化服务器BS获得的联合学习系统模型信息为神经网络第一隐藏层结点的个数n。

5.根据权利要求1所述的可抵御生成对抗网络攻击的联合深度学习方法，其特征在于，步骤2中盲化服务器BS生成盲化因子的具体方法为：

步骤2-1、盲化服务器BS得到联合学习系统模型第一隐藏层结点个数n，在n元置换群S_n上均匀生成一个置换函数π；定义函数f:X→X,|X|＝n，其中X＝{x₁,x₂,...,x_n}，对于给定的一个映射规则：π(i)＝f(i)表示具体置换函数，其中i＝{1,2,...,n}，得到置换函数的反函数为：

步骤2-2、在非空有限域F_q上均匀生成一个非空随机数集合α＝{α₁,α₂,...,α_n}；

步骤2-3、定义克罗内克函数构造盲化矩阵N，其中构造解除盲化矩阵N^-1，其中，N与N^-1即为一对矩阵形式的盲化因子。

6.根据权利要求1所述的可抵御生成对抗网络攻击的联合深度学习方法，其特征在于，步骤3中完成一轮安全本地训练得到各参数梯度更新的具体过程为：

步骤3-1、参数服务器PS将联合学习系统模型的参数分为两部分，一部分为需要盲化处理的参数：包括输入层与第一隐藏层结点之间的权值参数矩阵A和第一隐藏层结点的偏置向量b，其中A_i,j代表第i个输入层结点与第一隐藏层第j个结点之间的权值参数，b_j代表第一隐藏层第j个结点的偏置，另一部分为可明文共享的除A与b以外的其他参数；

步骤3-2、一般用户CT_j与参数服务器PS、盲化服务器BS交互，利用安全三方计算技术得到训练样本x＝(x₁,x₂,...,x_m)关于深度学习全连接神经网络模型第一隐藏层各结点的输出；

步骤3-3、一般训练者CT_j利用步骤3-2得到的第一隐藏层各结点的输出在本地完成基于随机梯度下降法的联合学习系统模型参数更新。

7.根据权利要求1所述的可抵御生成对抗网络攻击的联合深度学习方法，其特征在于，步骤3-2中一般用户CT_j与参数服务器PS、盲化服务器BS交互，利用安全三方计算技术得到训练样本x＝(x₁,x₂,...,x_m)关于深度学习全连接神经网络模型第一隐藏层各结点的输出的具体步骤为：

步骤3-2-1、参数服务器PS生成与b同维的非零随机向量r，计算b-Ar，将A与r发送给盲化服务器BS，将b-Ar、r以及除A与b以外的其他模型参数发送给一般训练者CT_j；

步骤3-2-2、盲化服务器BS得到参数矩阵A后计算：N·M_j·A＝NM_jA以及M_j·Ar＝M_jAr，将NM_jA发送给训练者CT_j,将M_jAr发送给参数服务器PS；

步骤3-2-3、一般训练者CT_j计算：NM_jA(x+r)并将结果发送给参数服务器；

步骤3-2-4、参数服务器本地利用N以及M_jAr验证训练者CT_j是否存在恶意输入x＝0或x＝r，即比较判断NM_jA(x+r)是否等于NM_jAr或NM_jA(r+r)。验证通过则抵消部分盲化计算：N^-1·NM_jA(x+r)＝M_jA(x+r)，结果返还给训练者CT_j；

步骤3-2-5、训练者CT_j去除所有盲化：经激活函数处理得到第一隐藏层各结点的输出。

8.根据权利要求1所述的可抵御生成对抗网络攻击的联合深度学习方法，其特征在于，步骤3-3一般训练者CT_j利用步骤3-2得到的第一隐藏层各结点的输出在本地完成基于随机梯度下降法的联合学习系统模型参数更新的具体方法为：

步骤3-3-1、一般训练者CT_j将第一隐藏层各结点的输出经过激活函数处理之后作为第二隐藏层结点的输入，并逐层计算输出，最终得到训练样本x＝(x₁,x₂,...,x_m)关于联合学习系统模型的输出

步骤3-3-2、一般训练者CT_j结合样本标签y(x)通过误差函数计算误差E；

步骤3-3-3、根据误差E计算关于每个系统模型参数W_i的偏导，即梯度更新：所有参数的梯度更新构成梯度更新向量，其中每个元素与联合学习系统模型参数向量W的每个参数一一对应。

9.根据权利要求1所述的可抵御生成对抗网络攻击的联合深度学习方法，其特征在于，步骤3中每个一般训练者CT_j选择将部分梯度更新值返回给参数服务器PS；对应于每一层的权值参数及偏置参数，训练者设置上传选择比率θ_u，选择梯度更新值较大的前100×θ_u％进行保留，梯度更新向量中的其他梯度更新值置0。参数服务器接收到用户CT_j的梯度更新向量，依据梯度下降参数更新公式：更新系统模型，η为学习率。完成一轮训练后参数服务器PS可以根据测试集测试更新后模型的准确率，并从训练队列中调度下一个训练者参与新一轮联合学习，当联合学习系统模型准确率达到目标阈值或者训练队列为空时，参数服务器PS关闭训练队列，整个联合学习过程结束。