CN115134114B - 基于离散混淆自编码器的纵向联邦学习攻击防御方法 - Google Patents

基于离散混淆自编码器的纵向联邦学习攻击防御方法 Download PDF

Info

Publication number
CN115134114B
CN115134114B CN202210567683.3A CN202210567683A CN115134114B CN 115134114 B CN115134114 B CN 115134114B CN 202210567683 A CN202210567683 A CN 202210567683A CN 115134114 B CN115134114 B CN 115134114B
Authority
CN
China
Prior art keywords
differential model
loss function
label
self
party
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210567683.3A
Other languages
English (en)
Other versions
CN115134114A (zh
Inventor
刘洋
张亚勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210567683.3A priority Critical patent/CN115134114B/zh
Publication of CN115134114A publication Critical patent/CN115134114A/zh
Application granted granted Critical
Publication of CN115134114B publication Critical patent/CN115134114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Error Detection And Correction (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供基于离散混淆自编码器的纵向联邦学习攻击防御方法，包括：在主动方利用自编码器对输入标签进行编码形成软标签，使软标签离散化，通过解码器将软标签解码为解码标签；利用输入标签、软标签和解码标签计算出第一损失函数，直至第一损失函数收敛；主动方与被动方进行纵向联邦学习，主动方包括第一微分模型，被动方包括第二微分模型，利用第一微分模型、第二微分模型和软标签计算出第二损失函数；第二损失函数通过反向传播方法将第一微分模型的更新梯度和第二微分模型的更新梯度进行离散化，将离散化后的更新梯度分别回传至第一微分模型和第二微分模型进行参数更新，输出结果模型，本发明解决了现有系统针对攻击防御能力不足的缺陷。

Description

基于离散混淆自编码器的纵向联邦学习攻击防御方法
技术领域
本发明涉及网络安全技术领域，尤其涉及基于离散混淆自编码器的纵向联邦学习攻击防御方法。
背景技术
目前多个数据主体之间存在信息孤岛的情况，打破信息孤岛即需要进行数据交互，一般进行纵向联邦学习，进行多方的信息交互，拓宽数据特征维度，在进行在纵向联邦学习过程中，设置有主动方和被动方，被动方作为攻击方，主动方作为防守方。在主动方与被动方之间通过相互配合、数据交互，使特征维度拓宽，但是容易出现被动方获取主动方的标签信息，导致主动方信息的输入标签泄密的情况。
被动方作为攻击方发起攻击的过程中，因为与主动方存在数据交互，所以在每个待分的类中都拥有一些已知标签的数据。当纵向联邦学习训练过程结束后，攻击方通过在当前本地模型的最后加一层全连接层，并使用已知标签的数据训练全连接层，使该全连接层作为完善后的模型，可以输出与主动方真实输入标签非常接近的预测标签，以此达到泄露主动方数据标签的攻击效果。或者进行梯度替换的方式进行后门攻击，使经过纵向联邦学习后输出的模型被植入后门，对输出结果造成影响。
对于此类攻击，通常使用混淆自编码器作为防御手段，但是攻击方可以通过已有标签的数据和纵向联邦学习训练后的模型的最终数据训练增加的全连接层，获得一个模仿解码器，并且模仿解码器效果非常类似真实的解码器，能够反向推算出主动方的输入标签。因此使用混淆自编码器作为防御手段面对攻击时，保护防御能力依然不足，存在主动方被成功攻击的风险。
发明内容
本发明提供基于离散混淆自编码器的纵向联邦学习攻击防御方法，用以解决现有系统针对攻击防御能力不足的缺陷，以提升系统应对攻击防御能力。
本发明提供基于离散混淆自编码器的纵向联邦学习攻击防御方法，包括：
在主动方利用自编码器对输入标签进行编码形成软标签，使软标签离散化，通过解码器将软标签解码为解码标签；
利用所述输入标签、软标签和解码标签计算出第一损失函数，并利用第一损失函数对自编码器和解码器进行训练，直至第一损失函数收敛；
将主动方内包括的第一微分模型、离散化后的软标签以及被动方内包括的第二微分模型进行纵向联邦学习，利用第一微分模型、第二微分模型和软标签计算出第二损失函数；
所述第二损失函数通过反向传播方法将第一微分模型的更新梯度和第二微分模型的更新梯度进行离散化，将离散化后的更新梯度分别回传至第一微分模型和第二微分模型进行参数更新，完成主动方与被动方的之间的数据安全交互。
根据本发明提供的一种基于离散混淆自编码器的纵向联邦学习攻击防御方法，所述利用输入标签、软标签和解码标签计算出第一损失函数，并利用第一损失函数对自编码器和解码器进行训练，直至第一损失函数收敛，具体包括：
利用主动方的自编码器对输入标签进行自编码，以形成软标签；
利用解码器对所述软标签进行解码，以形成解码标签；
基于输入标签、软标签和解码标签计算出第一损失函数；
判断所述第一损失函数是否收敛，若所述第一损失函数不收敛，则基于第一损失函数对自编码器和解码器进行训练，得到训练后的自编码器和解码器；
利用训练后的自编码器和解码器再次执行自编码和解码操作，直至所述第一损失函数收敛。
根据本发明提供的一种基于离散混淆自编码器的纵向联邦学习攻击防御方法，所述主动方与被动方进行纵向联邦学习，主动方包括第一微分模型，被动方包括第二微分模型，利用第一微分模型、第二微分模型和软标签计算出第二损失函数，具体包括：
主动方包括第一微分模型Fa(xa，wa)，被动方包括第二微分模型Fp(xp，wp)，主动方向第一微分模型输入第一特征数据wa，得到Ha，被动方向第二微分模型输入第二特征数据wp，得到Hp；
主动方将得到的Ha和Hp相加得到H，利用H与软标签计算第二损失函数。
根据本发明提供的一种基于离散混淆自编码器的纵向联邦学习攻击防御方法，所述第二损失函数通过反向传播方法将第一微分模型的更新梯度和第二微分模型的更新梯度进行离散化，将离散化后的更新梯度分别回传至第一微分模型和第二微分模型进行参数更新，输出结果模型，具体包括：
主动方根据计算得到的第二损失函数，利用第二损失函数的反向传播方法，将第一微分模型Fa(xa，wa)更新的梯度
Figure BDA0003658134450000031
和第二微分模型Fp(xp，wp)更新的梯度
Figure BDA0003658134450000033
分别离散化后得到
Figure BDA0003658134450000032
和
Figure BDA0003658134450000041
将离散化后得到
Figure BDA0003658134450000042
回传至主动方更新第一微分模型参数，将
Figure BDA0003658134450000043
回传至被动方，更新第二微分模型参数，更新完成后输出结果模型。
根据本发明提供的一种基于离散混淆自编码器的纵向联邦学习攻击防御方法，所述主动方根据计算得到的第二损失函数，利用第二损失函数的反向传播技术，将第一微分模型Fa(xa，wa)更新的梯度
Figure BDA0003658134450000044
和第二微分模型Fp(xp，wp)更新的梯度
Figure BDA00036581344500000412
分别离散化后得到
Figure BDA0003658134450000045
和
Figure BDA0003658134450000046
具体包括：
根据
Figure BDA0003658134450000047
中元素的值，寻求符合的高斯分布N(μ,σ)；
选取区间[μ-2σ,μ+2σ]作为离散化值的区间；
将区间等分为W份，获得W+1个区间端点；
对于
Figure BDA0003658134450000048
的每个元素，将每个元素对应到与之距离最近的区间端点上，并修改元素的值为此区间端点的值。
根据本发明提供的基于离散混淆自编码器的纵向联邦学习攻击防御方法，所述主动方与被动方进行纵向联邦学习训练，被动方向主动方发起的攻击包括：标签恢复攻击和梯度替换后门攻击；
标签恢复攻击的防御过程具体包括：
被动方在本地仿造主动方，用虚拟标签来代表原主动方的输入标签，Ha′来替换原主动方的Ha；
执行主动方在正常纵向联邦学习训练中的计算流程，得到伪造的第二损失函数，反向传播得到第二微分模型更新的梯度
Figure BDA0003658134450000049
通过缩小
Figure BDA00036581344500000410
和
Figure BDA00036581344500000411
之间的差距，将虚拟标签只能还原成软标签；
梯度替换后门攻击的防御过程具体包括：
被动方选取将要攻击的样本替换为已知的目标标签，
将替换之后的目标标签发送至主动方参与正常的纵向联邦学习训练的计算流程，得到替换后的第二微分模型更新梯度；
替换后的第二微分模型更新梯度与原正常离散化的第二微分模型更新梯度，更新梯度的区间不同，无法完成后门攻击。
本发明还提供一种基于离散混淆自编码器的纵向联邦学习攻击防御系统，所述系统包括：
训练模块，用于在主动方向防御模型输入标签，基于输入标签计算出第一损失函数，利用第一损失函数对防御模型进行训练，直至第一损失函数收敛；
联邦学习模块，用于所述第一损失函数收敛后，对防御模型进行纵向联邦学习训练；
离散模块，用于所述纵向联邦学习训练过程中，主动方与被动方进行数据交互，主动方对防御模型进行离散化，得到离散化模型；
防御模块，用于利用离散化模型对被动方发起的攻击进行防御。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于离散混淆自编码器的纵向联邦学习攻击防御方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于离散混淆自编码器的纵向联邦学习攻击防御方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于离散混淆自编码器的纵向联邦学习攻击防御方法。
本发明提供了一种基于离散混淆自编码器的纵向联邦学习攻击防御方法，通过自编码器和解码器对输入标签进行编码，计算第一损失函数并对自编码器和解码器进行训练直第一损失函数至收敛，训练好的自编码器编码出的软标签与输入标签的差异非常大，使软标签离散程度大，起到很好的混淆攻击方的效果，被动方难以通过标签恢复攻击反推出主动方的输入标签；并且针对梯度替换后门攻击，由于更新梯度离散化，替换进行攻击的目标标签更新梯度连续化，更新梯度区间不同，无法进行梯度替换，提升了攻击防御效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于离散混淆自编码器的纵向联邦学习攻击防御方法的流程示意图；
图2是本发明提供的第一损失函数方法收敛训练的流程示意图；
图3是本发明提供的纵向联邦学习流程示意图；
图4是本发明提供的基于离散混淆自编码器的纵向联邦学习攻击防御系统整体架构图；
图5是本发明提供的基于MNIST数据集标签恢复攻击防御与主任务精度关系的示意图；
图6是本发明提供的基于MNIST数据集梯度替换后门攻击防御与主任务精度关系的示意图；
图7是本发明提供的基于NUSWIDE数据集标签恢复攻击防御与主任务精度关系的示意图；
图8是本发明提供的基于NUSWIDE数据集梯度替换后门攻击防御与主任务精度关系的示意图；
图9是本发明提供的基于CIFAR20数据集标签恢复攻击防御与主任务精度关系的示意图；
图10是本发明提供的基于CIFAR20数据集梯度替换后门攻击防御与主任务精度关系的示意图；
图11是本发明提供的基于离散混淆自编码器的纵向联邦学习攻击防御系统模块连接示意图；
图12是本发明提供的电子设备的结构示意图。
附图标记：
1110：训练模块；1120：联邦学习模块；1130：离散模块；1140：防御模块；
1210：处理器；1220：通信接口；1230：存储器；1240：通信总线
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的基于离散混淆自编码器的纵向联邦学习攻击防御方法，包括：
S100、在主动方利用自编码器对输入标签进行编码形成软标签，使软标签离散化，通过解码器将软标签解码为解码标签；
在整体防御架构包括主动方和被动方，其中主动方可以作为防御方，被动方可以作为攻击方。输入标签分布在主动方，自编码器分布在主动方的防御模块中，利用自编码器对输入标签进行自编码，形成软标签，软标签也分布在防御模块中。
S200、利用所述输入标签、软标签和解码标签计算出第一损失函数，并利用第一损失函数对自编码器和解码器进行训练，直至第一损失函数收敛；
S300、将主动方内包括的第一微分模型、离散化后的软标签以及被动方内包括的第二微分模型进行纵向联邦学习，利用第一微分模型、第二微分模型和软标签计算出第二损失函数；
S400、第二损失函数通过反向传播方法将第一微分模型的更新梯度和第二微分模型的更新梯度进行离散化，将离散化后的更新梯度分别回传至第一微分模型和第二微分模型进行参数更新，完成主动方与被动方的之间的数据安全交互。
通过对第一损失函数的训练使其收敛后，训练好的自编码器编码出的软标签的离散程度很大，输入标签通过自编码器映射到其他多个软标签的概率比较平均，即输入标签经过自编码可以尽可能以均等的概率映射到其他软标签，起到很好的混淆攻击方的效果。
在主动方向防御模型输入标签，基于输入标签计算出第一损失函数，利用第一损失函数对防御模型进行训练，直至第一损失函数收敛，具体包括：
S101、利用主动方的自编码器对输入标签进行自编码，以形成软标签；
S102、利用解码器对所述软标签进行解码，以形成解码标签；
S103、基于输入标签、软标签和解码标签计算出第一损失函数；
第一损失函数公式为：
L1＝Lcontra-λ1Lentropy
Figure BDA0003658134450000081
Figure BDA0003658134450000082
其中，L1为第一损失函数，Lcontra为第一分量，Lentropy为第二分量，Ylabel为输入标签，
Figure BDA0003658134450000083
为软标签，
Figure BDA0003658134450000084
为解码标签，CE为交叉熵损失函数，Entropy为熵函数，λ1，λ2为可调的超参数。
根据上面公式，利用分布在主动方的输入标签、分布在防御模型中的软标签和解码标签计算出第一损失函数L1。
S104、判断所述第一损失函数是否收敛，若所述第一损失函数不收敛，则基于第一损失函数对自编码器和解码器进行训练，得到训练后的自编码器和解码器；
S105、利用训练后的自编码器和解码器再次执行自编码和解码操作，直至所述第一损失函数收敛。
如果第一损失函数L1不收敛，则需要通过计算出的第一损失函数L1对自编码器和解码器进行训练，即更新自编码器和解码器的参数。对自编码器和解码器进行训练之后，转至步骤1。利用训练后的自编码器对输入标签重新编码，利用训练后的解码器对软标签重新解码，根据重新编码和解码后的软标签和解码标签重新计算第一损失函数L1，迭代循环，直至第一损失函数L1收敛。此时对自编码器和解码器的训练完成。示例性的，也可以设置迭代次数，比如设置epoch＝30，通过迭代epoch＝30次后，使训练终止。
如果第一损失函数L1收敛，则软标签与输入标签的差异大于第一预设差异，说明训练好的自编码器编码出的软标签与输入标签的差异非常大。而且解码标签与输入标签的差异小于第二预设差异，即利用训练好的解码器解码出的解码标签相对于输入标签几乎是无损的，差异非常小。并且软标签的离散程度大于预设离散程度，即训练好的自编码器编码出的软标签的离散程度很大，输入标签通过自编码器映射到其他多个软标签的概率比较平均，即输入标签经过自编码可以尽可能以均等的概率映射到其他软标签，起到很好的混淆攻击方的效果。而且，本发明实施例提供的技术方案在防御攻击的基础上使解码标签与输入标签的差异很小，几乎无损，进而保证了主任务的精度。
通过完成对自编码器和解码器的训练，实现第一损失函数L1的收敛，在针对标签恢复攻击和梯度替换后门攻击防御的基础上，使得解码标签几乎无损的还原为输入标签，而且自编码后形成的软标签与输入标签差异非常大，输入标签通过自编码器映射到其他多个软标签的概率比较平均，软标签的离散程度比较大，攻击方难以准确反向还原出输入标签，无法攻击成功。
第一损失函数收敛后，对防御模型进行纵向联邦学习训练，纵向联邦学习(Vertical Federated Learning，缩写为VFL)：是在两个数据集的用户重叠较多而用户特征重叠较少的情况下，我们把数据集按照纵向即特征维度切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。
纵向联邦学习训练过程中，设置有两部分数据特征xa和xp分别分布在主动方和被动方。主动方和被动方分别持有第一微分模型Fa(xa，wa)和第二微分模型Fp(xp，Wp)，其中Featuresxa为第一微分模型Fa(xa，wa)提供数据特征xa，Featuresxp为第二微分模型Fp(xp，Wp)提供数据特征xp，wa和Wp分别为第一微分模型Fa(xa，wa)和第二微分模型Fp(xp，Wp)的参数。第一微分模型Fa(xa，wa)和第二微分模型Fp(xp，Wp)结构相同，例如：都用的相同的卷积神经网络resnet18，但是模型参数不共享，即wa和Wp是私有的。
纵向联邦学习训练具体包括：
主动方包括第一微分模型Fa(xa，wa)，被动方包括第二微分模型Fp(xp，Wp)，主动方向第一微分模型输入第一特征数据xa，得到Ha，被动方向第二微分模型输入第二特征数据xp，得到Hp，被动方将Hp发送给主动方；
主动方将得到的Ha和Hp相加得到H，利用H与输入标签或软标签计算第二损失函数L2；
当没有攻击的时候，不需要防御，利用输入标签计算第二损失函数L2；当有标签恢复攻击或梯度替换后门攻击的时候，需要进行防御，利用防御模型中由输入标签自编码形成的软标签计算第二损失函数L2；
主动方根据计算得到的第二损失函数L2，利用第二损失函数L2的反向传播技术，将第一微分模型Fa(xa，wa)更新的梯度
Figure BDA0003658134450000111
和第二微分模型Fp(xp，wp)更新的梯度
Figure BDA0003658134450000112
分别离散化后得到
Figure BDA0003658134450000113
和
Figure BDA0003658134450000114
将离散化后得到
Figure BDA0003658134450000115
回传至主动方更新第一微分模型参数wa，将
Figure BDA0003658134450000116
回传至被动方，更新第二微分模型参数wp。
将第一微分模型Fa(xa，wa)更新的梯度
Figure BDA0003658134450000117
和第二微分模型Fp(xp，wp)更新的梯度
Figure BDA0003658134450000118
分别离散化后得到
Figure BDA0003658134450000119
和
Figure BDA00036581344500001110
具体包括：
根据
Figure BDA00036581344500001111
中元素的值，寻求符合的高斯分布N(μ，σ)；
选取区间[μ-2σ，μ+2σ]作为离散化值的区间；
将区间等分为W份，获得W+1个区间端点；
对于
Figure BDA00036581344500001112
的每个元素，将每个元素对应到与之距离最近的区间端点上，并修改元素的值为此区间端点的值。
将第一微分模型和第二微分模型离散化处理后，面对被动方的攻击时，有效防御标签恢复攻击和梯度替换后门攻击，降低两种攻击的成功率，起到良好的防御效果。
利用离散化模型对被动方发起的攻击进行防御，具体包括：标签恢复攻击和梯度替换后门攻击。
在标签恢复攻击过程中，被动方在本地仿造一个主动方，用虚拟标签Y′label来代表原主动方的输入标签Ylabel，Ha′来代表原主动方的Ha。然后执行主动方在正常VFL训练模块中的计算流程，得到一个模型更新的梯度
Figure BDA0003658134450000121
通过匹配
Figure BDA0003658134450000122
和
Figure BDA0003658134450000123
来将虚拟标签Y′label还原成输入标签Ylabel。标签恢复攻击具体包括：
被动方仿造输入标签Ylabel和Ha随机生成虚拟标签Y′label和H′a。
被动方将Hp和H′a相加，得到H′，并利用虚拟标签Y′label计算仿造的第二损失函数
Figure BDA00036581344500001210
被动方根据计算得到仿造的第二损失函数
Figure BDA00036581344500001211
利用反向传播技术，得到模型更新的梯度
Figure BDA0003658134450000124
计算
Figure BDA0003658134450000125
和
Figure BDA0003658134450000126
之间的差距D，并通过反向传播算法不断优化Ha′和虚拟标签Y′label，详见以下公式：
Figure BDA0003658134450000127
由于离散化模型的软标签与输入标签差异大，被动方通过虚拟标签只能还原出软标签，而软标签经过离散化后与输入标签差距很大，所以无法准确还原出输入标签，则无法完成对主动方的进攻，实现主动方的攻击防御。
在梯度替换后门攻击过程中，设定了几类后门攻击的目标标签，由于被动方与主动方存在数据交互，所以被动方会已知一些样本Dtarget，其标签属于目标标签。此外，从训练集中选取要攻击的样本构成Dpoison。梯度替换后门攻击具体包括：
通过计算得到Hp之后，对于每个
Figure BDA0003658134450000128
也即图4中的Hpoison，将其替换为
Figure BDA0003658134450000129
也即图4中的Htarget，同时记录下元组＜i，j＞，对每个替换过程进行记录，然后将替换之后的Hp发送给主动方参与正常的纵向联邦学习训练；
通过反向传播被动方接收更新梯度
Figure BDA0003658134450000131
对于所有之前记录下的<i,j>，将
Figure BDA0003658134450000132
替换为
Figure BDA0003658134450000133
其中γ是超参数。
由于对第二微分模型进行离散化处理，所以第二微分模型更新的梯度
Figure BDA0003658134450000134
进行离散化后得到的
Figure BDA0003658134450000135
替换后的梯度生成的更新梯度是连续的，并非是离散的，与原第二微分模型更新梯度不同，无法完成梯度
Figure BDA0003658134450000136
的准确替换，导致后门攻击无效，实现了主动方的攻击防御。
本发明公开的一种基于离散混淆自编码器的纵向联邦学习攻击防御方法，首先利用自编码器对输入标签进行自编码形成软标签，然后利用解码器对软标签进行解码形成解码标签，再根据输入标签、软标签和解码标签计算第一损失函数。如果第一损失函数不收敛，则需要通过计算出的第一损失函数对自编码器和解码器进行训练，利用训练后的自编码器对输入标签重新自编码，利用训练后的解码器对软标签重新解码，根据重新自编码和解码出的软标签和解码标签重新计算第一损失函数，迭代循环，直至第一损失函数收敛。如果第一损失函数收敛，则说明利用训练好的解码器解码出的解码标签相对于输入标签几乎是无损的，而且训练好的自编码器编码出的软标签与输入标签的差异非常大。例如：输入标签为Ylabel[0,0,1]，解码标签无损的输出为
Figure BDA0003658134450000137
软标签为
Figure BDA0003658134450000138
并且训练好的自编码器编码出的软标签的离散程度很大，即输入标签通过自编码器映射到其他多个软标签的概率比较平均，输入标签通过训练好的自编码器可以映射为多个不同的软标签，起到很好的混淆攻击方的效果。而且在防御的基础上解码标签与输入标签的差异很小，几乎无损，进而保证了主任务的精度。
如图5-图10所示，曲线越往右下方，防御效果越好，对主任务精度影响越小。通过对比，可以看出通过对自编码器和解码器进行训练，使第一损失函数L1收敛，能够保证在主任务训练精度的情况下，有效防御标签恢复攻击和梯度替换后门攻击，降低两种攻击的成功率，起到良好的防御效果。通过在上述数据安全检测平台上使用该技术，可以更好地保障联邦学习中用户数据的隐私安全.
参考图11，本发明还公开了一种基于离散混淆自编码器的纵向联邦学习攻击防御系统，所述系统包括：
编码模块，用于主动方利用自编码器对输入标签进行编码形成软标签，使软标签离散化，通过解码器将软标签解码为解码标签；
训练模块，用于利用所述输入标签、软标签和解码标签计算出第一损失函数，并利用第一损失函数对自编码器和解码器进行训练，直至第一损失函数收敛；
纵向联邦学习模块，用于主动方与被动方进行纵向联邦学习，主动方包括第一微分模型，被动方包括第二微分模型，利用第一微分模型、第二微分模型和软标签计算出第二损失函数；
离散模块，用于将所述第二损失函数通过反向传播方法将第一微分模型的更新梯度和第二微分模型的更新梯度进行离散化，将离散化后的更新梯度分别回传至第一微分模型和第二微分模型进行参数更新，输出结果模型。
编码模块中，利用防御模型中的自编码器对输入标签进行自编码，以形成软标签；利用解码器对所述软标签进行解码，以形成解码标签；
训练模块基于输入标签、软标签和解码标签计算出第一损失函数；
判断所述第一损失函数是否收敛，若所述第一损失函数不收敛，则基于第一损失函数对自编码器和解码器进行训练，得到训练后的自编码器和解码器；
利用训练后的自编码器和解码器再次执行自编码和解码操作，直至第一损失函数收敛。
训练好的自编码器编码出的软标签的离散程度很大，即输入标签通过自编码器映射到其他多个软标签的概率比较平均，输入标签通过训练好的自编码器可以映射为多个不同的软标签，起到很好的混淆攻击方的效果。而且在防御的基础上解码标签与输入标签的差异很小，几乎无损，进而保证了主任务的精度。
在第一损失函数收敛后，主动方与被动方进行纵向联邦学习训练，具体包括：
主动方包括第一微分模型Fa(xa，wa)，被动方包括第二微分模型Fp(xp，wp)，主动方向第一微分模型输入第一特征数据xa，得到Ha，被动方向第二微分模型输入第二特征数据xp，得到Hp；
主动方将得到的Ha和Hp相加得到H，利用H与输入标签或软标签计算第二损失函数；
主动方根据计算得到的第二损失函数，利用第二损失函数的反向传播技术，将第一微分模型Fa(xa，wa)更新的梯度
Figure BDA0003658134450000151
和第二微分模型Fp(xp，wp)更新的梯度
Figure BDA0003658134450000152
分别离散化后得到
Figure BDA0003658134450000153
和
Figure BDA0003658134450000154
将离散化后得到
Figure BDA0003658134450000155
回传至主动方更新第一微分模型参数，将
Figure BDA0003658134450000156
回传至被动方，更新第二微分模型参数。
通过离散模块将第一微分模型Fa(xa，wa)更新的梯度
Figure BDA0003658134450000157
和第二微分模型Fp(xp，wp)更新的梯度
Figure BDA0003658134450000158
分别离散化后得到
Figure BDA0003658134450000159
和
Figure BDA00036581344500001510
具体包括：
根据
Figure BDA00036581344500001511
中元素的值，寻求符合的高斯分布N(μ，σ)；
选取区间[μ-2σ，μ+2σ]作为离散化值的区间；
将区间等分为W份，获得W+1个区间端点；
对于
Figure BDA0003658134450000161
的每个元素，将每个元素对应到与之距离最近的区间端点上，并修改元素的值为此区间端点的值。
对被动方发起的攻击包括：标签恢复攻击和梯度替换后门攻击；
针对标签恢复攻击，被动方在本地仿造主动方，用虚拟标签来代表原主动方的输入标签，Ha′来替换原主动方的Ha；
执行主动方在正常纵向联邦学习训练中的计算流程，得到第二微分模型更新的梯度
Figure BDA0003658134450000162
通过匹配
Figure BDA0003658134450000163
和
Figure BDA0003658134450000164
尝试将虚拟标签还原成输入标签；
离散化模型的软标签与输入标签差异大，使虚拟标签无法还原为输入标签，完成攻击防御。
针对梯度替换后门攻击，被动方从已有数据中选取目标标签和预攻击样本；
通过梯度替换单元将预攻击样本替换为目标标签，替换完成后参与正常纵向联邦学习训练；
通过反向传播，被动方接收更新梯度
Figure BDA0003658134450000165
将
Figure BDA0003658134450000166
替换为
Figure BDA0003658134450000167
第二微分模型更新的梯度
Figure BDA0003658134450000168
进行离散化后得到的
Figure BDA0003658134450000169
无法完成梯度
Figure BDA00036581344500001610
的准确替换，完成攻击防御。
实现了主动方对被动方发起的标签恢复攻击和梯度替换攻击的防御，提升防护能力。
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行基于离散混淆自编码器的纵向联邦学习攻击防御方法，该方法包括：在主动方向防御模型输入标签，基于输入标签计算出第一损失函数，利用第一损失函数对防御模型进行训练，直至第一损失函数收敛；
所述第一损失函数收敛后，对防御模型进行纵向联邦学习训练；
所述纵向联邦学习训练过程中，主动方与被动方进行数据交互，主动方对防御模型进行离散化，得到离散化模型；
利用离散化模型对被动方发起的攻击进行防御。
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于离散混淆自编码器的纵向联邦学习攻击防御方法，该方法包括：在主动方向防御模型输入标签，基于输入标签计算出第一损失函数，利用第一损失函数对防御模型进行训练，直至第一损失函数收敛；
所述第一损失函数收敛后，对防御模型进行纵向联邦学习训练；
所述纵向联邦学习训练过程中，主动方与被动方进行数据交互，主动方对防御模型进行离散化，得到离散化模型；
利用离散化模型对被动方发起的攻击进行防御。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于离散混淆自编码器的纵向联邦学习攻击防御方法，该方法包括：在主动方向防御模型输入标签，基于输入标签计算出第一损失函数，利用第一损失函数对防御模型进行训练，直至第一损失函数收敛；
所述第一损失函数收敛后，对防御模型进行纵向联邦学习训练；
所述纵向联邦学习训练过程中，主动方与被动方进行数据交互，主动方对防御模型进行离散化，得到离散化模型；
利用离散化模型对被动方发起的攻击进行防御。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.基于离散混淆自编码器的纵向联邦学习攻击防御方法，其特征在于，包括：
在主动方利用自编码器对输入标签进行编码形成软标签，使软标签离散化，通过解码器将软标签解码为解码标签；
利用所述输入标签、软标签和解码标签计算出第一损失函数，并利用第一损失函数对自编码器和解码器进行训练，直至第一损失函数收敛；
将主动方内包括的第一微分模型、离散化后的软标签以及被动方内包括的第二微分模型进行纵向联邦学习，利用第一微分模型、第二微分模型和软标签计算出第二损失函数；
所述第二损失函数通过反向传播方法将第一微分模型的更新梯度和第二微分模型的更新梯度进行离散化，将离散化后的更新梯度分别回传至第一微分模型和第二微分模型进行参数更新，完成主动方与被动方的之间的数据安全交互。
2.根据权利要求1所述的基于离散混淆自编码器的纵向联邦学习攻击防御方法，其特征在于，所述利用输入标签、软标签和解码标签计算出第一损失函数，并利用第一损失函数对自编码器和解码器进行训练，直至第一损失函数收敛，具体包括：
利用主动方的自编码器对输入标签进行自编码，以形成软标签；
利用解码器对所述软标签进行解码，以形成解码标签；
基于输入标签、软标签和解码标签计算出第一损失函数；
判断所述第一损失函数是否收敛，若所述第一损失函数不收敛，则基于第一损失函数对自编码器和解码器进行训练，得到训练后的自编码器和解码器；
利用训练后的自编码器和解码器再次执行自编码和解码操作，直至所述第一损失函数收敛。
3.根据权利要求1所述的基于离散混淆自编码器的纵向联邦学习攻击防御方法，其特征在于，所述主动方与被动方进行纵向联邦学习，主动方包括第一微分模型，被动方包括第二微分模型，利用第一微分模型、第二微分模型和软标签计算出第二损失函数，具体包括：
主动方包括第一微分模型Fa(xa，wa)，被动方包括第二微分模型Fp(xp，wp)，主动方向第一微分模型输入第一特征数据wa，得到Ha，被动方向第二微分模型输入第二特征数据wp，得到Hp；
主动方将得到的Ha和Hp相加得到H，利用H与软标签计算第二损失函数。
4.根据权利要求1所述的基于离散混淆自编码器的纵向联邦学习攻击防御方法，其特征在于，所述第二损失函数通过反向传播方法将第一微分模型的更新梯度和第二微分模型的更新梯度进行离散化，将离散化后的更新梯度分别回传至第一微分模型和第二微分模型进行参数更新，输出结果模型，具体包括：
主动方根据计算得到的第二损失函数，利用第二损失函数的反向传播方法，将第一微分模型Fa(xa，wa)更新的梯度
Figure FDA0004053788570000021
和第二微分模型Fp(xp，wp)更新的梯度
Figure FDA0004053788570000022
分别离散化后得到
Figure FDA0004053788570000023
和
Figure FDA0004053788570000024
将离散化后得到
Figure FDA0004053788570000025
回传至主动方更新第一微分模型参数，将
Figure FDA0004053788570000026
回传至被动方，更新第二微分模型参数，更新完成后输出结果模型。
5.根据权利要求4所述的基于离散混淆自编码器的纵向联邦学习攻击防御方法，其特征在于，所述主动方根据计算得到的第二损失函数，利用第二损失函数的反向传播技术，将第一微分模型Fa(xa，wa)更新的梯度
Figure FDA0004053788570000027
和第二微分模型Fp(xp，wp)更新的梯度
Figure FDA0004053788570000028
分别离散化后得到
Figure FDA0004053788570000029
和
Figure FDA00040537885700000210
具体包括：
根据
Figure FDA0004053788570000035
中元素的值，寻求符合的高斯分布N(μ,σ)；
选取区间[μ-2σ,μ+2σ]作为离散化值的区间；
将区间等分为W份，获得W+1个区间端点；
对于
Figure FDA0004053788570000031
的每个元素，将每个元素对应到与之距离最近的区间端点上，并修改元素的值为此区间端点的值。
6.根据权利要求1所述的基于离散混淆自编码器的纵向联邦学习攻击防御方法，其特征在于，所述主动方与被动方进行纵向联邦学习，被动方向主动方发起的攻击包括：标签恢复攻击和梯度替换后门攻击；
标签恢复攻击的防御过程具体包括：
被动方在本地仿造主动方，用虚拟标签来代表原主动方的输入标签，Ha′来替换原主动方的Ha；
执行主动方在正常纵向联邦学习训练中的计算流程，得到伪造的第二损失函数，反向传播得到第二微分模型更新的梯度
Figure FDA0004053788570000032
通过缩小
Figure FDA0004053788570000033
和
Figure FDA0004053788570000034
之间的差距，将虚拟标签只能还原成软标签；
梯度替换后门攻击的防御过程具体包括：
被动方选取将要攻击的样本替换为已知的目标标签，
将替换之后的目标标签发送至主动方参与正常的纵向联邦学习训练的计算流程，得到替换后的第二微分模型更新梯度；
替换后的第二微分模型更新梯度与原正常离散化的第二微分模型更新梯度，更新梯度的区间不同，无法完成后门攻击。
7.基于离散混淆自编码器的纵向联邦学习攻击防御系统，其特征在于，所述系统包括：
编码模块，用于主动方利用自编码器对输入标签进行编码形成软标签，使软标签离散化，通过解码器将软标签解码为解码标签；
训练模块，用于利用所述输入标签、软标签和解码标签计算出第一损失函数，并利用第一损失函数对自编码器和解码器进行训练，直至第一损失函数收敛；
纵向联邦学习模块，用于主动方与被动方进行纵向联邦学习，主动方包括第一微分模型，被动方包括第二微分模型，利用第一微分模型、第二微分模型和软标签计算出第二损失函数；
离散模块，用于将所述第二损失函数通过反向传播方法将第一微分模型的更新梯度和第二微分模型的更新梯度进行离散化，将离散化后的更新梯度分别回传至第一微分模型和第二微分模型进行参数更新，输出结果模型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于离散混淆自编码器的纵向联邦学习攻击防御方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于离散混淆自编码器的纵向联邦学习攻击防御方法。
CN202210567683.3A 2022-05-23 2022-05-23 基于离散混淆自编码器的纵向联邦学习攻击防御方法 Active CN115134114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210567683.3A CN115134114B (zh) 2022-05-23 2022-05-23 基于离散混淆自编码器的纵向联邦学习攻击防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210567683.3A CN115134114B (zh) 2022-05-23 2022-05-23 基于离散混淆自编码器的纵向联邦学习攻击防御方法

Publications (2)

Publication Number Publication Date
CN115134114A CN115134114A (zh) 2022-09-30
CN115134114B true CN115134114B (zh) 2023-05-02

Family

ID=83376815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210567683.3A Active CN115134114B (zh) 2022-05-23 2022-05-23 基于离散混淆自编码器的纵向联邦学习攻击防御方法

Country Status (1)

Country Link
CN (1) CN115134114B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024087146A1 (en) * 2022-10-28 2024-05-02 Huawei Technologies Co., Ltd. Systems and methods for executing vertical federated learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016697A (zh) * 2020-08-27 2020-12-01 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN112464290A (zh) * 2020-12-17 2021-03-09 浙江工业大学 一种基于自编码器的垂直联邦学习防御方法
CN113411329A (zh) * 2021-06-17 2021-09-17 浙江工业大学 基于dagmm的联邦学习后门攻击防御方法
CN113726823A (zh) * 2021-11-03 2021-11-30 清华大学 一种防御方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016697A (zh) * 2020-08-27 2020-12-01 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN112464290A (zh) * 2020-12-17 2021-03-09 浙江工业大学 一种基于自编码器的垂直联邦学习防御方法
CN113411329A (zh) * 2021-06-17 2021-09-17 浙江工业大学 基于dagmm的联邦学习后门攻击防御方法
CN113726823A (zh) * 2021-11-03 2021-11-30 清华大学 一种防御方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115134114A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN109859288B (zh) 基于生成对抗网络的图像上色方法及装置
US20210391873A1 (en) Neural network-based quantum error correction decoding method and apparatus, and chip
CN111178549B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN113408743B (zh) 联邦模型的生成方法、装置、电子设备和存储介质
EP3114540B1 (en) Neural network and method of neural network training
CN111523668B (zh) 基于差分隐私的数据生成系统的训练方法及装置
CN112541593B (zh) 基于隐私保护的联合训练业务模型的方法及装置
CN113297573A (zh) 一种基于gan模拟数据生成的垂直联邦学习防御方法和装置
CN111737755A (zh) 业务模型的联合训练方法及装置
CN115134114B (zh) 基于离散混淆自编码器的纵向联邦学习攻击防御方法
CN113726823B (zh) 一种防御方法、装置、电子设备及存储介质
CN109769080A (zh) 一种基于深度学习的加密图像破解方法及系统
CN113763268B (zh) 人脸图像盲修复方法及系统
CN115795406A (zh) 一种可逆的人脸匿名化处理系统
CN112580728A (zh) 一种基于强化学习的动态链路预测模型鲁棒性增强方法
CN117574429A (zh) 一种边缘计算网络中隐私强化的联邦深度学习方法
CN117424754B (zh) 针对集群联邦学习攻击的防御方法、终端及存储介质
CN114003961A (zh) 一种具有隐私性保护的深度神经网络推理方法
CN112487479A (zh) 一种训练隐私保护模型的方法、隐私保护方法及装置
CN116091891A (zh) 图像识别方法及系统
CN115118462B (zh) 一种基于卷积增强链的数据隐私保护方法
CN116341636A (zh) 联邦学习方法、设备、系统和存储介质
CN114492837A (zh) 联邦模型训练方法及装置
CN115130568A (zh) 支持多参与方的纵向联邦Softmax回归方法及系统
CN116074065A (zh) 基于互信息的纵向联邦学习攻击防御方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant