CN113726823B - 一种防御方法、装置、电子设备及存储介质 - Google Patents

一种防御方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113726823B
CN113726823B CN202111291143.9A CN202111291143A CN113726823B CN 113726823 B CN113726823 B CN 113726823B CN 202111291143 A CN202111291143 A CN 202111291143A CN 113726823 B CN113726823 B CN 113726823B
Authority
CN
China
Prior art keywords
label
loss function
tag
self
soft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111291143.9A
Other languages
English (en)
Other versions
CN113726823A (zh
Inventor
刘洋
聂再清
刘文涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111291143.9A priority Critical patent/CN113726823B/zh
Publication of CN113726823A publication Critical patent/CN113726823A/zh
Application granted granted Critical
Publication of CN113726823B publication Critical patent/CN113726823B/zh
Priority to PCT/CN2022/105120 priority patent/WO2023077857A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Storage Device Security (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种防御方法、装置及电子设备，涉及攻击防御技术领域，在防御标签恢复攻击和梯度替换后门攻击的基础上，保证主任务的精度不受影响。所述防御方法包括：基于自编码器对输入标签进行自编码，形成软标签。基于解码器对软标签进行解码，形成解码标签。基于输入标签、软标签和解码标签计算第一损失函数。若第一损失函数不收敛，则基于第一损失函数对自编码器和解码器进行训训，获得训练后的自编码器和解码器，并转至上述步骤，进行迭代循环。所述防御装置应用于上述防御方法。所述防御方法应用于电子设备中。

Description

一种防御方法、装置、电子设备及存储介质
技术领域
本发明涉及攻击防御技术领域，具体而言，涉及一种防御方法、装置、电子设备及存储介质。
背景技术
针对纵向联邦学习中的基于梯度的标签恢复攻击和梯度替换攻击，现有保护技术主要是利用差分隐私和梯度稀疏化的措施来防御。上述两种防御方法虽然能够在一定程度上防御攻击，但同时也较大地损失了主任务模型的精度。
发明内容
本发明的目的在于提供一种防御方法、装置、电子设备及存储介质。在防御上述攻击的同时，能够保证主任务的精度。
为了实现上述目的，本发明提供一种防御方法，该方法包括：
步骤1：基于自编码器对输入标签进行自编码，以形成软标签；
步骤2：基于解码器对软标签进行解码，以形成解码标签；
步骤3：基于输入标签、软标签和解码标签计算第一损失函数；
步骤4：判断第一损失函数是否收敛；
步骤5：若否，则基于第一损失函数对自编码器和解码器进行训练，获得训练后的自编码器和解码器，并转至步骤1。
优选地，第一损失函数公式为：
Figure 100002_DEST_PATH_IMAGE001
其中，
Figure 100002_DEST_PATH_IMAGE002
为第一损失函数，
Figure DEST_PATH_IMAGE003
为第一分量，
Figure 100002_DEST_PATH_IMAGE004
为第二分量，
Figure DEST_PATH_IMAGE005
为可调的超参数。
优选地，第一分量公式为：
Figure 100002_DEST_PATH_IMAGE006
其中，
Figure 333721DEST_PATH_IMAGE003
为第一分量，
Figure 100002_DEST_PATH_IMAGE007
为输入标签，
Figure 100002_DEST_PATH_IMAGE008
为软标签，
Figure DEST_PATH_IMAGE009
为解码标签，CE为交叉熵损失函数，
Figure 100002_DEST_PATH_IMAGE010
为可调的超参数。
优选地，第二分量公式为：
Figure DEST_PATH_IMAGE011
其中，
Figure 678291DEST_PATH_IMAGE004
为第二分量，
Figure 100002_DEST_PATH_IMAGE012
为熵函数。
优选地，软标签与输入标签的差异大于第一预设差异；
解码标签与输入标签的差异小于第二预设差异；
软标签的离散程度大于预设离散程度。
与现有技术相比，本发明提供的一种防御方法中，首先利用自编码器对输入标签进行自编码形成软标签，然后利用解码器对软标签进行解码形成解码标签，接着根据输入标签、软标签和解码标签计算第一损失函数。如果第一损失函数不收敛，则需要通过计算出的第一损失函数对自编码器和解码器进行训练，利用训练后的自编码器对输入标签重新自编码，利用训练后的解码器对软标签重新解码，根据重新自编码和解码出的软标签和解码标签重新计算第一损失函数，迭代循环，直至第一损失函数收敛。如果第一损失函数收敛，则说明利用训练好的解码器解码出的解码标签相对于输入标签几乎是无损的，而且训练好的自编码器编码出的软标签与输入标签的差异非常大，并且训练好的自编码器编码出的软标签的离散程度很大，即输入标签通过自编码器映射到其他多个软标签的概率比较平均，输入标签通过训练好的自编码器可以映射为多个不同的软标签，起到很好的混淆攻击方的效果。而且在防御的基础上解码标签与输入标签的差异很小，几乎无损，进而保证了主任务的精度。
本发明还提供一种防御装置，该装置包括：
编码模块，用于基于自编码器对输入标签进行自编码，以形成软标签;
解码模块，用于基于解码器对软标签进行解码，以形成解码标签；
第一损失函数计算模块，用于基于输入标签、软标签和解码标签计算第一损失函数；
判断收敛模块，用于判断第一损失函数是否收敛；
训练模块，用于当第一损失函数不收敛时，基于第一损失函数对自编码器和解码器进行训练，并基于训练后的自编码器更新软标签，基于训练后的解码器更新解码标签，重新计算第一损失函数。
优选地，第一损失函数公式为：
Figure DEST_PATH_IMAGE013
其中，
Figure 582662DEST_PATH_IMAGE002
为第一损失函数，
Figure 915554DEST_PATH_IMAGE003
为第一分量，
Figure 916877DEST_PATH_IMAGE004
为第二分量，
Figure 677023DEST_PATH_IMAGE005
为可调的超参数。
优选地，所述第一分量公式为：
Figure 944056DEST_PATH_IMAGE006
其中，
Figure 332837DEST_PATH_IMAGE003
为第一分量，
Figure 939398DEST_PATH_IMAGE007
为输入标签，
Figure 119713DEST_PATH_IMAGE008
为软标签，
Figure 874042DEST_PATH_IMAGE009
为解码标签，CE为交叉熵损失函数，
Figure 548737DEST_PATH_IMAGE010
为可调的超参数。
所述第二分量公式为：
Figure 259073DEST_PATH_IMAGE011
其中，
Figure 688918DEST_PATH_IMAGE004
为第二分量，
Figure 868226DEST_PATH_IMAGE012
为熵函数。
与现有技术相比，本发明提供的一种防御装置的有益效果与上述技术方案所述一种防御方法的有益效果相同，在此不做赘述。
本发明还提供一种电子设备，该电子设备包括总线、收发器（显示单元/输出单元、输入单元）、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，收发器、存储器和处理器通过总线相连，计算机程序被处理器执行时实现上述任一项所述的一种防御方法中的步骤。
与现有技术相比，本发明提供的一种电子设备的有益效果与上述技术方案所述一种防御方法的有益效果相同，在此不做赘述。
本发明还提供一种计算机可读存储介质，该存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一项所述的一种防御方法中的步骤。
与现有技术相比，本发明提供的一种计算机可读存储介质的有益效果与上述技术方案所述一种防御方法的有益效果相同，在此不做赘述。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种防御方法的流程图；
图2示出了本发明实施例所提供的攻击防御架构图；
图3示出了本发明实施例所提供的基于MNIST数据集标签恢复攻击防御与主任务精度关系的示意图；
图4示出了本发明实施例所提供的基于MNIST数据集梯度替换后门攻击防御与主任务精度关系的示意图；
图5示出了本发明实施例所提供的基于NUSWIDE数据集标签恢复攻击防御与主任务精度关系的示意图；
图6示出了本发明实施例所提供的基于NUSWIDE数据集梯度替换后门攻击防御与主任务精度关系的示意图；
图7示出了本发明实施例所提供的基于CIFAR20数据集标签恢复攻击防御与主任务精度关系的示意图；
图8示出了本发明实施例提供的基于CIFAR20数据集梯度替换后门攻击防御与主任务精度关系的示意图；
图9示出了本发明实施例所提供的一种攻击防御装置的示意图；
图10示出了本发明实施例所提供的一种用于执行一种防御方法的电子设备示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在介绍本申请实施例之前首先对本申请实施例中涉及到的相关名词作如下释义：
纵向联邦学习（Vertical Federated Learning，缩写为VFL）：是在两个数据集的用户重叠较多而用户特征重叠较少的情况下，我们把数据集按照纵向（即特征维度）切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。
混淆自编码器（Confusing AutoEncoder，缩写为CoAE）：是本申请所采用的自编码器和解码器的统称。
图1示出了本发明实施例所提供的一种防御方法的流程图。图2示出了本发明实施例所提供的攻击防御架构图。为了更好的理解本防御机制的原理，下面结合图1和图2介绍各部分的运行机制。如图1所示，该方法包括：
步骤1：基于自编码器对输入标签进行自编码，以形成软标签。
如图2所示，该防御架构图包括主动方和被动方，其中主动方可以作为防御方，被动方可以作为攻击方。输入标签分布在主动方。自编码器分布在主动方的防御模块中，利用自编码器对输入标签进行自编码，形成软标签。应理解，软标签也分布在防御模块中。需要说明的是，这里的自编码器和解码器可以统称为混淆自编码器CoAE。
步骤2：基于解码器对软标签进行解码，以形成解码标签。
如图2所示，利用解码器对软标签进行解码，形成解码标签。应理解的是，解码器和解码标签也分布在防御模块。
步骤3：基于输入标签、软标签和解码标签计算第一损失函数。
需要说明的是，第一损失函数公式为：
Figure 330300DEST_PATH_IMAGE001
Figure 911454DEST_PATH_IMAGE006
Figure 246621DEST_PATH_IMAGE011
其中，
Figure 165423DEST_PATH_IMAGE002
为第一损失函数，
Figure 181920DEST_PATH_IMAGE003
为第一分量，
Figure 866848DEST_PATH_IMAGE004
为第二分量，
Figure 638495DEST_PATH_IMAGE007
为输入标签，
Figure DEST_PATH_IMAGE014
为软标签，
Figure 713768DEST_PATH_IMAGE009
为解码标签，CE为交叉熵损失函数，
Figure 596273DEST_PATH_IMAGE012
为熵函数，
Figure 886440DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE015
为可调的超参数。
根据上面公式，利用分布在主动方的输入标签、分布在防御模块中的软标签和解码标签计算出第一损失函数
Figure 953622DEST_PATH_IMAGE002
。
步骤4：判断第一损失函数
Figure 391557DEST_PATH_IMAGE002
是否收敛。
步骤5：若否，则基于第一损失函数
Figure 2054DEST_PATH_IMAGE002
对自编码器和解码器进行训练，获得训练后的自编码器和解码器，并转至步骤1。
需要说明的是，如果第一损失函数
Figure 412307DEST_PATH_IMAGE002
不收敛，则需要通过计算出的第一损失函数
Figure 712707DEST_PATH_IMAGE002
对自编码器和解码器进行训练，即更新自编码器和解码器的参数。对自编码器和解码器进行训练之后，转至步骤1。利用训练后的自编码器对输入标签重新编码，利用训练后的解码器对软标签重新解码，根据重新编码和解码后的软标签和解码标签重新计算第一损失函数
Figure 637938DEST_PATH_IMAGE002
，迭代循环，直至第一损失函数
Figure 799929DEST_PATH_IMAGE002
收敛。此时对自编码器和解码器的训练完成。示例性的，也可以设置迭代次数，比如设置epoch=30，通过迭代epoch=30次后，使训练终止。
作为一种可能的实现方式，如果第一损失函数
Figure 48376DEST_PATH_IMAGE002
收敛，则软标签与输入标签的差异大于第一预设差异，说明训练好的自编码器编码出的软标签与输入标签的差异非常大。而且解码标签与输入标签的差异小于第二预设差异，即利用训练好的解码器解码出的解码标签相对于输入标签几乎是无损的，差异非常小。并且软标签的离散程度大于预设离散程度，即训练好的自编码器编码出的软标签的离散程度很大，输入标签通过自编码器映射到其他多个软标签的概率比较平均，即输入标签经过自编码可以尽可能以均等的概率映射到其他软标签，起到很好的混淆攻击方的效果。而且，本发明实施例提供的技术方案在防御攻击的基础上使解码标签与输入标签的差异很小，几乎无损，进而保证了主任务的精度。
需要说明的是，通过上述步骤1至步骤5完成对自编码器和解码器的训练，实现第一损失函数
Figure 270410DEST_PATH_IMAGE002
的收敛，在针对标签恢复攻击和梯度替换后门攻击防御的基础上，使得解码标签几乎无损的还原为输入标签，而且自编码后形成的软标签与输入标签差异非常大，输入标签通过自编码器映射到其他多个软标签的概率比较平均，软标签的离散程度比较大。
作为另一种可能的实现方式，当防御模块中对自编码器和解码器的训练完成之后，需要在VFL训练模块中进行纵向联邦学习。主动方通过在纵向联邦学习中将输入标签通过防御技术（也即CoAE）替换为软标签，来防御被动方的攻击。
可以理解的是，如图2所示，VFL训练模块中训练模型的两部分数据特征
Figure DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE017
分别分布在主动方和被动方。主动方和被动方分别持有第一微分模型
Figure DEST_PATH_IMAGE018
和第二微分模型
Figure DEST_PATH_IMAGE019
，其中
Figure DEST_PATH_IMAGE020
为第一微分模型
Figure 946853DEST_PATH_IMAGE018
提供数据特征
Figure 99486DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE021
为第二微分模型
Figure 405702DEST_PATH_IMAGE019
提供数据特征
Figure 782326DEST_PATH_IMAGE017
，
Figure DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
分别为第一微分模型
Figure 809712DEST_PATH_IMAGE018
和第二微分模型
Figure 375823DEST_PATH_IMAGE019
的参数。第一微分模型
Figure 615174DEST_PATH_IMAGE018
和第二微分模型
Figure 162699DEST_PATH_IMAGE019
结构相同，比如都用的相同的卷积神经网络resnet18，但是模型参数不共享，即
Figure 487501DEST_PATH_IMAGE022
和
Figure 857302DEST_PATH_IMAGE023
是私有的。VFL训练模块的训练流程包括以下步骤：
步骤101：主动方和被动方将私有数据特征
Figure 934849DEST_PATH_IMAGE022
和
Figure 669587DEST_PATH_IMAGE023
分别输入到第一微分模型
Figure 278422DEST_PATH_IMAGE018
和第二微分模型
Figure 638865DEST_PATH_IMAGE019
中去，分别得到
Figure DEST_PATH_IMAGE024
和
Figure DEST_PATH_IMAGE025
。然后被动方将
Figure 777110DEST_PATH_IMAGE025
发送给主动方。
步骤102：主动方将得到的
Figure 682749DEST_PATH_IMAGE024
和
Figure 965832DEST_PATH_IMAGE025
相加得到
Figure DEST_PATH_IMAGE026
，并利用输入标签或软标签计算
Figure DEST_PATH_IMAGE027
损失函数L2。示例性的，当没有攻击的时候，不需要防御，利用输入标签计算第二损失函数L2。当有标签恢复攻击或梯度替换后门攻击的时候，需要进行防御，利用防御模块中由输入标签自编码形成的软标签计算第二损失函数L2。
步骤103：主动方根据计算得到
Figure 802070DEST_PATH_IMAGE027
损失函数L2，利用
Figure 604941DEST_PATH_IMAGE027
损失函数L2的反向传播技术，将第一微分模型
Figure 743798DEST_PATH_IMAGE018
更新的梯度
Figure DEST_PATH_IMAGE028
和第二微分模型
Figure 451860DEST_PATH_IMAGE019
更新的梯度
Figure DEST_PATH_IMAGE029
分别回传给主动方和被动方用于更新各自的模型参数
Figure 891456DEST_PATH_IMAGE022
和
Figure 814413DEST_PATH_IMAGE023
。
如图2所示，被动方还包括标签恢复攻击模块和梯度替换后门攻击模块。
需要说明的是，在标签恢复攻击模块中，被动方在本地仿造一个主动方，用虚拟标签
Figure DEST_PATH_IMAGE030
来代表原主动方的输入标签
Figure 248805DEST_PATH_IMAGE007
，
Figure DEST_PATH_IMAGE031
来代表原主动方的
Figure 506480DEST_PATH_IMAGE024
。然后执行主动方在正常VFL训练模块中的计算流程，得到一个模型更新的梯度
Figure DEST_PATH_IMAGE032
，我们通过匹配
Figure 684520DEST_PATH_IMAGE032
和
Figure 524301DEST_PATH_IMAGE029
，来将虚拟标签
Figure 942644DEST_PATH_IMAGE030
还原成输入标签
Figure 413246DEST_PATH_IMAGE007
。算法流程如下：
步骤201：被动方仿造
Figure DEST_PATH_IMAGE033
标签
Figure 208027DEST_PATH_IMAGE007
和
Figure 89264DEST_PATH_IMAGE024
随机生成虚拟标签
Figure 678508DEST_PATH_IMAGE030
和
Figure DEST_PATH_IMAGE034
。
步骤202：被动方将
Figure 848459DEST_PATH_IMAGE025
和
Figure 430619DEST_PATH_IMAGE034
相加，得到
Figure DEST_PATH_IMAGE035
，并利用虚拟标签
Figure 106975DEST_PATH_IMAGE030
计算仿造的第二损失函数
Figure DEST_PATH_IMAGE036
。
步骤203：被动方根据计算得到仿造的第二损失函数
Figure 132700DEST_PATH_IMAGE036
，利用反向传播技术，得到模型更新的梯度
Figure 586684DEST_PATH_IMAGE032
。
步骤204：计算
Figure 723267DEST_PATH_IMAGE032
和
Figure 313517DEST_PATH_IMAGE029
之间的差距
Figure DEST_PATH_IMAGE037
，并通过反向传播算法不断优化
Figure 510143DEST_PATH_IMAGE031
和虚拟标签
Figure 451423DEST_PATH_IMAGE030
，详见以下公式：
Figure DEST_PATH_IMAGE038
需要说明的是，在梯度替换后门攻击模块中，我们设定了几类后门攻击的目标标签，并假定被动方已知一些样本
Figure DEST_PATH_IMAGE039
，它们的标签属于目标标签，这个假设在实际中是可行且合理的。此外，从训练集中选取要攻击的样本构成
Figure DEST_PATH_IMAGE040
。攻击算法流程如下：
步骤301：通过前向传播计算得到
Figure 253682DEST_PATH_IMAGE025
之后，对于每个
Figure DEST_PATH_IMAGE041
（
Figure DEST_PATH_IMAGE042
）也即图2中的
Figure DEST_PATH_IMAGE043
，将其替换为
Figure DEST_PATH_IMAGE044
（
Figure DEST_PATH_IMAGE045
）也即图2中的
Figure DEST_PATH_IMAGE046
，同时记录下元组
Figure DEST_PATH_IMAGE047
，然后将替换之后的
Figure 150968DEST_PATH_IMAGE025
发送给主动方参与正常的VFL训练。
步骤302：通过反向传播被动方接收更新梯度
Figure 770693DEST_PATH_IMAGE029
，对于所有之前记录下的
Figure 684423DEST_PATH_IMAGE047
，将
Figure DEST_PATH_IMAGE048
替换为
Figure DEST_PATH_IMAGE049
（
Figure DEST_PATH_IMAGE050
是超参数）。
以上对攻击和防御的场景及算法进行了整体的描述。图3-图8示出了本发明实施例提供的在不同数据集上不同的防御措施对标签恢复攻击和梯度替换后门攻击的防御效果以及对主任务模型精度的影响。
如图3-图8所示，曲线越往右下方，防御效果越好，对主任务精度影响越小。通过对比，可以看出通过对自编码器和解码器进行训练，使第一损失函数L1收敛，能够保证在主任务训练精度的情况下，有效防御标签恢复攻击和梯度替换后门攻击，降低两种攻击的成功率，起到良好的防御效果。通过在上述数据安全检测平台上使用该技术，可以更好地保障联邦学习中用户数据的隐私安全。
与现有技术相比，本发明提供的一种防御方法中，首先利用自编码器对输入标签进行自编码形成软标签，然后利用解码器对软标签进行解码形成解码标签，接着根据输入标签、软标签和解码标签计算第一损失函数。如果第一损失函数不收敛，则需要通过计算出的第一损失函数对自编码器和解码器进行训练，利用训练后的自编码器对输入标签重新自编码，利用训练后的解码器对软标签重新解码，根据重新自编码和解码出的软标签和解码标签重新计算第一损失函数，迭代循环，直至第一损失函数收敛。如果第一损失函数收敛，则说明利用训练好的解码器解码出的解码标签相对于输入标签几乎是无损的，而且训练好的自编码器编码出的软标签与输入标签的差异非常大。例如：输入标签为
Figure DEST_PATH_IMAGE051
，解码标签无损的输出为
Figure DEST_PATH_IMAGE052
，软标签为
Figure DEST_PATH_IMAGE053
。并且训练好的自编码器编码出的软标签的离散程度很大，即输入标签通过自编码器映射到其他多个软标签的概率比较平均，输入标签通过训练好的自编码器可以映射为多个不同的软标签，起到很好的混淆攻击方的效果。而且在防御的基础上解码标签与输入标签的差异很小，几乎无损，进而保证了主任务的精度。
如图9所示，本发明还提供一种防御装置，该装置包括：
编码模块1，用于基于自编码器对输入标签进行自编码，以形成软标签;
解码模块2，用于基于解码器对软标签进行解码，以形成解码标签；
第一损失函数计算模块3，用于基于输入标签、软标签和解码标签计算第一损失函数；
判断收敛模块4，用于判断第一损失函数是否收敛；
训练模块5，用于当第一损失函数不收敛时，基于第一损失函数对自编码器和解码器进行训练，并基于训练后的自编码器更新软标签，基于训练后的解码器更新解码标签，重新计算第一损失函数。
优选地，第一损失函数公式为：
Figure 661344DEST_PATH_IMAGE001
其中，
Figure 242498DEST_PATH_IMAGE002
为第一损失函数，
Figure 577664DEST_PATH_IMAGE003
为第一分量，
Figure 508185DEST_PATH_IMAGE004
为第二分量，
Figure DEST_PATH_IMAGE054
为可调的超参数。
优选地，第一分量公式为：
Figure 711633DEST_PATH_IMAGE006
其中，
Figure 147294DEST_PATH_IMAGE003
为第一分量，
Figure 653361DEST_PATH_IMAGE007
为输入标签，
Figure 56530DEST_PATH_IMAGE008
为软标签，
Figure 876718DEST_PATH_IMAGE009
为解码标签，CE为交叉熵损失函数，
Figure 229202DEST_PATH_IMAGE010
为可调的超参数。
所述第二分量公式为：
Figure 358701DEST_PATH_IMAGE011
其中，
Figure 734319DEST_PATH_IMAGE004
为第二分量，
Figure 344816DEST_PATH_IMAGE012
为熵函数。
与现有技术相比，本发明提供的一种防御装置的有益效果与上述技术方案所述一种防御方法的有益效果相同，在此不做赘述。
此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述一种防御方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
具体的，参见图10所示，本发明实施例还提供了一种电子设备，该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。
在本发明实施例中，该电子设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述一种防御方法实施例的各个过程。
收发器1130，用于在处理器1120的控制下接收和发送数据。
本发明实施例中，总线架构(用总线1110来代表)，总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。
总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口(Accelerate Graphical Port，AGP)、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构(Industry Standard Architecture，ISA)总线、微通道体系结构(Micro Channel Architecture，MCA)总线、扩展ISA(Enhanced ISA，EISA)总线、视频电子标准协会(Video Electronics Standards Association，VESA)、外围部件互连(Peripheral Component Interconnect，PCI)总线。
处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、复杂可编程逻辑器件(Complex ProgrammableLogicDevice，CPLD)、可编程逻辑阵列(Programmable Logic Array，PLA)、微控制单元(Microcontroller Unit，MCU)或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。
处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(Random Access Memory，RAM)、闪存(FlashMemory)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。
收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接口1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。
应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络(ad hoc network)、内联网(intranet)、外联网(extranet)、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网(Internet)、公共交换电话网(PSTN)、普通老式电话业务网(POTS)、蜂窝电话网、无线网络、无线保真(Wi-Fi)网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信(GSM)系统、码分多址(CDMA)系统、全球微波互联接入(WiMAX)系统、通用分组无线业务(GPRS)系统、宽带码分多址(WCDMA)系统、长期演进(LTE)系统、LTE频分双工(FDD)系统、LTE时分双工(TDD)系统、先进长期演进(LTE-A)系统、通用移动通信(UMTS)系统、增强移动宽带(Enhance Mobile Broadband，eMBB)系统、海量机器类通信(massive Machine Type of Communication，mMTC)系统、超可靠低时延通信(UltraReliable Low Latency Communications，uRLLC)系统等。
应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存(Flash Memory)。
易失性存储器包括：随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如：静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。
在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。
具体而言，操作系统1151包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序，例如：媒体播放器(Media Player)、浏览器(Browser)，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种防御方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。
在本申请所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。
所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种防御方法，其特征在于，包括：
步骤1：基于自编码器对输入标签进行自编码，以形成软标签；
步骤2：基于解码器对所述软标签进行解码，以形成解码标签；
步骤3：基于所述输入标签、软标签和解码标签计算第一损失函数；
步骤4：判断所述第一损失函数是否收敛；
步骤5：若否，则基于所述第一损失函数对所述自编码器和解码器进行训练，获得训练后的所述自编码器和解码器，并转至步骤1；
所述第一损失函数公式为：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
为第一损失函数，
Figure 894146DEST_PATH_IMAGE003
为第一分量，
Figure DEST_PATH_IMAGE004
为第二分量，
Figure 502632DEST_PATH_IMAGE005
为可调的超参数；
所述第一分量公式为：
Figure DEST_PATH_IMAGE006
其中，
Figure 220052DEST_PATH_IMAGE003
为第一分量，
Figure DEST_PATH_IMAGE007
为输入标签，
Figure DEST_PATH_IMAGE008
为软标签，
Figure 802212DEST_PATH_IMAGE009
为解码标签，CE为交叉熵损失函数，
Figure DEST_PATH_IMAGE010
为可调的超参数；
所述第二分量公式为：
Figure 554267DEST_PATH_IMAGE011
其中，
Figure 376730DEST_PATH_IMAGE004
为第二分量，
Figure DEST_PATH_IMAGE012
为熵函数。
2.根据权利要求1所述的一种防御方法，其特征在于，
所述软标签与输入标签的差异大于第一预设差异；
所述解码标签与输入标签的差异小于第二预设差异；
所述软标签的离散程度大于预设离散程度。
3.一种防御装置，其特征在于，包括：
编码模块，用于基于自编码器对输入标签进行自编码，以形成软标签；
解码模块，用于基于解码器对所述软标签进行解码，以形成解码标签；
第一损失函数计算模块，用于基于所述输入标签、软标签和解码标签计算第一损失函数；
判断收敛模块，用于判断所述第一损失函数是否收敛；
训练模块，用于当所述第一损失函数不收敛时，基于所述第一损失函数对所述自编码器和解码器进行训练，并基于训练后的所述自编码器更新所述软标签，基于训练后的所述解码器更新所述解码标签，重新计算所述第一损失函数；
所述第一损失函数公式为：
Figure 332179DEST_PATH_IMAGE001
其中，
Figure 468762DEST_PATH_IMAGE002
为第一损失函数，
Figure 137641DEST_PATH_IMAGE003
为第一分量，
Figure 131004DEST_PATH_IMAGE004
为第二分量，
Figure 72285DEST_PATH_IMAGE005
为可调的超参数；
所述第一分量公式为：
Figure 809296DEST_PATH_IMAGE006
其中，
Figure 270365DEST_PATH_IMAGE003
为第一分量，
Figure 700209DEST_PATH_IMAGE007
为输入标签，
Figure 627320DEST_PATH_IMAGE008
为软标签，
Figure 902444DEST_PATH_IMAGE009
为解码标签，CE为交叉熵损失函数，
Figure 545915DEST_PATH_IMAGE010
为可调的超参数；
所述第二分量公式为：
Figure 818764DEST_PATH_IMAGE011
其中，
Figure 547686DEST_PATH_IMAGE004
为第二分量，
Figure 813451DEST_PATH_IMAGE012
为熵函数。
4.一种电子设备，包括总线、收发器、显示单元/输出单元、输入单元、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至2中任一项所述的一种防御方法中的步骤。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2中任一项所述的一种防御方法中的步骤。
CN202111291143.9A 2021-11-03 2021-11-03 一种防御方法、装置、电子设备及存储介质 Active CN113726823B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111291143.9A CN113726823B (zh) 2021-11-03 2021-11-03 一种防御方法、装置、电子设备及存储介质
PCT/CN2022/105120 WO2023077857A1 (zh) 2021-11-03 2022-07-12 一种防御方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111291143.9A CN113726823B (zh) 2021-11-03 2021-11-03 一种防御方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113726823A CN113726823A (zh) 2021-11-30
CN113726823B true CN113726823B (zh) 2022-02-22

Family

ID=78686541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111291143.9A Active CN113726823B (zh) 2021-11-03 2021-11-03 一种防御方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113726823B (zh)
WO (1) WO2023077857A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113726823B (zh) * 2021-11-03 2022-02-22 清华大学 一种防御方法、装置、电子设备及存储介质
CN115134114B (zh) * 2022-05-23 2023-05-02 清华大学 基于离散混淆自编码器的纵向联邦学习攻击防御方法
CN116049840B (zh) * 2022-07-25 2023-10-20 荣耀终端有限公司 一种数据保护方法、装置、相关设备及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016697A (zh) * 2020-08-27 2020-12-01 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN112464290A (zh) * 2020-12-17 2021-03-09 浙江工业大学 一种基于自编码器的垂直联邦学习防御方法
CN113190841A (zh) * 2021-04-27 2021-07-30 中国科学技术大学 一种使用差分隐私技术防御图数据攻击的方法
CN113297575A (zh) * 2021-06-11 2021-08-24 浙江工业大学 一种基于自编码器的多通道图垂直联邦模型防御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11616804B2 (en) * 2019-08-15 2023-03-28 Nec Corporation Thwarting model poisoning in federated learning
US20230068386A1 (en) * 2020-02-03 2023-03-02 Intel Corporation Systems and methods for distributed learning for wireless edge dynamics
CN113297573B (zh) * 2021-06-11 2022-06-10 浙江工业大学 一种基于gan模拟数据生成的垂直联邦学习防御方法和装置
CN113726823B (zh) * 2021-11-03 2022-02-22 清华大学 一种防御方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016697A (zh) * 2020-08-27 2020-12-01 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN112464290A (zh) * 2020-12-17 2021-03-09 浙江工业大学 一种基于自编码器的垂直联邦学习防御方法
CN113190841A (zh) * 2021-04-27 2021-07-30 中国科学技术大学 一种使用差分隐私技术防御图数据攻击的方法
CN113297575A (zh) * 2021-06-11 2021-08-24 浙江工业大学 一种基于自编码器的多通道图垂直联邦模型防御方法

Also Published As

Publication number Publication date
WO2023077857A1 (zh) 2023-05-11
CN113726823A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113726823B (zh) 一种防御方法、装置、电子设备及存储介质
US10341048B2 (en) Channel encoding and decoding method and apparatus
CN110087084B (zh) 视频处理装置及视频处理方法
CN109872730B (zh) 音频数据的失真补偿方法、模型建立方法和音频输出设备
CN111581627A (zh) 一种数据处理方法、装置及电子设备
CN112164008B (zh) 图像数据增强网络的训练方法及其训练装置、介质和设备
ES2603266T3 (es) Ocultación de errores de trama
CN112488172B (zh) 对抗攻击的方法、装置、可读介质和电子设备
CN113570695B (zh) 一种图像生成方法、装置及电子设备
CN114937058A (zh) LiDAR点云中的3D多对象跟踪的系统和方法
CN112532334B (zh) 一种时间同步的方法、装置及电子设备
CN111429458B (zh) 一种图像还原的方法、装置及电子设备
CN113744159A (zh) 一种遥感图像去雾方法、装置及电子设备
CN112330408A (zh) 一种产品推荐方法、装置及电子设备
CN112685422A (zh) 一种处理utxo数据库的方法、装置及电子设备
CN115134114B (zh) 基于离散混淆自编码器的纵向联邦学习攻击防御方法
CN114445510A (zh) 一种图像优化方法、装置、电子设备和存储介质
CN113495767B (zh) 一种交互场景生成的方法、装置及电子设备
CN111860898A (zh) 一种设备更新决策的方法、装置及电子设备
CN113453227B (zh) 一种建链拒止方法、装置及电子设备
Abdulmunem et al. Advanced Intelligent Data Hiding Using Video Stego and Convolutional Neural Networks
CN115496285A (zh) 一种电力负荷的预测方法、装置及电子设备
CN114792320A (zh) 轨迹预测方法、轨迹预测装置和电子设备
CN113922947A (zh) 一种基于加权概率模型的自适应对称编码方法以及系统
CN113466877A (zh) 一种实时物体检测的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant