CN117093903B - 一种纵向联邦学习场景中标签推理攻击方法 - Google Patents
一种纵向联邦学习场景中标签推理攻击方法 Download PDFInfo
- Publication number
- CN117093903B CN117093903B CN202311352148.7A CN202311352148A CN117093903B CN 117093903 B CN117093903 B CN 117093903B CN 202311352148 A CN202311352148 A CN 202311352148A CN 117093903 B CN117093903 B CN 117093903B
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- passive
- gradient
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 76
- 230000008859 change Effects 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 230000002159 abnormal effect Effects 0.000 claims description 71
- 238000012216 screening Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013058 risk prediction model Methods 0.000 claims description 3
- 230000011273 social behavior Effects 0.000 claims description 2
- 101100313471 Streptomyces sp getA gene Proteins 0.000 claims 1
- 230000008569 process Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005526 G1 to G0 transition Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种纵向联邦学习场景中标签推理攻击方法。该方法包括：拥有数据特征的被动方设备端根据预设训练协议在纵向联邦学习场景中参与联邦模型的训练，并记录在纵向联邦学习场景中拥有数据标签的主动方设备端回传的梯度向量；拥有数据特征的被动方设备端计算梯度向量的范数值，并根据范数值进行曲线拟合，得到梯度范数变化曲线；拥有数据特征的被动方设备端将梯度范数变化曲线的斜率与预设阈值进行比较，得到比较结果；拥有数据特征的被动方设备端根据比较结果对所记录的梯度向量进行异常梯度向量采样，并基于采样结果，生成分类边界进而完成标签推理攻击。
Description
技术领域
本发明涉及机器学习和数据分析领域，特别涉及一种基于纵向联邦学习场景中通用的标签推理攻击方法、电子设备以及计算机存储介质。
背景技术
联邦学习（Federated Learning）是一种新兴的人工智能基础技术，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。根据数据分布的不同，联邦学习可以被分为横向联邦学习（Horizontal Federated Learning）和纵向联邦学习（VerticalFederated Learning）。其中纵向联邦学习主要适用于合作者之间拥有相同的样本集合、不同的特征集合的场景。纵向联邦学习已经在多个实际应用场景中证明了其有效性，各大公司均构建了相应的成熟开源平台。
然而，现有技术中的各类技术方案并未关注纵向联邦学习过程中数据隐私和数据安全问题。
发明内容
鉴于上述问题，本发明提供了一种纵向联邦学习场景中标签推理攻击方法、电子设备以及计算机存储介质，以期至少能够解决上述问题之一。
根据本发明的第一个方面，提供了一种纵向联邦学习场景中标签推理攻击方法，包括：
拥有数据特征的被动方设备端根据预设训练协议在纵向联邦学习场景中参与联邦模型的训练，并记录在纵向联邦学习场景中拥有数据标签的主动方设备端回传的梯度向量；
拥有数据特征的被动方设备端计算梯度向量的范数值，并根据/>范数值进行曲线拟合，得到梯度范数变化曲线，其中，梯度范数变化曲线的斜率适用于与预设阈值进行比较，得到比较结果；
拥有数据特征的被动方设备端将梯度范数变化曲线的斜率与预设阈值进行比较，得到比较结果；
拥有数据特征的被动方设备端根据比较结果对所记录的梯度向量进行异常梯度向量采样，并基于采样结果，生成分类边界进而完成标签推理攻击。
根据本发明的实施例，上述拥有数据特征的被动方设备端根据比较结果对所记录的梯度向量进行异常梯度向量采样，并基于采样结果，生成分类边界进而完成标签推理攻击包括：
在比较结果是梯度范数变化曲线的斜率小于预设阈值的情况下，拥有数据特征的被动方设备端结束对梯度向量的收集和记录，得到正常梯度向量集合；
在新一轮纵向联邦学习的每个训练批次中，拥有数据特征的被动方设备端对参与纵向联邦学习的原始数据样本进行甄别，得到甄别结果；
基于甄别结果，拥有数据特征的被动方设备端将所获取的异常数据样本用于参与纵向联邦学习，并对由拥有数据标签的主动方设备端回传的异常梯度向量进行采样，得到分类边界；
在下一轮纵向联邦学习的每个训练批次中，拥有数据特征的被动方设备端根据预设数据样本选择条件从自身数据训练样本集合确定目标攻击样本，并基于分类边界，得到目标攻击样本的标签进而完成标签推理攻击；
迭代进行上述操作，直到拥有数据特征的被动方设备端完成对自身数据样本集合中每个数据样本的标签推理攻击。
根据本发明的实施例，上述基于甄别结果，拥有数据特征的被动方设备端将所获取的异常数据样本用于参与纵向联邦学习，并对由拥有数据标签的主动方设备端回传的异常梯度向量进行采样，得到分类边界包括：
在甄别结果是原始数据样本来源于具有数据标签的辅助样本集合情况下，根据预设筛选条件，拥有数据特征的被动方设备端从具有数据标签的辅助样本集合筛选出第一类异常数据样本和第二类异常数据样本，其中，第一类异常数据样本与原始数据样本具有不同的数据标签，第二类异常数据样本与原始数据样本具有相同的数据标签；
拥有数据特征的被动方设备端分别将第一类异常数据样本和第二类异常数据样本添加到纵向联邦学习中，并分别收集和记录拥有数据标签的主动方设备端回传的第一类异常梯度向量和第二类异常梯度向量；
利用整体梯度向量集合，拥有数据特征的被动方设备端分别计算第一类异常梯度向量与正常梯度向量集合的范数值以及第二类异常梯度向量与正常梯度向量集合的/>范数值，分别得到第一类梯度波动值集合以及第二类梯度波动值集合；
拥有数据特征的被动方设备端分别对第一类梯度波动值集合以及第二类梯度波动值集合进行取均值运算，分别得到第一类分类边界和第二类分类边界。
根据本发明的实施例，上述预设筛选条件包括从具有数据标签的辅助样本集合筛选得到的异常数据样本与原始数据样本不同且与原始数据样本的范数值最大。
根据本发明的实施例，上述拥有数据特征的被动方设备端根据预设数据样本选择条件从自身数据训练样本集合确定目标攻击样本包括：
拥有数据特征的被动方设备端计算自身数据训练样本集合中每个数据样本与具有数据标签的辅助样本集合中每个数据样本的范数值，得到/>范数值集合；
拥有数据特征的被动方从范数值集合中选择最大值，并根据最大值确定目标数据样本以及与目标数据样本相对应的辅助数据样本。
根据本发明的实施例，上述在下一轮纵向联邦学习的每个训练批次中，拥有数据特征的被动方设备端根据预设数据样本选择条件从自身数据训练样本确定目标攻击样本，并基于分类边界，得到目标攻击样本的标签进而完成标签推理攻击包括：
拥有数据特征的被动方设备端从自身数据训练样本选择与具有数据标签的辅助样本集合具有相同数据标签的目标攻击样本；
拥有数据特征的被动方设备端将目标攻击样本用于下一轮纵向联邦学习，得到由拥有数据标签的主动方设备端所回传的目标攻击样本的异常梯度向量；
拥有数据特征的被动方设备端利用目标攻击样本的异常梯度向量计算目标攻击样本的梯度向量波动幅度值；
拥有数据特征的被动方设备端将目标攻击样本的梯度向量波动幅度值分别与第一类分类边界和第二类分类边界进行比较，并基于比较结果，完成对目标数据样本的标签推理攻击。
根据本发明的实施例，上述拥有数据特征的被动方设备端将目标攻击样本的梯度向量波动幅度值分别与第一类分类边界和第二类分类边界进行比较，并基于比较结果，完成对目标数据样本的标签推理攻击包括：
在目标攻击样本的梯度向量波动幅度值大于第一类分类边界的情况下，拥有数据特征的被动方设备端确定目标数据样本的标签值与辅助数据样本的标签值不同；
在目标攻击样本的梯度向量波动幅度值小于第二类分类边界的情况下，拥有数据特征的被动方设备端确定目标数据样本的标签值与辅助数据样本的标签值相同。
根据本发明的实施例，上述拥有数据特征的被动方设备端将目标攻击样本的梯度向量波动幅度值分别与第一类分类边界和第二类分类边界进行比较，并基于比较结果，完成对目标数据样本的标签推理攻击还包括：
在目标攻击样本的梯度向量波动幅度值介于第一类分类边界和第二类分类边界之间的情况下，拥有数据特征的被动方设备端放弃对目标数据样本的标签推理攻击。
根据本发明的第二个方面，提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行纵向联邦学习场景中标签推理攻击方法。
根据本发明的第三个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行纵向联邦学习场景中标签推理攻击方法。
本发明提供的上述纵向联邦学习场景中标签推理攻击方法基于被动方设备随机将一个训练样本替换为另一个数据样本所产生的梯度波动与两个样本的标签密切相关的原理，提供了一种低成本、高效率的、通用性强的标签推断攻击算法；上述纵向联邦学习场景中标签推理攻击方法在获取标签隐私信息过程中，不需要额外执行模型训练，随着正常训练的进行即可完成标签推断攻击，同时上述纵向联邦学习场景中标签推理攻击方法具有较高的通用性，依赖于特定的训练协议和数据分布，可以在多种纵向联邦学习模型中实施。
附图说明
图1是根据本发明实施例的纵向联邦学习场景中标签推理攻击方法的流程图；
图2是根据本发明实施例的生成分类边界进而完成标签推理攻击的流程图；
图3是根据本发明实施例的获取分类边界的流程图；
图4是根据本发明实施例的获取目标攻击样本的标签进而完成标签推理攻击的流程图；
图5是根据本发明实施例的适于实现纵向联邦学习场景中标签推理攻击方法的电子设备的方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
联邦学习旨在建立一个基于分布数据集的联邦学习模型。在模型训练的过程中，模型相关的信息能够在各方之间交换（或者是以加密形式交换），但原始数据不能。这一交换不会暴露每个站点上数据的任何受保护的隐私部分。已训练好的联邦学习模型可以置于联邦学习系统的各参与方，也可以在多方之间共享。纵向联邦学习适用于不同参与方的数据样本有较大的重叠，但样本特征的重叠度不高。例如，两家公司（银行和电子商务公司/保险公司）向客户提供不同的服务，拥有客户不同方面的数据（银行的用户金融数据、电子商务公式的用户消费数据、保险公司的用户保险数据），但他们所服务的客户群体有较大的重叠。
纵向联邦学习通用被用来提高模型的质量，以帮助公司提供更好的服务。例如，一家银行训练模型用于贷款业务，基于用户的历史消费数据特征、工资收入数据特征等训练一个贷款风险预估模型，用于判断是否给贷款申请人放款。但是银行单方的数据特征有限，进而限制模型能力。银行可以和电子商务公司、社交平台公司进行纵向联邦学习建模，通过引入他们持有的用户社交数据特征、用户购物信息特征等来提高贷款模型的预估准确度，以实现更精准的用户风险等级评估。此外，纵向联邦联邦学习还可以用于广告投放场景。例如社交平台需要训练广告投放模型以实现更精准的广告投放，但是其持有的用户数据特征有限，仅包含用户社交行为特征、用户画像特征，而电子商务平台持有用户购物偏好特征以及用户消费特征。社交平台则可以通过纵向联邦学习模型的训练范式同电子商务平台联合训练模型，以实现更精准的广告投放。
数据隐私安全保证是联邦学习快速普及的基石。不同于横向联邦学习，纵向联邦学习中的数据隐私安全问题还没有得到全面的研究。目前针对纵向联邦学习中安全问题的一些工作都有内在的局限性，且不适用于真实的纵向联邦学习系统。现有研究主要集中在特征重建攻击和标签推理攻击。特征重构攻击通常要求攻击方知道所有的模型结构以及特征取值范围。而标签推理攻击通常需要满足特定的训练协议、极端的数据分布或者指定的训练设置，这在现实的纵向联邦学习系统中通常不可能实现。
在纵向联邦学习中，通常将拥有标签的一方称为主动方（或主动方设备、主动方终端等，即参与纵向联邦学习并用于传输、处理相关数据的硬件或系统），将只提供特征的参与方称为被动方（或被动放设备、被动方终端等，即参与纵向联邦学习并用于存储、传输、处理相关数据的硬件或系统），假设恶意攻击方为被动方。在通用的纵向联邦学习设置中，各个参与方之间不知道彼此输入的真实数据，只通过传输加密的中间向量完成模型训练。
对于被动方而言，其在训练过程中唯一得到的输入是针对本地模型输出的梯度。这是纵向联邦学习所必须的，因为被动方需要梯度来更新底部模型。分析通用的训练流程发现，被动方随机将一个训练样本替换为另一个数据样本，产生的梯度波动与两个样本的标签密切相关。具体来说，替换具有不同标签的样本比具有相同标签的样本产生更大的波动。在多个纵向联邦学习模型下使用多个数据集进行实验，实验结果表明这一现象在纵向联邦学习系统中广泛存在。基于此，本发明提供了一种纵向联邦模型中通用的标签推断攻击算法。
为了解决纵向联邦学习过程中数据隐私与安全问题，尤其是通用的纵向联邦学习训练过程中的标签信息泄露问题，本发明提供了一种低成本、高效率的、通用性强的标签信息获取方法。
需要特别说明的市，在本发明所公开的技术方案，所涉及的纵向联邦学习各个参与方的数据的获取得到了相关当事方的授权，并在相关当事方的许可下，对上述数据进行处理、应用和存储，相关过程符合法律法规的规定，采取了必要和可靠的保密措施，符合公序良俗的要求。
图1是根据本发明实施例的纵向联邦学习场景中标签推理攻击方法的流程图。
如图1所示，上述纵向联邦学习场景中标签推理攻击方法包括操作S110~操作S140。
上述纵向联邦学习场景中标签推理攻击方法将模型训练过程分为正常收敛阶段和标签推断攻击阶段。
在操作S110，拥有数据特征的被动方设备端根据预设训练协议在纵向联邦学习场景中参与联邦模型的训练，并记录在纵向联邦学习场景中拥有数据标签的主动方设备端回传的梯度向量。
在操作S120，拥有数据特征的被动方设备端计算梯度向量的范数值，并根据/>范数值进行曲线拟合，得到梯度范数变化曲线，其中，梯度范数变化曲线的斜率适用于与预设阈值进行比较，得到比较结果。
在正常收敛阶段，被动方设备端遵守训练协议，进行正常的模型训练。训练过程中记录主动方回传的梯度,计算每个梯度向量的/>范数值以拟合曲线，当曲线斜率小于指定阈值/>时，被动方设备端结束正常收敛阶段。
在操作S130，拥有数据特征的被动方设备端将梯度范数变化曲线的斜率与预设阈值进行比较，得到比较结果。
在操作S140，拥有数据特征的被动方设备端根据比较结果对所记录的梯度向量进行异常梯度向量采样，并基于采样结果，生成分类边界进而完成标签推理攻击。
在标签推断攻击阶段，在模型训练的平稳期，梯度变化稳定，被动方设备端可以通过采样异常梯度的分布，生成分类边界，进而完成标签推理攻击。假设被动方设备端拥有极少量的已知标签的数据，其中每一类样本有10条或者20条即可，这部分辅助样本集合称为。假设开始执行标签推断攻击的 epoch 为/>，此阶段可以划分为如下三个子阶段：收集正常梯度信息子阶段、收集异常梯度信息并生成分类边界以及进行标签推理攻击子阶段。
本发明提供的上述纵向联邦学习场景中标签推理攻击方法基于被动方设备随机将一个训练样本替换为另一个数据样本所产生的梯度波动与两个样本的标签密切相关的原理，提供了一种低成本、高效率的、通用性强的标签推断攻击算法；上述纵向联邦学习场景中标签推理攻击方法在获取标签隐私信息过程中，不需要外执行模型训练，随着正常训练的进行即可完成标签推断攻击，同时上述纵向联邦学习场景中标签推理攻击方法具有较高的通用性，依赖于特定的训练协议和数据分布，可以在多种纵向联邦学习模型中实施。
图2是根据本发明实施例的生成分类边界进而完成标签推理攻击的流程图。
如图2所示，上述拥有数据特征的被动方设备端根据比较结果对所记录的梯度向量进行异常梯度向量采样，并基于采样结果，生成分类边界进而完成标签推理攻击包括操作S210~操作S250。
在操作S210，在比较结果是梯度范数变化曲线的斜率小于预设阈值的情况下，拥有数据特征的被动方设备端结束对梯度向量的收集和记录，得到正常梯度向量集合。
在收集正常梯度信息的子阶段，根据每个梯度向量的范数值拟合曲线，当曲线斜率小于指定阈值/>时，拥有数据特征的被动方设备端结束对梯度向量的收集和记录。第/>个epoch中恶意参与方进行正常训练，记录每个 batch 中的样本训练梯度，存储为/>。
在操作S220，在新一轮纵向联邦学习的每个训练批次中，拥有数据特征的被动方设备端对参与纵向联邦学习的原始数据样本进行甄别，得到甄别结果。
在操作S230，基于甄别结果，拥有数据特征的被动方设备端将所获取的异常数据样本用于参与纵向联邦学习，并对由拥有数据标签的主动方设备端回传的异常梯度向量进行采样，得到分类边界。
在收集异常梯度信息并生成分类边界子阶段：在第个epoch中，每个batch中，如果发现样本/>，则在/>中选择和/>不同标签的样本/>，其中/>且最大，其中，/>表示在第/>个epoch中第/>个样本的训练梯度，/>表示在第/>个epoch中第/>个样本的训练梯度。恶意参与方将/>替换为/>参与训练得到异常梯度，记为/>。类似的，恶意参与方可以得到相同标签的样本交换引发的异常梯度/>。在第/>个epoch中轮流执行上述交换，得到采样的异常梯度集合/>和/>。
获得异常梯度集合后，通过计算和得到异常梯度的波动值的集合，然后对每个集合取均值得到分类边界/>和/>。
在操作S240，在下一轮纵向联邦学习的每个训练批次中，拥有数据特征的被动方设备端根据预设数据样本选择条件从自身数据训练样本集合确定目标攻击样本，并基于分类边界，得到目标攻击样本的标签进而完成标签推理攻击。
在进行标签推理攻击子阶段：在第个epoch中，对样本进行标签推理攻击。在每个batch 中，我们选择具有最小梯度的未知标签的样本/>作为目标攻击样本，在/>中选择样本/>，其中/>最大，其中，/>表示样本/>的训练梯度，/>表示目标攻击样本/>的训练梯度。恶意参与方将/>替换为/>参与训练得到异常梯度，记为/>，进一步得到梯度波动幅度/>。如果/>，则/>，即/>；如，则/>；如果均不成立，则放弃本次攻击。由于/>已知，在满足分类边界划分条件的情况下，恶意参与方可以推测出目标样本/>的标签，完成标签推理攻击。
在操作S250，迭代进行上述操作，直到拥有数据特征的被动方设备端完成对自身数据样本集合中每个数据样本的标签推理攻击。
重复上述三个子阶段，被动方设备端可以完成对所有训练样本的标签推理攻击。
图3是根据本发明实施例的获取分类边界的流程图。
如图3所示，上述基于甄别结果，拥有数据特征的被动方设备端将所获取的异常数据样本用于参与纵向联邦学习，并对由拥有数据标签的主动方设备端回传的异常梯度向量进行采样，得到分类边界包括操作S310~操作S340。
在操作S310，在甄别结果是原始数据样本来源于具有数据标签的辅助样本集合情况下，根据预设筛选条件，拥有数据特征的被动方设备端从具有数据标签的辅助样本集合筛选出第一类异常数据样本和第二类异常数据样本，其中，第一类异常数据样本与原始数据样本具有不同的数据标签，第二类异常数据样本与原始数据样本具有相同的数据标签。
根据本发明的实施例，上述预设筛选条件包括从具有数据标签的辅助样本集合筛选得到的异常数据样本与原始数据样本不同且与原始数据样本的范数值最大。
在操作S320，拥有数据特征的被动方设备端分别将第一类异常数据样本和第二类异常数据样本添加到纵向联邦学习中，并分别收集和记录拥有数据标签的主动方设备端回传的第一类异常梯度向量和第二类异常梯度向量。
在操作S330，利用整体梯度向量集合，拥有数据特征的被动方设备端分别计算第一类异常梯度向量与正常梯度向量集合的范数值以及第二类异常梯度向量与正常梯度向量集合的/>范数值，分别得到第一类梯度波动值集合以及第二类梯度波动值集合。
在操作S340，拥有数据特征的被动方设备端分别对第一类梯度波动值集合以及第二类梯度波动值集合进行取均值运算，分别得到第一类分类边界和第二类分类边界。
第一类分类边界和第二类分类边界即和/>。
根据本发明的实施例，上述拥有数据特征的被动方设备端根据预设数据样本选择条件从自身数据训练样本集合确定目标攻击样本包括：拥有数据特征的被动方设备端计算自身数据训练样本集合中每个数据样本与具有数据标签的辅助样本集合中每个数据样本的范数值，得到/>范数值集合；拥有数据特征的被动方从/>范数值集合中选择最大值，并根据最大值确定目标数据样本以及与目标数据样本相对应的辅助数据样本。
图4是根据本发明实施例的获取目标攻击样本的标签进而完成标签推理攻击的流程图。
如图4所示，上述在下一轮纵向联邦学习的每个训练批次中，拥有数据特征的被动方设备端根据预设数据样本选择条件从自身数据训练样本确定目标攻击样本，并基于分类边界，得到目标攻击样本的标签进而完成标签推理攻击包括操作S410~操作S440。
在操作S410，拥有数据特征的被动方设备端从自身数据训练样本选择与具有数据标签的辅助样本集合具有相同数据标签的目标攻击样本。
在操作S420，拥有数据特征的被动方设备端将目标攻击样本用于下一轮纵向联邦学习，得到由拥有数据标签的主动方设备端所回传的目标攻击样本的异常梯度向量。
在操作S430，拥有数据特征的被动方设备端利用目标攻击样本的异常梯度向量计算目标攻击样本的梯度向量波动幅度值。
在操作S440，拥有数据特征的被动方设备端将目标攻击样本的梯度向量波动幅度值分别与第一类分类边界和第二类分类边界进行比较，并基于比较结果，完成对目标数据样本的标签推理攻击。
根据本发明的实施例，上述拥有数据特征的被动方设备端将目标攻击样本的梯度向量波动幅度值分别与第一类分类边界和第二类分类边界进行比较，并基于比较结果，完成对目标数据样本的标签推理攻击包括：在目标攻击样本的梯度向量波动幅度值大于第一类分类边界的情况下，拥有数据特征的被动方设备端确定目标数据样本的标签值与辅助数据样本的标签值不同；在目标攻击样本的梯度向量波动幅度值小于第二类分类边界的情况下，拥有数据特征的被动方设备端确定目标数据样本的标签值与辅助数据样本的标签值相同。在目标攻击样本的梯度向量波动幅度值介于第一类分类边界和第二类分类边界之间的情况下，拥有数据特征的被动方设备端放弃对目标数据样本的标签推理攻击。
下面结合具体实施例对本发明所提供的上述纵向联邦学习场景中标签推理攻击方法做进一步详细地说明。
在一个两方参与的纵向联邦模型训练中，假设被动方作为恶意参与方，每一类样本有10条已知标签的样本，辅助样本集合称为，设置梯度收敛阈值/>。
正常收敛阶段：恶意参与方记录训练过程中主动方回传的梯度,计算每个梯度向量的/>范数值，在第80个epoch发现拟合的曲线斜率小于/>，结束模型的正常收敛阶段。
标签推断攻击阶段包括（1）~（4）个子阶段。
（1）收集正常梯度信息：在第81个epoch中恶意参与方进行正常训练，记录每个batch 中的样本训练梯度，存储为。
（2）收集异常梯度信息并生成分类边界：在第82个epoch的每个batch中，如果发现样本，则在/>中选择和/>不同标签的样本/>，其中/>且/>最大。恶意参与方将/>替换为/>参与训练得到异常梯度，记为/>。类似的，恶意参与方可以得到相同标签的样本交换引发的异常梯度/>。由于共有20个已知标签的辅助样本，因此可以采样得到10个相同标签样本交换产生的异常梯度和10个不同标签样本交换产生的异常梯度。获得异常梯度集合后，通过计算/>和/>得到异常梯度的波动值的集合，然后对每个集合取均值得到分类边界/>和。
（3）进行标签推理攻击：在第83个epoch中，我们对样本进行标签推理攻击。在每个batch 中，我们选择具有最小梯度的未知标签的样本作为目标攻击样本，在/>中选择样本/>，其中/>最大。恶意参与方将/>替换为/>参与训练得到异常梯度，记为，进一步得到梯度波动幅度 />。假设恶意参与方选择的辅助样本/>的标签为1。如果计算得到/>则/> ，即 />；如果，则/>；如果/>，上述条件均不满足，则放弃本次攻击。
（4）通过重复上述（1）~（3）子阶段，随着训练的进行，恶意参与方可以完成对所有训练样本的标签推理攻击。
图5示意性示出了根据本发明实施例的适于实现纵向联邦学习场景中标签推理攻击方法的电子设备的方框图。
如图5所示，根据本发明实施例的电子设备500包括处理器501，其可以根据存储在只读存储器（ROM）502中的程序或者从存储部分508加载到随机访问存储器（RAM）503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 503中，存储有电子设备500操作所需的各种程序和数据。处理器 501、ROM502以及RAM 503通过总线504彼此相连。处理器501通过执行ROM 502和/或RAM 503中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM502和RAM 503以外的一个或多个存储器中。处理器501也可以通过执行存储在一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备500还可以包括输入/输出（I/O）接口505，输入/输出（I/O）接口505也连接至总线504。电子设备500还可以包括连接至I/O接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 502和/或RAM 503和/或ROM 502和RAM 503以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种纵向联邦学习场景中标签推理攻击方法，应用于贷款风险预估模型或广告投放模型的训练，其特征在于，包括：
拥有数据特征的被动方设备端根据预设训练协议在所述纵向联邦学习场景中参与联邦模型的训练，并记录在所述纵向联邦学习场景中拥有数据标签的主动方设备端回传的梯度向量；
所述拥有数据特征的被动方设备端计算所述梯度向量的范数值，并根据所述范
数值进行曲线拟合，得到梯度范数变化曲线，其中，所述梯度范数变化曲线的斜率适用于与
预设阈值进行比较，得到比较结果；
所述拥有数据特征的被动方设备端将所述梯度范数变化曲线的斜率与预设阈值进行比较，得到比较结果；
所述拥有数据特征的被动方设备端根据所述比较结果对所记录的梯度向量进行异常梯度向量采样，并基于采样结果，生成分类边界进而完成标签推理攻击；
其中，在所述贷款风险预估模型的训练中，所述拥有数据特征的被动方设备端包括电子商务公司和社交平台公司，所述拥有数据标签的主动方设备端包括银行，所述数据特征包括所述社交平台公司的用户社交行为特征和用户画像特征以及所述电子商务公司的用户购物偏好特征和用户消费特征；
其中，在所述广告投放模型的训练中，所述拥有数据特征的被动方设备端包括电子商务公司，所述拥有数据标签的主动方设备端包括社交平台公司，所述数据特征包括所述电子商务公司的用户购物偏好特征和用户消费特征。
2.根据权利要求1所述的方法，其特征在于，所述拥有数据特征的被动方设备端根据所述比较结果对所记录的梯度向量进行异常梯度向量采样，并基于采样结果，生成分类边界进而完成标签推理攻击包括：
在所述比较结果是所述梯度范数变化曲线的斜率小于所述预设阈值的情况下，所述拥有数据特征的被动方设备端结束对所述梯度向量的收集和记录，得到正常梯度向量集合；
在新一轮纵向联邦学习的每个训练批次中，所述拥有数据特征的被动方设备端对参与所述纵向联邦学习的原始数据样本进行甄别，得到甄别结果；
基于所述甄别结果，所述拥有数据特征的被动方设备端将所获取的异常数据样本用于参与所述纵向联邦学习，并对由所述拥有数据标签的主动方设备端回传的异常梯度向量进行采样，得到所述分类边界；
在下一轮纵向联邦学习的每个训练批次中，所述拥有数据特征的被动方设备端根据预设数据样本选择条件从自身数据训练样本集合确定目标攻击样本，并基于所述分类边界，得到所述目标攻击样本的标签进而完成标签推理攻击；
迭代进行上述操作，直到所述拥有数据特征的被动方设备端完成对自身数据样本集合中每个数据样本的标签推理攻击。
3.根据权利要求2所述的方法，其特征在于，基于所述甄别结果，所述拥有数据特征的被动方设备端将所获取的异常数据样本用于参与所述纵向联邦学习，并对由所述拥有数据标签的主动方设备端回传的异常梯度向量进行采样，得到所述分类边界包括：
在所述甄别结果是所述原始数据样本来源于具有数据标签的辅助样本集合情况下，根据预设筛选条件，所述拥有数据特征的被动方设备端从所述具有数据标签的辅助样本集合筛选出第一类异常数据样本和第二类异常数据样本，其中，所述第一类异常数据样本与所述原始数据样本具有不同的数据标签，所述第二类异常数据样本与所述原始数据样本具有相同的数据标签；
所述拥有数据特征的被动方设备端分别将所述第一类异常数据样本和所述第二类异常数据样本添加到所述纵向联邦学习中，并分别收集和记录所述拥有数据标签的主动方设备端回传的第一类异常梯度向量和第二类异常梯度向量；
利用整体梯度向量集合，所述拥有数据特征的被动方设备端分别计算所述第一类异常
梯度向量与所述正常梯度向量集合的范数值以及所述第二类异常梯度向量与所述正常
梯度向量集合的范数值，分别得到第一类梯度波动值集合以及第二类梯度波动值集合；
所述拥有数据特征的被动方设备端分别对所述第一类梯度波动值集合以及所述第二类梯度波动值集合进行取均值运算，分别得到第一类分类边界和第二类分类边界。
4.根据权利要求3所述的方法，其特征在于，所述预设筛选条件包括从所述具有数据标
签的辅助样本集合筛选得到的异常数据样本与所述原始数据样本不同且与所述原始数据
样本的范数值最大。
5.根据权利要求3所述的方法，其特征在于，所述拥有数据特征的被动方设备端根据预设数据样本选择条件从自身数据训练样本集合确定目标攻击样本包括：
所述拥有数据特征的被动方设备端计算所述自身数据训练样本集合中每个数据样本
与所述具有数据标签的辅助样本集合中每个数据样本的范数值，得到范数值集合；
所述拥有数据特征的被动方从所述范数值集合中选择最大值，并根据所述最大值
确定目标数据样本以及与所述目标数据样本相对应的辅助数据样本。
6.根据权利要求5所述的方法，其特征在于，在下一轮纵向联邦学习的每个训练批次中，所述拥有数据特征的被动方设备端根据预设数据样本选择条件从所述自身数据训练样本确定目标攻击样本，并基于所述分类边界，得到所述目标攻击样本的标签进而完成标签推理攻击包括：
所述拥有数据特征的被动方设备端从自身数据训练样本选择与所述具有数据标签的辅助样本集合具有相同数据标签的目标攻击样本；
所述拥有数据特征的被动方设备端将所述目标攻击样本用于所述下一轮纵向联邦学习，得到由所述拥有数据标签的主动方设备端所回传的所述目标攻击样本的异常梯度向量；
所述拥有数据特征的被动方设备端利用所述目标攻击样本的异常梯度向量计算所述目标攻击样本的梯度向量波动幅度值；
所述拥有数据特征的被动方设备端将所述目标攻击样本的梯度向量波动幅度值分别与所述第一类分类边界和所述第二类分类边界进行比较，并基于所述比较结果，完成对所述目标数据样本的标签推理攻击。
7.根据权利要求6所述的方法，其特征在于，所述拥有数据特征的被动方设备端将所述目标攻击样本的梯度向量波动幅度值分别与所述第一类分类边界和所述第二类分类边界进行比较，并基于所述比较结果，完成对所述目标数据样本的标签推理攻击包括：
在所述目标攻击样本的梯度向量波动幅度值大于所述第一类分类边界的情况下，所述拥有数据特征的被动方设备端确定所述目标数据样本的标签值与所述辅助数据样本的标签值不同；
在所述目标攻击样本的梯度向量波动幅度值小于所述第二类分类边界的情况下，所述拥有数据特征的被动方设备端确定所述目标数据样本的标签值与所述辅助数据样本的标签值相同。
8.根据权利要求7所述的方法，其特征在于，还包括：
在所述目标攻击样本的梯度向量波动幅度值介于所述第一类分类边界和所述第二类分类边界之间的情况下，所述拥有数据特征的被动方设备端放弃对所述目标数据样本的标签推理攻击。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1~8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1~8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311352148.7A CN117093903B (zh) | 2023-10-19 | 2023-10-19 | 一种纵向联邦学习场景中标签推理攻击方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311352148.7A CN117093903B (zh) | 2023-10-19 | 2023-10-19 | 一种纵向联邦学习场景中标签推理攻击方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117093903A CN117093903A (zh) | 2023-11-21 |
| CN117093903B true CN117093903B (zh) | 2024-03-29 |
Family
ID=88783205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311352148.7A Active CN117093903B (zh) | 2023-10-19 | 2023-10-19 | 一种纵向联邦学习场景中标签推理攻击方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117093903B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464287A (zh) * | 2020-12-12 | 2021-03-09 | 同济大学 | 基于秘密共享与联邦学习的多方XGBoost安全预测模型训练方法 |
| CN114139202A (zh) * | 2021-12-02 | 2022-03-04 | 贵州数据宝网络科技有限公司 | 基于联邦学习的隐私保护样本预测应用方法及系统 |
| WO2022218231A1 (zh) * | 2021-04-12 | 2022-10-20 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11836583B2 (en) * | 2019-09-09 | 2023-12-05 | Huawei Cloud Computing Technologies Co., Ltd. | Method, apparatus and system for secure vertical federated learning |
-
2023
- 2023-10-19 CN CN202311352148.7A patent/CN117093903B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464287A (zh) * | 2020-12-12 | 2021-03-09 | 同济大学 | 基于秘密共享与联邦学习的多方XGBoost安全预测模型训练方法 |
| WO2022218231A1 (zh) * | 2021-04-12 | 2022-10-20 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及装置 |
| CN114139202A (zh) * | 2021-12-02 | 2022-03-04 | 贵州数据宝网络科技有限公司 | 基于联邦学习的隐私保护样本预测应用方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| "Efficient Participant Contribution Evaluation for Horizontal and Vertical Federated Learning";Junhao Wang.et al;《IEEE》;全文 * |
| "Defending Label Inference and Backdoor Attacks in Vertical Federated Learning";Yang Liu.et al;《arXiv:2112.05409v1》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117093903A (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Single image dehazing with a generic model-agnostic convolutional neural network | |
| Zola et al. | Cascading machine learning to attack bitcoin anonymity | |
| CN113240505B (zh) | 图数据的处理方法、装置、设备、存储介质及程序产品 | |
| CN110378575B (zh) | 逾期事件回款催收方法及装置、计算机可读存储介质 | |
| CN114417427B (zh) | 一种面向深度学习的数据敏感属性脱敏系统及方法 | |
| Ye et al. | Detection defense against adversarial attacks with saliency map | |
| CN110717758B (zh) | 异常交易识别方法和装置 | |
| CN113792890B (zh) | 一种基于联邦学习的模型训练方法及相关设备 | |
| CN115034886A (zh) | 一种违约风险预测方法及装置 | |
| CN117093903B (zh) | 一种纵向联邦学习场景中标签推理攻击方法 | |
| She et al. | Facial image inpainting algorithm based on attention mechanism and dual discriminators | |
| CN116091891A (zh) | 图像识别方法及系统 | |
| Kuzmenko et al. | Assessing the maturity of the current global system for combating financial and cyber fraud | |
| CN113537516B (zh) | 分布式机器学习模型的训练方法、装置、设备和介质 | |
| CN114863430A (zh) | 一种人口信息自动纠错方法、设备及其存储介质 | |
| Himthani et al. | Generative adversarial network-based deep learning technique for smart grid data security | |
| Jones et al. | Federated xgboost on sample-wise non-iid data | |
| Miao | High technology investment risk prediction using partial linear regression model under inequality constraints | |
| Huang et al. | Towards generalized deepfake detection with continual learning on limited new data | |
| Shen et al. | Independence testing for temporal data | |
| Wu et al. | Data privacy protection based on feature dilution in cloud services | |
| Ribeiro et al. | Information theoretic approach for accounting classification | |
| CN113822490B (zh) | 基于人工智能的资产清收方法及装置、电子设备 | |
| Xue et al. | Fast Generation-Based Gradient Leakage Attacks against Highly Compressed Gradients | |
| CN116566743B (zh) | 一种账户对齐方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |