CN111598143B - 基于信用评估的面向联邦学习中毒攻击的防御方法 - Google Patents

基于信用评估的面向联邦学习中毒攻击的防御方法 Download PDF

Info

Publication number
CN111598143B
CN111598143B CN202010344204.2A CN202010344204A CN111598143B CN 111598143 B CN111598143 B CN 111598143B CN 202010344204 A CN202010344204 A CN 202010344204A CN 111598143 B CN111598143 B CN 111598143B
Authority
CN
China
Prior art keywords
model
round
credit evaluation
credit
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010344204.2A
Other languages
English (en)
Other versions
CN111598143A (zh
Inventor
陈晋音
张龙源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010344204.2A priority Critical patent/CN111598143B/zh
Publication of CN111598143A publication Critical patent/CN111598143A/zh
Application granted granted Critical
Publication of CN111598143B publication Critical patent/CN111598143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0609—Buyer or seller confidence or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Technology Law (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于信用评估的面向联邦学习中毒攻击的防御方法，包括三个阶段：训练阶段，利用共享数据集中的训练集和边缘端的本地数据集进行训练，避免因数据没有独立同分布导致边缘端训练的模型较差，同时可利用共享数据集的测试集进行模型的第一轮信用评估；模型收集阶段，算出边缘端模型之间的L2距离，并根据距离进行第二轮信用评估；模型聚合阶段，使用替代模型进行聚合，并利用服务器端的测试集进行测试，根据在测试集的准确率进行第三轮的信用评估。根据信用得分，挑选合适的边缘端作为全局模型更新的来源，并在一定轮数后重新评估。可以挑选合适的边缘端进行训练，从而优化全局模型的训练过程。

Description

基于信用评估的面向联邦学习中毒攻击的防御方法
技术领域
本发明属于机器学习领域，具体涉及一种基于信用评估的面向联邦学习中毒攻击的防御方法。
背景技术
在大多数行业中，数据是以孤岛的形式存在的，由于行业竞争、隐私安全、行政手续复杂等问题，即使是在同一个公司的不同部门之间实现数据整合也面临着重重阻力，在现实中想要将分散在各地、各个机构的数据进行整合几乎是不可能的，或者说所需的成本是巨大的。
随着人工智能落地场景越来越丰富，多方整合数据从而为用户提供更好的服务迫切性非常高，尤其是在一些风控领域，特别需要联合多家企业的数据来打造更好的信用模型，从而提升用户贷款的效率，比如银行就非常需要运营商的通信数据、电商企业的交易数据来提升信用模型的质量。
如何在满足数据隐私、安全和监管要求的前提下，设计一个机器学习框架，让人工智能系统能够更加高效、准确的共同使用各自的数据，是当前人工智能发展的一个重要课题。Google公司提出把研究的重点转移到如何解决数据孤岛的问题，提出一个满足隐私保护和数据安全的一个可行的解决方案，叫做联邦学习。联邦学习，一种先进的机器学习方法，可以利用来自多个节点(例如移动设备)的分布式个性化数据集，以改进服务器端模型的性能，同时提供隐私保护针对移动用户。
联邦学习的目的是解决数据孤岛的问题：它希望做到各个企业的自有数据不出本地，联邦系统可以通过加密机制下的参数交换方式，在不违反数据隐私保护法规的情况下，建立一个虚拟的共有模型。这个虚拟模型就好像大家把数据聚合在一起建立的最优模型一样。
在联邦学习中，服务器端的模型数据在边缘段的移动设备上进行分发和维护。服务器端通过收集本地模型来更新全局模型，即使用其本地训练数据在移动设备进行更新并在每次迭代中上传到服务器端来训练全局模型。但是，不可靠数据同样可以由移动设备上传，导致联邦学习训练的全局模型无法达到预期的效果。例如数据中毒攻击或无意中喂入不满足要求的数据。因此，需要找出值得信赖的可靠的边缘端作为更新的来源十分重要。
发明内容
为了解决因为不良数据喂入(数据中毒，没有独立同分布的数据)导致的模型难以优化的问题，本发明提供了基于信用评估的面向联邦学习中毒攻击的防御方法，可以挑选合适的边缘端进行训练，从而优化全局模型的训练过程。
本发明的技术方案为：
一种基于信用评估的面向联邦学习中毒攻击的防御方法，实现所述防御方法的系统包括一个服务器和K个终端，所述防御方法包括：
(1)为服务器配置图像数据集Dglobal、验证图像数据集Dval以及共享图像数据集Dshare，利用所述图像数据集Dglobal训练初始化一个模型Gt；为每个终端配置一个本地图像数据集Dlocal；
(2)将所述当前模型Gt和所述共享图像数据集Dshare发送至每个终端，t表示当前迭代次数；
(3)选择F个终端以模型Gt为基础，利用本地图像数据集Dlocal和共享图像数据集Dshare中的训练图像样本对初始化模型Gt进行训练以更新模型参数，获得模型参数更新后的模型
Figure BDA0002469490300000031
再利用共享图像数据集Dshare中的测试图像样本对模型
Figure BDA0002469490300000032
进行训练阶段的第一轮信用评估，获得第一轮信用评估结果，其中，F≤K，K为大于2的自然数，i为模型索引，i∈F；
(4)将F个模型
Figure BDA0002469490300000033
上传到服务器，计算模型
Figure BDA0002469490300000034
与其他模型
Figure BDA0002469490300000035
之间的L2范数，对L2范数进行统计以完成上传阶段的第二轮信用评估，获得第二轮信用评估结果，其中，m∈F且m不等于i；
(5)服务器将F个模型
Figure BDA0002469490300000036
与模型Gt聚合成模型
Figure BDA0002469490300000037
利用验证图像数据集Dval对模型
Figure BDA0002469490300000038
进行验证以完成聚合阶段的第三轮信用评估，获得第三轮信用评估结果；
(6)根据第一轮信用评估结果、第二轮信用评估结果以及第三轮信用评估结果统计F个模型
Figure BDA0002469490300000039
的综合信用评估结果，根据综合信用评估结果筛选小于综合信用评估阈值的L个模型
Figure BDA00024694903000000310
进行聚合获得模型Gt+1，利用图像数据集Dglobal和共享图像数据集Dshare对模型Gt+1训练一定次数后，跳转执行步骤(2)，其中L≤F。
与现有技术相比，本发明具有的有益效果为：
通过终端模型的三轮信用评估筛选信用较好的终端进行边缘模型训练，以提升全局模型的质量，提高模型达到要求的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明提供的基于信用评估的面向联邦学习中毒攻击的防御方法的流程图；
图2是本发明提供的第一轮信用评估架构示意图；
图3是本发明提供的第二轮信用评估架构示意图；
图4是本发明提供的第三轮信用评估架构示意图；
图5是信用评估完成后的进行联邦学习示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
实施例提供了一种针对图像攻击的基于信用评估的面向联邦学习中毒攻击的防御方法，通过信用评估，将边缘端训练的模型进行分级，挑选其中信用评估较好的进行全局模型的聚类。信用评估主要在以下三个阶段进行：训练阶段，模型上传阶段以及模型聚合阶段。在模型训练阶段，利用共享数据集中的训练集和边缘端的本地数据集进行训练，避免因数据没有独立同分布导致边缘端训练的模型较差。同时可利用共享数据集的测试集进行模型的第一轮信用评估。在模型收集阶段，算出边缘端模型之间的L2距离，并根据距离进行第二轮信用评估。在模型聚合阶段，使用替代模型进行聚合，并利用服务器端的测试集进行测试，根据在测试集的准确率进行第三轮的信用评估。根据信用得分，挑选合适的边缘端作为全局模型更新的来源，并在一定轮数后重新评估。
如图1～图5所示，实施例提供的基于信用评估的面向联邦学习中毒攻击的防御方法包括以下步骤：
(1)为服务器配置图像数据集Dglobal、验证图像数据集Dval以及共享图像数据集Dshare，利用所述图像数据集Dglobal训练初始化一个模型Gt；为每个终端配置一个本地图像数据集Dlocal。
再配置共享图像数据集Dshare时，共享图像数据集Dshare中的图像样本应尽量满足独立同分布的统计和。
所有数据集均可以来自MNIST数据集、Cifar10数据集和ImageNet数据集。
(2)将所述当前模型Gt和所述共享图像数据集Dshare发送至每个终端，t表示当前迭代次数。
(3)选择F个终端以模型Gt为基础，利用本地图像数据集Dlocal和共享图像数据集Dshare中的训练图像样本对初始化模型Gt进行训练以更新模型参数，获得模型参数更新后的模型
Figure BDA0002469490300000051
再利用共享图像数据集Dshare中的测试图像样本对模型
Figure BDA0002469490300000052
进行训练阶段的第一轮信用评估，获得第一轮信用评估结果，其中，F≤K，K为大于2的自然数，i为模型索引，i∈F。
其中，第一轮信用评估的过程为：
首先，采用公式(1)计算第一轮信用评估值：
Figure BDA0002469490300000053
其中，ri为第一轮信用评估值，{xjs,yjs}是共享图像数据集Dshare的第j个图像样本和对应标签，
Figure BDA0002469490300000054
表示图像样本xjs在模型
Figure BDA0002469490300000055
的输出值，f(xjs；Gt)表示图像样本xjs在模型Gt的输出值，
Figure BDA0002469490300000056
表示判断图像样本xjs在模型
Figure BDA0002469490300000057
的输出值是否与标签yjs相同，C(f(xjs；Gt),yjs)表示判断图像样本xjs在模型Gt的输出值是否与标签yjs相同，sum(·)表示求和；
然后，比较第一轮信用评估值ri与阈值γt，当第一轮信用评估值ri大于阈值γt的模型给予较高的评价，对第一轮信用评估值ri小于阈值γt的模型的第一轮信用评估值ri清零，并将获得较高评价的模型的第一轮信用评估值ri与信用参数α的乘积作为第一轮信用评估结果。
(4)将F个模型
Figure BDA0002469490300000061
上传到服务器，计算模型
Figure BDA0002469490300000062
与其他模型
Figure BDA0002469490300000063
之间的L2范数，对L2范数进行统计以完成上传阶段的第二轮信用评估，获得第二轮信用评估结果，其中，m∈F且m不等于i。
其中，第二轮信用评估的过程为：
首先，计算模型
Figure BDA0002469490300000064
与其他模型
Figure BDA0002469490300000065
之间的L2范数，并依据所述L2范数值根据公式(2)确定L2范数的范围Ri；
Figure BDA0002469490300000066
其中，
Figure BDA0002469490300000067
表示模型
Figure BDA0002469490300000068
的模型参数，
Figure BDA0002469490300000069
表示模型
Figure BDA00024694903000000610
的模型参数，
Figure BDA00024694903000000611
表示模型参数
Figure BDA00024694903000000612
与模型参数
Figure BDA00024694903000000613
之间的L2范数，i∈F\m表示i属于F但不等于m；
然后，根据公式(3)计算第二轮信用评估值：
κi＝max{|Ri,u-min(Rm,l)|,|Ri,l-max(Rm,u)|}   (3)
其中，κi表示第二轮信用评估值，
Figure BDA00024694903000000614
为范围Ri的上限，
Figure BDA00024694903000000615
为范围Ri的下限，
Figure BDA00024694903000000616
表示其他模型
Figure BDA00024694903000000617
对应范围Rm的下限，
Figure BDA00024694903000000618
表示其他模型
Figure BDA00024694903000000619
对应范围Rm的上限，m∈[F\i]表示m属于F但等于i；
最后，比较第二轮信用评估值κi与阈值κt，当第二轮信用评估值κi大于阈值κt的模型给予较高的评价，对第二轮信用评估值κi小于阈值κt的模型的第二轮信用评估值κi清零，并将获得较高评价的模型的第二轮信用评估值κi与信用参数β的比值作为第二轮信用评估结果。
(5)服务器将F个模型
Figure BDA0002469490300000071
与模型Gt聚合成模型
Figure BDA0002469490300000072
利用验证图像数据集Dval对模型
Figure BDA0002469490300000073
进行验证以完成聚合阶段的第三轮信用评估，获得第三轮信用评估结果。
其中，第三轮信用评估的过程为：
首先，采用公式(4)计算第三轮信用评估值：
Figure BDA0002469490300000074
其中，δi为第一轮信用评估值，{xjv,yjv}是验证图像数据集Dval的第j个图像样本和对应标签，
Figure BDA0002469490300000075
表示图像样本xjv在模型
Figure BDA0002469490300000076
的输出值，f(xjv；Gt)表示图像样本xjv在模型Gt的输出值，
Figure BDA0002469490300000077
表示判断图像样本xjv在模型
Figure BDA0002469490300000078
的输出值是否与标签yjv相同，C(f(xjv；Gt),yjv)表示判断图像样本xjv在模型Gt的输出值是否与标签yjv相同，sum(·)表示求和；
然后，比较第三轮信用评估值δi与阈值δt，当第三轮信用评估值δi大于阈值δt的模型给予较高的评价，对第三轮信用评估值δi小于阈值δt的模型的第三轮信用评估值δi清零，并将获得较高评价的模型的第三轮信用评估值δi与信用参数η的乘积作为第三轮信用评估结果。
实施例中，将模型
Figure BDA0002469490300000079
的模型参数与模型Gt的模型参数合并组成模型
Figure BDA00024694903000000710
的模型参数以获得模型
Figure BDA00024694903000000711
(6)根据第一轮信用评估结果、第二轮信用评估结果以及第三轮信用评估结果统计F个模型
Figure BDA00024694903000000712
的综合信用评估结果，根据综合信用评估结果筛选小于综合信用评估阈值的L个模型
Figure BDA00024694903000000713
进行聚合获得模型Gt+1，利用图像数据集Dglobal和共享图像数据集Dshare对模型Gt+1训练一定次数后，跳转执行步骤(2)，其中L≤F。
实施例中，将模型
Figure BDA0002469490300000081
的第一轮信用评估结果、第二轮信用评估结果以及第三轮信用评估结果相加获得模型
Figure BDA0002469490300000082
的综合评价结果。
实施例中，综合信用评估结果筛选小于综合信用评估阈值的L个模型
Figure BDA0002469490300000083
的模型参数与模型Gt的模型参数合并组成模型Gt+1的模型参数以获得模型Gt+1。
训练结束后的模型Gt+1即可以解决因为不良数据喂入(数据被攻击中毒，没有独立同分布的数据)导致的模型难以优化的问题。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于信用评估的面向联邦学习中毒攻击的防御方法，其特征在于，实现所述防御方法的系统包括一个服务器和K个终端，所述防御方法包括：
(1)为服务器配置图像数据集Dglobal、验证图像数据集Dval以及共享图像数据集Dshare，利用所述图像数据集Dglobal训练初始化一个模型Gt；为每个终端配置一个本地图像数据集Dlocal；
(2)将所述当前模型Gt和所述共享图像数据集Dshare发送至每个终端，t表示当前迭代次数；
(3)选择F个终端以模型Gt为基础，利用本地图像数据集Dlocal和共享图像数据集Dshare中的训练图像样本对初始化模型Gt进行训练以更新模型参数，获得模型参数更新后的模型
Figure FDA0004071003090000011
再利用共享图像数据集Dshare中的测试图像样本对模型
Figure FDA0004071003090000012
进行训练阶段的第一轮信用评估，获得第一轮信用评估结果，其中，F≤K，K为大于2的自然数，i为模型索引，i∈F；
(4)将F个模型
Figure FDA0004071003090000013
上传到服务器，计算模型
Figure FDA0004071003090000014
与其他模型
Figure FDA0004071003090000015
之间的L2范数，对L2范数进行统计以完成上传阶段的第二轮信用评估，获得第二轮信用评估结果，其中，m∈F且m不等于i；
(5)服务器将F个模型
Figure FDA0004071003090000016
与模型Gt聚合成模型
Figure FDA0004071003090000017
利用验证图像数据集Dval对模型
Figure FDA0004071003090000018
进行验证以完成聚合阶段的第三轮信用评估，获得第三轮信用评估结果；
(6)根据第一轮信用评估结果、第二轮信用评估结果以及第三轮信用评估结果统计F个模型
Figure FDA0004071003090000019
的综合信用评估结果，根据综合信用评估结果筛选小于综合信用评估阈值的L个模型
Figure FDA00040710030900000110
进行聚合获得模型Gt+1，利用图像数据集Dglobal和共享图像数据集Dshare对模型Gt+1训练一定次数后，跳转执行步骤(2)，其中L≤F。
2.如权利要求1所述的基于信用评估的面向联邦学习中毒攻击的防御方法，其特征在于，步骤(3)中，第一轮信用评估的过程为：
首先，采用公式(1)计算第一轮信用评估值：
Figure FDA0004071003090000021
其中，ri为第一轮信用评估值，{xjs,yjs}是共享图像数据集Dshare的第j个图像样本和对应标签，
Figure FDA0004071003090000022
表示图像样本xjs在模型
Figure FDA0004071003090000023
的输出值，f(xjs；Gt)表示图像样本xjs在模型Gt的输出值，
Figure FDA0004071003090000024
表示判断图像样本xjs在模型
Figure FDA0004071003090000025
的输出值是否与标签yjs相同，C(f(xjs；Gt),yjs)表示判断图像样本xjs在模型Gt的输出值是否与标签yjs相同，sum(·)表示求和；
然后，比较第一轮信用评估值ri与阈值γt，当第一轮信用评估值ri大于阈值γt的模型给予较高的评价，对第一轮信用评估值ri小于阈值γt的模型的第一轮信用评估值ri清零，并将获得较高评价的模型的第一轮信用评估值ri与信用参数α的乘积作为第一轮信用评估结果。
3.如权利要求1所述的基于信用评估的面向联邦学习中毒攻击的防御方法，其特征在于，步骤(4)中，第二轮信用评估的过程为：
首先，计算模型
Figure FDA0004071003090000026
与其他模型
Figure FDA0004071003090000027
之间的L2范数，并依据所述L2范数值根据公式(2)确定L2范数的范围Ri；
Figure FDA0004071003090000028
其中，
Figure FDA0004071003090000029
表示模型
Figure FDA00040710030900000210
的模型参数，
Figure FDA00040710030900000211
表示模型
Figure FDA00040710030900000212
的模型参数，
Figure FDA0004071003090000031
表示模型参数
Figure FDA0004071003090000032
与模型参数
Figure FDA0004071003090000033
之间的L2范数，i∈F\m表示i属于F但不等于m；
然后，根据公式(3)计算第二轮信用评估值：
Figure FDA0004071003090000034
其中，κi表示第二轮信用评估值，
Figure FDA0004071003090000035
为范围Ri的上限，
Figure FDA0004071003090000036
为范围Ri的下限，
Figure FDA0004071003090000037
表示其他模型
Figure FDA0004071003090000038
对应范围Rm的下限，
Figure FDA0004071003090000039
表示其他模型
Figure FDA00040710030900000310
对应范围Rm的上限，m∈[F\i]表示m属于F但等于i；
最后，比较第二轮信用评估值κi与阈值κt，当第二轮信用评估值κi大于阈值κt的模型给予较高的评价，对第二轮信用评估值κi小于阈值κt的模型的第二轮信用评估值κi清零，并将获得较高评价的模型的第二轮信用评估值κi与信用参数β的比值作为第二轮信用评估结果。
4.如权利要求1所述的基于信用评估的面向联邦学习中毒攻击的防御方法，其特征在于，步骤(5)中，第三轮信用评估的过程为：
首先，采用公式(4)计算第三轮信用评估值：
Figure FDA00040710030900000311
其中，δi为第三轮信用评估值，{xjv,yjv}是验证图像数据集Dval的第j个图像样本和对应标签，
Figure FDA00040710030900000312
表示图像样本xjv在模型
Figure FDA00040710030900000313
的输出值，f(xjv；Gt)表示图像样本xjv在模型Gt的输出值，
Figure FDA00040710030900000314
表示判断图像样本xjv在模型
Figure FDA0004071003090000041
的输出值是否与标签yjv相同，C(f(xjv；Gt),yjv)表示判断图像样本xjv在模型Gt的输出值是否与标签yjv相同，sum(·)表示求和；
然后，比较第三轮信用评估值δi与阈值δt，当第三轮信用评估值δi大于阈值δt的模型给予较高的评价，对第三轮信用评估值δi小于阈值δt的模型的第三轮信用评估值δi清零，并将获得较高评价的模型的第三轮信用评估值δi与信用参数η的乘积作为第三轮信用评估结果。
5.如权利要求1所述的基于信用评估的面向联邦学习中毒攻击的防御方法，其特征在于，步骤(5)中，将模型
Figure FDA0004071003090000042
的模型参数与模型Gt的模型参数合并组成模型
Figure FDA0004071003090000043
的模型参数以获得模型
Figure FDA0004071003090000044
6.如权利要求1所述的基于信用评估的面向联邦学习中毒攻击的防御方法，其特征在于，步骤(6)中，将模型
Figure FDA0004071003090000045
的第一轮信用评估结果、第二轮信用评估结果以及第三轮信用评估结果相加获得模型
Figure FDA0004071003090000046
的综合评价结果。
7.如权利要求1所述的基于信用评估的面向联邦学习中毒攻击的防御方法，其特征在于，步骤(6)中，综合信用评估结果筛选小于综合信用评估阈值的L个模型
Figure FDA0004071003090000047
的模型参数与模型Gt的模型参数合并组成模型Gt+1的模型参数以获得模型Gt+1。
CN202010344204.2A 2020-04-27 2020-04-27 基于信用评估的面向联邦学习中毒攻击的防御方法 Active CN111598143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010344204.2A CN111598143B (zh) 2020-04-27 2020-04-27 基于信用评估的面向联邦学习中毒攻击的防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010344204.2A CN111598143B (zh) 2020-04-27 2020-04-27 基于信用评估的面向联邦学习中毒攻击的防御方法

Publications (2)

Publication Number Publication Date
CN111598143A CN111598143A (zh) 2020-08-28
CN111598143B true CN111598143B (zh) 2023-04-07

Family

ID=72182314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010344204.2A Active CN111598143B (zh) 2020-04-27 2020-04-27 基于信用评估的面向联邦学习中毒攻击的防御方法

Country Status (1)

Country Link
CN (1) CN111598143B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381000A (zh) * 2020-11-16 2021-02-19 深圳前海微众银行股份有限公司 基于联邦学习的人脸识别方法、装置、设备及存储介质
CN112365005B (zh) * 2020-12-11 2024-03-19 浙江工业大学 基于神经元分布特征的联邦学习中毒检测方法
CN112671746B (zh) * 2020-12-17 2022-04-29 杭州趣链科技有限公司 一种基于区块链的联邦学习模型中毒检测方法
CN112560059B (zh) * 2020-12-17 2022-04-29 浙江工业大学 一种基于神经通路特征提取的垂直联邦下模型窃取防御方法
CN112634027A (zh) * 2020-12-30 2021-04-09 杭州趣链科技有限公司 一种面向小微企业信用评估的自适应联邦参数聚合方法
CN112770291B (zh) * 2021-01-14 2022-05-31 华东师范大学 基于联邦学习和信任评估的分布式入侵检测方法及系统
CN113837108B (zh) * 2021-09-26 2023-05-23 重庆中科云从科技有限公司 人脸识别方法、装置及计算机可读存储介质
CN114154645B (zh) * 2021-12-03 2022-05-17 中国科学院空间应用工程与技术中心 跨中心图像联合学习方法、系统、存储介质及电子设备
CN117972700A (zh) * 2024-03-29 2024-05-03 华东交通大学 基于深度强化学习的中毒攻击检测与惩罚方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648068A (zh) * 2018-05-16 2018-10-12 长沙农村商业银行股份有限公司 一种信用风险评估方法及系统
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665120B (zh) * 2017-03-27 2020-10-20 创新先进技术有限公司 打分模型的建立、用户信用的评估方法及装置
US11475350B2 (en) * 2018-01-22 2022-10-18 Google Llc Training user-level differentially private machine-learned models

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648068A (zh) * 2018-05-16 2018-10-12 长沙农村商业银行股份有限公司 一种信用风险评估方法及系统
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wang xiaofei等.In-Edge AI: Intelligentizing Mobile Edge Computing, Caching and Communication by Federated Learning.IEEE Network.2019,第156-165页. *
王亚珅;.面向数据共享交换的联邦学习技术发展综述.无人系统技术.2019,(第06期),第58-62页. *

Also Published As

Publication number Publication date
CN111598143A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598143B (zh) 基于信用评估的面向联邦学习中毒攻击的防御方法
CN111178456B (zh) 异常指标检测方法、装置、计算机设备和存储介质
US11836615B2 (en) Bayesian nonparametric learning of neural networks
US11263644B2 (en) Systems and methods for detecting unauthorized or suspicious financial activity
CN111797320B (zh) 数据处理方法、装置、设备及存储介质
CN110019841A (zh) 构建债务人知识图谱的数据分析方法、装置及系统
US20230267302A1 (en) Large-Scale Architecture Search in Graph Neural Networks via Synthetic Data
CN113688490A (zh) 网络共建共享处理方法、装置、设备及存储介质
CN112905340A (zh) 系统资源分配方法、装置及设备
CN110032551A (zh) 模型生成系统、方法及预测系统
Ren et al. A novel deep learning method for application identification in wireless network
CN116644984A (zh) 电力光通信网络可靠性评估方法、装置、设备及存储介质
JP7288062B2 (ja) 情報を出力するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN109087146A (zh) 影院票房收入的预测方法及系统
CN113361959A (zh) 一种银行业务集中运营成熟度的计算方法和装置
WO2022143431A1 (zh) 一种反洗钱模型的训练方法及装置
Meng et al. Classification of customer service tickets in power system based on character and word level semantic understanding
Ashiquzzaman et al. Deep Learning-Guided Production Quality Estimation for Virtual Environment-Based Applications
CN112734352A (zh) 一种基于数据维度的单据审核方法和装置
Kumar et al. Analysis of student performance based on classification and map reduce approach in big data
Narayanan et al. MACHINE LEARNING ALGORITHM FOR FINTECH INNOVATION IN BLOCKCHAIN APPLICATIONS.
CN109308565A (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备
CN116258574B (zh) 一种基于混合效应逻辑回归的违约率预测方法及系统
CN116701962B (zh) 边缘数据处理方法、装置、计算设备及存储介质
CN116126544A (zh) 基于因果推断的边缘云设备配置优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant