CN113554182B - 一种横向联邦学习系统中拜占庭节点的检测方法及系统 - Google Patents

一种横向联邦学习系统中拜占庭节点的检测方法及系统 Download PDF

Info

Publication number
CN113554182B
CN113554182B CN202110851735.5A CN202110851735A CN113554182B CN 113554182 B CN113554182 B CN 113554182B CN 202110851735 A CN202110851735 A CN 202110851735A CN 113554182 B CN113554182 B CN 113554182B
Authority
CN
China
Prior art keywords
model
participants
participant
local
encrypted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110851735.5A
Other languages
English (en)
Other versions
CN113554182A (zh
Inventor
郭晶晶
刘玖樽
魏林锋
黄斐然
刘志全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110851735.5A priority Critical patent/CN113554182B/zh
Publication of CN113554182A publication Critical patent/CN113554182A/zh
Application granted granted Critical
Publication of CN113554182B publication Critical patent/CN113554182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种横向联邦学习系统中拜占庭节点的检测方法及系统，检测方法包括以下步骤：各参与方对自身本地模型进行加密得到加密本地模型并将其上传；将各参与方的加密本地模型进行加权求和操作，得到加密全局模型并下发至各参与方；各参与方对加密全局模型进行解密，并通过计算解密之后的全局模型与自身本地模型的差值得到其余参与方的聚合模型；各参与方计算其余参与方的聚合模型与自身本地模型的距离；基于各参与方发送的距离构造模型距离向量，计算模型距离向量中的异常点完成异常参与方检测。本发明能够实现联邦学习系统存在拜占庭参与方的情况下仍能得到精度较高的全局模型，从而提高联邦学习系统的鲁棒性以及学习结果的可信度。

Description

一种横向联邦学习系统中拜占庭节点的检测方法及系统
技术领域
本发明属于信息安全领域，涉及一种横向联邦学习系统中拜占庭节点的检测方法及系统。
背景技术
联邦学习(Federated Learning)是一个机器学习框架，特点是多个参与方利用自身拥有的数据在唯一的聚合服务器的配合下协作得到训练模型，参与方将自身训练得到的本地模型上传至聚合服务器，聚合服务器利用某种聚合规则对接收到的参与方本地模型进行聚合之后，得到一个全局模型供所有参与方共享。这种机器学习范式可以使得各参与方的本地训练数据不会与其他参与方及聚合服务器共享，从而保护参与方的数据隐私。
有学者发现，攻击者有可能通过各参与方上传的本地模型信息来推断参与方的隐私信息，为了抵御这种攻击，研究人员设计了多种联邦学习中参与方本地模型的隐私保护方案，并设计了相应的安全聚合规则。这些方案主要基于差分隐私或同态加密技术实现，目的为令聚合服务器或其它攻击者无法直接观察到每个参与方的明文本地模型信息，有效地保护了参与方的数据和模型隐私。现有的多数联邦学习算法通常假设各参与方均为诚实的，即参与方将会上传有效数据训练生成的真实模型数据，然而实际环境中这种假设并非总是成立。参与方可以修改真实本地模型或者直接生成随机本地模型上传至聚合服务器，从而导致聚合服务器得到错误全局模型，这类参与方称为拜占庭节点或恶意参与方。当前一些学者提出了联邦学习系统恶意参与方的检测方法，然而这些方法均假设各参与方上传明文本地模型信息至聚合服务器。隐私保护的联邦学习算法中，各参与方所上传的本地模型信息会经过隐私保护技术处理，使得现有针对参与方上传明文的异常检测方案无法适用于隐私保护的联邦学习系统。
发明内容
本发明的目的在于针对上述现有技术中的问题，提供一种横向联邦学习系统中拜占庭节点的检测方法及系统，可以在参与方的本地模型信息通过隐私保护技术(基于同态加密)处理上传至聚合服务器的情况下，检测出上传异常信息的恶意参与方。
为了实现上述目的，本发明有如下的技术方案：
一种横向联邦学习系统中拜占庭节点的检测方法，包括以下步骤：
各参与方对自身本地模型进行加密得到加密本地模型并将其上传；
将各参与方的加密本地模型进行加权求和操作，得到加密全局模型并下发至各参与方；
各参与方对加密全局模型进行解密，并通过计算解密之后的全局模型与自身本地模型的差值得到其余参与方的聚合模型；
各参与方计算其余参与方的聚合模型与自身本地模型的距离；
基于各参与方发送的距离构造模型距离向量，计算模型距离向量中的异常点完成异常参与方检测。
作为本发明检测方法的一种优选方案，各参与方利用本地数据进行模型训练，对训练得到的本地模型通过Paillier同态加密算法进行加密得到加密本地模型。
作为本发明检测方法的一种优选方案，对于参与方ui，利用其本地数据集di进行模型训练，得到本地模型其中，本地模型/>的参数按照特定顺序组成本地模型向量 参与学习的数据总量为|D|，pk为公钥；
利用下式对本地模型向量中所有元素进行加密：
令上传/>至聚合服务器。
作为本发明检测方法的一种优选方案，聚合服务器接收到各参与方发送的加密本地模型后，利用下式聚合各参与方的加密本地模型参数：
聚合服务器将更新后的全局模型下发至各参与方。
作为本发明检测方法的一种优选方案，按下式解密接收到的加密全局模型得到明文全局模型Gt+1：
式中，sk为密钥；
利用明文全局模型与其自身本地模型，按下式计算其余参与方的聚合模型：
作为本发明检测方法的一种优选方案，各参与方按下式计算其余参与方的聚合模型与自身本地模型的距离：
作为本发明检测方法的一种优选方案，基于正态分布的3sigma原理与DBSCAN聚类算法计算模型距离向量中的异常点。
作为本发明检测方法的一种优选方案，所述正态分布的3sigma原理为：在数据集中的数据符合正态分布的情况下，取值范围(μ-3σ，μ+3σ)内包含99.7％的数据，取值范围(μ-2σ，μ+2σ)内包含95.4％的数据，取值范围(μ-σ，μ+σ)内包含68.3％的数据，其中μ为数据集中的数据均值，σ为数据的标准差。
作为本发明检测方法的一种优选方案，所述的DBSCAN聚类算法基于一维数据对模型距离向量进行检测，找出数据中局部强相关的对象，并识别出数据中的噪声点进行标记，所标记的噪声点即为异常数据。
本发明还提供一种横向联邦学习系统中拜占庭节点的检测系统，包括：
本地模型加密模块，用于各参与方对自身本地模型进行加密得到加密本地模型并将其上传；
加密全局模型求取模块，用于将各参与方的加密本地模型进行加权求和操作，得到加密全局模型并下发至各参与方；
聚合模型求取模块，用于各参与方对加密全局模型进行解密，并通过计算解密之后的全局模型与自身本地模型的差值得到其余参与方的聚合模型；
距离计算模块，用于各参与方计算其余参与方的聚合模型与自身本地模型的距离；
异常点检测模块，用于基于各参与方发送的距离构造模型距离向量，计算模型距离向量中的异常点完成异常参与方检测。
相较于现有技术，本发明至少具有如下的有益效果：针对隐私保护的横向联邦学习系统中存在恶意参与方的问题，本发明横向联邦学习系统中拜占庭节点的检测方法能够在保护学习参与方隐私的基础上，对各学习参与方提供的参数进行异常检测，避免联邦学习系统生成异常全局模型，实现使联邦学习系统存在拜占庭参与方的情况下仍能得到精度较高的全局模型，从而提高联邦学习系统的鲁棒性以及学习结果的可信度。
附图说明
图1本发明实施例包含拜占庭节点的联邦学习系统示意图；
图2本发明实施例基于正态分布的3sigma理论、恶意节点比例为20％时在不同参与方数量的情况下对MNIST数据集的分类精度统计图；
图3本发明实施例基于DBSCAN聚类、恶意节点比例为20％时在不同参与方数量的情况下对MNIST数据集的分类精度统计图；
图4本发明实施例采用DBSCAN聚类、参与方数量为20的条件下恶意参与方比例不同时对于MNIST数据集的分类精度统计图；
图5本发明实施例基于正态分布的3sigma理论、参与方数量为20的条件下恶意参与方比例不同时对于MNIST数据集的分类精度统计图；
图6本发明实施例参与方数量为20、恶意参与方比例为20％时采用DBSCAN聚类的异常检测邻阈半径的取值不同时全局模型的精度统计图；
图7本发明实施例参与方数量为20、恶意参与方比例为20％时基于正态分布3sigma理论的异常检测不同区间大小下全局模型的精度统计图；
图8本发明实施例训练轮数为20时不同的参与方数量下各参与方用于恶意参与方检测的计算开销与整体计算开销对比统计图；
图9本发明实施例不同参与方数量下各参与方用于恶意参与方检测的通信开销与整体通信开销对比统计图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
参见图1，在包含拜占庭节点的联邦学习系统中，各参与方和聚合服务器通过以下流程生成全局模型：①系统中的各参与方使用各自的本地数据训练本地模型，在本地训练过程中本地数据不会与系统的其他节点共享，假设其中的拜占庭节点的训练数据中存在不对外可见的脏数据，所以其生成的本地模型为异常模型；②各参与方本地模型进行加密，将加密后的模型参数信息上传至聚合服务器；③聚合服务器收到各参与方的上传数据后，按照聚合规则生成全局模型，由于过程②中恶意参与方上传了异常数据，因此经过模型聚合后的全局模型也是异常模型；④最后聚合服务器将全局模型下发给各个参与方。
本发明提出的一种横向联邦学习系统中拜占庭节点的检测方法，用于隐私保护的横向联邦学习系统中异常参与方的检测，假设各参与方利用同态加密技术实现隐私保护，提出了基于DBSCAN聚类算法与正态分布的3-σ原则的异常参与方检测方案。
同态加密是一类具有特殊自然属性的加密方法，此概念是Rivest等人在20世纪70年代首先提出的，与一般加密算法相比，同态加密除了能实现基本的加密操作之外，还能实现密文间的多种计算功能，即先计算后解密可等价于先解密后计算。
以下为本发明所用到的同态加密相关函数：
KeyGen(1λ)→(pk，sk)：密钥生成函数，λ为安全参数，函数输出为各参与方共享的公钥pk与私钥sk。
Enc(pk，m)→c：加密函数，使用公钥pk对明文m加密后，得到m对应的密文c。
Dec(sk，c)→m：解密函数，使用密钥sk对密文c解密后，得到对应的明文m。
Add(c1，c2，…，cn)＝[[m1+m2+…+mn]]：密文加法函数，对于密文c1，c2，…，cn，函数的输出为输入c1，c2，…，cn对应的明文之和的密文。
DecA(sk，cadd)＝m1+m2+…+mn：使用密钥sk解密cadd后得到m1+m2+…+mn，其中Add(c1，c2，…，cn)＝cadd。
在基于同态加密的联邦学习系统参与方隐私保护中，各参与方的本地模型聚合是在密文状态下进行的，假设xi为参与方ui的本地模型参数，X为聚合服务器接收到的各个参与方上传的本地模型参数集合，那么有：X＝{[[xi]]|i∈[1，n]}。聚合服务器通过计算G＝FedAvg(X)＝Add([[x1]]，[[x2]]，…，[[xn]])，得到加密的全局模型，其中FedAvg(·)为聚合函数。各参与方得到加密全局模型后，可以计算获得明文的全局模型。
离群点检测的主要目的是为了检测出那些与正常数据行为或特征属性差别较大的异常数据或行为。本发明采用了基于统计方法和聚类的离群点检测方法对异常参与方进行检测。
由于聚类分析可用于发现局部强相关的对象组，而异常检测用来发现不与其他对象强相关的对象，因此聚类分析可以用于离群点检测。本发明采用DBSCAN聚类方案进行异常检测，设检测函数被表示为detect_dbscan(·)，该函数的参数为各检测对象，输出为异常对象。
离群点检测的统计学方法通常假定数据集中的正常对象由一个随机过程(生成模型)产生，因此，正常对象出现在该随机模型的高概率区域中，而低概率区域中的对象是离群点。本发明采用了基于正态分布的3-sigma原则检测异常参与方，该方法的检测函数被表示为detect_sigma(·)，该函数的参数为各检测对象，输出为异常对象。
本发明所提方案对隐私保护的横向联邦学习系统具有如下假设：
(1)系统中共有n名参与方，参与方集合为{u1，u2......，un}，参与方的本地数据分别为{d1，d2......，dn}，所有参与方的数据为D。系统中的恶意参与方的数量小于正常参与方数量；
(2)系统中的参与方已经协商生成同态加密密钥(pub，pri)，其中，私钥pri只有各参与方可知，且公钥pub用于加密模型参数，私钥pri用于解密；
(3)各个参与方的本地神经网络模型的类型和结构相同，本地模型的参数数量为m，本地数据集独立同分布。
本发明横向联邦学习系统中拜占庭节点的检测方法，具体包括以下步骤：
Step1：初始化。利用KeyGen(1λ)→(pk，sk)产生各参与方的公钥与私钥，其中私钥sk只被各参与方拥有。聚合服务器向各参与方公布系统参与方数量n，以及参与学习的数据总量|D|。
Step2：本地模型信息密文生成。
参与方ui利用其本地数据集di进行模型训练，得到本地模型其中/>的参数按照特定顺序组成本地模型向量/>
然后利用公式(1)对本地模型向量中所有元素进行加密：
令上传/>至聚合服务器。
Step3：全局模型聚合。
聚合服务器接收到各参与方发送的加密本地模型后，利用公式(2)聚合各参与方的加密模型参数。
将更新后的全局模型下发至各参与方。
Step4：模型差异信息生成。
参与方ui通过公式(3)，(4)解密接收到的全局模型得到明文全局模型Gt+1。
利用明文全局模型与其本地模型，按式(5)计算其余参与方的聚合模型：
然后，利用公式(6)计算本地模型与其余参与方的聚合模型之间的差异，并将计算结果上传至聚合服务器。在本发明中，利用欧几里得距离来表示两个模型之间的差异。
Step5：异常检测。
聚合服务器接收到各参与方发送的模型差异信息后，对集合Dt+1进行离群点检测，对于标记为异常的元素，发送该元素的参与方将被视为拜占庭节点，在后续的学习过程中将剔除其上传的本地模型数据。离群点检测方案将在下文进行详细介绍。
令t＝t+1，重复(2)到(5)的步骤，进行下一轮模型训练直到模型收敛或训练轮数达到预定义的训练轮数。
本发明分别基于正态分布的3sigma原理以及DBSCAN聚类算法在聚合服务器端进行拜占庭节点检测。下面对这两种方案进行详细介绍。
一、基于正态分布的3sigma原理的异常检测
一个符合正态分布的数据集，可以由数据集中的数据推断正态分布的参数，并把低概率区域的数据识别为离群点。正态分布的3sigma原理指出：在数据集中的数据符合正态分布的情况下，取值范围(μ-3σ，μ+3σ)内包含了99.7％的数据，取值范围(μ-2σ，μ+2σ)内包含了95.4％的数据，取值范围(μ-σ，μ+σ)内包含了68.3％的数据。其中μ为数据集中的数据的均值，σ为数据的标准差。本发明假设正常参与方产生的本地模型数据符合正态分布。
二、基于DBSCAN聚类的异常检测
本发明使用基于一维数据下DBSCAN聚类算法的离群点检测算法对距离向量进行检测。通过DBSCAN聚类算法找出数据中局部强相关的对象，并识别出数据中的噪声点，标记的噪声点即为异常数据。
实施例通过实验对本发明所提方案进行了有效性验证。实验环境为DELL T7920工作站，Intel 4210R CPU，160G内存，Ubuntu 18.04操作系统。编程环境为Python 3.6.13，pytorch1.4.0，torchvision 0.5.0，pysyft 0.2.9。所有实验采用数据为MNIST数据集。各参与方利用其拥有的数据进行逻辑回归模型训练。
从图2中可以看到，在系统中拜占庭参与方的比例为20％的情况下，全局模型的精度随着训练轮数不断提高，当系统中的用户数量不同，恶意用户比例相同时，模型精度几乎一致。可以说明，本发明所提方案在不同规模的用户下均可以有效的检测出系统中的拜占庭参与方，并消除其上传的异常本地模型对全局模型的影响。
从图3中可以看到，在系统中拜占庭参与方的比例为20％的情况下，全局模型的精度随着训练轮数不断提高，当系统中的用户数量不同，恶意用户比例相同时，模型精度几乎一致。可以说明，本发明所提方案在不同规模的用户下均可以有效的检测出系统中的拜占庭参与方，并消除其上传的异常本地模型对全局模型的影响。此外，从图2与图3可以看出采用基于正态分布的3sigma理论与DBSCAN聚类的异常检测方案下，全局模型的精度几乎一致。
从图4中可以看到，随着训练轮数的增加，含有恶意用户的系统的全局模型精度不断提升。当系统中参与方数量不变，恶意参与方比例增大时，模型精度几乎保持不变。可以说明，本发明所提方案在不同的恶意参与方比例下均可以有效的检测出系统中的恶意参与方。
从图5中可以看到，随着训练轮数的增加，含有恶意用户的系统的全局模型精度不断提升。当系统中参与方数量不变，恶意参与方比例增大时，模型精度几乎保持不变。可以说明，本发明所提方案在不同的恶意参与方比例下均可以有效的检测出系统中的恶意参与方。
从图6中可以看出，当邻阈半径取值为d，2d，3d时(d表示模型差异集合中所有元素的均值)，随着训练轮数的增加，恶意用户可以被有效的检测出来，含有恶意用户的系统的全局模型精度不断提升，全局模型的精度与系统中不含恶意参与方时所得全局模型的精度差异极小。然而当邻阈半径取值为4d时，随着训练轮数的增加，全局模型精度基本维持稳定，处于10％到30％之间，说明邻阈半径的取值在一定范围内，恶意参与方能够被准确的识别。
从图7中可以看出，当π的取值为σ时(σ为Dt+1中元素的标准差)，随着训练轮数增加，恶意用户可以被有效的检测出来，含有恶意用户的系统的全局模型精度不断提升。然而，当区间大小取值增大(2σ，3σ)时，随着训练轮数的增加，全局模型精度基本维持稳定，处于20％到40％之间，因此区间大小的取值在一定范围内，恶意参与方能够被准确的识别。
从图8中可以看出，在系统参与方数量不同的情况下，各参与方用于异常检测的计算开销保持在0.8ms，不随参与方数量变化而变化，整体计算开销随着参与方数量增加而增加。当参与方数量为10时，各参与方用于异常检测的计算开销占整体计算开销0.0016％，随着参与方数量增加，这一比例逐渐减小。由此可以看出，本发明所提方案几乎不会对原始联邦学习系统中的参与方带来额外的计算开销。
从图9中可以看出，随着参与方数量的增加，各参与方用于恶意参与方检测的通信开销以及参与方整体通信开销均呈线性增加，当参与方数量为10，20与30时，用于恶意参与方检测的通信开销分别占参与方整体通信开销的0.025％，0.027％与0.015％。由此可以看出，本发明所提方案几乎不会对原始联邦学习系统中的参与方带来额外的通信开销。
本发明还提供一种横向联邦学习系统中拜占庭节点的检测系统，包括：
本地模型加密模块，用于各参与方对自身本地模型进行加密得到加密本地模型并将其上传；
加密全局模型求取模块，用于将各参与方的加密本地模型进行加权求和操作，得到加密全局模型并下发至各参与方；
聚合模型求取模块，用于各参与方对加密全局模型进行解密，并通过计算解密之后的全局模型与自身本地模型的差值得到其余参与方的聚合模型；
距离计算模块，用于各参与方计算其余参与方的聚合模型与自身本地模型的距离；
异常点检测模块，用于基于各参与方发送的距离构造模型距离向量，计算模型距离向量中的异常点完成异常参与方检测。
以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换，这些修改和替换也均属于权利要求书所涵盖的保护范围之内。

Claims (5)

1.一种横向联邦学习系统中拜占庭节点的检测方法，其特征在于，包括以下步骤：
各参与方对自身本地模型进行加密得到加密本地模型并将其上传；
将各参与方的加密本地模型进行加权求和操作，得到加密全局模型并下发至各参与方；
各参与方对加密全局模型进行解密，并通过计算解密之后的全局模型与自身本地模型的差值得到其余参与方的聚合模型；
各参与方计算其余参与方的聚合模型与自身本地模型的距离；
基于各参与方发送的距离构造模型距离向量，计算模型距离向量中的异常点完成异常参与方检测；
对于参与方ui，利用其本地数据集di进行模型训练，得到本地模型其中，本地模型的参数按照特定顺序组成本地模型向量/>参与学习的数据总量为|D|，pk为公钥；m为本地模型的参数数量；
利用下式对本地模型向量中所有元素进行加密：
令上传EVi t至聚合服务器；
聚合服务器接收到各参与方发送的加密本地模型后，利用下式聚合各参与方的加密本地模型参数：
聚合服务器将更新后的全局模型下发至各参与方；
按下式解密接收到的加密全局模型得到明文全局模型Gt+1：
式中，sk为密钥；
利用明文全局模型与其自身本地模型，按下式计算其余参与方的聚合模型：
各参与方按下式计算其余参与方的聚合模型与自身本地模型的距离：
基于正态分布的3sigma原理与DBSCAN聚类算法计算模型距离向量中的异常点。
2.根据权利要求1所述横向联邦学习系统中拜占庭节点的检测方法，其特征在于：各参与方利用本地数据进行模型训练，对训练得到的本地模型通过Paillier同态加密算法进行加密得到加密本地模型。
3.根据权利要求1所述横向联邦学习系统中拜占庭节点的检测方法，其特征在于，所述正态分布的3sigma原理为：在数据集中的数据符合正态分布的情况下，取值范围(μ-3σ，μ+3σ)内包含99.7％的数据，取值范围(μ-2σ，μ+2σ)内包含95.4％的数据，取值范围(μ-σ，μ+σ)内包含68.3％的数据，其中μ为数据集中的数据均值，σ为数据的标准差。
4.根据权利要求1所述横向联邦学习系统中拜占庭节点的检测方法，其特征在于，所述的DBSCAN聚类算法基于一维数据对模型距离向量进行检测，找出数据中局部强相关的对象，并识别出数据中的噪声点进行标记，所标记的噪声点即为异常数据。
5.一种横向联邦学习系统中拜占庭节点的检测系统，其特征在于，基于权利要求1至4中任意一项所述横向联邦学习系统中拜占庭节点的检测方法实现，包括：
本地模型加密模块，用于各参与方对自身本地模型进行加密得到加密本地模型并将其上传；
加密全局模型求取模块，用于将各参与方的加密本地模型进行加权求和操作，得到加密全局模型并下发至各参与方；
聚合模型求取模块，用于各参与方对加密全局模型进行解密，并通过计算解密之后的全局模型与自身本地模型的差值得到其余参与方的聚合模型；
距离计算模块，用于各参与方计算其余参与方的聚合模型与自身本地模型的距离；
异常点检测模块，用于基于各参与方发送的距离构造模型距离向量，计算模型距离向量中的异常点完成异常参与方检测。
CN202110851735.5A 2021-07-27 2021-07-27 一种横向联邦学习系统中拜占庭节点的检测方法及系统 Active CN113554182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110851735.5A CN113554182B (zh) 2021-07-27 2021-07-27 一种横向联邦学习系统中拜占庭节点的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110851735.5A CN113554182B (zh) 2021-07-27 2021-07-27 一种横向联邦学习系统中拜占庭节点的检测方法及系统

Publications (2)

Publication Number Publication Date
CN113554182A CN113554182A (zh) 2021-10-26
CN113554182B true CN113554182B (zh) 2023-09-19

Family

ID=78132974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110851735.5A Active CN113554182B (zh) 2021-07-27 2021-07-27 一种横向联邦学习系统中拜占庭节点的检测方法及系统

Country Status (1)

Country Link
CN (1) CN113554182B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563616B (zh) * 2022-08-19 2024-04-16 广州大学 一种面向本地化差分隐私数据投毒攻击的防御方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611610A (zh) * 2020-04-12 2020-09-01 西安电子科技大学 联邦学习信息处理方法、系统、存储介质、程序、终端
CN111967609A (zh) * 2020-08-14 2020-11-20 深圳前海微众银行股份有限公司 模型参数验证方法、设备及可读存储介质
WO2020233260A1 (zh) * 2019-07-12 2020-11-26 之江实验室 一种基于同态加密的隐私保护多机构数据分类方法
CN112257063A (zh) * 2020-10-19 2021-01-22 上海交通大学 一种基于合作博弈论的联邦学习中后门攻击的检测方法
CN112749392A (zh) * 2021-01-07 2021-05-04 西安电子科技大学 一种联邦学习中异常节点的检测方法及系统
WO2021114821A1 (zh) * 2019-12-12 2021-06-17 支付宝(杭州)信息技术有限公司 基于联邦学习的孤立森林模型构建和预测方法和装置
CN113051557A (zh) * 2021-03-15 2021-06-29 河南科技大学 基于纵向联邦学习的社交网络跨平台恶意用户检测方法
CN113157434A (zh) * 2021-02-26 2021-07-23 西安电子科技大学 一种横向联邦学习系统用户节点的激励方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233260A1 (zh) * 2019-07-12 2020-11-26 之江实验室 一种基于同态加密的隐私保护多机构数据分类方法
WO2021114821A1 (zh) * 2019-12-12 2021-06-17 支付宝(杭州)信息技术有限公司 基于联邦学习的孤立森林模型构建和预测方法和装置
CN111611610A (zh) * 2020-04-12 2020-09-01 西安电子科技大学 联邦学习信息处理方法、系统、存储介质、程序、终端
CN111967609A (zh) * 2020-08-14 2020-11-20 深圳前海微众银行股份有限公司 模型参数验证方法、设备及可读存储介质
CN112257063A (zh) * 2020-10-19 2021-01-22 上海交通大学 一种基于合作博弈论的联邦学习中后门攻击的检测方法
CN112749392A (zh) * 2021-01-07 2021-05-04 西安电子科技大学 一种联邦学习中异常节点的检测方法及系统
CN113157434A (zh) * 2021-02-26 2021-07-23 西安电子科技大学 一种横向联邦学习系统用户节点的激励方法及系统
CN113051557A (zh) * 2021-03-15 2021-06-29 河南科技大学 基于纵向联邦学习的社交网络跨平台恶意用户检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Avestimehr A S .Byzantine-Resilient Secure Federated Learning;So J 等;arXiv;全文 *
基于纵向联邦学习的社交网络跨平台恶意用户检测方法;卫新乐 等;小型微型计算机系统;全文 *

Also Published As

Publication number Publication date
CN113554182A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
Xu et al. Hybridalpha: An efficient approach for privacy-preserving federated learning
Hao et al. Towards efficient and privacy-preserving federated deep learning
Lyu et al. PPFA: Privacy preserving fog-enabled aggregation in smart grid
CN112749392B (zh) 一种联邦学习中异常节点的检测方法及系统
Liu et al. Toward highly secure yet efficient KNN classification scheme on outsourced cloud data
CN108111294B (zh) 一种基于ML-kNN的保护隐私的多标记分类方法
Ma et al. Privacy-preserving byzantine-robust federated learning
Jiang et al. Anonymous and efficient authentication scheme for privacy-preserving distributed learning
Zhang et al. A privacy protection scheme for IoT big data based on time and frequency limitation
Ibrahem et al. Privacy-preserving and efficient decentralized federated learning-based energy theft detector
CN113554182B (zh) 一种横向联邦学习系统中拜占庭节点的检测方法及系统
Jung et al. PDA: semantically secure time-series data analytics with dynamic user groups
Park et al. Privacy-preserving federated learning using homomorphic encryption with different encryption keys
Zhao et al. SMSS: Secure member selection strategy in federated learning
Zhang et al. Antiquantum privacy protection scheme in advanced metering infrastructure of smart grid based on consortium blockchain and rlwe
Rezvani et al. A collaborative reputation system based on credibility propagation in wsns
CN114398671B (zh) 基于特征工程iv值的隐私计算方法、系统和可读存储介质
Dasu et al. PROV-FL: Privacy-preserving round optimal verifiable federated learning
Fan et al. ID-Based Multireceiver Homomorphic Proxy Re-Encryption in Federated Learning
Babamir et al. Data security in unattended wireless sensor networks through aggregate signcryption
Huang et al. Collaborative outsourced data mining for secure cloud computing
Xu et al. FedG2L: a privacy-preserving federated learning scheme base on “G2L” against poisoning attack
Bose et al. A Fully Decentralized Homomorphic Federated Learning Framework
Lu et al. Robust and verifiable privacy federated learning
Li et al. A Scheme for Robust Federated Learning with Privacy-preserving Based on Krum AGR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant