CN113794675A - 基于区块链和联邦学习的分布式物联网入侵检测方法及系统 - Google Patents

基于区块链和联邦学习的分布式物联网入侵检测方法及系统 Download PDF

Info

Publication number
CN113794675A
CN113794675A CN202110797560.4A CN202110797560A CN113794675A CN 113794675 A CN113794675 A CN 113794675A CN 202110797560 A CN202110797560 A CN 202110797560A CN 113794675 A CN113794675 A CN 113794675A
Authority
CN
China
Prior art keywords
training
intrusion detection
internet
things
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110797560.4A
Other languages
English (en)
Other versions
CN113794675B (zh
Inventor
郭渊博
方晨
张瑞杰
胡永进
马佳利
马博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202110797560.4A priority Critical patent/CN113794675B/zh
Publication of CN113794675A publication Critical patent/CN113794675A/zh
Application granted granted Critical
Publication of CN113794675B publication Critical patent/CN113794675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明属于网络信息安全技术领域，特别涉及一种基于区块链和联邦学习的分布式物联网入侵检测方法及系统，利用边缘服务器来辅助物联网设备的网络攻击检测防御，包含内容：利用收集的入侵检测数据集作为样本数据，通过联邦学习训练框架联合多个物联网设备协同训练入侵检测模型，并在训练过程中利用区块链及边缘服务器对协同训练结果进行验证共识来获取训练优化后的入侵检测模型，其中，训练结果包含模型梯度及本地运算时间；物联网设备基于自身采集的入侵检测数据利用训练优化后的入侵检测模型进行攻击检测。本发明通过联邦学习的分布式训练提升入侵检测模型训练效率及攻击检测准确率，通过区块链的分布式存储解决中心化存储的安全性问题。

Description

基于区块链和联邦学习的分布式物联网入侵检测方法及系统
技术领域
本发明属于网络信息安全技术领域，特别涉及一种基于区块链和联邦学习的分布式物联网入侵检测方法及系统。
背景技术
随着边缘计算和5g通信技术的飞速发展，万物互联已经成为大势所趋。据公开数据显示，小型传感器、大型家电等物联网设备，目前已达百亿数量级。到2020年后，预计将达到250 亿台左右。由这些规模庞大的设备组成的物联网可能面临多种复杂形式的入侵攻击。为了加强物联网的防御能力，入侵检测技术受到越来越多的关注，目前基于机器学习的入侵检测方法应用最为广泛。但是机器学习模型需要收集足够多的数据进行集中式训练来检测攻击，这种方式不仅在收集数据时消耗时间和通信开销，而且由于物联网设备采集的数据通常涉及用户隐私，比如医疗领域的患者信息、智慧交通的位置信息等，统一收集这些数据容易被攻击者窃取造成隐私泄露。联邦学习作为Google于2016年提出的一种分布式机器学习架构，可以联合多个设备在无需传输本地数据的前提下协同训练机器学习模型，确保其精度尽可能接近于直接使用所有数据训练的集中式模型，有效减小了数据的隐私泄露。但是联邦学习需要一个中央服务器负责聚合和下发模型参数，一旦中央服务器发生故障，将导致整个联邦学习过程失败。而区块链作为一种分布式账本，具有去中心化、可追溯以及集体维护等一系列特性，用其代替联邦学习中的中央服务器，可以避免单点故障攻击，并且区块链以透明且不可篡改的方式记录数据交换过程，从而避免了模型的中心化存储导致的非法篡改的不安全性。现有入侵检测方案中，物联网设备的模型参数被明文存储在区块链账本中，一旦被攻击者获取，可以发动模型逆向、模型提取等攻击推测出物联网设备的原始数据信息，因此依然存在隐私泄露风险；缺乏数据校验机制，一旦有恶意的设备上传投毒参数会威胁入侵检测系统的正确性，且入侵检测不理想。
发明内容
为此，本发明提供一种基于区块链和联邦学习的分布式物联网入侵检测方法及系统，解决区块链和联邦学习相结合时存在的隐私保护力度不足、难以抵抗中毒攻击、效率不高等问题，物联网设备基于自身收集的入侵检测数据在本地训练，边缘服务器充当区块链中的节点负责共识和验证，通过联邦学习的分布式训练提升入侵检测的准确率，并通过区块链的分布式存储解决中心化存储的安全性问题。
按照本发明所提供的设计方案，一种基于区块链和联邦学习的分布式物联网入侵检测方法，利用边缘服务器作为区块链中的节点来辅助物联网设备的网络攻击检测防御，该检测防御过程包含如下内容：
利用收集的入侵检测数据集作为样本数据，通过联邦学习训练框架联合多个物联网设备协同训练入侵检测模型，并在训练过程中利用区块链及边缘服务器对协同训练结果进行验证共识来获取训练优化后的入侵检测模型，其中，训练结果包含模型梯度及本地运算时间；
物联网设备基于自身采集的入侵检测数据利用训练优化后的入侵检测模型进行攻击检测。
作为本发明基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，协同训练结果验证共识中，区块链依据入侵检测任务创建用于训练优化参数初始化的创世块；物联网设备利用样本数据对本地入侵检测模型进行迭代训练；每次迭代训练中，训练结果以区块链事务形式上传给关联的边缘服务器，边缘服务器通过对当前迭代训练结果进行聚类验证来检测是否存在恶意更新并通过共识生成全局参数的新区块，物联网设备从关联边缘服务器下载新区块并更新本地入侵检测模型进行下一轮迭代训练，直至满足迭代训练条件，获取最终训练优化后的入侵检测模型。
作为本发明基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，物联网设备利用样本数据训练本地入侵检测模型时，利用自适应差分隐私机制对入侵检测模型梯度进行隐私保护处理，其中，利用先验知识预测迭代训练中每轮训练中模型的全局梯度，并将该先验知识作为每轮训练中梯度裁剪阈值，将裁剪后的全局梯度添加高斯噪声以隐私保护处理。
作为本发明基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，将用于估计历史梯度累积平方的先验知识作为每轮训练中梯度裁剪阈值，设定先验阈值和前期固定值，当入侵检测模型训练初期梯度先验知识不足先验阈值时，将梯度裁剪阈值设置为前期固定值进行模型迭代训练，当梯度先验知识大于先验阈值时，将梯度裁剪阈值设置为先验阈值继续迭代训练。
作为本发明基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，物联网设备利用样本数据训练本地入侵检测模型时，在第t轮训练中，物联网设备i本地入侵检测模型裁剪梯度gi,t并添加噪声的过程表示如下：
Figure RE-GDA0003344859150000021
其中，
Figure RE-GDA0003344859150000022
表示用于估计历史梯度累积平方的先验知识，Ct表示当前t轮训练梯度裁剪阈值，C表示前期固定值，G表示先验阈值， N(0,Ct 2σ2)表示分布参数分别为0,Ct 2σ2的高斯噪声，I表示单位矩阵。
作为本发明基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，自适应差分隐私机制中，设定联邦学习隐私损失与物联网设备总数和模型训练总迭代轮数呈正比，依据联邦学习训练框架中每轮物联网设备协同训练入侵检测模型时刻统计αi,t(λ)来获取在λ时刻联邦学习训练框架中联邦学习训总的时刻统计
Figure RE-GDA0003344859150000023
则对于任意ε＞0，该总时刻统计满足
Figure RE-GDA0003344859150000024
其中，c(o,A,D,D′)表示A在输出 o∈R处的隐私损失，A:D→R为随机算法，D和D′为相邻数据集，K表示物联网设备总数量，T表示全局训练轮数，αi,t(λ)表示第t轮训练时设备i的时刻统计。
作为本发明基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，边缘服务器收到关联物联网设备上传的训练结果，首先依据本地运算时间及该物联网设备样本数据大小是否呈正比来验证模型梯度可靠性，并将可靠模型梯度放入区块链事务池中，利用可验证随机函数从与若干物联网设备相关联的边缘服务器中选出验证委员会，通过验证委员会过滤事务池中存在恶意更新的训练结果。
作为本发明基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，利用数据奖励激励物联网设备向联邦学习贡献入侵检测数据集，并利用共识奖励激励边缘服务器收集数据参与区块链验证共识，其中，数据奖励中，物联网设备向边缘服务器上传训练结果前，缴纳部分资产作为押金，若物联网设备模型梯度验证合法更新，则退还押金并分发与该物联网设备本地入侵检测数据集大小成正比的资产作为数据奖励，若验证为恶意更新，则扣除该物联网设备押金作为惩罚，当物联网设备资产数量归零时，将其加入不允许参与训练的黑名单；共识奖励中，边缘服务器完成梯度验证或生成新区块时，区块链向该边缘服务器分发作为共识奖励的资产，且该资产数量与边缘服务器关联的物联网设备本地入侵检测数据集总量成正比。
作为本发明基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，针对入侵检测模型每轮的训练结果进行验证共识中，利用共识Algorand协议中的加密抽签算法从验证通过的边缘服务器中随机选举出拥有最高优先级的本轮模型训练领导者，其他边缘服务器对其优先级进行验证；作为领导者的边缘服务器从事务池中获取所有验证通过的模型训练结果，通过联邦平均算法来获取全局梯度，并生成用于模型训练的新区块；验证委员会对生成的新区块进行验证检查，当有超过2/3验证委员会委员验证通过时，该生成的新区块被认定为有效，相应的领导者和验证者从区块链中获取相应资产作为共识奖励，否则，生成一个空区块；验证委员会的委员执行gossip协议向邻居广播新区块，同步作为模型全局参数的全网账本。
进一步地，本发明还提供一种基于区块链和联邦学习的分布式物联网入侵检测系统，利用边缘服务器作为区块链中的节点来辅助物联网设备的网络攻击检测防御，具体包含如下内容：
训练模块，用于利用收集的入侵检测数据集作为样本数据，通过联邦学习训练框架联合多个物联网设备协同训练入侵检测模型，并在训练过程中利用区块链及边缘服务器对协同训练结果进行验证共识来获取训练优化后的入侵检测模型，其中，训练结果包含模型梯度及本地运算时间；
检测模块，用于物联网设备基于自身采集的入侵检测数据利用训练优化后的入侵检测模型进行攻击检测。
本发明的有益效果：
本发明中物联网设备基于自身收集的入侵检测数据在本地训练，边缘服务器充当区块链中的节点负责共识和验证，通过联邦学习的分布式训练提升入侵检测的准确率，并通过区块链的分布式存储解决中心化存储的安全性问题。通过联邦学习的分布式训练框架可以联合多个物联网设备共同训练一个更加准确的入侵检测模型，通过区块链的去中心化特性使得训练过程可以抵抗单点故障攻击，并且共识协议可每次只在部分边缘服务器中选举领导者，提高了共识速度。针对区块链中的物联网设备和边缘服务器分别设计了两种不同形式的激励：数据奖励和共识奖励，从而使得它们积极地向模型训练过程贡献算力和数据，能够得到更加准确的入侵检测模型。利用自适应差分隐私机制可以根据训练进度调整添加在梯度上的高斯噪声。随着训练的进行，添加的噪声越来越小，因此在保护参数隐私的同时降低了噪声对入侵检测模型准确率的影响。利用梯度验证机制将偏离全局优化方向的更新判定为恶意更新并删除，从而避免设备的投毒攻击影响整个入侵检测模型的正确性。不仅使模型训练能够抵抗单点故障攻击，而且还运用了高效的共识协议提高了模型的训练效率，不仅可以防止物联网设备非法获取额外的奖励，还使得分布式入侵检测框架能够抵抗部分拜占庭设备的投毒攻击，具有较好的应用前景。
附图说明：
图1为实施例中基于区块链和联邦学习的分布式物联网入侵检测流程示意；
图2为实施例中分布式物联网入侵检测原理示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
区块链作为一种去中心化、不可篡改的数字帐本，能够在无信任环境下以安全可验证的方式构建分类帐，在物联网、大数据、云计算和边缘计算等领域得到了广泛的应用。在区块链中，所有参与节点都可以进行事务的验证和转发，并通过共识算法维护全网一致的分类账，账本中的每个区块记录一系列事务和前一个区块的散列值，从而将当前区块链接到前一个区块。
共识算法是区块链技术的核心。工作量证明(PoW,proof of work)是目前常用的一种共识算法，它要求网络中的每个节点都计算特定的哈希散列值。哈希散列值满足一定条件的节点得到生成新区块的权利。新区块通过验证后会广播给网络中的所有节点以保持账本的一致性。但是这种共识机制会浪费大量的计算资源，因此以太坊提出权益证明(PoS,proof of stake)，节点利用持币数以及持有的时间来竞争生成新区块的权利，相比之下避免了不必要的资源浪费，但仍面临易分叉和扩展性的问题。股份授权证明(DPoS,delegatedproof of stake)在PoS的基础上进行了改进，类似于代议制民主，由节点投票选举出特定数目的代理节点负责区块的生成和验证，因此在牺牲部分去中心化特性的情况下加快了区块的确认速度。拜占庭容错算法(Byzantine Fault Tolerance,BFT)来源于拜占庭将军问题，是考虑在有恶意节点的情况下达成共识。它要求所有节点之间两两通信，因此节点数量不能太多，可扩展性较弱。最新提出的Algorand协议是基于PoS和BFT的混合协议，它按照时间顺序划分为不同轮次，每一轮根据节点的股权和随机因子选举出区块生产者和验证组，达到共识后广播确认新区块，进入下一轮。Algorand共识协议造成分叉的概率极低，且通过引入随机种子和股权来提高安全性和可扩展性，可快速完成交易确认。
由于区块链天然的泛中心分布式可信机制，其能够在不可信的物联网设备间构建一个可信的训练平台。
在分布式场景中，传统的机器学习算法要求用户将数据上传至数据中心再进行训练。然而，数据中可能包含隐私信息，部分用户不愿意共享其数据，这就造成了严重的数据孤岛现象，阻碍了机器学习进一步的发展。为了解决这一问题，谷歌于2016年提出一种新的分布式机器学习框架：联邦学习，用于在移动终端与服务器间建立共享模型，从而在终端数据不出本地的情况下实现数据“可用不可见”。在该框架下，每个分布式终端基于本地数据集训练机器学习模型，然后将模型参数发送给中央服务器。服务器聚合所有上传的参数后得到全局模型，下发给各个终端，用以更新它们的本地模型。假设联邦学习系统中有K个终端，每个终端持有包含ni＝|DBi|个样本的本地数据集DBi(1≤i≤K)，则中央服务器的损失函数为：
Figure RE-GDA0003344859150000051
其中
Figure RE-GDA0003344859150000052
是所有终端数据量总和，
Figure RE-GDA0003344859150000053
是第i个终端的本地损失函数， fj(w)＝l(xj,yj,w)为样本(xj,yj)对模型w造成的损失。联邦学习通常采用随机梯度下降算法来最小化损失函数，直至达到指定的迭代次数或模型准确率。
差分隐私是一种严格可证明的数学框架，其基本思想是通过对函数的输入或输出结果添加精心设计的噪声，使得数据集中任意单个记录的修改都不会对输出结果造成显著的影响，因此攻击者不能通过分析输出结果来推测数据集中的隐私信息。相关定义如下：
(ε,δ)-差分隐私，令A:D→R为随机算法，D和D′是最多有一条记录不同的两个数据集， O∈R为算法A的输出，若算法A满足：
Pr[A(D)＝O]≤eε×Pr[A(D′)＝O]+δ
则称A满足(ε,δ)-差分隐私。其中ε为差分隐私预算，该值越小说明隐私保护程度越高，但同时对于算法A的精度损失越大；δ表示允许违背严格差分隐私的概率，一般值较小。
敏感度，对于任意的查询函数f:D→Rd，D为输入数据集，Rd为函数输出的d维向量，则函数f的敏感度为
Figure RE-GDA0003344859150000054
其中D和D′为最多相差一条记录的相邻数据集，||·||p表示Lp范数。敏感度反应了查询函数f在一对相邻数据集上输出结果的最大变化范围。敏感度越小，则实现差分隐私时需要向输出结果添加的噪声就越少。
高斯机制，若使用L2范数计算函数f的敏感度，则可以通过向函数f的输出添加高斯噪声来实现(ε,δ)-差分隐私，如式(15)所示。
A(D)＝f(D)+N(0,(Δfσ)2I)
其中高斯噪声是满足均值为0，协方差为(Δfσ)2I的高斯分布，I为单位矩阵。
差分隐私满足以下特性：
(1)后处理性。若一个算法的输出结果满足差分隐私，则在这个结果上进行的任何操作都不会造成额外的隐私损失。
(2)序列化组合原理。差分隐私算法的序列化组合依然满足差分隐私性质。
将区块链和联邦学习相结合，为工业4.0开发了一种去中心化数据共享平台，解决数据孤岛和激励机制的问题，但是该方法使用工作量证明(PoW,proof of work)作为共识算法，巨大的计算开销严重降低了数据共享的效率。且它将模型参数作为交易记录明文存储在区块链中，可能会被攻击者获取后发起模型提取、模型逆向等攻击从中推断出原始数据信息。结合区块链和联邦学习利用分布式车载入侵检测，在边缘车辆训练得到的模型参数上添加掩码后再上传给路边单元，增强隐私保护力度。但是一旦有恶意的车辆上传投毒参数，会导致整个入侵检测模型偏离正确的训练方向。本发明实施例，提供一种基于区块链和联邦学习的分布式物联网入侵检测方法，利用边缘服务器作为区块链中的节点来辅助物联网设备的网络攻击检测防御，参见图1所示，该检测防御过程包含如下内容：
S101、利用收集的入侵检测数据集作为样本数据，通过联邦学习训练框架联合多个物联网设备协同训练入侵检测模型，并在训练过程中利用区块链及边缘服务器对协同训练结果进行验证共识来获取训练优化后的入侵检测模型，其中，训练结果包含模型梯度及本地运算时间；
S102、物联网设备基于自身采集的入侵检测数据利用训练优化后的入侵检测模型进行攻击检测。
物联网设备基于自身收集的入侵检测数据在本地训练，边缘服务器充当区块链中的节点负责共识和验证，通过联邦学习的分布式训练提升入侵检测的准确率，并通过区块链的分布式存储解决中心化存储的安全性问题，并解决区块链和联邦学习相结合时存在的隐私保护力度不足、难以抵抗中毒攻击、效率不高等问题。
参见图2所示，物联网设备：部署在网络边缘的物联网设备比如工业物联网中的传感器、智能家居中的网关、车联网中的汽车等，它们采集了有限的入侵检测数据集，希望在保护数据隐私的前提下和其他设备通过联邦学习构建一个更准确的入侵检测模型，以更好地防御网络攻击。边缘服务器：通常配备了一定的计算资源和通信资源，比如工业物联网中的边缘服务器、移动通信网中的基站、车联网中的路边单元等，在本发明中作为区块链中的节点负责验证、共识等操作。事务：即区块链节点间交互的数据记录。在本发明中，事务记录的是模型的梯度以及相关训练信息。协同训练：所有设备以相同的初始化参数为起点，共同迭代训练同一个入侵检测模型。在每轮迭代中，设备将本地训练得到的模型更新上传给区块链，然后由区块链完成模型聚合和共识，得到的新区块由设备下载以更新本地模型，接着进行下一轮训练。资产：主要用于激励设备和边缘服务器参加训练。当设备的更新被验证为合法、边缘服务器参与验证或生成新区块时，都能够获取一定数量的资产作为奖励。其他没有入侵检测能力的用户必须得支付一定数量的资产才能使用本入侵检测模型。与现有工作不同的是，本案实施例中可给资产设置一个有效期，即经过一定轮数的训练后，资产即失效。若干个物联网设备和边缘服务器充当的区块链节点，其中，物联网设备可以是汽车、网关或者传感器等具备部分计算能力的智能终端，以满足本案实施例的入侵检测方案在工业物联网中的实际应用。
作为本发明实施例中基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，协同训练结果验证共识中，区块链依据入侵检测任务创建用于训练优化参数初始化的创世块；物联网设备利用样本数据对本地入侵检测模型进行迭代训练；每次迭代训练中，训练结果以区块链事务形式上传给关联的边缘服务器，边缘服务器通过对当前迭代训练结果进行聚类验证来检测是否存在恶意更新并通过共识生成全局参数的新区块，物联网设备从关联边缘服务器下载新区块并更新本地入侵检测模型进行下一轮迭代训练，直至满足迭代训练条件，获取最终训练优化后的入侵检测模型。
任务发布者下发入侵检测任务至区块链，创建创世块(即区块链中第一个区块)并分发给所有物联网设备和边缘服务器以执行模型初始化。创世块主要包含以下信息：①模型初始化参数w0和总训练轮数T；②所有边缘服务器用于签名的公钥；③所有设备和边缘服务器的初始资产数量；④资产抵押和奖励函数；⑤随机数种子seed0，后续每轮训练都会根据前一轮训练的随机种子seedt-1生成seedt，主要用于保证共识阶段选举领导者时的随机性。设备在本地入侵检测数据集上训练机器学习模型，在得到的梯度上添加差分隐私噪声。设备将带噪梯度和本地运算时间以区块链事务的形式上传给关联的边缘服务器。边缘服务器收到数据后，验证梯度的可靠性，并组成验证委员会检测是否存在恶意更新。基于随机种子和资产数量从边缘服务器中选举出领导者，负责计算全局梯度并生成新区块。验证委员会对新区块的合法性进行验证，并广播通过验证的区块，同步全网的账本。设备从其关联的边缘服务器处下载新区块，从中获取全局梯度来更新本地模型。并从开始下一轮训练，直至模型收敛或达到最大训练轮数。最终得到的入侵检测模型即可部署于物联网中用于检测入侵攻击。
作为本发明实施例中基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，物联网设备利用样本数据训练本地入侵检测模型时，利用自适应差分隐私机制对入侵检测模型梯度进行隐私保护处理，其中，利用先验知识预测迭代训练中每轮训练中模型的全局梯度，并将该先验知识作为每轮训练中梯度裁剪阈值，将裁剪后的全局梯度添加高斯噪声以隐私保护处理。进一步地，将用于估计历史梯度累积平方的先验知识作为每轮训练中梯度裁剪阈值，设定先验阈值和前期固定值，当入侵检测模型训练初期梯度先验知识不足先验阈值时，将梯度裁剪阈值设置为前期固定值进行模型迭代训练，当梯度先验知识大于先验阈值时，将梯度裁剪阈值设置为先验阈值继续迭代训练。
所有设备在本地入侵检测数据集上训练得到模型梯度，将其上传给边缘服务器之前，需对梯度做隐私保护处理。为此，现有技术中有利用门限Paillier加密算法和Shamir秘密共享算法来保护本地梯度，但均存在计算开销过大的问题；相比之下，差分隐私技术计算量小，更适用于资源受限的物联网设备。利用本地差分隐私技术在原始训练数据上添加噪声以保护隐私，但会造成较大的模型精度损失；利用全局阈值C裁剪梯度后添加高斯噪声以保护隐私，但未说明阈值C的选取依据。C值对于深度学习模型来说至关重要：C值过大会添加过量噪声， C值过小会过度裁剪梯度，二者都会造成模型精度严重受损。令C值取所有设备梯度范数的中位数，但要求服务器获取所有设备的明文梯度，依然存在隐私泄露的风险。为此，本案实施例，借鉴RMSProp优化算法的思想，利用适用于物联网设备的自适应差分隐私机制，可根据训练过程灵活调整裁剪阈值，以减小噪声对模型精度的负面影响。
RMSProp优化算法作为梯度下降算法的一种优化，主要通过调整步长来加快收敛速度。其迭代更新公式如下：
Figure RE-GDA0003344859150000081
Figure RE-GDA0003344859150000082
其中θt代表第t轮训练时的模型参数，gt代表模型梯度，η是学习速率，ε0是为了确保除数不为零，一般定为10-8，
Figure RE-GDA0003344859150000083
用于估计历史梯度的累积平方。鉴于优化过程的连续性和渐进性，历史梯度通常可用于估计当前梯度的值。因此，RMSProp优化算法中的
Figure RE-GDA0003344859150000084
可以看作是当前梯度的先验知识。
令阈值
Figure RE-GDA0003344859150000085
来实现近似最优裁剪效果，而依据图2中的训练原理，算法中设备在上传梯度前无法获取当前训练轮次的全局梯度。因此，本案实施例借鉴RMSProp优化算法中的思想，利用先验知识
Figure RE-GDA0003344859150000086
预测本轮的全局梯度
Figure RE-GDA0003344859150000087
并将其作为本轮的裁剪阈值Ct，即
Figure RE-GDA0003344859150000088
其中β为本地裁剪因子，先验知识
Figure RE-GDA0003344859150000089
的计算公式如下：
Figure RE-GDA00033448591500000810
Figure RE-GDA00033448591500000811
注意，在第一轮训练时先验知识
Figure RE-GDA00033448591500000812
会导致
Figure RE-GDA00033448591500000813
不能用于梯度裁剪。因此，另设一个先验阈值G：当训练初期梯度的先验知识不足时(即
Figure RE-GDA00033448591500000814
)，令梯度裁剪阈值取固定值C；当训练不断进行直到先验知识满足
Figure RE-GDA00033448591500000815
时，令梯度裁剪阈值取
Figure RE-GDA00033448591500000816
综上所述，在第t轮训练中，设备i(1≤i≤K)在本地端裁剪梯度gi,t并添加噪声的过程可表示如下：
Figure RE-GDA00033448591500000817
Figure RE-GDA00033448591500000818
由上式可知，随着模型不断收敛，本地裁剪阈值Ct会随着
Figure RE-GDA00033448591500000819
的减小而减小，将使得添加在梯度上的噪声ξ～N(0,(Ctσ)2I)也越来越小，有助于模型在训练后期收敛。
作为本发明实施例中基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，自适应差分隐私机制中，设定联邦学习隐私损失与物联网设备总数和模型训练总迭代轮数呈正比，依据联邦学习训练框架中每轮物联网设备协同训练入侵检测模型时刻统计αi,t(λ)来获取在λ时刻联邦学习训练框架中联邦学习训总的时刻统计
Figure RE-GDA0003344859150000091
则对于任意ε＞0，该总时刻统计满足
Figure RE-GDA0003344859150000092
其中，c(o,A,D,D′)表示 A在输出o∈R处的隐私损失，A:D→R为随机算法，D和D′为相邻数据集，K表示物联网设备总数量，T表示全局训练轮数，αi,t(λ)表示第t轮训练时设备i的时刻统计。
在给定隐私预算的情况下，如何计算算法在训练过程中的隐私损失十分关键。本案实施例中基于时刻统计算法来计算隐私损失。其中，
令A:D→R为随机算法，D和D′为相邻数据集，A在输出o∈R处的隐私损失为：
Figure RE-GDA0003344859150000093
算法A在λ时刻的时刻统计为：
Figure RE-GDA0003344859150000094
组合性：若算法A由一系列子算法A1,A2,…,Ak组成，则对于任一时刻λ，算法A的时刻统计上界为所有子算法A1,A2,…,Ak的时刻统计之和：
Figure RE-GDA0003344859150000095
尾界限：对于任意ε＞0，若下式成立，算法A满足(ε,δ)-差分隐私：
Figure RE-GDA0003344859150000096
本案实施例中联邦学习算法的隐私损失与设备端总数和全局训练轮数成正比。假设设备数量为K，全局训练轮数为T，算法总的时刻统计为α(λ)，第t轮训练时设备i(1≤i≤K) 的时刻统计为αi,t(λ)，则根据组合性，有
Figure RE-GDA0003344859150000097
其中αi,t(λ)主要体现在设备在裁剪后的梯度上添加高斯噪声ξ～N(0,(Ctσ)2I)，如前述中本地端裁剪梯度gi,t并添加噪声的过程公式表示所示。αi,t(λ)的计算过程可设计如下：
令μ0为高斯分布N(0,(Ctσ)2)的概率密度函数
Figure RE-GDA0003344859150000101
μ1为高斯分布 N(1,(Ctσ)2)的概率密度函数
Figure RE-GDA0003344859150000102
μ为混合μ0和μ1的高斯分布μ＝(1-q)μ0+qμ1，其中q为设备在本地训练时的抽样概率，则αi,t(λ)＝logmax(E1,E2)，其中
Figure RE-GDA0003344859150000103
Figure RE-GDA0003344859150000104
由于所有设备在本地添加的噪声ξ～N(0,(Ctσ)2I)是一样的，因此所有设备的αi,t(λ)也是一样。在计算得到总的时刻统计α(λ)后，利用尾界限得到联邦学习算法满足
Figure RE-GDA0003344859150000105
算法在实际运行过程中，整数时刻λ的取值范围可根据实际情况来设定，通常为0≤λ≤100。
作为本发明实施例中基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，边缘服务器收到关联物联网设备上传的训练结果，首先依据本地运算时间及该物联网设备样本数据大小是否呈正比来验证模型梯度可靠性，并将可靠模型梯度放入区块链事务池中，利用可验证随机函数从与若干物联网设备相关联的边缘服务器中选出验证委员会，通过验证委员会过滤事务池中存在恶意更新的训练结果。进一步地，利用数据奖励激励物联网设备向联邦学习贡献入侵检测数据集，并利用共识奖励激励边缘服务器收集数据参与区块链验证共识，其中，数据奖励中，物联网设备向边缘服务器上传训练结果前，缴纳部分资产作为押金，若物联网设备模型梯度验证合法更新，则退还押金并分发与该物联网设备本地入侵检测数据集大小成正比的资产作为数据奖励，若验证为恶意更新，则扣除该物联网设备押金作为惩罚，当物联网设备资产数量归零时，将其加入不允许参与训练的黑名单；共识奖励中，边缘服务器完成梯度验证或生成新区块时，区块链向该边缘服务器分发作为共识奖励的资产，且该资产数量与边缘服务器关联的物联网设备本地入侵检测数据集总量成正比。
由于物联网设备收集的入侵检测数据中可能包含用户的隐私信息，且训练模型需要消耗计算资源，因此部分设备不愿意参与联邦训练。为了吸引更多的物联网设备参与训练并诚实地执行计算任务，本案实施例中，可利用Multi-KRUM算法来检测中毒攻击，并根据区块链的特点设计激励机制。具体过程可设计如下：
如图2中的训练，当边缘服务器收到其关联设备上传的带噪梯度
Figure RE-GDA0003344859150000106
和本地运算时间
Figure RE-GDA0003344859150000107
后，首先通过判断
Figure RE-GDA0003344859150000108
是否与该设备的本地入侵检测数据集大小ni成正比，来验证梯度的可靠性，并将可靠的梯度放入事务池中。然后可采用可验证随机函数(VerifiableRandom Functions,VRF)从边缘服务器中选出验证委员会，通过Multi-KRUM算法过滤事务池中可能由中毒攻击产生的恶意更新。主要步骤可描述如下：
Step1：假设R为事务池中梯度的总数量，f为拜占庭梯度的数量。将每个梯度与其最近的R-f-2个梯度的欧式距离相加，作为该梯度的质量得分：
Figure RE-GDA0003344859150000111
其中i→j表示
Figure RE-GDA0003344859150000112
属于离
Figure RE-GDA0003344859150000113
最近的R-f-2个梯度之一。
Step2：选择质量得分最低的R-f个梯度作为合法更新，并对其进行签名，同时删除其余的梯度。
针对区块链中的物联网设备和边缘服务器，分别设计了两种不同形式的激励：数据奖励和共识奖励。其中①数据奖励用于激励物联网设备向联邦学习贡献更多的入侵检测数据集：在设备向边缘服务器上传数据前，先缴纳一定数量的资产作为押金。若设备的梯度被验证为合法更新，则退还设备的押金，并且分发一定数量的资产作为数据奖励，资产数量与该设备的本地数据集大小ni成正比。其中为了防止恶意物联网设备通过伪造数据集大小来获取更多的奖励，令设备将梯度与本地运算时间一同上传给边缘服务器。基于区块链中的消逝时间证明机制[1]，通过比较数据集大小与该运算时间来验证可靠性；若设备的梯度被验证为恶意更新，则扣除该设备缴纳的押金，作为惩罚。当该设备的资产数量归零时，将其加入黑名单不允许参与训练；②共识奖励用于激励边缘服务器收集更多的数据并参与区块链验证与共识环节：当边缘服务器完成梯度验证或生成新区块时，区块链向其分发一定数量的资产作为共识奖励，资产数量与边缘服务器相关联的设备的数据集总量成正比，即
Figure RE-GDA0003344859150000114
其中
Figure RE-GDA0003344859150000115
代表与边缘服务器Mj相关联的设备数量。
作为本发明实施例中基于区块链和联邦学习的分布式物联网入侵检测方法，进一步地，针对入侵检测模型每轮的训练结果进行验证共识中，利用共识Algorand协议中的加密抽签算法从验证通过的边缘服务器中随机选举出拥有最高优先级的本轮模型训练领导者，其他边缘服务器对其优先级进行验证；作为领导者的边缘服务器从事务池中获取所有验证通过的模型训练结果，通过联邦平均算法来获取全局梯度，并生成用于模型训练的新区块；验证委员会对生成的新区块进行验证检查，当有超过2/3验证委员会委员验证通过时，该生成的新区块被认定为有效，相应的领导者和验证者从区块链中获取相应资产作为共识奖励，否则，生成一个空区块；验证委员会的委员执行gossip协议向邻居广播新区块，同步作为模型全局参数的全网账本。
共识协议主要在Algorand协议的基础上进行改进，使之具备三个特性：安全性、正确性和活跃性。其中安全性是指所有边缘服务器就同一事务达成共识，具备拜占庭容错能力；正确性是指被验证为合法的更新来自于合法的物联网设备；活跃性是指物联网设备和边缘服务器自愿持续性参与区块链和联邦学习任务。基于上述三个特性，假设系统中的恶意边缘服务器不超过1/3，协议主要步骤内容可设计如下：
Step1：领导者选举。在每一轮训练中，利用Algorand协议中的加密抽签算法从持有合法更新的边缘服务器中随机选举出领导者，主要包含以下两个函数：
Sortition(sk,seedt,τ,role＝miner,w,W)→<hash,proof,j>
VerifySort(pk,hash,proof,seedt,τ,role＝miner,w,W)→j
其中sk和pk分别是边缘服务器的私钥和公钥，seedt是第t轮训练的随机种子:seedt＝H(seedt-1||t)，H为哈希函数。将每个资产看成是一个子用户，τ为系统期望选择子用户的数量，W为所有边缘服务器的资产数量总和，则任意一个子用户被选择的概率为p＝τ/W。对于拥有w个资产的边缘服务器，它首先将自己的私钥sk和本轮训练的种子seedt作为VRF 的输入数据，得到散列值hash和证明proof。然后将区间[0,1)划分为w+1个连续子区间，若hash/2hashlen满足
Figure RE-GDA0003344859150000121
(其中hashlen 代表hash的长度)，说明该边缘服务器有j个子用户被选择，这也代表该边缘服务器的优先级。可见边缘服务器被选举为领导者的概率与其持有的资产数量w成正比。为了避免财富累积，本共识算法中的w只计算在有效期内的资产。通过上述过程，拥有最高优先级的边缘服务器被选举为本轮训练的领导者，其他边缘服务器可以通过证明proof对其优先级进行验证。
领导者从事务池中获取所有合法更新，并通过联邦平均算法计算全局梯度
Figure RE-GDA0003344859150000125
如下式所示：
Figure RE-GDA0003344859150000122
其中K′为合法更新的总数，ni为第i(1≤i≤K′)个更新所对应的样本量，
Figure RE-GDA0003344859150000123
是所有合法更新所对应的总样本量。
然后领导者生成这一轮训练的区块，如表1所示。除了包含用于链接前一个区块的哈希值以外，还包含该轮的全局梯度、所有合法更新及其签名，以及用于下一轮领导者选举的随机种子seedt+1等。
Figure RE-GDA0003344859150000124
表1：第t轮训练生成的区块
Step2：委员会验证。验证委员会对生成的新区块进行验证，主要检查其中包含的梯度更新签名是否合法，以及全局梯度计算是否正确等。只有当超过2/3的委员验证通过时，该区块才被认定为有效，相应的领导者和验证者从区块链中获取一定数量的资产作为共识奖励；否则，生成一个空区块。
Step3：邻居广播。委员会中的每个验证者执行gossip协议向邻居广播新区块，同步全网的账本。
本案实施例中，将区块链和联邦学习相结合，通过分布式物联网入侵检测框架，不仅使模型训练能够抵抗单点故障攻击，而且还运用了高效的共识协议提高了模型的训练效率。设计以资产为奖励的激励机制，鼓励更多边缘服务器参与区块链的维护，以及更多的物联网设备参与联邦训练。利用自适应差分隐私机制，保护设备参数隐私的同时可根据训练进度自适应调整裁剪阈值，缓解噪声对入侵检测模型准确性的负面影响。通过梯度验证机制，不仅可以防止物联网设备非法获取额外的奖励，还使得分布式入侵检测框架能够抵抗部分拜占庭设备的投毒攻击。
进一步地，基于上述的方法，本发明实施例还提供一种基于区块链和联邦学习的分布式物联网入侵检测系统，利用边缘服务器作为区块链中的节点来辅助物联网设备的网络攻击检测防御，具体包含如下内容：
训练模块，用于利用收集的入侵检测数据集作为样本数据，通过联邦学习训练框架联合多个物联网设备协同训练入侵检测模型，并在训练过程中利用区块链及边缘服务器对协同训练结果进行验证共识来获取训练优化后的入侵检测模型，其中，训练结果包含模型梯度及本地运算时间；
检测模块，用于物联网设备基于自身采集的入侵检测数据利用训练优化后的入侵检测模型进行攻击检测。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
基于上述的方法和/或系统，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。
基于上述的方法和/或系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的方法。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于区块链和联邦学习的分布式物联网入侵检测方法，其特征在于，利用边缘服务器作为区块链中的节点来辅助物联网设备的网络攻击检测防御，该检测防御过程包含如下内容：
利用收集的入侵检测数据集作为样本数据，通过联邦学习训练框架联合多个物联网设备协同训练入侵检测模型，并在训练过程中利用区块链及边缘服务器对协同训练结果进行验证共识来获取训练优化后的入侵检测模型，其中，训练结果包含模型梯度及本地运算时间；
物联网设备基于自身采集的入侵检测数据利用训练优化后的入侵检测模型进行攻击检测。
2.根据权利要求1所述的基于区块链和联邦学习的分布式物联网入侵检测方法，其特征在于，协同训练结果验证共识中，区块链依据入侵检测任务创建用于训练优化参数初始化的创世块；物联网设备利用样本数据对本地入侵检测模型进行迭代训练；每次迭代训练中，训练结果以区块链事务形式上传给关联的边缘服务器，边缘服务器通过对当前迭代训练结果进行聚类验证来检测是否存在恶意更新并通过共识生成全局参数的新区块，物联网设备从关联边缘服务器下载新区块并更新本地入侵检测模型进行下一轮迭代训练，直至满足迭代训练条件，获取最终训练优化后的入侵检测模型。
3.根据权利要求1或2所述的基于区块链和联邦学习的分布式物联网入侵检测方法，其特征在于，物联网设备利用样本数据训练本地入侵检测模型时，利用自适应差分隐私机制对入侵检测模型梯度进行隐私保护处理，其中，利用先验知识预测迭代训练中每轮训练中模型的全局梯度，并将该先验知识作为每轮训练中梯度裁剪阈值，将裁剪后的全局梯度添加高斯噪声以隐私保护处理。
4.根据权利要求3所述的基于区块链和联邦学习的分布式物联网入侵检测方法，其特征在于，将用于估计历史梯度累积平方的先验知识作为每轮训练中梯度裁剪阈值，设定先验阈值和前期固定值，当入侵检测模型训练初期梯度先验知识不足先验阈值时，将梯度裁剪阈值设置为前期固定值进行模型迭代训练，当梯度先验知识大于先验阈值时，将梯度裁剪阈值设置为先验阈值继续迭代训练。
5.根据权利要求4所述的基于区块链和联邦学习的分布式物联网入侵检测方法，其特征在于，物联网设备利用样本数据训练本地入侵检测模型时，在第t轮训练中，物联网设备i本地入侵检测模型裁剪梯度gi,t并添加噪声的过程表示如下：
Figure RE-FDA0003344859140000011
其中，
Figure RE-FDA0003344859140000012
表示用于估计历史梯度累积平方的先验知识，Ct表示当前t轮训练梯度裁剪阈值，C表示前期固定值，G表示先验阈值，N(0,Ct 2σ2)表示分布参数分别为0,Ct 2σ2的高斯噪声，I表示单位矩阵。
6.根据权利要求3所述的基于区块链和联邦学习的分布式物联网入侵检测方法，其特征在于，自适应差分隐私机制中，设定联邦学习隐私损失与物联网设备总数和模型训练总迭代轮数呈正比，依据联邦学习训练框架中每轮物联网设备协同训练入侵检测模型时刻统计αi,t(λ)来获取在λ时刻联邦学习训练框架中联邦学习训总的时刻统计
Figure RE-FDA0003344859140000021
则对于任意ε＞0，该总时刻统计满足
Figure RE-FDA0003344859140000022
其中，c(o,A,D,D′)表示A在输出o∈R处的隐私损失，A:D→R为随机算法，D和D′为相邻数据集，K表示物联网设备总数量，T表示全局训练轮数，αi,t(λ)表示第t轮训练时设备i的时刻统计。
7.根据权利要求1或2所述的基于区块链和联邦学习的分布式物联网入侵检测方法，其特征在于，边缘服务器收到关联物联网设备上传的训练结果，首先依据本地运算时间及该物联网设备样本数据大小是否呈正比来验证模型梯度可靠性，并将可靠模型梯度放入区块链事务池中，利用可验证随机函数从与若干物联网设备相关联的边缘服务器中选出验证委员会，通过验证委员会过滤事务池中存在恶意更新的训练结果。
8.根据权利要求7所述的基于区块链和联邦学习的分布式物联网入侵检测方法，其特征在于，利用数据奖励激励物联网设备向联邦学习贡献入侵检测数据集，并利用共识奖励激励边缘服务器收集数据参与区块链验证共识，其中，数据奖励中，物联网设备向边缘服务器上传训练结果前，缴纳部分资产作为押金，若物联网设备模型梯度验证合法更新，则退还押金并分发与该物联网设备本地入侵检测数据集大小成正比的资产作为数据奖励，若验证为恶意更新，则扣除该物联网设备押金作为惩罚，当物联网设备的资产归零时，将其加入不允许参与训练的黑名单；共识奖励中，边缘服务器完成梯度验证或生成新区块时，区块链向该边缘服务器分发作为共识奖励的资产，且该资产数量与边缘服务器关联的物联网设备本地入侵检测数据集总量成正比。
9.根据权利要求7所述的基于区块链和联邦学习的分布式物联网入侵检测方法，其特征在于，针对入侵检测模型每轮的训练结果进行验证共识中，利用共识Algorand协议中的加密抽签算法从验证通过的边缘服务器中随机选举出拥有最高优先级的本轮模型训练领导者，其他边缘服务器对其优先级进行验证；作为领导者的边缘服务器从事务池中获取所有验证通过的模型训练结果，通过联邦平均算法来获取全局梯度，并生成用于模型训练的新区块；验证委员会对生成的新区块进行验证检查，当有超过2/3验证委员会委员验证通过时，该生成的新区块被认定为有效，相应的领导者和验证者从区块链中获取相应资产作为共识奖励，否则，生成一个空区块；验证委员会的委员执行gossip协议向邻居广播新区块，同步作为模型全局参数的全网账本。
10.一种基于区块链和联邦学习的分布式物联网入侵检测系统，其特征在于，利用边缘服务器作为区块链中的节点来辅助物联网设备的网络攻击检测防御，具体包含如下内容：
训练模块，用于利用收集的入侵检测数据集作为样本数据，通过联邦学习训练框架联合多个物联网设备协同训练入侵检测模型，并在训练过程中利用区块链及边缘服务器对协同训练结果进行验证共识来获取训练优化后的入侵检测模型，其中，训练结果包含模型梯度及本地运算时间；
检测模块，用于物联网设备基于自身采集的入侵检测数据利用训练优化后的入侵检测模型进行攻击检测。
CN202110797560.4A 2021-07-14 2021-07-14 基于区块链和联邦学习的分布式物联网入侵检测方法及系统 Active CN113794675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110797560.4A CN113794675B (zh) 2021-07-14 2021-07-14 基于区块链和联邦学习的分布式物联网入侵检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110797560.4A CN113794675B (zh) 2021-07-14 2021-07-14 基于区块链和联邦学习的分布式物联网入侵检测方法及系统

Publications (2)

Publication Number Publication Date
CN113794675A true CN113794675A (zh) 2021-12-14
CN113794675B CN113794675B (zh) 2023-04-07

Family

ID=79180996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110797560.4A Active CN113794675B (zh) 2021-07-14 2021-07-14 基于区块链和联邦学习的分布式物联网入侵检测方法及系统

Country Status (1)

Country Link
CN (1) CN113794675B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338045A (zh) * 2022-01-14 2022-04-12 中国人民解放军战略支援部队信息工程大学 基于区块链和联邦学习的情报数据可验证性安全共享方法及系统
CN114363072A (zh) * 2022-01-07 2022-04-15 苏州挚途科技有限公司 防入侵检测的方法、装置及系统
CN114491623A (zh) * 2021-12-30 2022-05-13 北京邮电大学 一种基于区块链的异步联邦学习方法及系统
CN114519306A (zh) * 2022-02-21 2022-05-20 山西大学 一种去中心化的终端节点网络模型训练方法及系统
CN114640498A (zh) * 2022-01-27 2022-06-17 天津理工大学 一种基于联邦学习的网络入侵协同检测方法
CN114726868A (zh) * 2022-02-24 2022-07-08 北京工业大学 一种面向分布式网络的分级分片区块链架构
CN114826699A (zh) * 2022-04-08 2022-07-29 西安电子科技大学 基于区块链的去中心化联邦学习中拜占庭攻击抵御方法
CN114978893A (zh) * 2022-04-18 2022-08-30 西安交通大学 一种基于区块链的去中心化联邦学习方法及系统
CN115189905A (zh) * 2022-05-09 2022-10-14 济南大学 网络通信与安全管控一体机及其工作方法
CN115242559A (zh) * 2022-09-23 2022-10-25 北京航空航天大学 基于区块链和联邦学习的网络流量入侵检测方法
CN115442103A (zh) * 2022-08-29 2022-12-06 成都安恒信息技术有限公司 一种群体学习抗毒化攻击方法、系统、设备及存储介质
CN115577858A (zh) * 2022-11-21 2023-01-06 山东能源数智云科技有限公司 基于区块链的碳排放量预测方法、装置及电子设备
CN115913749A (zh) * 2022-12-06 2023-04-04 北京理工大学 基于去中心化联邦学习的区块链DDoS检测方法
CN116015966A (zh) * 2023-01-06 2023-04-25 北京宗亮网络科技有限公司 一种基于区块链的用户信息处理方法及系统
CN116010944A (zh) * 2023-03-24 2023-04-25 北京邮电大学 联邦计算网络保护方法及相关设备
CN116055150A (zh) * 2022-12-22 2023-05-02 深圳信息职业技术学院 车联网入侵检测平台、方法及相关设备
CN116055335A (zh) * 2022-12-21 2023-05-02 深圳信息职业技术学院 基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备
CN116541831A (zh) * 2023-07-05 2023-08-04 南京信息工程大学 一种基于区块链与联邦学习的双重防御方法
CN116709509A (zh) * 2023-08-09 2023-09-05 北京邮电大学 用户设备的感知和定位方法、系统、电子设备及存储介质
CN116781518A (zh) * 2023-08-23 2023-09-19 北京光函数科技有限公司 一种联邦多臂老虎机学习方法及系统
WO2024016548A1 (zh) * 2022-07-20 2024-01-25 天津科技大学 一种基于区块链的ai模型训练方法
CN117709444A (zh) * 2024-02-06 2024-03-15 盛业信息科技服务(深圳)有限公司 基于去中心化联邦学习的差分隐私模型更新方法以及系统
CN115442103B (zh) * 2022-08-29 2024-05-31 成都安恒信息技术有限公司 一种群体学习抗毒化攻击方法、系统、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100659A (zh) * 2020-09-14 2020-12-18 电子科技大学 一种区块链联邦学习系统及拜占庭攻击检测方法
CN112217626A (zh) * 2020-08-24 2021-01-12 中国人民解放军战略支援部队信息工程大学 基于情报共享的网络威胁协同防御系统及方法
CN112434280A (zh) * 2020-12-17 2021-03-02 浙江工业大学 一种基于区块链的联邦学习防御方法
CN112446025A (zh) * 2020-11-23 2021-03-05 平安科技（深圳）有限公司 联邦学习防御方法、装置、电子设备及存储介质
US20210073639A1 (en) * 2018-12-04 2021-03-11 Google Llc Federated Learning with Adaptive Optimization
CN112714106A (zh) * 2020-12-17 2021-04-27 杭州趣链科技有限公司 一种基于区块链的联邦学习搭便车攻击防御方法
CN112770291A (zh) * 2021-01-14 2021-05-07 华东师范大学 基于联邦学习和信任评估的分布式入侵检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073639A1 (en) * 2018-12-04 2021-03-11 Google Llc Federated Learning with Adaptive Optimization
CN112217626A (zh) * 2020-08-24 2021-01-12 中国人民解放军战略支援部队信息工程大学 基于情报共享的网络威胁协同防御系统及方法
CN112100659A (zh) * 2020-09-14 2020-12-18 电子科技大学 一种区块链联邦学习系统及拜占庭攻击检测方法
CN112446025A (zh) * 2020-11-23 2021-03-05 平安科技（深圳）有限公司 联邦学习防御方法、装置、电子设备及存储介质
CN112434280A (zh) * 2020-12-17 2021-03-02 浙江工业大学 一种基于区块链的联邦学习防御方法
CN112714106A (zh) * 2020-12-17 2021-04-27 杭州趣链科技有限公司 一种基于区块链的联邦学习搭便车攻击防御方法
CN112770291A (zh) * 2021-01-14 2021-05-07 华东师范大学 基于联邦学习和信任评估的分布式入侵检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
方俊杰;雷凯;: "面向边缘人工智能计算的区块链技术综述" *
王蓉等: "基于联邦学习和卷积神经网络的入侵检测方法", 《信息网络安全》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491623A (zh) * 2021-12-30 2022-05-13 北京邮电大学 一种基于区块链的异步联邦学习方法及系统
CN114491623B (zh) * 2021-12-30 2024-06-07 北京邮电大学 一种基于区块链的异步联邦学习方法及系统
CN114363072A (zh) * 2022-01-07 2022-04-15 苏州挚途科技有限公司 防入侵检测的方法、装置及系统
CN114338045A (zh) * 2022-01-14 2022-04-12 中国人民解放军战略支援部队信息工程大学 基于区块链和联邦学习的情报数据可验证性安全共享方法及系统
CN114640498A (zh) * 2022-01-27 2022-06-17 天津理工大学 一种基于联邦学习的网络入侵协同检测方法
CN114640498B (zh) * 2022-01-27 2023-08-29 天津理工大学 一种基于联邦学习的网络入侵协同检测方法
CN114519306B (zh) * 2022-02-21 2023-03-28 山西大学 一种去中心化的终端节点网络模型训练方法及系统
CN114519306A (zh) * 2022-02-21 2022-05-20 山西大学 一种去中心化的终端节点网络模型训练方法及系统
CN114726868A (zh) * 2022-02-24 2022-07-08 北京工业大学 一种面向分布式网络的分级分片区块链架构
CN114726868B (zh) * 2022-02-24 2024-03-08 北京工业大学 一种面向分布式网络的分级分片区块链架构
CN114826699B (zh) * 2022-04-08 2022-12-06 西安电子科技大学 基于区块链的去中心化联邦学习中拜占庭攻击抵御方法
CN114826699A (zh) * 2022-04-08 2022-07-29 西安电子科技大学 基于区块链的去中心化联邦学习中拜占庭攻击抵御方法
CN114978893B (zh) * 2022-04-18 2024-04-12 西安交通大学 一种基于区块链的去中心化联邦学习方法及系统
CN114978893A (zh) * 2022-04-18 2022-08-30 西安交通大学 一种基于区块链的去中心化联邦学习方法及系统
CN115189905B (zh) * 2022-05-09 2023-05-23 济南大学 网络通信与安全管控一体机及其工作方法
CN115189905A (zh) * 2022-05-09 2022-10-14 济南大学 网络通信与安全管控一体机及其工作方法
WO2024016548A1 (zh) * 2022-07-20 2024-01-25 天津科技大学 一种基于区块链的ai模型训练方法
CN115442103A (zh) * 2022-08-29 2022-12-06 成都安恒信息技术有限公司 一种群体学习抗毒化攻击方法、系统、设备及存储介质
CN115442103B (zh) * 2022-08-29 2024-05-31 成都安恒信息技术有限公司 一种群体学习抗毒化攻击方法、系统、设备及存储介质
CN115242559B (zh) * 2022-09-23 2022-12-02 北京航空航天大学 基于区块链和联邦学习的网络流量入侵检测方法
CN115242559A (zh) * 2022-09-23 2022-10-25 北京航空航天大学 基于区块链和联邦学习的网络流量入侵检测方法
CN115577858B (zh) * 2022-11-21 2023-04-07 山东能源数智云科技有限公司 基于区块链的碳排放量预测方法、装置及电子设备
CN115577858A (zh) * 2022-11-21 2023-01-06 山东能源数智云科技有限公司 基于区块链的碳排放量预测方法、装置及电子设备
CN115913749A (zh) * 2022-12-06 2023-04-04 北京理工大学 基于去中心化联邦学习的区块链DDoS检测方法
CN115913749B (zh) * 2022-12-06 2023-09-29 北京理工大学 基于去中心化联邦学习的区块链DDoS检测方法
CN116055335A (zh) * 2022-12-21 2023-05-02 深圳信息职业技术学院 基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备
CN116055335B (zh) * 2022-12-21 2023-12-19 深圳信息职业技术学院 基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备
CN116055150A (zh) * 2022-12-22 2023-05-02 深圳信息职业技术学院 车联网入侵检测平台、方法及相关设备
CN116055150B (zh) * 2022-12-22 2023-10-27 深圳信息职业技术学院 车联网入侵检测平台、方法及相关设备
CN116015966A (zh) * 2023-01-06 2023-04-25 北京宗亮网络科技有限公司 一种基于区块链的用户信息处理方法及系统
CN116015966B (zh) * 2023-01-06 2023-11-10 江苏加数度科技有限公司 一种基于区块链的用户信息处理系统
CN116010944A (zh) * 2023-03-24 2023-04-25 北京邮电大学 联邦计算网络保护方法及相关设备
CN116541831B (zh) * 2023-07-05 2023-10-13 南京信息工程大学 一种基于区块链与联邦学习的双重防御方法
CN116541831A (zh) * 2023-07-05 2023-08-04 南京信息工程大学 一种基于区块链与联邦学习的双重防御方法
CN116709509B (zh) * 2023-08-09 2023-10-17 北京邮电大学 用户设备的感知和定位方法、系统、电子设备及存储介质
CN116709509A (zh) * 2023-08-09 2023-09-05 北京邮电大学 用户设备的感知和定位方法、系统、电子设备及存储介质
CN116781518B (zh) * 2023-08-23 2023-10-24 北京光函数科技有限公司 一种联邦多臂老虎机学习方法及系统
CN116781518A (zh) * 2023-08-23 2023-09-19 北京光函数科技有限公司 一种联邦多臂老虎机学习方法及系统
CN117709444B (zh) * 2024-02-06 2024-05-28 盛业信息科技服务(深圳)有限公司 基于去中心化联邦学习的差分隐私模型更新方法以及系统
CN117709444A (zh) * 2024-02-06 2024-03-15 盛业信息科技服务(深圳)有限公司 基于去中心化联邦学习的差分隐私模型更新方法以及系统

Also Published As

Publication number Publication date
CN113794675B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113794675B (zh) 基于区块链和联邦学习的分布式物联网入侵检测方法及系统
Baza et al. B-ride: Ride sharing with privacy-preservation, trust and fair payment atop public blockchain
Ma et al. When federated learning meets blockchain: A new distributed learning paradigm
CN112348204B (zh) 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法
Khan et al. Investigating performance constraints for blockchain based secure e-voting system
Tschorsch et al. Bitcoin and beyond: A technical survey on decentralized digital currencies
Zhang et al. Blockchain-based trust management for internet of vehicles
Eyal The miner's dilemma
Courtois et al. On subversive miner strategies and block withholding attack in bitcoin digital currency
CN110189128B (zh) 一种用于区块快速生成的分布式共识的方法和装置
Ye et al. A trust-centric privacy-preserving blockchain for dynamic spectrum management in IoT networks
US11875188B2 (en) Data processing system using directed acyclic graph and method of use thereof
CN112104609B (zh) 在移动群智感知系统中可验证的、具有隐私意识的真值发现的方法
Halgamuge Optimization framework for best approver selection method (BASM) and best tip selection method (BTSM) for IOTA tangle network: Blockchain-enabled next generation industrial IoT
Haddaji et al. Federated learning with blockchain approach for trust management in IoV
CN116128051A (zh) 一种激励驱动的链上半异步联邦学习方法
Feng et al. Blockchain-based secure crowdsourcing in wireless IoT
Blum et al. Superlight–A permissionless, light-client only blockchain with self-contained proofs and BLS signatures
CN111260372B (zh) 资源转移用户群确定方法、装置、计算机设备和存储介质
Clark et al. Research perspectives and challenges for bitcoin and cryptocurrencies
Yan et al. Reputation consensus-based scheme for information sharing in internet of vehicles
Fu et al. Data processing scheme based on blockchain
Wang et al. Block Verification Mechanism Based on Zero-Knowledge Proof in Blockchain.
CN109388747A (zh) 一种获得网络中用户的置信度的方法和装置
Gencer On scalability of blockchain technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant