CN117596592A - 一种基于区块链的无人机联邦学习的梯度选择方法 - Google Patents

一种基于区块链的无人机联邦学习的梯度选择方法 Download PDF

Info

Publication number
CN117596592A
CN117596592A CN202311632525.2A CN202311632525A CN117596592A CN 117596592 A CN117596592 A CN 117596592A CN 202311632525 A CN202311632525 A CN 202311632525A CN 117596592 A CN117596592 A CN 117596592A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
gradient
vehicle terminal
base station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311632525.2A
Other languages
English (en)
Other versions
CN117596592B (zh
Inventor
朱朝阳
朱晓
覃团发
张振荣
葛志辉
万海斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangxi University
Original Assignee
South China University of Technology SCUT
Guangxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangxi University filed Critical South China University of Technology SCUT
Priority to CN202311632525.2A priority Critical patent/CN117596592B/zh
Publication of CN117596592A publication Critical patent/CN117596592A/zh
Application granted granted Critical
Publication of CN117596592B publication Critical patent/CN117596592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12—Detection or prevention of fraud
    • H04W12/121—Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
    • H04W12/122—Counter-measures against attacks; Protection against rogue devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开一种基于区块链的无人机联邦学习的梯度选择方法，包括：每个无人机终端设备将本地训练得到的模型梯度上传至其归属的基站边缘节点；所述基站边缘节点收到每个无人机终端设备上传的模型梯度后，对每个无人机终端设备进行系统身份认证；所述基站边缘节点对每个通过系统身份认证的无人机终端设备进行梯度异常检测，确定每个通过系统身份认证的无人机终端设备上传的模型梯度是异常模型梯度或正常模型梯度；所述基站边缘节点过滤异常模型梯度，同时上传部分或全部正常模型梯度至区块链进行后续处理，以通过避免使用异常模型梯度来预防投毒攻击。

Description

一种基于区块链的无人机联邦学习的梯度选择方法
技术领域
本发明涉及无人机技术领域，特别涉及一种基于区块链的无人机联邦学习的梯度选择方法。
背景技术
联邦学习(Federated Learning)是一种新兴的分布式机器学习方法。与传统分布式机器学习不同的是联邦学习需要一种去中心化分布系统来保证基站的隐私安全，在保障数据安全和交换、训练效率前提下进行有效的机器学习。区块链凭借其匿名、不可篡改、分布式等特征，在多个不可信的参与方之间，提供了一种安全可靠的解决方案。通过共识机制、智能合约等，在多个不可信的分布式参与方之间，保证链数据的可靠性。所以，区块链可以为联邦学习的数据交换提供数据保密性来对基站隐私进行保障，保证各参与方之间的数据安全，也可以保证多参与方提供数据进行模型训练的数据一致性。区块链的价值驱动激励机制也能够增加各参与方之间提供数据、更新网络模型参数的积极性。
然而，将联邦学习、区块链、边缘计算相结合的机器学习模型训练，应用于由无人机终端设备和基站边缘节点构成的无线网络时，仍存在以下问题：当非法无人机终端设备在本地训练时发起投毒攻击时，基站边缘节点无法甄别出非法无人机终端设备；另外，若使用恶意无人机终端设备上传的异常梯度，则无法有效预防投毒攻击。
发明内容
为解决已有技术存在的上述问题，本发明提供一种基于区块链的无人机联邦学习的梯度选择方法。
本发明实施例提供了一种基于区块链的无人机联邦学习的梯度选择方法，包括：每个无人机终端设备将本地训练得到的模型梯度上传至其归属的基站边缘节点；所述基站边缘节点收到每个无人机终端设备上传的模型梯度后，对每个无人机终端设备进行系统身份认证；所述基站边缘节点对每个通过系统身份认证的无人机终端设备进行梯度异常检测，确定每个通过系统身份认证的无人机终端设备上传的模型梯度是异常模型梯度或正常模型梯度；所述基站边缘节点过滤异常模型梯度，同时上传部分或全部正常模型梯度至区块链进行后续处理，以通过避免使用异常模型梯度来预防投毒攻击。
优选地，所述基站边缘节点收到每个无人机终端设备上传的模型梯度后，对每个无人机终端设备进行系统身份认证包括：所述基站边缘节点通过验证每个无人机终端设备是否注册；若无人机终端设备未注册，则所述基站边缘节点确定该无人机终端设备未通过系统身份认证，并丢弃该无人机终端设备的模型梯度；若无人机终端设备已注册，则所述基站边缘节点确定该无人机终端设备通过系统身份认证。
优选地，所述基站边缘节点对每个通过系统身份认证的无人机终端设备进行梯度异常检测，确定每个通过系统身份认证的无人机终端设备上传的模型梯度是异常模型梯度或正常模型梯度包括：对于任一通过系统身份认证的无人机终端设备，所述基站边缘节点利用RCF异常检测算法，计算有效梯度范围，并判断所述无人机终端设备的模型梯度是否在所述有效梯度范围内；若所述无人机终端设备的模型梯度在所述有效梯度范围内，则所述基站边缘节点将所述无人机终端设备的模型梯度标记为正常梯度；若所述无人机终端设备的模型梯度不在所述有效梯度范围内，则所述基站边缘节点将所述无人机终端设备的模型梯度标记为异常梯度。
优选地，所述RCF异常检测算法包括：
其中，Qk,j是第k个基站边缘节点中第j个无人机终端设备模型梯度的RCF异常检测结果；Ek,j是第k个基站边缘节点收集的第j个无人机终端设备的模型梯度；x是平均梯度；std是标准差；W是当前基站边缘节点收集梯度个数；函数sig用于判断当前模型梯度是否异常，异常模型梯度标记为0，正常模型梯度标记为1。
优选地，所述基站边缘节点上传部分正常模型梯度至区块链包括：所述基站边缘节点从所有正常模型梯度中随机选取若干正常模型梯度，上传至区块链。
优选地，所述基站边缘节点上传部分正常模型梯度至区块链包括：所述基站边缘节点利用所有正常模型梯度以及所有正常模型梯度归属的无人机的历史累计奖励，从所有正常模型梯度中选择优质无人机模型梯度；所述基站边缘节点将已选择的优质无人机模型梯度上传至区块链。
优选地，所述基站边缘节点利用所有正常模型梯度以及所有正常模型梯度归属的无人机的历史累计奖励，从所有正常模型梯度中选择优质无人机模型梯度包括：所述基站边缘节点接收所述区块链发送的已注册无人机终端设备的历史累计奖励；所述基站边缘节点利用每个无人机终端设备的历史累计奖励，计算每个无人机终端设备的当前累计奖励值；所述基站边缘节点根据所述每个无人机终端设备的当前累计奖励值，从所述正常模型梯度中选取优质模型梯度。
优选地，所述基站边缘节点利用每个无人机终端设备的历史累计奖励，计算每个无人机终端设备的当前累计奖励值包括：
Rk＝rk*yk
其中，Rk表示已注册的第k个无人机终端设备的当前累计奖励值；rk表示已注册的第k个无人机终端设备的历史累计奖励值；yk表示归一化之后的及时奖励。
优选地，所述基站边缘节点根据所述每个无人机终端设备的当前累计奖励值，从所述正常模型梯度中选取优质模型梯度包括：所述基站边缘节点根据所述每个无人机终端设备的当前累计奖励值对所述无人机终端设备进行排序，并选取当前累计奖励值较大的无人机终端设备，并将所选取的无人机终端设备的模型梯度作为优质模型梯度。
优选地，所述区块链进行后续处理包括：所述区块链利用所述优质模型梯度进行模型梯度聚合，得到全局模型梯度。
本发明基站边缘节点通过系统身份认证能够甄别出非法无人机终端设备，并使用异常检测算法确定出异常模型梯度和正常模型梯度，从而通过避免使用异常模型梯度来预防投毒攻击，同时能够提高模型的准确率。
附图说明
图1是本发明提供的一种基于区块链的无人机联邦学习的梯度选择方法的流程图；
图2是本发明提供的UAV-BFL系统架构图；
图3是本发明提供的每个无人机终端设备本地训练神经网络基本架构示意图；
图4a和图4b本发明提供的UAV-BFL算法关键参数优化结果示意图；
图5a、图5b、图5c、图5d是本发明提供的UAV-BFL算法在Cifar10数据集上的准确率结果示意图；
图6a、图6b、图6c、图6d是本发明提供的UAV-BFL算法在Mnist数据集上的准确率结果示意图；
图7a、图7b、图7c是本发明提供的Cifar10数据集投毒攻击recall指标实验结果示意图；
图8a、图8b、图8c是本发明提供的Mnist数据集投毒攻击recall指标实验结果示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明将联邦学习框架与区块链相结合，在联邦学习框架下利用区块链技术对无人机模型训练得到的模型梯度进行选择，以及对选择出来的优质梯度参数进行全局参数聚合，将本发明的方法应用于包含无人机终端设备和区块链的网络中，至少能够提高抗攻击能力，具有更强的安全性。
实施例1
图1是本发明提供的一种基于区块链的无人机联邦学习的梯度选择方法的流程图，如图1所示，包括：
步骤S101：每个无人机终端设备将本地训练得到的模型梯度上传至其归属的基站边缘节点；
步骤S102：所述基站边缘节点收到每个无人机终端设备上传的模型梯度后，对每个无人机终端设备进行系统身份认证；
步骤S103：所述基站边缘节点对每个通过系统身份认证的无人机终端设备进行梯度异常检测，确定每个通过系统身份认证的无人机终端设备上传的模型梯度是异常模型梯度或正常模型梯度；
步骤S104：所述基站边缘节点过滤异常模型梯度，同时上传部分或全部正常模型梯度至区块链进行后续处理，以通过避免使用异常模型梯度来预防投毒攻击。
进一步地，所述基站边缘节点收到每个无人机终端设备上传的模型梯度后，对每个无人机终端设备进行系统身份认证包括：所述基站边缘节点通过验证每个无人机终端设备是否注册；若无人机终端设备未注册，则所述基站边缘节点确定该无人机终端设备未通过系统身份认证，并丢弃该无人机终端设备的模型梯度；若无人机终端设备已注册，则所述基站边缘节点确定该无人机终端设备通过系统身份认证。
具体地说，所述基站边缘节点对每个通过系统身份认证的无人机终端设备进行梯度异常检测，确定每个通过系统身份认证的无人机终端设备上传的模型梯度是异常模型梯度或正常模型梯度包括：对于任一通过系统身份认证的无人机终端设备，所述基站边缘节点利用RCF异常检测算法，计算有效梯度范围，并判断所述无人机终端设备的模型梯度是否在所述有效梯度范围内；若所述无人机终端设备的模型梯度在所述有效梯度范围内，则所述基站边缘节点将所述无人机终端设备的模型梯度标记为正常梯度；若所述无人机终端设备的模型梯度不在所述有效梯度范围内，则所述基站边缘节点将所述无人机终端设备的模型梯度标记为异常梯度。
其中，所述RCF异常检测算法包括：
其中，Qk,j是第k个基站边缘节点中第j个无人机终端设备模型梯度的RCF异常检测结果；Ek,j是第k个基站边缘节点收集的第j个无人机终端设备的模型梯度；x是平均梯度；std是标准差；W是当前基站边缘节点收集梯度个数；函数sig用于判断当前模型梯度是否异常，异常模型梯度标记为0，正常模型梯度标记为1。
进一步地，所述基站边缘节点上传部分正常模型梯度至区块链包括：所述基站边缘节点从所有正常模型梯度中随机选取若干正常模型梯度，上传至区块链。
进一步地，所述基站边缘节点上传部分正常模型梯度至区块链包括：所述基站边缘节点利用所有正常模型梯度以及所有正常模型梯度归属的无人机的历史累计奖励，从所有正常模型梯度中选择优质无人机模型梯度；所述基站边缘节点将已选择的优质无人机模型梯度上传至区块链。
具体地说，所述基站边缘节点利用所有正常模型梯度以及所有正常模型梯度归属的无人机的历史累计奖励，从所有正常模型梯度中选择优质无人机模型梯度包括：所述基站边缘节点接收所述区块链发送的已注册无人机终端设备的历史累计奖励；所述基站边缘节点利用每个无人机终端设备的历史累计奖励，计算每个无人机终端设备的当前累计奖励值；所述基站边缘节点根据所述每个无人机终端设备的当前累计奖励值，从所述正常模型梯度中选取优质模型梯度。
具体地说，所述基站边缘节点利用每个无人机终端设备的历史累计奖励，计算每个无人机终端设备的当前累计奖励值包括：
Rk＝rk*yk
其中，Rk表示已注册的第k个无人机终端设备的当前累计奖励值；rk表示已注册的第k个无人机终端设备的历史累计奖励值；yk表示归一化之后的及时奖励。
具体地说，所述基站边缘节点根据所述每个无人机终端设备的当前累计奖励值，从所述正常模型梯度中选取优质模型梯度包括：所述基站边缘节点根据所述每个无人机终端设备的当前累计奖励值对所述无人机终端设备进行排序，并选取当前累计奖励值较大的无人机终端设备，并将所选取的无人机终端设备的模型梯度作为优质模型梯度。
进一步地，所述区块链进行后续处理包括：所述区块链利用所述优质模型梯度进行模型梯度聚合，得到全局模型梯度。
本发明基站边缘节点通过系统身份认证能够甄别出非法无人机终端设备，并使用异常检测算法确定出异常模型梯度和正常模型梯度，从而通过避免使用异常模型梯度来预防投毒攻击，同时能够提高模型的准确率。
实施例2
如图2所示，本发明提供的UAV-BFL系统架构由三种实体组成：无人机终端设备、基站边缘节点、区块链。为研究方便，本发明的无人机终端设备和区块链的全局网络为同构网络。
1)无人机终端设备：各区域无人机终端设备即参与联邦训练的移动用户端，负责在本地数据集上进行训练，并将模型梯度上传至附近的基站边缘节点。
2)基站边缘节点：基站边缘节点位于无人机终端设备的附近，是由具有一定计算能力的服务器组成。基站边缘节点首先对无人机终端设备是否注册进行哈希验证，过滤没有注册的无人机终端设备，对已注册的无人机终端设备进行梯度异常检测。
其中，异常检测方法采用RCF算法，涉及的检测公式如下：
式中，Qk,j是第k个基站边缘节点中第j个无人机终端设备模型梯度的RCF异常检测结果；参数Ek,j是第k个基站收集的第j个无人机的梯度，x是平均梯度，std是标准差，W是当前基站收集梯度个数。函数sig用于判断当前梯度是否异常，异常梯度标记为0，正常梯度标记为1，然后使用逆向排序方法对梯度进行倒排，最终得到排序结果。
3)区块链：区块链负责无人机终端设备、基站边缘节点的注册和全局梯度模型的聚合。
区块链根据基站边缘节点发送的梯度请求，向基站边缘节点发送已注册无人机的历史累计奖励。奖励函数公式如下所示：
Rk＝rk*yk
式中，Rk表示已注册的第k个无人机的历史累计奖励，yk表示归一化之后的及时奖励。
依据奖励函数公式和如下公式，基站重新计算每个无人机上传梯度是否为优质梯度。例如，第k个基站边缘节点中第j个无人机终端设备模型梯度的RCF异常检测结果中正常梯度的样本与当前累积奖励相乘得到当前无人机被选中前的累积概率，然后进行逆向排序，最后将后2/3的梯度挑选出来作为优质梯度上传至区块链，区块链基于上传梯度进行安全聚合，训练全局网络，全局网络定时将全局共享参数广播至各无人机。
UAV-BFL系统流程主要包括以下步骤：
步骤1：基站对无人机终端设备上传梯度进行异常检测及向区块链上传梯度；
基站边缘节点接收无人机终端设备在本地数据集上训练模型得到的模型梯度，并对收到的模型梯度进行异常检测，得到异常检测结果。
步骤2：基站将所述异常检测结果上传至区块链。
步骤3：区块链基于基站上传的无人机梯度异常检测结果计算所有注册无人机的激励值(奖励值)，并更新已注册无人机的激励列表中所有注册无人机的激励值(奖励值)。
步骤4：区块链将已更新的激励列表回传至基站。
步骤5：基站基于已更新的激励列表以及梯度异常检测结果共同选择优质模型梯度，并将已选择的优质模型梯度上传至区块链。
具体地，从梯度异常检测结果中获取正常模型梯度，并按照奖励值大小对正常模型梯度的已注册无人机的奖励值进行排序，得到排序结果，并从排序结果中选取奖励值多个较大的无人机正常模型梯度作为优质模型梯度，例如以从小到大的顺序对奖励值进行排序，从中选取后2/3个奖励值，将这些奖励值归属的已注册无人机的正常模型梯度作为优质模型梯度，即将后2/3的正常模型梯度作为优质模型梯度。
步骤6：区块链对优质模型梯度进行安全聚合，得到用于下一轮训练的全局模型梯度。
步骤7：区块链实现全局最优参数的下传。
其中，在步骤2中所述的异常检测算法可以采用RCF算法，Random Cut Forest(RCF)算法是亚马逊用于异常检测的无监督算法，它基于随机森林的思想。RCF算法的主要思想是使用随机树来对数据进行分割，并计算每个数据点到根节点的路径长度。然后，RCF算法使用这些路径长度来计算每个数据点的异常得分。其运作流程如下：首先，RCF算法会构建一组随机树，每个随机树都是基于数据集的随机抽样构建的，也就是说，每个随机树都是从原始数据集中随机选择一部分数据来构建的，每个随机树的分割规则也是随机选择的；路径长度的计算：对于每个数据点，RCF算法会计算其到每棵随机树根节点的路径长度，并将这些路径长度的平均值作为该数据点的异常得分。路径长度的计算基于一种叫做“cutting plane”的方法，它类似于决策树中的分割过程；异常得分的计算：RCF算法将每个数据点的路径长度平均值作为其异常得分。异常得分越高，说明该数据点越可能是异常值；异常值的识别：对于给定的阈值，RCF算法将异常得分高于该阈值的数据点识别为异常值。
相对于传统的基于距离或密度的异常检测算，RCF算法具有以下优点：RCF算法不需要预先指定任何参数或假设数据分布的形式。RCF算法适用于高维数据，且不容易受到“维度灾难”的影响。RCF算法的计算效率高，可以处理大规模数据集。RCF算法对数据中的孤立点不敏感，这使得它能够有效地处理含有噪声的数据集。总的来说，RCF算法是一种基于随机森林的高效、灵活和无监督的异常检测算法，适用于各种类型的数据集和应用场景。
实施例3
1、实验环境
本发明提出的UAV-BFL算法可在GPU快速部署运行，实验硬件条件如表1所示。
表1实验硬件条件
实验在Ubuntu18.04系统下进行硬件配置为Inteli7-8700K CPU,GTX1080T GPU,16GB RAM。使用Go语言来处理方案中涉及区块链的部分，使用Pytorch1.4.0训练深度学习模型，并通过go-pythonv1.0库搭建Python和Go的接口。网络结构采用卷积神经网络(CNN,conventional neural network)，由两个5×5的卷积层、一个全连接层和一个softmax输出层组成。模型中的权重初始化为从正态分布N(0,0.022)采样的随机值，并将偏差初始化为0。本地训练神经网络基本架构，如图3所示，本发明算法在每一个卷积层进行归一化之后均设置了共享参数αk，训练过程中，每一层的共享参数αk随该层梯度一起参与训练。
本发明所使用的数据集为Cifar10以及Mnist两个图像分类数据集。实验超参数设置：批次大小为64，学习率设置为0.001，截断损失100，优化函数采用AdamOptimizer+非线性自适应参数，本地无人机训练设备数5个，共享网络的最后3层的自适应参数：θ,β,α，实验条件设置如表2所示。
表2实验条件设置
2、数据集
UAV-BFL算法与对比算法在多个数据集上进行对比实验，本发明所使用的实验数据集采用MNIST和CIFAR10，这2个数据集可代表本地设备所收集的复杂度中等的数据，数据集分配如表3所示。
表3实验数据集分配
其中，全局训练者(区块链)不分配数据集，仅使用基站边缘节点上传的模型梯度更新共享参数，然后进行安全聚合。各无人机终端设备分配的数据集满足如下公式。
该算法在数据集分配过程中，所有本地训练者(无人机终端设备)的数据集均是随机抽样，抽样得到的数据集包含的样本类别数目由具体抽样过程决定，该算法在样本抽样过程中避免了每个训练者拥有全部类别的样本。
表4对比算法以及评估指标
表4中，UAV-BFL-None-RCF表示UAV-BFL系统中没有使用RCF异常梯度检测算法或模块，UAV-BFL-None-DP表示UAV-BFL系统中没有使用自适应参数模块，加密算法使用自适应差分算法，4种准确率指标的计算公式如下：
式中，TP是真阳例，FP是假阳例，FN是假阴例，TN是真阴例；P和R分别为precision和recall。
真阳性：预测为正，实际为正。把正样本成功预测为正。TP(True Positive)
假阳性：预测为正，实际为负。把负样本错误预测为正。FP(False Positive)即误报真阴性：预测为负、实际为负。把负样本成功预测为负。TN(True Negative)
假阴性：预测与负、实际为正。把正样本错误预测为负。FN(False Negative)即漏报
3、实验数据分析
1)分类准确率实验。
UAV-BFL算法的全局损失(loss)以及自适应参数训练过程收敛情况如图4a和4b所示，4个指标测试结果曲线如图5a、图5b、图5c、图5d和图6a、图6b、图6c、图6d所示。
由于θ,β,α初始值均为1，且激活函数为sigmoid，整体收敛速度较快，为反应三者与全局总损失在训练过程中的同步变化趋势，遂将θ,β,α在原始值基础上乘以5，得到最终曲线。
表5 UAV-BFL算法损失及自适应参数实验结果
从表5可看出，共享层的深度越深自适应参数收敛速度越慢，且最终都达到了收敛状态，收敛之后不同的共享网络层自适应参数的收敛值不同，共享层数越浅的网络层越容易收敛，反之越难收敛且收敛之后的参数值差别较大。
表6 Cifar10和Mnist数据集上的准确率对比结果(Global)
基于图7a、图7b、图7c，本发明算法在Cifar10以及Mnist两个数据集上的准确率对比结果和相对于其它算法准确率提升情况如表6和表7所示。
本发明的自适应因子分布在神经网络的不同层，它们作为自适应因子加入到层间训练中，作为损失函数的正则项参与到模型算法的优化过程中。因此，本发明研究了不同层的自适应非线性因素对模型精度的影响，并设置了对比实验，对比实验结果如表7所示。
表7算法在Cifar10和Mnist数据集上的准确率提升率
从表7可以看出，不同层的自适应非线性因子对精度的影响是明显的，本发明的算法在Cifar10数据集上的最大精度提升为3.37％(Recall)，最小精度提升为0.55％(Accuracy)；在Mnist数据集上，最大精度提升为1.02％(F1)，最小精度提升为0.41％(Accuracy)。从以上对比实验结果可以看出，本发明的算法在各种对比指标上都能达到较高的准确率。
2)投毒攻击实验。
本发明通过随机替换样本标签的方式构造噪声样本，构建噪声样本的比例分别是10％、20％、30％。基于此开展投毒攻击实验。投毒攻击实验仅在Cifar10数据集上开展，如图7a、图7b、图7c和图8a、图8b、图8c所示，实验结果汇总如表8所示。
表8投毒攻击Recall指标对比结果(Global)
表9 Cifar10和Mnist数据集上投毒攻击Recall指标提升率
从表9可看出，本发明算法在投毒攻击比率分别为10％、20％以及30％条件下均能够得到相对较高的准确率，相对于对比算法，本发明算法投毒攻击recall指标最大提升28.32％(F1)，最小提升10.72％，从实验结果可看出，本发明算法在样本标签随机攻击下均能够得到相对较高的准确率，这说明本发明算法在优质客户端选择以及区块链累积奖励策略上得到了验证。
综上所述，本发明至少具有以下优点：
1)本发明设计梯度过滤算法以应对投毒攻击，具体地说，使用RCF异常检测算法选择同一片区域内无人机上传的异常梯度，随机选择三分之二正常梯度上传至区块链，实现梯度聚合和优化后的参数的广播，能够检测一定比例的中毒攻击，确保联邦学习更加安全；
2)本发明的UAV-BFL算法采用优质无人机终端设备梯度筛选机制，来选出更多优质无人机终端设备参与联邦训练，能够提高模型的准确率；
3)本发明将无人机终端设备的部分计算功能转移到基站边缘节点，降低了对无人机存储能力和运算能力的要求，解决各无人机终端设备存储及运算能力不够的问题；
4)本发明使用区块链技术，使联邦学习具备防篡改特性和抗单点故障特性。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (10)

1.一种基于区块链的无人机联邦学习的梯度选择方法，其特征在于，包括：
每个无人机终端设备将本地训练得到的模型梯度上传至其归属的基站边缘节点；
所述基站边缘节点收到每个无人机终端设备上传的模型梯度后，对每个无人机终端设备进行系统身份认证；
所述基站边缘节点对每个通过系统身份认证的无人机终端设备进行梯度异常检测，确定每个通过系统身份认证的无人机终端设备上传的模型梯度是异常模型梯度或正常模型梯度；
所述基站边缘节点过滤异常模型梯度，同时上传部分或全部正常模型梯度至区块链进行后续处理，以通过避免使用异常模型梯度来预防投毒攻击。
2.根据权利要求1所述的方法，其特征在于，所述基站边缘节点收到每个无人机终端设备上传的模型梯度后，对每个无人机终端设备进行系统身份认证包括：
所述基站边缘节点通过验证每个无人机终端设备是否注册；
若无人机终端设备未注册，则所述基站边缘节点确定该无人机终端设备未通过系统身份认证，并丢弃该无人机终端设备的模型梯度；
若无人机终端设备已注册，则所述基站边缘节点确定该无人机终端设备通过系统身份认证。
3.根据权利要求2所述的方法，其特征在于，所述基站边缘节点对每个通过系统身份认证的无人机终端设备进行梯度异常检测，确定每个通过系统身份认证的无人机终端设备上传的模型梯度是异常模型梯度或正常模型梯度包括：
对于任一通过系统身份认证的无人机终端设备，所述基站边缘节点利用RCF异常检测算法，计算有效梯度范围，并判断所述无人机终端设备的模型梯度是否在所述有效梯度范围内；
若所述无人机终端设备的模型梯度在所述有效梯度范围内，则所述基站边缘节点将所述无人机终端设备的模型梯度标记为正常梯度；
若所述无人机终端设备的模型梯度不在所述有效梯度范围内，则所述基站边缘节点将所述无人机终端设备的模型梯度标记为异常梯度。
4.根据权利要求3所述的方法，其特征在于，所述RCF异常检测算法包括：
其中，Qk,j是第k个基站边缘节点中第j个无人机终端设备模型梯度的RCF异常检测结果；Ek,j是第k个基站边缘节点收集的第j个无人机终端设备的模型梯度；x是平均梯度；std是标准差；W是当前基站边缘节点收集梯度个数；函数sig用于判断当前模型梯度是否异常，异常模型梯度标记为0，正常模型梯度标记为1。
5.根据权利要求4所述的方法，其特征在于，所述基站边缘节点上传部分正常模型梯度至区块链包括：
所述基站边缘节点从所有正常模型梯度中随机选取若干正常模型梯度，上传至区块链。
6.根据权利要求4所述的方法，其特征在于，所述基站边缘节点上传部分正常模型梯度至区块链包括：
所述基站边缘节点利用所有正常模型梯度以及所有正常模型梯度归属的无人机的历史累计奖励，从所有正常模型梯度中选择优质无人机模型梯度；
所述基站边缘节点将已选择的优质无人机模型梯度上传至区块链。
7.根据权利要求6所述的方法，其特征在于，所述基站边缘节点利用所有正常模型梯度以及所有正常模型梯度归属的无人机的历史累计奖励，从所有正常模型梯度中选择优质无人机模型梯度包括：
所述基站边缘节点接收所述区块链发送的已注册无人机终端设备的历史累计奖励；
所述基站边缘节点利用每个无人机终端设备的历史累计奖励，计算每个无人机终端设备的当前累计奖励值；
所述基站边缘节点根据所述每个无人机终端设备的当前累计奖励值，从所述正常模型梯度中选取优质模型梯度。
8.根据权利要求7所述的方法，其特征在于，所述基站边缘节点利用每个无人机终端设备的历史累计奖励，计算每个无人机终端设备的当前累计奖励值包括：
Rk＝rk*yk
其中，Rk表示已注册的第k个无人机终端设备的当前累计奖励值；rk表示已注册的第k个无人机终端设备的历史累计奖励值；yk表示归一化之后的及时奖励。
9.根据权利要求7所述的方法，其特征在于，所述基站边缘节点根据所述每个无人机终端设备的当前累计奖励值，从所述正常模型梯度中选取优质模型梯度包括：
所述基站边缘节点根据所述每个无人机终端设备的当前累计奖励值对所述无人机终端设备进行排序，并选取当前累计奖励值较大的无人机终端设备，并将所选取的无人机终端设备的模型梯度作为优质模型梯度。
10.根据权利要求1所述的方法，其特征在于，所述区块链进行后续处理包括：
所述区块链利用所述优质模型梯度进行模型梯度聚合，得到全局模型梯度。
CN202311632525.2A 2023-12-01 2023-12-01 一种基于区块链的无人机联邦学习的梯度选择方法 Active CN117596592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311632525.2A CN117596592B (zh) 2023-12-01 2023-12-01 一种基于区块链的无人机联邦学习的梯度选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311632525.2A CN117596592B (zh) 2023-12-01 2023-12-01 一种基于区块链的无人机联邦学习的梯度选择方法

Publications (2)

Publication Number Publication Date
CN117596592A true CN117596592A (zh) 2024-02-23
CN117596592B CN117596592B (zh) 2024-09-13

Family

ID=89913091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311632525.2A Active CN117596592B (zh) 2023-12-01 2023-12-01 一种基于区块链的无人机联邦学习的梯度选择方法

Country Status (1)

Country Link
CN (1) CN117596592B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021064242A (ja) * 2019-10-16 2021-04-22 学校法人幾徳学園 システム、方法、情報処理装置およびプログラム
CN113344220A (zh) * 2021-06-18 2021-09-03 山东大学 一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质
CN113504999A (zh) * 2021-08-05 2021-10-15 重庆大学 一种面向高性能分层联邦边缘学习的调度与资源分配方法
CN115416860A (zh) * 2022-08-25 2022-12-02 南京航空航天大学 一种基于神经网络的四旋翼无人机攻击检测方法
CN116150745A (zh) * 2023-01-06 2023-05-23 华南理工大学 基于多维指标动态识别联邦学习中的后门攻击防御方法
CN116610958A (zh) * 2023-06-20 2023-08-18 河海大学 面向无人机群水库水质检测的分布式模型训练方法及系统
CN116828453A (zh) * 2023-06-30 2023-09-29 华南理工大学 基于自适应非线性函数的无人机边缘计算隐私保护方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021064242A (ja) * 2019-10-16 2021-04-22 学校法人幾徳学園 システム、方法、情報処理装置およびプログラム
CN113344220A (zh) * 2021-06-18 2021-09-03 山东大学 一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质
CN113504999A (zh) * 2021-08-05 2021-10-15 重庆大学 一种面向高性能分层联邦边缘学习的调度与资源分配方法
CN115416860A (zh) * 2022-08-25 2022-12-02 南京航空航天大学 一种基于神经网络的四旋翼无人机攻击检测方法
CN116150745A (zh) * 2023-01-06 2023-05-23 华南理工大学 基于多维指标动态识别联邦学习中的后门攻击防御方法
CN116610958A (zh) * 2023-06-20 2023-08-18 河海大学 面向无人机群水库水质检测的分布式模型训练方法及系统
CN116828453A (zh) * 2023-06-30 2023-09-29 华南理工大学 基于自适应非线性函数的无人机边缘计算隐私保护方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAOYANG ZHU ET AL.: "Blockchain-Enabled Federated Learning for UAV Edge Computing Network: Issues and Solutions", EEE ACCESS, VOL. 10, PP. 56591-56610, 2022, 13 May 2022 (2022-05-13) *
李彦锴: "基于区块链的物联网安全机制设计与性能优化", 中国知网, 24 May 2023 (2023-05-24) *

Also Published As

Publication number Publication date
CN117596592B (zh) 2024-09-13

Similar Documents

Publication Publication Date Title
Yang et al. Generative adversarial learning for intelligent trust management in 6G wireless networks
He et al. Cgan-based collaborative intrusion detection for uav networks: A blockchain-empowered distributed federated learning approach
CN112949837A (zh) 一种基于可信网络的目标识别联邦深度学习方法
CN111460443A (zh) 一种联邦学习中数据操纵攻击的安全防御方法
CN111224994A (zh) 一种基于特征选择的僵尸网络检测方法
Anzer et al. A multilayer perceptron-based distributed intrusion detection system for internet of vehicles
Liang et al. A filter model based on hidden generalized mixture transition distribution model for intrusion detection system in vehicle ad hoc networks
CN113301047A (zh) 一种基于恶意节点攻击检测的车联网节点一致性共识方法
CN105933316A (zh) 网络安全级别的确定方法和装置
CN115409099A (zh) 一种物联网流量异常检测模型建立方法及检测方法
CN115952860A (zh) 一种面向异质统计的分簇联邦学习方法
Soon et al. Comparison of ensemble simple feedforward neural network and deep learning neural network on phishing detection
CN117596592B (zh) 一种基于区块链的无人机联邦学习的梯度选择方法
Amaouche et al. IDS-XGbFS: a smart intrusion detection system using XGboostwith recent feature selection for VANET safety
Feng et al. Voyager: Mtd-based aggregation protocol for mitigating poisoning attacks on dfl
Vasan et al. Feature subset selection for intrusion detection using various rank-based algorithms
CN117376010A (zh) 一种基于智慧网络的网络安全方法及系统
CN116405262A (zh) 网络安全接入方法、装置、设备及存储介质
CN113938889A (zh) 一种基于元学习的小样本Wi-Fi伪装攻击检测方法和系统
Liang et al. An efficiency-accuracy tradeoff for IDSs in VANETs with markov-based reputation scheme
CN117313902B (zh) 一种基于信号博弈的车辆编队异步联邦学习方法
CN118070077B (zh) 基于联邦学习和双重监督对比学习的故障诊断方法及系统
Hade et al. Detection and Classification of Anomalies in Internet of Vehicles using Convolutional Neural Networks
CN118101286B (zh) 一种基于卷积神经网络的网络被动流量分析方法及系统
Fan Machine learning and unlearning for IoT anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant