CN115907003A - 基于度量学习的联邦学习恶意模型更新的检测方法及系统 - Google Patents

基于度量学习的联邦学习恶意模型更新的检测方法及系统 Download PDF

Info

Publication number
CN115907003A
CN115907003A CN202211563482.2A CN202211563482A CN115907003A CN 115907003 A CN115907003 A CN 115907003A CN 202211563482 A CN202211563482 A CN 202211563482A CN 115907003 A CN115907003 A CN 115907003A
Authority
CN
China
Prior art keywords
learning
model
low
dimensional representation
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211563482.2A
Other languages
English (en)
Inventor
杨岳湘
顾智拼
刘吉元
叶昭晖
施江勇
陈誉
孙一鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202211563482.2A priority Critical patent/CN115907003A/zh
Publication of CN115907003A publication Critical patent/CN115907003A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于度量学习的联邦学习恶意模型更新的检测方法，采集本地更新数据，并对本地更新数据进行预处理，得到特征向量；将特征向量输入度量学习模块，进行训练和测试，得到训练好的度量学习网络并通过其获得特征向量的低维表示；将低维表示输入异常检测模块，筛选符合要求的低维表示并找到对应的模型更新；将模型更新输入安全聚合模块，进行安全聚合，得到客户端平均准确率并将其输入提前终止模块，计算差值，若差值大于阈值则继续联邦学习，反之则终止联邦学习；本发明从模型更新中直接使用度量学习映射得到低维特征表示，不对模型更新做任何采样裁剪，将低维特征表示用于异常监测，加强低维表示效果的同时减小计算负担。

Description

基于度量学习的联邦学习恶意模型更新的检测方法及系统
技术领域
本发明涉及联邦学习恶意更新技术领域，具体涉及基于度量学习的联邦学习恶意模型更新的检测方法及系统。
背景技术
现有技术中的联邦学习恶意更新检测方法，大多是用简单的统计机器学习方法构建模型，没有针对恶意更新的特点出发，构建检测模型，导致检测率低。
现存的模型更新异常检测方法大多使用基于密度的检测方法：将异常样本看作边缘点处理，认为处于所有样本边缘的样本为异常点，或认为所处位置样本最稀疏的点为异常点。由于联邦学习模型更新维度很高，不进行降维会导致维度灾难。同时少部分方法使用基于偏差的检测方法：使用机器学习方法学习样本隐藏表达，将更新数据映射到隐藏表达，再通过隐藏表达还原重构更新数据，并计算重构误差，通过最小化重构误差来优化神经网络和该隐藏表达；依据重构误差判断样本是否异常，当异常模型更新较多时检测效率低下，直接将高维模型更新输入异常检测模型计算开销大。同时，现有使用降维的方法将降维模块和异常检测模块分隔为两个互不关联的部分，降维模块得到的低维表示不是异常检测模块所需的最优表示，损失大量有效信息，导致检测效率低下。
发明内容
因此，本发明为了解决现有技术中的以上缺陷，提供一种基于度量学习的联邦学习恶意模型更新的检测方法及系统。
本发明提供一种基于度量学习的联邦学习恶意模型更新的检测方法，包括如下步骤；
S1：采集本地更新数据，并对本地更新数据进行预处理，得到特征向量；
S2：将特征向量输入度量学习模块，对度量学习模块进行训练和测试，得到训练好的度量学习网络，通过度量学习网络获得特征向量的低维表示；
S3：将低维表示输入异常检测模块，，筛选符合要求的低维表示并找到对应的模型更新；
S4：将模型更新输入安全聚合模块，进行安全聚合，得到客户端平均准确率；
S5：将客户端平均准确率输入提前终止模块，计算差值，依据差值大小判断是否终止联邦学习；若差值大于阈值则继续联邦学习，反之则终止联邦学习。
在S1中，所述本地更新数据由二元组标识，二元组中的元素包括客户端上的本地模型梯度、以及客户端训练完成符；服务端收到客户端发送的本地更新数据后，执行以下步骤：
S1.1解析该本地更新数据二元组，根据二元组中的客户端训练完成符判断该数据是否是客户端训练完毕后发送的；若判断结果为否则丢弃；若判断结果为是，则进行下一步骤；
S1.2根据收到本地更新数据的顺序判断其到达服务端的序号；若为本轮次第一个到达，则为本轮次的本地模型梯度开辟存储空间；若为本轮次最后一个包，则进行下一步骤；否则，将本轮次的地模型梯度存入对应的空间；
S1.3对本轮次的本地模型梯度进行数据标准化处理，得到本轮次特征向量。
在S2中，度量学习模块的训练包括度量学习网络训练阶段：
S2.1初始化度量学习网络参数；
S2.2将特征向量通过度量学习网络获得低维表示；
S2.2计算低维表示的几何中心并计算所有特征映射与几何中心的欧式距离，数据蒸馏筛选出距离大于均值的低维表示；
S2.3将数据蒸馏得到的特征向量划分为多批次，每个训练轮次使用一批次的特征向量进行训练；计算每批次的各低维表示与几何中心的距离，计算每批次的低维表示与几何中心的距离均值，筛选出低维表示与几何中心的距离中大于均值的作为难样本；
S2.4将难样本输入异常检测模块的损失函数，其中损失函数还包括异常检测模块的异常得分计算式，计算此时的损失并通过Adam优化器更新度量学习网络和异常检测模块；
S2.5当步骤S2.3)中各批次全部训练结束，得到最终的度量学习网络参数并停止训练。
在S2中，度量学习模块的测试包括：
S2.6将测试集中的模型更新特征向量，通过最终的度量学习网络参数得到低维表示。
在S3中，包括以下步骤：
S3.1输入S2得到的低维表示；
S3.2计算低维表示的几何中心；
S3.3计算低维表示与几何中心的距离；
S3.4根据低维表示与几何中心的距离判断低维表示是否恶意；若距离大于均值则为恶意，若距离小于均值则为良性，并生成良性低维表示在地位表示合集中的序号；
S3.5根据序号找到对应的模型更新作为良性模型更新输出。
在S4中，包括以下步骤：
S4.1输入良性模型更新，采用切尾均值方法计算均值，得到全局模型更新；
S4.2将全局模型更新发送给所有联邦学习客户端；
S4.3客户端在本地进行训练后得到本地模型的准确率发送给服务端；
服务端计算所有客户端准确率的均值作为客户端平均准确率。
在S5中，包括以下步骤：
S5.1将客户端平均准确率存入存储空间；
S5.2计算存储空间中前N轮客户端平均准确率的均值，并计算当前轮次平均准确率与均值的差值；
S5.3依据差值大小判断是否终止联邦学习，若差值大于阈值则继续联邦学习，反之则终止联邦学习。
在S1.3中，采用minmax、小数定标、均值归一、向量归一、指数转换、Z-score中任一一种标准化方式。
在S4中，安全聚合模块采用切尾均值聚合方法、GeoMed聚合方法、Krum聚合方法、RFA聚合方法中的任一一种。
本发明进一步提供一种基于度量学习的联邦学习恶意模型更新的检测系统，包括：
特征提取模块：用于提取客户端发送的本地更新数据，并输出特征向量；
度量学习模块：根据特征向量进行训练和测试，并获取特征向量的低维表示；
异常检测模块：筛选符合要求的低维表示并找到对应的模型更新；
安全聚合模块：根据模型更新进行安全聚合，得到客户端平均准确率
提前终止模块：根据客户端平均准确率计算差值，依据差值大小判断是否终止联邦学习；若差值大于阈值则继续联邦学习，反之则终止联邦学习。
本发明技术方案，具有如下优点：
1、本发明基于度量学习的方法将高维模型更新映射到最优的低维度量空间，并计算低维表示与其几何中心的欧氏距离进行异常检测，使用切尾均值进行联邦学习安全聚合，采用提前终止避免后门泄露；即本发明使用度量学习，本地模型更新先通过全连接网络映射为低维的特征向量，从而提高后续异常检测效率；然后，使用硬挖掘得到的困难样本训练以避免过拟合，计算损失函数并更新全连接网络，使得度量空间逐渐趋优；测试时，将待测模型更新经过全连接网络得到特征映射，依据与几何中心的欧式距离判断更新是否恶意；此模型能够更好地表示梯度更新的隐含特性，从而提高检测率。
2、本发明在度量学习网络的损失函数中加入异常检测模块的异常得分计算式，实现在优化度量学习网络的同时优化异常检测模块的异常得分计算，优化训练后得到的度量学习网络能输出异常检测模块所需的低维表示，即输出的低维表示是异常检测模块所需的最优表示，从而提高检测率。
3、本发明将数据分批次进行训练，更加灵活，计算开销小，且可多次反复进行训练，以提高模型性能。
4、本发明通过使用数据蒸馏筛选最可能正常的低维表示，获取低维表示对应的模型更新，使得输入度量学习模块的模型更新值良性模型更新为多数。通过训练度量学习逐步在改善低维表示效果的同时提高数据蒸馏筛选效率，无需提供无恶意模型更新的数据集。
5、本发明通过训练度量学习模型得到低维特征表示，将低维表示用于异常监测，效率高，计算开销小；测试时，只需使用训练好的度量学习模型提取低维表示，无需再次训练，大大减少计算开销。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1本发明所提供的基于度量学习的联邦学习恶意模型更新的检测方法流程示意图；
图2本发明所提供的基于度量学习的联邦学习恶意模型更新的检测系统的特征提取模块示意图；
图3本发明所提供的基于度量学习的联邦学习恶意模型更新的检测系统的度量学习模块训练阶段流程示意图；
图4本发明所提供的基于度量学习的联邦学习恶意模型更新的检测系统的度量学习模块测试阶段流程示意图；
图5本发明所提供的基于度量学习的联邦学习恶意模型更新的检测系统的异常检测模块流程示意图；
图6本发明所提供的基于度量学习的联邦学习恶意模型更新的检测系统的安全聚合模块流程示意图；
图7本发明所提供的基于度量学习的联邦学习恶意模型更新的检测系统的提取终止模块流程示意图；
图8本发明所提供的基于度量学习的联邦学习恶意模型更新的检测系统的度量学习模块分批次训练和测试流程示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
如图1所示，本实施例提供一种基于度量学习的联邦学习恶意模型更新的检测方法，包括如下步骤；
S1：采集本地更新数据，并对本地更新数据进行预处理，得到特征向量；
S2：将特征向量输入度量学习模块，对度量学习模块进行训练和测试，得到训练好的度量学习网络，通过度量学习网络获得特征向量的低维表示；
S3：将低维表示输入异常检测模块，低维表示与几何中心的距离为异常得分，根据异常得分筛选符合要求的低维表示并找到对应的模型更新；
S4：将模型更新输入安全聚合模块，进行安全聚合，得到客户端平均准确率；
S5：将客户端平均准确率输入提前终止模块，计算差值，依据差值大小判断是否终止联邦学习；若差值大于阈值则继续联邦学习，反之则终止联邦学习。
在S1中，所述本地更新数据由二元组标识，二元组中的元素包括客户端上的本地模型梯度、以及客户端训练完成符；服务端收到客户端发送的本地更新数据后，执行以下步骤：
S1.1解析该本地更新数据二元组，根据二元组中的客户端训练完成符判断该数据是否是客户端训练完毕后发送的；若判断结果为否则丢弃；若判断结果为是，则进行下一步骤；
S1.2根据收到本地更新数据的顺序判断其到达服务端的序号；若为本轮次第一个到达，则为本轮次的本地模型梯度开辟存储空间；若为本轮次最后一个包，则进行下一步骤；否则，将本轮次的地模型梯度存入对应的空间；
S1.3对本轮次的本地模型梯度进行数据标准化处理，得到本轮次特征向量。
在S2中，度量学习模块的训练包括度量学习网络训练阶段：
S2.1初始化度量学习网络参数；
S2.2将特征向量通过度量学习网络获得低维表示；
S2.2计算低维表示的几何中心并计算所有特征映射与几何中心的欧式距离，数据蒸馏筛选出距离大于均值的低维表示；
S2.3将数据蒸馏得到的特征向量划分为多批次，每个训练轮次使用一批次的特征向量进行训练；计算每批次的各低维表示与几何中心的距离，计算每批次的低维表示与几何中心的距离均值，筛选出低维表示与几何中心的距离中大于均值的作为难样本；
S2.4将难样本输入异常检测模块的损失函数，其中损失函数还包括异常检测模块的异常得分计算式，计算此时的损失并通过Adam优化器同时更新度量学习网络(即更新全连接网络)和异常检测模块的异常得分计算式，该异常得分为低维表示与几何中心的距离，进而保证训练后的度量学习模块所输出的低维表示是异常检测模块所需的最优表示；
S2.5当步骤S2.3)中各批次全部训练结束，得到最终的度量学习网络参数并停止训练。
在S2中，度量学习模块的测试包括：
S2.6将测试集中的模型更新特征向量，通过最终的度量学习网络参数得到低维表示。
在S3中，包括以下步骤：
S3.1输入S2得到的低维表示；
S3.2计算低维表示的几何中心；
S3.3计算低维表示与几何中心的距离；
S3.4根据低维表示与几何中心的距离判断低维表示是否恶意；若距离大于均值则为恶意，若距离小于均值则为良性，并生成良性低维表示在地位表示合集中的序号；
S3.5根据序号找到对应的模型更新作为良性模型更新输出。
作为可替换的实施方式，还可以采用其他统计参数进行计算和判读，如中位数、平均数、切尾平均数等，其计算和判断过程与几何中心相同。
在S4中，包括以下步骤：
S4.1输入良性模型更新，采用切尾均值方法计算均值，得到全局模型更新；
S4.2将全局模型更新发送给所有联邦学习客户端；
S4.3客户端在本地进行训练后得到本地模型的准确率发送给服务端；
服务端计算所有客户端准确率的均值作为客户端平均准确率。
在S5中，包括以下步骤：
S5.1将客户端平均准确率存入存储空间；
S5.2计算存储空间中前N轮客户端平均准确率的均值，并计算当前轮次平均准确率与均值的差值；作为优选的实施方式，N设为5的倍数；当轮次数少于N时则判断为继续联邦学习；
S5.3依据差值大小判断是否终止联邦学习，若差值大于阈值则继续联邦学习，反之则终止联邦学习，在本实施例中，所述阈值设为0.005。
在S1.3中，采用minmax、小数定标、均值归一、向量归一、指数转换、Z-score中任一一种标准化方式。
在S4中，安全聚合模块采用切尾均值聚合方法、GeoMed聚合方法、Krum聚合方法、RFA聚合方法中的任一一种。
进一步提供一种基于度量学习的联邦学习恶意模型更新的检测系统，包括：
特征提取模块：用于提取客户端发送的本地更新数据，并输出特征向量；
度量学习模块：根据特征向量进行训练和测试，并获取特征向量的低维表示；
异常检测模块：筛选符合要求的低维表示并找到对应的模型更新；
安全聚合模块：根据模型更新进行安全聚合，得到客户端平均准确率
提前终止模块：根据客户端平均准确率计算差值，依据差值大小判断是否终止联邦学习；若差值大于阈值则继续联邦学习，反之则终止联邦学习，以避免后门泄露。
实施例2
本实施例提供一种具体的基于度量学习的联邦学习恶意模型更新的检测方法，包括如下步骤；
S1：采集本地更新数据，并对本地更新数据进行预处理，得到特征向量；
具体地，在S1中，所述本地更新数据由二元组标识，二元组中的元素包括客户端上的本地模型梯度、以及客户端训练完成符；服务端收到客户端发送的本地更新数据后，执行以下步骤：
如图2所示，S1.1解析该本地更新数据二元组，根据二元组中的客户端训练完成符判断该数据是否是客户端训练完毕后发送的；若判断结果为否则丢弃；若判断结果为是，则进行下一步骤；
S1.2根据收到本地更新数据的顺序判断其到达服务端的序号；若为本轮次第一个到达，则为本轮次的本地模型梯度开辟存储空间；若为本轮次最后一个包，则进行下一步骤；否则，将本轮次的地模型梯度存入对应的空间；
S1.3对本轮次的本地模型梯度进行minmax数据标准化处理，得到本轮次特征向量；
如特征提取模块提取到的特征向量表示为；其中
Figure BDA0003984675340000122
，
Figure BDA0003984675340000123
为所有特征向量的集合；
S2：将特征向量输入度量学习模块，对度量学习模块进行训练和测试，得到训练好的度量学习网络，通过度量学习网络获得特征向量的低维表示；
具体地，如图3所示，在S2中，度量学习模块的训练包括度量学习网络训练阶段，包括如下步骤：
S2.1Xavier初始化度量学习网络参数
Figure BDA0003984675340000121
S2.2将模型更新的特征向量通过度量学习网络获得低维表示f(x)，其中输入模型更新的特征向量
Figure BDA0003984675340000131
S2.3计算低维表示f(x)的几何中心：
Figure BDA0003984675340000132
并计算所有特征映射与几何中心的欧式距离：
Figure BDA0003984675340000133
其中，均值为：
Figure BDA0003984675340000134
数据蒸馏筛选出距离大于均值的特征向量合集：
Figure BDA0003984675340000135
其中，筛选后的特征向量通过硬挖掘得到难样本，难样本同样基于与几何中心的欧式距离挖掘。筛选后特征向量经过度量学习网络得到低维表示f(x)，筛选后特征向量的低维表示与所有低维表示的几何中心的距离为D′＝{||f(xk)-GeoMed||2}xk∈P，其均值为
Figure BDA0003984675340000136
筛选后的特征向量经过基于距离的硬挖掘得到难样本
Figure BDA0003984675340000137
Figure BDA0003984675340000138
其中D′为筛选后特征向量的低维表示与全部特征向量的低维表示的几何中心的距离集合；基于距离的硬挖掘得到的难样本Q输入度量学习网络进行训练，硬挖掘用于避免度量学习网络过拟合。
具体地，S2.3将数据蒸馏得到的特征向量划分为多个小批次，如
Figure BDA0003984675340000139
批次数量为m，每个训练轮次使用一批次的特征向量进行训练；
计算每批次的各低维表示与几何中心的距离：
Figure BDA0003984675340000141
计算每批次的低维表示与几何中心的距离均值：
Figure BDA0003984675340000142
筛选出低维表示与几何中心的距离中大于均值的作为难样本：
Figure BDA0003984675340000143
S2.4将难样本输入异常检测模块的损失函数：
Figure BDA0003984675340000144
计算此时的损失并通过Adam优化器更新度量学习网络和异常检测模块的异常得分计算式，其中异常得分为低维表示与几何中心的距离；
其中，D′为筛选后特征向量的低维表示与全部特征向量的低维表示的几何中心的距离集合；
S2.5当步骤S2.3)中各批次全部训练结束，得到最终的度量学习网络参数即神经网络参数
Figure BDA0003984675340000145
并停止训练；
如图4所示，在测试阶段：
S2.6将测试集中的模型更新特征向量xT，通过全连接网络得到低维表示f(xT)；
S3：将低维表示输入异常检测模块，筛选符合要求的低维表示并找到对应的模型更新；
如图5所示，在S3中，包括以下步骤：
S3.1输入S2得到的低维表示为f(xT)，xT∈T，其中T为测试的联邦学习模型更新；
S3.2计算低维表示的几何中心：
Figure BDA0003984675340000151
S3.3计算低维表示与几何中心的距离：
DT＝{||f(xk)-GeoMed||2}xk∈T；
S3.4根据低维表示与几何中心的距离判断低维表示是否恶意；若距离大于均值则为恶意并标记为恶意序号，若距离小于均值则为良性，并生成良性低维表示在地位表示合集中的良性序号，其中该均值为低维表示与几何中心距离的均值；
S3.5根据良性序号找到对应的模型更新作为良性模型更新输出；
S4：将模型更新输入安全聚合模块，进行安全聚合，得到客户端平均准确率；
如图6所示，在S4中，包括以下步骤：
S4.1输入良性模型更新，采用切尾均值方法计算均值，得到全局模型更新；
S4.2将全局模型更新发送给所有联邦学习客户端；
S4.3客户端在本地进行训练后得到本地模型的准确率发送给服务端；
服务端计算所有客户端准确率的均值作为客户端平均准确率；
S5：将客户端平均准确率输入提前终止模块，计算差值，依据差值大小判断是否终止联邦学习；若差值大于阈值则继续联邦学习，反之则终止联邦学习；
如图7所示，在S5中，包括以下步骤：
S5.1将客户端平均准确率存入存储空间；
S5.2计算存储空间中前5轮客户端平均准确率的均值，并计算当前轮次平均准确率与均值的差值；
S5.3依据差值大小判断是否终止联邦学习，若差值大于阈值0.005则继续联邦学习，反之则终止联邦学习。
进一步地，在度量学习模型的训练过程中，可将训练数据划分为多个批次进行训练，训练过程和测试过程的交互，如图8所示：
模型更新特征向量划分为m个批次，批次集合为
Figure BDA0003984675340000161
训练过程中，首先接受第一批次模型特征向量
Figure BDA0003984675340000162
通过训练得到度量学习网络参数
Figure BDA0003984675340000163
然后将其用于下一次模型训练；第二批次特征向量
Figure BDA0003984675340000164
训练度量学习网络得到新的网络参数后继续用于下一轮次模型训练；以此类推，在
Figure BDA0003984675340000165
批次得到最终的度量学习网络参数
Figure BDA0003984675340000166
然后将最终的度量学习网络参数用于测试阶段的度量学习模块。
当然，在图8表示的模型训练与测试交互中，模型的训练过程可以是一次，也可以是多次。
本发明提取联邦学习更新特征，基于度量学习的方法将高维模型更新映射到最优的低维度量空间，并计算低维表示与其几何中心的欧氏距离进行异常检测，使用切尾均值进行联邦学习安全聚合，采用提前终止避免后门泄露。本发明提供的基于度量学习的联邦学习恶意模型更新的检测方法及系统，具有以下有益效果：
1.现有联邦学习恶意更新检测方法将特征提取和异常监测分割为两个互不关联的模块，提取的特征所处度量空间往往不是最优，影响异常监测效果。本发明使用度量学习，本地模型更新先通过全连接网络映射为低维的特征向量，从而提高后续异常检测效率；然后，使用硬挖掘得到的困难样本训练以避免过拟合，计算损失函数并更新全连接网络，使得度量空间逐渐趋优；测试时，将待测模型更新经过全连接网络得到特征映射，依据与几何中心的欧式距离判断更新是否恶意；此模型能够更好地表示梯度更新的隐含特性，从而提高检测率。
2.本发明在度量学习网络的损失函数中加入异常检测模块的异常得分计算式，实现在优化度量学习网络的同时优化异常得分计算，优化后得到的度量学习网络能输出异常检测模块所需的低维表示，即输出的低维表示是异常检测模块所需的最优表示，从而提高检测率。
3.现有联邦学习恶意更新检测方法需要所有数据一起输入进行训练，大大增加了计算开销。本发明能够将数据分批次进行训练，更加灵活，计算开销小，且可多次反复进行训练，以提高模型性能。
4.现有联邦学习恶意更新检测方法需要使用无恶意模型更新的数据集提前训练检测模型。本发明通过使用数据蒸馏筛选最可能正常的低维表示，获取低维表示对应的模型更新，使得输入度量学习模块的模型更新值良性模型更新为多数；通过训练度量学习逐步在改善低维表示效果的同时提高数据蒸馏筛选效率，无需提供无恶意模型更新的数据集。
5.现有联邦学习恶意更新检测方法将整个模型更新直接用于异常监测，计算开销大。本发明通过训练度量学习模型得到低维特征表示，将低维表示用于异常监测，效率高，计算开销小；测试时，只需使用训练好的度量学习模型提取低维表示，无需再次训练，大大减少计算开销。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.基于度量学习的联邦学习恶意模型更新的检测方法，其特征在于，包括如下步骤；
S1：采集本地更新数据，并对本地更新数据进行预处理，得到特征向量；
S2：将特征向量输入度量学习模块，对度量学习模块进行训练和测试，得到训练好的度量学习网络，通过度量学习网络获得特征向量的低维表示；
S3：将低维表示输入异常检测模块，筛选符合要求的低维表示并找到对应的模型更新；
S4：将模型更新输入安全聚合模块，进行安全聚合，得到客户端平均准确率；
S5：将客户端平均准确率输入提前终止模块，计算差值，依据差值大小判断是否终止联邦学习；若差值大于阈值则继续联邦学习，反之则终止联邦学习。
2.根据权利要求1所述的基于度量学习的联邦学习恶意模型更新的检测方法，其特征在于，在S1中，所述本地更新数据由二元组标识，二元组中的元素包括客户端上的本地模型梯度、以及客户端训练完成符；服务端收到客户端发送的本地更新数据后，执行以下步骤：
S1.1解析该本地更新数据二元组，根据二元组中的客户端训练完成符判断该数据是否是客户端训练完毕后发送的；若判断结果为否则丢弃；若判断结果为是，则进行下一步骤；
S1.2根据收到本地更新数据的顺序判断其到达服务端的序号；若为本轮次第一个到达，则为本轮次的本地模型梯度开辟存储空间；若为本轮次最后一个包，则进行下一步骤；否则，将本轮次的地模型梯度存入对应的空间；
S 1.3对本轮次的本地模型梯度进行数据标准化处理，得到本轮次特征向量。
3.根据权利要求1所述的基于度量学习的联邦学习恶意模型更新的检测方法，其特征在于，在S2中，度量学习模块的训练包括度量学习网络训练阶段：
S2.1初始化度量学习网络参数；
S2.2将特征向量通过度量学习网络获得低维表示；
S2.2计算低维表示的几何中心并计算所有特征映射与几何中心的欧式距离，数据蒸馏筛选出距离大于均值的低维表示；
S2.3将数据蒸馏得到的特征向量划分为多批次，每个训练轮次使用一批次的特征向量进行训练；
计算每批次的各低维表示与几何中心的距离，计算每批次的低维表示与几何中心的距离均值，筛选出低维表示与几何中心的距离中大于均值的作为难样本；
S2.4将难样本输入异常检测模块的损失函数，其中损失函数还包括异常检测模块的异常得分计算式，计算此时的损失并通过Adam优化器更新度量学习网络和异常检测模块；
S2.5当步骤S2.3)中各批次全部训练结束，得到最终的度量学习网络参数并停止训练。
4.根据权利要求3所述的基于度量学习的联邦学习恶意模型更新的检测方法，其特征在于，在S2中，度量学习模块的测试包括：
S2.6将测试集中的模型更新特征向量，通过最终的度量学习网络参数得到低维表示。
5.根据权利要求1所述的基于度量学习的联邦学习恶意模型更新的检测方法，其特征在于，在S3中，包括以下步骤：
S3.1输入S2得到的低维表示；
S3.2计算低维表示的几何中心；
S3.3计算低维表示与几何中心的距离；
S3.4根据低维表示与几何中心的距离判断低维表示是否恶意；若距离大于均值则为恶意，若距离小于均值则为良性，并生成良性低维表示在地位表示合集中的序号；
S3.5根据序号找到对应的模型更新作为良性模型更新输出。
6.根据权利要求1所述的基于度量学习的联邦学习恶意模型更新的检测方法，其特征在于，在S4中，包括以下步骤：
S4.1输入良性模型更新，采用切尾均值方法计算均值，得到全局模型更新；
S4.2将全局模型更新发送给所有联邦学习客户端；
S4.3客户端在本地进行训练后得到本地模型的准确率发送给服务端；
服务端计算所有客户端准确率的均值作为客户端平均准确率。
7.根据权利要求1中任一项所述的基于度量学习的联邦学习恶意模型更新的检测方法，其特征在于，在S5中，包括以下步骤：
S5.1将客户端平均准确率存入存储空间；
S5.2计算存储空间中前N轮客户端平均准确率的均值，并计算当前轮次平均准确率与均值的差值；
S5.3依据差值大小判断是否终止联邦学习，若差值大于阈值则继续联邦学习，反之则终止联邦学习。
8.根据权利要求2所述的基于度量学习的联邦学习恶意模型更新的检测方法，其特征在于，在S1.3中，采用minmax、小数定标、均值归一、向量归一、指数转换、Z-score中任一一种标准化方式。
9.根据权利要求1所述的基于度量学习的联邦学习恶意模型更新的检测方法，其特征在于，在S4中，安全聚合模块采用切尾均值聚合方法、GeoMed聚合方法、Krum聚合方法、RFA聚合方法中的任一一种。
10.基于度量学习的联邦学习恶意模型更新的检测系统，其特征在于，包括：
特征提取模块：用于提取客户端发送的本地更新数据，并输出特征向量；
度量学习模块：根据特征向量进行训练和测试，并获取特征向量的低维表示；
异常检测模块：筛选符合要求的低维表示并找到对应的模型更新；
安全聚合模块：根据模型更新进行安全聚合，得到客户端平均准确率提前终止模块：根据客户端平均准确率计算差值，依据差值大小判断是否终止联邦学习；若差值大于阈值则继续联邦学习，反之则终止联邦学习。
CN202211563482.2A 2022-12-07 2022-12-07 基于度量学习的联邦学习恶意模型更新的检测方法及系统 Pending CN115907003A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211563482.2A CN115907003A (zh) 2022-12-07 2022-12-07 基于度量学习的联邦学习恶意模型更新的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211563482.2A CN115907003A (zh) 2022-12-07 2022-12-07 基于度量学习的联邦学习恶意模型更新的检测方法及系统

Publications (1)

Publication Number Publication Date
CN115907003A true CN115907003A (zh) 2023-04-04

Family

ID=86470915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211563482.2A Pending CN115907003A (zh) 2022-12-07 2022-12-07 基于度量学习的联邦学习恶意模型更新的检测方法及系统

Country Status (1)

Country Link
CN (1) CN115907003A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117313898A (zh) * 2023-11-03 2023-12-29 湖南恒茂信息技术有限公司 基于关键周期识别的联邦学习恶意模型更新检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503207A (zh) * 2019-08-28 2019-11-26 深圳前海微众银行股份有限公司 联邦学习信用管理方法、装置、设备及可读存储介质
CN110610242A (zh) * 2019-09-02 2019-12-24 深圳前海微众银行股份有限公司 一种联邦学习中参与者权重的设置方法及装置
CN111768008A (zh) * 2020-06-30 2020-10-13 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN113688387A (zh) * 2021-07-30 2021-11-23 华东师范大学 基于服务器和客户端双重检测的联邦学习中毒攻击的防御方法
CN114091356A (zh) * 2022-01-18 2022-02-25 北京邮电大学 一种联邦学习方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503207A (zh) * 2019-08-28 2019-11-26 深圳前海微众银行股份有限公司 联邦学习信用管理方法、装置、设备及可读存储介质
CN110610242A (zh) * 2019-09-02 2019-12-24 深圳前海微众银行股份有限公司 一种联邦学习中参与者权重的设置方法及装置
CN111768008A (zh) * 2020-06-30 2020-10-13 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN113688387A (zh) * 2021-07-30 2021-11-23 华东师范大学 基于服务器和客户端双重检测的联邦学习中毒攻击的防御方法
CN114091356A (zh) * 2022-01-18 2022-02-25 北京邮电大学 一种联邦学习方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SELIM F. YILMAZ等: "Unsupervised Anomaly Detection via Deep Metric Learning with End-to-End Optimization", 《ARXIV:2005.05865V1》, pages 1 - 11 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117313898A (zh) * 2023-11-03 2023-12-29 湖南恒茂信息技术有限公司 基于关键周期识别的联邦学习恶意模型更新检测方法

Similar Documents

Publication Publication Date Title
CN109086654B (zh) 手写模型训练方法、文本识别方法、装置、设备及介质
CN110738247B (zh) 一种基于选择性稀疏采样的细粒度图像分类方法
CN105488539B (zh) 分类模型的生成方法及装置、系统容量的预估方法及装置
CN108809745A (zh) 一种用户异常行为检测方法、装置及系统
CN111612038B (zh) 异常用户检测方法及装置、存储介质、电子设备
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
CN112783938B (zh) 一种水文遥测实时数据异常检测方法
CN109271957B (zh) 人脸性别识别方法以及装置
CN115907003A (zh) 基于度量学习的联邦学习恶意模型更新的检测方法及系统
CN110348516B (zh) 数据处理方法、装置、存储介质及电子设备
CN112767325A (zh) 一种癌症病理图像自动检测方法及系统
CN114201632B (zh) 一种面向多标记目标检测任务的标签带噪数据集扩增方法
CN115913691A (zh) 一种网络流量异常检测方法及系统
CN114020811A (zh) 数据异常检测方法及其装置、电子设备
CN116704490B (zh) 车牌识别方法、装置和计算机设备
JP2002251592A (ja) パターン認識辞書学習方法
CN115294417A (zh) 用于图像处理的方法、设备和存储介质
CN117155706A (zh) 网络异常行为检测方法及其系统
CN114756420A (zh) 故障预测方法及相关装置
CN110414229B (zh) 操作命令检测方法、装置、计算机设备及存储介质
CN112990080A (zh) 基于大数据和人工智能的规则确定方法
CN114301719A (zh) 一种基于变分自编码器的恶意更新检测方法及模型
CN113177602B (zh) 图像分类方法、装置、电子设备和存储介质
CN115170919A (zh) 图像处理模型训练及图像处理方法、装置、设备和存储介质
CN111797732B (zh) 一种对采样不敏感的视频动作识别对抗攻击方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination