CN114928547A - 基于分布式存储的联邦学习模型训练异常检测方法及系统 - Google Patents

基于分布式存储的联邦学习模型训练异常检测方法及系统 Download PDF

Info

Publication number
CN114928547A
CN114928547A CN202210413821.2A CN202210413821A CN114928547A CN 114928547 A CN114928547 A CN 114928547A CN 202210413821 A CN202210413821 A CN 202210413821A CN 114928547 A CN114928547 A CN 114928547A
Authority
CN
China
Prior art keywords
deep neural
neural network
feature
accuracy
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210413821.2A
Other languages
English (en)
Inventor
何静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210413821.2A priority Critical patent/CN114928547A/zh
Publication of CN114928547A publication Critical patent/CN114928547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域，具体涉及一种基于分布式存储的联邦学习模型训练异常检测方法及系统。该方法包括：通过联邦学习获取融合前后深度神经网络，以融合前后的深度神经网络中特征向量的相对位置差异获取融合后深度神经网络中每个特征向量的稳定程度，根据稳定程度获取融合后深度神经网络中每个特征向量的趋准性向量，以该趋准性向量获取融合后深度神经网络的准确程度，根据准确程度检测融合后的深度神经网络异常情况，若存在异常，则获取具体的异常端，并获取正确的第二深度神经网络。本发明实现了通过融合前后深度神经网络中特征向量的位置差异和趋准性，获取融合后的准确程度，提高了异常检测的准确率，确保模型训练的准确性。

Description

基于分布式存储的联邦学习模型训练异常检测方法及系统
技术领域
本发明涉及人工智能领域，具体涉及一种基于分布式存储的联邦学习模型训练异常检测方法及系统。
背景技术
随着社会的发展，神经网络广泛的应用于图像数据分析邻域，例如利用神经网络进行图像分割或者图像的分类。但是神经网络的获取依赖于数据集的规模以及数据集的标注，对应一些应用场景，例如医疗图像数据、生物化学领域的图象数据、材料科学的图像数据、卫星航拍图像等，这些图像数据获取成本高、数据规模小、标注成本高，并且涉及到数据的隐私和机密等问题，导致这些数据在各端不能共享，使得各端所训练的神经网络准确率低。
利用联邦学习的方法可以在各端不共享数据的前提下利用所有端的数据训练出一个准确率较高的神经网络，用于图像数据的分析。但是在联邦学习过程中各端需要共享各自训练的网络数据，存在某些端恶意共享错误的模型参数或者在共享模型参数时被外界网络攻击和篡改，这些都会导致在联邦学习过程中引入错误的模型参数，导致模型收敛速度变慢或者准确率降低。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于分布式存储的联邦学习模型训练异常检测，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于分布式存储的联邦学习模型训练异常检测方法，所述方法包括：
分别提取第一深度神经网络和第二深度神经网络的特征向量矩阵；所述第一深度神经网络为融合前每端自身训练的深度神经网络；所述第二深度神经网络为通过中心服务器将所有端的所述第一深度神经网络融合后的深度神经网络；
获取融合前后深度神经网络中相同的特征向量与其他特征向量的相对位置，根据融合前后所述相对位置的变化情况获取所述特征向量的特征稳定程度；
获取所述融合前后深度神经网络中相同的特征向量的差值，根据所述差值和所述特征向量对应的特征稳定程度获取所述特征向量的趋准性向量；
对所述趋准性向量进行分类获取多类趋准性向量集合，选取所述趋准性向量集合中趋准性向量均值大于趋准性阈值的类别集合作为正确类别集合；
选取任意两个所述正确类别集合获取对应的分布差异；以所有所述分布差异的均值作为特征趋准性分布差异；
结合所述特征趋准性分布差异和正确类别集合中所有趋准性向量的模长的均值获取准确程度；
根据所述准确程度获取所述第二深度神经网络异常情况。
进一步，所述分别提取第一深度神经网络和第二深度神经网络的特征向量矩阵的具体步骤包括：
分别提取所述第一深度神经网络和第二深度神经网络的编码器中最后一个卷积层的输出特征图为所述特征向量；
通过所述第一深度神经网络和第二深度神经网络中所有所述特征向量获取融合前后的特征向量集合；
根据所述特征向量集合获取所述特征向量矩阵。
进一步，所述第一深度神经网络的获取步骤包括：
通过联邦学习训练所有端的深度神经网络；
当所述深度神经网络的准确率大于准确率阈值时，所述深度神经网络为所述第一深度神经网络。
进一步，所述获取所述融合前后深度神经网络中相同的特征向量与其他特征向量的相对位置，根据融合前后所述相对位置的变化情况获取所述特征向量的特征稳定程度的获取步骤包括：
以所述深度神经网络中任意两个特征向量的差值作为所述特征向量的相对位置；
计算融合前后每个所述特征向量与其他特征向量的相对位置之和；
以融合前后的深度神经网络中同一特征向量与其他特征向量的相对位置之和的差值作为所述特征向量在融合前后的相对位置的变化情况；
根据所述变化情况获取所述特征向量的特征稳定程度。
进一步，所述根据所述差值和所述特征向量对应的特征稳定程度获取所述特征向量的趋准性向量的获取步骤包括：
获取所述第一深度神经网络中所有特征向量的均值作为深度神经网络的期望值；
以所述期望值与每个所述特征向量的差值为标准差值；
根据所述融合前后深度神经网络中同一特征向量的差值在对应的所述标准差值上的投影大小获取所述特征向量的第一特征值；
以每个所述特征向量对应的特征稳定程度作为所述特征向量的第二特征值；
结合所述特征向量的第一特征值和第二特征值获取所述特征向量的趋准性向量。
进一步，所述对所述趋准性向量进行分类的方法为根据均值漂移聚类对所述趋准性向量进行分类。
进一步，所述选取任意两个所述正确类别集合获取对应的分布差异的获取方法为通过最大均值差异获取任意两个所述正确类别集合中特征向量的分布差异。
进一步，所述根据所述准确程度获取所述第二深度神经网络异常情况的获取步骤包括：
当所有端所述准确程度都大于准确程度阈值时，所述第二深度神经网络为正常；
当任意一端所述准确程度小于所述准确程度阈值时，所述第二深度神经网络为异常。
进一步，所述根据所述准确程度获取所述第二深度神经网络异常情况后进一步确认异常端并获取正确的所述第二深度神经网络的步骤包括：
当任意一端所述准确程度小于所述准确程度阈值时，所述中心服务器将各端的所述第一深度神经网络共享给所有端；
各端计算每个所述第一深度神经网络的准确率并上传给所述中心服务器获取准确率集合；
选取每个所述准确率集合的中位数作为最终准确率；
筛选每个所述最终准确率大于最终准确率阈值对应的集合作为正确端；
融合所有所述正确端获取第三深度神经网络；
以所述第三深度神经网络替换所述第二深度神经网络作为正确的所述第二深度神经网络。
第二方面，本发明实施例还提供了一种基于分布式存储的联邦学习模型训练异常检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种基于分布式存储的联邦学习模型训练异常检测方法的步骤。
本发明实施例具有如下有益效果：
本发明实施例通过联邦学习获取融合前后深度神经网络，以融合前后的深度神经网络中特征向量的相对位置差异获取融合后深度神经网络中每个特征向量的稳定程度，根据稳定程度和融合前后的深度神经网络中特征向量差值获取融合后深度神经网络中每个特征向量的趋准性向量，以趋准性向量获取融合后深度神经网络的准确程度，根据准确程度的大小检测融合后的深度神经网络异常情况，提高了异常检测的准确率，避免融合异常特征，确保模型训练的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于分布式存储的联邦学习模型训练异常检测的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于分布式存储的联邦学习模型训练异常检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例所适用的具体场景为在联邦学习模型训练过程中检测所有端的异常模型参数。其中，通过联邦学习获取融合后的深度神经网络，对比融合前后的深度神经网络中每个特征向量与其他特征向量的相对位置的变化情况获取每个特征向量的特征稳定程度，以融合前后的深度神经网络中同一特征向量的差值和该特征向量的特征稳定稳定程度获取该特征向量的趋准性向量，对所有趋准性向量聚类并进行筛选获取大于趋准性阈值的类别，计算每个类别与其他类别的分布差异的均值，根据该均值与所有趋准性向量的模长均值获取准确程度，以该准确程度检测融合后的深度神经网络的异常情况。
下面结合附图具体的说明本发明所提供的一种基于分布式存储的联邦学习模型训练异常检测方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于分布式存储的联邦学习模型训练异常检测方法流程图，该方法包括：
步骤S1：分别提取第一深度神经网络和第二深度神经网络的特征向量矩阵；第一深度神经网络为融合前每端自身训练的深度神经网络；第二深度神经网络为通过中心服务器将所有端的第一深度神经网络融合后的深度神经网络。
联邦学习的步骤具体包括：
1)图像数据构成的数据集分布式存储在各端，其中的端为存储有图像数据集的云端平台或网络上的存储节点，图像数据集分为训练集和测试集，各端的数据集不能共享；
2)各端利用自身的训练集训练出深度神经网络，所有端所训练的深度神经网络结构一致，本发明实施例所采用的深度神经网络为语义分割网络，例如SegNet，其他实施例可以使用图像分类网络或目标检测网络；
3)各端将训练的模型参数共享给中心服务器，中心服务器对所有端的模型参数进行融合，本发明实施例的融合为将所有端的模型参数求和取平均值后获得新的模型参数，该新的模型参数即为所有端的模型参数进行融合后的结果；
4)中心服务器将融合后的模型参数发送给各端，各端接收到模型参数后，在该模型参数基础上继续进行深度神经网络训练。当各端训练到一定程度后，例如利用训练集训练固定次数后，再次将模型参数共享给中心服务器，中心服务器将上传的模型参数进行融合获取融合后的新的模型参数并发送给各端。
5)重复第四步的过程，直至所有端的深度神经网络收敛。
第一深度神经网络的获取方法为：通过联邦学习训练深度神经网络，当所有端的深度神经网络中测试集的准确率大于准确率阈值时，此时的深度神经网络即为第一深度神经网络。第一深度神经网络已经初步学习到了所有端的训练集的数据分布特征，在深度神经网络收敛前，每端的第一深度神经网络的参数模型相同，但参数模型中具体参数不同，即提取的特征不同，因此每端的第一深度神经网络在深度神经网络收敛前都是各不相同的。
本发明实施例中准确率阈值取值为0.5，在其他实施例中可根据不同需求取值。
第二深度神经网络的获取方法为：将所有端训练的第一深度神经网络的模型参数共享给中心服务器，通过该中心服务器对所有模型参数求和并取平均值获取新的模型参数，该新的模型参数对应的深度神经网络即为第二深度神经网络。
图像上提取的特征为深度神经网络中每个卷积层所输出的结果，本发明实施例将深度神经网络的编码器中最后一个卷积层的输出特征图作为该深度神经网络在图像上所提取到的特征，其他实施例可以将任意卷积层输出的特征图或所有特征图合并作为提取到的特征。深度神经网络在图像上提取的特征是一个多通道的特征图，将该特征图展平成一个一维的向量，该向量即为该深度神经网络所提取到的特征向量，因此对于多张图像，深度神经网络可提取到多个对应的特征向量。
由于融合前后深度神经网络的参数模型相同，因此融合前后的深度神经网络中提取到的特征向量的数量也相同。将第一深度神经网络中提取的特征向量集合作为S1，将第二深度神经网络中提取的特征向量集合作为S2，即S1和S2中特征向量的数量相同。
通过中心服务器对所有端模型参数进行融合，并将融合后的新的模型参数发送给各端，则每端均包含融合前后的深度神经网络对应的特征向量集合S1和S2。
根据特征向量集合S1和S2中的特征向量获得对应的特征向量矩阵，即特征向量集合S1的特征向量矩阵为M1，特征向量集合S2的特征向量矩阵为M2。特征向量矩阵的每一行均为一个特征向量。
通过鲁棒主成分分析(RPCA)将特征向量矩阵M1分解为一个低秩矩阵A1和一个稀疏的噪声矩阵D1，即M1＝D1+A1。同理，将特征向量矩阵M2分解为一个低秩矩阵A2和一个稀疏的噪声矩阵D2，即M2＝D2+A2。
由于深度神经网络没有收敛，因此学习到的特征不够准确，其中掺杂了很多较为尖锐的噪声和其他特征，该噪声和其他特征存储于噪声矩阵D1和D2。而低秩矩阵A1和A2是深度神经网络所提取到的有效特征，该特征能够反应深度神经网络当前学习到的所有特征，其中还未完全学习到的特征包含在D1和D2中。
步骤S2：获取融合前后深度神经网络中相同的特征向量与其他特征向量的相对位置，根据融合前后相对位置的变化情况获取特征向量的特征稳定程度。
将每端融合前后的特征向量矩阵中低秩矩阵的所有行向量所构成的特征向量集合分别作为SA1和SA2，即融合前的低秩矩阵的所有行向量所构成的特征向量集合为SA1，融合后的低秩矩阵的所有行向量所构成的特征向量集合为SA2。低秩矩阵A1、A2中的每一行均为深度神经网络在不同图像上所提取的特征，即每一行均为一个特征向量。
本发明实施例中SA1为低秩矩阵A1对应的特征向量集合，SA2为低秩矩阵A2对应的特征向量集合，S1为特征向量矩阵M1对应的特征向量集合，S2为特征向量矩阵M2对应的特征向量集合，因此SA1和S1均为特征向量集合，但集合内特征向量数量不同，即特征向量集合不同，同理SA2和S2为不同的特征向量集合。
本发明实施例中特征向量集合S1和S2的特征向量的数量相同，特征向量集合SA1和SA2的特征向量的数量相同。
相对位置的获取方法为：以低秩矩阵对应的特征向量集合中第n个图像和第m个图像为例。若第一深度神经网络在第n个图像上提取到的特征向量为v1n，在第m个图像上提取到的特征向量为v1m,即v1n为低秩矩阵A1对应的特征向量集合SA1中第n个特征向量，v1m为低秩矩阵A1对应的特征向量集合SA1中第m个特征向量，则v1n与v1m的相对位置为Δv1mn：
Δv1mn＝v1m-v1n
其中，Δv1mn为低秩矩阵A1对应的特征向量集合SA1中第m个特征向量和第n个特征向量的相对位置。
同理，若第二深度神经网络在第n个图像上提取到的特征向量为v2n，在第m个图像上提取到的特征向量为v2m,即v2n为低秩矩阵A2对应的特征向量集合SA2中第n个特征向量，v2m为低秩矩阵A2对应的特征向量集合SA2中第m个特征向量，则v2n与v2m的相对位置为Δv1mn：
Δv2mn＝v2m-v2n
其中，Δv2mn为低秩矩阵A2对应的特征向量集合SA2中第m个特征向量和第n个特征向量的相对位置。
通过相对位置的获取方法获得每个特征向量与其他特征向量的相对位置。
特征向量的特征稳定程度的获取方法为：通过融合前后深度神经网络中相同的特征向量与其他特征向量的相对位置的变化情况获取该特征向量的特征稳定程度An：
Figure BDA0003595933170000071
其中，An为第n个特征向量的特征稳定程度，‖Δv2mn-Δv1mn‖2为融合前后深度神经网络中第n个特征向量和第m个特征向量的相对位置的变化量，γ为特征稳定程度参数，N为特征向量集合SA1中特征向量的数量，m为特征向量集合SA1中第m个特征向量。由于特征向量集合SA1和SA2中特征向量的数量相同，因此m也为特征向量集合SA2中第m个特征向量。
本发明实施例中特征稳定程度参数γ取值为10，在其他实施例中可根据需求取值。
An越大，表明融合后的深度神经网络提取到的第n个特征向量与其他特征向量的相对位置比融合前的深度神经网络提取到的第n个特征向量与相对其他特征向量的相对位置发生的变化越小，即第n个特征向量就越稳定。该特征稳定程度为特征向量相对位置的变化情况，则特征稳定程度越大，即越稳定，表明深度神经网络在融合前后越没有引入异常参数使得第n个特征向量发生较大的变化。
通过特征稳定程度的获取方法获得每个特征向量对应的特征稳定程度。若深度神经网络融合过程是完全正确的，即所有端的第一深度神经网络中模型参数均为训练后的参数，此时的模型参数非常稳定，融合前后相同位置的变化量趋近于零，也即{A1,A2,…,An,…,AN}集中分布在一起，且均趋近于1；若深度神经网络融合过程是完全错误的，即所有端的第一深度神经网络中模型参数均为随机数，该随机数包含未经训练的参数和训练后的被攻击篡改的参数，此时的模型参数为非常不稳定的随机数，融合前后相同位置的变化量较大，也即{A1,A2,…,An,…,AN}集中分布在一起，且均趋近于0；若{A1,A2,…,An,…,AN}为离散分布时，则深度神经网络融合过程中引入了异常参数，即上传的所有参数中既包含正确的参数同时包含错误的参数，该异常参数为某端所上传的随机数。
步骤S3：获取融合前后深度神经网络中相同的特征向量的差值，根据差值和特征向量对应的特征稳定程度获取特征向量的趋准性向量。
融合后的深度神经网络应具有更高的特征提取能力且提取到的特征向量应趋近于期望值。
趋准性向量的获取方法为：以第n个特征向量为例，获取融合前的深度神经网络中第n个特征向量v1n以及融合后的深度神经网络中第n个特征向量v2n，以特征向量集合SA1中所有向量的均值
Figure BDA00035959331700000813
作为深度神经网络的期望值，获取该期望值与融合前深度神经网络中第n个特征向量的差值作为标准差值，根据该标准差值和融合前后深度神经网络中第n个特征向量的差值获取第n个特征向量的第一特征值
Figure BDA0003595933170000081
Figure BDA0003595933170000082
其中，
Figure BDA0003595933170000083
为第n个特征向量的第一特征值，
Figure BDA0003595933170000084
为
Figure BDA0003595933170000085
的单位向量，
Figure BDA0003595933170000086
为深度神经网络的期望值。
Figure BDA0003595933170000087
表示向量(v2n-v1n)在
Figure BDA0003595933170000088
上的投影大小。第一特征值越大，表明融合后的深度神经网络中的特征向量比融合前的深度神经网络中的特征向量更加趋近于期望值，即深度神经网络融合后提取的特征更加准确且趋近于期望值。
以第n个特征向量的特征稳定程度作为第n个特征向量的第二特征值
Figure BDA0003595933170000089
Figure BDA00035959331700000810
结合第n个特征向量的第一特征值和第n个特征向量的第二特征值获取第n个特征向量的趋准性向量
Figure BDA00035959331700000811
Figure BDA00035959331700000812
步骤S4：对趋准性向量进行分类获取多类趋准性向量集合，选取趋准性向量集合中趋准性向量均值大于趋准性阈值的类别集合作为正确类别集合。
通过步骤S3中趋准性向量的获取方法获得特征向量集合SA1中每个特征向量对应的趋准性向量，根据均值漂移聚类对所有趋准性向量进行聚类获取多类趋准性向量集合，每类趋准性向量集合中的趋准性向量具有较高的相似性，且每类趋准性向量集合代表一种特征向量的趋准状态。
正确类别集合的获取方法为：计算每类趋准性向量集合中所有趋准性向量的均值，设置趋准性阈值，选取所有均值中大于该趋准性阈值所对应的类别集合作为正确类别集合。该正确类别集合中的趋准性向量对应的特征向量具有较高的稳定性且趋近于期望值。
步骤S5：选取任意两个正确类别集合获取对应的分布差异；以所有分布差异的均值作为特征趋准性分布差异。
特征趋准性分布差异的获取方法为：选取步骤S4中任意两个正确类别集合，根据最大均值差异算法获取两个正确类别集合的数据分布差异，该算法的结果数值越大，则两个正确类别集合的数据分布差异越大。最大均值差异算法为通过将两个类别的数据利用同一个映射关系投影到高维空间，使得两个数据分布在高维空间的期望达到最大，该最大值即为这两个数据分布的最大均值差异，即分布差异。
获取所有正确类别集合的分布差异，以所有分布差异的均值作为特征趋准性分布差异ρ。该特征趋准性分布差异为处于不同趋准状态的特征向量的分布差异，该特征趋准性分布差异的值越小表明处于不同趋准状态的特征向量分布越一致，同时表明融合后的深度神经网络所提取的特征比融合前的深度神经网络所提取到的特征更加稳定的趋向于期望值，且该特征具有相同的分布规律，不存在局部某些特征向量全都趋向于一个趋准状态，而另一些特征向量全都趋向另一个趋准状态的情况。
步骤S6：结合特征趋准性分布差异和正确类别集合中所有趋准性向量的模长的均值获取准确程度。
准确程度的获取方法为：通过步骤S4获取所有正确类别集合中所有趋准性向量模长的平均值作为特征趋准性程度，该特征趋准性程度越大表明第二深度神经网络提取到的特征越准确，根据该特征趋准性程度和步骤S5中特征趋准性分布差异获取第二深度神经网络的准确程度R：
Figure BDA0003595933170000091
其中，F为特征趋准性程度，exp()为指数函数。准确程度R越大表明融合前后的深度神经网络提取的特征趋准性分布差异越小，且特征趋准性程度越大。
步骤S7：根据准确程度获取第二深度神经网络异常情况。
设立准确程度阈值，该准确程度阈值根据不同实施例取值不同。
当所有端的准确程度均大于或等于该准确程度阈值时，重复步骤S1到步骤S7，直到所有端的深度神经网络全部收敛为止。
当所有端的准确程度有任意一个或多个小于该准确程度阈值时，表明中心服务器融合后的深度神经网络中引入了异常的模型参数，此时所有端不再通过各自的训练集去训练第二深度神经网络，并发出第二深度神经网络异常信号。
步骤S8：根据准确程度获取第二深度神经网络异常情况后进一步确认异常端并获取正确的第二深度神经网络。
当检测到第二深度神经网络异常情况信号后，中心服务器将所有端的第一深度神经网络共享给所有端，此时每端均包含自身端和其他端的第一深度神经网络，每端通过各自的测试集计算所有的第一深度神经网络的准确率，此时每端均包含任意一端的第一深度神经网络的准确率，每端将各自的所有准确率上传至中心服务器，此时中心服务器包含多组准确率集合，每组集合均为所有端对该端的准确率集合，选取每组集合中所有准确率的中位数作为最终准确率，选取大于最终准确率阈值的最终准确率对应的集合，即对应的端，作为正确端，融合所有正确端的模型参数获取第三深度神经网络，以该第三深度神经网络替代步骤S1到步骤S7中的第二深度神经网络，重复步骤S1到步骤S7直到所有端的深度神经网络全部收敛为止。
在本发明实施例中，最终准确率阈值取值为0.4，在其他实施例中，可根据需求调节取值。
在联邦学习过程中，若某端连续三次及以上的最终准确率均小于最终准确率阈值，表明该端为数据集异常，则在后续训练中去除该端的模型参数，即不再参与融合，剩余端正常参与联邦学习，直至剩余端的深度神经网络全部收敛为止。
综上所述，本发明实施例通过联邦学习获取融合前后深度神经网络，以融合前后的深度神经网络中特征向量的相对位置差异获取融合后深度神经网络中每个特征向量的稳定程度，根据稳定程度和融合前后的深度神经网络中特征向量差值获取融合后深度神经网络中每个特征向量的趋准性向量，以该趋准性向量获取融合后深度神经网络的准确程度，根据准确程度的大小检测融合后的深度神经网络异常情况，若存在异常，则通过最终准确率获取具体的异常端，并获取正确的第二深度神经网络，提高了异常检测的准确率，确保模型训练的准确性。
本发明实施例还提供了一种基于分布式存储的联邦学习模型训练异常检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现上述一种基于分布式存储的联邦学习模型训练异常检测方法的步骤。其中，一种基于分布式存储的联邦学习模型训练异常检测方法在上述实施例已经详细说明，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于分布式存储的联邦学习模型训练异常检测方法，其特征在于，所述方法包括：
分别提取第一深度神经网络和第二深度神经网络的特征向量矩阵；所述第一深度神经网络为融合前每端自身训练的深度神经网络；所述第二深度神经网络为通过中心服务器将所有端的所述第一深度神经网络融合后的深度神经网络；
获取融合前后深度神经网络中相同的特征向量与其他特征向量的相对位置，根据融合前后所述相对位置的变化情况获取所述特征向量的特征稳定程度；
获取所述融合前后深度神经网络中相同的特征向量的差值，根据所述差值和所述特征向量对应的特征稳定程度获取所述特征向量的趋准性向量；
对所述趋准性向量进行分类获取多类趋准性向量集合，选取所述趋准性向量集合中趋准性向量均值大于趋准性阈值的类别集合作为正确类别集合；
选取任意两个所述正确类别集合获取对应的分布差异；以所有所述分布差异的均值作为特征趋准性分布差异；
结合所述特征趋准性分布差异和正确类别集合中所有趋准性向量的模长的均值获取准确程度；
根据所述准确程度获取所述第二深度神经网络异常情况。
2.根据权利要求1所述的一种基于分布式存储的联邦学习模型训练异常检测方法，其特征在于，所述分别提取第一深度神经网络和第二深度神经网络的特征向量矩阵的具体步骤包括：
分别提取所述第一深度神经网络和第二深度神经网络的编码器中最后一个卷积层的输出特征图为所述特征向量；
通过所述第一深度神经网络和第二深度神经网络中所有所述特征向量获取融合前后的特征向量集合；
根据所述特征向量集合获取所述特征向量矩阵。
3.根据权利要求1所述的一种基于分布式存储的联邦学习模型训练异常检测方法，其特征在于，所述第一深度神经网络的获取步骤包括：
通过联邦学习训练所有端的深度神经网络；
当所述深度神经网络的准确率大于准确率阈值时，所述深度神经网络为所述第一深度神经网络。
4.根据权利要求1所述的一种基于分布式存储的联邦学习模型训练异常检测方法，其特征在于，所述获取所述融合前后深度神经网络中相同的特征向量与其他特征向量的相对位置，根据融合前后所述相对位置的变化情况获取所述特征向量的特征稳定程度的获取步骤包括：
以所述深度神经网络中任意两个特征向量的差值作为所述特征向量的相对位置；
计算融合前后每个所述特征向量与其他特征向量的相对位置之和；
以融合前后的深度神经网络中同一特征向量与其他特征向量的相对位置之和的差值作为所述特征向量在融合前后的相对位置的变化情况；
根据所述变化情况获取所述特征向量的特征稳定程度。
5.根据权利要求1所述的一种基于分布式存储的联邦学习模型训练异常检测方法，其特征在于，所述根据所述差值和所述特征向量对应的特征稳定程度获取所述特征向量的趋准性向量的获取步骤包括：
获取所述第一深度神经网络中所有特征向量的均值作为深度神经网络的期望值；
以所述期望值与每个所述特征向量的差值为标准差值；
根据所述融合前后深度神经网络中同一特征向量的差值在对应的所述标准差值上的投影大小获取所述特征向量的第一特征值；
以每个所述特征向量对应的特征稳定程度作为所述特征向量的第二特征值；
结合所述特征向量的第一特征值和第二特征值获取所述特征向量的趋准性向量。
6.根据权利要求1所述的一种基于分布式存储的联邦学习模型训练异常检测方法，其特征在于，所述对所述趋准性向量进行分类的方法为根据均值漂移聚类对所述趋准性向量进行分类。
7.根据权利要求1所述的一种基于分布式存储的联邦学习模型训练异常检测方法，其特征在于，所述选取任意两个所述正确类别集合获取对应的分布差异的获取方法为通过最大均值差异获取任意两个所述正确类别集合中特征向量的分布差异。
8.根据权利要求1所述的一种基于分布式存储的联邦学习模型训练异常检测方法，其特征在于，所述根据所述准确程度获取所述第二深度神经网络异常情况的获取步骤包括：
当所有端所述准确程度都大于准确程度阈值时，所述第二深度神经网络为正常；
当任意一端所述准确程度小于所述准确程度阈值时，所述第二深度神经网络为异常。
9.根据权利要求8所述的一种基于分布式存储的联邦学习模型训练异常检测方法，其特征在于，所述根据所述准确程度获取所述第二深度神经网络异常情况后进一步确认异常端并获取正确的所述第二深度神经网络的步骤包括：
当任意一端所述准确程度小于所述准确程度阈值时，所述中心服务器将各端的所述第一深度神经网络共享给所有端；
各端计算每个所述第一深度神经网络的准确率并上传给所述中心服务器获取准确率集合；
选取每个所述准确率集合的中位数作为最终准确率；
筛选每个所述最终准确率大于最终准确率阈值对应的集合作为正确端；
融合所有所述正确端获取第三深度神经网络；
以所述第三深度神经网络替换所述第二深度神经网络作为正确的所述第二深度神经网络。
10.一种基于分布式存储的联邦学习模型训练异常检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～9任意一项所述方法的步骤。
CN202210413821.2A 2022-04-14 2022-04-14 基于分布式存储的联邦学习模型训练异常检测方法及系统 Pending CN114928547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210413821.2A CN114928547A (zh) 2022-04-14 2022-04-14 基于分布式存储的联邦学习模型训练异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210413821.2A CN114928547A (zh) 2022-04-14 2022-04-14 基于分布式存储的联邦学习模型训练异常检测方法及系统

Publications (1)

Publication Number Publication Date
CN114928547A true CN114928547A (zh) 2022-08-19

Family

ID=82806156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210413821.2A Pending CN114928547A (zh) 2022-04-14 2022-04-14 基于分布式存储的联邦学习模型训练异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN114928547A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919223A (zh) * 2019-03-05 2019-06-21 北京联合大学 基于深度神经网络的目标检测方法及装置
CN112083498A (zh) * 2020-10-16 2020-12-15 山东科技大学 一种基于深度神经网络的多波地震油气储层预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919223A (zh) * 2019-03-05 2019-06-21 北京联合大学 基于深度神经网络的目标检测方法及装置
CN112083498A (zh) * 2020-10-16 2020-12-15 山东科技大学 一种基于深度神经网络的多波地震油气储层预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘尚旺;刘承伟;张爱丽;: "基于深度可分卷积神经网络的实时人脸表情和性别分类", 计算机应用, no. 04, 30 April 2020 (2020-04-30) *
孙存威;文畅;谢凯;贺建飚;: "深度迁移模型下的小样本声纹识别方法", 计算机工程与设计, no. 12, 16 December 2018 (2018-12-16) *
强明辉;蒋文;: "RBF神经网络在组合导航系统中的应用", 自动化与仪表, no. 11, 15 November 2018 (2018-11-15) *
王蓉;马春光;武朋;: "基于联邦学习和卷积神经网络的入侵检测方法", 信息网络安全, no. 04, 10 April 2020 (2020-04-10) *
魏敏;魏武;: "基于小波分析与神经网络的组合导航的研究", 信息技术, no. 11, 25 November 2009 (2009-11-25) *

Similar Documents

Publication Publication Date Title
CN112116030B (zh) 一种基于向量标准化和知识蒸馏的图像分类方法
CN110163258B (zh) 一种基于语义属性注意力重分配机制的零样本学习方法及系统
CN106845529B (zh) 基于多视野卷积神经网络的影像特征识别方法
US10970313B2 (en) Clustering device, clustering method, and computer program product
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN109086653B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
US11113597B2 (en) Artificial neural network and method of training an artificial neural network with epigenetic neurogenesis
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN112464717A (zh) 一种遥感图像目标检测方法、系统、电子设备和存储介质
CN114038055A (zh) 一种基于对比学习和生成对抗网络的图像生成方法
EP4386579A1 (en) Retrieval model training method and apparatus, retrieval method and apparatus, device and medium
JP2020086566A (ja) 知識補完プログラム、知識補完方法および知識補完装置
US20220222578A1 (en) Method of training local model of federated learning framework by implementing classification of training data
CN114547365A (zh) 一种图像检索方法和设备
CN117523291A (zh) 基于联邦知识蒸馏和集成学习的图像分类方法
CN114816808A (zh) 异常检测方法、装置、电子设备及计算机可读存储介质
CN112541530A (zh) 针对聚类模型的数据预处理方法及装置
CN114928547A (zh) 基于分布式存储的联邦学习模型训练异常检测方法及系统
WO2018203551A1 (ja) 信号検索装置、方法、及びプログラム
CN115019053A (zh) 一种用于点云分类分割的动态图语义特征提取方法
CN111310823B (zh) 目标分类方法、装置和电子系统
Abdulsahib et al. A double clustering approach for color image segmentation
CN113723540A (zh) 一种基于多视图的无人驾驶场景聚类方法及系统
CN113159233A (zh) 一种谱聚类加速方法、系统、计算机设备及存储介质
RU2718409C1 (ru) Система восстановления трехмерной структуры образца породы

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination