CN117834297A - 攻击检测方法、装置、系统、电子设备及可读存储介质 - Google Patents

攻击检测方法、装置、系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN117834297A
CN117834297A CN202410230015.0A CN202410230015A CN117834297A CN 117834297 A CN117834297 A CN 117834297A CN 202410230015 A CN202410230015 A CN 202410230015A CN 117834297 A CN117834297 A CN 117834297A
Authority
CN
China
Prior art keywords
edge computing
cluster
computing device
attack
computing devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410230015.0A
Other languages
English (en)
Other versions
CN117834297B (zh
Inventor
李仁刚
王立
赵雅倩
范宝余
张润泽
刘彤
赵坤
曹芳
郭振华
鲁璐
贺蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202410230015.0A priority Critical patent/CN117834297B/zh
Publication of CN117834297A publication Critical patent/CN117834297A/zh
Application granted granted Critical
Publication of CN117834297B publication Critical patent/CN117834297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种攻击检测方法、装置、系统、电子设备及可读存储介质,应用于数据安全技术领域。其中,方法应用于边缘计算设备的联邦学习过程中,边缘云服务器基于各边缘计算设备的初始网络模型对目标数据集的推理结果生成有权无向图,基于该有权无向图将边缘计算设备划分为多个数据同性簇,并为之选择簇头。簇头获取属于同一个簇内的边缘计算设备的本地模型参数,基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备。本发明可以解决相关技术中无法精准检测攻击导致用户数据无法得到保护的问题,能够有效检测恶意攻击设备,提升用户数据的安全性。

Description

攻击检测方法、装置、系统、电子设备及可读存储介质
技术领域
本发明涉及数据安全技术领域,特别是涉及一种攻击检测方法、装置、系统、电子设备及可读存储介质。
背景技术
随着人工智能和大数据技术的快速发展和日益普及,日常工作生活中越来越多的设备都会接入网络,这使得侵入者更容易获取非授权的数据,造成用户数据被泄露或数据被篡改。
为了保证数据安全,相关技术基于联邦学习模式进行模型训练。但是,在联邦学习的环境中,恶意设备会进行一些攻击,这就导致最终训练得到的模型仍旧会携带恶意攻击者的特征,并不能真正起到保护用户隐私数据的作用。
鉴于此,提高威胁检测精度,保障用户数据安全,是所属领域技术人员需要解决的技术问题。
发明内容
本发明提供了一种攻击检测方法、装置、系统、电子设备及可读存储介质,能够有效提高威胁检测精度,保障用户数据安全。
为解决上述技术问题,本发明提供以下技术方案:
本发明一方面提供了一种攻击检测方法,应用于边缘计算设备的联邦学习过程中,包括:
获取属于同一个数据同性簇内的各边缘计算设备经过预设迭代次数更新后的本地模型参数;
基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备;
其中,所述数据同性簇为边缘云服务器基于各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备之间的有权无向图,并基于根据所述有权无向图对各边缘计算设备进行划分所得,所述数据同性簇包括簇头。
在第一种示例性的实施方式中,所述基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备,包括:
根据簇内边缘计算设备的本地模型参数以及同一簇内的各边缘计算设备之间相似程度,生成邻近无向图;
基于具有女巫攻击特征的边缘计算设备具有相似模型更新特征,在所述邻近无向图中确定具有女巫攻击特征的目标边缘计算设备。
在第二种示例性的实施方式中,所述根据簇内边缘计算设备的本地模型参数以及同一簇内的各边缘计算设备之间相似程度,生成邻近无向图,包括:
根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边;
将同一簇内的各边缘计算设备的本地模型作为图顶点,根据各边缘计算设备对应的本地模型之间是否具有连接边,生成邻近无向图。
在第三种示例性的实施方式中,所述根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边之前,还包括:
获取各边缘计算设备发送的本地模型参数对应的当前迭代次数;
根据所述当前迭代次数更新当前存储的目标相似阈值,所述目标相似阈值随着迭代次数的增加而降低。
在第四种示例性的实施方式中,所述根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边之前,还包括:
调用阈值计算关系式计算目标相似阈值;所述阈值计算关系式为:
Tre=max{c_max×e^(1−t/20),c_min};
其中,Tre为目标相似阈值,c_max为第一预设常数,c_min为第二预设常数,t为当前迭代次数。
在第五种示例性的实施方式中,所述根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边,包括:
对同一簇内的每两个边缘计算设备,若第一边缘计算设备的本地模型参数和第二边缘计算设备的本地模型参数之间的余弦相似度大于或等于目标相似阈值,则第一边缘计算设备对应的本地模型和第二边缘计算设备对应的本地模型之间具有无向连接边。
在第六种示例性的实施方式中,所述基于具有女巫攻击特征的边缘计算设备具有相似模型更新特征,在所述邻近无向图中确定具有女巫攻击特征的目标边缘计算设备,包括:
从所述邻近无向图中确定最大连通子图;
将所述最大连通子图中的顶点对应的边缘计算设备作为目标边缘计算设备。
在第七种示例性的实施方式中,所述根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备之后,还包括:
对去除攻击设备对应的本地模型参数的剩余本地模型参数进行簇内参数聚合处理,得到簇内模型聚合参数;
将簇内模型聚合参数发送至边缘云服务器,以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合,直至待训练模型收敛。
本发明另一方面提供了一种攻击检测装置,应用于边缘计算设备的联邦学习过程中,包括:
模型参数获取模块,获取属于同一个数据同性簇内的各边缘计算设备经过预设迭代次数更新后的本地模型参数;其中,所述数据同性簇为边缘云服务器基于各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备之间的有权无向图,并基于根据所述有权无向图对各边缘计算设备进行划分所得,所述数据同性簇包括簇头;
攻击检测模块,用于基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备。
本发明还提供了一种电子设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述攻击检测方法的步骤。
本发明还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前任一项所述攻击检测方法的步骤。
本发明最后还提供了一种攻击检测系统,包括边缘云服务器和多个边缘计算设备;各边缘计算设备在所述边缘云服务器的协调下共同训练模型;
其中,所述边缘云服务器,用于根据各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备间的有权无向图,基于所述有权无向图对各边缘计算设备进行划分得到多个数据同性簇,并为各数据同性簇选择簇头,同时将分簇信息发送至相应边缘计算设备;
所述簇头,用于实现如前任一项所述攻击检测方法的步骤;
各非簇头的边缘计算设备,用于在基于本地训练样本对所述初始网络模型训练过程中,基于接收到的分簇信息将经过预设迭代次数更新后的模型参数发送至相应簇头。
在第一种示例性的实施方式中,所述基于本地训练样本对所述初始网络模型训练过程,包括:
调用本地模型参数更新关系式,对所述初始网络模型的模型参数进行更新;所述本地模型参数更新关系式为:
式中,L为样本损失函数,表示哈密顿算子,/>为第t轮训练中的第l次迭代更新后的本地模型参数,/>为第t轮训练中的第l次迭代更新前的本地模型参数,/>为第t轮训练中的第l次迭代更新过程中的学习率,/>为第t轮训练中的第l次迭代更新过程中的本地训练样本数据。
在第二种示例性的实施方式中,所述边缘云服务器,用于接收各簇头发送的簇内模型聚合参数,对各簇内模型聚合参数进行全局聚合;
其中,所述簇内模型聚合参数为对去除攻击设备的本地模型参数的剩余簇内边缘计算设备的本地模型参数进行簇内参数聚合处理。
在第三种示例性的实施方式中,所述根据各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备间的有权无向图,包括:
以各边缘计算设备的推理结果的相似值作为有权无向图的权重值,根据各边缘计算设备的推理结果的相似值与预设相似阈值之间的数值关系确定有权无向图的连接边;
根据每两个边缘计算设备之间是否具有连接边,且具有连接边的两个相邻边缘计算设备之间的权重值,生成有权无向图。
在第四种示例性的实施方式中,所述为各数据同性簇选择簇头,包括:
对各数据同性簇,获取当前数据同性簇内的各边缘计算设备之间的簇内节点距离;
统计各边缘计算设备与簇内其他边缘计算设备的平均节点距离;
将平均节点距离最小的边缘计算设备作为簇头。
在第五种示例性的实施方式中,所述基于所述有权无向图对各边缘计算设备进行划分得到多个数据同性簇,包括:
将各边缘计算设备进行初始化簇处理,并为各边缘计算设备赋予相应的簇标签;
对各边缘计算设备,根据所述有权无向图确定当前边缘计算设备的相邻边缘计算设备,并根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签,直至各边缘计算设备的簇标签的变化情况满足预设收敛条件;
将具有相同簇标签的边缘计算设备划分为同一个数据同性簇;
其中,所述相邻边缘计算设备为与所述当前边缘计算设备具有连接边的边缘计算设备。
在第六种示例性的实施方式中,所述根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签,包括:
获取所述当前边缘计算设备的相邻边缘计算设备的簇标签,并统计各类簇标签的总数;
将总数符合预设分簇条件的簇标签更新为所述当前边缘计算设备的簇标签。
在第七种示例性的实施方式中,所述将各边缘计算设备进行初始化簇处理,包括:
将各边缘计算设备作为独立的数据同性簇;
获取预设初始分簇条件;
基于所述预设初始分簇条件对各边缘计算设备进行分簇,并为同一个簇的边缘计算设备设置相同的簇号,以作为簇标签。
在第八种示例性的实施方式中,所述根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签,直至各边缘计算设备的簇标签的变化情况满足预设收敛条件,包括:
根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签,并确定当前迭代更新后的新簇标签和上一迭代更新后的老簇标签的变化信息;
当所述变化信息满足预设收敛条件,则所述当前边缘计算设备的簇标签更新迭代终止。
本发明提供的技术方案的优点在于,在边缘云服务器和各边缘计算设备在共同训练模型的过程中,由边缘云服务器基于有权无向图实现相似的数据、模型的联邦设备之间的聚类,将各边缘计算设备划分为多个具有数据同性簇,基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,然后针对每个数据同性簇,根据同一簇内各边缘计算设备的本地模型参数便可确定是否存在攻击设备,从而实现在面向联邦学习的数据共享过程中,能够及时且高精度检测恶意用户,有效避免最终训练得到全局模型携带攻击者特征,确保用户隐私数据不被泄露,保障用户数据安全。进一步的,由于位于同一个数据同性簇内的边缘计算设备的数据是独立同分布的,且本地模型参数一致,这样不仅能保证各个数据分布的模型性能均达到最优,而且有利于提高后续攻击检测的精度,进一步提升恶意攻击检测的精度,有效提升用户数据的安全性。
此外,本发明还针对攻击检测方法提供了相应的实现装置、系统、电子设备及可读存储介质,进一步使得所述方法更具有实用性,所述装置、系统、电子设备及可读存储介质具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
为了更清楚的说明本发明或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种攻击检测方法的流程示意图;
图2为本发明提供的攻击检测方法适用的云边端环境中的一示例性应用场景的框架示意图;
图3为本发明提供的攻击检测方法所适用的硬件组成框架示意图;
图4为本发明提供的攻击检测装置的一种具体实施方式结构图;
图5为本发明提供的电子设备的一种具体实施方式结构图;
图6为本发明提供的攻击检测系统的一种具体实施方式结构图;
图7为本发明提供的有权无向图的一示例性应用场景的示意图;
图8为本发明提供一示例性应用场景下的分簇示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。其中,说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及二者的任何变形,意图在于覆盖不排他的包含。术语“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
联邦学习为多个客户端(如移动设备)在中央服务器(例如服务提供商)的协调下共同训练网络模型,同时保持训练数据的去中心化及分散性,能够在不需要直接共享原始数据的情况下进行模型训练,既可以利用到分布式设备上的数据进行模型训练,又可以保护每个参与者的数据隐私,从而可以解决数据隐私和数据安全的问题,被广泛应用于如医疗、金融等高度敏感的领域中。
可以理解的是,联邦学习模式下,每个参与者在本地设备上进行模型训练,然后中心服务器对各客户端的模型更新信息进行聚合。这种联邦学习的分布式特性导致联邦学习遭受恶意攻击的可能性增加,只要恶意设备对任何一个参与者进行攻击,便会导致最终训练得到的模型均携带攻击者特征。举例来说,在Sybil(女巫)攻击中,一个设备可以伪装成多个虚假的设备进行攻击,这些攻击都会导致最终模型携带攻击特征,如在非Sybil攻击中,设备可能会发送错误的模型更新,以操纵最后聚合的全局模型,所以需要保护模型的安全性。由此可见,在面向联邦学习的数据共享过程中,通常有数以万计的设备参与训练,服务器如果无法及时检测恶意用户,很容易造成最终训练得到的全局模型被污染甚至隐私泄露问题,使得用户数据无法得到有效保护。
鉴于此,本发明提出在边缘云服务器和各边缘计算设备在共同训练模型的过程中,先将各边缘计算设备划分为多个数据同性簇,然后基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,从而可以针对每个数据同性簇的簇内边缘计算设备的本地模型参数便可确定是否存在攻击设备,从而实现在面向联邦学习的数据共享过程中,能够及时且高精度检测恶意用户,有效避免最终训练得到全局模型携带攻击者特征,确保用户隐私数据不被泄露,保障用户数据安全。本发明考虑了恶意设备对整个联邦学习系统的影响,不仅提高了各方数据的安全性,还解决了边缘计算设备上的本地模型或数据的异构性问题。在介绍了本发明的技术方案后,下面详细的说明本发明的各种非限制性实施方式。为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有这些具体细节,本发明同样可以实施。在另外一些实例中,对于所属领域技术人员熟知的方法、手段未作详细描述,以便于凸显本发明的主旨。
首先请参见图1,图1为本实施例提供的一种攻击检测方法的流程示意图,应用于边缘计算设备的联邦学习过程中,本实施例可包括以下内容:
S101:获取属于同一个数据同性簇内的各边缘计算设备经过预设迭代次数更新后的本地模型参数。
在本实施例中,联邦学习过程为边缘云服务器和多个边缘计算设备共同协调训练一个网络模型的过程。边缘计算设备在不同的应用领域下设备类型不同,如在网络安全领域,边缘计算设备可为路由器、防火墙,路由器和防火墙这些边缘计算设备进行本地数据处理和模型训练,服务器聚合路由器和防火墙所训练得到的本地模型以更有效地检测恶意软件和网络攻击,而无需共享敏感数据。在智慧城市的交通管理系统中,边缘计算设备为监控设备和智能车辆,监控设备和智能车辆都可以收集交通数据训练一个用于优化交通流量和事故预测的模型。在医疗健康领域,各医疗机构的辅助诊断设备、医疗设备可以为边缘计算设备,通过本发明提供的方法可以在保护病人隐私的同时,通过联邦学习提高疾病诊断的准确性。最后,在智能制造和预测性维护方面,工厂的机器和传感器可以作为边缘计算设备,利用边缘计算设备收集生产线数据,利用联邦学习进行故障预测和维护决策的优化。
其中,数据同性簇为边缘云服务器基于各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备之间的有权无向图,并基于根据有权无向图对各边缘计算设备进行划分所得,每个数据同性簇均会从中选择一簇头,簇头负责与边缘云服务器进行通信。边缘计算设备采集具有网络威胁和没有网络威胁的样本数据作为训练初始网络模型的本地训练样本数据,当然也可直接获取现有的具有网络威胁的网络流数据库中的数据作为本地训练样本数据,可将获取到的本地训练样本数据采用10则交叉方法划分为训练集和验证集,同时为训练集中的每一个本地训练样本数据进行标签标注,所谓的标签也即网络流数据是否具有网络威胁以及具体的威胁类型,从而构建本地样本数据集。为了便于后续数据处理,可提取本地样本数据集中各本地样本数据的流量特征,将流量特征归一化后得到特征向量,再将特征向量排列后形成特征矩阵。边缘计算设备可将本地样本数据集的一部分本地样本数据输入至预先搭建好的神经网络框架下进行训练,得到初始网络模型。也即初始网络模型为边缘计算设备利用本地样本数据训练一次或少数几次得到的网络模型,目标数据集为边缘云服务器发送给各边缘计算设备的测试数据集,其包含少量的测试样本数据,测试样本数据可包括各类攻击网络流的数据,也可包括不含攻击的正常网络流数据,将目标数据集中的各测试网络流样本数据输入至初始网络模型,初始网络模型输出即为推理结果,各边缘计算设备将推理结果发送至边缘云服务器。示例性的,预先搭建威胁检测模型框架,利用本地网络流训练样本数据集对该威胁检测模型框架进行联邦学习,得到初始网络模型;接收边缘云服务器的目标网络流数据集,调用初始网络模型对目标网络流数据集进行推理,并将推理结果发送至边缘云服务器。举例来说,所有边缘计算设备进行1次联邦学习,即边缘计算设备使用自己的内部数据集进行训练,获得初始网络模型。边缘云服务器从公网获取少量公共数据以构建面向本联邦学习任务的公共测试数据集。边缘云服务器将公共测试数据集发送到边缘计算设备,边缘计算设备存储该公共测试数据集,同时使用自训练模型对该公共测试数据集进行推理,获得推理结果,推理结果上传到边缘云服务器。
在本实施例中,当边缘云服务器接收到推理结果之后,基于各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备之间的有权无向图,并基于根据有权无向图对各边缘计算设备进行划分,并在选择簇头后,生成分簇信息,然后将分簇信息分发至各边缘计算设备,这样每个边缘计算设备便可知道其所属的簇,簇头也能确定其所包含的边缘计算设备。其中,分簇信息包括但并不限制于簇头标识号及簇内连接关系,簇头标识号用于表示该边缘计算设备所属的数据同性簇,簇头标识号可以唯一标识一个数据同性簇,簇内连接关系用于表示每一个数据同性簇所包含的边缘计算设备之间的连接关系,也即同一簇内哪些边缘计算设备是相邻关系。其中,所谓的有权无向图是指所构建的图的连接边具有权重,但没有方向。由于初始网络模型是各边缘计算设备使用本地自己的样本数据所训练得到的,不同边缘计算设备所使用的本地样本数据存在数据异构性,即每个边缘计算设备数据有限,大多只包含有限类别的样本。因此,使用公共的目标数据集进行推理的结果也各不相同,存在偏差。本实施例可根据不同边缘计算设备的推理结果之间的相似性来构造有权无向图,当生成有权无向图之后,根据不同边缘计算设备之间的相似程度进行数据同性簇的划分,当将属于具有相同或相似性质的边缘计算设备划分至同一个数据同性簇之后,对每一个数据同性簇,还可根据通信效率最优或距离最近为基准,为各数据同性簇选择簇头。当边缘云服务器将各边缘计算设备进行数据同性簇划分之后,同一个数据同性簇内的各边缘计算设备不直接与边缘云服务器交互,而是通过簇头与边缘云服务器进行数据交互。如图2所示,边缘云服务器可为任何一种普通的边缘服务器,多个边缘计算设备被划分为多个数据同性簇,如簇S 1S C ,每个数据同性簇具有一个簇头,如簇S 1的簇头为H 1,簇S C 的簇头为H C,其中,虚线表示簇头与边缘云服务器的通信链路,实线表示簇内边缘计算设备之间的通信链路。
在联邦学习学习过程中,边缘计算设备基于本地训练数据样本集对初始网络模型进行训练,为了进行数据隐私保护,各边缘计算设备的本地数据不会上传至边缘云服务器,仅仅将训练得到的模型上传至簇头,簇头聚合同一簇内的正常的边缘计算设备的本地模型参数,并将簇内模型聚合参数上传至边缘云服务器,边缘云服务器将簇头聚合得到的模型进行再次聚合,也即进行全局参数聚合,直至收敛,便训练得到最终能够用于执行任务的网络模型,充分利用分布式边缘计算资源,降低了数据传输需求,还增强了数据隐私保护。
S102:基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备。
当各边缘计算设备在利用本地样本数据对初始网络模型进行模型参数更新过程中,为了学习所有边缘计算设备特征的同时兼顾模型训练效率,边缘计算设备每经过预设迭代次数的模型参数更新后,预设迭代次数可根据实际需求灵活选择,可将更新后的初始威胁检测模型上传至簇头,示例性的,边缘计算设备通常将初始网络模型的本地模型参数上传至簇头,簇头根据同一簇内的各边缘计算设备的模型参数和网络攻击特点,确定攻击设备。其中,网络攻击特点为本发明要检测的网络攻击的进行网络攻击时所采用的手段,举例来说,Sybil攻击的网络攻击特征为一个恶意实体伪装成多个假冒的身份,以此来增加该恶意设备在网络中的影响力。例如,一个恶意用户可能会创建多个虚假的账户,以此来投票、评论或者进行其他的活动,从而影响系统的行为。在联邦学习中,Sybil攻击通常会导致训练结果偏向于恶意用户的目标,比如训练出来的模型可能会对某些特定的输入产生错误的预测。非Sybil攻击的网络攻击特点为恶意实体不通过伪装多个身份,而是利用其他方式来对系统进行攻击。例如,在联邦学习中,非Sybil攻击可能包括数据投毒攻击,如恶意实体提供错误或者有误导性的训练数据,模型攻击如恶意实体修改模型的参数以改变模型的行为等。本发明的簇头接收到簇内边缘计算设备发送的本地模型参数之后,会对接收到的本地模型参数进行网络攻击检测,确定其簇内是否存在具有网络威胁的攻击设备,也即如果存在攻击,则攻击设备为其簇内的至少一个边缘计算设备。在本实施例提供的技术方案中,在边缘云服务器和各边缘计算设备在共同训练模型的过程中,由边缘云服务器基于有权无向图实现相似的数据、模型的联邦设备之间的聚类,将各边缘计算设备划分为多个具有数据同性簇,基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,然后针对每个数据同性簇,根据同一簇内各边缘计算设备的本地模型参数便可确定是否存在攻击设备,从而实现在面向联邦学习的数据共享过程中,能够及时且高精度检测恶意用户,有效避免最终训练得到全局模型携带攻击者特征,确保用户隐私数据不被泄露,保障用户数据安全。进一步的,由于位于同一个数据同性簇内的边缘计算设备的数据是独立同分布的,且本地模型参数一致,这样不仅能保证各个数据分布的模型性能均达到最优,而且有利于提高后续攻击检测的精度,进一步提升恶意攻击检测的精度,有效提升用户数据的安全性。
需要说明的是,本发明中各步骤之间没有严格的先后执行顺序,只要符合逻辑上的顺序,则这些步骤可以同时执行,也可按照某种预设顺序执行,图1只是一种示意方式,并不代表只能是这样的执行顺序。
上述实施例中,所有簇内的边缘计算设备将自己当前的本地模型参数发送给簇头,簇头在对本簇的各边缘计算设备进行簇内模型参数聚合过程中,会识别簇内各边缘计算设备是否存在恶意的攻击设备,上述实施例对确定攻击设备这一步骤并不做限定,本实施例中给出基于同一簇内的各边缘计算设备的模型参数和网络攻击特点来识别攻击设备的一种示例性的实施方式,可包括下述内容:
根据簇内边缘计算设备的本地模型参数以及同一簇内的各边缘计算设备之间相似程度,生成邻近无向图;基于具有女巫攻击特征的边缘计算设备具有相似模型更新特征,在邻近无向图中确定具有女巫攻击特征的目标边缘计算设备。
对于恶意攻击设备采用的攻击方式是创建多个身份的这类攻击,如女巫攻击,这类攻击是一个恶意实体伪装成多个假冒身份,例如创建了多个虚假账户,也即如果存在这类攻击,则同一个簇内的边缘计算设备具有相似特征的就是该恶意实体所创建的虚假身份,且这类边缘计算设备数量相对会较多,换言之,同一簇内具有相同或相似的更新特征的是攻击设备的更新,这样其在网络中的影响力才会增加,才能导致最终的训练结果会偏向恶意设备的目标,比如训练出来的模型可能会对某些特定的输入产生错误的预测。基于此,本实施例采用近邻图也即邻近无向图的方式来确定是否存在该类攻击。邻近无向图基于各边缘计算设备的相似程度来构建,各边缘计算设备之间的相似性可采用任何一种相似性计算方式,包括但并不限制为余弦相似度、基于哈希的相似性计算方法。
示例性的,邻近无向图的构建过程包括:根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边;将同一簇内的各边缘计算设备的本地模型作为图顶点,根据各边缘计算设备对应的本地模型之间是否具有连接边,生成邻近无向图。其中,目标相似阈值为判断相似程度的一个标准,可根据实际情况灵活确定,本实施例对此不作任何限定。所谓的数值关系是指比较二者之间的数值大小,若目标相似阈值表示相似与不相似的最小临界值,若大于等于该目标相似阈值,则表明二者相似,若小于该目标相似阈值,则表明二者不相似。本实施例的邻近无向图是将相似的边缘设备之间建立连接边,所以当同一簇内的各边缘计算设备的本地模型参数之间的相似值大于等于目标相似阈值,则表明这两个边缘计算设备是相似的,二者存在连接边。当同一簇内的各边缘计算设备的本地模型参数之间的相似值小于目标相似阈值,则表明这两个边缘计算设备不相似的,二者不存在连接边。
可以理解的是,邻近无向图包括图顶点和连接边,上述实施例将每个上传的簇内本地计算设备模型都被视为邻近无向图中的一个顶点,本实施例还提供了一种简单的邻近无向图的连接边的确定方式:对同一簇内的每两个边缘计算设备,若第一边缘计算设备的本地模型参数和第二边缘计算设备的本地模型参数之间的余弦相似度大于或等于目标相似阈值,则第一边缘计算设备对应的本地模型和第二边缘计算设备对应的本地模型之间具有无向连接边。本实施例采用余弦相似度来度量两个边缘计算设备之间是否相似,进而来确定两个边缘计算设备之间的连接边。换言之,考虑到这类攻击通常是攻击者会创建多个伪造身份,并使用相似的模型更新以增强对全局模型的影响,如果两个更新在方向上过于相似,则在这两个顶点之间添加一条无向边。
考虑到随着迭代次数的增加,攻击者在不被检测的情况下发起隐蔽的女巫攻击变得越来越困难,为了提高邻近无向图的检测精度和效率,上述实施例的目标相似阈值可实时调整,用户既可以随机调整,也可通过构建线程自动调整,自动调整的过程可为:自动获取各边缘计算设备发送的本地模型参数对应的当前迭代次数;根据所述当前迭代次数更新当前存储的目标相似阈值,所述目标相似阈值随着迭代次数的增加而降低。作为一种高效的调整方式,可预先在本地存储阈值计算关系式,直接调用阈值计算关系式计算目标相似阈值。其中,阈值计算关系式可表示为:
Tre=max{c_max×e^(1−t/20),c_min};
其中,Tre为目标相似阈值,c_max为第一预设常数,c_min为第二预设常数,t为当前迭代次数,也即本簇的训练次数。
举例来说,若相似度采用余弦相似度来计算,则如果任意两个簇内模型满足以下性质:余弦相似度大于或等于一个目标相似阈值,那么就在这两个顶点之间添加一条无向边。阈值的计算公式如下:
cos(g_j,g_k)≥max{c_maxe^(1−t/20),c_min};
其中,cos()代表求余弦距离,g_j、g_k代表任意两个簇内模型表达成的向量形式。由此可见,随着迭代次数的增加,允许的余弦相似度(即目标相似阈值)将会逐渐降低。
为了提高具有类如女巫攻击这类攻击特征的目标边缘计算设备的确定效率,在完成所有模型的邻近无向图的构建后,考虑到本实施例所要检测的攻击的特点为这些更新的相似度过于接近,所以被视为是由同一攻击者控制的多个伪造身份发送的,也即图的最大连通子图中的顶点将被视为恶意的。相应的在邻近无向图中确定具有女巫攻击特征的目标边缘计算设备的过程包括:从邻近无向图中确定最大连通子图;将最大连通子图中的顶点对应的边缘计算设备作为目标边缘计算设备。
由上可知,本实施例将邻近无向图的最大连通子图中的顶点认为是女巫攻击设备,在本簇模型更新中不予更新,从而提高整个威胁检测模型的安全性能。
上述实施例给出了如何实现针对恶意攻击设备采用的攻击方式是创建多个身份的这类攻击的检测,如女巫攻击,而对于恶意的攻击设备与正常的边缘计算设备的更新不同的这类攻击检测方式,上述方法明显不适用于该类攻击的检测,本实施例还提供了针对该类攻击的检测方法,可包括下述内容:
根据同一簇内的各边缘计算设备的模型参数确定簇内的各边缘计算设备的动量向量特征,并对各动量向量特征进行聚类处理;基于同一簇内的非攻击边缘计算设备具有相似参数更新特性,根据聚类结果判断同一簇内的各边缘计算设备中是否存在非女巫攻击的边缘计算设备。
在本实施例中,考虑到正常的边缘计算设备也即不具有攻击的边缘计算设备的更新通常是相似的,而恶意的更新通常是与正常更新明显不同的,所以本实施例可以通过检测出与正常更新明显不同的更新,从而发现恶意攻击,举例来说,非Sybil(非女巫)攻击情况下,恶意更新明显不同于彼此,通过检测与大多数更新不同的更新便可认为是恶意的攻击设备的数据。为了提高攻击检测的精度,本实施例基于边缘计算设备的动量向量特征进行检测,建立类似于独立同分布的环境,能够减少不同迭代和边缘计算设备本身之间的更新差异,提高了检测的准确性。动量向量特征是指提取动量向量的特征,可采用任何为一种动量向量计算方法来计算,至于采用何种特征提取方法来提取动量向量的特征,本领域技术人员可根据实际情况进行灵活选择,这均不影响本发明的实现。聚类过程可采用任何一种聚类算法,本发明对此不作任何限定。
示例性的,基于上一次全局聚合所生成的全局模型聚合参数和当前迭代更新过程中的本地模型参数,分别计算同一簇内的各边缘计算设备的动量向量;提取各动量向量的特征,得到同一簇内的各边缘计算设备的动量向量特征。为了提高数据处理效率,可预先存储动量向量关系式,可直接调用动量向量关系式计算同一簇内的各边缘计算设备的动量向量。动量向量关系式可表述为:m_k_t0=g_k_t0–l_g;其中,m_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的动量向量,g_k_t0为第k个边缘计算设备在当前迭代更新过程中的第t0个时间步的本地模型参数,l_g为上一次全局聚合所生成的全局模型聚合参数。当计算得到各边缘计算设备在第t0个时间步的动量向量之后,在提取动量向量特征之前,为了防止攻击者上传巨大的更新来主导簇内全局更新,还可对同一簇内的各边缘计算设备的各动量向量进行归一化处理,使同一簇内的各边缘计算设备的动量向量长度为目标值,举例来说,可基于关系式m_k_t0=m_k_t0/||m_k_t0||对所有簇内边缘计算设备的动量向量进行了归一化,使其长度为1,然后在提取归一化处理后的各动量向量的特征,这样可以确保单个恶意更新对全局更新的影响有限。示例性的,为了提高数据处理效率,可采用主成分分析方法来提取每一个动量向量m_k_t0的关键特征。
示例性的,本实施例还提供了一种高效地聚类方式,开始时,将每个更新视为一个独立的聚类,然后迭代地将最相似的聚类合并在一起,直到达到某个终止条件。这样,可以将具有相似模式(即相似的更新)的边缘计算设备聚合在一起,形成较大的聚类。因为恶意的更新通常与正常的更新有很大的不同,所以它们通常会被分在较小的聚类中。本实施例可包括下述内容:为了提高攻击识别精度,可应用凝聚性聚类算法进行聚类,如使用K-means(k均值聚类算法)或者层次聚类(Agglomerative Clustering)等算法将所有边缘计算设备提取的关键特征划分为较大的聚类C_l和较小的聚类C_s,也即聚类结果包括第一类特征和第二类特征,第一类特征包含的动量向量特征总数大于第二类特征包含的动量向量特征总数;分别计算第一类特征和第二类特征包含的各动量向量特征对应的动量向量平均值,得到第一类特征对应的第一平均动量向量m_l和第二类特征对应的第二平均动量向量m_s,也即m_l=Mean({m_k_t0,k∈C_l}),m_s=Mean({m_k_t0,k∈C_s})。本实施例可采用余弦相似度来衡量各边缘计算设备的相似程度,以攻击为非女巫攻击为例,若第一平均动量向量和第二平均动量向量之间的余弦相似度大于第一预设相似阈值,则同一簇内的各边缘计算设备中不存在非女巫攻击的边缘计算设备;若第一平均动量向量和第二平均动量向量之间的余弦相似度小于等于第一预设相似阈值,则判定第二类特征所包含的动量向量特征对应的边缘计算设备均为非女巫攻击设备。第一预设相似阈值可根据实际情况进行灵活选择,这均不影响本发明的实现。也就是说,如果第一类特征和第二类特征的平均动量向量的余弦相似度大于第一预设相似阈值α,即cos(m_l,m_s)>α,那么所有的动量向量也即所有的边缘计算设备都将用于聚合;否则,只有较大的那个聚类中的动量向量也即第一类特征对应的边缘计算设备会被用于聚合。
由上可知,本实施例通过引入动量向量能够减少不同迭代和不同边缘计算设备之间的更新差异,能够有效提高攻击检测的准确性;利用主成分分析压缩特征空间,能提高处理效率;采用凝聚性聚类算法,可以识别出具有相似模式的恶意更新,从而更高效且高精度地实现对异常进行检测。此外,阈值判断和选择聚合的动量向量的方式能够在防止过度丢弃正常更新的同时,还能有效阻止恶意攻击者。最后,本实施例对动量向量的归一化处理,能保证单个恶意更新对全局更新的影响有限,从而提高了整体的安全性。由此可见,本实施例能够有效提高攻击检测精度和处理效率,防止过度丢弃正常更新以及提升安全性。
可以理解的是,对于联邦学习的过程,本发明通过本地模型更新、簇内聚合和全局聚合这三个步骤完成一次迭代更新,基于此,上述实施例的簇头在簇内聚合过程中完成对簇内是否存在攻击设备进行检测之后,对去除攻击设备对应的本地模型参数的剩余本地模型参数进行簇内参数聚合处理,得到簇内模型聚合参数;将簇内模型聚合参数发送至边缘云服务器,以使边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合,直至待训练模型收敛。
在本实施例中,当检测到簇内存在攻击设备,将攻击设备对应的边缘计算设备上传的模型参数去除,然后对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理,如果检测到簇内不存在攻击设备,则将当前上传的模型参数直接进行簇内参数聚合。为了便于描述,簇头对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理所得到的结果,可定义为簇内模型聚合参数。在学习到所有边缘计算设备的特征的同时兼顾模型训练效率,簇头会将经过预设簇内聚合次数后所得到的簇内模型聚合参数发送至边缘云服务器,边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合。预设簇内聚合次数可根据实际场景灵活选择,本发明对此不作任何限定。相比所有边缘计算设备将威胁检测模型发送给边缘云服务器来进行聚合,本实施例所提供的分簇聚合方法,不受限于边缘云服务器的带宽,大量模型参数数据的传输也不会影响联邦学习的模型更替的效率,可以实现高效的联邦学习。进一步的,因为联邦聚合后的模型是综合了所有联邦设备的数据特质的综合性模型,由于边缘设备所存储的数据集存在数据异构性等问题,简单的把众多模型进行聚合会导致联邦聚合后的模型在不同联邦计算设备中存在偏移误差,甚至会产生模型退化,本实施例所提供的先簇头聚合在由边缘云服务器进行聚合的方式,解决了数据异构和模型异构的问题,能够有效提高威胁检测模型的性能。
最后,基于上述本发明的技术方案,下面结合图3对本发明的技术方案涉及的一些可能的应用场景进行举例介绍,图3为本发明提供的一种攻击检测方法所适用的硬件组成框架示意图,可包括下述内容:
该硬件组成框架可以包括第一电子设备31和多个第二电子设备32,第一电子设备31为边缘云服务器,第二电子设备32包括多个路由器、多个防火墙、多个部署入侵检测系统的设备,第一电子设备31和各第二电子设备32之间通过网络33连接,构成基于云计算和边缘计算的网络安全检测系统。
在本实施例中,每个第二电子设备32使用其监测到的网络流量和网络活动数据训练本地的初始网络模型,示例性的,每个第二电子设备32采集具有网络威胁的网络流作为本地的训练数据;提取训练数据的数据样本的流量特征,将流量特征归一化后得到特征向量,再将特征向量排列后形成特征矩阵;采用10则交叉方法,将训练数据划分为训练集和验证集;将训练集的数据样本的特征矩阵输入神经网络进行训练,得到初始网络模型。第一电子设备31收集和分发公共网络安全数据集,以测试和验证第二电子设备32所训练的初始网络模型。
第一电子设备31根据各第二电子设备32的模型推理结果构建带权无向图,计算设备间的相似性,形成数据同性簇。根据通信效率和邻近性选择每个数据同性簇的簇头。每个第二电子设备32使用随机梯度下降算法等更新其本地模型,并计算梯度,应用层级扰动选择和梯度阈值控制方法,决定哪些模型参数需上传。第二电子设备32在簇内进行模型参数的广播和接收,计算邻域平均值以更新本地模型。簇头基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征检测簇内各第二电子设备32中是否存在攻击设备,示例性的,将同一簇内的各边缘计算设备的本地模型作为图顶点,根据簇内边缘计算设备的本地模型参数以及同一簇内的各边缘计算设备之间相似程度,可通过根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系来确定各边缘计算设备对应的本地模型之间连接边,从而生成邻近无向图;从邻近无向图中确定最大连通子图;将最大连通子图中的顶点对应的边缘计算设备作为具有攻击特征的目标边缘计算设备,最后将去除攻击设备的本地模型参数进行簇内聚合,形成簇内的综合模型。簇头将骨干网络模型参数上传至第一电子设备31。第一电子设备31执行全局聚合,更新全局模型并广播至所有第二电子设备32。第二电子设备32使用全局模型进行进一步的本地数据训练和优化。第一电子设备32定期获取测试结果,重新执行数据同性分簇和簇动态划分,以不断优化模型,持续迭代直至模型收敛:重复上述步骤,不断优化全局模型,直至达到预期的网络安全威胁检测性能。
需要注意的是,上述应用场景仅是为了便于理解本发明的思想和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
由上可知,本实施例能够有效提高联邦学习的安全性,有利于提升网络威胁检测精度,提升对恶意软件、网络攻击、数据泄露等威胁的检测能力。
本发明还针对攻击检测方法提供了相应的装置,进一步使得方法更具有实用性。其中,装置可从功能模块的角度和硬件的角度分别说明。下面对本发明提供的攻击检测装置进行介绍,该装置用以实现本发明提供的攻击检测方法,在本实施例中,攻击检测装置可以包括或被分割成一个或多个程序模块,该一个或多个程序模块被存储在存储介质中,并由一个或多个处理器所执行,已完成实施例一公开的攻击检测方法。本实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述攻击检测装置在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能,下文描述的攻击检测装置与上文描述的攻击检测方法可相互对应参照。
基于功能模块的角度,参见图4,图4为本实施例提供的攻击检测装置在一种具体实施方式下的结构图,应用于边缘计算设备的联邦学习过程中,该装置可包括:
模型参数获取模块401,获取属于同一个数据同性簇内的各边缘计算设备经过预设迭代次数更新后的本地模型参数;其中,数据同性簇为边缘云服务器基于各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备之间的有权无向图,并基于根据有权无向图对各边缘计算设备进行划分所得,数据同性簇包括簇头;
攻击检测模块402,用于基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备。
示例性的,在本实施例的一些实施方式中,上述攻击检测模块402还可用于:
根据簇内边缘计算设备的本地模型参数以及同一簇内的各边缘计算设备之间相似程度,生成邻近无向图;基于具有女巫攻击特征的边缘计算设备具有相似模型更新特征,在邻近无向图中确定具有女巫攻击特征的目标边缘计算设备。
作为上述实施例的一种示例性的实现方式,上述攻击检测模块402还可进一步用于:
根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边;
将同一簇内的各边缘计算设备的本地模型作为图顶点,根据各边缘计算设备对应的本地模型之间是否具有连接边,生成邻近无向图。
作为上述实施例的一种示例性的实现方式,上述攻击检测模块402还可进一步用于:
获取各边缘计算设备发送的本地模型参数对应的当前迭代次数;
根据当前迭代次数更新当前存储的目标相似阈值,目标相似阈值随着迭代次数的增加而降低。
作为上述实施例的另一种示例性的实现方式,上述攻击检测模块402还可进一步用于:
调用阈值计算关系式计算目标相似阈值;阈值计算关系式为:
Tre=max{c_max×e^(1−t/20),c_min};
其中,Tre为目标相似阈值,c_max为第一预设常数,c_min为第二预设常数,t为当前迭代次数。
作为上述实施例的另一种示例性的实现方式,上述攻击检测模块402还可进一步用于:
对同一簇内的每两个边缘计算设备,若第一边缘计算设备的本地模型参数和第二边缘计算设备的本地模型参数之间的余弦相似度大于或等于目标相似阈值,则第一边缘计算设备对应的本地模型和第二边缘计算设备对应的本地模型之间具有无向连接边。
作为上述实施例的另一种示例性的实现方式,上述攻击检测模块402还可进一步用于:
从邻近无向图中确定最大连通子图;
将最大连通子图中的顶点对应的边缘计算设备作为目标边缘计算设备。
示例性的,在本实施例的另一些实施方式中,上述装置还可保证多重聚合模块,用于对去除攻击设备对应的本地模型参数的剩余本地模型参数进行簇内参数聚合处理,得到簇内模型聚合参数;将簇内模型聚合参数发送至边缘云服务器,以使边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合,直至待训练模型收敛。
本实施例攻击检测装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本实施例可以解决相关技术中无法精准检测攻击导致用户数据无法得到保护的问题,能够有效检测恶意攻击设备,提升用户数据的安全性。
上文中提到的攻击检测装置是从功能模块的角度描述,进一步的,本发明还提供一种电子设备,是从硬件角度描述。图5为本发明实施例提供的电子设备在一种实施方式下的结构示意图。如图5所示,该电子设备包括存储器50,用于存储计算机程序;处理器51,用于执行计算机程序时实现如上述任一实施例提到的攻击检测方法的步骤。
其中,处理器51可以包括一个或多个处理核心,比如4核心处理器、8核心处理器,处理器51还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器51可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable GateArray,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器51也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器51可以集成有GPU(Graphics Processing Unit,图形处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器51还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器50可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器50还可包括高速随机存取存储器以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。存储器50在一些实施例中可以是电子设备的内部存储单元,例如服务器的硬盘。存储器50在另一些实施例中也可以是电子设备的外部存储设备,例如服务器上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器50还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器50不仅可以用于存储安装于电子设备的应用软件及各类数据,例如:执行攻击检测方法过程中的程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中,存储器50至少用于存储以下计算机程序501,其中,该计算机程序被处理器51加载并执行之后,能够实现前述任一实施例公开的攻击检测方法的相关步骤。另外,存储器50所存储的资源还可以包括操作系统502和数据503等,存储方式可以是短暂存储或者永久存储。其中,操作系统502可以包括Windows、Unix、Linux等。数据503可以包括但不限于攻击检测结果对应的数据等。
在一些实施例中,上述电子设备还可包括有显示屏52、输入输出接口53、通信接口54或者称为网络接口、电源55以及通信总线56。其中,显示屏52、输入输出接口53比如键盘(Keyboard)属于用户接口,示例性的用户接口还可以包括标准的有线接口、无线接口等。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口54示例性的可以包括有线接口和/或无线接口,如WI-FI接口、蓝牙接口等,通常用于在电子设备与其他电子设备之间建立通信连接。通信总线56可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解,图5中示出的结构并不构成对该电子设备的限定,可以包括比图示更多或更少的组件,例如还可包括实现各类功能的传感器57。
本实施例电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本实施例可以解决相关技术中无法精准检测攻击导致用户数据无法得到保护的问题,能够有效检测恶意攻击设备,提升用户数据的安全性。
可以理解的是,如果上述实施例中的攻击检测方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器(例如SD或DX存储器等)、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此,本发明还提供了一种可读存储介质,存储有计算机程序,计算机程序被处理器执行时如上任意一实施例攻击检测方法的步骤。
本发明还提供了一种攻击检测系统,请参见图6,可包括:
攻击检测系统可包括边缘云服务器61和多个边缘计算设备62;各边缘计算设备62在边缘云服务器61的协调下共同训练模型。其中,边缘云服务器61用于根据各边缘计算设备62的初始网络模型对目标数据集的推理结果生成各边缘计算设备62间的有权无向图,基于有权无向图对各边缘计算设备62进行划分得到多个数据同性簇,并为各数据同性簇选择簇头,同时将分簇信息发送至相应边缘计算设备。在本实施例中,边缘计算设备分为簇头和非簇头这两种类型,簇头用于实现如上述任一个实施例所记载的攻击检测方法的步骤;各非簇头的边缘计算设备,用于在基于本地训练样本对初始网络模型训练过程中,基于接收到的分簇信息将经过预设迭代次数更新后的模型参数发送至相应簇头。
本发明实施例攻击检测系统的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本实施例可以解决相关技术中无法精准检测攻击导致用户数据无法得到保护的问题,能够有效检测联邦学习过程中存在的恶意攻击设备,提升用户数据的安全性。
在本发明中,联邦学习下的初始网络模型的训练过程分为边缘计算设备的本地模型更新、簇头的簇内聚合和边缘云服务器的全局聚合这3个步骤,这些步骤的组合称为一个训练轮次,最终得到的能够执行与训练样本集对应的样本类型相匹配的下游任务的网络模型会经过多个训练轮次,如采用具有网络攻击的网络流数据样本训练得到能够检测网络攻击的网络攻击检测模型。本实施例对不同的数据分布和不同的任务场景下的模型更新,通过残差保留联邦学习来保留本簇数据的个性化模型信息,从而使各个簇,即各个数据分布的模型都能达到最优。
对于每一个训练轮次,边缘计算设备的本地模型更新包括多次迭代更新过程,簇内聚合包括多次簇内聚合,边缘计算设备每个预设迭代更新次数后将当前的本地模型参数发送至其所属簇头,簇头每经过预设簇内聚合次数后将当前的簇内模型聚合参数发送至边缘云服务器。边缘云服务器将接收到的各簇头的簇内模型聚合参数进行全局聚合,也即边缘云服务器用于接收各簇头发送的簇内模型聚合参数,对各簇内模型聚合参数进行全局聚合;簇内模型聚合参数为对去除攻击设备的本地模型参数的剩余簇内边缘计算设备的本地模型参数进行簇内参数聚合处理。为了便于描述,可将全局聚合结果定义为全局模型聚合参数。示例性的,边缘云服务器可以同步的方式执行全局聚合,并将最终所得到的全局模型聚合参数广播至所有的边缘计算设备。边缘云服务器在确定当前全局模型聚合参数对应的全局模型收敛时,表明当前协同训练模型的性能已达到最优,可将此时所得到的全局模型作为最终训练好的模型,直接用于执行下游任务,如网络攻击检测任务。
其中,对于本地模型更新过程,每个边缘计算设备可使用随机梯度下降算法更新本地的初始模型,第t轮训练中的第l次迭代更新中,初始网络模型经过第l次迭代更新后所得到的本地模型参数可表示为:
换言之,本实施例在基于本地训练样本对初始网络模型训练过程中,可直接调用本地模型参数更新关系式,对初始网络模型的模型参数进行更新;本地模型参数更新关系式为:
式中,L为样本损失函数,表示哈密顿算子,/>为第t轮训练中的第l次迭代更新后的本地模型参数,/>为第t轮训练中的第l次迭代更新前的本地模型参数,/>为第t轮训练中的第l次迭代更新过程中的学习率,/>为第t轮训练中的第l次迭代更新过程中的本地训练样本数据。
每个边缘计算设备基于自身的数据集训练本地的初始网络模型过程中,边缘计算设备处的数据分布的局部经验损失函数可为:
也即可调用本地损失函数关系式,按照预设训练参数从本地网络流训练样本数据集中读取相应数量的本地网络流样本数据,对初始网络模型进行训练;本地损失函数关系式可表示为:
式中,为第i个边缘计算设备的本地损失函数,/>为第i个边缘计算设备的本地模型参数,/>表示同一个集合内所有元素的个数和,/>为第i个边缘计算设备的本地网络流训练样本数据集,/>为参与当前迭代训练的本地网络流样本数据,L为样本损失函数。
上述实施例对簇头如何执行簇内参数聚合并不做任何限定,基于上述实施例,本实施例还给出簇内参数聚合的一种示例性的实施方式,可包括下述内容:
获取包含同一簇内的所有边缘计算设备的本地模型参数的本地模型参数信息,将攻击设备对应的本地模型参数从本地模型参数信息中删除,得到待聚合参数信息;获取上一次簇内参数聚合所得的旧簇内模型聚合参数;基于旧簇内模型聚合参数和待聚合参数信息,进行簇内参数聚合处理,得到当前簇内聚合操作对应的簇内模型聚合参数。
在本实施例中,本地模型参数信息包含同一簇内的所有边缘计算设备的本地模型参数,也即同一簇内的所有边缘计算设备的本地模型参数的总和定义为本地模型参数信息。旧簇内模型聚合参数是指上一次簇内参数聚合处理的结果。为了提高整个数据处理效率,可预先存储簇内参数聚合关系式,直接调用簇内参数聚合关系式对去除攻击设备模型参数的剩余模型参数进行簇内参数聚合处理,得到当前簇内聚合操作对应的簇内模型聚合参数;其中,簇内参数聚合关系式为:
式中,为第c个数据同性簇的簇头在t+1轮簇内聚合操作对应的簇内模型聚合参数,/>为第c个数据同性簇的簇头在t轮簇内聚合操作对应的簇内模型聚合参数,α为超参数,N 0为第c个数据同性簇内去除攻击设备之后所包含的边缘计算设备的数量,/>为去除攻击设备的第c个数据同性簇内的第n个边缘计算设备在第l次迭代更新过程中的本地模型参数。
上述实施例对边缘云服务器将各簇头经过预设簇聚合次数的簇内模型聚合参数进行全局聚合的过程并不做任何限定,基于上述实施例,本实施例接收C个簇头的本地模型参数,通过调用全局聚合关系式对各簇头发送的簇内模型聚合参数进行全局聚合;其中,全局聚合关系式为:
式中,为在t+1轮全局聚合操作对应的全局模型聚合参数,C为数据同性簇的总数,/>为第c个数据同性簇的簇头发送的簇内模型聚合参数,l为第c个数据同性簇的边缘计算设备的迭代次数。
本实施例的威胁检测模型的训练过程的目标是优化全局模型参数,以最小化与所有边缘计算设备关联的全局损失函数,全局损失函数可为:
其中,f(w)为全局损失函数,N为边缘计算设备的总数,n k 为第k个数据同性簇内所包含的边缘计算设备的数量,f i ()为第i个边缘计算设备的本地损失函数,为第i个边缘计算设备的本地模型参数。
由上可知,本实施例通过本地模型更新、簇头聚合和全局聚合对威胁检测模型进行训练,既可以利用到分布式设备上的数据进行模型训练,又可以保护每个参与者的数据隐私,有效提高最终训练得到的威胁检测模型的性能和安全性。
进一步,为了提高攻击检测精度,在本地模型进行更新过程中,还可获取相邻的边缘计算设备的特征进行学习,可包括下述内容:
获取属于同一数据同性簇、且具有连接关系的相邻边缘计算设备的本地模型参数;根据各相邻边缘计算设备的本地模型参数,更新初始网络模型的本地模型参数。
在本实施例中,边缘计算设备在每次更新完本地模型参数或者是多次更新完的本地模型参数后,基于分簇信息可以将其本地模型参数以广播的方式或者是其他方式发送到簇内与其相邻的边缘计算设备,并且同时从相邻的所有边缘计算设备中接收其相邻边缘计算设备的本地模型参数,例如可将相邻边缘计算设备的本地模型参数的平均值作为邻域平均值,来更新边缘计算设备的本地模型。当然,还可以其他方式来更新,比如先去除特别大或特别小的本地模型参数,取剩余的本地模型参数的平均值来更新。
由上可知,本实施例在簇内模型更新的过程中,每个边缘计算设备基于与其簇内相连的邻居边缘计算设备的本地模型参数进行模型参数聚合,可以加速模型收敛和使簇内同性设备分类更精准,使数据类型最为近似的设备之间模型聚合更新来获得更多的信息,提升威胁检测模型的威胁检测精度。
上述实施例对边缘云服务器如何基于推理结果将各边缘计算设备进行分簇的过程并没有进行限定,本实施例还提供了一种示例性的实施方式,可包括下述内容:
在本实施例中,根据各推理结果生成各边缘计算设备之间的有权无向图的过程可包括:可基于任何一种相似度计算方式来确定每两个边缘计算设备的推理结果之间的相似性;然后基于各边缘计算设备之间的相似程度,生成各边缘计算设备之间的有权无向图。有权无向图为连接边有权重但无方向的图,图的顶点可以为各边缘计算设备,也可为各边缘计算设备对应的本地初始网络模型,图的连接边根据图顶点之间的相似程度来确定,权重可设置为图顶点之间的相似值。示例性的,可以各边缘计算设备的推理结果的相似值作为有权无向图的权重值,根据各边缘计算设备的推理结果的相似值与第二预设相似阈值之间的数值关系确定有权无向图的连接边;根据每两个边缘计算设备之间是否具有连接边,且具有连接边的两个相邻边缘计算设备之间的权重值,生成有权无向图。第二预设相似阈值可根据实际应用场景灵活选择,本发明对此不作任何限定。
示例性的,边缘云服务器可利用向量相似计算方法,例如Jaccard(杰卡德)相似系数计算方法计算所有边缘计算设备的结果相似性,并进行近邻排序。Jaccard相似系数可用于计算集合之间的相似度,也可以用于计算二值向量的相似度。对于两个二值向量A和B,Jaccard相似系数的计算公式为:,其中,/>表示向量A和B的交集,/>表示向量A和B的并集。本实施例可先将边缘计算设备如A设备的推理结果转换为一个二值向量[1,0,0,0,…,1,1,1,0],B设备的推理结果转换为一个二值向量[0,1,1,0,…,1,1,1,0],使用Jaccard相似系数可以计算A设备和B设备的结果相似度。边缘云服务器遍历所有边缘计算设备的推理结果,计算所有边缘计算设备与其边缘计算设备的结果相似性,根据相似性的值,构建边缘计算设备与边缘计算设备之间的边。以第二预设相似阈值为P为例,当A设备和B设备的结果相似值大于P的时候,构建A设备和B设备之间的连接边,该条边的值即为其结果相似性的计算结果。当A设备和B设备的结果相似值小于P的时候,不进行两个设备之间的连接边的关系建立。边缘云服务器遍历所有边缘计算设备的结果,构建所有边缘计算设备之间的带权无向图,如图7所示:整个云边端环境包括6个边缘计算设备,分别命名为设备1、设备2、设备3、设备4、设备5和设备6,设备2分别与设备3和设备1相连,且设备2与设备3之间的连接边的权重为0.83,设备2与设备1之间的连接边的权重为0.94,设备4分别与设备3、设备5和设备6相连,且设备4与设备3之间的连接边的权重为0.91,设备4与设备5之间的连接边的权重为0.85,设备4与设备6之间的连接边的权重为0.80,设备3还与设备5和设备6相连,且设备5与设备3之间的连接边的权重为0.84,设备3与设备5之间的连接边的权重为0.72。
当上述实施例为各边缘计算设备构建了有权无向图之后,基于有权无向图将各边缘计算设备划分为多个数据同性簇的过程,可包括:
将各边缘计算设备进行初始化簇处理,并为各边缘计算设备赋予相应的簇标签;对各边缘计算设备,根据有权无向图确定当前边缘计算设备的相邻边缘计算设备,并根据至少一个相邻边缘计算设备的簇标签更新当前边缘计算设备的簇标签,直至各边缘计算设备的簇标签的变化情况满足预设收敛条件;将具有相同簇标签的边缘计算设备划分为同一个数据同性簇。也即根据每当进行一些标签的迭代更新,可确定当前迭代更新后的新簇标签和上一迭代更新后的老簇标签的变化信息;将当前迭代更新后的簇标签定义为新簇标签,将当前迭代的最近的上一个迭代更新后的簇标签定义为老簇标签,当该二者之间的变化信息满足预设收敛条件,则当前边缘计算设备的簇标签更新迭代终止。
在本实施例中,初始化簇处理是指对各边缘计算设备进行初始簇划分,可以按照预设的初始划分规则进行划分,如将每一个边缘计算设备作为一个单独的数据同性簇,还可将结果相似值最相似的两个边缘计算设备作为一个数据同性簇,初始划分规则可根据实际应用场景灵活选择,这均不影响本发明的实现。一种示例性的初始化簇方法为:可将各边缘计算设备作为独立的数据同性簇;获取预设初始分簇条件;基于该预设初始分簇条件对各边缘计算设备进行分簇,并为同一个簇的边缘计算设备设置相同的簇号,以作为簇标签。
其中,预设初始分簇条件可为:预先设置一分簇阈值,将相似值大于该分簇阈值的边缘计算设备划分为同一个簇,并为各边缘计算设备赋予相同的簇号,遍历所有边缘计算设备,完成初始化簇处理。有权无向图记载了各边缘计算设备之间是否存在连接边,相邻边缘计算设备为与当前边缘计算设备具有连接边的边缘计算设备,以图7为例,设备4的相邻边缘计算设备为设备3、设备5和设备6。其中,簇标签为标识一个数据同性簇的唯一标识信息,一种简单的方式为每个数据同性簇的簇号作为相应的簇标签。当为每个边缘计算设备赋予相应的簇标签之后,可基于簇标签进行标签传播迭代更新处理,完成簇划分过程。根据至少一个相邻边缘计算设备的簇标签更新当前边缘计算设备的簇标签的过程可包括:获取当前边缘计算设备的相邻边缘计算设备的簇标签,并统计各类簇标签的总数;将总数符合预设分簇条件的簇标签更新为当前边缘计算设备的簇标签。示例性的,每个边缘计算设备考虑其邻居边缘计算设备的簇标签的标签传播迭代过程为:遍历每个边缘计算设备,按照固定顺序或随机顺序进行迭代更新:对于当前边缘计算设备,获取其邻居边缘计算设备的簇标签,并统计邻居边缘计算设备中每个簇标签出现的次数,选择邻居边缘计算设备中出现次数最多的簇标签作为当前边缘计算设备的新标签。将当前边缘计算设备的簇标签更新为新的簇标签。其中,预设收敛条件可为簇标签不在发生变化,也可为簇标签的变化较小。在每次迭代后,检查簇标签的变化情况:例如可以通过比较当前迭代和前一迭代的簇标签来判断变化量。如果标签的变化量小于设定的阈值,即标签基本稳定不再变化,则认为达到预设收敛条件;如果簇标签仍在变化,则继续迭代标签传播步骤。如果达到预设收敛条件,即初标签不再发生显著变化,迭代终止。如果簇标签仍在变化,继续进行标签传播迭代。当达到预设收敛条件后,得到最终的标签传播结果。将具有相同簇标签的边缘计算设备划分到同一个数据同性簇中,每个数据同性簇即为具有相同簇标签的边缘计算设备集合。边缘云服务器将划分好的数据同性簇及簇内连接关系作为分簇信息发送给所有边缘计算设备,每个边缘计算设备会获得与数据同性的连接边缘设备号,将来会用该设备号与同簇邻居边缘计算设备进行初始网络模型的更新。
当上述实施例划分好数据同性簇后,如图8所示,整个云边端环境包括6个边缘计算设备,分别命名为设备1、设备2、设备3、设备4、设备5和设备6,设备2分别与设备3和设备1相连,且设备2与设备3之间的连接边的权重为0.83,设备2与设备1之间的连接边的权重为0.94,设备4分别与设备3、设备5和设备6相连,且设备4与设备3之间的连接边的权重为0.91,设备4与设备5之间的连接边的权重为0.85,设备4与设备6之间的连接边的权重为0.80,设备3还与设备5和设备6相连,且设备5与设备3之间的连接边的权重为0.84,设备3与设备5之间的连接边的权重为0.72。设备1、设备2属于同一个同性数据簇,其簇标签为标签A,设备3、设备4、设备5和设备6属于同一个数据同性簇,其簇标签为标签B。由于本发明采用的先本地模型更新再进行簇头的簇内聚合,最后通过边缘云服务器将各簇头的簇内模型聚合参数进行全局聚合,所以需要为每一个数据同性簇选择一簇头,簇头选择原则可根据实际应用场景灵活选择,示例性的,簇头选择原则可为通信效率或邻近性,可以减少通信距离和延迟,并提高通信效率。也即选择离其他边缘计算设备距离较近或与同性簇内其余边缘计算设备通信最快的边缘计算设备作为簇头。作为一种示例性簇头选择实现方式,对各数据同性簇,获取当前数据同性簇内的各边缘计算设备之间的簇内通信时间,及各边缘计算设备与边缘云服务器之间的簇外通信时间;基于预设通信效率要求,根据同一簇内的各边缘计算设备的簇内通信时间和簇外通信时间,为各数据同性簇选择对应的簇头。作为另一种示例性簇头选择实现方式,对各数据同性簇,获取当前数据同性簇内的各边缘计算设备之间的簇内节点距离,统计各边缘计算设备与簇内其他边缘计算设备的平均节点距离,也即对每一个数据同性簇,依次计算每两个边缘计算设备之间的实际距离,对每一个边缘计算设备,将其与同一簇内的其他所有的边缘计算设备的实际距离计算和并取平均值以作为平均节点距离,将平均节点距离最小的边缘计算设备作为簇头。这样边缘云服务器可通过与所有边缘计算设备进行数据交换的通信速率选择每个数据同性簇的簇头,并将簇头的边缘计算设备号发给每个簇的边缘计算设备。
由上可知,本实施例通过有权无向图将各边缘计算设备进行分簇,具有相同或相似性质的边缘计算设备划分为同一簇,对具有相同相似性质的簇内边缘计算设备进行攻击检测,能够提高攻击检测效率,进一步提高威胁检测模型的威胁检测准确度。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的一种攻击检测方法、装置、系统、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,基于本发明中的实施例,对于本技术领域的普通技术人员来说,在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明的保护范围内。

Claims (20)

1.一种攻击检测方法,其特征在于,应用于边缘计算设备的联邦学习过程中,包括:
获取属于同一个数据同性簇内的各边缘计算设备经过预设迭代次数更新后的本地模型参数;
基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备;
其中,所述数据同性簇为边缘云服务器基于各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备之间的有权无向图,并基于根据所述有权无向图对各边缘计算设备进行划分所得,所述数据同性簇包括簇头。
2.根据权利要求1所述的攻击检测方法,其特征在于,所述基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备,包括:
根据簇内边缘计算设备的本地模型参数以及同一簇内的各边缘计算设备之间相似程度,生成邻近无向图;
基于具有女巫攻击特征的边缘计算设备具有相似模型更新特征,在所述邻近无向图中确定具有女巫攻击特征的目标边缘计算设备。
3.根据权利要求2所述的攻击检测方法,其特征在于,所述根据簇内边缘计算设备的本地模型参数以及同一簇内的各边缘计算设备之间相似程度,生成邻近无向图,包括:
根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边;
将同一簇内的各边缘计算设备的本地模型作为图顶点,根据各边缘计算设备对应的本地模型之间是否具有连接边,生成邻近无向图。
4.根据权利要求3所述的攻击检测方法,其特征在于,所述根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边之前,还包括:
获取各边缘计算设备发送的本地模型参数对应的当前迭代次数;
根据所述当前迭代次数更新当前存储的目标相似阈值,所述目标相似阈值随着迭代次数的增加而降低。
5.根据权利要求3所述的攻击检测方法,其特征在于,所述根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边之前,还包括:
调用阈值计算关系式计算目标相似阈值;所述阈值计算关系式为:
Tre=max{c_max×e^(1−t/20),c_min};
其中,Tre为目标相似阈值,c_max为第一预设常数,c_min为第二预设常数,t为当前迭代次数。
6.根据权利要求3所述的攻击检测方法,其特征在于,所述根据同一簇内的各边缘计算设备的本地模型参数之间的相似值与目标相似阈值之间的数值关系,确定各边缘计算设备对应的本地模型之间连接边,包括:
对同一簇内的每两个边缘计算设备,若第一边缘计算设备的本地模型参数和第二边缘计算设备的本地模型参数之间的余弦相似度大于或等于目标相似阈值,则第一边缘计算设备对应的本地模型和第二边缘计算设备对应的本地模型之间具有无向连接边。
7.根据权利要求2所述的攻击检测方法,其特征在于,所述基于具有女巫攻击特征的边缘计算设备具有相似模型更新特征,在所述邻近无向图中确定具有女巫攻击特征的目标边缘计算设备,包括:
从所述邻近无向图中确定最大连通子图;
将所述最大连通子图中的顶点对应的边缘计算设备作为目标边缘计算设备。
8.根据权利要求1至7任意一项所述的攻击检测方法,其特征在于,所述根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备之后,还包括:
对去除攻击设备对应的本地模型参数的剩余本地模型参数进行簇内参数聚合处理,得到簇内模型聚合参数;
将簇内模型聚合参数发送至边缘云服务器,以使所述边缘云服务器对各簇头的簇内模型聚合参数进行全局聚合,直至待训练模型收敛。
9.一种攻击检测装置,其特征在于,应用于边缘计算设备的联邦学习过程中,包括:
模型参数获取模块,获取属于同一个数据同性簇内的各边缘计算设备经过预设迭代次数更新后的本地模型参数;其中,所述数据同性簇为边缘云服务器基于各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备之间的有权无向图,并基于根据所述有权无向图对各边缘计算设备进行划分所得,所述数据同性簇包括簇头;
攻击检测模块,用于基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备。
10.一种电子设备,其特征在于,包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至8任一项所述攻击检测方法的步骤。
11.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述攻击检测方法的步骤。
12.一种攻击检测系统,其特征在于,包括边缘云服务器和多个边缘计算设备;各边缘计算设备在所述边缘云服务器的协调下共同训练模型;
其中,所述边缘云服务器,用于根据各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备间的有权无向图,基于所述有权无向图对各边缘计算设备进行划分得到多个数据同性簇,并为各数据同性簇选择簇头,同时将分簇信息发送至相应边缘计算设备;
所述簇头,用于实现如权利要求1至8任一项所述攻击检测方法的步骤;
各非簇头的边缘计算设备,用于在基于本地训练样本对所述初始网络模型训练过程中,基于接收到的分簇信息将经过预设迭代次数更新后的模型参数发送至相应簇头。
13.根据权利要求12所述的攻击检测系统,其特征在于,所述在基于本地训练样本对所述初始网络模型训练过程中,包括:
调用本地模型参数更新关系式,对所述初始网络模型的模型参数进行更新;所述本地模型参数更新关系式为:
式中,L为样本损失函数,表示哈密顿算子,/>为第t轮训练中的第l次迭代更新后的本地模型参数,/>为第t轮训练中的第l次迭代更新前的本地模型参数,/>为第t轮训练中的第l次迭代更新过程中的学习率,/>为第t轮训练中的第l次迭代更新过程中的本地训练样本数据。
14.根据权利要求12所述的攻击检测系统,其特征在于,所述边缘云服务器,用于接收各簇头发送的簇内模型聚合参数,对各簇内模型聚合参数进行全局聚合;
其中,所述簇内模型聚合参数为对去除攻击设备的本地模型参数的剩余簇内边缘计算设备的本地模型参数进行簇内参数聚合处理。
15.根据权利要求12所述的攻击检测系统,其特征在于,所述根据各边缘计算设备的初始网络模型对目标数据集的推理结果生成各边缘计算设备间的有权无向图,包括:
以各边缘计算设备的推理结果的相似值作为有权无向图的权重值,根据各边缘计算设备的推理结果的相似值与预设相似阈值之间的数值关系确定有权无向图的连接边;
根据每两个边缘计算设备之间是否具有连接边,且具有连接边的两个相邻边缘计算设备之间的权重值,生成有权无向图。
16.根据权利要求12所述的攻击检测系统,其特征在于,所述为各数据同性簇选择簇头,包括:
对各数据同性簇,获取当前数据同性簇内的各边缘计算设备之间的簇内节点距离;
统计各边缘计算设备与簇内其他边缘计算设备的平均节点距离;
将平均节点距离最小的边缘计算设备作为簇头。
17.根据权利要求12所述的攻击检测系统,其特征在于,所述基于所述有权无向图对各边缘计算设备进行划分得到多个数据同性簇,包括:
将各边缘计算设备进行初始化簇处理,并为各边缘计算设备赋予相应的簇标签;
对各边缘计算设备,根据所述有权无向图确定当前边缘计算设备的相邻边缘计算设备,并根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签,直至各边缘计算设备的簇标签的变化情况满足预设收敛条件;
将具有相同簇标签的边缘计算设备划分为同一个数据同性簇;
其中,所述相邻边缘计算设备为与所述当前边缘计算设备具有连接边的边缘计算设备。
18.根据权利要求17所述的攻击检测系统,其特征在于,所述根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签,包括:
获取所述当前边缘计算设备的相邻边缘计算设备的簇标签,并统计各类簇标签的总数;
将总数符合预设分簇条件的簇标签更新为所述当前边缘计算设备的簇标签。
19.根据权利要求17所述的攻击检测系统,其特征在于,所述将各边缘计算设备进行初始化簇处理,包括:
将各边缘计算设备作为独立的数据同性簇;
获取预设初始分簇条件;
基于所述预设初始分簇条件对各边缘计算设备进行分簇,并为同一个簇的边缘计算设备设置相同的簇号,以作为簇标签。
20.根据权利要求17所述的攻击检测系统,其特征在于,所述根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签,直至各边缘计算设备的簇标签的变化情况满足预设收敛条件,包括:
根据至少一个相邻边缘计算设备的簇标签更新所述当前边缘计算设备的簇标签,并确定当前迭代更新后的新簇标签和上一迭代更新后的老簇标签的变化信息;
当所述变化信息满足预设收敛条件,则所述当前边缘计算设备的簇标签更新迭代终止。
CN202410230015.0A 2024-02-29 2024-02-29 攻击检测方法、装置、系统、电子设备及可读存储介质 Active CN117834297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410230015.0A CN117834297B (zh) 2024-02-29 2024-02-29 攻击检测方法、装置、系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410230015.0A CN117834297B (zh) 2024-02-29 2024-02-29 攻击检测方法、装置、系统、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN117834297A true CN117834297A (zh) 2024-04-05
CN117834297B CN117834297B (zh) 2024-05-28

Family

ID=90515781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410230015.0A Active CN117834297B (zh) 2024-02-29 2024-02-29 攻击检测方法、装置、系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN117834297B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1832751A1 (en) * 2004-12-28 2007-09-12 Zigang Jiang Kneading and displacing method and mechanism for fluid machinery and the use
CN108550084A (zh) * 2018-03-21 2018-09-18 广东电网有限责任公司佛山供电局 一种基于历史电费信息评估配变降损潜力的方法
CN111969605A (zh) * 2020-08-18 2020-11-20 广东电网有限责任公司 一种配电线路节能降损系统及方法
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法
CN112770291A (zh) * 2021-01-14 2021-05-07 华东师范大学 基于联邦学习和信任评估的分布式入侵检测方法及系统
WO2021208721A1 (zh) * 2020-11-23 2021-10-21 平安科技(深圳)有限公司 联邦学习防御方法、装置、电子设备及存储介质
CN116233954A (zh) * 2022-12-08 2023-06-06 北京邮电大学 基于联邦学习系统的分簇数据共享方法、装置及存储介质
EP4195131A1 (en) * 2021-12-08 2023-06-14 Tata Consultancy Services Limited Method and system for federated learning based identification of non-malicious classification models
CN116579417A (zh) * 2023-05-10 2023-08-11 之江实验室 边缘计算网络中的分层个性化联邦学习方法、装置及介质
US20230308465A1 (en) * 2023-04-12 2023-09-28 Roobaea Alroobaea System and method for dnn-based cyber-security using federated learning-based generative adversarial network
WO2023197300A1 (en) * 2022-04-15 2023-10-19 Huawei Technologies Co., Ltd. Apparatus and methods for multi-stage machine learning with cascaded models
CN117171786A (zh) * 2023-08-21 2023-12-05 国网安徽省电力有限公司信息通信分公司 一种抵御投毒攻击的去中心化联邦学习方法
CN117272306A (zh) * 2023-11-23 2023-12-22 太原理工大学 基于交替最小化的联邦学习半目标投毒攻击方法及系统
CN117424754A (zh) * 2023-12-15 2024-01-19 合肥工业大学 针对集群联邦学习攻击的防御方法、终端及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1832751A1 (en) * 2004-12-28 2007-09-12 Zigang Jiang Kneading and displacing method and mechanism for fluid machinery and the use
CN108550084A (zh) * 2018-03-21 2018-09-18 广东电网有限责任公司佛山供电局 一种基于历史电费信息评估配变降损潜力的方法
CN111969605A (zh) * 2020-08-18 2020-11-20 广东电网有限责任公司 一种配电线路节能降损系统及方法
WO2021208721A1 (zh) * 2020-11-23 2021-10-21 平安科技(深圳)有限公司 联邦学习防御方法、装置、电子设备及存储介质
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法
CN112770291A (zh) * 2021-01-14 2021-05-07 华东师范大学 基于联邦学习和信任评估的分布式入侵检测方法及系统
EP4195131A1 (en) * 2021-12-08 2023-06-14 Tata Consultancy Services Limited Method and system for federated learning based identification of non-malicious classification models
WO2023197300A1 (en) * 2022-04-15 2023-10-19 Huawei Technologies Co., Ltd. Apparatus and methods for multi-stage machine learning with cascaded models
CN116233954A (zh) * 2022-12-08 2023-06-06 北京邮电大学 基于联邦学习系统的分簇数据共享方法、装置及存储介质
US20230308465A1 (en) * 2023-04-12 2023-09-28 Roobaea Alroobaea System and method for dnn-based cyber-security using federated learning-based generative adversarial network
CN116579417A (zh) * 2023-05-10 2023-08-11 之江实验室 边缘计算网络中的分层个性化联邦学习方法、装置及介质
CN117171786A (zh) * 2023-08-21 2023-12-05 国网安徽省电力有限公司信息通信分公司 一种抵御投毒攻击的去中心化联邦学习方法
CN117272306A (zh) * 2023-11-23 2023-12-22 太原理工大学 基于交替最小化的联邦学习半目标投毒攻击方法及系统
CN117424754A (zh) * 2023-12-15 2024-01-19 合肥工业大学 针对集群联邦学习攻击的防御方法、终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Z. LI; S. PENG; HUAWEI TECHNOLOGIES;M. NEGI; RTBRICK INDIA; Q. ZHAO;ETHERIC NETWORKS; C. ZHOU; CISCO SYSTEMS;: "PCEP Procedures and Protocol Extensions for Using PCE as a Central Controller (PCECC) of SR-LSPs draft-zhao-pce-pcep-extension-pce-controller-sr-07", IETF, 13 July 2020 (2020-07-13) *
孙子文;梁广玮;白勇;纪志成;: "无线传感器网络分级入侵检测模型", 信息与控制, no. 06, 15 December 2013 (2013-12-15) *

Also Published As

Publication number Publication date
CN117834297B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
Liu et al. An intrusion detection method for internet of things based on suppressed fuzzy clustering
Liu et al. An intrusion detection model with hierarchical attention mechanism
Kumar et al. Synthetic attack data generation model applying generative adversarial network for intrusion detection
US10580272B1 (en) Techniques to provide and process video data of automatic teller machine video streams to perform suspicious activity detection
CN106709345A (zh) 基于深度学习方法推断恶意代码规则的方法、系统及设备
CN112804196A (zh) 日志数据的处理方法及装置
CN117811845B (zh) 威胁检测及模型训练方法、装置、系统、电子设备、介质
CN107368856A (zh) 恶意软件的聚类方法及装置、计算机装置及可读存储介质
CN112884204B (zh) 网络安全风险事件预测方法及装置
CN110855648A (zh) 一种网络攻击的预警控制方法及装置
CN108769001A (zh) 基于网络行为特征聚类分析的恶意代码检测方法
Liu et al. A collaborative deep learning microservice for backdoor defenses in Industrial IoT networks
Wang et al. Fcnn: An efficient intrusion detection method based on raw network traffic
Li et al. Security threat model under internet of things using deep learning and edge analysis of cyberspace governance
Djenouri et al. Interpretable intrusion detection for next generation of Internet of Things
Zhu et al. Application of data mining technology in detecting network intrusion and security maintenance
CN115115369A (zh) 数据处理方法、装置、设备及存储介质
CN116151965B (zh) 一种风险特征提取方法、装置、电子设备及存储介质
CN112308093A (zh) 基于图像识别的空气质量感知方法、模型训练方法及系统
CN117834297B (zh) 攻击检测方法、装置、系统、电子设备及可读存储介质
CN109871711B (zh) 海洋大数据共享分发风险控制模型及方法
Al-Janabi et al. A systematic analysis of random forest based social media spam classification
CN114596612A (zh) 人脸识别模型的配置方法、识别系统、计算机设备及介质
Hurst et al. Protecting critical infrastructures through behavioural observation
Xie et al. Research and application of intrusion detection method based on hierarchical features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant