CN116055335B - 基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备 - Google Patents
基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备 Download PDFInfo
- Publication number
- CN116055335B CN116055335B CN202211652159.2A CN202211652159A CN116055335B CN 116055335 B CN116055335 B CN 116055335B CN 202211652159 A CN202211652159 A CN 202211652159A CN 116055335 B CN116055335 B CN 116055335B
- Authority
- CN
- China
- Prior art keywords
- task
- federal
- training
- intrusion detection
- vehicles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 163
- 238000001514 detection method Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008447 perception Effects 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 230000008901 benefit Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000006855 networking Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000013140 knowledge distillation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法、装置、设备及介质,包括:服务请求者u将联邦训练任务分解为第一任务w1、第二任务w2和第三任务w3,针对每个服务提供候选者,获取服务提供候选者对于任务wi(i=1,2,3)的备选策略和备选策略对应的QoS属性,并根据备选策略和备选策略对应的QoS属性,基于QoS感知的方式,克服非动态同分布数据影响,从服务提供候选者中选取目标服务提供者,从而与目标服务提供者签署分布式联邦协作建模协议,进而基于分布式联邦协作建模协议执行联邦训练任务,得到联邦训练的车联网入侵检测模型。采用本发明提高使用非动态同分布数据进行分布式联邦训练时得到的模型检测的精准程度。
Description
技术领域
本发明涉及车联网安全检测领域,尤其涉及一种基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备。
背景技术
传统的互联网数据安全相比,车联网数据安全与人民的生命财产安全关系更密切、更直接,它带来的风险涉及包含个人层面的隐私信息和财产安全、社会层面的交通和道路运输安全甚至国家层面的涉密单位和国防安全。确保车联网的数据安全不仅是保护个人隐私的需要,也是维护社会和国家安全的需要。鉴于敏感数据安全与隐私保护的必要性,IDS的构建大多基于车联网的区域子网内部数据,无法有效检测来自跨区域车辆的恶意攻击,因此迫切需要设计一种有效的分布式入侵检测技术来检测整个车联网所有的异常网络行为。然而,车联网数据在不同地域间呈现显著的非独立同分布(Non-IID)特征,现有联邦协作式入侵检测技术大多基于训练测试数据独立同分布的假设导致对来自车联网各方异质异构数据应对无能。
由于车联网的自组织、分布式、动态拓扑等特性,子网分布多呈现地域性特征。不同地域内局部数据集的分布与全局分布有很大的不同,各方局部目标与全局最优解往往不一致。换言之,在局部训练阶段,子网模型会向局部最优解逼近,而局部最优解可能远离全局最优解,因此协作聚合模型无法收敛于全局最优解,特别是当局部更新较大时,最终导致训练后的全局模型的检测精度比远不如独立同分布数据假设下的全局模型。如何克服子网间Non-IID标签和特征偏斜导致的聚合模型性能衰减,是实现车联网全局入侵检测的关键问题。
发明内容
本发明实施例提供一种基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法、装置、计算机设备和存储介质,以提高车联网入侵检测模型的检测精准性和隐私数据的安全性。
为了解决上述技术问题,本申请实施例提供一种基于联邦学习的车联网入侵检测模型训练方法,所述车联网入侵检测模型为生成对抗网络网络,所述车联网入侵检测模型包括生成器、判别器和分类器,所述方法包括:
服务请求者u将联邦训练任务分解为第一任务w1、第二任务w2和第三任务w3,其中,所述第一任务w1为服务请求者u中生成器G的全局训练任务,所述第二任务w2为服务请求者u中判别器D的全局训练任务,第三任务w3为服务请求者u中分类器C的全局训练任务;
针对每个服务提供候选者,获取所述服务提供候选者对于任务wi的备选策略和所述备选策略对应的QoS属性,其中,i=1,2,3;
基于QoS感知的方式,根据所述备选策略和所述备选策略对应的QoS属性,从所述服务提供候选者选取目标服务提供者,并与所述目标服务提供者签署分布式联邦协作建模协议;
基于所述分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型。
可选地,所述基于QoS感知的方式,根据所述备选策略和所述备选策略对应的QoS属性,从所述服务提供候选者选取目标服务提供者,包括:
获取服务提供候选者vk对于任务wi的若干备选策略{pj}j和备选策略{pj}j对应的QoS属性QoS qk,i={qk,i,j}j,并且,其中,vk为第k个服务提供候选者,h为第h个QoS属性,H为QoS属性的总数量;
针对任务wi,所述服务请求者u预期的QoS为对应的最高预算为cu,i,则符合条件的QoS为/>投标价格为{ck,i,j}k,j,选取符合条件的QoS对应的服务提供候选者,作为所述目标服务提供者。
可选地,与所述目标服务提供者签署分布式联邦协作建模协议包括:
对所述目标服务提供者的每个QoS属性进行加权和归一化,得到QoS属性对应的单个数值,作为参考数值;
基于所述参考数值和预设效益函数,对达成任务wi的效益进行计算,确定联邦训练协作策略;
基于所述联邦训练协作策略,生成分布式联邦协作建模协议,并与所述目标服务提供者签署所述分布式联邦协作建模协议。
可选地,所述基于所述分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型包括:
服务请求者u通过生成器生成样本训练集;
按照所述分布式联邦协作建模协议分发到每个所述目标服务提供者进行第一任务w1的联邦训练,并接收每个所述目标服务提供者判别器对所述样本训练集的反馈结果;
基于所述反馈结果判断是否达到预期训练目标;
若达到,则并行执行所述第二任务w2的联邦训练任务和所述第三任务w3的联邦训练任务,若未达到预期训练目标,则返回所述服务请求者u通过生成器生成样本训练集的步骤继续执行;
在所述第二任务w2的联邦训练任务和所述第三任务w3的联邦训练任务完成后,得到所述分布式联邦训练的车联网入侵检测模型。
可选地,所述服务请求者u和每个所述目标服务提供者进行联邦训练过程中,采用局部差分隐私计算的方式对模型进行保护,并执行交换机制互相交换判别器和分类器的权值参数作用于本地的知识蒸馏。
为了解决上述技术问题,本申请实施例提供一种基于联邦学习的车联网入侵检测方法,包括:
接收实时的交通数据集;
将所述实时的交通数据集输入到分布式联邦训练的车联网入侵检测模型中,所述分布式联邦训练的车联网入侵检测模型根据根据权利要求1至5任一项的方法训练得到;
采用所述分布式联邦训练的车联网入侵检测模型对所述实时的交通数据集进行识别分类,得到分类结果;
基于所述分类结果,确定入侵检测结果。
为了解决上述技术问题,本申请实施例还提供一种基于联邦学习的车联网入侵检测模型训练装置,包括:
任务分解模块,用于服务请求者u将联邦训练任务分解为第一任务w1、第二任务w2和第三任务w3,其中,所述第一任务w1为服务请求者u中生成器G的全局训练任务,所述第二任务w2为服务请求者u中判别器D的全局训练任务,第三任务w3为服务请求者u中分类器C的全局训练任务;
属性获取模块,用于针对每个服务提供候选者,获取所述服务提供候选者对于任务wi的备选策略和所述备选策略对应的QoS属性,其中,i=1,2,3;
服务提供者选取模块,用于基于QoS感知的方式,根据所述备选策略和所述备选策略对应的QoS属性,从所述服务提供候选者选取目标服务提供者,并与所述目标服务提供者签署分布式联邦协作建模协议;
模型训练模块,用于基于所述分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型。
可选地,所述目标服务提供者选取模块包括:
信息获取单元,用于获取服务提供候选者vk对于任务wi的若干备选策略{pj}j和备选策略{pj}j对应的QoS属性QoS qk,i={qk,i,j}j,并且,其中,vk为第k个服务提供候选者,h为第h个QoS属性,H为QoS属性的总数量;
服务提供者选取单元,用于针对任务wi,所述服务请求者u预期的QoS为对应的最高预算为cu,i,则符合条件的QoS为投标价格为{ck,i,j}k,j,选取符合条件的QoS对应的服务提供候选者,作为所述目标服务提供者。
可选地,所述目标服务提供者选取模块还包括:
属性数值化单元,用于对所述目标服务提供者的每个QoS属性进行加权和归一化,得到QoS属性对应的单个数值,作为参考数值;
策略确定单元,用于基于所述参考数值和预设效益函数,对达成任务wi的效益进行计算,确定联邦训练协作策略;
协议生成单元,用于基于所述联邦训练协作策略,生成分布式联邦协作建模协议,并与所述目标服务提供者签署所述分布式联邦协作建模协议。
可选地,所述模型训练模块包括:
样本生成单元,用于服务请求者u通过生成器生成样本训练集;
第一任务训练单元,用于按照所述分布式联邦协作建模协议分发到每个所述目标服务提供者进行第一任务w1的联邦训练,并接收每个所述目标服务提供者判别器对所述样本训练集的反馈结果;
判断单元,用于基于所述反馈结果判断是否达到预期训练目标;
并行训练单元,用于若达到,则并行执行所述第二任务w2的联邦训练任务和所述第三任务w3的联邦训练任务,若未达到预期训练目标,则返回所述服务请求者u通过生成器生成样本训练集的步骤继续执行;
模型确定单元,用于在所述第二任务w2的联邦训练任务和所述第三任务w3的联邦训练任务完成后,得到所述分布式联邦训练的车联网入侵检测模型。
为了解决上述技术问题,本申请实施例还提供一种基于联邦学习的车联网入侵检测装置,包括:
数据采集模块,用于接收实时的交通数据集;
数据输入模块,用于将所述实时的交通数据集输入到分布式联邦训练的车联网入侵检测模型中;
识别分类模块,用于采用所述分布式联邦训练的车联网入侵检测模型对所述实时的交通数据集进行识别分类,得到分类结果;
结果确定模块,用于基于所述分类结果,确定入侵检测结果。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于联邦学习的车联网入侵检测模型训练方法的步骤,或者,所述处理器执行所述计算机程序时实现上述基于联邦学习的车联网入侵检测方法的步骤。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于联邦学习的车联网入侵检测模型训练方法的步骤,或者,所述计算机程序被处理器执行时实现上述基于联邦学习的车联网入侵检测方法的步骤。
本发明实施例提供的基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法、装置、计算机设备及存储介质,服务请求者u将联邦训练任务分解为第一任务w1、第二任务w2和第三任务w3,其中,第一任务w1为服务请求者u中生成器G的全局训练任务,第二任务w2为服务请求者u中判别器D的全局训练任务,第三任务w3为服务请求者u中分类器C的全局训练任务;针对每个服务提供候选者,获取服务提供候选者对于任务wi的备选策略和备选策略对应的QoS属性,其中,i=1,2,3,基于QoS感知的方式,根据备选策略和备选策略对应的QoS属性,从服务提供候选者选取目标服务提供者,并与目标服务提供者签署分布式联邦协作建模协议,基于分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型。提高采用非同态分布数据进行联邦训练时得到的模型检测的精准程度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图;
图2是本申请的基于联邦学习的车联网入侵检测模型训练方法的一个实施例的流程图;
图3是本申请的基于联邦学习的车联网入侵检测方法的一个实施例的流程图;
图4是根据本申请的基于联邦学习的车联网入侵检测模型训练装置的一个实施例的结构示意图;
图5是根据本申请的基于联邦学习的车联网入侵检测装置的一个实施例的结构示意图;
图6是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的基于联邦学习的车联网入侵检测模型训练方法由服务器执行,相应地,基于联邦学习的车联网入侵检测模型训练装置设置于服务器中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器,本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
请参阅图2,图2示出本发明实施例提供的一种基于联邦学习的车联网入侵检测模型训练方法,车联网入侵检测模型为生成对抗网络网络,车联网入侵检测模型包括生成器、判别器和分类器,以该方法应用在图1中的服务端为例进行说明,详述如下:
S201:服务请求者u将联邦训练任务分解为第一任务w1、第二任务w2和第三任务w3,其中,第一任务w1为服务请求者u中生成器G的全局训练任务,第二任务w2为服务请求者u中判别器D的全局训练任务,第三任务w3为服务请求者u中分类器C的全局训练任务。
S202:针对每个服务提供候选者,获取服务提供候选者对于任务wi的备选策略和备选策略对应的QoS属性,其中,i=1,2,3。
S203:基于QoS感知的方式,根据备选策略和备选策略对应的QoS属性,从服务提供候选者选取目标服务提供者,并与目标服务提供者签署分布式联邦协作建模协议。
在一具体可选实施方式中,基于QoS感知的方式,根据备选策略和备选策略对应的QoS属性,从服务提供候选者选取目标服务提供者,包括:
获取服务提供候选者vk对于任务wi的若干备选策略{pj}j和备选策略{pj}j对应的QoS属性QoS qk,i={qk,i,j}j,并且,其中,vk为第k个服务提供候选者,h为第h个QoS属性,H为QoS属性的总数量;
针对任务wi,服务请求者u预期的QoS为对应的最高预算为cu,i,则符合条件的QoS为/>投标价格为{ck,i,j}k,j,选取符合条件的QoS对应的服务提供候选者,作为目标服务提供者。
在本实施例的另一具体可选实施方式中,与目标服务提供者签署分布式联邦协作建模协议包括:
对目标服务提供者的每个QoS属性进行加权和归一化,得到QoS属性对应的单个数值,作为参考数值;
基于参考数值和预设效益函数,对达成任务wi的效益进行计算,确定联邦训练协作策略;
基于联邦训练协作策略,生成分布式联邦协作建模协议,并与目标服务提供者签署分布式联邦协作建模协议。
S204:基于分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型。
在一具体可选实施方式中,基于分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型包括:
服务请求者u通过生成器生成样本训练集;
按照分布式联邦协作建模协议分发到每个目标服务提供者进行第一任务w1的联邦训练,并接收每个目标服务提供者判别器对样本训练集的反馈结果;
基于反馈结果判断是否达到预期训练目标;
若达到,则并行执行第二任务w2的联邦训练任务和第三任务w3的联邦训练任务,若未达到预期训练目标,则返回服务请求者u通过生成器生成样本训练集的步骤继续执行;
在第二任务w2的联邦训练任务和第三任务w3的联邦训练任务完成后,得到分布式联邦训练的车联网入侵检测模型。
进一步地,本实施例中在联邦训练之前,每个子网都会利用其本地数据集进行局部差分隐私训练入侵检测模型,完成本地模型训练后,任一面协作的车联网入侵检测模型,都可以通过与多个对等第三方(即服务提供者)协商驱动联邦训练过程。联邦训练过程通过入侵检测模型间的去中心化知识蒸馏实现,去中心化知识蒸馏将暗知识从服务提供者模型转移到服务器请求者模型,以便在无需共享统一模板模型的前提下,完成多模型间建模或联邦训练。
优选地,服务请求者u和每个目标服务提供者进行联邦训练过程中,采用局部差分隐私计算的方式对模型进行保护,并执行交换机制互相交换判别器和分类器的权值参数作用于本地的知识蒸馏。
具体地,本实施例在每m次联邦训练迭代后,所有联邦训练的参与者之间会执行交换机制相互交换判别器和分类器的权值参数用作本地的知识蒸馏,防止由于本地数据集的过度使用出现的模型过拟合问题。由于在训练过程中,采用局部差分隐私对模型进行保护,因此无需担心模型交换时出现的信息泄漏。在去中心化知识蒸馏将暗知识从其他联邦训练参与者模型转移到本地模型的过程中,判别器ω和分类器θ的损失函数的计算如下式所示:
其中和DKL是交叉熵损失和Kullback-Leibler(KL)散度,pω/θ和pωn/θn服务请求者u和提供者vn各自判别器和分类器的预测概率。
本实施例中,服务请求者u将联邦训练任务分解为第一任务w1、第二任务w2和第三任务w3,其中,第一任务w1为服务请求者u中生成器G的全局训练任务,第二任务w2为服务请求者u中判别器D的全局训练任务,第三任务w3为服务请求者u中分类器C的全局训练任务;针对每个服务提供候选者,获取服务提供候选者对于任务wi的备选策略和备选策略对应的QoS属性,其中,i=1,2,3,基于QoS感知的方式,根据备选策略和备选策略对应的QoS属性,从服务提供候选者选取目标服务提供者,并与目标服务提供者签署分布式联邦协作建模协议,基于分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型。提高采用非同态分布数据进行联邦训练时得到的模型检测的精准程度。
请参阅图3,图3示出本发明实施例提供的一种基于联邦学习的车联网入侵检测模型训练方法,以该方法应用在图1中的服务端为例进行说明,详述如下:
接收实时的交通数据集;
将实时的交通数据集输入到分布式联邦训练的车联网入侵检测模型中;
采用分布式联邦训练的车联网入侵检测模型对实时的交通数据集进行识别分类,得到分类结果;
基于分类结果,确定入侵检测结果。
本实施例中,接收实时的交通数据集,将实时的交通数据集输入到分布式联邦训练的车联网入侵检测模型中,采用分布式联邦训练的车联网入侵检测模型对实时的交通数据集进行识别分类,得到分类结果,基于分类结果,确定入侵检测结果。实现对实时交通数据集进行快速检测,确定入侵检测结果,提高入侵结果检测的效率和准确率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
图4示出与上述实施例基于联邦学习的车联网入侵检测模型训练方法一一对应的基于联邦学习的车联网入侵检测模型训练装置的原理框图。如图4所示,该基于联邦学习的车联网入侵检测模型训练装置包括任务分解模块31、属性获取模块32、服务提供者选取模块33和模型训练模块34。各功能模块详细说明如下:
任务分解模块31,用于服务请求者u将联邦训练任务分解为第一任务w1、第二任务w2和第三任务w3,其中,第一任务w1为服务请求者u中生成器G的全局训练任务,第二任务w2为服务请求者u中判别器D的全局训练任务,第三任务w3为服务请求者u中分类器C的全局训练任务;
属性获取模块32,用于针对每个服务提供候选者,获取服务提供候选者对于任务wi的备选策略和备选策略对应的QoS属性,其中,i=1,2,3;
服务提供者选取模块33,用于基于QoS感知的方式,根据备选策略和备选策略对应的QoS属性,从服务提供候选者选取目标服务提供者,并与目标服务提供者签署分布式联邦协作建模协议;
模型训练模块34,用于基于分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型。
可选地,服务提供者选取模块33包括:
信息获取单元,用于获取服务提供候选者vk对于任务wi的若干备选策略{pj}j和备选策略{pj}j对应的QoS属性QoS qk,i={qk,i,j}j,并且,其中,vk为第k个服务提供候选者,h为第h个QoS属性,H为QoS属性的总数量;
服务提供者选取单元,用于针对任务wi,服务请求者u预期的QoS为对应的最高预算为cu,i,则符合条件的QoS为投标价格为{ck,i,j}k,j,选取符合条件的QoS对应的服务提供候选者,作为目标服务提供者。
可选地,服务提供者选取模块33还包括:
属性数值化单元,用于对目标服务提供者的每个QoS属性进行加权和归一化,得到QoS属性对应的单个数值,作为参考数值;
策略确定单元,用于基于参考数值和预设效益函数,对达成任务wi的效益进行计算,确定联邦训练协作策略;
协议生成单元,用于基于联邦训练协作策略,生成分布式联邦协作建模协议,并与目标服务提供者签署分布式联邦协作建模协议。
可选地,模型训练模块34包括:
样本生成单元,用于服务请求者u通过生成器生成样本训练集;
第一任务训练单元,用于按照分布式联邦协作建模协议分发到每个目标服务提供者进行第一任务w1的联邦训练,并接收每个目标服务提供者判别器对样本训练集的反馈结果;
判断单元,用于基于反馈结果判断是否达到预期训练目标;
并行训练单元,用于若达到,则并行执行第二任务w2的联邦训练任务和第三任务w3的联邦训练任务,若未达到预期训练目标,则返回服务请求者u通过生成器生成样本训练集的步骤继续执行;
模型确定单元,用于在第二任务w2的联邦训练任务和第三任务w3的联邦训练任务完成后,得到分布式联邦训练的车联网入侵检测模型。
图5示出与上述实施例基于联邦学习的车联网入侵检测方法一一对应的基于联邦学习的车联网入侵检测装置的原理框图。如图5所示,该基于联邦学习的车联网入侵检测装置包括数据采集模块35、数据输入模块36、识别分类模块37和结果确定模块38。各功能模块详细说明如下:
数据采集模块35,用于接收实时的交通数据集;
数据输入模块36,用于将实时的交通数据集输入到分布式联邦训练的车联网入侵检测模型中;
识别分类模块37,用于采用分布式联邦训练的车联网入侵检测模型对实时的交通数据集进行识别分类,得到分类结果;
结果确定模块38,用于基于分类结果,确定入侵检测结果。
关于基于联邦学习的车联网入侵检测模型训练装置、基于联邦学习的车联网入侵检测装置的具体限定可以参见上文中对于基于联邦学习的车联网入侵检测模型训练方法、基于联邦学习的车联网入侵检测方法的限定,在此不再赘述。上述基于联邦学习的车联网入侵检测模型训练装置、基于联邦学习的车联网入侵检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图6,图6为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如电子文件的控制的程序代码等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据,例如运行电子文件的控制的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有界面显示程序,所述界面显示程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的基于联邦学习的车联网入侵检测模型训练方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。
Claims (9)
1.一种基于联邦学习的车联网入侵检测模型训练方法,其特征在于,所述车联网入侵检测模型为生成对抗网络,所述车联网入侵检测模型包括生成器、判别器和分类器,所述方法包括:
服务请求者u将联邦训练任务分解为第一任务w1、第二任务w2和第三任务w3,其中,所述第一任务w1为服务请求者u中生成器G的全局训练任务,所述第二任务w2为服务请求者u中判别器D的全局训练任务,第三任务w3为服务请求者u中分类器C的全局训练任务;
针对每个服务提供候选者,获取所述服务提供候选者对于任务wi的备选策略和所述备选策略对应的QoS属性,其中,i=1,2,3;
基于QoS感知的方式,根据所述备选策略和所述备选策略对应的QoS属性,从所述服务提供候选者选取目标服务提供者,并与所述目标服务提供者签署分布式联邦协作建模协议;
基于所述分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型;
其中,所述基于QoS感知的方式,根据所述备选策略和所述备选策略对应的QoS属性,从所述服务提供候选者选取目标服务提供者,包括:
获取服务提供候选者对于任务wi的若干备选策略和备选策略对
应的QoS属性QoS ,并且,其中,为第k个服
务提供候选者,h为第h个QoS属性,H为QoS属性的总数量;
针对任务wi,所述服务请求者u预期的QoS为对应的最高预算为,则符合条件的QoS为投标价格为,选取符
合条件的QoS对应的服务提供候选者,作为所述目标服务提供者。
2.如权利要求1所述的基于联邦学习的车联网入侵检测模型训练方法,其特征在于,与所述目标服务提供者签署分布式联邦协作建模协议包括:
对所述目标服务提供者的每个QoS属性进行加权和归一化,得到QoS属性对应的单个数值,作为参考数值;
基于所述参考数值和预设效益函数,对达成任务wi的效益进行计算,确定联邦训练协作策略;
基于所述联邦训练协作策略,生成分布式联邦协作建模协议,并与所述目标服务提供者签署所述分布式联邦协作建模协议。
3.如权利要求1所述的基于联邦学习的车联网入侵检测模型训练方法,其特征在于,所述基于所述分布式联邦协作建模协议进行联邦任务训练,得到联邦训练的车联网入侵检测模型包括:
服务请求者u通过生成器生成样本训练集;
按照所述分布式联邦协作建模协议分发到每个所述目标服务提供者进行第一任务w1的联邦训练,并接收每个所述目标服务提供者判别器对所述样本训练集的反馈结果;
基于所述反馈结果判断是否达到预期训练目标;
若达到,则并行执行所述第二任务w2的联邦训练任务和所述第三任务w3的联邦训练任务,若未达到预期训练目标,则返回所述服务请求者u通过生成器生成样本训练集的步骤继续执行;
在所述第二任务w2的联邦训练任务和所述第三任务w3的联邦训练任务完成后,得到所述分布式联邦训练的车联网入侵检测模型。
4.如权利要求1所述的基于联邦学习的车联网入侵检测模型训练方法,其特征在于,所述服务请求者u和每个所述目标服务提供者进行联邦训练过程中,采用局部差分隐私计算的方式对模型进行保护,并执行交换机制互相交换判别器和分类器的权值参数作用于本地的知识蒸馏。
5.一种基于联邦学习的车联网入侵检测方法,其特征在于,包括:
接收实时的交通数据集;
将所述实时的交通数据集输入到分布式联邦训练的车联网入侵检测模型中,所述分布式联邦训练的车联网入侵检测模型根据权利要求1至4任一项的方法训练得到;
采用所述分布式联邦训练的车联网入侵检测模型对所述实时的交通数据集进行识别分类,得到分类结果;
基于所述分类结果,确定入侵检测结果。
6.一种基于联邦学习的车联网入侵检测模型训练装置,其特征在于,包括:
任务分解模块,用于服务请求者u将联邦训练任务分解为第一任务w1、第二任务w2和第三任务w3,其中,所述第一任务w1为服务请求者u中生成器G的全局训练任务,所述第二任务w2为服务请求者u中判别器D的全局训练任务,第三任务w3为服务请求者u中分类器C的全局训练任务;
属性获取模块,用于针对每个服务提供候选者,获取所述服务提供候选者对于任务wi的备选策略和所述备选策略对应的QoS属性,其中,i=1,2,3;
服务提供者选取模块,用于基于QoS感知的方式,根据所述备选策略和所述备选策略对应的QoS属性,从所述服务提供候选者选取目标服务提供者,并与所述目标服务提供者签署分布式联邦协作建模协议;
模型训练模块,用于基于所述分布式联邦协作建模协议进行联邦任务训练,得到分布式联邦训练的车联网入侵检测模型;
其中,所述目标服务提供者选取模块包括:
信息获取单元,用于获取服务提供候选者对于任务wi的若干备选策略和
备选策略对应的QoS属性QoS ,并且,其
中,为第k个服务提供候选者,h为第h个QoS属性,H为QoS属性的总数量;
服务提供者选取单元,用于针对任务wi,所述服务请求者u预期的QoS为对应的最高预算为,则符合条件的QoS为
投标价格为,选取符合条件的QoS对应的服务提供候选者,作为所述目标服务
提供者。
7.一种基于联邦学习的车联网入侵检测装置,其特征在于,包括:
数据采集模块,用于接收实时的交通数据集;
数据输入模块,用于将所述实时的交通数据集输入到分布式联邦训练的车联网入侵检测模型中,所述分布式联邦训练的车联网入侵检测模型根据权利要求1至4任一项的方法训练得到;
识别分类模块,用于采用所述分布式联邦训练的车联网入侵检测模型对所述实时的交通数据集进行识别分类,得到分类结果;
结果确定模块,用于基于所述分类结果,确定入侵检测结果。
8.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的基于联邦学习的车联网入侵检测模型训练方法,或者,所述处理器执行所述计算机程序时实现如权利要求5所述的基于联邦学习的车联网入侵检测方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于联邦学习的车联网入侵检测模型训练方法,或者,所述计算机程序被处理器执行时实现如权利要求5所述的基于联邦学习的车联网入侵检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211652159.2A CN116055335B (zh) | 2022-12-21 | 2022-12-21 | 基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211652159.2A CN116055335B (zh) | 2022-12-21 | 2022-12-21 | 基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116055335A CN116055335A (zh) | 2023-05-02 |
CN116055335B true CN116055335B (zh) | 2023-12-19 |
Family
ID=86124716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211652159.2A Active CN116055335B (zh) | 2022-12-21 | 2022-12-21 | 基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116055335B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113283476A (zh) * | 2021-04-27 | 2021-08-20 | 广东工业大学 | 一种物联网网络入侵检测方法 |
WO2021219053A1 (zh) * | 2020-04-29 | 2021-11-04 | 深圳前海微众银行股份有限公司 | 联邦学习建模方法、装置、设备及可读存储介质 |
CN113794675A (zh) * | 2021-07-14 | 2021-12-14 | 中国人民解放军战略支援部队信息工程大学 | 基于区块链和联邦学习的分布式物联网入侵检测方法及系统 |
WO2022111639A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 联邦学习方法、装置、设备、系统及计算机可读存储介质 |
CN115277189A (zh) * | 2022-07-27 | 2022-11-01 | 中国人民解放军海军航空大学 | 基于生成式对抗网络的无监督式入侵流量检测识别方法 |
-
2022
- 2022-12-21 CN CN202211652159.2A patent/CN116055335B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021219053A1 (zh) * | 2020-04-29 | 2021-11-04 | 深圳前海微众银行股份有限公司 | 联邦学习建模方法、装置、设备及可读存储介质 |
WO2022111639A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 联邦学习方法、装置、设备、系统及计算机可读存储介质 |
CN113283476A (zh) * | 2021-04-27 | 2021-08-20 | 广东工业大学 | 一种物联网网络入侵检测方法 |
CN113794675A (zh) * | 2021-07-14 | 2021-12-14 | 中国人民解放军战略支援部队信息工程大学 | 基于区块链和联邦学习的分布式物联网入侵检测方法及系统 |
CN115277189A (zh) * | 2022-07-27 | 2022-11-01 | 中国人民解放军海军航空大学 | 基于生成式对抗网络的无监督式入侵流量检测识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116055335A (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022126970A1 (zh) | 金融欺诈风险识别方法、装置、计算机设备及存储介质 | |
CN111107048B (zh) | 一种钓鱼网站检测方法、装置和存储介质 | |
CN112148987A (zh) | 基于目标对象活跃度的消息推送方法及相关设备 | |
CN114070583B (zh) | 信息访问控制方法、装置、计算机设备及介质 | |
CN110148053B (zh) | 用户信贷额度评估方法、装置、电子设备和可读介质 | |
US20220391913A1 (en) | Techniques to improve fraud detection at financial terminals | |
CN110796578A (zh) | 一种分级救援的判断方法及装置、计算机设备和存储介质 | |
CN115941322B (zh) | 基于人工智能的攻击检测方法、装置、设备及存储介质 | |
CN114398477A (zh) | 基于知识图谱的政策推荐方法及其相关设备 | |
CN111178687B (zh) | 金融风险分类方法、装置及电子设备 | |
CN114265835A (zh) | 基于图挖掘的数据分析方法、装置及相关设备 | |
CN112966304A (zh) | 流程文档的防篡改方法、装置、计算机设备及介质 | |
CN116055335B (zh) | 基于联邦学习的车联网入侵检测模型训练方法、入侵检测方法及设备 | |
CN113283759B (zh) | 账户风险画像更新方法、装置、设备及存储介质 | |
CN112085566B (zh) | 基于智能决策的产品推荐方法、装置及计算机设备 | |
CN112055010B (zh) | 二维码图片拦截方法、装置、电子设备及存储介质 | |
CN111327513B (zh) | 消息数据的推送方法、装置、计算机设备及存储介质 | |
CN116055150B (zh) | 车联网入侵检测平台、方法及相关设备 | |
CN115250200B (zh) | 服务授权认证方法及其相关设备 | |
US20240096056A1 (en) | Systems and methods for determining video similarity, risk scores, and textual descriptions | |
CN114125396A (zh) | 视频监控方法、装置、计算机设备及介质 | |
CN116468563A (zh) | 理赔事项智能反馈方法、装置、设备及其存储介质 | |
CN114066442A (zh) | 应用程序获取方法、装置、服务器、介质及产品 | |
CN114332965A (zh) | 基于指纹识别和led灯控制的车牌生成方法、装置和设备 | |
CN116708430A (zh) | 注册中心集群调度方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |