CN113037750A - 一种车辆检测数据增强训练方法、系统、车辆及存储介质 - Google Patents
一种车辆检测数据增强训练方法、系统、车辆及存储介质 Download PDFInfo
- Publication number
- CN113037750A CN113037750A CN202110254882.4A CN202110254882A CN113037750A CN 113037750 A CN113037750 A CN 113037750A CN 202110254882 A CN202110254882 A CN 202110254882A CN 113037750 A CN113037750 A CN 113037750A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- detection
- matrix
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Small-Scale Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于智能网联车安全技术领域,公开了一种车辆检测数据增强训练方法、系统、车辆及存储介质,收集车辆行驶时的CAN总线数据;接收更新检测模型和实时检测异常;车辆行驶数据和检测结果,用户选择不上传或者脱敏后上传至云端;对收集到的各车辆数据进行预处理合并后,判断模型所需数据量是否足够,如果不足则先进行数据增强,使用增强后的数据训练检测模型;最后,周期性将检测模型从云端发布到车载检测模块。本发明采用数据增强后的样本集合训练出的检测模型,其相同测评数据集上的检测率要明显优于数据增强前小样本数据集训练的模型。对要使用真车数据研究的其他领域也具有借鉴作用。
Description
技术领域
本发明属于智能网联车安全技术领域,尤其涉及一种车辆检测数据增强训练方法、系统、车辆及存储介质。
背景技术
目前,车辆网联技术发展迅速,然而,联网后的车辆攻击面扩大,通过网络对车辆进行攻击成为可能。智能网联车遭受到诸多远程安全威胁,尤其是对于车辆各个ECU和CAN总线的攻击,如窃听,重放,泛洪等。车辆安全关系到驾驶者、行人等的生命安全,要求比一般互联网电脑终端要求高很多,车联网安全相关研究成为学界和产业界的热点。但是,车辆作为一种特殊的终端,其研究数据采集需要在车辆行驶时候进行。目前常用做法是通过诊断接口OBD-Ⅱ进行采集。这是一种有线短距离连接,只能采集自己车辆信息。现有的实验数据几乎都是这种方式采集的研究人员自己车辆在特定驾驶路线上的驾驶信息,且绝大部分都是正常驾驶信息,受攻击时的驾驶数据极少。因为对车辆的攻击容易造成不可预知的威胁,甚至威胁驾驶人员、乘客等的生命,研究中难以像传统入侵检测研究一样模拟攻击车辆以收集攻击时的数据。可以看到即便是真车收集正常驾驶数据,由于收集困难,限于相关研究者的驾驶数据,目前公开可供车辆入侵检测的真车数据集有OTIDS数据集,Car-HackingDataset大约300万条共1.42G数据,且车型局限于桑塔纳,起亚秀尔,雪佛兰等较少车型,相对全世界超过7亿台车辆保有量,每日产生超10w辆需要检测的车辆数据来说杯水车薪,真车数据集严重缺乏,影响研究人员对于车辆行驶安全的研究。
通过上述分析,现有技术存在的问题及缺陷为:
1)传统入侵检测研究显示,在样本足够的情况下,攻击识别率可以达到接近99%,但在样本个数缺乏的情况下部分攻击识别率甚至低于50%。可见若没有足够多的数据集用于检测模型训练会导致模型识别率低,无法有效进行入侵检测。作为防护手段的车辆入侵检测研究中,使用人工智能算法的越来越多,但是普遍遇见真车数据采集艰难,模型训练的真车数据数量不足的问题,导致训练出的车辆入侵检测模型的检测效果难以满足要求。
2)以上问题不仅仅出现在车辆入侵检测领域,车辆防护其他研究领域例如:态势感知、应急响应等也需要真车行驶数据支持。目前只有自动驾驶方面,有百度、谷歌几家大的人工智能大厂进行大量真车数据采集,但是这种采集更多是行驶中的路面情况、周围环境等图像数据。跟本文研究的车辆内部跟引擎、刹车、转向等运行在CAN总线上的驾驶命令涉及的数据完全不同,也无法使用。
解决以上问题及缺陷的难度为:
车辆不同于计算机、手机等终端,其安全关系到交通参与者的生命安全,传统信息安全中采用模拟攻击提取检测研究数据的方法在车辆安全研究中行不通。且车辆安全属于前沿交叉学科,懂信息安全的研究者很多对车辆构造不清楚,而懂车辆构造的研究者又缺乏信息安全方面知识。导致车辆安全,特别是涉及到车内网、车辆驾驶操作安全的问题的解决困难,不易找到切实可行的解决方案。
解决以上问题及缺陷的意义为:
车辆的智能化趋势不可避免,终极目标就是无人驾驶。但是由于涉及到交通参与者的生命安全,如果其安全不能保障,那么绝不会被用户接受,也不可能获得国家相关机构的认可。因此智能车辆必须保障驾驶员和乘客的安全。其中经由移动互联网对智能车辆发动的远程攻击的防护又是其中的重中之重。这方面研究均存在真车数据不足的问题。本发明提出的方案虽然以车辆的入侵检测为切入点。但是其采集设备和数据增强方法可以广泛适用于车辆安全与防护研究的其他研究点,具有明显的研究意义和实践价值。
发明内容
针对现有技术存在的问题,本发明提供了一种车辆检测数据增强训练方法、系统、车辆及存储介质。尤其涉及一种车云架构的车辆人工智能检测数据增强训练方法、装置及系统。
本发明是这样实现的,一种车辆检测数据增强训练方法,包括:
从车辆总线上进行数据捕获与存储,截取到数据报文;
对截取到的数据报文格式化后进行检测;检测通过则让命令顺利执行上传;不通过,则阻止命令执行上传;同时对检测结果进行记录存储;
根据存储情况和车-云之间链路稳定情况,上传捕获的车辆驾驶数据和相应检测结果;按接收到的时间顺序对上传的车辆驾驶数据和相应检测结果进行存储;
对存储的车辆驾驶数据进行合并,判断数据规模是否满足训练要求,如果不满足则进入数据增强环节,将周期内收集到的数据进行预处理,转换为用于生成对抗网络的车辆数据点阵格式;将生成的车辆数据点阵作为生成对抗网络中的样本数据,并随机生成待训练数据集;
将所述样本数据、待训练数据集一起让判别器进行判别,根据所述判别结果和损失函数不断对生成器和判别器进行调整,在所述样本数据、待训练数据集达到纳什均衡时,生成器生成的数据就是符合原有样本特征的新数据;
将生成的所述新数据集和原有数据集合并为增强数据集,用增强后的数据集训练检测模型。检测模型可以根据情况选择不同模型,本发明以Softmax模型为例;并将更新后的检测模型分发到各车辆车载终端。
进一步,所述截取到的数据报文包含:
1)时间戳,精确度为毫秒;
2)CANID:十六进制的汽车总线报文标识符;
3)数据:捕获到的CAN总线报文的数据部分;
4)数据字节个数:记录本时间段从CAN总线数捕获到的数据字节长度。
进一步,所述进行数据捕获时,数据收集模块根据TBOX本身存储空间,及时删除已上传数据或者重要性较低的数据;采取先到先删除加异常标签判断策略;所谓先到先删除,就是按时间顺序把存储时间最久的最先删除,但是有异常标签的例外。
当TBOX存储空间剩余不足20%时,从保存最久的数据报文开始删除;内含检测异常标签的不删除。
进一步,所述总线数据和相应检测结果前须先探测网络链路是否稳定并对要传输的数据做必要分割,具体包括:
(1)在上传下载数据前均进行网络链路稳定性探测;探测方法为发送5个带900字节数据的请求报文给TSP(车辆远程服务提供商)云端,计算收到应答报文个数和平均往返时间;根据实际经验设定阈值:收到应答报文不少于3个且平均往返时间不高于50ms为链路稳定,进行传输;
(2)每次传输的数据报文不超过1KB,且云端对接收到的数据报文须进行确认:即在传输一段周期内存储的CAN总线数据与检测结果时,如果数据超过1kB还需分割为不超过1KB的数据报文分次发送。
进一步,所述将周期内收集到的数据进行预处理的包括:
1)提取一个时间窗口内的所有的CAN总线数据,根据所取得的CANID,CAN总线上数据值,数据长度的平均值和方差按Z-score方法对数据进行数据标准化;
2)然后将CAN命令数据减去一个共有值将数据化简为较小的数据项,计算平均值和标准差,由原数据减去平均值再除以标准差得到数据流特征向量;接着把n个特征向量合并为一个一维矩阵,再通过矩阵变换为方阵,所述方阵对角线元素为m维特征向量的值,每一列用一个m维向量表示:
3)将上面所述对称矩阵(学名:欧拉矩阵)映射为对应的车辆数据点阵,即将所述欧拉矩阵中元素的值映射为所述车辆数据点阵中对应的数据项。映射过程为将所求得矩阵的每个元素值和位置关系以单个像素点通过8位的灰度值(0-255)来表示:先将矩阵中所有数据归一化,再乘上固定值255即可得原矩阵在0-255范围内得取值分布,即车辆数据点阵的值由对称矩阵按公式转换得到,车辆数据点阵表现的图形如图8。按此方法将每个时间窗口内的网络流特征向量集转换为更加适用于生成对抗网络训练的车辆数据点阵。
进一步,训练好的所述检测模型从云端分发到车载TBOX的检测模块,由于对网络链路要求高的,采用TSP先通知用户检测模块更新,在车辆停止且网络信号好的情况下手动发起更新命令后,进行网络链路探测,探测到网络链路稳定后将检测模型发布到车端TBOX。
本发明的另一目的在于提供一种车辆检测数据增强训练系统,搭载有TBOX设备,在所述TBOX设备中添加车载数据收集模块和车载检测模块;
所述车载数据收集模块用于收集车辆行驶时的CAN总线数据;
所述车载检测模块,负责接收更新检测模型和实时检测异常;车辆行驶数据和检测结果,用户选择不上传或者脱敏后上传至云端;
所述云端对收集到的各车辆数据进行预处理合并后,判断模型所需数据量是否足够,如果不足则先进行数据增强,使用增强后的数据训练检测模型;最后,周期性将检测模型从云端发布到车载检测模块。
本发明的另一目的在于提供一种车云架构的车辆,所述车云架构的车辆搭载有所述的车辆检测数据增强训练系统,并执行所述车辆检测数据增强训练方法。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述车辆检测数据增强训练方法。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述车辆检测数据增强训练方法。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:
针对“真车入侵检测数据采集难,研究数据集少,导致车辆入侵检测算法训练数据不足,检测效果难以满足要求”问题,本发明提供了一种车云架构的车辆检测数据增强训练算法、装置及系统用于应对真车数据缺乏的情况。
本发明智能网联车的入侵检测是防护车辆安全的必备手段。但是由于车辆的特殊性,真车数据特别是异常攻击数据采集困难,导致车辆入侵检测模型、特别是基于人工智能算法方面的模型训练数据不足,检测效果难以满足要求。本发明从两方面解决该问题:1)在车辆普遍都有的TBOX设备上加装数据收集和检测模块,只要安装这两个模块的用户数量足够多,按统计规律总有部分用户会同意提供自己数据以供研究;2)在前期安装量不足时,对能收集到的真车数据通过GANs生成对抗网络算法,通过对已有的较小量的真实数据的特征学习,使得生成器能生成具有类似特征但是细节不同的新数据,以扩大样本规模。实验表明采用数据增强后的样本集合训练出的检测模型,其相同测评数据集上的检测率要明显优于数据增强前小样本数据集训练的模型。对要使用真车数据研究的其他领域也具有借鉴作用。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的车云系统架构示意图。
图2是本发明实施提供的车云架构检测数据增强训练原理图。
图3是本发明实施例提供的车云架构的车辆人工智能检测数据增强训练方法流程图。
图4是本发明实施提供的基于GANs生成对抗网络增强数据生成流程;
图5是本发明实施提供的T-box数据清除策略流程示意图;
图6是本发明实施提供的T-box上载数据到与云端流程示意图;
图7是本发明实施提供的真车数据预处理为车辆数据点阵流程图。
图8是本发明实施提供的将欧拉矩阵映射为对应的车辆数据点阵,将已有数据集转换为欧拉矩阵后将矩阵中每个元素的值进行转换得到的点阵图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种车云架构的车辆人工智能检测数据增强训练方法、装置及系统,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的车云系统,搭载有TBOX设备,在其中添加车载数据收集模块和车载检测模块。
车载数据收集模块收集车辆行驶时的CAN总线数据。
车载检测模块负责接收更新检测模型和实时检测异常;车辆行驶数据和检测结果,用户可以选择设置,其一不上传或者其二脱敏后上传至云。
云端对收集到的各车辆数据进行预处理合并后,判断模型所需数据量是否足够,如果不足则先进行数据增强,使用增强后的数据训练检测模型;最后,周期性将检测模型从云端发布到车载检测模块。
图2是本发明实施提供的车云架构检测数据增强训练原理图。
如图3所示,本发明实施例提供的车云架构的车辆人工智能检测数据增强训练方法包括以下步骤:
S101,车载数据收集模块安装在车载TBOX(一种带操作系统和通信功能,用于与云端交互的车载设备,联网车辆普遍具有)中,负责从车辆CAN(Controller Area Network控制器局域网络)总线上进行数据捕获与存储,截取到数据报文;用户在车载数据收集模块中可以设置允许捕获数据上传或者不允许上传,仅供本地检测使用。
S102,格式化后的CAN总线捕获数据送到车载检测模块进行检测。检测通过则让命令顺利执行;不通过,则阻止命令执行;检测结果,送回车载数据收集模块记录。
S103,如果用户允许上传数据,则根据存储情况和车-云之间链路稳定情况,选择恰当时机上传捕获的CAN总线数据和相应检测结果到TSP(Telematics Service Provider汽车远程服务提供商)。为了保护用户隐私,将能表明用户身份的车辆ID和车辆入网IP地址抹去。TSP云端按接收到的时间顺序存储,数据与车辆的对应关系并不记录。
S104,云端对上传的车辆驾驶数据进行合并,判断数据规模是否满足训练要求,如果不满足则进入数据增强环节-将周期内收集到的数据进行预处理,转换为更适用于生成对抗网络的车辆数据点阵格式;将生成的车辆数据点阵作为生成对抗网络中的样本数据,并随机生成待训练数据集,将二者一起让判别器进行判别,根据判别结果和损失函数不断对生成器和判别器进行调整,在二者达到纳什均衡时,生成器生成的数据就是符合原有样本特征的新数据,如图4。
S105,将步骤S104中生成的新数据集和原有数据集合并为一个增强数据集,用增强后的数据集训练检测模型。云端周期性将更新后的检测模型分发到各车辆车载终端。
步骤S101中,截取到的数据报文包含:
1)时间戳(TimeStamp),精确到毫秒;
2)CANID:十六进制的汽车总线报文标识符;
3)数据(DATA):捕获到的CAN总线报文的数据部分;
4)数据字节个数:记录本时间段从CAN总线数捕获到的数据字节长度。
步骤S101中,由于车载设备设计紧凑,TBOX本身存储容量有限,数据收集模块需要根据TBOX本身存储空间,及时删除已上传数据或者重要性较低的数据以保证其他功能的运行空间。为了尽量不增加运算负担,这里采取“先到先删除+异常标签判断”策略。如图5,当TBOX存储空间剩余不足20%时,从保存最久的数据报文开始删除。但是,内含检测异常标签的除外,因此类数据可能是攻击数据,需要特别保留。
步骤S103中,上传数据之前必须先探测网络链路是否稳定并对要传输的数据做必要分割,如图6,包括:
(1)车辆作为一种区别于计算机的特殊终端,通常是无线(4G、5G)连接云端,且高速移动,两个因素叠加,导致车端-云端的网络链路很多时候不能像计算机网络那样稳定。更不用说还有车辆进入隧道等可能完全没有网络连接的情况。在上传下载数据前都要进行网络链路稳定性探测。探测方法为发送5个带900字节数据的请求报文给TSP云端,计算收到应答报文个数和平均往返时间。根据实际经验设定阈值:收到应答报文不少于3个且平均往返时间不高于50ms才算链路稳定可以传输。
(2)并且为了应对突然出现的链路不稳定,一般TBOX与TSP云端的数据报文不宜过大,以保证单次传输的成功率,即一个报文不会因链路问题而接收不完整。本发明从实际经验出发,限制每次传输的数据报文不超过1KB,且云端对接收到的数据报文必须进行确认。因此在传输一段周期内存储的CAN总线数据与检测结果时,如果数据超过1kB还需要分割为不超过1KB的数据报文分次发送。
步骤S104中,所述数据预处理方法如图7,包括:
1)提取一个时间窗口内的所有的CAN总线数据,根据所取得的CANID,CAN总线上数据值,数据长度的平均值和方差按Z-score方法对数据进行数据标准化。
2)然后将CAN命令数据减去一个共有值将数据化简为较小的数据项,然后计算平均值和标准差,由原数据减去平均值再除以标准差得到数据流特征向量;接着把n个特征向量合并为一个矩阵,再通过矩阵变换为方阵,该方阵对角线元素为m维特征向量的值,每一列用一个m维向量表示,则可根据欧拉距离定义流特征向量相关性将第i个流量记录表示为一个m行m列的对称矩阵:
3)将以上欧拉矩阵映射为对应的车辆数据点阵,即将矩阵中元素的值映射为点阵中对应的数据项,由此可将每个时间窗口内的网络流特征向量集转换为更加适用于生成对抗网络训练的数据点阵。
在步骤S105中,训练好的模型从云端分发到车载TBOX的检测模块,对网络链路要求较高,采用TSP先通知用户检测模块可以更新,请用户在车辆停止且网络信号好的情况下手动点击更新按钮后进行网络链路探测,探测到网络链路稳定后将模型发布到车端TBOX,流程类似一般车载ECU固件更新。
下面结合具体实施例对本发明作进一步描述。
本发明实施例提供的车云架构的车辆人工智能检测数据增强训练方法包括:
步骤一、通过改造车载TBOX收集和检测车辆运行命令,包括在TBOX上添加数据收集模块,收集模块连接CAN总线,采集车辆CAN总线上的命令流并进行格式化。
原始CAN总线数据类似,如下:
格式化,标明时间戳(Timestamp),命令ID与数据长度内容(DLC:datalengthcontent,固定是8字节,后面是具体值),并用TAB隔开各字段,如下。
步骤二、车载检测模块负责检测格式化后的CAN总线数据。模型检测通过则让命令顺利执行;不通过,则阻止命令执行;检测结果,送回车载数据收集模块记录。检测结果记录如下,1是有异常,0代表正常数据,如下:
步骤三、如果用户允许上传数据,则根据存储情况和车-云之间链路稳定情况,选择恰当时机上传捕获的CAN总线数据和相应检测结果脱敏后到TSP.上传时单纯传CAN总线命令数据,车辆信息一概不上传,如下:
步骤四、云端对上传的车辆驾驶数据进行合并,判断数据规模是否满足训练要求,如果不满足则进入数据增强环节-将周期内收集到的数据进行预处理。所需预处理的变量包含时间戳,CANID,数据字节个数,数据。
包括:
(1)利用Z-score实现特征标准化;
(2)将特征化之后的网络流特征转换为欧拉矩阵,利用根据采集到的真实行车数据中的不同特征之间具有的相关性和标准化之后流特征的欧拉距离将时间窗口内的流特征向量集合转换为欧拉矩阵,从而实现对不同特征的多元关联将时间窗口内的n个流特征向量合并为一个矩阵后通过矩阵变换将已有矩阵转换为一个m行m列的对称矩阵。
(3)将欧拉矩阵映射为对应的车辆数据点阵,将已有数据集转换为欧拉矩阵后将矩阵中每个元素的值进行转换,得到点阵图8。
(4)将生成的车辆数据点阵作为生成对抗网络中的样本数据,并随机生成待训练数据集,将二者一起让判别器进行判别,根据判别结果和损失函数不断对生成器和判别器进行调整,在二者达到纳什均衡时,生成器生成的数据就是符合原有样本特征的新数据。
生成对抗网络输入数据即为上面预处理后的车辆数据点阵,数据量大约为500条。
经过对抗生成网络训练,生成同样格式新数据2000条。
步骤五、将上面生成的新数据集和原有数据集合并为一个增强数据集,用增强后的数据集训练检测模型。选择Softmax为检测模型,原有500条数据进行训练,对泛洪,重放攻击的检测效果为76.27%,准确率较低;进行数据增强后训练数据达到2500条。重新进行训练后的检测效果为85.12%,检测准确率有明显提高,达到业内85%基准线。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种车辆检测数据增强训练方法,其特征在于,所述车辆检测数据增强训练方法包括:
从车辆总线上进行数据捕获与存储,截取到数据报文;
对截取到的数据报文格式化后进行检测;检测通过则让命令顺利执行上传;不通过,则阻止命令执行上传;同时对检测结果进行记录存储;
根据存储情况和车-云之间链路稳定情况,上传捕获的车辆驾驶数据和相应检测结果;按接收到的时间顺序对上传的车辆驾驶数据和相应检测结果进行存储;
对存储的车辆驾驶数据进行合并,判断数据规模是否满足训练要求,如果不满足则进入数据增强环节,将周期内收集到的数据进行预处理,转换为用于生成对抗网络的车辆数据点阵格式;将生成的车辆数据点阵作为生成对抗网络中的样本数据,并随机生成待训练数据集;
将所述样本数据、待训练数据集一起让判别器进行判别,根据所述判别结果和损失函数不断对生成器和判别器进行调整,在所述样本数据、待训练数据集达到纳什均衡时,生成器生成的数据就是符合原有样本特征的新数据;
将生成的所述新数据集和原有数据集合并为增强数据集,用增强后的数据集训练检测模型;并将更新后的检测模型分发到各车辆车载终端。
2.如权利要求1所述的车辆检测数据增强训练方法,其特征在于,所述截取到的数据报文包含:
1)时间戳,精确度为毫秒;
2)CANID:十六进制的汽车总线报文标识符;
3)数据:捕获到的CAN总线报文的数据部分;
4)数据字节个数:记录本时间段从CAN总线数捕获到的数据字节长度。
3.如权利要求1所述的车辆检测数据增强训练方法,其特征在于,所述进行数据捕获时,数据收集模块根据TBOX本身存储空间,及时删除已上传数据或者重要性较低的数据;采取先到先删除加异常标签判断策略;
当TBOX存储空间剩余不足20%时,从保存最久的数据报文开始删除;内含检测异常标签的不删除。
4.如权利要求1所述的车辆检测数据增强训练方法,其特征在于,所述总线数据和相应检测结果前须先探测网络链路是否稳定并对要传输的数据做必要分割,具体包括:
(1)在上传下载数据前均进行网络链路稳定性探测;探测方法为发送5个带900字节数据的请求报文给TSP云端,计算收到应答报文个数和平均往返时间;根据实际经验设定阈值:收到应答报文不少于3个且平均往返时间不高于50ms为链路稳定,进行传输;
(2)每次传输的数据报文不超过1KB,且云端对接收到的数据报文须进行确认;在传输一段周期内存储的CAN总线数据与检测结果时,如果数据超过1kB,则被分割为不超过1KB的数据报文分次发送。
5.如权利要求1所述的车辆检测数据增强训练方法,其特征在于,所述将周期内收集到的数据进行预处理的包括:
1)提取一个时间窗口内的所有的CAN总线数据,根据所取得的CANID,CAN总线上的数据值,数据长度的平均值和方差按Z-score方法对数据进行数据标准化;
2)接着将CAN命令数据减去一个共有值将数据化简为较小的数据项,然后计算平均值和标准差,由原数据减去平均值再除以标准差得到数据流特征向量;接着把n个特征向量合并为一个一维矩阵,再通过矩阵变换为方阵,所述方阵对角线元素为m维特征向量的值,每一列用一个m维向量表示:
6.如权利要求1所述的车辆检测数据增强训练方法,其特征在于,训练好的所述检测模型从云端分发到车载TBOX的检测模块;由于对网络链路要求较高,采用TSP先通知用户检测模块更新,在车辆停止且网络信号好的情况下手动发起更新命令,随后进行网络链路探测,探测到网络链路稳定后将检测模型发布到车端TBOX。
7.一种车辆检测数据增强训练系统,搭载有TBOX设备,其特征在于,在所述TBOX设备中添加车载数据收集模块和车载检测模块;
所述车载数据收集模块用于收集车辆行驶时的CAN总线数据;
所述车载检测模块,负责接收更新检测模型和实时检测异常;车辆行驶数据和检测结果,用户选择不上传或者脱敏后上传至云端;
所述云端对收集到的各车辆数据进行预处理合并后,判断模型所需数据量是否足够,如果不足则先进行数据增强,使用增强后的数据训练检测模型;最后,周期性将检测模型从云端发布到车载检测模块。
8.一种车云架构的车辆,其特征在于,所述车云架构的车辆搭载有权利要求7所述的车辆检测数据增强训练系统,并执行权利要求1~6任意一项所述车辆检测数据增强训练方法。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~6任意一项所述车辆检测数据增强训练方法。
10.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1~6任意一项所述车辆检测数据增强训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110254882.4A CN113037750B (zh) | 2021-03-09 | 2021-03-09 | 一种车辆检测数据增强训练方法、系统、车辆及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110254882.4A CN113037750B (zh) | 2021-03-09 | 2021-03-09 | 一种车辆检测数据增强训练方法、系统、车辆及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113037750A true CN113037750A (zh) | 2021-06-25 |
CN113037750B CN113037750B (zh) | 2022-08-02 |
Family
ID=76467219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110254882.4A Active CN113037750B (zh) | 2021-03-09 | 2021-03-09 | 一种车辆检测数据增强训练方法、系统、车辆及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113037750B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114710372A (zh) * | 2022-06-08 | 2022-07-05 | 湖南师范大学 | 基于增量学习的车载can网络入侵检测系统及方法 |
CN114742236A (zh) * | 2022-04-24 | 2022-07-12 | 重庆长安汽车股份有限公司 | 一种环境车辆行为预测模型训练方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170068816A1 (en) * | 2015-09-04 | 2017-03-09 | University Of Delaware | Malware analysis and detection using graph-based characterization and machine learning |
US20180330201A1 (en) * | 2017-05-15 | 2018-11-15 | International Business Machines Corporation | Time-series representation learning via random time warping |
CN109344618A (zh) * | 2018-02-08 | 2019-02-15 | 中国人民解放军陆军炮兵防空兵学院郑州校区 | 一种基于深度森林的恶意代码分类方法 |
CN110348463A (zh) * | 2019-07-16 | 2019-10-18 | 北京百度网讯科技有限公司 | 用于识别车辆的方法和装置 |
CN110445758A (zh) * | 2019-07-05 | 2019-11-12 | 华东师范大学 | 基于对抗生成网络的车载can总线网络异常数据检测方法及系统 |
US20200380366A1 (en) * | 2018-06-12 | 2020-12-03 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Enhanced generative adversarial network and target sample recognition method |
-
2021
- 2021-03-09 CN CN202110254882.4A patent/CN113037750B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170068816A1 (en) * | 2015-09-04 | 2017-03-09 | University Of Delaware | Malware analysis and detection using graph-based characterization and machine learning |
US20180330201A1 (en) * | 2017-05-15 | 2018-11-15 | International Business Machines Corporation | Time-series representation learning via random time warping |
CN109344618A (zh) * | 2018-02-08 | 2019-02-15 | 中国人民解放军陆军炮兵防空兵学院郑州校区 | 一种基于深度森林的恶意代码分类方法 |
US20200380366A1 (en) * | 2018-06-12 | 2020-12-03 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Enhanced generative adversarial network and target sample recognition method |
CN110445758A (zh) * | 2019-07-05 | 2019-11-12 | 华东师范大学 | 基于对抗生成网络的车载can总线网络异常数据检测方法及系统 |
CN110348463A (zh) * | 2019-07-16 | 2019-10-18 | 北京百度网讯科技有限公司 | 用于识别车辆的方法和装置 |
Non-Patent Citations (5)
Title |
---|
S. G. AKSOY, E. PURVINE, E. COTILLA-SANCHEZ, M. HALAPPANAVAR AND: "A generative graph model for electrical infrastructure networks", 《JOURNAL OF COMPLEX NETWORKS》 * |
孙玮婷: "基于极限学习机的表征学习方法研究", 《中国优秀硕士论文全文数据库(电子期刊)信息科技辑》 * |
张晓峰: "基于生成对抗网络的数据增强方法", 《计算机系统应用》 * |
张杨等: "一种基于相似离度匹配的人脸精确跟踪算法", 《东北大学学报(自然科学版)》 * |
黄佳林等: "基于多维时间序列状态估计的压气机故障预警模型建立", 《上海电机学院学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114742236A (zh) * | 2022-04-24 | 2022-07-12 | 重庆长安汽车股份有限公司 | 一种环境车辆行为预测模型训练方法及系统 |
CN114710372A (zh) * | 2022-06-08 | 2022-07-05 | 湖南师范大学 | 基于增量学习的车载can网络入侵检测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113037750B (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10382466B2 (en) | Cooperative cloud-edge vehicle anomaly detection | |
CN113348111B (zh) | 车辆安全监视装置、方法以及程序记录介质 | |
CN113037750B (zh) | 一种车辆检测数据增强训练方法、系统、车辆及存储介质 | |
WO2022078353A1 (zh) | 车辆行使状态判断方法、装置、计算机设备及存储介质 | |
US20190217869A1 (en) | Control apparatus, control method, and program | |
CN111885060B (zh) | 面向车联网的无损式信息安全漏洞检测系统和方法 | |
CN109523652A (zh) | 基于驾驶行为的保险的处理方法、装置、设备及存储介质 | |
CN110995771A (zh) | 一种基于物联网的货车陆运监控管理系统 | |
CN112686130B (zh) | 一种智慧渔船监管决策系统 | |
CN115145241A (zh) | 一种基于soa服务的车端can节点的远程诊断方法及存储介质 | |
CN112887302A (zh) | 汽车控制器局域网络总线入侵检测方法和系统 | |
CN115203078A (zh) | 基于soa架构的车辆数据采集系统、方法、设备及介质 | |
CN113938295B (zh) | 一种网联汽车通信数据异常传输行为检测方法、系统、电子设备及可读介质 | |
US20220146707A1 (en) | Temperature prediction system | |
CN112712608B (zh) | 用于通过车辆收集性能数据的系统和方法 | |
CN113705333A (zh) | 驾驶员面部图像筛选方法、装置、电子设备和商用车辆 | |
CN117061165A (zh) | 基于监测监控系统的时空数据湖技术的安全防护系统 | |
CN114550342B (zh) | 基于黑匣子的无人车事故责任判定方法、装置及电子设备 | |
CN115640828A (zh) | 一种基于对抗生成网络的车载数字孪生欺骗检测方法 | |
US10733885B2 (en) | Multi-vehicle prediction system | |
CN112766746A (zh) | 交通事故识别方法、装置、电子设备和存储介质 | |
EP3425607A1 (en) | Mobile body management device, mobile body management method and storage medium | |
US20230367872A1 (en) | Threat detection for a processing system of a motor vehicle | |
CN117133139A (zh) | 高速公路能见度实时监测方法及系统 | |
CN112507905A (zh) | 车辆防跟踪方法及装置、计算机可读存储介质与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |