CN111970309B - 基于Spark车联网组合深度学习入侵检测方法及系统 - Google Patents

基于Spark车联网组合深度学习入侵检测方法及系统 Download PDF

Info

Publication number
CN111970309B
CN111970309B CN202011122116.4A CN202011122116A CN111970309B CN 111970309 B CN111970309 B CN 111970309B CN 202011122116 A CN202011122116 A CN 202011122116A CN 111970309 B CN111970309 B CN 111970309B
Authority
CN
China
Prior art keywords
data
internet
layer
vehicles
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011122116.4A
Other languages
English (en)
Other versions
CN111970309A (zh
Inventor
戚湧
俞建业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011122116.4A priority Critical patent/CN111970309B/zh
Publication of CN111970309A publication Critical patent/CN111970309A/zh
Application granted granted Critical
Publication of CN111970309B publication Critical patent/CN111970309B/zh
Priority to US17/506,607 priority patent/US11503057B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于Spark车联网组合深度学习入侵检测方法及系统，包括以下步骤：S1：搭建Spark分布式集群；S2：初始化Spark布式集群并构建CNN‑LSTM组合深度学习算法模型以及参数的初始化，将采集到的数据上传到HDFS中；S3：从HDFS上读取数据进行处理并输入进CNN‑LSTM组合深度学习算法模型中，对数据进行识别；S4：将数据分成多个RDD进行批量训练，并进行迭代达到预设次数。本发明方法为车联网入侵检测提供了快速准确的检测方法，确保车联网在计算能力受限、应用环境复杂以及存在大量节点网络的情况下能够在短时间内准确、快速的完成入侵检测任务，提供安全可靠通信环境。

Description

基于Spark车联网组合深度学习入侵检测方法及系统
技术领域
本发明涉及车联网入侵检测技术领域，具体为一种基于Spark车联网组合深度学习入侵检测方法及系统。
背景技术
近年来，随着新兴技术在车联网领域的实践应用，车联网得到更加快速的发展，车与车、与路、与人、与云的通信更加紧密，车联网通信安全对于促进智能交通和智慧城市的发展具有决定性的作用。随着通信能力的提升，大量的网络通信流量也随之而来，但因车联网中计算能力受限、应用环境复杂、分布式多节点和传感网络导致车联网安全问题十分突出，如何确保车联网的安全性，加快车联网落地应用成为汽车厂商和科研人员广泛讨论的话题。因此，利用入侵检测（Intrusion Detection, ID）技术确保车联网通信安全以及识别各种恶意攻击行为成为保障车联网安全的一种重要手段。
针对入侵检测的问题，国内外学者提出了多种有效方法，包括机器学习SVM算法、DNN深度神经网络模型、MLP算法模型等，这些算法被用于解决传统入侵检测问题。如AnishHalima等人将SVM方法应用到入侵检测系统（IDS）中。采用SVM和Naive Bayes机器学习算法，应用归一化和特征简约进行分析对比。但是基于机器学习的入侵检测机制的重要缺点是需要大量的训练时间来处理网络先前数据流的大型数据集，在处理大数据网络环境中，尤其是复杂的车联网当中对检测时间极为重要。R. Vinayakumar等人提出混合深度神经网络（DNN）模型用于检测和分类未知的网络攻击。丁红卫等人提出基于深度卷积神经网络的入侵检测方法，将网络数据转换为图像并进行降维。通过训练和识别从而提高检测的准确率、误报率和检测速率。
但是以上这些算法不能直接应用在车联网的实际环境中，一是车联网结构复杂，不仅是车与自身需要通信，车与人、与车、与路以及与云都需要交互；二是网络通信协议和方式众多，不仅有蓝牙、无线、有线还有移动蜂窝网络和LTE-V2X；三是网络拓扑变化快，车辆是处于高速移动过程当中的，所以车联网的网络拓扑也是根据实际的环境在不断变化的。
针对上述问题分析以及车联网实际特点，为了解决车联网通信过程当中网络流量巨大难以快速有效检测，以及入侵检测准确率的问题，需要提出一种新的应用于车辆网当中的入侵检测解决方案。
发明内容
1、本发明的目的
本发明提供一种基于Spark的分布式组合深度学习算法的车联网入侵检测方法及系统，以提高车联网入侵检测的时间和检测率，解决在车联网应用当中通信网络安全问题。
2、本发明所采用的技术方案
本发明公开了一种基于Spark车联网组合深度学习入侵检测方法，包括以下步骤：
S1：搭建Spark分布式集群；
S2：初始化Spark布式集群并构建CNN-LSTM组合深度学习算法模型以及参数的初始化，将采集到的数据上传到HDFS中；
所述的步骤S2构建CNN-LSTM组合深度学习算法模型具体为：
S2.3.1：对数据进行训练时，设置100次的迭代；
S2.3.2：对车联网数据的特征提取由卷积神经网络CNN完成，CNN结构的第一层为网络的输入层，本层的网络的输入维度为11*11；
S2.3.3：第二层为卷积层用于提取特征，使用sigmoid或tanh函数，加快收敛和训练速度，本层的卷积核大小为[5*5]；
每个卷积层包含卷积操作和非线性激活两个过程；当前层的特征图可由卷积核进而前一层的输出特征图或原始特征图进行卷积操作得到：
Figure 656766DEST_PATH_IMAGE001
(2)
其中，
Figure 459111DEST_PATH_IMAGE002
表示经过卷积之后第
Figure 109404DEST_PATH_IMAGE003
层特征图中的第
Figure 640748DEST_PATH_IMAGE004
个位置的输入；
Figure 125344DEST_PATH_IMAGE005
表示第
Figure 21624DEST_PATH_IMAGE006
层中的第
Figure 224460DEST_PATH_IMAGE007
个输入矩阵；
Figure 293916DEST_PATH_IMAGE008
表示在第
Figure 895668DEST_PATH_IMAGE009
层和第
Figure 90413DEST_PATH_IMAGE010
层之间连接第
Figure 777615DEST_PATH_IMAGE011
个输入矩 阵和第
Figure 641973DEST_PATH_IMAGE012
个位置的卷积核；
Figure 35914DEST_PATH_IMAGE013
表示到第
Figure 339244DEST_PATH_IMAGE014
层特征图和第
Figure 451426DEST_PATH_IMAGE015
个位置的偏置量；
S2.3.4：池化层对特征进行抽样，使用LeakyRelu激活：
Figure 925001DEST_PATH_IMAGE016
（3）
其中，当车联网标准化后的值
Figure 441958DEST_PATH_IMAGE017
的取值小于0时，
Figure 709997DEST_PATH_IMAGE018
的取值为0；当车联网标准 化后的值
Figure 312404DEST_PATH_IMAGE017
的取值大于0时，
Figure 527354DEST_PATH_IMAGE018
的取值为
Figure 833570DEST_PATH_IMAGE017
；
S2.3.5：最后全连接层将提取的特征连接起来形成整体特征，输入到LSTM中，全连接层的神经元输出计算：
Figure 490421DEST_PATH_IMAGE019
（4）
其中，
Figure 249299DEST_PATH_IMAGE020
表示第
Figure 2360DEST_PATH_IMAGE021
层全连接层神经元中第
Figure 493909DEST_PATH_IMAGE022
个神经元经计算后的输入结果；
Figure 307013DEST_PATH_IMAGE023
表示
Figure 615503DEST_PATH_IMAGE024
层中特征图的第
Figure 175185DEST_PATH_IMAGE025
个特征与
Figure 580627DEST_PATH_IMAGE021
层中的第
Figure 567562DEST_PATH_IMAGE022
个神经元的连接权重；
Figure 301032DEST_PATH_IMAGE026
为
Figure 395896DEST_PATH_IMAGE024
层中特征图的第
Figure 584739DEST_PATH_IMAGE025
个特征值；
Figure 116477DEST_PATH_IMAGE027
为第
Figure 133980DEST_PATH_IMAGE021
层全连接层神经元中第
Figure 235797DEST_PATH_IMAGE022
个神经元的偏 置值；
S2.3.6：长短期记忆网络LSTM使用一组gate函数控制反馈，短时间的错误被删除， 持续的特性会被保留；使用子网中
Figure 353182DEST_PATH_IMAGE028
和
Figure 351094DEST_PATH_IMAGE029
进行输出，其中
Figure 452299DEST_PATH_IMAGE030
为输入门，输 入车联网数据特征值的数目；
Figure 888965DEST_PATH_IMAGE031
为更新门，是指所循环的神经网络的层数，默认为1；
Figure 795610DEST_PATH_IMAGE032
为遗忘门，是通过权重和偏置以及输入门计算得到的维度；
Figure 306968DEST_PATH_IMAGE029
为输出门，由权重和 偏置以及遗忘门和更新门水平拼接而成的向量计算得到的结果；最后通过两种类型的控制 门
Figure 564643DEST_PATH_IMAGE033
和
Figure 805000DEST_PATH_IMAGE034
来确定先前学习的反馈
Figure 834660DEST_PATH_IMAGE035
和电流输出
Figure 502271DEST_PATH_IMAGE036
：
Figure 250172DEST_PATH_IMAGE037
(5)
Figure 90958DEST_PATH_IMAGE038
(6)
LSTM通过调整网络中的权值和
Figure 972195DEST_PATH_IMAGE039
值来学习输入，从而在输出中有效地生成输入数 据之间的时间特征；
S3：从HDFS上读取数据进行处理并输入进CNN-LSTM组合深度学习算法模型中，对数据进行识别；
S4：将数据分成多个RDD进行批量训练，并进行迭代达到预设次数。
所述的步骤S1：Spark分布式集群环境包括一台主节点和多台从节点，包括弹性分布式数据库RDD、分布式文件系统及容错机制。
所述的步骤S2，构建CNN-LSTM组合深度学习算法模型以及参数的初始化，将采集到的数据上传到HDFS中具体为：
S2.1.1：数据流量采集主要是对车联网在通信过程中产生的数据交互，包括正常交互数据，由车载终端从云服务平台获取包括娱乐信息服务、地图、路况、辅助驾驶；
S2.1.2：由车载终端获取路测设备的红绿灯信息以及路况和盲区信息；
S2.1.3：由车载终端与车载终端进行信息传递包括路况预警信息；
S2.1.4：以及路测设备将路测传感数据或计算上传到云服务平台；包括采集协议类型、网络连接状态、网络服务类型；
S2.1.5：在数据传输过程中的异常入侵数据；
S2.1.6：在传输节点上连接入侵检测设备对数据进行采集、去重、分析。
所述的步骤S2.1.4：采集协议类型包括TCP、UDP、ICMP；网络连接状态包括0TH、REJ、RST0；网络服务类型包括auth、bgp、http、ftp、telent。
所述的步骤S2.1.5：在数据传输过程中的异常入侵数据，包括DoS、Probing、R2L、U2R，具体分类标识包括back、land、neptune、pod、ipsweep、nmap。
所述的步骤S2，将采集到的数据上传到HDFS中，对未处理通信数据进行预处理，采用数据数值化、归一化以及标准化：
S2.2.1：针对未处理的数据进行预处理，具体来说就是发送和接收车辆消息的车载单元OBU以及路侧设施RSU在进行交互的过程中对其中传输的数据进行检测和处理；清洗错误数据和丢失不全的数据，对没有数值化的数据进行数值化，成为有价值的新数据；
S2.2.2：数据数值化，对数据传输过程中各种形式的数据进行数值化操作；就是将S2.2.1中收集到的数据，由原来的字符型转化为数值型数据，更好的分析和识别数据的内容；例如将属性特征三种协议类型：TCP、UDP、ICMP编码为1，2，3；
S2.2.3：根据数值化的数据，将车联网数据其取值范围在[0,58329]变为(0,1)或者(1,1)之间的小数便于数据更加快速的提取；消除数值化带来的不同量纲的影响；采用0均值标准化，通过数据的均值和标准差进行数据的标准化，经过处理的车联网数据符合标准正态分布，即均值为0，标准差为1，函数原型为：
Figure 141533DEST_PATH_IMAGE040
(1)
其中，
Figure 108220DEST_PATH_IMAGE041
为当前车联网采集到的数据的均值，
Figure 681591DEST_PATH_IMAGE042
为当前车联网采集到的数据的标 准差；
S2.2.4：经过数据的采集以及数据的预处理过程进行车联网数据分析的标准化。
本发明公开了一种基于Spark车联网组合深度学习入侵检测系统，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法步骤。
本发明公开了一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现所述的方法步骤。
3、本发明所采用的有益效果
（1）本发明使用组合深度学习算法用于车联网入侵检测的检测结果，提高车联网入侵检测的检测准确率，使用的组合算法计算简单，易于实现，具有实际应用价值；
（2）本发明通过搭建Spark分布式集群，减少入侵检测所需实际，具有良好的实时性；
（3）本发明能精准捕捉车联网数据通信过程中的异常数据，在最快的时间内完成检测，得到检测结果，具有较快的速度；
（4）本发明在车联网体系结构中的各个部分都可以使用，使用的检测算法也可以进行替换，具有良好的可迁移性和可扩展性。
附图说明
图1为本发明基于Spark平台车联网分布式组合深度学习算法流程图。
图2为组合深度学习算法模型示意图。
图3为本发明和部分已有方法在准确率和误报率比较图。
图4为本发明和部分已有方法检测时间比较图。
图5为本发明的整体流程图。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
如图1、5所示，基于Spark分布式集群和组合深度学习算法模型对车联网数据流量进行入侵检测，得到结果。
S1：通过搭建Spark分布式集群将所述步骤3的组合深度学习方法用于车联网入侵检测。Spark分布式集群环境包括一台主节点和四台从节点，Spark架构主要用到弹性分布式数据库RDD、分布式文件系统及容错机制等模块；
S2：初始化Spark并构建所述的CNN-LSTM组合深度学习算法模型以及参数的初始化，将采集到的数据上传到HDFS中；
S3：从HDFS上读取数据进行处理并输入进CNN-LSTM组合深度学习算法模型中，对数据进行识别，见步骤3。
S4：将数据分成多个RDD进行批量训练，并进行迭代达到预设次数。
所述的S2中，对车联网通信过程的原始数据进行采集；
S2.1.1：数据流量采集主要是对车联网在通信过程中产生的数据交互，包括正常交互数据，由车载终端从云服务平台获取的娱乐信息服务、地图、路况、辅助驾驶等；
S2.1.2：由车载终端获取路测设备的红绿灯信息以及路况和盲区信息；
S2.1.3：由车载终端与车载终端进行信息传递和路况预警等信息；
S2.1.4：以及路测设备将路测传感数据或者高复杂度的计算上传到云服务平台当中等。共包括采集3种协议类型（TCP、UDP、ICMP）；11种网络连接状态，如：0TH、REJ、RST0等；70种网络服务类型，包括auth、bgp、http、ftp、telent等
S2.1.5：另外，在数据传输过程中的异常入侵数据，包括DoS（拒绝服务）攻击、Probing（探测攻击）、R2L（远程非法访问）、U2R（越权访问）等，具体分类标识为back、land、neptune、pod、ipsweep、nmap等共计4大类39种攻击类型。
S2..6：对车联网通信过程中的数据流量进行采集操作如下：所有交互数据不论采用怎样的交互手段最终都会通过光纤等有线的方式进行汇聚，因此在传输节点（交换机或路由器）上连接入侵检测设备对数据进行采集、去重、分析。
步骤2.2：对未处理通信数据进行预处理，采用数据数值化、归一化以及标准化的步骤进行；
S2.2.1：针对未处理的数据进行预处理，具体来说就是发送和接收车辆消息的车载单元（OBU）以及路侧设施（RSU）在进行交互的过程中对其中传输的数据进行检测和处理。清洗错误数据和丢失不全的数据，对没有数值化的数据进行数值化，成为有价值的新数据。
S2.2.2：数据数值化，对数据传输过程中各种形式的数据进行数值化操作。就是将步骤1中收集到的数据，由原来的字符型转化为数值型数据，更好的分析和识别数据的内容。例如将属性特征三种协议类型：TCP、UDP、ICMP编码为1，2，3。
S2.2.3：根据数值化的数据，将车联网数据其取值范围在[0,58329]变为(0,1)或者(1,1)之间的小数便于数据更加快速的提取。消除数值化带来的不同量纲的影响。采用0均值标准化，通过数据的均值和标准差进行数据的标准化，经过处理的车联网数据符合标准正态分布，即均值为0，标准差为1，函数原型为：
Figure 620597DEST_PATH_IMAGE043
(1)
其中，
Figure 567694DEST_PATH_IMAGE044
为当前车联网采集到的数据的均值，
Figure 24607DEST_PATH_IMAGE045
为当前车联网采集到的数据的 标准差。
S2.2.4：经过数据的采集以及数据的预处理过程进行车联网数据分析的标准化。
S2.3：基于CNN-LSTM组合深度学习算法模型进行数据训练和特征提取检测数据流量；
S2.3.1：对数据进行训练时，设置100次的迭代；
S2.3.2：对车联网数据的特征提取由卷积神经网络（CNN）完成，CNN结构的第一层为网络的输入层，本层的网络的输入维度为11*11；
S2.3.3：第二层为卷积层用于提取特征，使用sigmoid或tanh函数，加快收敛和训练速度，本层的卷积核大小为[5*5]；
每个卷积层包含卷积操作和非线性激活两个过程。当前层的特征图可由卷积核进而前一层的输出特征图或原始特征图进行卷积操作得到：
Figure 472775DEST_PATH_IMAGE046
(2)
其中，
Figure 328604DEST_PATH_IMAGE047
表示经过卷积之后第
Figure 574165DEST_PATH_IMAGE048
层特征图中的第
Figure 453129DEST_PATH_IMAGE049
个位置的输入；
Figure 504655DEST_PATH_IMAGE050
表示 第
Figure 277307DEST_PATH_IMAGE051
层中的第
Figure 908751DEST_PATH_IMAGE052
个输入矩阵；
Figure 399644DEST_PATH_IMAGE053
表示在第
Figure 864648DEST_PATH_IMAGE048
层和第
Figure 757386DEST_PATH_IMAGE051
层之间连接第
Figure 469384DEST_PATH_IMAGE052
个输入 矩阵和第
Figure 385256DEST_PATH_IMAGE049
个位置的卷积核；
Figure 653951DEST_PATH_IMAGE054
表示到第
Figure 401196DEST_PATH_IMAGE048
层特征图和第
Figure 359794DEST_PATH_IMAGE049
个位置的偏置量；
S2.3.4：池化层对特征进行抽样，使用LeakyRelu激活：
Figure 488594DEST_PATH_IMAGE055
（3）
其中，当车联网标准化后的值
Figure 495733DEST_PATH_IMAGE056
的取值小于0时，
Figure 35167DEST_PATH_IMAGE057
的取值为0；当车联网标准 化后的值
Figure 167596DEST_PATH_IMAGE056
的取值大于0时，
Figure 792481DEST_PATH_IMAGE057
的取值为
Figure 337732DEST_PATH_IMAGE056
；
S2.3.5：最后全连接层将提取的特征连接起来形成整体特征，输入到LSTM中，全连接层的神经元输出计算：
Figure 182DEST_PATH_IMAGE058
（4）
其中，
Figure 425216DEST_PATH_IMAGE059
表示第
Figure 664961DEST_PATH_IMAGE060
层全连接层神经元中第
Figure 76220DEST_PATH_IMAGE061
个神经元经计算后的输入结果；
Figure 276999DEST_PATH_IMAGE062
表示
Figure 748300DEST_PATH_IMAGE063
层中特征图的第
Figure 285461DEST_PATH_IMAGE064
个特征与
Figure 503340DEST_PATH_IMAGE065
层中的第
Figure 606294DEST_PATH_IMAGE066
个神经元的连接权重；
Figure 186180DEST_PATH_IMAGE067
为
Figure 10304DEST_PATH_IMAGE063
层中特征图的第
Figure 763365DEST_PATH_IMAGE064
个特征值；
Figure 251984DEST_PATH_IMAGE068
为第
Figure 740122DEST_PATH_IMAGE069
层全连接层神经元中第
Figure 314192DEST_PATH_IMAGE066
个神经元的偏 置值。
S2.3.6：长短期记忆网络（LSTM）使用一组gate函数控制反馈，短时间的错误被删 除，持续的特性会被保留。使用子网中(
Figure 808627DEST_PATH_IMAGE070
和
Figure 877384DEST_PATH_IMAGE071
)进行输出，其中
Figure 861390DEST_PATH_IMAGE072
是指输入门，是输入的车联网数据特征值的数目；
Figure 594859DEST_PATH_IMAGE073
是指更新门，是指所循环的神经网 络的层数，这里默认是1；
Figure 20549DEST_PATH_IMAGE074
是指遗忘门，具体是通过权重和偏置以及输入门计算得到 的维度；
Figure 155864DEST_PATH_IMAGE075
是指输出门，具体是由权重和偏置以及遗忘门和更新门水平拼接而成的向量 计算得到的结果。最后通过两种类型的控制门（
Figure 310771DEST_PATH_IMAGE076
和
Figure 596783DEST_PATH_IMAGE077
）来确定先前学习的反馈
Figure 495338DEST_PATH_IMAGE078
和电流输出
Figure 485159DEST_PATH_IMAGE079
：
Figure 813897DEST_PATH_IMAGE080
(5)
Figure 584276DEST_PATH_IMAGE081
(6)
LSTM通过调整网络中的权值和
Figure 910408DEST_PATH_IMAGE076
值来学习输入，从而在输出中有效地生成输入数 据之间的时间特征。
3、为了验证本发明方法相较于现有技术具有较好的效果，使用相关数据集对方法进行对比验证。如图3为本发明和部分已有方法在NSL-KDD数据集上的比较结果。其中上图总共使用148517条数据，下图在UNSW-NB15数据集上比较，总共使用121981条数据，通过对四种不同方法与本方法的比较，组合深度学习算法模型分别达到了99.7%和99.4%的准确率。
4、为了验证本发明方法相较于现有技术具有更低的检测时间，使用Spark分布式集群和相关数据集对组合深度学习算法模型进行对比验证。如图4为本发明和部分已有方法在NSL-KDD和UNSW_NB15数据集上的比较结果。可以看出基于Spark的分布式组合深度学习方法具有最低的检测时间。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于Spark车联网组合深度学习入侵检测方法，其特征在于，包括以下步骤：
S1：搭建Spark分布式集群；
Spark分布式集群环境包括一台主节点和多台从节点，包括弹性分布式数据库RDD、分布式文件系统HDFS及容错机制；
S2：初始化Spark布式集群并构建CNN-LSTM组合深度学习算法模型以及参数的初始化，将采集到的数据上传到HDFS中；
所述的步骤S2构建CNN-LSTM组合深度学习算法模型具体为：
构建CNN-LSTM组合深度学习算法模型以及参数的初始化，将采集到的数据上传到HDFS中具体为：
S2.1.1：数据流量采集是对车联网在通信过程中产生的数据交互，包括采集由车载终端从云服务平台获取包括娱乐信息服务、地图、路况、辅助驾驶信息；
S2.1.2：采集由车载终端获取的路测设备的红绿灯信息以及路况和盲区信息；
S2.1.3：采集由车载终端与车载终端传递的信息，包括路况预警信息；
S2.1.4：以及路测设备将路测传感数据上传到云服务平台；其中包括采集协议类型、网络连接状态、网络服务类型；
S2.1.5：采集在数据传输过程中的异常入侵数据；
S2.1.6：在传输节点上连接入侵检测设备对数据进行采集、去重、分析；
将采集到的数据上传到HDFS中，对未处理通信数据进行预处理，采用数据数值化、归一化以及标准化：
S2.2.1：针对未处理的数据进行预处理，具体来说就是发送和接收车辆消息的车载单元OBU以及路侧设施RSU在进行交互的过程中对其中传输的数据进行检测和处理；清洗错误数据和丢失不全的数据，对没有数值化的数据进行数值化，成为有价值的新数据；
S2.2.2：数据数值化，对数据传输过程中各种形式的数据进行数值化操作；就是将S2.2.1中收集到的数据，由原来的字符型转化为数值型数据，更好的分析和识别数据的内容；将属性特征三种协议类型：TCP、UDP、ICMP编码为1，2，3；
S2.2.3：根据数值化的数据，将车联网数据其取值范围在[0,58329]变为(0,1)的小数便于数据更加快速的提取；消除数值化带来的不同量纲的影响；采用0均值标准化，通过数据的均值和标准差进行数据的标准化，经过处理的车联网数据符合标准正态分布，即均值为0，标准差为1，函数原型为：
Figure DEST_PATH_IMAGE001
(1)
其中，
Figure DEST_PATH_IMAGE002
为当前车联网采集到的数据的均值，
Figure DEST_PATH_IMAGE003
为当前车联网采集到的数据的标准差；
S2.2.4：经过数据的采集以及数据的预处理过程进行车联网数据分析的标准化；
S2.3.1：对数据进行训练时，设置多次的迭代；
S2.3.2：对车联网数据的特征提取由卷积神经网络CNN完成，CNN结构的第一层为网络的输入层；
S2.3.3：第二层为卷积层用于提取特征，使用sigmoid或tanh函数，加快收敛和训练速度；
每个卷积层包含卷积操作和非线性激活两个过程；当前层的特征图可由卷积核进而前一层的输出特征图或原始特征图进行卷积操作得到：
Figure DEST_PATH_IMAGE004
(2)
其中，
Figure DEST_PATH_IMAGE005
表示经过卷积之后第
Figure DEST_PATH_IMAGE006
层特征图中的第
Figure DEST_PATH_IMAGE007
个位置的输入；
Figure DEST_PATH_IMAGE008
表示第
Figure DEST_PATH_IMAGE009
层中的第
Figure DEST_PATH_IMAGE010
个输入矩阵；
Figure DEST_PATH_IMAGE011
表示在第
Figure 924938DEST_PATH_IMAGE006
层和第
Figure DEST_PATH_IMAGE012
层之间连接第
Figure 488685DEST_PATH_IMAGE010
个输入矩阵和第
Figure 19155DEST_PATH_IMAGE007
个位置的卷积核；
Figure DEST_PATH_IMAGE013
表示到第
Figure 37533DEST_PATH_IMAGE006
层特征图和第
Figure 461692DEST_PATH_IMAGE007
个位置的偏置量；
S2.3.4：池化层对特征进行抽样，使用LeakyRelu激活：
Figure DEST_PATH_IMAGE014
（3）
其中，当车联网标准化后的值
Figure DEST_PATH_IMAGE015
的取值小于0时，
Figure DEST_PATH_IMAGE016
的取值为0；当车联网标准化后 的值
Figure 281225DEST_PATH_IMAGE015
的取值大于0时，
Figure 296061DEST_PATH_IMAGE016
的取值为
Figure 245694DEST_PATH_IMAGE015
；
S2.3.5：最后全连接层将提取的特征连接起来形成整体特征，输入到LSTM中，全连接层的神经元输出计算：
Figure DEST_PATH_IMAGE017
（4）
其中，
Figure DEST_PATH_IMAGE018
表示第
Figure DEST_PATH_IMAGE019
层全连接层神经元中第
Figure DEST_PATH_IMAGE020
个神经元经计算后的输入结果；
Figure DEST_PATH_IMAGE021
表 示
Figure DEST_PATH_IMAGE022
层中特征图的第
Figure DEST_PATH_IMAGE023
个特征与
Figure DEST_PATH_IMAGE024
层中的第
Figure 119101DEST_PATH_IMAGE020
个神经元的连接权重；为
Figure 548683DEST_PATH_IMAGE022
层中特征图的第
Figure 240696DEST_PATH_IMAGE023
个特征值；
Figure DEST_PATH_IMAGE027
为第
Figure DEST_PATH_IMAGE028
层全连接层神经元中第
Figure 351609DEST_PATH_IMAGE020
个神经元的偏置值；
S2.3.6：长短期记忆网络LSTM使用一组gate函数控制反馈，短时间的错误被删除，持续 的特性会被保留；使用子网中
Figure DEST_PATH_IMAGE029
和
Figure DEST_PATH_IMAGE030
进行输出，其中
Figure DEST_PATH_IMAGE031
为输入门，输入车 联网数据特征值的数目；
Figure DEST_PATH_IMAGE032
为更新门，是指所循环的神经网络的层数，默认为1；
Figure DEST_PATH_IMAGE033
为 遗忘门，是通过权重和偏置以及输入门计算得到的维度；
Figure 495233DEST_PATH_IMAGE030
为输出门，由权重和偏置以及 遗忘门和更新门水平拼接而成的向量计算得到的结果；最后通过两种类型的控制门
Figure DEST_PATH_IMAGE034
和
Figure DEST_PATH_IMAGE035
来确定先前学习的反馈
Figure DEST_PATH_IMAGE036
和电流输出
Figure DEST_PATH_IMAGE037
：
Figure DEST_PATH_IMAGE038
(5)
Figure DEST_PATH_IMAGE040
(6)
LSTM通过调整网络中的权值和
Figure 381804DEST_PATH_IMAGE034
值来学习输入，从而在输出中有效地生成输入数据之 间的时间特征；
S3：从HDFS上读取数据进行处理并输入进CNN-LSTM组合深度学习算法模型中，对数据进行识别；
S4：将数据分成多个RDD进行批量训练，并进行迭代达到预设次数。
2.根据权利要求1所述的基于Spark车联网组合深度学习入侵检测方法，其特征在于，所述的步骤S2.1.4：采集协议类型包括TCP、UDP、ICMP；网络连接状态包括0TH、REJ、RST0；网络服务类型包括auth、bgp、http、ftp、telent。
3.根据权利要求1所述的基于Spark车联网组合深度学习入侵检测方法，其特征在于，所述的步骤S2.1.5：异常入侵数据包括DoS、Probing、R2L、U2R，具体分类标识包括back、land、neptune、pod、ipsweep、nmap。
4.一种基于Spark车联网组合深度学习入侵检测系统，包括存储器和处理器，存储器存储有计算机程序，其特征在于；所述处理器执行所述计算机程序时实现如权利要求1-3任一所述的方法步骤。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时实现如权利要求1-3任一所述的方法步骤。
CN202011122116.4A 2020-10-20 2020-10-20 基于Spark车联网组合深度学习入侵检测方法及系统 Active CN111970309B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011122116.4A CN111970309B (zh) 2020-10-20 2020-10-20 基于Spark车联网组合深度学习入侵检测方法及系统
US17/506,607 US11503057B2 (en) 2020-10-20 2021-10-20 Intrusion detection method and system for internet of vehicles based on spark and combined deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011122116.4A CN111970309B (zh) 2020-10-20 2020-10-20 基于Spark车联网组合深度学习入侵检测方法及系统

Publications (2)

Publication Number Publication Date
CN111970309A CN111970309A (zh) 2020-11-20
CN111970309B true CN111970309B (zh) 2021-02-02

Family

ID=73387586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011122116.4A Active CN111970309B (zh) 2020-10-20 2020-10-20 基于Spark车联网组合深度学习入侵检测方法及系统

Country Status (2)

Country Link
US (1) US11503057B2 (zh)
CN (1) CN111970309B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113162902B (zh) * 2021-02-02 2022-09-16 江苏大学 一种基于深度学习的低时延、安全的车载入侵检测方法
CN114157513B (zh) * 2022-02-07 2022-09-13 南京理工大学 基于改进卷积神经网络的车联网入侵检测方法及设备
CN114710372B (zh) * 2022-06-08 2022-09-06 湖南师范大学 基于增量学习的车载can网络入侵检测系统及方法
CN115083337B (zh) * 2022-07-08 2023-05-16 深圳市安信泰科技有限公司 一种led显示驱动系统及方法
CN115459996A (zh) * 2022-09-06 2022-12-09 重庆邮电大学 基于门控卷积和特征金字塔的网络入侵检测方法
CN116112193B (zh) * 2022-10-18 2023-07-28 贵州师范大学 一种基于深度学习的轻量级车载网络入侵检测方法
CN115361242B (zh) * 2022-10-24 2023-03-24 长沙市智为信息技术有限公司 一种基于多维特征网络的Web攻击检测方法
CN115580486B (zh) * 2022-11-18 2023-04-07 宁波市镇海区大数据投资发展有限公司 基于大数据的网络安全感知方法与装置
CN115811440B (zh) * 2023-01-12 2023-06-09 南京众智维信息科技有限公司 一种基于网络态势感知的实时流量检测方法
CN116089225B (zh) * 2023-04-12 2023-07-07 浙江大学 一种基于BiLSTM的公共数据采集动态感知系统及方法
CN116300966B (zh) * 2023-05-05 2023-08-15 北京科技大学 一种人机协作搬运的协作机器人控制方法
CN116504005B (zh) * 2023-05-09 2024-02-20 齐鲁工业大学(山东省科学院) 一种基于改进CDIL-Bi-LSTM的周界安防入侵信号识别方法
CN116663465B (zh) * 2023-06-21 2023-10-27 南京邮电大学 基于深度学习的考虑mis效应的单元统计延时模型构建方法
CN116628428B (zh) * 2023-07-24 2023-10-31 华能信息技术有限公司 一种数据加工方法及系统
CN117294476A (zh) * 2023-09-08 2023-12-26 湖北华中电力科技开发有限责任公司 基于深度学习神经网络的网络入侵检测方法、装置、系统及存储介质
CN117633615A (zh) * 2023-11-21 2024-03-01 国网江苏省电力有限公司南京供电分公司 电力调控敏感数据的识别方法、装置、设备及存储介质
CN117354056B (zh) * 2023-12-04 2024-02-13 中国西安卫星测控中心 基于卷积神经网络和集成学习算法的网络入侵检测方法
CN117811850B (zh) * 2024-03-01 2024-05-28 南京信息工程大学 一种基于STBformer模型的网络入侵检测方法及系统
CN117997652B (zh) * 2024-04-03 2024-06-07 江西师范大学 一种基于集成学习的车辆入侵检测方法及装置
CN118171275A (zh) * 2024-05-15 2024-06-11 暨南大学 基于自监督箱型分类的智能交通车辆安全检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110293818A (zh) * 2019-07-12 2019-10-01 腾讯科技（深圳）有限公司 车载空调控制方法和装置
CN110881037A (zh) * 2019-11-19 2020-03-13 北京工业大学 网络入侵检测方法及其模型的训练方法、装置和服务器
CN111428789A (zh) * 2020-03-25 2020-07-17 广东技术师范大学 一种基于深度学习的网络流量异常检测方法
US20200322362A1 (en) * 2019-04-05 2020-10-08 Hoseo University Academic Cooperation Foundation Deep-learning-based intrusion detection method, system and computer program for web applications
CN111783442A (zh) * 2019-12-19 2020-10-16 国网江西省电力有限公司电力科学研究院 入侵检测方法、设备和服务器、存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699205B2 (en) * 2015-08-31 2017-07-04 Splunk Inc. Network security system
US10333962B1 (en) * 2016-03-30 2019-06-25 Amazon Technologies, Inc. Correlating threat information across sources of distributed computing systems
WO2018116123A1 (en) * 2016-12-19 2018-06-28 Bremler Barr Anat Protecting against unauthorized access to iot devices
CA3000166A1 (en) * 2017-04-03 2018-10-03 Royal Bank Of Canada Systems and methods for cyberbot network detection
CN107948172B (zh) * 2017-11-30 2021-05-25 恒安嘉新（北京）科技股份公司 一种基于人工智能行为分析的车联网入侵攻击检测方法和系统
WO2019118836A1 (en) * 2017-12-15 2019-06-20 Walmart Apollo, Llc System and method for autonomous vehicle intrusion counter-measures
US10990669B2 (en) * 2018-10-09 2021-04-27 Bae Systems Controls Inc. Vehicle intrusion detection system training data generation
US11700270B2 (en) * 2019-02-19 2023-07-11 The Aerospace Corporation Systems and methods for detecting a communication anomaly
KR102190054B1 (ko) * 2019-05-27 2020-12-11 조선대학교산학협력단 다중 정보 엔트로피의 비교를 통한 차량 내 외부 데이터 침입 탐지 장치 및 그 동작 방법
US11535267B2 (en) * 2020-03-18 2022-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. User alert systems, apparatus, and related methods for use with vehicles
US11125202B1 (en) * 2020-07-15 2021-09-21 Fca Us Llc Feedforward artificial neural network for off-nominal spark control
US20220182402A1 (en) * 2020-12-07 2022-06-09 Raytheon Company In-vehicle network intrusion detection using unsupervised learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200322362A1 (en) * 2019-04-05 2020-10-08 Hoseo University Academic Cooperation Foundation Deep-learning-based intrusion detection method, system and computer program for web applications
CN110293818A (zh) * 2019-07-12 2019-10-01 腾讯科技（深圳）有限公司 车载空调控制方法和装置
CN110881037A (zh) * 2019-11-19 2020-03-13 北京工业大学 网络入侵检测方法及其模型的训练方法、装置和服务器
CN111783442A (zh) * 2019-12-19 2020-10-16 国网江西省电力有限公司电力科学研究院 入侵检测方法、设备和服务器、存储介质
CN111428789A (zh) * 2020-03-25 2020-07-17 广东技术师范大学 一种基于深度学习的网络流量异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CNN和LSTM深度网络的伪装用户入侵检测;王毅等;《计算机科学与探索》;20171128;全文 *

Also Published As

Publication number Publication date
CN111970309A (zh) 2020-11-20
US20220217170A1 (en) 2022-07-07
US11503057B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
CN111970309B (zh) 基于Spark车联网组合深度学习入侵检测方法及系统
Song et al. In-vehicle network intrusion detection using deep convolutional neural network
Hanselmann et al. CANet: An unsupervised intrusion detection system for high dimensional CAN bus data
Zeng et al. DeepVCM: A deep learning based intrusion detection method in VANET
CN114157513B (zh) 基于改进卷积神经网络的车联网入侵检测方法及设备
CN112822189A (zh) 一种流量识别方法及装置
CN111885060B (zh) 面向车联网的无损式信息安全漏洞检测系统和方法
CN110768971B (zh) 适用于人工智能系统的对抗样本快速预警方法及系统
CN113079167B (zh) 一种基于深度强化学习的车联网入侵检测方法及系统
Agate et al. A resilient smart architecture for road surface condition monitoring
CN112822684B (zh) 车辆入侵检测方法及防御系统
CN111669396B (zh) 一种软件定义物联网自学习安全防御方法及系统
Kang et al. A transfer learning based abnormal can bus message detection system
Deng et al. A lightweight sender identification scheme based on vehicle physical layer characteristics
Li et al. The research of random forest intrusion detection model based on optimization in internet of vehicles
CN115766092A (zh) 一种can网络入侵检测方法、装置及存储介质
CN115859344A (zh) 基于秘密共享的联邦无人机群数据安全共享方法
CN112804189A (zh) 基于云雾协同的车联网入侵检测方法
Hamad et al. Intrusion detection system using artificial intelligence for internal messages of robotic cars
Song et al. Vehicular Communications
Oates The suitability of the dendritic cell algorithm for robotic security applications
CN117201107A (zh) 一种基于多维特征的云车联动入侵检测方法及系统
Rezaei Detecting botnet on IoT by using unsupervised learning techniques
Alferaidi et al. Research Article Distributed Deep CNN-LSTM Model for Intrusion Detection Method in IoT-Based Vehicles
Awaad et al. An Intelligent, Two-Stage, In-Vehicle Diagnostic-Based Secured Framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant