CN108958217A - 一种基于深度学习的can总线报文异常检测方法 - Google Patents

Abstract

本发明涉及一种CAN总线报文异常检测方法，特别是一种基于深度学习的CAN总线报文异常检测方法。本发明主要应用于汽车CAN网络通信系统，包括模型分析及异常检测方法。在CAN总线拓扑模型的基础上，建立深度学习网络，异常检测方法根据对CAN总线中的报文进行处理，分为训练集、调优集和测试集，首先通过训练集对网络模型进行初始化参数，然后通过调优集利用BP算法对与训练过程中的参数进行优化，并在BP算法中引入惯性项进行优化，最后通过报文测试集对深度置信网络模型进行测试，从而达到提高CAN总线网络可靠性的目的。

Description

一种基于深度学习的CAN总线报文异常检测方法

技术领域

本发明涉及一种CAN总线报文异常检测方法，特别是一种基于深度学习的CAN总线报文异常检测方法，该方法能有效检测CAN总线中传输的报文是否是异常状态，从而提高网络的可靠性。

背景技术

控制器局域网CAN(Controller Area Network)是一种面向汽车的国际标准化串行通信协议，目前已经是汽车网络的标准协议。由于其高性能和可靠性也广泛应用于工业自动化、船舶、医疗设备汽车以及其它工业场合，为分布式控制系统实现各节点之间实时、可靠的数据通信提供强有力支持。

随着汽车搭载的功能性、娱乐性设备的增加，CAN总线网络规模变得愈加复杂，网络遭受干扰的可能性增大。并且现代的汽车行业趋于智能化发展，易被黑客攻击，从而降低CAN网络的可靠性，易造成安全问题。

深度学习作为机器学习领域的一种新兴方法，能够从复杂的数据分布中自动提取故障特征。深度置信网络作为深度学习的经典算法之一，能够通过逐层的网络结构从原始数据中提取高层次特征。将深度置信网络应用到异常检测领域避免了传统方法由于人工参与和需要大量信号处理技术等造成的特征提取方法的不确定性和复杂性。

因此，如何对CAN总线网络中的报文进行有效的异常检测，准确判断报文是否存在异常，提高总线中报文检测的准确率，成为车载网络所要解决的问题。

发明内容

为了解决上述问题，本发明一种基于深度学习的CAN总线报文异常检测方法包括两部分内容：模型分析及异常检测方法。模型分析是对CAN总线网络模型进行通信过程分析，并依据此模型建立深度学习网络，异常检测方法根据对CAN总线中的报文进行处理，分为训练集、调优集和测试集，首先通过训练集对网络模型进行初始化参数，然后通过调优集利用BP算法对与训练过程中的参数进行优化，并在BP算法中引入惯性项进行优化，最后通过报文测试集对深度置信网络模型进行测试，从而达到提高网络可靠性的目的。

所述的CAN总线网络的模型，CAN网络中的任意一个ECU节点与CAN总线相连接，并且CAN总线采用多主机方式工作，即网络中节点可以再任意时刻主动地向网络中其他节点发送报文信息。

所述的深度置信网络是由多个限制玻尔兹曼机(Restricted BoltzmannMachine，RBM)组成的多隐含层神经网络，由最底层接收输入数据，通过RBM转换输入数据到隐含层。即高一层的RBM输入来自其上一层RBM的输出。深度置信网络的核心就是运用算法逐层的去优化深度神经网络的连接权重，即首先使用无监督逐层训练的方式，初始化网络中的各层之间的连接权值，将最后一个RBM的输出层得到的结果输入到一个传统的监督分类器中，即可对数据进行分类。通过反向有监督微调，优化网络中的权重参数，从而提高DBN的异常检测能力。由于深度置信网络中的无监督逐层训练通过直接把数据从输入映射到输出，能够学习一些非线性复杂函数，这也是其具备强大特征提取能力的关键所在。

RBM作为深度置信网络的基本模块，实际上是一个两层的递归神经网络，RBM从可视层接收输入数据，并通过一定的映射关系将值传递到隐藏层。一层RBM包含一个可视层v和一个隐含层h，假设可视层有m个节点，其中第j节点的输入用v_j表示；隐含层有n个节点，其中第i个节点的输出用h_i，则一个RBM的能量函数可表示为：

其中：θ＝{w_ij,a_j,b_i:1≤i≤n,1≤j≤m}，w_ij表示可是节点j与隐含节点i之间的权重函数，a_j表示可是节点j的偏置，b_i表示隐含节点i的偏置。

RBM本质就是使得训练后的模型更加相符合输入样本分布。

深度置信网络模型是由若干个RBM堆叠而成，在其进行生成学习过程中分为两部分：无监督预训练过程及有监督调优过程。

无监督预训练过程实质上是初始化网络参数的过程，需要初始化的网络参数是层与层之间的连接权值及各层神经元的偏置值，把深层置信网络从输入到非最高层的每相邻两层都看作一个不带标签的RBM进行CD学习，同时把最高两层看做一个分类RBM，按照下列算法对网络中的参数进行初始化，无监督预训练的目的就是用这些受限波尔兹曼机的条件概率Q(h_k|h_k-1)和Q(h_r|h_r-1)，估计深层置信网络的各层条件概率p(h_k|h_k-1)≈Q(h_k|h_k-1)(1≤k≤r-1)及p(h_r|h_r-1,y)＝Q(h_r|h_r-1，y)。

当一层RBM训练完成后，以该层RBM的隐层的输出作为下一层RBM的输入，重复上述的训练过程，…，依次迭代计算下去，直至最终完成整个预训练的过程。

有监督调优过程实质上是对网络中各层参数进行调整的过程。预训练完成之后，每层RBM可以得到初始化的参数，如果想要得到更理想的效果，接下来，就要对DBN网络进行整体的参数调优训练，进一步优化网络中各层的参数，已达到网络判别性能最优的目的，该过程采用反向传播算法(Back propagation algorithm，BP算法)对网络进行调优，即在预训练过程中输出层与期望的输出存在误差，则进行反向传播，将误差沿原来的连接通道返回，通过修改各层神经元的权值，使误差最小。该过程是有监督学习的过程。

所述的CAN总线异常检测方法是将深度学习算法用在CAN总线异常检测中，是利用深度学习强大的特征提取及数据分类能力，通过深度学习网络，将CAN总线中的报文进行分析处理，从而得到CAN总线中报文是否处于异常状态，该检测方法具体的步骤如下：

步骤1:在选取的CAN总线报文中选取样本数据和特征变量，对样本数据进行标准化处理后按一定比例将其分为预训练集、调优集和测试集；

步骤2:选择合适的编码策略进行编码；

步骤3:建立基于DBN的CAN总线网络异常检测模型，并初始化模型的各参数；

步骤4:采用预训练集中的样本通过CD算法对模型底部的RBM层逐层进行预训练；

步骤5:采用调优集中的标签样本通过BP算法对整个网络进行调优，使得网络性能趋近全局最优；

步骤6:保存训练好的网络，并利用测试集中数据样本对DBN网络的异常检测性能进行测试。

按照上述步骤即可实现对CAN总线网络中的报文进行异常检测。

附图说明

图1为本发明的CAN网络拓扑模型

图2为本发明的RBM结构的简化模型

图3为本发明的深度置信网络的结构图

图4为本发明的异常检测工作流程图

图5为本发明的RBM层数与识别准确率的关系图

具体实施方式

下面结合附图对本发明作进一步的详细说明，本发明一种基于深度学习的CAN总线报文异常检测方法包括两部分内容：模型分析及故异常检测方法。模型分析是对CAN总线网络模型进行通信过程分析，并依据此建立深度学习网络异常检测网络，异常检测方法对CAN总线中的报文进行处理，分为训练集、调优集和测试集，首先通过训练集对网络模型进行初始化参数，然后通过调优集利用BP算法对与训练过程中的参数进行优化，并在BP算法中引入惯性项进行优化，最后通过报文测试集对深度置信网络模型进行测试，从而达到提高网络可靠性的目的。

CAN总线网络的模型如图1所示。CAN网络中的任意一个ECU节点与CAN总线相连接，并且CAN总线采用多主机方式工作，即网络中节点可以再任意时刻主动地向网络中其他节点发送信息。

深度置信网络是由多个限制玻尔兹曼机(Restricted Boltzmann Machine，RBM)组成的多隐含层神经网络，由最底层接收输入数据，通过RBM转换输入数据到隐含层。即高一层的RBM输入来自其上一层RBM的输出。深度置信网络的核心就是运用算法逐层的去优化深度神经网络的连接权重，即首先使用无监督逐层训练的方式，初始化网络中的各层之间的连接权值，将最后一个RBM的输出层得到的结果输入到一个传统的监督分类器中，即可对数据进行分类。通过反向有监督微调，优化网络中的权重参数，从而提高DBN的异常检测能力。由于深度置信网络中的无监督逐层训练通过直接把数据从输入映射到输出，能够学习一些非线性复杂函数，这也是其具备强大特征提取能力的关键所在。

RBM作为深度置信网络的基本模块，实际上是一个两层的递归神经网络，首先从可视层接收输入数据，并通过一定的映射关系将值传递到隐藏层。如图2所示，是RBM结构的简化模型，一层RBM包含一个可视层v和一个隐含层h，假设可视层有m个节点，其中第j节点的输入用v_j表示；隐含层有n个节点，其中第i个节点的输出用h_i，则一个RBM的能量函数可表示为：

其中：θ＝{w_ij,a_j,b_i:1≤i≤n,1≤j≤m}，w_ij表示可是节点j与隐含节点i之间的权重函数，a_j表示可是节点j的偏置，b_i表示隐含节点i的偏置。

由此可得，RBM的联合分布可表示为：

对上式取边缘分布，可得到RBM的可视向量分布：

其隐含向量分布：

其中：sigm(x)＝1/(1+e^-x)

RBM本质就是使得训练后的模型更加相符合输入样本分布。

深度置信网络模型是由若干个RBM堆叠而成，其网络结构图如图3所示，在其进行生成学习过程中分为两部分：无监督预训练过程及有监督调优过程。

无监督预训练过程实质上是初始化网络参数的过程，需要初始化的网络参数是层与层之间的连接权值及各层神经元的偏置值，把深层置信网络从输入到非最高层的每相邻两层都看作一个不带标签的RBM进行CD学习，同时把最高两层看做一个分类RBM，按照下列算法对网络中的参数进行初始化，无监督预训练的目的就是用这些受限波尔兹曼机的条件概率Q(h_k|h_k-1)和Q(h_r|h_r-1)，估计深层置信网络的各层条件概率p(h_k|h_k-1)≈Q(h_k|h_k-1)(1≤k≤r-1)及p(h_r|h_r-1,y)＝Q(h_r|h_r-1，y)。

下面是预训练过程的伪代码：

Input：RBM(v₁，…，v_m，h₁，…，h_n)、训练集S＝{v^(l),1≤l≤N}

Output：梯度近似Δw_ij、Δa_j、Δb_i，其中：i＝1，…，n，j＝1，…，m，

初始化：Δw_ij＝Δa_j＝Δb_i＝0，其中：i＝1，…，n，j＝1，…，m

一层RBM训练完成后，以该层RBM的隐层的输出作为下一层RBM的输入，重复上述的训练过程，…，依次迭代计算下去，直至最终完成整个预训练的过程。

有监督调优过程实质上是对网络中各层参数进行调整的过程。预训练完成之后，每层RBM可以得到初始化的参数，如果想要得到更理想的效果，接下来，就要对DBN网络进行整体的参数调优训练，进一步优化网络中各层的参数，已达到网络判别性能最优的目的，该过程采用反向传播算法(Back propagation algorithm，BP算法)对网络进行调优，即在预训练过程中输出层与期望的输出存在误差，则进行反向传播，将误差沿原来的连接通道返回，通过修改各层神经元的权值，使误差最小。该过程是有监督学习的过程。

将一层节点的输出传送到另一层时，通过调节连接权重系数w_ij来达到增强或减小这些输出的目的。除了输入层的节点外，隐含层和输出层节点的净输入时起那一层节点输出的加权和。每个节点的激活层度有他的输入、节点的偏置等来决定。但对于输入层，输入模式送到输入层节点上，此时，该层节点的输出即等于其输入。

输出层的加权系数修正公式为：

隐含层的加权系数修正公式为：

为了避免在BP网络中系统陷入某些局部最小值或某些静态点或在这些点之间震荡，所以在修改阈值时引入惯性项，使各层的加权系数变化更加平稳，避免落入某一局部最小值。此时的权重修正公式变为：

输出层的权重系数修正公式为：

隐含层的权重系数修正公式为：

其中：β为惯性系数，0＜β＜1

将深度学习算法用在CAN总线报文异常检测中，是利用深度学习强大的特征提取及数据分类能力，通过深度学习网络，将CAN总线中的报文进行分析处理，从而得到CAN总线中报文是否处于异常状态，其检测方法流程如图4所示，具体的步骤如下：

步骤1:在选取的CAN总线报文中选取样本数据和特征变量，对样本数据进行标准化处理后按一定比例将其分为预训练集、调优集和测试集；

步骤2:选择合适的编码策略进行编码；

步骤3:建立基于DBN的CAN总线网络异常检测模型，并初始化模型的各参数；

步骤4:采用预训练集中的样本通过CD算法对模型底部的RBM层逐层进行预训练；

步骤5:采用调优集中的标签样本通过BP算法对整个网络进行调优，使得网络性能趋近全局最优；

步骤6:保存训练好的网络，并利用测试集中数据样本对DBN网络的异常检测性能进行测试。

按照上述步骤即可实现对CAN总线网络中的报文进行异常检测。

为了验证本发明一种基于深度学习的CAN总线报文异常检测方法对CAN总线中异常报文检测的平均准确率，分别在不同的RBM层数对CAN总线网络中报文进行异常检测，如图5所示，结果表明当RBM层越多时，报文异常检测的平均准确率越高，当RBM层数为2时，平均识别准确率提高幅度较大，但从RBM层数自2增加到5时，异常检测的平均准确率缓慢提高，当达到一定数量时，平均识别准确率不在提高。这表明将深度学习算法中的深度置信网络有较优的异常检测性能。

本发明的一种基于深度学习的CAN总线报文异常检测方法，通过对CAN总线网络拓扑模型进行分析，建立深度学习网络模型，将CAN网络中的节点分为测试集、调优集及测试集。通过训练集对网络模型进行初始化参数，然后通过调优集利用BP算法对与训练过程中的参数进行优化，并在BP算法中引入惯性项进行优化，最后通过报文测试集对深度置信网络模型进行测试，利用此模型可以检测CAN总线中是否存在异常报文，达到提高网络可靠性的目的。

Claims (8)

1.一种基于深度学习的CAN总线报文异常检测方法，其特征在于：包括两部分内容：模型分析及故异常检测方法。模型分析是对CAN总线网络模型进行通信过程分析，并依据此建立深度学习网络异常检测网络，异常检测方法对CAN总线中的报文进行处理，分为训练集、调优集和测试集，首先通过训练集对网络模型进行初始化参数，然后通过调优集利用BP算法对与训练过程中的参数进行优化，并在BP算法中引入惯性项进行优化，最后通过报文测试集对深度置信网络模型进行测试，从而达到提高网络可靠性的目的。

2.根据权利要求1所述的一种基于深度学习的CAN总线报文异常检测方法，其特征在于：所述的CAN总线网络的模型，CAN网络中的任意一个ECU节点与CAN总线相连接，并且CAN总线采用多主机方式工作，即网络中节点可以再任意时刻主动地向网络中其他节点发送报文信息。

3.根据权利要求1所述的一种基于深度学习的CAN总线报文异常检测方法，其特征在于：所述的深度置信网络是由多个限制玻尔兹曼机(RBM)组成的多隐含层神经网络，由最底层接收输入数据，通过RBM转换输入数据到隐含层。即高一层的RBM输入来自其上一层RBM的输出。深度置信网络的核心就是运用算法逐层的去优化深度神经网络的连接权重，即首先使用无监督逐层训练的方式，初始化网络中的各层之间的连接权值，将最后一个RBM的输出层得到的结果输入到一个传统的监督分类器中，即可对数据进行分类。通过反向有监督微调，优化网络中的权重参数，从而提高DBN的异常检测能力。由于深度置信网络中的无监督逐层训练通过直接把数据从输入映射到输出，能够学习一些非线性复杂函数，这也是其具备强大特征提取能力的关键所在。

4.根据权利要求3所述的一种基于深度学习的CAN总线报文异常检测方法，其特征在于：所述的限制玻尔兹曼机(RBM)作为深度置信网络的基本模块，实际上是一个两层的递归神经网络，首先从可视层接收输入数据，并通过一定的映射关系将值传递到隐藏层。如图2所示，是RBM结构的简化模型，一层RBM包含一个可视层v和一个隐含层h，假设可视层有m个节点，其中第j节点的输入用v_j表示；隐含层有n个节点，其中第i个节点的输出用h_i，则一个RBM的能量函数可表示为：

其中：θ＝{w_ij,a_j,b_i:1≤i≤n,1≤j≤m}，w_ij表示可是节点j与隐含节点i之间的权重函数，a_j表示可是节点j的偏置，b_i表示隐含节点i的偏置。

由此可得，RBM的联合分布可表示为：

对上式取边缘分布，可得到RBM的可视向量分布：

其隐含向量分布：

其中：sigm(x)＝1/(1+e^-x)

RBM本质就是使得训练后的模型更加相符合输入样本分布。

5.根据权利要求4所述的一种基于深度学习的CAN总线报文异常检测方法，其特征在于：所述的深度置信网络模型是由若干个RBM堆叠而成，在其进行生成学习过程中分为两部分：无监督预训练过程及有监督调优过程。

6.根据权利要求5所述的一种基于深度学习的CAN总线报文异常检测方法，其特征在于：所述的无监督预训练过程实质上是初始化网络参数的过程，需要初始化的网络参数是层与层之间的连接权值及各层神经元的偏置值，把深层置信网络从输入到非最高层的每相邻两层都看作一个不带标签的RBM进行CD学习，同时把最高两层看做一个分类RBM，按照下列算法对网络中的参数进行初始化，无监督预训练的目的就是用这些受限波尔兹曼机的条件概率Q(h_k|h_k-1)和Q(h_r|h_r-1)，估计深层置信网络的各层条件概率p(h_k|h_k-1)≈Q(h_k|h_k-1)(1≤k≤r-1)及p(h_r|h_r-1,y)＝Q(h_r|h_r-1，y)；

下面是预训练过程的伪代码：

Input：RBM(v₁，…，v_m，h₁，…，h_n)、训练集S＝{v^(l),1≤l≤N}

Output：梯度近似Δw_ij、Δa_j、Δb_i，其中：i＝1，…，n，j＝1，…，m，

初始化：Δw_ij＝Δa_j＝Δb_i＝0，其中：i＝1，…，n，j＝1，…，m

一层RBM训练完成后，以该层RBM的隐层的输出作为下一层RBM的输入，重复上述的训练过程，…，依次迭代计算下去，直至最终完成整个预训练的过程。

7.根据权利要求5所述的一种基于深度学习的CAN总线报文异常检测方法，其特征在于：所述的有监督调优过程实质上是对网络中各层参数进行调整的过程。预训练完成之后，每层RBM可以得到初始化的参数，如果想要得到更理想的效果，接下来，就要对DBN网络进行整体的参数调优训练，进一步优化网络中各层的参数，已达到网络判别性能最优的目的，该过程采用反向传播算法(Back propagation algorithm，BP算法)对网络进行调优，即在预训练过程中输出层与期望的输出存在误差，则进行反向传播，将误差沿原来的连接通道返回，通过修改各层神经元的权值，使误差最小。该过程是有监督学习的过程。

将一层节点的输出传送到另一层时，通过调节连接权重系数w_ij来达到增强或减小这些输出的目的。除了输入层的节点外，隐含层和输出层节点的净输入时起那一层节点输出的加权和。每个节点的激活层度有他的输入、节点的偏置等来决定。但对于输入层，输入模式送到输入层节点上，此时，该层节点的输出即等于其输入。

输出层的加权系数修正公式为：

隐含层的加权系数修正公式为：

为了避免在BP网络中系统陷入某些局部最小值或某些静态点或在这些点之间震荡，所以在修改阈值时引入惯性项，使各层的加权系数变化更加平稳，避免落入某一局部最小值，此时的权重修正公式变为：

输出层的权重系数修正公式为：

隐含层的权重系数修正公式为：

其中：β为惯性系数，0＜β＜1。

8.根据权利要求3所述的一种基于深度学习的CAN总线报文异常检测方法，其特征在于：所述的异常检测方法，是利用深度学习强大的特征提取及数据分类能力，通过深度学习网络，将CAN总线中的报文数据进行分析处理，从而得到CAN总线中报文是否处于异常状态，其具体的步骤如下：

步骤1:在选取的CAN总线报文中选取样本数据和特征变量，对样本数据进行标准化处理后按一定比例将其分为预训练集、调优集和测试集；

步骤2:选择合适的编码策略进行编码；

步骤3:建立基于DBN的CAN总线网络异常检测模型，并初始化模型的各参数；

步骤4:采用预训练集中的样本通过CD算法对模型底部的RBM层逐层进行预训练；

步骤5:采用调优集中的标签样本通过BP算法对整个网络进行调优，使得网络性能趋近全局最优；

步骤6:保存训练好的网络，并利用测试集中数据样本对DBN网络的异常检测性能进行测试；

按照上述步骤即可实现对CAN总线网络中的报文进行异常检测。