CN110569971B - 一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法 - Google Patents

Abstract

本发明属于计算机视觉中的图像处理领域，具体的说是一种基于LeakyRelu激活函数的Faster RCNN卷积神经网络单目标识别方法。本发明提出了一种改进的relu激活函数即LeakyRelu激活函数，该函数更好地保留了图像数据信息，更有利于对图像特征的提取。将该函数应用在卷积神经网络中对图像中的目标物进行检测与提取的领域，使检测准确率得到了提高。该方法提高了现有的神经网络图像处理算法检测的准确率，解决了目前采用relu作为激活函数的卷积神经网络在图像识别与检测上所带来的问题。

Description

一种基于LeakyRelu激活函数的卷积神经网络单目标识别 方法

技术领域

本发明属于计算机视觉中的图像处理领域，具体的说是一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法。

背景技术

随着人工智能技术广泛应用在人们生活中的各个领域，智能驾驶汽车逐渐成为继电动汽车之后汽车领域的有一大革新。未来，汽车行业发展方向是：电动化、智能化、网联化、共享化。而智能驾驶汽车综合智能网联、新能源、云平台，在汽车领域研究前景广泛。

在智能驾驶汽车中，常采用若干个传感器代替人眼来观察周围的外部物体及前方的各种目标物。这些传感器代替人眼“看到”前方的障碍物后，就可以利用计算机视觉中的图像处理算法如卷积神经网络将这些目标物提取出来，以便于下一步对目标物的姿态、行为进行预测，即判断出这些目标物下一时刻的路径。从而根据目标物可能的轨迹对汽车的路径和轨迹做出判断，对整车的行驶方向、行驶速度以及加速度做出决策，可以有效地减少传统汽车带来的碰撞事故，同时改善了传统汽车所带来的驾驶安全性问题。

卷积神经网络自提出以来，发展迅速并在各个行业领域受到广泛关注。由于其可以直接输入图像，通过构建RPN特征提取网路可以直接通过卷积操作将输入图像的特征提取出来，而不再需要传统方法的复杂的特征提取过程，因此卷积神经网络作为深度学习中重要的方法广泛地应用在各行业的图像处理中。

发明内容

本发明提出了一种改进的relu激活函数即LeakyRelu激活函数应用在卷积神经网络上对图像中的目标物进行检测提取，使检测准确率得到了提高，提高了现有的神经网络图像处理技术的基于LeakyRelu激活函数的卷积神经网络单目标识别方法，解决了目前采用relu作为激活函数的卷积神经网络在图像识别与检测上所带来的缺点。

本发明技术方案结合附图说明如下：(该部分同权利要求书，权利要求书写好了再补充)

本发明的有益效果为：

1)本发明将传统的Faster RCNN算法中应用过的relu或sigmoid激活函数改为LeakyRelu函数，并通过不断地仿真实验得到函数最终的表达式，在不改变网络整体结构的情况下，只改变激活函数的类型就能达到提高测试集检测准确率的效果；

2)本发明中的网络深度并没有达到Alexnet网络和VGG网络的深度，但也同样达到了较高的检测准确率，且训练的时间也不是很长。因此该发明中的训练过程可以应用在CPU常规计算机上，对计算机硬件要求没有那么高，扩展了Faster RCNN的应用性。

附图说明

图1为本发明的模型训练和检测算法流程图；

图2为采用relu激活函数时检测得到的Precision-Recall曲线图；

图3为采用LeakyRelu激活函数时检测得到的Precision-Recall曲线图；

图4为测试集中的一个检测效果图。

具体实施方式

参阅图1，一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法，该方法包括以下步骤：

步骤一、获取图像样本及数据分类并且确定训练集和测试集样本数；

(11)获取自动驾驶车辆摄像头拍摄出的前方物体图像：

深度学习属于半监督学习算法，因此前期应提供足够多的样本数据输入到卷积神经网络中，以便充分学习到图片的特征。本实施例收集了300张来自KITTI数据集的外国某城市道路采集的图片，数据集中包含有晴天、黑暗环境下的，车辆互相遮挡，以及复杂环境道路下的图像。

(12)确定训练集和测试集样本数：

在收集到的数据集中，取其中的60％(即480张图片)作为训练集样本，其余的40％(即320张图片)作为测试集样本。

步骤二、对训练集和测试集所有样本进行目标物标记；

利用MATLAB平台中图像处理与计算机视觉工具箱中的Image Labeler标注工具对训练集和测试集所有图片中的单一目标物：车辆进行手动标记，即框出所有图片中要检测的目标物。标记好的图片保存一个为.mat文件，保存在代码所在的路径下。

步骤三、搭建Faster RCNN卷积神经网络结构；

在MATLAB平台搭建卷积神经网络，该网络是由三个卷积层，三个池化层，三个激活函数层和两个全连接层组成的，具体网络结构为：

(1)第一层为图片输入层：输入的图像尺寸为228*128，导入标记好的.mat文件输入到网络中的图像输入层；

(2)第二层为第一个卷积层，用来提取输入图像的特征：卷积核大小为3*3，每次滑动1个窗口，卷积核数量为32个，采用零补位的方法即在原图像素值的基础上加上一圈零元素补位，使得经过卷积操作后输出的图像和输入的图像尺寸相同，输出32张特征图；

(3)第三层为正则化层Batch Normalization：对每个卷积层输出的数据x_i按如下方式进行处理，提高网络的稳定性；具体如下：

y_i＝γx_i+β

其中，μ为输入数据的均值；m为输入数据的数量；x_i为每一层输入的各个数据信息；σ²为数据的方差；

为经过标准化处理后的数据；ε为随机增加的最小值，常取1e-7，为了防止分母为零；y_i为输入到下一层的数据；γ为需要学习的数据的标准差；β为需要学习的数据的均值；

(4)第四层为LeakyRelu激活函数层：激活函数采用LeakyRelu激活函数，与传统的sigmoid函数相比，LeakyRelu激活函数避免了训练过程中由于权重梯度消失导致的损失函数陷入局部极小值的问题，提高了网络的稳定性。

与当前常见的relu激活函数相比，LeakyRelu激活函数使小于0的数据不会被置0，更多地保留了图像的像素特征，试验证明使用LeakyRelu函数对线性层输出的数据进行激活比使用relu函数得到的网络检测准确率更高，网络更稳定。

输入的数据x经过LeakyRelu激活函数后输出的值为：

其中，α为LeakyRelu激活函数中固定的常数因子，通过不断地尝试改变该常数因子的值，在不改变网络结构的基础上，确定当α＝0.001时，该网络检测准确率最高，因此，本实施例中，将该常数因子置为0.001，即LeakyRelu激活函数表达式为：

x₁＝f(ω₁x₀+b₁)

其中，x₀为输入的特征图；ω₁为当前卷积核；b₁为该特征图的常数偏置项；x₁为输入的特征图经过卷积操作后通过激活函数输出的特征图。

(5)第五层为池化层：为了对卷积层输出的特征图进行降维处理并减小图像尺寸和参数量后输入到下一层，本实施例采用最大值池化的方法，卷积核大小为2*2，每次滑动两个步长，输出的特征图尺寸为114*64。每经过一次池化层，图像尺寸缩减为原来的一般，起到降采样的作用。池化层采用的方法为最大值池化，相比较于平均值池化，更大程度地保留了图像数据的原始像素信息。

(6)第六层为第二个卷积层：卷积核大小为3*3，每次滑动1个窗口，卷积核数量为64个，采用零补位的方法即在原图像素值的基础上加上一圈零元素补位，使得经过卷积操作后输出的图像和输入的图像尺寸相同，输出64张特征图。

(7)第七层为正则化层Batch Normalization：对输入的特征图进行上述数据归一化操作，使得输出的数据更利于分类，经过正则化后的特征图输入到下一层中。

(8)第八层为LeakyRelu激活函数层：第七层输出的特征图x₂经过第二个卷积操作ω₂后，通过激活函数f()的作用添加非线性元素，此时输出到下一层的特征图为：

x₂＝f(ω₂x₁+b₂)

其中，x₂为经过计算后输入到下一层的数据；ω₂为该层卷积核中的权重值；x₁为输入到这一层的数据值；b₂为常数偏置值；

(9)第九层为池化层：该层的作用是对上一层输出的特征图进行降维处理并减小图像尺寸和参数量，经过池化处理后输入到下一层，最大池化法采用的卷积核大小为2*2，每次滑动两个步长，输出的特征图尺寸为57*32，特征图仍为64张。

(10)第十层为第三个卷积层：卷积核大小为3*3，每次滑动1个窗口，卷积核数量为128个，采用零补位的方法即在原图像素值的基础上加上一圈零元素补位，使得经过卷积操作后输出的图像和输入的图像尺寸相同，输出128张特征图。

(11)第十一层为正则化Batch Normalization层：对输入的特征图进行上述数据归一化操作，使得输出的数据更利于分类，经过正则化后的特征图输入到下一层中。

(12)第十二层为relu激活函数层：第十层输出的特征图x₃经过第三个卷积操作ω₃后，通过激活函数f()的作用添加非线性元素，此时输出到下一层的特征图为：

x₃＝f(ω₃x₂+b₃)

其中，x₃为经过计算后输入到下一层的数据；ω₃为该层卷积核中的权重值；x₂为输入到这一层的数据值；b₃为常数偏置值；

(13)；第十三层为池化层：该层的作用是对卷积层输出的特征图进行降采样处理，即缩小特征图尺寸，减少输入到全连接层中的参数量。最大池化法采用的卷积核大小为2*2，每次滑动两个步长，输出的特征图尺寸为29*16，特征图仍为128张。

(14)第十四层为全连接层：该层有64个神经元，用于将输入的特征图变换成一个n维列向量，n维列向量与该层的权重矩阵和常数偏置项进行线性变换得到一个列向量输入到下一层。

(15)第十五层为非线性变换层：即对上述全连接层得到的列向量进行非线性变换，变换函数仍为LeakyRelu激活函数；。

(16)第十六层为全连接层：用于对目标物体进行分类操作。

(17)第十七层为分类层：采用softmax分类器，并计算检测时的误差，训练上述网络，直到识别误差不再下降，得到训练好的卷积神经网络。

步骤四、设置网络中的学习率；

经过上述网络训练后，各个卷积核中的权重参数、卷积过程中的参数、池化过程中卷积核参数均已经初始化好。此时，设置学习率初始值为定值1e-3，根据随机梯度下降法(SGD)，每轮训练时不是将所有图片一次性输入进去，而是取一个最小批次minibatch，每次只讲这些小批次数据输入到网络中进行训练，并按照学习率衰减公式不断使学习率的值减小，每个轮次训练时学习率都按照衰减公式进行。

每一轮训练时，前三个批次学习率为一个初始值，每经过三个批次改变一次学习率的值，因此从下三个批次开始，假设上一次学习率为为α，学习率衰减因子为β，则学习率衰减公式为：

α'＝α·(1-β)

本实施例中，取学习率衰减因子β值为0.1，即学习率初始值为0.001，每经过三个批次学习率衰减为原来的90％，即学习率值依次为0.0010、0.0009、0.00081、0.000729。

步骤五：用上述训练好的网络进行测试集图像检测：

(1)经过上述网络训练后，各个卷积核中的权重参数、卷积过程中的参数、池化过程中卷积核参数均已训练好。此时，设置整个网络的激活函数均为relu激活函数，将测试集中的图像输入到上述训练完成的网络中，对测试集中的目标物进行检测。

(2)绘制Precision-Recall曲线(见图2)：横坐标为recall召回率，即表示检测出的目标物数量占目标物总数的百分比(查全率)，纵坐标precision为查准率，即表示检测正确的目标物数量占检测出的目标物数量的百分比，因此二者的乘积即为上一步得到的平均检测准确率。实验表明，当采用relu激活函数时，测试集平均检测准确率为94％。

(3)保持网络中其他参数不变，将整个网络中的激活函数全部改为LeakyRelu激活函数，对测试集图片中的目标物进行检测。

(4)绘制这一次得到的Precision-Recall曲线(见图3)，计算测试集平均检测准确率为96％。可见，当采用本发明中的LeakyRelu激活函数时，比目前的relu激活函数检测准确率提高了2.12％左右，因此将LeakyRelu激活函数应用在Faster RCNN结构中进行单一目标物检测，检测准确率得到了很大的提高。

步骤六：输入测试集图像进行目标物提取：

保存上述训练完成的网络模型，并将测试集的图片输入到该模型中，对图片中的目标物进行检测，检测后的效果图是：用一个矩形框将图中的待检测物框起来，并标有检测出来的置信度数字，如附图4中：一张图中只有一辆车，经过上述模型检测出来的目标物置信度为0.9999，检测准确率较高，可以有效的告知系统前方有一个目标物。

Claims (1)

1.一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法，其特征在于，该方法包括以下步骤：

步骤一、获取图像样本及数据分类并且确定训练集和测试集样本数；

从公开数据集KITTI上收集汽车行驶在某城市道路上时摄像头拍摄到的视频流中剪辑出RGB图片若干张，取其中的60％作为训练集样本，另外的40％作为测试集样本；

步骤二、对训练集和测试集所有样本进行目标物标记；

利用MATLAB平台中图像处理与计算机视觉工具箱中的Image Labeler标注工具对采集到的图片中的单一目标物即车辆进行标记；

步骤三、搭建Faster RCNN卷积神经网络结构；

在MATLAB平台搭建卷积神经网络即Faster RCNN模型，卷积神经网络由以下几层组成：一个加载训练集图像层，第一层卷积层，第一层激活函数层，第一层池化层，第一层批量标准化层；第二层卷积层，第二层激活函数层，第二层池化层，第二层批量标准化层；第三层卷积层，第三层激活函数层，第三层池化层，第三层批量标准化层；第一个全连接层；一个非线性层；第二个全连接层和softmax分类器；其中每一个卷积层都分别提取出输入图像R、G、B三个色彩分量不同的像素特征；

步骤四、对RCNN网络各层中基本参数进行设置并初始化卷积核的权重和偏置项；

RCNN的基本参数包括：RCNN的卷积层和池化层的数量、激活函数、卷积核大小、卷积核滑动步长、每一层中卷积核数量、学习率初值、卷积核中权重更新方法以及学习率衰减因子这些网络训练参数；该网络特征提取部分主体结构采用3个卷积层，3个池化层，3个激活函数层和3个正则化层；

步骤五、用上述训练好的网络进行测试集图像检测；

51)对于上述调整好参数的网络结构，不断调节学习率衰减因子，使其在数据训练的每一个批次中，学习率不断减小，权重值下降速度减慢，达到损失函数最小值；从而找到一个最佳的学习率衰减因子，使检测准确率达到最大值；

52)将测试集中待检测的图片输入到上述训练完成的卷积神经网络模型中，输出带有检测框和检测置信度的检测图；

53)统计测试集中所有待检测图片的检测准确度，绘制检测率曲线，即得到测试集图片的平均检测准确率；

所述步骤四中基本参数的具体设置为：

(1)卷积层卷积核大小为3*3，卷积核数量分别为第一层32个，第二层64个，第三层128个，卷积核每次滑动一个步长；

同时采用零补位方法即在原始图像数据的基础上加上一层零元素，在不改变图像像素值的基础上保证输出的特征图尺寸和输入的相同；

(2)激活函数采用LeakyRelu激活函数，输入的数据x经过LeakyRelu激活函数后输出的值为：

其中，α为LeakyRelu激活函数中固定的常数因子为0.001，即LeakyRelu激活函数表达式为：

(3)正则化层采用Batch Normalization方法，对每个卷积层输出的数据x_i按如下方式进行处理，具体如下：

y_i＝γx_i+β

其中，μ为输入数据的均值；m为输入数据的数量；x_i为每一层输入的数据信息；σ²为数据的方差；

为经过标准化处理后的数据；ε为随机增加的最小值，常取1e-7，为了防止分母为零；y_i为输入到下一层的数据；γ为需要学习的数据的标准差；β为需要学习的数据的均值；

(4)池化层卷积核大小为2*2，滑动步长为2，每经过一次池化层，图像尺寸缩减为原来的一半；池化层采用的方法为最大值池化；

(5)权重初始化方法为随机选取一组符合高斯分布的权重值，且保证每次训练时输入到网络中的小批量图像数量minibatch为10张；所有图像都需要输入到网络中且重复进行训练4个循环；

(6)权重更新方法为SGD+Momentum即SGDM方法，即在传统随机梯度下降法SGD的基础上加上权重更新速度对权重更新的影响，有效避免训练过程中当某一点权重梯度为零时，权重值无法更新陷入局部极小值的问题；当采用SGDM权重更新方法时，即加入了权重更新速度对权重更新的影响时，在梯度消失时速度值仍很大，因此可以越过Loss局部极小值，找到损失函数真正的最小值；权重更新方法为：

v_t+1＝ρv_t+▽ω

ω’＝ω-αv_t+1

其中，v_t为上一时刻权重更新速率；v_t+1为下一时刻权重更新速率；▽ω为权重梯度；α为权重更新的步长即学习率；ρ为速度因子，常取0.9；ω'为更新后的权重值；ω为上一次的权重值；

(7)权重更新步长即学习率初始值设置为1e-3，根据随机梯度下降法即SGD，将训练集数据分为10个批次，每输入进去三个批次改变一次学习率，学习率衰减方式为：下一个学习率的值是在上一个学习率值的基础上衰减一个定值后得到新的学习率数值

每一轮训练时，前三个批次学习率为一个初始值，每经过三个批次改变一次学习率的值，因此从下三个批次开始，假设上一次学习率为α，学习率衰减因子为β，则衰减后的学习率值为：

α'＝α·(1-β)；

其中，α初值为0.001，β为0.1，因此，每一轮学习率值分别为0.0010、0.0009、0.00081、0.000729。

Images