CN106680281A - 一种基于深度残差学习网络的柴油车尾气烟度检测方法 - Google Patents

Abstract

本发明提出一种基于深度残差学习网络的柴油车尾气烟度检测方法，包括以下步骤：利用安装在道边的摄像机获取柴油车尾气图像；通过汽柴一体化机动车尾气遥测装置获取深度残差学习网络的标签值；搭建深度残差学习网络；对获取的柴油车尾气图像进行预处理，并对构造的深度残差学习网络训练、验证和测试，将得到的深度残差学习网络应用于柴油车尾气烟度的实时在线检测。相比于已有的方法，本发明的优点在于：深度残差网络可以在保证网络性能的前提下加深网络的深度，使系统具有更高的准确率和更强的泛化能力，从而提升柴油车尾气烟度检测的精确度。

Description

一种基于深度残差学习网络的柴油车尾气烟度检测方法

技术领域

本发明属于图像处理技术领域中，具体涉及一种基于深度残差学习网络的柴油车尾气烟度检测方法。

背景技术

随着中国城市化建设的推进，机动车的保有量也越来越多，同时，机动车尾气对于城市空气的污染也更加严重，所以对机动车尾气污染治理刻不容缓。治理的前提是对机动车尾气的排放情况有充分的了解，所以势必需要一种能够对机动车尾气进行快速而又准确的检测技术。柴油发动机功率大、经济性能好，是城市建设中不可缺少的动力，随之而来的大量的柴油车尾气污染。重型柴油车因为排放的氮氧化物、颗粒物数量远远高于轻型车，更是大气污染的重要贡献者。

传统方法中，对柴油车尾气的烟度检测手段主要是林格曼黑度望远镜和烟度计。林格曼黑度望远镜采用双目棱镜望远系统，在望远镜划分板上制有相应林格曼烟度浓度图1-5级的灰度阶梯块，全透明部分则为0级。观测者通过望远镜左侧目镜将烟尘目标与该级灰度梯度块比较，从而测定烟气黑度标准等级。烟度计分为采样部分和测量部分。采样部分是采样气筒抽取尾气管中一定体积的烟气，使它通过一张一定面积的白色滤纸，于是排气中的烟尘颗粒物就粘附在滤纸上而使滤纸变黑，然后利用光电检测装置测量滤纸上烟痕的吸光率来评定为柴油机的排气烟度。上述方法可以在一定程度上测量柴油车尾气的烟度级别，然而在实践中具有很大的应用局限：首先，由于需要大量的人工参与，降低了检测速率，提高了检测成本，并且为作弊行为提供了较大的可能；然后，由于需要对尾气进行采样，所以无法实现车辆的在线检测，也就是说，无法反映车辆正常行驶的情况下的排放状况。

专利号CN102737247A中使用了图像识别系统对柴油车尾气烟度进行测量。其采用传统的图像处理的方法，步骤如下：1)收集图像，根据柴油车尾气的特征将图像中的目标尾气进行检测、分割、提取，并选择最佳的几帧图像；2)将提取后图像的目标区域分别与背景区域进行相减操作，然后对相减后得到的目标区域进行滤波和填充处理；3)计算处理后的目标区域的平均灰度值(或：最大最小灰度值)，并且以此作为参考，与标准库中的黑度级别进行对比，从而给出尾气相应的黑度级别。其明显的缺点是：需要对尾气图像中目标区域进行一系列的操作，步骤比较繁琐；更为关键的是，每一步操作(如阈值分割)的准确性都会收到周围环境(如光照、雾霾)的影响，从而导致检测的不准确性甚至失效。以上说明该发明不具备对环境变化的鲁棒性。

随着层数的增加，深度神经网络会变得越来越难以训练，梯度消失或者梯度爆炸问题都会阻止网络达到收敛状态，并且网络性能并不一定随着网络层数的增加而提升。深度残差学习则可以解决深层网络的性能降低问题。相比于普通的深度神经网络，它更容易优化；随着层数的增多，它的性能表现逐渐提升，并且它具有足够的泛化能力。

就网络层数的选取来说1到100层都是，可以的，但是对于柴油车尾气烟度检测这个问题，层数太少使深度残差学习网络的精度不够高，层数太多在训练过程中需要耗费大量的成本。关于柴油车尾气烟度检测，构建20层深度残差学习网络具有最优性能，所以本发明中构建的是20层深度残差学习网络。

发明内容

本发明技术解决问题：克服现有技术的不足，提出一种基于深度残差学习网络的柴油车尾气烟度检测方法，具有较高的检测精度。

本发明的技术方案如下：

1、获取道路柴油车尾气图像。

1.1)在选定的路段用CCD摄像机对经过的柴油车进行尾气视频记录。

1.2)利用图像采集卡从记录的视频中抽取出有含有柴油车尾气的图像，将这些图像按照75％、10％、15％的比例分成训练集，验证集和测试集。

2、获取深度残差学习网络的标签

在选定的路段中用汽柴一体化机动车尾气遥测装置直接测量柴油车的尾气烟度，获取柴油车尾气图像中车辆的尾气烟度，将其作为相应柴油车尾气图像的标签，柴油车尾气图像和相应的标签构成柴油车尾气烟度数据集；

3、深度残差学习网络的构建

该网络包含一个普通卷积层conv1、一个池化层pool1，八个残差学习单元convr11、convr12—convr81、convr82，一个平均池化层AvgPool9，一个全连接层Fc10。

conv1的卷积核大小为7*7，convr11、convr12—convr81、convr82的卷积核大小为3*3，八个残差学习单元中的每一个包含两个残差卷积层，例如convr11、convr12构成一个残差学习单元，convr21、convr22构成一个残差学习单元。每个残差学习单元的输入不仅包含上一个残差学习单元的输出，还包含上一个残差学习单元的输入，这也就构成了跨层连接的输入输出方式。例如convr21的输入包括convr12的输出和convr11的输入，convr31的输入包括convr22的输出和convr21的输入。

普通卷积层conv1的输入为经过预处理的图像，普通卷积层conv1的输出作为池化层pool1的输入，池化层pool1的输出为第一个残差学习单元中convr11的输入，残差学习单元之间按照跨层连接的输入输出方式传递数据。平均池化层AvgPool9的输入包括convr82的输出和convr81的输入，全连接层Fc10的输入是平均池化层AvgPool9的输入。

普通卷积层conv1的作用是学习全局性特征，池化层pool1的作用是降低卷积层输出的特征向量，同时改善结果，降低过拟合出现的可能性。八个残差学习单元的作用是学习特征的同时提高精度，平均池化层AvgPool9的作用是对这一层的输入进行降采样操作。最后一个全连接层Fc10构成一个20分类器，对输入的柴油车尾气烟度图像分类。

4、深度残差学习网络的训练，验证和测试。

4.1)深度残差学习网络构建完成之后，对柴油车尾气烟度数据集中进行预处理，具体包括对数据集中的柴油车尾气图像进行尺度增强、随机采样和减像素均值操作。

4.2)将预处理后的图像作为深度残差学习网络的输入进行训练，同时对验证集进行过拟合检查，即判断深度残差学习网络对验证集图像处理的损失函数是否呈现先下降,后反而上升的现象，当验证集的损失函数不再下降时候，即可暂时停止训练。将预处理后的测试集图像作为训练终止后的深度残差学习网络的输入，将此时网络的输出与步骤2中的标签值进行比较，若测试集精度超过99％，则训练完成，否则，继续训练。

5、对于没有安装汽柴一体化机动车尾气遥测装置的路段，在道边布设CCD摄像机以获取柴油车尾气图像，并输入到训练完成的深度残差学习网络中，从而实现对柴油车尾气烟度的检测。

本发明与现有技术相比优点在于：

(1)本发明提出一种深度残差学习网络，将其运用到柴油车尾气烟度测量中，比于普通的深度神经网络，它更容易优化，并且随着层数的增多，它的性能表现逐渐提升。相比较于专利号CN102737247A中直接使用图像处理对柴油机烟度进行测量的方法，使用的深度残差学习网络，不必对视频图像进行烟雾区域的分割和提取，能够保证图像的全局性，提高了检测的准确率，同时具有更强的泛化能力。

(2)本发明涉及一种基于深度残差学习的柴油车尾气烟度检测，相比于传统的林格曼黑度望远镜和烟度计，可以对道路上行驶的车辆进行在线监测，不会对交通产生影响，节约了人力物力，并且避免了检测过程中作弊现象的发生。

附图说明

图1为本发明的深度残差学习网络测量柴油机烟度图；

图2为本发明的残差学习单元残差学习单元；

图3为本发明的20层深度残差学习网络；

图4为本发明跨层连接没有卷积操作图。

具体实施方式

如图1所示，本发明具体实施步骤如下：

1.在道路的一边两旁架设CCD高速摄像。

1.1)CCD摄像机对柴油车尾气视屏进行记录。它将被摄物体反射光线传播到镜头，再经镜头聚焦到CCD芯片上，CCD根据光的强弱积聚相应比例的电荷，各个像素积累的电荷在视屏时序的控制下点外移，经过滤波、放大处理后，形成视屏信号输出。视频信号连接到监视器的视频输入端便可以看到与原始图像相同的视频图像。

1.2)用图像采集卡将图像信息采集到电脑中。将CCD摄像机记录的视频图像可以经过图像采集卡传输到电脑上，将这些图像按照75％、10％、15％的比例分成三个部分，作为深度学习的训练集，验证集和测试集。具体做法是将采集到的100万张柴油车尾气图片分成了训练集(750000张共20类)、验证集和测试集(共150000张20类)，每个类别放在一个单独的文件夹里。并且将所有的图像，都生成了txt列表清单(train.txt和test.txt)。为之后的网络训练做准备。

1.3)对于深度残差网络的训练本发明一般都是在caffe下进行的，所以在训练之前本发明做如下操作。

1.3.1)图片准备：将采集到的100万张柴油车尾气图片分成了训练集(750000张共20类)、验证集(100000张)和测试集(共150000张20类)，每个类别放在一个单独的文件夹里。并且将所有的图片，都生成了txt列表清单(train.txt和test.txt)。为之后的网络训练做准备。

1.3.2)导入caffe库，并设定文件路径。需要在caffe中设定根目录、训练图片列表、测试图片列表、训练配置文件、测试配置文件和参数文件的路径。其中训练图片列表和测试图片列表(train.txt和test.txt)在上一步中已经准备好了，其它三个文件，需自己编写。

1.3.3)生成配置文件(配置文件中存放的就是netwotk)。配置文件实际上就是一些txt文档，只是后缀名是prototxt，可以直接到编辑器里编写，也可以用代码生成。在本发明中直接在编辑器里编写。

1.3.4)生成参数文件solver。这个文件的生成也是可以在编辑器里编写，或者可以用代码生成。本发明中在编辑器中编写。

2.在道路的另一边架设汽柴一体化机动车尾气遥测装置。汽柴一体化机动车尾气遥测装置是来对柴油车的尾气烟度做直接的测量，并作为深度学习网络的label，用于对图像的训练。这里主要是利用汽柴一体化机动车尾气遥测装置中的柴油车烟度检测单元测量柴油车的烟度，其原理是烟度光源发出的检测激光穿过道路上柴油机动车排放的尾气照射到另一侧的柴油烟度吸收检测单元上，并由吸收检测第单元将接收到的光线的亮度数据，发送至数据处理工控机。尾气数据处理工控机根据光线的亮度衰减分析得到柴油尾气的烟度。

3.构建深度残差学习网络。

3.1)本发明中使用20层深度残差网络如图3所示。图3中image表示输入的图像，第一个方框内7*7conv表示卷积层的卷积核为7*7；64表示特征映射的大小；/2表示这层的步长为2。下面每个方框中的内容与第一个方框的内容类似，如果没有/2表示这一层的步长为1。图中pool1表示最大池化层，Avg pool9表示平均池化层。Fc10则表示20维全连接层。实线的跨层连接表示输入输出大小相同，虚线的跨层连接表示输入输出大小不相同。总的来说，这20层深度残差学习网络依次为一层卷积层,一层池化层,8个跨度为2的残差学习单元,一个全局平均池化层和一个20维全连接层。

3.1.1)网络的前两层分别是卷积核为7*7、步长为2的卷积层和一个池化层。

3.1.2)深度残差学习单元的构建主要包括跨层连接。如图2是残差学习单元的构建模块，其中x和y是层的输入和输出向量，weight layer是具有权重的卷积层，identity表示身份映射，relu表示激活函数。函数F(x,{W_i})代表学习的残差函数，图2所示有两个层，消除了简化符号的偏差。F+x的操作是是由快捷连接和增加的元素智能进行的。本发明中构建的模块定义为：

y＝F(x,{W_i})+x (1)

从公式(1)中涉及的快捷连接看出，残差单元没有额外的参数和复杂的计算，这样在实际工程中能够降低硬件成本。残差函数F层数的设计是灵活的，在本发明中，F是两层的残差函数。

一般的网络有两种残差单元，一种是前向通道和跨层连接都有卷积层，另一种前向通道有卷积，但是跨层连接没有卷积，是直接连过来的。本发明中20层深度残差网络的残差单元的跨层连接没有卷积单元如图4所示。图4是图2残差学习单元的具体化，图4中Res2a，Res2b分别表示残差学习单元的输入，输出；Res2a_relu，Res2b_relu和Res2b_branch2a_relu表示激活函数，Res2b_branch2a和Res2b_branch2b表示卷积层，Bn2b_branch2a与Scale2b_branch2a这两层表示BN层，Bn2b_branch2b与Scale2b_branch2b这两层也表示BN层。

将残差学习单元的其中前向通道的卷积核设置为3*3，每层卷积层根据卷积核的大小进行补零，让卷积之后的图像大小保持不变，就保证输入输出的大小是一样了。并且如图4所示每一个深度残差模块的具体构建都是从上一层的relu函数开始与下一层的卷积层连接，然后通过BN层将层的计算结果重新规范化，然后再加以放缩以保持层学习到的特征性质。之后是池化过程，池化之后使用relu函数激活就可以连接下一层了，由于本发明中使用2层的跨度，要注意在搭建网络时主路的第二层卷积模块是没有relu的，relu在与残差部分融合之后。

3.1.3)在深度残差模块之后接一个全局平均池化层和的20维全连接层。最后通过softmax层来最小化输出和目标的损失函数来驱动学习。

3.2)20层深度残差网络主要包括卷积层、池化层、全连接层和一些跨层连接组成。

3.2.1)卷积层中主要是通过一组滤波器和非线性层变换，提取出图像的局部特征。其中每个神经元都是与前一层的局部感受区相连，这样既减少了连接的数目，又符合生物学理论。因为人脑的每一个神经元对外界的感受是局部的，而且图像的空间联系也是局部的，每个神经元感受不同的局部区域，最后在高层将这些局部信息综合起来就得到全局的信息。卷积层的输入要么来源于输入层，要么来源于采样层。卷积层的map个数是在网络初始化指定的，本发明中map为64，而卷积层的map的大小是由卷积核和上一层输入map的大小决定的，假设上一层的map大小是n*n、卷积核的大小是k*k，那该层的map大小计算公式是：(n-k+1)*(n-k+1)。

3.2.2)池化层主要是将卷积之后的特征图进行汇聚统计，它也叫降采样层。在图像经过卷积层后特征向量的维数一般很大，容易造成计算过拟合，并且还存在许多冗余信息，这些问题可以通过池化层解决。池化操作也符合图像的局部相关性原理，一个图像区域有用的特征极有可能在另一个区域同样适用。本发明中区域大小为2*2小区域的均值。(注意，卷积的计算窗口是有重叠的，而采用的计算窗口没有重叠，卷积核是2*2，每个元素都是1/4，所以需要去掉计算得到的卷积结果中有重叠的部分。)

3.2.3)全连接层是在使用神经网络的时候，最标准的形式，任何神经元和上一层的任何神经元之间都有关联，然后矩阵运算也非常简单和直接。本发明中在网络的最后使用了一层20维的全连接层，去学习更多的信息。

3.2.4)关于网络的跨层连接，当输入输出大小相同的时候，使用实心线的捷径，身份快捷键(公式(1))可以直接使用。当尺寸增加时使用虚线快捷键，在本发明快捷方式仍然执行身份映射，用额外的零条目填充以便增加尺寸。该选项不会引入额外的参数。快捷键以两个大小在功能地图上进行，两个选项进行2跨度。

3.3)下表是本发明中深度残差网络的架构：

4.使用构建好的深度残差学习网络按照以下步骤进行训练、验证和测试。

4.1)将采集到训练集的尾气图像进行预处理：按其短边作等比缩放后按照[256,480]区间的尺寸随机采样进行尺度增强。随机的从图像或其水平镜像采样大小为224*224的剪裁图像，并将剪裁结果做减像素均值操作。然后进行标准色彩增强，并初始化网络权重。在每一个卷积之后和激活之前，采用了BN层。当训练深度残差网络时，使用的随机梯度下降法(SGD)，batch大小为128，Momentum设置为0.9。基础学习率设置从0.0001开始，中间根据结果多次改变学习率进行优化，当训练集的损失函数和验证集的损失函数满足要求时候停止训练。

4.2)训练集的图像作为训练输入，验证集在训练网络的过程中每迭代1000次进行一次测试，比较验证集的损失函数和训练集的损失函数。当验证集的损失函数不再下降时候，即可暂时停止训练。将预处理后的测试集图像作为训练终止后的深度残差学习网络的输入，将此时网络的输出与步骤2中的标签值进行比较，若测试集精度超过99％，则训练完成，否则，继续训练。

5、对于没有安装汽柴一体化机动车尾气遥测装置的路段，在道边布设CCD摄像机以获取柴油车尾气图像，并输入到训练完成的深度残差学习网络中，从而实现对柴油车尾气烟度的检测。

至此，深度残差网络的测试完成，本发明使用深度残差网络测量柴油机烟度发现结果优于之前所用方法的准确率，即将深度残差学习网络用于柴油车烟度的测量是一个很有前景的方法。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于深度残差学习网络的柴油车尾气烟度检测方法，其特征在于包括以下步骤：

步骤1、在选定的路段用CCD摄像机对经过的柴油车进行尾气视频记录，通过图像采集卡从尾气视频中获取柴油车尾气图像；

步骤2、在选定的路段中用汽柴一体化机动车尾气遥测装置直接测量柴油车的尾气烟度，获取柴油车尾气图像中车辆的尾气烟度，将其作为相应柴油车尾气图像的标签，柴油车尾气图像和相应的标签构成柴油车尾气烟度数据集；

步骤3、构建20层深度残差学习网络，该网络包含一个普通卷积层、一个池化层，八个残差学习单元，一个平均池化层，一个全连接层；普通卷积层的作用是学习全局性特征，池化层pool1的作用是降低卷积层输出的特征向量，同时改善结果，降低过拟合出现的可能性；八个残差学习单元的作用是学习特征的同时提高精度，平均池化层的作用是对这一层的输入进行降采样操作，最后一个全连接层构成一个20分类器，对输入的柴油车尾气烟度图像分类；所述八个残差学习单元中的每一个残差学习单元包含两个残差卷积层，每个残差学习单元的输入不仅包含上一个残差学习单元的输出，还包含上一个残差学习单元的输入，即构成了跨层连接的输入输出方式；普通卷积层的输入为经过预处理的图像，普通卷积层的输出作为平均池化层的输入，平均池化层的输出为八个残差学习单元中第一个残差学习单元的输入，残差学习单元之间按照跨层连接的输入输出方式传递数据；全连接层的输入是平均池化层的输出；

步骤4、对柴油车尾气烟度数据集进行预处理，将预处理后的图像作为深度残差学习网络的输入，对深度残差学习网络进行训练、验证和测试，得到能够精确检测柴油车烟度的深度残差学习网络；

步骤5、对于没有安装汽柴一体化机动车尾气遥测装置的路段，在道边布设CCD摄像机以获取柴油车尾气图像，并输入到训练完成的深度残差学习网络中，从而实现对柴油车尾气烟度的检测。

2.根据权利要求1所述的基于深度残差学习网络的柴油车尾气烟度检测方法，其特征在于：所述步骤1中，在选定的路段用CCD摄像机对经过的柴油车进行尾气视频记录，用图像采集卡从记录的视频中抽取出有含有柴油车尾气的图像，将这些图像按照75％、10％、15％的比例分成训练集，验证集和测试集。

3.根据权利要求1所述的基于深度残差学习网络的柴油车尾气烟度检测方法，其特征在于：所述步骤2具体如下：在选定的路段安装汽柴一体化机动车尾气遥测装置，该装置的激光模块发出的检测激光穿过道路上柴油机动车排放的尾气，照射到另一侧的光强检测单元，光强检测单元接收到因柴油车尾气烟度受到削弱的激光，通过激光削弱程度可以得到柴油车尾气烟度值，找到该柴油车尾气烟度值对应的柴油车尾气图像，该柴油车尾气烟度值即为对应的柴油车尾气图像的标签。

4.根据权利要求1所述的基于深度残差学习网络的柴油车尾气烟度检测方法，其特征在于：所述步骤3中，一个普通卷积层的卷积核大小为7*7；一个池化层的卷积核大小为2*2；八个残差学习单元的卷积核大小为3*3；一个平均池化层的卷积核大小为2*2。

5.根据权利要求1所述的基于深度残差学习网络的柴油车尾气烟度检测方法，其特征在于：所述步骤4中，1)对柴油车尾气烟度数据集中进行预处理，具体包括对数据集中的柴油车尾气图像进行尺度增强、随机采样和减像素均值操作；2)将预处理后的图像作为深度残差学习网络的输入，对深度残差学习网络进行训练、验证和测试，得到能够精确检测柴油车烟度的深度残差学习网络，具体包括：将预处理后的图像作为深度残差学习网络的输入进行训练，同时对验证集进行过拟合检查，即判断深度残差学习网络对验证集图像处理的损失函数是否呈现先下降后反而上升的现象，当验证集的损失函数不再下降时候，即可暂时停止训练；将预处理后的测试集图像作为训练终止后的深度残差学习网络的输入，将此时网络的输出与步骤2中的标签值进行比较，若测试集精度超过99％，则训练完成，否则，继续训练。