CN109815802A - 一种基于卷积神经网络的监控视频车辆检测与识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的监控视频车辆检测与识别方法，包括：优化VGGNet模型的步骤；采集视频样本；图像预处理的步骤：特征提取及车辆检测与识别的步骤。本发明基于VGGNet网络进行改进，挖掘图像中的深层语义特征，对于车辆的遮挡情况也具有很好的检测效果，同时采用了一种图像增强算法，对夜间场景下的图像进行预处理，使得车辆特征更为明显，有效提高了车辆检测的准确率。

Description

一种基于卷积神经网络的监控视频车辆检测与识别方法

技术领域

本发明属于车辆识别技术领域，特别涉及一种基于卷积神经网络的监控视频车辆检测与识别方法。

背景技术

随着社会的发展和人们生活质量的提高，汽车成为了人们日常生活中不可或缺的交通工具。由于车辆的普及，随之而来的是很多负面的安全问题。我国交通事故的发生率高于发达国家，每年约有6万人死于交通事故，给人们的生命财产安全带来很大的威胁。为了适应人民群众的出行需求，加强对交通运输系统的监管以及对交通系统进行智能化改造势在必行。

目前，车辆检测与识别一般处理流程为：首先提取车辆图像，然后进行预处理，接着就是图像特征提取，然后通过分类器进行分类识别。评判一个检测系统优劣十分重要的指标：识别速度和识别正确率。传统的特征提取方法基于传统图像特征，如利用Haar特征，梯度直方图(HOG)特征，尺度不变特征变换(SIFT)等特征进行车辆检测，都需要人工干预，而且有些图像特征是针对特定场景下提出的，不具有普适性。HOG特征擅长描述局部特征，因此对小目标检测时难以应对。SIFT特征严重依赖纹理信息，当缺乏这类信息时，这类特征自然效果差。

随着深度学习在最近中的火热发展，特别是卷积神经网络在计算机视觉领域中取得重要突破。卷积神经网络具有两大比较突出的优点：首先，神经网络以原始图像作为输入数据，通过大量图像数据作为驱动，能够自动提取用于识别图像目标的特征。第二就是卷积神经网络对图像目标的平移、缩放、旋转等形变具有很强的抵抗能力，提取图像的深层语义特征，这能极大提高目标识别率。

但是，现有技术利用卷积神经网络仍存在其不足。RCNN和SPPNet这两种方法首先选用Selective Search选择性搜索的方法提取候选区域，然后采用卷积神经网络实现特征提取，最后训练SVM分类器，在此基础上还可以进一步回归得到检测目标的定位框。RCNN和SPPNet训练过程都不是一次性完成，多个阶段的训练过程较为复杂，故时间成本和空间代价都较高。

Fast RCNN第一步使用EdgeBoxes方法提取图像中的候选区域，虽然提取速度比Selective Search快十倍，但如果从效率的角度来考虑，候选区域的提取依旧是影响算法整体性能的瓶颈。Faster RCNN算法引入了RPN网络提取候选区域，从而真正实现了端到端的网络训练，大大提高了检测效率。

发明内容

针对现有技术存在的不足，本发明提供一种基于卷积神经网络的监控视频车辆检测与识别方法，基于VGGNet网络进行改进，通过卷积神经网络强大的拟合能力，挖掘图像中的深层语义特征，对于车辆的遮挡情况也具有很好的检测效果。同时采用了一种图像增强算法，对夜间场景下的图像进行预处理，使得车辆特征更为明显。

为了解决上述技术问题，本发明采用的技术方案是：一种基于卷积神经网络的监控视频车辆检测与识别方法，包括：

步骤一、优化VGGNet模型的步骤；

步骤二、采集视频样本；

步骤三、图像预处理的步骤：

步骤四、特征提取及车辆检测与识别的步骤。

进一步的，步骤一所述的优化VGGNet模型的步骤中，采用VGGNet-16网络结构，VGGNet-16网络结构由13个卷积层、5个池化层、3个全连接层组成；具体改进办法是：VGGNet-16的第5个Pool层被ROI池化层替换掉，VGGNet-16中的13个卷积层用来充当特征提取的部分，不包括pool5及pool5后的网络层次结构，从而加深共享卷积层。

进一步的，步骤三所述的图像预处理的步骤中，包括暗光图像处理的步骤，具体是：

(1)增加暗光条件下的训练样本；

(2)对暗光图像进行预先的判断和处理：首先判断该视频的场景是否是暗光条件，如果不是暗光条件，通过步骤三所述的步骤直接定位车辆目标的位置；如果是暗光条件，首先对图像进行去噪，然后通过暗光增强算法，增强图像中的边缘细节信息，使得车辆特征更为明显，然后再通过步骤三定位车辆目标的位置。

进一步的，步骤四的具体流程如下：

步骤a、共享卷积层：单帧图像输入到共享网络，经过卷积神经网络向前传播至最后一层共享卷积层，得到特征图；

步骤b、特征图：特征图既要输入RPN网络，又要继续向前传播至ROI卷积层，输入到RPN网络的特征响应图经过处理得到候选区域和对应区域的得分，并利用非极大值抑制删除位置不准确的候选区域，输出区域建议给ROI池化层；

步骤c、ROI池化层：来自共享卷积层输出的特征图和RPN网络输出的区域建议同时输入到ROI池化层，提取对应候选区域的更高层次特征；

步骤d、全连接层：从ROI池化层得到的更高层次的特征通过全连接层后，输出车辆的分类得分以及回归后的位置定位。

与现有技术相比，本发明优点在于：

(1)优化卷积神经网络VGGNet模型，利用卷积神经网络强大的拟合能力，通过对实际视频样本的采集，挖掘图像中的深层语义特征，完成对监控视频中车辆的检测和识别，对于车辆的遮挡情况也具有很好的检测效果。

(2)通过暗光处理，对图像进行去噪，降低噪声对检测系统的影响；然后，通过暗光增强算法，增强图像中的边缘细节信息，能够有效处理夜晚条件下图像模糊不清的问题，提高图像清晰度，使得车辆特征更为明显，有效提高了车辆检测的准确率。

附图说明

图1为本发明的暗光条件下图像预处理流程图；

图2为本发明的车辆检测与识别流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

本发明设计了一种基于卷积神经网络的监控视频车辆检测与识别方法，本发明对VGGNet模型进行改进。VGGNet-16网络结构由13个卷积层、5个池化层、3个全连接层组成。具体改进办法是，VGGNet-16的第5个Pool层被ROI池化层替换掉，VGGNet-16中的13个卷积层用来充当特征提取的部分，不包括pool5及pool5后的网络层次结构，从而加深共享卷积层。并针对夜晚暗光条件下，采用单幅图像的快速去雾算法，该算法复杂度只有O(1)，对夜间图像进行去雾处理。以期望达到更高的检测准确率。

下面详细介绍车辆检测与识别的流程步骤：

一、图像预处理

通常，对于白天的道路监控视频而言，车辆检测算法通常可以获得很高的检测率。但当监控视频的场景是夜晚时，车辆检测算法的可靠性会有所下降，可能会出现误捡或漏检的情况。本发明针对夜晚暗光条件下的车辆检测系统，提出如下解决方案：

(1)增加暗光条件下的训练样本，增强系统在暗光条件下的稳定性；

(2)对暗光图像进行预先的判断和处理：如图1所示，暗光条件下车辆检测时，对暗光图像进行预先的判断和处理，使得车辆检测的效果得到增强。

暗光图像处理的功能分析：对于监控视频，首先判断该视频的场景是否是暗光条件。如果不是暗光条件，通过车辆检测与识别算法直接定位车辆目标的位置。如果是夜间这种光照不足等暗光条件，首先对图像进行去噪，降低噪声对检测系统的影响；然后通过暗光增强算法，增强图像中的边缘细节信息，使得车辆特征更为明显，然后再通过车辆检测与识别算法定位车辆目标的位置。

本发明采用的暗光图像的处理算法步骤如下：

①输入：有雾图像H(x)

其中H代表观察到的有雾图像，x为图像像素的空间坐标。

②求取图像H(x)三通道的最小值

③对M(x)进行均值滤波，得出均值滤波值M_ave(x)＝average_s(M(x))

其中，s表示均值滤波窗口大小

④求取M(x)中所有元素的均值m_av

⑤利用M_ave(x)求出环境光L(x)L_o(x)＝min(min(ρm_av,0.9)M_ave(x),M(x))

其中ρ为可调节的参数且0≤ρ≤1/m_av,m_av为M(x)所有元素均值，M_ave(x)代表均值滤波，M(x)为原图像三通道最小值

⑥利用M_ave(x)和H(x)求出全局大气光A

⑦输出：去雾后图像F(x)

二、车辆检测与识别算法：结合图2所示，特征提取及车辆检测与识别方法的流程如下：

步骤a、共享卷积层：单帧图像输入到共享网络，经过卷积神经网络向前传播至最后一层共享卷积层，得到特征图；

步骤b、特征图：特征图既要输入RPN网络，又要继续向前传播至ROI卷积层，输入到RPN网络的特征响应图经过处理得到候选区域和对应区域的得分，并利用非极大值抑制删除位置不准确的候选区域，输出区域建议给ROI池化层；

步骤c、ROI池化层：来自共享卷积层输出的特征图和RPN网络输出的区域建议同时输入到ROI池化层，提取对应候选区域的更高层次特征；

步骤d、全连接层：从ROI池化层得到的更高层次的特征通过全连接层后，输出车辆的分类得分以及回归后的位置定位。

综上所述，本发明采用了一种算法复杂度极低的算法用于处理暗光图像，然后对VGGNet模型进行改进，用于监控视频中车辆的检测与识别，结果表明本发明的主要优点：

(1)通过暗光处理，对图像进行去噪，降低噪声对检测系统的影响；然后，通过暗光增强算法，增强图像中的边缘细节信息，使得车辆特征更为明显。

(2)对VGGNet模型进行了改进，车辆检测与识别的准确率有了很大提高。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (4)

1.一种基于卷积神经网络的监控视频车辆检测与识别方法，其特征在于，包括：

步骤一、优化VGGNet模型的步骤；

步骤二、采集视频样本；

步骤三、图像预处理的步骤：

步骤四、特征提取及车辆检测与识别的步骤。

2.根据权利要求1所述的基于卷积神经网络的监控视频车辆检测与识别方法，其特征在于，步骤一所述的优化VGGNet模型的步骤中，采用VGGNet-16网络结构，VGGNet-16网络结构由13个卷积层、5个池化层、3个全连接层组成；具体改进办法是：VGGNet-16的第5个Pool层被ROI池化层替换掉，VGGNet-16中的13个卷积层用来充当特征提取的部分，不包括pool5及pool5后的网络层次结构，从而加深共享卷积层。

3.根据权利要求2所述的基于卷积神经网络的监控视频车辆检测与识别方法，其特征在于，步骤三所述的图像预处理的步骤中，包括暗光图像处理的步骤，具体是：

(1)增加暗光条件下的训练样本；

(2)对暗光图像进行预先的判断和处理：首先判断该视频的场景是否是暗光条件，如果不是暗光条件，通过步骤三所述的步骤直接定位车辆目标的位置；如果是暗光条件，首先对图像进行去噪，然后通过暗光增强算法，增强图像中的边缘细节信息，使得车辆特征更为明显，然后再通过步骤三定位车辆目标的位置。

4.根据权利要求3所述的基于卷积神经网络的监控视频车辆检测与识别方法，其特征在于，步骤四的具体流程如下：

步骤a、共享卷积层：单帧图像输入到共享网络，经过卷积神经网络向前传播至最后一层共享卷积层，得到特征图；

步骤b、特征图：特征图既要输入RPN网络，又要继续向前传播至ROI卷积层，输入到RPN网络的特征响应图经过处理得到候选区域和对应区域的得分，并利用非极大值抑制删除位置不准确的候选区域，输出区域建议给ROI池化层；

步骤c、ROI池化层：来自共享卷积层输出的特征图和RPN网络输出的区域建议同时输入到ROI池化层，提取对应候选区域的更高层次特征；

步骤d、全连接层：从ROI池化层得到的更高层次的特征通过全连接层后，输出车辆的分类得分以及回归后的位置定位。