CN110136449A - 基于深度学习的交通视频车辆违停自动识别抓拍的方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的交通视频车辆违停自动识别抓拍的方法，基于深度学习卷积神经网络技术，构建车辆及车牌检测模型，实时检测识别交通监控视频中出现的特定类型的监控车辆(如大巴车、出租车等)，并利用帧间差分法对监控车辆的运动状态进行检测，判断其是否发生违停行为，再结合三维定位技术联动摄像球机进行角度的转动和画面的缩放，从而拍摄清晰的违章车辆图片及车牌号码图片，并基于深度学习卷积神经网络技术构建的车牌号码识别模型进行车牌号码的自动识别，从而最终实现违章视频片段的自动抓拍及违章车辆信息的结构化提取，为交通违停的执法人员提供完整的证据链。

Description

基于深度学习的交通视频车辆违停自动识别抓拍的方法

技术领域

本发明涉及车牌识别领域，具体涉及一种基于深度学习的交通视频车辆违停自动识别抓拍的方法。

背景技术

随着社会经济的蓬勃发展和城市车辆保有量的逐年攀升，城市道路拥堵和交通违规问题不断加剧，已经成为社会关注的重点。其中，车辆的违章停车行为不仅恶化了拥堵现象，破坏了交通秩序，还容易引发交通事故带来极大的安全隐患。为此，城市架设了密集的交通摄像头监控车辆的违停行为。然而，面对海量的交通监控视频录像，需要人工逐段浏览视频以定位车辆的违章行为和违章片段，耗时耗力且效率低下。另外，对于停放较远或视角较差的区域，摄像头难以捕获清晰的车牌号码图片，无法为后期执法提供直接有力的客观证据。

为了解决违停车辆的视频自动识别问题，在专利《一种违章停车检测方法和装置》CN103116985B中，根据视频序列获得图像的禁停区域，利用前景检测得到车辆目标，并跟踪车辆目标判断是否进入禁停区域并计算违停时长。专利《一种交通视频行为分析与报警服务器》CN102081844A采用高斯背景建模方法检测监控视频中的运动物体，并根据物体大小、长宽比例、直方图信息等人工特征识别车辆行人，利用粒子滤波技术跟踪车辆目标，判断其是否在禁停区域停留，并进一步识别车牌。然而，上述方法采用传统的图像处理技术进行车辆识别，对于天气光照、图像画面质量、拍摄角度、车辆的外观等条件变化较为敏感，识别精度低，容易产生误识别、漏识别等问题。专利《基于SSD神经网络的违章停车车辆实时检测方法》CN106935035A基于深度学习构建车辆检测神经网络SSD识别视频画面中禁停区域内的车辆目标，并结合模板匹配法对车辆目标进行轨迹追踪判断是否为违章停车。该方法虽然提升了车辆目标检测识别的精度，然而车牌号码的识别仍然需要人工查看视频，且对于占据画面比例较小的车辆目标，无法抓拍清晰的车牌号码区域图片，对于交通违章执法的帮助有限。

因此，为解决以上问题，需要一种基于深度学习的交通视频车辆违停自动识别抓拍的方法，能够解决现有技术中的车辆违停自动识别抓拍精度低、效果差的技术问题。

发明内容

有鉴于此，本发明的目的是克服现有技术中的缺陷，提供基于深度学习的交通视频车辆违停自动识别抓拍的方法，能够解决现有技术中的车辆违停自动识别抓拍精度低、效果差的技术问题。

本发明的基于深度学习的交通视频车辆违停自动识别抓拍的方法，包括下列步骤：

步骤一：获取多段包含特定类型的监控车辆目标违停行为的视频序列，并添加标签，构成训练数据集；

步骤二：基于步骤一中的训练数据集，训练目标检测深层卷积神经网络，得到车辆车牌检测模型；

步骤三：基于步骤一中训练数据集，训练字符识别卷积神经网络，得到车牌号码识别模型；

步骤四：对实时交通监控视频流进行解码，得到单帧交通图像；

步骤五：基于步骤二中车辆车牌检测模型对单帧交通图像进行检测，得到特定类型的车辆所在的像素区域、车牌所在的像素区域；

步骤六：基于多张连续的单帧交通图像的车辆所在像素区域，利用帧间差分法进行运动判别，得到多张单帧交通图像所对应的车辆的运动状态；

步骤七：对多张单帧交通图像的车辆运动状态判别结果，分析车辆是否有违停行为，并定位违停的起始、持续、结束时间点；

步骤八：当出现违停的起始时间点时，开始违停的抓拍录制，并利用三维定位技术联动控制调整摄像球机，获得清晰的车辆图像；

步骤九：基于步骤三中车牌号码识别模型对清晰的车辆图像进行车牌号码识别，得到车牌号码；

步骤十：当出现违停的结束时间点时，结束违停的抓拍录制。

进一步，在步骤二和步骤三中，目标检测深层卷积神经网络和字符识别深层卷积神经网络均包括一个输入层、多个卷积层、多个池化层、1个或多个全连接层、1个输出层，训练过程分别基于梯度下降法进行，迭代多次直至收敛，分别得到车辆车牌检测模型和车牌号码识别模型。

进一步，步骤五包括下列分步骤：

5.1对单帧交通图像进行尺寸缩放及像素归一化；

5.2将归一化后的图像输入到车辆车牌检测模型中，得到特定类型的车辆所在的像素区域、车牌所在的像素区域。

进一步，利用三维定位技术联动控制调整摄像球机包含：基于车辆检测结果进行球机摄像角度的调整和画面的缩放，使得车辆所在的像素区域处于整个画面的中央位置并保证其所占比例大于预设的阈值。

进一步，在步骤一中，包括下列分步骤：

1.1对多段视频序列进行解码，得到多张单帧图片；

1.2对单帧图片添加标签，标签包含车辆类型、车辆区域像素坐标、车牌号码区域像素坐标、车牌号码字符，得到训练数据集。

进一步，在步骤六中，运动判断步骤为：

6.1计算单帧交通图像中车辆所在的像素区域与特定帧数的历史交通图像中车辆所在的像素区域之间的位置偏差；

6.2将上述位置偏差与预设的运行判断阈值进行对比，若大于阈值则认为车辆处于运动状态，否则认为车辆处于静止状态。

进一步，在步骤七中，违停判别方法为：

7.1将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆由运动变为静止，则认为车辆发生违停行为，且当前帧为违停的起始时间点；

7.2将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆状态均为运动，则认为车辆未发生违停行为；

7.3将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆状态均为静止，则认为车辆仍处于违停行为，且当前帧为违停的持续时间点；

7.4将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆由静止变为运动，则认为车辆结束了违停行为，且当前帧为违停的结束时间点。

进一步，在步骤九中，包括下列分步骤：

9.1基于清晰的车辆图像和车牌所在的像素区域，获得清晰的车牌区域图像；

9.2对清晰的车牌区域图像进行字符分割，得到单个车牌字符图像；

9.3对单个车牌字符图像进行尺寸缩放；

9.4输入尺寸缩放后的单个车牌字符图像至车牌号码识别模型，得到车牌号码；

9.5识别完成后，将摄像头归位调整到原始预置点。

本发明的有益效果是：

1.本发明采用深度学习卷积神经网络技术构建车辆车牌检测模型及车牌号码识别模型，计算速度快、精度高，且对多种光照、背景、环境、车辆外观变化等具有很强的鲁棒性；

2.本发明基于自动的车辆车牌检测及帧间差分法进行运动判别，可以于第一时间定位违停行为，提升了预警的实时性和监控效率；

3.本发明利用三维定位技术联动控制球机获取高清的违停车辆图片，实现由全局到局部的全方位监管，对于停放较远、拍摄角度较差的车辆也可以轻松识别；

4.本发明采用深度学习卷积神经网络技术构建车牌号码识别模型，将违停车辆的信息进行实时的结构化转换，有利于为后续交通执法提供直接的数据支撑，提升执法效率。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明的流程图。

具体实施方式

图1为本发明的流程图，如图所示，本实施例中的基于深度学习的交通视频车辆违停自动识别抓拍的方法，该方法包括如下步骤：

步骤S101：获取多段包含特定类型的监控车辆目标违停行为的视频序列，并添加标签，构成训练数据集；其中，本实例获取了100段包含大巴车违停行为的视频序列，每段视频长度为10分钟，视频分辨率为1280x720，每秒帧数为30；

1.1对多段视频序列进行解码，得到多张单帧图片；其中，本实例共获取 180万张单帧图片；

1.2对单帧图片添加标签，标签包含车辆类型、车辆区域像素坐标、车牌号码区域像素坐标、车牌号码字符，得到训练数据集。其中，本实例中车辆的类型为大巴车，车辆区域像素坐标包含车辆区域的左上角、右下角坐标，车牌号码区域像素坐标包含车牌号码区域的左上角、右下角，车牌号码字符包含31个汉字、24个字母和10个数字。

步骤S102：基于训练数据集，训练目标检测深层卷积神经网络，得到车辆车牌检测模型；

2.1目标检测深层卷积神经网络包含一个输入层、多个卷积层、多个池化层、1个或多个全连接层、1个输出层；其中，本实例中目标检测深层卷积神经网络采用YOLO网络，包含一个输入层、24个卷积层、4个池化层、 2个全连接层、1个输出层；

2.2训练过程基于梯度下降法进行，迭代多次直至收敛，得到车辆车牌检测模型。其中，本实例中梯度下降法的batch size设置为32，epoch 数为100。

步骤S103：基于训练数据集，训练字符识别卷积神经网络，得到车牌号码识别模型；

3.1字符识别深层卷积神经网络包含一个输入层、多个卷积层、多个池化层、1个或多个全连接层、1个输出层；其中，本实例中字符识别深层卷积神经网络采用LeNet-5模型，包含一个输入层、3个卷积层、2个池化层、2个全连接层、1个输出层；

3.2训练过程基于梯度下降法进行，迭代多次直至收敛，得到车牌号码识别模型。其中，本实例中梯度下降法的batch size设置为16，epoch数为 40。

步骤S104：对实时交通监控视频流进行解码，得到单帧交通图像；

步骤S105：基于车辆车牌检测模型对单帧交通图像进行检测，得到特定类型的车辆所在的像素区域、车牌所在的像素区域；

5.1对单帧交通图像进行尺寸缩放及像素归一化；其中，本实例中，将单

帧交通图像尺寸缩放为448x448x3，像素值除以255；

5.2将归一化后的图像输入到车辆车牌检测模型中，得到特定类型的车辆所在的像素区域、车牌所在的像素区域。其中，本实例中，输出得到大巴车所在的像素区域、大巴车的车牌所在的像素区域。

步骤S106：基于多张连续的单帧交通图像的车辆所在像素区域，利用帧间差分法进行运动判别，得到多张单帧交通图像所对应的车辆的运动状态；

6.1计算单帧交通图像中车辆所在的像素区域与特定帧数的历史交通图像中车辆所在的像素区域之间的位置偏差；其中，本实例中，与3帧历史交通图像进行比对。

6.2将上述位置偏差与预设的运行判断阈值进行对比，若大于阈值则认为车辆处于运动状态，否则认为车辆处于静止状态。本实例中，阈值设置为10 个像素。

步骤S107：对多张单帧交通图像的车辆运动状态判别结果，分析车辆是否有违停行为，并定位违停的起始、持续、结束时间点；

7.1将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆由运动变为静止，则认为车辆发生违停行为，且当前帧为违停的起始时间点；

7.2将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆状态均为运动，则认为车辆未发生违停行为；

7.3将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆状态均为静止，则认为车辆仍处于违停行为，且当前帧为违停的持续时间点；

7.4将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆由静止变为运动，则认为车辆结束了违停行为，且当前帧为违停的结束时间点。

步骤S108：当出现违停的起始时间点时，开始违停的抓拍录制，并利用三维定位技术联动控制调整摄像球机，获得清晰的车辆图像；

8.1利用三维定位技术联动控制调整摄像球机包含：基于车辆检测结果进行球机摄像角度的调整和画面的缩放，使得车辆所在的像素区域处于整个画面的中央位置并保证其所占比例大于预设的阈值。其中，本实例中预设的阈值为35％。

步骤S109：基于车牌号码识别模型对清晰的车辆图像进行车牌号码识别，得到车牌号码；

9.1基于清晰的车辆图像和车牌所在的像素区域，获得清晰的车牌区域图像；

9.2对清晰的车牌区域图像进行字符分割，得到单个车牌字符图像；

9.3对单个车牌字符图像进行尺寸缩放，尺寸变为32x24x3；

9.4输入尺寸缩放后的单个车牌字符图像至车牌号码识别模型，得到车牌号码；

9.5识别完成后，将摄像头归位调整到原始预置点。

步骤S110：当出现违停的结束时间点时，结束违停的抓拍录制。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：包括下列步骤：

步骤一：获取多段包含特定类型的监控车辆目标违停行为的视频序列，并添加标签，构成训练数据集；

步骤二：基于步骤一中的训练数据集，训练目标检测深层卷积神经网络，得到车辆车牌检测模型；

步骤三：基于步骤一中训练数据集，训练字符识别卷积神经网络，得到车牌号码识别模型；

步骤四：对实时交通监控视频流进行解码，得到单帧交通图像；

步骤五：基于步骤二中车辆车牌检测模型对单帧交通图像进行检测，得到特定类型的车辆所在的像素区域、车牌所在的像素区域；

步骤六：基于多张连续的单帧交通图像的车辆所在像素区域，利用帧间差分法进行运动判别，得到多张单帧交通图像所对应的车辆的运动状态；

步骤七：对多张单帧交通图像的车辆运动状态判别结果，分析车辆是否有违停行为，并定位违停的起始、持续、结束时间点；

步骤八：当出现违停的起始时间点时，开始违停的抓拍录制，并利用三维定位技术联动控制调整摄像球机，获得清晰的车辆图像；

步骤九：基于步骤三中车牌号码识别模型对清晰的车辆图像进行车牌号码识别，得到车牌号码；

步骤十：当出现违停的结束时间点时，结束违停的抓拍录制。

2.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：在步骤二和步骤三中，目标检测深层卷积神经网络和字符识别深层卷积神经网络均包括一个输入层、多个卷积层、多个池化层、1个或多个全连接层、1个输出层，训练过程分别基于梯度下降法进行，迭代多次直至收敛，分别得到车辆车牌检测模型和车牌号码识别模型。

3.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：步骤五包括下列分步骤：

5.1对单帧交通图像进行尺寸缩放及像素归一化；

5.2将归一化后的图像输入到车辆车牌检测模型中，得到特定类型的车辆所在的像素区域、车牌所在的像素区域。

4.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：利用三维定位技术联动控制调整摄像球机包含：基于车辆检测结果进行球机摄像角度的调整和画面的缩放，使得车辆所在的像素区域处于整个画面的中央位置并保证其所占比例大于预设的阈值。

5.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：在步骤一中，包括下列分步骤：

1.1对多段视频序列进行解码，得到多张单帧图片；

1.2对单帧图片添加标签，标签包含车辆类型、车辆区域像素坐标、车牌号码区域像素坐标、车牌号码字符，得到训练数据集。

6.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：在步骤六中，运动判断步骤为：

6.1计算单帧交通图像中车辆所在的像素区域与特定帧数的历史交通图像中车辆所在的像素区域之间的位置偏差；

6.2将上述位置偏差与预设的运行判断阈值进行对比，若大于阈值则认为车辆处于运动状态，否则认为车辆处于静止状态。

7.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：在步骤七中，违停判别方法为：

7.1将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆由运动变为静止，则认为车辆发生违停行为，且当前帧为违停的起始时间点；

7.2将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆状态均为运动，则认为车辆未发生违停行为；

7.3将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆状态均为静止，则认为车辆仍处于违停行为，且当前帧为违停的持续时间点；

7.4将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆由静止变为运动，则认为车辆结束了违停行为，且当前帧为违停的结束时间点。

8.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：在步骤九中，包括下列分步骤：

9.1基于清晰的车辆图像和车牌所在的像素区域，获得清晰的车牌区域图像；

9.2对清晰的车牌区域图像进行字符分割，得到单个车牌字符图像；

9.3对单个车牌字符图像进行尺寸缩放；

9.4输入尺寸缩放后的单个车牌字符图像至车牌号码识别模型，得到车牌号码；

9.5识别完成后，将摄像头归位调整到原始预置点。