CN107067002A - 一种动态视频中道路车牌识别方法 - Google Patents

Abstract

本发明公开了一种动态视频中道路车牌识别方法，通过提取道路旁动态车辆监控视频实现自动识别车牌号并记录，以便于追踪车辆信息及轨迹记录；信息通过多个摄像头采集而得，从视频流采集的帧图像信息经过图像预处理、定位车牌区域、车牌字符分割、HDRBM字符识别后，将识别出的车牌按照“摄像头序号车牌号监控时间”保存至文本，需查找的车牌号按照时间顺序排列，根据摄像头序号信息可得车辆经过的摄像头，结合摄像头所处的道路信息，即可追踪车辆轨迹。本发明能够满足复杂背景环境下的车牌定位，且字符识别率高，可满足在道路追查目标车辆的需求。

Description

一种动态视频中道路车牌识别方法

技术领域

本发明属于数字图像处理及人工智能技术领域，具体涉及一种对道路视频进行车牌识别的方法。

背景技术

随着我国城市经济的快速发展，城市规模不断扩大，城市人口持续增长，由城市化与机动化带来的人、车、环境和管理等影响道路交通安全的因素更趋复杂，中国城市交通问题日益突出。传统的交通监管方式已经难以满足监管现代化的要求，引入新的技术，提高监管效率无疑是解决问题的重要途径之一。在国内外，智能交通系统已成为当前交通管理发展得重要方向，而图像识别与轨迹追踪作为智能交通系统的核心技术，是智能交通系统的重要前沿研究领域，起着举足轻重的作用，其广泛应用必将有助于我国交通管理自动化的进程。

经过多年科研和实践的反复磨练，车牌识别技术现已经成长为现代社会中最普及、最成熟的模式识别技术之一，并在公路收费、监测报警、停车管理、称重系统、交通诱导、交通执法、公路稽查、车辆调度、车辆检测等场合中发挥着重要作用。

目前存在的一些车牌识别技术中，大都将整个识别分为四个过程，即：图像预处理、定位车牌区域、车牌字符分割、车牌字符识别。

其中对于车牌定位，使用的技术种类繁多，大致有如下一些方法：(A)利用分块和滑动窗口快速定位车牌的方法。首先,进行垂直边缘的检测；然后利用分块和滑动窗口的方法进行搜索,产生车牌候选区域；最后经过判别得到车牌区域,并对边界加以调整。缺点是在复杂背景环境下易定位错车牌。(B)基于颜色信息定位车牌区域，缺点是对光线变化敏感。(C)基于特征颜色边缘检测的车牌定位算法。通过分析局部区域内指定颜色的分布特征,使车牌颜色和纹理特征的提取同时进行,而且只检测出车牌内两种颜色之间的边缘。

在字符分割算法中，有以下几种方法(A)图像二值化投影法。先进行横向投影，定位上下字符边框，然后垂直投影，切分出字符。(B)局部自适应二值化。通过分块、逐点或者分字符来计算某一区域内的均值，对比度等特征，然后分别进行二值化。(C)倾斜校正方法。(D)层次分割与合并、分裂方法。(E)数学形态学，腐蚀、膨胀运算。车牌字符分割这一步骤起着承前启后的作用，这一步骤的成功实现既需要车牌提取、滤波等步骤的配合，又关系着字符识别能否成功的实施。

在字符识别算法中，目前普遍的车牌识别技术有：(A)采用模板匹配的方法，对车牌字符进行识别。该方法需要将目标图像与每一幅模板通过欧式距离、黑白像素比等图像进行匹配,对相似字符的识别率不高，噪声容限度小，在噪声干扰大的情况下识别正确率低。(B)神经网络模式识别技术。针对汉字、字母、字母或数字、数字四种不同的识别问题,设计四种不同的分类器。利用特征提取法进行特征提取,将其结果作为网络的输入,最后将不同的识别结果组合得到车牌号码。(C)普通支持向量机多类分类器。神经网络和支持向量机算法虽然识别正确率较高，但其需要数据集合适、特征集合好，且计算代价较大。

综上，就目前的车辆识别技术而言仍然有很大的不足，如字符识别正确率低，车牌识别速度慢，在复杂的道路环境下牌照定位准确率低，定位与识别算法难以支持全天候光线条件及雾霾雨雪等恶劣的天气条件。

发明内容

本发明的目的在于提供一种动态视频中道路车牌识别方法，通过提取道路旁动态车辆监控视频实现自动识别车牌号并记录，以便于追踪车辆信息及轨迹记录。该方法旨在解决现有技术中字符识别正确率低、车牌识别速度慢、在复杂的道路环境下牌照定位准确率低、定位与识别算法难以支持全天候光线条等缺陷，提高搜查车辆轨迹的速度及警方的办案效率。

本发明的目的是这样实现的：

一种动态视频中道路车牌识别方法，其特点是该方法包括以下具体步骤：

步骤1：在道路视频中提取含有车牌图像的帧；

步骤2：将提取的彩色图像转换成分辨率低、包含原始图像信息、噪声少的灰度图像；

步骤3：输入灰度图像，得到图像中车牌区域所在的坐标；

步骤4：对车牌字符切割、二值化、归一化，得到单幅车牌字符的二值图像；

步骤5：通过混合判别式受限玻尔兹曼机(HRDBM)离线训练的分类器模型，完成车牌字符的识别；

步骤6：绘制车辆在某段时间内行驶的轨迹，完成动态视频中道路车牌的识别。

所述步骤2具体包括：

ⅰ)图像降采样

降低图像采样率，使图像分辨率降低至400*600～500*700；

ⅱ)彩色图像灰度化

将彩色图像转换为灰度图像，采用加权平均法：即：Gray＝0.2989×R+0.5870×G+0.1140×B；其中，R、G、B分别为图像的红、绿、蓝三个通道的分量；

ⅲ)中值滤波

使用一个像素邻域内的中值来替代该处像素的值，滤去图像中的椒盐噪声。

所述步骤3具体包括：

a)顶帽变换，获得含有图像细节的图片；

b)Canny边缘检测，对含有图像细节的图片进行边缘检测，获得边缘图像，具体包括：

ⅰ)用一个高斯滤波器平滑输入图像；

ⅱ)计算梯度幅值图像和角度图像；

ⅲ)对梯度幅值图像应用非最大抑制；

ⅳ)用双阈值处理和连接分析来检测并连接边缘；

c)去除长的背景边缘和细小的边缘噪声，通过逐点遍历边缘图像，获得每个边缘的长度值，将大于车牌边缘最大值和小于车牌边缘的最小值的边缘删去，获得去除背景长边缘和边缘噪声的图像；

d)闭操作，将去除背景长边缘和边缘噪声的图像进行闭操作，使得车牌区域连为一体的同时又不与其它无用边缘相连；

e)定位车牌区域，遍历图像获取每个连通域的面积和长、宽，结合车牌长宽比特征及车牌在图像中应占的面积大小，得出车牌区域所在的连通域；定位出车牌所在区域的左上角点的坐标；

f)提取车牌区域，根据获取的车牌坐标和该连通域的长、宽，从灰度图像中截取出车牌的图像；

g)车牌二值化及中值滤波；

h)水平投影，上下侧波谷区为无用区，其它为字符区，抛弃上下无用区，得到准确的字符上下边框；确定车牌字符的上下界限。

所述步骤4具体包括：使用垂直投影法，再根据波谷从中间向两边切割，得一个一个的车牌字符，再进行上下投影与左右投影，更加精确确定每个字符的上下边框与左右边框；之后，再进行字符归一化，使每个字符有相同的分辨率，得到单幅车牌字符的二值图像。

所述步骤5具体包括：

将单幅车牌字符的二值图像降维，输入至已离线训练好的HDRBM分类器模型的输入层中，由该模型识别出该车牌的所有字符，按顺序输出得到车牌号。

所述步骤6具体包括：利用已识别出的车牌按照“监控探头号车牌号监控时间”保存，输入车牌号查找某辆车时，按时间顺序排序，确定车辆经过监控探头的顺序，再依据监控探头所处的地理信息即监控探头在地图上的坐标，绘制车辆在某段时间内行驶的轨迹。

本发明的有益效果是：首先，在车牌区域定位中，使用了顶帽变换、连通域标记法、闭运算与车牌几何特征相结合的方法，可以满足在复杂背景环境下准确的定位出车牌区域，有效的解决了基于颜色信息、利用中心滑动窗口寻找车牌、利用车牌跳跃点数检测车牌、利用车牌边缘信息检测车牌等方法在复杂背景环境下车牌定位率低的缺陷。其次，在车牌识别中，利用混合判别式受限玻尔兹曼机(HRDBM)离线训练的分类器模型以完成车辆牌照的识别，HDRBM加入了生成式目标到判别式目标，通过这种方法很好地正则化判别式目标，它是一种非线性分类器，对比传统的神经网络和支持向量机(SVMs)算法，它的识别准确率高。最后，本发明提出的基于多个视频的车辆轨迹追踪，可以协助管理人员更有效更快速的寻找目标车辆，节省办案时间。

附图说明

图1为本发明流程图；

图2为受限玻尔兹曼机的输入和目标类的联合分布模型图；实验中，隐含层单元数为1500，λ取值为0.01；

图3为本发明单幅图片识别过程截图；

图4为本发明从道路动态视频中提取的帧图像的车牌识别效果图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明包括视频中提取图像信息、图像预处理、定位车牌区域，车牌字符分割和车牌字符识别，轨迹生成六个步骤。

所述的视频中提取图像信息，其目的是从道路视频中提取包含车辆牌照信息的图像。通过对每帧图像都进行图像预处理、定位车牌区域操作，若能提取出车牌区域，则再进行车牌字符分割和字符识别操作，若此帧图像中没有定位出车牌区域，则认为此帧为无用帧，继续读取下一帧。

所述的图像预处理过程，其目的是将提取的RGB图像转换成分辨率低、包含原始图像重要信息、噪声更少的二值图像，包括图像降采样、RGB图像灰度化、中值滤波三个步骤。

所述的图像降采样，其目的是降低图像采样率，使图像分辨率降低至400*600左右，在不损坏图像中有用信息的同时，可减少运算的点数，从而减少时耗。

所述的彩色图像灰度化，旨在将彩色图像转换为灰度图像。目前采集到的图像为RGB彩色模型，数据量大，颜色种类繁多，不利于图像的快速处理，转换为灰度图像有利于后续算法更好的实现。采用加权平均法：即：Gray＝0.2989×R+0.5870×G+0.1140×B。

所述的中值滤波，旨在使用一个像素邻域内的中值来替代该处像素的值，滤去图像的椒盐噪声等干扰，以便于后续处理。

所述的定位车牌区域算法，其目的是输入上述处理后的二值图像，可得到图像中车牌区域所在的坐标。处理过程包括顶帽变换、Canny边缘检测、去除长的背景边缘和细小的边缘噪声、闭操作、定位车牌区域、提取车牌区域、车牌区域二值化、中值滤波、水平投影九个步骤。

所述的顶帽变换，其目的是提取图像细节。顶帽运算为原图像与开运算之差，开运算放大了裂缝或者局部低亮度区域，从原图中减去开运算后的图，得到的效果图突出了比原图轮廓周围的区域更明亮的区域。当一幅图像具有大幅的背景的时候，而微小物品比较有规律的情况下，使用顶帽运算进行背景提取。

所述的Canny边缘检测，旨在检测出图像中的边缘信息。Canny基于三个基本目标：低错误率、很好的定位边缘点、单一的边缘点相应。Canny边缘检测算法由下列基本步骤组成：(a)用一个高斯滤波器平滑输入图像。(b)计算梯度幅值图像和角度图像。(c)对梯度幅值图像应用非最大抑制。(d)用双阈值处理和连接分析来检测并连接边缘。

所述的去除长的背景边缘和细小的边缘噪声，是通过逐点遍历边缘图像，获得每个边缘的长度值，将大于车牌边缘最大值和小于车牌边缘的最小值的边缘删去，获得去除背景长边缘和边缘噪声的图像；假设E表示边缘检测后得到的边缘图像(若点(i,j)为边缘点，则E(i,j)＝1，反之为E(i,j)＝0)，M、N为与E相同大小的0矩阵，假设E的大小为m行n列，此步骤由下述三个循环组成：

第一个循环：

(1)当行从第3行遍历至第m-2行，当前行记为第i行；

(2)当列从第三列遍历至第n-2列，当前列记为第j列，若j>n-2,转至(1)；

(3)若E(i,j)＝1，则转至步骤(4)；若E(i,j)＝0，转至步骤(2)；

(4)若E(i-1,j-1)、E(i-1,j)、E(i-1,j+1)、E(i,j-1)不全为0，转至(5)，否则(6)

(5)M(i,j)＝max{M(i-1,j-1)、M(i-1,j)、M(i-1,j+1)、M(i,j-1)}+1

(6)M(i,j)＝max{M(i-2,j-1)、M(i-2,j)、M(i-2,j+1)、M(i-1,j-2)、M(i-1,j+2)、M(i,j-2)}+1

(7)转至(2)

第二个循环：

(1)当行从第3行遍历至第m-2行，当前行记为第i行；

(2)当列从第三列遍历至第n-2列，当前列记为第j列，若j>n-2,转至(1)；

(3)若E(i,j)＝1，则转至步骤(4)；若E(i,j)＝0，转至步骤(2)；

(4)若E(i-1,j-1)、E(i-1,j)、E(i-1,j+1)、E(i,j-1)不全为0，转至(5)，否则(6)

(5)N(i,j)＝max{N(i-1,j-1)、N(i-1,j)、N(i-1,j+1)、N(i,j-1)}+1

(6)N(i,j)＝max{N(i-2,j-1)、N(i-2,j)、N(i-2,j+1)、N(i-1,j-2)、N(i-1,j+2)、N(i,j-2)}+1

(7)转至(2)

第三个循环：

(1)当行从第3行遍历至第m-2行，当前行记为第i行；

(2)当列从第三列遍历至第n-2列，当前列记为第j列，若j>n-2,转至(1)；

(3)若E(i,j)＝1，转至(4)，否则(2)

(4)若M(i,j)+N(i,j)之和大于车牌边缘最大可能点数或小于车牌边缘最小可能点数，

(5)转至(5)，否则(2)

(6)令E(i,j)＝0

(7)转至(2)；

所述的闭运算，目的是车牌区域连为一体，以便于后续提取。闭操作可以平滑轮廓的一部分，弥合较窄的间断和细长的沟壑，消除小的孔洞，填补轮廓线中的断裂。结构元B对几何A的闭操作，即：A·B＝(A⊕B)ΘB，为先用B对A进行膨胀，再用B对膨胀的结果进行腐蚀，使得对应图形的大小不变，而又可以得到膨胀后弥合较窄的间断和细长的沟壑、消除小的孔洞、填补轮廓线中的断裂的效果。

所述的根据长宽比及面积粗定位车牌区域，其目的是定位出车牌所在区域的左上角点的坐标，以及车牌所在连通域的长和宽。具体方法是使用Matlab中连通域标记法获取每个连通域的长宽比即面积大小，结合车牌长宽比特征及车牌在图像中应占的面积大小，可得出车牌区域所在的连通域。

所述的根据坐标即长宽比提取车牌区域，其目的是从原图像中截取出车牌的图像。

所述的车牌二值化及中值滤波，目的是将车牌图像阈值化便于处理，并减少车牌区域噪声干扰。所述的图像二值化，旨在将图像上的像素点的灰度值根据自适应阈值法设置为0或255，使整个图像呈现出非黑即白的视觉效果。可极大压缩数据量，简化了分析和处理步骤。采用Otsu方法进行二值化，再对二值化的图像进行中值滤波。

上述的水平投影目的是确定车牌字符的上下界限。首先进行水平投影，认为上下侧波谷区为无用区，其它为字符区，抛弃上下无用区，可得到准确的字符上下边框。

所述的车牌字符分割，目的是得到单幅车牌字符图像。使用垂直投影法，再根据波谷从中间向两边切割，可得一个一个的车牌字符，再进行上下投影与左右投影，以更加精确确定每个字符的上下边框与左右边框。之后，再进行字符归一化，使每个字符有相同的分辨率，以便字符识别。

所述的车牌字符识别是通过混合判别式受限玻尔兹曼机(HRDBM)离线训练的分类器模型，完成车辆牌照的识别。首先需进行模型的训练，HDRBM有输入层、隐含层及标签输出层。HDRBM加入了生成式目标到判别式目标，通过这种方法很好地正则化判别式目标，HDRBM目标函数表示如下：

O_hybrid＝O_disc+λO_gen

其中，λ的取值根据实验动态调整。

离线训练的分类器HDRBM在配置环境为i7 6700hq处理器、970显卡、采用GPU加速的条件下，训练时间为20分钟。

通过采集两万张字符模版，包含倾斜、模糊、残缺等字符的模型，输入至输入层，对HDRBM进行训练。训练完成后，将得到模型的参数。之后的车牌字符识别中，通过将二维的图片一行连着一行拉成行数为一、列数为原行数*原列数大小的一维的图，将其输入至输入层，再通过先前离线训练的分类器模型，输出一个标签，根据标签即可判别其为何种字符。根据车牌字符的分布形式，将其分成了三种分类器，即：汉字字符为一类、英文字母为一类、阿拉伯数字和英文字母为一类。

参数：h层单元数＝1500，取值为0.01。本系统标签为0～33，共34个标签，其中：0～9为数字0～9，10～33为字母A～Z。

上述的车辆轨迹生成是利用将在视频中识别的车牌按照“监控探头号车牌号监控时间”保存至文本，输入车牌号查找某辆车时，将按时间顺序排序，以确定车辆经过监控探头的顺序，再依据监控探头所处的地理信息(监控探头在地图上的坐标)，即可绘制车辆在某段时间内行驶的轨迹。

实施例1

如图3所示，为单幅图片识别过程截图，原图(a)中经过降采样、灰度化(b)将图像分辨率降低至400*600左右，在不损坏图像中有用信息的同时，可减少运算的点数，从而减少时耗。采集到的图像为RGB彩色模型，数据量大，颜色种类繁多，不利于图像的快速处理，因此将彩色图像转换为灰度图像，以便后续算法更好的实现。采用加权平均法：即：0.2989×R+0.5870×G+0.1140×B。

顶帽变换(c)为原图像与开运算之差，开运算放大了裂缝或者局部低亮度区域，从原图中减去开运算后的图，得到的效果图突出了比原图轮廓周围的区域更明亮的区域。当一幅图像具有大幅的背景的时候，而微小物品比较有规律的情况下，使用顶帽运算进行背景提取。

边缘检测(d)用一个高斯滤波器平滑输入图像。计算梯度幅值图像和角度图像。对梯度幅值图像应用非最大抑制。用双阈值处理和连接分析来检测并连接边缘。此步骤后可得图像的边缘轮廓。通过去除长的背景边缘和细小的边缘噪声(e)可去除图像中的细小孔洞噪声等干扰。通过闭运算(f)，可填充小孔洞即裂缝。内核大小设置合适值时，可使车牌区域连为一体，如图(f)所示，以便于后续提取。

根据长宽比及面积粗定位车牌区域。使用连通域标记法获取每个连通域的长宽比即面积大小，结合车牌长宽比特征及车牌在图像中应占的面积大小，得出车牌区域所在的连通域。如图(g)所示。

根据坐标即长宽比提取目标连通域(车牌区域)，在原图中切割出该坐标及相应长度宽度的区域，即可初步提取出车牌区域。如图(h)、图(i)所示。

将提取出的车牌图像二值化，以便于后续处理。如图(j)所示。

将车牌二值化后的图像进行中值滤波，滤去其中的椒盐噪声，防止后续步骤受到噪声干扰。如图(k)所示。

将图(k)进行水平投影，删去上下侧低于一定像素值(设为3)的行，定位出字符的上下边框。如图(L)所示。

将图(L)进行垂直投影，根据波谷从中间至两边依次切割出车牌字符。如图m所示。

将切割出的车牌字符进行归一化，如图(n)所示。

将每个车牌字符进行字符识别，通过混合判别式受限玻尔兹曼机(HRDBM)离线训练的分类器模型，完成车辆牌照的识别。HDRBM有输入层、隐含层及标签输出层。通过将二维的图片一行连着一行拉成行数为一、列数为原行数*原列数大小的一维的图，将其输入至输入层，再通过离线训练的分类器模型，输出一个标签，根据标签即可判别其为何种字符。离线训练的分类器HDRBM在配置环境为i7 6700hq处理器、970显卡、采用GPU加速的条件下，训练时间为20分钟。参数：h层单元数＝1500，取值为0.01。其中标签为0～33，共34个标签，0～9为数字0～9，10～33为字母A～Z。

实施例2

如图4所示，为从道路动态视频中提取的帧图像进行上述步骤的车牌识别效果。其中，(a)视频截图(b)视频中提取图像(c)降采样、灰度化(d)顶帽变换(e)边缘检测(f)去除长的背景边缘和细小的边缘噪声(g)闭运算(h)连通域标记法(i)定位车牌(j)提取车牌图像、车牌图像二值化(k)图像滤波(l)切割车牌及车牌字符归一化(m)车牌字符识别。

Claims (6)

1.一种动态视频中道路车牌识别方法，其特征在于，该方法包括以下具体步骤：

步骤1：在道路视频中提取含有车牌图像的帧；

步骤2：将提取的彩色图像转换成分辨率低、包含原始图像信息、噪声少的灰度图像；

步骤3：输入灰度图像，得到图像中车牌区域所在的坐标；

步骤4：对车牌字符切割、二值化、归一化，得到单幅车牌字符的二值图像；

步骤5：通过混合判别式受限玻尔兹曼机(HRDBM)离线训练的分类器模型，完成车牌字符的识别；

步骤6：绘制车辆在某段时间内行驶的轨迹，完成动态视频中道路车牌的识别。

2.根据权利要求1所述的动态视频中道路车牌识别方法，其特征在于步骤2具体包括：

ⅰ)图像降采样

降低图像采样率，使图像分辨率降低至400*600～500*700；

ⅱ)彩色图像灰度化

将彩色图像转换为灰度图像，采用加权平均法：即：Gray＝0.2989×R+0.5870×G+0.1140×B；其中，R、G、B分别为图像的红、绿、蓝三个通道的分量；

ⅲ)中值滤波

使用一个像素邻域内的中值来替代该处像素的值，滤去图像中的椒盐噪声。

3.根据权利要求1所述的动态视频中道路车牌识别方法，其特征在于步骤3具体包括：

a)顶帽变换，获得含有图像细节的图片；

b)Canny边缘检测，对含有图像细节的图片进行边缘检测，获得边缘图像，具体包括：

ⅰ)用一个高斯滤波器平滑输入图像；

ⅱ)计算梯度幅值图像和角度图像；

ⅲ)对梯度幅值图像应用非最大抑制；

ⅳ)用双阈值处理和连接分析来检测并连接边缘；

c)去除长的背景边缘和细小的边缘噪声，通过逐点遍历边缘图像，获得每个边缘的长度值，将大于车牌边缘最大值和小于车牌边缘的最小值的边缘删去，获得去除背景长边缘和边缘噪声的图像；

d)闭操作，将去除背景长边缘和边缘噪声的图像进行闭操作，使得车牌区域连为一体的同时又不与其它无用边缘相连；

e)定位车牌区域，遍历图像获取每个连通域的面积和长、宽，结合车牌长宽比特征及车牌在图像中应占的面积大小，得出车牌区域所在的连通域；定位出车牌所在区域的左上角点的坐标；

f)提取车牌区域，根据获取的车牌坐标和该连通域的长、宽，从灰度图像中截取出车牌的图像；

g)车牌二值化及中值滤波；

h)水平投影，上下侧波谷区为无用区，其它为字符区，抛弃上下无用区，得到准确的字符上下边框；确定车牌字符的上下界限。

4.根据权利要求1所述的动态视频中道路车牌识别方法，其特征在于步骤4具体包括：使用垂直投影法，再根据波谷从中间向两边切割，得一个一个的车牌字符，再进行上下投影与左右投影，更加精确确定每个字符的上下边框与左右边框；之后，再进行字符归一化，使每个字符有相同的分辨率，得到单幅车牌字符的二值图像。

5.根据权利要求1所述的动态视频中道路车牌识别方法，其特征在于步骤5具体包括：

将单幅车牌字符的二值图像降维，输入至已离线训练好的HDRBM分类器模型的输入层中，由该模型识别出该车牌的所有字符，按顺序输出得到车牌号。

6.根据权利要求1所述的动态视频中道路车牌识别方法，其特征在于步骤6具体包括：利用已识别出的车牌按照“监控探头号车牌号监控时间”保存，输入车牌号查找某辆车时，按时间顺序排序，确定车辆经过监控探头的顺序，再依据监控探头所处的地理信息即监控探头在地图上的坐标，绘制车辆在某段时间内行驶的轨迹。