CN101957920A - 基于数字视频的车牌查找方法 - Google Patents

Abstract

本发明公开了一种基于数字视频的车牌查找方法。该方法主要针对道路、街面的海量实时监视视频流或者视频存储文件进行处理，提取其中的运动帧，在运动帧中结合梯度运算和多特征多方向投影进行车牌区域提取，基于最优起始点的车牌字符投影分割，结合统计特征和结构特征的四重约束车牌字符识别，统计输出后，进行车牌检索。该方法完全基于视频本身进行处理，无需额外触发硬件，适用范围更广泛，智能化程度更高，准确度高。

Description

基于数字视频的车牌查找方法

技术领域

本发明主要涉及一种基于数字视频的车牌查找方法。

背景技术

现有的基于数字视频的车牌识别方法主要有两种触发策略：以200710120602.0为代表的有触发方法，利用道路中预埋的压力线圈采集车辆驶入信号，触发监视摄像机进行采集，该方法的缺陷是必须依赖压力传感器，应用环境受限；以200410102933.8为代表的无触发方法则是针对视频中每一帧图像进行处理，该方法的缺陷是数据量巨大，增大了系统资源消耗，并且其中存在海量冗余处理，效率不高。

传统车牌定位方法大多基于颜色特征或形状特征进行处理，基于颜色的方法易受光照和环境颜色影响，准确度不高；基于形状特征的方法，比如200810114753.X，采用了基于边缘搜索的方法，当汽车外观方框形部件较多时，耗时较长，而且准确度不高，易受汽车外形及环境影响。

传统的车牌字符分割方法，比如200610122533.2等，是对车牌图像求垂直投影，以最左边界为起始点从左至右搜索，以垂直投影的极小值点作为相邻字符的间隔点，实现字符分割。该方法的缺陷主要在于实用效果欠佳。由于实际车牌图像受车牌破损、图像降质、边界干扰等因素影响，会导致边缘起始字符的分割可能不准确。

现有的车牌字符识别方法主要是依据老的国家标准GA36-92的规定，各位置字符指定为字母或数字的规则，采用各种算法进行字母或数字的识别；或者是对任意一位字符不分字母或数字，进行统一的一次性识别的处理，如专利200810062050.7、200910035484.2。由于当前车牌编号规则更加多样化，除第一个字符是各省、直辖市简称的汉字字符外，其余字符不再完全符合GA36-92的规定；不分字母和数字统一进行识别的处理，相应地扩大了待识别范围，增加了干扰因素，识别准确度不高。

发明内容

针对现有的车牌识别技术，本发明提供一种基于数字视频的车牌识别方法，该方法包括视频运动帧提取、车牌区域定位、车牌字符投影分割、车牌字符识别方法。

本发明设计的车牌检索方法主要针对道路、街面的海量实时监视视频流或者视频存储文件进行处理，提取其中的运动帧，在运动帧中采用高质量算法发现、提取、识别可能存在的车牌号码，并将其与可疑车牌目标进行检索比对，返回检索结果。其完整处理流程如图1所示，下面对本发明中的技术方案阐述如下：

1、针对运动帧的车牌提取策略

本发明采取的策略是：对视频流或者视频文件进行运动分析，仅针对视频流中的运动帧部分，或者视频文件解码后得到的关键帧中发生了运动的部分，进行车牌识别和检索处理。

具体流程为：

Step1：针对视频文件进行解码，提取关键帧；

Step2：针对关键帧或者视频流，进行基于三帧差分的运动检测，提取运动帧；

Step3：将提取到的运动帧转为灰度图像；

Step4：针对提取到的运动帧进行后续车牌识别处理。

2、结合梯度运算和多特征多方向投影的车牌区域定位方法

该方法根据车牌区域内灰度变化频繁的特点，在梯度运算的基础上实现二值化，分别计算二值图像水平特征在水平方向上的投影以及二值图像垂直特征在垂直方向上的投影，以提取车牌区域。在此基础上的车牌区域提取流程示意图如图2所示。

具体过程如下：

Step1：计算运动帧灰度图像的水平梯度

令待处理视频帧灰度图像为I(i，j)，则水平梯度为

G(i，j)＝abs(I(i，j+1)-I(i，j))

Step2：根据梯度值大小，实现运动帧灰度图像二值化

设定适当阈值th_G，则二值化图像C为：

$C(i,j)=\left\{\begin{array}{c}1,\mathrm{if}(G(i,j)>\mathrm{th}\_G)\\ 0,\mathrm{else}\end{array}\right.$

Step3：计算二值图像水平差异在水平方向的投影，提取车牌区域纵坐标假设二值图像高度为H，宽度为W，水平差异投影为C_x(1，i)，i∈[1，H]，则

$C\_x(1,i)=\underset{j=1}{\overset{W-1}{\mathrm{\Σ}}}(C(i,j)\⊕C(i,(j+1)))$

其中

为异或运算，由于车牌区域像素值水平差异变化频繁的特点，C_x在车牌区域将出现明显的波峰，该波峰区域起止坐标即为车牌区域的开始和结束纵坐标，令其为y0，y1(y0＜y1)，同时为便于下一步骤提取车牌区域横坐标，设车牌纵坐标范围内的区域为D(i，j)，则：

$C(i,j)=\left\{\begin{array}{c}C(i,j),\mathrm{if}(i\∈[y0,y1\left]\right)\\ 0,\mathrm{else}\end{array}\right.$

Step4：计算车牌纵坐标范围内的二值图像在垂直方向的投影，提取车牌区域横坐标令二值图像垂直投影为D_y(1，j)，j∈[1，W]，则：

$D\_y(1,j)=\underset{i=1}{\overset{H}{\mathrm{\Σ}}}D(i,j)$

由于车牌区域内字符密集，即值为1的像素点密集的特点，设定适当阈值和窗口，可提取车牌区域横坐标x0，x1(x0＜x1)，其特征为：

$\left\{\begin{array}{c}D\_y(1,j)<\mathrm{th}\_X,j\&Element;[1,x0-1]\\ D\_y(1,j)<\mathrm{th}\_X,j\&Element;[x1+1,W]\\ D\_y(1,x0)\&GreaterEqual;\mathrm{th}\_X,D\_y(1,x1)\&GreaterEqual;\mathrm{th}\_X,\mathrm{Num}(x0,x1)\&GreaterEqual;w\end{array}\right.$

其中th_X为垂直投影阈值，w为窗口宽度，Num()为自定义函数，其定义为：

$\mathrm{Num}(k1,k2)=\underset{j=k1}{\overset{k2}{\mathrm{\&Sigma;}}}\left(\mathrm{sgn}(D\_y(1,j)-\mathrm{th}\_X)\right)$

通过上述四步处理，可准确、有效地提取到视频帧中的车牌区域。

3、基于最优起始点的车牌字符投影分割方法

图3是采用传统分割方法得到的车牌字符：

从图3可以看出，由于左边界处车牌投影较为复杂，采用传统方法分割得到的第一个字符残缺，将影响后续的识别处理。

本发明采用的方法是，在车牌二值图像垂直投影图中，搜索最优的字符起始点，以此起始点为搜索起始点，向左右两边搜索，结合垂直投影极小值点，实现字符分割。图4为本方法实现的车牌字符分割效果：

基于二值化车牌图像D(i，j)，i∈[y0，y1]，j∈[x0，x1]，该算法描述如下：

Step1：计算车牌二值图像垂直投影

$\mathrm{CH}(1,j)=\underset{i=y0}{\overset{y1}{\mathrm{\&Sigma;}}}D(i,j),j\&Element;[x0,x1]$

Step2：搜索垂直投影最优起始点

在垂直投影图中，按照j自x0至x1搜索，当满足下列条件时终止搜索：

$\left\{\begin{array}{c}\mathrm{CH}(1,j)<\mathrm{th}\_L,j\&Element;[x\_t-5,x\_t-1]\\ \mathrm{CH}(1,j)>\mathrm{th}\_H,j\&Element;[x\_t,x\_t+20]\end{array}\right.$

其中th_L为车牌投影波谷阈值，th_H为车牌投影波峰阈值，x_t即为最优起始点。假如搜索完没有找到x_t，则修改th_L、th_H，重复step2；

Step3：结合最优起始点与波谷，实现字符分割

以x_t为起始点，分别向左右两边搜索，当搜索到第一个波峰之后的第一个波谷x_t1、x_t2时，x_t1～(x_t-1)，x_t～(x_t2-1)即为对应的字符分割区域。继续以x_t1、x_t2为新的起始点，重复Step3，实现所有字符的分割。

通过上述处理，可快速、准确地对车牌区域中的字符进行分割。

4、结合统计特征和结构特征的四重约束车牌字符识别方法

本发明融合多种特征，采用四重约束的方法进行字符识别。其示意图如图5所示：

针对每一帧待识别车牌的视频图像，第一级采用基于模板匹配的方法进行粗分类。根据现有的车牌字符分配规律，将第1位字符分为汉字类，将第2～7位待识别字符分类为字母、数字或汉字类。第二级分别建立适用于汉字、字母和数字的识别网络，采用径向基函数神经网络的方法进行细分类；第三级根据结构特征对细分类结果进行验证，第四级统计连续多帧的识别结果，对每一位字符以频率最高的识别结果作为最终的统计结果。算法具体阐述为：

Step1：建立粗分类图像模板

针对字符粗分类，通过大量实际车牌字符图像进行平均，建立对应于A～Z除I和O以外共24个字母和0～9共10个数字以及汉字的模板图像，统一尺寸为h×w，对其进行二值化，字符区域为1，背景区域为0，并将字符居于图像矩阵的中间位置。

Step2：实际字符图像预处理

将提取到的第1～7位车牌字符图像缩放为模板同样的尺寸，并将其字符移动至图像的中间位置；

Step3：基于去均值归一化互相关法的匹配度计算，将车牌字符识别为汉字、字母、数字三类，即粗分类；

设实际车牌字符图像为I_S，模板图像为I_T，其尺寸均为h×w，则去均值归一化互相关匹配函数为：

$R=\frac{\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}((I\_S(i,j)-\stackrel{\&OverBar;}{I\_S})\&times;(I\_T(i,j)-\stackrel{\&OverBar;}{I\_T}))}{{\left(\left(\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}(I\_S(i,j)-\stackrel{\&OverBar;}{I\_S})\right)\left(\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}(I\_T(i,j)-\stackrel{\&OverBar;}{I\_T})\right)\right)}^{1/2}}$

分别计算实际车牌第2～7位字符图像与字母模板图像的匹配度R_c(ii)，ii∈A～K，以及与数字模板图像的匹配度R_n(jj)，jj∈0～9，令R_cm＝max(R_c)，R_nm＝max(R_n)，则对当前实际车牌字符图像的粗分类结果为

Step4：训练分别适应于汉字、字母和数字的径向基函数神经网络。

Step5：依据粗分类结果，将原始车牌字符图像分别对应输入汉字、字母、数字的径向基函数神经网络，获得匹配率最高的字符作为输出，即细分类。

Step6：针对细分类结果，分析结构特征，进行验证。其处理过程如图6所示。

待识别字符和细分类结果字符的结构特征包括字符连通域数目、可能存在的斜线及方向、可能存在的尖角以及尖角处于字符的上半部分还是下半部分、字符是否存在水平或垂直对称性等。

针对细分类结果中，因为字形相似等原因可能产生的误判，分析细分类结果字符与待识别字符的结构特征，将字符连通域数目特征、可能存在的斜线数目及方向特征、可能存在的尖角数目及方向特征、对称性特征进行对应验证，如各结构特征一致则作为该帧的车牌识别结果输出，跳转到Step9；如不一致，则返回step5，取与当前字符相同粗分类类型中匹配率次之的字符作为细分类结果，继续进行比对；如果匹配率降至较低数值后结构特征仍无一致的结果，当前字符未改变过粗分类类型时，进入Step7，已经改变过粗分类类型，则进入Step8；

Step7：将当前字符改变粗分类结果，即字母改分为数字，数字改分为字母，然后返回step5。

Step8：当前待识别字符质量较差，不能进行良好的识别。

Step9：对若干运动帧车牌识别结果的第1～7位分别进行统计，将每一位出现频率最高的字符作为该位的最终输出。

本发明的优点在于：

1、针对运动帧的车牌提取策略的创新点在于：

(1)完全基于视频本身进行处理，无需额外触发硬件，适用范围更广泛，智能化程度更高；

(2)只针对运动帧进行车牌识别处理，有效降低处理资源，缩小处理范围，提高处理效率。

2、结合梯度运算和多特征多方向投影的车牌区域定位方法的创新点在于：

(1)基于梯度图像的处理方法，有效降低冗余像素的影响；

(2)基于多特征多方向投影的处理方法，将车牌内容变化固有特征作为对象，与颜色及形状无关，准确度高，便于实现。

3、基于最优起始点的车牌字符投影分割方法的创新点在于：基于最优起始点的搜索方法，可降低实际图像中边界噪声对分割效果的影响，提高分割效果。

4、结合统计特征和结构特征的四重约束车牌字符识别方法的创新点在于：

(1)不需要车牌字符排列规则的先验知识，适应性强；

(2)基于模板匹配的粗分类方法相比对字母和数字统一进行神经网络分类识别的方法，缩小了样本库，减少了处理时间；

(3)分别针对汉字、字母和数字的径向基函数神经网络分类方法，保证了识别精度；

(4)结合结构特征对每一帧的识别结果进行验证，降低了每一帧的错识率；

(5)对视频中的连续多帧车牌识别结果进行统计输出，进一步提高了正确率。

附图说明

图1是本发明处理流程图；

图2是本发明中的车牌区域提取流程图；

图3是采用传统分割方法得到的车牌字符；

图4是采用本发明得到的车牌字符分割；

图5是本发明中的四重约束车牌字符识别方法示意图；

图6是本发明中的结构特征验证流程图。

具体实施方式

本发明为一种基于数字视频的车牌查找方法，该方法包括视频运动帧提取、车牌区域定位、车牌字符投影分割、车牌字符识别方法，其总体流程如图1所示：

(1)提取运动帧：对视频流或者视频文件进行运动分析，仅针对视频流中的运动帧部分，或者视频文件解码后得到的关键帧中发生了运动的部分，进行车牌识别和检索处理；

(2)车牌区域提取：根据车牌区域内灰度变化频繁的特点，在梯度运算的基础上进行图像二值化处理，分别计算二值图像水平特征在水平方向上的投影以及二值图像垂直特征在垂直方向上的投影，以提取车牌区域；

(3)车牌字符分割：在二值图像垂直投影图中，搜索最优的字符起始点，以此起始点为搜索起始点，向左右两边搜索，结合垂直投影极小值点，实现字符分割；

(4)字符粗分类：用基于模板匹配的方法进行粗分类，除第1位是汉字外，将第2～7位待识别字符分类为字母或者数字；

(5)字符细分类：分别建立适用于汉字、字母和数字的识别网络，采用径向基函数神经网络的方法进行细分类；

(6)结构特征验证：根据结构特征对细分类结果进行验证，验证成功则输出当前帧车牌识别结果，验证失败则返回重新进行字符分类；

(7)统计输出：统计连续多帧的识别结果，对每一位字符以频率最高的识别结果作为最终的统计结果；

(8)车牌比对：将车牌识别结果与目标车牌相比对。

图2为车牌区域定位方法，该方法根据车牌区域内灰度变化频繁的特点，在梯度运算的基础上进行图像二值化处理，分别计算二值图像水平特征在水平方向上的投影以获取车牌纵坐标范围，以及二值图像垂直特征在垂直方向上的投影，以获取车牌横坐标范围，从而提取车牌区域。

图3、图4为车牌字符投影分割流程图，通过与传统方法对比，本发明方法可降低实际图像中边界噪声对分割的影响，提高分割效果。

图5为车牌字符识别流程图，针对每一帧待识别车牌的视频图像，第一级采用基于模板匹配的方法进行粗分类，除第1位是汉字外，将第2～7位待识别字符分类为字母或者数字；第二级分别建立适用于汉字、字母和数字的识别网络，采用径向基函数神经网络的方法进行细分类；第三级根据结构特征对细分类结果进行验证，第四级统计连续多帧的识别结果，对每一位字符以频率最高的识别结果作为最终的统计结果。

图6为结构特征验证的流程图，针对细分类结果中因为字形相似等原因可能产生的误判，分析细分类结果字符与待识别字符的结构特征，将字符连通域数目特征、可能存在的斜线数目及方向特征、可能存在的尖角数目及方向特征、对称性特征进行对应验证，如各结构特征一致则作为该帧的车牌识别结果输出；如不一致，则返回重新进行细分类。其中结构特征包括字符连通域数目、可能存在的斜线及方向、可能存在的尖角以及尖角处于字符的上半部分还是下半部分、字符是否存在水平或垂直对称性等。

本发明设计的车牌识别方法主要针对道路、街面的海量实时监视视频流或者视频存储文件进行处理，提取其中的运动帧，在运动帧中结合梯度运算和多特征多方向投影进行车牌区域提取，基于最优起始点的车牌字符投影分割，结合统计特征和结构特征的四重约束车牌字符识别，统计输出后，进行车牌比对。

Claims (6)

1.基于数字视频的车牌查找方法，该方法包括视频运动帧提取、车牌区域定位、车牌字符投影分割、车牌字符识别方法，其特征在于具体过程如下：

(1)提取运动帧：对视频流或者视频文件进行运动分析，仅针对视频流中的运动帧部分，或者视频文件解码后得到的关键帧中发生了运动的部分，进行车牌识别和检索处理；

(2)车牌区域提取：根据车牌区域内灰度变化频繁的特点，在梯度运算的基础上进行图像二值化处理，分别计算二值图像水平特征在水平方向上的投影以及二值图像垂直特征在垂直方向上的投影，以提取车牌区域；

(3)车牌字符分割：在二值图像垂直投影图中，搜索最优的字符起始点，以此起始点为搜索起始点，向左右两边搜索，结合垂直投影极小值点，实现字符分割；

(4)字符粗分类：用基于模板匹配的方法进行粗分类；

(5)字符细分类：分别建立适用于汉字、字母和数字的识别网络，采用径向基函数神经网络的方法进行细分类；

(6)结构特征验证：根据结构特征对细分类结果进行验证，验证成功则输出当前帧车牌识别结果，验证失败则返回重新进行字符分类；

(7)统计输出：统计连续多帧的识别结果，对每一位字符以频率最高的识别结果作为最终的统计结果；

(8)车牌比对：将车牌识别结果与目标车牌相比对。

2.根据权利要求1所述的基于数字视频的车牌查找方法，其特征在于：针对运动帧的车牌提取方法具体步骤为：

Step1：针对视频文件进行解码，提取关键帧；

Step2：针对关键帧或者视频流，进行基于三帧差分的运动检测，提取运动帧；

Step3：将提取到的运动帧转为灰度图像；

Step4：针对提取到的运动帧进行后续车牌识别处理。

3.根据权利要求1所述的基于数字视频的车牌查找方法，其特征在于：车牌区域定位方法具体过程如下：

Step1：计算运动帧灰度图像的水平梯度；

Step2：根据梯度值大小，实现运动帧灰度图像二值化；

Step3：计算二值图像水平差异在水平方向的投影，提取车牌区域纵坐标；

Step4：计算车牌纵坐标范围内的二值图像在垂直方向的投影，提取车牌区域横坐标。

4.根据权利要求1所述的一种基于数字视频的车牌查找方法，其特征在于车牌字符投影分割方法具体步骤为：

Step1：计算车牌二值图像垂直投影；

Step2：搜索投影图像最优起始点；

Step3：结合最优起始点与波谷，实现字符分割。

5.根据权利要求1所述的一种基于数字视频的车牌查找方法，其特征在于车牌字符识别方法具体步骤为：

Step1：建立粗分类图像模板；

Step2：实际字符图像预处理；

Step3：基于去均值归一化互相关法的匹配度计算，将车牌字符识别为汉字、字母、数字三类，即粗分类；

Step4：训练分别适应于汉字、字母和数字的径向基函数神经网络；

Step5：依据粗分类结果，将原始车牌字符图像分别对应输入汉字、字母、数字的径向基函数神经网络，获得匹配率最高的字符作为输出，即细分类；

Step6：针对细分结果，分析结构特征，进行验证；

分析细分类结果字符与待识别字符的结构特征，将字符连通域数目特征、可能存在的斜线数目及方向特征、可能存在的尖角数目及方向特征、对称性特征进行对应验证，如各结构特征一致则作为该帧的车牌识别结果输出，跳转到Step9；如不一致，则返回step5，取与当前字符相同粗分类类型中匹配率次之的字符作为细分类结果，继续进行比对；如果匹配率降至较低数值后结构特征仍无一致的结果，当前字符未改变过粗分类类型时，进入Step7，已经改变过粗分类类型，则进入Step8；

Step7：将当前字符改变粗分类结果，即字母改分为数字，数字改分为字母，然后返回step5；

Step8：当前帧待识别车牌字符质量较差，不能进行良好的识别，退出该帧的识别；

Step9：对若干运动帧车牌识别结果的第1～7位分别进行统计，将每一位出现频率最高的字符作为该位的最终输出。

6.根据权利要求1所述的一种基于数字视频的车牌查找方法，其特征在于建立粗分类图像模板的过程为：针对字符粗分类，通过大量实际车牌字符图像进行平均，建立对应于A～Z除I和O以外共24个字母、0～9共10个数字以及汉字的模板图像，统一尺寸为h×w，对其进行二值化，字符区域为1，背景区域为0，并将字符居于图像矩阵的中间位置。

Images