CN103390156A - 一种车牌识别方法及装置 - Google Patents

Abstract

本发明属于智能交通领域，尤其涉及一种车牌识别方法及装置，包括：分别提取当前视频帧中车牌上n个字符的字符图像；获取所述视频帧的车牌置信度；分别获取有效车牌上的每个所述字符图像与预设字符模版进行匹配得到的字符分类及其字符置信度；分别获取每个所述字符分类的联合置信度；存储d个包含所述有效车牌的视频帧中每个所述字符图像的每个所述字符分类及其所述联合置信度；判断是否满足预设投票条件，是则对相同位置的所述字符图像的每个所述字符分类的所述联合置信度进行投票。本发明提高了整个车牌识别系统的识别正确率。

Description

一种车牌识别方法及装置

技术领域

本发明属于智能交通领域，尤其涉及一种车牌识别方法及装置。

背景技术

车牌上的字符包含汉字、英文字母或者数字，由于字符本身存在一定的相似性，如字符O，D、Q、0，而且由于车牌分辨率和形变程度的影响，以及字符切分错误因素的存在，同一个车牌同一个位置的字符，在不同的视频帧中识别结果可能会不同。现有技术是通过对识别的结果进行统计，并将出现频率最高的结果作为最终的识别结果，来提供识别结果的精度。

但是，由于现有的技术仅仅以识别结果出现的频率来进行投票，没考虑以下两个问题：

1、车牌的分辨率和形变程度对识别结果的影响。当车牌距离摄像机较远时，车牌的分辨率较低，使得字符分类区分度较低，识别结果可信度比较低；车牌形变较大时，歪斜校正的难度也越大，识别错误的概率也越高。

2、字符切分的效果的好坏对识别结果的影响。字符切分效果越好，车牌上的字符的置信度普遍都比较高，识别错误的概率也越低；字符切分效果较差，字符的置信度普遍都比较低，识别错误的概率也越高。

以上的两个问题的存在，使得现有的技术对车牌字符的识别能力较低，降低了整个车牌识别系统的识别率，从而导致错误的识别结果出现。

发明内容

本发明实施例的目的在于提供一种车牌识别方法，旨在目前车牌识别系统在对识别结果进行投票时，只考虑识别结果出现的频率，降低了整个车牌识别系统的识别率，从而导致出现错误的识别结果的问题。

本发明实施例是这样实现的，一种车牌识别方法，所述方法包括下述步骤：

分别提取当前视频帧中车牌上n个字符的字符图像，所述n为所述车牌的字符数，且所述n为大于等于1的整数；

获取所述视频帧的车牌置信度，所述车牌置信度由所述视频帧中车牌的分辨率和形变程度确定；

判断所述车牌置信度是否不小于第一预设阈值，是则将所述车牌作为有效车牌，分别获取所述有效车牌上的每个所述字符图像与预设字符模版进行匹配得到的字符分类及其字符置信度，所述字符置信度由所述字符图像与所述字符分类的相关度以及所述字符分类的分类概率确定，所述分类概率表示所述字符图像归属于所述字符分类的概率；

分别获取每个所述字符分类的联合置信度，所述联合置信度由所述车牌置信度和所述字符置信度确定；

存储d个包含所述有效车牌的视频帧中每个所述字符图像的每个所述字符分类及其所述联合置信度，所述d为大于等于1的整数；

判断是否满足预设投票条件，是则对相同位置的所述字符图像的每个所述字符分类的所述联合置信度进行投票，将票数最高的所述字符分类作为所述字符图像的识别结果，所述票数通过对相同位置的所述字符图像的相同所述字符分类的联合置信度求和获取。

本发明实施例的另一目的在于提供一种车牌识别装置，所述装置包括：

字符图像提取单元，用于分别提取当前视频帧中车牌上n个字符的字符图像，所述n为所述车牌的字符数，且所述n为大于等于1的整数；

车牌置信度获取单元，用于获取所述视频帧的车牌置信度，所述车牌置信度由所述视频帧中车牌的分辨率和形变程度确定；

字符置信度获取单元，用于判断所述车牌置信度是否不小于第一预设阈值，是则将所述车牌作为有效车牌，分别获取所述有效车牌上的每个所述字符图像与预设字符模版进行匹配得到的字符分类及其字符置信度，所述字符置信度由所述字符图像与所述字符分类的相关度以及所述字符分类的分类概率确定，所述分类概率表示所述字符图像归属于所述字符分类的概率；

联合置信度获取单元，用于分别获取每个所述字符分类的联合置信度，所述联合置信度由所述车牌置信度和所述字符置信度确定；

存储单元，用于存储j个包含所述有效车牌的视频帧中每个所述字符图像的每个所述字符分类及其所述联合置信度，所述j为大于等于1的整数；

投票单元，用于判断是否满足预设投票条件，是则对相同位置的所述字符图像的每个所述字符分类的所述联合置信度进行投票，将票数最高的所述字符分类作为所述字符图像的识别结果，所述票数通过对相同位置的所述字符图像的相同所述字符分类的联合置信度求和获取。

本发明实施例考虑了不同视频帧中车牌的分辨率和形变程度，对每个字符图像的每个分类的联合置信度进行投票，将票数最高的字符分类作为所述字符图像最终的识别结果，提高了整个车牌识别系统的识别正确率。

附图说明

图1示出了本发明实施例车牌识别方法的实现流程图；

图2示出了本发明实施例车牌识别方法步骤S103的实现流程图；

图3示出了本发明实施例车牌识别方法步骤S104的实现流程图；

图4示出了本发明实施例车牌识别装置较佳实施例的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例考虑了不同视频帧中车牌的分辨率和形变程度，对每个字符图像的每个字符分类的联合置信度进行投票，将票数最高的字符分类作为所述字符图像最终的识别结果，消除了车牌字符图像本身的可靠程度对识别结果的影响，提高了整个车牌识别系统的识别正确率。

图1是本发明实施例提供的车牌识别方法的实现流程图，详述如下：

在步骤S101中，分别提取当前视频帧中车牌上n个字符的字符图像，其中，n为车牌的字符数，且n为大于等于1的整数。

其中，字符图像通过对视频帧中车牌图像进行分割提取得到，包括但不限于汉字、字母或者数字。

在本实施例中，视频帧中车牌图像提取的具体实现流程可以为：

通过判断当前视频帧的前一帧中是否存在待跟踪车牌；若前一帧存在待跟踪车牌时，则对该待跟踪车牌进行跟踪，确定在当前视频帧中该车牌的位置，以进行车牌图像的提取；否则对该视频帧进行车牌检测，确定当前视频帧中车牌的位置，再进行车牌图像的提取。

在步骤S102中，获取该视频帧的车牌置信度，该车牌置信度由该视频帧中车牌的分辨率和形变程度确定。

对于不同视频帧中的同一车牌，车牌距离镜头较远时，图像分辨率较低，字符比较模糊，因此从该车牌提取的字符图像可靠程度低；车牌形变较大时，歪斜校正的难度较大，从该车牌提取的字符图像的可靠程度也较低；而当车牌距离镜头的距离适中、车牌图像的形变较小时，得到该车牌提取的字符图像的可靠程度最高。因此，在本发明实施例中，根据视频帧中车牌的分辨率和形变程度确定该视频帧的车牌置信度，从而保证从该视频帧车牌图像中提取的字符图像的可靠程度。

作为本发明的优选实施例，根据视频帧中车牌的分辨率和形变程度确定该视频帧的车牌置信度，可以通过建立以下车牌置信度模型来完成，如下公式（1）所示，

$G\left(y\right)=\left\{\begin{array}{c}k\&CenterDot;e^{{(y-y0)}^2/-2{\mathrm{\&sigma;}}^2}),y<y0\\ (1-w)\&CenterDot;\left(e^{{(y-y0)}^2/-2{\mathrm{\&sigma;}}^2}\right),y\&GreaterEqual;y0\end{array}\right.---\left(1\right)$

其中，G表示视频帧的车牌置信度，y表示视频帧中车牌宽度的像素值，由车牌在屏幕中的尺寸和视频帧分辨率的乘积得出，y0表示最佳车牌宽度的像素值，σ表示初始化标准差，k表示车牌宽度y和最佳车牌宽度y0的比例系数，w表示视频帧中车牌形变程度的系数。

在本实施例中，用高斯函数来描述整个车牌置信度先增后减的变化趋势。车牌置信度不是完全关于最佳车牌宽度的像素值y0对称，当y<y0时，决定因素是车牌宽度y和最佳宽度y0的比例系数；当y>y0时,决定因素是车牌形变程度w。整个车牌置信度模型的参数是预先训练出来的，通过综合各种环境的结果来预先获取初始化标准差σ和最佳车牌宽度的像素值y0，具体的训练方法不用于限定本发明，在此不再赘述。

另外，也可以通过指数函数、对数函数或其它函数建立一个模型，该模型的车牌的置信度与车牌的分辨率成正相关，与车牌的形变程度成负相关，具体实施过程在此不一一限定。

在步骤S103中，判断车牌置信度是否不小于第一预设阈值，是则将车牌作为有效车牌，分别获取该有效车牌上的每个字符图像与预设字符模版进行匹配得到的字符分类及其字符置信度，该字符置信度由该字符图像与字符分类的相关度以及该字符分类的分类概率确定，该分类概率表示该字符图像归属于该字符分类的概率。

在本发明实施例中，通过判断当前视频帧的车牌置信度是否大于第一预设阈值，从而判断该视频帧中的车牌是否为有效车牌。

优选地，该第一预设阈值取0.5，当车牌置信度大于该第一预设阈值时，将该车牌视为有效车牌，保留当前视频帧中提取的字符图像，当车牌置信度小于第一预设阈值时，将该车牌视为无效车牌，丢弃当前视频帧中提取的该字符图像，丢弃的视频帧不参与后续的车牌识别流程，由此排除可信度较低的视频帧，便于后续投票。

作为本发明的优选实施例，可以采用模版匹配字符的方法，即将字符图像与预设字符模版进行匹配得到字符分类，每个字符分类对应的预设字符模版是通过综合考虑各种不同环境，通过将各个环境下的字符图像进行图像合成得到。而字符分类的分类概率可以通过预设的字符分类器确定，字符分类器是通过预先挑选字符图像的样本进行训练得到，字符图像的样本也涵括了各种不同的环境，从而达到环境不变性。

对获取每个字符分类的相关度以及分类概率的具体实现原理，将在后续的实施例中进行说明，在此不再赘述。

作为本发明的另一实施例，也可以通过统计特征匹配法得到字符分类，具体实现方式为公知技术，在此不做赘述。

在步骤S104中，分别获取每个字符分类的联合置信度，该联合置信度由该字符分类的车牌置信度和字符置信度确定。

综合考虑在视频帧中的车牌置信度，以及在该车牌上获取的每个字符图像的字符置信度，得到每个字符图像的联合置信度。

作为本发明的优选实施例，建立一个联合置信度模型，第i个字符的联合置信度P_i，如下公式（2）所示：

P_i(x)＝G·RS_i(x)                （2）

其中x为字符分类的序号，映射为相应的字符分类，例如x=1，映射为字符A；RS是字符置信度，例如RS₁(1)就是第1个位置字符图像分类是A的字符置信度；G是车牌置信度，每个视频帧中的车牌有且只有一个车牌置信度。因此，可以得出在一个视频帧中，车牌的n个字符图像对应的各个字符分类的联合置信度。

另外，也可以通过指数函数、对数函数或其它函数建立一个模型，与车牌置信度成正相关，具体实现过程，在此不做赘述。

在步骤S105中，存储d个包含有效车牌的视频帧中每个字符图像的每个字符分类及其联合置信度，该d为大于等于1的整数。

作为本发明的优选实施例，为便于后续联合置信度的投票统计，在计算联合置信度后，将每个视频帧中每个字符图像的每个字符分类的联合置信度存储在结果列表中，具体计算联合置信度的方法，如下公式（3）所示，

P_ij(x)＝G_j·RS_ij(x)                （3）

其中，P_ij表示联合置信度，j表示识别结果存储中结果列表中的序号，取值1~d，该序号与视频帧的帧号相同，j＝1表示初始帧，Gj表示结果列表中第j个识别结果的车牌置信度，RSij(x)表示结果列表中第j个视频帧中第i个位置的车牌字符图像的字符分类为x的字符置信度。

通过上述步骤，可以得出在结果列表中，第j个视频帧中第i个位置的车牌字符图像的联合置信度。需要进行说明的是，具体的存储方式和介质在此不限制本发明。

在步骤S106中，判断是否满足预设投票条件，是则对相同位置的字符图像的每个字符分类的联合置信度进行投票，将票数最高的字符分类作为字符图像的识别结果，其中，票数通过对相同位置的字符图像的相同字符分类的联合置信度求和获取。

在本实施例中，相同的字符分类，指的是在车牌中位置顺序相同的字符对应的字符序号相同的字符分类。对相同位置的字符图像的每个字符分类的联合置信度进行投票，是指在视频帧中，每一个字符分类只进行一次投票，将字符分类对应的联合置信度作为投票的值。

作为本发明的优选实施例，如下公式（4）所示，得到车牌字符的识别结果Q={Q₁,Q₂，……,Qn}，将识别结果输出，并清空结果列表和待跟踪车牌。

$Q_i=\underset{x}{\max }\left({\mathrm{\&Sigma;}}_j{P}_{\mathrm{ij}}\left(x\right)\right)---\left(4\right)$

其中i表示车牌上的字符的位置序号，取值1~n，j表示结果列表中的结果序号，取值1~d，x表示对应字符分类的序号。投票的过程是结果列表中，将不同识别结果序号j、相同的位置序号i以及相同的字符分类序号x的识别结果的联合置信度进行求和，而max()函数将该车牌位置i中联合置信度和最大的分类作为该字符识别的结果，通过字符分类序号x作为查找的索引，输出与其对应的字符分类。

通过上述步骤，避免了目前没有考虑到车牌的分辨率和形变程度，每个字符图像的字符置信度等因素而导致错误的识别结果，将票数最高的字符分类作为该车牌的字符输出，提高了车牌识别率。

图2示出了本发明实施例提供的车牌识别方法步骤S103的具体实现流程图，详述如下：

在步骤S201中，获取每个字符图像与预设字符模板进行匹配得到的字符分类以及字符图像与该字符分类的相关度。

本实施例中，每个预设字符模板表示一个字符类别，通过每个字符图像的自身的特征与预设字符模板进行匹配，得到的字符类别作为该字符图像的字符分类，具体匹配方式包括但不限于图形匹配、笔画分析匹配、几何特征匹配、提取边缘信息匹配等，具体实现方式为公知技术，在此不做赘述。

由于字符之间都存在一定的相关度，例如在字符O、I、1中，I和1是相关度较大的字符类别，而O和1是相关度较小的字符类别，因此，可以通过相关度区分字符类别。

在本实施例中，采用相关滤波（Correlation Filter）来获得相关度大小。相关滤波相对于其他相关度计算方法的优点在于，相关滤波通过综合考虑同一个字符的各种形态，给出的相关度鲁棒性更高，各个字符的相关滤波模版通过预先训练得到。对于每个车牌字符的n个字符图像I={I₁,I₂,……,I_n}，利用m个字符模版H{H₁，H₂,……,H_m}进行相关滤波，得到n个m维的相关向量R={R₁,R₂,……,R_n}，如下公式（5）所示，其中*是卷积运算，R_i(x)表示第i个字符图像，第x个字符分类的相关度，i取1~n，x取1~m。

$R_{i\left(X\right)}\max \left(\frac{(I_i*H_X)}{\left|I_i\right|\&CenterDot;\left|H_X\right|}\right)---\left(5\right)$

将亮度域变换到频率域，亮度域的卷积相当于在频率域的点乘，相关度计算具体的步骤如下：

1、将车牌字符图像I={I₁,I₂,……,I_n}和字符模版H{H₁,H₂,……,H_m}通过FFT（快速傅立叶变换）从亮度域变换到频率域，得到频率图像I’和H’；

2、将每个字符频率图像I’_i和所有的字符频率模版H’进行点乘，从而得到点乘频率图像K’={K’₁₁，k’₁₂，……，K’_nm}；

3、将点乘频率图像K’中的每个点乘图像K’_ix通过反快速傅立叶变换从频率域变换到亮度域，再除以对应字符图像I_i的模和字符模版H_x的模，得到对应的相关度图像K={K₁₁,k₁₂，……，K_nm}；

4、在相关度图像集合K的每个图像K_ix中，搜索最大值点，并将最大值作为字符图像I_i和字符模版H_x的相关度，即R_i(x)=max(K_ix)，从而得到每个车牌字符的n个字符图像和m个字符模版的相关度R={R₁，R₂，……，R_n}。

作为本发明另一实施例，也可以将字符图像和字符模板通过归一化互相关性计算，得出相关度，在此不做赘述。

在步骤S202中，判断相关度是否大于第二预设阈值，是则通过预设字符分类器获取该字符分类的分类概率；

在本实施例中根据相关度对字符分类进行筛选，若该字符分类的相关度大于第二预设阈值，则通过预设字符分类器对该字符分类进行分类，并获取分类概率，优选地，第二预设阈值的范围为0.50~0.65。

具体地，预设的字符分类器对字符分类进行分类，得到该字符图像属于各个字符类别的概率。例如对于字符图像8的字符分类分别为：8、B、P、6，对字符分类进行分类，分类的意义是确定该字符图像分别属于8、B、P、6这4个字符类别的概率。

在本实施例中，采用支持向量机（Support Vectors Machine，SVM）来计算字符图像属于各个字符分类的分类概率。SVM方法需要预先训练字符分类器，由于采用2分类的SVM方法，对于m个字符分类，需要预先训练m(m-1)/2个2分类器。字符概率的具体计算方法如下：

1、对字符图像I={I₁,I₂,……,I_n}，获得每个字符图像I_i的相关度大于第二预设阈值的k个可能分类（不同字符图像k值可能不同）；

2、提取每个字符图像I_i的特征，代入预先训练好的k个可能分类对应的k(k-1)/2个2分类器，获得k(k-1)/2对分类的相对概率；

3、通过概率投票，获得每个字符图像I_i概率最大的字符分类x和概率均值S_i(x)，并将其他k-1个字符分类的相对概率转换为每个字符图像属于该字符分类的概率。从而得到字符图像I的概率函数S={S₁,S₂,……,S_n}。

作为本发明另一实施例，也可以通过BP神经网络的得出每个字符图像属于该字符分类的概率，具体实施过程在此不做赘述。

作为本发明优选实施例，若该字符分类的相关度不大于第二预设阈值，则将字符分类的相关度置为0，以剔除与字符图像相关度较小的字符分类，减少运算量，便于后续计算分类概率，提高分类的准确度和分类效率。

作为另一个本发明优选实施例，获取每个字符图像和每个预设字符模板的相关度，为依次获取，处理完一个字符图像结束后再处理下一个字符图像。为便于区分，每个字符分类分别对应一个单独的序号，将字符分类与其对应的序号进行映射链接，便于后续通过映射进行引用相应的字符分类。

在步骤S203中，根据相关度和分类概率确定每个字符分类的字符置信度。

作为本发明的一个优选实施例，结合相关度和分类概率，计算字符分类的字符置信度，具体如下公式（6）如示：

RS_i(x)＝R_i(x)·S_i(x)                    （6）

其中x代表字符分类的序号，R_i(x)表示第i个位置上序号为x的字符分类的相关度。S_i(x)表示第i个位置上的字符图像归属于序号为x的字符分类的概率，RS_i(x)表示第i个位置上序号为x的字符分类的字符置信度。

为便于说明，以实际车牌号为例，如一辆车的车牌号为粤B58712，对该车牌的第2个字符图像，进行计算字符置信度的流程，具体如下：

1、计算第2个位置字符图像（B）与所有预设字符模板的相关度，通过第二预设阈值进行筛选，得到大于第二预设阈值的字符分类{B,6,8,0},对应的序号x={2,32,34,36}；

2、提取第2个字符图像的特征代入6个分类器（B和6、B和8、B和0、6和8、6和0、8和0）,得到6个字符分类结果（B,B,B,8,6,0）和6对分类概率：{(0.9,0.1)，(0.8,0.2)，(0.7,0.3),（0.7,0.3),（0.8,0.2),（0.9,0.1)}；

3、通过概率投票，获得字符图像概率最大的字符分类和概率均值，并将其他分类的相对概率转换为字符图像属于该字符分类的概率。

其中概率最大的字符分类是B，概率均值(0.9+0.8+0.7)/3=0.8。

在{B,6,8,0}中，字符图像属于字符分类B，6，8，0的分类概率分别为：

{0.8，0.8/9=0.088,，0.8/4=0.2，0.8*3/7=0.343}，其他字符分类的相关度S2(x)=0。

其中S₂(2)=0.8表示在这一帧中，第2个位置的字符图像属于字符分类为B的概率，该字符分类对应序号为2，S₂(32)=0.088表示第2个位置的字符图像属于字符分类为6的概率，该字符分类对应的序号为32。

由于字符切分的效果的好坏对识别结果的也有影响，为避免因车牌字符切分不当产生错误的识别结果，作为本发明的优选实施例，图3示出了本发明实施例提供的车牌识别方法步骤S104的具体实现流程图，详述如下：

在步骤S301中，获取每个视频帧中与每个字符图像对应的字符分类的字符置信度的最大值。

在步骤S302中，获取每个视频帧中字符分类的平均置信度，该平均置信度通过对该视频帧中n个最大值进行求和，再除以n得出。

作为本发明的一个优选实施例，平均置信度计算的方法，如下公式（7）所示：

$\mathrm{RS}\_\mathrm{avg}=\underset{i}{\mathrm{mean}}\left(\underset{x}{\max }\left({\mathrm{RS}}_i\left(x\right)\right)\right)---\left(7\right)$

其中，RS_avg表示平均置信度，max()表示对()取极大值，mean()表示对()取平均值，i表示车牌字符的位置，RS_i(x)表示第i个位置上序号为x的字符置信度。

在步骤S303中，判断该平均置信度是否大于第三预设阈值，是则分别获取每个所述字符分类的联合置信度。

作为本发明的优选实施例，对平均置信度是否大于第三预设阈值进行判断，优选地，根据验验值确定第三预设阈值取0.50~0.60。当平均置信度大于第三预设置阈值才保留，否则丢弃该视频帧的字符分类，丢弃的结果不参与后续联合置信度的计算，排除由于字符分割错误所带来的错误的识别结果，进一步提高识别的正确率，同时减少了运算量。

作为本发明的一个优选实施例，步骤S106中判断是否满足投票条件包括判断是否满足以下三个投票子条件中的任意一个：

（1）判断存储的相同位置的所述字符图像的每个所述字符分类的所述联合置信度的数量是否不小于第四预设阈值。

本实施例中将第四预设阈值作为触发条件，当相同位置的字符图像的每个字符分类的联合置信度的数量达到第四预设阈值时，对结果列表进行投票输出。

（2）判断连续没有定位到车牌的累计视频帧数是否不小于预设的帧数。

在本实施例中，将预设帧数作为触发条件，当连续没有定位到车牌的帧数不小于该预设的帧数时，对结果列表进行投票输出。对车牌的定位的方式，包括但不限于车牌跟踪和车牌检测。车牌跟踪的方式包括但不限于CamShift跟踪、光流跟踪以及粒子滤波跟踪，车牌检测的方式包括但不限于基于adaboost的车牌检测。

（3）判断车牌的帧间位移是否不小于视频帧中车牌与视频帧边界的距离。

在本实施例中，可根据车牌在视频帧中的位置得出该车牌的帧间位移，将帧间位移作为触发条件，当帧间位移不小于视频帧中车牌和视频帧边界的距离时，对结果列表进行投票输出。

需要进行说明的是，作为投票条件的三个投票子条件，只需满足其中一个条件时，即对结果列表进行投票输出。

图4示出了本发明实施例提供的车牌识别装置的结构框图，为了便于说明，仅示出了与本实施例相关的部分。

参照图4，该装置包括：

字符图像提取单元41，分别提取当前视频帧中车牌上n个字符的字符图像，该n为该车牌的字符数，且该n为大于等于1的整数；

车牌置信度获取单元42，获取该视频帧的车牌置信度，该车牌置信度由该视频帧中车牌的分辨率和形变程度确定；

字符置信度获取单元43，判断该车牌置信度是否不小于第一预设阈值，是则将该车牌作为有效车牌，分别获取该有效车牌上的每个该字符图像与预设字符模版进行匹配得到的字符分类及其字符置信度，该字符置信度由该字符图像与该字符分类的相关度以及该字符分类的分类概率确定，该分类概率表示该字符图像归属于该字符分类的概率；

联合置信度获取单元44，分别获取每个该字符分类的联合置信度，该联合置信度由该车牌置信度和该字符置信度确定；

存储单元45，存储d个包含该有效车牌的视频帧中每个该字符图像的每个该字符分类及其该联合置信度，该d为大于等于1的整数；

投票单元46，判断是否满足预设投票条件，是则对相同位置的该字符图像的每个该字符分类的该联合置信度进行投票，将票数最高的该字符分类作为该字符图像的识别结果，该票数通过对相同位置的该字符图像的相同该字符分类的联合置信度求和获取。

具体地，获取车牌置信度单元42包括：

模型建立子单元，用于建立车牌置信度模型：

$G\left(y\right)=\left\{\begin{array}{c}k\&CenterDot;e^{{(y-y0)}^2/-2{\mathrm{\&sigma;}}^2}),y<y0\\ (1-w)\&CenterDot;\left(e^{{(y-y0)}^2/-2{\mathrm{\&sigma;}}^2}\right),y\&GreaterEqual;y0\end{array}\right.$

其中，G为视频帧的车牌置信度，y为视频帧中车牌宽度的像素值，y0为最佳车牌宽度的像素值，σ为初始化标准差，k为y和y0的比例系数，w为视频帧中车牌形变程度的系数；

车牌置信度获取子单元，用于根据该车牌置信度模型获取该视频帧的车牌置信度。具体地，获取字符置信度单元43包括：

相关度获取子单元431，用于获取每个字符图像与预设字符模板进行匹配得到的字符分类以及该字符图像与该字符分类的相关度；

相关度判断子单元432，判断相关度是否大于第二预设阈值，是则通过预设字符分类器获取该字符分类的分类概率；

字符置信度获取子单元433，根据相关度和分类概率确定每个字符分类的字符置信度。

可选地，具体地，联合置信度获取单元44，还包括：

最大值获取子单元441，获取每个视频帧中与每个字符图像对应的字符分类的字符置信度的最大值；

平均置信度获取子单元442，获取每个视频帧中字符分类的平均置信度，该平均置信度通过对视频帧中n个最大值进行求和，再除以n得出；

平均置信度判断子单元443，判断该平均置信度是否大于第三预设阈值，是则分别获取每个字符分类的联合置信度。

具体地，投票单元46包括以下三个判断子单元中的任意一个：

第一判断子单元461，判断存储的相同位置的所述字符图像的每个所述字符分类的所述联合置信度的数量是否不小于第四预设阈值；

第二判断子单元，判断连续没有定位到车牌的累计视频帧数是否不小于预设的帧数；

第三判断子单元，判断车牌的帧间位移是否不小于视频帧中车牌与视频帧边界的距离。

本发明实施例考虑了不同视频帧中车牌的分辨率和形变程度避免了车牌字符图像本身的可靠程度对识别结果的影响，同时对每个字符图像的字符置信度进行判断，避免了由于车牌字符切分不当对字符图像的影响，对每个所述字符图像的每个字符分类的联合置信度进行投票，提高了整个车牌识别系统的识别正确率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机或嵌入式设备可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘、光盘、FLASH等。

以上对本发明所提供的一种车辆跟踪方法及系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种车牌识别方法，其特征在于，包括：

分别提取当前视频帧中车牌上n个字符的字符图像，所述n为所述车牌的字符数，且所述n为大于等于1的整数；

获取所述视频帧的车牌置信度，所述车牌置信度由所述视频帧中车牌的分辨率和形变程度确定；

判断所述车牌置信度是否不小于第一预设阈值，是则将所述车牌作为有效车牌，分别获取所述有效车牌上的每个所述字符图像与预设字符模版进行匹配得到的字符分类及其字符置信度，所述字符置信度由所述字符图像与所述字符分类的相关度以及所述字符分类的分类概率确定，所述分类概率表示所述字符图像归属于所述字符分类的概率；

分别获取每个所述字符分类的联合置信度，所述联合置信度由所述车牌置信度和所述字符置信度确定；

存储d个包含所述有效车牌的视频帧中每个所述字符图像的每个所述字符分类及其所述联合置信度，所述d为大于等于1的整数；

判断是否满足预设投票条件，是则对相同位置的所述字符图像的每个所述字符分类的所述联合置信度进行投票，将票数最高的所述字符分类作为所述字符图像的识别结果，所述票数通过对相同位置的所述字符图像的相同所述字符分类的联合置信度求和获取。

2.如权利要求1所述的方法，其特征在于，所述获取所述视频帧的车牌置信度包括：

建立车牌置信度模型：

$G\left(y\right)=\left\{\begin{array}{c}k\&CenterDot;e^{{(y-y0)}^2/-2{\mathrm{\&sigma;}}^2}),y<y0\\ (1-w)\&CenterDot;\left(e^{{(y-y0)}^2/-2{\mathrm{\&sigma;}}^2}\right),y\&GreaterEqual;y0\end{array}\right.$

其中，所述G为所述视频帧的车牌置信度，所述y为所述视频帧中车牌宽度的像素值，所述y0为最佳车牌宽度的像素值，所述σ为初始化标准差，所述k为所述y和所述y0的比例系数，所述w为所述视频帧中车牌形变程度的系数；

根据所述车牌置信度模型获取所述视频帧的车牌置信度。

3.如权利要求1所述的方法，其特征在于，所述获取所述有效车牌上的每个所述字符图像与预设字符模版进行匹配得到的字符分类及其字符置信度包括：

获取每个所述字符图像与所述预设字符模板进行匹配得到的字符分类以及所述字符图像与所述字符分类的相关度；

判断所述相关度是否大于第二预设阈值，是则通过预设字符分类器获取所述字符分类的分类概率；

根据所述相关度和所述分类概率确定每个所述字符分类的所述字符置信度。

4.如权利要求1所述的方法，其特征在于，所述获取每个所述字符分类的联合置信度包括：

获取每个所述视频帧中与每个所述字符图像对应的所述字符分类的所述字符置信度的最大值；

获取每个所述视频帧中所述字符分类的平均置信度，所述平均置信度通过对所述视频帧中所述n个所述最大值进行求和，再除以所述n得出；

判断所述平均置信度是否大于第三预设阈值，是则分别获取每个所述字符分类的联合置信度。

5.如权利要求1所述的方法，其特征在于，所述判断是否满足所述投票条件包括判断是否满足以下三个投票子条件中的任意一个：

判断存储的相同位置的所述字符图像的每个所述字符分类的所述联合置信度的数量是否不小于第四预设阈值；

判断连续没有定位到车牌的累计视频帧数是否不小于预设的帧数；

判断车牌的帧间位移是否不小于视频帧中车牌与视频帧边界的距离。

6.一种车牌识别装置，其特征在于，所述装置包括：

字符图像提取单元，用于分别提取当前视频帧中车牌上n个字符的字符图像，所述n为所述车牌的字符数，且所述n为大于等于1的整数；

车牌置信度获取单元，用于获取所述视频帧的车牌置信度，所述车牌置信度由所述视频帧中车牌的分辨率和形变程度确定；

字符置信度获取单元，用于判断所述车牌置信度是否不小于第一预设阈值，是则将所述车牌作为有效车牌，分别获取所述有效车牌上的每个所述字符图像与预设字符模版进行匹配得到的字符分类及其字符置信度，所述字符置信度由所述字符图像与所述字符分类的相关度以及所述字符分类的分类概率确定，所述分类概率表示所述字符图像归属于所述字符分类的概率；

联合置信度获取单元，用于分别获取每个所述字符分类的联合置信度，所述联合置信度由所述车牌置信度和所述字符置信度确定；

存储单元，用于存储d个包含所述有效车牌的视频帧中每个所述字符图像的每个所述字符分类及其所述联合置信度，所述d为大于等于1的整数；

投票单元，用于判断是否满足预设投票条件，是则对相同位置的所述字符图像的每个所述字符分类的所述联合置信度进行投票，将票数最高的所述字符分类作为所述字符图像的识别结果，所述票数通过对相同位置的所述字符图像的相同所述字符分类的联合置信度求和获取。

7.如权利要求6所述的装置，其特征在于，所述车牌置信度获取单元包括:

模型建立子单元，用于建立车牌置信度模型：

$G\left(y\right)=\left\{\begin{array}{c}k\&CenterDot;e^{{(y-y0)}^2/-2{\mathrm{\&sigma;}}^2}),y<y0\\ (1-w)\&CenterDot;\left(e^{{(y-y0)}^2/-2{\mathrm{\&sigma;}}^2}\right),y\&GreaterEqual;y0\end{array}\right.$

其中，所述G为所述视频帧的车牌置信度，所述y为所述视频帧中车牌宽度的像素值，所述y0为最佳车牌宽度的像素值，所述σ为初始化标准差，所述k为所述y和所述y0的比例系数，所述w为所述视频帧中车牌形变程度的系数；

车牌置信度获取子单元，用于根据所述车牌置信度模型获取所述视频帧的车牌置信度。

8.如权利要求6所述的装置，其特征在于，所述字符置信度获取单元包括:

相关度获取子单元，用于获取每个所述字符图像与所述预设字符模板进行匹配得到的字符分类以及所述字符图像与所述字符分类的相关度；

相关度判断子单元，用于判断所述相关度是否大于第二预设阈值，是则通过预设字符分类器获取所述字符分类的分类概率；

字符置信度获取子单元，用于根据所述相关度和所述分类概率确定每个所述字符分类的所述字符置信度。

9.如权利要求6所述的装置，其特征在于，所述联合置信度获取单元包括:

最大值获取子单元，用于获取每个所述视频帧中与每个所述字符图像对应的所述字符分类的所述字符置信度的最大值；

平均置信度获取子单元，用于获取每个所述视频帧中所述字符分类的平均置信度，所述平均置信度通过对所述视频帧中所述n个所述最大值进行求和，再除以所述n得出；

平均置信度判断子单元，用于判断所述平均置信度是否大于第三预设阈值，是则分别获取每个所述字符分类的联合置信度。

10.如权利要求6所述的装置，其特征在于，所述投票单元包括以下三个判断子单元中的任意一个:

第一判断子单元，用于判断存储的相同位置的所述字符图像的每个所述字符分类的所述联合置信度的数量是否不小于第四预设阈值；

第二判断子单元，用于判断连续没有定位到车牌的累计视频帧数是否不小于预设的帧数；

第三判断子单元，用于判断车牌的帧间位移是否不小于视频帧中车牌与视频帧边界的距离。

Images