CN105488501A - 基于旋转投影的车牌倾斜矫正的方法 - Google Patents

Abstract

一种基于旋转投影的车牌倾斜校正的方法，本方法主要利用标准车牌(即无任何倾斜)在水平或竖直方向上的投影方差最大这一特性将车牌边缘图在一定的角度范围内(通常[-30～30])进行旋转，记录每次旋转过后的新图像的水平(竖直)方向投影值。通过比较和分析每次旋转角度得到的投影值的大小的方差分布，方差最大的旋转角即为车牌的倾斜角，从而可以确定一个最优的水平(竖直)方向旋转角度。避免了现有技术中的检测效果不理想、在实时性高的应用场景中也不如人意、算法可靠性不高、造成的误差较大的缺陷。

Description

基于旋转投影的车牌倾斜矫正的方法

技术领域

本发明属于车牌倾斜矫正技术领域，具体涉及一种基于旋转投影的车牌倾斜矫正的方法。

背景技术

在车牌识别系统中，由于摄像机安装角度以及车辆行驶等情况会不可避免的造成采集到的车牌图像存在一定的倾斜。倾斜的车牌图像会造成字符倾斜，影响字符的正确分割及字符识别的准确率。因此，有必要对倾斜的车牌进行校正。进行校正的前提是需要计算出车牌倾斜的角度。一般情况下，倾斜的车牌主要表现为三种情形：水平倾斜、竖直倾斜及水平竖直倾斜。分别如图1、图2和图3所示，而现有的车牌倾斜校正的算法主要有：

(1)Hough变换法。Hough变换法利用hough变换检测直线的原理在车牌图像中检测出车牌的边框，从而求得车牌区域的倾斜角度。由于实际的应用场景中，获得的车牌图像可能没有边框，或者边框不明显，也有些受到污损噪声干扰等，导致hough变换后参数空间的极值点分散，检测效果不理想。另外，hough变换的方法计算量大，耗时等问题在实时性高的应用场景中也不如人意。

(2)模板匹配法。该方法采用模板匹配搜索到车牌区域的两个或四个顶点，再利用双线性空间的变换重建车牌所在的矩形区域，从而达到车牌倾斜校正的目的。其缺点在于，当车牌背景颜色与车身颜色一致或者相近时，算法可靠性不高。

(3)最小二乘法拟合法。该方法通过求取车牌上各个字符的连通域中心点，然后根据这些中心点坐标进行最小二乘拟合，得到一条直线。该直线的倾斜角度即为车牌的倾斜角度。最小二乘法在车牌字符清晰且没有污损时效果良好，但是对于那些存在污损，字符断裂，低分辨率的车牌，造成的误差较大。

发明内容

本发明的目的提供一种基于旋转投影的车牌倾斜矫正的方法，本方法主要利用标准车牌(即无任何倾斜)在水平或竖直方向上的投影方差最大这一特性将车牌边缘图在一定的角度范围内(通常[-30～30])进行旋转，记录每次旋转过后的新图像的水平(竖直)方向投影值。通过比较和分析每次旋转角度得到的投影值的大小的方差分布，方差最大的旋转角即为车牌的倾斜角，从而可以确定一个最优的水平(竖直)方向旋转角度。避免了现有技术中的检测效果不理想、在实时性高的应用场景中也不如人意、算法可靠性不高、造成的误差较大的缺陷。

为了克服现有技术中的不足，本发明提供了一种基于旋转投影的车牌倾斜矫正的方法的解决方案，具体如下：

一种基于旋转投影的车牌倾斜矫正的方法，在初定位时找到车牌区域，将车牌初定位后得到车牌图像作为输入图像，对车牌图像做如下步骤的操作：

步骤1：灰度化

将颜色图转换成灰度图，把车牌图像的RGB颜色图转化灰度图公式为公式(1)所示：

Gray(i,j)＝R*0.299+G*0.587+B*0.114(1)

其中Gray(i,j)为目标图像在点(i,j)上的灰度值，R、G、B为图像三个分量,i为大于0的整数，j为大于0的整数；

步骤2：边缘提取

将车牌图像进行灰度化后，需要提取出车牌的字符纹理信息，边缘信息的完整与否关系到最终角度的计算。提取车牌图像边缘信息是基于Sobel算子的边缘检测，具体做法如下：

1.做水平倾斜计算计算得到水平方向边缘检测的图像：对车牌图像灰度化后，对灰度化的车牌图像做一次平滑处理，再采用只对水平方向响应的Sobel算子提取图像边缘，其中采用的水平Sobel算子如下所示：

水平方向边缘提取计算公式如公式(2)所示：

其中A代表平滑处理后的车牌图像，也即原始图像，Gx表示为水平方向边缘检测的图像；

2.做竖直倾斜计算得到竖直方向边缘检测的图像：采用的竖直Sobel算子如下：

竖直方向边缘提取计算公式如公式(3)所示：

其中A代表平滑处理后的车牌图像，也即原始图像，Gy表示为竖直方向边缘检测的图像；

3.二值化

采用全局二值化方法，通过求得图像灰度平均值继而将该均值作为图像二值化的阈值，求得图像二值化的阈值T的计算公式如公式(4)所示：

其M*N表示经过Sobel算子计算得到的图像的大小，M、m为大于0的整数，N、n为大于0的整数，f(m,n)表示图像中(m,n)点的灰度值；

4.倾斜角计算如下：

1)水平方向倾斜角计算的算法步骤如下：

Step_1_1.在旋转角度[-30,30]的区间，首先以旋转角度θ＝-30度的角度对边缘图像以图像中心为旋转中心进行旋转变换，旋转后图像高度记为m,得到该角度下的投影值，记为ProjectHor_-30[m]，其中ProjectHor_-30[k]，0＜k＜m表示在旋转角度-30°下图像的第k行非0值数目；

Step_1_2.在Step_1_1的基础上，旋转角度θ以step＝5°递增并旋转原始图像,记录第i次旋转后的水平方向投影值为ProjectHor_θ[m]，其中θ＝i*5-30，且i＜12,step代表步进值；

Step_1_3.若i<12，则重复Step_1_2，否则，对于每个ProjectHor_θ[m]，求一阶差分和并将其记录在S_i中，i为整数；

Step_1_4.计算S_i中最大值Max(S_i),根据最大值下标i可以知道当旋转角度θ＝i*5-30时投影值最大，此时所要求的真正旋转角在[(i-1)*5-30],(i+1)*5-30]区间范围内；

Step_1_5.在[(i-1)*5-30],(i+1)*5-30]区间中旋转角度θ以step＝1°递增并旋转原始图像，重复Step_1_2，Step_1_3，Step_1_4；最终求得Max(S_i),此时水平方向的倾斜角α＝i。

2)竖直方向倾斜角计算的算法步骤如下：

具体的算法步骤如下：

Step_2_1.根据上述计算得到的水平方向的倾斜角并进行旋转校正车牌图像，旋转后的车牌图像作为计算竖直方向倾斜角度原始图像；

Step_2_2.在旋转角度[-30,30]的区间，首先以θ＝-30的角度对边缘图像以图像中心为旋转中心进行旋转变换,旋转后图像宽度记为n,得到该角度下的投影值，记为ProjectVer_-30[n],其中ProjectVer_-30[l]，0＜l＜n表示在旋转角度-30°下图像的第l列非0值数目；

Step_2_3.在步骤1的基础上，旋转角度θ以step＝5°递增并旋转原始图像，记录第i次旋转后的竖直方向投影值为ProjectVer_θ[n]，其中θ＝i*5-30，且i＜12；

Step_2_4.若i<12，则重复Step_2_2，否则，对于每个ProjectVer_θ[n]，求一阶差分和并记录在S_i中；

Step_2_5.计算S_i中最大值Max(S_i),根据最大值下标i可以知道当旋转角度θ＝i*5-30时投影值最大；此时所要求的真正旋转角在[(i-1)*5-30],(i+1)*5-30]区间范围内；

Step_2_6.在[(i-1)*5-30],(i+1)*5-30]区间中旋转角度θ以step＝1°递增并旋转原始图像，重复步骤Step_2_2，Step_2_3，Step_2_4；最终求得Max(S_i),此时竖直方向的倾斜角β＝i；

5.车牌旋转校正

根据计算得到水平或竖直方向的车牌倾斜角度，对车牌进行旋转校正，对于车牌的旋转校正，首先需要校正水平方向的倾斜，水平方向的校正只需按照水平的车牌倾斜角度的大小去旋转图像即可，对于竖直方向的校正，通过仿射变换来校正。

本发明实现了倾斜矫正效果佳、在实时性高的应用场景中速度快、算法可靠性高、造成的误差小。

附图说明

图1为车牌水平倾斜的示意图。

图2为车牌竖直倾斜的示意图。

图3为车牌水平竖直倾斜的示意图。

图4为本发明的方法的流程图。

图5为本发明的方法应用的第一组的三张图片，按照自左向右的顺序分别为初定位车牌的图片、水平定位后的图片、竖直定位后的图片。

图6为本发明的方法应用的第二组的三张图片，按照自左向右的顺序分别为初定位车牌的图片、水平定位后的图片、竖直定位后的图片。

图7为本发明的方法应用的第三组三张图片，按照自左向右的顺序分别为初定位车牌的图片、水平定位后的图片、竖直定位后的图片。

具体实施方式

车牌的倾斜有水平倾斜，竖直倾斜及水平竖直倾斜三种模式，在车牌识别中往往不能只针对前面两种情况作相应的单一校正，而是需要考虑水平竖直倾斜这一普遍的模式。基于旋转投影法计算倾斜角流程图如图4所示。

下面结合附图和实施例对发明内容作进一步说明：

参照图4所示，基于旋转投影的车牌倾斜矫正的方法，在初定位时找到车牌区域，将车牌初定位后得到车牌图像作为输入图像，对车牌图像做如下步骤的操作：

步骤1：灰度化

将颜色图转换成灰度图，把车牌图像的RGB颜色图转化灰度图公式为公式(1)所示：

Gray(i,j)＝R*0.299+G*0.587+B*0.114(1)

其中Gray(i,j)为目标图像在点(i,j)上的灰度值，R、G、B为图像三个分量,i为大于0的整数，j为大于0的整数；

步骤2：边缘提取

将车牌图像进行灰度化后，需要提取出车牌的字符纹理信息，边缘信息的完整与否关系到最终角度的计算。提取车牌图像边缘信息是基于Sobel算子的边缘检测，具体做法如下：

1.做水平倾斜计算计算得到水平方向边缘检测的图像：对车牌图像灰度化后，对灰度化的车牌图像做一次平滑处理，再采用只对水平方向响应的Sobel算子提取图像边缘，其中采用的水平Sobel算子如下所示：

水平方向边缘提取计算公式如公式(2)所示：

其中A代表平滑处理后的车牌图像，也即原始图像，Gx表示为水平方向边缘检测的图像；

2.做竖直倾斜计算得到竖直方向边缘检测的图像：采用的竖直Sobel算子如下：

竖直方向边缘提取计算公式如公式(3)所示：

其中A代表平滑处理后的车牌图像，也即原始图像，Gy表示为竖直方向边缘检测的图像；

3.二值化

采用全局二值化方法，通过求得图像灰度平均值继而将该均值作为图像二值化的阈值，求得图像二值化的阈值T的计算公式如公式(4)所示：

其M*N表示经过Sobel算子计算得到的图像的大小，M、m为大于0的整数，N、n为大于0的整数，f(m,n)表示图像中(m,n)点的灰度值；

4.倾斜角计算如下：

1)水平方向倾斜角计算的算法步骤如下：

Step_1_1.在旋转角度[-30,30]的区间，首先以旋转角度θ＝-30度的角度对边缘图像以图像中心为旋转中心进行旋转变换，旋转后图像高度记为m,得到该角度下的投影值，记为ProjectHor_-30[m]，其中ProjectHor_-30[k]，0＜k＜m表示在旋转角度-30°下图像的第k行非0值数目；

Step_1_2.在Step_1_1的基础上，旋转角度θ以step＝5°递增并旋转原始图像,记录第i次旋转后的水平方向投影值为ProjectHor_θ[m]，其中θ＝i*5-30，且i＜12,step代表步进值；

Step_1_3.若i<12，则重复Step_1_2，否则，对于每个ProjectHor_θ[m]，求一阶差分和并将其记录在S_i中，i为整数；

Step_1_4.计算S_i中最大值Max(S_i),根据最大值下标i可以知道当旋转角度θ＝i*5-30时投影值最大，此时所要求的真正旋转角在[(i-1)*5-30],(i+1)*5-30]区间范围内；

Step_1_5.在[(i-1)*5-30],(i+1)*5-30]区间中旋转角度θ以step＝1°递增并旋转原始图像，重复Step_1_2，Step_1_3，Step_1_4；最终求得Max(S_i),此时水平方向的倾斜角α＝i。

2)竖直方向倾斜角计算的算法步骤如下：

具体的算法步骤如下：

Step_2_1.根据上述计算得到的水平方向的倾斜角并进行旋转校正车牌图像，旋转后的车牌图像作为计算竖直方向倾斜角度原始图像；

Step_2_2.在旋转角度[-30,30]的区间，首先以θ＝-30的角度对边缘图像以图像中心为旋转中心进行旋转变换,旋转后图像宽度记为n,得到该角度下的投影值，记为ProjectVer_-30[n],其中ProjectVer_-30[l]，0＜l＜n表示在旋转角度-30°下图像的第l列非0值数目；

Step_2_3.在步骤1的基础上，旋转角度θ以step＝5°递增并旋转原始图像，记录第i次旋转后的竖直方向投影值为ProjectVer_θ[n]，其中θ＝i*5-30，且i＜12；

Step_2_4.若i<12，则重复Step_2_2，否则，对于每个ProjectVer_θ[n]，求一阶差分和并记录在S_i中；

Step_2_5.计算S_i中最大值Max(S_i),根据最大值下标i可以知道当旋转角度θ＝i*5-30时投影值最大；此时所要求的真正旋转角在[(i-1)*5-30],(i+1)*5-30]区间范围内；

Step_2_6.在[(i-1)*5-30],(i+1)*5-30]区间中旋转角度θ以step＝1°递增并旋转原始图像，重复步骤Step_2_2，Step_2_3，Step_2_4；最终求得Max(S_i),此时竖直方向的倾斜角β＝i；

5.车牌旋转校正

根据计算得到水平或竖直方向的车牌倾斜角度，对车牌进行旋转校正，对于车牌的旋转校正，首先需要校正水平方向的倾斜，水平方向的校正只需按照水平的车牌倾斜角度的大小去旋转图像即可，对于竖直方向的校正，通过仿射变换来校正。

车牌校正效果如图5、图6和图7所示。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (1)

1.一种基于旋转投影的车牌倾斜矫正的方法，其特征在于在初定位时找到车牌区域，将车牌初定位后得到车牌图像作为输入图像，对车牌图像做如下步骤的操作：

步骤1：灰度化

将颜色图转换成灰度图，把车牌图像的RGB颜色图转化灰度图公式为公式(1)所示：

Gray(i,j)＝R*0.299+G*0.587+B*0.114(1)

其中Gray(i,j)为目标图像在点(i,j)上的灰度值，R、G、B为图像三个分量,i为大于0的整数，j为大于0的整数；

步骤2：边缘提取

将车牌图像进行灰度化后，需要提取出车牌的字符纹理信息，边缘信息的完整与否关系到最终角度的计算。提取车牌图像边缘信息是基于Sobel算子的边缘检测，具体做法如下：

1.做水平倾斜计算计算得到水平方向边缘检测的图像：对车牌图像灰度化后，对灰度化的车牌图像做一次平滑处理，再采用只对水平方向响应的Sobel算子提取图像边缘，其中采用的水平Sobel算子如下所示：

$\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

水平方向边缘提取计算公式如公式(2)所示：

$Gx=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*A---\left(2\right)$

其中A代表平滑处理后的车牌图像，也即原始图像，Gx表示为水平方向边缘检测的图像；

2.做竖直倾斜计算得到竖直方向边缘检测的图像：采用的竖直Sobel算子如下：

$\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]$

竖直方向边缘提取计算公式如公式(3)所示：

$Gy=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*A---\left(3\right)$

其中A代表平滑处理后的车牌图像，也即原始图像，Gy表示为竖直方向边缘检测的图像；

3.二值化

采用全局二值化方法，通过求得图像灰度平均值继而将该均值作为图像二值化的阈值，求得图像二值化的阈值T的计算公式如公式(4)所示：

$T=\frac{{\mathrm{\&Sigma;}}_{m=1}^M{\mathrm{\&Sigma;}}_{n=1}^{N}f(m,n)}{M\&times;N}---\left(4\right)$

其M*N表示经过Sobel算子计算得到的图像的大小，M、m为大于0的整数，N、n为大于0的整数，f(m,n)表示图像中(m,n)点的灰度值；

4.倾斜角计算如下：

1)水平方向倾斜角计算的算法步骤如下：

Step_1_1.在旋转角度[-30,30]的区间，首先以旋转角度θ＝-30度的角度对边缘图像以图像中心为旋转中心进行旋转变换，旋转后图像高度记为m,得到该角度下的投影值，记为ProjectHor_-30[m]，其中ProjectHor_-30[k]，0＜k＜m表示在旋转角度-30°下图像的第k行非0值数目；

Step_1_2.在Step_1_1的基础上，旋转角度θ以step＝5°递增并旋转原始图像,记录第i次旋转后的水平方向投影值为ProjectHor_θ[m]，其中θ＝i*5-30，且i＜12,step代表步进值；

Step_1_3.若i<12，则重复Step_1_2，否则，对于每个ProjectHor_θ[m]，求一阶差分和 ${\mathrm{\&Sigma;}}_{i=1}^m({\mathrm{ProjectHor}}_{\mathrm{\&theta;}}\&lsqb;i\&rsqb;-{\mathrm{ProjectHor}}_{\mathrm{\&theta;}}\&lsqb;i-1\&rsqb;),$ 并将其记录在S_i中，i为整数；

Step_1_4.计算S_i中最大值Max(S_i),根据最大值下标i可以知道当旋转角度θ＝i*5-30时投影值最大，此时所要求的真正旋转角在[(i-1)*5-30],(i+1)*5-30]区间范围内；

Step_1_5.在[(i-1)*5-30],(i+1)*5-30]区间中旋转角度θ以step＝1°递增并旋转原始图像，重复Step_1_2，Step_1_3，Step_1_4；最终求得Max(S_i),此时水平方向的倾斜角α＝i。

2)竖直方向倾斜角计算的算法步骤如下：

具体的算法步骤如下：

Step_2_1.根据上述计算得到的水平方向的倾斜角并进行旋转校正车牌图像，旋转后的车牌图像作为计算竖直方向倾斜角度原始图像；

Step_2_2.在旋转角度[-30,30]的区间，首先以θ＝-30的角度对边缘图像以图像中心为旋转中心进行旋转变换,旋转后图像宽度记为n,得到该角度下的投影值，记为ProjectVer_-30[n],其中ProjectVer_-30[l]，0＜l＜m表示在旋转角度-30°下图像的第l列非0值数目；

Step_2_3.在步骤1的基础上，旋转角度θ以step＝5°递增并旋转原始图像，记录第i次旋转后的竖直方向投影值为ProjectVer_θ[n]，其中θ＝i*5-30，且i＜12；

Step_2_4.若i<12，则重复Step_2_2，否则，对于每个ProjectVer_θ[n]，求一阶差分和 ${\mathrm{\&Sigma;}}_{i=1}^m({\mathrm{ProjectVer}}_{\mathrm{\&theta;}}\&lsqb;i\&rsqb;-{\mathrm{ProjectVer}}_{\mathrm{\&theta;}}\&lsqb;i-1\&rsqb;),$ 并记录在S_i中；

Step_2_5.计算S_i中最大值Max(S_i),根据最大值下标i可以知道当旋转角度θ＝i*5-30时投影值最大；此时所要求的真正旋转角在[(i-1)*5-30],(i+1)*5-30]区间范围内；

Step_2_6.在[(i-1)*5-30],(i+1)*5-30]区间中旋转角度θ以step＝1°递增并旋转原始图像，重复步骤Step_2_2，Step_2_3，Step_2_4；最终求得Max(S_i),此时竖直方向的倾斜角β＝i；

5.车牌旋转校正

根据计算得到水平或竖直方向的车牌倾斜角度，对车牌进行旋转校正，对于车牌的旋转校正，首先需要校正水平方向的倾斜，水平方向的校正只需按照水平的车牌倾斜角度的大小去旋转图像即可，对于竖直方向的校正，通过仿射变换来校正。