CN106203433A - 一种车辆监控图像中车牌位置自动提取并透视校正的方法 - Google Patents

Abstract

本发明公开了一种车辆监控图像中车牌位置自动提取并透视校正的方法，利用边缘和颜色信息在图像中找到车牌的大概区域，对图像做直线检测，利用区域边界信息结合显著直线，确定构成透视变形车牌的四条边界线，求解显著直线的四个交点，与目标矩形四角点建立映射，反算透视校正矩阵，完成车牌透视校正。本发明获得了透视失真的车牌四个角点位置，并与目标矩形四角点建立映射，计算透视变换矩阵，完成车牌透视校正；相比基于水平和竖直方向旋转的仿射变换方法，真实描述了透视形变，保证了更高的车牌图像校正精度，与仿射变换算法相比，本发明不仅能检测车牌的透视失真信息，还能精确的定位车牌边界角点，计算透视校正矩阵，准确实现车牌透视校正。

Description

一种车辆监控图像中车牌位置自动提取并透视校正的方法

技术领域

本发明属于计算机应用技术领域，尤其涉及一种车辆监控图像中车牌位置自动提取并透视校正的方法。

背景技术

目前，车牌自动识别技术是计算机视觉领域研究的热点，也是城市和交通智能化系统的重要组成部分。车牌自动识别技术普遍经过车牌提取、字符分割和字符识别三个基本操作。受天气、光照、阴影等因素影响，车牌识别算法精度常出现高低不稳的变化甚至无法识别或识别错误。在复杂环境下高精度地定位车牌，是车牌识别系统提高识别率的关键环节。车牌定位精度包括位置精度(一般用矩形或旋转矩形表示)和车牌的透视变形程度。在车牌识别系统中，车牌和摄像头的距离变化，角度变化，使得拍摄图像存在透视失真，图像中车牌不再是严格的平行四边形，因此图像中车牌到正视矩形车牌之间的变换是透视变换。

已有的关于车牌识别的文献，多采用图像水平和竖直方向旋转的方法，本质上属于一种仿射变换，仿射变换只能将平行四边形转换为矩形，对于存在透视变形的情况，车牌已经不是平行四边形，因此这些方法理论上是无法准确完成车牌校正的。而且在估计水平和竖直方向倾斜时，由于某些车牌缺少明显的边界线条，使得算法精度和鲁棒性也会受到影响。

发明内容

本发明的目的在于提供一种车辆监控图像中车牌位置自动提取并透视校正的方法，旨在解决现有车牌识别方法存在车牌定位和校正时精度不高，鲁棒性差的问题。

本发明是这样实现的，一种车辆监控图像中车牌位置自动提取并透视校正的方法，所述车辆监控图像中车牌位置自动提取并透视校正的方法利用边缘和颜色信息在图像中找到车牌的大概区域，对大概区域的图像做直线检测，利用区域边界信息结合显著直线，确定构成透视变形车牌的四条边界线，求解显著直线的四个交点，与目标矩形四角点建立映射，反算透视校正矩阵，完成车牌透视校正。

进一步，所述车辆监控图像中车牌位置自动提取并透视校正的方法包括以下步骤：

步骤一，计算原始图像的灰度图GRAY，利用sobel梯度算子检测灰度图像中的竖直边缘，将边缘图像二值化并执行形态学膨胀运算；

步骤二，对步骤一的结果图像进行连通域判断和合并，获得各连通域区域边界，根据区域尺寸和长宽比值，确定可能的车牌区域；

步骤三，对每个候选的车牌区域原始图像进行颜色统计，利用颜色匹配结果，去除伪车牌区域，确定的车牌初始区域；

步骤四，对该区域的灰度图像，采用傅立叶和funnel直线检测算法，检测显著直线，在区域上下边界，选择一对近似水平且接近平行的直线；在区域左右边界，筛选一对近似竖直且接近平行直线；

步骤五，直线中水平和竖直直线求交，获得车牌四边形边界；

步骤六，利用边界四边形角点和目标矩形角点之间的对应关系，计算透视校正矩阵，并对车牌区域进行透视校正，获得校正后的车牌。

进一步，计算原始图像的灰度处理是将RGB三通道彩色图像转换为仅含有亮度信息的灰度图GRAY；根据RGB和YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的对应：Y＝0.3R+0.59G+0.11B，亮度值表达图像的灰度值。

进一步，竖直边缘的检测方法利用sobel算子对图像滤波，检测出竖直边缘，选择的sobel滤波器模板为

进一步，sobel检测边缘图为浮点类型多值图像，根据自适应阈值将其转化为二值图像，通过调用opencv函数thresh，传入参数CV_THRESH_OTSU实现；

二值图像形态学膨胀，定义如下：

g(x,y)＝dilate[f(x,y),B]＝max{f(x-dx,y-dy)+B(dx,dy)|(dx,dy)∈D_B}；

其中g(x,y)为膨胀后的图像，f(x,y)为原图像，B为形状结构元素，膨胀由结构元素B所确定的领域块中选择图像值与结构元素值和的最大值，采用的结构元素B为

进一步，连通域查找通过调用opencv函数findContours实现，采用的合并规则为：两个连通域C_i、C_j合并，同时满足条件1二者水平相邻、条件2水平间距小于阈值T_h、条件3连通域高度之差小于阈值T_v和条件4连通域中心高度之差小于阈值T_c；其中T_v取值为C_i、C_j高度均值的1/4，T_h＝2T_v，T_c＝T_v。

进一步，颜色匹配在HSV空间进行，采用opencv函数cvtColor将当前连通域的原始图像从RGB转换为HSV空间；对车牌颜色范围进行限定，蓝色车牌H范围[90，165]，S范围[90，240]，V范围[45，200]；黄色车牌H范围[0，60]，S范围[80，250]，V范围[90，250]；白色车牌H范围[0，30]，S范围[0，60]，V范围[150，255]，统计连通域内所有像素，按照限定范围归类到三种车牌，归类后的像素数分别为n_b，n_y，n_w，找出三种类别中所包含的像素的最大值max{n_bn_y n_w}；最大值与整个连通域像素总数的占比大于10％，则视该连通域包含有效车牌，否则丢弃该连通域。

进一步，连通域灰度图像是指灰度图GRAY位于当前连通域外接矩形部分的子图像，记为gray，依次对图像gray的每列数据做1维离散傅立叶变换，得到频域图像F_{col_gray}；然后对F_{col_gray}进行funnel变换，即对F_{col_gray}的每行图像数据R_i，进行如下的插值变换，得到图像fun_F_{col_gray}：

$R_i\⇒R_i^{\′}\left\{\begin{array}{cc}W\left(R_i^{\′}\right)=\frac{W\×2\×i}{H}& i\∈\[\begin{array}{cc}0,& H/2\end{array}\]\\ W\left(R_i^{\′}\right)=\frac{W\×2\×(H-i)}{H}& i\∈(\begin{array}{cc}H/2,& H\end{array}\]\end{array}\right.;$

H表示图像gray的高度，i表示行号，W表示gray的宽度，W(r)表示求第r行图像的宽度，R_i表示变换前的第i行图像，R_i′表示变换后第i行图像；然后再对fun_F_{col_gray}图像没行数据依次进行1维逆离散傅立叶变换，得到最终图像IF_row_fun_F_{col_gray}；

图像IF_row_fun_F_{col_gray}中的峰值点代表原灰度图gray中的直线，直线形式y＝kx+b，k为斜率，b为截距，在IF_row_fun_F_{col_gray}图中找到的峰值点为p(x_p,y_p)，则由峰值点到直线公式的映射为：k＝1-2x_p/W，b＝y_p。

进一步，目标矩形相应的四个角点记为LT,RT,LB,RB，分别表示矩形左上、右上、左下和右下角点；通过opencv getPerspectiveTransform函数调用得到透视矩阵，通过调用函数warpPerspective实现车牌透视校正变换。

本发明提供的车辆监控图像中车牌位置自动提取并透视校正的方法，获得了透视失真的车牌四个角点位置，并与目标矩形四角点建立映射，计算透视变换矩阵，完成车牌透视校正；相比基于水平和竖直方向旋转的仿射变换方法，真实描述了透视形变，保证了更高的车牌图像校正精度，与仿射变换算法相比，本发明不仅能检测车牌的透视失真信息，还能精确的定位车牌边界角点，计算透视校正矩阵，准确实现车牌透视校正。

附图说明

图1是本发明实施例提供的车辆监控图像中车牌位置自动提取并透视校正的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明首先利用边缘和颜色信息在图像中找到车牌的大概区域，进而对该区域图像做直线检测，利用区域边界信息结合显著直线，确定构成透视变形车牌的四条边界线，进而求解上述直线的四个交点，与目标矩形四角点建立映射，反算透视校正矩阵，完成车牌透视校正。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例的车辆监控图像中车牌位置自动提取并透视校正的方法包括以下步骤：

S101：计算原始图像的灰度图GRAY，利用sobel梯度算子检测灰度图像中的竖直边缘，将边缘图像二值化并执行形态学膨胀运算；

S102:对步骤S101的结果图像进行连通域判断和合并，获得各连通域区域边界，根据区域尺寸和长宽比值，确定可能的车牌区域；

S103:对每个候选的车牌区域原始图像进行颜色统计，利用颜色匹配结果，进一步去除伪车牌区域，确定的车牌初始区域；

S104：对该区域的灰度图像，采用傅立叶和funnel直线检测算法，检测显著直线，在区域上下边界，选择一对近似水平且接近平行的直线；在区域左右边界，筛选一对近似竖直且接近平行直线；

S105：直线中水平和竖直直线求交，获得车牌四边形边界；

S106：利用边界四边形角点和目标矩形角点之间的对应关系，计算透视校正矩阵，并对车牌区域进行透视校正，获得校正后的车牌。

下面结合具体实施例对本发明的应用原理作进一步的描述。

实施例1：

本发明实施例的车辆监控图像中车牌位置自动提取并透视校正的方法包括以下步骤：

1、彩色图像灰度化，其基本运算是将RGB三通道彩色图像转换为仅含有亮度信息的灰度图GRAY。根据RGB和YUV颜色空间的变化关系可建立亮度Y与R、G、B三个颜色分量的对应：Y＝0.3R+0.59G+0.11B，以这个亮度值表达图像的灰度值。

2、竖直边缘检测，车牌文字横向排练，会形成竖直方向的水平分布的多个边缘。利用sobel算子对图像滤波，会检测出竖直边缘，选择的sobel滤波器模板为

3、sobel图像二值化。sobel检测边缘图为浮点类型多值图像，根据自适应阈值将其转化为二值图像。这通过调用opencv函数thresh，传入参数CV_THRESH_OTSU实现。

二值边缘图像形态学膨胀，定义如下：

g(x,y)＝dilate[f(x,y),B]＝max{f(x-dx,y-dy)+B(dx,dy)|(dx,dy)∈D_B}；

其中g(x,y)为膨胀后的图像，f(x,y)为原图像，B为形状结构元素，膨胀(dilate)是由结构元素B所确定的领域块中选择图像值与结构元素值和的最大值。算法采用的结构元素B为

4、连通域查找通过调用opencv函数findContours实现，由于某些车牌字符间距较大(如字符1宽度最窄，和其相邻的字符之间间距大)，会形成多个连通域，应该把这类连通域进行合并；算法采用的合并规则为：两个连通域C_i、C_j合并，若同时满足条件1二者水平相邻、条件2水平间距小于阈值T_h、条件3连通域高度之差小于阈值T_v和条件4连通域中心高度之差小于阈值T_c；其中T_v取值为C_i、C_j高度均值的1/4，T_h＝2T_v，T_c＝T_v。

候选车牌连通域的宽高比值限定为[1.8，4.5]，宽高比值不在该范围内的连通域视为非车牌区域；

5、颜色匹配，在HSV空间进行，采用opencv函数cvtColor将当前连通域的原始图像从RGB转换为HSV空间。对车牌颜色范围进行限定。蓝色车牌H范围[90，165]，S范围[90，240]，V范围[45，200]；黄色车牌H范围[0，60]，S范围[80，250]，V范围[90，250]；白色车牌H范围[0，30]，S范围[0，60]，V范围[150，255]。统计连通域内所有像素，按照上述限定范围归类到三种车牌，设归类后的像素数分别为n_b，n_y，n_w，找出三种类别中所包含的像素的最大值max{n_b n_y n_w}。若该最大值与整个连通域像素总数的占比大于10％，则视该连通域包含有效车牌，否则丢弃该连通域。

6、该连通域灰度图像是指灰度图GRAY位于当前连通域外接矩形部分的子图像，记为gray。依次对图像gray的每列数据做1维离散傅立叶变换，得到频域图像F_{col_gray}；然后对F_{col_gray}进行funnel变换，即对F_{col_gray}的每行图像数据R_i，进行如下的插值变换，得到图像fun_F_{col_gray}。

$R_i\⇒R_i^{\′}\left\{\begin{array}{cc}W\left(R_i^{\′}\right)=\frac{W\×2\×i}{H}& i\∈\[\begin{array}{cc}0,& H/2\end{array}\]\\ W\left(R_i^{\′}\right)=\frac{W\×2\×(H-i)}{H}& i\∈(\begin{array}{cc}H/2,& H\end{array}\]\end{array}\right.;$

上式中H表示图像gray的高度，i表示行号，W表示gray的宽度，W(r)表示求第r行图像的宽度，R_i表示变换前的第i行图像，R_i′表示变换后第i行图像。然后再对fun_F_{col_gray}图像没行数据依次进行1维逆离散傅立叶变换，得到最终图像IF_row_fun_F_{col_gray}。

7、图像IF_row_fun_F_{col_gray}中的峰值点代表原灰度图gray中的直线，峰值点越高，表明原图中直线越显著。在当前连通域上下边界，可根据显著性选择一对近似水平且接近平行的直线。直线一般形式y＝kx+b，k为斜率，b为截距。设在IF_row_fun_F_{col_gray}图中找到的峰值点为p(x_p,y_p)，则由峰值点到直线公式的映射为：k＝1-2x_p/W，b＝y_p。

8、对图像gray转置，重复上述傅立叶和funnel变换步骤，可以找到连通域左右边界处一对近似竖直且接近平行的直线。

两条近水平直线和两条近竖直直线求交点，获得四个交点坐标，根据位置关系，记为lt,rt,lb,rb，分别表示左上、右上、左下和右下。

9、目标矩形，是指校正后的车牌形状。该目标矩形相应的四个角点记为LT,RT,LB,RB，分别表示矩形左上、右上、左下和右下角点。通过opencv getPerspectiveTransform(opencv是计算机视觉领域普遍应用的图像库，它定义了一组关于图像变换的函数，其中getPerspectiveTransform函数根据输入的四对平面点坐标参数，计算出一个3x 3的透视变换矩阵)函数调用得到透视矩阵。进而通过调用函数warpPerspective(opencv是计算机视觉领域普遍应用的图像库，它定义了一组关于图像变换的函数，其中warpPerspective函数根据输入的3x 3的透视变换矩阵，完成原图像的透视校正变换)实现车牌透视校正变换。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车辆监控图像中车牌位置自动提取并透视校正的方法，其特征在于，所述车辆监控图像中车牌位置自动提取并透视校正的方法利用边缘和颜色信息在图像中找到车牌的大概区域，对大概区域的图像做直线检测，利用区域边界信息结合显著直线，确定构成透视变形车牌的四条边界线，求解显著直线的四个交点，与目标矩形四角点建立映射，反算透视校正矩阵，完成车牌透视校正。

2.如权利要求1所述的车辆监控图像中车牌位置自动提取并透视校正的方法，其特征在于，所述车辆监控图像中车牌位置自动提取并透视校正的方法包括以下步骤：

步骤一，计算原始图像的灰度图GRAY，利用sobel梯度算子检测灰度图像中的竖直边缘，将边缘图像二值化并执行形态学膨胀运算；

步骤二，对步骤一的结果图像进行连通域判断和合并，获得各连通域区域边界，根据区域尺寸和长宽比值，确定可能的车牌区域；

步骤三，对每个候选的车牌区域原始图像进行颜色统计，利用颜色匹配结果，去除伪车牌区域，确定的车牌初始区域；

步骤四，对该区域的灰度图像，采用傅立叶和funnel直线检测算法，检测显著直线，在区域上下边界，选择一对近似水平且接近平行的直线；在区域左右边界，筛选一对近似竖直且接近平行直线；

步骤五，直线中水平和竖直直线求交，获得车牌四边形边界；

步骤六，利用边界四边形角点和目标矩形角点之间的对应关系，计算透视校正矩阵，并对车牌区域进行透视校正，获得校正后的车牌。

3.如权利要求2所述的车辆监控图像中车牌位置自动提取并透视校正的方法，其特征在于，计算原始图像的灰度处理是将RGB三通道彩色图像转换为仅含有亮度信息的灰度图GRAY；根据RGB和YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的对应：Y＝0.3R+0.59G+0.11B，亮度值表达图像的灰度值。

4.如权利要求2所述的车辆监控图像中车牌位置自动提取并透视校正的方法，其特征在于，竖直边缘的检测方法利用sobel算子对图像滤波，检测出竖直边缘，选择的sobel滤波器模板为

5.如权利要求4所述的车辆监控图像中车牌位置自动提取并透视校正的方法，其特征在于，sobel检测边缘图为浮点类型多值图像，根据自适应阈值将其转化为二值图像，通过调用opencv函数thresh，传入参数CV_THRESH_OTSU实现；

二值图像形态学膨胀，定义如下：

g(x,y)＝dilate[f(x,y),B]＝max{f(x-dx,y-dy)+B(dx,dy)|(dx,dy)∈D_B}；

其中g(x,y)为膨胀后的图像，f(x,y)为原图像，B为形状结构元素，膨胀由结构元素B所确定的领域块中选择图像值与结构元素值和的最大值，采用的结构元素B为

6.如权利要求2所述的车辆监控图像中车牌位置自动提取并透视校正的方法，其特征在于，连通域查找通过调用opencv函数findContours实现，采用的合并规则为：两个连通域C_i、C_j合并，同时满足条件1二者水平相邻、条件2水平间距小于阈值T_h、条件3连通域高度之差小于阈值T_v和条件4连通域中心高度之差小于阈值T_c；其中T_v取值为C_i、C_j高度均值的1/4，T_h＝2T_v，T_c＝T_v。

7.如权利要求2所述的车辆监控图像中车牌位置自动提取并透视校正的方法，其特征在于，颜色匹配在HSV空间进行，采用opencv函数cvtColor将当前连通域的原始图像从RGB转换为HSV空间；对车牌颜色范围进行限定，蓝色车牌H范围[90，165]，S范围[90，240]，V范围[45，200]；黄色车牌H范围[0，60]，S范围[80，250]，V范围[90，250]；白色车牌H范围[0，30]，S范围[0，60]，V范围[150，255]，统计连通域内所有像素，按照限定范围归类到三种车牌，归类后的像素数分别为n_b，n_y，n_w，找出三种类别中所包含的像素的最大值max{n_b n_yn_w}；最大值与整个连通域像素总数的占比大于10％，则视该连通域包含有效车牌，否则丢弃该连通域。

8.如权利要求2所述的车辆监控图像中车牌位置自动提取并透视校正的方法，其特征在于，连通域灰度图像是指灰度图GRAY位于当前连通域外接矩形部分的子图像，记为gray，依次对图像gray的每列数据做1维离散傅立叶变换，得到频域图像F_{col_gray}；然后对F_{col_gray}进行funnel变换，即对F_{col_gray}的每行图像数据R_i，进行如下的插值变换，得到图像fun_F_{col_gray}：

$R_i\⇒R_i^{\′}\left\{\begin{array}{cc}W\left(R_i^{\′}\right)=\frac{W\×2\×i}{H}& i\∈\left[\begin{array}{cc}0,& H/2\end{array}\right]\\ W\left(R_i^{\′}\right)=\frac{W\×2\×(H-i)}{H}& i\∈(\begin{array}{cc}H/2,& H\end{array}\]\end{array}\right.;$

H表示图像gray的高度，i表示行号，W表示gray的宽度，W(r)表示求第r行图像的宽度，R_i表示变换前的第i行图像，R_i′表示变换后第i行图像；然后再对fun_F_{col_gray}图像没行数据依次进行1维逆离散傅立叶变换，得到最终图像IF_row_fun_F_{col_gray}；

图像IF_row_fun_F_{col_gray}中的峰值点代表原灰度图gray中的直线，直线形式y＝kx+b，k为斜率，b为截距，在IF_row_fun_F_{col_gray}图中找到的峰值点为p(x_p,y_p)，则由峰值点到直线公式的映射为：k＝1-2x_p/W，b＝y_p。

9.如权利要求2所述的车辆监控图像中车牌位置自动提取并透视校正的方法，其特征在于，目标矩形相应的四个角点记为LT,RT,LB,RB，分别表示矩形左上、右上、左下和右下角点；通过opencv getPerspectiveTransform函数调用得到透视矩阵，通过调用函数warpPerspective实现车牌透视校正变换。

10.一种应用权利要求1-9任意一项所述车辆监控图像中车牌位置自动提取并透视校正的方法的车牌自动识别方法。