CN107563330B - 一种监控视频中的水平倾斜车牌矫正方法 - Google Patents

Abstract

本发明提供了一种监控视频中的水平倾斜车牌矫正方法，属于车牌自动识别技术领域，目的在于对监控视频中定位到的水平倾斜车牌进行矫正，为车牌识别作预处理。从监控视频中获取车牌图像，提取其中的各个字符区域；利用多个字符区域的上边缘中点、中心点、下边缘中点分别拟合得到三条直线，包括上边缘直线、中心直线、下边缘直线，并计算每条直线所对应的水平倾斜角；最后，根据直线的拟合误差计算三条直线各自的权重，融合三条直线的倾斜角，计算车牌的最佳水平倾斜角度，并进行水平矫正。与现有技术相比，依据本发明检测的最佳水平倾斜角度准确率较高，且计算速度快，对边框残缺的车牌有明显的优势，适用于车牌矫正领域。

Description

一种监控视频中的水平倾斜车牌矫正方法

技术领域

本发明涉及图像处理、视频监控及安防领域，尤其是智能交通领域中的车牌识别方法。

背景技术

现如今，随着人们生活水平的不断提高，与日俱增的机动车给交通部门的监督与管理带来了严峻的挑战，智能交通系统显得尤其重要，而车牌作为车辆的身份标识，使得自动车牌识别(ALPR)是智能交通系统中的关键技术，在车辆管理、违章监控等领域发挥着重要作用。

然而，由于实际监控场景中摄像头的位置关系，获取的视频帧图像中车牌存在角度倾斜问题，会对后期的车牌识别产生影响。

目前，车牌角度矫正主要包括下列几种方法：(1)基于直线检测的方法，该方法通过检测车牌边框直线获取车牌的倾斜角度，从而对车牌进行矫正，但该方法对有干扰、模糊的车牌效果不佳；(2)基于特征分析的方法，如主成分分析，但该方法易受到非字符区域的干扰；(3)基于穷举法的方法，该方法通过不断将车牌进行一定角度的旋转，然后获取相应的特征值，比较得到最佳特征值所对应的角度，即为倾斜角度，该方法鲁棒性较好，但计算量较大。

而针对监控场景中的车辆，定位到的车牌存在边框残缺、背景干扰等现象，综上所述，目前迫切需要提出一种监控视频中的水平倾斜车牌矫正方法。

发明内容

本发明提出一种监控视频中的水平倾斜车牌矫正方法，用于实现车牌水平倾斜角度快速准确的检测及车牌校正。

本发明解决其技术问题所采用的技术方案是：

一种监控视频中的水平倾斜车牌矫正方法，包括：

S1、获取监控场景中的彩色车牌图像，对彩色车牌图像进行灰度化、二值化、开运算和连通域轮廓检测算法，得到多个连通域轮廓的矩形边界框，根据车牌字符的几何特性进行筛选，去除干扰的矩形边界框，将符合要求的矩形边界框确定为字符区域；

S2、对含多个字符区域的车牌，根据每个字符区域的上边缘中点利用最小二乘法拟合得到一条上边缘中点直线，根据每个字符区域的中心点利用最小二乘法拟合得到一条中心点直线，以及根据每个字符区域的下边缘中点利用最小二乘法拟合得到一条下边缘中点直线，分别计算三条直线的水平倾斜角度；

S3、若上边缘中点到拟合得到的上边缘中点直线的距离越大，则上边缘中点直线的拟合误差越大，上边缘中点直线的置信度也就越低。因此可以根据多个字符区域的上边缘中点到上边缘中点直线的平均距离确定上边缘中点直线的置信度，进而计算上边缘中点直线的权重。同理可以计算中心点直线和下边缘中点直线的权重；

S4、根据上边缘中点直线、中心点直线和下边缘中点直线的权重及各自的水平倾斜角度进行融合，计算车牌的最佳水平倾斜角度；

S5、根据确定的车牌最佳水平倾斜角度，对车牌进行水平倾斜矫正。

进一步，所述步骤S1，包括：

S11、输入的彩色图像大小为Height×Width，对其进行灰度化，得到灰度图f(x,y)(x、y分别为横纵坐标值)，为了去除边缘的干扰，取灰度图中间大小为height×width区域计算阈值T，计算公式如(1)，以此阈值T对灰度图进行二值化得到二值图像，对二值图像依次进行开运算、连通域轮廓检测，最终得到多个连通域轮廓的矩形边界框；

S12、结合标准车牌图像中字符的几何特性与实际场景中车牌模糊、残缺、车牌字符粘连等因素，设置车牌字符的宽高比范围为R_w/h，车牌字符的面积为R_area，根据车牌字符特性剔除不符合要求的矩形边界框，具体规则为矩形边界框的宽高比在R_w/h范围内，矩形边界框所占面积比小于R_area，对所有矩形边界框进行分析，剔除不符合此规则的矩形边界框，将符合要求的M个矩形边界框确定为字符区域。

进一步，所述步骤S2，包括：

S21、根据第i(i＝1,..,M)个字符区域的位置[x_i,y_i,w_i,h_i]计算上边缘中点坐标

中心点坐标

下边缘中点坐标

其中(x_i,y_i)表示第i个字符区域的左上角坐标，(w_i,h_i)表示第i个字符区域的宽和高，计算公式如(2)

S22、对M个字符区域重复步骤S21,得到上边缘中点序列

中心点序列

下边缘中点序列

对上边缘中点序列进行最小二乘拟合，得到上边缘中点直线L_up:y_up＝k_upx+b_up，对中心点序列进行最小二乘拟合，得到中心点直线L_mid:y_mid＝k_midx+b_mid，对下边缘中点序列进行最小二乘拟合，得到下边缘中点直线L_down:y_down＝k_downx+b_down，并根据直线斜率计算这三条直线的水平倾斜角度α_up、α_mid、α_down，计算公式如(3)

α_l＝arctank_l，l∈{up,mid,down} (3)

进一步，所述步骤S3，包括：

S31、对于上边缘中点直线，求对应的上边缘中点序列到上边缘中点直线的平均距离

对于中心点直线，求对应的中心点序列到中心点直线的平均距离

对于下边缘中点直线，求对应的下边缘中点序列到下边缘中点直线的平均距离

计算公式如(4)

其中

表示序列Point_l中第j个点坐标(x_j,y_j)到直线L_l:y_l＝k_lx+b_l的距离，计算公式如(5)

S32、定义上边缘中点直线、中心点直线和下边缘中点直线的置信度分别为λ_up、λ_mid、λ_down，计算公式如(6)

并定义上边缘中点直线、中心点直线和下边缘中点直线的权重分别为w_up、w_mid、w_down，计算公式如(7)

进一步，所述步骤S4，具体为：

上述步骤计算得到上边缘中点直线、中心点直线和下边缘中点直线的倾斜角α_up、α_mid、α_down，及各自的权重w_up、w_mid、w_down，由此计算车牌的最佳水平倾斜角度为

α＝w_upα_up+w_midα_mid+w_downα_down (8)

进一步，所述步骤S5，具体为：

以车牌图像中心点

为旋转中心，上述计算得到的最佳水平倾斜角度α为旋转角度，旋转车牌图像，即可得到最终的水平倾斜矫正结果。

有益效果

本发明的一种监控视频中的水平倾斜车牌矫正方法，与现有的方法相比，优点在于：

(1)可以解决稍微模糊、边缘残缺的倾斜车牌图像的角度问题；

(2)利用直线拟合技术，计算复杂度较低，可以快速得到最佳水平倾斜角度；

(3)利用多条直线，并结合直线误差进行融合，鲁棒性较好。

根据本发明的一种监控视频中的水平倾斜车牌矫正方法获取的车牌水平倾斜角度，可以对车牌进行快速准确的水平矫正，适用于车牌识别领域。

附图说明

图1：本发明的一种监控视频中的水平倾斜车牌矫正方法的流程示意图；

具体实施方案

下面结合附图及优选实施方式对本发明技术方案进行详细说明。

本发明提供的一种监控视频中的水平倾斜车牌矫正方法的流程示意图如图1所示，包括：

S1、获取监控场景中的彩色车牌图像，对彩色车牌图像进行灰度化、二值化、开运算和连通域轮廓检测算法，得到多个连通域轮廓的矩形边界框，根据车牌字符的几何特性进行筛选，去除干扰的矩形边界框，将符合要求的矩形边界框确定为字符区域；

S2、对含多个字符区域的车牌，根据每个字符区域的上边缘中点利用最小二乘法拟合得到一条上边缘中点直线，根据每个字符区域的中心点利用最小二乘法拟合得到一条中心点直线，以及根据每个字符区域的下边缘中点利用最小二乘法拟合得到一条下边缘中点直线，分别计算三条直线的水平倾斜角度；

S3、由于上边缘中点到拟合得到的上边缘中点直线的距离越大，上边缘中点直线的拟合误差越大，上边缘中点直线的置信度也就越低。因此可以根据多个字符区域的上边缘中点到上边缘中点直线的平均距离确定上边缘中点直线的置信度，进而计算上边缘中点直线的权重。同理可以计算中心点直线和下边缘中点直线的权重；

S4、根据上边缘中点直线、中心点直线和下边缘中点直线的权重及各自的水平倾斜角度进行融合，计算车牌的最佳水平倾斜角度；

S5、根据确定的车牌最佳水平倾斜角度，对车牌进行水平倾斜矫正。

进一步，所述步骤S1，包括：

S11、输入的彩色图像大小为Height×Width，对其进行灰度化，得到灰度图f(x,y)(x、y分别为横纵坐标值)，为了去除边缘的干扰，取灰度图中间大小为

区域计算灰度阈值T，计算公式如(1)，以此阈值T对灰度图进行二值化，得到二值图像，对二值图像依次进行开运算、连通域轮廓检测，最终得到多个连通域轮廓的矩形边界框；

S12、标准车牌图像中字符的宽高比为2，考虑到实际场景中的车牌模糊、残缺的因素，设置车牌字符的宽高比R_w/h＝1～3，考虑到车牌图像中字符粘连等因素，设置车牌字符区域在车牌图像中所占区域的面积R_area＝Height×Width/2，对所有矩形边界框进行分析，具体规则为矩形边界框的宽高比在R_w/h范围内，矩形边界框的面积小于R_area，根据此规则剔除不符合字符特性的矩形边界框，将符合特性的6个矩形边界框确定为字符区域。

进一步，所述步骤S2，包括：

S21、根据第i(i＝1,..,6)个字符区域的位置[x_i,y_i,w_i,h_i]计算上边缘中点坐标

中心点坐标

下边缘中点坐标

其中(x_i,y_i)表示第i个字符区域的左上角坐标，(w_i,h_i)表示第i个字符区域的宽和高，计算公式如(2)

S22、对6个字符区域重复步骤S21,得到上边缘中点序列

中心点序列

下边缘中点序列

对上边缘中点序列进行最小二乘拟合，得到上边缘中点直线L_up:y_up＝k_upx+b_up，对中心点序列进行最小二乘拟合，得到中心点直线L_mid:y_mid＝k_midx+b_mid，对下边缘中点序列进行最小二乘拟合，得到下边缘中点直线L_down:y_down＝k_downx+b_down，并根据直线斜率计算这三条直线的水平倾斜角度α_up、α_mid、α_down，计算公式如(3)

α_l＝arctank_l，l∈{up,mid,down} (3)

进一步，所述步骤S3，包括：

S31、对于上边缘中点直线，求对应的上边缘中点序列到上边缘中点直线的平均距离

对于中心点直线，求对应的中心点序列到中心点直线的平均距离

对于下边缘中点直线，求对应的下边缘中点序列到下边缘中点直线的平均距离

计算公式如(4)

其中

表示序列Point_l中第j个点坐标(x_j,y_j)到直线L_l:y_l＝k_lx+b_l的距离，计算公式为如(5)

S32、定义上边缘中点直线L_up、中心点直线L_mid和下边缘中点直线L_down的置信度分别为λ_up、λ_mid、λ_down，计算公式如(6)

上边缘中点直线、中心点直线和下边缘中点直线的权重分别为w_up、w_mid、w_down，计算公式如(7)

进一步，所述步骤S4，具体为：

上述步骤计算得到上边缘中点直线、中心点直线和下边缘中点直线的倾斜角α_up、α_mid、α_down，及各自的权重w_up、w_mid、w_down，由此计算车牌的最佳水平倾斜角度为

α＝α_upw_up+α_midw_mid+α_downw_down (8)

进一步，所述步骤S5，具体为：

以车牌图像中心点

为旋转中心，上述计算得到的最佳水平倾斜角度α为旋转角度，旋转车牌图像，即可得到最终的水平倾斜矫正结果。

Claims (3)

1.一种监控视频中的水平倾斜车牌矫正方法，其特征在于，包括如下步骤：

S1、获取监控场景中的彩色车牌图像，对彩色车牌图像进行灰度化、二值化、开运算和连通域轮廓检测算法，得到多个连通域轮廓的矩形边界框，根据车牌字符的几何特性进行筛选，去除干扰的矩形边界框，将符合要求的矩形边界框确定为字符区域；

S2、对含多个字符区域的车牌，根据每个字符区域的上边缘中点利用最小二乘法拟合得到一条上边缘中点直线，根据每个字符区域的中心点利用最小二乘法拟合得到一条中心点直线，以及根据每个字符区域的下边缘中点利用最小二乘法拟合得到一条下边缘中点直线，分别计算三条直线的水平倾斜角度；

S3、若上边缘中点到拟合得到的上边缘中点直线的距离越大，则上边缘中点直线的拟合误差越大，上边缘中点直线的置信度也就越低；因此可以根据多个字符区域的上边缘中点到上边缘中点直线的平均距离确定上边缘中点直线的置信度，进而计算上边缘中点直线的权重；同理可以计算中心点直线和下边缘中点直线的权重；

S4、根据上边缘中点直线、中心点直线和下边缘中点直线的权重及各自的水平倾斜角度进行融合，计算车牌的最佳水平倾斜角度；

S5、根据确定的车牌最佳水平倾斜角度，对车牌进行水平倾斜矫正；

所述步骤S1包括：

S11、输入的彩色图像大小为Height×Width，对其进行灰度化，得到灰度图f(x,y)，x、y分别为横纵坐标值，为了去除边缘的干扰，取灰度图中间大小为height×width区域计算阈值T，计算公式如(1)，以此阈值T对灰度图进行二值化得到二值图像，对二值图像依次进行开运算、连通域轮廓检测，最终得到多个连通域轮廓的矩形边界框；

S12、结合标准车牌图像中字符的几何特性与实际场景中车牌模糊、残缺、车牌字符粘连因素，设置车牌字符的宽高比范围为R_w/h，车牌字符的面积为R_area，根据车牌字符特性剔除不符合要求的矩形边界框，具体规则为矩形边界框的宽高比在R_w/h范围内，矩形边界框所占面积比小于R_area，对所有矩形边界框进行分析，剔除不符合此规则的矩形边界框，将符合要求的M个矩形边界框确定为字符区域；

步骤S2包括：

S21、根据第i个字符区域的位置[x_i,y_i,w_i,h_i]计算上边缘中点坐标

中心点坐标

下边缘中点坐标

其中(x_i,y_i)表示第i个字符区域的左上角坐标，i＝1,..,M，(w_i,h_i)表示第i个字符区域的宽和高，计算公式如(2)：

S22、对M个字符区域重复步骤S21，得到上边缘中点序列

中心点序列

下边缘中点序列

对上边缘中点序列进行最小二乘拟合，得到上边缘中点直线L_up:y_up＝k_upx+b_up，对中心点序列进行最小二乘拟合，得到中心点直线L_mid:y_mid＝k_midx+b_mid，对下边缘中点序列进行最小二乘拟合，得到下边缘中点直线L_down:y_down＝k_downx+b_down，并根据直线斜率计算这三条直线的水平倾斜角度α_up、α_mid、α_down，计算公式如(3)：

α_l＝arctank_l，l∈{up,mid,down} (3)

所述步骤S5具体为：

以车牌图像中心点

为旋转中心，上述计算得到的最佳水平倾斜角度α为旋转角度，旋转车牌图像，即可得到最终的水平倾斜矫正结果。

2.如权利要求1所述的方法，其特征在于，步骤S3包括：

S31、对于上边缘中点直线，求对应的上边缘中点序列到上边缘中点直线的平均距离

对于中心点直线，求对应的中心点序列到中心点直线的平均距离

对于下边缘中点直线，求对应的下边缘中点序列到上边缘中点直线的平均距离

计算公式如(4)：

其中

表示车牌字符序列Point_l中第j个点坐标(x_j,y_j)到直线L_l:y_l＝k_lx+b_l的距离，计算公式如(5)：

S32、定义上边缘中点直线、中心点直线和下边缘中点直线的置信度分别为λ_up、λ_mid、λ_down，计算公式如(6)

并定义上边缘中点直线、中心点直线和下边缘中点直线的权重分别为w_up、w_mid、w_down，计算公式如(7)

3.如权利要求1所述的方法，其特征在于，所述步骤S4具体为：

上述步骤计算得到上边缘中点直线、中心点直线和下边缘中点直线的倾斜角α_up、α_mid、α_down，及各自的权重w_up、w_mid、w_down，由此计算车牌的最佳水平倾斜角度为：

α＝w_upα_up+w_midα_mid+w_downα_down (8)。

Images