CN109858484A

CN109858484A - 一种基于偏斜评价的多类别变换车牌校正算法

Info

Publication number: CN109858484A
Application number: CN201910060900.8A
Authority: CN
Inventors: 解梅; 秦国义; 李思琦; 易鑫
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2019-06-07
Anticipated expiration: 2039-01-22
Also published as: CN109858484B

Abstract

本发明公开了一种基于偏斜评价的多类别变换车牌校正方法，属于图像处理技术领域。本发明所述方法首先将粗定位后的车牌人工设定为水平左、右透视，竖直上、下透视，左右错切，旋转及高亮度等8种类别变换的倾斜车牌，校正算法包括图像预处理，错切、竖直透视类型判断，其他类型判断及多类别车牌校正四个步骤。本发明所述方法考虑了多类别的变换车牌，可以同时校正多类别变换车牌。

Description

一种基于偏斜评价的多类别变换车牌校正算法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于偏斜评价的多类别变换车牌校正算法。

背景技术

随着社会的高速发展，汽车数量快速增加，汽车给人们生活带来便利的同时也给车辆出入管理和道路交通管理等带来了新的挑战。近几年，基于车牌识别技术的智能系统逐渐应用到我们的生活中。

车牌识别技术一般分为三部分：车牌定位，字符分割和字符识别。其中车牌定位是基础，也是最关键的步骤。由于车辆行驶方向、摄像头角度及天气原因，所得到的车牌图像均存在一定程度的旋转或变换，因此在车牌粗定位后，对变形车牌进行准确校正是后续识别过程的关键。

现有的倾斜校正算法一般用于旋转变换，该变换是车牌整体旋转，实际中多用基于投影的倾斜校正方法，对车牌进行校正，但对其他类别的变换车牌并不适用。

如何对多类别的变换车牌进行准确校正是亟需解决的难题。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于偏斜评价的多类别变换车牌校正算法。

本发明所提出的技术问题是这样解决的：

一种基于偏斜评价的多类别变换车牌校正算法，包括以下步骤：

步骤1.图像预处理

对车牌进行灰度化、二值化处理；对二值化后的车牌连通域寻找外轮廓，得到最小外接矩形；根据最小外接矩形的倾角对车牌进行旋转校正；

步骤2.错切、竖直透视类型判断：

步骤2-1.寻找斜边三角形底边：

在行方向上，遍历图像(rows，cols)处的像素点值是否为0，为0则判定为属于车牌的一部分，为1则判断为背景，其中(rows，cols)表示像素点的位置，rows为行变量，cols为列变量，0≤cols≤src_wid，0≤rows≤src_height，src_wid为图像的宽度，src_height为图像的高度；当行变量rows＝src_height/5时标记由左至右第一个像素点值为0的点为broadLeft[0]，标记由右至左的第一个像素点值为0的点为broadRight[0]；当行变量rows＝4*src_height/5时标记由左至右第一个像素点值为0的点为broadLeft[1]，标记由右至左的第一个像素点值为0的点为broadRight[1]；broadLeft[0]，broadLeft[1]，broadRight[0]，broadRight[1]分别表示车牌左上角，左下角，右上角，右下角的点；

步骤2-2.计算左右边斜率：

Slope＝-a/b

其中，a为broadLeft[0]与broadLeft[1]之间或broadRight[0]与broadRight[1]之间的横坐标差的绝对值，b为broadLeft[0]与broadLeft[1]之间或broadRight[0]与broadRight[1]之间的纵坐标差的绝对值；

步骤2-3.设定如下筛选条件判断错切及竖直透视：

设置如下筛选条件进行筛选错切及竖直透视车牌：

其中，SlpoeLeft为左边斜率，SlopeRight为右边斜率，若SlopeLeft*SlopeRight＞0则为错切变换，若SlopeLeft*SlopeRight＜0则为竖直透视变换，若SlopeLeft*SlopeRight＝0则判定为不属于步骤2中的类型；

步骤3.其他类型判断：

步骤3-1.检测车牌中四个点：在列方向上，设置列变量cols＝2，遍历图像(rows，cols)处的像素点值是否为0，标记由上至下第一个像素点值为0的点为broadAbove[0]，标记由下至上第一个像素点值为0的点为broadBelow[0]；设置列变量标记cols＝src_wid-2，遍历图像(rows，cols)处的像素点值是否为0，标记由上至下第一个像素点值为0的点为broadAbove[1]，标记由下至上第一个像素点值为0的点为broadBelow[1]；broadAbove[0]，broadBelow[0]，broadAbove[1]，broadBelow[1]分别表示车牌左上角，左下角，右上角，右下角的点；

步骤3-2.计算车牌顶部斜率：

其中，broadAbove[0].x、broadAbove[o].y分别表示broadAbove[0]的横纵坐标，broadAbove[1].x、broadAbove[1].y分别表示broadAbove[1]的横纵坐标；

计算车牌底部斜率：

其中，broadBelow[0].x、broadBelow[0].y分别表示broadBelow[0]的横纵坐标，broadBelow[1].x、broadBelow[1].y分别表示broadBelow[1]的横纵坐标；

步骤3-3.设定如下筛选条件判断水平透视：

设置如下筛选条件进行筛选水平透视车牌：

若符合上述筛选条件，则判定为水平透视；若不符合条件，则为高亮变换车牌；

步骤4.多类别车牌校正：

对错切类型通过仿射变换复原，透视类型通过透视变换复原，对高亮度类型进行直方图均衡。

本发明的有益效果是：

本发明所述方法可以实现多类别变换车牌的准确校正。

附图说明

图1为人工设定的8中变换车牌；

图2为错切及竖直透视斜率计算示意图；

图3为检测水平透视车牌示意图；

图4为水平透视四个点分组连线前后示意图；

图5为错切变换三组坐标示意图；

图6为错切变换仿射变换前后图；

图7为透视变换四组坐标示意图；

图8为透视变换前后图；

图9为高亮变换前后图。

具体实施方式

下面结合附图和实施例对本发明进行进一步的说明。

为方便描述本发明内容，这里首先对一些术语进行必要的解释：

最大类间方差法。最大类间方差法是一种自适应阈值确定的方法，又叫大津法，简称OTSU，是一种基于全局的二值化算法，它是根据图像的灰度特性，将图像分为前景和背景两个部分。当取最佳阈值时，两部分之间的差别应该是最大的，在OTSU算法中所采用的衡量差别的标准就是较为常见的最大类间方差。前景和背景之间的类间方差如果越大，就说明构成图像的两个部分之间的差别越大，当部分目标被错分为背景或部分背景被错分为目标，都会导致两部分差别变小，当所取阈值的分割使类间方差最大时就意味着错分概率最小。

透视变换。透视变换的本质是将图像投影到新平面上，其通用公式如下：

其中[x′，y′，w′]为变换后的坐标，[u，v，w]为变换前的坐标，为透视变换矩阵。透视变换矩阵可以分解如下：其中表示图像线性变换，T₂＝[a₁₃ a₂₃]^T用于产生图像透视变换，T₃＝[a₃₁ a₃₂]表示图像平移，透视变换中给出四对像素坐标，即可求得透视变换矩阵；反之，给定透视变换矩阵，即可对图像或像素点坐标完成透视变换。

水平左、右透视。利用透视变换，将正常车牌由矩形变换为梯形状。其中，由水平左透视变换后，车牌左边界为梯形上底边，右边界为梯形下底边，如图1(a)所示。水平右透视与左透视相反，如图1(b)所示。

竖直上、下透视。与水平左、右透视同，利用透视变换，将正常车牌由矩形变换为梯形状。其中，由竖直上透视变换后，车牌上边界为梯形上底边，下边界为梯形下底边，如图1(c)所示。竖直下透视与竖直上透视相反，如图1(d)所示。

仿射变换。仿射变换是空间直角坐标系的变换，从一个二维坐标变换到另一个二维坐标，仿射变换是一个线性变换，保持了图像的“平行性”和“平直性”。仿射变换是透视变换的特殊形式，一般给出三对像素坐标，即可求得仿射变换矩阵；反之，给定仿射变换矩阵，即可对图像或像素点坐标完成仿射变换。

直方图均衡。直方图均衡技术将原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，通过这种方法，亮度可以更好地在直方图上分布，这样就可以用于增强局部的对比度而不影响整体的对比度。

Point2f。Point_类，里面两个成员变量分别表示横、纵坐标。Point_<int>就是Point2i，也是Point，Point_<float>就是Point2f，Point_<double>就是Point2d。

本实施例提供一种基于偏斜评价的多类别变换车牌校正算法，方法考虑了多类别的变换车牌，可以同时校正多类别变换车牌。我们将粗定位后的车牌人工设定为水平左、右透视，竖直上、下透视，左右错切，旋转及高亮度等8种类别变换的倾斜车牌，如图1所示。校正算法包括图像预处理，错切、竖直透视类型判断，其他类型判断及多类别车牌校正四个步骤：

步骤1.图像预处理：

步骤1-1.灰度化：将彩色图像的RGB三个分量以不同的权值进行加权平均；

f(rows，cols)＝0.3R(rows，cols)+0.59G(rows，cols)+0.11B(rows，cols)

其中，(rows，cols)表示像素点的位置，rows为行变量，cols为列变量，0≤cols≤src_wid，0≤rows≤src_height，src_wid为图像的宽度，src_height为图像的高度，f(rows，cols)表示变换后图像(rows，cols)处的像素点值，R、G、B分别表示图像(rows，cols)处的R分量、G分量和B分量；

步骤1-2.二值化：

采用OTSU算法(最大类间方差法)，即选取类间方差最大的灰度值为最佳分割阈值，对图像进行二值化得到图像；

步骤1-3.寻找外轮廓：

对二值化后的车牌连通域通过OpenCV的findContours函数寻找外轮廓，对外轮廓求取最小外接矩形；

步骤1-4.根据最小外接矩形的倾角对车牌进行旋转校正；

步骤2.错切、竖直透视类型判断：

步骤2-1.寻找斜边三角形底边：

在行方向上，遍历图像(rows，cols)处的像素点值是否为0，为0则判定为属于车牌的一部分，为1则判断为背景；当行变量rows＝src_height/5时标记由左至右第一个像素点值为0的点为broadLeft[0]，标记由右至左的第一个像素点值为0的点为broadRight[0]；当行变量rows＝4*src_height/5时标记由左至右第一个像素点值为0的点为broadLeft[1]，标记由右至左的第一个像素点值为0的点为broadRight[1]；broadLeft[0]，broadLeft[1]，broadRight[0]，broadRight[1]分别表示车牌左上角，左下角，右上角，右下角的点；

步骤2-2.计算左右边斜率，斜率计算示意图如图2所示：

Slope＝-a/b

步骤2-3.设定如下筛选条件判断错切及竖直透视：

设置如下筛选条件进行筛选错切及竖直透视车牌：

步骤3.其他类型判断：

步骤3-1.检测车牌中四个点，四个点的示意图如图3所示：在列方向上，设置列变量cols＝2，遍历图像(rows，cols)处的像素点值是否为0，标记由上至下第一个像素点值为0的点为broad Above[0]，标记由下至上第一个像素点值为0的点为broadBelow[0]；设置列变量标记cols＝src_wid-2，遍历图像(rows，cols)处的像素点值是否为0，标记由上至下第一个像素点值为0的点为broadAbove[1]，标记由下至上第一个像素点值为0的点为broadBelow[1]；broadAbove[0]，broadBelow[0]，broadAbove[1]，broadBelow[1]分别表示车牌左上角，左下角，右上角，右下角的点；

步骤3-2.计算车牌顶部斜率，如图4所示：

其中，broadAbove[0].x、broadAbove[0].y分别表示broadAbove[0]的横纵坐标，broadAbove[1].x、broadAbove[1].y分别表示broadAbove[1]的横纵坐标；

计算车牌底部斜率：

步骤3-3.设定如下筛选条件判断水平透视：

设置如下筛选条件进行筛选水平透视车牌：

步骤4.多类别车牌校正：

步骤4-1.错切变换校正：对于错切变换，采用仿射变换(OpenCV函数warpAffine)对变换车牌进行复原；

如图5所示，利用已知的初始三组像素点坐标集srcTriT[0]＝Point2f(xiff_L，0)、srcTriT[1]＝Point2f(src_wid-1，0)、srcTriT[2]＝Point2f(0，src_height-1)和变换后的三组像素点坐标集dstTriT[0]＝Point2f(xiff_L/2，0)、dstTriT[1]＝Point2f(src_wid-1-xiff_L/2，0)、dstTriT[2]＝Point2f(xiff_L/2，src_height-1)求解仿射变换的变换函数，再将车牌所有的像素点坐标输入至变换函数求得变换后的像素点坐标；其中，point2f为Point_<float>，xiff_L＝src_wid*abs(slopeLeft)，abs为求绝对值；车牌仿射变换前后的示意图如图6所示；

步骤4-2.透视变换校正：对于水平透视和竖直透视车牌，采用透视变换(OpenCV函数warpPerspective)对其进行复原校正；

如图7所示，利用已知的初始四组像素点坐标集srcTriF[0]＝Point2f(0，xiff_A)、srcTriF[1]＝Point2f(src_wid-1，0)、srcTriF[2]＝Point2f(0，src_height-1-xiff_B)、srcTriF[3]＝Point2f(src_wid-1，src_height-1)和变换后的四组像素点坐标集dstTriF[0]＝Point2f(0，0)、dstTriF[1]＝Point2f(src_wid-1，0)、dstTriF[2]＝Point2f(0，src_height-1)、dstTriF[3]＝Point2f(src_wid-1，src_height-1)求解透视变换的变换函数，再将车牌所有的像素点坐标输入至变换函数求得变换后的像素点坐标；其中xiff_A＝src_height*abs(K_above)，xiff_B＝src_height*abs(K_below)；车牌透视变换前后的示意图如图8所示；

步骤4-3.高亮变换校正：对于高亮变换车牌，通过OpenCV的equalizeHist函数对其做直方图均衡，车牌变换前后的示意图如图9所示。

Claims

1.一种基于偏斜评价的多类别变换车牌校正算法，其特征在于，包括以下步骤：

步骤1.图像预处理：

步骤2.错切、竖直透视类型判断：

步骤2-1.寻找斜边三角形底边：

步骤2-2.计算左右边斜率：

Slope＝-a/b

步骤2-3.设定如下筛选条件判断错切及竖直透视：

设置如下筛选条件进行筛选错切及竖直透视车牌：

步骤3.其他类型判断：

步骤3-2.计算车牌顶部斜率：

计算车牌底部斜率：

步骤3-3.设定如下筛选条件判断水平透视：

设置如下筛选条件进行筛选水平透视车牌：

步骤4.多类别车牌校正：

2.根据权利要求1所述的基于偏斜评价的多类别变换车牌校正算法，其特征在于，步骤1的具体过程为：

f(rows，cols)＝0.3R(rows，cols)+0.59G(rows，cols)+0.11B(rows，cols)

其中，f(rows，cols)表示变换后图像(rows，cols)处的像素点值，R、G、B分别表示图像(rows，cols)处的R分量、G分量和B分量；

步骤1-2.二值化：

采用OTSU算法，即选取类间方差最大的灰度值为最佳分割阈值，对图像进行二值化得到图像；

步骤1-3.寻找外轮廓：

对二值化后的车牌连通域寻找外轮廓，对外轮廓求取最小外接矩形；

步骤1-4.根据最小外接矩形的倾角对车牌进行旋转校正。

3.根据权利要求1所述的基于偏斜评价的多类别变换车牌校正算法，其特征在于，步骤4的具体过程为：

步骤4-1.错切变换校正：对于错切变换，采用仿射变换对变换车牌进行复原；

利用已知的初始三组像素点坐标集srcTriT[0]＝Point2f(xiff_L，0)、srcTriT[1]＝Point2f(src_wid-1，0)、srcTriT[2]＝Point2f(0，src_height-1)和变换后的三组像素点坐标集dstTriT[0]＝Point2f(xiff_L/2，0)、dstTriT[1]＝Point2f(src_wid-1-xiff_L/2，0)、dstTriT[2]＝Point2f(xiff_L/2，src_height-1)求解仿射变换的变换函数，再将车牌所有的像素点坐标输入至变换函数求得变换后的像素点坐标；其中，point2f为Point_＜float＞，xiff_L＝src_wid*abs(slopeLeft)，abs为求绝对值；

步骤4-2.透视变换校正：对于水平透视和竖直透视车牌，采用透视变换对其进行复原校正；

利用已知的初始四组像素点坐标集srcTriF[0]＝Point2f(0，xiff_A)、srcTriF[1]＝Point2f(src_wid-1，0)、srcTriF[2]＝Point2f(0，src_height-1-xiff_B)、srcTriF[3]＝Point2f(src_wid-1，src_height-1)和变换后的四组像素点坐标集dstTriF[0]＝Point2f(0，0)、dstTriF[1]＝Point2f(src_wid-1，0)、dstTriF[2]＝Point2f(0，src_height-1)、dstTriF[3]＝Point2f(src_wid-1，src_height-1)求解透视变换的变换函数，再将车牌所有的像素点坐标输入至变换函数求得变换后的像素点坐标；其中xiff_A＝src_height*abs(K_above)，xiff_B＝src_height*abs(K_below)；

步骤4-3.高亮变换校正：对于高亮变换车牌，对其做直方图均衡。