CN110674812B - 一种面向复杂背景的民用车牌定位与字符分割方法 - Google Patents

Abstract

本发明公布了一种面向复杂背景的民用车牌定位与字符分割方法。首先通过视觉信息将车牌所在区域从复杂背景中分离出来，也就是依次通过颜色分割、形态学处理、小轮廓去除等方法粗定位出车牌区域，然后通过双HSV颜色分割、形态学处理、绘制凸包、亚像素级角点检测等方法精确定位车牌区域，最后通过透视变换对精确定位的车牌进行校正，并通过投影法与比例法分割字符。该方法可以在复杂背景下定位民用车牌并分割字符，有效地针对复杂背景下的民用车牌进行定位，正确率较高，并在一定程度上弥补了阴影以及蓝色车身对车牌定位的干扰。

Description

一种面向复杂背景的民用车牌定位与字符分割方法

技术领域

本发明涉及计算机视觉技术中的车牌定位领域，具体为一种面向复杂背景的民用车牌定位与字符分割方法。

背景技术

随着我国国民经济的高速发展，私家车几乎“车满为患”。为了提高交通管理效率，智能交通系统已经成为国家重要发展方向。车牌识别可以说是智能交通系统中最重要的模块之一，而车牌定位又是车牌识别的重中之重。车牌定位准确度高是车牌识别率的保障，这也会进一步影响交通管理系统的准确性与效率。

在我国车辆统计中，民用车辆占比达到了惊人的90％以上。为了便于民用车辆管理，如今各个小区停车场都配备了车牌识别系统。停车场车牌识别系统具有安全耐用、识别率高、使用方便快捷等优点，但是目前的车牌识别系统并不是十全十美的，它需要近距离识别车牌来保证准确性。我们经常可以看到车辆往往需要停在识别系统前一会儿系统才会显示识别结果并抬杆，如果遇到车辆较多的情况下，这会浪费大量时间，造成交通拥堵现象。

发明内容

针对上述背景技术中提出的问题，为实现复杂背景下的民用车牌定位与字符分割，即实现远距离民用车牌定位与字符分割，达到减少车辆等待时间、提高效率的目的，本发明提出了一种面向复杂背景的民用车牌定位与字符分割方法，包括民用车牌粗定位、民用车牌精确定位、民用车牌校正与字符分割三个部分：

所述民用车牌粗定位，具体步骤如下：

1.1)获取RGB图像并将所述RGB图像的尺寸大小归一化；

1.2)先将获取的RGB图像各通道颜色值归一化为[0,1]区间内，然后通过颜色空间转换得到HSV图像，H通道的灰度图可由公式(1)获取，S通道的灰度图可由公式(2)获取；

式中，G表示RGB图像中G通道归一化后的灰度值，B表示RGB图像中B通道归一化后的灰度值，R表示RGB图像中通道归一化后的灰度值，MAX表示RGB三个分量中最大的一个，MIN表示表示RGB三个分量中最小的一个；

1.3)对所述H通道的灰度图进行伽玛变换，突出车牌区域特征，达到图像增强的目的；

1.4)统计所述S通道的灰度图的直方图并计算所述直方图中灰度级大于n个像素的个数，将所述个数标记为sum，其中0<n<s，s表示通道灰度图宽高乘积；

1.5)对所述HSV图像进行二值化处理，若所述H通道的灰度图中的某点的像素值小于m，且所述S通道的灰度图中的所述点的像素值大于sum，则所述点的像素值标记为255，否则标记为0，0<m<255；

1.6)遍历轮廓，去除掉轮廓尺寸小于轮廓尺寸阈值的轮廓，所述轮廓尺寸阈值大小取决于所述图像尺寸归一化的大小，达到初步去噪目的；

1.7)对所述初步去噪处理后的二值图进行形态学先闭后开操作，根据所述形态学核大小确定距离参数，将所述初步去噪处理后的二值图中各轮廓距离小于所述距离参数的区域连接起来；

1.8)通过水平投影法计算所述去除比车牌区域小的轮廓后剩余轮廓中长度最长的轮廓长度，将所述最长的轮廓长度标记为max；

1.9)通过形态学开操作继续将所述去除比车牌区域小的轮廓后剩余轮廓中的所有小于x倍max的轮廓去除，其中0<x<1；

1.10)计算所述去除小于x倍max的轮廓后剩余轮廓的数量，如果所述数量等于1，则画出轮廓的外接矩形作为粗定位结果，并将所述矩形框及矩形框内区域标记为rect区域，否则粗定位失败，无法对获取的图像继续进行精定位、校正与字符分割处理；

所述民用车牌精定位，具体步骤如下：

2.1)将获取的RGB图像的各通道颜色值归一化为[0,1]区间内，通过颜色空间转换为HSV图像并对HSV图像进行均衡化处理；

2.2)将均衡化后的HSV图像按照蓝色范围内颜色阈值进行图像二值化处理，得到HSV均衡化的二值图，将未均衡化的HSV图像按照蓝色范围内颜色阈值进行图像二值化处理，得到HSV未均衡化的二值图；

2.3)根据粗定位中获取的所述rect区域，将所述HSV均衡化的二值图和HSV未均衡化的二值图中的非rect区域均涂黑；

2.4)计算经过步骤2.3)处理之后的HSV均衡化的二值图中的白色像素个数，将所述白色像素的个数标记为num；

2.5)如果num小于预设值，则将所述HSV未均衡化的二值图作为分割结果，如果num大于等于预设值，将所述HSV均衡化的二值图作为分割结果；

2.6)若所述分割结果中的二值图的轮廓数量为1，则寻找所述去除小于x倍max的轮廓后剩余轮廓凸包并绘制出所述凸包，否则精确定位失败，不再进行步骤2.7)操作；

2.7)通过亚像素级角点检测算法获取所述凸包的顶点，若所述顶点的个数为四个，则用直线连接所述四个顶点中两两相邻的顶点，得到车牌精定位区域，若所述顶点的个数不等于四个，则表示精确定位失败；

所述车牌校正与字符分割，具体步骤如下：

3.1)将所述车牌精定位区域进行透视变换处理，得到校正后的车牌精定位区域，然后提取车号图片；

3.2)将所述车号图片进行二值化并去噪；

3.3)将所述去噪处理后的车号图片先通过投影算法分割字符，然后采用比例法校正过分割的问题，如果分割出来的字符的宽度小于车牌长度的七分之一，则为过分割，那么判断过分割的字符的左边或右边字符的宽度，若也小于车牌长度的七分之一，则将过分割的字符合并，直到校正完所有字符为止。

所述获取RGB图像，在拍摄时的拍摄角度不能设置过于左右倾斜，避免出现透视变换后字符黏连无法分割的弊端，上下倾斜影响不大。

本发明的有益效果是：

本发明提出的面向复杂背景的民用车牌定位与字符分割方法，有效地针对复杂背景下的民用车牌进行定位，正确率较高，并在一定程度上弥补了阴影以及蓝色车身对车牌定位的干扰。

附图说明

图1为本实施例中的面向复杂背景的民用车牌定位与字符分割方法流程图。

图2为本实施例中的复杂背景下的原始图。

图3为本实施例中的复杂背景下的车号粗定位结果图。

图4为本实施例中的复杂背景下的车号精确定位结果图。

图5为本实施例中的复杂背景下的车号校正结果图。

图6为本实施例中的复杂背景下的车号分割结果。

图7为本实施例中的复杂背景下且存在蓝色车身干扰的原始图。

图8为本实施例中的复杂背景下且存在蓝色车身干扰的车号粗定位结果图。

图9为本实施例中的复杂背景下且存在蓝色车身干扰的车号精确定位结果图。

图10为本实施例中的复杂背景下且存在蓝色车身干扰的车号校正结果图。

图11为本实施例中的复杂背景下且存在蓝色车身干扰的车号分割结果。

图12为本实施例中的复杂背景下且阴影干扰的原始图。

图13为本实施例中的复杂背景下且存在阴影干扰的车号粗定位结果图。

图14为本实施例中的复杂背景下且存在阴影干扰的车号精确定位结果图。

图15为本实施例中的复杂背景下且存在阴影干扰的车号校正结果图。

图16为本实施例中的复杂背景下且存在阴影干扰的车号分割结果。

具体实施方式

下面是结合附图对本发明的技术方案进行详细说明。

实施例1：

如图1本实施例中的面向复杂背景的民用车牌定位与字符分割方法流程图所示，一种面向复杂背景的民用车牌定位与字符分割方法包括民用车牌粗定位、民用车牌精确定位、民用车牌校正与字符分割三个部分，具体步骤如下：

步骤一：民用车牌粗定位，具体步骤如下：

1.1)获取如图2所示的复杂背景下的原始图并将图像尺寸大小归一化为240*320，拍摄原始图片时，拍摄角度不能设置过于左右倾斜，避免出现透视变换后字符黏连无法分割的弊端，上下倾斜影响不大；

1.2)先将获取的原始图(即RGB图像)各通道颜色值归一化为[0,1]区间内，然后通过颜色空间转换得到HSV图像，H通道的灰度图可由公式(1)获取，S通道的灰度图可由公式(2)获取；

式中，G表示RGB图像中G通道归一化后的灰度值，B表示RGB图像中B通道归一化后的灰度值，R表示RGB图像中通道归一化后的灰度值，MAX表示RGB三个分量中最大的一个，MIN表示表示RGB三个分量中最小的一个；

1.3)对所述H通道的灰度图进行伽玛变换，伽玛参数为5，突出车牌区域特征，达到图像增强的目的；

1.4)统计所述S通道的灰度图的直方图并计算所述直方图中灰度级大于50个像素的个数sum；

1.5)对所述HSV图像进行二值化处理，若所述H通道的灰度图中的某点的像素值小于25，且所述S通道的灰度图中的所述点的像素值大于sum，则所述点的像素值标记为255，否则标记为0；

1.6)遍历轮廓，去除掉轮廓尺寸小于轮廓尺寸阈值的轮廓，所述轮廓尺寸阈值大小取决于所述图像尺寸归一化的大小，达到初步去噪目的；

1.7)对所述去噪处理后的二值图进行形态学先闭后开操作，根据所述形态学核大小确定距离参数为21，将所述去噪处理后的二值图中各轮廓距离小于所述距离参数的区域连接起来；

1.8)通过水平投影法计算所述去除比车牌区域小的轮廓后剩余轮廓中长度最长的轮廓长度，将所述最长的轮廓长度标记为max；

1.9)通过形态学开操作继续将所述去除比车牌区域小的轮廓后剩余轮廓中的所有小于0.65倍max的轮廓去除；

1.10)计算去除小于0.65倍max的轮廓后剩余轮廓的数量，如果所述数量等于1，则画出轮廓的外接矩形作为粗定位结果，并将所述矩形框及矩形框内区域标记为rect区域，否则粗定位失败，无法对获取的图像继续进行精定位、校正与字符分割处理，本实施例中得到的复杂背景下的车号粗定位结果图如图4所示；

步骤二：民用车牌精定位，具体步骤如下：

2.1)将获取的RGB图像的各通道颜色值归一化为[0,1]区间内，通过颜色空间转换为HSV图像并对HSV图像进行均衡化处理；

2.2)将均衡化后的HSV图像按照蓝色范围内颜色阈值进行图像二值化处理，得到HSV均衡化的二值图，将未均衡化的HSV图像按照蓝色范围内颜色阈值进行图像二值化处理，得到HSV未均衡化的二值图；

2.3)根据粗定位中获取的所述rect区域，将所述HSV均衡化的二值图和HSV未均衡化的二值图中的非rect区域均涂黑；

2.4)计算经过步骤2.3)处理之后的HSV均衡化的二值图中的白色像素个数，将所述白色像素的个数标记为num；

2.5)如果num小于300，则将所述HSV未均衡化的二值图作为分割结果，如果num大于等于300，将所述HSV均衡化的二值图作为分割结果，以此达到减小阴影的干扰的目的；

2.6)若所述分割结果中的二值图的轮廓数量为1，则寻找所述去除小于0.65倍max的轮廓后剩余轮廓凸包并绘制出所述凸包，否则精确定位失败，不再进行步骤2.7)操作；

2.7)通过亚像素级角点检测算法获取所述凸包的顶点，若所述顶点的个数为四个，则用直线连接所述四个顶点中两两相邻的顶点，得到车牌精定位区域，若所述顶点的个数不等于四个，则表示精确定位失败，本实施例中对得到的如图3所示的复杂背景下的车号粗定位结果图进一步处理得到如图4所示的复杂背景下的车号精确定位结果图；

步骤三：车牌校正与字符分割，具体步骤如下：

3.1)将所述车牌精定位区域进行透视变换处理，得到校正后的如图5所述的车牌精定位区域，然后提取车号图片；

3.2)将所述车号图片进行二值化并去噪；

3.3)将所述去噪处理后的车号图片先通过投影算法分割字符，然后采用比例法校正过分割的问题，如果分割出来的字符的宽度小于车牌长度的七分之一，则为过分割，那么判断过分割的字符的左边或右边字符的宽度，若也小于车牌长度的七分之一，则将过分割的字符合并，直到校正完所有字符为止，得到的车牌号的分割结果如图6所示。

实施例2：

具体实施过程同实施例1，区别在于步骤一民用车牌粗定位时，步骤1.1)获取如图7所示的复杂背景下且存在蓝色车身干扰的原始图并将图像尺寸大小归一化为240*320，经过步骤1.2)～步骤1.10)处理得到如图8所示的复杂背景下且存在蓝色车身干扰的车号粗定位结果图，然后经过步骤2.1)～步骤2.7)的精定位处理，得到如图9所示的复杂背景下且存在蓝色车身干扰的车号精确定位结果图，其次经过步骤3.1的车牌校正处理，得到如图10所示的复杂背景下且存在蓝色车身干扰的车号校正结果图，再经过步骤3.2)的二值化和去噪处理，以及步骤3.3)的字符分割处理，最终得到如图11所示的复杂背景下且存在蓝色车身干扰的车号分割结果。

实施例3：

具体实施过程同实施例1，区别在于步骤一民用车牌粗定位时，步骤1.1)获取如图12所示的复杂背景下且阴影干扰的原始图并将图像尺寸大小归一化为240*320，经过步骤1.2)～步骤1.10)处理得到如图13所示的复杂背景下且存在阴影干扰的车号粗定位结果图，然后经过步骤2.1)～步骤2.7)的精定位处理，得到如图14所示的复杂背景下且存在阴影干扰的车号精确定位结果图，其次经过步骤3.1的车牌校正处理，得到如图15所示的复杂背景下且存在阴影干扰的车号校正结果图，再经过步骤3.2)的二值化和去噪处理，以及步骤3.3)的字符分割处理，最终得到如图16所示的复杂背景下且存在阴影干扰的车号分割结果。

本发明中，图片归一化大小以及一些给定的数值并不是固定不变的，可根据实际情况进行调整。

Claims (2)

1.一种面向复杂背景的民用车牌定位与字符分割方法，其特征在于，包括民用车牌粗定位、民用车牌精确定位、民用车牌校正与字符分割三个部分：

所述民用车牌粗定位，具体步骤如下：

1.1)获取RGB图像并将所述RGB图像的尺寸大小归一化；

1.2)先将获取的RGB图像各通道颜色值归一化为[0,1]区间内，然后通过颜色空间转换得到HSV图像，H通道的灰度图可由公式(1)获取，S通道的灰度图可由公式(2)获取；

式中，G表示RGB图像中G通道归一化后的灰度值，B表示RGB图像中B通道归一化后的灰度值，R表示RGB图像中通道归一化后的灰度值，MAX表示RGB三个分量中最大的一个，MIN表示RGB三个分量中最小的一个；

1.3)对所述H通道的灰度图进行伽玛变换，突出车牌区域特征，达到图像增强的目的；

1.4)统计所述S通道的灰度图的直方图并计算所述直方图中灰度级大于n个像素的个数，将所述个数标记为sum，其中0<n<255；

1.5)对所述HSV图像进行二值化处理，若所述H通道的灰度图中的某点的像素值小于m，且所述S通道的灰度图中的所述点的像素值大于sum，则所述点的像素值标记为255，否则标记为0；

1.6)遍历轮廓，去除掉轮廓尺寸小于轮廓尺寸阈值的轮廓，所述轮廓尺寸阈值大小取决于所述图像尺寸归一化的大小，达到初步去噪目的；

1.7)对所述初步去噪处理后的二值图进行形态学先闭后开操作，根据所述形态学核大小确定距离参数，将所述初步去噪处理后的二值图中各轮廓距离小于所述距离参数的区域连接起来；

1.8)通过水平投影法计算所述去除比车牌区域小的轮廓后剩余轮廓中长度最长的轮廓长度，将所述最长的轮廓长度标记为max；

1.9)通过形态学开操作继续将所述去除比车牌区域小的轮廓后剩余轮廓中的所有小于x倍max的轮廓去除，其中0<x<1；

1.10)计算所述去除小于x倍max的轮廓后剩余轮廓的数量，如果所述数量等于1，则画出轮廓的外接矩形作为粗定位结果，并将所述矩形框及矩形框内区域标记为rect区域，否则表示粗定位失败，无法对获取的图像继续进行精定位、校正与字符分割处理；

所述民用车牌精定位，具体步骤如下：

2.1)将获取的RGB图像的各通道颜色值归一化为[0,1]区间内，通过颜色空间转换为HSV图像并对HSV图像进行均衡化处理；

2.2)将均衡化后的HSV图像按照蓝色范围内颜色阈值进行图像二值化处理，得到HSV均衡化的二值图，将未均衡化的HSV图像按照蓝色范围内颜色阈值进行图像二值化处理，得到HSV未均衡化的二值图；

2.3)根据粗定位中获取的所述rect区域，将所述HSV均衡化的二值图和HSV未均衡化的二值图中的非rect区域均涂黑；

2.4)计算经过步骤2.3)处理之后的HSV均衡化的二值图中的白色像素个数，将所述白色像素的个数标记为num；

2.5)如果num小于预设值，则将所述HSV未均衡化的二值图作为分割结果，如果num大于等于预设值，将所述HSV均衡化的二值图作为分割结果；

2.6)若所述分割结果中的二值图的轮廓数量为1，则寻找所述去除小于x倍max的轮廓后剩余轮廓的凸包并绘制出所述凸包，否则表示精确定位失败，不再进行步骤2.7)操作；

2.7)通过亚像素级角点检测算法获取所述凸包的顶点，若所述顶点的个数为四个，则用直线连接所述四个顶点中两两相邻的顶点，得到车牌精定位区域，若所述顶点的个数不等于四个，则表示精确定位失败；

所述车牌校正与字符分割，具体步骤如下：

3.1)将所述车牌精定位区域进行透视变换处理，得到校正后的车牌精定位区域，然后提取车号图片；

3.2)将所述车号图片进行二值化并去噪；

3.3)将所述去噪处理后的车号图片先通过投影算法分割字符，然后采用比例法校正过分割的问题。

2.根据权利要求1所述的一种面向复杂背景的民用车牌定位与字符分割方法，其特征在于获取RGB图像时的拍摄角度不能设置过于左右倾斜，避免出现透视变换后字符黏连无法分割的弊端，上下倾斜影响不大。

Images