CN114463731A - 一种车牌定位与识别方法及装置 - Google Patents

Abstract

本发明公开了一种车牌定位与识别方法及装置，该方法包括：步骤S1，对含有车牌的图像进行RGB到YCbCr的色域转换；步骤S2，根据YCbCr颜色分布确定背景、车牌、车牌内字符的色彩阈值，从图中提取每个车牌的连通域，并二值化；步骤S3，根据相机的内外参数将每个车牌重投影到世界坐标平面；步骤S4，根据标准车牌的长宽比例和图像中车牌的尺寸截去图像中每个车牌的定位孔；步骤S5，统计车牌每行每列像素的个数，根据统计曲线的梯度定位每个字符的边界；步骤S6，根据像素分布，计算字符的特征，并将计算的字符特征和标准的字符特征进行匹配，根据相似度识别正确的字符。

Description

一种车牌定位与识别方法及装置

技术领域

本发明涉及智能交通领域，特别是涉及一种车牌定位与识别方法及装置。

背景技术

随着经济和社会的发展，日益增多的车辆和日益复杂的道路对交通系统的要求越来越高。在现代化交通发展中，车牌识别系统作为智能交通系统一个重要组成部分，是实现检测报警、违章处罚、出入管理等自动管理交通的基础，是制约交通系统智能化、现代化的重要因素。

目前车牌识别技术的难点有：汽车牌照组成比较复杂，汉字+字母+数据混合，识别难度比较大；车牌的格式繁多，颜色种类很多；强光，反射或阴影造成的光照和对比度较差等。

目前将车牌识别算法分为基于深度学习方法和基于传统方法两种。基于深度学习方法构建端到端的车牌识别模型，在进行充分的训练后可以精准的定位与识别车牌，但模型的计算量和参数庞大，难以在嵌入式平台上实时的实现车牌识别。基于传统方法的车牌识别利用颜色、数学形态等特征实现车牌的定位，用模板匹配、特征统计等方法对字符进行分割和识别。可以快速、精准地识别静止、无遮挡的车辆。但由于环境的复杂性，如光照、车牌倾斜度、雾天等因素影响，会给车牌识别增加难度。

发明内容

为克服上述现有技术存在的不足，本发明提出一种车牌定位与识别方法及装置，包括如下步骤：

步骤S1，对含有车牌的图像进行RGB到YCbCr的色域转换；

步骤S2，根据YCbCr颜色分布确定背景、车牌、车牌内字符的色彩阈值，从图中提取每个车牌的连通域位置，并二值化；

步骤S3，根据相机的内外参数将每个车牌重投影到世界坐标平面；

步骤S4，根据标准车牌的长宽比例和图像中车牌的尺寸截去图像中每个车牌的定位孔；

步骤S5，统计车牌每行每列像素的个数，根据像素统计直方图定位每个字符的边界；

步骤S6，根据像素分布，计算每个字符的特征，并将计算的字符特征和标准的字符特征进行匹配，根据相似度识别正确的字符。

优选地，于步骤S1中，RGB到YCbCr的色域转换计算公式如下：

其中

为色域转换后的颜色分量，R,G,B为色域转换前的颜色分量，

为当前色域转换的像素位置。

优选地，步骤S2进一步包括：

步骤S201，根据我国各种车牌的颜色分布确定阈值，从图中提取出所有属于车牌的像素和属于背景的像素。构建前景蒙版，对两种像素赋予不同的灰度颜色；

步骤S202，根据像素在前景蒙版中的分布，确定每个车牌边界位置；

步骤S203，对于每一个车牌，根据颜色分布确定阈值，从图中提取出属于车牌背景和属于车牌字符的像素，分别赋予黑色和白色，得到车牌的二值化图像。

优选地，步骤S3进一步包括：

步骤S301，通过标定板标定获取相机的内外参数；

步骤S302，根据内外参数，对车牌的像素点重投影，得到每个像素的世界坐标；

步骤S303，对世界坐标图像的车牌进行二线性插值，补全空缺的投影点。

优选地，于步骤S302中，对车牌的像素点重投影的计算公式如下：

其中

为世界坐标位置，

为像素坐标位置，

为旋转平移矩阵，K内参矩阵。

优选地，步骤S5进一步包括：

步骤S501，在二值化的世界坐标平面图像中，对于每个车牌，沿着水平方向和垂直方向，分别扫描车牌。每条扫描线对扫描到白色像素个数进行计数，得到车牌在水平方向和垂直方向的字符像素分布直方图；

步骤S502，计算两幅直方图的一阶导数，设置导数阈值，获取每个字符的边界。

优选地，步骤S6进一步包括：

步骤S601，用二线性插值将每个字符图像的尺寸与标准字符尺寸一致；

步骤S602，将字符分割成若干特征块，每个特征块为长宽均为3的像素块；

步骤S603，用7位2进制表达每个特征块中像素不同的分布形态，构建字符的特征图；

步骤S604，将求解的特征图与标准字符的特征图求解相似度，并设定阈值，从而实现字符的匹配。

优选地，于步骤S604中，求解相似度的计算公式如下：

其中S为相似度，W,H为图像长宽，

为求解的特征，

为标准字符的特征，&为按位与计算符号，N为特征块的像素个数。

为达到上述目的，本发明还提供一种车牌定位与识别装置，包括：

车牌定位单元，用于对含有车牌的图像进行RGB到YCbCr的色域转换，根据YCbCr颜色分布确定背景、车牌、车牌内字符的色彩阈值，从图中提取每个车牌的连通域位置，并二值化；

车牌倾斜校正单元，用于根据相机的内外参数将每个车牌重投影到世界坐标平面，并根据标准车牌的长宽比例和图像中车牌的尺寸截去图像中每个车牌的定位孔；

车牌字符分割单元，用于统计车牌每行每列像素的个数，根据像素统计直方图定位每个字符的边界；

车牌字符识别单元，用于根据像素分布，计算每个字符的特征，并将计算的字符特征和标准的字符特征进行匹配，根据相似度识别正确的字符。

与现有技术相比，本发明具有如下有益效果：

1、本发明将RGB色域转换到YCbCr色域，避免了光照对车牌识别带来的影响；

2、本发明采用归一化尺寸、求解相似度的方式识别字符，可以实现对有污损、车牌变形等非理想情况下的车牌识别；

3、本发明充分考虑了不同型号车牌的纹理、颜色特征，算法的适应性更高。

附图说明

图1为本发明一种车牌定位与识别方法的步骤流程图。

图2为本发明一种车牌定位与识别装置的系统结构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种车牌定位与识别方法的步骤流程图。如图1所示，本发明一种车牌定位与识别方法及装置，包括如下步骤：

步骤S1，对含有车牌的图像进行RGB到YCbCr的色域转换；

步骤S2，根据YCbCr颜色分布确定背景、车牌、车牌内字符的色彩阈值，从图中提取每个车牌的连通域位置，并二值化；

步骤S3，根据相机的内外参数将每个车牌重投影到世界坐标平面；

步骤S4，根据标准车牌的长宽比例和图像中车牌的尺寸截去图像中每个车牌的定位孔；

步骤S5，统计车牌每行每列像素的个数，根据像素统计直方图定位每个字符的边界；

步骤S6，根据像素分布，计算每个字符的特征，并将计算的字符特征和标准的字符特征进行匹配，根据相似度识别正确的字符。

具体的，于步骤S1中，RGB到YCbCr的色域转换计算公式如下：

其中

为色域转换后的颜色分量，

为色域转换前的颜色分量，

为当前色域转换的像素位置。

具体的，步骤S2进一步包括：

步骤S201，根据我国各种车牌的颜色分布确定阈值，从图中提取出所有属于车牌的像素和属于背景的像素。构建前景蒙版，对两种像素赋予不同的灰度颜色；

步骤S202，根据像素在前景蒙版中的分布，确定每个车牌边界位置；

步骤S203，对于每一个车牌，根据颜色分布确定阈值，从图中提取出属于车牌背景和属于车牌字符的像素，分别赋予黑色和白色，得到车牌的二值化图像。

具体的，步骤S3进一步包括：

步骤S301，通过标定板标定获取相机的内外参数；

步骤S302，根据内外参数，对车牌的像素点重投影，得到每个像素的世界坐标；

步骤S303，对世界坐标图像的车牌进行二线性插值，补全空缺的投影点。

具体的，于步骤S302中，对车牌的像素点重投影的计算公式如下：

其中

为世界坐标位置，

为像素坐标位置，

为旋转平移矩阵，K内参矩阵。

具体的，步骤S5进一步包括：

步骤S501，在二值化的世界坐标平面图像中，对于每个车牌，沿着水平方向和垂直方向，分别扫描车牌。每条扫描线对扫描到白色像素个数进行计数，得到车牌在水平方向和垂直方向的字符像素分布直方图。

步骤S502，计算两幅直方图的一阶导数，设置导数阈值，获取每个字符的边界。

具体的，步骤S6进一步包括：

步骤S601，用二线性插值将每个字符图像的尺寸与标准字符尺寸一致；

步骤S602，将字符分割成若干特征块，每个特征块为长宽均为3的像素块；

步骤S603，用7位2进制表达每个特征块中像素不同的分布形态，构建字符的特征图；

步骤S604，将求解的特征图与标准字符的特征图求解相似度，并设定阈值，从而实现字符的匹配。

具体的，于步骤S604中，求解相似度的计算公式如下：

其中S为相似度，W,H为图像长宽，

为求解的特征，

为标准字符的特征，&为按位与计算符号，N为特征块的像素个数。

图2为本发明一种车牌定位与识别装置的系统结构图。如图2所示，本发明一种车牌定位与识别装置，包括：

车牌定位单元201，用于对含有车牌的图像进行RGB到YCbCr的色域转换，根据YCbCr颜色分布确定背景、车牌、车牌内字符的色彩阈值，从图中提取每个车牌的连通域位置，并二值化。

在车牌定位单元201中，RGB到YCbCr的色域转换计算公式如下：

其中

为色域转换后的颜色分量，

为色域转换前的颜色分量，

为当前色域转换的像素位置。

具体的，车牌定位单元201进一步包括：

前景蒙版构建模块，根据我国各种车牌的颜色分布确定阈值，从图中提取出所有属于车牌的像素和属于背景的像素。构建前景蒙版，对两种像素赋予不同的灰度颜色；

车牌边界确定模块，根据像素在前景蒙版中的分布，确定每个车牌边界位置；

车牌二值化模块，对于每一个车牌，根据颜色分布确定阈值，从图中提取出属于车牌背景和属于车牌字符的像素，分别赋予黑色和白色，得到车牌的二值化图像；

车牌倾斜校正单元202，用于根据相机的内外参数将每个车牌重投影到世界坐标平面，并根据标准车牌的长宽比例和图像中车牌的尺寸截去图像中每个车牌的定位孔。

具体的，车牌倾斜校正单元202进一步包括：

相机标定模块，通过标定板标定获取相机的内外参数；

重投影模块，根据内外参数，对车牌的像素点重投影，得到每个像素的世界坐标。

具体的，对车牌的像素点重投影的计算公式如下：

其中

为世界坐标位置，

为像素坐标位置，

为旋转平移矩阵，K内参矩阵。

投影后处理模块，对世界坐标图像的车牌进行二线性插值，补全空缺的投影点。

车牌字符分割单元203，用于统计车牌每行每列像素的个数，根据像素统计直方图定位每个字符的边界。

具体的，车牌字符分割单元203进一步包括：

像素分布统计模块，在二值化的世界坐标平面图像中，对于每个车牌，沿着水平方向和垂直方向，分别扫描车牌。每条扫描线对扫描到白色像素个数进行计数，得到车牌在水平方向和垂直方向的字符像素分布直方图。

字符边界提取模块，计算两幅直方图的一阶导数，设置导数阈值，获取每个字符的边界。

车牌字符识别单元204，用于根据像素分布，计算每个字符的特征，并将计算的字符特征和标准的字符特征进行匹配，根据相似度识别正确的字符。

具体的，车牌字符识别单元204进一步包括：

字符尺寸归一化模块，用二线性插值将每个字符图像的尺寸与标准字符尺寸一致；

特征构建模块，将字符分割成若干特征块，每个特征块为长宽均为3的像素块；

特征提取模块，用7位2进制表达每个特征块中像素不同的分布形态，构建字符的特征图；

字符匹配模块，将求解的特征图与标准字符的特征图求解相似度，并设定阈值，从而实现字符的匹配。

求解相似度的计算公式如下：

其中S为相似度，W,H为图像长宽，

为求解的特征，

为标准字符的特征，&为按位与计算符号，N为特征块的像素个数。

实施例

在本实施例中，一种车牌定位与识别方法，步骤如下：

步骤1，从互联网中下载若干真实场景中含有车牌的图片，设定电脑将数据集图片轮播到显示器上；

步骤2，将相机固定在光心距离显示器200cm的位置，相机在保证能拍摄到完整车牌画面的前提下，允许与显示器存在一定倾角。本实施例中，图像大小为640*480像素，焦距为300mm。

步骤3，将采集到的图片从RGB色域转为YCbCr色域。根据YCbCr颜色分布确定背景、车牌、车牌内字符的色彩阈值，从图中提取每个车牌的连通域位置，并二值化。

步骤4，根据相机的内外参数分别将每个车牌重投影到世界坐标平面。

步骤5，根据标准车牌的长宽比例和图像中车牌的尺寸截去图像中每个车牌的定位孔。

步骤6，统计车牌每行每列像素个数直方图，计算两幅直方图的一阶导数，设置导数阈值为200，当超过此阈值时可认为是字符边界。

步骤7，根据像素分布，计算每个字符的特征，并将计算的字符特征和标准的字符特征进行匹配，设置相似度阈值为0.7，当超过此阈值时可认为匹配到正确的字符。

在本实施例中，实施一种车牌定位与识别方法及装置平台为NEXYS 4型号的FPGA，相机传感器采用OV5640型号传感器。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (9)

1.一种车牌定位与识别方法，包括如下步骤：

步骤S1，对含有车牌的图像进行RGB到YCbCr的色域转换；

步骤S2，根据YCbCr颜色分布确定背景、车牌、车牌内字符的色彩阈值，从图中提取每个车牌的连通域位置，并二值化；

步骤S3，根据相机的内外参数将每个车牌重投影到世界坐标平面；

步骤S4，根据标准车牌的长宽比例和图像中车牌的尺寸截去图像中每个车牌的定位孔；

步骤S5，统计车牌每行每列像素的个数，根据像素统计直方图定位每个字符的边界；

步骤S6，根据像素分布，计算每个字符的特征，并将计算的字符特征和标准的字符特征进行匹配，根据相似度识别正确的字符。

2.如权利要求1所述的一种车牌定位与识别方法，其特征在于，于步骤S1中，RGB到YCbCr的色域转换计算公式如下：

其中

为色域转换后的颜色分量，

为色域转换前的颜色分量，

为当前色域转换的像素位置。

3.如权利要求2所述的一种车牌定位与识别方法，其特征在于，步骤S2进一步包括：

步骤S201，根据我国各种车牌的颜色分布确定阈值，从图中提取出所有属于车牌的像素和属于背景的像素，构建前景蒙版，对两种像素赋予不同的灰度颜色；

步骤S202，根据像素在前景蒙版中的分布，确定每个车牌边界位置；

步骤S203，对于每一个车牌，根据颜色分布确定阈值，从图中提取出属于车牌背景和属于车牌字符的像素，分别赋予黑色和白色，得到车牌的二值化图像。

4.如权利要求3所述的一种车牌定位与识别方法，其特征在于，步骤S3进一步包括：

步骤S301，通过标定板标定获取相机的内外参数；

步骤S302，根据内外参数，对车牌的像素点重投影，得到每个像素的世界坐标；

步骤S303，对世界坐标图像的车牌进行二线性插值，补全空缺的投影点。

5.如权利要求4所述的一种车牌定位与识别方法，其特征在于，于步骤S302中，对车牌的像素点重投影的计算公式如下：

其中

为世界坐标位置，

为像素坐标位置，

为旋转平移矩阵，K内参矩阵。

6.如权利要求5所述的一种车牌定位与识别方法，其特征在于，步骤S5进一步包括：

步骤S501，在二值化的世界坐标平面图像中，对于每个车牌，沿着水平方向和垂直方向，分别扫描车牌，每条扫描线对扫描到白色像素个数进行计数，得到车牌在水平方向和垂直方向的字符像素分布直方图；

步骤S502，计算两幅直方图的一阶导数，设置导数阈值，获取每个字符的边界。

7.如权利要求6所述的一种车牌定位与识别方法，其特征在于，步骤S6进一步包括：

步骤S601，用二线性插值将每个字符图像的尺寸与标准字符尺寸一致；

步骤S602，将字符分割成若干特征块，每个特征块为长宽均为3的像素块；

步骤S603，用7位2进制表达每个特征块中像素不同的分布形态，构建字符的特征图；

步骤S604，将求解的特征图与标准字符的特征图求解相似度，并设定阈值，从而实现字符的匹配。

8.如权利要求7所述的一种车牌定位与识别方法，其特征在于，于步骤S604中，求解相似度的计算公式如下：

其中S为相似度，W,H为图像长宽，

为求解的特征，

为标准字符的特征，&为按位与计算符号，N为特征块的像素个数。

9.一种车牌定位与识别装置，包括：

车牌定位单元，用于对含有车牌的图像进行RGB到YCbCr的色域转换，根据YCbCr颜色分布确定背景、车牌、车牌内字符的色彩阈值，从图中提取每个车牌的连通域位置，并二值化；

车牌倾斜校正单元，用于根据相机的内外参数将每个车牌重投影到世界坐标平面，并根据标准车牌的长宽比例和图像中车牌的尺寸截去图像中每个车牌的定位孔；

车牌字符分割单元，用于统计车牌每行每列像素的个数，根据像素统计直方图定位每个字符的边界；

车牌字符识别单元，用于根据像素分布，计算每个字符的特征，并将计算的字符特征和标准的字符特征进行匹配，根据相似度识别正确的字符。

Images