CN111985482A - 一种基于深度学习的多模式多场景的自动车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多模式多场景的自动车牌识别方法，搭建基于Lasso回归的卷积神经网络，分别用车牌汉字标识和字母数字标识作为样本数据训练模型，并对模型进行固化；使用多种模式分别在图像中识别车牌区域，并将车牌图像进行适当旋转，判定车牌颜色，并根据单双行特点分割获取各字符图像；当字符图像数量与标准字符数量不相符时，对车牌图像进行算法字符分割修订，使用固化的模型对字符图像进行预测。与现有的车牌识别算法相比，本发明在保证识别准确性的前提下，尤其增强对于图像质量不高场景下的识别效果，并且，本发明可以应用在嵌入式设备以及智能手机等移动终端上，扩展了应用领域。

Description

一种基于深度学习的多模式多场景的自动车牌识别方法

技术领域

本发明属于图像识别技术领域，尤其涉及一种多模式多场景下使用深度学习技术实现的自动车牌识别的方法。

背景技术

随着计算机技术的发展，交通运输领域的智能化过程不断推进，各项自动化技术逐渐投入到日常交通管理工作中。自动车牌识别技术在交通监管领域有广泛的应用前景，在目前应用较为成熟的无人值守停车场的进出控制中，通过系统性的布置传感器、通道档杆、补光灯等措施对图像识别场景进行标准化。从自动车牌识别算法的角度，仍有提升的空间。

传统的车牌识别方法在对图像进行边缘提取，形态学变换等操作基础上，与既有字符模板进行特征匹配，匹配结果对图像拍摄角度，光线，成像质量的要求太高，很难拓展应用范围。随着人工智能的发展，基于机器学习的解决方案在很多领域得到应用，各类卷积神经网络模型在图像识别方面的应用也取得了显著的效果。

基于机器学习的车牌识别效果取决于使用的训练集数量和质量，在训练集一定的条件下，结合图像处理算法，增强对车牌图像质量不高情况下的识别效果，仍有很大的研究空间。

发明内容

发明目的：为扩展车牌识别算法的应用领域，增强对车牌图像质量不高，如图像模糊，车牌倾斜、扭曲，或者光线不均匀造成阴影等情况的适应性，本发明提出了一种基于深度学习的多模式多场景的自动车牌识别方法。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于深度学习的多模式多场景的自动车牌识别方法，包括以下步骤：

步骤1：搭建基于Lasso回归的卷积神经网络模型M1和M2，用车牌汉字标识作为样本数据训练模型M1，输出汉字的预测结果；用车牌字母和数字标识作为样本数据训练模型M2，输出字母和数字的预测结果；

步骤2：使用Otsu算法、高亮度阈值、低亮度阈值三种模式分别在带有车牌的图像中识别车牌区域，并将车牌图像旋转至车牌字符正向竖直，判断车牌颜色和单双行类型；

步骤3：若车牌为单行车牌，则纵向分割获取各字符图像；若车牌为双行车牌，则先进行横向分割，再依次纵向分割获取各字符图像；

步骤4：若字符图像数量与标准字符数量不相符，对车牌图像进行字符分割修订，包括自适应标准分组修订、缺失字符补充、比例字符分割；反之，直接进入步骤5；

步骤5：使用模型M1对步骤4获得的车牌左端第一个字符图像进行预测，使用模型M2对其余字符图像进行预测，记录步骤2所述的三种模式下所有预测精度的均值；

步骤6：若步骤5得到的均值满足阈值要求，输出预测结果；否则，选择步骤2所述的三种模式中预测精度高者作为结果输出。

进一步的，所述步骤2具体包括以下步骤：

步骤21：在使用Otsu算法、高亮度阈值、低亮度阈值三种模式情况下分别对整个图像进行处理，每种模式的图像处理都包括高斯平滑，灰度化，Sobel边缘增强，提取三种模式下图像所有的封闭轮廓图形；

步骤22：在每种模式下，对步骤21得到的每一个封闭图形的最小外接矩形，计算其长宽比，定义可接受的范围[i₁,i₂]，i₁,i₂分别为最小、最大长宽比，保留满足条件的图形，并调整图形至车牌字符正向竖直的方向；

步骤23：在每种模式下，将步骤22得到的图形转换到HSV空间，计算图形的主体颜色，提取蓝色，黄色以及绿色的图形，当主体颜色为黄色且长宽比小于阈值a时，记为双行车牌，否则记为单行车牌。

进一步的，所述步骤3具体包括以下步骤：

步骤31：对图像进行二值化；单行车牌时，进入步骤33；双行车牌时，进入步骤32；

步骤32：以横向像素和为基础，找到波峰位置将图像横向分割为两行，进入步骤33；

步骤33：以纵向像素和为基础，依次提取波峰部分，作为提取的字符图像。

进一步的，所述步骤4具体包括以下步骤：

步骤41：若提取的字符图像数量满足车牌标准，即绿色车牌8个字符，蓝色黄色车牌7个字符，进入步骤5，否则进行字符分割修订；

步骤42：字符图像数量大于车牌标准时，采用自适应标准分组修订算法，即首先，按照图像宽度对所有字符图像进行分组，组内图像数量大于2时为有效分组，其次，按照图像数量对分组降序排列，最后，选择数量最多且组平均宽度大于车牌宽度的1/k₁的图像组作为标准组，该组内图像作为已提取的字符图像；

步骤43：字符图像数量小于车牌标准时，采用缺失字符补充修订算法，即首先，计算相邻的已提取字符图像之间的距离，即判断该距离与标准组平均距离的关系；若小于标准组平均距离，不做处理；若大于或等于标准组平均距离且小于二倍标准组平均距离，则提取该两字符之间的图像为一个待预测字符对象；若大于或等于二倍标准组平均距离，则按照该倍数值取整为整数值q，切割该两字符之间的图像为q个待预测字符对象；

步骤44：没有取得字符图像有效分组时，采用比例字符分割算法，即根据车牌颜色和标准车牌字符尺寸，依次按位置提取字符图像。

进一步的，所述步骤5具体包括以下步骤：

步骤51：对字符图像进行字符阴影处理，首先对每个字符图像进行二值化，当图像顶部超过1/k₂的像素都为0时，进入步骤52，否则进入步骤53；

步骤52：以图像高度的1/k₃为级差，分别对图像顶部1/k₂的部分进行二值化，覆盖既有二值化字符图像的相应部分；

步骤53：将取得的二值化字符图像缩放为m₁*m₂像素的图像，当该图像为字符竖直正方向左端第一个字符时，使用模型M1进行预测，输出结果为该字符为某个车牌汉字标识的概率；当该图像为其余字符时，使用模型M2进行预测，输出结果为该字符为某个车牌字母或数字标识的概率；

步骤54：根据步骤53得到的概率，计算该车牌所有字符的最大预测概率的均值。

有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：

本发明提出的车牌识别方法，可以增强对于图像质量不高，如图像模糊，车牌倾斜、扭曲，或者光线不均匀造成阴影等情况的识别效果，并且，本发明的车牌识别方法，可以应用在嵌入式设备以及智能手机等移动终端上，扩展了车牌识别算法的应用领域。

附图说明

图1是本发明的车牌识别方法总体流程图；

图2是本发明使用的预测字符的卷积神经网络结构图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

图1是本发明的车牌识别方法总体流程图。车牌识别的流程包括以下步骤：

步骤1：搭建基于Lasso回归的卷积神经网络模型M1和M2，用车牌汉字标识作为样本数据训练模型M1，输出汉字的预测结果；用车牌字母和数字标识作为样本数据训练模型M2，输出字母和数字的预测结果。图2是本发明使用的卷积神经网络结构图，模型M1和M2输出层分别对应31个省份简称和34个数字及大写字母结果；本发明可以将训练好的模型固化为二进制文件供下面步骤快速调用。

步骤2：使用Otsu算法、高亮度阈值、低亮度阈值三种模式分别在带有车牌的图像中识别车牌区域，并将车牌图像旋转至车牌字符正向竖直，判断车牌颜色和单双行类型；

步骤21：在使用Otsu算法、高亮度阈值、低亮度阈值三种模式情况下分别对整个图像进行处理，每种模式的图像处理都包括高斯平滑，灰度化，Sobel边缘增强，提取三种模式下图像所有的封闭轮廓图形；

步骤22：在每种模式下，对步骤21得到的每一个封闭图形的最小外接矩形，计算其长宽比，定义可接受的范围[i₁,i₂]，i₁,i₂分别为最小、最大长宽比，本实施例中i₁,i₂分别取值为1.275,7.225，保留满足条件的图形，并调整图形至车牌字符正向竖直的方向；

步骤23：在每种模式下，将步骤22得到的图形转换到HSV空间，计算图形的主体颜色，提取蓝色，黄色以及绿色的图形，当主体颜色为黄色且长宽比小于阈值a时，记为双行车牌，否则记为单行车牌。本实施例中a取值为2.55。

步骤3：若车牌为单行车牌，则纵向分割获取各字符图像；若车牌为双行车牌，则先进行横向分割，再依次纵向分割获取各字符图像；

步骤31：对图像进行二值化，使底色趋近于0，字符区域趋近于255；单行车牌时，进入步骤33；双行车牌时，进入步骤32；

步骤32：以横向像素和为基础，找到波峰位置将图像横向分割为两行，进入步骤33；

步骤33：以纵向像素和为基础，依次提取波峰部分，作为提取的字符图像。

步骤4：若字符图像数量与标准字符数量不相符，对车牌图像进行字符分割修订，包括自适应标准分组修订、缺失字符补充、比例字符分割；反之，直接进入步骤5；

步骤41：若提取的字符图像数量满足车牌标准，即绿色车牌8个字符，蓝色黄色车牌7个字符，进入步骤5，否则进行字符分割修订；

步骤42：字符图像数量大于车牌标准时，采用自适应标准分组修订算法，即首先，按照图像宽度对所有字符图像进行分组，组内图像数量大于2时为有效分组，其次，按照图像数量对分组降序排列，最后，选择数量最多且组平均宽度大于车牌宽度的1/11的图像组作为标准组，该组内图像作为已提取的字符图像；

步骤43：字符图像数量小于车牌标准时，采用缺失字符补充修订算法，即首先，计算相邻的已提取字符图像之间的距离，即判断该距离与标准组平均距离的关系；若小于标准组平均距离，不做处理；若大于或等于标准组平均距离且小于二倍标准组平均距离，则提取该两字符之间的图像为一个待预测字符对象；若大于或等于二倍标准组平均距离，则按照该倍数值取整为整数值q，切割该两字符之间的图像为q个待预测字符对象；

步骤44：没有取得字符图像有效分组时，采用比例字符分割算法，即根据车牌颜色和标准车牌字符尺寸，依次按位置提取字符图像。

步骤5：使用模型M1对步骤4获得的车牌左端第一个字符图像进行预测，使用模型M2对其余字符图像进行预测，记录步骤2所述的三种模式下所有预测精度的均值；

步骤51：由于车型和拍照角度会使车牌顶部产生阴影，因此，需要对字符图像进行字符阴影处理，首先对每个字符图像进行二值化，当图像顶部超过1/8的像素都为0时，进入步骤52，否则进入步骤53；

步骤52：以图像高度的1/10为级差，分别对图像顶部1/8的部分进行二值化，覆盖既有二值化字符图像的相应部分；

步骤53：将取得的二值化字符图像缩放为20*20像素的图像，当该图像为字符竖直正方向左端第一个字符时，使用模型M1进行预测，输出结果为该字符为某个车牌汉字标识的概率；当该图像为其余字符时，使用模型M2进行预测，输出结果为该字符为某个车牌字母或数字标识的概率；

步骤54：根据步骤53得到的概率，计算该车牌所有字符的最大预测概率的均值。

步骤6：若步骤5得到的均值满足阈值要求，输出预测结果；否则，选择步骤2所述的三种模式中预测精度高者作为结果输出。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于深度学习的多模式多场景的自动车牌识别方法，其特征在于：该方法包括以下步骤：

步骤1：搭建基于Lasso回归的卷积神经网络模型M1和M2，用车牌汉字标识作为样本数据训练模型M1，输出汉字的预测结果；用车牌字母和数字标识作为样本数据训练模型M2，输出字母和数字的预测结果；

步骤2：使用Otsu算法、高亮度阈值、低亮度阈值三种模式分别在带有车牌的图像中识别车牌区域，并将车牌图像旋转至车牌字符正向竖直，判断车牌颜色和单双行类型；

步骤3：若车牌为单行车牌，则纵向分割获取各字符图像；若车牌为双行车牌，则先进行横向分割，再依次纵向分割获取各字符图像；

步骤4：若字符图像数量与标准字符数量不相符，对车牌图像进行字符分割修订，包括自适应标准分组修订、缺失字符补充、比例字符分割；反之，直接进入步骤5；

步骤5：使用模型M1对步骤4获得的车牌左端第一个字符图像进行预测，使用模型M2对其余字符图像进行预测，记录步骤2所述的三种模式下所有预测精度的均值；

步骤6：若步骤5得到的均值满足阈值要求，输出预测结果；否则，选择步骤2所述的三种模式中预测精度高者作为结果输出。

2.根据权利要求1所述的一种基于深度学习的多模式多场景的自动车牌识别方法，其特征在于：所述步骤2具体包括以下步骤：

步骤21：在使用Otsu算法、高亮度阈值、低亮度阈值三种模式情况下分别对整个图像进行处理，每种模式的图像处理都包括高斯平滑，灰度化，Sobel边缘增强，提取三种模式下图像所有的封闭轮廓图形；

步骤22：在每种模式下，对步骤21得到的每一个封闭图形的最小外接矩形，计算其长宽比，定义可接受的范围[i₁,i₂]，i₁,i₂分别为最小、最大长宽比，保留满足条件的图形，并调整图形至车牌字符正向竖直的方向；

步骤23：在每种模式下，将步骤22得到的图形转换到HSV空间，计算图形的主体颜色，提取蓝色，黄色以及绿色的图形，当主体颜色为黄色且长宽比小于阈值a时，记为双行车牌，否则记为单行车牌。

3.根据权利要求2所述的一种基于深度学习的多模式多场景的自动车牌识别方法，其特征在于：所述步骤3具体包括以下步骤：

步骤31：对图像进行二值化；单行车牌时，进入步骤33；双行车牌时，进入步骤32；

步骤32：以横向像素和为基础，找到波峰位置将图像横向分割为两行，进入步骤33；

步骤33：以纵向像素和为基础，依次提取波峰部分，作为提取的字符图像。

4.根据权利要求1-3任一所述的一种基于深度学习的多模式多场景的自动车牌识别方法，其特征在于：所述步骤4具体包括以下步骤：

步骤41：若提取的字符图像数量满足车牌标准，即绿色车牌8个字符，蓝色黄色车牌7个字符，进入步骤5，否则进行字符分割修订；

步骤42：字符图像数量大于车牌标准时，采用自适应标准分组修订算法，即首先，按照图像宽度对所有字符图像进行分组，组内图像数量大于2时为有效分组，其次，按照图像数量对分组降序排列，最后，选择数量最多且组平均宽度大于车牌宽度的1/k₁的图像组作为标准组，该组内图像作为已提取的字符图像；

步骤43：字符图像数量小于车牌标准时，采用缺失字符补充修订算法，即首先，计算相邻的已提取字符图像之间的距离，即判断该距离与标准组平均距离的关系；若小于标准组平均距离，不做处理；若大于或等于标准组平均距离且小于二倍标准组平均距离，则提取该两字符之间的图像为一个待预测字符对象；若大于或等于二倍标准组平均距离，则按照该倍数值取整为整数值q，切割该两字符之间的图像为q个待预测字符对象；

步骤44：没有取得字符图像有效分组时，采用比例字符分割算法，即根据车牌颜色和标准车牌字符尺寸，依次按位置提取字符图像。

5.根据权利要求1-3任一所述的一种基于深度学习的多模式多场景的自动车牌识别方法，其特征在于：所述步骤5具体包括以下步骤：

步骤51：对字符图像进行字符阴影处理，首先对每个字符图像进行二值化，当图像顶部超过1/k₂的像素都为0时，进入步骤52，否则进入步骤53；

步骤52：以图像高度的1/k₃为级差，分别对图像顶部1/k₂的部分进行二值化，覆盖既有二值化字符图像的相应部分；

步骤53：将取得的二值化字符图像缩放为m₁*m₂像素的图像，当该图像为字符竖直正方向左端第一个字符时，使用模型M1进行预测，输出结果为该字符为某个车牌汉字标识的概率；当该图像为其余字符时，使用模型M2进行预测，输出结果为该字符为某个车牌字母或数字标识的概率；

步骤54：根据步骤53得到的概率，计算该车牌所有字符的最大预测概率的均值。

Images