CN110210475A - 一种非二值化和边缘检测的车牌字符图像分割方法 - Google Patents

Abstract

本发明公开了一种非二值化和边缘检测的车牌字符图像分割方法。获取车牌的字符样本图片和非字符样本图片；构建深度学习网络，输入训练获得字符判别网络；获取车牌图片，对车牌图片进行字符区域的检测定位得到车牌字符区域，设定滑动窗口；将滑动窗口在字符区域内从左向右进行滑动遍历形成一系列窗口，并将窗口内图像区域输入到字符判别网络，得到窗口内是否包含单个字符的字符概率，进行优化处理，保留窗口即为车牌中的字符。本发明能准确对车牌字符区域进行字符分割，相比较于传统图像处理下利用二值化和边缘检测进行字符分割的方法，其对带有底纹、光照不均的车牌均具有极佳的分割效果，该发明对于车牌识别应用具有较大的实用价值。

Description

一种非二值化和边缘检测的车牌字符图像分割方法

技术领域

本发明涉及车牌图像识别领域中车牌字符分割方法，具体涉及一种非二值化和边缘检测的车牌字符图像分割方法。

背景技术

车牌作为车辆的重要信息载体，其为车辆提供唯一的合法表示。车牌识别技术也是当今智慧交通中最为核心和关键的技术，其对于及时追溯、查询车辆信息和规避一定的交通事故具有重要的作用。

当前的车牌识别技术主要包括车牌定位、车牌字符分割、车牌字符识别等步骤。其中车牌分字符割则是车牌识别流程中极为重要，也是最复杂的步骤。目前基于传统图像处理技术下的车牌分割技术往往因为车牌底纹复杂、光线照明度不均等原因得不到较好的分割效果，这也是造成目前部分车牌识别系统识别精度不高的重要原因。

发明内容

为了解决背景技术中复杂环境下车牌字符分割难的问题，本发明提供了一种非二值化和边缘检测的车牌字符图像分割方法，识别方法简单，识别精度高，具有较好的实用型和可扩展性。

本发明所采用的技术方案包括如下步骤：

1)获取车牌的字符样本图片和非字符样本图片；每个字符样本图片和每个非字符样本图片均具有一个标签，每个字符样本图片具有的标签为字符标签，每个非字符样本图片具有的标签为非字符标签；非字符样本图片及其非字符标签和字符样本图片及其字符标签用于输入到深度学习模型；

所述的字符样本图片为车牌中仅包含有完整单个字符的一幅图片；非字符样本图片为车牌中包含部分或者不包含单个字符的一幅图片。

2)构建用于识别输入图片为非字符或字符二分类的深度学习网络，使用步骤1)图片输入进行训练，完成训练后保存深度神经网络的权重参数数据Q，获得字符判别网络，字符判别网络用于后续的待测图片处理预测；

3)获取车牌的完整图像作为车牌图片，获取预先通过检测算法(例如 MobileNetSSD或Cascade)对车牌图片进行字符区域的检测定位得到车牌字符区域，并设定滑动窗口的大小；

4)将滑动窗口在步骤3)的字符区域内从左向右进行滑动遍历形成一系列窗口，并将窗口内的图像区域输入到步骤2)所训练好的字符判别网络，得到窗口内是否包含单个字符的字符概率，然后针对一系列窗口及其对应的字符概率进行优化处理删除伪字符窗口和重叠度较大的窗口，保留的窗口即为车牌中的字符，完成车牌字符图像的分割。

所述步骤1)具体为：通过滑动窗口在车牌图片中进行不定方向的滑动：若有完整字符出现在滑动窗口中，则保存窗口，并以窗口构建字符样本图片，并且字符标签为1；若仅有完整字符的局部或完全无字符出现在滑动窗口中，则保存窗口，并以窗口构建非字符样本图片，并且非字符标签为-1。

所述步骤2)中深度学习网络如下：

2.1)深度分类网络主要包括输入层、四个简单卷积层、五个ReLU函数激活层，此外还有卷积模块、合并层、最大池化层、一维数据转换层、全连接层、 Dropout层和Softmax函数分类输出层各一个。具体地，深度分类网络包括输入层、第一简单卷积层模块、第二简单卷积层模块，卷积池化模块、第三简单卷积层模块、卷积模块、合并层、一维数据转换层、全连接层、ReLU函数激活层、 Dropout层、Softmax函数分类输出层和输出层；输入层输入到第一简单卷积层模块，第一简单卷积层模块的输出分别连接到第二简单卷积层模块和卷积模块，第二简单卷积层模块和卷积模块的输出连接到合并层进行合并处理，合并层的输出依次经卷积池化模块、第三简单卷积层模块连接到一维数据转换层转换为一维数据，一维数据转换层的输出依次经全连接层、ReLU函数激活层、Dropout 层、Softmax函数分类输出层连接到输出层；

所述的第一简单卷积层模块、第二简单卷积层模块和第三简单卷积层模块结构相同，均包括一个卷积层和一个ReLU函数激活层，卷积层使用大小为3 ×3的卷积核；

所述的卷积模块包括四个分支，第一简单卷积层模块的输出分别输入到四个分支：第一个分支是有64个大小为3×3卷积核的卷积层；第二个分支是依次连接的有48个大小为1×1卷积核和有64个大小为5×5卷积核的两个卷积层；第三个分支是依次连接的有64个大小为1×1卷积核和有96个大小为3×3 卷积核的两个卷积层；第四个分支是依次连接的3×3大小的平均池化层和有32 个大小为1×1卷积核的卷积层；卷积模块中每个分支的最后一个卷积层的步长均为2，其余卷积和池化操作均采用步长为1；

所述的卷积池化模块包括依次连接的一个卷积层、一个ReLU函数激活层和一个最大池化层，最大池化层使用大小为2×2、步长为2的池化窗口；

2.2)将步骤2)的训练数据输入到深度学习分类网络的输入层，采用保留率为0.9的Momentum优化算法训练神经网络，直到深度学习分类网络的误差达到最小值并保持稳定，则保存此时深度学习分类网络中的权重参数数据Q，其中损失函数为交叉熵损失，学习率设置为初始值为0.01、衰减速度为150步、衰减率为0.9的指数衰减法，训练时Dropout层采用0.5的节点保留率。

一维数据转换层是将每个矩阵形式的特征图转换成一个特征向量。

简单卷积层、池化层和卷积模块中的卷积层、池化层均均使用类同(SAME) 进行填充(padding)。

输入层为长宽分别为32×32、通道数为3的图片，之后紧跟一个有32个卷积核、步长为1的卷积层和ReLU函数激活层，此处将得到的结果分别送入有 16个卷积核、步长为2的简单卷积层和卷积模块。将该简单卷积层输出的结果经过一个ReLU函数激活激活层后，得到输出结果并和卷积模块四个分支的输出数据在通道维度上进行合并，再将合并结果送入一个有64个卷积核、步长为 1的简单卷积层，在经过一个ReLU函数激活层和大小为2×2步长为2的最大池化层后，再送入一个有64个卷积核、步长为1的简单卷积层，并再通过一个ReLU函数分类层后送入一维数据转换层，将转换的及格过输入节点数为64的全连接层，并在依次通过一个ReLU函数激活层和Dropout层后送入最终的 Softmax函数分类层，得到最终的输出结果，每个样本结果为长度为2的特征向量，其中每个值分别表示输入图像为字符和非字符的概率。

所述步骤3)具体为：

使用MobileNet SSD模型或者Opencv软件的级联分类器(Cascade检测器) 在车牌图片内进行字符区域的定位，得到能够将字符区域紧密包围的包围框B，包围框B为内部只有且有包含单个完整字符和车牌底纹的字符区域；然后建立与包围框B等高、但宽度为包围框B高度一半的滑动窗口。

所述步骤4)中，输出得到长度为2的特征向量，其中分别表示窗口内的图像区域为字符和非字符的概率。

所述步骤4)中优化处理具体为：

4.1)通过概率阈值(具体实施中使用0.9)进行筛选，保留所有字符概率大于概率阈值的所有窗口，并构成候选字符包围框集合；

4.2)在候选字符包围框集合上进行聚类，计算其中每两个窗口之间的交并比IOU，将交并比IOU大于交并比阈值(具体实施中使用0.6)的窗口归为一类；

4.3)在同一类窗口内取字符概率最大的窗口作为最终的字符框，用于表征对应的字符位置，各类窗口的字符框构成了最终和字符一一对应的分割结果。

本发明能准确对车牌字符区域进行字符分割，相比较于传统图像处理下的字符分割方法，其对带有底纹、光照不均的车牌均具有极佳的分割效果，该发明对于车牌识别应用具有较大的实用价值。

本发明的有益效果是：

本发明所构建的神经网络结构通过其中较为复杂的卷积核池化操作，能够提取图像的细节特征，有效提高字符和非字符的分类效果

1)本发明对于车牌字符分割具有较好的准确性和实时性，对一张大小为32 ×32的3通道输入图片进行字符/非字符判断只需要2.8ms。深度学习神经网络对图像的特征提取能力更强，识别图像的泛化能力也更强，从而提升了对于输入图像的字符/非字符判断。

2)本发明方法对于环境更复杂的车牌图像仍然具有较好的字符分割效果，相比较于传统图像下采用二值化、边缘检测等进行字符分割的方法，其具有更好的泛化能力。

附图说明

图1是本发明的流程图。

图2是本发明的深度学习分类网络图。

图3是本发明训练集中的字符和非字符训练样本示意图。

图3(a)是本发明训练集中的字符样本图片示意图。

图3(b)是本发明训练集中的非字符样本图片示意图。

图4是本发明实施例1中的对简单车牌的字符概率曲线图和分割效果图。

图4(a)是本发明实施例1中的无底纹车牌的字符概率分布图。

图4(b)是本发明实施例1中的对无底纹车牌的字符概率使用非极大值抑制后得到的字符分割效果图。

图5是本发明实施例1中的对复杂车牌的字符概率曲线图和分割效果图。

图5(a)是本发明实施例1中的带底纹车牌的字符概率分布图。

图5(b)是本发明实施例1中的对带底纹车牌的字符概率使用非极大值抑制后得到的字符分割效果图。

图6是本发明实施例对比其他方法的实施结果图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

如图1所示，本发明的的实施过程如下：

步骤一：通过滑动窗口在车牌图片内进行不定方向的滑动，若有字符出现在当前滑动窗口的中间，则手动保存窗口内的图片，并构建字符样本图片和其对应字符标签为1的集合；若仅有部分字符或完全无字符出现在当前滑动窗口捏，则仍保存窗口内的图片，并构建非字符样本图片和其对应非字符标签为-1 的集合。

步骤二：将步骤1)中所有字符/非字符图像样本图片分为按比例分为训练集和测试集用于训练深度学习分类网络，所述训练数据为字符样本图片及其对应的字符标签和非字符样本图片及其对应的非字符标签；

具体过程为：

2.1)将步骤一中收集的字符/非字符数据随机分配，各类采用70％的数据作为训练集，采用30％的训练数据作为测试集。

2.2)设计如图2所示的用于判别车牌字符或字符的字符判别网络，进行训练，训练结束后获取分类网络连接权重矩阵Q，用于后续识别检测步骤；具体过程为：

2.2.1)深度分类网络主要包括输入层、四个简单卷积层，五个ReLU函数激活层，此外还有卷积模块、合并层、最大池化层、一维数据转换层、全连接层、Dropout层和Softmax函数分类输出层各一个。其中简单卷积层均使用大小为3×3的卷积核；最大池化层使用大小为2×2、步长为2的池化窗口；其中，卷积模块包括四个分支：第一个分支是有64个大小为3×3卷积核的卷积层；第二个分支依次是有48个大小为1×1卷积核和有64个大小为5×5卷积核的卷积层；第三个分支依次是有64个大小为1×1卷积核和有96个大小为3×3 卷积核的卷积层；第四个分支依次为3×3大小的平均池化层和有32个大小为1 ×1卷积核的卷积层。卷积模块中每个分支的最后一个卷积层的步长均为2，其余卷积和池化操作均采用步长为1。最后，简单卷积层、池化层和卷积模块中的卷积层、池化层均使用“SAME”的填充方式。

2.2.2)输入层为长宽分别为32×32、通道数为3的图片，之后紧跟一个有 32个卷积核、步长为1的卷积层和ReLU函数激活层，此处将得到的结果分别送入有16个卷积核、步长为2的简单卷积层和卷积模块。将该简单卷积层输出的结果经过一个ReLU函数激活激活层后，得到输出结果并和卷积模块四个分支的输出数据在通道维度上进行合并，再将合并结果送入一个有64个卷积核、步长为1的简单卷积层，在经过一个ReLU函数激活层和大小为2×2步长为2 的最大池化层后，再送入一个有64个卷积核、步长为1的简单卷积层，并再通过一个ReLU函数分类层后送入一维数据转换层，将转换的及格过输入节点数为64的全连接层，并在依次通过一个ReLU函数激活层和Dropout层后送入最终的Softmax函数分类层，得到最终的输出结果，每个样本结果为长度为2的特征向量，其中每个值分别表示输入图像为字符和非字符的概率。

2.2.3)将步骤2)的训练数据输入到深度学习分类网络的输入层，采用保留率为0.9的Momentum优化算法训练神经网络，直到深度学习分类网络的误差达到最小值并保持稳定，则保存此时深度学习分类网络中的权重参数数据Q，其中损失函数方式交叉熵损失、学习率设置方式为初始值为0.01、衰减速度为150 步、衰减率为0.9的指数衰减法。训练时Dropout层采用0.5的节点保留率。

步骤三：检测车牌内的车牌字符区域并设定滑动窗口的大小，在车牌字符区域内滑动得到一系列窗口和对应的其内部区域图像为字符的概率，通过非极大值抑制后得到车牌字符窗口，完成字符分割。具体过程为：

3.1)使用caffe训练好的MobileNet SSD模型或者opencv的Cascade检测器在车牌图像内进行车牌字符区域的定位，得到能够将字符区域较紧包围的包围框B，其内即为只包含字符信息和车牌底纹的车牌字符区域。设定滑动窗口大小并满足窗口的高度为窗口宽度的两倍。借此用于设计与包围框B等高、但宽度为包围框B高度一半的滑动窗口。

3.2)通过非极大值抑制剔除步骤3.1)中的非字符框，具体步骤为:

3.2.1)通过概率阈值(本实施例中使用0.9)进行筛选，保留所有字符概率大于概率阈值的所有窗口，并构成候选字符包围框集合；

3.2.2)在候选字符包围框集合上进行聚类，计算其中每两个窗口之间的交并比IOU，将交并比IOU大于交并比阈值(本实施例中使用0.6)的窗口归为一类；

3.2.3)在同一类窗口内取字符概率最大的窗口作为最终的字符框，用于表征对应的字符位置，各类窗口的字符框构成了最终和字符一一对应的分割结果。

具体实施例：

本发明分别采用如图3左所示的图片为字符样本图片，采用如图3右所示的图片作为非字符样本图片，其中包括仅包含完整字符的局部或完全无字符的样本图片。如图4和图5所示，分别在简单车牌字符区域和较复杂车牌字符区域(含复杂底纹)进行车牌字符分割，得到对应的字符概率分布和非极大值抑制后的字符分割结果，被方框标识的图像区域就是分别在简单和复杂车牌区域进行字符分割后的每个字符区域。作为对比，分别对该实施例中的车牌进行二值化和边缘检测，效果如图6。

在传统图像处理中，多使用二值化、边缘检测等方法，找到连通域的最小包围框以代表物体图像区域。从图6可看出，传统图像处理下使用二值化或边缘检测等方法得到的连通域效果并不具有泛化性，其极容易受光照不均、底纹黏连等因素影响，因而对不同环境下的车牌进行字符分割没有较好的泛化效果，且分割结果往往受其中参数的变化影响较大。

相比较于传统图像处理下使用二值化和边缘检测等进行车牌字符分割的方法，本发明中对于简单环境和较复杂环境下的车牌字符分割均具有较好的分割效果。

由上述各个实施例检测结果可见，本发明方法的字符分割方法对不同环境下的车牌区域均具有很好的准确性和实用性，对车牌字符分割和整个车牌识别领域均具有较大的应用潜力。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种非二值化和边缘检测的车牌字符图像分割方法，其特征在于：该方法包括以下步骤：

1)获取车牌的字符样本图片和非字符样本图片；每个字符样本图片和每个非字符样本图片均具有一个标签，每个字符样本图片具有的标签为字符标签，每个非字符样本图片具有的标签为非字符标签；

2)构建用于识别输入图片为非字符或字符二分类的深度学习网络，使用步骤1)图片输入进行训练，完成训练后保存深度神经网络的权重参数数据Q，获得字符判别网络；

3)获取车牌的完整图像作为车牌图片，预先通过检测算法对车牌图片进行字符区域的检测定位得到车牌字符区域，并设定滑动窗口的大小；

4)将滑动窗口在步骤3)的字符区域内从左向右进行滑动遍历形成一系列窗口，并将窗口内的图像区域输入到步骤2)所训练好的字符判别网络，得到窗口内是否包含单个字符的字符概率，然后针对一系列窗口及其对应的字符概率进行优化处理删除伪字符窗口和重叠度较大的窗口，保留的窗口即为车牌中的字符，完成车牌字符图像的分割。

2.根据权利要求1所述的一种非二值化和边缘检测的车牌字符图像分割方法，其特征在于：所述步骤1)具体为：通过滑动窗口在车牌图片中进行滑动：若有完整字符出现在滑动窗口中，则保存窗口，并以窗口构建字符样本图片；若仅有完整字符的局部或完全无字符出现在滑动窗口中，则保存窗口，并以窗口构建非字符样本图片。

3.根据权利要求1所述的一种非二值化和边缘检测的车牌字符图像分割方法，其特征在于：所述步骤2)中深度学习网络如下：

2.1)深度分类网络包括输入层、第一简单卷积层模块、第二简单卷积层模块，卷积池化模块、第三简单卷积层模块、卷积模块、合并层、一维数据转换层、全连接层、ReLU函数激活层、Dropout层、Softmax函数分类输出层和输出层；输入层输入到第一简单卷积层模块，第一简单卷积层模块的输出分别连接到第二简单卷积层模块和卷积模块，第二简单卷积层模块和卷积模块的输出连接到合并层进行合并处理，合并层的输出依次经卷积池化模块、第三简单卷积层模块连接到一维数据转换层转换为一维数据，一维数据转换层的输出依次经全连接层、ReLU函数激活层、Dropout层、Softmax函数分类输出层连接到输出层；

所述的第一简单卷积层模块、第二简单卷积层模块和第三简单卷积层模块结构相同，均包括一个卷积层和一个ReLU函数激活层，卷积层使用大小为3×3的卷积核；

所述的卷积模块包括四个分支，第一简单卷积层模块的输出分别输入到四个分支：第一个分支是有64个大小为3×3卷积核的卷积层；第二个分支是依次连接的有48个大小为1×1卷积核和有64个大小为5×5卷积核的两个卷积层；第三个分支是依次连接的有64个大小为1×1卷积核和有96个大小为3×3卷积核的两个卷积层；第四个分支是依次连接的3×3大小的平均池化层和有32个大小为1×1卷积核的卷积层；卷积模块中每个分支的最后一个卷积层的步长均为2，其余卷积和池化操作均采用步长为1；

所述的卷积池化模块包括依次连接的一个卷积层、一个ReLU函数激活层和一个最大池化层，最大池化层使用大小为2×2、步长为2的池化窗口；

2.2)将步骤2)的训练数据输入到深度学习分类网络的输入层，采用保留率为0.9的Momentum优化算法训练神经网络，直到深度学习分类网络的误差达到最小值并保持稳定，则保存此时深度学习分类网络中的权重参数数据Q，其中损失函数为交叉熵损失，学习率设置为初始值为0.01、衰减速度为150步、衰减率为0.9的指数衰减法，训练时Dropout层采用0.5的节点保留率。

4.根据权利要求1所述的一种非二值化和边缘检测的车牌字符图像分割方法，其特征在于：所述步骤3)具体为：使用MobileNet SSD模型或者Opencv软件的级联分类器(Cascade检测器)在车牌图片内进行字符区域的定位，得到能够将字符区域紧密包围的包围框B，包围框B为内部只有且有包含单个完整字符和车牌底纹的字符区域；然后建立与包围框B等高、但宽度为包围框B高度一半的滑动窗口。

5.根据权利要求1所述的一种非二值化和边缘检测的车牌字符图像分割方法，其特征在于：所述步骤4)中优化处理具体为：

4.1)通过概率阈值进行筛选，保留所有字符概率大于概率阈值的所有窗口，并构成候选字符包围框集合；

4.2)在候选字符包围框集合上进行聚类，计算其中每两个窗口之间的交并比IOU，将交并比IOU大于交并比阈值的窗口归为一类；

4.3)在同一类窗口内取字符概率最大的窗口作为最终的字符框。