CN107527056B - 一种基于粗定位车牌的字符分割方法 - Google Patents

Abstract

本发明提供了一种基于粗定位车牌的字符分割方法。该方法能自动判断出车牌是否完整，并能在车牌完整的基础上实现精准字符分割。首先挑选出二值车牌图像中能框出独立字符且不存在干扰的最佳独立连通区域外接矩形，将其宽度与其余连通区域的外接矩形宽度形成特征映射关系，建立训练库。利用训练库学习得到测试二值车牌的理论字符宽度，并以此调整每个连通区域的外接矩形尺寸，得到粗分割结果，接着直接对粗分割结果进行识别，挑选出识别置信度最高的字符。通过识别置信度最高字符的中心位置判断其在车牌中所处的位置，以此确定不同位置字符的中心点，以实际字符宽度向左右扩展，即可得到每个字符精准的分割结果。

Description

一种基于粗定位车牌的字符分割方法

技术领域

本发明涉及图像处理领域的图像分割技术领域，尤其涉及一种基于粗定位车牌的字符分割方法。

背景技术

车牌识别为日常生活中停车、出入卡口带来便利，也是交通管制、刑事侦察中的重要手段。目前大部分算法对车牌进行识别前，需要首先对车牌进行字符分割，因此字符分割是车牌识别的前提，字符分割的质量直接影响到下一步字符识别的难度及识别率。

由于车辆运动、采集设备分辨率低、自然天气影响等原因，车牌图像质量难以保证。且车牌定位算法并不能对车牌进行精准的定位，不可避免的会出现残缺、包含大量边框等问题。现有的车牌字符分割方法特别依赖于车牌定位和车牌图像的质量，比如常用的垂直投影法、垂直切分法、模板匹配法，针对车牌定位不准确及车牌质量不佳的情况，会导致字符分割效果不好。

发明内容

本发明技术方案如下：

一种基于粗定位车牌的字符分割方法，其特征在于以下实现步骤：

S1、挑选出二值车牌图像中能框出单个字符且不存在其他字符、边框干扰的最佳独立连通区域外接矩形，即最佳外接矩形。将最佳外接矩形的宽度与其余连通区域外接矩形宽度形成特征映射关系，建立训练库。

对于测试车牌的二值图像，利用训练库中映射关系和特征距离最小原则学习得到车牌的理论字符宽度。

S2、利用理论字符宽度调整每个外接矩形的尺寸，得到车牌粗分割结果，直接对粗分割结果进行识别，选取识别置信度最高的字符。结合识别置信度最高字符的宽度和理论字符宽度，得到车牌的实际字符宽度。根据与原车牌宽度的比例，判断出该车牌是否完整，若不完整，则直接舍弃。若完整，直接执行步骤S3。

S3、通过识别置信度最高字符的中心坐标判断出该字符在整个车牌中的位置，按照其他字符与该字符的距离确定不同位置字符的中心点，分别向左右分别扩展1/2实际字符宽度，即可得到最终车牌完整的7位字符分割。

进一步，所述步骤S1，其具体为：

S11、首先对粗定位车牌进行大津二值化，统计二值化图像的边缘像素的平均值，将该平均值作为阈值，大于该阈值的像素值置为255，小于该阈值的像素值置为0。最后进行开运算，并删除小面积对象，得到最终二值化车牌图像。这样做的好处在于可以剔除一些明显的干扰，比如铆钉、小范围车牌边框等，便于下面分割出车牌字符。

S12、找出二值化车牌图像中每个独立连通区域的最小外接矩形，由于车牌存在模糊和有边框等干扰，每个矩形中不一定为单个字符，存在是边框、多个字符、字符和边框粘黏的情况。挑选出每个二值化车牌图像中的最佳外接矩形，最佳外接矩形的判断依据为：该矩形包含完整的单个字符且不存在其他干扰；平移该矩形能框出该车牌中其他字符且不存在干扰。

S13、将二值化车牌中每个外接矩形的宽度信息和挑选出的最佳外接矩形的宽度形成映射关系，并建立训练库T：

其中，(w_bi,w_i1,w_i2,…)为一个实例，i＝1,2,…N，N为训练库中车牌的数量，w_bi为第i个车牌中最佳外接矩形宽度，w_i1,w_i2,…为第i个车牌中其余外接矩形的宽度。

S14、对一幅新的测试车牌图像执行S11中相同的二值化步骤，得到该车牌的二值化图像，同样提取每个独立连通区域的最小外接矩形：(w_t1,w_t2,…)，其中，w_t1为目标车牌中第一个外接矩形的宽度，w_t2为第二个外接矩形的宽度，以此类推。

S15、求取训练库中所有案例与新输入车牌中外接矩形宽度一一比对，按照距离最小原则求出新输入车牌的理论字符宽度信息：

其中，k为选取k个与目标车牌中矩形宽度距离最小的案例，w_tb为目标车牌中理论字符宽度。

进一步，所述步骤S2，其具体为：

S21、得到该车牌理论字符宽度后，使原来每个外接矩形的中心坐标点不变，左右分别调整，使每个外接矩形宽度为理论字符宽度。这样可以对以下情况进行修正：二值化后残缺的字符可以扩展完整；多个字符或边框粘黏的情况可以分割开。得到车牌初步粗分割结果。

S22、直接对粗分割出的“字符”进行识别，可以得到每个“字符”的识别结果和识别置信度。选取该车牌粗分割结果中识别置信度最高的字符。

S23、得到车牌中识别置信度最高的字符后，结合理论字符宽度可以得到当前车牌实际字符宽度。具体做法为：如果识别结果为字符1，由先验知识可知字符1的宽度偏小，不能以字符1的宽度作为每个字符的宽度，车牌实际字符宽度则为理论字符宽度。如果识别结果不为字符1，则字符宽度正常，实际字符宽度为识别置信度最高的字符宽度。实际字符宽度计算公式：

其中，w_b为需要求取的实际字符宽度，w_tb为S15中求出的理论字符宽度，res为识别置信度最高的字符，w_res为识别置信度最高的字符不为1，即res≠1时的识别置信度最高字符宽度。

S24、根据中华人民共和国公共安全行业标准GA36-2014可知标准车牌的车牌宽度和字符宽度的比例为7.7。所以当车牌宽度与字符宽度比例小于8时，也就是字符宽度过大，则认为车牌残缺，直接舍弃，输出“该车牌不完整，无法分割识别”的提示。由于是粗定位车牌，周围存在边框甚至车身的干扰，所以比例大于8认为是正常情况，执行步骤S3。

进一步，所述步骤S3，其具体为：

S31、由步骤S2可以得到车牌中识别置信度最高字符，计算出此字符最大外接矩形的中心点坐标，若坐标值在车牌宽度的1/7至2/7之间，则认为该字符在车牌首位；若坐标在车牌的2/7至3/7之间，则认为字符在车牌的第二位……依次类推，可以判断出识别置信度最高的字符在整个车牌中所处的位置。

S32、根据中华人民共和国公共安全行业标准GA36-2014可知，字符间隔约为1.2倍字符宽度。计算每个字符与识别置信度最高字符之间的位置差，乘以字符间隔，即为不同位置的字符与识别置信度最高字符的距离，以识别置信度最高字符中心坐标为基准，可以得到不同位置字符的中心坐标。需要注意的是，第二位字符与第三位字符之间距离较大，比正常字符间隔多出0.3倍字符宽度，当目标字符和最可靠字符分别在第一第二、后五位位置时，两者距离需要加上0.3倍字符宽度。不同位置的字符与识别置信度最高字符的距离计算公式如下：

其中，i为第i个字符的位置，b为识别置信度最高的字符所在的位置，w_b为实际字符宽度，D为两者间的距离。i,b∈(1,2)∪i,b∈(3,4,5,6,7)表示第i个字符和识别置信度最高字符的位置同在第一第二位，或者同在后五位。else为其余情况，即：第i个字符和识别置信度最高字符的位置分别在第一第二、后五位。

S33、得到不同位置字符的中心坐标后，以中心坐标为中点，向左右分别扩展1/2实际字符宽度，即可得到最终车牌完整的7位字符分割，字符完整且不存在干扰。

有益效果

本发明的有益效果是：根据实验结果表明，本发明的基于粗定位车牌的字符分割的方法，通过挑选出最佳外接矩形，并形成训练库，据此得到测试样本的理论字符宽度，对车牌粗分割，结合识别误差，确定识别置信度最高字符后从而得到整个车牌的精确分割结果。对定位效果不好及图像质量不佳的车牌有较好的分割结果。

与现有的方法相比，本发明的优点在于：

(1)不依赖于车牌的定位效果及车牌图像质量，即使车牌图像中包含边框等干扰，且图像模糊，本发明也能得到精确的字符分割结果。

(2)根据理论字符宽度对车牌进行初次分割，并进行识别，结合识别结果得到识别置信度最高字符，从而得到最终精确分割结果。将识别与分割相结合，能得到更准确的分割结果。

附图说明

图1是本发明的基于粗定位车牌的字符分割的流程示意图。

具体实施方案

本发明的基于粗定位车牌的字符分割方法的实现主要包含以下步骤包括：

S1、挑选出二值车牌图像中能框出单个字符且不存在干扰的最佳独立连通区域外接矩形，即最佳外接矩形。将最佳外接矩形的宽度与其余外接矩形宽度形成特征映射关系，建立训练库。

对于测试车牌的二值图像，利用训练库中映射关系和特征距离最小原则学习得到车牌的理论字符宽度。

S2、利用理论字符宽度调整每个外接矩形的尺寸，得到车牌粗分割结果，直接对粗分割结果进行识别，选取识别置信度最高的字符。结合识别置信度最高字符的宽度和理论字符宽度，得到车牌的实际字符宽度。根据与原车牌宽度的比例，判断出该车牌是否完整，若不完整，则直接舍弃。若完整，直接执行步骤S3。

S3、通过识别置信度最高字符的中心坐标判断出该字符在整个车牌中的位置，按照其他字符与该字符的距离确定不同位置字符的中心点，分别向左右分别扩展1/2实际字符宽度，即可得到最终车牌完整的7位字符分割。

进一步，所述步骤S1，其具体为：

S11、首先对粗定位车牌进行大津二值化，统计二值化图像的边缘像素的平均值，将该平均值作为阈值，大于该阈值的像素值置为255，小于该阈值的像素值置为0。最后进行开运算，并删除小面积对象，得到最终二值化车牌图像。这样做的好处在于可以剔除一些明显的干扰，比如铆钉、小范围车牌边框等，便于下面分割出车牌字符。

S12、找出二值化车牌图像中每个独立连通区域的最小外接矩形，由于车牌存在模糊和有边框等干扰，每个矩形中不一定为单个字符，存在是边框、多个字符、字符和边框粘黏的情况。挑选出每个二值化车牌图像中的最佳外接矩形，最佳外接矩形的判断依据为：该矩形包含完整的单个字符且不存在其他干扰；平移该矩形能框出该车牌中其他字符且不存在干扰。

S13、将二值化车牌中每个外接矩形的宽度信息和挑选出的最佳矩形的宽度形成映射关系，并建立训练库T。为了规范训练库，提升运算效率，将所有训练库中的案例维数统一成9。具体做法为：如果车牌中外接矩形数量小于9，则将不足9的地方置0,；如果车牌中外接矩形的数量大于9，则舍弃9之后的矩形。规范后的训练库如下：

其中，(w_bi,w_i1,w_i2,…w_i9)为一个实例，i＝1,2,…N，N为训练库中车牌的数量，w_bi为第i个车牌中最佳外接矩形宽度，w_i1,w_i2,…w_i9为第i个车牌中第1-9个外接矩形的宽度。

S14、对一幅新的测试车牌图像执行S11中相同的二值化步骤，得到该车牌的二值化图像，同样提取每个独立连通区域的最大外接矩形：(w_t1,w_t2,…)，其中，w_t1为目标车牌中第一个外接矩形的宽度，w_t2为第二个外接矩形的宽度，以此类推。同样执行S13中的规范操作：如果车牌中外接矩形数量小于9，则将不足9的地方置0,；如果车牌中外接矩形的数量大于9，则舍弃9之后的矩形，得到宽度集(w_t1,w_t2,…w_t9)。

S15、求取训练库中所有案例与新输入车牌中外接矩形宽度一一比对，按照距离最小原则求出新输入车牌的理论字符宽度：

其中，k为选取k个与目标车牌中矩形宽度距离最小的案例，本实施例中k取4。w_tb为目标车牌中理论字符宽度。

进一步，所述步骤S2，其具体为：

S21、得到该车牌理论字符宽度后，使原来每个外接矩形的中心坐标点不变，理论字符宽度为实际宽度，左右分别调整。这样可以对以下情况进行修正：二值化后残缺的字符可以扩展完整；多个字符或边框粘黏一起的情况可以分割开。得到车牌初步粗分割结果。

S22、直接对粗分割出的“字符”进行识别，可以得到每个“字符”的识别结果和识别置信度。选取该车牌粗分割结果中识别置信度最高的字符。

S23、得到车牌中识别置信度最高的字符后，结合理论字符宽度可以得到当前车牌实际字符宽度。具体做法为：如果识别结果为字符1，由先验知识可知字符1的宽度偏小，不能以字符1的宽度作为每个字符的宽度，车牌实际字符宽度则为理论字符宽度。如果识别结果不为字符1，则字符宽度正常，实际字符宽度为识别置信度最高的字符宽度。实际字符宽度计算公式：

其中，w_b为实际字符宽度，res为识别置信度最高的字符结果，w_tb为S15中求出的理论字符宽度，w_res为识别置信度最高的字符不为1，即res≠1时的识别置信度最高字符宽度。

S24、根据中华人民共和国公共安全行业标准GA36-2014可知标准车牌的车牌宽度和字符宽度的比例为7.7。所以当车牌宽度与字符宽度比例小于8时，也就是字符宽度过大，则认为车牌残缺，直接舍弃，输出“该车牌不完整，无法分割识别”的提示。由于是粗定位车牌，周围存在边框甚至车身的干扰，所以比例大于8认为是正常情况，执行步骤S3。

进一步，所述步骤S3，其具体为：

S31、由步骤S2可以得到车牌中识别置信度最高字符，计算出此字符最大外接矩形的中心点坐标，若坐标值在车牌宽度的1/7至2/7之间，则认为该字符在车牌首位；若坐标在车牌的2/7至3/7之间，则认为字符在车牌的第二位……依次类推，可以判断出识别置信度最高的字符在整个车牌中所处的位置。

S32、根据先验知识，字符间隔约为1.2倍字符宽度。计算每个字符与识别置信度最高字符之间的位置差，乘以字符间隔，即为不同位置的字符与识别置信度最高字符的距离，以识别置信度最高字符中心坐标为基准，可以得到不同位置字符的中心坐标。需要注意的是，第二位字符与第三位字符之间距离较大，比正常字符间隔多出0.3倍字符宽度，当目标字符和最可靠字符分别在第一第二、后五位位置时，两者距离需要加上0.3倍字符宽度。不同位置的字符与识别置信度最高字符的距离计算公式如下：

其中，i为第i个字符，b为识别置信度最高的字符所在的位置，w_b为实际字符宽度，D为两者间的距离。i,b∈(1,2)∪i,b∈(3,4,5,6,7)表示第i个字符和识别置信度最高字符的位置同在第一第二位，或者同在后五位。else为其余情况，即：第i个字符和识别置信度最高字符的位置分别在第一第二、后五位。

例如，识别置信度最高字符在第一位，则与第二位字符距离为1.2倍字符宽度，与第三位字符距离为(1.2*2+0.3)倍字符宽度，与第四位字符距离为(1.2*3+0.3)倍字符宽度。

S33、得到不同位置字符的中心坐标后，以中心坐标为中点，向左右分别扩展1/2实际字符宽度，即可得到最终车牌完整的7位字符分割，字符完整且不存在干扰。

Claims (1)

1.一种基于粗定位车牌的字符分割方法，其特征在于，包括以下步骤：

S1、挑选出二值车牌图像中能框出单个字符且不存在其他字符、边框干扰的最佳独立连通区域外接矩形，即最佳外接矩形；将最佳外接矩形的宽度与其余连通区域外接矩形宽度形成特征映射关系，建立训练库；对于测试车牌的二值图像，利用训练库中映射关系和特征距离最小原则学习得到车牌的理论字符宽度；

S2、利用理论字符宽度调整每个外接矩形的尺寸，得到车牌粗分割结果，直接对粗分割结果进行识别，选取识别置信度最高的字符；结合识别置信度最高字符的宽度和理论字符宽度，得到车牌的实际字符宽度；根据与原车牌宽度的比例，判断出该车牌是否完整，若不完整，则直接舍弃；若完整，直接执行步骤S3；

S3、通过识别置信度最高字符的中心坐标判断出该字符在整个车牌中的位置，按照其他字符与该字符的距离确定不同位置字符的中心点，分别向左右分别扩展1/2实际字符宽度，即可得到最终车牌完整的7位字符分割；

所述步骤S1具体包括以下子步骤：

S11、首先对粗定位车牌进行大津二值化，统计二值化图像的边缘像素的平均值，将该平均值作为阈值，大于该阈值的像素值置为255，小于该阈值的像素值置为0；最后进行开运算，并删除小面积对象，得到最终二值化车牌图像；

S12、找出二值化车牌图像中每个独立连通区域的最小外接矩形，挑选出每个二值化车牌图像中的最佳外接矩形，最佳外接矩形的判断依据为：该矩形包含完整的单个字符且不存在其他干扰；平移该矩形能框出该车牌中其他字符且不存在干扰；

S13、将二值化车牌中每个外接矩形的宽度信息和挑选出的最佳外接矩形的宽度形成映射关系，并建立训练库T：

使用(w_bi,w_i1,w_i2,…)表示训练库T中的实例，其中，i＝1,2,…N，N为训练库中车牌的数量，w_bi为第i个车牌中最佳外接矩形宽度，w_i1,w_i2,…为第i个车牌中其余外接矩形的宽度；

S14、对一幅新的测试车牌图像执行S11中相同的二值化步骤，得到该车牌的二值化图像，同样提取每个独立连通区域的最小外接矩形：(w_t1,w_t2,…)，其中，w_t1为目标车牌中第一个外接矩形的宽度，w_t2为第二个外接矩形的宽度，以此类推；

S15、将训练库中所有实例与新输入车牌中外接矩形宽度一一比对，按照距离最小原则求出新输入车牌的理论字符宽度信息：

其中，k为选取k个与目标车牌中矩形宽度距离最小的实例，w_tb为目标车牌中理论字符宽度；

所述步骤S2具体包括以下子步骤：

S21、得到该车牌理论字符宽度后，使原来每个外接矩形的中心坐标点不变，左右分别调整，使每个外接矩形宽度为理论字符宽度；这样对以下情况进行修正：二值化后残缺的字符扩展完整；多个字符或边框粘黏的情况分割开，得到车牌初步粗分割结果；

S22、直接对粗分割出的“字符”进行识别，得到每个“字符”的识别结果和识别置信度；选取该车牌粗分割结果中识别置信度最高的字符；

S23、得到车牌中识别置信度最高的字符后，结合理论字符宽度得到当前车牌实际字符宽度；具体做法为：如果识别结果为字符1，由先验知识可知字符1的宽度偏小，不能以字符1的宽度作为每个字符的宽度，车牌实际字符宽度则为理论字符宽度；如果识别结果不为字符1，则字符宽度正常，实际字符宽度为识别置信度最高的字符宽度；实际字符宽度计算公式：

其中，w_b为需要求取的实际字符宽度，w_tb为S15中求出的理论字符宽度，res为识别置信度最高的字符，w_res为识别置信度最高的字符不为1，即res≠1时的识别置信度最高字符宽度；

S24、当车牌宽度与字符宽度比例小于8时，也就是字符宽度过大，则认为车牌残缺，直接舍弃，输出“该车牌不完整，无法分割识别”的提示；由于是粗定位车牌，周围存在边框甚至车身的干扰，所以比例大于8认为是正常情况，执行步骤S3；

所述步骤S3具体包括以下子步骤：

S31、由步骤S2得到车牌中识别置信度最高字符，计算出此字符最大外接矩形的中心点坐标，若坐标值在车牌宽度的1/7至2/7之间，则认为该字符在车牌首位；若坐标在车牌的2/7至3/7之间，则认为字符在车牌的第二位……依次类推，判断出识别置信度最高的字符在整个车牌中所处的位置；

S32、计算每个字符与识别置信度最高字符之间的位置差，乘以字符间隔，即为不同位置的字符与识别置信度最高字符的距离，以识别置信度最高字符中心坐标为基准，得到不同位置字符的中心坐标；需要注意的是，第二位字符与第三位字符之间距离较大，比正常字符间隔多出0.3倍字符宽度，当目标字符和最可靠字符分别在第一第二、后五位位置时，两者距离需要加上0.3倍字符宽度；不同位置的字符与识别置信度最高字符的距离计算公式如下：

其中，i为第i个字符的位置，b为识别置信度最高的字符所在的位置，w_b为实际字符宽度，D为两者间的距离；i,b∈(1,2)∪i,b∈(3,4,5,6,7)表示第i个字符和识别置信度最高字符的位置同在第一第二位，或者同在后五位；else为其余情况，即：第i个字符和识别置信度最高字符的位置分别在第一第二、后五位；

S33、得到不同位置字符的中心坐标后，以中心坐标为中点，向左右分别扩展1/2实际字符宽度，即可得到最终车牌完整的7位字符分割，字符完整且不存在干扰。

Images