CN112488097B - 一种车牌识别中的缺失字符补全方法 - Google Patents

Abstract

本发明公开了一种车牌识别中的缺失字符补全方法。属于车牌识别领域；具体步骤：1、对输入的字符区域外接矩形框分别在最左边和最右边划分矩形区域a₁与b₁；2、将a₁与b₁进行字符判别；3、在新生成的一排矩形框左右两边继续取新区域；4、计算相邻矩形框的中心间距；5、对特殊位置字符进行检测，确定车牌中第2和第3个字符的位置；6、采用排列组合的方法对缺失字符进行补全。本发明针对没有将所有的车牌字符提取出来，及存在的偏差导致极少数情况的字符丢失的问题，通过外围区域矩形框判别、相邻字符间距检测，特殊位置字符检测补全丢失的车牌字符，提高了车牌识别的准确率，能够实现复杂工业环境中的车牌识别。

Description

一种车牌识别中的缺失字符补全方法

技术领域

本发明涉及车牌识别领域，特别是涉及一种车牌识别中的缺失字符补全方法。

背景技术

随着人工智能、云计算、大数据等技术的快速发展，以无人值守式立体车库为代表的智能交通系统逐步进入人们的生产生活。车牌信息作为车辆的唯一身份，也是智能交通系统无人化运行的关键，提高车牌自动识别的准确率是智能交通系统设计中的关键环节。

我国车牌存在底色和字符颜色繁多、车牌格式随车辆外形变化较大、需要特殊的汉字识别等特殊性。根据我国车牌的特性，国内很多专家学者将大量机器学习、深度学习方法应用于车牌识别，设计了专门的识别网络，如MSER(区域特征提取)、YOLO等方法应用于字符提取，SVM(支持向量机)、CNN(卷积神经网络)等方法应用于字符区域分类，LeNet-5卷积神经网络、BP(反向传播)神经网络等方法应用于字符识别。

将具有最好的仿射不变性MSER方法用于字符提取，将被誉为最优秀的二分类方法SVM用于区分字符和非字符区域，进行测试发现在某些情况下，MSER提取没有将所有的车牌字符提取出来，由于SVM模型的偏差导致字符区域判别时少数情况的字符丢失。字符区域判别的过程中，认定一幅照片中如果含有中文车牌，必然在较小的纵坐标变化范围内有5个以上矩形区域，依据5个矩形区域的原则和标准的车牌排列规范设计，利用排列组合的规则本发明公开了一种车牌识别中的缺失字符补全方法，达到提高车牌识别准确率的目的。

发明内容

针对上述问题，本发明提供了一种车牌识别中的缺失字符补全方法。

本发明的技术方案是：一种车牌识别中的缺失字符补全方法，具体步骤包括如下：

步骤(1.1)、将潜在的缺失字符划入字符区，对输入的字符区域外接矩形框从左到右进行排序，根据最左边矩形区域的边角及宽高度信息，分别在最左边和最右边划分两个新的矩形区域a₁与b₁；

步骤(1.2)、将a₁矩形区域与b₁矩形区域进行字符判别，若为字符区域，则保留，否则，祛除；

步骤(1.3)、若新的矩形区域a₁与b₁至少有一个以保留，则在新生成的一排矩形框左右两边继续取新区域，直到左右两边均取不到字符区域；

步骤(1.4)、根据相邻两个矩形框域左下角点坐标与宽度信息，计算相邻矩形框的中心间距，并据此判断两个矩形区域间是否缺失字符，并按步骤(1.1)补全字符；

步骤(1.5)、根据车牌第2和第3个字符间距与其余不同这一原则，对特殊位置字符进行检测，结合相邻矩形框中心间距，确定车牌中第2和第3个字符的位置；

步骤(1.6)、根据矩形框数量n分情况，采用排列组合的方法对缺失字符进行补全。

进一步的，在步骤(1.1)中，在最左边的矩形框的左边选取a₁矩形区域的选取公式为式(1)，

式(1)中，a₁.x表示a₁矩形区域左下角点的横坐标；a₁.y表示a₁矩形区域左下角点的纵坐标；a₁.w表示a₁矩形区域矩形框的宽度；a₁.h表示a₁矩形区域矩形框的高度；k表示系数，由车牌字符间距确定，汽车车牌第2和第3个字符间距为字符宽度1.75倍，其余字符间距为字符宽度1.26倍；ave_h表示图像中矩形框高度差的平均值；L[a]表示最左边的矩形框；L[a].x表示最左边的矩形框左下角点的横坐标；L[a].y表示最左边的矩形框左下角点的纵坐标；L[a].w表示最左边的矩形框的宽度；L[a].h表示最左边的矩形框的高度。

进一步的，在步骤(1.1)中，在最右边的矩形框的右边选取一个新的矩形区域，记为b₁矩形区域，b₁矩形区域的选取公式为(2)，

式(2)中，b₁.x表示b₁矩形区域左下角点的横坐标；b₁.y表示b₁矩形区域左下角点的纵坐标；b₁.w表示b₁矩形区域矩形框的宽度；b₁.h表示b₁矩形区域矩形框的高度；k表示系数，由车牌字符间距确定；ave_h表示图像中矩形框高度差的平均值；L[b]表示最左边的矩形框；L[b].x表示最左边的矩形框左下角点的横坐标；L[b].y表示最左边的矩形框左下角点的纵坐标；L[b].w表示最左边的矩形框的宽度；L[b].h表示最左边的矩形框的高度。

进一步的，在步骤(1.4)中，所述相邻矩形框的中心间距计算公式为(3)，

式(3)中，L[i+1].x和L[i].x为相邻两个矩形框域左下角点的横坐标L[i+1].w和L[i].w相邻两个矩形框的宽度，当dis[i]大于图像中矩形框最大宽度的2倍，则认为这两个矩形区域间缺失字符，按公式(1)补全字符。

进一步的，在所述步骤(1.5)中，根据车牌第2和第3个字符间距为字符宽度1.75倍，其余字符间距为字符宽度1.26倍这一原则，相邻矩形框中心间距判断公式为(4)，

式(4)中，L[i+1].x为相邻两个矩形框域左下角点的横坐标L[i].w相邻两个矩形框的宽度，当满足公式(4)判定i＝2，确定车牌中第2、第3个字符的位置。

进一步的，在步骤(1.6)中，取车牌字符不全则矩形框数量n＝5或6，采用下述规则补全丢失字符：

规则1：如果n等于6，那么增加外围矩形框，执行规则2；

规则2：如果此时n等于7，那么补全完毕；否则通过计算相邻字符间距补全；

规则3：如果n等于5，那么增加外围矩形框，执行规则4；

规则4：如果此时n等于6，那么执行规则1；否则执行规则5；

规则5：如果第2个特殊位置字符存在，那么通过计算相邻字符间距补全；否则执行规则6；

规则6：如果相邻两矩形框缺失字符，那么外侧增加矩形框补全；否则执行规则7；

规则7：在距离最左边矩形框1.7倍矩形框平均宽度处，按照步骤(1.1)中划分区域的方法连续补足两个矩形框；

按此规则可补全丢失的字符。

本发明的有益效果是：本发明专利公开了一种车牌识别中的缺失字符补全方法，针对基于图像区域检测的字符提取算法没有将所有的车牌字符提取出来，以及基于分类算法的字符区域判别存在的偏差导致极少数情况的字符丢失的问题，通过外围区域矩形框判别、相邻字符间距检测，特殊位置字符检测补全丢失的车牌字符，提高了车牌识别的准确率，能够实现复杂工业环境中的车牌识别。

附图说明

图1为本发明的流程示意图；

图2为本发明中存在缺失的字符提取与判别示意图；

图3为本发明中使用本发明补全缺失字符的结果示意图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

如图所述；一种车牌识别中的缺失字符补全方法，具体步骤包括如下：

步骤(1.1)、将潜在的缺失字符划入字符区，对输入的字符区域外接矩形框从左到右进行排序，根据最左边矩形区域的边角及宽高度信息，分别在最左边和最右边划分两个新的矩形区域a₁与b₁；

步骤(1.2)、将a₁矩形区域与b₁矩形区域进行字符判别，若为字符区域，则保留，否则，祛除；

步骤(1.3)、若新区域a₁与b₁至少有一个以保留，则在新生成的一排矩形框左右两边继续取新区域，直到左右两边均取不到字符区域；

步骤(1.4)、根据相邻两个矩形框域左下角点坐标与宽度信息，计算相邻矩形框的中心间距，并据此判断两个矩形区域间是否缺失字符，并按步骤(1.1)补全字符；

步骤(1.5)、根据车牌第2和第3个字符间距与其余不同这一原则，对特殊位置字符进行检测，结合相邻矩形框中心间距，确定车牌中第2和第3个字符的位置；

步骤(1.6)、根据矩形框数量n分情况，采用排列组合的方法对缺失字符进行补全；

其中，如果车牌字符不全则矩形框数量n＝5或6，若n＝6先增加外围区域矩形框；如果满足n＝7则补全完毕，如果不是则缺失内部字符通过计算相邻字符间距补全，若n＝5，则执行下一步步骤(1.7)；

步骤(1.7)：增加外围区域矩形框，此时如果n变成6则按之前n＝6的流程处理，如果n仍然为5，则执行下一步步骤(1.8)；

步骤(1.8)：判断第2个特殊位置字符是否存在，若存在则通过计算相邻字符间距补全，如果不存在，判断相邻两个矩形框之间是否缺失字符，若不缺失则在距离最左边矩形框1.7倍矩形框平均宽度处按照公式(1)连续补足两个矩形框。

进一步的，在步骤(1.1)中，在最左边的矩形框的左边选取a₁矩形区域的选取公式为式(1)，

式(1)中，a₁.x表示a₁矩形区域左下角点的横坐标；a₁.y表示a₁矩形区域左下角点的纵坐标；a₁.w表示a₁矩形区域矩形框的宽度；a₁.h表示a₁矩形区域矩形框的高度；k表示系数，由车牌字符间距确定，汽车车牌第2和第3个字符间距为字符宽度1.75倍，其余字符间距为字符宽度1.26倍；ave_h表示图像中矩形框高度差的平均值；L[a]表示最左边的矩形框；L[a].x表示最左边的矩形框左下角点的横坐标；L[a].y表示最左边的矩形框左下角点的纵坐标；L[a].w表示最左边的矩形框的宽度；L[a].h表示最左边的矩形框的高度。

进一步的，在步骤(1.1)中，在最右边的矩形框的右边选取一个新的矩形区域，记为b₁矩形区域，b₁矩形区域的选取公式为(2)，

式(2)中，b₁.x表示b₁矩形区域左下角点的横坐标；b₁.y表示b₁矩形区域左下角点的纵坐标；b₁.w表示b₁矩形区域矩形框的宽度；b₁.h表示b₁矩形区域矩形框的高度；k表示系数，由车牌字符间距确定；ave_h表示图像中矩形框高度差的平均值；L[b]表示最左边的矩形框；L[b].x表示最左边的矩形框左下角点的横坐标；L[b].y表示最左边的矩形框左下角点的纵坐标；L[b].w表示最左边的矩形框的宽度；L[b].h表示最左边的矩形框的高度。

进一步的，在步骤(1.4)中，所述相邻矩形框的中心间距计算公式为(3)，

式(3)中，L[i+1].x和L[i].x为相邻两个矩形框域左下角点的横坐标L[i+1].w和L[i].w相邻两个矩形框的宽度，当dis[i]大于图像中矩形框最大宽度的2倍，则认为这两个矩形区域间缺失字符，按公式(1)补全字符。

进一步的，在所述步骤(1.5)中，根据车牌第2和第3个字符间距为字符宽度1.75倍，其余字符间距为字符宽度1.26倍这一原则，相邻矩形框中心间距判断公式为(4)，

式(4)中，L[i+1].x为相邻两个矩形框域左下角点的横坐标L[i].w相邻两个矩形框的宽度，当满足公式(4)判定i＝2，确定车牌中第2、第3个字符的位置。

进一步的，在步骤(1.6)中，取车牌字符不全则矩形框数量n＝5或6，采用下述规则补全丢失字符：

规则1：如果n等于6，那么增加外围矩形框，执行规则2；

规则2：如果此时n等于7，那么补全完毕；否则通过计算相邻字符间距补全；

规则3：如果n等于5，那么增加外围矩形框，执行规则4；

规则4：如果此时n等于6，那么执行规则1；否则执行规则5；

规则5：如果第2个特殊位置字符存在，那么通过计算相邻字符间距补全；否则执行规则6；

规则6：如果相邻两矩形框缺失字符，那么外侧增加矩形框补全；否则执行规则7；

规则7：在距离最左边矩形框1.7倍矩形框平均宽度处，按照步骤(1.1)中划分区域的方法连续补足两个矩形框；

按此规则可补全丢失的字符。

如图2-图3所述，为使用本发明前后对比的两张图，使用该发明前的存在缺失的字符提取与判别图如图2，其中“苏”字没有被提取与判别出来，在上图的基础上补全缺失字符的结果如图3，由以上两图对比可以看出，本发明补全了上图车牌中缺失的“苏”字，有效的解决了字符提取以及字符区域判别偏差导致的字符缺失问题，可用于优化车牌识别算法，提高车牌识别的准确率，更好的适应复杂工业环境场景下的车牌识别，实现高精度，高可靠性的车牌识别。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (1)

1.一种车牌识别中的缺失字符补全方法，其特征在于，具体步骤包括如下：

步骤(1.1)、将潜在的缺失字符划入字符区，对输入的字符区域外接矩形框从左到右进行排序，根据最左边矩形区域的边角及宽高度信息，分别在最左边和最右边划分两个新的矩形区域a₁与b₁；

步骤(1.2)、将a₁矩形区域与b₁矩形区域进行字符判别，若为字符区域，则保留，否则，祛除；

步骤(1.3)、若新的矩形区域a₁与b₁至少有一个以保留，则在新生成的一排矩形框左右两边继续取新区域，直到左右两边均取不到字符区域；

步骤(1.4)、根据相邻两个矩形框域左下角点坐标与宽度信息，计算相邻矩形框的中心间距，并据此判断两个矩形区域间是否缺失字符，并按步骤(1.1)补全字符；

步骤(1.5)、根据车牌第2和第3个字符间距与其余不同这一原则，对特殊位置字符进行检测，结合相邻矩形框中心间距，确定车牌中第2和第3个字符的位置；

步骤(1.6)、根据矩形框数量n分情况，采用排列组合的方法对缺失字符进行补全；

具体的，在步骤(1.1)中，在最左边的矩形框的左边选取a₁矩形区域的选取公式为式(1)，

式(1)中，a₁.x表示a₁矩形区域左下角点的横坐标；a₁.y表示a₁矩形区域左下角点的纵坐标；a₁.w表示a₁矩形区域矩形框的宽度；a₁.h表示a₁矩形区域矩形框的高度；k表示系数，由车牌字符间距确定，汽车车牌第2和第3个字符间距为字符宽度1.75倍，其余字符间距为字符宽度1.26倍；ave_h表示图像中矩形框高度差的平均值；L[a]表示最左边的矩形框；L[a].x表示最左边的矩形框左下角点的横坐标；L[a].y表示最左边的矩形框左下角点的纵坐标；L[a].w表示最左边的矩形框的宽度；L[a].h表示最左边的矩形框的高度；

在步骤(1.1)中，在最右边的矩形框的右边选取一个新的矩形区域，记为b₁矩形区域，b₁矩形区域的选取公式为(2)，

式(2)中，b₁.x表示b₁矩形区域左下角点的横坐标；b₁.y表示b₁矩形区域左下角点的纵坐标；b₁.w表示b₁矩形区域矩形框的宽度；b₁.h表示b₁矩形区域矩形框的高度；k表示系数，由车牌字符间距确定；ave_h表示图像中矩形框高度差的平均值；L[b]表示最左边的矩形框；L[b].x表示最左边的矩形框左下角点的横坐标；L[b].y表示最左边的矩形框左下角点的纵坐标；L[b].w表示最左边的矩形框的宽度；L[b].h表示最左边的矩形框的高度；

在步骤(1.4)中，所述相邻矩形框的中心间距计算公式为(3)，

式(3)中，L[i+1].x和L[i].x为相邻两个矩形框域左下角点的横坐标L[i+1].w和L[i].w相邻两个矩形框的宽度，当dis[i]大于图像中矩形框最大宽度的2倍，则认为这两个矩形区域间缺失字符，按公式(1)补全字符；

在所述步骤(1.5)中，根据车牌第2和第3个字符间距为字符宽度1.75倍，其余字符间距为字符宽度1.26倍这一原则，相邻矩形框中心间距判断公式为(4)，

式(4)中，L[i+1].x为相邻两个矩形框域左下角点的横坐标L[i].w相邻两个矩形框的宽度，当满足公式(4)判定i＝2，确定车牌中第2、第3个字符的位置；

在步骤(1.6)中，取车牌字符不全则矩形框数量n＝5或6，采用下述规则补全丢失字符：

规则1：如果n等于6，那么增加外围矩形框，执行规则2；

规则2：如果此时n等于7，那么补全完毕；否则通过计算相邻字符间距补全；

规则3：如果n等于5，那么增加外围矩形框，执行规则4；

规则4：如果此时n等于6，那么执行规则1；否则执行规则5；

规则5：如果第2个特殊位置字符存在，那么通过计算相邻字符间距补全；否则执行规则6；

规则6：如果相邻两矩形框缺失字符，那么外侧增加矩形框补全；否则执行规则7；

规则7：在距离最左边矩形框1.7倍矩形框平均宽度处，按照步骤(1.1)中划分区域的方法连续补足两个矩形框；

按此规则可补全丢失的字符。

Images