CN109034019B - 一种基于行分割线的黄色双行车牌字符分割方法 - Google Patents

Abstract

一种基于行分割线的黄色双行车牌字符分割方法，属于智能交通技术领域。它首先定位得到双行车牌的行分割线，进而通过车牌字符投影和字符连通域分析确定双行车牌的行分界线与各字符具体位置，最终按区域最大和字符等距双重准则，准确分割出车牌字符的方法。本发明通过采用上述技术，得到的基于行分割线的黄色双行车牌字符分割方法，充分考虑字符断裂、粘连问题，有效利用黄色双行车牌的先验知识，尤其是上下行结构信息，在字符等距准则下，综合调整上行车牌字符定位结果与下行车牌字符定位结果，在区域最大准则下实现分割结果微调，最终完成实际场景中黄色双行车牌的字符分割任务，对在污损车牌具有鲁棒性。

Description

一种基于行分割线的黄色双行车牌字符分割方法

技术领域

本发明涉及智能交通技术领域，具体是一种基于行分割线的黄色双行车牌字符分割方法，它首先定位得到双行车牌的行分割线，进而通过车牌字符投影和字符连通域分析确定双行车牌的行分界线与各字符具体位置，最终按区域最大和字符等距双重准则，准确分割出车牌字符的方法。

背景技术

近年来，随着交通网越扩越大，车辆安全问题愈发凸显其重要性。车牌作为车辆最重要的标识，如何对其进行有效的识别一直都是一个研究热题。车牌字符分割是车牌识别的前提，字符切割的准确与否直接影响到识别结果。随着图像处理技术的不断发展，多种车牌字符分割方法被提出：字符投影法，字符模板匹配法和字符连通域法。

投影法针对车牌二值图像，该方法根据车牌图像像素值的行跳变与列跳变情况确定具体的车牌字符位置。使用该方法的有：蒋肖(基于投影法与字符特征的车牌字符分割算法[J].无线互联科技,2012(4):146-147.)，闫兵(改进的基于投影的车牌字符分割算法[J].通信技术,2010,43(5):184-186.)等。对于单行车牌，统计车牌二值图中每列像素中白色像素点个数作为纵坐标值，列序号为横坐标值，再将所有点连接得到具有明显波峰波谷的折线图，这便是车牌二值图的垂直投影图。通过垂直投影图，容易确定各字符边界从而将其分割出来。但是对于双行车牌，两行的垂直投影图会相互干扰，最终使得车牌字符难以分割。

基于模板匹配的车牌字符分割是一种常用的算法，如陈寅鹏(复杂车辆图像中的车牌定位与字符分割方法[J].红外与激光工程,2004,33(1):29-33.)，苑玮琦(一种基于汉字结构特征的车牌照字符分割方法[J].仪器仪表学报,2003,24(z2):472-474.)等。该算法设计一个字符宽度的模板和一个字符间隔宽度的模板，通过在窗口中滑动，当字符模板内的像素值之和与间隔模板内的像素值之和比值达到最小时，找到字符分割点。相比于投影法，利用了车牌的先验知识，有效解决了车牌污损、字符断裂、粘连等问题，但需要提前知道车牌字符宽度，对定位要求高(当车牌边框去除情况不佳时，容易将边框认为时字符)，而且效率较低。

字符连通域法针对车牌二值图，该方法主要利用车牌字符与背景差异明显，字符具有单独连通域的情况，根据字符轮廓确定车牌字符位置。使用该方法的有：甘玲(基于连通域提取的车牌字符分割算法[J].计算机仿真,2011,28(4):336-339.)结合车牌字符大小相对固定、车牌某些字符位置相对固定的先验知识，可以解决部分车牌字符断裂、车牌具有一定倾斜度以至于投影法不能准确分割字符的情况。不管是单行车牌还是双行车牌，车牌字符轮廓一般都能确定下来，该方法不需要区分处理对象是单行或者双行。但是，该方法对车牌的要求较高，在车牌字符粘连或者断裂的情况下，该方法容易失效，因此并不适用于含有汉字的中国车牌。

因此，有学者提出综合水平投影、垂直投影和字符连通域的方法分割车牌字符，如李东新(基于投影和连通域法的双行结构车牌字符分割方法:CN,CN103400133A[P].2013.)。首先通过水平投影确定双行车牌的行分界线，将双行结构处理问题分解成单行结构处理问题，对单行结构的处理，先计算竖直方向的投影，确定左右边界，再在边界内计算连通域，对于宽度较大的连通域，则基于得到的投影进行进一步切分。这种方法简单易懂，但是并不总能找到行分割线。而且实际情况下黄色双行车牌通常有一定程度的污损或者被阴影所干扰，尤其是双行结构的第一行。

在国内，大型汽车后牌照、挂车号牌为黄底黑字双行车牌，这类车辆是交通拥堵，交通违规和交通事故的常客，因此提高黄色双行车牌的字符识别准确率意义重大。在实际场景中，双行车牌的字符分割存在诸多难题，如字符粘连、断裂、形变，车牌污损，车牌倾斜和车牌上残留阴影等。现有的方法(主要包括投影法和字符连通域法)应用于清晰的单行车牌能取得不错的效果，但是单独使用仍旧难以有效地解决实际应用中双行车牌字符的分割问题。而联合使用投影法和连通域法则增大计算开销。

对一张待处理的黄色车牌图像，首先要明确当前车牌是单行还是双行，由于国内车牌规格的多样性，单双行车牌需要用不同的分割方法进行分割。行分割线和车牌的宽高比都是单双行车牌的重要区分标志，前者在车牌倾斜、污损时难以确定具体位置，后者对车牌定位提出了高的要求。

发明内容

为克服现有技术的上述缺点，本发明的目的在于提供一种基于行分割线的黄色双行车牌字符分割方法。

所述的一种基于行分割线的黄色双行车牌字符分割方法，其特征在于包含如下步骤：

步骤1：将定位得到的车牌图像归一化到固定尺寸w*h，其中w表示图像宽度，h表示图像高度，单位均为像素；

步骤2：对车牌图像依次进行灰度化、灰度拉伸、中值滤波、OTSU二值化、水平倾斜矫正和垂直倾斜矫正，得到车牌二值图像记为I，并将图像I在像素坐标(x,y)处的灰度值记为I(x,y)；

步骤3：对图像I，定位双行车牌的行分割线，具体步骤为：

步骤3.1：设定图像感兴趣区域，具体如下：在图像I中选取定位行分割线的感兴趣区域R(x₁,y₁,x₂,y₂)，其中，(x₁,y₁)表示区域R左上角坐标，(x₂,y₂)表示区域R右下角坐标；

步骤3.2：基于感兴趣区域R计算图像的水平投影，得到集合H＝{x_i|i＝1,2,3…,n}，其中，x_i表示第i行的白色像素点个数，n表示投影区域的行数，即n＝y₂-y₁；

步骤3.3：从集合H中定位行分割线，具体如下：首先根据公式(1)计算得到所有的波谷集合V＝{(L_j,R_j)|j＝1,2,…,m}；从波谷集合V中挑选出符合式(2)的λ个波谷构成的集合B＝{(L_j,R_j)|j＝1,2,…,λ}，若集合B＝φ,则定位行分割线失败，跳转步骤8)，否则根据公式(3)将集合B中元素一一映射到集合Y＝{l_i|i＝1,2,…,λ}，然后根据公式(4)从Y中选出使dec取最小值的元素作为行分割线L_cut；

T_min<|R_j-L_j|<T_max，j＝1,2,...,m (2)

dec＝|l_j-H_cut|,j＝1,2,...,λ (4)

其中，T_bg表示波谷阈值，x_k为集合H中第k个元素，L_j表示波谷j的左边界，R_j表示波谷j的右边界，T_min表示波谷最小宽度，T_max表示波谷最大宽度，l_j表示集合B中第j个元素对应的分割线表达式，H_cut表示水平分割线位置的经验值，dec表示集合Y中第j个元素与水平分割线经验值的误差；

步骤4：对图像I进行黄色双行车牌字符粗分割，具体步骤为：

步骤4.1：在图像I的上下左右边界位置分别添加s个像素的黑色掩膜，得到图像G；再根据步骤3中得到的行分割线L_cut将G分为上下两部分，分别为G_up和G_down，用w_u和h_u分别表示G_up的宽和高，用w_d和h_d分别表示G_down的宽和高；

步骤4.2：对G_down进行形态学开运算，然后提取图像中所有满足条件的连通域，按序构建由其最小外接矩形所组成的集合C；

步骤4.3：预处理集合C中的元素，得到车牌下半部分的粗分割字符集合，具体如下：循环遍历C中所有的元素，记Rect_i和Rect_i+1为两相邻元素，若满足下列条件之一：1)|Rect_i.x-Rect_i+1.x|<β；2)|Rect_i+1.x-Rect_i.x|<β；3)|Rect_i.y+Rect_i.h-Rect_i+1.y|<β；4)|Rect_i+1.y+Rect_i+1.h-Rect_i.y|<β，则将二者合并为一个元素，将合并后元素的最小外接矩形加入到新的集合C₁，直到集合C₁的元素个数不再增加，记C₁＝{c_j|j＝1,2,…,n_c1}；其中，n_c1表示C₁中的元素个数，β表示断裂阈值；

步骤4.4：计算得到车牌上半部分的粗分割字符集合，具体如下：首先用K_5x5卷积核对G_up进行形态学闭运算，然后基于感兴趣区域R₂(x₃,y₃,x₄,y₄)对G_up计算竖直投影，接着利用与步骤3相同的原理寻找投影图中的波峰及其左右边界，然后取波峰宽度作为元素宽度，取高度为1，得到集合C₂＝{c_j|j＝1,2,…,n_c2}，若n_c2＝0，则跳转步骤8)；若n_c2＝1,则跳转步骤6)；否则，按序执行步骤5)；其中，n_c2表示C₂中的元素个数，K_5x5表示卷积核尺寸为5×5，(x₃,y₃)表示区域R₂左上角坐标，(x₄,y₄)表示区域R₂右下角坐标；

步骤5：利用字符等间距准则，对粗分割结果C₁和C₂进行调优，具体步骤为：

步骤5.1：过滤上行车牌字符集合C₂，具体如下：记C₁所有元素的最小左边界和最大有边界分别为L_c1，R_c1；若n_c2＝2，将C₂中的元素加入到集合C₃中；根据公式(5)，从C₂中选出使dis<T_d的所有元素对(c_i,c_j)，构成新的集合Pair＝{(c_i,c_j)|1≤i<j≤n_c2}，然后根据公式(6)，将使mo取最小值的(c_i,c_j)加入到集合C₃中；若C₃为空集，则跳转步骤8)，否则，继续执行步骤5.2)；

其中，c_i和c_j为集合C₂的元素，且1≤i<j≤n_c2，n_c2表示C₂中的元素个数；

步骤5.2：过滤下行车牌字符集合C₁，具体如下：集合C₃中有且仅有两个元素矩形框，计算两矩形框的形心P_o1和P_o2，连接P_o1和P_o2得到连线段L_c，记线段L_c中点为P_u，长度为D_u，过P_o1和P_o2分别作两条垂线L_ul和L_ur，过L_c作中垂线L_u；对集合C₁，首先找到与L_u相交的所有元素，将其加入到集合C₄中，记集合C₄的元素个数为n_C4，若n_C4＝0，则跳转步骤8)，否则，继续执行下面的操作；接着找到与L_ul和L_ur相交的左顶点纵坐标较小的元素，将其加入到集合C₄中，若n_C4＝1或n_C4>2，则跳转步骤8)；若n_C4＝2，则以集合C₄的第一个元素矩形框R_C41的形心P_C41为对称中心，生成另一个元素R_C42的对称元素R_C43，并将R_C43加入集合C₄；然后分别以R_C42和R_C43为中心，生成第一个元素R_C41的对称元素R_C44和R_C45；若R_C44或R_C45与集合C₁中的所有元素矩形无重叠部分，则跳转步骤8)，否则将R_C44与R_C45加入到集合C₄；

步骤5.3：对二次分割结果C₃和C₄执行归一化操作，具体如下：首先，对集合C₄，按去掉一个最小值和一个最大值的策略，分别计算得到C₄中剩余元素矩形的平均宽度

与高度

接着，对C₄中每一个元素矩形c_i，以元素矩形框中心点

为标准，分别向上下扩展

向左右扩展

得到新矩形

用新生成的矩形

代替原矩形c_i；然后，对集合C₃，按由黄色双行车牌规格推导得到的公式(7)，计算得到第一行车牌字符的宽度

与高度

最后，对C₄中所有元素矩形，以元素矩形框中心点为标准，分别向上扩展

向左右扩展

用新生成的矩形代替原矩形，跳转到步骤7)；

步骤6：在步骤4.4)粗分割失败的情况下，更换分割策略，首先对G_down的分割结果进行调整，然后重定位G_up中的字符，得到集合C₇＝{O_d1,O_d2}；

步骤7：利用区域最大准则完成最终分割，具体如下：定义集合C_u为集合C₃和C₇中非空的集合，C_d为集合C₄和C₆中非空的集合；首先取Image＝G_up，对

基于c_Ou得到集合C_su＝{c_i|c_i.x＝c_Ou.x+2*(i-5)&&c_i.y＝c_Ou.y+2(i-5)&&c_i.w＝c_Ou.w&&c_i.h＝c_Ou.h，i＝1,2,…,9}；对所有c_Nu∈C_su，将c_Nu代入式(12)中的roi，计算得到对应的P_w；选择使得P_w取最大值的c_Nu替换原集合C_u中的c_Ou；然后取Image＝G_down，对

基于c_Od得到集合C_sd＝{c_i|c_i.x＝c_Od.x+2*(i-3)&&c_i.y＝c_Od.y+2(i-5)&&c_i.w＝c_Ou.w&&c_i.h＝c_Ou.h，i＝1,2,…,9}；对所有c_Nd∈C_sd，将c_Nd代入式(11)中的roi，计算得到对应的P_w；选择使得P_w取最大值的c_Nd替换原集合C_d中的c_Od；

其中，Copy(Image,roi)表示从Image裁剪roi区域，得到I_roi子图，I_roi.w和I_roi.h分别表示子图I_roi的宽和高，NZC(I_roi)表示对图像I_roi统计非零像素点个数，P_w表示子图I_roi得中非零像素占比；

步骤8：取最终字符分割结果集合C_f＝C_u∪C_d，若C_f＝φ，或者C_f集合元素个数不等于7，则分割失败，否则按集合C_f裁剪G上对应的子图，得到字符分割结果。

所述的一种基于行分割线的黄色双行车牌字符分割方法，其特征在于步骤4.2)中的按序构建由其最小外接矩形所组成的集合C的具体过程如下：找到所有字符连通域的最小外接矩形，构成集合C＝{c_i|i＝1,2,…,n_c}，集合C必须满足条件：1)T_a<Area(c_i)<w*h/10；2)集合内元素按c_i.x从小到大排序；c_i.x,c_i.y,c_i.w和c_i.h分别表示C中第i个最小外接矩形c_i的左上角横坐标、左上角纵坐标、宽度和高度，T_a表示字符矩形最小面积，Area(c_i)表示c_i的面积。

所述的一种基于行分割线的黄色双行车牌字符分割方法，其特征在于步骤6中的更换分割策略得到集合C₇＝{O_d1,O_d2}，具体步骤如下：

步骤6.1：首先用K_3x3卷积核对G_down进行形态学闭运算，然后基于感兴趣区域R₃(x₅,y₅,x₆,y₆)对G_down计算竖直投影，接着在去掉最小高度和最大高度后计算集合C₁中元素的平均高度

再利用与步骤3)相同的原理寻找投影图中的波峰及其左右边界，然后取波峰左边界为元素矩形左上角横坐标，取0为元素矩形左上角纵坐标，取波峰左右边界截距作为元素矩形的宽度，取

为元素矩形的高度，得到集合C₅＝{c_j|j＝1,2,…,n_c5}；其中，(x₅,y₅)表示区域R₃左上角坐标，(x₆,y₆)表示区域R₃右下角坐标；

步骤6.2：若n_c1<n_c5，遍历集合C₁与集合C₅的元素，按公式(8)整合得到集合C₆＝{c_i|i＝1,2,…,n_c6}；若n_c1≥n_c5，C₆＝C₁；

其中，∩运算表示取两矩形区域的重叠部分矩形；

步骤6.3：将集合C₆调整到n_c6＝5，具体如下：若n_c6<5，根据现有元素矩形的间距，向集合C₆插入新元素矩形，插入的约束条件如下：1)各元素矩形不重叠；2)元素矩形不超出图像边界；3)有多种插值方案时，选取插入后构成的五个矩形区域总面积占比最大的一种；4)新插入的元素矩形高度为现有元素的平均值；5)新插入的元素矩形宽度为现有元素的平均值；若n_c6>5，计算元素左边界最小值和右边界最大值和平均高度，按公式(9)生成5个等宽高的新元素重新构建集合C₆＝{b₁,b₂,b₃,b₄,b₅}；

其中，d表示字符区域的等分间距，l_m表示C₆所有元素矩形的最小左边界，r_m表示C₆所有元素矩形的最大右边界，h_avg表示集合C₆内所有元素矩形的平均高度，Rtg(p₁,p₂,p₃,p₄)用于矩形的记法，p₁、p₂、p₃和p₄从依次表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度，b_i表示一个矩形元素；

步骤6.4：基于集合C₆构建第一行字符集合C₇，具体如下：首先，对集合C₆，按去掉一个最小值和一个最大值的策略，计算得到C₆中剩余元素的平均宽度

与高度

接着，对C₆中所有元素矩形，以元素矩形框中心点为标准，分别向上下扩展

向左右扩展

用新生成的矩形代替原矩形；然后利用公式(10)和(11)计算得O_d1和O_d2并加入新的集合C₇，即C₇＝{O_d1,O_d2}：

其中，O_d1和O_d2分别表示两个字符的最小外接矩形，c_o2和c_o4分别表示集合C₆的第2和第4个元素。

本发明的优点是：本发明充分考虑字符断裂、粘连问题，能有效利用黄色双行车牌的先验知识，尤其是上下行结构信息，在字符等距准则下，综合调整上行车牌字符定位结果与下行车牌字符定位结果，在区域最大准则下实现分割结果微调，最终完成实际场景中黄色双行车牌的字符分割任务，对在污损车牌具有鲁棒性。

附图说明

图1为本发明的经过步骤1处理的黄色双行车牌图像；

图2为本发明的经过步骤2处理的黄色双行车牌图像；

图3为本发明的经过步骤3.2处理的车牌局部水平方向投影图像；

图4为本发明的经过步骤4.2处理的车牌下半部分字符轮廓定位图像；

图5为本发明的经过步骤4.4处理的车牌上半部分局部竖直方向投影图像；

图6为本发明的经过步骤7处理的车牌字符定位图像；

图7为本发明的经过步骤8处理的最终车牌字符切割结果图像。

具体实施方式

下面结合实施例来详细阐述本发明的基于行分割线的黄色双行车牌字符分割方法的具体实施方式。

本发明的基于行分割线的黄色双行车牌字符分割方法，包括如下步骤：

步骤1：将定位得到的车牌图像归一化到固定尺寸w*h，其中w表示图像宽度，h表示图像高度，单位均为像素，如图1所示；在本实例中w＝220，h＝110；

步骤2：对车牌图像依次进行灰度化、灰度拉伸、中值滤波、OTSU二值化、水平倾斜矫正和垂直倾斜矫正，得到车牌二值图像记为I，并将图像I在像素坐标(x,y)处的灰度值记为I(x,y)，如图2所示；

步骤3：对图像I，定位双行车牌的行分割线，具体步骤为：

步骤3.1：设定图像感兴趣区域(RegionOfInterests，ROI)，具体如下：在I中选取定位行分割线的感兴趣区域R(x₁,y₁,x₂,y₂)，其中，(x₁,y₁)表示区域R左上角坐标，(x₂,y₂)表示区域右下角坐标；在本实例中，

步骤3.2：基于感兴趣区域R计算图像的水平投影，如图3所示，得到集合H＝{x_i|i＝1,2,3…,n}，其中，x_i表示第i行的白色像素点个数，n表示投影区域的行数，即n＝y₂-y₁；

步骤3.3：从集合H中定位行分割线，具体如下：首先根据公式(1)计算得到所有的波谷集合V＝{(L_j,R_j)|j＝1,2,…,m}；从V中挑选出符合式(2)的λ个波谷构成的集合B＝{(L_j,R_j)|j＝1,2,…,λ}，集合V的元素个数为m，集合B为满足公式(2)的集合V的子集，集合B的元素个数记λ；若集合B＝φ,则定位行分割线失败，跳转步骤8)，否则根据公式(3)将集合B中元素一一映射到集合Y＝{l_i|i＝1,2,…,λ}，以垂直投影直方图为例(实际上这里是求水平投影直方图，目的是通过波谷定位双行车牌的行分割线)：每个波谷都由左右边界构成，即(L_j，R_j)，而通过公式(3)即得到波谷的中心位置。因为这是基于ROI区域的，所以公式(3)中加上了y₁；然后根据公式(4)从Y中选出使dec取最小值的元素作为行分割线L_cut；

T_min<|R_j-L_j|<T_max，j＝1,2,...,m (2)

dec＝|l_j-H_cut|,j＝1,2,...,λ (4)

其中，T_bg表示波谷阈值，x_k为集合H中第k个元素，L_j表示波谷j的左边界，R_j表示波谷j的右边界，T_min表示波谷最小宽度，T_max表示波谷最大宽度，l_j表示集合B中第j个元素对应的分割线表达式，H_cut表示水平分割线位置的经验值，dec表示集合Y中第j个元素与水平分割线经验值的误差；在本实例中，T_bg＝h/10，T_max＝30，T_min＝3，H_cut＝0.4*h；

步骤4：对I进行黄色双行车牌字符粗分割，具体步骤为：

步骤4.1：在I的上下左右边界位置分别添加s个像素的黑色掩膜，得到图像G；再根据上一步骤中得到的行分割线L_cut将G分为上下两部分，分别为G_up和G_down，用w_u和h_u分别表示G_up的宽和高，用w_d和h_d分别表示G_down的宽和高；

步骤4.2：对G_down进行形态学开运算，然后提取图像中所有满足条件的连通域，按序构建由其最小外接矩形所组成的集合，如图4所示，具体如下：找到所有字符连通域的最小外接矩形，构成集合C＝{c_i|i＝1,2,…,n_c}，集合C必须满足条件：1)T_a<Area(c_i)<w*h/10；2)集合内元素按c_i.x从小到大排序；c_i.x,c_i.y,c_i.w和c_i.h分别表示C中第i个最小外接矩形c_i的左上角横坐标、左上角纵坐标、宽度和高度，下文出现的c_i.x,c_i.y,c_i.w和c_i.h均具有相同含义，T_a表示字符矩形最小面积，Area(c_i)表示c_i的面积；在本实例中，T_a＝100；

步骤4.3：预处理集合C中的元素，得到车牌下半部分的粗分割字符集合，具体如下：循环遍历C中所有的元素，记Rect_i和Rect_i+1为两相邻元素，若满足下列条件之一：1)|Rect_i.x-Rect_i+1.x|<β；2)|Rect_i+1.x-Rect_i.x|<β；3)|Rect_i.y+Rect_i.h-Rect_i+1.y|<β；4)|Rect_i+1.y+Rect_i+1.h-Rect_i.y|<β，则将二者合并为一个元素，将并包含者的最小外接矩形加入到新的集合C₁，直到集合C₁的元素个数不再增加，记C₁＝{c_j|j＝1,2,…,n_c1}；其中，n_c1表示C₁中的元素个数，β表示断裂阈值；在本实例中，

步骤4.4：计算得到车牌上半部分的粗分割字符集合，具体如下：首先用K_5x5卷积核对G_up进行形态学闭运算，然后基于感兴趣区域R₂(x₃,y₃,x₄,y₄)对G_up计算竖直投影，如图5所示，接着利用与步骤3)相同的原理寻找投影图中的波峰及其左右边界，然后取波峰宽度作为元素宽度，取高度为1，得到集合C₂＝{c_j|j＝1,2,…,n_c2}，若n_c2＝0，则跳转步骤8；若n_c2＝1,则跳转步骤6)；否则，按序执行步骤5)；其中，n_c2表示C₂中的元素个数，K_5x5表示卷积核尺寸为5×5，(x₃,y₃)表示区域R₂左上角坐标，(x₄,y₄)分别表示区域右下角坐标；在本实例中，

y₄＝h_u；

步骤5：利用字符等间距准则，对粗分割结果C₁和C₂进行调优，具体步骤为：

步骤5.1：过滤上行车牌字符集合C₂，具体如下：记C₁所有元素的最小左边界和最大有边界分别为L_c1，R_c1；若n_c2＝2，将C₂中的元素加入到集合C₃中；根据公式(5)，从C₂中选出使dis<T_d的所有元素对(c_i,c_j)，构成新的集合Pair＝{(c_i,c_j)|1≤i<j≤n_c2}，然后根据公式(6)，将使mo取最小值的(c_i,c_j)加入到集合C₃中；若C₃为空集，则跳转步骤8)，否则，继续执行步骤5.2)；

其中，c_i和c_j为集合C₂的元素，且1≤i<j≤n_c2，n_c2表示C₂中的元素个数；

步骤5.2：过滤下行车牌字符集合C₁，具体如下：集合C₃中有且仅有两个元素矩形框，计算两矩形框的形心P_o1和P_o2，连接P_o1和P_o2得到连线段L_c，记线段L_c中点为P_u，长度为D_u，过P_o1和P_o2分别作两条垂线L_ul和L_ur，过L_c作中垂线L_u；对集合C₁，首先找到与L_u相交的所有元素，将其加入到集合C₄中，记集合C₄的元素个数为n_C4，若n_C4＝0，则跳转步骤8)；接着找到与L_ul和L_ur相交的左顶点纵坐标较小的元素，将其加入到集合C₄中，若n_C4＝1或n_C4>2，则跳转步骤8，否则，继续执行下面的操作；若n_C4＝2，则以集合C₄的第一个元素矩形框R_C41的形心P_C41为对称中心，生成另一个元素R_C42的对称元素R_C43，并将R_C43加入集合C₄；然后分别以R_C42和R_C43为中心，生成第一个元素R_C41的对称元素R_C44和R_C45；若R_C44或R_C45与集合C₁中的所有元素矩形无重叠部分，则跳转步骤8，否则将R_C44与R_C45加入到集合C₄；

步骤5.3：对二次分割结果C₃和C₄执行归一化操作，具体如下：首先，对集合C₄，按去掉一个最小值和一个最大值的策略，分别计算得到C₄中剩余元素矩形的平均宽度

与高度

接着，对C₄中每一个元素矩形，以元素矩形框中心点

为标准，分别向上下扩展

向左右扩展

得到新矩形

用新生成的矩形

代替原矩形c_i(根据任何一个矩形都由左上角横坐标、纵坐标、宽度和高度唯一确定，新矩形

以原矩形c_i的形心为原点，向上下左右四个方向外扩得到，实现矩阵的标准归一化)；然后，对集合C₃，按由黄色双行车牌规格推导得到的公式(7)，计算得到第一行车牌字符的宽度

与高度

最后，对C₄中所有元素矩形，以元素矩形框中心点为标准，分别向上扩展

向左右扩展

用新生成的矩形代替原矩形，跳转到步骤7)；

步骤6：在步骤4.4)粗分割失败的情况下，更换分割策略，首先对G_down的分割结果进行调整，然后重定位G_up中的字符，得到集合C₇＝{O_d1,O_d2}，具体如下：

步骤6.1：首先用K_3x3卷积核对G_down进行形态学闭运算，然后基于感兴趣区域R₃(x₅,y₅,x₆,y₆)对G_down计算竖直投影，接着在去掉最小高度和最大高度后计算集合C₁中元素的平均高度

再利用与步骤3相同的原理寻找投影图中的波峰及其左右边界，然后取波峰左边界为元素矩形左上角横坐标，取0为元素矩形左上角纵坐标，取波峰左右边界截距作为元素矩形的宽度，取

为元素矩形的高度，得到集合C₅＝{c_j|j＝1,2,…,n_c5}；其中，(x₅,y₅)表示区域R₃左上角坐标，(x₆,y₆)表示区域R₃右下角坐标；在本实例中，

y₆＝h_d；

步骤6.2：若n_c1<n_c5，遍历集合C₁与集合C₅的元素，按公式(8)整合得到集合C₆＝{c_i|i＝1,2,…,n_c6}；若n_c1≥n_c5，C₆＝C₁；

其中，∩运算表示取两矩形区域的重叠部分矩形；

步骤6.3：将集合C₆调整到n_c6＝5，具体如下：若n_c6<5，根据现有元素矩形的间距，向集合C₆插入新元素矩形，插入的约束条件如下：1)各元素矩形不重叠；2)元素矩形不超出图像边界；3)有多种插值方案时，选取插入后构成的五个矩形区域总面积占比最大的一种；4)新插入的元素矩形高度为现有元素的平均值；5)新插入的元素矩形宽度为现有元素的平均值；若n_c6>5，计算元素左边界最小值和右边界最大值和平均高度，按公式(9)生成5个等宽高的新元素重新构建集合C₆＝{b₁,b₂,b₃,b₄,b₅}；

其中，d表示字符区域的等分间距，l_m表示C₆所有元素矩形的最小左边界，r_m表示C₆所有元素矩形的最大右边界，h_avg表示集合C₆内所有元素矩形的平均高度，Rtg(p₁,p₂,p₃,p₄)用于矩形的记法，p₁、p₂、p₃和p₄从依次表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度，b_i表示一个矩形元素；

步骤6.4：基于集合C₆构建第一行字符集合C₇，具体如下：首先，对集合C₆，按去掉一个最小值和一个最大值的策略，计算得到C₆中剩余元素的平均宽度

与高度

接着，对C₆中所有元素矩形，以元素矩形框中心点为标准，分别向上下扩展

向左右扩展

用新生成的矩形代替原矩形；然后利用公式(10)和(11)计算得O_d1和O_d2并加入新的集合C₇，即C₇＝{O_d1,O_d2}：

其中，O_d1和O_d2分别表示两个字符的最小外接矩形，c_o2和c_o4分别表示集合C₆的第2和第4个元素；

步骤7：利用区域最大准则完成最终分割，如图6所示，具体如下：定义集合C_u为集合C₃和C₇中非空的集合，C_d为集合C₄和C₆中非空的集合；首先取Image＝G_up，对

基于c_Ou得到集合C_su＝{c_i|c_i.x＝c_Ou.x+2*(i-5)&&c_i.y＝c_Ou.y+2(i-5)&&c_i.w＝c_Ou.w&&c_i.h＝c_Ou.h，i＝1,2,…,9}；对所有c_Nu∈C_su，将c_Nu代入式(12)中的roi，计算得到对应的P_w；选择使得P_w取最大值的c_Nu替换原集合C_u中的c_Ou；然后取Image＝G_down，对

基于c_Od得到集合C_sd＝{c_i|c_i.x＝c_Od.x+2*(i-3)&&c_i.y＝c_Od.y+2(i-5)&&c_i.w＝c_Ou.w&&c_i.h＝c_Ou.h，i＝1,2,…,9}；对所有c_Nd∈C_sd，将c_Nd代入式(11)中的roi，计算得到对应的P_w；选择使得P_w取最大值的c_Nd替换原集合C_d中的c_Od；

其中，Copy(Image,roi)表示从Image裁剪roi区域，得到I_roi子图，I_roi.w和I_roi.h分别表示子图I_roi的宽和高，NZC(I_roi)表示对图像I_roi统计非零像素点个数，P_w表示子图I_roi得中非零像素占比；

步骤8：取最终字符分割结果集合C_f＝C_u∪C_d，若

或者C_f集合元素个数不等于7，则分割失败，否则按集合C_f裁剪G上对应的子图，得到字符分割结果，如图7所示。

Claims (3)

1.一种基于行分割线的黄色双行车牌字符分割方法，其特征在于包含如下步骤：

步骤1：将定位得到的车牌图像归一化到固定尺寸w*h，其中w表示图像宽度，h表示图像高度，单位均为像素；

步骤2：对车牌图像依次进行灰度化、灰度拉伸、中值滤波、OTSU二值化、水平倾斜矫正和垂直倾斜矫正，得到车牌二值图像记为I，并将图像I在像素坐标(x,y)处的灰度值记为I(x,y)；

步骤3：对图像I，定位双行车牌的行分割线，具体步骤为：

步骤3.1：设定图像感兴趣区域，具体如下：在图像I中选取定位行分割线的感兴趣区域R(x₁,y₁,x₂,y₂)，其中，(x₁,y₁)表示区域R左上角坐标，(x₂,y₂)表示区域R右下角坐标；

步骤3.2：基于感兴趣区域R计算图像的水平投影，得到集合H＝{x_i|i＝1,2,3…,n}，其中，x_i表示第i行的白色像素点个数，n表示投影区域的行数，即n＝y₂-y₁；

步骤3.3：从集合H中定位行分割线，具体如下：首先根据公式(1)计算得到所有的波谷集合V＝{(L_j,R_j)|j＝1,2,…,m}；从波谷集合V中挑选出符合式(2)的λ个波谷构成的集合B＝{(L_j,R_j)|j＝1,2,…,λ}，若集合

则定位行分割线失败，跳转步骤8)，否则根据公式(3)将集合B中元素一一映射到集合Y＝{l_i|i＝1,2,…,λ}，然后根据公式(4)从Y中选出使dec取最小值的元素作为行分割线L_cut；

T_min＜|R_j-L_j|＜T_max，j＝1,2,...,m (2)

dec＝|l_j-H_cut|,j＝1,2,...,λ (4)

其中，T_bg表示波谷阈值，x_k为集合H中第k个元素，L_j表示波谷j的左边界，R_j表示波谷j的右边界，T_min表示波谷最小宽度，T_max表示波谷最大宽度，l_j表示集合B中第j个元素对应的分割线表达式，H_cut表示水平分割线位置的经验值，dec表示集合Y中第j个元素与水平分割线经验值的误差；

步骤4：对图像I进行黄色双行车牌字符粗分割，具体步骤为：

步骤4.1：在图像I的上下左右边界位置分别添加s个像素的黑色掩膜，得到图像G；再根据步骤3中得到的行分割线L_cut将G分为上下两部分，分别为G_up和G_down，用w_u和h_u分别表示G_up的宽和高，用w_d和h_d分别表示G_down的宽和高；

步骤4.2：对G_down进行形态学开运算，然后提取图像中所有满足条件的连通域，按序构建由其最小外接矩形所组成的集合C；

步骤4.3：预处理集合C中的元素，得到车牌下半部分的粗分割字符集合，具体如下：循环遍历C中所有的元素，记Rect_i和Rect_i+1为两相邻元素，若满足下列条件之一：1)|Rect_i.x-Rect_i+1.x|<β；2)|Rect_i+1.x-Rect_i.x|<β；3)|Rect_i.y+Rect_i.h-Rect_i+1.y|<β；4)|Rect_i+1.y+Rect_i+1.h-Rect_i.y|<β，则将二者合并为一个元素，将合并后元素的最小外接矩形加入到新的集合C₁，直到集合C₁的元素个数不再增加，记C₁＝{c_j|j＝1,2,…,n_c1}；其中，n_c1表示C₁中的元素个数，β表示断裂阈值；

步骤4.4：计算得到车牌上半部分的粗分割字符集合，具体如下：首先用K_5x5卷积核对G_up进行形态学闭运算，然后基于感兴趣区域R₂(x₃,y₃,x₄,y₄)对G_up计算竖直投影，接着利用与步骤3)相同的原理寻找投影图中的波峰及其左右边界，然后取波峰宽度作为元素宽度，取高度为1，得到集合C₂＝{c_j|j＝1,2,…,n_c2}，若n_c2＝0，则跳转步骤8；若n_c2＝1,则跳转步骤6)；否则，按序执行步骤5)；其中，n_c2表示C₂中的元素个数，K_5x5表示卷积核尺寸为5×5，(x₃,y₃)表示区域R₂左上角坐标，(x₄,y₄)表示区域R₂右下角坐标；

步骤5：利用字符等间距准则，对粗分割结果C₁和C₂进行调优，具体步骤为：

步骤5.1：过滤上行车牌字符集合C₂，具体如下：记C₁所有元素的最小左边界和最大有边界分别为L_c1，R_c1；若n_c2＝2，将C₂中的元素加入到集合C₃中；根据公式(5)，从C₂中选出使dis<T_d的所有元素对(c_i,c_j)，构成新的集合Pair＝{(c_i,c_j)|1≤i<j≤n_c2}，然后根据公式(6)，将使mo取最小值的(c_i,c_j)加入到集合C₃中；若C₃为空集，则跳转步骤8)，否则，继续执行步骤5.2)；

其中，c_i和c_j为集合C₂的元素，且1≤i<j≤n_c2，n_c2表示C₂中的元素个数；

步骤5.2：过滤下行车牌字符集合C₁，具体如下：集合C₃中有且仅有两个元素矩形框，计算两矩形框的形心P_o1和P_o2，连接P_o1和P_o2得到连线段L_c，记线段L_c中点为P_u，长度为D_u，过P_o1和P_o2分别作两条垂线L_ul和L_ur，过L_c作中垂线L_u；对集合C₁，首先找到与L_u相交的所有元素，将其加入到集合C₄中，记集合C₄的元素个数为n_C4，若n_C4＝0，则跳转步骤8)，否则，继续执行下面的操作；接着找到与L_ul和L_ur相交的左顶点纵坐标较小的元素，将其加入到集合C₄中，若n_C4＝1或n_C4>2，则跳转步骤8)；若n_C4＝2，则以集合C₄的第一个元素矩形框R_C41的形心P_C41为对称中心，生成另一个元素R_C42的对称元素R_C43，并将R_C43加入集合C₄；然后分别以R_C42和R_C43为中心，生成第一个元素R_C41的对称元素R_C44和R_C45；若R_C44或R_C45与集合C₁中的所有元素矩形无重叠部分，则跳转步骤8)，否则将R_C44与R_C45加入到集合C₄；

步骤5.3：对二次分割结果C₃和C₄执行归一化操作，具体如下：首先，对集合C₄，按去掉一个最小值和一个最大值的策略，分别计算得到C₄中剩余元素矩形的平均宽度

与高度

接着，对C₄中每一个元素矩形c_i，以元素矩形框中心点

为标准，分别向上下扩展

向左右扩展

得到新矩形

用新生成的矩形

代替原矩形c_i；然后，对集合C₃，按由黄色双行车牌规格推导得到的公式(7)，计算得到第一行车牌字符的宽度

与高度

最后，对C₄中所有元素矩形，以元素矩形框中心点为标准，分别向上扩展

向左右扩展

用新生成的矩形代替原矩形，跳转到步骤7)；

步骤6：在步骤4.4)粗分割失败的情况下，更换分割策略，首先对G_down的分割结果进行调整，然后重定位G_up中的字符，得到集合C₇＝{O_d1,O_d2}；

步骤7：利用区域最大准则完成最终分割，具体如下：定义集合C_u为集合C₃和C₇中非空的集合，C_d为集合C₄和C₆中非空的集合；首先取Image＝G_up，对

基于c_Ou得到集合C_su＝{c_i|c_i.x＝c_Ou.x+2*(i-5)&&c_i.y＝c_Ou.y+2(i-5)&&c_i.w＝c_Ou.w&&c_i.h＝c_Ou.h，i＝1,2,…,9}；对所有c_Nu∈C_su，将c_Nu代入式(12)中的roi，计算得到对应的P_w；选择使得P_w取最大值的c_Nu替换原集合C_u中的c_Ou；然后取Image＝G_down，对

基于c_Od得到集合C_sd＝{c_i|c_i.x＝c_Od.x+2*(i-3)&&c_i.y＝c_Od.y+2(i-5)&&c_i.w＝c_Ou.w&&c_i.h＝c_Ou.h，i＝1,2,…,9}；对所有c_Nd∈C_sd，将c_Nd代入式(11)中的roi，计算得到对应的P_w；选择使得P_w取最大值的c_Nd替换原集合C_d中的c_Od；

其中，Copy(Image,roi)表示从Image裁剪roi区域，得到I_roi子图，I_roi.w和I_roi.h分别表示子图I_roi的宽和高，NZC(I_roi)表示对图像I_roi统计非零像素点个数，P_w表示子图I_roi得中非零像素占比；

步骤8：取最终字符分割结果集合C_f＝C_u∪C_d，若

或者C_f集合元素个数不等于7，则分割失败，否则按集合C_f裁剪G上对应的子图，得到字符分割结果。

2.根据权利要求1所述的一种基于行分割线的黄色双行车牌字符分割方法，其特征在于步骤4.2)中的按序构建由其最小外接矩形所组成的集合C的具体过程如下：找到所有字符连通域的最小外接矩形，构成集合C＝{c_i|i＝1,2,…,n_c}，集合C必须满足条件：1)T_a<Area(c_i)<w*h/10；2)集合内元素按c_i.x从小到大排序；c_i.x,c_i.y,c_i.w和c_i.h分别表示C中第i个最小外接矩形c_i的左上角横坐标、左上角纵坐标、宽度和高度，T_a表示字符矩形最小面积，Area(c_i)表示c_i的面积。

3.根据权利要求1所述的一种基于行分割线的黄色双行车牌字符分割方法，其特征在于步骤6中的更换分割策略得到集合C₇＝{O_d1,O_d2}，具体步骤如下：

步骤6.1：首先用K_3x3卷积核对G_down进行形态学闭运算，然后基于感兴趣区域R₃(x₅,y₅,x₆,y₆)对G_down计算竖直投影，接着在去掉最小高度和最大高度后计算集合C₁中元素的平均高度

再利用与步骤3)相同的原理寻找投影图中的波峰及其左右边界，然后取波峰左边界为元素矩形左上角横坐标，取0为元素矩形左上角纵坐标，取波峰左右边界截距作为元素矩形的宽度，取

为元素矩形的高度，得到集合C₅＝{c_j|j＝1,2,…,n_c5}；其中，(x₅,y₅)表示区域R₃左上角坐标，(x₆,y₆)表示区域R₃右下角坐标；

步骤6.2：若n_c1<n_c5，遍历集合C₁与集合C₅的元素，按公式(8)整合得到集合C₆＝{c_i|i＝1,2,…,n_c6}；若n_c1≥n_c5，C₆＝C₁；

其中，∩运算表示取两矩形区域的重叠部分矩形；

步骤6.3：将集合C₆调整到n_c6＝5，具体如下：若n_c6<5，根据现有元素矩形的间距，向集合C₆插入新元素矩形，插入的约束条件如下：1)各元素矩形不重叠；2)元素矩形不超出图像边界；3)有多种插值方案时，选取插入后构成的五个矩形区域总面积占比最大的一种；4)新插入的元素矩形高度为现有元素的平均值；5)新插入的元素矩形宽度为现有元素的平均值；若n_c6>5，计算元素左边界最小值和右边界最大值和平均高度，按公式(9)生成5个等宽高的新元素重新构建集合C₆＝{b₁,b₂,b₃,b₄,b₅}；

其中，d表示字符区域的等分间距，l_m表示C₆所有元素矩形的最小左边界，r_m表示C₆所有元素矩形的最大右边界，h_avg表示集合C₆内所有元素矩形的平均高度，Rtg(p₁,p₂,p₃,p₄)用于矩形的记法，p₁、p₂、p₃和p₄从依次表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度，b_i表示一个矩形元素；

步骤6.4：基于集合C₆构建第一行字符集合C₇，具体如下：首先，对集合C₆，按去掉一个最小值和一个最大值的策略，计算得到C₆中剩余元素的平均宽度

与高度

接着，对C₆中所有元素矩形，以元素矩形框中心点为标准，分别向上下扩展

向左右扩展

用新生成的矩形代替原矩形；然后利用公式(10)和(11)计算得O_d1和O_d2并加入新的集合C₇，即C₇＝{O_d1,O_d2}：

其中，O_d1和O_d2分别表示两个字符的最小外接矩形，c_o2和c_o4分别表示集合C₆的第2和第4个元素。

Images