CN105654140A - 面向复杂工业环境的铁路油罐车车号定位与识别方法 - Google Patents

Abstract

本发明提供的是一种面向复杂工业环境的铁路油罐车车号定位与识别方法。对灰度图像进行最大稳定极值区域检测得到灰度图像上的极值区域以及对灰度图像的反色图像进行检测得到反灰度图像上的极值区域。以灰度图像及其反色图像作为要处理的2通道图像，对每个通道的图像分别进行极值区域的筛选。从极值区域中筛选出有效的区域对，对满足条件的相邻区域对进行合并得到三联体区域，以1个有效的三联体区域为1个序列，筛选出符合条件的有效序列，进而对序列进行输出得到文本区域。利用4点矫正对定位出的文本区域进行倾斜矫，对矫正后的文本区域进行字符分割，用训练好的分类器对字符进行识别。本方法对铁路油罐车车号区域具有较好的定位效果。

Description

面向复杂工业环境的铁路油罐车车号定位与识别方法

技术领域

本发明涉及的是一种铁路油罐车车号定位与识别方法。

背景技术

随着我国经济的不断发展，工业生产水平及人们生活水平的不断提高，各种车辆、号牌出现在人们生活及工业生产现场等各个领域。怎样有效的进行管理以及高速的获取字符信息成为不得不考虑的问题。字符区域的定位与识别广泛地应用在智能交通管理中的车牌识别、集装箱号识别等领域。而这些都为区分不同的车体以及进行有效的管理提供了方便。字符区域的定位与识别将会越来越多的出现在生活当中，为生活带来方便。

现在对车牌识别或者对集装箱号等识别的方法大多数采用基于纹理的方法、基于边缘的方法或者是基于学习的方法。这些定位方法都有各自的适用条件，很难在铁路油罐车车号定位上达到很好的定位效果。常用的铁路油罐车有四种车型分别为：G_60k、GQ₇₀、G_70k、G_70T，而车号区域分布在罐体上和铁路油罐车的车架上，并且所有字符都是存在断裂的喷码字符，再加上铁路油罐车长期在室外易受油污、光照等因素的影响为我们的定位带来困难。

发明内容

本发明的目的在于提供一种对铁路油罐车车号区域具有较好的定位效果的面向复杂工业环境的铁路油罐车车号定位与识别方法。

本发明的目的是这样实现的：

步骤一，利用摄像头获取铁路油罐车彩色图像；

步骤二，由彩色图像得到灰度图像以及灰度图像的反色图像，同时由彩色图像得到LAB颜色模型图像；

步骤三，对灰度图像及其反色图像进行最大稳定极值区域(MSER)检测获得极值区域(MSER+和MSER-)；

步骤四，由所得到的极值区域利用相邻极值区域的高度比值、形心角度、距离对不符合的极值区域进行筛除，并进一步对RGB图像和LAB图像进行均值计算得到符合条件的1对极值区域，并将这样的1对极值区域作为1个有效区域对；

步骤五，判断2个有效区域对是否存在重合的极值区域，若存在则将这2个有效区域对合并为1个三联体区域；

步骤六，以每1个三联体区域为1个序列，对相邻的2个序列进行判断，若满足线性距离估计及序列条件，则合并为1个新的序列，并将新的序列与下1个序列进行比较判断，得到的最终序列为文本区域；

步骤七，利用4点矫正对输出的文本区域进行倾斜矫正；

步骤八，对倾斜矫正后的文本区域进行分割，将分割出的字符送到训练好的分类器进行识别，所述分类器是采用如下方法得到的：收集大量铁路油罐车车号区域图片，并利用4点矫正对图片进行倾斜矫正以及对图片进行亮度均衡和去噪预处理，对每个字符进行分割得到样本集，提取每个字符的Hog特征利用支持向量机进行训练。

本发明还可以包括：

1、1个有效区域对满足的条件为：2个极值区域外接矩形的高度比值小于0.4、形心角度介于±0.85之间、距离小于2.2以及2个极值区域的均值差满足阈值条件。

2、所述阈值设定于60～111之间。

3、分类器的生成方法中拍摄收集不少于50幅铁路油罐车车号区域图片，并对图片进行倾斜矫正、去噪、亮度均衡化操作，然后对字符进行分割作为样本集，其中G、Q、K、T、0～9每个字符不少于40个样本。

本发明的方法主要包括：

S1.利用架设好的摄像头获取铁路油罐车图片，对灰度化后的图片进行最大稳定极值区域(MSER)检测获得极值区域。

S2.对相邻2个极值区域进行筛选，若其满足2个极值区域外接矩形的高度比值小于0.4、形心角度介于±0.85之间、距离小于2.2以及2个极值区域的均值差满足阈值条件，满足以上操作的2个极值区域为1个有效区域对。

S3.以2个相邻的有效区域对组合为1个三联体区域，三联体区域就是包含3个极值区域的区域。

S4.对相邻的2个三联体区域进行筛选，如果相邻的2个三联体区域不存在重合区域且满足共线条件则这样的三联体区域为1个有效序列，若干个序列组合成文本区域。

S5.通过实地拍摄收集不少于50幅铁路油罐车车号区域图片，并对图片进行倾斜矫正、去噪、亮度均衡化操作，然后对字符进行分割作为样本集，其中G、Q、K、T、0～9每个字符不少于40个样本。利用支持向量机提取字符的Hog特征进行训练，得到1个能够识别铁路油罐车车号字符的分类器。

S1具体包括：

S1.1这里分别对灰度图像及其反色图像进行极值区域检测。并称对灰度图像进行的极值区域检测为MSER+,对其反色图像进行的极值区域检测称为MSER-。

S2具体包括：

S2.1对原始输入图像分别进行变换得到RGB(R红色、G绿色、B蓝色，RGB图像即为灰度图像)图像和LAB(L亮度、A包括的颜色是从深绿色到灰色再到亮粉红色、B是从亮蓝色到灰色再到黄色)图像。

S2.2对RGB图像(RGB图像即为灰度图像)中相邻2个极值区域进行均值差计算，若其均值差小于设定的阈值则对这2个极值区域予以保留。

S2.3上面判断所用阈值的设定通过实验确定，其值介于60～111之间。

S2.4分别得到LAB图像的A、B2个通道中相邻2个极值区域的均值，若其均值满足欧氏距离公式且满足S2.2的条件则这样的2个极值区域为1个有效区域对。

S3具体包括：

S3.1组合成1个三联体区域的2个有效区域对必须有1个重合的极值区域。

S3.22个相邻的三联体区域不能有重合的极值区域。

S4具体包括：

S4.1这里假设1个序列只包含3个极值区域。

S4.2由于每个序列由3个极值区域组成，假设2个相邻的序列中每个序列的3个极值区域的最顶端的垂直距离差异与最低端的垂直距离差异以及水平方向的距离差异满足阈值条件，这样的2个相邻序列为有效序列。

S4.3若干个这样的序列组成文本区域。

S5具体包括：

S5.1由于拍摄角度的影响罐车车号区域存在倾斜，这里利用4点矫正对得到的文本区域进行倾斜矫正。

S5.2由于字符存在断裂，这里利用字符的高度及字符的宽度相对于字符区域的比值对单个字符进行分割。并根据每个断裂的字符都包含2个波峰这一特点利用投影法进行验证。

S5.3利用训练得到的支持向量机分类器对铁路油罐车车号字符进行识别。

本发明利用最大稳定极值区域的特性获得极值区域并对所得极值区域进行有效区域对的提取，由有效区域对合并成三联体区域进而得到区域序列的文本提取方法，利用4点矫正和支持向量机对文本进行矫正与识别。本方法对铁路油罐车车号区域具有较好的定位效果。

附图说明

图1：本发明流程图。

图2：MSER检测效果图。

图3：极值区域的外接矩形图。

图4：定位效果图。

图5：识别效果图。

具体实施方式

下面结合附图举例对本发明做更详细的描述。

如图1所示，本发明面向复杂工业环境的铁路油罐车车号定位与识别方法具体实施步骤如下；

S1.对图像进行MSER区域检测获得极值区域。具体步骤如下：

S1.1对输入图像进行灰度化，并对灰度化后的图像进行反色处理，在后续处理中将会对这2个通道进行单独处理。

S1.2以一定的步长t从0到255取阈值，在不同阈值下对图像进行MSER区域检测，得到极值区域，为了让MSER既能检测到浅色背景深色字体的区域，又能检测深色背景浅色字体的区域，需要对图像进行反转再进行极值区域检测，得到两种极值区域MSER+和MSER-。

假设Q_i表示阈值为i时的某1个连通区域，Δ为灰度阈值的微小变化量，q(i)为阈值为i时的区域Q_i的变化率，当q(i)为局部极小值时则Q_i为最大稳定极值区域。

MSER极值区域检测公式为：

$q\left(i\right)=\frac{\left|Q_i-Q_{i-\mathrm{\Δ}}\right|}{\left|Q_{i-\mathrm{\Δ}}\right|}$

S2从检测到的极值区域中获取有效的区域对。具体步骤如下：

S2.1将原始输入图像转化为LAB图像。

S2.2对相邻的1对极值区域利用其高度的比值(hr)、形心角度(r)、距离(d)进行筛选。

假设i表示第i个极值区域的最小外界矩形，j表示第i+1个极值区域的最小外界矩形，(x_i,y_i),(x_j,y_j)分别表示i和j2个矩形的左上顶点，(w_i,h_i),(w_j,h_j)分别表示i和j2个矩形的宽与高，c_i和c_j为2个极值区域的中心点。

2个相邻极值区域的高度比值为：

$hr=\frac{min(h_i,h_j)}{max(h_i,h_j)}$

形心角度定义为：

c_i＝(x_i+w_i/2,y_i+h_i/2)

c_j＝(x_j+w_j/2,y_j+h_j/2)

$r=atan2\left(\right(y_j+\frac{h_j}{2}-y_i+\frac{h_i}{2}),(x_j+\frac{w_j}{2}-x_i+\frac{w_i}{2}\left)\right)$

距离的公式如下：

$d=\frac{x_j-(x_i+w_i)}{(w_i+w_j)/2}$

高度比值、形心角度以及距离对每个有效区域对应满足以下的条件：

hr＞0.4

-0.85＜r＜0.85

-0.4＜d＜2.2

S2.3满足以上条件的2个极值区域分别对RGB图像和LAB图像的A,B两通道上进行均值计算，且均值满足条件的认为是有效区域对：

假设(g_i,g_j),(a_i,a_j),(b_i,b_j)分别表示i和j2个通道在RGB图像和A,B通道上的均值，则均值条件如下：

|g_i-g_j|＜m₁并且其中m₁和m₂是2个阈值条件。

S3在2个相邻的有效区域对中获得有效的三联体区域。具体步骤如下：

S3.1判断2个区域对是否存在重合的极值区域。

假设用(i₁,i₂),(j₁,j₂)表示区域对i和j的2个区域，则2个区域对应满足以下条件：

(i₁＝＝j₁)||(i₁＝＝j₂)||(i₂＝＝j₁)||(i₂＝＝j₂)

S3.2对满足以上重合条件的2个区域对进行合并，得到1个包含3个极值区域的三联体区域。若这3个极值区域不存在重叠则为1个有效的三联体区域。

S4由2个相邻的三联体区域得到有效的序列。具体步骤如下：

S4.1判断2个相邻的序列是否满足线性距离估计。假设这2个相邻的序列分别为a,b，序列a的3个极值区域为(a₁,a₂,a₃)，序列b的3个极值区域为(b₁,b₂,b₃)。依次遍历a,b中的每3个序列找到a中极值区域与b中极值区域的外接矩形左上顶点x坐标差的最大值以及y坐标差的最大值，二者之间的比值小于设定阈值则保留这2个序列。对满足以上条件的2个序列进行垂直方向上的距离判断，若其垂直方向上距离间隔较小则认为这样的2个序列满足线性距离估计。

S4.2删除重叠的区域，并对所得序列进行验证若不存在重叠则对序列进行输出，输出的多个序列组成文本区域。

S5对做得的文本区域利用4点矫正进行倾斜矫正。具体步骤如下：

假设s(x₀,y₀),t(x₀,y₀)表示原始图像与失真图像之间的映射关系，对失真图像做行列上的像素统计，若从上到图像高度的一半从左开始到长度的一半统计每1列的像素数若前几列的像素数有少开始增加，并且增加边缘的像素数小于3则以该点为列的开始点，以此类推可以找到失真图像上最接近字符区域的4个顶点，并以矫正后图像上的4个顶点为对应点，利用以下公式对存在倾斜变形的字符区域进行矫正：

s(x₀,y₀)＝c₁x₀+c₂y₀+c₃x₀y₀+c₄

t(x₀,y₀)＝c₅x₀+c₆y₀+c₇x₀y₀+c₈

S6.利用支持向量机对样本进行训练。具体步骤如下：

S6.1采集大量铁路油罐车字符区域图片，从铁路油罐车图片中截取车号区域作为样本图片，并利用4点矫正对存在倾斜的铁路油罐车车号进行倾斜矫正，并对矫正后的图像进行去噪和亮度矫正等预处理。

S6.2对样本图片进行分割得到单个的字符集，将每个字符图片路径及其类标签放到1个文本文件中。

S6.3提取字符的Hog特征，利用支持向量机进行训练得到字符识别的分类器。

S7.利支持向量机对4点矫正后的文本图像进行识别，输出识别结果。具体步骤如下：

S7.1由于要识别的车号区域以G_60k、G_70k、GQ₇₀或者G_70T开头后面跟7个数字(例如G_60k0116063)。前面4个字符中的60k、70k、70、70T的字体略小，其他字符高度接近于整个字符区域的高度，并且除了数字1以外其他字符都存在断裂并且宽度误差小于字符区域总宽度的0.1倍。可以利用这一特性先找到数字1，如果没有数字1就结合字符宽度以每2个峰值为1个字符进行分割，如果找到了数字1则先排除数字1的位置坐标对其他字符进行分割。

S7.2提取分割出字符的Hog特征，利用训练好的SVM对字符进行识别。

Claims (4)

1.一种面向复杂工业环境的铁路油罐车车号定位与识别方法，其特征是：

步骤一，利用摄像头获取铁路油罐车彩色图像；

步骤二，由彩色图像得到灰度图像以及灰度图像的反色图像，同时由彩色图像得到LAB颜色模型图像；

步骤三，对灰度图像及其反色图像进行最大稳定极值区域检测获得极值区域；

步骤四，由所得到的极值区域利用相邻极值区域的高度比值、形心角度、距离对不符合的极值区域进行筛除，并进一步对RGB图像和LAB图像进行均值计算得到符合条件的1对极值区域，并将这样的1对极值区域作为1个有效区域对；

步骤五，判断2个有效区域对是否存在重合的极值区域，若存在则将这2个有效区域对合并为1个三联体区域；

步骤六，以每1个三联体区域为1个序列，对相邻的2个序列进行判断，若满足线性距离估计及序列条件，则合并为1个新的序列，并将新的序列与下1个序列进行比较判断，得到的最终序列为文本区域；

步骤七，利用4点矫正对输出的文本区域进行倾斜矫正；

步骤八，对倾斜矫正后的文本区域进行分割，将分割出的字符送到训练好的分类器进行识别，所述分类器是采用如下方法得到的：收集大量铁路油罐车车号区域图片，并利用4点矫正对图片进行倾斜矫正以及对图片进行亮度均衡和去噪预处理，对每个字符进行分割得到样本集，提取每个字符的Hog特征利用支持向量机进行训练。

2.根据权利要求1所述的面向复杂工业环境的铁路油罐车车号定位与识别方法，其特征是：1个有效区域对满足的条件为：2个极值区域外接矩形的高度比值小于0.4、形心角度介于±0.85之间、距离小于2.2以及2个极值区域的均值差满足阈值条件。

3.根据权利要求2所述的面向复杂工业环境的铁路油罐车车号定位与识别方法，其特征是：所述阈值设定于60～111之间。

4.根据权利要求1-3任何一项所述的面向复杂工业环境的铁路油罐车车号定位与识别方法，其特征是：分类器的生成方法中拍摄收集不少于50幅铁路油罐车车号区域图片，并对图片进行倾斜矫正、去噪、亮度均衡化操作，然后对字符进行分割作为样本集，其中G、Q、K、T、0～9每个字符不少于40个样本。