CN102854191A - 高速铁轨表面缺陷的实时视觉检测与识别方法 - Google Patents

Abstract

一种高速铁轨表面缺陷的实时视觉检测与识别方法，其步骤为：(1)图像获取；(2)图像预处理；(3)缺陷初步检测：包括使用逻辑或操作组合基于灰度补偿的检测结果和基于高帽操作的检测结果；如果检测图像中是否存在的异常区域，如果没有则结束本次检测，否则继续进行处理；(4)缺陷精确定位：通过粘合单个缺陷算法、填充缺陷区域内孔洞算法和选择主要缺陷算法精确定位缺陷，并通过标记提取缺陷区域；(5)缺陷分类：提取和选择缺陷区域的特征，设计并训练一个BP神经网络，并使用BP神经网络对缺陷进行分类。本发明具有原理简单、自动化程度高、检测速度快、检测精度高等优点。

Description

高速铁轨表面缺陷的实时视觉检测与识别方法

技术领域

本发明主要涉及到在线视觉检测领域，特指一种高速铁轨表面缺陷的实时视觉检测与识别方法。

背景技术

为适应我国现代铁路的高速发展，保证铁路运营安全，铁道部门对铁路现场的轨道质量提出了严格要求。目前，针对铁轨缺陷的检测，有基于光、电、磁信号的电子检测法和基于机器视觉原理的视觉检测法两种方法。

国内现场铁轨的缺陷检测基本采用电子检测法，几乎不采用视觉检测法。电子检测法一般用于检测铁轨的内部缺陷，且其检测精度较低，只适用于某些要求不高的场合。视觉检测法用于检测铁轨的表面缺陷，其原理是使用CCD成像技术获取铁轨图像，然后使用一定的图像处理技术对图像进行分析，从而自动检测和识别铁轨表面的缺陷。

其中，铁轨缺陷包括几何结构缺陷、铁轨部件缺陷、铁轨表面缺陷等等。常见的铁轨表面缺陷有疤痕、裂纹、波纹擦伤等，存在表面缺陷的铁轨如果不加以维护或更换，就会逐渐发展成为严重的内部损伤，从而造成严重的列车事故，后果不堪设想。

目前，我国铁道部门对现场铁轨状态的检测大多依靠人工巡检，其检测方式是在需要检测的铁路段，由检测人员推着钢轨探伤仪在需要检测的铁轨上行走，同时其他检测人员使用肉眼观察并记录铁轨的缺陷。由上可知，上述人工巡检的方式，检测效率十分低下，完全依靠人工行走；且检测精度也较低，可能导致缺陷的误检、漏检，使铁路运营存在着极大的安全隐患。

有从业者提出一种全自动铁轨表面缺陷视觉检测与识别系统，它是指完全脱离人工检测，利用机器视觉或光电传感器的方法，将该检测系统挂载在普通列车上，随列车在铁轨上运行，由视觉系统代替人眼动态检测表面缺陷并作出判断，并对缺陷进行分类。它一方面可以大大的节省铁路维护的经济成本和人力成本，另一方面还可以同时保证检测的重复性和可靠性，并且可以实现在线检测。

但是，与一般情况下的目标检测和识别方式不同，由于全自动铁轨表面缺陷视觉检测与识别系统的高速度、高精度的要求，使得高速铁轨表面缺陷的实时视觉检测与识别方法面临着以下主要技术难题：

(1)图像干扰因素多。在高速状态下，相机可能随着列车的振动产生移动或小角度的旋转，并且自然光、现场环境和天气等因素可能对铁轨图像引入噪声、阴影带和“闪光”区域，使得一般的检测方法容易受干扰因素的影响。

(2)铁轨表面缺陷的形态较为复杂，因此增加了检测难度。疤痕和波纹擦伤的灰度特征不尽相同，因此不能使用一般的单一目标检测方法来将两种类型的缺陷同时检测出来。

(3)检测速度和精度要求。由于全自动铁轨表面缺陷视觉检测与识别系统的速度要求，而一般的目标检测和识别方法不能同时满足在线高速度和高精度的要求。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、自动化程度高、检测速度快、检测精度高的高速铁轨表面缺陷的实时视觉检测与识别方法。

为解决上述技术问题，本发明采用以下技术方案：

一种高速铁轨表面缺陷的实时视觉检测与识别方法，其步骤为：

(1)图像获取；在随列车在铁轨上高速行驶的情况下，获取铁轨线图像并将线图像拼接成一幅全景图像；

(2)图像预处理；包括去除噪声的干扰和提取铁轨表面区域；

(3)缺陷初步检测：包括使用逻辑或操作组合基于灰度补偿的检测结果和基于高帽操作的检测结果；检测图像中是否存在异常区域，如果没有则结束本次检测，否则继续进行处理；

(4)缺陷精确定位：通过粘合单个缺陷算法、填充缺陷区域内孔洞算法和选择主要缺陷算法精确定位缺陷，并通过标记提取缺陷区域；

(5)缺陷分类：提取和选择缺陷区域的特征，设计并训练一个BP神经网络，并使用BP神经网络对缺陷进行分类。

作为本发明的进一步改进：

所述步骤(2)的具体步骤为：

(2.1)自适应中值法进行滤波：使用一个大小为5×5的窗口扫描图像f(x，y)，比较窗口中心点像素的灰度值与窗口中最大的灰度值，若两者相等，则使用窗口的灰度中值代替窗口中心点像素的灰度值，否则不替换；

(2.2)提取铁轨表面区域：使用一个全局阈值二值化图像，统计铁轨二值图像每行的白色像素个数，绘制其二值图像水平投影图；并利用一条直线与曲线相交，并使用它们的交点提取铁轨表面区域，包括以下步骤：

(2.2.1)统计滤波后的灰度均值Mean，并取Mean-35为全局阈值T，对铁轨图像f₁(x，y)进行二值化：

$f_2(x,y)=\left\{\begin{array}{cc}255,& f_1(x,y)\&GreaterEqual;T\\ 0,& f_1(x,y)<T\end{array}\right.;$

(2.2.2)统计铁轨二值图像f₂(x，y)每行的白色像素总个数P(x)：

$P\left(x\right)=\frac{\underset{y=1}{\overset{\mathrm{column}}{\mathrm{\&Sigma;}}}{f}_2(x,y)}{255},$ x＝1，2，...，row；

式中row，column分别是图像f₂(x，y)的行数和列数；以图像的行数为纵坐标，每行的白色像素个数为横坐标，绘制其二值图像水平投影图；

(2.2.3)在二值图像水平投影图中，作一条横坐标为

且与横轴垂直的直线，并记录下直线第一次与投影曲线纵轴上方和纵轴下方相交的点A和点B；

(2.2.1)A、B点的纵坐标对应铁轨表面区域两条边界的行数，直接使用其纵坐标裁剪滤波后的铁轨图像f₁(x，y)，得到铁轨表面区域灰度子图像g(x，y)。

所述步骤(3)的具体步骤为：

(3.1)基于灰度补偿的检测：

(3.1.1)统计铁轨表面区域灰度子图像g(x，y)每行像素的灰度平均值：

$g_{\mathrm{mean}}\left(x\right)=\frac{\underset{y=1}{\overset{\mathrm{column}}{\mathrm{\&Sigma;}}}g(x,y)}{\mathrm{column}},$ x＝1，2，...，row；

(3.1.2)以图像的行数为横坐标，每行像素的灰度均值g_mean为纵坐标，绘制铁轨表面图像的水平灰度均值分布曲线；

(3.1.3)利用其水平灰度分布曲线，生成一个乘法修正系数矩阵δ(x)：

$\mathrm{\&delta;}\left(x\right)=\frac{G}{g_{\mathrm{mean}}\left(x\right)},$ x＝1，2，...，row；

式中G是铁轨表面图像的灰度沿高度方向的理想灰度分布曲线，是一条大小恒定的直线，通过实验，设定G＝180；

(3.1.4)以修正系数矩阵δ(x)，x＝1，2，...，row为模板，逐列扫描铁轨表面区域灰度子图像g(x，y)，进行灰度修正：

g₁(x，y)＝δ(x)×g(x，y)；

式中x＝1，2，...，row，y＝1，2，...，column；并将灰度修正后的图像g₁(x，y)的灰度值范围映射到[0，255]；

(3.1.5)根据其灰度直方图，取全局阈值T₁为50对图像g₁(x，y)进行二值化：

${\mathrm{gbw}}_1(x,y)=\left\{\begin{array}{cc}0,& g_1(x,y)\&GreaterEqual;T_1\\ 255,& g_1(x,y)<T_1\end{array}\right.;$

其中以黑色像素表示背景，白色像素表示缺陷；

(3.2)基于高帽操作的检测：使用一个半径为15、圆盘形状的结构元素B对经过预处理后的铁轨表面图像g(x，y)做高帽操作：

g₂(x，y)＝g(x，y)-(g(x，y)οB)；

式中符号“ο”表示数学形态学的开启运算；取全局阈值T2为35，将高帽操作后的灰度图像g₂(x，y)二值化：

${\mathrm{gbw}}_2(x,y)=\left[\begin{array}{cc}255,& g_2(x,y)\&GreaterEqual;T_2\\ 0,& g_2(x,y)<T_2\end{array}\right.;$

其中以黑色像素表示背景，白色像素表示缺陷；

(3.3)组合检测结果：对上面的步骤(3.1)和步骤(3.2)得到的二值图像gbw₁(x，y)和gbw₂(x，y)做逻辑或操作，得到组合的检测结果图像h(x，y)；

(3.4)检测异常区域：统计图像h(x，y)的横向和纵向白色像素的总个数，如果某行或某列上白色像素个数小于系统设定的阈值T_num＝300，则认为该幅图像上没有缺陷，结束本次检测；否则认为该图像上可能存在缺陷，继续进行检测。

所述步骤(4)的具体步骤为：

(4.1)粘合单个区域：使用一个半径为7、圆盘状的结构元素C对经过缺陷快速检测处理后的图像h(x，y)做开启运算：

式中符号“Θ”表示数学形态学中的腐蚀操作，符号

表示闭合操作；

(4.2)填充区域孔洞：

(4.2.1)搜索图像h₁(x，y)中的某个区域中的一个目标像素p点；

(4.2.2)初始化：令X₀＝p，k＝0，D为一个大小为3×3的对称结构元素；

(4.2.3)填充目标像素：使用结构元素D腐蚀X_k，并用A^C的交集将得到的结果限制在感兴趣区域内：

$X_k=(X_{k-1}\&CirclePlus;D)\&cap;A^c$ k＝1，2，3，...；

式中A是一个有孔洞的区域，A^C表示为区域A的补集；

(4.2.4)判断X_k＝X_k+1是否成立，如果不成立则令k＝k+1，转到步骤(4.2.3)；否则填充结束，X_k和A的并集包含被填充的区域和它的边界；

(4.2.5)判断图像h₁(x，y)中的区域是否搜索完了，如果没有则继续搜索图像的下一个区域的一个目标像素p点，转到步骤(4.2.2)；否则，结束孔洞填充算法；

(4.3)选择主要缺陷：以8邻接的方式统计连通区域内白色像素的个数，然后将其与阈值T_sum＝300进行比较；如果其个数小于阈值，则通过使用黑色像素替换该区域的白色像素，将该区域变成背景；

(4.4)提取目标缺陷：对图像中的区域进行标记，每个区域使用一个从1开始的整数进行标记，不同的缺陷的标记值不同，背景区域用0进行标记，并利用该标记提取目标缺陷区域。

所述步骤(5)的具体步骤为：

(5.1)提取并选择缺陷特征：提取缺陷区域的几何特征、形状特征和灰度特征；通过对比缺陷的各个特征量的值，选择了5个对两类缺陷差别较大的特征量，即矩形度、圆形度、长宽比、灰度均值和灰度方差。

(5.2)使用BP神经网络对缺陷分类：

(5.2.1)确定BP神经网络的结构：将BP神经网络设计为3层结构，包括输入层、隐含层和输出层；设计输入层为5个神经元，对应于缺陷的5个特征，隐含层为10个神经元，输出层为2个神经元，对应于缺陷的2种类别；

(5.2.2)训练BP神经网络：将40组缺陷特征模式对输入BP网络，使用有自适应学习速率的梯度下降法训练网络权值与阈值，得到训练好的BP神经网络；

(5.2.3)BP神经网络分类：将需要分类的缺陷的5个特征组成特征向量输入训练好的BP神经网络，BP网络进行判断，并给出分类结果。

与现有技术相比，本发明的优点在于：

(1)本发明的检测和识别速度快，保证了在线铁轨表面缺陷检测的速度要求。本发明不同于一般的检测方法，直接对整幅图像进行处理，而是采用提取铁轨表面区域的算法，从而达到去除非铁轨表面区域对检测结果的影响和节约算法时间的目的；检测组合结果中是否存在异常区域，并以此为依据判断是否结束本次检测，从而不必对那些没有缺陷的图像进行整个检测与识别算法的处理，大大提高了检测速度。

(2)本发明的检测精度高。因为铁轨表面缺陷的形态复杂，不同类型的表面缺陷的灰度特征非常不一样，而且一幅铁轨图像上可能同时存在多个缺陷或不同类型的缺陷，不同于一般的单一、同类型的目标检测和识别，因此如何有效地将图像上的所有缺陷同时检测出来，是一个难点。而本发明巧妙地使用逻辑或操作，将基于灰度补偿的检测结果与基于高帽操作的检测组合起来，从而很好地同时检测出了疤痕和波纹擦伤两种类型的缺陷，解决了这个问题。

(3)本发明采用了基于数学形态学的区域粘合算法从而进一步保证检测结果的准确性，不会将单个区域检测成为若干个分散的小区域。因为单个波纹擦伤缺陷的灰度值并不像疤痕一样集中，而且其与背景的对比度也不尽相同，所以在检测过程中，容易将单个的波纹擦伤缺陷检测成分散的或呈喷雾状的若干个小区域，因此，若直接将分散的小区域作为检测结果，可能降低系统的精度或者增加系统的误检率和不必要的运行时间。而本发明采用对图像进行开启操作，可以将属于单个区域的多个分散小区域粘合成一个区域，可以大大提高检测精度。

附图说明

图1是本发明的总体流程示意图。

图2a是在具体应用实例中现场拍摄的带疤痕缺陷的铁轨图像。

图2b是在具体应用实例中现场拍摄的带波纹擦伤的铁轨图像。

图3a是在具体应用实例中自适应中值滤波后所得到的带疤痕缺陷的铁轨图像。

图3b是在具体应用实例中自适应中值滤波后所得到的带波纹擦伤的铁轨图像。

图4是在具体应用实例中采用的铁轨表面区域提取方法的流程示意图。

图5是在具体应用实例中铁轨二值图像的水平投影图。

图6a是在具体应用实例中提取铁轨表面区域后所得到的带疤痕缺陷的铁轨表面图像。

图6b是在具体应用实例中提取铁轨表面区域后所得到的带波纹擦伤的铁轨表面图像。

图7是在具体应用实例中采用的基于灰度补偿的检测法的流程图。

图8a是在具体应用实例中经过灰度补偿后所得到的带疤痕缺陷的灰度补偿图像。

图8b是在具体应用实例中经过灰度补偿后所得到的带波纹擦伤的灰度补偿图像。

图9a是在具体应用实例中组合检测结果后的疤痕缺陷的组合二值图像。

图9b是在具体应用实例中组合检测结果后的波纹擦伤的组合二值图像。

图10是在具体应用实例中采用的填充孔洞算法的流程示意图。

图11a是在具体应用实例中最终精确定位缺陷后的疤痕缺陷检测结果。

图11b是在具体应用实例中最终精确定位缺陷后的波纹擦伤缺陷检测结果。

图12是在具体应用实例中采用BP神经网络结构的示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明的高速铁轨表面缺陷的实时视觉检测与识别方法，其流程为：

1、图像获取：检测系统在随列车在铁轨上高速行驶的情况下，获取铁轨线图像，并将N帧线图像拼接成一幅全景图像。

本实施例中，检测系统随检测列车在铁轨上高速行驶，安装在列车车轮上的光电编码器发送脉冲信号，触发线阵相机采集线图像，并将1536帧线图像拼接成一幅铁轨全景图像。相机的这种触发拍摄的方式可以使得铁轨图像的采集频率与检测列车的速度相一致，既不会造成铁轨图像重叠，又不会丢失图像信息，从而进一步保证后续检测算法的检测精度。获得的铁轨全景图像的大小可以为1024×1536，参见图2a为带疤痕缺陷的铁轨图像，图2b为带波纹擦伤的铁轨图像。

2、图像预处理：采用基于模板操作的自适应中值滤波方法去除步骤1所采集铁轨全景图像中噪声的干扰；采用水平投影法提取铁轨表面区域。

由于检测现场自然光、环境等因素的影响，会给采集到的铁轨图像引入噪声，本发明采用了一种自适应中值滤波算法滤除铁轨图像中的噪声。此外，由于列车的机械振动，相机可能也会随之发生微小振动，从而造成铁轨表面区域出现在铁轨图像中的位置不固定。而一般的目标检测方法对整幅图像做处理，消耗时间，不能满足检测的高速度要求。因此为保证检测精度，本发明采用下述步骤对图像进行预处理：

2.1自适应中值滤波：由于铁轨图像中的噪声大多为椒盐噪声，噪声点的灰度值大多比其邻域像素的灰度值大(如图2a和图2b所示)，本发明使用一个大小为5×5的窗口扫描图像f(x，y)，比较窗口中心点像素的灰度值与窗口中最大的灰度值；若两者相等，则使用窗口的灰度中值代替窗口中心点像素的灰度值，否则就不替换；最终得到滤波后的图像f₁(x，y)，如图3a和图3b所示。

2.2提取铁轨表面区域：铁轨表面区域只占铁轨图像的一部分(参见图2a和图2b)，如果直接对整幅图像做处理，则图像中的非轨面区域不仅会影响后面检测算法，而且增加检测算法的时间，所以需要提取铁轨表面图像。本发明使用一个全局阈值二值化图像，统计铁轨二值图像每行的白色像素个数，绘制其二值图像水平投影图，并利用一条直线与曲线相交，使用它们的交点提取铁轨表面区域。

如图4所示，为本实施例中轨面区域提取流程示意图，它主要包括四个步骤：

①.统计铁轨图像的灰度均值Mean，并取Mean-35为全局阈值T，对滤波后的铁轨图像f₁(x，y)进行二值化得到二值图像f₂(x，y)：

$f_2(x,y)=\left\{\begin{array}{cc}255,& f_1(x,y)\&GreaterEqual;T\\ 0,& f_1(x,y)<T\end{array}\right.;---\left(1\right)$

其中全局阈值T的选取是经过上千次试验后得出的经验值。

②.在二值图像f₂(x，y)中，轨面区域的背景像素为白色像素，因此统计铁轨二值图像f₂(x，y)每行的白色像素总个数P(x)：

$P\left(x\right)=\frac{\underset{y=1}{\overset{\mathrm{column}}{\mathrm{\&Sigma;}}}{f}_2(x,y)}{255},$ x＝1，2，...，row；    (2)

上式(2)中row，column分别是二值图像f₂(x，y)的行数和列数；以图像的行数为纵坐标，每行的白色像素个数为横坐标，绘制其水平投影图。

③.在二值图像水平投影图中，作一条横坐标为且与横轴垂直的直线，并记录下直线第一次与投影曲线纵轴上方和纵轴下方相交的点A和点B。

即，在铁轨的二值图像f₂(x，y)中，铁轨表面区域每行的白色像素的个数基本上在1500个左右，除了有阴影带的铁轨表面区域的下半部分，但是阴影带区域每行的白色像素个数也要大于图像宽度的一半，达768个，非铁轨表面区域每行的白色像素的个数基本上为0个。依据这一特点，在二值图像水平投影图中，做一条横坐标为768且与横轴垂直的直线，分别记录下该直线第一次与投影曲线纵轴上方和纵轴下方相交的点A和B，如图5所示。

④.A、B点的纵坐标对应这铁轨表面区域两条边界的行数，直接使用其纵坐标裁剪原始铁轨灰度图像f₁(x，y)，便可得到铁轨表面区域灰度子图像g(x，y)，图6a为带疤痕缺陷的铁轨表面图像；图6b为带波纹擦伤的铁轨表面图像。

3、缺陷初步检测：主要包括四个步骤：

3.1基于灰度补偿的检测：如图7所示，为基于灰度补偿的检测流程，主要包括以下步骤：

①.统计铁轨表面图像g(x，y)每行像素的灰度平均值：

$g_{\mathrm{mean}}\left(x\right)=\frac{\underset{y=1}{\overset{\mathrm{column}}{\mathrm{\&Sigma;}}}g(x,y)}{\mathrm{column}},$ x＝1，2，...，row；    (3)

②.以图像的行数为横坐标，每行像素的灰度均值g_mean为纵坐标，绘制铁轨表面图像的水平灰度均值分布曲线。

③.根据相同成像条件下得到的线图像序列应该具有相同的灰度分布，生成一个乘法修正系数矩阵δ(x)：

$\mathrm{\&delta;}\left(x\right)=\frac{G}{g_{\mathrm{mean}}\left(x\right)},$ x＝1，2，...，row；    (4)

式(4)中G是铁轨表面图像的灰度沿高度方向的理想灰度分布曲线，通过多次实验，本发明设定G＝180。

④.以修正系数矩阵δ(x)为模板，逐列扫描图像g(x，y)，进行灰度修正：

g₁(x，y)＝δ(x)×g(x，y)；    (5)

式中x＝1，2，...，row，y＝1，2，...，column；并将灰度补偿后的图像g₁(x，y)的灰度值范围映射到[0，255]，得到的图像如图8a和图8b所示。图8a为带疤痕缺陷的灰度补偿图像；图8b为带波纹擦伤的灰度补偿图像。从该图中可以看到，灰度补偿后的图像的灰度分布较均匀。

⑤.根据其灰度直方图，取全局阈值T₁为50对图像g₁(x，y)进行二值化：

${\mathrm{gbw}}_1(x,y)=\left\{\begin{array}{cc}0,& g_1(x,y)\&GreaterEqual;T_1\\ 255,& g_1(x,y)<T_1\end{array}\right.;---\left(6\right)$

其中以黑色像素表示背景，白色像素表示缺陷；从而就可以检测出绝大多数的疤痕缺陷和少量的波纹擦伤缺陷。

3.2基于高帽操作的检测：本发明使用一个半径为15、圆盘形状的结构元素B对经过预处理后的铁轨表面图像g(x，y)做高帽操作：

g₂(x，y)＝g(x，y)-(g(x，y)οB)；    (7)

式中符号“ο”表示数学形态学的开启运算。

取全局阈值T2为35，将高帽操作后的灰度图像g₂(x，y)二值化：

${\mathrm{gbw}}_2(x,y)=\left[\begin{array}{cc}255,& g_2(x,y)\&GreaterEqual;T_2\\ 0,& g_2(x,y)<T_2\end{array}\right.;---\left(8\right)$

其中以黑色像素表示背景，白色像素表示缺陷；从而检测出绝大多数的波纹擦伤缺陷和少量的疤痕缺陷。

3.3组合检测结果：对上面的步骤3.1和步骤3.2得到的二值图像gbw₁(x，y)和gbw₂(x，y)做逻辑或操作，得到组合的检测结果图像h(x，y)。

疤痕和波纹擦伤的灰度特征不尽相同，无法使用单一的算法同时检测出这两种缺陷，并且检测之前并不知道铁轨图像中缺陷的类型，因此通过逻辑或操作将二值图像gbw₁(x，y)和gbw₂(x，y)组合在一起，以便实现同时检测出两种类型的缺陷目的，得到的组合检测结果图像h(x，y)，如图9a和图9b所示，其中图9a为疤痕缺陷的组合二值图像；图9b为波纹擦伤的组合二值图像。

3.4检测异常区域：统计图像h(x，y)的横向和纵向白色像素的总个数，如果某行或某列上白色像素个数小于系统设定的阈值T_num＝300，则认为该幅图像上没有缺陷，结束本次检测；否则认为该图像上可能存在缺陷，继续进行检测。

由于检测算法在检测之前无法知道铁轨图像中是否存在缺陷，因此统计图像h(x，y)的横向和纵向白色像素的总个数，如果某行或某列上白色像素个数小于系统设定的阈值T_num＝100，则认为该幅图像上没有缺陷，结束本次检测；否则认为该图像上存在异常区域，可能存在缺陷，继续进行后面的检测算法。这样就不必对没有缺陷的铁轨图像做全部的检测算法，可以很大程度上减少检测算法流程的时间。其中阈值T_num取100，是对多次试验所确定的经验数据。

4、缺陷精确定位：通过一系列的处理，得到精确定位的缺陷区域，主要包括下面四个步骤：

4.1粘合单个区域：经过前面的检测算法处理之后，单个的缺陷区域，尤其是波纹擦伤，容易被检测成分散的或呈喷雾状的多个小区域，因此本发明使用一个半径为7、圆盘状的结构元素C对经过缺陷初步检测处理后的图像h(x，y)做开启运算：

式中符号“Θ”表示数学形态学中的腐蚀操作，符号

表示闭合操作。

4.2填充区域孔洞：经过了区域粘合后，缺陷区域内部可能存在孔洞，需要进行填充。如图10所示，为孔洞填充方法的流程，主要包括以下步骤：

4.2.1.搜索图像h₁(x，y)中的某个区域A中的一个目标像素p点。

4.2.2.初始化：令X₀＝p，k＝0，D为一个大小为3×3的对称结构元素。

4.2.3.填充目标像素：使用结构元素D腐蚀X_k，并将腐蚀结果与A的补集A^C相交：

$X_k=(X_{k-1}\&CirclePlus;D)\&cap;A^c---\left(10\right)$

式中A是一个有孔洞的区域，A^C表示为区域A的补集；

4.2.4.判断X_k＝X_k+1是否成立，如果不成立则令k＝k+1，转到步骤b；否则填充结束，X_k和A的并集包含被填充的区域和它的边界。

4.2.5.判断图像h₁(x，y)中的区域是否搜索完了，如果没有则继续搜索图像的下一个区域的一个目标像素p点，转到步骤4.2.3；否则，结束孔洞填充算法。

4.3选择主要缺陷：此时，铁轨表面二值图像上还残留了一些噪声形成细小区域。本发明以8邻接的方式统计连通区域内白色像素的个数，然后将其与阈值T_sum＝300进行比较，如果其个数小于阈值，则通过使用黑色像素替换该区域的白色像素，将该区域变成背景，从而实现选择主要缺陷的目的。其中300的选取是经过多次试验后所确定的经验数值。

4.4提取目标缺陷：对图像中的区域进行标记，每个区域使用一个从1开始的整数进行标记，不同的缺陷的标记值不同，非缺陷区域，即背景区域使用0进行标记，得到一个大小与图像h₂(x，y)相同的标记矩阵。然后，使用该标记矩阵提取目标缺陷区域。

如图11a和图11b所示，是经过缺陷精确定位算法处理后的图像，其中图11a为疤痕缺陷检测结果；图11b为波纹擦伤缺陷检测结果。从图中可以看到大部分的真实缺陷都被精确地检测出来了，而且阴影带区域的像素大部分都被滤除掉了，其检测结果十分令人满意，说明了本发明的检测算法具有一定的有效性、合理性。

5、缺陷分类：提取并选择检测到的缺陷的特征，作为BP神经网络的输入，以便训练该网络，并使用训练好的BP神经网络对缺陷分类，主要包括两个方面：

5.1提取并选择缺陷特征：提取缺陷区域的几何特征、形状特征和灰度特征：其中几何特征包括缺陷区域的周长、面积、质心、区域最小外接矩的长度和宽度、与区域具有相同标准二阶中心矩的椭圆长轴和短轴；形状特征包括区域的矩形度、圆形度、长宽比、方向、离心率、Hu不变矩；灰度特征包括区域的灰度均值、灰度方差、能量、熵、偏态系数、峰态系数。然后，通过对比缺陷的各个特征量的值，选择了5个对两类缺陷差别较大的特征量，即矩形度、圆形度、长宽比、灰度均值和灰度方差，作为后面的模式识别的输入。

5.2使用BP神经网络对缺陷分类：设计并训练BP神经网络，之后直接使用训练好的BP神经网络对缺陷分类，主要包括三个步骤：

5.2.1.确定BP神经网络的结构：考虑到铁轨表面缺陷形态的复杂性，将BP神经网络设计为3层结构，包括输入层、隐含层和输出层，设计输入层为5个神经元，对应于缺陷的5个特征，隐含层为10个神经元，输出层为2个神经元，对应于缺陷的2种类别。本发明设计的BP神经网络的结果如图12所示，图中[矩形度，圆形度，长宽比，灰度均值，灰度方差]为输入向量，[疤痕，波纹擦])为输出层的向量，b_hi(i＝1，2，...，10)为隐含层各神经元的阈值，b_oj(j＝1，2)为输出层各神经元的阈值，w_ih为输入层与隐含层之间的权值，w_ho为隐含层与输出层之间的权值，f(·)为激活函数，输入层到隐含层的激活函数为tansig函数，隐含层到输出层的激活函数为logsig函数，这两个函数处处可导，且将输出限制在[-1，+1]之间。

5.2.2.训练BP神经网络：将疤痕缺陷和波纹擦伤缺陷各20组特征向量及其对应的缺陷类别组成40组学习样本模式对，设置训练精度为10^-6和最大学习次数为1000，并设定误差函数e：

$e=\frac{1}{2}\underset{o=1}{\overset{2}{\mathrm{\&Sigma;}}}{(d_o\left(k\right)-y_o\left(k\right))}^2---\left(11\right)$

式中d_o(k)是第k次训练时所使用的训练样本对应的缺陷类别向量。

将40组模式对输入BP神经网络，并使用有自适应学习速率的梯度下降法修正网络的连接权值w_ih和w_ho、隐含层和输出层各神经元的阈值b_h和b_o。当BP网络的误差小于设定的训练精度时，或者达到设定的最大学习次数时，结束网络的训练，得到训练好的BP神经网络。

5.2.3.BP神经网络分类：给出疤痕和波纹擦伤缺陷各10组样本，将这20组测试样本的特征向量输入训练好的BP神经网络，BP神经网络对其进行辨识，并给出分类结果。分类结果表明本发明设计训练的BP神经网络可以很好地对两种铁轨表面缺陷，疤痕和波纹擦伤进行分类，其分类准确率达到了95％。最后记录缺陷的相关统计信息，为铁路维护部门提供相关维护数据。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种高速铁轨表面缺陷的实时视觉检测与识别方法，其特征在于，步骤为：

(1)图像获取；在随列车在铁轨上高速行驶的情况下，获取铁轨线图像并将线图像拼接成一幅全景图像；

(2)图像预处理；包括去除噪声的干扰和提取铁轨表面区域；

(3)缺陷初步检测：包括使用逻辑或操作组合基于灰度补偿的检测结果和基于高帽操作的检测结果；检测图像中是否存在异常区域，如果没有则结束本次检测，否则继续进行处理；

(4)缺陷精确定位：通过粘合单个缺陷算法、填充缺陷区域内孔洞算法和选择主要缺陷算法精确定位缺陷，并通过标记提取缺陷区域；

(5)缺陷分类：提取和选择缺陷区域的特征，设计并训练一个BP神经网络，并使用BP神经网络对缺陷进行分类。

2.根据权利要求1所述的高速铁轨表面缺陷的实时视觉检测与识别方法，其特征在于，所述步骤(2)的具体步骤为：

(2.1)自适应中值法进行滤波：使用一个大小为5×5的窗口扫描图像f(x，y)，比较窗口中心点像素的灰度值与窗口中最大的灰度值，若两者相等，则使用窗口的灰度中值代替窗口中心点像素的灰度值，否则不替换；

(2.2)提取铁轨表面区域：使用一个全局阈值二值化图像，统计铁轨二值图像每行的白色像素个数，绘制其二值图像水平投影图；并利用一条直线与曲线相交，并使用它们的交点提取铁轨表面区域，包括以下步骤：

(2.2.1)统计滤波后的灰度均值Mean，并取Mean-35为全局阈值T，对铁轨图像f₁(x，y)进行二值化：

$f_2(x,y)=\left\{\begin{array}{cc}255,& f_1(x,y)\&GreaterEqual;T\\ 0,& f_1(x,y)<T\end{array}\right.;$

(2.2.2)统计铁轨二值图像f₂(x，y)每行的白色像素总个数P(x)：

$P\left(x\right)=\frac{\underset{y=1}{\overset{\mathrm{column}}{\mathrm{\&Sigma;}}}{f}_2(x,y)}{255},$ x＝1，2，...，row；

式中row，column分别是图像f₂(x，y)的行数和列数；以图像的行数为纵坐标，每行的白色像素个数为横坐标，绘制其二值图像水平投影图；

(2.2.3)在二值图像水平投影图中，作一条横坐标为

且与横轴垂直的直线，并记录下直线第一次与投影曲线纵轴上方和纵轴下方相交的点A和点B；

(2.2.1)A、B点的纵坐标对应铁轨表面区域两条边界的行数，直接使用其纵坐标裁剪滤波后的铁轨图像f₁(x，y)，得到铁轨表面区域灰度子图像g(x，y)。

3.根据权利要求2所述的高速铁轨表面缺陷的实时视觉检测与识别方法，其特征在于，所述步骤(3)的具体步骤为：

(3.1)基于灰度补偿的检测：

(3.1.1)统计铁轨表面区域灰度子图像g(x，y)每行像素的灰度平均值：

$g_{\mathrm{mean}}\left(x\right)=\frac{\underset{y=1}{\overset{\mathrm{column}}{\mathrm{\&Sigma;}}}g(x,y)}{\mathrm{column}},$ x＝1，2，...，row；

(3.1.2)以图像的行数为横坐标，每行像素的灰度均值g_mean为纵坐标，绘制铁轨表面图像的水平灰度均值分布曲线；

(3.1.3)利用其水平灰度分布曲线，生成一个乘法修正系数矩阵δ(x)：

$\mathrm{\&delta;}\left(x\right)=\frac{G}{g_{\mathrm{mean}}\left(x\right)},$ x＝1，2，...，row；

式中G是铁轨表面图像的灰度沿高度方向的理想灰度分布曲线，是一条大小恒定的直线，通过实验，设定G＝180；

(3.1.4)以修正系数矩阵δ(x)，x＝1，2，...，row为模板，逐列扫描铁轨表面区域灰度子图像g(x，y)，进行灰度修正：

g₁(x，y)＝δ(x)×g(x，y)；

式中x＝1，2，...，row，y＝1，2，...，column；并将灰度修正后的图像g₁(x，y)的灰度值范围映射到[0，255]；

(3.1.5)根据其灰度直方图，取全局阈值T₁为50对图像g₁(x，y)进行二值化：

${\mathrm{gbw}}_1(x,y)=\left\{\begin{array}{cc}0,& g_1(x,y)\&GreaterEqual;T_1\\ 255,& g_1(x,y)<T_1\end{array}\right.;$

其中以黑色像素表示背景，白色像素表示缺陷；

(3.2)基于高帽操作的检测：使用一个半径为15、圆盘形状的结构元素B对经过预处理后的铁轨表面图像g(x，y)做高帽操作：

g₂(x，y)＝g(x，y)-(g(x，y)οB)；

式中符号“ο”表示数学形态学的开启运算；取全局阈值T₂为35，将高帽操作后的灰度图像g₂(x，y)二值化：

${\mathrm{gbw}}_2(x,y)=\left[\begin{array}{cc}255,& g_2(x,y)\&GreaterEqual;T_2\\ 0,& g_2(x,y)<T_2\end{array}\right.;$

其中以黑色像素表示背景，白色像素表示缺陷；

(3.3)组合检测结果：对上面的步骤(3.1)和步骤(3.2)得到的二值图像gbw₁(x，y)利gbw₂(x，y)做逻辑或操作，得到组合的检测结果图像h(x，y)；

(3.4)检测异常区域：统计图像h(x，y)的横向和纵向白色像素的总个数，如果某行或某列上白色像素个数小于系统设定的阈值T_num＝300，则认为该幅图像上没有缺陷，结束本次检测；否则认为该图像上可能存在缺陷，继续进行检测。

4.根据权利要求3所述的高速铁轨表面缺陷的实时视觉检测与识别方法，其特征在于，所述步骤(4)的具体步骤为：

(4.1)粘合单个区域：使用一个半径为7、圆盘状的结构元素C对经过缺陷快速检测处理后的图像h(x，y)做开启运算：

式中符号“Θ”表示数学形态学中的腐蚀操作，符号

表示闭合操作；

(4.2)填充区域孔洞：

(4.2.1)搜索图像h₁(x，y)中的某个区域中的一个目标像素p点；

(4.2.2)初始化：令X₀＝p，k＝0，D为一个大小为3×3的对称结构元素；

(4.2.3)填充目标像素：使用结构元素D腐蚀X_k，并用A^C的交集将得到的结果限制在感兴趣区域内：

$X_k=(X_{k-1}\&CirclePlus;D)\&cap;A^c$ k＝1，2，3，...；

式中A是一个有孔洞的区域，A^C表示为区域A的补集；

(4.2.4)判断X_k＝X_k+1是否成立，如果不成立则令k＝k+1，转到步骤(4.2.3)；否则填充结束，X_k和A的并集包含被填充的区域和它的边界；

(4.2.5)判断图像h₁(x，y)中的区域是否搜索完了，如果没有则继续搜索图像的下一个区域的一个目标像素p点，转到步骤(4.2.2)；否则，结束孔洞填充算法；

(4.3)选择主要缺陷：以8邻接的方式统计连通区域内白色像素的个数，然后将其与阈值T_sum＝300进行比较；如果其个数小于阈值，则通过使用黑色像素替换该区域的白色像素，将该区域变成背景；

(4.4)提取目标缺陷：对图像中的区域进行标记，每个区域使用一个从1开始的整数进行标记，不同的缺陷的标记值不同，背景区域用0进行标记，并利用该标记提取目标缺陷区域。

5.根据权利要求4所述的高速铁轨表面缺陷的实时视觉检测与识别方法，其特征在于，所述步骤(5)的具体步骤为：

(5.1)提取并选择缺陷特征：提取缺陷区域的几何特征、形状特征和灰度特征；通过对比缺陷的各个特征量的值，选择了5个对两类缺陷差别较大的特征量，即矩形度、圆形度、长宽比、灰度均值和灰度方差；

(5.2)使用BP神经网络对缺陷分类：

(5.2.1)确定BP神经网络的结构：将BP神经网络设计为3层结构，包括输入层、隐含层和输出层；设计输入层为5个神经元，对应于缺陷的5个特征，隐含层为10个神经元，输出层为2个神经元，对应于缺陷的2种类别；

(5.2.2)训练BP神经网络：将40组缺陷特征模式对输入BP网络，使用有自适应学习速率的梯度下降法训练网络权值与阈值，得到训练好的BP神经网络；

(5.2.3)BP神经网络分类：将需要分类的缺陷的5个特征组成特征向量输入训练好的BP神经网络，BP网络进行判断，并给出分类结果。

Images