CN111242891A - 一种钢轨表面缺陷识别分类方法 - Google Patents

Abstract

本发明提供的一种钢轨表面缺陷识别分类方法，基于无人机监测图像和深度森林模型分析，首先使用无人机监测图像预处理，然后基于比例加强最大熵阈值算法的钢轨表面缺陷提取，最后利用深度森林方法实现小样本缺陷数据分类；本发明提供的方法优点与积极效果在于：解决了传统检测方式在钢轨表面缺陷检测领域的盲区问题，提出了一种改进的处理无人机图像的方法，对于利用无人机进行轨道缺陷检测有一定的促进作用；提出一种适用于小样本的缺陷分类方法，能在保证正确率的基础上解决目前存在的样本数据量不够的问题。

Description

一种钢轨表面缺陷识别分类方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种钢轨表面缺陷识别分类方法。

背景技术

轨道表面缺陷的存在导致列车运行不稳定，极大地损坏了车轮、轮对和转向架部件， 不仅缩短了列车各部分的使用寿命，甚至可能会威胁列车的安全驾驶，如造成列车脱轨等 铁路事故。因此，对轨道表面缺陷进行有效的检测是确保铁路系统安全可靠运行必不可少 的措施。

现阶段，国内外对于钢轨表面缺陷检测的方法也并不丰富，各国常用的方法主要集中 在目检法、超声波检测法、电涡流法这几种现代方法中。随着自动化和数字图像处理技术 的迅速发展，人们逐渐将研究重心转向检测自动化的研究。相较于轨检车来说，无人机图 像采集有具有价格低廉、检测成本低；操作简单；受地形干扰小；灵活性高；轻便等优势，无人机检测是缺陷检测的一个方向。

近几年，深度学习逐渐被应用在各个领域，尽管深度神经网络工作出色，但是仍然存 在明显的缺点。首先，深度神经网络需要有大量的样本才能进行训练，对小样本而言，利用深度学习网络进行训练得到的结果并不理想。第二，深度学习网络的超参数多且复杂，学习过程中依赖于超参数的调节。对于钢轨表面缺陷图像来说，由于目前正常运行中的轨道线路中存在表面缺陷的情况相对而言是比较少的，并且由于数据采集的范围有限，所以无法获取足量用于深度学习网络训练的样本。因此，研究基于无人机图像和深度森林的钢轨表面缺陷识别分类方法为钢轨表面缺陷检测和钢轨健康评估提出了新方法和思路，对保障铁路系统安全有效运行和提高铁路整体工作效率具有重大的意义。

周志华提出的深度森林方法(Deep Forest)是一种决策树集合方法。深度森林方法主 要有以下几个方面的特点：(1)当输入高维度数据时，通过多粒度扫描其表征学习能力能 够得到进一步的加强，能够使模型结合整个模型结构进行自动调整，感知能力非常强。 (2)深度森林的级联层数可以根据需求进行调节，使深度森林即使在只有小样本数据的情 况下也具有优异的性能，能够实现在样本量不足的情况下进行分类预测。(3)深度森林模 型的超参数远比深层神经网络少，一般情况下，在用深度森林模型时采用模型的默认参数 设置就可以得到比较好的训练结果。深度森林的这些特点使得它训练花费时间少、对小样 本友好且分类效果好。

发明内容

本发明的实施例提供了一种钢轨表面缺陷识别分类方法，用于解决现有技术中存在的 问题。

为了实现上述目的，本发明采取了如下技术方案。

一种钢轨表面缺陷识别分类方法，包括：

通过无人机获取钢轨区域图像，并对该钢轨区域图像进行预处理，获得目标区域图 像；

通过比例加强最大熵阈值算法对目标区域图像进行处理，获得钢轨表面缺陷图像；

通过深度森林方法对钢轨表面缺陷图像的缺陷特征进行分类。

优选地，通过无人机获取钢轨区域图像，并对该钢轨区域图像进行预处理，获得目标 区域图像包括：

对钢轨区域图像进行定位处理，获得钢轨垂直图像；

通过水平投影法获得该钢轨垂直图像的灰度值之和；

对钢轨垂直图像进行图像增强处理，获得目标区域图像。

优选地，对钢轨区域图像进行定位处理，获得钢轨垂直图像包括：

基于钢轨区域图像获得钢轨边缘直线特征；

通过如下公式

计算该钢轨边缘直线特征与垂直方向的夹角，获得钢轨垂直图像；式中，x₁、y₁、x₂和y₂分别为钢轨边缘直线特征的位置坐标；

通过水平投影法获得该钢轨垂直图像的灰度值之和包括：

在钢轨垂直图像内建立坐标系；

通过如下M*N矩阵

和公式

计算获得钢轨垂直图像的灰度值之和；式中，D_i(N-1)是坐标(X,Y)的灰度值，F(x,y)为 图像F在位置(x,y)的灰度值，H为图像的高；

对钢轨垂直图像进行图像增强处理，获得目标区域图像包括：

通过预设的线性窗口W与钢轨垂直图像做卷积运算；

通过如下公式

获得目标区域图像；式中，E(F_(x′,y′))为动态阈值函数，E(·)是窗口W内所有像素的平均 像素值，F_(x,y)代表图像的像素值。

优选地，通过比例加强最大熵阈值算法对目标区域图像进行处理，获得钢轨表面缺陷 图像包括：

通过如下公式

T^*＝arg max(H_o(T)·(φ_b)^a),T∈[0,255] (5)

从目标区域图像中获得阈值；

通过如下公式

φ_b＝1-φ_o (7)

从目标区域图像中获得前景点分布φ_o和背景点分布φ_b；

通过如下公式

和

P_G＝{p_n,n∈[0,255]} (11)

从目标区域图像中获得前景熵H_o(T)和背景熵H_b(T)；式中，p_n是一幅图像的灰度级n 的概率；M是图像F总共的像素数；f_n是图像中的灰度值n的频率；P_G是图像F的全 局分布。

优选地，对钢轨表面缺陷图像的缺陷特征进行分类的依据包括多种钢轨表面缺陷图像 的几何特征；

通过深度森林方法对钢轨表面缺陷图像的缺陷特征进行分类包括：

通过预设的滑动窗口对某种钢轨表面缺陷图像的几何特征进行切分处理获得多实例特 征向量，通过森林变换将该多实例特征向量转换为类别概率向量；

通过深度森林方法对类别概率向量进行迭代运算，获得多个概率向量结果；

对该多个概率向量结果进行平均值运算，获得某种钢轨表面缺陷图像的平均概率向 量；

重复上述子步骤获得每种钢轨表面缺陷图像的平均概率向量，获得多种钢轨表面缺陷 图像的平均概率向量的最大值。

优选地，多种钢轨表面缺陷图像的几何特征包括钢轨表面缺陷图像的面积、矩形度、 长宽比和圆形度。

由上述本发明的实施例提供的技术方案可以看出，本发明提供的一种钢轨表面缺陷识 别分类方法，首先使用无人机监测图像预处理，然后基于比例加强最大熵阈值算法的钢轨 表面缺陷提取，最后利用深度森林方法实现小样本缺陷数据分类；本发明提供的方法优点 与积极效果在于：解决了传统检测方式在钢轨表面缺陷检测领域的盲区问题，提出了一种 改进的处理无人机图像的方法，对于利用无人机进行轨道缺陷检测有一定的促进作用；提 出一种适用于小样本的缺陷分类方法，能在保证正确率的基础上解决目前存在的样本数据 量不够的问题。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明 显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附 图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领 域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附 图。

图1为本发明提供的一种钢轨表面缺陷识别分类方法的处理流程图；

图2为一种钢轨表面缺陷识别分类方法的轨道区域矫正结果图；

图3为一种钢轨表面缺陷识别分类方法的水平投影法结果图；

图4为一种钢轨表面缺陷识别分类方法的深度森林模型结构图；

图5为一种钢轨表面缺陷识别分类方法的第二种实施例的处理流程图；

图6为一种钢轨表面缺陷识别分类方法的不同图像增强方法结果对比图；

图7为一种钢轨表面缺陷识别分类方法的钢轨表面缺陷提取结果图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使 用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除 存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理 解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元 件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接 或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组 合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语 和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理 解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义 一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解 释说明，且各个实施例并不构成对本发明实施例的限定。

参见图1，本发明提供的一种基于无人机监测图像和深度森林的钢轨表面缺陷识别分类 方法，其特征在于，包括：

通过无人机获取钢轨区域图像，并对该钢轨区域图像进行预处理，获得目标区域图 像；

通过比例加强最大熵阈值算法对所述目标区域图像进行处理，获得钢轨表面缺陷图 像；

通过深度森林方法对所述钢轨表面缺陷图像的缺陷特征进行分类。

进一步的，上述第一个步骤中，无人机获取钢轨区域图像即采用常规手段如拍照或摄 像获取的钢轨区域的图像数据；为了避免提取非轨道区域，首先利用Sobel算子进行边缘检 测；由于整个图像是由钢轨表面区域和非钢轨表面区域构成的，钢轨表面缺陷只存在于钢 轨表面区域，钢轨区域不一定垂直方向，因此该步骤还包括如下子步骤：

如图2所示，对钢轨区域图像进行定位处理，对图像调整钢轨区域位置，使其垂直水平 方向，获得钢轨垂直图像；

如图3所示，通过水平投影法获得该钢轨垂直图像的灰度值之和，提取钢轨区域；

对所述钢轨垂直图像进行图像增强处理，获得所述目标区域图像。

在一些优选实施例中，第一个子步骤具体包括：

基于所述钢轨区域图像获得钢轨边缘直线特征；具体通过霍夫变换找出图像中钢轨区 域边缘所在直线后，计算该钢轨边缘直线特征与垂直方向的夹角，获得所述钢轨垂直图 像；设(x₁,y₁),(x₂,y₂)分别为直线两端点的位置坐标，计算公式如下：

第二个子步骤具体包括：

在钢轨垂直图像内建立坐标系，以水平方向为X轴，垂直方向为Y轴，图片左下角点为 坐标原点建立坐标系，统计钢轨垂直图像水平方向的像素点的灰度值之和；

让图像为M*N矩阵，并给出N维矩阵G。

其中D_i(N-1)是坐标(X,Y)的灰度值；

投影积分的过程用数学表达式表示如下，其中F(x,y)为图像F在位置(x,y)的灰度值， H为图像的高，通过把sum(x)投影到坐标轴中，构成图像F在垂直方向上投影曲线，如公式

在第三个子步骤中，提出使用改进后的局部归一化方法，通过一个动态阈值E(F_(x',y'))把 所有非缺陷点转化为一致的背景点：首先，选择线性窗口W与钢轨垂直图像做卷积；然后， 利用公式计算图片中每个像素的值，可以得到一个矩阵；最后，将这个矩阵映射到[0，255] 即可得到增强后的图像；

其中，E(·)是窗口W内所有像素的平均像素值；F_(x,y)代表图像的像素值。

进一步的，在上述通过比例加强最大熵阈值算法对所述目标区域图像进行处理，获得 钢轨表面缺陷图像的步骤中，具体包括如下子步骤：

通过如下公式

T^*＝arg max(H_o(T)·(φ_b)^a),T∈[0,255] (5)

从所述目标区域图像中获得阈值；

通过如下公式

φ_b＝1-φ_o (7)

从所述目标区域图像中获得前景点分布φ_o和背景点分布φ_b；

通过如下公式

和

P_G＝{p_n,n∈[0,255]} (11)

从所述目标区域图像中获得前景熵H_o(T)和背景熵H_b(T)；式中，p_n是一幅图像的灰度 级n的概率；M是图像F总共的像素数；f_n是图像中的灰度值n的频率；P_G是图像F的 全局分布。

进一步的，上述通过深度森林方法对所述钢轨表面缺陷图像的缺陷特征进行分类的步 骤包括：

首先，基于缺陷的几何特征作为分类的依据，在几何特征中，选取缺陷差距较为明显 的特征如面积和长宽比，在几何特征中还包括形状特征，同理选取差距较为明显的例如矩 形度和圆形度；所选取的几何特征的作用如表1所示；

表1缺陷特征分类依据

本领域技术人员应能理解上述几何特征的选取仅为举例，其他现有的或今后可能出现 的作用相同的几何特征的选取类型如可适用于本发明实施例，也应包含在本发明保护范围 以内，并在此以引用方式包含于此。

深度森林模型把训练分成了Multi-Grained Scanning和Cascade Forest两个阶段，如 图4。Multi-Grained Scanning阶段生成特征向量，Cascade Forest阶段则是经过多个森林 和多层级联得到分类或预测的结果。两个阶段的具体步骤如下：

阶段1：

(1)设置滑动窗口的大小，利用滑动窗口将特征切分成多实例特征向量，经过森林变换输出类别概率向量。

(2)将生成的类别概率向量进行合并，并且产生新的特征。

阶段2：

(1)输入得到的类别概率向量，之后再将其与原始输入进行连接，作为下一层森林的输出。

(2)将数据通过多个级联森林处理变换，可以得到最后的类别概率向量结果。

求出多个森林输出的类别概率向量中每个类别的平均概率向量，其中，最大的类别概 率就是预测或分类的结果。

在本发明提供的实施例中，具体为如下步骤：

通过深度森林方法对钢轨表面缺陷图像的缺陷特征进行分类包括：

通过预设的滑动窗口对某种钢轨表面缺陷图像的几何特征进行切分处理获得多实例特 征向量，通过森林变换将该多实例特征向量转换为类别概率向量；其中，滑动窗口的大小 是可设置的；

通过深度森林方法对类别概率向量进行迭代运算，获得多个概率向量结果；

对该多个概率向量结果进行平均值运算，获得某种钢轨表面缺陷图像的平均概率向量；

重复上述子步骤获得每种钢轨表面缺陷图像的平均概率向量，获得多种钢轨表面缺陷 图像的平均概率向量的最大值。

该最大值即为钢轨表面缺陷的分类结果。

本发明还提供一个实施例，用于示例性地显示使用本方法对基于无人机监测图像和深 度森林的钢轨表面缺陷识别分类结果进行验证；如图5所示，包括如下步骤：

步骤一、无人机监测图像预处理；预处理结果如图6；

可以看出改进的图像增强方法对无人机图像具有比较好的处理效果。

步骤二、基于比例加强最大熵阈值算法的钢轨表面缺陷提取；缺陷分割结果如图7；

步骤三、利用深度森林方法实现小样本缺陷数据分类；

获取的缺陷样本一共是78个，提取了缺陷的面积、矩形度、长宽比和圆形度四个特征。部分缺陷特征数据见表2。

表2部分缺陷特征数据

建立深度森林分类模型，参数设置如下：

单个样本元素的形：shape_1X＝4；

多粒度扫描期间使用的窗口大小列表：window＝2；

级联层中随机森林的数量：n_cascadeRF＝2，包括一个随机森林和一个完全随机树森 林；

级联层中单个随机森林中的树数：n_cascadeRFtree＝101；

级联生长的精度差：tolerance＝0.0；

在级联随机森林训练期间节点中执行拆分的最小样本数：min_samples_cascade＝2。

分别设置min_samples_cascade：N＝2、3、4、5、6，其余超参数如上，得到分类结果如 表2所示。

表3部分缺陷特征数据

设置N＝2，测试样本比例a＝10％、20％、30％、40％、50％，其余超参数如上，得到分类结果 如表3所示。

表4部分缺陷特征数据

对比不同分类器的模型构建时间和分类准确率：

表5不同模型对比

根据试验结果可以看出：在小样本分类上，基于深度森林的缺陷分类方法优于BP和SVM 等经典方法。可见本发明的方法能够实现对小样本钢轨表面缺陷的检测与分类，且分类准 确率高，具有明显的实际应用价值。

综上所述，本发明提供的一种基于无人机监测图像和深度森林的钢轨表面缺陷识别分 类方法，包括：

首先利用Sobel算子进行边缘检测，之后利用霍夫变换方法提取图像中最长直线并矫正 轨道区域，再利用水平投影法得到水平方向的灰度分布图像，根据分布图像即可提取出轨 道区域；最后根据无人机监测图像的特点，采用改进的局部归一化方法进行图像增强处 理，可以很好地去除背景噪声干扰，实现缺陷图像的预处理；

利用比例加强最大熵阈值算法找到理想的分割阈值，实现缺陷分割；理想的分割阈值 应该是使前景熵很小，同时又能使背景熵较大，比例加强最大熵阈值算法能较好地达到这 一要求；

提取缺陷的几何特征和形状特征，包括缺陷的面积、矩形度、长宽比和圆形度四个特 征。根据特征利用深度森林分类器对剥落、裂纹两类缺陷进行分类，实现了小样本分类；深度森林分类器对小样本数据具有良好的鲁棒性，能够实现在样本量不足的情况下进行分类预测，并且分类模型的超参数少，能有效提高分类的效率；

本发明的优点与积极效果在于：

(1)解决了传统检测方式在钢轨表面缺陷检测领域的盲区问题，提出了一种改进的处理无人机图像的方法，对于利用无人机进行轨道缺陷检测有一定的促进作用。

(2)提出一种适用于小样本的缺陷分类方法，能在保证正确率的基础上解决目前存在的样本数据量不够的问题。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程 并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助 软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或 者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以 存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某 些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互 相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系 统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法 实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为 分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或 者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以 根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技 术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任 何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都 应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为 准。

Claims (6)

1.一种钢轨表面缺陷识别分类方法，其特征在于，包括：

通过无人机获取钢轨区域图像，并对该钢轨区域图像进行预处理，获得目标区域图像；

通过比例加强最大熵阈值算法对所述目标区域图像进行处理，获得钢轨表面缺陷图像；

通过深度森林方法对所述钢轨表面缺陷图像的缺陷特征进行分类。

2.根据权利要求1所述的方法，其特征在于，所述的通过无人机获取钢轨区域图像，并对该钢轨区域图像进行预处理，获得目标区域图像包括：

对所述钢轨区域图像进行定位处理，获得钢轨垂直图像；

通过水平投影法获得该钢轨垂直图像的灰度值之和；

对所述钢轨垂直图像进行图像增强处理，获得所述目标区域图像。

3.根据权利要求2所述的方法，其特征在于，所述的对所述钢轨区域图像进行定位处理，获得钢轨垂直图像包括：

基于所述钢轨区域图像获得钢轨边缘直线特征；

通过如下公式

计算该钢轨边缘直线特征与垂直方向的夹角，获得所述钢轨垂直图像；式中，x₁、y₁、x₂和y₂分别为所述钢轨边缘直线特征的位置坐标；

所述的通过水平投影法获得该钢轨垂直图像的灰度值之和包括：

在所述钢轨垂直图像内建立坐标系；

通过如下M*N矩阵

和公式

计算获得所述钢轨垂直图像的灰度值之和；式中，D_i(N-1)是坐标(X,Y)的灰度值，F(x,y)为图像F在位置(x,y)的灰度值，H为图像的高；

所述的对所述钢轨垂直图像进行图像增强处理，获得所述目标区域图像包括：

通过预设的线性窗口W与所述钢轨垂直图像做卷积运算；

通过如下公式

获得所述目标区域图像；式中，E(F_(x',y'))为动态阈值函数，E(·)是窗口W内所有像素的平均像素值，F_(x,y)代表图像的像素值。

4.根据权利要求1所述的方法，其特征在于，所述的通过比例加强最大熵阈值算法对所述目标区域图像进行处理，获得钢轨表面缺陷图像包括：

通过如下公式

T^*＝arg max(H_o(T)·(φ_b)^a),T∈[0,255] (5)

从所述目标区域图像中获得阈值；

通过如下公式

φ_b＝1-φ_o (7)

从所述目标区域图像中获得前景点分布φ_o和背景点分布φ_b；

通过如下公式

和

P_G＝{p_n,n∈[0,255]} (11)

从所述目标区域图像中获得前景熵H_o(T)和背景熵H_b(T)；式中，p_n是一幅图像的灰度级n的概率；M是图像F总共的像素数；f_n是图像中的灰度值n的频率；P_G是图像F的全局分布。

5.根据权利要求1所述的方法，其特征在于，对所述钢轨表面缺陷图像的缺陷特征进行分类的依据包括多种所述钢轨表面缺陷图像的几何特征；

所述的通过深度森林方法对所述钢轨表面缺陷图像的缺陷特征进行分类包括：

通过预设的滑动窗口对某种所述钢轨表面缺陷图像的几何特征进行切分处理获得多实例特征向量，通过森林变换将该多实例特征向量转换为类别概率向量；

通过深度森林方法对所述类别概率向量进行迭代运算，获得多个概率向量结果；

对该多个概率向量结果进行平均值运算，获得某种所述钢轨表面缺陷图像的平均概率向量；

重复上述子步骤获得每种所述钢轨表面缺陷图像的平均概率向量，获得多种所述钢轨表面缺陷图像的平均概率向量的最大值。

6.根据权利要求5所述的方法，其特征在于，所述的多种所述钢轨表面缺陷图像的几何特征包括所述钢轨表面缺陷图像的面积、矩形度、长宽比和圆形度。

Images