CN115631146A - 一种基于图像的受电弓碳滑条缺损缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于图像的受电弓碳滑条缺损缺陷检测方法，包括如下步骤：对采集的碳滑条图像，进行图像增强，得到增强后的图像；对增强后的图像进行图像自适应阈值分割，得到自适应阈值分割后的图像A；利用Sobel算子计算自适应阈值分割后的图像的碳滑条边缘；以增强后的图像作为输入数据，通过训练完成的LiteSeg语义分割网络模型，得到分割后的碳滑条概率图；将LiteSeg网络模型获取的碳滑条概率图与Sobel算子得到的碳滑条边缘图进行融合，得到融合后的碳滑条边缘外轮廓；根据碳滑条边缘外轮廓，得到碳滑条缺损区域，计算碳滑条缺损区域的面积，若面积小于设定的阈值该区域丢弃，若面积大于设定的阈值则判定为碳滑条破损。

Description

一种基于图像的受电弓碳滑条缺损缺陷检测方法

技术领域

本发明涉及轨道交通领域，具体是一种基于图像的受电弓碳滑条缺损缺陷检测方法。

背景技术

受电弓作为电力牵引机车从接触线获得电力的重要电气设备，及时掌握受电弓的状态，对保证机车的正常运转以及机车的维修工作起着重要的作用。其中碳滑条是受电弓的重要组成部分，在滑动状态下为机车提供运行所需要的电力，但当受电弓碳滑条出现滑板缺损等故障时，可能会导致受电弓打弓或拉网，从而使列车断电停驶，甚至造成更大的安全威胁，因此需要对受电弓及其滑板状态进行有效的监控。

在电气化铁路初期，传统的受电弓碳滑条检测以人工观察记录为主，但该方法费时费力且效率低下，难以完成实时监控。随着电气化事业的不断发展，智能化的检测技术得到快速发展。对于智能化的受电弓检测技术，主要分为接触式检测与非接触式检测，接触式检测主要通过安装在检测车受电弓上的各种传感器来进行检测。非接触式检测包括测距技术与图像处理技术检测，测距技术指通过激光超声波实现参数的测量与滑板磨损检测，图像处理技术则是通过图像智能识别的方法对拍摄的高清图像实现故障检测，相对来说基于非接触式检测的精度更高，鲁棒性更强，一般能同时检测多种异常类型，成为受电弓碳滑板检测的主流技术。

现有技术存在当机车行驶至隧洞等复杂背景时，碳滑条检测效果受干扰严重，致使后续碳滑条误报过多。现有深度学习模型检测方法整体分割效果优于传统算法，但是对于碳滑条边缘区域分割不够精细，难以精确定位碳滑条的缺损。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图像的受电弓碳滑条缺损缺陷检测方法，包括如下步骤：

步骤一，采集碳滑条图像，利用MSRCR算法对采集的碳滑条图像进行图像增强，得到增强后的图像；

步骤二，对增强后的图像进行图像自适应阈值分割，通过计算增强后的图像的所有像素点均值n，将图像中大于n的像素点值修改为255，小于n的像素点值修改为0，得到自适应阈值分割后的图像A；

步骤三，利用Sobel算子计算自适应阈值分割后的图像的碳滑条边缘，得到碳滑条上下边缘线段，以碳滑条上下边缘线段作为边界，将上下边缘线段之间区域的像素值全部设定为0，根据图像边缘像素占全图的比例判断图像是否属于复杂背景，若属于复杂背景，则剔除图像；若不属于复杂背景，则保留经过Sobel算子处理的碳滑条图像；

步骤四，以增强后的图像作为输入数据，对输入数据进行清洗以及数据扩充之后，训练LiteSeg语义分割网络模型，通过训练完成的LiteSeg语义分割网络模型，得到分割后的碳滑条概率图；

步骤五，以得到的碳滑条概率图进行阈值设定作为ROI区域，对保留的经过Sobel算子处理的碳滑条图像进行ROI外部区域掩膜，保留碳滑条内部的边缘纹理信息，将LiteSeg网络模型获取的碳滑条概率图与Sobel算子得到的碳滑条边缘图进行融合，得到融合后的碳滑条边缘外轮廓；

步骤六，对融合后的碳滑条边缘外轮廓，使用凸包法对融合后的碳滑条边缘外轮廓填充得到碳滑条凸包轮廓，通过图像差分的方式，碳滑条凸包轮廓与碳滑条的原始外轮廓相减得到碳滑条缺损区域，计算碳滑条缺损区域的面积，若面积小于设定的阈值该区域丢弃，若面积大于设定的阈值则判定为碳滑条破损。

进一步的，所述的利用Sobel算子计算自适应阈值分割后的图像A的碳滑条边缘，得到碳滑条上下边缘线段，包括：

通过一个3×3的卷积核模板与图像A中的每一个像素点做卷积运算，得到纵向边缘检测的灰色梯度图：

利用霍夫变换检测碳滑条上下边缘，先将灰度图G_y中所有的点(x，y)依次代入到极坐标

ρ＝xCosθ+ySinθ

ρ表示为点(x，y)的极径，θ表示为点(x，y)的极角，有序数对(ρ，θ)为点(x，y)的极坐标；

每个点(x，y)得到极坐标下对应的曲线，当交于一点(ρ₀，θ₀)的曲线数量超过设定阈值时，代入极坐标得到直线ρ₀＝xCosθ₀+ySinθ₀，该直线为碳滑条的边缘线段，并获得碳滑条上下边缘线段。

进一步的，所述的将LiteSeg网络模型获取的碳滑条概率图与Sobel算子得到的碳滑条边缘图进行融合，采用如下融合公式：

式中：

表示两种算法融合后的结果，

表示对第i个类别的分类概率，T_sobel表示该点的值，c表示语义分割的类别总数。

进一步的，步骤六还包括：计算该缺损区域的质心(X_G，Y_G)：

X_G＝∑_iw_ix_i/∑_iw_i

Y_G＝∑_iw_iy_i/∑_iw_i

i为离散目标物，w_i为离散目标物的权重，x_i，y_i为各离散目标物的坐标；

根据质心所在位置向上搜索直至碳滑条上边缘，选取碳滑条缺损区域的中心位置发出警报并对该异常部位进行标记。

本发明的有益效果是：1.有监督分类学习方法可以检测不同状态下的异常缺损，但是对于数据依赖性强，要求正负样本的均衡分布，而在真实的铁路背景下，异常数据往往难以获取，采集到的正常数据远大于异常数据。本发明检测方法无需异常样本，通过对凹陷区域进行填充差分，便能成功实现碳滑条缺损检测。

2.现有深度学习方法在分割物体边缘信息时，常发生过拟合等问题导致图像边缘过于平滑，而不能有效的分割出碳滑条缺损部分，传统的图像处理技术能精准检测图像边缘信息，但也会检测过多的冗余边缘信息，本发明通过结合深度学习与Sobel算子的检测结果，精细化碳滑条的边缘检测。

3.结合Sobel算子与霍夫变换对复杂背景进行剔除，有效抑制单帧图像由于复杂背景导致的误报，降低误报数量。

附图说明

图1为一种基于图像的受电弓碳滑条缺损缺陷检测方法流程示意图；

图2为凸包法碳滑条缺损流程示意图

图3为凸包法碳滑条缺损检测示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

如图1所示，一种基于图像的受电弓碳滑条缺损缺陷检测方法，包括如下步骤：

步骤一，采集碳滑条图像，利用MSRCR算法对采集的碳滑条图像进行图像增强，得到增强后的图像；

步骤二，对增强后的图像进行图像自适应阈值分割，通过计算增强后的图像的所有像素点均值n，将图像中大于n的像素点值修改为255，小于n的像素点值修改为0，得到自适应阈值分割后的图像A；

步骤三，利用Sobel算子计算自适应阈值分割后的图像的碳滑条边缘，得到碳滑条上下边缘线段，以碳滑条上下边缘线段作为边界，将上下边缘线段之间区域的像素值全部设定为0，根据图像边缘像素占全图的比例判断图像是否属于复杂背景，若属于复杂背景，则剔除图像；若不属于复杂背景，则保留经过Sobel算子处理的碳滑条图像；

步骤四，以增强后的图像作为输入数据，对输入数据进行清洗以及数据扩充之后，训练LiteSeg语义分割网络模型，通过训练完成的LiteSeg语义分割网络模型，得到分割后的碳滑条概率图；

步骤五，以得到的碳滑条概率图进行阈值设定作为ROI区域，对保留的经过Sobel算子处理的碳滑条图像进行ROI外部区域掩膜，保留碳滑条内部的边缘纹理信息，将LiteSeg网络模型获取的碳滑条概率图与Sobel算子得到的碳滑条边缘图进行融合，得到融合后的碳滑条边缘外轮廓；

步骤六，对融合后的碳滑条边缘外轮廓，使用凸包法对融合后的碳滑条边缘外轮廓填充得到碳滑条凸包轮廓，通过图像差分的方式，碳滑条凸包轮廓与碳滑条的原始外轮廓相减得到碳滑条缺损区域，计算碳滑条缺损区域的面积，若面积小于设定的阈值该区域丢弃，若面积大于设定的阈值则判定为碳滑条破损。

所述的利用Sobel算子计算自适应阈值分割后的图像A的碳滑条边缘，得到碳滑条上下边缘线段，包括：

通过一个3×3的卷积核模板与图像A中的每一个像素点做卷积运算，得到纵向边缘检测的灰色梯度图：

利用霍夫变换检测碳滑条上下边缘，先将灰度图G_y中所有的点(x，y)依次代入到极坐标

ρ＝xCosθ+ySinθ

ρ表示为点(x，y)的极径，θ表示为点(x，y)的极角，有序数对(ρ，θ)为点(x，y)的极坐标；

每个点(x，y)得到极坐标下对应的曲线，当交于一点(ρ₀，θ₀)的曲线数量超过设定阈值时，代入极坐标得到直线ρ₀＝xCosθ₀+ySinθ₀，该直线为碳滑条的边缘线段，并获得碳滑条上下边缘线段。

所述的将LiteSeg网络模型获取的碳滑条概率图与Sobel算子得到的碳滑条边缘图进行融合，采用如下融合公式：

式中：

表示两种算法融合后的结果，

表示对第i个类别的分类概率，T_sobel表示该点的值，c表示语义分割的类别总数。

步骤六还包括：计算该缺损区域的质心(X_G，Y_G)：

X_G＝∑_iw_ix_i/∑_iw_i

Y_G＝∑_iw_iy_i/∑_iw_i

i为离散目标物，w_i为离散目标物的权重，x_i，y_i为各离散目标物的坐标；

根据质心所在位置向上搜索直至碳滑条上边缘，选取碳滑条缺损区域的中心位置发出警报并对该异常部位进行标记。

具体的，包括对于原始图像中存在的过暗或过曝的图像，利用MSRCR算法进行图像增强，降低图像本身数据的缺陷给后续的检测带来的不利影响。

步骤2：对增强后的图像进行图像自适应阈值分割，首先计算增强图像后的所有像素点均值n，将图像中大于n的像素点值修改为255，小于n的像素点值修改为0，修改后的二值化图像便为经过自适应阈值分割后的图像。

步骤3：利用Sobel算子计算碳滑条边缘，即通过一个3×3的卷积核模板与二值化图像A中的每一个像素点做卷积运算得到纵向边缘检测的灰色梯度图

接着利用霍夫变换检测碳滑条上下边缘，即先将灰度图G_y中所有的点(x，y)依次代入到极坐标ρ＝xCosθ+ySinθ下，ρ表示为点(x，y)的极径，θ表示为点(x，y)的极角，有序数对(ρ，θ)为点(x，y)的极坐标。每个点(x，y)得到极坐标下对应的曲线，当交于一点(ρ₀，θ₀)的曲线数量超过设定阈值时，代入极坐标得到直线ρ₀＝xCosθ₀+ySinθ₀，认定该直线为碳滑条的边缘线段，并以此获得碳滑条上下边缘线段。以碳滑条上下边缘线段作为边界，将上下边缘线段之间区域的像素值全部设定为0，以此仅保留线段外部的边缘信息。根据图像边缘像素占全图的比例判断图像是否属于复杂背景，若属于复杂背景，本张图像不参与后续计算，降低算法的误报率；若不属于复杂背景，保留边缘检测结果。

步骤4：以步骤1图像增强后的图像作为输入数据，对数据进行清洗以及数据扩充之后，训练LiteSeg语义分割网络模型，得到分割后的碳滑条概率图。

步骤5：以步骤4得到的碳滑条概率图进行阈值设定作为ROI区域，对步骤3中经过Sobel算子处理的碳滑条图像进行ROI外部区域掩膜，仅保留碳滑条内部的边缘纹理信息，将LiteSeg网络模型获取的碳滑条概率图与Sobel算子得到的碳滑条边缘图进行融合，融合公式为：

式中：

表示两种算法融合后的结果，

表示对第i个类别的分类概率，T_sobel表示该点的值，c表示语义分割的类别总数。

步骤6：获取融合后的碳滑条边缘外轮廓，使用凸包法对其填充得到碳滑条凸包轮廓，利用图像差分的方式与碳滑条的原始外轮廓相减获取碳滑条缺损区域。分别计算每一个碳滑条缺损区域的面积，若面积小于设定的阈值该区域丢弃，若面积大于设定的阈值则认为破损，计算该缺损区域的质心(X_G，Y_G)：X_G＝∑_iw_ix_i/∑_iw_i，Y_G＝∑_iw_iy_i/∑_iw_i，*注：i为离散目标物，w_i为离散目标物的权重，x_i，y_i为各离散目标物的坐标。根据质心所在位置向上搜索直至碳滑条上边缘，选取碳滑条缺损区域的中心位置发出警报并对该异常部位进行标记

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (4)

1.一种基于图像的受电弓碳滑条缺损缺陷检测方法，其特征在于，包括如下步骤：

步骤一，采集碳滑条图像，利用MSRCR算法对采集的碳滑条图像进行图像增强，得到增强后的图像；

步骤二，对增强后的图像进行图像自适应阈值分割，通过计算增强后的图像的所有像素点均值n，将图像中大于n的像素点值修改为255，小于n的像素点值修改为0，得到自适应阈值分割后的图像A；

步骤三，利用Sobel算子计算自适应阈值分割后的图像的碳滑条边缘，得到碳滑条上下边缘线段，以碳滑条上下边缘线段作为边界，将上下边缘线段之间区域的像素值全部设定为0，根据图像边缘像素占全图的比例判断图像是否属于复杂背景，若属于复杂背景，则剔除图像；若不属于复杂背景，则保留经过Sobel算子处理的碳滑条图像；

步骤四，以增强后的图像作为输入数据，对输入数据进行清洗以及数据扩充之后，训练LiteSeg语义分割网络模型，通过训练完成的LiteSeg语义分割网络模型，得到分割后的碳滑条概率图；

步骤五，以得到的碳滑条概率图进行阈值设定作为ROI区域，对保留的经过Sobel算子处理的碳滑条图像进行ROI外部区域掩膜，保留碳滑条内部的边缘纹理信息，将LiteSeg网络模型获取的碳滑条概率图与Sobel算子得到的碳滑条边缘图进行融合，得到融合后的碳滑条边缘外轮廓；

步骤六，对融合后的碳滑条边缘外轮廓，使用凸包法对融合后的碳滑条边缘外轮廓填充得到碳滑条凸包轮廓，通过图像差分的方式，碳滑条凸包轮廓与碳滑条的原始外轮廓相减得到碳滑条缺损区域，计算碳滑条缺损区域的面积，若面积小于设定的阈值该区域丢弃，若面积大于设定的阈值则判定为碳滑条破损。

2.根据权利要求1所述的一种基于图像的受电弓碳滑条缺损缺陷检测方法，其特征在于，所述的利用Sobel算子计算自适应阈值分割后的图像A的碳滑条边缘，得到碳滑条上下边缘线段，包括：

通过一个3×3的卷积核模板与图像A中的每一个像素点做卷积运算，得到纵向边缘检测的灰色梯度图：

利用霍夫变换检测碳滑条上下边缘，先将灰度图G_y中所有的点(x,y)依次代入到极坐标

P＝xCosθ+ySinθ

ρ表示为点(x,y)的极径，θ表示为点(x,y)的极角，有序数对(ρ，θ)为点(x,y)的极坐标；

每个点(x,y)得到极坐标下对应的曲线，当交于一点(ρ₀，θ₀)的曲线数量超过设定阈值时，代入极坐标得到直线ρ₀＝xCosθ₀+ySinθ₀，该直线为碳滑条的边缘线段，并获得碳滑条上下边缘线段。

3.根据权利要求1所述的一种基于图像的受电弓碳滑条缺损缺陷检测方法，其特征在于，所述的将LiteSeg网络模型获取的碳滑条概率图与Sobel算子得到的碳滑条边缘图进行融合，采用如下融合公式：

式中:

表示两种算法融合后的结果，

表示对第i个类别的分类概率,T_sobel表示该点的值，c表示语义分割的类别总数。

4.根据权利要求1所述的一种基于图像的受电弓碳滑条缺损缺陷检测方法，其特征在于，步骤六还包括：计算该缺损区域的质心(X_G,Y_G)：

x_G＝∑_iw_ix_i/∑_iw_i

Y_G＝∑_iw_iy_i/∑_iw_i

i为离散目标物，w_i为离散目标物的权重，x_i，y_i为各离散目标物的坐标；

根据质心所在位置向上搜索直至碳滑条上边缘，选取碳滑条缺损区域的中心位置发出警报并对该异常部位进行标记。

Images