一种铁路接触网故障检测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种铁路接触网故障检测方法、装置、电子设备及存储介质。
背景技术
铁路运输在我国交通行业中占据着重要的地位,具有运输速度快、运输能力大、受环境因素影响小等优点,除了货物运输之外,铁路也是人们必不可少的出行工具之一。国内大部分的铁路都是电气化铁路,电力机车的电源只能由电力牵引供电系统提供,电力牵引供电系统主要由牵引变电所和接触网两部分构成。接触网是电气化铁路供电系统的重要组成部分,是沿铁路线上空架设的向电力机车供电的特殊形式的输电线路。如果接触网发生故障将会直接影响电气化铁路的运输,在铁路运输事故中接触网故障占比百分之六十以上,因此保证接触网的正常工作是保证铁路运输安全的前提。人工巡检浪费大量的人力、物力和时间,巡检的效率也远远跟不上铁路发展的需求,所以接触网故障检测的研究具有重大意义和实用价值。
接触网的故障检测技术主要包括接触网目标的检测和缺陷分类两方面的核心技术。目前大部分地区的故障检测还是通过人工巡检判别,人工巡检需要大量的人力、物力,检测准确度较低,且安全性存在隐患。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请实施例提供了一种铁路接触网故障检测方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种铁路接触网故障检测方法,包括:
获取第一接触网图像;
采用目标检测模型从所述第一接触网图像中提取目标部件区域;
对所述目标部件区域进行图像分割,得到目标部件的零件图像;
通过分类模型对所述零件图像进行分类,得到的分类结果包括所述零件状态;
根据所述零件状态得到接触网的故障检测结果。
可选的,当所述第一接触网图像为单颜色通道的灰度图像时,所述采用目标检测模型从所述第一接触网图像中提取目标部件区域,包括:
将所述第一接触网图像输入所述目标检测模型,所述目标检测模型通过单颜色通道的检测神经网络结构训练得到;
得到所述目标检测模型输出的所述目标部件区域。
可选的,所述对所述目标部件区域进行图像分割,得到目标部件的零件图像,包括:
将所述目标部件区域输入语义分割模型,所述语义分割模型通过单颜色通道的神经网络结构训练得到;
通过所述语义分割模型对所述目标部件区域进行语义分割,得到所述零件图像。
可选的,当所述目标部件包括至少两个零件时,所述通过所述语义分割模型对所述目标部件进行语义分割,得到所述零件图像,包括:
将每个所述零件作为前景进行单独语义分割,得到至少两个零件区域;
根据所述零件区域得到所述零件图像。
可选的,当所述第一接触网图像为单颜色通道的灰度图像时,所述采用目标检测模型从所述第一接触网图像中提取目标部件区域,包括:
将所述第一接触网图像转换为三颜色通道的第二接触网图像;
将所述第一接触网图像输入所述目标检测模型,所述目标检测模型通过三颜色通道的卷积神经网络结构训练得到;
得到所述目标检测模型输出的所述目标部件区域。
可选的,所述通过分类算法对所述零件图像进行分类,包括:
将所述零件图像输入分类模型;
通过所述分类模型将所述零件图像与预存的零件样本图像进行比对,根据比对结果进行分类。
可选的,当根据所述零件状态确定所述故障检测结果为故障时,所述方法还包括:
确定所述零件状态为故障的零件图像对应的目标部件;
获取所述目标部件在所述接触网的位置信息;
根据所述位置信息生成对所述目标部件的报警信息。
第二方面,本申请实施例提供了一种铁路接触网故障检测装置,包括:
获取模块,用于获取第一接触网图像;
目标检测模块,用于采用目标检测模型从所述第一接触网图像中提取目标部件区域;
分割模块,用于对所述目标部件区域进行图像分割,得到目标部件的零件图像;
分类模块,用于通过分类模型对所述零件图像进行分类,得到的分类结果包括所述零件状态;
分析模块,用于根据所述零件状态得到接触网的故障检测结果。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行计算机程序时,实现上述方法步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
在机车上设置摄像装置对接触网进行拍摄,从拍摄得到的接触网图像中提取目标部件区域,并对目标部件区域进行图像分割,对分割得到的目标部件的零件进行分类,基于分类得到的零件状态得到接触网的检测结果。这样,基于计算机视觉技术对长距离的铁路接触网进行故障检测,无需人工巡检,大大节约了人力和物力,消除人工巡检所带来的安全隐患,并且提高故障检测的准确度和效率,使得可以更加快速地获得铁路接触网的故障情况。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种铁路接触网故障检测方法的流程图;
图2为本申请实施例提供的第一接触网图像的示意图;
图3为本申请实施例提供的检测得到目标部件区域的示意图;
图4为本申请实施例提供的定位器的示意图;
图5为本申请实施例提供的线夹器的示意图;
图6为本申请实施例提供的分割后定位器零件的示意图;
图7为本申请实施例提供的分割后线夹器零件的示意图;
图8为本申请另一实施例提供的一种铁路接触网故障检测方法的流程图;
图9为本申请实施例提供的第一接触网图像经图像分割后的示意图;
图10为本申请另一实施例提供的一种铁路接触网故障检测方法的流程图;
图11为本申请实施例提供的一种铁路接触网故障检测装置的框图;
图12为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例通过计算机视觉的深度学习技术对铁路接触网的故障进行自动检测,以达到代替人工巡检的目的。
铁路接触网由接触悬挂、支持装置、定位装置、支柱与基础几部分组成。接触悬挂包括接触线、吊弦、承力索以及连接零件。接触悬挂通过支持装置架设在支柱上,其功用是将从牵引变电所获得的电能输送给电力机车。支持装置用以支持接触悬挂,并将其负荷传给支柱或其它建筑物。支持装置包括腕臂、水平拉杆、悬式绝缘子串,棒式绝缘子及其它建筑物的特殊支持设备。定位装置包括定位管和定位器,其功用是固定接触线的位置,使接触线在受电弓滑板运行轨迹范围内,保证接触线与受电弓不脱离,并将接触线的水平负荷传给支柱。支柱与基础用以承受接触悬挂、支持和定位装置的全部负荷,并将接触悬挂固定在规定的位置和高度上。
其中,铁路接触网中易出故障的部件为定位装置中的定位器和接触悬挂中的线夹器。本实施例中,可以对定位器和线夹器进行检测,以确定接触网是否发生故障。
下面首先对本发明实施例所提供的一种铁路接触网故障检测方法进行介绍。
图1为本申请实施例提供的一种铁路接触网故障检测方法的流程图。如图1所示,该方法包括以下步骤:
步骤S11,获取第一接触网图像。
其中,第一接触网图像可以通过设置于机车上方的拍摄装置拍摄得到。由于需要在高速行驶的机车上进行拍摄,因此需要选用快门时间更短、帧率更高的工业相机,每秒拍摄几十张甚至上百张图像。
图2为本申请实施例提供的第一接触网图像的示意图。如图2所示,目前,工业相机大多为黑白相机,拍摄得到的第一接触网图像为灰度图像。
步骤S12,采用目标检测模型从第一接触网图像中提取目标部件区域。
其中,目标部件至少包括定位器和/或线夹器。利用目标检测模型从第一接触网图像中将定位器和/或线夹器提取出来。
可选的,目标检测模型可以为RFCN、R-CNN、Fast R-CNN、Faster R-CNN、Yolov1、Yolov2、Yolov3、SSD等等基于深度学习的目标检测算法。
图3为本申请实施例提供的检测得到目标部件区域的示意图。如图3所示,从第一接触网图像中检测到目标部件区域31中包括定位器,目标部件区域32中包括线夹器。
步骤S13,对目标部件区域进行图像分割,得到目标部件的零件图像。
其中,目标部件由多个零件组成。
图4为本申请实施例提供的定位器的示意图。如图4所示,定位器由四个螺母、横向螺丝、勾型连接件和黑色线束组成。
图5为本申请实施例提供的线夹器的示意图。如图5所示,线夹器由线夹和螺母构成。
图6为本申请实施例提供的分割后定位器零件的示意图。图7为本申请实施例提供的分割后线夹器零件的示意图。如图6、7所示,由于定位器和线夹器均包含多个零件,可以将其每个零件分割处理,每个零件均用线条框出。
步骤S14,通过分类模型对零件图像进行分类,得到的分类结果包括零件状态。
其中,该分类模型可以为一个二分类模型,即将零件图像分为两类零件状态:正常或故障。或者,零件状态也可划分得更加细致,如正常、磨损、故障,甚至可以对于磨损程度、故障等级进行划分。
步骤S15,根据零件状态得到接触网的故障检测结果。
其中,根据零件状态可以确定目标部件是否故障,进而可以确定接触网整体情况。
本实施例中,在机车上设置摄像装置对接触网进行拍摄,从拍摄得到的接触网图像中提取目标部件区域,并对目标部件区域进行图像分割,对分割得到的目标部件的零件进行分类,基于分类得到的零件状态得到接触网的检测结果。这样,基于计算机视觉技术对长距离的铁路接触网进行故障检测,无需人工巡检,大大节约了人力和物力,消除人工巡检所带来的安全隐患,并且提高故障检测的准确度和效率,使得可以更加快速地获得铁路接触网的故障情况。
在可选实施例中,由于接触网布置与铁路沿线,其长度可达几百甚至上千公里,每次对接触网检测的长度也有几十至上百公里。这样,检测所涉及到目标部件的数量非常多,最终得到的故障检测结果中将包括对所有目标部件的检测结果。因此,当目标部件发生故障时,需要确定该目标部件的位置,否则将无法对其进行维修更换。
图8为本申请另一实施例提供的一种铁路接触网故障检测方法的流程图。如图8所示,当根据零件状态确定故障检测结果为故障时,该方法还包括以下步骤:
步骤S21,确定零件状态为故障的零件图像对应的目标部件;
步骤S22,获取目标部件在接触网的位置信息;
步骤S23,根据位置信息生成对目标部件的报警信息。
其中,目标部件在接触网中的位置信息,可以通过第一接触网图像的拍摄时间确定。可以根据拍摄装置所在机车的起始位置、发车时间、行驶速度以及每张图像的拍摄时间,计算得到图像中目标部件所在位置。
本实施例中,可以仅确定发生故障的目标部件的位置信息,根据该位置信息对故障目标部件进行报警。这样,便于维修人员找到故障部件进行修理或更换。
在另一个可选实施例中,步骤S11中的第一接触网图像通过黑白工业相机拍摄,为单颜色通道的灰度图像。在步骤S12中,采用目标检测模型从第一接触网图像中提取目标部件区域可以有以下两种实现方式。
方式一,将现有三颜色通道的卷积神经网络结构改为单颜色通道进行训练得到目标检测模型,对单颜色通道的图像进行目标检测。
步骤S12包括:将第一接触网图像输入目标检测模型,目标检测模型通过单颜色通道的检测神经网络结构训练得到;得到目标检测模型输出的目标部件区域。
方式二,将单颜色通道的图像转换为三颜色通道图像,采用现有卷积神经网络结构训练的目标检测模型对三颜色通道图像进行目标检测。
步骤S12包括:将第一接触网图像转换为三颜色通道的第二接触网图像;将第一接触网图像输入目标检测模型,目标检测模型通过三颜色通道的卷积神经网络结构训练得到;得到目标检测模型输出的目标部件区域。
采用Yolov3网络结构和1200张训练数据训练得到目标检测模型,采用300张测试数据对目标检测模型进行测试。方式一的实验结果,平均精度为50%IOU(mAP50)为99.6%;方式二的实验结果,mAP50为99.4%。由此可见,两种方式进行目标检测的精确度均较高,方式一的精度更高些。
当使用方式一从第一接触网图像中提取目标部件区域后,后续图像分割、分类所采用的神经网络结构均需改为单颜色通道。
在另一个可选实施例中,步骤S13包括:
步骤A1,将目标部件区域输入语义分割模型,语义分割模型通过单颜色通道的神经网络结构训练得到;
步骤A2,通过语义分割模型对目标部件区域进行语义分割,得到零件图像。
其中,对目标部件零件的分割可以看作是二分类的分割问题,即对图像前景(零件)和背景的分割。语义分割即是对图像中每一个像素点进行分类,确定每个像素点的类别,如属于零件、背景等等,从而进行区域划分。本实施例中,通过语义分割将零件从背景中分割出来。
其中,语义分割模型可以通过Google DeepLab、FCN、SegNet、U-Net、FC-Densenet、E-Net、Link-Net、RefineNet、PSPNet、Mask-RCNN、DecoupledNet或GAN-SS等等网络结构训练得到。
本实施例中,由于第一接触网图像为单颜色通道的灰度图像,则目标检测后得到的目标部件区域也是单颜色通道的灰度图像。因此,需要将三颜色通道的卷积神经网络结构也改为单颜色通道的网络结构,训练得到单颜色通道的语义分割模型。
由于目标部件包括多个零件,如果一次性将所有零件分割出来,经过试验,该语义分割的交并比(Iou)为63%,直接进行语义分割的效果相对并不是很好。为了提高语义分割效果,当目标部件包括至少两个零件时,步骤A2包括:将每个零件作为前景进行单独语义分割,得到至少两个零件区域;根据零件区域得到零件图像。
这样,将每个零件看作一个前景进行单独分割,在将所有分割结果进行融合,最终可得到该目标部件分割后的零件图像。经过试验,语义分割的Iou提高到93.2%,可以准确地识别出目标部件的所有零件,得到如图6和图7所示的零件图像。
图9为本申请实施例提供的第一接触网图像经图像分割后的示意图。如图9所示,在第一接触网图像中,目标部件区域被框出,目标部件中的零件被线条突出显示。
在另一个可选实施例中,若使用上述方式二从第一接触网图像中提取目标部件区域,图像分割时所使用的语义分割模型以及对零件图像分类时采用的分类模型均可以采用三颜色通道的网络结构训练得到。
在另一个可选实施例中,步骤S14对零件图像进行分类时,需要使用预先存储的正常的零件样本图像进行比对,具体的,步骤S14包括以下步骤:将零件图像输入分类模型;通过分类模型将零件图像与预存的零件样本图像进行比对,根据比对结果进行分类。
其中,比对结果可以为百分比数值,根据比对结果的数据确定零件状态,例如,当比对结果小于90%时,将该零件分类为故障状态,若比对结果大于或等于90%,则将该零件分类为正常状态。
下面对本实施例铁路接触网故障检测方法的整体流程进行详细说明。
图10为本申请另一实施例提供的一种铁路接触网故障检测方法的流程图。如图10所示,该方法包括以下步骤:
步骤S41,获取拍摄得的接触网图像,该接触网图像为单颜色通道的灰度图像;
步骤S42,采用目标检测算法从接触网图像中提取出目标部件区域;
步骤S43,对目标部件区域进行语义分割,单独分割出目标部件的各个零件,得到零件图像;
步骤S44,采用分类模型将零件图像与零件样本图像进行比对,根据比对结果判断零件状态是否为故障,如果是,执行步骤S45,如果否,即零件状态为正常,则结束;
步骤S45,确定故障的零件图像所对应的目标部件;
步骤S46,获取该接触网图像的拍摄时间;
步骤S47,根据该接触网图像的拍摄时间确定故障目标部件的位置信息;
步骤S48,根据故障目标部件及其位置信息生成接触网故障检测结果,并根据该位置信息生成故障目标部件的报警信息。
当采用单颜色通道的第一接触网图像进行故障检测,目标检测模型、语义分割模型及分类模型均改为单颜色通道的神经网络模型训练得到,经过试验,目标检测mAP50为99.6%,语义分割的Iou为93.2%,最终零件分类的精确度可达到99.8%。由此可见,本实施例的方法,可以实现准确识别接触网目标部件中零件的故障情况,进而使得接触网故障检测的精确度较高。
本实施例中,在机车上设置摄像装置对接触网进行拍摄,从拍摄得到的接触网图像中提取目标部件区域,并对目标部件区域进行图像分割,对分割得到的目标部件的零件进行分类,基于分类得到的零件状态得到接触网的检测结果。这样,基于计算机视觉技术对长距离的铁路接触网进行故障检测,无需人工巡检,大大节约了人力和物力,消除人工巡检所带来的安全隐患,并且提高故障检测的准确度和效率,使得可以更加快速地获得铁路接触网的故障情况。
下述为本申请装置实施例,可以用于执行本申请方法实施例。
图11为本申请实施例提供的一种铁路接触网故障检测装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图11所示,该铁路接触网故障检测装置包括:
获取模块51,用于获取第一接触网图像;
目标检测模块52,用于采用目标检测模型从第一接触网图像中提取目标部件区域;
分割模块53,用于对目标部件区域进行图像分割,得到目标部件的零件图像;
分类模块54,用于通过分类模型对零件图像进行分类,得到的分类结果包括零件状态;
分析模块55,用于根据零件状态得到接触网的故障检测结果。
本申请实施例还提供一种电子设备,如图12所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现以下上述方法实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect,P C I)总线或扩展工业标准结构(Extended IndustryStandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下上述方法实施例的步骤。
需要说明的是,对于上述装置、电子设备及计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
进一步需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。