CN111583176B - 一种基于图像的防雷模拟盘元件故障检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于图像的防雷模拟盘元件故障检测方法及系统，其中方法包括以下步骤：通过巡检模块获取防雷模拟盘的图像，并将获取的所述图像传输给识别模块；所述识别模块识别所述图像，并对所述图像中的防雷元件进行检测，得到检测结果；根据检测结果得出所述防雷元件出现故障，对故障的所述防雷元件进行行、列排序；根据排序结果得到所述防雷元件中故障的行、列位置。本发明对防雷元件的中心点进行行、列排序时，从前到后依次对所有的防雷元件的中心点进行正确的行、列排序，从而能够直接定位到发生故障的防雷元件。

Description

一种基于图像的防雷模拟盘元件故障检测方法及系统

技术领域

本发明属于轨道电路领域，特别涉及一种基于图像的防雷模拟盘元件故障检测方法及系统。

背景技术

铁路是我国重要的交通运输工具，承载了重要的人员、货物等运输任务。铁路运行的安全非常关键。铁路信号完成列车运行状态的信号传递与监控，保障列车的行车安全，是铁路运输系统的核心。雷电对铁路信号的影响非常大，许多的铁路安全事故都是由于雷电对信号的损坏造成的。

防雷模拟盘被广泛应用于铁路防雷电领域。防雷模拟盘的作用是对通过传输电缆引入室内的雷电冲击的防护(横向、纵向)。防雷模拟盘中的防雷元件的状态是显示该防护元件目前能否正常工作，因此能快速准确的识别出防雷元件以及故障元件所对应单元的状态。目前故障元件的检测基本只能靠人工观察统计，但人工统计的效率低下，工作强度较大，容易出现错误。

因此，需要一种方法及系统以实现对防雷元件进行自动化、高精度和高速的检测。

发明内容

针对上述问题，本发明涉及一种基于图像的防雷模拟盘元件故障检测方法，包括以下步骤：

通过巡检模块获取防雷模拟盘的图像，并将获取的所述图像传输给识别模块；

所述识别模块识别所述图像，并对所述图像中的防雷元件进行检测，得到检测结果；

根据检测结果，若判断得出所述防雷元件出现故障，对故障的所述防雷元件进行行、列排序；

根据排序结果得到所述故障的防雷元件的行、列位置。

优选的，所述对所述图像中的防雷元件进行检测包括以下步骤：

通过不同光照强度和拍摄角度收集所述图像的样本；

通过所述样本建立样本数据集；

调整所述样本数据集内部正常图像和故障图像；

通过调整的所述样本数据集内部的正常图像和故障图像建立网络模型；

利用所述网络模型对防雷元件进行故障检测。

优选的，所述调整所述样本数据集内部正常图像和故障图像包括：

对巡检模块获取的故障元件图像进行图像处理，将拍摄的所述故障元件图像生成故障元件的样本。

优选的，所述网络模型为：L_cls＝λ₁L^N _cls+λ₂L^F _cls；

其中，L_cls为网络模型总体的类别损失，L^N _cls为网络模型预测每批次样本中正常元件图像后得到的类别损失，L^F _cls为网络模型预测每批次样本中故障元件图像后得到的类别损失，λ₁的取值为a/b，λ₂的取值为b/a，a为故障元件图像数量，b为正常元件图像数量。

优选的，所述通过巡检模块获取防雷模拟盘的图像包括：

先获取防雷模拟盘放置的位置；

根据防雷模拟盘放置的位置规划所述巡检模块的采集路径；

根据所述采集路径依次采集每个防雷模拟盘的图像。

优选的，所述识别模块识别所述图像的过程，包括以下步骤：

接收所述巡检模块传输的所述图像；

对所述图像的每一帧进行分析处理，确定防雷模拟盘中的防雷元件是否出现故障；

若所述防雷元件出现故障，所述识别模块将报警指令传输至所述巡检模块，并由所述巡检模块发出警报；

若所述防雷元件没有出现故障，所述巡检模块巡检其他防雷模拟盘。

优选的，对所述防雷元件的行、列排序过程如下：

在所述防雷模拟盘上建立平面直角坐标系；

以坐标系中所有防雷元件中心点的纵坐标进行列排序；

以坐标系中所有防雷元件中心点的横坐标进行行排序；

根据所述列排序和行排序，得到所述防雷元件所位于的行、列序号。

优选的，所述列排序和行排序包括以下步骤：

对所有防雷元件中心点的纵坐标和横坐标进行升序排列；

计算所述升序排列最先的三个中心点的纵轴方向和横轴方向坐标差和角度差；

将最先的三个中心点的坐标差与坐标差阈值进行比较或角度差与角度差阈值进行比较；

根据比较结果排列三个中心点；

按照降序的顺序依次对所有中心点进行遍历排列；

根据遍历结果排列所有中心点。

优选的，所述中心点为防雷元件边框的中心点位置，在平面直角坐标系中横轴方向为x方向，纵轴方向为y方向。

本发明还涉及一种基于图像的防雷模拟盘元件故障检测系统，包括巡检模块和识别模块；

所述巡检模块，用于获取防雷模拟盘的图像，并将获取的所述图像传输给所述识别模块；

所述识别模块，用于识别所述图像，并对所述图像中的防雷元件进行检测，得到检测结果，根据检测结果，若判断得出所述防雷元件出现故障，对故障的所述防雷元件进行行、列排序；

根据排序结果得到所述故障的防雷元件的行、列位置。

优选的，所述巡检模块包括采集单元、规划单元和获取单元；

所述获取单元，用于获取防雷模拟盘放置的位置；

所述规划单元，用于根据防雷模拟盘放置的位置规划所述巡检模块的采集路径；

所述采集单元，用于根据所述采集路径依次采集每个防雷模拟盘的图像。

本发明的技术优点：

1、对防雷元件的中心点进行行、列排序时，从前到后依次对所有的防雷元件的中心点进行正确的行、列排序，从而能够直接定位到发生故障的防雷元件；

2、巡检模块将获取的防雷模拟盘图像传输给识别模块，识别模块对图像的每一帧进行识别，建立网络模型，通过网络模型提高识别防雷元件故障状态的精度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例的基于图像的防雷模拟盘元件故障检测系统的原理框图；

图2示出了本发明实施例的基于图像的防雷模拟盘元件定位及排序方法的软件流程图；

图3示出了本发明实施例的对防雷模拟盘元件识别并排序后的结果示例。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明涉及一种基于图像的防雷模拟盘元件故障检测方法，包括以下步骤：

通过巡检模块获取防雷模拟盘的图像，并将获取的所述图像传输给识别模块。

如图1所示，其中，巡检模块设置为巡检机器人，识别模块设置为上位机。巡检机器人上安装有视觉传感器和通信单元，获取防雷模拟盘的图像数据时，主要是利用视觉传感器进行实时采集，并将采集的图像数据通过通信单元传输给上位机。

本实施例中，所述图像数据可以是视觉传感器实时采集的防雷模拟盘的图像或者视频图像。

示例性的，巡检机器人将采集的图像传输给上位机时，可以通过有线以及无线的方式进行数据传输，本发明中的通信单元通过4G的无线网络通信的方式，将图像数据传输给上位机；无线数据传输，增加了数据传输的快捷性。本发明的通信单元还可以通过有线的方式进行传输，通过有线线路的方式将图像数据传输给上位机，能够增加信息传输的稳定性。

如图2所示，通过视觉传感器获取防雷模拟盘的图像：

巡检机器人先通过视觉传感器获取防雷模拟盘放置的位置，然后规划巡检机器人的行走路径，根据行走路径，依次采集每个防雷模拟盘的图像。巡检机器人获取到防雷模拟盘的图像，然后将图像传输给识别模块。

所述识别模块识别所述图像，并对所述图像中的防雷元件进行检测。

识别模块设置为YOLOV3网络(You Only Look Once:基于卷积神经网络的物体检测算法)(其中，YOLOV3是YOLO的第3个版本)，通过YOLOV3网络对传输的图像进行识别，从而识别出图像中的防雷元件。识别时，YOLOV3借鉴了FPN(Featurized image pyramid)(特化图像金字塔)的结构，将高层次的特征图反卷积后与低层次的特征图连接可以增加语义信息，提高小目标物体的识别精度。

示例性的，高层次的特征图指在网络传播后端形成的特征图，而低层次的特征图是在网络传播前端的特征图。高层次的特征图其分辨率比低层次的特征图小，因此需要通过反卷积方法将高层次的特征图扩充到与低层次特征图大小相同，将二者在深度方向上拼接，从而实现二者的连接。连接是用于为网络提供更丰富的特征信息，神经网络可以认为是先从图像中提取出特征后再进行综合判断。

所述识别模块对所述图像中的防雷元件进行检测还包括建立网络模型具体的，首先，本发明采用不同的光照强度和拍摄角度采集训练所用的样本数据集，以提高防雷模拟盘的鲁棒性和泛化能力，增加识别效果。

然后，在建立网络模型时，需要对样本数据集内部的样本(包括故障元件和正常元件)进行比较，对防雷元件进行拍摄图像时，防雷元件故障(显示Failure(错误)的元件)的次数远少于防雷元件正常(显示Normal(正常)的元件)的次数，从而造成样本的不均衡现象。对样本的不均衡现象进行处理，避免样本数据集内部的样本全部趋向于正常，从而使训练出的网络模型趋于正常，能够对防雷元件进行准确的状态检测。

示例性的，样本数据集的样本不均衡时，先通过视觉传感器大量的拍摄故障元件的图像，通过裁剪、翻转等图像处理的方式，将拍摄的故障元件的图像生成更多含故障元件的样本。然后将正常元件和故障元件的类别损失进行加权求和，从而使网络模型能够对故障元件进行准确的检测。

类别损失是对防雷元件种类进行预测的错误的惩罚。例如，将一个正常防雷元件准确地预测为正常类别，则网络模型预测准确，损失为0，若预测为故障的，则网络模型存在损失，对网络模型进行惩罚，网络根据损失值动态调整自身的参数。通过不断地学习，损失值不断下降，则网络模型预测越来越准确，精度越来越高。

若样本数据集的样本中故障元件图像与正常元件图像的数量比值为a:b(a＜b)，则网络模型为：L_cls＝λ₁L^N _cls+λ₂L^F _cls；

其中，L_cls为网络模型总体的类别损失，L^N _cls为网络模型预测每批次样本中正常元件图像后得到的类别损失，L^F _cls为网络模型预测每批次样本中故障元件图像后得到的类别损失，λ₁的取值为a/b，λ₂的取值为b/a，a为故障元件图像数量，b为正常元件图像数量。经处理后，网络模型不断修正防雷元件故障状态识别的能力，减少故障元件识别错误的情况，提高网络模型准确识别出防雷元件故障状态的精度。

如图1所示，通过识别模块(上位机)对通信单元(巡检机器人)发送的图像进行分析，是对图像中的每一帧画面进行分析处理，确定防雷模拟盘中的防雷元件是否出现故障，若防雷元件处于正常状态(Normal)，则巡检机器人巡检下一个防雷模拟盘；若防雷元件处于故障状态(Failure)，识别模块将报警指令传输给巡检模块，从而由巡检模块发出警报。

如图2、3所示，若所述防雷元件出现故障，对故障的所述防雷元件进行行、列排序。

获取到所有防雷元件的位置后，将每个防雷元件边框的中心点作为防雷元件在防雷模拟盘中的对应位置，以防雷模拟盘的边框为轴线建立平面直角坐标系，从而能够根据中心点得到所有防雷元件的位置坐标。

示例性的，防雷模拟盘设置为方体，从而将防雷模拟盘的边框作为平面直角坐标系的坐标轴，使防雷元件处于平面直角坐标系的第一象限。处于第一象限的防雷元件的坐标值均为正数，方便计算防雷元件的位置。

根据排序结果得到所述防雷元件中故障的行、列位置。

(1)依据坐标系中防雷元件的纵坐标，对其进行列排序；

先将所有防雷元件中心点的纵坐标进行升序排列，取出前三个中心点，计算纵轴方向的坐标差为Δy，角度差为Δθ，设3个点的坐标分别为(x₁，y₁)、(x₂，y₂)、(x₃，y₃)。则详细计算如下：

Δy＝(y₃-y₂)-(y₂-y₁) (1)

Δθ＝arctan{(y₃-y₂)/(x₃-x₂)}-arctan{(y₂-y₁)/(x₂-x₁)} (2)

坐标差阈值设置为/>角度差阈值/>设置为/>对防雷元件中心点进行排序时，将防雷元件的中心点按照纵坐标升序的顺序进行排列，将最先的三个中心点的坐标差与坐标差阈值进行比较或角度差与角度差阈值进行比较，根据比较结果排列三个中心点，然后按照降序的顺序依次对所有中心点进行遍历排列，从而能够排列所有中心点。示例性的，若中心点的数量为20个，当20个中心点按照升序的顺序排序好后，则首先取第1中心点、第2中心点和第3中心点，并对这三个中心点进行排序，之后取第2中心点、第3中心点和第4中心点，并对这三个中心点进行排序，直到第18中心点、第19中心点和第20中心点进行排序后，遍历完成。当相邻三个中心点之间的坐标差大于坐标差阈值或角度差大于角度差阈值时，即/>或/>则该中心点位于下一行，示例性的，坐标差阈值和角度差阈值是按照排列的数据经验进行取值，其中，/> 从而确定坐标差阈值/>和角度差阈值/>

(2)依据坐标系中防雷元件的横坐标，对其进行排序；

根据防雷元件中心点纵坐标的排列过程，按照同样的方式对防雷元件中心点的横坐标进行排列。先将所有防雷元件中心点的横坐标进行升序排列，取出前三个中心点，计算横轴方向的坐标差为Δx，角度差为Δβ。坐标差阈值设置为/>角度差阈值/>设置为当相邻三个中心点之间的坐标差大于坐标差阈值或角度差大于角度差阈值时，即或/>则该中心点位于下一列。

依次对所有防雷元件的中心点进行排列后，能够确定所检测防雷元件所位于的行、列序号。对防雷元件的中心点进行行、列排序时，从前到后依次对所有的防雷元件的中心点进行正确的行、列排序，从而能够直接定位到发生故障的防雷元件。检测到防雷元件是正常状态时，防雷元件显示Normal(正常)；检测防雷元件是故障状态时，防雷元件显示Failure(错误)。将坐标系的横轴方向作为x方向，纵轴方向为y方向，从而得到防雷元件的坐标为(x，y)，其中，x为防雷元件的横坐标，y为防雷元件的纵坐标。

本发明还涉及一种基于图像的防雷模拟盘元件故障检测系统，包括巡检模块和识别模块；

所述巡检模块，用于获取防雷模拟盘的图像，并将获取的所述图像传输给所述识别模块；

所述识别模块，用于识别所述图像，并对所述图像中的防雷元件进行检测，得到检测结果，根据检测结果对根据检测结果得出所述防雷元件出现故障，对故障的所述防雷元件进行行、列排序；

根据排序结果得到所述防雷元件的行、列位置。

所述巡检模块包括采集单元、规划单元和获取单元；

所述获取单元，用于获取防雷模拟盘放置的位置；

所述规划单元，用于根据防雷模拟盘放置的位置规划所述巡检模块的采集路径；

所述采集单元，用于根据所述采集路径依次采集每个防雷模拟盘的的图像。

本发明通过巡检机器人上的视觉传感器实时采集防雷模拟盘上的视频图像，并通过通信单元将视频图像传输给上位机，上位机将接收的视频图像的每一帧进行分析，从而能够识别出图像中防雷元件的状态，如果没有故障元件图像，则巡检机器人巡检下一组防雷模拟盘；如果存在故障元件图像，上位机将警报指令发送给巡检机器人，从而通过巡检机器人发出警报。巡检机器人发出警报后，就能够对防雷模拟盘中的故障元件的位置进行确定。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于图像的防雷模拟盘元件故障检测方法，其特征在于，包括以下步骤：

通过巡检模块获取防雷模拟盘的图像，并将获取的所述图像传输给识别模块；

所述识别模块识别所述图像，并对所述图像中的防雷元件进行检测，得到检测结果；

根据检测结果，若判断得出所述防雷元件出现故障，对故障的所述防雷元件进行行、列排序；

根据排序结果得到所述故障的防雷元件的行、列位置；

对所述防雷元件的行、列排序过程如下：

在所述防雷模拟盘上建立平面直角坐标系；

以坐标系中所有防雷元件中心点的纵坐标进行列排序；

以坐标系中所有防雷元件中心点的横坐标进行行排序；

根据所述列排序和行排序，得到所述防雷元件所位于的行、列序号；

所述列排序和行排序包括以下步骤：

对所有防雷元件中心点的纵坐标和横坐标进行升序排列；

计算所述升序排列最先的三个中心点的纵轴方向和横轴方向坐标差Δy和角度差Δθ；

设三个点的坐标分别为（x₁，y₁）、（x₂，y₂）、（x₃，y₃），计算如下：

Δy=（y₃-y₂）-（y₂-y₁）

Δθ=arctan{（y₃-y₂）/（x₃-x₂）}-arctan{（y₂-y₁）/（x₂-x₁）}

将最先的三个中心点的坐标差与坐标差阈值进行比较或角度差与角度差阈值进行比较；

根据比较结果排列三个中心点；当相邻三个中心点之间的坐标差大于坐标差阈值或角度差大于角度差阈值时，则该中心点位于下一行或列；

按照降序的顺序依次对所有中心点进行遍历排列；

根据遍历结果排列所有中心点。

2.根据权利要求1所述的基于图像的防雷模拟盘元件故障检测方法，其特征在于，

所述对所述图像中的防雷元件进行检测包括以下步骤：

通过不同光照强度和拍摄角度收集所述图像的样本；

通过所述样本建立样本数据集；

调整所述样本数据集内部正常图像和故障图像；

通过调整的所述样本数据集内部的正常图像和故障图像建立网络模型；

利用所述网络模型对防雷元件进行故障检测。

3.根据权利要求2所述的基于图像的防雷模拟盘元件故障检测方法，其特征在于，

所述调整所述样本数据集内部正常图像和故障图像包括：

对巡检模块获取的故障元件图像进行图像处理，将拍摄的所述故障元件图像生成故障元件的样本。

4.根据权利要求2所述的基于图像的防雷模拟盘元件故障检测方法，其特征在于，

所述网络模型为：L_cls=λ₁L^N _cls+λ₂L^F _cls；

其中，L_cls为网络模型总体的类别损失，L^N _cls为网络模型预测每批次样本中正常元件图像后得到的类别损失，L^F _cls为网络模型预测每批次样本中故障元件图像后得到的类别损失，λ₁的取值为a/b，λ₂的取值为b/a，a为故障元件图像数量，b为正常元件图像数量。

5.根据权利要求1所述的基于图像的防雷模拟盘元件故障检测方法，其特征在于，

所述通过巡检模块获取防雷模拟盘的图像包括：

先获取防雷模拟盘放置的位置；

根据防雷模拟盘放置的位置规划所述巡检模块的采集路径；

根据所述采集路径依次采集每个防雷模拟盘的图像。

6.根据权利要求1所述的基于图像的防雷模拟盘元件故障检测方法，其特征在于，

所述识别模块识别所述图像的过程，包括以下步骤：

接收所述巡检模块传输的所述图像；

对所述图像的每一帧进行分析处理，确定防雷模拟盘中的防雷元件是否出现故障；

若所述防雷元件出现故障，所述识别模块将报警指令传输至所述巡检模块，并由所述巡检模块发出警报；

若所述防雷元件没有出现故障，所述巡检模块巡检其他防雷模拟盘。

7.根据权利要求1任意一项所述的基于图像的防雷模拟盘元件故障检测方法，其特征在于，

所述中心点为防雷元件边框的中心点位置，在平面直角坐标系中横轴方向为x方向，纵轴方向为y方向。

8.一种基于图像的防雷模拟盘元件故障检测系统，其特征在于，包括巡检模块和识别模块；

所述巡检模块，用于获取防雷模拟盘的图像，并将获取的所述图像传输给所述识别模块；

所述识别模块，用于识别所述图像，并对所述图像中的防雷元件进行检测，得到检测结果，根据检测结果，若判断得出所述防雷元件出现故障，对故障的所述防雷元件进行行、列排序；

根据排序结果得到所述故障的防雷元件的行、列位置；

对所述防雷元件的行、列排序过程如下：

在所述防雷模拟盘上建立平面直角坐标系；

以坐标系中所有防雷元件中心点的纵坐标进行列排序；

以坐标系中所有防雷元件中心点的横坐标进行行排序；

根据所述列排序和行排序，得到所述防雷元件所位于的行、列序号；

所述列排序和行排序包括以下步骤：

对所有防雷元件中心点的纵坐标和横坐标进行升序排列；

计算所述升序排列最先的三个中心点的纵轴方向和横轴方向坐标差Δy和角度差Δθ；

设三个点的坐标分别为（x₁，y₁）、（x₂，y₂）、（x₃，y₃），计算如下：

Δy=（y₃-y₂）-（y₂-y₁）

Δθ=arctan{（y₃-y₂）/（x₃-x₂）}-arctan{（y₂-y₁）/（x₂-x₁）}

将最先的三个中心点的坐标差与坐标差阈值进行比较或角度差与角度差阈值进行比较；

根据比较结果排列三个中心点；当相邻三个中心点之间的坐标差大于坐标差阈值或角度差大于角度差阈值时，则该中心点位于下一行或列；

按照降序的顺序依次对所有中心点进行遍历排列；

根据遍历结果排列所有中心点。

9.根据权利要求8所述的基于图像的防雷模拟盘元件故障检测系统，其特征在于，

所述巡检模块包括采集单元、规划单元和获取单元；

所述获取单元，用于获取防雷模拟盘放置的位置；

所述规划单元，用于根据防雷模拟盘放置的位置规划所述巡检模块的采集路径；

所述采集单元，用于根据所述采集路径依次采集每个防雷模拟盘的图像。