CN116843686B - 接触网定位器线夹螺母缺陷的检测方法及装置 - Google Patents

接触网定位器线夹螺母缺陷的检测方法及装置 Download PDF

Info

Publication number
CN116843686B
CN116843686B CN202311113672.9A CN202311113672A CN116843686B CN 116843686 B CN116843686 B CN 116843686B CN 202311113672 A CN202311113672 A CN 202311113672A CN 116843686 B CN116843686 B CN 116843686B
Authority
CN
China
Prior art keywords
image
locator
arrangement
permutation
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311113672.9A
Other languages
English (en)
Other versions
CN116843686A (zh
Inventor
伊梦丹
欧阳瑞麒
奚兴
沈复民
申恒涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Koala Youran Technology Co ltd
Original Assignee
Chengdu Koala Youran Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Koala Youran Technology Co ltd filed Critical Chengdu Koala Youran Technology Co ltd
Priority to CN202311113672.9A priority Critical patent/CN116843686B/zh
Publication of CN116843686A publication Critical patent/CN116843686A/zh
Application granted granted Critical
Publication of CN116843686B publication Critical patent/CN116843686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了接触网定位器线夹螺母缺陷的检测方法及装置，方法包括步骤：基于目标检测模型，从接触网图像中获取包括接触网定位器线夹螺母组件的第一图像；基于语义分割模型，对所述第一图像进行分割，获取包含各组件区域的多通道分割图像；利用所述中心校正区对所述多通道分割图像进行旋转矫正，获得第二图像；扫描获取第二图像中单行或单列各组件的顺序，解析后获得接触网定位器线夹螺母缺陷结果。本发明有效提升了定位器线夹上螺母组件的定位准确性，采用了目标检测与语义分割技术的有机结合，提高了检测的准确率和鲁棒性；具有较低的提报率从而降低了人工审核成本，同时还具备较高的识别准确率和可靠性。

Description

接触网定位器线夹螺母缺陷的检测方法及装置
技术领域
本发明涉及接触网安全巡查技术领域，尤其涉及接触网定位器线夹螺母缺陷的检测方法及装置 。
背景技术
接触网是电气化铁路架空接触网的重要组成部分，用于传输电能给运行的电力机车和电力动车组，其担负着把从牵引变电所获得的电能直接输送给电力机车使用的重要任务。因此接触网的质量和工作状态将直接影响着电气化铁道的运输能力。接触网中的定位装置负责将接触线固定在受电弓取流所必要的空间位置。然而，由于外部环境引发的热胀冷缩、腐蚀风化和震动等因素的影响，定位装置中定位器线夹上的螺母组件可能出现螺母松动、螺母缺失等问题。这些问题会导致接触线位置不稳定，可能会导致受电弓的损坏甚至引发行车事故。
针对定位器线夹螺母存在的各类缺陷，目前常用的检测方法主要有以下两类：
人工目视检查：通过人工巡检线路，依靠操作人员通过查看相机抓拍接触网图像或经验判断是否出现螺母松动或缺失，存在效率低下、结果主观性较大等问题。
基于软硬件系统：如智能螺母松动预警系统，它主要由通讯网关、无线螺母、遥控器、报警器、天线、防水外壳、电源适配器组成，当螺母发生松动回退时会接触到感应按钮，按钮受力后会持续闪烁发光报警信号给通讯网关，同时预警螺母红色灯光持续闪烁、启动声光报警器报警；通讯网关收到报警信号后，将智能螺母的编号及报警信息、位置信息上传给服务器，服务器系统弹出报警信息，同时通过微信公众号推送报警信息给系统管理员。其存在的问题在于需要为每个想要监测的螺母组件配置一套硬件，购买安装成本高，硬件维护麻烦。
传统机器视觉方法：基于图像处理与分析技术实现对螺母缺陷的识别，但对目标检测准确性和鲁棒性较差。
近年来，基于深度学习的计算机视觉技术发展迅速，在图像目标检测、语义分割等方面展现出优异的性能。公开号为CN 115995062A的中国发明专利，其通过语义分割提取螺栓头、螺母和导线的区域，然后计算各区域之间的距离关系来判断螺母的松动和脱落。该技术方案存在以下问题：1、依赖语义分割结果判断异常，对分割结果敏感，当分割出现错误时容易造成误报错；2、异常的判断条件依赖单一距离阈值，误报率较高。
发明内容
为了解决上述现有技术中存在的问题，本发明提供了一种基于深度学习的接触网定位器线夹螺母缺陷的检测方法及装置 ，具体方案如下：
接触网定位器线夹螺母缺陷的检测方法，包括步骤：
基于训练好的目标检测模型，从接触网图像中获取包括接触网定位器线夹螺母组件的第一图像；所述接触网定位器线夹螺母组件包括：螺母或螺栓头、螺柱、止动片和中心校正区；
基于训练好的语义分割模型，对所述第一图像进行分割，获取包含各组件区域的多通道分割图像；
利用所述中心校正区对所述多通道分割图像进行旋转矫正，获得第二图像；
扫描获取第二图像中单行或单列各组件的顺序，解析后获得接触网定位器线夹螺母缺陷结果。
在一些较优的实施例中，所述基于训练好的目标检测模型，获取包括接触网定位器线夹螺母组件的第一图像的方法包括：
获取接触网图像，利用训练好的第一目标检测模型获取定位器线夹的包围框坐标，进而提取定位器线夹图像；
利用训练好的第二目标检测模型获取接触网定位器线夹螺母组件的包围框坐标，进而提取包括接触网定位器线夹螺母组件的第一图像。
在一些较优的实施例中，所述利用所述中心校正区对所述多通道分割图像进行旋转矫正，获得第二图像 的方法包括：
将所述接触网定位器线夹闭合处的条形区域设定为中心校正区；
在所述多通道分割图像中提取中心校正区的通道图，识别所述中心校正区的中线；
基于中线与竖直方向的夹角，逆时针旋转所述多通道分割图像，使所述中线竖直或垂直，获得所述第二图像。
在一些较优的实施例中，所述目标检测模型包括YOLOv7目标检测网络；所述YOLOv7目标检测网络的训练方法包括：将SIOU损失函数作为优化YOLOv7目标检测网络的损失函数。
在一些较优的实施例中，解析单行或单列各组件顺序的方法包括：
建立元件顺序解析表，根据单行或单列各组件的顺序，查表判断所述顺序对应的接触网定位器线夹螺母状态；其中，*代表若干个组件序号，0为螺母或螺栓头序号，1为螺柱序号，2为止动片序号；
所述元件顺序解析表如下：
排列编号 元件排列顺序 接触网定位器线夹螺母状态
排列1 0,*,1,*,0 松动
排列2 *,1,*0,*,1,* 松动
排列3 非排列1且非排列2且*,0,1,2,* 松动
排列4 非排列1且非排列2且*,0,2,1,* 松动
排列5 非排列1且非排列2且*,2,1,0,* 松动
排列6 非排列1且非排列2且*,1,2,0,* 松动
排列7 非松动且0,*,1且*中无0 丢失
排列8 非松动且0,*,1,2且单行元件序号总数大于3 丢失
排列9 非松动且2,1,*,0且单行元件序号总数大于3 丢失
排列10 其他 正常
本发明还提供了接触网定位器线夹螺母缺陷的检测装置，包括依次连接的：
图像获取模块，用于基于训练好的目标检测模型，从接触网图像中获取包括接触网定位器线夹螺母组件的第一图像；所述接触网定位器线夹螺母组件包括：螺母或螺栓头、螺柱、止动片和中心校正区；
图像分割模块，用于基于训练好的语义分割模型，对所述第一图像进行分割，获取包含各组件区域的多通道分割图像；
图像旋转矫正模块，用于利用所述中心校正区对所述多通道分割图像进行旋转矫正，获得第二图像；
缺陷解析模块，用于扫描获取第二图像中单行或单列各组件的顺序，解析后获得接触网定位器线夹螺母缺陷结果。
在一些较优的实施例中，所述图像获取模块包括：
第一图像获取单元，用于获取接触网图像，利用训练好的第一目标检测模型获取定位器线夹的包围框坐标，进而提取定位器线夹图像；
第二图像获取单元，用于利用训练好的第二目标检测模型获取接触网定位器线夹螺母组件的包围框坐标，进而提取包括接触网定位器线夹螺母组件的第一图像。
在一些较优的实施例中，所述图像旋转矫正模块包括：
中线识别单元，用于将所述接触网定位器线夹闭合处的条形区域设定为中心校正区，在所述多通道分割图像中提取中心校正区的通道图，识别所述中心校正区的中线；
图像旋转单元，用于基于中线与竖直方向的夹角，逆时针旋转所述多通道分割图像，使所述中线竖直或垂直，获得所述第二图像。
在一些较优的实施例中，所述目标检测模型包括YOLOv7目标检测网络；
所述YOLOv7目标检测网络的训练方法包括：将SIOU损失函数作为优化YOLOv7目标检测网络的损失函数。
在一些较优的实施例中，所述缺陷解析模块包括：
元件顺序解析表单元，用于存储如下表所示的元件顺序解析表；其中，其中，*代表若干个组件序号，0为螺母或螺栓头序号，1为螺柱序号，2为止动片序号；
解析单元，用于根据单行或单列各组件的顺序，查表判断所述顺序对应的接触网定位器线夹螺母状态；
所述元件顺序解析表如下：
排列编号 元件排列顺序 接触网定位器线夹螺母状态
排列1 0,*,1,*,0 松动
排列2 *,1,*0,*,1,* 松动
排列3 非排列1且非排列2且*,0,1,2,* 松动
排列4 非排列1且非排列2且*,0,2,1,* 松动
排列5 非排列1且非排列2且*,2,1,0,* 松动
排列6 非排列1且非排列2且*,1,2,0,* 松动
排列7 非松动且0,*,1且*中无0 丢失
排列8 非松动且0,*,1,2且单行元件序号总数大于3 丢失
排列9 非松动且2,1,*,0且单行元件序号总数大于3 丢失
排列10 其他 正常
有益效果
1、本发明基于两个级联的改进的YOLOv7目标检测模型，有效提升了定位器线夹上螺母组件的定位准确性，采用了目标检测与语义分割技术的有机结合，提高了检测的准确率和鲁棒性；
2、本发明通过借助螺母组件的中心校正区对图像进行旋转校正，并逐行扫描各元件排列顺序，结合单行元件顺序解析表，实现对螺母松动、螺母丢失等的缺陷类别判断，具有较低的提报率从而降低了人工审核成本，同时还具备较高的识别准确率和可靠性；
附图说明
图1为本发明一种较优实施例中的接触网定位器线夹螺母缺陷的检测方法流程示意图；
图2为本发明一种较优实施例中的第一图像获取方法流程示意图；
图3为本发明一种较优实施例中的第二图像获取方法流程示意图；
图4为本发明另一种较优实施例中的接触网定位器线夹螺母缺陷的检测装置结构示意图；
图5为本发明另一种较优实施例中的图像获取模块结构示意图；
图6为本发明另一种较优实施例中的图像旋转矫正模块结构示意图；
图7为本发明另一种较优实施例中的缺陷解析模块结构示意图；
图8为本发明另一种较优实施例中的多通道分割图像示意图；
图9为本发明实验例中的接触网定位器线夹螺母缺陷的检测方法流程及执行结果示意图；
图10为本发明一种较优实施例中的第二图像获取结果示意图；
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例1
如图1所示，本实施例提供了一种接触网定位器线夹螺母缺陷的检测方法，包括步骤：
S1、基于训练好的目标检测模型，从接触网图像中获取包括接触网定位器线夹螺母组件的第一图像；所述接触网定位器线夹螺母组件包括：螺母或螺栓头、螺柱、止动片和中心校正区。
其中，所述接触网图像是指先期在接触网节点处采集得到的图像，其分辨率满足后续目标检测和语义分割模型的要求，优选的分辨率为4K。其具体采集方式和采集设备可由本领域的技术人员根据需要设定，可以是在原有图像采集系统的基础上使用，也可以是单独设置新的图像采集系统，该部分内容不是本发明的重点，在此不再赘述。
所述目标检测模型是机器视觉领域常用的定位为和识别不同类别物体的神经网络模型，常见的目标检测模型包括：
R-CNN系列模型，其为典型的两阶段目标检测模型，其主要模型包括：R-CNN、FastR-CNN、Faster R-CNN等。R-CNN首先使用选择性搜索算法生成大约2000个候选区域，然后将每个候选区域输入到CNN中提取特征，最后使用SVM分类器和线性回归器进行分类和定位。
YOLO系列模型，其为一种单阶段的目标检测模型，它将图像划分为网格，并对每个网格预测多个边界框和类别概率。主要包括YOLO、YOLOv2、YOLOv3、YOLOv7等版本。
SSD系列模型：其为一种单阶段的目标检测模型，它使用多个不同尺度的特征图，并在每个特征图上预测多个不同大小和长宽比的先验框。SSD、DSSD、RetinaNet等对其进行了扩展，增加了深度残差网络、反卷积层、焦点损失函数等技术，提升了性能。
本领域的技术人员可以通过自己擅长的模型系列和现场的实际需要选择合适的模型进行训练和使用，本发明不做进一步的要求。
应当理解的是，所述中心校正区待处理图像中的一个区域，通过该区域的形状和方向，对图像进行变换和校正，使其更容易被识别。具体到本申请中，所述中心校正区是用于调整螺母方向的一个部件，其具有特殊的几何形状或标记。通过识别中心校正区的位置和方向，可以计算出与标准方向(如垂直方向或水平方向)的偏差角，并对整个螺母图像进行旋转校正。在一些较优的实施例中，所述中心校正区可以是螺母或螺帽中心位置的圆形凸起、矩形凸块等有明显方向感的特征区域，该区域是整体图像中用来指示方向、进行校准的一个辅助组件区域，通过它的方向可以推算出整个螺母的方向偏差，以进行方向校正。
S2、基于训练好的语义分割模型，对所述第一图像进行分割，获取包含各组件区域的多通道分割图像。
所述语义分割模型是一种常用的对图像进行像素级分类的神经网络模型，常见的模型包括：
FCN是最早的端到端的语义分割模型，它使用卷积网络提取特征，然后上采样还原到输入图像大小，实现像素级分类。
U²-Net结合了编码器和解码器，采用跳跃连接传递空间信息，分割效果优于FCN。它广泛用于医疗图像分析。
Mask R-CNN在Faster R-CNN的基础上增加了分割分支，实现检测和分割的联合。
本领域的技术人员可以通过自己擅长的模型系列和现场的实际需要选择合适的模型进行训练和使用，本发明不做进一步的要求。
应当理解的是，所述多通道分割图像是指将每个组件区域分割到一张独立的图像通道中，形成多通道的分割结果。在本实施例中，如图8所示，所述多通道分割图像包括螺母或螺栓头通道、螺柱通道、止动片通道和中心校正区通道四张分割图，这四张分割图合起来，构成了一个多通道的分割图像。其作用在于保留了每个组件区域的独立信息，便于后续的图像处理和解析。
S3、利用所述中心校正区对所述多通道分割图像进行旋转矫正，获得第二图像。
本实施例中对所述多通道分割图像进行旋转矫正的目的在于矫正图像中各组件的方向，以使多个组成部分基本水平或垂直对齐，以方便后续的扫描步骤，否则不同组件的方向不同，其间的相对位置关系会出现混乱，不利于解析。其具体方法可以是利用中心校正区对各螺母方向进行统一调整，使得后续的顺序解析更加可靠。这是实现准确判断螺母状态的重要一步。
S4、扫描获取第二图像中单行或单列各组件的顺序，解析后获得接触网定位器线夹螺母缺陷结果。应当理解的是，扫描时具体考虑单行还是单列的组件顺序，由前述S3步骤中进行旋转矫正的方向有关，若旋转多通道分割图像以使各组件区域水平对齐，则扫描时应当考虑单行组件顺序，旋转多通道分割图像以使各组件区域垂直对齐，则扫描时应当考虑单列组件顺序。解析各组件的顺序以获得接触网定位器线夹螺母缺陷结果的方法有很多，本实施例提供以下思路供参考：
1、基于规则的方法：预定义一组判断规则，例如碰到特定顺序判定为松动，碰到组件缺失判定为缺失等。本领域技术人员可以根据实际的工作经验总结设定具体的判断规则；
2、基于机器学习的方法：使用机器学习算法，以组件顺序作为输入特征，训练一个模型来学习顺序模式与状态之间的对应关系，对新顺序进行预测。本领域技术人员可以通过收集大量带标签训练数据以训练预测模型；
3、基于力学模型的方法：建立螺母组装的力学模型，当模型输出的力状况异常时，判断为螺母的松动或缺失情况。
应当理解的是，在获得结果后，还可以设置提报确认步骤，即步骤S5、提报有缺陷的接触网图片交由人工二次确认，确认缺陷存在后，采取措施。
实施例2
如图2所示，本实施例是在上述实施例1的基础上展开的，本实施例提供了一种较优的第一图像获取方法。
考虑获取到的接触网图像分辨率较高，图像较大，通过一次目标检测可能导致识别结果异常，精确度不高，从而影响后续的分割和解析结果。本实施例提供了一种采用二级联的方式组织目标检测模型以克服上述缺陷，具体方法为：
S101、获取接触网图像，利用训练好的第一目标检测模型获取定位器线夹的包围框坐标，将其映射到接触网图像中，进而提取定位器线夹图像；
S102、利用训练好的第二目标检测模型获取接触网定位器线夹螺母组件的包围框坐标，将其映射到定位器线夹图像中，进而提取包括接触网定位器线夹螺母组件的第一图像。
本领域技术人员应当知晓，为了获得更好的图像处理效果，还可以对输入的图像进行预处理，以达到降噪除杂的目的。
优选的，考虑到工程实践中对速度和精度的双重要求，本实施考虑利用当前最优的YOLOv7目标检测模型作为第一目标检测模型和第二目标检测模型的基础模型。
本领域技术人员可以知晓，所述YOLOv7目标检测模型的预设损失函数为CIOU损失，其公式如下：，通过分析可知，其没有考虑到真实框与预测框之间的方向，导致收敛速度较慢。对此，本申请在一些较优的实施例中考虑将CIOU损失优化为SIOU损失以避免上述缺陷，引入真实框和预测框之间的向量角度，重新定义相关损失函数。引入SIOU之后的损失函数公式如下：
；
SIOU损失包含四个部分：角度损失Λ、距离损失Δ、形状损失Ω、IOU损失。其中角度损失Λ、距离损失Δ、形状损失Ω的计算可参考本领域的常规技术，本申请不作赘述。所述IOU损失为用预测框(A)和真实框(B)的交集除上二者的并集：；
则SIOU损失为：。
实施例3
如图3和图10所示，本实施例是在上述实施例1的基础上展开的，本实施例提供了一种较优的第二图像获取方法。
如前所述，所述中心校正区是整体图像中用来指示方向、进行校准的一个辅助组件区域，通过它的方向可以推算出整个螺母的方向偏差，以进行方向校正。考虑在螺母或螺栓上寻找指示方向的特征可能较为困难，且受图像的分辨率影响较大。因此，本实施例包括以下步骤：
S201、将所述接触网定位器线夹闭合处的条形区域设定为中心校正区；
S202、在所述多通道分割图像中提取中心校正区的通道图，识别所述中心校正区的中线。所述中线的识别方法有很多，在一些较优的实施例中给出了一种中线的识别方法，包括：将中心校正区通道图像在高度方向两个3分位线的中点连线作为中心校正区的中线。
S203、基于中线与竖直方向的夹角，逆时针旋转所述多通道分割图像，使所述中线竖直或垂直，获得所述第二图像。具体的，可以是计算中线相对Ｙ轴正方向的夹角，旋转多通道分割图像，使中心校正区前景的中线与Ｙ轴正方向重合，从而使得同一组的螺栓、螺母、螺柱中心轴线基本水平。
实施例4
本实施例是在上述实施例1的基础上展开的，本实施例提供了一种较优的根据组件顺序解析接触网定位器线夹螺母状态的方法。
考虑使用基于机器学习的方法来进行解析，一方面需要收集大量带标签训练数据，且标签需人工操作设定，另一方面需要额外的算力资源来进行模型的建立、存储和运行。而使用基于力学模型的方法来进行解析，则其力学模型的建模要求较高。因此，本实施例考虑采用基于规则的方法来进行解析，具体包括：
建立元件顺序解析表，根据单行或单列各组件的顺序，查表判断所述顺序对应的接触网定位器线夹螺母状态；其中，*代表若干个组件序号，0为螺母或螺栓头序号，1为螺柱序号，2为止动片序号；
所述元件顺序解析表如下：
排列编号 元件排列顺序 接触网定位器线夹螺母状态
排列1 0,*,1,*,0 松动
排列2 *,1,*0,*,1,* 松动
排列3 非排列1且非排列2且*,0,1,2,* 松动
排列4 非排列1且非排列2且*,0,2,1,* 松动
排列5 非排列1且非排列2且*,2,1,0,* 松动
排列6 非排列1且非排列2且*,1,2,0,* 松动
排列7 非松动且0,*,1且*中无0 丢失
排列8 非松动且0,*,1,2且单行元件序号总数大于3 丢失
排列9 非松动且2,1,*,0且单行元件序号总数大于3 丢失
排列10 其他 正常
实施例5
如图4所示，本实施例是在上述实施例1的基础上展开的，本实施例提供了一种接触网定位器线夹螺母缺陷的检测装置，包括依次连接的：
图像获取模块，用于基于训练好的目标检测模型，从接触网图像中获取包括接触网定位器线夹螺母组件的第一图像；所述接触网定位器线夹螺母组件包括：螺母或螺栓头、螺柱、止动片和中心校正区；
图像分割模块，用于基于训练好的语义分割模型，对所述第一图像进行分割，获取包含各组件区域的多通道分割图像；
图像旋转矫正模块，用于利用所述中心校正区对所述多通道分割图像进行旋转矫正，获得第二图像；
缺陷解析模块，用于扫描获取第二图像中单行或单列各组件的顺序，解析后获得接触网定位器线夹螺母缺陷结果。
实施例6
如图5所示，本实施例是在上述实施例2的基础上展开的，本实施例提供了一种图像获取模块的具体结构。
所述图像获取模块包括：
第一图像获取单元，用于获取接触网图像，利用训练好的第一目标检测模型获取定位器线夹的包围框坐标，进而提取定位器线夹图像；
第二图像获取单元，用于利用训练好的第二目标检测模型获取接触网定位器线夹螺母组件的包围框坐标，进而提取包括接触网定位器线夹螺母组件的第一图像。
在一些较优的实施例中，所述目标检测模型包括YOLOv7目标检测网络；
所述YOLOv7目标检测网络的训练方法包括：将SIOU损失函数作为优化YOLOv7目标检测网络的损失函数。
实施例7
如图6所示，本实施例是在上述实施例3的基础上展开的，本实施例提供了一种图像旋转矫正模块的具体结构。
所述图像旋转矫正模块包括：
中线识别单元，用于将所述接触网定位器线夹闭合处的条形区域设定为中心校正区，在所述多通道分割图像中提取中心校正区的通道图，识别所述中心校正区的中线；
图像旋转单元，用于基于中线与竖直方向的夹角，逆时针旋转所述多通道分割图像，使所述中线竖直或垂直，获得所述第二图像。
实施例8
如图7所示，本实施例是在上述实施例4的基础上展开的，本实施例提供了一种缺陷解析模块的结构。
所述缺陷解析模块包括：
元件顺序解析表单元，用于存储如下表所示的元件顺序解析表；其中，其中，*代表若干个组件序号，0为螺母或螺栓头序号，1为螺柱序号，2为止动片序号；
解析单元，用于根据单行或单列各组件的顺序，查表判断所述顺序对应的接触网定位器线夹螺母状态；
所述元件顺序解析表如下：
排列编号 元件排列顺序 接触网定位器线夹螺母状态
排列1 0,*,1,*,0 松动
排列2 *,1,*0,*,1,* 松动
排列3 非排列1且非排列2且*,0,1,2,* 松动
排列4 非排列1且非排列2且*,0,2,1,* 松动
排列5 非排列1且非排列2且*,2,1,0,* 松动
排列6 非排列1且非排列2且*,1,2,0,* 松动
排列7 非松动且0,*,1且*中无0 丢失
排列8 非松动且0,*,1,2且单行元件序号总数大于3 丢失
排列9 非松动且2,1,*,0且单行元件序号总数大于3 丢失
排列10 其他 正常
实验例
本实验例将本申请所提出的接触网定位器线夹螺母缺陷检测方法（方案A）和现有的两个级联的目标检测器+分类算法（方案B）进行对比实验。本申请的完整流程及结果示意如图9所示。
对比实验结果如下表1所示，可以看出，B方案在提报率微小增加的情况下，检出率较A方案有大幅提升。螺母松动检出率是A方案的1.5倍，螺母松动检出率是A方案的3.6倍。
表1 实验结果对比表
任务 图片数量 方案A提报数量 方案B提报数量 方案A提报率 方案B提报率 已知缺陷数量 方案A检出缺陷数量 方案B检出缺陷数量 方案A检出率 方案B检出率
定位器线夹螺母松动 42175 20 48 0.05% 0.11% 7 4 6 57.14% 85.71%
定位器线夹螺母缺失 42175 115 315 0.27% 0.75% 21 5 18 23.81% 85.71%
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.接触网定位器线夹螺母缺陷的检测方法，其特征在于，包括步骤：
基于训练好的目标检测模型，从接触网图像中获取包括接触网定位器线夹螺母组件的第一图像；所述接触网定位器线夹螺母组件包括：螺母或螺栓头、螺柱、止动片和中心校正区；
基于训练好的语义分割模型，对所述第一图像进行分割，获取包含各组件区域的多通道分割图像；
利用所述中心校正区对所述多通道分割图像进行旋转矫正，获得第二图像；
扫描获取第二图像中单行或单列各组件的顺序，解析后获得接触网定位器线夹螺母缺陷结果；
所述对多通道分割图像进行旋转矫正，获得第二图像的方法包括：
将所述接触网定位器线夹闭合处的条形区域设定为中心校正区；
在所述多通道分割图像中提取中心校正区的通道图，识别所述中心校正区的中线；
基于中线与竖直方向的夹角，逆时针旋转所述多通道分割图像，使所述中线竖直或垂直，获得所述第二图像。
2.如权利要求1所述的接触网定位器线夹螺母缺陷的检测方法，其特征在于，所述基于训练好的目标检测模型，获取包括接触网定位器线夹螺母组件的第一图像的方法包括：
获取接触网图像，利用训练好的第一目标检测模型获取定位器线夹的包围框坐标，进而提取定位器线夹图像；
利用训练好的第二目标检测模型获取接触网定位器线夹螺母组件的包围框坐标，进而提取包括接触网定位器线夹螺母组件的第一图像。
3.如权利要求1或2所述的 接触网定位器线夹螺母缺陷的检测方法，其特征在于：所述目标检测模型包括YOLOv7目标检测网络；所述YOLOv7目标检测网络的训练方法包括：将SIOU损失函数作为优化YOLOv7目标检测网络的损失函数。
4.如权利要求1所述的 接触网定位器线夹螺母缺陷的检测方法，其特征在于，解析单行或单列各组件顺序的方法包括：
建立元件顺序解析表，根据单行或单列各组件的顺序，查表判断所述顺序对应的接触网定位器线夹螺母状态；其中，*代表若干个组件序号，0为螺母或螺栓头序号，1为螺柱序号，2为止动片序号；
所述元件顺序解析表如下：
排列编号 元件排列顺序 接触网定位器线夹螺母状态 排列1 0,*,1,*,0 松动 排列2 *,1,*0,*,1,* 松动 排列3 非排列1且非排列2且*,0,1,2,* 松动 排列4 非排列1且非排列2且*,0,2,1,* 松动 排列5 非排列1且非排列2且*,2,1,0,* 松动 排列6 非排列1且非排列2且*,1,2,0,* 松动 排列7 非松动且0,*,1且*中无0 丢失 排列8 非松动且0,*,1,2且单行元件序号总数大于3 丢失 排列9 非松动且2,1,*,0且单行元件序号总数大于3 丢失 排列10 其他 正常
5.接触网定位器线夹螺母缺陷的检测装置，其特征在于，包括依次连接的：
图像获取模块，用于基于训练好的目标检测模型，从接触网图像中获取包括接触网定位器线夹螺母组件的第一图像；所述接触网定位器线夹螺母组件包括：螺母或螺栓头、螺柱、止动片和中心校正区；
图像分割模块，用于基于训练好的语义分割模型，对所述第一图像进行分割，获取包含各组件区域的多通道分割图像；
图像旋转矫正模块，用于利用所述中心校正区对所述多通道分割图像进行旋转矫正，获得第二图像；
缺陷解析模块，用于扫描获取第二图像中单行或单列各组件的顺序，解析后获得接触网定位器线夹螺母缺陷结果；
所述图像旋转矫正模块包括：
中线识别单元，用于将所述接触网定位器线夹闭合处的条形区域设定为中心校正区，在所述多通道分割图像中提取中心校正区的通道图，识别所述中心校正区的中线；
图像旋转单元，用于基于中线与竖直方向的夹角，逆时针旋转所述多通道分割图像，使所述中线竖直或垂直，获得所述第二图像。
6.如权利要求5所述的接触网定位器线夹螺母缺陷的检测装置，其特征在于，所述图像获取模块包括：
第一图像获取单元，用于获取接触网图像，利用训练好的第一目标检测模型获取定位器线夹的包围框坐标，进而提取定位器线夹图像；
第二图像获取单元，用于利用训练好的第二目标检测模型获取接触网定位器线夹螺母组件的包围框坐标，进而提取包括接触网定位器线夹螺母组件的第一图像。
7.如权利要求5或6所述的接触网定位器线夹螺母缺陷的检测装置，其特征在于：所述目标检测模型包括YOLOv7目标检测网络；
所述YOLOv7目标检测网络的训练方法包括：将SIOU损失函数作为优化YOLOv7目标检测网络的损失函数。
8.如权利要求5所述的接触网定位器线夹螺母缺陷的检测装置，其特征在于：所述缺陷解析模块包括：
元件顺序解析表单元，用于存储如下表所示的元件顺序解析表；其中，其中，*代表若干个组件序号，0为螺母或螺栓头序号，1为螺柱序号，2为止动片序号；
解析单元，用于根据单行或单列各组件的顺序，查表判断所述顺序对应的接触网定位器线夹螺母状态；
所述元件顺序解析表如下：
排列编号 元件排列顺序 接触网定位器线夹螺母状态 排列1 0,*,1,*,0 松动 排列2 *,1,*0,*,1,* 松动 排列3 非排列1且非排列2且*,0,1,2,* 松动 排列4 非排列1且非排列2且*,0,2,1,* 松动 排列5 非排列1且非排列2且*,2,1,0,* 松动 排列6 非排列1且非排列2且*,1,2,0,* 松动 排列7 非松动且0,*,1且*中无0 丢失 排列8 非松动且0,*,1,2且单行元件序号总数大于3 丢失 排列9 非松动且2,1,*,0且单行元件序号总数大于3 丢失 排列10 其他 正常
CN202311113672.9A 2023-08-31 2023-08-31 接触网定位器线夹螺母缺陷的检测方法及装置 Active CN116843686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311113672.9A CN116843686B (zh) 2023-08-31 2023-08-31 接触网定位器线夹螺母缺陷的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311113672.9A CN116843686B (zh) 2023-08-31 2023-08-31 接触网定位器线夹螺母缺陷的检测方法及装置

Publications (2)

Publication Number Publication Date
CN116843686A CN116843686A (zh) 2023-10-03
CN116843686B true CN116843686B (zh) 2023-11-10

Family

ID=88160260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311113672.9A Active CN116843686B (zh) 2023-08-31 2023-08-31 接触网定位器线夹螺母缺陷的检测方法及装置

Country Status (1)

Country Link
CN (1) CN116843686B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7610389A (nl) * 1976-09-17 1978-03-21 Holland Mechanics Bv Toestel voor het bepalen van de zijslag van een spaakwiel, in het bijzonder voor een spaakwiel- richtmachine.
RU2579343C1 (ru) * 2015-03-11 2016-04-10 Закрытое акционерное общество "ИНСТРУМ-РЭНД" Способ затяжки резьбовых соединений и устройство для его осуществления
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN110599445A (zh) * 2019-07-24 2019-12-20 安徽南瑞继远电网技术有限公司 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置
CN111489339A (zh) * 2020-04-08 2020-08-04 北京交通大学 高速铁路定位器螺栓备母缺陷的检测方法
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN115793705A (zh) * 2022-11-28 2023-03-14 国家电网有限公司 一种基于无人机的地线搭接线健康检测与缺陷诊断系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230153987A1 (en) * 2021-11-17 2023-05-18 Verizon Media Inc. Object defect detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7610389A (nl) * 1976-09-17 1978-03-21 Holland Mechanics Bv Toestel voor het bepalen van de zijslag van een spaakwiel, in het bijzonder voor een spaakwiel- richtmachine.
RU2579343C1 (ru) * 2015-03-11 2016-04-10 Закрытое акционерное общество "ИНСТРУМ-РЭНД" Способ затяжки резьбовых соединений и устройство для его осуществления
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN110599445A (zh) * 2019-07-24 2019-12-20 安徽南瑞继远电网技术有限公司 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置
CN111489339A (zh) * 2020-04-08 2020-08-04 北京交通大学 高速铁路定位器螺栓备母缺陷的检测方法
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN115793705A (zh) * 2022-11-28 2023-03-14 国家电网有限公司 一种基于无人机的地线搭接线健康检测与缺陷诊断系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A New Bolt Defect Identification Method Incorporating Attention Mechanism and Wide Residual Networks;Liangshuai Liu 等;《sensors》;1-12 *
Automatic Defect Detection of Fasteners on the Catenary Support Device Using Deep Convolutional Neural Network;Junwen Chen 等;《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》;1-13 *
基于图像处理的接触网管帽与定位线夹螺母缺陷识别;陈充;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;C033-41 *
基于机器视觉的焊缝缺陷检测及分类系统的研究;李超;《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》;B022-719 *

Also Published As

Publication number Publication date
CN116843686A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN102759347B (zh) 一种高铁接触网在线巡检装置、巡检方法以及其检测系统
CN108846331B (zh) 一种动车组底盘螺丝紧固件是否脱落的视频识别方法
CN115527340A (zh) 一种基于无人机与监控摄像的智慧工地安全监测系统及方法
CN112115927A (zh) 一种基于深度学习的机房设备智能识别方法及系统
CN115331000A (zh) 一种基于orb算法的弓网运行状态检测方法
CN111639647A (zh) 指示灯状态识别方法、装置、计算机设备及存储介质
CN111046950A (zh) 一种图像处理方法、装置、存储介质和电子装置
CN111597904B (zh) 用于隧道电缆支架倾斜的识别方法
CN112633343A (zh) 一种电力设备端子排接线校核方法及装置
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
CN116843686B (zh) 接触网定位器线夹螺母缺陷的检测方法及装置
CN112966638A (zh) 基于多种特征的变电站作业人员鉴别及定位方法
CN112883836A (zh) 一种煤矿井下巷道形变视频检测方法
CN111862023A (zh) 一种基于计算机视觉的受电弓结构异常检测方法
CN109934172B (zh) 高速列车受电弓免gps全运行线故障视觉检测定位方法
CN109325487B (zh) 一种基于目标检测的全种类车牌识别方法
CN103198326B (zh) 一种输电线路直升机巡检的图像分类方法
JP4796535B2 (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
CN113362630A (zh) 一种智慧城市建设道路交通信号设备故障分析处理方法、系统及计算机存储介质
CN113724247B (zh) 一种基于图像判别技术的变电站智能巡检方法
CN110427911A (zh) 一种道路检测方法、装置、设备及存储介质
CN115995062B (zh) 一种接触网电联接线线夹螺母异常识别方法及系统
CN117214617B (zh) 一种智能电网故障实时监测定位系统及方法
CN117498225B (zh) 一种无人机智能电力线路巡检系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant