CN116580285B - 铁路绝缘子夜间目标识别检测方法 - Google Patents

铁路绝缘子夜间目标识别检测方法 Download PDF

Info

Publication number
CN116580285B
CN116580285B CN202310864555.XA CN202310864555A CN116580285B CN 116580285 B CN116580285 B CN 116580285B CN 202310864555 A CN202310864555 A CN 202310864555A CN 116580285 B CN116580285 B CN 116580285B
Authority
CN
China
Prior art keywords
insulator
railway
image
detection
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310864555.XA
Other languages
English (en)
Other versions
CN116580285A (zh
Inventor
聂晶鑫
张学武
刘刚
田升平
刘小溪
李飞
鲁凡
景毅
齐卓
苟元弟
郭振江
潘建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Yidi Weike Intelligent Technology Co ltd
Original Assignee
Xi'an Yidi Weike Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Yidi Weike Intelligent Technology Co ltd filed Critical Xi'an Yidi Weike Intelligent Technology Co ltd
Priority to CN202310864555.XA priority Critical patent/CN116580285B/zh
Publication of CN116580285A publication Critical patent/CN116580285A/zh
Application granted granted Critical
Publication of CN116580285B publication Critical patent/CN116580285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种铁路绝缘子夜间目标识别检测方法。现有绝缘子识别检测方法尤其是夜间识别检测方法检测精度较低。本方法获取图像，得到训练集；对训练集进行扩充；建立YOLOv5改进模型，设计SREG模块；将扩充后的训练集输入YOLOv5改进模型进行训练，得到铁路接触网绝缘子夜间巡检目标检测模型；获取待检测的铁路接触网绝缘子图像，输入铁路接触网绝缘子夜间巡检目标检测模型进行检测。本发明对传统的YOLOv5模型进行了改进，通过采用循环曝光生成思想解决非均匀暗度问题，设计了SREG模块，用于改善图像表面光照明暗不均的问题；在主干网络中的残差组件中融入旋转不变卷积，更好地提取绝缘子不同方向的纹理特征。

Description

铁路绝缘子夜间目标识别检测方法
技术领域
本发明涉及铁路接触网绝缘子检测技术领域，具体涉及一种铁路绝缘子夜间目标识别检测方法。
背景技术
铁路接触网绝缘子是保证铁路运输安全的关键部件，其主要作用是在接触网和地面之间绝缘电力，以确保电流正常流动。由于接触网和绝缘子所处环境复杂，如气候变化、污染等因素的影响，导致绝缘子易受损、老化，影响电力传输，甚至会造成事故。因此，如何有效地检测铁路接触网绝缘子，成为铁路运输和维护领域的重要课题之一。
目前，各铁路局接触网绝缘子检测技术主要为手动检测，手动检测依靠工作人员目视检查，存在效率低、人力成本高，难以满足大规模绝缘子的检测需求。因此，开展绝缘子自动检测技术的研究具有重要的现实意义和深远的发展前景。
视觉检测是利用计算机视觉技术，实现对铁路接触网绝缘子的自动检测，具有效率高、准确性高等优点。传统的视觉检测算法基于图像的颜色和纹理，往往需要大量的人工干预，对于复杂背景和光照不均匀等环境因素，尤其是夜间低照度条件下，容易出现漏检和误检等问题，检测精度较低；需要人工选取特征并进行手工设计，耗费时间和人力，难以适应不同型号、不同形态、不同材质的绝缘子，需要不断进行参数调整和算法优化。因此，需要提出新的绝缘子目标识别检测方法，提高绝缘子目标识别检测尤其是夜间目标识别检测的精度。
发明内容
本发明的目的是提供一种铁路绝缘子夜间目标识别检测方法，以解决目前绝缘子目标识别检测方法尤其是夜间目标识别检测存在的精度较低的问题。
为了达到上述目的，本发明所采用的技术方案为：
铁路绝缘子夜间目标识别检测方法，所述方法包括：
获取铁路接触网绝缘子图像，得到训练集；
对训练集的铁路接触网绝缘子图像进行扩充，得到扩充后的训练集；
建立YOLOv5改进模型，设计SREG模块；
将扩充后的训练集输入YOLOv5改进模型进行训练，得到铁路接触网绝缘子夜间巡检目标检测模型；
获取待检测的铁路接触网绝缘子图像，输入铁路接触网绝缘子夜间巡检目标检测模型进行检测。
进一步地，获取铁路接触网绝缘子图像，得到训练集，包括：
利用铁路接触网4C系统获取铁路接触网绝缘子图像；
调整铁路接触网绝缘子图像的像素大小；
从中选取部分铁路接触网绝缘子图像，组成训练集；
将训练集的铁路接触网绝缘子图像标注为PASCAL VOC格式。
进一步地，对训练集的铁路接触网绝缘子图像进行扩充，得到扩充后的训练集，包括：
对训练集的铁路接触网绝缘子图像进行处理，包括旋转、翻转、裁剪、扭曲；
将处理后的铁路接触网绝缘子图像补充到训练集，得到扩充后的训练集。
进一步地，建立YOLOv5改进模型，设计SREG模块，包括：
YOLOv5改进模型包括Input、SREG模块、主干网络、特征融合部分、检测部分；
主干网络包括Conv卷积模块、改进的C3模块、SPPF模块；
特征融合部分包括上采样模块和下采样模块；
检测部分包括卷积层。
进一步地，SREG模块由编码和解码组成；
编码部分包括2个级联卷积递归层REGU，用于将输入图像转换为多个尺度的特征图；
解码部分由3个卷积层组成，用于学习特征映射解码回图像；
初始输入图像，通过SREG模块的编码和解码运算，递归生成/>、/>时刻的2个中间伪暴露图像/>、/>，令低光输入图像即初始输入图像/>逐步生成伪曝光图像。
进一步地，主干网络包括多个改进的C3模块。
进一步地，改进的C3模块的残差部分为RIConv++；
图像在改进的C3模块中被分成两个分支，左路分支通过卷积和残差结构进行特征提取，右路分支经过卷积操作保持输入图像不变，两路concat进行特征融合。
进一步地，获取待检测的铁路接触网绝缘子图像，输入铁路接触网绝缘子夜间巡检目标检测模型进行检测，包括：
通过SREG模块获取两重伪曝光图像；
在主干网络中进行绝缘子特征提取；
在特征融合部分通过上采样和下采样进行多尺度特征融合；
在检测部分进行多尺度目标检测，分别计算位置、分类和置信度损失，对每个检测框进行回归，生成边界框的位置和类别信息。
进一步地，所述方法还包括检测后进行预测，包括：
采用非极大值抑制对检测框进行筛选，保留得分大于0.5的且IoU大于0.8的候选框，作为最终的候选框，即预测框。
进一步地，所述方法还包括对检测有效性进行验证，包括：
搭建实验平台；
设置初始学习率和批处理大小，模型训练采用优化矩形框损失函数、分类损失函数、置信度损失函数，使得预测结果更接近于真实值；
矩形框损失函数用于计算预测框与真实框之间的误差，分类损失函数/>用于计算锚框与对应的标定类别是否一致，置信度损失函数/>用于计算预测目标的置信度；
总损失函数为：
；
其中：
分别为矩形框损失、分类损失、置信度损失的权重；
矩形框损失函数为：
；
；
；
；
其中：
为交并比；
为/>和/>的中心点距离，/>是预测框 />是真实框；
为预测框的中心点；
为真实框的中心点；
为包含预测框和真实框的最小矩形对角线长度；
影响因子为权重参数；
影响因子用于衡量宽高比相似度；
和/>分别为绝缘子真实框的宽和高；
和/>分别为模型预测的宽和高；
分类损失函数和置信度损失函数/>为二元交叉熵函数：
；
其中：
为输入样本对应的标签；
为模型预测该输入样本为正样本的概率。
与现有技术相比，本发明的有益效果如下：
本发明对传统的YOLO（You Only Look Once）v5模型进行了改进，通过采用循环曝光生成思想解决非均匀暗度问题，设计了SREG模块，用于改善图像表面光照明暗不均的问题；在主干网络中的残差组件中融入旋转不变卷积，更好地提取绝缘子不同方向的纹理特征。
通过在测试集上进行试验表明，本发明改进后的YOLOv5模型，能适应不同方向纹理的绝缘子识别，在遮挡情况下的识别效果性能良好，识别的AP（Average Precision，平均精度）达到99.3%，F1-score（F1 分数，又称平衡F分数，balanced F Score）为98.9 %，可实现铁路接触网4C系统下夜间铁路接触网绝缘子的有效检测，网络对绝缘子纹理方向的变化旋转具有较好的适应性，为后续的铁路接触网绝缘子目标检测打好基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
图1是本发明的方法流程图。
图2是YOLOv5改进模型的结构图。
图3是SREG模块结构图。
图4是改进的C3模块结构图。
图5是REGU结构图。
图6是模型训练的损失值变化曲线图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
应注意到，相似的标号和字母表示类似项，因此，一旦某一项在一个实施例中被定义，则在随后的实施例中不需要对其进行进一步定义和解释。此外，术语“包括”等以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
另外，本发明实施例中涉及的步骤“S1”、“S2”等仅为了方便技术方案的描述，便于理解实施例的具体步骤和内容，不应被理解为对步骤顺序的限制，任何仅对步骤顺序的变化都应在本发明的保护范围之内。
铁路接触网4C系统采集的绝缘子图像大多数为夜间巡检图像，绝缘子表面光照不均匀；此外，绝缘子通常安装在支架上，方向一般不确定，图像中纹理特征有所差异。这些情况导致绝缘子的漏检和定位不准确。本发明提供了一种铁路绝缘子夜间目标识别检测方法，用于铁路接触网绝缘子的目标检测，以解决铁路接触网4C系统采集的夜间绝缘子图像存在不同方向的纹理特征差异、图像明暗不均等问题，本方法改进了传统的YOLOv5模型，采用循环曝光生成思想解决不均匀明暗问题，基于深度学习训练模型，在模型中设计了SREG模块，用于改善图像表面明暗不均的问题；重新设计了C3（Concentrated-ComprehensiveConvolution，集中综合卷积）模块，融入旋转不变卷积，更好地提取绝缘子不同方向的纹理特征。
本方法的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行。如图1，所述方法包括以下步骤：
S1：获取铁路接触网绝缘子图像，得到训练集，包括：
S101：利用铁路接触网4C系统获取铁路接触网绝缘子图像；
S102：调整铁路接触网绝缘子图像的像素大小，能有效减少模型训练时间；
S103：从中选取部分铁路接触网绝缘子图像，组成训练集；
S104：利用LabelImg工具将训练集的铁路接触网绝缘子图像标注为PASCAL VOC格式。
S2：为了改善夜间巡检绝缘子图像表面明暗不均匀、纹理特征的差异对检测结果的影响，本发明增加了数据样本，增强了模型的泛化性能，对训练集的铁路接触网绝缘子图像进行扩充，得到扩充后的训练集，包括：
S201：对训练集的铁路接触网绝缘子图像进行处理，包括旋转、翻转、裁剪、扭曲，增加模型对绝缘子不同纹理方向形变的适应力；
S202：将处理后的铁路接触网绝缘子图像补充到训练集，得到扩充后的训练集。
S3：建立YOLOv5改进模型，设计SREG模块。
YOLO（You Only Look Once）模型是单阶段目标检测模型，检测原理是将图像划分为不同大小的网格，通过预测每个网格的目标类别和边界框来实现目标检测。在YOLO模型的基础上，YOLOv5模型采用了轻量化、高效率的设计思想，具有更高的检测精度和更快的推理速度。
本方法对传统的YOLOv5模型进行了改进，参见图2，YOLOv5改进模型的具体架构为：
①YOLOv5改进模型主要包括Input（输入端）、SREG模块、主干网络（Backbone）、特征融合部分（Neck）、检测部分（Head）等。
②主干网络包括Conv卷积模块（Conv代表Convolutions，卷积）模块、改进的C3（Concentrated-Comprehensive Convolution，集中综合卷积）模块、SPPF（SpatialPyramid Pooling – Fast，快速空间金字塔池化）模块，能够提升模型的特征提取能力。其中：Conv卷积模块用于提取特征并改变特征图的尺寸；改进的C3模块用于更重要的特征提取，同时使用残差结构，避免梯度消失；SPPF模块用于融合多尺度特征，将同一特征图不同尺度下的特征concat（合并连接）起来。
③特征融合部分包括上采样模块和下采样模块，通过上采样和下采样实现特征图的尺度对齐，将来自不同阶段的特征图进行融合，以提取多尺度的特征信息。
④检测部分包括主要包括卷积层，采用三种损失函数分别计算位置、分类和置信度损失，负责在特征图上进行目标检测，生成边界框的位置和类别信息。卷积层用于卷积运算并改变特征图通道数。
本方法的改进集中在以下几个部分：
1、SREG模块：
铁路接触网4C系统采集的绝缘子图像多为夜间巡检拍摄，图像表面较暗且容易出现明暗不均，在图像中呈现出过暗或过亮的区域中，导致部分细节模糊或丢失，这给绝缘子目标检测带来巨大挑战。为改善这一难题，本方法在YOLOv5模型中融入循环曝光生成思想，解决非均匀亮度问题。
本方法在模型中设计了SREG模块，用于改善图像表面光照明暗不均的问题。SREG模块由编码和解码组成，编码部分包括2个级联卷积递归层REGU，用于将输入图像转换为多个尺度的特征图；解码部分由3个卷积层组成，用于学习特征映射解码回图像。SREG模块如图3，初始输入图像，通过SREG模块的编码和解码运算，递归生成/>、/>时刻的2个中间伪暴露图像/>、/>，令低光输入图像即初始输入图像/>逐步生成伪曝光图像。SREG模块利用历史生成的伪曝光图像来维护关键区域细节，有效缓解绝缘子表面明暗不均的问题。
如图5，REGU是基于卷积门控循环单元（ConvGRU，Convolutions Gate RecurrentUnit）设计的，REGU涉及的具体计算公式如下
；
其中，和/>分别为更新门和重置门，决定单元更新或重置其历史编码信息的程度，/> 为sigmoid函数，/>表示卷积算子，/>表示Hadamard乘积。
；
REGU单元融合时刻/>层的特征映射与/>时刻/>层的特征映射图，经过系列运算操作，最终输出/>时刻/>层的特征映射图。
2、改进的C3模块：
随着人工智能应用领域的逐步扩大，基于卷积操作的图像检测算法应用于不同场景和目标检测任务，当待检测目标可以任意方向和角度出现时候，需要一定程度的变形、旋转，但传统卷积旋转不变性有限，需要加入大量的旋转操作进行数据增强，使模型在训练阶段尽可能多的学习不同旋转角度下的图像特征，庞大的数据量增加了模型训练时间。铁路接触网图像中的绝缘子分布通常方向不同，其纹理特征随着方向变化也具有明显的特征差异性，因此，需要考虑不同旋转角度下的纹理特征，以提高模型的旋转不变性，更好应对图像中绝缘子的方向变化。
旋转不变卷积（RIConv，Rotation Invariant Convolutions）通过将角度信息编码到卷积中，从而提高卷积操作的旋转不变性。RIConv++在RIConv的基础上，从不同角度编码了丰富的旋转不变属性，大幅提升了目标检测算法的性能。
YOLOv5模型在主干网络中设计了多个C3模块，增加模型的特征提取能力的同时，保持了模型的轻量性和高效性。C3模块包括3个Conv，第1个Conv用于将图像的尺寸减半，第2个Conv和第3个Conv进一步从图像中提取特征，更好地保留物体的局部信息。
Conv操作对不同纹理方向的绝缘子适应性不足，因此，本方法在主干网络中融入旋转不变属性，将C3模块的残差部分设计为RIConv++，以提高模型对绝缘子不同方向纹理绝缘子的特征的提取能力。如图4，图像在C3模块中被分成两个分支，左路分支通过卷积和残差结构进行特征提取，右路分支经过卷积操作保持输入图像不变，两路concat进行特征图的融合。
S4：将扩充后的训练集输入YOLOv5改进模型进行训练，得到铁路接触网绝缘子夜间巡检目标检测模型。
S5：获取待检测的铁路接触网绝缘子图像，输入铁路接触网绝缘子夜间巡检目标检测模型进行检测，包括：
S501：通过SREG模块获取两重伪曝光图像；
S502：在主干网络中通过融入旋转不变性进行绝缘子特征提取；
S503：在特征融合部分通过上采样和下采样进行多尺度特征融合，以适应不同大小的检测目标；
S504：在检测部分进行多尺度目标检测，分别计算位置、分类和置信度损失，对每个检测框进行回归，生成边界框的位置和类别信息。
S6：所述方法还包括检测后进行预测，包括：
采用非极大值抑制（Non-Maximum Suppression，NMS）对检测框进行筛选，保留得分大于0.5的且IoU（Intersection over Union，交并比）大于0.8的候选框，作为最终的候选框，即预测框。
S7：所述方法还包括对检测有效性进行验证，包括：
S701：搭建NVIDIA GeForce RTX 3090实验平台，操作系统为Ubuntu 18.04，深度学习框架为PyTorch 1.7；
S702：设置初始学习率为0.001，批处理大小为16，模型训练采用优化矩形框损失函数、分类损失函数、置信度损失函数，使得预测结果更接近于真实值；
矩形框损失函数用于计算预测框与真实框之间的误差，分类损失函数/>用于计算锚框与对应的标定类别是否一致，置信度损失函数/>用于计算预测目标的置信度；
S703：总损失函数为：
；
其中：
分别为矩形框损失、分类损失、置信度损失的权重，分别取值为0.05、0.5、1.0；
矩形框损失函数为：
；
；
；
；
其中：
为交并比；
为/>和/>的中心点距离，/>是预测框 />是真实框；
为预测框的中心点；
为真实框的中心点；
为包含预测框和真实框的最小矩形对角线长度；
影响因子为权重参数；
影响因子用于衡量宽高比相似度；
和/>分别为绝缘子真实框的宽和高；
和/>分别为模型预测的宽和高；
分类损失函数和置信度损失函数/>为二元交叉熵函数：
；
其中：
为输入样本对应的标签；
为模型预测该输入样本为正样本的概率。
实施例：
以下通过具体的实施例对本方法及其检测效果进行进一步详细的说明：
从国内某铁路局公司的铁路接触网4C系统拍摄的图像中，挑选1772幅铁路接触网绝缘子图像，图像像素大小为9344×7000，为了减少训练时间，将图像大小调整为640像素×440像素。将图像按照约3:1的比例划分为训练集和测试集，其中训练集共1357幅，测试集415幅。在LabelImg下将绝缘子数据集标注为PASCAL VOC格式。
为了改善夜间巡检绝缘子图像表面明暗不均匀、纹理特征的差异对检测结果的影响，增加数据样本，增强模型的泛化性能，对1357幅训练集进行了数据增强，对原始接触网绝缘子图像进行旋转、翻转、裁剪、扭曲，增加模型对绝缘子不同纹理方向形变的适应力，最终将训练集扩充至6785幅。
建立YOLOv5改进模型，将扩充后的训练集输入YOLOv5改进模型进行训练，得到铁路接触网绝缘子夜间巡检目标检测模型。
将待检测图像输入铁路接触网绝缘子夜间巡检目标检测模型，分别计算位置、分类和置信度损失，对每个检测框进行回归，生成边界框的位置和类别信息。在最后预测阶段，本研究采用非极大值抑制对检测框进行筛选，保留得分大于0.5的且IoU大于0.8的候选框，作为最终的候选框。
为验证检测有效性，搭建实验平台，计算总损失，如图6，模型共训练100个epoch，在40个epoch附近时，模型的损失值快速下降，在80个epoch时，损失值趋于稳定。
为了评估改进后的算法，以及加入SREG模块和RIConv++对监测性能的影响，本研究在测试集上进行了实验，选择与原始的YOLOv5模型进行比较，测试的试验结果如下表所示：
表1绝缘子图像检测结果
从表1中可以看出，最终改进的YOLOv5模型在铁路接触网绝缘子检测任务上表现最优，其识别的AP（Average Precision，平均精度）达到99.3%，F1-score（F1 分数，又称平衡F分数，balanced F Score）为98.9%，相较于初始的YOLOv5模型，AP和F1-score分别提高了4.4个百分点及3.6个百分点。这表明，改进的YOLOv5模型具有更好的性能，在绝缘子检测任务中具有更高的准确率。由识别效果可以看出，改进后的YOLOv5能适应不同方向纹理的绝缘子识别，且在夜间明暗不均的图像下识别效果性能良好。
本发明通过采用循环曝光生成思想解决非均匀暗度问题，设计了SREG模块，用于改善图像表面光照明暗不均的问题；在主干网络中的残差组件中融入旋转不变卷积，更好地提取绝缘子不同方向的纹理特征。研究在测试集上进行了试验，结果表明：改进后的YOLOv5能适应不同方向纹理的绝缘子识别，且网络对绝缘子纹理方向的变化旋转具有较好的适应性，识别的平均精度达到99.3%，F1值为98.9%，可实现夜间4C系统下铁路接触网绝缘子的有效检测，为后续的铁路接触网绝缘子缺陷检测打好基础。
本领域技术人员可以理解，本发明实施例的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (8)

1.铁路绝缘子夜间目标识别检测方法，其特征在于：
所述方法包括：
获取铁路接触网绝缘子图像，得到训练集；
对训练集的铁路接触网绝缘子图像进行扩充，得到扩充后的训练集；
建立YOLOv5改进模型，设计SREG模块，包括：
YOLOv5改进模型包括Input、SREG模块、主干网络、特征融合部分、检测部分；主干网络包括Conv卷积模块、改进的C3模块、SPPF模块；特征融合部分包括上采样模块和下采样模块；检测部分包括卷积层；
其中，SREG模块由编码和解码组成：编码部分包括2个级联卷积递归层REGU，用于将输入图像转换为多个尺度的特征图；解码部分由3个卷积层组成，用于学习特征映射解码回图像；初始输入图像，通过SREG模块的编码和解码运算，递归生成/>、/>时刻的2个中间伪暴露图像/>、/>，令低光输入图像/>即初始输入图像逐步生成伪曝光图像；
将扩充后的训练集输入YOLOv5改进模型进行训练，得到铁路接触网绝缘子夜间巡检目标检测模型；
获取待检测的铁路接触网绝缘子图像，输入铁路接触网绝缘子夜间巡检目标检测模型进行检测。
2.根据权利要求1所述的铁路绝缘子夜间目标识别检测方法，其特征在于：
获取铁路接触网绝缘子图像，得到训练集，包括：
利用铁路接触网4C系统获取铁路接触网绝缘子图像；
调整铁路接触网绝缘子图像的像素大小；
从中选取部分铁路接触网绝缘子图像，组成训练集；
将训练集的铁路接触网绝缘子图像标注为PASCAL VOC格式。
3.根据权利要求2所述的铁路绝缘子夜间目标识别检测方法，其特征在于：
对训练集的铁路接触网绝缘子图像进行扩充，得到扩充后的训练集，包括：
对训练集的铁路接触网绝缘子图像进行处理，包括旋转、翻转、裁剪、扭曲；
将处理后的铁路接触网绝缘子图像补充到训练集，得到扩充后的训练集。
4.根据权利要求1所述的铁路绝缘子夜间目标识别检测方法，其特征在于：
主干网络包括多个改进的C3模块。
5.根据权利要求4所述的铁路绝缘子夜间目标识别检测方法，其特征在于：
改进的C3模块的残差部分为RIConv++；
图像在改进的C3模块中被分成两个分支，左路分支通过卷积和残差结构进行特征提取，右路分支经过卷积操作保持输入图像不变，两路concat进行特征融合。
6.根据权利要求1所述的铁路绝缘子夜间目标识别检测方法，其特征在于：
获取待检测的铁路接触网绝缘子图像，输入铁路接触网绝缘子夜间巡检目标检测模型进行检测，包括：
通过SREG模块获取两重伪曝光图像；
在主干网络中进行绝缘子特征提取；
在特征融合部分通过上采样和下采样进行多尺度特征融合；
在检测部分进行多尺度目标检测，分别计算位置、分类和置信度损失，对每个检测框进行回归，生成边界框的位置和类别信息。
7.根据权利要求1所述的铁路绝缘子夜间目标识别检测方法，其特征在于：
所述方法还包括检测后进行预测，包括：
采用非极大值抑制对检测框进行筛选，保留得分大于0.5的且IoU大于0.8的候选框，作为最终的候选框，即预测框。
8.根据权利要求1所述的铁路绝缘子夜间目标识别检测方法，其特征在于：
所述方法还包括对检测有效性进行验证，包括：
搭建实验平台；
设置初始学习率和批处理大小，模型训练采用优化矩形框损失函数、分类损失函数、置信度损失函数，使得预测结果更接近于真实值；
矩形框损失函数用于计算预测框与真实框之间的误差，分类损失函数/>用于计算锚框与对应的标定类别是否一致，置信度损失函数/>用于计算预测目标的置信度；
总损失函数为：
；
其中：
分别为矩形框损失、分类损失、置信度损失的权重；
矩形框损失函数为：
；
；
；
；
其中：
为交并比；
为/>和/>的中心点距离，/>是预测框，/>是真实框；
为预测框的中心点；
为真实框的中心点；
为包含预测框和真实框的最小矩形对角线长度；
影响因子为权重参数；
影响因子用于衡量宽高比相似度；
和/>分别为绝缘子真实框的宽和高；
和/>分别为模型预测的宽和高；
分类损失函数和置信度损失函数/>为二元交叉熵函数：
；
其中：
为输入样本对应的标签；
为模型预测该输入样本为正样本的概率。
CN202310864555.XA 2023-07-14 2023-07-14 铁路绝缘子夜间目标识别检测方法 Active CN116580285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310864555.XA CN116580285B (zh) 2023-07-14 2023-07-14 铁路绝缘子夜间目标识别检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310864555.XA CN116580285B (zh) 2023-07-14 2023-07-14 铁路绝缘子夜间目标识别检测方法

Publications (2)

Publication Number Publication Date
CN116580285A CN116580285A (zh) 2023-08-11
CN116580285B true CN116580285B (zh) 2023-09-22

Family

ID=87534659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310864555.XA Active CN116580285B (zh) 2023-07-14 2023-07-14 铁路绝缘子夜间目标识别检测方法

Country Status (1)

Country Link
CN (1) CN116580285B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422718B (zh) * 2023-12-19 2024-04-16 中江立江电子有限公司 一种绝缘子性能评估方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199993A (zh) * 2020-09-01 2021-01-08 广西大学 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN113095253A (zh) * 2021-04-20 2021-07-09 池州学院 一种用于无人机巡检输电线路的绝缘子检测方法
CN113297915A (zh) * 2021-04-28 2021-08-24 江苏师范大学 一种基于无人机巡检的绝缘子识别目标检测方法
CN113570563A (zh) * 2021-07-19 2021-10-29 江苏新绿能科技有限公司 一种高速铁路接触网绝缘端子健康状态评估方法
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法
CN115690542A (zh) * 2022-11-03 2023-02-03 国网甘肃省电力公司 一种基于改进yolov5的航拍绝缘子定向识别方法
WO2023036346A1 (zh) * 2021-09-13 2023-03-16 中国民航大学 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置
CN116385911A (zh) * 2023-04-11 2023-07-04 沈阳建筑大学 一种用于无人机巡检绝缘子的轻量型目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法
CN112199993A (zh) * 2020-09-01 2021-01-08 广西大学 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN113095253A (zh) * 2021-04-20 2021-07-09 池州学院 一种用于无人机巡检输电线路的绝缘子检测方法
CN113297915A (zh) * 2021-04-28 2021-08-24 江苏师范大学 一种基于无人机巡检的绝缘子识别目标检测方法
CN113570563A (zh) * 2021-07-19 2021-10-29 江苏新绿能科技有限公司 一种高速铁路接触网绝缘端子健康状态评估方法
WO2023036346A1 (zh) * 2021-09-13 2023-03-16 中国民航大学 基于YOLOv5的航空发动机运维中叶片裂纹实时检测方法及装置
CN115690542A (zh) * 2022-11-03 2023-02-03 国网甘肃省电力公司 一种基于改进yolov5的航拍绝缘子定向识别方法
CN116385911A (zh) * 2023-04-11 2023-07-04 沈阳建筑大学 一种用于无人机巡检绝缘子的轻量型目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于改进Mask R-CNN的绝缘子目标识别方法;朱有产;王雯瑶;;微电子学与计算机(第02期);全文 *
基于改进YOLO V3的接触网绝缘子检测方法;陈智羽;闵锋;;武汉工程大学学报(第04期);全文 *

Also Published As

Publication number Publication date
CN116580285A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111931684B (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN108629772B (zh) 图像处理方法及装置、计算机设备和计算机存储介质
CN107330027B (zh) 一种弱监督的深度台标检测方法
CN116580285B (zh) 铁路绝缘子夜间目标识别检测方法
Nordeng et al. DEBC detection with deep learning
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN113903022A (zh) 基于特征金字塔与注意力融合的文本检测方法及系统
CN116385911A (zh) 一种用于无人机巡检绝缘子的轻量型目标检测方法
Ps et al. Building footprint extraction from very high-resolution satellite images using deep learning
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN112614094B (zh) 基于序列状态编码的绝缘子串异常定位识别方法
CN115292538A (zh) 一种基于深度学习的地图线要素提取方法
Luo et al. RBD-Net: robust breakage detection algorithm for industrial leather
Jarolim et al. Image-quality assessment for full-disk solar observations with generative adversarial networks
Lin et al. Geometrical flow‐guided fast beamlet transform for crack detection
Gan et al. Water level classification for flood monitoring system using convolutional neural network
CN114283431B (zh) 一种基于可微分二值化的文本检测方法
Castillo et al. Object detection in digital documents based on machine learning algorithms
CN114821351A (zh) 铁路危险源识别方法、装置、电子设备及存储介质
Nag et al. CNN based approach for post disaster damage assessment
Xia et al. A multi-target detection based framework for defect analysis of electrical equipment
CN112801960A (zh) 图像处理方法及装置、存储介质、电子设备
Durak et al. Coronal loop detection from solar images
Yi A road crack detection method based on improved U-Net
Yang et al. A deep learning approach for automated segmentation of magnetic bright points in the solar photosphere

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant