CN111402247B - 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法 - Google Patents

一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法 Download PDF

Info

Publication number
CN111402247B
CN111402247B CN202010206871.4A CN202010206871A CN111402247B CN 111402247 B CN111402247 B CN 111402247B CN 202010206871 A CN202010206871 A CN 202010206871A CN 111402247 B CN111402247 B CN 111402247B
Authority
CN
China
Prior art keywords
image
suspension clamp
key point
branch
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010206871.4A
Other languages
English (en)
Other versions
CN111402247A (zh
Inventor
杜启亮
黎春翔
田联房
邝东海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhuhai Institute of Modern Industrial Innovation of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN202010206871.4A priority Critical patent/CN111402247B/zh
Publication of CN111402247A publication Critical patent/CN111402247A/zh
Application granted granted Critical
Publication of CN111402247B publication Critical patent/CN111402247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法，包括：无人机采集输电线路图像，制作实例分割和关键点检测训练数据集；采用Mask‑Keypoints R‑CNN网络对无人机图像进行分割和关键点检测，分割获得悬垂线夹的矩形区域图像、二值化掩膜及上、下、左、右四个关键点坐标；基于四个关键点坐标计算悬垂线夹的倾斜角度；对分割的悬垂线夹矩形区域进行同态滤波数据增强，降低光照和阴影的影响；将分割后的图像转到HSV颜色空间中，基于H分量值定位腐蚀位置，并统计腐蚀面积和判断腐蚀程度。本发明可以实现精确检测并悬垂线夹的倾角并判断悬垂线夹的腐蚀程度。

Description

一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法
技术领域
本发明涉及输电线路上悬垂线夹缺陷监测的技术领域，尤其是指一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法。
背景技术
输电线路的安全关系到整个输电网络的安全运行，有效、准确、及时地监控输电线路上关键组件的状态能够保障电力人员对输电线路故障做出及时反应或是及早预防控制。而悬垂线夹是输电线路上连接和组合电力系统中的各类装置，起到传递机械负荷、电气负荷作用的一种金属附件，因悬垂线夹腐蚀或悬垂角过大容易导致连接线路的松动或是易受外力破坏。
本方法旨在发明一种基于机器视觉的悬垂线夹缺陷检测方法，该方法采用深度学习网络对无人机拍摄的室外输电线路场景图片进行分割，精准定位悬垂线夹以及四个关键点坐标，并基于关键点坐标位置计算悬垂线夹倾角，基于HSV颜色模型定位悬垂线夹腐蚀区域。该方法能够精确计算输电线路上的悬垂线夹的倾角以及腐蚀面积，以提醒电力工作人员注意及时应对故障问题。
综合以上论述，发明一种基于机器视觉的悬垂线夹缺陷检测方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法，能够精准计算输电线路上的悬垂线夹的倾角以及腐蚀面积。
为实现上述目的，本发明所提供的技术方案为：一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法，包括以下步骤：
1)通过无人机采集输电线路上的图像，并通过网络传输到远程的服务器端；
2)采用Mask-Keypoints R-CNN网络对无人机图像进行分割和关键点检测，分割获得悬垂线夹的矩形区域图像、二值化掩膜及上、下、左、右四个关键点坐标；
3)通过悬垂线夹上、下、左、右四个关键点坐标，计算上下两关键点的直线方程以及左右两关键点的直线方程，基于两直线方程的斜率计算两直线的夹角，并将90度与该夹角的差的绝对值作为悬垂线夹倾角；
4)对悬垂线夹的矩形区域图像通过同态滤波算法进行数据增强，降低光照对于后续腐蚀检测的干扰，而通过数据增强后的悬垂线夹的矩形区域图像结合二值化掩膜计算获得悬垂线夹的精准分割图像，即提取精准的悬垂线夹图像；
5)将提取的悬垂线夹轮廓图像转到HSV颜色空间下，提取其H分量值，定位H分量值中满足设定区间的像素点的位置，并统计二值化掩膜数量以及H分量中满足设定区间的像素点的数量，计算腐蚀面积和评估腐蚀程度。
在步骤2)中，采用pytorch构建Mask-Keypoints R-CNN网络，该Mask-KeypointsR-CNN网络主要由基网络、区域建议网络RPN、RoIAlign模块、分类分支、坐标回归分支、Mask分支、Keypoints分支组成；该Mask-Keypoints R-CNN网络推导包括以下步骤：
2.1)输入图像先通过基网络提取特征，获得不同尺度的特征图；
2.2)RPN进行区域建议，其在特征图上每个点生成不同尺度的候选框，并通过网络进行粗分类和粗定位，基于置信度和非极大抑制思想筛除大量候选框，将剩余候选框送入后续网络中；
2.3)将不同大小和尺度的候选框所在的特征图区域通过RoIAlign模块输出得到固定尺寸的特征图，RoIAlign先将候选框分割成固定个数个单元，每个单元的边界不进行量化，在每个单元中计算固定四个坐标位置，然后采用双线性内插的方法计算这四个位置的值，并基于这四个位置的值进行最大池化操作；
2.4)将固定大小的特征图作为分类分支、坐标回归分支、Mask分支、Keypoints分支的输入；其中，分类分支是以热编码形式输出特征图类别，坐标回归分支为预测候选框与真实目标区域的坐标、宽高偏差值，Mask分支输出以0、1值表述的目标的二值化掩膜图像，Keypoints分支输出以0、1值表示的目标关键点坐标的二值化掩膜图像；
将预测模型的权值写入网络中，输入测试图片进行前向计算，在网络输出端中，从分类分支得到悬垂线夹的类别置信度，坐标回归分支获得悬垂线夹的矩形框坐标，Mask分支获得悬垂线夹的二值化掩膜图像，Keypoints分支获得悬垂线夹的上、下、左、右四个关键点的二值化掩膜图像，从而通过分割获得悬垂线夹的矩形区域图像、二值化掩膜图像以及关键点坐标。
在步骤4)中，采用同态滤波算法对悬垂线夹矩形区域图像进行数据增强，通过在频域内分别处理照度和反射度对像元灰度值的影响，丰富图像的暗区表现，增强暗区的图像细节，而不损失亮区的图像细节，即在丰富暗区的图像细节又不损失亮区图像表现，从频域上消除光照不均匀的影响，从而降低因光照变化导致的阴影部分对于后续腐蚀判断的影响；
对于图像f(x,y)，其中x表示像素点的横坐标值，y表示像素点的纵坐标值，f(x,y)表示像素点的三色值，将f(x,y)表示为照射分量i(x,y)和反射分量r(x,y)的乘积，如下式所示：
f(x,y)＝i(x,y)·r(x,y)
其中，0＜i(x,y)＜∞，0＜r(x,y)＜1；
对式两边取对数，并做傅里叶变化，得到线性组合的频率域，如下式所示：
lnf(x,y)＝lni(x,y)+lnr(x,y)
FFT(lnf(x,y))＝FFT(lni(x,y))+FFT(lnr(x,y))
式中，ln代表取对数操作，FFT代表傅里叶变换操作；
然后使用高斯高通滤波器对照射分量和反射分量进行调整，增强高频r(x,y)分量，加强对比度，同时衰减低频i(x,y)分量，降低动态范围，经过滤波之后再进行傅里叶反变换以及取反对数，最终得到变换之后的效果图，即进行同态滤波后与二值化掩膜计算得到的悬垂线夹的精准分割图像。
在步骤5)中，将图像转到HSV颜色空间中，将色相、饱和度、亮度分量分离，由色相来对腐蚀点进行判断，进一步降低光照对腐蚀算法的影响，且采用H分量值能精准定位腐蚀点，并结合二值化掩膜能够计算出腐蚀比例，更有效地评估当前悬垂线夹的腐蚀程度。
本发明与现有技术相比，具有如下优点与有益效果：
1、采用深度学习实例分割算法和关键点检测算法对悬垂线夹进行精准分割和关键点定位，提高了算法的鲁棒性，保证算法在复杂场景、复杂天气以及目标多样的情况下均具有较好的表现效果。
2、采用关键点检测思路来进行悬垂线夹倾角计算，相比图像方式检测倾角缺陷，该方法能够更加精确地计算悬垂线夹的倾斜角度并进行量化，使得结果更加可信。
3、采用同态滤波对局部图像进行数据增强，降低光照对于腐蚀检测的影响。局部图像数据增强降低了算法的处理时长，并保证了算法在不同光照或是悬垂线夹存在阴影遮挡情况下的表现。
4、基于HSV颜色空间模型进行腐蚀检测并计算腐蚀面积。HSV颜色空间由色调(H)、饱和度(S)、明度(V)组成，相对于RGB空间更能直观表达色彩的明暗、色调以及鲜艳程度，便于腐蚀与正常区域分量值的对比。
附图说明
图1为本发明逻辑流程示意图。
图2为本发明的无人机采集的输电线路图像。
图3为Mask-Keypoints R-CNN的网络结构图。
图4为ResNet-50网络结构图。
图5为网络模块A所示。
图6为ID block结构图。
图7为conv block结构图。
图8为Mask预测分支网络结构图
图9为Keypoints预测分支网络结构图
图10为分割得到的矩形区域图像。
图11为Mask分支输出的二值化掩膜图像。
图12为关键点在矩形区域图像上的结果图。
图13为夹角示意图。
图14为分割图像。
图15为三分量结果图(从左至右依次为H分量图、S分量图、V分量图)。
图16为腐蚀区域效果图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的基于机器视觉的输电线路上悬垂线夹缺陷检测方法，其具体情况如下：
步骤1：无人机对输电线路进行固定线路巡检，并在杆塔附近拍摄高压杆塔现场图像，如图2所示，并通过4G网络远距离传输到远程服务器端。
步骤2：将无人机采集的现场图像按比例划分训练数据集和测试数据集，采用Labelme软件对训练数据集中的悬垂线夹的边缘进行点集标注，同时对悬垂线夹上、下、左、右四个关键点进行点标注，获得对应图像的json格式的标签文件，标注文件包括图像中导线目标的矩形坐标数据、掩膜点集数据、类别信息以及关键点位置信息，并将图片和标签制作成训练数据集。
步骤3：采用pytorch库构建Mask-Keypoints R-CNN网络，Mask-Keypoints R-CNN网络结构如图3所示，主要由基网络ResNet-50、区域建议网络(RPN)和区域特征聚集模块(RoIAlign)、分类分支、坐标回归分支、Mask分支、Keypoints分支组成。图中，conv为传统卷积层，Softmax为用于分类输出层，FC为全连接层。整体网络其主要结构介绍如下：
基网络ResNet-50整体结构如图4所示，主要由ID block和conv block组成，IDblock和conv block主要由非线性激活函数ReLU和网络模块A组成，模块A结构如图5所示，ID block结构如图6所示，conv block结构如图7所示。图中CONV2D为传统卷积层，BatchNorm为批归一化层，ReLU为非线性激活函数，MAXPOOL为最大池化层，AVGPOOL为平均池化层，FC为全连接层。
区域建议网络RPN由1个3×3、两个1×1卷积层和非线性函数Softmax构成，主要用于对基网络中最后特征图上生成的先验的候选框进行粗分类和坐标回归，并基于分类置信度和矩形框的重叠度进行筛选，得到一定数量的潜在候选框，用于后续处理。
RoIAlign主要是将候选框所在的特征图进行池化得到固定大小的特征图。即将每个候选框中的特征图先平均划分为14×14的单元格，对每个单元的边界不进行量化操作，然后在每个单元中计算固定四个坐标位置，双线性插值计算四个坐标的值，基于四个坐标的值进行最大池化操作；
预测输出分支包括分类分支、坐标回归分支、Mask分支和Keypoints分支。分类分支由3×3、1×1卷积层和输出层Softmax组成，输出候选框中的目标类别以及置信度。坐标回归分支同样由3×3、1×1卷积层和输出层Softmax组成，输出候选框与真实框之间的坐标、宽高偏差值。Mask分支用于预测目标的二值化掩膜，为一个全卷积的网络结构，同样采用ResNet-50网络结构，中间网络层的通道数channel均为256，其最后一层的通道数为类别数量，此处为2，结构示意图如图8所示。Keypoints分支用于检测目标的关键点位置，同样采用ResNet-50网络结构，中间网络层的通道数channel均为512，其最后一层的通道数为关键点数量，此处为4，网络结构图如图9所示，与Mask分支区别在于在训练中，Mask分支预测的标签为二值化掩膜图像而Keypoints分支的标签为关键点的掩膜图像，在预测过程中，Mask分支预测输出目标的二值化掩膜，Keypoints分支预测输出关键点的掩膜图像。
输入图像先通过ResNet-50提取特征，RPN进行区域建议，获得大量潜在候选框，然后每个候选框所在特征图区域通过RoIAlign得到固定尺寸的特征图，将该特征图作为分类分支、坐标回归分支、Mask分支和Keypoints分支的输入，在Mask分支获得目标的二值化掩膜，在分类分支获得目标的类别结果，在坐标回归分支获得目标定位偏差值用于坐标校正，在Keypoints分支获得目标的四个关键点的掩膜图像。
步骤4：将实例分割和关键点检测训练数据集作为输入输入Mask-Keypoints R-CNN网络中，构建分类损失、坐标损失、掩膜损失和关键点损失之和的损失函数作为网络训练监督信号。设置超参数，Batch设置为4，初始学习率设置为0.001，采用Adam优化方法进行训练，当网络收敛时终止网络训练，获得实例分割和关键点检测预测模型。测试时，无人机采集的现场图像进行缩放处理，缩放到800×800大小，然后采用Mask-Keypoints R-CNN预测模型对缩放后的图像进行预测。在分类分支获得悬垂线夹的置信度，在坐标回归分支获得悬垂线夹定位偏差值用于坐标校正，通过分类和坐标回归分支的输出得到悬垂线夹的矩形框的左上角和右下角的坐标。根据矩形框坐标将悬垂线夹从现场图中裁剪出来。在Mask分支获得悬垂线夹的二值化掩膜图，在Keypoints分支获得悬垂线夹四个关键点的二值化掩膜图像。图10为Mask-Keypoints R-CNN预测模型分类和回归分支得到的矩形区域图像。图11为Mask-Keypoints R-CNN预测模型的Mask分支输出的二值化掩膜图像。图12为Mask-Keypoints R-CNN预测模型Keypoints分支输出的关键点在矩形区域图像上的结果图。
步骤5：根据上、下、左、右四个关键点坐标，计算上、下两关键点的倾角θ1，计算左右两关键点倾角θ2，倾角的值域范围为[0°,180°]，计算上、下两关键点构成的直线方程与左、右两关键点构成的直线方程之间的夹角θ＝|θ1-θ2|，最后计算该夹角与直角之间的绝对值差γ＝|90°-θ|作为悬垂线夹的倾斜角度，夹角图如图13所示。
步骤6：根据关键点计算的倾角γ与设定倾角阈值γthresh的大下关系，判断该悬垂线夹的倾角是否满足安全需求，通常设倾角阈值γthresh为7°。当γ＞γthresh，则表示该悬垂线夹存在倾角过大的异常，当γ＜＝γthresh，则表示当前悬垂线夹的倾角处于正常状态。
步骤7：将Mask-Keypoints R-CNN预测模型分类和回归分支得到的矩形区域图10进行同态滤波数据增强处理。图像的同态滤波属于图像频率域处理范畴，目的是对像素灰度范围进行调整，从而消除图像上照明不均的问题，能够增强暗区的图像细节，而不损失亮区的图像细节。具体为设图像f(x,y)，其中x表示像素点的横坐标值，y表示像素点的纵坐标值，f(x,y)表示像素点的三色值。将f(x,y)表示为照射分量i(x,y)和反射分量r(x,y)的乘积。如式所示：
f(x,y)＝i(x,y)·r(x,y)
其中，0＜i(x,y)＜∞，0＜r(x,y)＜1。
对式两边取对数，并做傅里叶变化，得到线性组合的频率域，如下式所示：
lnf(x,y)＝lni(x,y)+lnr(x,y)
FFT(lnf(x,y))＝FFT(lni(x,y))+FFT(lnr(x,y))
式中，ln代表取对数操作，FFT代表傅里叶变换操作。
然后使用高斯高通滤波器对照射分量和反射分量进行调整，增强高频r(x,y)分量，加强对比度，同时衰减低频i(x,y)分量，降低动态范围。经过滤波之后再进行傅里叶反变换以及取反对数，最终得到变换之后的效果图。图14为对图10进行同态滤波后与二值化掩膜计算得到的悬垂线夹的精准分割图像。
步骤8：将分割图像由RGB色彩空间转到HSV颜色空间下，HSV颜色空间由色调(H)、饱和度(S)、明度(V)组成组成，其中H的范围是[0,360°)，代表色彩信息，即所处光谱颜色。S的范围是[0,1]，表示所选颜色的纯度与该颜色最大纯度之间的比例。V的范围是[0,1]，表示色彩的明亮程度。由RGB图像中像素点转HSV图像像素点的计算公式如下式所示：
max＝max(r,g,b)
min＝min(r,g,b)
Figure BDA0002421424450000091
S＝(max-min)/max/255
V＝max/255
其中，r,g,b分别表示当前像素点在RGB颜色空间中R,G,B分量值，表示红色、绿色、蓝色三原色的值。max表示r,g,b中的最大值，min表示r,g,b中的最小值。H表示当前像素点在HSV空间下的H分量值，S表示当前像素点在HSV空间下的S分量值，V表示当前像素点在HSV空间下的V分量值。图12转到HSV空间后其H、S、V三通道分量结果图如图15所示。
步骤9：遍历分割图的H分量图的所有像素点，若某像素点的H分量值满足设定的缺陷区间值，则标注该点为腐蚀点。在此处设置的缺陷区间为(0,14]，将腐蚀区域采用二值化图像表示，如图16所示。并统计腐蚀点的个数numserosion。同时统计二值化掩膜中1的个数numstotal作为悬垂线夹总体面积，以ratio＝numserosion/numstotal作为腐蚀面积比例。
步骤10：根据ratio以及设置的腐蚀等级区间，判定该悬垂线夹的腐蚀程度。腐蚀等级区域设置如下式所示：
Figure BDA0002421424450000101
综合步骤5的倾角结果判断该悬垂线夹的状态。
综上所述，在采用以上方案，本发明为检测悬垂线夹倾角缺陷和腐蚀缺陷提供了新的方法，采用深度学习、传统图像处理算法实现了对悬垂线夹倾角的精准计算以及腐蚀区域精准定位和腐蚀程度的精确评估，具有实际推广价值，值得推广。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法，其特征在于，包括以下步骤：
1)通过无人机采集输电线路上的图像，并通过网络传输到远程的服务器端；
2)采用Mask-Keypoints R-CNN网络对无人机图像进行分割和关键点检测，分割获得悬垂线夹的矩形区域图像、二值化掩膜及上、下、左、右四个关键点坐标；
采用pytorch构建Mask-Keypoints R-CNN网络，该Mask-Keypoints R-CNN网络主要由基网络、区域建议网络RPN、RoIAlign模块、分类分支、坐标回归分支、Mask分支、Keypoints分支组成；该Mask-Keypoints R-CNN网络推导包括以下步骤：
2.1)输入图像先通过基网络提取特征，获得不同尺度的特征图；
2.2)RPN进行区域建议，其在特征图上每个点生成不同尺度的候选框，并通过网络进行粗分类和粗定位，基于置信度和非极大抑制思想筛除大量候选框，将剩余候选框送入后续网络中；
2.3)将不同大小和尺度的候选框所在的特征图区域通过RoIAlign模块输出得到固定尺寸的特征图，RoIAlign先将候选框分割成固定个数个单元，每个单元的边界不进行量化，在每个单元中计算固定四个坐标位置，然后采用双线性内插的方法计算这四个位置的值，并基于这四个位置的值进行最大池化操作；
2.4)将固定大小的特征图作为分类分支、坐标回归分支、Mask分支、Keypoints分支的输入；其中，分类分支是以热编码形式输出特征图类别，坐标回归分支为预测候选框与真实目标区域的坐标、宽高偏差值，Mask分支输出以0、1值表述的目标的二值化掩膜图像，Keypoints分支输出以0、1值表示的目标关键点坐标的二值化掩膜图像；
将预测模型的权值写入网络中，输入测试图片进行前向计算，在网络输出端中，从分类分支得到悬垂线夹的类别置信度，坐标回归分支获得悬垂线夹的矩形框坐标，Mask分支获得悬垂线夹的二值化掩膜图像，Keypoints分支获得悬垂线夹的上、下、左、右四个关键点的二值化掩膜图像，从而通过分割获得悬垂线夹的矩形区域图像、二值化掩膜图像以及关键点坐标；
3)通过悬垂线夹上、下、左、右四个关键点坐标，计算上下两关键点的直线方程以及左右两关键点的直线方程，基于两直线方程的斜率计算两直线的夹角，并将90度与该夹角的差的绝对值作为悬垂线夹倾角；
4)对悬垂线夹的矩形区域图像通过同态滤波算法进行数据增强，降低光照对于后续腐蚀检测的干扰，而通过数据增强后的悬垂线夹的矩形区域图像结合二值化掩膜计算获得悬垂线夹的精准分割图像，即提取精准的悬垂线夹图像；
5)将提取的悬垂线夹轮廓图像转到HSV颜色空间下，提取其H分量值，定位H分量值中满足设定区间的像素点的位置，并统计二值化掩膜数量以及H分量中满足设定区间的像素点的数量，计算腐蚀面积和评估腐蚀程度。
2.根据权利要求1所述的一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法，其特征在于：在步骤4)中，采用同态滤波算法对悬垂线夹矩形区域图像进行数据增强，通过在频域内分别处理照度和反射度对像元灰度值的影响，丰富图像的暗区表现，增强暗区的图像细节，而不损失亮区的图像细节，即在丰富暗区的图像细节又不损失亮区图像表现，从频域上消除光照不均匀的影响，从而降低因光照变化导致的阴影部分对于后续腐蚀判断的影响；
对于图像f(x,y)，其中x表示像素点的横坐标值，y表示像素点的纵坐标值，f(x,y)表示像素点的三色值，将f(x,y)表示为照射分量i(x,y)和反射分量r(x,y)的乘积，如下式所示：
f(x,y)＝i(x,y)·r(x,y)
其中，0＜i(x,y)＜∞，0＜r(x,y)＜1；
对式两边取对数，并做傅里叶变化，得到线性组合的频率域，如下式所示：
lnf(x,y)＝lni(x,y)+lnr(x,y)
FFT(lnf(x,y))＝FFT(lni(x,y))+FFT(lnr(x,y))
式中，ln代表取对数操作，FFT代表傅里叶变换操作；
然后使用高斯高通滤波器对照射分量和反射分量进行调整，增强高频r(x,y)分量，加强对比度，同时衰减低频i(x,y)分量，降低动态范围，经过滤波之后再进行傅里叶反变换以及取反对数，最终得到变换之后的效果图，即进行同态滤波后与二值化掩膜计算得到的悬垂线夹的精准分割图像。
3.根据权利要求1所述的一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法，其特征在于：在步骤5)中，将图像转到HSV颜色空间中，将色相、饱和度、亮度分量分离，由色相来对腐蚀点进行判断，进一步降低光照对腐蚀算法的影响，且采用H分量值能精准定位腐蚀点，并结合二值化掩膜能够计算出腐蚀比例，更有效地评估当前悬垂线夹的腐蚀程度。
CN202010206871.4A 2020-03-23 2020-03-23 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法 Active CN111402247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010206871.4A CN111402247B (zh) 2020-03-23 2020-03-23 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010206871.4A CN111402247B (zh) 2020-03-23 2020-03-23 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111402247A CN111402247A (zh) 2020-07-10
CN111402247B true CN111402247B (zh) 2023-04-18

Family

ID=71432809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010206871.4A Active CN111402247B (zh) 2020-03-23 2020-03-23 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111402247B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101138B (zh) * 2020-08-26 2024-04-30 东南大学 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN112084984A (zh) * 2020-09-15 2020-12-15 山东鲁能软件技术有限公司 一种基于改进的Mask RCNN的扶梯动作检测方法
CN112683168B (zh) * 2020-12-18 2022-11-04 广东电网有限责任公司 一种耐张塔预偏值检测结构和方法
CN112750125B (zh) * 2021-01-28 2022-04-15 华南理工大学 一种基于端到端关键点检测的玻璃绝缘子片定位方法
CN112884738A (zh) * 2021-02-18 2021-06-01 国网江苏省电力有限公司扬州供电分公司 一种基于斜框标注的悬垂线夹倾斜故障检测方法
CN112950700B (zh) * 2021-02-25 2022-10-04 安徽农业大学 基于深度学习和图像处理的植物叶片气孔导度测量方法
CN114049354B (zh) * 2022-01-12 2022-04-29 山东仲良格环保技术有限公司 一种基于金属锈蚀程度的除锈剂优化配比方法及系统
CN115439476B (zh) * 2022-11-07 2023-03-14 成都博视广达科技有限责任公司 基于图像分析的丝印缺陷检测方法及装置
CN116968758A (zh) * 2023-09-19 2023-10-31 江西五十铃汽车有限公司 一种基于三维场景表示的车辆控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734143A (zh) * 2018-05-28 2018-11-02 江苏迪伦智能科技有限公司 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN109284739A (zh) * 2018-10-26 2019-01-29 福州大学 一种基于深度学习的输电线路防外力破坏预警方法及系统
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734143A (zh) * 2018-05-28 2018-11-02 江苏迪伦智能科技有限公司 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN109284739A (zh) * 2018-10-26 2019-01-29 福州大学 一种基于深度学习的输电线路防外力破坏预警方法及系统
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法

Also Published As

Publication number Publication date
CN111402247A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402247B (zh) 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法
CN111402248B (zh) 一种基于机器视觉的输电线路导线缺陷检测方法
CN106780438B (zh) 基于图像处理的绝缘子缺陷检测方法及系统
CN109215020B (zh) 基于计算机视觉的高压输电线路故障识别方法
CN112379231B (zh) 一种基于多光谱图像的设备检测方法及装置
CN109753929B (zh) 一种高铁绝缘子巡检图像识别方法
CN113808138B (zh) 一种基于人工智能的电线电缆表面缺陷检测方法
CN112381784A (zh) 一种基于多光谱图像的设备检测系统
CN105445607B (zh) 一种基于等温线绘制的电力设备故障检测方法
CN108489996B (zh) 一种绝缘子的缺陷检测方法、系统及终端设备
CN107679495B (zh) 一种输电线路周边活动工程车辆的检测方法
CN106600580B (zh) 一种基于霍夫变换的电力线异常识别方法及其系统
CN111462057B (zh) 一种基于深度学习的输电线路上玻璃绝缘子自爆检测方法
CN115631116B (zh) 基于双目视觉的飞行器电力巡检系统
CN110726725A (zh) 一种输电线路金具锈蚀检测方法及装置
CN106408025A (zh) 基于图像处理的航拍图像绝缘子分类识别方法
CN112837313A (zh) 一种输电线路异物的图像分割的方法
CN111008967B (zh) 一种绝缘子rtv涂层缺陷识别方法
CN113065484A (zh) 一种基于紫外图谱的绝缘子污秽状态评估方法
CN115272350A (zh) 一种计算机pcb主板生产质量检测方法
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN112037137A (zh) 一种红外图像中绝缘子盘面边缘模糊区域消除方法及装置
CN115684853A (zh) 搭载紫外成像仪的无人机输电线路故障检测方法及系统
CN109829508A (zh) 一种基于形状投影的电缆类别检测系统和检测方法
CN114359156A (zh) 基于图像识别的绝缘子掉串故障检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant