CN110334750B - 输电线路铁塔螺栓锈蚀程度图像分类识别方法 - Google Patents

输电线路铁塔螺栓锈蚀程度图像分类识别方法 Download PDF

Info

Publication number
CN110334750B
CN110334750B CN201910542996.1A CN201910542996A CN110334750B CN 110334750 B CN110334750 B CN 110334750B CN 201910542996 A CN201910542996 A CN 201910542996A CN 110334750 B CN110334750 B CN 110334750B
Authority
CN
China
Prior art keywords
image
area
point
bolt
corrosion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910542996.1A
Other languages
English (en)
Other versions
CN110334750A (zh
Inventor
黄新波
章小玲
张烨
高玉菡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN201910542996.1A priority Critical patent/CN110334750B/zh
Publication of CN110334750A publication Critical patent/CN110334750A/zh
Application granted granted Critical
Publication of CN110334750B publication Critical patent/CN110334750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了输电线路铁塔螺栓锈蚀程度图像分类识别方法,具体为:步骤1、读入巡检图像I1,灰度化及方差归一化算法得图像I2~I4,再利用阈值分割方法得到疑似螺栓区域的二值图I5,进行相应处理得图像I6~I8;步骤2、对图像I8进行边界追踪,提取内边界,得到内边界图像I9;步骤3、对内边界图像I9进行填充,及后续处理得图像I11;步骤4、计算图像I11中正六边形区域与闭合区域图像I10中闭合区域的比值,进行判断,得到图像I12;步骤5、对获取的图像I12进行色彩空间变换,并通过锈蚀率将螺栓锈蚀分为无锈蚀,点锈蚀,轻锈蚀,中等锈蚀,明显锈蚀和严重锈蚀六个等级。本方法能够用于指导运维人员的检修工作。

Description

输电线路铁塔螺栓锈蚀程度图像分类识别方法
技术领域
本发明属于电力输电线路监测技术领域,具体涉及一种输电线路铁塔螺栓锈蚀程度图像分类识别方法。
背景技术
目前输电铁塔除了少部分重要场合使用钢管塔外,大部分还是以现场组装铁塔为主的,螺栓连接由于拆装方便,利于检修等诸多优点,成为输电铁塔组装过程中广泛采用的一种方式,其连接的可靠性直接关系到输电线路的安全运行。输电铁塔均架设在野外,极易受外部环境影响而产生材料性能下降。若铁塔螺栓长期受含盐量高的雨水侵蚀,将逐渐沙化,雨水可沿着保护帽与塔材的接缝渗入,易造成螺栓锈蚀。若锈蚀不断加剧,受持续强风作用和覆冰等外力条件的影响,将突破铁塔受力临界极限,发生铁塔倾斜、倒塔断线等事故,严重影响输电线路的安全可靠运行,对国民经济造成严重的影响。
据统计,在发生输电铁塔倒落事故的现场经常可以看到生锈的螺栓螺母,倒塔事故分析报告也表明了螺栓连接失效是倒塔事故的主要原因。目前,螺栓锈蚀的检测主要还是依靠人工巡线的方法进行运维。但人工巡线费时费力,输电铁塔螺栓遍布,若螺栓锈蚀点位于高处,将大大增加人工的操作难度,对于无人职守的地段更是很难做到及时的排查与发现,这将对铁塔安全性和可靠性埋下巨大隐患,日积月累,势必造成停电、倒塌等恶性电力事故。
发明内容
本发明的目的是提供一种输电线路铁塔螺栓锈蚀程度图像分类识别方法,在准确提取螺栓的基础上,结合锈蚀的颜色特征来进行锈蚀区域提取,通过锈蚀率来体现螺栓锈蚀的严重程度,用于指导运维人员的检修工作。
本发明所采用的技术方案是,输电线路铁塔螺栓锈蚀程度图像分类识别方法,按照以下步骤具体实施:
步骤1、读入巡检图像I1,灰度化并利用中心增强的方差归一化算法提取疑似螺栓区域得到图像I2~I4,再利用阈值分割方法得到疑似螺栓区域的二值图I5,用面积筛选,膨胀和腐蚀处理修缮区域的整体连通性和噪声去除,得到图像I6~I8
步骤2、对图像I8进行边界追踪,判断是否存在内边界,如果存在,则提取内边界,得到内边界图像I9;否则不是,不进行后续操作;
步骤3、对内边界图像I9进行填充,得到疑似螺栓的闭合区域图像I10,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11
步骤4、计算图像I11中正六边形区域与闭合区域图像I10中闭合区域的比值,记作重合率,若重合率大于90%,则该闭合区域为螺栓区域;将螺栓区域映射回图像I1并获取该区域像素值,得到图像I12
步骤5、对获取的图像I12进行色彩空间变换,得到有利于识别螺栓锈蚀的三个分量H、S、Cr,通过阈值区间确定图像I12的锈蚀区域I13,通过锈蚀区域图像I13中锈蚀像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,并通过锈蚀率将螺栓锈蚀分为无锈蚀,点锈蚀,轻锈蚀,中等锈蚀,明显锈蚀和严重锈蚀六个等级。
本发明的特点还在于,
步骤1的具体实施方式如下:
步骤1.1、读取巡检图像I1,对图像进行灰度化得到图像I2,对灰度图像I2分别进行中心增强的灰度方差处理和归一化处理得到图像I3和I4,中心增强的灰度方差处理和归一化处理的具体步骤如下:
首先,以5*5的中点增强的模板f中心点为导向,依次遍历整幅图像各像素点,根据公式(1)分别计算遍历模板内各像素点的灰度值均值:
Figure BDA0002103140770000031
其中,f33=2,其余参数都取值为1,
Figure BDA0002103140770000032
其中,Qmean为模板内各像素点灰度值均值,根据公式(2)计算各像素点的灰度值方差:
Figure BDA0002103140770000033
式中,I3(x,y)为坐标(x,y)处的灰度值方差;
其次,遍历图像I2所有像素点获取图像I2的灰度方差图,通过公式(3)计算各坐标归一化后的像素值,得到方差归一化后的图像I4
Figure BDA0002103140770000034
式中,I3max为灰度方差图像灰度值的最大值;I3min为灰度方差图像灰度值的最小值;I3(x,y)为像素点(x,y)处灰度方差图像的灰度值,I4(x,y)为像素点(x,y)处进行归一化的灰度方差图像灰度值;
步骤1.2、对图像I4进行Otsu阈值分割得到二值图像I5
步骤1.3、对二值图像I5进行形态学处理,形态学处理主要包括三部分:
首先、对二值图像I5所有连通域内的小区域进行面积筛选,面积阈值为T1,对面积小于T1的连通域进行剔除,得到小面积连通域剔除后的图像I6
再先对面积筛选后的图像I6进行膨胀处理,连接区域间的断裂部分,得到膨胀后的图像I7
最后、对膨胀后的图像I7进行腐蚀处理,恢复初始区域的大小,得到腐蚀后的图像I8
步骤2依据二值图像及八邻域点的性质,采用目标邻域点边界智能跟踪算法,具体实施方式如下:
步骤2.1、确定起始点,对图像I8按行扫描,直到发现第一个像素值为1的点并将该像素点为起始点,创建数组Edge,存储其坐标值并记为E0;设E0点正上方的点为0邻域点,按逆时针方向8邻域点分别标为0邻域点、1邻域点、...、7邻域点,它们相对目标点的坐标分别为(0,-1)、(-1,-1)、(-1,0)、(-1,1)、(0,1)、(1,1)、(1,0)、(1,-1);
步骤2.2、从E0点的0邻域点开始,逆时针方向研究其8邻域点值,找到第一个像素值为1的点,存储其坐标值,并记其位置为E1。E0为E1的第一目标邻域点;
步骤2.3、以后每步都从上一次寻到的点第一目标邻域点的下一邻域点开始搜索,寻找下一目标邻域点;
步骤2.4、循环步骤步骤2.3,直到En的第一目标邻域点为E0且En+1的第一目标邻域点为E1时,外边界跟踪结束;
步骤2.5、在区域内部寻找下一个像素值为1的像素点,重复上述步骤2.1~2.4,将Edge数组的数值附给E1_in;若找不到下一个像素点为的区域,则这个区域不存在内边界;
步骤2.6、对图像I8中检测到的边界进行判断,边界若为内边界提取作为下一步的处理对象;
步骤2.7、为了避免重复计算,将图像I8中检测过的边界点赋值为0,重复上述步骤2.1~2.6,直至赋值后的图像所有点的像素值都为0,图像的整体跟踪结束,分别记得到的跟踪边界E2_out,E2_in;...;Em_out,Em_in;m为图像包含的区域个数;最后将所有内边界的构成的图像记作内边界图像I9
步骤3中,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11的具体实施方法如下:
首先、对I10(x,y)内的疑似螺栓闭合区域逐一进行正六边形框定;
假设目标部分为A,即:
Figure BDA0002103140770000051
质心位置为:
Figure BDA0002103140770000052
取质心位置(x0,y0),搜索I(x,y)不为0的点,根据公式(6)求质心边缘距:
Figure BDA0002103140770000053
对质心边缘距Rr求最大值Rrmax,获取其对应位置(xmax,ymax),获取最大距离处的夹角:
Figure BDA0002103140770000061
将Rrmax作为六边形起始角与中心的距离,θ作为起始角,则正六边形六点的坐标的计算如下
Figure BDA0002103140770000062
再将六点左边坐标用直线连接则得到与区域相关的正六边形区域,进行了所有区域拟合的图像记作I11
步骤4中,重合率的计算方法如下:
由于拟合出的区域可能大于原始封闭区域,因此以拟合区域的像素总作为重合率计算的总体,
(1)图像中若存在一个螺栓时:
统计图像I11闭合螺栓区域的像素点总数,记作Co_sum;
计算图像I10中取值为1的像素点点数,记作Co_sat,则重复率Co记作
Figure BDA0002103140770000063
当比值大于90%,认为获取的区域是螺栓区域,反之则不是,不再进行后续步骤的检测;
(2)图像中若存在多个螺栓,用上述(1)方法进行正六边形区域的逐一确定,六边形区域内的像素点取值为1,区域外的取值为0,即得到闭合区域Re_rust;
将识别出的螺栓区域I11映射回图像I1并获取该区域的灰度值赋值给图像I12,即正六边形区域内的点取图像I1对应位置的像素值,其余位置取值为0。
步骤5的具体实施方式如下:
步骤5.1、确定两个颜色空间的三个颜色分量对红色分量的提取判断确定螺栓锈蚀的状况,分别为HSV颜色空间的H分量和S分量以及YCrCb颜色空间的Cr分量,且将阈值分别设置为H:0-27,S:36-225,Cr:140-155,若某一像素点同时满足这三个条件,则认为是锈蚀点;
三个分量的提取过程分别为:
H的获取:
Figure BDA0002103140770000071
式中,R,G,B分别为图像I12 RGB三个颜色通道对应的灰度图像,MAX(x,y)=max{R(x,y),G(x,y),B(x,y)};MIN(x,y)=min{R(x,y),G(x,y),B(x,y)},即MAX(x,y)和MIN(x,y)分别为图像R、图像G、图像B在(x,y)处灰度值的最大值和最小值,max和min分别表示取最大值和最小值;
S的获取:S表示图像的饱和度,计算公式如下:
Figure BDA0002103140770000072
Cr的获取:对图像I12中的像素点进行逐点的计算,获取图像I12中每点对应的Cr(x,y),计算公式如下:
Y(x,y)=0.229R(x,y)+0.587G(x,y)+0.114B(x,y) (12)
Cr(x,y)=(R(x,y)-Y(x,y))+128 (13)
式中,Y(x,y)表示图像I12在(x,y)处的明亮度,通过对RGB三通道进行不同的系数加权获得,Cr(x,y)是图像I12在(x,y)处的色度,描述色彩及饱和度,反映了RGB输入信号红色部分与RGB信号亮度值之间的差异;
通过一系列图像测试,发现同时满足以下三个要求的点为锈蚀点,I13(x,y)表示在(x,y)处像素点的锈蚀判别结果,遍历所有像素点得到锈蚀区域图像I13
Figure BDA0002103140770000081
式中,在图像中用1表示锈蚀,用0表示无锈蚀;
步骤5.2、通过锈蚀区域图像I13计算锈蚀率用于判断锈蚀情况;
统计I13中像素值为1的像素点点数,记作Co_rus,通过锈蚀区域像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,即:
Figure BDA0002103140770000082
根据锈蚀率对螺栓锈蚀进行分级:
当Cor=0时,螺栓无锈蚀;
当0<Cor<1%时,螺栓锈蚀且属于点锈蚀;
当1%≤Cor<10%时,螺栓锈蚀且属于轻锈蚀;
当10%≤Cor<30%时,螺栓锈蚀且属于中等锈蚀;
当30%≤Cor<50%时,螺栓锈蚀且属于明显锈蚀;
当Cor≥50%时,螺栓锈蚀且属于严重锈蚀。
本发明的有益效果是:本发明方法通过图像处理方法检测图像的螺栓锈蚀故障,可应用于无人机巡检和在线监测系统,有利于避免人工巡检方式检测效率低、工作强度大、检测速度慢等不足,在减少人力物力投入的同时,能够排除人为因素的干扰,快速准确地评估螺栓锈蚀状况;本发明方法能够在准确提取螺栓的基础上,结合锈蚀的颜色特征来进行锈蚀区域提取,通过锈蚀率来体现螺栓锈蚀的严重程度,用于指导运维人员的检修工作。
附图说明
图1是本发明输电线路铁塔螺栓锈蚀程度图像分类识别方法的算法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明输电线路铁塔螺栓锈蚀程度图像分类识别方法,如图1所示,按照以下步骤具体实施:
步骤1、读入巡检图像I1,灰度化并利用中心增强的方差归一化算法提取疑似螺栓区域得到图像I2~I4,再利用阈值分割方法得到疑似螺栓区域的二值图I5,用面积筛选,膨胀和腐蚀处理修缮区域的整体连通性和噪声去除,得到图像I6~I8
步骤1的具体实施方式如下:
步骤1.1、读取巡检图像I1(RGB颜色空间),对图像进行灰度化得到图像I2
对灰度图像I2分别进行中心增强的灰度方差处理和归一化处理得到图像I3和I4,中心增强的灰度方差处理和归一化处理的具体步骤如下:
以5*5的中点增强的模板f中心点为导向,依次遍历整幅图像各像素点,根据公式(1)分别计算遍历模板内各像素点的灰度值均值:
Figure BDA0002103140770000101
其中f33=2,其余参数都取值为1,
Figure BDA0002103140770000102
其中,Qmean为模板内各像素点灰度值均值,根据公式(2)计算各像素点的灰度值方差:
Figure BDA0002103140770000103
式中,I3(x,y)为坐标(x,y)处的灰度值方差;
遍历图像I2所有像素点获取图像I2的灰度方差图,通过公式(3)计算各坐标归一化后的像素值,得到方差归一化后的图像I4
Figure BDA0002103140770000104
式中,I3max为灰度方差图像灰度值的最大值;I3min为灰度方差图像灰度值的最小值;I3(x,y)为像素点(x,y)处灰度方差图像的灰度值,I4(x,y)为像素点(x,y)处进行归一化的灰度方差图像灰度值;
步骤1.2、对图像I4进行Otsu阈值分割得到二值图像I5
由于螺栓的反射率低于杆塔塔基,此时得到的疑似螺栓区域为暗区域,区域可能存在部分不连续的噪点,对图像进行形态学处理去除部分不连续的噪点;
步骤1.3、对二值图像I5进行形态学处理,形态学处理主要包括三部分:
首先对二值图像I5所有连通域内的小区域进行面积筛选,面积阈值为T1,对面积小于T1的连通域进行剔除,得到小面积连通域剔除后的图像I6
再先对面积筛选后的图像I6进行膨胀处理,连接区域间的断裂部分,得到膨胀后的图像I7
最后对膨胀后的图像I7进行腐蚀处理,恢复初始区域的大小,得到腐蚀后的图像I8
步骤2、由于得到的疑似落螺栓区域为暗区域,所以其边界属于内边界。对图像I8做边界跟踪,提取其边界并对提取的边界进行判断,若为内边界,则为需要提取的边界,否则不是,不进行后续操作,依据二值图像及八邻域点的性质,采用目标邻域点边界智能跟踪算法,具体实施方式如下:
步骤2.1、确定起始点,对图像I8按行扫描,直到发现第一个像素值为1的点并将该像素点为起始点,创建数组Edge,存储其坐标值并记为E0;设E0点正上方的点为0邻域点,按逆时针方向8邻域点分别标为0邻域点、1邻域点、...、7邻域点,它们相对目标点的坐标分别为(0,-1)、(-1,-1)、-1,0)、(-1,1)、(0,1)、(1,1)、(1,0)、(1,-1);
步骤2.2、从E0点的0邻域点开始,逆时针方向研究其8邻域点值,找到第一个像素值为1的点,存储其坐标值,并记其位置为E1。E0为E1的第一目标邻域点;
步骤2.3、以后每步都从上一次寻到的点第一目标邻域点的下一邻域点开始搜索,寻找下一目标邻域点;
步骤2.4、循环步骤步骤2.3、,直到En的第一目标邻域点为E0且En+1的第一目标邻域点为E1时,外边界跟踪结束;
步骤2.5、在区域内部寻找下一个像素值为1的像素点,重复上述步骤2.1~2.4,将Edge数组的数值附给E1_in;若找不到下一个像素点为的区域,则这个区域不存在内边界;
步骤2.6、对图像I8中检测到的边界进行判断,边界若为内边界提取作为下一步的处理对象;
步骤2.7、为了避免重复计算,将图像I8中检测过的边界点赋值为0,重复上述步骤2.1~2.6,直至赋值后的图像所有点的像素值都为0,图像的整体跟踪结束,分别记得到的跟踪边界E2_out,E2_in;...;Em_out,Em_in;m为图像包含的区域个数。此处仅给出一个存在时的表示方式,并不表示所有区域的内外边界都存在。最后将所有内边界的构成的图像记作内边界图像I9
步骤3、对内边界图像I9进行填充,得到疑似螺栓的闭合区域图像I10,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11
对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11的具体实施方法如下:
首先、对I10(x,y)内的疑似螺栓闭合区域逐一进行正六边形框定。
假设目标部分为A,即:
Figure BDA0002103140770000121
质心位置为
Figure BDA0002103140770000122
取质心位置(x0,y0),搜索I(x,y)不为0的点,根据公式(6)求质心边缘距
Figure BDA0002103140770000123
对质心边缘距Rr求最大值Rrmax,获取其对应位置(xmax,ymax),获取最大距离处的夹角:
Figure BDA0002103140770000131
将Rrmax作为六边形起始角与中心的距离,θ作为起始角,则正六边形六点的坐标的计算如下
Figure BDA0002103140770000132
再将六点左边坐标用直线连接则得到与区域相关的正六边形区域,进行了所有区域拟合的图像记作I11
步骤4、计算图像I11中正六边形区域与闭合区域图像I10中闭合区域的比值,记作重合率,若重合率大于90%,则该闭合区域为螺栓区域;将螺栓区域映射回图像I1并获取该区域像素值,得到图像I12
步骤4中,重合率的计算方法如下:
由于拟合出的区域可能大于原始封闭区域,因此以拟合区域的像素总作为重合率计算的总体,
(1)图像中若存在一个螺栓时:
统计图像I11闭合螺栓区域的像素点总数,记作Co_sum;
计算图像I10中取值为1的像素点点数,记作Co_sat,则重复率Co记作
Figure BDA0002103140770000133
当比值大于90%,认为获取的区域是螺栓区域,反之则不是,不再进行后续步骤的检测;
(2)图像中若存在多个螺栓,用上述(1)方法进行正六边形区域的逐一确定,六边形区域内的像素点取值为1,区域外的取值为0,即得到闭合区域Re_rust;
将识别出的螺栓区域I11映射回图像I1并获取该区域的灰度值赋值给图像I12,即正六边形区域内的点取图像I1对应位置的像素值,其余位置取值为0。
步骤5、锈蚀的螺栓常会呈现出红色和暗红色的颜色特征,所以本发明从颜色入手对螺栓锈蚀进行识别,对获取的图像I12进行色彩空间变换,得到有利于识别螺栓锈蚀的三个分量H、S、Cr,通过阈值区间确定图像I12的锈蚀区域I13,通过锈蚀区域图像I13中锈蚀像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,并通过锈蚀率将螺栓锈蚀分为无锈蚀,点锈蚀,轻锈蚀,中等锈蚀,明显锈蚀和严重锈蚀六个等级。
步骤5.1、在大量的锈蚀检测实验后,确定两个颜色空间的三个颜色分量对红色分量的提取判断确定螺栓锈蚀的状况,分别为HSV颜色空间的H分量和S分量以及YCrCb颜色空间的Cr分量,且将阈值分别设置为H:0-27,S:36-225,Cr:140-155,若某一像素点同时满足这三个条件,则认为是锈蚀点。
三个分量的提取过程分别为:
H的获取:
Figure BDA0002103140770000151
式中,R,G,B分别为图像I12 RGB三个颜色通道对应的灰度图像,MAX(x,y)=max{R(x,y),G(x,y),B(x,y)};MIN(x,y)=min{R(x,y),G(x,y),B(x,y)},即MAX(x,y)和MIN(x,y)分别为图像R、图像G、图像B在(x,y)处灰度值的最大值和最小值,max和min分别表示取最大值和最小值;
S的获取:S表示图像的饱和度,计算公式如下:
Figure BDA0002103140770000152
Cr的获取:对图像I12中的像素点进行逐点的计算,获取图像I12中每点对应的Cr(x,y),计算公式如下:
Y(x,y)=0.229R(x,y)+0.587G(x,y)+0.114B(x,y) (12)
Cr(x,y)=(R(x,y)-Y(x,y))+128 (13)
式中,Y(x,y)表示图像I12在(x,y)处的明亮度,通过对RGB三通道进行不同的系数加权获得。Cr(x,y)是图像I12在(x,y)处的色度,描述色彩及饱和度,反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。
通过一系列图像测试,发现同时满足以下三个要求的点为锈蚀点,I13(x,y)表示在(x,y)处像素点的锈蚀判别结果,遍历所有像素点得到锈蚀区域图像I13
Figure BDA0002103140770000153
式中,在图像中用1表示锈蚀,用0表示无锈蚀;
步骤5.2、通过锈蚀区域图像I13计算锈蚀率用于判断锈蚀情况
统计I13中像素值为1的像素点点数,记作Co_rus。通过锈蚀区域像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,即:
Figure BDA0002103140770000161
根据锈蚀率对螺栓锈蚀进行分级:
当Cor=0时,螺栓无锈蚀;
当0<Cor<1%时,螺栓锈蚀且属于点锈蚀;
当1%≤Cor<10%时,螺栓锈蚀且属于轻锈蚀;
当10%≤Cor<30%时,螺栓锈蚀且属于中等锈蚀;
当30%≤Cor<50%时,螺栓锈蚀且属于明显锈蚀;
当Cor≥50%时,螺栓锈蚀且属于严重锈蚀。

Claims (5)

1.输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,按照以下步骤具体实施:
步骤1、读入巡检图像I1,灰度化并利用中心增强的方差归一化算法提取疑似螺栓区域得到图像I2~I4,再利用阈值分割方法得到疑似螺栓区域的二值图I5,用面积筛选,膨胀和腐蚀处理修缮区域的整体连通性和噪声去除,得到图像I6~I8
步骤2、对图像I8进行边界追踪,判断是否存在内边界,如果存在,则提取内边界,得到内边界图像I9;否则不是,不进行后续操作;
步骤3、对内边界图像I9进行填充,得到疑似螺栓的闭合区域图像I10,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11
步骤4、计算图像I11中正六边形区域与闭合区域图像I10中闭合区域的比值,记作重合率,若重合率大于90%,则该闭合区域为螺栓区域;将螺栓区域映射回图像I1并获取该区域像素值,得到图像I12
步骤5、对获取的图像I12进行色彩空间变换,得到有利于识别螺栓锈蚀的三个分量H、S、Cr,通过阈值区间确定图像I12的锈蚀区域I13,通过锈蚀区域图像I13中锈蚀像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,并通过锈蚀率将螺栓锈蚀分为无锈蚀,点锈蚀,轻锈蚀,中等锈蚀,明显锈蚀和严重锈蚀六个等级;
步骤5的具体实施方式如下:
步骤5.1、确定两个颜色空间的三个颜色分量对红色分量的提取判断确定螺栓锈蚀的状况,分别为HSV颜色空间的H分量和S分量以及YCrCb颜色空间的Cr分量,且将阈值分别设置为H:0-27,S:36-225,Cr:140-155,若某一像素点同时满足这三个条件,则认为是锈蚀点;
三个分量的提取过程分别为:
H的获取:
Figure FDA0002956203250000021
式中,R,G,B分别为图像I12RGB三个颜色通道对应的灰度图像,MAX(x,y)=max{R(x,y),G(x,y),B(x,y)};MIN(x,y)=min{R(x,y),G(x,y),B(x,y)},即MAX(x,y)和MIN(x,y)分别为图像R、图像G、图像B在(x,y)处灰度值的最大值和最小值,max和min分别表示取最大值和最小值;
S的获取:S表示图像的饱和度,计算公式如下:
Figure FDA0002956203250000022
Cr的获取:对图像I12中的像素点进行逐点的计算,获取图像I12中每点对应的Cr(x,y),计算公式如下:
Y(x,y)=0.229R(x,y)+0.587G(x,y)+0.114B(x,y) (12)
Cr(x,y)=(R(x,y)-Y(x,y))+128 (13)
式中,Y(x,y)表示图像I12在(x,y)处的明亮度,通过对RGB三通道进行不同的系数加权获得,Cr(x,y)是图像I12在(x,y)处的色度,描述色彩及饱和度,反映了RGB输入信号红色部分与RGB信号亮度值之间的差异;
通过一系列图像测试,发现同时满足以下三个要求的点为锈蚀点,I13(x,y)表示在(x,y)处像素点的锈蚀判别结果,遍历所有像素点得到锈蚀区域图像I13
Figure FDA0002956203250000031
式中,在图像中用1表示锈蚀,用0表示无锈蚀;
步骤5.2、通过锈蚀区域图像I13计算锈蚀率用于判断锈蚀情况;
统计I13中像素值为1的像素点点数,记作Co_rus,通过锈蚀区域像素点总数与图像I11闭合螺栓区域的像素点总数的比值计算锈蚀率,即:
Figure FDA0002956203250000032
根据锈蚀率对螺栓锈蚀进行分级:
当Cor=0时,螺栓无锈蚀;
当0<Cor<1%时,螺栓锈蚀且属于点锈蚀;
当1%≤Cor<10%时,螺栓锈蚀且属于轻锈蚀;
当10%≤Cor<30%时,螺栓锈蚀且属于中等锈蚀;
当30%≤Cor<50%时,螺栓锈蚀且属于明显锈蚀;
当Cor≥50%时,螺栓锈蚀且属于严重锈蚀。
2.根据权利要求1所述的输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,步骤1的具体实施方式如下:
步骤1.1、读取巡检图像I1,对图像进行灰度化得到图像I2,对灰度图像I2分别进行中心增强的灰度方差处理和归一化处理得到图像I3和I4,中心增强的灰度方差处理和归一化处理的具体步骤如下:
首先,以5*5的中点增强的模板f中心点为导向,依次遍历整幅图像各像素点,根据公式(1)分别计算遍历模板内各像素点的灰度值均值:
Figure FDA0002956203250000041
其中,f33=2,其余参数都取值为1,
Figure FDA0002956203250000042
其中,Qmean为模板内各像素点灰度值均值,根据公式(2)计算各像素点的灰度值方差:
Figure FDA0002956203250000043
式中,I3(x,y)为坐标(x,y)处的灰度值方差;
其次,遍历图像I2所有像素点获取图像I2的灰度方差图,通过公式(3)计算各坐标归一化后的像素值,得到方差归一化后的图像I4
Figure FDA0002956203250000044
式中,I3max为灰度方差图像灰度值的最大值;I3min为灰度方差图像灰度值的最小值;I3(x,y)为像素点(x,y)处灰度方差图像的灰度值,I4(x,y)为像素点(x,y)处进行归一化的灰度方差图像灰度值;
步骤1.2、对图像I4进行Otsu阈值分割得到二值图像I5
步骤1.3、对二值图像I5进行形态学处理,形态学处理主要包括三部分:
首先、对二值图像I5所有连通域内的小区域进行面积筛选,面积阈值为T1,对面积小于T1的连通域进行剔除,得到小面积连通域剔除后的图像I6
再先对面积筛选后的图像I6进行膨胀处理,连接区域间的断裂部分,得到膨胀后的图像I7
最后、对膨胀后的图像I7进行腐蚀处理,恢复初始区域的大小,得到腐蚀后的图像I8
3.根据权利要求1所述的输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,步骤2依据二值图像及八邻域点的性质,采用目标邻域点边界智能跟踪算法,具体实施方式如下:
步骤2.1、确定起始点,对图像I8按行扫描,直到发现第一个像素值为1的点并将该像素点为起始点,创建数组Edge,存储其坐标值并记为E0;设E0点正上方的点为0邻域点,按逆时针方向8邻域点分别标为0邻域点、1邻域点、...、7邻域点,它们相对目标点的坐标分别为(0,-1)、(-1,-1)、-1,0)、(-1,1)、(0,1)、(1,1)、(1,0)、(1,-1);
步骤2.2、从E0点的0邻域点开始,逆时针方向研究其8邻域点值,找到第一个像素值为1的点,存储其坐标值,并记其位置为E1;E0为E1的第一目标邻域点;
步骤2.3、以后每步都从上一次寻到的点第一目标邻域点的下一邻域点开始搜索,寻找下一目标邻域点;
步骤2.4、循环步骤步骤2.3,直到En的第一目标邻域点为E0且En+1的第一目标邻域点为E1时,外边界跟踪结束;
步骤2.5、在区域内部寻找下一个像素值为1的像素点,重复上述步骤2.1~2.4,将Edge数组的数值附给E1_in;若找不到下一个像素点为的区域,则这个区域不存在内边界;
步骤2.6、对图像I8中检测到的边界进行判断,边界若为内边界提取作为下一步的处理对象;
步骤2.7、为了避免重复计算,将图像I8中检测过的边界点赋值为0,重复上述步骤2.1~2.6,直至赋值后的图像所有点的像素值都为0,图像的整体跟踪结束,分别记得到的跟踪边界E2_out,E2_in;...;Em_out,Em_in;m为图像包含的区域个数;最后将所有内边界的构成的图像记作内边界图像I9
4.根据权利要求1所述的输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,步骤3中,对内边界图像I9进行填充,得到疑似螺栓的闭合区域图像I10,对闭合区域图像I10中的闭合区域提取质心、最大质心边界值、初始角,再利用这三个参量拟合闭合区域的正六边形区域,得到图像I11
拟合正六边形区域获得图像I11的具体实施方法如下:
首先、对I10(x,y)内的疑似螺栓闭合区域逐一进行正六边形框定;
假设目标部分为A,即:
Figure FDA0002956203250000061
质心位置为
Figure FDA0002956203250000062
取质心位置(x0,y0),搜索I(x,y)不为0的点,根据公式(6)求质心边缘距
Figure FDA0002956203250000063
对质心边缘距Rr求最大值Rrmax,获取其对应位置(xmax,ymax),获取最大距离处的夹角:
Figure FDA0002956203250000064
将Rrmax作为六边形起始角与中心的距离,θ作为起始角,则正六边形六点的坐标的计算如下
Figure FDA0002956203250000071
再将六点左边坐标用直线连接则得到与区域相关的正六边形区域,进行了所有区域拟合的图像记作I11
5.根据权利要求1所述的输电线路铁塔螺栓锈蚀程度图像分类识别方法,其特征在于,步骤4中,重合率的计算方法如下:
由于拟合出的区域可能大于原始封闭区域,因此以拟合区域的像素总作为重合率计算的总体,
(1)图像中若存在一个螺栓时:
统计图像I11闭合螺栓区域的像素点总数,记作Co_sum;
计算图像I10中取值为1的像素点点数,记作Co_sat,则重复率Co记作
Figure FDA0002956203250000072
当比值大于90%,认为获取的区域是螺栓区域,反之则不是,不再进行后续步骤的检测;
(2)图像中若存在多个螺栓,用上述(1)方法进行正六边形区域的逐一确定,六边形区域内的像素点取值为1,区域外的取值为0,即得到闭合区域Re_rust;
将识别出的螺栓区域I11映射回图像I1并获取该区域的灰度值赋值给图像I12,即正六边形区域内的点取图像I1对应位置的像素值,其余位置取值为0。
CN201910542996.1A 2019-06-21 2019-06-21 输电线路铁塔螺栓锈蚀程度图像分类识别方法 Active CN110334750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542996.1A CN110334750B (zh) 2019-06-21 2019-06-21 输电线路铁塔螺栓锈蚀程度图像分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542996.1A CN110334750B (zh) 2019-06-21 2019-06-21 输电线路铁塔螺栓锈蚀程度图像分类识别方法

Publications (2)

Publication Number Publication Date
CN110334750A CN110334750A (zh) 2019-10-15
CN110334750B true CN110334750B (zh) 2021-06-08

Family

ID=68140411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542996.1A Active CN110334750B (zh) 2019-06-21 2019-06-21 输电线路铁塔螺栓锈蚀程度图像分类识别方法

Country Status (1)

Country Link
CN (1) CN110334750B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893491A (zh) * 2020-08-07 2024-04-16 长江三峡通航管理局 基于缺油指数的船闸大型齿轮齿面缺油程度判断方法
CN112365481B (zh) * 2020-11-13 2021-06-18 哈尔滨市科佳通用机电股份有限公司 基于图像处理的横跨梁组装螺栓丢失检测方法
CN112419298B (zh) * 2020-12-04 2024-01-19 中冶建筑研究总院(深圳)有限公司 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN112862889A (zh) * 2021-01-29 2021-05-28 珠海迪沃航空工程有限公司 一种基于图像识别的识别矫正系统、方法、装置
CN113962994B (zh) * 2021-12-21 2022-03-15 武汉智能兴运铁路配件有限公司 基于图像处理的三连杆上锁销清洁度检测方法
CN114049354B (zh) * 2022-01-12 2022-04-29 山东仲良格环保技术有限公司 一种基于金属锈蚀程度的除锈剂优化配比方法及系统
CN115205290B (zh) * 2022-09-15 2022-11-18 深圳市合成快捷电子科技有限公司 一种pcb板生产过程在线检测方法及系统
CN115345875B (zh) * 2022-10-17 2023-03-24 江苏煵笙重工有限公司 一种船舶外板锈蚀区域识别及分析方法
CN117237396B (zh) * 2023-11-16 2024-02-06 山东华盛中天工程机械有限责任公司 基于图像特征的钢轨螺栓锈蚀区域分割方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508110A (zh) * 2011-10-10 2012-06-20 上海大学 基于纹理的绝缘子缺陷诊断方法
CN103413150A (zh) * 2013-06-28 2013-11-27 广东电网公司电力科学研究院 基于可见光影像对电力线路缺陷进行诊断的方法
JP2015161614A (ja) * 2014-02-27 2015-09-07 三菱重工業株式会社 腐食検出装置及び腐食検出方法
WO2015155575A1 (zh) * 2014-04-12 2015-10-15 黄勃 一种多光谱掌纹图像的反光检测方法和装置
CN106023185A (zh) * 2016-05-16 2016-10-12 国网河南省电力公司电力科学研究院 一种输电设备故障诊断方法
CN107063457A (zh) * 2016-08-22 2017-08-18 东北师范大学 光谱量化定值多光谱遥感图像分割传感器用颜色采集装置
CN108633411A (zh) * 2018-05-15 2018-10-12 江苏大学 一种基于机器视觉的秧箱秧苗量实时监测系统及方法
CN108665464A (zh) * 2018-04-03 2018-10-16 电子科技大学 一种基于形态学的高压电塔及高压电线的异物检测方法
CN108830877A (zh) * 2018-06-08 2018-11-16 中国石油化工股份有限公司 岩心体视显微图像定量描述方法
CN109785301A (zh) * 2018-12-27 2019-05-21 北京交通大学 一种基于图像处理的钢轨波磨自动识别方法与评估方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226489A1 (en) * 2004-03-04 2005-10-13 Glenn Beach Machine vision system for identifying and sorting projectiles and other objects
US8452046B2 (en) * 2008-10-07 2013-05-28 Honeywell International Inc. Method and apparatus for automatic sediment or sludge detection, monitoring, and inspection in oil storage and other facilities

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508110A (zh) * 2011-10-10 2012-06-20 上海大学 基于纹理的绝缘子缺陷诊断方法
CN103413150A (zh) * 2013-06-28 2013-11-27 广东电网公司电力科学研究院 基于可见光影像对电力线路缺陷进行诊断的方法
JP2015161614A (ja) * 2014-02-27 2015-09-07 三菱重工業株式会社 腐食検出装置及び腐食検出方法
WO2015155575A1 (zh) * 2014-04-12 2015-10-15 黄勃 一种多光谱掌纹图像的反光检测方法和装置
CN106023185A (zh) * 2016-05-16 2016-10-12 国网河南省电力公司电力科学研究院 一种输电设备故障诊断方法
CN107063457A (zh) * 2016-08-22 2017-08-18 东北师范大学 光谱量化定值多光谱遥感图像分割传感器用颜色采集装置
CN108665464A (zh) * 2018-04-03 2018-10-16 电子科技大学 一种基于形态学的高压电塔及高压电线的异物检测方法
CN108633411A (zh) * 2018-05-15 2018-10-12 江苏大学 一种基于机器视觉的秧箱秧苗量实时监测系统及方法
CN108830877A (zh) * 2018-06-08 2018-11-16 中国石油化工股份有限公司 岩心体视显微图像定量描述方法
CN109785301A (zh) * 2018-12-27 2019-05-21 北京交通大学 一种基于图像处理的钢轨波磨自动识别方法与评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automated bridge coating defect recognition using adaptive ellipse approach;Po-Han Chen等;《Automation in Construction》;20091231;第18卷(第5期);第632-643页 *
图像处理技术在尖轨检测中的应用研究;罗磊等;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181015;第I138-876页 *

Also Published As

Publication number Publication date
CN110334750A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110334750B (zh) 输电线路铁塔螺栓锈蚀程度图像分类识别方法
CN113469966B (zh) 一种基于防松线识别的列车螺栓松动检测方法
CN111260616A (zh) 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN111091544B (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
CN105426840A (zh) 一种基于多特征融合的红外森林火灾判定方法
WO2023082418A1 (zh) 基于人工智能技术的电力综合管廊沉降裂缝识别方法
CN108009574B (zh) 一种轨道扣件检测方法
CN114581764B (zh) 基于深度学习算法的地下结构裂纹病害判别方法
CN112419298A (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN108335294A (zh) 复杂条件下的配电房异常状态图像识别方法
CN108508023B (zh) 一种铁路接触网中接触端部顶紧螺栓的缺陷检测系统
CN111667473A (zh) 基于改进Canny算法的绝缘子憎水性等级判断方法
CN115082849A (zh) 基于深度学习的模板支架安全智能监测方法
CN102313740A (zh) 太阳能电池板裂痕检测方法
CN111310899A (zh) 基于共生关系和小样本学习的电力缺陷识别方法
CN114266748B (zh) 一种轨交检修领域工艺板表面完整性判定的方法及装置
CN113643352B (zh) 一种自然覆冰在线监测运行导线图像覆冰程度评估方法
CN112818878A (zh) 一种塔式起重机裂缝识别定性方法
KR102585146B1 (ko) 딥러닝 기반의 도로손상 탐지 장치 및 방법
Elanangai et al. Automated system for defect identification and character recognition using IR images of SS-plates
Chen et al. Surface Defect Detection of Cable Based on Threshold Image Difference
CN115147367B (zh) 一种基于机器视觉的防松线检测方法
CN111223086A (zh) 一种基于深度学习的建筑裂缝识别及识别效果的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant