CN107704844B - 基于无人机双目视差图像的输电线路覆冰厚度辨识方法 - Google Patents

基于无人机双目视差图像的输电线路覆冰厚度辨识方法 Download PDF

Info

Publication number
CN107704844B
CN107704844B CN201711013098.4A CN201711013098A CN107704844B CN 107704844 B CN107704844 B CN 107704844B CN 201711013098 A CN201711013098 A CN 201711013098A CN 107704844 B CN107704844 B CN 107704844B
Authority
CN
China
Prior art keywords
image
transmission line
value
icing
power transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711013098.4A
Other languages
English (en)
Other versions
CN107704844A (zh
Inventor
周封
任贵新
郝婷
崔博闻
胡海涛
李隆
王晨光
刘健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201711013098.4A priority Critical patent/CN107704844B/zh
Publication of CN107704844A publication Critical patent/CN107704844A/zh
Application granted granted Critical
Publication of CN107704844B publication Critical patent/CN107704844B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0616Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating
    • G01B11/0683Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating measurement during deposition or removal of the layer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了基于无人机双目视差图像的输电线路覆冰厚度辨识方法,属于图片处理技术领域。包括相关信息采集,覆冰图像获取,求取视差图,视差图预处理,图像二值化,轮廓提取,覆冰厚度计算等步骤。本发明通过对视差图像进行处理提取覆冰轮廓,利用距离信息分离前景与背景,分离效果好。根据视差图像相邻区间灰度值相似的特点对视差图像进行预处理,使图像灰度层次分布更加均匀。提出二值化阈值计算方法,自动确定二值化阈值,方法适应性强。通过计算固定列区间范围内覆冰导线轮廓所包含像素数量与未覆冰导线轮廓所包含像素数量的比值来计算覆冰厚度,减小了因覆冰形状变化而产生较大测量误差的可能,方法适应性强,精确度高。

Description

基于无人机双目视差图像的输电线路覆冰厚度辨识方法
技术领域
本发明专利涉及图片处理技术领域,尤其涉及一种基于无人机双目视差图像的输电线路覆冰厚度辨识方法。
背景技术
近年来,因为输电线路覆冰导致的电力线路故障事件频繁发生,因覆冰造成的输电线闪络、断线、绝缘子损坏、倒塔和导线脱冰舞动等事故严重危害电力系统运行,造成了巨大的经济损失。因此,对输电线路进行实时在线监测,及时发现故障,及时预防和治理有着重大的意义。
目前,输电线路检测多为人工巡检,但人工巡检需要极大的人员投入,成本高,且对于一些交通不便的山区,人工巡检具有一定的难度且效率较低。由于无人机具有体积小、操作简单、反应迅速、成本低且不受地形环境限制等优点,其已经逐渐被应用于电力线路巡检当中,根据无人机拍摄的相关输电线路视频图像判断线路状况是未来输电线路巡检的发展趋势。
采用基于智能视频的输电线路在线监测技术能够实时监测输电线路覆冰状况,通过对无人机拍摄的输电线路相关视频图像进行智能处理,分析输电线路覆冰厚度,具有实时性强、精确度高且不受地形限制等优点。目前国内关于此方面的专利十分稀少,中国专利“一种基于图像的输电线覆冰状态检测方法”(申请号:201010145761.8)提出通过图像处理技术识别输电线线体轮廓,直接计算覆冰与未覆冰的输电线平均径向厚度之差来测量输电线覆冰厚度的方法,计算简单,精确度高。但该方法只考虑了均匀覆冰的情况,难以对不均匀覆冰厚度实现较为精确的检测。此外,在图像处理过程中,没有考虑不同背景对图像处理的影响,实际图像处理过程容易受复杂环境因素的影响出现计算上的错误,而且二值化阈值为人为设定,难以针对不同环境下的覆冰输电线图像实现智能化处理。
发明内容
为了克服现有技术的不足,本发明提出一种基于无人机双目视差图像的输电线路覆冰厚度辨识方法,利用视差图中的距离信息分离前景和背景,可以方便的去除背景景物。提出一种二值化阈值计算方法,适应性强,二值化效果好。提出通过固定长度的覆冰输电线轮廓所包含像素数量与未覆冰时输电线轮廓所包含像素数量的比值来计算覆冰厚度的方法,可以同时计算规则覆冰与不规则覆冰输电线的覆冰厚度,精确度高。
本发明的基于无人机双目视差图像的输电线路覆冰厚度辨识方法,包括以下步骤:
步骤1:事先采集并记录摄像头与不同类型输电线在不同距离下所拍摄的未覆冰输电线路图像中输电线部分单位像素长度的平均像素宽度p;
步骤2:利用无人机巡检输电线路,由无人机自带的GPS模块定位系统自动导航,并通过无人机上的双目摄像头采集覆冰输电线路的左右视图图像;
步骤3:分别对左右视图图像进行灰度化处理、畸变矫正和双目校正处理、均值滤波处理,然后通过立体匹配算法获得覆冰输电线路的视差图像;
步骤4:根据提出的视差图像预处理方法对视差图进行预处理;
步骤5:根据提出的二值化阈值计算方法计算二值化分割阈值,对预处理后的视差图像进行二值化,将覆冰输电线轮廓以二值图的形式显示;
步骤6:根据提出的基于分水岭算法和数学形态学相结合的轮廓提取方法对二值图像进行处理,提取覆冰输电线轮廓;
步骤7:根据固定长度的覆冰输电线轮廓所包含像素数量与未覆冰时输电线轮廓所包含像素数量的比值计算覆冰厚度。
所述的步骤2中通过无人机机载双目摄像头采集输电线路覆冰图像,其中摄像头可以采用长焦双目摄像头,并将其固定在可360度旋转的云台上,由无人机上的控制模块根据GPS模块得到的无人机所处空间位置信息和该路段输电线路的空间位置信息,计算并控制无人机上的云台带动摄像头转动,保证拍摄时摄像机光心的轴线方向垂直于输电线路方向进行拍摄,并使输电线尽量处于摄像头的拍摄中心。
采用长焦双目摄像头可以拉近摄像头与输电线路之间的距离,增大输电线在所拍摄图像中所占比例,有助于提高计算精度。控制模块根据GPS模块得到的无人机的空间位置信息和该路段输电线路的空间位置信息控制云台转动,调整摄像头角度在适当位置拍摄,能够在一定程度上保证所拍摄的输电线在图像中处于水平方向且位于图像中间范围,便于后续图像处理。
所述的步骤4中的视差图预处理方法,具体包括以下步骤:
步骤A:用k*k大小的模板遍历视差图中每个像素,统计模板中心像素与周围像素之间灰度值之差的绝对值大于阈值P的像素个数a和灰度值之差的绝对值小于阈值P的像素个数b,并记录模板中心像素与周围像素之间灰度值之差的绝对值大于阈值P的像素的灰度值之和m和灰度值之差的绝对值小于阈值P的像素的灰度值之和n;
步骤B:判断a与b的大小,规定当a大于等于b时,对m除以a的值四舍五入取整后替代模板中心像素灰度值,否则模板中心像素灰度值保持不变。
因为光照影响、图像纹理相似度高等原因,在图像立体匹配的过程中会产生少量误匹配,这在视差图中表现为误匹配像素点与周围像素点灰度值相差较大。对视差图进行预处理可以减小相邻区域像素的灰度值之间的差值,达到消除误匹配所产生的噪声点的目的,使图像灰度分布层次更加分明,便于后续处理。
所述的步骤5中的二值化阈值计算方法,具体包括以下步骤:
步骤A:统计视差图中每个灰度值所包含像素点数量,并将对应灰度值所包含像素点数量按照一一对应的顺序放入和灰度值区间同样大小的数组a[256]中;
步骤B:从灰度值0即数组元素a[0]开始,每间隔5个灰度值为一个区间,计算每个灰度区间所包含像素数量的平均值uk
Figure 711239DEST_PATH_IMAGE001
其中nk为灰度值k包含的像素数量,对应数组元素a[k]的值;
步骤C:将每个uk分别与设定值N比较,记录满足如下要求的uk的下标k的值:uk值小于设定值N且其相邻两个灰度值区间的uk-5或uk+5中至少有一个大于设定值N;
其中设定值N要小于目标物体所在灰度区间的像素数量均值且大于误匹配像素所在灰度区间的像素数量均值,其取值区间非常广,可以根据经验设定;
步骤D:将记录的k值按照从小到大的顺序排列,选取倒数第2、3个k值k2、k3,计算二值化阈值T:
Figure 628379DEST_PATH_IMAGE002
步骤E:设定多个不同的阈值N,按照步骤ABC分别求取不同阈值N下的二值化阈值T;
步骤F:根据无人机自带的光敏传感器传回的当时拍照的光照强度和通过GPS定位获得的无人机位置信息计算出的无人机与输电线路之间的欧式距离等数据,设定二值化阈值上限G1和二值化阈值下限G2,通过阈值判断去除超限的阈值T;
步骤G:设定最大阈值之差G3,求取剩余阈值T的均值
Figure DEST_PATH_IMAGE003
,分别计算剩余阈值T与剩余阈值均值
Figure 597997DEST_PATH_IMAGE004
的差的绝对值,去除超过最大阈值之差G3的阈值T,最后求取符合条件的阈值T的均值作为二值化的阈值。
该方法可以根据视差图不同的灰度层次分布确定二值化阈值,避免了人工设定阈值的局限性,有利于实现图像智能化处理,同时对计算出来的二值化阈值还有一个自动判断排除和修正过程,大大增强了二值化阈值计算的适应性和抗干扰能力。
所述的步骤6中的轮廓提取方法,具体包括以下步骤:
步骤A:用边长为a的正方形模板对二值化后的图像进行膨胀操作,然后反转图像灰度值,将其作为分割区域的界限图像;
步骤B:备份步骤A处理过的图像,用边长2*a的正方形模板对备份图像进行腐蚀操作,将腐蚀后的目标图像的灰度值转换为h(灰度值h大于0小于255均可)作为种子区域;
步骤C:将步骤AB分别处理后的两张图像进行灰度值相加运算得到新图像,作为分水岭的标记图;
步骤D:利用标记图像,基于分水岭原理中的浸水模拟方式对二值化后的视差图进行分割,提取联通的覆冰输电线轮廓。
基于分水岭算法原理结合数学形态学进行轮廓提取的方法,能够去除体积较大的噪声点,同时获得联通的覆冰输电线轮廓,去噪能力强,处理结果为单个联通的覆冰轮廓,为后续处理提供方便。
所述的步骤7中的覆冰厚度计算方法,具体包括以下步骤:
步骤A:遍历覆冰轮廓图像,获取覆冰轮廓像素点在图像中的列区间范围a-b;
步骤B:从a-b之间截取一个小区间e-f,遍历e-f覆冰轮廓区间,计算该区间覆冰轮廓所包含像素数量,并根据计算出的无人机与输电线路之间的欧式距离和所拍摄路段输电线类型确定未覆冰输电线图像中输电线部分单位像素长度的平均像素宽度p,计算未覆冰时e-f区间所包含像素数量为(f-e)*p;
步骤C:根据在较短区间内图像中的导线直径近似相等的特点,求取e-f区间覆冰轮廓所包含像素数量与未覆冰时输电线轮廓所包含像素数量的比值k,然后根据输电线实际直径d计算实际覆冰厚度h:
Figure DEST_PATH_IMAGE005
步骤D:在a-b区间范围内均匀截取多个小区间,按照步骤BC分别求取各个区间的覆冰厚度h,然后求取各个覆冰厚度的均值作为输电线实际覆冰厚度。
利用覆冰轮廓图像中相同列区间范围内覆冰轮廓包含像素数量与未覆冰轮廓包含像素数量的比值求取实际覆冰厚度,能够同时计算规则覆冰或不规则覆冰的覆冰厚度,精确度较高。此外,将覆冰轮廓分为多个小区间,通过求取各个小区间的覆冰厚度的均值作为实际覆冰厚度,可以减小测量误差,增强该方法的抗干扰能力。
与现有技术相比较,本发明具有如下优点:
1.采用智能图像处理技术对无人机采集的相关输电线路覆冰图像进行处理分析,方法简单,操作方便,且成本较低,大大增强了输电线路覆冰在线监测的效率。
2.采用长焦双目摄像头可以拉近摄像头与输电线路之间的距离,增大输电线在所拍摄图像中所占比例,有助于提高计算精度。控制模块根据GPS模块得到的无人机的空间位置信息和该路段输电线路的空间位置信息控制云台转动,调整摄像头角度在适当位置拍摄,能够在一定程度上保证所拍摄的输电线在图像中处于水平方向且位于图像中间范围,便于后续图像处理。
3.对视差图进行处理分析,将所拍摄物体与双目摄像头的距离信息作为前景与背景的分割界限,有利于从复杂背景中提取目标。
4.根据视差图特征提出一种视差图预处理方法,能够大量去除误匹配产生的噪声点,使图像灰度分布层次更加分明,更加便于后续处理。
5.提出一种二值化阈值计算方法,适应性和抗干扰能力较强,避免了人工设定阈值的局限性,有利于实现图像智能化处理。
6.基于分水岭算法原理结合数学形态学进行轮廓提取,能够去除体积较大的噪声点,同时提取联通的覆冰输电线轮廓,去噪能力强,处理结果为单个联通的覆冰轮廓,为后续处理提供方便。
7.利用覆冰轮廓图像中相同列区间范围内覆冰轮廓包含像素数量与未覆冰轮廓包含像素数量的比值求取实际覆冰厚度,能够同时计算规则覆冰或不规则覆冰的覆冰厚度,精确度较高。此外,将覆冰轮廓分为多个小区间,通过求取各个小区间的覆冰厚度的均值作为实际覆冰厚度,可以减小测量误差,增强该方法的抗干扰能力。
附图说明
图1:基于无人机双目视差图像的输电线路覆冰厚度辨识方法流程图。
图2:输电线规则覆冰左右视图图像。
图3:畸变矫正及双目校正后的规则覆冰左右视图图像。
图4:未经过均值滤波处理的规则覆冰的视差图像。
图5:经过均值滤波处理的规则覆冰的视差图像。
图6:规则覆冰视差图经过预处理后的图像。
图7:不同二值化阈值下的规则覆冰视差图的二值化图像。
图8:经过膨胀处理的规则覆冰的二值化图像。
图9:经过腐蚀处理的规则覆冰的二值化图像。
图10:规则覆冰输电线图像的分水岭标记图。
图11:规则覆冰输电线的轮廓图。
具体实施方式
下面结合附图对本发明作进一步详细的说明:
本发明基于无人机双目视差图像的输电线路覆冰厚度辨识方法,方法流程如图1所示,具体按以下步骤实施:
事先采集并记录摄像头与不同类型输电线在不同距离下所拍摄的未覆冰输电线路图像中输电线部分单位像素长度的平均像素宽度p。
利用无人机巡检输电线路,由无人机自带的GPS模块定位系统自动导航,并通过无人机上装设的长焦双目摄像头采集覆冰输电线路的左右视图图像。其中长焦双目摄像头被固定在可360度旋转的云台上,由无人机上的控制模块根据GPS模块得到的无人机所处空间位置信息和该路段输电线路的空间位置信息,计算并控制无人机上的云台带动摄像头转动,保证拍摄时摄像机光心的轴线方向垂直于输电线路方向进行拍摄,并使输电线尽量处于摄像头的拍摄中心。
注意采集图像时无人机在输电线路上方或侧面,以地面为背景进行拍摄,避免以纹理特征相似度较小的天空作为背景,规则覆冰输电线路图像如图2所示。
对规则覆冰输电线路图像进行灰度化、畸变矫正及双目校正处理,结果如图3所示,由图中可以看出,经过畸变矫正后的图像在视觉上显得更加匀称,很大程度上消除了拍摄过程中产生的几何畸变,双目校正后左右摄像头拍摄的左右视图图像中的同一物体基本处于同一条水平直线上。
然后以5*5边长的模板对矫正后的图像进行均值滤波处理,并应用基于灰度相关的立体匹配方法求取规则覆冰输电线路图像的视差图像,结果如图5所示。其中图4为未经过均值滤波处理所求得的视差图像,经过对比可以看出,经过均值滤波处理后所得的视差图像噪声明显减少,目标轮廓细节更加完整,颜色层次更加鲜明。
接着对视差图像进行预处理,具体包括以下步骤:
步骤A:用5*5大小的模板遍历视差图中每个像素,统计模板中心像素与周围像素之间灰度值之差的绝对值大于阈值30的像素个数a和灰度值之差的绝对值小于阈值30的像素个数b,并记录模板中心像素与周围像素之间灰度值之差的绝对值大于阈值30的像素的灰度值之和m和灰度值之差的绝对值小于阈值30的像素的灰度值之和n;
步骤B:判断a与b的大小,规定当a大于等于b时,对m除以a的值四舍五入取整后替代模板中心像素灰度值,否则模板中心像素灰度值保持不变。
预处理后的视差图像如图6所示,通过与原视差图像的对比可以看出经过预处理后的图像灰度分布层次更加鲜明,消除了大量误匹配点。
然后计算视差图像二值化的阈值,具体包括以下步骤:
步骤A:统计视差图中每个灰度值所包含像素点数量,并将对应灰度值所包含像素点数量按照一一对应的顺序放入和灰度值区间同样大小的数组a[256]中;
步骤B:从灰度值0即数组元素a[0]开始,每间隔5个灰度值为一个区间,计算每个灰度区间所包含像素数量的平均值uk
Figure 930889DEST_PATH_IMAGE001
其中nk为灰度值k包含的像素数量,对应数组元素a[k]的值;
步骤C:将每个uk分别与设定值N比较,记录满足如下要求的uk的下标k的值:uk值小于设定值N且其相邻两个灰度值区间的uk-5或uk+5中至少有一个大于设定值N;
其中设定值N要小于目标物体所在灰度区间的像素数量均值且大于误匹配像素所在灰度区间的像素数量均值,其取值区间非常广,可以根据经验设定;
步骤D:将记录的k值按照从小到大的顺序排列,选取倒数第2、3个k值k2、k3,计算二值化阈值T:
Figure 745262DEST_PATH_IMAGE002
步骤E:设定多个不同的阈值N,按照步骤ABC分别求取不同阈值N下的二值化阈值T;
步骤F:根据无人机自带的光敏传感器传回的当时拍照的光照强度和通过GPS定位获得的无人机位置信息计算出的无人机与输电线路之间的欧式距离等数据,设定二值化阈值上限G1和二值化阈值下限G2,通过阈值判断去除超限的阈值T;
步骤G:设定最大阈值之差G3,求取剩余阈值T的均值UT,分别计算剩余阈值T与剩余阈值均值UT的差的绝对值,去除超过最大阈值之差G3的阈值T,最后求取符合条件的阈值T的均值作为二值化的阈值。
如下表1是在不同设定值N下求得的阈值T:
表1 不同设定值下的二值化阈值
Figure 754675DEST_PATH_IMAGE007
由表1可以看出,所求二值化阈值在150左右,没有太大或太小的阈值存在,均在所允许限值之内。分别做出阈值为70、90、220、230时的二值化图像如图7所示,由图中可以看出,不考虑噪声影响,阈值为70时,存在大量背景轮廓,阈值为90时,非目标轮廓基本被去除,阈值从90到220,目标轮廓几乎没有减少,阈值为230时,目标轮廓特征大量减少。因此,应选取的二值化阈值在90-220之间,所以通过该方法计算所得的二值化阈值都能够满足要求,较好的实现图像二值化。
再对二值图像进行轮廓提取,具体包括以下步骤:
步骤A:用边长为13的正方形模板对二值化后的图像进行膨胀操作,然后反转图像灰度值,将其作为分割区域的界限图像;
步骤B:备份步骤A处理过的图像,用边长2*13的正方形模板对备份图像进行腐蚀操作,将腐蚀后的目标图像的灰度值转换为128作为种子区域;
步骤C:将步骤AB分别处理后的两张图像进行灰度值相加运算得到新图像,作为分水岭的标记图;
步骤D:利用标记图像,基于分水岭原理中的浸水模拟方式对二值化后的视差图进行分割,提取联通的覆冰输电线轮廓。
上述步骤A、B、C、D所得的膨胀处理后图像、腐蚀处理后图像、分水岭标记图像和覆冰输电线轮廓图像分别如图8、图9、图10、图11所示。由图中可以看出,经过膨胀处理,消除了目标图像中的孔洞,使覆冰轮廓图像成为一个整体,且膨胀后的轮廓要完全包含实际轮廓,能够作为分割区域的界限图像。腐蚀后的图像去除掉所有的噪声元素,只剩下部分覆冰轮廓图像作为种子区域。分水岭标记图像包含两部分,一部分为灰度值是128的种子区域,一部分为灰度值是0的界限区域,种子区域完全包含于膨胀后的目标轮廓区域。覆冰输电线轮廓图像是一个完整的联通区域,并且很好的贴合了实际覆冰轮廓。
最后计算覆冰厚度,具体包括以下步骤:
步骤A:遍历覆冰轮廓图像,获取覆冰轮廓像素点在图像中的列区间范围196-634;
步骤B:从196-634之间截取一个小区间196-296,遍历196-296覆冰轮廓区间,计算该区间覆冰轮廓所包含像素数量为4672,并根据计算出的无人机与输电线路之间的欧式距离和所拍摄路段输电线类型确定未覆冰输电线图像中输电线部分单位像素长度的平均像素宽度4.17,计算未覆冰时196-296区间所包含像素数量为417;
步骤C:根据在较短区间内图像中的导线直径近似相等的特点,求取196-296区间覆冰轮廓所包含像素数量与未覆冰时输电线轮廓所包含像素数量的比值11.2,然后根据输电线实际直径2.5mm计算实际覆冰厚度h:
Figure DEST_PATH_IMAGE009
步骤D:在196-634区间范围内均匀截取多个小区间196-296、296-396、396-496、496-596,按照步骤BC分别求取各个区间的覆冰厚度为12.75、13.01、11.96、12.52,然后求取各个覆冰厚度的均值12.56作为输电线实际覆冰厚度。
以上所述仅为本发明的较佳实施实例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.基于无人机双目视差图像的输电线路覆冰厚度辨识方法,其特征在于,所述方法包括以下步骤:
步骤1:事先采集并记录摄像头与不同类型输电线在不同距离下所拍摄的未覆冰输电线路图像中输电线部分单位像素长度的平均像素宽度p;
步骤2:利用无人机巡检输电线路,由无人机自带的GPS模块定位系统自动导航,并通过无人机上的双目摄像头采集覆冰输电线路的左右视图图像;
步骤3:分别对左右视图图像进行灰度化处理、畸变矫正和双目校正处理、均值滤波处理,然后通过立体匹配算法获得覆冰输电线路的视差图像;
步骤4:根据提出的视差图像预处理方法对视差图进行预处理;
步骤5:根据提出的二值化阈值计算方法计算二值化分割阈值,对预处理后的视差图像进行二值化,将覆冰输电线轮廓以二值图的形式显示;
步骤6:根据提出的基于分水岭算法和数学形态学相结合的轮廓提取方法对二值图像进行处理,提取覆冰输电线轮廓;
步骤7:根据固定长度的覆冰输电线轮廓所包含像素数量与未覆冰时输电线轮廓所包含像素数量的比值计算覆冰厚度;
所述的步骤5中的二值化阈值计算方法,具体包括以下步骤:
步骤A:统计视差图中每个灰度值所包含像素点数量,并将对应灰度值所包含像素点数量按照一一对应的顺序放入和灰度值区间同样大小的数组a[256]中;
步骤B:从灰度值0即数组元素a[0]开始,每间隔5个灰度值为一个区间,计算每个灰度区间所包含像素数量的平均值uk
Figure FDA0002805384320000011
其中nk为灰度值k包含的像素数量,对应数组元素a[k]的值;
步骤C:将每个uk分别与设定值N比较,记录满足如下要求的uk的下标k的值:uk值小于设定值N且其相邻两个灰度值区间的Nk-5或Nk+5中至少有一个大于设定值N;
其中设定值N要小于目标物体所在灰度区间的像素数量均值且大于误匹配像素所在灰度区间的像素数量均值,其取值区间非常广,可以根据经验设定;
步骤D:将记录的k值按照从小到大的顺序排列,选取倒数第2、3个k值k2、k3,计算二值化阈值T:
T=(k2+k3)/2
步骤E:设定多个不同的阈值N,按照步骤ABC分别求取不同阈值N下的二值化阈值T;
步骤F:根据无人机自带的光敏传感器传回的当时拍照的光照强度和通过GPS定位获得的无人机位置信息计算出的无人机与输电线路之间的欧式距离等数据,设定二值化阈值上限G1和二值化阈值下限G2,通过阈值判断去除超限的阈值T;
步骤G:设定最大阈值之差G3,求取剩余阈值T的均值UT,分别计算剩余阈值T与剩余阈值均值UT的差的绝对值,去除超过最大阈值之差G3的阈值T,最后求取符合条件的阈值T的均值作为二值化的阈值。
2.根据权利要求1所述的基于无人机双目视差图像的输电线路覆冰厚度辨识方法,其特征在于,所述的步骤2中通过无人机机载双目摄像头采集输电线路覆冰图像,其中摄像头可以采用长焦双目摄像头,并将其固定在可360度旋转的云台上,由无人机上的控制模块根据GPS模块得到的无人机所处空间位置信息和该路段输电线路的空间位置信息,计算并控制无人机上的云台带动摄像头转动,保证拍摄时摄像机光心的轴线方向垂直于输电线路方向进行拍摄,并使输电线尽量处于摄像头的拍摄中心。
3.根据权利要求1所述的基于无人机双目视差图像的输电线路覆冰厚度辨识方法,其特征在于,所述的步骤4中的视差图预处理方法,具体包括以下步骤:
步骤A:用k*k大小的模板遍历视差图中每个像素,统计模板中心像素与周围像素之间灰度值之差的绝对值大于阈值P的像素个数a和灰度值之差的绝对值小于阈值P的像素个数b,并记录模板中心像素与周围像素之间灰度值之差的绝对值大于阈值P的像素的灰度值之和m和灰度值之差的绝对值小于阈值P的像素的灰度值之和n;
步骤B:判断a与b的大小,规定当a大于等于b时,对m除以a的值四舍五入取整后替代模板中心像素灰度值,否则模板中心像素灰度值保持不变。
4.根据权利要求1所述的基于无人机双目视差图像的输电线路覆冰厚度辨识方法,其特征在于,所述的步骤6中的轮廓提取方法,具体包括以下步骤:
步骤A:用边长为a的正方形模板对二值化后的图像进行膨胀操作,然后反转图像灰度值,将其作为分割区域的界限图像;
步骤B:备份步骤A处理过的图像,用边长2*a的正方形模板对备份图像进行腐蚀操作,将腐蚀后的目标图像的灰度值转换为h(灰度值h大于0小于255均可)作为种子区域;
步骤C:将步骤AB分别处理后的两张图像进行灰度值相加运算得到新图像,作为分水岭的标记图;
步骤D:利用标记图像,基于分水岭原理中的浸水模拟方式对二值化后的视差图进行分割,提取联通的覆冰输电线轮廓。
5.根据权利要求1所述的基于无人机双目视差图像的输电线路覆冰厚度辨识方法,其特征在于,所述的步骤7中的覆冰厚度计算方法,具体包括以下步骤:
步骤A:遍历覆冰轮廓图像,获取覆冰轮廓像素点在图像中的列区间范围a-b;
步骤B:从a-b之间截取一个小区间e-f,遍历e-f覆冰轮廓区间,计算该区间覆冰轮廓所包含像素数量,并根据计算出的无人机与输电线路之间的欧式距离和所拍摄路段输电线类型确定未覆冰输电线图像中输电线部分单位像素长度的平均像素宽度p,计算未覆冰时e-f区间所包含像素数量为(f-e)*p;
步骤C:根据在较短区间内图像中的导线直径近似相等的特点,求取e-f区间覆冰轮廓所包含像素数量与未覆冰时输电线轮廓所包含像素数量的比值k,然后根据输电线实际直径d计算实际覆冰厚度h:
Figure FDA0002805384320000031
步骤D:在a-b区间范围内均匀截取多个小区间,按照步骤BC分别求取各个区间的覆冰厚度h,然后求取各个覆冰厚度的均值作为输电线实际覆冰厚度。
CN201711013098.4A 2017-10-25 2017-10-25 基于无人机双目视差图像的输电线路覆冰厚度辨识方法 Expired - Fee Related CN107704844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711013098.4A CN107704844B (zh) 2017-10-25 2017-10-25 基于无人机双目视差图像的输电线路覆冰厚度辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711013098.4A CN107704844B (zh) 2017-10-25 2017-10-25 基于无人机双目视差图像的输电线路覆冰厚度辨识方法

Publications (2)

Publication Number Publication Date
CN107704844A CN107704844A (zh) 2018-02-16
CN107704844B true CN107704844B (zh) 2021-04-30

Family

ID=61182982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711013098.4A Expired - Fee Related CN107704844B (zh) 2017-10-25 2017-10-25 基于无人机双目视差图像的输电线路覆冰厚度辨识方法

Country Status (1)

Country Link
CN (1) CN107704844B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108592818B (zh) * 2018-05-02 2020-08-28 国网河南省电力公司电力科学研究院 一种覆冰测量装置及测量方法
CN109240291B (zh) * 2018-09-05 2022-04-15 顺德职业技术学院 一种基于远程控制的机器人运动线路规划方法及系统
CN109447946B (zh) * 2018-09-26 2021-09-07 中睿通信规划设计有限公司 一种架空通信光缆异常检测方法
CN109297978B (zh) * 2018-11-12 2020-10-27 西安交通大学 基于双目成像的电力线路无人机巡检及缺陷智能诊断系统
CN109297419A (zh) * 2018-11-13 2019-02-01 天津送变电工程有限公司 一种基于图像处理技术的无人机在覆冰检测系统及其工作方法
CN109631774A (zh) * 2018-12-12 2019-04-16 云南电网有限责任公司带电作业分公司 一种无人机双目视觉线路覆冰测量系统
CN110111327A (zh) * 2019-05-17 2019-08-09 上海道口材料科技有限公司 一种面向绿色资产评估的数字图像清洗方法
CN110375662A (zh) * 2019-08-06 2019-10-25 石家庄铁道大学 基于机器视觉的混凝土布料机布料厚度测量装置及方法
CN110702015B (zh) * 2019-09-26 2021-09-03 中国南方电网有限责任公司超高压输电公司曲靖局 输电线路覆冰厚度测量方法及装置
CN110853089A (zh) * 2019-09-30 2020-02-28 安徽南瑞继远电网技术有限公司 一种基于多因素的模拟导线覆冰厚度算法
CN111174697A (zh) * 2019-12-13 2020-05-19 中国南方电网有限责任公司超高压输电公司柳州局 基于无人机的立体视觉影像精确测量方法
CN111062933A (zh) * 2019-12-24 2020-04-24 广西大学 一种基于视场自适应调节的输电线路覆冰图像检测方法
CN111079852B (zh) * 2019-12-27 2023-04-11 国网福建省电力有限公司宁德供电公司 一种输电线路绝缘子覆冰厚度侦测方法
CN111469778A (zh) * 2020-04-23 2020-07-31 福建农林大学 一种基于双目摄影测量及组合定位的道路巡检装置
CN111964865B (zh) * 2020-08-12 2021-04-27 中国商用飞机有限责任公司 用于飞机冰风洞试验的砂纸冰型粗糙度的计算方法
CN112418002B (zh) * 2020-11-05 2023-10-24 中国航空工业集团公司西安飞行自动控制研究所 一种无人机识别己方机场的方法
CN112419389B (zh) * 2020-11-25 2024-01-23 中科融合感知智能研究院(苏州工业园区)有限公司 一种实现双目增量视差匹配算法的方法及装置
CN113744267B (zh) * 2021-11-04 2022-02-15 智洋创新科技股份有限公司 一种基于深度学习的输电导线覆冰检测和厚度估计的方法
CN114659453A (zh) * 2022-03-25 2022-06-24 广东精达里亚特种漆包线有限公司 一种漆包线漆膜厚度检测方法及系统
CN115063402B (zh) * 2022-07-26 2022-10-25 国网山东省电力公司东营供电公司 基于滑动分析的电缆异物检测方法、系统、终端及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103047938A (zh) * 2013-01-05 2013-04-17 山西省电力公司大同供电分公司 输电线路覆冰厚度检测方法及检测装置
CN103400379A (zh) * 2013-07-25 2013-11-20 江西省电力公司检修分公司 一种基于图像的覆冰检测和厚度估计方法
CN103442209A (zh) * 2013-08-20 2013-12-11 北京工业大学 一种输电线路的视频监控方法
CN103528534A (zh) * 2013-10-25 2014-01-22 江西省电力公司检修分公司 一种基于图像监测的输电线路覆冰厚度检测方法
CN104568003A (zh) * 2014-12-29 2015-04-29 国家电网公司 一种输电线路覆冰过程的远程监测系统及方法
CN103090831B (zh) * 2013-01-22 2016-01-13 湖北省电力公司电力科学研究院 覆冰区域输电线路覆冰厚度的判断方法
CN106407994A (zh) * 2016-09-29 2017-02-15 武汉大学 一种利用Hough变换与函数拟合的导线覆冰厚度图像识别方法
CN106595500A (zh) * 2016-11-21 2017-04-26 云南电网有限责任公司电力科学研究院 基于无人机双目视觉的输电线路覆冰厚度测量方法
CN106657882A (zh) * 2016-10-18 2017-05-10 国网湖北省电力公司检修公司 基于无人机的输变电系统实时监控方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103047938A (zh) * 2013-01-05 2013-04-17 山西省电力公司大同供电分公司 输电线路覆冰厚度检测方法及检测装置
CN103090831B (zh) * 2013-01-22 2016-01-13 湖北省电力公司电力科学研究院 覆冰区域输电线路覆冰厚度的判断方法
CN103400379A (zh) * 2013-07-25 2013-11-20 江西省电力公司检修分公司 一种基于图像的覆冰检测和厚度估计方法
CN103442209A (zh) * 2013-08-20 2013-12-11 北京工业大学 一种输电线路的视频监控方法
CN103528534A (zh) * 2013-10-25 2014-01-22 江西省电力公司检修分公司 一种基于图像监测的输电线路覆冰厚度检测方法
CN104568003A (zh) * 2014-12-29 2015-04-29 国家电网公司 一种输电线路覆冰过程的远程监测系统及方法
CN106407994A (zh) * 2016-09-29 2017-02-15 武汉大学 一种利用Hough变换与函数拟合的导线覆冰厚度图像识别方法
CN106657882A (zh) * 2016-10-18 2017-05-10 国网湖北省电力公司检修公司 基于无人机的输变电系统实时监控方法
CN106595500A (zh) * 2016-11-21 2017-04-26 云南电网有限责任公司电力科学研究院 基于无人机双目视觉的输电线路覆冰厚度测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An Image Recognition Algorithm Based On Thickness Of Ice Cover Of Transmission Line;Jiazheng Lu 等;《2011 IEEE》;20111231;正文第1-4页 *
Measurement of Ice Thickness based on Binocular Vision Camera;Yi Ma 等;《2017IEEE》;20170809;第162-166页 *
基于双目的输电线路覆冰厚度检测系统的研究;陈嘉玲;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20130315;正文第20-42页,第53页 *

Also Published As

Publication number Publication date
CN107704844A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
CN107704844B (zh) 基于无人机双目视差图像的输电线路覆冰厚度辨识方法
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN109472776B (zh) 一种基于深度显著性的绝缘子检测及自爆识别方法
CN108416784B (zh) 城市建成区边界快速提取方法、装置及终端设备
CN107742307A (zh) 基于改进帧差法的输电线路舞动特征提取及参数分析方法
CN116665080B (zh) 基于目标识别的无人机劣化绝缘子检测方法及系统
CN110046584B (zh) 一种基于无人机巡检的道路裂纹检测装置及检测方法
CN113971768A (zh) 一种基于无人机的输电线路违章建筑三维动态检测方法
CN108198417A (zh) 一种基于无人机的道路巡检系统
CN111339989A (zh) 一种水体提取方法、装置、设备及存储介质
CN108510544B (zh) 一种基于特征聚类的光条定位方法
CN111008967B (zh) 一种绝缘子rtv涂层缺陷识别方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN111127381B (zh) 一种受电弓滑板不平行检测方法
CN111062933A (zh) 一种基于视场自适应调节的输电线路覆冰图像检测方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN116883446B (zh) 一种车载摄像头镜片碾磨程度实时监测系统
CN116758425A (zh) 一种大基地光伏电站自动验收方法和装置
CN116757949A (zh) 一种大气-海洋散射环境退化图像复原方法及系统
CN108335321B (zh) 基于多角度照片的地表砾石尺度信息自动提取方法
CN112396572B (zh) 基于特征增强和高斯金字塔的复合绝缘子双光融合方法
CN113033355B (zh) 一种基于密集输电通道的异常目标识别方法和装置
CN111079852B (zh) 一种输电线路绝缘子覆冰厚度侦测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210430

Termination date: 20211025

CF01 Termination of patent right due to non-payment of annual fee