一种基于视觉的输电线路杆塔在线识别和倾斜检测方法
技术领域
本发明属于图像处理及输电线路检测领域,具体涉及一种基于LSD(Line SegmentDetector)的杆塔在线识别及倾斜检测方法。
背景技术
在电网输电线路的检修工作中,输电线路杆塔的故障分析是一个很重要的方向。杆塔作为输电线路的主要支撑,直接影响着电网安全运行。
人工巡检的方法时间成本高、所需的人力资源多、效率低风险高,已经不能满足新的巡检需求。近年来,随着无人机技术的进步,应用无人机代替人工的场合也越来越多,无人机巡检成为一种新兴的巡检方式。无人机巡检有成本低、操作简单的优点,适合用于复杂地形环境的输电线路的检修工作。
无人机巡检,是通过无人机搭载的影像设备,获取输电线路的图片、视频,再对影像资料进行分析,判断是否需要对输电线、其他元件、杆塔等进行维护与修理。将图像处理技术应用到无人机航检工作中,利用相应的图像处理算法在线的识别出杆塔并判断倾斜程度,可以大大提高巡检工作的自动化程度,提高巡检工作的效率,对整个输电线路和杆塔的故障检测具有指引和推动作用,对我国电网输电线路的巡检工作有着很重要的意义。
发明内容
针对现有技术中存在的下述技术问题:(1)利用深度学习进行杆塔的目标检测的算法需要大量有效的数据集,成本高,实时性差;(2)杆塔倾斜程度难以判别,人工测量费时费力且效率低。本发明公开的一种基于视觉的输电线路杆塔在线识别和倾斜检测方法要解决的技术问题是:在提取杆塔的线段特征后根据杆塔的结构特点识别出杆塔的外边线和杆塔区域,之后根据杆塔的外边线计算出杆塔的倾斜程度,从而显著提高无人机对输电线杆塔的识别效率并且能够实时判断杆塔的倾斜程度,排查出可能存在的安全隐患,具有实时性高、成本低、人工参与程度低的优点。
本发明通过以下的技术方案实现以上发明目的。
本发明公开的一种基于视觉的输电线路杆塔在线识别和倾斜检测方法,对无人机航拍图片进行角度校正,得到角度校正后的无人机航拍图片;对获取的图像进行预处理并利用LSD(Line Segment Detector)算法提取线段特征;将得到的图片的线段特征进行过滤,得到滤除倾斜度小于预设阈值的线段,并将过滤后的满足预设线段融合标准的断续线段融合;根据最外侧塔脚特征寻找杆塔最外侧塔脚线段,并根据塔脚在杆塔中的位置进行杆塔区域的识别与定位;所述最外侧塔脚特征指杆塔最外侧塔脚线段满足相应的两个约束条件;在得到的杆塔最外侧塔脚线段后,计算两条杆塔最外侧塔脚线段的中线与垂直方向的夹角,所述夹角即为计算的该方向杆塔的倾斜度,在杆塔周围的四个方向分别计算杆塔的倾斜度实现杆塔的倾斜检测。
本发明公开的一种基于视觉的输电线路杆塔在线识别和倾斜检测方法,包括如下步骤:
步骤一:对无人机航拍图片进行角度校正,得到角度校正后的无人机航拍图片。
电力巡检无人机在进行电力巡检时搭载有高清摄像机和倾角传感器。无人机拍摄过程中由于无人机并未处于悬停状态或由于相机抖动致使拍摄的图片与水平方向存在偏差,所述偏差对后续杆塔的识别和倾斜检测造成不利影响。
因此需将无人机的航拍图片进行角度矫正,将获取到的当前图片的无人机倾角传感器的参数同时作为输入,计算无人机拍摄时相机水平方向的倾角。将无人机拍摄图片反方向旋转相同角度,得到角度校正后的无人机航拍图片。
步骤二:对获取的图像进行预处理并利用LSD(Line Segment Detector)算法提取线段特征。
将采集的图像进行灰度化处理,为避免LSD线段检测算法提取得到的线段不完整,因此将灰度化后的图像进行灰度增强。之后利用LSD直线检测算法进行线段提取,得到图片的线段特征。
步骤三:将步骤二得到的图片的线段特征进行过滤,得到滤除倾斜度小于预设阈值的线段,并将过滤后的满足预设线段融合标准的断续线段融合。
为了得到识别杆塔区域,需要识别出杆塔的两条塔脚外边线,因此首先过滤除倾斜度小于预设阈值的线段,所述倾斜度小于预设阈值的线段包括输电线、房顶轮廓线。并将过滤后的满足预设线段融合标准的断续线段融合。
步骤三中将过滤后的满足预设线段融合标准的断续线段融合实现方法为:首先根据过滤后线段的倾斜度将线段分组,分组数量为n,每组线段根据相邻两条线段的自身长度和距离以及两线段之间的相差角度来判断是否进行融合,将两线段中点距离和两线段角度差均小于相应阈值的线段进行融合,即
定义一条线段长度
同组的另一条线段长度为
两线段中点距离:
则如果l
i,j≤4max(l
i,l
j)且
则将i,j两条线段融合为一条线段,否则仍然保留为两条线段。
步骤四:根据最外侧塔脚特征寻找杆塔最外侧塔脚线段,并根据塔脚在杆塔中的位置进行杆塔区域的识别与定位;所述最外侧塔脚特征指杆塔最外侧塔脚线段满足相应的两个约束条件。
将步骤三中n组融合后的线段中每组最长的线段作为目标线段,提取至少四条最长的线段,根据最外侧塔脚特征寻找杆塔最外侧塔脚线段,所述最外侧塔脚特征指杆塔最外侧塔脚线段满足相应的两个约束条件:
约束条件一、如果得到的四条线段中只有斜率为正或斜率为负的图像则认为图像中没有杆塔。
约束条件二、将得到的四条线段按照斜率为正和斜率为负进行分组,两组线段相互比较。若第一条线段和第二条线段的中点距离小于两条线中最长的线段的长度并且两条线段角度的绝对值的差小于预设角度,则认为是杆塔的两条外轮廓线。若找不到所述两条线则同样认为图片中不存在杆塔。
当目标线段满足上述杆塔最外侧塔脚线段相应的两个约束条件,则判断目标线段为杆塔最外侧塔脚线段。
找到最外侧塔脚线段后,由于杆塔外轮廓中的所述两条线的高度仅占杆塔总高度的三分之二,因此将找到最外侧塔脚线段x轴方向的最大值和最小值以及y轴方向的最大值和最小值并拉长三分之一作为杆塔的主轮廓,所述杆塔的主轮廓即为杆塔的Boundingbox,即完成杆塔的识别与定位。
步骤五:在得到步骤四的杆塔最外侧塔脚线段后,计算两条杆塔最外侧塔脚线段的中线与垂直方向的夹角,所述夹角即为计算的该方向杆塔的倾斜度,在杆塔周围的四个方向分别计算杆塔的倾斜度实现杆塔的倾斜检测。
无人机在完成步骤四后沿杆塔绕飞一周,在以杆塔为圆心,相对起始绕飞位置0°、90°、180°、270°的时刻拍摄杆塔的图片,分别在0°、90°、180°、270°进行步骤一至步骤四,即分别得到0°、90°、180°、270°的杆塔最外侧塔脚线段。
将步骤三得到的两条塔脚主边线作为基准,计算两条杆塔最外侧塔脚线段的中线与垂直方向的夹角,所述夹角即计算该方向杆塔的倾斜度。将四个方向的倾斜角度都进行计算,若都小于预设倾斜角度,则判断杆塔没有倾斜,反之,判断杆塔发生倾斜。
有益效果:
1.本发明公开的一种基于视觉的输电线路杆塔在线识别和倾斜检测方法,基于线段特征的目标检测方法,在对杆塔进行目标检测时能够避免利用复杂神经网络的训练步骤,且效果不受训练样本数量和质量的限制,泛用程度高,且实时性强,可以适用于多种电力巡检环境。
2.本发明公开的一种基于视觉的输电线路杆塔在线识别和倾斜检测方法,利用计算机视觉进行杆塔倾斜检测,相比于在杆塔上敷设传感器等方法显著节约成本,并且利用无人机巡检效率高,实时性高。根据杆塔结构设计的无人机拍摄点能够对杆塔进行全方位的倾斜检测,避免单一维度下杆塔倾斜的漏检,并且相较于三维重建实时性更强,结果更可靠。
3.本发明公开的一种基于视觉的输电线路杆塔在线识别和倾斜检测方法,硬件设备较少,无需采购与深度学习相关的服务器,杆塔上不需架设任何传感器,节约人力,因此,具有成本低、人工参与程度低的优点。
4.本发明公开的一种基于视觉的输电线路杆塔在线识别和倾斜检测方法,能够显著提高无人机对输电线杆塔的识别效率并且能够实时判断杆塔的倾斜程度,排查出可能存在的安全隐患,为杆塔的维护保障提供支撑。
附图说明
图1是本发明的一种基于视觉的输电线路杆塔在线识别和倾斜检测方法流程示意图;
图2是LSD(Line Segment Detector)提取线段的结果,其中:图2a为干字型杆塔,红色线段为LSD提取的线段;图2b为猫头鹰型杆塔,红色线段为LSD提取的线段。
图3是不同类型杆塔与背景图片下的杆塔识别与定位的Bounding box;
图4是杆塔倾斜检测结果为:0.294729°。
具体实施方式
现在结合附图对本发明进行进一步详细的说明,具体实施方式如下。
如图1所示,本实施例公开的一种基于视觉的输电线路杆塔在线识别和倾斜检测方法,具体实现步骤如下:
步骤一:对无人机航拍图片进行角度校正,得到角度校正后的无人机航拍图片;
输入无人机在获取图片时倾角传感器的水平倾角θ,将获取的图片利用
步骤二:对校正图片后的图片预处理得到边缘信息增强后的图片并对预处理后并利用LSD(Line Segment Detector)算法提取线段特征
首先将图片进行灰度化处理,对RGB彩色图像的R、G、B分量进行加权平均,算法如下:
I(x,y)=0.2987R(x,y)+0.5870G(x,y)+0.1140B(x,y)
其中I(x,y)为灰度图片(x,y)处灰度值,R(x,y)为原始图像(x,y)处红色通道像素值,G(x,y)为原始图像(x,y)处绿色通道像素值,B(x,y)为原始图像(x,y)蓝色通道像素值。
为了增强图像的边缘信息,利用Laplace增强算子法进行图像增强,相应公式为:
g(x,y)=f(x,y)-▽2f(x,y)=5f(x,y)-f(x+1,y)-f(x-1,y)-f(x,y+1)-f(x,y-1)
其中g(x,y)为增强后(x,y)点灰度值,f(x,y)为原始图像(x,y)点灰度值,▽2f(x,y)为(x,y)点灰度值的二阶偏导数。
利用Opencv3中封装的LSD(Line Segment Detector)线段提取方法提取步骤二增强后图片的线段信息。得到的n条线段信息为(xi1,yi1),(xi2,yi2),i∈[0,n-1],如图2所示。
步骤三:将步骤二得到的图片的线段特征进行过滤,得到滤除倾斜度小于预设阈值的线段,并将过滤后的满足预设线段融合标准的断续线段融合。
计算每条线段的倾角:
之后过滤掉倾角绝对值在(0°,45°)的线段,保留其余的线段。
将过滤后得到的线段按照倾斜角度分为25组,每相差3.6°为一组,将绝对值在45°到90°的线段分为25组后,设置相应线段融合的
距离阈值:
定义一条线段长度,同组的另一条线段长度为
两线段中点距离:
则如果l
i,j≤4max(l
i,l
j)且
则将i,j两条线段融合为一条线段,否则仍然保留为两条线段。
步骤四:根据最外侧塔脚特征寻找杆塔最外侧塔脚线段,并根据塔脚在杆塔中的位置进行杆塔区域的识别与定位;所述最外侧塔脚特征指杆塔最外侧塔脚线段满足相应的两个约束条件。
计算每组融合后线段的长度,提取每组线段最长的线段,选择最长的四根线作为杆塔塔脚的后选线段,然后进行杆塔区域的识别与定位步骤及以下三步:
1.计算四条线段的斜率,如果得到的4条线段中只有斜率为正或斜率为负的图像则认为图像中没有杆塔。
2.将四条线段按照斜率为正和斜率为负进行分组,两组线段相互比较。假如第一条线段和第二条线段的中点距离小于两条线中最长的线段的长度并且两条线段角度的绝对值的差小于10°即:
lmin<max(l1,l2)且||θ1|-|θ2||<10
则判断是杆塔的两条塔脚外线,如有一组若找不到这样的两条线则同样认为图片中不存在杆塔,如果两组都满足该条件,则另长度更长的一组线段作为杆塔的塔脚外边线
3.由于杆塔外轮廓中的这两条线的高度仅占杆塔总高度的三分之二,因此将将找到这两条线x轴方向的最大值和最小值以及y方向的最大值和最小值并拉长三分之一作为杆塔的主轮廓,生成Bounding box,如图3所示。
步骤五:在得到步骤四的杆塔最外侧塔脚线段后,计算两条杆塔最外侧塔脚线段的中线与垂直方向的夹角,所述夹角即计算该方向杆塔的倾斜度,在杆塔周围的四个方向分别计算杆塔的倾斜度实现杆塔的倾斜检测。
在上一步得到Bounding box后,无人机识别出杆塔,绕塔飞行,在以杆塔为圆心,相对起始绕飞位置0°、90°、180°、270°的时刻拍摄杆塔的图片,分别在0°、90°、180°、270°进行步骤一至步骤四,即分别得到0°、90°、180°、270°的杆塔最外侧塔脚线段,并进行以下步骤进行杆塔倾斜检测。
1.将两条杆塔最外侧塔脚线段向上延长至交点(x3,y3)。
2.在较短的边线的中点做x轴平行线交另一条线上的一点,取两点的中点为(x4,y4)。
4.判断杆塔四个方向上的倾斜角如图4所示,如果都小于5°,则杆塔未发生倾斜,否则杆塔发生倾斜。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。