CN104867134B - 一种用于无人机巡检输电线路杆塔的识别方法 - Google Patents

Abstract

本发明公开了一种用于无人机巡检输电线路杆塔的识别方法，包括：采集待检测输电线路的图像；利用LSD算法提取所述输电线路图像中的直线图像，将最终得到的直线存储在Line中，并记录每条直线的起始点；统计直线数量及直线长度，根据直线长度对直线图像进行过滤；对过滤后的直线图像进行分块；统计待检测的输电线路图像中所有杆塔块的数量，根据所述杆塔块的数量以及杆塔块的分布区域，判断杆塔图像中是否含有杆塔。本发明有益效果：输电线路杆塔的快速识别技术可以有效实现对巡检图像中的杆塔定位，为后续缺陷诊断提供基础。这一技术也可对巡检获得的图像进行筛选，减轻人工筛查的负担，有着广阔的应用前景。

Description

一种用于无人机巡检输电线路杆塔的识别方法

技术领域

本发明涉及数字图像处理及模式识别技术在输电线路设备监测技术领域，尤其涉及一种高效的用于无人机巡检的输电线路杆塔识别方法。

背景技术

杆塔是架空输电线路中的重要组成部分，其作用是支撑架空线路导线和架空地线，并使导线与导线之间，导线和架空地线之间，导线与杆塔之间，以及导线对大地和交叉跨越物之间有足够的安全距离。架空输电线路杆塔外形主要取决于电压等级、线路回数、地形、地质情况及使用条件等。对于架空输电线路巡检图像的处理，目标图像的提取与识别是一项关键技术。由于背景的复杂性及其变化的多样性，使得目标图像和背景图像之间的差异很小，所以，目标图像的提取与背景的去除是巡检图像处理中的一个瓶颈问题。

目前，基于航拍图像的输电线路状态检测技术尚出于起步阶段。图像处理技术在电力巡检中的应用历史还很短，研究成果较少，大部分研究主要集中在图像采集的稳定性和图像质量的改善上，涉及输电线路设备的识别与定位以及状态检测方面的研究很少。现有的对于架空输电线路塔杆的图像识别方法可通过Harris角点检测和角点密度聚类实现杆塔的图像定位，但这种方法识别效率较低，定位效果较差，无法用于实际的应用中。

发明内容

本发明的目的就是为了解决上述问题，提出了一种用于无人机巡检的输电线路杆塔识别方法，该方法可以有效实现对巡检图像中的杆塔定位，为后续缺陷诊断提供基础。

为了实现上述目的，本发明采用如下技术方案：

一种用于无人机巡检输电线路杆塔的识别方法，包括以下步骤：

(1)采集待检测输电线路的图像；

(2)利用LSD算法提取所述输电线路图像中的直线图像，将最终得到的直线存储在Line中，并记录每条直线的起始点；

(3)统计直线数量及直线长度，根据直线长度对直线图像进行过滤；

(4)对过滤后的直线图像进行分块；

(5)在每一个分块内，按照直线角度的不同将所述分块内的所有直线分成n份，计算每一份内所含直线的数量P(j)，j＝1,…,n；并统计P(j)>0的份数数量q，若P(j)>p_thr并且q>q_thr，则确定该分块为杆塔块；其中，p_thr为每一份内直线数量的阈值，q_thr为份数数量的阈值；

(6)统计待检测的输电线路图像中所有杆塔块的数量tow_num，根据所述杆塔块的数量tow_num以及杆塔块的分布区域，判断杆塔图像中是否含有杆塔。

所述步骤(2)中，利用LSD算法提取所述输电线路图像中的直线图像的具体方法包括：

1)尺度缩放:

为了消除锯齿效应，用高斯下采样的方式对输入图像进行如下尺度缩放：

其中，x,y为对应的像素坐标，σ为高斯函数的方差；

2)梯度和方向计算：

计算输入图像中每一个像素点的梯度值以及梯度方向；

3)梯度阈值的选取：

选取像素点的梯度阈值ρ，当像素点的梯度值小于阈值ρ时，在直线或者矩形区域增长时，抛弃该像素点；ρ＝q/sinι，其中，q为梯度量化噪声的最大值，ι为角度公差的容忍度；

4)梯度伪排序：

根据梯度值对所有像素点进行伪排序，建立状态列表，将所有像素点设置为UNUSED；将梯度值划分为m个分类bin，将所有像素点根据其对应的梯度幅值分类到m个分类bin当中；

5)直线或者矩形区域增长：

将梯度值小于阈值_ρ的像素点在状态列表中的相应位置设置为USED，在种子点的八邻域内搜索，选取角度与区域的方向角绝对差值小于角度公差容忍度并且状态为UNUSED的点增加到候选区域中，每次增加一个点，区域的方向角会更新，由此形成直线候选区域；

直线或者矩形勾勒：将直线候选区域中一系列相邻的离散点包含在一个矩形框R内，上述加入到直线候选区域中的点为类内点，矩形框R选择能包含直线候选区域的最小矩形，所有点的规范化后的梯度值平均计算重心；将矩形框R长轴的方向设置为矩形框R的方向；

6)获得直线候选区域。

所述步骤2)中，计算每一个像素点的梯度值以及梯度方向的具体方法为：

规范化后的梯度

梯度方向的计算：

其中，g_x(x,y)、g_y(x,y)分别为x，y方向的梯度值，i(x,y)为对应(x，y)处的灰度值。

所述步骤6)中，获得直线候选区域的具体方法为：

取出状态列表中梯度值最大的点作为种子点seed，并将该点在状态列表中设为USED；

a)以seed为起点，搜索周围UNUSED并且梯度方向在阈值[-τ,τ]范围内的点，并将该点状态改为USED；

b)生成包含所有标记为USED点的像素点的矩形框R；

c)判断同性点密度d是否满足阈值D，所述密度d＝k/n，若d≤D，则截断R变为多个矩形框，直至满足d>D；所述同性点是指与矩形框R的主方向在容忍度τ下方向相同的像素；其中，n是矩形框R内所有像素数，k是矩形内的所有同性点的数目；

d)计算假警报的数目NFA；

e)改变R使NFA的值更小直至NFA≤ε，将R加入输出列表。

所述步骤d中，计算假警报的数目NFA的方法具体为：

NFA(γ)＝(NM)^5/2γ·B(n,k,p)

其中，N和M是采样过后图像的列和行，B(n,k,p)是一个二项分布，n是矩形框R内所有像素数，即n为R的length*width，k是矩形内的所有同性点的数目；p设为τ/π。

所述步骤(3)中，直线长度的计算方法为：

其中，i为1到L_sum，L_sum为直线的数量，ptstart(i)、ptend(i)分别为直线的起始点，x、y分别为对应的图像的横坐标和纵坐标。

所述步骤(3)中，根据直线长度对直线图像进行筛选的方法为：

设直线的长度为length，去除小于MIN_LEN，大于MAX_LEN的直线，MAX_LEN、MIN_LEN分别为直线的最大与最小长度阈值。

所述步骤(6)中，所述杆塔图像判定条件为：

杆塔块tow_num多于tow_thr个，其中tow_thr为设定值；并且杆塔区域图像为连续的杆塔块，即没有孤立的杆塔块。

本发明的有益效果是：

输电线路杆塔的快速识别技术可以有效实现对巡检图像中的杆塔定位，为后续缺陷诊断提供基础。这一技术也可以有效实现对无人机巡检实时视频中杆塔的快速定位，通过相应的视觉伺服技术可以快速实现对云台的调整，进而实现高清相机对杆塔细节的拍摄，为研究基于高清图像的杆塔缺陷提供基础。同时，这一技术也可对巡检获得的图像进行筛选，减轻人工筛查的负担，有着广阔的应用前景。

附图说明

图1为本发明输电线路杆塔识别方法流程图；

图2为无人机拍摄的输电线路的灰度图像；

图3为通过LSD算法后提取的直线图像；

图4为经过长度过滤后的直线图像；

图5为对过滤后的直线图像进行分块示意图；

图6为经过本发明实现的提取杆塔的图像(杆塔区域为白色框内)。

具体实施方式

下面结合附图与具体实施例对本发明做进一步限定。

一种高效的用于无人机巡检输电线路杆塔的识别方法，如图1所示，包括以下步骤：

1、LSD算法实现对直线的检测步骤：

(1)尺度缩放:

为了消除锯齿效应，用高斯下采样的方式对输入图像进行操作，其中尺度s＝0.8，∑＝0.6，σ＝∑/s。

其中x、y分别为对应的像素坐标，σ为高斯函数的方差。

(2)梯度和方向计算：

计算每一个像素点的梯度值以及梯度方向，梯度计算采用2*2的模板。

规范化后的梯度：

梯度方向的计算：

(3)梯度阈值的选取

当像素点的梯度幅值小于阈值ρ时，在直线区域增长时，将抛弃该像素点。

ρ＝q/sinι，其中，q为梯度量化噪声的最大值，一般设置q＝2。ι为角度公差的容忍度，在区域增长算法中，当像素点的水平角与区域角度误差大于阈值ι时，将放弃该像素点，ι一般取22.5°

(4)梯度伪排序

根据梯度值对所有点进行伪排序，建立状态列表，所有点设置为UNUSED。

(5)直线(矩形)区域增长

将梯度方向与区域方向角度的绝对差值小于ρ点的状态表中相应位置设置为USED；

由种子点搜索角度满足并且状态为UNUSED的点(八邻域)形成的区域称为直线候选区域。邻域内在角度承受范围τ内满足整个区域的方向角的点加入到这个区域。每增加一个点，区域的方向角就会更新。

直线(矩形)勾勒：将直线候选区域一系列相邻的离散点包含在一个矩形框内R内，上一步所选择的点即为类内点(aligned point)，显然，矩形框内还很有可能包含很多上一步没有选择近直线候选区域的外点(outline point)。R选择能包含直线候选区域的最小矩形，所有点的梯度规范化值平均计算重心。矩形框R长轴的方向设置为R的方向。

(6)直线候选区域

取出列表中梯度最大(伪排列的首位)的点作为种子点(seed)，状态列表中设为USED。

a.以seed为起点，搜索周围UNUSED并且方向在阈值[-τ,τ]范围内的点，状态改为USED。

b.生成包含所有满足点的矩形R。

c.判断同性点(aligned pt)密度是否满足阈值D，若不满足，截断R变为多个矩形框，直至满足。

d.计算NFA。

e.改变R使NFA的值更小直至NFA<＝ε，R加入输出列表。

对于NFA(the number of false alarms)计算，使用如下公式计算：

NFA(γ)＝(NM)^5/2γ·B(n,k,p)

其中，N和M是采样过后图像的列和行，B(n,k,p)是一个二项分布，n是矩形内所有像素数，k是矩形内的所有p-aligned point数。此处的p-aligned point是指和矩形的主方向在容忍度τ下方向相同的像素，p一般设为τ/π,如果NFA(γ)≤ε，那么可以认为结果有效。

距离d＝k/n。k为类内点个数，n为R的length*width。若d>D，接收当前的。否则，需要将R截断。在这里设置D＝0.7。

最终得到的直线在存储在Line中，并记录每条直线的起始点(ptstart和ptend)

图2为无人机拍摄的输电线路的灰度图像；图3为通过LSD算法后提取的直线图像。

2、直线的筛选与分类

(1)统计计算直线的数量与长度

遍历检测出的直线，统计总的直线数量，记为Lsum，每条直线的长度，直线长度的计算根据公式

其中，i为1到L_sum，ptstart(i),ptend(i)分别为直线的起始点。

(2)根据直线长度、角度进行过滤

根据直线的长度length，去除小于MIN_LEN，大于MAX_LEN的直线。

图4为经过长度过滤后的直线图像。

3、图像的分块与杆塔区域判断

(1)图像分块

把图像平均水平方向分M块，垂直方向分为N块，一般设置M＝8，N＝6

图5为对过滤后的直线图像进行分块。

(2)统计块内不同方向的直线

由于直线的角度为0-180度，把其平均分6份，分别为0-30，30-60，60-90，90-120，120-150，150-180，计算每份内直线的数量P(j)，j为1-6。为简化运算，对于有的直线跨越两个或多个分块区域，只记录起始点所在的块号。

(3)统计非零P(j)的数量q

(4)确定杆塔块

P(j)>p_thr并且q>q_thr，则确定为杆塔块，并统计杆塔块的数量tow_num

4、判定图像中是否含有杆塔

杆塔图像判定条件：

1、杆塔块tow_num多于tow_thr个，tow_thr一般取4。

2、杆塔区域为连续的杆塔块，即没有孤立的块。

图6为经过本专利实现的提取杆塔的图像(杆塔区域为白色框内)。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种用于无人机巡检输电线路杆塔的识别方法，包括以下步骤：

(1)采集待检测输电线路的图像；

(2)利用LSD算法提取所述输电线路图像中的直线图像，将最终得到的直线存储在Line中，并记录每条直线的起始点；

(3)统计直线数量及直线长度，根据直线长度对直线图像进行过滤；

根据直线长度对直线图像进行过滤的方法为：

设直线的长度为length，去除小于MIN_LEN，大于MAX_LEN的直线，MAX_LEN、MIN_LEN分别为直线的最大与最小长度阈值；

(4)对过滤后的直线图像进行分块；

(5)在每一个分块内，按照直线角度的不同将所述分块内的所有直线分成n份，计算每一份内所含直线的数量P(j)，j＝1,…,n；并统计P(j)>0的份数数量q，若P(j)>p_thr并且q>q_thr，则确定该分块为杆塔块；其中，p_thr为每一份内直线数量的阈值，q_thr为份数数量的阈值；

(6)统计待检测的输电线路图像中所有杆塔块的数量tow_num，根据所述杆塔块的数量tow_num以及杆塔块的分布区域，判断杆塔图像中是否含有杆塔；

具体为：如果杆塔块tow_num多于tow_thr个，其中tow_thr为设定值；并且杆塔区域图像为连续的杆塔块，即没有孤立的杆塔块，则判断杆塔图像中含有杆塔。

2.如权利要求1所述的一种用于无人机巡检输电线路杆塔的识别方法，其特征是，所述步骤(2)中，利用LSD算法提取所述输电线路图像中的直线图像的具体方法包括：

1)尺度缩放:

为了消除锯齿效应，用高斯下采样的方式对输入图像进行如下尺度缩放：

其中，x,y为对应的像素坐标，σ为高斯函数的方差；

2)梯度和方向计算：

计算输入图像中每一个像素点的梯度值以及梯度方向；

3)梯度阈值的选取：

选取像素点的梯度阈值ρ，当像素点的梯度值小于阈值ρ时，在直线或者矩形区域增长时，抛弃该像素点；ρ＝q/sinι，其中，q为梯度量化噪声的最大值，ι为角度公差的容忍度；

4)梯度伪排序：

根据梯度值对所有像素点进行伪排序，建立状态列表，将所有像素点设置为UNUSED；将梯度值划分为m个分类bin，将所有像素点根据其对应的梯度幅值分类到m个分类bin当中；

5)直线或者矩形区域增长：

将梯度值小于阈值ρ的像素点在状态列表中的相应位置设置为USED，在种子点的八邻域内搜索，选取角度与区域的方向角绝对差值小于角度公差容忍度并且状态为UNUSED的点增加到候选区域中，每次增加一个点，区域的方向角会更新，由此形成直线候选区域；

直线或者矩形勾勒：将直线候选区域中一系列相邻的离散点包含在一个矩形框R内，上述加入到直线候选区域中的点为类内点，矩形框R选择能包含直线候选区域的最小矩形，所有点的规范化后的梯度值平均计算重心；将矩形框R长轴的方向设置为矩形框R的方向；

6)获得直线候选区域。

3.如权利要求2所述的一种用于无人机巡检输电线路杆塔的识别方法，其特征是，所述步骤2)中，计算每一个像素点的梯度值以及梯度方向的具体方法为：

规范化后的梯度

梯度方向的计算：

其中，g_x(x,y)、g_y(x,y)分别为x，y方向的梯度值，i(x,y)为对应(x，y)处的灰度值。

4.如权利要求2所述的一种用于无人机巡检输电线路杆塔的识别方法，其特征是，所述步骤6)中，获得直线候选区域的具体方法为：

取出状态列表中梯度值最大的点作为种子点seed，并将该点在状态列表中设为USED；

a)以seed为起点，搜索周围UNUSED并且梯度方向在阈值[-τ,τ]范围内的点，并将该点状态改为USED；

b)生成包含所有标记为USED点的像素点的矩形框R；

c)判断同性点密度d是否满足阈值D，所述密度d＝k/n，若d≤D，则截断R变为多个矩形框，直至满足d>D；所述同性点是指与矩形框R的主方向在容忍度τ下方向相同的像素；其中，n是矩形框R内所有像素数，k是矩形内的所有同性点的数目；

d)计算假警报的数目NFA；

e)改变R使NFA的值更小直至NFA≤ε，将R加入输出列表。

5.如权利要求4所述的一种用于无人机巡检输电线路杆塔的识别方法，其特征是，所述步骤d中，计算假警报的数目NFA的方法具体为：

NFA(γ)＝(NM)^5/2γ·B(n,k,p)

其中，N和M是采样过后图像的列和行，B(n,k,p)是一个二项分布，n是矩形框R内所有像素数，即n为R的length*width，k是矩形内的所有同性点的数目；p设为τ/π。

6.如权利要求1所述的一种用于无人机巡检输电线路杆塔的识别方法，其特征是，所述步骤(3)中，直线长度的计算方法为：

其中，i为1到L_sum，L_sum为直线的数量，ptstart(i)、ptend(i)分别为直线的起始点，x、y分别为对应的图像的横坐标和纵坐标。