CN106295655A - 一种用于无人机巡检图像的输电线路部件自动提取方法 - Google Patents

Abstract

本发明公开了一种用于无人机巡检图像的输电线路部件自动提取方法，读取巡检图像数据，进行缩放处理并将彩色图像进行RGB通道数据分离、直方图统计，遍历图像，确定图像的边缘信息；对图像进行分块处理，提取图像块的特性，对相似的特征进行聚合，得到特征块；结合输电线路部件的固有属性，对特征块进行特征分析，确定每个特征块的类别属性，对输电线路上的部件进行标注。本发明对巡检获得的图像进行筛选，减轻人工筛查的负担，在巡检领域有着广阔的应用前景。

Description

一种用于无人机巡检图像的输电线路部件自动提取方法

技术领域

本发明属于输电线路设备监测技术领域，涉及数字图像处理及模式识别技术，尤其涉及一种用于无人机巡检图像的输电线路部件自动提取方法。

背景技术

随着我国国民经济的飞速发展和城市建设规模的日益扩大，对电力能源的需求随之增强。为了保证对企业、居民提供可靠性供电，要求电力公司对输电线路尤其是线路的附属设备进行定期的检查与维护，以保证整个电网的稳定供电与安全运行。由于我国地域广阔，导致输电线路传输里程大，而且途经的地理环境复杂(山区、河流、丘陵等)，输电线路的运行安全易受地理环境及气候环境的影响。

传统的人工巡检输电线路的方式及工作效率，已经无法满足现在日益增加巡检需求。人工巡检通常依靠巡检人员携带相关设备(望远镜、红外成像仪等)进行观察，容易造成遗漏，而且劳动强度大。由于输电线路所处地理环境，巡检人员的人身安全受到威胁。为了克服人工巡检的诸多缺陷，无人机被应用到输电线路的日常巡检工作中来。近几年来，国网电力研究院、巡检公司也加强了对无人机巡检输电线路的研究投入，积极推广无人机在各地市巡检公司的试点工作。

随着无人机巡检输电线路里程的增加，获得了海量的图像数据。如何处理巡检得到的图像数据，识别出图像中包含的输电线路部件，成为了目前无人机巡检输电线路应用的亟需解决的问题。现有的方法都是针对输电线路的某一部件进行识别或图像分割，例如专利CN105023014 A利用角点检测的策略实现对杆塔的定位，该方法适用于背景较为简单的杆塔巡检图像，当拍摄的背景颜色与杆塔相近或者背景复杂时(如建筑物等)，会对定位造成干扰，降低了定位的准确率；专利CN101630411 A通过计算巡检图像的像素熵值计算，实现了输电线路与背景的分割，但未实现具体部件的自动识别功能，而且该专利主要针对以天空为背景的巡检图像进行处理，不适合处理以大地为背景的无人机巡检图像；专利CN101625723 A利用改进的Hough变换提取巡检图像中的现行特征，结合模板拟合方法实现图像中导线定位。由于导线在实际中存在多种姿态，为实现导线定位需要人工设计大量的模板，工作量较大。

发明内容

本发明为了解决上述问题，提出了一种用于无人机巡检图像的输电线路部件自动提取方法，本发明利用边缘检测算法提取图像的边缘信息，然后分析检测到的边缘信息间的关系并将边缘信息进行聚合分类，确定边缘的类别信息；将图像分块，分析每个分块中的边缘特征信息，从而实现对不同部件的提取。

为了实现上述目的，本发明采用如下技术方案：

一种用于无人机巡检图像的输电线路部件自动提取方法，包括以下步骤：

(1)读取巡检图像数据，进行缩放处理并将彩色图像进行RGB通道数据分离、直方图统计；

(2)遍历图像，确定图像的边缘信息；

(3)对图像进行分块处理，提取图像块的特性，对相似的特征进行聚合，得到特征块；

(4)结合输电线路部件的固有属性，对特征块进行特征分析，确定每个特征块的类别属性，对输电线路上的部件进行标注。

所述步骤(1)中，具体过程包括图像的缩放，依据线性插值手段，对图像的长宽进行等比例缩放。

所述步骤(1)中，对图像进行RGB三通道数据信息的分离，将RGB空间信息转换到YUV颜色空间，并对图像的灰度值进行统计，对其进行量化分区。

所述步骤(2)中，采用prewitt算子进行边缘的计算。

所述步骤(2)中，具体方法为：利用像素上下、左右邻点的像素差，计算图像的边缘信息，并通过低通滤波技术抑制噪声。

所述步骤(2)中，根据图像的像素值计算前景与背景的区分阈值，根据计算得到的阈值对梯度进行二值化处理，最终输出关于梯度的二值化图。

所述步骤(3)中，将分块后的二值化图像内利用区域生长方式进行聚类分析得到多种类型的聚类块。

具体步骤包括：

(3-1)初始化所有的像素点标签为未使用；

(3-2)以第一个标签为未使用的二值像素点为锚点，扫描其八邻域内的点，将非零的、未使用的像素点聚合到此锚点下，将像素点标签设置为使用并形成数据链；

(3-3)遍历数据链下所有像素点，执行步骤(3-2)操作，直到没有新的像素点加入到队列中则停止搜索；

(3-4)遍历图像块的所有像素点，执行步骤(3-2)与步骤(3-3)；

(3-5)保存形成的数据链即特征块，经过区域生长计算后就将所有像素按照梯度值进行了聚类。

所述步骤(4)中，输电线路部件具体包括杆塔和导线，杆塔的属性是具有典型的交叉、对称结构，导线为贯通、平行的特性。

所述步骤(4)中，对图像块中的杆塔识别包括：

(4-1)根据图像块中的聚类数据，利用直线拟合算法计算每条直线的角度；

(4-2)对不同角度的直线进行统计，记录每个区间中直线的数目，并记录每条直线的起始、终结的坐标信息、角度和长度信息；

(4-3)设置长度阈值，对直线进行过滤，如果图像块中斜向上与斜向下的直线数目均大于设置阈值，或者水平和垂直方向的直线数目均大于设置阈值，将图像块标记为杆塔。对每个图像块执行上述判断，完成图像块分类。

所述步骤(4)中，对图像块中的导线识别包括：

(4-a)根据航拍距离的不同，设定不同的掩模大小和阈值，提取导线的边缘信息；

(4-b)将图像中的直线依据长度值进行排序，删除长度小于设置阈值像素的直线；

(4-c)统计每个图像块中垂直与水平边缘的数目，计算边缘的中心点坐标并保存直线的端点与中心点坐标信息。

本发明的有益效果为：

(1)本发明使用的边缘特征，为最简单的图像特征，算法实现简单、计算开销小、运行速度快、运行稳定。通过分析无人机巡检图像制定部件判断标准，提高了算法与无人机巡检图像的匹配度。利用分块分析手段，实现图像属性的快速分析，加速了部件识别的分析过程，同时本发明算法具有较高的鲁邦性，并且可以一次性实现多种部件的识别与定位。

(2)利用统一的、客观的标准实现对部件高效的自动识别、定位，在提高巡检图像处理效率的同时降低了由人工处理带来的主观性误差；可对巡检获得的图像进行筛选，减轻人工筛查的负担，在巡检领域有着广阔的应用前景。

附图说明

图1为本发明的流程示意图；

图2(a)、(b)为本发明导线、引流线识别、标注结果示意图；

图3(a)、(b)为本发明杆塔的标记结果示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，一种基于无人机巡检图像的输电线路部件自动提取方法，具体步骤包括：

1)图像读取：读取巡检图像数据，进行缩放处理并将彩色图像进行RGB通道数据分离、直方图统计等数据计算，作为后期处理的原始数据；

2)利用prewitt算子，遍历图像，计算图像的边缘信息；

3)对图像进行分块处理，分析每个图像块中图像的特性，将相似的特征进行聚合处理形成特征块；

4)根据输电线路部件固有属性，对特征块进行贯通性、平行性、交叉性等特性分析，确定每个特征块的类别属性；

5)根据特征块的类别属性，对各部件进行标注。

所述步骤1)的图像读取包括：

(a)为了加速图像的处理速度，图像的长宽进行等比例缩放。依据线性插值手段，将图像尺寸缩小的原来的四分之一；

(b)分离图像的RGB三通道数据信息(0～255)；

(c)将RGB空间信息转换到YUV颜色空间，具体转换方程如下所示：

Y＝0.299R+0.587G+0.114B

U＝-0.147R-0.289G+0.436B

V＝0.615R-0.515G-0.100B

(d)统计直方图。对图像的灰度值进行统计，并将其量化到120个区间中。

所述步骤2)边缘提取，主要采用prewitt算子进行边缘的计算。prewitt算子利用像素上下、左右邻点的灰度差，计算图像的边缘信息，并通过低通滤波技术实现对噪声的抑制。这里主要使用8个方向的prewitt算子进行计算，其中水平梯度G_x及垂直梯度G_y计算公式如所示：

$\begin{array}{cc}{G}_x=\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right]*\mathrm{Im}g& G_y=\left[\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right]*\mathrm{Im}g\end{array}$

其中Img为图像原始像素。根据图像的像素值计算前景与背景的区分阈值，根据计算得到的阈值对梯度进行二值化处理，最终输出关于梯度的二值化图。

步骤3)图像分块。图像分块的主要目的是为了便于边缘的聚类分析，将分块后的二值化图像内利用区域生长方式进行聚类分析得到多重类型的聚类块(Blob)。这里使用的区域生长策略具体为：

(1)初始化所有的像素点标签为未使用(UNUSED)；

(2)以第一个标签为未使用的二值像素点为锚点(anchor)，扫描其八邻域内的点，将

(3)非零的、未使用的像素点聚合到此锚点下，将像素点标签设置为使用(USED)并形成数据链；

(4)遍历数据链下所有像素点，执行步骤(2)操作，直到没有新的像素点加入到队列中则停止搜索；

(5)遍历图像块的所有像素点，执行步骤(2)与步骤(3)操作。

对每个图像块进行上述四个步骤的处理，并保存形成的数据链即特征块，经过区域生长计算后就将所有像素按照梯度值进行了聚类。

步骤4)根据输电线路各部件的特性，对特征块进行分类，判断特征块的类比属性。这里我们主要针对杆塔、导线、两种部件分类识别。

杆塔是具有典型的交叉、对称结构人造建筑，统计每个图下块中的直线特征，如果图像块是杆塔的一部分，在图像块中会有多条直线而且呈现出交叉的特性。对图像块中的直线统计步骤如下所示：

根据图像块中的聚类数据，利用直线拟合算法Y＝kX+b'计算每条直线的角度，拟合公式：

$k=\frac{m_i*\underset{j=1}{\overset{m_i}{\Σ}}{p}_j{q}_j-\underset{j=1}{\overset{m_i}{\Σ}}{p}_j\underset{j=1}{\overset{m_i}{\Σ}}{q}_j}{m_i*\underset{j=1}{\overset{m_i}{\Σ}}{p}_j^2-\underset{j=1}{\overset{m_i}{\Σ}}{q}_j^2}$

$b^{\′}=\frac{m_i*\underset{j=1}{\overset{m_i}{\Σ}}{p}_j^2{q}_j-\underset{j=1}{\overset{m_i}{\Σ}}{p}_j\underset{j=1}{\overset{m_i}{\Σ}}{q}_j}{m_i*\underset{j=1}{\overset{m_i}{\Σ}}{p}_j^2-\underset{j=1}{\overset{m_i}{\Σ}}{q}_j^2}$

其中：m_i为每类数据点的个数，p_j、q_j表示第j个像素点的x、y坐标。

对不同角度的直线进行统计。根据经验分析，杆塔主要有水平、斜向上，垂直、斜向下四个不同角度的倾向特性，分别是(-5°,5°)，(5°,85°)，(-∞，-85°)与(85°，+∞)，(-85°,-5°)，统计每个区间中直线的数目，并记录每条直线的起始、终结的坐标信息、角度和长度信息；

对每个图像块执行上述两个步骤操作，完成对每个图像块中直线的统计；

直线过滤。杆塔每条支撑部件满足一定的长度，经验计算得到长度阈值设为16，删除长度小于设置阈值的直线；

如果图像块中斜向上与斜向下的直线数目均大于设置阈值，或者水平和垂直方向的直线数目均大于设置阈值，将图像块标记为杆塔。对每个图像块执行上述判断，完成图像块分类。

分析无人机航拍到的图像可知如果图像中出现导线类目标，此时的导线通常呈现出贯通、平行的特性。依据导线呈现的这些特性对图像中的导线进行检测，具体步骤如下：

(i)确定导线边缘。通过航拍采集到的导线图像数据集中，根据航拍距离的不同，导线呈现出不同的宽度。为了确定导线的边缘，设定三种类型的分析模式：近距离、中距离、近距离。针对航拍模式设定不同的掩模大小MaskSize和阈值T，这里的掩模用于确定导线的边缘。对每个像素点计算掩模上端与下端的差值C并求和上端与下端像素和SUM1、SUM2，上下边缘针对像素点的梯度和为S1、S2。将差值C与阈值T进行比较，如果C<T，边缘计数器Count加1。根据SUM1，SUM2，C判断像素点的类型，判断依据及分类如下所示：

保存直线的四个端点的坐标信息，作为边缘信息。

(ii)直线过滤。将图像中的直线依据长度值进行排序，删除长度小于设置阈值像素的直线；

(iii)分类统计。统计每个图像块中垂直与水平边缘的数目，计算边缘的中心点坐标并保存直线的相关坐标信息；

经过上述三个步骤，实现了对图像中导线边缘的提取。保存五个坐标点：直线的四个短线、中心位置，完成导线的提取过程。

识别出导线跟杆塔目标后，为了方便展示要对目标进行标定。步骤4完成标定实现，导线用不同颜色的直线标记，而杆塔用多个矩形框标定杆塔的位置。具体实现如下所述：

一、导线标记

因为导线有一定的宽度，为了标记识别出的导线:

导线的四个端点A₁(x₁,y₁),A₂(x₂,y₂),A₃(x₃,y₃),A₄(x₄,y₄)。获取导线端点后，根据导线双边缘平行的特性，将端点组合成两条直线，例如A₁，A₂为一直线，A₃，A₄为一直线。

计算每个图像块中直线的斜率angle：

$angle=arctan\left(\frac{y_2-y_1}{x_2-x_1}\right)$

根据四个端点信息和斜率信息，计算四个顶点内包含的所有像素位置，并将其设为与背景颜色不同的像素值。将相邻的图像块中，斜率相同的直线连接并设为相同的像素标记值。

导线识别、标注结果如图2(a)、(b)所示，白色线条即为识别出的导线位置。

二、杆塔

在对杆塔进行标注时，选择用矩形框标注的方式实现。在杆塔识别过程中对属于杆塔类型的图像块进行了类别确定，结合类别信息，对图像块外围进行矩形框标注实现对杆塔的标记。结果如图3(a)、(b)所示，杆塔位置用黑色矩形框进行了标记。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：包括以下步骤：

(1)读取巡检图像数据，进行缩放处理并将彩色图像进行RGB通道数据分离、直方图统计；

(2)遍历图像，确定图像的边缘信息；

(3)对图像进行分块处理，提取图像块的特性，对相似的特征进行聚合，得到特征块；

(4)结合输电线路部件的固有属性，对特征块进行特征分析，确定每个特征块的类别属性，对输电线路上的部件进行标注。

2.如权利要求1所述的一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：所述步骤(1)中，具体过程包括图像的缩放，依据线性插值手段，对图像的长宽进行等比例缩放；

所述步骤(1)中，对图像进行RGB三通道数据信息的分离，将RGB空间信息转换到YUV颜色空间，并对图像的灰度值进行统计，对其进行量化分区。

3.如权利要求1所述的一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：所述步骤(2)中，采用prewitt算子进行边缘的计算。

4.如权利要求1所述的一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：所述步骤(2)中，具体方法为：利用像素上下、左右邻点的灰度差，计算图像的边缘信息，并通过低通滤波技术对噪声抑制。

5.如权利要求1所述的一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：所述步骤(2)中，根据图像的像素值计算前景与背景的区分阈值，根据计算得到的阈值对梯度进行二值化处理，最终输出关于梯度的二值化图。

6.如权利要求1所述的一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：所述步骤(3)中，将分块后的二值化图像内利用区域生长方式进行聚类分析得到多重类型的聚类块。

7.如权利要求6所述的一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：所述步骤(3)中，具体步骤包括：

(3-1)初始化所有的像素点标签为未使用；

(3-2)以第一个标签为未使用的二值像素点为锚点，扫描其八邻域内的点，将非零的、未使用的像素点聚合到此锚点下，将像素点标签设置为使用并形成数据链；

(3-3)遍历数据链下所有像素点，执行步骤(3-2)操作，直到没有新的像素点加入到队列中则停止搜索；

(3-4)遍历图像块的所有像素点，执行步骤(3-2)与步骤(3-3)；

(3-5)保存形成的数据链即特征块，经过区域生长计算后就将所有像素按照梯度值进行了聚类。

8.如权利要求1所述的一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：所述步骤(4)中，输电线路部件具体包括杆塔和导线，杆塔的属性是具有典型的交叉、对称结构，导线为贯通、平行的特性。

9.如权利要求1所述的一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：所述步骤(4)中，对图像块中的杆塔识别包括：

(4-1)根据图像块中的聚类数据，利用直线拟合算法计算每条直线的角度；

(4-2)对不同角度的直线进行统计，记录每个区间中直线的数目，并记录每条直线的起始、终结的坐标信息、角度和长度信息；

(4-3)设置长度阈值，对直线进行过滤，如果图像块中斜向上与斜向下的直线数目均大于设置阈值，或者水平和垂直方向的直线数目均大于设置阈值，将图像块标记为杆塔。对每个图像块执行上述判断，完成图像块分类。

10.如权利要求1所述的一种用于无人机巡检图像的输电线路部件自动提取方法，其特征是：所述步骤(4)中，对图像块中的导线识别包括：

(4-a)根据航拍距离的不同，设定不同的掩模大小和阈值，确定导线边缘；

(4-b)将图像中的直线依据长度值进行排序，删除长度小于设置阈值像素的直线；

(4-c)统计每个图像块中垂直与水平边缘的数目，计算边缘的中心点坐标并保存直线的端点与中心点坐标信息。