CN109300118A - 一种基于rgb图像的高压电力线路无人机巡检方法 - Google Patents

Abstract

本发明的一种基于RGB图像的高压电力线路无人机巡检方法，包括利用无人机搭载的单目视觉测量设备获取架空线及其周围环境信息的视频图像；将电力线看成电力线物体，分析其物理结构特征，提出线边缘配对原则；利用RGB三通道信息互补特性对传统的LSD算法进行改进，提取图像中的线段，使用线边缘配对原则将电力线边缘线进行配对；考虑电力线在RGB图像中的颜色特性，使用此特性和根据Hough变换的规则来验证电力线物体。本发明采用无人机巡检，不受地形、环境、状态等因素的影响，可实时监测电力线分布情况及周围环境，利用电力线提取技术对电力线排布情况等问题进行定量分析，具有巡检效率高、通用性强、实时性好的特点。

Description

一种基于RGB图像的高压电力线路无人机巡检方法

技术领域

本发明属于数字图像处理与电力线路自动巡检领域，涉及一种基于RGB图像的高压电力线路无人机巡检方法。

背景技术

随着近年来我国经济的飞速发展，对电力能源的需求越来越旺盛，为了满足这种需求，长距离、超高电压、大容量输电线路大幅扩建。一方面，随着电力线的大量建设，覆盖面越来越宽广，线路走廊需要穿越多种复杂的地理环境，如大面积水库、湖泊和崇山峻岭等，这就给线路的维护造成很多的困难；另一方面，电力线所在的环境随着时间和地区的变化也会发生不同的变化。整个电力线体系复杂程度高，随着社会和经济的发展，其对能源安全的要求会越来越高，突发性的大规模输电故障将会导致不可估量的经济损失，影响社会的稳定，所以对电力线路进行巡检，及时发现设备缺陷和危机线路安全的隐患是电力系统维护工作的重要组成部分。

输配电电路是电力系统的重要组成部分，由于架空输电线路的覆盖区域广，穿越的地形复杂多样，线路基础、杆塔、电力金具、绝缘子、导地线等长期暴露在自然环境中，极易受到外界的影响和损害。目前的架空线事故主要包括雷击事故、大风事故、外力破坏事故、线路过载或接触不良引起的断线事故以及设备老化等导致的事故。

目前，传统的输电线路的巡检主要采用两种算方法，即人工法和载人直升机航测法。我国的电力线路的巡检工作主要由人工完成，人工巡检采用攀爬电力线杆塔的方式，存在极大的安全隐患。人工巡检受到地理环境和人体体能的限制，导致巡检效率低，实时性差，很难满足现在电力巡检的要求。此外，人工电力线巡检方式往往通过肉眼观测，使用经验判断线路是否故障，也容易造成失误，准确性不高。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于RGB图像的高压电力线路无人机巡检方法，以改善电力线巡检方式，提高电力线识别的准确度和巡检的效率。

本发明提供一种基于RGB图像的高压电力线路无人机巡检方法，包括如下步骤；

步骤1：利用无人机搭载的单目视觉测量设备获取架空线及其周围环境信息的视频图像；

步骤2：将电力线看成电力线物体，分析其物理结构特征，提出线边缘配对原则；

步骤3：利用RGB三通道信息互补特性对传统的LSD算法进行改进，提取图像中的线段；使用线边缘配对原则将电力线边缘线进行配对，同时滤除外界环境的干扰；

步骤4：考虑电力线在RGB图像中的颜色特性，使用此特性和根据霍夫变换的规则来验证电力线物体。

在本发明的基于RGB图像的高压电力线路无人机巡检方法中，所述步骤1中的单目视觉测量设备为高精度RGB视频图像采集设备。

在本发明的基于RGB图像的高压电力线路无人机巡检方法中，所述步骤1中无人机搭载单目视觉测量设备进行电力巡检时，无人机根据GPS导航自动飞行，飞至电力线附近切换为图像识别引导，使无人机在与电力线平行的路线上，并在电力线上方进行直线匀速飞行。

在本发明的基于RGB图像的高压电力线路无人机巡检方法中，所述步骤2中电力线物体的物理模型为：电力线具有两个平行的边缘线，并且两个边缘线具有足够的覆盖距离，同时两条边缘线之间间距足够小。

在本发明的基于RGB图像的高压电力线路无人机巡检方法中，所述步骤2中所述线边缘配对原则为：

原则1：两个边缘线的平行特性通过它们延长线之间的夹角来估计；给定一条线段L：P_start→P_end，其两个端点在坐标轴上的坐标为P_start＝(x_start,y_start)和P_end＝(x_end,y_end)；此线段的延长线l可以表示为：

ax+by+c＝0 (1)

其中，三个参数a、b、c可以通过两个端点计算出来：

假设一条电力线的两个边缘线为L_i:P_istart→P_iend和L_j:P_jstart→P_jend，在坐标轴中，其延长线可以表示为：

使用几何知识，两条边缘线的夹角可以等效于其延长线的夹角，经过计算可以得到其夹角：

一条电力线的两条边缘线的夹角应小于设定的夹角阈值θ，可以通过夹角阈值来对识别出来的线段进行滤波；

原则2：在线方向上的覆盖距离可以简化为两条边缘线在电力线主方向上的共有距离，线方向简化为水平或垂直，通过参数β来确定电力线的方向：

其中，β_i与β_j分别是线段L_i、L_j与水平方向的夹角，如果β大于π/4，线方向定义为水平方向，在图像中为x轴方向；否则定义为垂直方向，在图像中为y轴方向；

对于在图像中识别出来的任一线段，将其两个端点中在线方向上具有较大值的坐标值记为C_max，较小的记为C_min；对于电力线的两条边缘线L_i和L_j，它们共有的距离C_c和总距离C_t定义为：

将覆盖距离定义为共有的距离C_c与总距离C_t的比值：

此比值的正负取决于两条边缘线在线方向上是否具有覆盖距离，较大的正值代表线方向上的重叠区域较大；对于电力线来说，两条边缘线的覆盖距离应为正值且大于覆盖距离阈值r；

原则3：两条线段的间距定义在次坐标轴上，假设两条线段分别为L_i和L_j，总共有四个端点，在线方向即主坐标轴方向上，取和c₁和c₂在两条线段延长线l_i和l_j上次坐标轴的值计算为s₁、s′₁、s₂和s′₂。对于c₁，其在两条延长线上的间距为g₁＝|s₁-s′₁|，同样地，对于c₂，其在两条延长线上的间距为g₂＝|s₂-s′₂|；因此，将两条线段之间的间距定义为：

一条电力线的两条边缘线之间的间距应小于设定间距阈值g，可以通过间距的阈值来对识别出来的线段进行滤波；

原则4：对于任一线段L_i，长度可定义为：

考虑到电力线在图像中的实际情况，识别出来的电力线边缘线长度lh_i应大于长度阈值lh。

在本发明的基于RGB图像的高压电力线路无人机巡检方法中，所述步骤3具体为：

图像预处理程序对视频图像采集设备采集到的视频图像序列取帧，对当前帧图像进行预处理，包括图像灰度化处理和图像去噪操作；传统的LSD算法需要先将RGB图像转换为灰度图像，此转换通过R、G和B三个通道的强度分量加权融合，会导致一些互补的边缘信息消失，因此灰度图像可能会抑制RGB图像的线段检测，导致误报和漏报的增加；

为了充分利用RGB彩色图像三个通道信息的互补性，对LSD算法提出改进，将传统的灰度图像输入改进为R、G、B和灰度四个通道图像输入，将LSD算法中水平线角的计算改进为：

其中，和分别为某个像素点上的梯度的水平分量和垂直分量；将改进后的LSD算法与步骤2中提出的四个原则进行结合，实现RGB图像中电力线边缘线的提取和配对。

在本发明的基于RGB图像的高压电力线路无人机巡检方法中，所述步骤4具体为：

每个物体在颜色分布上都具有独一无二性，电力线物体也是如此；同一条电力线的区域内的像素通常是单色光的特性，对于电力线图像来说，同一条电力线内的像素应具有相同的颜色特性，彩色光特性或单色光特性，基于此特性，线区域可以分类为单色或彩色模型，用以促使一整条电力线的连接；

彩色或单色特性在HSV颜色模型中非常清晰，V和S用以区分彩色和单色模型之间的颜色属性；V和S可以计算为：

其中，R、G和B是像素的强度；

根据步骤3中配对后的线段，每对线段中端点的连线形成一个四边形区域，当做潜在的电力线区域R，对于每个区域R，计算区域内的HSV颜色模型，每个区域的V和S定义为：

在HSV颜色空间计算出每个区域的V_R和S_R，当V_R＜0.25或S_R＜0.2时，相应的区域可以认为是单色区域；否则区域被认为是彩色区域，然后分别使用霍夫变换连接为电力线。

本发明的一种基于RGB图像的高压电力线路无人机巡检方法至少具有以下有益效果：

(1)本发明将电力线当成物体对待，进而分析其物理结构特征，能够提高电力线检测的精确度。

(2)本发明对传统的线段检测算法进行改进，充分利用RGB彩色图像三通道之间的互补信息。

(3)本发明采用无人机巡检，相较于传统的人工巡检，具有不受地形、环境、状态等因素的影响，可实时监测电力线分布情况及周围环境，利用电力线提取技术对电力线排布情况等问题进行定量分析，具有巡检效率高、通用性强、实时性好的特点。

附图说明

图1是本发明的一种基于RGB图像的高压电力线路无人机巡检方法的流程图；

图2a为获取的第一种非电力线的视频图像；

图2b为获取的第二种非电力线的视频图像；

图2c为获取的第三种非电力线的视频图像；

图2d为获取的电力线的视频图像；

图3a为对图2a进行识别的结果；

图3b为对图2b进行识别的结果；

图3c为对图2c进行识别的结果；

图3d为对图2d进行识别的结果；

图4为本发明中两条电力线之间夹角计算图；

图5为本发明中电力线的线方向计算图；

图6为本发明中电力线之间的搭接距离和间距的计算图。

具体实施方式

下面结合说明书附图对本发明作进一步说明。

如图1所示为本发明的一种基于RGB图像的高压电力线路无人机巡检方法的流程图，本方法是在无人机巡检过程中拍摄图像，同时对图像进行处理，将处理后图像输入到算法中进行电力线的提取，具体步骤为：

步骤1：利用无人机搭载的单目视觉测量设备获取架空线及其周围环境信息的视频图像；

具体实施时，单目视觉测量设备为高精度RGB视频图像采集设备。无人机搭载单目视觉测量设备进行电力巡检时，无人机根据GPS导航自动飞行，飞至电力线附近切换为图像识别引导，使无人机在与电力线平行的路线上，并在电力线上方进行直线匀速飞行。

步骤2：将电力线看成电力线物体，分析其物理结构特征，提出线边缘配对原则；

所述线边缘配对原则为：

原则1：两个边缘线的平行特性通过它们延长线之间的夹角来估计；给定一条线段L：P_start→P_end，其两个端点在坐标轴上的坐标为P_start＝(x_start,y_start)和P_end＝(x_end,y_end)；此线段的延长线l可以表示为：

ax+by+c＝0 (1)

其中，三个参数a、b、c可以通过两个端点计算出来：

假设一条电力线的两个边缘线为L_i:P_istart→P_iend和L_j:P_jstart→P_jend，在坐标轴中，其延长线可以表示为：

使用几何知识，两条电力线边缘线的夹角可以等效于其延长线的夹角，经过计算可以得到其夹角：

一条电力线的两条边缘线的夹角应小于设定的夹角阈值θ，可以通过夹角阈值来对识别出来的线段进行滤波；

原则2：在线方向上的覆盖距离可以简化为两条边缘线在电力线主方向上的共有距离，线方向简化为水平或垂直，通过参数β来确定电力线的方向：

其中，β_i与β_j分别是线段L_i、L_j与水平方向的夹角，如果β大于π/4，线方向定义为水平方向，在图像中为x轴方向；否则定义为垂直方向，在图像中为y轴方向；

对于在图像中识别出来的任一线段，将其两个端点中在线方向上具有较大值的坐标值记为C_max，较小的记为C_min；对于电力线的两条边缘线L_i和L_j，它们共有的距离C_c和总距离C_t定义为：

将覆盖距离定义为共有的距离C_c与总距离C_t的比值：

此比值的正负取决于两条边缘线在线方向上是否具有覆盖距离，较大的正值代表线方向上的重叠区域较大；对于电力线来说，两条边缘线的覆盖距离应为正值且大于覆盖距离阈值r；

原则3：两条线段的间距定义在次坐标轴上，假设两条线段分别为L_i和L_j，总共有四个端点，在线方向即主坐标轴方向上，取和c₁和c₂在两条线段延长线l_i和l_j上次坐标轴的值计算为s₁、s′₁、s₂和s′₂。对于c₁，其在两条延长线上的间距为g₁＝|s₁-s′₁|，同样地，对于c₂，其在两条延长线上的间距为g₂＝|s₂-s′₂|；因此，将两条线段之间的间距定义为：

一条电力线的两条边缘线之间的间距应小于设定间距阈值g，可以通过间距的阈值来对识别出来的线段进行滤波；

原则4：对于任一线段L_i，长度可定义为：

考虑到电力线在图像中的实际情况，识别出来的电力线线段长度lh_i应大于长度阈值lh。

具体实施时，对获取的视频图像进行分析其特征的过程如图2a～2d和图3a～3d所示，其中，图2a为不完整长方形的视频图像，图3a为对图2a进行识别的结果，经识别获得一条边缘线，图2a为非电力线。图2b为两个正方形的视频图像，图3b为对图2b进行识别的结果，经识别获得两条边缘线，但两条边缘线的覆盖距离较小，图2b为非电力线。图2c为完整长方形的视频图像，图3c为对图2c进行识别的结果，经识别获得两条边缘线，但两条边缘线间距过大，图2c为非电力线。图2d为电力线的视频图像，图3d为对图2d进行识别结果，可知电力线具有两个平行的边缘线，并且两个边缘线具有足够的覆盖距离，同时两条边缘线之间间距足够小。

图4～6是计算电力线之间的四个特征的计算坐标图，四个特征包括与平行特性相关的夹角、与重叠长度相关的搭接距离、电力线间距和电力线的长度。

步骤3：利用RGB三通道信息互补特性对传统的LSD算法进行改进，提取图像中的线段；使用线边缘配对原则将电力线边缘线进行配对，同时滤除外界环境的干扰；所述步骤3具体为：

图像预处理程序对视频图像采集设备采集到的视频图像序列取帧，对当前帧图像进行预处理，包括图像灰度化处理和图像去噪操作；传统的LSD算法需要先将RGB图像转换为灰度图像，此转换通过R、G和B三个通道的强度分量加权融合，会导致一些互补的边缘信息消失，因此灰度图像可能会抑制RGB图像的线段检测，导致误报和漏报的增加；

为了充分利用RGB彩色图像三个通道信息的互补性，对LSD算法提出改进，将传统的灰度图像输入改进为R、G、B和灰度四个通道图像输入，将LSD算法中水平线角的计算改进为：

其中，和分别为某个像素点上的梯度的水平分量和垂直分量；将改进后的LSD算法与步骤2中提出的四个原则进行结合，实现RGB图像中电力线边缘线的提取和配对。

步骤4：考虑电力线在RGB图像中的颜色特性，使用此特性和根据Hough变换的规则来验证电力线物体，所述步骤4具体为：

每个物体在颜色分布上都具有独一无二性，电力线物体也是如此；同一条电力线的区域内的像素通常是单色光的特性，对于电力线图像来说，同一条电力线内的像素应具有相同的颜色特性，彩色光特性或单色光特性，基于此特性，线区域可以分类为单色或彩色模型，用以促使一整条电力线的连接；

彩色或单色特性在HSV颜色模型中非常清晰，V和S用以区分彩色和单色模型之间的颜色属性；V和S可以计算为：

其中，R、G和B是像素的强度；

根据步骤3中配对后的线段，每对线段中端点的连线形成一个四边形区域，当做潜在的电力线区域R，对于每个区域R，计算区域内的HSV颜色模型，每个区域的V和S定义为：

在HSV颜色空间计算出每个区域的V_R和S_R，当V_R＜0.25或S_R＜0.2时，相应的区域可以认为是单色区域；否则区域被认为是彩色区域，然后分别使用霍夫变换(Hough变换)连接为电力线。

以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于RGB图像的高压电力线路无人机巡检方法，其特征在于，包括如下步骤；

步骤1：利用无人机搭载的单目视觉测量设备获取架空线及其周围环境信息的视频图像；

步骤2：将电力线看成电力线物体，分析其物理结构特征，提出线边缘配对原则；

步骤3：利用RGB三通道信息互补特性对传统的LSD算法进行改进，提取图像中的线段；使用线边缘配对原则将电力线边缘线进行配对，同时滤除外界环境的干扰；

步骤4：考虑电力线在RGB图像中的颜色特性，使用此特性和根据霍夫变换的规则来验证电力线物体。

2.如权利要求1所述的基于RGB图像的高压电力线路无人机巡检方法，其特征在于，所述步骤1中的单目视觉测量设备为高精度RGB视频图像采集设备。

3.如权利要求1所述的基于RGB图像的高压电力线路无人机巡检方法，其特征在于，所述步骤1中无人机搭载单目视觉测量设备进行电力巡检时，无人机根据GPS导航自动飞行，飞至电力线附近切换为图像识别引导，使无人机在与电力线平行的路线上，并在电力线上方进行直线匀速飞行。

4.如权利要求1所述的基于RGB图像的高压电力线路无人机巡检方法，其特征在于，所述步骤2中电力线物体的物理模型为：电力线具有两个平行的边缘线，并且两个边缘线具有足够的覆盖距离，同时两条边缘线之间间距足够小。

5.如权利要求1所述的基于RGB图像的高压电力线路无人机巡检方法，其特征在于，所述步骤2中所述线边缘配对原则为：

原则1：两个边缘线的平行特性通过它们延长线之间的夹角来估计；给定一条线段L：P_start→P_end，其两个端点在坐标轴上的坐标为P_start＝(x_start,y_start)和P_end＝(x_end,y_end)；此线段的延长线l可以表示为：

ax+by+c＝0 (1)

其中，三个参数a、b、c可以通过两个端点计算出来：

假设一条电力线的两个边缘线为L_i:P_istart→P_iend和L_j:P_jstart→P_jend，在坐标轴中，其延长线可以表示为：

使用几何知识，两条边缘线的夹角可以等效于其延长线的夹角，经过计算可以得到其夹角：

一条电力线的两条边缘线的夹角应小于设定的夹角阈值θ，可以通过夹角阈值来对识别出来的线段进行滤波；

原则2：在线方向上的覆盖距离可以简化为两条边缘线在电力线主方向上的共有距离，线方向简化为水平或垂直，通过参数β来确定电力线的方向：

其中，β_i与β_j分别是线段L_i、L_j与水平方向的夹角，如果β大于π/4，线方向定义为水平方向，在图像中为x轴方向；否则定义为垂直方向，在图像中为y轴方向；

对于在图像中识别出来的任一线段，将其两个端点中在线方向上具有较大值的坐标值记为C_max，较小的记为C_min；对于电力线的两条边缘线L_i和L_j，它们共有的距离C_c和总距离C_t定义为：

将覆盖距离定义为共有的距离C_c与总距离C_t的比值：

此比值的正负取决于两条边缘线在线方向上是否具有覆盖距离，较大的正值代表线方向上的重叠区域较大；对于电力线来说，两条边缘线的覆盖距离应为正值且大于覆盖距离阈值r；

原则3：两条线段的间距定义在次坐标轴上，假设两条线段分别为L_i和L_j，总共有四个端点，在线方向即主坐标轴方向上，取和c₁和c₂在两条线段延长线l_i和l_j上次坐标轴的值计算为s₁、s′₁、s₂和s′₂。对于c₁，其在两条延长线上的间距为g₁＝|s₁-s′₁|，同样地，对于c₂，其在两条延长线上的间距为g₂＝|s₂-s′₂|；因此，将两条线段之间的间距定义为：

一条电力线的两条边缘线之间的间距应小于设定间距阈值g，可以通过间距的阈值来对识别出来的线段进行滤波；

原则4：对于任一线段L_i，长度可定义为：

考虑到电力线在图像中的实际情况，识别出来的电力线边缘线长度lh_i应大于长度阈值lh。

6.如权利要求1所述的基于RGB图像的高压电力线路无人机巡检方法，其特征在于，所述步骤3具体为：

图像预处理程序对视频图像采集设备采集到的视频图像序列取帧，对当前帧图像进行预处理，包括图像灰度化处理和图像去噪操作；传统的LSD算法需要先将RGB图像转换为灰度图像，此转换通过R、G和B三个通道的强度分量加权融合，会导致一些互补的边缘信息消失，因此灰度图像可能会抑制RGB图像的线段检测，导致误报和漏报的增加；

为了充分利用RGB彩色图像三个通道信息的互补性，对LSD算法提出改进，将传统的灰度图像输入改进为R、G、B和灰度四个通道图像输入，将LSD算法中水平线角的计算改进为：

其中，▽x_i和▽y_i分别为某个像素点上的梯度的水平分量和垂直分量；将改进后的LSD算法与步骤2中提出的四个原则进行结合，实现RGB图像中电力线边缘线的提取和配对。

7.如权利要求1所述的基于RGB图像的高压电力线路无人机巡检方法，其特征在于，所述步骤4具体为：

每个物体在颜色分布上都具有独一无二性，电力线物体也是如此；同一条电力线的区域内的像素通常是单色光的特性，对于电力线图像来说，同一条电力线内的像素应具有相同的颜色特性，彩色光特性或单色光特性，基于此特性，线区域可以分类为单色或彩色模型，用以促使一整条电力线的连接；

彩色或单色特性在HSV颜色模型中非常清晰，V和S用以区分彩色和单色模型之间的颜色属性；V和S可以计算为：

其中，R、G和B是像素的强度；

根据步骤3中配对后的线段，每对线段中端点的连线形成一个四边形区域，当做潜在的电力线区域R，对于每个区域R，计算区域内的HSV颜色模型，每个区域的V和S定义为：

在HSV颜色空间计算出每个区域的V_R和S_R，当V_R＜0.25或S_R＜0.2时，相应的区域可以认为是单色区域；否则区域被认为是彩色区域，然后分别使用霍夫变换连接为电力线。