CN109684914A - 基于无人机影像智能识别方法 - Google Patents

Abstract

本发明提供基于无人机影像智能识别方法，所述识别方法包括以下步骤：图像智能分析，导线断股智能分析，绝缘子缺陷智能分析，树线距离智能分析，通道建筑物高程分析，导线弧垂计算，危险点显示；该基于无人机影像智能识别方法在电力系统首次开展利用人工或机载普通相机拍摄的影像开展线路树障、导线断股及弧垂异常、绝缘子破损等通道隐患的智能排查，不仅能提高无人机的利用率，更能提升线路隐患的防治水平，对输电网的安全运行具有重要意义。

Description

基于无人机影像智能识别方法

技术领域

本发明是基于无人机影像智能识别方法，属于输电线路隐患识别技术领域。

背景技术

当前输电线路的巡视主要还是采用人工方式，通过肉眼或拍摄照片的方式发现缺陷，这种方法虽简单，但效率较低，周期较长，且巡检拍摄的影像，均需人工进行判别，但人工观察受制于拍摄角度、视频像素等因素的制约，难以准确的判断出线路走廊下方树木高度、树线距离等定量的参数，如果搭载高清的激光扫描的摄像头，其昂贵的价格也不适合大规模推广。

在这一背景下，利用最新的图像智能识别技术，通过人工拍摄或机载的普通相机拍摄的照片或视频影像，分析出线路存在的各类隐患，包括通道障碍隐患(周边树木生长和违章建筑)和线路自身隐患(标识牌缺失损毁、绝缘子爆裂、导线断股以及弧垂异常等)，为线路的调度和运检提供第一时间的预警信息，能够提高线路巡检的工作效率和无人机的使用效果，是线路运检领域的的又一次技术升级，具有广泛的应用前景和良好的推广价值。

为此，本发明提供基于无人机影像智能识别方法。

发明内容

针对现有技术存在的不足，本发明目的是提供基于无人机影像智能识别方法，以解决上述背景技术中提出的问题，该基于无人机影像智能识别方法设计合理，首次将萨格奈克分布式干涉技术用于电力系统10kv配网线路安全维护中，为线路外破隐患的及时发现、及时报警和应急抢修提供了一套完整的技术方案。

为了实现上述目的，本发明是通过如下的技术方案来实现：基于无人机影像智能识别方法，所述识别方法包括以下步骤：

步骤一：图像预处理；首先获取图像信息数据，然后对影像进行智能分析处理，提取特征点；

步骤二：导线断股智能分析；采用Hough变换直线检测的方法提取图像中的直线，此方法具有抑制噪声能力强和受曲线间断影响小的特点，对于拍摄的导线图像，当近距离拍摄时，导线较粗，在图像中表现出较大的像素宽度，而当相对较远时，为了提高图像的对比度，在步骤一中的智能分析处理过程中进行了图像增强处理，边缘检测获取的二值图像中，导线边缘点也较多，运用Hough变换和特征检测算法结合，对巡检图像中的导线进行检测；

步骤三：绝缘子缺陷智能分析；首先分析绝缘子缺陷特征与绝缘子在拍摄图像中的特征，然后进行绝缘子缺陷智能分析，步骤如下：

a)图像预处理：将图像从RGB颜色空间转换到HSI颜色空间，利用色调和饱和度分量进行图像分割；

b)OTSU分割：在HSI空间运用OTSU(最大类间方差法)进行图像分割；

c)轮廓检测：依据绝缘子特征，从图像中检测绝缘子轮廓；

d)缺陷检测：依据绝缘子缺陷特点，检测并定位自爆等缺陷的绝缘子位置；

步骤四：树线距离智能分析；树线距离智能分析的关键是从二维影像中识别出导线和树冠，以及分析出两者之间的距离，采用树木三维重建方法，通过一幅图像来估计树木的主轴方向、关键骨架点、相应的骨架半径从而确定整个树木的三维模型，即通过确定树木的骨架来确定整个树木模型和树木高程，采用最优边缘检测算子、分水岭算法、OTSU多阈值分割法及区域生长法四种典型的影像分割算法，分别应用于不同树木类型；

步骤五：通道建筑物高程分析；建筑物的高程分析采用多角度影像配准算法，由于不同高度的目标原则上不能基于同样纠正式配准，所以采取对光滑包络的轮廓线进行分层配准的方式，分析流程如下：相邻的3景图像、对应的初始外方位元素以及地表高程先验知识→使用较低的初始图像分辨率→根据共线方程和当前DSM预测同名点初始位置→自动的相关匹配调整同名点位置→前方交会获得同名点高程，插值成为新的光滑DSM→计算建筑物高程尺度；其中输入所需的初始外方位元素由POS获得，并且通过GPS/POS辅助自动空中三角测量区域网平差获得更为精确的外方位元素，空中三角地表高程先验知识为收集实验区至少l：5万比例尺精度的DEM数据；

步骤六：导线弧垂计算；采用基于部分图像的弧垂测量方法，其基本思想是导线在图像中呈现出悬链线状态，在某一个悬链段的跨度已知的情况下，由某一悬链段的状态参数可以求出水平悬链的各个状态值，从而完成弧垂值的测量；

步骤七：危险点显示；汇总线路各类缺陷的分析，将线路缺陷危险点信息展示出来，以便工作人员及时进行巡检维修。

作为本发明的一种优选实施方式，所述步骤一中的智能分析处理如下：获取图像信息后，根据图像方位元素，通过数字微分纠正将图像纠正到同一水平的平面上，该平面高程采用空三加密点的平均高程，构建图像金字塔，对纠正后图像进行重采样，常用的重采样方法有取平均值法、双线性插值法、双三次卷积法和最邻近像元法，采用Wall is进行逐级影响增强以提升图像清晰度，对除顶层图像外的金字塔各层图像采用Harris算子提取大量特征点，采用SIFT算法对金字塔顶层图像进行初值匹配，然后前方交会得到一个粗略的DSM点云，再通过近邻内插得到初级DSM，在搜索区域内进行相关系数法粗匹配以及最小二乘法精匹配，得到子像素精度级别的同名点坐标，逐点匹配后得到密集匹配结果，根据图像的三视约束原理并利用三视检核剔除匹配粗差从而提高检核通过率。

作为本发明的一种优选实施方式，所述步骤二中采用Hough变换直线检测的方法提取的导线相对完整且位置准确，并且能够有效的抑制低矮植被以及杆塔的强烈干扰。

作为本发明的一种优选实施方式，所述步骤一图像预处理中，由于图像中不可避免地存在各种噪声，使得图像质量恶化，给分析带来困难，因此采用中值滤波和形态学滤波两种过滤技术提高图像的清晰度，将两种不同结构、不同尺寸的结构元级联起来，后面的结构元尺寸大于前面的结构元，两种结构元对图像的作用有两种选择，即先开运算后闭运算或先闭运算后开运算，力求在图像处理过程最大可能的减少噪声产生的负面影响。

作为本发明的一种优选实施方式，所述步骤三中，在OTSU分割时，由于在巡检过程中拍摄条件差异性较大，受图像自身如光线、对比度等因素的限制，在进行图像的分割处理时，不能设定固定阈值处理不同图像，而需要选用一种自适应阈值分割方法，此外，为满足图像处理的快速性要求，对图像分割方法的时间复杂度要求严格，对于如何综合运用图像中的H和S分量信息，本发明提出了3种方法相结合来实现最好的分割效果，一是将H分量和S分量按一定的量化级合成为一维特征矢量，之后进行分割，二是分别对H分量和S分量进行分割，再将分割结果取交集，三是对一种分量作为初次分割依据，之后以分割位置提取另一分量的图像，在对所提取的图像部分进行二次分割。

作为本发明的一种优选实施方式，所述步骤四树线距离智能分析后，利用一种经验差异评价方法对分割结果作定量的评价，从而获得一套适合于巡线影像中地面目标提取任务的图像分割方案。

作为本发明的一种优选实施方式，引起弧垂计算产生的误差主要包含硬件误差和软件算法误差，硬件误差主要来自图像采集设备CCD相机，光学镜头畸变、图像转化为数字阵列以及元件将光学信号转化为电信号的过程产生误差，通常这可能导致拍摄出的图像失真，避免误差的方法是选取制造更加精密的相机，软件误差主要是图像处理过程产生的误差和参数提取产生的误差，由于图像存在噪声影响导致边缘检测出的图像边缘不一定是真实的边缘，采用直线提取的输电线边缘也与真实的导线存在差异，参数提取误差主要是在寻找切点时产生，为了降低软件带来的误差，需要采用更好的边缘检测算子和导线提取算法。

本发明的有益效果：

1.该基于无人机影像智能识别方法在电力系统首次开展利用人工或机载普通相机拍摄的影像开展线路树障、导线断股及弧垂异常、绝缘子破损等通道隐患的智能排查，不仅能提高无人机的利用率，更能提升线路隐患的防治水平，对输电网的安全运行具有重要意义。

2.本发明提供了一套基于巡检无人机影像智能分析的线路通道缺陷识别方法，能够展示线路缺陷危险点信息，以便处理流程跟进，极大降低线路运维的工作量，提升工作质量和效率。

3.此基于无人机影像智能识别方法检测精确，步骤简洁，可靠性高，对于减小线路运行维护工作的难度和配电网的安全运行具有重要意义，并且采用了Hough变换直线检测的方法，提取的导线相对完整且位置准确，能够有效的抑制低矮植被以及杆塔的强烈干扰。

附图说明

图1为本发明基于无人机影像智能识别方法的流程图；

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

请参阅图1，本发明提供一种技术方案：基于无人机影像智能识别方法，所述识别方法包括以下步骤：

步骤一：图像预处理；首先获取图像信息数据，然后对影像进行智能分析处理，提取特征点；

步骤二：导线断股智能分析；采用Hough变换直线检测的方法提取图像中的直线，此方法具有抑制噪声能力强和受曲线间断影响小的特点，对于拍摄的导线图像，当近距离拍摄时，导线较粗，在图像中表现出较大的像素宽度，而当相对较远时，为了提高图像的对比度，在步骤一中的智能分析处理过程中进行了图像增强处理，边缘检测获取的二值图像中，导线边缘点也较多，运用Hough变换和特征检测算法结合，对巡检图像中的导线进行检测；

步骤三：绝缘子缺陷智能分析；首先分析绝缘子缺陷特征与绝缘子在拍摄图像中的特征，然后进行绝缘子缺陷智能分析，步骤如下：

a)图像预处理：将图像从RGB颜色空间转换到HSI颜色空间，利用色调和饱和度分量进行图像分割；

b)OTSU分割：在HSI空间运用OTSU(最大类间方差法)进行图像分割；

c)轮廓检测：依据绝缘子特征，从图像中检测绝缘子轮廓；

d)缺陷检测：依据绝缘子缺陷特点，检测并定位自爆等缺陷的绝缘子位置；

步骤四：树线距离智能分析；树线距离智能分析的关键是从二维影像中识别出导线和树冠，以及分析出两者之间的距离，采用树木三维重建方法，通过一幅图像来估计树木的主轴方向、关键骨架点、相应的骨架半径从而确定整个树木的三维模型，即通过确定树木的骨架来确定整个树木模型和树木高程，采用最优边缘检测算子、分水岭算法、OTSU多阈值分割法及区域生长法四种典型的影像分割算法，分别应用于不同树木类型；

步骤五：通道建筑物高程分析；建筑物的高程分析采用多角度影像配准算法，由于不同高度的目标原则上不能基于同样纠正式配准，所以采取对光滑包络的轮廓线进行分层配准的方式，分析流程如下：相邻的3景图像、对应的初始外方位元素以及地表高程先验知识→使用较低的初始图像分辨率→根据共线方程和当前DSM预测同名点初始位置→自动的相关匹配调整同名点位置→前方交会获得同名点高程，插值成为新的光滑DSM→计算建筑物高程尺度；其中输入所需的初始外方位元素由POS获得，并且通过GPS/POS辅助自动空中三角测量区域网平差获得更为精确的外方位元素，空中三角地表高程先验知识为收集实验区至少l：5万比例尺精度的DEM数据；

步骤六：导线弧垂计算；采用基于部分图像的弧垂测量方法，其基本思想是导线在图像中呈现出悬链线状态，在某一个悬链段的跨度已知的情况下，由某一悬链段的状态参数可以求出水平悬链的各个状态值，从而完成弧垂值的测量；

步骤七：危险点显示；汇总线路各类缺陷的分析，将线路缺陷危险点信息展示出来，以便工作人员及时进行巡检维修。

作为本发明的一种优选实施方式，所述步骤一中的智能分析处理如下：获取图像信息后，根据图像方位元素，通过数字微分纠正将图像纠正到同一水平的平面上，该平面高程采用空三加密点的平均高程，构建图像金字塔，对纠正后图像进行重采样，常用的重采样方法有取平均值法、双线性插值法、双三次卷积法和最邻近像元法，采用Wall is进行逐级影响增强以提升图像清晰度，对除顶层图像外的金字塔各层图像采用Harris算子提取大量特征点，采用SIFT算法对金字塔顶层图像进行初值匹配，然后前方交会得到一个粗略的DSM点云，再通过近邻内插得到初级DSM，在搜索区域内进行相关系数法粗匹配以及最小二乘法精匹配，得到子像素精度级别的同名点坐标，逐点匹配后得到密集匹配结果，根据图像的三视约束原理并利用三视检核剔除匹配粗差从而提高检核通过率。

作为本发明的一种优选实施方式，所述步骤二中采用Hough变换直线检测的方法提取的导线相对完整且位置准确，并且能够有效的抑制低矮植被以及杆塔的强烈干扰。

作为本发明的一种优选实施方式，所述步骤一图像预处理中，由于图像中不可避免地存在各种噪声，使得图像质量恶化，给分析带来困难，因此采用中值滤波和形态学滤波两种过滤技术提高图像的清晰度，将两种不同结构、不同尺寸的结构元级联起来，后面的结构元尺寸大于前面的结构元，两种结构元对图像的作用有两种选择，即先开运算后闭运算或先闭运算后开运算，力求在图像处理过程最大可能的减少噪声产生的负面影响。

作为本发明的一种优选实施方式，所述步骤三中，在OTSU分割时，由于在巡检过程中拍摄条件差异性较大，受图像自身如光线、对比度等因素的限制，在进行图像的分割处理时，不能设定固定阈值处理不同图像，而需要选用一种自适应阈值分割方法，此外，为满足图像处理的快速性要求，对图像分割方法的时间复杂度要求严格，对于如何综合运用图像中的H和S分量信息，本发明提出了3种方法相结合来实现最好的分割效果，一是将H分量和S分量按一定的量化级合成为一维特征矢量，之后进行分割，二是分别对H分量和S分量进行分割，再将分割结果取交集，三是对一种分量作为初次分割依据，之后以分割位置提取另一分量的图像，在对所提取的图像部分进行二次分割。

作为本发明的一种优选实施方式，所述步骤四树线距离智能分析后，利用一种经验差异评价方法对分割结果作定量的评价，从而获得一套适合于巡线影像中地面目标提取任务的图像分割方案。

作为本发明的一种优选实施方式，引起弧垂计算产生的误差主要包含硬件误差和软件算法误差，硬件误差主要来自图像采集设备CCD相机，光学镜头畸变、图像转化为数字阵列以及元件将光学信号转化为电信号的过程产生误差，通常这可能导致拍摄出的图像失真，避免误差的方法是选取制造更加精密的相机，软件误差主要是图像处理过程产生的误差和参数提取产生的误差，由于图像存在噪声影响导致边缘检测出的图像边缘不一定是真实的边缘，采用直线提取的输电线边缘也与真实的导线存在差异，参数提取误差主要是在寻找切点时产生，为了降低软件带来的误差，需要采用更好的边缘检测算子和导线提取算法。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.基于无人机影像智能识别方法，其特征在于，所述识别方法包括以下步骤：

步骤一：图像预处理；首先获取图像信息数据，然后对影像进行智能分析处理，提取特征点；

步骤二：导线断股智能分析；采用Hough变换直线检测的方法提取图像中的直线，此方法具有抑制噪声能力强和受曲线间断影响小的特点，对于拍摄的导线图像，当近距离拍摄时，导线较粗，在图像中表现出较大的像素宽度，而当相对较远时，为了提高图像的对比度，在步骤一中的智能分析处理过程中进行了图像增强处理，边缘检测获取的二值图像中，导线边缘点也较多，运用Hough变换和特征检测算法结合，对巡检图像中的导线进行检测；

步骤三：绝缘子缺陷智能分析；首先分析绝缘子缺陷特征与绝缘子在拍摄图像中的特征，然后进行绝缘子缺陷智能分析，步骤如下：

a)图像预处理：将图像从RGB颜色空间转换到HSI颜色空间，利用色调和饱和度分量进行图像分割；

b)OTSU分割：在HSI空间运用OTSU(最大类间方差法)进行图像分割；

c)轮廓检测：依据绝缘子特征，从图像中检测绝缘子轮廓；

d)缺陷检测：依据绝缘子缺陷特点，检测并定位自爆等缺陷的绝缘子位置；

步骤四：树线距离智能分析；树线距离智能分析的关键是从二维影像中识别出导线和树冠，以及分析出两者之间的距离，采用树木三维重建方法，通过一幅图像来估计树木的主轴方向、关键骨架点、相应的骨架半径从而确定整个树木的三维模型，即通过确定树木的骨架来确定整个树木模型和树木高程，采用最优边缘检测算子、分水岭算法、OTSU多阈值分割法及区域生长法四种典型的影像分割算法，分别应用于不同树木类型；

步骤五：通道建筑物高程分析；建筑物的高程分析采用多角度影像配准算法，由于不同高度的目标原则上不能基于同样纠正式配准，所以采取对光滑包络的轮廓线进行分层配准的方式，分析流程如下：相邻的3景图像、对应的初始外方位元素以及地表高程先验知识→使用较低的初始图像分辨率→根据共线方程和当前DSM预测同名点初始位置→自动的相关匹配调整同名点位置→前方交会获得同名点高程，插值成为新的光滑DSM→计算建筑物高程尺度；其中输入所需的初始外方位元素由POS获得，并且通过GPS/POS辅助自动空中三角测量区域网平差获得更为精确的外方位元素，空中三角地表高程先验知识为收集实验区至少l：5万比例尺精度的DEM数据；

步骤六：导线弧垂计算；采用基于部分图像的弧垂测量方法，其基本思想是导线在图像中呈现出悬链线状态，在某一个悬链段的跨度已知的情况下，由某一悬链段的状态参数可以求出水平悬链的各个状态值，从而完成弧垂值的测量；

步骤七：危险点显示；汇总线路各类缺陷的分析，将线路缺陷危险点信息展示出来，以便工作人员及时进行巡检维修。

2.根据权利要求1所述的基于无人机影像智能识别方法，其特征在于：所述步骤一中的智能分析处理如下：获取图像信息后，根据图像方位元素，通过数字微分纠正将图像纠正到同一水平的平面上，该平面高程采用空三加密点的平均高程，构建图像金字塔，对纠正后图像进行重采样，常用的重采样方法有取平均值法、双线性插值法、双三次卷积法和最邻近像元法，采用Wallis进行逐级影响增强以提升图像清晰度，对除顶层图像外的金字塔各层图像采用Harris算子提取大量特征点，采用SIFT算法对金字塔顶层图像进行初值匹配，然后前方交会得到一个粗略的DSM点云，再通过近邻内插得到初级DSM，在搜索区域内进行相关系数法粗匹配以及最小二乘法精匹配，得到子像素精度级别的同名点坐标，逐点匹配后得到密集匹配结果，根据图像的三视约束原理并利用三视检核剔除匹配粗差从而提高检核通过率。

3.根据权利要求1所述的基于无人机影像智能识别方法，其特征在于：所述步骤二中采用Hough变换直线检测的方法提取的导线相对完整且位置准确，并且能够有效的抑制低矮植被以及杆塔的强烈干扰。

4.根据权利要求1所述的基于无人机影像智能识别方法，其特征在于：所述步骤一图像预处理中，由于图像中不可避免地存在各种噪声，使得图像质量恶化，给分析带来困难，因此采用中值滤波和形态学滤波两种过滤技术提高图像的清晰度，将两种不同结构、不同尺寸的结构元级联起来，后面的结构元尺寸大于前面的结构元，两种结构元对图像的作用有两种选择，即先开运算后闭运算或先闭运算后开运算，力求在图像处理过程最大可能的减少噪声产生的负面影响。

5.根据权利要求1所述的基于无人机影像智能识别方法，其特征在于：所述步骤三中，在OTSU分割时，由于在巡检过程中拍摄条件差异性较大，受图像自身如光线、对比度等因素的限制，在进行图像的分割处理时，不能设定固定阈值处理不同图像，而需要选用一种自适应阈值分割方法，此外，为满足图像处理的快速性要求，对图像分割方法的时间复杂度要求严格，对于如何综合运用图像中的H和S分量信息，本发明提出了3种方法相结合来实现最好的分割效果，一是将H分量和S分量按一定的量化级合成为一维特征矢量，之后进行分割，二是分别对H分量和S分量进行分割，再将分割结果取交集，三是对一种分量作为初次分割依据，之后以分割位置提取另一分量的图像，在对所提取的图像部分进行二次分割。

6.根据权利要求1所述的基于无人机影像智能识别方法，其特征在于：所述步骤四树线距离智能分析后，利用一种经验差异评价方法对分割结果作定量的评价，从而获得一套适合于巡线影像中地面目标提取任务的图像分割方案。

7.根据权利要求1所述的基于无人机影像智能识别方法，其特征在于：引起弧垂计算产生的误差主要包含硬件误差和软件算法误差，硬件误差主要来自图像采集设备CCD相机，光学镜头畸变、图像转化为数字阵列以及元件将光学信号转化为电信号的过程产生误差，通常这可能导致拍摄出的图像失真，避免误差的方法是选取制造更加精密的相机，软件误差主要是图像处理过程产生的误差和参数提取产生的误差，由于图像存在噪声影响导致边缘检测出的图像边缘不一定是真实的边缘，采用直线提取的输电线边缘也与真实的导线存在差异，参数提取误差主要是在寻找切点时产生，为了降低软件带来的误差，需要采用更好的边缘检测算子和导线提取算法。