CN109697406A - 一种基于无人机影像智能分析方法 - Google Patents

Abstract

本发明提供一种基于无人机影像智能分析方法，所述分析方法包括以下步骤：影像水平纠正，影像重采样，Wallis滤波，特征点提取，SIFT匹配，密集匹配，三视检核；该基于无人机影像智能分析方法采用了Wallis滤波，能够增强原始影像的反差并同时压制噪声，大大增强影像中不同尺度的影像纹理模式，因此在提取影像中的点特征时，能够提高点特征的数量和精度，而在影像匹配中则能够提高匹配结果的可靠性及精度，为输电线路缺陷检测提供精确可靠的影像基础和数据。

Description

一种基于无人机影像智能分析方法

技术领域

本发明是一种基于无人机影像智能分析方法，属于输电线路隐患监测技术领域。

背景技术

当前输电线路的巡视主要还是采用人工方式，通过肉眼或拍摄照片的方式发现缺陷，这种方法虽简单，但效率较低，周期较长，且巡检拍摄的影像，均需人工进行判别，但人工观察受制于拍摄角度、视频像素等因素的制约，难以准确的判断出线路走廊下方树木高度、树线距离等定量的参数，如果搭载高清的激光扫描的摄像头，其昂贵的价格也不适合大规模推广。

在这一背景下，利用最新的图像智能识别技术，通过人工拍摄或机载的普通相机拍摄的照片或视频影像，分析出线路存在的各类隐患，包括通道障碍隐患(周边树木生长和违章建筑)和线路自身隐患(标识牌缺失损毁、绝缘子爆裂、导线断股以及弧垂异常等)，为线路的调度和运检提供第一时间的预警信息，能够提高线路巡检的工作效率和无人机的使用效果，是线路运检领域的的又一次技术升级，具有广泛的应用前景和良好的推广价值。

目前，在输电线巡检中图像处理技术仅有很短的应用历史，国内外的研究成果也很少，国外研究成果主要集中在图像质量的改善和图像采集的稳定性上，在摄像机的智能控制方面是其主要应用，很少涉及输电线路故障的识别与定位，输电走廊的三维信息采集可利用直升机激光三维空间扫描技术，但由于其成本高并不适合用于日常电力巡检，国内外已经具有初步研究成果的是输电线路的提取与识别、弧垂测量和电缆状态监测等方面，但还有待进一步提高其精度和实用性，而绝缘子、杆塔、防震锤等重要输电设备图像监测方法的相关研究才刚刚起步，在电力巡检领域图像处理技术具有良好的应用前景，但还有一些关键技术需要解决。

图像识别是利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术，是近年来发展起来的一门新型技术科学，人类识别图像的过程总是先比较分析、判断这些图像在外型或颜色方面的某些特征，进而分别类，即识别它们，然而，光强和波长不同的光波引起了图像的灰度、色彩等因素，这与景物表面的特性、光线条件、方向以及干扰等多种因素有关，如若是在恶劣的工作环境里，那么图像与景物的差别就不是很大，因此，只有经过预处理、分割、特征提取、分析、分类、识别等一系列过程，才能区分出图像属于哪一类，现今，计算机可完全模拟这些技术，并通过对图像信息进行处理来达到对它的识别。

图像识别的方法大体上可以归纳为统计方法和句法结构识别方法，统计方法的基础是数学上的决策理论，其基本的模型是大量统计分析所研究的图像，找出规律性认识，抽出反映图像本质特点的特征以进行识别，在这种方法中，如何抽取图像的特征或决定统计参数是其大部分工作，也就是所谓参数法，此外，还有非参数决策法，譬如近邻法则，这种方法绕过概率的估计而直接进行决策，对于特征抽取，必须缩减图像的大量原始信息为少数的特征，对声波信号可抽取频谱特征，对文字和符号等可只抽取几何形状特征，为了抽取特征，有时要对原始图像信息进行各种变换，空间投影，把多维的图像点简化到几个坐标分量上，句法结构识别方法建立在分析图像的结构的基础上，可以模仿语言构造，使用一些语句来表达一幅图像，由词、短语等组成语句的结构，并按一定的语法表达出来，即短语组成语句，单词组成短语，单词是其中最基本的元素，语句之所以会与图像发生联系原因在于任何一幅图像，全都是由一些点、直线、斜线、弧线及环等组成，剖析图像的这些基本元素，看这些基本元素按怎样的规则构成图像。

上述两类方法各有优缺点，统计方法很少利用图像本身的结构关系，句法结构识别方法因为没有考虑图像在环境中所受的噪声干扰，则使其元素或结构带有一定的随机性，因而，可取的途径就是把两者结合起来，各取其长。

在电力方面，图像识别技术现在已应用于变电站实时监测中，在输电线巡检中，图像识别必须能提取和识别各种输电设备，但提取与识别输电设备目标物难度更大，原因在于输电线路的背景大都很复杂，有山川、森林、河流、房屋、农田、雨雪、道路等，而且输电线路的背景随着季节的不同其背景外观也随之改变，所以要想解决该问题，提出的图像处理算法必须要有很强适用性，同时由于在拍摄时，角度和视距也会随时变化，且针对同一目标所拍摄的图像也会呈现出不同的形状或形式，这也给目标识别带来了困难，因此若想识别目标需根据目标特征采用神经网络技术、模糊算法、证据理论等信息融合方法，为此，本发明提供一种基于无人机影像智能分析方法。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于无人机影像智能分析方法，以解决上述背景技术中提出的问题，该基于无人机影像智能分析方法设计合理，首次将萨格奈克分布式干涉技术用于电力系统10kv配网线路安全维护中，为线路外破隐患的及时发现、及时报警和应急抢修提供了一套完整的技术方案。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于无人机影像智能分析方法，所述分析方法包括以下步骤：

步骤一：影像水平纠正；首先获取影像信息数据，根据影像方位元素，通过数字微分纠正将影像纠正到同一水平的平面上，该平面高程采用空三加密点的平均高程；

步骤二：影像重采样；构建影像金字塔，对纠正后影像进行重采样，常用的重采样方法有取平均值法、双线性插值法、双三次卷积法和最邻近像元法；

步骤三：Wallis滤波；采用Wallis进行逐级影响增强以提升影像清晰度；

步骤四：特征点提取；对除顶层影像外的金字塔各层影像采用Harris算子提取大量特征点；

步骤五：SIFT匹配；采用SIFT算法对金字塔顶层影像进行初值匹配，然后前方交会得到一个粗略的DSM点云，再通过近邻内插得到初级DSM；

步骤六：密集匹配；在搜索区域内进行相关系数法粗匹配以及最小二乘法精匹配，得到子像素精度级别的同名点坐标，逐点匹配后得到密集匹配结果；

步骤七：三视检核；根据影像的三视约束原理并利用三视检核剔除匹配粗差从而提高检核通过率。

作为本发明的一种优选实施方式，所述步骤三Wallis滤波的目的是将影像的灰度均值和方差，即影像灰度的动态范围，映射到给定的灰度均值和方差值，实际上是一种局部影像变换，使在影像不同位置处的灰度方差和灰度均值都具有近似相等的数值，即影像反差小的区域的反差增大，影像反差大的区域的反差减小，使得影像中灰度的微小变化信息得到增强，对低反差影像和反差不均匀的影像有特殊的作用，由于在计算影像的局部灰度方差和均值时使用一平滑算子，所以Wallis滤波在增强影像有用信息的同时抑制了噪声，提高了影像的信噪比，使影像中存在的极为模糊的纹理模式得到增强，因此，处理后的影像虽然在视觉效果上有些像一幅噪声影像，但进行特征提取或立体匹配时，其效果要理想得多。

作为本发明的一种优选实施方式，所述步骤二中的影像金字塔是由原始影像按一定规则生成的由细到粗不同分辨率的影像集，影像金字塔的底部是图像的高分辨率表示，也就是原始图像，而顶部是低分辨率的近似，最底层的分辨率最高，并且数据量最大，随着层数的增加，其分辨率逐渐降低，数据量也按比例减少。

作为本发明的一种优选实施方式，所述步骤五中的SIFT是用于图像处理领域的一种描述，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关，对于光线、噪声、微视角改变的容忍度也相当高，基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认，使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位，在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算，SIFT特征的信息量大，适合在海量数据库中快速准确匹配。

本发明的有益效果：

1.此基于无人机影像智能分析方法采用了Wallis滤波，能够增强原始影像的反差并同时压制噪声，大大增强影像中不同尺度的影像纹理模式，因此在提取影像中的点特征时，能够提高点特征的数量和精度，而在影像匹配中则能够提高匹配结果的可靠性及精度，为输电线路缺陷检测提供精确可靠的影像基础和数据。

2.此基于无人机影像智能分析方法采用的SIFT算法对于光线、噪声、微视角改变的容忍度也相当高，基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认，使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位，在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算，能够有效的消弱山川、森林、河流、房屋、农田、雨雪和道路对目标识别带来的影响，并能够削弱拍摄角度和视距的变化对目标识别造成的影响。

3.此基于无人机影像智能分析方法检测精确，步骤简洁，可靠性高，对于减小线路运行维护工作的难度和配电网的安全运行具有重要意义。

附图说明

图1为本发明一种基于无人机影像智能分析方法的流程图；

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

请参阅图1，本发明提供一种技术方案：一种基于无人机影像智能分析方法，所述分析方法包括以下步骤：

步骤一：影像水平纠正；首先获取影像信息数据，根据影像方位元素，通过数字微分纠正将影像纠正到同一水平的平面上，该平面高程采用空三加密点的平均高程；

步骤二：影像重采样；构建影像金字塔，对纠正后影像进行重采样，常用的重采样方法有取平均值法、双线性插值法、双三次卷积法和最邻近像元法；

步骤三：Wallis滤波；采用Wallis进行逐级影响增强以提升影像清晰度；

步骤四：特征点提取；对除顶层影像外的金字塔各层影像采用Harris算子提取大量特征点；

步骤五：SIFT匹配；采用SIFT算法对金字塔顶层影像进行初值匹配，然后前方交会得到一个粗略的DSM点云，再通过近邻内插得到初级DSM；

步骤六：密集匹配；在搜索区域内进行相关系数法粗匹配以及最小二乘法精匹配，得到子像素精度级别的同名点坐标，逐点匹配后得到密集匹配结果；

步骤七：三视检核；根据影像的三视约束原理并利用三视检核剔除匹配粗差从而提高检核通过率。

作为本发明的一种优选实施方式，所述步骤三Wallis滤波的目的是将影像的灰度均值和方差，即影像灰度的动态范围，映射到给定的灰度均值和方差值，实际上是一种局部影像变换，使在影像不同位置处的灰度方差和灰度均值都具有近似相等的数值，即影像反差小的区域的反差增大，影像反差大的区域的反差减小，使得影像中灰度的微小变化信息得到增强，对低反差影像和反差不均匀的影像有特殊的作用，由于在计算影像的局部灰度方差和均值时使用一平滑算子，所以Wallis滤波在增强影像有用信息的同时抑制了噪声，提高了影像的信噪比，使影像中存在的极为模糊的纹理模式得到增强，因此，处理后的影像虽然在视觉效果上有些像一幅噪声影像，但进行特征提取或立体匹配时，其效果要理想得多。

作为本发明的一种优选实施方式，所述步骤二中的影像金字塔是由原始影像按一定规则生成的由细到粗不同分辨率的影像集，影像金字塔的底部是图像的高分辨率表示，也就是原始图像，而顶部是低分辨率的近似，最底层的分辨率最高，并且数据量最大，随着层数的增加，其分辨率逐渐降低，数据量也按比例减少。

作为本发明的一种优选实施方式，所述步骤五中的SIFT是用于图像处理领域的一种描述，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关，对于光线、噪声、微视角改变的容忍度也相当高，基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认，使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位，在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算，SIFT特征的信息量大，适合在海量数据库中快速准确匹配。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于无人机影像智能分析方法，其特征在于，所述分析方法包括以下步骤：

步骤一：影像水平纠正；首先获取影像信息数据，根据影像方位元素，通过数字微分纠正将影像纠正到同一水平的平面上，该平面高程采用空三加密点的平均高程；

步骤二：影像重采样；构建影像金字塔，对纠正后影像进行重采样，常用的重采样方法有取平均值法、双线性插值法、双三次卷积法和最邻近像元法；

步骤三：Wallis滤波；采用Wallis进行逐级影响增强以提升影像清晰度；

步骤四：特征点提取；对除顶层影像外的金字塔各层影像采用Harris算子提取大量特征点；

步骤五：SIFT匹配；采用SIFT算法对金字塔顶层影像进行初值匹配，然后前方交会得到一个粗略的DSM点云，再通过近邻内插得到初级DSM；

步骤六：密集匹配；在搜索区域内进行相关系数法粗匹配以及最小二乘法精匹配，得到子像素精度级别的同名点坐标，逐点匹配后得到密集匹配结果；

步骤七：三视检核；根据影像的三视约束原理并利用三视检核剔除匹配粗差从而提高检核通过率。

2.根据权利要求1所述的一种基于无人机影像智能分析方法，其特征在于：所述步骤三Wallis滤波的目的是将影像的灰度均值和方差，即影像灰度的动态范围，映射到给定的灰度均值和方差值，实际上是一种局部影像变换，使在影像不同位置处的灰度方差和灰度均值都具有近似相等的数值，即影像反差小的区域的反差增大，影像反差大的区域的反差减小，使得影像中灰度的微小变化信息得到增强，对低反差影像和反差不均匀的影像有特殊的作用，由于在计算影像的局部灰度方差和均值时使用一平滑算子，所以Wallis滤波在增强影像有用信息的同时抑制了噪声，提高了影像的信噪比，使影像中存在的极为模糊的纹理模式得到增强，因此，处理后的影像虽然在视觉效果上有些像一幅噪声影像，但进行特征提取或立体匹配时，其效果要理想得多。

3.根据权利要求1所述的一种基于无人机影像智能分析方法，其特征在于：所述步骤二中的影像金字塔是由原始影像按一定规则生成的由细到粗不同分辨率的影像集，影像金字塔的底部是图像的高分辨率表示，也就是原始图像，而顶部是低分辨率的近似，最底层的分辨率最高，并且数据量最大，随着层数的增加，其分辨率逐渐降低，数据量也按比例减少。

4.根据权利要求1所述的一种基于无人机影像智能分析方法，其特征在于：所述步骤五中的SIFT是用于图像处理领域的一种描述，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关，对于光线、噪声、微视角改变的容忍度也相当高，基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认，使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位，在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算，SIFT特征的信息量大，适合在海量数据库中快速准确匹配。