CN109146937A - 一种基于深度学习的电力巡检影像密集匹配方法 - Google Patents

Abstract

本发明涉及影像密集匹配，特别是涉及一种基于深度学习的电力巡检影像密集匹配方法。本发明将深度学习网络PSMNet加入到航空影像密集匹配的影像当中，通过网络中的金字塔池化层更好地吸收了影像的上下文信息，通过网络中的三维卷积层，更加精确地获得了影像的视差。这种方法更有效的克服了由于纹理重复，纹理缺乏，高亮区域等一系列传统软件算法难以有效匹配的病态区域。为电力线巡检建模提供了更加有效的信息。

Description

一种基于深度学习的电力巡检影像密集匹配方法

技术领域

本发明涉及影像密集匹配，特别是涉及一种基于深度学习的电力巡检影像密集匹配方法。

背景技术

无人机影像进行电力巡线相比于人工巡线有着高效、安全等多方面的优点。其中，利用航空影像影像进行密集匹配，从而获得逐个像素的视差值是恢复电力沿线真实三维模型的重要步骤。传统的密集匹配方法按照计算区域大小不同可以分为局部算法，全局算法和半全局算法。

局部算法通常以像素或者局部区域为计算对象，而全局算法通常以整幅图的信息作为计算对象来算出视差。相比之下，局部算法的优点是易于操作，计算量较少，但局部算法往往受到局部异常信息的影响，效果受到限制。相对于局部算法，全局算法的精度更高，效果也更好，不过全局算法对于计算的时间要求更长一些。

半全局匹配算法是一种介于全局与局部之间的算法。这种算法保留了全局算法的高精度特点，但并没有采用全部像素的信息建立能量函数，从而节约了计算的时间。该算法在密集匹配传统算法中占有非常重要的地位，在深度学习方法出现之前，这种算法的效果是非常出色的。下面按照局部和全局算法分别介绍几种经典的密集匹配算法。

传统的影像密集匹配方法往往受到光照不均匀、低纹理或重复纹理等一些列病态问题的影响导致匹配精度，鲁棒性受到影响。

发明内容

本发明设计了一种基于深度学习的密集匹配方法PSMNet(PyramidStereoMatchingNetwork)网络，这种方法能够较好的提取影像的上下文信息从而克服密集匹配中病态区域的问题，从而提升影像密集匹配的精度和鲁棒性。

本发明的技术方案是；一种基于深度学习的电力巡检影像密集匹配方法，包括以下步骤；

S1：搜集计算机视觉公开数据集KITTI2015、Flyingthings3D的数据，包括提供的原始立体像对和其对应的深度图，作为之后训练的样本；

S2：构建并设计网络模型，在原有的PSMNet网络的基础上引入新的激活函数ReLU-Leaky，并输入S1中获得的训练样本进行训练。

S3：将无人机航拍的电力线巡检影像放入S2中训练好的模型，获得电力线巡检影像的深度图。

进一步，步骤S2中的整个网络模型的架构包括普通卷积层，金字塔池化层，匹配代价聚合，三维卷积层和视差回归层；

普通卷积层包含了两层网络，用于初步的影像特征提取；第一层包含了九十六个大小为3*3大小的卷积核；第二层包含四个通道，每个通道使用卷积的大小均为3*3，前两个通道的卷积核个数为三十二和六十四，后两个通道的卷积个数为一百二十八，且采用了空洞卷积的方法；

金字塔池化层包含两个步骤，池化过程和融合过程；首先，分别将原始图像重采样为64*64，32*32，16*16，8*8四种尺度的影像，然后分别对不同尺度的影像采用池化操作，这里采用的是平均池化的方法；其次，将经过金字塔池化的特征图进行融合和拼接；

在匹配代价聚合的过程中，使用的数学公式如下：

从而获得了初步的匹配代价；

三维卷积层用于提高初步匹配代价聚合的精度，三维卷积层分为四个部分；第一个部分分为两个通道，每个通道包含32个3*3*3大小的普通三维卷积；第二个部分是堆叠沙漏卷积结构，分为四个通道，前两个通道包含64个3*3*3大小的沙漏卷积，后两个通道包含了64个3*3*3大小的反卷积结构；第三个部分也是一种堆叠沙漏的结构，包含四个通道，前两个通道包含了128个3*3*3大小的沙漏卷积结构，后两个通道包含了96个3*3*3大小的反卷积结构；第四部分与第三部分、第二部分为相同的结构，同样分为四个通道，前两个通道包含64个3*3*3大小的沙漏卷积，后两个通道包含了64个3*3*3大小的反卷积结构；

视差回归层当中，根据三维卷积层精化后的匹配代价，进行视差回归，得到最终的视差和深度，最终深度预测的公式如下：

进一步，步骤S2中使用了残差神经网络的思想。

进一步，所述的残差神经网络具体表现为，在三维卷积层的过程中，分别在第二部分、第三部分，第四部分堆叠沙漏卷积结构中加入了跳跃链接的卷积结果。

进一步，步骤S2中的实现框架为Pytorch框架。

进一步，步骤S3中所使用的电力线巡检的原始影像为无人机航拍影像，航高在100—200m。

本发明的有益效果是；

本发明将深度学习网络PSMNet加入到航空影像密集匹配的影像当中，通过网络中的金字塔池化层更好地吸收了影像的上下文信息，通过网络中的三维卷积层，更加精确地获得了影像的视差。这种方法更有效的克服了由于纹理重复，纹理缺乏，高亮区域等一系列传统软件算法难以有效匹配的病态区域。为电力线巡检建模提供了更加有效的信息。

附图说明

图1是PSMNet网络的步骤示意图。

图2是PSMNet网络的结构示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

实施例1：

本发明使用了一种深度神经网络结构PSMNet网络来进行密集匹配，PSMNet网络的结构和步骤见图1和图2所示：

附图2是PSMNet的主要结构，左右输入的立体像对分别通过两个权值共享的卷积神经网络通道，用来提取原始图像中的特征，将特征不断抽象出来。该网络首先对两幅图片分别进行卷积操作，这两个卷积操作实施权值共享。然后进入金字塔池化层，金字塔池化层通过在不同的尺度上进行池化融合，能够提取出多尺度的信息。接下来通过一系列的池化操作来实现匹配代价聚合的过程。在这一步之后，再将聚合的结果通过3D CNN模型对其进行精化。最后通过回归的方法输出估计得深度。

一种基于深度学习的电力巡检影像密集匹配方法，包括以下步骤；

S1：搜集计算机视觉公开数据集KITTI2015、Flyingthings3D的数据，包括提供的原始立体像对和其对应的深度图，作为之后训练的样本；

S2：构建并设计网络模型，在原有的PSMNet网络的基础上引入新的激活函数ReLU-Leaky，并输入S1中获得的训练样本进行训练。

S3：将无人机航拍的电力线巡检影像放入S2中训练好的模型，获得电力线巡检影像的深度图。

KITTI是一个完善且多用途的自动驾驶场景下的计算机视觉算法测试集。该数据集主要用于评测立体图像(Stereo)，光流(optical flow)、3D物体检测(objectdetection)、视觉测距(visual odometry)等计算机视觉领域。本发明实验主要采用的是KITTI2015数据集的图片，一共有200张带有真实视差的立体像对，将200对图片分为180对图片用于训练，剩下的20对立体像对用于测试。

Flyingthings3D数据集是一个大型的数据集，相比较于前两种数据集，它的立体数据量达到了39000个立体像对，提供了每个立体像对的左视图，右视图和真实视差图。基于其庞大的数据量，这个数据集非常适合于深度学习的训练过程。

在本实施例中，步骤S2中的整个网络模型的架构包括普通卷积层，金字塔池化层，匹配代价聚合，三维卷积层和视差回归层；

普通卷积层包含了两层网络，用于初步的影像特征提取；第一层包含了九十六个大小为3*3大小的卷积核；第二层包含四个通道，每个通道使用卷积的大小均为3*3，前两个通道的卷积核个数为三十二和六十四，后两个通道的卷积个数为一百二十八，且采用了空洞卷积的方法；具体网络结构见表一；

表一 普通卷积层结构

金字塔池化层包含两个步骤，池化过程和融合过程；首先，分别将原始图像重采样为64*64，32*32，16*16，8*8四种尺度的影像，然后分别对不同尺度的影像采用池化操作，这里采用的是平均池化的方法；其次，将经过金字塔池化的特征图进行融合和拼接；具体网络结构见表二；

表二 金字塔池化层结构

在匹配代价聚合的过程中，使用的数学公式如下：

从而获得了初步的匹配代价；

三维卷积层用于提高初步匹配代价聚合的精度，三维卷积层分为四个部分；第一个部分分为两个通道，每个通道包含32个3*3*3大小的普通三维卷积；第二个部分是堆叠沙漏卷积结构，分为四个通道，前两个通道包含64个3*3*3大小的沙漏卷积，后两个通道包含了64个3*3*3大小的反卷积结构；第三个部分也是一种堆叠沙漏的结构，包含四个通道，前两个通道包含了128个3*3*3大小的沙漏卷积结构，后两个通道包含了96个3*3*3大小的反卷积结构；第四部分与第三部分、第二部分为相同的结构，同样分为四个通道，前两个通道包含64个3*3*3大小的沙漏卷积，后两个通道包含了64个3*3*3大小的反卷积结构；具体网络结构见表三；

表三 三维卷积层结构

视差回归层当中，根据三维卷积层精化后的匹配代价，进行视差回归，得到最终的视差和深度，最终深度预测的公式如下：

在本实施例中，步骤S2中使用了残差神经网络的思想。

在本实施例中，所述的残差神经网络具体表现为，在三维卷积层的过程中，分别在第二部分、第三部分，第四部分堆叠沙漏卷积结构中加入了跳跃链接的卷积结果。

在本实施例中，步骤S2中的实现框架为Pytorch框架。

在本实施例中，步骤S3中所使用的电力线巡检的原始影像为无人机航拍影像，航高在100—200m。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于深度学习的电力巡检影像密集匹配方法，其特征在于，包括以下步骤；

S1：搜集计算机视觉公开数据集KITTI2015、Flyingthings3D的数据，包括提供的原始立体像对和其对应的深度图，作为之后训练的样本；

S2：构建并设计网络模型，在原有的PSMNet网络的基础上引入新的激活函数ReLU-Leaky，并输入S1中获得的训练样本进行训练。

S3：将无人机航拍的电力线巡检影像放入S2中训练好的模型，获得电力线巡检影像的深度图。

2.根据权利要求1所述的一种基于深度学习的电力巡检影像密集匹配方法，其特征在于，步骤S2中的整个网络模型的架构包括普通卷积层，金字塔池化层，匹配代价聚合，三维卷积层和视差回归层；

普通卷积层包含了两层网络，用于初步的影像特征提取；第一层包含了九十六个大小为3*3大小的卷积核；第二层包含四个通道，每个通道使用卷积的大小均为3*3，前两个通道的卷积核个数为三十二和六十四，后两个通道的卷积个数为一百二十八，且采用了空洞卷积的方法；

金字塔池化层包含两个步骤，池化过程和融合过程；首先，分别将原始图像重采样为64*64，32*32，16*16，8*8四种尺度的影像，然后分别对不同尺度的影像采用池化操作，这里采用的是平均池化的方法；其次，将经过金字塔池化的特征图进行融合和拼接；

在匹配代价聚合的过程中，使用的数学公式如下：

从而获得了初步的匹配代价；

三维卷积层用于提高初步匹配代价聚合的精度，三维卷积层分为四个部分；

第一个部分分为两个通道，每个通道包含32个3*3*3大小的普通三维卷积；

第二个部分是堆叠沙漏卷积结构，分为四个通道，前两个通道包含64个3*3*3大小的沙漏卷积，后两个通道包含了64个3*3*3大小的反卷积结构；

第三个部分也是一种堆叠沙漏的结构，包含四个通道，前两个通道包含了128个3*3*3大小的沙漏卷积结构，后两个通道包含了96个3*3*3大小的反卷积结构；第四部分与第三部分、第二部分为相同的结构，同样分为四个通道，前两个通道包含64个3*3*3大小的沙漏卷积，后两个通道包含了64个3*3*3大小的反卷积结构；

视差回归层当中，根据三维卷积层精化后的匹配代价，进行视差回归，得到最终的视差和深度，最终深度预测的公式如下：

3.根据权利要求2所述的一种基于深度学习的电力巡检影像密集匹配方法，其特征在于，步骤S2中使用了残差神经网络的思想。

4.根据权利要求3所述的一种基于深度学习的电力巡检影像密集匹配方法，其特征在于，所述的残差神经网络具体表现为，在三维卷积层的过程中，分别在第二部分、第三部分，第四部分堆叠沙漏卷积结构中加入了跳跃链接的卷积结果。

5.根据权利要求2所述的一种基于深度学习的电力巡检影像密集匹配方法，其特征在于，步骤S2中的实现框架为Pytorch框架。

6.根据权利要求1所述的一种基于深度学习的电力巡检影像密集匹配方法，其特征在于，步骤S3中所使用的电力线巡检的原始影像为无人机航拍影像，航高在100—200m。