CN108229587B - 一种基于飞行器悬停状态的输电杆塔自主扫描方法 - Google Patents

Abstract

本发明公开了一种基于飞行器悬停状态的输电杆塔自主扫描方法，包括离线深度学习步骤、在线自主扫描步骤和在线自动高清成像步骤，离线深度学习步骤采用深度学习方法在线实时定位输电杆塔，通过杆塔区域信息和POS信息反馈控制吊舱，实现输电杆塔的自主扫描，使用深度卷积神经网络自动学习并刻画出多种电力元件的内在多级特征并逐级抽象，达到同时实现特征学习和分类检测的目的，有效解决传统特征提取方法对特征学习和分类检测难以同时达到最佳检测效果等问题，实现多目标的在线实时检测；本发明在多目标识别的基础上引入信息反馈机制，自动控制载荷，调整成像设备试场，实现电力元件的高清成像，有效改善成像质量。

Description

一种基于飞行器悬停状态的输电杆塔自主扫描方法

技术领域

本发明涉及一种基于飞行器悬停状态的输电杆塔自主扫描方法，属于输电杆塔扫描技术领域。

背景技术

输电线路作为电力建设中的重要组成部分，近年来国家加大对输电线路的投入。公司所辖输电线路多处于山区，具有气候多变、地质环境复杂，山高林密、雾浓风大的特点，对机巡需求比较特殊。在动态飞行过程中，吊舱和输电线路相对位置关系也是动态的，有时需要多点悬停和变高飞行，需人工频繁操作飞机和载荷的遥控器，以对杆塔及其他电力元件进行无遗漏的全方位扫描巡查，才能完成巡检作业。但是所获取的杆塔影像多包含地表各类干扰地物，图像背景较为复杂，而且受光照、相对运动影响，图像质量存在劣化可能。因此，利用一种基于飞行器悬停状态的输电线路杆塔自主扫描方法，快速锁定输电线路杆塔和电力元件目标，实现基于影像的在线检测和快速锁定，以确保扫描拍摄数据的充分性和有效性，提高作业效率和自主性。

传统的依靠目标特征提取对杆塔和其他电力目标的检测，首先需要手工设计各个电力元件的特征，例如颜色、纹理、位置、形态等。因为手工设计特征需要大量的经验，需要对其应用领域和数据非常了解，还需对设计的特征进行大量的调试工作，在此基础上还需要有一个合适的分类器。同时设计特征，并选择一个分类器，合并两者并达到最优的效果，几乎是不可能完成的任务。本发明针对上述问题，引入深度学习方法中的深度卷积神经网络算法(CNN)。深度学习方法是不关心特征的，既不需要手动设计特征，也不需要挑选分类器，而是根据大量带标签的原始数据，自动学习并刻画出各个目标图像数据的内在多级特征并逐级抽象，达到同时实现特征学习和分类检测的目的，即将待测图像直接输入训练得到的模型中，就可实现多目标检测。利用CNN训练得到的杆塔检测模型可准确定位杆塔区域，在此基础上可通过杆塔的边界信息反馈控制吊舱的扫描范围，实现吊舱的自主扫描；在扫描过程中，利用CNN训练得到的多目标检测模型，多输电线路重点元件如绝缘子、防震锤、引流板、跳线联板等进行在线实时识别，并控制成像设备进行视场调整实现高清成像。该方法对于其他多目标的智能检测也具有借鉴意义。

中国专利申请(CN104978580A)“一种用于无人机巡检输电线路的绝缘子识别方法”，该方法包括图像采集及处理：从输电线路绝缘子图像中提取用于训练的子图像并进行初步处理，形成训练数据集；对提取到的用于训练的子图像进行打包处理，添加图像对应的标签；利用深度学习中的卷积神经网络(CNN)算法对数据进行训练，得到针对绝缘子的检测模型；绝缘子目标区域检测：对输电线路图像进行检测，获取绝缘子目标的候选框；对候选框进行非极大值抑制，得到最终的绝缘子候选框；对得到的最终的绝缘子候选框进行直线拟合操作，获取中心点，候选框的角度和大小信息，最后在输电线路绝缘子图像上进行标注。该方法仅可实现单目标的离线检测，不能达到本项目在线实时检测多目标的目的。中国专利申请(CN105120146A)“一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法”，包括无人机飞行平台、载荷稳定装置、运动相机、移动控制终端，无人机飞行平台的底部固定载荷稳定装置,运动相机固定在载荷稳定装置上，移动控制终端由运动目标携带,移动控制终端通过数据链路从无人机飞行平台获取运动相机的实时图像和相关状态信息，并根据运动物体自动锁定拍摄算法反馈的指令，控制无人机飞行平台随着运动物体进行飞行拍摄；本发明能够设定前驱迎拍、跟随后拍、侧面并拍多种拍摄方法，获得用户感兴趣的所有运动细节。上述物体自动锁定拍摄方法采用传统的特征提取方法，不仅需要手动设计特征，还需要进行大量的调试工作；另外，传统特征提取方法受复杂环境影响较大。

发明内容

本发明要解决的技术问题是：提供一种基于飞行器悬停状态的输电杆塔自主扫描方法，以解决现有技术中存在的问题。

本发明采取的技术方案为：一种基于飞行器悬停状态的输电杆塔自主扫描方法，包括以下步骤：

第一步、离线深度学习：对带标签的原始图像，分别进行杆塔识别模型和多目标检测模型的训练，两种训练均采用深度卷积神经网络，杆塔识别模型训练的输入数据是带有杆塔标签和背景标签的图像数据，多目标检测模型训练的输入数据是带有各种电力元件标签和背景标签的图像数据；

第二步、在线自主扫描：通过步骤1)得到杆塔识别模型，结合杆塔区域与杆塔POS信息，在人工干预下得到输电杆塔自主扫描路线；

第三步、在线自动高清成像：通过步骤1)得到电力元件多目标识别模型，结合元件的定位信息和吊舱姿态信息，反馈控制成像设备进行高清成像。

离线深度学习中：

A11：输入层，将图像进行缩放处理，将其像素统一为1296*864，卷积神经网络的感受野大小为64*64，图像尺寸为3*64*64；

A12：卷积层，设置C1、C2、C3三层卷积层，卷积层通过对输入图像的卷积来实现特征提取，每个输出节点通过一个卷积核与输入节点相连，每个输出节点通过一个卷积核与输入节点相连，每个输出特征图与前一层的一个或多个输入特征图相连，经过卷积后图像尺寸N的计算表达式为：

其中l为当前网络层数，K为卷积核大小，P为在输入的每一边上填充的像素，S为步长；

A13：池化层，把输入的特征图像分割为几个矩形区域，对相应的矩形区域做运算，采用最大池化方法，即取矩形区域中的最大值作为输出值，对于图像中的x区域，下采样后y值的计算表达式如下：

y＝max(x_i),x_i∈x

池化层采用S1、S2、S3三层，池化后的图像尺寸表达式与之前相同，池化后的特征图个数即为其对应的前一个卷积层的特征图个数；

A14：隐藏层，隐藏层F4设置为全连接层，激活函数选择ReLu函数；

A15：分类层，分类层F5设置2个神经元，与F4的神经元构成全连接；

采用Softmax回归模型进行识别检测，有一个带标签的训练样本集{(x⁽¹⁾，y⁽¹⁾)，(x⁽²⁾，y⁽²⁾)，(x⁽³⁾)，y⁽³⁾，...}，y⁽ⁱ⁾∈{1，2，...，k}，k为目标种类数。对于给定的样本输入x，用假设函数针对每一个类别j估算出概率值p(y＝j|x)，也就是估计x的每一种分类结果出现的概率。Softmax的假设函数如下所示：

式中，θ为模型参数

在线自主扫描具体步骤如下：

A21：采用离线训练好的杆塔识别模型，在飞行器飞行过程中进行实时在线检测，当检测到杆塔目标时，对其进行准确定位，并将飞行器切换到悬停状态；

A22结合杆塔和无人机的POS(POS系统，又称为IMU/DGPS系统，由动态差分GPS(DGPS)、惯性测量装置(IMU)、主控计算机系统(PCS)以及相应的后处理软件四部分组成)信息，确定自动扫描范围，以杆塔中心点为基准分别计算出吊舱扫描杆塔时的最大上、下、左、右偏位角，利用吊舱反馈控制回路调整相机视轴和视场，从左上角开始，从上到下进行扫描成像，且吊舱的俯仰角和水平角不大于计算的四个最大偏位角。

在线自动高清成像步骤如下：

A31：采用离线训练好的多目标检测模型，在自主扫描杆塔的过程中同时进行重点元件实时检测，并进行区域定位，重点元件包括玻璃绝缘子、防震锤和引流板；

A32：结合元件定位信息和当前状态下吊舱的姿态，反馈控制成像设备调整视场，获得电力元件的高清成像，之后自动返回扫描路线继续扫描。

有益效果：与现有技术相比，本发明的效果如下：

(1)本发明使用深度学习方法在线实时定位输电杆塔，通过杆塔区域信息和POS信息反馈控制吊舱，实现输电杆塔的自主扫描；

(2)本发明使用深度卷积神经网络自动学习并刻画出多种电力元件的内在多级特征并逐级抽象，达到同时实现特征学习和分类检测的目的，有效解决传统特征提取方法对特征学习和分类检测难以同时达到最佳检测效果等问题，实现多目标的在线实时检测；

(3)本发明在多目标识别的基础上引入信息反馈机制，自动控制载荷，调整成像设备试场，实现电力元件的高清成像，有效改善成像质量。

附图说明

图1是本发明的输电杆塔自主扫描方法流程图；

图2是本发明的深度卷积神经网络的网络框架图；

图3是本发明的卷积及池化的示意图。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

实施例：如图1-图3所示，一种基于飞行器悬停状态的输电杆塔自主扫描方法，包括以下步骤：

第一步、离线深度学习：对带标签的原始图像，分别进行杆塔识别模型和多目标检测模型的训练，两种训练均采用深度卷积神经网络，杆塔识别模型训练的输入数据是带有杆塔标签和背景标签的图像数据，多目标检测模型训练的输入数据是带有各种电力元件标签和背景标签的图像数据；

第二步、在线自主扫描：通过步骤1)得到杆塔识别模型，结合杆塔区域与杆塔POS信息，在人工干预下得到输电杆塔自主扫描路线；

第三步、在线自动高清成像：通过步骤1)得到电力元件多目标识别模型，结合元件的定位信息和吊舱姿态信息，反馈控制成像设备进行高清成像。

离线深度学习中：

A11：输入层，将图像进行缩放处理，将其像素统一为1296*864，卷积神经网络的感受野大小为64*64，图像尺寸为3*64*64；

A12：卷积层，设置C1、C2、C3三层卷积层，卷积层通过对输入图像的卷积来实现特征提取，每个输出节点通过一个卷积核与输入节点相连，每个输出节点通过一个卷积核与输入节点相连，每个输出特征图与前一层的一个或多个输入特征图相连，经过卷积后图像尺寸N的计算表达式为：

其中l为当前网络层数，K为卷积核大小，P为在输入的每一边上填充的像素，S为步长；

A13：池化层，把输入的特征图像分割为几个矩形区域，对相应的矩形区域做运算，采用最大池化方法，即取矩形区域中的最大值作为输出值，对于图像中的x区域，下采样后y值的计算表达式如下：

y＝max(x_i),x_i∈x

池化层采用S1、S2、S3三层，池化后的图像尺寸表达式与之前相同，池化后的特征图个数即为其对应的前一个卷积层的特征图个数；

A14：隐藏层，隐藏层F4设置为全连接层，激活函数选择ReLu函数；

A15：分类层，分类层F5设置2个神经元，与F4的神经元构成全连接；

采用Softmax回归模型进行识别检测，有一个带标签的训练样本集{(x⁽¹⁾，y⁽¹⁾)，(x⁽²⁾，y⁽²⁾)，(x⁽³⁾，y⁽³⁾)，...}，y⁽ⁱ⁾∈{1，2，...，k}，k为目标种类数。对于给定的样本输入x，用假设函数针对每一个类别j估算出概率值p(y＝j|x)，也就是估计x的每一种分类结果出现的概率。Softmax的假设函数如下所示：

式中，θ为模型参数

在线自主扫描具体步骤如下：

A21：采用离线训练好的杆塔识别模型，在飞行器飞行过程中进行实时在线检测，当检测到杆塔目标时，对其进行准确定位，并将飞行器切换到悬停状态；

A22：结合杆塔和无人机的pos(POS系统，又称为IMU/DGPS系统，由动态差分GPS(DGPS)、惯性测量装置(IMU)、主控计算机系统(PCS)以及相应的后处理软件四部分组成)信息，确定自动扫描范围，以杆塔中心点为基准分别计算出吊舱扫描杆塔时的最大上、下、左、右偏位角，利用吊舱反馈控制回路调整相机视轴和视场，从左上角到右下角进行扫描成像，且吊舱的俯仰角和水平角不大于计算的四个最大偏位角。

在线自动高清成像步骤如下：

A31：采用离线训练好的多目标检测模型，在自主扫描杆塔的过程中同时进行重点元件实时检测，并进行区域定位，重点元件包括玻璃绝缘子、防震锤和引流板；

A32：结合元件定位信息和当前状态下吊舱的姿态，反馈控制成像设备调整视场，获得电力元件的高清成像，之后自动返回扫描路线继续扫描。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (1)

1.一种基于飞行器悬停状态的输电杆塔自主扫描方法，其特征在于：包括以下步骤：

第一步、离线深度学习：对带标签的原始图像，分别进行杆塔识别模型和多目标检测模型的训练，两种训练均采用深度卷积神经网络，杆塔识别模型训练的输入数据是带有杆塔标签和背景标签的图像数据，多目标检测模型训练的输入数据是带有各种电力元件标签和背景标签的图像数据；

第二步、在线自主扫描：通过第一步得到杆塔识别模型，结合杆塔区域与杆塔POS信息，在人工干预下得到输电杆塔自主扫描路线；

第三步、在线自动高清成像：通过第一步得到电力元件多目标识别模型，结合元件的定位信息和吊舱姿态信息，反馈控制成像设备进行高清成像；

离线深度学习中：

A11：输入层，将图像进行缩放处理，将其像素统一为1296*864，卷积神经网络的感受野大小为64*64，图像尺寸为3*64*64；

A12：卷积层，设置C1、C2、C3三层卷积层，卷积层通过对输入图像的卷积来实现特征提取，每个输出节点通过一个卷积核与输入节点相连，每个输出特征图与前一层的一个或多个输入特征图相连，经过卷积后图像尺寸N的计算表达式为：

其中l为当前网络层数，K为卷积核大小，P为在输入的每一边上填充的像素，S为步长；

A13：池化层，把输入的特征图像分割为几个矩形区域，对相应的矩形区域做运算，采用最大池化方法，即取矩形区域中的最大值作为输出值，对于图像中的x区域，下采样后y值的计算表达式如下：

y＝max(x_i),x_i∈x

池化层采用S1、S2、S3三层，池化后的图像尺寸表达式与之前相同，池化后的特征图个数即为其对应的前一个卷积层的特征图个数；

A14：隐藏层，隐藏层F4设置为全连接层，激活函数选择ReLu函数；

A15：分类层，分类层F5设置2个神经元，与F4的神经元构成全连接；

采用Softmax回归模型进行识别检测，有一个带标签的训练样本集{(x⁽¹⁾，y⁽¹⁾)，(x⁽²⁾，y⁽²⁾)，(x⁽³⁾，y⁽³⁾)，...}，y(i)∈{1，2，...，k}，k为目标种类数；对于给定的样本输入x，用假设函数针对每一个类别j估算出概率值p(y＝j|x)，也就是估计x的每一种分类结果出现的概率；Softmax的假设函数如下所示：

式中，θ为模型参数；

在线自主扫描具体步骤如下：

A21：采用离线训练好的杆塔识别模型，在飞行器飞行过程中进行实时在线检测，当检测到杆塔目标时，对其进行准确定位，并将飞行器切换到悬停状态；

A22：结合杆塔和无人机的POS信息，确定自动扫描范围，以杆塔中心点为基准分别计算出吊舱扫描杆塔时的最大上、下、左、右偏位角，利用吊舱反馈控制回路调整相机视轴和视场，从左上角到右下角进行扫描成像，且吊舱的俯仰角和水平角不大于计算的四个最大偏位角；

在线自动高清成像步骤如下：

A31：采用离线训练好的多目标检测模型，在自主扫描杆塔的过程中同时进行重点元件实时检测，并进行区域定位，重点元件包括玻璃绝缘子、防震锤和引流板；

A32：结合元件定位信息和当前状态下吊舱的姿态，反馈控制成像设备调整视场，获得电力元件的高清成像，之后自动返回扫描路线继续扫描。

Images