CN113034598B - 一种基于深度学习的无人机电力巡线方法 - Google Patents

一种基于深度学习的无人机电力巡线方法 Download PDF

Info

Publication number
CN113034598B
CN113034598B CN202110397172.7A CN202110397172A CN113034598B CN 113034598 B CN113034598 B CN 113034598B CN 202110397172 A CN202110397172 A CN 202110397172A CN 113034598 B CN113034598 B CN 113034598B
Authority
CN
China
Prior art keywords
power line
network
layer
convolution
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110397172.7A
Other languages
English (en)
Other versions
CN113034598A (zh
Inventor
陈许若彦
郑恩辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202110397172.7A priority Critical patent/CN113034598B/zh
Publication of CN113034598A publication Critical patent/CN113034598A/zh
Application granted granted Critical
Publication of CN113034598B publication Critical patent/CN113034598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的无人机电力巡线方法。无人机沿电力巡线并实时采集图像，预处理构建数据集；选取深度学习网络装载初始的模型参数训练获得电力线分割网络模型；待分割的无人机实时图像预处理后输入电力线分割网络模型中，得到电力线的像素级分割区域；对电力线的像素级分割区域进行矩形范围提取拟合出电力线的位置与方向的偏差并计算偏差率；通过模糊控制器对电力线的位置与方向处理得到位置与方向的控制数据，以实现无人机巡线。本发明整个方法过程简单可靠，基于深度学习实现各种环境下无人机电力巡线。

Description

一种基于深度学习的无人机电力巡线方法
技术领域
本发明涉及电力巡线、图像处理领域的一种无人机电力巡线方法，特别涉及基于深度学习的电力巡线方法。
背景技术
近年来，由于国家不断加大电网规划、建设与改造力度，电网发展水平显著提升，电力线路增长迅速。电力线分布具有设备数量多、分布范围广和网架结构复杂的特点，而传统人工的电力巡检方式受到地理环境、天气状况、巡检人员专业素质的影响，存在着工作人员安全无保障、巡检效率低、巡检质量低和工作量大等问题。因此，以人工为主的电网运行维护模式已无法应对现阶段社会高速发展对电能的需求和长距离的安全运行维护需求。
随着无人机技术的发展与成熟，将无人机应用于电力巡线，可以获取实时、清晰的无人机图像数据，与传统的人工巡检方式相比，提高了电力巡线效率。不用浪费大量的人力与时间在巡线中，同时，可避免复杂、危险地形环境电力巡线存在的工作人员人身安全问题。电力巡线过程中采集的无人机图像数据也可用于电力线后续的检测维护。
但采用无人机电力巡线还是存在着下述的问题：
对无人机电力巡线的控制方式是人工操作为主，这种方式需要操作人员在电力巡线过程中对无人机实时操作，导致需要人力的投入，造成人力浪费，不能有效的解决人力浪费的问题。较为推广的自动电力巡线方式是激光雷达建图导航，这种方式灵活性差，只能对已采集建图的电力线进行规划导航，对不在地图中的电力线无法进行导航，同时需要人工预先现场采集激光点云数据。采用上述方法很难有效减少人力在电力巡线中的投入，并且对于人工难以到达的复杂、危险地形环境难以进行无人机自动电力巡线，无法完全解决复杂、危险地形环境电力巡线存在的工作人员人身安全问题。
发明内容
本发明主要解决的技术问题是，通过深度学习实现电力线的像素级分割，再通过图像处理技术提取电力线区域的方向并拟合出电力线位置方向，最后通过模糊控制器确定控制信号以实现无人机巡线。本发明整个方法过程简单可靠，基于深度学习实现各种环境下无人机电力巡线。
为了解决上述技术问题，如图1所示，本发明包括如下步骤：
1)无人机沿电力巡线并实时采集图像，针对采集的图像进行预处理，进而构建数据集；
2)针对分割对象与应用场景的特点，选取深度学习网络，对深度学习网络装载初始的网络参数进行训练，训练完毕后获得电力线分割网络模型；
3)将待分割的无人机实时图像预处理后输入已训练的电力线分割网络模型中，得到电力线的像素级分割区域，即每个像素是否为电力线的分割结果；
4)通过图像处理对电力线的像素级分割区域进行矩形范围提取，并拟合出电力线的位置与方向的偏差，计算位置与方向的偏差率；
5)通过模糊控制器对电力线的位置与方向分别计算得到位置与方向的控制数据，以实现无人机巡线。将位置与方向的控制数据实时发送到沿电力巡线的无人机上进而控制无人机更好地沿电力巡线地飞行。
在步骤1)中，通过无人机采集不同背景下的电力线图像，对电力线图像进行滤波、灰度化和图像增强的预处理操作，从而构建原始数据集，电力线图像中已经标注电力线位置范围和类别，对电力线图像进行数据增强以扩充原始数据集。
所述的数据增强具体采用超像素法和添加随机频域噪声。
所述的不同背景是指电力线经过的不同背景，例如树、人行道等
具体实施中，事先可将其中影响深度学习网络训练及测试的异常的电力线图像剔除，包括电力塔杆倒塌、光照极端以及拍摄不到电力线这些异常的原始数据。
在步骤2)中，深度学习网络主要由主干网络和头部网络依次连接构成；
如图2所示，所述的主干网络主要有七个基础网络子模块构成，每个基础网络子模块均是由一个残差网络模块(a)和一个深度可分离卷积网络模块(b)连接构成，残差网络模块主要由第一卷积层、第一深度可分离卷积层、第二卷积层、相加层构成，第一卷积层、第一深度可分离卷积层、第二卷积层依次连接，第一卷积层的输入作为残差网络模块的输入，第二卷积层的输出和残差网络模块的输入同时输入到相加层中进行像素相加处理后输出作为残差网络模块的输出；深度可分离卷积网络模块主要由第三卷积层、第二深度可分离卷积层和第四卷积层依次连接构成，第三卷积层的输入为深度可分离卷积网络模块的输入，第四卷积层的输出为深度可分离卷积网络模块的输出；
如图3所示，所述的头部网络主要包括空洞空间卷积池化金字塔模块和第五卷积层、头部连接层、第六卷积层、头部上采样层构成；空洞空间卷积池化金字塔模块包括四个卷积层和一个池化层、金字塔连接层、融合卷积层和金字塔上采样层，四个卷积层和一个池化层并列设置，头部网络的输入分别输入到四个卷积层和一个池化层中，四个卷积层和一个池化层各自的输出金字塔连接层拼接后获得多尺度编码特征，多尺度编码特征输入到融合卷积层，融合卷积层的输出连接到金字塔上采样层的输入，同时头部网络的输入经第五卷积层后和金字塔上采样层的输出一起输入到头部连接层进行拼接，头部连接层的输出再经第六卷积层和头部上采样层连接，头部上采样层的输出作为头部网络的输出。
本发明利用轻量级基础网络的标准卷积和深度可分离卷积形成基础网络子模块作为主干网络；头部网络利用空洞空间卷积池化金字塔模块提取5个尺度的特征图拼接多尺度特征融合得到编码特征，多尺度编码特征上采样利用通道与特征融合合并成一个全新的特征作为头部网络的输出。
具体实施中，将数据集分为训练集和测试集，将训练集输入到深度学习网络。
2-3)将数据集输入上述选取的网络中，基于分类损失函数以反向传播更新网络权重对网络完成训练，形成电力线分割网络模型。
所述的主干网络为MobileNet，头部网络为Deeplab v3+，分类损失函数为二元交叉熵损失函数。
在步骤3)中，使用滤波对待分割的无人机实时图像进行滤波从而消除噪声，再通过灰度化算法得到灰度图像，将灰度图像输入至电力线分割网络模型中通过前向传播得到电力线的像素级分割区域。
在步骤4)中，通过边界扩展将图像上下边界向外扩展固定的范围，再通过图像形态学中的闭操作处理以消除检测图像中小的空洞并填补断裂，检测图像中的属于电力线分割区域的各个连通域的最小外接矩形，通过最小外接矩形检测出所有电力线分割区域的大小，选取最小外接矩形面积最大的电力线分割区域，将剩余的电力线分割区域去除，再通过对该电力线分割区域求最小外接矩形的最长中心线得到电力线的位置和方向；
进而根据拟合出的电力线中心点到图像竖直中线的水平方向距离得到电力线的位置偏差，根据拟合出的电力线与图像竖直方向之间的角度得到电力线的方向偏差，将t时刻的位置偏差xt和上一次位置偏差xt-1相减计算位置的偏差率(xt-xt-1)/Δt，针对t时刻的角度偏差yt和上一次位置偏差yt-1计算位置的偏差率(yt-yt-1)/Δt，Δt表示相邻时刻之间的间隔时间。
在步骤5)中，通过模糊控制器对电力线的位置与方向分别计算得到位置与方向的控制数据，包括步骤如下：
5-1)确定位置模糊控制器的输入量位置偏差、位置偏差率，输出量为位置偏差，确定方向模糊控制器的输入量方向偏差、方向偏差率，输出量为方向偏差；
将位置模糊控制器和方向模糊控制器的输入输出量模糊化，定义模糊子集为{NB，NM，NS，ZE，PS，PM，PB}，分别对应负大、负中、负小、零、正小、正中、正大；
5-2)采用梯形函数作为位置模糊控制器和方向模糊控制器的输入的隶属度函数，按照输入偏差、偏差率越大输出的偏差越大来建立模糊推理处理；
5-3)采用最大隶属度法作为位置模糊控制器和方向模糊控制器输出的反模糊化方法，得到位置模糊控制器和方向模糊控制器的输出量。
本发明的有益效果：
1)本发明采用深度学习对无人机采集的实时电力线图像分割提取电力线区域，其与传统图像处理方法相比具有更高的精度、更完整的分割效果，并可以对各种环境背景下的电力线进行精细、准确分割。
2)使用深度学习语义分割网络实现像素级的电力线分割，可以得到精确的位置信息，并且在网络中采用深度可分离卷积，与普通卷积相比可以有效减少网络参数量、计算量提高网络计算效率。
3)对分割结果筛选拟合获得电力线的位置与方向偏差，再使用位置模糊控制器和方向模糊控制器分别计算位置和方向控制偏差，可以提高控制巡线过程的稳定性，减少飞行过程中控制信号的波动。
附图说明
图1是本发明一实施例中方法流程示意图。
图2是本发明一实施例中深度学习主干网络的模块结构图。
图3是本发明一实施例中深度学习头部网络的网络结构图。
图4(a)是本发明一实施例中无人机采集的原始图。
图4(b)是本发明一实施例中网络学习处理拟合直线的结果图。
图5是本发明一实施例中模糊控制器输入隶属度函数图。
具体实施方式
下面结合具体实施例对本发明做进一步的说明。
如图1所示，本发明实施例及其实施过程包括如下步骤：
步骤1，通过无人机巡线采集不同环境背景、季节天气下的电力线图像，如图4(a)所示。
对其使用高斯滤波算法进行滤波，再通过灰度化得到灰度图像，最后通过直方图均衡化实现图像增强得到预处理图像，由预处理图像构建原始数据集，将其中影响深度学习网络训练及测试的异常图像数据剔除，包括电力塔杆倒塌、光照极端以及拍摄不到电力线这些异常的原始数据，再对其余数据进行标注，标注内容为电力线位置范围和类别，并对标注后数据增强以扩充数据集，其中数据增强包括：
a、超像素法
在最大分辨率处生成图像的若干个超像素，并将其调整到原始大小，再将原始图像中的所有超像素区域按设定比例替换为超像素，图像中其他区域不改变；
b、添加随机频域噪声
在频域中采用随机指数对噪声映射进行加权，再转换到空间域中。
步骤2，针对分割对象与应用场景的特点，选取深度学习网络，对所选取的深度学习网络装载初始的模型参数进行训练，训练完毕后获得电力线分割网络模型，包括以下步骤：
步骤2-1，利用轻量级基础网络的标准卷积和深度可分离卷积形成基础网络子模块作为主干网络，用于获取图像的单个特征。
本实施例中，主干网络主要有七个基础网络子模块构成，每个基础网络子模块均是由一个步长为1的残差网络模块(a)和一个步长为2的深度可分离卷积网络模块(b)构成如图所示。残差网络模块结构如图2部分(a)所示，残差网络模块主要由卷积核为(1,1)的第一卷积层、卷积核为(3,3)的第一深度可分离卷积层、卷积核为(1,1)的第二卷积层、相加层构成，第一卷积层、第一深度可分离卷积层、第二卷积层依次连接，第一卷积层的输入作为残差网络模块的输入，第二卷积层的输出和残差网络模块的输入同时输入到相加层中进行像素相加处理后输出作为残差网络模块的输出。深度可分离卷积网络模块结构如图2部分(b)所示，深度可分离卷积网络模块主要由卷积核为(1,1)的第三卷积层、卷积核为(3,3)步长为2的第二深度可分离卷积层和卷积核为(1,1)的第四卷积层依次连接构成，第三卷积层的输入为深度可分离卷积网络模块的输入，第四卷积层的输出为深度可分离卷积网络模块的输出。
步骤2-2，构建头部网络：利用空洞空间卷积池化金字塔模块提取5个尺度的特征图拼接多尺度特征融合得到编码特征，对多尺度编码特征上采样利用通道与特征融合合并成一个全新的特征作为头部网络的输出。
本实施例中，头部网络的网络结构如图3所示，主要包括空洞空间卷积池化金字塔模块和第五卷积层、头部连接层、第六卷积层、头部上采样层构成。将输入空洞空间卷积池化金字塔模块分别进行卷积核为(1,1)、卷积核为(3,3)膨胀度为6、卷积核为(3,3)膨胀度为12、卷积核为(3,3)膨胀度为18的四个卷积以及一个池化操作，四个卷积层和一个池化层各自的输出金字塔连接层拼接后获得多尺度编码特征，多尺度编码特征输入到卷积核为(1,1)的融合卷积层，融合卷积层的输出连接到4倍上采样的金字塔上采样层的输入，同时头部网络的输入经卷积核为(1,1)的第五卷积层后和金字塔上采样层的输出一起输入到头部连接层进行拼接，头部连接层的输出再经卷积核为(3,3)的第六卷积层和4倍上采样的头部上采样层连接，头部上采样层的输出作为头部网络的输出。
步骤2-3，将数据集输入上述选取的网络中，基于二元分类损失函数以反向传播更新网络权重对网络完成训练，形成电力线分割网络模型。
本实施例中，上述主干网络、头部网络以及二元分类损失函数采用pytorch深度学习框架进行网络搭建，训练参数的设置为：设置训练优化器为Adam，权重初始化方法为Xavier，出示学习率为0.001，最大训练周期为120，批次大小为16。设置验证集间隔检测训练精确度，训练完成的标志为到达最大训练周期或准确度达到80要求。训练完成后将网络模型结构及参数保存为电力线分割网络模型。
步骤3，使用高斯滤波算法对待分割图像进行滤波从而消除噪声，再通过灰度化算法得到灰度图像作为网络输入图像，将其输入至电力线分割网络模型中通过前向传播得到电力线的像素级分割区域。
步骤4，通过边界扩展将图像上下边界扩展140个像素的范围，通过图像形态学中的闭操作消除检测图像中小的空洞并填补断裂，通过最小外接矩形检测出所有电力线分割连续区域的大小，选取最小外接矩形面积最大的电力线分割区域，将剩余的电力线分割区域去除，再通过对该选取的区域最小外接矩形逼近算法得到最小外接矩形顶点坐标，根据顶点坐标拟合得到一条直线计算电力线的位置和方向的偏差，根据拟合出的电力线中心点到图像竖直中线的水平方向距离得到电力线的位置偏差，根据拟合出的电力线与图像竖直方向之间的角度得到电力线的方向偏差。
针对t时刻的位置偏差xt和上一次位置偏差xt-1计算位置的偏差率(xt-xt-1)/Δt，针对t时刻的角度偏差xt和上一次位置偏差xt-1计算位置的偏差率(xt-xt-1)/Δt。
识别结果获得电力线如图4(a)所示。
步骤5，通过模糊控制器对电力线的位置与方向偏差分别计算得到位置与方向的控制数据以实现无人机巡线，包括以下步骤：
步骤5-1，确定位置模糊控制器的输入量位置偏差、位置偏差率，输出量为位置偏差，确定方向模糊控制器的输入量方向偏差、方向偏差率，输出量为方向偏差。将位置模糊控制器和方向模糊控制器的输入输出量模糊化，定义模糊子集为{NB，NM，NS，ZE，PS，PM，PB}，分别对应负大、负中、负小、零、正小、正中、正大。
本实施例中，位置模糊控制器的输入量位置偏差的论域为[-320，320]，输入量位置偏差率的论域为[-100，100]，输出量位置偏差的论域为[-150，150]。方向模糊控制器的输入量方向偏差的论域为[-90，90]，输入量方向偏差率的论域为[-30，30]，输出量方向偏差的论域为[-50，50]。
步骤5-2，如图5所示，采用梯形函数作为位置模糊控制器和方向模糊控制器输入的隶属度函数，按照输入偏差、偏差率越大输出的偏差越大来建立位置和方向模糊推理处理。下表为位置模糊控制器和方向模糊控制器的规则表。
步骤5-3，采用最大隶属度法作为位置模糊控制器和方向模糊控制器输出的反模糊化方法，得到位置模糊控制器和方向模糊控制器的输出量。
根据本实施例提供的一种基于深度学习的无人机电力巡线方法，由于本实施例通过两种轻量级网络组合构建成电力线分割网络模型，该模型能够达到83.34ms/fps的分割效率，为实时分割电力线提供了的保障。由于通过模糊控制器得到位置与方向的控制数据，使得无人机巡线航迹更平滑。通过本实施例的一种基于深度学习的无人机电力巡线方法，采用深度学习、图像处理相结合的方式实现了对无人机实时图像的电力线提取，采用模糊控制器实现了无人机位置与方向的控制，因此对日常环境下无人机电力巡线具有更大的实际价值。
以上所述，实施例子仅用于举例说明本发明的具体实施方式，并非以此限制本发明的实施范围，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更活该行为同等变化的等效实施例。但凡依本发明至形状、原理所做的变化，均应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于深度学习的无人机电力巡线方法，其特征在于，包括如下步骤：
1）无人机沿电力巡线并实时采集图像，针对采集的图像进行预处理，进而构建数据集；
2）选取深度学习网络，对深度学习网络装载初始的网络参数进行训练，训练完毕后获得电力线分割网络模型；
在步骤2）中，深度学习网络由主干网络和头部网络依次连接构成；
所述的主干网络由七个基础网络子模块构成，每个基础网络子模块均是由一个残差网络模块和一个深度可分离卷积网络模块连接构成，残差网络模块由第一卷积层、第一深度可分离卷积层、第二卷积层、相加层构成，第一卷积层、第一深度可分离卷积层、第二卷积层依次连接，第一卷积层的输入作为残差网络模块的输入，第二卷积层的输出和残差网络模块的输入同时输入到相加层中进行像素相加处理后输出作为残差网络模块的输出；深度可分离卷积网络模块由第三卷积层、第二深度可分离卷积层和第四卷积层依次连接构成，第三卷积层的输入为深度可分离卷积网络模块的输入，第四卷积层的输出为深度可分离卷积网络模块的输出；
所述的头部网络由空洞空间卷积池化金字塔模块和第五卷积层、头部连接层、第六卷积层、头部上采样层构成；空洞空间卷积池化金字塔模块包括四个卷积层和一个池化层、金字塔连接层、融合卷积层和金字塔上采样层，头部网络的输入分别输入到四个卷积层和一个池化层中，四个卷积层和一个池化层各自的输出金字塔连接层拼接后获得多尺度编码特征，多尺度编码特征输入到融合卷积层，融合卷积层的输出连接到金字塔上采样层的输入，同时头部网络的输入经第五卷积层后和金字塔上采样层的输出一起输入到头部连接层进行拼接，头部连接层的输出再经第六卷积层和头部上采样层连接，头部上采样层的输出作为头部网络的输出；
2-3）将数据集输入上述深度学习网络中，基于分类损失函数以反向传播更新网络权重对网络完成训练，形成电力线分割网络模型；
3）将待分割的无人机实时图像预处理后输入已训练的电力线分割网络模型中，得到电力线的像素级分割区域；
4）通过图像处理对电力线的像素级分割区域进行矩形范围提取，并拟合出电力线的位置与方向的偏差，计算位置与方向的偏差率；
在步骤4）中，通过边界扩展将图像上下边界向外扩展固定的范围，再通过图像形态学中的闭操作处理，检测图像中的属于电力线分割区域的各个连通域的最小外接矩形，选取最小外接矩形面积最大的电力线分割区域，将剩余的电力线分割区域去除，再通过对该电力线分割区域求最小外接矩形的最长中心线得到电力线的位置和方向；
进而根据拟合出的电力线中心点到图像竖直中线的水平方向距离得到电力线的位置偏差，根据拟合出的电力线与图像竖直方向之间的角度得到电力线的方向偏差，将t时刻的位置偏差xt和上一次位置偏差xt-1相减计算位置的偏差率(xt - xt-1)/△t，针对t时刻的方向偏差yt和上一次方向偏差yt-1计算方向的偏差率(yt - yt-1)/△t，△t表示相邻时刻之间的间隔时间；
5）通过模糊控制器对电力线的位置与方向分别计算得到位置与方向的控制数据，以实现无人机巡线；
在步骤5）中，通过模糊控制器对电力线的位置与方向分别计算得到位置与方向的控制数据，包括步骤如下：
5-1）确定位置模糊控制器的输入量位置偏差、位置偏差率，输出量为位置偏差，确定方向模糊控制器的输入量方向偏差、方向偏差率，输出量为方向偏差；将位置模糊控制器和方向模糊控制器的输入输出量模糊化，定义模糊子集为{NB，NM，NS，ZE，PS，PM，PB}，分别对应负大、负中、负小、零、正小、正中、正大；
5-2）采用梯形函数作为位置模糊控制器和方向模糊控制器的输入的隶属度函数；
5-3）采用最大隶属度法作为位置模糊控制器和方向模糊控制器输出的反模糊化方法，得到位置模糊控制器和方向模糊控制器的输出量。
2.根据权利要求1所述的一种基于深度学习的无人机电力巡线方法，其特征在于：在步骤1）中，通过无人机采集不同背景下的电力线图像，对电力线图像进行滤波、灰度化和图像增强的预处理操作，从而构建原始数据集，电力线图像中已经标注电力线位置范围和类别，对电力线图像进行数据增强以扩充原始数据集。
3.根据权利要求1所述的一种基于深度学习的无人机电力巡线方法，其特征在于：在步骤3）中，使用滤波对待分割的无人机实时图像进行滤波从而消除噪声，再通过灰度化算法得到灰度图像，将灰度图像输入至电力线分割网络模型中通过前向传播得到电力线的像素级分割区域。
CN202110397172.7A 2021-04-13 2021-04-13 一种基于深度学习的无人机电力巡线方法 Active CN113034598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110397172.7A CN113034598B (zh) 2021-04-13 2021-04-13 一种基于深度学习的无人机电力巡线方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110397172.7A CN113034598B (zh) 2021-04-13 2021-04-13 一种基于深度学习的无人机电力巡线方法

Publications (2)

Publication Number Publication Date
CN113034598A CN113034598A (zh) 2021-06-25
CN113034598B true CN113034598B (zh) 2023-08-22

Family

ID=76456581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110397172.7A Active CN113034598B (zh) 2021-04-13 2021-04-13 一种基于深度学习的无人机电力巡线方法

Country Status (1)

Country Link
CN (1) CN113034598B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673514B (zh) * 2021-08-11 2024-06-04 国网山东省电力公司微山县供电公司 一种输电线路异物侵入检测方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485711A (zh) * 2016-10-21 2017-03-08 中国航空工业集团公司洛阳电光设备研究所 一种基于视频图像的高压线检测及跟踪方法
CN110176704A (zh) * 2019-05-29 2019-08-27 潘珍珠 一种输电线分线设备
CN111598095A (zh) * 2020-03-09 2020-08-28 浙江工业大学 一种基于深度学习的城市道路场景语义分割方法
CN112508977A (zh) * 2020-12-29 2021-03-16 天津科技大学 一种面向自动驾驶场景的基于深度学习的语义分割方法
CN112614072A (zh) * 2020-12-29 2021-04-06 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205758A1 (en) * 2016-12-30 2019-07-04 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485711A (zh) * 2016-10-21 2017-03-08 中国航空工业集团公司洛阳电光设备研究所 一种基于视频图像的高压线检测及跟踪方法
CN110176704A (zh) * 2019-05-29 2019-08-27 潘珍珠 一种输电线分线设备
CN111598095A (zh) * 2020-03-09 2020-08-28 浙江工业大学 一种基于深度学习的城市道路场景语义分割方法
CN112508977A (zh) * 2020-12-29 2021-03-16 天津科技大学 一种面向自动驾驶场景的基于深度学习的语义分割方法
CN112614072A (zh) * 2020-12-29 2021-04-06 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像分类注意力机制研究及其在目标检测中的应用;陈博华;《中国优秀硕士学位论文全文数据库 信息科技辑》;第1-78页 *

Also Published As

Publication number Publication date
CN113034598A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN103218831B (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN111353413A (zh) 一种输电设备低漏报率缺陷识别方法
CN106203265A (zh) 一种基于无人机采集图像的施工扬尘污染源自动监测及影响范围预测系统及方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN107918776A (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN112991487B (zh) 一种多线程实时构建正射影像语义地图的系统
CN114038193B (zh) 基于无人机和多目标追踪的智能交通流量数据统计方法及系统
CN113343858B (zh) 路网地理位置识别方法、装置、电子设备及存储介质
CN114170511A (zh) 基于Cascade RCNN的路面裂缝病害识别方法
CN114089786A (zh) 一种基于无人机视觉的沿山区公路自主巡检系统
CN110751209A (zh) 一种融合深度图像分类和检索的智能台风定强方法
Rajeswari et al. Automatic road extraction based on level set, normalized cuts and mean shift methods
CN114299394A (zh) 一种遥感影像智能解译方法
CN117197676A (zh) 一种基于特征融合的目标检测识别方法
CN113034598B (zh) 一种基于深度学习的无人机电力巡线方法
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN112270661B (zh) 一种基于火箭遥测视频的空间环境监测方法
CN114511627A (zh) 一种目标果实定位分割方法及系统
CN117392547A (zh) 融合Swin Transformer与视觉图神经网络的遥感影像场景分类方法
Hu et al. Two-stage insulator self-explosion defect detection method based on Mask R-CNN
CN110348311B (zh) 一种基于深度学习的道路交叉口识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant