CN112418336A - 一种电力线巡检影像密集匹配方法 - Google Patents

一种电力线巡检影像密集匹配方法 Download PDF

Info

Publication number
CN112418336A
CN112418336A CN202011359543.4A CN202011359543A CN112418336A CN 112418336 A CN112418336 A CN 112418336A CN 202011359543 A CN202011359543 A CN 202011359543A CN 112418336 A CN112418336 A CN 112418336A
Authority
CN
China
Prior art keywords
power line
network
matching method
line inspection
inspection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011359543.4A
Other languages
English (en)
Other versions
CN112418336B (zh
Inventor
陈亮
夏国飞
董承熙
谭麒
李俊宏
曾彦超
李广俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202011359543.4A priority Critical patent/CN112418336B/zh
Publication of CN112418336A publication Critical patent/CN112418336A/zh
Application granted granted Critical
Publication of CN112418336B publication Critical patent/CN112418336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20Checking timed patrols, e.g. of watchman
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及电力巡检技术领域,具体涉及一种电力线巡检影像密集匹配方法,采用级联学习的策略,分为两个网络进行学习;第一个网络将输入的立体影像进行初步特征提取和初步视差估计;第二个网络在第一个网络的基础上,对初步视差估计过程进行视差精化,从而得到最终的匹配结果。本发明的电力线巡检影像密集匹配方法,能够实现电力线巡航的自动化巡检工作,而且能够快速高效地实现大规模的巡检工作,并且在多尺度卷积的作用下,使得匹配的结果能够适应不同尺度的匹配变化。

Description

一种电力线巡检影像密集匹配方法
技术领域
本发明涉及电力巡检技术领域,具体涉及一种电力线巡检影像密集匹配方法。
背景技术
无人机影像进行电力巡线相比于人工巡线有着高效、安全等多方面的优点。其中,利用航空影像进行密集匹配,从而获得逐个像素的视差值是恢复电力沿线真实三维模型的重要步骤。在实现无人机影像密集匹配的过程中,按照是否采用深度学习的方法可以分为基于传统算法的密集匹配和基于深度学习算法的密集匹配。
传统的影像密集匹配方法往往会因受到光照不均匀、低纹理或重复纹理等一系列病态问题导致匹配精度,鲁棒性受到影响。近些年随着深度学习的不断发展,学者们意识到基于深度学习的图像处理方法能够大幅度地提高图像处理的效果。在影像密集匹配领域,不少学者也提出各种基于深度学习的密集匹配方法。
中国专利CN109146937A公开了一种基于深度学习的电力巡检影像密集匹配方法,其基于的是一种名为PSMNet的新的密集匹配网络,这种网络结构结合了金字塔池化方法和3D卷积神经网络方法,能够较好的搜集匹配区域周围的上下文信息,从而使得该方法在纹理缺乏、遮挡等病态区域有更好的表现,这也是本文的主要研究方法。但是PSMNet网络没有顾及到不同特征之间的重要性关系,没有对重要性大的特征进行加权。
发明内容
为了克服现有技术所存在的缺陷,本发明提供了一种电力线巡检影像密集匹配方法,能够实现电力线巡航的自动化巡检工作,而且能够快速高效地实现大规模的巡检工作,并且在多尺度卷积的作用下,使得匹配的结果能够适应不同尺度的匹配变化。
为解决上述技术问题,本发明提供以下技术方案:
一种电力线巡检影像密集匹配方法,基于的是级联多尺度残差学习网络,采用级联学习的策略,分为两个网络进行学习;第一个网络将输入的立体影像进行初步特征提取和初步视差估计;第二个网络在第一个网络的基础上,对初步视差估计过程进行视差精化,从而得到最终的匹配结果。
进一步的,在初步特征提取的阶段,采用多尺度卷积神经网络来获得不同尺度大小的特征信息,从而增加网络对于不同特征信息的提取。
进一步的,采用的尺度分别是3x3,5x5以及7x7,从而能够保证网络对于多尺度特征的适应性。
进一步的,在第一个网络中,采用连续的五层共享权值的卷积神经网络对立体影像的左右影像进行特征提取,接下来通过拼接的方式将左右影像的初步特征进行一个重叠,最后通过三层的卷积神经网络对视差进行预测估计。
进一步的,在网络设计的过程中也加入残差网络的思想,通过将前一层学习的结果加到当前层的特征图,从而使得网络能够结合低层次和高层次的特征,加入了残差学习网络的另一个优点是防止网络出现梯度消失和梯度爆炸的情况出现,该层网络采用Adam梯度下降算法对网络的权重进行更新。
进一步的,在连接层的部分,直接将第五层提取的左右影像特征图在特征通道上进行叠加,叠加后的特征通道数增加一倍,本发明没有采用对左右特征图的值直接相加的方法,因为直接相加处理加入了人为因素,而本网络是一种端到端的训练过程,因此,叠加后的特征图由后续的卷积操作进行学习。
进一步的,叠加处理完成之后,采用连续的三个卷积层来提取出初步的视差结果,最终输出一张视差图,网络采用回归的方式获得最终的视差结果,因此视差图的精度可以达到子像素的精度。
进一步的,在第二个网络中,采用编码-反编码的网络结构对初步的视差结果进行精化。
进一步的,编码-反编码结构主要分为通过卷积的下采样和通过反卷积的上采样过程。
进一步的,通过卷积的下采样过程中,利用三个连续的步长为二的卷积操作,使得输入的影像大小缩小为原始图像的八分之一,从而获得编码以后的影像,然后再通过三个连续的步长为二的反卷积过程,使得编码后的影像恢复到原始影像的大小,从而获得解码以后的特征图。
进一步的,在编码-反编码结构的过程使用的是大小为3x3的卷积核,在通过连续的三个编码反解码的卷积操作之后,初步视差估计得到进一步的精化,从而得到最终的匹配结果。
进一步的,视差初步估计过程采用的真实值和视差精化过程中采用的真实值相同,在经过这一系列的编码解码网络之后,便能获得最终的精化结果。
与现有技术相比,本发明具有以下有益效果:
能够实现电力线巡航的自动化巡检工作,而且能够快速高效地实现大规模的巡检工作,并且在多尺度卷积的作用下,使得匹配的结果能够适应不同尺度的匹配变化。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据附图获得其他的附图。
图1为密集匹配网络多尺度卷积结构示意图;
图2为密集匹配网络编码反编码结构示意图;
图3为视差初步估计网络示意图;
图4为视差精化网络示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例包括:
实施例一:
一种电力线巡检影像密集匹配方法,基于的是级联多尺度残差学习网络,采用级联学习的策略,分为两个网络进行学习;第一个网络将输入的立体影像进行初步特征提取和初步视差估计;第二个网络在第一个网络的基础上,对初步视差估计过程进行视差精化,从而得到最终的匹配结果。
如图1所示,在初步特征提取的阶段,采用多尺度卷积神经网络来获得不同尺度大小的特征信息,从而增加网络对于不同特征信息的提取。
如图1所示,采用的尺度分别是3x3,5x5以及7x7,从而能够保证网络对于多尺度特征的适应性。
如图3所示,在第一个网络中,采用连续的五层共享权值的卷积神经网络对立体影像的左右影像进行特征提取,接下来通过拼接的方式将左右影像的初步特征进行一个重叠,最后通过三层的卷积神经网络对视差进行预测估计。
在本实施例中,在网络设计的过程中也加入残差网络的思想,通过将前一层学习的结果加到当前层的特征图,从而使得网络能够结合低层次和高层次的特征,加入了残差学习网络的另一个优点是防止网络出现梯度消失和梯度爆炸的情况出现,该层网络采用Adam梯度下降算法对网络的权重进行更新。
在本实施例中,在连接层的部分,直接将第五层提取的左右影像特征图在特征通道上进行叠加,叠加后的特征通道数增加一倍,本发明没有采用对左右特征图的值直接相加的方法,因为直接相加处理加入了人为因素,而本网络是一种端到端的训练过程,因此,叠加后的特征图由后续的卷积操作进行学习。
在本实施例中,叠加处理完成之后,采用连续的三个卷积层来提取出初步的视差结果,最终输出一张视差图,网络采用回归的方式获得最终的视差结果,因此视差图的精度可以达到子像素的精度。
经过了视差初步估计网络,可以得到一系列的无人机场景初步匹配结果,这些结果的精确度虽然有限,但是可以作为后续视差精化部分的初始值,其具体网络结构如下表所示:
表1初步视差估计网络结构
Figure BDA0002803618660000041
在本实施例中,在第二个网络中,采用编码-反编码的网络结构对初步的视差结果进行精化。
在本实施例中,编码-反编码结构主要分为通过卷积的下采样和通过反卷积的上采样过程。
如图2和4所示,通过卷积的下采样过程中,利用三个连续的步长为二的卷积操作,使得输入的影像大小缩小为原始图像的八分之一,从而获得编码以后的影像,然后再通过三个连续的步长为二的反卷积过程,使得编码后的影像恢复到原始影像的大小,从而获得解码以后的特征图。
在本实施例中,在编码-反编码结构的过程使用的是大小为3x3的卷积核,在通过连续的三个编码反解码的卷积操作之后,初步视差估计得到精化,从而得到最终的匹配结果。
视差精化网络结构如下表所示:
表2视差精化网络结构
Figure BDA0002803618660000051
在本实施例中,视差初步估计过程采用的真实值和视差精化过程中采用的真实值相同,在经过这一系列的编码解码网络之后,便能获得最终的精化结果。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种电力线巡检影像密集匹配方法,其特征在于,采用级联学习的策略,分为两个网络进行学习;第一个网络将输入的立体影像进行初步特征提取和初步视差估计;第二个网络在第一个网络的基础上,对初步视差估计过程进行视差精化,从而得到最终的匹配结果。
2.根据权利要求1所述的电力线巡检影像密集匹配方法,其特征在于,在初步特征提取的阶段,采用多尺度卷积神经网络来获得不同尺度大小的特征信息。
3.根据权利要求2所述的电力线巡检影像密集匹配方法,其特征在于,采用的尺度分别是3x3,5x5以及7x7。
4.根据权利要求3所述的电力线巡检影像密集匹配方法,其特征在于,在第一个网络中,采用连续的五层共享权值的卷积神经网络对立体影像的左右影像进行特征提取,接下来通过拼接的方式将左右影像的初步特征进行一个重叠,最后通过三层的卷积神经网络对视差进行预测估计。
5.根据权利要求4所述的电力线巡检影像密集匹配方法,其特征在于,在连接层的部分,直接将第五层提取的左右影像特征图在特征通道上进行叠加,叠加后的特征通道数增加一倍。
6.根据权利要求5所述的电力线巡检影像密集匹配方法,其特征在于,叠加处理完成之后,采用连续的三个卷积层来提取出初步的视差结果,最终输出一张视差图。
7.根据权利要求6所述的电力线巡检影像密集匹配方法,其特征在于,在第二个网络中,采用编码-反编码的网络结构对初步的视差结果进行精化。
8.根据权利要求7所述的电力线巡检影像密集匹配方法,其特征在于,编码-反编码结构主要分为通过卷积的下采样和通过反卷积的上采样过程。
9.根据权利要求8所述的电力线巡检影像密集匹配方法,其特征在于,通过卷积的下采样过程中,利用三个连续的步长为二的卷积操作,使得输入的影像大小缩小为原始图像的八分之一,从而获得编码以后的影像,然后再通过三个连续的步长为二的反卷积过程,使得编码后的影像恢复到原始影像的大小,从而获得解码以后的特征图。
10.根据权利要求9所述的电力线巡检影像密集匹配方法,其特征在于,在编码-反编码结构的过程使用的是大小为3x3的卷积核,在通过连续的三个编码反解码的卷积操作之后,初步视差估计得到进一步的精化,从而得到最终的匹配结果。
CN202011359543.4A 2020-11-27 2020-11-27 一种电力线巡检影像密集匹配方法 Active CN112418336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011359543.4A CN112418336B (zh) 2020-11-27 2020-11-27 一种电力线巡检影像密集匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011359543.4A CN112418336B (zh) 2020-11-27 2020-11-27 一种电力线巡检影像密集匹配方法

Publications (2)

Publication Number Publication Date
CN112418336A true CN112418336A (zh) 2021-02-26
CN112418336B CN112418336B (zh) 2024-01-23

Family

ID=74843450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011359543.4A Active CN112418336B (zh) 2020-11-27 2020-11-27 一种电力线巡检影像密集匹配方法

Country Status (1)

Country Link
CN (1) CN112418336B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108365557A (zh) * 2018-02-24 2018-08-03 广东电网有限责任公司肇庆供电局 一种无人机精细化巡检输电线路的方法及系统
CN109146937A (zh) * 2018-08-22 2019-01-04 广东电网有限责任公司 一种基于深度学习的电力巡检影像密集匹配方法
WO2019190017A1 (ko) * 2018-03-26 2019-10-03 아주대학교 산학협력단 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템
CN110427968A (zh) * 2019-06-28 2019-11-08 武汉大学 一种基于细节增强的双目立体匹配方法
CN110533712A (zh) * 2019-08-26 2019-12-03 北京工业大学 一种基于卷积神经网络的双目立体匹配方法
CN111127538A (zh) * 2019-12-17 2020-05-08 武汉大学 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN111696148A (zh) * 2020-06-17 2020-09-22 中国科学技术大学 基于卷积神经网络的端到端立体匹配方法
CN111833387A (zh) * 2020-07-22 2020-10-27 中国石油大学(华东) 一种基于通道注意力机制的双目立体匹配方法
CN111915660A (zh) * 2020-06-28 2020-11-10 华南理工大学 基于共享特征和注意力上采样的双目视差匹配方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108365557A (zh) * 2018-02-24 2018-08-03 广东电网有限责任公司肇庆供电局 一种无人机精细化巡检输电线路的方法及系统
WO2019190017A1 (ko) * 2018-03-26 2019-10-03 아주대학교 산학협력단 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템
CN109146937A (zh) * 2018-08-22 2019-01-04 广东电网有限责任公司 一种基于深度学习的电力巡检影像密集匹配方法
CN110427968A (zh) * 2019-06-28 2019-11-08 武汉大学 一种基于细节增强的双目立体匹配方法
CN110533712A (zh) * 2019-08-26 2019-12-03 北京工业大学 一种基于卷积神经网络的双目立体匹配方法
CN111127538A (zh) * 2019-12-17 2020-05-08 武汉大学 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN111696148A (zh) * 2020-06-17 2020-09-22 中国科学技术大学 基于卷积神经网络的端到端立体匹配方法
CN111915660A (zh) * 2020-06-28 2020-11-10 华南理工大学 基于共享特征和注意力上采样的双目视差匹配方法及系统
CN111833387A (zh) * 2020-07-22 2020-10-27 中国石油大学(华东) 一种基于通道注意力机制的双目立体匹配方法

Also Published As

Publication number Publication date
CN112418336B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN109522966B (zh) 一种基于密集连接卷积神经网络的目标检测方法
CN109829891B (zh) 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN110084274B (zh) 实时图像语义分割方法及系统、可读存储介质和终端
CN109741383A (zh) 基于空洞卷积和半监督学习的图像深度估计系统与方法
CN112435282B (zh) 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN111915487B (zh) 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN113362242B (zh) 基于多特征融合网络的图像修复方法
CN111145253A (zh) 一种高效的物体6d姿态估计算法
CN114842363B (zh) 一种数字孪生台区关键电力设备的识别方法及系统
CN110766623A (zh) 一种基于深度学习的立体图像修复方法
CN115082675B (zh) 一种透明物体图像分割方法及系统
CN113763446B (zh) 一种基于引导信息的立体匹配方法
CN111833386A (zh) 一种基于多尺度信息和注意力机制的金字塔双目立体匹配方法
CN114638842B (zh) 一种基于mlp的医学图像分割方法
CN115620023A (zh) 一种融合全局特征的实时单目深度估计方法
CN112750125A (zh) 一种基于端到端关键点检测的玻璃绝缘子片定位方法
CN115496919A (zh) 基于窗口掩码策略的混合卷积-变压器架构及自监督方法
Li et al. Maskformer with improved encoder-decoder module for semantic segmentation of fine-resolution remote sensing images
CN111914853B (zh) 一种用于立体匹配的特征提取方法
CN109816781A (zh) 一种基于图像细节和结构增强的多视图立体几何方法
CN113362239A (zh) 一种基于特征交互的深度学习图像修复方法
CN112418336A (zh) 一种电力线巡检影像密集匹配方法
CN117315336A (zh) 花粉颗粒识别方法、装置、电子设备及存储介质
CN114022381A (zh) 一种双目图像自修复网络模型的训练方法
CN113450364A (zh) 一种基于三维通量模型的树状结构中心线提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant