CN106356757B - 一种基于人眼视觉特性的电力线路无人机巡检方法 - Google Patents

一种基于人眼视觉特性的电力线路无人机巡检方法 Download PDF

Info

Publication number
CN106356757B
CN106356757B CN201610656038.3A CN201610656038A CN106356757B CN 106356757 B CN106356757 B CN 106356757B CN 201610656038 A CN201610656038 A CN 201610656038A CN 106356757 B CN106356757 B CN 106356757B
Authority
CN
China
Prior art keywords
image
power line
point
right eye
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610656038.3A
Other languages
English (en)
Other versions
CN106356757A (zh
Inventor
李庆武
马云鹏
许金鑫
周亚琴
何飞佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201610656038.3A priority Critical patent/CN106356757B/zh
Priority to DE112016000702.7T priority patent/DE112016000702T5/de
Priority to US15/555,408 priority patent/US10269138B2/en
Priority to PCT/CN2016/109778 priority patent/WO2018028103A1/zh
Priority to MYPI2017703302A priority patent/MY192356A/en
Publication of CN106356757A publication Critical patent/CN106356757A/zh
Application granted granted Critical
Publication of CN106356757B publication Critical patent/CN106356757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/02—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明公开了一种基于人眼视觉特性的电力线路无人机巡检方法。电力线外力事故检测及预警过程为无人机视频采集模块利用无人机搭载双目视觉测量设备获取电力线分布及其环境信息，图像预处理模块对录入系统的电力线图像进行预处理，电力线检测模块利用人眼视觉注意机制完成图像中电力线的分割，双目图像配准模块利用SURF算法对特征点进行精确匹配，障碍检测及预警模块利用双目视觉原理计算匹配点与电力线的三维空间坐标，结果输出反馈模块根据空间坐标信息计算匹配点到电力线的垂直距离，完成对电力线构成威胁障碍物信息的反馈工作。本发明的方法，可以准确地对电力线障碍物进行定量分析，分析结果稳定、客观。

Description

一种基于人眼视觉特性的电力线路无人机巡检方法
技术领域
本发明涉及一种基于人眼视觉特性的电力线路无人机巡检方法，属于数字图像处理与电力线路自动巡检领域。
背景技术
随着我国经济的蓬勃发展，电力能源的需求越来越旺盛，为了满足国内对电力越来越高的需求，需要在电力线、高电压、大容量方向上继续扩建。一方面随着电力线的大量建设，覆盖面越来越广阔，地形状况也越发复杂多样，电网建设中如何跨地形进行线路维护是难以解决的问题；另一方面，电力线所在的环境随着地区和时间的变化也在不停的变化着。整个电力线体系复杂程度高，其中某个关键的环节存在隐患都会影响用户的电力供应和系统的供电安全，造成不可估量的经济损失，威胁生命财产安全，所以对电力线进行巡检是电力系统设备维护工作的重要部分。
高压电力线即架空线，用绝缘子及电力金具将导线架设于杆塔上的电力线，是电力网及电力系统的重要组成部分，极易受到外界的影响和损害。目前架空线事故主要包括外力破坏事故、大风事故、雷击事故以及由于设备老化等引起的事故，所谓的外力破坏事故主要是指由外来物体进入非安全区域或距离所引发的事故，如森林树木、房屋建筑等进入电力线非安全区域，不仅对电力线的安全构成威胁，也极易酿成障碍物自身触电、火灾等事故。根据有关报道表明，外力破坏约占全国电力线全年跳闸故障总次数的四分之一，给社会带来了的危害性和经济损失都非常巨大。
传统的电力线巡检模式通常是人工到位巡检，这种模式人力资源消耗大，但在电力线的大覆盖面积和多样化环境的需求下，人工到位电力线巡检效率低，实时性差，往往不能满足电力线巡检的覆盖面与即时性要求。此外，传统的人工电力线巡检方式往往是通过人眼观察，根据工作人员的经验对电力线的状态进行判断，对工作人员状态和经验的过分依赖，无法对障碍物与电力线的距离进行定量分析，极易出现误检和漏检现象，不能满足电力线巡检的准确度要求。
发明内容
本发明所要解决的技术问题是：针对当前电力线路外力破坏事故巡检领域中的技术空缺，提供一种电力线路无人机巡检系统，改善电力线巡检的方式，提高巡检的有效率和准确度。
为解决上述技术问题，本发明提供一种基于人眼视觉特性的电力线路无人机巡检方法，包括以下步骤：
(1)无人机视频采集：利用无人机搭载双目视觉测量设备获取电力线分布及电力线环境信息的视频图像；
所述双目视觉测量设备是指规格参数相同的两个视频图像采集设备，分别以左目与右目的形式排列工作，以固定视角同时采集视频图像信息；
无人机搭载双目视觉测量设备进行电力线巡检时，对无人机进行无线遥控，使无人机在与电力线平行的路线上、并在电力线上方进行直线匀速飞行，采集视频图像序列中的电力线分布方向与无人机飞行方向平行。
(2)图像预处理模块对录入系统的电力线视频图像序列取帧，对当前帧图像进行预处理，包括图像灰度化处理和DoG(Difference of Gaussian)边缘检测；
其中，DoG边缘检测利用不同参数的高斯差分结果对图像的边缘进行描述，依次对左右目图像进行相同的处理。
(3)电力线检测模块利用数学形态学对已完成预处理的图像进行处理，选取与电力线同方向的结构因子对图像进行反复的膨胀腐蚀处理，去除图像中的噪声，再利用人眼视觉连通域注意机制选取最大的线性连通域，完成图像中电力线的分割，人眼视觉注意机制是指在视野范围内，人眼总是立刻注意到形状、颜色、亮度特殊的区域，人眼视觉连通域注意机制即利用人眼对特殊形状连通域的注意机制完成电力线的分割。
分别记录左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)；其中，xdz1,xdz2...xdzj和xdy1,xdy2...xdyj分别指j条电力线连通区域的中心点在左目图像和右目图像上的横坐标；
(4)双目图像配准模块对左目图像和右目图像分别进行配准，利用SURF算法分别找到已完成预处理的左目边缘图像和右目边缘图像的特征点并求出当前特征点的描述子，然后对特征点进行精确配对，记录精确匹配点在左目图像和右目图像中的位置信息(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，其中n是指单幅图像中包含的所有特征点数量，xzn,yzn和xyn,yyn分别指对应特征点在左目图像和右目图像中的位置坐标；
(5)障碍检测及预警模块根据左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)和精确匹配点在左目图像和右目图像中的位置(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，利用双目视觉原理计算匹配点与电力线的三维空间坐标，根据空间坐标信息计算匹配点到电力线的垂直距离；
(6)结果输出反馈模块对电力线构成威胁的障碍物信息进行反馈，当匹配点与电力线的空间垂线距离高于设定阈值时，在计算机软件界面反馈障碍物的具体信息，记录障碍物检测时间、地理位置等，当匹配点与电力线的空间垂线距离低于设定阈值时，则对当前匹配点不作处理，对当前帧图像中的所有匹配点进行同样的处理；依次对所有取得的帧图像进行障碍物信息的反馈处理，完成巡检过程中的障碍物信息的记录。
本发明所达到的有益效果：利用双目视觉技术对电力线的外界障碍物进行检测与分析，主要通过搭载双目视觉测量设备的无人机联动巡查可以对大范围电力线快速进行信息搜寻，实时获取电力线及设备的图像信息，专家系统完成电力线故障隐患的定量分析。无人机巡检与传统的人工巡检相比，具有不受地形、环境、状态等因素影响的影响，可实时以监测电力线分布情况及周围环境，利用人眼双目视觉技术对电力线排布情况和电力线障碍等问题进行定量分析与预警，具有巡检效率高、通用性强、实时性好的特点。
附图说明
图1为本发明的电力线路无人机巡检系统模块结构图；
图2为本发明的电力线路无人机巡检系统实物模型图；
图3为本发明的电力线路无人机巡检方法处理流程图；
图4为尺度空间滤波器的尺寸示意图；
图5为双目视觉成像原理图；
图6为左目图像和右目图像特征点匹配示意图；
图7为左目图像外力事故障碍点标注示意图。
具体实施方式
本发明的基于人眼视觉特性的电力线路无人机巡检系统，包括硬件工作系统及软件操作系统，整个系统模块如图1所示，硬件系统包括无人机视频信息采集模块，软件系统包括图像预处理模块、电力线检测模块、双目图像配准模块、障碍检测及预警模块、结果输出反馈模块。
实物模型图如图2所示，首先利用无人机搭载双目视觉测量设备对待巡检的电力线及其周围环境进行信息采集，控制无人机飞行，无人机飞行方向平行于电力线分布方向。将获取的双目视频序列传递至软件操作系统，软件操作系统从视频序列中按照一定的间隔提取图像帧，依次对所有图像帧进行图像预处理、电力线检测、左右目图像配准、障碍检测及预警、结果输出及反馈，完成无人机巡检过程中的障碍物信息的记录及反馈工作。
本发明的基于人眼视觉特性的电力线路无人机巡检方法，具体流程如图3所示：
(1)当需对某一地区的电力线进行检测时，首先利用无人机搭载双目视觉测量设备对电力线及其周围环境进行巡航采集相关信息，其中，双目视觉测量设备是由两个规格相同的摄像机组成，摄像机像素不低于500W，固定两个摄像机间的基线距离b＝120mm，已知摄像机焦距f(400mm≤f≤1000mm)，两个摄像机同时进行平行同方向的拍摄。无人机由工作人员操控，无人机匀速飞行方向与电力线分布方向平行，无人机飞行过程匀速稳定，基于双摄机的双目视觉硬件系统需安装在无人机一个稳定的平台上，将采集到的左视频序列lz和右视频序列ly存储至无人机携带的存储设备中，并利用移动无线网络传输至软件系统。
(2)在无人机巡航过程中，实时地将采集到的左视频序列lz和右视频序列ly从无人机中传输至软件系统，软件系统首先将获取到的数据备份在数据区，同时由工作人员输入拍摄时间和地点。再对左视频序列lz和右视频序列ly进行处理，首先按照一定的间隔分别在左视频序列lz和右视频序列ly中连续取帧，取帧要求所有的帧图像可以拼接恢复出完整的巡航图像信息，相邻帧之间拼接时无信息缺失，形成左图像序列Tz和右图像序列Ty，其中左图像序列Tz和右图像序列Ty都包含m幅图像，分别为Tz1,Tz2...Tzm和Ty1,Ty2...Tym；对左目和右目对应帧图像进行预处理，首先对左目第一幅图像Tz1和右目第一幅图像Ty1进行处理，按顺序依次对左目和右目对应帧图像进行处理，直至对左目第m幅Tzm和右目第m幅Tym处理结束。
对左目第一幅图像Tz1和右目第一幅图像Ty1进行预处理，包括图像灰度化处理和DoG(Difference of Gaussian)边缘检测：
所述图像灰度化处理将彩色图像变为左目第一幅图像的单通道灰度图像Hz1和右目第一幅图像的单通道灰度图像Hy1；
在所述DoG边缘检测中，Difference of Gaussian(DOG)是高斯函数的差分，通过将图像与高斯函数进行卷积得到一幅图像的低通滤波结果，所述Gaussian和高斯低通滤波器的高斯一样，是一个函数，即为正态分布函数。Difference of Gaussian即高斯函数差分是两幅高斯图像的差，具体到图像处理来讲，即将同一幅图像在不同参数下的高斯滤波结果相减，得到DoG图像，即边缘检测结果。定义DoG运算为：
其中，D指处理后的图像结果，第一常数σ1＝0.6，第二常数σ2＝0.9，x、y分别指图像中当前像素点的横坐标和纵坐标，高斯滤波函数窗口大小为5×5，G(x,y,σ1)和G(x,y,σ2)分别为不同参数的高斯滤波函数，H为灰度图像，“*”代表对整幅图像进行滑动滤波处理，经过预处理的图像分别为左目边缘图像Dz1和右目边缘图像Dy1。
(3)对左目边缘图像Dz1和右目边缘图像Dy1中电力线进行分割，首先利用数学形态学中循环膨胀腐蚀运算对左目边缘图像Dz1和右目边缘图像Dy1进行处理；视频采集方向和电力线分布方向平行，图像中电力线方向与图像90度方向平行。形态学图像处理是在图像中移动一个结构元素，然后将结构元素与左目边缘图像Dz1和右目边缘图像Dy1进行交、并等集合运算，结构元素是最重要最基本的概念，B(x)代表结构元素，对工作空间E中的每一点A(x,y)腐蚀与膨胀运算定义为：
腐蚀：
膨胀：
其中，代表“包含于”，∩代表“交运算”，Φ代表空集。用结构元素B(x)对工作空间E进行腐蚀的结果就是把结构元素B平移后使结构元素B包含于工作空间E的所有点构成的集合；用结构元素B(x)对工作空间E进行膨胀的结果就是把结构元素B平移后使结构元素B与工作空间E的交集非空的点构成的集合。选取线性的结构因子，长度为3个像素点，角度为90度，对左目边缘图像Dz1和右目边缘图像Dy1进行腐蚀膨胀运算，其中一次循环运算包含两次腐蚀运算和一次膨胀运算，循环运算次数20次。
对于完成循环膨胀腐蚀运算的图像，检测图像中连通域的面积和长度，保留线性形态与连通域面积达到阈值要求的线段，即为电力线，去除图像中的噪声，完成图像中电力线的分割，分别记录左目边缘图像Dz1和右目边缘图像Dy1图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)，其中，左目边缘图像Dz1和右目边缘图像Dy1图像中分别包含n条电力线，记录j个横坐标位置。
(4)利用SURF算法对图像左目边缘图像Dz1和右目边缘图像Dy1进行特征点检测，为了使配准特征具有尺度不变性，图像关键点的检测在尺度空间完成。SURF算法是在原图像上进行大小不同的方框滤波，形成不同尺度的图像金字塔。
(41)利用快速Hessian检测子提取特征点，Hessian矩阵具有良好的计算时间和精度表现。对于图像上一点在尺度下的Hessian矩阵定义如下式所示，对于左目边缘图像Dz1和右目边缘图像Dy1中的某一点(x,y)，当尺度为σ时，该点处的Hessian矩阵表示为：
其中，函数Lxx(x,σ)表示Gaussian在x坐标上的二阶偏导数和左目边缘图像Dz1和右目边缘图像Dy1在点(x,y)处的卷积，公式如下所示：
Lxy(x,σ)、Lyy(x,σ)的描述分别如下式所示：
是指求偏导的运算，
其中，SURF算法的尺度空间也是按组(Octaves)进行划分的，每组里的图像由不同大小的滤波器卷积后得到。其中，滤波器的尺寸逐步增加，假设其尺寸大小为N×N，则相对应的尺度为σ＝1.2×N/9。尺度空间内不同组滤波器的尺寸大小如图4所示，其中横坐标代表滤波器尺寸的变化，纵坐标代表不同的组。
为了使算法具备方向不变的特性，SURF算法按照特征点周围的像素点的信息给每个兴趣点重新指定唯一的方向，具体步骤为：
a)以特征点为中心，计算Harr小波在半径为6σ的圆形邻域内水平和竖直方向上的响应，其中采样步长为σ，小波的尺寸为4σ；
b)以特征点为中心对小波响应进行高斯加权(2σ)，使得接近特征点的权重值大，远离特征点的权重值小，得到新的水平方向和竖直方向上的响应；
c)最后采用一个角度为60度的扇形窗口遍历整个圆，直到扇形窗口内总响应最强，此时扇形窗口内的方向指向即为该兴趣点的主方向。
(42)首先将特征点设置为中心点，并沿着中心点的主方向构造一个大小为20σ的方框，然后将区域划分成16个小区域，计算每个子区域内(5σ×5σ)的小波响应，并得到0°方向和向量Σdx，90°方向和向量Σdy，180°方向和向量∑d|x|，180°方向和向量Σd|y|，每个子区域利用构建4维特征向量v＝(∑dx,∑|dx|,∑dy,Σ|dy|)来表示，最后形成该点的64维描述子。
假设左目边缘图像用Dz1和右目边缘图像用Dy1尺寸均为M×N，并将图像水平依次放置于同一坐标轴下，形成尺寸为M×2N的图像，左目边缘图像和右目边缘图像特征点匹配示意如图6所示。左目边缘图像Dz1和右目边缘图像Dy1通过SURF方法检测到的特征点集合分别表示成：
Pos1＝{(x′1,y′1),(x′2,y′2),...,(x′p,y′p)}
Pos2＝{(x1,y1),(x2,y2),...,(xq,yq)},
其中p和q分别表示左目边缘图像Dz1和右目边缘图像Dy1特征点的数量；根据最后正确匹配点对之间的斜率方向一致性的先验知识，本发明的特征点匹配方法包括步骤：
a)对左目边缘图像的特征点集合Pos1中的每个点i，计算与右目边缘图像的特征点集合Pos2中所有的点之间的欧氏距离，选择最小欧氏距离对应的点作为点i的粗匹配点；
b)计算所有粗匹配点对之间的欧氏距离，并按照欧式距离由小到大的顺序对匹配点对排序，并删除其中多点对一点的点对，此时左目边缘图像Dz1和右目边缘图像Dy1中的特征点分别用修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'表示；
c)选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K1对匹配点，记作
Pos_K1＝{{(x′1,y′1),(x1,y1)},{(x'2,y'2),(x2,y2)},...,{(x'n,y'n),(xn,yn)}}，称为集合1；
选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K2对匹配点，用Pos_K2表示，其中
称为集合2，其中K1＜K2；
d)对于集合2中所有的点对，计算两点间的斜率，如下式所示，并对其四舍五入取整，形成斜率集合k：k＝{k1,k2,...,kw},
e)计算斜率集合k中每个斜率出现的频数，筛选频数大于等于2的斜率，形成新的集合k_new＝{k1,k2,...,kt}，其中t是得到的特征点的总数量，理论上集合k_new中元素个数小于斜率集合k中元素个数；如果斜率集合k中每个斜率出现的频数都为1，则选择前2K2/3对的斜率构成新的集合k_new；
f)遍历计算集合修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中所有的点对的斜率，筛选出斜率在区间[kt-0.5,kt+0.5]内的所有的点对，形成点对集合
Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}，其中
kt∈k_new；
(5)双目视觉成像原理如图5所示，已知双目视觉摄像机间的基线距离b＝120mm，已知摄像机焦距f(400mm≤f≤1000mm)，视差d定义为某一点在两幅图像中相应点的位置差：
d＝(xzn-xyn)
其中，xzn、xyn分别是匹配点对在左目图像和右目图像中的横坐标，由此计算出左摄像机坐标系中某点P的空间坐标为：
其中，(xc，yc，zc)是当前匹配点在空间坐标中的位置信息，yzn是匹配点对在左目图像和右目图像中的纵坐标，根据上式计算出所有匹配点在左摄像机坐标系中的坐标，再根据上式与已得到的电力线横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)，计算与匹配点空间欧式距离最小的电力线上的点的空间坐标；其中，定义在二维坐标系中纵坐标相同的电力线上的点和匹配点的空间欧式距离最小，将匹配点纵坐标直接赋予电力线上对应的点，则与点对集合Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}形成一一对应电力线的点为Pos_D＝{{(xdz1,yz1),(xdy1,yy1)},{(xdz2,yz2),(xdy2,yy2)},...,{(xdzn,yzn),(xdyn,yyn)}}，由此计算出左摄像机坐标系中电力线上某点D的空间坐标(xd,yd,zd)；
(6)得到点P和点D的空间坐标后，计算匹配点到电力线的空间欧式距离J，定义J为：
依次计算当帧图像中所有匹配点到电力线的空间欧式距离，并且与设定的距离经验阈值进行比较，若J大于阈值，则在左目图像中完成该点的标注，完成对电力线构成威胁障碍物信息的反馈工作，在计算机软件界面反馈障碍物的具体信息，记录障碍物检测时间、地理位置，当匹配点与电力线的空间垂线距离低于设定阈值时，则不对当前匹配点不作处理，对当前帧图像中的所有匹配点进行同样的处理。依次对所有视频序列帧图像中的帧图像进行以上处理，完成巡检过程中的障碍物的标注及信息的记录工作。

Claims (11)

1.一种基于人眼视觉特性的电力线路无人机巡检方法，其特征在于，包括以下步骤：
(1)无人机视频采集：利用无人机搭载双目视觉测量设备获取电力线分布及电力线环境信息的视频图像；
(2)图像预处理模块对录入的电力线视频图像序列取帧，对当前帧图像进行预处理，包括图像灰度化处理和DoG边缘检测；所述DoG边缘检测利用不同参数的高斯差分结果对图像的边缘进行描述，依次对左目图像和右目图像进行相同的处理；
(3)电力线检测模块利用数学形态学对已完成预处理的图像进行处理，选取与电力线同方向的结构因子对图像进行反复的膨胀腐蚀处理，去除图像中的噪声，再利用人眼视觉连通域注意机制选取最大的线性连通域，完成图像中电力线的分割；
分别记录左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)；其中，xdz1,xdz2...xdzj和xdy1,xdy2...xdyj分别指j条电力线连通区域的中心点在左目图像和右目图像上的横坐标；
(4)双目图像配准模块对左目图像和右目图像分别进行配准，利用SURF算法分别找到已完成预处理的左目边缘图像和右目边缘图像的特征点并求出当前特征点的描述子，然后对特征点进行精确配对，记录精确匹配点在左目图像和右目图像中的位置信息(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，其中n是指单幅图像中包含的所有特征点数量，xzn,yzn和xyn,yyn分别指对应特征点在左目图像和右目图像中的位置坐标；
(5)障碍检测及预警模块根据左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)和精确匹配点在左目图像和右目图像中的位置(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，利用双目视觉原理计算匹配点与电力线的三维空间坐标，根据空间坐标信息计算匹配点到电力线的垂直距离；
(6)结果输出反馈模块对电力线构成威胁的障碍物信息进行反馈，当匹配点与电力线的空间垂线距离高于设定阈值时，在计算机软件界面反馈障碍物的具体信息，记录障碍物检测时间、地理位置，当匹配点与电力线的空间垂线距离低于设定阈值时，则对当前匹配点不作处理，对当前帧图像中的所有匹配点进行同样的处理；依次对所有取得的帧图像进行障碍物信息的反馈处理，完成巡检过程中的障碍物信息的记录。
2.根据权利要求1所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(1)中，所述双目视觉测量设备是指规格参数相同的两个视频图像采集设备，分别以左目与右目的形式排列工作，以固定视角同时采集视频图像信息；
无人机搭载双目视觉测量设备进行电力线巡检时，对无人机进行无线遥控，使无人机在与电力线平行的路线上、并在电力线上方进行直线匀速飞行，采集视频图像序列中的电力线分布方向与无人机飞行方向平行；
采集到的电力线视频图像包括左视频序列lz和右视频序列ly，并将左视频序列lz和右视频序列ly数据存储至无人机携带的存储设备中，并利用移动无线网络传输至软件系统的图像预处理模块。
3.根据权利要求1所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(2)中，图像预处理模块对左视频序列lz和右视频序列ly进行处理，首先按照一定的间隔分别在左视频序列lz和右视频序列ly中连续取帧，取帧要求所有的帧图像可以拼接恢复出完整的巡航图像信息，相邻帧之间拼接时无信息缺失，形成左图像序列Tz和右图像序列Ty，其中左图像序列Tz和右图像序列Ty都包含m幅图像，分别为Tz1,Tz2...Tzm和Ty1,Ty2...Tym；对左目和右目对应帧图像进行预处理，首先对左目第一幅图像Tz1和右目第一幅图像Ty1进行处理，按顺序依次对左目和右目对应帧图像进行处理，直至对左目第m幅Tzm和右目第m幅Tym处理结束。
4.根据权利要求3所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：对左目第一幅图像Tz1和右目第一幅图像Ty1进行预处理，包括图像灰度化处理和DoG边缘检测：
所述图像灰度化处理将彩色图像变为左目第一幅图像的单通道灰度图像Hz1和右目第一幅图像的单通道灰度图像Hy1；
在所述DoG边缘检测中，定义DoG运算为：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>D</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> </mrow> </mfrac> <mo>&amp;lsqb;</mo> <mfrac> <mn>1</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>1</mn> <mn>2</mn> </msubsup> </mfrac> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>1</mn> <mn>2</mn> </msubsup> </mrow> </mfrac> </mrow> </msup> <mo>-</mo> <mfrac> <mn>1</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>2</mn> <mn>2</mn> </msubsup> </mfrac> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>2</mn> <mn>2</mn> </msubsup> </mrow> </mfrac> </mrow> </msup> <mo>&amp;rsqb;</mo> <mo>*</mo> <mi>H</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mo>&amp;lsqb;</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>*</mo> <mi>H</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，D指处理后的图像结果，σ1为第一常数，σ2为第二常数，x、y分别指图像中当前像素点的横坐标和纵坐标，G(x,y,σ1)和G(x,y,σ2)分别为不同参数的高斯滤波函数，H为灰度图像，“*”代表对整幅图像进行滑动滤波处理，经过预处理的图像分别为左目边缘图像Dz1和右目边缘图像Dy1。
5.根据权利要求4所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(3)中，对左目边缘图像Dz1和右目边缘图像Dy1中电力线进行分割，B(x)代表结构元素，对工作空间E中的每一点A(x,y)腐蚀与膨胀运算定义为：
腐蚀：
膨胀：Y＝E⊕B＝{A(x,y)：B(y)∩E≠Φ}
其中，代表“包含于”，∩代表“交运算”，Φ代表空集，用结构元素B(x)对工作空间E进行腐蚀的结果就是把结构元素B平移后使结构元素B包含于工作空间E的所有点构成的集合；用结构元素B(x)对工作空间E进行膨胀的结果就是把结构元素B平移后使结构元素B与工作空间E的交集非空的点构成的集合。
6.根据权利要求5所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：选取线性的结构因子，长度为3个像素点，角度为90度，对左目边缘图像Dz1和右目边缘图像Dy1进行腐蚀膨胀运算，其中一次循环运算包含两次腐蚀运算和一次膨胀运算，循环运算次数20次。
7.根据权利要求5所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：对于完成循环膨胀腐蚀运算的图像，检测图像中连通域的面积和长度，保留线性形态与连通域面积达到阈值要求的线段，即为电力线，去除图像中的噪声，完成图像中电力线的分割，分别记录左目边缘图像Dz1和右目边缘图像Dy1图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)，其中，左目边缘图像Dz1和右目边缘图像Dy1图像中分别包含j条电力线，记录j个横坐标位置。
8.根据权利要求7所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(4)中，利用SURF算法对图像左目边缘图像Dz1和右目边缘图像Dy1进行特征点检测，具体步骤包括：
(41)利用快速Hessian检测子提取特征点，对于左目边缘图像Dz1和右目边缘图像Dy1中的某一点(x,y)，当尺度为σ时，该点处的Hessian矩阵表示为：
<mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>x</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>y</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中，函数Lxx(x,σ)表示高斯函数Gaussian在x坐标上的二阶偏导数和左目边缘图像Dz1和右目边缘图像Dy1在点(x,y)处的卷积，公式如下所示：
<mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>x</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>D</mi> <mo>*</mo> <mfrac> <msup> <mo>&amp;part;</mo> <mn>2</mn> </msup> <mrow> <mo>&amp;part;</mo> <msup> <mi>x</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mi>g</mi> <mrow> <mo>(</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow>
Lxy(x,σ)、Lyy(x,σ)的描述分别如下式所示：
<mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>D</mi> <mo>*</mo> <mfrac> <msup> <mo>&amp;part;</mo> <mn>2</mn> </msup> <mrow> <mo>&amp;part;</mo> <mi>x</mi> <mo>&amp;part;</mo> <mi>y</mi> </mrow> </mfrac> <mi>g</mi> <mrow> <mo>(</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow>
是指求偏导的运算，
其中，SURF算法的尺度空间按组进行划分，每组里的图像由不同大小的滤波器卷积后得到，滤波器的尺寸逐步增加；
(42)将特征点设置为中心点，并沿着中心点的主方向构造一个大小为20σ的方框，然后将区域划分成16个小区域，计算每个子区域内(5σ×5σ)的小波响应，并得到0°方向和向量∑dx，90°方向和向量∑dy，180°方向和向量∑d|x|，180°方向和向量∑d|y|，每个子区域利用构建4维特征向量v＝(∑dx,∑|dx|,∑dy,∑|dy|)来表示，最后形成该点的64维描述子；
假设左目边缘图像用Dz1和右目边缘图像用Dy1尺寸均为M×N，并将图像水平依次放置于同一坐标轴下，形成尺寸为M×2N的图像，左目边缘图像Dz1和右目边缘图像Dy1通过SURF方法检测到的特征点集合分别表示成：
Pos1＝{(x′1,y′1),(x′2,y′2),...,(x′p,y′p)}
Pos2＝{(x1,y1),(x2,y2),...,(xq,yq)},
其中p和q分别表示左目边缘图像Dz1和右目边缘图像Dy1特征点的数量；
特征点匹配方法包括以下步骤：
a)对左目边缘图像的特征点集合Pos1中的每个点i，计算与右目边缘图像的特征点集合Pos2中所有的点之间的欧氏距离，选择最小欧氏距离对应的点作为点i的粗匹配点；
b)计算所有粗匹配点对之间的欧氏距离，并按照欧式距离由小到大的顺序对匹配点对排序，并删除其中多点对一点的点对，此时左目边缘图像Dz1和右目边缘图像Dy1中的特征点分别用修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'表示；
c)选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K1对匹配点，记作
Pos_K1＝{{(x′1,y′1),(x1,y1)},{(x′2,y′2),(x2,y2)},...,{(x′n,y′n),(xn,yn)}}，称为集合1；
选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K2对匹配点，用Pos_K2表示，其中
称为集合2，其中K1<K2；
d)对于集合2中所有的点对，计算两点间的斜率，如下式所示，并对其四舍五入取整，形成斜率集合k：k＝{k1,k2,...,kw},
<mrow> <msub> <mi>k</mi> <mi>w</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>y</mi> <mi>w</mi> </msub> <mrow> <msub> <mi>x</mi> <mi>w</mi> </msub> <mo>-</mo> <msubsup> <mi>x</mi> <mi>w</mi> <mo>&amp;prime;</mo> </msubsup> </mrow> </mfrac> <mo>,</mo> <mn>1</mn> <mo>&amp;le;</mo> <mi>w</mi> <mo>&amp;le;</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> <mo>;</mo> </mrow>
e)计算斜率集合k中每个斜率出现的频数，筛选频数大于等于2的斜率，形成新的集合k_new＝{k1,k2,...,kt}，其中t是得到特征点的总数量；如果斜率集合k中每个斜率出现的频数都为1，则选择前2K2/3对的斜率构成新的集合k_new；
f)遍历计算集合修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中所有的点对的斜率，筛选出斜率在区间[kt-0.5,kt+0.5]内的所有的点对，形成点对集合
Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}，其中
kt∈k_new。
9.根据权利要求8所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(41)中，SURF算法按照特征点周围的像素点的信息给每个兴趣点重新指定唯一的方向，具体步骤为：
a)以特征点为中心，计算Harr小波在半径为6σ的圆形邻域内水平和竖直方向上的响应，其中采样步长为σ，小波的尺寸为4σ；
b)以特征点为中心对小波响应进行高斯加权，使得接近特征点的权重值大，远离特征点的权重值小，得到新的水平方向和竖直方向上的响应；
c)最后采用一个角度为60度的扇形窗口遍历整个圆，直到扇形窗口内总响应最强，此时扇形窗口内的方向指向即为该兴趣点的主方向。
10.根据权利要求8所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(5)中，双目视觉摄像机间的基线距离b，已知摄像机焦距f，视差d定义为某一点在两幅图像中相应点的位置差：
d＝(xzn-xyn)
其中，xzn、xyn分别是匹配点对在左目图像和右目图像中的横坐标，由此计算出左摄像机坐标系中某点P的空间坐标为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>x</mi> <mi>c</mi> </msup> <mo>=</mo> <mfrac> <mrow> <mi>b</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mrow> <mi>z</mi> <mi>n</mi> </mrow> </msub> </mrow> <mi>d</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>y</mi> <mi>c</mi> </msup> <mo>=</mo> <mfrac> <mrow> <mi>b</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mrow> <mi>z</mi> <mi>n</mi> </mrow> </msub> </mrow> <mi>d</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>z</mi> <mi>c</mi> </msup> <mo>=</mo> <mfrac> <mrow> <mi>b</mi> <mo>&amp;CenterDot;</mo> <mi>f</mi> </mrow> <mi>d</mi> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，(xc，yc，zc)是当前匹配点在空间坐标中的位置信息，yzn是匹配点对在左目图像和右目图像中的纵坐标，根据上式计算出所有匹配点在左摄像机坐标系中的坐标，再根据上式与已得到的电力线横坐标位置(xdz1,xdz2...xdzn),(xdy1,xdy2...xdyn)，计算与匹配点空间欧式距离最小的电力线上的点的空间坐标；其中，定义在二维坐标系中纵坐标相同的电力线上的点和匹配点的空间欧式距离最小，将匹配点纵坐标直接赋予电力线上对应的点，则与点对集合Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}形成一一对应电力线的点为Pos_D＝{{(xdz1,yz1),(xdy1,yy1)},{(xdz2,yz2),(xdy2,yy2)},...,{(xdzn,yzn),(xdyn,yyn)}}，由此计算出左摄像机坐标系中电力线上某点D的空间坐标(xd,yd,zd)。
11.根据权利要求10所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(6)中，得到点P和点D的空间坐标后，计算匹配点到电力线的空间欧式距离J，定义J为：
<mrow> <mi>J</mi> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mi>c</mi> </msup> <mo>-</mo> <msup> <mi>x</mi> <mi>d</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>y</mi> <mi>c</mi> </msup> <mo>-</mo> <msup> <mi>y</mi> <mi>d</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>z</mi> <mi>c</mi> </msup> <mo>-</mo> <msup> <mi>z</mi> <mi>d</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>.</mo> </mrow>
CN201610656038.3A 2016-08-11 2016-08-11 一种基于人眼视觉特性的电力线路无人机巡检方法 Active CN106356757B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610656038.3A CN106356757B (zh) 2016-08-11 2016-08-11 一种基于人眼视觉特性的电力线路无人机巡检方法
DE112016000702.7T DE112016000702T5 (de) 2016-08-11 2016-12-14 Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels
US15/555,408 US10269138B2 (en) 2016-08-11 2016-12-14 UAV inspection method for power line based on human visual system
PCT/CN2016/109778 WO2018028103A1 (zh) 2016-08-11 2016-12-14 一种基于人眼视觉特性的电力线路无人机巡检方法
MYPI2017703302A MY192356A (en) 2016-08-11 2016-12-14 An uav inspection method for power line based on human visual system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610656038.3A CN106356757B (zh) 2016-08-11 2016-08-11 一种基于人眼视觉特性的电力线路无人机巡检方法

Publications (2)

Publication Number Publication Date
CN106356757A CN106356757A (zh) 2017-01-25
CN106356757B true CN106356757B (zh) 2018-03-20

Family

ID=57843922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610656038.3A Active CN106356757B (zh) 2016-08-11 2016-08-11 一种基于人眼视觉特性的电力线路无人机巡检方法

Country Status (5)

Country Link
US (1) US10269138B2 (zh)
CN (1) CN106356757B (zh)
DE (1) DE112016000702T5 (zh)
MY (1) MY192356A (zh)
WO (1) WO2018028103A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
CN106873627B (zh) * 2017-03-31 2020-07-28 湘潭大学 一种自动巡检输电线路的多旋翼无人机及方法
CN107462217B (zh) * 2017-07-07 2020-04-14 北京航空航天大学 一种面向电力巡检任务的无人机双目视觉障碍物感知方法
CN109426277B (zh) * 2017-08-30 2022-11-08 广州极飞科技股份有限公司 移动轨迹规划的方法及装置
CN107796360B (zh) * 2017-09-30 2020-06-09 杭州艾航科技有限公司 一种基于无人机视频测量单管塔平板天线角度的方法
CN108280404A (zh) * 2017-12-29 2018-07-13 宁波诺视智能科技有限公司 一种基于人工智能的无人机智能巡线识别方法及系统
CN108734143A (zh) * 2018-05-28 2018-11-02 江苏迪伦智能科技有限公司 一种巡检机器人的基于双目视觉的输电线路在线检测方法
US11011922B2 (en) 2018-06-09 2021-05-18 Nxp Aeronautics Research, Llc Monitoring tower with device powered using differentials in electric field strengths within vicinity of powerlines
US10391867B1 (en) 2018-06-09 2019-08-27 Nxp Aeronautics Research, Llc Apparatus having electric-field actuated generator for powering electrical load within vicinity of powerlines
CN108982554A (zh) * 2018-06-20 2018-12-11 国网河南省电力公司电力科学研究院 一种无人机吊装x射线检测装置及检测方法
CN108645383A (zh) * 2018-07-27 2018-10-12 国网福建省电力有限公司漳州供电公司 一种基于无人机测量树线距离的方法
CN108919838B (zh) * 2018-08-27 2021-03-26 河海大学常州校区 一种基于双目视觉的无人机输电线路自动跟踪方法
CN109145905A (zh) * 2018-08-29 2019-01-04 河海大学常州校区 一种基于视觉显著性的输电线路配件检测方法
CN109300118B (zh) * 2018-09-11 2021-09-10 东北大学 一种基于rgb图像的高压电力线路无人机巡检方法
CN109412079B (zh) * 2018-12-13 2020-07-14 杭州申昊科技股份有限公司 一种输电线无人机巡检系统
CN109711368B (zh) * 2018-12-29 2023-04-14 华东理工大学 高空电缆线危险区域图像识别方法
CN110033471B (zh) * 2019-04-19 2022-09-13 福州大学 一种基于连通域分析和形态学操作的框线检测方法
CN110119161B (zh) * 2019-06-14 2022-03-01 河海大学常州校区 一种无人机输电线路巡线视觉避障方法及系统
CN110390672A (zh) * 2019-07-11 2019-10-29 中国计量大学 一种基于EDLines的电力线快速提取方法
CN110347186B (zh) * 2019-07-17 2022-04-05 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪系统
CN112258561B (zh) * 2019-07-22 2023-08-25 复旦大学 针对图像拼接的匹配点获取方法
WO2021101608A1 (en) 2019-08-26 2021-05-27 Nxp Aeronautics Research, Llc Uav airways systems and apparatus
CN110676753B (zh) * 2019-10-14 2020-06-23 宁夏百川电力股份有限公司 输电线路智能巡检机器人
CN111310731B (zh) * 2019-11-15 2024-04-09 腾讯科技（深圳）有限公司 基于人工智能的视频推荐方法、装置、设备及存储介质
CA3164654A1 (en) * 2019-12-13 2021-06-17 Lindsey Firesense, Llc System and method of debris detection and integrity validation for right-of-way based infrastructure
CN111071442B (zh) * 2020-01-07 2022-06-21 国网冀北电力有限公司唐山供电公司 一种线路安全巡视器及其使用方法
DE102020111209A1 (de) 2020-04-24 2021-10-28 Westnetz Gmbh Verfahren zum Überwachen eines elektrischen Versorgungsnetzes
CN111814546A (zh) * 2020-06-03 2020-10-23 国网浙江省电力有限公司 用于输电线弧垂测量的图像识别算法
CN111882618B (zh) * 2020-06-28 2024-01-26 北京石油化工学院 双目测距中左右视图特征点匹配处理方法、终端及系统
CN112053461A (zh) * 2020-09-16 2020-12-08 江苏伊卡洛斯电力无人机通用技术有限公司 一种基于无人机的电力巡检方法
CN112215878B (zh) * 2020-11-04 2023-03-24 中日友好医院(中日友好临床医学研究所) 一种基于surf特征点的x光图像配准方法
CN112464789B (zh) * 2020-11-25 2022-09-02 河海大学常州校区 基于线特征的输电线路提取方法
CN112686938B (zh) * 2020-12-29 2024-03-15 重庆大学 基于双目图像测距的输电线路净距计算与安全告警方法
CN112525162B (zh) * 2021-02-09 2021-07-13 国网江苏省电力有限公司泰州供电分公司 一种无人机测量输电线路影像距离的系统及方法
CN113160150B (zh) * 2021-04-01 2022-12-06 西安科技大学 线网异物入侵ai检测方法与装置
CN113191972B (zh) * 2021-04-27 2023-04-14 西安交通大学 一种轻量真实图像去噪的神经网络设计及训练方法
CN113034501B (zh) * 2021-05-25 2021-10-15 国网江苏省电力有限公司泰州供电分公司 一种基于关键点检测的均压环倾斜故障识别方法及装置
CN113205541A (zh) * 2021-05-31 2021-08-03 交通运输部天津水运工程科学研究所 一种基于视觉边缘检测的实验室空间波浪实时测量方法
CN113525183A (zh) * 2021-07-29 2021-10-22 北京南凯自动化系统工程有限公司 一种铁路接触网障碍物清理系统和方法
CN113670268B (zh) * 2021-08-04 2023-08-01 国网福建省电力有限公司泉州供电公司 基于双目视觉的无人机和电力杆塔距离测量方法
CN113733142B (zh) * 2021-11-05 2022-03-08 广东电网有限责任公司江门供电局 机械手系统及机械手系统的控制方法
CN114463648B (zh) * 2022-01-09 2024-04-16 中国长江三峡集团有限公司 一种基于纯视觉的保持风机叶片位于相机视野中间的方法
CN114119606B (zh) * 2022-01-20 2022-05-10 国网江西省电力有限公司电力科学研究院 基于可见光照片电力线着色的智能化树障隐患分析方法
CN114463425B (zh) * 2022-01-26 2024-04-16 武汉理工大学 一种基于概率Hough直线检测的工件表面无特征点定位方法
CN114782529B (zh) * 2022-03-25 2024-06-25 国网湖北省电力有限公司电力科学研究院 一种面向带电作业机器人的抓线点高精度定位方法、系统及存储介质
CN114756052B (zh) * 2022-03-31 2023-04-07 电子科技大学 一种基于无人机群的多目标协同追踪方法
CN114777745A (zh) * 2022-04-08 2022-07-22 南京信息工程大学 一种基于无迹卡尔曼滤波的倾斜取证建模方法
CN114926552B (zh) * 2022-06-17 2023-06-27 中国人民解放军陆军炮兵防空兵学院 一种基于无人机图像计算像素点高斯坐标方法及系统
CN115150784B (zh) * 2022-09-02 2022-12-06 汕头大学 基于基因调控网络的无人机集群区域覆盖方法及设备
CN115294482B (zh) * 2022-09-26 2022-12-20 山东常生源生物科技股份有限公司 一种基于无人机遥感图像的食用菌产量估算方法
CN116843909B (zh) * 2023-05-12 2024-03-08 国家电网有限公司华东分部 电力线提取方法及装置、存储介质、计算机设备
CN116918593B (zh) * 2023-09-14 2023-12-01 众芯汉创(江苏)科技有限公司 一种基于双目视觉无人影像的输电线路通道树障监测系统
CN117146826B (zh) * 2023-10-26 2024-01-02 国网湖北省电力有限公司经济技术研究院 一种输电线路隐患巡检路径规划方法及装置
CN117541605B (zh) * 2024-01-09 2024-03-29 山东华中重钢有限公司 一种钢结构锈蚀图像区域快速分割方法
CN118097565A (zh) * 2024-04-19 2024-05-28 国网上海市电力公司 一种基于单目视觉的输电通道无效隐患判定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663766A (zh) * 2012-05-04 2012-09-12 云南大学 一种基于非真实感的艺术插画效果绘制方法
CN102929288A (zh) * 2012-08-23 2013-02-13 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法
CN104764748A (zh) * 2015-05-04 2015-07-08 成都唐源电气有限责任公司 定位绝缘子的方法、系统以及故障检测的方法和系统
CN104766319A (zh) * 2015-04-02 2015-07-08 西安电子科技大学 提升夜间拍照图像配准精度的方法
CN104851144A (zh) * 2015-05-29 2015-08-19 山东鲁能智能技术有限公司 具有自适应偏振镜调节的巡检机器人图像处理系统及方法
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060270B2 (en) * 2008-02-29 2011-11-15 The Boeing Company System and method for inspection of structures and objects by swarm of remote unmanned vehicles
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN101616310B (zh) * 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
GB0920636D0 (en) * 2009-11-25 2010-01-13 Cyberhawk Innovations Ltd Unmanned aerial vehicle
US20120250010A1 (en) * 2011-03-31 2012-10-04 Richard Charles Hannay Aerial Inspection System(s) and Method(s)
CN102390370B (zh) * 2011-10-25 2013-07-03 河海大学 一种基于立体视觉的车辆行驶应急处理装置及方法
US9162753B1 (en) * 2012-12-31 2015-10-20 Southern Electrical Equipment Company, Inc. Unmanned aerial vehicle for monitoring infrastructure assets
CN203083532U (zh) * 2013-01-11 2013-07-24 北京国网富达科技发展有限责任公司 一种检测输电线路安全运行的系统
CN103454556B (zh) * 2013-08-09 2016-01-20 国家电网公司 一种具有3d扫描功能的巡检装置及其检测方法
CN103761524B (zh) * 2014-01-17 2016-11-16 电子科技大学 一种基于图像的线性目标识别与提取方法
EP2902319B1 (en) * 2014-01-30 2019-06-26 The Boeing Company Unmanned aerial vehicle
EP3271788A4 (en) * 2015-03-18 2018-04-04 Izak Van Cruyningen Flight planning for unmanned aerial tower inspection with long baseline positioning
US11029352B2 (en) * 2016-05-18 2021-06-08 Skydio, Inc. Unmanned aerial vehicle electromagnetic avoidance and utilization system
US20180314994A1 (en) * 2017-05-01 2018-11-01 International Business Machines Corporation Directed unmanned aircraft for enhanced power outage recovery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663766A (zh) * 2012-05-04 2012-09-12 云南大学 一种基于非真实感的艺术插画效果绘制方法
CN102929288A (zh) * 2012-08-23 2013-02-13 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法
CN104766319A (zh) * 2015-04-02 2015-07-08 西安电子科技大学 提升夜间拍照图像配准精度的方法
CN104764748A (zh) * 2015-05-04 2015-07-08 成都唐源电气有限责任公司 定位绝缘子的方法、系统以及故障检测的方法和系统
CN104851144A (zh) * 2015-05-29 2015-08-19 山东鲁能智能技术有限公司 具有自适应偏振镜调节的巡检机器人图像处理系统及方法
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法

Also Published As

Publication number Publication date
MY192356A (en) 2022-08-17
CN106356757A (zh) 2017-01-25
US10269138B2 (en) 2019-04-23
US20180357788A1 (en) 2018-12-13
WO2018028103A1 (zh) 2018-02-15
DE112016000702T5 (de) 2018-04-19

Similar Documents

Publication Publication Date Title
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
Li et al. Towards automatic power line detection for a UAV surveillance system using pulse coupled neural filter and an improved Hough transform
CN107392247B (zh) 一种电力线下方地物安全距离实时检测方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN108389256B (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN110288586A (zh) 一种基于可见光图像数据的多尺度输电线路缺陷检测方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN109829908B (zh) 基于双目影像的电力线下方地物安全距离检测方法及设备
JP6858415B2 (ja) 海面計測システム、海面計測方法および海面計測プログラム
CN109949229A (zh) 一种多平台多视角下的目标协同检测方法
CN112445241A (zh) 一种基于无人机遥感技术的地表植被识别方法、系统及可读存储介质
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN108710818A (zh) 一种基于三维激光雷达的人数实时监测统计系统及方法
CN111126116A (zh) 无人船河道垃圾识别方法及系统
CN112037252A (zh) 基于鹰眼视觉的目标跟踪方法及系统
CN109684914A (zh) 基于无人机影像智能识别方法
CN115809986A (zh) 一种多传感器融合的输电走廊智能外破检测方法
CN114898238A (zh) 一种野生动物遥感识别方法及装置
CN116030208A (zh) 一种真实无人机虚拟仿真输电线路场景搭建方法及系统
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN113962973A (zh) 一种基于卫星技术的输电线路无人机智能巡检系统及方法
CN114758215A (zh) 一种配网带电作业机器人接地环及其螺栓的识别定位方法
CN115588144A (zh) 基于高斯动态阈值筛选的实时姿态捕捉方法及装置、设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant