CN108037770B - 基于人工智能的无人机输电线路巡检系统和方法 - Google Patents

基于人工智能的无人机输电线路巡检系统和方法 Download PDF

Info

Publication number
CN108037770B
CN108037770B CN201711173985.8A CN201711173985A CN108037770B CN 108037770 B CN108037770 B CN 108037770B CN 201711173985 A CN201711173985 A CN 201711173985A CN 108037770 B CN108037770 B CN 108037770B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
image
defect
transmission line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711173985.8A
Other languages
English (en)
Other versions
CN108037770A (zh
Inventor
高强
袁宝
刘宗杰
乔亚男
李辉
陈伦
马志腾
张翠珍
冯庆云
杨涛
丛超
张坤
孙春刚
李文旭
张延霞
张颜艳
付正鑫
马广鹏
刘秀秀
吕德志
赵衍恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Jining Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Jining Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Jining Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201711173985.8A priority Critical patent/CN108037770B/zh
Publication of CN108037770A publication Critical patent/CN108037770A/zh
Application granted granted Critical
Publication of CN108037770B publication Critical patent/CN108037770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12Target-seeking control

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人工智能的无人机输电线路巡检系统和方法,所述系统包括:无人机、后台服务器和无人机操控平台,无人机根据预设控制指令采集目标图像,并传输至后台服务器;后台服务器,接收所述目标图像,执行图像分析,并将分析结果发送至无人机操控平台;所述图像分析包括:缺陷自动识别和林木隐患分析;无人机操控平台,接收操控人员关于无人机的操控指令,以及针对分析结果的确认指令,将所述分析结果推送至消缺班组。本发明提高了线路巡检消缺工作的自动化水平,减少了人工识别处理误报率和漏报率,提高了分析的准确性和有效性。

Description

基于人工智能的无人机输电线路巡检系统和方法
技术领域
本发明属于电力系统运行检修领域,尤其涉及一种基于人工智能的无人机输电线路巡检系统和方法。
背景技术
输电线路多布设在荒郊野外,地形复杂,人工巡检困难,线路设备由于暴露在野外,会遭受风雨等自然因素和施工、植树等人为因素的影响,须及时排查,找出缺陷位置和缺陷类型。无人机巡检具有受地形限制小、塔头巡检效果好、操作简单、可快速部署、巡检成本低等优点,在巡检范围、内容和频次上是人工巡检的有效补充。但是,在使用过程中也发现了如下诸多问题:
(一)海量图片数据,人工处理困难
目前缺陷查找采用的是人工判定的方法,工作人员通过局部放大无人机拍摄的照片,用肉眼查找图片中的缺陷点。假设有无人机10架,每架次每天拍摄8~10基杆塔,每基塔拍照30~40张,每天共拍摄图片3000余张,每张照片需要筛选的缺陷位置点约为30个。共有五人进行缺陷查找工作,每人每天需梳理图片600余张、筛选缺陷位置点20000余个,每人每天需花费约4~5小时进行图片缺陷查找,占用了无人机巡检人员大部分时间和精力。
(二)人工处理图片繁琐,识别可靠性低
输电运维人员在无人机巡视结束后导出图片统一进行处理,单张照片初步浏览过滤平均时间为1.5分钟、发现异常进行比对确认需3-5分钟。人工分类整理图片非常繁琐而且相似图片很容易混淆。同时,同一类型的缺陷判别工作重复性较高,图片的识别工作较为适合计算机自动化处理模式。
查找到的缺陷需要工作人员手动进行标记,对照《输电一次设备标准缺陷库》对缺陷进行命名、分类、统计汇总后上报运检部,消缺班组根据派发的缺陷处理单进行故障消缺,由于人工识别缺陷有5%左右的隐蔽缺陷不能一次判别出来,基于无人机巡视线路消缺的可靠性无法达到100%。
(三)人工分析模式单一,图像信息利用不足
输电运维人员将缺陷图片识别处理完成后将图片存储至缺陷库中,随着图片数量的不断增加,缺陷库的规模也越发庞大,运维人员很难从中提取出诸如绝缘子典型缺陷、严重缺陷占比等重要信息,无法利用统计分析进行巡视工作的改进。
输电线路周边存在可能影响线路安全的障碍物,常见如树木、施工器械等。人工分析无人机采集图像中,无法准确判定线路与障碍物的距离,而且无法依据树木生长周期确定树木清障的最佳时机,只能加强人工巡视频次,造成重复劳动,增大了工作负担。
如何提高输电线路巡检的自动化水平和准确率,是本领域技术人员目前需要迫切解决的技术问题。
发明内容
为克服上述现有技术的不足,本发明提供了一种基于人工智能的无人机输电线路巡检系统和方法,根据无人机采集的图片,经由控制节点实时传输到后台服务器,后台服务器完成对目标图片的缺陷识别工作,并回传至无人机操控平台,待操控人员确认后将缺陷数据直接推送消缺班组,并归档至缺陷状态库,完成对缺陷的自动处理识别过程。
为实现上述目的,本发明采用如下技术方案:
一种基于人工智能的无人机输电线路巡检系统,包括:无人机、后台服务器和无人机操控平台,
无人机,根据预设控制指令采集目标图像,并传输至后台服务器;所述预设控制指令包括无人机飞行高度、拍摄位置、拍摄角度、无人机起飞后拍摄目标的顺序,以及摄像机拍摄参数;
后台服务器,接收所述目标图像,执行图像分析,并将分析结果发送至无人机操控平台;所述图像分析包括:缺陷自动识别和林木隐患分析;
无人机操控平台,接收操控人员关于无人机的操控指令,以及针对分析结果的确认指令,将所述分析结果推送至消缺班组。
进一步地,所述拍摄参数包括:以完成缺陷识别为目的图像采集,采用机器视觉光源增亮目标设备,调大相机光圈,缩短相机曝光时间;以完成林木隐患预警为目的的图像采集,调小相机光圈。
进一步地,所述无人机操控平台包括地面站和操控者平板。
进一步地,无人机中内置WIFI通道或4G流量卡,与地面控制中心和操控者平板连接;地面控制中心与后台服务器通过4G或有线网络连接;操控者平板与后台服务器通过4G连接。
进一步地,采用VPN加密隧道,使用TLS协议在各个环节之间传输信息。
根据本发明的另一目的,本发明还提供了一种采用所述系统的无人机输电线路巡检方法,其特征在于,包括以下步骤:
步骤1:无人机根据预设控制指令采集目标图像,并传输至后台服务器;
步骤2:后台服务器接收所述目标图像,执行图像分析,并将分析结果发送至无人机操控平台;所述图像分析包括:缺陷自动识别和林木隐患分析;
步骤3:无人机操控平台接收操控人员针对分析结果的确认指令,将所述分析结果推送至消缺班组;
进一步地,所述缺陷自动识别包括:
(1)基于候选框选择网络进行目标设备定位;
(2)采用分水岭算法对目标设备进行分割;
(3)将分割出的目标设备与预先训练的模型进行比对,判断是否存在缺陷,若存在,提取所述缺陷;
(4)针对所述缺陷,根据预先训练的分类模型识别所述缺陷类型。
进一步地,所述林木隐患分析包括:
(1)基于双目测距原理,根据无人机在同一水平线拍摄不同角度的图像,计算植被高度;
(2)基于预先训练的分类模型识别植被种类;
(3)根据所述植被种类的生长周期,判断所述植被是否存在安全隐患。
进一步地,无人机采集杆塔目标图像时,控制无人机升至铁塔标盘位置寻找铁塔标牌,通过文字识别方法识别杆塔信息,判断铁塔是否与任务地点一致,如果一致将继续升高至任务地点进行拍照,同时将拍摄角度与参考图像库中正常照片拍摄角度进行对比,若不一致,继续分析线路走廊图片,控制无人机飞往下一级杆塔进行辨别。
进一步地,后台服务器还根据铁塔的运行年限判断是否需要全面拍照检查,若需要,在无人机巡检任务完成后,若电量充足且没有其他影响巡检的条件,则在返行线路中,根据缺陷库数据分析得到的预警信息全方位检查。
本发明的有益效果
1、本发明通过巡检图像的自动化分析,最大限度发挥无人机巡线安全、快速、高效的优势,提高巡视的精度、效率,增强线路巡视的全面性、可靠性。应用智能化图像识别处理技术,提高线路巡检消缺工作自动化水平、智能化水平,减少隐患发现时长,缩短故障处理时间,大大减少人员分析处理的工作量,减少人工识别处理误报率和漏报率,提高分析的准确性和有效性,通过历史图像分析计算,能够很好的识别处理林木隐患等隐蔽缺陷,能够显著提高国网公司无人机巡检工作效率、效益。
2、本发明的巡检数据链以指挥中心、单兵、控制、通信、监视、分析为支撑,由传感器网(Sensor Grid)、通信网(Communication grid)、分析控制网(Analysis controlgrid)三大部分体系组成,通过数据链和通信网将三大体系联结为一体进行巡检,共同感知现场态势,充分发挥数据链实时共享的优势,大大缩短了发现缺陷、识别缺陷、定位缺陷、缺陷分级、缺陷分类以及缺陷传输的时间,真正做到无人机发现缺陷实时传送至消缺班组。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为本发明基于人工智能的无人机输电线路巡检系统的框架图;
图2为本发明基于人工智能的无人机输电线路巡检系统的方法流程图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例的目的是提供一种基于人工智能的无人机输电线路巡检系统。
为了实现上述目的,本实施例公开了一种无人机输电线路巡检系统,包括:无人机、后台服务器和无人机操控平台。具体地,
无人机,根据预设控制指令采集目标图像,并传输至后台服务器;
具体地,通过无人机飞控技术,规范化无人机飞行高度及拍摄角度等手段提高所拍摄的图像质量,建立无人机在杆塔位置的固定巡航点,同时规定无人机起飞后拍摄目标设备的顺序,建立标准化的采样流程。无人机中内置定位装置(如GPS系统、陀螺仪),拍摄图像时,将位置数据记录在图像数据中。
以完成缺陷识别为目的图像采集,采用机器视觉光源增亮目标设备,调大相机光圈,缩短相机曝光时间,使相机具有极小的景深及极小的感光度,从而凸显目标设备而模糊背景干扰。
以完成林木隐患预警为目的的图像采集,需要调小相机光圈,使相机具有较大景深,从而既能拍清楚线路特征又能最大程度的清晰化林木特征。
后台服务器,接收所述目标图像,执行图像分析,并将分析结果发送至无人机操控平台;所述图像分析包括:缺陷自动识别和林木隐患分析;
后台服务器经过图像分析,将根据分析结果将缺陷的类型标记为危急缺陷、严重缺陷和一般缺陷,并自动生成正常数据库和缺陷数据库存储相应图像,避免手动归类的繁琐。后台服务器中存储有与所述标准化的采样流程相一致的各目标设备的参考图像库、图像模型,以及常见缺陷的分类模型等。
无人机操控平台,接收操控人员关于无人机的操控指令,以及针对分析结果的确认指令,将所述分析结果推送至消缺班组。
所述无人机操控平台包括地面站和操控者平板。二者互为补充,当无人机遇到突发情况,但地面站操控人员不在时,可通过平板对其进行控制。
无人机中内置WIFI通道或4G流量卡,与地面控制中心和操控者平板连接,实现双向数据链实时共享,无人机WIFI通道支持多通道模式,其中一个通道进行图像传输,其余通道均可进行遥控操作,4G信号也支持双通道模式,防止因传送大型视频、图片而延误操控造成事故。
地面控制中心与后台服务器通过4G或有线网络连接;操控者平板与后台服务器通过4G连接。
安全方面采用主流的VPN加密隧道,使用TLS协议(IETF把SSL标准化。标准化之后的名称改为TLS(是“Transport Layer Security”的缩写))在各个环节之间传输信息,确保数据发送到正确的客户机和服务器;加密数据以防止数据中途被窃取;维护数据的完整性,确保数据在传输过程中不被改变。同时为确保图像传输的实时性采用UDP协议。
实施例二
本实施例的目的是提供一种基于上述巡检系统的巡检方法。
为了实现上述目的,本实施例公开了一种基于人工智能的无人机输电线路巡检方法,包括以下步骤:
步骤1:无人机根据预设控制指令采集目标图像,并传输至后台服务器;
具体地,通过无人机飞控技术,规范化无人机飞行高度及拍摄角度等手段提高所拍摄的图像质量,建立无人机在杆塔位置的固定巡航点,同时规定无人机起飞后拍摄目标设备的顺序,建立标准化的采样流程。
无人机飞控系统实时采集各传感器测量的飞行状态数据、接收无线电测控终端传输的由地面测控站上行信道送来的控制命令及数据,经计算处理,输出控制指令给执行机构,实现对无人机中各种飞行模态的控制和对任务设备的管理与控制;同时将无人机的状态数据及发动机、机载电源系统、任务设备的工作状态参数实时传送给机载无线电数据终端,经无线电下行信道发送回地面测控站。
以完成缺陷识别为目的图像采集,采用机器视觉光源增亮目标设备,调大相机光圈,缩短相机曝光时间,使相机具有极小的景深及极小的感光度,从而凸显目标设备而模糊背景干扰。
以完成林木隐患预警为目的的图像采集,需要调小相机光圈,使相机具有较大景深,从而既能拍清楚线路特征又能最大程度的清晰化林木特征。
步骤2:后台服务器接收所述图像,执行图像分析,并将分析结果发送至无人机操控平台;所述图像分析包括:缺陷自动识别和林木隐患分析;
(一)缺陷自动识别
(1)基于候选框选择网络进行目标设备定位;
无人机拍摄的画面里不仅有目标设备,还包含复杂不定的背景,背景可能是地面交通环境或植被环境,也有可能是杆塔自身的骨架结构环境。该部分需要研究将目标设备从图像背景中准确识别并定位到最小矩形包围盒区域。
使用候选框选择网络(RPN,Region Proposal Network)确定可能是设备的候选框,这些候选框中可能包含设备,也可能不是设备。由于设备在图像中的位置和尺度都是未知的,如果采用平滑窗口遍历的方法,需要采用多种尺度以各种不同步长平移,产生数量巨大的待判定窗口,计算量无法忍受。而RPN方法或Selective Search方法则可以仅产生少量最有可能的候选框,使得整个识别过程可以快速完成。相对来说,RPN方法比SelectiveSearch方法计算速度更快,候选框查找更准确。
(2)采用分水岭算法对目标设备进行分割;
上述定位出的包围盒仍然存在除目标设备以外的部分背景图像,该部分需要研究图像分割技术,把目标设备精细分割出来。
经过规范化的图像采集过程获得的图像其背景相对比较单调,相反设备特征相对较复杂,所以设备分割在此可理解为背景分割,把背景分割出去,剩下的即为目标设备。
分割算法采用分水岭算法(Watershed Algorithm),其基本思想是将灰度图像看作是地貌表面,此时像素的灰度值相当于地形中对应点的海拔高度,并在地形中的每个极小值区域表面上打一个孔,水将从这些孔中慢慢的浸入并逐渐淹没其周围的区域并最终形成盆地,当来自两个不同的极小值的水面不断升要汇集到一起时,为了防止它们合并,当水位到达地形的最大高度时,就在此处建堤坝,这样整个的堤坝就构成了地形表面的分水线,这些分水线就是图像中分水岭的脊线。分水岭脊线是单像素连通且封闭的边缘轮廓。由于图像在成像的过程中存在角度、位置、光照以及拍摄系统中的噪声等干扰因素的影响,导致分水岭算法极易产生过分割现象。
因此在使用分水岭之前先对图像进行图像降噪预处理。运用平均值统计量和方差统计量,构建了一种全新的自适应滤波降噪模型。该模型利用其引起的窗口方差变化程度的中心点,作为更新灰度值的中心点加权控制量,对其中心点的窗口灰度值进行更新。该模型的具体描述如下:
对于3×3的图像局部窗口有:
Figure GDA0001589807150000071
其中,
Figure GDA0001589807150000072
为窗口边缘均值;
Figure GDA0001589807150000073
为窗口边缘方差;
Figure GDA0001589807150000074
为整个窗口的方差;W(x,y)是降噪前窗口中心点(x,y)的灰度值,
Figure GDA0001589807150000075
是降噪后窗口中心点(x,y)的灰度值。
分水岭算法如下描述:
Step1:将象素点按灰度值从低到高的顺序处理,然后将相同灰度值的点作为同一个灰度层级;
Step2:处理一个灰度层级hi,并设hi为当前层,将该层中所有邻域被已标识的象素点加入到一个先进先出队列中去;
Step3:如果先进先出队列非空,那么则弹出队列的首元素作为当前处理象素。顺序处理当前象素所有高度为hi的相邻点,若相邻点已被标识,则将根据其该相邻点标识刷新当前象素点的标识;若相邻点尚未标识,则将该相邻点加入到先进先出队列中去。循环执行本步直至队列空为止。
Step4:再次扫描其当前灰度层级的象素点,检查是否仍有未标识的点。此时的未标识点就意味着一个新的极小区。因此,如果发现了其未标识点,则将当前区域标识值加1,并将该值赋为未标识点的标识值。然后,从该点出发执行与其Step3相同的步骤,标识该极小区的所有象素点。
Step5:返回Step2处理下一灰度层级,直至将所有灰度层级都处理完毕为止。
(3)将分割出的目标设备与预先训练的模型进行比对,判断是否存在缺陷,若存在,提取所述缺陷;
设备缺陷检测是对上述分割出来的目标设备的表面损毁、污秽异物附着表面等表面缺陷现象的检出并定位到具体缺陷位置的过程。能够准确检出缺陷是后续缺陷分类的依据,该过程肯定会出现漏检出和误检出的现象,为了提高实用性,本发明采取宁可误检出也不漏检出的原则构建设备图像模型,通过当前设备图像与模型图像的统计特征的提取与对比实现缺陷检测。将图像归类为正常图像和缺陷图像,作为后续修正分类模型的依据。
无人机在巡检过程中,每次拍摄图像的位置及角度是固定的,可充分利用这一前提因素,逐个位置建立图像模型,通过模型比对的方式实现缺陷及异物的检测。为了避免路面行人及车辆通过时造成的误判,可以训练多角度的识别模型,从多个角度分别进行分析,从而降低误判率。
优选地,定义各个目标设备正常无缺陷时的图像表象,每类设备训练各自的图像模型,通过与模型统计特征的相似性对比提取缺陷存在的部位。
所述图像模型采用混合高斯模型。以某一段指定点绝缘子为例,收集该定点正常的历史图像数据训练混合高斯模型,混合高斯用多个高斯分布平滑地模拟像素的变化情况,如果当前图像中的某像素的特征与任意一个高斯分布相吻合,则该像素属于背景像素,否则属于前景像素。
如某一像素点(x,y)的像素值在时间上的变化用k(一般取3~5)个高斯分布进行建模,该像素的概率分布为
Figure GDA0001589807150000081
ωt,i为第i个高斯分布的权重,并且
Figure GDA0001589807150000082
η为概率密度函数;It为像素值;μt,i为均值;∑t,i为协方差。其中
Figure GDA0001589807150000083
通常,考虑到系统的实时性,假设图像中像素色彩通道间是相互独立的,以此降低算法的运算量,因此上式中协方差矩阵估计为:
Figure GDA0001589807150000091
K个高斯分布根据权重的不同赋予不同的优先级,权重越大优先级越高,并按优先级从大到小排序。根据测试的像素是否属于阈值范围内分布以确定像素为背景还是前景,如果像素的分布不符合任何高斯分布,那么重新设计一个权重较小和方差较大的高斯分布,代替优先级最小的高斯分布,并重新归一化配置各高斯分布的权重。
(4)针对所述缺陷,根据预先训练的分类模型识别所述缺陷类型。
针对一些典型缺陷,根据采集到的历史数据,标记其中的部分数据获得样本数据集,进行深度学习特征提取及训练模型。
缺陷分类采用一种图像分类的浅层结构深度学习方法。
学习阶段是单隐层卷积神经网络对每一幅参考图像进行处理的过程。其中,第一层(输入层)代表的是图像的每一个像素,隐层代表的是所有抽象层次中提取出来的特征,最后一层(输出层)代表的是图像的类型。
学习算法步骤如下:
第一步:构建候选小波库;
第二步:计算输入层与隐层之间所有的连接权值;
第三步:利用二元多分辨率分析法计算不同层次抽象隐层所对应的的输入;
第四步:把sigmoid函数作为激活函数;
第五步:利用Adaboost算法选择能描述每一类图像特点的特征;
第六步:确定每一类图像所对应的隐层与输出层之间的连接权值;
图像分类:
要对图像进行分类,必须建立一个神经网络,其中该网络的隐层神经元连接权重是由能表示所有类别图像的所有特征构成的。图像的分类是根据最佳特征进行的,其相应阈值通过以下等式确定的:
Figure GDA0001589807150000092
H(Y)是图像分类的结果,t是选择出来的最好的特征数量,h代表对第k个特征和阈值βt的训练分类器,其中阈值βt已经在学习阶段计算得到。如果H(Y)等于1,这意味着用于分类的图像符合当前的类别。否则图像不符合当前类别并立即将其拒接。
(二)林木隐患分析
林木隐患多指植被生长高度过高,接触到输电线路等设备,影响到线路安全。本项目利用无人机巡检图像自动识别植被生长现状、植被种类并结合其生长周期判断是否影响线路安全及多久后会影响线路安全。
(1)植被高度测算
使用图像识别技术自动化分析处理图像,应用双目测距的原理,使用无人机在同一水平线拍摄不同角度的图片,根据已知的无人机高度和横向移动距离,以及机载摄像机焦距、视差、摄像头中心距等参数,以此来利用目标点在左右两幅视图上成像的横向坐标直接存在的差异与目标点到成像平面的距离存在着反比例的关系,可测算出树木的高度、与导线之间的距离,可以判定出障碍物与线路的准确距离。
双目测距主要是利用了目标点在左右两幅视图上成像的横向坐标直接存在的差异(即视差)与目标点到成像平面的距离Z存在着反比例的关系:Z=fT/d.利用该原理使用单目视觉间隔采样获取的图像对中使用上述算法计算目标高度。
(2)植被种类识别分类
植被种类的的识别分类方法与上述缺陷分类算法一致,采用浅层结构深度学习方法,具体参见上文。不同的是植被的生长随机性较大,同一种类不同个体之间的植被差异较大,同一个体不同季节不同年龄差异较大,因此需要收集的样本量非常巨大,其中一部分样本可以从imageNet中获取,一部分需要实地采集,一部分通过网络爬虫获得。
(3)根据所述植被种类的生长周期,判断是否存在安全隐患。
后台服务器还根据目标图像的分析结果,将图像数据存储至正常状态数据库或缺陷数据库。将图像数据存储至缺陷数据库时,还存储缺陷数据,所述缺陷数据包括发现缺陷的时间、地点、杆塔位置、缺陷类型等信息。
步骤3:无人机操控平台接收操控人员针对分析结果的确认指令,将所述分析结果推送至消缺班组;
根据判别后的图像结果,将缺陷的类型标记为危急缺陷、严重缺陷和一般缺陷,并将识别后的缺陷推送至消缺部门,加快处理流程,自动生成缺陷数据库。
为了保证拍摄位置和预设的位置相一致,在巡检杆塔时,后台服务器接收无人机发送的位置信息,包括无人机高度、摄像机角度等,通过与摄像头实时传输画面对比分析,确定无人机实际位置。控制无人机悬停等待下一步指示;后台服务器控制云台对周边状况进行巡视,根据已建立的无人机巡检正常图库、铁塔全景图控制无人机以10cm/s的速度缓慢升高,升至铁塔标盘位置自动寻找铁塔标牌通过文字识别系统自动识别杆塔信息判断铁塔是否与任务地点一致,如果一致将继续升高至任务地点进行拍照,同时与库中正常照片拍摄角度进行对比分析,避免被拍物体显示不全或不清晰造成误判,不一致将会继续分析线路走廊图片,控制无人机飞往下一级杆塔进行辨别,从而提升杆塔缺陷位置拍摄的准确性。
后台服务器在控制无人机巡检时会根据铁塔的运行年限对超长年限运行的铁塔会进行全面拍照检查,在巡检任务完成后如果电池电量充足且没有其他影响巡检的条件,会在返行线路中,根据缺陷库数据分析得到的预警信息全方位检查。安全方面由于使用UDP协议确保了图像的实时性,当图像回传延时大于500ms时,后台服务器就发送悬停指令防止无人机出现意外情况,同时控制云台对周边环境进行巡视。如果WiFi通道或4G通道某一通道出现中断或者GPS信号失效时,无人机根据提前设置的返航高度直线返航,并告知消缺班组派人现场考察是否有强磁和雷雨天气或其他原因引起的干扰。
本发明通过巡检图像的自动化分析,最大限度发挥无人机巡线安全、快速、高效的优势,提高巡视的精度、效率,增强线路巡视的全面性、可靠性。应用智能化图像识别处理技术,提高线路巡检消缺工作自动化水平、智能化水平,减少隐患发现时长,缩短故障处理时间,大大减少人员分析处理的工作量,减少人工识别处理误报率和漏报率,提高分析的准确性和有效性,通过历史图像分析计算,能够很好的识别处理林木隐患等隐蔽缺陷,能够显著提高国网公司无人机巡检工作效率、效益。
本领域技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于人工智能的无人机输电线路巡检方法,其特征在于,包括以下步骤:
步骤1:无人机根据预设控制指令采集目标图像,并传输至后台服务器;
步骤2:后台服务器接收所述目标图像,执行图像分析,并将分析结果发送至无人机操控平台;所述图像分析包括:缺陷自动识别和林木隐患分析;
所述缺陷自动识别包括:
(1)基于候选框选择网络进行目标设备定位;
使用候选框选择网络即Region Proposal Network方法,确定可能是设备的候选框;
(2)先对图像进行图像降噪预处理,然后采用分水岭算法对目标设备进行分割;
图像降噪预处理运用平均值统计量和方差统计量,构建了一种全新的自适应滤波降噪模型;该模型利用其引起的窗口方差变化程度的中心点,作为更新灰度值的中心点加权控制量,对其中心点的窗口灰度值进行更新;该模型的具体描述如下:
对于3×3的图像局部窗口有:
Figure FDA0002963911330000011
其中,
Figure FDA0002963911330000012
为窗口边缘均值;
Figure FDA0002963911330000013
为窗口边缘方差;
Figure FDA0002963911330000014
为整个窗口的方差;W(x,y)是降噪前窗口中心点(x,y)的灰度值,
Figure FDA0002963911330000015
是降噪后窗口中心点(x,y)的灰度值;
(3)将分割出的目标设备与预先训练的模型进行比对,判断是否存在缺陷,若存在,提取所述缺陷;
(4)针对所述缺陷,根据预先训练的分类模型识别所述缺陷类型;
步骤3:无人机操控平台接收操控人员针对分析结果的确认指令,将所述分析结果推送至消缺班组。
2.如权利要求1所述的基于人工智能的无人机输电线路巡检方法,其特征在于,所述林木隐患分析包括:
(1)基于双目测距原理,根据无人机在同一水平线拍摄不同角度的图像,计算植被高度;
(2)基于预先训练的分类模型识别植被种类;
(3)根据所述植被种类的生长周期,判断所述植被是否存在安全隐患。
3.如权利要求1所述的基于人工智能的无人机输电线路巡检方法,其特征在于,无人机采集杆塔目标图像时,控制无人机升至铁塔标盘位置寻找铁塔标牌,通过文字识别方法识别杆塔信息,判断铁塔是否与任务地点一致,如果一致将继续升高至任务地点进行拍照,同时将拍摄角度与参考图像库中正常照片拍摄角度进行对比,若不一致,继续分析线路走廊图片,控制无人机飞往下一级杆塔进行辨别。
4.如权利要求1所述的基于人工智能的无人机输电线路巡检方法,其特征在于,后台服务器还根据铁塔的运行年限判断是否需要全面拍照检查,若需要,在无人机巡检任务完成后,若电量充足且没有其他影响巡检的条件,则在返行线路中,根据缺陷库数据分析得到的预警信息全方位检查。
5.一种采用如权利要求1-4任一项所述基于人工智能的无人机输电线路巡检方法的基于人工智能的无人机输电线路巡检系统,包括:无人机、后台服务器和无人机操控平台,其特征在于:
无人机,根据预设控制指令采集目标图像,并传输至后台服务器;所述预设控制指令包括无人机飞行高度、拍摄位置、拍摄角度、无人机起飞后拍摄目标的顺序,以及摄像机拍摄参数;
后台服务器,接收所述目标图像,执行图像分析,并将分析结果发送至无人机操控平台;所述图像分析包括:缺陷自动识别和林木隐患分析;
后台服务器经过图像分析,将根据分析结果将缺陷的类型标记为危急缺陷、严重缺陷和一般缺陷,并自动生成正常数据库和缺陷数据库存储相应图像;无人机操控平台,接收操控人员关于无人机的操控指令,以及针对分析结果的确认指令,将所述分析结果推送至消缺班组。
6.如权利要求5所述的一种基于人工智能的无人机输电线路巡检系统,其特征在于,所述拍摄参数包括:以完成缺陷识别为目的图像采集,采用机器视觉光源增亮目标设备,调大相机光圈,缩短相机曝光时间;以完成林木隐患预警为目的的图像采集,调小相机光圈。
7.如权利要求5所述的一种基于人工智能的无人机输电线路巡检系统,其特征在于,所述无人机操控平台包括地面站和操控者平板。
8.如权利要求7所述的一种基于人工智能的无人机输电线路巡检系统,其特征在于,无人机中内置WIFI通道或4G流量卡,与地面控制中心和操控者平板连接;地面控制中心与后台服务器通过4G或有线网络连接;操控者平板与后台服务器通过4G连接。
9.如权利要求5所述的一种基于人工智能的无人机输电线路巡检系统,其特征在于,采用VPN加密隧道,使用TLS协议在各个环节之间传输信息。
CN201711173985.8A 2017-11-22 2017-11-22 基于人工智能的无人机输电线路巡检系统和方法 Active CN108037770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711173985.8A CN108037770B (zh) 2017-11-22 2017-11-22 基于人工智能的无人机输电线路巡检系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711173985.8A CN108037770B (zh) 2017-11-22 2017-11-22 基于人工智能的无人机输电线路巡检系统和方法

Publications (2)

Publication Number Publication Date
CN108037770A CN108037770A (zh) 2018-05-15
CN108037770B true CN108037770B (zh) 2021-05-28

Family

ID=62094190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711173985.8A Active CN108037770B (zh) 2017-11-22 2017-11-22 基于人工智能的无人机输电线路巡检系统和方法

Country Status (1)

Country Link
CN (1) CN108037770B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN108881841A (zh) * 2018-07-03 2018-11-23 国网通用航空有限公司 基于直升机平台的输电线路智能识别系统及方法
CN109149440A (zh) * 2018-08-03 2019-01-04 国网辽宁省电力有限公司营口供电公司 一种输电线路智能巡检系统及巡检方法
CN109284739B (zh) * 2018-10-26 2021-09-28 福州大学 一种基于深度学习的输电线路防外力破坏预警方法及系统
CN109297978B (zh) * 2018-11-12 2020-10-27 西安交通大学 基于双目成像的电力线路无人机巡检及缺陷智能诊断系统
CN109977921B (zh) * 2019-04-11 2022-02-11 广东电网有限责任公司 一种输电线路隐患检测方法
WO2020232608A1 (zh) * 2019-05-20 2020-11-26 西门子股份公司 输配电设备诊断方法、装置、系统、计算设备、介质以及产品
CN110443908A (zh) * 2019-07-04 2019-11-12 广州科易光电技术有限公司 一种基于无人机的电力巡检方法及系统
CN110490121A (zh) * 2019-08-14 2019-11-22 北京国网信通埃森哲信息技术有限公司 一种基于多监拍图像识别的输电线路防外破方法及系统
CN110580529A (zh) * 2019-08-16 2019-12-17 国电南瑞科技股份有限公司 一种输电通道无人机精细化巡检数据的自动分析管理方法、系统及存储介质
CN110490955A (zh) * 2019-08-26 2019-11-22 成都步科智能有限公司 一种标注图像获取方法及装置
CN111107257A (zh) * 2020-01-20 2020-05-05 成都德图福思科技有限公司 针对透明介质表面刻蚀或浮雕图案进行高对比度成像的方法
CN111401146A (zh) * 2020-02-26 2020-07-10 长江大学 一种无人机电力巡检方法、设备及存储介质
CN111342391B (zh) * 2020-03-06 2021-05-14 云南电网有限责任公司电力科学研究院 一种输电线路绝缘子和线路故障巡视方法及巡视体系
CN111537515B (zh) * 2020-03-31 2023-05-12 国网辽宁省电力有限公司朝阳供电公司 基于三维实景模型的铁塔螺栓缺陷展示方法和系统
CN113572919B (zh) * 2020-04-29 2023-06-30 思特威(上海)电子科技股份有限公司 快速自动曝光调节方法及双目系统
CN111504257B (zh) * 2020-04-29 2022-03-29 广东电网有限责任公司 一种辅助无人机精准巡线的视觉测距系统及其测距方法
CN111726576A (zh) * 2020-05-27 2020-09-29 深圳中琛源科技股份有限公司 无人机巡检方法、装置、系统及存储介质
CN111640218B (zh) * 2020-05-28 2022-06-21 广东电网有限责任公司 一种无人机巡检路线规划方法、装置、终端及存储介质
CN113965241B (zh) * 2020-07-01 2024-06-14 深圳块织类脑智能科技有限公司 一种给无人机巡采巡查赋予人工智能的方法及相关装置
CN111950493B (zh) * 2020-08-20 2024-03-08 华北电力大学 图像识别方法、装置、终端设备和可读存储介质
CN112163678A (zh) * 2020-08-24 2021-01-01 国网山东省电力公司惠民县供电公司 一种电力系统巡检控制系统
CN111952883B (zh) * 2020-08-25 2022-03-29 广东电网有限责任公司 一种基于三维激光雷达的输电线路故障识别系统及方法
CN112051228B (zh) * 2020-09-11 2023-11-03 浙江华云清洁能源有限公司 一种输电线路巡检报告生成方法、装置和系统
CN112257514B (zh) * 2020-09-27 2023-04-18 复旦大学 一种用于设备故障巡检的红外视觉智检的拍摄方法
CN112329584A (zh) * 2020-10-29 2021-02-05 深圳技术大学 基于机器视觉自动识别电网异物的方法及系统、设备
CN112491982A (zh) * 2020-11-13 2021-03-12 国网天津市电力公司 基于云边协同输电线路精细化感知方法
CN112445240A (zh) * 2020-11-26 2021-03-05 广东电网有限责任公司 一种自动巡线方法和自动巡线无人机
CN112881404A (zh) * 2021-01-12 2021-06-01 王玮佳 一种螺纹钢外观缺陷检测装置
CN113159089A (zh) * 2021-01-18 2021-07-23 安徽建筑大学 一种路面损伤识别方法、系统、计算机设备和存储介质
CN113192222B (zh) * 2021-04-14 2022-11-15 山东理工大学 一种电力线路可视化告警的设备级告警策略方法
CN113569650A (zh) * 2021-06-29 2021-10-29 上海红檀智能科技有限公司 一种基于电力杆塔标牌识别的无人机自主巡检定位方法
CN113537341A (zh) * 2021-07-14 2021-10-22 安徽炬视科技有限公司 基于大数据及自学习的线路隐患在线监测装置及识别方法
CN113537089A (zh) * 2021-07-20 2021-10-22 浙江点创信息科技有限公司 一种基于无人机航拍原片的松材线虫病疫木识别定位方法
CN113537198B (zh) * 2021-07-31 2023-09-01 北京晟天行科技有限公司 一种无人机图像采集时自动拍照的控制方法
CN113673614B (zh) * 2021-08-25 2023-12-12 北京航空航天大学 基于机器视觉的地铁隧道异物入侵检测装置及方法
CN114115361A (zh) * 2021-11-08 2022-03-01 苏州热工研究院有限公司 一种基于光伏电站的无人机巡检系统及其巡检方法
CN114216434B (zh) * 2021-12-16 2023-05-16 中国电子科技集团公司第三十八研究所 用于机动测控站的目标确认方法、系统、设备和存储介质
CN117950355B (zh) * 2024-03-27 2024-06-11 西安爱生无人机技术有限公司 一种侦察型无人机监督控制系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102725605A (zh) * 2009-12-17 2012-10-10 公共风险管理有限责任合作公司 用于估算与感兴趣的物体相关的植被生长的方法和系统
CN105069287A (zh) * 2015-07-27 2015-11-18 广西电网有限责任公司电力科学研究院 一种架空输电线路通道林木生长的预测方法
CN105976383A (zh) * 2016-05-16 2016-09-28 国网河南省电力公司电力科学研究院 一种基于极限学习机图像识别的输电设备故障诊断方法
CN106295661A (zh) * 2016-08-15 2017-01-04 北京林业大学 叶片图像多特征融合的植物种类识别方法及装置
CN106651855A (zh) * 2016-12-30 2017-05-10 国网山东省电力公司济宁供电公司 输电线路通道隐患自动识别与告警的图像监拍方法
JP2017142219A (ja) * 2016-02-13 2017-08-17 国立大学法人徳島大学 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN107103599A (zh) * 2017-04-06 2017-08-29 云南电网有限责任公司电力科学研究院 一种基于LiDAR的输电线路树木隐患预测分析方法
CN107357313A (zh) * 2017-08-15 2017-11-17 成都优艾维智能科技有限责任公司 一种基于无人机巡检图像的输电线路故障维护系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581054A (zh) * 2014-12-22 2015-04-29 深圳供电局有限公司 基于视频的输电线路巡检方法及系统
CN106877230A (zh) * 2015-12-10 2017-06-20 耘创九州智能装备有限公司 铁路接触网在线巡检机器人、巡检系统以及巡检方法
CN106771856B (zh) * 2016-11-30 2020-01-03 国网河南省电力公司滑县供电公司 基于无人机技术的电力输电线路雷击点确定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102725605A (zh) * 2009-12-17 2012-10-10 公共风险管理有限责任合作公司 用于估算与感兴趣的物体相关的植被生长的方法和系统
CN105069287A (zh) * 2015-07-27 2015-11-18 广西电网有限责任公司电力科学研究院 一种架空输电线路通道林木生长的预测方法
JP2017142219A (ja) * 2016-02-13 2017-08-17 国立大学法人徳島大学 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN105976383A (zh) * 2016-05-16 2016-09-28 国网河南省电力公司电力科学研究院 一种基于极限学习机图像识别的输电设备故障诊断方法
CN106295661A (zh) * 2016-08-15 2017-01-04 北京林业大学 叶片图像多特征融合的植物种类识别方法及装置
CN106651855A (zh) * 2016-12-30 2017-05-10 国网山东省电力公司济宁供电公司 输电线路通道隐患自动识别与告警的图像监拍方法
CN107103599A (zh) * 2017-04-06 2017-08-29 云南电网有限责任公司电力科学研究院 一种基于LiDAR的输电线路树木隐患预测分析方法
CN107357313A (zh) * 2017-08-15 2017-11-17 成都优艾维智能科技有限责任公司 一种基于无人机巡检图像的输电线路故障维护系统及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Deep learning with Shallow architecture for Image Classification;Asma ElAdel,Ridha Ejbali,Mourad Zaied,Chokri Ben Amar;《2015HPCS》;20150903;全文 *
Research on Insulator Fault Diagnosis and Remote Monitoring System Based on Infrared Images;Zhou shen-pei,Lei Xi,Qiao Bing-chen,Hou Hui;《Procedia Computer Science》;20170612;全文 *
基于多旋翼无人机的输电线路智能巡检系统;杨成顺 等;《济南大学学报(自然科学版)》;20131031;正文第1节 *
基于改进的自适应分水岭图像分割方法研究;伊力哈木▪亚尔买买提;《计算机仿真》;20130228;全文 *
基于视频的室内空间人数统计算法研究;李峰松;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315;全文 *
杨成顺 等.基于多旋翼无人机的输电线路智能巡检系统.《济南大学学报(自然科学版)》.2013, *
飞行机器人巡检图像中关键部件缺陷特征量化;卢君妥;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215;全文 *

Also Published As

Publication number Publication date
CN108037770A (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN106203265A (zh) 一种基于无人机采集图像的施工扬尘污染源自动监测及影响范围预测系统及方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN112380952A (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN108038424B (zh) 一种适用于高空作业的视觉自动化检测方法
CN109387828A (zh) 自动检测和规避系统
CN109935080B (zh) 一种交通线路上的车流量实时计算的监测系统及方法
CN104834920A (zh) 一种无人机多光谱图像的智能林火识别方法及装置
CN114240868A (zh) 一种基于无人机的巡检分析系统及方法
CN106951889A (zh) 井下高危区域动目标监测和管理系统
CN112101088A (zh) 一种无人机电力自动巡检方法、装置及系统
Kyrkou et al. Optimized vision-directed deployment of UAVs for rapid traffic monitoring
CN112327906A (zh) 一种基于无人机的智能自动巡检系统
CN116311078A (zh) 一种林火分析及监测方法、系统
CN112950634A (zh) 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
Hossain et al. A UAV-based traffic monitoring system for smart cities
CN109376660A (zh) 一种目标监测方法、装置及系统
CN111898444A (zh) 一种基于图像识别的飞机起落架状态判定方法
CN112381041A (zh) 一种用于输电线路的树木识别方法、装置及终端设备
WO2022247597A1 (zh) 一种基于无人机的papi飞行校验方法和系统
CN115169602A (zh) 电力设备的维护方法、装置、存储介质及计算机设备
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN115649501A (zh) 一种无人机夜行照明系统及方法
CN115761537A (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN110969192A (zh) 一种电力巡检图像智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant