CN103941746A - 无人机巡检图像处理系统及方法 - Google Patents

无人机巡检图像处理系统及方法 Download PDF

Info

Publication number
CN103941746A
CN103941746A CN201410124236.6A CN201410124236A CN103941746A CN 103941746 A CN103941746 A CN 103941746A CN 201410124236 A CN201410124236 A CN 201410124236A CN 103941746 A CN103941746 A CN 103941746A
Authority
CN
China
Prior art keywords
image
unmanned plane
information
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410124236.6A
Other languages
English (en)
Other versions
CN103941746B (zh
Inventor
张明江
王万国
王滨海
刘俍
张方正
董罡
慕世友
任杰
傅孟潮
郑天茹
张晶晶
魏传虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Shandong Luneng Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd, Shandong Luneng Intelligence Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201410124236.6A priority Critical patent/CN103941746B/zh
Publication of CN103941746A publication Critical patent/CN103941746A/zh
Application granted granted Critical
Publication of CN103941746B publication Critical patent/CN103941746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了无人机巡检图像处理系统及方法;所述系统包括无人机巡检图像处理系统,所述无人机巡检图像处理系统包括人机交互模块,所述人机交互模块获取用户指令后,由主控板解析用户指令,将解析的指令转发给数据收发控制器,所述数据收发控制器根据指令向对应的外围设备发送参数配置指令,并将指令执行结果回传给主控制板,主控制板对参数配置指令执行结果进行处理后,将处理后信息转发给人机交互模块,从而展示给用户,所述主控板还分别与辅助控制器、供电模块、无线通信模块、数据存储模块、定位模块、测距仪和高度计进行通信;本发明提高巡检图像处理的自动化和信息化程度,提高对巡检结果的检索和处理效率,降低巡检结果处理的成本。

Description

无人机巡检图像处理系统及方法
技术领域
本发明属于电力系统的运行检修领域,涉及无人机输电线路巡检、电子信息工程和图像识别等领域,尤其是一种无人机巡检图像处理系统及方法。
背景技术
无人机巡线在输电线路巡检中发挥着越来越重要的作用,可大大减轻电力服务人员的工作负荷,减少可能发生的人员危险的机率,降低电力设备的维护成本,提高电网的安全性和可靠性。
在无人机巡检过程中,巡检结果的处理是无人机巡检的核心工作。如何确定巡检图像中的输电线路设备的位置和类型,又是提高巡检结果处理效率的关键。无人机巡检过程中,受到无人机本身以及飞行气象环境的限制,如何高效、快速的对无人机巡检的结果数据图像进行处理,识别巡检拍摄的图像中巡检设备,与巡检的输电线路设备信息进行匹配和关联,一直是困扰无人机巡检的一个难题。无人巡检图像的识别包括位置确定和类型识别两个方面。位置确定是指确定图像中拍摄输电线路设备对应的输电线路段、杆塔以及一定的GIS信息等位置信息;类型识别是实现图像中拍摄输电线路设备类型的识别。
现有的无人机巡检技术中,巡检图像中输电线路设备位置确定主要是通过比对图像拍摄那一时刻无人机的GPS位置坐标与杆塔GPS位置坐标,大体上判断图像所属杆塔或者线路段,无法确定巡检图像中拍摄的输电线路设备的准确位置和设备类型。现有的巡检图像中输电线路设备定位和匹配方法存在如下问题:
第一,由于GPS位置的定位精度在10米左右,定位精度较差,无法精确记录轨迹,无法获得较为精确的图像拍摄时的无人机位置坐标,定位精度难以满足要求;
第二,由于机载成像模块拍摄图像中的输电线路设备的识别和匹配,除与无人机的位置坐标相关,还与搭载成像模块云台的运动角度相关,现有的无人机巡检图像位置定位仅仅通过位置坐标,在准确率和可靠度上难以达到无人机巡检的技术要求;
第三,现有巡检图像中输电线路设备识别的速度慢,识别输电线路设备的准确率较低,识别的时间复杂度高,难以实现快速、有效识别;
中国发明专利申请号为“200910100170.6”的《绝缘子轮廓的快速图像识别方法》和中国发明专利申请号为“200910100169.3”的《电力线轮廓的快速图像识别方法》专利,以及中国发明专利申请号“201310218102.6”的《用于输电线路智能巡线的图像识别方法》专利,均是通过图像识别算法识别出图像中输电线路设备的类型或缺陷,但是无法确定图像中输电线路设备的位置和编号。
中国发明专利申请号为“201210037780.87”的《无人机航摄测量方法和无人机航摄测量系统》的专利,通过记录图像曝光时刻的GPS位置,确定无人机的位置,但是该方法无法确定无人机巡检图像中输电线路设备的位置。以上专利或者论文均是关于图像采集的技术装置或者系统,处于理论研究层面,无法应用于无人机输电线路巡检领域。
综上所述,现有的应用于无人机输电线路巡检的无人机巡检图像处理系统及方法,其效果并非理想,尚有许多问题需要解决。
发明内容
本发明目的是为了克服现有技术的不足,提供了一种无人机巡检图像处理系统及方法,采集拍摄图像以及拍摄图像对应的输电线路杆塔和线路设备信息,识别和定位无人机巡检图像中拍摄的输电线路设备。提高巡检图像处理的自动化和信息化程度,提高对巡检结果的检索和处理效率,降低巡检结果处理的成本。
为了实现所述目的,本发明采用如下技术方案:
无人机巡检图像处理系统,包括主控板,所述主控板与数据收发控制器、辅助控制器、供电模块、人机交互模块、无线通信模块、数据存储模块、定位模块、测距仪和高度计进行通信,所述供电模块与机载电池连接;所述数据收发控制器包括收发控制单元,所述收发控制单元分别与时钟同步单元和数据解析单元通信,所述收发控制单元还与外围设备通信,所述外围设备包括成像模块、摄像头、飞行控制器和云台控制器,所述收发控制单元还通过触发继电器控制成像模块和摄像头。
所述数据收发控制器,用于实现与飞行控制器、云台控制器、成像模块和摄像头的时钟同步;并实现与外接飞行控制器、云台控制器、成像模块和摄像头设备数据交互;此外,还实现控制成像模块和摄像头的拍摄动作,云台姿态的调整。
所述时钟同步单元,用于基于全局基准时间,同步成像模块、摄像机、飞行控制器和云台控制器中的时钟,根据时间调度表确定数据收发单元的数据收发的时间窗口,调度外设设备的数据收发;
所述数据解析单元,用于解析来自收发控制单元的接受到的外接设备信息,如果是时钟同步指令,则将相应时钟同步指令发送到时钟同步单元;如果是外接设备的指令或者数据,则将相应指令或者数据发送主控板。
所述收发控制单元,用于解析数据收发指令的发送地址,根据发送地址确定指令发送的时间窗口,向指定的设备发送指令或者执行相应的动作,完成指令的发送或者执行;此外,收发控制单元还用于根据指令读取设备中的文件和数据。
所述触发继电器,用于接收数据收发控制器中的成像模块拍摄指令和摄像指令,用以完成成像模块和摄像机的拍摄动作,并在触发继电器成功后,通过馈线将触发成功与否的状态反馈给数据收发控制器。
所述主控板,用于采集和处理巡检图像数据,对无人机巡检状态数据进行监控,保持控制状态,对无人机巡检图像处理系统的各功能模块进行控制。
所述供电模块,以机载电池为输入电源,为系统中各个电压等级的芯片提供所需电压等级的电源,包括DC\DC转换器和用于向不同电压等级芯片供电的LDO转换芯片,各LDO转换芯片均与DC\DC转换器互联。该供电模块使用机载电池(12V或者24V蓄电池)作为输入电源。
所述机载电池,用于提供系统运行所需的电源,可采用12V或者24V的蓄电池。
所述人机交互模块,包括LCD显示器、触摸屏、指示灯和按键,用于展示控制器的输出信息,并提供操作命令的输入功能,与主控板相连接,完成外部信号和指令的输入和处理,根据外部信号完成相应的数据的输入和处理,将系统处理结果的输出和展示。
所述无线通信模块,用于数据和控制指令的无线传输。采用GPRS、CDMA、ZIGBEE、WIFI、LTE无线通信方式中一种或多种与服务器端或者地面监控站之间进行通讯,进行巡检图像和视频等影音数据以及无人机飞行状态数据交互。
所述数据存储模块,用于存储系统数据以及巡检图像和视频数据,对存储的图片进行唯一性的命名,确保系统中图像的名称和ID号唯一,提供以输电线路信息或者GIS信息为查询条件,对图像信息的快速检索。
所述定位模块,通过RS232或者RS485串口与主控板相连,可采用包括单频和双频两种定位模式在内的一种或多种定位方式,完成GPS定位信息的接收和解析。
所述测距仪,通过串口或者CAN总线的方式与主控板相连接,可采用激光测距的方式,测量无人机与输电线路设备的距离,还可采用包括但不限于激光测距、超声波测距、红外测距、毫米波雷达测距、双目识别测距和磁场强度测距在内的一种或多种方式测距。
所述高度计,通过串口与主控板相连接,用于测量无人机的飞行高度。
所述辅助控制器,用于对巡检图像数据进行图像识别,确定拍摄图像的有效性,并匹配拍摄图像对应的输电线路和GIS信息;根据图像拍摄GPS时间确定拍摄图像对应的输电线路杆塔和GIS信息,将相应图像信息存储到数据存储模块中。
所述成像模块,用于完成对高清图像信息的采集和控制信息的同步;
所述摄像头,用于完成无人机输电线路巡检图像的采集;
所述飞行控制器,用于实现无人机飞行姿态的控制,并将无人机飞行的速度、角度、姿态和位置等信息发送给机载图像采集系统,以便于图像数据的采集和处理。
所述云台控制器,用于实现无人机云台或者吊舱的控制,并将云台的姿态和角度等信息发送给机载图像采集系统,以便于图像数据的采集和处理。
所述主控板包括数据处理单元,所述数据处理单元分别与成像控制单元、摄像控制单元、图像处理单元、图像识别单元和状态监测单元通信,所述成像控制单元、摄像控制单元、图像处理单元、图像识别单元均与数据收发控制器连接,所述图像处理单元与图像识别单元通信,所述图像识别单元与辅助控制器连接,所述数据处理单元还与数据存储模块、无线通信模块、测距仪、高度计和定位模块连接。
所述数据处理单元用于实现与数据收发控制器、数据存储模块、定位模块、无线通信模块的数据交互,对采集的图像数据识别,完成巡检设备图像的采集,并对采集的图像数据进行处理;
所述成像控制单元用于实现对拍摄成像模块的时钟同步,实现对无人机输电线路巡检成像模块的控制,完成高清图像采集;
所述摄像控制单元用于完成对巡检摄像头的控制,完成视频数据的采集和存储;
所述图像处理单元用于对拍摄完成的图像数据进行读取;完成图像数据的清晰度检查和可用性检查,提供对图像数据的编辑和查询功能;
所述图像识别单元用于对拍摄的图像进行识别,确定是否为对应的输电线路设备;用于完成图像属性信息的匹配,确定图像拍摄的GPS位置和对应的杆塔位置,与GIS信息相关联,将相应图像属性信息存储;
所述状态监测单元用于实现对无人机飞行状态和云台姿态的实时监测,并根据图像拍摄效果,对成像模块和摄像头进行实时姿态调整和校正;
所述辅助控制器包括依次连接的GPS定位单元、杆塔匹配单元、GIS匹配单元和图像识别单元,所述GPS定位单元和图像识别单元均与输入输出单元连接,所述杆塔匹配单元与输电线路管理单元连接,所述GIS匹配单元与GIS单元连接,所述输入输出单元与主控板、数据存储模块和定位模块连接。
所述输入输出单元用于实现辅助控制器与主控板、数据存储模块和定位模块之间的无人机巡检的飞行状态数据、云台姿态数据、GPS定位数据、巡检图像和视频等数据的交互;
所述GPS定位单元用于巡检图像数据、飞行状态数据、输电线路信息和GIS信息的读取;用于对巡检图像数据所属的GPS位置信息的确定;采用单频模式或者双频模式中的一种或者多种,还可采用全球定位系统、俄罗斯的格罗纳斯(Glonass)、欧洲的伽利略导航系统(Galileo)和北斗全球定位系统中一种或者多种进行位置定位。
所述杆塔匹配单元用于完成巡检图像所属输电线路属性信息的确定,并确定巡检图像拍摄杆塔的编号、杆塔型号、材质、性质、档距、电压等级,GPS位置、运行维护班组、所属单位;
所述GIS匹配单元用于匹配巡检图像中所属的输电线路设备的地理位置、行政区域、地形状况地理信息;用于根据图片所属GPS位置和输电线路杆塔信息确定对应的GIS信息,明确拍摄图像所属的地理位置、行政区域、地形状况信息;
所述图像识别单元用于识别巡检图像中拍摄的输电线路设备的具体的位置信息,将相应图像及图像关联信息通过输入输出单元存储到数据存储模块中;
所述GIS单元用于存储和展示巡检现场的地理信息,将巡检现场和无人机GPS定位信息的在GIS系统中展示和管理,以及输电线路信息的展示和管理。
无人机巡检图像处理系统的工作方法,包括如下步骤:
步骤(1):系统启动:
系统启动,进行系统自检,检查辅助控制器、数据收发控制器、无线通信模块、数据存储模块、定位模块、测距仪和高度计均正常启后,检测外接的成像模块、摄像头、飞行控制器和云台控制器是否连接正常;
步骤(2):时钟同步:
主控板向数据收发控制器下发时钟同步指令到数据收发控制器。数据收发控制器中时钟同步单元接受到时钟同步指令,通过收发控制单元与飞行控制器进行通信,获取飞行控制器中的时钟作为基准时间。时钟同步单元根据从飞行控制器中获取的基准时间,确定通信的时间调度表和全局基准时间,确定本地的数据发送时间窗口;在通信时间窗口生效后,收发控制单元向外接的成像模块、摄像头、飞行控制器和云台控制器发出数据发送时钟同步信号,同步外接设备的时钟。
步骤(3):图像采集:
主控板接收到飞行控制器的图像采集指令后,对图像采集指令进行解析,确定图像采集指令有效性后,由主控板的成像控制单元通过数据收发控制器触发触发继电器,完成成像模块拍照动作;同时,触发继电器触发成功,触发继电器的馈线状态为触发状态,并将馈线的触发状态反馈给主控板,主控板获取定位模块的GPS位置数据、飞行控制器中的飞行控制数据、从高度计中获取的无人机高度数据以及从测距仪中获取的机体与输电线路设备距离后,完成图像数据的采集工作;
步骤(4):图像识别:
图像进行去噪后,对图像数据进行识别,识别出图像是否为模糊图像,如果是模糊图像,则通过无线通信模块向地面监测站和飞行控制器送重新拍摄信息,返回步骤(3),提示进行重新拍摄;如果不是模糊图像,则识别出图像中拍摄的输电线路设备的类型(杆塔、导线、绝缘子串和金具等)以及相对位置信息。如果识别出图像中不包含输电线路设备,则通过无线通信模块向地面监测站和飞行控制器送重新拍摄信息,返回步骤(3),提示进行重新拍摄;如果识别出图像中拍摄的输电线路设备及其相对位置信息,则进入步骤(5);
步骤(5):图像位置识别:
根据巡检图像拍摄时的飞行状态数据、GPS位置、无人机的高、无人机与拍摄输电线路设备的距离信息,计算图像拍摄输电线路设备的所属的输电线路杆塔或者杆塔段;
步骤(6):图像采集完成:将相应的图像和图像信息存储到数据存储模块,通过无线通信模块将图像数据发送到地面监控站或者后台服务器中。
所述步骤(3)包括的步骤如下:
步骤(3-1):采集指令;无人机巡检图像处理系统的主控板接收到飞行控制器下发的采集图像指令,解析该指令;如果指令解析失败,则返回采集指令状态;如果指令解析成功,将该指令发送到数据收发控制器;
步骤(3-2):成像模块拍摄;数据收发控制器接到拍摄控制指令后,触发触发继电器,完成成像模块拍照动作;根据触发继电器馈线状态判定是否完成拍照动作,如果触发继电器馈线状态为触发状态,则进入步骤(3-3);否则,进入步骤(3-1);
步骤(3-3):GPS定位;在触发继电器触发成功后,触发继电器馈线状态为触发状态,并输出触发脉冲,触发脉冲触发主控板中的数据处理单元,与定位模块通信,获取这一时刻的无人机的GPS位置坐标;
步骤(3-4):状态信息获取;触发脉冲同时触发主控板中的状态监测单元,从飞行控制器中获取这一时刻无人机的飞行巡检的状态信息,包括无人机飞行的高度、速度和方向飞行状态信息,以及从云台控制器中获取的云台偏转角度和位移,并从高度中获取无人机离地高度和无人机与拍摄的输电线路设备的距离;
步骤(3-5):图像信息存储;将相应的图像和图像关联信息存储到数据存储模块中,结束图像采集流程。
所述步骤(4)的图像识别的算法步骤如下:
步骤(4-1):首先采用8个不同方向的Prewitt算子,提取巡检图像边缘信息,计算每个方向边缘线段的长度,每个方向保留较长的K条线段,1≤k≤128,并采用Blob连通结构管理不同方向的线段;
步骤(4-2):图像分块:将巡检图像分块,计算每一块内是否存在交叉的线段,
由于巡检拍摄的输电线路杆塔图像大多贯穿图像的上下,而且杆塔存在镂空的区域,水平分块较大,垂直分块较小,将图像的水平方向上分为8块,垂直方向上分为4块;统计每个分块内四个方向线段数量。统计每个分块内四个方向线段数量;
所述四个方向分别为:
水平方向线段:-10°~10°;
垂直方向线段:大于85°或小于-85°;
斜上方向线段:10°~85°;
斜下方向线段:-85°~-10°;
步骤(4-3):统计分块内各方向的数量:统计每一分块内,水平方向线段数目为:H_num,垂直方向线段数目为:V_num,斜上方向线段数目为:SUP_num,斜下方向线段数目为:SDown_num,对每一分块做如下判断:
(4-3-1):H_num,V_num,SUP_num,SDown_num值同时小于3,则该分块属于模糊块;
(4-3-2):SUP_num,SDown_num值均大于3,则该分块属于杆塔块;
(4-3-3):如不满足所述(4-3-1)和(4-3-2)两种情况,则该分块仅有导线块;
步骤(4-4):通过步骤(4-3)判定为模糊图像:统计巡检图像各分块的特性,如模糊块数目大于总的分块数的80%,则判定该幅巡检图像模糊;
步骤(4-5):统计出杆塔块数目大于4,进一步采用基于块的四邻域判定法,如最大的连通杆塔块数目大于4,则判定该幅巡检图像存在杆塔,标记为杆塔块,基于最大连通杆塔块的外接区域确定杆塔在巡检图像的左、中、右位置;
步骤(4-6):如不满足所述步骤(4-4)、(4-5)情况,则该幅巡检图像含有导线。
所述步骤(4-5)的四邻域判定法的过程如下:
若当前块为杆塔块,则进行如下三类判断:
1)判断杆塔块四邻域中的左侧和上侧是否为杆塔块,如果都不是杆塔块,则表示一个新杆塔区域的开始;
2)如果此杆塔块四邻域中的左侧为杆塔块,上侧不是杆塔块,则标记此块为最左侧的杆塔块;如果此点四邻域中的左侧不是杆塔块,上侧是杆塔块,则标记此块为最上侧的杆塔块;
3)如果此点四邻域中的左侧和上侧均为杆塔块,则标记此块为杆塔的最左和最上侧的块。
所述步骤(5)的步骤如下:
步骤(5-1):根据确定的巡检图像拍摄时的无人机GPS无人机位置,无人机与拍摄输电线路设备的距离L设备,水平线距L水平,拍摄的水平视角线A,以及无人机的高度H无人机,杆塔高度H杆塔和线路高度H线路,计算拍摄输电线路设备的GPS线路设备位置;
步骤(5-2):确定输电线路杆塔或者杆塔段;根据计算出的巡检图像中拍摄的输电线路设备的GPS位置GPS线路设备,到输电线路信息数据库中查询对应的GPS位置最为接近的输电线路杆塔tower0或者杆塔段<tower1,tower2>;
步骤(5-3):通过无人机巡检行进的方向识别输电线路设备所在的杆塔侧;
步骤(5-4):根据拍摄图像时无人机巡检的方向及云台拍摄时的角度并根据步骤(4)中所识别图像中输电线路设备的相对位置,确定拍摄输电线路设备的所在的输电线路所在相序;
步骤(5-5):关联线路信息,根据巡检图像对应的输电线路杆塔或者杆塔段,关联相应的输电线路信息,包括输电线路中的图片拍摄杆塔的编号、杆塔型号、材质、性质、档距、电压等级,GPS位置、运行维护班组、所属单位,便于通过输电线路信息检索相应的巡检图像信息;根据GPS位置与GIS信息关联,确定巡检图像拍摄区域的地理信息、环境信息、气象信息和所属的行政区域信息。
所述步骤(5-1)的计算步骤如下:
步骤(5-1-1):计算无人机与输电线路设备的水平偏移距离L水平偏移
如果图像中输电线路设备为杆塔及其附属设备则:
其中,L设备为无人机与巡检拍摄的输电线路设备的直线距离;
H无人机为无人机距离地面的高度;
H杆塔为杆塔距离地面的高度;
L水平偏移无人机与输电线路设备的在水平方向上的距离。
或者图像中输电线路设备为线路:
其中,L设备为无人机与巡检拍摄的输电线路设备的直线距离;
H无人机为无人机距离地面的高度;
H线路为线路距离地面的高度;
L水平偏移为无人机与输电线路设备的在水平方向上的距离。
步骤(5-1-2):计算偏移方向,从数据存储模块中的无人机飞行状态信息中,读取无人机的飞行航向,并根据飞行航线和拍摄视角,计算出偏移视角线与正北方向的偏移角度A;
步骤(5-1-3):计算图像拍摄的输电线路设备的GPS位置,根据图像拍摄的GPS无人机位置(photo_gps_x,photo_gps_y)、偏移距离L水平偏移和偏移角度A,计算对应的巡检图像拍摄的输电线路设备的GPS位置GPS线路设备(line_gps_x,line_gps_y)。
line_gps_x=photo_gps_x+L水平偏移*sinA;
line_gps_y=photo_gps_y+L水平偏移*cosA。
其中,L水平偏移,为无人机与输电线路设备的在水平方向上的距离;
A,为成像模块视角线与正北方向的偏移角度;
photo_gps_x,为图像拍摄时无人机的GPS位置横坐标;
photo_gps_y,为图像拍摄时无人机的GPS位置纵坐标;
line_gps_x,为输电线路设备的GPS位置横坐标;
line_gps_y,为输电线路设备的GPS位置纵坐标。
本发明的有益效果:
依据本发明,通过巡检输电设备位置定位和图像识别相结合方法,对巡检图像所拍摄的输电线路设备位置的快速定位和识别,确定巡检图像中输电线路设备所属的输电线路段、所属杆塔等位置和类型信息,解决了无人机巡检图像中拍摄的输电线路设备的快速定位和识别的技术难题,实现了无人机巡检图像的快速处理。
本发明,通过分析输电线路设备的特点,采用图像分块识别的方法,设计图像快速识别的算法,降低图像识别的算法复杂度,提高图像中输电线路设备识别的速度,实现无人机巡检图像的快速识别。
本发明,通过分析无人机巡检状态数据,建立无人机巡检的三维定位模型,实时根据无人机巡检状态数据,快速解算出巡检图像中拍摄的输电线路设备的位置,解决无人机巡检图像位置定位技术难题,实现无人机巡检图像的快速定位。
本发明,通过触发继电器馈线反馈脉冲触发巡检图像的定位动作,实现了无人机巡检图像拍摄动作信号的输出,使得成像模块与定位模块、飞行控制器以及云台控制器的信号的交互和统一,实现了无人机巡检拍摄动作的记录和定位,解决无人机巡检图像定位数据获取的难题。
本发明,通过巡检图像的定位信息关联对应的GIS信息,实现通过输电线路信息和GIS信息对巡检图像进行检索和管理,提高巡检结果数据检索和处理的效率,降低巡检图像处理的成本。
本发明,采用双频定位的方式,提高无人机地理位置定位的准确度,改善巡检图像对应输电线路设备位置匹配的准确度和可靠性。
综上,该无人机巡检图像处理系统及方法,可快速、有效的实现无人机巡检图像采集和处理,降低无人机巡检图像定位和识别处理的复杂度,提高无人机巡检图像处理的效率和准确度。
附图说明
图1系统总体结构图;
图2主控板系统结构图;
图3辅助控制器系统结构图;
图4系统总体流程图;
图5图像采集流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示,无人机巡检图像处理系统,包括主控板,所述主控板与数据收发控制器、辅助控制器、供电模块、人机交互模块、无线通信模块、数据存储模块、定位模块、测距仪和高度计进行通信,所述供电模块与机载电池连接;所述数据收发控制器包括收发控制单元,所述收发控制单元分别与时钟同步单元和数据解析单元通信,所述收发控制单元还与外围设备通信,所述外围设备包括成像模块、摄像头、飞行控制器和云台控制器,所述收发控制单元还通过触发继电器控制成像模块和摄像头。
所述数据收发控制器,用于实现与飞行控制器、云台控制器、成像模块和摄像头的时钟同步;并实现与外接飞行控制器、云台控制器、成像模块和摄像头设备数据交互;此外,还实现控制成像模块和摄像头的拍摄动作,云台姿态的调整。
所述时钟同步单元,用于基于全局基准时间,同步成像模块、摄像机、飞行控制器和云台控制器中的时钟,根据时间调度表确定数据收发单元的数据收发的时间窗口,调度外设设备的数据收发;
所述数据解析单元,用于解析来自收发控制单元的接受到的外接设备信息,如果是时钟同步指令,则将相应时钟同步指令发送到时钟同步单元;如果是外接设备的指令或者数据,则将相应指令或者数据发送主控板。
所述收发控制单元,用于解析数据收发指令的发送地址,根据发送地址确定指令发送的时间窗口,向指定的设备发送指令或者执行相应的动作,完成指令的发送或者执行;此外,收发控制单元还用于根据指令读取设备中的文件和数据。
所述触发继电器,用于接收数据收发控制器中的成像模块拍摄指令和摄像指令,用以完成成像模块和摄像机的拍摄动作,并在触发继电器成功后,通过馈线将触发成功与否的状态反馈给数据收发控制器。
所述主控板,用于采集和处理巡检图像数据,对无人机巡检状态数据进行监控,保持控制状态,对无人机巡检图像处理系统的各功能模块进行控制。
所述供电模块,以机载电池为输入电源,为系统中各个电压等级的芯片提供所需电压等级的电源,包括DC\DC转换器和用于向不同电压等级芯片供电的LDO转换芯片,各LDO芯片均与DC\DC转换器互联。该供电模块使用机载电池(12V或者24V蓄电池)作为输入电源。
所述机载电池,用于提供系统运行所需的电源,可采用12V或者24V的蓄电池。
所述人机交互模块,包括LCD显示器、触摸屏、指示灯和按键,用于展示控制器的输出信息,并提供操作命令的输入功能,与主控板相连接,完成外部信号和指令的输入和处理,根据外部信号完成相应的数据的输入和处理,将系统处理结果的输出和展示。
所述无线通信模块,用于数据和控制指令的无线传输。采用GPRS、CDMA、ZIGBEE、WIFI、LTE无线通信方式中一种或多种与服务器端或者地面监控站之间进行通讯,进行巡检图像和视频等影音数据以及无人机飞行状态数据交互。
所述数据存储模块,用于存储系统数据以及巡检图像和视频数据,对存储的图片进行唯一性的命名,确保系统中图像的名称和ID号唯一,提供以输电线路信息或者GIS信息为查询条件,对图像信息的快速检索。
所述定位模块,通过RS232或者RS485串口与主控板相连,可采用包括单频和双频两种定位模式在内的一种或多种定位方式,完成GPS定位信息的接收和解析。
所述测距仪,通过串口或者CAN总线的方式与主控板相连接,可采用激光测距的方式,测量无人机与输电线路设备的距离,还可采用包括但不限于激光测距、超声波测距、红外测距、毫米波雷达测距、双目识别测距和磁场强度测距在内的一种或多种方式测距。
所述高度计,通过串口与主控板相连接,用于测量无人机的飞行高度。
所述辅助控制器,用于对巡检图像数据进行图像识别,确定拍摄图像的有效性,并匹配拍摄图像对应的输电线路和GIS信息;根据图像拍摄GPS时间确定拍摄图像对应的输电线路杆塔和GIS信息,将相应图像信息存储到数据存储模块中。
所述成像模块,用于完成对高清图像信息的采集和控制信息的同步;
所述摄像头,用于完成无人机输电线路巡检图像的采集;
所述飞行控制器,用于实现无人机飞行姿态的控制,并将无人机飞行的速度、角度、姿态和位置等信息发送给机载图像采集系统,以便于图像数据的采集和处理。
所述云台控制器,用于实现无人机云台或者吊舱的控制,并将云台的姿态和角度等信息发送给机载图像采集系统,以便于图像数据的采集和处理。
如图2所示,所述主控板包括数据处理单元,所述数据处理单元分别与成像控制单元、摄像控制单元、图像处理单元、图像识别单元和状态监测单元通信,所述成像控制单元、摄像控制单元、图像处理单元、图像识别单元均与数据收发控制器连接,所述图像处理单元与图像识别单元通信,所述图像识别单元与辅助控制器连接,所述数据处理单元还与数据存储模块、无线通信模块、测距仪、高度计和定位模块连接。
所述数据处理单元用于实现与数据收发控制器、数据存储模块、定位模块、无线通信模块的数据交互,对采集的图像数据识别,完成巡检设备图像的采集,并对采集的图像数据进行处理;
所述成像控制单元用于实现对拍摄成像模块的时钟同步,实现对无人机输电线路巡检成像模块的控制,完成高清图像采集;
所述摄像控制单元用于完成对巡检摄像头的控制,完成视频数据的采集和存储;
所述图像处理单元用于对拍摄完成的图像数据进行读取;完成图像数据的清晰度检查和可用性检查,提供对图像数据的编辑和查询功能;
所述图像识别单元用于对拍摄的图像进行识别,确定是否为对应的输电线路设备;用于完成图像属性信息的匹配,确定图像拍摄的GPS位置和对应的杆塔位置,与GIS信息相关联,将相应图像属性信息存储;
所述状态监测单元用于实现对无人机飞行状态和云台姿态的实时监测,并根据图像拍摄效果,对成像模块和摄像头进行实时姿态调整和校正。
如图3所示,所述辅助控制器包括依次连接的GPS定位单元、杆塔匹配单元、GIS匹配单元和图像识别单元,所述GPS定位单元和图像识别单元均与输入输出单元连接,所述杆塔匹配单元与输电线路管理单元连接,所述GIS匹配单元与GIS单元连接,所述输入输出单元与主控板、数据存储模块和定位模块连接。
所述输入输出单元用于实现辅助控制器与主控板、数据存储模块和定位模块之间的无人机巡检的飞行状态数据、云台姿态数据、GPS定位数据、巡检图像和视频等数据的交互;
所述GPS定位单元用于巡检图像数据、飞行状态数据、输电线路信息和GIS信息的读取;用于对巡检图像数据所属的GPS位置信息的确定;采用单频模式或者双频模式中的一种或者多种,还可采用全球定位系统、俄罗斯的格罗纳斯(Glonass)、欧洲的伽利略导航系统(Galileo)和北斗全球定位系统中一种或者多种进行位置定位。
所述杆塔匹配单元用于完成巡检图像所属输电线路属性信息的确定,并确定巡检图像拍摄杆塔的编号、杆塔型号、材质、性质、档距、电压等级,GPS位置、运行维护班组、所属单位;
所述GIS匹配单元用于匹配巡检图像中所属的输电线路设备的地理位置、行政区域、地形状况地理信息;用于根据图片所属GPS位置和输电线路杆塔信息确定对应的GIS信息,明确拍摄图像所属的地理位置、行政区域、地形状况信息;
所述图像识别单元用于识别巡检图像中拍摄的输电线路设备的具体的位置信息,将相应图像及图像关联信息通过输入输出单元存储到数据存储模块中;
所述GIS单元用于存储和展示巡检现场的地理信息,将巡检现场和无人机GPS定位信息的在GIS系统中展示和管理,以及输电线路信息的展示和管理。
如图5所示,无人机巡检图像处理系统总体工作流程如下所示:
步骤一:系统启动;
无人机巡检图像处理系统启动,进行系统自检,检查辅助控制器、数据收发控制器、无线通信模块、数据存储模块、定位模块、测距仪和高度计均正常启后,检测外接的成像模块、摄像头、飞行控制器和云台控制器是否连接正常,已开机。
步骤二:时钟同步;
无人机巡检图像处理系统启动后,主控板下发时钟同步指令到数据收发控制器,时钟同步单元,根据收发控制单元确定的时间调度表和全局基准时间,确定本地的数据发送时间窗口。在时间窗口生效后,收发控制单元向外接的成像模块、摄像头、飞行控制器和云台控制器发出数据发送时钟同步信号,同步外接设备的时钟。
步骤三:图像采集;
无人机巡检图像处理系统的主控板接收到飞行控制器的图像采集指令后,对图像采集指令进行解析,确定图像采集指令有效性后,由主控板的成像控制单元通过数据收发控制器触发触发继电器,完成成像模块拍照动作。同时,触发继电器触发成功,继电器馈线状态为触发状态,并将状态反馈给主控板,主控板获取定位模块的GPS位置数据、飞控数据、高度数据以及与机体与输电线路设备距离后,完成图像数据的采集工作。
如图5所示,图像采集的流程包含了如下5个步骤:
步骤1:采集指令;无人机巡检图像处理系统的主控板接收到飞控下发的采集图像指令,解析该指令。如果指令解析失败,则返回采集指令状态,如果成功将该指令发送到数据收发控制器。
步骤2:成像模块拍摄;数据收发控制器接到拍摄控制指令后,触发触发继电器,完成成像模块拍照动作。根据触发继电器馈线状态判定是否完成拍照动作,如果触发继电器馈线状态为触发状态,则进入步骤3;否则,进入步骤1。
步骤3:GPS定位;在触发继电器触发成功后,触发继电器馈线状态为触发状态,并输出触发脉冲,触发脉冲触发主控板中的数据处理单元,与定位模块通信,获取这一时刻的无人机的GPS位置坐标。
步骤4:状态信息获取;触发脉冲同时触发主控板中的状态监测单元,从飞行控制器中获取这一时刻无人机的飞行巡检的状态信息,包括无人机飞行的高度、速度和方向等飞行状态信息,以及从云台控制器中获取的云台偏转角度和位移,并从高度中获取无人机离地高度和无人机与拍摄的输电线路设备的距离;
步骤5:图像信息存储;将相应的图像和图像关联信息存储到数据存储模块中,结束图像采集流程。
步骤四:图像识别;
将采集的图像进行去噪后,对图像数据进行快速识别,识别出图像是否清晰,如果不清晰,通过无线通信模块向地面监测站和飞控发送重新拍摄信息,返回步骤三,提示进行重新拍摄。如果图像清晰度足够,识别图像中拍摄的输电线路设备的类型(杆塔、导线、绝缘子串和金具等)以及相对位置信息。如果拍摄的图像中不包含输电线路设备,则通过无线通信模块向地面监测站和飞控发送重新拍摄信息,返回步骤三,提示进行重新拍摄;如果拍摄图像符合要求,并且包含输电线路设备,则进入步骤五。
图像识别算法步骤如下:
步骤1:首先采用8个不同方向的Prewitt算子,提取巡检图像边缘信息,计算每个方向边缘线段的长度,每个方向最多保留较长的128个线段,并采用Blob连通结构管理不同方向的线段;
提取公式如下:对数字图像f(x,y),Prewitt算子的定义如下:
G(i)=|[f(i-1,j-1)+f(i-1,j)+f(i-1,j+1)]-
[f(i+1,j-1)+f(i+1,j)+f(i+1,j+1)]|
G(j)=|[f(i-1,j+1)+f(i,j+1)+f(i+1,j+1)]-
[f(i-1,j-1)+f(i,j-1)+f(i+1,j-1)]|
则P(i,j)=max[G(i),G(j)]或P(i,j)=G(i)+G(j)。
P(i,j)为经过Prewitt算子提取边缘后对应位置处的像素值。
步骤2:图像分块:将巡检图像分块,计算每一块内是否存在交叉的线段,
由于巡检拍摄的输电线路杆塔图像大多贯穿图像的上下,而且杆塔存在镂空的区域,水平分块较大,垂直分块较小,一种典型的分块是水平方向上分为8块,垂直方向上分为4块;统计每个分块内四个不同方向线段数量。四个方向分别为:水平方向线段:-10°~10°。;垂直方向线段:大于85°或小于-85°。;斜上方向线段:10°~85°。;斜下方向线段:-85°~-10°。;
步骤3:统计分块内各方向的数量:统计每一分块内,水平方向线段数目
为:H_num,垂直方向线段数目为:V_num,斜上方向线段数目为:SUP_num,斜下方向线段数目为:SDown_num,对每一分块做如下判断:
1、H_num,V_num,SUP_num,SDown_num值同时小于3,则该分块属于模糊块;
2、SUP_num,SDown_num值均大于3,则该分块属于杆塔块;
3、如不满足所述两种情况,则该分块仅有导线块;
步骤4:判定为模糊图像:统计巡检图像各分块的特性,如模糊块数目大于总的分块数
的80%,则判定该幅巡检图像模糊;
步骤5:统计出杆塔块数目大于4,进一步采用基于块的连通分析法,如最大的连通杆
塔块数目大于4,则判定该幅巡检图像存在杆塔,基于最大连通杆塔块的外接区域确定
杆塔在巡检图像的左、中、右位置;
步骤6:如不满足所述步骤4、5情况,则该幅巡检图像可能是仅有导线。
步骤五、图像位置识别;根据巡检图像拍摄时的飞行状态数据、GPS位置、无人机的高、无人机与拍摄输电线路设备的距离等信息,计算图像拍摄输电线路设备的所属的输电线路杆塔或者杆塔段,详细步骤如下:
步骤1:根据确定的巡检图像拍摄时的无人机GPS无人机位置,无人机与拍摄输电线路设备的距离L设备,水平线距L水平,拍摄的水平视角线A,以及无人机的高度H无人机,杆塔高度H杆塔和线路高度H线路,计算拍摄输电线路设备的GPS线路设备位置。计算算法如下:
1)计算无人机与输电线路设备的水平偏移距离L水平偏移
如果图像中输电线路设备为杆塔及其附属设备则:
或者图像中输电线路设备为线路
2)计算偏移方向,从数据存储模块中的无人机飞行状态信息中,读取无人机的飞行航向,并根据飞行航线和拍摄视角,计算出偏移视角线与正北方向的偏移角度C。
3)计算图像拍摄的输电线路设备的GPS位置,根据图像拍摄的GPS无人机位置(photo_gps_x,photo_gps_y)、偏移距离L水平偏移和偏移角度A,计算对应的巡检图像拍摄的输电线路设备的GPS位置GPS线路设备(line_gps_x,line_gps_y)。
line_gps_x=photo_gps_x+L水平偏移*sinA;
line_gps_y=photo_gps_y+L水平偏移*cosA;
步骤2:确定输电线路杆塔或者杆塔段;根据计算出的巡检图像中拍摄的输电线路设备的GPS位置GPS线路设备,到输电线路信息数据库中查询对应的GPS位置最为接近的输电线路杆塔tower0或者杆塔段<tower1,tower2>;
步骤3:通过无人机巡检行进的方向识别输电线路设备所在的杆塔侧,该杆塔侧可分为大号侧和小号侧;
步骤4:通过图像识别算法,确定拍摄输电线路设备的所在的线路的相序,相序可为左、中、右相,或者为上、中、下相;
步骤5:关联线路信息,根据巡检图像对应的输电线路杆塔或者杆塔段,关联相应的输电线路信息,包括输电线路中的图片拍摄杆塔的编号、杆塔型号、材质、性质、档距、电压等级,GPS位置、运行维护班组、所属单位等,便于通过输电线路信息检索相应的巡检图像信息;根据GPS位置与GIS信息关联,确定巡检图像拍摄区域的地理信息、环境信息、气象信息和所属的行政区域等信息;
步骤六:图像采集完成,将相应的图像和图像信息存储到数据存储模块,通过无线通信模块将图像数据发送到地面监控站或者后台服务器中。
所述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.无人机巡检图像处理系统,其特征是,包括主控板,所述主控板与数据收发控制器、辅助控制器、供电模块、人机交互模块、无线通信模块、数据存储模块、定位模块、测距仪和高度计进行通信,所述供电模块与机载电池连接;所述数据收发控制器包括收发控制单元,所述收发控制单元分别与时钟同步单元和数据解析单元通信,所述收发控制单元还与外围设备通信,所述外围设备包括成像模块、摄像头、飞行控制器和云台控制器,所述收发控制单元还通过触发继电器控制成像模块和摄像头。 
2.如权利要求1所述的无人机巡检图像处理系统,其特征是,所述数据收发控制器,用于实现与飞行控制器、云台控制器、成像模块和摄像头的时钟同步;并实现与外接飞行控制器、云台控制器、成像模块和摄像头设备数据交互;此外,还实现控制成像模块和摄像头的拍摄动作,云台姿态的调整; 
所述时钟同步单元,用于基于全局基准时间,同步成像模块、摄像机、飞行控制器和云台控制器中的时钟,根据时间调度表确定数据收发单元的数据收发的时间窗口,调度外设设备的数据收发; 
所述数据解析单元,用于解析来自收发控制单元的接受到的外接设备信息,如果是时钟同步指令,则将相应时钟同步指令发送到时钟同步单元;如果是外接设备的指令或者数据,则将相应指令或者数据发送主控板; 
所述收发控制单元,用于解析数据收发指令的发送地址,根据发送地址确定指令发送的时间窗口,向指定的设备发送指令或者执行相应的动作,完成指令的发送或者执行;此外,收发控制单元还用于根据指令读取设备中的文件和数据; 
所述触发继电器,用于接收数据收发控制器中的成像模块拍摄指令和摄像指令,用以完成成像模块和摄像机的拍摄动作,并在触发继电器成功后,通过馈线将触发成功与否的状态反馈给数据收发控制器。 
3.如权利要求1所述的无人机巡检图像处理系统,其特征是, 
所述主控板,用于采集和处理巡检图像数据,对无人机巡检状态数据进行监控,保持控制状态,对无人机巡检图像处理系统的各功能模块进行控制; 
所述供电模块,以机载电池为输入电源,为系统中各个电压等级的芯片提供所需电压等级的电源,包括DC\DC转换器和用于向不同电压等级芯片供电的LDO转换芯片,各LDO转换芯片均与DC\DC转换器互联;该供电模块使用机载电池作为输入电源; 
所述机载电池,用于提供系统运行所需的电源,采用12V或者24V的蓄电池; 
所述人机交互模块,包括LCD显示器、触摸屏、指示灯和按键,用于展示控制器的输出 信息,并提供操作命令的输入功能,与主控板相连接,完成外部信号和指令的输入和处理,根据外部信号完成相应的数据的输入和处理,将系统处理结果的输出和展示; 
所述无线通信模块,用于数据和控制指令的无线传输;采用GPRS、CDMA、ZIGBEE、WIFI、LTE无线通信方式中一种或多种与服务器端或者地面监控站之间进行通讯,进行巡检图像和视频影音数据以及无人机飞行状态数据交互; 
所述数据存储模块,用于存储系统数据以及巡检图像和视频数据,对存储的图片进行唯一性的命名,确保系统中图像的名称和ID号唯一,提供以输电线路信息或者GIS信息为查询条件,对图像信息的快速检索; 
所述定位模块,通过RS232或者RS485串口与主控板相连,采用包括单频和双频两种定位模式在内的一种或多种定位方式,完成GPS定位信息的接收和解析; 
所述测距仪,通过串口或者CAN总线的方式与主控板相连接,采用激光测距的方式,测量无人机与输电线路设备的距离,还采用包括但不限于激光测距、超声波测距、红外测距、毫米波雷达测距、双目识别测距和磁场强度测距在内的一种或多种方式测距; 
所述高度计,通过串口与主控板相连接,用于测量无人机的飞行高度; 
所述辅助控制器,用于对巡检图像数据进行图像识别,确定拍摄图像的有效性,并匹配拍摄图像对应的输电线路和GIS信息;根据图像拍摄GPS时间确定拍摄图像对应的输电线路杆塔和GIS信息,将相应图像信息存储到数据存储模块中; 
所述成像模块,用于完成对高清图像信息的采集和控制信息的同步; 
所述摄像头,用于完成无人机输电线路巡检图像的采集; 
所述飞行控制器,用于实现无人机飞行姿态的控制,并将无人机飞行的速度、角度、姿态和位置信息发送给机载图像采集系统,以便于图像数据的采集和处理; 
所述云台控制器,用于实现无人机云台或者吊舱的控制,并将云台的姿态和角度信息发送给机载图像采集系统,以便于图像数据的采集和处理。 
4.如权利要求1所述的无人机巡检图像处理系统,其特征是, 
所述主控板包括数据处理单元,所述数据处理单元分别与成像控制单元、摄像控制单元、图像处理单元、图像识别单元和状态监测单元通信,所述成像控制单元、摄像控制单元、图像处理单元、图像识别单元均与数据收发控制器连接,所述图像处理单元与图像识别单元通信,所述图像识别单元与辅助控制器连接,所述数据处理单元还与数据存储模块、无线通信模块、测距仪、高度计和定位模块连接; 
所述数据处理单元用于实现与数据收发控制器、数据存储模块、定位模块、无线通信模 块的数据交互,对采集的图像数据识别,完成巡检设备图像的采集,并对采集的图像数据进行处理; 
所述成像控制单元用于实现对拍摄成像模块的时钟同步,实现对无人机输电线路巡检成像模块的控制,完成高清图像采集; 
所述摄像控制单元用于完成对巡检摄像头的控制,完成视频数据的采集和存储; 
所述图像处理单元用于对拍摄完成的图像数据进行读取;完成图像数据的清晰度检查和可用性检查,提供对图像数据的编辑和查询功能; 
所述图像识别单元用于对拍摄的图像进行识别,确定是否为对应的输电线路设备;用于完成图像属性信息的匹配,确定图像拍摄的GPS位置和对应的杆塔位置,与GIS信息相关联,将相应图像属性信息存储; 
所述状态监测单元用于实现对无人机飞行状态和云台姿态的实时监测,并根据图像拍摄效果,对成像模块和摄像头进行实时姿态调整和校正。 
5.如权利要求1所述的无人机巡检图像处理系统,其特征是, 
所述辅助控制器包括依次连接的GPS定位单元、杆塔匹配单元、GIS匹配单元和图像识别单元,所述GPS定位单元和图像识别单元均与输入输出单元连接,所述杆塔匹配单元与输电线路管理单元连接,所述GIS匹配单元与GIS单元连接,所述输入输出单元与主控板、数据存储模块和定位模块连接; 
所述输入输出单元用于实现辅助控制器与主控板、数据存储模块和定位模块之间的无人机巡检的飞行状态数据、云台姿态数据、GPS定位数据、巡检图像和视频数据的交互; 
所述GPS定位单元用于巡检图像数据、飞行状态数据、输电线路信息和GIS信息的读取;用于对巡检图像数据所属的GPS位置信息的确定; 
所述杆塔匹配单元用于完成巡检图像所属输电线路属性信息的确定,并确定巡检图像拍摄杆塔的编号、杆塔型号、材质、性质、档距、电压等级,GPS位置、运行维护班组、所属单位; 
所述GIS匹配单元用于匹配巡检图像中所属的输电线路设备的地理位置、行政区域、地形状况地理信息;用于根据图片所属GPS位置和输电线路杆塔信息确定对应的GIS信息,明确拍摄图像所属的地理位置、行政区域、地形状况信息; 
所述图像识别单元用于识别巡检图像中拍摄的输电线路设备的具体的位置信息,将相应图像及图像关联信息通过输入输出单元存储到数据存储模块中; 
所述GIS单元用于存储和展示巡检现场的地理信息,将巡检现场和无人机GPS定位信息 的在GIS系统中展示和管理,以及输电线路信息的展示和管理。 
6.如上述任一权利要求所述的无人机巡检图像处理系统的工作方法,其特征是,包括如下步骤: 
步骤(1):系统启动: 
步骤(2):时钟同步: 
主控板向数据收发控制器下发时钟同步指令到数据收发控制器;数据收发控制器中时钟同步单元接受到时钟同步指令,通过收发控制单元与飞行控制器进行通信,获取飞行控制器中的时钟作为基准时间;时钟同步单元根据从飞行控制器中获取的基准时间,确定通信的时间调度表和全局基准时间,确定本地的数据发送时间窗口;在通信时间窗口生效后,收发控制单元向外接的成像模块、摄像头、飞行控制器和云台控制器发出数据发送时钟同步信号,同步外接设备的时钟; 
步骤(3):图像采集: 
主控板接收到飞行控制器的图像采集指令后,对图像采集指令进行解析,确定图像采集指令有效性后,由主控板的成像控制单元通过数据收发控制器触发触发继电器,完成成像模块拍照动作;同时,触发继电器触发成功,触发继电器的馈线状态为触发状态,并将馈线的触发状态反馈给主控板,主控板获取定位模块的GPS位置数据、飞行控制器中的飞行控制数据、从高度计中获取的无人机高度数据以及从测距仪中获取的机体与输电线路设备距离后,完成图像数据的采集工作; 
步骤(4):图像识别: 
图像进行去噪后,对图像数据进行识别,识别出图像是否为模糊图像,如果是模糊图像,则通过无线通信模块向地面监测站和飞行控制器送重新拍摄信息,返回步骤(3),提示进行重新拍摄;如果不是模糊图像,则识别出图像中拍摄的输电线路设备的类型以及相对位置信息;如果识别出图像中不包含输电线路设备,则通过无线通信模块向地面监测站和飞行控制器送重新拍摄信息,返回步骤(3),提示进行重新拍摄;如果识别出图像中拍摄的输电线路设备及其相对位置信息,则进入步骤(5); 
步骤(5):图像位置识别: 
根据巡检图像拍摄时的飞行状态数据、GPS位置、无人机的高、无人机与拍摄输电线路设备的距离信息,计算图像拍摄输电线路设备的所属的输电线路杆塔或者杆塔段; 
步骤(6):图像采集完成:将相应的图像和图像信息存储到数据存储模块,通过无线通信模块将图像数据发送到地面监控站或者后台服务器中。 
7.如权利要求6所述的方法,其特征是,所述步骤(3)包括的步骤如下: 
步骤(3-1):采集指令;无人机巡检图像处理系统的主控板接收到飞行控制器下发的采集图像指令,解析该指令;如果指令解析失败,则返回采集指令状态;如果指令解析成功,将该指令发送到数据收发控制器; 
步骤(3-2):成像模块拍摄;数据收发控制器接到拍摄控制指令后,触发触发继电器,完成成像模块拍照动作;根据触发继电器馈线状态判定是否完成拍照动作,如果触发继电器馈线状态为触发状态,则进入步骤(3-3);否则,进入步骤(3-1); 
步骤(3-3):GPS定位;在触发继电器触发成功后,触发继电器馈线状态为触发状态,并输出触发脉冲,触发脉冲触发主控板中的数据处理单元,与定位模块通信,获取这一时刻的无人机的GPS位置坐标; 
步骤(3-4):状态信息获取;触发脉冲同时触发主控板中的状态监测单元,从飞行控制器中获取这一时刻无人机的飞行巡检的状态信息,包括无人机飞行的高度、速度和方向飞行状态信息,以及从云台控制器中获取的云台偏转角度和位移,并从高度中获取无人机离地高度和无人机与拍摄的输电线路设备的距离; 
步骤(3-5):图像信息存储;将相应的图像和图像关联信息存储到数据存储模块中,结束图像采集流程。 
8.如权利要求6所述的方法,其特征是,所述步骤(4)的图像识别的算法步骤如下: 
步骤(4-1):首先采用8个不同方向的Prewitt算子,提取巡检图像边缘信息,计算每个方向边缘线段的长度,每个方向保留较长的K条线段,1≤k≤128,并采用Blob连通结构管理不同方向的线段; 
步骤(4-2):图像分块:将巡检图像分块,计算每一块内是否存在交叉的线段, 
由于巡检拍摄的输电线路杆塔图像大多贯穿图像的上下,而且杆塔存在镂空的区域,水平分块较大,垂直分块较小,将图像的水平方向上分为8块,垂直方向上分为4块;统计每个分块内四个方向线段数量;统计每个分块内四个方向线段数量; 
所述四个方向分别为: 
水平方向线段:-10°~10°; 
垂直方向线段:大于85°或小于-85°; 
斜上方向线段:10°~85°; 
斜下方向线段:-85°~-10°; 
步骤(4-3):统计分块内各方向的数量:统计每一分块内,水平方向线段数目为:H_num,垂直方向线段数目为:V_num,斜上方向线段数目为:SUP_num,斜下方向线段数目为:SDown_num,对每一分块做如下判断: 
(4-3-1):H_num,V_num,SUP_num,SDown_num值同时小于3,则该分 
块属于模糊块; 
(4-3-2):SUP_num,SDown_num值均大于3,则该分块属于杆塔块; 
(4-3-3):如不满足所述(4-3-1)和(4-3-2)两种情况,则该分块仅有导线块; 
步骤(4-4):通过步骤(4-3)判定为模糊图像:统计巡检图像各分块的特性,如模糊块数目大于总的分块数的80%,则判定该幅巡检图像模糊; 
步骤(4-5):统计出杆塔块数目大于4,进一步采用基于块的四邻域判定法,如最大的连通杆塔块数目大于4,则判定该幅巡检图像存在杆塔,标记为杆塔块,基于最大连通杆塔块的外接区域确定杆塔在巡检图像的左、中、右位置; 
步骤(4-6):如不满足所述步骤(4-4)、(4-5)情况,则该幅巡检图像含有导线。 
9.如权利要求6所述的方法,其特征是,所述步骤(5)的步骤如下: 
步骤(5-1):根据确定的巡检图像拍摄时的无人机GPS无人机位置,无人机与拍摄输电线路设备的距离L设备,水平线距L水平,拍摄的水平视角线A,以及无人机的高度H无人机,杆塔高度H杆塔和线路高度H线路,计算拍摄输电线路设备的GPS线路设备位置; 
步骤(5-2):确定输电线路杆塔或者杆塔段;根据计算出的巡检图像中拍摄的输电线路设备的GPS位置GPS线路设备,到输电线路信息数据库中查询对应的GPS位置最为接近的输电线路杆塔tower0或者杆塔段<tower1,tower2>; 
步骤(5-3):通过无人机巡检行进的方向识别输电线路设备所在的杆塔侧; 
步骤(5-4):根据拍摄图像时无人机巡检的方向及云台拍摄时的角度并根据步骤(4)中所识别图像中输电线路设备的相对位置,确定拍摄输电线路设备的所在的输电线路所在相序; 
步骤(5-5):关联线路信息,根据巡检图像对应的输电线路杆塔或者杆塔段,关联相应的输电线路信息,包括输电线路中的图片拍摄杆塔的编号、杆塔型号、材质、性质、档距、电压等级,GPS位置、运行维护班组、所属单位,便于通过输电线路信息检索相应的巡检图像信息;根据GPS位置与GIS信息关联,确定巡检图像拍摄区域的地理信息、环境信息、气象信息和所属的行政区域信息。 
10.如权利要求9所述的方法,其特征是,所述步骤(5-1)的计算步骤如下: 
步骤(5-1-1):计算无人机与输电线路设备的水平偏移距离L水平偏移; 
如果图像中输电线路设备为杆塔及其附属设备则: 
其中,L设备为无人机与巡检拍摄的输电线路设备的直线距离; 
H无人机为无人机距离地面的高度; 
H杆塔为杆塔距离地面的高度; 
L水平偏移无人机与输电线路设备的在水平方向上的距离; 
或者图像中输电线路设备为线路: 
其中,L设备为无人机与巡检拍摄的输电线路设备的直线距离; 
H无人机为无人机距离地面的高度; 
H线路为线路距离地面的高度; 
L水平偏移为无人机与输电线路设备的在水平方向上的距离; 
步骤(5-1-2):计算偏移方向,从数据存储模块中的无人机飞行状态信息中,读取无人机的飞行航向,并根据飞行航线和拍摄视角,计算出偏移视角线与正北方向的偏移角度A; 
步骤(5-1-3):计算图像拍摄的输电线路设备的GPS位置,根据图像拍摄的GPS无人机位置(photo_gps_x,photo_gps_y)、偏移距离L水平偏移和偏移角度A,计算对应的巡检图像拍摄的输电线路设备的GPS位置GPS线路设备(line_gps_x,line_gps_y); 
line_gps_x=photo_gps_x+L水平偏移*sinA; 
line_gps_y=photo_gps_y+L水平偏移*cosA; 
其中,L水平偏移,为无人机与输电线路设备的在水平方向上的距离; 
A,为成像模块视角线与正北方向的偏移角度; 
photo_gps_x,为图像拍摄时无人机的GPS位置横坐标; 
photo_gps_y,为图像拍摄时无人机的GPS位置纵坐标; 
line_gps_x,为输电线路设备的GPS位置横坐标; 
line_gps_y,为输电线路设备的GPS位置纵坐标。 
CN201410124236.6A 2014-03-29 2014-03-29 无人机巡检图像处理系统及方法 Active CN103941746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410124236.6A CN103941746B (zh) 2014-03-29 2014-03-29 无人机巡检图像处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410124236.6A CN103941746B (zh) 2014-03-29 2014-03-29 无人机巡检图像处理系统及方法

Publications (2)

Publication Number Publication Date
CN103941746A true CN103941746A (zh) 2014-07-23
CN103941746B CN103941746B (zh) 2016-06-01

Family

ID=51189452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410124236.6A Active CN103941746B (zh) 2014-03-29 2014-03-29 无人机巡检图像处理系统及方法

Country Status (1)

Country Link
CN (1) CN103941746B (zh)

Cited By (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159031A (zh) * 2014-08-19 2014-11-19 湖北易瓦特科技有限公司 针对目标对象进行定位跟踪的方法及其设备
CN104464173A (zh) * 2014-12-03 2015-03-25 国网吉林省电力有限公司白城供电公司 基于空间图像三维测量的输电线路防外力破坏系统
CN104618689A (zh) * 2015-01-19 2015-05-13 环境保护部卫星环境应用中心 基于无人机的近海溢油监测方法及系统
CN104660986A (zh) * 2015-01-19 2015-05-27 环境保护部卫星环境应用中心 基于无人机的尾矿库突发环境事件遥感监测方法及系统
CN104765360A (zh) * 2015-03-27 2015-07-08 合肥工业大学 一种基于图像识别的无人机自主飞行系统
CN104779552A (zh) * 2015-03-24 2015-07-15 南通盛德电力科技有限公司 利用便携式多功能智能巡线仪的电力巡线方法
CN104779551A (zh) * 2015-03-24 2015-07-15 南通盛德电力科技有限公司 便携式多功能智能巡线仪和电力巡线系统
CN104808678A (zh) * 2015-02-17 2015-07-29 何春旺 飞行器控制装置及控制方法
CN104835152A (zh) * 2015-04-27 2015-08-12 国家电网公司 一种输电线路巡检图像的处理方法和系统
CN105045287A (zh) * 2015-08-03 2015-11-11 深圳供电局有限公司 一种基于超声波精确落线巡检的多旋翼无人机及操作方法
CN105070005A (zh) * 2015-07-15 2015-11-18 合肥佳讯科技有限公司 一种多旋翼无人飞行器及遥测遥控方法
CN105100728A (zh) * 2015-08-18 2015-11-25 零度智控(北京)智能科技有限公司 无人机视频跟踪拍摄系统及方法
CN105141822A (zh) * 2015-09-22 2015-12-09 杨珊珊 航拍装置及其航拍方法
CN105204015A (zh) * 2015-09-14 2015-12-30 上海无线电设备研究所 一种用于激光主动成像系统的控制显示系统及其方法
CN105323485A (zh) * 2015-11-16 2016-02-10 广州供电局有限公司 单相机倾斜图像采集装置及采集方法
CN105430286A (zh) * 2015-12-31 2016-03-23 上海云犀智能系统有限公司 一种实现网络直播的云台、系统、方法及无人机
CN105739517A (zh) * 2016-05-17 2016-07-06 苏州华天国科电力科技有限公司 一种旋翼无人机自主上下线绝缘作业的引导装置与方法
CN105892485A (zh) * 2016-04-13 2016-08-24 重庆雅智兰能源管理有限公司 架空线巡视系统
CN105993163A (zh) * 2015-07-02 2016-10-05 深圳市大疆创新科技有限公司 图像处理系统、图像数据处理方法、装置及相关设备
CN106056693A (zh) * 2016-06-07 2016-10-26 国网福建省电力有限公司 一种基于移动终端热成像图片数据的在线巡检方法与系统
CN106123871A (zh) * 2016-06-14 2016-11-16 河南华泰规划勘测设计咨询有限公司 一种多功能测绘工具
CN106295655A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种用于无人机巡检图像的输电线路部件自动提取方法
CN106296866A (zh) * 2016-08-02 2017-01-04 上海圣尧智能科技有限公司 一种获取设备作业费用信息的系统和方法
CN106300596A (zh) * 2016-08-02 2017-01-04 安徽朗巴智能科技有限公司 一种高续航航拍无人机控制系统
CN106354429A (zh) * 2016-08-26 2017-01-25 杨百川 一种无人机飞行控制系统数据存储模块及存储方法
CN106355866A (zh) * 2016-11-14 2017-01-25 徐志勇 无人机检测影像储存分析系统
CN106412516A (zh) * 2016-10-19 2017-02-15 广东容祺智能科技有限公司 一种虚拟现实技术在无人机巡检中的应用系统及使用方法
CN106444849A (zh) * 2016-12-02 2017-02-22 上海巽晔计算机科技有限公司 一种基于图像识别的无人机自主飞行系统
WO2017035983A1 (zh) * 2015-09-01 2017-03-09 杨华东 无人机集线装置
CN106547814A (zh) * 2016-09-23 2017-03-29 广西电网有限责任公司电力科学研究院 一种输电线路无人机巡检图像的结构化自动归档方法
CN106547280A (zh) * 2016-11-09 2017-03-29 红河恒翔农业科技有限公司 一种无人机喷洒农药的方法
CN106598064A (zh) * 2016-10-19 2017-04-26 广东容祺智能科技有限公司 一种无人机的电路线路智能识别装置及方法
CN106646485A (zh) * 2016-12-14 2017-05-10 天津文康科技有限公司 一种机电一体化距离测量下的无人机定位系统
WO2017080108A1 (zh) * 2015-11-13 2017-05-18 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN106708073A (zh) * 2016-11-30 2017-05-24 浙江大学 一种自主导航电力巡线故障检测的四旋翼飞行器系统
CN106707123A (zh) * 2017-01-03 2017-05-24 深圳供电局有限公司 一种基于无人机飞行平台的配电架空线路局放检测装置
CN106779655A (zh) * 2016-11-17 2017-05-31 上海圣尧智能科技有限公司 一种植保无人机作业费用自动计算和自助结算系统及方法
CN106774406A (zh) * 2016-12-30 2017-05-31 武汉大势智慧科技有限公司 一种无人机影像自动采集系统和方法
CN106767816A (zh) * 2016-11-30 2017-05-31 浙江大学 一种基于Voronoi图法和GPRS通信的无人机远程路径规划系统
CN106780825A (zh) * 2016-12-09 2017-05-31 广东电网有限责任公司肇庆供电局 电网线路巡检装置
CN106873627A (zh) * 2017-03-31 2017-06-20 湘潭大学 一种自动巡检输电线路的多旋翼无人机及方法
CN106932688A (zh) * 2017-04-24 2017-07-07 国家电网公司 输电线检测仪及基于无人机的输电线检测系统
CN106950996A (zh) * 2017-05-09 2017-07-14 广东容祺智能科技有限公司 一种基于无人机铁路高压电线巡检避障系统
CN106952049A (zh) * 2017-03-27 2017-07-14 国网山东省电力公司夏津县供电公司 输电线路的状态评估方法及装置
CN107193027A (zh) * 2017-05-27 2017-09-22 山东交通职业学院 一种高速公路无人机智能巡查定位系统
CN107341788A (zh) * 2016-01-18 2017-11-10 中国电力科学研究院 一种无人机巡检作业影像的评定方法
CN107380434A (zh) * 2017-08-08 2017-11-24 东北大学秦皇岛分校 一种无人巡逻方法及用于无人巡逻的飞行器
CN107390040A (zh) * 2017-09-06 2017-11-24 天津飞眼无人机科技有限公司 一种用于测量电场强度的无人机测量装置及无线网络
CN107402580A (zh) * 2017-07-18 2017-11-28 国家电网公司 基于无人机的电网巡检自动化方法
CN107430404A (zh) * 2015-03-25 2017-12-01 菲力尔无人机系统公司 基于路径的飞行操纵系统
CN107709158A (zh) * 2015-06-15 2018-02-16 多尼克公司 用于自动检查表面的系统和方法
CN107977453A (zh) * 2017-12-15 2018-05-01 深圳供电局有限公司 一种无人机巡视图片分类方法以及系统
CN108004891A (zh) * 2018-01-15 2018-05-08 武汉夕睿光电技术有限公司 公路宏观养护巡检装置、方法及系统
CN108052114A (zh) * 2017-12-06 2018-05-18 四川豪斯特电子技术有限责任公司 一种无人机的图像采集及跟踪控制系统
CN108107426A (zh) * 2018-01-31 2018-06-01 菏泽学院 一种无线电高度表
CN108292140A (zh) * 2015-12-09 2018-07-17 深圳市大疆创新科技有限公司 用于自动返航的系统和方法
CN108334844A (zh) * 2018-02-06 2018-07-27 贵州电网有限责任公司 一种输电线路巡检的沿线自动跟踪方法
CN108365557A (zh) * 2018-02-24 2018-08-03 广东电网有限责任公司肇庆供电局 一种无人机精细化巡检输电线路的方法及系统
CN108593213A (zh) * 2018-07-12 2018-09-28 中冶北方(大连)工程技术有限公司 无人机地下矿巡检及气味追踪装置
CN108791847A (zh) * 2018-06-08 2018-11-13 南京熙赢测控技术有限公司 一种用于自动识别路面窨井盖并自动编号的装置
CN108896887A (zh) * 2018-07-24 2018-11-27 上海交通大学 一种耐张绝缘子检测装置及方法
CN108900968A (zh) * 2018-07-02 2018-11-27 国网重庆市电力公司市区供电分公司 一种定位跟踪及远程图像采集回传的无人机巡视设备
CN108983810A (zh) * 2018-07-19 2018-12-11 安徽共生物流科技有限公司 一种仓库巡逻无人机系统及其巡视方法
CN109000601A (zh) * 2018-07-12 2018-12-14 贵州路桥集团有限公司 一种塔架偏移动态观测系统
CN109074101A (zh) * 2016-05-02 2018-12-21 高通股份有限公司 使用多个无人机的成像
CN109358639A (zh) * 2018-09-21 2019-02-19 中国电力科学研究院有限公司 一种利用旋翼无人机巡检直线四回路杆塔的方法及系统
CN109405803A (zh) * 2018-10-23 2019-03-01 贵州省第三测绘院 航空遥感数据获取的方法和装置
CN109470932A (zh) * 2018-11-13 2019-03-15 中国舰船研究设计中心 一种无人机搭载的场强自动测量系统及测量方法
CN109630905A (zh) * 2019-01-25 2019-04-16 电子科技大学 一种基于无人机遥感和深度学习的油气管道全智能巡检系统
CN109905609A (zh) * 2019-04-19 2019-06-18 广州市房地产测绘院(广州市测绘产品质量检验中心) 一种通过获取无人机信号来控制摄像设备的方法及装置
CN110082126A (zh) * 2019-05-10 2019-08-02 云南农业大学 自动驾驶测试平台
CN110196603A (zh) * 2019-05-13 2019-09-03 国家电网有限公司 一种基于笼式无人机的电缆隧道故障巡检系统
CN110356586A (zh) * 2019-08-28 2019-10-22 象限空间(天津)科技有限公司 一种大型飞机的无人机自动巡检系统
CN110418957A (zh) * 2017-03-15 2019-11-05 西门子股份公司 对具有运行机构的设施进行状态监控的方法和装置
CN110428146A (zh) * 2019-07-11 2019-11-08 陕西华地勘察设计咨询有限公司 一种城镇低效用地精准识别与智能规划系统
CN110471449A (zh) * 2019-08-28 2019-11-19 华东师范大学 一种检测电力线缆故障的无人机
CN110471452A (zh) * 2019-08-30 2019-11-19 华东师范大学 一种检测电力线的无人机控制系统
CN110728202A (zh) * 2019-09-23 2020-01-24 国网宁夏电力有限公司电力科学研究院 一种输电导线异物检测方法、终端及系统
CN110969719A (zh) * 2019-11-12 2020-04-07 深圳市科比特航空科技有限公司 一种自动巡检方法、系统、终端设备及存储介质
CN111279637A (zh) * 2018-11-27 2020-06-12 深圳市大疆创新科技有限公司 一种信息同步方法、无人机、负载设备、系统及存储介质
CN111290437A (zh) * 2020-03-26 2020-06-16 江苏方天电力技术有限公司 一种无人机巡检轨迹的调整方法和装置
CN111310944A (zh) * 2020-02-13 2020-06-19 国网冀北电力有限公司张家口供电公司 一种输电线路实时工况分析系统
CN111402253A (zh) * 2020-04-03 2020-07-10 华东交通大学 融合边缘计算和深度学习的输变电设备状态在线监测方法
CN111504257A (zh) * 2020-04-29 2020-08-07 广东电网有限责任公司 一种辅助无人机精准巡线的视觉测距系统及其测距方法
CN111653000A (zh) * 2020-05-13 2020-09-11 北京智芯微电子科技有限公司 无人机巡检系统
CN111695548A (zh) * 2020-07-20 2020-09-22 内蒙古工业大学 基于毫米波雷达的高压线检测方法
CN112000124A (zh) * 2020-07-22 2020-11-27 广东顺德电力设计院有限公司 一种应用于电网的无人机巡检方法
CN112068591A (zh) * 2020-08-25 2020-12-11 中国南方电网有限责任公司超高压输电公司天生桥局 输电线路自动巡检无人机、控制方法、装置和存储介质
CN112180955A (zh) * 2020-08-26 2021-01-05 国网安徽省电力有限公司淮南供电公司 一种自动巡检无人机的基于视觉反馈的二次复查方法和系统
CN112464881A (zh) * 2020-12-11 2021-03-09 国网辽宁省电力有限公司抚顺供电公司 一种输电线路无人机光学遥感自主巡检方法
CN112560833A (zh) * 2021-03-01 2021-03-26 广州汇图计算机信息技术有限公司 一种基于遥感影像的信息展示系统
CN112702579A (zh) * 2020-12-24 2021-04-23 苏州中飞遥感技术服务有限公司 一种基于无人机航拍影像的自动识别系统
CN112837443A (zh) * 2021-01-12 2021-05-25 云南电网有限责任公司电力科学研究院 一种无人机巡检系统及方法
CN112859925A (zh) * 2021-01-29 2021-05-28 中国南方电网有限责任公司超高压输电公司柳州局 一种无人机沿架空线路自主巡检方法
CN113377120A (zh) * 2021-06-29 2021-09-10 徐州新电高科电气有限公司 一种巡检方法、装置、设备、系统和存储介质
CN113419564A (zh) * 2021-08-24 2021-09-21 天津市普迅电力信息技术有限公司 一种基于模糊路径的电力通道巡检方法
CN113436362A (zh) * 2021-06-16 2021-09-24 国网河北省电力有限公司邯郸供电分公司 一种通信线缆巡检方法
US11368002B2 (en) 2016-11-22 2022-06-21 Hydro-Quebec Unmanned aerial vehicle for monitoring an electrical line
CN115196031A (zh) * 2022-09-15 2022-10-18 国网电力空间技术有限公司 一种直升机用电网设备拍摄装置
CN116863358A (zh) * 2023-08-18 2023-10-10 华大天元(北京)科技股份有限公司 电网无人机巡检图像绝缘子缺陷识别方法及系统
CN116958841A (zh) * 2023-09-18 2023-10-27 众芯汉创(江苏)科技有限公司 基于图像识别的配电线路无人机巡检系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062178A (zh) * 2022-08-17 2022-09-16 广东电网有限责任公司佛山供电局 无人机设备巡检图像的整理方法、装置和计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030066932A1 (en) * 2001-09-27 2003-04-10 Carroll Ernest A. Miniature, unmanned aircraft with interchangeable data module
KR20100016915A (ko) * 2008-08-05 2010-02-16 주식회사 대한항공 무인항공기의 비행제어장치 및 그 제어방법
CN102183955A (zh) * 2011-03-09 2011-09-14 南京航空航天大学 基于多旋翼无人飞行器的输电线路巡检系统
CN102211670A (zh) * 2011-05-17 2011-10-12 云南电网公司普洱供电局 固定翼无人机定点拍摄系统及其排查输电线路故障的方法
CN102255259A (zh) * 2011-03-29 2011-11-23 山东鲁能智能技术有限公司 适合于无人飞行器的输电线路巡检装置
CN202423959U (zh) * 2012-02-24 2012-09-05 山东电力研究院 四旋翼无人机输电线路杆塔智能巡检系统
KR101263441B1 (ko) * 2011-06-29 2013-05-10 주식회사 네스앤텍 무인 비행체의 비행제어 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030066932A1 (en) * 2001-09-27 2003-04-10 Carroll Ernest A. Miniature, unmanned aircraft with interchangeable data module
KR20100016915A (ko) * 2008-08-05 2010-02-16 주식회사 대한항공 무인항공기의 비행제어장치 및 그 제어방법
CN102183955A (zh) * 2011-03-09 2011-09-14 南京航空航天大学 基于多旋翼无人飞行器的输电线路巡检系统
CN102255259A (zh) * 2011-03-29 2011-11-23 山东鲁能智能技术有限公司 适合于无人飞行器的输电线路巡检装置
CN102211670A (zh) * 2011-05-17 2011-10-12 云南电网公司普洱供电局 固定翼无人机定点拍摄系统及其排查输电线路故障的方法
KR101263441B1 (ko) * 2011-06-29 2013-05-10 주식회사 네스앤텍 무인 비행체의 비행제어 시스템
CN202423959U (zh) * 2012-02-24 2012-09-05 山东电力研究院 四旋翼无人机输电线路杆塔智能巡检系统

Cited By (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159031A (zh) * 2014-08-19 2014-11-19 湖北易瓦特科技有限公司 针对目标对象进行定位跟踪的方法及其设备
CN104464173A (zh) * 2014-12-03 2015-03-25 国网吉林省电力有限公司白城供电公司 基于空间图像三维测量的输电线路防外力破坏系统
CN104618689A (zh) * 2015-01-19 2015-05-13 环境保护部卫星环境应用中心 基于无人机的近海溢油监测方法及系统
CN104660986A (zh) * 2015-01-19 2015-05-27 环境保护部卫星环境应用中心 基于无人机的尾矿库突发环境事件遥感监测方法及系统
CN104618689B (zh) * 2015-01-19 2018-08-28 环境保护部卫星环境应用中心 基于无人机的近海溢油监测方法及系统
CN104808678A (zh) * 2015-02-17 2015-07-29 何春旺 飞行器控制装置及控制方法
CN104779552B (zh) * 2015-03-24 2017-05-17 南通盛德电力科技有限公司 利用便携式多功能智能巡线仪的电力巡线方法
CN104779551B (zh) * 2015-03-24 2017-09-01 南通盛德电力科技有限公司 便携式多功能智能巡线仪和电力巡线系统
CN104779551A (zh) * 2015-03-24 2015-07-15 南通盛德电力科技有限公司 便携式多功能智能巡线仪和电力巡线系统
CN104779552A (zh) * 2015-03-24 2015-07-15 南通盛德电力科技有限公司 利用便携式多功能智能巡线仪的电力巡线方法
CN107430404A (zh) * 2015-03-25 2017-12-01 菲力尔无人机系统公司 基于路径的飞行操纵系统
CN104765360B (zh) * 2015-03-27 2016-05-11 合肥工业大学 一种基于图像识别的无人机自主飞行系统
CN104765360A (zh) * 2015-03-27 2015-07-08 合肥工业大学 一种基于图像识别的无人机自主飞行系统
CN104835152A (zh) * 2015-04-27 2015-08-12 国家电网公司 一种输电线路巡检图像的处理方法和系统
CN107709158A (zh) * 2015-06-15 2018-02-16 多尼克公司 用于自动检查表面的系统和方法
CN105993163A (zh) * 2015-07-02 2016-10-05 深圳市大疆创新科技有限公司 图像处理系统、图像数据处理方法、装置及相关设备
US10863072B2 (en) 2015-07-02 2020-12-08 SZ DJI Technology Co., Ltd. Image processing system, method, apparatus and device of processing image data
WO2017000313A1 (zh) * 2015-07-02 2017-01-05 深圳市大疆创新科技有限公司 图像处理系统、图像数据处理方法、装置及相关设备
CN105070005A (zh) * 2015-07-15 2015-11-18 合肥佳讯科技有限公司 一种多旋翼无人飞行器及遥测遥控方法
CN105070005B (zh) * 2015-07-15 2018-11-30 合肥佳讯科技有限公司 一种多旋翼无人飞行器及遥测遥控方法
CN105045287B (zh) * 2015-08-03 2018-03-13 深圳供电局有限公司 一种基于超声波精确落线巡检的多旋翼无人机及操作方法
CN105045287A (zh) * 2015-08-03 2015-11-11 深圳供电局有限公司 一种基于超声波精确落线巡检的多旋翼无人机及操作方法
CN105100728A (zh) * 2015-08-18 2015-11-25 零度智控(北京)智能科技有限公司 无人机视频跟踪拍摄系统及方法
WO2017035983A1 (zh) * 2015-09-01 2017-03-09 杨华东 无人机集线装置
CN105204015A (zh) * 2015-09-14 2015-12-30 上海无线电设备研究所 一种用于激光主动成像系统的控制显示系统及其方法
CN105204015B (zh) * 2015-09-14 2018-07-10 上海无线电设备研究所 一种用于激光主动成像系统的控制显示系统及其方法
CN105141822A (zh) * 2015-09-22 2015-12-09 杨珊珊 航拍装置及其航拍方法
WO2017080108A1 (zh) * 2015-11-13 2017-05-18 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
US10234873B2 (en) 2015-11-13 2019-03-19 Autel Robotics Co., Ltd. Flight device, flight control system and method
CN105323485A (zh) * 2015-11-16 2016-02-10 广州供电局有限公司 单相机倾斜图像采集装置及采集方法
US11879737B2 (en) 2015-12-09 2024-01-23 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
US11300413B2 (en) 2015-12-09 2022-04-12 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
CN108292140A (zh) * 2015-12-09 2018-07-17 深圳市大疆创新科技有限公司 用于自动返航的系统和方法
CN108292140B (zh) * 2015-12-09 2022-03-15 深圳市大疆创新科技有限公司 用于自动返航的系统和方法
CN105430286A (zh) * 2015-12-31 2016-03-23 上海云犀智能系统有限公司 一种实现网络直播的云台、系统、方法及无人机
CN107341788A (zh) * 2016-01-18 2017-11-10 中国电力科学研究院 一种无人机巡检作业影像的评定方法
CN105892485A (zh) * 2016-04-13 2016-08-24 重庆雅智兰能源管理有限公司 架空线巡视系统
CN109074101A (zh) * 2016-05-02 2018-12-21 高通股份有限公司 使用多个无人机的成像
CN109074101B (zh) * 2016-05-02 2022-04-26 高通股份有限公司 使用多个无人机的成像
CN105739517A (zh) * 2016-05-17 2016-07-06 苏州华天国科电力科技有限公司 一种旋翼无人机自主上下线绝缘作业的引导装置与方法
CN106056693A (zh) * 2016-06-07 2016-10-26 国网福建省电力有限公司 一种基于移动终端热成像图片数据的在线巡检方法与系统
CN106123871A (zh) * 2016-06-14 2016-11-16 河南华泰规划勘测设计咨询有限公司 一种多功能测绘工具
CN106296866A (zh) * 2016-08-02 2017-01-04 上海圣尧智能科技有限公司 一种获取设备作业费用信息的系统和方法
CN106300596B (zh) * 2016-08-02 2018-07-13 安徽朗巴智能科技有限公司 一种高续航航拍无人机控制系统
CN106300596A (zh) * 2016-08-02 2017-01-04 安徽朗巴智能科技有限公司 一种高续航航拍无人机控制系统
CN106295655A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种用于无人机巡检图像的输电线路部件自动提取方法
CN106295655B (zh) * 2016-08-03 2019-07-12 国网山东省电力公司电力科学研究院 一种用于无人机巡检图像的输电线路部件自动提取方法
CN106354429A (zh) * 2016-08-26 2017-01-25 杨百川 一种无人机飞行控制系统数据存储模块及存储方法
CN106547814A (zh) * 2016-09-23 2017-03-29 广西电网有限责任公司电力科学研究院 一种输电线路无人机巡检图像的结构化自动归档方法
CN106412516A (zh) * 2016-10-19 2017-02-15 广东容祺智能科技有限公司 一种虚拟现实技术在无人机巡检中的应用系统及使用方法
CN106598064A (zh) * 2016-10-19 2017-04-26 广东容祺智能科技有限公司 一种无人机的电路线路智能识别装置及方法
CN106547280A (zh) * 2016-11-09 2017-03-29 红河恒翔农业科技有限公司 一种无人机喷洒农药的方法
CN106355866A (zh) * 2016-11-14 2017-01-25 徐志勇 无人机检测影像储存分析系统
CN106779655A (zh) * 2016-11-17 2017-05-31 上海圣尧智能科技有限公司 一种植保无人机作业费用自动计算和自助结算系统及方法
US11368002B2 (en) 2016-11-22 2022-06-21 Hydro-Quebec Unmanned aerial vehicle for monitoring an electrical line
CN106708073A (zh) * 2016-11-30 2017-05-24 浙江大学 一种自主导航电力巡线故障检测的四旋翼飞行器系统
CN106708073B (zh) * 2016-11-30 2019-06-25 浙江大学 一种自主导航电力巡线故障检测的四旋翼飞行器系统
CN106767816A (zh) * 2016-11-30 2017-05-31 浙江大学 一种基于Voronoi图法和GPRS通信的无人机远程路径规划系统
CN106444849A (zh) * 2016-12-02 2017-02-22 上海巽晔计算机科技有限公司 一种基于图像识别的无人机自主飞行系统
CN106780825A (zh) * 2016-12-09 2017-05-31 广东电网有限责任公司肇庆供电局 电网线路巡检装置
CN106646485A (zh) * 2016-12-14 2017-05-10 天津文康科技有限公司 一种机电一体化距离测量下的无人机定位系统
CN106774406A (zh) * 2016-12-30 2017-05-31 武汉大势智慧科技有限公司 一种无人机影像自动采集系统和方法
CN106707123A (zh) * 2017-01-03 2017-05-24 深圳供电局有限公司 一种基于无人机飞行平台的配电架空线路局放检测装置
CN106707123B (zh) * 2017-01-03 2019-02-19 深圳供电局有限公司 一种基于无人机飞行平台的配电架空线路局放检测装置
CN110418957A (zh) * 2017-03-15 2019-11-05 西门子股份公司 对具有运行机构的设施进行状态监控的方法和装置
CN110418957B (zh) * 2017-03-15 2022-07-05 西门子能源全球有限两合公司 对具有运行机构的设施进行状态监控的方法和装置
CN106952049A (zh) * 2017-03-27 2017-07-14 国网山东省电力公司夏津县供电公司 输电线路的状态评估方法及装置
CN106873627A (zh) * 2017-03-31 2017-06-20 湘潭大学 一种自动巡检输电线路的多旋翼无人机及方法
CN106932688A (zh) * 2017-04-24 2017-07-07 国家电网公司 输电线检测仪及基于无人机的输电线检测系统
CN106932688B (zh) * 2017-04-24 2023-09-05 国家电网公司 输电线检测仪及基于无人机的输电线检测系统
CN106950996A (zh) * 2017-05-09 2017-07-14 广东容祺智能科技有限公司 一种基于无人机铁路高压电线巡检避障系统
CN107193027A (zh) * 2017-05-27 2017-09-22 山东交通职业学院 一种高速公路无人机智能巡查定位系统
CN107402580A (zh) * 2017-07-18 2017-11-28 国家电网公司 基于无人机的电网巡检自动化方法
CN107402580B (zh) * 2017-07-18 2021-01-29 国家电网公司 基于无人机的电网巡检自动化方法
CN107380434A (zh) * 2017-08-08 2017-11-24 东北大学秦皇岛分校 一种无人巡逻方法及用于无人巡逻的飞行器
CN107380434B (zh) * 2017-08-08 2023-12-15 东北大学秦皇岛分校 一种无人巡逻方法及用于无人巡逻的飞行器
CN107390040A (zh) * 2017-09-06 2017-11-24 天津飞眼无人机科技有限公司 一种用于测量电场强度的无人机测量装置及无线网络
CN108052114A (zh) * 2017-12-06 2018-05-18 四川豪斯特电子技术有限责任公司 一种无人机的图像采集及跟踪控制系统
CN107977453A (zh) * 2017-12-15 2018-05-01 深圳供电局有限公司 一种无人机巡视图片分类方法以及系统
CN107977453B (zh) * 2017-12-15 2019-07-02 深圳供电局有限公司 一种无人机巡视图片分类方法以及系统
CN108004891A (zh) * 2018-01-15 2018-05-08 武汉夕睿光电技术有限公司 公路宏观养护巡检装置、方法及系统
CN108004891B (zh) * 2018-01-15 2023-12-19 武汉夕睿光电技术有限公司 公路宏观养护巡检装置、方法及系统
CN108107426A (zh) * 2018-01-31 2018-06-01 菏泽学院 一种无线电高度表
CN108334844B (zh) * 2018-02-06 2022-08-12 贵州电网有限责任公司 一种输电线路巡检的沿线自动跟踪方法
CN108334844A (zh) * 2018-02-06 2018-07-27 贵州电网有限责任公司 一种输电线路巡检的沿线自动跟踪方法
CN108365557A (zh) * 2018-02-24 2018-08-03 广东电网有限责任公司肇庆供电局 一种无人机精细化巡检输电线路的方法及系统
CN108791847A (zh) * 2018-06-08 2018-11-13 南京熙赢测控技术有限公司 一种用于自动识别路面窨井盖并自动编号的装置
CN108791847B (zh) * 2018-06-08 2021-11-16 南京熙赢测控技术有限公司 一种用于自动识别路面窨井盖并自动编号的装置
CN108900968A (zh) * 2018-07-02 2018-11-27 国网重庆市电力公司市区供电分公司 一种定位跟踪及远程图像采集回传的无人机巡视设备
CN108900968B (zh) * 2018-07-02 2020-08-11 国网重庆市电力公司市区供电分公司 一种定位跟踪及远程图像采集回传的无人机巡视设备
CN109000601A (zh) * 2018-07-12 2018-12-14 贵州路桥集团有限公司 一种塔架偏移动态观测系统
CN108593213A (zh) * 2018-07-12 2018-09-28 中冶北方(大连)工程技术有限公司 无人机地下矿巡检及气味追踪装置
CN108983810A (zh) * 2018-07-19 2018-12-11 安徽共生物流科技有限公司 一种仓库巡逻无人机系统及其巡视方法
CN108896887A (zh) * 2018-07-24 2018-11-27 上海交通大学 一种耐张绝缘子检测装置及方法
CN109358639A (zh) * 2018-09-21 2019-02-19 中国电力科学研究院有限公司 一种利用旋翼无人机巡检直线四回路杆塔的方法及系统
CN109405803A (zh) * 2018-10-23 2019-03-01 贵州省第三测绘院 航空遥感数据获取的方法和装置
CN109470932A (zh) * 2018-11-13 2019-03-15 中国舰船研究设计中心 一种无人机搭载的场强自动测量系统及测量方法
CN111279637A (zh) * 2018-11-27 2020-06-12 深圳市大疆创新科技有限公司 一种信息同步方法、无人机、负载设备、系统及存储介质
CN111279637B (zh) * 2018-11-27 2022-06-28 深圳市大疆创新科技有限公司 一种信息同步方法、无人机、负载设备、系统及存储介质
CN109630905A (zh) * 2019-01-25 2019-04-16 电子科技大学 一种基于无人机遥感和深度学习的油气管道全智能巡检系统
CN109905609A (zh) * 2019-04-19 2019-06-18 广州市房地产测绘院(广州市测绘产品质量检验中心) 一种通过获取无人机信号来控制摄像设备的方法及装置
CN110082126A (zh) * 2019-05-10 2019-08-02 云南农业大学 自动驾驶测试平台
CN110196603A (zh) * 2019-05-13 2019-09-03 国家电网有限公司 一种基于笼式无人机的电缆隧道故障巡检系统
CN110428146A (zh) * 2019-07-11 2019-11-08 陕西华地勘察设计咨询有限公司 一种城镇低效用地精准识别与智能规划系统
CN110356586A (zh) * 2019-08-28 2019-10-22 象限空间(天津)科技有限公司 一种大型飞机的无人机自动巡检系统
CN110471449A (zh) * 2019-08-28 2019-11-19 华东师范大学 一种检测电力线缆故障的无人机
CN110471452A (zh) * 2019-08-30 2019-11-19 华东师范大学 一种检测电力线的无人机控制系统
CN110728202A (zh) * 2019-09-23 2020-01-24 国网宁夏电力有限公司电力科学研究院 一种输电导线异物检测方法、终端及系统
CN110969719A (zh) * 2019-11-12 2020-04-07 深圳市科比特航空科技有限公司 一种自动巡检方法、系统、终端设备及存储介质
CN111310944A (zh) * 2020-02-13 2020-06-19 国网冀北电力有限公司张家口供电公司 一种输电线路实时工况分析系统
CN111310944B (zh) * 2020-02-13 2023-07-18 国网冀北电力有限公司张家口供电公司 一种输电线路实时工况分析系统
CN111290437A (zh) * 2020-03-26 2020-06-16 江苏方天电力技术有限公司 一种无人机巡检轨迹的调整方法和装置
CN111402253A (zh) * 2020-04-03 2020-07-10 华东交通大学 融合边缘计算和深度学习的输变电设备状态在线监测方法
CN111504257A (zh) * 2020-04-29 2020-08-07 广东电网有限责任公司 一种辅助无人机精准巡线的视觉测距系统及其测距方法
CN111653000A (zh) * 2020-05-13 2020-09-11 北京智芯微电子科技有限公司 无人机巡检系统
CN111695548A (zh) * 2020-07-20 2020-09-22 内蒙古工业大学 基于毫米波雷达的高压线检测方法
CN111695548B (zh) * 2020-07-20 2022-12-13 内蒙古工业大学 基于毫米波雷达的高压线检测方法
CN112000124B (zh) * 2020-07-22 2023-01-24 广东顺德电力设计院有限公司 一种应用于电网的无人机巡检方法
CN112000124A (zh) * 2020-07-22 2020-11-27 广东顺德电力设计院有限公司 一种应用于电网的无人机巡检方法
CN112068591A (zh) * 2020-08-25 2020-12-11 中国南方电网有限责任公司超高压输电公司天生桥局 输电线路自动巡检无人机、控制方法、装置和存储介质
CN112180955B (zh) * 2020-08-26 2024-02-20 国网安徽省电力有限公司淮南供电公司 自动巡检无人机的基于视觉反馈的二次复查方法和系统
CN112180955A (zh) * 2020-08-26 2021-01-05 国网安徽省电力有限公司淮南供电公司 一种自动巡检无人机的基于视觉反馈的二次复查方法和系统
CN112464881A (zh) * 2020-12-11 2021-03-09 国网辽宁省电力有限公司抚顺供电公司 一种输电线路无人机光学遥感自主巡检方法
CN112702579A (zh) * 2020-12-24 2021-04-23 苏州中飞遥感技术服务有限公司 一种基于无人机航拍影像的自动识别系统
CN112837443A (zh) * 2021-01-12 2021-05-25 云南电网有限责任公司电力科学研究院 一种无人机巡检系统及方法
CN112859925A (zh) * 2021-01-29 2021-05-28 中国南方电网有限责任公司超高压输电公司柳州局 一种无人机沿架空线路自主巡检方法
CN112560833A (zh) * 2021-03-01 2021-03-26 广州汇图计算机信息技术有限公司 一种基于遥感影像的信息展示系统
CN113436362A (zh) * 2021-06-16 2021-09-24 国网河北省电力有限公司邯郸供电分公司 一种通信线缆巡检方法
CN113377120A (zh) * 2021-06-29 2021-09-10 徐州新电高科电气有限公司 一种巡检方法、装置、设备、系统和存储介质
CN113377120B (zh) * 2021-06-29 2024-03-26 国网江苏省电力有限公司徐州供电分公司 一种巡检方法、装置、设备、系统和存储介质
CN113419564A (zh) * 2021-08-24 2021-09-21 天津市普迅电力信息技术有限公司 一种基于模糊路径的电力通道巡检方法
CN115196031B (zh) * 2022-09-15 2022-12-20 国网电力空间技术有限公司 一种直升机用电网设备拍摄装置
CN115196031A (zh) * 2022-09-15 2022-10-18 国网电力空间技术有限公司 一种直升机用电网设备拍摄装置
CN116863358A (zh) * 2023-08-18 2023-10-10 华大天元(北京)科技股份有限公司 电网无人机巡检图像绝缘子缺陷识别方法及系统
CN116958841A (zh) * 2023-09-18 2023-10-27 众芯汉创(江苏)科技有限公司 基于图像识别的配电线路无人机巡检系统
CN116958841B (zh) * 2023-09-18 2023-12-26 众芯汉创(江苏)科技有限公司 基于图像识别的配电线路无人机巡检系统

Also Published As

Publication number Publication date
CN103941746B (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN103941746A (zh) 无人机巡检图像处理系统及方法
CN108496129B (zh) 一种基于飞行器的设施检测方法及控制设备
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
CN105812733B (zh) 一种民航空中交通管制的场面监视引导系统
CN102436738B (zh) 一种基于无人机的交通监测装置
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN109901580A (zh) 一种无人机与无人地面机器人协作循径避障系统及其方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN115597659B (zh) 一种变电站智能安全管控方法
CN106168805A (zh) 基于云计算的机器人自主行走的方法
CN110418957A (zh) 对具有运行机构的设施进行状态监控的方法和装置
CN114373138A (zh) 一种高速铁路全自动无人机巡检方法及系统
CN104217439A (zh) 一种室内视觉定位系统及方法
Raczynski Accuracy analysis of products obtained from UAV-borne photogrammetry influenced by various flight parameters
CN107063242A (zh) 具虚拟墙功能的定位导航装置和机器人
CN105116886A (zh) 一种机器人自主行走的方法
CN113077561A (zh) 一种无人机智能巡检系统
JP2020170213A (ja) ドローン作業支援システム及びドローン作業支援方法
CN110647170A (zh) 一种基于无人机的航标巡检装置与方法
CN105929820A (zh) 一种智能机器人定位方法
CN107390699A (zh) 一种甘蔗种植机的路线规划系统及其路线规划方法
CN114252859A (zh) 目标区域的确定方法、装置、计算机设备和存储介质
CN204495357U (zh) 一种多基多模组网融合室内人员导航定位系统
CN104714068B (zh) 对室外电能表读表的机器人
CN212695608U (zh) 一种架空输电线路巡检作业系统及飞行作业平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Co-patentee after: Electric Power Research Institute of State Grid Shandong Electric Power Company

Patentee after: State Grid Corporation of China

Co-patentee after: National Network Intelligent Technology Co., Ltd.

Address before: No. 86 West Xicheng District, Beijing, Chang'an Avenue

Co-patentee before: Electric Power Research Institute of State Grid Shandong Electric Power Company

Patentee before: State Grid Corporation of China

Co-patentee before: Shandong Luneng Intelligent Technology Co., Ltd.

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20201029

Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Patentee after: National Network Intelligent Technology Co.,Ltd.

Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Patentee before: STATE GRID CORPORATION OF CHINA

Patentee before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Patentee before: National Network Intelligent Technology Co.,Ltd.

TR01 Transfer of patent right