CN112180955A - 一种自动巡检无人机的基于视觉反馈的二次复查方法和系统 - Google Patents

一种自动巡检无人机的基于视觉反馈的二次复查方法和系统 Download PDF

Info

Publication number
CN112180955A
CN112180955A CN202010873603.8A CN202010873603A CN112180955A CN 112180955 A CN112180955 A CN 112180955A CN 202010873603 A CN202010873603 A CN 202010873603A CN 112180955 A CN112180955 A CN 112180955A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
inspection
point
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010873603.8A
Other languages
English (en)
Other versions
CN112180955B (zh
Inventor
唐旭明
熊军林
严波
郭可贵
万能
李路遥
孟蒋辉
陈永保
汪晓
宁彦
姚辉
曹瑞
杨媚怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
State Grid Corp of China SGCC
Huainan Power Supply Co of State Grid Anhui Electric Power Co Ltd
Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Original Assignee
University of Science and Technology of China USTC
State Grid Corp of China SGCC
Huainan Power Supply Co of State Grid Anhui Electric Power Co Ltd
Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, State Grid Corp of China SGCC, Huainan Power Supply Co of State Grid Anhui Electric Power Co Ltd, Overhaul Branch of State Grid Anhui Electric Power Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN202010873603.8A priority Critical patent/CN112180955B/zh
Publication of CN112180955A publication Critical patent/CN112180955A/zh
Application granted granted Critical
Publication of CN112180955B publication Critical patent/CN112180955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自动巡检无人机的基于视觉反馈的二次复查方法和系统，该方法包括以下步骤：S1、依据首次巡检的目标识别和故障判断结果，找出无法做出判断的疑似点，发出二次请求；S2、无人机依据给出的疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号，自主确定二次复查的巡检点，确定二次复查悬停点的位置及到达二次复查悬停点位置时的无人机及云台的姿态信息，并对局部路径进行重新规划；S3、飞行到达二次复查悬停点悬停，同时根据二次复查任务信息完成对无人机位姿和对云台姿态的控制，进行拍照，并将图片重新进行识别处理，实现二次复查。本方法提高了输电塔线路场景下自主无人机巡检的可靠性与实用性。

Description

一种自动巡检无人机的基于视觉反馈的二次复查方法和系统
技术领域
本发明涉及一种自动巡检无人机的基于视觉反馈的二次复查方法和二次复查系统，通过视觉反馈确定二次复查巡检点并重新进行路径规划，对可疑巡检点进行二次复查，属于控制工程领域。
背景技术
目前超高压输电线路的巡检主要靠人工巡视为主，载人直升机与无人机巡检为辅。
人工巡检方式不但人员的工作强度大、工作条件差、工作效率低而且存在人身安全的风险，特别是一些原因不明和测距不准的故障会增加工作量，有些线路还受地形因素影响造成巡线困难。
载人直升机受航空管制、天气、使用成本等因素的制约，不能及时的对事故、异常进行查找，也难以满足运行规程规定的巡检周期。
多旋翼无人机拥有机动灵活、悬停稳定性好以及便于操控的特点，目前在输电线路巡检中得到一定的推广应用，但是此类无人机都是非智能化的，还是需要人员操控和进行缺陷识别。
在实际操作过程中，传统的多旋翼巡线无人机是用高清摄像头进行场景拍摄，通过图传系统传到接收终端，通过工作人员人工盯查，这往往费时费力，并没有彻底解决劳动强度大的问题，而现阶段基本上是三个人在一起作业，一个飞机遥控操作手，一个视频检查员或联络员，对于大型杆塔或者线路，需要用对讲机来指挥无人机操作手进行作业，但是由于视野和坐标系的不同，往往沟通效率较低。
因此为实现全自主无人机巡检，同时提高无人机巡检任务的可靠性，研究自动巡检无人机的基于视觉反馈的二次复查方法具有重大的现实意义与经济价值。
发明内容
本发明的目的在于提供一种自动巡检无人机的基于视觉反馈的二次复查方法和二次复查系统，以提高输电塔线路场景下全自主无人机巡检时的巡检可靠性与实用性，降低巡检成本与巡检人员的培训成本与人力成本。
为此，本发明提供了一种自动巡检无人机的基于视觉反馈的二次复查方法，包括以下步骤：S1、依据首次巡检的目标识别和故障判断结果，找出无法做出判断的疑似点，发出二次请求，并反馈疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号；S2、无人机接到二次复查请求后，依据给出的疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号，确定二次复查的巡检点和二次复查悬停点的位置及到达二次复查悬停点位置时的无人机及云台的姿态信息，并对局部路径进行重新规划，得到重新规划的飞行路径；S3、无人机按照重新规划的飞行路径飞行到达二次复查悬停点、悬停，同时根据二次复查任务信息完成对无人机位姿和对云台姿态的控制，进行拍照，并将图片重新进行识别处理，实现二次复查。
本发明还提供了一种自主巡检无人机的基于视觉反馈的二次复查系统，包括：识别单元，存储有识别程序，该识别程序在执行时实现以下步骤：依据首次巡检的目标识别和故障判断结果，找出无法做出判断的疑似点，发出二次请求，并反馈疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号；以及无人机处理单元，存储有二次复查程序，该二次复查程序在执行时实现以下步骤：接到二次复查请求，依据给出的疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号，确定二次复查的巡检点和二次复查悬停点的位置及到达二次复查悬停点位置时的无人机及云台的姿态信息，并对局部路径进行重新规划，得到重新规划的飞行路径，同时根据二次复查任务信息完成对无人机位姿和对云台姿态的控制，进行拍照，并将图片重新发送给识别单元、进行识别处理，实现二次复查。
本发明采用深度学习对巡检目标进行识别，根据疑似点相关信息自主确定无人机在巡检过程中需要二次复查的点，无人机根据需要复查的点重新进行路径规划，并飞往指定位置，重新识别巡检目标，完成巡检任务。本方法提高了输电塔线路场景下自主无人机巡检的可靠性与实用性，降低了巡检成本与巡检人员的培训成本与人力成本。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的自主巡检无人机的基于视觉反馈的二次复查方法的流程图。
图2是根据本发明一实施例的用于输电塔巡检场景下的自主巡检无人机的基于视觉反馈的二次复查方法的流程图。
图3是对三维空间进行栅格化后无人机所处节点及相邻26节点的示意图。
图4是二次复查无人机悬停位置8选点与12选点示意图。
图5是根据本发明的自主巡检无人机的基于视觉反馈的二次复查系统的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明的的基于视觉反馈的二次复查方法的执行流程如下：
首先无人机拍摄照片，然后进行目标识别与故障判断，并判断是否存在疑似点，若否则执行下一个巡检任务，若是则无人机自主判断二次复查巡检点，接下来重新进行路径规划，最后飞向二次复查点，并调整云台相机位姿，拍照复查。
如图2所示，根据本发明一实施例的基于视觉反馈的二次复查方法，包括以下步骤：
S1、依据首次巡检的目标识别和故障判断结果，确定无法做出判断的疑似点，发出二次请求，并给出疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号。
其中，确定疑似点的方法如下：
(1)利用http服务接口实现包含无人机位姿、云台位姿、以及对应的巡检点编号的图像读取，利用深度学习技术进行图像识别，识别结果包括图像中包含的目标或缺陷(如有)的位置信息、类别信息以及置信度信息，然后利用http服务接口返回无人机位姿、云台位姿、对应的巡检点编号的图像、以及图像中包含的目标或缺陷(如有)的位置信息、类别信息以及置信度信息；
(2)按照设定的置信度阈值(可调)、目标类型等对图片进行识别，如果图片无效(符合无效的判断)、置信度小于阈值(符合疑似的判断)、且符合目标类型则向无人机发出二次复查请求，同时给出疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号。
S2，无人机接到二次复查请求后，依据给出的疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号，自主确定二次复查的巡航点，并对局部路径进行重新规划，并确定二次复查巡航点的位置信息、到达二次复查巡航点处的无人机姿态信息和云台相对于无人机坐标系的绝对位姿信息。
其中，采用以下方式进行路径重规划：
(1)在无人机巡检过程中，无人机系统接收任务信息，此时判断有无二次复查任务，如果没有，到最后一步，继续按照常规任务执行。N为任务序列，Nj为当前无人机执行的任务；Nj+1为序列中下一个任务，任务信息中包含无人机悬停点的位姿及云台相机的姿态。如果接收到二次复查任务，计算无人当前位置与无人机正在前往的悬停点之间的距离X及当前位置与无人机拍摄疑似点时的距离Y，若有X＜Y，则将剩下的巡检点与待复查巡检点Nk重新进行巡检排序规划，否则将待复查巡检点Nk设置为下一巡检点，从而更新巡检任务序列N。
(2)针对二次复查的巡检点，以疑似点拍摄时的无人机位置为原点，构造棱长为R的正方体，并根据输电塔模型判断正方体的8个顶点所在位置是否为无人机不可悬停点，将每一个无人机可悬停的顶点作为二次复查的一个悬停点，悬停点处无人机姿态保持不变，云台相机的姿态根据正方体的几何关系及原点处云台相机的姿态进行调整，从而确定出二次复查时无人机及云台的位姿数据。
(3)根据新的巡检任务序列N，以及(2)中提供的复查悬停点处的位姿数据对任务序列中巡检位置发生变动的巡检点之间进行路径重规划。
路径规划的具体步骤如下：
(a)根据3维空间中的输电塔模型，对3维空间进行栅格化，并对每一个存在障碍物的栅格进行标记。将每一个栅格视为一个节点，并以无人机当前位置为起始节点，即将飞往的位置为终止节点。
(b)构建OPEN表与CLOSE表，分别保存待检验节点与已检验节点。
(c)将起始节点放入CLOSE表中，与起始节点相邻的26个节点放入OPEN表中，同时将这26个点的父节点设置为起始节点，如图3所示。其中蓝色节点表示无人机所处节点，其他颜色为当前节点的26个相邻节点，其中障碍节点用红色表示，其他节点用绿色表示；
(d)遍历所有的OPEN表中的节点，分比计算从当前节点到相邻节点n的实际距离g(n)与节点n到终点的估计距离h(n)，若起始点为U点，终点为V点，若它们在三维空间的坐标分别为(xu,yu,zu)，(xv,yv,zv)；若节点n的坐标为(xn,yn,zn)，则
Figure BDA0002651919510000041
计算F(n)＝g(n)+h(n)，式中F(n)表示从起始节点经节点n到最终节点的估价距离；将F(n)值最小的节点移动到CLOSE表格中，并作为新的父节点。
(e)针对每一个当前节点周围的26个相邻节点，首先判断其是否位于CLOSE表中或为障碍点。若都不满足，则判断该相邻节点是否已经在OPEN表格中，若不在，则将其放入OPEN表格中，并将当前节点设置为该相邻节点的父节点，计算该相邻节点的g(n)，h(n)，F(n)值。若该相邻节点已经在OPEN表中，则计算该相邻节点的g(n)值是否比通过当前节点的g(n)更小，若更小则返回步骤(d)，否则将该相邻节点的父节点设置为当前节点。
(f)不断重复步骤(d)与步骤(e)，直到终点被加入CLOSE表中，此时所有节点的父节点即可构成由无人机起始位置到目标悬停位置的最短路径。
S3，依据二次复查巡航点处的无人机位姿信息和云台的绝对姿态信息后，控制无人机按照新的路径规划飞行轨迹，进行路径数据的解算，转换成飞控可以执行的路径信息，并执行飞行，到达二次复查巡航点悬停。同时根据二次复查任务信息完成对无人机位姿的控制和对云台姿态的控制，进行拍照，并将图片重新进行识别处理。
S4，拍摄完毕后无人机悬停等待二次复查结果，若复查成功则无人机继续执行下一巡检点的巡检任务，否则步骤S2中子步骤(2)中所述的正方体的外接球体，取正方体棱长中点至球心的连线与球体的共计12个交点中的非障碍点作为新的悬停点，无人机飞向这些巡检点再次执行拍摄任务，完成二次复查任务；无人机二次复查悬停点的选点示意图如图4所示。
本发明采用深度学习对巡检目标进行识别，根据疑似点相关信息自主确定无人机在巡检过程中需要二次复查的点，无人机根据需要复查的点重新进行路径规划，并飞往指定位置，重新识别巡检目标，完成巡检任务。本方法提高了输电塔线路场景下自主无人机巡检的可靠性与实用性，降低了巡检成本与巡检人员的培训成本与人力成本。
本发明还提供了一种自主巡检无人机的基于视觉反馈的二次复查系统，如图5所示，其包括识别单元和无人机处理单元。
识别单元存储有识别程序，该识别程序在执行时实现以下步骤：依据首次巡检的目标识别和故障判断结果，找出无法做出判断的疑似点，发出二次请求，并反馈疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号。
无人机处理单元存储有二次复查程序，该二次复查程序在执行时实现以下步骤：接到二次复查请求，依据给出的疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号，确定二次复查的巡检点和二次复查悬停点的位置及到达二次复查悬停点位置时的无人机及云台的姿态信息，并对局部路径进行重新规划，得到重新规划的飞行路径，同时根据二次复查任务信息完成对无人机位姿和对云台姿态的控制，进行拍照，并将图片重新发送给识别单元，进行识别处理，实现二次复查。
识别单元可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。无人机处理单元集成在无人机中。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接。
上述识别程序和二次复查程序可存储在计算机可读存储介质中，本计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自动巡检无人机的基于视觉反馈的二次复查方法，其特征在于，包括以下步骤：
S1、依据首次巡检的目标识别和故障判断结果，找出无法做出判断的疑似点，发出二次请求，并反馈疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号；
S2、无人机接到二次复查请求后，依据给出的疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号，确定二次复查的巡检点和二次复查悬停点的位置及到达二次复查悬停点位置时的无人机及云台的姿态信息，并对局部路径进行重新规划，得到重新规划的飞行路径；
S3、无人机按照重新规划的飞行路径飞行到达二次复查悬停点、悬停，同时根据二次复查任务信息完成对无人机位姿和对云台姿态的控制，进行拍照，并将图片重新进行识别处理，实现二次复查。
2.根据权利要求1所述的自动巡检无人机的基于视觉反馈的二次复查方法，其特征在于，所述步骤S1包括以下子步骤：
(1)利用http服务接口读取包含无人机位姿、云台位姿、以及对应的巡检点编号的图像，利用深度学习技术进行图像识别，识别结果包括图像中包含的目标或缺陷的位置信息、类别信息以及置信度信息，然后利用http服务接口返回所述图像和图像中包含的目标或缺陷的位置信息、类别信息以及置信度信息；
(2)按照设定的置信度阈值、目标类型对图片进行识别，如果图片无效、置信度小于阈值、且符合目标类型则向无人机发出二次复查请求，同时给出疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号。
3.根据权利要求1所述的自主巡检无人机的基于视觉反馈的二次复查方法，其特征在于，在所述步骤S2中，如果无人机巡检过程中接收到二次复查任务，计算无人机当前位置与无人机正在前往的悬停点之间的距离X及当前位置与无人机拍摄疑似点时的距离Y，若有X＜Y，则将剩下的巡检点与待复查巡检点Nk重新进行巡检排序规划，否则将待复查巡检点Nk设置为下一巡检点，得到更新后的巡检任务序列N。
4.根据权利要求3所述的自主巡检无人机的基于视觉反馈的二次复查方法，其特征在于，在所述步骤S2中，针对二次复查的巡检点，以疑似点拍摄时的无人机位置为原点，构造若干悬停点，并根据输电塔模型判断各悬停点点所在位置是否为无人机不可悬停点，将每一个无人机可悬停的顶点作为二次复查的一个复查悬停点，复查悬停点处无人机姿态保持不变，云台相机的姿态根据原点和悬停点的几何关系及原点处云台相机的姿态进行调整，确定出二次复查时无人机及云台的位姿数据。
5.根据权利要求4所述的自主巡检无人机的基于视觉反馈的二次复查方法，其特征在于，还包括步骤S4：拍摄完毕后无人机悬停等待二次复查结果，若复查成功则无人机继续执行下一巡检点的巡检任务，否则寻找新的若干悬停点，无人机飞向这些巡检点再次执行拍摄任务，至此结束二次复查任务。
6.根据权利要求3所述的自主巡检无人机的基于视觉反馈的二次复查方法，其特征在于，根据更新后的巡检任务序列N和复查悬停点处的位姿数据对任务序列中巡检位置发生变动的巡检点之间进行路径重规划。
7.根据权利要求6所述的自主巡检无人机的基于视觉反馈的二次复查方法，其特征在于，用于输电塔巡检场景。
8.根据权利要求7所述的自主巡检无人机的基于视觉反馈的二次复查方法，其特征在于，所述路径重规划包括以下步骤：
(a)根据3维空间中的输电塔模型，对3维空间进行栅格化，并对每一个存在障碍物的栅格进行标记，将每一个栅格视为一个节点，并以无人机当前位置为起始节点，即将飞往的位置为终止节点；
(b)构建OPEN表与CLOSE表，分别保存待检验节点与已检验节点；
(c)将起始节点放入CLOSE表中，将起始节点的相邻节点放入OPEN表中，同时将这些相邻节点的父节点设置为起始节点；
(d)遍历所有的OPEN表中的节点，分别计算从起始节点到该节点的代价G与该节点到终点的代价H之和F，将F值最小的节点移动到CLOSE表格中，并作为当前节点；
(e)针对每一个当前节点周围的这些相邻节点，首先判断其是否位于CLOSE表中或为障碍点，若都不满足，则判断该相邻节点是否已经在OPEN表格中，若不在，则将其放入OPEN表格中，并将当前节点设置为该相邻节点的父节点，计算该相邻节点的G，H，F值，若该相邻节点已经在OPEN表中，则计算该相邻节点的G值是否比通过当前节点的G更小，若更小则返回步骤(d)，否则将该相邻节点的父节点设置为A节点；
(f)重复执行步骤(d)与步骤(e)，直到终点被加入OPEN表中，此时所有节点的父节点即可构成由无人机起始位置到目标悬停位置的最短路径。
9.根据权利要求1所述的自主巡检无人机的基于视觉反馈的二次复查方法，其特征在于，所述无人机按照重新规划的飞行路径飞行到达二次复查悬停点，包括针对重新规划的飞行路径，进行路径数据的解算，转换成飞控可执行的路径信息，并执行飞行，到达二次复查悬停点。
10.一种自主巡检无人机的基于视觉反馈的二次复查系统，其特征在于，包括：
识别单元，存储有识别程序，该识别程序在执行时实现以下步骤：依据首次巡检的目标识别和故障判断结果，找出无法做出判断的疑似点，发出二次请求，并反馈疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号；以及
无人机处理单元，存储有二次复查程序，该二次复查程序在执行时实现以下步骤：接到二次复查请求，依据给出的疑似点图像拍摄时的无人机位姿、云台位姿和巡检点编号，确定二次复查的巡检点和二次复查悬停点的位置及到达二次复查悬停点位置时的无人机及云台的姿态信息，并对局部路径进行重新规划，得到重新规划的飞行路径，同时根据二次复查任务信息完成对无人机位姿和对云台姿态的控制，进行拍照，并将图片重新发送给识别单元、进行识别处理，实现二次复查。
CN202010873603.8A 2020-08-26 2020-08-26 自动巡检无人机的基于视觉反馈的二次复查方法和系统 Active CN112180955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010873603.8A CN112180955B (zh) 2020-08-26 2020-08-26 自动巡检无人机的基于视觉反馈的二次复查方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010873603.8A CN112180955B (zh) 2020-08-26 2020-08-26 自动巡检无人机的基于视觉反馈的二次复查方法和系统

Publications (2)

Publication Number Publication Date
CN112180955A true CN112180955A (zh) 2021-01-05
CN112180955B CN112180955B (zh) 2024-02-20

Family

ID=73925049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010873603.8A Active CN112180955B (zh) 2020-08-26 2020-08-26 自动巡检无人机的基于视觉反馈的二次复查方法和系统

Country Status (1)

Country Link
CN (1) CN112180955B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947511A (zh) * 2021-01-25 2021-06-11 北京京能能源技术研究有限责任公司 一种无人机巡检风机叶片的方法
CN113034723A (zh) * 2021-03-16 2021-06-25 中科云尚(南京)智能技术有限公司 一种人工智能陆海空联动的运维系统
CN113326752A (zh) * 2021-05-20 2021-08-31 淮阴工学院 一种基于无人机的光伏电站识别方法及系统
CN114002228A (zh) * 2021-11-05 2022-02-01 华能国际电力股份有限公司上海石洞口第二电厂 基于图像识别的皮带裂缝检测方法
CN114326807A (zh) * 2021-12-29 2022-04-12 宁夏超高压电力工程有限公司 无人机变电站巡检方法、系统和可读存储介质
CN114879217A (zh) * 2022-07-12 2022-08-09 中国工程物理研究院应用电子学研究所 一种目标位姿的判断方法及系统
CN117029782A (zh) * 2023-07-25 2023-11-10 无锡建设监理咨询有限公司 基于无人机排查市政道路给排水施工的方法、系统及装置
CN117612047A (zh) * 2024-01-23 2024-02-27 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941746A (zh) * 2014-03-29 2014-07-23 国家电网公司 无人机巡检图像处理系统及方法
CN105676864A (zh) * 2016-04-08 2016-06-15 合肥工业大学 一种无人机航拍规划仿真系统
CN107402580A (zh) * 2017-07-18 2017-11-28 国家电网公司 基于无人机的电网巡检自动化方法
CN107735737A (zh) * 2016-10-31 2018-02-23 深圳市大疆创新科技有限公司 一种航点编辑方法、装置、设备及飞行器
WO2018195955A1 (zh) * 2017-04-28 2018-11-01 深圳市大疆创新科技有限公司 一种基于飞行器的设施检测方法及控制设备
CN108803661A (zh) * 2018-06-29 2018-11-13 广东容祺智能科技有限公司 一种无人机快速巡检系统及方法
CN109669474A (zh) * 2018-12-21 2019-04-23 国网安徽省电力有限公司淮南供电公司 基于先验知识的多旋翼无人机自适应悬停位置优化算法
CN110728835A (zh) * 2019-09-16 2020-01-24 舟山市海大科学技术研究院有限责任公司 基于大数据挖掘的海洋监测系统及方法
CN110908401A (zh) * 2019-12-06 2020-03-24 电子科技大学 一种针对未知杆塔结构的无人机自主巡检方法
CN111060109A (zh) * 2020-01-03 2020-04-24 东南大学 一种基于改进a星算法的无人艇全局路径规划方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941746A (zh) * 2014-03-29 2014-07-23 国家电网公司 无人机巡检图像处理系统及方法
CN105676864A (zh) * 2016-04-08 2016-06-15 合肥工业大学 一种无人机航拍规划仿真系统
CN107735737A (zh) * 2016-10-31 2018-02-23 深圳市大疆创新科技有限公司 一种航点编辑方法、装置、设备及飞行器
WO2018195955A1 (zh) * 2017-04-28 2018-11-01 深圳市大疆创新科技有限公司 一种基于飞行器的设施检测方法及控制设备
CN107402580A (zh) * 2017-07-18 2017-11-28 国家电网公司 基于无人机的电网巡检自动化方法
CN108803661A (zh) * 2018-06-29 2018-11-13 广东容祺智能科技有限公司 一种无人机快速巡检系统及方法
CN109669474A (zh) * 2018-12-21 2019-04-23 国网安徽省电力有限公司淮南供电公司 基于先验知识的多旋翼无人机自适应悬停位置优化算法
CN110728835A (zh) * 2019-09-16 2020-01-24 舟山市海大科学技术研究院有限责任公司 基于大数据挖掘的海洋监测系统及方法
CN110908401A (zh) * 2019-12-06 2020-03-24 电子科技大学 一种针对未知杆塔结构的无人机自主巡检方法
CN111060109A (zh) * 2020-01-03 2020-04-24 东南大学 一种基于改进a星算法的无人艇全局路径规划方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李君海;熊道洋;: "基于北斗高精度位置服务的无人机变电站自主巡检应用的研究", 湖北电力, no. 04, pages 81 - 87 *
田力: "输电线路杆塔无人机自动精细巡检系统研究", 《电力与能源》 *
田力: "输电线路杆塔无人机自动精细巡检系统研究", 《电力与能源》, no. 02, 28 April 2019 (2019-04-28), pages 130 - 134 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947511A (zh) * 2021-01-25 2021-06-11 北京京能能源技术研究有限责任公司 一种无人机巡检风机叶片的方法
CN113034723A (zh) * 2021-03-16 2021-06-25 中科云尚(南京)智能技术有限公司 一种人工智能陆海空联动的运维系统
CN113326752A (zh) * 2021-05-20 2021-08-31 淮阴工学院 一种基于无人机的光伏电站识别方法及系统
CN113326752B (zh) * 2021-05-20 2024-04-30 淮阴工学院 一种基于无人机的光伏电站识别方法及系统
CN114002228A (zh) * 2021-11-05 2022-02-01 华能国际电力股份有限公司上海石洞口第二电厂 基于图像识别的皮带裂缝检测方法
CN114326807A (zh) * 2021-12-29 2022-04-12 宁夏超高压电力工程有限公司 无人机变电站巡检方法、系统和可读存储介质
CN114879217A (zh) * 2022-07-12 2022-08-09 中国工程物理研究院应用电子学研究所 一种目标位姿的判断方法及系统
CN117029782A (zh) * 2023-07-25 2023-11-10 无锡建设监理咨询有限公司 基于无人机排查市政道路给排水施工的方法、系统及装置
CN117612047A (zh) * 2024-01-23 2024-02-27 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法
CN117612047B (zh) * 2024-01-23 2024-04-12 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法

Also Published As

Publication number Publication date
CN112180955B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN112180955B (zh) 自动巡检无人机的基于视觉反馈的二次复查方法和系统
CN109118585B (zh) 一种满足时空一致性的建筑物三维场景采集的虚拟复眼相机系统及其工作方法
CN108053473A (zh) 一种室内三维模型数据的处理方法
CN111512256A (zh) 自动和自适应的三维机器人现场勘测
CN110243381B (zh) 一种陆空机器人协同感知监测方法
CN113031633A (zh) 一种无人机的降落方法、装置、无人机及介质
WO2022027596A1 (zh) 可移动平台的控制方法、装置、计算机可读存储介质
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN113296537A (zh) 基于电力杆塔模型匹配的电力无人机巡检方法及系统
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN110187720A (zh) 无人机导引方法、装置、系统、介质及电子设备
CN110376605A (zh) 地图构建方法、导航方法和装置
CN115629617A (zh) 一种无人机塔杆巡检航线自动规划方法
CN115580708A (zh) 一种光缆线路无人机巡检的方法
JP6725736B1 (ja) 画像特定システムおよび画像特定方法
CN114137997B (zh) 一种电力巡检方法、装置、设备及存储介质
CN116469142A (zh) 目标定位与识别方法、设备及可读存储介质
CN116301046A (zh) 一种基于电力杆塔识别的无人机航拍安全距离自动定位方法
CN115793690A (zh) 一种无人机室内巡检方法、系统和设备
CN113987246A (zh) 无人机巡检的图片自动命名方法、装置、介质和电子设备
CN116543322B (zh) 一种基于社区安全隐患的物业智能巡检方法
CN115686073B (zh) 一种基于无人机的输电线路巡检控制方法及系统
WO2021146973A1 (zh) 无人机返航的控制方法、设备、可移动平台和存储介质
CN115793716B (zh) 用于无人机航线自动优化方法及系统
CN115297303B (zh) 适用于电网输变电设备的图像数据采集处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant