CN114281100B - 一种不悬停无人机巡检系统及其方法 - Google Patents

Abstract

本发明提供了一种不悬停无人机巡检系统及其方法，系统包括无人机本体，无人机本体上设置有云台，所述云台上设置有用于获取图像信息的图像采集模块；无人机本体还设置有定位模块，用于获取无人机本体的三维坐标信息；还包括处理模块，用于拟合无人机的飞控数据，结合定位模块的信息和图像采集模块的信息，下发飞控命令控制无人机飞行，控制云台调整图像采集模块的拍摄角度和焦距，锁定杆塔检视点并拍照；当杆塔检视点不位于图像采集模块采集图像的设定区域时，基于视觉移动跟踪方式来控制云台转动，并根据杆塔检视点在图像中的位置确定云台的转动方向。本发明实现不悬停自主巡检及图像信息采集，不需要人工参与，节省了无人机电量。

Description

一种不悬停无人机巡检系统及其方法

技术领域

本发明属于无人机巡检技术领域，具体涉及一种不悬停无人机巡检系统及其方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在使用无人机进行输电线路巡检工作时，往往需要对输电线路杆塔关键部位检视点进行拍照。目前主要有两种工作方式，一是运维人员依靠地面站遥控无人机摄像系统对杆塔的关键部位一一拍照，耗费大量的人力物力，尤其当杆塔数量较多时，人力难以胜任。还有一种工作方式是提前规划好无人机的航迹和巡检点，无人机顺序到达巡检点制动并悬停，进行定点拍照后再加速前往下一个巡检点，此种方式较第一种方式节省人力，但无人机制动、悬停和加速对电池电量消耗很大。

现有的基于视觉无人机巡检方法中，国电南瑞科技股份有限公司提出的基于杆塔模型匹配及视觉导航的电力无人机及巡检方法(申请公布号：CN 110133440 A)虽然设计双目视觉传感器采集无人机前端的深度图像，进而测量无人机与前方对象的距离，通过云台及摄像头采集周边图像，进而识别对象，通过无人机飞控控制无人机的飞行姿态，但是这一专利是利用双目视觉实现悬停定位测距功能，依旧无法实现不悬停自主巡检。

发明内容

本发明为了解决上述问题，提出了一种不悬停无人机巡检系统及其方法，本发明在无人机的进入巡检点和离开巡检点之间飞行过程中，无人机始终按照设定航迹飞行，通过卡尔曼滤波算法拟合当前位置和速度数据实时调整云台姿态和相机变焦实现相机对杆塔检视点的移动追踪和锁定拍摄，实现不悬停自主巡检及图像信息采集，不需要人工参与，节省了无人机电量，还大大提高了单次飞行巡检的杆塔数量。

根据一些实施例，本发明采用如下技术方案：

一种不悬停无人机巡检系统，包括无人机本体，所述无人机本体上设置有云台，所述云台上设置有用于获取图像信息的图像采集模块；

所述无人机本体还设置有定位模块，用于获取无人机本体的三维坐标信息；

还包括处理模块，用于拟合无人机的飞控数据，结合定位模块的信息和图像采集模块的信息，下发飞控命令控制无人机飞行，控制云台的姿态，调整图像采集模块的拍摄角度和焦距，以锁定杆塔检视点并拍照；当杆塔检视点不位于图像采集模块采集图像的设定区域时，基于视觉移动跟踪方式来控制云台转动，并根据杆塔检视点在图像中的位置确定云台的转动方向。

作为可选择的实施方式，所述云台上还设置有视频采集模块。

作为可选择的实施方式，所述图像采集模块为单目可变焦相机。

作为可选择的实施方式，所述定位模块为RTK定位模块。

作为可选择的实施方式，所述处理模块为前端AI处理模块。

作为可选择的实施方式，所述云台为三轴云台。

基于上述巡检系统的作业方法，包括以下步骤：

步骤(1)：依据巡检要求，无人机匀速进入检测点前采用云台上的图像采集模块获取杆塔检视点实时广角图像；

步骤(2)：判断杆塔检视点是否位于拍摄获取的实时图像中，若是，则进入步骤(3)；否则，控制云台运动，改变姿态，直到搜寻到实时图像中杆塔检视点；

步骤(3)：处理模块根据实时图像中杆塔检视点位置，无人机拍摄位置和云台姿态的信息，拟合出无人机拍摄位置和云台姿态位置，确定图像采集模块的焦距模式；

步骤(4)：控制无人机匀速飞行至计算得到的拍摄位置，在飞行过程中，处理模块依据无人机匀速飞行三维方向，实时反向调整云台的姿态，以达到图像采集模块实时图像的设定区域锁定杆塔检视点，并调整图像采集模块的焦距模式；

步骤(5)：无人机到达拍摄位置，确认杆塔检视点位置在图像采集模块实时图像的设定区域，并锁定检视点进行图像采集；

步骤(6)：处理模块处理采集的图片，控制无人机执行下一个检测点任务，重新执行步骤(1)，直到完成所有检测点图像采集任务。

作为可选择的实施方式，所述步骤(2)中，判断杆塔检视点是否位于拍摄获取的实时图像中的具体过程包括：采用Faster-RCNN算法将图片输入CNN，进行特征提取；然后判断图片中是否存在杆塔检视点目标。

作为可选择的实施方式，所述步骤(2)中，控制云台运动，改变姿态时，控制云台以一定角度为间隔进行圆周运动。

作为可选择的实施方式，所述步骤(3)中，拍摄位置为相应杆塔检视点正前方正面方向。

作为可选择的实施方式，所述步骤(3)中，采用卡尔曼滤波算法拟合出无人机拍摄位置和云台姿态位置。

计算云台姿态位置的具体过程包括：

步骤(3.1)：根据图像中检视点目标物体的位置决定云台的转动方向，云台的转动方向为使得杆塔向图像中心偏移的方向；先将云台转动最小单位，获取当前位置处的杆塔图像，并提取其特征；

步骤(3.2)：匹配前后两张图片特征，并计算其匹配点在像素点的偏移量；

步骤(3.3)：根据特征偏移量与云台转动量之间的线性映射关系，得到云台转动量；

步骤(3.4)：按照转动量调整云台姿态。

作为可选择的实施方式，所述步骤(4)中，实时反向调整云台的姿态，以达到图像采集模块实时图像的设定区域锁定杆塔检视点的方法包括：通过无人机和云台运行矢量相对关系，对云台上图像采集模块的运动姿态先进行粗调，再通过图像采集模块的图像捕获对比识别算法对云台姿态进一步微调，最终保证杆塔检视点始终位于图像采集模块的图像中央。

作为进一步的限定，具体过程包括：

步骤(4.1)：根据无人机位置信息和加速度信息计算出当前无人机位置和即将运动三维矢量方向P；

步骤(4.2)：调整云台图像采集模块的运行矢量刚好与无人机的运动矢量大小相等，方向相反；

步骤(4.3)：计算当前时刻图像采集模块中央目标物在像素上的偏移量，如果无偏移量即认为云台图像采集模块移动追踪杆塔检视点目标物体是相对静止状态，否则进入下一步；

步骤(4.4)：根据图像中央像素特征偏移量与云台转动量之间的线性映射关系，得到云台转动量，然后对云台图像采集模块的位置进行微调，重新将云台图像采集模块中央锁定检视点目标物体。

与现有技术相比，本发明的有益效果为：

(1)本发明创新性提供了一种视觉移动跟踪不悬停的无人机巡检系统，利用视觉变焦广角相机在接近检测点的飞行过程中拍摄照片，计算拍摄照片的坐标值(GPS值)和云台的姿态，通过相机成像原理识别出照片中的杆塔检视点；依据当前无人机GPS位置和三维速度和云台的姿态的的滚转角、俯仰角和偏航角通过卡尔曼滤波算法调整无人机云台的位置，将变焦相机通过变焦锁定到杆塔目标检视点；最后进行拍照以完成对杆塔目标检视点的信息采集，从而提高杆塔检视点信息采集的准确性和采集图像的质量。

(2)本发明创新性提出一种视觉移动跟踪不悬停的无人机巡检方法，在无人机的进入巡检点和离开巡检点之间飞行过程中，无人机始终按照设定航迹飞行，通过卡尔曼滤波算法拟合当前位置和速度数据实时调整云台姿态和相机变焦实现相机对杆塔检视点的移动追踪和锁定拍摄，实现了在无人机不悬停巡检过程中对杆塔检视点图像的自动采集，大大的降低了巡检人员的劳动强度，而且本发明采用反向移动追踪方法通过动态调整无人机和云台相机姿态实现与杆塔检视点目标物的相对静止；

(3)本发明的采用不悬停巡检方法，大大节省了无人机电量和单次飞行的工作量；本发明的杆塔检视点目标物的获取是基于单目相机完成，结构简单，成本较低。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是云台相机三轴示意图；

图2是杆塔巡检顺序示意图；

图3是基于视觉移动跟踪不悬停无人机自主巡检方法流程图；

图4是无人机巡检系统框架图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一：

一种基于视觉移动跟踪不悬停的无人机巡检系统，如图4所示，包括：

无人机，所述无人机上载有三轴云台，如图1所示，三轴云台上安装相机和摄像机；所述相机为单目可变焦相机；所述摄像机用于获取杆塔的视频信息；其中，相机与摄像机集成在一个镜头。

RTK定位模块，用于定位无人机三维坐标信息；

前端AI处理模块，用于拟合无人机飞控数据，RTK定位模块数据，和变焦相机采集图像，下发飞控命令控制无人机飞行，控制云台调整相机角度和变焦，锁定杆塔检视点并拍照；利用视觉变焦广角相机在接近悬停点的飞行过程中拍摄照片，计算拍摄照片的坐标值(GPS值)和云台的姿态，通过相机成像原理识别出照片中的杆塔检视点；依据当前无人机GPS位置和三维速度和云台的姿态的滚转角、俯仰角和偏航角通过卡尔曼滤波算法调整无人机云台的位置，将变焦相机通过变焦锁定到杆塔目标检视点；最后进行拍照以完成对杆塔目标检视点的信息采集，从而提高杆塔检视点信息采集的准确性和采集图像的质量。

当杆塔检视点不位于相机图像的中央位置时，采用基于视觉移动跟踪方式来控制云台转动，通过杆塔检视点在图像中的位置确定云台的转动方向。

在无人机的进入巡检点和离开巡检点之间飞行过程中，无人机始终按照设定航迹飞行，通过卡尔曼滤波算法拟合当前位置和速度数据实时调整云台姿态和相机变焦实现相机对杆塔检视点的移动追踪和锁定拍摄。

在采用基于视觉移动跟踪方式来控制云台转动时，云台有m个自由度，云台转动的角速度为w＝[w₁,...,w_m]，末端的线速度为v＝[v₁,...,v_m]，两者具有如下关系：

v＝J_v×w

其中：

计算大地坐标系转换到相机坐标系的旋转矩阵R_cw：

其中下标cw代表大地坐标系转换到相机坐标系的简称，R_cwx(φ)、R_cwy(θ)、R_cwz(ψ)代表从相机坐标系到大地坐标系需要绕着x、y、z轴旋转的矩阵，φ、θ、分别为相机云台姿态的翻滚角、俯仰角和偏航角，根据相机的初始朝向，还需左乘一个初始旋转R_cw0，此时：

R_cw＝R_cw0×(R_cwx(φ)×R_cwy(θ)×R_cwz(ψ))，式中

实施例二：

如图3所示，基于视觉移动跟踪的无人机巡检系统的作业方法，包括：

步骤(1)：依据巡检要求，无人机匀速进入检测点前采用云台上的单目变焦(长焦模式)相机获取杆塔检视点实时广角图像，并进入下一步；

各检测点的检测顺序根据巡检任务确认，在本实施例中，以图2为例。

步骤(2)：判断杆塔检视点是否位于拍摄获取的实时图像中，若是，则进入步骤(4)；否则，“O”形控制云台姿态搜寻实时图像中杆塔检视点，搜寻到后进入下一步即步骤(3)；

步骤(3)：前端AI处理模块根据实时图像中杆塔检视点位置，无人机拍摄位置，三轴云台姿态等信息采用卡尔曼滤波目标跟踪算法拟合出需要调整的无人机拍摄位置和云台姿态位置以及相机焦距模式，重新转入执行步骤(2)；卡尔曼滤波目标跟踪算法是将前一时刻对当前时刻目标状态的估计值和当前时刻的观测数据来得到当前时刻的最优估计值，再对下一时刻的运动状态进行预测，以此循环，达到及时准确跟踪目标的效果。

步骤(4)：无人机匀速到达检测点前过程中，调整云台上的单目变焦(近焦模式)相机，前端AI处理模块依据无人机匀速飞行三维方向，实时反向调整三轴云台的姿态，以达到单目变焦相机实时图像的中央位置锁定杆塔检视点，并进入下一步；

步骤(5)：无人机到达检测点位置，即杆塔检视点正前方正面方向，确认单目变焦相机实时图像的中央位置锁定检视点并拍照，并进入下一步；

步骤(6)：相机拍摄完成，前端AI处理模块处理照片，控制无人机执行下一个检测点任务，重新执行步骤(1)，直到完成所有检测点拍摄并安全返航；

在本实施例中，所述步骤(2)的具体过程为：

采用Faster-RCNN算法将图片输入CNN，进行特征提取；然后判断图片中是否存在杆塔检视点目标。

在本实施例中，所述步骤(3)的具体过程为：

该步骤是假设通过步骤2已经识别到图像中存在杆塔检视点目标物体；

步骤(3.1)：根据图像中检视点目标物体的位置决定云台的转动方向，云台的转动方向为使得杆塔向图像中心偏移的方向；先将云台转动最小单位，获取当前位置处的杆塔图像，并提取其特征；

步骤(3.2)：匹配前后两张图片特征，并计算其匹配点在像素点的偏移量；

步骤(3.3)：根据特征偏移量与云台转动量之间的线性映射关系，得到云台转动量。

步骤(3.4)：按照转动量调整云台姿态，重新执行步骤2。

进一步地，所述步骤(4)的具体过程为：

假设初始状态即步骤3中所述，已经将杆塔检视点目标位于相机图像中央位置；

步骤(4.1)：通过无人机上RTK和加速度计计算出当前无人机位置和即将运动三维矢量方向P；

步骤(4.2)：调整云台相机的运行矢量刚好与无人机的运动矢量大小相等，方向相反；

步骤(4.3)：按照步骤2所述方法，计算当前时刻相机中央目标物在像素上的偏移量，如果无偏移量即认为云台相机移动追踪杆塔检视点目标物体是相对静止状态，否则进入下一步；

步骤(4.4)：根据图像中央像素特征偏移量与云台转动量之间的线性映射关系，得到云台转动量，然后对云台相机进行微调，重新将云台相机中央锁定检视点目标物体。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，本领域技术人员不需要付出创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种不悬停无人机巡检系统的作业方法，其特征是：基于一种不悬停无人机巡检系统，包括无人机本体，所述无人机本体上设置有云台，所述云台上设置有用于获取图像信息的图像采集模块；

所述无人机本体还设置有定位模块，用于获取无人机本体的三维坐标信息；

还包括处理模块，用于拟合无人机的飞控数据，结合定位模块的信息和图像采集模块的信息，下发飞控命令控制无人机飞行，控制云台的姿态，调整图像采集模块的拍摄角度和焦距，以锁定杆塔检视点并拍照；当杆塔检视点不位于图像采集模块采集图像的设定区域时，基于视觉移动跟踪方式来控制云台转动，并根据杆塔检视点在图像中的位置确定云台的转动方向；

作业方法包括以下步骤：

步骤(1)：依据巡检要求，无人机匀速进入检测点前采用云台上的图像采集模块获取杆塔检视点实时广角图像；

步骤(2)：判断杆塔检视点是否位于拍摄获取的实时图像中，若是，则进入步骤(3)；否则，控制云台运动，改变姿态，直到搜寻到实时图像中杆塔检视点；

步骤(3)：处理模块根据实时图像中杆塔检视点位置，无人机拍摄位置，云台姿态的信息，拟合出无人机拍摄位置和云台姿态位置，确定图像采集模块的焦距模式；

步骤(4)：控制无人机匀速飞行至计算得到的拍摄位置，在飞行过程中，处理模块依据无人机匀速飞行三维方向，实时反向调整云台的姿态，以达到图像采集模块实时图像的设定区域锁定杆塔检视点，并调整图像采集模块的焦距模式；

步骤(5)：无人机到达拍摄位置，确认杆塔检视点位置在图像采集模块实时图像的设定区域，并锁定检视点进行图像采集；

步骤(6)：处理模块处理采集的图片，控制无人机执行下一个检测点任务，重新执行步骤(1)，直到完成所有检测点图像采集任务；

所述步骤(3)中，计算云台姿态位置的具体过程包括：

步骤(3.1)：根据图像中检视点目标物体的位置决定云台的转动方向，云台的转动方向为使得杆塔向图像中心偏移的方向；先将云台转动最小单位，获取当前位置处的杆塔图像，并提取其特征；

步骤(3.2)：匹配前后两张图片特征，并计算其匹配点在像素点的偏移量；

步骤(3.3)：根据特征偏移量与云台转动量之间的线性映射关系，得到云台转动量；

步骤(3.4)：按照转动量调整云台姿态。

2.如权利要求1所述的一种不悬停无人机巡检系统的作业方法，其特征是：所述云台上还设置有视频采集模块。

3.如权利要求1所述的一种不悬停无人机巡检系统的作业方法，其特征是：所述图像采集模块为单目可变焦相机。

4.如权利要求1所述的一种不悬停无人机巡检系统的作业方法，其特征是：所述定位模块为RTK定位模块。

5.如权利要求1所述的一种不悬停无人机巡检系统的作业方法，其特征是：所述处理模块为前端AI处理模块。

6.如权利要求1所述的一种不悬停无人机巡检系统的作业方法，其特征是：所述云台为三轴云台。

7.如权利要求1所述的作业方法，其特征是：所述步骤(2)中，判断杆塔检视点是否位于拍摄获取的实时图像中的具体过程包括：采用Faster-RCNN算法将图片输入CNN，进行特征提取；然后判断图片中是否存在杆塔检视点目标。

8.如权利要求1所述的作业方法，其特征是：所述步骤(2)中，控制云台运动，改变姿态时，控制云台以一定角度为间隔进行圆周运动。

9.如权利要求1所述的作业方法，其特征是：所述步骤(3)中，拍摄位置为相应杆塔检视点正前方正面方向。

10.如权利要求1所述的作业方法，其特征是：所述步骤(3)采用卡尔曼滤波算法拟合出无人机拍摄位置和云台姿态位置。

11.如权利要求1所述的作业方法，其特征是：所述步骤(4)中，实时反向调整云台的姿态，以达到图像采集模块实时图像的设定区域锁定杆塔检视点的方法包括：通过无人机和云台运行矢量相对关系，对云台上图像采集模块的运动姿态先进行粗调，再通过图像采集模块的图像捕获对比识别算法对云台姿态进一步微调，最终保证杆塔检视点始终位于图像采集模块的图像中央。

12.如权利要求11所述的作业方法，其特征是：具体过程包括：

步骤(4.1)：根据无人机位置信息和加速度信息计算出当前无人机位置和即将运动三维矢量方向P；

步骤(4.2)：调整云台图像采集模块的运行矢量刚好与无人机的运动矢量大小相等，方向相反；

步骤(4.3)：计算当前时刻图像采集模块中央目标物在像素上的偏移量，如果无偏移量即认为云台图像采集模块移动追踪杆塔检视点目标物体是相对静止状态，否则进入下一步；

步骤(4.4)：根据图像中央像素特征偏移量与云台转动量之间的线性映射关系，得到云台转动量，然后对云台图像采集模块的位置进行微调，重新将云台图像采集模块中央锁定检视点目标物体。