CN110908401A - 一种针对未知杆塔结构的无人机自主巡检方法 - Google Patents

Abstract

本发明公开了一种针对未知杆塔结构的无人机自主巡检方法，包括以下步骤：S1.获取未知杆塔结构上对巡检点拍摄的图像以及相应的数据；S2.根据获得的数据计算未知杆塔结构上的巡检点坐标；S3.通过巡检点和巡航点之间的位置约束确定巡航点信息；S4.通过图像处理调整巡检点在图像上的位置和相机的位姿以此优化巡航点信息；S5.生成包括所有巡航点的自主巡检航线。本发明使得在巡航点拍摄的图像中巡检点位置处于中央位置，极大的方便了后续人工对巡检点上缺陷的检查，降低了航迹误差，提升了后续自主巡检任务的效率。

Description

一种针对未知杆塔结构的无人机自主巡检方法

技术领域

本发明涉及无人机巡检，特别是涉及一种针对未知杆塔结构的无人机自主巡检方法。

背景技术

近年来，伴随着无人机的兴起衍生出了许多改变各类行业的应用,其中利用无人机对电力杆塔进行巡检极大的提高了巡检效率。目前电力杆塔的无人机巡检方式分为手动和自主巡检方式，现在大部分巡检方式还是手动巡检，手动巡检是以人工操纵无人机巡检为主，对每一个杆塔的巡检需要巡检人员控制无人机逐一对每一个杆塔关键点拍照进行缺陷检查，但受困于恶劣的地形地貌和气候环境影响，人工巡检的效率低且存在极大的安全隐患，所以现在自主巡检渐渐成为主流。

自主巡检目前主要有这几种方法，一种是手动操控无人机对杆塔巡检的飞行路线以及拍照时相机的姿态记录下来，进而生成可以重复巡检的自主航迹。但是如果需要增加/减少杆塔上的若干巡检点，则又需要手动操纵无人机记录一遍，这样效率就很低了，而且如果有一处记录的数据误差较大，会导致生成的自主航迹整体的误差都会偏大。

另一种是利用激光雷达对目标杆塔进行三维建模，然后在生成的点云数据中标注出杆塔上的巡检点获取其三维位置信息，然后通过相应的算法生成自主巡检航迹。因为需要对杆塔进行三维建模，所以需要采集大量的数据，并进行大量的计算，而根据采集、计算的数据建立的三维模型仅仅只需要获取里面的几个巡检点位置，所以这种方式极大的浪费了人力物力，非常耗时，效率低。

还一种方式是利用杆塔的几何结构，通过算法计算出杆塔上某一个巡检点坐标后，再通过几何测量的方式将其它杆塔上需要巡检的点坐标计算出来，且还可以通过已知杆塔的三维结构优化所有巡检点的坐标，虽然这种方式效率高、精度高，但是这种方式明显存在一些缺陷，一旦未知杆塔的几何结构便不可计算了，因为不能根据几何结构优化坐标，所以单独根据算法计算的坐标误差就会不稳定，最后生成的航迹也就可能误差比较大。

发明内容

本发明的目的在于克服现有技术的不足，提供一种针对未知杆塔结构的无人机自主巡检方法，使得在巡航点拍摄的图像中巡检点位置处于中央位置，极大的方便了后续人工对巡检点上缺陷的检查，降低了航迹误差。

本发明的目的是通过以下技术方案来实现的：一种针对未知杆塔结构的无人机自主巡检方法，包括以下步骤：

S1.获取未知杆塔结构上对巡检点拍摄的图像以及相应的数据；

S2.根据获得的数据计算未知杆塔结构上的巡检点坐标；

S3.通过巡检点和巡航点之间的位置约束确定巡航点信息；

S4.通过图像处理调整巡检点在图像上的位置和相机的位姿以此优化巡航点信息；

S5.生成包括所有巡航点的自主巡检航线。

进一步地，所述步骤S1包括：

利用无人机对未知杆塔上巡检点进行图像采集,每个巡检点需要采集二张以上角度不同的图像，在对巡检点拍摄图像时记录此时相机的位置t(x,y,z)和姿态(φ,θ,ψ)，其中，φ,θ,ψ分别为相机的滚转角、俯仰角和偏航角，φ、θ、

进一步地，所述步骤S2包括：

S201.对于每一张拍摄的图像，获取图像中巡检点在图像中的像素坐标；

S202.根据相机成像原理，计算巡检点的三维坐标；

所述步骤S201中，通过对图像中的巡检点进行标注获取像素坐标。

所述步骤S202包括：

对于每一巡检点，首先计算其在相机坐标系下巡检点的归一化坐标P_c：

P_c＝K^-1Z_cP_uv；

其中，K为相机内参，Z_c为相机坐标系下拍摄点距离巡检点之间的深度，P_uv为图像上巡检点像素坐标；

然后计算巡检点的三维坐标P_w：

P_w＝R·P_c+t；

其中，R是相机坐标系到大地坐标系的旋转矩阵，t为拍摄图像时相机的坐标位置。

进一步地，所述步骤S3中，巡检点和巡航点之间的位置约束表示巡航点和巡检点之间的位置关系，巡检点坐标结合实际巡检需求进行预先设置，属于已知的预设置条件，每对巡航点和巡检点之间的位置约束都是相同的，便于快速确定对应的巡航点信息；所述的巡航点信息包括巡航点坐标以及无人机相机拍照时相机的姿态；其中巡检点指的是电力杆塔上需要巡检的目标点，巡航点是无人机拍照时的位置。

进一步地，所述步骤S4包括：

S401.通过图像处理获取预拍摄图像上的巡检点像素坐标，其中图像处理是指通过图像识别中特征提取的方式获取图像上巡检点像素坐标，预拍摄是指在调整图像上巡检点位置前进行的一次图像拍摄，具体地：

在成像平面上，u轴向右，v轴向下；在巡检点所在平面上，x轴向右与成像平面中u轴平行，y轴向下与成像平面中v轴平行，z轴垂直成像平面和巡检点所在平面向前；

设P_uv是预拍摄时图像中巡检点像素坐标，P_o为图像中央位置的像素坐标；P_w、O则分别是P_uv、P_o在巡检点所在平面的实际位置；P是O与P_w沿巡检点所在平面坐标系的x轴与y轴相交点，其中OP与P_wP垂直，垂足为P；t是巡航点位置，也就是相机拍照时的三维坐标；u'是P_uv与P_o沿u轴方向之间的差值对应的实际距离，v'是P_uv与P_o沿v轴方向之间的差值对应的实际距离；D为P_w与t之间的长度；d为P与t之间的长度；Z_c为巡航点t到巡检点所在平面的垂直距离，也就是O与t之间的长度；

利用巡检点坐标P_w、此时巡航点位置t、旋转矩阵R、图像识别出的巡检点像素坐标P_uv、图像中央像素坐标P_o以及相机内参K已知信息来计算u'和v'，具体计算如下：

P_uv＝Z_c ^-1·K·P_c (1)

P_c＝R^-1(P_w-t) (2)

由(1)、(2)可计算出Z_c的值，然后由

其中u、v为P_uv和P_o之间的差值，f_x是由αf合并、f_y是由βf合并，f为相机焦距；α,β是像素坐标在u、v坐标轴上缩放倍数，[c_x,c_y]^T是图像原点的平移量；利用(3)、(4)就可计算出u'和v'；

S402.计算巡航点所在位置t的相机云台调整的姿态角，使得巡检点位置保持在所拍摄图像的中央位置,此处滚转角始终为0，不考虑，故所述的姿态角包括偏航角ψ和俯仰角θ，具体计算如下：

因为tO垂直OP，所以由勾股定理

计算得到偏航角ψ的值；

由

得P与t之间的长度d，然后由已知的v'和D，根据余弦定理:

计算得到俯仰角θ的值。

本发明的有益效果是：本发明使得在巡航点拍摄的图像中巡检点位置处于中央位置，极大的方便了后续人工对巡检点上缺陷的检查，降低了航迹误差，提升了后续自主巡检任务的效率。

附图说明

图1为本发明的方法流程图；

图2为实施例中巡检点与巡航点的位置关系示意图；

图3为实施例中巡航点信息的优化原理图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种针对未知杆塔结构的无人机自主巡检方法，包括以下步骤：

S1.获取未知杆塔结构上对巡检点拍摄的图像以及相应的数据；

S2.根据获得的数据计算未知杆塔结构上的巡检点坐标；

S3.通过巡检点和巡航点之间的位置约束确定巡航点信息；

S4.通过图像处理调整巡检点在图像上的位置和相机的位姿以此优化巡航点信息；

S5.生成包括所有巡航点的自主巡检航线，按照航线进行无人机自主巡检。

进一步地，所述步骤S1包括：

利用无人机对未知杆塔上巡检点进行图像采集,每个巡检点需要采集二张以上角度不同的图像，在对巡检点拍摄图像时记录此时相机的位置t(x,y,z)和姿态(φ,θ,ψ)，其中，φ,θ,ψ分别为相机的滚转角、俯仰角和偏航角，φ、θ、

进一步地，所述步骤S2包括：

S201.对于每一张拍摄的图像，获取图像中巡检点在图像中的像素坐标；

S202.根据相机成像原理，计算巡检点的三维坐标；

所述步骤S201中，通过对图像中的巡检点进行标注获取像素坐标。

所述步骤S202包括：

对于每一巡检点，首先计算其在相机坐标系下巡检点的归一化坐标P_c：

P_c＝K^-1Z_cP_uv；

其中，K为相机内参，Z_c为相机坐标系下拍摄点距离巡检点之间的深度，P_uv为图像上巡检点像素坐标；

然后计算巡检点的三维坐标P_w：

P_w＝R·P_c+t；

其中，R是相机坐标系到大地坐标系的旋转矩阵，t为拍摄图像时相机的坐标位置。

进一步地，所述步骤S3中，巡检点和巡航点之间的位置约束表示巡航点和巡检点之间的位置关系，巡检点坐标结合实际巡检需求进行预先设置，属于已知的预设置条件，每对巡航点和巡检点之间的位置约束都是相同的，便于快速确定对应的巡航点信息；所述的巡航点信息包括巡航点坐标以及无人机相机拍照时相机的姿态；其中巡检点指的是电力杆塔上需要巡检的目标点，巡航点是无人机拍照时的位置。如图2所示，为本申请实施例的一种巡航点和巡检点之间的位置关系示意图；图中A、B、C、D、E、F是杆塔上巡检点坐标，对应的巡航点坐标为A'、B'、C'、D'、E'、F'。根据实际巡检需求，可以调整预设的位置关系，相应地，图2中巡航点位置也会相应改变。

考虑到上述根据相机成像原理计算的巡检点坐标以及根据位置约束条件确定的巡航点信息都存在一定的误差，后续无人机巡检时在巡航点拍摄的图像中巡检点位置可能不在图像的中央部分，会导致图像上获取的巡检目标信息部分缺失，由此可能判断不出该杆塔位置是否存在缺陷，所以需要调整巡检点处于所拍图像的中间位置，具体地：

所述步骤S4包括：

S401.通过图像处理获取预拍摄图像上的巡检点像素坐标，其中图像处理是指通过图像识别中特征提取的方式获取图像上巡检点像素坐标，预拍摄是指在调整图像上巡检点位置前进行的一次图像拍摄，具体地，如图3所示，在成像平面上，u轴向右，v轴向下；在巡检点所在平面上，x轴向右与成像平面中u轴平行，y轴向下与成像平面中v轴平行，z轴垂直成像平面和巡检点所在平面向前；

设P_uv是预拍摄时图像中巡检点像素坐标，P_o为图像中央位置的像素坐标；P_w、O则分别是P_uv、P_o在巡检点所在平面的实际位置；P是O与P_w沿巡检点所在平面坐标系的x轴与y轴相交点，其中OP与P_wP垂直，垂足为P；t是巡航点位置，也就是相机拍照时的三维坐标；u'是P_uv与P_o沿u轴方向之间的差值对应的实际距离，v'是P_uv与P_o沿v轴方向之间的差值对应的实际距离；D为P_w与t之间的长度；d为P与t之间的长度；Z_c为巡航点t到巡检点所在平面的垂直距离，也就是O与t之间的长度；

利用巡检点坐标P_w、此时巡航点位置t、旋转矩阵R、图像识别出的巡检点像素坐标P_uv、图像中央像素坐标P_o以及相机内参K已知信息来计算u'和v'，具体计算如下：

P_uv＝Z_c ^-1·K·P_c (1)

P_c＝R^-1(P_w-t) (2)

由(1)、(2)可计算出Z_c的值，然后由

其中u、v为P_uv和P_o之间的差值，f_x是由αf合并、f_y是由βf合并，f为相机焦距；α,β是像素坐标在u、v坐标轴上缩放倍数，[c_x,c_y]^T是图像原点的平移量；利用(3)、(4)就可计算出u'和v'；

S402.计算巡航点所在位置t的相机云台调整的姿态角，使得巡检点位置保持在所拍摄图像的中央位置,此处滚转角始终为0，不考虑，故所述的姿态角包括偏航角ψ和俯仰角θ，具体计算如下：

因为tO垂直OP，所以由勾股定理

计算得到偏航角ψ的值；

由

得P与t之间的长度d，然后由已知的v'和D，根据余弦定理:

计算得到俯仰角θ的值。

通过步骤S401～S402优化巡航点信息，能够使得在巡航点拍摄的图像中巡检点位置处于中央位置，这也就保证了对杆塔缺陷检查时采集得图像信息足够完整，便于进行缺陷判断然后对杆塔上确定的所有巡航点信息进行优化，最后生成包含这些巡航点的自主巡检航线。极大的方便了后续人工对巡检点上缺陷的检查，降低了航迹误差，提升了后续自主巡检任务的效率。

以上所述是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应该看作是对其他实施例的排除，而可用于其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种针对未知杆塔结构的无人机自主巡检方法，其特征在于：包括以下步骤：

S1.获取未知杆塔结构上对巡检点拍摄的图像以及相应的数据；

S2.根据获得的数据计算未知杆塔结构上的巡检点坐标；

S3.通过巡检点和巡航点之间的位置约束确定巡航点信息；

S4.通过图像处理调整巡检点在图像上的位置和相机的位姿以此优化巡航点信息；

S5.生成包括所有巡航点的自主巡检航线。

2.根据权利要求1所述的一种针对未知杆塔结构的无人机自主巡检方法，其特征在于：所述步骤S1包括：

利用无人机对未知杆塔上巡检点进行图像采集,每个巡检点需要采集二张以上角度不同的图像，在对巡检点拍摄图像时记录此时相机的位置t(x,y,z)和姿态(φ,θ,ψ)，其中，φ,θ,ψ分别为相机的滚转角、俯仰角和偏航角，φ、θ、

3.根据权利要求1所述的一种针对未知杆塔结构的无人机自主巡检方法，其特征在于：所述步骤S2包括：

S201.对于每一张拍摄的图像，获取图像中巡检点在图像中的像素坐标；

S202.根据相机成像原理，计算巡检点的三维坐标。

4.根据权利要求3所述的一种针对未知杆塔结构的无人机自主巡检方法，其特征在于：所述步骤S201中，通过对图像中的巡检点进行标注获取像素坐标。

5.根据权利要求3所述的一种针对未知杆塔结构的无人机自主巡检方法，其特征在于：所述步骤S202包括：

对于每一巡检点，首先计算其在相机坐标系下巡检点的归一化坐标P_c：

P_c＝K^-1Z_cP_uv；

其中，K为相机内参，Z_c为相机坐标系下拍摄点距离巡检点之间的深度，P_uv为图像上巡检点像素坐标；

然后计算巡检点的三维坐标P_w：

P_w＝R·P_c+t；

其中，R是相机坐标系到大地坐标系的旋转矩阵，t为拍摄图像时相机的坐标位置。

6.根据权利要求1所述的一种针对未知杆塔结构的无人机自主巡检方法，其特征在于：所述步骤S3中，巡检点和巡航点之间的位置约束表示巡航点和巡检点之间的位置关系，巡检点坐标结合实际巡检需求进行预先设置，属于已知的预设置条件，每对巡航点和巡检点之间的位置约束都是相同的，便于快速确定对应的巡航点信息；所述的巡航点信息包括巡航点坐标以及无人机相机拍照时相机的姿态；其中巡检点指的是电力杆塔上需要巡检的目标点，巡航点是无人机拍照时的位置。

7.根据权利要求1所述的一种针对未知杆塔结构的无人机自主巡检方法，其特征在于：所述步骤S4包括：

S401.通过图像处理获取预拍摄图像上的巡检点像素坐标，其中图像处理是指通过图像识别中特征提取的方式获取图像上巡检点像素坐标，预拍摄是指在调整图像上巡检点位置前进行的一次图像拍摄，具体地：

在成像平面上，u轴向右，v轴向下；在巡检点所在平面上，x轴向右与成像平面中u轴平行，y轴向下与成像平面中v轴平行，z轴垂直成像平面和巡检点所在平面向前；

设P_uv是预拍摄时图像中巡检点像素坐标，P_o为图像中央位置的像素坐标；P_w、O则分别是P_uv、P_o在巡检点所在平面的实际位置；P是O与P_w沿巡检点所在平面坐标系的x轴与y轴相交点，其中OP与P_wP垂直，垂足为P；t是巡航点位置，也就是相机拍照时的三维坐标；u'是P_uv与P_o沿u轴方向之间的差值对应的实际距离，v'是P_uv与P_o沿v轴方向之间的差值对应的实际距离；D为P_w与t之间的长度；d为P与t之间的长度；Z_c为巡航点t到巡检点所在平面的垂直距离，也就是O与t之间的长度；

利用巡检点坐标P_w、此时巡航点位置t、旋转矩阵R、图像识别出的巡检点像素坐标P_uv、图像中央像素坐标P_o以及相机内参K已知信息来计算u'和v'，具体计算如下：

P_uv＝Z_c ^-1·K·P_c (1)

P_c＝R^-1(P_w-t) (2)

由(1)、(2)计算出Z_c的值，然后由

其中u、v为P_uv和P_o之间的差值，f_x是由αf合并、f_y是由βf合并，f为相机焦距；α,β是像素坐标在u、v坐标轴上缩放倍数，[c_x,c_y]^T是图像原点的平移量；利用(3)、(4)计算出u'和v'；

S402.计算巡航点所在位置t的相机云台调整的姿态角，使得巡检点位置保持在所拍摄图像的中央位置,此处滚转角始终为0，不考虑，故所述的姿态角包括偏航角ψ和俯仰角θ，具体计算如下：

因为tO垂直OP，所以由勾股定理

计算得到偏航角ψ的值；

由

得P与t之间的长度d，然后由已知的v'和D，根据余弦定理：

计算得到俯仰角θ的值。

Images