CN115331130A - 基于地理标志物辅助导航的无人机巡检方法和无人机 - Google Patents

Abstract

本发明公开了一种基于地理标志物辅助导航的无人机巡检方法和无人机，该方法主要是通过拍摄预定的照片并进行预处理，得到标准照片，然后基于标准照片进行坐标变换，将标准照片中的像素坐标转化为世界坐标系，并将坐标系转换矩阵预存储在存储单元；对标准照片进行图像识别，查找标准照片中的地理标志物，提取地理标志物的像素，形成标志物像素坐标集合；通过坐标转换矩阵标志物像素坐标集合中的像素转换为世界坐标系，形成地理标志物轨迹线集合；基于地理标志物轨迹线构建无人机巡检航线路径，生成世界坐标系航线，并基于世界坐标系航线进行巡检。本发明大大提高了部分场景下的巡检速度和巡检效率，降低了前期的地理图像预处理工作量。

Description

基于地理标志物辅助导航的无人机巡检方法和无人机

技术领域

本发明属于无人机智能巡检领域，尤其是一种基于地理标志物辅助导航的无人机巡检方法。

背景技术

随着科技的发展，巡检技术已经从人工巡检、机器辅助巡检发展到智能巡检。其中无人机巡检在电力路线、经济林业、地形勘测、农业生产和山林防火等诸多领域中得到了广泛的应用。为了实现定位巡航，目前实际使用的主要是两种技术，具体如下：

第一种是RTK技术，即实时动态载波相位差分定位技术（Real-time kinematic），通过基准站、流动站与GPS、北斗等系统的组合，实现在指定坐标系中的三维定位，一般能够达到厘米级精度。在这种工作模式下，基准站通过数据链将观测值和坐标定位信息一起发送给流动站，流动站通过上述数据和GPS或北斗定位数据进行实时计算和处理，给出结果。在这种工作模式下，需要基准站、流动站和GPS等系统的组合使用，如果出现网络故障或搬运设备不便的问题，则无法进行作业。这种模式一般用于高精定位巡检场景。

第二种是LiDAR（Light Detection And Ranging，激光雷达）结合三维点云技术，形成飞行导航三维地图。在这种工作模式下，需要先对工作区域进行测量，然后通过神经网络进行二维图像处理，生成三维点云，进而形成三维地图，换句话说，是需要将二维图片转换成三维地图，显然拍照和计算的工作量都是相当大的，只能在诸如电力路线等特定的场景下长期使用，切换工作场景则需要大量的前期工作，如果是短时的使用需求，则成本非常高。

另外还有采用高空无人机拍摄图像，进行巡检的方法。这种方法在审批程序和操作上都有较大的难度，因此较少使用。

因此，需要研究新的巡检方法。

发明内容

发明目的：一方面，提供一种基于地理标志物辅助导航的无人机巡检方法，以解决现有技术存在的上述问题。另一方面，提供一种基于上述方法的无人机。

技术方案：基于地理标志物辅助导航的无人机巡检方法，包括如下步骤：

步骤S1、接收控制信息，飞行至预定高度H，拍摄预定张照片；

步骤S2、读取至少两张照片，并通过照片信息和相机信息获得内参矩阵和畸变参数，基于畸变参数去除畸变值超出阈值的畸变区域，得到标准照片；

步骤S3、基于标准照片进行坐标变换，将标准照片中的像素坐标转化为世界坐标系，并将坐标系转换矩阵预存储在存储单元；对标准照片进行图像识别，查找标准照片中的地理标志物，所述地理标志物包括河流、树木和山脊；提取所述地理标志物的像素，形成标志物像素坐标集合；

步骤S4、通过坐标转换矩阵将所述标志物像素坐标集合中的像素转换为世界坐标系，形成地理标志物轨迹线集合；

步骤S5、基于地理标志物轨迹线构建无人机巡检航线路径，生成世界坐标系航线，并基于所述世界坐标系航线进行巡检。

根据本申请的一个方面，所述步骤S1包括：

步骤S11、在待巡检区域选择至少三个巡检点，并根据待巡检区域的地面起伏高度差设定巡检高度范围H1~H2；

步骤S12、无人机到达某一巡检点后，升至巡检高度H0，其中H1≤H0≤H2；拍摄至少一张测试照片，发送给巡检终端；巡检终端对照片质量进行判断，若合格，则无人机继续拍摄若干张有预定重叠区域的照片；

步骤S13、检查各组照片是否能够完全覆盖待巡检区域，若可以覆盖待巡检区域，则结束拍摄。

根据本申请的一个方面，所述步骤S2包括：

步骤S21、读取至少两张照片作为检验照片，同时采集相机的内参矩阵参数和畸变系数，其中畸变系数包括径向畸变系数和切向畸变系数；

步骤S22、采用检验照片做去除畸变测试，先将图像像素坐标转换到相机坐标系，然后基于畸变系数对相机坐标系进行转换，去除畸变，使用原检验照片对去除畸变后的检验照片进行插值，得到最终去畸变检验照片；

步骤S23、判断检验照片是否符合要求，若符合，则以照片中心为原点，以预定距离为边长，截取最终检验图片的中心区域，去除边缘区域，得到标准照片。

根据本申请的一个方面，所述步骤S3包括：

步骤S31、读取各个标准照片，并一一进行坐标转化，首先通过内参矩阵将像素坐标转换为图像坐标，再将图像坐标转换为相机坐标，最后将相机坐标转换为世界坐标；各个转换过程中的坐标变换矩阵存储于存储单元中；

步骤S32、读取各个标准照片，针对每一标准照片，进行图像边缘查找操作：

将标准照片灰度化或者顺次读取各个颜色通道，采用a×a大小的滑动窗口在灰度后的标准照片上滑动，计算滑动窗口中各个像素的差值，该差值与相邻像素的最大值作商，记为像素梯度，其中a为正整数；将标准照片中的所有像素梯度归一化；

步骤S33、去除像素梯度超出阈值的像素，保留像素梯度极值对应的像素，并将各个标准照片合并成区域整体照片；即为地理标志物像素集合。

根据本申请的一个方面，所述步骤S3包括：

步骤S3a、读取各个标准照片，并叠合成待巡检区域整体照片，并进行坐标转换，首先通过内参矩阵将像素坐标转换为图像坐标，再将图像坐标转换为相机坐标，最后将相机坐标转换为世界坐标；各个转换过程中的坐标变换矩阵存储于存储单元中；

步骤S3b、读取区域整体照片并灰度化或者顺次读取区域整体照片各个颜色通道，采用a×a大小的滑动窗口在灰度后的标准照片上滑动，计算滑动窗口中各个像素的差值，该差值与相邻像素的最大值作商，记为像素梯度，其中a为正整数；将标准照片中的所有像素梯度归一化；

步骤S3c、去除像素梯度超出阈值的像素，保留像素梯度极值对应的像素，即为地理标志物像素集合。

根据本申请的一个方面，所述步骤S33中将各个标准照片合并成区域整体照片的过程进一步为：

步骤S33a、依序读取两张相邻的标准照片，获取标准照片中保留像素梯度极值对应的像素坐标，计算两种标准照片中的像素坐标的重叠数量是否大于预设值；若大于，则将两张标准照片拼接成一张照片，直至所有标准照片叠加完成；若小于，进入步骤S33b，

步骤S33b、计算两张标准照片中像素梯度极值对应的像素坐标的欧式距离之和，若小于距离阈值，则各自在两张标准照片上像素梯度极值对应的像素坐标中填充预定数值；

步骤S33c、判断拼接后的整体照片中的像素梯度极值对应的像素坐标分布的面积是否大于区域面积阈值；若大于，输出拼接后的整体照片；

其中，判断像素坐标分布的面积是否大于区域面积阈值的过程包括：

依序读取各个像素坐标，并以像素坐标为中心，以预设距离为半径，将该距离内的像素坐标加入像素坐标集合，若集合中存在相同的坐标，则去除重复值；

计算像素坐标集合中的像素坐标数量，并与拼接后的整体照片中的所有像素坐标数量作商，判断是否超过阈值；若超过阈值，则认为该拼接后的整体照片符合要求。

根据本申请的一个方面，所述步骤S4进一步为：

步骤S41、读取像素梯度极值对应的像素坐标，即地理标志物像素集合，通过坐标转换矩阵，将各个像素坐标转换为世界坐标系，形成像素世界坐标系集合；

步骤S42、基于像素坐标是否连续，将像素世界坐标系中的像素进行分类；

步骤S43、调用预置的拟合数据库，从中选择拟合曲线，对像素世界坐标系集合中已分类的像素坐标数据进行分段拟合，将拟合度大于等于预期值的放入地理标志物轨迹线集合；

步骤S44、若拟合度小于预期值，则绘制覆盖所述地理标志物像素的覆盖面；以覆盖面的中心线作为拟合曲线。

根据本申请的一个方面，所述步骤S5进一步为：

步骤S51、读取每一地理标志物轨迹线，并在该地理标志物轨迹线上每隔预定距离选择一个标记点，在每个标记点处做地理标志物轨迹线的预定长度的垂线端，顺次连接每个垂线段的端点，形成巡检区域边界；

步骤S52、计算各个巡检区域边界所围成的面积，并去掉重复区域，获得巡检区域地图，判断巡检区域地图是否能够覆盖待巡检区域；若可以，则将地理标志物轨迹线和巡检区域边界作为训练数据，作为构建无人机巡检航线路径集合；

步骤S53、采用蚁群算法训练无人机飞行航线，获得世界坐标系航线，并发送存储单元；在飞行时，推送至无人机。

根据本申请的一个方面，还提供一种无人机，包括：

无人机本体，

至少一个处理器，安装于无人机本体中；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项实施例所述的基于地理标志物辅助导航的无人机巡检方法。

有益效果：通过拍摄预定区域的照片，从照片中查找地理标志物，提取边缘曲线并生成导航路径，克服了现有技术需要高精导航辅助设备，或者需要计算三维点云数据的缺陷。本实施例的一些优点将在具体实施方式部分描述。

附图说明

图1是本发明的整体流程图。

图2是本发明实施例步骤S1的实施过程流程图。

图3是本发明实施例步骤S2的实施过程流程图。

图4是本发明实施例步骤S3的实施过程流程图。

图5是本发明实施例步骤S4的实施过程流程图。

图6是本发明实施例步骤S5的实施过程流程图。

具体实施方式

为了解决现有技术存在的问题，申请人进行了深入地研究。在城市里，目前主要基于辅助导航装置和高精度定位数据来实现巡航，例如对城市高层建筑的巡航或者工业区的巡航。在平原地区，目前主要通过定位卫星和辅助基站进行定位导航，对于精度要求不高的场景，例如喷洒农药的场景，可以直接采用卫星提供的定位信号。对于高速公路上的巡航，一般需要在路侧设置辅助定位装置。从目前的技术路线来看，一种路线是借助于高精度的定位信息来实现巡航，一种是通过拍摄图像，然后生成三维点云，形成局部高精度三维地图，这种方式在电力巡航场景下非常常见。

对于一些场景，例如山区经济林或者山区防火巡航，一方面没有办法获取高精度的卫星定位信号，设置辅助导航装置成本也非常高。由于山区树木随季节有一定的变化，同时范围远远大于电力线路的区域。因此如果通过拍照，然后生成高精点云地图的话，工作量非常大，且地图的精度不高，在不同的季节精度不同，导致信息失准。为了解决上述问题，提出如下技术方案。

如图1所示，提供一种基于地理标志物辅助导航的无人机巡检方法，包括如下步骤：

步骤S1、接收控制信息，飞行至预定高度H，拍摄预定张照片。

在首次进行巡航时，首先进行飞行测试，通过拍摄图像，然后对图像进行预处理，然后判断是否符合要求。比如操作人员带着无人机到达指定位置时，首先操控无人机，使之飞翔到预定的高度，然后在若干个点拍摄一定数量的照片，照片之间要存在重叠区域，从而能够为后续的处理提供冗余。一般而言，无人机的高度根据区域的面积以及无人机的最佳拍摄距离计算。如果高度过高，则拍摄的图像可能清晰度不够，无法符合后续图像处理的需求。如果高度太低，则需要拍摄更多的照片，导致无人机的工作时间加长。根据无人机相机的焦距等参数，以及区域的高程等参数，可以计算出无人机工作的相对最佳高度范围。从而为后续的图像处理提供方便，提高工作效率。

步骤S2、读取至少两张照片，并通过照片信息和相机信息获得内参矩阵和畸变参数，基于畸变参数去除畸变值超出阈值的畸变区域，得到标准照片。

由于相机构造和场景的不同，照片会出现一定的畸变，在这种情况下，照片一般都会出现失真，比如圆形区域变成椭圆区域，照片中的图像会发生一定的倾斜或者扭曲。

因此，在获得照片后，需要结合相机的参数，对图像进行校正。一般而言，图像的边缘区域畸变率更高，因此可以根据情况设定畸变系数的阈值，将外周畸变率较高的区域删除。由于在第一步骤中，设定拍摄的照片，已经存在重叠区域，因此在删掉一部分区域之后，还可以保留一部分畸变率较小的、符合图像处理要求的区域。在处理后，即可得到畸变率小于阈值，符合图像处理要求的标准照片。换句话说，标准照片是经过去畸变处理后的图片（照片）。或者说是将原始图像去畸变处理后的图片。标准照片是后续处理的基础，也是巡航路线生成质量的最重要的基础数据。如果标准照片的质量不能符合设定的要求，则后续的巡航路线也会出现问题。去除畸变可以通过裁剪边缘，即设定裁剪半径，将大于该裁剪半径的区域删除。

步骤S3、基于标准照片进行坐标变换，将标准照片中的像素坐标转化为世界坐标系，并将坐标系转换矩阵预存储在存储单元；对标准照片进行图像识别，查找标准照片中的地理标志物，所述地理标志物包括河流、树木和山脊；提取所述地理标志物的像素，形成标志物像素坐标集合。

在该步骤中，需要处理两个核心问题，即将标准照片中的像素坐标转变为世界坐标系，从而为后续的巡航路线优化提供基础数据，另外需要对标准照片进行识别，获取标准照片中的地理标志物的边缘线。换句话说，坐标系的转换是通过转换矩阵实现的，且先将坐标系进行转换，然后再进行图像识别。

一般而言，由于相机的内部参数是固定的，因此可以先通过少数几张标准照片获得内部参数，然后根据坐标变换矩阵将像素坐标一步一步转换为世界坐标，这种转换通过坐标转换矩阵即可，在数学上体现为乘以转换矩阵。通过上述方法得到转换矩阵后，后续的所有标准照片中的像素坐标均可以快速乘以转标矩阵，实现坐标转换。因此在后续查找到地理标志物的边缘线像素坐标后，可以直接将其转换至世界坐标系，然后获取地理标志物的世界坐标数据。地理标志物是本申请场景下的主要处理对象。例如在山间果园进行巡航或者经济林进行巡航，山谷、山脊、河流和树木形成的边缘线是巡航的重要坐标指示，这些标志物也较为稳定，因此在第一次获取相关数据后，生成的巡航路线，在其他季节也能够适用。因此无需昂贵的辅助导航设备，也无需大量的点云地图制作。

步骤S4、通过坐标转换矩阵将所述标志物像素坐标集合中的像素转换为世界坐标系，形成地理标志物轨迹线集合。

在上述步骤中，已经获取了地理标志物的像素坐标，也得到了坐标转换矩阵，因此可以直接将地理标志物像素坐标集合中的像素坐标直接转换到世界坐标系。然后各个标准照片中的像素的世界坐标集合可以形成地理标志物轨迹线集合。需要注意的是，上一步骤中，图像识别是转换坐标系之后进行的，但是采集到的地理标志物的像素仍然是图像的像素坐标，因此需要进行坐标转换。在其他实施例中，技术人员可以根据需要，调整坐标变换的顺序，在一些场景下，可以先进行图像识别，然后再进行坐标系转换。即先识别标准照片中的地理标志物，然后获取相应的像素坐标，在后续步骤中通过转换矩阵进行转换，切换到世界坐标系。

步骤S5、基于地理标志物轨迹线构建无人机巡检航线路径，生成世界坐标系航线，并基于所述世界坐标系航线进行巡检。

在获得地理标志物的轨迹线后，由于这些轨迹线是巡航区域的重要不变量，可以以此为依据设计导航路线，获得世界坐标系航线。在后续的所有飞行中，均可以采用这个航线来进行拍摄巡航。除非极端情况，例如地震滑坡等情况，造成地理标志物发生改变，在其他情况下，可以基于已经获得的导航路径进行巡航。巡检人员每次将无人机带到指定地点，即可按照设定好的巡检路径进行巡检，大大提高了工作效率。

如图2所示，在本申请的另一实施例中，所述步骤S1包括：

步骤S11、在待巡检区域选择至少三个巡检点，并根据待巡检区域的地面起伏高度差设定巡检高度范围H1~H2。

在实际操作过程中，可以根据巡检区域的大小和地面的情况，设定巡检点，以能够覆盖巡检区域和方便人员作业为原则。巡检点之间的距离，以无人机能够最大覆盖原则，从而能够提供更多的合格照片，提高照片的覆盖率。例如在某个巡检点，如果其便于人员作业，则可以朝四周分别飞行，然后进行拍照。如果巡检点作业相对不便，则拍摄的范围适当减少，从而缩短作业时间。两个巡检点之间的间距，小于无人机工作距离的2倍。从而能够保证巡检点之间的区域均可以被拍照。

步骤S12、无人机到达某一巡检点后，升至巡检高度H0，其中H1≤H0≤H2；拍摄至少一张测试照片，发送给巡检终端；巡检终端对照片质量进行判断，若合格，则无人机继续拍摄若干张有预定重叠区域的照片。

在设定巡检高度时，需要注意巡检高度与巡检区域高程的差值，一般而言，主要是根据无人机相机的最佳拍摄距离和巡检区域的实际情况，计算巡检高度。

如果无人机的相机最佳拍摄距离小于巡检区域高程，则将大于无人机最佳拍摄的区域标记为次优作业区。如果无人机的相机最佳拍摄距离大于巡检区域高程，则根据最佳拍摄距离计算巡检高度。

例如在某个区域，具有一个较高的山峰或丘陵，在环绕该山峰或丘陵的区域，无人机需要上升至更高的高度，才能达到相对较佳的拍摄范围。在其他区域，地面起伏不大，无人机在某一高度范围即可实现最佳拍摄。则可以将巡检区域划分为最佳作业区和次优作业区，在不同的作业区域，无人机上升到不同的高度进行拍摄。通过在相对较为接近的高度进行拍摄，无人机拍摄的照片参数基本一致，便于后续的图像处理，尤其是坐标转换。

在设定完成后，无人机先拍摄测试照片，发送至巡检终端，操作员对照片质量进行审查，如果符合要去，则发送继续拍摄的指令，无人机完成拍摄后返回。如果不符合要求，则调整无人机的拍摄高度和拍摄角度等参数。

步骤S13、检查各组照片是否能够完全覆盖待巡检区域，若可以覆盖待巡检区域，则结束拍摄。

在设定无人机拍摄照片时，通过设定拍摄照片的位置和拍摄的纵横距离，可以使得照片具有一定的重叠率。在实际作业过程中，由于地面起伏，可能会导致部分照片虽然可以重叠，但是质量不够高，在后续裁剪的过程中，会被裁剪掉部分区域，导致图片不重叠。因此在作业的时候，可以根据返回图片的情况，调整拍摄的参数，并审查最终的图片是否能够覆盖巡检区域。首先要保证各个巡检点的照片能够覆盖其工作范围，然后各个巡检点的照片叠加起来，能够覆盖整个巡检区域。

如上文所述，由于相机的结构和环境因素，拍摄的照片，会从中心向边缘的方向或者从一个方向朝向另一个方向，逐渐发生畸变，且畸变的系数递增或递减。因此为了改善图片质量，提高地理标志物的识别准确率，不仅需要校正照片，而且需要将畸变率较大的区域删除。具体过程如下所述。

如图3所示，在本申请的另一实施例中，所述步骤S2包括：

步骤S21、读取至少两张照片作为检验照片，同时采集相机的内参矩阵参数和畸变系数，其中畸变系数包括径向畸变系数和切向畸变系数。

步骤S22、采用检验照片做去除畸变测试，先将图像像素坐标转换到相机坐标系，然后基于畸变系数对相机坐标系进行转换，去除畸变，使用原检验照片对去除畸变后的检验照片进行插值，得到最终去畸变检验照片。

步骤S23、判断检验照片是否符合要求，若符合，则以照片中心为原点，以预定距离为边长，截取最终检验图片的中心区域，去除边缘区域，得到标准照片。

由于畸变的来源主要是相机参数，因此对于同一个相机而言，在相同的工作条件下，拍摄的照片中的畸变的分布是基本相同的。因此可以先采用几张照片进行检验，获取畸变的基础数据，如果处理后的照片符合要求，则其他所有的图片均采用同样的方式进行处理。如果不符合要求则对去畸变的过程进行优化，直至符合要求。

具体而言，首先进行径向畸变和切向畸变的处理，即先基于相机和照片获取畸变系数，然后对检验照片进行去畸变处理。初步获得去除畸变后的照片，然后判断是否合格，比如检查照片中的物体变形或倾斜的角度是否符合要求，如果不符合要求，则重新进行优化。如果符合过程则将所有照片进行去畸变处理。

在获得标准照片后，如何从照片中查找到地理标志物，并将拍摄的照片一一进行拼接，形成巡检区域的整体照片，是巡检航线构建的基础数据。根据实际处理的过程，分成两种方法，具体如下。

提供两种实施方式，具体过程如下：

如图4所示，在本申请的另一实施例中，所述步骤S3包括：

步骤S31、读取各个标准照片，并一一进行坐标转化，首先通过内参矩阵将像素坐标转换为图像坐标，再将图像坐标转换为相机坐标，最后将相机坐标转换为世界坐标；各个转换过程中的坐标变换矩阵存储于存储单元中；

步骤S32、读取各个标准照片，针对每一标准照片，进行图像边缘查找操作：

将标准照片灰度化或者顺次读取各个颜色通道，采用a×a大小的滑动窗口在灰度后的标准照片上滑动，计算滑动窗口中各个像素的差值，该差值与相邻像素的最大值作商，记为像素梯度，其中a为正整数；将标准照片中的所有像素梯度归一化；

步骤S33、去除像素梯度超出阈值的像素，保留像素梯度极值对应的像素，并将各个标准照片合并成区域整体照片；即为地理标志物像素集合。

在第一种方式中，通过读取标准照片，并进行坐标转换，将照片中的像素坐标转换为世界坐标，然后通过计算每个窗口内像素梯度，然后查找像素梯度极值，获取边缘线的像素坐标。即可得到地理标志物的像素集合，通过上述的像素坐标和世界坐标系的映射关系（转换矩阵可以看做映射关系的数学表示），即可获得地理标志物的世界坐标系的坐标集合。

如果窗口内的像素数值基本相同，例如均为绿色的树叶，则在像素上表现为（a，b，c），采集3×3，合计9个像素，则a、b、c的数值上并没有较大的差别，因此像素的梯度差较小。如果绿叶和白云处于同一个窗口内，则数值上具有明显的差别，所以窗口内的某一个或几个像素梯度差会变大，将多个窗口内的各个像素梯度差大于阈值的像素选择出来，在宏观上即可形成连续或接近连续的边缘线。这些边缘线可以作为地理标志物的边缘线，而地理标志物，比如山脊、河流、山谷等边缘线是长期稳定的，因此可以作为标识，在后续的导航中，按照之前根据地理标志物设计好的路线巡航即可。

在本申请的另一实施例中，所述步骤S3包括：

步骤S3a、读取各个标准照片，并叠合成待巡检区域整体照片，并进行坐标转换，首先通过内参矩阵将像素坐标转换为图像坐标，再将图像坐标转换为相机坐标，最后将相机坐标转换为世界坐标；各个转换过程中的坐标变换矩阵存储于存储单元中；

步骤S3b、读取区域整体照片并灰度化或者顺次读取区域整体照片各个颜色通道，采用a×a大小的滑动窗口在灰度后的标准照片上滑动，计算滑动窗口中各个像素的差值，该差值与相邻像素的最大值作商，记为像素梯度，其中a为正整数；将标准照片中的所有像素梯度归一化；

步骤S3c、去除像素梯度超出阈值的像素，保留像素梯度极值对应的像素，即为地理标志物像素集合。

在第二种方式中，首先将图片拼接成整体照片，然后再进行处理。处理的过程与第一种方式相似，在此不再详述。在第一种和第二种方式中，将照片中的像素坐标转换为世界坐标系，是为了提高后续的地理标志物的查找效率。当然这种转换后的数据可以预存储在存储单元中，在后续步骤中直接查找和调用。在上述步骤中，得到了坐标转换矩阵，然后将图片转换到世界坐标系后，像素的高程差得到体现，在数据层面展示了垂直高度差，而并非是二维图片，因此在边缘线查找的时候，能够更加准确。

需要说明的是，在第一种方式，要将各个标准照片拼接成区域整体照片的过程是相对复杂的，具体如下所述。

在本申请的另一实施例中，所述步骤S33中将各个标准照片合并成区域整体照片的过程进一步为：

步骤S33a、依序读取两张相邻的标准照片，获取标准照片中保留像素梯度极值对应的像素坐标，计算两种标准照片中的像素坐标的重叠数量是否大于预设值；若大于，则将两张标准照片拼接成一张照片，直至所有标准照片叠加完成；若小于，进入步骤S33b。

在实际拼接过程中发现，如果标准照片I和标准照片II的存留的重叠区域中，仍有超过预定数量个像素坐标点是相同的，说明这些像素坐标点对应的是同一个地理标志物的边缘线像素坐标。比如山脊线的像素坐标同时出现在两个相邻的标准照片中，通过像素坐标的重叠对应关系，就可以将两张像素坐标拼接成一张照片。如果小于预定的数量，则可能是不同的地理标志物的边缘线坐标或者是存在一些噪音。比如某个区域存在一定的边缘线像素，但并非是地理标志物的边缘线像素。在不同的照片中，有可能存在一定的干扰，导致可能错误拼接。因此在计算的时候，优选根据实际拼接状况调整拼接的阈值。或者采用神经网络进行自主学习，然后进行照片拼接。

步骤S33b、计算两张标准照片中像素梯度极值对应的像素坐标的欧式距离之和，若小于距离阈值，则各自在两张标准照片上像素梯度极值对应的像素坐标中填充预定数值。

在一些情况下，由于参数的设计，可能导致边缘线是断裂的，因此需要通过计算坐标的距离，判断两个照片中的边缘线是否为同一地理标志物的边缘线。如果断裂的距离相对较小，可以将其填充完善，形成完整的边缘线。

步骤S33c、判断拼接后的整体照片中的像素梯度极值对应的像素坐标分布的面积是否大于区域面积阈值；若大于，输出拼接后的整体照片。

其中，判断像素坐标分布的面积是否大于区域面积阈值的过程包括：

依序读取各个像素坐标，并以像素坐标为中心，以预设距离为半径，将该距离内的像素坐标加入像素坐标集合，若集合中存在相同的坐标，则去除重复值；

计算像素坐标集合中的像素坐标数量，并与拼接后的整体照片中的所有像素坐标数量作商，判断是否超过阈值；若超过阈值，则认为该拼接后的整体照片符合要求。

在实际的使用过程中发现，由于地理标志物边缘线的分布并非均匀的，可能在一些区域很难查找到边缘线，因此就会出现巡检区域的一部分是没有地理标志物的，如果这部分的区域较大，会导致后续的巡检航线的构建存在困难。因此在实际设计巡检区域的时候，根据实际情况划分区域大小和分布，然后边缘线尽量能填充覆盖整个巡检区域。巡检区域内距离边缘线最远的距离应该小于设定的阈值。

如图5所示，在本申请的另一实施例中，所述步骤S4进一步为：

步骤S41、读取像素梯度极值对应的像素坐标，即地理标志物像素集合，通过坐标转换矩阵，将各个像素坐标转换为世界坐标系，形成像素世界坐标系集合；

步骤S42、基于像素坐标是否连续，将像素世界坐标系中的像素进行分类；

步骤S43、调用预置的拟合数据库，从中选择拟合曲线，对像素世界坐标系集合中已分类的像素坐标数据进行分段拟合，将拟合度大于等于预期值的放入地理标志物轨迹线集合；

步骤S44、若拟合度小于预期值，则绘制覆盖所述地理标志物像素的覆盖面；以覆盖面的中心线作为拟合曲线。

在上述步骤中，已经构建出地理标志物像素坐标系集合。可以在上一步骤进行坐标系转换并预存储，也可以在本步骤进行坐标系转换。在某些实施例中，可以调用预存储在存储单元中的数据。

在世界坐标系下进行线段拟合，获得直线或者曲线的方程，比如山脊线多数为直线，河流多数为曲线，将地理标志物分段拟合后，有利于针对不同的区域快速构建巡检航线。

如图6所示，在本申请的另一实施例中，所述步骤S5进一步为：

步骤S51、读取每一地理标志物轨迹线，并在该地理标志物轨迹线上每隔预定距离选择一个标记点，在每个标记点处做地理标志物轨迹线的预定长度的垂线端，顺次连接每个垂线段的端点，形成巡检区域边界。

在上述步骤中，已经拟合好地理标志物轨迹线，然后基于该数据划定飞行区域，类似于飞行空域。然后在后续的步骤，在这些空域中规划合理的巡检路线。

步骤S52、计算各个巡检区域边界所围成的面积，并去掉重复区域，获得巡检区域地图，判断巡检区域地图是否能够覆盖待巡检区域；若可以，则将地理标志物轨迹线和巡检区域边界作为训练数据，作为构建无人机巡检航线路径集合。

由于地理标志物轨迹线可能是分段的，因此划定的空域可能存在重叠或者分离的情况，因此通过去重和连通相邻的区域，可以构建沿巡检区域连续延伸的飞行空域。

步骤S53、采用蚁群算法训练无人机飞行航线，获得世界坐标系航线，并发送存储单元；在飞行时，推送至无人机。通过在飞行空域中基于地理标志物的边缘线进行飞行路线的构建，可以大大加快巡检路线的构建速度。

换句话说，在构建好拟合曲线后，可以基于本步骤的过程，构建巡航路线。换句话说，通过识别查找到相对稳定的、基本覆盖巡检区域的地理标志物后，就可以沿着这些地理标志物或者基于这些地理标志物进行航线设计，从而无需高精度定位设备。

在上述实施例中，需要注意的是，在多处图像处理的过程中，例如上述去畸变和地理标志物查找的过程中，并非直接对图像进行处理，而是将图像转变为世界坐标系后，然后对图像中的地理标志物等进行识别，大大提高了边缘线的识别准确率和速度，同时航线的设计更加准确和高效。

在进一步的实施例中，设置有坐标转换模块和数据存储模块，转换后的相机坐标系数据和世界坐标系数据存储在数据存储模块，以供系统调用。

在另外一些实施例中，还提供一种无人机，主要包括：

无人机本体和相机，

至少一个处理器，安装于无人机本体中；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项实施例所述的基于地理标志物辅助导航的无人机巡检方法。

所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括内存、硬盘、随机访问存储器、只读存储器等。

总之，本方案通过较少的图片，无需多角度拍摄的大量图片构建三维点云，即可实现巡航路线的构建，也无需布设高精度的定位辅助装置。拓展了无人机巡检的作业范围。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (9)

1.基于地理标志物辅助导航的无人机巡检方法，其特征在于，包括如下步骤：

步骤S1、接收控制信息，飞行至预定高度H，拍摄预定张照片；

步骤S2、读取至少两张照片，并通过照片信息和相机信息获得内参矩阵和畸变参数，基于畸变参数去除畸变值超出阈值的畸变区域，得到标准照片；

步骤S3、基于标准照片进行坐标变换，将标准照片中的像素坐标转化为世界坐标系，并将坐标系转换矩阵预存储在存储单元；对标准照片进行图像识别，查找标准照片中的地理标志物，所述地理标志物包括河流、树木和山脊；提取所述地理标志物的像素，形成标志物像素坐标集合；

步骤S4、通过坐标转换矩阵将所述标志物像素坐标集合中的像素转换为世界坐标系，形成地理标志物轨迹线集合；

步骤S5、基于地理标志物轨迹线构建无人机巡检航线路径，生成世界坐标系航线，并基于所述世界坐标系航线进行巡检。

2.根据权利要求1所述的基于地理标志物辅助导航的无人机巡检方法，其特征在于，所述步骤S1包括：

步骤S11、在待巡检区域选择至少三个巡检点，并根据待巡检区域的地面起伏高度差设定巡检高度范围H1~H2；

步骤S12、无人机到达某一巡检点后，升至巡检高度H0，其中H1≤H0≤H2；拍摄至少一张测试照片，发送给巡检终端；巡检终端对照片质量进行判断，若合格，则无人机继续拍摄若干张有预定重叠区域的照片；

步骤S13、检查各组照片是否能够完全覆盖待巡检区域，若可以覆盖待巡检区域，则结束拍摄。

3.根据权利要求2所述的基于地理标志物辅助导航的无人机巡检方法，其特征在于，所述步骤S2包括：

步骤S21、读取至少两张照片作为检验照片，同时采集相机的内参矩阵参数和畸变系数，其中畸变系数包括径向畸变系数和切向畸变系数；

步骤S22、采用检验照片做去除畸变测试，先将图像像素坐标转换到相机坐标系，然后基于畸变系数对相机坐标系进行转换，去除畸变，使用原检验照片对去除畸变后的检验照片进行插值，得到最终去畸变检验照片；

步骤S23、判断检验照片是否符合要求，若符合，则以照片中心为原点，以预定距离为边长，截取最终检验图片的中心区域，去除边缘区域，得到标准照片。

4.根据权利要求3所述的基于地理标志物辅助导航的无人机巡检方法，其特征在于，所述步骤S3包括：

步骤S31、读取各个标准照片，并一一进行坐标转化，首先通过内参矩阵将像素坐标转换为图像坐标，再将图像坐标转换为相机坐标，最后将相机坐标转换为世界坐标；各个转换过程中的坐标变换矩阵存储于存储单元中；

步骤S32、读取各个标准照片，针对每一标准照片，进行图像边缘查找操作：

将标准照片灰度化或者顺次读取各个颜色通道，采用a×a大小的滑动窗口在灰度后的标准照片上滑动，计算滑动窗口中各个像素的差值，该差值与相邻像素的最大值作商，记为像素梯度，其中a为正整数；将标准照片中的所有像素梯度归一化；

步骤S33、去除像素梯度超出阈值的像素，保留像素梯度极值对应的像素，并将各个标准照片合并成区域整体照片；即为地理标志物像素集合。

5.根据权利要求3所述的基于地理标志物辅助导航的无人机巡检方法，其特征在于，所述步骤S3包括：

步骤S3a、读取各个标准照片，并叠合成待巡检区域整体照片，并进行坐标转换，首先通过内参矩阵将像素坐标转换为图像坐标，再将图像坐标转换为相机坐标，最后将相机坐标转换为世界坐标；各个转换过程中的坐标变换矩阵存储于存储单元中；

步骤S3b、读取区域整体照片并灰度化或者顺次读取区域整体照片各个颜色通道，采用a×a大小的滑动窗口在灰度后的标准照片上滑动，计算滑动窗口中各个像素的差值，该差值与相邻像素的最大值作商，记为像素梯度，其中a为正整数；将标准照片中的所有像素梯度归一化；

步骤S3c、去除像素梯度超出阈值的像素，保留像素梯度极值对应的像素，即为地理标志物像素集合。

6.根据权利要求4所述的基于地理标志物辅助导航的无人机巡检方法，其特征在于，所述步骤S33中将各个标准照片合并成区域整体照片的过程进一步为：

步骤S33a、依序读取两张相邻的标准照片，获取标准照片中保留像素梯度极值对应的像素坐标，计算两种标准照片中的像素坐标的重叠数量是否大于预设值；若大于，则将两张标准照片拼接成一张照片，直至所有标准照片叠加完成；若小于，进入步骤S33b，

步骤S33b、计算两张标准照片中像素梯度极值对应的像素坐标的欧式距离之和，若小于距离阈值，则各自在两张标准照片上像素梯度极值对应的像素坐标中填充预定数值；

步骤S33c、判断拼接后的整体照片中的像素梯度极值对应的像素坐标分布的面积是否大于区域面积阈值；若大于，输出拼接后的整体照片；

其中，判断像素坐标分布的面积是否大于区域面积阈值的过程包括：

依序读取各个像素坐标，并以像素坐标为中心，以预设距离为半径，将该距离内的像素坐标加入像素坐标集合，若集合中存在相同的坐标，则去除重复值；

计算像素坐标集合中的像素坐标数量，并与拼接后的整体照片中的所有像素坐标数量作商，判断是否超过阈值；若超过阈值，则认为该拼接后的整体照片符合要求。

7.根据权利要求6所述的基于地理标志物辅助导航的无人机巡检方法，其特征在于，

所述步骤S4进一步为：

步骤S41、读取像素梯度极值对应的像素坐标，即地理标志物像素集合，通过坐标转换矩阵，将各个像素坐标转换为世界坐标系，形成像素世界坐标系集合；

步骤S42、基于像素坐标是否连续，将像素世界坐标系中的像素进行分类；

步骤S43、调用预置的拟合数据库，从中选择拟合曲线，对像素世界坐标系集合中已分类的像素坐标数据进行分段拟合，将拟合度大于等于预期值的放入地理标志物轨迹线集合；

步骤S44、若拟合度小于预期值，则绘制覆盖所述地理标志物像素的覆盖面；以覆盖面的中心线作为拟合曲线。

8.根据权利要求7所述的基于地理标志物辅助导航的无人机巡检方法，其特征在于，所述步骤S5进一步为：

步骤S51、读取每一地理标志物轨迹线，并在该地理标志物轨迹线上每隔预定距离选择一个标记点，在每个标记点处做地理标志物轨迹线的预定长度的垂线端，顺次连接每个垂线段的端点，形成巡检区域边界；

步骤S52、计算各个巡检区域边界所围成的面积，并去掉重复区域，获得巡检区域地图，判断巡检区域地图是否能够覆盖待巡检区域；若可以，则将地理标志物轨迹线和巡检区域边界作为训练数据，作为构建无人机巡检航线路径集合；

步骤S53、采用蚁群算法训练无人机飞行航线，获得世界坐标系航线，并发送存储单元；在飞行时，推送至无人机。

9.一种无人机，其特征在于，包括：

无人机本体，

至少一个处理器，安装于无人机本体中；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1~8任一项所述的基于地理标志物辅助导航的无人机巡检方法。

Images