CN109032174A - 一种无人机作业航线规划方法以及作业执行方法 - Google Patents

Abstract

本发明涉及一种无人机作业航线规划方法以及作业执行方法，包括绘制航线工序，所述绘制航线工序包括以下步骤：预先存储作业对象库，所述作业对象库包含从作业对象顶部俯视树冠的截面图；输入需要作业的作业对象，以确定匹配对象；利用所述匹配对象识别所述作业对象,若匹配对象和作业对象两者满足匹配度大于一阈值，则分割提取该作业对象；否则不分割；识别作业对象的中心，并对识别出来的中心进行标记，提取这些标记的地理坐标；根据作业对象的地理坐标，计算相邻作业对象的之间的距离，从而判定作业对象是否是同行种植，若是，则连接作业对象点，否则，不连接作业对象点，由此形成无人机喷洒的作业航线。

Description

一种无人机作业航线规划方法以及作业执行方法

技术领域

本发明属于无人机领域，具体涉及一种无人机作业航线规划方法以及作业执行方法。

背景技术

随着农业科技的发展，农业机械化程度不断提高。目前，无人机在农业领域的应用主要集中在喷药上。无人机喷药与传统的人工喷药作业相比，显著减轻了作业者的劳动强度，降低了农药对作业人员的危害，环境适用性高，作业速度快，节省农药，减少了农药残留和环境污染。

过去的无人机植保都是飞手通过目视判断和操纵遥控器控制无人机作业，这样做的问题是经常出现漏喷、重喷和误喷，很难做到精准作业，因此，精准作业是无人机植保的一个关键问题。无人机植保必须能够获取植保农田的准确位置信息和障碍物信息，并且在植保作业过程中准确获取无人机定位信息，控制无人机飞行轨迹，这样才能达成精准植保作业的目的。

为了获取植保农田的位置信息和障碍物信息，目前典型的处理方法主要有两种：第一种方法是通过公开发布的百度地图、谷歌地图等地图数据，获取目标区域的位置信息，这种方法的缺陷是数据的现势性不强，精度不高，通常会有几十米的误差，而且缺少障碍物信息；第二种方法是在签订植保合同之后，派外业测绘组带高精度差分GPS到植保农田现场进行测量，获得高精度的位置信息和障碍物信息，这种方法的缺点是测绘工作量大，作业效率低，作业成本高。

鉴于此，提出一种无人机作业航线规划方法以及作业执行方法是本发明所要研究的课题。

发明内容

本发明提供一种无人机作业航线规划方法以及作业执行方法，其目的是为了解决现有采用公开发布的地图数据而带来现势性不强、精度不高的问题，以及采用测绘组带高精度差分GPS到植保农田现场进行测量，获得高精度的位置信息和障碍物信息而带来的测绘工作量大、作业效率低、作业成本高的问题。

为达到上述目的，本发明采用的技术方案是：一种无人机作业航线规划方法，包括绘制航线工序，在作业地块的图像上绘制航线，所述绘制航线工序包括以下步骤：

第一步，预先存储作业对象库，所述作业对象库包含从作业对象顶部俯视树冠的截面图；

第二步，输入需要作业的作业对象，以确定匹配对象；

第三步，利用所述匹配对象识别所述作业对象, 若匹配对象和作业对象两者满足匹配度大于一匹配阈值，则分割提取该作业对象；否则不分割；

第四步，识别所述图像上作业对象的中心，并对识别出来的中心进行标记，提取这些标记的地理坐标；

第五步，根据作业对象中心的地理坐标，计算相邻作业对象的之间的距离，从而判定作业对象是否是同行种植，若是，则连接作业对象点，否则，不连接作业对象点，由此形成无人机喷洒的作业航线。

上述技术方案中的有关内容解释如下：

1、上述方案中，所述绘制工序之前，还包括获得图像地理坐标工序，该工序包括根据标志点的形状匹配若干对作业地块中标志点的地理坐标和图像识别的标志点的像点坐标，计算获得图像像素的地理坐标。

2、上述方案中，所述作业地块中标志点的地理坐标，通过在作业地块设置标志点、并采集所有标志点的二维地理坐标而获得。

3、上述方案中，所述图像识别的标志点，根据以下步骤获得：

第一步，通过无人机的图像采集设备对作业地块进行图像采集，获得作业地块全貌的图像；

第二步，在图像中分割定位出标志点所在的标志区域，得到标志点的形状；

第三步，对标志区域进行特征分析和提取，以识别出标志区域中的标志点；

第四步，分别计算获得每个标志点的像点坐标，并汇总得到所有标志点的形状和像点坐标。

4、上述方案中，在利用匹配对象识别作业对象之前还包括去除阴影工序，以消除阴影在匹配对象时造成的干扰。

5、上述方案中，所述去除阴影工序包括：

第一步, 确定阴影区域所在的位置，通过分析边缘、文理信息、不同颜色空间和阴影特征点来检测阴影，利用阴影的几何特点、亮度、颜色等信息来标识阴影区域;

第二步，恢复阴影区域在无遮挡正常光照条件下的影像，使得图像具有视觉上的光照一致性。

6、上述方案中，所述绘制航线工序中，其中第五步具体包括计算相邻作业对象之间的距离，若距离小于或等于第一阈值时，则判定该相邻作业对象为同行种植，此时连接相邻作业对象，若距离大于第一阈值时，则判定该相邻作业对象位于不同的行，此时不连接该相邻作业对象。

7、上述方案中，在判定两个作业对象是否为相邻作业对象时，先计算两个作业对象之间的距离，若距离小于等于第二阈值时，则判定该两个作业对象为相邻的作业对象；若距离大于第二阈值时，则判定该两个作业对象不相邻；其中，所述第二阈值大于第一阈值。

为达到上述目的，本发明采用的另一种技术方案是：一种无人机作业执行方法，采用获得的作业航线，按照以下步骤进行操作：

第一步，根据植保作业需要，设定无人机与作业对象的相对高度，并保持无人机相对作业对象恒定的相对高度飞行，在作业航线的基础上确定飞行航线；

第二步，采用无人机按照飞行航线进行飞行，对作业对象进行喷洒。

1、上述方案中，所述第二步中，当无人机直线航行时，进行持续喷洒；当无人机换行或断点航行时，控制无人机停止喷洒；当离散种植时，进行单点喷洒。

由于上述技术方案运用，本发明与现有技术相比的原理以及优点如下：

由于本发明所要作业的对象为规则种植的农作物，形成多行种植模式，而非离散种植，故在航线规划时，形成基本平行的多条直线。通过计算相邻作业对象之间距离，就可以判断其是否为同行种植，无需考虑其他路线，计算方法简单，同时得到的航线也较精确。

本发明计算方法简单、成本较低、精度较高、测绘效率高。另外，通过精确测定不同标志点的二维坐标，与图像中识别的像点坐标进行匹配，从而获得图像像素的地理坐标，再利用图像识别方法识别图像中的规则种植的作业对象，实现方法简单，运算数据量小，实用高效，操作难度小，针对性强。

附图说明

附图1为本实施例中无人机作业航线规划方法流程图；

附图2为本实施例中无人机作业执行方法流程图；

附图3为本是实施例中作业对象的原理示意图；

附图4为本是实施例中作业对象的原理示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例：一种无人机作业航线规划方法

参见附图1，主要包括获得图像地理坐标工序和绘制航线工序。

其中，获得图像地理坐标工序的整个流程包括根据标志点的形状匹配若干对作业地块中标志点的地理坐标和图像识别的标志点的像点坐标，计算获得图像像素的地理坐标，即按照以下步骤进行操作：

第一步，预先在作业地块布置若干个标志点，一般为3~4个标志点，其中，标志点的样式可以是十字形、圆形、环形、正方形对角、三角形、田字格形等明显、醒目的样式。标志的亮度越大，判断性越好，所以在绿色植被上采取用白色标志最好；在亮度比较大和反光的地面，如水泥地、路面和没有植被的地面，最好采用黑色边的白色标志；布设在作物顶端的同平面的水平位置上，避免被建筑物遮挡，提高对空视角。

第二步，采集所有标志点的二维地理坐标（Xi, Yi），其中，Xi表示标志点的地理经度，Yi表示标志点的二维地理纬度。本实施例中，通过打点的方式采集获得这些标志点的地面坐标，即地理坐标，包括经度和纬度信息，即二维坐标（Xi, Yi）。其中，用RTK方法进行测量，通过GPS对标志点进行定位（此时的定位坐标不准确，会有一定误差），连接基准站(已知点)实时坐标转换测量得到标志点的地理测量坐标，得到标志点的精确地理坐标，实现厘米级精度。通过RTK差分方法测得的地理坐标，其经纬度坐标的精确度大于高程坐标，故选用二维坐标而剔除高程坐标，使得可以在较短的时间内得到的地理坐标更准确，同时满足了时效和精度的要求。

其中，由于每个标志点具有不同的形状，可以从上述的样式中选择，在打点时，针对不同的标志点，记录其形状信息以及地理坐标，比如，（标志点1，十字形，X1，Y1）、（标志点2，三角形，X2、Y2）等等。

第三步，获得图像识别的标识点，在所述图像上识别各个对应的标志点，得到各个标志点的像点坐标（xi，yi），其中，xi表示标志点的像点经度，yi表示标志点的像点纬度。

本步骤中，利用图像处理算法，能识别出不同的标志点，并且标定这些标志点的图像坐标。在采集图像的同时，可以进行自动识别标志点，实时得到标志点的像点坐标，时效性高。

包括以下步骤：

S31：通过无人机的图像采集设备对作业地块进行图像采集，获得作业地块全貌的图像。

在本步骤中，通过指挥无人机达到某一高度，通过无人机自身的图像采集设备对待作业地块进行图像采集，得到具有作业对象的全貌的图像，拍摄时要求拍摄到的图像包含所有的清晰的标志点。此时，采集到的图像的数量可以为一张，当然，在不同的作业条件下，也可以采集多张图像，对图像进行拼接得到所需要的图像，为了提高测绘精度，相邻图像之间需要保证一定的重叠率，但是优选地，采集一张图像就可以实现精确测绘，满足作业需求。同时，优选地，在图像采集设备在俯仰角接近0°时，拍摄的图像的效果最好，后续计算得到图像的地理坐标最精确。在拍摄图像的过程中，有一定底片变形、物镜畸形、大气折光或地球曲率等原因，使得拍摄到的图像具有一定的误差。在自动识别标志点像点坐标之前，可以对拍摄到的图像进行修正、校正，以消除这些误差带来的影响。

其中，此处采集图像的无人机与后续进行喷洒作业的无人机可以为同一驾，或者在某些情形下也可以利用其它飞行器携带图像采集设备进行拍摄采集。

S32,对图像进行分析，分割定位将标志区域从背景中分割出来，得到标志点的形状；在此之前，对图像进行预处理，去掉背景噪声，标志的确定是由标志区域本身的几何特征、纹理特征或颜色特征来确定。

S33,对分割出来的标志区域进行特征分析，根据特征提取方法，准确识别标志中的标志点。此时，标志区域仍然存在干扰，首先对区域进行去噪声处理，去掉干扰。其中，此处特征提取方法，包括但不限于尺度不变特征转换（Scale-Invariant FeatureTransform，SIFT）方法、加速稳健特征（Speeded-Up Robust Features，SURF）方法等等。

S34,计算获得标志点的像点坐标，并汇总得到标志点的形状和像点坐标，比如（十字形，x1，y1）、（三角形，x2，y2）等等。其中，不同的标志点采用不同的形状，此处，和上述对应，第一个标志点采用十字形，第二个标志点采用三角形等等。

第四步，判定所识别的所有标志点的个数与预先在作业地块布置的所有标志点的个数是否相等：若相等，则转入第五步，否则转入第三步，重新采集图像。

第五步，根据标志点的形状将所述地理坐标和所述像点坐标匹配形成匹配点对，通过地理坐标和像点坐标点对，计算地理坐标和像点坐标的变换矩阵，得到实际作业地块的地理坐标图和图像之间的映射关系。

其中，该步骤中，将地理坐标和像点坐标经过相同的标志点形状匹配形成匹配点对，将测量得到的标志点的地理坐标赋予对应的像点坐标，通过n对地理坐标和像点坐标点对，计算地理坐标和像点坐标的变换矩阵，得到实际作业地块坐标图和拍摄图像之间的映射关系。具体地，通过地理坐标和像点坐标中相同的形状，建立地图坐标和像点坐标之间的匹配关系,比如（标志点1，十字形，X1，Y1）和（十字形，x1，y1）为一匹配对。利用地理坐标对图像进行校准定位，得到图像上每个像素的精确的地理坐标。由于仅仅考虑二维坐标，排除了高程上的计算，算法简单，计算机数据处理速度非常快，可以实时得到计算结果。这种映射关系是一种线性关系，当图像采集设备拍摄水平照片时，即俯仰角0°，得到一张矩形地块图像时，仅仅需要考虑图像与实际地形之间的大小比例关系即可得到计算结果；而当图像采集设备具有一定俯仰角时，此时如果实际地块是矩形的，则摄像机拍摄到的形状可能是楔形的，此时，需要4个标志点来计算具体的映射关系，从而得到计算结果。拍摄的地面需要比较平坦，起伏较小，这样得到的结果更精确。鉴于拍摄的地块的边界一般在200~300m之间，地块面积较小，计算的误差也较小，满足实际作业需要。

第六步，在获得图像地理坐标工序之后，设置绘制航线工序，即在上述采集到的作业地块的图像上绘制航线，对图像中的作业对象进行标记，并提取标记的地理坐标，根据地理坐标绘制成作业航线，并同时呈现在所述图像上。

其中，第六步，即在绘制航线时具体步骤包括：

S61，预先存储有作业对象库，作业对象库仅包含作业对象从其顶部俯视其树冠的截面图。作业人员输入需要作业的对象，从而确定匹配对象。作业对象：农作物、果树、较为高大的树木等等。在同一次作业中，限定只识别同一种作业对象，例如：如果识别枣树，就仅仅标记枣树，其他类型的树木农作物，不进行标记，提高标记定位的针对性和精确度。

S62, 作业人员输入需要作业的对象，从而确定匹配对象。

S63,利用匹配对象识别作业对象，若满足匹配度大于某一匹配阈值，分割提取该作业对象。其中，该匹配阈值为匹配相似度的阈值，当大于这一匹配阈值时，认为两者是较为相似的，则认为该两者匹配成功。

S64, 在分割提取作业对象时，先利用图像处理算法，识别作业对象的中心，即质心，对识别出来的中心进行标记，提取这些标记的地理坐标；此处的算法包括但不限于：图像矩（Image Moments）算法、函数转换（Function Transformation Algorithm，FTA）算法等等。

S65,根据特定规律绘制作业航线，包括根据相邻作业对象点之间的距离，判定作业对象是否是同行种植，如果是，则连接作业对象点，由此规划出无人机喷洒的作业航线。具体参见附图3，计算两个相邻对象点距离，若小于等于第一阈值，则是同行种植，连接这两个点；若否，则不连接这两个点。对于同行种植点，将这些中心点绘制成多条近似于直线的航线，当相邻两个中心点的距离大于第一阈值时，认为作业对象在不同的行，此时不能将这两个点连接起来。

在判定两个作业对象是否为相邻作业对象时，先计算相邻两个点之间的距离，若小于等于第二阈值，则为相邻点。若大于第二阈值，则两个作业对象不相邻。其中，第一阈值和第二阈值根据作业对象的不同而有所调整，规定第二阈值始终大于第一阈值。

进一步地，还可以计算每个点的连接点的数量a，参见附图4，每个点的连接点为航线上与其相邻点，是与其成行种植的相邻作业对象点相连接的点，一般a=2,此时说明该点位于成行种植的作业对象中间，当a=1时，则说明该点为边缘点，或者断点，边缘点为一行成行种植的作业对象的端点（起点或终点），断点则邻近成行种植中未种植作业对象的区域，从边缘点或断点处开始停止喷洒，避免不必要的喷洒，节约药剂，直到飞到与其相邻的最近的边缘点或断点开始重新开启喷洒。某个点的连接点的数量a=0时，认为该点的作业对象为离散种植，可以对该作业对象进行单独喷洒。

在图像上显示作业航线，为了体现真实的效果，在未处理的图像上显示喷洒航线，提高作业人员的体验感。

在S63之前，所述绘制航线工序还包括去除阴影工序，以消除阴影在匹配对象时造成的干扰。

对图像进行检测，去除图像上的阴影，以消除阴影在匹配对象时造成的干扰，提高识别的鲁棒性。阴影是由对象遮挡入射光而在背景上形成的，会导致作业对象几何特征的扭曲、虚假对象的出现等。

具体包括以下步骤：

阴影检测：确定阴影区域所在的位置，通过分析边缘、文理信息、不同颜色空间和阴影特征点来检测阴影，利用阴影的几何特点、亮度、颜色等信息来标识阴影区域，优选的，使用阴影的光谱特性比几何特性效果更佳。包括但不限于基于颜色不变性的阴影检测算法、基于光照无关性的阴影检测算法、基于低频滤波器的阴影检测算法等，只要能够检测作业对象的阴影即可。

阴影去除：恢复阴影区域在无遮挡正常光照条件下的影像，使得图像具有视觉上的光照一致性。包括但不限于基于积分的阴影去除算法、基于纹理一致的阴影去除算法、基于区域补偿的阴影去除算法等。基于区域补偿的阴影去除算法，假定图像是局部平稳的，认为阴影区域与周围一定范围内的非阴影区域的统计信息是相似的，在检测处阴影区域之后，对阴影区域和其临近的非阴影区域进行匹配，完成阴影区域补偿操作，达到去除阴影的目的，该算法简单快速。

实施例：一种无人机作业执行方法

参见附图2，一种无人机精确喷洒方法

本作业执行方法以上获得的作业航线，按照以下步骤进行操作：

第一步，根据植保作业需要，设定与作业对象相对高度，利用测距传感器实现仿地飞行，在作业航线上实时调整无人机的飞行高度，确定飞行航线。其中，在该步骤中，先根据上述方法获取作业对象种植规律信息，得到作业航线；再根据植保作业需要，根据不同的作业对象，设定对作业对象进行喷洒的安全距离为相对高度，开启仿地飞行模式，利用激光雷达等测距传感器实现仿地飞行，在按照作业航线飞行的同时，在飞行的路线上实时调整无人机的飞行高度，即作为飞行航线。（此处，仿地飞行的方式不作限制，本领域技术人员可以利用现有技术中的仿地飞行、贴地飞行等方法来实现。）；最后采用无人机按照确定的飞行航线进行飞行，对作业对象进行喷洒。

第二步：无人机根据飞行航线飞行，对作业对象进行喷洒。在直线航线时，进行持续喷洒，当无人机直线航行时，进行持续喷洒；当无人机换行或断点航行时，控制无人机停止喷洒；当离散种植时，进行单点喷洒。

通过上述航线测绘方法，针对多行种植的作业对象，无人机获取作业对象的种植规律，确定精确的作业航线，而后依据飞行航线飞行并完成对整片地块的作业对象的喷药作业。

本发明所要作业的对象为规则种植的农作物，形成多行种植模式，而非离散种植，故在航线规划时，可以形成基本平行的多条直线。只要计算相邻作业对象之间距离，就可以判断其是否为同行种植，无需考虑其他路线，计算方法简单，同时得到的航线也较精确。由于人为、气候等原因，农作物不可能实现绝对直线的种植，故规划的航线为近似于直线的航线。在识别了作业对象以及其中心后，根据其相邻作业对象之间的距离，判定作业对象的种植规律，以此规划无人机作业航线。本发明可以实现小规模的高精度地图测绘，具体为50亩~200亩地的农作物进行测绘，得到农作物排布信息，从而实现航线规划、精确喷洒。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种无人机作业航线规划方法，包括绘制航线工序，在作业地块的图像上绘制航线，其特征在于：所述绘制航线工序包括以下步骤：

第一步，预先存储作业对象库，所述作业对象库包含从作业对象顶部俯视树冠的截面图；

第二步，输入需要作业的作业对象，以确定匹配对象；

第三步，利用所述匹配对象识别所述作业对象, 若匹配对象和作业对象两者满足匹配度大于一匹配阈值，则分割提取该作业对象；否则不分割；

第四步，识别所述图像上作业对象的中心，并对识别出来的中心进行标记，提取这些标记的地理坐标；

第五步，根据作业对象中心的地理坐标，计算相邻作业对象的之间的距离，从而判定作业对象是否是同行种植，若是，则连接作业对象点，否则，不连接作业对象点，由此形成无人机喷洒的作业航线。

2.根据权利要求1所述的无人机作业航线规划方法，其特征在于：所述绘制工序之前，还包括获得图像地理坐标工序，该工序包括根据标志点的形状匹配若干对作业地块中标志点的地理坐标和图像识别的标志点的像点坐标，计算获得图像像素的地理坐标。

3.根据权利要求2所述的无人机作业航线规划方法，其特征在于：所述作业地块中标志点的地理坐标，通过在作业地块设置标志点、并采集所有标志点的二维地理坐标而获得。

4.根据权利要求2所述的无人机作业航线规划方法，其特征在于：所述图像识别的标志点，根据以下步骤获得：

第一步，通过无人机的图像采集设备对作业地块进行图像采集，获得作业地块全貌的图像；

第二步，在图像中分割定位出标志点所在的标志区域，得到标志点的形状；

第三步，对标志区域进行特征分析和提取，以识别出标志区域中的标志点；

第四步，分别计算获得每个标志点的像点坐标，并汇总得到所有标志点的形状和像点坐标。

5.根据权利要求1所述的无人机作业航线规划方法，其特征在于：在利用匹配对象识别作业对象之前还包括去除阴影工序，以消除阴影在匹配对象时造成的干扰。

6.根据权利要求5所述的无人机作业航线规划方法，其特征在于：所述去除阴影工序包括：

第一步， 确定阴影区域所在的位置，通过分析边缘、文理信息、不同颜色空间和阴影特征点来检测阴影，利用阴影的几何特点、亮度、颜色等信息来标识阴影区域；

第二步，恢复阴影区域在无遮挡正常光照条件下的影像，使得图像具有视觉上的光照一致性。

7.根据权利要求1或5所述的无人机作业航线规划方法，其特征在于：所述绘制航线工序中，其中第五步具体包括计算相邻作业对象之间的距离，若距离小于或等于第一阈值时，则判定该相邻作业对象为同行种植，此时连接相邻作业对象，若距离大于第一阈值时，则判定该相邻作业对象位于不同的行，此时不连接该相邻作业对象。

8.根据权利要求7所述的无人机作业航线规划方法，其特征在于：在判定两个作业对象是否为相邻作业对象时，先计算两个作业对象之间的距离，若距离小于等于第二阈值时，则判定该两个作业对象为相邻的作业对象；若距离大于第二阈值时，则判定该两个作业对象不相邻；其中，所述第二阈值大于第一阈值。

9.一种无人机作业执行方法，其特征在于：采用权利要求1获得的作业航线，按照以下步骤进行操作：

第一步，根据植保作业需要，设定无人机与作业对象的相对高度，并保持无人机相对作业对象恒定的相对高度飞行，在作业航线的基础上确定飞行航线；

第二步，采用无人机按照飞行航线进行飞行，对作业对象进行喷洒。

10.根据权利要求9所述的无人机作业执行方法，其特征在于：所述第二步中，当无人机直线航行时，进行持续喷洒；当无人机换行或断点航行时，控制无人机停止喷洒；当离散种植时，进行单点喷洒。