CN112947546A - 一种无人飞行器仿地飞行方法 - Google Patents

Abstract

本发明公开了一种无人飞行器仿地飞行方法，无人机下方设置双目相机，观测方向朝向地面；方法为：S1、双目图像采集，通过所述双目相机实时拍摄地面图像S2、双目视差计算，依据所述S1中获得的双目图像获得视差图；S3、实际高度计算，依据所述S2中获得的视差图，通过投影变换得到高度图，以获得所述无人机的实际高度；S4、地表坡度预判，计算所述无人机飞行的预期高度；S5、高度反馈控制，将高度差作为控制信号输入所述飞控系统，调整飞行高度；本发明优点在于，通过双目计算机视觉计算高度来进行仿地飞行的思想，保证无人飞行器能安全可靠地仿地飞行，还采用地面坡度预判技术，保证了飞行的流畅性和稳定性。

Description

一种无人飞行器仿地飞行方法

技术领域

本发明涉及无人机技术领域，具体涉及一种无人飞行器仿地飞行方法。

背景技术

对于植保无人机，其必须位于作业植物上方0.5m～3m的近地空中飞行工作，而且需要保持到作业植物顶端的高度一致，才能保障无人机的飞行安全和药液喷洒的均匀性。对于高精度的地形勘测无人飞行器，也需要精准地的仿地飞行，才能保证地表勘测数据的精度。

目前无人机仿地飞行常见的方式是采用雷达获取到地表距离的方法，受限于雷达的测距原理，存在应用缺陷。原因在于，雷达测距通过测量电磁波(或声波)发射时刻与反射接收时刻的时间差，乘以光速(或声速)计算得到距离。该方法只能获取地表某一个点到雷达的高度，即便是线扫描雷达也仅能得到地表上稀疏点的高度信息，无法获取地表上稠密点的高度信息；且但是实际工作中，由于反射面受到遮挡、纹理或其他因素影响，导致测量效果不理想。进一步，由于地表(或作业植物顶部的高度)一般不会严格地位于同一高度上，当地面出现下凹点时，则无人飞行器可能撞击到上凸点导致坠毁。

中国专利CN108827297A公开了一种基于图像的无人机农业巡检轨迹实时规划方法，对无人机农业巡检轨迹实时规划引入图像识别与惯性器件融合。基于农作物的色度、亮度的特征处理，得到种植区域的边界；而基于磁力计与陀螺仪融合得到航向角，控制航向角保持不变；基于微波雷达与加速度计的卡尔曼滤波，可以得到无人机与作物顶端的相对高度，可以根据这三点对无人机进行轨迹实时规划，最后将实时规划出的轨迹方向提供给无人机飞行控制器，无人机自主飞行完成农作物区域巡检。上述技术方案采用了视觉处理的方式确定部分飞行限定条件，但是并没有依据机器视觉完成仿地飞行，可以看出其实际还是采用了雷达配合加速度计完成飞行调整的，也就没有解决雷达测距带来的弊端。

发明内容

本发明提供一种无人飞行器仿地飞行方法，可以获取地表上的稠密高度信息，整体评估地表的高度情况，解决上述问题。

本发明解决技术问题所采取的技术方案是：

一种无人飞行器仿地飞行方法，包括：无人机及所述无人机下方设置的双目相机；所述双目相机通过云台与所述无人机连接；所述双目相机的观测方向朝向地面；还包括图像处理运算单元，所述双目相机与所述图像处理运算单元电连；所述图像处理运算单元与无人机飞控系统电连；

具体方法为：

S1、双目图像采集，所述无人机飞行中，通过所述双目相机实时拍摄地面图像，并传入所述图像处理运算单元；

S2、双目视差计算，所述图像处理运算单元依据所述S1中获得的双目图像进行块匹配双目视差计算，获得视差图；

S3、实际高度计算，所述图像处理运算单元依据所述S2中获得的视差图，通过投影变换得到所述无人机的高度图；根据所述高度图获得所述无人机的实际高度；

S4、地表坡度预判，根据相近时间段内地面沿所述无人机飞行方向的坡度变化，计算所述无人机飞行的预期高度；

S5、高度反馈控制，将所述S3中实际高度与所述S4中预期高度相减，获得高度差；所述图像处理运算单元将所述高度差作为控制信号输入所述飞控系统，所述飞控系统对应调整输出给动力系统的控制信号，调整飞行高度，完成一次反馈循环；循环重复S1-S5对所述无人机的飞行高度进行控制，直至完成仿地飞行。

进一步，在所述S2中，块匹配双目视差计算中匹配代价计算采用绝对差值(SAD)，平方差和(SSD)或归一化互相关(NCC)其中一种。

进一步，在所述S3中，通过所述高度图求解实际高度前，对所述高度图进行滤波处理。

更进一步，所述高度图的滤波处理采用平滑滤波器。

进一步，在所述S3中，所述实际高度存在突变情况时，舍弃突变的高度值，并进行重采样，通过重采样后的点对实际高度进行修正。

更进一步，对实际高度的修正方法为：用重采样后的点进行插值计算，插值算法为样条插值，多项式插值、牛顿插值、高次卷积插值其中一种。

进一步，所述无人机下方还安装有m组双目相机，且各双目相机安装方位全不相同；

当垂直于地表方向的双目相机无法拍摄地表图像时；其他双目相机进行多方位拍摄，并分别按照所述S1-S3计算获得实际高度(H_i)，其中i为正整数，且1≤i≤m；

计算无人机实际高度(H)，即：

将所述无人机实际高度(H)带入所述S5中，完成飞行高度调整，重复以上过程直至垂直于地表方向的双目相机可以正常拍摄为止。

更进一步，计算各组双目相机的实际高度(H_i)时进行平移修正，将各组双目相机测量高度换算至垂直于地表方向的双目相机安装位置。

更进一步，计算所述无人机实际高度(H)前针对各组双目相机的实际高度H_i进行异常值剔除。

更进一步，所述无人机进行仿地飞行时，所述飞控系统内建立人工神经网络模型；

当垂直于地表方向的双目相机正常拍摄时，以垂直于地表方向的双目相机计算实际高度(H)为目标结果，以同时刻其他双目相机计算实际高度(H_i)为输入量，实行持续的迭代训练；

当飞行过程中，垂直于地表方向的双目相机出现无法拍摄地表图像的情况时，系统增加修正步骤，即通过所述人工神经网络模型对实际高度(H)进行预测，获得无人机预测高度(H_F)；并对除垂直于地表方向以外的多个双目摄像机计算的无人机实际高度(H)进行修正，获得修正后实际高度(H，)即：

H，＝(H_F+H)/2

其中H，为修正后的实际高度，并将修正后的实际高度(H，)带入所述S5中，完成飞行高度调整，重复以上过程直至垂直于地表方向的双目相机可以正常拍摄为止。

本发明具有如下优点：

本发明通过双目计算机视觉计算高度来进行仿地飞行的思想，保证无人飞行器能安全可靠地仿地飞行，还采用块匹配的方式，保证了视差计算的正确性避免高度计算陷入局部错误点。进一步，针对高度数值突变点，采取了重采样的方式，也避免地表局部很深的凹陷点使得预期飞行轨迹超过飞行器的运动学特性造成坠毁。还采取了多方位设置双目相机，提供了辅助检测手段，避免因植被或障碍物遮挡，导致距地高度无法获取的情况发生。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一个或几个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图中体现的相同结构分布位置及分布数量仅是为了便于描述本发明，而不是指示或暗示所指的结构必须具有特定的方位、分布数量，因此不能理解为对本发明的限制。

图1为本发明仿地飞行高度控制流程图；

图2为本发明双目图像视差示意图；

图3为本发明实际高度计算流程图；

图4为本发明双目成像关系图；

图5为本发明高度重采样后三次样条插值示例图；

图6为本发明高度反馈控制流程图。

具体实施方式

下面结合具体附图1-6对本发明具体实施例进行说明。

一种无人飞行器仿地飞行方法，如图1所示，该方法包含双目图像采集、双目视差解算、高度估算、坡度检测、飞行高度反馈控制几个部分，硬件方面包括：无人机及无人机下方设置的双目相机；双目相机通过云台与无人机连接；双目相机的观测方向朝向地面，即垂直于地表方向；系统还包括图像处理运算单元，即微处理器，双目相机与图像处理运算单元电连；图像处理运算单元与无人机飞控系统电连。

具体方法为：

S1、双目图像采集，无人机飞行中，通过双目相机实时拍摄地表图像，并传入图像处理运算单元。

S2、双目视差计算，图像处理运算单元依据S1中获得的双目图像进行块匹配双目视差计算，双目图像包含左目图像和右目图像，分别为L(x,y)和R(x,y)，如图2所示，对于左目图像中的任意一个像素点l(x,y)，其所对应的像素点是右目图像中的r(x+d,y)，即空间中的该点映射到右目图像平面上比映射到左目图像平面上，水平方向的偏移为d，则d即为该店的视差。

由于对单一的像素点进行左右目视差匹配计算，容易得到错误结果，故采用块匹配的方式，对左右目图像进行匹配。例如选取边长为n的方框，此时对于(x,y)处的像素点，左右目的损失函数为：

c(x,y,d)＝|I_L(x,y)-I_R(x+d,y)|

当c(x,y,d)为最小值时，此时的d即为该像素点的视差。

具体采用SAD算法进行左右目的块匹配计算，即

S3、结合图3所示，实际高度计算中，图像处理运算单元依据S2中获得的视差图，通过投影变换得到无人机距地的高度图；通过视差图计算高度图的过程如图4所示，其中OL、OR分别为左右目相机的光心，OL到OR的距离b是左右目的基线，f是相机的焦距，PL-PR是成像平面，空间中的任一点P分别通过左右目相机最终成像在PL点和PR点，Z是空间点P到相机左右光心平面的距离，根据三角形PL-PR-P相似于三角形OL-OR-P，有比例关系

带入几何关系进行化简，最终得到

其中，Z是空间点P到相机左右光心平面的距离，即地表平面上的一个空间点到相机的高度，通过上式，视差图可以计算得到高度图。

根据高度图获得无人机的实际高度；优选地，由于受相机传感器的噪声影响，高度图含有许多高频噪声分量，故使用平滑滤波器对高度图进行滤波，具体可以采用高斯滤波器、临近平均滤波器、中值滤波器等，以获得较为平滑的有效高度图，并消除噪声，可有效改善图像噪声影响。

由高度图获得实际高度值后，会发现由于实际的地表环境中，可能会出现一个很深凹陷处，故实际高度值存在突变情况，即如图5中高度值的连续线条中存在某点远低于相邻点位的值，例如两棵数目顶端之间的缝隙，无人飞行器的运动学特性使用很难严格的贴近地表飞行，甚至会出现坠毁。故需舍弃突变的高度值，并进行重采样，通过重采样后的点对实际高度进行修正。对实际高度的修正方法为：用重采样后的点进行插值计算，插值算法为样条插值，多项式插值、牛顿插值、高次卷积插值其中一种。本实施例中选用重采样后的点进行三次样条插值，获得新的地表高度，如图5，其中连续实线是原始高度曲线，圆点是重采样的点，虚线是三次样条插值后的高度曲线，进而有效克服了高度值突变的情况。

S4、地表坡度预判，为了提高响应速度，无人机在飞行期间，首先会根据先前的飞行情况产生预估的飞行高度，即采取根据相近时间段内地表沿无人机飞行方向的坡度变化，预估无人机的预期高度；即在一段较短的时间t内，水平前进距离为w，高度上升为h，则这段时间内的坡度为

以当前正下方地表位置坡度为S₀，取相邻的k段时间内坡度进行评估。

S＝M(s₀,s₁,s₂,...,s_k)

其中，M(X₁，X₂….X_n，)是评估函数，输出k+1个位置的整体坡度；S为该段范围的整体坡度。

以整体坡度S输入飞控作为控制量，可以预估下一时间段内坡度情况，进行飞行预判，即推导出下一时间段内的地表变化高度，并获得预期高度；当k取值越大，当前一次飞行控制处理预判的未来状态越大，飞行器的飞行轨迹越平滑。在获得连续性较好的高度信息后，通过反馈控制来保证无人飞行器的飞行高度尽可能贴近理想状况。

S5、高度反馈控制，如图6所示，将S3中实际高度与S4中预期高度相减，获得高度差；图像处理运算单元将高度差作为控制信号输入飞控系统，飞控系统对应调整输出给动力系统的控制信号，调整飞行高度，完成一次反馈循环；循环重复S1-S5对无人机的飞行高度进行控制，直至完成仿地飞行。这样无人机整体可以获得较快的响应速度，同时结合预设飞行路径可获得较为理想的仿地飞行。进一步，以植保工作为例，地表图像包含植被顶部图像，因此可以较好的控制无人机与植被顶部的距离，避免因植被茂密导致无法测量无人机距地面距离，从而实现稳定的飞行，也提升了仿地飞行的安全性。

在本发明的另一个实施例中，无人机下方还安装有m组双目相机，具体可设置四个方向的双目相机，分别位于无人机前、后、左、右，且各双目相机安装方位斜向下，负责拍摄斜下方地表图像；

当垂直于地表方向的双目相机受到遮挡，强光反射，故障等无法拍摄地表图像的情况时；其他四组双目相机进行多方位拍摄，并分别按照S1-S3计算获得相机与观测点的距离。其中S3中计算获得的视差图投影到三维空间的点是相机坐标下的，当相机恰好竖直向下时，此旋转变换可以省略；而侧向设置的四组双目相机为斜向设置，故需要将这些点先旋转变换到世界坐标(大地坐标)下，才能获取高度图，进一步计算得到对应的实际高度H_i。

优选地，多组双目相机同时采集的情况下，由于每组双目相机的安装位置及角度不同，需要对每组双目相机计算得到的高度图进行平移修正，结合当前无人机姿态及个双目相机安装位置信息，将各双目相机测量结果，通过几何换算平移至垂直地表方向的双目相机安装位置，以保证后续取均值处理过程中Hi是不同相机计算得到的同一空间位置的高度，也避免因无人机飞行姿态导致的测量高度误差。

依据各相机拍摄角度核算出实际高度H₁、H₂、H₃、H₄，；优选地，在此步骤中，将异常值进行剔除，以免干扰后续计算。

计算无人机实际高度H，即：H＝(H₁+H₂+H₃+H₄)/4

将无人机实际高度H带入S5中，完成飞行高度调整，重复以上过程直至垂直于地表方向的双目相机可以正常拍摄为止。

多方位拍摄的另一个优势是能获取更大范围的地面坡度信息，进一步，还可以根据侧向设置的多组双目相机拍摄地表坡度变化情况，将其带入S4中，与垂直方向的双目相机坡度预估结果进行拟合，提升无人机预期高度计算的准确性。

在本发明的另一个实施例中，由于仿地飞行场景中大部分地表植高度及分布，又或地形起伏具备一定周期性规律，但是在仿地飞行前并无法系统性获取资料，现有技术中采用的是预先飞行以便记录地表情况，以此作为分析数据，但是这样将导致成本上升，浪费大量时间。在前述实施例中，由于地面可能存在滑坡、断层等显著地质特征，可发现，当无人机沿这些高度变化的边缘飞行时，通过各侧向双目相机结果直接取均值产生的实际高度要低于真实情况下的无人机距地表高度，因此，在本实施例中，进一步通过搭建神经网络进行实时高度预测，可以很好的解决这个问题，实现更加精准的仿地飞行。

具体方法为：针对设有多方位的双目相机的情况下，在计算实际高度H后增加一步修正过程，修正数据来源于无人机飞行初始阶段建立的人工神经网络模型，无人机进行仿地飞行的初始阶段即在飞控系统内建立人工神经网络模型，当垂直于地表方向的双目相机正常拍摄时，以垂直于地表方向的双目相机计算实际高度H为目标结果，以同时刻其他双目相机计算实际高度H_i为输入量，实行持续的迭代训练，不断强化模型，期间并不进行修正工作。

飞行过程中，当垂直于地表方向的双目相机出现无法拍摄地表图像时，此时增加修正步骤，即停止对人工神经网络模型进行训练，将此时段侧向双目相机计算获得的实际高度H₁、H₂、H₃、H₄作为输入变量，输入人工神经网路，通过人工神经网络模型对实际高度H进行预测，输出结果作为当前无人机的预测高度H_F；

优选地，当已有临近区域的飞行数据时，可将其作为本次飞行的初始数据库带入模型进行预先训练，以便扩大样本数量，增加模型精确度；进一步也防止初始飞行阶段既出现垂直于地表方向的双目相机出现无法拍摄地表图像，又因此时样本过少，模型精确度不够，进而导致修正结果偏差较大的情况发生。

对计算的无人机实际高度H进行修正，获得修正后实际高度H，即：

H’＝(H_F+H)/2

其中H’为修正后的实际高度，不再以实际高度H进行后续计算、调整，而将修正后的实际高度H’带入S5中，重复以上过程直至垂直于地表方向的双目相机可以正常拍摄为止。

以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种无人飞行器仿地飞行方法，包括：无人机及所述无人机下方设置的双目相机；所述双目相机通过云台与所述无人机连接；所述双目相机的观测方向朝向地面；还包括图像处理运算单元，所述双目相机与所述图像处理运算单元电连；所述图像处理运算单元与无人机飞控系统电连；

其特征在于，具体方法为：

S1、双目图像采集，所述无人机飞行中，通过所述双目相机实时拍摄地面图像，并传入所述图像处理运算单元；

S2、双目视差计算，所述图像处理运算单元依据所述S1中获得的双目图像进行块匹配双目视差计算，获得视差图；

S3、实际高度计算，所述图像处理运算单元依据所述S2中获得的视差图，通过投影变换得到所述无人机的高度图；根据所述高度图获得所述无人机的实际高度；

S4、地表坡度预判，根据相近时间段内地面沿所述无人机飞行方向的坡度变化，计算所述无人机飞行的预期高度；

S5、高度反馈控制，将所述S3中实际高度与所述S4中预期高度相减，获得高度差；所述图像处理运算单元将所述高度差作为控制信号输入所述飞控系统，所述飞控系统对应调整输出给动力系统的控制信号，调整飞行高度，完成一次反馈循环；循环重复S1-S5对所述无人机的飞行高度进行控制，直至完成仿地飞行。

2.根据权利要求1所述的仿地飞行方法，其特征在于，在所述S2中，块匹配双目视差计算中匹配代价计算采用绝对差值(SAD)，平方差和(SSD)或归一化互相关(NCC)其中一种。

3.根据权利要求1所述的仿地飞行方法，其特征在于，在所述S3中，通过所述高度图求解实际高度前，对所述高度图进行滤波处理。

4.根据权利要求3所述的仿地飞行方法，其特征在于，所述高度图的滤波处理采用平滑滤波器。

5.根据权利要求1所述的仿地飞行方法，其特征在于，在所述S3中，所述实际高度存在突变情况时，舍弃突变的高度值，并进行重采样，通过重采样后的点对实际高度进行修正。

6.根据权利要求5所述的仿地飞行方法，其特征在于，对实际高度的修正方法为：用重采样后的点进行插值计算，插值算法为样条插值，多项式插值、牛顿插值、高次卷积插值其中一种。

7.根据权利要求1所述的仿地飞行方法，其特征在于，所述无人机下方还安装有m组双目相机，且各双目相机安装方位全不相同；

当垂直于地表方向的双目相机无法拍摄地表图像时；其他双目相机进行多方位拍摄，并分别按照所述S1-S3计算获得实际高度(H_i)，其中i为正整数，且1≤i≤m；

计算无人机实际高度(H)，即：

将所述无人机实际高度(H)带入所述S5中，完成飞行高度调整，重复以上过程直至垂直于地表方向的双目相机可以正常拍摄为止。

8.根据权利要求7所述的仿地飞行方法，其特征在于，计算各组双目相机的实际高度(H_i)时进行平移修正，将各组双目相机测量高度换算至垂直于地表方向的双目相机安装位置。

9.根据权利要求7或8所述的仿地飞行方法，其特征在于，计算所述无人机实际高度(H)前针对各组双目相机的实际高度(H_i)进行异常值剔除。

10.根据权利要求7或8所述的仿地飞行方法，其特征在于，所述无人机进行仿地飞行时，所述飞控系统内建立人工神经网络模型；

当垂直于地表方向的双目相机正常拍摄时，以垂直于地表方向的双目相机计算实际高度(H)为目标结果，以同时刻其他双目相机计算实际高度(H_i)为输入量，实行持续的迭代训练；

当飞行过程中，垂直于地表方向的双目相机出现无法拍摄地表图像的情况时，系统增加修正步骤，即通过所述人工神经网络模型对实际高度(H)进行预测，获得无人机预测高度(H_F)；

并对除垂直于地表方向以外的多个双目摄像机计算的无人机实际高度(H)进行修正，获得修正后实际高度(H’)即：

H’＝(H_F+H)/2

其中H’为修正后的实际高度，并将修正后的实际高度(H’)带入所述S5中，完成飞行高度调整，重复以上过程直至垂直于地表方向的双目相机可以正常拍摄为止。

Images