CN109917813A - 无人机自主飞行三维场景显示方法及终端 - Google Patents

Abstract

本发明涉及无人机技术领域，具体为一种无人机自主飞行三维场景显示方法及终端，该方法包括以下步骤：采集作业区域的空间测绘数据，生成空间数据模型；根据空间数据模型建立作业区域三维实景模型；对三维实景模型进行简化处理，生成简化模型，并发送给客户端；客户端接收并显示简化模型；根据空间数据模型生成路径规划信息，并发送客户端；客户端接收并显示路径规划信息。本发提供的无人机自主飞行三维场景显示方法及终端，能够建立作业区域三维实景模型，使作业人员直观的查看作业区域的相关信息。

Description

无人机自主飞行三维场景显示方法及终端

技术领域

本发明涉及无人机技术领域，具体为一种无人机自主飞行三维场景显示方法及终端。

背景技术

无人机作业过程中，需要使用相关终端对无人机的作业情况进行监控，相关技术通常是采用二维作业区域地理信息图来展示作业区域信息，并用一个点来指示无人机的位置信息，通过上述手段，使得作业人员能够对无人机的作业状态进行监控，但是二维图像所能展示的内容有限，作业人员无法直观的查看到作业区域的信息，仅仅使用二维图像无法让作业人员全面掌握作业状态，如无人机与当前位置地表之间的间距、无人机航线上的地形变化信息等，进而不利于作业人员可能提前对作业可能存在的问题进行判断。

发明内容

本发明意在提供一种无人机自主飞行三维场景显示方法以及无人机自主飞行三维场景显示系统，能够建立作业区域三维实景模型，使作业人员直观的查看作业区域的相关信息。

为了解决上述技术问题，本申请提供如下技术方案：

无人机自主飞行三维场景显示方法，包括以下步骤：采集作业区域的空间测绘数据，生成空间数据模型；根据空间数据模型建立作业区域三维实景模型；对三维实景模型进行简化处理，生成简化模型；将简化模型发送给客户端供客户端进行显示。

基础方案的有益效果：本申请中，通过采集作业区域的空间测绘数据，建立作业区域的三维实景模型，再下发到客户端上，进而可以使得用户通过客户端更加直观的查看作业区域的相关信息，可以实时的观察无人机的作业情况，在可能出现问题时，可以及时对无人机进行相关操作，避免危险发生。同时，本方案中，通过服务器对三维实景模型进行简化处理之后再下发给客户端，一方面，可以降低数据的传输量，提高数据传输速度，另一方面，可以降低客户端的显示三维实景模型所需的性能开销，保证显示的流畅度，降低客户端的硬件要求。

可选的，还包括以下内容：

根据空间数据模型生成路径规划信息；

将路径规划信息发送给客户端供客户端进行显示。

有益效果：服务器根据空间数据模型，规划出无人机三维的行进路线，相比于使用二维地图数据来进行路径规划，无需人工对作业区域障碍物进行标志打点操作，同时无人机自身无需进行避障判断与避障操作，无需配备额外的避障探测辅助设备，可以简化无人机系统的控制逻辑，降低无人机开发难度和成本。同时通过将路径规划信息发送给客户端显示，用户可以通过客户端可以查看规划的路径，有利于作业的正常开展。

可选的，对三维实景模型的简化处理包括使用减面算法对三维实景模型进行减面处理。

有益效果：通过减面算法处理，可以在保证模型准确度的前提下，减少三维实景模型的点面数量，进而极大的缩小三维实景模型显示、传输所需的资源。

可选的，还包括：

获取用户设置信息，并发送给服务器；

服务器根据用户设置信息和空间数据模型生成路径规划信息。

有益效果：在生成路径信息时，可以由用户输入设定的参数，以实现针对性的调整和设置。

可选的，还包括：

获取无人机状态信息并发送给客户端供客户端进行显示；

可选的，还包括：

获取用户操作信息并上传至服务器；

服务器根据用户操作信息对无人机飞行状态进行调控。

有益效果：通过获取无人机的状态并通过客户端进行叠加显示，可以让用户实时查看无人机的位置和运行状态，通过获取用户操作信息并根据用户操作信息对无人机进行调控，可以方便作业人员在客户端实时观察无人机自主作业的飞行状态，在出现问题时对无人机进行相关操作，避免发生危险。

可选的，采集作业区域的空间测绘数据通过倾斜摄影、激光雷达程序、数字航摄仪、人工打点测量中的一种或多种方式实现。

可选的，空间数据模型为数字表面模型。

可选的，空间测绘数据包括地表地理信息和地表附属物地理信息。

本申请还公开了一种无人机自主飞行三维场景显示终端，所述无人机自主飞行三维场景显示终端应用了上述的无人机自主飞行三维场景显示方法。

附图说明

图1为本公开无人机自主飞行三维场景显示方法实施例中的流程图；

图2为本公开无人机自主飞行三维场景显示方法实施例中初始二维航线生成结果示意图；

图3为本公开无人机自主飞行三维场景显示方法实施例中飞行路线生成结果示意图；

图4为本公开无人机自主飞行三维场景显示方法实施例中启航路径生成原理示意图；

图5为本公开无人机自主飞行三维场景显示方法实施例中理想航线生成原理示意图；

图6为本公开无人机自主飞行三维场景显示方法实施例中当前航向调整选择原理示意图

图7为本公开无人机自主飞行三维场景显示方法实施例中无人机机身覆盖区域示意图

图8为本公开无人机自主飞行三维场景显示方法实施例中航点生成原理示意图。

具体实施方式

下面通过具体实施方式可选的详细说明：

说明书附图中的标记包括：作业区域1、转线航线2、理想航线3、启航路径4、停放点5、作业起点6、障碍区域7、飞行路线8、航点9。

如图1所示，本实施例一方面提供一种无人机自主飞行三维场景显示方法，该方法包括以下步骤：

采集作业区域1的空间测绘数据，生成空间数据模型；采集作业区域1的空间测绘数据通过倾斜摄影、激光雷达程序、数字航摄仪、人工打点测量中的一种或多种方式实现，本实施例中，采用倾斜摄影的方式获取作业区域1的空间测绘数据。

空间测绘数据包括地表地理信息和地表附属物地理信息。本实施例中空间数据模型为数字表面模型，即DSM，本实施例的DSM数据是作业区域1的DSM以摄影精度为参数将DSM栅格化生成DSM栅格图。

根据空间数据模型建立作业区域1三维实景模型；本实施中，根据DSM数据生成矢量轮廓数据，利用矢量数据的轮廓信息，通过DSM高度匹配算法，获取矢量数据对应的地表的高度信息，然后使用默认的纹理数据的文件，快速生成三维模型。

对三维实景模型进行简化处理，生成简化模型；对三维实景模型的简化处理包括使用减面算法对三维实景模型进行减面处理。本实施例中，采用的是Melax Mesh减面算法。

客户端获取用户设置信息，并发送给服务器；用户设置信息包含了作业区域边界、无人机飞行方向、作业间距、最佳作业起点等数据。

根据空间数据模型和用户设置信息生成路径规划信息；

向客户端发送简化模型以及路径规划信息；

客户端接收路径规划信息和简化模型并进行显示。

该方法还包括以下步骤：

获取无人机状态信息并发送给客户端；无人机状态信息包括但不限于无人机的定位信息、电量信息、载药信息等。

客户端在简化模型的基础上实时显示无人机的状态信息；

客户端获取用户操作信息并上传至服务器；用户的操作信息指的是用户对无人机的远程操控信息，例如，召回至起点位置、遥控飞行方向、调节飞行速度、停止作业、继续作业等。

服务器根据用户操作信息对无人机飞行状态进行调控。当用户通过客户端查看到无人机当前的电量不足时，可以手动通过客户端发送召回指令，将无人机召回至起点位置，进而更换电池，用户还可以根据无人机的飞行状态实时的通过服务器对无人机进行远程遥控。

生成路径规划信息时，执行以下步骤：

根据起点位置和目标位置生成理想航线；

根据起点位置和目标位置生成初始二维航线；

如图2所示，飞行路径包括启航路径4和作业路径，启航路径4指的就是无人机从停放点5飞行到作业起点6的路径，整个启航路径4都是非作业航线，无人机在启航路径4上并不执行作业工作。生成启航路径4时，起点位置为无人机的停放点5，目标位置为无人机的作业起点6，初始二维航线为从无人机的起点位置到目标位置之间的直线。

作业路径的初始二维航线包括理想航线3和转线航线2，作业路径的初始二维航线生成包括以下步骤：

根据作业区域1边界以及设定参数，生成若干等间距的理想航线3；

根据理想航线3和作业区域1边界生成转线航线2。

然后以起点位置为当前航点，执行以下步骤：

S100：判断当前航点与初始二维航线之间是否有偏移，若当前航点与初始二维航线之间没有偏移，则以初始二维航线方向为当前航向；若当前航点与初始二维航线之间有偏移，则判断当前航向是否为远离初始二维航线的方向，若当前航向为远离初始二维航线的方向，则以初始二维航线的方向为当前航向，若当前航向不为远离初始二维航线的方向，则以向当前航点向初始二维航线靠近的方向为当前航向；

S200：以当前航点为起点，沿着当前航向，按照预设的间隔生成下一个航点9；

S300：判断下一个航点9是否为可飞行航点9，若下一个航点9为可飞行航点9，则标记下一个航点9为最终航点，同时设置最终航点的飞行高度，飞行高度为最终航点对应的无人机覆盖区域内的最高点的高度加上预设的调整值。

并令的下一个航点9作为当前航点；执行S100直至下一个航点9为目标位置；

若下一个航点9不是可飞行航点9，则调整当前航向，执行S200；

本实施例中，当前航向以初始二维航线的航向为前，划分为前、后、左、右四个航向。再调整航向时，若向右，即顺时针90°的方向和向左，即顺时针270°的方向皆可绕行，则计算两个方向的绕行距离并去绕行距离较短的路径。

如图6，90°方向绕行距离为3*RX+4*RY、270°方向绕行距离为3*RX+2*RY；所以应往270°方向绕行。若皆不可绕行，则回退至绕行起点的前一点重新进行绕行。

最终航点生成完毕后，连接起点位置和目标位置之间的最终航点，生成飞行路线8，如图3所示。

本实施例中，飞行路径包括作业航线和非作业航线，作业航线由作业航点9构成，非作业航线由非作业航点9构成，在上述的S100中，若当前航点与初始二维航线之间有偏移，则设定当前航点为非作业航点9，若当前航点与初始二维航线之间没有偏移，则设定当前航点为作业航点9，无人机作业时，仅在作业航线进行作业

预设的间隔在当前航向与初始二维航线的方向相同时小于等于无人机前后机身长度；预设的间隔在当前航向与理想的航线的方向垂直时小于等于无人机左右机身的长度。

如图4所示，以植保作业的启航路径4为例，需要说明的是，本申请不仅限于植保无人机的作业，对于其他的无人机作业类型，也是适用的，服务器生成启航路径4时，首先根据无人机操控设备传回的作业边界数据、无人机当前的停放点5，判断无人机的最佳作业起点6，以无人机当前停放点5作为启航路径4的起点，以最佳作业起点6作为启航路径4的终点，即可得到无人机从停放点5飞行到作业起点6的直线作为初始二维航线，即启航路径4。

如图8所示，将初始二维航线划分为若干个以无人机当前的停放点5为起点，间隔为无人机前后机身长度，终点为作业起点6的航点9阵列。

以无人机的当前的停放点5作为最开始的当前航点，以向前作为当前航向，判断当前航点的下一个航点9是否为可飞行航点9，如果下一个航点9是可飞行航点9，则标记下一个航点9为最终航点，并以下一个航点9作为当前航点重复进行上述判断，直至最终取到作业起点6。

如果下一个航点9不是可飞行航点9，那么就向当前航向的垂直方向，也即向左或向右的方向为当前航向，以当前航点为绕行起点并记录，重新取下一个航点9，并重新判断是否为可飞行航点9，如果是可飞行航点9则，将其设为最终航点和当前航点，并继续选取和判断后续的航点9，如果左右方向均不可行，则后退至最近的绕行起点的上一个航点9，重新选取上一个航点9的航向，这样子可以实现通过向左右两侧平移绕过障碍区域7。

为了使得无人机在绕过障碍区域7后能够及时回到初始二维航线上，在选取航向时，会首先判断当前航点是不是与初始二维航线有偏移，如果是，则应该首先将向初始二维航线靠近的方向作为当前航向来选取航点9。为了避免平移后发生回退的情况，还应该判断上一次的移动是不是朝着远离初始二维航线的方向，如果是，则当前的航向不应该设置为靠近初始二维航线的方向。

当向左或向右绕行皆可绕过障碍区域7时，则在绕行起点处，分别进行两个方向的绕行长度，即沿两个方向分别完成绕行，当航点9回归到初始二维航线上后，记录第一个回归到初始二维航线的航点9为绕行终点。以绕行起点和绕行终点之间的路径长度作为绕行距离，判断左右绕行距离长短，取较短绕行方向为最终绕行路线，如果向左绕行和向右绕行的路线一样长，则默认取右边绕行。

如图7所示，设无人机机身覆盖区域为R1，无人机与初始二维航线的偏移量为offset，offset为偏移的航点9数量，无人机是否向处于平行避障的参数对应为is_parallel_movement，默认为False，绕行起点为avoid_start_point,绕行终点avoid_stop_point。

若Offset为0，即没有离开原航线，则以起启航路径4的方向为当前航向，使得R1前移了一个航点9，通过R1覆盖区域内的高度参数，判断R1对应的区域是否为可飞行区域，进而得知该航点9是否为可飞行航点9，若是则令该航点9为最终航点，并继续沿着起启航路径4方向向后取航点9和判断。

若Offset为0，则设置当前航点为作业航点9，否则为非作业航点9，还要判断is_parallel_movement是否为True，进而可知无人机上一个航点9是否是在绕行避障，若是则标记当前航点为绕行终点，将is_parallel_movement设置为False。

如果当前航点不是可飞行航点9，则将R1向垂直于起启航路径4的方向，本实施例中为顺时针90°的方向，将此点设置为绕行起点，移动一个无人机左右机身的长度的距离，得到另一个航点9，使用同样方法，判定R1当前对应的航点9是否为可飞行航点9。

如果继续判定为不可飞行航点9，则R1回退至上一个点且向另一个垂直方向，即顺时针270°的方向，将此点设置为绕行起点，移动一个无人机左右机身的长度的距离，得到另一个航点9，判定R1当前对应的航点9是否为可飞行航点9，假设两个方向移动后，R1所对应的航点9，都不是可飞行航点9，则回退两个航点9，再重复在垂直于起启航路径4的方向上取航点9进行判断。

若沿着90°的方向或270°的方向移动一个航点9后，R1对应区域为可飞行区域，则设置相应的offset，且设置is_parallel_movement为True。

若Offset不为0，且is_parallel_movement不是True，则首先尝试向起启航路径4方向移动航点9。

在选择向90°的方向或270°的方向绕行时，会分别计算左右两个方向的绕行长度，即分别以两个方向完成绕行，绕行结束后，计算绕行起点和绕行终点之间的绕行长度，绕行长度按公式X1*RX+Y1*RY来计算，X1表示绕行起点和绕行终点之间横向移动的航点9数量，Y1表示绕行起点和绕行终点纵向移动的航点9数量，RX表示无人机对应的区域R1的宽度，RY表示无人机对应区域R1的长度，最终取绕行距离较短的绕行方向。

当航点9取到起启航路径4的最后一个点，即作业起点6时，依次连接最终航点，生成飞行路线8，飞行路线8中，各个最终航点的飞行高度为最终航点对应的无人机覆盖区域内的最高点的高度加上预设的调整值，本实施例中，调整值为1m，如R1对应的作业区域1内的栅格的最大值为97.8m，则该区域对应的航点9的高程值为98.8m，即无人机在此区域内的飞行高度设置为98.8m。

判断航点9是否为可飞行航点9时执行以下步骤：

以航点9位置为中心生成无人机覆盖区域；

根据三维数据模型的对应区域，判断是否满足无人机覆盖区域的最高点和最低点的高度差值小于预设的第一高度差且无人机覆盖区域的最低点与航点9的前一个航点9的无人机覆盖区域的最高点的差值小于预设的第二高度差的条件，若满足条件，则航点9为可飞行航点9，若不满足条件，则航点9为不可飞行航点9。

另一方面，本实施例还公开了使用上述无人机作业方法的无人机作业系统，该系统包括数据采集装置、服务器、无人机以及用户终端，数据采集装置采集DSM数据，服务器接收DSM数据，并对DSM数据进行处理，服务器包括DSM数据处理模块、路径规划生成模块以及数据模型生成模块，DSM数据处理模块用于对采集的DSM数据进行处理，得到能直接反映作物范围对应的作业区域1当前的地面高度的数字表面模型栅格数据；数据模型生成模块用于根据数字表面模型栅格模型数据生成三维模型，并进行相应简化和减面处理，并发送给用户终端，用户终端用于显示三维模型，并供用户输入设置参数，如作业间隔、作业方向等；

路径规划生成模块采用上述的方法，生成启航路径4和作业路径，并将相关路径发送给用户端以及无人机。

无人机用于根据服务器下发的路径进行飞行和作业，并采集相关视频和位置信息上传给服务器，用户终端还用于通过服务器获取无人机的位置以及相关视频信息并供用户进行查看。

作业路径生成时，S100中若当前航点与初始二维航线之间不存在偏移，则还会判断当前航向是否是靠近初始二维航线的方向，若当前航向是靠近初始二维航线的方向，则令当前航向为初始二维航线的方向相反。具体的，若当前航向是靠近初始二维航线的方向，则执行S500：调整当前航向为初始二维航线的方向相反的方向，沿着当前航向，按照预设的间隔生成下一个航点9；判断下一个航点9是否为可飞行航点9，若下一个航点9为可飞行航点9，则标记下一个航点9为最终航点，并令下一个航点9作为当前航点，重复执行S500；若下一个航点9为不可飞行航点9，则调整当前航向为初始二维航线的方向，并继续执行S100。如图5所示，通过上述设置，可以在避障并回归初始二维航线后，反向作业，进而可以实现最大的作业面积，避免因避障而遗漏部分作业区域1，提高作业覆盖范围。

另一方面，本实施例还提供了一种无人机自主飞行显示终端，该无人机自主飞行显示终端应用了上述的无人机自主飞行三维场景显示方法。

以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.无人机自主飞行三维场景显示方法，其特征在于：包括以下步骤：

采集作业区域的空间测绘数据，生成空间数据模型；

根据空间数据模型建立作业区域三维实景模型；

对三维实景模型进行简化处理，生成简化模型；

将简化模型发送给客户端供客户端进行显示。

2.根据权利要求1所述的无人机自主飞行三维场景显示方法，其特征在于：还包括以下内容：

根据空间数据模型生成路径规划信息，

将路径规划信息发送给客户端供客户端进行显示。

3.根据权利要求1所述的无人机自主飞行三维场景显示方法，其特征在于：对三维实景模型的简化处理包括使用减面算法对三维实景模型进行减面处理。

4.根据权利要求1所述的无人机自主飞行三维场景显示方法，其特征在于：还包括：

获取用户设置信息，并发送给服务器；

服务器根据用户设置信息和空间数据模型生成路径规划信息。

5.根据权利要求1所述的无人机自主飞行三维场景显示方法，其特征在于：还包括：

获取无人机状态信息并发送给客户端供客户端进行显示。

6.根据权利要求1所述的无人机自主飞行三维场景显示方法，其特征在于：还包括：

获取用户操作信息并上传至服务器；

服务器根据用户操作信息对无人机飞行状态进行调控。

7.根据权利要求1所述的无人机自主飞行三维场景显示方法，其特征在于：采集作业区域的空间测绘数据通过倾斜摄影、激光雷达程序、数字航摄仪、人工打点测量中的一种或多种方式实现。

8.根据权利要求1所述的无人机自主飞行三维场景显示方法，其特征在于：空间数据模型为数字表面模型。

9.根据权利要求1所述的无人机自主飞行三维场景显示方法，其特征在于：空间测绘数据包括地表地理信息和地表附属物地理信息。

10.无人机自主飞行三维场景显示终端，其特征在于：应用了如权利要求1-9中任一项所述的无人机自主飞行三维场景显示方法。