CN108646770A - 一种无人机飞行控制方法、装置及系统 - Google Patents

Abstract

本发明公开一种无人机飞行控制方法、装置及系统。其中，该方法包括：接收无人机发送的三维信息；根据所述三维信息搭建虚拟飞行界面；基于所述虚拟飞行界面对所述无人机进行控制。通过本发明，无人机在飞行过程中采集当前的三维信息，将三维信息发送至终端侧，终端根据三维信息搭建虚拟飞行界面，从而基于虚拟飞行界面对无人机进行控制。通过本发明，在无人机距离较远或者视线范围以外的地方，操作人员通过终端的虚拟飞行界面即可实现对无人机的精准控制，提升无人机的控制效果。

Description

一种无人机飞行控制方法、装置及系统

技术领域

本发明涉及通信技术领域，具体而言，涉及一种无人机飞行控制方法、装置及系统。

背景技术

目前，无人机的应用非常广泛。无人机(也可称为无人驾驶飞机)，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。无人机实际上是无人驾驶飞行器的统称，从技术角度定义可以分为：无人固定翼飞机、无人垂直起降飞机、无人飞艇、无人直升机、无人多旋翼飞行器、无人伞翼机等。与载人飞机相比，它具有体积小、造价低、使用方便、对作战环境要求低、战场生存能力较强等优点。

无人机按应用领域，可分为军用方面与民用方面。军用方面，无人机分为侦察机和靶机。民用方面，无人机的行业应用，是无人机真正的刚需。目前在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用，大大地拓展了无人机本身的用途，发达国家也在积极扩展行业应用与发展无人机技术。

目前，针对无人机的飞行控制，主要是由操作人员观察无人机的飞行位置以及姿态，然后，采用遥控器等设备进行无人机的控制。当无人机远距离飞行时，或者在操作人员视线看不到的地方飞行时，无法实现对无人机的有效控制，控制效果就会大打折扣，而且会很危险。

针对现有技术中如何实现对无人机的远距离有效控制的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例中提供一种无人机飞行控制方法、装置及系统，以解决现有技术中如何实现对无人机的远距离有效控制的问题。

为解决上述技术问题，本发明提供了一种无人机飞行控制方法，应用于终端，其中，该方法包括：接收无人机发送的三维信息；根据所述三维信息搭建虚拟飞行界面；基于所述虚拟飞行界面对所述无人机进行控制。

进一步地，所述三维信息至少包括以下之一：位姿信息、所述三维点云信息；所述位姿信息至少包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

进一步地，根据所述三维信息搭建虚拟飞行界面，包括：根据所述三维信息中的三维点云信息构建实时三维场景图像；根据所述三维信息中的位姿信息确定所述无人机所在位置和当前姿态；根据所述实时三维场景图像，所述无人机所在位置和当前姿态，搭建当前的虚拟飞行界面。

进一步地，所述虚拟飞行界面中构建虚拟无人机，所述虚拟无人机根据控制进行姿态转换。

本发明还提供了一种无人机飞行控制方法，应用于无人机，其中，该方法包括：根据所处环境构建三维地图，并基于所述三维地图获取三维信息；将所述三维信息发送至终端；其中，所述三维信息用于生成所述无人机的虚拟飞行界面。

进一步地，所述三维信息至少包括以下之一：位姿信息、所述三维点云信息；所述位姿信息至少包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

进一步地，根据所处环境构建三维地图，包括：采用SLAM技术构建三维地图。

进一步地，基于所述三维地图获取三维信息，包括：根据所述三维地图确定所述位姿信息；确定所述摄像头拍摄的各个像素点，将所述像素点在所述三维地图上对应的信息确定为所述三维点云信息。

进一步地，将所述三维信息发送至终端，包括：通过自身携带的SIM卡将所述三维信息发送至终端。

进一步地，所述虚拟飞行界面中构建虚拟无人机，所述虚拟无人机根据控制进行姿态转换。

本发明还提供了一种无人机飞行控制装置，应用于终端，其中，该装置包括：信息接收模块，用于接收无人机发送的三维信息；搭建模块，用于根据所述三维信息搭建虚拟飞行界面；控制模块，用于基于所述虚拟飞行界面对所述无人机进行控制。

进一步地，所述三维信息至少包括以下之一：位姿信息、所述三维点云信息；所述位姿信息至少包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

进一步地，所述搭建模块包括：图像构建单元，用于根据所述三维信息中的三维点云信息构建实时三维场景图像；处理单元，用于根据所述三维信息中的位姿信息确定所述无人机所在位置和当前姿态；界面搭建单元，用于根据所述实时三维场景图像，所述无人机所在位置和当前姿态，搭建当前的虚拟飞行界面。

本发明还提供了一种无人机飞行控制装置，应用于无人机，其中，该装置包括：信息处理模块，用于根据所处环境构建三维地图，并基于所述三维地图获取三维信息；信息发送模块，用于将所述三维信息发送至终端；其中，所述三维信息用于生成所述无人机的虚拟飞行界面。

进一步地，所述三维信息至少包括以下之一：位姿信息、所述三维点云信息；所述位姿信息至少包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

进一步地，所述信息处理模块包括：第一确定单元，用于根据所述三维地图确定所述位姿信息；第二确定单元，用于确定所述摄像头拍摄的各个像素点，将所述像素点在所述三维地图上对应的信息确定为所述三维点云信息。

本发明还提供了一种无人机飞行控制系统，其中，该系统至少包括：上述的无人机飞行控制装置，以及上述的无人机飞行控制装置。

应用本发明的技术方案，无人机在飞行过程中采集当前的三维信息，将三维信息发送至终端侧，终端根据三维信息搭建虚拟飞行界面，从而基于虚拟飞行界面对无人机进行控制。通过本发明，在无人机距离较远或者视线范围以外的地方，操作人员通过终端的虚拟飞行界面即可实现对无人机的精准控制，提升无人机的控制效果。

附图说明

图1是根据本发明实施例的应用于终端的无人机飞行控制方法的流程图；

图2是根据本发明实施例的应用于无人机的无人机飞行控制方法的流程图；

图3是根据本发明实施例的无人机控制示意图；

图4是根据本发明实施例的一种应用于终端的无人机飞行控制装置的结构示意图；

图5是根据本发明实施例的一种应用于无人机的无人机飞行控制装置的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细描述，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(PersonalDigital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定移动终端。

后续描述中将以终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

实施例一

本实施例针对终端侧的无人机飞行控制方法进行介绍。图1是根据本发明实施例的应用于终端的无人机飞行控制方法的流程图，如图1所示，该方法包括以下步骤：

步骤S101，终端接收无人机发送的三维信息；

步骤S102，终端根据三维信息搭建虚拟飞行界面；

步骤S103，终端基于虚拟飞行界面对无人机进行控制。

通过本实施例，无人机在飞行过程中采集当前的三维信息，将三维信息发送至终端侧，终端根据三维信息搭建虚拟飞行界面，从而基于虚拟飞行界面对无人机进行控制。通过本发明，在无人机距离较远或者视线范围以外的地方，操作人员通过终端的虚拟飞行界面即可实现对无人机的精准控制，提升无人机的控制效果。

本实施例中涉及的无人机，为了方便与终端通讯，一般自身携带有通信模块(例如：网络通信SIM卡)，用于将三维信息发送至终端。基于此，本发明实施例提供了一种优选实施方式，即接收无人机发送的三维信息，可以包括：接收无人机通过SIM卡发送的三维信息。从而实现无人机与终端的便捷通讯，进一步加强终端对无人机的控制。

需要说明的是，本实施例中涉及的三维信息至少可以包括以下之一：位姿信息、三维点云信息。位姿信息可以理解为无人机的当前位置和姿态信息，至少可以包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。根据激光测量原理得到的点云，包括三维坐标(XYZ)和激光反射强度(Intensity)。根据摄影测量原理得到的点云，包括三维坐标(XYZ)和颜色信息(RGB)。结合激光测量和摄影测量原理得到点云，包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。点云的属性包括：空间分辨率，点位精度，表面法向量等。在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(Point Cloud)。

终端接收到三维信息后，可以根据三维信息搭建出虚拟飞行界面，对于具体如何实现，本发明实施例提供了一种优选实施方式，即根据三维信息中的三维点云信息构建实时三维场景图像；根据三维信息中的位姿信息确定无人机所在位置和当前姿态；根据实时三维场景图像，无人机所在位置和当前姿态，搭建当前的虚拟飞行界面。该虚拟飞行界面中可构建虚拟无人机，虚拟无人机根据控制进行姿态转换，通过虚拟飞行界面可以实时展现无人机的飞行状态(例如飞行位置、当前姿态)，还可以直观展示无人机所拍摄的画面。基于该虚拟飞行界面，操作人员可以更加方便直观的对无人机进行操控。

实施例二

本实施例针对无人机侧的无人机飞行控制方法进行介绍。图2是根据本发明实施例的应用于无人机的无人机飞行控制方法的流程图，如图2所示，该方法包括以下步骤：

步骤S201，无人机根据所处环境构建三维地图，并基于三维地图获取三维信息；

步骤S202，无人机将三维信息发送至终端；其中，三维信息用于生成无人机的虚拟飞行界面。

通过本实施例，无人机在飞行过程中采集当前的三维信息，将三维信息发送至终端侧，终端根据三维信息搭建虚拟飞行界面，从而基于虚拟飞行界面对无人机进行控制。通过本发明，在无人机距离较远或者视线范围以外的地方，操作人员通过终端的虚拟飞行界面即可实现对无人机的精准控制，提升无人机的控制效果。

需要说明的是，本实施例中涉及的三维信息至少可以包括以下之一：位姿信息、三维点云信息。位姿信息可以理解为无人机的当前位置和姿态信息，至少可以包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

SLAM(simultaneous localization and mapping，即时定位与地图构建)技术，也称为CML(Concurrent Mapping and Localization，并发建图与定位)技术。SLAM最早由Smith、Self和Cheeseman于1988年提出。由于其重要的理论与应用价值，被很多学者认为是实现真正全自主移动机器人的关键。

在本实施例中，通过无人机上的摄像头拍摄二维画面，采用SLAM技术可以实现对三维地图的构建，提高三维地图的实时性、有效性和准确度。在构建三维地图之后，可以基于三维地图获取三维信息，对于具体如何实现，本发明实施例提供了一种优选实施方式，即根据三维地图确定位姿信息；确定摄像头拍摄的各个像素点，将像素点在三维地图上对应的信息确定为三维点云信息。前面已经对位姿信息和三维点云信息进行了介绍，在此不再赘述。

在构建三维地图之后，基于三维地图获取三维信息，之后需要将三维信息发送至终端，本实施例中涉及的无人机，为了方便与终端通讯，一般自身携带有通信模块(例如：网络通信SIM卡)，用于将三维信息发送至终端。上述三维信息用于在终端侧生成无人机的虚拟飞行界面，该虚拟飞行界面中可构建虚拟无人机，虚拟无人机根据控制进行姿态转换，操作人员可以通过终端的虚拟飞行界面实现对无人机的精准控制，提升无人机的控制效果。

图3是根据本发明实施例的无人机控制示意图，如图3所示，终端通过网络接收无人机同SIM卡发送的信息，操作人员通过手机等终端操控无人机。在本发明的技术方案中，无人机设备采用自身的摄像头，在飞行过程中基于SLAM(即时定位与地图构建)技术对所处环境实时构建三维地图，获取无人机自身的位姿信息和三维点云等信息，通过无人机上携带的网络通信SIM卡将上述信息传输到终端(例如：手机)。手机端即可获得无人机飞行环境的实时场景，以及无人机的位置和姿态等信息，在手机界面上根据此信息构建无人机的虚拟飞行界面，模拟其真实姿态和真实场景，操作人员可以通过上述虚拟飞行界面对无人机进行飞行控制。

实施例三

本实施例针对终端侧的无人机飞行控制装置进行介绍。请参阅图4，其为实现本发明各个实施例的一种应用于终端的无人机飞行控制装置的结构示意图，该无人机飞行控制装置可以包括：信息接收模块10、搭建模块12、控制模块14等。本领域技术人员可以理解，图4中示出的无人机飞行控制装置结构并不构成对无人机飞行控制装置的限定，无人机飞行控制装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图4对无人机飞行控制装置的各个部件进行具体的介绍：

信息接收模块10，用于接收无人机发送的三维信息；

搭建模块12，连接至信息接收模块10，用于根据三维信息搭建虚拟飞行界面；

控制模块14，连接至搭建模块12，用于基于虚拟飞行界面对无人机进行控制。

通过本实施例，无人机在飞行过程中采集当前的三维信息，将三维信息发送至终端侧，终端根据三维信息搭建虚拟飞行界面，从而基于虚拟飞行界面对无人机进行控制。通过本发明，在无人机距离较远或者视线范围以外的地方，操作人员通过终端的虚拟飞行界面即可实现对无人机的精准控制，提升无人机的控制效果。

需要说明的是，本实施例中涉及的三维信息至少可以包括以下之一：位姿信息、三维点云信息。位姿信息可以理解为无人机的当前位置和姿态信息，至少可以包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

终端接收到三维信息后，可以根据三维信息搭建出虚拟飞行界面，对于具体如何实现，本发明实施例提供了一种优选实施方式，即上述搭建模块12可以包括：图像构建单元，用于根据三维信息中的三维点云信息构建实时三维场景图像；处理单元，用于根据三维信息中的位姿信息确定无人机所在位置和当前姿态；界面搭建单元，用于根据实时三维场景图像，无人机所在位置和当前姿态，搭建当前的虚拟飞行界面。该虚拟飞行界面可以实时展现无人机的飞行状态(例如飞行位置、当前姿态)，还可以直观展示无人机所拍摄的画面。基于该虚拟飞行界面，操作人员可以更加方便直观的对无人机进行操控。

实施例四

本实施例针对无人机侧的无人机飞行控制装置进行介绍。请参阅图5，其为实现本发明各个实施例的一种应用于无人机的无人机飞行控制装置的结构示意图，该无人机飞行控制装置可以包括：信息处理模块20、信息发送模块22等。本领域技术人员可以理解，图5中示出的无人机飞行控制装置结构并不构成对无人机飞行控制装置的限定，无人机飞行控制装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图5对无人机飞行控制装置的各个部件进行具体的介绍：

信息处理模块20，用于根据所处环境构建三维地图，并基于三维地图获取三维信息；

信息发送模块22，连接至信息处理模块20，用于将三维信息发送至终端；其中，三维信息用于生成无人机的虚拟飞行界面。

通过本实施例，无人机在飞行过程中采集当前的三维信息，将三维信息发送至终端侧，终端根据三维信息搭建虚拟飞行界面，从而基于虚拟飞行界面对无人机进行控制。通过本发明，在无人机距离较远或者视线范围以外的地方，操作人员通过终端的虚拟飞行界面即可实现对无人机的精准控制，提升无人机的控制效果。

需要说明的是，本实施例中涉及的三维信息至少可以包括以下之一：位姿信息、三维点云信息。位姿信息可以理解为无人机的当前位置和姿态信息，至少可以包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

在本实施例中，通过无人机上的摄像头拍摄二维画面，信息处理模块20采用SLAM技术可以实现对三维地图的构建，提高三维地图的实时性、有效性和准确度。在构建三维地图之后，可以基于三维地图获取三维信息，对于具体如何实现，本发明实施例提供了一种优选实施方式，即上述信息处理模块20可以包括：第一确定单元，用于根据三维地图确定位姿信息；第二确定单元，用于确定摄像头拍摄的各个像素点，将像素点在三维地图上对应的信息确定为三维点云信息。前面已经对位姿信息和三维点云信息进行了介绍，在此不再赘述。

本发明实施例还提供了一种无人机飞行控制系统，该系统至少可以包括：图4所示的应用于终端侧的无人机飞行控制装置，以及图5所示的应用于无人机侧的无人机飞行控制装置。前面已经分别进行了详细介绍，在此不再赘述。

从以上的描述中可知，本发明介绍的技术方案中，其细节关键技术主要集中在以下几点：

(1)无人机的位姿信息的获取。无人机的位姿信息至少可以包括以下之一：其所在位置、航向角、俯仰角、横滚角。根据上述信息，可以确定无人机的准确位置和姿态，有助于构建实时准确的虚拟飞行界面。

(2)无人机的三维点云信息获取。无人机在航行的过程中实时构建三维地图。具体地，获取大量像素点在世界坐标系下的信息，根据此信息可构建出三维地图。

(3)场景三维重建技术。根据三维点云信息，以及无人机自身的位姿信息，可以根据无人机所在的真实场景重建出对应的虚拟飞行界面。根据三维点云信息可以绘制出实时三维场景图像，根据位姿信息可以获取无人机的所在位置和姿态，从而绘制出无人机的当前状态。操作人员在移动终端可以直观的看到无人机的当前状态。

本发明中的无人机利用摄像头(例如：双目相机或者单目相机)对当前的环境进行三维重建，并且获取自身位姿信息和三维点云信息，通过网络传输到终端设备，终端依据上述信息构建无人机的虚拟飞行界面。在无人机距离较远或者视线范围以外的地方，操作人员通过终端的虚拟飞行界面即可实现对无人机的精准控制，提升无人机的控制效果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台移动终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (16)

1.一种无人机飞行控制方法，应用于终端，其特征在于，所述方法包括：

接收无人机发送的三维信息；

根据所述三维信息搭建虚拟飞行界面；

基于所述虚拟飞行界面对所述无人机进行控制。

2.根据权利要求1所述的方法，其特征在于，所述三维信息至少包括以下之一：位姿信息、所述三维点云信息；所述位姿信息至少包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

3.根据权利要求2所述的方法，其特征在于，根据所述三维信息搭建虚拟飞行界面，包括：

根据所述三维信息中的三维点云信息构建实时三维场景图像；

根据所述三维信息中的位姿信息确定所述无人机所在位置和当前姿态；

根据所述实时三维场景图像，所述无人机所在位置和当前姿态，搭建当前的虚拟飞行界面。

4.根据权利要求1所述的方法，其特征在于，所述虚拟飞行界面中构建虚拟无人机，所述虚拟无人机根据控制进行姿态转换。

5.一种无人机飞行控制方法，应用于无人机，其特征在于，所述方法包括：

根据所处环境构建三维地图，并基于所述三维地图获取三维信息；

将所述三维信息发送至终端；其中，所述三维信息用于生成所述无人机的虚拟飞行界面。

6.根据权利要求5所述的方法，其特征在于，所述三维信息至少包括以下之一：位姿信息、所述三维点云信息；所述位姿信息至少包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

7.根据权利要求6所述的方法，其特征在于，根据所处环境构建三维地图，包括：

采用SLAM技术构建三维地图。

8.根据权利要求7所述的方法，其特征在于，基于所述三维地图获取三维信息，包括：

根据所述三维地图确定所述位姿信息；

确定所述摄像头拍摄的各个像素点，将所述像素点在所述三维地图上对应的信息确定为所述三维点云信息。

9.根据权利要求5所述的方法，其特征在于，所述虚拟飞行界面中构建虚拟无人机，所述虚拟无人机根据控制进行姿态转换。

10.一种无人机飞行控制装置，应用于终端，其特征在于，所述装置包括：

信息接收模块，用于接收无人机发送的三维信息；

搭建模块，用于根据所述三维信息搭建虚拟飞行界面；

控制模块，用于基于所述虚拟飞行界面对所述无人机进行控制。

11.根据权利要求10所述的装置，其特征在于，所述三维信息至少包括以下之一：位姿信息、所述三维点云信息；所述位姿信息至少包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

12.根据权利要求11所述的装置，其特征在于，所述搭建模块包括：

图像构建单元，用于根据所述三维信息中的三维点云信息构建实时三维场景图像；

处理单元，用于根据所述三维信息中的位姿信息确定所述无人机所在位置和当前姿态；

界面搭建单元，用于根据所述实时三维场景图像，所述无人机所在位置和当前姿态，搭建当前的虚拟飞行界面。

13.一种无人机飞行控制装置，应用于无人机，其特征在于，所述装置包括：

信息处理模块，用于根据所处环境构建三维地图，并基于所述三维地图获取三维信息；

信息发送模块，用于将所述三维信息发送至终端；其中，所述三维信息用于生成所述无人机的虚拟飞行界面。

14.根据权利要求13所述的装置，其特征在于，所述三维信息至少包括以下之一：位姿信息、所述三维点云信息；所述位姿信息至少包括以下之一：无人机所在位置、航向角、俯仰角、横滚角。

15.根据权利要求14所述的装置，其特征在于，所述信息处理模块包括：

第一确定单元，用于根据所述三维地图确定所述位姿信息；

第二确定单元，用于确定所述摄像头拍摄的各个像素点，将所述像素点在所述三维地图上对应的信息确定为所述三维点云信息。

16.一种无人机飞行控制系统，其特征在于，所述系统至少包括：权利要求10至12任一项所述的无人机飞行控制装置，以及权利要求13至15任一项所述的无人机飞行控制装置。