CN109978947B - 一种监控无人机的方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种监控无人机的方法、装置、设备和存储介质。该方法包括：在无人机按照预设航线飞行的过程中，获取所述无人机采集到的原始图像，并根据所述原始图像生成深度图和三维地图，将所述原始图像、所述深度图以及所述三维地图发送至与所述无人机连接的地面站，所述地面站用于显示所述原始图像、所述深度图以及所述三维地图以对所述无人机进行监控，解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题，实现了在地面站显示原始图像、深度图和三维地图，用户可以根据显示的原始图像、深度图和三维地图对无人机进行辅助控制，在避障路线错误时可以一键控制无人机停止飞行，保持悬停，进而能够保证无人机安全飞行。

Description

一种监控无人机的方法、装置、设备和存储介质

技术领域

本发明实施例涉及无人机控制技术，尤其涉及一种监控无人机的方法、装置、设备和存储介质。

背景技术

目前，通过地面站将预设航线传输至无人机后，无人机在飞行过程中通过双目相机进行导航避障，导航避障过程中无人机利用双目相机采集到的图像进行避障操作。

在实际应用中，无人机的避障在无人机侧操作，无人机向地面站传输无人机的实时飞行速度、飞行高度、位置坐标以及电池电量等数字形式的飞行参数，用户无法通过地面站显示的数字形式的飞行参数了解无人机当前的避障情况，如果避障飞行航线出现错误，用户无法预先掌握足够的避障信息对无人机进行辅助控制，进而可能导致无人机失控炸机的情况。

发明内容

本发明提供一种监控无人机的方法、装置、设备和存储介质，以解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题。

第一方面，本发明实施例提供了一种监控无人机的方法，包括：

在无人机飞行的过程中，获取所述无人机采集到的原始图像；

根据所述原始图像和无人机的位置信息生成深度图；

将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；

将所述无人机的姿态信息与所述深度图结合生成三维地图；

将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；

将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。

在此基础上，所述根据所述原始图像和无人机的位置信息生成深度图，包括：

获取无人机的位置信息，所述位置信息包括所述无人机的位置坐标；

基于所述位置坐标从所述原始图像中提取每个像素点的深度信息，所述深度信息为像素点对应的物体到所述无人机的深度值；

根据每个像素点的深度值和所述原始图像生成深度图。

在此基础上，所述根据每个像素点的深度值和所述原始图像生成深度图，包括：

依据预设深度值等级和每个像素点的深度值对所述原始图像中的每个像素点进行分类；

将分类相同的像素点的颜色调整为预设颜色，其中所述预设颜色为所述预设深度值等级对应的颜色。

在此基础上，将所述无人机的姿态信息与所述深度图结合生成三维地图，包括：

根据所述深度图确定障碍物像素点；

按照预设避障距离值从所述深度图中确定避障区域；

采用所述深度图、所述避障区域和所述姿态信息生成三维地图。

在此基础上，所述采用所述深度图、所述避障区域和所述姿态信息生成三维地图，包括：

根据所述姿态信息对所述深度图进行三维重建，得到三维全景图；

基于所述避障区域对所述三维全景图进行调整，得到调整后的三维全景图；

采用所述姿态信息、所述预设航线以及所述调整后的三维全景图生成避障航线；

根据所述调整后的三维全景图、所述避障航线和所述位置坐标生成三维地图。

在此基础上，还包括：依据无人机的规格信息对所述避障航线进行膨胀处理。

第二方面，本发明实施例还提供了一种监控无人机的方法，包括：

接收第一线程任务传输的第一编码数据、第二线程任务传输的第二编码数据和第三线程任务传输的第三编码数据；

对所述第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据；

将融合后的所述原始图像、所述深度图、所述三维地图和所述预设航线数据进行显示。

第三方面，本发明实施例还提供了一种监控无人机的装置，包括：

原始图像采集模块，用于在无人机飞行的过程中，获取所述无人机采集到的原始图像；

深度图生成模块，用于根据所述原始图像和无人机的位置信息生成深度图；

第一线程任务发送模块，用于将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；

三维地图生成模块，用以将所述无人机的姿态信息与所述深度图结合生成三维地图；

第二线程任务发送模块，用于将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；

第三线程任务发送模块，用于将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。

第四方面，本发明实施例还提供了一种监控无人机的装置，包括：

线程任务接收模块，用于接收第一线程任务传输的第一编码数据、第二线程任务传输的第二编码数据和第三线程任务传输的第三编码数据；

解压处理模块，用于对所述第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据；

图像显示模块，用于将融合后的所述原始图像、所述深度图、所述三维地图和所述预设航线数据进行显示。

第五方面，本发明实施例还提供了一种无人机，所述无人机包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任一实施例所述的监控无人机的方法的步骤。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如任一实施例所述的监控无人机的方法的步骤。

本发明在无人机按照预设航线飞行的过程中，获取所述无人机采集到的原始图像，并根据所述原始图像生成深度图和三维地图，将所述原始图像、所述深度图以及所述三维地图发送至与所述无人机连接的地面站，所述地面站用于显示所述原始图像、所述深度图以及所述三维地图以对所述无人机进行监控，解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题，实现了在地面站显示原始图像、深度图和三维地图，用户可以根据显示的原始图像、深度图和三维地图对无人机进行辅助控制，在避障路线错误时可以一键控制无人机停止飞行，保持悬停，进而能够保证无人机安全飞行。

附图说明

图1为本发明实施例一提供的一种监控无人机的方法的流程图；

图2A为本发明实施例二提供的一种监控无人机的方法的流程图；

图2B为本发明实施例二提供的深度图的示意图；

图3为本发明实施例三提供的一种监控无人机的方法的流程图；

图4为本发明实施例四提供的一种监控无人机的装置的结构图；

图5为本发明实施例五提供的一种监控无人机的装置的结构图；

图6为本发明实施例六提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种监控无人机的方法的流程图。本实施可适用于通过地面站对无人机进行监控的场景。该方法可以由一种监控无人机的装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于无人机中。参考图1，该方法具体包括：

S101、在无人机飞行的过程中，获取所述无人机采集到的原始图像。

无人机在飞行时，一般包括自动飞行和手动飞行两种模式，自动飞行是指将预先设置的飞行航线和飞行条件传输到无人机中，无人机根据飞行航线和飞行条件自主进行飞行作业，并在符合预设条件时返航；手动飞行是指飞手通过地面站实时控制无人机进行飞行作业，当然，自动飞行和手动飞行的方式并不冲突，可以以一种飞行方式为主，另一种飞行方式为辅；也可以在两种飞行方式中进行自由切换。

在无人机按照预设航线飞行的过程中，可以通过摄像设备采集图像，如通过无人机上设置的双目相机采集图像，此时采集到的图像为原始图像。

在本实施例中，摄像设备可以是双目摄像头，双目摄像头可以包括两部相机(摄像机)，对于物体上的一个特征点，通过两部固定于不同位置的相机采集该物体的图像，分别获得该物体上的特征点在两部相机成像平面上的坐标，结合两部相机的相对位置，采用成像几何算法计算该特征点在相机的坐标系中的坐标，即确定了特征点与相机的位置，亦即特征点相对于无人机的位置。当然，摄像设备也可以是单目摄像头和多目摄像头，并通过相应的成像几何算法获得物体上的特征点相对于无人机的位置，本发明实施例对获取原始图像的摄像设备不加以限制。

S102、根据所述原始图像和无人机的位置信息生成深度图。

通过摄像设备获取原始图像后，可以提取出原始图像中每个像素点的深度信息，根据深度信息生成深度图。

可选地，深度图可以是包含深度信息的图像，例如可以是采用颜色代表图像上每个像素点的深度值的图像，即深度图的每个像素点的灰度值表征了实际场景中该像素点对应的物体与无人机的距离。

S103、将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站。

编码数据可以根据实际需要采用不同的编码方式对原始图像、深度图以及三维地图进行编码。常见的图像编码方法有：PNG、JPEG、TIFF等，常见的视频流编码方法有：MPEG-4，H264,H265等，本发明实施例对图像的编码方式和编码后的文件格式不加以限制。

地面站是与无人机连接并对无人机进行控制的设备，例如可以是手机、平板、电脑等手持移动设备，在地面站上可以通过显示模块显示原始图像、深度图以及三维地图以对无人机进行监控。

无人机在飞行过程中与地面站保持通信连接，通信连接可以是行动热点(Wi-Fi)、4G、5G、蓝牙、红外等无线连接。无人机通过通信连接可以将原始图像、深度图以及三维地图发送至地面站，在地面站显示原始图像、深度图以及三维地图后，飞手可以通过显示的图像对无人机进行监控，进而可以一键控制无人机停止飞行，保持悬停，有效避免无人机撞上障碍物导致炸机的可能。

将原始图像和所度图按照一定的方式进行编码，生成第一编码数据。通过无人机与地面站的通信连接将第一编码数据作为第一线程任务发送至与无人机连接的地面站。

S104、将所述无人机的姿态信息与所述深度图结合生成三维地图。

姿态信息用于体现无人机飞行时，前进方向与机身方向的夹角和机身倾斜方向与水平面之间的夹角。

当根据原始图像生成深度图后，可以根据无人机的姿态信息对深度图进行三维重建，得到三维全景图；根据姿态信息、所述预设航线以及所述调整后的三维全景图生成避障航线；根据所述调整后的三维全景图、所述避障航线和所述位置坐标生成三维地图。

S105、将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站。

此处的编码和传输方式与步骤S103的解析相同。第二线程任务与第一线程任务是可以并行操作的任务。

S106、将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。

此处的编码和传输方式与步骤S103的解析相同。第三线程任务与第二线程任务、第一线程任务是可以并行操作的任务。地面站接收第一线程任务、第二线程任务和第三线程任务后解码出图像进行显示。

地面站接收编码数据后进行解码，恢复并显示原始图像、深度图和三维地图(当然，是否同时显示三种图像界面可以由飞手自行设定)。飞手通过地面站实时查看无人机当前的位置以及避障航线，判断无人机当前的位置是否有偏差(是否出现错误)。如果航线正常，无人机保持飞行。如果三维地图与实际场景不匹配，或者避障航线出现错误(避障航线从障碍物中穿过)，或者避障航线与预设航线偏差较大时，飞手可以一键控制无人机停止飞行，保持悬停状态。

本发明在无人机按照预设航线飞行的过程中，获取所述无人机采集到的原始图像，并根据所述原始图像生成深度图和三维地图，将所述原始图像、所述深度图以及所述三维地图发送至与所述无人机连接的地面站，所述地面站用于显示所述原始图像、所述深度图以及所述三维地图以对所述无人机进行监控，解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题，实现了在地面站显示原始图像、深度图和三维地图，用户可以根据显示的原始图像、深度图和三维地图对无人机进行辅助控制，在避障路线错误时可以一键控制无人机停止飞行，保持悬停，进而能够保证无人机安全飞行。

实施例二

图2A为本发明实施例二提供的一种监控无人机的方法的流程图。本实施例是在实施例一的基础上进行的细化，详细描述了根据所述原始图像和无人机的位置信息生成深度图的过程，以及将所述无人机的姿态信息与所述深度图结合生成三维地图的过程。参考图2A，该方法具体包括：

S201、在无人机飞行的过程中，获取所述无人机采集到的原始图像。

S202、获取无人机的位置信息，所述位置信息包括所述无人机的位置坐标。

无人机的位置坐标是无人机在三维坐标系中的坐标信息，三维坐标系可以是世界坐标系或者用户坐标系，在本发明实施例中，无人机的位置坐标是指无人机在世界坐标系中的位置坐标，该位置坐标可以从无人机上设置的定位系统读取，例如，读取无人机的经纬度数据和无人机的水平飞行高度作为位置坐标。

S203、基于所述位置坐标从所述原始图像中提取每个像素点的深度信息。

深度信息为像素点对应的物体到无人机的深度值。深度值为无人机获得原始图像时，原始图像上的每个像素点对应的实际物体到无人机的距离。

当无人机采用单目相机时，可以采用基于图像内容理解的深度估计方法获取深度值，图像内容理解的深度估计方法主要是通过对图像中的各个景物分块进行分类，然后对每个类别的景物分别用各自适用的方法估计深度值。

当无人机采用双目相机时，两个摄像头的位置相对固定，同一景物通过两个镜头所采集的图像存在一定差别，既视差，可以通过视差和两个镜头的距离估计出景物到无人机的深度值。

S204、根据每个像素点的深度值和所述原始图像生成深度图。

依据预设深度值等级和每个像素点的深度值对原始图像中的每个像素点进行分类；将分类相同的像素点的颜色调整为预设颜色，其中预设颜色为预设深度值等级对应的颜色。

对获得的原始图像和原始图像中每个像素点的深度值进行立体匹配算法，生成深度图。

在一实施方式中，依据预设深度值等级和每个像素点的深度值对所述原始图像中的每个像素点进行分类；将分类相同的像素点的颜色调整为预设颜色，其中所述预设颜色为预设深度值等级对应的颜色。例如将深度值在一定范围内(比如距离无人机深度值在20-22米)的像素点都设置为相同颜色，每个深度值等级都对应有预设的颜色，从而可以得到深度图。图2B为本发明实施例二提供的深度图的示意图。参考图2B，第一区域21、第二区域22与第三区域23表示距离无人机不同的距离，如第二区域22距离无人机最近，第三区域23距离无人机稍远，第一区域21距离无人机最远。图2B以黑白灰来体现物体距离无人机的距离，在实际操作中为了便于飞手判断，通常采用彩色辅助判断障碍物到无人机的距离。

当然，在实际应用中也可以通过以下算法对原始图像进行处理生成深度图：

根据采用图像表示的基元不同，立体匹配算法分为如下几种：

区域立体匹配算法，通过该方法可获取稠密视差图。

基于特征的立体匹配算法，通过该方法可获得稀疏的视差图，经差值估计可获得稠密视差图。可提取点、线、面等局部特征，也可提取多边形和图像结构等全局特征。

基于相位立体匹配算法。主要假定在图像对应点中，其频率范围内，其局部相位是相等的，在频率范围内进行视差估计。

依据采用最优化理论方法的不同，立体匹配算法可以分为如下几种：第一、局部的立体匹配算法。该方法主要是采用局部优化方法进行视差值估计，通过能量最小化方法进行视差估计，但是，在能量函数中，只有数据项，而没有平滑项。第二、全局的立体匹配算法。主要是采用了全局的优化理论方法估计视差，建立全局能量函数，通过最小化全局能量函数得到最优视差值。全局匹配算法得到的结果比较准确。主要的算法有图割(graph cuts)、信念传播(belief propagation)、动态规划等算法。本发明实施例对生成深度图的方式和生成深度图的算法不加以限制。

在另一实施方式中，依据预设深度值等级和每个像素点的深度值对所述原始图像中的每个像素点进行分类；将分类相同的像素点用虚线相连接。即，通过等高线的方式体现像素点与无人机的距离。

S205、将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站。

S206、根据所述深度图确定障碍物像素点。

S207、按照预设避障距离值从所述深度图中确定避障区域。

S208、采用所述深度图、所述避障区域和所述姿态信息生成三维地图。

步骤S206-S208描述了生成三维地图的具体步骤。

根据所述姿态信息对所述深度图进行三维重建，得到三维全景图；

基于所述避障区域对所述三维全景图进行调整，得到调整后的三维全景图；

采用所述姿态信息、所述预设航线以及所述调整后的三维全景图生成避障航线；

根据所述调整后的三维全景图、所述避障航线和所述位置坐标生成三维地图。

在一实施方式中，可以先根据深度图确定障碍物像素点，并按照预设避障距离值和确定的障碍物像素点，从深度图中确定避障区域，然后采用深度图、避障区域和姿态信息生成三维地图。当然，避障区域也可以通过依据无人机的规格信息对避障航线进行膨胀处理的方式获得。

获得三维地图的具体方式为：

首先，根据所述姿态信息对所述深度图进行三维重建，得到三维全景图。

深度图中的每个像素点均包含了该像素点的世界坐标，则可以通过深度图中每个像素点的世界坐标和无人机的飞行姿态参数还原出原始图像对应的三维全景图，例如飞行姿态参数包括无人机的位置坐标和无人机的飞行方向，则可以还原出无人机飞行方向前方的三维全景图。

其次，基于所述避障区域对所述三维全景图进行调整，得到调整后的三维全景图。

三维全景图是实际的景物三维地图，为了安全避障，结合深度图中的避障区域，确定三维全景图中的障碍物，对三维全景图中的障碍物进行调整从而得到调整后的三维全景图，例如，按照避障区域对三维全景图中的障碍物进行膨胀处理，使得无人机可以安全避障。

再次，采用所述飞行姿态参数、所述预设航线以及所述调整后的三维全景图生成避障航线。

例如，根据三维全景图中的障碍物结合左侧绕行避障、右侧绕行避障、最短航线避障等规则对预设航线进行调整生成避障航线。又如：无人机前方50米处有一颗树。若无人机在树木偏左侧，则进行左侧绕行避障；若无人机在树木偏右侧，则进行右侧绕行避障；若无人机距离树木顶部较近，则拔高无人机飞行高度进行避障。

最后，根据所述调整后的三维全景图、所述避障航线和所述位置坐标生成三维地图。

具体地，可以在调整后的三维全景图上叠加无人机的位置坐标、预设航线和避障航线。

例如，在三维地图中叠加预设航线，使得地面站可以同时显示预设航线和避障航线，方便飞手可以对预设航线和避障航线进行对比分析，使得飞手快速便捷的判断无人机的避障航线是否与预设航线偏离过大。

S209、将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站。

S210、将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。

本发明在无人机按照预设航线飞行的过程中，获取所述无人机采集到的原始图像，并根据所述原始图像生成深度图和三维地图，将所述原始图像、所述深度图以及所述三维地图发送至与所述无人机连接的地面站，所述地面站用于显示所述原始图像、所述深度图以及所述三维地图以对所述无人机进行监控，解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题，实现了在地面站显示原始图像、深度图和三维地图，用户可以根据显示的原始图像、深度图和三维地图对无人机进行辅助控制，在避障路线错误时可以一键控制无人机停止飞行，保持悬停，进而能够保证无人机安全飞行。

实施例三

图3为本发明实施例三提供的一种监控无人机的方法的流程图。本实施可适用于接收无人机发送的多个线程任务并进行显示的场景。该方法可以由一种监控无人机的装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于地面站中。参考图3，该方法具体包括：

S301、接收第一线程任务传输的第一编码数据、第二线程任务传输的第二编码数据和第三线程任务传输的第三编码数据。

通过地面站与无人机连接方法允许的数据传输方式，将编码数据发送至与所述无人机连接的地面站，当无人机与一个地面站连接时，可以将编码数据发送至该地面站，当无人机与多个地面站连接时，可以将编码数据发送至多个地面站以通过多个地面站对无人机进行协同监控。

S302、对所述第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据。

S303、将融合后的所述原始图像、所述深度图、所述三维地图和所述预设航线数据进行显示。

步骤S301-S303描述了地面站如何接收编码数据，并进行解码输出的方式。

具体的，地面站接收到编码数据后，进行解码和显示原始图像、深度图，用户可以通过显示的图像对无人机进行监控，在需要对无人机进行手动控制时将控制指令输入至地面站，则本发明实施例监控无人机的方法还包括：接收所述地面站发送的控制指令，所述控制指令为用户根据显示的所述原始图像、所述深度图以及所述三维地图输入所述地面站的指令；根据所述控制指令对所述无人机的飞行姿态进行控制。例如，当飞手根据地面站显示的三维地图发现无人机出现飞行错误时，可以通过地面站选择控制无人机悬停，也可以控制无人机进行拔高、俯冲获得转弯等操作，以便无人机更加有效的避开障碍物。

针对数据传输，无人机端可以理解为：安放于无人机的双目相机捕获实时的原始图像。通过立体匹配算法生成深度图。结合无人机的姿态信息和深度图进行三维重建，以获得三维全景图。根据所述姿态信息、位置坐标和预设航线以及调整后的三维全景图生成避障航线。多线程的对原始图像、深度图以及三维地图进行编码，以获得编码数据。将编码数据通过无线传输方式发送给地面站。

本发明对无人机发送的第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据，并将融合后的原始图像、深度图、三维地图和预设航线数据进行显示。解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题，实现了在地面站显示原始图像、深度图和三维地图，用户可以根据显示的原始图像、深度图和三维地图对无人机进行辅助控制，在避障路线错误时可以一键控制无人机停止飞行，保持悬停，进而能够保证无人机安全飞行。

实施例四

图4为本发明实施例四提供的一种监控无人机的装置的结构图。包括：原始图像采集模块41、深度图生成模块42、第一线程任务发送模块43、三维地图生成模块44、第二线程任务发送模块45和第三线程任务发送模块46。其中：

原始图像采集模块41，用于在无人机飞行的过程中，获取所述无人机采集到的原始图像；

深度图生成模块42，用于根据所述原始图像和无人机的位置信息生成深度图；

第一线程任务发送模块43，用于将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；

三维地图生成模块44，用以将所述无人机的姿态信息与所述深度图结合生成三维地图；

第二线程任务发送模块45，用于将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；

第三线程任务发送模块46，用于将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。

本发明对无人机发送的第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据，并将融合后的原始图像、深度图、三维地图和预设航线数据进行显示。解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题，实现了在地面站显示原始图像、深度图和三维地图，用户可以根据显示的原始图像、深度图和三维地图对无人机进行辅助控制，在避障路线错误时可以一键控制无人机停止飞行，保持悬停，进而能够保证无人机安全飞行。

在上述实施例的基础上，深度图生成模块42还用于：

获取无人机的位置信息，所述位置信息包括所述无人机的位置坐标；

基于所述位置坐标从所述原始图像中提取每个像素点的深度信息，所述深度信息为像素点对应的物体到所述无人机的深度值；

根据每个像素点的深度值和所述原始图像生成深度图。

在上述实施例的基础上，所述根据每个像素点的深度值和所述原始图像生成深度图，包括：

依据预设深度值等级和每个像素点的深度值对所述原始图像中的每个像素点进行分类；

将分类相同的像素点的颜色调整为预设颜色，其中所述预设颜色为所述预设深度值等级对应的颜色。

在上述实施例的基础上，三维地图生成模块44还用于：

根据所述深度图确定障碍物像素点；

按照预设避障距离值从所述深度图中确定避障区域；

采用所述深度图、所述避障区域和所述姿态信息生成三维地图。

在上述实施例的基础上，所述采用所述深度图、所述避障区域和所述姿态信息生成三维地图，包括：

根据所述姿态信息对所述深度图进行三维重建，得到三维全景图；

基于所述避障区域对所述三维全景图进行调整，得到调整后的三维全景图；

采用所述姿态信息、所述预设航线以及所述调整后的三维全景图生成避障航线；

根据所述调整后的三维全景图、所述避障航线和所述位置坐标生成三维地图。

在上述实施例的基础上，还包括膨胀处理模块，用于：

依据无人机的规格信息对所述避障航线进行膨胀处理。

本实施例提供的一种监控无人机的装置可用于执行实施例一与实施例二提供的一种监控无人机的方法，具有相应的功能和有益效果。

实施例五

图5为本发明实施例五提供的一种监控无人机的装置的结构图。包括：线程任务接收模块51、解压处理模块52和图像显示模块53。其中：

线程任务接收模块51，用于接收第一线程任务传输的第一编码数据、第二线程任务传输的第二编码数据和第三线程任务传输的第三编码数据；

解压处理模块52，用于对所述第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据；

图像显示模块53，用于将融合后的所述原始图像、所述深度图、所述三维地图和所述预设航线数据进行显示。

本发明对无人机发送的第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据，并将融合后的原始图像、深度图、三维地图和预设航线数据进行显示。解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题，实现了在地面站显示原始图像、深度图和三维地图，用户可以根据显示的原始图像、深度图和三维地图对无人机进行辅助控制，在避障路线错误时可以一键控制无人机停止飞行，保持悬停，进而能够保证无人机安全飞行。

本实施例提供的一种监控无人机的装置可用于执行实施例三提供的一种监控无人机的方法，具有相应的功能和有益效果。

实施例六

图6为本发明实施例六提供的一种电子设备的结构示意图。如图6所示，该电子设备包括处理器60、存储器61、通信模块62、输入装置63和输出装置64；电子设备中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；电子设备中的处理器60、存储器61、通信模块62、输入装置63和输出装置64可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的一种监控无人机的方法对应的模块(例如，一种监控无人机的装置中的原始图像采集模块41、深度图生成模块42、第一线程任务发送模块43、三维地图生成模块44、第二线程任务发送模块45和第三线程任务发送模块46)(例如，一种监控无人机的装置中的线程任务接收模块51、解压处理模块52和图像显示模块53)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的一种监控无人机的方法。

存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块62，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置63可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置64一般为显示设备。

本实施例提供的一种电子设备，可执行本发明任一实施例提供的监控无人机的方法，具体相应的功能和有益效果。

实施例七

本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种监控无人机的方法，该方法包括：

在无人机飞行的过程中，获取所述无人机采集到的原始图像；

根据所述原始图像和无人机的位置信息生成深度图；

将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；

将所述无人机的姿态信息与所述深度图结合生成三维地图；

将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；

将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。

或者，

接收第一线程任务传输的第一编码数据、第二线程任务传输的第二编码数据和第三线程任务传输的第三编码数据；

对所述第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据；

将融合后的所述原始图像、所述深度图、所述三维地图和所述预设航线数据进行显示。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任一实施例所提供的监控无人机的方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机电子设备(可以是个人计算机，服务器，或者网络电子设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述监控无人机的装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种监控无人机的方法，其特征在于，包括：

在无人机飞行的过程中，获取所述无人机采集到的原始图像；

根据所述原始图像和无人机的位置信息生成深度图；

将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；

将所述无人机的姿态信息与所述深度图结合生成三维地图；

将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；

将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态，以及显示所述深度图以对无人机进行监控。

2.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像和无人机的位置信息生成深度图，包括：

获取无人机的位置信息，所述位置信息包括所述无人机的位置坐标；

基于所述位置坐标从所述原始图像中提取每个像素点的深度信息，所述深度信息为像素点对应的物体到所述无人机的深度值；

根据每个像素点的深度值和所述原始图像生成深度图。

3.根据权利要求2所述的方法，其特征在于，所述根据每个像素点的深度值和所述原始图像生成深度图，包括：

依据预设深度值等级和每个像素点的深度值对所述原始图像中的每个像素点进行分类；

将分类相同的像素点的颜色调整为预设颜色，其中所述预设颜色为所述预设深度值等级对应的颜色。

4.根据权利要求1所述的方法，其特征在于，将所述无人机的姿态信息与所述深度图结合生成三维地图，包括：

根据所述深度图确定障碍物像素点；

按照预设避障距离值从所述深度图中确定避障区域；

采用所述深度图、所述避障区域和所述姿态信息生成三维地图。

5.根据权利要求4所述的方法，其特征在于，所述位置信息包括位置坐标，所述采用所述深度图、所述避障区域和所述姿态信息生成三维地图，包括：

根据所述姿态信息对所述深度图进行三维重建，得到三维全景图；

基于所述避障区域对所述三维全景图进行调整，得到调整后的三维全景图；

采用所述姿态信息、所述预设航线以及所述调整后的三维全景图生成避障航线；

根据所述调整后的三维全景图、所述避障航线和所述位置坐标生成三维地图。

6.根据权利要求5所述的方法，其特征在于，还包括：

依据无人机的规格信息对所述避障航线进行膨胀处理。

7.一种监控无人机的装置，其特征在于，包括：

原始图像采集模块，用于在无人机飞行的过程中，获取所述无人机采集到的原始图像；

深度图生成模块，用于根据所述原始图像和无人机的位置信息生成深度图；

第一线程任务发送模块，用于将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；

三维地图生成模块，用以将所述无人机的姿态信息与所述深度图结合生成三维地图；

第二线程任务发送模块，用于将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；

第三线程任务发送模块，用于将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态，以及显示所述深度图以对无人机进行监控。

8.一种无人机，其特征在于，所述无人机包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的监控无人机的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的监控无人机的方法的步骤。

Images