CN115357035A - 一种无人设备降落处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种无人设备降落处理方法、装置、设备及存储介质。本申请实施例提供的技术方案通过根据在飞行区域内的点云数据确定地面信息和障碍物信息，根据地面信息确定在飞行区域内的一个或多个地面平坦区域，并根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域，并从候选降落区域中确定目标降落区域，减少由于飞行区域现场环境较为复杂导致选择的候选降落区域安全性较低，导致无人设备在降落过程中出现意外的情况，保证无人设备降落时的设备及人员安全。

Description

一种无人设备降落处理方法、装置、设备及存储介质

技术领域

本申请实施例涉及无人设备控制技术领域，尤其涉及一种无人设备降落处理方法、装置、设备及存储介质。

背景技术

在无人设备作业过程中，经常会存在需要无人设备进行降落的情况，例如无人设备在飞行过程中接收到迫降或返航信号，或者是遇到紧急情况(例如电量不足、设备故障等)时，需要无人设备进行紧急降落。

无人设备在执行降落操作时，需要参考飞行区域内的地面信息以及障碍物信息规划降落区域。现有的无人设备降落方案主要是通过飞行区域的地图信息进行，例如根据地图信息寻找适合进行降落的地面空地区域。但是无人设备飞行现场环境较为复杂，只依赖地图信息难以确定合适的降落区域，无人设备的降落安全难以得到保证。

发明内容

本申请实施例提供一种无人设备降落处理方法、装置、设备及存储介质，以解决现有技术中无人设备的降落区域依赖地图信息，难以保证无人设备的降落安全的技术问题，通过选择合适的降落区域进行降落，保证无人设备的安全。

在第一方面，本申请实施例提供了一种无人设备降落处理方法，包括：

基于飞行区域内的点云数据，确定所述飞行区域的地面信息和障碍物信息；

根据所述地面信息确定在所述飞行区域内的一个或多个地面平坦区域；

根据所述障碍物信息从一个或多个所述地面平坦区域中确定候选降落区域；

从所述候选降落区域中确定目标降落区域。

在第二方面，本申请实施例提供了一种无人设备降落处理装置，包括飞行区域分析模块、平坦区域分析模块、候选区域确定模块和目标区域确定模块，其中：

所述飞行区域分析模块，用于基于飞行区域内的点云数据，确定所述飞行区域的地面信息和障碍物信息；

所述平坦区域分析模块，用于根据所述地面信息确定在所述飞行区域内的一个或多个地面平坦区域；

所述候选区域确定模块，用于根据所述障碍物信息从一个或多个所述地面平坦区域中确定候选降落区域；

所述目标区域确定模块，用于从所述候选降落区域中确定目标降落区域。

在第三方面，本申请实施例提供了一种无人设备降落处理设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的无人设备降落处理方法。

在第四方面，本申请实施例提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的无人设备降落处理方法。

本申请实施例通过根据在飞行区域内的点云数据确定地面信息和障碍物信息，根据地面信息确定在飞行区域内的一个或多个地面平坦区域，并根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域，并从候选降落区域中确定目标降落区域，减少由于飞行区域现场环境较为复杂导致选择的候选降落区域安全性较低，导致无人设备在降落过程中出现意外的情况，保证无人设备降落时的设备及人员安全。

附图说明

图1是本申请实施例提供的一种无人设备降落处理方法的流程图；

图2是本申请实施例提供的另一种无人设备降落处理方法的流程图；

图3是本申请实施例提供的一种盘旋降落航线示例图；

图4是本申请实施例提供的另一种无人设备降落处理方法的流程图；

图5是本申请实施例提供的一种滑翔降落航线示例图；

图6是本申请实施例提供的一种降落滑道提取示意图；

图7是本申请实施例提供的另一种无人设备降落处理方法的流程图；

图8是本申请实施例提供的一种无人设备降落处理装置的结构示意图；

图9是本申请实施例提供的一种无人设备降落处理设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1给出了本申请实施例提供的一种无人设备降落处理方法的流程图，本申请实施例提供的无人设备降落处理方法可以由无人设备降落处理装置来执行，该无人设备降落处理装置可以通过硬件和/或软件的方式实现，并集成在无人设备降落处理设备中。

下述以无人设备降落处理装置执行无人设备降落处理方法为例进行描述。

参考图1，该无人设备降落处理方法包括：

S101：基于飞行区域内的点云数据，确定飞行区域的地面信息和障碍物信息。

其中，飞行区域可理解为无人设备(例如无人机)进行飞行作业的区域，飞行区域内的点云数据可以通过在无人设备上搭载的拍摄装置(例如激光雷达扫描装置、深度相机、双目相机等)在为人设备的飞行过程中进行采集得到，还可以是在执行飞行任务前进行采集得到(例如提前通过搭载拍摄装置的无人设备或其他移动载具对飞行区域进行采集得到)。

示例性的，获取无人设备的飞行区域内的点云数据，并根据点云数据确定飞行区域的地面信息和障碍物信息。其中地面信息和障碍物信息可分别表征在飞行区域范围内的地面以及障碍物(例如树木、房屋、电线、电线杆等)。可选的，根据点云数据确定飞行区域的地面信息和障碍物信息，可以是基于点云分割技术与图像分割技术多模态融合(对点云数据和飞行区域的数字模型进行分割的多模态融合)的方式进行，还可以是基于语义分割算法进行。

S102：根据地面信息确定在飞行区域内的一个或多个地面平坦区域。

示例性的，在确定飞行区域内的地面信息和障碍物信息后，根据地面信息在飞行区域内确定出一个或多个地面平坦区域。其中，地面平坦区域可理解为地势较为平坦的区域，并且地面平坦区域的平坦参数(例如高度差、平均高度和高度方差中的一种或多种的组合)在对应的高度阈值内。

S103：根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域。

示例性的，在确定出飞行区域内的一个或多个地面平坦区域后，进一步结合障碍物信息从上述确定的一个或多个地面平坦区域中确定候选降落区域。其中，候选降落区域可理解为按照无人设备的降落方式进行降落时，其降落航线不受障碍物干扰的地面平坦区域。

例如根据无人设备的降落方式确定无人设备降落到每个地面平坦区域对应的降落航线，对于每个降落航线，根据障碍物信息确定在降落航线中是否存在障碍物。若在降落航线中存在障碍物(例如存在与降落航线相交的障碍物信息)，认为在无人设备降落过程中会受到障碍物的干扰，则可忽略该降落航线对应的地面平坦区域。若在降落航线中未存在障碍物(例如未检测到与降落航线相交的障碍物信息)，认为在无人设备降落过程中不会受到障碍物的干扰，则可将该降落航线对应的地面平坦区域作为一个候选降落区域。

在一个可能的实施例中，候选降落区域的确定可以是在无人设备执行飞行任务之前确定，还可以是在执行飞行任务的过程中确定。并且候选降落区域的确定可以由无人设备进行确定，还可以是由云端服务器进行确定并提供。

S104：从候选降落区域中确定目标降落区域。

示例性的，在根据障碍物信息从地面平坦区域中确定出候选降落区域后，可从这些候选降落区域中确定无人设备执行降落操作的目标降落区域。

在一个可能的实施例中，目标降落区域的确定根据基于各个候选降落区域与无人设备之间的距离、候选降落区域与控制终端(例如无人设备的控制器)和/或操作人员之间的距离、候选降落区域的面积中的一种或多种的组合进行确定。

在一个可能的实施例中，还可根据无人设备的降落原因(正常降落或紧急迫降)和/或降落方式(例如基于垂起固定翼无人机的盘旋降落或滑翔降落)，结合各个候选降落区域与无人设备之间的距离、候选降落区域与控制终端和/或操作人员之间的距离、候选降落区域的面积中的一种或多种的组合确定目标降落区。

上述，通过根据在飞行区域内的点云数据确定地面信息和障碍物信息，根据地面信息确定在飞行区域内的一个或多个地面平坦区域，并根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域，并从候选降落区域中确定目标降落区域，减少由于飞行区域现场环境较为复杂导致选择的候选降落区域安全性较低，导致无人设备在降落过程中出现意外的情况，保证无人设备降落时的设备及人员安全。

在上述实施例的基础上，图2给出了本申请实施例提供的另一种无人设备降落处理方法的流程图，该无人设备降落处理方法是对上述无人设备降落处理方法的具体化。参考图2，该无人设备降落处理方法包括：

S201：获取飞行区域内的点云数据和数字模型。

S202：基于点云分割技术以及图像分割技术，根据点云数据和数字模型确定飞行区域内的地面信息和障碍物信息。

示例性的，获取在飞行区域内的点云数据以及数字模型，其中，数字模型可以是飞行区域对应的数字表面模型(DSM，DigitalOrthophoto Map)和/或数字正射影像图(DOM，DigitalOrthophoto Map)。本实施例提供的点云数据可以是飞行区域内的原始点云数据和/或稠密点云数据。

进一步的，利用点云分割技术以及图像分割技术的多模态融合处理方法，对飞行区域的点云数据和数字模型进行分割处理确定飞行区域内的地面信息和障碍物信息。例如，在数字模型中提取出地面区域对应的地面信息以及障碍物对应的障碍物信息。

S203：通过对地面信息进行二维网格划分，在地面信息中划分出一个或多个平坦候选区域。

示例性的，对上述确定的地面信息进行二维网格划分，在地面信息中划分出一个或多个设定尺寸及形状(例如1m*1m大小的矩形)的区域作为平坦候选区域。

在一个可能的实施例中，从地面信息中划分出一个或多个设定尺寸及形状的区域后，可根据这些区域的高度信息，利用阈值筛选的方式从这些区域中筛选出平坦候选区域。基于此，本方案在通过对地面信息进行二维网格划分，在地面信息中划分出一个或多个平坦候选区域时，包括：

S2031：通过对地面信息进行二维网格划分，在地面信息中划分出一个或多个平坦区域块。

S2032：根据平坦区域块的平坦参数，从平坦区域块中筛选出一个或多个平坦候选区域。

具体的，按照设定尺寸及形状，对地面信息进行二维网格划分，从地面信息中划分出一个或多个平坦区域块。根据每个平坦区域块上表面各个点的高度信息，计算各个平坦区域块的平坦参数。其中，平坦参数可用于表示平坦区域的平坦程度。可选的，平坦参数包括平坦区域块的高度差、平均高度和高度方差中的一个或多个参数。本方案以平坦参数包括平坦区域块的高度差、平均高度和高度方差为例进行描述。

进一步的，将每个平坦区域的平坦参数与设定的平坦参数阈值进行比较，筛选出平坦参数在平坦参数阈值之内的平坦区域块，并将筛选出的平坦区域块作为平坦候选区域。例如，将每个平坦区域块的高度差、平均高度和高度方差分别和设定高度差阈值、平均高度阈值和高度方差阈值进行比较，筛选出高度差、平均高度和高度方差分别在设定高度差阈值、平均高度阈值和高度方差阈值之内的平坦区域块，并将筛选出的平坦区域块作为平坦候选区域。

S204：对每个平坦候选区域进行相邻区域搜索，根据相邻区域搜索结果对平坦候选区域进行融合，得到在飞行区域内的一个或多个地面平坦区域。

示例性的，对于每个平坦候选区域，以其自身为中心，基于中心坐标进行相邻区域搜索，以搜索出与其相邻的平坦候选区域(边界相接或中心距离在设定距离内的平坦候选区域)，得到相邻区域搜索结果，即得到每个平坦候选区域相邻的其他平坦候选区域。

进一步的，根据相邻区域搜索结果确定相邻的平坦候选区域，并对相邻的平坦候选区域进行融合处理得到一个或多个地面平坦区域。其中，一个地面平坦区域可以是由一个平坦候选区域组成(此时该平坦候选区域未存在与之相邻的其他平坦候选区域)，或者是由多个相邻的平坦候选区域融合而成。可选的，对相邻平坦候选区域的融合处理可以是在搜索相邻区域的过程中进行，还可以是在确定每个平坦候选区域的相邻区域后统一进行。本方案通过对相邻的平坦候选区域进行融合处理，得到更大面积的地面平坦区域，方便后续得到更合适的目标降落区域。

S205：根据无人设备的盘旋降落航线，确定在每个地面平坦区域中的降落航线拟合空间。

本方案以垂直固定翼无人机作为无人设备为例，垂直固定翼无人机的降落方式包括盘旋降落和滑翔降落，并且不同的降落方式对应不同的降落航线(降落路径)。如图3提供的一种盘旋降落航线示例图所示，盘旋降落航线(图中L1，箭头方向为前进方向)为盘旋向下并且半径逐渐减小的路径，盘旋降落航线围成的区域呈尖端向下的类圆锥空间。

示例性的，以盘旋降落作为无人设备的降落方式为例，在确定一个或多个地面平坦区域后，根据无人设备的盘旋降落航线在每个地面平坦区域上拟合出一个降落航线拟合空间(类圆锥空间)，并确定降落航线拟合空间对应的半径信息(降落航线拟合空间的最大半径)。

S206：根据障碍物信息和降落航线拟合空间的相交情况，从一个或多个地面平坦区域中确定候选降落区域。

示例性的，计算每个降落航线拟合空间与障碍物信息的相交情况，确定每个降落航线拟合空间与障碍物信息的交集，并根据降落航线拟合空间与障碍物信息的交集情况从上述确定的一个或多个地面平坦区域中确定候选降落区域。

具体的，在从一个或多个地面平坦区域中确定候选降落区域时，对于每个降落航线拟合空间，在其与障碍物信息的交集为空时，确定该降落航线拟合空间内未存在障碍物对应的点云数据，无人设备按照该降落航线拟合空间对应的盘旋降落航线进行降落时，不会受到障碍物的干扰，则可将该降落航线拟合空间对应的地面平坦区域确定为一个候选降落区域，并继续判断下一个地面平坦区域中是否可作为候选降落区域。而在降落航线拟合空间与障碍物信息的交集不为空时，确定该降落航线拟合空间内存在障碍物对应的点云数据，无人设备按照该降落航线拟合空间对应的盘旋降落航线进行降落时，会受到障碍物的干扰，则忽略或丢弃该降落航线拟合空间对应的地面平坦区域，并继续判断下一个地面平坦区域中是否可作为候选降落。

在一个可能的实施例中，在根据障碍物信息和降落航线拟合空间的相交情况，从一个或多个地面平坦区域中确定候选降落区域时，还可以是确定以地面平坦区域的中心为原点，对应降落航线拟合空间的半径信息为半径围成的空间内，地面平坦区域所包含的第一点云数据，确定对应的降落航线拟合空间内包含的第二点云数据，并确定第一点云数据和第二点云数据的交集，在第一点云数据和第二点云数据的交集为空时，可将该降落航线拟合空间对应的地面平坦区域确定为一个候选降落区域。

S207：从候选降落区域中确定目标降落区域。

示例性的，在无人设备需要进行降落操作时，可从候选降落区域中选择目标降落区域进行降落。无人设备在确定目标降落区域进行降落时，可按照目标降落区域对应的盘旋降落航线进行盘旋降落，减少降落过程中障碍物造成的干扰，保证无人设备安全降落。

其中，目标降落区域的选择可无人设备在降落时的飞行状态进行确定，即在飞行状态较为紧急时，优先选择最近的候选降落区域进行迫降，而在飞行状态正常时，可根据不同候选降落区域的计分情况确定合适的目标降落区域进行降落。基于此，本方案在从候选降落区域中确定目标降落区域时，包括：

S2071：在无人设备以第一飞行状态降落时，确定各个候选降落区域与无人设备的第一距离、各个候选降落区域与操作终端和/或操作人员的第二距离以及各个候选降落区域的面积信息，并根据第一距离、第二距离以及面积信息从候选降落区域中确定目标降落区域；和/或

S2072：在无人设备以第二飞行状态降落时，确定各个候选降落区域与无人设备的第一距离，并根据第一距离从候选降落区域中确定目标降落区域。

本方案提供的飞行状态包括第一飞行状态和第二飞行状态，并且第二飞行状态的(降落)紧急程度高于第一飞行状态的(降落)紧急程度，即无人设备在第二飞行状态下，需要更快速地完成降落操作。例如，第一飞行状态可以是正常飞行状态，例如无人设备在飞行过程中接收到指示正常返航降落的返航信号或正常降落的降落信号时，此时无人设备的飞行状态为第一飞行状态。第二飞行状态可以是异常飞行状态，例如无人设备发飞行过程中检测到电量不足、飞行故障或者是需要执行完成部分任务后的断点降落任务时，此时无人设备的飞行状态为第二飞行状态。

示例性的，在无人设备以第一飞行状态降落时，计算上述确定的各个候选降落区域与无人设备的第一距离(可根据候选降落区域中心点坐标与无人设备的定位坐标进行计算得到)、各个候选降落区域与操作终端和/或操作人员的第二距离(可根据候选降落区域中心点坐标与操作终端和/或操作人员的定位坐标进行计算得到)以及各个候选降落区域的面积信息。进一步的，根据上述计算得到的第一距离、第二距离以及面积信息计算各个候选降落区域的降落点得分，并将降落点得分最高的候选降落区域确定为目标降落区域。其中降落点得分的计算可根据设定的加权系数对第一距离、第二距离以及面积信息进行加权计算得到。

在无人设备以第二飞行状态返航降落时，计算上述确定的各个候选降落区域与无人设备的第一距离，并将第一距离最小的候选降落区域确定为目标降落区域，以加快无人设备的降落速度，保证无人设备的安全。

上述，通过根据在飞行区域内的点云数据确定地面信息和障碍物信息，根据地面信息确定在飞行区域内的一个或多个地面平坦区域，并根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域，并从候选降落区域中确定目标降落区域，减少由于飞行区域现场环境较为复杂导致选择的候选降落区域安全性较低，导致无人设备在降落过程中出现意外的情况，保证无人设备降落时的设备及人员安全。同时，通过基于点云分割技术以及图像分割技术的多模态分割技术融合方式，可精准地确定在飞行区域内的地面信息和障碍物信息。并通过二维网格划分以及相邻区域融合的方式得到面积更大且平坦的地面平坦区域，可得到更适合无人设备进行降落的区域，保证无人设备降落安全性。还通过各个地面平坦区域中障碍物与盘旋降落航线的交集筛选候选降落区，减少无人设备降落过程中与障碍物碰撞，损坏无人设备的情况。并且针对无人设备降落时的不同飞行状态确定对应的目标降落区域确定策略，并根据不同的目标降落区域确定策略计算不同候选降落区域的降落点得分，确定最优的目标降落区域，保证无人设备的安全降落以及相关人员的安全。

在上述实施例的基础上，图4给出了本申请实施例提供的另一种无人设备降落处理方法的流程图，该无人设备降落处理方法是对上述无人设备降落处理方法的具体化。参考图4，该无人设备降落处理方法包括：

S301：获取飞行区域内的点云数据。

S302：基于语义分割算法从点云数据中确定地面信息和障碍物信息，并将地面信息划分为多个地面候选区域。

示例性的，获取在飞行区域内的点云数据(原始点云数据和/或稠密点云数据)，并基于点云语义分割(point cloudsemantic segmentation)算法区分点云数据中的地面信息和障碍物信息(其中在障碍物下方的地面对应的点云数据，被划分到障碍物信息中)。

在确定点云数据中的地面信息和障碍物信息后，通过点云密度聚类的方式对地面信息进行聚类处理，从而将地面信息划分为多个地面候选区域。

S303：根据地面候选区域的高度差、长度距离和/或宽度距离，从多个地面候选区域中确定在飞行区域内的一个或多个地面平坦区域。

示例性的，分别计算上述确定的多个地面候选区域的边界区域(例如地面候选区域的最大内接矩形)，根据边界区域确定地面候选区域的长度距离和/或宽度距离，以及计算地面候选区域的高度差。

进一步的，将地面候选区域的高度差、长度距离和/或宽度距离分别与设定的高度差阈值长度阈值和/或宽度阈值进行比较，并将分别达到对应阈值要求的地面候选区域作为在飞行区域内的地面平坦区域。

S304：根据无人设备的滑道距离要求，在每个地面平坦区域中确定一个或多个降落滑道。

本实施例以垂直固定翼无人机的滑翔降落作为无人设备的降落方式为例进行描述。如图5提供的一种滑翔降落航线示例图所示，滑翔降落的滑翔降落航线包括在地面上的降落滑道(图中L21，箭头方向为前进方向)，以及朝着降落滑道倾斜向下的滑降路径(图中L22，箭头方向为前进方向)，滑降路径为降落滑道的延伸方向上方的路径。

示例性的，在确定出在飞行区域内的一个或多个地面平坦区域后，进一步根据无人设备的滑道距离要求，在每个地面平坦区域中确定一个或多个供无人设备滑翔降落的降落滑道(无人设备滑降至地面后在地面滑行降速的滑道)。

其中，无人设备的滑道距离要求对应的滑道距离，可根据无人设备当前的飞行速度进行确定，并且无人设备的飞行速度越快，需要的滑道距离越长。

在一个可能的实施例中，可在每个地面平坦区域上确定出多个候选滑道，再从这些候选滑道中确定合适的降落滑道。基于此，本方案在根据无人设备的滑道距离要求，在每个地面平坦区域中确定一个或多个降落滑道时，包括：在每个地面平坦区域中确定多个角度对应的候选滑道，并根据无人设备的滑道距离要求从多个候选滑道中确定一个或多个降落滑道。

示例性的，在确定出在飞行区域内的一个或多个地面平坦区域后，对于每个地面平坦区域，以地面平坦区域中点为旋转中心进行多个角度的旋转，并为每一个旋转角度生成一个候选滑道。然后按照无人设备的滑道距离要求，从这些候选滑道中筛选出符合滑道距离要求的一个或多个降落滑道。如图6提供的一种降落滑道提取示意图所示，在地面平坦区域A中，以地面平坦区域A的中心O作为旋转中心进行多个角度的旋转，并为每一个旋转角度生成一个候选滑道，并筛选出符合滑道距离要求的降落滑道(图中示意出0°和90°的旋转角度的两个降落滑道L31和L41)。

S305：根据每个降落滑道的延伸方向上的障碍物信息，从一个或多个地面平坦区域中确定候选降落区域。

示例性的，对于上述确定的每一个降落滑道，确定降落滑道的延伸方向上的障碍物信息，以确定每个降落滑道的延伸方向上的障碍物高度，并根据障碍物高度确定该降落滑道是否满足无人设备的滑降要求。例如将降落滑道的延伸方向上的障碍物高度与设定障碍物高度阈值进行比较，若降落滑道的延伸方向上存在障碍物高度达到设定障碍物高度阈值的障碍物，确定该降落滑道对应的滑翔降落航线内存在障碍物对应的点云数据，无人设备按照该滑翔降落航线进行降落时，会受到障碍物的干扰，则忽略或丢弃该降落滑道，并继续判断下一个降落滑道的延伸方向与障碍物信息的相交情况。

进一步的，对于一个地面平坦区域，若降落滑道的延伸方向上未存在障碍物高度达到设定障碍物高度阈值的障碍物，认为无人设备按照该降落滑道以及延伸方向对应的滑翔降落航线进行滑翔降落时，不会受到障碍物的干扰，可将该地面平坦区域确定为候选降落区域，并且其对应的延伸方向上未存在障碍物高度达到设定障碍物高度阈值的障碍物的降落滑道可作为无人设备进行滑翔降落时的滑行降速路径。若地面平坦区域上所有降落滑道的延伸方向上均存在障碍物高度达到设定障碍物高度阈值的障碍物，认为无人设备按照该地面平坦区域上的任一降落滑道以及延伸方向对应的滑翔降落航线进行滑翔降落时，均会受到障碍物的干扰，则忽略该地面平坦区域，并继续判断下一个地面平坦区域中是否可作为候选降落区域。可选的，设定障碍物高度阈值可根据延伸方向到降落滑道的距离进行动态设定，并且延伸方向到降落滑道的距离越大，设定障碍物高度阈值越大。

S306：从候选降落区域中确定目标降落区域。

示例性的，在无人设备需要进行降落操作时，可从上述提供的候选降落区域中选择目标降落区域进行降落。无人设备在确定目标降落区域进行降落时，可按照目标降落区域对应的滑翔降落航线进行盘旋降落，减少降落过程中障碍物造成的干扰，保证无人设备安全降落。

在一个可能的实施例中，本方案在从候选降落区域中确定目标降落区域时，包括：

S3061：基于候选降落区域的平整度、滑道长度、滑道宽度、障碍物高度以及各个候选降落区域与无人设备的第三距离中的一种或多种的组合进行加权融合计算。

S3062：根据加权融合计算结果从候选降落区域中确定目标降落区域。

示例性的，在无人设备需要进行降落操作时，确定每一个候选降落区域对应的降落滑道的平整度(可通过平坦区域块或降落滑道的高度差、平均高度和高度方差中的一种或多种的组合进行表示)、滑道长度以及滑道宽度，降落滑道延伸方向上的障碍物信息对应的障碍物高度，以及每个候选降落区域与无人设备的第三距离中的一种或多种的组合，并对平整度、滑道长度、滑道宽度、障碍物高度、第三距离中的一种或多种的组合进行加权融合计算，得到反映各个降落滑道对应的滑道得分的加权融合计算结果。

进一步的，确定滑道得分最高的加权融合计算结果对应的降落滑道，并将该降落滑道对应的候选降落区域确定为目标降落区域。无人设备将按照降落滑道对应的滑翔降落航线，滑翔降落到目标降落区域上。

上述，通过根据在飞行区域内的点云数据确定地面信息和障碍物信息，根据地面信息确定在飞行区域内的一个或多个地面平坦区域，并根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域，并从候选降落区域中确定目标降落区域，减少由于飞行区域现场环境较为复杂导致选择的候选降落区域安全性较低，导致无人设备在降落过程中出现意外的情况，保证无人设备降落时的设备及人员安全。同时，基于语义分割算法精准可得到飞行区域内的地面信息和障碍物信息，更精准地划分出多个地面候选区域，可根据各个地面候选区域的边界区域、高度差、长度距离和/或宽度距离准确筛选出地面平坦区域，根据障碍物信息以及每个降落滑道延伸方向的相交情况筛选出更适合无人设备进行降落的候选降落区域，保证无人设备的降落安全。并对候选降落区域周围障碍物高度进行分析，在候选降落区域中确定多个满足无人设备滑降要求的降落滑道，后续无人设备可基于不同降落滑道的平整度、滑道长度、滑道宽度、障碍物高度以及各个候选降落区域与无人设备的第三距离的加权融合计算结果确定最优的降落滑道以及目标降落区域，无人设备的降落地点确定更合理。

在上述实施例的基础上，图7给出了本申请实施例提供的另一种无人设备降落处理方法的流程图，该无人设备降落处理方法是对上述无人设备降落处理方法的具体化。参考图7，该无人设备降落处理方法包括：

S401：基于飞行区域内的点云数据，确定飞行区域的地面信息和障碍物信息。

S402：根据地面信息确定在飞行区域内的一个或多个地面平坦区域。

S403：根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域。

S404：基于无人设备的降落方式对应的安全系数、设备情况、降落原因、候选降落区域与无人设备的第四距离以及各个候选降落区域的面积信息中的一种或多种的组合，计算每个候选降落区域的降落安全分数。

S405：基于降落安全分数从候选降落区域中确定目标降落区域。

本实施例以垂直固定翼无人设备作为无人设备为例进行描述。其中，候选降落区域包括基于盘旋降落方式确定的盘旋降落区域(可参照上述实施例中步骤S201-S206确定的候选降落区域)，以及基于滑翔降落方式确定的滑翔降落区域(可参照上述实施例中步骤S301-S306确定的候选降落区域)，并且滑翔降落方式的安全系数高于盘旋降落方式的安全系数。

示例性的，在无人设备需要进行降落操作时，确定无人设备当前的设备情况、降落原因，确定当前降落原因对应的安全系数，以及候选降落区域与无人设备的第四距离和各个候选降落区域的面积信息。

对安全系数、设备情况、降落原因、第四距离以及面积信息中的一种或多种的组合进行加权融合计算，得到每个候选降落区域的降落安全分数。进一步的，将降落安全分数最高的候选降落区域确定为目标降落区域。

上述，通过根据在飞行区域内的点云数据确定地面信息和障碍物信息，根据地面信息确定在飞行区域内的一个或多个地面平坦区域，并根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域，并从候选降落区域中确定目标降落区域，减少由于飞行区域现场环境较为复杂导致选择的候选降落区域安全性较低，导致无人设备在降落过程中出现意外的情况，保证无人设备降落时的设备及人员安全。并结合无人设备的设备情况、降落原因、与候选降落区域的距离以及各个候选降落区域的面积等多个参数计算各个候选降落区域的降落安全分数，并基于降落安全分数灵活选取合适的目标降落区域进行降落，辅助无人设备的安全降落，保证相关人员安全并减少无人设备降落过程中出现撞击的情况。

图8给出了本申请实施例提供的一种无人设备降落处理装置的结构示意图。参考图8，该无人设备降落处理装置包括飞行区域分析模块81、平坦区域分析模块82、候选区域确定模块83和目标区域确定模块84。

其中，飞行区域分析模块81，用于基于飞行区域内的点云数据，确定飞行区域的地面信息和障碍物信息；平坦区域分析模块82，用于根据地面信息确定在飞行区域内的一个或多个地面平坦区域；候选区域确定模块83，用于根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域；目标区域确定模块84，用于从候选降落区域中确定目标降落区域。

上述，通过根据在飞行区域内的点云数据确定地面信息和障碍物信息，根据地面信息确定在飞行区域内的一个或多个地面平坦区域，并根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域，并从候选降落区域中确定目标降落区域，减少由于飞行区域现场环境较为复杂导致选择的候选降落区域安全性较低，导致无人设备在降落过程中出现意外的情况，保证无人设备降落时的设备及人员安全。

在上述实施例的基础上，飞行区域分析模块81具体用于：

获取飞行区域内的点云数据和数字模型；

基于点云分割技术以及图像分割技术，根据点云数据和数字模型确定飞行区域内的地面信息和障碍物信息。

在上述实施例的基础上，平坦区域分析模块82具体用于：

通过对地面信息进行二维网格划分，在地面信息中划分出一个或多个平坦候选区域；

对每个平坦候选区域进行相邻区域搜索，根据相邻区域搜索结果对平坦候选区域进行融合，得到在飞行区域内的一个或多个地面平坦区域。

在上述实施例的基础上，平坦区域分析模块82在通过对地面信息进行二维网格划分，在地面信息中划分出一个或多个平坦候选区域时，包括：

通过对地面信息进行二维网格划分，在地面信息中划分出一个或多个平坦区域块；

根据平坦区域块的平坦参数，从平坦区域块中筛选出一个或多个平坦候选区域，平坦参数包括高度差、平均高度和高度方差中的一个或多个参数。

在上述实施例的基础上，飞行区域分析模块81具体用于：

获取飞行区域内的点云数据；

基于语义分割算法从点云数据中确定地面信息和障碍物信息。

在上述实施例的基础上，平坦区域分析模块82具体用于：

将地面信息划分为多个地面候选区域；

根据地面候选区域的高度差、长度距离和/或宽度距离，从多个地面候选区域中确定在飞行区域内的一个或多个地面平坦区域。

在上述实施例的基础上，候选区域确定模块83具体用于：

根据无人设备的盘旋降落航线，确定在每个地面平坦区域中的降落航线拟合空间；

根据障碍物信息和降落航线拟合空间的相交情况，从一个或多个地面平坦区域中确定候选降落区域。

在上述实施例的基础上，目标区域确定模块84具体用于：

在无人设备以第一飞行状态降落时，确定各个候选降落区域与无人设备的第一距离、各个候选降落区域与操作终端和/或操作人员的第二距离以及各个候选降落区域的面积信息，并根据第一距离、第二距离以及面积信息从候选降落区域中确定目标降落区域；和/或

在无人设备以第二飞行状态降落时，确定各个候选降落区域与无人设备的第一距离，并根据第一距离从候选降落区域中确定目标降落区域。

在上述实施例的基础上，候选区域确定模块83具体用于：

根据无人设备的滑道距离要求，在每个地面平坦区域中确定一个或多个降落滑道；

根据每个降落滑道的延伸方向上的障碍物信息，从一个或多个地面平坦区域中确定候选降落区域。

在上述实施例的基础上，候选区域确定模块83在根据无人设备的滑道距离要求，在每个地面平坦区域中确定一个或多个降落滑道时，包括：

在每个地面平坦区域中确定多个角度对应的候选滑道，并根据无人设备的滑道距离要求从多个候选滑道中确定一个或多个降落滑道。

在上述实施例的基础上，目标区域确定模块84具体用于：

基于候选降落区域的平整度、滑道长度、滑道宽度、障碍物高度以及各个候选降落区域与无人设备的第三距离中的一种或多种的组合进行加权融合计算；

根据加权融合计算结果从候选降落区域中确定目标降落区域。

在上述实施例的基础上，无人设备为垂直固定翼无人设备，候选降落区域包括基于盘旋降落方式确定的盘旋降落区域以及基于滑翔降落方式确定的滑翔降落区域，并且滑翔降落方式的安全系数高于盘旋降落方式的安全系数；

目标区域确定模块84具体用于：

基于无人设备的降落方式对应的安全系数、设备情况、降落原因、候选降落区域与无人设备的第四距离以及各个候选降落区域的面积信息中的一种或多种的组合，计算每个候选降落区域的降落安全分数；

基于降落安全分数从候选降落区域中确定目标降落区域。

值得注意的是，上述无人设备降落处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。

本申请实施例还提供了一种无人设备降落处理设备，该无人设备降落处理设备可集成本申请实施例提供的无人设备降落处理装置。图9是本申请实施例提供的一种无人设备降落处理设备的结构示意图。参考图9，该无人设备降落处理设备包括：输入装置93、输出装置94、存储器92以及一个或多个处理器91；存储器92，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器91执行，使得一个或多个处理器91实现如上述实施例提供的无人设备降落处理方法。其中输入装置93、输出装置94、存储器92和处理器91可以通过总线或者其他方式连接，图9中以通过总线连接为例。

存储器92作为一种计算设备可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例提供的无人设备降落处理方法对应的程序指令/模块(例如，无人设备降落处理装置中的飞行区域分析模块81、平坦区域分析模块82、候选区域确定模块83和目标区域确定模块84)。存储器92可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器92可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器92可进一步包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置93可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置94可包括显示屏等显示设备。

处理器91通过运行存储在存储器92中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的无人设备降落处理方法。

上述提供的无人设备降落处理装置、设备和计算机可用于执行上述任意实施例提供的无人设备降落处理方法，具备相应的功能和有益效果。

本申请实施例还提供一种存储计算机可执行指令的存储介质，上述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的无人设备降落处理方法，该无人设备降落处理方法包括：基于飞行区域内的点云数据，确定飞行区域的地面信息和障碍物信息；根据地面信息确定在飞行区域内的一个或多个地面平坦区域；根据障碍物信息从一个或多个地面平坦区域中确定候选降落区域；从候选降落区域中确定目标降落区域。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种存储计算机可执行指令的存储介质，其计算机可执行指令不限于如上提供的无人设备降落处理方法，还可以执行本申请任意实施例所提供的无人设备降落处理方法中的相关操作。

上述实施例中提供的无人设备降落处理装置、设备及存储介质可执行本申请任意实施例所提供的无人设备降落处理方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的无人设备降落处理方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里提供的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (15)

1.一种无人设备降落处理方法，其特征在于，包括：

基于飞行区域内的点云数据，确定所述飞行区域的地面信息和障碍物信息；

根据所述地面信息确定在所述飞行区域内的一个或多个地面平坦区域；

根据所述障碍物信息从一个或多个所述地面平坦区域中确定候选降落区域；

从所述候选降落区域中确定目标降落区域。

2.根据权利要求1所述的无人设备降落处理方法，其特征在于，所述基于飞行区域内的点云数据，确定所述飞行区域的地面信息和障碍物信息，包括：

获取飞行区域内的点云数据和数字模型；

基于点云分割技术以及图像分割技术，根据所述点云数据和所述数字模型确定所述飞行区域内的地面信息和障碍物信息。

3.根据权利要求2所述的无人设备降落处理方法，其特征在于，所述根据所述地面信息确定在所述飞行区域内的一个或多个地面平坦区域，包括：

通过对所述地面信息进行二维网格划分，在所述地面信息中划分出一个或多个平坦候选区域；

对每个所述平坦候选区域进行相邻区域搜索，根据相邻区域搜索结果对所述平坦候选区域进行融合，得到在所述飞行区域内的一个或多个地面平坦区域。

4.根据权利要求3所述的无人设备降落处理方法，其特征在于，所述通过对所述地面信息进行二维网格划分，在所述地面信息中划分出一个或多个平坦候选区域，包括：

通过对所述地面信息进行二维网格划分，在所述地面信息中划分出一个或多个平坦区域块；

根据所述平坦区域块的平坦参数，从所述平坦区域块中筛选出一个或多个平坦候选区域，所述平坦参数包括高度差、平均高度和高度方差中的一个或多个参数。

5.根据权利要求1所述的无人设备降落处理方法，其特征在于，所述基于飞行区域内的点云数据，确定所述飞行区域的地面信息和障碍物信息，包括：

获取飞行区域内的点云数据；

基于语义分割算法从所述点云数据中确定地面信息和障碍物信息。

6.根据权利要求5所述的无人设备降落处理方法，其特征在于，所述根据所述地面信息确定在所述飞行区域内的一个或多个地面平坦区域，包括：

将所述地面信息划分为多个地面候选区域；

根据所述地面候选区域的高度差、长度距离和/或宽度距离，从多个所述地面候选区域中确定在所述飞行区域内的一个或多个地面平坦区域。

7.根据权利要求1所述的无人设备降落处理方法，其特征在于，所述根据所述障碍物信息从一个或多个所述地面平坦区域中确定候选降落区域，包括：

根据无人设备的盘旋降落航线，确定在每个所述地面平坦区域中的降落航线拟合空间；

根据所述障碍物信息和所述降落航线拟合空间的相交情况，从一个或多个所述地面平坦区域中确定候选降落区域。

8.根据权利要求7所述的无人设备降落处理方法，其特征在于，所述从所述候选降落区域中确定目标降落区域，包括：

在无人设备以第一飞行状态降落时，确定各个所述候选降落区域与所述无人设备的第一距离、各个所述候选降落区域与操作终端和/或操作人员的第二距离以及各个所述候选降落区域的面积信息，并根据所述第一距离、所述第二距离以及所述面积信息从所述候选降落区域中确定目标降落区域；和/或

在无人设备以第二飞行状态降落时，确定各个所述候选降落区域与所述无人设备的第一距离，并根据所述第一距离从所述候选降落区域中确定目标降落区域。

9.根据权利要求1所述的无人设备降落处理方法，其特征在于，所述根据所述障碍物信息从一个或多个所述地面平坦区域中确定候选降落区域，包括：

根据无人设备的滑道距离要求，在每个所述地面平坦区域中确定一个或多个降落滑道；

根据每个所述降落滑道的延伸方向上的所述障碍物信息，从一个或多个所述地面平坦区域中确定候选降落区域。

10.根据权利要求9所述的无人设备降落处理方法，其特征在于，所述根据无人设备的滑道距离要求，在每个所述地面平坦区域中确定一个或多个降落滑道，包括：

在每个所述地面平坦区域中确定多个角度对应的候选滑道，并根据无人设备的滑道距离要求从多个所述候选滑道中确定一个或多个降落滑道。

11.根据权利要求9所述的无人设备降落处理方法，其特征在于，所述从所述候选降落区域中确定目标降落区域，包括：

基于所述候选降落区域的平整度、滑道长度、滑道宽度、障碍物高度以及各个所述候选降落区域与所述无人设备的第三距离中的一种或多种的组合进行加权融合计算；

根据加权融合计算结果从所述候选降落区域中确定目标降落区域。

12.根据权利要求1-11任一项所述的无人设备降落处理方法，其特征在于，所述无人设备为垂直固定翼无人设备，所述候选降落区域包括基于盘旋降落方式确定的盘旋降落区域以及基于滑翔降落方式确定的滑翔降落区域，并且所述滑翔降落方式的安全系数高于所述盘旋降落方式的安全系数；

所述从所述候选降落区域中确定目标降落区域，包括：

基于无人设备的降落方式对应的安全系数、设备情况、降落原因、所述候选降落区域与所述无人设备的第四距离以及各个所述候选降落区域的面积信息中的一种或多种的组合，计算每个所述候选降落区域的降落安全分数；

基于所述降落安全分数从所述候选降落区域中确定目标降落区域。

13.一种无人设备降落处理装置，其特征在于，包括飞行区域分析模块、平坦区域分析模块、候选区域确定模块和目标区域确定模块，其中：

所述飞行区域分析模块，用于基于飞行区域内的点云数据，确定所述飞行区域的地面信息和障碍物信息；

所述平坦区域分析模块，用于根据所述地面信息确定在所述飞行区域内的一个或多个地面平坦区域；

所述候选区域确定模块，用于根据所述障碍物信息从一个或多个所述地面平坦区域中确定候选降落区域；

所述目标区域确定模块，用于从所述候选降落区域中确定目标降落区域。

14.一种无人设备降落处理设备，其特征在于，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12任一项所述的无人设备降落处理方法。

15.一种存储计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-12任一项所述的无人设备降落处理方法。

Images