CN113050664A - 一种无人机降落方法及装置 - Google Patents

Abstract

本说明书公开了一种无人机降落方法及装置，通过对无人机采集到的地面图像进行语义分割，确定该地面图像对应的各地面区域的类型，进而确定该无人机的降落区域，并控制该无人机到达降落区域上方后，向降落区域下降，以及根据该无人机下降过程中连续采集的降落区域的图像，通过区域稳像对该降落区域进行追踪，以调整无人机降落轨迹，直至该无人机到达该降落区域。无人机自主降落的过程中，通过图像语义分割确定降落区域，通过区域稳像实现对降落区域的追踪，避免了对定位芯片的依赖，提高了无人机降落的效率和安全性。

Description

一种无人机降落方法及装置

技术领域

本说明书涉及无人机技术领域，尤其涉及一种无人机降落方法及装置。

背景技术

目前，随着无人机技术的迅速发展，无人机的用途也越来越广泛。但在无人机运行的过程中，可能会出现如电源不足，导致无人机无法正常运行等紧急情况，而相较于传统的伞降，机载系统依靠无人机自身的传感器完成自主安全区域选择并最终安全降落到安全区域，能够最大程度地降低机体损坏和对所降区域的侵扰度。

现有技术中，一种常用的无人机降落方法为预设有多个可以供无人机降落的安全区域，在无人机需要自主降落时，根据全球导航卫星系统(Global Navigation SatelliteSystem，GNSS)信号获取无人机的位置信息，根据确定出的无人机的位置信息与预先设定好的各安全区域，确定本次无人机自主降落的安全区域，并基于GNSS信号的降落引导装置，根据确定出的无人机的位置信息、安全区域的位置信息以及无人机的速度信息，引导无人机进行降落。

但是，由于GNSS信号存在多径效应，会导致现有技术确定出的无人机位置不够准确，且该现有技术依赖于外部信息传输，若GNSS信号中断，则无法确定无人机的位置信息与无人机自主降落的安全区域，进而无法实现降落。

基于此，本说明书提供一种无人机降落方法。

发明内容

本说明书提供一种无人机降落方法及装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种无人机降落方法，包括：

获取无人机采集的地面图像，并进行图像语义分割，确定所述地面图像对应的各地面区域的类型；

根据确定出的各地面区域的类型，确定所述无人机的降落区域；

控制所述无人机到达所述降落区的上方，并向所述降落区域下降；

根据所述无人机下降过程中连续采集的降落区域的图像，通过区域稳像对所述降落区域进行追踪，以调整所述无人机降落轨迹，直至所述无人机至所述降落区域为止。

可选地，根据确定出的各地面区域的类型，确定所述无人机的降落区域，具体包括：

根据确定出的各地面区域的类型，确定待选区域；

根据所述待选区域，确定所述无人机的各可降落区域；

根据所述各可降落区域的中心的位置与所述无人机采集的地面图像的中心位置，从所述各可降落区域中，确定所述无人机的降落区域。

可选地，根据确定出的各地面区域的类型，确定待选区域，具体包括：

根据确定出的各地面区域的类型，确定属于预设目标区域类型的各区域；

将所述各区域中属于所述目标区域类型，且边界相邻的各区域，组合为一个区域；

根据组合后的区域以及未组合但属于所述目标区域类型的区域，确定待选区域。

可选地，根据所述待选区域，确定所述无人机的各可降落区域，具体包括：

针对每个待选区域，确定该待选区域的最大内接圆；

判断所述最大内接圆是否不小于预设的无人机降落所需的面积；

若是，则确定所述最大内接圆对应的区域为所述无人机的可降落区域，并将该待选区域去除所述最大内接圆后的其他若干区域，重新确定为若干待选区域，并根据重新确定出的各待选区域，重新确定其最大内接圆，直至确定出各可降落区域为止；

若否，则确定该待选区域为不可降落区域。

可选地，根据所述无人机下降过程中连续采集的降落区域的图像，通过区域稳像对所述降落区域进行追踪，调整所述无人机降落轨迹，具体包括：

从所述无人机下降过程中连续采集到的降落区域的图像中，确定第一图像与第二图像；

根据所述第一图像中的降落区域的图像位置，在所述第二图像中的待追踪图像范围中，通过所述待追踪范围的图像以及所述降落区域的图像，对所述第二图像中的降落区域进行追踪，得到追踪结果；

根据所述追踪结果，调整所述无人机降落轨迹。

可选地，从所述无人机下降过程中连续采集到的图像中，确定第一图像与第二图像，具体包括：

根据所述追踪结果，判断所述追踪结果是否为追踪成功；

若是，则从连续采集的所述降落区域的图像中，确定最新采集的图像，作为所述第二图像，将所述第二图像的前一帧图像，作为所述第一图像；

若否，则从连续采集的所述降落区域的图像中，确定最新采集的图像，作为所述第二图像，以及将上一次判断过程采用的第一图像，继续作为所述第一图像。

可选地，所述方法还包括：

在所述无人机下降过程中，获取所述无人机的下降距离；

当所述无人机的下降距离到达预设的距离阈值时，控制所述无人机停止下降，并采集当前高度对应的地面图像；

根据所述当前高度对应的地面图像，重新确定降落区域，并根据重新确定出的降落区域，控制所述无人机进行降落。

可选地，根据所述当前高度对应的地面图像，重新确定降落区域，并根据重新确定出的降落区域，控制所述无人机进行降落，具体包括：

将所述当前高度对应的地面图像进行语义分割，得到当前高度的分割结果；

根据所述当前高度的分割结果，确定所述降落区域中是否存在障碍物；

若存在，且无人机停止下降的时间到达预设的时间阈值时，根据所述当前高度的分割结果，重新确定降落区域，并根据重新确定的降落区域通过区域稳像控制无人机进行降落；

否则，根据所述降落区域继续控制所述无人机进行降落。

本说明书提供了一种无人机降落装置，包括：

第一确定模块，获取无人机采集的地面图像，并进行图像语义分割，确定所述地面图像对应的各地面区域的类型；

第二确定模块，用于根据确定出的各地面区域的类型，确定所述无人机的降落区域；

控制模块，用于控制所述无人机到达所述降落区的上方，并向所述降落区域下降；

追踪模块，用于根据所述无人机下降过程中连续采集的降落区域的图像，通过区域稳像对所述降落区域进行追踪，以调整所述无人机降落轨迹，直至所述无人机至所述降落区域为止。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述无人机降落方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述无人机降落方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

本说明书提供的无人机降落方法中，通过对无人机采集到的地面图像进行语义分割，确定该地面图像对应的各地面区域的类型，进而确定该无人机的降落区域，并控制该无人机到达降落区域上方后，向降落区域下降，以及根据该无人机下降过程中连续采集的降落区域的图像，通过区域稳像对该降落区域进行追踪，以调整无人机降落轨迹，直至该无人机到达该降落区域。

从上述方法中可以看出，本方法在无人机自主降落的过程中，通过图像语义分割确定降落区域，通过区域稳像实现对降落区域的追踪，避免了对定位芯片的依赖，提高了无人机降落的效率和安全性。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书提供的无人机降落方法的流程示意图；

图2为本说明书提供的确定待选区域的示意图；

图3为本说明书提供的待追踪范围的示意图；

图4为本说明书提供的确定可降落区域的示意图；

图5为本说明书提供的确定待选区域的示意图；

图6为本说明书提供的无人机降落装置示意图；

图7为本说明书提供的对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书提供的无人机降落方法的流程示意图，具体包括以下步骤：

S100：获取无人机采集的地面图像，并进行图像语义分割，确定所述地面图像对应的各地面区域的类型。

S102：根据确定出的各地面区域的类型，确定所述无人机的降落区域。

为了解决目前无人机在出现紧急情况时，难以自主安全迫降的问题，本说明书提供了一种无人机降落方法。该无人机降落方法，是针对搭载有视觉导航系统的无人机，在紧急情况下进行自主降落的方法。具体可由无人机或者为该无人机提供业务支持的服务器，执行该无人机降落方法。为了方便描述，后续以无人机执行该无人机降落方法为例进行说明。

一般当出现紧急情况时，为使无人机能够及时降落，减少安全隐患，无人机可就近选择安全区域进行降落，如，选择草坪、空地等区域进行降落。

基于此，在本说明书中，当无人机需要迫降时，该无人机可采集地面图像，并根据该采集到的地面图像，确定降落区域。具体的，当无人机确定需要执行降落操作时，可采集当前时刻的地面图像，并通过图像语义分割算法，如全卷积网络(Fully ConvolutionalNetworks，FCN)算法，金字塔场景解析网络(Pyramid Scene Parsing Network，PSP Net)算法等，从该地面图像中确定出各环境区域以及各环境区域的区域类型，作为该地面图像的分割结果，并根据该地面图像的分割结果，确定待选区域，如图2所示。

图2为本说明书提供的确定待选区域的示意图，上半部分为无人机采集到的地面图像，包括有草坪、土地、车辆、树林等部分，下半部分为通过语义分割算法对该地面图像进行分割后得到的分割结果，其中，区域1为马路，区域2为草坪，区域3为树林，区域4为水泥地，区域5为车辆，区域6为土地。则无人机可根据该分割结果，确定区域2与区域6为待选区域。

当然，确定无人机降落区域时，不仅需要确定出的降落区域的类型适合无人机降落，降落区域的面积还需要满足无人机停放的大小。因此在确定出各待选区域后，还可根据各待选区域的面积大小，从待选区域中筛选出可降落区域，再从可降落区域中确定无人机的降落区域，保证确定出的降落区域从类型适于无人机降落，面积大于无人机的最小停放面积。于是，该无人机可根据采集该地面图像时的飞行高度，确定该地面图像中的各待选区域的区域面积大小，筛选出区域面积大于该无人机的最小停放面积的环境区域，作为可降落区域。如，预设无人机降落所需的面积介于图2中的区域2与区域6的面积之间，则可确定区域2为可降落区域，区域6不为可降落区域。

在本说明书提供的一个或多个实施例中，一般可将无人机采集的地面图像的中心位置视为无人机所在位置，于是，在确定出各可降落区域后，该无人机可根据各可降落区域的中心位置与该无人机采集到的地面图像的中心位置，确定该无人机距离各可降落区域的距离，并将距离该无人机最近的可降落区域，确定为降落区域。

S104：控制所述无人机到达所述降落区的上方，并向所述降落区域下降。

在本说明书提供的一个或多个实施例中，无人机在执行飞行任务时，是从出发位置上升到飞行高度后，以不低于安全高度的方式飞行至目的地后，再进行降落，于是，为了避免无人机在执行降落操作时，碰到障碍物而发生事故，该无人机在确定出降落区域后，可根据该降落区域，控制该无人机以不低于安全高度的方式飞行到达该降落区域的上方。在到达降落区域后，无人机可控制自身向该降落区域进行下降。

S106：根据所述无人机下降过程中连续采集的降落区域的图像，通过区域稳像对所述降落区域进行追踪，以调整所述无人机降落轨迹，直至所述无人机至所述降落区域为止。

在本说明书提供的一个或多个实施例中，该无人机可获取下降过程中连续采集的降落区域的图像，并根据该采集到的降落区域的图像，通过区域稳像对步骤S102中确定出的降落区域进行追踪，以调整该无人机的降落轨迹，直至该无人机降落到该降落区域为止。

具体的，在无人机下降过程中，实际场景较为复杂，有多种因素会影响无人机降落位置。例如，当降落过程中无人机由于风向变化，导致水平位置发生偏移，使得本应降落在草坪的无人机降落至树林中，出现安全隐患。因此，为了保证无人机降落过程的安全，在本说明书一个或多个实施例中，首先，该无人机下降时可根据预设的时间间隔连续采集该降落区域的图像，以使后续可根据该采集到的图像对该降落区域进行追踪。其中，该预设的时间间隔可为1/24秒，也可为1/60秒，该时间间隔具体的数值可根据需要进行设置，本说明书对此不做限制。

其次，在无人机下降过程中，难免会受到外界因素影响发生抖动，而在无人机下降过程中连续采集到的降落区域的图像也会受到飞机抖动而造成的干扰，但在抖动幅度不大的情况下，通过区域稳像，可实现对连续两帧图像中该降落区域的追踪。因此，在获取到无人机下降过程中连续采集到的降落区域的图像后，该无人机可从连续采集到的该降落区域的图像中，确定最新采集的图像，作为第二图像，并将该第二图像的上一帧图像，作为第一图像。

然后，在确定出第一图像与第二图像后，该无人机可通过图像稳像技术，根据第一图像中的降落区域的图像位置，在该第二图像的待追踪图像范围内，通过该待追踪范围的图像以及该降落区域的图像，判断该待追踪范围的图像中是否存在该降落区域，若存在，该无人机可确定该降落区域的位置。若不存在，则该无人机可确定自身抖动幅度较大，或自身已发生偏移，可能出现安全隐患。根据该降落区域是否存在的判断结果，该无人机可确定追踪结果。其中，该待追踪范围为基于第一图像中该降落区域的图像位置确定出的第二图像中该降落区域可能存在的区域，如图3所示。

图3为本说明书提供的待追踪范围的示意图，其中，白色区域为无人机采集到的图像，黑色区域为降落区域，灰色区域为待追踪范围，该待追踪范围为为无人机根据降落区域的位置、无人机高度、无人机当前抖动幅度等其中的至少一种确定的，也可为第二图像的整张图像，该待追踪范围的形状可为规则图像，也可为不规则图像，具体的该待追踪范围的确定方法与形状可根据需要进行设置，本说明书对此不做限制。

最后，在确定出该追踪结果后，该无人机可根据该追踪结果，调整该无人机降落轨迹。若该追踪结果为追踪成功，则该无人机可根据第二图像中确定出的该降落区域的位置、无人机当前高度、降落速度等，调整该无人机降落轨迹。若该追踪结果为追踪失败，如前所述的，该无人机可确定自身抖动幅度较大或自身已发生偏移，可能出现安全隐患，于是，该无人机可重新确定该降落区域，并根据重新确定出的该降落区域的位置等调整该无人机的降落轨迹，直至该无人机降落至降落区域为止。

基于图1的无人机降落方法，通过对无人机采集到的地面图像进行语义分割，确定该地面图像对应的各地面区域的类型，进而确定该无人机的降落区域，并控制该无人机到达降落区域上方后，向降落区域下降，以及根据该无人机下降过程中连续采集的降落区域的图像，通过区域稳像对该降落区域进行追踪，以调整无人机降落轨迹，直至该无人机到达该降落区域。无人机自主降落的过程中，通过图像语义分割确定降落区域，通过区域稳像实现对降落区域的追踪，避免了对定位芯片的依赖，提高了无人机降落的效率和安全性。

进一步地，在无人机降落过程中，还可能存在待选区域的面积大于无人机降落所需的面积，但在无人机实际执行降落操作时，该待选区域形状并不适用的情况，例如，长矩形的区域，其短边长度小于无人机尺寸，那么即使长矩形的区域面积足够大，该无人机也无法降落在该区域内。一般的，无人机的停机坪一般设计为圆形，因为仅需根据圆心位置与半径大小即可准确地确定出该停机坪的位置，于是，为了使无人机能够更准确地确定出实际可用的降落区域以及该降落区域的位置，还可将设置各可降落区域的形状为圆形。

具体的，首先，该无人机可针对每个待选区域，确定该待选区域的最大内接圆，其中，该最大内接圆为区域内最大的圆。然后，该无人机可将该最大内接圆的面积与该无人机降落所需的面积进行比较。若该最大内接圆的面积小于该无人机降落所需的面积，则确定该最大内接圆对应的区域为该无人机的不可降落区域。若该最大内接圆的面积不小于该无人机降落所需的面积，则确定该最大内接圆对应的区域为该无人机的可降落区域。并将该待选区域去除该最大内接圆后的其他若干区域，重新确定为若干待选区域，并根据重新确定出的各待选区域，重新确定各待选区域的最大内接圆，直至确定出各可降落区域为止，即，所有待选区域的最大内接圆的面积小于该无人机降落所需的面积为止，如图4所示。

图4为本说明书提供的确定可降落区域的示意图，区域1、区域2、区域3都为待选区域，以区域2和区域3为例，针对区域2，该无人机可确定区域2的最大内接圆A，并将圆A的面积与无人机降落所需的面积进行比较，比较结果为圆A面积大于该无人机降落所需的面积，于是，可确定圆A对应的区域为该无人机的可降落区域，并将区域2中去除圆A对应的区域后的其他区域，重新确定为待选区域。并在该待选区域中确定最大内接圆B，而圆B的面积大于无人机降落所需的面积，于是，还可继续重新确定待选区域，并在待选区域中确定最大内接圆C，而圆C的面积小于无人机降落所需的面积，于是，可确定区域2中的可降落区域为圆A、圆B对应的区域。针对区域3，虽然区域3的面积大于无人机降落所需的面积，但区域3的最大内接圆D的面积明显小于无人机降落所需的面积，于是，区域3中无可降落区域。

更进一步地，在无人机采集到的地面图像中，还可能存在区域交错或者嵌套的情况，导致在确定可降落区域时，某待选区域的面积大于无人机的可降落区域，但由于有另一区域嵌套在其中，进而无法确定出该区域的最大内接圆，或确定出不准确的最大内接圆，最终该待选区域中无法确定出可降落区域。于是，在确定待选区域时，还可将不同类型的环境区域组合在一起，

首先，该无人机可根据该地面图像的分割结果确定该分割结果对应的各区域的区域类型，如，树林，草坪等，并根据各区域的区域类型，确定属于预设目标区域类型的各区域，其中，预设目标区域类型为草坪、土地、水面等无人机能够安全降落的区域类型。

然后，该无人机可将各区域中属于目标区域类型，且边界相邻的各区域，组合为一个区域。

最后，该无人机可根据组合后的区域以及未组合但属于目标区域类型的区域，确定待选区域。如图5所示。

图5为本说明书提供的确定待选区域的示意图，与图2类似，该图中的区域2为草坪，区域3为树林，区域6为土地，图中，区域2与区域6的区域类型都为目标区域类型，且边界相邻，于是，区域2与区域6可进行组合。该无人机可根据组合后的区域以及未组合但属于目标区域类型的区域，确定区域A与区域C为待选区域。其中，确定该待选区域的规则以及是否可进行组合的规则可以是，确定土地、草坪、柏油地、水泥地、水面几种类型为目标区域类型，组合规则为草坪类型的区域与土地类型的区域可组合，柏油地类型与水泥地类型的区域可组合，水面不可组合等，具体如何确定待选区域可根据需要进行设置，本说明书对此不做限制。

另外，在本说明书提供的一个或多个实施例中，步骤S104中，无人机控制自身以不低于安全高度的方式飞行到达该降落区域的上方这一过程中，该无人机可通过自身配置的高度气压计、无线电高度计、毫米波雷达等至少一种设备多种可用于确定无人机高度的传感器，实时确定该无人机的高度，于是，该无人机可控制自身保持采集地面图像时的高度，水平飞行至降落区域上方，再执行后续S106的步骤，以使无人机安全降落至降落区域。该无人机也可以降落区域中心为目的地，在飞行至水平区域的上方的同时，执行降落操作，并在到达安全高度时，判断自身是否到达降落区域上方，若到达，则控制无人机执行后续步骤，若未到达，则该无人机控制自身保持安全高度，水平飞行至降落区域上方，并在到达该降落区域上方后，控制无人机执行后续步骤。

进一步地，在无人机下降过程中，还可能出现无人机抖动幅度较大导致追踪失败，而无人机抖动并不会导致该无人机产生偏离，且无人机抖动并不会持续太长时间。于是，为了提高追踪结果的准确性，在步骤S106中，该无人机还可将追踪结果为追踪失败的次数进行记录，并根据追踪结果为追踪失败的次数判断该无人机是否偏移。

具体的，当追踪结果为追踪成功时，确定该无人机抖动幅度较小，也未偏移。当追踪结果为追踪失败时，将该追踪失败的次数进行记录，若记录的追踪失败的次数小于预设的次数阈值时，认为该无人机发生较大幅度的抖动。若记录的追踪失败的次数到达预设的次数阈值时，认为该无人机发生偏移。

更进一步的，在无人机下降过程中，可能存在将某时刻的偏移误判为抖动的情况出现，例如，假设连续采集的图像为a、b、c、d、e，在采集a图像后无人机发生偏移，但是后续不再偏移，则图像a和b的追踪结果为追踪失败，但是图像b和c，图像c和d，图像d和e的的追踪结果都为追踪成功，使得仅存在一次追踪失败的记录，但该无人机已发生偏移，存在安全隐患，因此，该无人机在确定第一图像和第二图像时，可首先判断是否存在追踪失败的记录，若存在，保持第一图像不变，并从无人机连续采集的该降落区域的图像中，确定最新的地面图像，作为第二图像。若不存在，从无人机连续采集的该降落区域的图像中，确定最新采集的图像，作为第二图像，并将第二图像的上一帧图像，作为第一图像。

更进一步的，在步骤S106中为防止将较大幅度抖动误判为偏移的情况出现，采用根据记录的追踪失败的次数，来判断无人机是否发生偏移时，可能会出现累积记录的次数到达预设的次数阈值，但该无人机并未发生偏移的情况。

例如，在无人机下降过程中，在高空100米处，该无人机发生较大幅度抖动，出现了两次追踪失败的情况，在高空50米处，该无人机发生较大幅度抖动，出现了两次追踪失败的情况，在空中10米处，无人机发生抖动，出现了一次追踪失败的情况，而预设的次数阈值为5次，显然，此时该无人机判断自身发生偏移是错误的。

于是，无人机在下降过程中，若出现追踪失败的情况，可记录连续追踪失败的次数，并在确定该无人机发生偏移或追踪成功时，将该记录进行删除。使得该无人机仅会记录连续追踪失败的次数，避免累计记录的次数达到次数阈值的情况出现，以避免无人机进行非必要操作(如，重新确定降落区域)。

当然，在本说明书中，该无人机也可当确定连续一段时间内追踪成功时，再将该记录进行删除。以避免偶尔出现追踪成功时，就清空记录的情况出现。进一步增加系统的冗余。

同理，在上述防止无人机将偏移误判为抖动的场景中也同样适用，即，在确定该无人机发生偏移，或追踪成功时，将记录的次数进行删除。也就是说，无人机可仅记录连续追踪失败的次数。

另外，在无人机下降过程中，为避免因降落区域突然出现障碍物，如：人。车等，无人机未能检测出该障碍物，继续降落而出现意外的情况，可预设有距离阈值，如，两米。在该无人机下降过程中，获取该无人机的下降距离。当该无人机的下降距离到达预设的距离阈值时，控制无人机停止下降，并采集当前高度对应的地面图像。根据当前高度对应的地面图像，重新确定降落区域，并根据重新确定出的降落区域，控制该无人机进行降落。其中，可通过执行步骤S100-S104来实现重新确定降落区域。

进一步地，当下降距离到达预设的距离阈值时，若无人机未发生偏移，显然，原来的降落区域仍然为各可降落区域中距离该无人机最近的可降落区域，因此，该无人机可通过直接判断降落区域是否包含障碍物，确定降落区域是否安全，进而确定是否控制该无人机继续执行降落操作。于是，该无人机可将当前高度的地面图像进行语义分割，确定当前高度的分割结果，并根据该当前高度的分割结果，确定降落区域中是否存在障碍物，若存在障碍物，则可通过执行步骤S100-S102来实现重新确定降落区域，并根据重新确定出的降落区域控制无人机进行下降。若不存在障碍物，可根据降落区域控制无人机进行下降。

更进一步地，若出现紧急情况，需要无人机进行自主降落时，重新确定安全区域并控制无人机飞行至降落区域上方，再控制无人机进行下降可能会比等待该障碍物离开降落区域耗费更多的时间及能量，因此，还可预设有时间阈值。当降落区域存在障碍物且无人机停止下降的时间到达预设的时间阈值时，再重新确定降落区域，并根据重新确定的降落区域控制无人机进行降落。否则，根据降落区域继续控制无人机进行降落。

另外，在无人机下降过程中，可能出现有障碍物突然进入降落区域，且无人机此时的高度较低，导致根据采集到的地面图像不能降落区域的情况，如，无人机下降到距离地面两米时的高度，降落区域中突然出现一辆车，则根据无人机采集的地面图像无法确定出降落区域，此时，还可预设有第一高度，当出现如降落区域突然出现障碍物，导致无法根据降落区域进行下降且无法根据采集到的地面图像重新确定降落区域时，可控制无人机向上飞行至预设的第一高度，并在到达该第一高度后，根据采集的地面图像重新确定降落区域。

需要说明的是，在步骤S100中，无人机根据采集地面图像时的飞行高度，确定该地面图像中的各待选区域的区域面积大小时，与无人机控制自身以不低于安全高度的方式飞行至降落区域的上方这一过程中，以及根据预设的距离阈值控制无人机执行降落操作时，可采用相同手段确定该无人机的飞行高度。

在本说明书提供的一个或多个实施例中，当出现紧急情况，需要飞机以最快速度执行降落操作时，该无人机还可根据确定出的降落区域，直接控制无人机飞往降落区域，在该无人机执行降落操作过程中，同样，可预设有移动相似度阈值与距离阈值，但因为该无人机下降的同时，水平方向也在移动，因此，该移动相似度阈值可根据风速、无人机飞行速度等确定。需要说明的是，该无人机直接从当前区域飞行至降落区域时的移动相似度阈值应小于该无人机先飞行至降落区域，再执行降落操作时的相似度阈值。

以上为本说明书的一个或多个实施例提供的无人机降落方法，基于同样的思路，本说明书还提供了相应的无人机降落装置，如图6所示。

图6为本说明书提供的无人机降落装置示意图，具体包括：

第一确定模块200，获取无人机采集的地面图像，并进行图像语义分割，确定所述地面图像对应的各地面区域的类型；

第二确定模块202，用于根据确定出的各地面区域的类型，确定所述无人机的降落区域；

控制模块204，用于控制所述无人机到达所述降落区的上方，并向所述降落区域下降；

追踪模块206，用于根据所述无人机下降过程中连续采集的降落区域的图像，通过区域稳像对所述降落区域进行追踪，以调整所述无人机降落轨迹，直至所述无人机至所述降落区域为止。

所述装置还包括：

第三确定模块208，用于在所述无人机下降过程中，获取所述无人机的下降距离，当所述无人机的下降距离到达预设的距离阈值时，控制所述无人机停止下降，并采集当前高度对应的地面图像，根据所述当前高度对应的地面图像，重新确定降落区域，并根据重新确定出的降落区域，控制所述无人机进行降落。

可选地，所述第二确定模块202，具体用于根据确定出的各地面区域的类型，确定待选区域，根据所述待选区域，确定所述无人机的各可降落区域，根据所述各可降落区域的中心的位置与所述无人机采集的地面图像的中心位置，从所述各可降落区域中，确定所述无人机的降落区域。

可选地，所述第二确定模块202，具体用于根据确定出的各地面区域的类型，确定属于预设目标区域类型的各区域，将所述各区域中属于所述目标区域类型，且边界相邻的各区域，组合为一个区域，根据组合后的区域以及未组合但属于所述目标区域类型的区域，确定待选区域。

可选地，所述第二确定模块202，具体用于针对每个待选区域，确定该待选区域的最大内接圆，判断所述最大内接圆是否不小于预设的无人机降落所需的面积，若是，则确定所述最大内接圆对应的区域为所述无人机的可降落区域，并将该待选区域去除所述最大内接圆后的其他若干区域，重新确定为若干待选区域，并根据重新确定出的各待选区域，重新确定其最大内接圆，直至确定出各可降落区域为止，若否，则确定该待选区域为不可降落区域。

可选地，所述追踪模块206，具体用于从所述无人机下降过程中连续采集到的降落区域的图像中，确定第一图像与第二图像，根据所述第一图像中的降落区域的图像位置，在所述第二图像中的待追踪图像范围中，通过所述待追踪范围的图像以及所述降落区域的图像，对所述第二图像中的降落区域进行追踪，得到追踪结果，根据所述追踪结果，调整所述无人机降落轨迹。

可选地，所述追踪模块206，具体用于根据所述追踪结果，判断所述追踪结果是否为追踪成功，若是，则从连续采集的所述降落区域的图像中，确定最新采集的图像，作为所述第二图像，将所述第二图像的前一帧图像，作为所述第一图像，若否，则从连续采集的所述降落区域的图像中，确定最新采集的图像，作为所述第二图像，以及将上一次判断过程采用的第一图像，继续作为所述第一图像。

可选地，所述第三确定模块208，具体用于将所述当前高度对应的地面图像进行语义分割，得到当前高度的分割结果，根据所述当前高度的分割结果，确定所述降落区域中是否存在障碍物，若存在，且无人机停止下降的时间到达预设的时间阈值时，根据所述当前高度的分割结果，重新确定降落区域，并根据重新确定的降落区域控制无人机进行降落，否则，根据所述降落区域继续控制所述无人机进行降落。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的无人机降落方法。

本说明书还提供了图7所示的电子设备的示意结构图。如图7所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的无人机降落方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (11)

1.一种无人机降落方法，其特征在于，所述方法包括：

获取无人机采集的地面图像，并进行图像语义分割，确定所述地面图像对应的各地面区域的类型；

根据确定出的各地面区域的类型，确定所述无人机的降落区域；

控制所述无人机到达所述降落区的上方，并向所述降落区域下降；

根据所述无人机下降过程中连续采集的降落区域的图像，通过区域稳像对所述降落区域进行追踪，以调整所述无人机降落轨迹，直至所述无人机至所述降落区域为止。

2.如权利要求1所述的方法，其特征在于，根据确定出的各地面区域的类型，确定所述无人机的降落区域，具体包括：

根据确定出的各地面区域的类型，确定待选区域；

根据所述待选区域，确定所述无人机的各可降落区域；

根据所述各可降落区域的中心的位置与所述无人机采集的地面图像的中心位置，从所述各可降落区域中，确定所述无人机的降落区域。

3.如权利要求2所述的方法，其特征在于，根据确定出的各地面区域的类型，确定待选区域，具体包括：

根据确定出的各地面区域的类型，确定属于预设目标区域类型的各区域；

将所述各区域中属于所述目标区域类型，且边界相邻的各区域，组合为一个区域；

根据组合后的区域以及未组合但属于所述目标区域类型的区域，确定待选区域。

4.如权利要求2所述的方法，其特征在于，根据所述待选区域，确定所述无人机的各可降落区域，具体包括：

针对每个待选区域，确定该待选区域的最大内接圆；

判断所述最大内接圆是否不小于预设的无人机降落所需的面积；

若是，则确定所述最大内接圆对应的区域为所述无人机的可降落区域，并将该待选区域去除所述最大内接圆后的其他若干区域，重新确定为若干待选区域，并根据重新确定出的各待选区域，重新确定其最大内接圆，直至确定出各可降落区域为止；

若否，则确定该待选区域为不可降落区域。

5.如权利要求1所述的方法，其特征在于，根据所述无人机下降过程中连续采集的降落区域的图像，通过区域稳像对所述降落区域进行追踪，调整所述无人机降落轨迹，具体包括：

从所述无人机下降过程中连续采集到的降落区域的图像中，确定第一图像与第二图像；

根据所述第一图像中的降落区域的图像位置，在所述第二图像中的待追踪图像范围中，通过所述待追踪范围的图像以及所述降落区域的图像，对所述第二图像中的降落区域进行追踪，得到追踪结果；

根据所述追踪结果，调整所述无人机降落轨迹。

6.如权利要求5所述的方法，其特征在于，从所述无人机下降过程中连续采集到的图像中，确定第一图像与第二图像，具体包括：

根据所述追踪结果，判断所述追踪结果是否为追踪成功；

若是，则从连续采集的所述降落区域的图像中，确定最新采集的图像，作为所述第二图像，将所述第二图像的前一帧图像，作为所述第一图像；

若否，则从连续采集的所述降落区域的图像中，确定最新采集的图像，作为所述第二图像，以及将上一次判断过程采用的第一图像，继续作为所述第一图像。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

在所述无人机下降过程中，获取所述无人机的下降距离；

当所述无人机的下降距离到达预设的距离阈值时，控制所述无人机停止下降，并采集当前高度对应的地面图像；

根据所述当前高度对应的地面图像，重新确定降落区域，并根据重新确定出的降落区域，控制所述无人机进行降落。

8.如权利要求7所述的方法，其特征在于，根据所述当前高度对应的地面图像，重新确定降落区域，并根据重新确定出的降落区域，控制所述无人机进行降落，具体包括：

将所述当前高度对应的地面图像进行语义分割，得到当前高度的分割结果；

根据所述当前高度的分割结果，确定所述降落区域中是否存在障碍物；

若存在，且无人机停止下降的时间到达预设的时间阈值时，根据所述当前高度的分割结果，重新确定降落区域，并根据重新确定的降落区域通过区域稳像控制无人机进行降落；

否则，根据所述降落区域继续控制所述无人机进行降落。

9.一种无人机降落装置，其特征在于，所述装置包括：

第一确定模块，获取无人机采集的地面图像，并进行图像语义分割，确定所述地面图像对应的各地面区域的类型；

第二确定模块，用于根据确定出的各地面区域的类型，确定所述无人机的降落区域；

控制模块，用于控制所述无人机到达所述降落区的上方，并向所述降落区域下降；

追踪模块，用于根据所述无人机下降过程中连续采集的降落区域的图像，通过区域稳像对所述降落区域进行追踪，以调整所述无人机降落轨迹，直至所述无人机至所述降落区域为止。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～8任一项所述的方法。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～8任一项所述的方法。

Images