CN112585555A - 基于可通行空域判断的飞行控制方法、装置及设备 - Google Patents

Abstract

一种基于可通行空域判断的飞行控制方法、装置(130，144)及设备。方法包括：获取无人飞行器(10，140)通行方向的环境图像(201)；确定环境图像中与无人飞行器(10，140)用于通行判断的兴趣空域对应的兴趣区域(202)；判断兴趣区域内是否存在预设类别的对象(203)；若兴趣区域内不存在预设类别的对象，则兴趣空域为可通行空域，并控制无人飞行器(10，140)通过兴趣空域(204)。方法提供了一种低成本的能够避开障碍物的飞行控制方式。

Description

基于可通行空域判断的飞行控制方法、装置及设备

技术领域

本申请涉及飞行技术领域，尤其涉及一种基于可通行空域判断的飞行控制方法、装置及设备。

背景技术

近年来，无人飞行器的应用越来越广泛，无人飞行器例如可以应用于街景拍摄、电力巡检等。

通常，在无人飞行器飞行的过程中，需要躲避障碍物。具体的，无人飞行器上设置有用于进行障碍物探测的雷达传感器，通过雷达传感器的探测结果可以获知障碍物相对于无人飞行器的位置，从而使得无人飞行器在飞行的过程中能够避开障碍物。

然而，雷达传感器的成本较高，因此如何实现一种低成本的能够避开障碍物的飞行控制方式，成为目前亟待解决的问题。

无人机在飞行过程或者自主飞行过程中，当遇到障碍物，但是障碍物之间又存在可通行空域，尤其是窄通道空域，无人飞行器需要判断是否能够通过。

发明内容

本申请实施例提供一种基于可通行空域判断的飞行控制方法、装置及设备，用以解决现有技术中如何实现一种低成本的能够避开障碍物的飞行控制方式的问题。

第一方面，本申请实施例提供一种基于可通行空域判断的飞行控制方法，所述方法包括：

获取无人飞行器通行方向的环境图像；

确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域；

判断所述兴趣区域内是否存在预设类别的对象；

若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

第二方面，本申请实施例提供一种基于可通行空域判断的飞行控制装置，所述装置包括：存储器和处理器；

所述存储器，用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取无人飞行器通行方向的环境图像；

确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域；

判断所述兴趣区域内是否存在预设类别的对象；

若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

第三方面，本申请实施例提供一种无人飞行器，包括：机身、以及设置于所述机身上的动力系统、图像采集装置和飞行控制装置；

所述动力系统，用于为所述无人飞行器提供动力；

所述图像采集装置，用于采集所述无人飞行器通行方向的环境图像；

所述飞行控制装置包括存储器和处理器；

所述存储器，用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

通过图像采集装置获取所述无人飞行器通行方向的环境图像；

确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域；

判断所述兴趣区域内是否存在预设类别的对象；

若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行上述第一方面任一项所述的方法。

第五方面，本申请实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述第一方面任一项所述的方法。

本申请实施例提供一种基于可通行空域判断的飞行控制方法、装置及设备，通过获取无人飞行器通行方向的环境图像，确定环境图像中与无人飞行器用于通行判断的兴趣空域对应的兴趣区域，并判断兴趣区域内是否存在预设类别的对象，若存在则兴趣空域为可通行空域，并控制无人飞行器通过兴趣空域，实现了基于无人飞行器的环境图像控制无人飞行器避开障碍物的飞行控制方式，与雷达传感器相比图像获取装置成本较低，且无人飞行器上通常会设有图像获取装置，从而提供了一种低成本的能够避开障碍物的飞行控制方式。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于可通行空域判断的飞行控制方法的应用场景示意图；

图2为本申请一实施例提供的基于可通行空域判断的飞行控制方法的流程示意图；

图3为本申请一实施例提供的兴趣空域的示意图；

图4为本申请另一实施例提供的基于可通行空域判断的飞行控制方法的流程示意图；

图5-图6为本申请实施例提供的图像获取装置的视野范围与兴趣空域的关系示意图；

图7为本申请实施例提供的障碍物影响无人飞行器向上飞行的示意图；

图8为本申请另一实施例提供的兴趣空域的示意图；

图9为本申请又一实施例提供的兴趣空域的示意图；

图10A为本申请一实施例提供的环境图像；

图10B为基于图10A所示环境图像的语义识别结果及兴趣区域的示意图；

图11为本申请又一实施例提供的基于可通行空域判断的飞行控制方法的流程示意图；

图12为本申请一实施例提供的无人飞行器以第一位置为中心旋转的示意图；

图13为本申请一实施例提供的基于可通行空域判断的飞行控制装置的结构示意图；

图14为本申请一实施例提供的无人飞行器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的基于可通行空域判断的飞行控制方法可以应用于如图1所示的无人飞行器10，无人飞行器10可以包括图像获取装置11以及控制器12。其中，图像获取装置11可以用于采集无人飞行器10通行方向的环境图像，控制器12可以从图像获取装置11获取无人飞行器10通行方向的环境图像，并对获取到的环境图像采用本申请实施例提供的方法进行处理，以控制无人飞行器10的飞行。

其中，通行方向可以是指无人飞行器10的目标飞行方向，示例性的，所述通行方向可以为所述无人飞行器的上方。图像获取装置11具体可以为摄像头、相机等。

在需要控制无人飞行器10沿所述通行方向飞行，但不确定所述通行方向对应的空域是否可通行的情况下，控制器12可以通过本申请实施例提供的方式，实现在确定所述通行方向对应空域可通行的情况下，控制所述无人飞行器通行。

示例性的，可以由无人飞行器10的控制终端发送的飞行控制指令触发需要控制无人飞行器10沿所述通行方向飞行的条件，所述飞行控制指令例如可以为返航指令，所述控制终端例如可以为智能手机、遥控器等。

示例性的，可以由无人飞行器10检测到特定事件触发需要控制无人飞行器10沿所述通行方向飞行的条件，所述特定事件例如可以为障碍物事件、图传中断事件等。

需要说明的是，图1中以无人飞行器包括图像获取装置11为例，可以理解的是，无人飞行器也可以不包括图像获取装置11，图像获取装置11可以作为无人飞行器的负载设置在无人飞行器之上。

需要说明的是，图1中以基于可通行空域判断的飞行控制方法应用于无人飞行器为例。可以理解的是，本申请实施例提供的飞行控制方法还可以应用于无人飞行器的控制终端，可以由控制终端从无人飞行器上设置的图像获取装置获得无人飞行器通行方向的环境图像，并对获取到的环境图像采用本申请实施例提供的方法进行处理，以控制无人飞行器10的飞行。

本申请实施例提供的基于可通行空域判断的飞行控制方法，通过获取无人飞行器通行方向的环境图像，确定环境图像中与无人飞行器用于通行判断的兴趣空域对应的兴趣区域，并判断兴趣区域内是否存在预设类别的对象，若存在则兴趣空域为可通行空域，并控制无人飞行器通过兴趣空域，实现了基于无人飞行器的环境图像控制无人飞行器避开障碍物的飞行控制方式。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图2为本申请一实施例提供的基于可通行空域判断的飞行控制方法的流程示意图，本实施例的执行主体可以为图1中的控制器。如图2所示，本实施例的方法可以包括：

步骤201，获取无人飞行器通行方向的环境图像。

本步骤中，通行方向可以是指无人飞行器的目标飞行方向。根据飞行需求的不同，所述通行方向例如可以为所述无人飞行器的上方，所述无人飞行器的前方等。

具体的，可以由所述无人飞行器上设置的图像获取装置采集无人飞行器通行方向的环境图像。以通行方向为无人飞行器的上方为例，图像获取装置具体可以为上视摄像头。以通行方向为无人飞行器的前方为例，图像获取装置具体可以为前视摄像头。

可选的，所述图像获取装置可以通过云台设置在无人飞行器上，使得所述图像获取装置能够相对于所述无人飞行器的机身移动，以改变图像获取装置的视野范围。基于此，无人飞行器上可以设置有可上视、可前视摄像头。

示例性的，所述图像获取装置具体可以为单目摄像头，通过图像获取装置为单目摄像头可以进一步降低成本。

需要说明的是，所述图像获取装置的视野方向与无人飞行器的通行方向可以一致。在实际应用中，图像获取装置的视野方向与所述通行方向可以相同，或者，图像获取装置的视野方向与所述通行方向可以相差一定角度。

需要说明的是，在所述图像获取装置获取到的单张图像能够包括兴趣空域的图像情况下，所述环境图像可以为图像获取装置获取到的单张图像；在所述图像获取装置获取到的单张图像不能够包括兴趣空域的图像情况下，所述环境图像可以为所述图像获取装置获取到视野方向不同的多张图像的合并图像。

步骤202，确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域。

本步骤中，所述兴趣空域为所述无人飞行器用于进行通行判断的空域，基于所述兴趣空域的判断结果，可以决定无人飞行器是否能够通过所述兴趣空域，即是否能够沿着所述兴趣空域对应的方向飞行。需要说明的是，所述兴趣空域对应的方向可以为所述无人飞行器的目标飞行方向，或者，所述兴趣空域对应的方向可以为所述目标飞行方向之外的其他方向。

对于前者，可以确定出所述无人飞行器是否能够沿着所述目标飞行方向飞行，基于此，可以将目标飞行方向对应的空域作为兴趣空域。

对于后者，可以先识别出环境图像中不包括障碍物的区域(例如，识别为天空的区域)，并基于该区域中的像素分布特点，确定出感兴趣方向，该感兴趣方向即为兴趣空域对应的方向，由此决定兴趣空域，实现了能够根据环境图像找到兴趣空域，在遇到障碍物但是障碍物间存在可通行空域情况下，能够从障碍物间找到可通行空域，有利于提高无人飞行器避障的灵活性。

所述兴趣区域的判断结果具体可以为所述无人飞行器能够通过所述兴趣控制或者所述无人飞行器不能够通过所述兴趣区域。当所述无人飞行器能够通过所述兴趣空域时，可以表示所述兴趣区域为可通行空域；当所述无人飞行器不能够通过所述兴趣空域时，可以表示所述兴趣区域为不可通行空域。所述兴趣空域例如可以如图3所示，其中，O表示无人飞行器的位置，曲线内的空域即为兴趣空域。需要说明的是，图3中兴趣空域的形状仅为举例。

由于所述环境图像中既可以包括所述兴趣空域对应的图像，又还可以包括所述兴趣空域之外的图像，因此，需要确定环境图像中与兴趣空域对应的兴趣区域。其中，环境图像中兴趣区域的图像可以理解为所述无人飞行器视角下兴趣空域的图像。

步骤203，判断所述兴趣区域内是否存在预设类别的对象。

本步骤中，所述预设类别的对象可以表示需要检测的属于障碍物类别的对象，示例性的，所述预设类别具体可以为树木类别、建筑物类别。在所述兴趣区域内不存在预设类别的对象时，可以表征所述兴趣区域为可通行区域；在所述兴趣区域内存在预设类别的对象时，可以表征所述兴趣区域为不可通行区域。

可选的，可以先对所述环境图像进行图像识别，以获得针对所述环境图像的预设类别对象的识别结果，然后，再根据针对所述环境图像的预设类别对象的识别结果确定所述兴趣区域内是否存在预设类别的对象。或者，可以直接对所述环境图像中所述兴趣区域的图像进行图像识别，以获得针对所述兴趣区域的预设类别对象的识别结果，从而确定所述预设区域内是否存在预设类别的对象。

步骤204，若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

本步骤中，由于所述兴趣区域内部不存在所述预设类别的对象，可以表征所述兴趣空域是可通行空域，因此在步骤203判断所述兴趣区域内是否存在预设类别的对象的判断结果为所述兴趣区域内不存在所述预设类别的对象的情况下，可以控制所述无人飞行器通过所述兴趣空域。

以通行方向为无人飞行器的上方为例，所述兴趣空域具体可以为所述无人飞行器上方的空域，在所述兴趣区域内不存在所述预设类别的对象的情况下，可以控制所述无人飞行器向上飞行。

以通行方向为无人飞行器的前方为例，所述兴趣空域具体可以为所述无人飞行器前方的空域，在所述兴趣区域内不存在所述预设类别的对象的情况下，可以控制所述无人飞行器向前飞行。

本实施例中，通过获取无人飞行器通行方向的环境图像，确定环境图像中与无人飞行器用于通行判断的兴趣空域对应的兴趣区域，并判断兴趣区域内是否存在预设类别的对象，若存在则兴趣空域为可通行空域，并控制无人飞行器通过兴趣空域，实现了基于无人飞行器的环境图像控制无人飞行器避开障碍物的飞行控制方式，与雷达传感器相比图像获取装置成本较低，且无人飞行器上通常会设有图像获取装置，从而提供了一种低成本的能够避开障碍物的飞行控制方式。

前述方法实施例中，在所述环境区域为视野方向不同的多张图像的合并图像情况下，在获取通行方向的环境图像时，可以通过云台改变所述图像获取装置的视野范围，以得到视野方向不同的多张图像；或者，也可以通过改变所述无人飞行器的姿态，以得到视野方向不同的多张图像。

对于后者，步骤201具体可以包括：在所述无人飞行器以预设飞行方式飞行的过程中，获取所述无人飞行器通行方向的环境图像。具体的，在所述无人飞行器以所述预设飞行方式飞行的过程中，获取图像获取装置采集到的多张图像，对多张图像进行合并处理，以得到所述环境图像。可以理解的是，所述无人飞行器以预设飞行方式飞行的目的是为了获得包括兴趣空域对应图像的环境图像，预设飞行方式可以根据需求灵活实现。

以下主要以通行方向为无人飞行器的上方为例，对本申请实施例提供的方法进行具体说明。

图4为本申请另一实施例提供的基于可通行空域判断的飞行控制方法的流程示意图，本实施例在图2所示实施例的基础上给出了一种可选的实现方式。如图4所示，本实施例的方法可以包括：

步骤401，在所述无人飞行器在第一位置原地旋转第一目标角度的过程中，获取所述无人飞行器通行方向的环境图像。

本步骤中，受图像获取装置视野方向以及视场角的限制，所述图像获取装置获取的单张图像可能无法包含整个兴趣空域的图像，由此可以通过无人飞行器在第一位置原地旋转，以得到能包含整个兴趣区域图像的环境图像。相应的，上述预设飞行方式包括在第一位置原地旋转第一目标角度。

无人飞行器在第一位置图像获取装置初始的视野范围，与兴趣空域的关系可以如图5所示，可以看出，图像获取装置获取的单张图像中只能包含部分兴趣空域的图像。在图5的基础上，如图6所示，在无人飞行器在第一位置原地旋转的过程中，可以不断改变图像获取装置的视野范围，从而获得其他部分兴趣空域的图像。

需要说明的是，图5、图6中箭头方向可以表示无人飞行器的朝向，箭头方向的变化表示无人飞行器原地旋转时朝向的变化。图5、图6中两条直线对应的范围表示图像获取装置的视野范围。图6中顺时针的旋转方向仅为举例。

需要说明的是，图5和图6中以兴趣空域为圆形空域为例，在兴趣空域为圆形空域情况下第一目标角度可以为360°，即可以在所述无人飞行器在第一位置原地旋转一周的过程中，获取所述无人飞行器通行方向的环境图像。可以理解的是，在兴趣空域为其他形状空域，例如半圆形空域时，第一目标角度可以小于360°，例如可以为180°。

其中，所述无人飞行器可以响应于飞行控制指令，使所述无人飞行器以所述预设飞行方式飞行。第一位置可以是所述无人飞行器生成所述飞行控制时所处的位置，其可以是无人飞行器整个飞行过程中的任一位置。

示例性的，步骤401具体可以包括：在所述无人飞行器原地旋转的过程中，获取以预设角度为间隔采集到的多张第一图像，对所述多张第一图像进行合并处理，以得到所述环境图像。其中，预设角度可以根据需求灵活实现。具体的，预设角度越大，采集到的第一图像的数量越少，相邻时刻采集到的第一图像之间重叠的内容越少；预设角度越小，采集到的第一图像的数量越多，相邻时刻采集到的第一图像之间重叠的内容越多。

需要说明的是，在所述无人飞行器在第一位置原地旋转的过程中，获得多张第一图像时，所述图像获取装置相对于所述无人飞行器机身的位置可以保持不变。

步骤402，确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域。

本步骤中，由于无人飞行器飞行的过程中，非固定障碍物(例如鸟)的位置是会发生变化的，而鸟类或者悬停无人机等非固定障碍物会随着无人机的抬升自行移动或者通过通信手段避障。而环境图像是用于记录特定时刻无人飞行器通行方向的场景内容，因此本申请实施例提供的方法所针对的障碍物主要可以为固定障碍物(例如树木)。并且，由于固定障碍物通常并不会悬空出现，例如图7中无人飞行器上方的树枝是从无人飞行器上方的外围向无人飞行器上方的中心O’延伸，因此为了降低对图像获取装置视场角的要求，所述兴趣空域具体可以为环形空域。通过兴趣空域为环形空域，有利于简化实现。可选的，为了进一步简化实现，所述兴趣空域具体可以为圆环形空域，其中，圆环形空域例如可以如图8所示。

所述无人飞行器的机身中心与所述无人飞行器的机翼边缘之间的最大距离，决定了所述无人飞行器能够通过空域的最小尺寸，即理想情况下无人飞行器能够通道的最小空域。并且，由于无人飞行器在飞行过程中不可避免的会受到气流等的影响，导致其无法沿着一条直线飞行，因此无人飞行器的兴趣空域除了可以考虑所述最大距离对应的空域，还可以考虑最大距离对应空域外围的空域。

基于此，所述兴趣空域的内环直径可以等于所述无人飞行器的机身中心与所述无人飞行器的机翼边缘之间的最大距离。通过所述兴趣空域的内环直径等于所述无人飞行器的机身中心与所述无人飞行器的机翼边缘之间的最大距离，能够最大程度的降低对图像获取装置视场角的要求。

需要说明的是，在实际应用中，所述兴趣空域的内环直径也可以小于所述最大距离，可以理解的是，内环直径小于最大距离越多，对图像获取装置视场角的要求越高，受非固定障碍物的影响越大。

所述兴趣空域的外环直径可以等于所述兴趣区域的内环直径与一定距离之和。可选的，为了最大程度的降低对图像获取装置视场角的要求，所述兴趣空域的外环直径可以等于所述兴趣区域的内环直径与扰动距离之和。其中，扰动距离可以是指所述无人飞行器沿飞行过程中由于气流等的影响导致其偏离飞行方向的距离。所述扰动距离的大小可以与所述无人飞行器沿飞行方向的目标飞行距离有关，当然，所述扰动距离的大小还可以与其他因素有关，具体需要根据需求灵活实现。

以通行方向为无人飞行器的上方，且通行方向为竖直向上方向为例，环形兴趣区域的外环直径L1、内环直径L2、扰动距离可以如图9所示，其中，H可以表示无人飞行器沿通行方向的飞行距离，D可以表示扰动距离，O可以表示环境图像对应的无人飞行器位置，本实施例中O具体可以为所述第一位置。

需要说明的是，在实际应用中，所述兴趣空域的外环直径也可以大于所述兴趣空域的内环直径与所述扰动距离之和，可以理解的是，外环直径大于内环直径与所述扰动距离之和越多，对图像获取装置视场角的要求越高，受非固定障碍物的影响越大。基于上述判断过程，可以对无人飞行器飞行路径上存在障碍物，同时存在可通行路径的情况进行判断。尤其是对无法直接判断无人飞行器能否通过的窄通行路径的情况进行判断。

步骤403，判断所述兴趣区域内是否存在预设类别的对象。

本步骤中，可以通过对所述兴趣区域的图像进行语义识别的方式，判断所述兴趣区域内是否存在预设类别的对象。示例性的，所述步骤403具体可以包括：对所述环境图像中所述兴趣区域的图像进行语义识别，获得所述兴趣区域的语义识别结果；判断所述语义识别结果中是否包含所述预设类别的语义。若对所述语义识别结果中包括所述预设类别对应的语义，则表征所述兴趣区域内存在预设类别的对象；若对所述兴趣区域的语义识别结果中不包括所述预设类别对应的语义，则表征所述兴趣区域内不存在预设类别的对象。

示例性的，可以基于预先训练好的神经网络模型获得所述兴趣区域的语义识别结果。所述神经网络模型具体可以为卷积神经网络(Convolutional Neural Networks，CNN)模型。基于预先训练好的神经网络模型获得所述兴趣区域的语义识别结果，具体可以包括如下步骤A和步骤B。

步骤A，将所述兴趣区域的图像输入所述神经网络模型，得到所述神经网络模型的模型输出结果。

其中，所述神经网络模型的模型输出结果可以包括多个输出通道分别输出的置信度特征图，该多个输出通道可以与多个对象类别一一对应，单个对象类别的置信度特征图的像素值用于表征像素是所述对象类别的概率。

步骤B，根据所述神经网络模型的模型输出结果，得到包含对象语义信息的特征图。

示例性的，可以将与该多个输出通道一一对应的多个置信度特征图中同一像素位置像素值最大的置信度特征图对应的对象类别，作为所述像素位置的对象类别，从而得到特征图。

其中，特征图包含对象语义信息的具体方式可以为特征图中的像素值可以表征对应像素的对象语义，其中，对象语义可以包括能够识别出的对象类别，例如建筑物、树木、草地、河流等。例如，假设像素值为1可以表示建筑物、像素值为2可以表示树木、像素值为3可以表示草地，则处理背景图像所得到的特征图中，像素值为1的像素位置即为识别为建筑物的像素位置，像素值为2的像素位置即为识别为树木的像素位置，像素值为3的像素位置即为识别为草地的像素位置。

所述特征图可以理解为兴趣区域的语义识别结果，假设预设对象为树木，而像素值2表示树木，则在特征图中存在像素值是2的像素情况下，可以表示兴趣区域中存在预设类别的对象；在特征图中不存在像素值是2的像素情况下，可以表示兴趣区域中不存在预设类别的对象。

可替换的，可以基于预先训练好的神经网络模型对环境图像进行处理，获得环境图像的语义识别结果，并根据环境图像的语义识别结果，确定兴趣区域中是否存在预设类别的对象。基于神经网络模型获得环境图像的语义识别结果的具体方式与前述类似，在此不再赘述。假设环境图像如图10A所示，则其语义识别结果可以如图10B所示，进一步的假设兴趣区域为图10B中的圆环区域且预设类别包括树木类别，则可以确定兴趣区域中存在预设类别的对象。

步骤404，若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

需要说明的是，针对兴趣区域中存在预设类别的对象的情况，所述无人飞行器的控制方式，本申请不做限定。示例性的，可以控制所述无人飞行器处于悬停状态，或者可以控制所述无人飞行器降落。

本实施例中，通过在所述无人飞行器在第一位置原地旋转的过程中，获取所述无人飞行器通行方向的环境图像，确定环境图像中与无人飞行器用于通行判断的兴趣空域对应的兴趣区域，并判断兴趣区域内是否存在预设类别的对象，若存在则兴趣空域为可通行空域，并控制无人飞行器通过兴趣空域，实现了基于无人飞行器的环境图像控制无人飞行器避开障碍物的飞行控制方式，并且通过在第一位置原地旋转的飞行方式获得环境图像，降低了对无人飞行器上设置的图像获取装置视场角的要求，有利于节省成本。另外，通过兴趣区域为环形区域，能够进一步降低对于图像获取装置视场角的要求，有利于简化实现。

图11为本申请又一实施例提供的基于可通行空域判断的飞行控制方法的流程示意图，本实施例在图2所示实施例的基础上给出了一种可选的实现方式。如图11所示，本实施例的方法可以包括：

步骤111，在所述无人飞行器在第一位置原地旋转第一目标角度的过程中，获取以预设角度为间隔采集的多张第一图像。

需要说明的是，步骤111的具体说明可以参见前述图4所示实施例的相关描述，在此不再赘述。

步骤112，在所述无人飞行器由所述第一位置沿目标方向飞行至第二位置，并以所述第一位置为中心旋转第二目标角度的过程中，获取以预设角度为间隔采集到的多张第二图像。

本步骤中，受图像获取装置视野方向以及视场角的限制，所述无人飞行器在所述第一位置原地旋转所获得的图像中可能还是无法包含整个兴趣区域的图像，由此可以通过在第一位置之外的其他位置采集图像以得到能包含整个兴趣区域图像的环境图像。需要说明的是，无人飞行器在第一位置原地旋转包括以无人飞行器云台相机为旋转轴旋转，在旋转过程中保持云台相机的位置基本不变；或者，在旋转过程中以无人机的某一位置，例如无人机几何重心或重心为中心旋转，在旋转过程中，云台相机以一个较小的半径旋转。相应的，上述预设飞行方式还可以包括：由所述第一位置沿目标方向飞行至第二位置，并以所述第一位置为中心旋转第二目标角度。

所述第二位置与第一位置之间的距离可以较小，例如可以距离几厘米。在兴趣空域为圆形空域或环形空域情况下，第二目标角度可以为360°。所述目标方向不同于所述通行方向及其反方向，为了尽可能多的获得通行方向的场景内容，所述目标方向可以垂直于所述通行方向。

可选的，为了尽可能多的获得通行方向的场景内容，所述无人飞行器以所述第一位置为中心旋转，具体可以为在与所述通行方向垂直的平面内，以所述第一位置为中心旋转。以所述通行方向为无人飞行器的上方，且为竖直向上方向为例，具体可以在水平平面内以所述第一位置为中心旋转，其中，以第一位置为中心旋转的俯视图可以如图12所示，图12中O表示第一位置，需要说明的是图12中逆时针的旋转方式仅为举例。

需要说明的是，在所述无人飞行器以所述第一位置为中心旋转的过程中，获得多张第二图像时，所述图像获取装置相对于所述无人飞行器机身的位置可以保持不变，且可以与原地旋转时的相对位置相同。

步骤113，对所述多张第一图像和所述多张第二图像进行合并处理，以得到所述环境图像。

本步骤中，可以先分别对多张第一图像和多张第二图像进行合并处理，以获得第一合并图像和第二合并图像，其中，第一合并图像可以与多张第一图像对应，第二合并图像可以与多张第二图像对应。然后，可以对第一合并图像和第二合并图像进行合并处理，以得到环境图像。当然，在其他实施例中，也可以通过其他方式合并处理，本申请对此不作限定。

可以理解的是，基于步骤113获得的环境图像，较基于步骤401获得的环境图像的场景内容要多，具体的，基于步骤113获得的环境图像中除了包括基于步骤401获得的环境图像的场景内容，还可以包括其他场景内容。

步骤114，确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域。

本步骤中，所述兴趣空域具体可以为所述无人飞行器第一位置下用于通行判断的空域，相应的，在获得多张第二图像之后，可以控制所述无人飞行器可以返回所述第一位置，以便在所述兴趣空域为可通行空域时，可以由所述第一位置开始飞行。

步骤115，判断所述兴趣区域内是否存在预设类别的对象。

步骤116，若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

需要说明的是，步骤114-步骤116可以参见前述实施例的相关描述，在此不再赘述。

本实施例中，通过在所述无人飞行器在第一位置原地旋转第一目标角度的过程中，获取以预设角度为间隔采集的多张第一图像，在以所述第一位置为中心旋转第二目标角度的过程中，获取以预设角度为间隔采集到的多张第二图像，并对所述多张第一图像和所述多张第二图像进行合并处理以得到所述环境图像，实现了在通过在第一位置原地旋转的飞行方式扩大环境图像的场景内容的基础上，通过第一第一位置为中心旋转的飞行方式进一步括扩大环境图像的场景内容，从而能够进一步降低对无人飞行器上设置的图像获取装置视场角的要求，有利于进一步节省成本。

在上述实施例中，可以由特定条件触发前述方法步骤，即可以由特定条件触发获取所述无人飞行器通行方形的环境图像。示例性的，可以在确定无人飞行器需要返航的情况下，获取所述无人飞行器通行方向的环境图像。通过在确定无人飞行器需要返航的情况下，获取所述无人飞行器通行方向的环境图像，进一步基于获取到的环境图像进行兴趣空域的可通行判断，并根据判断结果控制无人飞行器，与相关技术中无人飞行器在进行返航时默认无人飞行器的上方为安全空域，并控制无人飞行器上升至一定高度相比，能够提高返航的安全性，降低了无人飞行器的损害风险。

示例性的，可以在确定无人飞行器需要避障的情况下，获取所述无人飞行器上通行方向的环境图像。通过在确定无人飞行器需要避障的情况下，获取所述无人飞行器上通行方向的环境图像，进一步基于获取到的环境图像进行兴趣空域的可通行判断，并根据判断结果控制无人飞行器，使得无人飞行器在遇到障碍物阻碍其飞行时能够选择可通行空域继续飞行，与相关技术中无人飞行器在遇到障碍物后悬停相比，提高了无人飞行器飞行控制的灵活性。

图13为本申请一实施例提供的基于可通行空域判断的飞行控制装置的结构示意图，如图13所示，该装置130可以包括：处理器131和存储器132。

所述存储器132，用于存储程序代码；

所述处理器131，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取无人飞行器通行方向的环境图像；

确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域；

判断所述兴趣区域内是否存在预设类别的对象；

若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

本实施例提供的基于可通行空域判断的飞行控制装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。

图14为本申请一实施例提供的无人飞行器的结构示意图，如图14所示，该无人飞行器140可以包括：机身141、以及设置于所述机身上的动力系统142、图像采集装置143和飞行控制装置144；

所述动力系统142，用于为所述无人飞行器提供动力；

所述图像采集装置143，用于采集所述无人飞行器通行方向的环境图像；

所述飞行控制装置144包括存储器和处理器；

所述存储器，用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

通过图像采集装置获取所述无人飞行器通行方向的环境图像；

确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域；

判断所述兴趣区域内是否存在预设类别的对象；

若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

可选的，无人飞行器140还可以包括云台145，图像采集装置143可以通过云台145设置在机身141上。当然，可无人飞行器除上述列出装置外，还可包括其他元件或装置，这里不一一例举。

本实施例提供的无人飞行器中的飞行控制装置的具体结构可以参见图13所示的基于可通行空域判断的飞行控制装置130的相关描述，在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (41)

1.一种基于可通行空域判断的飞行控制方法，其特征在于，所述方法包括：

获取无人飞行器通行方向的环境图像；

确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域；

判断所述兴趣区域内是否存在预设类别的对象；

若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

2.根据权利要求1所述的方法，其特征在于，所述获取所述无人飞行器通行方向的环境图像，包括：

在所述无人飞行器以预设飞行方式飞行的过程中，获取所述无人飞行器通行方向的环境图像。

3.根据权利要求2所述的方法，其特征在于，所述预设飞行方式包括在第一位置原地旋转一周。

4.根据权利要求3所述的方法，其特征在于，所述获取所述无人飞行器通行方向的环境图像，包括：

在所述无人飞行器原地旋转的过程中，获取以预设角度为间隔采集到的多张第一图像；

对所述多张第一图像进行合并处理，以得到所述环境图像。

5.根据权利要求4所述的方法，其特征在于，所述预设飞行方式还包括：由所述第一位置沿目标方向飞行至第二位置，并以所述第一位置为中心旋转一周，所述目标方向不同于所述通行方向及其反方向。

6.根据权利要求5所述的方法，其特征在于，所述目标方向垂直于所述通行方向。

7.根据权利要求5所述的方法，其特征在于，所述获取所述无人飞行器通行方向的环境图像，还包括：

在所述无人飞行器以所述第一位置为中心旋转的过程中，获取以预设角度为间隔采集到的多张第二图像；

所述对所述多张第一图像进行合并处理，以得到所述环境图像，包括：

对所述多张第一图像和所述多张第二图像进行合并处理，以得到所述环境图像。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述兴趣空域包括环形空域。

9.根据权利要求8所述的方法，其特征在于，所述兴趣空域的内环直径等于所述无人飞行器的机身中心与所述无人飞行器的机翼边缘之间的最大距离。

10.根据权利要求8所述的方法，其特征在于，所述兴趣空域的外环直径等于所述兴趣区域的内环直径与扰动距离之和。

11.根据权利要求1-7任一项所述的方法，其特征在于，所述判断所述兴趣区域内是否存在预设类别的对象，包括：

对所述环境图像中所述兴趣区域的图像进行语义识别，获得所述兴趣区域的语义识别结果；

判断所述语义识别结果中是否包含所述预设类别的语义；

若对所述语义识别结果中包括所述预设类别对应的语义，则表征所述兴趣区域内存在预设类别的对象；若对所述兴趣区域的语义识别结果中不包括所述预设类别对应的语义，则表征所述兴趣区域内不存在预设类别的对象。

12.根据权利要求1-7任一项所述的方法，其特征在于，所述获取所述无人飞行器通行方向的环境图像，包括：

在确定无人飞行器需要返航的情况下，获取所述无人飞行器通行方向的环境图像。

13.根据权利要求1-7任一项所述的方法，其特征在于，所述获取所述无人飞行器通行方向的环境图像，包括：

在确定无人飞行器需要避障的情况下，获取所述无人飞行器上通行方向的环境图像。

14.一种基于可通行空域判断的飞行控制装置，其特征在于，所述装置包括：存储器和处理器；

所述存储器，用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取无人飞行器通行方向的环境图像；

确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域；

判断所述兴趣区域内是否存在预设类别的对象；

若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

15.根据权利要求14所述的装置，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，具体包括：

在所述无人飞行器以预设飞行方式飞行的过程中，获取所述无人飞行器通行方向的环境图像。

16.根据权利要求15所述的装置，其特征在于，所述预设飞行方式包括在第一位置原地旋转一周。

17.根据权利要求16所述的装置，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，具体包括：

在所述无人飞行器原地旋转的过程中，获取以预设角度为间隔采集到的多张第一图像；

对所述多张第一图像进行合并处理，以得到所述环境图像。

18.根据权利要求17所述的装置，其特征在于，所述预设飞行方式还包括：由所述第一位置沿目标方向飞行至第二位置，并以所述第一位置为中心旋转一周，所述目标方向不同于所述通行方向及其反方向。

19.根据权利要求18所述的装置，其特征在于，所述目标方向垂直于所述通行方向。

20.根据权利要求18所述的装置，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，还包括：

在所述无人飞行器以所述第一位置为中心旋转的过程中，获取以预设角度为间隔采集到的多张第二图像；

所述对所述多张第一图像进行合并处理，以得到所述环境图像，包括：

对所述多张第一图像和所述多张第二图像进行合并处理，以得到所述环境图像。

21.根据权利要求14-20任一项所述的装置，其特征在于，所述兴趣空域包括环形空域。

22.根据权利要求21所述的装置，其特征在于，所述兴趣空域的内环直径等于所述无人飞行器的机身中心与所述无人飞行器的机翼边缘之间的最大距离。

23.根据权利要求21所述的装置，其特征在于，所述兴趣空域的外环直径等于所述兴趣区域的内环直径与扰动距离之和。

24.根据权利要求14-20任一项所述的装置，其特征在于，所述处理器用于判断所述兴趣区域内是否存在预设类别的对象，具体包括：

对所述环境图像中所述兴趣区域的图像进行语义识别，获得所述兴趣区域的语义识别结果；

判断所述语义识别结果中是否包含所述预设类别的语义；

若对所述语义识别结果中包括所述预设类别对应的语义，则表征所述兴趣区域内存在预设类别的对象；若对所述兴趣区域的语义识别结果中不包括所述预设类别对应的语义，则表征所述兴趣区域内不存在预设类别的对象。

25.根据权利要求14-20任一项所述的装置，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，具体包括：

在确定无人飞行器需要返航的情况下，获取所述无人飞行器通行方向的环境图像。

26.根据权利要求14-20任一项所述的装置，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，具体包括：

在确定无人飞行器需要避障的情况下，获取所述无人飞行器上通行方向的环境图像。

27.一种无人飞行器，其特征在于，包括：机身、以及设置于所述机身上的动力系统、图像采集装置和飞行控制装置；

所述动力系统，用于为所述无人飞行器提供动力；

所述图像采集装置，用于采集所述无人飞行器通行方向的环境图像；

所述飞行控制装置包括存储器和处理器；

所述存储器，用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

通过图像采集装置获取所述无人飞行器通行方向的环境图像；

确定所述环境图像中与所述无人飞行器用于通行判断的兴趣空域对应的兴趣区域；

判断所述兴趣区域内是否存在预设类别的对象；

若所述兴趣区域内不存在所述预设类别的对象，则所述兴趣空域为可通行空域，并控制所述无人飞行器通过所述兴趣空域。

28.根据权利要求27所述的无人飞行器，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，具体包括：

在所述无人飞行器以预设飞行方式飞行的过程中，获取所述无人飞行器通行方向的环境图像。

29.根据权利要求28所述的无人飞行器，其特征在于，所述预设飞行方式包括在第一位置原地旋转一周。

30.根据权利要求29所述的无人飞行器，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，具体包括：

在所述无人飞行器原地旋转的过程中，获取以预设角度为间隔采集到的多张第一图像；

对所述多张第一图像进行合并处理，以得到所述环境图像。

31.根据权利要求30所述的无人飞行器，其特征在于，所述预设飞行方式还包括：由所述第一位置沿目标方向飞行至第二位置，并以所述第一位置为中心旋转一周，所述目标方向不同于所述通行方向及其反方向。

32.根据权利要求31所述的无人飞行器，其特征在于，所述目标方向垂直于所述通行方向。

33.根据权利要求31所述的无人飞行器，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，还包括：

在所述无人飞行器以所述第一位置为中心旋转的过程中，获取以预设角度为间隔采集到的多张第二图像；

所述对所述多张第一图像进行合并处理，以得到所述环境图像，包括：

对所述多张第一图像和所述多张第二图像进行合并处理，以得到所述环境图像。

34.根据权利要求27-33任一项所述的无人飞行器，其特征在于，所述兴趣空域包括环形空域。

35.根据权利要求34所述的无人飞行器，其特征在于，所述兴趣空域的内环直径等于所述无人飞行器的机身中心与所述无人飞行器的机翼边缘之间的最大距离。

36.根据权利要求34所述的无人飞行器，其特征在于，所述兴趣空域的外环直径等于所述兴趣区域的内环直径与扰动距离之和。

37.根据权利要求27-33任一项所述的无人飞行器，其特征在于，所述处理器用于判断所述兴趣区域内是否存在预设类别的对象，具体包括：

对所述环境图像中所述兴趣区域的图像进行语义识别，获得所述兴趣区域的语义识别结果；

判断所述语义识别结果中是否包含所述预设类别的语义；

若对所述语义识别结果中包括所述预设类别对应的语义，则表征所述兴趣区域内存在预设类别的对象；若对所述兴趣区域的语义识别结果中不包括所述预设类别对应的语义，则表征所述兴趣区域内不存在预设类别的对象。

38.根据权利要求27-33任一项所述的无人飞行器，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，具体包括：

在确定无人飞行器需要返航的情况下，获取所述无人飞行器通行方向的环境图像。

39.根据权利要求27-33任一项所述的无人飞行器，其特征在于，所述处理器用于获取所述无人飞行器通行方向的环境图像，具体包括：

在确定无人飞行器需要避障的情况下，获取所述无人飞行器上通行方向的环境图像。

40.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如权利要求1-13任一项所述的方法。

41.一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如权利要求1-13任一项所述的方法。

Images