CN115586796A

CN115586796A - 一种基于视觉的无人机降落位置的处理方法、装置及设备

Info

Publication number: CN115586796A
Application number: CN202211332492.5A
Authority: CN
Inventors: 凌飞; 粟骏龙; 陈晓健; 周妙林; 王进米; 刘扬; 王静; 唐兴智; 吴飞; 刘鑫; 杨咏文
Original assignee: Guangdong Digital Ecological Technology Co ltd
Current assignee: Guangdong Digital Ecological Technology Co ltd
Priority date: 2022-10-28
Filing date: 2022-10-28
Publication date: 2023-01-10

Abstract

本申请提供了一种基于视觉的无人机降落位置的处理方法、装置及设备，用于通过本申请设计的新型降落标志，方便高效、精确地实现无人机的定点降落。本申请提供的基于视觉的无人机降落位置的处理方法，包括：获取无人机采集的初始图像，其中，初始图像是由无人机通过自身搭载的摄像装置采集到的；识别初始图像中包含的降落标志，其中，降落标志是以实体的形式配置的，降落标志的图案由4层的同心正方形构成，降落标志的图案中相邻的连通域采用不同的填充颜色；确定降落标志的位置；根据降落标志的位置动态调整无人机的飞行速度和方向，以指导无人机进行自主降落。

Description

一种基于视觉的无人机降落位置的处理方法、装置及设备

技术领域

本申请涉及无人机领域，具体涉及一种基于视觉的无人机降落位置的处理方法、装置及设备。

背景技术

目标无人机的应用原来越成熟，从电网、应急搜救、农林、环保、交通、通信、气象等多个领域，再到个人消费领域，广泛地出现在日常生活中，而随着无人机的用途还有领域的扩大，特别是近年来还诞生了无人机固定机场和移动机场，对无人机的精准降落的要求也越来越高。

现阶段应用较多的无人机精准降落方案主要包括GPS和图像识别(或者说视觉技术)两类。

对于前者，普通GPS传感器价格便宜，其定位精度在米级，且在有阵风影响时误差更大，不适合用于高精度局部定位和自主降落，市场上精度在厘米级别的GPS传感器价格高昂、部署复杂，同时在高度估计时也有较大误差，在实际环境中，GPS信号易受干扰，定位不稳定而导致无人机自主降落失误；对于后者，其作为一大突破方向，可以理解为使用无人机机载图像识别设备识别地面的目标降落点来辅助定点降落。

然而，本申请发明人发现，现有的基于视觉的无人机降落位置方案，存在处理效率还有处理精度有限的问题，需要进行进一步的改善。

发明内容

本申请提供了一种基于视觉的无人机降落位置的处理方法、装置及设备，用于通过本申请设计的新型降落标志，方便高效、精确地实现无人机的定点降落。

第一方面，本申请提供了一种基于视觉的无人机降落位置的处理方法，方法包括：

获取无人机采集的初始图像，其中，初始图像是由无人机通过自身搭载的摄像装置采集到的；

识别初始图像中包含的降落标志，其中，降落标志是以实体的形式配置的，降落标志的图案由4层的同心正方形构成，降落标志的图案中相邻的连通域采用不同的填充颜色；

确定降落标志的位置；

根据降落标志的位置动态调整无人机的飞行速度和方向，以指导无人机进行自主降落。

结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，降落标志的图案中的每个连通域采用黑色或者白色的填充颜色，位于降落标志的图像中心的正方形采用白色的填充颜色。

结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，识别初始图像中包含的降落标志，包括：

对初始图像采用加权平均法进行灰度化处理，得到第一图像；

对第一图像采用局部自适应阈值法进行二值化处理，得到第二图像；

对第二图像采用并查集算法进行连通域标记处理，去除图像背景，得到与降落标志相关的第三图像；

对第三图像进行边缘提取处理，得到第四图像；

对第四图像进行线段检测处理，得到第五图像；

对第五图像进行像素点检测处理，得到降落标志的像素点信息，完成降落标志的识别。

结合本申请第一方面第二种可能的实现方式，在本申请第一方面第三种可能的实现方式中，边缘提取处理包括：

使用高斯函数对第三图像的各像素点进行平滑操作，通过一阶偏导数的有限差分计算各像素点梯度的幅值和方向；

根据各像素点梯度的幅值和方向，描述第三图像的纹理特征和边缘特征，并用双阈值算法检测和连接边缘，形成边缘轮廓。

结合本申请第一方面第二种可能的实现方式，在本申请第一方面第四种可能的实现方式中，线段检测处理包括：

对第四图像的边缘轮廓像素点以边缘集合的中心点按照顺时针排序，再通过最小二乘法进行直线拟合并计算误差值；

对误差值进行高通滤波，选取边缘轮廓像素点的误差值比上一个像素点和下一个像素点都大的值，过滤掉平滑的线段，剩余的均为像素拐点；遍历所有的像素拐点，清除掉线段中间的平滑拐点，拟合多边形；

去除多边形中的平滑点，只留下多边形中的角点，保存每条边的两个点索引，记为线段的拐点。

结合本申请第一方面第二种可能的实现方式，在本申请第一方面第五种可能的实现方式中，像素点检测处理包括：

根据线段的拐点计算每条边所对应的中心点像素坐标；

将所有的边所对应的中心点像素坐标进行聚类，取聚类数量最多并且数量大于5的中心点，得到目标点像素坐标。

结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，确定降落标志的位置，包括：

通过镜头视场角dfov和无人机飞行高度h可以计算正方形对角线l的实际长度，对应计算公式为：

已知图像的像素大小Z₁×Z₂，正方形对角线l的像素长度pixel_l的对应计算公式为：

通过pixel_l和l的比值meter_per_pixel，计算目标点的实际坐标(x,y)，对应计算公式为：

第二方面，本申请提供了一种基于视觉的无人机降落位置的处理装置，装置包括：

获取单元，用于获取无人机采集的初始图像，其中，初始图像是由无人机通过自身搭载的摄像装置采集到的；

识别单元，用于识别初始图像中包含的降落标志，其中，降落标志是以实体的形式配置的，降落标志的图案由4层的同心正方形构成，降落标志的图案中相邻的连通域采用不同的填充颜色；

确定单元，用于确定降落标志的位置；

指导单元，用于根据降落标志的位置动态调整无人机的飞行速度和方向，以指导无人机进行自主降落。

结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，降落标志的图案中的每个连通域采用黑色或者白色的填充颜色，位于降落标志的图像中心的正方形采用白色的填充颜色。

结合本申请第二方面，在本申请第二方面第二种可能的实现方式中，识别单元，具体用于：

对第三图像进行边缘提取处理，得到第四图像；

对第四图像进行线段检测处理，得到第五图像；

结合本申请第二方面第二种可能的实现方式，在本申请第二方面第三种可能的实现方式中，边缘提取处理包括：

结合本申请第二方面第二种可能的实现方式，在本申请第二方面第四种可能的实现方式中，线段检测处理包括：

结合本申请第二方面第二种可能的实现方式，在本申请第二方面第五种可能的实现方式中，像素点检测处理包括：

根据线段的拐点计算每条边所对应的中心点像素坐标；

结合本申请第二方面，在本申请第二方面第六种可能的实现方式中，确定单元，具体用于：

第三方面，本申请提供了一种基于视觉的无人机降落位置的处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。

从以上内容可得出，本申请具有以下的有益效果：

针对于无人机基于视觉技术的降落处理，本申请设计了一款新型的实体降落标志，其图案由4层的同心正方形构成，其图案中相邻的连通域采用不同的填充颜色，由此可以高效、精确地从无人机采集的初始图像中识别出来，而在确定降落标志的位置后，则可以为无人机的定点降落提供引导，从而方便高效、精确地实现无人机的定点降落。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请基于视觉的无人机降落位置的处理方法的一种流程示意图；

图2为本申请降落标志的一种图案示意图；

图3为本申请像素点检测处理的一种场景示意图；

图4为本申请识别降落标志的一种场景示意图；

图5为本申请确定降落标志的位置的一种场景示意图；

图6为本申请基于视觉的无人机降落位置的处理装置的一种结构示意图；

图7为本申请基于视觉的无人机降落位置的处理设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。

本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

在介绍本申请提供的基于视觉的无人机降落位置的处理方法之前，首先介绍本申请所涉及的背景内容。

在现有技术一中，可以采用基于AprilTag多二维码的降落标志，通过改进的卡尔曼滤波实现无人机自主追踪降落，虽然取得了不错的识别效果，但是其降落标志过多，影响了检测效率，增加了检测时间；

在现有技术二中，设计了绿白两色结合的“H”形降落标志，尽管实现了无人机跟踪降落到移动平台，但其降落标志过于复杂，算法所需特征点等信息过多，从而对相机参数要求高，降落精度、实时性和稳定性均有待提高。

在现有技术存在如上的处理效率还有处理精度有限的问题的情况下，本申请提供的基于视觉的无人机降落位置的处理方法、装置以及计算机可读存储介质，可应用于基于视觉的无人机降落位置的处理，用于通过本申请设计的新型降落标志，方便高效、精确地实现无人机的定点降落。

本申请提及的基于视觉的无人机降落位置的处理方法，其执行主体可以为基于视觉的无人机降落位置的处理装置，或者集成了该基于视觉的无人机降落位置的处理装置的服务器、物理主机、用户设备(User Equipment，UE)或者无人机控制器等不同类型的处理设备。其中，基于视觉的无人机降落位置的处理装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(PersonalDigital Assistant，PDA)等终端设备，基于视觉的无人机降落位置的处理设备可以通过设备集群的方式设置。

应当理解的是，本申请基于视觉的无人机降落位置的处理设备，在实际应用中，优选地为无人机本身的控制器，该控制器既可以为用户手头的控制器设备，也可以是无人机本体上的相关控制器设备，也可以是用户手头的控制器设备和无人机本体上的相关控制器设备的结合，从而无人机的产品本身就可以通过本申请所提供的基于视觉的无人机降落位置的处理方法来实现高效、精准的降落效果。

下面，开始介绍本申请提供的基于视觉的无人机降落位置的处理方法。

首先，参阅图1，图1示出了本申请基于视觉的无人机降落位置的处理方法的一种流程示意图，本申请提供的基于视觉的无人机降落位置的处理方法，具体可包括如下步骤S101至步骤S104：

步骤S101，获取无人机采集的初始图像，其中，初始图像是由无人机通过自身搭载的摄像装置采集到的；

可以理解，本申请所涉及的对于无人机降落位置的处理，是基于视觉基础进行的，也就是从图像处理的角度来完成无人机降落地方的处理，因此，本申请可以从获取图像开始来触发后续的相关图像处理。

需要理解的是，此处对于无人机采集的初始图像的获取处理，既可以是控制无人机进行实时的图像采集处理，也可以从调取无人机已经完成采集的图像，具体可以随实际情况调整。

而对于此处获取的初始图像，其为无人机本身搭载的相关摄像装置(包含摄像头)所采集到的，对应于本申请所针对的无人机降落场景，其在采集(拍摄)图像时，视角是面向地面的，如此图像内容中可以摄入地面配置的降落标志，或者，图像的内容中包括地面也可。

可以理解，无人机具体的飞行场景在实际应用中是复杂多变的，因此，在采集图像时，可以调整摄像头，从上往下的视角拍摄地面是比较好的，如此方便更为清晰地摄入地面配置的降落标志，若受限于空间等实际条件的限制，图像内容中包括地面也可，如此也是可以摄入地面配置的降落标志。

此外，应当理解的是，对于此处获取的初始图像，其并不意味着图像中已经摄入了地面配置的降落标志，对于是否摄入了地面配置的降落标志，需要由后续的相关图像处理来完成识别。

步骤S102，识别初始图像中包含的降落标志，其中，降落标志是以实体的形式配置的，降落标志的图案由4层的同心正方形构成，降落标志的图案中相邻的连通域采用不同的填充颜色；

可以理解，为促进实现本申请期望的高效、精确的无人机降落位置的识别，本申请则是设计了一种新颖的降落标志，该降落标志容易理解，为实体存在的标志物，通过其在图像中反映出的图像特征来达到识别降落位置的目的。

对于该降落标志，本申请具体设计为：

降落标志的图案由同心正方形构成，降落标志的图案中相邻的连通域采用不同的填充颜色。

可以理解，所谓同心正方形，即为不同大小但是中心一致的多个正方形，以形成“回字形”图案或者形成“多回字形”的嵌套图案，从而，在大小上相邻的正方形之间会形成一个连通域，而两两连通域则是通过不同的填充颜色来进行区分，如此，形成一个本身配置的便于快速识别的降落标志的图案。

为方便理解，还可参考图2示出的本申请降落标志的一种图案示意图，从图2中可以看出，其还可由以下示例性的实现方案：

降落标志的图案具体由4层(4个)的同心正方形构成。

可以理解，本申请所设计的便于视觉处理的降落标志，具体包含了四个大小不同的正方形，随着无人机高度的下降，摄像头视野范围缩小，该“回字形”嵌套图案仍可以保证较小的正方形完整地出现在视野里，达到高效、精确的识别效果。

此外，其形状具体配置为了正方形，如此不容易受到各角度拍摄视觉的影响，也可方便对于降落标志的图像识别处理。

而作为一种具体的实现方案，本申请对于降落标志，还可有如下配置内容：

降落标志的图案中的每个连通域采用黑色或者白色的填充颜色，位于降落标志的图像中心的正方形采用白色的填充颜色。

可以理解，此处的填充颜色的设置是与图2所示内容相对应的，本申请认为，黑白两种颜色较为适合图像处理，并具有较大的区分度，如此方便降落标志的识别。

但是，尽管图2所示内容中的颜色为黑白模式，但这并不意味着其在实际场景中所配置的填充颜色为黑白两种颜色，其可以根据需要配置不同的填充颜色，可以区分开相邻的连通域即可。

而综合上述的几个示例性方案设计来看，本申请所设计的降落标志，由四个黑白相间的同心正方形组成的“回字形”嵌套图案，其中最内部正方形填充为白色，最外部黑色填充的正方形四周留有白色边框，在该设置下，从后续的图像处理效果来看，可以突出自身图案特性的同时，还可增加降落标志与地面之间的对比度，便于后续的图像边缘提取。

相对于传统的二维码等视觉图案的降落标志只能在10-20m高度进行无人机自主降落，本申请设计的该降落标志则是简洁高效，且在40-50m高度范围内仍具有良好的定位精度。

应当理解，在实际应用中，对于降落标志本申请还可以有其他方面的优化设计。

例如，作为又一种适于实用的实现方案，对应于不同规格的无人机产品，本申请还可一对一配置个性化规格的降落标志，达到适配实物的效果，方便无人机降落的实现。

具体的，降落标志的尺寸大小可以与无人机的尺寸大小呈正相关设置。

作为一个实例，若当前的无人机属于体积较小的无人机产品，则降落标志尺寸可以采用为0.9m×0.9m；若当前的无极人属于体积较大的无人机产品，则降落标志尺寸可以采用为1.1×1.1m。

除了对降落标志本身进行了如上述涉及的优化设计，本申请对于如何从初始图像中对降落标志进行识别也做了具体的优化设计。

具体的，作为又一种具体的实现方式，识别初始图像中包含的降落标志的过程中，具体可以包括以下内容：

S1，对初始图像采用加权平均法进行灰度化处理，得到第一图像；

无人机采集的图像通常为RGB彩色图像，彩色图像中每个像素的颜色由R(红色，red)、G(绿色，gree)、B(蓝色，blue)三个颜色通道的分量决定。

为了有效减少后续图像处理中的计算量、降低图像处理规模，则可先对图像进行灰度化处理，将彩色图像转换成为灰度图像，而灰度图像只有一个通道，每个通道值代表某个颜色在此处的亮度值。

此外，若如上述示例性设置中降落标志由黑白模式的同心正方形组成，还会使得更容易在灰度图像中进行图像的处理，从而更便于获得所需的目标图像信息。

对于灰度化处理，具体的，本申请在具体应用中可以采用加权平均法进行，根据RGB颜色空间和YUV颜色空间之间的变化关系，建立YUV颜色空间中的亮度Y与RGB颜色空间中的R、G、B三个颜色分量的对应关系，并以这个亮度Y的值表示图像的灰度值，对应的转化公式可以为：

Y＝0.3R+0.59G+0.11B。

S2，对第一图像采用局部自适应阈值法进行二值化处理，得到第二图像；

由于无人机采集的图像中不仅包含了目标图像(降落标志)，还会包含了复杂的背景信息和嘈杂的噪声，因此则可对前面得到的第一图像继续进行二值化处理，如此便于分割背景与目标区域，去除噪声，进行后续降落标志的识别。

具体的，考虑到初始图像是在室外环境下采集的图像，背景较为复杂，并且由于环境因素，使得采集的初始图像容易出现光照不均匀的现象，因此本申请可以采用局部自适应阈值法来对图像进行二值化处理。

局部自适应阈值是根据像素的邻域块的像素值分布来确定该像素位置上的二值化阈值，当像素点的灰度值小于阈值时，则将该点的数值置为0表示背景，否则将数值置为1表示前景，如此实现二值化的同时可以有效解决光照不均匀的问题。

S3，对第二图像采用并查集算法进行连通域标记处理，去除图像背景，得到与降落标志相关的第三图像；

可以理解，降落标志的目标图像中包含一个或多个连通域，这些连通域的属性是针对降落标志的目标检测过程、图像识别过程中的重要参考指标，因此针对前面获得的第二图像中符合一定连通规则的像素点，用相同且唯一的标记(标号)进行标识，通过连通域标记处理将图像中不同的连通区域提取出来，并对这些区域的特征进行分析，从而达到识别目标、排除干扰的目的。

其中，本申请具体可以采用并查集算法进行连通域标记处理，通过其并查集分析，将图像中感兴趣的前景目标与图像背景分离，以便后续可以对感兴趣的前景目标(降落标志)进行相关的图像处理操作。

此时，所得到的第三图像，还是会在降落标志的外围存在一定范围的其他图像信息的，还需要继续进行修正。

S4，对第三图像进行边缘提取处理，得到第四图像；

整体来说，边缘提取可以进行下面的处理：

具体的，此处的边缘提取处理，在实际应用中，具体可以使用高斯函数对前面获得的第三图像的各像素点进行平滑操作，通过一阶偏导数的有限差分计算各像素点梯度的幅值和方向，并根据幅值对图像的边缘进行提取。

判断每个梯度方向上的每个像素点的梯度增幅值是否是局部的极大值，如果像素点的梯度增幅值是极大值，使用1表示该像素点的灰度值，则将该像素点作为边缘点保留，否则不将该像素点作为边缘点保留，使得边缘的像素点达到最佳值。

应用灰度变化的梯度信息描述图像的纹理特征和边缘特征，通过梯度信息熵和标准差方法来分析图像纹理粗细，进而判断图像的分布情况，来确定比较合适的高低阈值，用双阈值算法检测和连接边缘，形成边缘轮廓。

如此，进一步对图像进行的边缘的修正，为后面的图像处理提供更为精确的图像依据。

S5，对第四图像进行线段检测处理，得到第五图像；

对于线段检测处理，是为了得到标准形状的图像，即与降落标志相对应的正方形形状的图像。

整体来说，可以包括：

具体的，由于无人机在拍摄图像时会产生一定的变形和仿射变化，因此可以针对无序的边缘轮廓像素点，以边缘集合的中心点，按照顺时针排序，然后按照顺序选取距离中心点一定范围内的点，通过最小二乘法对每个边缘像素点进行直线拟合。

为了保证能检测出微小的线段，四边形每条边应大于6个像素长度，对于任意点P_n、P_n+1构造直线l，计算P_n-5、P_n-4、...、P_n+6所有点到直线的距离和D_n，即为每条直线的误差值，记D(i,n)为P_i到直线l(n,n+1)的距离，则有：

D_{n＝∑D(i,n)}，

其中，i＝n-5、n-4、...、n+6，四边形每个像素点都是首尾相连的，当n＝0时，n-5表示从后往前的第5个点。

对误差值可以进行高通滤波，选取边缘像素点的误差值比上一个像素和下一个像素都大的值，过滤掉平滑的线段，剩余的均为像素拐点，记为a_i。遍历所有像素拐点，清除掉线段中间的平滑拐点，拟合多边形，并去除多边形中的平滑点，只留下多边形中的角点，保存每条边的两个点索引。

具体操作可以为：

记V₀＝a_n-1，V₁＝a₀，V₂＝a₁，

从V₂开始遍历，记向量V₀₁＝V₁-V₀，V₁₂＝V₂-V₁，如果V₁₂的长度小于4，则忽略，V₂移动到下一点；

如果V₀₁和V₁₂的向量夹角小于30°，则继续，V₁＝V₂，V₂移动到下一点；

如果V₀₁和V₀₂的向量夹角大于10°，则记录V₁点为线段的拐点，遍历完成后，记所有的线段拐点为L_i。

此时通过线段检测得到的图像，即为识别出的降落标志最终的图像区域，此时还停留在图像区域的阶段，还要继续通过图像处理确定其位置，供后面的位置应用处理。

S6，对第五图像进行像素点检测处理，得到降落标志的像素点信息，完成降落标志的识别。

可以理解，此处是以像素点位置作为降落标志在初始图像中的位置进行输出的。

参考图3示出的本申请像素点检测处理的一种场景示意图(具体针对中心点的像素坐标计算)，在具体应用中，可以根据线段拐点计算每条边所对应的中心点像素坐标，图3中左侧的(a)图示内容对应降落标志无遮挡的情况，图3中右侧的(b)对应降落标志存在遮挡的情况，本申请的计算方法不受遮挡的影响，且所设计的降落标志包含多个同心正方形，保证在不同高度下都能识别到正方形，提高了算法的精度。

整体来说，可以归纳为：

根据线段的拐点计算每条边所对应的中心点像素坐标；

其具体计算方法如下：

记V₀₁＝L₁-L₀，V₁₂＝L₂-L₁，V₂₃＝L₃-L₂，如果V₀₁与V₁₂、V₂₃与V₁₂归一化后的向量点积绝对值小于0.25(V₀₁与V₁₂基本垂直，V₂₃与V₁₂基本垂直)，同时V₀₁与V₂₃归一化后的向量点积小于0(V₀₁与V₂₃的方向相反)，则V₁₂可能是四边形其中一条边，计算L₁和和L₂的中心点V_1m2，则有：

记V₁₂的法向量为V_12n，则有：

V_12n＝normalize(V₂₃―V₀₁)，

假设V₁₂是四边形的一条边，那四边形的中心点像素坐标为：

V_center＝V_1m2+V_12n×Distance(L1,L2)×0.5，

遍历所有的线段，计算可能是正方形的边，再进一步计算对应的中心点像素坐标，如果确是正方形，那么边所对应的中心点应该为相同位置。

需要理解的是，此处将所有的边所对应的中心点像素坐标进行聚类，为了减少图像中其它物体的干扰，并结合降落标志的特征，取聚类数量最多并且数量大于5(优选阈值)的中心点，即可得到目标点的像素坐标(pixel_x,pixel_y)。

此时，通过确定的降落标志四条边的四个中心点的像素坐标，即可确定出降落标志整体的像素坐标，或者说在像素层面上，已经可以定位降落标志。

对于以上六个阶段的识别处理，还可以参考图4示出的本申请识别降落标志的一种场景示意图进行理解。

步骤S103，确定降落标志的位置。

可以理解，在前面通过图像识别确定了初始图像中包含的降落标志后，则可根据其识别结果，确定降落标志在实际场景的具体位置，如此为后续无人机的降落处理提供降落位置参考。

其中，该确定的位置，容易理解，优选地是与后续无人机的降落处理涉及的坐标系保持一致的。

若前面确定的降落标志涉及到与后续无人机的降落处理涉及的坐标系不同的坐标系，则还可涉及到坐标系之间的坐标转换处理。

例如，若前面确定的降落标志是以像素坐标系中的像素点坐标设置的，而后面无人机的降落处理涉及的是世界坐标系，在进行位置应用处理时则可涉及到两坐标系之间的坐标转换。

即，此处确定的降落标志的位置，具体为像素点坐标从像素坐标系转换到世界坐标系得到的实际坐标。

对应的，参考图5示出的本申请确定降落标志的位置的一种场景示意图，如图5所示，dfov为无人机其摄像装置的镜头视场角，无人机的飞行高度h是已知的，通过镜头视场角dfov和无人机飞行高度h可以计算图中正方形对角线l的实际长度，计算公式为：

以本申请实际应用中可以采用的广角镜头视场角dfov具体为89°为例，则有：

又已知图像的像素大小Z₁×Z₂，因此正方形对角线l的像素长度有：

以本申请实际应用中已知图像的像素大小具体为1280×720为例，则有：

通过pixel_l和l的比值，即可获得像素与实际的长度比值meter_per_pixel，从而可以根据该meter_per_pixel参数，则可以计算目标点的实际坐标(x,y)，有：

最终求得的实际坐标(x,y)，即为世界坐标系下的实际坐标。

步骤S104，根据降落标志的位置动态调整无人机的飞行速度和方向，以指导无人机进行自主降落。

而在确定了降落标志的具体位置后，显然，则可以展开相应的位置应用，从基础的数据存储、输出，再到更具有实际意义的为无人机的降落提供位置引导，其具体的位置应用内容，可以随实际需求调整，本申请在此不做具体限定。

作为一个较为常用的位置应用方案，本申请所提供的基于视觉的无人机降落位置的处理方法，则还可以包括根据降落标志的位置动态调整无人机的飞行速度和方向，以指导无人机进行自主降落。显然，降落标志的位置，如前面确定的降落标标志的实际坐标，为期望的无人机的降落位置，如此控制器可以引导无人机降落于此，完成一次降落处理。

其中，在降落过程中，还可以涉及到位置的偏差纠正，例如，可以通过降落标志的目标点的实际坐标(x,y)，计算无人机相对于降落标志的实际偏差距离，并判断无人机相对于降落标志的实际偏差距离是否小于预设的误差范围值，若大于显然可以调整无人机的飞行速度和方向，达到一个动态调整的效果，从而进一步促进无人机进行精准降落。

综合的来说，对于以上方案内容，针对于无人机基于视觉技术的降落处理，本申请设计了一款新型的实体降落标志，其图案由4层的同心正方形构成，其图案中相邻的连通域采用不同的填充颜色，由此可以高效、精确地从无人机采集的初始图像中识别出来，而在确定降落标志的位置后，则可以为无人机的定点降落提供引导，从而方便高效、精确地实现无人机的定点降落。

以上是本申请提供基于视觉的无人机降落位置的处理方法的介绍，为便于更好的实施本申请提供的基于视觉的无人机降落位置的处理方法，本申请还从功能模块角度提供了一种基于视觉的无人机降落位置的处理装置。

参阅图6，图6为本申请基于视觉的无人机降落位置的处理装置的一种结构示意图，在本申请中，基于视觉的无人机降落位置的处理装置600具体可包括如下结构：

获取单元601，用于获取无人机采集的初始图像，其中，初始图像是由无人机通过自身搭载的摄像装置采集到的；

识别单元602，用于识别初始图像中包含的降落标志，其中，降落标志是以实体的形式配置的，降落标志的图案由4层的同心正方形构成，降落标志的图案中相邻的连通域采用不同的填充颜色；

确定单元603，用于确定降落标志的位置；

指导单元604，用于根据降落标志的位置动态调整无人机的飞行速度和方向，以指导无人机进行自主降落。

在一种示例性的实现方式中，降落标志的图案中的每个连通域采用黑色或者白色的填充颜色，位于降落标志的图像中心的正方形采用白色的填充颜色。

在又一种示例性的实现方式中，识别单元602，具体用于：

对第二图像采用并查集算法进行连通域标记，去除图像背景，得到与降落标志相关的第三图像；

对第三图像进行边缘提取，得到第四图像；

对第四图像进行线段检测，得到第五图像；

对第五图像进行像素点检测，得到降落标志的像素点信息，完成降落标志的识别。

在又一种示例性的实现方式中，边缘提取包括：

在又一种示例性的实现方式中，线段检测处理包括：

在又一种示例性的实现方式中，像素点检测处理包括：

根据线段的拐点计算每条边所对应的中心点像素坐标；

将所有的边所对应的中心点像素坐标进行聚类，取聚类数量最多并且数量大于5的中心点，即可得到目标点像素坐标。

在又一种示例性的实现方式中，确定单元603，具体用于：

本申请还从硬件结构角度提供了一种基于视觉的无人机降落位置的处理设备，参阅图7，图7示出了本申请基于视觉的无人机降落位置的处理设备的一种结构示意图，具体的，本申请基于视觉的无人机降落位置的处理设备可包括处理器701、存储器702以及输入输出设备703，处理器701用于执行存储器702中存储的计算机程序时实现如图1对应实施例中基于视觉的无人机降落位置的处理方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能，存储器702用于存储处理器701执行上述图1对应实施例中基于视觉的无人机降落位置的处理方法所需的计算机程序。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

基于视觉的无人机降落位置的处理设备可包括，但不仅限于处理器701、存储器702、输入输出设备703。本领域技术人员可以理解，示意仅仅是基于视觉的无人机降落位置的处理设备的示例，并不构成对基于视觉的无人机降落位置的处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如基于视觉的无人机降落位置的处理设备还可以包括网络接入设备、总线等，处理器701、存储器702、输入输出设备703等通过总线相连。

处理器701可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是基于视觉的无人机降落位置的处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分。

存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据基于视觉的无人机降落位置的处理设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器701用于执行存储器702中存储的计算机程序时，具体可实现以下功能：

识别初始图像中包含的降落标志，其中，降落标志是以实体的形式配置的，降落标志的图案由同心正方形构成，降落标志的图案中相邻的连通域采用不同的填充颜色；

确定降落标志的位置；

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于视觉的无人机降落位置的处理装置、设备及其相应单元的具体工作过程，可以参考如图1对应实施例中基于视觉的无人机降落位置的处理方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中基于视觉的无人机降落位置的处理方法的步骤，具体操作可参考如图1对应实施例中基于视觉的无人机降落位置的处理方法的说明，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中基于视觉的无人机降落位置的处理方法的步骤，因此，可以实现本申请如图1对应实施例中基于视觉的无人机降落位置的处理方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请提供的基于视觉的无人机降落位置的处理方法、装置、设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种基于视觉的无人机降落位置的处理方法，其特征在于，所述方法包括：

获取无人机采集的初始图像，其中，所述初始图像是由无人机通过自身搭载的摄像装置采集到的；

识别所述初始图像中包含的降落标志，其中，所述降落标志是以实体的形式配置的，所述降落标志的图案由4层的同心正方形构成，所述降落标志的图案中相邻的连通域采用不同的填充颜色；

确定所述降落标志的位置；

根据所述降落标志的位置动态调整所述无人机的飞行速度和方向，以指导所述无人机进行自主降落。

2.根据权利要求1所述的方法，其特征在于，所述降落标志的图案中的每个连通域采用黑色或者白色的填充颜色，位于所述降落标志的图像中心的正方形采用白色的填充颜色。

3.根据权利要求1所述的方法，其特征在于，所述识别所述初始图像中包含的降落标志，包括：

对所述初始图像采用加权平均法进行灰度化处理，得到第一图像；

对所述第一图像采用局部自适应阈值法进行二值化处理，得到第二图像；

对所述第二图像采用并查集算法进行连通域标记处理，去除图像背景，得到与所述降落标志相关的第三图像；

对所述第三图像进行边缘提取处理，得到第四图像；

对所述第四图像进行线段检测处理，得到第五图像；

对所述第五图像进行像素点检测处理，得到所述降落标志的像素点信息，完成所述降落标志的识别。

4.根据权利要求3所述的方法，其特征在于，所述边缘提取处理包括：

使用高斯函数对所述第三图像的各像素点进行平滑操作，通过一阶偏导数的有限差分计算各像素点梯度的幅值和方向；

根据所述各像素点梯度的幅值和方向，描述所述第三图像的纹理特征和边缘特征，并用双阈值算法检测和连接边缘，形成边缘轮廓。

5.根据权利要求3所述的方法，其特征在于，所述线段检测处理包括：

对所述第四图像的边缘轮廓像素点以边缘集合的中心点按照顺时针排序，再通过最小二乘法进行直线拟合并计算误差值；

对所述误差值进行高通滤波，选取所述边缘轮廓像素点的误差值比上一个像素点和下一个像素点都大的值，过滤掉平滑的线段，剩余的均为像素拐点；遍历所有所述的像素拐点，清除掉线段中间的平滑拐点，拟合多边形；

去除所述多边形中的平滑点，只留下多边形中的角点，保存每条边的两个点索引，记为线段的拐点。

6.根据权利要求3所述的方法，其特征在于，所述像素点检测处理包括：

根据所述线段的拐点计算每条边所对应的中心点像素坐标；

将所有的边所对应的所述中心点像素坐标进行聚类，取聚类数量最多并且数量大于5的中心点，得到目标点像素坐标。

7.根据权利要求1所述的方法，其特征在于，所述确定所述降落标志的位置，包括：

8.一种基于视觉的无人机降落位置的处理装置，其特征在于，所述装置包括：

获取单元，用于获取无人机采集的初始图像，其中，所述初始图像是由无人机通过自身搭载的摄像装置采集到的；

识别单元，用于识别所述初始图像中包含的降落标志，其中，所述降落标志是以实体的形式配置的，所述降落标志的图案由同心正方形构成，所述降落标志的图案中相邻的连通域采用不同的填充颜色；

确定单元，用于确定所述降落标志的位置；

指导单元，用于根据所述降落标志的位置动态调整所述无人机的飞行速度和方向，以指导所述无人机进行自主降落。

9.一种基于视觉的无人机降落位置的处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。