无人机降落方法、装置、设备及存储介质
技术领域
本发明一般涉及无人机控制技术领域,具体涉及一种无人机降落方法、装置、设备及存储介质。
背景技术
无人机自主降落是指无人机利用导航设备和飞行控制系统进行定位导航并最终控制无人机降落的过程。自主降落对导航与控制精度及可靠性均有较高的要求,是无人机实现自主飞行的重要基础和关键技术。目前在无人机在降落的过程中,主要是依靠GPS确定降落的位置,但是由于完全依靠导航卫星,存在信号易受干扰和信号垄断的问题,同时导航精度有限,一般GPS的精度在5-10米,适用于室外GPS信号较强的区域,这就限制了无人机降落点的范围。差分GPS精度高,但价格昂贵,成本较高。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种无人机降落方法、装置、设备及存储介质。
为了克服现有技术的不足,本发明所提供的技术方案是:
第一方面,本发明提供一种无人机降落方法,其特殊之处在于,该方法包括:
通过单目相机在待降落区域图像内确定要降落的初级目标区域;
控制无人机移动至确定的所述初级目标区域的上方并下降至双目相机的有效视距内,切换所述单目相机至所述双目相机;
通过所述双目相机确定无人机用于降落的目标点;
将无人机降落至所述目标点。
进一步地,所述通过单目相机在待降落区域图像内确定要降落的初级目标区域,包括对单目相机采集的所述待降落区域的图像进行分类,确定所述初级目标区域,所述初级目标区域为待降落区域中相对平整区域。
进一步地,所述通过双目相机确定无人机降落的目标点包括:
确定终极目标区域,以所述终极目标区域的中心点作为所述目标点。
进一步地,将无人机降落至所述目标点包括:
将所述目标点的图像坐标转换为所述目标点的双目相机坐标;
将所述目标点的双目相机坐标转换为目标点的无人机坐标,通过所述目标点的无人机坐标引导无人机降落至所述目标点。
进一步地,确定终极目标区域包括:
通过所述双目相机对所述初级目标区域的图像进行深度恢复,以所述初级目标区域内所有像素点的深度值相差小于阈值的局部区域作为终极目标区域。
进一步地,确定终极目标区域还包括:
对所述初级目标区域的图像进行深度恢复之前对双目相机采集的两个视角的图像进行校正。
进一步地,所述两个视角的图像的校正采用双目去畸变和立体矫正算法,和/或,所述初级目标区域的图像深度恢复采用立体匹配算法。
第二方面,本发明还提出了一种无人机降落装置,其特殊之处在于,包括:
第一定位模块,用于通过单目相机在待降落区域内确定要降落的初级目标区域;
第一控制模块,用于控制无人机移动至确定的所述初级目标区域的上方并下降至双目相机的有效视距内,切换所述单目相机至所述双目相机;
第二定位模块,用于通过所述双目相机确定无人机的用于降落的目标点;
第二控制模块,用于将无人机降落至所述目标点。
第三方面,本发明还提出一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特殊之处在于,所述处理器执行所述计算机程序时实现上面任一项所述的无人机降落方法。
第四方面,本发明还提出一种计算机可读存储介质,其上存储有计算机程序,其特殊之处在于,所述计算机程序被处理器执行时上面任一项所述的实现无人机降落方法。
与现有技术相比,本发明的有益效果是:
本发明提供一种无人机降落方法,通过单目相机采集待降落区域图像;对采集到的所述待降落区域图像进行分类,单目相机的视距范围较大,在高空区域时也可以持续对采集到的图像进行处理,从而能够提供准确的初级目标区域;待无人机下降至双目相机的有效视距内,双目相机能够对初级目标区域内的图像进行精确的平地确定,确定无人机降落的目标点。本发明在单目相机视觉分类的基础上,融合双目相机视觉深度信息,使无人机平地降落更准确。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本发明的实施例的一种无人机降落方法的流程示意图;
图2为本发明的实施例的一种无人机降落装置的结构示意图;
图3为本发明的实施例的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如背景技术中提到的,现有的无人机在降落的过程中,主要是依靠GPS确定降落的位置,但是由于完全依靠导航卫星,存在信号易受干扰和信号垄断的问题,同时导航精度有限,适用于室外GPS信号较强的区域,这就限制了无人机降落点的范围。因此,希望提供一种无人机降落方法,无需依靠GPS就可以实现在室内或者室外精确降落。
双目相机的深度量程和精度受到双目基线的限制,当无人机处于高空区域,双目相机离目标较远,发挥不出双目的优势,此时双目相机就相当于单目相机,所以双目相机只能在低空区域,离目标较近时才能发挥出很好的效果;
由于双目相机的处理效果受到基线的影响,所以双目相机在高空区域时无法得到目标的深度信息或者说深度信息不准确,也就无法准确确定需要降落的区域;而对于单目相机,其视距范围较大,在高空区域时也可以持续对采集到的待降落区域图像进行分类,从而能够提供准确的初级待降落区域;
本方案提出的“单目视觉分类,双目视觉深度恢复”的无人机降落方法,无论是无人机处于高空区域还是低空区域,都能保证视觉算法提供的待降落区域的准确性。
参见图1,本发明提供一种无人机降落方法,该方法包括:
在步骤110中,通过单目相机在待降落区域图像内确定要降落的初级目标区域;
在其中一个实施例中,所述通过单目相机在待降落区域图像内确定要降落的初级目标区域,包括对单目相机采集的所述待降落区域的图像进行分类,确定所述初级目标区域,所述初级目标区域为待降落区域中相对平整区域。
在其中一个实施例中,通过单目相机对地面图像进行分类的算法采用的是机器学习方法,包括不限于Adaboost、SVM等机器学习方法,也可以采用ResNet、GoogleNet等深度学习方法。
以ResNet深度学习方法为例,待降落区域的图像分类过程具体如下:
数据集制作:清洗图像数据并标注分类,例如:二分类,0表示非平地;1表示平地。将图像数据集分为训练集和测试集;训练集与测试集的比例包括但不限于3:1,可以根据实际情况确定;
模型训练:将制作好的图像数据集作为已选模型的输入进行训练,直至模型收敛;
模型测试:模型收敛后,用制作好的测试集测试模型的精度,直至满足分类要求,确定要降落的初级目标区域。
由于在图像生成、采样、量化、传输和转换过程中,单目相机总是会造成图像的一些劣化。因此,这些退化的图像质量必须得到改善。
为了提高图像质量,有必要突出图像中的有用信息,并尽可能消除其他环境信息的干扰。这需要对原始图像进行图像预处理操作,预处理的操作不应过于复杂,能够简单处理图像数据即可。因此在单目相机采集待降落区域图像后,首先将采集到的图像通过嵌入式计算机进行处理。
在步骤120中,控制无人机移动至确定的所述初级目标区域的上方并下降至双目相机的有效视距内,切换所述单目相机至所述双目相机;
确定初级目标区域后,计算出初级目标区域中心的图像坐标并转换为单目相机坐标系下的单目相机坐标,再将所述单目相机坐标转换为无人机机体坐标系下的无人机坐标,由飞行控制计算机根据其得到的初级目标区域中心的无人机坐标使无人机平移至确定的初级目标区域中心上方。
由飞行控制计算机控制无人机下降,在双目相机有效视距内获得的图像数据可以精确计算出初级目标区域的深度,不同类型双目相机的有效视距并不一样,例如:小觅相机的有效视距为20m。待无人机下降至双目相机的有效视距内后,通过嵌入式图像计算机切换所述单目相机至双目相机。
在步骤130中,通过所述双目相机确定无人机用于降落的目标点;
在其中一个实施例中,所述通过双目相机确定无人机降落的目标点包括但不限于先确定终极目标区域,再以终极目标区域的中心点作为目标点。也可以以终极目标区域内的其他点为最终降落的目标点,此处不做具体限定。
在其中一个实施例中,通过双目相机对初级目标区域的图像进行深度恢复,以初级目标区域内所有像素点的深度值相差小于阈值的局部区域作为终极目标区域,所述阈值大小等于任一像素点深度值的0.08倍。
在其中一个实施例中,初级目标区域的图像深度恢复采用的是立体匹配算法。具体过程如下:
对于双目相机左图像中任一像素点u0,通过匹配算法搜索得到其右图像中对应像素点u1,求得两个像素点的视差为d=u0-u1,则该点对应左图中的深度z=fb/d,其中f为相机焦距,b为双目基线的长度,即左右相机之间的距离;
记图像内所有像素点的深度值分别为z1,z2...zn,对所有像素点中任意两个像素点深度值zi和zj进行比较,二者的差值为Δz=zi-zj,当某区域内两个像素点深度值差值Δz≤0.08zi时,则将该区域作为确定的终极目标区域,并将终极目标区域内所有像素点的平均深度值h作为无人机离地的高度。
在上述实施例中,确定终极目标区域的过程还包括:对所述初级目标区域的图像进行深度恢复之前对双目相机采集的两个视角的图像进行校正。
在其中一个实施例中,两个视角的图像的校正采用的是双目去畸变和立体矫正算法。
在步骤140中,将无人机降落至所述目标点。
在其中一个实施例中,控制无人机降落至所述的目标点包括:将所述目标点的图像坐标转换为目标点的双目相机坐标系下的双目相机坐标,再将所述目标点的双目相机坐标转换为目标点的无人机机体坐标系下的无人机坐标,通过所述目标点的无人机坐标引导无人机降落至所述的目标点。
具体过程如下:
记目标点的位置坐标为(xcent,ycent),并将该点转换至相机坐标系,最后转换为无人机机体坐标系,以供无人机降落。
令双目相机标定得到的内参矩阵为K,标定可使用但不限于张正友标定法,则:
目标点的位置坐标转换为目标点的双目相机坐标:
xc=(xcent-cx)*h/fx
yc=(ycent-cy)*h/fy
zc=h
其中,(xc,yc,zc)为目标点的双目相机坐标系下的双目相机坐标,fx为相机成像平面x方向的焦距,fy为相机成像平面y方向的焦距,h为双目相机恢复的深度信息,即无人机的离地高度。
目标点的双目相机坐标转换为目标点的无人机坐标:
其中,(xb,yb,zb)为目标点的无人机机体坐标系下的无人机坐标;R和T分别为双目相机相对于无人机坐标系的旋转矩阵和平移矩阵。
确定目标点的无人机坐标后,并通过串口将计算得到的目标点在无人机机体坐标系下的无人机坐标发送至飞行控制计算机,飞行控制计算机控制无人机匀速下降,并平移至目标点。
如图2为本发明实施例一种无人机降落装置200的结构示意图。如图2所示,该装置可以实现如图1所示的方法,该装置可以包括:
第一定位模块210,用于通过单目相机在待降落区域图像内确定要降落的初级目标区域;
第一控制模块220,用于控制无人机移动至确定的所述初级目标区域的上方并下降至双目相机的有效视距内,切换所述单目相机至所述双目相机;
第二定位模块230,用于通过所述双目相机确定无人机用于降落的目标点;
第二控制模块240,用于将无人机降落至所述目标点。
可选地,所述通过单目相机在待降落区域图像内确定要降落的初级目标区域,包括对单目相机采集的所述待降落区域的图像进行分类,确定所述初级目标区域,所述初级目标区域为待降落区域中相对平整区域。
可选地,所述通过双目相机确定无人机降落的目标点包括:
确定终极目标区域,以所述终极目标区域的中心点作为所述目标点。
可选地,将无人机降落至所述目标点包括:
将所述目标点的图像坐标转换为所述目标点的双目相机坐标;
将所述目标点的双目相机坐标转换为目标点的无人机坐标,通过所述目标点的无人机坐标引导无人机降落至所述目标点。
可选地,确定终极目标区域包括:
通过所述双目相机对所述初级目标区域的图像进行深度恢复,以所述初级目标区域内所有像素点的深度值相差小于阈值的局部区域作为终极目标区域。
可选地,确定终极目标区域还包括:
对所述初级目标区域的图像进行深度恢复之前对双目相机采集的两个视角的图像进行校正。
可选地,所述两个视角的图像的校正采用双目去畸变和立体矫正算法;和/或,所述初级目标区域的图像深度恢复采用立体匹配算法。
本实施例提供的无人机降落装置,可以执行上述方法的实施例,其实现原理和技术效果类似,在此不再赘述。
图3为本发明实施例提供的一种计算机设备的结构示意图。如图3所示,示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统300的结构示意图。
如图3所示,计算机系统300包括中央处理单元(CPU)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有系统300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口306也连接至总线304。
以下部件连接至I/O接口305:包括键盘、鼠标等的输入部分306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307;包括硬盘等的存储部分308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口306。可拆卸介质311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器310上,以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地,根据本公开的实施例,上文参考图1描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行上述多个航空器的停机位分配方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分309从网络上被下载和安装,和/或从可拆卸介质311被安装。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,前述程序被一个或者一个以上的处理器用来执行描述于本申请的多个航空器的停机位分配方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。