CN107563373A - 基于立体视觉的无人机降落区域主动安全检测方法及应用 - Google Patents

Abstract

本发明公开了一种基于立体视觉的无人机降落区域主动安全检测方法，包括以下步骤，1)获取深度图像；2)对深度图像内像素点按深度差进行初步聚类得到多个初级类别；3)筛选有效且与无人机降落区域相交的初级类别；4)对筛选出的初级类别进行比对并优化聚类得到优化类别；同时更新优化类别的类别信息；5)根据优化类别检测出地面并判断是否存在地面以外的障碍物。本发明先进行初级聚类判断该初级类别是否处于降落区域，有助于获得完整的地面信息，避免仅判断降落区域内物体可能造成的识别或聚类不全的情况发生。

Description

基于立体视觉的无人机降落区域主动安全检测方法及应用

技术领域

本发明涉及无人机控制技术领域，特别是涉及一种基于立体视觉的无人机降落区域主动安全检测方法及应用。

背景技术

无人机自主着陆是指无人机利用导航设备和飞行控制系统进行定位导航并最终控制无人机降落着陆的过程。自主着陆对导航与控制精度及可靠性均有较高的要求，是无人机实现自主飞行的重要基础和关键技术。传统的无人机自主着陆的导航技术包括：惯性导航系统(INS)、GPS导航系统和INS/GPS组合导航系统。惯性导航系统是利用陀螺、加速度计等惯性元件感受运载器在运动过程中的加速度，然后通过积分计算，得到载体的位置与速度等导航参数，其最大缺点是误差会随着时间的推移而发散，因此难以长时间独立工作，而需与其它导航方法组合使用；GPS导航系统利用导航卫星进行导航定位，但由于完全依靠导航卫星，存在信号易受干扰和技术垄断等问题。

传统导航方式在使用上受到很大限制，因而研究新型无人机自主着陆引导技术具有重要意义。现有的基于视觉的无人机导航系统主要包括：基于人工标志物的机载着陆导航系统、基于自然场景的机载着陆导航系统和基于地基信息的无人机着陆导航系统。

但是，在进行导航式或者完全自主式随机降落时，地面有时会存在影响降落安全的障碍物，如何提高其对障碍物的识别、规避成为急需解决的问题。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于立体视觉的无人机降落区域主动安全检测方法及应用。

为实现本发明的目的所采用的技术方案是：

一种基于立体视觉的无人机降落区域主动安全检测方法，包括以下步骤，

1)获取深度图像；

2)对深度图像内像素点按深度差进行初步聚类得到多个初级类别；

3)筛选有效且与无人机降落区域相交的初级类别；

4)对筛选出的初级类别进行比对并优化聚类得到优化类别；同时更新优化类别的类别信息；

5)根据优化类别检测出地面并判断是否存在地面以外的障碍物。

所述的步骤2)中初步聚类包括以下子步骤，

21)搜索深度图像中一个深度值非零的像素点，将该像素点设为初始点并建立一个新的初级类别；

22)以与初始点深度之差小于预设阈值t_z为条件开始对周围相邻像素点进行聚类，将聚入该初级类别的像素点置零，直至没有新的像素点聚入该初级类别为止；

23)重复步骤21)和22)直至深度图像中不再存在非零像素点。

3、如权利要求1所述的基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，所述的步骤3)中筛选包括初级聚类的像素数判断，所述的像素数判断为舍去像素数小于阈值t_s的初级类别。

所述的

其中，f为校正后左、右相机相同的焦距，z是无人机下降过程开始启用立体视觉安全检测功能的高度，S是双目相机在高度z时能够感知到的威胁无人机降落的最小障碍物面积。

所述的步骤3)中筛选包括空间位置判断，所述的空间位置判断方法包括以下步骤，

31)通过坐标转换得到深度图像中表示的降落区域；

32)为每个初级类别所代表的物体片段的建立左右上下边界构成的包围盒；

33)判断所述的包围盒与降落区域的左右上下边界所构成的包围盒是否相交，如果不相交，则舍弃该初级类别；如果相交则保留该初级类别。

所述的优化聚类的合并条件为同时满足以下条件，

a、深度区间约束，两初级类别的深度区间重叠或对应边界值差小于动态阈值；

b、边界包围盒约束，通过多个初级类别之间的包围盒交集来辅助进行近距离初级类别间的融合；

c、基于色彩图像的分类类别约束，其包括，

c1，基于色彩信息进行阈值分割，将深度图像的像素分为背景像素和前景像素；

c2，统计每个初级类别中前景像素和该类别总像素的比值，

c3，若两初级类别的所述的比值均大于比例阈值则满足该约束条件。

所述的步骤c1中所述的色彩信息为左目图像HSV色彩空间的V通道信息

所述的步骤5)中地面判断条件为：将优化类别按照平均深度由大到小的类别顺序，第一个满足像素数大于所有其他优化类别像素数总和一定比例的优化类别定位地面，该优化类别对应的平均深度定义为地面深度，平均深度大于地面深度的优化类别均归为地面，若存在平均深度比地面深度更小的优化类别，则该优化类别被判别为障碍物，所述的比例为0.1－0.2。

所述的优化聚类的合并规则为：

对初级聚类所得到的初级类别两两之间进行判断，若同时满足上述三个约束条件，则两类可以合并；

所有初级类别均判断完成后，若一个初级类别能与多个初级类别合并，则将其中两个初级类别合并后得到的新类别再与其余初级类别判断，若满足则再次合并。

该基于立体视觉的无人机降落区域主动安全检测方法在无人机上的应用。

与现有技术相比，本发明的有益效果是：

本发明先进行初级聚类判断该初级类别是否处于降落区域，有助于获得完整的地面信息，避免仅判断降落区域内物体可能造成的识别或聚类不全的情况发生。同时，单步分类的结果很难实现对降落区域实际情况的正确及完全的检测。同时由于光照或角度的问题，会引起地面类分散成多块，进而无法准确检测地面，进一步的无法正确确定障碍物的信息。而本发明采用两步聚类，通过设定初步聚类和优化聚类不同的聚类标准，解决了上述问题，提高了对降落区域障碍物的检测准确性，降落区域的安全判断的正确与否直接决定了是否给无人机发送降落的命令，而该命令的正确发送与否直接决定了降落区域人员及无人机的安全。

具体实施方式

以下结合具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明公开了一种基于立体视觉的无人机降落区域主动安全检测方法，包括以下步骤，

1)获取深度图像；即位于无人机下方双目摄像机整个视域的深度图像；

2)对深度图像内像素点按深度差进行初步聚类得到多个初级类别；

3)筛选有效且与无人机降落区域相交的初级类别；

4)对筛选出的初级类别进行比对并优化聚类得到优化类别；同时更新优化类别的类别信息；

5)根据优化类别检测出地面并判断是否存在地面以外的障碍物。

本发明先进行初级聚类判断该初级类别是否处于降落区域，有助于获得完整的地面信息，避免仅判断降落区域内物体可能造成的识别或聚类不全的情况发生。同时，单步分类的结果很难实现对降落区域实际情况的正确及完全的检测。同时由于光照或角度的问题，会引起地面类分散成多块，进而无法准确检测地面，进一步的无法正确确定障碍物的信息。而本发明采用两步聚类，通过设定初步聚类和优化聚类不同的聚类标准，解决了上述问题，提高了对降落区域障碍物的检测准确性，降落区域的安全判断的正确与否直接决定了是否给无人机发送降落的命令，而该命令的正确发送与否直接决定了降落区域人员及无人机的安全。

来说，初级聚类的聚类过程为：深度值为0的像素点默认不会处理，顺序搜索深度图像寻找一个像素值(深度值)非零的像素点，以该像素点作为初始点构建一个新的初级类别，构建新初级类别的方法为：从初始点开始沿八邻域对周围像素点进行初级聚类，初级聚类条件为邻域点与当前点的深度之差小于预设阈值t_z，并将聚入该初级类别的像素点的深度值赋值为零，即置零，直到没有新的像素点聚入该初级类别为止，则完成本初级类别聚类，即得到位于双目相机视场内的一个物体点云片段。

其中，t_z取值和当前类或初始点的深度值相关，无人机空间距地距离越近t_z的值越小。因初始聚类直接影响着聚类的效果，因此本发明中将该阈值选定为降落判断最小距离所对应的t_z值。一般来说t_z的取值和距离、分辨率，镜头焦距及双目摄像机基线等因素相关。比如分辨率为640＊480，基线15cm，无人机距地距离为3m时，t_z取值为60mm。

重复以上过程，直到深度图像中不再存在非零像素点时初步聚类过程结束，得到多个初级类别，代表位于双目相机视场内的多个物体点云片段将整个视场内的有效像素点均做处理，提高后续处理的整体性和准确性。

由于并非位于双目相机视场内的所有物体都对无人机降落造成威胁，还需要考虑物体大小、物体是否位于无人机正下方给定大小的降落区域内，因此对上述检测到的位于双目相机视场内的初级类别进行如下统计和判别。即需要筛选有效且与无人机降落区域相交的初级类别包括以下两步。

首先，统计各初级类别所代表的初级类别即物体片段的信息，包括：平均深度z_i，像素数s_i，水平中心u_i，垂直中心v_i，左边界u_L,i，右边界u_R,i，上边界v_T,i，下边界v_B,i，最小深度z_min,i，最大深度z_max,i。其中，水平和垂直中心以及左右上下边界均在深度图像空间并以像素为单位。

其次，判断每个初级类别所代表的物体片段的像素数，如果其像素数小于阈值t_s则舍去相应类别，t_s的值按下式估算得到。

式中，f为校正后左、右相机相同的焦距，z和S与实际应用有关，z是无人机下降过程开始启用立体视觉安全检测功能的高度，S是双目相机在高度z时能够感知到的威胁无人机降落的最小障碍物面积。

舍去的类别为与无人机距离很近的点，比如1m，该距离内的数据是没有必要进行进一步处理的，因为障碍物不会出现在距离无人机如此近距离的地方。只要障碍物的距离反馈小于1m，则该深度的物体均去除，因为这部分物体只能是无人机本体遮挡或噪声产生。

再次，判断每个初级类别所代表的物体片段是否位于无人机正下方限定的降落区域内，具体分为降落区域计算、物体片段区域判断两步。由于无人机姿态通常不为0，无人机正下方降落区域在深度图像中也有所偏移，故通过坐标转换得到深度图像中表示的降落区域，通过判断物体片段在深度图像中是否与降落区域相交确定该物体片段是否位于无人机正下方的降落区域内。

机体坐标系O_B－X_BY_BZ_B的原点O_B位于机体中心，X_B轴指向机头，Y_B轴指向机身右侧，Z_B轴指向机腹。双目相机安装于机体正下方中心，相机下视，相机的上方与机头方向一致，相机的右向与机体的右向一致，则左目相机坐标系O_C－X_CY_CZ_C的原点为左目相机中心O_C，X_C轴与Y_B方向一致，Y_C轴与X_B轴方向相反，Z_C轴与Z_B轴方向一致。左目图像像素坐标系O_I－U_IV_I的原点O_I为图像左上角，U_I轴与X_C轴方向一致，V_I轴与Y_C轴，Z1方向一致。深度图像像素坐标系O_Z－U_ZV_Z与左目图像像素坐标系O_I－U_IV_I完全一致，并且这两种图像在相同位置的像素点代表相同的场景点，区别仅在于左目图像的像素值代表强度，深度图像的像素值代表深度。

降落区域中心点在相机坐标系OC－XCYCZC中的坐标C_C:[C_Cx C_Cy C_Cz]为：

式中，b为双目相机的基线长度，h为无人机对地垂直高度，θ为机体俯仰角，为机体滚转角。

降落区域在深度图像像素坐标系中的左、右、上、下边界分别为：

式中，f为校正后左、右相机相同的焦距，h为无人机对地垂直高度，W为安全降落区域的宽度，H为安全降落区域的长度，(c_x,c_y)为校正后左目图像的中心点。

判断每个初级类别所代表的物体片段的左右上下边界构成的包围盒(u_L,i,u_R,i,v_T,i,v_B,i)与降落区域的左右上下边界所构成的包围盒(u_L,u_R,v_T,v_B)是否相交。如果不相交，则该物体片段位于降落区域之外，故舍弃该类别；如果相交，则该物体片段位于降落区域之内，故保留该类别。所有初级类别判断结束后保留下来的类别代表了位于无人机降落区域之内或者相交的所有物体片段。

在进行完初步聚类并筛选后需要进行优化聚类，优化聚类将无人机降落区域内的物体片段按一定条件合并为更加完整的物体，初级聚类所得初级类别中，任意两个初级类别可以合并的条件包括：1)深度区间约束；2)边界包围盒约束；3)基于色彩图像分类类别的约束。两个初级类别必须同时满足这三个条件才可以合并，具体如下。

1)深度区间约束

深度区间是指由物体片段最小深度和最大深度组成的区间，深度区间约束包括两种：(1)深度区间重叠；(2)深度区间不重叠但边界差值小于动态阈值。只要任一种深度区间约束成立，则满足深度区间约束。

对于第i类和第j类，深度区间分别为[z_min,i,z_max,i]和[z_min,j,z_max,j]。

则重叠约束即深度区间约束(1)为：

z_min,i＜z_max,j且z_min,j＜z_max,i

不重叠约束即深度区间约束(2)为：

或

上述不重叠约束条件中的阈值和是与深度大小有关的动态阈值，在给定双目相机参数f和b的情况下，深度越大则动态阈值越大，该动态阈值是指相邻深度的等级差。

根据深度z与视差d的关系式当已知相机参数f和b并给定最小视差d_min和最大视差d_max，可预知双目测距中所有的深度取值，并得到相邻深度等级之间的差值。

式中，d_i为介于最小视差与最大视差之间的第i个视差值，自然数，以1为步长取值；f为校正后左、右相机相同的焦距；b为双目相机的基线长度；Δz_i为第i－1个视差值与第i个视差值所对应的深度值之差。

视差越少，深度越大，相邻深度级差值越大。以各深度等级的(z_i,Δz_i)建立查找表，在进行上述深度区间约束(2)的判断时，通过查找表得到相应的动态阈值。

2)边界包围盒约束

边界包围盒是指由物体片段左、右、上、下边界构成的矩形，对于第i类和第j类，其包围盒分别为(u_L,i,u_R,i,v_T,i,v_B,i)和(u_L,j,u_R,j,v_T,j,v_B,j)，则边界包围盒约束为：

u_R,j＞u_L,i-t_LR且u_R,i＞u_L,j-t_LR且v_B,j＞v_T,i-t_TB且v_B,i＞v_T,j-t_TB

式中，t_LR为深度图像u轴上边界容差，t_TB为v轴上边界容差，可以取10－20，单位为像素。

通过多个初级类别之间的包围盒交集来辅助进行近距离初级类别间的融合；实现空间距离上的再一次优化聚类。

3)基于彩色图像分类类别的约束

基于左目图像HSV色彩空间的V通道信息进行阈值分割，将深度图像中的像素分为前景像素和背景像素两类。

阈值选择为

t_V,1＝μ_V-α·σ_V

t_V,2＝μ_V+α·σ_V

式中，t_V,1和t_V,2为分割阈值；μ_V和σ_V分别为左目图像HSV色彩空间V通道图像的均值和方差；α为系数，根据前景和背景差别对参数进行调整，取值范围为1－3。当前景和背景差别较大时取值接近3，反之取值接近1。一般取2。

阈值分类规则为

阈值划分主要为了区分地面和其上的障碍物，目前障碍物大多与地面的反光率区分较大，因此通过V通道分割效果最佳。

对于每个初级类别所代表的物体片段，统计该初级类别前景像素数与该类别像素总数的比值e_i。

式中，P_i为第i类的像素集合，s_i为第i类的像素总数。

对于第i类和第j类，前景比例分别为e_i和e_j，则基于彩色图像分类类别的约束条件为：

e_i＞t_e∧e_j＞t_e为0

式中，∧为异或运算符，t_e为前景像素比例阈值，深度图像和彩色空间的分割会出现一些偏差，根据实验得到偏差一般不超过30％，因此此处选择前景像素比例阈值参数为0.65－0.75，如0.7。

通过计算比值来判断所选区域是否为障碍物，及通过深度和彩色空间共同判断物体属于地面还是障碍物。这一个约束的作用是判断两个比较的类别所代表的物体是不是同一类型的类别，如是不是一个物体的两部分，或者均属于地面等，通过色彩与深度的配合优化，进一步提升检测的精准度。

具体来说，对于同时满足上述三个条件的初步类别的聚类合并规则为：对初级聚类所得到的初级类别两两之间进行判断，若同时满足上述三个约束条件，则两类可以合并。所有初级类别均判断完成后，一个初级类别可能与多个初级类别合并，而与该初级类别合并后的新的类别又能与其他初级类或者其他新的类别别(进行过一次或者多次初级类别合并后的类别)合并。在类别合并过程，同时更新类别信息，如前所述，包括：平均深度，像素数，水平方向像素中心，垂直方向像素中心，左边界，右边界，上边界，下边界，最小深度，最大深度。

最后，根据优化类别检测出地面并判断是否存在地面以外的障碍物，经过优化聚类合并，类别数减少了，而优化类别包含了更完整的物体信息。在这些优化类别中检测出地面，并判断是否存在除地面以外的地面障碍物，以确定无人机降落是否安全。

判别为地面的条件为：按照平均深度由大到小的类别顺序，第一个满足像素数大于所有类别像素数总和一定比例的优化类别，相应深度定义为地面深度。平均深度大于地面深度的类别均归为地面。若存在平均深度比地面深度更小的类别，则该类别被判别为地面物体，也即无人机降落过程中的障碍物，将给无人机降落造成威胁，否则降落安全。目前采用的比例为0.1－0.2，优选为0.1－0.15，如12.5％，判断基准为对降落区域的估计及大量实验经验获取。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，包括以下步骤，

1)获取深度图像；

2)对深度图像内像素点按深度差进行初步聚类得到多个初级类别；

3)筛选有效且与无人机降落区域相交的初级类别；

4)对筛选出的初级类别进行比对并优化聚类得到优化类别；同时更新优化类别的类别信息；

5)根据优化类别检测出地面并判断是否存在地面以外的障碍物。

2.如权利要求1所述的基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，所述的步骤2)中初步聚类包括以下子步骤，

21)搜索深度图像中一个深度值非零的像素点，将该像素点设为初始点并建立一个新的初级类别；

22)以与初始点深度之差小于预设阈值t_z为条件开始对周围相邻像素点进行聚类，将聚入该初级类别的像素点置零，直至没有新的像素点聚入该初级类别为止；

23)重复步骤21)和22)直至深度图像中不再存在非零像素点。

3.如权利要求1所述的基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，所述的步骤3)中筛选包括初级聚类的像素数判断，所述的像素数判断为舍去像素数小于阈值t_s的初级类别。

4.如权利要求3所述的基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，所述的

其中，f为校正后左、右相机相同的焦距，z是无人机下降过程开始启用立体视觉安全检测功能的高度，S是双目相机在高度z时能够感知到的威胁无人机降落的最小障碍物面积。

5.如权利要求1所述的基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，所述的步骤3)中筛选包括空间位置判断，所述的空间位置判断方法包括以下步骤，

31)通过坐标转换得到深度图像中表示的降落区域；

32)为每个初级类别所代表的物体片段的建立左右上下边界构成的包围盒；

33)判断所述的包围盒与降落区域的左右上下边界所构成的包围盒是否相交，如果不相交，则舍弃该初级类别；如果相交则保留该初级类别。

6.如权利要求1所述的基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，所述的优化聚类的合并条件为同时满足以下条件，

a、深度区间约束，两初级类别的深度区间重叠或对应边界值差小于动态阈值；

b、边界包围盒约束，通过多个初级类别之间的包围盒交集来辅助进行近距离初级类别间的融合；

c、基于色彩图像的分类类别约束，其包括，

c1，基于色彩信息进行阈值分割，将深度图像的像素分为背景像素和前景像素；

c2，统计每个初级类别中前景像素和该类别总像素的比值，

c3，若两初级类别的所述的比值均大于比例阈值则满足该约束条件。

7.如权利要求6所述的基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，所述的步骤c1中所述的色彩信息为左目图像HSV色彩空间的V通道信息。

8.如权利要求1所述的基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，所述的步骤5)中地面判断条件为：将优化类别按照平均深度由大到小的类别顺序，第一个满足像素数大于所有其他优化类别像素数总和一定比例的优化类别定位地面，该优化类别对应的平均深度定义为地面深度，平均深度大于地面深度的优化类别均归为地面，若存在平均深度比地面深度更小的优化类别，则该优化类别被判别为障碍物，所述的比例为0.1－0.2。

9.如权利要求1所述的基于立体视觉的无人机降落区域主动安全检测方法，其特征在于，所述的优化聚类的合并规则为：

对初级聚类所得到的初级类别两两之间进行判断，若同时满足上述三个约束条件，则两类可以合并；

所有初级类别均判断完成后，若一个初级类别能与多个初级类别合并，则将其中两个初级类别合并后得到的新类别再与其余初级类别判断，若满足则再次合并。

10.该基于立体视觉的无人机降落区域主动安全检测方法在无人机上的应用。