无预设靶标的复杂场景无人机自主降落候选区筛选方法
技术领域
本发明属于图像处理无人机应用领域。涉及在无预设靶标情况下,基于图像处理的高效可靠无人机自主降落候选区筛选方法。
背景技术
当前,无人机在军用及民用各领域中都发挥着非常重要的作用,在民用领域的主要应用有:环境监测、快递运送、影视拍摄、灾后救援、遥感测绘、农用植保等。在军事领域的主要应用有:战斗物资运送、战场搜救、侦察预警、跟踪定位等。在无人机自主飞行任务中,自主降落已经成为其研究热点之一。自主降落是实现以上应用完全自主飞行、提高工作效率的关键技术之一。
然而,目前无人机自主降落技术仍然存在许多问题。其中,降落候选区的自动筛选是其中的关键。对于降落候选区的选取通常需要实时、自动、精准。然而,由于待降落地区场景中地物复杂,房屋、树木、较大器械、大型石块、土丘等都会对候选区的自动筛选造成干扰及影响。
现有的无人机降落候选区筛选技术主要有两种:一种是GPS系统定位导航,该方法利用GPS系统进行定位导航确定候选区进行降落,其优点在于技术上较为成熟、模块化容易实现和便于普及。但由于GPS定位精度和实时性依赖于地理位置及周围环境影响,在偏远地区、山区等GPS信号弱的地区,定位精度及实时性差,容易导致降落候选区筛选错误。另一种方法是利用预先铺设着陆靶标,基于图像处理技术进行自主着陆。该方法在无人机所要降落的区域预先铺设指定形状和颜色的靶标,当无人机大致位于降落区域上方时,利用无人机载图像视频传感器拍摄连续帧图像,再利用图像处理的方法检测识别预设靶标来筛选降落候选区。该方法能精准、可靠的地检测到合适降落候选区。但该方法需要预先铺设靶标,在实际应用中存在较大的局限性。例如,许多应用场景并不具备铺设靶标的条件,或者所要降落的地点没有预先铺设靶标。因此,该方法不能大范围普及;且由于其仅对靶标进行识别,降落地点仅限于预先铺设靶标的区域,在一定程度上降低了无人机自主降落的灵活性。因此,急需发明一种无预设靶标的复杂场景无人机自主降落候选区筛选方法。
发明内容
本发明针对已有方法的局限性,提出了一种无预设靶标的复杂场景无人机自主降落候选区筛选方法。
该方法对降落区域实时采集的图像进行处理。首先对采集到的图像进行基于梯度模值的降落视场平整性计算,之后以平整区为基础进行处理实现可降落候选区初步生成。接着,综合利用候选区色调及高度置信度,对初步候选区进行综合判定获取降落候选区。该方法具有对复杂场景区域良好的适应性,且不依赖于预先的靶标铺设,对于降落环境依赖弱,具有较好的普适性。
为实现上述目的,本发明的技术方案如下:
1.基于梯度模值的降落视场平整性计算
1)图像采集。无人机在降落区域上方时利用机载像机或者视频设备采集连续帧图像。
2)降落视场平整性计算。读入采集的彩色图像;逐像素求RGB三通道数据的梯度模值,并取每个像素位置对应三通道的最大梯度模值,逐像素位置遍历后生成最大梯度图,作为输出的最大梯度图初始候选区。
2.可降落候选区初步生成
1)最大梯度图初始候选区预处理。主要操作包括以下串行步骤:对最大梯度图进行弱梯度区置零、细碎区粘连、闭合障碍区灰度孔洞填充。
2)初始候选区生成标记。主要操作包括以下串行步骤:对上一步预处理后的图像进行二值化、连通域标记、连通域HSV空间H面置零、非障碍区的分格判定。
3.初步候选区置信度计算
1)色调置信度计算。计算每个初始候选区格的色调均值,作为色调的置信度。
2)相对高度置信度计算。利用机载激光测距系统,计算每个初始候选区格与无人机的相对高度。
4.综合置信度判定获取降落候选区
根据步骤3计算得到的初步候选区域的色调及高度置信度,进行先色调后高度的串行置信度综合判定,筛选最终的降落候选区。
根据本发明的一个方面,提供了一种无预设靶标的复杂场景无人机自主降落候选区筛选方法,用于实时地对无人机降落候选区进行筛选,包括:
A)基于梯度模值的降落视场平整性计算,包括:
A1)当无人机在降落区域上方时利用机载像机或者视频设备采集连续帧图像;
A2)读入采集的彩色图像,逐像素计算img图像RGB三通道数据的梯度模值,并取img每个像素位置对应三通道的最大梯度模值mod_max,生成最大梯度图,以此筛选出梯度差异大的障碍物轮廓区域;
B)可降落候选区初步生成,包括:
B1)最大梯度图初始候选区预处理:将梯度图mod_max中模值小于Tr(根据经验选取,通常选10左右)的弱梯度点对应值置0,得到图像mod1;对mod1以square结构元素进行先膨胀后腐蚀的闭运算,实现对图像中候选区内细小空洞进行填充,得到图像modclose;通过灰度膨胀操作对图modclose中更大的孔洞进行填充得到图modopen;
B2)初始候选区生成标记:采用OTSU自适应阈值分割方法计算阈值Tb,对图modopen中灰度值大于Tb的部分置为255,小于Tb的部分置零,二值化后得到modopen1;对二值图modopen1进行8连通域标记,得到图L;将彩色图像img进行RGB到HSV转换,保存HSV空间H面的色调信息,并将图L中标记出的连通域位置,在H面中对应位置将值置0,得到非障碍区图imgout;将图imgout分成若干n*n的小区域供目标降落,若n*n区域内非0像素个数超过95%,则认定为可降落区格;
C)初步候选区置信度计算,包括:
C1)色调置信度计算:对权利要求B)中得到的每个初始候选区格,通过HSV空间中的H面,计算该块的色调均值;
C2)相对高度置信度计算:利用机载激光测距系统,计算每个初始候选区格中心与无人机的相对高度;
综合置信度判定筛选降落候选区,根据以上计算得到的初步候选区域的色调及高度置信度,提出双维度的初步候选区置信度计算方法,采用先色调后高度的串行策略进行两个维度信息的综合决策。该方法首先通过色调信息对每个初始候选区格进行筛选,再通过高度信息筛选出无人机降落候选区。
附图说明
图1是根据本发明的一个实施例的无预设靶标的复杂场景无人机自主降落候选区筛选方法的流程图。
图2是图1的实施例中的最大梯度模值图。
图3是在图2基础上采用图1的方法闭运算之后得到的图片。
图4是在图3基础上采用图1的方法二值化之后得到的图片。
图5是在图4基础上采用图1的方法连通域HSV空间H面置零后的图片。
图6是采用图1的方法最终选取候选区结果图。
具体实施方式
图1是根据本发明的一个实施例的无预设靶标的复杂场景无人机自主降落候选区筛选方法的流程图。根据本发明的一个实施例的无预设靶标的复杂场景无人机自主降落候选区筛选方法包括:
A)基于梯度模值的降落视场平整性计算,包括:
A1)图像采集,包括当无人机在降落区域上方时用机载像机采集图像或者视频设备采集连续帧图像;
A2)降落视场平整性计算,读入彩色图像数据img,并分别读取RGB三通道数据img_1,img_2,img_3,逐像素计算RGB三通道数据的梯度模值mod_1、mod_2、mod_3,并取img每个像素位置对应三通道的最大梯度模值mod_max,生成最大梯度图,作为输出的最大梯度图初始候选区;这里选择三通道中最大梯度模值作为图像梯度模值输出,能确保RGB三通道数据中信息最可能产生障碍区的分量得到体现;按照此方法对原图像进行处理,得到图2即图1的实施例中的最大梯度模值图;
B)可降落候选区初步生成,包括:
B1)最大梯度图初始候选区预处理,包括以下串行步骤:对最大梯度图进行弱梯度区置零、细碎区粘连、闭合障碍区灰度孔洞填充,具体为:
最大梯度图进行弱梯度区置零,包括将梯度图mod_max中模值小于Tr(根据经验选取,通常选10左右)的弱梯度点对应值置0,去除梯度图中细小的纹理,由于小纹理区大都是地表本质纹理或者噪声造成的,对无人机降落影响较小,可作为候选区;此外,去除后可以减小后续步骤的计算量,去除处理后的得到图像mod1;
细碎区粘连,包括对mod1以方形(square)结构元素进行同等粒度先膨胀后腐蚀的闭运算,实现对图像中候选区内细小空洞进行填充,连接细小缝隙间隔和平滑边界的效果,处理后得到图modclose;即在图2基础上采用图1的方法闭运算之后得到的图片,如图3所示;
闭合障碍区灰度孔洞填充,包括一些邻接的大块平坦区(梯度较小区域)之间也不宜作为机降的候选区,因此对图modclose采用灰度膨胀操作进行孔洞填充,确保处理后这些区域可以被归入到不宜降落的候选区中,处理得到图modopen;
B2)初始候选区生成标记,包括以下串行步骤:对上一步预处理后的图像进行二值化、连通域标记、连通域HSV空间H面置零、非障碍区的分格判定,具体包括:
对预处理后的图像二值化:采用OTSU自适应阈值分割方法计算阈值Tb,对图modopen中灰度值大于Tb的部分置为255,小于Tb的部分置零,二值化后得到modopen1;即在图3基础上采用图1的方法二值化之后得到的图片,如图4所示;
连通域标记:对二值图modopen1进行8连通域标记,把属于同一区域的二值区域标记在一起,得到图L;
连通域HSV空间H面置零:将彩色图像img进行RGB到HSV转换,保存HSV空间H面的色调信息;将图L中标记出的连通域位置,在H面中对应位置将值置0,得到非障碍区图imgout(仅保留平坦区的图像H面信息);即在图4基础上采用图1的方法二值化之后得到的图片,如图5所示;
非障碍区的分格判定:从第一行第一列开始,将图imgout分成若干n*n的小区域供目标降落,若n*n区域内非0像素个数超过95%(平坦区足够多),认定为可降落区格。n可以根据无人机大小进行调节,之后计算区格中心位置供后续步骤使用;
C)初步候选区置信度计算,包括:
C1)色调置信度计算。对步骤2得到的每个初始候选区格,通过HSV空间中的H面,计算该块的色调均值;
C2)相对高度置信度计算。利用机载激光测距系统,计算每个初始候选区格中心与无人机的相对高度;
D)综合置信度判定筛选降落候选区,包括:
根据步骤3计算得到的初步候选区域的色调及高度置信度,进行先色调后高度的串行置信度综合判定,筛选最终的降落候选区,具体包括:
D1)色调信息判定:一些典型色调的地物通常为不可停靠区,可通过色调判定被去除,如房顶通常覆盖物的色调、水域池塘通常的色调等;如果不可停靠色调在区格内占比达5%以上,则该区格判定为不可停靠区,否则继续后面高度信息判定的流程;
D2)高度信息判定:对色调判定后保留下来的候选区格做处理,首先去除所有区格中,区格中心点与无人机相对高度最大20%的区格和最小20%的区格,仅保留中间60%的区格;该操作可以去掉一些非地面的异常高、异常低的区域。经过以上色调及高度置信度判定后,最后保留下来的区格就是筛选出的无人机降落候选区;得到图6,即采用图1的方法最终选取候选区结果图。
本发明与现有方法相比的优点包括:
发明了一种无预设靶标的复杂场景无人机自主降落候选区筛选方法。该方法对降落区域实时采集图像具有对复杂场景区域良好的适应性,不易受地理环境和周围的位置影响。且不依赖于预先的靶标铺设,对于降落环境依赖弱,具有较好的普适性。
提出基于最大梯度图的降落候选区的初步筛选方法。包含基于梯度模值的降落视场平整性计算,及可降落候选区初步生成两个主要模块。障碍物特征及外形丰富多样,难以统一建模描述,本发明基于障碍物在降落区场景中表现出的不平整性特点,设计基于梯度模值的降落视场平整性计算步骤,筛选出梯度差异大的障碍物轮廓区域,并设计最大梯度图初始候选区预处理步骤,获取连续成片的初始降落候选区备选。该方法能适应大部分复杂场景中障碍物特征的多样性,最大范围的筛选出备降候选区域。
提出双维度的初步候选区置信度计算方法。该方法通过计算每个初始候选区格的色调均值获取其色调信息,通过计算候选区格中心点与无人机的相对距离获取初始候选区分格的高度信息;最后采用进行先色调判别,后高度判别的策略,进行两个维度信息的综合决策。该方法对可剔除如屋顶、车顶、小水洼等具有一定尺寸的平整典型非适降落区的干扰,提高了本发明方法的可靠性。
本发明中对于候选区的选择上用到的区格大小可调,可以根据无人机的大小进行相应的调节,以达到合理优选的目的。克服了传统预设靶标方法靶标尺寸与无人机尺寸无法自适应匹配的缺点。其次,本方法自动筛选的候选区通常将包括若干可降落区格,可实现无人机集群条件下最大限度的多目标同时自主降落,并且具有区域的自适应性,极大提升了无人机自主降落的适用范围及自动化程度。