发明内容
为了解决上述问题,本发明提供了一种位于无人机上的沙漠区域道路检测方法,利用无人机灵活、全面的特点,提高本发明识别系统的识别高效性和实时性,同时,为了精确获取沙漠区域道路的相关信息,在识别机制上对各个图像处理设备的处理顺序和处理内容进行定制,以提高本发明的检测精度,更关键的是,根据大气衰减模型确定雾霾对图像的影响因素,并对多雾天气下采集的检测图像进行去雾霾化处理,提高了检测平台的可靠性。
根据本发明的一方面,提供了一种位于无人机上的沙漠区域道路检测方法,该方法包括下列步骤:1)提供一种位于无人机上的沙漠区域道路检测平台,所述检测平台包括GPS定位设备、气压高度传感设备、线阵数码航空摄影设备、图像检测设备和嵌入式处理设备,所述嵌入式处理设备与所述GPS定位设备、所述气压高度传感设备、所述线阵数码航空摄影设备和所述图像检测设备分别连接,基于所述GPS定位设备输出的实时定位数据和所述气压高度传感设备输出的实时高度确定是否启动所述线阵数码航空摄影设备和所述图像检测设备以实现对所述沙漠区域的道路检测;2)运行所示检测平台。
更具体地,在所述位于无人机上的沙漠区域道路检测平台中,还包括:供电电源,包括太阳能供电器件、蓄电池、切换开关和电压转换器,所述切换开关与所述太阳能供电器件和所述蓄电池分别连接,根据蓄电池剩余电量决定是否切换到所述太阳能供电器件以由所述太阳能供电器件供电,所述电压转换器与所述切换开关连接,以将通过切换开关输入的5V电压转换为3.3V电压;静态存储设备,用于预先存储沙漠区域道路R通道范围、沙漠区域道路G通道范围、沙漠区域道路B通道范围,所述沙漠区域道路R通道范围、所述沙漠区域道路G通道范围和所述沙漠区域道路B通道范围用于将RGB图像中的沙漠区域道路与RGB图像背景分离;无线通信接口,与远端的道路绘制服务平台建立双向的无线通信链路,用于接收所述道路绘制服务平台发送的飞行控制指令,所述飞行控制指令中包括所述沙漠区域正上方位置对应的目的GPS数据和目的拍摄高度;清晰化处理设备,位于所述线阵数码航空摄影设备和所述图像检测设备之间,接收所述线阵数码航空摄影设备对沙漠区域拍摄的沙漠区域图像,对所述沙漠区域图像进行去雾霾处理以获得去雾霾沙漠区域图像,替代所述沙漠区域图像,将所述去雾霾沙漠区域图像输入所述图像检测设备以实现对所述沙漠区域的道路检测;所述清晰化处理设备包括:雾霾浓度检测子设备,位于空气中,用于实时检测无人机所在位置的雾霾浓度,并根据雾霾浓度确定雾霾去除强度,所述雾霾去除强度取值在0到1之间;整体大气光值获取子设备,与所述线阵数码航空摄影设备连接以获得所述沙漠区域图像,计算所述沙漠区域图像中每一像素的灰度值,将灰度值最大的像素的灰度值作为整体大气光值;大气散射光值获取子设备,与所述线阵数码航空摄影设备和所述雾霾浓度检测子设备分别连接,对所述沙漠区域图像的每一个像素,提取其R,G,B三颜色通道像素值中最小值作为目标像素值,使用保持边缘的高斯平滑滤波器EPGF(edge-preservinggaussianfilter)对所述目标像素值进行滤波处理以获得滤波目标像素值,将目标像素值减去滤波目标像素值以获得目标像素差值,使用EPGF对目标像素差值进行滤波处理以获得滤波目标像素差值,将滤波目标像素值减去滤波目标像素差值以获得雾霾去除基准值,将雾霾去除强度乘以雾霾去除基准值以获得雾霾去除阈值,取雾霾去除阈值和目标像素值中的最小值作为比较参考值,取比较参考值和0中的最大值作为每一个像素的大气散射光值;介质传输率获取子设备,与所述整体大气光值获取子设备和所述大气散射光值获取子设备分别连接,将每一个像素的大气散射光值除以整体大气光值以获得除值,将1减去所述除值以获得每一个像素的介质传输率;清晰化图像获取子设备,与所述线阵数码航空摄影设备、所述整体大气光值获取子设备和所述介质传输率获取子设备分别连接,将1减去每一个像素的介质传输率以获得第一差值,将所述第一差值乘以整体大气光值以获得乘积值,将所述沙漠区域图像中每一个像素的像素值减去所述乘积值以获得第二差值,将所述第二差值除以每一个像素的介质传输率以获得每一个像素的清晰化像素值,所述沙漠区域图像中每一个像素的像素值包括所述沙漠区域图像中每一个像素的R,G,B三颜色通道像素值,相应地,获得的每一个像素的清晰化像素值包括每一个像素的R,G,B三颜色通道清晰化像素值,所有像素的清晰化像素值组成所述去雾霾沙漠区域图像;所述图像检测设备与所述静态存储设备和所述清晰化处理设备分别连接,所述图像检测设备包括:直方图均衡化子设备,与所述清晰化处理设备连接,对所述去雾霾沙漠区域图像执行基于直方图均衡化的图像增强处理,以获得道路与背景对比度增强的增强图像;图像分离子设备,与所述静态存储设备和所述直方图均衡化子设备分别连接,计算所述增强图像中每一个像素的R通道值、G通道值和B通道值,当某一像素的R通道值在所述沙漠区域道路R通道范围内、G通道值在所述沙漠区域道路G通道范围内且B通道值在所述沙漠区域道路B通道范围内时,将其确定为道路像素,将所述增强图像中所有道路像素组合以形成道路子图像;小波滤波子设备,与所述图像分离子设备连接,基于哈尔小波滤波器对所述道路子图像执行滤波处理,以获得滤除噪声像素的滤波道路子图像;最小二乘拟合子设备,与所述小波滤波子设备连接,基于最小二乘拟合算法对所述滤波道路子图像执行拟合处理以确定道路曲线,所述道路曲线为与所述滤波道路子图像中所有像素的距离平方和最小的一条曲线;所述嵌入式处理设备与所述无线通信接口、所述GPS定位设备、所述气压高度传感设备、所述线阵数码航空摄影设备、所述清晰化处理设备和所述图像检测设备分别连接,接收所述无线通信接口转发的飞行控制指令,对所述飞行控制指令解析以获得所述沙漠区域正上方位置对应的目的GPS数据和目的拍摄高度,在所述实时高度与所述目的拍摄高度匹配且所述实时定位数据与所述目的GPS数据匹配时,进入道路识别模式,在所述实时高度与所述目的拍摄高度不匹配或所述实时定位数据与所述目的GPS数据不匹配时,进入沙漠区域寻找模式;其中,所述嵌入式处理设备在所述道路识别模式中,启动所述线阵数码航空摄影设备、所述清晰化处理设备和所述图像检测设备,接收所述去雾霾沙漠区域图像和所述道路曲线,确定所述道路曲线在所述去雾霾沙漠区域图像中的相对位置,基于所述相对位置、所述实时定位数据和所述实时高度确定所述道路曲线的定位信息,所述道路曲线的定位信息包括所述道路曲线的起点的定位信息和所述道路曲线的终点的定位信息。
更具体地,在所述位于无人机上的沙漠区域道路检测平台中:所述无线通信接口接收所述道路曲线以及所述道路曲线的定位信息,并将所述道路曲线以及所述道路曲线的定位信息无线发送给所述道路绘制服务平台。
更具体地,在所述位于无人机上的沙漠区域道路检测平台中,还包括:无人机驱动设备,与所述嵌入式处理设备连接,用于在所述嵌入式处理设备的控制下驱动所述无人机飞往所述沙漠区域正上方位置。
更具体地,在所述位于无人机上的沙漠区域道路检测平台中:所述嵌入式处理设备在所述沙漠区域寻找模式中,关闭所述线阵数码航空摄影设备、所述清晰化处理设备和所述图像检测设备。
更具体地,在所述位于无人机上的沙漠区域道路检测平台中:所述直方图均衡化子设备、所述图像分离子设备、所述小波滤波子设备和所述最小二乘拟合子设备分别采用不同型号的FPGA芯片来实现。
具体实施方式
下面将参照附图对本发明的位于无人机上的沙漠区域道路检测平台的实施方案进行详细说明。
地球上各个区域的道路识别意义重大,不仅仅能够为来往车辆和人群提供导航信息,而且能够为自然灾难营救、紧急救援等提供有价值的参考信息,提高营救和救援的效率。然而,不同类型的区域,道路识别的难度不同。其中,较为困难的莫过于地貌复杂的沙漠区域。
沙漠区域一般处于偏远地带,较少出现路政部门所建造的标准道路,更多的是当地居民修葺的土路,甚至是过往车辆长期碾压而形成的不规则路线,由于地形复杂,道路与沙漠背景的边缘界限模糊,常规的卫星遥感方式无法准确识别道路,而人工现场勘测的手段又过于原始,同时,沙漠地区多雾霾天气也对沙漠区域的道路检测带来了不小的干扰,在雾霾严重的天气,甚至根本无法进行道路检测。
本发明搭建了一种位于无人机上的沙漠区域道路检测平台,以灵活的无人机为测量平台,基于沙漠特殊地貌定制一套由多种图像处理子设备组成的图像检测设备,实现对选定沙漠区域的有效、快速、准确的道路识别,同时,还引入了去雾霾处理设备以去除检测图像中的雾霾成分,从而为相关的道路绘制部门提供准确、可靠的道路数据。
图1为本发明的位于无人机上的沙漠区域道路检测平台的一实施方式的结构方框图,所述检测平台包括GPS定位设备1、气压高度传感设备2、线阵数码航空摄影设备4、图像检测设备5和嵌入式处理设备3,所述嵌入式处理设备3与所述GPS定位设备1、所述气压高度传感设备2、所述线阵数码航空摄影设备4和所述图像检测设备5分别连接,基于所述GPS定位设备1输出的实时定位数据和所述气压高度传感设备2输出的实时高度确定是否启动所述线阵数码航空摄影设备4和所述图像检测设备5以实现对所述沙漠区域的道路检测。
图2为本发明的位于无人机上的沙漠区域道路检测平台的又一实施方式的结构方框图,与图1相比,增加了清晰化处理设备6以去除检测图像中的雾霾成分,以保障检测平台在各种沙漠气候中也能够正常工作。
接着,继续对图2的位于无人机上的沙漠区域道路检测平台的具体结构进行进一步的说明。
所述检测平台还包括:供电电源,包括太阳能供电器件、蓄电池、切换开关和电压转换器,所述切换开关与所述太阳能供电器件和所述蓄电池分别连接,根据蓄电池剩余电量决定是否切换到所述太阳能供电器件以由所述太阳能供电器件供电,所述电压转换器与所述切换开关连接,以将通过切换开关输入的5V电压转换为3.3V电压。
所述检测平台还包括:静态存储设备,用于预先存储沙漠区域道路R通道范围、沙漠区域道路G通道范围、沙漠区域道路B通道范围,所述沙漠区域道路R通道范围、所述沙漠区域道路G通道范围和所述沙漠区域道路B通道范围用于将RGB图像中的沙漠区域道路与RGB图像背景分离。
所述检测平台还包括:无线通信接口,与远端的道路绘制服务平台建立双向的无线通信链路,用于接收所述道路绘制服务平台发送的飞行控制指令,所述飞行控制指令中包括所述沙漠区域正上方位置对应的目的GPS数据和目的拍摄高度。
清晰化处理设备6,位于所述线阵数码航空摄影设备4和所述图像检测设备5之间,接收所述线阵数码航空摄影设备4对沙漠区域拍摄的沙漠区域图像,对所述沙漠区域图像进行去雾霾处理以获得去雾霾沙漠区域图像,替代所述沙漠区域图像,将所述去雾霾沙漠区域图像输入所述图像检测设备5以实现对所述沙漠区域的道路检测。
所述清晰化处理设备6包括以下部件:
雾霾浓度检测子设备,位于空气中,用于实时检测无人机所在位置的雾霾浓度,并根据雾霾浓度确定雾霾去除强度,所述雾霾去除强度取值在0到1之间;
整体大气光值获取子设备,与所述线阵数码航空摄影设备4连接以获得所述沙漠区域图像,计算所述沙漠区域图像中每一像素的灰度值,将灰度值最大的像素的灰度值作为整体大气光值;
大气散射光值获取子设备,与所述线阵数码航空摄影设备4和所述雾霾浓度检测子设备分别连接,对所述沙漠区域图像的每一个像素,提取其R,G,B三颜色通道像素值中最小值作为目标像素值,使用保持边缘的高斯平滑滤波器EPGF(edge-preservinggaussianfilter)对所述目标像素值进行滤波处理以获得滤波目标像素值,将目标像素值减去滤波目标像素值以获得目标像素差值,使用EPGF对目标像素差值进行滤波处理以获得滤波目标像素差值,将滤波目标像素值减去滤波目标像素差值以获得雾霾去除基准值,将雾霾去除强度乘以雾霾去除基准值以获得雾霾去除阈值,取雾霾去除阈值和目标像素值中的最小值作为比较参考值,取比较参考值和0中的最大值作为每一个像素的大气散射光值;
介质传输率获取子设备,与所述整体大气光值获取子设备和所述大气散射光值获取子设备分别连接,将每一个像素的大气散射光值除以整体大气光值以获得除值,将1减去所述除值以获得每一个像素的介质传输率;
清晰化图像获取子设备,与所述线阵数码航空摄影设备4、所述整体大气光值获取子设备和所述介质传输率获取子设备分别连接,将1减去每一个像素的介质传输率以获得第一差值,将所述第一差值乘以整体大气光值以获得乘积值,将所述沙漠区域图像中每一个像素的像素值减去所述乘积值以获得第二差值,将所述第二差值除以每一个像素的介质传输率以获得每一个像素的清晰化像素值,所述沙漠区域图像中每一个像素的像素值包括所述沙漠区域图像中每一个像素的R,G,B三颜色通道像素值,相应地,获得的每一个像素的清晰化像素值包括每一个像素的R,G,B三颜色通道清晰化像素值,所有像素的清晰化像素值组成所述去雾霾沙漠区域图像。
所述图像检测设备5与所述静态存储设备和所述清晰化处理设备6分别连接,所述图像检测设备5包括以下部件:
直方图均衡化子设备,与所述清晰化处理设备6连接,对所述去雾霾沙漠区域图像执行基于直方图均衡化的图像增强处理,以获得道路与背景对比度增强的增强图像;
图像分离子设备,与所述静态存储设备和所述直方图均衡化子设备分别连接,计算所述增强图像中每一个像素的R通道值、G通道值和B通道值,当某一像素的R通道值在所述沙漠区域道路R通道范围内、G通道值在所述沙漠区域道路G通道范围内且B通道值在所述沙漠区域道路B通道范围内时,将其确定为道路像素,将所述增强图像中所有道路像素组合以形成道路子图像;
小波滤波子设备,与所述图像分离子设备连接,基于哈尔小波滤波器对所述道路子图像执行滤波处理,以获得滤除噪声像素的滤波道路子图像;
最小二乘拟合子设备,与所述小波滤波子设备连接,基于最小二乘拟合算法对所述滤波道路子图像执行拟合处理以确定道路曲线,所述道路曲线为与所述滤波道路子图像中所有像素的距离平方和最小的一条曲线。
所述嵌入式处理设备3与所述无线通信接口、所述GPS定位设备1、所述气压高度传感设备2、所述线阵数码航空摄影设备4、所述清晰化处理设备6和所述图像检测设备5分别连接,接收所述无线通信接口转发的飞行控制指令,对所述飞行控制指令解析以获得所述沙漠区域正上方位置对应的目的GPS数据和目的拍摄高度,在所述实时高度与所述目的拍摄高度匹配且所述实时定位数据与所述目的GPS数据匹配时,进入道路识别模式,在所述实时高度与所述目的拍摄高度不匹配或所述实时定位数据与所述目的GPS数据不匹配时,进入沙漠区域寻找模式。
其中,所述嵌入式处理设备3在所述道路识别模式中,启动所述线阵数码航空摄影设备4、所述清晰化处理设备6和所述图像检测设备5,接收所述去雾霾沙漠区域图像和所述道路曲线,确定所述道路曲线在所述去雾霾沙漠区域图像中的相对位置,基于所述相对位置、所述实时定位数据和所述实时高度确定所述道路曲线的定位信息,所述道路曲线的定位信息包括所述道路曲线的起点的定位信息和所述道路曲线的终点的定位信息。
可选地,在所述检测平台中:所述无线通信接口接收所述道路曲线以及所述道路曲线的定位信息,并将所述道路曲线以及所述道路曲线的定位信息无线发送给所述道路绘制服务平台;所述检测平台中还可以包括:无人机驱动设备,与所述嵌入式处理设备3连接,用于在所述嵌入式处理设备3的控制下驱动所述无人机飞往所述沙漠区域正上方位置;所述嵌入式处理设备3在所述沙漠区域寻找模式中,关闭所述线阵数码航空摄影设备4、所述清晰化处理设备6和所述图像检测设备5;以及所述直方图均衡化子设备、所述图像分离子设备、所述小波滤波子设备和所述最小二乘拟合子设备可以分别采用不同型号的FPGA芯片来实现。
另外,雾霾图像可以通过一系列图像处理设备实现图像的去雾霾化,以获得清晰化的图像,提高图像的能见度。这些图像处理设备分别执行不同的图像处理功能,基于雾霾形成的原理,达到去除雾霾的效果。雾霾图像的清晰化处理对于军用和民用领域都具有极大的应用价值,军用领域包括军事国防、遥感导航等,民用领域包括道路监测、目标跟踪和自动驾驶等。
雾霾图像形成的过程可以用大气衰减过程来描绘,在雾霾图像和实际图像即清晰化图像之间的关系可用整体大气光值和每一个像素的介质传输率来表述,即在已知雾霾图像的情况下,根据整体大气光值和每一个像素的介质传输率,可以求解出清晰化图像。
对于整体大气光值和每一个像素的介质传输率的求解都存在一些有效且经过验证的手段,例如,对于每一个像素的介质传输率,需要获得整体大气光值和每一个像素的大气散射光值,而每一个像素的大气散射光值可在对每一个像素在雾霾图像中的像素值进行两次保持边缘的高斯平滑滤波而获得,其间,雾霾去除的强度可调;而整体大气光值的获得方式有两种,一种方式是,可通过获取雾霾图像的黑色通道(即在雾霾图像中使得一些像素的黑色通道值非常低,黑色通道为R,G,B三颜色通道中的一种),在雾霾图像中,通过寻找黑色通道像素值偏大的多个像素中寻找灰度值最大的像素来获得,即将寻找到的、灰度值最大的像素的灰度值作为整体大气光值,参与雾霾图像中每一个像素的清晰化处理;另外,整体大气光值也可通过以下方式获得:计算雾霾图像中每一像素的灰度值,将灰度值最大的像素的灰度值作为整体大气光值。
具体的雾霾图像和实际图像即清晰化图像之间的关系,以及各个参数之间的关系可参见以上内容。
通过对雾霾图像形成原理的探讨,搭建了雾霾图像和清晰化图像之间的关系,用多个参数表示这种关系,随后通过获得的多个参数值和雾霾图像即可还原获得清晰度较高的图像,由于参数的获得借用了一些统计手段和经验手段,因此所述清晰度较高的图像不可能完全等同于实际图像,但已经具有相当程度的去雾霾效果,为雾霾天气下的各个领域作业提供有效保障。
采用本发明的位于无人机上的沙漠区域道路检测平台,针对现有卫星遥感识别方式测量误差较大、人工现场识别方式测量效率低且实时性差的技术问题,通过采用灵活的无人机平台、引入更多有针对性的图像处理设备、规划更有效率的图像处理顺序,引入高精度雾霾去除设备以消除检测图像中的雾霾成分,从而形成了一套能够同时满足高精度、高效率、高实时性和高可靠性的沙漠区域道路识别系统。
可以理解的是,虽然本发明已以较佳实施例披露如上,然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言,在不脱离本发明技术方案范围情况下,都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。