发明内容
为了解决上述传统现场侦查手段带来的问题,本发明提供了一种基于空中航拍的火情报警系统,借用无人机平台进行预定区域的图像数据采集,对采集到的图像进行分析,以确定当地是否发生火情以及火情的具体状况,同时,根据大气衰减模型确定雾霾对图像的影响因素,并对多雾天气下采集的图像进行去雾霾化处理,从而在保障本系统监控面宽广、监控及时的同时,提高了系统的可靠性。
根据本发明的一方面,提供了一种基于空中航拍的火情报警系统,所述报警系统设置在无人机上,包括数字相片拍摄设备、雾霾消除设备、火情检测设备和ARM11处理器,所述数字相片拍摄设备用于拍摄巡逻区域图像,所述雾霾消除设备与所述数字相片拍摄设备连接,用于对所述巡逻区域图像执行清晰化处理,获得清晰化图像,所述火情检测设备与所述雾霾消除设备连接,用于对所述清晰化图像执行火情分析,所述ARM11处理器与所述火情检测设备连接,用于基于所述火情分析结果确定是否发出火情报警信号。
更具体地,所述基于空中航拍的火情报警系统还包括:供电电源,包括太阳能供电器件、蓄电池、切换开关和电压转换器,所述切换开关与所述太阳能供电器件和所述蓄电池分别连接,根据蓄电池剩余电量决定是否切换到所述太阳能供电器件以由所述太阳能供电器件供电,所述电压转换器与所述切换开关连接,以将通过切换开关输入的5V电压转换为3.3V电压;伽利略定位设备,连接伽利略卫星,用于接收无人机的实时伽利略位置,在接收到所述ARM11处理器发送的火情报警信号时,实时伽利略位置即火情发生位置;静态存储设备,用于预存拍摄高度、火焰上限灰度阈值、火焰下限灰度阈值、烟雾上限灰度阈值、烟雾下限灰度阈值和预设火情比例阈值;无线收发设备,连接当地消防监控平台,用于接收所述当地消防监控平台发送的巡逻区域;无人机驱动设备,用于在所述ARM11处理器的控制下,驱动无人机飞行到所述巡逻区域的上方,飞行高度为所述拍摄高度;所述雾霾消除设备位于所述数字相片拍摄设备和所述火情检测设备之间,用于接收所述巡逻区域图像,对所述巡逻区域图像执行清晰化处理,获得清晰化图像,并将所述清晰化图像输入所述火情检测设备;所述雾霾消除设备还包括:存储子设备,用于预先存储天空上限灰度阈值和天空下限灰度阈值,所述天空上限灰度阈值和所述天空下限灰度阈值用于分离出图像中的天空区域,还用于预先存储预设像素值阈值,所述预设像素值阈值取值在0到255之间;雾霾浓度检测子设备,位于空气中,用于实时检测无人机所在位置的雾霾浓度,并根据雾霾浓度确定雾霾去除强度,所述雾霾去除强度取值在0到1之间;区域划分子设备,连接所述数字相片拍摄设备以接收所述巡逻区域图像,对所述巡逻区域图像进行灰度化处理以获得灰度化区域图像,还与存储子设备连接,将所述灰度化区域图像中灰度值在所述天空上限灰度阈值和所述天空下限灰度阈值之间的像素识别并组成灰度化天空子图案,从所述灰度化区域图像分割出所述灰度化天空子图案以获得灰度化非天空子图像,基于所述灰度化非天空子图像在所述巡逻区域图像中的对应位置获得与所述灰度化非天空子图像对应的彩色非天空子图像;黑色通道获取子设备,与所述区域划分子设备连接以获得所述彩色非天空子图像,针对所述彩色非天空子图像中每一个像素,计算其R,G,B三颜色通道像素值,在所述彩色非天空子图像中所有像素的R,G,B三颜色通道像素值中提取一个数值最小的颜色通道像素值所在的颜色通道作为黑色通道;整体大气光值获取子设备,与所述存储子设备连接以获得预设像素值阈值,与所述区域划分子设备和所述黑色通道获取子设备分别连接以获得所述巡逻区域图像和所述黑色通道,将所述巡逻区域图像中黑色通道像素值大于等于预设像素值阈值的多个像素组成待检验像素集,将所述待检验像素集中具有最大灰度值的像素的灰度值作为整体大气光值;大气散射光值获取子设备,与所述区域划分子设备和所述雾霾浓度检测子设备分别连接,对所述巡逻区域图像的每一个像素,提取其R,G,B三颜色通道像素值中最小值作为目标像素值,使用保持边缘的高斯平滑滤波器EPGF(edge-preserving gaussian filter)对所述目标像素值进行滤波处理以获得滤波目标像素值,将目标像素值减去滤波目标像素值以获得目标像素差值,使用EPGF对目标像素差值进行滤波处理以获得滤波目标像素差值,将滤波目标像素值减去滤波目标像素差值以获得雾霾去除基准值,将雾霾去除强度乘以雾霾去除基准值以获得雾霾去除阈值,取雾霾去除阈值和目标像素值中的最小值作为比较参考值,取比较参考值和0中的最大值作为每一个像素的大气散射光值;介质传输率获取子设备,与所述整体大气光值获取子设备和所述大气散射光值获取子设备分别连接,将每一个像素的大气散射光值除以整体大气光值以获得除值,将1减去所述除值以获得每一个像素的介质传输率;清晰化图像获取子设备,与所述区域划分子设备、所述整体大气光值获取子设备和所述介质传输率获取子设备分别连接,将1减去每一个像素的介质传输率以获得第一差值,将所述第一差值乘以整体大气光值以获得乘积值,将所述巡逻区域图像中每一个像素的像素值减去所述乘积值以获得第二差值,将所述第二差值除以每一个像素的介质传输率以获得每一个像素的清晰化像素值,所述巡逻区域图像中每一个像素的像素值包括所述巡逻区域图像中每一个像素的R,G,B三颜色通道像素值,相应地,获得的每一个像素的清晰化像素值包括每一个像素的R,G,B三颜色通道清晰化像素值,所有像素的清晰化像素值组成清晰化图像;所述火情检测设备将所述清晰化图像中灰度值在所述火焰上限灰度阈值和所述火焰下限灰度阈值之间的像素识别并组成火焰目标子图像,将所述清晰化图像中灰度值在所述烟雾上限灰度阈值和所述烟雾下限灰度阈值之间的像素识别并组成烟雾目标子图像,计算所述火焰目标子图像的总像素数和所述烟雾目标子图像的总像素之和占据所述清晰化图像总像素的火情像素比例数值;所述ARM11处理器与所述数字相片拍摄设备、所述雾霾消除设备、所述火情检测设备、所述伽利略定位设备、所述静态存储设备、所述无线收发设备和所述无人机驱动设备分别连接,当所述火情像素比例数值大于等于所述预设火情比例阈值时,发出火情报警信号;其中,所述ARM11处理器在发出火情报警信号后,还将所述火情报警信号和所述火情发生位置通过所述无线收发设备发送到所述当地消防监控平台。
更具体地,所述基于空中航拍的火情报警系统中,所述数字相片拍摄设备包括35毫米定焦镜头和三轴稳定平台。
更具体地,所述基于空中航拍的火情报警系统中,所述ARM11处理器将所述火情报警信号和所述火情发生位置都叠加到所述清晰化图像上以形成复合图像,并将所述复合图像通过所述无线收发设备发送到所述当地消防监控平台。
更具体地,所述基于空中航拍的火情报警系统中,还包括:红外温度传感器,用于基于所述火情发生位置处辐射的红外线,检测所述火情发生位置处的气温。
更具体地,所述基于空中航拍的火情报警系统中,所述ARM11处理器与所述红外温度传感器连接,用于将所述火情发生位置处的气温通过所述无线收发设备发送到所述当地消防监控平台。
具体实施方式
下面将参照附图对本发明的基于空中航拍的火情报警系统的实施方案进行详细说明。
随着无人机技术的日趋成熟和航空摄影技术的进一步拓展,民用无人机应用领域日益广泛,包括:摄影测量、应急救灾、公共安全、资源勘探、环境监测、自然灾害监测与评估、城市规划与市政管理、林火病虫害防护与监测等。
当前,消防部门对火情监控的手段主要采用传统现场侦查模式,这种模式无法实时提供火情报警信息,会延误火情报警时间,影响救灾效果,同时无法满足复杂地形的火情监控需求以及无法克服各种雾霾天气的干扰,而以无人机为设备载体的火情监控模式,利用无人机空中侦察的灵活性和快捷性,实现传统现场侦查模式无法实现的救灾效果。
本发明的基于空中航拍的火情报警系统,能够飞赴重点区域进行火情监控,对重点区域拍摄图像数据,以在发现火情时进行报警,本发明的火情报警系统能够适应各种雾霾天气,其为消防部门提供的报警信息高效、实时、可靠。
图1为根据本发明实施方案示出的基于空中航拍的火情报警系统的结构方框图,如图1所示,所述报警系统被安装在无人机上,包括数字相片拍摄设备1、雾霾消除设备2、火情检测设备3和ARM11处理器4,所述ARM11处理器4与所述数字相片拍摄设备1、所述雾霾消除设备2和所述火情检测设备3分别连接,所述雾霾消除设备2与所述数字相片拍摄设备1和所述火情检测设备3分别连接。
其中,所述数字相片拍摄设备1用于拍摄巡逻区域图像,所述雾霾消除设备2用于对所述巡逻区域图像执行清晰化处理,获得清晰化图像,所述火情检测设备3用于对所述清晰化图像执行火情分析,所述ARM11处理器4用于基于所述火情分析结果确定是否发出火情报警信号。
接着,对本发明的基于空中航拍的火情报警系统的具体结构进行进一步的说明。
如图2所示,所述消防监控系统还包括:供电电源5,包括太阳能供电器件51、蓄电池52、切换开关53和电压转换器54,所述切换开关53与所述太阳能供电器件51和所述蓄电池52分别连接,根据蓄电池52剩余电量决定是否切换到所述太阳能供电器件51以由所述太阳能供电器件51供电,所述电压转换器54与所述切换开关53连接,以将通过切换开关53输入的5V电压转换为3.3V电压。
所述消防监控系统还包括:伽利略定位设备,连接伽利略卫星,用于接收无人机的实时伽利略位置,在接收到所述ARM11处理器4发送的火情报警信号时,实时伽利略位置即火情发生位置。
所述消防监控系统还包括:静态存储设备,用于预存拍摄高度、火焰上限灰度阈值、火焰下限灰度阈值、烟雾上限灰度阈值、烟雾下限灰度阈值和预设火情比例阈值。
所述消防监控系统还包括:无线收发设备,连接当地消防监控平台,用于接收所述当地消防监控平台发送的巡逻区域。
所述消防监控系统还包括:无人机驱动设备,用于在所述ARM11处理器4的控制下,驱动无人机飞行到所述巡逻区域的上方,飞行高度为所述拍摄高度。
所述雾霾消除设备2位于所述数字相片拍摄设备1和所述火情检测设备3之间,用于接收所述巡逻区域图像,对所述巡逻区域图像执行清晰化处理,获得清晰化图像,并将所述清晰化图像输入所述火情检测设备3。
所述雾霾消除设备2还包括以下组成部件:
存储子设备,用于预先存储天空上限灰度阈值和天空下限灰度阈值,所述天空上限灰度阈值和所述天空下限灰度阈值用于分离出图像中的天空区域,还用于预先存储预设像素值阈值,所述预设像素值阈值取值在0到255之间;
雾霾浓度检测子设备,位于空气中,用于实时检测无人机所在位置的雾霾浓度,并根据雾霾浓度确定雾霾去除强度,所述雾霾去除强度取值在0到1之间;
区域划分子设备,连接所述数字相片拍摄设备1以接收所述巡逻区域图像,对所述巡逻区域图像进行灰度化处理以获得灰度化区域图像,还与存储子设备连接,将所述灰度化区域图像中灰度值在所述天空上限灰度阈值和所述天空下限灰度阈值之间的像素识别并组成灰度化天空子图案,从所述灰度化区域图像分割出所述灰度化天空子图案以获得灰度化非天空子图像,基于所述灰度化非天空子图像在所述巡逻区域图像中的对应位置获得与所述灰度化非天空子图像对应的彩色非天空子图像;
黑色通道获取子设备,与所述区域划分子设备连接以获得所述彩色非天空子图像,针对所述彩色非天空子图像中每一个像素,计算其R,G,B三颜色通道像素值,在所述彩色非天空子图像中所有像素的R,G,B三颜色通道像素值中提取一个数值最小的颜色通道像素值所在的颜色通道作为黑色通道;
整体大气光值获取子设备,与所述存储子设备连接以获得预设像素值阈值,与所述区域划分子设备和所述黑色通道获取子设备分别连接以获得所述巡逻区域图像和所述黑色通道,将所述巡逻区域图像中黑色通道像素值大于等于预设像素值阈值的多个像素组成待检验像素集,将所述待检验像素集中具有最大灰度值的像素的灰度值作为整体大气光值;
大气散射光值获取子设备,与所述区域划分子设备和所述雾霾浓度检测子设备分别连接,对所述巡逻区域图像的每一个像素,提取其R,G,B三颜色通道像素值中最小值作为目标像素值,使用保持边缘的高斯平滑滤波器EPGF(edge-preserving gaussian filter)对所述目标像素值进行滤波处理以获得滤波目标像素值,将目标像素值减去滤波目标像素值以获得目标像素差值,使用EPGF对目标像素差值进行滤波处理以获得滤波目标像素差值,将滤波目标像素值减去滤波目标像素差值以获得雾霾去除基准值,将雾霾去除强度乘以雾霾去除基准值以获得雾霾去除阈值,取雾霾去除阈值和目标像素值中的最小值作为比较参考值,取比较参考值和0中的最大值作为每一个像素的大气散射光值;
介质传输率获取子设备,与所述整体大气光值获取子设备和所述大气散射光值获取子设备分别连接,将每一个像素的大气散射光值除以整体大气光值以获得除值,将1减去所述除值以获得每一个像素的介质传输率;
清晰化图像获取子设备,与所述区域划分子设备、所述整体大气光值获取子设备和所述介质传输率获取子设备分别连接,将1减去每一个像素的介质传输率以获得第一差值,将所述第一差值乘以整体大气光值以获得乘积值,将所述巡逻区域图像中每一个像素的像素值减去所述乘积值以获得第二差值,将所述第二差值除以每一个像素的介质传输率以获得每一个像素的清晰化像素值,所述巡逻区域图像中每一个像素的像素值包括所述巡逻区域图像中每一个像素的R,G,B三颜色通道像素值,相应地,获得的每一个像素的清晰化像素值包括每一个像素的R,G,B三颜色通道清晰化像素值,所有像素的清晰化像素值组成清晰化图像。
所述火情检测设备3将所述清晰化图像中灰度值在所述火焰上限灰度阈值和所述火焰下限灰度阈值之间的像素识别并组成火焰目标子图像,将所述清晰化图像中灰度值在所述烟雾上限灰度阈值和所述烟雾下限灰度阈值之间的像素识别并组成烟雾目标子图像,计算所述火焰目标子图像的总像素数和所述烟雾目标子图像的总像素之和占据所述清晰化图像总像素的火情像素比例数值。
所述ARM11处理器4与所述数字相片拍摄设备1、所述雾霾消除设备2、所述火情检测设备3、所述伽利略定位设备、所述静态存储设备、所述无线收发设备和所述无人机驱动设备分别连接,当所述火情像素比例数值大于等于所述预设火情比例阈值时,发出火情报警信号。
其中,所述ARM11处理器4在发出火情报警信号后,还将所述火情报警信号和所述火情发生位置通过所述无线收发设备发送到所述当地消防监控平台。
其中,可选地,所述数字相片拍摄设备1包括35毫米定焦镜头和三轴稳定平台;所述ARM11处理器4将所述火情报警信号和所述火情发生位置都叠加到所述清晰化图像上以形成复合图像,并将所述复合图像通过所述无线收发设备发送到所述当地消防监控平台;所述系统还可以包括红外温度传感器,用于基于所述火情发生位置处辐射的红外线,检测所述火情发生位置处的气温,以及所述ARM11处理器4与所述红外温度传感器连接,用于将所述火情发生位置处的气温通过所述无线收发设备发送到所述当地消防监控平台。
另外,雾霾图像可以通过一系列图像处理设备实现图像的去雾霾化,以获得清晰化的图像,提高图像的能见度。这些图像处理设备分别执行不同的图像处理功能,基于雾霾形成的原理,达到去除雾霾的效果。雾霾图像的清晰化处理对于军用和民用领域都具有极大的应用价值,军用领域包括军事国防、遥感导航等,民用领域包括道路监测、目标跟踪和自动驾驶等。
雾霾图像形成的过程可以用大气衰减过程来描绘,在雾霾图像和实际图像即清晰化图像之间的关系可用整体大气光值和每一个像素的介质传输率来表述,即在已知雾霾图像的情况下,根据整体大气光值和每一个像素的介质传输率,可以求解出清晰化图像。
对于整体大气光值和每一个像素的介质传输率的求解都存在一些有效且经过验证的手段,例如,对于每一个像素的介质传输率,需要获得整体大气光值和每一个像素的大气散射光值,而每一个像素的大气散射光值可在对每一个像素在雾霾图像中的像素值进行两次保持边缘的高斯平滑滤波而获得,其间,雾霾去除的强度可调;而整体大气光值的获得方式有两种,一种方式是,可通过获取雾霾图像的黑色通道(即在雾霾图像中使得一些像素的黑色通道值非常低,黑色通道为R,G,B三颜色通道中的一种),在雾霾图像中,通过寻找黑色通道像素值偏大的多个像素中寻找灰度值最大的像素来获得,即将寻找到的、灰度值最大的像素的灰度值作为整体大气光值,参与雾霾图像中每一个像素的清晰化处理;另外,整体大气光值也可通过以下方式获得:计算雾霾图像中每一像素的灰度值,将灰度值最大的像素的灰度值作为整体大气光值。
具体的雾霾图像和实际图像即清晰化图像之间的关系,以及各个参数之间的关系可参见以上内容。
通过对雾霾图像形成原理的探讨,搭建了雾霾图像和清晰化图像之间的关系,用多个参数表示这种关系,随后通过获得的多个参数值和雾霾图像即可还原获得清晰度较高的图像,由于参数的获得借用了一些统计手段和经验手段,因此所述清晰度较高的图像不可能完全等同于实际图像,但已经具有相当程度的去雾霾效果,为雾霾天气下的各个领域作业提供有效保障。
采用本发明的基于空中航拍的火情报警系统,针对现有消防监控系统反应速度慢、提供数据不全面、无法适应复杂地形和复杂天气的技术问题,使用灵活快捷的无人机搭载平台,引入图像采集处理设备进行火情分析,引入去雾霾设备去除雾霾对图像的影响,从而能够为消防部门提供精确的即时数据,保证了消防部门的救灾效果,避免火情的进一步扩大。
可以理解的是,虽然本发明已以较佳实施例披露如上,然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言,在不脱离本发明技术方案范围情况下,都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。