CN107316012B - 小型无人直升机的火灾检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种小型无人直升机的火灾检测与跟踪方法，包括以下步骤：系统初始化、开启地面站系统以及GIS平台，采集彩色图像和红外图像；根据颜色找出彩色图像中的可疑区域，根据灰度找出红外图像中的可疑区域；提取彩色图像中可疑区域的颜色，灰度共生矩阵特征；提取红外图像中可疑区域圆形度，面积变化率特征；经过离线训练后使用SVM的分类决策判定是否是火灾；机载处理器计算红外图像中火点坐标并发送给云台，云台实时跟踪火点；云台的惯性测量单元获取红外摄像头的姿态角；地面站结合小型无人直升机的经纬度、高度、偏航角信息和姿态角计算出火点的精确经纬度定位信息；最终GIS平台把火点的精确定位在地图上标出。

Description

小型无人直升机的火灾检测与跟踪方法

技术领域

本发明涉及无人机火灾检测预警技术领域，具体涉及一种小型无人直升机的火灾检测与跟踪方法。

背景技术

我国是世界上自然灾害最为严重的国家之一。灾害种类多、分布地域广、发生频率高、造成损失重。对于突发性灾害，特别是火灾和山洪等有限范围、突发性强、危害大且难以快速大面积地面搜寻和探测的灾害，进行早期探测预警是十分关键的减灾手段。目前国内预警系统基本上是采取定点观测的手段和方法，如常规的森林防火瞭望哨等，但由于地形和成本的因素，观测预警网络难以覆盖所有的区域而造成预警延误。卫星遥感灾害监测是近年发展起来的一种新方法，但由于卫星高度高(数百公里)且轨道固定，运行周期长(以天、星期来计算)，卫星遥感缺乏全天候观测能力，尤其缺乏全天时全天候高分辨率观测能力；空间覆盖能力不能满足灾害区域性监测需求，数据获取实效性亟待提高；监测周期(时间分辨率)尚不能满足灾害应急阶段的监测需求，在目前综合应用多星资源情况下也不能满足这一指标。

我国2007年发布的《国家综合防灾减灾规划(2011-2015年)》明确指出，“加强自然灾害监测预警预报能力建设”，“逐步完善各类自然灾害的监测预警预报网络系统”，提出了对“自然灾害立体监测体系”的迫切需求。然而，由于经济和技术等条件的制约，目前立体监测仍难以实时大范围精确实现，低成本的小型无人直升机超低空移动观测平台是解决这一关键问题的可行途径。

国内目前已开始利用高空的气象卫星等遥感技术应用于灾害的预警和监测，但由于缺少相关的小型飞行平台，还没有开展基于低空自主移动网络平台的精确实时的立体预警体系构建。而国外，特别是欧洲发达国家正进行大量投入，实施该方向的研究与应用。例如欧盟就曾组织在多个国家和组织间联合进行COMET的研究计划，先后作出大量的投入，其成果已接近实用。之后欧盟又新近推出了更为实用的AWARE计划，由德国、西班牙、比利时和挪威等国的大学和研究机构联合研究开发火警自动识别技术。在加拿大和奥地利也已开始利用小型无人机进行森林火灾等灾难的预警。

灾害预警目前正朝着网络化和空、天、地一体化的方向发展。基于小型无人机的森林火灾预警系统已在加拿大、匈牙利等国运行，其与现有观测预警网络的相互有效补充，为自主移动网络式灾害预警系统构建取得了理论与实际应用经验。空、天、地三维立体多信源多分尺度信息互动协调、网络化、智能化、无人值守已成为未来灾难监测预警技术的发展趋势。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种小型无人直升机的火灾检测与跟踪方法，该方法通过小型无人直升机的机载彩色摄像头采集的图像和红外摄像头采集的图像进行特征融合、SVM判定火灾，使用云台对火点进行实时跟踪，同时地面站结合云台惯性测量单元(Inertial Measurement Unit，IMU)获取的红外摄像头姿态角度(俯仰角和滚转角)和小型无人直升机的经纬度、高度、偏航角信息计算火点精确经纬度定位信息，并在GIS平台把火点的精确定位在地图上标出。

本发明的目的可以通过采取如下技术方案达到：

一种小型无人直升机的火灾检测与跟踪方法，所述方法包括下列步骤：

S1、小型无人直升机的火灾检测与跟踪系统初始化以及开启地面站系统以及GIS平台；

S2、通过机载彩色摄像头采集彩色图像，通过机载红外摄像头采集红外图像，并建立流媒体服务器实时传输彩色图像到地面站系统；

S3、根据火灾的RGB值找出彩色图像的可疑区域，并提取可疑区域的RGB值、灰度共生矩阵的对比度，能量，熵特征；

S4、根据灰度的阈值找出火灾在红外图像中的可疑区域，并提取可疑区域的圆形度和面积变化率特征；

S5、火灾的彩色图像的特征和红外图像的特征作为SVM训练的正样本，重复步骤S2、S3、S4，分别采集无火焰的图像，提取特征作为SVM训练的负样本，之后用SVM进行离线训练；

S6、重复步骤S2、S3、S4，提取彩色图像中可疑区域的RGB值，灰度共生矩阵的对比度、能量、熵特征以及红外图像中可疑区域的圆形度和面积变化率特征，代入到经过离线训练后SVM中进行决策分类；

S7、若SVM判定可疑区域是火灾，则利用机载处理器计算红外图像火点坐标并发送给云台，若判断可疑区域不是火灾，则回到步骤S2；

S8、云台接收到红外图像中的火点坐标并实时跟踪火点；

S9、云台的惯性测量单元获取红外摄像头姿态角；

S10、地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角，计算出火点的精确经纬度定位信息；

S11、将火灾点的精确定位发送到GIS平台，GIS平台把火点的精确定位在地图上标出。

进一步地，所述红外摄像头姿态角包括俯仰角和滚转角。

进一步地，所述地面站系统包括一个图像显示界面，用于实时显示接收的彩色图像；还包括一个手动控制云台的按键组合，包括“上”，“下”，“左”，“右”，可以控制云台上下左右移动来寻找火点位置；还包括8个显示框，分别用来显示红外摄像头的姿态角和小型无人直升机的经纬度、高度、偏航角的信息以及显示地面站系统最终计算的火点精确经纬度定位信息；

所述GIS平台包括一个osm-gps-map开源地图，在接收到地面站系统发送的火点精确经纬度定位信息后有一个火灾图标在定位处闪烁并显示出实时经纬度坐标。

进一步地，所述步骤S3中提取彩色图像可疑区域灰度共生矩阵的对比度、能量、熵特征的方法为：

设f(x,y)为一幅数字图像，其大小为M*N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：

P(x,y)＝#{(x₁,y₁),(x₂,y₂)∈M*N|f(x₁,y₁)＝i,f(x₂,y₂)＝j}

其中#(X)表示集合X中的元素个数，P为Ng*Ng的矩阵，若(x₁,y₁)与(x₂,y₂)间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距以及角度的灰度共生矩阵(i,j,d,θ)，其中元素(i,j)的值表示一个灰度为i，另一个灰度为j的两个相距为d的像素对在θ角的方向上出现的次数，P(i,j)则为在某个方向上，一个灰度为i，另一个灰度为j的像素对的个数，在得到灰度共生矩阵后计算纹理特征量，所述纹理特征量用对比度、能量、熵的特征量来表示，其中，

所述对比度反映图像的清晰度和纹理的沟纹深浅，计算公式如下：

Con＝∑_i∑_j(i-j)²P(i,j)；

所述能量是灰度共生矩阵各元素值的平方和，是对图像纹理的灰度变换稳定程度的度量，计算公式如下：Asm＝∑_i∑_jP(i,j)²；

所述熵是图像包含信息量的随机性度量，计算公式如下：

Ent＝-∑_i∑_jP(i,j)logP(i,j)。

进一步地，所述步骤S4中提取红外图像可疑区域的圆形度、面积变化率特征的方法为:

(1)圆形度e，用来度量与圆形的接近程度，其中A表示可疑区域面积，P表示可疑区域周长，e＝4πA/P²；

(2)面积变化率，用来度量火焰变动的特征，选相隔一帧的图像，假设第一帧的可疑区域面积为S₁,第三帧的可疑区域面积为S₂，则面积变化率ΔS为

进一步地，所述步骤S10过程如下：

已知小型无人直升机经纬度fly_lng、fly_lat，飞行高度H，飞行偏航角Ф，云台的惯性测量单元获取的红外摄像头姿态角分别为滚转角α和俯仰角θ，红外摄像头保持镜头和小型无人直升机前进方向一致时α＝0°，θ＝0°，则红外摄像头能拍摄到的距离映射到地面上则为L＝H*cotθ，飞机以正北方向为0°计算偏航角，γ为红外摄像头偏离正北方向的角度，则

γ＝Ф+α

△Lat＝L*cosγ

△Lng＝L*sinγ

其中，△Lat、△Lng分别为在经线上和纬线上相对于飞机的距离；

已知地球半径为6371千米，换算成经纬度则为：

△Lat_degree＝(180°*△Lat)/(6371*10³*π)；

△Lng_degree＝(180°*△Lng)/(6371*10³*cos(△Lat_degree+fly_lat)*π)；

得到火点坐标为：

Fire_lng＝fly_lng+△Lng_degree

Fire_lat＝fly_lat+△Lat_degree

其中fly_lng、fly_lat为飞机的经纬度，Fire_lng、Fire_lat为火点的经纬度。

本发明相对于现有技术具有如下的优点及效果：

1、本发明公开的小型无人直升机的火灾检测与跟踪方法实现了面向火灾应急监测的多源信息(彩色图像、红外图像)采集与融合，并采集了台灯，蜡烛和其余无火焰的图像作为负样本，采用SVM进行离线训练，再通过SVM调用训练数据分类决策判定火灾，结果证明多源信息(彩色图像、红外图像)采集与融合能更准确地进行火灾的判定。

2、本发明公开的小型无人直升机的火灾检测与跟踪方法通过地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台惯性测量单元获取的红外摄像头姿态角(俯仰角和滚转角)，计算出火点的精确经纬度定位信息，并在GIS平台把火点的精确定位在地图上标出。

附图说明

图1是小型无人直升机的火灾检测与跟踪方法的系统结构框图；

图2是小型无人直升机的火灾检测与跟踪方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

图1是本发明公开的小型无人直升机的火灾检测与跟踪方法的系统结构框图，机载处理器是用来处理彩色图像和红外图像并提取特征、火灾判定并完成与云台和地面站系统之间的通信；红外摄像头采集模块用来采集红外图像；彩色摄像头采集模块用来采集彩色图像；云台用来实时跟踪火点，同时云台的惯性测量单元获取红外摄像头姿态角(俯仰角和滚转角)并发送给地面站；地面站系统用来实时显示彩色图像并结合小型无人直升机的经纬度、高度、偏航角信息和云台的惯性测量单元获取红外摄像头的姿态角(俯仰角和滚转角)计算出火点的精确经纬度定位信息；GIS平台用来把火点的精确定位在地图上标出。

如图2所示，一种小型无人直升机的火灾检测与跟踪方法，包括下列步骤：

S1、小型无人直升机的火灾检测与跟踪系统初始化以及开启地面站系统以及GIS平台；

给小型无人直升机的火灾检测与跟踪系统和云台上电，开启地面站系统，所述地面站系统包括一个图像显示界面，用于实时显示接收的彩色图像；还包括一个手动控制云台的按键组合，包括“上”，“下”，“左”，“右”，在没有找到火点之前，可以控制云台上下左右移动来寻找火点位置；还包括8个显示框，分别用来显示红外摄像头的姿态角(俯仰角和滚转角)和小型无人直升机的经纬度、高度、偏航角的信息，最后两个用来显示地面站最终计算的火点精确经纬度定位信息；开启GIS平台，所述GIS平台包括一个osm-gps-map开源地图，在接收到地面站系统发送的火点精确经纬度定位信息后有一个火灾图标在定位处闪烁并显示出实时经纬度坐标。

S2、通过机载彩色摄像头采集彩色图像，通过机载红外摄像头采集红外图像，并建立流媒体服务器实时传输彩色图像到地面站系统；

红外摄像头的采集帧率为8.3HZ，虽然彩色摄像头的采集帧率能达到30HZ，但由于红外摄像头识别火灾更准确，采用红外图像火灾识别为主，彩色图像火灾识别为辅的方法，故小型无人直升机的火灾检测与跟踪方法的运行频率为8.3HZ。

为了提高彩色图像和红外图像的处理频率，使用机载处理器的DSP进行图像处理。使红外图像处理频率由2HZ提高到8.3HZ。

S3、根据火灾的RGB值找出彩色图像的可疑区域，并提取可疑区域的RGB值、灰度共生矩阵的对比度，能量，熵特征；

其中，上述提取彩色图像可疑区域灰度共生矩阵的对比度、能量、熵特征的方法为：

设f(x,y)为一幅数字图像，其大小为M*N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：

P(x,y)＝#{(x₁,y₁),(x₂,y₂)∈M*N|f(x₁,y₁)＝i,f(x₂,y₂)＝j}

其中#(X)表示集合X中的元素个数，P为Ng*Ng的矩阵，若(x₁,y₁)与(x₂,y₂)间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距以及角度的灰度共生矩阵(i,j,d,θ)，其中元素(i,j)的值表示一个灰度为i，另一个灰度为j的两个相距为d的像素对在θ角的方向上出现的次数，P(i,j)则为在某个方向上，一个灰度为i，另一个灰度为j的像素对的个数。在得到灰度共生矩阵后，往往不是直接应用计算的灰度共生矩阵，而是在此基础上计算纹理特征量，经常用对比度、能量、熵等特征量来表示纹理特征。

(1)对比度：反应了图像的清晰度和纹理的沟纹深浅。纹理的沟纹越深，反差越大，效果清晰；反之，对比度小，则沟纹浅，效果模糊。

(2)能量：是灰度共生矩阵各元素值的平方和，是对图像纹理的灰度变换稳定程度的度量，反应了图像灰度分布均匀程度，能量值大表明当前纹理是一种规则变化较为稳定的纹理。

(3)熵：是图像包含信息量的随机性度量。当共生矩阵中所有值均相等或者像素值表现出最大的随机性时，熵最大，因此熵值表明了图像灰度分布的复杂程度，熵值越大，图像越复杂。

S4、根据灰度的阈值找出火灾在红外图像中的可疑区域，并提取可疑区域的圆形度和面积变化率特征；

其中，所述提取红外图像可疑区域的圆形度、面积变化率特征的方法为:

(1)圆形度e：用来度量与圆形的接近程度。其中A表示可疑区域面积，P表示可疑区域周长

e＝4πA/P²

(2)面积变化率，用来度量火焰变动的特征，选相隔一帧的图像，例如第一帧的可疑区域面积为S₁,第三帧的可疑区域面积为S₂，则面积变化率ΔS为

S5、火灾的彩色图像的特征和红外图像的特征作为SVM训练的正样本，重复步骤S2、S3、S4，分别采集台灯、蜡烛、和其余无火焰的图像，提取特征作为SVM训练的负样本，之后用SVM进行离线训练；

S6、重复步骤S2、S3、S4，提取彩色图像中可疑区域的RGB值，灰度共生矩阵的对比度、能量、熵特征以及红外图像中可疑区域的圆形度和面积变化率特征，代入到SVM中进行决策分类；

S7、若SVM判定可疑区域是火灾，则利用机载处理器CPU/DSP计算红外图像火点坐标并发送给云台，若判断可疑区域不是火灾，则回到步骤S2；

S8、云台接收到红外图像中的火点坐标并实时跟踪火点；

S9、云台的惯性测量单元获取红外摄像头姿态角(俯仰角和滚转角)；

S10、地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角(俯仰角和滚转角)，计算出火点的精确经纬度定位信息；

所述地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角(俯仰角和滚转角)，计算出火点的精确经纬度定位信息的方法为：

已知小型无人直升机经纬度fly_lng、fly_lat，飞行高度H，飞行偏航角Ф，云台的惯性测量单元获取的红外摄像头姿态角分别为滚转角α和俯仰角θ，红外摄像头保持镜头和小型无人直升机前进方向一致时α＝0°，θ＝0°。则红外摄像头能拍摄到的距离映射到地面上则为L＝H*cotθ。飞机以正北方向为0°计算偏航角，γ为红外摄像头偏离正北方向的角度。则

γ＝Ф+α

△Lat＝L*cosγ

△Lng＝L*sinγ

其中，△Lat、△Lng分别为在经线上和纬线上相对于飞机的距离。已知地球半径为6371千米，换算成经纬度则为

△Lat_degree＝(180°*△Lat)/(6371*10³*π)；

△Lng_degree＝(180°*△Lng)/(6371*10³*cos(△Lat_degree+fly_lat)*π)；

所以得到火点坐标为

Fire_lng＝fly_lng+△Lng_degree

Fire_lat＝fly_lat+△Lat_degree

其中fly_lng、fly_lat为飞机的经纬度，Fire_lng、Fire_lat为火点的经纬度。

S11、将火灾点的精确定位发送到GIS平台，GIS平台把火点的精确定位在地图上标出。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种小型无人直升机的火灾检测与跟踪方法，其特征在于，所述方法包括下列步骤：

S1、小型无人直升机的火灾检测与跟踪系统初始化以及开启地面站系统以及GIS平台；

S2、通过机载彩色摄像头采集彩色图像，通过机载红外摄像头采集红外图像，并建立流媒体服务器实时传输彩色图像到地面站系统；

S3、根据火灾的RGB值找出彩色图像的可疑区域，并提取可疑区域的RGB值、灰度共生矩阵的对比度，能量，熵特征；

S4、根据灰度的阈值找出火灾在红外图像中的可疑区域，并提取可疑区域的圆形度和面积变化率特征；

S5、火灾的彩色图像的特征和红外图像的特征作为SVM训练的正样本，重复步骤S2、S3、S4，分别采集无火焰的图像，提取特征作为SVM训练的负样本，之后用SVM进行离线训练；

S6、重复步骤S2、S3、S4，提取彩色图像中可疑区域的RGB值，灰度共生矩阵的对比度、能量、熵特征以及红外图像中可疑区域的圆形度和面积变化率特征，代入到经过离线训练后SVM中进行决策分类；

S7、若SVM判定可疑区域是火灾，则利用机载处理器计算红外图像火点坐标并发送给云台，若判断可疑区域不是火灾，则回到步骤S2；

S8、云台接收到红外图像中的火点坐标并实时跟踪火点；

S9、云台的惯性测量单元获取红外摄像头姿态角；

S10、地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角，计算出火点的精确经纬度定位信息；所述步骤S10过程如下：

已知小型无人直升机经纬度fly_lng、fly_lat，飞行高度H，飞行偏航角Ф，云台的惯性测量单元获取的红外摄像头姿态角分别为滚转角α和俯仰角θ，红外摄像头保持镜头和小型无人直升机前进方向一致时α＝0°，θ＝0°，则红外摄像头能拍摄到的距离映射到地面上则为L＝H*cotθ，飞机以正北方向为0°计算偏航角，γ为红外摄像头偏离正北方向的角度，则

γ＝Ф+α

△Lat＝L*cosγ

△Lng＝L*sinγ

其中，△Lat、△Lng分别为在经线上和纬线上相对于飞机的距离；

已知地球半径为6371千米，换算成经纬度则为：

△Lat_degree＝(180°*△Lat)/(6371*10³*π)；

△Lng_degree＝(180°*△Lng)/(6371*10³*cos(△Lat_degree+fly_lat)*π)；

得到火点坐标为：

Fire_lng＝fly_lng+△Lng_degree

Fire_lat＝fly_lat+△Lat_degree

其中fly_lng、fly_lat为飞机的经纬度，Fire_lng、Fire_lat为火点的经纬度；

S11、将火灾点的精确定位发送到GIS平台，GIS平台把火点的精确定位在地图上标出。

2.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述红外摄像头姿态角包括俯仰角和滚转角。

3.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述地面站系统包括一个图像显示界面，用于实时显示接收的彩色图像；还包括一个手动控制云台的按键组合，包括“上”，“下”，“左”，“右”，可以控制云台上下左右移动来寻找火点位置；还包括8个显示框，分别用来显示红外摄像头的姿态角和小型无人直升机的经纬度、高度、偏航角的信息以及显示地面站系统最终计算的火点精确经纬度定位信息；

所述GIS平台包括一个osm-gps-map开源地图，在接收到地面站系统发送的火点精确经纬度定位信息后有一个火灾图标在定位处闪烁并显示出实时经纬度坐标。

4.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述步骤S3中提取彩色图像可疑区域灰度共生矩阵的对比度、能量、熵特征的方法为：

设f(x,y)为一幅数字图像，其大小为M*N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：

P(x,y)＝#{(x₁,y₁),(x₂,y₂)∈M*N|f(x₁,y₁)＝i,f(x₂,y₂)＝j}

其中#(X)表示集合X中的元素个数，P为Ng*Ng的矩阵，若(x₁,y₁)与(x₂,y₂)间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距以及角度的灰度共生矩阵(i,j,d,θ)，其中元素(i,j)的值表示一个灰度为i，另一个灰度为j的两个相距为d的像素对在θ角的方向上出现的次数，P(i,j)则为在某个方向上，一个灰度为i，另一个灰度为j的像素对的个数，在得到灰度共生矩阵后计算纹理特征量，所述纹理特征量用对比度、能量、熵的特征量来表示，其中，

所述对比度反映图像的清晰度和纹理的沟纹深浅，计算公式如下：

Con＝∑_i∑_j(i-j)²P(i,j)；

所述能量是灰度共生矩阵各元素值的平方和，是对图像纹理的灰度变换稳定程度的度量，计算公式如下：Asm＝∑_i∑_jP(i,j)²；

所述熵是图像包含信息量的随机性度量，计算公式如下：

Ent＝-∑_i∑_jP(i,j)log P(i,j)。

5.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述步骤S4中提取红外图像可疑区域的圆形度、面积变化率特征的方法为:

(1)圆形度e，用来度量与圆形的接近程度，其中A表示可疑区域面积，P表示可疑区域周长，e＝4πA/P²；

(2)面积变化率，用来度量火焰变动的特征，选相隔一帧的图像，假设第一帧的可疑区域面积为S₁,第三帧的可疑区域面积为S₂，则面积变化率ΔS为

Images