CN107843939B

CN107843939B - 基于无人机热红外影像的煤火识别方法

Info

Publication number: CN107843939B
Application number: CN201711001457.4A
Authority: CN
Inventors: 李峰; 卫爱霞
Original assignee: Institute of Disaster Prevention
Current assignee: Institute of Disaster Prevention
Priority date: 2017-10-24
Filing date: 2017-10-24
Publication date: 2020-03-10
Anticipated expiration: 2037-10-24
Also published as: CN107843939A

Abstract

本发明公开一种基于无人机热红外影像的煤火识别方法，主要步骤包括：首先将热红外相机装载到旋翼无人机云台上，无人机按照设计的飞行航线完成矿区热红外影像的采集工作；其次，预处理后所采集的热红外影像；再次，经过实验室标准黑体标定热红外相机后将影像DN值转换为表观辐射亮度值；然后，将全部热红外影像进行空三平差定向并镶嵌为热红外正射影像，基于大气传输方程和普朗克函数反演出矿区地表温度；最后，根据Sobel边缘算子生成高梯度图并细化为骨架线，叠加高温区与高梯度线，将二者重合处的温度均值作为矿区火区分割阈值，以此阈值识别出矿区煤火区，煤火的识别精度高达96.7％。本发明以较低的费用实现了复杂矿区条件下的煤火快速、精确的识别与绘图。

Description

基于无人机热红外影像的煤火识别方法

技术领域

本发明涉及无人机机载热红外成像探测领域，特别是涉及一种基于无人机热红外影像的煤火识别方法。

背景技术

煤火是由长期氧化作用引起的自燃现象，经常发生在地下煤层、露天煤矿、煤堆等。煤火自燃严重影响了自然资源、生态环境、居民健康等。煤炭的开采成本低、易于保存与运输，作为主要的能源原材料约占总能源消费量的30％左右^[1]。中国作为煤炭开采和使用的大国，煤炭消费约占全国能源的70％，据统计，中国北方煤田火区有56个，煤田火区面积达720km²，每年煤炭燃烧损失量达2000万吨，由煤火破坏的煤炭资源达2亿吨^[2]，因此煤火的识别与防治意义重大。煤火的识别方法很多，有地球化学的方法、电场方法、地磁场的方法，这些方法的探测精度虽高，但是需要深入现场，危险性大，煤火识别效率低。目前使用遥感手段建立地表热场来识别煤火的方法较为普遍，但是卫星热红外遥感识别方法的精度较低^[3]，机载热红外探测煤火的成本又过高，这些原因极大限制了煤火热红外遥感煤火探测技术的发展^[4]，现在急需要一种成本低、探测精度高的煤火快速识别方法。

发明内容

本发明的目的在于克服上述背景技术存在的缺陷，提供一种无人机热红外影像的煤火识别方法，从而提高矿区煤火识别的精度和效率，为煤火防治提供精确的煤火位置信息。

本发明的技术方案:基于无人机热红外影像的煤火识别方法，该方法包括如下步骤：

(1)、无人机热红外影像采集；

(2)、热红外影像的预处理；

(3)、热红外相机的辐射定标；

(4)、热红外影像的镶嵌；

(5)、矿区地表温度反演；

(6)、矿区煤火识别。

所述步骤(1)中具体是：

(a)、依照矿区地形情况，选定80％的航向重叠度和70％的旁向重叠度，根据无人机的飞行高度、热红外相机的焦距、单个像元大小、相幅尺寸、设计飞行航线，在地面测试无人机和相机完好后，打开相机拍摄电源，操作无人机沿规划航线飞行并采集热红外影像；

(b)、在飞行区域四角分别安放4个铝制矩形板，并使用GPS RTK技术测量4个铝板中心的x(北坐标)、y(东坐标)、h(高程)值以作为后期处理的地面控制点；

(c)、利用便携式气象站采集飞行期间矿区的气温、大气压、湿度数值。

所述无人机由热红外相机、电路板、无人机专用电池、GPS天线组装成一体，安装到无人机云台上。

所述无人机热红外影像采集过程始终保持热红外相机镜头垂直朝向地面方向，同时保证热红外相机较长的幅面垂直于无人机的飞行方向。

所述步骤(2)具体是：

(a)、剔除进入飞行航线前、飞行航线转弯处、离开飞行航线后的影像，去除模糊影像，保留有效影像，挑选出满足航线80％重叠要求的热红外影像；

(b)、将原始*.raw格式热红外影像转换为通用格式*.tif，并对影像进行热红外线性拉伸操作。

所述步骤(3)具体是：使用标准黑体来标定热红外相机，通过线性回归模型将热红外影像的DN值转换为表观辐射亮度值。

所述步骤(4)具体是：

(a)、将辐射定标的热红外影像、影像的GPS定位数据、测量的地面控制点导入处理软件photoscan中，基于多视立体密集匹配算法和运动恢复结构算法为立体像对搜索同名像点；(b)、使用自动空三和区域网平差算法平差出影像精确的x(北坐标)、y(东坐标)、h(高程)、

(航向倾角)、ω(旁向倾角)、κ(像片旋角)；

(c)、使用影像互相关方法为全部影像的所有像元生成三维点云，通过不规则三角网法生成数字地表模型DSM，DSM与全部已定向的影像一起使用数字正射纠正技术和逆向纹理映射的方式生成矿区热红外正射影像图DOM。

所述步骤(5)具体是：选择大气辐射传输方程和普朗克反函数共同反演地表温度。

所述步骤(6)是基于反演的矿区地表温度图，使用温度阈值的方式来分割煤火区，自动提取煤火温度阈值，具体如下:

(a)、采用Sobel算子计算矿区地表温度图像的梯度；

(b)、根据高梯度经验阈值生成温度梯度图，使用地表温度均值加其标准偏差生成高温区的方法排除低温区，生成高梯度区；

(c)、利用并行细化算法骨架化温度梯度图成温度梯度线；

(d)、取温度梯度线与高温区重合的温度，求其平均值，将这个温度均值作为分割煤火区的温度阈值，根据此温度阈值继续识别出最终的煤火区。

与现有技术相比，本发明具有的优点是：利用无人机热红外成像系统，根据设计航线自主快速采集煤矿区热红外影像，通过标准黑体的热辐射定标和正射镶嵌处理，基于大气辐射传输方程和普朗克函数公式反演矿区地表温度，将高梯度温度均值作为温度阈值提取矿区煤火。具体优势如下：

1.本发明利用旋翼式无人机作为热红外成像平台，可以灵活、低成本地采集矿区高分辨率的热红外影像。

2.本发明剔除了大量具有多余重叠度的、转弯处的、进入航线前和离开航线后的热红外影像，将热红外影像的数据处理量大致缩减到了原来的1/100，极大提高了后期数据处理的效率。

3.本发明在实验室条件下使用标准黑体来标定热红外相机，通过线性回归模型将热红外影像的DN值转换为表观辐射亮度，避免了直接利用热红外影像DN值求取辐射亮温导致求取矿区地表温度不准的缺点。

4.本发明采用成熟的无人机数据处理软件完成热红外影像的正射镶嵌工作，为实现大面积矿区地表温度反演奠定了基础。

5.本发明利用Mortran软件计算相关的大气参数，基于大气辐射传输方程和普朗克函数反演地表真实温度，反演的温度与参考温度拟合的相关系数高达0.8149，这说明本发明方法反演的矿区地表温度能够满足煤火热异常识别的需求。

6.本发明采用了sobel边缘检测算子生成矿区地表温度的梯度图，按照经验阈值设定温度高梯度的范围并生成11幅高梯度图像，利用Zhang并行细化算法得到了11幅高梯度骨架线，通过矿区平均温度加1倍温度标准差的方式作为高温阈值剔除低温区生成的梯度线，使用剩余的高梯度线与高温区重合部分的温度平均值作为煤火热异常识别的分割阈值，可以快速、准确地识别矿山煤火区。通过实测矿区的明显火点，发现反演的煤火区与实测火点的重叠度高达96.7％，在夜晚排除太阳热辐射的前提下通过热红外仪验证了其余隐含在地下的煤层火区的存在，这些证据表明本发明所提的煤火识别方法精度很高，可以满足矿区煤火的精确识别工作。

附图说明

图1镶嵌数据处理流程图。

图2反演的某矿区地表温度图。

图3识别的煤火区(亮白色区)。

图4反演温度与参考温度的拟合关系。

图5验证的区1中的煤火区。

图6验证的区2中的煤火区。

图7验证的区3中的煤火区。

图8验证的区4中的煤火区。

图9验证的区5中的煤火区。

具体实施方式

下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明，并不对本发明作任何的限制。

基于无人机热红外影像的煤火识别方法，具体步骤如下：

1)无人机热红外影像采集：

组装热红外相机(FLIR TAU 324)、电路板、无人机专用电池、GPS天线成一体，将它们安装到无人机云台中，无人机优选旋翼式无人机，热红外影像采集过程始终保持热红外相机的镜头垂直朝向地面方向，同时保证热红外相机较长的幅面垂直于无人机的飞行方向。

依照矿区地形情况，选定80％的航向重叠度和70％的旁向重叠度，根据无人机的飞行高度、热红外相机的焦距、单个像元大小、相幅尺寸、设计飞行航线，在地面测试无人机和相机完好后，打开相机拍摄电源，操作无人机沿规划航线飞行并采集热红外影像。

在无人机采集热红外影像的同时，需要在飞行区域四角分别安放4个铝制矩形板，并使用GPS RTK技术测量4个铝板中心的x(北坐标)、y(东坐标)、h(高程)值以作为后期处理的地面控制点(GCP)。

利用便携式气象站(Model Kestrel 4500)采集飞行期间矿区的气温、大气压、湿度数值。

2)热红外影像的预处理：

目前热红外相机不同于普通的数码相机，其采集影像的帧率为9 Hz，即每秒可拍摄9张热红外影像，按照无人机有效滞空时间15 min计算，可拍摄8100张热红外影像，每张*.raw格式的影像大小为126K，总数据量约为1G左右，因此，要剔除那些进入飞行航线前、离开飞行航线后、飞机航线转弯中拍摄的影像，去除模糊影像，最终保留的有效影像为采集影像的1/100上下。

此外，热红外相机在航向上有着较大的重叠度，通过等间隔即每隔2张删除1张热红外影像的方式挑选出满足航线80％重叠要求的热红外影像，如此处理方法极大地减少了数据处理量。

使用MaxIm DL 5软件将*.raw格式的热红外影像转换为*.tiff格式，同时基于线性拉伸原理调整每幅热红外影像的亮度值,以增加其对比度。

3)热红外相机的辐射定标：

在实验室中，基于标准黑体(LTP-06-IR-AU,Electro Optical Industries,CA,USA)在0～100℃区间内分别采集12份黑体温度，同时对应每份黑体温度在30秒时间内取热红外影像DN值的均值，然后将黑体的温度根据普朗克公式(1)计算黑体的表观热辐射亮度值B_λ(T_s)：

式中：T表示黑体的温度；λ表示热红外相机在7.5～13.5μm之间的中心波长值；单位是m；常数c₁和c₂分别为1.19104×10⁸ Wμm⁴ m^-2 sr^-1和1.43877×10⁴μm K。

通过热红外影像上的每个像素构建热红外影像平均DN值与黑体的表观热辐射亮度值B_λ(T_s)之间的数学关系(2)：

B_λ(T_s)＝mDN+n (2)

式中：DN表示热红外影像像素的DN值；m和n分别表示模型的拟合系数。

联合式(1)和式(2)所构建的像素与黑体表观辐射亮度之间的数学模型的相关系数均值为0.9906，标准偏差为0.0002，这充分说明线性模型的拟合精度很高，比较适合标定该型号热红外相机。利用式(1)和式(2)将全部热红外影像的DN值转换为矿区地表面的表观热辐射亮度值。

4)热红外影像的镶嵌

将辐射定标的无人机热红外影像、影像的GPS定位数据、测量的地面控制点GCP导入到无人机处理软件photoscan中，基于多视立体(MVS)密集匹配算法和运动恢复结构(SFM)算法为立体像对搜索同名像点；使用自动空中三角测量(Automatic AerialTriangulation,AAT)和区域网平差算法平差出所有影像的精确的x(北坐标)、y(东坐标)、h(高程)、

(航向倾角)、ω(旁向倾角)、κ(像片旋角)，该过程能同时完成检校相机的畸变参数的工作；然后使用影像互相关方法为全部影像的所有像元生成三维点云，通过不规则三角网法生成数字地表模型(DSM)，DSM与全部已定向的影像一起使用数字正射纠正技术和逆向纹理映射的方式生成矿区热红外正射影像图(DOM)，镶嵌数据处理流程图如图1所示。

5)热红外影像的地表温度反演

因为该型号热红外相机属于单波段热红外相机，所以可以选择大气辐射传输方程法和普朗克反函数来共同反演出矿区地表的温度值，大气辐射传输方程(3)表示的矿区地表地物的辐射亮度B_λ(T)为：

B_λ(T)＝[B_λ(T_s)-L^↑-τ(1-ε)L^↓]/τ/ε (3)

式中，L^↑和L^↓分别表示大气的上行辐射和下行辐射；τ表示在大气窗口7.5～13.5μm光谱范围内大气的透射率；ε表示在大气窗口7.5～13.5μm光谱范围内地物的发射率。

根据便携式气象站测定的大气压强、大气温度、大气湿度和无人机的飞行高度，利用Mortran 4.0软件估算出大气上行辐射L^↑、大气透射率τ，使用热像仪(Fluke Ti400)以太阳高度角75°的面向太阳的方向测量大气的下行辐射量L^↓，矿区地表的平均地表发射率ε设置为0.95。在求出辐射亮度B_λ(T)后，利用普朗克反函数公式(4)来反演矿区地表温度T：

反演的矿区地表温度图如图2所示。

6)矿区煤火的识别

基于反演的矿区地表温度图，使用温度阈值的方式来分割煤火区，自动提取煤火温度阈值的方法如下所述：

①使用Sobel算子计算矿区地表温度图像A的梯度大小G，G与Sobel算子的卷积因子G_x、G_y如下：

②梯度图G中每一个温度梯度值用g_i表示，梯度的标准差用σ_g表示，根据反复试验，设置高梯度区为[g_i+0.5σ_g,g_i+3.2σ_g]—[g_i+1.5σ_g,g_i+3.2σ_g]，保持上界g_i+3.2σ_g不变，以g_i+0.5σ_g为起点，以0.1σ_g为增量增长到g_i+1.5σ_g，共生成11幅温度梯度图。

这11幅温度梯度图多数与煤火中心重合，但部分低温区也会产生这种高梯度区，为此使用矿区地表平均温度加1倍温度标准差的方法剔除低温区。

③采用并行细化算法将11幅温度梯度图细化为温度梯度线；

④取温度梯度线与高温区重合的温度并求其平均值，将这个温度均值作为分割煤火区的温度阈值，根据这个温度阈值继续识别出最终的煤火区，如图3中亮白色区所示。图3所示的区1、区2、区3、区4和区5为探测到的煤火区，其中区3为出露煤火，煤炭燃烧剧烈；其余4个区均为地下煤火，未出露到地面。在地表具有明显的燃烧痕迹高亮白色区为提取的煤火区，黑十字形状是使用GPS RTK测量的明显的火点，点位精度不超过5 cm，右侧图例中T表示反演的地表温度，单位为K。

以下就山西某地煤矿区为例展开说明本发明的实施效果：

试验区域选择在山西某煤矿区，该矿区地形起伏较大，最大高差为200 m，该矿煤系含4个主采煤层，另有2个煤层划分给小煤窑开采。小煤窑的开采深度很浅，顶板脆弱，引起了大量地面裂缝，空气经过地表裂缝进入地下与煤层发生氧化作用而引发煤火。采用四旋翼无人机搭载的热红外仪于某日夜晚20:00在该矿上空采集了60000㎡的热红外影像，热红外影像数为10766幅，经过影像剔除后剩余有效影像数为100张。

在矿区使用热像仪(Fluke Ti400)随机实测了12个参考温度值，与同一位置反演的地表温度值建立二者的拟合关系，如图4所示，矿区反演温度与实测温度呈现较好的线性关系，相关系数高达0.8149，这说明本发明方法反演矿区的地表温度较高，可以用于煤火热异常的提取工作。

由图4知，识别的火区与外业测量的61个明显火点在区3中仅有2个未重合，重合率为96.7％，经调查发现未重合的2点的直径远小于热红外影像的分辨率，因此不能正确地识别。区3中间类似院落的建筑是一座废弃的寺庙，据记载该寺院原位于区3的西南角，后因小煤窑开采引起的塌方和煤火导致寺庙被破坏，后迁址到区3现在位置并重建，又因煤火自燃原因导致该寺庙再次被破坏并废弃，结合区3中的火区状况，可以说明热红外影像探测的煤火精度是可信的。

在热红外影像处理后的某天晚上采用手持热像仪(Fluke Ti400)分别对区1、区2、区3、区4和区5的煤火进行了实地验证，上述5个分区实地验证的煤火如图5、6、7、8和9所示高亮白色显示，其中图5显示的高亮区对应于图4中区1的中部区域，图6显示的高亮区对应于图4中区2东北角区域，图7显示的高亮区对应于图4中区3中部的寺庙区域，图8显示的高亮区对应与图4中区4南部区域，图9显示的高亮区对应于图4中区5西侧区域。这些高亮白色区域基本能与无人机热红外遥感法识别的火区相一致，其中图7显示的区3中的废弃寺庙的热异常尤其显著。

应当理解的是，这里所讨论的实施方案及实例只是为了说明，对本领域技术人员来说，可以加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.基于无人机热红外影像的煤火识别方法，其特征在于：该方法包括如下步骤：

(1)、无人机热红外影像采集；

(2)、热红外影像的预处理；

(3)、热红外相机的辐射定标；

(4)、热红外影像的镶嵌；

(5)、矿区地表温度反演；

(6)、矿区煤火识别；

所述步骤(1)中具体是：

(b)、在飞行区域四角分别安放4个铝制矩形板，并使用GPS RTK技术测量4个铝板中心的北坐标x、东坐标y、高程值h以作为后期处理的地面控制点；

(c)、利用便携式气象站采集飞行期间矿区的气温、大气压、湿度数值；

所述步骤(2)具体是：

(b)、将原始*.raw格式热红外影像转换为通用格式*.tif，并对影像进行热红外线性拉伸操作；

所述步骤(3)具体是：使用标准黑体来标定热红外相机，通过线性回归模型将热红外影像的DN值转换为表观辐射亮度值；

所述步骤(4)具体是：

(a)、将辐射定标的热红外影像、影像的GPS定位数据、测量的地面控制点导入处理软件photoscan中，基于多视立体密集匹配算法和运动恢复结构算法为立体像对搜索同名像点；

(b)、使用自动空三和区域网平差算法平差出影像精确的北坐标x、东坐标y、高程h、航向倾角φ、旁向倾角ω、像片旋角κ；

(c)、使用影像互相关方法为全部影像的所有像元生成三维点云，通过不规则三角网法生成数字地表模型DSM，DSM与全部已定向的影像一起使用数字正射纠正技术和逆向纹理映射的方式生成矿区热红外正射影像图DOM；

(a)、采用Sobel算子计算矿区地表温度图像的梯度；

(c)、利用并行细化算法骨架化温度梯度图成温度梯度线；

2.根据权利要求1所述的煤火识别方法，其特征在于：所述无人机由热红外相机、电路板、无人机专用电池、GPS天线组装成一体，安装到无人机云台上。

3.根据权利要求1所述的煤火识别方法，其特征在于：所述无人机热红外影像采集过程始终保持热红外相机镜头垂直朝向地面方向，同时保证热红外相机较长的幅面垂直于无人机的飞行方向。

4.根据权利要求1所述的煤火识别方法，其特征在于：所述步骤(5)具体是：选择大气辐射传输方程和普朗克反函数共同反演地表温度。