CN113486697A - 基于空基多模态图像融合的森林烟火监测方法 - Google Patents

Abstract

本发明属于森林烟火监测技术领域，具体涉及一种基于空基多模态图像融合的森林烟火监测方法。本发明主要包括(1)通过对卫星遥感数据的语义分割，准确标识植被覆盖区及非覆盖区；(2)使用多模态对齐技术对齐卫星遥感数据、无人机运动图像序列之间、可见光和红外图像之间的空间位置；(3)通过无人机图像序列的霍特林变换提取烟火的运动信息；(4)采用基于轻量级卷积神经网络的多模态语义分割方法快速准确获取森林烟火的像素级识别结果。本发明的方法，可以显著降低空基人工智能平台的计算负载；多模态对齐技术可在空基平台运动的情况下，获取中心视场内静态的图像序列，便于算法提取烟火的运动特征，且不影响空基平台的正常作业。

Description

基于空基多模态图像融合的森林烟火监测方法

技术领域

本发明属于森林烟火监测技术领域，具体涉及一种基于空基多模态图像融合的森林烟火监测方法。

背景技术

森林火灾一旦发生,危害十分巨大,如果能在林火的萌芽状态就进行识别,则可以减少不必要的损失。目前,林火监测方法有基于卫星遥感、计算机视觉和传感器网络等多种方案，但不同方案都存在一些固有的缺陷。计算机视频监测存在易误报漏报、监测区域范围受到视频设备性能限制、无法实现山火位置的定位等缺陷。红外传感监测方法可实现无人值守的不间断监测，自动发现监控区域内的火点，但红外监测会对阳光、高温物体等产生虚警，无法实现对火源的精确定位，且雨雾天对观测距离和图像清晰度影响较大。卫星遥感监测山火可对山火进行广域的监测，但该方法存在虚警率高的问题，且受卫星过境时间的限制，难以实现全天候监测，另外还存在监测结果易受云层影响，监测分辨率不高等问题。使用无人机(UAVs)搭载视觉相机,其操作灵活,价格便宜,效率更高，但目前常规的无人机图像林火监测存在识别精度不高，虚警率高等问题。

发明内容

本发明针对上述情况，为解决云、雾、阳光反射、人类生产活动产生的正常烟火导致出现误报的问题，提出一种基于空基多模态图像融合的烟火监测方法，全方位智能分析烟火的颜色、纹理、空间、光谱、时态、运动特征，以及植被覆盖、地貌等信息，极大提升了森林烟火监测的精度和可靠性。

为实现上述目的，本发明采用如下技术方案：

基于空基多模态图像融合的森林烟火监测方法，获取目标监测区域的卫星遥感图像、可见光图像和红外图像，其中可见光图像和红外图像是通过在无人机上布置对应的相机获取，通过无人机获取的为运动序列图像；如图1所示，监测方法包括以下步骤：

S1、通过对卫星遥感图像的语义分割，标识植被覆盖区及非覆盖区；

S2、使用多模态对齐技术对齐卫星遥感数据、可见光和红外图像之间的空间位置；

S3、通过步骤S2对齐后图像的霍特林变换提取烟火的运动信息；

S4、采用基于轻量级卷积神经网络的多模态语义分割方法获取森林烟火的像素级识别结果。

进一步的，所述步骤S1的具体方法是：

对于(H,W)大小的遥感图像I，通过语义分割算法预测每个像素的类别C＝{0,1}，“0”表示非植被覆盖区，“1”表示植被覆盖区，得到植被分布图G，G_i,j∈[0,1]，i∈[0,H-1]，j∈[0,W-1]。

进一步的，所述步骤S2的具体方法是：

(1)运动图像序列对齐。运动图像序列对齐包括红外和可见光各自运动图像序列的对齐，采用相同的序列对齐方法。对于t时刻和t-1时刻的红外或可见光运动图像序列I_t和I_t-1，首先通过尺度不变特征变换(Scale Invariant Feature Transform,SIFT)提取图像序列的特征点及特征描述子，作为空间配准的锚点。采用投影变换描述前后帧同一特征点之间的运动，投影变换模型为：

其中(x,y,1)^T和(x’,y’,1)^T分别为图像I_t-1和I_t特征点的齐次坐标；a_i，i∈[1,9]是投影变换矩阵H的元素；s是缩放因子。利用开源计算机视觉库OpenCV的findHomography函数可计算投影矩阵H。然后利用OpenCV的warpPerspective函数将前后帧投影到同样的空间坐标系下，实现图像序列的空间对齐。如图1所示，连续4帧图像经空间对齐后，得到中央静态区域，这个区域是连续4帧图像的重叠区域I₀∩I₁∩I₂∩I₃。这是在无人机运动的前提下获取的固定场景的图像序列，用于后续运动信息提取。

(2)可见光和红外图像当前时刻的图像对齐。可见光和红外图像的对齐和运动图像对齐方法除提取图像特征点的算法采用采用Harris角点法外，其它步骤方法与运动序列图像对齐一样。

(3)摄像机图像(即可见光或红外图像)和遥感图像的对齐。利用针孔相机模型配准摄像机图像和遥感图像。不考虑畸变的情况下的成像模型为：

s·p＝A[R|t]P_w

其中的s是投影变换的缩放系数；p是图像平面的像素坐标；A是相机内参；R和t分别是世界坐标系到相机坐标系的旋转矩阵和平移向量，二者合称相机外参；Pw是世界坐标系中的点坐标。该成像模型的具体形式为：

其中p＝(u,v,1)^T为图像平面像素坐标；(f_x,f_y)是相机焦距；(c_x,c_y)是相机光心像素坐标；r_ij(i,j＝1,2,3)是旋转矩阵R的元素；(t_x,t_y,t_z)^T＝t为平移向量；(X_w,Y_w,Z_w)＝P_w是世界坐标系中的点坐标。内参A可通过标定摄像机得到；旋转矩阵通过机载倾角传感器获取；将世界坐标系原点设置在无人机的质心处，如图2所示，平移向量近似为t＝0。应用摄像机成像模型将遥感图像逆投影到图像坐标系下，实现相机图像和遥感图像的配准。

进一步的，所述步骤S3的具体方法是：

将步骤S2中(1)～(3)获得的三部分图像进行合并存入大小为N的先入先出队列，通过对存入的连续N帧图像进行霍特林变换，捕捉烟火的运动特征，对队列中的图像I_i，i∈[0,N-1]，将其重塑为大小(HW,1)的列向量F_i，对F_i进行尺度归一化：

沿着行方向拼接F_i构成数据矩阵X，其大小为(HW,N)：

X＝[F₀,F₁,…,F_N-1]

数据矩阵X的协方差矩阵为：

对Cov(X)进行特征值分解得到特征值λ_i，i∈[0,N-1]，将λ_i降序排列后，λ_i对应的(1,N)维特征向量为v_i，由λ_i构造的对角阵就是投影到主成分空间的协方差矩阵Cov(X)，沿着列方向拼接特征向量v_i构成(N,N)维霍特林变换矩阵T：

数据矩阵X经霍特林变换之后得到(HW,N)维主成分矩阵：

Y＝XT

矩阵Y的每一列Y_i对应一个主成分，将Y_i重塑为大小(H,W)的主成分图像P_i，第一主成分P₀描述图像的空间结构特征，第二主成分P₁描述烟火的运动信息，选择P₁分量作为运动信息源。

进一步的，其特征在于，所述步骤S4的具体方法是：

将可见光摄像机输出的图像转换至CIELab颜色空间，CIELab包括表示明度的L分量、表示从红色到深绿的a分量、表示从蓝色到黄色的b分量；图像的a、b分量提供了烟的颜色信息，L分量携带烟火的纹理、空间结构信息；采用轻量化卷积神经网络模型，通过最小代价学习策略，自动挖掘颜色、纹理、光谱、时态、运动等多模空间的特征表达，并以语义分割的模式输出烟火像素级识别结果；构造多模态图像I^M：

其中的I^L _VI、I^a _VI、I^b _VI分别为可见光图像的L、a、b分量；I^PC _VI、I^PC _IR分别为可见光和红外图像序列经霍特林变换后的第二主成分P₁；I^P _ST为植被覆盖语义图像，经语义分割后，得到与多模态图像同等大小的烟火二值图，其中的“0”表示背景，“1”表示烟火。

本发明的有益效果为，(1)基于卫星遥感数据语义分割的植被区先验可离线处理得到，显著降低空基人工智能平台的计算负载；(2)多模态对齐技术可在空基平台运动的情况下，获取中心视场内静态的图像序列，便于算法提取烟火的运动特征，且不影响空基平台的正常作业；(3)利用多模态机器学习全面覆盖烟火的多模态特征，可以学习到更具判别性的特征表示；(4)轻量化的算法框架使得边缘人工智能平台可以实时处理多模态数据。

附图说明

图1为运动图像序列生成静态场景图像示意图；

图2为空基成像过程示意图。

具体实施方式

下面结合附图对本发明进行进一步说明。

构建空基烟火识别系统作业区内植被覆盖的先验知识。由于林区植被覆盖情况在较短的时间内不会有剧烈的变化，现代遥感卫星的时间分辨率足以确保数据能及时跟上植被覆盖情况的变化，所以植被覆盖可作为先验知识离线获取。对于(H,W)大小的遥感图像I，通过语义分割算法预测每个像素的类别C＝{0,1}，“0”表示非植被覆盖区，“1”表示植被覆盖区，得到植被分布图G，G_i,j∈[0,1]，i∈[0,H-1]，j∈[0,W-1]。

多模数据的空间对齐。多模空间对齐包括可见光和红外图像的对齐，运动图像序列的对齐，以及运动图像序列静态区域和遥感图像的对齐。其中红外和可见光运动图像序列对齐采用同样的图像配准算法框架。首先通过尺度不变特征变换(Scale InvariantFeature Transform,SIFT)提取图像序列的特征点及特征描述子，作为空间配准的锚点。采用投影变换描述前后帧同一特征点之间的运动，投影变换模型为：

其中(x,y,1)^T和(x’,y’,1)^T分别为前后帧特征点的齐次坐标；a_i，i∈[1,9]是投影变换矩阵的元素。计算投影矩阵，经过透视逆变换将前后帧投影到同样的空间坐标系下，实现图像序列的空间对齐。如图一所示，连续4帧图像经空间对齐后，得到中央静态区域，这是在无人机运动的前提下获取的固定场景的图像序列，可用于后续运动信息提取。红外和可见光图像之间的配准采用类似的算法，唯一的不同之处是特征点的提取采用Harris角点，而不是SIFT。利用针孔相机模型配准图像序列和遥感图像，不考虑畸变的情况下的成像模型为：

s·p＝A[R|t]P_w

其中的s是投影变换的缩放系数；p是图像平面的像素坐标；A是相机内参；R和t分别是世界坐标系到相机坐标系的旋转矩阵和平移向量，二者合称相机外参；P_w是世界坐标系中的点坐标。该成像模型的具体形式为：

其中p＝(u,v,1)^T为图像平面像素坐标；(f_x,f_y)是相机焦距；(c_x,c_y)是相机光心像素坐标；r_ij(i,j＝1,2,3)是旋转矩阵R的元素；(t_x,t_y,t_z)^T＝t为平移向量；(X_w,Y_w,Z_w)＝P_w是世界坐标系中的点坐标。内参A可通过标定摄像机得到；旋转矩阵通过机载倾角传感器获取；将世界坐标系原点设置在无人机的质心处，如图二所示，平移向量近似为t＝0。应用摄像机成像模型将遥感图像投影到图像坐标系下，实现相机图像和遥感图像的配准。

提取烟火的运动信息。对于空间对齐的图像序列，构建大小为N的先入先出(FirstIn First Out,FIFO)队列，存储连续的N帧图像，且以FIFO的方式更新队列，通过对连续的N帧图像进行霍特林变换，捕捉烟火的运动特征。图像I_i，i∈[0,N-1]，将其重塑为大小(HW,1)的列向量F_i，为确保霍特林变换具有尺度不变性对F_i进行尺度归一化：

沿着行方向拼接F_i构成数据矩阵X，其大小为(HW,N)：

X＝[F₀,F₁,…,F_N-1]

数据矩阵X的协方差矩阵为：

对Cov(X)进行特征值分解得到特征值λ_i，i∈[0,N-1]，注意λ_i是经过降序排列了的，λ_i对应的(1,N)维特征向量为v_i。由λ_i构造的对角阵就是投影到主成分空间的协方差矩阵Cov(X)，在主成分空间的各分量之间不再具有相关性。沿着列方向拼接特征向量v_i构成(N,N)维霍特林变换矩阵T：

数据矩阵X经霍特林变换之后得到(HW,N)维主成分矩阵：

Y＝XT

矩阵Y的每一列Y_i对应一个主成分。将Y_i重塑为大小(H,W)的主成分图像P_i。P₀主要描述图像的空间结构特征，P₁主要描述烟火的运动信息，之后的分量携带的运动信息逐渐减少。选择P₁分量作为运动信息源。

多模态烟火语义分割。将可见光摄像机输出的图像转换至CIELab颜色空间。CIELab包括表示明度的L分量、表示从红色到深绿的a分量、表示从蓝色到黄色的b分量。图像的a、b分量提供了烟的颜色信息，L分量则携带烟火的纹理、空间结构信息。本发明专利采用轻量化卷积神经网络模型，通过最小代价学习策略，自动挖掘颜色、纹理、光谱、时态、运动等多模空间的特征表达，并以语义分割的模式输出烟火像素级识别结果。首先构造多模态图像I^M：

其中的I^L _VI、I^a _VI、I^b _VI分别为可见光图像的L、a、b分量；I^PC _VI、I^PC _IR分别为可见光和红外图像序列经霍特林变换后的第二主成分；I^P _ST为植被覆盖语义图像。经语义分割后，得到与多模态图像同等大小的烟火二值图，其中的“0”表示背景，“1”表示烟火。所以烟火语义分割需要处理的类别数为2。为了兼顾精度和计算效率，采用分组卷积、通道洗牌、深度可分离卷积等技术设计烟火语义分割网络，其配置如表1所示：

表1烟火语义分割网络配置

其中，Convi(i＝1,5,8)表示标准卷积；Maxpool表示最大池化；Stagei(i＝2,3,4)表示ShuffleNetV2的构造块；DConvi(i＝6,7)表示反卷积，DConv6的输入为Conv5的输出，DConv7的输入为Stage3的输出。Conv8的输入为DConv6、DConv7和Stage2的输出之和。多模态图像经语义分割网络后输出(88,160)大小的烟火预测热图，给定同样大小的真值图，采用交叉熵度量预测和真值之间的损失L。采用随机梯度下降法最小化L：

得到语义分割网络的参数Θ。其中的N表示训练样本数。训练烟火语义分割网络可借助PyTorch框架。

Claims (5)

1.基于空基多模态图像融合的森林烟火监测方法，获取目标监测区域的卫星遥感图像、可见光图像和红外图像，其中可见光图像和红外图像是通过在无人机上布置对应的相机获取；其特征在于，监测方法包括以下步骤：

S1、通过对卫星遥感图像的语义分割，标识植被覆盖区及非覆盖区；

S2、使用多模态对齐技术对齐卫星遥感数据、可见光和红外图像之间的空间位置；

S3、通过步骤S2对齐后图像的霍特林变换提取烟火的运动信息；

S4、采用基于轻量级卷积神经网络的多模态语义分割方法获取森林烟火的像素级识别结果。

2.根据权利要求1所述的基于空基多模态图像融合的森林烟火监测方法，其特征在于，所述步骤S1的具体方法是：

对于(H,W)大小的遥感图像I，通过语义分割算法预测每个像素的类别C＝{0,1}，“0”表示非植被覆盖区，“1”表示植被覆盖区，得到植被分布图G，G_i,j∈[0,1]，i∈[0,H-1]，j∈[0,W-1]。

3.根据权利要求2所述的基于空基多模态图像融合的森林烟火监测方法，其特征在于，所述步骤S2的具体方法是：

(1)运动图像序列对齐：运动图像序列对齐包括红外和可见光各自运动图像序列的对齐，对于t时刻和t-1时刻的红外或可见光运动图像序列I_t和I_t-1，首先通过尺度不变特征变换提取图像序列的特征点及特征描述子，作为空间配准的锚点；采用投影变换描述前后帧同一特征点之间的运动，投影变换模型为：

其中(x,y,1)^T和(x’,y’,1)^T分别为图像I_t-1和I_t特征点的齐次坐标；a_i，i∈[1,9]是投影变换矩阵H的元素；s是缩放因子；利用开源计算机视觉库OpenCV的findHomography函数计算投影矩阵H，然后利用OpenCV的warpPerspective函数将前后帧投影到同样的空间坐标系下，实现图像序列的空间对齐；

(2)可见光和红外图像当前时刻的图像对齐：可见光和红外图像的对齐和运动图像对齐方法除提取图像特征点的算法是采用Harris角点法外，其它步骤方法与运动序列图像对齐一样；

(3)摄像机图像和遥感图像的对齐，利用针孔相机模型配准摄像机图像和遥感图像，不考虑畸变的情况下的成像模型为：

s·p＝A[R|t]P_w

其中的s是投影变换的缩放系数；p是图像平面的像素坐标；A是相机内参；R和t分别是世界坐标系到相机坐标系的旋转矩阵和平移向量，二者合称相机外参；Pw是世界坐标系中的点坐标；该成像模型的具体形式为：

其中p＝(u,v,1)^T为图像平面像素坐标；(f_x,f_y)是相机焦距；(c_x,c_y)是相机光心像素坐标；r_ij(i,j＝1,2,3)是旋转矩阵R的元素；(t_x,t_y,t_z)^T＝t为平移向量；(X_w,Y_w,Z_w)＝P_w是世界坐标系中的点坐标，内参A可通过标定摄像机得到；旋转矩阵通过机载倾角传感器获取；应用摄像机成像模型将遥感图像逆投影到图像坐标系下，实现相机图像和遥感图像的配准。

4.根据权利要求3所述的基于空基多模态图像融合的森林烟火监测方法，其特征在于，所述步骤S3的具体方法是：

将步骤S2中(1)～(3)获得的三部分图像进行合并存入大小为N的先入先出队列，通过对存入的连续N帧图像进行霍特林变换，捕捉烟火的运动特征，对队列中的图像I_i，i∈[0,N-1]，将其重塑为大小(HW,1)的列向量F_i，对F_i进行尺度归一化：

沿着行方向拼接F_i构成数据矩阵X，其大小为(HW,N)：

X＝[F₀,F₁,…,F_N-1]

数据矩阵X的协方差矩阵为：

对Cov(X)进行特征值分解得到特征值λ_i，i∈[0,N-1]，将λ_i降序排列后，λ_i对应的(1,N)维特征向量为v_i，由λ_i构造的对角阵就是投影到主成分空间的协方差矩阵Cov(X)，沿着列方向拼接特征向量v_i构成(N,N)维霍特林变换矩阵T：

数据矩阵X经霍特林变换之后得到(HW,N)维主成分矩阵：

Y＝XT

矩阵Y的每一列Y_i对应一个主成分，将Y_i重塑为大小(H,W)的主成分图像P_i，P₀描述图像的空间结构特征，P₁描述烟火的运动信息，选择P₁分量作为运动信息源。

5.根据权利要求4所述的基于空基多模态图像融合的森林烟火监测方法，其特征在于，所述步骤S4的具体方法是：

将可见光摄像机输出的图像转换至CIELab颜色空间，CIELab包括表示明度的L分量、表示从红色到深绿的a分量、表示从蓝色到黄色的b分量；图像的a、b分量提供了烟的颜色信息，L分量携带烟火的纹理、空间结构信息；采用轻量化卷积神经网络模型，通过最小代价学习策略，自动挖掘颜色、纹理、光谱、时态、运动等多模空间的特征表达，并以语义分割的模式输出烟火像素级识别结果；构造多模态图像I^M：

其中的I^L _VI、I^a _VI、I^b _VI分别为可见光图像的L、a、b分量；I^PC _VI、I^PC _IR分别为可见光和红外图像序列经霍特林变换后的第二主成分P₁；I^P _ST为植被覆盖语义图像，经语义分割后，得到与多模态图像同等大小的烟火二值图，其中的“0”表示背景，“1”表示烟火。

Images