CN113486697B - 基于空基多模态图像融合的森林烟火监测方法 - Google Patents
基于空基多模态图像融合的森林烟火监测方法 Download PDFInfo
- Publication number
- CN113486697B CN113486697B CN202110411797.4A CN202110411797A CN113486697B CN 113486697 B CN113486697 B CN 113486697B CN 202110411797 A CN202110411797 A CN 202110411797A CN 113486697 B CN113486697 B CN 113486697B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- smoke
- camera
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000000779 smoke Substances 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 title claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 238000002864 sequence alignment Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 1
- 230000003068 static effect Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于森林烟火监测技术领域,具体涉及一种基于空基多模态图像融合的森林烟火监测方法。本发明主要包括(1)通过对卫星遥感数据的语义分割,准确标识植被覆盖区及非覆盖区;(2)使用多模态对齐技术对齐卫星遥感数据、无人机运动图像序列之间、可见光和红外图像之间的空间位置;(3)通过无人机图像序列的霍特林变换提取烟火的运动信息;(4)采用基于轻量级卷积神经网络的多模态语义分割方法快速准确获取森林烟火的像素级识别结果。本发明的方法,可以显著降低空基人工智能平台的计算负载;多模态对齐技术可在空基平台运动的情况下,获取中心视场内静态的图像序列,便于算法提取烟火的运动特征,且不影响空基平台的正常作业。
Description
技术领域
本发明属于森林烟火监测技术领域,具体涉及一种基于空基多模态图像融合的森林烟火监测方法。
背景技术
森林火灾一旦发生,危害十分巨大,如果能在林火的萌芽状态就进行识别,则可以减少不必要的损失。目前,林火监测方法有基于卫星遥感、计算机视觉和传感器网络等多种方案,但不同方案都存在一些固有的缺陷。计算机视频监测存在易误报漏报、监测区域范围受到视频设备性能限制、无法实现山火位置的定位等缺陷。红外传感监测方法可实现无人值守的不间断监测,自动发现监控区域内的火点,但红外监测会对阳光、高温物体等产生虚警,无法实现对火源的精确定位,且雨雾天对观测距离和图像清晰度影响较大。卫星遥感监测山火可对山火进行广域的监测,但该方法存在虚警率高的问题,且受卫星过境时间的限制,难以实现全天候监测,另外还存在监测结果易受云层影响,监测分辨率不高等问题。使用无人机(UAVs)搭载视觉相机,其操作灵活,价格便宜,效率更高,但目前常规的无人机图像林火监测存在识别精度不高,虚警率高等问题。
发明内容
本发明针对上述情况,为解决云、雾、阳光反射、人类生产活动产生的正常烟火导致出现误报的问题,提出一种基于空基多模态图像融合的烟火监测方法,全方位智能分析烟火的颜色、纹理、空间、光谱、时态、运动特征,以及植被覆盖、地貌等信息,极大提升了森林烟火监测的精度和可靠性。
为实现上述目的,本发明采用如下技术方案:
基于空基多模态图像融合的森林烟火监测方法,获取目标监测区域的卫星遥感图像、可见光图像和红外图像,其中可见光图像和红外图像是通过在无人机上布置对应的相机获取,通过无人机获取的为运动序列图像;如图1所示,监测方法包括以下步骤:
S1、通过对卫星遥感图像的语义分割,标识植被覆盖区及非覆盖区;
S2、使用多模态对齐技术对齐卫星遥感数据、可见光和红外图像之间的空间位置;
S3、通过步骤S2对齐后图像的霍特林变换提取烟火的运动信息;
S4、采用基于轻量级卷积神经网络的多模态语义分割方法获取森林烟火的像素级识别结果。
进一步的,所述步骤S1的具体方法是:
对于(H,W)大小的遥感图像I,通过语义分割算法预测每个像素的类别C={0,1},“0”表示非植被覆盖区,“1”表示植被覆盖区,得到植被分布图G,Gi,j∈[0,1],i∈[0,H-1],j∈[0,W-1]。
进一步的,所述步骤S2的具体方法是:
(1)运动图像序列对齐。运动图像序列对齐包括红外和可见光各自运动图像序列的对齐,采用相同的序列对齐方法。对于t时刻和t-1时刻的红外或可见光运动图像序列It和It-1,首先通过尺度不变特征变换(Scale Invariant Feature Transform,SIFT)提取图像序列的特征点及特征描述子,作为空间配准的锚点。采用投影变换描述前后帧同一特征点之间的运动,投影变换模型为:
其中(x,y,1)T和(x’,y’,1)T分别为图像It-1和It特征点的齐次坐标;ai,i∈[1,9]是投影变换矩阵H的元素;s是缩放因子。利用开源计算机视觉库OpenCV的findHomography函数可计算投影矩阵H。然后利用OpenCV的warpPerspective函数将前后帧投影到同样的空间坐标系下,实现图像序列的空间对齐。如图1所示,连续4帧图像经空间对齐后,得到中央静态区域,这个区域是连续4帧图像的重叠区域I0∩I1∩I2∩I3。这是在无人机运动的前提下获取的固定场景的图像序列,用于后续运动信息提取。
(2)可见光和红外图像当前时刻的图像对齐。可见光和红外图像的对齐和运动图像对齐方法除提取图像特征点的算法采用采用Harris角点法外,其它步骤方法与运动序列图像对齐一样。
(3)摄像机图像(即可见光或红外图像)和遥感图像的对齐。利用针孔相机模型配准摄像机图像和遥感图像。不考虑畸变的情况下的成像模型为:
s·p=A[R|t]Pw
其中的s是投影变换的缩放系数;p是图像平面的像素坐标;A是相机内参;R和t分别是世界坐标系到相机坐标系的旋转矩阵和平移向量,二者合称相机外参;Pw是世界坐标系中的点坐标。该成像模型的具体形式为:
其中p=(u,v,1)T为图像平面像素坐标;(fx,fy)是相机焦距;(cx,cy)是相机光心像素坐标;rij(i,j=1,2,3)是旋转矩阵R的元素;(tx,ty,tz)T=t为平移向量;(Xw,Yw,Zw)=Pw是世界坐标系中的点坐标。内参A可通过标定摄像机得到;旋转矩阵通过机载倾角传感器获取;将世界坐标系原点设置在无人机的质心处,如图2所示,平移向量近似为t=0。应用摄像机成像模型将遥感图像逆投影到图像坐标系下,实现相机图像和遥感图像的配准。
进一步的,所述步骤S3的具体方法是:
将步骤S2中(1)~(3)获得的三部分图像进行合并存入大小为N的先入先出队列,通过对存入的连续N帧图像进行霍特林变换,捕捉烟火的运动特征,对队列中的图像Ii,i∈[0,N-1],将其重塑为大小(HW,1)的列向量Fi,对Fi进行尺度归一化:
沿着行方向拼接Fi构成数据矩阵X,其大小为(HW,N):
X=[F0,F1,…,FN-1]
数据矩阵X的协方差矩阵为:
对Cov(X)进行特征值分解得到特征值λi,i∈[0,N-1],将λi降序排列后,λi对应的(1,N)维特征向量为vi,由λi构造的对角阵就是投影到主成分空间的协方差矩阵Cov(X),沿着列方向拼接特征向量vi构成(N,N)维霍特林变换矩阵T:
数据矩阵X经霍特林变换之后得到(HW,N)维主成分矩阵:
Y=XT
矩阵Y的每一列Yi对应一个主成分,将Yi重塑为大小(H,W)的主成分图像Pi,第一主成分P0描述图像的空间结构特征,第二主成分P1描述烟火的运动信息,选择P1分量作为运动信息源。
进一步的,其特征在于,所述步骤S4的具体方法是:
将可见光摄像机输出的图像转换至CIELab颜色空间,CIELab包括表示明度的L分量、表示从红色到深绿的a分量、表示从蓝色到黄色的b分量;图像的a、b分量提供了烟的颜色信息,L分量携带烟火的纹理、空间结构信息;采用轻量化卷积神经网络模型,通过最小代价学习策略,自动挖掘颜色、纹理、光谱、时态、运动等多模空间的特征表达,并以语义分割的模式输出烟火像素级识别结果;构造多模态图像IM:
其中的IL VI、Ia VI、Ib VI分别为可见光图像的L、a、b分量;IPC VI、IPC IR分别为可见光和红外图像序列经霍特林变换后的第二主成分P1;IP ST为植被覆盖语义图像,经语义分割后,得到与多模态图像同等大小的烟火二值图,其中的“0”表示背景,“1”表示烟火。
本发明的有益效果为,(1)基于卫星遥感数据语义分割的植被区先验可离线处理得到,显著降低空基人工智能平台的计算负载;(2)多模态对齐技术可在空基平台运动的情况下,获取中心视场内静态的图像序列,便于算法提取烟火的运动特征,且不影响空基平台的正常作业;(3)利用多模态机器学习全面覆盖烟火的多模态特征,可以学习到更具判别性的特征表示;(4)轻量化的算法框架使得边缘人工智能平台可以实时处理多模态数据。
附图说明
图1为运动图像序列生成静态场景图像示意图;
图2为空基成像过程示意图。
具体实施方式
下面结合附图对本发明进行进一步说明。
构建空基烟火识别系统作业区内植被覆盖的先验知识。由于林区植被覆盖情况在较短的时间内不会有剧烈的变化,现代遥感卫星的时间分辨率足以确保数据能及时跟上植被覆盖情况的变化,所以植被覆盖可作为先验知识离线获取。对于(H,W)大小的遥感图像I,通过语义分割算法预测每个像素的类别C={0,1},“0”表示非植被覆盖区,“1”表示植被覆盖区,得到植被分布图G,Gi,j∈[0,1],i∈[0,H-1],j∈[0,W-1]。
多模数据的空间对齐。多模空间对齐包括可见光和红外图像的对齐,运动图像序列的对齐,以及运动图像序列静态区域和遥感图像的对齐。其中红外和可见光运动图像序列对齐采用同样的图像配准算法框架。首先通过尺度不变特征变换(Scale InvariantFeature Transform,SIFT)提取图像序列的特征点及特征描述子,作为空间配准的锚点。采用投影变换描述前后帧同一特征点之间的运动,投影变换模型为:
其中(x,y,1)T和(x’,y’,1)T分别为前后帧特征点的齐次坐标;ai,i∈[1,9]是投影变换矩阵的元素。计算投影矩阵,经过透视逆变换将前后帧投影到同样的空间坐标系下,实现图像序列的空间对齐。如图一所示,连续4帧图像经空间对齐后,得到中央静态区域,这是在无人机运动的前提下获取的固定场景的图像序列,可用于后续运动信息提取。红外和可见光图像之间的配准采用类似的算法,唯一的不同之处是特征点的提取采用Harris角点,而不是SIFT。利用针孔相机模型配准图像序列和遥感图像,不考虑畸变的情况下的成像模型为:
s·p=A[R|t]Pw
其中的s是投影变换的缩放系数;p是图像平面的像素坐标;A是相机内参;R和t分别是世界坐标系到相机坐标系的旋转矩阵和平移向量,二者合称相机外参;Pw是世界坐标系中的点坐标。该成像模型的具体形式为:
其中p=(u,v,1)T为图像平面像素坐标;(fx,fy)是相机焦距;(cx,cy)是相机光心像素坐标;rij(i,j=1,2,3)是旋转矩阵R的元素;(tx,ty,tz)T=t为平移向量;(Xw,Yw,Zw)=Pw是世界坐标系中的点坐标。内参A可通过标定摄像机得到;旋转矩阵通过机载倾角传感器获取;将世界坐标系原点设置在无人机的质心处,如图二所示,平移向量近似为t=0。应用摄像机成像模型将遥感图像投影到图像坐标系下,实现相机图像和遥感图像的配准。
提取烟火的运动信息。对于空间对齐的图像序列,构建大小为N的先入先出(FirstIn First Out,FIFO)队列,存储连续的N帧图像,且以FIFO的方式更新队列,通过对连续的N帧图像进行霍特林变换,捕捉烟火的运动特征。图像Ii,i∈[0,N-1],将其重塑为大小(HW,1)的列向量Fi,为确保霍特林变换具有尺度不变性对Fi进行尺度归一化:
沿着行方向拼接Fi构成数据矩阵X,其大小为(HW,N):
X=[F0,F1,…,FN-1]
数据矩阵X的协方差矩阵为:
对Cov(X)进行特征值分解得到特征值λi,i∈[0,N-1],注意λi是经过降序排列了的,λi对应的(1,N)维特征向量为vi。由λi构造的对角阵就是投影到主成分空间的协方差矩阵Cov(X),在主成分空间的各分量之间不再具有相关性。沿着列方向拼接特征向量vi构成(N,N)维霍特林变换矩阵T:
数据矩阵X经霍特林变换之后得到(HW,N)维主成分矩阵:
Y=XT
矩阵Y的每一列Yi对应一个主成分。将Yi重塑为大小(H,W)的主成分图像Pi。P0主要描述图像的空间结构特征,P1主要描述烟火的运动信息,之后的分量携带的运动信息逐渐减少。选择P1分量作为运动信息源。
多模态烟火语义分割。将可见光摄像机输出的图像转换至CIELab颜色空间。CIELab包括表示明度的L分量、表示从红色到深绿的a分量、表示从蓝色到黄色的b分量。图像的a、b分量提供了烟的颜色信息,L分量则携带烟火的纹理、空间结构信息。本发明专利采用轻量化卷积神经网络模型,通过最小代价学习策略,自动挖掘颜色、纹理、光谱、时态、运动等多模空间的特征表达,并以语义分割的模式输出烟火像素级识别结果。首先构造多模态图像IM:
其中的IL VI、Ia VI、Ib VI分别为可见光图像的L、a、b分量;IPC VI、IPC IR分别为可见光和红外图像序列经霍特林变换后的第二主成分;IP ST为植被覆盖语义图像。经语义分割后,得到与多模态图像同等大小的烟火二值图,其中的“0”表示背景,“1”表示烟火。所以烟火语义分割需要处理的类别数为2。为了兼顾精度和计算效率,采用分组卷积、通道洗牌、深度可分离卷积等技术设计烟火语义分割网络,其配置如表1所示:
表1烟火语义分割网络配置
其中,Convi(i=1,5,8)表示标准卷积;Maxpool表示最大池化;Stagei(i=2,3,4)表示ShuffleNetV2的构造块;DConvi(i=6,7)表示反卷积,DConv6的输入为Conv5的输出,DConv7的输入为Stage3的输出。Conv8的输入为DConv6、DConv7和Stage2的输出之和。多模态图像经语义分割网络后输出(88,160)大小的烟火预测热图,给定同样大小的真值图,采用交叉熵度量预测和真值之间的损失L。采用随机梯度下降法最小化L:
得到语义分割网络的参数Θ。其中的N表示训练样本数。训练烟火语义分割网络可借助PyTorch框架。
Claims (4)
1.基于空基多模态图像融合的森林烟火监测方法,获取目标监测区域的卫星遥感图像、可见光图像和红外图像,其中可见光图像和红外图像是通过在无人机上布置对应的相机获取;其特征在于,监测方法包括以下步骤:
S1、通过对卫星遥感图像的语义分割,标识植被覆盖区及非覆盖区;
S2、使用多模态对齐技术对齐卫星遥感数据、可见光和红外图像之间的空间位置;
S3、通过步骤S2对齐后图像的霍特林变换提取烟火的运动信息;
S4、采用基于轻量级卷积神经网络的多模态语义分割方法获取森林烟火的像素级识别结果,具体方法是:
将可见光摄像机输出的图像转换至CIELab颜色空间,CIELab包括表示明度的L分量、表示从红色到深绿的a分量、表示从蓝色到黄色的b分量;图像的a、b分量提供了烟的颜色信息,L分量携带烟火的纹理、空间结构信息;采用轻量化卷积神经网络模型,通过最小代价学习策略,自动挖掘颜色、纹理、光谱、时态、运动多模空间的特征表达,并以语义分割的模式输出烟火像素级识别结果;构造多模态图像IM:
其中的IL VI、Ia VI、Ib VI分别为可见光图像的L、a、b分量;IPC VI、IPC IR分别为可见光和红外图像序列经霍特林变换后的第二主成分P1;IP ST为植被覆盖语义图像;经语义分割后,得到与多模态图像同等大小的烟火二值图,其中的“0”表示背景,“1”表示烟火。
2.根据权利要求1所述的基于空基多模态图像融合的森林烟火监测方法,其特征在于,所述步骤S1的具体方法是:
对于(H,W)大小的遥感图像I,通过语义分割算法预测每个像素的类别C={0,1},“0”表示非植被覆盖区,“1”表示植被覆盖区,得到植被分布图G,Gi,j∈[0,1],i∈[0,H-1],j∈[0,W-1]。
3.根据权利要求2所述的基于空基多模态图像融合的森林烟火监测方法,其特征在于,所述步骤S2的具体方法是:
(1)运动图像序列对齐:运动图像序列对齐包括红外和可见光各自运动图像序列的对齐,对于t时刻和t-1时刻的红外或可见光运动图像序列It和It-1,首先通过尺度不变特征变换提取图像序列的特征点及特征描述子,作为空间配准的锚点;采用投影变换描述前后帧同一特征点之间的运动,投影变换模型为:
其中(x,y,1)T和(x’,y’,1)T分别为图像It-1和It特征点的齐次坐标;ai,i∈[1,9]是投影变换矩阵H的元素;s是缩放因子;利用开源计算机视觉库OpenCV的findHomography函数计算投影矩阵H,然后利用OpenCV的warpPerspective函数将前后帧投影到同样的空间坐标系下,实现图像序列的空间对齐;
(2)可见光和红外图像当前时刻的图像对齐:可见光和红外图像的对齐和运动图像对齐方法除提取图像特征点的算法是采用Harris角点法外,其它步骤方法与运动序列图像对齐一样;
(3)摄像机图像和遥感图像的对齐,利用针孔相机模型配准摄像机图像和遥感图像,不考虑畸变的情况下的成像模型为:
s·p=A[R|t]Pw
其中的s是投影变换的缩放系数;p是图像平面的像素坐标;A是相机内参;R和t分别是世界坐标系到相机坐标系的旋转矩阵和平移向量,二者合称相机外参;Pw是世界坐标系中的点坐标;该成像模型的具体形式为:
其中p=(u,v,1)T为图像平面像素坐标;(fx,fy)是相机焦距;(cx,cy)是相机光心像素坐标;rij(i,j=1,2,3)是旋转矩阵R的元素;(tx,ty,tz)T=t为平移向量;(Xw,Yw,Zw)=Pw是世界坐标系中的点坐标,内参A可通过标定摄像机得到;旋转矩阵通过机载倾角传感器获取;应用摄像机成像模型将遥感图像逆投影到图像坐标系下,实现相机图像和遥感图像的配准。
4.根据权利要求3所述的基于空基多模态图像融合的森林烟火监测方法,其特征在于,所述步骤S3的具体方法是:
将步骤S2中(1)~(3)获得的三部分图像进行合并存入大小为N的先入先出队列,通过对存入的连续N帧图像进行霍特林变换,捕捉烟火的运动特征,对队列中的图像Ii,i∈[0,N-1],将其重塑为大小(HW,1)的列向量Fi,对Fi进行尺度归一化:
沿着行方向拼接Fi构成数据矩阵X,其大小为(HW,N):
X=[F0,F1,…,FN-1]
数据矩阵X的协方差矩阵为:
对Cov(X)进行特征值分解得到特征值λi,i∈[0,N-1],将λi降序排列后,λi对应的(1,N)维特征向量为vi,由λi构造的对角阵就是投影到主成分空间的协方差矩阵Cov(X),沿着列方向拼接特征向量vi构成(N,N)维霍特林变换矩阵T:
数据矩阵X经霍特林变换之后得到(HW,N)维主成分矩阵:
Y=XT
矩阵Y的每一列Yi对应一个主成分,将Yi重塑为大小(H,W)的主成分图像Pi,P0描述图像的空间结构特征,P1描述烟火的运动信息,选择P1分量作为运动信息源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110411797.4A CN113486697B (zh) | 2021-04-16 | 2021-04-16 | 基于空基多模态图像融合的森林烟火监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110411797.4A CN113486697B (zh) | 2021-04-16 | 2021-04-16 | 基于空基多模态图像融合的森林烟火监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113486697A CN113486697A (zh) | 2021-10-08 |
CN113486697B true CN113486697B (zh) | 2024-02-13 |
Family
ID=77932828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110411797.4A Active CN113486697B (zh) | 2021-04-16 | 2021-04-16 | 基于空基多模态图像融合的森林烟火监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113486697B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114399723B (zh) * | 2021-11-09 | 2024-03-05 | 西北工业大学 | 一种基于增强可变形卷积和标签相关的森林烟火识别方法 |
CN114612659A (zh) * | 2022-02-28 | 2022-06-10 | 国网山东省电力公司电力科学研究院 | 一种基于融合模态对比学习的电力设备分割方法及系统 |
CN115331116B (zh) * | 2022-10-13 | 2023-04-18 | 潍坊绘圆地理信息有限公司 | 基于多模态数据的地面目标精准识别星上模糊推理方法 |
CN117010532B (zh) * | 2023-10-07 | 2024-02-02 | 电子科技大学 | 基于多模态深度学习的综合管廊火灾趋势预测方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004044683A2 (en) * | 2002-11-06 | 2004-05-27 | Simmonds Precision Products, Inc. | Method for detection and recognition of fog presence within an aircraft compartment using video images |
US7298869B1 (en) * | 2003-07-21 | 2007-11-20 | Abernathy Donald A | Multispectral data acquisition system and method |
CN101989373A (zh) * | 2009-08-04 | 2011-03-23 | 中国科学院地理科学与资源研究所 | 基于可见光—热红外的多光谱多尺度森林火情监测方法 |
CN104157088A (zh) * | 2013-05-14 | 2014-11-19 | 丁阿维 | 利用卫星遥感监测森林火灾的方法 |
CN105263000A (zh) * | 2015-10-16 | 2016-01-20 | 广西大学 | 基于无人机载双相机的大型光伏电站巡检装置 |
CN106447601A (zh) * | 2016-08-31 | 2017-02-22 | 中国科学院遥感与数字地球研究所 | 一种基于投影‑相似变换的无人机遥感影像拼接方法 |
CN106897653A (zh) * | 2015-12-17 | 2017-06-27 | 北京林业大学 | 基于红外和可见光视频融合的林区烟火检测方法及其检测系统 |
CN110634259A (zh) * | 2019-09-25 | 2019-12-31 | 云南电网有限责任公司电力科学研究院 | 一种森林火灾的检测方法 |
CN110796662A (zh) * | 2019-09-11 | 2020-02-14 | 浙江大学 | 一种实时的语义视频分割方法 |
CN112435207A (zh) * | 2020-12-07 | 2021-03-02 | 深圳航天智慧城市系统技术研究院有限公司 | 一种基于天空地一体化的森林火灾监测预警方法 |
CN112580654A (zh) * | 2020-12-25 | 2021-03-30 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 遥感图像地物语义分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020113408A1 (zh) * | 2018-12-04 | 2020-06-11 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、无人机、系统及存储介质 |
-
2021
- 2021-04-16 CN CN202110411797.4A patent/CN113486697B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004044683A2 (en) * | 2002-11-06 | 2004-05-27 | Simmonds Precision Products, Inc. | Method for detection and recognition of fog presence within an aircraft compartment using video images |
US7298869B1 (en) * | 2003-07-21 | 2007-11-20 | Abernathy Donald A | Multispectral data acquisition system and method |
CN101989373A (zh) * | 2009-08-04 | 2011-03-23 | 中国科学院地理科学与资源研究所 | 基于可见光—热红外的多光谱多尺度森林火情监测方法 |
CN104157088A (zh) * | 2013-05-14 | 2014-11-19 | 丁阿维 | 利用卫星遥感监测森林火灾的方法 |
CN105263000A (zh) * | 2015-10-16 | 2016-01-20 | 广西大学 | 基于无人机载双相机的大型光伏电站巡检装置 |
CN106897653A (zh) * | 2015-12-17 | 2017-06-27 | 北京林业大学 | 基于红外和可见光视频融合的林区烟火检测方法及其检测系统 |
CN106447601A (zh) * | 2016-08-31 | 2017-02-22 | 中国科学院遥感与数字地球研究所 | 一种基于投影‑相似变换的无人机遥感影像拼接方法 |
CN110796662A (zh) * | 2019-09-11 | 2020-02-14 | 浙江大学 | 一种实时的语义视频分割方法 |
CN110634259A (zh) * | 2019-09-25 | 2019-12-31 | 云南电网有限责任公司电力科学研究院 | 一种森林火灾的检测方法 |
CN112435207A (zh) * | 2020-12-07 | 2021-03-02 | 深圳航天智慧城市系统技术研究院有限公司 | 一种基于天空地一体化的森林火灾监测预警方法 |
CN112580654A (zh) * | 2020-12-25 | 2021-03-30 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 遥感图像地物语义分割方法 |
Non-Patent Citations (3)
Title |
---|
Improving Nocturnal Fire Detection With the VIIRS Day-Night Band;Thomas N. Polivka et al;《IEEE Transactions on Geoscience and Remote Sensing》;第54卷(第9期);5503-5519 * |
基于TM影像的山区林地变化检测方法对比研究;张佳涛;《中国优秀硕士学位论文全文数据库(农业科技辑)》(第3期);D049-93 * |
基于视觉注意的遥感图像森林植被纹理分割;刘小丹等;《计算机工程》;第44卷(第4期);274-280 * |
Also Published As
Publication number | Publication date |
---|---|
CN113486697A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113486697B (zh) | 基于空基多模态图像融合的森林烟火监测方法 | |
CN109272530B (zh) | 面向空基监视场景的目标跟踪方法与装置 | |
CN110415342B (zh) | 一种基于多融合传感器的三维点云重建装置与方法 | |
EP1891601B1 (en) | Object tracking system | |
CN105447459B (zh) | 一种无人机自动检测目标和跟踪方法 | |
US8761445B2 (en) | Method and system for detection and tracking employing multi-view multi-spectral imaging | |
CN111462128B (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
US20110081043A1 (en) | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background | |
CN114255407B (zh) | 基于高分辨率的反无人机多目标识别和跟踪视频探测方法 | |
KR102514301B1 (ko) | 이종 센서 융합을 이용한 행동 분석 장치 | |
CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
CN110276286B (zh) | 一种基于tx2的嵌入式全景视频拼接系统 | |
CN111179318B (zh) | 基于双流法的复杂背景运动小目标检测方法 | |
Tsoukalas et al. | Deep learning assisted visual tracking of evader-UAV | |
Saif et al. | Crowd density estimation from autonomous drones using deep learning: challenges and applications | |
CN113298177B (zh) | 夜间图像着色方法、装置、介质和设备 | |
Dai et al. | Overview of UAV target detection algorithms based on deep learning | |
CN112991246B (zh) | 一种可见光与红外视频图像融合方法及装置 | |
US20240161461A1 (en) | Object detection method, object detection apparatus, and object detection system | |
Angkhem et al. | Night-Time Human Detection From UAV | |
CN112069997A (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
Lin et al. | A multi-target detection framework for multirotor UAV | |
CN107194340B (zh) | 利用计算机视觉搜索登山遇险人员的方法及系统 | |
CN115578664A (zh) | 一种基于视频监控的应急事件判定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |