CN117237644B - 基于红外小目标检测的森林余火检测方法及系统 - Google Patents
基于红外小目标检测的森林余火检测方法及系统 Download PDFInfo
- Publication number
- CN117237644B CN117237644B CN202311492248.XA CN202311492248A CN117237644B CN 117237644 B CN117237644 B CN 117237644B CN 202311492248 A CN202311492248 A CN 202311492248A CN 117237644 B CN117237644 B CN 117237644B
- Authority
- CN
- China
- Prior art keywords
- convolution
- deep
- image
- output
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000003331 infrared imaging Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 230000010339 dilation Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于红外小目标检测的森林余火检测方法及系统，包括：通过机载系统和卫星系统获取森林红外成像数据集并进行预处理；其次，从编码解码结构的语义分割模型出发，改进了DCNN，提出了AFPN模块以融合多个尺度的特征，同时还保留了不同深浅层次的特征信息；再次，将编码器输出的图像特征输入解码器，均衡低维和高维特征，还原出预测的二值化图像；最后，基于测试数据对语义分割结果进行评估，计算交叉熵，优化模型参数，得到最终的识别结果。本发明通过空中的红外检测实现在浓雾中发现并追踪余火，使余火识别的过程更具鲁棒性，训练的模型可以对不同尺度的余火目标进行检测，从而有效地预测火灾的发生和蔓延。
Description
技术领域
本发明涉及红外目标成像和小目标检测技术领域，更具体的，涉及一种基于红外小目标检测的森林余火检测方法及系统。
背景技术
近年来，随着计算机技术的快速发展，一些新型技术逐渐被应用于城市森林火警监测领域。最具代表性的是图像型火警监测技术和云计算技术。图像型火警监测技术以图像处理技术为基础，克服了传统火警监测的缺点，显著提高了监测的准确率和及时性；云计算技术为森林火警监测系统提供了丰富的计算资源、灵活的管理模式和可靠的安全性保证，这两者成为森林火情监督的关键技术之一。
现有火源监测方法仍有以下不足：（1）火警监测实时性待增强。这就要求在检测与追踪阶段所建立的红外小目标检测算法必须拥有实时检测的计算能力。并且要提高信息传输过程的速度，只保留关键信息；（2）图像检测算法可配置性需优化。现有的算法大都是解决某一特定环境下的特定问题，在设计时，往往只针对目标森林区域进行设计，只开发单一的火灾识别算法，忽视了图像算法的可配置性。这无疑大大增加了由于图像算法优化、更新或迭代造成的系统二次开发的成本；（3）监测成本较高。当火灾爆发时，受浓烟的影响，常常采用红外成像的方式生成图像。但布置陆地基站或云台红外设备的成本较高，使得检测工作很难大规模地展开。
发明内容
本发明的目的是为克服现有技术的不足，为了解决上述技术问题，本发明基于deeplabv3+模型，提供了一种基于红外小目标检测的森林余火检测方法及系统，通过空中的红外检测实现在浓雾中发现并追踪余火，训练的模型可以对不同尺度的余火目标进行检测，从而有效地预测火灾的发生和蔓延。
本发明第一方面提供了一种基于红外小目标检测的森林余火检测方法，包括：
步骤S01：通过机载系统和卫星系统获取森林红外成像数据集并进行预处理；
步骤S02：对于每一张预处理后的图像，输入模型编码器以提取不同深浅层次的特征信息；
步骤S03：将编码器输出的图像特征输入解码器，均衡浅层次和深层次特征，还原出预测的二值化图像；
步骤S04：基于测试数据对语义分割结果进行评估，优化模型参数，得到最终的识别结果。
本方案中，在所述步骤S01中，通过从机载系统和卫星系统获得红外成像视频，对所述红外成像视频中的视频帧进行帧级别分析，转换为红外成像灰度图；
筛选所述红外成像灰度图中的无效图像并进行数据增强，将红外成像灰度图统一调整为256×256的大小，根据基于航拍图像的森林火情检测数据集生成模型的训练集与测试集。
本方案中，在所述步骤S02中，使用ResNet101网络重构深度卷积神经网络，将预处理后训练集的图像输入到深度卷积神经网络中，在所述深度卷积神经网络中新增AFPN模块，对不同尺度的特征分别使用1×1的卷积核和步长为1的3×3膨胀卷积、3×3的卷积核和步长为3的3×3膨胀卷积、3×3的卷积核和步长为2的3×3膨胀卷积来进行特征的融合；
将融合后的最小尺度特征输入给空洞空间金字塔池化模块来进行池化操作，在所述空洞空间金字塔池化模块中使用不同步长的膨胀卷积从多个不同的尺度探取图像级卷积特征，得到主干网络的输出特征，将输出步幅定义为输入图像和最终输出图像的尺寸之比；
在模型的编码器-解码器结构中，在解码器部分使用1×1卷积将原始DeepLabv3+中用于逻辑回归之前的最后一个特征图提取出来作为编码器实际的深层特征输出。
本方案中，将原始DeepLabv3+中用于逻辑回归之前的最后一个特征图提取出来作为编码器实际的深层特征输出，具体为：
获取深度卷积神经网络最终输出的特征图t，分别对其进行1×1的卷积、步长为4的3×3的膨胀卷积、步长为6的3×3膨胀卷积、步长为8的3×3膨胀卷积和自适应均值池化，得到特征矩阵；
之后再对进行一次1×1卷积和上采样得到/>，进行合并之后可以的到包含深层特征信息的特征图/>。
本方案中，在所述步骤S03中，在模型编码器部分中，编码器输出的深层特征首先以4为系数进行双线性上采样，然后与来自主干网络的具有相同空间尺寸的相应低级特征进行连接；
在低层级特征输出后使用1×1的卷积来降维，均衡浅层次和深层次特征的通道数，使得两者具有相同的重要性和训练占比，从而减少低层级特征的通道数；
在对两个特征图进行级联之后，使用预设数量的3×3卷积细化特征，并且再一次进行简单的4倍双线性上采样，以还原输出步幅。
本方案中，将双线性上采样后的深层特征与来自主干网络的具有相同空间尺寸的相应低级特征进行连接的过程中，对特征图进行非线性变换，使用ReLU激活函数进行拟合以实现更好的效果。
本方案中，在所述步骤S04中，将模型的检测类别设置为余火类别及背景类别，在训练过程中将batch_size设置为1，获取训练样本中每一个像素的预测类别及真实的类别标签的交叉熵；
利用所述交叉熵定义模型的损失函数，用公式表示为：
；
其中，为标签值，/>为预测值；
通过迭代训练和超参数调整，当模型达到预设性能标准时，在测试中输出得到最终的识别结果图。
本发明第二方面提供了一种基于红外小目标检测的森林余火检测系统，该系统包括：存储器、处理器，所述存储器及处理器存储并执行基于红外小目标检测的森林余火检测方法的程序。
本发明解决了背景技术中存在的缺陷，本发明具备以下有益效果：
本发明提出一种基于红外小目标检测的森林余火检测方法，主要分为编码和和解码两个部分。在编码部分，分离了深层和浅层特征，增加了非线性函数F(·)来对浅层特征进行优化，使用AFPN模块和ASPP模块，通过膨胀卷积和金字塔结构扩大感受野，融合不同尺度的特征信息，提高了对于弱小目标的检测效果。在解码部分，将深层特征和浅层特征进行合并融合，使用卷积和上采样均衡浅层次和深层次特征的通道数，使得两者具有相同的重要性和训练占比。
使用深度评估网络检测结果进行质量评估，不断优化模型参数，大大提高了方法的鲁棒性。引入二元交叉熵作为损失函数，累积所有像素的损失，尽量使得检测得到的掩膜图与人为标注的地面实况保持一致。减小因硬件设备本身存在的缺陷和环境因素的影响，降低了误检率，同时提高了检测准确率。
由于机载系统和卫星系统部署的距离较远，要想建立适合于多种系统中不同尺寸目标的分割模型，还需要针对小目标余火进行优化，解决小目标缺乏充足的外观信息，难以与背景或相似的目标区分开，并且检测精度要求高的问题。本技术基于FPN提取多尺度特征进而实现实例分割的思想，对DCNN模块进行了优化，提出了一种AFPN模块，可以融合多个尺度的特征。可以及时识别到微弱的余火目标，从而实现火情预警等。
附图说明
为了更清楚地说明本发明实施例或示例性中的技术方案，下面将对实施例或示例性描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以按照这些附图示出的获得其他的附图。
图1示出了本发明基于红外小目标检测的森林余火检测方法的流程图；
图2示出了本发明森林余火检测方法的多尺度余火检测算法网络模型结构图；
图3示出了本实施例中使用ASPP模块提取深层特征流程图；
图4示出了本实施例中使用空洞卷积的编码-解码结构图；
图5示出了本发明基于红外小目标检测的森林余火检测系统的框图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明基于红外小目标检测的森林余火检测方法的流程图。
如图1所示，本发明第一方面提供了基于红外小目标检测的森林余火检测方法，包括：
S01：通过机载系统和卫星系统获取森林红外成像数据集并进行预处理；
S02：对于每一张预处理后的图像，输入模型编码器以提取不同深浅层次的特征信息；
S03：将编码器输出的图像特征输入解码器，均衡浅层次和深层次特征，还原出预测的二值化图像；
S04：基于测试数据对语义分割结果进行评估，优化模型参数，得到最终的识别结果。
需要说明的是，所述步骤S01中，获取红外成像灰度图像数据并进行预处理的具体方法为：首先从机载系统或卫星系统获得红外成像视频，接着对视频的每一帧进行分析，转换为红外成像灰度图，由于红外信号波动范围很大，再加上硬件设备本身存在的缺陷和环境因素的影响，易造成图像的模糊、细节丢失、对比度低下等问题。因此，为了适应模型的输入和不同尺度目标的分割任务，在模型的训练中，删除了其中的无实体、被遮挡的无效图像，保留了大多数不同尺度的火焰图像和小部分具有较大人为干扰的图像进行训练。在实际应用中，对红外灰度图像进行了对比度调整。最后，将红外成像灰度图统一调整为256×256的大小。
需要说明的是，所述步骤S02中，对于每一张预处理后的图像，输入模型编码器以提取深层和浅层的特征信息的具体方法为：使用深度卷积神经网络来提取图像特征，在这里，将输出步幅h定义为输入图像和最终输出图像的尺寸之比。图像分类任务中，最终特征图的尺寸通常比输入图像的尺寸小32倍。而对于图像分割任务，可以通过在backbone的最后一个（或两个）模块应用空洞卷积（步长为2或者4）来使得输出步幅为16或8，从而获得更加密集的特征。
S201，将预处理后训练集的图像x输入到深度卷积神经网络(DCNN)模型中，得到主干网络的输出特征为y。
使用ResNet101网络来重构深度卷积网络（DCNN），并且在主干网络提取特征时没有使用空洞卷积，目的是牺牲少量的特征来提高模型的检测速度。除此之外在DCNN中，新增AFPN模块，对于主干网络输出的特征y，以2为步长进行3次下采样，得到特征金字塔，对/>使用1×1的卷积核和步长为1的3×3膨胀卷积得到/>、对/>使用3×3的卷积核和步长为3的3×3膨胀卷积得到/>、对/>使用3×3的卷积核和步长为2的3×3膨胀卷积得到/>，在此之后，再对y进行3次下采样，并且在3次三采样的过程中先分别与/>、、/>进行特征融合，最终将融合后的最小尺度深层特征t输入给空洞空间金字塔池化模块（ASPP）来进行池化操作和进一步的特征处理。
其中，在AFPN模块中涉及到膨胀卷积，膨胀卷积可以在增加感受野的同时保持特征图的尺寸不变，这对于小目标的特征信息来说是更为友好的。若用r来表示膨胀卷积的扩张率（步长），K表示标准卷积的卷积核，表示空洞卷积的卷积核，那么空洞卷积核和标准卷积核之间的尺寸关系可以用一个公式表示：
；
进一步可以写出空洞卷积感受野的计算公式：
；
其中，和/>分别表示本层和上一层的感受野，/>表示第i层卷积或池化的步长。事实上，只需将/>替换为K就可以得到标准卷积感受野的计算公式。
在具体实现中，要先对特征图进行扩维等尺度变换。对于一张初步提取的特征图X，假设它的向量空间为，由于在步骤S01中对输入图像进行了尺度变换，W等于H，因此实际上的向量空间可以表示为/>。由于膨胀卷积可以保持特征图的尺寸不变，经膨胀卷积之后，特征图的尺寸可以由以下公式计算：
；
其中p表示池化。
S202：将DCNN模块输出的特征信息输入ASPP模块来进一步提取深层特征。
如图3所示，在空洞金字塔池化模块（ASPP）中，同样也是使用不同步长的膨胀卷积从多个不同的尺度来探取图像级卷积特征。从整体来看，ASPP模块包括四个卷积层和一个池化层，可以得到5个特征图拼接到一起，虽然该模块生成了多个特征图，但是在编码器-解码器结构中，如图3中所示，在解码器Decoder部分使用1×1卷积将原始DeepLabv3+中用于逻辑回归之前的最后一个特征图提取出来作为编码器实际的深层特征输出。需要注意的是，编码器输出的特征图实际上包含了256个通道，并且具有丰富的语义信息。对于DCNN模块最终输出的特征图t，分别对其进行1×1的卷积、步长为4的3×3的膨胀卷积、步长为6的3×3膨胀卷积、步长为8的3×3膨胀卷积和自适应均值池化，得到特征矩阵。之后再对/>进行一次1×1卷积和上采样得到/>，进行合并之后可以的到包含深层特征信息的特征图/>，将其记为s。
需要说明的是，所述步骤S03中，对于将编码器输出的图像特征输入解码器，均衡浅层次和深层次特征，还原出预测的二值化图像的具体方法为：
在这一部分，Deeplab以16倍的步幅进行上采样，可以视为常规的编码器-解码器模型结构，Deeplabv3+在原先的基础上进行了优化。
S301:编码器输出的深层特征s首先以4为系数被双线性上采样，然后与来自backbone的具有相同空间尺寸的相应低级特征连接。
S302:除此之外，为了均衡浅层次和深层次特征的通道数，使得两者具有相同的重要性和训练占比，还额外在低层级特征输出后使用1×1的卷积来降维，从而减少低层级特征的通道数（512）。
S303:在对两个特征图进行级联之后，使用预设数量的3×3卷积来细化特征，并且再一次进行简单的4倍双线性上采样，以还原16倍的输出步幅。
需要说明的是，所述S301步骤的具体方法为：
首先，对ASPP模块输出的深层特征s以4为系数进行双线性上采样，该方法实际上基于双线性插值，接下来叙述双线性插值的一般情况。若已知特征图在，，/>，/>四个点的值，求特征图在/>的值的过程就是双线性插值的过程。假设图像对应的映射关系为/>，/>是离点P最近的4个点，在x方向进行线性插值有：
；
；
；
；
然后在y方向进行线性插值，
；
；
；
也可以先对y方向进行插值，再对x方向进行插值，结果不变。在实际的采样过程中，与/>的值都为1。
其次，与来自主干网络的具有相同空间尺寸的相应低级特征图y连接，在此过程中，对特征图进行了非线性变换，使用ReLU激活函数来进行拟合以实现更好的效果。浅层特征可以用公式表示为：
；
使用单侧饱和的ReLU激活函数使得模型对于噪声干扰更具鲁棒性。假设一个双侧都不饱和的神经元，正侧的不饱和导致神经元正值的取值各不相同，这是所希望的，因为正值的大小代表了检测特征信号的强弱。但负值的大小引入了背景噪声或者其他特征信息，这会给后续的神经元带来无用的干扰且可能导致神经元之间的相关性，相关性是容易造成模型病态的。
需要说明的是，所述S302步骤的具体方法为：为了均衡浅层次和深层次特征的通道数，使得两者具有相同的重要性和训练占比，还额外在低层级特征输出后使用1×1的卷积来降维，从而减少低层级特征的通道数（512）。
需要说明的是，所述S303步骤的具体方法为：在对两个特征图进行级联之后，使用预设数量的3×3卷积来细化特征，并且再一次进行简单的4倍双线性上采样，以还原16倍的输出步幅。结合了空洞卷积的编码解码结构可以用图4进行简化表示，可以直观地看到训练中输中尺度的变化。
需要说明的是，所述步骤S04中，基于测试数据对语义分割结果进行评估，优化模型参数，得到最终识别结果的具体方法为：
因为语义分割是像素级别的分类，对于检测模型来说每一个像素点就是一个样本。在训练中将batch_size设置为1，也就是说一次送入一张图，然后对每一个像素的预测类别和真实的类别标签（人为标注的地面实况）求交叉熵。
设置模型的两种检测类别，即余火类别和背景类别，并且train和inference稍有区别，inference是直接取每一个像素点的2维向量最大值对应的类，train则是对这个2维向量进行softmax操作，然后求交叉熵。其损失函数可以用公式表示为：
；
其中，为标签值，/>为预测值。
在此过程中，迭代地进行训练和超参数调整，直到达到最佳性能，在测试中输出得到最终的识别结果图。
图5示出了本发明基于红外小目标检测的森林余火检测系统的框图。
本发明第二方面提供了一种基于红外小目标检测的森林余火检测系统，该系统包括：存储器、处理器，所述存储器及处理器存储并执行基于红外小目标检测的森林余火检测方法的程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (6)
1.一种基于红外小目标检测的森林余火检测方法，其特征在于，包括以下步骤：
步骤S01：通过机载系统和卫星系统获取森林红外成像数据集并进行预处理；
步骤S02：对于每一张预处理后的图像，输入模型编码器以提取不同深浅层次的特征信息；
步骤S03：将编码器输出的图像特征输入解码器，均衡浅层次和深层次特征，还原出预测的二值化图像；
步骤S04：基于测试数据对语义分割结果进行评估，优化模型参数，得到最终的识别结果；
在所述步骤S02中，具体为：
使用ResNet101网络重构深度卷积神经网络，将预处理后训练集的图像输入到深度卷积神经网络中，在所述深度卷积神经网络中新增AFPN模块，对于主干网络输出的特征y，以2为步长进行3次下采样，得到特征金字塔，对/>使用1×1的卷积核和步长为1的3×3膨胀卷积得到/>、对/>使用3×3的卷积核和步长为3的3×3膨胀卷积得到/>、对/>使用3×3的卷积核和步长为2的3×3膨胀卷积得到/>，在此之后，再对y进行3次下采样，并且在3次下采样的过程中先分别与/>、/>、/>进行特征融合；
将融合后的最小尺度特征输入给空洞空间金字塔池化模块来进行池化操作，在所述空洞空间金字塔池化模块中使用不同步长的膨胀卷积从多个不同的尺度探取图像级卷积特征，将输出步幅定义为输入图像和最终输出图像的尺寸之比；
在模型的编码器-解码器结构中，在编码器部分使用1×1卷积将原始DeepLabv3+中用于逻辑回归之前的最后一个特征图提取出来作为编码器实际的深层特征输出；
将原始DeepLabv3+中用于逻辑回归之前的最后一个特征图提取出来作为编码器实际的深层特征输出，具体为：
获取深度卷积神经网络最终输出的特征图t，分别对其进行1×1的卷积、步长为4的3×3的膨胀卷积、步长为6的3×3膨胀卷积、步长为8的3×3膨胀卷积和自适应均值池化，得到特征矩阵；
之后再对进行一次1×1卷积和上采样得到/>，进行合并之后可以得到包含深层特征信息的特征图/>。
2.根据权利要求1所述的一种基于红外小目标检测的森林余火检测方法，其特征在于，在所述步骤S01中，通过从机载系统和卫星系统获得红外成像视频，对所述红外成像视频中的视频帧进行帧级别分析，转换为红外成像灰度图；
筛选所述红外成像灰度图中的无效图像并进行数据增强，将红外成像灰度图统一调整为256×256的大小，根据基于航拍图像的森林火情检测数据集生成模型的训练集与测试集。
3.根据权利要求1所述的一种基于红外小目标检测的森林余火检测方法，其特征在于，在所述步骤S03中，具体为：
在模型编码器部分中，编码器输出的深层特征首先以4为系数进行双线性上采样，然后与来自主干网络的具有相同空间尺寸的相应低级特征进行连接；
在低层级特征输出后使用1×1的卷积来降维，均衡浅层次和深层次特征的通道数，使得两者具有相同的重要性和训练占比，从而减少低层级特征的通道数；
在对两个特征图进行级联之后，使用预设数量的3×3卷积细化特征，并且再一次进行简单的4倍双线性上采样，以还原输出步幅。
4.根据权利要求3所述的一种基于红外小目标检测的森林余火检测方法，其特征在于，将双线性上采样后的深层特征与来自主干网络的具有相同空间尺寸的相应低级特征进行连接的过程中，对特征图进行非线性变换，使用ReLU激活函数进行拟合以实现更好的效果。
5.根据权利要求1所述的一种基于红外小目标检测的森林余火检测方法，其特征在于，在所述步骤S04中，具体为：
将模型的检测类别设置为余火类别及背景类别，在训练过程中将batch_size设置为1，获取训练样本中每一个像素的预测类别及真实的类别标签的交叉熵；
利用所述交叉熵定义模型的损失函数，用公式表示为：
；
其中，为标签值，/>为预测值；
通过迭代训练和超参数调整，当模型达到预设性能标准时，在测试中输出得到最终的识别结果图。
6.一种基于红外小目标检测的森林余火检测系统，其特征在于，该系统包括：存储器、处理器，所述存储器及处理器存储并执行如权利要求1-5任意项所述的基于红外小目标检测的森林余火检测方法的程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311492248.XA CN117237644B (zh) | 2023-11-10 | 2023-11-10 | 基于红外小目标检测的森林余火检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311492248.XA CN117237644B (zh) | 2023-11-10 | 2023-11-10 | 基于红外小目标检测的森林余火检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237644A CN117237644A (zh) | 2023-12-15 |
| CN117237644B true CN117237644B (zh) | 2024-02-13 |
Family
ID=89095158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311492248.XA Active CN117237644B (zh) | 2023-11-10 | 2023-11-10 | 基于红外小目标检测的森林余火检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237644B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462124A (zh) * | 2020-03-31 | 2020-07-28 | 武汉卓目科技有限公司 | 一种基于DeepLabV3+的遥感卫星云检测方法 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
| CN112906706A (zh) * | 2021-03-31 | 2021-06-04 | 西南科技大学 | 一种改进的基于编解码器的图像语义分割方法 |
| CN113112510A (zh) * | 2021-04-29 | 2021-07-13 | 五邑大学 | 一种语义分割的森林火灾检测方法、控制器及存储介质 |
| CN113192087A (zh) * | 2021-05-19 | 2021-07-30 | 北京工业大学 | 一种基于卷积神经网络的图像分割方法 |
| CN115170801A (zh) * | 2022-07-20 | 2022-10-11 | 东南大学 | 一种基于双注意力机制融合的FDA-DeepLab语义分割算法 |
| CN115311456A (zh) * | 2022-08-11 | 2022-11-08 | 东北大学 | 基于改进DeepLabv3+的风口焦炭分割方法 |
| CN116071676A (zh) * | 2022-12-02 | 2023-05-05 | 华东理工大学 | 一种基于注意力导向金字塔融合的红外小目标检测方法 |
| CN116129111A (zh) * | 2022-12-22 | 2023-05-16 | 上海欣能信息科技发展有限公司 | 改进DeepLabv3+模型的电力线语义分割方法 |
| CN116778164A (zh) * | 2023-06-30 | 2023-09-19 | 桂林电子科技大学 | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 |
| CN116912708A (zh) * | 2023-07-20 | 2023-10-20 | 重庆邮电大学 | 一种基于深度学习的遥感影像建筑物提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114514535A (zh) * | 2019-10-11 | 2022-05-17 | 北京嘀嘀无限科技发展有限公司 | 基于语义分割的实例分割系统和方法 |
-
2023
- 2023-11-10 CN CN202311492248.XA patent/CN117237644B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462124A (zh) * | 2020-03-31 | 2020-07-28 | 武汉卓目科技有限公司 | 一种基于DeepLabV3+的遥感卫星云检测方法 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
| CN112906706A (zh) * | 2021-03-31 | 2021-06-04 | 西南科技大学 | 一种改进的基于编解码器的图像语义分割方法 |
| CN113112510A (zh) * | 2021-04-29 | 2021-07-13 | 五邑大学 | 一种语义分割的森林火灾检测方法、控制器及存储介质 |
| CN113192087A (zh) * | 2021-05-19 | 2021-07-30 | 北京工业大学 | 一种基于卷积神经网络的图像分割方法 |
| CN115170801A (zh) * | 2022-07-20 | 2022-10-11 | 东南大学 | 一种基于双注意力机制融合的FDA-DeepLab语义分割算法 |
| CN115311456A (zh) * | 2022-08-11 | 2022-11-08 | 东北大学 | 基于改进DeepLabv3+的风口焦炭分割方法 |
| CN116071676A (zh) * | 2022-12-02 | 2023-05-05 | 华东理工大学 | 一种基于注意力导向金字塔融合的红外小目标检测方法 |
| CN116129111A (zh) * | 2022-12-22 | 2023-05-16 | 上海欣能信息科技发展有限公司 | 改进DeepLabv3+模型的电力线语义分割方法 |
| CN116778164A (zh) * | 2023-06-30 | 2023-09-19 | 桂林电子科技大学 | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 |
| CN116912708A (zh) * | 2023-07-20 | 2023-10-20 | 重庆邮电大学 | 一种基于深度学习的遥感影像建筑物提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多尺度空洞卷积自编码神经网络的森林烟火监测;冯嘉良 等;计算机与数字工程(第12期);第205-211页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237644A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111079683B (zh) | 基于卷积神经网络的遥感图像云雪检测方法 | |
| CN110222717B (zh) | 图像处理方法和装置 | |
| Venugopal | Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images | |
| Kang et al. | Deep learning-based weather image recognition | |
| Cui et al. | Improved swin transformer-based semantic segmentation of postearthquake dense buildings in urban areas using remote sensing images | |
| Cho et al. | Semantic segmentation with low light images by modified CycleGAN-based image enhancement | |
| CN116311254B (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
| CN114037640A (zh) | 图像生成方法及装置 | |
| CN114529462A (zh) | 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及系统 | |
| Wang et al. | Low-light image enhancement based on deep learning: a survey | |
| Li | Image semantic segmentation method based on GAN network and ENet model | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| CN115984714B (zh) | 一种基于双分支网络模型的云检测方法 | |
| CN117237644B (zh) | 基于红外小目标检测的森林余火检测方法及系统 | |
| CN116994049A (zh) | 全自动针织横机及其方法 | |
| CN114581353A (zh) | 一种红外图像的处理方法、装置、介质及电子设备 | |
| CN114694209A (zh) | 视频处理方法、装置、电子设备及计算机存储介质 | |
| CN117809168B (zh) | 一种基于水下目标的固有属性特征进行检测的方法及装置 | |
| Du et al. | Dehazing Network: Asymmetric Unet Based on Physical Model | |
| CN116341396B (zh) | 一种基于多源数据融合的复杂装备数字孪生建模方法 | |
| Haoran et al. | Yolov5 Vehicle Detection Model in Fog Based on Channel Attention Enhancement | |
| Zhang et al. | Research on real-time detection algorithm for pedestrian and vehicle in foggy weather based on lightweight XM-YOLOViT | |
| Lv et al. | Video enhancement and super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |