CN116012395A - 一种基于深度可分离卷积的多尺度融合烟雾分割方法 - Google Patents
一种基于深度可分离卷积的多尺度融合烟雾分割方法 Download PDFInfo
- Publication number
- CN116012395A CN116012395A CN202310070476.1A CN202310070476A CN116012395A CN 116012395 A CN116012395 A CN 116012395A CN 202310070476 A CN202310070476 A CN 202310070476A CN 116012395 A CN116012395 A CN 116012395A
- Authority
- CN
- China
- Prior art keywords
- smoke
- module
- feature
- fusion
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 141
- 230000011218 segmentation Effects 0.000 title claims abstract description 83
- 230000004927 fusion Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005070 sampling Methods 0.000 claims abstract description 37
- 238000005096 rolling process Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 3
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- -1 temperature Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度可分离卷积的多尺度融合烟雾分割方法，包括：获取待分割的烟雾图像；将待分割的烟雾图像输入预训练好的烟雾分割网络模型，得到输出的烟雾分割结果图；其中所述烟雾分割网络模型包括编码模块和解码模块，所述编码模块包括基于采用深度可分离卷积的改进Xception的骨干网络和改进的ASPP_SE模块；所述解码模块包括通道特征增强模块、多尺度特征融合模块、卷积和上采样。
Description
技术领域
本发明涉及图像处理和神经网络技术领域，尤其是涉及一种基于深度可分离卷积的多尺度融合烟雾分割方法。
背景技术
在各种灾害中，火灾是最普遍威胁公众安全和社会发展的主要灾害之一。在火灾初期，烟雾往往先于火焰产生，因此烟雾检测对于预防火灾和保障人民安全意义重大。传统的烟雾检测技术通常基于传感器感烟、感温或颗粒浓度等，但存在延迟，这会导致火势迅速蔓延而无法控制，且需安装在火灾发生点附件，这就限制了传感器适合应用于小型室内空间。此外，传感器不能提供火灾初始位置、传播方向、规模、增长速度等信息。随着计算机视觉的不断发展，基于图像处理技术的烟雾检测技术取得了很大的进步，从图像中监测定位烟雾，比传统的传感器更加快速准确，且更适用于开阔、野外场景中的烟雾探测。传统图像处理技术需要借助专业知识人工提取特征，然而得到的烟雾特征只局限于颜色、边缘和简单纹理。
近年来，基于深度学习的烟雾检测技术得到迅速发展，以深度卷积神经网络代替人工操作提取目标特征，按照输出形式可分为两类：一是通过目标检测的方法，输出矩形框实现对烟雾区域识别和标注；二是通过语义分割的方法，针对图像中所有像素点类别判定并输出分割图。语义分割法能更好地提取烟雾的本质特征，以检测对象边缘为界限区分不同目标区域，实现精细化识别分割。全卷积网络(FCN)是语义分割领域的开山之作，利用卷积层替代全连接层，输出二维图像。此后出现了编码解码器架构，研究者们利用该架构进行烟雾分割取得了较理想的效果。但是，现有的烟雾分割方法同样面临诸多挑战：(1)很难同时捕获足够的上下文信息和不同层级特征图的细节信息；(2)烟雾具有尺度多变、边缘模糊和半透明等特性，使得精确分割烟雾的难度显著增加。现有的烟雾分割方法没有特别关注到多变和模糊边缘的纹理细节信息带来的挑战。
发明内容
为解决现有技术存在的问题，本发明提出了一种基于深度可分离卷积的多尺度融合烟雾分割方法，结合烟雾形态特点和工程应用的需求，搭建了一个适用于烟雾分割的高效网络模型。以采用深度可分离卷积的改进Xception为骨干网络，与基于空洞卷积的金字塔构型(atrous spatial pyramid pooling,ASPP)组成分割模型编码模块，并在其中应用了通道注意力来增强模型的特征表达能力，采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成解码模块，能够较为精确的分割烟雾。
本发明解决其技术问题所采用的技术方案是：
第一方面，本发明提供一种基于深度可分离卷积的多尺度融合烟雾分割方法，包括：
获取待分割的烟雾图像；
将待分割的烟雾图像输入预训练好的烟雾分割网络模型，得到输出的烟雾分割结果图；
其中所述烟雾分割网络模型包括编码模块和解码模块，所述编码模块包括基于采用深度可分离卷积的改进Xception的骨干网络和改进的ASPP_SE模块；所述解码模块包括通道特征增强模块、多尺度特征融合模块、卷积和上采样。
所述烟雾分割网络模型的训练方法包括：
步骤S1、获取烟雾图像，对烟雾图像进行分割标注预处理，构建原始烟雾数据集；
步骤S2、利用数据增强技术对原始烟雾数据集进行数据增强处理，得到增强处理后的数据集，并分为训练集和测试集；
步骤S3、搭建烟雾分割网络，以采用深度可分离卷积的改进Xception为骨干网络，与改进的ASPP_SE模块组成编码模块，采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成多层次结构的解码模块；
步骤S4、设置网络训练环境和参数，利用训练集对搭建好的烟雾分割网络进行训练优化，使用测试集对训练好的网络进行测试，获得网络模型权重文件，得到训练好的烟雾分割网络模型。
在一些实施例中，步骤S1中，利用网站爬虫或分帧截取烟雾视频获得不同场景下的烟雾图像，进行筛选将烟雾图像统一为能进行网络训练的规格，并分割标注图像。
在一些实施例中，步骤S2中，利用数据增强技术对原始烟雾数据集进行数据增强处理，包括：对原始烟雾数据集进行随机旋转、裁剪、翻转和缩放以及随机亮度、饱和度和对比度变化操作进行数据增强，扩充烟雾数据集。
在一些实施例中，步骤S3中，编码模块采用改进的Xception作为骨干网络，初始图像输入到编码模块，经输入流、中间流和输出流卷积运算，生成分辨率为初始图像1/16的特征向量；中间流是主要特征学习模块，由8个重复的分离卷积模块DSCM直连组成，每个分离卷积模块由3个728通道的深度分离卷积以残差结构连接；采用残差连接的中间流结构，用1×1卷积把输入通道数降为600后，将8个分离卷积模块均分成4组，每组以残差连接再次使用1×1卷积把通道数恢复为728，得到骨干网络提取的采样率为2的第一特征张量、采样率为4的第二特征张量、采样率为8的第三特征张量、采样率为16的第四特征张量；
将骨干网络提取的第四特征张量输入改进的ASPP_SE模块，改进的ASPP_SE模块包括第一个支路、第二个支路、第三个支路、第四个支路、第五个支路；第一个支路是1×1标准卷积，用于保持原有的感受野；第二至四个支路是r＝6、r＝12、r＝18，3种不同扩张率的深度可分离卷积，用于特征提取来获得不同的感受野；第五个支路是全局平均池化，用于获取全局特征；在第五个分支将输入特征图经过全局平均池化后加入两个全连接层以及Sigmoid函数，生成通道注意力权重向量；分别对第一个支路、第二个支路、第三个支路、第四个支路的特征图采用通道注意力权重向量进行加权；将第一个支路、第二个支路、第三个支路、第四个支路、第五个支路输出的特征图在通道维度上堆叠，经过1×1标准卷积融合不同尺度的信息；并将该输出与骨干网络提取的第四特征张量相乘，作为编码模块输出的特征张量。
在一些实施例中，步骤S3中，解码模块采用通道特征增强模块、多尺度特征融合模块、卷积和上采样，通过上采样恢复图像尺寸并完成烟雾图像分割；
对来自编码模块输出的特征张量通过双线性插值2倍上采样得到第一特征图；
对来自骨干网络的第一特征张量、第二特征张量、第二特征张量采用通道特征增强模块进行通道特征增强分别得到第一通道注意力特征图、第二通道注意力特征图、第三通道注意力特征图；
采用多尺度特征融合模块将第一通道注意力特征图和第一特征图进行特征融合得到第一融合特征图，第一融合特征图经过2倍上采样后与第二通道注意力特征图进行特征融合得到第二融合特征图；第二融合特征图经过2倍上采样后与第三通道注意力特征图进行特征融合得到第三融合特征图；
将第三融合特征图进行3×3卷积后2倍上采样操作，输出烟雾分割结果图。
在一些实施例中，所述通道特征增强模块引入通道注意力机制，通道注意力机制包括压缩和激活两部分；
压缩部分通过全局平均池化对通道进行压缩，对第i个通道有:
其中，W×H表示原特征图分辨率，μ表示H×W×C为的特征图，C为总通道数，μi表示该特征图中通道为i的二维矩阵；通过全局平均池化，第i个通道的特征映射为zi，压缩过程得到1×1×C的一维向量；
激活部分通过两层全连接层来获得通道间的关系表达：
s＝σ(g(z,W))＝σ(W2(δ))
先通过一个权重为W1的第一全连接层降低通道数为原来的1/h，经过ReLU函数δ激活后输入权重为W2的第二全连接层恢复通道数，最后用Sigmoid函数σ生成归一化通道权重s，其尺度为1×1×C；
将归一化通道权重与原特征图对应通道相乘，得到通道注意力特征图。
在一些实施例中，步骤S4包括：将训练集的烟雾图像作为烟雾分割网络的输入图像，统一输入图像的大小，网络使用带动量的随机梯度下降算法进行训练，循环次数设置为200000，动量为0.9，初始学习率设置为1×10-4，终止学习率设置为1×10-5，学习率随训练次数线性递减；根据计算机配置batchsize设置为4，ASPP空洞卷积速率设置为6，12，18。
第二方面，本发明提供了一种基于深度可分离卷积的多尺度融合烟雾分割装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
本发明的有益效果是，面对烟雾具有尺度多变、边缘模糊和半透明等特性，本发明能够精确分割烟雾，能对烟雾边界进行精细化处理。与现有技术相比，本发明改进了编码和解码模块，设计了一些模块来充分提取多尺度特征之间和特征内部的相关信息，且引入注意力机制，筛选出更具区分力的通道信息，并指导恢复底层的空间细节。改进网络兼顾了分割精度和检测效率，显著地提高了烟雾像素的分割精度，为烟雾检测领域提供了新的参考。
附图说明
图1是本发明一实施例的烟雾分割网络的流程框图；
图2是本发明一实施例的烟雾分割网络的总体示意图；
图3是本发明一实施例的Xception网络残差中间流结构示意图；
图4是本发明一实施例的改进的ASPP_SE注意力模块示意图；
图5是本发明一实施例的通道特征增强模块示意图；
图6是本发明一实施例的多尺度特征融合模块示意图；
图7是本发明一实施例的烟雾分割网络的部分测试结果图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
实施例1：
一种基于深度可分离卷积的多尺度融合烟雾分割方法，包括：
获取待分割的烟雾图像；
将待分割的烟雾图像输入预训练好的烟雾分割网络模型，得到输出的烟雾分割结果图；
其中所述烟雾分割网络模型包括编码模块和解码模块，所述编码模块包括基于采用深度可分离卷积的改进Xception的骨干网络和改进的ASPP_SE模块；所述解码模块包括通道特征增强模块、多尺度特征融合模块、卷积和上采样。
所述烟雾分割网络模型的训练方法包括：
步骤S1、获取烟雾图像，对烟雾图像进行分割标注预处理，构建原始烟雾数据集；
步骤S2、利用数据增强技术对原始烟雾数据集进行数据增强处理，得到增强处理后的数据集，并分为训练集和测试集；
步骤S3、搭建烟雾分割网络，以采用深度可分离卷积的改进Xception为骨干网络，与改进的ASPP_SE模块组成编码模块，采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成多层次结构的解码模块；
步骤S4、设置网络训练环境和参数，利用训练集对搭建好的烟雾分割网络进行训练优化，使用测试集对训练好的网络进行测试，获得网络模型权重文件，得到训练好的烟雾分割网络模型。
在一些实施例中，一种基于深度可分离卷积的多尺度融合烟雾分割方法，网络训练流程如图1所示，本实施例采用Python语言作为基础，开源的Pytorch作为神经网络框架，完成烟雾分割网络模型的搭建，通过烟雾图像数据集训练烟雾分割网络，找出最优的模型参数，具体的步骤如下：
以采用深度可分离卷积的改进Xception为骨干网络，与基于空洞卷积的金字塔构型(ASPP)组成分割模型编码模块，并在其中应用了通道注意力来增强模型的特征表达能力，以采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成解码模块，搭建好的烟雾分割网络模型如图2所示，使用训练好的网络模型对烟雾图像进行分割，得到较为精确的分割结果图。
步骤S1、获取烟雾图像，对烟雾图像进行分割标注预处理，构建原始烟雾数据集；
在一些实施例中，利用网站爬虫或分帧截取烟雾视频获取不同场景下的烟雾图像，进行筛选将其统一为进行网络训练的同一规格，构建成烟雾数据集，使用Photoshop进行标注，对烟雾目标进行像素级的人工标注。
步骤S2、利用数据增强技术对原始烟雾数据集进行数据增强处理，得到增强处理后的数据集，并分为训练集和测试集；
在一些实施例中利用数据增强技术，对原始烟雾数据集进行随机旋转、裁剪、翻转和缩放，以及随机亮度、饱和度和对比度变化等操作，进行增强处理，按一定比例将数据集划分为训练集和测试集。
步骤S3：搭建烟雾分割网络；
编码模块使用改进的Xception为骨干网络，初始烟雾图像输入到编码模块，经输入流、中间流和输出流卷积运算，生成分辨率为原始图像1/16的第一特征向量。改进Xception网络，主要是优化中间流结构，中间流是主要特征学习模块，由8个重复的分离卷积模块(DSCM)直连组成，每个分离卷积模块由3个728通道的深度分离卷积以残差结构连接。密集连接导致网络过于复杂，通道拼接引入的大量计算不利于模型轻量化，由此提出残差连接的中间流结构，如图3所示。用1×1卷积把输入通道数降为600后，将8个模块均分成4组，每组以残差连接再次使用1×1卷积把通道数恢复为728，得到骨干网络提取的采样率为2的第一特征张量、采样率为4的第二特征张量、采样率为8的第三特征张量、采样率为16的第四特征张量。该方法增强了模块间信息的相关性，降低了网络运算量，有利于网络的特征学习和模型轻量化。
将骨干网络提取的第四特征张量输入改进的ASPP_SE模块，如图4所示，采用固定扩张率整合不同感受野信息的限制，更加灵活地对信息进行融合，以少量模型复杂度的代价提高了网络的建模能力和学习效率，引入通道注意力，增强了通道下特定语义的响应能力。改进的ASPP_SE模块包括第一个支路、第二个支路、第三个支路、第四个支路、第五个支路；第一个支路是1×1标准卷积，目的是保持原有的感受野；第二至四个支路是r＝6、r＝12、r＝18，3种不同扩张率的深度可分离卷积，目的是特征提取来获得不同的感受野；第五个支路是全局平均池化，为了获取全局特征，同时，在第五个分支将输入特征图经过全局平均池化后加入两个全连接层以及Sigmoid函数，生成通道注意力权重向量，然后，分别对第一个支路、第二个支路、第三个支路、第四个支路的特征图采用通道注意力权重向量进行加权，这种空间尺寸接近的加权能够更好发挥通道权重的作用。最后将五个分支的特征图在通道维度上堆叠，经过1×1标准卷积融合不同尺度的信息；并将该输出与骨干网络提取的第四特征张量相乘，可以为特征图提供更好的空间注意力信息。
编码模块通过下采样增大感受野并提取特征，解码模块采用通道特征增强模块、多尺度特征融合模块、卷积和上采样，通过上采样恢复图像尺寸并完成烟雾图像分割。为提高分割精度，降低细节损失，在解码模块参与预测的特征图中引入更低层特征，经过多尺度特征融合后形成新的特征图。
对来自骨干网络的第一特征张量、第二特征张量、第二特征张量采用通道特征增强模块进行通道特征增强分别得到第一通道注意力特征图、第二通道注意力特征图、第三通道注意力特征图；
采用多尺度特征融合模块将第一通道注意力特征图和第一特征图进行特征融合得到第一融合特征图，第一融合特征图经过2倍上采样后与第二通道注意力特征图进行特征融合得到第二融合特征图；第二融合特征图经过2倍上采样后与第三通道注意力特征图进行特征融合得到第三融合特征图；
将第三融合特征图进行3×3卷积后2倍上采样操作，输出烟雾分割结果图。
通道特征增强模块是在特征融合之前，引入通道注意力机制，是对主干网络输入流不同采样率的特征图进行增强，如图5所示。原网络并未对特征图进行通道加权，如果对特征图的通道加以权重，并学习和筛选出对目标预测贡献较大的特征，可以减轻处理高维数据的负担，还能让网络更加关注输入信息的重要部分，更好地判断输入到输出的映射关系，进一步提高模型的预测精度和泛化能力。通道注意力机制分为压缩和激活两部分。压缩部分通过全局平均池化对通道进行压缩，对第i个通道有:
其中，W×H表示原特征图分辨率，μ表示H×W×C为的特征图，C为总通道数，μi表示该特征图中通道为i的二维矩阵。通过全局平均池化，第i个通道的特征映射为zi，压缩过程得到1×1×C的一维向量。激活部分通过两层全连接层来获得通道间的关系表达：
s＝σ(g(z,W))＝σ(W2(δ))
首先通过一个权重为W1的全连接层降低通道数为原来的1/h，经过ReLU函数(δ)激活后输入第二个全连接层(权重为W2)恢复通道数，最后用Sigmoid函数(σ)生成归一化通道，其尺度为1×1×C。将归一化通道权重与原特征图对应通道相乘，即得到通道注意力特征图。
高层语义信息保持了大的语义结构，但小结构丢失严重；低层空间信息的分割结果保留了丰富的细节，但语义类别预测的不佳。因此本发明基于多尺度融合思想，融入骨干网络低层高分辨率特征图，采用多尺度特征融合模块，在需要上采样进行特征融合时，通过建立不同层次特征图上像素点之间的位置关系，高效地将高级语义信息精确地融入低层次特征图中，如图6所示。首先将两个不同层次的特征图作为输入进行融合拼接，一个来自编码模块输出特征图进行2倍上采样，另一个是骨干网络输入流降采样率为8的特征图(其特征图经过通道特征增强模块)。然后，融合拼接的特征图再次经2倍上采样，与输入流降采样率为4的特征图融合，再次2倍上采样，与输入流降采样率为2的特征图融合，故多尺度特征融合模块是有三次特征融合。利用1×1卷积将通道数调整与先前一致，经过3×3卷积后2倍上采样操作，恢复特征图分辨率与原图一致，输出分割烟雾图像结果。
步骤四：设置网络训练环境和参数：将处理后的烟雾训练集作为网络输入图像，统一输入图像的大小，使用带动量的随机梯度下降算法进行训练，循环次数设置为200000，动量为0.9，初始学习率设置为1×10-4，终止学习率设置为1×10-5，学习率随训练次数线性递减；根据计算机配置批处理设置为4，ASPP空洞卷积速率设置为6，12，18。
具体应用例：本实施例以2022年南方某省森林火灾的烟雾视频为例，采用实施例1中的训练好的烟雾分割模型具体进行烟雾图像分割。通过从森林监控系统中调取摄像头获取火灾实时画面，将提取到的视频图像进行逐帧处理，转换成需要的图像格式大小；将训练好的权重文件加载到网络模型中，初始化烟雾分割模型，紧接着将烟雾图像输入到网络模型中，通过训练好的烟雾分割网络输出分割结果图。图7为一种基于深度可分离卷积的多尺度融合烟雾分割的部分测试结果图。结果表明，本发明提供的方法显著地提高了烟雾图像的分割精度，对烟雾检测领域的研究具有重要的应用价值。
实施例2
第二方面，本实施例提供了一种基于深度可分离卷积的多尺度融合烟雾分割装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。
实施例3
第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，包括：
获取待分割的烟雾图像；
将待分割的烟雾图像输入预训练好的烟雾分割网络模型，得到输出的烟雾分割结果图；
其中所述烟雾分割网络模型包括编码模块和解码模块，所述编码模块包括基于采用深度可分离卷积的改进Xception的骨干网络和改进的ASPP_SE模块；所述解码模块包括通道特征增强模块、多尺度特征融合模块、卷积和上采样。
2.根据权利要求1所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，所述烟雾分割网络模型的训练方法包括：
步骤S1、获取烟雾图像，对烟雾图像进行分割标注预处理，构建原始烟雾数据集；
步骤S2、利用数据增强技术对原始烟雾数据集进行数据增强处理，得到增强处理后的数据集，并分为训练集和测试集；
步骤S3、搭建烟雾分割网络，以采用深度可分离卷积的改进Xception为骨干网络，与改进的ASPP_SE模块组成编码模块，采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成多层次结构的解码模块；
步骤S4、设置网络训练环境和参数，利用训练集对搭建好的烟雾分割网络进行训练优化，使用测试集对训练好的网络进行测试，获得网络模型权重文件，得到训练好的烟雾分割网络模型。
3.根据权利要求2所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，步骤S1中，利用网站爬虫或分帧截取烟雾视频获得不同场景下的烟雾图像，进行筛选将烟雾图像统一为能进行网络训练的规格，并分割标注图像。
4.根据权利要求2所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，步骤S2中，利用数据增强技术对原始烟雾数据集进行数据增强处理，包括：对原始烟雾数据集进行随机旋转、裁剪、翻转和缩放以及随机亮度、饱和度和对比度变化操作进行数据增强，扩充烟雾数据集。
5.根据权利要求2所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，步骤S3中，编码模块采用改进的Xception作为骨干网络，初始图像输入到编码模块，经输入流、中间流和输出流卷积运算，生成分辨率为初始图像1/16的特征向量；中间流是主要特征学习模块，由8个重复的分离卷积模块DSCM直连组成，每个分离卷积模块由3个728通道的深度分离卷积以残差结构连接；采用残差连接的中间流结构，用1×1卷积把输入通道数降为600后，将8个分离卷积模块均分成4组，每组以残差连接再次使用1×1卷积把通道数恢复为728，得到骨干网络提取的采样率为2的第一特征张量、采样率为4的第二特征张量、采样率为8的第三特征张量、采样率为16的第四特征张量；
将骨干网络提取的第四特征张量输入改进的ASPP_SE模块，改进的ASPP_SE模块包括第一个支路、第二个支路、第三个支路、第四个支路、第五个支路；第一个支路是1×1标准卷积，用于保持原有的感受野；第二至四个支路是r＝6、r＝12、r＝18，3种不同扩张率的深度可分离卷积，用于特征提取来获得不同的感受野；第五个支路是全局平均池化，用于获取全局特征；在第五个分支将输入特征图经过全局平均池化后加入两个全连接层以及Sigmoid函数，生成通道注意力权重向量；分别对第一个支路、第二个支路、第三个支路、第四个支路的特征图采用通道注意力权重向量进行加权；将第一个支路、第二个支路、第三个支路、第四个支路、第五个支路输出的特征图在通道维度上堆叠，经过1×1标准卷积融合不同尺度的信息；并将该输出与骨干网络提取的第四特征张量相乘，作为编码模块输出的特征张量。
6.根据权利要求5所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，步骤S3中，解码模块采用通道特征增强模块、多尺度特征融合模块、卷积和上采样，通过上采样恢复图像尺寸并完成烟雾图像分割；
对来自编码模块输出的特征张量通过双线性插值2倍上采样得到第一特征图；
对来自骨干网络的第一特征张量、第二特征张量、第二特征张量采用通道特征增强模块进行通道特征增强分别得到第一通道注意力特征图、第二通道注意力特征图、第三通道注意力特征图；
采用多尺度特征融合模块将第一通道注意力特征图和第一特征图进行特征融合得到第一融合特征图，第一融合特征图经过2倍上采样后与第二通道注意力特征图进行特征融合得到第二融合特征图；第二融合特征图经过2倍上采样后与第三通道注意力特征图进行特征融合得到第三融合特征图；
将第三融合特征图进行3×3卷积后2倍上采样操作，输出烟雾分割结果图。
7.根据权利要求1所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，所述通道特征增强模块引入通道注意力机制，通道注意力机制包括压缩和激活两部分；
压缩部分通过全局平均池化对通道进行压缩，对第i个通道有:
其中，W×H表示原特征图分辨率，μ表示H×W×C为的特征图，C为总通道数，μi表示该特征图中通道为i的二维矩阵；通过全局平均池化，第i个通道的特征映射为zi，压缩过程得到1×1×C的一维向量；
激活部分通过两层全连接层来获得通道间的关系表达：
s＝σ(g(z,W))＝σ(W2(δ))
先通过一个权重为W1的第一全连接层降低通道数为原来的1/h，经过ReLU函数δ激活后输入权重为W2的第二全连接层恢复通道数，最后用Sigmoid函数σ生成归一化通道权重s，其尺度为1×1×C；
将归一化通道权重与原特征图对应通道相乘，得到通道注意力特征图。
8.根据权利要求1所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，步骤S4包括：将训练集的烟雾图像作为烟雾分割网络的输入图像，统一输入图像的大小，网络使用带动量的随机梯度下降算法进行训练，循环次数设置为200000，动量为0.9，初始学习率设置为1×10-4，终止学习率设置为1×10-5，学习率随训练次数线性递减；根据计算机配置batchsize设置为4，ASPP空洞卷积速率设置为6，12，18。
9.一种基于深度可分离卷积的多尺度融合烟雾分割装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1至8任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310070476.1A CN116012395A (zh) | 2023-02-07 | 2023-02-07 | 一种基于深度可分离卷积的多尺度融合烟雾分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310070476.1A CN116012395A (zh) | 2023-02-07 | 2023-02-07 | 一种基于深度可分离卷积的多尺度融合烟雾分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116012395A true CN116012395A (zh) | 2023-04-25 |
Family
ID=86019183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310070476.1A Pending CN116012395A (zh) | 2023-02-07 | 2023-02-07 | 一种基于深度可分离卷积的多尺度融合烟雾分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116012395A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116362944A (zh) * | 2023-05-31 | 2023-06-30 | 四川三思德科技有限公司 | 基于差异性的抗飞防作业干扰处理方法、装置及介质 |
| CN117095257A (zh) * | 2023-10-16 | 2023-11-21 | 珠高智能科技(深圳)有限公司 | 多模态大模型微调方法、装置、计算机设备及存储介质 |
-
2023
- 2023-02-07 CN CN202310070476.1A patent/CN116012395A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116362944A (zh) * | 2023-05-31 | 2023-06-30 | 四川三思德科技有限公司 | 基于差异性的抗飞防作业干扰处理方法、装置及介质 |
| CN116362944B (zh) * | 2023-05-31 | 2023-07-28 | 四川三思德科技有限公司 | 基于差异性的抗飞防作业干扰处理方法、装置及介质 |
| CN117095257A (zh) * | 2023-10-16 | 2023-11-21 | 珠高智能科技(深圳)有限公司 | 多模态大模型微调方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612807B (zh) | 一种基于尺度和边缘信息的小目标图像分割方法 | |
| CN112560831B (zh) | 一种基于多尺度空间校正的行人属性识别方法 | |
| CN116012395A (zh) | 一种基于深度可分离卷积的多尺度融合烟雾分割方法 | |
| CN111209921A (zh) | 基于改进的YOLOv3网络的车牌检测模型及构建方法 | |
| CN112906706A (zh) | 一种改进的基于编解码器的图像语义分割方法 | |
| CN111476133B (zh) | 面向无人驾驶的前背景编解码器网络目标提取方法 | |
| CN112784756B (zh) | 人体识别跟踪方法 | |
| CN113807361B (zh) | 神经网络、目标检测方法、神经网络训练方法及相关产品 | |
| CN111652864A (zh) | 一种基于条件式生成对抗网络的铸件缺陷图像生成方法 | |
| CN114359289A (zh) | 一种图像处理方法及相关装置 | |
| CN114037640A (zh) | 图像生成方法及装置 | |
| Huang et al. | Attention-guided label refinement network for semantic segmentation of very high resolution aerial orthoimages | |
| CN114283352A (zh) | 一种视频语义分割装置、训练方法以及视频语义分割方法 | |
| CN114627269A (zh) | 一种基于深度学习目标检测的虚拟现实安防监控平台 | |
| CN116485867A (zh) | 一种面向自动驾驶的结构化场景深度估计方法 | |
| Lu et al. | A video prediction method based on optical flow estimation and pixel generation | |
| CN114821434A (zh) | 一种基于光流约束的时空增强视频异常检测方法 | |
| CN116912675B (zh) | 一种基于特征迁移的水下目标检测方法及系统 | |
| CN117351363A (zh) | 基于Transformer的遥感影像建筑物提取方法 | |
| Ren et al. | A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms | |
| CN117456330A (zh) | 一种基于MSFAF-Net的低照度目标检测方法 | |
| CN116597144A (zh) | 一种基于事件相机的图像语义分割方法 | |
| CN114119428B (zh) | 一种图像去模糊方法和装置 | |
| CN114120076B (zh) | 基于步态运动估计的跨视角视频步态识别方法 | |
| CN112927250B (zh) | 一种基于多粒度注意力分层网络的边缘检测系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |