CN116363366A - 基于语义分割的输电线路山火监测方法、装置及存储介质 - Google Patents
基于语义分割的输电线路山火监测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116363366A CN116363366A CN202310336242.7A CN202310336242A CN116363366A CN 116363366 A CN116363366 A CN 116363366A CN 202310336242 A CN202310336242 A CN 202310336242A CN 116363366 A CN116363366 A CN 116363366A
- Authority
- CN
- China
- Prior art keywords
- semantic segmentation
- module
- image
- local features
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005540 biological transmission Effects 0.000 title claims abstract description 49
- 238000012544 monitoring process Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 239000000779 smoke Substances 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 32
- XGCDBGRZEKYHNV-UHFFFAOYSA-N 1,1-bis(diphenylphosphino)methane Chemical compound C=1C=CC=CC=1P(C=1C=CC=CC=1)CP(C=1C=CC=CC=1)C1=CC=CC=C1 XGCDBGRZEKYHNV-UHFFFAOYSA-N 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012806 monitoring device Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 230000001965 increasing effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于语义分割的输电线路山火监测方法、装置及存储介质，包括获取待检测图像，并输入至预先训练好的语义分割模型；所述语义分割模型基于所述待检测图像，输出烟雾图像检测结果；在检测到烟雾图像时，输出报警信号。本发明解决了现有技术中不能准确识别山火烟雾且监测时效性低、精确性差的问题，创新使用MCCL—self‑attention模块和对现有语义分割模型进行改进，提升了分割边界的准确度，增强有效特征和抑制无效特征的表达，缓解烟雾目标中存在的不显著性和类间相似性问题，解决了信息损失和损耗的问题，能准确地分割山火烟雾，提高了语义分割准确率。
Description
技术领域
本发明涉及输电线路山火监测、计算机视觉和图像分割技术领域，具体涉及一种基于语义分割的输电线路山火监测方法、装置及存储介质。
背景技术
伴随着当今社会电气化程度的提高，人们对电能供应的可靠性以及电能质量的要求越来越高。作为目前我国电网传输的网架，架空输电线路是否能够安全稳定运行与电网的安全紧密相关。长距离和大范围的高电压等级架空输电线路通常需跨越山区，同时由于人们对于电力环保的要求也在日益增加，低电压等级的配电架空输电线路的通道也往往选择远离人们的生活区。而且由于近年来极端天气发生概率的提高、清明等时节人们祭祖等原因，我国境内山火灾害频繁发生，引发输电线路跳闸，给电网设备及电力供应造成了影响。
因此，针对输电线路山火情况研究专门的监测方法及装置，在山火发展的前期烟雾阶段，可以提前发现火源点，帮助抢修人员在山火对设备及电网造成影响前消除隐患，保证线路的安全运行与人们的可靠用电。但传统的山火烟雾检测方法不能准确识别山火烟雾，不能实时检测，对烟雾的分割边界不准确；不能较好地处理图像背景中不明显的目标，外观相似的烟雾可能被划分为山火烟雾；无效的特征或者是噪音突出，有效特征不明显；信息传递的时候存在信息丢失，损耗等问题，容易导致梯度消失或者梯度爆炸和无法训练很深的网络。且传统的山火监测装置没有报警模块，一般仅通过发信发出报警信息，不能在山火发生地附近发出警报，来提醒输电线路附近的人员周边有火情，不利于工作人员寻找火源并及时扑灭。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于语义分割的输电线路山火监测方法、装置及存储介质，解决现有技术中不能准确识别山火烟雾且监测时效性低、精确性差的问题。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于语义分割的输电线路山火监测方法，包括：
获取待检测图像，并输入至预先训练好的语义分割模型；
所述语义分割模型基于所述待检测图像，输出烟雾图像检测结果；在检测到烟雾图像时，输出报警信号；
其中，所述语义分割模型通过以下步骤训练获得：
获取烟雾图像，构建语义分割数据集；
对语义分割数据集进行预处理；
以编码器-解码器作为基础结构，搭建语义分割模型；
使用预处理后的语义分割数据集训练搭建的语义分割模型；
设置网络训练参数，使用损失函数训练搭建的语义分割模型。
结合第一方面，进一步的，所述获取烟雾图像，构建语义分割数据集，包括：
通过监控摄像获取包含烟雾的监控视频；
在包含烟雾的监控视频中，每预设帧数截取一张烟雾图片作为样本，对烟雾目标进行像素级的人工标注；
增加合成烟雾数据和困难样本，形成最终的语义分割数据集。
结合第一方面，进一步的，所述对语义分割数据集进行预处理，包括对语义分割数据集中的图像进行数据增强，所述对语义分割数据集中的图像进行数据增强包括对语义分割数据集中的图像进行水平翻转、垂直翻转、旋转、平移、缩放、裁剪、擦除、调整对比度、调整饱和度和色彩抖动操作。
结合第一方面，进一步的，所述使用预处理后的语义分割数据集训练搭建的语义分割模型，包括：
在编码阶段对编码器中骨架网络的输出结果进行特征提取和增强特征表达，所述特征包括深层特征和浅层特征；在解码阶段结合编码阶段的深层特征和浅层特征进行融合提取，输出分割结果，并采用卷积处理和上采样操作，使最终的分割结果尺寸与原输入的烟雾图像的尺寸相同。
结合第一方面，进一步的，所述骨架网络为改进后的ResNet50深度残差网络，所述ResNet50深度残差网络包括阶段一、阶段二、阶段三和阶段四；所述ResNet50深度残差网络的改进包括：将阶段三和阶段四中的普通卷积替换为空洞卷积。
结合第一方面，进一步的，所述在编码阶段对编码器中骨架网络的输出结果进行特征提取，包括：
所述阶段一输出局部特征送入解码器，所述阶段四输出局部特征送入MCCL—self-attention模块，将阶段二输出的局部特征、阶段三输出的经过卷积处理的局部特征以及MCCL—self-attention模块输出的局部特征进行通道合并，所获得的结果再经卷积处理，输出全局特征送入解码器；
所述MCCL—self-attention模块包括MCCL模块、CBAM模块和self-attention模块；所述MCCL模块包括DPPM模块；
所述阶段四输出局部特征送入MCCL—self-attention模块后的处理过程包括：所述阶段四输出局部特征送入MCCL模块，将局部特征经过卷积处理，将卷积处理后的局部特征进行特征相减和融合，从MCCL模块输出，并送入DPPM模块进行处理，将DPPM模块输出的局部特征与MCCL模块输出的经过融合的局部特征进行再融合，分别送入CBAM模块和self-attention模块进行处理；
所述CBAM模块包含SA模块和CA模块，所述CBAM模块的处理过程包括：
所述SA模块和CA模块分别给阶段四输出的局部特征分配权重，将阶段四输出的局部特征分别与分配的权重相乘，得到新的局部特征，将得到的新的局部特征相加并输出给self-attention模块进行处理；
所述self-attention模块的处理过程包括：
将阶段四输入的局部特征经过卷积和维度变换，得到局部特征A，将MCCL模块输出的局部特征经过卷积和维度变换，得到局部特征B，将局部特征A与局部特征B相乘，输出局部特征C，将CBAM模块输出的局部特征经过卷积和维度变换，得到局部特征D，将局部特征C与局部特征D相乘，所得结果经维度变换和卷积处理后，再与局部特征A相加，将得到的局部特征进行卷积处理。
结合第一方面，进一步的，所述设置网络训练参数，使用损失函数训练搭建的语义分割模型，包括：
将预处理后的语义分割图像数据集内的图像作为输入图像，统一输入图像的尺寸；
使用带动量的随机梯度下降算法对语义分割网络模型进行训练，所述语义分割网络模型中的权值初始化方式为Kaiming，激活函数为ReLu；
采用损失函数预测与实际数据的差距程度，所述损失函数为DiceLoss+FocalLoss函数；
所述损失函数的计算公式为：
FocalLoss＝-αt(1-pt)γlog(Pt)
式中，DiceLoss是相似度损失函数，FocalLoss是边界损失函数，TotalLoss是总损失函数，yi表示像素i的标签值，
表示像素i的预测值，N为像素点的总个数，pt代表模型预测某类别的概率；αt是用来平衡正负样本数量的值，γ是用来调节难分易分样本不均衡问题的值。
第二方面，进一步的，本发明提供一种基于语义分割的输电线路山火监测装置，包括：
图像采集模块，用于获取待检测图像，并输入至预先训练好的语义分割模型；
图像检测模块，用于所述语义分割模型基于所述待检测图像，输出烟雾图像检测结果；在检测到烟雾图像时，输出报警信号；
其中，所述语义分割模型通过以下步骤训练获得：
获取烟雾图像，构建语义分割数据集；
对语义分割数据集进行预处理；
以编码器-解码器作为基础结构，搭建语义分割模型；
使用预处理后的语义分割数据集训练搭建的语义分割模型；
设置网络训练参数，使用损失函数训练搭建的语义分割模型。
第三方面，本发明提供一种基于语义分割的输电线路山火监测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行第一方面任一项所述方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提供一种基于语义分割的输电线路山火监测方法、装置及存储介质，使用MCCL—self-attention模块和对现有DeeplabV3语义分割模型进行改进，提升了分割边界的准确度，增强有效特征和抑制无效特征的表达，缓解烟雾目标中存在的不显著性和类间相似性问题，解决了信息损失和损耗的问题，能准确地分割山火烟雾，提高了语义分割准确率。
附图说明
图1是本发明实施例一提供的基于语义分割的输电线路山火监测方法整体流程图；
图2是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的模型结构图；
图3是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的ResNet50深度残差网络示意图；
图4是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的MCCL—self-attention模块中的MCCL模块的示意图；
图5是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的MCCL—self-attention模块中的DPPM模块示意图；
图6是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的MCCL—self-attention模块中的CBAM模块示意图；
图7是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的CBAM模块中的SA模块示意图；
图8是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的CBAM模块中的CA模块示意图；
图9是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的MCCL—self-attention模块中适合处理二维信号的self-attention模块示意图；
图10是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的self-attention模块示意图；
图11是本发明实施例一提供的基于语义分割的输电线路山火监测方法中的使用语义分割网络模型测试得到的分割结果图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符"/"，一般表示前后关联对象是一种“或”的关系。
实施例一：
图1是本发明实施例一提供的一种基于语义分割的输电线路山火监测方法的流程图。本流程图仅仅示出了本实施例所述方法的逻辑顺序，在互不冲突的前提下，在本发明其它可能的实施例中，可以以不同于图1所示的顺序完成所示出或描述的步骤。
本实施例提供的基于语义分割的输电线路山火监测方法可应用于终端，可以由基于语义分割的输电线路山火监测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在终端中，例如：任一具备通信功能的智能手机，平板电脑或计算机设备。参见图1，本实施的方法具体包括如下步骤：
步骤一：获取烟雾图像，构建语义分割数据集；
通过监控摄像获取包含烟雾的监控视频，在包含烟雾的监控视频中截取烟雾图片，每预设帧数截取一张烟雾图片作为样本。由于烟雾图像中帧与帧之间的变化比较缓慢，每4帧截取一张烟雾图片作为样本，使用Adobe Photoshop对烟雾目标进行像素级的人工标注。目前已经构建的数据集中，除了山火烟雾图像外，还包含上百个真实场景中的烟雾，包括工厂、森林、楼房等，以此来增加数据集的多样性。为了增加样本的丰富性，还添加了部分合成烟雾数据和困难样本，作为最终的语义分割数据集。
步骤二：利用数据增强技术，对数据集进行预处理；
对数据集进行预处理主要是利用数据增强技术实现对烟雾数据集的丰富，通过对输入的数据集图像进行水平翻转、垂直翻转、旋转、平移、缩放、裁剪、擦除、对比度、饱和度、色彩抖动等技术生成新的烟雾数据，以此提升模型的泛化能力，防止网络过拟合。
步骤三：以编码器-解码器作为基础结构，搭建语义分割网络模型；
其中，编码阶段使用改进后的ResNet50深度残差网络作为骨架网络，所述ResNet50深度残差网络包括阶段一、阶段二、阶段三和阶段四；所述ResNet50深度残差网络的改进包括：将阶段三和阶段四中的普通卷积替换为空洞卷积，使得阶段三和阶段四的输出尺寸与阶段二保持一致。
步骤四：使用预处理后的语义分割数据集训练搭建的语义分割网络模型；
在编码阶段使用MCCL—self-attention模块对编码器中骨架网络的输出结果进行特征提取和增强特征表达，所述特征包括深层特征和浅层特征；在解码阶段结合编码阶段的深层特征和浅层特征进行融合提取，输出分割结果，并采用卷积处理和上采样操作，使最终的分割结果尺寸与原输入的烟雾图像的尺寸相同。
编码器输出特征可分为局部特征和全局特征，解码器将其局部特征与全局特征进一步融合，以提升分割边界准确度。
所述在编码阶段对编码器中骨架网络的输出结果进行特征提取，包括：
所述ResNet50深度残差网络的阶段一进行特征提取，输出局部特征送入解码器，所述阶段四输出局部特征送入MCCL—self-attention模块，将阶段二输出的局部特征、阶段三输出的经过1×1卷积处理的局部特征以及MCCL—self-attention模块输出的局部特征进行通道合并，所获得的结果再经1×1卷积处理，输出全局特征送入解码器。
所述MCCL—self-attention模块包括MCCL模块(多尺度上下文对比局部模块)、CBAM模块(轻量级注意力模块)和self-attention模块(自注意力模块)；所述MCCL模块包括DPPM模块(密集金字塔模块)。
所述MCCL模块与ResNet50深度残差网络的阶段四相连接，所述阶段四输出局部特征送入MCCL—self-attention模块的处理过程包括：所述阶段四输出局部特征送入MCCL模块，将局部特征经过四个空洞卷积率分别为1、6、12和18的3×3卷积进行处理，将卷积处理后的局部特征进行特征相减和融合，从MCCL模块输出，并送入DPPM模块进行处理，将DPPM模块输出的局部特征与MCCL模块输出的经过融合的局部特征进行再融合，分别送入CBAM模块和self-attention模块进行处理，能较好地处理图像背景中不明显的目标，缓解了烟雾目标中存在的不显著性问题。
所述CBAM模块包含SA模块(空间注意力模块)和CA模块(通道注意力模块)，能有效增强有效特征抑制无效的特征或者是噪音。CA模块和SA模块分别与MCCL模块的输出相连，所述在CBAM模块中的处理过程包括：
所述SA模块和CA模块分别给阶段四输出的局部特征分配权重MS和MC，将阶段四输出的局部特征F和F’分别与分配的权重MS和MC相乘，得到新的局部特征，将得到的新的局部特征相加并输出给self-attention模块进行处理。
阶段四送入MCCL中的局部特征与四个空洞卷积率分别为1、2、4和6的3×3卷积相连，并连接DPPM模块的输入端，DPPM模块具有不同步长的平均池化操作，分别用于获取全局上下文先验以及不同子区域上下文信息，将具有小尺寸的特征图放在模块上部区域。为进一步增强模块聚合不同子区域上下文信息的能力，DPPM模块将上部区域的特征图上采样到相应大小，分别送入其他较低层进行特征密集连接。通过具有不同内核的平均池化操作融合四种不同尺度的特征，补充了全局上下文先验，很好地解决了与烟雾外观相似的云和雾对图像检测的干扰，提高了检测的精确性。
所述self-attention模块与ResNet50深度残差网络的阶段四、MCCL模块和CBAM模块的输出相连，所述self-attention模块的处理过程包括：
将ResNet50深度残差网络的阶段四输入的局部特征经过1×1卷积和维度变换，得到局部特征A，将MCCL模块输出的局部特征经过1×1卷积和维度变换，得到局部特征B，将局部特征A与局部特征B相乘，输出局部特征C，将CBAM模块输出的局部特征经过1×1卷积和维度变换，得到局部特征D，将局部特征C与局部特征D相乘，所得结果经维度变换和1×1卷积处理后，再与局部特征A相加，将得到的局部特征进行1×1卷积处理。该模块直接融合了ResNet50深度残差网络的阶段四、MCCL模块和CBAM模块输入特征的信息，而不仅仅是通过堆叠多个卷积层获得较为全局的信息，为后边的层带来更为丰富的语义信息。
在解码器中，先将编码器输出的浅层特征输入至解码器中，用1×1卷积整合特征，再将编码器中最后输出的深层特征进行4倍上采样，堆叠组合局部特征和全局特征后经过卷积核大小为3×3的卷积层，再进行4倍上采样输出。
步骤五：设置网络训练参数，使用损失函数训练搭建的语义分割网络模型；
具体步骤包括：将预处理后的语义分割图像数据集内的图像作为输入图像，统一输入图像的尺寸；使用带动量的随机梯度下降算法对语义分割模型进行训练，所述语义分割模型中的权值初始化方式为Kaiming，激活函数为ReLu；采用损失函数预测与实际数据的差距程度。语义分割模型使用带动量的随机梯度下降算法进行训练，迭代次数为30000次，权重衰减为1e-5，动量为0.9，批处理个数为4，初始学习率为0.001，学习率迭代策略为“Poly”，“Poly”是一种指数变换的策略。
所述损失函数为DiceLoss+Focal Loss函数(相似度损失函数+边界损失函数)，所述损失函数的计算公式为：
FocalLoss＝-αt(1-pt)γlog(Pt)
式中，DiceLoss是相似度损失函数，Focal Loss是边界损失函数，Total Loss是总损失函数，yi表示像素i的标签值，
表示像素i的预测值，N为像素点的总个数，pt代表模型预测某类别的概率(即置信度)；αt是用来平衡正负样本数量的值，γ是用来调节难分易分样本不均衡问题的值。
其中，样本数量多的赋予更小的αt值，样本数量少的赋予更大的αt值；一般γ≥1，用于对易分样本的损失进行一个幂函数的降低。
Focal Loss函数主要是为了解决正负样本数量不平衡以及难易分样本不均衡的问题。Dice Loss函数可以缓解样本中前景背景不平衡带来的消极影响，前景背景不平衡也就是说图像中大部分区域是不包含目标的，只有一小部分区域包含目标，且Dice Loss函数训练更关注对前景区域的挖掘，即保证有较低的FN，但会存在损失饱和问题。因此单独使用Dice Loss函数往往并不能取得较好的结果，需要进行组合使用，因而本实施例中的损失函数使用Dice Loss+Focal Loss函数。
步骤六：获取待检测图像，并输入至预先训练好的语义分割模型，输出烟雾图像检测结果。
获取的待检测图像主要为立体环境信号，立体环境信号可以包括照片或者视频信号，然后将这些采集的信号输入至预先训练好的语义分割模型，进行图像烟雾的识别，在检测到烟雾图像时，输出声光报警信号，以提醒输电线路附近的人员周边有火情，以便于寻找火源并及时扑灭或者离开，同时，发出的亮光便于在夜间山火初期烟雾阶段火源亮度较低时，确定火灾的发生点。可以快速地识别所拍摄区域的所有可能的烟雾情况，而不必等烟雾扩散到监测装置所在位置或者是汇总图像信号后再进行识别，从而有效检测到火灾信号，实现实时检测。
本实施例公开了一种基于语义分割的输电线路山火监测方法，使用MCCL—self-attention模块和对现有DeeplabV3语义分割模型进行改进，提升了分割边界的准确度，增强有效特征和抑制无效特征的表达，缓解烟雾目标中存在的不显著性和类间相似性问题，解决了信息损失和损耗的问题，能准确地分割山火烟雾，提高了语义分割准确率。
实施例二：
本实施例提供一种基于语义分割的输电线路山火监测装置，所述装置包括：
图像采集模块，用于获取待检测图像，并输入至预先训练好的语义分割模型；
图像检测模块，用于所述语义分割模型基于所述待检测图像，输出烟雾图像检测结果；在检测到烟雾图像时，输出报警信号；
其中，所述语义分割模型通过以下步骤训练获得：
获取烟雾图像，构建语义分割数据集；
对语义分割数据集进行预处理；
以编码器-解码器作为基础结构，搭建语义分割模型；
使用预处理后的语义分割数据集训练搭建的语义分割模型；
设置网络训练参数，使用损失函数训练搭建的语义分割模型。
本发明实施例所提供的基于语义分割的输电线路山火监测装置可执行本发明任意实施例所提供的基于语义分割的输电线路山火监测方法，具备执行方法相应的功能模块和有益效果。
实施例三：
本发明实施例还提供了一种基于语义分割的输电线路山火监测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于语义分割的输电线路山火监测方法，其特征在于，包括：
获取待检测图像，并输入至预先训练好的语义分割模型；
所述语义分割模型基于所述待检测图像，输出烟雾图像检测结果；在检测到烟雾图像时，输出报警信号；
其中，所述语义分割模型通过以下步骤训练获得：
获取烟雾图像，构建语义分割数据集；
对语义分割数据集进行预处理；
以编码器-解码器作为基础结构，搭建语义分割模型；
使用预处理后的语义分割数据集训练搭建的语义分割模型；
设置网络训练参数，使用损失函数训练搭建的语义分割模型。
2.根据权利要求1所述的基于语义分割的输电线路山火监测方法，其特征在于，所述获取烟雾图像，构建语义分割数据集，包括：
通过监控摄像获取包含烟雾的监控视频；
在包含烟雾的监控视频中，每预设帧数截取一张烟雾图片作为样本，对烟雾目标进行像素级的人工标注；
增加合成烟雾数据和困难样本，形成最终的语义分割数据集。
3.根据权利要求1所述的基于语义分割的输电线路山火监测方法，其特征在于，所述对语义分割数据集进行预处理，包括对语义分割数据集中的图像进行数据增强，所述对语义分割数据集中的图像进行数据增强包括对语义分割数据集中的图像进行水平翻转、垂直翻转、旋转、平移、缩放、裁剪、擦除、调整对比度、调整饱和度和色彩抖动操作。
4.根据权利要求1所述的基于语义分割的输电线路山火监测方法，其特征在于，所述使用预处理后的语义分割数据集训练搭建的语义分割模型，包括：
在编码阶段对编码器中骨架网络的输出结果进行特征提取和增强特征表达，所述特征包括深层特征和浅层特征；在解码阶段结合编码阶段的深层特征和浅层特征进行融合提取，输出分割结果，并采用卷积处理和上采样操作，使最终的分割结果尺寸与原输入的烟雾图像的尺寸相同。
5.根据权利要求4所述的基于语义分割的输电线路山火监测方法，其特征在于，所述骨架网络为改进后的ResNet50深度残差网络，所述ResNet50深度残差网络包括阶段一、阶段二、阶段三和阶段四；所述ResNet50深度残差网络的改进包括：将阶段三和阶段四中的普通卷积替换为空洞卷积。
6.根据权利要求5所述的基于语义分割的输电线路山火监测方法，其特征在于，所述在编码阶段对编码器中骨架网络的输出结果进行特征提取，包括：
所述阶段一输出局部特征送入解码器，所述阶段四输出局部特征送入MCCL—self-attention模块，将阶段二输出的局部特征、阶段三输出的经过卷积处理的局部特征以及MCCL—self-attention模块输出的局部特征进行通道合并，所获得的结果再经卷积处理，输出全局特征送入解码器；
所述MCCL—self-attention模块包括MCCL模块、CBAM模块和self-attention模块；所述MCCL模块包括DPPM模块；
所述阶段四输出局部特征送入MCCL—self-attention模块后的处理过程包括：所述阶段四输出局部特征送入MCCL模块，将局部特征经过卷积处理，将卷积处理后的局部特征进行特征相减和融合，从MCCL模块输出，并送入DPPM模块进行处理，将DPPM模块输出的局部特征与MCCL模块输出的经过融合的局部特征进行再融合，分别送入CBAM模块和self-attention模块进行处理；
所述CBAM模块包含SA模块和CA模块，所述CBAM模块的处理过程包括：
所述SA模块和CA模块分别给阶段四输出的局部特征分配权重，将阶段四输出的局部特征分别与分配的权重相乘，得到新的局部特征，将得到的新的局部特征相加并输出给self-attention模块进行处理；
所述self-attention模块的处理过程包括：
将阶段四输入的局部特征经过卷积和维度变换，得到局部特征A，将MCCL模块输出的局部特征经过卷积和维度变换，得到局部特征B，将局部特征A与局部特征B相乘，输出局部特征C，将CBAM模块输出的局部特征经过卷积和维度变换，得到局部特征D，将局部特征C与局部特征D相乘，所得结果经维度变换和卷积处理后，再与局部特征A相加，将得到的局部特征进行卷积处理。
7.根据权利要求1所述的基于语义分割的输电线路山火监测方法，其特征在于，所述设置网络训练参数，使用损失函数训练搭建的语义分割模型，包括：
将预处理后的语义分割图像数据集内的图像作为输入图像，统一输入图像的尺寸；
使用带动量的随机梯度下降算法对语义分割网络模型进行训练，所述语义分割网络模型中的权值初始化方式为Kaiming，激活函数为ReLu；
采用损失函数预测与实际数据的差距程度，所述损失函数为DiceLoss+FocalLoss函数；
所述损失函数的计算公式为：
FocalLoss＝-αt(1-pt)γlog(pt)
式中，DiceLoss是相似度损失函数，FocalLoss是边界损失函数，TotalLoss是总损失函数，y1表示像素i的标签值，
表示像素i的预测值，N为像素点的总个数，pt代表模型预测某类别的概率；αt是用来平衡正负样本数量的值，γ是用来调节难分易分样本不均衡问题的值。
8.一种基于语义分割的输电线路山火监测装置，其特征在于，包括：
图像采集模块，用于获取待检测图像，并输入至预先训练好的语义分割模型；
图像检测模块，用于所述语义分割模型基于所述待检测图像，输出烟雾图像检测结果；在检测到烟雾图像时，输出报警信号；
其中，所述语义分割模型通过以下步骤训练获得：
获取烟雾图像，构建语义分割数据集；
对语义分割数据集进行预处理；
以编码器-解码器作为基础结构，搭建语义分割模型；
使用预处理后的语义分割数据集训练搭建的语义分割模型；
设置网络训练参数，使用损失函数训练搭建的语义分割模型。
9.一种基于语义分割的输电线路山火监测装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310336242.7A CN116363366A (zh) | 2023-03-31 | 2023-03-31 | 基于语义分割的输电线路山火监测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310336242.7A CN116363366A (zh) | 2023-03-31 | 2023-03-31 | 基于语义分割的输电线路山火监测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116363366A true CN116363366A (zh) | 2023-06-30 |
Family
ID=86919693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310336242.7A Pending CN116363366A (zh) | 2023-03-31 | 2023-03-31 | 基于语义分割的输电线路山火监测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363366A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977635A (zh) * | 2023-07-19 | 2023-10-31 | 中国科学院自动化研究所 | 类别增量语义分割学习方法及语义分割方法 |
-
2023
- 2023-03-31 CN CN202310336242.7A patent/CN116363366A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977635A (zh) * | 2023-07-19 | 2023-10-31 | 中国科学院自动化研究所 | 类别增量语义分割学习方法及语义分割方法 |
| CN116977635B (zh) * | 2023-07-19 | 2024-04-16 | 中国科学院自动化研究所 | 类别增量语义分割学习方法及语义分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943145B2 (en) | Image processing methods and apparatus, and electronic devices | |
| CN108846365B (zh) | 视频中打架行为的检测方法、装置、存储介质及处理器 | |
| CN111054080B (zh) | 智能检测透视外挂方法、装置、设备及其存储介质 | |
| CN112396116B (zh) | 一种雷电检测方法、装置、计算机设备及可读介质 | |
| CN102750709B (zh) | 利用视频检测打架行为的方法和装置 | |
| CN106897720A (zh) | 一种基于视频分析的烟火检测方法及装置 | |
| CN105868748A (zh) | 基于云处理的数据服务平台 | |
| US20230153387A1 (en) | Training method for human body attribute detection model, electronic device and medium | |
| CN109766828A (zh) | 一种车辆目标分割方法、装置及通信设备 | |
| CN113177968A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN116363366A (zh) | 基于语义分割的输电线路山火监测方法、装置及存储介质 | |
| CN114202646A (zh) | 一种基于深度学习的红外图像吸烟检测方法与系统 | |
| Žuži et al. | Impact of dehazing on underwater marker detection for augmented reality | |
| CN117197388A (zh) | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统 | |
| CN111723656A (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
| CN113705380B (zh) | 雾天的目标检测方法、装置、电子设备以及存储介质 | |
| CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| Tsetsos et al. | A forest fire detection system: The Meleager approach | |
| CN114360064B (zh) | 基于深度学习的办公场所人员行为轻量级目标检测方法 | |
| CN115690584A (zh) | 一种基于ssd改进的配电房异物检测方法 | |
| CN111739098B (zh) | 测速方法及装置、电子设备及存储介质 | |
| CN114445751A (zh) | 视频关键帧图像轮廓特征的提取方法和装置 | |
| CN113221766A (zh) | 训练活体人脸识别模型、识别活体人脸的方法及相关装置 | |
| CN111191593A (zh) | 图像目标检测方法、装置、存储介质及污水管道检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |