CN116029999A - 一种基于u2net的烟雾、火焰分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于u2net的烟雾、火焰分割方法及系统，分割方法的步骤包括：构建具有三通道的烟雾、火焰分割网络，所述烟雾、火焰分割网络包括三通道的u2net输出模块、三类的u2net误差模块；构建烟雾、火焰分割模型训练据集；获取烟雾、火焰分割模型；所述待检测图像中烟雾、火焰的概率识别；所述待检测图像中的烟雾、火焰的精准识别等步骤。利用基于u2net的分割模型，得到一个三通道的输出结果，每个通道表示此像素的属于别属于背景、烟雾和火焰的概率；采用log+softmax函数对三通道的输出结果在通道轴做处理，实现图像中背景、烟雾、火焰的多重识别；本发明方法满足开阔大型空间场所的需求，在大范围的视野中依然能够稳定的鲁棒性，识别精度高。

Description

一种基于u2net的烟雾、火焰分割方法及系统

技术领域

本发明涉及于图像监控与处理技术领域，尤其涉及一种基于u2net的烟雾、火焰分割方法及系统。

背景技术

火灾是当今社会人类面临的主要灾害之一，火灾的发生严重影响社会经济发展，破坏自然生态，也会给人类的生命和财产带来损失，因此早期火灾检测的意义重大。

早期的火灾检测主要基于各种传感器的探测，对被探测区域的透明度、光谱、温度和烟粒浓度等进行采样，以确定是否发生火灾。然而，由火灾引起的烟雾浓度、温度和其他信息的变化在空气中传播缓慢，且稳定性不高，必须安装在靠近火源的地方，且受气流环境、探测距离、热障效应等因素影响，很难及时快速地捕获火灾信号，无法在恶劣的室外场所使用，并且无法满足开阔大型空间场所的需求。

随着科学技术的不断突破，火灾检测技术正在逐步向图像化、智能化发展。对火灾进行实时监控，使火灾造成的损失降到最低是火灾防治技术领域的重点研究内容。

Toreyin提取火焰的边界轮廓，利用小波变换对边界进行检测，利用火焰的高频特性分析火焰的闪烁特征。Yamagishi和Yamaguch等提出了一种利用彩色摄像机检测视频火焰的算法，提取视频中明显的火焰区域，形成含有火焰的图像块，利用神经网络对图像块的HSV空间颜色进行训练，训练结果对输入图像进行处理后，可以得到图像中是否有火灾，该算法只考虑火焰的颜色特性，不考虑火焰的运动特性，导致误判率高，算法复杂，不能满足实时性。贾阳、喻润洋提出使用U-Net结构的深度神经网络进行早期火灾烟雾的自动分割，通过半自动算法人工辅助分割出烟雾区域的图像样本，基于深度神经网络对分割烟雾区域进行学习，得到原始视频帧到分割结果的映射模型，并据此模型进行烟雾区域分割，该模型基于人工辅助分割实现烟雾区域识别。

一种火焰和烟雾异常情况检测方法及系统(专利号：201911358605.7)公开了基于颜色特征、小波分析和卷积神经网络相结合的火灾检测方法，采用颜色分割的方法来识别火焰区域，利用背景分块差分模型提取烟雾图像运动像素，对烟雾遮挡物体的特性进行判别，从而检测出烟雾区域，利用卷积神经网络实现火焰、烟雾的具体位置。本方案算法复杂，同时基于颜色分割的火焰识别方案，在大范围的视野中识别精度不高，识别方案鲁棒性不高。

有鉴于此，特提出本申请。

发明内容

本发明的发明目的是针对现有技术的不足，提供了一种基于u2net的烟雾、火焰分割方法及系统，实现高精度的火焰及烟雾识别。

本发明为实现上述发明目的采用如下技术方案：

本申请提供一种基于u2net的烟雾、火焰分割方法，包括以下步骤：

S1：构建具有三通道的烟雾、火焰分割网络，所述烟雾、火焰分割网络包括三通道的u2net输出模块、三类的u2net误差模块；

S2：构建烟雾、火焰分割模型训练据集，所述烟雾、火焰分割模型训练据集中每一张样本图像的标签为单通道的图像，所述标签中的某坐标位置的像素值表示对应的样本图像中对应坐标位置的像素值的类别，所述类别为背景、烟雾和火焰中的一类；

S3：获取烟雾、火焰分割模型，采用所述烟雾、火焰分割模型训练据集对所述烟雾、火焰分割网络进行训练，获得所述烟雾、火焰分割模型，所述烟雾、火焰分割模型具有三个输出通道，三个输出通道的输出结果分别为图像中每个坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率；

S4：采集待检测图像；

S5：所述待检测图像中烟雾、火焰的概率识别，将所述待检测图像输入所述烟雾、火焰分割模型得到所述待检测图像的所述三个输出通道的输出结果；

S6：所述待检测图像中的烟雾、火焰的精准识别，对所述待检测图像的所述三个输出通道的输出结果在通道轴做处理，得到三通道的目标特征图，根据所述目标特征图确定所述待检测图像每个坐标的识别结果。

进一步地，所述三通道的u2net输出模块的构建方法为，将u2net网络的side模块的输出设置为3。

进一步地，所述三类的u2net误差模块的损失函数为多类交叉熵损失和多类样本相似度度量损失。

进一步地，所述多类交叉熵损失为：

其中，Log是以e为底数，i为0，1，2，out[i]为所述烟雾、火焰分割网络的输出向量。

进一步地，所述多类样本相似度度量损失为：

其中，TP：true positive，真阳性；TN：true negative，真阴性；FP：falsepositive，假阳性；FN：false negative，假阴性。

进一步地，标签的制作过程为：

定义一张和样本图像大小一样的单通道图像，若所述样本图像中坐标位置的像素值为背景，所述单通道图像中对应的坐标位置处的像素值为0；若所述样本图像中坐标位置的像素值为烟雾，所述单通道图像中对应的坐标位置处的像素值为1；若所述样本图像中坐标位置的像素值为火焰，所述单通道图像中对应的坐标位置处的像素值为2，在所述单通道图像中完成所述样本图像每个坐标位置的像素值的标注，获得所述标签。

进一步地，在所述S3中，采用梯度下降的方式训练所述烟雾、火焰分割网络。

进一步地，在所述S6中，采用log+softmax函数对所述待检测图像的所述三个输出通道的输出结果在通道轴做处理。

所述log+softmax函数为：

式中：i为0，1，2，p₀、p₁、p₂，分别为图像中某坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率。

进一步地，所述根据所述目标特征图确定所述待检测图像每个坐标的识别结果的具体步骤为：

提取所述目标特征图每个坐标的三通道结果，取每个坐标的所述三通道结果的最大值得到每个坐标的最大值，根据每个坐标的所述最大值所在的通道对应的类别获得所述检测图像每个坐标的像素值的类别，所述类别为背景、烟雾和火焰中的一类。

第二方面，本发明提供一种基于u2net的烟雾、火焰分割系统，包括：

烟雾、火焰分割模型训练据集标注模块；所述烟雾、火焰分割模型训练据集中每一张样本图像的标签为单通道的图像，所述标签中的某坐标位置的像素值表示对应的样本图像中对应坐标位置的像素值的类别，所述类别为背景、烟雾和火焰中的一类；

烟雾、火焰分割模型训练模块；采用所述烟雾、火焰分割模型训练据集对烟雾、火焰分割网络进行训练，获得所述烟雾、火焰分割模型；

所述烟雾、火焰分割网络包括三通道的u2net输出模块、三类的u2net误差模块；

所述烟雾、火焰分割模型具有三个输出通道，三个输出通道的输出结果为图像中每个坐标的像素值属于所述背景的概率、属于所述烟雾的概率、属于所述火焰的概率；

待检测图像采集模块；用于获取待检测图像；

所述待检测图像中烟雾、火焰的概率识别模块；将所述待检测图像输入所述烟雾、火焰分割模型输出所述待检测图像的所述三个输出通道的输出结果；

所述待检测图像中烟雾、火焰的精准识别模块；对所述待检测图像的所述三个输出通道的输出结果在通道轴做处理，得到三通道的目标特征图，根据所述目标特征图确定所述待检测图像每个坐标的识别结果。

本发明的有益效果在于：

(1)将检测图像输入基于u2net的分割模型，得到一个三通道的输出结果，每个通道表示此像素分别属于背景、烟雾和火焰的概率；采用log+softmax函数对三通道的输出结果在通道轴做处理，并将检测图像每个坐标三通道的最大值对应的类别作为该坐标的类别，实现图像中背景、烟雾、火焰的多重识别，在大范围的视野中依然能够稳定的鲁棒性，识别精度高。

(2)本发明采用多类交叉熵损失+多类样本相似度度量损失的组合，用于计算模型预测结果和真实之间的差距，此差距用于更新模型的参数，同时采用既能对每个像素进行分类，又能对整个分割的轮廓进行限制。

(3)采用Softmax是深度神经网络分类模型中惯用的手段，本发明，为了进一步确定待检测图像每个像素具体属于哪一类，采用log+softmax函数对所述概率识别结果在通道轴做处理，加入log可以防止softmax上溢出和下溢出，提升了识别精度。

附图说明

图1为一种基于u2net的烟雾、火焰分割方法的流程示意图。

图2为三通道的烟雾、火焰分割网络结构示意图。

图3为烟雾、火焰分割模型三通道输出图像。

图4为通过log+softmax函数得到是一个三通道的目标特征图。

图5为一种基于u2net的烟雾、火焰分割系统的组成框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

下面结合附图对本发明方法进行进一步详细说明；

如图1所示一种基于u2net的烟雾、火焰分割方法，具体包括以下步骤：

S1：构建具有三通道的烟雾、火焰分割网络，烟雾、火焰分割网络包括三通道的u2net输出模块、三类的u2net误差模块；

S2：构建烟雾、火焰分割模型训练据集，烟雾、火焰分割模型训练据集中每一张样本图像的标签为单通道的图像，标签中的某坐标位置的像素值表示对应的样本图像中对应坐标位置的像素值的类别，类别为背景、烟雾和火焰中的一类；

S3：获取烟雾、火焰分割模型，采用烟雾、火焰分割模型训练据集对烟雾、火焰分割网络进行训练，获得烟雾、火焰分割模型，烟雾、火焰分割模型具有三个输出通道，三个输出通道的输出结果分别为图像中每个坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率；

S4：采集待检测图像；

S5：待检测图像中烟雾、火焰的概率识别，将待检测图像输入烟雾、火焰分割模型得到待检测图像的三个输出通道的输出结果；

S6：待检测图像中的烟雾、火焰的精准识别，对待检测图像的三个输出通道的输出结果在通道轴做处理，得到三通道的目标特征图，根据目标特征图确定待检测图像每个坐标的识别结果。

原始的u2net网络用于前背景分割，即单通道输出，因此无法将u2net用于多类别分割，因此将网络中的单通道输出修改了三通道输出，三个输出通道的输出结果分别为图像中每个坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率；再通过对三个输出通道的输出结果的处理得到一个三通道的目标特征图，再通过对每个像素的三个通道取最大值，将最大值对应的标签作为每个像素的标签，实现图像中每个坐标的像素值对应的类别的精准分析。

具体地，步骤S1实现具有三通道的烟雾、火焰分割网络的构建，该三通道网络包括三通道的u2net输出模块、三类的u2net误差模块。

三通道的u2net输出模块的构建方法为，将u2net网络的side模块的输出设置为3，每个通道对应一个类别。

在原始u2net网络中side模块的输出为单通道，本实施例中将该模块的输出修改为了三通道；同时在原始u2net网络获得目标特征图也是为单通道，本实施例中将此模块的输出改为三通道。

本实施例中构建具有三类的u2net误差模块，三类误差模块的损失函数为多类交叉熵损失和多类样本相似度度量损失。原始的u2net采用的两类交叉熵损失和两类样本相似度度量损失，本实施例采用多类交叉熵损失+多类样本相似度度量损失的组合，用于计算模型预测结果和真实之间的差距，此差距用于更新模型的参数，同时采用既能对每个像素进行分类，又能对整个分割的轮廓进行限制。

多类交叉熵损失为：

其中，Log是以e为底数，i为0，1，2，out[i]为所述烟雾、火焰分割网络的输出向量。

多类样本相似度度量损失为：

其中，TP：true positive，真阳性；TN：true negative，真阴性；FP：falsepositive，假阳性；FN：false negative，假阴性。

S1完成三通道的烟雾、火焰分割网络的构建，本实施例中三通道的烟雾、火焰分割网络如图2所示。

S2实现烟雾、火焰分割模型训练据集的构建，对于模型训练集，本领域技术人员可根据具体需求选择使用公开数据集或者根据实际的应用场景自行采集的图像，烟雾、火焰分割模型训练据集中每一张样本图像的标签为单通道的图像，标签中的某坐标位置的像素值表示对应的样本图像中对应坐标位置的像素值的类别，类别为背景、烟雾和火焰中的一类。

标签的制作过程为：

定义一张和样本图像大小一样的单通道图像，若样本图像中坐标位置的像素值为背景，单通道图像中对应的坐标位置处的像素值为0；若样本图像中坐标位置的像素值为烟雾，单通道图像中对应的坐标位置处的像素值为1；若样本图像中坐标位置的像素值为火焰，单通道图像中对应的坐标位置处的像素值为2，在单通道图像中完成样本图像每个坐标位置的像素值的标注，获得标签。

步骤S3，采用烟雾、火焰分割模型训练据集对烟雾、火焰分割网络进行训练，获得烟雾、火焰分割模型，烟雾、火焰分割模型具有三个输出通道，三个输出通道的输出结果分别为图像中每个坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率。在S3中，采用梯度下降的方式训练所述烟雾、火焰分割网络。

具体地，训练方法为：

首先，将烟雾、火焰分割模型训练据集的图像做归一化处理，本实施例中通过将每张图像的中所有像素值除以这张图像中的最大像素值，实现归一化处理；

设定一个最大迭代次数或者最小误差值，采用梯度下降的方式对烟雾、火焰分割网络进行训练，直到对烟雾、火焰分割网络达到设定的最大迭代次数或者最小误差值，获得烟雾、火焰分割模型。

构建完烟雾、火焰分割模型，可进行图像中烟雾及火焰的识别及分析。

步骤S4：采集待检测图像。

步骤S5：待检测图像中烟雾、火焰的概率识别，将待检测图像输入烟雾、火焰分割模型得到待检测图像的三个输出通道的输出结果，识别结果如图3所示，图中(a)、(b)、(c)分别为待检测图像每个坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率。

步骤S5获取了待检测图像每个坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率，可直接根据每个像素的三通道输出的概率最大值确定每个像素的标签，采用Softmax是深度神经网络分类模型中惯用的手段，本实施例，为了进一步确定待检测图像每个像素具体属于哪一类，通过步骤S6实现坐标类型的精准识别。

本实施例，在S6中，采用log+softmax函数对所述概率识别结果在通道轴做处理。通过加入log可以防止softmax上溢出和下溢出。

log+softmax函数为：

i为0，1，2，p₀、p₁、p₂，分别为图像中某坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率。

步骤S5在通道轴处理后得到的目标特征图如图4所示，根据目标特征图确定待检测图像每个坐标的识别结果的具体步骤为：

提取目标特征图每个坐标的三通道结果，取每个坐标的三通道结果的得到每个坐标的最大值，根据每个坐标的最大值所在的通道对应的类别获得检测图像每个坐标的类别，类别为背景、烟雾和火焰中的一类。

本实施例将检测图像输入基于U2net的分割模型，得到一个三通道的输出结果，每个通道表示此像素分别属于背景、烟雾和火焰的概率；采用log+softmax函数对三通道的输出结果在通道轴做处理，并将检测图像每个坐标三通道的最大值对应的类别作为该坐标的类别，实现图像中背景、烟雾、火焰的多重识别，在大范围的视野中依然能够稳定的鲁棒性，识别精度高。

第二方面，本发明提供一种基于u2net的烟雾、火焰分割系统，如图所示，本系统包括：

烟雾、火焰分割模型训练据集标注模块；烟雾、火焰分割模型训练据集中每一张样本图像的标签为单通道的图像，标签中的某坐标位置的像素值表示对应的样本图像中对应坐标位置的像素值的类别，类别为背景、烟雾和火焰中的一类；

烟雾、火焰分割模型训练模块；采用烟雾、火焰分割模型训练据集对烟雾、火焰分割网络进行训练，获得烟雾、火焰分割模型；

烟雾、火焰分割网络包括三通道的u2net输出模块、三类的u2net误差模块；

烟雾、火焰分割模型具有三个输出通道，三个输出通道的输出结果为图像中每个坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率；

待检测图像采集模块；用于获取待检测图像；

待检测图像中烟雾、火焰的概率识别模块；将待检测图像输入烟雾、火焰分割模型输出待检测图像的三个输出通道的输出结果；

待检测图像中烟雾、火焰的精准识别模块；对待检测图像的三个输出通道的输出结果在通道轴做处理，得到三通道的目标特征图，根据目标特征图确定待检测图像每个坐标的识别结果。

本实施中的一种基于u2net的烟雾、火焰分割系统实现了自动化识别且成本低廉、简单便捷、效果明显，其应用解决了在大范围的视野中识别精度低的问题，可高效率、自动化地实现烟雾及火焰的快速识别，具有降低工作人员工作量，且提高工作效率的优势。

以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (10)

1.一种基于u2net的烟雾、火焰分割方法，其特征在于，包括以下步骤：

S1：构建具有三通道的烟雾、火焰分割网络，所述烟雾、火焰分割网络包括三通道的u2net输出模块、三类的u2net误差模块；

S2：构建烟雾、火焰分割模型训练据集，所述烟雾、火焰分割模型训练据集中每一张样本图像的标签为单通道的图像，所述标签中的某坐标位置的像素值表示对应的样本图像中对应坐标位置的像素值的类别，所述类别为背景、烟雾和火焰中的一类；

S3：获取烟雾、火焰分割模型，采用所述烟雾、火焰分割模型训练据集对所述烟雾、火焰分割网络进行训练，获得所述烟雾、火焰分割模型，所述烟雾、火焰分割模型具有三个输出通道，三个输出通道的输出结果分别为图像中每个坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率；

S4：采集待检测图像；

S5：所述待检测图像中烟雾、火焰的概率识别，将所述待检测图像输入所述烟雾、火焰分割模型得到所述待检测图像的所述三个输出通道的输出结果；

S6：所述待检测图像中的烟雾、火焰的精准识别，对所述待检测图像的所述三个输出通道的输出结果在通道轴做处理，得到三通道的目标特征图，根据所述目标特征图确定所述待检测图像每个坐标的识别结果。

2.根据权利要求1所述的一种基于u2net的烟雾、火焰分割方法，其特征在于，所述三通道的u2net输出模块的构建方法为，将u2net网络的side模块的输出设置为3。

3.根据权利要求2所述的一种基于u2net的烟雾、火焰分割方法，其特征在于，所述三类的u2net误差模块的损失函数为多类交叉熵损失和多类样本相似度度量损失。

4.根据权利要求3所述的一种基于u2net的烟雾、火焰分割方法，其特征在于，所述多类交叉熵损失为：

其中，Log是以e为底数，i为0，1，2，out[i]为所述烟雾、火焰分割网络的输出向量。

5.根据权利要求3所述的一种基于u2net的烟雾、火焰分割方法，其特征在于，所述多类样本相似度度量损失为：

其中，TP：true positive，真阳性；TN：true negative，真阴性；FP：false positive，假阳性；FN：false negative，假阴性。

6.根据权利要求1所述的一种基于u2net的烟雾、火焰分割方法，其特征在于，标签的制作过程为：

定义一张和样本图像大小一样的单通道图像，若所述样本图像中坐标位置的像素值为背景，所述单通道图像中对应的坐标位置处的像素值为0；若所述样本图像中坐标位置的像素值为烟雾，所述单通道图像中对应的坐标位置处的像素值为1；若所述样本图像中坐标位置的像素值为火焰，所述单通道图像中对应的坐标位置处的像素值为2，在所述单通道图像中完成所述样本图像每个坐标位置的像素值的标注，获得所述标签。

7.根据权利要求1所述的一种基于u2net的烟雾、火焰分割方法，其特征在于，在所述S3中，采用梯度下降的方式训练所述烟雾、火焰分割网络。

8.根据权利要求1所述的一种基于u2net的烟雾、火焰分割方法，其特征在于，在所述S6中，采用log+softmax函数对所述待检测图像的所述三个输出通道的输出结果在通道轴做处理；

所述log+softmax函数为：

式中：i为0，1，2，p₀、p₁、p₂，分别为图像中某坐标的像素值属于背景的概率、属于烟雾的概率、属于火焰的概率。

9.根据权利要求1所述的一种基于u2net的烟雾、火焰分割方法，其特征在于，所述根据所述目标特征图确定所述待检测图像每个坐标的识别结果的具体步骤为：

提取所述目标特征图每个坐标的三通道结果，取每个坐标的所述三通道结果的最大值得到每个坐标的最大值，根据每个坐标的所述最大值所在的通道对应的类别获得所述检测图像每个坐标的像素值的类别，所述类别为背景、烟雾和火焰中的一类。

10.一种基于u2net的烟雾、火焰分割系统，包括：

烟雾、火焰分割模型训练据集标注模块；所述烟雾、火焰分割模型训练据集中每一张样本图像的标签为单通道的图像，所述标签中的某坐标位置的像素值表示对应的样本图像中对应坐标位置的像素值的类别，所述类别为背景、烟雾和火焰中的一类；

烟雾、火焰分割模型训练模块；采用所述烟雾、火焰分割模型训练据集对烟雾、火焰分割网络进行训练，获得所述烟雾、火焰分割模型；

所述烟雾、火焰分割网络包括三通道的u2net输出模块、三类的u2net误差模块；

所述烟雾、火焰分割模型具有三个输出通道，三个输出通道的输出结果为图像中每个坐标的像素值属于所述背景的概率、属于所述烟雾的概率、属于所述火焰的概率；

待检测图像采集模块；用于获取待检测图像；

所述待检测图像中烟雾、火焰的概率识别模块；将所述待检测图像输入所述烟雾、火焰分割模型输出所述待检测图像的所述三个输出通道的输出结果；

所述待检测图像中烟雾、火焰的精准识别模块；对所述待检测图像的所述三个输出通道的输出结果在通道轴做处理，得到三通道的目标特征图，根据所述目标特征图确定所述待检测图像每个坐标的识别结果。

Images