CN115880490B - 一种基于孤立森林的火焰分割方法 - Google Patents

Abstract

本发明公开了一种基于孤立森林的火焰分割方法，涉及工业生产安全监控技术领域，包括以下步骤：根据视频帧，采用双阈值算法计算火焰候选区域掩膜；根据掩膜计算图像动态特征描述子，通过拼接形式构建图像总体特征描述子；采用孤立森林方法对特征描述子进行分类，选取分类结果中特征描述子的坐标维度信息，并将该部分信息标记到原始图像，完成对火焰目标的分割；通过将孤立森林的人工智能学习模型和加热炉火焰检测实际需求相结合，构建双阈值特征提取算法，通过引入孤立森林对获得特征进行评估与分类，确定当前时刻下的真实火焰区域。

Description

一种基于孤立森林的火焰分割方法

技术领域

本发明涉及工业生产安全监控技术领域，具体涉及一种基于孤立森林的火焰分割方法。

背景技术

火灾是生产生活中普遍存在的安全问题，准确地发现和识别火灾信息，对于火灾的预警和抢险救灾具有重要的技术价值。

火灾信息识别的核心问题是火焰或起火区域识别，现有方法主要是从经典图像处理与深度学习两种技术角度进行技术搭建。从算法思路上看，火焰目标分割常采用特征提取结合分类器决策模式，这也导致两类算法有着不同的适用环境，具体地，由于经典图像处理算法依赖手动构建的特征工程，当外部条件发生改变会引起特征分布改变，造成算法泛化性较差，适用场景单一，但由于计算简单，流程单一，因此在快速性较好，是工业过程安全监控等众多领域应用最广泛的一种方法；而基于深度学习方法主要基于数据驱动进行特征提取，能够得到深层的、特定的特征表示，其对数据集的表达更高效和准确，泛化能力更好。缺点是影响模型性能等因素较多，训练难度较高，部署时对设备算力要求较高，在某些特定场景下性能不如传统图像处理算法，但随着工业大数据领域的发展，逐步应用在工业过程中的各个环节。

综上所述，传统图像处理算法与深度学习算法有各自擅长的应用场景，在现有技术条件下，建立一种可以有效结合两种算法各自优势的图像处理算法，才能适应不同场景下火焰目标分割任务的需求。为此提出一种基于孤立森林的火焰分割方法以解决以上问题。

发明内容

针对现有技术的不足，本发明提供了一种基于孤立森林的火焰分割方法，解决现有技术中存在的问题。

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于孤立森林的火焰分割方法，包括以下步骤：

根据图像流中截取的视频帧来构建火焰RGB模型，依据火焰RGB模型得到静态特征矩阵；

对静态特征矩阵进行二值化得到区域掩膜，并通过区域掩膜获取火焰候选区域的纹理特征矩阵；

采用帧差法将相邻时刻的两帧图像的灰度图进行相减，获得图像的前向差分矩阵，并将区域掩膜作为前向差分矩阵的权值，得到保留火焰候选区域的动态特征矩阵；

采用拼接方式将静态特征矩阵、纹理特征矩阵、动态特征矩阵组成新的多维特征矩阵，依据火焰的分布特性建立多维特征矩阵对应原始采集图像的坐标矩阵，通过坐标矩阵和新的矩阵构建图像特征描述子；

采用孤立森林方法对特征描述子进行分类得到异常评分，对采样得到的数据统计出其在图像特征描述子中的值并组成新的特征矩阵；对新的特征矩阵重新计算异常评分，并选取评分低于阈值的部分作为分类结果；

将得到的分类结果进行解码，选取最终分类结果中特征描述子的坐标维度信息，并将该部分信息标记到原始火焰图像，完成对火焰目标的分割。

进一步地，定义火焰RGB模型：

R(x,y)＞G(x,y)＞B(x,y),R(x,y)＞R_th

其中，R(x,y)、G(x,y)和B(x,y)分别为任意像素点Pixel(x,y)的红绿蓝RGB三个分量(R(red)、G(green)、B(blue))，R_th为阈值

进一步地，依据火焰RGB模型，对图片像素三个分量分别减去阈值R_th和R分量到G分量距离的阈值得到：

RG(x,y)＝(R(x,y)-G(x,y)-d₁)·[R(x,y)-R_th+1]

GB_(n)(x,y)＝RG(x,y)·[G(x,y)-B(x,y)-d₂+1]

其中，d₁是R分量到G分量距离的阈值；d₂是G分量到B分量距离的阈值，RG(x,y)与GB_(n)(x,y)为重要静态特征矩阵。

进一步地，对静态特征矩阵GB_(n)进行二值化，得到区域掩膜：

进一步地，简化计算仅获取火焰候选区域的纹理特征得到：

T_LBP＝f_nGB·LBP(Picture(n))

其中，LBP(Picture(n))为提取图像的LBP特征(radius＝1,neighbor＝8)。

进一步地，采用帧差法获得前向差分矩阵：

其中，Gray_(n)为第n帧进行灰度化后的图像，size(frame)为待检测视频的总帧数。

进一步地，采用加权平均法计算灰度值得到：

进一步地，通过将区域掩膜f_nGB作为差分矩阵D_(n)的权值，仅保留火焰候选区域的动态特征，所得的特征矩阵为：

F_dynamic＝D_(n)·f_nGB。

进一步地，仅保留掩膜f_nGB值为1部分的特征值，并将特征矩阵GB_(n)、T_LBP和F_dynamic采用拼接方式得到新的矩阵为：

进一步地，所述孤立森林计算公式为：

其中，S为异常评分，h(x)为数据点x相对于根节点的路径长度，c(n)为给定样本数n时h(x)的估计平均值，E(h(x))为样本期望。

本发明提供了一种基于孤立森林的火焰分割方法，具备以下有益效果：

该方法将孤立森林的人工智能学习模型和火焰分割实际需求相结合，以图像特征工程为基础，构建了一种双阈值特征提取算法，通过引入孤立森林从多个特征维度对火焰区域进行评估与分类，在决策过程中有效地结合了局部与全局信息，保证了分割结果的准确性与可靠性。此外，本发明在吸收经典图像处理算法简易结构的基础上，构建了可并行计算的快速火焰分割算法具有更好的实时性，能够方便地部署在低算力平台，在工业生产安全与城市消防领域有着广泛的应用前景。

附图说明

图1为特征描述子F_t可视化构建过程示意图；

图2为原始图像、双阈值特征筛选结果、掩膜、动态特征的示意图；

图3为算法流程图；

图4为场景1的采样过程与识别结果示意图；

图5为异常评分和样本期望的关系曲线图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

请参阅图1-5，本发明提供的技术方案：

本发明提供了一种基于孤立森林的火焰分割方法，用以提升火焰分割算法在多任务场景下的泛化性能，主要包括两点内容：

针对现有特征提取方法存在的薄弱环节，采用双阈值特征选择方法，构建候选区域掩膜矩阵以及特征描述子；简记捕捉到的图像中，任意像素Pixel(x,y)对应RGB分量分别为R(x,y)、G(x,y)和B(x,y)，定义火焰RGB模型有如模型1，并构建如下双阈值特征选择算法：

考虑到即使R(x,y)＞G(x,y)，但两个分量之间在空间中仍有一定的距离，依据火焰RGB模型，对图片像素三个分量分别减去阈值R_th和R分量到G分量距离的阈值：

模型1：R(x,y)＞G(x,y)＞B(x,y),R(x,y)＞R_th

RG₁(x,y)＝R(x,y)-R_th (1)

RG₂(x,y)＝R(x,y)-G(x,y)-d₁ (2)

同样考虑到G(x,y)分量到B(x,y)分量之间也存在一定的距离，构造公式(3)～(5)：

RG(x,y)＝RG₂(x,y)·[RG₁(x,y)+1] (3)

Gb(x,y)＝G(x,y)-B(x,y)-d₂ (4)

GB_(n)(x,y)＝RG(x,y)·[Gb(x,y)+1] (5)

式中，d₂是G分量到B分量距离的阈值。

由式(1)～(3)可知，RG(x,y)同时满足阈值条件和颜色模型条R(x,y)＞G(x,y)，故式(5)中将RG(x,y)作为静态特征矩阵GB_(n)重要权重。

式(1)～(4)使得Pixel(x,y)中不满足阈值条件和颜色模型条件部分具有负的特征值，重要权重RG(x,y)使得静态特征矩阵GB_(n)继承该负号，因而可以认为GB_(n)中值大于0的部分，包含了大部分的火焰区域，对式(5)进行二值化，得到区域掩膜，该掩膜用于规定火焰候选区域：

同时，纹理特征也是真实火焰的一个重要特征，在噪声、旋转、光照变化方面具有不变性，并且纹理特征可以抑制火焰反射引起的干扰，为简化计算仅获取火焰候选区域的纹理特征，过程如下：

T_LBP＝f_nGB·LBP(Picture(n)) (7)

式中，LBP(Picture(n))提取图像的LBP特征(radius＝1,neighbor＝8)。

本方案通过帧差法来获得图像的动态信息，具体地，采用帧差法获得前向差分矩阵：

式中，Gray_(n)为第n帧进行灰度化后的图像，本节采用加权平均法计算灰度值，计算过程如下:

通过将区域掩膜f_nGB作为差分矩阵D_(n)的权值，仅保留火焰候选区域的动态特征，所得的特征矩阵为：

F_dynamic＝D_(n)·f_nGB (10)

经过特征提取之后的各特征矩阵仍就包含大量的无意义像素点，仅保留掩膜值f_nGB为1部分的特征值，并将特征矩阵GB_(n)、T_LBP和F_dynamic采用拼接方式组成新的矩阵，如式(11)所示：

式(11)中包含的静态、动态以及纹理特征，然而火焰还存在分布特性；分布特性决定了火焰不会以离散的单点形式存在，表现在图像上就是火焰区域的连通性，这种连通性直接体现在Pixel(x,y)的集中分布上，因此，建立特征矩阵F_t、对应原图的坐标矩阵coordinate_(x)和coordinate_(y)。

由式(5)～(11)可知，特征矩阵的构建基于掩膜f_nGB，因而掩膜中值为1的部分对应原始采集图像的坐标集合即为所求坐标矩阵。

坐标矩阵coordinate_(x)和coordinate_(y)、以及特征矩阵F_t，上述矩阵共同构成了图像特征描述子。

本发明第二部分即采用孤立森林方法对特征描述子进行分类，类别划分方法如下：

首先，对F_t矩阵采用孤立森林算法得到异常评分S，由于真实火焰的特征值在中呈现偏离总体趋势，故选取的异常评分中S∈(0.5,1]部分作为孤立采样的数据；

其次，对采样得到的数据统计出其在矩阵F_t中的值并组成新的特征矩阵F_t ^k。由于火焰分布特性造成真实火焰区域像素在总体上分布更为集中，也意味着异常程度较低，因此,对F_t ^k矩阵重新计算异常分数S₁并选取S₁∈[0,0.5)部分作为最终获得的识别结果。

需要说明的是，孤立森林公式如式(12)～(13)所示，其中，h(x)为数据点x相对于根节点的路径长度，c(n)为给定样本数n时h(x)的平均值，H(i)为调和级数，可以用式(14)近似计算：

根据式(12)～(13)，异常评分S(x,n)和样本期望E(h(x))的关系如图5所示，纵轴为异常评分，横轴为样本期望E(h(x))，由于式(12)中E(h(x))由c(n)进行归一化，横轴取值范围视实际情况而定。

下表为本发明针对两种场景进行的火焰分割试验结果，其中视频1场景如图4(4)所示；视频2与视频3为同一场景下不同时刻采集的视频，其场景如图4(1)所示。试验结果中查准和查全率对比如下表所示：

具体实施方式为：

如图3所示提供的一种基于孤立森林的火焰分割方法流程图，该方法包括：

步骤S1:导入视频图像流，并从图像流中截取视频帧；

步骤S2:根据式(1)～(6)，本方案采用双阈值算法计算火焰候选区域掩膜f_nGB，并根据掩膜f_nGB通过式(8)～(10)计算图像动态特征描述子F_dynamic，通过拼接形式构建图像总体特征描述子F_t。

步骤S3:对F_t矩阵采用孤立森林算法得到异常评分。

需要说明的是异常评分表明了局部数据与全局数据的分布关系，可以将这种分布关系是作为火焰特征的判别依据，然而，对特征描述子F_t直接进行孤立森林分类所得结果是无效的。这是因为即使孤立森林在处理高维数据方面有着不错的表现，但是多维数据F_t、与coordinate_(x)和coordinate_(y)所表现出的异常不具有一致性：即F_t和coordinate属于同一区域的不同特征，这就造成coordinate中被判别为异常的区域但在F_t中可能表现为正常；这是由于coordinate中被判别为异常区域中的数据分布聚集，造成F_t不具有异常离群数据。上述问题是孤立森林的固有问题，因此本方案分别进行步骤S3与步骤S4两步操作。

步骤S4:对采样得到的数据统计出其在矩阵F_t中的值并组成新的特征矩阵F_t ^k，对F_t ^k矩阵重新计算异常分数S₁并选取S₁∈[0,0.5)部分作为分类结果。

步骤S5:将步骤S4中的分类结果解码，映射到原始采集图像上，即完成火焰目标的分割。

仿真计算分析：采用图4(1)所示场景，按照本发明所示火焰分割方法，对图像特征进行提取与火焰目标分割，对比图4(1)与图4(2)可以看出，本发明建立的基于孤立森林的火焰分割方法对于类火焰区域有效的进行了去除，在单一场景下表现出了较好的分割性能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于孤立森林的火焰分割方法，其特征在于，包括以下步骤：

根据原始图像流中截取的视频帧来构建火焰RGB模型，依据火焰RGB模型得到静态特征矩阵；定义火焰RGB模型：

R(x,y)＞G(x,y)＞B(x,y),R(x,y)＞R_th

其中，R(x,y)、G(x,y)和B(x,y)分别为像素点Pixel(x,y)的红绿蓝RGB三个分量R(red)、G(green)、B(blue)，R_th为阈值；

根据所述火焰RGB模型，对图片像素三个分量分别减去阈值R_th和R分量到G分量距离的阈值得到：

RG(x,y)＝(R(x,y)-G(x,y)-d₁)·[R(x,y)-R_th+1]

GB_(n)(x,y)＝RG(x,y)·[G(x,y)-B(x,y)-d₂+1]

其中，d₁是R分量到G分量距离的阈值；d₂是G分量到B分量距离的阈值，RG(x,y)与GB_(n)(x,y)为重要静态特征矩阵；

对静态特征矩阵进行二值化得到区域掩膜，并通过区域掩膜获取火焰候选区域的纹理特征矩阵；

采用帧差法将相邻时刻的两视频帧图像的灰度图进行相减，获得图像的前向差分矩阵，并将区域掩膜作为前向差分矩阵的权值，得到保留火焰候选区域的动态特征矩阵；

采用拼接方式将静态特征矩阵、纹理特征矩阵、动态特征矩阵组成新的多维特征矩阵，依据火焰的分布特性建立多维特征矩阵对应原始图像的坐标矩阵，通过坐标矩阵和新的多维特征矩阵构建图像特征描述子；

采用孤立森林方法对特征描述子进行分类，选取分类结果中特征描述子的坐标维度信息，并将该部分信息标记到原始图像，完成对火焰目标的分割。

2.根据权利要求1所述的一种基于孤立森林的火焰分割方法，其特征在于，对静态特征矩阵GB_(n)进行二值化，得到区域掩膜：

3.根据权利要求2所述的一种基于孤立森林的火焰分割方法，其特征在于，根据区域掩膜获取火焰候选区域的纹理特征：

T_LBP＝f_nGB·LBP(Picture(n))

其中，LBP(Picture(n))为提取图像的LBP特征，radius＝1,neighbor＝8。

4.根据权利要求3所述的一种基于孤立森林的火焰分割方法，其特征在于，采用帧差法获得前向差分矩阵D_(n)：

其中，Gray_(n)为第n帧进行灰度化后的图像，size(frame)为待检测视频的总帧数。

5.根据权利要求4所述的一种基于孤立森林的火焰分割方法，其特征在于，采用加权平均法计算灰度值得到：

6.根据权利要求5所述的一种基于孤立森林的火焰分割方法，其特征在于，通过将区域掩膜f_nGB作为差分矩阵D_(n)的权值，仅保留火焰候选区域的动态特征，得到特征矩阵为：

F_dynamic＝D_(n)·f_nGB。

7.根据权利要求6所述的一种基于孤立森林的火焰分割方法，其特征在于，仅保留掩膜f_nGB值为1部分的特征值，并将特征矩阵GB_(n)、T_LBP和F_dynamic采用拼接方式得到新的矩阵为：

8.根据权利要求7所述的一种基于孤立森林的火焰分割方法，其特征在于，所述孤立森林计算公式为：

其中，S为异常评分，h(x)为数据点x相对于根节点的路径长度，c(n)为给定样本数n时h(x)的估计平均值，E(h(x))为样本期望。