CN110826559B - 基于视觉感知的火炬烟尘监测方法 - Google Patents

Abstract

基于视觉感知的火炬烟尘监测方法属于图像处理与环境感知的交叉领域。本发明提出的VMFM，首先利用宽调谐彩色通道识别图像中是否存在火焰，然后结合快速显著性检测和K‑means方法确定火焰的位置，最后以火焰区域为中心搜索潜在的火炬烟尘区域并最终检测火炬烟尘是否存在。从石化厂采集的多个视频序列上的实验结果表明，本发明在监控性能和计算效率上都优于现有的相关方法。本发明设计的基于视觉的火炬烟尘监测方法能够及时发现火炬烟尘，保证火炬气充分燃烧。

Description

基于视觉感知的火炬烟尘监测方法

技术领域

本发明设计的基于视觉的火炬烟尘监测方法(VMFM)，能够及时发现火炬烟尘，保证火炬气充分燃烧。本发明提出的VMFM，首先利用宽调谐彩色通道识别图像中是否存在火焰，然后结合快速显著性检测和K-means方法确定火焰的位置，最后以火焰区域为中心搜索潜在的火炬烟尘区域并最终检测火炬烟尘是否存在。从石化厂采集的多个视频序列上的实验结果表明，本发明所提出的监控系统在监控性能和计算效率上都优于现有的相关方法。基于视觉的火炬烟尘监测方法属于图像处理与环境感知的交叉领域。

背景技术

放空火炬是石油化工企业和炼油厂生产过程中不可或缺的设施。在设备发生故障、断水、断气、停电、火灾、误操作等问题时，生产装置需要排放出大量废气，即火炬气。火炬气不充分燃烧会产生火炬烟尘，常伴有有毒有害气体，严重污染大气，危害人体健康。近年来，有关空气污染监测与预测的研究引起了业界广泛关注。

传统对火炬烟尘的治理主要集中在补氧、脱碳等方面，如注入助燃蒸汽、鼓入空气等。消除火炬烟尘最常用的方法是注入助燃蒸汽，通过中心蒸汽，引射蒸汽和顶部蒸汽共同作用，提高火焰高度，扩大火焰和空气之间的接触面积，降低火焰温度以减少裂解反应，从而显著抑制火炬烟尘的产生。目前针对火炬气燃烧的调节方式大致分为两类：一类是企业普遍采用的手动调节助燃蒸汽流量，另一类是根据火炬气流量设计的PLC控制系统，但这两种方法都不能保证火炬气的高效燃烧。

近年来，使用深度网络进行图像处理和图像识别的技术取得了长足发展，尤其是随着现代计算机运算能力的提高，通过使用深度网络对大量样本的学习可有效提取目标特征，从而实现精确的图像识别。深度网络需要大量训练样本，但实际收集大量数据样本困难，造成数据稀缺。此外，深度网络对噪声干扰敏感，鲁棒性差。基于上述问题，本发明设计了基于视觉的火炬烟尘监测方法(VMFM)，能够及时检测烟尘，保证火炬气充分燃烧。

发明内容

本发明提出的基于视觉的火炬烟尘监测方法(VMFM)，能有效用于检测石油化工企业火炬气燃烧过程中是否排放火炬烟尘。首先，VMFM使用经过宽调谐彩色通道，从图像中检测是否存在火焰。其次，VMFM将显著性检测技术与K-means融合，固定火焰位置。最后，VMFM以火焰区域为中心，根据背景色通道，先搜索潜在的烟尘区域，然后检测烟尘是否存在。

本发明采用了如下的技术方案及实现步骤：

(1)火焰区域检测

通过对石化企业现场采集到的典型的火炬气燃烧照片进行观察，如图1。将照片分为三类:“无火焰无烟”、“有火焰无烟”和“有火焰有烟”。存在火焰是存在烟尘的前提，因此，所提出的VMFM首要任务是识别是否存在火焰。首先对采集到的RGB图像的进行下采样，使图像尺寸降低3倍，然后计算火焰对应的红色通道和天空对应的蓝色通道之间的宽调谐彩色通道来甄别火焰的存在性：

D_flame＝F₁B₁(P_R-P_B) (1)

其中，D_flame表示对火焰区域的检测结果；P_R、P_B分别表示下采样后的RGB图像的R(红色)、B(蓝色)通道的像素值；B₁为区分火焰区域和非火焰区域的阈值，B₁的值设置为170，大于170的像素值为1(火焰区域)，小于170的像素值为0(非火焰区域)，当一张照片中火焰像素的总个数超过100时，说明火焰存在，则进一步分析图像中是否存在火炬烟尘，否则读取下一张照片；F₁表示均值滤波算子。

图2和图3是利用式(1)检测到的火焰区域。图2(1)-(3)对应的是一张没有火焰和烟尘的照片，如图1-(1)所示。图3(1)-(3)对应另一张含有火焰和烟尘的照片，如图1-(3)所示。对于图2-(1)和图3-(1)中的红色通道，图2-(2)和图3-(2)中的蓝色通道，图2-(3)和图3-(3)中的宽调谐彩色通道，分别对这两个不同的照片场景进行了提取和显示。很容易发现，在图2-(3)中没有明亮的区域，因为在第一张照片中没有火焰存在。相反，图3-(3)包含一个明显的明亮区域，这与第二张照片包含火焰的事实相一致。

(2)火焰区域提取

上述算法可以确定火焰是否存在。如果火焰存在，然后进一步提取火焰区域，有助于寻找潜在的火炬烟尘区域，最终识别火炬烟尘。显著性检测通过模拟人类视觉特征来寻找图像中显著区域。利用图像符号方法进行显著性检测，捕捉火焰区域如图4。图像符号方法定义为：

IS_map＝G＊(T_IDCT2(sign(T_DCT2(P_RGB)))²) (2)

其中，P_RGB是下采样3倍的RGB图像；T_DCT2(·)表示二维信号的离散余弦变换(DCT)；T_IDCT2(·)表示二维信号的离散余弦反变换DCT；sign(·)是符号函数；G表示一个高斯核函数；‘＊’表示卷积运算符。

然后对IS_map进行二值化运算，生成燃烧区域A_flame，如图5：

其中，α的阈值设置为0.3，来识别火焰区域。由于被检测到的火焰区域仍可能存在造成干扰的背景区域，故考虑除去离群点。具体实现方法：首先对IS_map进行下采样，使图像尺寸降低64倍，降低分辨率，然后再进行上采样，使图像尺寸提高64倍，将分辨率恢复到原来的大小，得到精细化后的火焰区域A_flame′，如图6：

其中，β的阈值设置为0.7。

虽然经过A_flame′处理，但仍然存在非火焰干扰区域，因此首先对采集到的RGB图像的进行下采样，使图像尺寸降低3倍，然后通过K-means聚类进行离群点(例如树木、白云等)去除，滤除非火焰区域，得到最终的火焰区域F_flame，如图8：

F_flame＝max{me anF₂(B₂P_R-B₂P_B)⊙C_i]} (5)

其中，B₂是阈值设置为150的二值化符号，大于150的像素值为1(火焰区域)，小于150的像素值为0(非火焰区域)；F₂表示中值滤波算子；C_i表示第i个质心区域；⊙是一个点乘运算符号。

将式(1)和式(5)进行比较，即二值化运算与宽调谐彩色通道提取之间的操作顺序。不难发现，如果使用式(1)先提取宽调谐彩色通道，然后再进行二值化运算，得到的效果很差，如图3-(3)，可能得到不完全火焰区域。但是，如果先使用二值化运算，然后提取宽调谐彩色通道来执行式(5)，将得到很好的结果，如图7。最后，使用K-means提取火焰区域F_flame，如图8。

(3)火炬烟尘识别

从石化企业采集的火炬气燃烧照片不可避免地含有云和树木等背景干扰物，所以在给定的图像中，将注意力集中在火焰的周围区域，这有助于提高识别火炬烟尘的性能，以便在识别之前找到火炬烟尘区域。基于火焰上方出现的火炬烟尘通常沿着风的方向飘离火焰区域的假设，可认定提取的火焰区域的左侧、右侧和顶部是潜在的火炬烟尘区域，如图9，其中框内的区域为潜在火炬烟尘区域。上述的假设是为了滤除所有干扰物，只保留火焰和火炬烟尘，降低火炬烟尘识别难度，提高精度。

利用二值化和宽调谐彩色通道，从潜在火炬烟尘(S)区域提取火焰区域

如图10：

其中，S_R和S_B分别代表火炬烟尘S的R通道的像素值和B通道的像素值。引入形态学算子处理

生成

如图11：

其中，F_D表示膨胀操作，定义如下：

其中，Φ是一个大小为7×7的局部矩阵；(x₀,y₀)表示在Φ坐标里的偏移量；膨胀操作是求Φ局部区域最大值，求得图像中的所有火焰区域。消除烟尘干扰，得到只包含火炬烟尘和天空背景的

区域，如图12：

最后，利用天空背景是蓝色的先验知识，取

与

的二值化蓝色通道的像素值的交集，最终定位到精确的火炬烟尘区域A_soot，如图13：

其中，B₃是阈值设置为113的二值化符号，大于113的像素值为1(天空背景区域)，小于113的像素值为0(火焰和火炬烟尘区域)；

是

的蓝色通道的像素值；“∩”表示“和”运算。如果∑A_soot大于0，表示火炬烟尘存在；否则，表示火炬烟尘不存在。为了说明，请比较图13(1)-(2)。

本发明的创新及贡献主要体现在：

(1)本发明提出的VMFM方法与目前现有的方法相比，在四个主流指标(精准率、召回率、准确率和误报率)获得了最佳的监控性能。

(2)本发明提出的VMFM方法在烟尘检测上达到了非常稳定的准确性，跨场景分类误差小，计算效率高，更适用于复杂多变的工业环境。

附图说明

图1是典型的火炬气燃烧图像：(1)“无火焰无烟”；(2)“有火焰无烟”；(3)“有火焰有烟”

图2是没火焰和烟尘的图像：(1)红色通道；(2)蓝色通道；(3)宽调谐彩色通道

图3是有火焰和烟尘的图像：(1)红色通道；(2)蓝色通道；(3)宽调谐彩色通道

图4是利用显著性理论提取到火焰轮廓

图5是对图4进行二值化得到的火焰区域

图6是精细化后的火焰区域

图7是得到的完整的火焰区域

图8提取火焰区域的最终区域

图9是潜在的火炬烟尘区域(用框圈出)

图10是膨胀操作前，二值化和宽调谐彩色通道得到的火焰区域

图11是膨胀操作后，二值化和宽调谐彩色通道得到的火焰区域

图12是去除火焰后，二值化和宽调谐彩色通道得到的只包含火炬烟尘和天空背景

图13是从潜在烟尘区域的探测到火炬烟尘的识别结果：(1)“有火焰无烟”和(2)“有火焰有烟”两张照片的对比

具体实施方式

(1)火焰区域检测

通过对石化企业现场采集到的典型的火炬气燃烧照片进行观察，如图1。将照片分为三类:“无火焰无烟”、“有火焰无烟”和“有火焰有烟”。存在火焰是存在烟尘的前提，因此，所提出的VMFM首要任务是识别是否存在火焰。首先对采集到的RGB图像的进行下采样，使图像尺寸降低3倍，然后计算火焰对应的红色通道和天空对应的蓝色通道之间的宽调谐彩色通道来甄别火焰的存在性：

D_flame＝F₁B₁(P_R-P_B) (11)

其中，D_flame表示对火焰区域的检测结果；P_R、P_B分别表示下采样后的RGB图像的R(红色)、B(蓝色)通道的像素值；B₁为区分火焰区域和非火焰区域的阈值，B₁的值设置为170，大于170的像素值为1(火焰区域)，小于170的像素值为0(非火焰区域)，当一张照片中火焰像素的总个数超过100时，说明火焰存在，则进一步分析图像中是否存在火炬烟尘，否则读取下一张照片；F₁表示均值滤波算子。

图2和图3是利用式(1)检测到的火焰区域。图2(1)-(3)对应的是一张没有火焰和烟尘的照片，如图1-(1)所示。图3(1)-(3)对应另一张含有火焰和烟尘的照片，如图1-(3)所示。对于图2-(1)和图3-(1)中的红色通道，图2-(2)和图3-(2)中的蓝色通道，图2-(3)和图3-(3)中的宽调谐彩色通道，分别对这两个不同的照片场景进行了提取和显示。很容易发现，在图2-(3)中没有明亮的区域，因为在第一张照片中没有火焰存在。相反，图3-(3)包含一个明显的明亮区域，这与第二张照片包含火焰的事实相一致。

(2)火焰区域提取

上述算法可以确定火焰是否存在。如果火焰存在，然后进一步提取火焰区域，有助于寻找潜在的火炬烟尘区域，最终识别火炬烟尘。显著性检测通过模拟人类视觉特征来寻找图像中显著区域。利用图像符号方法进行显著性检测，捕捉火焰区域如图4。图像符号方法定义为：

IS_map＝G＊(T_IDCT2(sign(T_DCT2(P_RGB)))²) (12)

其中，P_RGB是下采样3倍的RGB图像；T_DCT2(·)表示二维信号的离散余弦变换(DCT)；T_IDCT2(·)表示二维信号的离散余弦反变换DCT；sign(·)是符号函数；G表示一个高斯核函数；‘＊’表示卷积运算符。

然后对IS_map进行二值化运算，生成燃烧区域A_flame，如图5：

其中，α的阈值设置为0.3，来识别火焰区域。由于被检测到的火焰区域仍可能存在造成干扰的背景区域，故考虑除去离群点。具体实现方法：首先对IS_map进行下采样，使图像尺寸降低64倍，降低分辨率，然后再进行上采样，使图像尺寸提高64倍，将分辨率恢复到原来的大小，得到精细化后的火焰区域A_flame′，如图6：

其中，β的阈值设置为0.7。

虽然经过A_flame′处理，但仍然存在非火焰干扰区域，因此首先对采集到的RGB图像的进行下采样，使图像尺寸降低3倍，然后通过K-means聚类进行离群点(例如树木、白云等)去除，滤除非火焰区域，得到最终的火焰区域F_flame，如图8：

F_flame＝max{mean[F₂(B₂P_R-B₂P_B)⊙C_i]} (15)

其中，B₂是阈值设置为150的二值化符号，大于150的像素值为1(火焰区域)，小于150的像素值为0(非火焰区域)；F₂表示中值滤波算子；C_i表示第i个质心区域；⊙是一个点乘运算符号。

将式(1)和式(5)进行比较，即二值化运算与宽调谐彩色通道提取之间的操作顺序。不难发现，如果使用式(1)先提取宽调谐彩色通道，然后再进行二值化运算，得到的效果很差，如图3-(3)，可能得到不完全火焰区域。但是，如果先使用二值化运算，然后提取宽调谐彩色通道来执行式(5)，将得到很好的结果，如图7。最后，使用K-means提取火焰区域F_flame，如图8。

(3)火炬烟尘识别

从石化企业采集的火炬气燃烧照片不可避免地含有云和树木等背景干扰物，所以在给定的图像中，将注意力集中在火焰的周围区域，这有助于提高识别火炬烟尘的性能，以便在识别之前找到火炬烟尘区域。基于火焰上方出现的火炬烟尘通常沿着风的方向飘离火焰区域的假设，可认定提取的火焰区域的左侧、右侧和顶部是潜在的火炬烟尘区域，如图9，其中框内的区域为潜在火炬烟尘区域。上述的假设是为了滤除所有干扰物，只保留火焰和火炬烟尘，降低火炬烟尘识别难度，提高精度。

利用二值化和宽调谐彩色通道，从潜在火炬烟尘(S)区域提取火焰区域

如图10：

其中，S_R和S_B分别代表火炬烟尘S的R通道的像素值和B通道的像素值。引入形态学算子处理

生成

如图11：

其中，F_D表示膨胀操作，定义如下：

其中，Φ是一个大小为7×7的局部矩阵；(x₀,y₀)表示在Φ坐标里的偏移量；膨胀操作是求Φ局部区域最大值，求得图像中的所有火焰区域。消除烟尘干扰，得到只包含火炬烟尘和天空背景的

区域，如图12：

最后，利用天空背景是蓝色的先验知识，取

与

的二值化蓝色通道的像素值的交集，最终定位到精确的火炬烟尘区域A_soot，如图13：

其中，B₃是阈值设置为113的二值化符号，大于113的像素值为1(天空背景区域)，小于113的像素值为0(火焰和火炬烟尘区域)；

是

的蓝色通道的像素值；“∩”表示“和”运算。如果∑A_soot大于0，表示火炬烟尘存在；否则，表示火炬烟尘不存在。为了说明，请比较图13(1)-(2)。

为了全面量化我们提出的VMFM和其他方法的性能的对比，使用了四个主流指标，包括精准率(AR)、召回率(RR)、准确率(PR)和误报率(FAR)：

其中P_s表示正样本数量，N_s表示负样本数量，T_ps是正确检测到的真阳性样本的数量，T_ns是正确检测到的真阴性样本的数量，F_ps表示错误识别的假阳性样本的数量，F_ns表示错误识别的假阴性样本的数量。在上述四个指标中，一个优秀的方法应该在AR、RR、PR中取值较大，在FAR中取值较小。

表1中，把我们提出的VMFM方法和8个最先进的深度网络方法在4个测量指标上的性能作对比分析，可以看出本发明提出的VMFM取得了最佳性能。

表1 VMFM方法和8个最先进的深度网络在4个图像集上的监控性能对比结果

Claims (1)

1.基于视觉感知的火炬烟尘监测方法，其特征在于，包括以下步骤：

(1)火焰区域检测

对石化企业现场采集到的火炬气燃烧照片进行分类；将照片分为三类:“无火焰无烟”、“有火焰无烟”和“有火焰有烟”；存在火焰是存在烟尘的前提，首要任务是识别是否存在火焰；

首先对采集到的RGB图像的进行下采样，使图像尺寸降低3倍，然后计算火焰对应的红色通道和天空对应的蓝色通道之间的宽调谐彩色通道来甄别火焰的存在性：

D_flame＝F₁B₁(P_R-P_B) (1)

其中，D_flame表示对火焰区域的检测结果；P_R、P_B分别表示下采样后的RGB图像的R红色、B蓝色通道的像素值；B₁为区分火焰区域和非火焰区域的阈值，B₁的值设置为170，大于170的像素值为1即火焰区域，小于170的像素值为0即非火焰区域，当一张照片中火焰像素的总个数超过100时，说明火焰存在，则进一步分析图像中是否存在火炬烟尘，否则读取下一张照片；F₁表示均值滤波算子；

(2)火焰区域提取

如果火焰存在，然后进一步提取火焰区域，有助于寻找潜在的火炬烟尘区域，最终识别火炬烟尘；

显著性检测通过模拟人类视觉特征来寻找图像中显著区域；利用图像符号方法进行显著性检测，捕捉火焰区域；图像符号方法定义为：

IS_map＝G★(T_IDCT2(sign(T_DCT2(P_RGB)))²) (2)

其中，P_RGB是下采样3倍的RGB图像；T_DCT2(·)表示二维信号的离散余弦变换DCT；T_IDCT2(·)表示二维信号的离散余弦反变换DCT；sign(·)是符号函数；G表示一个高斯核函数；‘★’表示卷积运算符；

然后对IS_map进行二值化运算，生成火焰区域A_flame：

其中，α的阈值设置为0.3，来识别火焰区域；

由于被检测到的火焰区域仍可能存在造成干扰的背景区域，故考虑除去离群点；具体实现方法：首先对A_flame进行下采样，使图像尺寸降低64倍，降低分辨率，然后再进行上采样，使图像尺寸提高64倍，将分辨率恢复到原来的大小，得到精细化后的火焰区域A_flame′：

其中，β的阈值设置为0.7；

虽然经过A_flame′处理，但仍然存在非火焰干扰区域，因此首先对采集到的RGB图像的进行下采样，使图像尺寸降低3倍，然后通过K-means聚类进行离群点去除，滤除非火焰区域，得到最终的火焰区域F_flame：

F_flame＝max{mean[F₂(B₂P_R-B₂P_B)⊙C_i]} (5)

其中，B₂是阈值设置为150的二值化符号，大于150的像素值为1即火焰区域，小于150的像素值为0即非火焰区域；F₂表示中值滤波算子；C_i表示第i个质心区域；⊙是一个点乘运算符号；

(3)火炬烟尘识别

基于火焰上方出现的火炬烟尘通常沿着风的方向飘离火焰区域的假设，认定提取的火焰区域的左侧、右侧和顶部是潜在的火炬烟尘区域；

利用二值化和宽调谐彩色通道，从潜在火炬烟尘S区域提取火焰区域

其中，S_R和S_B分别代表火炬烟尘S的R通道的像素值和B通道的像素值；引入形态学算子处理

生成

其中，F_D表示膨胀操作，定义如下：

其中，Φ是一个大小为7×7的局部矩阵；(x₀,y₀)表示在Φ坐标里的偏移量；膨胀操作是求Φ局部区域最大值，求得图像中的所有火焰区域；消除火焰干扰，得到只包含火炬烟尘和天空背景的

区域；

最后，利用天空背景是蓝色的先验知识，取

与

的二值化蓝色通道的像素值的交集，最终定位到精确的火炬烟尘区域A_soot：

其中，B₃是阈值设置为113的二值化符号，大于113的像素值为0即天空背景区域，小于113的像素值为1即火炬烟尘区域；

是

的蓝色通道的像素值；“∩”表示“和”运算；如果∑A_soot大于0，表示火炬烟尘存在；否则，表示火炬烟尘不存在。

Images