CN106991400A - 一种火灾烟雾检测方法及装置 - Google Patents

Abstract

本发明公开了一种火灾烟雾检测方法及装置。该方法包括：根据预设的图像基准集对将预先建立的图像训练集中的每幅图像进行正包标记或反包标记，得到正包训练集和反包训练集；根据正包训练集和反包训练集采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型；获取测试图像，提取测试图像的特征向量，将测试图像的特征向量输入到正反包分类判别模型中，对测试图像进行正包检测。借助于本发明的技术方案，有效解决了传统检测方法误检率高实时性差的问题,同时火灾烟雾检测装置不仅无安装位置的要求，而且通过检测火灾烟雾进行预警，烟雾通常发生在火灾的初期，因此能够为人们躲避或者扑灭大火争取更多的时间。

Description

一种火灾烟雾检测方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种火灾烟雾检测方法及装置。

背景技术

火灾严重威胁着人类的财产和生命安全，对火灾及时进行预测报警能够使人们防患于未然，从而使火灾对人民群众的危害降到最低。传统的烟雾报警器通常使用感温、感光等手段，一般需要安装在着火点附近；此外，感温传感器检测到温度上升并进行报警时，通常火灾已经发生，火势已经蔓延，为人们预留的时间比较短，同时传统的监督学习为火灾烟雾检测训练出来的分类判别模型尽管已经初见成效，但其误检率高、实时性差的问题至今仍未解决。

发明内容

鉴于上述问题，本发明提供了一种火灾烟雾检测方法及装置。

本发明提供的火灾烟雾检测方法，包括以下步骤：

根据预设的图像基准集对将预先建立的图像训练集中的每幅图像进行正包标记或反包标记，得到正包训练集和反包训练集；

根据所述正包训练集和反包训练集采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型；

获取测试图像，提取所述测试图像的特征向量，将测试图像的特征向量输入到所述正反包分类判别模型中，对所述测试图像进行正包检测。

本发明还提供了一种火灾烟雾检测装置，包括：标记模块、模型训练模块、及检测模块：

所述标记模块，用于根据预设的图像基准集对将预先建立的图像训练集中的每幅图像进行正包标记或反包标记，得到正包训练集和反包训练集；

所述模型训练模块，用于根据所述正包训练集和反包训练集采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型；

所述检测模块，用于获取测试图像，提取所述测试图像的特征向量，将测试图像的特征向量输入到所述正反包分类判别模型中，对所述测试图像进行正包检测。

本发明有益效果如下：

本发明实施例利用了多示例学习的方法检测监控视频中的火灾烟雾区域，有效解决了传统检测方法误检率高实时性差的问题,同时视频智能监控火灾烟雾检测装置不仅无安装位置的要求，而且通过检测火灾烟雾进行预警，烟雾通常发生在火灾的初期，因此能够为人们躲避或者扑灭大火争取更多的时间。

附图说明

图1是本发明方法实施例的火灾烟雾检测方法的流程图；

图2是本发明装置实施例的火灾烟雾检测装置的结构示意图；

图3是本发明实例1智能视频监控火灾烟雾检测方法中的训练流程图；

图4是本发明实例1智能视频监控火灾烟雾检测方法中的测试流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中传统的烟雾报警器为人们预留的时间短、同时现有的分类判别模型误检率高、实时性差的问题，本发明提供了一种火灾烟雾检测方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

近年来，机器学习的热潮使人工智能更加普及化。多示例学习作为机器学习的一种，因其与传统监督学习、非监督学习、强化学习的不同，具有独特的性质和广泛的应用前景，属于以往机器学习研究的一个盲区，在国际机器学习界引起了极大的反响，被认为是一种新的学习框架。

根据本发明的方法实施例，提供了一种火灾烟雾检测方法，图1是本发明方法实施例的火灾烟雾检测方法的流程图，如图1所示，根据本发明方法实施例的火灾烟雾检测方法包括如下处理：

步骤101，根据预设的图像基准集对将预先建立的图像训练集中的每幅图像进行正包标记或反包标记，得到正包训练集和反包训练集。

具体的，可以采用如下方法得到预先建立的图像训练集：通过网络爬虫技术从百度谷歌等大型网站上收集火灾烟雾正样本图片，为保证训练集图像的高质量性，对收集到的图片进行人工目标区域截取。负样本是部分ECSSD图像库和ESP-ImageSet中的非火灾非烟雾图像。通过人工筛选，得到优化后的典型图像训练集。

根据预设的图像基准集对将预先建立的图像训练集中的每幅图像进行正包标记或反包标记，具体的，将有火灾烟雾区域的图像标记为正包，将完全没有火灾烟雾区域的图像标记为反包。

步骤102，根据所述正包训练集和反包训练集采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型。

具体的，步骤102根据正包训练集和反包训练集采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型，具体包括：

将所述正包训练集和反包训练集中的每幅图像划分成多个图像区域，每幅图像为一个包，每个图像区域为一个示例；

对每个示例进行特征提取，得到每个示例的特征向量；

根据每个包中各示例的特征向量得到该包的特征向量，根据各包的特征向量和与对应的正包标记或反包标记，采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型。

更加具体的，将所述正包训练集和反包训练集中的每幅图像划分成多个图像区域，包括：

将所述正包训练集和反包训练集中的每幅图像使用预设的Mean-Shift分割方法划分成多个图像区域。

具体的，Mean-Shift图像分割算法是从特征空间中某点出发，沿着Mean-Shift梯度方向移动到新的位置，并以该点为新的起点，继续进行适量移动，直至收敛。Mean-Shift梯度方向计算公式如下：

假设d维特征空间中n个采样点集合S＝{x_i,i＝1,2,...,n}，在空间中任选一点x，它的核概率密度估计为：

其中，K(x)为核函数，K_H(x)＝|H|^-1/2K(H^-1/2x)，H为对称正定的d×d带宽矩阵。通常情况下，采用满足K(x)＝c_k,dk(||x||²)的单变量对称核函数，k(x)为K(x)的轮廓函数，其中x≥0。c_k,d是归一化常数，使得K(x)积分为1。H选用对角矩阵或者将其定义为H＝h²I，其中I为单位矩阵。

则x点的核密度估计可以写成如下形式：

引入轮廓函数后可改写为：

由于Mean-Shift算法最终会收敛到概率密度最大的地方，为了获得上述函数的最大值，需要对其求导：

令g(x)＝-k’(x)，则可以得到如下式子：

如果采用高斯核函数，根据式子(3)，上式第一项表示为：

第二项相当于Mean-Shift向量：

则公式(5)可表示为：

由此转换可得Mean-Shift梯度向量为：

更加具体的，所述对每个示例进行特征提取，得到每个示例的特征向量，包括：

分别提取每个示例的特征；所述特征包括如下特征中的一个或多个：颜色特征、纹理特征和小波统计特征；

针对每个示例，将提取的特征进行拼接得到该示例的特征向量。

更加具体的，所述颜色特征包含每个图像区域所包含像素点的平均RGB,LAB,HSV颜色值以及相应的颜色空间直方图；所述纹理特征包括图像区域的LBP、LM filter分布特征；所述小波统计特征包括图像区域的二维离散小波特征。

具体的，所述预设的多示例学习算法包括：基于多示例学习的EC-SVM算法。

进一步的，所述根据每个包中各示例的特征向量得到该包的特征向量，包括：

计算所述正包训练集中各示例为正示例的置信度；

将所述正包训练集中的各示例按照置信度大小进行排序，从所述正包训练集中按照置信度由大到小选取若干个正示例组成正示例集合；

计算所述正包训练集和所述反包训练集中的各包与所述正示例集合中的各示例之间的距离，将这组值作为各包的特征向量。

更加具体的，包括以下步骤：

(1)利用公式6计算所述正包训练集中包B_g中示例B_gh为正示例的置信度EC(B_gh)；

在式(6)中，为所述正包训练集中的第i个正包，为所述反包训练集中的第i个反包；

采用预设的noisy-or模型对公式1中的和进行例化，得到其中，为正包中的第j个示例；为反包中的第j个示例；Pr(B_gh|B_ij)＝exp{-∑_k(B_ijk-B_ghk)²/δ²}，δ是缩放参数，B_ijk代表示例B_ij的第k个特征值，B_ghk代表示例B_gh的第k个特征值；

(2)将所述正包训练集中的各示例按照置信度大小进行排序，从所述正包训练集中选取置信度最大的k个示例组成正示例集合，所述正示例集合是一个完全由正示例组成的包；

(3)计算所述正包训练集合和所述反包训练集中的各包与所述正示例集合中的各示例之间的距离，将这组值作为每个包的特征向量；例如计算所述正包训练集合和所述反包训练集的包B_i中各示例与所述正示例集合之间的距离，将这组值作为每个包的特征向量其中，E*表示正示例集合，|E^*|表示正示例集合中示例的个数，d(e,B_i)表示正示例集合中的各示例同包B_i之间的距离。

步骤103，获取测试图像，提取所述测试图像的特征向量，将测试图像的特征向量输入到所述正反包分类判别模型中，对所述测试图像进行正包检测。

具体的，所述获取测试图像，提取所述测试图像的特征向量，包括：

获取测试图像，利用预设的高斯混合模型将所述测试图像中的背景与运动区域分离开来，提取出所述测试图像中的运动区域；

根据所述运动区域中测试图像的颜色特征和纹理特征筛选出所述运动区域中的火灾烟雾疑似区域；

根据所述运动区域中测试图像的小波变换特征去除所述火灾烟雾疑似区域中的非火灾烟雾区域，得到测试图像的特征向量。

更加具体的，高斯混合模型属于图像背景更新方法中的一种，它是对图像中每个像素点X_i,t用K个高斯分布表示所构成的模型。其函数表达式如下：

其中，K为高斯分布的个数，一般取值为3到5，K值越大，模型越能表示复杂的场景，但计算量也将大幅增加；ω_i,t、μ_i,t、Σ_i,t分别为第i个高斯分布的权重、均值和协方差矩阵。

在背景提取与更新中，K个高斯分布按照优先级λ_i,t＝ω_i,t/σ_i,t从高到低排序(ω_i,t，σ_i,t为各高斯分布的权值和方差),取前B个高斯分布联合生成背景：

其中，T₁为背景选取阈值(0＜T₁＜1)，T₁的大小决定背景中混合高斯分布的个数，一般T₁值越大，选取的高斯分布个数越多，文中取T₁＝0.75。

在模型匹配过程中，高斯分布权重按照下式进行更新：

ω_i,t＝(1-α)ω_i,t-1+αM_i,t

其中，α为权值的更新速率；M_i,t在匹配的分布中取1，其余分布取0。对匹配的高斯分布的均值和方差按照下面两式更新，不匹配的高斯分布保持不变。

μ_i,t＝(1-β)μ_i,t-1+βX_i,t (7)

β＝αη(x_i,t|μ_i,t,σ_i,t) (9)

其中，α是权值更新速率，β是方差更新速率，α通过式(9)决定β的大小，它们决定这背景模型的更新速度，对高斯混合模型背景更新的研究就是根据背景变化情况不断调整更新速率α和β的大小。

若X_i,t与K个高斯分布中属于背景中的某个高斯分布匹配，则该像素点为背景点；否则该像素点被检测为前景点，即运动目标像素点。

本发明方法实施例智能视频监控火灾烟雾检测方法的另一实施例，还包括以下步骤：当所述测试图像为正包时，进行报警，并通过预设的多样性密度算法将所述测试图像中的正示例标注出来，所述正示例为所述测试图像中着火的具体位置。

具体的，通过预设的多样性密度算法将所述测试图像中的正示例标注出来包括以下步骤：

在测试图像的正包中，通过式(10)找到多样性密度最大的点，判定所述多样性密度最大的点为测试图像中的正示例；

在式(10)中，为测试样本正包集合中的第i个正包，为中的第j个示例，为示例特征向量中第k个属性的值，为测试样本反包集合中的第i个反包的第j个示例的第k个属性的值；C是所有可能的正示例集合其中c∈C；

采用预设的noisy-or模型对式(10)中的和进行例化，得到其中s_k是第k个特征的缩放系数。

与本发明的方法实施例相对应，本发明提供了一种火灾烟雾检测装置，图2是本发明装置实施例的火灾烟雾检测装置的结构示意图，如图2所示，根据本发明装置实施例的火灾烟雾检测装置包括：标记模块20、模型训练模块22、及检测模块24；以下对本发明实施例的各个模块进行详细的说明。

所述标记模块20，用于根据预设的图像基准集对将预先建立的图像训练集中的每幅图像进行正包标记或反包标记，得到正包训练集和反包训练集。

所述模型训练模块22，用于根据所述正包训练集和反包训练集采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型。

具体的，所述模型训练模块22具体用于：

将所述正包训练集和反包训练集中的每幅图像划分成多个图像区域，每幅图像为一个包，每个图像区域为一个示例；

对每个示例进行特征提取，得到每个示例的特征向量；

根据每个包中各示例的特征向量得到该包的特征向量，根据各包的特征向量和与对应的正包标记或反包标记，采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型。

进一步的，所述模型训练模块22具体用于：

将所述正包训练集和反包训练集中的每幅图像使用预设的Mean-Shift分割方法划分成多个图像区域。

进一步的，所述模型训练模块22具体用于：

分别提取每个示例的特征；所述特征包括如下特征中的一个或多个：颜色特征、纹理特征和小波统计特征；

针对每个示例，将提取的特征进行拼接得到该示例的特征向量。

具体的，所述预设的多示例学习算法包括：基于多示例学习的EC-SVM算法。

当预设的多示例学习算法为基于多示例学习的EC-SVM算法时，所述模型训练模块具体的用于：

计算所述正包训练集中所有包中的各示例为正示例的置信度；

将所述正包训练集中的各示例按照置信度大小进行排序，从所述正包训练集中按照置信度由大到小选取k个正示例组成正示例集合；

计算所述正包训练集合和所述反包训练集中的各包与所述正示例集合中的各示例之间的距离，将这组值作为每个包的特征向量。

所述检测模块24，用于获取测试图像，提取所述测试图像的特征向量，将测试图像的特征向量输入到所述正反包分类判别模型中，对所述测试图像进行正包检测。

具体的，所述检测模块24具体用于：

利用预设的高斯混合模型将所述测试图像中的背景与运动区域分离开来，提取出所述测试图像中的运动区域；

根据所述运动区域中测试图像的颜色特征和纹理特征筛选出所述运动区域中的火灾烟雾疑似区域；

根据所述运动区域中测试图像的小波变换特征去除所述火灾烟雾疑似区域中的非火灾烟雾区域，得到待输入图像的特征向量。

本发明装置实施例火灾烟雾检测方法的另一实施例，还包括正示例标注模块：

所述正示例标注模块，用于当检测出所述测试图像为正包时，通过预设的多样性密度算法对所述测试图像中的正示例进行标注。

本发明装置实施例火灾烟雾检测方法的另一实施例，还包括报警模块：

所述报警模块，用于当检测出所述测试图像为正包时，进行报警。

下面结合图3和图4详细给出本发明提供的基于多示例学习的视频智能监控火灾烟雾检测系统的主要运行流程，整个系统可分为训练流程和测试流程。

图3为本发明实例1智能视频监控火灾烟雾检测方法中的训练流程图。如图3所示，对于大量的训练样本图像，首先利用本发明中使用的Rutgers大学开发的基于固定带宽Mean-Shift算法的EDISON软件来划分图像区域，同时对每个图像区域提取颜色特征、纹理特征和小波统计特征。然后，对图像正反包标签进行标识，每一张训练图像被看成一个包，有火灾烟雾区域的标记为正包，完全没有火灾烟雾区域的标记为反包。最后将提取到的火灾烟雾特征和正反包标记输入到EC-SVM训练器中，训练输出火灾烟雾检测分类判别模型。

图4是本发明实例1智能视频监控火灾烟雾检测方法中的测试流程图，如图4所示，对于输入的测试视频，首先采用一秒提取3帧的策略提取视频帧图像，并利用高斯混合模型提取出图像中的运动区域。然后，用基于固定带宽Mean-Shift算法的EDISON软件来划分图像运动区域并提取颜色特征和纹理特征。最后，利用训练好的火灾烟雾检测分类判别模型对待测试的视频帧图像进行分类，以判断待测试视频是否发生了火灾，并用多样性密度算法标识出具体起火区域。

综上所述，本发明实施例提供的基于多示例学习的智能视频监控火灾烟雾检测方法具有如下的优点：

1、本发明所用的Mean-Shift图像分割算法和利用高斯混合模型提取图像中运动区域的算法，充分利用了火灾烟雾的动态特征，大大缩小了分类训练器的训练过程。

2、本发明所用的EC-SVM算法，有实现简单，训练速度快的特点，便于在实际环境下应用。

3、本发明所用的多样性密度算法，与传统的监督学习算法相比，预测精度更高，运行速度更快，且对训练样本分割后的图像标签无硬性要求。

4、本系统的所有模块都是完全自动的，不需要人工干预，因此能够非常容易独立运行或作为一个子模块嵌入到各类运动目标检测系统中去，具有广泛的应用前景。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (17)

1.一种火灾烟雾检测方法，其特征在于，包括：

根据预设的图像基准集对将预先建立的图像训练集中的每幅图像进行正包标记或反包标记，得到正包训练集和反包训练集；

根据所述正包训练集和反包训练集采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型；

获取测试图像，提取所述测试图像的特征向量，将测试图像的特征向量输入到所述正反包分类判别模型中，对所述测试图像进行正包检测。

2.如权利要求1所述的火灾烟雾检测方法，其特征在于，所述根据正包训练集和反包训练集采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型，包括：

将所述正包训练集和反包训练集中的每幅图像划分成多个图像区域，每幅图像为一个包，每个图像区域为一个示例；

对每个示例进行特征提取，得到每个示例的特征向量；

根据每个包中各示例的特征向量得到该包的特征向量，根据各包的特征向量和与对应的正包标记或反包标记，采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型。

3.如权利要求1所述的火灾烟雾检测方法，其特征在于，还包括：

当检测出所述测试图像为正包时，通过预设的多样性密度算法对所述测试图像中的正示例进行标注；

和/或当检测出所述测试图像为正包时，进行报警。

4.如权利要求1～3任一项所述的火灾烟雾检测方法，其特征在于，所述对每个示例进行特征提取，得到每个示例的特征向量，包括：

分别提取每个示例的特征；所述特征包括如下特征中的一个或多个：颜色特征、纹理特征和小波统计特征；

针对每个示例，将提取的特征进行拼接得到该示例的特征向量。

5.如权利要求1～3任一项所述的火灾烟雾检测方法，其特征在于，将所述正包训练集和反包训练集中的每幅图像划分成多个图像区域，包括：

将所述正包训练集和反包训练集中的每幅图像使用预设的Mean-Shift分割方法划分成多个图像区域。

6.如权利要求1～3任一项所述的火灾烟雾检测方法，其特征在于，所述预设的多示例学习算法包括：基于多示例学习的EC-SVM算法。

7.如权利要求6所述的火灾烟雾检测方法，其特征在于，所述根据每个包中各示例的特征向量得到该包的特征向量，包括：

计算所述正包训练集中各示例为正示例的置信度；

将所述正包训练集中的各示例按照置信度大小进行排序，从所述正包训练集中按照置信度由大到小选取若干个正示例组成正示例集合；

计算所述正包训练集和所述反包训练集中的各包与所述正示例集合中的各示例之间的距离，将这组值作为各包的特征向量。

8.如权利要求1～3任一项所述的火灾烟雾检测方法，其特征在于，所述获取测试图像，提取所述测试图像的特征向量，包括：

获取测试图像，利用预设的高斯混合模型将所述测试图像中的背景与运动区域分离开来，提取出所述测试图像中的运动区域；

根据所述运动区域中测试图像的颜色特征和纹理特征筛选出所述运动区域中的火灾烟雾疑似区域；

根据所述运动区域中测试图像的小波变换特征去除所述火灾烟雾疑似区域中的非火灾烟雾区域，得到测试图像的特征向量。

9.一种火灾烟雾检测装置，其特征在于，包括：标记模块、模型训练模块、及检测模块：

所述标记模块，用于根据预设的图像基准集对将预先建立的图像训练集中的每幅图像进行正包标记或反包标记，得到正包训练集和反包训练集；

所述模型训练模块，用于根据所述正包训练集和反包训练集采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型；

所述检测模块，用于获取测试图像，提取所述测试图像的特征向量，将测试图像的特征向量输入到所述正反包分类判别模型中，对所述测试图像进行正包检测。

10.如权利要求9所述的火灾烟雾检测装置，其特征在于，所述模型训练模块具体用于：

将所述正包训练集和反包训练集中的每幅图像划分成多个图像区域，每幅图像为一个包，每个图像区域为一个示例；

对每个示例进行特征提取，得到每个示例的特征向量；

根据每个包中各示例的特征向量得到该包的特征向量，根据各包的特征向量和与对应的正包标记或反包标记，采用预设的多示例学习算法对预设的分类模型进行训练，得到正反包分类判别模型。

11.如权利要求9所述的火灾烟雾检测装置，其特征在于，还包括正示例标注模块：

所述正示例标注模块，用于当检测出所述测试图像为正包时，通过预设的多样性密度算法对所述测试图像中的正示例进行标注。

12.如权利要求9所述的火灾烟雾检测装置，其特征在于，还包括报警模块：

所述报警模块，用于当检测出所述测试图像为正包时，进行报警。

13.如权利要求9～12任一项所述的火灾烟雾检测装置，其特征在于，所述模型训练模块具体用于：

分别提取每个示例的特征；所述特征包括如下特征中的一个或多个：颜色特征、纹理特征和小波统计特征；

针对每个示例，将提取的特征进行拼接得到该示例的特征向量。

14.如权利要求9～12任一项所述的火灾烟雾检测装置，其特征在于，所述模型训练模块具体用于：

将所述正包训练集和反包训练集中的每幅图像使用预设的Mean-Shift分割方法划分成多个图像区域。

15.如权利要求9～12任一项所述的火灾烟雾检测装置，其特征在于，所述预设的多示例学习算法包括：基于多示例学习的EC-SVM算法。

16.如权利要求15所述的火灾烟雾检测装置，其特征在于，所述模型训练模块具体的用于：

计算所述正包训练集中所有包中的各示例为正示例的置信度；

将所述正包训练集中的各示例按照置信度大小进行排序，从所述正包训练集中按照置信度由大到小选取k个正示例组成正示例集合；

计算所述正包训练集合和所述反包训练集中的各包与所述正示例集合中的各示例之间的距离，将这组值作为每个包的特征向量。

17.如权利要求9～12任一项所述的火灾烟雾检测装置，其特征在于，所述检测模块具体用于：

利用预设的高斯混合模型将所述测试图像中的背景与运动区域分离开来，提取出所述测试图像中的运动区域；

根据所述运动区域中测试图像的颜色特征和纹理特征筛选出所述运动区域中的火灾烟雾疑似区域；

根据所述运动区域中测试图像的小波变换特征去除所述火灾烟雾疑似区域中的非火灾烟雾区域，得到待输入图像的特征向量。