CN106815567A - 一种基于视频的火焰检测方法及装置 - Google Patents

Abstract

本发明实施例提供了一种基于视频的火焰检测方法及装置，方法包括：计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向；根据计算得到的运动幅度，计算所述第一运动区域中像素点的平均运动幅度；根据所述平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；根据各个方向区间的有效像素点的数量，计算所述有效像素点的分散程度；根据所述分散程度，确定所述第一运动区域是否属于火焰区域，得到基于运动属性的检测结果。应用本发明实施例的技术方案，能够提高火焰检测结果的准确率。

Description

一种基于视频的火焰检测方法及装置

技术领域

本发明涉及火灾探测技术领域，特别是涉及一种基于视频的火焰检测方法及装置。

背景技术

随着城市规模不断扩大和人口密度不断增加，火灾消防安全变得越来越重要。目前，通过视频监控系统来监控目标场所(如人员密集场所、仓储物流工作场所及高大建筑物内场所)，以获得目标场所的视频帧，结合计算机视觉技术可以识别监控区域内的火焰。这样就可以尽早发现目标场所产生的火焰，以使工作人员及时处理，避免重大火灾发生。

针对视频帧通过计算机视觉技术识别火焰的视频火焰检测方法，主要是利用火焰的属性来检测的，例如，火焰的运动属性。火焰的运动杂乱随机，是火焰的一种比较具有代表性的属性，因此，火焰运动属性对于火焰的检测变得非常重要。针对基于火焰运动属性来检测火焰的方法，研究者们提出了许多描述火焰的运动描述子，例如：基于词袋模型的运动描述子。基于词袋模型的运动描述子的运动估计是使用SIFT(Scale-invariant featuretransform，尺度不变特征变换)匹配来计算运动信息的，但是在实际使用中，很难在运动区域上检测到SIFT关键点，致使火焰检测结果的准确率较低。

发明内容

本发明实施例的目的在于提供一种基于视频的火焰检测方法及装置，以提高火焰检测结果的准确率。

本发明实施例提供的一种基于视频的火焰检测方法及装置，具体技术方案如下：

第一方面，本发明实施例提供的一种基于视频的火焰检测方法，包括：

计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向，其中，所述第一运动区域为所述目标视频帧中的一个运动区域；

根据计算得到的运动幅度，计算所述第一运动区域中像素点的平均运动幅度；

根据所述平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；其中，所述有效像素点为运动幅度大于所述平均运动幅度的像素点，所述方向区间是通过将方向空间均分成预设数量份获得的；

根据各个方向区间的有效像素点的数量，计算所述有效像素点的分散程度；

根据所述分散程度，确定所述第一运动区域是否属于火焰区域，得到基于运动属性的检测结果。

可选的，所述根据所述分散程度，确定所述第一运动区域是否属于火焰区域，包括：

判断所述分散程度是否在预设阈值区间内；

如果在，确定所述第一运动区域属于火焰区域；

如果不在，确定所述第一运动区域不属于火焰区域。

可选的，根据各个方向区间的有效像素点的数量，计算所述有效像素点的分散程度，包括：

根据各个方向区间的有效像素点的数量和所述第一运动区域的面积，计算所述有效像素点的分散程度。

可选的，根据以下公式计算所述分散程度：

其中，表示所述分散程度，t表示所述目标视频帧的帧号，i表示所述第一运动区域在所述目标视频帧的运动区域中的序号，k表示方向区间的序号，S表示所述预设数量，表示所述第一运动区域中位于第k个方向区间内的有效像素点的数量；表示所述第一运动区域在全部S个方向区间内的有效像素点的总数量，表示所述第一运动区域的面积。

可选的，所述火焰检测方法还包括：

确定所述目标视频帧的前一帧中与所述第一运动区域相对应的第二运动区域；

提取所述第一运动区域中运动对象的轮廓，作为第一轮廓，并提取所述第二运动区域中运动对象的轮廓，作为第二轮廓；

根据所述第一轮廓和所述第二轮廓，确定所述第一运动区域是否属于火焰区域，得到基于几何属性的检测结果；

依据加权投票策略，对所述基于运动属性的检测结果和所述基于几何属性的检测结果进行融合，得到所述第一运动区域是否属于火焰区域的检测结果。

可选的，所述根据所述第一轮廓和第二轮廓，确定所述第一运动区域是否属于火焰区域，得到基于几何属性的检测结果，包括：

计算所述第一轮廓和所述第二轮廓之间的轮廓差；

在满足以下条件的情况下，根据所述轮廓差，确定所述第一运动区域是否属于火焰区域，得到基于几何属性的检测结果：

构成所述第一轮廓的各条线段的长度均小于所述第一运动区域的最大边缘，且构成所述第二轮廓的各条线段的长度均小于所述第二运动区域的最大边缘。

可选的，所述火焰检测方法还包括：

分别计算所述目标视频帧中像素点的Y分量的平均值、U分量的平均值、V分量的平均值，得到Y平均值、U平均值和V平均值；

计算所述第一运动区域中像素点的U分量与V分量的差值的绝对值，得到UV差绝对值；

在所述第一运动区域中的各个像素点均满足预设条件的情况下，基于颜色属性确定所述第一运动区域属于火焰区域，得到基于颜色属性的检测结果：

其中，所述预设条件为：

所述目标像素点的Y分量大于所述Y平均值；且

所述目标像素点的U分量小于所述U平均值；且

所述目标像素点的V分量大于所述V平均值；且

所述目标像素点的R分量大于所述目标像素点的G分量；且

所述目标像素点的G分量大于所述目标像素点的B分量；且

所述目标像素点的UV差绝对值大于预设的UV差阈值；所述目标像素点为所述第一运动区域中的一个像素点；

所述依据加权投票策略，对所述基于运动属性的检测结果和基于几何属性的检测结果进行融合，得到所述第一运动区域是否属于火焰区域的检测结果，包括：

依据加权投票策略，对所述基于运动属性的检测结果、所述基于几何属性的检测结果和所述基于颜色属性的检测结果进行融合，得到所述第一运动区域是否属于火焰区域的检测结果。

可选的，所述第一运动区域是通过形态学算法进行去噪处理后的运动区域；

和/或，

所述第二运动区域是通过形态学算法进行去噪处理后的运动区域。

第二方面，本发明实施例提供的一种基于视频的火焰检测装置，包括：

第一计算模块，用于计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向，其中，所述第一运动区域为所述目标视频帧中的一个运动区域；

第二计算模块，用于根据计算得到的运动幅度，计算所述第一运动区域中像素点的平均运动幅度；

第一确定模块，用于根据所述平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；其中，所述有效像素点为运动幅度大于所述平均运动幅度的像素点，所述方向区间是通过将方向空间均分成预设数量份获得的；

第三计算模块，用于根据各个方向区间的有效像素点的数量，计算所述有效像素点的分散程度；

第二确定模块，用于根据所述分散程度，确定所述第一运动区域是否属于火焰区域，得到基于运动属性的检测结果。

可选的，所述火焰检测装置还包括：

第三确定模块，用于确定所述目标视频帧的前一帧中与所述第一运动区域相对应的第二运动区域；

第一提取模块，用于提取所述第一运动区域中运动对象的轮廓，作为第一轮廓；

第二提取模块，用于提取所述第二运动区域中运动对象的轮廓，作为第二轮廓；

第四确定模块，用于根据所述第一轮廓和所述第二轮廓，确定所述第一运动区域是否属于火焰区域，得到基于几何属性的检测结果；

融合模块，用于依据加权投票策略，对所述基于运动属性的检测结果和所述基于几何属性的检测结果进行融合，得到所述第一运动区域是否属于火焰区域的检测结果。

应用本发明实施例提供的技术方案，计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向，计算第一运动区域中像素点的平均运动幅度，这样就获得了第一运动区域中全部像素点的运动信息。根据平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；有效像素点的运动幅度是大于平均运动幅度的，这样的像素点更能代表第一运动区域中运动对象。根据各个方向区间的有效像素点的数量，确定有效像素点的分散程度；相对于其他区别与火焰的运动对象来说，火焰的运动是随机杂乱的，火焰所对应的有效像素点的分散程度具有明显区别特点，因此，根据有效像素点的分散程度，确定第一运动区域是否属于火焰区域，得到基于运动属性的检测结果，可以使检测结果具有较高的准确率。

另外，相对于现有技术中通过词袋模型的运动描述子，难以在运动区域上检测到SIFT关键点来说，而本实施例提供的火焰检测方法不需要检测SIFT关键点，且分散程度的获得过程简单、准确，且火焰与非火焰对应分散程度具有明显区别，因此，最终可以提高基于视频的火焰检测结果的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于视频的火焰检测方法的第一种流程示意图；

图2为运动属性描述的示例图；

图3为本发明实施例提供的基于视频的火焰检测方法的第二种流程示意图；

图4为本发明实施例提供的基于视频的火焰检测方法的第三种流程示意图；

图5为图4所示实施例提供的火焰检测方法对应分类器的分类过程示例图；

图6为视频样本集中的视频帧的示例图；

图7为各分类器的分类结果示例图；

图8为本发明实施例提供的基于视频的火焰检测装置的第一种结构示意图；

图9为本发明实施例提供的基于视频的火焰检测装置的第二种结构示意图；

图10为本发明实施例提供的基于视频的火焰检测装置的第三种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，图1为本发明实施例提供的基于视频的火焰检测方法的第一种流程示意图，该方法包括以下五个步骤：

S101、计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向，其中，第一运动区域为目标视频帧中的一个运动区域；

本步骤中，可以通过高斯混合模型对目标视频帧处理，获得背景图像，再通过背景图像与目标视频帧比较来获得运动对象，最后通过矩形框将运动对象标记出来，获得运动区域。当然，其中运动对象也可以采用其他方式获得，在此不做具体限定，其他方式例如，通过视频监控摄像头拍摄无运动对象时视频帧，将该视频帧作为背景图像，再通过背景图像与目标视频帧比较来获得运动对象。

本领域技术人员可以理解的是，一个视频帧中可能存在一个或多个运动对象，因此，目标视频帧中也就可能存在一个或多个运动区域。

本步骤中，在视频帧中，可以将对象的运动理解为在二维空间中的运动，因此可以通过运动幅度以及运动方向来进行表示，另外，对象的运动是相对的，所以，基于目标视频帧计算第一运动区域中每个像素点的运动幅度和运动方向时，可以相对于目标视频帧的前一帧进行计算，当然也可以相对于目标视频帧的前两帧、前三帧等等进行计算。

具体的，提取目标视频帧的前一帧中与第一运动区域相对应的第二运动区域，根据第一运动区域与第二运动区域，提取第一运动区域的稠密光流特征，以获得第一运动区域的光流域，即可以从光流域中获的第一运动区域中所有像素点的第一方向的第一运动幅度和第二方向的第二运动幅度，第一方向和第二方向垂直。可以根据以下公式计算像素点的运动幅度和运动方向：

其中，t表示目标视频帧的帧号，i表示第一运动区域在目标视频帧的运动区域中的序号，(x,y)表示像素点的坐标，表示像素点的运动幅度；O(x,y)表示像素点的运动方向，表示像素点的第一方向的运动幅度，表示像素点的第二方向的运动幅度。

S102、根据计算得到的运动幅度，计算第一运动区域中像素点的平均运动幅度；

具体实施时，先对第一运动区域中的所有像素点的运动幅度求和，求和结果再除以第一运动区域中像素点的数量所得到的值即为平均运动幅度。

S103、根据平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；其中，有效像素点为运动幅度大于平均运动幅度的像素点，方向区间是通过将方向空间均分成预设数量份获得的；

可以理解的是，第一运动区域的所有像素点中，有的像素点可能是静止的，有的像素点相对其他像素点运动速度非常慢，这些像素点的引入会减少火焰的运动对象与其他不属于火焰的运动对象的区别，不利于检测第一运动区域是否属于火焰区域；而运动幅度大于平均运动幅度的有效像素点能够很好地代表运动对象。

在视频帧中，像素点运动的方向空间是平面的，可以用是0至2π的区间来表示，将方向空间划分成预设数量份，每一份为一个方向区间。

例如，上述预设数量可以为17、18或19个。

具体实施时，本步骤可以通过以下方式实现：

(1)、根据平均运动幅度、每个像素点的运动幅度，确定所有有效像素点；

(2)、确定每个有效像素点的运动方向属于哪个方向区间；

(3)、计算每个方向区间内有效像素点的数量。

示例性的，如图2所示，图2为运动属性描述的示例图，其中含3对视频帧实例，分别是图2(a)，图2(b)，图2(c)。方向区间均分成18份，每个区间的大小是π/9，分别是[0,π/9)，[π/9,2π/9)，[2π/9,3π/9)，[3π/9,4π/9)，[4π/9,5π/9)，[5π/9,6π/9)，[6π/9,7π/9)，[7π/9,8π/9)，[8π/9,π)，[π,10π/9)，[10π/9,11π/9)，[11π/9,12π/9)，[12π/9,13π/9)，[13π/9,14π/9)，[14π/9,15π/9)，[15π/9,16π/9)，[16π/9,17π/9)，[17π/9,2π]，根据相邻两个视频帧对应的运动区域获得光流域，最终根据上述方式可以获得每个方向区间内的有效像素点的数量，有效像素点的数量可以在直方图中表示。根据图2(a)，图2(b)，图2(c)，可以直接看出，属于火焰区域的运动区域对应的有效像素点较分散，而不属于火焰区域的运动区域对应的有效像素点较集中。

S104、根据各个方向区间的有效像素点的数量，计算有效像素点的分散程度；

具体实施时，可以根据各个方向区间的有效像素点的数量和第一运动区域的面积，计算有效像素点的分散程度。

具体的，可以根据以下公式计算所述分散程度：

其中，表示分散程度，t表示目标视频帧的帧号，i表示第一运动区域在目标视频帧的运动区域中的序号，k表示方向区间的序号，S表示预设数量，表示第一运动区域中位于第k个方向区间内的有效像素点的数量；表示第一运动区域在全部S个方向区间内的有效像素点的总数量，表示第一运动区域的面积。

上式中，的设置，可以提高火焰的运动对象的分散程度，减少区别于与火焰的运动对象的分散程度，因此，能够增大两类运动对象的分散程度的差别，便于用来检测火焰。

具体的，上述第一运动区域的面积可以理解为：第一运动区域内包含像素点的总数。

S105、根据分散程度，确定第一运动区域是否属于火焰区域，得到基于运动属性的检测结果。

实际应用中，火焰的运动对象与非火焰的运动对象的分散程度具有较大的区别，根据分散程度可以确定出第一运动区域是否属于火焰区域。

应用本发明实施例提供的技术方案，计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向，计算第一运动区域中像素点的平均运动幅度，这样就获得了第一运动区域中全部像素点的运动信息。根据平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；有效像素点的运动幅度是大于平均运动幅度的，这样的像素点更能代表第一运动区域中运动对象。根据各个方向区间的有效像素点的数量，确定有效像素点的分散程度；相对于其他区别与火焰的运动对象来说，火焰的运动是随机杂乱的，火焰所对应的有效像素点的分散程度具有明显区别特点，因此，根据有效像素点的分散程度，确定第一运动区域是否属于火焰区域，得到基于运动属性的检测结果，可以使检测结果具有较高的准确率。

另外，相对于现有技术中通过词袋模型的运动描述子，难以在运动区域上检测到SIFT关键点来说，而本实施例提供的火焰检测方法不需要检测SIFT关键点，且分散程度的获得过程简单、准确，且火焰与非火焰对应分散程度具有明显区别，因此，最终可以提高基于视频的火焰检测结果的准确率。

本发明的一个实施例中，根据分散程度，确定第一运动区域是否属于火焰区域，包括：

判断分散程度是否在预设阈值区间内；

如果分散程度在预设阈值区间内，确定第一运动区域属于火焰区域；

如果分散程度不在预设阈值区间内，确定第一运动区域不属于火焰区域。

预设阈值区间可以是由第一预设阈值和第二预设阈值确定，第一预设阈值可以用于将火焰对象与刚性或铰接的物体区分开，第二预设阈值可以用于将火焰对象与具有闪烁特性的运动物体(如霓虹灯、车灯等)区分开。其中，第一预设阈值和第二预设阈值可以根据实验获得。如果采用上述计算分散程度的公式进行计算，则第一预设阈值和第二预设阈值可以分别设置为0.6和0.9。

参照图3，图3为本发明实施例提供的基于视频的火焰检测方法的第二种流程示意图，相对于图1所示实施例，本实施例中增加了以下四个步骤：

S301、确定目标视频帧的前一帧中与第一运动区域相对应的第二运动区域；

相邻两个视频帧中，相对应的运动区域的运动对象属于同一物体，是具有较大可能性的，因此，第一运动区域与第二运动区域的运动对象可以认为属于同一物体。

S302、提取第一运动区域中运动对象的轮廓，作为第一轮廓，并提取第二运动区域中运动对象的轮廓，作为第二轮廓；

S303、根据第一轮廓和第二轮廓，确定第一运动区域是否属于火焰区域，得到基于几何属性的检测结果；

下面将对S302和S303进行说明。

其中，第一轮廓和第二轮廓均可以使用Hu不变矩(即平移、尺度变化、镜像、旋转的不变形)表示，可以记为监控视频中火焰的形状总是快速变换的，通过相邻两个视频帧的相对应的第一运动区域和第二运动区域的运动对象的轮廓，可以表示运动区域中运动对象的形状变化。因此，根据第一轮廓和第二轮廓，可以确定出第一运动区域是否属于火焰区域。

S304、依据加权投票策略，对基于运动属性的检测结果和基于几何属性的检测结果进行融合，得到第一运动区域是否属于火焰区域的检测结果。

实际环境中，火焰运动杂乱随机，与火焰颜色相同或类似的物体移动等，都会对基于运动属性的检测结果的准确率产生影响；基于几何属性的检测结果依赖于运动对象的轮廓，不同燃烧物产生的火焰颜色不同，光线或背景的干扰，会对基于几何属性的检测结果产生影响。通过采用加权投票策略融合基于这两种属性的检测结果，可以消除或减少上述条件对火焰检测结果的影响，使得最终获得的第一运动区域是否属于火焰区域的检测结果更具准确率。

本步骤可以通过已训练好的分类器获得，在训练分类器的过程中，分类器可以根据基于运动属性的检测结果和基于几何属性的检测结果的输入，获取这两种检测结果对应分类矩阵，利用分类矩阵对权重进行贝叶斯公式动态估算，最终的检测结果可以通过最大化融合结果的可信度得到。

其中，投票可以表示为：

可信度的计算公式为：

针对上述公式中的各参数进行统一解释：其中，i表示所述第一运动区域在目标视频帧的运动区域中的序号，δ_mk(i)表示对第一运动区域属于类别m的投票，c_k(i)表示第一运动区域的类别，m表示类别序号，类别包括火焰区域的类别和不属于火焰区域的类别；k表示分类过程的序号，分类过程包括GA和MA，GA表示上述获得基于几何属性的检测结果的过程，MA表示上述获得基于运动属性的检测结果的过程；ψ(m)表示第一运动区域属于类别m的可信度，ω_k(m)表示第一运动区域属于类别m的权重，ω_k(m)的叶斯公式动态估算公式属于现有技术，在此不做赘述。

本发明实施例的一种实施方式中，根据第一轮廓和第二轮廓，确定第一运动区域是否属于火焰区域，得到基于几何属性的检测结果，可以包括：

(1)、计算第一轮廓和第二轮廓之间的轮廓差；

本步骤中，使用表示第一轮廓，表示第二轮廓，可以使用以下公式计算轮廓差表示运动对象的轮廓变化：

(2)、在满足以下条件的情况下，根据轮廓差，确定第一运动区域是否属于火焰区域，得到基于几何属性的检测结果：

构成第一轮廓的各条线段的长度均小于第一运动区域的最大边缘，且构成第二轮廓的各条线段的长度均小于第二运动区域的最大边缘。

需要说明的是，大多数情况下，火焰具有不规则的形状，火焰轮廓中不可能出现较长的线段，根据实际经验以及实验可知，一般情况下，火焰轮廓中的各个线段不会长于运动区域的最大边缘，因此，通过这个条件可以准确过滤掉一些存在较长线段的轮廓，这些轮廓对应的运动区域不属于火焰区域。

参照图4，图4为本发明实施例提供的基于视频的火焰检测方法的第三种流程示意图，相对于图3所示实施例，不同点在于，增加了以下三个步骤，且S304具体通过S404实现：

S401、分别计算目标视频帧中像素点的Y分量的平均值、U分量的平均值、V分量的平均值，得到Y平均值、U平均值和V平均值；

本步骤中，针对目标视频帧，从YUV颜色空间提取颜色属性，可以获得第一运动区域的每个像素点YUV值。计算第一运动区域中所有像素点的Y分量的和，再除以第一运动区域中像素点的数量，得到Y平均值，同理，可以计算得到U平均值和V平均值。

S402、计算第一运动区域中像素点的U分量与V分量的差值的绝对值，得到UV差绝对值；

通过UV差绝对值来表示像素点U分量与V分量的差异大小。

S403、在第一运动区域中的各个像素点均满足预设条件的情况下，基于颜色属性确定第一运动区域属于火焰区域，得到基于颜色属性的检测结果：

其中，预设条件为：

目标像素点的Y分量大于Y平均值；且

目标像素点的U分量小于U平均值；且

目标像素点的V分量大于V平均值；且

目标像素点的R分量大于目标像素点的G分量；且

目标像素点的G分量大于目标像素点的B分量；且

目标像素点的UV差绝对值大于预设的UV差阈值；目标像素点为第一运动区域中的一个像素点；

需要说明的是，YUV颜色空间与RGB颜色空间是相对应的，可以对应转换的。通过YUV颜色空间与RGB颜色空间的转换规则，可以根据每个像素点的YUV值计算得到每个像素点的RGB值，其中，转换规则属于国际标准，在此不做赘述。

本领域技术人员可以理解的是，通过结合RGB颜色和HSV饱和度可以区分非火运动物体和不受控制的火焰，但是，这些方法对亮度的变化特别敏感，阴影或不同色调的红色会导致错误的检测结果。S401-S403可以通过YUV颜色空间的颜色属性进行检测，可以实现基于颜色属性检测出第一运动区域是否属于火焰区域。YUV颜色空间分离了亮度与色度，采用这个颜色空间的值进行计算并用于检测，可以减少亮度对火焰检测结果的影响。

S404、依据加权投票策略，对基于运动属性的检测结果、基于几何属性的检测结果和基于颜色属性的检测结果进行融合，得到第一运动区域是否属于火焰区域的检测结果。

通过采用加权投票策略融合基于运动属性、几何属性、颜色属性的检测结果，可以消除或减少亮度、燃烧物、光、背景、天气条件、与或相同或相近颜色的物体移动等对火焰检测结果的影响，使得最终获得的第一运动区域是否属于火焰区域的检测结果更具准确率，尤其是在复杂场景下的火焰检测。

本步骤可以通过已训练好的分类器获得，在训练分类器的过程中，分类器可以根据基于运动属性的检测结果、基于几何属性的检测结果和基于颜色属性的检测结果的输入，获取这三种检测结果对应分类矩阵，利用分类矩阵对权重进行贝叶斯公式动态估算，最终的检测结果可以通过最大化融合结果的可信度得到。

其中，投票可以表示为：

可信度的计算公式为：

针对上述公式中的各参数进行统一解释：其中，i表示所述第一运动区域在目标视频帧的运动区域中的序号，δ_mk(i)表示对第一运动区域属于类别m的投票，c_k(i)表示第一运动区域的类别，m表示类别序号，类别包括应火焰区域的类别和不属于火焰区域的类别；k表示分类过程的序号，分类过程包括CA、GA和MA，CA表示上述获得基于颜色属性额火焰检测结果的过程，GA表示上述获得基于几何属性的检测结果的过程，MA表示上述获得基于运动属性的检测结果的过程；ψ(m)表示第一运动区域属于类别m的可信度，ω_k(m)表示第一运动区域属于类别m的权重，ω_k(m)的叶斯公式动态估算公式属于现有技术，在此不做赘述。

示例性的，参照图5，图5为图4所示实施例提供的火焰检测方法对应分类器的分类过程示例图。从图5中更可以看出，最终的分类结果相对于基于颜色属性的检测结果、基于运动属性的检测结果、基于几何属性的检测结果中的错误分类器具有一定的调整作用，使得最终的火焰检测结果相对于基于颜色属性的检测结果、基于运动属性的检测结果、基于几何属性的检测结果变得更加准确。

需要说明的是，可以通过S101-S105获得基于运动属性的检测结果，可以通过S301-S303获得基于几何属性的检测结果；可以通过S401-S403获得基于颜色属性的检测结果，这三种方式中，后两种方式也可以单独用来检测视频中的火焰。

另外，基于相同的发明思路，在本发明的一个实施例中，可以通过S101-S105获得基于运动属性的检测结果，可以通过S401-S403获得基于颜色属性的检测结果，最后，依据加权投票策略，对基于运动属性的检测结果和基于颜色属性的检测结果进行融合，得到第一运动区域是否属于火焰区域的检测结果。在发明的另一实施例中，可以通过S301-S303获得基于几何属性的检测结果；可以通过S401-S403获得基于颜色属性的检测结果，最后，依据加权投票策略，对基于几何属性的检测结果和基于颜色属性的检测结果进行融合，得到第一运动区域是否属于火焰区域的检测结果。

在上述任一实施例中，第一运动区域可以是通过形态学算法进行去噪处理后的运动区域；上述任一述及第二运动区域的实施例中，第二运动区域可以是通过形态学算法进行去噪处理后的运动区域。

具体实施时，可以在S101之前，或在S301之前，或在S401之前，通过形态学算法对第一运动区域进行去噪处理，以使获得准确的第一运动区域；另外，可以在S101之前，或在S301之前，通过形态学算法对第二运动区域进行去噪处理，以使获得准确的第二运动区域。

为更好地评价本发明实施例提供的火焰检测方法，做了以下实验，对于以下分类器进行评估测试：

五种单一分类器包括：与本发明实施例中S101-S105对应的基于运动属性的分类器(MA)，与本发明实施例中S301-S303对应的基于几何属性的分类器(GA)，与本发明实施例中S401-S404对应的基于颜色属性的分类器(CA)，以及现有技术中基于外形变化分类器(SV)、基于运动估计的分类器(ME)；

四种多属性融合分类器包括：在基于颜色属性的分类器(CA)和基于几何属性的分类器(GA)基础上进行融合的分类器，在基于颜色属性的分类器(CA)和基于运动属性的分类器(MA)基础上进行融合的分类器，在基于颜色属性的分类器(CA)、基于外形变化分类器(SV)和基于运动属性的分类器(MA)基础上进行融合的分类器，在基于颜色属性的分类器(CA)、基于几何属性的分类器(GA)和基于运动属性的分类器(MA)基础上进行融合的分类器。

构建样本集：构建一个火焰检测视频数据集，称为FireDB，该数据集包含153个火焰视频和152个无火视频，这些视频都是从公共视频共享数据集收集的。在这些视频中，有33个森林场景，103个室内场景和169个室外场景，此外，它还包含了135个非常具有挑战性的负样本，如车灯、穿红色衣服的人、红色车辆、霓虹灯、移动的烟雾、光线变化和反射。FireDB数据集包含的不同场景的视频样本，如图6所示，图6为数据集中部分样本图例。每个视频会被自动分割成多个片段，如果视频至少包含一个火焰片段，该视频就被设置为“有火视频”。

实验设置：数据集被划分成两个部分：80％作为训练集，20％作为测试集，使用准确率、误检率、漏检率来评估测试结果。在实验中，基于运动属性的分类器中的第一预设阈值和第二预设阈值分别设置为0.6和0.95。基于几何属性分类器中的第三预设阈值设置为3。采用训练集中的样本对各个分类器进行训练，再通过测试机的测试样本对各个训练好的分类器进行分类测试。参照图7，图7为各分类器的分类结果示例图。

统计各个分类结果，计算各分类器对应的分类结果的准确率、误检率、漏检率如表一所示。

表一FireDB数据集上的火焰检测方法检测结果

从表一可以看出：

单一分类器之间对比：

通过传统的基于外形变化(SV)的分类器进行分类的准确率为61.01％，误检率为51.67％，漏检率为15.15％，而基于几何属性的分类器进行分类的准确率为72.61％，误检率为41.56％，漏检率为5.03％，两者相对比，基于几何属性(GA)的分类器的分类结果更加可靠，因此，针对一些复杂的场景，如多物体遮挡、稳定的火，基于外形变化(SV)进行火焰检测结果就不是很可信，而采用运动对象的轮廓变化以及轮廓的线段长度来检测火焰较为准确。

通过传统的基于运动估计(ME)的单一分类器进行分类的准确率为66.67％，误检率为41.67％，漏检率为24.24％，而基于运动属性(MA)的分类器进行分类的准确率为76.52％，误检率为46.33％，漏检率为0％，两者相对比，基于运动属性(MA)的分类器的分类结果更加可靠，基于运动估计(ME)的分类器的运动估计使用SIFT匹配来计算运动信息，但很难在火焰上检测到合适的SIFT关键点，基于运动属性(MA)的分类，使用稠密光流计算运动信息，能够准确地刻画火焰的运动特性。

单一分类器与多属性融合分类器对比：

任一个多属性融合分类器的分类结果的准确率都高于任一个单一分类器的分类结果的准确率，同时，前者的误检率均低于后者。前者的失误率大部分低于后者，除了基于运动属性(MA)的分类器的分类结果，因此，在单一分类器中，基于运动属性(MA)的分类器的分类结果还是较为可靠的。

多属性融合分类器的对比：

在基于运动属性的分类器(MA)与其他单一分类器的基础上进行融合的分类器的检测结果的准确率较高，且在基于颜色属性的分类器(CA)、基于几何属性的分类器(GA)和基于运动属性的分类器(MA)基础上进行融合的分类器的检测结果最好，且具有明显优势，得到了最高准确率92.30％，高于目前先进方法将近2.4％。

相应于上述方法实施例，本发明实施例还公开了一种基于视频的火焰检测装置，参照图8，图8为发明实施例提供的基于视频的火焰检测装置的第一种结构示意图，该装置包括：

第一计算模块81，用于计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向，其中，第一运动区域为目标视频帧中的一个运动区域；

第二计算模块82，用于根据计算得到的运动幅度，计算第一运动区域中像素点的平均运动幅度；

第一确定模块83，用于根据平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；其中，有效像素点为运动幅度大于平均运动幅度的像素点，方向区间是通过将方向空间均分成预设数量份获得的；

第三计算模块84，用于根据各个方向区间的有效像素点的数量，计算有效像素点的分散程度；

第二确定模块85，用于根据分散程度，确定第一运动区域是否属于火焰区域，得到基于运动属性的检测结果。

本发明的一个实施例中，第二确定模块85，可以包括：第一判断单元、第一判断单元和第一确定单元(图中未示出)。

第一判断单元，用于判断分散程度是否在预设阈值区间内；

第一确定单元，用于在第一判断单元的判断结果为是的情况下，确定第一运动区域属于火焰区域；

第二确定单元，用于在在第一判断单元的判断结果为否的情况下，确定第一运动区域不属于火焰区域。

应用本发明实施例提供的技术方案，计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向，计算第一运动区域中像素点的平均运动幅度，这样就获得了第一运动区域中全部像素点的运动信息。根据平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；有效像素点的运动幅度是大于平均运动幅度的，这样的像素点更能代表第一运动区域中运动对象。根据各个方向区间的有效像素点的数量，确定有效像素点的分散程度；相对于其他区别与火焰的运动对象来说，火焰的运动是随机杂乱的，火焰所对应的有效像素点的分散程度具有明显区别特点，因此，根据有效像素点的分散程度，确定第一运动区域是否属于火焰区域，得到基于运动属性的检测结果，可以使检测结果具有较高的准确率。

另外，相对于现有技术中通过词袋模型的运动描述子，难以在运动区域上检测到SIFT关键点来说，而本实施例提供的火焰检测方法不需要检测SIFT关键点，且分散程度的获得过程简单、准确，且火焰与非火焰对应分散程度具有明显区别，因此，最终可以提高基于视频的火焰检测结果的准确率。

本发明的一个实施例中，第三计算模块84，具体用于根据各个方向区间的有效像素点的数量和第一运动区域的面积，计算有效像素点的分散程度。

本发明的一个实施例中，第三计算模块84，具体用于根据以下公式计算分散程度：

其中，表示分散程度，t表示目标视频帧的帧号，i表示第一运动区域在目标视频帧的运动区域中的序号，k表示方向区间的序号，S表示预设数量，表示第一运动区域中位于第k个方向区间内的有效像素点的数量；表示第一运动区域在全部S个方向区间内的有效像素点的总数量，表示第一运动区域的面积。

如图9所示，图9为本发明实施例提供的基于视频的火焰检测装置的第二种结构示意图，相对于图8所示实施例的基础上该基于视频的火焰检测装置，还可以包括：

第三确定模块91，用于确定目标视频帧的前一帧中与第一运动区域相对应的第二运动区域；

第一提取模块92，用于提取第一运动区域中运动对象的轮廓，作为第一轮廓；

第二提取模块93，用于提取第二运动区域中运动对象的轮廓，作为第二轮廓；

第四确定模块84，用于根据第一轮廓和第二轮廓，确定第一运动区域是否属于火焰区域，得到基于几何属性的检测结果；

融合模块95，用于依据加权投票策略，对基于运动属性的检测结果和基于几何属性的检测结果进行融合，得到第一运动区域是否属于火焰区域的检测结果。

本发明的一个实施例中，第四确定模块84，具体包括：

第一计算单元，用于计算第一轮廓和第二轮廓之间的轮廓差；

第三确定单元，用于在满足以下条件的情况下，根据轮廓差，确定第一运动区域是否属于火焰区域，得到基于几何属性的检测结果：

构成第一轮廓的各条线段的长度均小于第一运动区域的最大边缘，且构成第二轮廓的各条线段的长度均小于第二运动区域的最大边缘。

进一步地，该基于视频的火焰检测装置，还可以包括：

第二判断单元，用于判断构成第一轮廓的各条线段的长度均小于第一运动区域的最大边缘；

第三判断单元，用于判断构成第二轮廓的各条线段的长度均小于第二运动区域的最大边缘。

本发明的一个实施例中，该基于视频的火焰检测装置，还可以包括：第一去噪模块和第二去噪模块(图中未示出)。

第一去噪模块，用于在提取第一运动区域中运动对象的轮廓，作为第一轮廓之前，通过形态学算法，对第一运动区域进行去噪处理；

第一提取模块92，具体用于提取去噪处理后的第一运动区域中运动对象的轮廓，作为第一轮廓；

和/或，

第二去噪模块，用于在提取第二运动区域中运动对象的轮廓，作为第二轮廓之前，通过形态学算法，对第二运动区域进行去噪处理；

第二提取模块93，具体用于提取去噪处理后的第一运动区域中运动对象的轮廓，作为第二轮廓。

参照图10，图10为本发明实施例提供的基于视频的火焰检测装置的第三种结构示意图，本发明实施例中，该基于视频的火焰检测装置，还可以包括：

第四计算模块101，用于分别计算目标视频帧中像素点的Y分量的平均值、U分量的平均值、V分量的平均值，得到Y平均值、U平均值和V平均值；

第五计算模块102，用于计算第一运动区域中像素点的U分量与V分量的差值的绝对值，得到UV差绝对值；

第五确定模块103，在第一运动区域中的各个像素点均满足预设条件的情况下，基于颜色属性确定第一运动区域属于火焰区域，得到基于颜色属性的检测结果：

其中，预设条件为：

目标像素点的Y分量大于Y平均值；且

目标像素点的U分量小于U平均值；且

目标像素点的V分量大于V平均值；且

目标像素点的R分量大于目标像素点的G分量；且

目标像素点的G分量大于目标像素点的B分量；且

目标像素点的UV差绝对值大于预设的UV差阈值；目标像素点为第一运动区域中的一个像素点；

融合模块95，具体用于依据加权投票策略，对基于运动属性的检测结果、基于几何属性的检测结果和基于颜色属性的检测结果进行融合，得到第一运动区域是否属于火焰区域的检测结果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于视频的火焰检测方法，其特征在于，所述方法包括：

计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向，其中，所述第一运动区域为所述目标视频帧中的一个运动区域；

根据计算得到的运动幅度，计算所述第一运动区域中像素点的平均运动幅度；

根据所述平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；其中，所述有效像素点为运动幅度大于所述平均运动幅度的像素点，所述方向区间是通过将方向空间均分成预设数量份获得的；

根据各个方向区间的有效像素点的数量，计算所述有效像素点的分散程度；

根据所述分散程度，确定所述第一运动区域是否属于火焰区域，得到基于运动属性的检测结果。

2.根据权利要求1所述的火焰检测方法，其特征在于，所述根据所述分散程度，确定所述第一运动区域是否属于火焰区域，包括：

判断所述分散程度是否在预设阈值区间内；

如果在，确定所述第一运动区域属于火焰区域；

如果不在，确定所述第一运动区域不属于火焰区域。

3.根据权利要求1或2所述的火焰检测方法，其特征在于，根据各个方向区间的有效像素点的数量，计算所述有效像素点的分散程度，包括：

根据各个方向区间的有效像素点的数量和所述第一运动区域的面积，计算所述有效像素点的分散程度。

4.根据权利要求1或2所述的火焰检测方法，其特征在于，根据以下公式计算所述分散程度：

$E_t^i=-\frac{N_t^i}{A_t^i}\frac{1}{{\log }_{2}S}\underset{k=1}{\overset{S}{\Σ}}(\frac{H_t^i\left(k\right)}{N_t^i}\·{\log }_2(\frac{H_t^i\left(k\right)}{N_t^i}\left)\right)$

其中，表示所述分散程度，t表示所述目标视频帧的帧号，i表示所述第一运动区域在所述目标视频帧的运动区域中的序号，k表示方向区间的序号，S表示所述预设数量，表示所述第一运动区域中位于第k个方向区间内的有效像素点的数量；表示所述第一运动区域在全部S个方向区间内的有效像素点的总数量，表示所述第一运动区域的面积。

5.根据权利要求1所述的火焰检测方法，其特征在于，还包括：

确定所述目标视频帧的前一帧中与所述第一运动区域相对应的第二运动区域；

提取所述第一运动区域中运动对象的轮廓，作为第一轮廓，并提取所述第二运动区域中运动对象的轮廓，作为第二轮廓；

根据所述第一轮廓和所述第二轮廓，确定所述第一运动区域是否属于火焰区域，得到基于几何属性的检测结果；

依据加权投票策略，对所述基于运动属性的检测结果和所述基于几何属性的检测结果进行融合，得到所述第一运动区域是否属于火焰区域的检测结果。

6.根据权利要求5所述的火焰检测方法，其特征在于，所述根据所述第一轮廓和第二轮廓，确定所述第一运动区域是否属于火焰区域，得到基于几何属性的检测结果，包括：

计算所述第一轮廓和所述第二轮廓之间的轮廓差；

在满足以下条件的情况下，根据所述轮廓差，确定所述第一运动区域是否属于火焰区域，得到基于几何属性的检测结果：

构成所述第一轮廓的各条线段的长度均小于所述第一运动区域的最大边缘，且构成所述第二轮廓的各条线段的长度均小于所述第二运动区域的最大边缘。

7.根据权利要求5或6所述的火焰检测方法，其特征在于，还包括：

分别计算所述目标视频帧中像素点的Y分量的平均值、U分量的平均值、V分量的平均值，得到Y平均值、U平均值和V平均值；

计算所述第一运动区域中像素点的U分量与V分量的差值的绝对值，得到UV差绝对值；

在所述第一运动区域中的各个像素点均满足预设条件的情况下，基于颜色属性确定所述第一运动区域属于火焰区域，得到基于颜色属性的检测结果：

其中，所述预设条件为：

所述目标像素点的Y分量大于所述Y平均值；且

所述目标像素点的U分量小于所述U平均值；且

所述目标像素点的V分量大于所述V平均值；且

所述目标像素点的R分量大于所述目标像素点的G分量；且

所述目标像素点的G分量大于所述目标像素点的B分量；且

所述目标像素点的UV差绝对值大于预设的UV差阈值；所述目标像素点为所述第一运动区域中的一个像素点；

所述依据加权投票策略，对所述基于运动属性的检测结果和基于几何属性的检测结果进行融合，得到所述第一运动区域是否属于火焰区域的检测结果，包括：

依据加权投票策略，对所述基于运动属性的检测结果、所述基于几何属性的检测结果和所述基于颜色属性的检测结果进行融合，得到所述第一运动区域是否属于火焰区域的检测结果。

8.根据权利要求7所述的火焰检测方法，其特征在于，

所述第一运动区域是通过形态学算法进行去噪处理后的运动区域；

和/或，

所述第二运动区域是通过形态学算法进行去噪处理后的运动区域。

9.一种基于视频的火焰检测装置，其特征在于，包括：

第一计算模块，用于计算目标视频帧的第一运动区域中每个像素点的运动幅度和运动方向，其中，所述第一运动区域为所述目标视频帧中的一个运动区域；

第二计算模块，用于根据计算得到的运动幅度，计算所述第一运动区域中像素点的平均运动幅度；

第一确定模块，用于根据所述平均运动幅度、每个像素点的运动幅度和运动方向，确定每个方向区间内的有效像素点的数量；其中，所述有效像素点为运动幅度大于所述平均运动幅度的像素点，所述方向区间是通过将方向空间均分成预设数量份获得的；

第三计算模块，用于根据各个方向区间的有效像素点的数量，计算所述有效像素点的分散程度；

第二确定模块，用于根据所述分散程度，确定所述第一运动区域是否属于火焰区域，得到基于运动属性的检测结果。

10.根据权利要求9所述的火焰检测装置，其特征在于，还包括：

第三确定模块，用于确定所述目标视频帧的前一帧中与所述第一运动区域相对应的第二运动区域；

第一提取模块，用于提取所述第一运动区域中运动对象的轮廓，作为第一轮廓；

第二提取模块，用于提取所述第二运动区域中运动对象的轮廓，作为第二轮廓；

第四确定模块，用于根据所述第一轮廓和所述第二轮廓，确定所述第一运动区域是否属于火焰区域，得到基于几何属性的检测结果；

融合模块，用于依据加权投票策略，对所述基于运动属性的检测结果和所述基于几何属性的检测结果进行融合，得到所述第一运动区域是否属于火焰区域的检测结果。