CN108830161B - 基于视频流数据的烟雾识别方法 - Google Patents

Abstract

本发明公开了基于视频流数据的烟雾识别方法，包括以下步骤：视频流数据获取；运动目标提取；过滤夜晚、过滤下雨及大雾天气、过滤摄像机抖动转动；模糊度分析；离散性匹配；扩散方向匹配；运动速度匹配；通过神经网络进行烟雾特征模型匹配。本发明采用基于视频流数据的烟雾识别方法，根据烟雾持续性的特征，通过视频流数据实时获取活动目标，并将其进行多种动态特征和神经网络特征识别，提高烟雾识别的准确度，能有效避免误报警和漏报警。

Description

基于视频流数据的烟雾识别方法

技术领域

本发明涉及数字视频智能分析技术领域，具体涉及一种基于视频流数据的烟雾识别方法，是一种用于火灾预警检测的技术。

背景技术

在一些对火险等级要求高的应用场合，如仓库、弹药库、林场、景区等地，需要对火灾特征进行分析识别，这些特征包括烟雾、火焰、温度等，希望能在火灾发生的初期，经智能分析得知火灾发生的地点，使人们能够及时发现火灾，并及时采取有效措施，扑灭初期火灾，最大限度的减少因火灾造成的生命和财产的损失，因此基于视频图像的火灾分析监测技术近年来得到蓬勃发展。

现有技术中，基于视频图像的火灾分析监测设备获取的视频图像，忽略了烟雾的持续性，存在一定的局限性。烟雾虽然具有丰富的特征，但是要将其从复杂的环境中准确识别出来，与刚性物体相比，还是具有不少的困难。现有检测技术所存在的不足主要有两个方面：

(1)准确性不够

目前的烟雾检测，无论是利用单一特性还是综合利用多种特性，都会有漏报和误报，尤其是在复杂的环境里。采用单一特性的烟雾检测，误报率往往较高，特别是无法对淡而少的烟和浓而厚的烟同样处理。准确性不够的根本原因，是这些特征不够本质，与烟雾没有一一对应关系。

(2)适应性不强

虽然有些算法在一定条件下具有较好的效果，但在复杂环境下其检测性能有所降低。

本发明采用基于视频流数据的烟雾识别方法，根据烟雾持续性的特征，通过视频流数据实时获取活动目标，并将其进行多种动态特征和神经网络特征识别，提高烟雾识别的准确度。

发明内容

本发明旨在针对现有烟雾识别技术在准确率不高和适用性不强的不足，提出一种动态特征和神经网络特征识别的烟雾识别方法。

为实现上述目的，本发明采取的技术方案为：

基于视频流数据的烟雾识别方法，包括以下步骤：

步骤一、采集视频监控区的视频流数据，并对视频流数据中的视频图像进行逐帧解码，转化为Lab空间表示，使其转换为相应的彩色图像；

步骤二、对视频图像中的运动目标采用背景帧分法进行提取，获得有运动目标的前景图片；

步骤三：截取步骤二中获取的运动目标的前景图片，过滤夜晚、过滤下雨及大雾天气、过滤摄像机抖动转动的情况，若检测到这些情况中任一种情况时，直接忽略返回步骤二；反之，进入下一步；

步骤四：对满足步骤三的前景图片采用reblur二次模糊算法进行模糊度分析，比较原图和模糊后的图片相邻像素值的差别大小，若差别大，则判断为清晰图片，直接忽略，若差别小；则判断为模糊图片，进入下一步；

步骤五：将步骤四中满足模糊度的前景图片的烟雾目标进行离散性匹配，同一烟雾目标累计观察N帧，并获取在N帧累加区域的最大活动轨迹，然后通过历史活动轨迹和最大活动轨迹比值计算离散度，离散度越高离散性越低，离散度越低离散性越高，若离散度大于M值，则排除目标的前景图片，返回步骤二，反之，则进入下一步；其中，M值表示离散度，M＝(0,10]，值越大表示目标对象在空间分布上越集中；所述历史活动轨迹为活动目标的过去的空间活动坐标范围；所述最大活动轨迹为活动目标在N帧累加区域的空间活动坐标范围；

步骤六、对步骤五中满足离散度的前景图片中烟雾目标进行扩散方向匹配，对同一烟雾目标累计观察N帧，并进行帧内对比，若发现目标出现向下移动的特征则排除，返回步骤二，反之，则进入下一步；

步骤七、对步骤六中满足扩散方向的前景图片中烟雾目标进行运动速度匹配，对同一烟雾目标累计观察N帧，并通过多帧对比计算该目标的运动速度，若目标运动速度高于经验值S，则忽略返回步骤二，反之，则判断前景图片具有烟雾通用特质，并进入下一步；其中，目标运动速度＝两帧之间的距离像素差/两帧间时间；经验值S反映烟雾的较慢的运动速度，S值约1～50之间；

步骤八：对步骤七中具有满足烟雾通用特质的目标的前景图片通过神经网络进行烟雾特征模型匹配，如匹配大于相似度L，则输出识别到烟雾，反之则返回步骤二；其中L＝[0,1]，精度要求越高，则越接近1；

其中，N表示目标的观察区间跨度的帧数，N＝[1,100]，值越大观察时间越长、灵敏度越低。

上述技术方案中，步骤三中，过滤夜晚、过滤下雨及大雾天气、过滤摄像机抖动转动情况的具体方法为：

S1、过滤所述夜晚检测的具体方法为：通过全帧亮度监测来获取步骤二中活动目标的前景图片的亮度值，设定一个经验值L，当亮度值低于该值时判断为夜晚，直接忽略；

S2、过滤所述下雨、大雾天气检测的具体方法为：通过将步骤二中活动目标的前景图片的全图画面进行九宫图碎片化切割，对每一个碎片采用reblur二次模糊算法进行模糊度识别，若检测到全图中70％以上碎片区域都为模糊区域时则判断为大雾天气；若检测到全图中70％碎片区域为模糊，同时出现的运动目标均往下移动时则判断为雨天，若检测下雨或雾天天气则直接忽略；

S3、过滤所述过滤摄像机抖动检测的具体方法为：摄像机抖动会导致提取异常前景目标，即抖动导致的背景当做前景目标的情况；在抖动情况出现时，全图画面会出现大量的运动目标，通过对步骤二中同一帧出现的运动目标数量进行计算，当同帧内出现的运动目标大于5时，直接忽略目标。

上述技术方案中，所述运动目标的提取方法为背景帧分法，包括以下步骤：

S1、通过对获取的n帧画面进行背景建模，然后对n+1帧画面中的运动目标进行帧差，将n+1帧像素值I(x,y)减去背景模型中相同位置像素点的平均值u(x,y)，得到差值d(x,y)，然后将该差值d(x,y)与阈值TH进行比较，当差值d(x,y)大于阈值TH时，则标记为前景点；否则，标记为背景点；其中，TH值采用自适应算法确定，即计算每个像素的3帧图像间帧间差的平均值与标准差的和，作为比较的标准TH；

S2、通过前景点连续的帧来判断该运动目标是否连续运动，是否连续出现，若达不到连续P帧出现，则过滤；反之，该运动目标连续P帧出现，且P帧内运动目标的目标质心坐标的位置像素大于i个像素点，则判断为持续运动，得到运动目标的前景图片；其中，P＝[1,200]，P值的大小，反映为观察目标的时间跨度，此值越小，则给出判断的反应时间越快，越灵敏；i表示为水平和垂直方向上的位置像素量，i的取值范围[1,20]，i越小，检测越灵敏。

上述技术方案中，所述reblur二次模糊算法的具体方法为：清晰的图片模糊后，相邻像素点灰度值变化非常大，模糊图片模糊后，相邻像素点灰度值变化很小。

上述技术方案中，所述运动目标均往下移动的判断方法是比较目标先后在Y坐标上的变化方向，变小即是向下移动。

上述技术方案中，步骤八中的所述烟雾特征模型是通过神经网络模型训练分类器训练和识别得到的，其具体方法为：

训练部分：输入大量烟雾图片作为正样本，输入非烟雾图片作为负样本，通过训练器进行训练学习并得到烟雾特征模型。

识别部分：对满足烟雾通用特质目标进行烟雾特征模型匹配，如匹配大于相似度L，则输出识别到烟雾，反之则返回步骤二；其中L＝[0,1]，精度要求越高，则越接近1。

上述技术方案中，步骤五中，所述M的经验值是0.3。

上述技术方案中，步骤七中，所述S的经验值取5。

上述技术方案中，所述N的经验值取30。

与现有技术相比，本发明的有益效果在于：

本发明采用基于视频流数据的烟雾识别方法，根据烟雾持续性的特征，通过视频流数据实时获取活动目标，并将其进行多种动态特征和神经网络特征识别，提高烟雾识别的准确度，能有效避免误报警和漏报警。

附图说明

图1为本发明提供的基于视频流数据的烟雾识别方法的流程图；

图2为本发明所述的烟雾特征模型通过神经网络模型训练分类器训练和识别的流程图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述：

如图1、图2所示，本发明公开了一种基于视频流数据的烟雾识别方法，包括以下步骤：

步骤一、采集视频监控区的视频流数据，并对视频流数据中的视频图像进行逐帧解码，转化为Lab空间表示，使其转换为相应的彩色图像；

步骤二、对视频图像中的运动目标采用背景帧分法进行提取，获得有运动目标的前景图片；

步骤三：截取步骤二中获取的运动目标的前景图片，过滤夜晚、过滤下雨及大雾天气、过滤摄像机抖动转动的情况，具体方法为：

S1、过滤所述夜晚检测的具体方法为：通过全帧亮度监测来获取步骤二中活动目标的前景图片的亮度值，设定一个经验值L，当亮度值低于该值时判断为夜晚，直接忽略；

S2、过滤所述下雨、大雾天气检测的具体方法为：通过将步骤二中活动目标的前景图片的全图画面进行九宫图碎片化切割，对每一个碎片采用reblur二次模糊算法进行模糊度识别，若检测到全图中70％以上碎片区域都为模糊区域时则判断为大雾天气；若检测到全图中70％碎片区域为模糊，同时出现的运动目标均往下移动时则判断为雨天，若检测下雨或雾天天气则直接忽略；

S3、过滤所述过滤摄像机抖动检测的具体方法为：摄像机抖动会导致提取异常前景目标，即抖动导致的背景当做前景目标的情况；在抖动情况出现时，全图画面会出现大量的运动目标，通过对步骤二中同一帧出现的运动目标数量进行计算，当同帧内出现的运动目标大于5时，直接忽略目标。

若检测到夜晚、下雨及大雾天气、摄像机抖动转动中任一种情况时，直接忽略返回步骤二；反之，进入下一步；

步骤四：对满足步骤三的前景图片采用reblur二次模糊算法进行模糊度分析，比较原图和模糊后的图片相邻像素值的差别大小，若差别大，则判断为清晰图片，直接忽略，若差别小；则判断为模糊图片，进入下一步；

步骤五：将步骤四中满足模糊度的前景图片的烟雾目标进行离散性匹配，同一烟雾目标累计观察N帧，并获取在N帧累加区域的最大活动轨迹，然后通过历史活动轨迹和最大活动轨迹比值计算离散度，离散度越高离散性越低，离散度越低离散性越高，若离散度大于M值，则排除目标的前景图片，返回步骤二，反之，则进入下一步；其中，M值表示离散度，M＝(0,10]，值越大表示目标对象在空间分布上越集中，所述M的经验值是0.3；所述历史活动轨迹为活动目标的过去的空间活动坐标范围；所述最大活动轨迹为活动目标在N帧累加区域的空间活动坐标范围；

步骤六、对步骤五中满足离散度的前景图片中烟雾目标进行扩散方向匹配，对同一烟雾目标累计观察N帧，并进行帧内对比，若发现目标出现向下移动的特征则排除，返回步骤二，反之，则进入下一步；其中，所述运动目标均往下移动的判断方法是比较目标先后在Y坐标上的变化方向，变小即是向下移动。

步骤七、对步骤六中满足扩散方向的前景图片中烟雾目标进行运动速度匹配，对同一烟雾目标累计观察N帧，并通过多帧对比计算该目标的运动速度，若目标运动速度高于经验值S，则忽略返回步骤二，反之，则判断前景图片具有烟雾通用特质，并进入下一步；其中，目标运动速度＝两帧之间的距离像素差/两帧间时间；经验值S反映烟雾的较慢的运动速度，S值约1～50之间，所述S的经验值取5；

步骤八：对步骤七中具有满足烟雾通用特质的目标的前景图片通过神经网络进行烟雾特征模型匹配，如匹配大于相似度L，则输出识别到烟雾，反之则返回步骤二；其中L＝[0,1]，精度要求越高，则越接近1；

其中，N表示目标的观察区间跨度的帧数，N＝[1,100]，值越大观察时间越长、灵敏度越低，所述N的经验值取30。

本发明中，所述运动目标的提取方法为背景帧分法，包括以下步骤：

S1、通过对获取的n帧画面进行背景建模，然后对n+1帧画面中的运动目标进行帧差，将n+1帧像素值I(x,y)减去背景模型中相同位置像素点的平均值u(x,y)，得到差值d(x,y)，然后将该差值d(x,y)与阈值TH进行比较，当差值d(x,y)大于阈值TH时，则标记为前景点；否则，标记为背景点；其中，TH值采用自适应算法确定，即计算每个像素的3帧图像间帧间差的平均值与标准差的和，作为比较的标准TH；

S2、通过前景点连续的帧来判断该运动目标是否连续运动，是否连续出现，若达不到连续P帧出现，则过滤；反之，该运动目标连续P帧出现，且P帧内运动目标的目标质心坐标的位置像素大于i个像素点，则判断为持续运动，得到运动目标的前景图片；其中，P＝[1,200]，P值的大小，反映为观察目标的时间跨度，此值越小，则给出判断的反应时间越快，越灵敏；i表示为水平和垂直方向上的位置像素量，i的取值范围[1,20]，i越小，检测越灵敏。

本发明中，所述reblur二次模糊算法的具体方法为：清晰的图片模糊后，相邻像素点灰度值变化非常大，模糊图片模糊后，相邻像素点灰度值变化很小。

如图2所示，步骤八中的所述烟雾特征模型是通过神经网络模型训练分类器训练和识别得到的，其具体方法为：

训练部分：输入大量烟雾图片作为正样本，输入非烟雾图片作为负样本，通过训练器进行训练学习并得到烟雾特征模型。

识别部分：对满足烟雾通用特质目标进行烟雾特征模型匹配，如匹配大于相似度L，则输出识别到烟雾，反之则返回步骤二；其中L＝[0,1]，精度要求越高，则越接近1。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围中。

Claims (7)

1.基于视频流数据的烟雾识别方法，其特征在于，包括以下步骤：

步骤一、采集视频监控区的视频流数据，并对视频流数据中的视频图像进行逐帧解码，转化为Lab空间表示，使其转换为相应的彩色图像；

步骤二、对视频图像中的运动目标采用背景帧分法进行提取，获得有运动目标的前景图片；

具体的，采用背景帧分法进行提取运动目标，包括以下步骤：

S1、通过对获取的n帧画面进行背景建模，然后对n+1帧画面中的运动目标进行帧差，将n+1帧像素值I(x,y)减去背景模型中相同位置像素点的平均值u(x,y)，得到差值d(x,y)，然后将该差值d(x,y)与阈值TH进行比较，当差值d(x,y)大于阈值TH时，则标记为前景点；否则，标记为背景点；其中，TH值采用自适应算法确定，即计算每个像素的3帧图像间帧间差的平均值与标准差的和，作为比较的标准TH；

S2、通过前景点连续的帧来判断该运动目标是否连续运动，是否连续出现，若达不到连续P帧出现，则过滤；反之，该运动目标连续P帧出现，且P帧内运动目标的目标质心坐标的位置像素大于i个像素点，则判断为持续运动，得到运动目标的前景图片；其中，P=[1,200]，P值的大小，反映为观察目标的时间跨度，此值越小，则给出判断的反应时间越快，越灵敏；i表示为水平和垂直方向上的位置像素量，i的取值范围[1,20]，i越小，检测越灵敏；

步骤三：截取步骤二中获取的运动目标的前景图片，过滤夜晚、过滤下雨及大雾天气、过滤摄像机抖动转动的情况，若检测到这些情况中任一种情况时，直接忽略返回步骤二；反之，进入下一步；

其中，过滤夜晚、过滤下雨及大雾天气、过滤摄像机抖动转动情况的具体方法为：

S1、过滤夜晚检测的具体方法为：通过全帧亮度监测来获取步骤二中活动目标的前景图片的亮度值，设定一个经验值L，当亮度值低于该值时判断为夜晚，直接忽略；

S2、过滤下雨、大雾天气检测的具体方法为：将步骤二中获取的前景图片的全图画面进行九宫图碎片化切割，对每个碎片采用reblur二次模糊算法进行模糊度识别，若检测到全图有70%以上碎片区域为模糊区域时，则判断为大雾天气；若检测到全图中70%碎片区域为模糊，同时出现的运动目标均往下移动时则判断为雨天，若检测下雨或雾天天气则直接忽略；

S3、过滤摄像机抖动检测的具体方法为：摄像机抖动会导致提取异常前景目标，即抖动导致的背景当做前景目标的情况；在抖动情况出现时，全图画面会出现大量的运动目标，通过对步骤二中同一帧出现的运动目标数量进行计算，当同帧内出现的运动目标大于5时，直接忽略目标；

步骤四：对满足步骤三的前景图片采用reblur二次模糊算法进行模糊度分析，比较原图和模糊后的图片相邻像素值的差别大小，若差别大，则判断为清晰图片，直接忽略，若差别小；则判断为模糊图片，进入下一步；

步骤五：将步骤四中满足模糊度的前景图片的烟雾目标进行离散性匹配，同一烟雾目标累计观察N帧，并获取在N帧累加区域的最大活动轨迹，然后通过历史活动轨迹和最大活动轨迹比值计算离散度，离散度越高离散性越低，离散度越低离散性越高，若离散度大于M值，则排除目标的前景图片，返回步骤二，反之，则进入下一步；其中，M值表示离散度，M=(0,10]，值越大表示目标对象在空间分布上越集中；所述历史活动轨迹为活动目标的过去的空间活动坐标范围；所述最大活动轨迹为活动目标在N帧累加区域的空间活动坐标范围；

步骤六、对步骤五中满足离散度的前景图片中烟雾目标进行扩散方向匹配，对同一烟雾目标累计观察N帧，并进行帧内对比，若发现目标出现向下移动的特征则排除，返回步骤二，反之，则进入下一步；

步骤七、对步骤六中满足扩散方向的前景图片中烟雾目标进行运动速度匹配，对同一烟雾目标累计观察N帧，并通过多帧对比计算该目标的运动速度，若目标运动速度高于经验值S，则忽略返回步骤二，反之，则判断前景图片具有烟雾通用特质，并进入下一步；其中，目标运动速度=两帧之间的距离像素差/两帧间时间；经验值S反映烟雾的较慢的运动速度，S值1~50之间；

步骤八：对步骤七中具有满足烟雾通用特质的目标的前景图片通过神经网络进行烟雾特征模型匹配，如匹配大于相似度L，则输出识别到烟雾，反之则返回步骤二；其中L=[0,1]，精度要求越高，则越接近1；

其中，N表示目标的观察区间跨度的帧数，N=[1,100]，值越大观察时间越长、灵敏度越低。

2.根据权利要求1中所述的基于视频流数据的烟雾识别方法，其特征在于：所述reblur二次模糊算法的具体方法为：清晰的图片模糊后，相邻像素点灰度值变化非常大，模糊图片模糊后，相邻像素点灰度值变化很小。

3.根据权利要求1中所述的基于视频流数据的烟雾识别方法，其特征在于：所述运动目标均往下移动的判断方法是比较目标先后在Y坐标上的变化方向，变小即是向下移动。

4.根据权利要求1所述的基于视频流数据的烟雾识别方法，其特征在于：步骤八中的所述烟雾特征模型是通过神经网络模型训练分类器训练和识别得到的，其具体方法为：

训练部分：输入大量烟雾图片作为正样本，输入非烟雾图片作为负样本，通过训练器进行训练学习并得到烟雾特征模型；

识别部分：对满足烟雾通用特质目标进行烟雾特征模型匹配，如匹配大于相似度L，则输出识别到烟雾，反之则返回步骤二；其中L=[0,1]，精度要求越高，则越接近1。

5.根据权利要求1所述的基于视频流数据的烟雾识别方法，其特征在于：步骤五中，所述M的经验值是0.3。

6.根据权利要求1所述的基于视频流数据的烟雾识别方法，其特征在于：步骤七中，所述S的经验值取5。

7.根据权利要求1所述的基于视频流数据的烟雾识别方法，其特征在于：所述N的经验值取30。

Images