CN110852174A

CN110852174A - 一种基于视频监控的早期烟雾检测方法

Info

Publication number: CN110852174A
Application number: CN201910982272.9A
Authority: CN
Inventors: 徐岩; 杜立召; 张为
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2019-10-16
Filing date: 2019-10-16
Publication date: 2020-02-28

Abstract

本发明涉及一种基于视频监控的早期烟雾检测方法，包括下列步骤：从监控平台读取视频信息流，采用子码流的形式，并将信息流转为视频帧图像的格式；采用ViBe背景建模方法方法对帧图像进行背景建模，通过保守背景更新策略与前景点计数方法对之后的帧图像进行处理，提取出前景像素点区域，并实时的对背景模型进行更新；从对应的视频帧截取前景区域原图；然后送到训练好的深度神经网络，从而实现对烟雾的判断。

Description

一种基于视频监控的早期烟雾检测方法

技术领域：

本发明属于视频监控、图像处理、计算机视觉领域，具体来说属于一种基于监控摄像头或常见的视频监控平台的早期烟雾检测安防系统。

背景技术：

近年来，随着监控摄像头功能的强化及人们对社会安全的重视，基于摄像头的视频监控系统已经逐步广泛地应用到社会的各个角落，无论是在商场、超市，还是在街道、公园，我们都可以看到视频监控系统，无时无刻不在维护着社会安全。然而，目前的视频监控设备有其自身的局限性，它只是单纯的进行场景监控、视频纪录与存储，并无法对一些危险事情做出预测与判断。

火灾是最常发生和极具破坏性的灾难之一。最近几年，全国各地相继发生了大大小小的很多火灾，给国家、社会和人民带来了较大的财产损失。火灾越早发现，生存的机会就越大，造成的损失越小。早火灾发生的早期，我们常常可以看到烟雾的产生，及时准确地将烟雾检测出来，对于火灾的预防和生命财产的保护具有重要的意义。

在过去的几年中，使用计算机视觉技术进行早期火灾检测已经取得了显着的进步。基于传感器的烟雾检测器往往需要安装于小房间或有限的室内区域，并且需要紧密接近火源，当烟雾碳颗粒浓度达到一定程度才能触发警报。而使用基于视频监控的计算机视觉技术可以检测室内室外等场景，不受限于有限的空间。同时，基于烟雾检测传感器的警报比基于视频的计算机视觉检测技术需要相对更多的响应时间，这使得后者成为用于自动火灾检测的下一代检测方法。

烟雾可以被视为火灾的早期指示，早期的小型火灾可以是很难检测到的，但是由此产生的大量烟雾可以通过计算机视觉技术进行检测。及时准确地将烟雾检测出来，对于早期火灾的预防和保护人们的生命财产安全具有重要的意义

烟雾形状、色彩千变万化,运动规律难以把握,给视频烟雾检测带来了巨大的挑战。随着计算机视觉技术和人工智能技术的不断发展，各种基于图像的检测算法不断被提出，吸引越来越多的人投身其中，相关研究也不断深入。越来越多的研究人员加入基于视频图像的烟雾检测研究领域，相比于传统的使用传感器来检测烟雾，基于视频的烟雾检测速度更快，精度更高。基于视频的火灾探测技术充分利用现有的视频监控硬件资源，不需要添加额外的设备，只需利用监控平台的视屏信息流。通过使用一种较为有效的视频烟雾检测算法对视频进行分析，可以实时准确的对监控场景进行安全监测，这对于加强智能安防建设有重要意义。

发明内容：

本发明为了预测潜在的火灾危险并有效防止火灾事故的发生，提出了一种基于视频监控的早期烟雾探测方法，进而可以在火灾发生前进行及时报警。本发明采用了如下的技术方案和实现步骤：

一种基于视频监控的早期烟雾检测方法，包括下列步骤：

1)从监控平台读取视频信息流，采用子码流的形式，并将信息流转为视频帧图像的格式，每帧图像都归一化到同一大小。

2)采用ViBe背景建模方法方法对帧图像进行背景建模，通过保守背景更新策略与前景点计数方法对之后的帧图像进行处理，提取出前景像素点区域，并实时的对背景模型进行更新。

3)对提取的前景区域进行腐蚀膨胀操作，剔除不需要或者噪点造成的前景区域，然后计算此时前景区域的外接矩形框，获得矩形框的左上角坐标及宽度和高度。

4)依据矩形框的左上角坐标及宽度和高度，从对应的视频帧截取前景区域原图。将该图归一化到固定大小，然后送到训练好的深度神经网络，从而实现对烟雾的判断。该深度神经网络的结构如下：

第一层为卷积层，包含96个11维卷积核，卷积核移动步长为4。第二层为池化层，采用最大池化法，池化卷积核3维卷积核，卷积核移动步长为2。第三层为卷积层，包含256个5维卷积核，卷积核移动步长为1。第四层为池化层，采用最大池化法，池化卷积核3维卷积核，卷积核移动步长为2。第五、六、七层都为卷积层，分别采用384、384和256个3维卷积核，卷积核移动步长都为1。第八层为池化层，采用最大池化法，池化卷积核3维卷积核，卷积核移动步长为2。第九层和第十层都为全连接层，神经元个数分别为4096和2048。最后一层为softmax，神经元个数为2。

5)通过softmax层最终的输出判断是否为烟，若此时输出判断为烟，则根据该前景图像的矩形框数值在相对应的视频帧图像框出烟雾区域，并将该视频帧进行保存。

附图说明：

图1为神经网络设计图

图2为检测算法流程图

图3为检测到烟雾的报警图片

具体实施方式：

一般来说，视频监控平台的一般结构为：前端摄像头将拍摄的视频信号通过线缆传到流媒体转发服务器上，实现信号转发上墙显示和终端访问，同时通过存储服务器写入视频存储磁阵。通过流媒体服务器，我们可以获取所需视频流信息，进而实现对视频进行分析检测。

下面对各个部分进行详细的说明：

1)视频预处理。以子码流的形式从流媒体服务器上读取视频信息流，将视频信息流解码为YUV格式，再转为RGB视频帧图像，并进行归一化处理，统一处理成352*288格式大小，从而保证图像的清晰度可以满足检测需求，也有利于提高计算效率。

YUV格式的视频图像转化为RGB格式公式：

2)背景建模与前景提取。在对采集到的视频图像数据进行必要的格式转换和预处理后，下一步需要进行的是进行疑似烟雾前景提取。ViBe算法是一种像素级的背景建模算法，这种算法的计算量不大，时间复杂度低，对运动目标的检测效果好。使用ViBe进行背景建模来提取前景，当背景建模完成后，即可实时提取前景区域。在进行实时前景检测的同时保证背景持续更新，使得背景模型能够适应现实场景中各种因素的变化，比如：光线变化、背景物体的变更等。

3)对提取到的前景区域进行腐蚀膨胀等一系列形态学处理，实现对不符合面积要求的小区域的剔除，得到合适的目标前景区域。然后求出该前景区域的外接矩形框，并计算得到矩形框的左上角坐标及宽度和高度。

4)根据得到的矩形框的左上角坐标及宽度和高度，从相应的视频帧截取前景区域原图，并将其归一化到227*227的大小，以满足神经网络输入的要求。对于本神经网络的训练，共选取了5000张烟雾正样本和2000张非烟雾负样本构成网络训练集，选取了500张烟雾正样本和200张非烟雾负样本构成网络验证集，并选取了1000张含烟雾正样本和400张非烟雾负样本构成网络测试集。使用ImageNet数据集对网络进行预训练，并采用交叉熵损失函数计算网络损失。交叉熵损失函数公式如下：

之后再用准备好的烟雾数据集对预训练好网络模型进行再训练，得到最终的网络模型。

5)根据softmax层最终的输出，若判断此前景区域为烟，则在对应的视屏帧上框出烟雾区域，并保存图像和发出报警信号。

Claims

1.一种基于视频监控的早期烟雾检测方法，包括下列步骤：

2)采用ViBe背景建模方法方法对帧图像进行背景建模，通过保守背景更新策略与前景点计数方法对之后的帧图像进行处理，提取出前景像素点区域，并实时的对背景模型进行更新；

3)对提取的前景区域进行腐蚀膨胀操作，剔除不需要或者噪点造成的前景区域，然后计算此时前景区域的外接矩形框，获得矩形框的左上角坐标及宽度和高度；

4)依据矩形框的左上角坐标及宽度和高度，从对应的视频帧截取前景区域原图；将该图归一化到固定大小，然后送到训练好的深度神经网络，从而实现对烟雾的判断；该深度神经网络的结构如下：

第一层为卷积层，包含96个11维卷积核，卷积核移动步长为4；第二层为池化层，采用最大池化法，池化卷积核3维卷积核，卷积核移动步长为2；第三层为卷积层，包含256个5维卷积核，卷积核移动步长为1；第四层为池化层，采用最大池化法，池化卷积核3维卷积核，卷积核移动步长为2；第五、六、七层都为卷积层，分别采用384、384和256个3维卷积核，卷积核移动步长都为1；第八层为池化层，采用最大池化法，池化卷积核3维卷积核，卷积核移动步长为2；第九层和第十层都为全连接层，神经元个数分别为4096和2048；最后一层为softmax，神经元个数为2；

通过softmax层最终的输出判断是否为烟，若此时输出判断为烟，则根据该前景图像的矩形框数值在相对应的视频帧图像框出烟雾区域，并将该视频帧进行保存。