CN114885119A - 一种基于计算机视觉的智能监控报警系统及方法 - Google Patents

一种基于计算机视觉的智能监控报警系统及方法 Download PDF

Info

Publication number
CN114885119A
CN114885119A CN202210318910.9A CN202210318910A CN114885119A CN 114885119 A CN114885119 A CN 114885119A CN 202210318910 A CN202210318910 A CN 202210318910A CN 114885119 A CN114885119 A CN 114885119A
Authority
CN
China
Prior art keywords
module
image
smoking
video
smoke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210318910.9A
Other languages
English (en)
Inventor
高岭
贾帅宇
郭红波
王海
郑杰
孙秦豫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN202210318910.9A priority Critical patent/CN114885119A/zh
Publication of CN114885119A publication Critical patent/CN114885119A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
    • G08B27/006—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations with transmission via telephone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]

Abstract

一种基于计算机视觉的智能监控报警系统及方法，包括GSM短信模块、显示模块、图像采集模块、处理器、火灾烟雾识别模块，通过对原始视频数据进行处理，并运用深度学习的方法对暴力，抽烟，火灾事件进行实时监测，具有高每秒传输帧数(fps)、低算力需求、高准确率、强鲁棒性、高稳定性的特性，并且具有良好的地兼容性，能够集成到现有传统监控系统中。此外，当发生异常事件时，本系统会进行报警提醒并向发送报警短信或邮件，自动记录异常事件发生的时间，用户可以随时回看任意时间视频内容。

Description

一种基于计算机视觉的智能监控报警系统及方法
技术领域
本发明属于涉及人体行为识别、图像分割以及手势识别技术领域，具体涉及一种基于计算机视觉的智能监控报警系统及方法。
背景技术
近年来，监控摄像头已广泛应用于公共场所，由于这些无处不在的设备，危害公共安全事件发生的概率已大大降低。通常，这些摄像机在事件发生后会提供线索和证据，而很少用于及时预防或制止犯罪活动。手动监视来自监视摄像机的大量视频数据既费时又费力。因此，自动识别视频信号中的危害公共安全事件变得至关重要。我们通过调研发现，现在对公共安全影响最恶劣且危害最大的就是暴力，禁烟场所抽烟以及火灾这三大事件。
针对目前传统监控系统功能单一、人力成本高、监控方式原始及响应方式被动滞后等特点，而且目前许多所谓的智能监控摄像头，通常只含有远程监控，录像回放、移动监测，双向语音通话等功能，还无法对视频画面的内容实现理解，和达到解放人力的目的。为此我们设计一套智能化监控系统，旨在用人工智能的算法代替人工进行实时监控，以求解决以上目前视频监控行业中痛点。
团队在前期进行了广泛的市场调研，走访了学校、商场等多家公共场所，并与其安保部门就自动化视频监控系统的具体需求进行了探讨。总结目前市场的监控功能需求最大的三个方面即：监测公共区域内是否有打架等暴力行为、监测公共区域内是否有火苗的出现、监测在严禁吸烟区域(如化工厂、加油站等)的抽烟行为。
发明内容
为了克服上述现有技术的不足，本发明的目的是提供一种基于计算机视觉的智能监控报警系统及方法，针对围绕暴力事件，抽烟，火灾这三大事件，可在现有已部署普通摄像头之上，通过对原始视频数据进行处理，并运用深度学习的方法对暴力，抽烟，火灾事件进行实时监测，具有高每秒传输帧数(fps)、低算力需求、高准确率、强鲁棒性、高稳定性的特性，并且具有良好的兼容性，能够集成到现有传统监控系统中。此外，当发生异常事件时，本系统会进行报警提醒并向向系统管理员发送报警短信或邮件，自动记录异常事件发生的时间，用户可以随时回看任意时间视频内容。
为了实现上述目的，本发明采用的技术方案是：
一种基于计算机视觉的智能监控报警系统，包括GSM短信模块、显示模块、图像采集模块、处理器、火灾烟雾识别模块，其特征在于，处理器数据联通吸烟行为识别模块、暴力行为识别模块及火灾烟雾识别模块，吸烟行为识别模块、暴力行为识别模块及火灾烟雾识别模块数据联通图像采集模块；处理器中的GSM短信模块信号联通手机终端；处理器还联通显示模块；
所述的GSM短信模块用于将智能监控报警系统与短信服务集成在一起，充分利用短信服务的及时能力，达到事故报警的实时性、快速性；
所述的显示模块用于通过将智能监控报警系统实时检测结果向系统管理员进行反馈；
所述的图像采集模块用于图像采集模块完成环境图像的采集与存储，并具有长时间视频存储能力，为事故发生后现场分析、证据保存、原因查找等提供服务；
所述的处理器作为智能监控报警系统的运算和控制核心，是信息处理、程序运行的最终执行单元，处理器为系统提供信息处理、程序运行控制服务；
所述的暴力行为识别模块为系统提供实时视频暴力监测服务；
所述的火灾烟雾识别模块为系统提供实时视频中火灾及烟雾监测服务；
所述的吸烟行为识别模块为系统提供实时视频中吸烟行为监测服务。
一种基于计算机视觉的智能监控报警方法，其特征在于，该包括如下步骤：
1)通过图像采集模块对环境图像的采集与存储；
2)采用暴力行为识别模块对帧图片信息进行预测，获得当前视频中暴力行为置信度；
3)采用火灾烟雾识别模块对帧图片信息进行预测，获得当前视频中火灾烟雾置信度；
4)采用吸烟行为识别模块对帧图片信息进行预测，获得当前视频中吸烟行为置信度；
5)通过显示模块将智能监控报警系统实时检测结果向系统管理员进行反馈；
6)当发生检测危险事件时，通过GSM短信模块用于将智能监控报警系统与短信服务集成在一起，向用户通过短信的方式进行报警提示。通过GSM短信模块充分利用短信服务的及时能力，达到事故报警的实时性、快速性。
进一步，所述的步骤2中包含：
2.1)采用上述的数据集对卷积网络模型进行训练，建立暴力行为预测模型，采用卷积网络提取每个原始帧中的特征信息，通过多个卷积层的数据处理，有效抓取到原始视频帧中的一系列关键特征；
2.2)在暴力行为预测过程中，首先提取原始视频中的光流图像，对原始视频帧进行处理，提取视频帧中的光流图像，本部分密集的光流可以看作是在成对的连续帧t和t+1之间的一组位移矢量场d_t；
2.3)对原始视频帧经过预处理之后，通过暴力行为识别模块中的空间信息网络和时间信息网络分别提取RGB帧中的空间特征信息和光流中的时序特征信息；
2.4)对RGB帧中的空间特征信息和光流中的时序特征信息进行有效融合；
2.5)根据上述所得的特征融合结果对上述输入的帧图片信息进行预测，获得当前视频中暴力行为置信度。
进一步，所述的步骤3中包含：
3.1)采用灰度化和图像平滑方法对于原始视频流进行预处理；
3.2)采用均值背景建模和提取运动区域的方法对视频帧中的烟雾和火焰图像进行图像分割处理，由HSV、RGB、HSI三颜色空间分割出来的烟雾区域分别进行二值化，对目标进行有效图像分割；
3.3)通过火灾烟雾识别模块提取烟雾火焰运动特征、纹理特征、模糊模型特征；
3.4)根据上述所得火灾烟雾识别模块对上述输入的帧图片信息预测，获得当前视频中火灾烟雾置信度。
进一步，所述的步骤4中包含：
4.1)使用数据集对卷积网络模型进行训练，建立吸烟行为识别模型；
4.2)关键帧图像的获取:主要是针对所采集的视频材料进行的处理，将所拍摄的视频流转化成静止连续的视频序列帧图像，根据吸烟行为的特点提取出包含最能表达吸烟行为特征的人手的一帧图像，即关键帧图像。在此理论基础上，提出了准确获取手势区域关键帧图像的方法；
4.3)手势目标的检测:即获取人手的区域图像，把运动的人手部分从视频图像序列中分割出来。包括背景模型的建立、前景运动目标的检测、手势图像的预处理以及形态学的后处理等过程。能否准确、有效的分割出运动的手部区域图像，将直接影响到后面手势特征提取和识别阶段的处理效果，是处理后续其他阶段的基础；
4.4)吸烟行为的手势特征提取:分析吸烟行为以及类似吸烟行为的手势特征，由分割得到的完整的手势图像中提取出能够表征吸烟这一行为的手势特征，并对其特征进行详细的剖析，是最终实现识别的核心问题，提取出来的特征决定了识别阶段所采用的方法和识别性能的高低，针对静态的手势识别其特征主要包括轮廓、边缘、形状等几何特征，本文在特征提取阶段，对吸烟行为的视频进行了深入全面的研究，根据手势的方位姿态及边缘分布等特点提取出了准确适用的特征向量；
4.5)分类识别:依据所提取的手势特征向量，选取合适的方法和适当的判别准则将吸烟和类似吸烟的手势进行分类识别并计算出识别率。
本发明的有益效果是：
1、为有效检测公共场所中出现的火灾、斗殴等异常事件，以及在禁烟场所的抽烟行为。本系统具有暴力行为识别、烟雾火焰识别以及抽烟动作识别三大功能。通过人工智能算法实时分析监控视频画面，并且输出出现上述异常行为的可能性。当检测到异常行为的可能性过高时，会自动播放告警语音，也可设置发送告警短信到指定联系人手机账号。真正实现了机器自主值守，人工主动响应的监控模式。大大提高了监控视频的效率，降低人力成本，并且做到了在马路，广场等户外公共场所，以及夜间、假期时间段无人值守的监控下的有效预警。
2、针对监控画面的人流密度大、环境噪声多、算力资源少、实时要求高、视频分辨率差异大等诸多特点，本系统的高效、稳定的视频处理算法，通过前期的视频帧采样处理，以及轻量级的特征提取算法，采用多数据流并行处理的方式提高计算速度。最后算法即保证了准确率同时又满足处理帧速度的要求，实现了对暴力行为检测、烟雾火焰以及抽烟行为的有效实时监测。
附图说明
图1为本发明系统图；
图2为暴力行为识别模型结构；
图3为光流信息示意图。其中(a)，(b)：一对连续的视频帧，活动手周围的区域用青色矩形勾勒出轮廓。(c)：轮廓区域中密集光流的特写；(d)：位移矢量场的水平分量d x(较高的强度对应于正值，较低的强度对应于负值)，(e)：垂直分量d y。请注意 (d)和(e)如何突出显示移动的手和弓；
图4为网络模型输入来自多帧光流的连续光流示意图，左：光流叠加(1)在多个帧中的相同位置采样位移矢量d，右：轨迹堆叠(2) 沿轨迹对向量进行采样。框架和相应的位移矢量以相同的颜色显示；
图5为火焰处理前后对比图；
图6为火灾烟雾识别模型处理流程；
图7为吸烟行为识别模型结构；
图8为烟雾轮廓示意图；
图9为抽烟行为检测处理流程。
具体实施方式
以下结合实施例对本发明进一步叙述。
如图1所示，一种基于计算机视觉的智能监控报警系统及方法，包括以下步骤：
1、通过图像采集模块对环境图像的采集与存储；
2、采用暴力行为识别模块对帧图片信息进行预测；
该过程包括，当发生暴力事件时，将图像采集模块采集到的视频输入暴力行为识别模块，暴力行为识别模块中的卷积网络通过效仿人体视觉过程，对视频信息理解，在处理视频图像中的环境空间信息的基础上，对视频帧序列中的时序信息进行理解。并且为了更好地对这些信息进行理解，卷积神经网络将异常行为分类任务分为两个不同的部分，分别为空间信息网络和时间信息网络。为了获得比较好的异常行为分类效果，我们选用卷积神经网络对获得的数据样本进行特征提取和分类，我们将得到的单帧彩色图像与单帧光流图像以及叠加后的光流图像作为网络输入，分别对图像进行分类后，再对不同模型得到的结果进行融合。卷积神经网络结构如图2所示，上述卷积神经网络分别提取原始帧中的空间特征信息和时间特征信息，通过多个卷积层的数据处理，可以有效抓取到原始视频帧中的一系列关键特征。
每个视频由多个连续的视频帧组成，单独的视频单帧作为表述空间信息的载体，其中包含环境、视频中的物体等空间信息。本文采用卷积神经网络提取每个原始帧中的空间特征信息，通过多个卷积层的数据处理，可以有效抓取到原始视频帧中的一系列关键空间特征。
光流信息作为时序信息的载体输入到第二个卷积神经网络中，用来理解动作的动态特征，称为时间信息网络。所谓光流信息是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息。有了对应的光流信息之后，对于某一帧，首先空间信息就是把原图(经过处理)输入到网络，然后空间信息就是从该帧开始接下来连续的L帧，每相邻两帧之间提取所有点的光流信息作为输入，光流信息示意图如图3所示，其中(a)，(b)：一对连续的视频帧，活动手周围的区域用青色矩形勾勒出轮廓。(c)：轮廓区域中密集光流的特写；(d)：位移矢量场的水平分量dx(较高的强度对应于正值，较低的强度对应于负值)；(e)：垂直分量dy。
网络模型输入：
光流堆叠：密集的光流可以看作是在成对的连续帧t和t+1之间的一组位移矢量场dt。通过dt(u,v),表示帧t中点(u，v)的位移矢量，将点移动到下一帧t+1中的对应点。矢量场的水平和垂直分量
Figure BDA0003569769840000091
和
Figure BDA0003569769840000092
可以看作是图像通道非常适合使用卷积网络。为了表示跨一系列帧的运动，将L个连续帧的流道
Figure BDA0003569769840000093
堆叠起来，形成总共2L个输入通道。更准确地说，令w和h为视频的宽度和高度；然后，针对任意帧τ构造一个网络模型的输入量Iτ∈RW×h×2L，如下所示：
Figure BDA0003569769840000094
Figure BDA0003569769840000095
对于任意点(u，v)，通道Iτ(u,v,c),c＝[1；2L]对L帧序列上该点的运动进行编码。
轨迹堆叠:在基于轨迹的描述符的启发下，另一种运动表示法将沿几个帧在同一位置采样的光流替换为沿运动轨迹采样的光流。在这种情况下，对应于帧τ的输入体积Iτ采用以下形式：
Figure BDA0003569769840000101
Figure BDA0003569769840000102
其中pk是沿轨迹的第k个点，它从帧τ中的位置(u，v)开始，并由以下递归关系定义：
p1＝(u，v)；pk＝pk-1+dτ+k-2(pk-1)，k＞1.
与输入体积相比，通道Iτ(u,v,c)在位置(u，v)上存储位移矢量，而输入体积(2)在通道沿pk的位置pk处采样的矢量轨迹，如图4右图所示：左：光流叠加(1)在多个帧中的相同位置采样位移矢量d。右：轨迹堆叠(2)沿轨迹对向量进行采样。框架和相应的位移矢量以相同的颜色显示；
通过对原始视频帧经过预处理之后，空间信息网络和时间信息网络分别提取RGB帧中的空间特征信息和光流中的时序特征信息，然后对两种特征进行有效融合，融合的目的是想要结合空间信息网络和时间信息网络的长处，以达到互补的目的；
3、采用火灾烟雾识别模块对帧图片信息进行预测；
如图6所示，该过程包括，当发生火灾烟雾事件时，将图像采集模块采集到的视频输入火灾烟雾识别模块，采用灰度化和图像平滑方法对于原始视频流进行预处理；采用均值背景建模和提取运动区域的方法对视频帧中的烟雾和火焰图像进行图像分割处理，由HSV、RGB、 HSI三颜色空间分割出来的烟雾区域分别进行二值化，对目标进行有效图像分割；通过火灾烟雾识别模块提取烟雾火焰运动特征、纹理特征、模糊模型特征；根据上述所得火灾烟雾识别模块对上述输入的帧图片信息预测，获得当前视频中火灾烟雾置信度；
具体的，利用摄像头对现场进行监视,对摄取的视频信号由图像采集卡捕捉为数字图像并输入计算机,根据图像特征进行处理和分析, 从而达到探测火灾的目的。数字图像处理部分的软件是火灾探测系统的核心,它对数字图像首先进行分割,然后利用图像特性对这些物体加以识别或分类检测出图像中的物体。图像分割处理是将图像中的目标与背景进行分离,以找出图像中需要进行处理的部分。在提取了图像中的目标之后,要对目标进行分析,以判断该目标是早期火灾现象还是其它的干扰现象,即为数字图像处理，如图5所示；
火焰的特征分析：
烟雾是火灾的前兆和伴随产物,在多数场合,烟雾的产生早于明火的出现,而且对于火灾发生源及火焰,烟雾图像可以更容易地进入摄像机的视场范围,因此进行烟雾的探测有利于实现火灾早期预报和控制。烟雾的主要特征是：颜色特征，模糊特征(半透明特征)，运动特征，轮廓特征，纹理特征。利用烟雾作为早期火灾探测对象时, 单纯以烟雾的某一特征为依据很难做到准确的判断,所以无论是研究还是在实际应用中都需要综合烟雾的多个特征来进行火灾识别,以剔除干扰源等各种因素的影响,提高火灾判断的准确率,减少误报或漏报。
目前火焰的图像特征主要分为颜色特征、边缘不规则特征、高度变化特征、尖角特征等静态特征和面积增长特征、相关性特征、边缘闪烁特征等动态特征两类。其中边缘变化是火焰图像的重要特征。
火焰面积增长特性算法：
火灾发生时，火焰会呈现无规则的运动，其面积也呈现相应的变化。一般情况下，面积会逐渐增大，图像上表现为高亮度区域持续增长，同时也反映了火焰在空间分布的变化。和其它稳定火焰相比，其火焰区域不断扩大，这一特征可以作为火灾判别的重要判据，在图像处理中，面积是通过阈值分割后分割出目标物体，再统计出目标物体的像素点来计算，通过设定面积增长率阈值来确定是否为失控火焰。
4、采用吸烟行为识别模块对帧图片信息进行预测；
如图9所示，该过程包括，当发生吸烟事件时，将图像采集模块采集到的视频输入吸烟行为识别模块，将所拍摄的视频流转化成静止连续的视频序列帧图像，根据吸烟行为的特点提取出包含最能表达吸烟行为特征的人手的一帧图像，即进行关键帧图像提取。获取人手的区域图像，把运动的人手部分从视频图像序列中分割出来。分析吸烟行为以及类似吸烟行为的手势特征，由分割得到的完整的手势图像中提取出能够表征吸烟这一行为的手势特征，并对其特征进行详细的剖析。依据所提取的手势特征向量，选取合适的方法和适当的判别准则将吸烟和类似吸烟的手势进行分类识别并计算出识别率。
具体的,烟雾形状特征:
由于外界因素烟雾在扩散过程中呈现出的无规则形状变化，烟雾分子也在不停的做无规则运动，而且边缘的轮廓始终是一种模糊不清的不规则状态。烟雾在扩散过程中形状呈不规则变化。当两个图形面积完全相等时，边缘轮廓不规则的图形明显比轮廓规则图形的周长长，可以利用烟雾边缘轮廓形状不规则的这一特征分析边缘轮廓与轮廓面积之间的关系。如图8所示：通过对目标区域的轮廓区域内的面积与边缘长度的关系，可以进行定量目标区域轮廓复杂度，即烟雾形状不规则性。烟雾轮廓复杂度：
Perimater＝a×Areab
烟雾扩散特征：
扩散是烟雾最显著的动态特征之一，在视频序列中，烟雾的扩散表现为烟雾轮廓的面积从无到有并在短时间内不断增大的过程。一般运动的运动物体不具有扩散性的干扰物，如移动的车辆、摇曳的树叶、行人、瀑布等，其共同的特点是运动过程中，面积变化速度相对较慢，不会持续增大。利用烟雾的扩散特征就可以排除大量运动干扰物体。目标提取区域内的面积增长率可表示为：
Figure BDA0003569769840000131
烟雾面积的平均增长率通常不会超过某一范围。因此，选取扩散度阈值D1和D2，判断目标平均扩散度是否在Dl～D2范围内。若均扩散度在阈值范围之内，则属于烟雾目标、否则，视为干扰区域。
烟雾颜色特征
多数烟雾的颜色为灰白色，当然，如果是可燃物体释放的烟雾，当燃烧扩大至较大明火时，物质不充分燃烧，会导致烟雾颜色由灰白色变为灰黑色。由于灰白色的烟雾的半透明性以及颜色干扰物较多，所以其检测难度比黑色烟雾大。对于灰白色烟雾，如果只采取单一的颜色模型进行分割，效果不理想，基于RGB、HSV、HSI混合颜色模型对烟雾区域进行分割，通过分析烟雾图像像素的亮度特征、颜色特征以及颜色饱和度特征，达到烟雾识别的目的。
①烟雾颜色RGB特征因为烟雾呈灰白色，所以在烟雾RGB空间上 RGB三值相差不大。因此，以RGB分量值的平均值范围和最大最小差值阈值作为判据之一。在RGB颜色空间中，烟雾满足：
MaxR,G,B-MinR,G,B≤M1M2≤Avg(R,G,B)≤M3
②烟雾颜色HSV特征由于烟雾厚薄不一，所以漫反射程度不同。反映在烟雾颜色HSV空间中表现为亮度V由内到外逐渐衰减的过程，又由于温度偏低时，多数烟雾的颜色为灰白色有时偏蓝，所以色调H 在近蓝色范围内变化。因此，HSV中以亮度V和烟雾色调H的阈值范围作为烟雾颜色判据之一。在烟雾颜色HSV空间中，烟雾应满足以下条件：
Hsmoke∈H1,H2,Hsmoke∈S1,S2,V∈V1,V2
重区域饱和度较高，边缘区域烟雾变薄其饱和度降低。烟雾由厚到薄，其颜色强度也是逐渐衰减的值，所以烟雾的饱和度在一个范围内变化。因此，HSI中以烟雾饱和度S和强度I的阈值范围作为烟雾颜色判据之一。在HSI颜色空间中，烟雾满足一下条件：
Ssmoke∈S1,S2,Ismoke∈[I1,I2]
最后，将由HSV、RGB、HSI三颜色空间分割出来的烟雾区域分别进行二值化，再将二值化的图像进行逻辑“与”运算，便可以从视频图像中把烟雾分割出来。
吸烟动作识别模型设计：
在本次实验中，采用手势识别方法进行吸烟检测，对于吸烟行为的手势识别中，在实际情况下，不能够依据理想状态获取每一个人吸烟过程中关键帧图像中手势区域的位置图像，即不能采集到无限大的图像训练样本。就本实验中，采集了20个不同的人在不同的环境背景中十次吸烟十次类似吸烟的视频，截取到所需要的手势区域图像共建立400幅样本图像。主要是对吸烟和类似吸烟行为中的手势进行分类，除了吸烟手势以外，喝水、吃东西、抓痒人体脸部区域和一切手部区域和脸部区域有接触的行为动作都被视为类似吸烟但类似吸烟行为，总体上讲这是一个二分类问题。吸烟检测网络结构如图7所示：
本方法通过判断某个人体的行为动作是否为吸烟行为，对其进行手势识别，最终确定这个人是否为吸烟者，确定手势区域图像像吸烟行为手势特征的提取以及分类识别。
如图9所示，识别过程如下：
关键帧图像的获取:主要是针对所采集的视频材料进行的处理，将所拍摄的视频流转化成静止连续的视频序列帧图像，根据吸烟行为的特点提取出包含最能表达吸烟行为特征的人手的一帧图像，即关键帧图像。在此理论基础上，提出了准确获取手势区域关键帧图像的方法。
(2)手势目标的检测:即获取人手的区域图像，把运动的人手部分从视频图像序列中分割出来。包括背景模型的建立、前景运动目标的检测、手势图像的预处理以及形态学的后处理等过程。能否准确、有效的分割出运动的手部区域图像，将直接影响到后面手势特征提取和识别阶段的处理效果，是处理后续其他阶段的基础。
(3)吸烟行为的手势特征提取:分析吸烟行为以及类似吸烟行为的手势特征，由分割得到的完整的手势图像中提取出能够表征吸烟这一行为的手势特征，并对其特征进行详细的剖析，是最终实现识别的核心问题，提取出来的特征决定了识别阶段所采用的方法和识别性能的高低。针对静态的手势识别其特征主要包括轮廓、边缘、形状等几何特征，本文在特征提取阶段，对吸烟行为的视频进行了深入全面的研究，根据手势的方位姿态及边缘分布等特点提取出了准确适用的特征向量。
(4)分类识别:依据所提取的手势特征向量，选取合适的方法和适当的判别准则将吸烟和类似吸烟的手势进行分类识别并计算出识别率。
5、如发现异常，将通过处理器将报警信息发送给GSM短信模块，再由GSM短信模块将信息传递给手机。
系统测试与误差分析实施例：
(1)暴力行为监测功能测试：
RWF-2000数据集介绍：RWF-2000数据集为采集自监控摄像头的视频片段，包含2000个动作片段，每个片持续时长为5秒，并且每个视频片段的分辨率大小不固定(240P、320P、720P、1080P),旨在真实模拟现实世界中监控画面视角、清晰度多变的情况。数据集中暴力视频与非暴力视频各占50％的比例，并且其中80％作为训练集，剩余20％作为测试集。
实验效果介绍：
暴力行为识别结果
Method Accuracy(％) Params(M) FPS
Our’s 92.25 0.27 90
(2)烟雾火焰监测功能测试：
VisiFire数据集介绍：总共使用15301张图像，其中在11000 张训练图像中有7000张含有火焰的图像，4000张不含火焰的图像，在4301张测试图像中有2074张含有火焰的图像和2227张不含火焰的图像。数据集中的火焰包含了不同场景、不同类型的火焰，训练和测试集的图像均从数据集中随机抽取。
实验效果介绍：
烟雾火焰检测实验结果
Method Accuracy(％) Params(M) FPS
Our’s 96.4 1.2 115
(3)抽烟动作识别功能测试：
Smoking-detection数据集介绍：该实验数据集由帧率25fps、分辨率为640x480、30万像素的监控摄像头所摄包含吸烟动作视频 1500个，非吸烟动作(如喝水、走动)视频2500个。为确保监测算法的适用性，视频的背景及人物多样。
实验效果介绍：
抽烟动作检测实验结果
Method Accuracy(％) Params(M) FPS
Our’s 91.67 2.5 80
综上，本方法对于暴力行为监测、烟雾火苗监测以及抽烟动作监测三大功能的识别准确率达到90％，并且每秒传输帧数(fps)最高可达100左右，达到了工业化部署的要求。

Claims (5)

1.一种基于计算机视觉的智能监控报警系统，包括GSM短信模块、显示模块、图像采集模块、处理器、火灾烟雾识别模块，其特征在于，处理器数据联通吸烟行为识别模块、暴力行为识别模块及火灾烟雾识别模块，吸烟行为识别模块、暴力行为识别模块及火灾烟雾识别模块数据联通图像采集模块；处理器中的GSM短信模块信号联通手机终端；处理器还联通显示模块；
所述的GSM短信模块用于将智能监控报警系统与短信服务集成在一起；
所述的显示模块用于通过将智能监控报警系统实时检测结果向系统管理员进行反馈；
所述的图像采集模块用于图像采集模块完成环境图像的采集与存储，并具有长时间视频存储能力，为事故发生后现场分析、证据保存、原因查找提供服务；
所述的处理器为系统提供信息处理、程序运行控制服务；
所述的暴力行为识别模块为系统提供实时视频暴力监测服务；
所述的火灾烟雾识别模块为系统提供实时视频中火灾及烟雾监测服务；
所述的吸烟行为识别模块为系统提供实时视频中吸烟行为监测服务。
2.一种基于计算机视觉的智能监控报警方法，其特征在于，该包括如下步骤：
1)通过图像采集模块对环境图像的采集与存储；
2)采用暴力行为识别模块对帧图片信息进行预测，获得当前视频中暴力行为置信度；
3)采用火灾烟雾识别模块对帧图片信息进行预测，获得当前视频中火灾烟雾置信度；
4)采用吸烟行为识别模块对帧图片信息进行预测，获得当前视频中吸烟行为置信度；
5、通过显示模块将智能监控报警系统实时检测结果向系统管理员进行反馈；
6)当发生检测危险事件时，通过GSM短信模块用于将智能监控报警系统与短信服务集成在一起，向用户通过短信的方式进行报警提示，通过GSM短信模块充分利用短信服务的及时能力，达到事故报警的实时性、快速性。
3.根据权利要求1所述的一种基于计算机视觉的智能监控报警方法，其特征在于，所述的步骤2中包含：
2.1)采用数据集对卷积网络模型进行训练，建立暴力行为预测模型，采用卷积网络提取每个原始帧中的特征信息，通过多个卷积层的数据处理，有效抓取到原始视频帧中的一系列关键特征；
2.2)在暴力行为预测过程中，首先提取原始视频中的光流图像，对原始视频帧进行处理，提取视频帧中的光流图像，本部分密集的光流可以看作是在成对的连续帧t和t+1之间的一组位移矢量场d_t；
2.3)对原始视频帧经过预处理之后，通过暴力行为识别模块中的空间信息网络和时间信息网络分别提取RGB帧中的空间特征信息和光流中的时序特征信息；
2.4)对RGB帧中的空间特征信息和光流中的时序特征信息进行有效融合；
2.5)根据上述所得的特征融合结果对上述输入的帧图片信息进行预测，获得当前视频中暴力行为置信度。
4.根据权利要求1所述的一种基于计算机视觉的智能监控报警方法，其特征在于，所述的步骤3中包含：
3.1)采用灰度化和图像平滑方法对于原始视频流进行预处理；
3.2)采用均值背景建模和提取运动区域的方法对视频帧中的烟雾和火焰图像进行图像分割处理，由HSV、RGB、HSI三颜色空间分割出来的烟雾区域分别进行二值化，对目标进行有效图像分割；
3.3)通过火灾烟雾识别模块提取烟雾火焰运动特征、纹理特征、模糊模型特征；
3.4)根据上述所得火灾烟雾识别模块对上述输入的帧图片信息预测，获得当前视频中火灾烟雾置信度。
5.根据权利要求1所述的一种基于计算机视觉的智能监控报警方法，其特征在于，所述的步骤4中包含：
4.1)使用数据集对卷积网络模型进行训练，建立吸烟行为识别模型；
4.2)关键帧图像的获取:对所采集的视频材料进行的处理，将所拍摄的视频流转化成静止连续的视频序列帧图像，根据吸烟行为的特点提取出包含最能表达吸烟行为特征的人手的一帧图像，即关键帧图像，即获取人手的区域图像；
4.3)手势目标的检测:把运动的人手部分从视频图像序列中分割出来，包括背景模型的建立、前景运动目标的检测、手势图像的预处理以及形态学的后处理过程，能否准确、有效的分割出运动的手部区域图像，将直接影响到后面手势特征提取和识别阶段的处理效果，是处理后续其他阶段的基础；
4.4)吸烟行为的手势特征提取:分析吸烟行为以及类似吸烟行为的手势特征，由分割得到的完整的手势图像中提取出能够表征吸烟这一行为的手势特征，并对其特征进行详细的剖析，针对静态的手势识别其特征主要包括轮廓、边缘、形状等几何特征，本文在特征提取阶段，对吸烟行为的视频进行了深入全面的研究，根据手势的方位姿态及边缘分布等特点提取出了准确适用的特征向量；
4.5)分类识别:依据所提取的手势特征向量，选取合适的方法和适当的判别准则将吸烟和类似吸烟的手势进行分类识别并计算出识别率。
CN202210318910.9A 2022-03-29 2022-03-29 一种基于计算机视觉的智能监控报警系统及方法 Pending CN114885119A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210318910.9A CN114885119A (zh) 2022-03-29 2022-03-29 一种基于计算机视觉的智能监控报警系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210318910.9A CN114885119A (zh) 2022-03-29 2022-03-29 一种基于计算机视觉的智能监控报警系统及方法

Publications (1)

Publication Number Publication Date
CN114885119A true CN114885119A (zh) 2022-08-09

Family

ID=82670275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210318910.9A Pending CN114885119A (zh) 2022-03-29 2022-03-29 一种基于计算机视觉的智能监控报警系统及方法

Country Status (1)

Country Link
CN (1) CN114885119A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168348A (zh) * 2023-04-21 2023-05-26 成都睿瞳科技有限责任公司 基于图像处理的安全监控方法、系统及存储介质
CN116546023A (zh) * 2023-07-06 2023-08-04 北京宝隆泓瑞科技有限公司 一种油气作业区暴力行为识别方法及系统
CN117671608A (zh) * 2024-02-02 2024-03-08 江苏林洋亿纬储能科技有限公司 启动电池储能系统消防作业的方法和系统及计算设备
CN117671608B (zh) * 2024-02-02 2024-04-26 江苏林洋亿纬储能科技有限公司 启动电池储能系统消防作业的方法和系统及计算设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203482326U (zh) * 2013-08-27 2014-03-12 东南大学 智能视频监控报警装置
CN109377703A (zh) * 2018-12-06 2019-02-22 河池学院 一种基于机器视觉的森林防火预警系统及其方法
CN109637068A (zh) * 2018-11-23 2019-04-16 山东智洋电气股份有限公司 智能烟火识别系统
CN111126153A (zh) * 2019-11-25 2020-05-08 北京锐安科技有限公司 基于深度学习的安全监测方法、系统、服务器及存储介质
CN113095138A (zh) * 2021-03-10 2021-07-09 深兰人工智能芯片研究院（江苏）有限公司 异常行为识别方法及相关装置
WO2021208735A1 (zh) * 2020-11-17 2021-10-21 平安科技（深圳）有限公司 行为检测方法、装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203482326U (zh) * 2013-08-27 2014-03-12 东南大学 智能视频监控报警装置
CN109637068A (zh) * 2018-11-23 2019-04-16 山东智洋电气股份有限公司 智能烟火识别系统
CN109377703A (zh) * 2018-12-06 2019-02-22 河池学院 一种基于机器视觉的森林防火预警系统及其方法
CN111126153A (zh) * 2019-11-25 2020-05-08 北京锐安科技有限公司 基于深度学习的安全监测方法、系统、服务器及存储介质
WO2021208735A1 (zh) * 2020-11-17 2021-10-21 平安科技（深圳）有限公司 行为检测方法、装置及计算机可读存储介质
CN113095138A (zh) * 2021-03-10 2021-07-09 深兰人工智能芯片研究院（江苏）有限公司 异常行为识别方法及相关装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168348A (zh) * 2023-04-21 2023-05-26 成都睿瞳科技有限责任公司 基于图像处理的安全监控方法、系统及存储介质
CN116168348B (zh) * 2023-04-21 2024-01-30 成都睿瞳科技有限责任公司 基于图像处理的安全监控方法、系统及存储介质
CN116546023A (zh) * 2023-07-06 2023-08-04 北京宝隆泓瑞科技有限公司 一种油气作业区暴力行为识别方法及系统
CN116546023B (zh) * 2023-07-06 2023-09-29 北京宝隆泓瑞科技有限公司 一种油气作业区暴力行为识别方法及系统
CN117671608A (zh) * 2024-02-02 2024-03-08 江苏林洋亿纬储能科技有限公司 启动电池储能系统消防作业的方法和系统及计算设备
CN117671608B (zh) * 2024-02-02 2024-04-26 江苏林洋亿纬储能科技有限公司 启动电池储能系统消防作业的方法和系统及计算设备

Similar Documents

Publication Publication Date Title
US10395385B2 (en) Using object re-identification in video surveillance
Çetin et al. Video fire detection–review
CN110135269B (zh) 一种基于混合颜色模型与神经网络的火灾图像检测方法
US9652863B2 (en) Multi-mode video event indexing
Liao et al. A localized approach to abandoned luggage detection with foreground-mask sampling
CN104303193B (zh) 基于聚类的目标分类
KR101953342B1 (ko) 멀티 센서 화재감지 방법 및 시스템
CN109815863B (zh) 基于深度学习和图像识别的烟火检测方法和系统
CN114885119A (zh) 一种基于计算机视觉的智能监控报警系统及方法
WO2019114145A1 (zh) 监控视频中人数检测方法及装置
Huerta et al. Chromatic shadow detection and tracking for moving foreground segmentation
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
Kongurgsa et al. Real-time intrusion—detecting and alert system by image processing techniques
CN106815567B (zh) 一种基于视频的火焰检测方法及装置
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
Fujiyoshi et al. Layered detection for multiple overlapping objects
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
KR101552564B1 (ko) 가스센서 및 ｉｐ네트워크 카메라 기반 융합 보안 시스템
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
Lai et al. Robust little flame detection on real-time video surveillance system
Odetallah et al. Human visual system-based smoking event detection
CN110572618B (zh) 一种非法拍照行为监控方法、装置及系统
CN107590418A (zh) 一种基于动态特征的视频烟雾识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220809

RJ01 Rejection of invention patent application after publication