CN102811343B - 一种基于行为识别的智能视频监控系统 - Google Patents

Abstract

本发明公开了一种基于行为识别的智能视频监控系统，该系统是一种可以自动侦测威胁的智能视频监控系统，可对场景目标进行探测、跟踪、分类和对象分析；该系统由五部分组成：视频采集模块、视频处理模块、基于贝叶斯分类算法的行为识别模块、上位机管理平台和报警模块。本发明采用了图像处理技术，提升了图像质量；采用了基于阈值分割的方法分离运动目标，加入了背景环境选择功能；采用了基于贝叶斯分类方法的行为识别法则进行行为识别和异常检测，方法简单、分类准确率高、速度快；采用上位机操作系统控制视频监控系统。操作方便，便于扩展。

Description

一种基于行为识别的智能视频监控系统

技术领域

本发明涉及智能监控及行为识别系统技术领域，特别是一种可以自动侦测威胁的智能视频监控系统，该系统可对场景进行探测、跟踪、分类和对象分析。

背景技术

智能视频监控系统一般具有两种工作模式：

实时监控模式，旨在快速检测目标以预防突发事件。

后台模式，旨在后期处理和分析，即事故发生后进行现场搜索和图像记录。

第一种模式主要用于检测可疑事件，例如突然出现的物品、可疑的人类行为、偷窃、人群骚乱、非法停车等。第二种模式大多是商业化智能应用，如在超市、商场检测顾客的行为以及员工的工作效率。

现有的智能视频监控系统在行为识别和异常检测这个难点上做的并不好。这主要是由于以下几个原因导致的：

1.        采集的视频数据是否为异常分布通常是未知的，在没有实验参考数据时是很难预测它们的。即使存在实验参考数据，检测异常还是充满各种各样的不确定性，这是由于描述视频数据是否为异常分布通常是依靠图像特征选取和距离度量标准的使用来判断的。

2.        至今尚未有一个单一数学函数来描述正常行为和异常行为，通常是用许多组合函数来描述。此外背景环境对最终结果的影响也是巨大的。

3.        行为识别和异常检测的一个重要难点是缺少实验参考数据。

4.        对于行为识别和异常检测系统，保证实时性也是一个难点。

经对现有技术的检索发现，中国专利申请号：200710105933.7，专利名称：基于智能视频监控的多层次实时预警系统，该申请方案提供了一种智能视频监控的多层次预警系统，系统包括五个模块组成：视频采集模块、视频处理单元、基于规则的行为识别模块、网络管理平台和报警模块。其连接关系为：视频采集模块、视频处理单元、基于规则的行为识别模块、网络管理平台和报警模块物理上依次相连。系统的整体功能是：通过网络管理平台管理其余四个模块，形成多层次得智能监控系统，视频单元自适应地检测待检测区域的目标轨迹，然后由基于行为的识别模块识别出异常行为，再由报警系统进行报警。该技术主要是针对摄像机的视频信号进行分析处理，提出了行为识别模块，却没有详细说明行为识别的分类方法，只是简单叙述由用户定义。由于分类方法相对比较复杂，普通用户根本不可能自己设计相关的定义规则，所以本质上还是没有达到行为识别和异常检测的功能。

发明内容

本发明的目的在于提供一种基于行为识别的智能视频监控系统。该系统能够很好的判断视频数据是否为异常分布，通过运用一种贝叶斯分类算法，来判断正常行为和异常行为，并能够很好的保证实时性。

实现本发明目的的技术解决方案为：基于行为识别的智能视频监控系统，包括视频采集模块、视频预处理模块、基于贝叶斯分类算法的行为识别模块、上位机管理平台模块和报警模块；其中：

视频采集模块与视频预处理模块相连用以获取视频信号，通过视频编码器将获取的模拟视频信号转换为数字视频序列，并将视频信号传输至视频预处理模块；

视频预处理模块与基于贝叶斯分类算法的行为识别模块相连，视频预处理模块主要将数字视频序列储存至存储器，方便图像处理计算，再通过背景环境模式匹配选择合适的背景环境，运用运动目标分割算法分离出运动目标，并进行目标轨迹模拟，最后将多个传感器的信息进行融合，并将融合后的目标轨迹数据传输至基于贝叶斯分类算法的行为识别模块；

基于贝叶斯分类算法的行为识别模块与上位机管理平台相连，用于运动目标的行为识别和异常检测，对提取的特征图像进行感兴趣区域分析，找到整个视频图像的感兴趣区域，再通过建立概率密度分布函数将异常检测问题简化为似然比检测，最后通过贝叶斯分类算法对行为进行分类；一旦发现异常行为，便可通过串口向上位机管理平台发送报警信号；

上位机管理平台与基于贝叶斯分类算法的行为识别模块相连，用于接收基于贝叶斯分类算法的行为识别模块分类后的视频信号和报警信号，存储视频数据和控制报警模块报警；

报警模块与上位机管理平台相连，可以接收上位机管理平台的信号来实时报警，也可以直接由观测人员进行报警。

本发明与现有技术相比，其显著优点：（1）采用了图像配准、图像融合技术，提升了图像质量；加入了背景环境选择功能。（2）采用了基于贝叶斯分类方法的行为识别法则进行行为识别和异常检测。贝叶斯分类算法是统计学分类方法，它是一类利用概率统计知识进行分类的算法。该算法能运用到大型数据库中，且方法简单、分类准确率高、速度快。（3）采用上位机操作系统控制视频监控系统。操作方便，便于扩展。

附图说明

图1是本发明基于行为识别的智能视频监控系统的原理图。

图2是本发明的视频采集模块原理图。

图3是本发明的视频预处理模块原理图。

图4是基于贝叶斯分类方法的行为识别模块的原理图。

具体实施方式

所谓视频中的异常行为是指在不寻常的地点或时间内出现了不寻常的物品或运动。一个成功的检测和识别异常行为的方法首先需要精确的描述这个行为，之后建立相应的数学模型，最后通过计算视频序列中提取特征的概率分布来判断是否存在异常行为。如果存在异常行为，则发送警报信息。

下面对本发明进行详细说明

基于行为识别的智能视频监控系统由五部分组成：视频采集模块、视频预处理模块、基于贝叶斯分类方法的行为识别模块、上位机管理平台和报警模块。

所述视频采集模块主要用于获取数字视频序列，再经由视频编码器转换为数字视频序列，对于一个600到1000平米的商场或超市可以安装16个高分辨率摄像头，帧频为25帧/秒，分辨率为1920×1080。

所述视频处理模块采用了环境模式选择、运动分割和多传感器融合的技术。通过DSP处理电路，不仅可以对捕获的数字视频进行图像配准、融合以及拼接等操作，同时也可以通过基于阈值分割的方法分离出运动目标。为了保证在不同场景下的行为识别和异常检测的正确率，必须对背景环境进行选择。例如，对于商场和超市，可以将摄像机在无人时拍摄到的场景信息作为其背景环境，这样可以提高行为识别和异常检测的准确率。

所述基于贝叶斯分类方法的行为识别模块包括图像特征提取模块、感兴趣区域分析模块、行为识别和异常检测模块。该模块使用基于贝叶斯分类方法的行为识别法则，分类方法步骤如下：

提取图像特征：将所得图像特征在当前环境模式下进行事件和行为的联系。

进行感兴趣区域分析：利用视频自主分析技术对摄像机采集的视频图像进行感兴趣区域分析。

建立数学模型：从视频序列中提取特征l，问题就可以简化为推断l是否为正常的图像特征。如果l依照g₀（l）分布，则l为正常的图像特征，如果l依照g₁（l）分布，则l为异常的图像特征（其中g₀（l）、g₁（l）为l的概率密度函数）。因此，检测问题可以用如下公式表述：

H₀：l～g₀(l)与H₁：l～g₁(l)二者选一                       （1）

如果两个概率分布都已经知道，或都可以从实验参考数据中总结得到，则行为识别和异常检测问题可以简化为似然比检测。

最后运用贝叶斯分类算法解决上述问题，贝叶斯分类算法是统计学分类方法，它是一类利用概率统计知识进行分类的算法。该算法能运用到大型数据库中，且方法简单、分类准确率高、速度快。

贝叶斯分类算法步骤为：将每个数据样本用一个n维特征向量来描述n个用户自定义的行为属性值，即：X={x₁，x₂，…，x_n}，假定有m个类，分别用C₁， C₂，…，C_m表示。给定一个未知的数据样本X，若贝叶斯分类法将未知的样本X分配给类C_i，则根据贝叶斯定理，有P(Ci|X)>P(Cj|X) 1≤j≤m，j≠i，由于P(X)对于所有类为常数，最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci)。假设各属性的取值互相独立，这样先验概率P(x1|Ci)，P(x2|Ci)，…，P(xn|Ci)可以从训练数据集求得。

根据此方法，在监控系统中，首先将提取的视频特征定义为一个未知是否有异常行为的样本X，其中x₁，x₂，…，x_n为用户自定义的行为属性，例如：是否遮住脸部、是否用自己的口袋装东西、是否将东西放入衣服；

其次，分别计算出X属于正常分布C1的概率P(X|C1)P(C1)和异常分布C2的概率P(X|C2)P(C2)；

第三，选择其中概率较大的分布作为其类别，如果是P(X|C2)P(C2)概率较大，则可判定为出现异常行为，向上位机管理平台发送报警信号。

所述的上位机管理平台包括电脑终端、硬盘录像机、传输线路。其中：电脑终端与行为识别模块相连，用于管理智能分析终端，安检人员可以通过计算机上的操作程序进行人机交互，硬盘录像机与电脑终端相连，用于储存视频信号。

所述的报警模块与电脑终端相连，可以直接获取行为识别模块产生的报警信号进行报警，也可以由操作人员手动发送危险信号，报警模块接收信号后自动报警。

以下结合附图对本发明的系统进一步描述：

如图1所示。整个系统可分为视频采集模块、视频预处理模块、基于贝叶斯分类方法的行为识别模块、上位机管理平台和报警模块。

所述视频采集模块用于获取数字视频数据，根据用途的不同，前端可采用CCD摄像机、红外热像仪、微光电视等不同功能的视频采集器件，视频解码器可以采用tvp5150芯片，也可采用其它A/D转换芯片。

所述视频处理模块如图2所示，包含存储模块、背景环境模式选择模块、运动分割模块和多传感器融合模块。将采集到的数字视频序列储存至存储器，方便图像处理计算，之后与所选择的背景环境进行匹配，通过基于阈值的分割方法对视频信号进行运动分割，提取其整体特征，从而对物体进行分类和追踪，模拟目标轨迹，最后将多个传感器的信息进行融合，并将融合后的目标轨迹数据传输至基于贝叶斯分类算法的行为识别模块。

所述基于贝叶斯分类方法的行为识别模块如图3所示，包括：图像特征提取模块、感兴趣区域分析模块、行为识别和异常检测模块。处理器对提取的特征图像进行感兴趣区域分析，找到整个视频图像的感兴趣区域，再通过建立概率密度分布函数将异常检测问题简化为似然比检测，最后通过贝叶斯分类算法对行为进行分类。一旦发现异常行为，便可通过串口向上位机管理平台发送报警信号

在特定区域和位置安装摄像机，以保证探测区域没有视觉死角。

通过上位机管理平台启动系统并使之运行。

摄像机采集模拟视频信号至视频处理模块。

在视频处理模块内完成视频编码、环境模式选择、运动分割、目标追踪、轨迹模拟和数据存储的操作。

得到运动目标轨迹后，经由多传感器融合，将各个摄像机拍摄到得运动目标轨迹进行汇总，并传输至行为识别和异常检测模块，通过基于贝叶斯分类方法的行为识别法则进行目标的分类。

常用的分类标准有：

1.    一个目标进入商场后把脸完全遮住，可能需要报警。

2.    一个目标在超市使用自己的口袋装商品，需要报警。

3.    一个目标把商品装进口袋或衣服，需要报警。

一旦识别出偷窃、徘徊等异常行为，行为识别和异常检测模块向报警模块发送一个危险信息，报警模块自动报警。

如果操作人员在上位机操作平台的显示屏中发现异常行为，也可手动发送危险信号，报警模块接收信号后自动报警。

本发明通过设计一种基于行为识别的智能视频监控系统，该系统能够很好的判断视频数据中的运动目标是否为异常分布，通过提出一种发展的贝叶斯分类方法，来判断正常行为和异常行为，并能够很好的保证实时性。该系统各部分都是模块化设计，根据特定的需求，可适当添加和山区一些功能模块。该系统的出现很好的弥补了现有的智能监控系统在行为识别和异常检测时正确率低，速度慢，实时性差的缺陷，具有良好的视场前景。

以上公开的仅为本发明的一个具体实施方式，但是本发明并非局限于此，本领域的技术人员在不脱离本发明所保护的范围和精神下，可根据不同的实际需要做出各种具体的变化，仍属于本发明的保护范围。

Claims (6)

1.一种基于行为识别的智能视频监控系统，其特征在于：包括视频采集模块、视频预处理模块、基于贝叶斯分类算法的行为识别模块、上位机管理平台模块和报警模块；其中：

视频采集模块与视频预处理模块相连用以获取视频信号，通过视频解码器将获取的模拟视频信号转换为数字视频序列，并将视频信号传输至视频预处理模块；

视频预处理模块与基于贝叶斯分类算法的行为识别模块相连，视频预处理模块主要将数字视频序列储存至存储器，方便图像处理计算，再通过背景环境模式匹配选择合适的背景环境，运用运动目标分割算法分离出运动目标，并进行目标轨迹模拟，最后将多个传感器的信息进行融合，并将融合后的目标轨迹数据传输至基于贝叶斯分类算法的行为识别模块；

基于贝叶斯分类算法的行为识别模块与上位机管理平台相连，用于运动目标的行为识别和异常检测，对提取的特征图像进行感兴趣区域分析，找到整个视频图像的感兴趣区域，再通过建立概率密度分布函数将异常检测问题简化为似然比检测，最后通过贝叶斯分类算法对行为进行分类；一旦发现异常行为，便通过串口向上位机管理平台发送报警信号；

所述贝叶斯分类算法步骤为：将每个数据样本用一个n维特征向量来描述n个用户自定义的行为属性值，即：X={x₁，x₂，…，x_n}，假定有m个类，分别用C₁，C₂，…，C_m表示；给定一个未知的数据样本X，若贝叶斯分类法将未知的样本X分配给类C_i，则根据贝叶斯定理，有P(Ci|X)>P(Cj|X) 1≤j≤m，j≠i，由于P(X)对于所有类为常数，最大化后验概率P(Ci|X)转化为最大化先验概率P(X|Ci)P(Ci)；假设各属性的取值互相独立，这样先验概率P(x1|Ci)，P(x2|Ci)，…，P(xn|Ci)从训练数据集求得；

在监控系统中，首先将提取的视频特征定义为一个未知是否有异常行为的样本X，其中x₁，x₂，…，x_n为用户自定义的行为属性；

其次，分别计算出X属于正常分布C1的概率P(X|C1)P(C1)和异常分布C2的概率P(X|C2)P(C2)；

第三，选择其中概率较大的分布作为其类别，如果是P(X|C2)P(C2)概率较大，则判定为出现异常行为，向上位机管理平台发送报警信号；

上位机管理平台与基于贝叶斯分类算法的行为识别模块相连，用于接收基于贝叶斯分类算法的行为识别模块分类后的视频信号和报警信号，存储视频数据和控制报警模块报警；

报警模块与上位机管理平台相连，可以接收上位机管理平台的信号来实时报警，也可以直接由观测人员进行报警。

2.根据权利要求1所述的基于行为识别的智能视频监控系统，其特征在于：所述视频采集模块包括多个前端摄像机、传输线路和视频解码器；其中：前端摄像机通过传输线路与视频解码器相连，用于采集视频信号，视频解码器与视频预处理模块相连，用于将获取的模拟视频信号转换为数字视频序列并将其传输到视频预处理模块。

3.根据权利要求1所述的基于行为识别的智能视频监控系统，其特征在于：所述视频预处理模块包括存储器、背景环境模式选择模块、运动目标分割模块和多传感器融合模块；其中：存储器与视频采集模块相连，用于储存待处理的数字视频序列，背景环境模式选择模块与运动分割模块相连，用于与得到的数字视频序列匹配的背景模式，运动分割模块与多传感器融合模块相连，主要用于对视频信号进行运动分割，提取其整体特征，从而对物体进行分类和追踪，模拟目标轨迹，多传感器融合模块与基于贝叶斯分类算法的行为识别模块相连，用于将不同传感器采集并经过处理后的视频信号进行融合。

4.根据权利要求1所述的基于行为识别的智能视频监控系统，其特征在于：所述基于贝叶斯分类算法的行为识别模块包括图像特征提取模块、感兴趣区域分析模块和行为识别和异常检测模块；其中：图像特征提取模块与感兴趣区域分析模块相连，提取图像特征主要用于将所得图像特征在当前环境模式下进行事件和行为的联系，感兴趣区域分析模块与行为识别和异常检测模块相连，感兴趣区域分析是利用视频自主分析技术对摄像机采集的视频图像进行感兴趣区域分析，并建立图像特征概率密度函数将行为识别和异常检测问题简化为似然比检测，最后运用贝叶斯分类算法解决似然比检测问题。

5.根据权利要求1所述的基于行为识别的智能视频监控系统，其特征在于：所述上位机管理平台包括电脑终端、硬盘录像机和传输线路；其中：电脑终端与行为识别模块相连，用于管理智能分析终端，安检人员通过计算机上的操作程序进行人机交互，硬盘录像机与电脑终端相连，用于储存视频信号。

6.根据权利要求1所述的基于行为识别的智能视频监控系统，其特征在于：所述报警模块与上位机管理平台相连，可以直接获取行为识别模块产生的报警信号进行报警，也可以由操作人员手动发送危险信号，报警模块接收信号后自动报警。