CN102547244A - 视频监控方法及系统 - Google Patents

Abstract

本发明公开了视频监控方法及系统，所述方法包括：S100：采集当前需要分析的视频流；S200：检测视频流中是否存在运动目标，若存在运动目标，进行背景建模、形态学处理以及去除阴影；若不存在，则循环检测；S300：利用粒子滤波或卡尔曼滤波跟踪方法对运动目标进行跟踪；S400：分析运动目标的形状信息和运动特性，利用分散度和面积信息分析异常情况，将运动目标分类，完成异常行为识别处理分析；S500：当视频流中存在异常情况时，发动紧急报警。通过该方法，能够智能分析运动目标，对于同一视频流的多次底层运算仅仅进行一次，降低监控中异常行为的漏报、误报率，此外该方法还能与安防联动，从而使监控人员能够即时做出回应。

Description

视频监控方法及系统

技术领域

本发明涉及智能视频监控系统技术领域，尤其涉及一种通过中间件技术管理监控场景视频流以完成高效智能监控的视频监控方法及系统。

背景技术

随着监控系统的普及化及庞大化，特别是最近几年关于智能视频监控系统的应用也得到了广泛的发展。现今视频分析技术、多媒体数据库、人工智能技术的发展，智能化视频监控逐步走进了安防应用市场，智能化技术能够及时、自动地从原始视频信息中提取大量有用信息，用来完成视频的传输保存和检索，也可以驱动其他数据、触发其他行为，轻而易举地完成人力很难完成的任务。智能化监控是监控技术发展的重要方向之一，也是建立大规模监控网络系统的必要核心技术。智能化技术可以解决目前监控中存在的很多问题，计算机和图像技术的结合使得图像自动检测、视频分析成为可能。同时智能化技术可以大大提高监控效率，可以从复杂的数据中辨认行为和类型，可提供操作命令、数据和信息。实现报警、提醒关注、智能检索等功能。更重要的是智能化技术通过智能视频分析现场或记录的视频流，从而检测出可疑的活动、事件或者行为模式，可以使视频监控系统从事后搜寻犯罪嫌疑人的手段，转换为一种阻止犯罪发生的辅助手段。

但是，目前智能视频监控系统本质上是采用不同的算法对来自监控场景的视频流进行处理识别出：跨越警戒线、进入警戒区域、逆行、偷窃、滞留、徘徊、速度异常以及密度异常等事件，而对于来自同一场景需要识别多个类型的异常事件时，对于许多视频信息进行了重复的处理，增加了计算量，往往是一个高性能的计算机仅仅能处理很少几路视频流信号，特别是需要对一路视频信号进行多种异常事件分析时，一路视频信号就需要一台高性能的计算机，这些对于大型的智能视频监控系统的应用都造成了很大的阻力。

发明内容

本发明主要解决的技术问题是提供一种视频监控方法，该方法能够智能分析视频流，对异常事件的识别和处理进行统一管理，保证相同的过程仅处理一次，减小系统的冗余。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种视频监控方法，包括以下步骤：

S100：采集当前需要分析的视频流；

S200：检测视频流中是否存在运动目标，若存在运动目标，进行自适应的背景建模，初步获得前景，对前景进行形态学处理，填充目标区域并减少图像中小的碎片区域，利用HSV空间阴影检测方法将目标的阴影去掉获得最终的目标区域；若不存在，则循环检测；

S300：利用粒子滤波或卡尔曼滤波两种跟踪方法对运动目标进行跟踪；

S400：分析所跟踪的运动目标的形状信息和运动特性，利用分散度和面积信息分析异常情况，将运动目标分类，完成异常行为识别处理分析；

S500：根据异常行为识别处理分析数据，当视频流中存在异常情况时，发动紧急报警。

步骤S300中在对运动目标进行跟踪时，判断是否发生阻挡并根据结果选择对运动目标跟踪的方法，具体为：判断视频流第K帧中是否存在一个前景区域与视频流第K-1帧中的一个以上的运动目标的预测位置存在交叉，若存在交叉，则判断存在阻挡，采用基于颜色特征的粒子滤波方法；若不存在交叉，则判断不存在阻挡，则采用基于卡尔曼滤波的连通区域匹配方法，先利用卡尔曼滤波预测视频流中第K帧的运动目标状态，然后在预测状态和视频流第K帧检测到的前景连通区域间求得最佳匹配，求得的最佳匹配即为视频流第K帧的运动目标状态，并以此校正卡尔曼滤波的参量。

具体的，所述的视频流包括硬盘录像机提供的网络视频流，视频采集卡提供的视频流以及文件视频流。

进一步的，所述异常情况分析具体包括：识别监控环境的配置和异常行为类别的配置，所述监控环境的配置包括：警戒线的位置、方向、长度及大小，运动目标的逆行方向角；异常行为类别包括：跨越警戒线、进入警戒区域、逆行、滞留、徘徊、速度异常及密度异常。

为了解决上述技术问题，本技术方案提供一种视频监控系统，包括：

采集模块，用于采集当前需要分析的视频流；检测模块，用于检测视频流中是否存在运动目标，若存在运动目标，进行自适应的背景建模，初步获得前景，对前景进行形态学处理，填充目标区域并减少图像中小的碎片区域，利用HSV空间阴影检测方法将目标的阴影去掉获得最终的目标区域；跟踪模块，利用粒子滤波或卡尔曼滤波两种跟踪方法对运动目标进行跟踪；分析模块，用于分析所跟踪的运动目标的形状信息和运动特性，利用分散度和面积信息分析异常情况，将运动目标分类，完成异常行为识别处理分析；报警模块，用于根据异常行为识别处理分析数据，当视频流中存在异常情况时，发动紧急报警。

其中，在对运动目标进行跟踪时，判断是否发生阻挡，具体的，包括如下方法：判断视频流第K帧中是否存在一个前景区域与视频流第K-1帧中的一个以上的运动目标的预测位置存在交叉；若存在交叉，则存在阻挡，采用基于颜色特征的粒子滤波方法；若不存在交叉，则不存在阻挡，则采用基于卡尔曼滤波的连通区域匹配方法，先利用卡尔曼滤波预测第K帧的运动目标状态，然后在预测状态和第K帧检测到的前景连通区域间求得最佳匹配，求得的最佳匹配即为第K帧的运动目标状态，并以此校正卡尔曼滤波的参量。

具体的，所述异常情况分析具体包括：识别监控环境的配置和异常行为类别的配置，所述监控环境的配置包括：警戒线的位置、方向、长度及大小，运动目标的逆行方向角；异常行为类别包括：跨越警戒线、进入警戒区域、逆行、滞留、徘徊、速度异常及密度异常。

其中，所述的视频流包括硬盘录像机提供的网络视频流，视频采集卡提供的视频流以及文件视频流。

本发明的有益效果是：该视频监控方法能够应用于复杂的场景，智能分析采集的视频流的图像信息，能够自动检测视频流中是否存在运动目标，并将运动目标进行分类，判别视频流中是否存在异常情况，并进行实时报警。该视频监控方法基于自适应背景、消除阴影等处理目标检测的算法，使得对于同一视频流的多次底层运算仅仅进行一次，降低监控中异常行为的漏报、误报率，此外该方法还能与安防联动，从而使监控人员能够即时做出回应。通过该视频监控系统，确定运动目标的行为是否是异常行为，并联动报警，从而提高了安防监控的准确率。

附图说明

图1是本发明技术方案的视频监控方法的流程图；

图2是本发明技术方案的视频监控系统的结构图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参阅图1，本发明提供的一种视频监控方法，其特征在于，包括以下步骤：

S100：采集当前需要分析的视频流；具体的，所述的视频流包括硬盘录像机提供的网络视频流，视频采集卡提供的视频流以及文件视频流。

S200：检测视频流中是否存在运动目标，对采集到的视频流的图像信息进行分析，若存在运动目标，进行自适应的背景建模，初步获得前景，对前景进行形态学处理，填充目标区域并减少图像中小的碎片区域，利用HSV空间阴影检测方法将目标的阴影去掉获得最终的目标区域；若不存在，则循环检测；

S300：利用粒子滤波或卡尔曼滤波两种跟踪方法对运动目标进行跟踪；

S400：分析所跟踪的运动目标的形状信息和运动特性，利用分散度和面积信息分析异常情况，将运动目标分类，完成异常行为识别处理分析；

S500：根据异常行为识别处理分析数据，当视频流中存在异常情况时，发动紧急报警。

步骤S200中，原则上任何背景建模方法都可以用于文本的框架，这里使用一种自适应的背景建模方法，采用取前n帧图像的均值作为背景B，设第K帧图像数据为I_K，相应的背景图像为B_K。背景的更新为：

Bk+1＝a*Ik+(1-a)*Bk

检测模块获得前景数据Fk是基于如下公式获得：

Fk+1＝|Ik-Bk|＞T

其中阈值T的获取可以自适应的获得。具体的，所述的自适应是指：一、背景的自动更新；二、不需要使用背景帧样本作为模型训练的输入。计算两帧图像的差分图像Dk＝|Ik-Ik-1|。图像的大小将差分图像划分成若干个子区域，每个子区域的大小为m*m(0＜m＜15)。对第i个子区域Dki计算阈值Ti。

其中F(k-1)i为第k-1帧检测的前景数据与Dki子块相对应的数据。当F(k-1)i中前景的像素相对较多时则判为前景，反之亦然。

最终的阈值T为：

$T=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{T}_i$

步骤S200中，为了获得完整的运动目标区域和减少虚景，这里采用形态学的方法对背景建模提取的前景Fk进行后处里。设结构元S的大小为s*s(0＜s＜10)，处理后的前景图像为Fk’：

其中，为腐蚀操作；

为膨胀操作。

在进行去阴影时，采用了HSV空间阴影检测方法，基本原理是同一物体(背景或前景)在阴影区和非阴影区的色调是近似一致的，阴影主要使该区域内亮度有变化，而且阴影部分一定比背景的亮度要低。

在当前帧图像Ik及背景图像Bk转换到HSV空间上。提取与初始检测的前景Fk’相对应区域的色调H和亮度V。

其中，F″_k为最终检测的运动目标标识图像。FALSE表示背景信息，TRUE表示前景信息。H(B_k(F′_k))表示与前景相对应的背景图像Bk的子区域在HVS空间上色度信息。t1和t2为阈值参数，分别取值为0＜t1＜10，0＜t2＜40。

在步骤S300中，在对运动目标进行跟踪时，判断是否发生阻挡，具体的，包括如下方法：

判断第K帧中是否存在一个前景区域与第K-1帧中的一个以上的运动目标的预测位置存在交叉，若存在交叉，则判断存在阻挡，采用基于颜色特征的粒子滤波方法；若不存在交叉，则判断不存在阻挡，则采用基于卡尔曼滤波的连通区域匹配方法，先利用卡尔曼滤波预测第K帧的运动目标状态，然后在预测状态和第K帧检测到的前景连通区域间求得最佳匹配，求得的最佳匹配即为第K帧的运动目标状态，并以此校正卡尔曼滤波的参量。具体的，当检测到新的目标时，立即用卡尔曼滤波对目标进行跟踪，使用卡尔曼滤波对第K帧的运动目标状态进行预测，并与第K帧的运动目标检测结果进行匹配关联来获得第K帧运动目标的真实状态，根据真实状态来校正卡尔曼滤波的参量，当多个预测运动目标位置与检测到的前景连通区域相关联时，则认为发生了目标遮挡，此时分别在第K-1帧卡尔曼滤波预测的位置上进行粒子采样，并将算法切换到粒子滤波跟踪，在粒子滤波跟踪过程中，当粒子滤波预测的位置与多个检测的目标子区域相关联时，则认为遮挡目标再次分开，此时，将分别对目标进行卡尔曼滤波跟踪。

在步骤S400中，对运动目标进行分类，具体的，将运动目标分成：人、车及混乱扰动，分类原则是根据运动目标的分散度以及面积信息区分的，具体的为人在图像上显示为长条形且所占面积相对较少，车为近似方形，当多个目标相对集中时认为是混乱扰动。计算目标的面积Os，即目标所占像素的个数，根据准则Os＞th1(300＜th1＜900)对目标进行初步判断。当Os＞th1则认为检测的目标为车，否则结合目标面积Os和周长Oc进一步对目标进行判断。当(Oc)2/Os＞th2时(0.2＜th2＜0.9)，则检测目标为人，否则认为目标为车。

设共有N个目标(N＞1)，第i个目标的重心为Oi，前景的重心为

根据重心来计算目标的分散度Od：

$\mathrm{Od}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|O_i-\stackrel{\‾}{O}\left|\right|$

当Od＜th3时(0＜th3＜50)，则认为出现混乱扰动。

所述异常情况分析具体包括：识别监控环境的配置和异常行为类别的配置，所述监控环境的配置包括：警戒线的位置、方向、长度及大小，运动目标的逆行方向角；异常行为类别包括：跨越警戒线、进入警戒区域、逆行、滞留、徘徊、速度异常及密度异常。七种异常行为根据所需要的目标信息共分成三大类：a)根据运动目标分类信息判别的异常行为，有密度异常；b)根据运动目标跟踪信息判别的异常行为，有进入警戒区域和跨越警戒线；c)根据运动目标分类和运动目标跟踪的联合信息来判别的异常行为，有逆行、滞留、徘徊和速度异常。

(1)密度异常：当运动目标内容为混乱扰动时，则认为出现密度异常；

(2)跨越警戒线以及进入警戒区域：在采集视频流时就将警戒线位置方向及长度信息收集好，根据所跟踪的目标来计算跟踪目标的重心，将警戒线转化为线段方程，将目标的重心由线段方程一边转到另一边时(视警戒线为带约束的判决面)，则认为出现异常。将警戒区域(此处仅考虑规则区域)的四条边转化为四个直线方程，根据四个直线方程来判断目标的重心是否在警戒区域内。

(3)逆行：逆行主要是指车行驶方向与指定方向相反，逆行方向在进行视频流采集时就已经完成了数据的分析，根据对运动目标分类所进行的数据分析，判断运动目标不是车时，则停止异常检测，根据对运动目标的跟踪估计运动目标的运动轨迹，使用直线拟合运动目标的轨迹，计算直线斜率角θ’，当规定的方向角θ与直线倾斜角θ’满足如下条件时，则认为出现逆行。

mod(θ-θ′+360，360)＜tθ

其中mod()为取模操作，tθ为阈值，取值范围为0＜tθ＜30

(4)徘徊

徘徊主要是指人的往复运动。在进行运动目标分类时即判断目标是否为人。在对运动目标进行跟踪时跟踪人目标的重心。考虑M(M＞100)帧的图像数据。设第k帧的目标重心为Ok，满足下条件时则判为徘徊：

$\left|\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}(O_{k+i}-O_k)\right|<t_p$

其中，O_k+i-O_k为向量，tp为阈值决定了徘徊的长度。

(5)速度异常

速度异常是检测车是否超速。通过运动分类判断目标是否为车。当两帧之间车的相对位置较大时，则认为速度异常(这里认为车为直线运动)。阈值的选择由场景限制条件决定。

步骤S500中，能够进行各种声光、短信等联动报警方式进行报警，能够接收认为设定的报警方式及相关的附加信息。

参阅图2，本技术方案还提供一种视频监控系统，具体的包括：

采集模块，用于采集当前需要分析的视频流，完成智能监控视频流的捕获。该模块通过开发封装网络视频硬盘录像机，从而使它能够支持网络视频流捕获；该系统通过开发封装视频采集卡提供的API函数进行视频流的捕获，从而使它能够支持摄像头进行视频流捕获；通过不同的视频文件开发相应的视频采集模块，从而使它能够支持文件视频流捕获。采集模块中输入的视频流可以是任何格式的视频信息，具体的，该采集模块可以为摄像机、视频摄像头、微摄像机等设备，采集模块从传入的视频流中提取图像数据，并将图像数据传入图像数据队列中，从而为检测模块提供检测图像。

检测模块，用于检测视频流中是否存在运动目标，若存在运动目标，进行自适应的背景建模，初步获得前景，对前景进行形态学处理，填充目标区域并减少图像中小的碎片区域，利用HSV空间阴影检测方法将目标的阴影去掉获得最终的目标区域；通过背景建模检测、预处理以及出去阴影后获得运动目标

跟踪模块，利用粒子滤波或卡尔曼滤波两种跟踪方法对运动目标进行跟踪；

分析模块，用于分析所跟踪的运动目标的形状信息和运动特性，利用分散度和面积信息分析异常情况，将运动目标分类，完成异常行为识别处理分析；进行运动目标分类主要是将运动目标分为人、车及混乱扰动。接着根据运动目标的速度面积等特征、跟踪模块获得的运动目标轨迹等信息，各异常行为类别、视频信号场景的配置信息识别异常行为。当视频流中存在异常行为时，则向报警模块发送报警信息，从而驱动报警模块进行报警。

报警模块能够根据异常行为识别处理分析数据，当视频流中存在异常情况时，发动紧急报警。该报警模块通过开发底层的报警装置的驱动程序，具体的，包括短信猫驱动、警灯信号驱动、声卡驱动等，接收认为设定的报警方式及相关的附加信息，如：手机号码、报警声音等；接收到视频智能分析模块的异常事件后调动相应的驱动程序报警，此外，该报警模块能够保存各个报警信息，方便报警查询。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种视频监控方法，其特征在于，包括以下步骤：

S100：采集当前需要分析的视频流；

S200：检测视频流中是否存在运动目标，若存在运动目标，进行自适应的背景建模，初步获得前景，对前景进行形态学处理，填充目标区域并减少图像中小的碎片区域，利用HSV空间阴影检测方法将目标的阴影去掉获得最终的目标区域；若不存在，则循环检测；

S300：利用粒子滤波或卡尔曼滤波跟踪方法对运动目标进行跟踪；

S400：分析所跟踪的运动目标的形状信息和运动特性，利用分散度和面积信息分析异常情况，将运动目标分类，完成异常行为识别分析判断；

S500：根据异常行为识别分析判断数据，当视频流中存在异常情况时，发动紧急报警。

2.根据权利要求1所述的视频监控方法，其特征在于，步骤S300中在对运动目标进行跟踪时，判断是否发生阻挡并根据结果选择对运动目标跟踪的方法，具体为：

判断视频流第K帧中是否存在一个前景区域与视频流第K-1帧中的一个以上的运动目标的预测位置存在交叉，

若存在交叉，则判定存在阻挡，采用基于颜色特征的粒子滤波方法；

若不存在交叉，则判定不存在阻挡，则采用基于卡尔曼滤波的连通区域匹配方法，先利用卡尔曼滤波预测第K帧的运动目标状态，然后在预测状态和第K帧检测到的前景连通区域间求得最佳匹配，求得的最佳匹配即为第K帧的运动目标状态，并以此校正卡尔曼滤波的参量。

3.根据权利要求1所述的视频监控方法，其特征在于：步骤S400中所述异常情况的分析具体包括：识别监控环境的配置和异常行为类别的配置，

所述监控环境的配置包括：警戒线的位置、方向、长度及大小，运动目标的逆行方向角；

异常行为类别包括：跨越警戒线、进入警戒区域、逆行、滞留、徘徊、速度异常及密度异常。

4.根据权利要求1所述的视频监控方法，其特征在于：所述的视频流包括硬盘录像机提供的网络视频流，视频采集卡提供的视频流以及文件视频流。

5.一种视频监控系统，其特征在于，包括：

采集模块，用于采集当前需要分析的视频流；

检测模块，用于检测视频流中是否存在运动目标，若存在运动目标，进行自适应的背景建模，初步获得前景，对前景进行形态学处理，填充目标区域并减少图像中小的碎片区域，利用HSV空间阴影检测方法将目标的阴影去掉获得最终的目标区域；

跟踪模块，利用粒子滤波或卡尔曼滤波跟踪方法对运动目标进行跟踪；

分析模块，用于分析所跟踪的运动目标的形状信息和运动特性，利用分散度和面积信息分析异常情况，将运动目标分类，完成异常行为识别处理分析；

报警模块，用于根据异常行为识别处理分析数据，当视频流中存在异常情况时，发动紧急报警。

6.根据权利要求5所述的视频监控系统，其特征在于，跟踪模块判断是否发生阻挡并根据结果选择对运动目标跟踪的方法，具体为：

判断视频流第K帧中是否存在一个前景区域与视频流第K-1帧中的一个以上的运动目标的预测位置存在交叉，

若存在交叉，则判定存在阻挡，采用基于颜色特征的粒子滤波方法；

若不存在交叉，则判定不存在阻挡，则采用基于卡尔曼滤波的连通区域匹配方法，先利用卡尔曼滤波预测第K帧的运动目标状态，然后在预测状态和第K帧检测到的前景连通区域间求得最佳匹配，求得的最佳匹配即为第K帧的运动目标状态，并以此校正卡尔曼滤波的参量。

7.根据权利要求5所述的视频监控系统，其特征在于：所述异常情况的分析具体包括：识别监控环境的配置和异常行为类别的配置，

所述监控环境的配置包括：警戒线的位置、方向、长度及大小，运动目标的逆行方向角；

异常行为类别包括：跨越警戒线、进入警戒区域、逆行、滞留、徘徊、速度异常及密度异常。

8.根据权利要求5所述的视频监控系统，其特征在于：所述的视频流包括硬盘录像机提供的网络视频流，视频采集卡提供的视频流以及文件视频流。

Images