CN103530995B - 基于目标空间关系约束的视频监控智能预警方法 - Google Patents

Abstract

本发明公开了一种基于目标空间关系约束的视频监控智能预警系统及方法，该系统包括视频采集模块、目标要素智能解析功能模块、视频内容可视化解析模块、一般行为规则样本数据库和报警模块。本系统基于对目标要素行为理解，针对目标与目标的空间关联，进行行为特征分析、演化、归类，建立空间关联模式样本库，实现异常行为的检测和辨别，能更有效和准确地对突发事件进行辨别和判断，并能锁定异常触发点，为事后取证留以凭证。本系统引入目标空间约束关系，对视频场景区域分割完备定义视频目标要素相关概念，排除空间语义信息中的一定模糊和错误，解决了视频内容解析中不完整和不准确的问题，对视频监控范围内的异常事件的检测更准确，更高效。

Description

基于目标空间关系约束的视频监控智能预警方法

技术领域

本发明属于智能预警领域，涉及视频监控系统和视频监控智能预警方法，尤其针对公共监控系统。

背景技术

当前视频监控的发展趋势是从人工监看的被动模式向智能预警的主动方式转变，其关键是视频内容解析过程的自动化和智能化。目前视频内容解析技术主要采用数据驱动的思路，面对海量数据和复杂类型，利用自身及其上下文信息，从中挖掘信息、学习知识，对视频进行智能处理。通常采用机器学习和基于内容的视频检索及索引方法，改善了基于模型方法难以解决的多事例、多样性和多模态等问题，能够比较有效的获取信息。然而，所提取的特征局限于低层特征，而低层特征难以反映高层语义，视频内容解析中存在的“语义鸿沟”仍是待解决的问题。

应用实践中，人们通过建立行为的隐马尔可夫拓扑结构实现半监督学习的异常行为模式检测，还有学者提出基于概念空间的通过事件特征袋描述实现地理视频事件建模的语义事件检测方法。随着大量不同类别的传感器广泛地运用到智能交通系统，相关模型也相应而生，以解决交通监控的信息处理，实现对小范围内的目标跟踪和速度监测，以及车辆识别和车距测量等。此外，现有技术中还存在一种监控系统，实现的是远程监控系统，系统服务器接收来自移动终端的访问请求，服务器通过建立的连接接收来自监控终端的监控点的当前实时图像，并将当前实时图像转发给移动终端。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有技术中对视频智能监控系统，其解析的方法主要是针对视频低层特征(纹理，颜色等)，较少地探究监控目标之间的空间关联。因此低层信息与高层语义之间就形成了“语义鸿沟”，使其对视频的高层语义解析不足，无法完全达到实时监控的智能预警的需求。

另一方面，由于缺乏对空间约束的探索，对视频的解析通常带有不确定性和不完整性，只能反映观测空间的部分知识，存在技术上的“盲点”。

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种更准确、更高效地检测突发事件的视频监控智能预警系统和智能预警方法。本发明的技术方案如下：一种基于目标空间关系约束的视频监控智能预警系统，包括视频采集模块、目标要素智能解析模块、视频内容可视化解析模块、一般行为规则样本数据库和报警模块；其中，

视频采集模块：用于获取摄像机经过标定后T时刻的监控画面数字视频序列，并通过对若干摄像机的几何位置以及采集参数计算相关性后将若干个摄像机的视频融合成一个融合视频；

目标要素智能解析模块：对视频采集模块得到的融合视频设置目标要素，对目标要素进行检测、跟踪；采用时空要素图表示目标要素的运动内容。时空要素图在低层表示目标要素的位置与状态，在高层通过随机子图表示目标要素在时间序列上空间关系的变化。

视频内容可视化解析模块：用于在目标要素智能解析模块的基础上，用空间关联权重矩阵W表示目标要素空间关联的语义特征；用于将将时空要素图表示的视频帧序列解析，获取每一帧的基本属性；用于采用地理标记语言，实时记录每帧目标要素的基本属性信息和空间动态信息，生成可检索视频的特征文件结构；

一般行为规则样本数据库：用于根据目标要素的行为模式和分布模式分析结果，建立一般行为规则样本数据库；

行为识别模块：将目标行为与一般行为规则样本数据库中的一般行为进行匹配，当异常时，则发送异常行为信号给报警模块；

报警模块：用于接受行为识别模块的异常行为信号，并报警。

进一步的，所述空间关系包括距离关系、方向关系和拓扑关系。

进一步的，所述方向关系通过将视频观测范围内的监控目标作为实体点，将任一点作为参考点，把场景中约束空间分为东南、南、西南、北、西北、东北、西、东和原点O。

进一步的，所述视频内容可视化解析模块中的基本属性信息和空间动态信息包括序号、行为状态、所在帧号、持续时长、像空间坐标、物空间坐标、相对移动距离、速度及空间关联数目。

一种基于目标空间关系约束的视频监控智能预警方法，其包括以下步骤：

A、获取摄像机经过标定后T时刻的监控画面数字视频序列，并通过对若干摄像机的几何位置以及采集参数计算相关性后将若干个摄像机的视频融合成一个融合视频；

B、对视频采集模块得到的融合视频设置目标要素，对目标要素进行检测、跟踪；采用时空要素图表示目标要素的运动内容。时空要素图是一种目标要素的表示模型，分为两个层次：

低层为目标要素层，代表影像帧中目标要素的位置与状态。状态是对运动要素所有属性的一种抽象，是运动要素在某一时刻所处的状况或活动的一种静态描述。State＝{Appear，Move，Stop，Disappear}，指地理视频中某一运动要素在空间约束范围内自身呈现的基本状态，包括出现(Appear)、消失(Disappear)、运动(Move)、静止(Stop)等基本状态描述信息。

高层为隐变量层，代表目标要素在时间序列上空间关系的变化，采用随机子图表示。空间关系的度量表达式为：

P(t+1)＝Min[1,Max(0,sqrt(P²(t)+ω(t+1)×η(1-c(t))))]

其中，P(t)，{P∈[0,1]}表示目标要素间空间关联的度量值，取值越大空间关联越强，其初始值定义为P(0)＝ρ₁×A_i,j+ρ₂×θ(i,j)，其中A_i,j为i,j两两目标要素间的可达性。ω(t)表示当前状态下空间关联持续时间的评价；置信度c(t)受学习率影响在[0,1]内动态调整。在此基础上，引入时间维，建立随机子图，表达式如下：

G＝(S,V_N,R,δ,Ch)

其中，S为根节点，表示一个融合视频中语义事件的初始节点，在一个视频事件发展序列中仅有唯一的S节点；运动要素节点V_N＝{V1,V2,V3,…}包含特定空间区域内出现的所有运动要素。公式中的R表示随机图G的演化过程与规则，δ表示随机图的状态转移函数；随机子图内聚度Ch(Cohesion)表示随机子图中运动要素群体内部耦合度。

C、用空间关联权重矩阵W_i,j＝[A_i,j]^-α[P_i,j]^b描述目标要素空间关联的语义特征，其中其中A_i,j为i,j两目标要素间的可达性，P_i,j为i,j两目标要素空间关联的度量值，α、b为参数，参数α、b为预先设定的常量，取值范围为[0,1],同时，A_i,j取值范围也是[0,1]。实现地理视频内容的自动理解；将视频序列帧自动解析，获取每一帧的基本属性，并采用地理标记语言，实时记录每帧目标要素的基本属性信息和空间动态信息，生成可检索视频的特征文件结构；

D、根据目标要素的行为模式和分布模式分析结果，建立一般行为规则样本数据库；

E、将步骤C中得到的目标行为特征文件结构与步骤D中的一般行为规则样本数据库中的一般行为进行匹配，实现对目标行为异常监测；

F、当监测异常时，则发送异常行为信号并报警。

进一步的，步骤C中所述的基本属性信息和空间动态信息包括序号、行为状态、所在帧号、持续时长、像空间坐标、物空间坐标、相对移动距离、速度、空间关联数目、空间关联。

本发明的优点及有益效果如下：

与现有的智能监控系统相比，本系统从状态、行为属性和空间关系对视频监控目标实现空间关系和行为的客观描述，建立视频内容可视化解析模型，实现视频语义的动态表达，以完成对异常事件的自动监测。本系统针对目标要素运动的连续性和空间关系的演变，引入了空间约束的概念，对视频监控场景区域分割，将目标要素的空间关系解析限定在特定空间范围内，消除“盲点”增加准确度和可信性；观测连续的目标要素空间关系变化过程，并利用时空要素图建立一个动态的目标要素表示模型，以实现视频目标要素的空间关系和行为的客观描述，解决“语义鸿沟”问题。对高层语义的有效解析能够对视频监控范围内的异常事件达到更准确，更高效地检测，为快速应对突发事件提供更好的先决条件。由于视频可视化解析后的视频文件的可检索性，本系统可快速定位异常事件。

本系统实时观测监控范围内目标要素的状态改变，挖掘视频目标要素之间的空间关联，实现视频语义信息的智能化解析，以达到对异常事件的自动预警。此系统引入地理空间约束，对视频监控范围进行场景划分，基于视频影像帧中目标要素空间关系的描述方法，并借由时空要素图予以演示，建立针对全局观测的可分析时空要素图动态演化模型。其中对于目标要素的相关概念和定义包括：状态(出现，消失，停止，运动)，行为属性(空间位置，速度)，关系(目标要素间的相互影响)，空间关系(距离关系，方向关系，拓扑关系)，视觉特征(颜色，纹理，形状，大小)。对于海量的视频观测数据，为寻求突发事件快速响应，视频的及时处理和高效理解为实现智能预警奠定了理论基础，在公共安全日趋引起关注的当下，有效的预警对保障社会日常生活的有序性起着尤为重要的作用。

本系统引入目标空间约束关系，对视频场景区域分割完备定义视频目标要素相关概念，排除空间语义信息中的一定模糊和错误，解决了视频内容解析中不完整和不准确的问题。

本系统运用时空要素图建立全局视角观察和分析的目标要素的表示模型，表达视频内容变化过程，其详细描述了视频目标要素的相互作用和空间关系的连续过程，客观描述了可观测目标行为特征。

本系统使用自动化可视化视频内容解析模块，解决从视频低层特征到高层视频语义之间的“语义鸿沟”，实现视频内容的语义挖掘和智能解析。

本系统基于对目标要素行为理解，针对目标与目标的空间关联，进行行为特征分析、演化、归类，建立空间关联模式样本库，实现异常行为的检测和辨别，能更有效和准确地对突发事件进行辨别和判断，并能锁定异常触发点，为事后取证留以凭证。

附图说明

图1是本发明一较佳实施例的结构框架图；

图2是本发明所述预警方法流程框架图；

图3是本发明所述预警方法中的空间方向关系图；

图4是本发明所述预警方法的时空要素演化规则图；

图5是本发明所述预警方法的时空要素图中空间关联子图。

具体实施方式

下面结合附图给出一个非限定性的实施例对本发明作进一步的阐述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

视频采集模块：用于获取摄像机经过标定后T时刻的监控画面数字视频序列，并通过对若干摄像机的几何位置以及采集参数计算相关性后将若干个摄像机的视频融合成一个融合视频；

目标要素智能解析功能模块：对融合视频中目标要素进行检测、跟踪；采用时空要素图表示目标要素的运动内容。时空要素图是一种目标要素的表示模型，分为两个层次：低层为目标要素层，代表影像帧中目标要素的位置与状态。高层为隐变量层，代表目标要素在时间序列上空间关系的变化，采用随机子图表示。所述空间关系包括距离关系、方向关系和拓扑关系。该方向关系具体是目标要素与空间约束之间的方向关系，是空间约束和参考点之间的关系并集；把视频观测范围内的目标看做实体点，将任一点作为参考点，把场景中约束空间分为9个区域，并用其他实体点与此九个区域之间的相对位置关系来描述实体点的方向关系。

视频内容可视化解析模块：在智能解析可视化功能模块解析的基础上，用空间关联权重矩阵描述目标要素空间关联的语义特征，实现监控视频内容的自动理解；将视频帧序列自动解析，获取每一帧的基本属性；采用地理标记语言，实时记录每帧目标要素的基本属性信息和空间动态信息，如序号、行为状态、所在帧号、持续时长、像空间坐标、物空间坐标、相对移动距离、速度、空间关联数目空间关联，生成可检索视频的特征文件结构。

一般行为规则样本数据库：根据目标要素的行为模式和分布模式分析结果，建立一般行为规则样本数据库；

行为识别模块：将目标行为与一般行为规则样本数据库中的一般行为进行匹配，实现对目标行为异常检测；

报警模块：接受行为识别模块的异常行为信号，并报警。

本系统的预警方法流程包括：获取视频信息并进行摄像机标定，运动目标的检测与跟踪，引入空间参考，解析单帧的目标要素关系，采用时空要素图演化连续运动目标的空间关系和相互作用，结构化视频内容解析，生成视频目标要素的视频特征描述文件，建立空间关联模式样本库，对比分析，针对异常事件报警。具体的流程框架如图2所示。

以下通过非限定性的实施例对步骤2中的运动目标的检测与跟踪的一实施例进行描述；

1、单帧的目标要素关系解析

解析单帧的目标要素关系，把视频帧观测范围内的目标看做实体点，将任一点作为参考点把场景中约束空间分为九个区域(NE,N,NW,W,SW,S,SW,E,O)，并用其他实体点与此九个区域之间的相对位置关系来描述实体点的方向关系，图3(a)。加入空间约束的地理空间，可对视频场景进行区域分割，空间约束和参考点之间的关系并集即为目标要素与空间约束之间的方向关系，如图3(b)。地理空间实体之间存在的一些具有空间特征的关系，即空间关系，包括距离关系、方向关系、拓扑关系、顺序关系等，其中距离关系、方向关系和拓扑关系是三种基本空间关系，也是本方法中分析和挖掘目标要素运动约束的空间关系特征的基础性内容，两者从不同的角度描述空间关系特征。

以下通过非限定性的实施例对步骤运动目标的检测与跟踪又一实施例进行描述；

2、连续视频运动目标要素空间关系变化解析

在视频帧目标要素关系解析的基础上，引入时间维度，采用随机子图表示目标要素的运动内容。

随机子图动态描述目标要素在时间序列上空间关系的变化，即目标要素的规则性、随机性的行为特征，进而动态反映视频内容的变化过程，便于后续的视频理解与异常检测。针对获得的融合视频，对目标要素进行检测和跟踪，在单帧解析基础上，将要素运动过程完整体现在随机子图。

在某一时刻T，顶点集V_i代表实体点表现的视频观测目标，边集E_(i，j)代表各运动目标间的关联关系P，且各边相互独立，任意两个关联顶点独立地以度量值P连接，如图4。在随着时间因素变化的同时，目标要素在运动过程中的空间关系也会随之动态改变，因此时空要素图可就约束空间内目标的运动状态和空间关联进行动态描述。

其中，在空间约束范围的两个目标要素之间空间关联的动态更新函数为：

P(t+1)＝Min[1,Max(0,sqrt(P²(t)+ω(t+1)×η(1-c(t))))]

P(t)，{P∈[0,1]}表示目标要素间空间关联的度量值，取值越大空间关联越强，其初始值定义为P(0)＝ρ₁×A_i,j+ρ₂×θ(i,j)，其中A_i,j为i,j两两目标要素间的可达性。ω(t)表示当前状态下空间关联持续时间的评价。置信度c(t)受学习率影响在[0,1]内动态调整。随时间因素T的发展，各个被观测实体点形成的空间关联随时间更新，如图5所示。

以下通过非限定性的实施例对结构化视频内容解析进行描述；

3、视频内容可视化解析

在目标要素之间空间关联的动态更新函数基础上，建立空间关联权重矩阵W:在某一时刻T，矩阵的表现形式为：W_i,j＝[A_i,j]^-α[P_i,j]^b，其中其中A_i,j为i,j两目标要素间的可达性，P_i,j为i,j两目标要素空间关联的度量值，α、b为参数。参数α、b为预先设定的常量，取值范围为[0,1],同时，A_i,j取值范围也是[0,1]。在考虑时间因素的条件下，形成一个空间关联权重矩阵序列{A^T}，{A^T}用以描述目标要素的动态空间结构，实现视频内容的自动理解。

GML(地理标记语言)可以视频内容和描述方式分离的特征客观地描述视频内容结构，结合解析的时空要素图特征文件结构能结构化的表述视频目标要素的基本属性，以及动态拓扑关系中表达的空间关联演化过程，为可分析化视频内容提供前提。

将视频序列帧进行自动解析，获取每一帧的基本属性，如序号(index)、行为状态描述(State)、所在帧(Frame)、空间关联(SpatialAssociation)以及空间关联数字度量P等，以GML语法描述记录。

至此，每帧目标要素的基本属性信息和空间动态信息实时记录格式表示为：

4、视频特征行为分析

包括建立一般行为规则样本数据库和目标行为识别。

经过上述解析之后，对目标要素行为特征进行分类。分析视频内目标要素的行为模式和分布模式，建立一般行为规则样本库，将实时视频监控解析的相互关系演变过程与之进行比对，可实现对目标行为异常检测。一般行为规则样本库的建立，是总结一般常态行为特征规律，由自动统计的约束物理空间内实体运动轨迹行为特征的时空要素图模型演化其模式以及行为规则，并以特征文件建立的统计描述。

当视频监控实时信息违反样本库一般事件的行为规则，如监控视频内人群的异常聚集，突发性分散等非常态情况，认定异常潜在可能并发出警告，并对潜在异常事件涉及视频对象进行特征分析并自动记录。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明视频编码方法权利要求所限定的范围。

Claims (2)

1.一种基于目标空间关系约束的视频监控智能预警方法，其特征在于，包括以下步骤：

A、获取摄像机经过标定后T时刻的监控画面数字视频序列，并通过对若干摄像机的几何位置以及采集参数计算相关性后将若干个摄像机的视频融合成一个融合视频；

B、对视频采集模块得到的融合视频设置目标要素，对目标要素进行检测、跟踪；采用时空要素图表示目标要素的运动内容；时空要素图是一种目标要素的表示模型，分为两个层次：低层为目标要素层，代表影像帧中目标要素的位置与状态,高层为隐变量层，代表目标要素在时间序列上空间关系的变化，采用随机子图表示；

C、用空间关联权重矩阵W_i,j＝[A_i,j]^-α[P_i,j]^b描述目标要素空间关联的语义特征，其中A_i,j为i,j两目标要素间的可达性，P_i,j为i,j两目标要素空间关联的度量值，α、b为参数，实现地理视频内容的自动理解；将视频序列帧自动解析，获取每一帧的基本属性，并采用地理标记语言，实时记录每帧目标要素的基本属性信息和空间动态信息，生成可检索视频的特征文件结构；

D、根据目标要素的行为模式和分布模式分析结果，建立一般行为规则样本数据库；

E、将步骤C中得到的目标行为特征文件结构与步骤D中的一般行为规则样本数据库中的一般行为进行匹配，实现对目标行为异常监测；

F、当监测异常时，则发送异常行为信号并报警。

2.根据权利要求1所述的基于目标空间关系约束的视频监控智能预警方法，其特征在于：步骤C中所述的基本属性信息和空间动态信息包括序号、行为状态、所在帧号、持续时长、像空间坐标、物空间坐标、相对移动距离、速度、空间关联数目、空间关联。