CN102880692A - 一种面向检索的监控视频语义描述和检测建模方法 - Google Patents

Abstract

本发明公开一种面向检索的监控视频语义描述和检测建模方法，所述方法为：首先分析了当前基于MPEG-7的视频描述方案在监控领域的优点和不足，针对其中未定义用户感兴趣的静止区域的问题，将视频对象细分为运动目标和静止区域进行描述，同时为了解决描述流中对象间关系描述的信息冗余问题，定义了时间维上的第二级空间关系来描述空间关系随时间的变化情况。最后通过对事件进行检测建模，证明了基于所改进的监控视频语义描述方案得到监控视频的描述流，能够很好地支持高层语义信息的理解。

Description

一种面向检索的监控视频语义描述和检测建模方法

技术领域

本发明涉及监控视频的描述和检索领域，具体是一种针对监控视频的改进的语义描述和检索方法。

背景技术

21世纪是信息化时代，随着以多媒体为代表的信息技术产业的突飞猛进，人们对生活和工作环境的安全性要求也在不断提高，监控设施越来越多地出现在各种公共场所。目前，视频监控系统已经涉及到了社会生活的各行各业，例如交通路口、超市、银行、车站和居民小区等，与此同时，在各种大型活动场所和重要保卫区域的警卫工作中也配置了许多监控设备，如奥运会场地、人民广场、世博园区等。

1.传统视频监控系统存在的问题

视频监控系统是多媒体技术、网络通信技术、工业控制和智能计算技术等综合运用的产物，传统视频监控系统由于缺少智能，也被称为“被动监控”，其最大的特点就是以人为主。实时监控作用的发挥主要依靠监控室的值班人员实时观看监控画面，对画面出现的异常事件作出判断，实现报警联动指挥；而历史视频查看作用的发挥主要依靠工作人员人工调用并回放视频录像，同样需要人对感兴趣目标的判读，并确定其为证据。这种“被动监控”系统将会带来以下问题：

（1）随着监控探头和录像数据量的增加，其效率会大大下降，要从海量的监控录像数据中快速查找需要的证据是十分困难的；

（2）海量视频数据的传输和存储，将会造成资源浪费和信息污染。

随着城市监控范围和规模的迅速增长，完全依靠人工监看的传统视频监控系统已经不能满足需求，人们需要更智能化、自动化、自主化的视频监控系统，因此智能视频监控系统成为了当前提升视频监控系统效能的主要发展方向。

2.智能视频监控系统的产生

近年来，随着网络带宽、计算机处理能力、集成电路速度和存储容量的迅速提高，以及各种视频信息处理技术的出现，全程数字化、网络化的视频监控系统优势愈发明显，其高度的开放性、集成性和灵活性为视频监控系统和设备的整体性能提升创造了必要的条件，极大地推动了视频监控技术向智能化方向的发展。

智能视频监控技术主要指的是自动地分析和抽取视频源中的关键信息。智能视频技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉用户不关心的信息，仅仅为监控者提供有用的关键信息，最终实现集视频采集、视频分析及描述为一体的智能监控系统。

3.基于内容的监控视频检索与描述

在智能视频监控系统中，如何利用计算机从海量的监控视频中快速地检索出用户需要的信息是当前监控领域急需解决的问题之一。

传统的基于文本的视频检索方法利用文本信息对视频进行注释，通过关键字抽取来描述视频信息。但由于目前的技术还不能对视频信息自动生成关键字描述，仍然需要使用手工的方法对视频进行解释和注释，这是一项非常耗时的工作，而且具有一定的主观性。因此，基于文本的视频检索方法已不能满足海量监控视频的检索需要。

目前，基于内容的视频检索方法（Content-Based Video Queries，CBVQ）已成为多媒体技术研究领域的热点，它突破了传统的基于文本检索技术的局限，直接对视频的内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索，提供了一种符合人类认知规律的高效检索方法。随着各种图像处理技术的进步，尤其是特征提取和目标分类算法的改进，基于内容的视频检索方法得到了广泛的应用，也能够很好地满足海量监控视频的检索需要。

从监控视频内容中提取的关键信息主要包括视频对象特征以及对象间的时空关系等，各种信息从不同层次对视频的内容进行了描述，为了能够有效地支持基于内容的监控视频检索，就需要通过视频建模将视频内容的描述信息有效地组织起来。通过对视频信息进行结构化的分层描述，在视频数据流之外产生一路视频数据的描述流，从而可以基于描述流进行高效检索和关联调阅，这将为海量视频的快速检索提供可行的解决方案。

4.监控视频的语义描述方案

语义是指数据的含义，对于计算机科学来说，语义一般是指用户对于那些用来描述现实世界的计算机符号的解释。用户对视频内容信息的检索和利用往往是建立在对视频语义的理解上，所以语义信息的描述在视频建模中占有十分重要的地位。根据一般人对视频含义的理解，可以根据用户查询角度的不同将视频的语义信息大致分为3个层次：

（1）第一个层次是视觉特征语义信息，用来描述视频的颜色、形状或运动等视觉特征及其组合，亦即底层语义；

（2）第二个层次是对象和对象间时空关系语义信息，通过识别和逻辑推理确定视频内容中的对象和类别及对象间的拓扑关系，亦即中层语义；

（3)第三个层次是高层语义信息，如行为描述、事件描述、情感描述等高层语义。这是根据对象语义和对象时空关系的信息及其变化经高层推理和判断而来的，这些推理和判断往往需要利用一定的映射模型和规则。

5.现有视频描述方案的不足

（1）未定义用户感兴趣的静止区域

现有视频描述系统在完成对象语义层的描述时并没有根据对象的特征进行区分，而只是很笼统地对视频中的出现的主要目标（包括运动目标、静止区域等）进行统一描述。但在监控视频描述中，某些静止区域的描述以及运动目标和静止区域之间的关系描述会对高层语义信息的理解产生较大影响，例如，交通系统是一个综合性系统，一段交通监控视频中出现的对象既有运动目标（行人和车辆），也有静止区域（道路和交通牌等），如果能够在中层语义描述中将两者进行区分，那么根据它们之间的关系描述以及相应的语义信息，就可以更简单地判断高层语义信息，圆满地完成简单的交通事件检测。

此外，在监控视频中，由于静止区域在视频中的位置一般固定不变，而且在整个7×24小时的视频中用户通常更关注出现在某些特定区域的运动目标，所以可以先找到那些感兴趣区域，然后对与感兴趣区域相关的运动目标进行详细描述，可以提高对高层语义信息理解的效率。

根据上述分析，在监控领域的视频描述中，如果没有在对象层信息中明确定义并区分用户感兴趣的静止区域，会给之后高层语义信息的判断带来困难。

（2）视频对象间关系描述信息冗余

由于运动目标之间以及运动目标和静止区域之间的空间关系是随时间变化的，所以如果对每一帧的空间关系都进行描述，将会造成关系描述信息的冗余，不利于海量监控视频信息的存储、传输和检索。

此外，有些对象之间不具有很强的相关性，例如时间或空间距离过大，这些关系信息的描述不会给高层语义信息的理解带来帮助，同样导致关系描述信息的冗余。

发明内容

本发明的目的在于克服上述现有视频描述技术的不足之处，提出了一种针对监控视频语义描述和检测建模的改进方案，使之能够更好地适应对监控视频的有效描述，为后期的海量监控视频信息的存储和检索提供支持。

本发明的一个目的是提供一种面向检索的监控视频语义描述方法，包括如下步骤：

步骤一：针对现有的视频描述方案未定义用户感兴趣的静止区域的问题，在一般视频描述系统的基础上，将对象语义层的信息进行细分，大致可分为三类：

（1）运动目标描述；

（2）静止区域描述；

（3）运动目标与静止区域之间的关系描述。

这样一来，通过解释和描述特定静止区域的内容以及运动目标与静止区域间的时空关系，就可以更有效地完成高层语义信息的理解。

所述的监控视频描述中的静止区域，是指：图像中宽度大于一定像素的联通的点组成的图形，在本发明中，特指在一段监控视频中静止的，并且具备特定含义的背景区域，可以考虑两种方式进行定义：

（1）由计算机自动完成，在背景图像中按照相似性分割得到的不规则区域：先提取出视频的背景，然后利用适当的图像分割（边缘检测算法等）技术，使每一个区域具有“相似”的特性，即在一个区域内部满足某种特征（例如纹理、颜色等）的一致性，而相邻的不同区域间具有不同的特性。

（2）通过人工标注，指定视频中一个固定范围为指定区域，一般该区域是用户重点关注的感兴趣区域，例如银行的柜台前、景区的出入口、超市的收银台和交通路口的斑马线等。

由于第一种方法的分割技术要求较高，所以本发明可以采用第二种较为简单的区域定义方法，可以利用一个坐标值确定且包含关注区域的最小矩形框进行标注。

步骤二：针对现有视频描述中对象间关系描述信息冗余的问题，定义了时间维上的第一级空间关系，并在此基础上导出了时间维上的第二级空间关系，只对空间关系的变化情况进行描述，减少了监控视频描述流的信息。

所述的时间维上的第一级空间关系，是指：变化的空间关系在时间维上的分段描述，而不再针对每一帧的空间关系进行描述。

所述的时间维上的第二级空间关系，是指：直接对空间关系随时间的变化情况进行描述。

步骤三：根据步骤一和步骤二中对现有视频描述方案的改进，参考MPEG-7标准中描述定义语言的规范表示，对输入测试视频序列进行了固定格式的结构化描述，并生成描述文档，即相应的视频描述流信息。

所述的测试视频序列，是指：不同应用场景的监控视频（如银行、交通路口等）以及PETS等国际上通用的测试序列。

所述的描述文档，是指：包含视频对象层语义信息的描述流，采用XML的文档格式标准，可以直观的描述视频中用户关注的目标信息。

本发明另一目的是提供一种监控视频事件检测建模方法，在上述面向检索的监控视频语义描述方法基础上，即在步骤三之后进一步进行步骤四的处理：

步骤四，利用事件解析的相关知识，基于描述流中的中层语义信息实现高层语义信息的检测建模。

所述的描述流中的中层语义信息，是指：包括视频中对象的语义特征、物理特征以及对象之间的关系等，也称作对象层信息。

所述的高层语义信息，是指：在对中层语义信息进行各种处理和分析的基础上，通过建立一定的映射和推理规则，应用自然语言的概念，选择一组运动词语或短句来描述视频中对象的行为，即通常所说的“事件”，因而也可以称作事件层信息。

所述的事件解析过程，是指：首先根据事件解析复杂度的不同，将其分为元事件和复杂事件两类。元事件是指视频中一个运动目标在某一时间段内发生的单一行为，可以由一系列对象特征以及对象间关系的变化情况来描述，而复杂事件则需要分解为符合一定逻辑关系和时间关系的若干个元事件，而不能直接利用描述流中的对象层信息。任何一个复杂事件，只要找到合理有效的推理映射规则，就能够用相应的对象层信息和相关元事件来进行解析表示。

本发明根据当前基于MPEG-7的视频描述方案在监控领域的优点和不足，针对其中未定义用户感兴趣的静止区域的问题，将视频对象细分为运动目标和静止区域进行描述，同时为了解决描述流中对象间关系描述的信息冗余问题，定义了时间维上的第二级空间关系来描述空间关系随时间的变化情况。最后通过事件的检测建模，证明了基于所改进的监控视频语义描述方案得到监控视频的描述流，能够很好地支持高层语义信息的理解。

与现有技术相比，本发明具有如下的有益效果：

（1）针对现有视频描述中没有定义用户感兴趣的静态区域的问题，结合监控视频应用场景的特殊需求，将视频对象细分为运动目标和静止区域进行描述，有利于高层语义信息的解析。

（2）针对现有视频描述中对象间关系描述信息冗余的问题，定义了时间维上的第一级空间关系，并在此基础上导出了时间维上的第二级空间关系，只对空间关系的变化情况进行描述，大大减少了监控视频描述的信息。

（3）利用监控视频对象层语义信息到高层语义信息的映射关系，完成了事件的检测建模，为视频中感兴趣事件的检索提供支持。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1本发明对现有监控视频描述系统进行改进后的系统框架图；

图2本发明改进后的视频对象描述方案；

图3本发明基于改进后的监控视频描述方案得到的描述流文档。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本实施例针对交通监控视频中的典型违章事件，采用本发明中所提出的改进的监控视频语义描述方案生成视频描述流信息，最终基于描述流中的对象层语义信息实现了视频中感兴趣事件的检测建模。本实施例，以Visual Studio2010作为测试平台，并使用openCV、tinyxml等工具包，可用于各种交通监控场景，如十字路口、高速公路等。

本实施例涉及交通监控视频描述流信息的生成以及违章事件的检测建模方法，如图1所示，包括如下具体步骤：

步骤一，从采集到的监控视频中提取出用户所需的关键信息，首先在监控视频采集器中分离出视频的元数据信息，然后对余下的视频数据进行特征提取，得到视频的底层特征信息。

所述的视频元数据信息，是指与监控视频内容本身无关的信息，它不能通过分析视频内容获得，往往通过人工的方式加以标注。元数据信息在交通监控视频描述中十分重要，因此，可以对MPEG-7描述方案中的元数据信息进行扩展，将其分为视频编号、视频链接地址、监控地点、监控时间、视频编码格式和应用场景等，同时结合元数据信息和高层语义信息之间的映射关系，可以快速完成高层语义信息的理解。

所述的视频底层特征信息，是指视频的颜色、形状、纹理以及运动等视觉特征及其组合。

步骤二，利用视频的底层特征信息，通过识别和逻辑推理确定视频内容中的对象和类别及对象间的拓扑关系，即中层语义信息，包括运动目标的描述信息、静止区域的描述信息以及运动目标和静止区域之间关系的描述信息。

所述交通监控视频中的运动目标，是指在一段交通视频中位置发生改变的目标，如行人、车辆等。

所述运动目标的描述信息，如图2所示，是指运动目标的物理特征描述和语义特征描述以及运动目标之间的关系描述，运动目标的物理特征包括颜色、纹理、形状、位置、运动以及时间等，语义特征包括类别和文本注释等，而运动目标之间的关系描述包括空间关系、时间关系和语义关系。

所述交通监控视频中的静止区域，是指用户关注的某些背景区域，如斑马线、红绿灯以及交通标识等。

所述静止区域的描述信息，如图2所示，是指静止区域的物理特征描述和语义特征描述以及静止区域之间的关系描述，与运动目标描述不同的是，静止区域的物理特征不包括时间特征和运动特征，并且静止区域之间的关系只定义了空间关系和语义关系。

所述运动目标和静止区域之间的关系描述，是指一段交通视频中运动目标和静止区域之间的空间位置关系。

步骤三，根据本发明所提出的改进的视频对象描述方案，得到一段交通监控视频的XML描述文档，即视频描述流信息。

所述的交通监控视频描述文档，如图3所示，是指视频元数据描述信息和视频内容描述信息，其中视频内容的描述信息对该段视频中出现的运动目标和用户感兴趣的静止区域进行了描述，同时还包括视频中对象间关系的描述信息。

步骤四，针对交通视频中典型违章事件的检测，利用事件解析的相关知识，基于描述流中的中层语义信息实现高层语义信息的检测建模。

所述交通视频中的典型违章事件，是指在一段交通监控视频中用户关注的违章事件，如闯红灯、非法左转、非法停车等。

所述的事件解析过程，是指：首先根据事件解析复杂度的不同，将其分为元事件和复杂事件两类。元事件是指视频中一个运动目标在某一时间段内发生的单一行为，可以由一系列对象特征以及对象间关系的变化情况来描述，而复杂事件则需要分解为符合一定逻辑关系和时间关系的若干个元事件，而不能直接利用描述流中的对象层信息。任何一个复杂事件，只要找到合理有效的推理映射规则，就能够用相应的对象层信息和相关元事件来进行解析表示。

以常见的“车辆非法停车”事件检测建模为例，该事件涉及到的对象包括车辆（运动目标）和道路（静止区域），设定object 1为车辆，region 1为道路区域（注释表明禁止停车），则“车辆非法停车”事件可以解析得到的对象层信息如下表所示。因此根据上述解析过程，如果从一段交通监控视频描述流信息中，检索得到道路的语义特征为“不能停车”，并且车辆和道路之间的时空关系表示为“车辆停在道路中”，则可以判断发生了“车辆非法停车”事件。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种面向检索的监控视频语义描述方法，其特征在于，包括如下步骤：

步骤一，针对现有视频描述中没有定义用户感兴趣的静态区域的问题，结合监控视频应用场景的特殊需求，将视频对象细分为运动目标和静止区域进行描述；

步骤二，针对现有视频描述中对象间关系描述信息冗余的问题，定义了时间维上的第一级空间关系，并在此基础上导出了时间维上的第二级空间关系，只对空间关系的变化情况进行描述；

步骤三，根据上述步骤一和步骤二的监控视频语义描述方案，参考MPEG-7标准中描述定义语言的规范表示，对输入测试视频序列进行了固定格式的结构化描述，并生成描述文档，即相应的视频描述流信息。

2.根据权利要求1所述的面向检索的监控视频语义描述方法，其特征是，所述的用户感兴趣的静止区域描述，是指：图像中宽度大于一定像素的联通的点组成的图形，特指在一段监控视频中静止的，并且具备特定含义的背景区域，采用以下两种方式进行定义：

（1）由计算机自动完成，在背景图像中按照相似性分割得到的不规则区域：先提取出视频的背景，然后利用图像分割技术，使每一个区域具有“相似”的特性，即在一个区域内部满足某种特征的一致性，而相邻的不同区域间具有不同的特性；

（2）通过人工标注，指定视频中一个固定范围为指定区域，该区域是用户重点关注的感兴趣区域。

3.根据权利要求2所述的面向检索的监控视频语义描述方法，其特征是，所述（2），是指利用一个坐标值确定且包含关注区域的最小矩形框进行标注。

4.根据权利要求1所述的面向检索的监控视频语义描述方法，其特征是，所述对象间关系描述信息冗余问题，具体为：运动目标之间以及运动目标和静止区域之间的空间关系是随时间变化的，如果对每一帧的空间关系都进行描述，将会造成关系描述信息的冗余，不利于海量监控视频信息的存储、传输和检索；此外，有些对象之间不具有很强的相关性，这些关系信息的描述不会给高层语义信息的理解带来帮助，同样导致关系描述信息的冗余。

5.根据权利要求1-4任一项所述的面向检索的监控视频语义描述方法，其特征是，所述时间维上的第一级空间关系，是指：变化的空间关系在时间维上的分段描述，而不再针对每一帧的空间关系进行描述。

6.根据权利要求1-4任一项所述的面向检索的监控视频语义描述方法，其特征是，所述时间维上的第二级空间关系，是指：直接对空间关系随时间的变化情况进行描述。

7.一种采用权利要求1-4所述方法的监控视频事件检测建模方法，其特征在于，包括如下步骤：

步骤一，针对现有视频描述中没有定义用户感兴趣的静态区域的问题，结合监控视频应用场景的特殊需求，将视频对象细分为运动目标和静止区域进行描述；

步骤二，针对现有视频描述中对象间关系描述信息冗余的问题，定义了时间维上的第一级空间关系，并在此基础上导出了时间维上的第二级空间关系，只对空间关系的变化情况进行描述；

步骤三，根据上述步骤一和步骤二的监控视频语义描述方案，参考MPEG-7标准中描述定义语言的规范表示，对输入测试视频序列进行了固定格式的结构化描述，并生成描述文档，即相应的视频描述流信息；

步骤四，利用事件解析的相关知识，基于描述流中的中层语义信息实现高层语义信息的检测建模。

8.根据权利要求7所述的监控视频事件检测建模方法，其特征是，所述事件解析的过程，是指：首先根据事件解析复杂度的不同，将其分为元事件和复杂事件两类，元事件是指视频中一个运动目标在某一时间段内发生的单一行为，由一系列对象特征以及对象间关系的变化情况来描述；而复杂事件则需要分解为符合一定逻辑关系和时间关系的若干个元事件，不能直接利用描述流中的对象层信息，任何一个复杂事件，只要找到合理有效的推理映射规则，就能够用相应的对象层信息和相关元事件来进行解析表示。

Images