CN101778260A - 一种基于结构化描述的视频监控管理方法及系统 - Google Patents

Abstract

本发明的目的在于公开一种基于结构化描述的视频监控管理方法及系统，可以对视频图像进行分析、理解，并产生结构化描述数据，视频数据和描述数据之间存在着对应关系，用户通过对视频描述数据的操作来实现对视频图像数据的查询、浏览、检索等信息化的应用，工作性能稳定可靠，适用范围较为广泛，解决了海量视频数据分析和管理的问题，降低人工监控的成本，提高了现有视频监控系统的智能化、信息化技术水平，实现本发明的目的。

Description

一种基于结构化描述的视频监控管理方法及系统

技术领域

本发明涉及一种视频监控管理方法及其系统，特别是涉及一种基于结构化描述的视频监控管理方法及其系统。

背景技术

近年来，视频监控系统建设工程在国内各大城市普及开来，遍布城市的各类监控摄像设备有机地互连在一起，其视野逐渐覆盖城市的每一个角落，构成了信息社会中数字城市的“眼睛”，实时地监视着城市每个角落，防止发生各种违法犯罪行为，为整个社会的稳定、和谐提供了保障。

目前，几乎全部监控系统的分析都依赖于人工，由于人工监控本身固有的缺陷，人力越来越难以胜任海量监控视频数据信息的分析和理解；当摄像机的数量过多的时候，不能做到对全部场景的连续监控，并且由于监控人员疲劳、疏忽、精力不集中等原因，会严重影响监视的效果。

另外，视频数据是一种非结构化的数据，数据量庞大，并且难以进行分类和检索，有效信息利用效率低。若需要通过视频录像来查找某个线索或者细节，必须采用人工调阅该录像视频片断方法，对该视频录像进行完整的分析。比如：从1段时间为3小时的监控录像中查找“一个穿蓝色西装的人”，必须人工从头至尾观看该录像片断，才能找出所有相关的画面或场景。如果给出更多、更长的监控视频录像，人工就很难完成分析和查找工作了。

为了解决现有的视频监控系统中存在的问题，国内外研究机构在智能视频监控领域也做了大量卓有成效的研究，其技术包括：实时运动物体检测与跟踪(Real-Time Moving Object Detection and Tracking)、目标识别(ObjectRecognition)、步态分析(Human Gait Analysis)以及多摄像头协作跟踪(Multi-camera Coorperative Tracking)等。

中国专利申请号为200710178409.2的发明专利公开了一种运动检测方法、装置及一种智能监控系统，通过将背景差分图像和帧间差分图像进行逻辑与处理获得运动前景图像。

中国专利申请号为200410016455.9的发明专利公开了一种具有多摄像机的智能跟踪监控系统，该系统包括全景摄像机和多个跟踪摄像机，在全景摄像机发现移动目标时，将目标的准确位置通知各个跟踪摄像机，有多个跟踪摄像机分别跟踪多个移动目标，获取高清晰图像。该发明可用于对场景或通道的视频监控，以进行大范围、多目标的运动监控。

中国专利申请号为200810161985.0的发明专利公开了一种通过元数据描述视频概要的视频概要描述方案，该发明采用了一种分级概要描述方案(DS)，分级概要描述方案至少包括一个精彩场面级DS，并且选择性的包括概要主题列表DS。视频概要提供导航功能和浏览功能，并且使得有效地检索所需要的视频内容具有可能性。

综上，现有的智能视频监控技术只是分析视频中的运动目标和一些预先定义好的异常事件，而不能产生关于视频图像内容和特征的结构化描述，从而难以实现在视频数据的查询、检索等功能；虽然也有人提出视频概要描述方案，但是该方案未能解决视频监控系统中描述产生、数据存储和系统应用的问题。

发明内容

本发明的目的在于提供一种基于结构化描述的视频监控管理方法及其系统，解决现有视频监控系统中存在的上述问题，应用范围广，性能稳定可靠。

本发明所解决的技术问题可以采用以下技术方案来实现：

本发明一方面提供一种基于结构化描述的视频监控管理方法，其特征在于，它包括如下的步骤：

(1)对视频图像进行分析、描述，将视频图像中包含的场景、物体、事件、敏感区域、视觉特征等进行分解、提取、分类、归纳和总结，产生关于视频图像内容和属性的数据信息；

(2)对产生的关于视频图像内容和属性的数据信息和视频图像进行压缩编码，生成视频数据和视频描述元数据；

(3)视频数据和视频描述元数据之间建立对应关系，并向用户提供浏览、查询、检索等应用服务；

(4)用户对视频描述元数据进行查询、检索和浏览等操作，获得相应的视频数据结果。

在本发明的一个实施例中，在上述步骤(2)中如果发现在视频数据中发生定义的异常情况则进行报警处理。

在本发明的一个实施例中，所述视频数据和视频描述元数据之间建立对应关系是指在通过对应关系确定视频描述元数据在视频数据中的相应位置，所述视频数据和视频描述元数据之间的对应关系包括时间对应关系、空间对应关系、文件对应关系及帧号对应关系等。

在本发明的一个实施例中，对视频图像进行分析、描述包括如下步骤：

(1)对视频图像进行分割，根据场景、镜头、事件、目标、对象、时间等要素把视频图像分割成视频片断、关键帧和子区域；

(2)对视频片断、关键帧和子区域进行特征提取，提取其形状、颜色、纹理、运动、定位、轮廓等视觉特征，并生成关于这些特征的描述；

(3)根据提取的视觉特征进行分类判别，产生关于视频图像的语义描述。

在本发明的一个实施例中，对视频图像进行分析、描述的方式包括自动、半自动和人工三种方式。

在本发明的一个实施例中，所述压缩编码的方法包括MPEG-1、MPEG-2、MPEG-4、H.264、AVS、SVAC等视频压缩编码方法。

在本发明的一个实施例中，所述视频描述元数据的文件格式和定义语言包括可扩展标记语言(XML)、二进制可扩展标记语言(Binary XML)以及对上述语言的扩展和补充。

在本发明的一个实施例中，所述查询、检索的方式包括输入检索表达式进行检索和输入示例图像进行检索两种方式。

进一步，所述输入检索表达式是指把检索条件编制成一个表达式，根据表达式来进行检索。例如：查找一个红色的小汽车，表达式可以为“汽车”+“红色”。

进一步，所述输入示例图像进行检索是指输入要查找的图像，在给定的数据库或集合中查找相同或相似的图像。

本发明另一方面提供一种基于结构化描述的视频监控管理系统，其特征在于，它包括：

视频图像源，用于提供视频图像；

视频分析描述模块，从视频图像源获取视频图像并进行分析、描述、压缩编码等处理，处理后得到视频数据、视频描述元数据；

数据存储模块，用于存储和管理视频数据和视频描述元数据；及

应用服务模块，利用数据存储模块中存储的视频数据和视频描述元数据为终端用户提供包括查询、检索、浏览、过滤、偏好设定等各种数据应用服务。

在本发明的一个实施例中，所述视频监控管理系统还包括一报警处理模块，对所述视频分析描述模块产生的实时的报警信息进行处理。

进一步，所述报警处理模块包括声光报警装置和详细报警信息显示装置。声光报警装置主要通过声音、闪光等手段提醒相关人员注意，详细报警信息显示装置则通过屏幕等装置把报警时间、报警地点、报警内容等信息显示给相关人员。

在本发明的一个实施例中，所述视频图像源包括监控摄像机、视频文件、视频信号发生装置、视频服务器、视频分频器和存储视频图像的介质。

在本发明的一个实施例中，所述视频分析描述模块的工作模式包括自动、半自动和人工方式。

在本发明的一个实施例中，所述终端用户进行查询或检索时，可以根据相关性对查询、检索的结果进行判断、筛选或排序，并把相关信息反馈给所述应用服务模块，所述应用服务模块根据反馈信息调整检索方法和策略，提高检索精度。

本发明的基于结构化描述的视频监控管理方法及系统，可以对视频图像进行分析、理解，并产生结构化描述数据，视频数据和描述数据之间存在着对应关系，用户通过对视频描述数据的操作来实现对视频图像数据的查询、浏览、检索等信息化的应用，工作性能稳定可靠，适用范围较为广泛，解决了海量视频数据分析和管理的问题，降低人工监控的成本，提高了现有视频监控系统的智能化、信息化技术水平，实现本发明的目的。

本发明的特点可参阅本案图式及以下较好实施方式的详细说明而获得清楚地了解。

附图说明

图1为本发明的基于结构化描述的视频监控管理方法的流程示意图；

图2为本发明的视频图像的分析、描述的流程示意图；

图3为本发明的基于结构化描述的视频监控管理系统的结构示意图；

图4为本发明的基于结构化描述的视频监控管理系统的网络拓扑图；

图5为本发明的视频图像分割示意图；

图6为本发明的特征提取示意图；

图7为本发明的分类判别示意图；

图8为本发明的视觉特征和语义描述元数据示例；

图9为本发明的视频数据和描述元数据对应关系和检索过程示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

实施例

如图1所示，本发明的基于结构化描述的视频监控管理方法，它包括如下的步骤：

(1)对视频图像进行分析、描述，将视频图像中包含的场景、物体、事件、敏感区域、视觉特征等进行分解、提取、分类、归纳和总结，产生关于视频图像内容和属性的数据信息；

(2)对产生的关于视频图像内容和属性的数据信息和视频图像进行压缩编码，生成视频数据和视频描述元数据；

(3)视频数据和视频描述元数据之间建立对应关系，并向用户提供浏览、查询、检索等应用服务；

(4)用户对视频描述元数据进行查询、检索和浏览等操作，获得相应的视频数据结果。

在本发明中，在上述步骤(2)中如果发现在视频数据中发生定义的异常情况则进行报警处理。

例如，在视频数据中发现有汽车闯红灯，有人翻墙等异常情况，则会进行报警处理，提醒操作人员注意。

所述视频数据和视频描述元数据之间建立对应关系是指在通过对应关系确定视频描述元数据在视频数据中的相应位置，所述视频数据和视频描述元数据之间的对应关系包括时间对应关系、空间对应关系、文件对应关系及帧号对应关系等。

例如：视频描述元数据在描述视频数据中出现的某个目标，给出其对应关系：文件名20091206.avi、帧号195558、坐标(25，58)，则可以根据这些信息定位到视频数据的视频文件20091206.avi的第195558帧，可在画面中坐标为(25，58)的位置找到该目标。

如图2所示，对视频图像进行分析、描述包括如下步骤：

(1)对视频图像进行分割，根据场景、镜头、事件、目标、对象、时间等要素把视频图像分割成视频片断、关键帧和子区域；

(2)对视频片断、关键帧和子区域进行特征提取，提取其形状、颜色、纹理、运动、定位、轮廓等视觉特征，并生成关于这些特征的描述；

(3)根据提取的视觉特征进行分类判别，产生关于视频图像的语义描述。

对视频图像、特征描述和语义描述进行压缩编码，形成视频数据、视频描述元数据。

在本发明中，对视频图像进行分析、描述的方式包括自动、半自动和人工三种方式。

自动方式是指对视频图像进行分析和描述的工作全部由系统独立完成，中间没有人工的参与或干预。

半自动的方式是指上述分析和描述工作的一部分由系统完成，另一部分由人工完成，人与系统之间存在着交互。例如：系统通过视频图像分割，把画面中的活动目标图像分割出来，并进行特征提取和分类判别，人工对分类的结果进行校正，并进行高级语义分析和描述。

人工方式是指对视频的分析和描述工作全部由人工来完成，并把分析描述的结果通过人工输入到系统中。

在本发明中，所述压缩编码的方法包括MPEG-1、MPEG-2、MPEG-4、H.264、AVS、SVAC等视频压缩编码方法。

在本发明中，所述视频描述元数据的文件格式和定义语言包括可扩展标记语言(XML)、二进制可扩展标记语言(Binary XML)以及对上述语言的扩展和补充。

在本发明中，所述查询、检索的方式包括输入检索表达式进行检索和输入示例图像进行检索两种方式。

所述输入检索表达式是指把检索条件编制成一个表达式，根据表达式来进行检索。例如：查找一个红色的小汽车，表达式可以为“汽车”+“红色”。

所述输入示例图像进行检索是指输入要查找的图像，在给定的数据库或集合中查找相同或相似的图像。

如图3所示，本发明的基于结构化描述的视频监控管理系统，它包括：视频图像源10、视频分析描述模块20、报警处理模块30、数据存储模块40、应用服务模块50和终端用户60。

视频图像源10用于提供视频图像；视频分析描述模块20从视频图像源获取视频图像并进行分析、描述、压缩编码等处理，处理后得到视频数据、视频描述元数据和实时报警信息；报警处理模块30对视频分析描述模块20产生的实时的报警信息进行处理；数据存储模块40用于存储和管理视频数据和视频描述元数据；应用服务模块50利用数据存储模块40中存储的视频数据和视频描述元数据为终端用户60提供包括查询、检索、浏览、过滤、偏好设定等各种数据应用服务。

在本发明中，视频图像源10包括监控摄像机、视频文件、视频信号发生装置、视频服务器、视频分频器和存储视频图像的介质。

在本发明中，视频分析描述模块20的工作模式包括自动、半自动和人工方式。

在本发明中，终端用户60进行查询或检索时，可以根据相关性对查询、检索的结果进行判断、筛选或排序，并把相关信息反馈给应用服务模块50，应用服务模块50根据反馈信息调整检索方法和策略，提高检索精度。

如图4所示，本发明的基于结构化描述的视频监控管理系统的网络拓扑图。图中虚线框表示的是系统的主要模块，包括视频图像源10、视频分析描述模块20、报警处理模块30、数据存储模块40、应用服务模块50和终端用户60。除此之外，系统还包括了一些其他的监控设备和设施，如：矩阵、键盘、电视墙、以太网等。

在图4中，视频图像源10为监控摄像机，包括各种球形摄像机、半球摄像机、一体化摄像机等。监控摄像机拍摄到的监控视频图像经过分频后，一路传送到矩阵，显示到电视墙或监控屏幕上，一路传送到视频分析描述模块20进行处理。

视频分析描述模块20由视频编解码设备和视频分析描述服务器组成。视频编解码设备把视频信号进行编码压缩，并进行传输或保存在本地。视频分析描述服务器对视频信号进行分析描述，产生关于视频图像内容和特征的视频描述元数据和实时报警信息。报警信息传送到报警处理模块30进行处理，视频描述元数据通过以太网传输到数据存储模块40进行存储。

报警处理模块30包括声光报警装置和详细报警信息显示装置。声光报警装置主要通过声音、闪光等手段提醒相关人员注意，详细报警信息显示装置则通过屏幕等装置把报警时间、报警地点、报警内容等信息显示给相关人员。

数据存储模块40由若干台数据库服务器组成，负责存储视频数据和视频描述元数据。

应用服务模块50由应用服务器组成，能够通过以太网访问数据库服务器，并提供基于数据库的各种应用服务，包括浏览、查询、检索、过滤、用户偏好设定等服务。

终端用户60可以通过台式机、笔记本电脑、个人数字助理(PDA)、手机或其他网络终端设备访问应用服务器，进行浏览、查询、检索等操作，并可以根据相关性对查询、检索的结果进行判断、筛选或排序，把相关信息反馈给应用服务模块50，应用服务模块50可根据反馈信息调整检索方法和策略，提高检索精度。

如图5所示，本发明视频图像分割示意图。待处理的视频图像为一段教学录像，该包含三个场景：播音员讲解、教练和学员谈话、车辆在场地上练习。

首先，根据场景的变化将整个视频分解成3个视频片断，每个视频片断包含一个场景。分割方法采用镜头边界检测方法，比较相邻两帧之间的变化，如果该变化超过某个阈值，则认为这两帧之间为镜头边界。

其次，对每个视频片断提取关键帧，关键帧一般为该视频片断中具有代表性的视频帧。以视频片断3为例，抽取视频片断3的第2帧为关键帧。

再次，根据关键帧画面中的活动目标对关键帧图像做进一步的分割，得到多个子区域。这样，通过上述步骤，把一段视频图像分割成若干视频图像片断、关键帧和子区域。

如图6所示，本发明的特征提取示意图。对经过分割得到包含有一辆灰色轿车的子区域图像进行特征提取，获得其区域形状特征，并且生成关于其特征的描述。该区域形状的特征是采用背景差分和图像形态学运算的方法获得，并采用可扩展标记语言(XML)对其进行描述。运用类似的方法还可以获得视频片断、关键帧、子区域的其他视觉特征及特征描述，包括：形状、颜色、纹理、运动、定位、轮廓等视觉特征。

如图7所示，本发明分类判别示意图。图像提取到视觉特征后，可根据其特征进行分类判别。分类判别的方法包括：相似度计算、模板匹配、基于机器学习的分类方法、神经网络、支持向量机等方法。本实施例中采用基于模板匹配的方法，提取图像的区域形状特征，并把该特征和知识库中的模板进行匹配，知识库中存有各种已经进行分类的模板，如果该图像的特征和知识库中某个分类中模板相匹配，则认为该图像属于该类别。图7中图像的区域特征和知识库中“汽车”类别中的某个模板相匹配，故分类判别的结果为“汽车”。

如图8所示，本发明视觉特征和语义描述元数据实例。该实例的元数据采用可扩展标记语言(XML)，包含了图像区域特征描述和语义描述。描述的方法是：首先制定描述的方案(MDS)，然后根据描述方案把图像的特征数据和语义描述数据用可扩展标记语言(XML)表述出来。从本例中可以看出，该描述元数据包含了区域形状特征(RegionShape)描述部分和语义(Semantic)描述部分。

如图9所示，本发明视频数据和描述元数据对应关系和检索过程示意图。用户可以采用输入检索表达式进行检索和输入示例图像进行检索两种方式进行检索。本实施例中，当采用检索表达式进行检索时，根据检索关键词，其检索表达式为“car”+“gray”，系统自动在描述元数据中检索关键词，检索到这些关键词所在的描述单元后，根据该描述和视频数据的对应关系把检索结果和对应的视频画面呈现给用户。本实施例中描述元数据和视频数据的对应关系为视频文件名(2009102105.avi)、视频帧编号(203345)和画面区域坐标(25，15，89，233)。当采用示例图像检索的方式时，用户输入要查找的图像，首先对该图像进行特征提取，然后根据提取的特征在描述元数据中进行检索。基于特征的检索的方法为：计算图像特征和描述元数据中特征的相似度，如果相似度超过某个给定的阈值，则认为两个特征匹配，也就可以认定2个特征所代表的原始图像相匹配，根据该描述和视频数据的对应关系把检索结果和对应的视频画面呈现给用户。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (17)

1.一种基于结构化描述的视频监控管理方法，其特征在于，它包括如下的步骤：

(1)对视频图像进行分析、描述，将视频图像中包含的场景、物体、事件、敏感区域、视觉特征等进行分解、提取、分类、归纳和总结，产生关于视频图像内容和属性的数据信息；

(2)对产生的关于视频图像内容和属性的数据信息和视频图像进行压缩编码，生成视频数据和视频描述元数据；

(3)视频数据和视频描述元数据之间建立对应关系，并向用户提供浏览、查询、检索等应用服务；

(4)用户对视频描述元数据进行查询、检索和浏览等操作，获得相应的视频数据结果。

2.如权利要求1所述的视频监控管理方法，其特征在于，在上述步骤(2)中如果发现在视频数据中发生定义的异常情况则进行报警处理。

3.如权利要求1所述的视频监控管理方法，其特征在于，所述视频数据和视频描述元数据之间建立对应关系是指在通过对应关系确定视频描述元数据在视频数据中的相应位置。

4.如权利要求3所述的视频监控管理方法，其特征在于，所述视频数据和视频描述元数据之间的对应关系包括时间对应关系、空间对应关系、文件对应关系及帧号对应关系。

5.如权利要求1所述的视频监控管理方法，其特征在于，对视频图像进行分析、描述包括如下步骤：

(1)对视频图像进行分割，根据场景、镜头、事件、目标、对象、时间等要素把视频图像分割成视频片断、关键帧和子区域；

(2)对视频片断、关键帧和子区域进行特征提取，提取其形状、颜色、纹理、运动、定位、轮廓等视觉特征，并生成关于这些特征的描述；

(3)根据提取的视觉特征进行分类判别，产生关于视频图像的语义描述。

6.如权利要求1所述的视频监控管理方法，其特征在于，对视频图像进行分析、描述的方式包括自动、半自动和人工三种方式。

7.如权利要求1所述的视频监控管理方法，其特征在于，所述压缩编码的方法包括MPEG-1、MPEG-2、MPEG-4、H.264、AVS、SVAC等视频压缩编码方法。

8.如权利要求1所述的视频监控管理方法，其特征在于，所述视频描述元数据的文件格式和定义语言包括可扩展标记语言(XML)、二进制可扩展标记语言(Binary XML)以及对上述语言的扩展和补充。

9.如权利要求1所述的视频监控管理方法，其特征在于，所述查询、检索的方式包括输入检索表达式进行检索和输入示例图像进行检索两种方式。

10.如权利要求9所述的视频监控管理方法，其特征在于，所述输入检索表达式是指把检索条件编制成一个表达式，根据表达式来进行检索。例如：查找一个红色的小汽车，表达式可以为“汽车”+“红色”。

11.如权利要求9所述的视频监控管理方法，其特征在于，所述输入示例图像进行检索是指输入要查找的图像，在给定的数据库或集合中查找相同或相似的图像。

12.一种基于结构化描述的视频监控管理系统，其特征在于，它包括：

视频图像源，用于提供视频图像；

视频分析描述模块，从视频图像源获取视频图像并进行分析、描述、压缩编码等处理，处理后得到视频数据、视频描述元数据；

数据存储模块，用于存储和管理视频数据和视频描述元数据；及

应用服务模块，利用数据存储模块中存储的视频数据和视频描述元数据为终端用户提供包括查询、检索、浏览、过滤、偏好设定等各种数据应用服务。

13.如权利要求12所述的视频监控管理系统，其特征在于，所述视频监控管理系统还包括一报警处理模块，对所述视频分析描述模块产生的实时的报警信息进行处理。

14.如权利要求13所述的视频监控管理系统，其特征在于，所述报警处理模块包括声光报警装置和详细报警信息显示装置；所述声光报警装置主要通过声音、闪光等手段提醒相关人员注意；所述详细报警信息显示装置则通过屏幕等装置把报警时间、报警地点、报警内容等信息显示给相关人员。

15.如权利要求12所述的视频监控管理系统，其特征在于，所述视频图像源包括监控摄像机、视频文件、视频信号发生装置、视频服务器、视频分频器和存储视频图像的介质。

16.如权利要求12所述的视频监控管理系统，其特征在于，所述视频分析描述模块的工作模式包括自动、半自动和人工方式。

17.如权利要求12所述的视频监控管理系统，其特征在于，所述终端用户进行查询或检索时，可以根据相关性对查询、检索的结果进行判断、筛选或排序，并把相关信息反馈给所述应用服务模块，所述应用服务模块根据反馈信息调整检索方法和策略，提高检索精度。

Images