CN105450978B - 用于在视频监控系统中实现结构化描述的方法和装置 - Google Patents

Abstract

本发明公开了一种用于在视频监控系统中实现结构化描述的方法和装置。本发明采用了由智能元数据流、智能元数据、元数据组件、以及属性信息形成的多层数据结构，因而能够利用多层数据结构实现结构化的信息描述。基于本发明利用多层数据结构的实现结构化信息描述，能够更容易、更快捷地在海量的视频文件中查找特定目标以进行例如视频检索定位、视频摘要显示等智能应用。而且，在本发明所提供的多层数据结构中，每个元数据组件中的属性信息可以包括时间空间属性、运动类属性、检测类属性、以及半结构化属性中的一个或任意组合，因而使得本发明所能够实现的结构化信息描述更为灵活且易于扩展。

Description

用于在视频监控系统中实现结构化描述的方法和装置

技术领域

本发明涉及视频监控技术，特别涉及一种用于在视频监控系统中实现结构化描述的方法和一种用于在视频监控系统中实现结构化描述的装置。

背景技术

视频监控系统中通常包括例如网络摄像机(IP Camera，IPC)、网络硬盘录相机(Network Video Recorder，NVR)、数字硬盘录相机(Digital Video Recorder，DVR)等位于监控前端的监控设备，用于向后端的应用平台提供视频监控文件。

但随着监控设备所支持的分辨率的不断提升，应用平台所存储的监控文件所需的存储容量越来越大。若在海量的监控文件中查找特定目标以进行智能应用，例如视频检索定位、视频摘要显示等，则会耗费大量的时间和资源。

由此，现有技术中就存在对目标信息进行结构化描述的需求。而且，随着视频监控的目标的多样化，对目标信息的结构化描述需要具备灵活的可扩展性。

发明内容

有鉴于此，本发明提供一种用于在视频监控系统中实现结构化描述的方法和一种用于在视频监控系统中实现结构化描述的装置。

本发明提供的一种用于在视频监控系统中实现结构化描述的方法，包括：

利用采集到的监控数据生成智能元数据流，智能元数据流中包含至少一个智能元数据，每个智能元数据包含至少一个元数据组件，每个元数据组件包含至少一种属性信息。

可选地，每个智能元数据对应一个目标群；每个智能元数据中的一个元数据组件对应该智能元数据所对应的目标群中的一个目标组件。

可选地，每个元数据组件中的属性信息包括下述的种类之一或任意组合：时间空间属性、运动类属性、检测类属性、以及半结构化属性。

可选地，时间空间属性中包括目标组件的标识信息、和/或目标组件的时间信息、和/或目标组件的空间信息；运动类属性中包括目标组件的方向信息、和/或目标组件的可视化信息、和/或目标组件的类别信息；检测类属性中包括目标组件所属类别的特征标识信息；半结构化属性中包括自定义的半结构化数据。

可选地，进一步包括：对智能元数据流进行编码；将编码后的智能元数据流封装至对监控数据编码得到的码流中；将封装有智能元数据流的码流通过网络传输。

可选地，通过网络传输的码流到达视频监控系统中的解码端后，由解码端基于从码流中解码得到的智能元数据实现视频检索。

本发明提供的一种用于在视频监控系统中实现结构化描述的装置，包括：

数据采集模块，采集监控数据；

智能元生成模块，利用采集到的监控数据生成智能元数据流，智能元数据流中包含至少一个智能元数据，每个智能元数据包含至少一个元数据组件，每个元数据组件包含至少一种属性信息。

可选地，每个智能元数据对应一个目标群；每个智能元数据中的一个元数据组件对应该智能元数据所对应的目标群中的一个目标组件。

可选地，每个元数据组件中的属性信息包括下述的种类之一或任意组合：时间空间属性、运动类属性、检测类属性、以及半结构化属性。

可选地，时间空间属性中包括目标组件的标识信息、和/或目标组件的时间信息、和/或目标组件的空间信息；运动类属性中包括目标组件的方向信息、和/或目标组件的可视化信息、和/或目标组件的类别信息；检测类属性中包括目标组件所属类别的特征标识信息；半结构化属性中包括自定义的半结构化数据。

可选地，进一步包括：数据流编码模块，对智能元数据流进行编码；数据流封装模块，将编码后的智能元数据流封装至对监控数据编码得到的码流中；网络传输模块，将封装有智能元数据流的码流通过网络传输。

可选地，通过网络传输的码流到达视频监控系统中的解码端后，由解码端基于从码流中解码得到的智能元数据实现视频检索。

如上可见，本发明采用了由智能元数据流、智能元数据、元数据组件、以及属性信息形成的多层数据结构，因而能够利用多层数据结构实现结构化的信息描述。基于本发明利用多层数据结构的实现结构化信息描述，能够更容易、更快捷地在海量的视频文件中查找特定目标以进行例如视频检索定位、视频摘要显示等智能应用。而且，在本发明所提供的多层数据结构中，每个元数据组件中的属性信息可以包括时间空间属性、运动类属性、检测类属性、以及半结构化属性中的一个或任意组合，因而使得本发明所能够实现的结构化信息描述更为灵活且易于扩展。

附图说明

图1为本发明实施例进行结构化描述所采用的多层数据结构的示意图；

图2为如图1所示的智能元数据多层结构的一应用实例的示意图；

图3为本发明实施例中用于在视频监控系统中实现结构化描述的方法的示例性流程示意图；

图4为本发明实施例中用于在视频监控系统中实现结构化描述的装置的示例性结构示意图；

图5为应用如图4所示装置的视频监控系统中的原理性结构示意图；

图6为图5所示的工作原理中的智能应用模块的优选实现方式的示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

请参见图1，本实施例为了针对视频监控中的目标信息实现结构化描述，提供了一种由智能元数据流、智能元数据、元数据组件、以及属性信息这四层形成的多层数据结构，具体如下：

1)智能元数据流

智能元数据流可以由监控设备产生、并包含至少一个智能元数据。

其中，智能元数据流中的每个智能元数据可以对应一个目标群(Object Group)，因此，智能元数据流表示的是一种以目标群为基本单位的数据流格式。或者，也可以认为智能元数据流表示的是设备层面的智能元数据的交换方式。

另外，智能元数据流中可以带有头部，该头部中可以带有产生该智能元数据流的监控设备的设备信息，智能元数据则顺序排列在该头部之后。

2)智能元数据

智能元数据中包含至少一个元数据组件，智能元数据通过其元数据组件的组合方式表示了监控设备的智能元数据生成方式。

其中，每个智能元数据中的一个元数据组件可以对应一个目标组件，相应地，智能元数据所对应的目标群是看作是由该智能元数据中的元数据组件所对应的目标组件组成。

实际应用中，本领域技术人员可以根据实际需要来任意划分组成目标群的目标组件，例如，依据监控事件实现目标群的划分，这里所述的监控时间可以是根据时间变化、光线变化、目标组件的数量变化、目标组件的位置变化、目标组件的运动趋势变化、目标组件的分布变化等，相应地，随着划分规则的变化，已生成的多个智能元数据可以被拆分为元数据组件、并重新组合形成新的智能元数据，也就是说，由元数据组件组成的智能元数据不是固定不变的，而是可以被拆分重组的。

另外，智能元数据中可以带有数据头，并利用数据头来表示智能元数据的数据信息，例如，表示智能元数据在数据流中对应的ASCII(American Standard Code forInformation Interchange，美国信息交换标准代码)码等。

3)元数据组件

元数据组件可以由监控设备中的智能算法库生成。实际应用中，由智能算法库生成元数据组件的方式可以为：智能算法库生成的原始数据即可以作为元数据组件，或者，智能算法库生成的原始数据经编辑或处理后再作为元数据组件；一个元数据组件可以由一个智能算法库生成、或者也可由多个智能算法库生成的原始数据合并产生。

并且，元数据组件包含至少一种属性信息。其中，元数据组件表示的使其对应的目标组件的目标信息大类，该目标组件的具体目标信息由属性信息限定。

另外，元数据组件可以包含组件头，该组件头中记录了元数据组件所包含的属性信息的种类和数量。

4)、属性信息

属性信息包括下述的种类之一或任意组合：时间空间属性、运动类属性、检测类属性、以及半结构化属性。如前文所述，属性信息表示目标组件的具体目标信息。

其中，时间空间属性是视频监控的基本属性；运动类属性表示的是与目标运动行为相关的智能应用所需的属性信息，运动类属性可以看作是中级属性；检测类属性表示的是涉及对运动目标进行用于区分目标的识别检测所得到的属性信息，检测类属性可以看作是高级属性；而半结构化属性按照本领域对“半结构化数据”的定义，可以是除上述三种结构化属性之外的自定义的属性信息数据，这些自定义的属性信息数据具有一定的结构、但结构性低于上述三种结构化属性。

相应地，依据监控设备的处理性能，所生成的元数据组件中包含的属性信息的类型及数量可以任意设定。例如，对于处理性能较弱的监控设备，生成的元数据组件可以只包含最基本的时间空间属性，对于处理性能中等的监控设备，生成的元数据组件除了最基本的时间空间属性之外还可以进一步至少包含运动类属性，对于处理性能较强的设备，生成的元数据组件可以同时包含时间空间属性、运动类属性、检测类属性、以及半结构化属性。

优选地，在实际应用中：

时间空间属性中的描述信息项可以包括目标组件的标识信息、和/或目标组件的时间信息、和/或目标组件的空间信息，例如，标识信息可以由目标组件的ID(Identify，识别标记)等表示，时间信息可以由目标组件的出现时间、持续出现时长等表示，空间信息可以由运动轨迹(一个或多个)、PTZ(Pan/Tilt/Zoom，云台信息)等表示。

运动类属性中的描述信息项可以包括目标组件的方向信息、和/或目标组件的可视化信息、和/或目标组件的类别信息，例如，方向信息可以由目标组件的运动方向等表示，可视化信息可以由目标组件的尺寸、形状、颜色等表示，类别信息可以由例如人、车辆、建筑等目标组件的类别表示。

检测类属性中的描述信息项可以包括目标组件所属类别的特征标识信息，例如，对于所属类别为人的目标组件，特征标识信息包括人的性别和/或年龄，而对于所属类别为车辆的目标组件，特征标识信息包括车牌号码和/或车辆品牌等。

半结构化属性如前文所述，可以包含除上述结构化三种属性信息之外的自定义的半结构化数据，例如，对监控数据处理得到的用于确定上述三种结构化属性信息的中间数据，或者，相比于上述三种能够产生结论性描述的结构化属性，半结构化属性中所包含的描述信息项也可以看作是非结论性描述信息。

另外，属性信息中可以包括属性头，该属性头中可以记录属性信息所属的种类及属性信息中所包含的描述信息项类型和数量。

为了更准确地理解上述的多层数据结构，本实施例通过以下实例对上述的多层数据结构进行进一步说明。

在本实例中，假设某个监控场景中包括快速移动的车辆、并且该车辆中乘坐两人，此时，该车辆、以及乘坐于该车辆的两人即可视为目标组件，而该车辆与乘坐于该车辆的两人即可组成一个目标群。

通过采集到的监控数据，可以提取出目标组件的各种属性信息，请参见图2，以提取的属性信息至少包括时间空间属性、运动类属性、检测类属性这三种结构化属性为例，个目标组件对应的属性信息包括：

作为目标组件1的车辆，其对应的时间空间属性包括唯一标识该车辆的目标ID1、该车辆的出现时间X点X分、该车辆的二维轨迹(x1，y1)，其对应的运动类属性包括该车辆的运动方向(朝向视频图像下方)、该车辆的颜色(银色)、该车辆所属的类别(汽车)，其对应的检测类属性包括该车辆的车牌号(YK977)以及该车辆的车辆品牌(W)；

作为目标组件2的人，其对应的时间空间属性包括唯一标识该人物的目标ID2、该人物的出现时间X点X分、该人物的二维轨迹(x2，y2)，其对应的运动类属性包括该人物的运动方向(朝向视频图像下方)、该人物的色彩(衣着白色)和类别(人类)，其对应的检测类属性包括该人物的性别(男)以及年龄(30岁)；

作为目标组件3的人，其对应的时间空间属性包括唯一标识该人物的目标ID3、该人物的出现时间X点X分、该人物的二维轨迹(x3，y3)，其对应的运动类属性包括该人物的运动方向(朝向视频图像下方)、该人物的色彩(衣着黄色)和类别(人类)，其对应的检测类属性包括该人物的性别(女)以及年龄(30岁)。

通过上述实例可见，本实施例提供的多层数据结构不但能够实现结构化描述，而且还能够利用属性信息的多样化而从多方位灵活全面地描述目标信息。

以上是对本实施例提供的多层数据结构的详细说明，基于该多层数据结构，本实施例提供了一种用于在视频监控系统中实现结构化描述的方法。

请参见图3，本实施例中用于在视频监控系统中实现结构化描述的方法包括可以由监控设备执行，并包括如下步骤：

步骤301，采集监控数据。其中，采集的监控数据可以是视频数据，也可以是视频数据和音频数据的组合。并且，对监控数据中的视频数据的采集，可以借助CMOS图像传感器和本领域常用的安防行业通用镜头来实现。

步骤302，利用采集到的监控数据生成智能元数据流，其中，智能元数据流中包含至少一个智能元数据，每个智能元数据包含至少一个元数据组件，每个元数据组件包含至少一种属性信息。该智能元数据流、智能元数据、元数据组件、以及属性信息所形成的多层结构请如图1所示，此处不再赘述。

步骤303，对智能元数据流进行编码。实际应用中，编码采用的协议可以是任一种现有的编码协议，例如H.264等。

步骤304，将编码后的智能元数据流封装至对监控数据编码得到的码流中。实际应用中，封装采用的协议可以是任一种现有的封装协议，例如RTP(Real-time TransportProtocol，实时传输协议)等。

步骤305，将封装有智能元数据流的码流通过网络传输。实际应用中，通过网络传输的码流可以到达视频监控系统后端的解码端、例如后端的应用平台，并且，例如应用平台等解码端可以基于从码流中解码得到的智能元数据实现例如视频检索等智能应用。

至此，本流程结束。

在实际应用中，上述方法可以由计算机程序来实现，因此，本实施例对应地提供了一种用于在视频监控系统中实现结构化描述的装置。

请参见图4，本实施例中用于在视频监控系统中实现结构化描述的装置可以承载于监控设备中，并包括如下模块：

数据采集模块401，用于采集监控数据。其中，采集的监控数据可以是视频数据，也可以是视频数据和音频数据的组合。并且，对监控数据中的视频数据的采集，可以借助CMOS图像传感器和本领域常用的安防行业通用镜头来实现。

智能元生成模块402，用于利用采集到的监控数据生成智能元数据流，其中，智能元数据流中包含至少一个智能元数据，每个智能元数据包含至少一个元数据组件，每个元数据组件包含至少一种属性信息。该智能元数据流、智能元数据、元数据组件、以及属性信息所形成的多层结构请如图1所示，此处不再赘述。

数据流编码模块403，用于对智能元数据流进行编码。实际应用中，编码采用的协议可以是任一种现有的编码协议，例如H.264等。

数据流封装模块404，用于将编码后的智能元数据流封装至对监控数据编码得到的码流中。实际应用中，封装采用的协议可以是任一种现有的封装协议，例如RTP(Real-time Transport Protocol，实时传输协议)等。

网络传输模块405，将封装有智能元数据流的码流通过网络传输。与方法部分同理，实际应用中，通过网络传输的码流可以到达视频监控系统后端的解码端、例如后端的应用平台，并且，例如应用平台等解码端可以基于从码流中解码得到的智能元数据实现例如视频检索等智能应用。

以上是对本实施例中用于在视频监控系统中实现结构化描述的方法和装置的说明。当视频监控系统中的监控设备运行上述方法或承载上述装置时，例如视频检索定位、视频摘要显示等即可更容易、更快捷地在视频监控系统中予以实现。

为了便于理解，以下采用模块化的描述方式来对应用本实施例的视频监控系统进行说明，即，视频监控系统中的监控设备承载有本实施例中的上述装置。

请参见图5，在视频监控系统中，监控设备(例如IPC、或NVR、或DVR等)承载有本实施例所提供的上述装置中的数据采集模块401、智能元生成模块402、数据流编码模块403、数据流封装模块404、以及网络传输模块405，并且，监控设备中还承载有监控数据编码模块500，该监控数据编码模块500用于对监控数据进行编码、以形成可封装智能元数据流的码流。

另外，仍参见图5，在视频监控系统中，位于后端的应用平台作为解码端、承载有如下的模块：

网络传输模块501，用于从监控设备接收封装有智能元数据流的监控数据码流；

数据流解封装模块502，用于从监控数据码流中解封装得到智能元数据流；

数据流解码模块503，用于对智能元数据流进行解码；

监控数据解码模块504，用于对监控数据码流中的监控数据进行解码；

智能化应用模块505，用于存储解码得到的智能元数据流和监控数据，并依据智能元数据流中的智能元数据对监控数据进行智能应用处理。

例如，基于智能元数据的智能应用处理可以包括视频检索等，相应地，请参见图6，智能化应用模块505中可以包括信息存储子模块601和视频检索子模块602，其中：

信息存储子模块601中可以将监控数据以录相文件的形式存储、并将智能元数据流中的智能元数据以元数据文件的形式存储；

视频检索子模块602则可以提取元数据文件生成元数据索引，再利用生成的元数据索引对存储的录相文件进行检索、并读取检索到的监控目标所在的录相文件。

其中，视频检索子模块602生成的元数据索引可以利用元数据文件中的元数据组件的属性信息作为检索关键词。例如，对于前文所列举的实例，采用元数据组件1至3中的运动类属性和检测类属性的结合作为关键词“车牌号为YK977的W品牌车辆中乘坐有衣着白色的30岁男性和衣着黄色的30岁女性”。

当然，对于视频检索的智能应用来说，并不限于利用属性信息生成索引的上述实现方式；而且，智能化应用模块602的实现方式也并不限于图6所示出的用于实现视频检索的优选实现方式。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种用于在视频监控系统中实现结构化描述的方法，其特征在于，包括：

利用采集到的监控数据生成智能元数据流，其中：

智能元数据流中包含头部和至少一个智能元数据，头部带有产生该智能元数据流的监控设备的设备信息，每个智能元数据对应一个目标群；

每个智能元数据包含数据头和至少一个元数据组件，数据头表示智能元数据的数据信息，每个智能元数据中的一个元数据组件对应该智能元数据所对应的目标群中的一个目标组件；

每个元数据组件包含组件头和至少一种属性信息，组件头中记录元数据组件包含的属性信息的种类和数量；

属性信息包括属性头，属性头中记录属性信息所属的种类及属性信息中所包含的描述信息项类型和数量。

2.根据权利要求1所述的方法，其特征在于，每个元数据组件中的属性信息包括下述的种类之一或任意组合：时间空间属性、运动类属性、检测类属性、以及半结构化属性。

3.根据权利要求2所述的方法，其特征在于，

时间空间属性中包括目标组件的标识信息、和/或目标组件的时间信息、和/或目标组件的空间信息；

运动类属性中包括目标组件的方向信息、和/或目标组件的可视化信息、和/或目标组件的类别信息；

检测类属性中包括目标组件所属类别的特征标识信息；

半结构化属性中包括自定义的半结构化数据。

4.根据权利要求1至3中任一项所述的方法，其特征在于，进一步包括：

对智能元数据流进行编码；

将编码后的智能元数据流封装至对监控数据编码得到的码流中；

将封装有智能元数据流的码流通过网络传输。

5.根据权利要求4所述的方法，其特征在于，通过网络传输的码流到达视频监控系统中的解码端后，由解码端基于从码流中解码得到的智能元数据实现视频检索。

6.一种用于在视频监控系统中实现结构化描述的装置，其特征在于，包括：

智能元生成模块，利用采集到的监控数据生成智能元数据流，其中：

智能元数据流中包含头部和至少一个智能元数据，头部带有产生该智能元数据流的监控设备的设备信息，每个智能元数据对应一个目标群；

每个智能元数据包含数据头和至少一个元数据组件，数据头表示智能元数据的数据信息，每个智能元数据中的一个元数据组件对应该智能元数据所对应的目标群中的一个目标组件；

每个元数据组件包含组件头和至少一种属性信息，组件头中记录元数据组件包含的属性信息的种类和数量；

属性信息包括属性头，属性头中记录属性信息所属的种类及属性信息中所包含的描述信息项类型和数量。

7.根据权利要求6所述的装置，其特征在于，每个元数据组件中的属性信息包括下述的种类之一或任意组合：时间空间属性、运动类属性、检测类属性、以及半结构化属性。

8.根据权利要求7所述的装置，其特征在于，

时间空间属性中包括目标组件的标识信息、和/或目标组件的时间信息、和/或目标组件的空间信息；

运动类属性中包括目标组件的方向信息、和/或目标组件的可视化信息、和/或目标组件的类别信息；

检测类属性中包括目标组件所属类别的特征标识信息；

半结构化属性中包括自定义的半结构化数据。

9.根据权利要求6至8中任一项所述的装置，其特征在于，进一步包括：

数据流编码模块，对智能元数据流进行编码；

数据流封装模块，将编码后的智能元数据流封装至对监控数据编码得到的码流中；

网络传输模块，将封装有智能元数据流的码流通过网络传输。

10.根据权利要求9所述的装置，其特征在于，通过网络传输的码流到达视频监控系统中的解码端后，由解码端基于从码流中解码得到的智能元数据实现视频检索。