CN102724385A - 一种视频智能分析方法及装置 - Google Patents

Abstract

本发明提供一种视频智能分析方法，应用于监控系统中的后端主机上，包括：A、从前端编码设备产生的视频帧中筛选出携带有视觉信息标签的视频帧，所述视觉信息为视觉要素变化量，所述视觉要素包括视频运动矢量、图像亮度以及色度中的一种或者多种，其中该视觉信息标签表示该视频帧携带的视觉信息符合前端编码设备上预设的变化条件；B、根据预定的应用分析规则对携带有视觉信息标签的视频帧进行分析，如果视频帧匹配到所述应用分析规则，则将分析结果作为应用标签存放到数据库中。本发明充分利用了大量前端编码设备的既有资源，将对视频帧的分析过程广泛分布到网络的大量节点上去，极大幅度地减轻了后端设备的处理压力。

Description

一种视频智能分析方法及装置

技术领域

本发明涉及视频监控领域的视频分析技术，尤其涉及一种业务分布式视频智能分析方法及装置。

背景技术

基于IP网络的视频监控已经逐渐发展成为行业的主流方案，成功应用于平安工程、高速公路、公安网、园区等大型项目。请参考图1，IP的标准性和开放性也使得各个网络孤岛的整合变得容易，使网络规模的扩展变得轻松，监控网络的规模变得越来越大。另一方面随着高清视频的广泛应用，不仅仅网络需要承载更大的流量。监控相关应用的开发也受到了较大的挑战，因为高清的视频所包含着海量数据。比如当前的视频智能分析应用的部署就受到硬件、软件算法等资源的限制。

在现有技术中对于海量的高清视频数据进行智能分析，通常需要较长的时间，无法满足监控领域中实时分析和快速检索的用户需求，比如说用户需要实时知道移动目标是否闯入禁区，或者在指定区域发生了拌线事件等等。目前常见的解决手段包括在集中式的架构上进行优化算法、或者在硬件上采用集群或云计算方案的做法存在无法逾越的瓶颈，通过分布式部署硬件计算资源来提高智能分析和检索业务的性能。首先分析算法的优化存在着客观规律的瓶颈，而要部署更多硬件资源则投入较大，当视频数据量成倍增加时，硬件资源的投入也会成倍增加，用户在整个监控网络的部署上面临着非常大的成本压力。

发明内容

有鉴于此，本发明提供一种视频智能分析装置，该装置应用于监控系统中的后端主机上，其中该监控系统中包括多个前端编码设备，该装置包括视频筛选单元以及应用分析单元，其中：

视频筛选单元，用于从前端编码设备产生的视频帧中筛选出携带有视觉信息标签的视频帧，所述视觉信息为视觉要素变化量，所述视觉要素包括视频运动矢量、图像亮度以及色度中的一种或者多种，其中该视觉信息标签表示该视频帧携带的视觉信息符合前端编码设备上预设的变化条件；

应用分析单元，用于根据预定的应用分析规则对携带有视觉信息标签的视频帧进行分析，如果视频帧匹配到所述应用分析规则，则将分析结果作为应用标签存放到数据库中。

本发明还提供一种视频智能分析方法，该方法应用于监控系统中的后端主机上，其中该监控系统中包括多个前端编码设备，该方法包括：

A、从前端编码设备产生的视频帧中筛选出携带有视觉信息标签的视频帧，所述视觉信息为视觉要素变化量，所述视觉要素包括视频运动矢量、图像亮度以及色度中的一种或者多种，其中该视觉信息标签表示该视频帧携带的视觉信息符合前端编码设备上预设的变化条件；

B、根据预定的应用分析规则对携带有视觉信息标签的视频帧进行分析，如果视频帧匹配到所述应用分析规则，则将分析结果作为应用标签存放到数据库中。

本发明还提供一种视频智能分析装置，应用于监控系统的前端编码设备上，其中该监控系统还包括后端解码设备、网络存储设备与该前端编码设备配合进行智能分析的后端主机，该装置包括视觉分析单元，存储筛选单元以及实况处理单元，其中：

实况处理单元，用于将编码产生的视频帧发送给后端解码设备；

视觉分析单元，用于判断编码产生的视频帧携带的视觉信息是否符合前端编码设备上预设的变化条件，如果是则将该视频帧打上视觉信息标签；其中所述视觉信息为视觉要素变化量，所述视觉要素包括视频运动矢量、图像亮度以及色度中的一种或者多种；

存储筛选单元，用于将携带有视觉信息标签的视频帧发送到网络存储设备上进行存储。

本发明充分利用了大量前端编码设备的既有资源，将对视频帧的分析过程广泛分布到网络的大量节点上去，极大幅度地减轻了后端设备的处理压力。并且前端编码设备还可以在视频分析的基础上做有策略的存储，大大节约用户的存储资源。

附图说明

图1为一种简单的IP监控网络组网图；

图2为本发明一种实施方式中视频帧智能分析过程示意图；

图3为本发明一种分析设备的硬件架构图；

图4为本发明后端主机上的一种视频智能分析装置逻辑结构图；

图5为本发明一种实施方式中分布式智能分析处理的流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步详细的说明。请参考图1，图1通常是对一个大型监控网络进行抽象形成的简化组网图。在一个监控网络中通常会包括前端编码设备、后端解码设备、各种监控服务器以及网络设备等。其中前端编码设备可以包括独立编码器EC、集成摄像头的编码器IPC等。在大型监控网络中，这种前端编码设备的部署量可能多达数万台乃至上百万台。

在现有的监控业务流程中，前端编码设备会将视频流编码形成视频帧，然后通过网络发送出去。后端解码设备收到后会对视频帧进行解码并显示给需要观看视频流的用户。本发明巧妙地借用前端编码设备在编码过程中产生的视觉信息来将智能分析业务过程在业务层面做切割形成分级式业务处理架构，以达到现有资源的充分利用。

请参考图2，本发明业务分级处理基本流程包括：

步骤101，前端编码设备在编码过程中获取视频帧的视觉信息，并判断视觉信息包括的视觉要素变化量是否满足预定条件，如果是则打上视觉信息标签并发送出去；

步骤102，后端主机从前端编码设备发送的视频帧中筛选出携带视觉信息标签的视频帧，根据预定的应用分析规则对携带有视觉信息标签的视频帧进行分析，并将分析结果作为应用标签存放到数据库中。

以下通过更为具体的实现实例对以上流程进行阐述。请参考图3、图4以及图5。从步骤101以及102可以看出，本发明将智能分析过程分解成两级处理，其中第一级处理在前端编码设备上，第二级处理在后端主机上。本发明所说的后端主机是一个广义的范畴，其可以是各种监控服务器、专用服务器、普通用户计算机、甚至是计算资源丰富的网络设备等。其一般的硬件架构可以参考图3所示的一种广泛被采用的计算机架构；以计算机程序实现为例，本发明提出的一种智能分析装置则应用在这样的硬件架构上。请参考图4，该智能分析装置包括：视频筛选单元、应用分析单元以及检索处理单元。相应地，本实施方式中前端编码设备以及后端主机的总体处理流程包括以下步骤：

步骤201，前端编码设备内置的视觉分析单元根据视频帧中的视觉信息判断视觉要素变化量是否满足预定条件，如果是，则将视频帧打上视觉信息标签，并转步骤202，否则转步骤202；

步骤202，将视频帧发送出去；

前端编码设备可以将视频帧发送给后端主机进行分析，还可以发送到存储设备上，后端主机从存储设备上获取视频帧进行分析。如前所述，前端编码设备在编码的过程中会产生视觉信息，这一视觉信息会被携带在视频帧中供解码侧解码使用；在本发明中对前端编码设备做适当的改造，向前端编码设备中植入视觉分析单元。从实现上来说，比较流行的办法是计算机编程来实现，一般来说，大部分前端编码设备会使用CPU或者DSP来执行编码工作，显然采用编程的方式引入视觉分析单元将会是一种比较流行的做法。

视觉分析单元，主要是利用前端编码设备中的编码单元的已有工作成果（视觉信息）来对视频帧做分类，如果视觉信息满足预设的变化条件，则将其打上视觉信息标签，其中视觉信息标签可以插在视频帧的码流中。视觉信息主要为一种或者多种视觉要素的变化量，常用的视觉要素包括视频运动矢量、图像亮度以及色度，本发明可以使用其中一种或多种视觉要素。这里所说的预设的变化条件可以有很多种变化，并且数量可以为多个，这主要取决于用户的需求。比如说，在有些应用场景中，用户对任何一种视觉要素的变化都很关心，预定的条件可能是任何一个视觉要素变化量不为零；在另外一些应用场景中，用户可能只关心一种视觉要素的变化量，再比如说，用户可能关心视频运动矢量的变化量；再比如说，用户对变化量大于一定阈值（不同视觉要素对应的阈值可能不同）；再比如说，用户可能仅仅关心视频帧中特定图像区域的视觉要素变化量，其他图像区域并不关心。

一方面，单个前端编码设备视觉分析单元所处理的工作量并不大，这是因为视觉分析单元的工作仅仅是条件判断与打标签，这样的处理量几乎不会影响到前端编码设备执行编码任务这一本职工作。但是如前所述，大型监控网络中前端编码设备的数量是极其巨大的，如果网络中有数十万台前端编码设备，那么这些设备累加起来的处理量将是极其惊人的，在现有技术中本发明前端编码设备这些处理量是在后端主机完成的，这无疑对后端主机性能的要求提出巨大挑战。本发明在此充分利用了监控网络中大量前端编码设备的计算资源，来缓解后端的压力。

步骤203，后端主机的视频筛选单元从前端编码设备产生的视频帧中筛选出携带有视觉信息标签的视频帧；

前端编码设备发送的视频帧中可能携带有视觉信息标签，当然也可能没有。对于那些没有视觉信息标签的视频帧对于智能分析来说是缺乏意义的，无法从中获得用户感兴趣的信息，因此本发明首先筛选出那些需要分析的携带视觉信息标签的视频帧。通过这样的筛选，待分析的视频帧数量将大幅度降低，而待分析的视频帧数量的降低意味着对后端主机计算资源的要求也会大幅度降低，用户对于后端主机的计算资源的投入会大幅度减少，甚至可能在相当长一段时间内不需要进行追加投入。视频筛选单元筛选视频帧的方式有多种，如果视频帧是从前端实时发送给后端主机的，那么视频筛选单元可以逐帧进行筛选，找到携带有视觉信息标签的视频帧；如果视频帧是先发送到存储设备中存储起来，那么视频筛选单元可以从存储设备上读取视频帧，然后逐帧进行筛选；或者从存储设备上读取携带有视觉信息标签的视频帧；因此筛选的实际实现方式是多种多样的。

步骤204，视频筛选单元将视觉信息标签存放到数据库中；

在筛选携带视觉信息标签的视频帧后，在优选的实施方式中还可以将这些视觉信息标签存储到数据中去以后后续作为用户检索查询的依据，比如说可以建立相应的索引表来为用户检索服务；当然这一步骤并不是必须，仅仅是为了丰富用户检索服务。

步骤205，视频筛选单元进一步判断指定的视觉要素变化量是否大于阈值，如果是则继续，否则结束；

虽然前端编码设备已经为一些待分析的视频帧打上了视频信息标签，在很大程度上帮助了视频筛选单元进行筛选，但这些筛选可能比较粗糙，在有些应用场景中，为了优化筛选工作，可以在进行更为深度的应用分析（也称为智能分析）之前，对携带视觉信息标签的视频帧进行进一步的筛选工作。本发明提供一种优化手段是先判断指定的视觉要素变化量是否大于阈值。对于用户关心的特定应用分析来说，如果一些视觉要素变化量无法达到阈值，则这些视频帧不需要再进行这个特定的应用分析。当然，用户的应用分析可能有多种，因此这里的判断也可能是多个条件的逻辑组合；比如说：视觉要素1变化量大于M或者视觉要素2变化量大于N。

步骤206，应用分析单元根据预定的应用分析规则对携带有视觉信息标签的视频帧进行分析，如果视频帧匹配到所述应用分析规则，则将分析结果作为应用标签存放到数据库中。

应用分析单元可能包括一种或多种预定的应用分析规则。以拌线事件这种应用为例，其处理过程包括：首先，在视频帧的画面中设置一条虚拟直线或者区域，拌线事件的分析规则包括：有物体或人越过该直线或区域，则视为发生绊线事件，应用分析单元产生相应绊线事件告警，并生成绊线标签。再比如说，在绊线事件的基础上，在交通管理的应用中可以进一步做车辆号牌识别这种深度应用；比如说判断视觉要素变化量大小是否符合车辆尺寸等相关阈值，先识别出车辆的存在，并在识别到车辆的基础上可以参考各种已经存在的现有技术对车辆的号牌进行进一步识别，然后生成车辆违规标签等。目前各种智能的应用分析有很多，比如人脸识别对比以及人数统计与分析等等。

步骤207，检索处理单元接收用户的查询请求，并根据查询请求匹配数据库中的标签，如果匹配到标签，则将该标签对应的视频帧输出给用户。

本发明中各种标签可以以索引的方式存放在数据中，而且可以使用多级索引结构，以方便用户的查询。用户的查询以及响应查询的过程是成熟的现有技术，不再一一详述。需要说明的是检索处理单元并不是本发明智能分析装置必须的逻辑单元，该逻辑单元可能设置在其他设备上，比如说可以设置数据库所在的服务器上。

值得注意的是，本发明智能分析装置还可以进一步包括视觉分析单元，用于从前端编码设备以外的视频源接收原始视频帧，从原始视频中提出视觉信息，并判断视觉信息是否符合预定变化条件，如果是则将该视频帧打上视觉信息标签并发送给所述视频筛选单元。这是考虑到监控网络中的前端编码设备可能来自多个设备供应商，未必所有的前端编码设备都包括视觉分析单元，对于这些不支持视觉分析的前端编码设备，可以将之视为其他视频来源进行对待。这样一来本发明可以在实现业务分布式处理的基础上有效地兼容现有技术。

在本发明提供的另外一种实施方式，前端编码设备同样包括对应的视频智能分析装置。考虑到有些用户的存储资源比较紧张，用户可能仅仅需要存储重要的或者感兴趣的视频帧，因此所述前端编码设备上的视频智能分析装置可以在包括了视觉分析单元的基础上进一步包括实况处理单元以及存储筛选单元，其中存储筛选单元用于将携带有视觉信息标签的视频帧发送到网络存储设备上进行存储。而实况处理单元用于将编码产生的视频帧发送给后端解码设备。存储筛选单元的存在并不影响实况业务，通常存储流和实况流是独立的两条流。这样就形成了存储流与实况流不对称的局面。存储流的包含的帧的数量会远远小于实况流，这样在保证了用户体验的基础上有效地节约了用户的存储资源。

进一步来说，考虑到有些前端编码设备的性能越来越强大，因此前端编码设备上的视频智能分析装置还可以进一步包括特征分析单元，该特征分析单元主要用于根据预定的特征分析规则对视频帧做一些简单的视频特征分析（相对于后端主机的分析能力而言），并产生视频特征信息，视频特征信息作为视觉信息标签的携带在视频帧中。视频特征信息主要为事件信息或者人脸信息。因此本发明所说的视觉信息标签并不仅仅是一种标记，其可能是视频特征信息，或者说前端的分析结果；因为视频特征信息本身就可以是一种标记，后端主机可以轻易地区分出哪些视频帧携带视频特征信息（相当于携带视觉信息标签），哪些视频帧没有携带视频特征信息（相当于没有携带视觉信息标签）。

这里的特征分析可以理解为一种简单的应用分析，在前端设备做了一些简单的应用分析之后，后端主机在更为深度的应用分析上的处理压力将进一步地大幅度降低，实现了对前端闲置资源的最充分利用。比如说，前端编码设备已经完成了绊线事件的分析，那么后端主机可以在绊线事件的基础上进行车辆号牌的识别，或者人脸的识别，形成车辆违规等更为深度的应用分析结果。再比如说，前端编码设备已经分析出某个视频帧中存在人脸信息，那么后端主机就可以直接进入更为深度的人数统计这样的分析应用中来。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种视频智能分析装置，该装置应用于监控系统中的后端主机上，其中该监控系统中包括多个前端编码设备，该装置包括视频筛选单元以及应用分析单元，其特征在于：

视频筛选单元，用于从前端编码设备产生的视频帧中筛选出携带有视觉信息标签的视频帧，所述视觉信息为视觉要素变化量，所述视觉要素包括视频运动矢量、图像亮度以及色度中的一种或者多种，其中该视觉信息标签表示该视频帧携带的视觉信息符合前端编码设备上预设的变化条件；

应用分析单元，用于根据预定的应用分析规则对携带有视觉信息标签的视频帧进行分析，如果视频帧匹配到所述应用分析规则，则将分析结果作为应用标签存放到数据库中。

2.根据权利要求1所述的装置，其特征在于，其中所述视频筛选单元进一步用于将所述视觉信息标签存储到所述数据库中。

3.根据权利要求1所述的装置，其特征在于，所述视频筛选单元进一步用于从视频帧中获取所述视觉要素的变化量，并判断所述视觉要素的变化量是否达到预定的阈值，如果是，则将该视频帧提交给应用分析单元处理。

4.根据权利要求3所述的装置，其特征在于，其中所述应用包括拌线事件检测、车辆号牌识别、人数统计分析中的一种或者多种。

5.根据权利要求1所述的装置，其特征在于，还包括：视觉分析单元，用于从前端编码设备以外的视频源接收原始视频帧，从原始视频中提出视觉信息，并判断视觉信息是否符合预定变化条件，如果是则将该视频帧打上视觉信息标签并发送给所述视频筛选单元。

6.根据权利要求1所述的装置，其特征在于，其中所述视觉信息标签中包括视频特征信息，所述视频特征信息为事件信息或者人脸信息。

7.一种视频智能分析方法，该方法应用于监控系统中的后端主机上，其中该监控系统中包括多个前端编码设备，其特征在于，该方法包括：

A、从前端编码设备产生的视频帧中筛选出携带有视觉信息标签的视频帧，所述视觉信息为视觉要素变化量，所述视觉要素包括视频运动矢量、图像亮度以及色度中的一种或者多种，其中该视觉信息标签表示该视频帧携带的视觉信息符合前端编码设备上预设的变化条件；

B、根据预定的应用分析规则对携带有视觉信息标签的视频帧进行分析，如果视频帧匹配到所述应用分析规则，则将分析结果作为应用标签存放到数据库中。

8.根据权利要求7所述的方法，其特征在于，其中所述步骤A进一步包括：将所述视觉信息标签存储到所述数据库中。

9.根据权利要求7所述的方法，其特征在于，所述步骤B对视频帧进行分析之前进一步包括：从视频中获取所述视觉信息的变化量，并判断所述视觉信息的变化量是否达到预定的阈值，如果是则继续。

10.根据权利要求9所述的方法，其特征在于，其中所述应用包括拌线事件检测、车辆号牌识别、人数统计分析中的一种或者多种。

11.根据权利要求7所述的方法，其特征在于，还包括：

D、用于从前端编码设备以外的视频源接收原始视频帧，从原始视频中提出视觉信息，并判断视觉信息是否符合预定变化条件，如果是则将该视频帧打上视觉信息标签,转步骤B。

12.根据权利要求1所述的方法，其特征在于，其中所述视觉信息标签中包括视频特征信息，所述视频特征信息为事件信息或者人脸信息。

13.一种视频智能分析装置，应用于监控系统的前端编码设备上，其中该监控系统还包括后端解码设备、网络存储设备与该前端编码设备配合进行智能分析的后端主机，该装置包括视觉分析单元，存储筛选单元以及实况处理单元，其特征在于：

实况处理单元，用于将编码产生的视频帧发送给后端解码设备；

视觉分析单元，用于判断编码产生的视频帧携带的视觉信息是否符合前端编码设备上预设的变化条件，如果是则将该视频帧打上视觉信息标签；其中所述视觉信息为视觉要素变化量，所述视觉要素包括视频运动矢量、图像亮度以及色度中的一种或者多种；

存储筛选单元，用于将携带有视觉信息标签的视频帧发送到网络存储设备上进行存储。

14.根据权利要求13所述的装置，其特征在于，还包括特征分析单元，用于根据预定的特征分析规则对视频帧进行视频特征分析，并将产生的视频特征信息作为视觉信息标签的一部分携带在视频帧中，所述视频特征信息为事件信息或者人脸信息。

Images