CN101808126A - 一种用于实时视频处理的分布式计算系统和方法 - Google Patents

Abstract

一种用于实时视频处理的分布式计算系统，属于视频分析技术领域，其特征在于，含有：交通事件检测的视频处理算法的分布式拆分模块、负载均衡模块、视频存储/分发服务器、静态处理计算机集群和至少一台动态处理计算机以便把机器视觉和视频处理算法拆分成可并行处理的子算法，分解到静态处理计算机集群上进行并行处理，在动态处理计算机上进行综合，并通过负载均衡模块建立每一帧图像的任务的编号和各静态处理计算机工作状态的映射表，来动态地均衡负载，最后在静态处理软件和动态处理软件内置了视觉库接口，为实时视频分析系统的性能、功能、可扩充性提供了进一步提高的空间。

Description

一种用于实时视频处理的分布式计算系统和方法

技术领域

本发明属于分布式计算及数字图像处理和视频分析领域，涉及一种分布式的实时视频处理系统，以及一种将视频分析算法在分布式环境下进行拆分的方法。本发明在有视频监控需求的应用场景，如侦查、制导等军事领域，智能交通和安防等民用领域有非常广阔的应用前景。

背景技术

随着计算机技术的飞速发展，视频处理技术正逐渐得到广泛应用。尤其在智能交通领域和安防领域，基于计算机视觉技术的智能化视频检测系统是视频监控系统的发展方向。它能够大大提高视频监控系统的功能和性能，特别是能及时发现和预防危险事件的发生，在事后视频分析中也能够迅速对和指定事件相关的视频资料进行检索和收集。

然而，实时视频监控技术需要分析多达每秒25帧的实时视频图像，同时在城市一级的交通监控和安保监控领域，所安装的摄像头数量大到几十万套，需要同时处理数量庞大的输入数据，对监控系统的计算能力的要求是非常苛刻，导致现有的实时监控系统只能应用一些非常简单、效果较差的视频处理算法。目前高分辨率摄像机的投入使用更加重了计算负担。正是基于以上原因，在交通领域市面上的一些产品，在检测性能方面都存在很大的局限性。具体的产品中，有的采用检测线来判断是否发生了事故或者不正常行驶情况，但是由于检测线的位置是固定的，一旦事故不发生在检测线上，就难以检测出事件；有的虽然能进行大区域车辆视频检测，但一旦车辆出现遮挡，车辆的检测明显出现干扰。此外，这些系统中有的需要进行摄像机的标定，有的需要对检测区域人为设定，有的系统缺乏自适应的能力等等。研究界为解决此类问题都提出了不同的视频处理算法，但由于算法复杂导致处理速度慢，无法付诸实际应用。

而目前对于如何解决计算机的计算速度瓶颈问题，普遍答案是通过分布式计算技术，即将多台由TCP/IP网络互联在一起的计算机集群，通过适当的方式组织起来共同作业，来达到甚至超过超级计算机的性能。事实上，目前一些公司业已推出了一些分布式计算的平台。但这些平台多数是针对某一具体应用的，如有的适合用于大数据量的网络日志分析等问题的求解，有的注重于解决网站服务器的并发响应问题。而在视频处理中需要分析大量帧间关系，子问题耦合性很强，现有系统提供的平台无法进行有效处理。

近来，针对视频如何更好地存储、传输、播放等问题，有很多应用分布式技术的尝试，但对于核心的视频分析问题，即计算机如何理解视频，仍然是在集中式的计算环境下进行的，为实时视频分析系统的速度、功能、可扩展性等方面都带来了很大局限。

本专利正是基于以上背景给出了实用的解决办法。本专利融合了分布式计算技术、机器视觉和视频流处理算法，核心技术是将机器视觉和视频流处理算法拆分成能并行处理的子算法。依托该技术的视频智能分析系统能提供高分辨率和复杂图像的实时分析，如应用于交通场景的实时事件检测等。系统除通过适当的分布式策略为在其上部署的视频处理算法提供加速外，还提供视频事件的自动检测功能以及对多路摄像头的支持。

发明内容

本发明提供一种分布式视频分析系统，以及一种将普通视频分析算法改造成适合在该系统上运行的拆分方法。

本发明是一种用于实施视频处理的分布式计算系统，其特征在于，是一种用于实时交通事件监测的分布式计算系统，含有：通过TCP/IP协议局域网内互连的一台系统管理计算机、静态处理计算机集群、至少一台动态处理计算机和一台视频存储/分发服务器；还设有：至少一台与图像采集卡配套的模拟摄像机，以及至少一台数字摄像机，通过视频连接与所述视频存储/分发服务器相连，其中：

视频存储/分发服务器，适时通过所述模拟摄像机和数字摄像机读取图像，经缓存后分发到空闲的所述静态处理计算机，同时对交通违章事件的视频段落进行存储备用，当然也为采用同轴电缆连接的所述模拟摄像机以及采用直接网口连接的所述数字摄像机提供视频的输出接口，另外，还设有帧截取的软件；

静态处理计算机集群，由多台普通PC构成，每台PC及都具有相同的配置和相同的操作系统，所述静态处理计算机集群中的计算机按照一路摄像头6～8台配置，每台PC机都上安装有对视频帧进行不同处理任务时用的不同静态视频处理算法，采用库文件的形式保存；

动态处理计算机，数路视频输入可以共享一台动态处理计算机，收集并处理所述的静态处理计算机已处理完毕、并通过所述的局域网发来的静态信息，在所述动态处理计算机上设有动态视频处理计算软件，并以库文件形式保存；

系统管理计算机，设有：供事件检测用的视频算法的分布式拆分模块和负载均衡模块，把所述视频算法拆分为相对独立的子算法，称为算子；用各算子之间的连接关系描述所述视频算法，拼成静态处理软件和动态处理软件，分别以所述库文件的形式装入所述各静态处理计算机集群和所述的一台动态处理计算机，所述视频算法的分布式拆分模块依次按以下步骤解决算法在分布式形式下的运行问题：

步骤(1)：把具体的交通视频处理算法按照其执行流程分解成各个独立的算子，分别表示为：

R，为图像读取算子，R(N)表示对第N帧图像进行读取处理，称之为一个图像读取任务；

O1，为预处理算子，O1(N)表示对第N帧图像进行预处理，称之为一个预处理任务；

O2，为对象分割算子，O2(N)表示对第N帧图像进行对象分割处理，称之为一个对象分割任务；

O3，为静态特征提取算子，O3(N)表示对第N帧图像进行静态特征提取处理，称之为一个静态特征提取任务；

所述R、O1、O2、O3统称为静态算子；

O4，为目标跟踪算子，O4(N)把所述O3算子的第N帧和第N-1帧任务的输出结果作为输入，其输入信息涉及邻近数帧，O4称之为一个广义静态算子，O4(N)则称之为一个目标跟踪任务；

O5为嵌套动态算子，O5(N)表示第N帧图像进行嵌套动态处理，其输入需要自身前一帧任务的输出，用到了所有的历史信息，称之为嵌套的动态算子；

所述R、O1、O2、O3和O4构成了一个所述的静态处理软件，装入到所述各静态处理计算机中，进行分布式处理；

所述O5构成了一个动态处理软件，装入到所述动态处理计算机中，进行集中式处理；

步骤(2)，配置所述各算子的编号、名称和输入输出格式，按照所述各算子之间的连接关系，使用邻接表的形式描述和存储各个算子上下级之间的连接关系，并告知所述静态处理计算机集群和动态处理计算机，同时确定所述静态处理计算机集群、动态处理计算机和所述的视频存储/分发服务器的IP地址并通告之；

负载均衡模块，依次按照以下步骤进行负载均衡的操作：

步骤(1’)，周期性的更新所述各静态处理计算机的工作状态，并予以标定：忙碌状态Busy和空闲状态Idle，在此基础上建立一个各静态处理计算机工作状态和任务帧号的映射，所述任务帧号是指该计算机所执行的帧编号同算子编号的表示；

步骤(2’)，监视输入的视频流，每当输入一帧新的图像后便生成新的所述任务帧号，并按照所述映射表把任务发送给某台空闲的静态处理计算机，并更新该机的工作状态；

步骤(3’)，若步骤(2’)中所述的接收新任务的静态处理计算机引发任务处理超时事件，则重新分配所述的任务。

跟据我们针对一些经典交通视频处理算法的实验得到的结论，算法的静态处理和广义静态处理部分，由于要处理大数据量的原始图像，其耗时在整体算法的单帧耗时中占80％以上；算法的嵌套动态处理部分，只需要处理较高抽象层次的信息，如车辆的速度、加速度等，耗时仅占不到20％。对安防等其他领域的现有视频处理算法的分析也有类似结论。根据计算模型将静态和广义静态部分算法进行分布式处理，可分担大部分的计算负载。

附图说明

图1为交通视频事件检测系统的算子分解图：

图中：

R：读取图像

O₁：预处理

O₂：对象分割

O₃：静态特征提取

O₄：目标跟踪

O₅：事件检测

图2为分布式视频处理框架硬件环境。

图3为分布式视频处理框架体系结构。

具体实施方式

分布式视频分析系统由如下模块构成：

1.系统管理计算机

2.静态处理计算机集群

3.动态处理计算机

4.视频存储/分发服务器

5.数字/模拟摄像机

6.视频采集卡

模块的连接关系见图2。模块1、2、3、4即管理计算机、静态处理计算机集群、动态处理计算机以及视频存储分发服务器，通过TCP/IP网络构成的局域网相连。多台数字摄像机和模拟摄像机(模块5)连接到视频存储/分发服务器上，其中模拟摄像机通过视频采集卡(模块6)与服务器相连。

分布式视频分析系统包括以上的硬件环境，也包括运行于模块1、2、3、4上的软件。

静态计算机集群可以由多台普通PC构成，也可以选择刀片式服务器阵列。组建集群的计算机应保持同质性，即具有相同的配置和相同的操作系统。集群中的数量按照一路摄像头3到6台为宜(取决于计算机性能)。

动态处理计算机收集处理完毕的静态信息，进行处理，通过输出接口输出最终的处理结果。动态处理计算机的数量取决于动态处理的复杂度和视频输入的路数。数路视频输入可以共享一台动态处理计算机，但无法将一路视频的动态处理分给数台动态处理计算机执行。

系统管理计算机运行分布式计算管理软件。软件采用基于任务管理的控制方法，对整个分布式处理的流程进行控制和协调。同时，管理层还负责监控系统中计算机和其他硬件设备的状态，并提供负载均衡和容错处理。

视频存储/分发服务器主要在视频输入端为系统提供视频的管理功能。即适时从输入读取图像、提供一定时间的快速缓存，以及将图像分发到合适的静态处理计算机。同时视频存储/分发服务器也对重点视频段落(如交通违章事件)进行存储，以供备案。同时服务器还提供视频输入接口，主要提供对各种摄像机的兼容支持，包括采用同轴电缆输出的模拟摄像机，及直接网口输出的数字摄像机。接口包括用于支持模拟摄像机的图像采集卡，以及相应的帧截取软件等。

运行于以上模块的软件通过管理层软件进行协同，在机群上对计算任务进行管理，包括进行负载均衡和容错，以及与外部硬件设备的配合等。管理层软件运行于管理计算机上，主要提供两个功能：一是视频处理任务的管理，即按顺序控制静态处理层和动态处理层任务的执行。这些任务的分割是由视频算法拆分方法给出的。二是监控各台主机的运行状况，如CPU和内存的利用率等，进行负载平衡。这种负载平衡主要是通过任务的合理分配完成的。同时管理层软件也提供基于任务的容错机制。

静态处理层软件和动态处理层软件则含有具体的算法实现。对静态处理层软件而言，每台机器上安装的算法都是完备的，按照分配到的任务执行不同的算法。

软件中还包含视觉库的接口技术，提供了编程接口，保证了视频分析平台的可扩展性。不同的视频处理算法都可以按照本发明提供的视频算法拆分方法进行分解，得到不同的算子和算子间的连接关系。用户通过编程接口实现不同的算子，并在管理层软件中定义连接关系后，系统就可以按新的逻辑运行，提供很好的可重用性。视觉库的接口目前支持的视觉库为OpenCV和Halcon。

视频算法的分布式拆分方法解决一般视频分析算法如何在分布式系统下运行的问题。其特征是将算法拆分为相对独立的算子，由算子和算子间的连接关系描述原算法。

算子的输入仅涉及视频流中的单帧图像的，称为狭义静态算子，如典型视频分析算法中的预处理等操作。算子的输入涉及多帧图像的，称为动态算子，如动态特征提取等操作。动态算子可以进一步细分两种。算子输入信息仅涉及邻近数帧，称为广义静态算子。另一部分输入信息需要初始帧以来的所有历史信息，称为嵌套的动态算子。

要将一个视频处理算法拆分成分布式算法，在系统上运行，需要按如下步骤进行：

1.将整体算法按流程拆分成各个算子。

2.按照输入数据分析各算子的性质，分类为狭义静态算子、广义静态算子、嵌套动态算子。

3.分析给出各算子的连接方式、上下级算子之间交互的数据。

4.合并调整各算子，使嵌套动态算子单帧耗时最少，算子间交互的数据量最少。

5.利用编程接口，实现所有算子。将狭义和广义静态算子装入静态处理软件，将嵌套动态算子装入动态处理软件。

6.在管理计算机上定义算子间的连接关系。

例如，在交通事件检测应用中，典型的算法通过读取图像、预处理、对象分割、静态特征提取、目标跟踪、事件检测等步骤检测出视频流中的事件，如交通违章、堵车等。将典型算法按上述步骤进行拆分，就可以进行分布式加速。

如图1所示，R、O₁、O₂、O₃、O₄、O₅分别为分解后的算子，分别为图像读取、预处理、对象分割、静态特征提取、目标跟踪、事件检测。R(N)或者O(N)表示某个算子针对第N帧的处理，称之为一个任务。其中R、O₁、O₂、O₃为静态算子，其输入仅为前序算子同帧任务的输出；O₄为广义静态算子，需要O₃算子第N帧和第N-1帧任务的输出；而O₅为嵌套动态算法，其输入需要自身前一帧任务的输出，相当于用到了所有的历史信息。因此根据模型进行算子分解后，R、O₁、O₂、O₃、O₄将进行分布式处理，O₅将进行集中式处理。该例子的具体实施方式将在后文给出。

本发明的核心思想在于视频算法的分布式计算模型：算法可分为静态和动态两个部分。静态部分虽然仅需针对一帧或前后数帧图像进行处理，但计算量一般较大；动态部分则需综合很多历史信息，逻辑结构复杂，但抽象层次较高，计算量反而较小。因此，算法可拆分为静态部分和动态部分，静态部分在静态处理主机集群上进行分布式处理，而动态部分在单一计算机上进行集中式处理，最终输出结果。

本部分以交通视频事件检测应用为例，说明如何通过本发明，部署一个基于分布式计算的视频事件检测系统。

交通视频事件检测一般应用于路口、路段等地，使用摄像头对路面的交通情况进行监控，并分析、检测出视频流中的非正常交通事件，如堵车、货物遗撒、交通事故、交通违章等。在事件发生时系统需提供报警等通告措施，并将相关的视频备份待查。

这种事件检测应用可以采用如上节所述的算法结构来完成，即通过预处理、对象分割、静态特征提取、对象跟踪、事件检测5个步骤完成，其输入输出依赖关系前文已给出。跟据分析，预处理、对象分割、静态特征提取是静态算法，对象跟踪是广义静态算法，事件检测是嵌套动态算法。

系统的部署方案可以由4个步骤组成：

1.算法编制。

2.硬件配置。

3.软件配置。

4.初始化运行。

算法编制阶段需要实现以上5部分子算法。基于减少网络通信流量考虑，可以将预处理、对象分割、静态特征提取合并为同一步算法。编制的算法需要包括算法本身，及算法的输入输出信息的网络传输接口。完成的算法以库文件的形式保存在静态处理层和动态处理层软件的算法库中。

硬件配置阶段需要对系统中的各台主机进行组网配置，并确保摄像头和视频存储/分发服务器的连接。各台主机通过交换机或路由器组成局域网，需要设置其IP为固定IP。

软件配置阶段主要在管理层软件中进行。首先需要配置各部分子算法的编号、名称、输入输出格式等信息，然后配置其连接关系。连接关系是以邻接表的形式存储的，将相应的邻接表输入管理层软件即可。最后，需要告知管理层软件系统内静态处理层、动态处理层所有主机，及视频存储/分发服务器的IP地址。

初始化运行阶段可以由管理层软件自动完成。管理层软件将根据配置的各台主机地址自动进行连接，完成连接后即可正常运行。

对于多功能型的实时视频分析系统，例如交通场景下同时对闯红灯行为和货物遗撒进行检测时，可以增加动态部分计算机数量，同时输出检测结果。

由于不同任务的处理耗时不同，在给各台主机分配任务时要平衡各台主机的负载。同时，对于系统运行中的网络故障、网络延迟、机器故障等，系统能提供一定的容错能力。这部分功能都由管理层软件完成。负载均衡采用动态负载均衡技术，在管理层中首先对工作主机的工作状态进行标定，分别为忙碌Busy和空闲Idle，然后监视输入的视频流，每当输入新一帧图像时，就会生成一个新的任务帧号。管理层检测系统中所有空闲的主机，并按照一个映射表将新任务发送给某台空闲的静态处理工作主机进行处理，从而保证各台主机负荷基本一致。管理层每次向一台主机发送任务，就会更新该主机的工作状态。管理层始终监控其工作状态，当对应工作主机发生机器故障或网络故障，任务长期没有完成时，将引发超时事件。管理层会处理该事件，将分配给该主机处理的任务交付其他主机重新处理，保证系统的正常运行。

Claims (3)

1.一种用于实施视频处理的分布式计算系统，其特征在于，是一种用于实时交通事件监测的分布式计算系统，含有：通过TCP/IP协议局域网内互连的一台系统管理计算机、静态处理计算机集群、至少一台动态处理计算机和一台视频存储/分发服务器；还设有：至少一台与图像采集卡配套的模拟摄像机，以及至少一台数字摄像机，通过视频连接与所述视频存储/分发服务器相连，其中：

视频存储/分发服务器，适时通过所述模拟摄像机和数字摄像机读取图像，经缓存后分发到空闲的所述静态处理计算机，同时对交通违章事件的视频段落进行存储备用，当然也为采用同轴电缆连接的所述模拟摄像机以及采用直接网口连接的所述数字摄像机提供视频的输出接口，另外，还设有帧截取的软件；

静态处理计算机集群，由多台普通PC构成，每台PC及都具有相同的配置和相同的操作系统，所述静态处理计算机集群中的计算机按照一路摄像头6～8台配置，每台PC机都上安装有对视频帧进行不同处理任务时用的不同静态视频处理算法，采用库文件的形式保存；

动态处理计算机，数路视频输入可以共享一台动态处理计算机，收集并处理所述的静态处理计算机已处理完毕、并通过所述的局域网发来的静态信息，在所述动态处理计算机上设有动态视频处理计算软件，并以库文件形式保存；

系统管理计算机，设有：供事件检测用的视频算法的分布式拆分模块和负载均衡模块，把所述视频算法拆分为相对独立的子算法，称为算子；用各算子之间的连接关系描述所述视频算法，拼成静态处理软件和动态处理软件，分别以所述库文件的形式装入所述各静态处理计算机集群和所述的一台动态处理计算机，所述视频算法的分布式拆分模块依次按以下步骤解决算法在分布式形式下的运行问题：

步骤(1)：把具体的交通视频处理算法按照其执行流程分解成各个独立的算子，分别表示为：

R，为图像读取算子，R(N)表示对第N帧图像进行读取处理，称之为一个图像读取任务；

O₁，为预处理算子，O₁(N)表示对第N帧图像进行预处理，称之为一个预处理任务；

O₂，为对象分割算子，O₂(N)表示对第N帧图像进行对象分割处理，称之为一个对象分割任务；

O₃，为静态特征提取算子，O₃(N)表示对第N帧图像进行静态特征提取处理，称之为一个静态特征提取任务；

所述R、O₁、O₂、O₃统称为静态算子；

O₄，为目标跟踪算子，O₄(N)把所述O₃算子的第N帧和第N-1帧任务的输出结果作为输入，其输入信息涉及邻近数帧，O₄称之为一个广义静态算子，O₄(N)则称之为一个目标跟踪任务；

O₅为嵌套动态算子，O₅(N)表示第N帧图像进行嵌套动态处理，其输入需要自身前一帧任务的输出，用到了所有的历史信息，称之为嵌套的动态算子；

所述R、O₁、O₂、O₃和O₄构成了一个所述的静态处理软件，装入到所述各静态处理计算机中，进行分布式处理；

所述O₅构成了一个动态处理软件，装入到所述动态处理计算机中，进行集中式处理；

步骤(2)，配置所述各算子的编号、名称和输入输出格式，按照所述各算子之间的连接关系，使用邻接表的形式描述和存储各个算子上下级之间的连接关系，并告知所述静态处理计算机集群和动态处理计算机，同时确定所述静态处理计算机集群、动态处理计算机和所述的视频存储/分发服务器的IP地址并通告之；

负载均衡模块，依次按照以下步骤进行负载均衡的操作：

步骤(1′)，周期性的更新所述各静态处理计算机的工作状态，并予以标定：忙碌状态Busy和空闲状态Idle，在此基础上建立一个各静态处理计算机工作状态和任务帧号的映射，所述任务帧号是指该计算机所执行的帧编号同算子编号的表示；

步骤(2′)，监视输入的视频流，每当输入一帧新的图像后便生成新的所述任务帧号，并按照所述映射表把任务发送给某台空闲的静态处理计算机，并更新该机的工作状态；

步骤(3′)，若步骤(2′)中所述的接收新任务的静态处理计算机引发任务处理超时事件，则重新分配所述的任务。

2.根据权利要求1所述的一种用于实现视频处理的分布式计算的系统，其特征在于，所述视频算法的分布式拆分模块，其特征在于，在所述步骤(2)之后，要增加一个合并调整各算子，使嵌套算子耗时最少，算子之间交互的数据量最少的优化步骤。

3.根据权利要求1所述的一种用于实时视频处理的分布式计算系统，其特征在于，所述静态处理软件和动态处理软件中各有一个视觉库，并提供编程接口，提供了视频分析处理的可扩展性。

Images