CN103607576B - 一种面向跨摄像机跟踪接力的交通视频监控系统 - Google Patents

Abstract

一种面向跨摄像机跟踪接力的交通视频监控系统，构成了一种数据采集层、前段处理层、网络传输层、中央控制层的一种四层体系结构；在前端处理层中，由分布式计算终端模块和跟踪算法模块协同，实现摄像机内目标跟踪算法的本地运行，通过通信协议模块，与中央控制模块进行信号交互及自动控制，实现在中央控制层完成全城域范围内的目标车辆跨摄像机连续跟踪。本发明面向全城域范围内的车辆跟踪监控领域，运用计算处理云端化技术，将中央控制层中的计算分布到前端处理层中，有效降低了中央服务器的计算压力，实现自动控制多区域内目标车辆的跨摄像机跟踪接力；同时使得各摄像机自行协同联动实现多任务并行执行。

Description

一种面向跨摄像机跟踪接力的交通视频监控系统

技术领域

本发明涉及一种面向跨摄像机跟踪接力的交通视频监控系统，属于交通监控领域中的云端化建设方向。

背景技术

随着经济的发展，城市规模的不断扩大，机动车数量的急剧增长使得城市交通压力不断增大。交通问题已经成为城市管理工作中的重点问题。在交通监控系统中，通过多摄像机合理的协作可以扩大监控系统的观测范围，可以有效提高目标检测、跟踪的准确性，使更多灵活的应用成为可能。因此，多摄像机协同跟踪技术存在着广泛的应用前景。

传统的交通视频监控系统可分为三层，即数据采集层，网络传输层和中央控制层。数据采集层，主要由前端监控摄像机（防护罩、摄像机、镜头、支架）等主要设备组成。用于实时采集各交通路段的视频信息；网络传输层，包括网络物理链路即交换机等设备，前端摄像机的视频信号利用网络传输到中央控制层的服务器上；中央控制层，设置了中心视频监控系统服务器，完成现场图像接收，控制信号的协调，图像的实时监控，录像的存储、检索、回放、备份、恢复等功能。在监控中心，视频监控系统服务器将数字视频还原成模拟图像，将视频信号转到指挥中心电视墙上，工作人员还可以选择以操作台微机作为监控终端，对全部路面信息集中调用监控。可实现多画面实时监控，远程控制摄像机云台、和违章抓拍等操作。

在目标车辆连续跟踪应用方面，传统的三层结构的交通视频监控系统存在智能化程度低下的问题。工作人员在前一部摄像机中圈选一辆目标车辆开始跟踪，当目标车辆驶出该摄像机时，工作人员需要手动切换到下一部摄像机，并在新的摄像机中重新用肉眼识别出目标车辆，重新圈选继续跟踪。对于全城域范围内的跨摄像机目标连续跟踪，人员工作量是巨大的。这个问题不止受限于跟踪算法，更大程度上受限于传统的交通视频监控系统自身的体系结构。传统的三层结构，只有中央控制层具有运算能力，而往往其运算能力是有限的，难以胜任全城域所有摄像机并行处理任务。仅仅在中央控制层的服务器上实现跨摄像机跟踪算法是不明智的，服务器的运算能力将限制多任务的并发执行，而且由于视频信息需要汇总到中央服务器中进行计算，这会急剧增加网络传输压力。

因此，传统的交通视频监控系统已经难以满足更高智能化应用的需求。

发明内容

本发明技术问题：克服现有技术的不足，提供一种面向跨摄像机跟踪接力的交通视频监控系统，将中央控制层中的计算分布到前端处理层中，有效降低了中央服务器的计算压力，实现自动控制多区域内目标车辆的跨摄像机跟踪接力；同时使得各摄像机自行协同联动实现多任务并行执行。

本发明技术解决方案：一种面向跨摄像机跟踪接力的交通视频监控系统，为了提高交通视频监控系统的多任务并行处理能力，增强计算能力，进而提高系统的智能化，本发明以跨摄像机目标跟踪接力应用为切入点，在数据采集层和网络传输层之间增加了前端处理层，实现了一种四层体系结构的交通视频监控体系。

为了实现上述目的，本发明设计了如下5个模块：本发明设计了包括数据采集层、前端处理层、网络传输层、中央控制层的四层交通监控体系，在新增的前端处理层中加入了一种分布式终端模块，实现摄像机及终端设备内的功能自治，完成全城域范围内车辆的跨摄像机的跟踪接力自动控制。

1.视频采集模块。该模块处于数据采集层中，由架设在城域范围内的前端监控摄象机（防护罩、摄像机、镜头、支架）等主要设备组成。用于实时采集各交通路段的视频信息，并传递给分布式终端模块用于算法处理。在中央控制模块中存储着各个视频采集模块中设备的编号、规格，架设高度、角度等信息；

2.分布式终端模块。本发明设计了一套分布式终端模块，该模块处于前段处理层，由硬件层、系统层、应用层组成三层体系结构：

硬件层包括电源、芯片、网卡、接口等，数据采集模块和通信协议模块的信息通过该层实现信号的输入和输出，同时该层为上面的系统层和应用层提供了计算能力；

系统层主要是系统固件，包括操作系统、编码器解码器、网络通信模块等，该层可以理解硬件层接收到的信号，并根据信号控制上面的应用层中算法的执行；

应用层是在分布式终端模块中执行的算法程序，跟踪算法模块是其中之一。该层可以有多个算法模块并行执行；

3.跟踪算法模块。针对上述四层体系结构的交通视频系统，本发明中设计了一种适用于前端处理层自治运行的跨摄像机目标跟踪算模块。通过分布式终端模块传来的控制信息，该跟踪算法模块在前端处理层中激活开始运行。对视频采集模块中采集的视频数据中的目标车辆进行跟踪，并持续更新其运动状态。当目标将要离开该摄像机时，根据本地训练集计算目标特征向量，通过通信协议模块，传递给中央控制模块。在中央控制模块分析后传递给下一接力摄像机的分布式终端模块中。分布式终端模块接收到控制信息，控制其上的跟踪算法模块，分析目标特征，确认目标车辆并继续跟踪。重复上述步骤，实现跟踪接力；

4.通信协议模块。该模块位于网络传输层，实现了一套通信规则，整个平台上的应用使用该规则进行网络通信和协同控制。该规则包括视频接收控制消息和算法控制消息两大类。视频接收控制消息由中央控制模块发送给分布式终端模块，控制视频采集模块采集到的视频流的传输与否；算法控制消息针对跟踪算法模块，控制各个算法模块的执行流程以及信息反馈。该通信规则成为跨摄像机接力跟踪方法通信的基础，同时保留极大的可扩展性，为扩充更多智能化算法模块提供通信规则保障。

5.中央控制模块。设置了中心视频监控系统中央服务器，完成现场图像接收，控制信号的协调，图像的实时监控，录像的存储、检索、回放、备份、恢复等功能。在监控中心，视频监控系统服务器将数字视频还原成模拟图像，将视频信号转到指挥中心电视墙上，工作人员还可以通过中央控制模块对全部路面信息集中调用监控。该模块对分布式终端模块中的任务设置，并通过通信协议模块，实现对全城域范围内的跨摄像机内的跟踪算法模块的协同控制。

本发明与现有技术相比的优点在于：

（1）本发明设计了包括数据采集层、前端处理层、网络传输层、中央控制层的四层交通监控体系，在新增的前端处理层中加入了一种分布式终端模块，实现摄像机及终端设备内的功能自治，完成全城域范围内车辆的跨摄像机的跟踪接力自动控制。

（2）本发明实现了一种四层体系结构的交通视频监控系统，将计算工作分布到新增的第三层——前端处理层中，采用分布式设计实现系统平台的云端化，极大的提高了体统的整体计算能力，为智能化功能扩展奠定基础；

（3）本发明中计算能力的云端化带来了额外的好处，它使得中央控模块的功能被简化为逻辑控制，极大降低了中央控制层对服务器设备的性能需求。中央服务器不再是定制机型，通过软件平台，一般主机均可完成中央服务器的功能，提高了中央服务器的可替代性，降低了控制中心的设备建设成本；

（4）分布式终端模块中的设备，自带处理器和存储器，接口丰富，功能强大。在中央控制层通过网络向终端写入程序，可以实现单摄像机内的功能自治，且使得多功能多算法并行执行成为可能，具有极强的功能扩展空间；

（5）本发明中分布式终端模块中的设备采用当今成熟的硬件体系，构造简洁，有效控制功耗，价格低廉，非常适合与全城域摄像机配发使用；

（6）本发明通信协议模块中定义了一套分布式终端模块与中央中央控制模块通信的符号规则，在此基础上实现全城域范围内目标车辆的跨摄像机接力的自动控制，提供多目标同时跟踪监控得能力，极大节省了人力。

附图说明

图1为本发明的面向跨摄像机跟踪接力的交通视频监控系统结构示意图；

图2为本发明的前端处理层中分布式终端模块的体系构成图；

图3为本发明的前端处理层中跟踪算法模块的工作流程图；

图4为本发明的通信协议模块中跨摄像机跟踪接力时的信息交互流程图。

具体实施方式

如图1所示，为本发明的面向跨摄像机跟踪接力的交通视频监控系统的四层体系结构，最底层的是数据采集层，包括视频采集模块，主要由监控摄像机（防护罩、摄像机、镜头、支架）等设备组成，直接面向城域范围内的交通路段，进行视频数据的采集。第二层是前端处理层，包括分布式终端模块和跟踪算法模块。分布式终端模块接收视频采集模块采集到的视频数据，传递给跟踪算法模块进行处理，并将处理的结果通过通信协议模块发送给中央控制模块。第三层是网络传输层，这一层主要由交换机、路由器等网络设备组成，包括铺设于城域范围内的光纤数据电缆等物理链路。此外该层中包括一个通信协议模块，模块内设计了一套控制信息交互规则，分布式终端模块与中央控制模块的信息交互需要遵守该规则，方便实现自动控制；第四层，是中央控制层，包括中央控制模块，主要由中央服务器、大容量存储设备、监控显示器等组成。基本的监控视频可以保存到大容量存储设备上，以及显示在监控显示器上，供工作人员观察和分析。中央服务器起到全局信息维护和控制作用，可以远程控制和设置分布式终端模块，同时根据通信协议模块中的规则实现跨摄像机目标跟踪算法的协同控制。上述四层体系结构实现了计算性能云端化的目标，使得跨摄像机跟踪接力等智能化功能成为可能。

如图2所示，为本发明中分布式终端模块的体系结构。该终端由硬件层、系统层、应用层组成三层体系结构。硬件层包括电源、芯片、网卡、接口等，数据采集模块和通信协议模块的信息通过该层实现信号的输入和输出，并传递给跟踪算法模块；同时该层为上面的系统层和应用层提供了计算能力。系统层主要是系统固件，包括操作系统、编码器解码器、网络通信模块等。该层是分布式计算终端的软件基础，使视频信息处理、中央集中控制、多应用并行执行、网络协同通信成为可能。该层的固件可以在中央控制层中进行更新和升级，以及应用层中算法模块的加载，提高了系统维护的简易程度和中央控制层的控制能力。在顶层是应用层，是在分布式终端模块中执行的算法程序的集合，跟踪算法模块是其中之一。基于前两层平台基础上，该层可以有多个算法模块并行执行；

如图3所示，为本发明的前端处理层中执行的跟踪算法模块的流程图，按如下步骤进行：

步骤1.1，由中央控制层发送控制消息给分布式终端模块，并传递给跟踪算法模块，开始执行。由跟踪算法模块判断获得的视频是否是起始跟踪视频。若是，根据收到的控制信息，圈选目标车辆，执行下一步，开始跟踪；若否，则表示获得的视频是用于跟踪接力的视屏，分析收到的控制信息，读取目标车辆预测出现的时间和位置，发现该二元参数附近出现的车辆，计算目标特征向量并与接收的控制信息中的特征向量进行匹配，确定跟踪目标，执行下一步；

步骤1.2，在视频内跟踪已确认的目标车辆。在每一帧中定位目标车辆，并采用滤波算法实时更新目标车辆的行驶速度，以及当前所在行车道信息；

步骤1.3，检查目标车辆是否已经到达视频监控边缘。若是，执行下一步；若否，返回步骤1.2，循环执行；

步骤1.4，根据跟踪算法模块内自身训练的样本集合，计算目标车辆的特征向量，并将目标车辆的运动状态、当前行车道等信息打包，返回给分布式终端模块，由分布式终端模块与中央控制模块协调，通知用于接力的跟踪算法模块，执行下一步跟踪过程。在每一个跟踪算法模块中执行上述4个步骤的方法，实现跟踪接力算法的分布式终端模块中的本地化执行，以及跨摄像机跟踪接力方法的自动控制和执行。

如表1所示，本发明通信协议模块中定义的一套控制信息规则，首先定义如下符号：

表1

下面详细说明图中的通信流程（假设无跟踪丢失的情况）：

步骤2.1，由中央控制模块发送给摄像机K的分布式终端模块VIDEO_SWITCH_ON信号，开始接收摄像机K接采集的视频信号；

步骤2.2，操作人员在控制中心圈选目标车辆后，由中央控制模块发送给摄像机K的分布式终端模块OBJECCT_TRACK信号，要求在该摄像机内开始跟踪所选目标车辆；

步骤2.3，起始摄像机K内跟踪算法模块跟踪完成，由分布式终端模块发送给中央控制模块OBJECT_TO_NEXT信号，要求中央控制模块协同下一摄像机进行跟踪接力；

步骤2.4，由中央控制模块发送给摄像机K的分布式终端模块VIDEO_SWITCH_OFF信号，停止接收摄像机K接采集的视频信号；

步骤2.5，由中央控制模块发送给摄像机K+1的分布式终端模块VIDEO_SWITCH_ON信号，开始接收摄像机K+1采集到的视频信号；

步骤2.6，由中央控制模块发送给摄像机K+1的分布式终端模块OBJECT_RELAY信号，要求摄像机K+1作为接力摄像机跟踪目标车辆；

步骤2.7，接力摄像机K+1内跟踪算法模块跟踪完成，由分布式终端模块发送给中央控制模块OBJECT_TO_NEXT信号，要求中央控制模块协同下一摄像机进行跟踪接力；

步骤2.8，由中央控制模块发送给摄像机K+1的分布式终端模块VIDEO_SWITCH_OFF信号，停止接收摄像机K+1采集到的视频信号；

如此循环至摄像机K+N，实现目标跨摄像机跟踪接力的自动控制。

总之，本发明面向全城域范围内的车辆跟踪监控领域，运用计算处理云端化技术，将中央控制层中的计算分布到前端处理层中，实现跟踪算法模块的本地自治，有效降低了中央服务器的计算压力，实现自动控制多区域内目标车辆的跨摄像机跟踪接力；同时，该分分布式终端模块为功能扩展提供空间，使得各摄像机自行协同联动实现多任务并行执行。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种面向跨摄像机跟踪接力的交通视频监控系统，其特征在于：采用四层体系结构，最底层的是数据采集层，包括视频采集模块，视频采集模块主要由监控摄像机组成，直接面向城域范围内的交通路段，进行视频数据的采集；第二层是前端处理层，包括分布式终端模块和跟踪算法模块，分布式终端模块接收视频采集模块采集到的视频数据，传递给跟踪算法模块进行处理，跟踪算法模块将处理的结果通过通信协议模块发送给中央控制模块；第三层是网络传输层，这一层主要由交换机、路由器网络设备组成，包括铺设于城域范围内的光纤数据电缆物理链路；该层中还包括一个通信协议模块，模块内设计了一套控制信息交互规则，分布式终端模块与中央控制模块的信息交互需要遵守该规则，方便实现自动控制；第四层，是中央控制层，包括中央控制模块，主要由中央服务器、大容量存储设备、监控显示器组成，基本的监控视频能够保存到大容量存储设备上，以及显示在监控显示器上，供工作人员观察和分析；中央服务器起到全局信息维护和控制作用，能够远程控制和设置分布式终端模块，同时根据通信协议模块中的规则实现跨摄像机目标跟踪算法的协同控制；上述四层体系结构实现了计算性能云端化的目标，实现了跨摄像机跟踪接力智能化；

所述前端处理层中执行的跟踪算法模块实现如下：

步骤1.1，由中央控制层发送控制消息给分布式终端模块，并传递给跟踪算法模块，开始执行，跟踪算法模块判断获得的视频是否是起始跟踪视频，若是，则根据收到的控制信息，圈选目标车辆，执行下一步，开始跟踪；若否，则表示获得的视频是用于跟踪接力的视屏，分析收到的控制信息，读取目标车辆预测出现的时间和位置，发现该二元参数附近出现的车辆，计算目标特征向量并与接收的控制信息中的特征向量进行匹配，确定跟踪目标，执行下一步；

步骤1.2，在视频内跟踪已确认的目标车辆；在每一帧中定位目标车辆，并采用滤波算法实时更新目标车辆的行驶速度，以及当前所在行车道信息；

步骤1.3，检查目标车辆是否已经到达视频监控边缘；若是，执行下一步；若否，返回步骤1.2，循环执行；

步骤1.4，根据跟踪算法模块内自身训练的样本集合，计算目标车辆的特征向量，并将目标车辆的运动状态、当前行车道信息打包，返回给分布式终端模块，由分布式终端模块与中央控制模块协调，通知用于接力的跟踪算法模块，执行下一步跟踪过程；

在每一个跟踪算法模块中执行上述4个步骤的方法，实现跟踪接力算法的分布式终端模块中的本地化执行，以及跨摄像机跟踪接力方法的自动控制和执行。

2.根据权利要求1所述的面向跨摄像机跟踪接力的交通视频监控系统，其特征在于：所述分布式终端模块的体系结构为三层体现结构由硬件层、系统层、应用层组成；硬件层包括电源、芯片、网卡、接口，数据采集模块和通信协议模块的信息通过该层实现信号的输入和输出，并传递给跟踪算法模块；同时该层为上面的系统层和应用层提供了计算能力；系统层为系统固件，包括操作系统、编码器解码器、网络通信模块；该层的固件能够在中央控制层中进行更新和升级，以及应用层中算法模块的加载，提高了系统维护的简易程度和中央控制层的控制能力；顶层是应用层，是在分布式终端模块中执行的算法程序的集合，跟踪算法模块是其中之一；基于前两层平台基础上，该层可以有多个算法模块并行执行。

3.根据权利要求1所述的面向跨摄像机跟踪接力的交通视频监控系统，其特征在于：所述通信协议模块中的控制信息交规则实现如下：

首先定义如下符号：

VIDEO_SWITCH_ON，代表由中央控制模块发送给分布式终端模块，打开视频采集模块中的摄像机，要求接受视频流；

VIDEO_SWITCH_OFF，代表由中央控制模块发送给分布式终端模块，关闭视频采集模块中的摄像机，停止接受视频流；

OBJECCT_TRACK，代表由中央控制模块发送给分布式终端模块，附带目标在该分布式终端模块内视频中的位置信息，要求其对应的跟踪算法模块作为起始端跟踪目标车辆；

OBJECCT_CANCEL，代表由中央控制模块发送给分布式终端模块，告知其对应的跟踪算法模块停止跟踪目标车辆；

OBJECT_RELAY，代表由中央控制模块发送给分布式终端模块，附带目标出现时间和位置的预测信息，以及该目标的特征向量，要求其对应的跟踪算法模块作为接力端跟踪目标车辆；

OBJECT_TO_NEXT，代表由分布式终端模块发送给中央控制模块，附带目标运动状况及特征向量，告知中央控制模块自身跟踪算法模块执行结束，准备下一步接力；

OBJECT_LOST，代表由分布式终端模块发送给中央控制模块，告知中央控制模块在该跟踪算法模块中目标跟踪丢失，发出警告；在编号为K的摄像机到标号为K+1的摄像机之间进行跟踪接力，并循环接力至编号为K+N的摄像机，具体实现为：

步骤2.1，由中央控制模块发送给摄像机K的分布式终端模块VIDEO_SWITCH_ON信号，开始接收摄像机K接采集的视频信号；

步骤2.2，操作人员在控制中心圈选目标车辆后，由中央控制模块发送给摄像机K的分布式终端模块OBJECCT_TRACK信号，要求在该摄像机内开始跟踪所选目标车辆；

步骤2.3，起始摄像机K内跟踪算法模块跟踪完成，由分布式终端模块发送给中央控制模块OBJECT_TO_NEXT信号，要求中央控制模块协同下一摄像机进行跟踪接力；

步骤2.4，由中央控制模块发送给摄像机K的分布式终端模块VIDEO_SWITCH_OFF信号，停止接收摄像机K接采集的视频信号；

步骤2.5，由中央控制模块发送给摄像机K+1的分布式终端模块VIDEO_SWITCH_ON信号，开始接收摄像机K+1采集到的视频信号；

步骤2.6，由中央控制模块发送给摄像机K+1的分布式终端模块OBJECT_RELAY信号，要求摄像机K+1作为接力摄像机跟踪目标车辆；

步骤2.7，接力摄像机K+1内跟踪算法模块跟踪完成，由分布式终端模块发送给中央控制模块OBJECT_TO_NEXT信号，要求中央控制模块协同下一摄像机进行跟踪接力；

步骤2.8，由中央控制模块发送给摄像机K+1的分布式终端模块VIDEO_SWITCH_OFF信号，停止接收摄像机K+1采集到的视频信号；

如此循环至摄像机K+N，实现目标跨摄像机跟踪接力的自动控制。