CN101075376A - 基于多视点的智能视频交通监控系统及方法 - Google Patents

Abstract

本发明涉及一种基于多视点的智能视频交通监控系统及方法，用于对道路车辆交通进行控制。本发明的系统包括视频组、视频群、视频网三层结构，本发明的方法以上述系统为基础，将全局道路交通区域分为视频组、视频群、视频网三层结构进行监控。本发明的系统和方法在同一道路交通上采用了多个摄像头，使得本系统具有了多视点，能够对车辆遮挡现象进行补正以及正确地推断车辆的三维尺寸和车辆种类，达到较高监测精度；另外，本发明的系统和方法采用了3级结构进行全局监控，可以进行实时的数据信息交换共享，所以能够对将要到来的车辆信息、交通流量进行实时预测，有很强的预见性；可以对车辆行进轨迹和异常交通现象进行及时处理，保证交通的畅通。

Description

基于多视点的智能视频交通监控系统及方法

技术领域

本发明涉及一种智能交通监控方法及系统，尤其涉及一种基于多视点的智能视频交通监控系统及方法。

背景技术

随着社会的进步，汽车已经逐步成为日常生活的必要手段。但由于汽车台数的大量增加而带来的社会问题如汽车尾气排放的环境污染、交通阻塞、交通事故等，已经成为全世界各国面临的首要问题。有关道路交通的各种基本数据，如单位时间车辆通过台数，车辆平均通过速度，车辆平均间隔，道路占有率等，目前主要通过如超声波、雷达、压感线圈的“点传感器”和由摄像头为主的视频传感器来获取。“点传感器”主要测量道路一点的局部信息，成本低，性能稳定，已广泛应用于检测车辆有无的管理应用系统，比如路口的交通信号管理系统。但由于“点传感器”只能得到交通的局部信息，无法对瞬时出现的广域交通现象进行判断，包括车辆个体信息，行走轨迹等。近年基于图像处理技术的视频道路自动监控系统逐渐成为交通监控的主要手段。基于数字图像处理技术的视频监控系统一般要先对采集到的原始图像进行预处理，然后通过各种算法对图像内的车辆进行定位和分割，最后完成识别和跟踪等任务。

但是现有技术中多采用单台摄像头获得二维信息，无法正确地推断车辆的三维尺寸和车辆种类；而且由于摄像头所处的角度和高度的不同，各个视点对可能观测的道路范围有所区别，从而导致对目标车辆的遮挡和测量精度的不足，也无法对车辆遮挡现象进行补正；还有，其视频网络的信息不能共享，导致每一台视频系统无法对将要到来的车辆信息进行预测。

综上，现代的交通管理急需一种能够克服上述缺陷的新技术。

发明内容

本发明的目的是提供一种基于多视点的智能视频交通监控系统及方法。能够对整体交通网络进行实时监测预测、对车辆遮挡现象进行补正、测量精度高、正确地推断车辆的三维尺寸和车辆种类，以实现智能化交通监控。

为了实现上述目的，本发明提供了以下技术方案：

一种基于多视点的智能视频交通监控系统，用于对道路车辆交通进行控制，其中，该系统包括以下三层结构：

视频组，是最低层的结构，用于对同一道路交通区域进行监控，每个视频组包括：视频信息取得单元，图像处理单元，以及信息网络传输单元；视频信息取得单元从该道路交通区域取得关于车辆的视频信息后，传输给图像处理单元进行处理，处理后的数据传输至信息网络传输单元；信息网络传输单元负责向外传输视频数据信息；每个视频组通过各自的信息网络传输单元进行数据的相互传送；

视频群，是中间层结构，每个视频群由至少2个视频组构成，用于对所述至少2个视频组所监控的车辆个体信息进行动态交接，每个视频群内的视频组之间通过各自的信息网络传输单元进行信息的共享和交接；

视频网，是最高层的信息交换平台，包括视频网交通信息管理单元，向所述视频组的信息网络传输单元提取视频数据信息、并发出控制指令。

其中所述视频信息取得单元至少包括两台摄像头，安装于同一道路交通区域。

其中视频组的图像处理单元包括图像预处理单元、背景差分处理单元、背景更新单元、阴影处理和逆向投影变换处理单元、概率统合图计算及车辆区域提取单元、以及二维图像模板提取单元。

其中一台所述摄像头所得到的一祯图像传输至所述图像预处理单元进行去噪和色彩平衡处理，得到的原始图像被分别送入所述背景更新单元和所述背景差分处理单元中；所述背景更新单元对背景进行实时更新，所述背景差分处理单元通过当前图像同更新后的背景图像进行差分，抽出高于指定阈值的区域，得到车辆候补区域；所述阴影处理和逆向投影变换处理单元对所述车辆候补区域去除路面阴影部分，得到完整的车辆候补区域，对所述完整的车辆候补区域进行逆向投影并生成一幅概率图，对于一个视频组内的每台摄像头所分别得到的概率图进行加权平均得出概率统合图；所述概率统合图计算及车辆区域提取单元对所述概率统合图进行二值化处理得到车辆实际接触地面区域，并从中提取车辆的尺寸和位置信息；所述二维图像模板提取单元将这些数据正向投影变换到各个摄像头的视频图像中获得不同视点的车辆二维图像信息；对下一祯图像，在概率统合图和视频图像中分别进行跟踪并进行统合，得到连续的被监控对象车辆个体的位置信息和颜色信息。

本发明还提供了一种基于多视点的智能视频交通监控方法，用于对道路车辆交通进行控制，其中，该方法将全局道路交通区域分为以下三层结构进行监控：

视频组，是最低层的结构，用于对同一道路交通区域进行监控，每个视频组至少包括两台摄像头，每台摄像头是一个视点，每个视频组内部的图像处理单元负责对所述至少两台摄像头采集的车辆图象进行处理，最后形成视频组内的共享信息；

视频群，是中间层结构，每个视频群由至少两个视频组构成，用于对所述至少两个视频组所监控的车辆个体信息进行动态交接，每个视频群内的视频组之间可进行信息的共享和交接；

视频网，是最高层的信息交换平台，对全局道路交通区域进行监控，向所述视频组和视频群提取视频数据信息、并发出控制指令。

其中视频组对图象进行处理的步骤如下：

①测定每个视频组的摄像头的外部参数；

②对一台摄像头新采集到的一祯图像信息进行预处理；

③预处理后得到的原始图象被分别送入背景更新单元和背景差分处理单元中，对背景进行实时更新及去除高于指定阈值的区域，得到车辆的候补区域；

④对车辆的候补区域进行阴影处理和逆向投影变换处理去除路面阴影部分，得到完整的车辆候补区域，对所述完整的车辆候补区域进行逆向投影并生成一幅概率图，对于一个视频组内的每台摄像头所分别得到的概率图进行加权平均得出概率统合图；

⑤对概率统合图进行计算分析，提取车辆的尺寸和位置信息；

⑥上述数据经过正向投影变换到各个摄像头的视频图像中获得不同视点的车辆二维图像信息；

⑦对下一祯图像，在概率统合图和视频图像中分别进行跟踪并进行统合，从而得到完整的对象物行进轨迹和移动速度。

⑧每一个视频组根据预先设置的视频群内视频组的对应规则，把即将脱离监控区域的对象物信息交接给同一视频群的下一个视频组。

⑨将各个视频组获取的即时数据以及各个视频群的交接结果汇总成全局信息，通过全局的视频网，实现智能型交通监控。

其中所述视频组内部共享的被监控车辆个体信息包括：各个被监控车辆的统一编号，车辆的位置，移动速度，三维尺寸，颜色和多视点的二维图像模型。

其中所述视频群内各视频组之间共享和交接的信息包括：原视频组编号，一个或多个移交视频组编号，原视频组内的被监控车辆信息，预计出现时刻，预计出现位置和预计二维图像模型。

其中所述视频网从视频组提取全局信息，而不包括车辆个体信息，所述全局信息包括：各个路段的交通流量，车辆平均通过速度，车辆平均间隔，道路占有率；使得所述视频网对全部道路交通区域的道路堵塞程度、旅程时间预测、最优路径搜索提供主要数据信息；同时所述视频网根据交通阻塞、交通事故、大气污染程度来动态向所述视频组发出控制指令，而进行交通信号管制。

由于本发明的系统和方法在同一道路交通上采用了多个摄像头，使得本系统具有了多视点，因此能够对车辆遮挡现象进行补正以及正确地推断车辆的三维尺寸和车辆种类，达到较高监测精度；另外，本发明的系统和方法采用了3级结构进行全局监控，可以进行实时的数据信息交换共享，所以能够对将要到来的车辆信息、交通流量进行实时预测，有很强的预见性；可以对车辆行进轨迹和异常交通现象进行及时处理，保证交通的畅通。

附图说明

图1为本发明的智能交通监控系统的整体结构示意图；

图2为本发明的智能交通监控系统的视频组示意图；

图3为视频组结构示意图；

图4为本发明视频组通过在道路上标定统一参考点坐标，测定每一台摄像头外部参数的示意图；

图5为本发明通过测定好的外部参数对视频组的图像进行逆向投影变换的示意图；

图6a为本发明逆向投影变换的示意图；

图6b为本发明的概率统合图概念的示意图；

图7为本发明获得车辆二维图像模型的示意图；

图8为本发明的智能交通监控系统的视频群示意图；

图9为本发明具体实施步骤的方框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述，但应当说明的是，这些实施例仅用于说明本发明的系统和方法，而并不能将本发明的范围局限于此。

为了对某个交通区域内的车辆进行有效监控，本发明根据监控区域和摄像头位置将全局视频监控网络分解为视频组(camera group)，视频群(camera cluster)和视频网(camera network)的3级结构进行信息的交换和共享。

如图1所示，为本发明的智能交通监控系统1000的整体结构示意图；本发明的智能交通监控系统1000分为3级结构，最低一级为视频组(camera group)，用于对同一道路交通区域进行监控。如图1所示的若干个视频组101。每个视频组101包括视频信息取得单元1011，图像处理单元1012，信息网络传输单元1013。视频信息取得单元1011由多台摄像头构成，他们具有相对一致的监控区域，比如说某一个路口的一道路，可以从不同的视点对有效区域内的对象进行监控，从而解决以往交通监测中的遮挡问题以及判断车辆三维尺寸及车辆种类。视频信息取得单元1011至少包括2台摄像头，也可以数量更多，应该根据被监控道路的车线数目和宽度合理选择摄像头的台数，位置和角度。各个摄像头的视角，视点，内部参数(镜头焦距，偏心等)，分辨度等可以任意选择。图像处理单元1012用于对视频组101传来的视频信息进行处理，该单元包括工业PC或嵌入式计算机。视频信息取得单元1011和图像处理单元1012之间可以是通过线缆进行通讯连接，也可以是远程的无线连接。信息网络传输单元1013主要是在视频组101和视频网交通信息管理单元300之间高速传输数据以及控制信息用。而每一视频组的图像处理单元与另一视频组的图像处理单元之间还可以通过各种技术进行数据的交换和信息的沟通，比如远红外数据传输、无线网络数据传输，等等。

第二级为视频群，每个视频群200由相邻的或不相邻的至少2个视频组构成，此相邻是指在实际的道路上相邻的概念，视频群200的主要功能是有效地传递被监控对象车辆的个体信息，以达到对象物预测和广域的全程监控功能。图1只标明了一个视频群200。视频群是由多个视频组根据道路构成和行驶规则而组成，如图2中椭圆形图标所框定的范围所示，视频群的最小构成可以是近邻的2个视频组，也可以是一个十字路口的4个视频组构成，或由同一道路上对同一行进方向的车辆进行监控的若干个视频组。

本发明结构中最高一级为视频网，视频网是最高层的信息交换平台。视频网的交换信息只含全局信息，车辆个体信息不再作为共享信息，这样将极大方便网络的构成。这些信息只包括各个路段的交通流量，车辆平均通过速度，车辆平均间隔，道路占有率等将汇总成全局信息，对道路的堵塞程度，旅程时间预测，最优路径搜索提供主要数据信息。同时根据交通阻塞，交通事故，大气污染程度来动态进行交通信号管制，达到智能型交通监控系统。其范围可大到一个城市的交通网络，甚至更大。如图1所示，这些功能主要通过视频网交通信息管理单元300来实现。

下面通过实施例分别对视频组、视频群和视频网的工作过程和步骤做详细描述。

具体实施例1  视频组

视频组的主要任务是对车辆个体信息包括被监控车辆的统一编号、车辆位置，车道，车速，尺寸，颜色以及轨迹信息进行监控。

如图2所示，为本发明的智能交通监控系统的视频组示意图，本实施例以一个十字路口为例进行说明，在该十字路口上设置了4个视频组11、12、13、14，每个视频组都包括了视频信息取得单元1011，图像处理单元1012，信息网络传输单元1013。在每个视频组的视频信息取得单元中都设置了3台摄像头。当然，在实际应用中，视频信息取得单元中的摄像头可以设置于道路的任何一点上，而且也可以包括任意数目的摄像头。每一个摄像头都是一个视频信息检测点，当被检测车辆行驶到该点时自动采集视频组所需要的车辆个体视频信息。

以视频组11为例，首先评估监控摄像头的覆盖范围，然后分别调整3个摄像头的设置位置，高度和角度，使得该视频组11内的3个摄像头能够对道路的监控范围尽可能广泛同时保证测量精度。并且同一个视频组内的3个摄像头进行同步处理，以保证概率统合图的时序性。

系统初期设定时可以通过手工处理来对视频组内的每一台摄像头确定姿态。在系统运行中由于震动和风吹的原因摄像头的姿态会有所变化，通过对视频图像实时进行参考点坐标的测量，可以及时纠正摄像头姿态的变化。

首先，以图2中的视频组11为例，如果有一辆车进入该视频组11的监控范围，则该车首先会有一个被监控车辆的统一编号，在本发明的系统中，针对每一辆被监控车辆都将分别有一个统一编号，本系统根据统一编号对被监控车辆进行监控。

然后，视频信息取得单元1011取得图像资料后传输至图像处理单元1012，接下来，每一祯图像数据都将通过一系列的处理，得到车辆的二维图像模板，最后提取包括车辆位置，车道，车速，尺寸，颜色以及轨迹信息等在内的车辆个体信息。具体过程请详细看以下的内容。

视频组主要是通过各个摄像头的相对位置关系来统合不同视点的检测结果。由于摄像头的外部参数可以把图像坐标逆向投影变换到道路平面坐标，每一台摄像头得到的检测结果可以被变换到统一的道路平面坐标系。由于摄像头的空间位置和远近，顺光逆光的关系，逆向投影变换后每一台摄像头所得到的视频处理结果的可靠性会产生变化。本发明提出了视频组内的概率统合图(Probability Fusion Map)概念，可以更精确的推断各个对象物的道路位置。

如图3所示，图像处理单元1012包括图像预处理单元、背景差分处理单元、背景更新单元、阴影处理和逆向投影变换处理单元、概率统合图计算及车辆区域提取单元、二维图像模板提取单元。

请同时参见图1，视频信息取得单元1011的其中一台摄像头取得一祯图像后，传输至图像处理单元1012中的图像预处理单元，图像处理单元1012首先对其进行图像预处理生成原始图像。图像预处理可以根据摄像头的种类有所区别。比如普通彩色PAL监控摄像头得到的图像可以进行祯场变换得到伪逐行图像后，进行去噪和色彩平衡处理。较高级的RGB逐行扫描监控摄像头得到的图像就可以直接进行色彩平衡处理。

预处理后所生成的原始图像被分别送入背景更新单元和背景差分处理单元中。背景更新单元主要是对背景进行实时更新，算法可以采用通常的扩展卡尔曼滤波器或Gaussian复合背景模型算法。比如用扩展卡尔曼滤波器针对每一个像素的亮度变化获得长期变化模型，从而预测背景的亮度变化。背景更新处理可以解决瞬时的背景噪音或者阴影的影响。

背景差分处理单元主要通过当前图像同更新后的背景图像进行差分，抽出高于指定阈值的区域。具体计算方法如下：

1.计算每一点亮度差(新图像同背景的亮度差)的绝对值。如果绝对值高于指定阈值，这个像元作为前景的候补点被抽出。

2.通过粒子解析处理，除去小面积的候补点集合，抽出一定面积以上的区域作为车辆候补区域。

在阴影处理和逆向投影变换处理单元里，抽出后的车辆候补区域经过HSV彩色变换处理去除路面上的阴影部分，得到比较完整的车辆区域后，通过摄像头的外部参数逆行投影变换到这一视频组的概率统合图里。

图4就是通过在道路上标定统一参考点坐标，测定每一台摄像头外部参数的示意图；设定统一参考点主要是为了调整摄像头的空间位置和姿态之用。如图4所示，在道路上设定了8个统一参考点Di，这里i＝1，2，…，8。为方便实施，可在道路两侧做实体的标记。这些统一参考点的实际坐标由统一的世界坐标系标定并预先测量好。测定每一台摄像头的外部参数要在图像中确定各个参考点的图像位置。假设统一参考点Di的图像坐标为(xi，yi)，其对应的实际坐标为(Xi，Yi，Zi)。这里i＝1，2，…，8。

具体来说，根据小孔摄像头模型的投影公式，各个参考点Di的图像位置为：

$\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]=\mathrm{AP}\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]P\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]$ (公式1)

公式1是联系参考点的实际3维坐标同各个摄像头的二维图像坐标的投影公式。其中，矩阵A被称为摄像头内部参数矩阵，可以在设置前通过简单测试得到。采用的测试手段是通过方格模板进行多个角度的图像采集，用最小二乘法求出摄像头的光学变形参数，光轴中心，焦距等内部参数。矩阵P被称为摄像头的外部参数矩阵，由3个平移运动参数和三个旋转运动参数组成，其中fx和fy是摄像头的焦距，u0，v0是光轴中心坐标。如果假设监控范围内的道路路面平坦，统一参考点的Z轴坐标就可以简化为零。外部参数矩阵的求解，可以用通用的最小二乘法来逼近得到最优解。

图5为本发明通过测定好的外部参数对差分处理后的图像进行逆向投影变换的示意图；上面的3张图分别为3台摄像头所拍摄到的道路图像，黑框用于说明需要进行逆向投影变换的区域，下面的图是经过逆向投影变换后的图像。

用于表示每一台摄像头的视频处理结果的概率图由逆向投影因子，摄像精度因子等合成而来。

逆向投影因子α_i(x，y)是由每一台摄像头的车辆候补区域点的坐标而定。逆向投影后的对象物区域每一点的概率因子设定为a，区域外点设定为b(a＞＞b)。如图6a所示，逆向投影后的车辆区域内的概率因子为0.95，车辆区域外的概率因子设为0.05。

摄像精度因子是把该摄像头的视野内的点根据相对于摄像头的距离远近设定精度的权重参数。由于投影图的几何关系，图像的分解度同物体的距离成反比例。摄像的精度也就同距离成反比例。具体计算公式如下：

${\mathrm{\β}}_i(x,y)=1-K_i{\log }_{10}\frac{P(x,y)}{P_0}$ (公式2)

这里的P₀为统一参考点D₁到摄像头i的直线距离，K_i是摄像头的调整参数，P(x，y)是投影到图像点(x，y)的实际道路点到摄像头i的距离。P(x，y)可以由公式(1)计算出。

如果有其他方面对精度有影响的因素，可以另外设定。每一台摄像头的概率图最后由逆向投影因子，摄像精度因子等的乘积得来。

${P_i|}_{(x,y)}{=\mathrm{\α}}_i(x,y)\·{\mathrm{\β}}_i(x,y)\·\·\·$ (公式3)

而视频组内的概率统合图则由各个摄像头概率图的加权平均来算出。概率统合图中某一点的计算公式为：

$P{|}_{(x,y)}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{P_i|}_{(x,y)}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\α}}_i(x,y)\·{\mathrm{\β}}_i(x,y)\·\·\·)$ (公式4)

这里的n为视频组内的摄像头数，P|(x，y)为概率统合图中某一点的坐标数据，α_i(x，y)为第i台摄像头的逆向投影因子，β_i(x，y)为第i台摄像头的摄像精度因子。

如图6a和图6b所示，由于逆向投影变换是依据道路平面为基准，车辆同路面接触的部分将不会发生位置变化，而高于路面的汽车车体部分或障碍物的其他部分的变换结果将偏于实际道路位置。因此公式4计算概率统合图时，车辆同路面接触部分的概率将会被叠加变大。通过二值化处理将会精确地抽出车辆的实际接触地面部分，从而确定道路上车辆的实际位置和尺寸。图6a为本发明逆向投影变换的示意图，其中左上图为原始图，右上图为背景差分后提取的车辆候补区域，左下图和右下图为经过逆向投影变换得到的原始图和车辆候补区域。白色方框为车辆接触地面的区域。

图6b为本发明的概率统合图的例子，该实施例中的3台摄像头所得到的3幅概率图，实际显示中分别用红绿蓝三色标记，由于图6b为黑白示图，可以看到图中的每台车左上、上、以及右上方向有些不同深度的区域，这些区域即为三台摄像头经过逆向投影后的车辆候补区域。这3种区域进行重叠所形成的白色区域即为本发明通过公式2到公式4的计算所得到的概率统合图。图6b中可看到3辆车的白色概率统合图。

图7为本发明获得车辆二维图像模型的示意图；车辆二维图像模型是以车辆二维图像位置为中心的方形图像区域。具体来讲，通过概率统合图的二值化处理可以得到得车辆的位置和三维空间尺寸。这些数据根据摄像头的外部参数(参见公式1)被投影变换到各个原图中，得到车辆位置和尺寸的二维坐标。

接下来，二维图象模板提取单元将通过概率统合图内的车辆候补区域和每一台视频内的车辆二维图像模型信息进行跟踪处理，获得车辆的行进轨迹、移动速度以及对交通流量等进行判断。具体步骤为：

1.在概率统合图内确定好车辆的实际位置和尺寸后，这些数据将会被投影到每一台摄像头的视频图像中，获得车辆的二维图像模型(如图7的白色方框所示)，同时记录每一台车辆的颜色等统计信息。

2.每一台摄像头在取得下一祯图像后，首先同样通过背景差分和粒子解析等处理得到车辆候补区域，重复上述的处理过程计算得到新的概率统合图并抽出车辆区域。对前后两祯的比较会得到车辆的跟踪结果。

3.对车辆的二维图像模型在下一祯图像里进行灰度匹配处理得到跟踪的车辆图像位置。对跟踪后的图像位置进行逆向投影变换可以得到车辆的道路位置。

4.综合两种跟踪结果后最终得到每一祯的各个车辆位置，从而得到完整的车辆行进轨迹和车辆移动速度。

综上，通过以上运算和处理，视频组可获得的信息包括：各个被监控车辆的统一编号，车辆的位置，移动速度，三维尺寸，颜色和多视点的二维图像模型，等等。

具体实施例2：视频群

视频群用于对视频组监控的车辆个体信息进行动态交接，每个视频群内的视频组之间通过各自的信息网络传输单元进行信息的共享，以达到对象物预测和广域的全程监控功能。

视频组加入道路规划信息之后，就可以将不同监控范围和方向的摄像头根据车辆行进方向将不同的视频组聚合为视频群(camera cluster)。视频群的主要功能是对视频组监控的车辆个体信息进行交接，以达到对象物预测和广域的全程监控功能。图8给出视频群的示意图。再请同时参考图2所示，如果视频组11检测到左转车道上小型蓝色车一辆，时速10km/h，直行车道上小型红色车一辆，时速20km/h，白色中型车和蓝色卡车各一辆，时速35km/h，直行或右转车道上小型白色车一辆，时速20km/h(图中未示出)。这些信息将根据道路规划信息交接给不同视频群的下一个视频组。比如左转的小型蓝色车信息将交接给视频组12，直行的小型红色车，白色中型车和蓝色卡车信息将交接给视频组13，直行或右转的小型白色车信息将交接给视频组13和14。交接接受方的视频组将根据车辆时速，颜色等各体信息对即将出现的对象物进行预测，当对象物进入视野并确认对象物同交接信息匹配后，交接过程结束，对象物的持续跟踪得以实现。如实际观测对象信息与交接信息在相当一段时间无法匹配，可以对对象物是否属于新出现车辆，是否为违规行驶车辆，是否出现交通事故等异常交通现象进行判断。

如前所述，每一视频组的图像处理单元与另一视频组的图像处理单元之间是可以通过各种技术进行数据的交换和信息的沟通，比如远红外数据传输、无线网络数据传输，等等。

视频组和视频组的连接可以通过拓扑型网络结构连接，任何一个视频组可以直接连接到另外一个或多个视频组，组成一个视频群。视频群内的信息交接主要包括原视频组编号，移交视频组编号(一个或多个)，交接对象信息(同视频组内的被监控车辆信息)，预计出现时刻，预计出现位置和预计二维图像模型。

具体实施例3：视频网

本发明结构中最高一级为视频网。视频网是最高层的信息交换平台，对于广域的视频网(camera network)，车辆个体信息不再作为共享信息，这样将极大方便网络的构成。视频网的主要控制功能由视频网交通信息管理单元300来实现。视频网交通信息管理单元300提取视频组和视频群的视频信息，这些信息包括各个路段的交通流量，车辆平均通过速度，车辆平均间隔，道路占有率等，请再参见图1，视频网交通信息管理单元300将视频组101发来的信息汇总成全局信息，对道路的堵塞程度，旅程时间预测，最优路径搜索提供主要数据信息。同时根据交通阻塞，交通事故，大气污染程度来动态进行交通信号管制，此过程通过视频网交通信息管理单元300向所述视频组的信息网络传输单元发出控制指令而完成，以达到智能型交通监控系统。

具体来讲，请同时参见图1所示，视频组101内的摄像头可以通过网络连接到远端的图像处理单元1012进行处理，图像处理单元1012可以是几台计算机组成的高速局域网络，也可以是一台计算机的多线程结构。图像处理单元1012内部的共享信息包括各个被监控车辆的统一编号，车辆的位置，移动速度，三维尺寸，颜色和多视点的二维图像模型。这些信息从被监控车辆进入一个视频组的视野开始，到交接给视频群的下一个视频组为止，保存在图像处理单元1012的高速缓存器或内存中。

视频组和视频组的连接可以通过拓扑型网络结构连接，任何一个视频组可以直接连接到另外一个或多个视频组，组成一个视频群。视频群内的信息交接主要包括原视频组编号，移交视频组编号(一个或多个)，交接对象信息(同视频组内的被监控车辆信息)，预计出现时刻，预计出现位置和预计二维图像模型。

视频网所监控的广域交通信息可以由视频组的各路段的瞬时信息(包括车辆台数，平均移动速度等)和视频群的链接信息来构成。宏观的全局道路信息，比如从道路地点A移动到道路地点B的旅行时间预测，可以用整个路径的各个路段的移动时间(距离/平均移动速度)的和加上各个路段的推定阻塞时间来进行预测，这将极大提高宏观道路信息的精确度。

本发明的具体实施方式可以根据道路安全系统的整体安排进行调整。下面以新建设一个本发明的智能交通监控系统为例，具体说明本发明的方法。请看图9，图9为本发明具体实施步骤的方框图。

步骤1评估监控摄像头的覆盖范围，调整各个摄像头的设置位置，高度和角度，达到视频组内的共同监控范围尽可能广泛同时保证需求的测量精度。划定好道路各部分所属的视频组。

步骤2根据道路走行规则，确定各个视频群的组成和对应规则链接视频群。

步骤3每一个视频组内通过标定统一参考点坐标，测定每一台摄像头的外部参数。预先计算好概率统合图的摄像精度因子等因子。

步骤4系统运行时对每一个视频组内的摄像头进行同步处理，保证概率统合图的时序性。

步骤5针对每一台摄像头，新采集到的图像信息首先进行预处理。预处理可以根据摄像头的种类有所区别。比如普通彩色PAL监控摄像头得到的图像可以进行祯场变换得到伪逐行图像后，进行去噪和色彩平衡处理。较高级的RGB逐行扫描监控摄像头得到的图像就可以直接进行色彩平衡处理。

步骤6预处理后所生成的原始图像被分别送入背景更新单元和背景差分处理单元中。背景更新单元主要是对背景进行实时更新，算法可以采用通常的扩展卡尔曼滤波器或Gaussian复合背景模型算法。背景差分处理单元主要通过当前图像同更新后的背景图像进行差分，抽出高于指定阈值的区域。

步骤7抽出后的车辆候补区域经过HSV彩色变换处理去除路面上的阴影部分，得到比较完整的车辆区域后，通过摄像头的外部参数逆行投影变换到这一视频组的概率统合图里。

步骤8视频组内的每一个摄像头得到的概率图进行叠加后，进行自适应阈值的二值化处理得到道路俯视图内的车辆部分。计算车辆中心位置，外接矩形面积，所属车道等信息。

步骤9通过摄像头的外部参数，道路俯视图内的车辆外接矩形被投影到视频组内的每一个摄像头的背景差分结果图像中匹配车辆高度信息，得到车辆的三维尺寸信息。同时根据原图得到车辆的二维图像模板。记录每一台车辆的颜色等统计信息。

步骤10每一台摄像头在取得下一祯图像后，首先同样通过背景差分和粒子解析等处理得到车辆的候补区域，重复上述处理过程得到新的概率统合图并抽出车辆区域。

对车辆的二维图像模型在下一祯图像里进行灰度匹配处理得到跟踪的车辆图像位置。把跟踪后的图像位置进行逆向投影变换可以得到车辆的道路位置。综合两种跟踪结果后最终得到每一祯的各个车辆位置，从而得到完整的车辆行进轨迹和车辆移动速度。

步骤11每一个视频组根据预先设置的视频群对应规则，把即将脱离监控区域的车辆信息，包括统一序列号，车辆行进轨迹，移动速度，二维图像模型，三维尺寸和颜色等信息交接给同一视频群的下一个视频组。下一个视频组将对可能出现区域和图像模型进行预测。当对象物进入视野并确认对象物同交接信息匹配后，交接过程结束，对象物的持续跟踪得以实现。如实际观测对象信息与交接信息在相当一段时间无法匹配，可以对对象物是否属于新出现车辆，是否为违规行驶车辆，是否出现交通事故等异常交通现象进行判断。

步骤12对全局的视频网，各个视频组的即时平均车速，通过台数，各个视频群的交接结果，行使路段的平均移动时间和道路占有率将会被记录和汇总成全局信息，对道路的堵塞程度，旅程时间预测，最优路径搜索提供主要数据信息。同时可以根据交通阻塞，交通事故，大气污染程度来动态进行交通信号管制，这些信息都可以进行全局视频网内的共享，达到智能型交通监控。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (20)

1、基于多视点的智能视频交通监控系统，用于对道路车辆交通进行控制，其中，该系统包括以下三层结构：

视频组，是最低层结构，用于对同一道路交通区域进行监控，每个视频组包括：视频信息取得单元，图像处理单元，以及信息网络传输单元；其中，视频信息取得单元从该道路交通区域取得关于车辆的视频信息后，传输给图像处理单元进行处理，处理后的数据传输至信息网络传输单元；信息网络传输单元负责向外传输视频数据信息；每个视频组通过各自的信息网络传输单元进行数据的相互传送；

视频群，是中间层结构，每个视频群由至少2个视频组构成，用于对所述至少2个视频组所监控的车辆个体信息进行动态交接，每个视频群内的视频组之间通过各自的信息网络传输单元进行信息的共享和交接；

视频网，是最高层结构，包括视频网交通信息管理单元，向所述视频组的信息网络传输单元提取视频数据信息、并发出控制指令。

2、如权利要求1所述的智能视频交通监控系统，其中所述视频信息取得单元至少包括两台摄像头，安装于同一道路交通区域。

3、如权利要求1或2所述的智能视频交通监控系统，其中视频组的图像处理单元包括图像预处理单元、背景差分处理单元、背景更新单元、阴影处理和逆向投影变换处理单元、概率统合图计算及车辆区域提取单元、以及二维图像模板提取单元。

4、如权利要求3所述的智能视频交通监控系统，其中一台所述摄像头所得到的一祯图像传输至所述图像预处理单元进行去噪和色彩平衡处理，得到的原始图像被分别送入所述背景更新单元和所述背景差分处理单元中；

所述背景更新单元对背景进行实时更新，所述背景差分处理单元通过当前图像同更新后的背景图像进行差分，抽出高于指定阈值的区域，得到车辆候补区域；

所述阴影处理和逆向投影变换处理单元对所述车辆候补区域去除路面阴影部分，得到完整的车辆候补区域，对所述完整的车辆候补区域进行逆向投影并生成一幅概率图，对于一个视频组内的每台摄像头所分别得到的概率图进行处理得出概率统合图；

所述概率统合图计算及车辆区域提取单元对所述概率统合图进行二值化处理得到车辆实际接触地面区域，并从中提取车辆的尺寸和位置信息；

所述二维图像模板提取单元将这些数据正向投影变换到各个摄像头的视频图像中获得不同视点的车辆二维图像信息；对下一祯图像，在概率统合图和视频图像中分别进行跟踪并进行统合，得到连续的被监控对象车辆个体的位置信息和颜色信息。

5、如权利要求4所述的智能视频交通监控系统，其中所述概率图的算法公式为：

       P_i|_(x，y)＝α_i(x，y)·β_i(x，y)…

其中，α_i(x，y)为第i台摄像头的逆向投影因子，β_i(x，y)为第i台摄像头的摄像精度因子。

6、如权利要求5所述的智能视频交通监控系统，其中概率统合图算法公式为：

$P{|}_{(x,y)}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{P}_i{|}_{(x,y)}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\α}}_i(x,y)\·{\mathrm{\β}}_i(x,y)\·\·\·)$

其中，α_i(x，y)为第i台摄像头的逆向投影因子，β_i(x，y)为第i台摄像头的摄像精度因子，共有n台摄像头。

7、如权利要求1或3所述的智能视频交通监控系统，其中图像处理单元包括工业PC或嵌入式计算机。

8、如权利要求1所述的智能视频交通监控系统，其中所述视频组的图像处理单元内部的共享信息为被监控车辆个体信息，包括：各个被监控车辆的统一编号，车辆的位置，移动速度，三维尺寸，颜色和多视点的二维图像模型。

9、如权利要求1所述的智能视频交通监控系统，其中所述视频群内各视频组之间共享和交接的信息包括：原视频组编号，一个或多个移交视频组编号，原视频组内的被监控车辆信息，预计出现时刻，预计出现位置和预计二维图像模型。

10、如权利要求1所述的智能视频交通监控系统，其中所述视频网向所述视频组的信息网络传输单元提取的视频数据信息包括：各个路段的交通流量，车辆平均通过速度，车辆平均间隔，道路占有率。

11、一种基于多视点的智能视频交通监控方法，用于对道路车辆交通进行控制，其中，该方法将全局道路交通区域分为以下三层结构进行监控：

视频组，是最低层结构，用于对同一道路交通区域进行监控，每个视频组至少包括两台摄像头，每台摄像头是一个视点，每个视频组内部的图像处理单元负责对所述至少两台摄像头采集的车辆图象进行处理，最后形成视频组内的共享信息；

视频群，是中间层结构，每个视频群由至少两个视频组构成，用于对所述至少两个视频组所监控的车辆个体信息进行动态交接，每个视频群内的视频组之间可进行信息的共享和交接；

视频网，是最高层结构，对全局道路交通区域进行监控，向所述视频组和视频群提取视频数据信息、并发出控制指令。

12、如权利要求11所述的智能视频交通监控方法，其中视频组对图象进行处理的步骤如下：

①测定每个视频组的摄像头的外部参数；

②对一台摄像头新采集到的一祯图像信息进行预处理；

③预处理后得到的原始图象被分别送入背景更新单元和背景差分处理单元中，对背景进行实时更新及去除高于指定阈值的区域，得到车辆的候补区域；

④对车辆的候补区域进行阴影处理和逆向投影变换处理去除路面阴影部分，得到完整的车辆候补区域，对所述完整的车辆候补区域进行逆向投影并生成一幅概率图，对于一个视频组内的每台摄像头所分别得到的概率图进行处理得出概率统合图；

⑤对概率统合图进行计算分析，提取车辆的尺寸和位置信息；

⑥上述数据经过正向投影变换到各个摄像头的视频图像中获得不同视点的车辆二维图像信息；

⑦对下一祯图像，在概率统合图和视频图像中分别进行跟踪并进行统合，从而得到完整的对象物行进轨迹和移动速度。

13、权利要求12所述的智能视频交通监控方法，其中还包括以下步骤：

⑧每一个视频组根据预先设置的视频群内视频组的对应规则，把即将脱离监控区域的对象物信息交接给同一视频群的下一个视频组。

14、权利要求12所述的智能视频交通监控方法，其中还包括以下步骤：

⑨将各个视频组获取的即时数据以及各个视频群的交接结果汇总成全局信息，通过全局的视频网，实现智能型交通监控。

15、如权利要求12所述的智能视频交通监控方法，其中步骤①所述测定每一台摄像头外部参数的公式是：

$\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]=\mathrm{AP}\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]P\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]$

16、如权利要求12所述的智能视频交通监控方法，其中所述步骤④的概率图算法公式为：

    P_i|_(x，y)＝α_i(x，y)·β_i(x，y)…

其中，α_i(x，y)为第i台摄像头的逆向投影因子，β_i(x，y)为第i台摄像头的摄像精度因子， ${\mathrm{\β}}_i(x,y)=1-K_i{\log }_{10}\frac{P(x,y)}{D_0}.$

17、如权利要求12所述的智能视频交通监控方法，其中步骤④概率统合图，算法公式为：

${P|}_{(x,y)}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{P}_i{|}_{(x,y)}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}({{\mathrm{\α}}_i(x,y)\·\mathrm{\β}}_i(x,y)\·\·\·)$

其中，α_i(x，y)为第i台摄像头的逆向投影因子，β_i(x，y)为第i台摄像头的摄像精度因子，共有n台摄像头。

18、如权利要求11所述的智能视频交通监控方法，其中所述视频组内部共享的被监控车辆个体信息包括：各个被监控车辆的统一编号，车辆的位置，移动速度，三维尺寸，颜色和多视点的二维图像模型。

19、如权利要求11所述的智能视频交通监控方法，其中所述视频群内各视频组之间共享和交接的信息包括：原视频组编号，一个或多个移交视频组编号，原视频组内的被监控车辆信息，预计出现时刻，预计出现位置和预计二维图像模型。

20、如权利要求11所述的智能视频交通监控方法，其中所述视频网从视频组提取全局信息，而不包括车辆个体信息，所述全局信息包括：各个路段的交通流量，车辆平均通过速度，车辆平均间隔，道路占有率；使得所述视频网对全部道路交通区域的道路堵塞程度、旅程时间预测、最优路径搜索提供主要数据信息；同时所述视频网根据交通阻塞、交通事故、大气污染程度来动态向所述视频组发出控制指令，而进行交通信号管制。

Images