CN101714293A - 基于立体视觉的公交客流拥挤度采集方法 - Google Patents

Abstract

本发明涉及一种基于立体视觉的公交客流拥挤度采集方法，包括如下步骤：(1)、用平行同步左、右摄像机获得左、右二个同步视频图像，由同步视频图像采集模块处理获得左、右二个同步视频图像序列；(2)、由视差计算模块对上述同步视频图像序列计算出客流场景的视差图像，预存背景视差图像；(3)、由前景目标生成模块根据场景的帧差运动特性判断当前帧类别，对背景帧视差图像进行动态更新，对前景帧计算场景内的前景目标的视差图像；(4)、由前景目标映射模块对上述前景目标进行位置映射，得到前景目标的地平面映射图像；(5)、由拥挤度估计模块对上述的映射图像进行目标特性的统计，根据目标的区域和边缘特性获得拥挤度估计值；重复循环执行步骤(1)到步骤(5)，完成实时的客流拥挤度采集。

Description

基于立体视觉的公交客流拥挤度采集方法

技术领域

本发明是一种涉及用于公交客流拥挤度采集，具体地说是涉及一种基于立体视觉的公交客流拥挤度采集方法。该方法采用立体视觉技术进行客流前景目标的提取、二维地平面映射，以及场景拥挤度估计，尤其适用于公交车内及公交车站这类复杂场景中的客流拥挤度采集。

背景技术

城市公共交通系统是整个交通运输系统的重要组成部分，具有运输量大、集约化经营、节省能源和道路空间、环境污染小等优点。国内外各大城市都相继提出了优先发展城市公交、加快实现公共交通的信息化和智能化的策略。公共交通系统中及时准确地获取公交客流数据，是公交管理部门合理安排公交线路、优化调度公交车辆、提高运营效率的最主要依据，因此对公交客流数据统计方法的研究具有重大的实用价值。

公交系统的实时客流信息用于公交系统的实时调度和事后的分析统计，包括公交车上的实时客流数量和公交站点的实时候客数量两类。公交车辆中的客流数量可以通过两种方式进行采集，一种是通过装在车门处的客流计数装置的计数结果间接计算出公交车内的乘客数量，另一种是对车厢内的客流密度进行估计以得到乘客数量。由于通过车门客流计数间接计算车厢内的客流密度有累积误差，直接进行客流密度采集是一个更直接和有效的方式。公交站点由于是一个开放的场合，因此更适合通过直接采集客流密度的方式获得实时客流信息。

客流密度是由客流在特定区域中的数量决定的，由于在公交这种相对拥挤和遮挡严重的场合，要对人数进行准确的计数非常困难，目前主要是通过视频图像处理的手段直接对客流的密度或拥挤度进行估算。密度是指单位面积中的客流个数，拥挤度是密度的某种线性变换，并将其转换到0-100％的范围，较适合于公交系统的需求。在现有公交系统中，客流拥挤度采集技术还没有得到应用。

目前基于视频的客流密度或拥挤度采集的手段主要分为基于像素统计和基于纹理分析两大类，这两大类方法侧重于研究单目视频监控图像中前景目标分割后的密度估计技术。针对基于视频的公交系统中客流拥挤度采集所面临的几大技术难点：前景目标的分割、透视效应的校正和目标遮挡重叠的处理，本专利基于双目立体视觉的技术进行拥挤度采集。采用立体视觉技术可以较准确地确定和分割前景目标的位置及深度信息，再利用目标三维信息将前景目标映射到实际的二维地平面上，以进行透视校正和目标遮挡分割，同时提取二维映射平面上的前景目标的面积和边缘长度等特征信息，最终得到了准确的拥挤度估计结果。

发明内容

本发明的目的在于针对现有公交客流密度采集技术存在的问题，提供一种基于立体视觉的公交客流拥挤度采集方法，它适合在公交车箱内和车站的复杂场景中进行客流拥挤度采集，并保证消除严重的光照突变、阴影、透视畸变、遮挡等的影响。

为了达到上述目的，本发明的技术方案是：

上述基于立体视觉的公交客流拥挤度采集方法，利用包括双目同步视频图像采集模块、视差计算模块、前景目标生成模块、前景目标映射模块、拥挤度估计模块，上述基于立体视觉的公交客流拥挤度采集方法包括如下步骤：

(1)、用平行同步左、右摄像机获得左、右二个同步视频图像，由同步视频图像采集模块处理获得左、右二个同步视频图像序列；

(2)、由视差计算模块对上述同步视频图像序列计算出客流场景的视差图像，预存背景视差图像；

(3)、由前景目标生成模块根据场景的帧差运动特性判断当前帧类别，对背景帧视差图像进行动态更新，对前景帧计算场景内的前景目标的视差图像；

(4)、由前景目标映射模块对上述前景目标进行位置映射，得到前景目标的地平面映射图像；

(5)、由拥挤度估计模块对上述的映射图像进行目标特性的统计，根据目标的区域和边缘特性获得拥挤度估计值；

重复循环执行步骤(1)到步骤(5)，完成实时的客流拥挤度采集。

本发明提出的基于立体视觉的公交客流拥挤度采集方法适用于诸如公交系统等的复杂环境，能够很好地满足系统的实时性和准确性要求。

本发明与现有客流拥挤度采集技术相比较，具有如下特征和优点：采用立体视觉技术进行前景目标的分割，几乎不受光照变化及阴影的影响，提高了系统的抗干扰性；利用目标的地平面映射方法提取出前景目标的两维平面位置，较好地解决了透视和遮挡重叠问题；由目标的区域与边缘信息结合直接估计拥挤度。

附图说明

图1是基于立体视觉的公交客流拥挤度采集方法的应用场景示意图。

图2是系统算法及软件实现的处理框图。

图3算法公式推导用的地平面背景上前景目标的映射图。

具体实施方式

以下将结合附图对本发明的基于双行视差时空图的公交车客流自动计数方法及其系统作进一步的详细描述。

如图1、2所示，基于立体视觉的公交客流拥挤度采集方法，利用包括双目同步视频图像采集模块、视差计算模块B2、前景目标生成模块B3、前景目标映射模块B4、拥挤度估计模块B5，其中，双目同步视频图像采集模块由现场双目立体摄像机A以及图像采集模块B1构成，视差计算模块B2包括视差图像计算及背景视差图像预存模块，前景目标生成模块B3由前景目标的视差图像计算及背景视差图像更新模块构成。左、右摄像机A1、A2拍摄客流场景，场景可以是公交车厢或公交车站等的小范围拥挤场合，在晚间配置红外LED灯实现夜间照明补光。算法模块B1-B5对场景中任意设置的采集区域内的客流拥挤度进行估计。

如图1～3所示，上述基于立体视觉的公交客流拥挤度采集方法，其特征在于该计数方法包括如下步骤：

(1)、用平行同步左、右摄像机A1、A2拍摄左、右二个同步视频图像，由同步视频图像采集模块处理获得左、右二个同步视频图像序列；

(2)、由视差计算模块B2对上述同步视频图像序列计算出客流场景的视差图像，预存背景视差图像；

(3)、由前景目标生成模块B3根据场景的帧差运动特性判断当前帧类别，对背景帧视差图像进行动态更新，对前景帧计算场景内的前景目标的视差图像；

(4)、由前景目标映射模块B4对上述前景目标帧和背景图像进行水平位置映射，得到地平面映射图像；

(5)、由拥挤度估计模块B5对上述的映射图像进行前景目标特性的统计，根据目标的区域和边缘特性获得拥挤度估计值。

上述步骤(1)同步视频图像序列的采集。平行左、右摄像机安装在公交车驾驶员头顶上部，或公交车站遮阳棚顶等高度2米以上的部位，两摄像机间隔5cm从2个位置俯视拍摄同一客流场景。为适应客流的运动特性，左右摄像机必须行场同步。客流场景的采集区域可以在画面中由人工设置成任意区域，安装后的摄像机俯视角度由常规摄像机标定方法确定。为适应夜间拍摄，摄像机具有红外摄像功能，并设置红外LED灯补光。

上述步骤(2)客流场景的视差图像计算。正确的视差计算是整个方法的基础，只须对客流采集区域进行计算，其具体方法为：

采用归一化互相关的窗口匹配算法进行视差计算，对于CIF格式的352*288大小的图像，初始窗口的高度、宽度分别取3行和15列。这样可以保持适度的匹配窗口内像素数，既不至于造成视差的模糊，也不会出现较明显的视差噪声。

采用动态窗口法解决灰度均匀区域的视差计算问题。在视差匹配窗口内统计像素的灰度方差，如果灰度方差小于某个门限T_gy，则将匹配窗口的宽度放大50％，继续计算其灰度方差并进行判断，最大可达到图像宽度的1/5。该方法可有效地消除均匀区域的视差误匹配问题(如人头顶部、同色衣服等处的视差空洞)。

对归一化互相关NCC值进行三次样条插值，以得到亚像素级的视差计算结果。

上述步骤(3)前景目标的视差图像计算及背景视差图像更新。对运动图像的当前帧进行视差计算后，根据场景的帧差运动特性判断当前帧是背景帧还是前景帧，对背景帧的视差图像进行更新，对前景帧计算场景内的前景目标的视差图像；

背景视差图像的动态更新。为了适应场景背景和摄像机安装位置的某些细小变化，以及得到更准确的背景视差值，背景视差图像需进行动态更新。首先计算实时灰度图像的相邻帧帧差绝对值之和S_fd，如果该值小于某个门限T_fd，则判定场景是背景图像，进行背景时间域的平滑更新，公式为

p_b(t)＝ap_b(t-1)+(1-a)p_b(t)                        (1)

其中p_b(t)是t时刻更新后的背景视差图像帧，p_b(t)是t时刻的动态背景视差图像。a是平滑系数，通常取0.1。

如果S_fd大于门限T_fd，则判断为可能具有客流目标的前景图像帧。将当前帧的视差与背景帧的视差进行比较，如对应像素的视差之差超过某个门限T_d则判断该像素为前景像素，否则为背景像素。保留前景像素的视差值得到前景目标视差图像。门限T_d取为1个像素点间距。后续的密度估计则完全基于该前景目标视差图像。

上述步骤(4)生成前景目标的地平面映射图像。地平面上各个人是互相分开的，但由于透视效应，在图像上就是相互重叠的，并且大小也有明显的差异。为了消除透视效应和重叠的影响，根据前景图像的对应深度信息的视差将目标映射到二维地平面上，即计算前景图像中的每一个前景像素点对应二维地平面的位置。如果在二维地平面中有映射点，则表明该点上有前景目标，映射图像中该点取非零值，其余点则取值为零。称该映射后的图像为二维平面映射图像，示意图如图附3所示。

假设背景场面是一个平面，OC是Y轴方向，摄像机安装位置为P，俯视角度为α+β，其中β为摄像机在垂直方向的视角的一半，决定于镜头焦距尺寸和摄像机靶面大小。α决定于安装角度，可通过摄像机标定方式确定。图中AC线是平面上的可成像区域。当有一个实际物体EF站立在平面上时，E点在像面上的点决定了角度dβ，E点在摄像机所拍摄的图像像素坐标中的垂直方向的位置为y，若像素坐标原点取在中央，对应于A至C区间的图像高度为iH，则y和dβ的关系为

$\mathrm{d\β}=\mathrm{ac}\tan (\frac{2y}{\mathrm{iH}}*\tan \mathrm{\β})---\left(2\right)$

dβ植可正可负。有了dβ后，根据三角原理，OF/OD＝PE/PD，而PE/PD就决定于E、D点视差的比p_D/p_E，可以得到

OF＝OD*p_D/p_E＝h·tan(α+β+dβ)p_D/p_E                    (3)

式中h是摄像机安装高度，p_D可以通过A点的视差p_A求得

$p_D=\frac{\mathrm{PA}}{\mathrm{PD}}{p}_A=\frac{\cos (\mathrm{\α}+\mathrm{\β}+\mathrm{d\β})}{\cos \left(\mathrm{\α}\right)}{p}_A---\left(4\right)$

这样就可得到

$\mathrm{OF}=h\frac{\sin (\mathrm{\α}+\mathrm{\β}+\mathrm{d\β})}{\cos \left(\mathrm{\α}\right)}{p}_A/p_E---\left(5\right)$

因而，只要知道了背景平面场景最下一行处的视差p_A及两个角度α，β就可以根据前景目标的视差求出其对应的平面上的垂直位置。

对于水平方向的位置映射，如果将A点对应行的水平位置保持不变，则对于其他行的点，根据其相对A点所在的行至摄像机的距离PA，由透视原理就可以得到

$x^{\′}=\frac{\mathrm{PE}}{\mathrm{PA}}x=\frac{p_A}{p_E}x---\left(6\right)$

其中x，x’分别是图像像素坐标系映射前后水平位置(原点为图像中央)。

通过上面的映射关系，我们就可以将前景目标图像映射到二维平面图像上。

上述步骤(5)拥挤度估计。由于实际的场景并非是一个纯平面，将背景图像的密度采集区域也映射到这个地平面上，将得到一个背景映射区域，实际的前景目标也会映射到这个区域。如果在这个背景区域上全部都是客流目标，则目标覆盖率为100％，将这种情况定义为100％拥挤度，把目标面积与背景区域面积之比定义为拥挤度。

该值在低密度时与人数成正比，但当有目标互相遮挡时，该值随人数上升将变得缓慢上升，这是由目标遮挡覆盖所造成的。将在映射图中的前景目标边界长度作为另一个统计参数。定义改进的拥挤度为

$c=\frac{s_f+{\mathrm{ks}}_e}{S_b}---\left(7\right)$

其中S_f是映射图像中的前景目标面积，Se是边缘像素数，S_b是采集区域背景像素总数，k是一个加权常数，经实验取值为3。当整个场景都是前景目标时，边缘像素为0，拥挤度仍为100％。

拥挤度与实际的场景人数(对应客流密度)之间的关系并非完全线性，人数q和拥挤度c之间的关系可用二次型多项式进行拟合，公式关系为

q＝k₀+k₁c+k₂c²                            (8)

三个系数可由实际场景的拥挤度和人数之间的实验值标定。

重复循环执行步骤1到步骤5，完成实时的客流拥挤度采集。

Claims (5)

1.一种基于立体视觉的公交客流拥挤度采集方法，其特征在于：利用包括双目同步视频图像采集模块、视差计算模块、前景目标生成模块、前景目标映射模块、拥挤度估计模块，包括如下步骤：

(1)、用平行同步左、右摄像机拍摄左、右二个同步视频图像，由同步视频图像采集模块处理获得左、右二个同步视频图像序列；

(2)、由视差计算模块对上述同步视频图像序列计算出客流场景的视差图像，预存背景视差图像；

(3)、由前景目标生成模块根据场景的帧差运动特性判断当前帧类别，对背景帧视差图像进行动态更新，对前景帧计算场景内的前景目标的视差图像；

(4)、由前景目标映射模块对上述前景目标进行位置映射，得到前景目标的地平面映射图像；

(5)、由拥挤度估计模块对上述的映射图像进行目标特性的统计，根据目标的区域和边缘特性获得拥挤度估计值；

重复循环执行步骤1到步骤5，完成实时的客流拥挤度采集。

2.根据权利要求1所述的基于立体视觉的公交客流拥挤度采集方法，其特征在于，上述步骤(2)计算客流场景的视差图像，预存背景视差图像，仅对客流采集区域进行计算，其具体方法为：

采用归一化互相关的窗口匹配算法进行视差计算，对于CIF格式的352*288大小的图像，初始窗口的高度、宽度分别取3行和15列；

采用动态窗口法解决灰度均匀区域的视差计算问题，在视差匹配窗口内统计像素的灰度方差，如果灰度方差小于门限T_gv，则将匹配窗口的宽度放大50％，继续计算其灰度方差并进行判断，最大达到图像宽度的1/5；

对归一化互相关NCC值进行三次样条插值，以得到亚像素级的视差计算结果。

3.根据权利要求1所述的基于立体视觉的公交客流拥挤度采集方法，其特征在于，上述步骤(3)背景视差图像进行动态更新，具体方法如下：

首先计算实时灰度图像的相邻帧帧差绝对值之和S_fd，如果该值小于门限T_fd，则判定场景是背景图像帧，进行背景时间域的平滑更新，公式为

p_b(t)＝ap_b(t-1)+(1-a)p_b(t)                 (1)

其中，p_b(t)是t时刻更新后的背景视差图像，p_b(t)是t时刻的动态背景视差图像，a是平滑系数，通常取0.1；

如果S_fd大于门限T_fd，则判断为可能具有客流的前景图像帧，将当前帧的视差与背景帧的视差进行比较，如对应像素的视差之差超过门限T_d，则判断该像素为前景像素，否则为背景像素，保留前景像素的视差值得到前景目标视差图像，门限T_d取为1个像素点间距，后续的密度估计则完全基于该前景目标视差图像。

4.根据权利要求1所述的基于立体视觉的公交客流拥挤度采集方法，其特征在于，上述步骤(4)具体方法如下：

根据前景图像的视差信息将目标映射到二维地平面上，即计算前景图像中的每一个前景像素点对应二维地平面的位置，如果在二维地平面中有映射点，则表明该点上有前景目标，映射图像中该点取非零值，其余点则取值为零，称该映射后的图像为二维地平面映射图像；

假设地面背景场面是一个平面，OC是Y轴方向，摄像机安装位置为P，俯视角度为α+β，其中β为摄像机在垂直方向的视角的一半，决定于镜头焦距尺寸和摄像机靶面大小，α决定于安装角度，通过摄像机标定方式确定。当有一个实际物体EF站立在平面上时，E点在像面上的点决定了角度dβ，图3中AC线是平面上的可成像区域，E点在摄像机所拍摄的图像像素坐标中的垂直方向的位置为y，若原点取在中央，像素坐标上的图像高度iH对应于A至C的区间，则y和dβ的关系为：

$\mathrm{d\β}=\mathrm{ac}\tan (\frac{2y}{\mathrm{iH}}*\tan \mathrm{\β})---\left(2\right)$

dβ值可正可负，根据三角原理，OF/OD＝PE/PD，而PE/PD就决定于E、D点视差的比p_D/p_E，得到

OF＝OD*p_D/p_E＝h·tan(α+β+dβ)p_D/p_E           (3)

式中h是摄像机安装高度，p_D通过A点的视差p_A求得

$p_D=\frac{\mathrm{PA}}{\mathrm{PD}}{p}_A=\frac{\cos (\mathrm{\α}+\mathrm{\β}+\mathrm{d\β})}{\cos \left(\mathrm{\α}\right)}{p}_A---\left(4\right)$

这样就得到

$\mathrm{OF}=h\frac{\sin (\mathrm{\α}+\mathrm{\β}+\mathrm{d\β})}{\cos \left(\mathrm{\α}\right)}{p}_A/p_E---\left(5\right)$

因而，根据背景平面场景最下一行处的视差p_A及两个角度α，β就可以根据前景目标的视差求出其对应的平面上的垂直位置；

对于水平方向的位置映射，如果将A点对应行的水平位置保持不变，则对于其他行的点，根据其相对A点所在的行至摄像机的距离PA，由透视原理就可以得到

$x^{\′}=\frac{\mathrm{PE}}{\mathrm{PA}}x=\frac{p_A}{p_E}x---\left(6\right)$

其中x，x’分别是图像像素坐标系映射前后水平位置，原点取为图像中央。

5.根据权利要求1所述的基于立体视觉的公交客流拥挤度采集方法，其特征在于，上述步骤(5)具体方法如下：

将背景图像的密度采集区域也映射到地平面上，得到一个背景映射区域，实际的客流前景目标也会映射到这个区域，把目标面积与背景区域面积之比定义为拥挤度，如果在这个背景区域上全部都是客流目标，则目标覆盖率为100％，将这种情况定义为100％拥挤度，拥挤度在低密度时与人数成正比，但当有目标互相遮挡时，由目标遮挡覆盖造成该值随人数上升将变得缓慢上升；

将在映射图中的前景目标的边界长度作为另一个统计参数，定义改进的拥挤度为

$c=\frac{s_f+{\mathrm{ks}}_e}{S_b}---\left(7\right)$

其中S_f是映射图像中的前景目标面积，Se是边缘像素数，S_b是采集区域背景像素总数，k是一个加权常数，取值为3，当整个场景都是前景目标时，边缘像素为0，拥挤度仍为100％；

拥挤度与实际的场景人数之间的关系并非完全线性，人数q和拥挤度c之间的关系用二次型多项式进行拟合，公式关系为

q＝k₀+k₁c+k₂c²                            (8)

三个系数由实际场景的拥挤度和人数之间的实验值标定。

Images