CN102819764B - 一种适用于交通路口复杂场景下的多视角人流量统计方法 - Google Patents

Abstract

本发明涉及一种人流量统计方法。一种适用于交通路口复杂场景下的多视角人流量统计方法。首先采用混合编码本算法对视频进行背景建模，检测并分割出运动目标；其次，采用光流法计算运动矢量得到运动目标的速度和方向，根据运动目标的速度和方向区分车辆和行人，剔除车辆目标，提取行人目标并计算行人方向；最后，设置虚拟门，根据行人方向和事先标定的虚拟门往返方向，对通过虚拟门往返方向的行人目标进行计数。本发明适用于交通路口复杂场景下的多视角人流量统计，通过运动目标检测、行人提取，然后采用虚拟门技术实时统计往返人流量，统计正确率达到90%。适用于室外环境下光照多变、倾斜角度拍摄且角度变化、人体分辨率小、人车混行等复杂情况。

Description

一种适用于交通路口复杂场景下的多视角人流量统计方法

技术领域

本发明涉及一种人流量统计方法，特别是涉及一种适用于交通路口复杂场景下的多视角人流量统计方法。

背景技术

随着城市规模的日益扩大，道路交通方式的多元化，导致了人们对城市交通需求迅速增加，使得交通流量大幅度增长，道路基础设施、交通管制和传统的智能交通模式已远远不能适应城市交通的发展需要，交通拥挤、堵塞等问题日趋严重，已经成为亟待解决的重要民生问题。

交通流量检测系统通过设置在交通路口的视频采集前端设备，对关键路口和热点区域的交通流量情况进行实时采集，自动统计分析，并将收集到的信息传回指挥调度中心，为交通管理者优化交通组织、信号灯时间配置提供数据决策支持，从而提高道路利用率、减缓交通拥堵、也会减少交通事故的发生，方便群众出行。

人流量统计系统的适用范围是指系统是否可以在不同的成像条件下正常运行。比较常见的因素有人体在画面中的最小尺寸要求、摄像头相对于行人角度要求、是否能够适用于室内和室外环境、对环境光照是否敏感等等。其中摄像头角度要求很重要。通常来讲，当摄像头垂直向下对着行人头部时，由于遮挡较少，统计精度最高。而当摄像头角度接近水平时，由于行人互相遮挡，难度最大。人流量统计系统可以适应的摄像头角度范围越宽，就越可以使用已经安装的监控摄像头来完成人流量统计的任务，从而大大降低系统成本。另一个影响系统性能的重要指标是人体在视频画面中的尺寸，当人体宽度较小，人群遮挡较多的情况下，就难以逐个区分行人了。一个性能优越的人流量统计系统，应该能在上述成像条件下准确计数。

目前市场上存在很多种人流量统计的产品，它们主要采用识别跟踪的方法实现人流量统计，一般步骤如下：

1、根据行人局部特征(头部，头肩，人形，步态等)设计分类器，检测行人(海康威视公司人流统计系统提取人头目标的矩形内边缘和上半椭圆弧的拟合度特征，设计并联的多类分类器，检测行人)；

2、对检测到的行人目标进行跟踪(海康威视公司人流统计系统采用粒子滤波算法跟踪目标)；

3、通过判断跟踪目标是否跨越人为设定的区域进行人流计数。如图1给出的一种基于识别跟踪的人流量统计算法流程。

此类技术存在的缺点是：

1、采用识别跟踪的方法，对视频质量要求高，并且需要摄像机以垂直视角(TOP-VIEW)对人体进行拍摄，主要应用于超市、购物中心、百货店、专卖店、娱乐设施、产品展厅等各种商业设施，适用范围有限。

2、不能利用现有设备，需重新安装专门的前端采集设备及其他配套硬件，成本高，不能保护客户的已有设备投资。

3、适应性差，摄像机角度不能调整，不能处理人体遮挡，不能适应交通路口复杂场景下的人流量统计。

发明内容

本发明针对现有技术不足，提出一种多视角交通路口人流量统计方法，能够适应交通路口复杂场景下的人流量统计。

本发明所采用的技术方案：

一种适用于交通路口复杂场景下的多视角人流量统计方法，其步骤如下：

首先，采用混合编码本算法对视频进行背景建模，检测并分割出运动目标；

其次，采用光流法计算运动矢量，得到运动目标的速度和方向，根据运动目标的速度和方向区分车辆和行人，剔除车辆目标，提取行人目标并计算行人方向；

最后，设置虚拟门，根据行人方向和事先标定的虚拟门往返方向，对通过虚拟门往返方向的行人目标进行计数。

所述的适用于交通路口复杂场景下的多视角人流量统计方法，生成多个编码本模型以适应室外多变的光照条件即混合编码本模型；

混合编码本算法检测运动目标的流程如下：

(1)选择视频的前n帧图像建立混合编码本背景模型；

(2)利用已建立的混合编码本背景模型检测前景，即运动目标；

对于当前待检测图像，以灰度直方图、均值为特征选择一个合适的编码本，如果没有找到合适的编码本，则当前检测图像上的所有像素均为前景，如果找到合适的编码本，对于当前检测图像上的某一像素，遍历该编码本的每一个码元，若存在一个码元的上下界包含该像素，则被判断为背景，否则被判断为前景；

(3)定期更新模型，并对编码本进行时间滤波，去除很少被访问到的码元；

(4)若检测继续，转(2)，否则结束。

所述的适用于交通路口复杂场景下的多视角人流量统计方法，对于交通路口的行人和车辆，它们的速度和方向都是不同的，采用光流法计算目标的运动矢量，得到其速度和方向，据此区分出行人和车辆。

所述的适用于交通路口复杂场景下的多视角人流量统计方法，在采用光流法计算目标的运动矢量之前，要对图像中的场景进行标定，选择虚拟门位置，将虚拟门划分为若干个子区域，所述运动矢量计算是在所述若干个子区域内进行的。

所述的适用于交通路口复杂场景下的多视角人流量统计方法，对图像中的场景进行标定，包括：

选择虚拟门位置；

计算人体目标宽度尺寸变化范围；

根据人体目标宽度尺寸变化范围将虚拟门划分为若干个子区域；

标定虚拟门往返方向。

所述的适用于交通路口复杂场景下的多视角人流量统计方法，依据光流法得到的运动目标的速度和方向以及事先标定的虚拟门往返方向，首先，剔除车辆目标，去除车辆的影响后，前景中只剩下行人目标，然后，采用虚拟门技术，感知行人通过虚拟门的过程，从而达到实时统计往返方向人流量的目的。其具体过程如下：

(1)虚拟门触发：实时累加前景触发门位置的像素值，没有行人通过时，实时前景像素值曲线是水平的；如果有人通过时，曲线的峰值发生变化，准备计数过程；

(2)计数过程包括：

对于每个子区域，根据每个像素的运动矢量，可以知道每一个像素的运动方向，同一个方向上的像素在该子区域进行累加；

对于每个子区域，一个人从刚接触虚拟门到完全离开虚拟门，曲线的形状从水平变到波峰再到水平，最后变到水平时计数；

考虑到每个子区域会有多人前后紧挨着通过虚拟门，这时要对触发的持续时间进行拟合，计算出多人连续通过时的人数；

对每个子区域采取同样的操作。

本发明的有益效果：

1、本发明适用于交通路口复杂场景下的多视角人流量统计方法，包括三部分内容：运动目标检测、行人提取、实时统计往返人流量，提出混合编码本背景模型分割运动目标，能准确快速的提取运动目标；提出光流法区分车辆和行人；采用虚拟门技术实时统计往返人流量，统计正确率达到90％。

2、本发明适用于交通路口复杂场景下的多视角人流量统计方法，适用于室外环境下光照多变、倾斜角度拍摄且角度变化、人体分辨率小、人车混行等复杂情况，对于人车混行的场景，去除各种车辆对人流量计数的影响；对于室外环境下光照多变的交通路口，能够清晰准确的检测出运动目标，完成对通过交通路口的人流量实时统计，并判断运动方向。

附图说明

图1：现有技术基于识别跟踪的人流量统计算法流程；

图2：本发明方法人流量统计流程图；

图3：本发明人流量统计方法编码本模型训练流程图；

图4：本发明混合编码本模型前景检测流程图；

图5：本发明图像场景标定流程图；

图6：本发明人流量统计方法虚拟门人流量统计流程图。

具体实施方式

实施例一：参见图2，本发明适用于交通路口复杂场景下的多视角人流量统计方法，其实现步骤如下：

首先，采用混合编码本算法对视频进行背景建模，检测并分割出运动目标；

然后，采用光流法计算运动矢量，得到运动目标的速度和方向，根据运动目标的速度和方向区分车辆和行人，剔除车辆目标，提取行人目标并计算行人方向；

最后，设置虚拟门，根据行人方向和事先标定的虚拟门往返方向，对通过虚拟门往返方向的行人目标进行计数。

实施例二：参见图2、图3、图4，本实施例适用于交通路口复杂场景下的多视角人流量统计方法，采用混合编码本模型，实现对运动目标的检测。

在许多计算机视觉和视频分析应用中，运动目标的检测是一项基本任务。目前常用的，并且有一定效果的前景检测方法有混合高斯模型，编码本，非参数背景模型。

混合高斯模型使用视频帧与同已经建立的混合高斯背景模型进行比较，通过参考量的变化来估计运动目标，这种方法能够可以处理复杂、缓慢变化的背景,但当环境变化剧烈的时候背景模型也会失效,而且由于要计算每个像素点的概率分布,计算复杂度较大。

编码本模型将背景值的变化压缩到多个码元中，在大多数情况下，性能上都有较好的表现，且训练和处理速度较快，然而它只能适用于周期性变化的背景，不能很好的处理不同模式的光(如室外环境下早中晚的阳光，或室内有人打开和熄灭灯)。为处理这种全局变化需要建立多个编码本模型以适应各种模式。

非参数背景模型运用mean-shift来计算样本的收敛中心，然后将近似或者相同的收敛中心归类为聚集中心，多个聚集中心代表了像素的多种变化。根据聚集中心的权重进行进一步的分析与处理。这个方法不需要指定潜在的模型，也不需要明确的估计参数，并能取得较好的效果，但是它需要很大的计算资源，很难进行全帧视频流的实时处理。

编码本模型算法为当前图像的每一个像素建立一个编码本(CB)结构,每个编码本结构又由多个码元(CW)组成。CB和CW的形式如下：

CB＝{CW1,CW2,...CWn,t}

CW＝{IHigh,ILow,max,min,t_last,stale}

其中n为一个CB中所包含的CW的数目，当n太小时，退化为简单背景，当n较大时可以对复杂背景进行建模。t为CB更新的次数。CW是一个6元组，其中IHigh和ILow作为更新时的学习上下界，max和min记录当前像素的最大值和最小值。上次更新的时间t_last和陈旧时间stale(记录该CW多久未被访问)用来删除很少使用的码元。

假设当前训练图像I中某一像素为I(x,y)，该像素的CB的更新算法如下，另外记背景阈值的增长判定阈值为Bounds：

(1)CB的访问次数加1；

(2)遍历CB中的每个CW，如果存在一个CW中的IHigh和ILow满足ILow≤I(x,y)≤IHigh，则转(4)；

(3)创建一个新的码元CWnew加入到CB中,CWnew的max与min都赋值为I(x,y)，IHigh＝I(x,y)+Bounds，ILow＝I(x,y)-Bounds，并且转(6)；

(4)更新该码元的t_last，若当前像素值I(x，y)大于该码元的max，则max＝I(x，y)，若I(x，y)小于该码元的min，则min＝I(x，y)；

(5)更新该码元的学习上下界，以增加背景模型对于复杂背景的适应能力，具体做法是：若IHigh＜I(x，y)+Bounds，则IHigh增长1，若ILow＞I(x，y)-Bounds，则ILow减少1；

(6)更新CB中每个CW的stale。

使用已建立好的CB进行运动目标检测的方法很简单，设置判断前景的范围上下界为minMod和maxMod，对于当前待检测图像上的某一像素I(x，y)，遍历它对应像素背景模型CB中的每一个码元CW，若存在一个CW，使得I(x，y)＜max+maxMod并且I(x，y)＞min-minMod，则I(x，y)被判断为背景，否则被判断为前景。

在实际使用码本进行运动检测时，除了要隔一定的时间对CB进行更新的同时，需要对CB进行一个时间滤波，目的是去除很少被访问到的CW，其方法是访问每个CW的stale，若stale大于一个阈值(通常设置为总更新次数的一半)，移除该CW。

综上所述，编码本算法检测运动目标的流程如下：

(1)选择n帧视频帧图像使用更新算法建立编码本背景模型；

(2)按上面所述方法检测前景(运动目标)；

(3)间隔一定时间使用更新算法更新编码本模型，并对编码本进行时间滤波；

(4)若检测继续，转(2)，否则结束。

根据交通路口视频的特点，本发明采用混合编码本模型对视频进行背景建模，以适应室外多变的光照条件。混合编码本模型是编码本模型的优化，在编码本背景模型的基础上，生成多个适应背景多样性的编码本，并在更新与背景减除时以灰度直方图、均值为特征自动选取合适的编码本。实验结果显示，这种方法有很好的检测效果，并且很高的性能结果。

实施例三：参见图2、图3、图4、图5、图6，本实施例适用于交通路口复杂场景下的多视角人流量统计方法，采用光流法计算运动目标的速度和方向，根据运动目标的速度和方向区分车辆和行人。

交通路口场景复杂，存在大量人车混行的情况，如果不能很好的过滤掉通过路口的车辆，对统计结果将产生很大的影响。目前很多人流量统计的产品采用识别分类的方法，首先提取人或车的特征，然后训练分类器进行训练分类，从而达到人车分离的目的。但是在交通路口复杂的场景以及视频质量低等因素下，无论是分类结果，或是分类速度，都达不到很好的效果。

光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流场可以简单的理解运动物体的速度矢量场，包括速度和方向。

对于视频，每一个时刻均有一个二维或多维的向量集合，如(x,y,t)，表示指定坐标在t点的瞬时速度。设I(x,y,t)为t时刻(x,y)点的强度，在很短的时间Δt内，x，y分别增加Δx和Δy，可得：

$I(x+\mathrm{\Δx},y+\mathrm{\Δy},t+\mathrm{\Δt})=I(x,y,t)+\frac{\∂I}{\∂x}\mathrm{\Δx}+\frac{\∂I}{\∂y}\mathrm{\Δy}+\frac{\∂I}{\∂t}\mathrm{\Δt}$

同时，考虑到两帧相邻图像的位移足够短，因此：

I(x，y，t)＝I(x+Δx，y+Δy，t+Δt)

因此：

$\frac{\∂I}{\∂x}\mathrm{\Δx}+\frac{\∂I}{\∂y}\mathrm{\Δy}+\frac{\∂I}{\∂t}\mathrm{\Δt}=0$

$\frac{\∂I}{\∂x}\frac{\mathrm{\Δx}}{\mathrm{\Δt}}+\frac{\∂I}{\∂y}\frac{\mathrm{\Δy}}{\mathrm{\Δt}}+\frac{\∂I}{\∂t}\frac{\mathrm{\Δt}}{\mathrm{\Δt}}=0$

最终可得出结论：

$\frac{\∂I}{\∂x}{V}_x+\frac{\∂I}{\∂y}{V}_y+\frac{\∂I}{\∂t}=0$

这里的V_x，V_y是x和y的速率，或称为I(x，y，t)的光流。和是图像(x，y，t)在t时刻特定方向的偏导数。I_x，I_y和I_t的关系可用下式表述：

I_xV_x+I_yV_y＝-I_t或

通过求解以上方程，可以得到Δx和Δy，从而得到速度和方向。

对于交通路口的行人和车辆，它们的速度和方向都是不同的。通过计算连续视频帧的光流，得到运动目标的速度和方向，据此区分出行人和车辆。

实施例四：参见图2、图3、图4、图5，本实施例适用于交通路口复杂场景下的多视角人流量统计方法，与前述各实施例不同的是，采用虚拟门技术，感知行人通过虚拟门的过程，从而达到实时统计往返方向人流量的目的。去除车辆的影响后，前景中只存在行人的联通体，根据上节光流法得到的目标运动方向，判断行人通过交通路口的方向。

(1)虚拟门触发：实时累加前景触发门位置的像素值，没有行人通过时，实时前景像素值曲线是水平的。如果有人通过时，曲线的峰值发生变化，这时要准备计数过程。

(2)计数过程包括：

对于每个子区域，根据每个像素的运动矢量，可以知道每一个像素的运动方向，同一个方向上的像素在该子区域进行累加；

对于每个子区域，一个人从刚接触虚拟门到完全离开虚拟门，曲线的形状从水平变到波峰再到水平，最后变到水平时计数；

考虑到每个子区域会有多人前后紧挨着通过虚拟门，这时要对触发的持续时间进行拟合，计算出多人连续通过时的人数；

对每个子区域采取同样的操作。

Claims (3)

1.一种适用于交通路口复杂场景下的多视角人流量统计方法，其特征是：

采用混合编码本算法对视频进行背景建模，检测并分割出运动目标；

采用光流法计算运动矢量，得到运动目标的速度和方向，根据运动目标的速度和方向区分车辆和行人，剔除车辆目标，提取行人目标并计算行人方向，对于交通路口的行人和车辆，它们的速度和方向都是不同的，采用光流法计算目标的运动矢量，得到其速度和方向，据此区分出行人和车辆，在采用光流法计算目标的运动矢量之前，要对图像中的场景进行标定，选择虚拟门位置，将虚拟门划分为若干个子区域，所述运动矢量计算是在所述若干个子区域内进行的；

设置虚拟门，根据行人方向和事先标定的虚拟门往返方向，对通过虚拟门往返方向的行人目标进行计数；

其中，编码本模型算法为当前图像的每一个像素建立一个编码本CB结构,每个编码本结构由多个码元CW组成，CB和CW的形式如下：

CB＝{CW1,CW2,...CWn,t} 

CW＝{IHigh,ILow,max,min,t_last,stale} 

其中n为一个CB中所包含的CW的数目，当n太小时，退化为简单背景，当n较大时可以对复杂背景进行建模，t为CB更新的次数，CW是一个6元组，其中IHigh和ILow作为更新时的学习上下界，max和min记录当前像素的最大值和最小值，上次更新的时间t_last和陈旧时间stale用来删除很少使用的码元，

假设当前训练图像I中某一像素为I(x,y)，该像素的CB的更新算法如下，另外记背景阈值的增长判定阈值为Bounds：

(1)CB的访问次数加1；

(2)遍历CB中的每个CW，如果存在一个CW中的IHigh和ILow满足ILow≤I(x,y)≤IHigh，则转(4)；

(3)创建一个新的码元CWnew加入到CB中,CWnew的max与min都赋值为I(x,y)，IHigh＝I(x,y)+Bounds，ILow＝I(x,y)-Bounds，并且转(6)；

(4)更新该码元的t_last，若当前像素值I(x,y)大于该码元的max，则max＝I(x,y)，若I(x,y)小于该码元的min，则min＝I(x,y)；

(5)更新该码元的学习上下界，以增加背景模型对于复杂背景的适应能力，具体做法是：若IHigh＜I(x,y)+Bounds，则IHigh增长1，若ILow＞I(x,y)-Bounds，则ILow减少1；

(6)更新CB中每个CW的stale；

使用已建立好的CB进行运动目标检测的方法很简单，设置判断前景的范围上下界为maxMod和minMod，对于当前待检测图像上的某一像素I(x,y)，遍历它对应像素背景模型CB中的每一个码元CW，若存在一个CW，使得I(x,y)＜max+maxMod并且I(x,y)＞min-minMod，则I(x,y)被判断为背景，否则被判断为前景，在实际使用码本进行运动检测时，除了要隔一定的时间对CB进行更新的同时，需要对CB进行一个时间滤波，目的是去除很少被访问到的CW，其方法是访问每个CW的stale，若stale大于一个阈值，移除该CW；生成多个编码本模型以适应室外多变的光照条件即混合编码本模型；混合编码本算法检测运动目标的流程如下：

(1)选择视频的前n帧图像建立混合编码本背景模型；

(2)利用已建立的混合编码本背景模型检测前景，即运动目标；

对于当前待检测图像，以灰度直方图、均值为特征选择一个合适的编码本，如果没有找到合适的编码本，则当前检测图像上的所有像素均为前景，如果找到合适的编码本，对于当前检测图像上的某一像素I(x，y)，遍历该编码本的每一个码元，若存在一个码元的上下界包含该像素，则被判断为背景，否则被判断为前景；

(3)定期更新模型，并对编码本进行时间滤波，去除很少被访问到的码元；

(4)若检测继续，转(2)，否则结束。

2.根据权利要求1所述的适用于交通路口复杂场景下的多视角人流量统计方法，其特征是：对图像中的场景进行标定，包括：

选择虚拟门位置；

计算人体目标宽度尺寸变化范围；

根据人体目标宽度尺寸变化范围将虚拟门划分为若干个子区域；

标定虚拟门往返方向。

3.根据权利要求1或2任一项所述的适用于交通路口复杂场景下的多视角人流量统计方法，其特征是：依据光流法得到的运动目标的速度和方向以及事先标定的虚拟门往返方 向，首先，剔除车辆目标，去除车辆的影响后，前景中只剩下行人目标，然后，采用虚拟门技术，感知行人通过虚拟门的过程，从而达到实时统计往返方向人流量的目的，其具体过程如下：

(1)虚拟门触发：实时累加前景触发门位置的像素值，没有行人通过时，实时前景像素值曲线是水平的；如果有人通过时，曲线的峰值发生变化，准备计数过程；

(2)计数过程包括：

对于每个子区域，根据每个像素的运动矢量，可以知道每一个像素的运动方向，同一个方向上的像素在该子区域进行累加；

对于每个子区域，一个人从刚接触虚拟门到完全离开虚拟门，曲线的形状从水平变到波峰再到水平，最后变到水平时计数；

考虑到每个子区域会有多人前后紧挨着通过虚拟门，这时要对触发的持续时间进行拟合，计算出多人连续通过时的人数；

对每个子区域采取同样的操作。