CN101321269B - 基于计算机视觉的客流量检测方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的客流统计方法及其系统，视频图像采集设备可利用现有的闭路电视系统(CCTV)，可置于机场、地铁、火车站、汽车站、展览会等通道的出入口顶端，实时采集客流出入的视频图像，处理器采用计算机视觉算法对采集到的视频图像进行处理，得到图像的特征点，通过对一段时间内连续图像序列的处理得到特征点轨迹。通过对特征轨迹进行时间—空间上的约束，得到平滑连续的轨迹，对得到的特征轨迹进行聚类，得到客流的人数，从而获得实时、准确的客流信息。本发明结合计算机视觉装置和算法，在客流密集的情况下对客流量进行准确计数，获得的客流信息可以作为安全监控、运行管理和线路规划设计的依据。

Description

基于计算机视觉的客流量检测方法

技术领域

本发明属于图象处理技术领域，涉及一种基于计算机视觉的客流量检测方法及系统。

背景技术

随着社会对安全保障需求的提高，在各个公共场所普遍安装了闭路电视监控系统，特别在机场、地铁、火车站、汽车站、展览会等客流密集场所，摄像机的数量更为密集。在普通的监控中，通常只是对得到的监控内容进行人工的监视，由于摄像机的机位众多，以及人工监视的工作量大，使得大多数的摄像资料只能起到记录的作用，不能发掘视频监控系统中丰富、大量的有用信息。

由于视频监控的广泛应用，基于计算机视觉的行人检测和跟踪已经成为一个非常活跃的研究领域，为大型公共场所的智能监控提出了新的解决办法。当前在国外，针对客流密集场所的行人检测和跟踪方面所提出的方法和系统，一般针对人数较少的视频图像，根据单个行人的轨迹来对过往的行人进行计数。然而对于客流密集的场所，存在严重的相互遮挡问题，因此传统的基于斑块检测与跟踪的背景差方法无法解决以下问题：

1.在客流密集的情况下，只有有限的背景，甚至无法提取背景；

2.在行人拥挤时，行人间存在严重的相互遮挡，以及背包等物品的遮挡；

3.客流密集的视频图像中，往往包含大量的不规则运动，目标的特征信息有限，一般需要通过两帧以上的视频图像才能检测出单个运动目标；

发明内容

本发明的目的是提供一种基于计算机视觉的客流量检测方法及系统，克服传统的基于斑块检测与跟踪的背景差方法存在的不足，可适用客流密集的场所。

为了达到上述目的，本发明的解决方案是：

基于计算机视觉的客流量检测方法，将视频图像采集设备设置于行人通道的出入口，实时采集客流出入的视频图像；以处理器对采集到的视频图像进行处理，得到图像的特征点；通过对一段时间内连续图像序列的处理得到特征点轨迹；通过对特征轨迹进行时间和空间上的约束，得到平滑连续的轨迹，对得到的特征轨迹进行聚类，获得实时、准确的客流信息。

进一步，处理器对采集装置获取的视频图像进行处理，得到单帧图像场景中的特征点，然后在一段时间的连续序列图像上进行处理，得到一系列图像序列中的所有特征点，通过对这些特征点在时间、空间上进行约束，得到平滑的特征点轨迹，通过特征轨迹聚类的方法，将那些在时间和空间上具有相似特征 的轨迹划分成一个目标，从而实现单个行人的检测和跟踪。再对得到的特征轨迹进行分析，结合监控区域的标定，得到监控区域在实际中的面积，从而可以统计客流在各个方向的轨迹信息，以及区域的客流密度。同时可以根据需要，对行人的肩宽信息进行检测，便可以根据这些信息对公共交通环境的舒适程度做出判断。

所述的计算机视觉处理：指的是通过在图像区域内进行搜索，获得运动目标的特征点，再对连续多帧图像序列中的特征点进行跟踪，得到运动目标的轨迹信息，基于计算机视觉的特征跟踪，基本思想就是确定从前一帧图像到后一帧图像中，局部窗口的运动参数。处理步骤如下：1)给定窗口，选择仿射运动参数，使得图像帧间差最小化；2)求解二阶矩矩阵的特征值，如果最小特征值大于给定的阈值，则认为该窗口较好，否则特征跟踪中止；3)当初始特征不能继续被跟踪时，特征跟踪结束。对于特征点之间的距离，可以根据实际需要进行设置。一般为了减少特征点的个数，可以设定特征点之间的最小距离，比如选4个象素点，如果为了进一步减少特征点的个数，可以设置更大的距离。

所述的特征跟踪方法：选择窗口，将窗口的中心作为跟踪的特征，对于连续图像序列中的两帧，计算窗口内灰度差异，通过使差异最小化选择好的窗口，从而确定跟踪的特征点。采用特征点再生的方法，重新生成丢失的特征点，并通过对每一特征轨迹进行时间和空间上的约束，得到更加平滑、完整的特征轨迹。

所述的特征轨迹的约束方法：在图像序列每条轨迹上传递一个约束框，轨迹开始时，通过计算框内所有轨迹的坐标质心进行初始化。不同轨迹间的距离不小于4个象素，因此框的宽度设置为16个象素，根据框内其他特征轨迹的偏置矢量的均值，确定下一帧中约束轨迹位置，从而得到平滑、完整的特征轨迹。

为了检测某一时刻的客流量，需要对特征轨迹进行聚类。聚类的方法：首先在检测的场景中设置一个尽可能小的目标约束框，能够包含每一可能的目标，如果两条轨迹不在同一框中，则他们属于不同的目标。同时定义清晰度因子，作为两个特征间的距离随时间变化量，描述轨迹间的联结程度。满足以上条件的轨迹合并在一起，成为同一目标轨迹。

实现上述的基于计算机视觉的客流量检测方法的系统，包括视频采集设备、存储器、处理器，所述的处理器为嵌入式处理器。

该视频图像采集设备利用现有的闭路电视系统，设置于机场、地铁、火车站、汽车站、展览会等行人通道的出入口顶端，实时采集客流出入的视频图像。

上述的基于计算机视觉的客流量检测方法及系统的应用，可将获得的客流信息可以作为安全监控、运行管理和线路规划设计的依据。

特别的，在此对以下几方面作进一步的说明：

特征跟踪技术

一直以来，计算机视觉领域中特征跟踪技术没有得到很好的解决，对它研究集中在图像处理的相关领域以及差方和(Sum of Squared Difference，SSD)方法。如果帧间位移较小，通过对变换和图像线性形变的匹配准则进行优化， 对窗口进行跟踪，同时窗口的大小可以自适应地调节，窗口的选择可以基于图像的纹理或者角点。在视频图像序列中，图像的强度会发生复杂的变化。通常，这种变化可以描述为图像的运动：

I(x，y，t+τ)＝I(x-ξ(x，y，t，τ)，y-η(x，y，t，τ))，

因此t+τ时刻的视频帧，可以通过t时刻图像中每个点的移动来得到。运动程度由δ(ξ，η)表示，称作x＝(x，y)点的位移。位移矢量δ为图像位置x的函数，即使在较小的跟踪窗口中，位移δ的变化也比较显著。给定窗口W，选择仿射运动参数A和d，最小化下面的偏差量：

ε＝∫_W[J(Ax+d)-I(x)]²w(x)dx，

其中，w为加权函数，经常取为常数或高斯函数。在纯变换下，矩阵A取为单位矩阵。因此，使上式偏差量最小化，得到：

Zd＝e，

其中，Z＝∫_Wg(x)g^T(x)w(x)dx

e＝∫_W[I(x)-J(x)]g(x)w(x)dx

$g\left(x\right)=\left[\begin{array}{c}\frac{\∂}{\∂x}J\left(x\right)\\ \frac{\∂}{\∂y}J\left(x\right)\end{array}\right]$

如果二阶矩矩阵Z为满秩矩阵，则等式具有平稳解。特别地，通过选择窗口，使Z的最小特征值大于给定的阈值，那么该窗口为好的窗口。一旦特征值小于给定的阈值，那么特征跟踪结束。

特征轨迹聚类

在图像序列每条轨迹上传递一个约束框，轨迹开始时，通过计算框内所有轨迹的坐标质心进行初始化。不同轨迹间的距离不小于4个象素，因此框的宽度设置为16个象素，根据框内其他特征轨迹的偏置矢量的均值，确定下一帧中约束轨迹位置，从而得到平滑、完整的特征轨迹。为了检测某一时刻的客流量，需要对特征轨迹进行聚类。聚类的方法：首先在检测的场景中设置一个尽可能小的目标约束框，能够包含每一可能的目标，如果两条轨迹不在同一框中，则他们属于不同的目标。同时定义清晰度因子，作为两个特征间的距离随时间变化量，描述轨迹间的联结程度。满足以上条件的轨迹合并在一起，成为同一目标轨迹。

基于计算机视觉的客流统计装置

该装置由视频采集模块、存储器、处理器构成，所述的处理器为嵌入式处理器。本发明可以解决地铁客流统计中存在的难题，特别是在大型城市，交通密集的场所，客流密度非常高，存在严重的遮挡现象，通过传统的视频图像处理方法不能有效的解决。本发明完全基于现有闭路电视系统，结合计算机视觉装置和算法，在客流密集的情况下客流量进行准确计数，获得的客流信息可以作为地铁运行管理和线路规划设计的依据。

避免遮挡问题的方法之一，是通过调整摄像机的拍摄角度，采用从人的头顶部向下拍摄的办法，对行人的头部进行识别和计数。这种拍摄的方式无疑降低了处理的难度，但是需要重新安装检测的摄像机，增大了系统的投入。更加实用的方式是，将客流信息统计作为安全监控系统(闭路电视CCTV)的增强功能，通过视频图像的处理技术，得到客流信息。

附图说明

图1是本发明一种实施例的系统结构框图。

图2是本发明方法的一种实施例的流程示意图。

图3是本发明方法的一种实施例的特征检测跟踪方法流程图。

图4是本发明方法的一种实施例的轨迹聚类算法流程图。

具体实施方式

如图1所示，基于计算机视觉的客流量检测系采用以DSP为核心的硬件结构，由采集模块、存储器、处理器构成。由于计算机视觉算法具有一定的复杂性，处理的对象是复杂的视频图像，并且要求系统能满足实时性，因此选择的芯片一定要有强大的处理能力。综合以上各方面考虑，选择TI的TMS320DM642。TMS320C6000DSP平台提高了性能和成本效益的水准，提供业界最快的广泛DSP产品系列，这些DSP以高达1GHz的时钟速度运行。平台由TMS320C64x和TMS320C62x定点系列以及TMS320C67x浮点系列组成。C6000DSP平台是处理目标宽带基础设施、高性能音频和成像应用等产品的设计人员的最佳选择。TMS320DM642是TI公司目前推出的在多媒体处理领域的主流产品，它是在C64x的基础上，增加了许多外围设备和接口。

如图2所示，特征检测跟踪方法软件流程图，首先采集视频图像，得到前一帧和当前帧，采用基于KLT跟踪算法选取图像的特征点。选取过程先要给定一个检测窗口W，调整运动参数使得相邻两帧间的差异最小，从而得到包含角点等运动特征的点作为特征点。步骤如下：给定窗口W，选择仿射运动参数A和d，最小化下面的偏差量：

ε＝∫_W[J(Ax+d)-I(x)]²w(x)dx，

其中，w为加权函数，经常取为常数或高斯函数。在纯变换下，矩阵A取为单位矩阵。因此，使上式偏差量最小化，得到：

Zd＝e，

其中，Z＝∫_Wg(x)g^T(x)w(x)dx

e＝∫_W[I(x)-J(x)]g(x)w(x)dx

$g\left(x\right)=\left[\begin{array}{c}\frac{\∂}{\∂x}J\left(x\right)\\ \frac{\∂}{\∂y}J\left(x\right)\end{array}\right]$

通过分析可知，这一最小化过程可以归结为对二阶矩矩阵Z的分析。如果二阶矩矩阵Z为满秩矩阵，则等式具有平稳解。特别地，通过选择窗口，使Z的最小特征值大于给定的阈值，那么该窗口为好的窗口。一旦特征值小于给定的阈值，特征跟踪结束。由于行人间遮挡、行人自身遮挡、亮度及清晰度的变化，经过一段时间后KLT会丢失跟踪的特征，因此需要重新进行特征选择。如果在每帧都进行重新选取，必将使计算量增加，同时也使次要特征被检测和跟踪。因此，可以在特定的时空区域来进行，并且在帧间进行传递。行人占有的空间包含空区域，可作为重新选择特征点的备选区域。然而由于计算量的原因，不可能在所以的这些区域进行检测。对于较大的空洞区域，应该给予更多的注意。重新产生特征点的方法：根据空洞区域中心到最近轨迹的距离，为其设定权值。所有定位到的中心区域的加权平均，作为重新产生特征点的视频帧。通过对连续视频图像处理，得到特征点运动轨迹。

如图3所示，轨迹聚类方法流程图，通过KLT得到的特征轨迹一致性较差，轨迹没有同时结束和开始，遮挡也会引起轨迹不连续，特征的减弱也会损失跟踪的精度。为了提高特征集的质量，对轨迹进行时间和空间上的约束。考虑沿每一轨迹都有一个约束框，通过计算框内轨迹坐标的质心进行初始化。不同轨迹间的距离不小于4个象素，因此框的宽度设置为16个象素。约束轨迹的下一坐标位置通过位移向量进行计算，这一向量是通过框内所有特征点位移向量的平均得到的。在序列中的所有轨迹上进行处理，从而得到更长的、光滑的、更加连续的轨迹。为了检测某一时刻的客流量，需要对特征轨迹进行聚类。聚类的方法：首先在检测的场景中设置一个尽可能小的目标约束框，能够包含每一可能的目标，

$w=\underset{(T^i,T^j)\∈{\mathrm{Objext}}^2}{\max }\left(\underset{t\∈\mathrm{Time}}{\max }\right|{T_x}^i\left(t\right)-{T_x}^j\left(t\right)\left|\right)$

$h=\underset{(T^i,T^j)\∈{\mathrm{Objext}}^2}{\max }\left(\underset{t\∈\mathrm{Time}}{\max }\right|{T_y}^i\left(t\right)-{T_y}^j\left(t\right)\left|\right)$

如果两条轨迹不在同一框中，则他们属于不同的目标。同时定义清晰度因子，

$\mathrm{\φ}=\underset{(T^i,T^j)\∈{\mathrm{Objext}}^2}{\max }(\underset{t\∈\mathrm{Time}}{\max }{\left|\right|T}^i\left(t\right)-T^j\left(t\right){\left|\right|}_2-\underset{t\∈\mathrm{Time}}{\min }{\left|\right|T}^i\left(t\right)-T^j\left(t\right){\left|\right|}_2)$

作为两个特征间的距离随时间变化量，描述轨迹间的联结程度。该因子取决于对象的类型及其运动，刚性目标在纯变换的情况下φ＝0。两条轨迹需要同时满足以下条件，

$\∀i,|T_x^i\left(t\right)-T_x^i\left(t\right)|\≤w$

$\∀t,|T_y^i\left(t\right)-T_y^j\left(t\right)|\≤h$

此时，两条轨迹对应同一目标。  $\underset{t\∈\mathrm{Time}}{\max }{\left|\right|T}^i\left(t\right)-T^j\left(t\right){\left|\right|}_2-\underset{t\∈\mathrm{Time}}{\min }{\left|\right|T}^i\left(t\right)-T^j\left(t\right){\left|\right|}_2\≤\mathrm{\φ}$

假设行人的局部满足刚性条件，则可以据此形成初始分组。如果几个特征在3D中具有相同的刚性运动，那么它们2D正交投影的运动具有仿射性。因此，假设2D特征在整个生命期内具有相同的仿射运动，那么它们属于目标的某一刚性部分，即某一目标。定义对特征轨迹集合T进行分组的重要条件，

‖M_t-t′·Tⁱ(t)-Tⁱ(t′)‖₂≤ρ

定义刚性块T，在整个的考察的时间窗口内进行搜索，并且在连通图内进行连接。通过特征轨迹聚类，得到了属于同一刚性运动或者定义在相同连通图内特征之间可能连接的块，它包含一个或几个特征。每次迭代的过程中，如果轨迹集合T和T′内的所以特征在连通图内彼此相连，则被融合在一起，直到完成对所有的集合的分析，得到检测区域内客流量的准确计数。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (5)

1.基于计算机视觉的客流量检测方法，其特征在于：将视频图像采集设备设置于行人通道的出入口，实时采集客流出入的视频图像；处理器对采集装置获取的视频图像进行处理，得到单帧图像场景中的特征点，然后在一段时间的连续序列图像上进行处理，得到一系列图像序列中的所有特征点，通过对这些特征点在时间和空间上进行约束，得到平滑的特征点轨迹，通过特征点轨迹聚类的方法，将那些在时间和空间上具有相似特征的轨迹划分成一个目标，从而实现对单个行人的检测和跟踪；再对得到的特征点轨迹进行分析，结合监控区域的标定，得到监控区域在实际中的面积，从而可以统计客流在各个方向的轨迹信息，以及区域的客流密度；

在对特征轨迹进行聚类步骤中：首先在检测的场景中设置一个尽可能小的目标约束框，能够包含每一可能的目标，

如果两条轨迹不在同一框中，则他们属于不同的目标；同时定义清晰度因子，

作为两个特征间的距离随时间变化量，描述轨迹间的联结程度；该因子取决于对象的类型及其运动，刚性目标在纯变换的情况下φ＝0；两条轨迹需要同时满足以下条件，

此时，两条轨迹对应同一目标。

2.根据权利要求1所述的一种基于计算机视觉的客流量检测方法，其特征在于：对采集到的视频图像进行处理，包括：通过在图像区域内进行搜索，获得运动目标的特征点，再对连续多帧图像序列中的特征点进行跟踪，得到运动目标的轨迹信息，基于计算机视觉的特征跟踪，确定从前一帧图像到后一帧图像中，局部窗口的运动参数；处理步骤包括：

1)选定特征窗口，通过最小化帧间图像灰度差异，得到仿射运动参数； 

2)设置特征值阈值，如果最小特征值大于给定的阈值，该窗口为较好的选择，否则特征跟踪中止；

3)当初始特征不能继续被跟踪，特征跟踪中止。

3.根据权利要求2所述的基于计算机视觉的客流量检测方法，其特征在于：在特征跟踪的步骤中：选择窗口，将窗口的中心作为跟踪的特征，对于连续图像序列中的两帧，计算窗口内灰度差异，通过使差异最小化选择好的窗口，从而确定跟踪的特征点；采用特征点再生的方法，重新生成丢失的特征点，并通过对每一特征轨迹进行时间和空间上的约束，得到更加平滑、完整的特征轨迹。

4.根据权利要求1所述的基于计算机视觉的客流量检测方法，其特征在于：在特征轨迹的约束的步骤中：在图像序列每条轨迹上传递一个约束框，轨迹开始时，通过计算框内所有轨迹的坐标质心进行初始化。

5.根据权利要求1所述的基于计算机视觉的客流量检测方法，其特征在于：同时对行人的肩宽信息进行检测，根据这些信息对环境的舒适程度做出判断。 

Images