CN104392522A - 一种基于伪深度信息的客流统计系统 - Google Patents

Abstract

本发明提供一种基于伪深度信息的客流统计系统，包括以下步骤：对客流统计系统的系统参数进行标定；采用线结构激光器对目标行人进行垂直照射，采用图像传感器对视野内被线结构光照射的目标进行图像采集；对采集的图像进行预处理，获取线结构光条上每个位置的形变差值，并获取变换域上对应的变换特征值；对伪深度信息进行高低位变换，将变换后的结果保存在伪深度列表中；获取目标的伪深度突变区域和伪深度连通区域；对疑似目标进行跟踪判断，进行客流信息统计。本发明能够以较低的硬件成本、较高的效率实现行人目标的定位、跟踪及计数，对于复杂环境和拥挤人群也有较高的准确率。

Description

一种基于伪深度信息的客流统计系统

技术领域

本发明涉及客流统计技术领域，具体是一种基于伪深度信息的客流统计系统。

背景技术

客流量是衡量公共场所繁忙程度的重要依据，准确的实时客流信息对于管理公共场所和调度公共设施具有重要的指导意义。例如：对于公交车运输系统，若能掌握各个站点和各个时段的客流量，则公交公司可以更加合理的调整线路和增减车辆，提升资源的利用率。对于商场和超市，若能准确掌握实时客流量，则商场和超市可以动态调整工作人员数量和制定合理的营销策略。

目前，客流统计主要有以下几类技术:

(1)基于红外测距的统计技术，如“基于红外测距传感器的公交车客流统计系统”(中国专利申请号：CN201310731307)。该类技术虽然成本低，实现简单，但当出现密集以及拥挤的人群时，准确率会严重下降甚至失效。

(2)基于视频图像处理的统计技术，如“一种基于自适应模板匹配的客流统计方法”(中国专利申请号：CN201010509217)。这是典型的基于二维图像检测和跟踪技术的，该类技术在一些特定场景，如光线稳定的室内入口处，能取得很好的统计结果，但是在光线不稳定的室外，比如公交车上，该方法会出现较为严重的误差。

(3)基于视频深度信息的统计技术，如：“基于立体视觉的公交客流统计方法及其系统”(中国专利申请号：CN200510060288)，“一种基于测距原理的实时人数统计方法与系统”(中国专利申请号：CN201210390592)。该类技术虽然能够较准确的定位出人的位置，同时对于复杂环境和拥挤人群也有较好的效果，但是算法较为复杂，运行效率低下，同时硬件成本也较高。

发明内容

本发明的目的在于提供一种基于伪深度信息的客流统计系统，该统计系统能够以较低的硬件成本、较高的效率实现行人目标的定位、跟踪及计数，对于复杂环境和拥挤人群也有较高的准确率。

本发明的技术方案为：

一种基于伪深度信息的客流统计系统，所述的统计系统包括图像传感器和线结构激光器；所述的统计系统包括以下步骤：

(1)对客流统计系统的系统参数进行标定；

(2)采用线结构激光器对目标行人进行垂直照射，采用图像传感器对视野内被线结构光照射的目标进行图像采集；

(3)对采集的图像进行预处理，获取线结构光条上每个位置的形变差值，并获取变换域上对应的变换特征值，所述的变换特征值即为伪深度信息；

(4)根据设置的行人伪深度阈值，对伪深度信息进行高低位变换，将变换后的结果保存在伪深度列表中；

(5)根据伪深度列表中的前后帧关联信息，获取目标的伪深度突变区域和伪深度连通区域；

(6)根据获取的目标的伪深度突变区域和伪深度连通区域，对疑似目标进行跟踪判断，进行客流信息统计。

步骤(1)中，所述的对客流统计系统的系统参数进行标定，采用black box理论及线性差值算法进行标定，或者采用基于退化模型的方法进行标定。

步骤(1)中，所述的对客流统计系统的系统参数进行标定，具体过程为：获取系统的结构参数 $\left\{\begin{array}{c}A=\frac{{\cos }^2\mathrm{\α}}{\mathrm{\ρl}}\\ B=\mathrm{\ρ}tan\mathrm{\α}\end{array}\right.,$ 图像传感器的焦距f与像元尺寸ρ、系统的畸变量参数式s＝φ(β)、系统随机误差和无目标通过时包含线结构光条的背景图像F_m。

其中，l表示基线距离，即线结构激光器和图像传感器的中心距离；α是图像传感器镜头中心线和基线的夹角；β是实际目标和镜头中心线的夹角。

步骤(3)中，所述的对采集的图像进行预处理，获取线结构光条上每个位置的形变差值，并获取变换域上对应的变换特征值，所述的变换特征值即为伪深度信息；具体包括以下步骤：

(31)对采集的图像进行平滑滤波处理和线结构光条的骨架化处理；

(32)根据背景图像F_m，获取线结构光条上每个位置的形变差值；

(33)获取变换域上对应的变换特征值，所述的变换特征值即为伪深度信息，具体是根据以下的系统基本模型公式，基于不同的场景需求采用相应的变换模型参数实现：

其中，△N表示骨架化光条的像素形变差值，△H表示光条像素形变差值对应的变换域伪深度。

步骤(4)中，所述的根据设置的行人伪深度阈值，对伪深度信息进行高低位变换，具体采用以下公式实现：

$\left\{\begin{array}{cc}H=1& \mathrm{\&Delta;H}\&GreaterEqual;T_h\\ H=0& \mathrm{\&Delta;H}<T_h\end{array}\right.$

其中，T_h表示行人伪深度阈值，H表示高低位状态，1表示高位，0表示低位，高位表示有疑似目标存在，低位表示无疑似目标通过。

步骤(5)中，所述的伪深度突变区域表示疑似目标出现，所述的获取疑似目标的伪深度突变区域，具体采用以下公式实现：

$\left\{\begin{array}{c}{H}_{n-2}=0\\ H_{n-1}=0\\ H_n=1\end{array}\right.$

其中，Hn、Hn-1、Hn-2，分别表示本帧、前一帧、前两帧的相关位置的高低位状态；

所述的伪深度连通区域表示疑似目标正在通过，所述的获取疑似目标的伪深度连通区域，采用空间域上的邻域判断法，具体采用以下公式实现：

$\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=1\\ H_n=1\end{array}\right.$ 或 $\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=0\\ H_n=1\end{array}\right.$ 或 $\left\{\begin{array}{c}{H}_{n-2}=0\\ H_{n-1}=1\\ H_n=1\end{array}\right.$

其中，H_n，H_n-1，H_n-2分别表示本帧，前一帧，前两帧的相关位置的高低位状态。

步骤(6)中，所述的根据获取的疑似目标的伪深度突变区域和伪深度连通区域，对疑似目标进行跟踪判断，进行客流信息统计，具体包括以下顺序的步骤：

(61)根据获取的疑似目标的伪深度突变区域和伪深度连通区域，将疑似目标对应的图像区域保存在方向列表中；

(62)采用以下公式对疑似目标进行跟踪判断，若满足该公式，则表示疑似目标已经离开：

$\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=1\\ H_n=0\\ H_{n+1}=0\\ H_{n+2}=0\end{array}\right.$

其中，Hn-2、Hn-1、Hn、Hn+1、Hn+2，分别表示前两帧、前一帧、本帧、后一帧，后两帧的相关位置的高低位状态；

(63)根据伪深度连通区域的面积，判断该疑似目标是否是行人目标；若是，则执行步骤(64)；若否，则视为干扰目标，删除其对应的深度列表信息和方向列表；

(64)若是行人目标，则根据方向列表中存储的图像区域信息，采用基于统计信息的图像局部区域光流法判断行人目标的运动方向，进行客流人数统计。

步骤(61)中，所述的图像区域，为突变发生时，在二维图像对应位置上，以1.5倍突变长度为边长的正方形区域；

步骤(63)中，所述的根据伪深度连通区域的面积，判断该疑似目标是否是行人目标，具体采用以下公式实现：

S₁<S<S₂

其中，S₁＝0.5*S₀，S₂＝1.5*S₀，S₀表示典型行人通过时的伪深度连通区域面积，S表示实时采集的伪深度连通区域的面积；

若S满足上述公式，则该疑似目标是行人目标。

本发明的有益效果为：

(1)本发明所采用的测量装置只包括一个线结构激光器和一个图像传感器，具有结构简单、硬件成本低等特点。

(2)本发明根据所采集图像的伪深度信息对目标进行检测、跟踪和计数，相对于二维视频方法，更加准确，即使对于复杂光线和拥挤人群，也有很强的适应性和较高的准确率。

(3)本发明采用变换域上的伪深度信息，省掉了复杂的三维测量运算，避免了因三维测量运算而引入的误差，算法更加简单、运行更加高效。

附图说明

图1是本发明客流统计系统的逻辑流程图；

图2是本发明客流统计系统的设备安装示意图；

图3是高低位状态中伪深度突变区域的判断示意图；

图4是高低位状态中伪深度连通区域的判断示意图；

图5是高低位状态中疑似目标离开的判断示意图。

其中：

1、线结构激光器，2、图像传感器，虚线表示本帧之前的几帧的位状态，实线表示本帧和本帧之后的几帧的位状态。

具体实施方式

下面结合附图和具体实施例进一步说明本发明：

一种基于伪深度信息的客流统计系统，如图2所示，所述的统计系统包括图像传感器2和线结构激光器1。线结构激光器1，安装在行人进出通道的垂直正上方，且其光平面和进出方向呈90度夹角。图像传感器2和线结构激光器1等高设置，且二者之间间隔一定距离，图像传感器2镜头与行人进出方向具有向下的夹角，使得视野能够完全覆盖被线结构光照射的行人目标。

如图1所示，一种基于伪深度信息的客流统计系统，还包括以下步骤：

S1、采用black box理论及线性差值算法进行标定，或者采用基于退化模型的方法，对客流统计系统的系统参数进行标定。

所述的对客流统计系统的系统参包括：系统的结构参数 $\left\{\begin{array}{c}A=\frac{{\cos }^2\mathrm{\&alpha;}}{\mathrm{\&rho;l}}\\ B=\mathrm{\&rho;}tan\mathrm{\&alpha;}\end{array}\right.,$ 图像传感器的焦距f与像元尺寸ρ、系统的畸变量参数式s＝φ(β)、系统随机误差和无目标通过时包含线结构光条的背景图像F_m。

其中，l表示基线距离，即线结构激光器和图像传感器的中心距离；α是图像传感器镜头中心线和基线的夹角；β是实际目标和镜头中心线的夹角；F_m，用于计算骨架化后线结构光条的形变差值。

(一)当客流统计系统的精度要求较高时，采用black box理论及线性差值算法进行标定。

因为当系统精度要求高时，需要更加精确的系统参数。但是，根据目标的高度和像素形变差值的关系式(1)可知，这是一个非线性函数，其中的畸变因子s＝φ(β)是一个动态变化的量，常规的标定方法无法获取精确值。因此，本发明根据black box理论，把该客流统计系统模型表示为式(2)：

其中，△N表示骨架化光条的像素形变差值，△H表示光条像素形变差值对应的变换域伪深度。

△H＝W△N    (2)

其中，W表示未知的“black box”变量。

所述的采用black box理论及线性差值算法进行标定，具体包括以下步骤：

S11、采集一幅无任何目标通过的线结构光照射的背景图像。

S12、使用线结构激光器分别照射不同高度的标定板，同时采集相应的标定板图像。

S13、通过图像预处理，获取每幅图像的线结构光条的像素形变差值。

S14、把对应的标定板高度和线结构光条的形变差值代入式(2)，得到对应的“black box”变量值w_i，其中i＝1,2,3...n。

S15、依据目标高度、形变差值和“black box”变量之间的对应关系，通过线性插值理论，获取线结构光条的每一个形变差值对应的高度，并将对应关系保存在标定列表中。

(二)当客流统计系统的精度要求较低时，仅满足一般场景的需要，采用基于退化模型的方法，对客流统计系统的系统参数进行标定。

在这种情况下，不需要精确的系统参数，可以采用退化模型，具体的方法是忽略系统的随机误差，畸变因子s＝φ(β)近似为常数1。因此，该客流统计系统可以退化为式(3)：

$\mathrm{\&Delta;H}=\frac{1}{A}\frac{\mathrm{\&Delta;N}}{(\mathrm{B\&Delta;N}+f)}---\left(3\right)$

此时，该模块的参数标定很特殊，因为整套系统确定下来后，它的相关参数可以近似认为是定值。因此，该系统的结构参数可以通过物理测量直接获得，图像传感器的参数可以直接从相关产品参数中找到。背景图像为直接采集一幅无任何目标通过的线结构光照射的背景图像。

S2、采用线结构激光器对目标行人进行垂直照射，采用图像传感器对视野内被线结构光照射的目标进行图像采集。

S3、对采集的图像进行预处理，获取线结构光条上每个位置的形变差值，并获取变换域上对应的变换特征值，所述的变换特征值即为伪深度信息。具体包括以下步骤：

S31、对采集的图像进行平滑滤波处理和线结构光条的骨架化处理；

S32、根据背景图像F_m，获取线结构光条上每个位置的形变差值；

S33、所述的获取变换域上对应的变换特征值，所述的变换特征值即为伪深度信息，具体是根据系统基本模型公式，基于不同的场景需求采用相应的变换模型参数实现。

S4、根据设置的行人伪深度阈值，对伪深度信息进行高低位变换，将变换后的结果保存在伪深度列表中；

所述的根据设置的行人伪深度阈值，对伪深度信息进行高低位变换，具体采公式(5)实现：

$\left\{\begin{array}{cc}H=1& \mathrm{\&Delta;H}\&GreaterEqual;T_h\\ H=0& \mathrm{\&Delta;H}<T_h\end{array}\right.---\left(5\right)$

其中，T_h表示行人伪深度阈值，H表示高低位状态，1表示高位，0表示低位，高位表示有疑似目标存在，低位表示无疑似目标通过。

S5、根据伪深度列表中的前后帧关联信息，获取目标的伪深度突变区域和伪深度连通区域。

图3所示的为伪深度突变区域，在图3中，所采集图像的伪深度信息由低位向高位突变，表示疑似目标出现。所述的获取目标的伪深度突变区域，具体采用公式(6)实现：

$\left\{\begin{array}{c}{H}_{n-2}=0\\ H_{n-1}=0\\ H_n=1\end{array}\right.---\left(6\right)$

其中，Hn、Hn-1、Hn-2，分别表示本帧、前一帧、前两帧的相关位置的高低位状态。

图4所示的为伪深度连通区域，在图4中，所采集图像的深度信息一直处于高位状态，表示疑似目标正在通过。具体地说，是在线结构光照射的位置上，不同时间点的高度变化。所述的获取疑似目标的伪深度连通区域，采用空间域上的邻域判断法，当本帧某个处于高位位置的像素，在之前两帧对应的n邻域内(优选的，为12邻域内)，寻找处于高位位置的像素，只要存在即为连通。具体采用公式(7)实现：

$\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=1\\ H_n=1\end{array}\right.$ 或 $\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=0\\ H_n=1\end{array}\right.$ 或 $\left\{\begin{array}{c}{H}_{n-2}=0\\ H_{n-1}=1\\ H_n=1\end{array}\right.---\left(7\right)$

其中，H_n，H_n-1，H_n-2分别表示本帧，前一帧，前两帧的相关位置的高低位状态。

S6、若获取的疑似目标的高低位状态区域为伪深度突变区域，则当疑似目标出现后，把该伪深度突变区域位置加入到跟踪列表中，同时，将疑似目标对应的图像区域保存在方向列表中，也就是将此时图像上对应的疑似目标取一定的区域保存在方向列表中。所述的图像区域，为突变发生时(疑似目标出现时)，在二维图像对应位置上，以1.5倍突变长度为边长的正方形区域。

若获取的疑似目标的高低位状态区域为伪深度连通区域，则对该疑似目标进行跟踪判断。

S7、根据获取的疑似目标的伪深度连通区域和伪深度连通区域中的高度变化，对疑似目标进行持续跟踪判断，并实时更新跟踪列表和方向列表。如图5所示，当本帧出现某个伪深度连通区域由高位向低位的突变，且之后的两帧均为低位状态时，说明疑似目标已经离开。具体采用公式(8)实现：

$\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=1\\ H_n=0\\ H_{n+1}=0\\ H_{n+2}=0\end{array}\right.---\left(8\right)$

其中，Hn-2、Hn-1、Hn、Hn+1、Hn+2，分别表示前两帧、前一帧、本帧、后一帧，后两帧的相关位置的高低位状态。

S8、根据伪深度连通区域的面积，判断该疑似目标是否是行人目标；若是，则执行步骤S10；若否，则视为干扰目标，删除其对应的深度列表信息和方向列表。

所述的根据伪深度连通区域的面积，判断该疑似目标是否是行人目标，具体采用公式(9)实现：

S₁<S<S₂    (9)

其中，S₁＝0.5*S₀，S₂＝1.5*S₀，S₀表示典型行人通过时的伪深度连通区域面积，S表示实时采集的伪深度连通区域的面积；

若S满足上述公式，则该疑似目标是行人目标。

S9、若是行人目标，则根据方向列表中存储的图像区域信息，采用基于统计信息的图像局部区域光流法判断行人目标的运动方向。具体的说，采用基于统计信息的图像局部区域光流法分别判断前后两帧的运动方向，并统计所有帧的运动方向，取最大运动方向作为最终的行人行进方向。与此同时，进行客流人数统计，计数器加一，并删除其对应的深度列表信息和方向列表。

S10、采集新一帧图像，返回执行步骤S1，实现客流的实时统计。

当开始步骤S10，进行下一帧新图像的采集时，如果检测到该客流统计系统的参数已经标定过，则跳过步骤S1，直接执行步骤S2。

综上所述，本发明首先获取线结构光图像的二维形变量信息，通过特定的空间变换，得到与三维深度信息作用相同的特征值即伪深度。然后，根据伪深度的突变信息和连通信息，实现了行人目标的检测、跟踪。本发明同时采用了基于统计信息的图像局部区域光流法，实现了行进方向的快速判断，进而完成客流的统计。由于本发明使用了变换域上的伪深度信息，因此，本发明对不同光线环境和人群密度，都有很好的适应性。又由于本发明省掉了复杂的三维测量运算，算法更加高效，而且结构简单，成本较低。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (8)

1.一种基于伪深度信息的客流统计系统的统计系统，其特征在于：所述的统计系统包括图像传感器和线结构激光器；所述的统计系统包括以下步骤： 

(1)对客流统计系统的系统参数进行标定； 

(2)采用线结构激光器对目标行人进行垂直照射，采用图像传感器对视野内被线结构光照射的目标进行图像采集； 

(3)对采集的图像进行预处理，获取线结构光条上每个位置的形变差值，并获取变换域上对应的变换特征值，所述的变换特征值即为伪深度信息； 

(4)根据设置的行人伪深度阈值，对伪深度信息进行高低位变换，将变换后的结果保存在伪深度列表中； 

(5)根据伪深度列表中的前后帧关联信息，获取目标的伪深度突变区域和伪深度连通区域； 

(6)根据获取的目标的伪深度突变区域和伪深度连通区域，对疑似目标进行跟踪判断，进行客流信息统计。 

2.根据权利要求1所述的一种基于伪深度信息的客流统计系统，其特征在于：步骤(1)中，所述的对客流统计系统的系统参数进行标定，具体是指根据不同应用场景的精度要求，采用black box理论及线性差值算法进行标定，或者采用基于退化模型的方法进行标定； 

步骤(1)中，所述的对客流统计系统的系统参数进行标定，具体过程为：获取系统的结构参数图像传感器的焦距f与像元尺寸ρ、系统的畸变量参数式s＝φ(β)、系统随机误差和无目标通过时包含线结构光条的背景图像F_m； 

其中，l表示基线距离，即线结构激光器和图像传感器的中心距离； α是图像传感器镜头中心线和基线的夹角；β是实际目标和镜头中心线的夹角。 

3.根据权利要求2所述的一种基于伪深度信息的客流统计系统，其特征在于：步骤(3)中，所述的对采集的图像进行预处理，获取线结构光条上每个位置的形变差值，并获取变换域上对应的变换特征值，所述的变换特征值即为伪深度信息；具体包括以下步骤： 

(31)对采集的图像进行平滑滤波处理和线结构光条的骨架化处理； 

(32)根据背景图像F_m，获取线结构光条上每个位置的形变差值； 

(33)获取变换域上对应的变换特征值，所述的变换特征值即为伪深度信息，具体是根据以下的系统基本模型公式，基于不同的场景需求采用相应的变换模型参数实现： 

其中，△N表示骨架化光条的像素形变差值，△H表示光条像素形变差值对应的变换域伪深度。 

4.根据权利要求1所述的一种基于伪深度信息的客流统计系统，其特征在于：步骤(4)中，所述的根据设置的行人伪深度阈值，对伪深度信息进行高低位变换，具体采用以下公式实现： 

其中，T_h表示行人伪深度阈值，H表示高低位状态，1表示高位，0表示低位，高位表示有疑似目标存在，低位表示无疑似目标通过。 

5.根据权利要求1所述的一种基于伪深度信息的客流统计系统，其特征在于：步骤(5)中，所述的伪深度突变区域表示疑似目标出现， 所述的获取疑似目标的伪深度突变区域，具体采用以下公式实现： 

其中，Hn、Hn-1、Hn-2，分别表示本帧、前一帧、前两帧的相关位置的高低位状态； 

所述的伪深度连通区域表示疑似目标正在通过，所述的获取疑似目标的伪深度连通区域，采用空间域上的邻域判断法，具体采用以下公式实现： 

或或

其中，H_n，H_n-1，H_n-2分别表示本帧，前一帧，前两帧的相关位置的高低位状态。 

6.根据权利要求1所述的一种基于伪深度信息的客流统计系统，其特征在于：步骤(6)中，所述的根据获取的疑似目标的伪深度突变区域和伪深度连通区域，对疑似目标进行跟踪判断，进行客流信息统计，具体包括以下顺序的步骤： 

(61)根据获取的疑似目标的伪深度突变区域和伪深度连通区域，将疑似目标对应的图像区域保存在方向列表中； 

(62)采用以下公式对疑似目标进行跟踪判断，若满足该公式，则表示疑似目标已经离开： 

其中，Hn-2、Hn-1、Hn、Hn+1、Hn+2，分别表示前两帧、前一帧、本帧、后一帧，后两帧的相关位置的高低位状态； 

(63)根据伪深度连通区域的面积，判断该疑似目标是否是行人目标；若是，则执行步骤(64)；若否，则视为干扰目标，删除其对应的深度列表信息和方向列表； 

(64)若是行人目标，则根据方向列表中存储的图像区域信息，采用基于统计信息的图像局部区域光流法判断行人目标的运动方向，进行客流人数统计。 

7.根据权利要求6所述的一种基于伪深度信息的客流统计系统，其特征在于：步骤(61)中，所述的图像区域，为突变发生时，在二维图像对应位置上，以1.5倍突变长度为边长的正方形区域。 

8.根据权利要求6所述的一种基于伪深度信息的客流统计系统，其特征在于：步骤(63)中，所述的根据伪深度连通区域的面积，判断该疑似目标是否是行人目标，具体采用以下公式实现： 

S₁<S<S₂

其中，S₁＝0.5*S₀，S₂＝1.5*S₀，S₀表示典型行人通过时的伪深度连通区域面积，S表示实时采集的伪深度连通区域的面积； 

若S满足上述公式，则该疑似目标是行人目标。