CN104408746A - 一种基于深度信息的客流统计系统 - Google Patents

Abstract

本发明提供一种基于深度信息的客流统计系统，包括以下步骤：获取图像传感器的内参数矩阵与外参数矩阵和线结构激光器的参数矩阵；采用线结构激光器对目标行人进行垂直照射，采用图像传感器进行图像采集；对采集的图像进行预处理，获取预处理后的图像所对应的深度信息；对深度信息进行高低位变换，将变换后的结果保存在深度列表中；获取目标的深度突变区域和深度连通区域；对疑似目标进行跟踪判断，进行客流信息统计。本发明能够以较低的硬件成本、较高的效率实现行人目标的定位、跟踪及计数，对于复杂环境和拥挤人群也有较高的准确率。

Description

一种基于深度信息的客流统计系统

技术领域

本发明涉及客流统计技术领域，具体是一种基于深度信息的客流统计系统。

背景技术

客流量是衡量公共场所繁忙程度的重要依据，准确的实时客流信息对于管理公共场所和调度公共设施具有重要的指导意义。例如：对于公交车运输系统，若能掌握各个站点和各个时段的客流量，则公交公司可以更加合理的调整线路和增减车辆，提升资源的利用率。对于商场和超市，若能准确掌握实时客流量，则商场和超市可以动态调整工作人员数量和制定合理的营销策略。

目前，客流统计主要有以下几类技术:

(1)基于红外测距的统计技术，如“基于红外测距传感器的公交车客流统计系统”(中国专利申请号：CN201310731307)。该类技术虽然成本低，实现简单，但当出现密集以及拥挤的人群时，准确率会严重下降甚至失效。

(2)基于视频图像处理的统计技术，如“一种基于自适应模板匹配的客流统计方法”(中国专利申请号：CN201010509217)。这是典型的基于二维图像检测和跟踪技术的，该类技术在一些特定场景，如光线稳定的室内入口处，能取得很好的统计结果，但是在光线不稳定的室外，比如公交车上，该方法会出现较为严重的误差。

(3)基于视频深度信息的统计技术，如：“基于立体视觉的公交客流统计方法及其系统”(中国专利申请号：CN200510060288)，“一种基于测距原理的实时人数统计方法与系统”(中国专利申请号：CN201210390592)。该类技术虽然能够较准确的定位出人的位置，同时对于复杂环境和拥挤人群也有较好的效果，但是算法较为复杂，运行效率低下，同时硬件成本也较高。

发明内容

本发明的目的在于提供一种基于深度信息的客流统计系统，该统计方法能够以较低的硬件成本、较高的效率实现行人目标的定位、跟踪及计数，对于复杂环境和拥挤人群也有较高的准确率。

本发明的技术方案为：

一种基于深度信息的客流统计系统，所述的统计系统包括图像传感器和线结构激光器。所述的统计系统包括以下步骤：

(1)获取图像传感器的内参数矩阵与外参数矩阵，并在该图像传感器的相关坐标系下，获取线结构激光器的参数矩阵。

(2)采用线结构激光器对目标行人进行垂直照射，采用图像传感器对视野内被线结构光照射的目标进行图像采集。

(3)对采集的图像进行预处理，并根据三角法测量原理，获取预处理后的图像所对应的三维坐标，即深度信息。

(4)根据设置的行人高度阈值，对深度信息进行高低位变换，将变换后的结果保存在深度列表中。

(5)根据深度列表中的前后帧关联信息，获取目标的深度突变区域和深度连通区域。

(6)根据获取的目标的深度突变区域和深度连通区域，对疑似目标进行跟踪判断，进行客流信息统计。

步骤(1)中，所述的获取图像传感器的内参数矩阵与外参数矩阵，采用Tsai的经典标定算法。

步骤(3)中，所述的对采集的图像进行预处理，包括图像平滑滤波处理和线结构光条的骨架化处理。

步骤(4)中，所述的根据设置的行人高度阈值，对深度信息进行高低位变换，具体采用以下公式实现：

$\left\{\begin{array}{cc}H=1& h\≥T_h\\ H=0& \mathrm{other}\end{array}\right.$

其中，T_h表示行人高度阈值，h表示进行预处理后的图像的深度信息，H表示相关位置的高低状态。

步骤(5)中，所述的深度突变区域表示疑似目标出现，所述的获取目标的深度突变区域，具体采用以下公式实现：

$\left\{\begin{array}{c}{H}_{n-2}=0\\ H_{n-1}=0\\ H_n=1\end{array}\right.$

其中，Hn、Hn-1、Hn-2，分别表示本帧、前一帧、前两帧的相关位置的高低位状态；

所述的深度连通区域表示疑似目标正在通过，所述的获取目标的深度连通区域，采用空间域上的邻域判断法，具体采用以下公式实现：

$\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=1\\ H_n=1\end{array}\right.$ 或 $\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=0\\ H_n=1\end{array}\right.$ 或 $\left\{\begin{array}{c}{H}_{n-2}=0\\ H_{n-1}=1\\ H_n=1\end{array}\right.$

其中，H_n，H_n-1，H_n-2分别表示本帧，前一帧，前两帧的相关位置的高低位状态。

步骤(6)中，所述的根据获取的目标的深度突变区域和深度连通区域，对疑似目标进行跟踪判断，进行客流信息统计，具体包括以下顺序的步骤：

(61)根据获取的目标的深度突变区域和深度连通区域，将疑似目标对应的图像区域保存在方向列表中；

(62)采用以下公式对疑似目标进行跟踪判断，若满足该公式，则表示疑似目标已经离开：

$\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=1\\ H_n=0\\ H_{n+1}=0\\ H_{n+2}=0\end{array}\right.$

其中，Hn-2、Hn-1、Hn、Hn+1、Hn+2，分别表示前两帧、前一帧、本帧、后一帧，后两帧的相关位置的高低位状态；

(63)根据深度连通区域的面积，判断该疑似目标是否是行人目标；若是，则执行步骤(64)；若否，则视为干扰目标，删除其对应的深度列表信息和方向列表；

(64)若是行人目标，则根据方向列表中存储的图像区域信息，采用光流法判断行人目标的运动方向，进行客流人数统计。

步骤(61)中，所述的图像区域，为突变发生时，在二维图像对应位置上，以1.5倍突变长度为边长的正方形区域；

步骤(63)中，所述的根据深度连通区域的面积，判断该疑似目标是否是行人目标，具体采用以下公式实现：

S₁<S<S₂

其中，S₁＝0.5*S₀，S₂＝1.5*S₀，S₀表示典型行人通过时的深度连通区域面积，S表示实时采集的深度连通区域的面积；

若S满足上述公式，则该疑似目标是行人目标。

本发明的有益效果为：

(1)本发明所采用的测量装置只包括一个线结构激光器和一个图像传感器，具有结构简单、硬件成本低等特点。

(2)本发明根据所采集图像的深度信息对目标进行检测、跟踪和计数，相对于二维视频方法，更加准确，即使对于复杂光线和拥挤人群，也有很强的适应性和较高的准确率。

(3)本发明采用线结构光三维重建算法获取图像的深度信息，相对于双目立体视觉，算法更加简单、运行更加高效。

附图说明

图1是本发明客流统计方法的逻辑流程图；

图2是本发明客流统计系统的设备安装示意图；

图3是高低位状态中深度突变区域的判断示意图；

图4是高低位状态中深度连通区域的判断示意图；

图5是高低位状态中疑似目标离开的判断示意图。

其中：

1、线结构激光器，2、图像传感器，虚线表示本帧之前的几帧的位状态，实线表示本帧和本帧之后的几帧的位状态。

具体实施方式

下面结合附图和具体实施例进一步说明本发明：

一种基于深度信息的客流统计系统，如图2所示，所述的统计系统包括图像传感器2和线结构激光器1。线结构激光器1，安装在行人进出通道的垂直正上方，且其光平面和进出方向呈90度夹角。图像传感器2和线结构激光器1等高设置，且二者之间间隔一定距离，图像传感器2镜头与行人进出方向具有向下的夹角，使得视野能够完全覆盖被线结构光照射的行人目标。

如图1所示，所述的基于深度信息的客流统计系统还包括以下步骤：

S1、基于Tsai的经典标定算法，采集三幅不同深度的标定板图像，获取图像传感器的内参数矩阵与外参数矩阵，具体如公式(1)所示：

$K=s\left[\begin{array}{ccc}{f}_x\&times;k_x& 0& u_0\\ 0& f_y\&times;k_y& v_0\\ 0& 0& 1\end{array}\right],R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right],T=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]---\left(1\right)$

其中，K表示图像传感器的内参数矩阵，图像传感器的内参数指能够描述图像传感器成像原理和成像特性的物理参数，包括镜头的有效焦距f_x与f_y、畸变系数k_x与k_y、图像中心 $\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]$ 和不确定图像尺度因子s。

R和T表示图像传感器的外参数矩阵，具体地说，图像传感器的外参数指能够表示传感器在选定的世界坐标系中的传感器位置的几何参数，包括从世界坐标系到图像传感器坐标系之间的旋转变换矩阵R和平移变换矩阵T。

S2、在上述图像传感器的相关坐标系下，采集三幅不同深度的被线结构光照射的标定板图像，获取线结构激光器的参数矩阵，具体如公式(2)所示：

$B=\left[\begin{array}{c}{b}_x\\ b_y\\ b_z\\ 1\end{array}\right]---\left(2\right)$

其中，B为线结构激光器的参数矩阵，具体表示线结构光平面在世界坐标系中平面方程。

S3、采用线结构激光器对目标行人进行垂直照射，采用图像传感器对视野内被线结构光照射的目标进行图像采集。

S4、对采集的图像进行预处理，所述的对采集的图像进行预处理，包括图像平滑滤波处理和线结构光条的骨架化处理。基于线结构光条骨架化后的像素坐标和系统标定参数，并根据公式(3)所示的三角法测量原理，获取预处理后的图像所对应的三维坐标，即深度信息。公式(3)如下：

$\left\{\begin{array}{c}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[R\right|T]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]\\ B^T\&CenterDot;\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=0\end{array}\right.---\left(3\right)$

其中， $\left[\begin{array}{c}u\\ v\end{array}\right]$ 表示线结构光条骨架化后的二维像素坐标， $\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]$ 表示线结构光条对应的三维深度坐标。

S5、根据设置的行人高度阈值，采用公式(4)对深度信息进行高低位变换，将变换后的结果保存在深度列表中。公式(4)，具体如下所示：

$\left\{\begin{array}{cc}H=1& h\&GreaterEqual;T_h\\ H=0& \mathrm{other}\end{array}\right.---\left(4\right)$

其中，T_h表示行人高度阈值，h表示进行预处理后的图像的深度信息，H表示相关位置的高低状态。

S6、根据深度列表中的前后帧关联信息，获取目标的深度突变区域和深度连通区域。

图3所示的为深度突变区域，在图3中，所采集图像的深度信息由低位向高位突变，表示疑似目标出现。所述的获取目标的深度突变区域，具体采用公式(5)实现：

$\left\{\begin{array}{c}{H}_{n-2}=0\\ H_{n-1}=0\\ H_n=1\end{array}\right.---\left(5\right)$

其中，Hn、Hn-1、Hn-2，分别表示本帧、前一帧、前两帧的相关位置的高低位状态。

图4所示的为深度连通区域，在图4中，所采集图像的深度信息一直处于高位状态，表示疑似目标正在通过。具体地说，是在线结构光照射的位置上，连续不同时间点的高度状态相同。所述的获取目标的深度连通区域，采用空间域上的邻域判断法，当本帧某个处于高位位置的像素，在之前两帧对应的n邻域内(优选的，为12邻域内)，寻找处于高位位置的像素，只要存在即为连通。具体采用公式(6)实现：

$\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=1\\ H_n=1\end{array}\right.$ 或 $\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=0\\ H_n=1\end{array}\right.$ 或 $\left\{\begin{array}{c}{H}_{n-2}=0\\ H_{n-1}=1\\ H_n=1\end{array}\right.---\left(6\right)$

其中，H_n，H_n-1，H_n-2分别表示本帧，前一帧，前两帧的相关位置的高低位状态。

S7、若获取的目标的高低位状态区域为深度突变区域，则说明有疑似行人目标出现。把该深度突变区域位置加入到跟踪列表中，同时，将疑似目标对应的图像区域保存在方向列表中，也就是将此时图像上对应的疑似目标取一定的区域保存在方向列表中。所述的图像区域，为突变发生时(疑似目标出现时)，在二维图像对应位置上，以1.5倍突变长度为边长的正方形区域。

若获取的目标的高低位状态区域为深度连通区域，则说明有疑似行人目标正在通过。

S8、根据获取的目标的深度连通区域和深度连通区域中的高度变化，对疑似目标进行持续跟踪判断，并实时更新跟踪列表和方向列表。如图5所示，当本帧出现某个深度连通区域由高位向低位的突变，且之后的两帧均为低位状态时，说明疑似目标已经离开。具体采用公式(7)实现：

$\left\{\begin{array}{c}{H}_{n-2}=1\\ H_{n-1}=1\\ H_n=0\\ H_{n+1}=0\\ H_{n+2}=0\end{array}\right.$

其中，Hn-2、Hn-1、Hn、Hn+1、Hn+2，分别表示前两帧、前一帧、本帧、后一帧，后两帧的相关位置的高低位状态。

S9、根据深度连通区域的面积，判断该疑似目标是否是行人目标；若是，则执行步骤S10；若否，则视为干扰目标，删除其对应的深度列表信息和方向列表。

所述的根据深度连通区域的面积，判断该疑似目标是否是行人目标，具体采用以下公式实现：

S₁<S<S₂   (8)

其中，S₁＝0.5*S₀，S₂＝1.5*S₀，S₀表示典型行人通过时的深度连通区域面积，S表示实时采集的深度连通区域的面积；

若S满足上述公式，则该疑似目标是行人目标。

S10、若是行人目标，则根据方向列表中存储的图像区域信息，采用光流法判断行人目标的运动方向。具体的说，采用光流法分别判断前后两帧的运动方向，并统计所有帧的运动方向，取最大运动方向作为最终的行人行进方向。与此同时，进行客流人数统计，计数器加一，并删除其对应的深度列表信息和方向列表。

S11、采集新一帧图像，返回执行步骤S1，实现客流的实时统计。

当开始步骤S11，进行下一帧新图像的采集时，如果检测到该客流统计系统的图像传感器及线结构激光器的相关参数已经标定过，则跳过步骤S1和S2，直接执行步骤S3。

综上所述，本发明采用了线结构光三维测量原理获取行人目标的深度信息，依据深度的突变信息和连通信息，实现了行人目标的检测、跟踪；同时采用了基于统计信息的局部区域光流法，实现了行进方向的快速判断，进而完成客流的统计。由于采用了三维深度信息，本发明对不同光线环境和人群密度，都有很好的适应性。因此，本发明能够满足实时计数需求，具有结构简单、成本较低、统计准确高效等特点。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (8)

1.一种基于深度信息的客流统计系统，其特征在于：所述的统计系统包括图像传感器和线结构激光器；所述的统计系统包括以下步骤： 

(1)获取图像传感器的内参数矩阵与外参数矩阵，并在该图像传感器的相关坐标系下，获取线结构激光器的参数矩阵； 

(2)采用线结构激光器对目标行人进行垂直照射，采用图像传感器对视野内被线结构光照射的目标进行图像采集； 

(3)对采集的图像进行预处理，并根据三角法测量原理，获取预处理后的图像所对应的三维坐标，即深度信息； 

(4)根据设置的行人高度阈值，对深度信息进行高低位变换，将变换后的结果保存在深度列表中； 

(5)根据深度列表中的前后帧关联信息，获取目标的深度突变区域和深度连通区域； 

(6)根据获取的疑似目标的深度突变区域和深度连通区域，对疑似目标进行跟踪判断，进行客流信息统计。 

2.根据权利要求1所述的一种基于深度信息的客流统计系统，其特征在于：步骤(1)中，所述的获取图像传感器的内参数矩阵与外参数矩阵，采用Tsai的经典标定算法。 

3.根据权利要求1所述的一种基于深度信息的客流统计系统，其特征在于：步骤(3)中，所述的对采集的图像进行预处理，包括图像平滑滤波处理和线结构光条的骨架化处理。 

4.根据权利要求1所述的一种基于深度信息的客流统计系统，其特征在于：步骤(4)中，所述的根据设置的行人高度阈值，对深度信息进行高低位变换，具体采用以下公式实现： 

其中，T_h表示行人高度阈值，h表示进行预处理后的图像的深度信息，H表示相关位置的高低状态。 

5.根据权利要求1所述的一种基于深度信息的客流统计系统，其特征在于：步骤(5)中，所述的深度突变区域表示疑似目标出现，所述的获取目标的深度突变区域，具体采用以下公式实现： 

其中，Hn、Hn-1、Hn-2，分别表示本帧、前一帧、前两帧的相关位置的高低位状态； 

所述的深度连通区域表示疑似目标正在通过，所述的获取目标的深度连通区域，采用空间域上的邻域判断法，具体采用以下公式实现： 

或或

其中，H_n，H_n-1，H_n-2分别表示本帧，前一帧，前两帧的相关位置的高低位状态。 

6.根据权利要求1所述的一种基于深度信息的客流统计系统，其特征在于：步骤(6)中，所述的根据获取的目标的深度突变区域和深度连通区域，对疑似目标进行跟踪判断，进行客流信息统计，具体包括以下顺序的步骤： 

(61)根据获取的目标的深度突变区域和深度连通区域，将疑似目标对应的图像区域保存在方向列表中； 

(62)采用以下公式对疑似目标进行跟踪判断，若满足该公式，则表示疑似目标已经离开： 

其中，Hn-2、Hn-1、Hn、Hn+1、Hn+2，分别表示前两帧、前 一帧、本帧、后一帧，后两帧的相关位置的高低位状态； 

(63)根据深度连通区域的面积，判断该疑似目标是否是行人目标；若是，则执行步骤(64)；若否，则视为干扰目标，删除其对应的深度列表信息和方向列表； 

(64)若是行人目标，则根据方向列表中存储的图像区域信息，采用光流法判断行人目标的运动方向，进行客流人数统计。 

7.根据权利要求6所述的一种基于深度信息的客流统计系统，其特征在于：步骤(61)中，所述的图像区域，为突变发生时，在二维图像对应位置上，以1.5倍突变长度为边长的正方形区域。 

8.根据权利要求6所述的一种基于深度信息的客流统计系统，其特征在于：步骤(63)中，所述的根据深度连通区域的面积，判断该疑似目标是否是行人目标，具体采用以下公式实现： 

S₁<S<S₂

其中，S₁＝0.5*S₀，S₂＝1.5*S₀，S₀表示典型行人通过时的深度连通区域面积，S表示实时采集的深度连通区域的面积； 

若S满足上述公式，则该疑似目标是行人目标。