CN110969131B - 一种基于场景流的地铁人流计数方法 - Google Patents

Abstract

本发明提供了一种基于场景流的地铁人流计数方法，属于计算机视觉领域。利用RGB和TOF传感器获取乘客上、下车时的RGB和深度图像序列；建立数据项并引入平滑项，构建场景流能量泛函；建立欧拉‑拉格朗日方程求解场景流；将计算的场景流作为特征，采用ISODATA聚类分析算法进行运动目标检测，提取运动区域；根据乘客头部特征分别在运动区域中进行乘客头部提取；根据相邻两帧检测的乘客头部位置及场景流信息实现乘客目标跟踪；在图像中设置2条检测线，在跟踪过程中，若乘客目标穿过该检测线，判断该乘客的上、下车行为，并更新计数结果；根据每个车门的计数结果统计该停靠站点乘客上下车数目，同时能够得到列车当前乘载的乘客数目。

Description

一种基于场景流的地铁人流计数方法

技术领域

本发明涉及一种基于场景流的地铁人流计数方法，属于计算机视觉领域。

背景技术

随着我国城市发展速度不断加快，城市人口密度逐渐增加，地铁作为一种快速、便捷的交通方式受到出行人群的青睐，同时也产生了一定的安全隐患，如在客流高峰期间发生拥挤、踩踏事件。近年来，随着人们对轨道交通安全性的关注度不断提高，如何对列车行驶过程中的客流状况进行统计变得尤为重要。一方面，该数据能够为城市轨道交通建设提供重要依据，帮助地铁运营管理者制定科学的运营管理、客流规划、车辆调度；另一方面，统计数据能够帮助相关部门提高拥挤事故防范能力，对突发事件做到及时有效的应对。

目前，地铁票务系统能够对每个站点的客流量进行统计，但是这种统计方式不能对具体列车运行时乘载的乘客数进行较为精确的统计；现有的压力检测、红外检测技术适合客流量较小时的客流统计，不适合地铁列车环境；基于图像的客流统计一般通过对乘客目标进行检测、跟踪，从而进行客流统计。目前存在的乘客目标检测技术一般基于单目RGB摄像头，主要使用的检测方法为帧间差分法、背景差分法、光流法。帧差法对环境噪声较为敏感，易产生双影和空洞现象；背景差分法受光照噪声影响较大，需要对背景模型定期更新；光流法易受光照变化的影响，且只能得到图像平面中二维的运动场。此外，当场景中检测到多名乘客，需要进行多目标跟踪，导致计算量大、耗时长、实时性较差。

2015年，佟璐在《基于图像的地铁列车客流统计方法研究》一文中提出了一种基于图像的地铁列车客流统计方法。该方法采用单目RGB摄像头采集列车乘客上下车视频图像，基于高斯背景建模对采集图像进行前后景目标分离，利用局部法向量描述头部目标特征，结合轮廓提取和椭圆拟合提取完整头部目标，通过对乘客头部目标运动轨迹的分析实现客流统计。

对比此方法，本发明中采用TOF与RGB双传感器，TOF传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射的时间差或相位差，来换算被拍摄景物的距离，以产生深度图像。深度图像不受阴影、光照等因素的影响，因此本发明结合深度信息与RGB信息进行运动目标检测，利用深度信息定位乘客头部位置，降低了漏检、误检的情况，具有更高的鲁棒性。

2019年，高淼在《基于双目立体视觉的客流统计算法研究》一文中提出了一种基于双目立体视觉的客流统计方法。该方法采用RGB双目摄像头获取列车乘客上下车左目、右目图像序列，采用半全局匹配算法SGM求取视差图获得深度信息，利用基于深度分层的检测算法与基于多特征融合的目标跟踪算法实现客流统计。

RGB双目摄像头需要通过立体匹配计算深度信息，需要耗费较长的计算时间；此外，在光照较暗或过度曝光、被测场景缺乏纹理的条件下，立体匹配效果较差，造成深度信息不准确、深度图不完整。对比此方法，本发明所使用的TOF传感器能够直接获得比较精确、完整的深度图，因而能够更好的进行乘客目标的检测与跟踪。

中国发明专利申请，公开号CN104197820A，公开了一种基于TOF相机的客流计数方法和装置。该发明使用TOF传感器获得的深度图像和RGB传感器获得的RGB图像结合模式识别方法进行客流计数，通过对深度图像进行阈值化操作初步提取出人头检测区域，使用预先训练出的乘客头部检测模型，对RGB图像中的每一块检测候选区域进行检测，定位出乘客头部的位置，最终通过结合KCF跟踪算法与卡尔曼滤波算法对乘客头部进行跟踪实现客流计数。

对比此方法，本发明结合深度图像与RGB图像估计场景流，场景流是场景的三维运动场，相对于光流，更能描述物体的真实运动。将场景流信息作为特征进行聚类分析，提取运动目标区域，每一个运动目标区域都具有相似的运动场，分别在提取的运动区域中根据乘客头部特征检测乘客头部，具有更高的检测精度。此外本发明又利用场景流实现对乘客头部目标的跟踪，不需要额外的跟踪算法，在多名乘客需要跟踪的场景中，本发明在保持鲁棒性的同时提高了实时性。

发明内容

本发明的主要目的是在使用TOF与RGB双传感器的前提下，提供一种基于场景流的地铁人流计数方法。场景流是空间中物体的三维运动场，根据场景流进行乘客目标检测，能够得到更加精确的检测结果，同时根据估计的场景流能够实现对乘客目标的跟踪，不需要额外的跟踪算法，提高统计精确度的同时提高了实时性。

本发明的技术方案：

步骤1：将带有TOF与RGB双传感器的相机置于列车车门上方，采用垂直采集的方式。当相机接收到车门开启信号时，开启相机，获取乘客上下车视频，视频的每一帧都是一对已配准的RGB和深度图像。

步骤2：令U＝(U,V,W)代表本发明需要估计的场景流，u、v分别代表沿x、y方向的光流分量，w代表距离流的大小，令I₀、I₁和Z₀、Z₁分别代表RGBD相机提供的t时刻与t+1时刻的RGB图像与深度图像，首先利用RGB图像，假设任意一点在运动过程中亮度不发生改变，建立光流约束方程：

ρ_I(s,x,y)＝I₁(x+u,y+v)-I₀(x,y)＝0(1)

其中，x、y为该点在图像平面的坐标，s＝(u,v,w)。接着根据深度的变化，建立距离流约束方程：

ρ_Z(s,x,y)＝Z₁(x+u,y+v)-Z₀(x,y)-w＝0(2)

根据光流约束方程与距离流约束方程建立数据项E_D(s)。

步骤3：为了解决与光流和场景流有关的孔径问题，同时平滑流场，引入平滑项E_R(s)。

步骤4：最终的场景流能量泛函由上述数据项与平滑项组成，形式如下：

E(s)＝E_D(s)+αE_R(s)(3)

其中α为平滑项权重，最小化场景流能量泛函获得对应的欧拉-拉格朗日方程并求解场景流。

步骤5：背景区域与运动目标区域的场景流具有明显差别，将在每个点处求解的场景流信息作为该点的特征，利用ISODATA聚类分析算法实现运动目标检测。

步骤6：根据乘客头部在深度图像中的轮廓近似为圆形且位于局部最小值区域，在每一个代表运动目标的聚类区域中找到最符合的圆代表乘客的头部位置。记录该圆的圆心在相机坐标系下的坐标O_t＝(X_t,Y_t,Z_t)与该点处的场景流U_t＝(U_t,V_t,W_t)。

步骤7：使用下一帧RGBD图像，进行上述操作，提取出t+1时刻的运动区域并找到代表乘客头部位置的圆。记录该圆圆心的坐标为O_t+1＝(X_t+1,Y_t+1,Z_t+1)，根据O_t+1与O_t+1'＝(X_t+U_t,Y_t+V_t,Z_t+W_t)的距离判断O_t+1与O_t是否代表同一名乘客，实现对已知乘客目标的跟踪。

步骤8：在图像中设置2条检测线，当乘客目标在移动过程中穿过该检测线，根据乘客的运动矢量判断该乘客的上、下车行为，并更新计数结果。

步骤9：接收到关闭车门信号，停止检测。根据每个车门的计数结果统计该停靠站点乘客上、下车数目，同时能够得到当前车厢内乘载的乘客数目。

本发明的有益效果在于：采用RGB与TOF双传感器，结合对齐的RGB图像与深度图像施加约束进行场景流估计，节省了计算深度信息的时间，同时提高了场景流计算精度。将计算的场景流信息作为特征进行聚类分析，提取具有相似运动场的运动目标区域，根据深度图像中乘客的头部特征，分别在运动目标区域中提取乘客头部，具有更高的检测精度。此外，利用场景流实现对乘客目标的跟踪，不需要额外的跟踪算法，保持鲁棒性的同时提高了实时性。

附图说明

图1为本发明的流程示意图。

图2为本发明的基于场景流的运动目标检测流程示意图。

图3为本发明的乘客头部提取流程示意图。

图4为本发明的乘客目标跟踪与计数流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

结合图1，基于场景流的地铁人流计数方法，主要包括以下部分：

1.基于场景流的运动目标检测：使用RGB与TOF传感器获取乘客上下车的RGB图像与深度图像序列；建立数据项并引入平滑项，构建场景流能量泛函；建立欧拉-拉格朗日方程求解场景流；将计算的场景流作为特征，采用ISODATA聚类分析算法进行运动目标检测，获得具有相似运动场的运动目标区域。

2.乘客头部提取：乘客头部在深度图像中的轮廓近似为圆形且位于局部最小值区域，根据该特征在运动目标区域中提取乘客头部区域。

3.乘客目标跟踪与计数：根据相邻两帧提取的乘客头部位置及对应位置的场景流实现对乘客目标的跟踪，在图像中设置两条检测线，在跟踪过程中，若乘客目标穿越该检测线，判断乘客的上、下车行为并更新计数结果。

结合图2，本发明的基于场景流的运动目标检测方法，主要包括以下步骤：

步骤1：考虑到地铁列车高峰时段乘客上下车过程中易出现拥挤、遮挡等现象，但乘客的头部始终保持为分立目标，将带有TOF与RGB双传感器的相机置于列车车门上方，采用垂直采集的方式。当相机接收到车门开启信号时，开启相机，获取乘客上下车的RGB图像和深度图像序列。

步骤2：令U＝(U,V,W)代表本发明需要估计的场景流，u、v分别代表沿x、y方向的光流分量，w代表距离流的大小。对于相机坐标系下任意一点P(X,Y,Z)，都有：

其中，f_x与f_y代表相机的焦距。因此，场景流估计可以转化为对光流与距离流的估计。

令I₀、I₁和Z₀、Z₁分别代表RGBD相机提供的t时刻与t+1时刻的RGB图像与深度图像，首先利用RGB图像，假设任意一点在运动过程中亮度不发生改变，建立光流约束方程：

ρ_I(s,x,y)＝I₁(x+u,y+v)-I₀(x,y)＝0(2)

其中，x、y为该点在图像平面的坐标，s＝(u,v,w)。接着根据深度的变化，建立距离流约束方程：

ρ_Z(s,x,y)＝Z₁(x+u,y+v)-Z₀(x,y)-w＝0(3)

为了处理噪声、遮挡等因素产生的异常值，使用Charbonnier惩罚函数，该惩罚函数是L1范数的凸近似，在处理异常值方面比L2范数具有更佳的效果。Charbonnier惩罚函数形式如下：

其中ε＝0.001，进一步推出数据项：

其中，λ为两个约束之间的权重。

步骤3：为了解决与光流和场景流有关的孔径问题，同时平滑流场，需要引入平滑项。标准的全变分正则化没有考虑图像中相邻的两点可能对应着空间中距离较远且具有不同运动矢量的两点，因此考虑场景的几何结构，引入如下平滑项：

其中：

步骤4：最终的场景流能量泛函由上述数据项与平滑项组成，通过最小化场景流能量泛函可求解场景流。场景流能量泛函形式如下：

E(s)＝E_D(s)+αE_R(s)(7)

其中α为平滑项权重。

步骤5：最小化场景流能量泛函得到如下分别关于u、v、w的欧拉-拉格朗日方程：

解上述欧拉-拉格朗日方程，得到u、v、w的值，利用式(1)计算t时刻的场景流。

步骤6：场景流代表空间中物体真实的三维运动场，由于背景区域与运动目标的运动场具有明显差别，因此可以通过场景流将运动目标区域提取出来。将在每个点处求解的场景流作为该点的特征，使用ISODATA聚类分析算法对场景进行分类。聚类区域中，场景流接近0的区域即为背景区域，其他每一个聚类区域代表运动场相似的运动目标。

结合图3，本发明的乘客头部提取方法，主要包括以下步骤：

步骤1：考虑到乘客上下车时的拥挤情况及行李物品的干扰，不能通过聚类分析结果直接获得场景中乘客的数目，因此，需要对运动区域进行进一步处理。由于相机采用垂直采集的方式，乘客的头部是最为明显的，可以通过乘客头部特征定位乘客位置；由于乘客移动过程中头部的运动场相似，整个头部属于同一个聚类区域，分别获取通过聚类分析提取出来的运动目标区域的深度图像，对该图像进行阈值化操作，提取深度值处于合理范围内的区域作为检测图像。

步骤2：由于乘客头部在深度图像中的轮廓近似为圆形，对检测图像进行霍夫圆检测来初步定位乘客头部位置。设置半径阈值，若检测到的圆的半径在阈值范围内，则将该圆作为候选乘客头部区域，否则将该圆视为非乘客头部区域。

步骤3：由于乘客头部区域属于深度图像中的局部最小值区域，先计算候选乘客头部区域内的像素平均值A，再计算该区域外侧一定宽度的圆环区域内的像素平均值B，若A小于B，则该圆代表乘客的头部位置。记录该圆的圆心在相机坐标系下的坐标O_t＝(X_t,Y_t,Z_t)与该点处的场景流U_t＝(U_t,V_t,W_t)。

结合图4，本发明的乘客目标跟踪与计数方法，主要包括以下步骤：

步骤1：已知t时刻的乘客头部位置O_t及对应的场景流U_t，使用t+1时刻的RGB图像与深度图像，进行运动目标检测及乘客头部提取操作，提取出t+1时刻的运动区域并找到代表乘客头部位置的圆。记录该圆圆心的坐标为O_t+1＝(X_t+1,Y_t+1,Z_t+1)及对应的场景流U_t+1＝(U_t+1,V_t+1,W_t+1)。

步骤2：根据t时刻的乘客头部位置O_t及对应的场景流U_t，计算该乘客在t+1时刻的头部位置估计值，即O_t+1'＝O_t+U_t。设置距离阈值，若O_t+1与估计值O_t+1'之间的距离小于距离阈值，则认为O_t+1与O_t代表同一名乘客，即实现对乘客目标的跟踪；否则，则认为检测到了新的乘客；

步骤3：在图像中设置2条检测线，若乘客目标在移动过程中穿过该检测线，则根据乘客的运动矢量判断该乘客的上、下车行为，并进行计数。

Claims (1)

1.一种基于场景流的地铁人流计数方法，其特征在于，步骤如下：

(1)基于场景流的运动目标检测：使用RGB与TOF双传感器获取乘客上下车的RGB图像与深度图像序列；建立数据项并引入平滑项，构建场景流能量泛函；建立欧拉-拉格朗日方程求解场景流；将计算的场景流作为特征，采用ISODATA聚类分析算法进行运动目标检测，获得具有相似运动场的运动目标区域；

步骤1：考虑到地铁列车高峰时段乘客上下车过程中易出现拥挤、遮挡现象，但乘客的头部始终保持为分立目标，将带有TOF与RGB双传感器的相机置于列车车门上方，采用垂直采集的方式；当相机接收到车门开启信号时，开启相机，获取乘客上下车的RGB图像和深度图像序列；

步骤2：令U＝(U,V,W)代表需要估计的场景流，u、v分别代表沿x、y方向的光流分量，w代表距离流的大小；对于相机坐标系下任意一点P(X,Y,Z)，都有：

其中，f_x与f_y代表相机的焦距；因此，场景流估计转化为对光流与距离流的估计；

令I₀、I₁和Z₀、Z₁分别代表RGBD相机提供的t时刻与t+1时刻的RGB图像与深度图像，首先利用RGB图像，假设任意一点在运动过程中亮度不发生改变，建立光流约束方程：

ρ_I(s,x,y)＝I₁(x+u,y+v)-I₀(x,y)＝0 (2)

其中，x、y为该点在图像平面的坐标，s＝(u,v,w)；接着根据深度的变化，建立距离流约束方程：

ρ_Z(s,x,y)＝Z₁(x+u,y+v)-Z₀(x,y)-w＝0 (3)

为了处理噪声、遮挡因素产生的异常值，使用Charbonnier惩罚函数；Charbonnier惩罚函数形式如下：

其中ε＝0.001，进一步推出数据项：

E_D(s)＝∫_Ωψ(ρ_I(s,x,y)²)+λψ(ρ_z(s,x,y)²)dxdy (5)

其中，λ为两个约束之间的权重；

步骤3：为了解决与光流和场景流有关的孔径问题，同时平滑流场，引入平滑项；标准的全变分正则化没有考虑图像中相邻的两点可能对应着空间中距离较远且具有不同运动矢量的两点，因此考虑场景的几何结构，引入如下平滑项：

其中：

步骤4：最终的场景流能量泛函由上述数据项与平滑项组成，通过最小化场景流能量泛函求解场景流；场景流能量泛函形式如下：

E(s)＝E_D(s)+αE_R(s) (7)

其中α为平滑项权重；

步骤5：最小化场景流能量泛函得到如下分别关于u、v、w的欧拉-拉格朗日方程：

解上述欧拉-拉格朗日方程，得到u、v、w的值，利用式(1)计算t时刻的场景流；

步骤6：场景流代表空间中物体真实的三维运动场，由于背景区域与运动目标的运动场具有明显差别，因此通过场景流将运动目标区域提取出来；将在每个点处求解的场景流作为对应该点的特征，使用ISODATA聚类分析算法对场景进行分类；聚类区域中，场景流接近0的区域即为背景区域，其他每一个聚类区域代表运动场相似的运动目标；

(2)乘客头部提取：乘客头部在深度图像中的轮廓近似为圆形且位于局部最小值区域，根据该特征在运动目标区域中提取乘客头部区域；

步骤7：考虑到乘客上下车时的拥挤情况及行李物品的干扰，不能通过聚类分析结果直接获得场景中乘客的数目，因此，对运动区域进行进一步处理；由于相机采用垂直采集的方式，乘客的头部是最为明显的，通过乘客头部特征定位乘客位置；由于乘客移动过程中头部的运动场相似，整个头部属于同一个聚类区域，分别获取通过聚类分析提取出来的运动目标区域的深度图像，对该深度图像进行阈值化操作，提取深度值处于合理范围内的区域作为检测图像；

步骤8：由于乘客头部在深度图像中的轮廓近似为圆形，对检测图像进行霍夫圆检测来初步定位乘客头部位置；设置半径阈值，若检测到的圆的半径在阈值范围内，则将该圆作为候选乘客头部区域，否则将该圆视为非乘客头部区域；

步骤9：由于乘客头部区域属于深度图像中的局部最小值区域，先计算候选乘客头部区域内的像素平均值A，再计算候选乘客头部区域外侧一定宽度的圆环区域内的像素平均值B，若A小于B，则该圆代表乘客的头部位置；记录该圆的圆心在相机坐标系下的坐标O_t＝(X_t,Y_t,Z_t)与该点处的场景流U_t＝(U_t,V_t,W_t)；

(3)乘客目标跟踪与计数：根据相邻两帧提取的乘客头部位置及对应位置的场景流实现对乘客目标的跟踪，在图像中设置两条检测线，在跟踪过程中，若乘客目标穿越该检测线，判断乘客的上、下车行为并更新计数结果；

步骤10：已知t时刻的乘客头部位置O_t及对应的场景流U_t，使用t+1时刻的RGB图像与深度图像，进行运动目标检测及乘客头部提取操作，提取出t+1时刻的运动区域并找到代表乘客头部位置的圆；记录该圆圆心的坐标为O_t+1＝(X_t+1,Y_t+1,Z_t+1)及对应的场景流U_t+1＝(U_t+1,V_t+1,W_t+1)；

步骤11：根据t时刻的乘客头部位置O_t及对应的场景流U_t，计算该乘客在t+1时刻的头部位置估计值，即O_t+1'＝O_t+U_t；设置距离阈值，若O_t+1与估计值O_t+1'之间的距离小于距离阈值，则认为O_t+1与O_t代表同一名乘客，即实现对乘客目标的跟踪；否则，则认为检测到了新的乘客；

步骤12：在图像中设置2条检测线，若乘客目标在移动过程中穿过该检测线，则根据乘客的运动矢量判断该乘客的上、下车行为，并进行计数。

Images