CN105184274B - 一种基于深度图像获取客流速度和密度参数的方法 - Google Patents

Abstract

本发明提供了一种基于深度图像获取客流速度和密度参数的方法，该方法在基于行人检测跟踪的基础上，根据行人目标在前后帧中的像素点位置和距离信息结合对应像素点的深度数据得出行人目标前后帧实际距离，并根据前后帧的帧差计算行人目标运动时间，求得行人目标瞬时速度，对检测帧内所有行人目标求得检测帧的平均速度，在采样时间内平均所有检测帧的平均速度，得出客流速度；在密度计算中，首先滤除检测区内是否存在行人不可站人的区域得出在该检测条件下的有效检测面积，通过帧内行人目标总数与有效检测面积的比值求得客流密度。

Description

一种基于深度图像获取客流速度和密度参数的方法

技术领域

本发明属于图像处理、模式识别领域，涉及可广泛用于商场、机场、地铁站、火车站等人流活动的大型公共场所的行人检测的算法和装置。

背景技术

客流速度和客流密度是客流状态最直接的表现，在人流活动较为密集的公共场所以及地铁、火车等交通领域，通过获取客流速度和客流密度，可实时准确的掌握客流信息，判断客流状态，对于进行客流管理、信息发布及时采取必要的手段和措施以减小和降低拥堵踩踏等大客流引起风险的发生率和危害程度有着重要的参考价值，对于保障公共场所人群安全和交通设施安全运营有着极其重要的现实意义。

客流速度和客流密度提取是在行人检测的基础上，通过连续跟踪及轨迹分析提取计算客流速度、密度的过程。关于行人检测国内外研究较多，利用HOG特征和人体比例估计实现行人检测、利用深度图像分割与局部特征检测相结合的方法实现行人检测、针对公交车上客流检测提出一种基于头肩部边缘特征和局部不变特征的人体检测及跟踪算法等。在行人检测跟踪的基础上，通过运动轨迹分析计算行人速度、密度等客流参数。国内外研究学者提出了基于多尺度分析和人工神经网络算法上的短期交通流参数预测的方法；通过引入交通流参数与容积延迟函数之间的关系，建立交通流参数模型进行交通流参数计算。计算过程中涉及行人实际移动距离、空间占用等实际物理尺寸的计算，通常利用实际物体尺寸在图像中的变化规律(像素位置)进行校准估算，且前期准备工作量大、维护扩展难度高，且在复杂场景下准确性难以保证，尤其是在地铁等大客流且复杂多变的场景下，大范围应用中受到限制。

发明内容

为了克服上述缺陷，本发明的目的是提供一种基于深度图获取客流速度和密度参数的方法，该方法在行人检测跟踪的基础上，进根据行人目标在前后帧中的像素点位置和距离信息结合对应像素点的深度数据得出行人目标前后帧实际距离，并可对场景中的不可站人的区域进行滤除，有效提高了客流速度和密度参数计算的准确度，具有校准工作量小，计算复杂度低、实时性和准确度高、易维护扩展等优点。可满足客流密集区域和复杂场景下的客流参数计算。

为达到上述目的，本发明的技术解决方案是：

一种基于深度图像获取客流速度和密度参数的方法，步骤包括：

1)深度图像采集：

获取摄像头架设高度H及倾斜角度β；

设定视频帧率为P帧/秒；设定客流速度值和密度值产生时间间隔，即采样时间T；

有效检测帧数K为采样时间T内视频帧内有行人目标的帧数；

设定行人目标速度计算的起始时间是在相应行人目标出现第W帧时开始计算；

设定采样时间T内第R帧作为客流密度检测帧；

2)行人目标检测及跟踪：对输入的视频图像，将获取的深度图像信息按帧处理，进行行人目标检测跟踪；

判断检测帧内是否有行人目标；若检测帧内有行人目标，则有效检测帧数K加1，并进入步骤3)；若检测帧内没有行人目标，则返回本步骤2)；

3)通过行人目标轨迹分析，计算客流速度参数和客流密度参数：

3.1)计算客流速度参数的方法，包括步骤：

3.1.1)对有效检测帧内行人目标进行逐个判别：

a、若行人目标首次出现，记录该行人目标首次出现的像素位置和深度图像素值，并进入步骤3.1.2)；

b、若行人目标不是首次出现，则对该行人目标出现次数进行判断；

若该行人目标出现次数不大于W帧，则返回本步骤3.1.1)；

若该行人目标出现次数大于W帧，则检测和记录该行人目标当前像素位置和深度图像素值，并进入步骤3.1.2)；

3.1.2)根据行人目标当前像素位置和深度图像素值，结合行人目标首次出现像素位置和深度图像素值，计算行人目标实际移动角度θ和行人目标实际移动距离△d，计算该行人目标的平均速度V0＝△d/t，t为行人目标移动时间；进行下一步骤；

3.1.3)由V0得到检测帧内数量为M的所有行人目标的平均速度累加值V1，再得到该检测帧所有行人目标的平均客流速度V2＝V1/M，进行下一步骤；

3.1.4)判断此时是否满足采样时间：

若不满足采样时间，则返回步骤3.1)；

若满足采样时间，则计算采样时间内所有有效检测帧的平均客流速度，输出客流速度V＝V2/K；

3.2)技术客流密度参数的方法，步骤包括：

如果检测场景下是首次进行客流密度计算时，进入步骤3.2.1)；如果检测场景下不是首次进行客流密度计算时，进入步骤3.2.2)：

3.2.1)进行无人背景图获取：

对获取的无行人目标场景背景图判断是否存在不可站用区域，若存在，则将不可站用区域滤除，确定可站用区域；

3.2.2)进行检测帧内行人目标统计：基于行人目标检测跟踪，统计该帧内行人目标总数N；

3.2.3)进行有效检测面积计算：通过计算可站人面积、摄像头架设高度及倾斜角度，及摄像头本身相关规格参数，建立数学模型计算有效检测面积S，即检测场境内行人目标实际占用面积；

3.2.4)进行客流密度计算：利用帧内行人目标总数N与有效检测面积S的比值求得客流密度。

所述步骤3.1.2)中：

计算行人目标实际移动角度θ时：

先根据摄像头的架设高度、架设角度和倾斜视角，确定每个像素之间与摄像头位置连线之间的夹角，并建立行人目标实际移动角度θ的查找表；再通过行人目标当前的像素位置和首次出现像素位置，查表确定行人目标实际移动角度θ；

计算行人目标实际移动距离△d计算时：

先根据行人目标当前像素位置对应的深度图像素值、以及首次出现像素位置对应的深度图像素值，分别确定行人目标当前位置到达摄像头的距离L1和首次出现时位置到达摄像头的距离L2，则 $\mathrm{\Δ}d=\sqrt{L{1}^2+L{2}^2-2\·L1\·L2\·cos\mathrm{\θ}}$

计算行人目标移动时间t时：

行人目标是当前的检测帧数与该行人目标初始出现的检测帧数的差帧数Q，t＝Q/P。

所述有效检测面积S的计算方法为：自动检测无行人目标存在状态下，根据摄像机架设高度倾斜角度信息，利用空间投影，确定空间物体在地面的投影位置，计算出可站人面积；

在有行人目标存在状态下，利用空间投影，确定行人目标平均高度，确定在该平均高度条件下实际可监控行人区域，再次利用空间投影，确定该区域在地面所对应的投影位置，根据该投影位置计算出有效检测面积S。W的取值为15～20；视频帧率P为25帧/秒或30帧/秒；采样时间T为5s～10s；客流密度检测帧R设为第25帧或者其它不超出采样时间T的帧数。

在工程实现时候，具体如下：

基于深度图像获取客流速度参数的方法，其流程为：

(1)获取摄像机架设高度H及倾斜角度β，设定行人目标速度计算在行人目标出现第W帧时开始计算，即对行人目标跟踪轨迹预处理；设定视频帧率为P帧/秒，设定客流速度值和密度值产生时间间隔，即采样时间T。有效检测帧数K为采样事件T内视频帧内有行人目标的帧数。开始进行深度图像采集。

(2)输入视频图像，将获取的深度图像信息按帧处理，进行客流检测跟踪，判断检测帧内是否有行人目标，若检测帧内有行人目标则有效检测帧数K加1，并进入下一步骤；若没有，则重复步骤(2)。

(3)对帧内行人目标进行逐个判别计算，若行人目标首次出现，记录行人目标首次出现的像素位置和深度图像素值。若不是首次出现，对进行行人目标出现次数判断，若该行人目标出现次数大于W帧，则将行人目标当前像素位置和深度图像素值压入缓存，进行下一步骤。

(4)根据行人目标当前像素位置和深度图像素值，结合首次出现像素位置和深度图像素值，计算行人目标实际移动角度θ和行人目标实际移动距离△d，根据公式V0＝△d/t计算该行人目标的平均速度V0，进行下一步骤。

(5)计算帧内所有行人目标平均速度累加值V1，根据公式V2＝V1/M计算该帧所有行人目标平均客流速度V2＝V1/M，进行下一步骤。

(6)判断此时是否满足采样时间，若满足采样时间则计算采样时间内所有有效检测帧的平均客流速度，实时输出客流速度；重复步骤(2)。

上述方法中，W设定为15帧～20帧；视频帧率P为25帧/秒或30帧/秒；采样时间T可为5s或10s；

上述方法中，行人目标实际移动角度θ计算时，根据摄像头架设高度，角度和视角建立空间视觉模型，确定每个像素之间与摄像头位置连线之间的夹角，并建立查找表。通过行人目标当前像素位置和首次出现像素位置，查表确定行人目标实际移动角度θ。

上述方法中，行人目标实际移动距离△d计算，根据行人目标当前像素位置对应深度图像素值，首次出现像素位置对应深度图像素值，通过校准确定行人目标当前到达摄像头的距离L1和首次出现时到达摄像头的距离L2，根据公式 $\mathrm{\Δ}d=\sqrt{L{1}^2+L{2}^2-2\·L1\·L2\·cos\mathrm{\θ}}$ 计算行人目标实际移动距离△d。

基于深度图像获取客流密度参数的方法，其流程为：

(1)进行深度视频图像采集，获取摄像机架设高度和倾斜角度，设定客流密度计算时间间隔，即采样时间T2；设定采样时间内第R帧作为客流密度检测帧。

(2)进行无人背景图获取，当首次在检测场景下进行客流密度计算时，对获取的无行人目标场景背景图判断是否存在不可站用区域，即被栏杆、墙壁等障碍物遮挡行人不可在此区域站立或行走。若存在则将不可站用区域滤除，确定可站用区域。

(3)进行检测帧内行人目标统计，基于行人目标检测跟踪统计该帧内行人目标总数P。

(4)进行有效检测面积计算，通过计算可站人面积、摄像机架设高度及倾斜角度，及摄像机本身相关规格参数，建立数学模型计算有效检测面积S，即检测场境内行人实际占用面积。

所述有效检测面积S的计算方法是：自动检测无行人目标存在状态下，根据摄像机架设高度倾斜角度信息，利用空间投影，确定空间物体在地面的投影位置，计算出可站人面积。在有行人目标存在状态下，利用空间投影，确定行人目标平均高度，确定在该平均高度条件下实际可监控行人区域，再次利用空间投影，确定该区域在地面所对应的投影位置，根据该投影位置计算出有效检测面积S。

(5)进行客流密度计算，利用帧内行人目标总数P与有效检测面积S的比值求得客流密度。

上述方法中，采样时间T2可设为5s-10s；客流密度检测帧R可设为第25帧或者其他不超出采样时间T的帧数；

附图说明：

图1为基于深度图像获取客流速度和密度参数的方法流程示意图；

图2为客流速度的算法流程图；

图3为在速度计算过程中行人目标实际移动距离计算的数学模型；

图4为客流密度的算法流程图。

具体实施方式：

下面结合附图与具体实施例对本发明进一步说明如下：

如图1所示，了一种基于深度图像获取客流速度和密度参数的方法，该方法在基于行人检测跟踪的基础上，根据行人目标在前后帧中的像素点位置和距离信息结合对应像素点的深度数据得出行人目标前后帧实际距离，并根据前后帧的帧差计算行人目标运动时间，求得行人目标瞬时速度，对检测帧内所有行人目标求得检测帧的平均速度，在采样时间内平均所有检测帧的平均速度，得出客流速度；在密度计算中，首先滤除检测区内是否存在行人不可站人的区域得出在该检测条件下的有效检测面积，通过帧内行人目标总数与有效检测面积的比值求得客流密度。

如图2所示，描述了客流速度的算法流程图。算法步骤为：

(1)确定摄像头假架设及检测过程计算基本参数，开始进行深度图像采集。

(2)输入视频图像，逐帧处理进行客流检测跟踪，根据检测帧内是否有行人目标，计算有效检测帧数K。

(3)对帧内行人目标进行逐个判别计算，若行人目标首次出现，记录行人目标首次出现的像素位置和深度图像素值。若不是首次出现，对进行行人目标出现次数判断，若该行人目标出现次数大于W帧，根据行人目标当前像素位置和深度图像素值，结合首次出现像素位置和深度图像素值，计算行人目标实际移动角度θ和行人目标实际移动距离△d，计算该行人目标的平均速度V0。

(4)计算帧内所有目标平均速度累加值V1，并计算该帧所有行人目标平均客流速度V2＝V1/M。

(5)判断此时是否满足采样时间，若满足采样时间则计算采样时间内所有有效检测帧的平均客流速度，实时输出客流速度；重复步骤(2)。

具体来说，步骤如下：

(1)进行深度图像采集输入，获取摄像机架设高度H及倾斜角度β，设定行人目标速度计算在行人目标出现第W帧时开始计算；设定视频帧率为P帧/秒，由摄像机获取深度图像及彩色图像之间的映射关系求得两相邻像素实际代表的角度值α，设定客流速度值和密度值产生时间间隔，即采样时间T。

(2)进行客流检测跟踪，将获取的深度图像信息按帧处理，输入视频图像，读取下一帧，判断此时是否满足采样时间T，若满足则平均采样时间T内所有有效检测帧的客流速度，输出客流速度；若不满足采样时间T，则步骤(3)。

(3)进行有效帧判断，即判断检测帧内是否有行人目标，设定采样时间内有效检测帧数为K，检测帧内有行人目标则K加一，进入步骤(4)；若没有行人目标，则返回步骤(2)。

(4)进行帧内行人目标出现帧数判断，若行人目标首次出现，则将行人目标此刻的像素值和到摄像机的距离值压入缓存队列，进入步骤(6)。若不是首次出现，则进入步骤(5)。

(5)进行行人目标出现次数判断，若该行人目标出现次数大于W帧，则将行人目标此刻像素值和到摄像机距离值压入缓存，进入步骤(7)；若行人目标出现次数不大与W帧，则进入步骤(6)。

(6)遍历该视频帧内所有行人目标，进入步骤(4)；若遍历结束，则计算该视频帧的平均客流速度，进入步骤(2)。

(7)进行行人目标平均速度计算，从缓存队列中，提取行人目标首帧与当前帧的像素值计算行人目标实际移动角度，提取行人目标首帧与当前帧到摄像机的距离值，建立数学模型计算行人目标前后帧实际移动距离，如图2；通过前后帧之间的帧差求得行人目标运动时间，距离与时间的比值即为该行人目标平均速度。进入步骤(8)。

(8)进行视频帧平均速度计算，将行人目标平均速度累加至视频帧平均速度缓存队列，进入步骤(6)。

如图3所示，描述了行人目标实际移动距离计算的数学模型，其中行人目标采样时刻1为行人目标首次出现的位置，行人目标采样时刻2为行人目标跟踪轨迹预处理之后的位置，即行人目标出现帧数大于设定W帧；L1、L2分别为行人目标首次出现到摄像机的距离值、行人目标当前帧到摄像机的距离值。在三角形AOB中，AB即为行人实际移动距离Δd，θ为行人实际移动的角度，通过行人目标前后两帧的像素差值在像素分布图中的映射关系求得θ。在三角形中由三角函数关系即可求得AB的值， $\mathrm{\Δ}d=\sqrt{L{1}^2+L{2}^2-2\·L1\·L2\·cos\mathrm{\θ}},$ 即得到行人目标实际移动距离。

如图4所示，描述了客流密度的算法流程图。其实现步骤如下：

(1)进行深度图像输入，获取摄像机架设高度和倾斜角度，设定视频帧率P，设定采样时间间隔T，设定客流密度检测帧为第R帧。

(2)进行判断是否为首次计算客流密度，当视频帧输入满足时间间隔内的第F帧时，判断在该检测场景下是否为首次计算客流密度，若是首次计算则进入步骤(3)。若不是首次则进入步骤(4)。

(3)进行可站人面积确定，获取无行人目标时该检测环境的背景图，判断检测区内是否有不可站人区域，有则滤除不可站人面积，最终确定可站人面积。返回进入步骤(2)。

(4)进行检测帧内行人目标统计，对帧内行人目标进行检测识别，统计帧内所有行人目标，累加求得行人目标总数。进入步骤(5)。

(5)进行有效检测面积计算，根据可站人面积、摄像机架设高度倾斜角度建立数学模型，及摄像机相关规格参数，可求得在该检测条件下的有效检测面积。进入步骤(6)。

(6)进行客流密度计算，该帧的行人目标总数与有效检测面积的比值即为该帧的客流密度，即为采样时间内的所求的客流密度。

Claims (2)

1.一种基于深度图像获取客流速度和密度参数的方法，其特征是步骤包括：

1)深度图像采集：

获取摄像头架设高度H及倾斜角度β；

设定视频帧率为P帧/秒；设定客流速度值和密度值产生时间间隔，即采样时间T；

有效检测帧数K为采样时间T内视频帧内有行人目标的帧数；

设定行人目标速度计算的起始时间是在相应行人目标出现第W帧时开始计算；

设定采样时间T内第R帧作为客流密度检测帧；

2)行人目标检测及跟踪：对输入的视频图像，将获取的深度图像信息按帧处理，进行行人目标检测跟踪；

判断检测帧内是否有行人目标；若检测帧内有行人目标，则有效检测帧数K加1，并进入步骤3)；若检测帧内没有行人目标，则返回步骤2)；

3)通过行人目标轨迹分析，计算客流速度参数和客流密度参数：

3.1)计算客流速度参数的方法，包括步骤：

3.1.1)对有效检测帧内行人目标进行逐个判别：

a、若行人目标首次出现，记录该行人目标首次出现的像素位置和深度图像素值，并进入步骤3.1.2)；

b、若行人目标不是首次出现，则对该行人目标出现次数进行判断；

若该行人目标出现次数不大于W帧，则返回本步骤3.1.1)；

若该行人目标出现次数大于W帧，则检测和记录该行人目标当前像素位置和深度图像素值，并进入步骤3.1.2)；

3.1.2)根据行人目标当前像素位置和深度图像素值，结合行人目标首次出现像素位置和深度图像素值，计算行人目标实际移动角度θ和行人目标实际移动距离△d，计算该行人目标的平均速度V0＝△d/t，t为行人目标移动时间；进行下一步骤；

3.1.3)由V0得到检测帧内数量为M的所有行人目标的平均速度累加值V1，再得到该检测帧所有行人目标的平均客流速度V2＝V1/M，进行下一步骤；

3.1.4)判断此时是否满足采样时间：

若不满足采样时间，则返回步骤3.1)；

若满足采样时间，则计算采样时间内所有有效检测帧的平均客流速度，输出客流速度V＝V2/K；

3.2)计算客流密度参数的方法，步骤包括：

如果检测场景下是首次进行客流密度计算时，进入步骤3.2.1)；如果检测场景下不是首次进行客流密度计算时，进入步骤3.2.2)：

3.2.1)进行无人背景图获取：

对获取的无行人目标场景背景图判断是否存在不可站用区域，若存在，则将不可站用区域滤除，确定可站用区域；

3.2.2)进行检测帧内行人目标统计：基于行人目标检测跟踪，统计该帧内行人目标总数N；

3.2.3)进行有效检测面积计算：通过计算可站人面积、摄像头架设高度及倾斜角度，及摄像头本身相关规格参数，建立数学模型计算有效检测面积S，即检测场景内行人目标实际占用面积；

3.2.4)进行客流密度计算：利用帧内行人目标总数N与有效检测面积S的比值求得客流密度；

所述步骤3.1.2)中：

计算行人目标实际移动角度θ时：

先根据摄像头的架设高度、架设角度和倾斜角度，确定每个像素之间与摄像头位置连线之间的夹角，并建立行人目标实际移动角度θ的查找表；再通过行人目标当前的像素位置和首次出现像素位置，查表确定行人目标实际移动角度θ；

计算行人目标实际移动距离△d计算时：

先根据行人目标当前像素位置对应的深度图像素值、以及首次出现像素位置对应的深度图像素值，分别确定行人目标当前位置到达摄像头的距离L1和首次出现时位置到达摄像头的距离L2，则

计算行人目标移动时间t时：

Q为当前的检测帧数与该行人目标初始出现的检测帧数的差帧数，t＝Q/P；

所述有效检测面积S的计算方法为：自动检测无行人目标存在状态下，根据摄像机架设高度倾斜角度信息，利用空间投影，确定空间物体在地面的投影位置，计算出可站人面积；

在有行人目标存在状态下，利用空间投影，确定行人目标平均高度，确定在该平均高度条件下实际可监控行人区域，再次利用空间投影，确定该区域在地面所对应的投影位置，根据该投影位置计算出有效检测面积S。

2.根据权利要求1所述的种基于深度图像获取客流速度和密度参数的方法，其特征是W的取值为15～20；视频帧率P为25帧/秒或30帧/秒；采样时间T为5s～10s。