CN104361607A - 一种实时多向行人计数、跟踪方法 - Google Patents

Abstract

本发明公开了一种实时多向行人计数、跟踪方法，该方法包括如下步骤：使用深度摄像机获取深度图像和彩色图像；从深度图像中提取运动团块；从彩色图像上提取Harris角点；通过相互间隔一帧图像的两帧图像中的相互匹配的Harris角点计算光流向量组；将光流向量组聚类成一个行人位置点；计算行人位置点光流向量。本发明对于行人拥挤场景和行人稀疏场景均能进行监控计数，具有很高的实际应用价值，计算量小，误辩率低，且只使用单个摄像头，安装方便且对监控环境影响很小。

Description

一种实时多向行人计数、跟踪方法

技术领域

本发明属于计算机视觉领域，特别涉及一种实时多向行人计数、跟踪方法。

背景技术

在智能视频监控技术领域中，对于行人计数的研究一直是本领域技术人员关注的核心。这是因为，通过对场景中的行人计数，出现突发事件时，可以有效地根据场景中人数的分布而合适地分散、疏散人流，最大程度地降低突发事件所带来的危害。

目前，行人计数的方法主要有以下两种：

1)OpenCV中提供的运动团块跟踪；

该方法主要由四个模块组成：前景检测、团块检测、团块跟踪和轨迹处理。通过使用运动目标检测得到运动团块，并提供了不同的跟踪方法对这些运动图块进行跟踪及优化，最后生成团块的运动轨迹。

该方法依赖于团块检测，后面的轨迹处理只是对出现检测失误的情况下的一种弥补措施。这种运动检测的实时性较好，适用于行人计数等实时系统。但是这种方法有其致命的缺点：a、对背景模型的建立及前景目标的提取依赖性比较强，当场景中的背景变化较快时，无法表现出很好的性能；b、若运动目标在背景中停留时间相对较长，则该运动目标就会被纳入到背景模型中去；c、特别是当选用检测精度比较高的算法时，该方法的实时性无法符合要求，更无法实现跟踪和计数了。

2)仅使用光流的方法

其基本的原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。

光流的方法对运动物体整体不敏感，可实现对不明物体的跟踪。但是，实际应用中，仅使用光流的方法无法克服遮挡性、多光源、透明性和噪声等不利条件的影响，因此光流场基本方程的灰度守恒假设条件无法得到满足，无法求出正确的光流场，而且光流的计算方法非常复杂，大量的计算根本不能满足实时性的要求，无法实现实时的多向行人计数方法。

所以，获得一种准确、快速、实时的多向行人计数方法成为了本领域技术人员一直追求的目标。

发明内容

单独使用OpenCV中提供的运动团块跟踪或者仅使用光流的方法都无法很好地实现实时多向行人计数、跟踪的问题，本发明提供了一种新的实时多向行人计数、跟踪方法，将上述两种方法有效地结合使用，弥补了现有技术的不足，达到了对实时多向行人计数、跟踪的目的。

为实现上述目的，本发明提供了如下的技术方案：

一种实时多向行人计数、跟踪方法，其特征在于：该方法包括如下步骤：

S1：使用深度摄像机获取深度图像和彩色图像；

S2：从深度图像中提取运动团块；

S3：从彩色图像上提取Harris角点；

S4：通过前后的两帧图像中的相互匹配的Harris角点计算光流向量组；

S5：将光流向量组聚类成一个行人位置点。

S6：计算行人位置点光流向量。

通过在运动团块基础上进行计算Harris角点，这样就避免了背景区域的计算，而在很多情况下，背景的区域在整幅图中占据相当大的部分，所以极大地减少了计算量。特别当图像的分辨率比较高时，Harris角点的计算量将非常的大，常规方法根本无法满足实时性的要求，在团块的区域上获得Harris角点的方式避免了这个问题。

对于S4步骤，前后的两帧图像之间相互间隔一帧图像。通过相互间隔一帧图像的两帧图像计算光流向量组，行人位置点为中间帧行人位置点，其准确度更高。

进一步地，对于S2步骤，提取运动团块时，根据人的头部与地板的深度值相差较大的特点对场景进行建模，分辨出地板和行人，获得行人的运动团块。

通过深度摄像机获取的深度图像中很容易获得图像内某个部分的深度值，容易区分出地板和行人，这种方式简单、实用、执行效率高。

进一步地，对于S2步骤，提取运动团块时，通过置地板的像素为0的方式获得所有的行人区域，然后对行人区域分割，获得所有的单人的运动团块。

这种方式能够一步到位地将地板的区域从图像中划分出去，并且采用分割的方式获取行人团块个数的准确性较高。

进一步地，对于S3步骤，提取Harris角点的个数为20个。

20个Harris角点能够完整地描述行人团块，其带来的计算量也是在可接受的范围之内的，是经过多次实验获得的参数。

进一步地，提取Harris角点之后，人为添加一个固定的点，该点选取为团块的中心点。

增加一个固定点，能够增加描述运动团块的准确性。

进一步地，深度摄像机采用精度达到1mm的Kinect摄像机。

采用精度达到1mm的Kinect摄像机，在一般的场景之中，背景总是距离摄像机较远，而前景即运动目标则总是出现在距离摄像机较近的地方。利用这一特性，可以很方便地提取出运动目标。

本发明的有益效果为：对于行人拥挤场景和行人稀疏场景均能进行监控计数，具有很高的实际应用价值，计算量小，误辩率低，且本发明只使用单个摄像头，安装方便且对监控环境影响很小。

附图说明

图1为实时多向行人计数、跟踪方法的流程图。

具体实施方式

下面结合附图对本发明的实施方式进行详细解释说明。

实施例1：

如图1所示，一种实时多向行人计数、跟踪方法，该方法包括如下步骤：

S1：使用深度摄像机获取深度图像和彩色图像。

本发明采用微软推出的摄像机Kinect，可以同时采集深度视频和普通彩色视频，获取深度图像和彩色图像。深度图像中，可以采集到每个像素点距离摄像机的距离，其精度可达到1mm，所以对于一般的场景中，通过这种方式可以很容易地提取出运动目标。

S2：从深度图像中提取运动团块。

摄像机垂直向下拍摄，行人和地板的深度值会有差异，特别是人的头部的深度值与地板的深度值相差最大，依据深度值大小的不同对场景进行建模，由此分辨出地板和行人，获得行人运动图块。

获取行人运动团块的目的是：在图像的分辨率较高时，由于得到了运动团块，背景区域就不再需要进行Harris角点的计算，从而减少Harris角点的计算量以满足实时性的要求，而很多情况下，背景区域占据了整幅图的绝大部分。

S3：从彩色图像上寻找Harris角点；

考虑到每帧图像的所有的像素点，将整帧图像定义为一个二阶导数形成的“二阶导数图像”，通过使用每个像素点周围小窗口的二阶导数图像的自相关矩阵，其中有两个最大特征值的点就是Harris角点。

Harris角点具有明显的特征，是跟踪的基础，并且可以与另一张图像的其它点可以进行参数化的比较。由于只需确定点，所以采用Harris角点的方法能够避免均匀梯度、移动和旋转对跟踪产生影响。本实施例中，对每一个团块寻找特征最明显的前20个作为Harris角点，并人为添加一个固定的点，这个点选取为每个团块的中心点，从而加强准确性。因此，在每一帧图像中，对每一个运动团块一共选取了21个Harris角点进行跟踪。

S4：通过前后的两帧图像中的相互匹配的Harris角点计算光流向量组；

在本实施例中，前后的两帧图像之间相互间隔一帧图像。通过相互间隔一帧图像的两帧图像计算光流向量组，行人位置点为中间帧行人位置点，其准确度更高。设定当前帧图像为P2，前帧图像为P1，后帧图像为P3，图像P1的Harris角点与图像P3的相应的Harris角点连接形成的Harris角点光流向量。具体而言，定义图像P1的Harris角点为A点，图像P3的Harris角点为B点，且满足在图像P3中B点是与A点最匹配的点，则由A点连接至B点形成的向量为Harris角点光流向量，每个团块内的所有Harris角点光流向量形成光流向量组。本实施例一共有21个Harris角点，则图像P1、图像P3之间形成的21个光流向量形成一个光流向量组。

S5：将光流向量组聚类成一个行人位置点。

当前帧的行人位置点代表着该行人在当前帧中的位置，行人位置点的个数即是当前行人的个数。

S6：计算行人位置点光流向量。

当前帧的行人位置点S1与下一帧与之匹配的点S2连接成行人位置点光流向量。行人位置点光流向量的方向表示该行人运动的方向。

本发明主要关注的是光流向量的方向，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息。

通过对新进入区域的团块和已经在跟踪的从区域中消失的团块进行统计，从而更新行人个数。

实施例2：

实施例2的实施方式与实施例1基本相同，其区别在于实施例2提取运动团块的方法不同。由地板的位置是固定不动的，利用深度摄像机向下拍摄时，置地板的像素为0，从而可以轻松地获得所有的行人区域，然后对多人联接的行人区域分割，得到所有的单人的运动团块。

在对多人联接的行人区域分割时，可利用深度信息置所有的深度值极高点为人头定点，并向下获取整个头部。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种实时多向行人计数、跟踪方法，其特征在于：该方法包括如下步骤：

S1：使用深度摄像机获取深度图像和彩色图像；

S2：从深度图像中提取运动团块；

S3：从彩色图像上提取Harris角点；

S4：通过前后的两帧图像中的相互匹配的Harris角点计算光流向量组；

S5：将光流向量组聚类成一个行人位置点；

S6：计算行人位置点光流向量。

2.根据权利要求1所述的一种实时多向行人计数、跟踪方法，其特征在于：对于S4步骤，前后的两帧图像之间相互间隔一帧图像。

3.根据权利要求1或2所述的一种实时多向行人计数、跟踪方法，其特征在于：对于S2步骤，提取运动团块时，根据人的头部与地板的深度值相差较大的特点对场景进行建模，分辨出地板和行人，获得行人的运动团块。

4.根据权利要求1或2所述的一种实时多向行人计数、跟踪方法，其特征在于：对于S2步骤，提取运动团块时，通过置地板的像素为0的方式获得所有的行人区域，然后对行人区域分割，获得所有的单人的运动团块。

5.根据权利要求1或2所述的一种实时多向行人计数、跟踪方法，其特征在于：对于S3步骤，提取Harris角点的个数为20个。

6.根据权利要求5所述的一种实时多向行人计数、跟踪方法，其特征在于：提取Harris角点之后，人为添加一个固定的点，该点选取为团块的中心点。

7.根据权利要求1或2所述的一种实时多向行人计数、跟踪方法，其特征在于：深度摄像机采用精度达到1mm的Kinect摄像机。