CN103093274A

CN103093274A - 基于视频的行人计数的方法

Info

Publication number: CN103093274A
Application number: CN201210592613XA
Authority: CN
Inventors: 刘忠轩; 杨宇
Original assignee: XINZHENG ELECTRONIC TECHNOLOGY (BEIJING) Co Ltd
Current assignee: XINZHENG ELECTRONIC TECHNOLOGY (BEIJING) Co Ltd
Priority date: 2012-12-30
Filing date: 2012-12-30
Publication date: 2013-05-08
Anticipated expiration: 2032-12-30
Also published as: CN103093274B

Abstract

本发明提供了一种基于视频的行人计数的方法，包括：检测出视频图像中的人体图像；确定所述人体图像的特征向量，将确定的特征向量与预先采集的数据库中的多个基准向量进行匹配；如果没有匹配成功，则根据所述检测的人体图像得到对应的基准向量，将所述人体图像及其对应的基准向量加入到所述数据库中，同时将计数器加一。通过上述的步骤，可在数据库中确定出人体图像，将确定出的人体图像作为检测到的人体图像。从而可统计出在一段时间内的人流量。

Description

基于视频的行人计数的方法

技术领域

本发明涉及视频监控领域，具体而言，涉及一种基于视频的行人计数的方法。

背景技术

对于公共场所的安防，目前通常采用摄像头实现图像的采集。

由于目前的视频识别技术，只能识别出视频中的人体图像，不能对人体图像所对应的个体进行确认，从而导致不能区分出每个人的移动轨迹，不能确定当前视频中的人体图像所对应的身份。由于不能确定出是否存在相同的人，很难确定出一个区域内的一段时间的人流数。

发明内容

本发明旨在提供一种基于视频的行人计数的方法，以解决不能对人体图像的个体进行确认的问题。

在本发明的实施例中，提供了一种基于视频的行人计数的方法，包括：

检测出视频图像中的人体图像；

确定所述人体图像的特征向量，将确定的特征向量与预先采集的数据库中的多个基准向量进行匹配；

如果匹配成功，则将所述确定的特征向量作为基于向量、连同该所述检测的人体图像的位置信息一起存储到数据库中，与匹配成功的基准向量顺序存储在同一ID对应的集合内；

判断所述同一ID的集合内的两个相邻存储的人体图像的位置信息之间的轨迹是否穿过绊线；如果穿过，则根据穿入/穿出方向，将相应的计数器加一或减一。

通过上述的步骤，可在数据库中确定出人体图像，将确定出的人体图像作为检测到的人体图像。从而可在视频中统计出一段时间内在一定区域的人数流量。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了实施例的流程图；

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。参见图1，实施例的步骤包括：

S11：检测出视频图像中的人体图像；

S12：确定所述人体图像的特征向量，将确定的特征向量与预先采集的数据库中的多个基准向量进行匹配；

S13：如果匹配成功，则将所述确定的特征向量作为基于向量、连同该所述检测的人体图像的位置信息一起存储到数据库中，与匹配成功的基准向量顺序存储在同一ID对应的集合内；

S14：判断所述同一ID的集合内的两个相邻存储的人体图像的位置信息之间的轨迹是否穿过绊线；如果穿过，则根据穿入/穿出方向，将相应的计数器加一或减一。

通过上述的步骤，可在数据库中确定出人体图像，将确定出的人体图像作为检测到的人体图像。从而可在视频中统计出一段时间内的人数流量。

首先待摄像机所采集图像稳定后，取第一帧图像作为背景图像，从第二帧开始，将当前图像于背景图像简单相减取绝对值并二值化得到差分图像--d(i,j)。

然后对于差分图像先进行形态学开运算去除掉孤立的小点，噪声，毛刺及小桥。再通过形态学闭运算弥合断裂的人体区域。然后输出二值图像作为后续处理。

采用基于连通性的边界跟踪算法,获得提取整个图像序列中行人的轮廓。把轮廓以点序列的形式存储。

最后对于查找出的轮廓点序列,计算这个序列中所有点在水平和竖直方向上的最小值和最大值Xmax，Ymin，Xmax，Ymax。则该轮廓的最小外接矩形的左上角坐标和宽高为（Xmin，Ymin），width=Xmax-Xmin+1，height=Ymax-Xmin+1。

轮廓线上点，与其相邻点的灰度值有一定的跳跃，故通过灰度值的对比，就可以将这些点提取出来。为了简单，去掉了图像边框上所有象素点，每个被提取的象素点A，与其周围的8个点作比较，当某点周围8个参考点有一个不都与之相同时，这个点就是轮廓点。

边界跟踪算法先选择一起始点s∈S_c，然后沿顺时针或逆时针利用连通性跟踪边界直到回到起始点。

已知像素p,q∈S，如果存在一条从p到q的路径，且路径上的全部像素都包含在S中，则称p与q是连通的。在差分图像上得到的像素点。

优选地，实施例中，检测人体图像的步骤包括：使用高斯背景建模法在视频中检测运动区域。在检测到的运动区域内，使用基于方向梯度直方图(HOG)和带有隐含参数的支持向量机(latent SVM)的物体检测方法，在不同尺度上对视频中的人体图像进行检测。

使用支持向量机法进行人体检测的过程如下：

1）训练：选取合适的核函数，k（xi，xj）。

2）最小化||w||，在ω_i(w·x_i-b)≥1-ξ_i的条件下。

3）只存储非零的α_i和相应的x_i（它们是支持向量）。

4）将图像按一定比例缩放到不同尺度，在每一个尺度下使用64*128大小的窗口扫描图像。然后再对每个窗口下的图像进行分类。

5）分类：对于模式X，用支持向量x_i和相应的权重α_i计算判别函数式

这个函数的符号决定这个区域是不是人体。

6）其中模式X为输入人体区域。

7）对待检测区域的检测策略是从上到下，从左到右，对每个64*128大小的的窗口进行分类。

8）再对图像进行缩小，再进行分类，直到待检测区域已经小于64*128。

优选地，实施例中，确定特征向量的过程包括：

将检测到的图像转换为HSV格式，并提取颜色分布直方图。

从RGB颜色空间到HSV颜色空间的转换，计算公式如下：

h = \{\begin{matrix} 0 & \max = \min \\ 60 \times \frac{g - b}{\max - \min} & \max = r, g &GreaterEqual; b \\ 60 \times \frac{g - b}{\max - \min} + 360 & \max = r, g < b \\ 60 \times \frac{b - r}{\max - \min} + 120 & \max = g \\ 60 \times \frac{r - g}{\max - \min} + 240 & \max = b \end{matrix}

s = \{\begin{matrix} 0 & \max = 0 \\ \frac{\max - \min}{\max} & otherwise \end{matrix}

v＝max

其中max=max(r,g,b)，min=min(r,g,b)。比如，对于RGB颜色值为(0.1,0.2,0.5)的像素点，在HSV颜色空间中的值为(225,0.8,0.5)。

计算颜色直方图：对于图像中的每一个像素，对其颜色进行统计。例如，v分量小于阈值1为黑色，v分量大于阈值2并且s分量小于阈值3为白色，v分量在阈值1和阈值2之间且v分量小于阈值3为灰色，其他颜色为彩色。

对于彩色，按照h分量从0到360均匀划分为6种颜色，即[0，60),[60，120)，[120，180)，[180，240)，[240，300)，[300，360)。

对每个像素的颜色进行统计，并计算出每种颜色在人体图像中所占比例，依次存储到数组x中，作为图像的特征向量使用。

例如，一个图像中有10个像素点。其中黑色点和白色点各有3个，另外4个点属于颜色[60，120)，那么这个图像对应的特征向量为(0.3,0.3,0,0,0.4,0,0,0,0)。

优选地，实施例中，所述数据库中的基准向量由以下步骤确定：

预先采集视频图像中的每个人的多幅人体图像；

采用K-means聚类算法对同一个人所述多幅人体图像运算，将多幅人体图像一一对应的多个特征向量运算，得到每个人对应的一个特征向量作为基准向量。

使用K-means训练时，将检测过程中得到的每一个人体图像的颜色直方图作为特征向量进行聚类，得到特征向量的聚类中心，以及每个聚类中心包含的样本。

K均值算法需要输入一个参数k，以及若干个特征向量。通过K均值算法计算可以将这些特征向量分为k类，以及每一类中所包含的样本。这样，就可以将输入的样本分为k类，每一类代表一个人体图像。

将聚类中心得到每一类的对应的特征向量存储到数据库中。

上述的匹配过程包括：

运算每个图像对应的各个特征向量分别与所述数据库中每个人体图像的基准向量的距离；

对每个特征向量得到的多个距离排序，确定出两个最小的距离d1和d2；其中，d1<d2；

如果所述1.5d1＜d2，则确定该特征向量与用于运算所述d1的基准向量相匹配。

确定与每个所述特征向量距离最近的基准向量对应的人体图像，并统计对应每个人体图像的的基准向量被匹配的次数的总和；

找出被确定的次数总和唯一、且最高的值的人体图像，作为所述匹配成功的人体图像。

其中，用于运算出最小的欧式距离的基准向量作为距离最高的基准向量。欧式距离的公式如下：

d = \sqrt{Σ_{i = 1}^{N} {(x_{i} - X_{i})}^{2}}

其中d为特征向量到聚类中心的基准向量之间的距离，x为图像的特征向量，X为训练得到的聚类中心对应的特征向量，即基准向量，x_i和X_i分别表示图像的基准向量和聚类中心的基准向量的第i位，N为特征向量或基准向量的维数。

如果数据库中的每个人体图像只有一个基准向量，则比较特征向量与多个基准向量之间的欧式距离d，找到最小的欧式距离d，判断该最小的欧式距离d是否小于阈值，如果小于，则认为匹配成功。

如果作为样本的每个人体图像下有多个基准向量，检测到的人体图像也得到多个特征向量，则可按照匹配成功最多的方式确定是否匹配成功。

例如：如果一共有5个人体图像样本，每个样本为一个人体图像所对应的多个基准向量。

检测到的人体图像为5幅，共5个特征向量；数据库中包括5个人体图像样本，每个样本包括6个基准向量，则共有30个基准向量，每个人体图像对应一个基准向量。计算检测到的每个特征向量与30个基准向量的距离，得到5组数据。

每组数据中包括30个距离，找到最小的两个距离，d1和d2，且满足1.5d1＜d2，则认为匹配到基准向量。

统计每个人体图像的各个基准向量被匹配的次数。例如：检测某个特征向量为(1,0,0,0,0,0,0,0,0)，与之距离最近的两个基准向量分别为(0.8,0,0,0,0,0,0,0,0.2)和(0.5,0.5,0,0,0,0,0,0,0)。则可以计算得到d₁≈0.283，d₂≈0.707，且1.5d₁<d₂。确定该特征向量与用于运算所述d1的基准向量相匹配。用于运算所述d1的基准向量为样本1的人体图像，则样本1的人体图像为识别成功的人体图像。

人体图像分别识别为以下各个样本中的情况；如：样本1，样本1，样本1，样本2，样本3，则统计直方图为(3,1,1)，样本1为最高且唯一的样本，被检测到的人体图像最终被再识别为样本1所对应的人体图像。

另外，为了实现精确匹配，对识别出的人体图像和样本的图像提取ORB特征点，使用hamming距离对特征点进行匹配，并使用RANSAC算法消除错误匹配。根据最终的匹配结果判定是否匹配成功。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于视频的行人计数的方法，其特征在于，包括：

检测出视频图像中的人体图像；

2.根据权利要求1所述的方法，其特征在于，所述确定特征向量的过程包括：

将所述人体图像转换为HSV格式；

统计所述HSV格式的图像内的各种颜色的像素数量；

根据所述各种颜色的像素数量确定与该图像对应的一个特征向量。

3.根据权利要求2所述的方法，其特征在于，所述基准向量由以下步骤确定：

预先采集视频图像中的每个人的多幅人体图像；

采用K-means聚类算法对所述多幅人体图像运算的特征向量，得到每个人对应的一个特征向量作为基准向量。

4.根据权利要求3所述的方法，其特征在于，所述匹配过程包括：

运算所述确定的特征向量分别与所述数据库中每个人体图像对应的一个基准向量的距离；

5.根据权利要求4所述的方法，其特征在于，

确定与每个所述特征向量距离最近的基准向量对应的人体图像，并统计对应每个人体图像的基准向量被匹配的次数的总和；

6.根据权利要求5所述的方法，其特征在于，还包括：采用以下欧式距离公式运算所述距离；

d = \sqrt{Σ_{i = 1}^{N} {(x_{i} - X_{i})}^{2}};

其中d为特征向量与基准向量的距离，x为图像的特征向量，X为训练得到的基准向量，i表示特征向量或基准向量的位数，N为特征向量或基准向量的维数。

7.根据权利要求6所述的方法，其特征在于，还包括：

如果没有匹配成功，则将所述检测出的人体图像的特征向量作为新的基准向量加入到所述数据库。

8.根据权利要求1所述的方法，其特征在于，还包括：

在当前帧图像和之前的视频图像中，采用最小的带颜色框体框住所述检测到的该人体图像。

9.根据权利要求1所述的方法，其特征在于，还包括：

如果没有匹配成功，则将所述确定的特征向量作为基于向量、连同该所述检测的人体图像的位置信息一起存储到数据库的新建集合内，并赋予一个ID。

10.根据权利要求9所述的方法，其特征在于，还包括：

删除一定时间内没有匹配成功的集合内的数据，回收该集合的ID。