CN103077403A - 行人计数方法及装置 - Google Patents

Abstract

本发明公开了一种行人计数方法及装置，该方法包括：在视频的预设帧上进行人体检测；在人体检测得到的人体区域内进行特征点检测；使用特征点检测得到的结果进行人体的匹配得到多组特征点组；通过特征点组进行聚类确定多组特征点组中每一组的类中心，并根据每一组的类中心与预设库中的行人ID下的类中心的判断结果确定行人的计数。通过本发明，提高了行人计数的准确度。

Description

行人计数方法及装置

技术领域

本发明涉及机器视觉领域，具体而言，涉及一种行人计数方法及装置。

背景技术

随着社会发展和智能城市的需要，越来越多的公共场所安装了视频监控系统。有些视频监控系统中有这样一类功能需求，即计算经过某一区域的人数。该需求为视频监控中自动人员计数问题，属于智能视频监控中级处理目标。视频监控系统作为面向城市公共安全综合管理的重要组成部分，已经广泛应用于商场，超市，办公场所，工厂等场所。如何根据所采集到的视频信息，对这些场所中的人群进行有效的监测与管理,是实际中亟待解决的问题。显然，要完成以上工作，人力是难以胜任的。在视频监控领域，对视频中的人数进行统计的技术有着很高的实际应用价值。然而，过去的人数统计方法大多是基于对人次的统计，这样的方法在一些实际场景中会出现很大的偏差。

发明内容

针对相关技术中行人计数的方法误差比较大的问题，本发明提供了一种行人计数方法及装置，以至少解决该问题。

根据本发明的一个方面，提供了一种行人计数方法，包括：在视频的预设帧上进行人体检测；在该人体检测得到的人体区域内进行特征点检测；使用该特征点检测得到的结果进行人体的匹配得到多组特征点组；通过该特征点组进行聚类确定多组特征点组中每一组的类中心，并根据该每一组的类中心与预设库中的行人标识ID下的类中心的判断结果确定行人的计数。

优选地，在该人体检测得到的人体区域内进行特征点监测包括：提取该特征点；为该特征点指定方向参数，生成特征点描述子；将该特征点描述子进行归一化操作。

优选地，在使用该特征点检测得到的结果进行人体的匹配得到多组特征点组之前，还包括：采用该特征点描述子所构成的特征向量的欧式距离作为两个人体中同一特征点的相似性判断度量；如果两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则确定两幅人体图像是同一个人。

优选地，根据该每一组的类中心与预设行人标识ID下的类中心的判断结果确定行人的计数包括：对于预设库中的每个行人ID，该每个ID中有相邻两个人体中心跨线，则根据跨线方向增加经过拌线的人数作为行人的计数。

优选地，还包括：对于预设库中的行人ID，计算连续关联过的帧数，其中，连续关联过的帧数是指在连续的帧中人体图像为同一个人；如果连续没有关联过的帧数大于阈值，删除该ID及该ID对应的数据。

根据本发明的另一方面，提供了一种行人计数装置，包括：第一检测模块，用于在视频的预设帧上进行人体检测；第二检测模块，用于在该人体检测得到的人体区域内进行特征点检测；匹配模块，用于使用该特征点检测得到的结果进行人体的匹配得到多组特征点组；第一确定模块，用于通过该特征点组进行聚类确定多组特征点组中每一组的类中心；第二确定模块，用于根据该每一组的类中心与预设库中的行人标识ID下的类中心的判断结果确定行人的计数。

优选地，该第二监测模块包括：提取模块，用于提取该特征点；生成模块，用于为该特征点指定方向参数，生成特征点描述子；归一化模块，用于将该特征点描述子进行归一化操作。

优选地，上述装置还包括：处理模块，用于采用该特征点描述子所构成的特征向量的欧式距离作为两个人体中同一特征点的相似性判断度量；第三确定模块，用于如果两幅人体图像中的能匹配成功的特征点比例大于某一阈值时，确定两幅人体图像是同一个人。

优选地，该第二确定模块用于对于预设库中的每个行人ID，该每个ID中有相邻两个人体中心跨线，根据跨线方向增加经过拌线的人数作为行人的计数。

优选地，上述装置还包括：计算模块，用于对于预设库中的行人ID，计算连续关联过的帧数，其中，连续关联过的帧数是指在连续的帧中人体图像为同一个人；删除模块，用于该连续没有关联过的帧数大于阈值，删除该ID及该ID对应的数据。

通过本发明，采用人体分类器检测到视频中的行人，在使用特征点匹配的方法对视频中不同帧的相同行人进行匹配，最后统计出对视频场景中人员经过的数量，解决了相关技术中行人计数的方法误差比较大的问题，进而达到了提高了行人技术准确率的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的行人技术的方法的流程图；

图2是根据本发明实施例的行人计数的装置的结构框图；

图3是根据本发明实施例的行人计数的装置的优选的结构框图；以及

图4是根据本发明实施例的行人计数的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本实施例提供了一种行人计数方法，图1是根据本发明实施例的行人技术的方法的流程图，如图1所示，该方法包括如下的步骤S102至步骤S110。

步骤S102：在视频的预设帧上进行人体检测。

步骤S102：在该人体检测得到的人体区域内进行特征点检测。

步骤S102：使用该特征点检测得到的结果进行人体的匹配得到多组特征点组。

步骤S102：通过该特征点组进行聚类确定多组特征点组中每一组的类中心，并根据该每一组的类中心与预设库中的行人标识ID下的类中心的判断结果确定行人的计数。

优选地，在该人体检测得到的人体区域内进行特征点监测包括：提取该特征点；为该特征点指定方向参数，生成特征点描述子；将该特征点描述子进行归一化操作。

优选地，在使用该特征点检测得到的结果进行人体的匹配得到多组特征点组之前，还包括：采用该特征点描述子所构成的特征向量的欧式距离作为两个人体中同一特征点的相似性判断度量；如果两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则确定两幅人体图像是同一个人。

优选地，根据该每一组的类中心与预设行人标识ID下的类中心的判断结果确定行人的计数包括：对于预设库中的每个行人ID，该每个ID中有相邻两个人体中心跨线，则根据跨线方向增加经过拌线的人数作为行人的计数。

优选地，上述方法还包括：对于预设库中的行人ID，计算连续关联过的帧数，其中，连续关联过的帧数是指在连续的帧中人体图像为同一个人；如果连续没有关联过的帧数大于阈值，删除该ID及该ID对应的数据。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在另外一个实施例中，还提供了一种行人计数软件，该软件用于执行上述实施例及优选实施例中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述行人计数软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。

本发明实施例还提供了一种行人计数装置，该行人计数装置可以用于实现上述行人计数方法及优选实施方式，已经进行过说明的，不再赘述，下面对该行人计数装置中涉及到的模块进行说明。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统和方法较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的行人计数的装置的结构框图，如图2所示，该装置包括：第一检测模块22，第二检测模块24，匹配模块26，第一确定模块28，第二确定模块29，下面对上述装置进行详细描述。

第一检测模块22，用于在视频的预设帧上进行人体检测；第二检测模块24，连接至第一检测模块22，用于在第一检测模块22检测得到的人体检测得到的人体区域内进行特征点检测；匹配模块26，连接至第二检测模块24，用于使用该特征点检测得到的结果进行人体的匹配得到多组特征点组；第一确定模块28，连接至匹配模块26，用于通过该特征点组进行聚类确定多组特征点组中每一组的类中心；第二确定模块29，连接至第一确定模块28，用于根据该每一组的类中心与预设库中的行人标识ID下的类中心的判断结果确定行人的计数。

图3是根据本发明实施例的行人计数的装置的优选的结构框图，如图3所示，第二检测模块24包括：提取模块242，生成模块244，归一化模块246；上述装置还包括：处理模块32，第三确定模块34，计算模块36，删除模块38，下面对上述结构进行详细描述。

第二检测模块24包括：提取模块242，用于提取该特征点；生成模块244，连接至提取模块242，用于为该特征点指定方向参数，生成特征点描述子；归一化模块246，连接至生成模块244，用于将该特征点描述子进行归一化操作。

上述装置还包括：处理模块32，用于采用该特征点描述子所构成的特征向量的欧式距离作为两个人体中同一特征点的相似性判断度量；第三确定模块34，用于如果两幅人体图像中的能匹配成功的特征点比例大于某一阈值时，确定两幅人体图像是同一个人。

优选地，第二确定模块29用于对于预设库中的每个行人ID，该每个ID中有相邻两个人体中心跨线，根据跨线方向增加经过拌线的人数作为行人的计数。

上述装置还包括：计算模块36，用于对于预设库中的行人ID，计算连续关联过的帧数，其中，连续关联过的帧数是指在连续的帧中人体图像为同一个人；删除模块38，连接至计算模块36，用于该连续没有关联过的帧数大于阈值，删除该ID及该ID对应的数据。

下面将结合优选实施例进行说明，以下优选实施例结合了上述实施例及优选实施方式。

优选实施例一

本优选实施例提供了一种基于特征点检测和聚类的行人计数的方法，该方法包括如下步骤S202至步骤S204。

步骤S202：使用训练好的分类其对视频每隔一定帧进行人体检测。然后在人体区域内进行特征点检测，在存储检测到的特征点用于之后帧人体的匹配。匹配成功则于库中的特征点组关联到同一ID下，否则为这个特征点组建立新的ID存入特征点库中。

步骤S204：对特征点组进行聚类，确定每一组特征点的类中心，针对库中的每一个ID下类中心的变化判断是否跨线。如果穿过则根据最后一个类中心所在位置判断进出。其中对于长时间没有更新过的ID的特征向量组进行清除操作。

优选地，上述特征点检测的方法还包括：先使用sift算法提取特征点，并为每个特征点指定方向参数，生成特征点描述子。然后归一化描述子，进一步消除光照变化的影响。

优选地，该人体的匹配的方法还包括：采用特征点描述子所构成的特征向量的欧式距离来作为两个人体中同一特征点的相似性判定度量。当两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则判定两幅人体图像是同一个人。

优选地，上述关联的方法还包括：当认定两帧中的人体图像为同一个人时，将后来的人体图像中的特征点组赋予之前人体图像的ID，并根据这个ID中人体图像的个数赋予后来的人体图像序号。

优选地，上述对特征点组进行聚类的方法还包括：有特征点组的位置，求出特征点组的类中心。用类中心代表相应图像人体的位置。

优选地，上述对判断是否跨线的方法还包括：对同一个ID下所有序号连续的两个类中心进行跨线判定。其中跨线判定采用排斥实验和跨立实验相结合的判定方法。又有排斥实验和跨立实验不是本发明的重点，故这里不在详细描述。

优选地，上述清楚操作的方法还包括：当一个人的ID建立好后。计算连续关联过的帧数，若连续没有关联过的帧数达到某一阈值。则认定此人已从场景中消失，清楚此ID及此ID下所有数据。

通过该优选实施例的技术方案，使用sift特征点匹配不同帧中的人体图像，提高了匹配的准确率。

优选实施例二

本优选实施例提供了一种基于特征点检测和聚类的行人计数的方法，该方法包括如下步骤S302至步骤S314。

步骤S302：提取运动区域。

在本步骤中，首先待摄像机所采集图像稳定后，取第一帧图像作为背景图像，从第二帧开始，将当前图像于背景图像简单相减取绝对值并二值化得到差分图像--d(i,j)。

然后，对于差分图像先进行形态学开运算去除掉孤立的小点，噪声，毛刺及小桥。再通过形态学闭运算弥合断裂的人体区域。然后输出二值图像作为后续处理，由于形态学处理可以采用相关技术中的方案，在此不在赘述。

之后，再采用基于连通性的边界跟踪算法,获得提取整个图像序列中行人的轮廓。把轮廓以点序列的形式存储。

最后，对于查找出的轮廓点序列,计算这个序列中所有点在水平和竖直方向上的最小值和最大值Xmax，Ymin，Xmax，Ymax。则外接矩形的左上角坐标和宽高为（Xmin，Ymin），width=Xmax-Xmin+1，height=Ymax-Xmin+1。

步骤S304：人体检测。

在本步骤中，可以使用支持向量机法进行人体检测。

本步骤可以分为如下子步骤：

（1）训练：选取合适的核函数，k（xi，xj）。

（2）最小化||w||，在ω_i(w·x_i-b)≥1-ξ_i的条件下。

（3）只存储非零的α_i和相应的x_i（它们是支持向量）。

（4）将图像按一定比例缩放到不同尺度，在每一个尺度下使用8*16大小的窗口扫描图像。然后再对每个窗口下的图像进行分类。

（5）分类：对于模式X，用支持向量x_i和相应的权重α_i计算判别函数式这个函数的符号决定这个区域是不是人体。

步骤S306：特征点检测。

本步骤可以通过如下子步骤实现：

（1）构建尺度空间。

这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征。

高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，y，σ)*I(x，y)；其中G(x,y,σ)是尺度可变高斯函数，

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}.$

（x，y）是空间坐标，是尺度坐标。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，使用高斯差分尺度空间：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

＝L(x，y，kσ)-L(x，y，σ).

（2）对于一幅图像I,建立其在不同尺度(scale)的图像

（3）在高斯差分尺度空间，一个点如果在高斯差分尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。

（4）除去不好的特征点

通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为高斯差分算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。

（5）为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝atan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

上式为(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。

（6）生成特征点描述子

在建立描述子时，要将描述子的主方向坐标旋转到关键点的主方向上来，这样才能保证具有旋转不变性。之后选择以关键点为中心的16×16区域，计算出其中每一点的梯度值；然后将这个区域所有的梯度值用一个中心在该区域中央的高斯函数加权（高斯函数的标准差为1.5倍的区域宽度）。接下来将整个区域分为16个4×4的小区域，在这个小区域中统计梯度直方图，直方图分为8个方向；那么整个描述子所覆盖的区域含有的信息就是16×8=128个，则整个描述子可以看做是一个128维的向量，即特征向量。

（7）最后将特征向量归一化，则可以去掉光照变化产生的影响。

如果光照变化是对比度变化，则相当于是对每个点的梯度乘上了一个常数，那么标准化后这个常数就被消除了；如果光照变化是亮度的变化，那么相对于对每个点的像素值加上了一个常数，对梯度的变化没有任何影响。但是由于一些非线性的光照变化会使某些像素的梯度模值产生较大变化，同时对梯度方向没有影响，因此我们在统计梯度直方图时将所有大于某个阈值的梯度模值都置为这个阈值，就可以降低光照变化的影响。要注意的是，向量归一化是在所有模值经过阈值的限制之后进行的。因为这样的操作相当于降低了大模值点的模值在匹配中的权重。这个阈值一般选为0.2。

步骤S308：特征入库。

在本步骤中，将人体图像的特征向量组，人体图像的位置，人员ID信息，人体图像所在ID下的图像序号连接成一个特征向量存入库中。

步骤S310：特征点匹配。

在本步骤中，对于特征点描述子，然后使用欧氏距离标识两个描述子之间的差异：d=sqrt(∑(xi1-xi2)^2)。

如果两个特征点A和B真正的是一个对匹配点，那么他们的描述子之间所对应欧式距离首先要最小；其次，这个小还要小到一定程度：需要他比描述子A到除B以外其他任何描述子的距离都显著的小，才能体现正确匹配的唯一独特性。在造作中，我们可以以最近距离与次近距离的比例来衡量这种“显著程度”，只有当最近距离与次近距离小于某个比例阈值时，我们才接受这一对匹配。

当两幅人体图像中匹配成功的特征点数达到有一阈值比例。则认定这两幅图像为同一人体图像。

步骤S312：聚类。

在本步骤中，对于检测到的人体图像中全部特征点按位置就出类中心。

例如：Center（x，y）=(P1（x,y）+P2（x,y）+…+Pn（x,y）)/n

步骤S314：跨线判定。

在本步骤中，每次计算库中的的每个ID，如果ID中的有相邻两个人体中心跨线，则根据跨线方向增加计数系统中经过绊线的人数。其中判断跨线的方法使用快速排斥实验和跨立实验快速判定线段相交。

需要说明的是，本优选实施例提供的技术方案不受光照变化的影响，能够快速较准确的检测出视频中的打架事件。

优选实施例三

本实施例提供了一种基于特征点监测和聚类的行人计数方法，图4是根据本发明实施例的行人计数的流程图，如图4所示，该方法包括如下步骤S402至步骤S416。

步骤S402：获取图像。

步骤S404：人体监测。

步骤S406：特征点监测。

步骤S408：特征点匹配。

步骤S410：特征点存储。

步骤S412：特征点聚类。

步骤S414：判断是否跨线。

步骤S416：双向计数。

通过上述实施例，提供了一种行人计数方法及装置。通过特征点检测和特征点聚类和行人跟踪的方法对视频场景中的行人进行跟踪。再根据行人的路径判断是否跨越绊线。最后根据跨线的判断的结果和方向对视屏中经过的人员进行计数。需要说明的是，这些技术效果并不是上述所有的实施方式所具有的，有些技术效果是某些优选实施方式才能取得的。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上该仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种行人计数方法，其特征在于包括：

在视频的预设帧上进行人体检测；

在该人体检测得到的人体区域内进行特征点检测；

使用该特征点检测得到的结果进行人体的匹配得到多组特征点组；

通过该特征点组进行聚类确定多组特征点组中每一组的类中心，并根据该每一组的类中心与预设库中的行人标识ID下的类中心的判断结果确定行人的计数。

2.根据权利要求1该的方法，其特征在于，在该人体检测得到的人体区域内进行特征点监测包括：

提取该特征点；

为该特征点指定方向参数，生成特征点描述子；

将该特征点描述子进行归一化操作。

3.根据权利要求2该的方法，其特征在于，在使用该特征点检测得到的结果进行人体的匹配得到多组特征点组之前，还包括：

采用该特征点描述子所构成的特征向量的欧式距离作为两个人体中同一特征点的相似性判断度量；

如果两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则确定两幅人体图像是同一个人。

4.根据权利要求1至3中任一项该的方法，其特征在于，根据该每一组的类中心与预设行人标识ID下的类中心的判断结果确定行人的计数包括：

对于预设库中的每个行人ID，该每个ID中有相邻两个人体中心跨线，则根据跨线方向增加经过拌线的人数作为行人的计数。

5.根据权利要求1至3中任一项该的方法，其特征在于，还包括：

对于预设库中的行人ID，计算连续关联过的帧数，其中，连续关联过的帧数是指在连续的帧中人体图像为同一个人；

如果连续没有关联过的帧数大于阈值，删除该ID及该ID对应的数据。

6.一种行人计数装置，其特征在于包括：

第一检测模块，用于在视频的预设帧上进行人体检测；

第二检测模块，用于在该人体检测得到的人体区域内进行特征点检测；

匹配模块，用于使用该特征点检测得到的结果进行人体的匹配得到多组特征点组；

第一确定模块，用于通过该特征点组进行聚类确定多组特征点组中每一组的类中心；

第二确定模块，用于根据该每一组的类中心与预设库中的行人标识ID下的类中心的判断结果确定行人的计数。

7.根据权利要求6该的装置，其特征在于，该第二检测模块包括：

提取模块，用于提取该特征点；

生成模块，用于为该特征点指定方向参数，生成特征点描述子；

归一化模块，用于将该特征点描述子进行归一化操作。

8.根据权利要求7该的装置，其特征在于，还包括：

处理模块，用于采用该特征点描述子所构成的特征向量的欧式距离作为两个人体中同一特征点的相似性判断度量；

第三确定模块，用于如果两幅人体图像中的能匹配成功的特征点比例大于某一阈值时，确定两幅人体图像是同一个人。

9.根据权利要求6至8中任一项该的装置，其特征在于，该第二确定模块用于对于预设库中的每个行人ID，该每个ID中有相邻两个人体中心跨线，根据跨线方向增加经过拌线的人数作为行人的计数。

10.根据权利要求6至8中任一项该的装置，其特征在于，还包括：

计算模块，用于对于预设库中的行人ID，计算连续关联过的帧数，其中，连续关联过的帧数是指在连续的帧中人体图像为同一个人；

删除模块，用于该连续没有关联过的帧数大于阈值，删除该ID及该ID对应的数据。

Images