CN108154089B - 一种基于尺度自适应的头部检测和密度图的人群计数方法 - Google Patents

Abstract

本发明公开一种基于尺度自适应的头部检测和密度图的人群计数方法，对图像进行特征训练和预测；首先提取图像的梯度信息和图像的前景；生成与图像对应的尺度和参数；然后分割前景图像，筛选样例；用样例进行训练得到头部的训练模型；利用训练模型进行预测，得到预测结果；根据预测结果生成多尺度密度图，将密度图加和得到预测总人数。用尺度自适应的方法结合头部检测对图片中的行人进行计数，弥补了普通的检测方法对于透视变换问题上的不足；自适应的尺度筛选方法和密度图的应用，使得本发明有更好的鲁棒性，可以适用于不同的场景。对于patch的筛选以及分类使得训练出来的模型分类能力更强，保障了人群计数的准确性。

Description

一种基于尺度自适应的头部检测和密度图的人群计数方法

技术领域

本发明涉及行人检测领域，更具体地，涉及一种基于尺度自适应的头部检测和密度图的人群计数方法。

背景技术

随着社会的城镇化发展，城市人口数量急剧上升，视频监控被越来越多地使用到了日常的工作和生活中。这些视频数据最重要的应用领域之一就是智能视频监控。拥有13.75亿人口的中国，人口数量大所引发的一系列问题始终威胁着公众安全。同样在世界上其他地方，举行大型活动时也会因为人群过密发生不可控事件。所以，有效地利用安防监控数据合理调配治安人员以及建设辅助交通设施对人群进行引导分流对于公共秩序的维护和人身安全的保护有着重大意义。然而传统视频监控需要人工监视处理、汇报情况，非常消耗人力物力。自动化的视频分析和处理不仅可以解放劳动力，还可以从海量的视频信息中挖掘数据，学习到有用的知识和规则。人群计数作为视频分析中的一个领域，对于人群行为分析，紧急情况监测，交通规划等等多个方面都有着重要的意义。现有的人群计数的研究方法主要分为两大类，局部的(local)方法和全局的(holistic)方法，全局方法主要是对于一个输入的图片通过特征提取之后寻找一个模型使其能直接对应图片上的总人数。局部的方法是将图片分块，将每一块的预测结果综合后得出最后图片的总人数。局部的方法多数是基于检测的方法，基于检测的方法的主要思想就是把行人正确的分割出来并通过检测结果得到预测的总人数。基于检测的方法中常用到一些局部检测器，比如说头部检测器，头肩检测器，人体检测器等。尽管人体识别和跟踪技术比较成熟，在复杂的场景中整个人体的检测还是会因遮挡和透视变换等问题使得检测的准确率变低。除了传统方法，深度学习在人群计数上也有着优异的表现，深度学习方法的优势在于较高的准确度，通过长时间的训练和调参，深度学习可以达到比传统方法更好的准确度，但缺点也就相应而来，训练需要大量的训练数据并且和训练时间较长，对于计算资源的占用大，需要高性能的计算设备与之配合，这使得应用难度变大，设备成本变高。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于尺度自适应的头部检测和密度图的人群计数方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于尺度自适应的头部检测和密度图的人群计数方法，对图像进行特征训练和预测，包括以下步骤：

S1：提取图像的梯度信息和图像的前景；

S2：生成与图像对应的尺度和参数；

S3：分割前景图像，筛选样例；

S4：用样例进行训练得到头部的训练模型；

S5：利用训练模型进行预测，得到预测结果；

S6：根据预测结果生成多尺度密度图，将密度图加和得到预测总人数。

在一种优选的方案中，步骤S1中利用梯度差分方法提取图像的前景，包括以下步骤：

S11：获取实验所需要的数据集，包括图片序列集、有在头部位置有标记的位置矩阵和透视关系矩阵；提取每一张图像的梯度信息和梯度夹角；

S12：利用梯度差分的方法提取当前图片序列中每一帧图片与其对应的前景。

在一种优选的方案中，采用Log(Laplace of Gaussian)算子提取每一张图像的梯度信息和梯度夹角。

在一种优选的方案中，步骤S2中利用检测模型来自动生成与图像对应的尺度和参数，包括以下步骤：

S21：利用检测模型来对输入图片进行检测，得到不同尺度对于图片的匹配率，筛选出匹配率高的尺度；

S22：根据尺度的大小以及图像透视矩阵权值的比例来生成每个尺度对应的参数，参数用来在之后密度图加和的时候调整该尺度下密度图的权重。

在一种优选的方案中，步骤S3中用不同尺度的patch以有重叠的方式分割前景图像，并通过自定义的规则筛选；包括以下步骤：

S31：根据步骤S2中生成的多个尺度以有重叠的方式来分割图像，生成多个与之对应的patch的集合；

S32：对每个集合中的patch进行筛选，过滤掉信息量差的patch；

S33：用递归的方法从最大的尺度的集合开始，将集合中应属于更低一级尺度的patch样本分类出来，一直向下递归直到到达最小的尺度；

S34：用欠抽样的方法平衡样例。

在一种优选的方案中，步骤S4中利用分段调参的方法调整学习步长和迭代次数，得到多个不同尺度下用于检测行人头部的多个训练模型。

在一种优选的方案中，步骤S6包括以下步骤：

S61：将预测的图像根据不同的尺度的patch以有重叠的形式分块，分块之后使用多个训练模型检测，得到该尺度下被检测的patch被预测的结果；

S62：利用预测结果生成不同尺度的密度图；

S63：结合透视矩阵和生成的权重加密度图加和，得到最终的总人数。

与现有技术相比，本发明技术方案的有益效果是：一种基于尺度自适应的头部检测和密度图的人群计数方法，对图像进行特征训练和预测；提取图像的梯度信息和图像的前景；生成与图像对应的尺度和参数；分割前景图像，筛选样例；用样例进行训练得到头部的训练模型；利用训练模型进行预测，得到预测结果；根据预测结果生成多尺度密度图，将密度图加和得到预测总人数。用尺度自适应的方法结合头部检测对图片中的行人进行计数，弥补了普通的检测方法对于透视变换问题上的不足；自适应的尺度筛选方法和密度图的应用，使得本发明有更好的鲁棒性，可以适用于不同的场景。对于patch的筛选以及分类使得训练出来的模型分类能力更强，保障了人群计数的准确性。

附图说明

图1为本发明的方法流程图。

图2为本发明结果示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1～2所示，一种基于尺度自适应的头部检测和密度图的人群计数方法，对图像进行特征训练和预测，包括以下步骤：

S1：提取图像的梯度信息和图像的前景；

S2：生成与图像对应的尺度和参数；

S3：分割前景图像，筛选样例；

S4：用样例进行训练得到头部的训练模型；

S5：利用训练模型进行预测，得到预测结果；

S6：根据预测结果生成多尺度密度图，将密度图加和得到预测总人数。

在具体实施过程中，步骤S1中利用梯度差分方法提取图像的前景，包括以下步骤：

S11：获取实验所需要的数据集，包括图片序列集、有在头部位置有标记的位置矩阵和透视关系矩阵；提取每一张图像的梯度信息和梯度夹角；采用Log(Laplace ofGaussian)算子提取每一张图像的梯度信息和梯度夹角。其中t时刻图片的梯度和夹角计算公式如下：

其中

和

分别表示像素x在水平方向和竖直方向的梯度，E^t为x的梯度幅值，O为x的梯度夹角。

S12：利用梯度差分的方法提取当前图片序列中每一帧图片与其对应的前景。构建了一个长度为L的帧队列，记录了当前在t这一时刻的前L帧的梯度矩阵，通过求队列中的梯度矩阵的平均值，得到一个前L帧的梯度均值矩阵。再求出前L帧的方差矩阵如下：

其中方差矩阵

是和梯度矩阵同样大小的矩阵，其中每个元素

是前L帧所有在第m行第n列这个像素位置的梯度值的方差。然后最终在t时刻的梯度差分矩阵，也就是分割出来的前景可以用下面的规则算出：

其中

为差分矩阵在第m行第n列的值，若

小于预设阈值T则判断该像素属于背景区域，直接取当前梯度与均值梯度差值的二范数。若大于等于阈值T则判断为前景像素取当前梯度与t时刻的均值梯度矩阵

中最小值的差值的二范数。

在具体实施过程中，步骤S2中利用检测模型来自动生成与图像对应的尺度和参数，包括以下步骤：

S21：利用检测模型来对输入图片进行检测，得到不同尺度对于图片的匹配率，筛选出匹配率高的尺度；检测模型采用了得分机制来验证不同尺度对于检测的匹配率。一个尺度对于检测的匹配率可以由该尺度贴合头部标记框图的程度来表示。得分S可由下公式得出：

S＝∑l(y_i)

其中l(y_i)表示尺度在第i个ground truth y_i所对应的标记框图处的得到的匹配率，匹配率为标记框图中尺度框图的面积除以尺度框图的总面积。

S22：根据尺度的大小以及图像透视矩阵权值的比例来生成每个尺度对应的参数，参数用来在之后密度图加和的时候调整该尺度下密度图的权重。具体方法如下：收集不同尺度的得分，将得分降序排序得到尺度序列，根据实际的应用需求或对应阈值取前k个尺度作为选定的尺度，并根据尺度的大小进行升序排序。设尺度升序排序后，尺度序列之间的比值为

可以根据这个比值关系将透视矩阵分成k份，从k份中选取k个值形成比例β₁：β₂L：β_k，那么尺度i的权重参数θ_i可以由下面的公式得到：

在具体实施过程中，步骤S3中用不同尺度的patch以有重叠的方式分割前景图像，并通过自定义的规则筛选；包括以下步骤：

S31：根据步骤S2中生成的多个尺度以有重叠的方式来分割图像，生成多个与之对应的patch的集合；

S32：对每个集合中的patch进行筛选，过滤掉信息量差的patch；筛选条件为：1.ground truth必须和patch的中心的距离在一定的范围内；

2.patch中的梯度值的总和不能少于阈值T_e

S33：从尺度最大的patch的集合开始，用递归的方法从最大的尺度的集合开始，将集合中应属于更低一级尺度的patch样本分类出来，一直向下递归直到到达最小的尺度；具体划分判别规则如下：

其中P_s表示在尺度s下的patch，s+1是比s小一级别的的尺度集合，E(P)表示patchP的梯度矩阵，L_s代表尺度s的patch的边长。由于S32中两个筛选规则的限制，较小尺度下的patch集合初始patch的数量会比大尺度的少很多。与此对应的，大尺度的patch集合中会包含大量可分到更小尺度的patch，所以对较大的patch集合需要进行分类，分类之后每个尺度下的patch数量得到相应的平衡。

S34：用欠抽样的方法平衡样例。因为相对于正样例(样例中有人头出现)负样例的数量要远远超出。所以为了使训练的模型的判别不产生偏差，可以从负样例中随机抽取与正样例等量的负样例进行训练

在具体实施过程中，步骤S4中利用分段调参的方法调整学习步长和迭代次数，得到多个不同尺度下用于检测行人头部的多个训练模型。试验中模型采用的是LSBoost模型，以最小平方差为损失函数的集成学习方法。其中的弱分类器是树型，树高为3，不同尺度下学习的步长和迭代次数不一样，学习步长初始值为0.01，根据结果分段调整。

在具体实施过程中，步骤S6包括以下步骤：

S61：将预测的图像根据不同的尺度的patch以有重叠的形式分块，分块之后使用多个训练模型检测，得到该尺度下被检测的patch被预测的结果；

S62：利用预测结果生成不同尺度的密度图的方法如下：1.对于一个预测为正(有人头出现)的patch，对patch的梯度矩阵进行二值化；2.对二值化的矩阵进行聚类，使用方法为k-means，且k值为1.得到的聚类中心就是对于当前patch模型预测的行人头部的位置；3.根据预测的人头位置在patch中的相对坐标，结合patch在整张图像中的坐标，将相对坐标转化为在整张图片上的绝对坐标4.构造和原图像一样大小的两个零矩阵：加和矩阵M_s和计数矩阵M_c，每次有预测为正的patch出现，就根据其绝对坐标卷积一个高斯核赋值到M_s中，与此同时，只要M_s中的值有更新，M_c中对应位置的计数加1，所以当遍历特定尺度下所有patch之后，其密度图M_d可由下面公式算出：

M_d＝M_s·/M_c

S63：结合透视矩阵和生成的权重加密度图加和，得到最终的总人数。加和计算出总人数的方法如下：

其中N为最后对于当前预测图片所预测的总人数，

为在尺度i下生成的密度图，θ_i为其由S22计算得出的对应参数。

本实施例首先提取图像的梯度信息并利用梯度差分的方式来提取图像的前景，然后利用训练好的检测模型来确定适合当前图像的patch的尺度大小以及对应的密度图加和参数。接着用不同尺度的patch以有重叠的方式分割前景图像，并通过自定义的规则筛选。之后利用递归的方式将分割的patch分到与之对应的尺度的集合中并提取特征进行训练。最后，根据模型预测的结果，计算出不同尺度下的密度图，并综合透视图的权重和尺度自身的参数求出预测的总人数；

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于尺度自适应的头部检测和密度图的人群计数方法，对图像进行特征训练和预测，其特征在于，包括以下步骤：

S1：提取图像的梯度信息和图像的前景；

S2：生成与图像对应的尺度和参数；

步骤S2中利用检测模型来自动生成与图像对应的尺度和参数，包括以下步骤：

S21：利用检测模型来对输入图片进行检测，得到不同尺度对于图片的匹配率，筛选出匹配率高的尺度；

S22：根据尺度的大小以及图像透视矩阵权值的比例来生成每个尺度对应的参数，参数用来在之后密度图加和的时候调整该尺度下密度图的权重；

S3：分割前景图像，筛选样例；

S4：用样例进行训练得到头部的训练模型；

S5：利用训练模型进行预测，得到预测结果；

S6：根据预测结果生成多尺度密度图，将密度图加和得到预测总人数。

2.根据权利要求1所述的基于尺度自适应的头部检测和密度图的人群计数方法，其特征在于，步骤S1中利用梯度差分方法提取图像的前景，包括以下步骤:

S11：获取实验所需要的数据集，包括图片序列集、有在头部位置有标记的位置矩阵和透视关系矩阵；提取每一张图像的梯度信息和梯度夹角；

S12：利用梯度差分提取当图片序列中每一帧与其对应的前景。

3.根据权利要求2所述的基于尺度自适应的头部检测和密度图的人群计数方法，其特征在于，采用Log算子提取每一张图像的梯度信息和梯度夹角。

4.根据权利要求3所述的基于尺度自适应的头部检测和密度图的人群计数方法，其特征在于，步骤S3中用不同尺度的patch以有重叠的方式分割前景图像，并通过自定义的规则筛选；包括以下步骤：

S31：根据步骤S2中生成的多个尺度以有重叠的方式来分割图像，生成多个与之对应的patch的集合；

S32：对每个集合中的patch进行筛选，过滤掉信息量差的patch；

S33：用递归的方法从最大的尺度的集合开始，将集合中应属于更低一级尺度的patch样本分类出来，一直向下递归直到到达最小的尺度；

S34：用欠抽样的方法平衡样例。

5.根据权利要求4所述的基于尺度自适应的头部检测和密度图的人群计数方法，其特征在于，步骤S4中利用分段调参的方法调整学习步长和迭代次数，得到多个不同尺度下用于检测行人头部的多个训练模型。

6.根据权利要求1所述的基于尺度自适应的头部检测和密度图的人群计数方法，其特征在于，步骤S6包括以下步骤：

S61：将预测的图像根据不同的尺度的patch以有重叠的形式分块，分块之后使用多个训练模型检测，得到该尺度下被检测的patch被预测的结果；

S62：利用预测结果生成不同尺度的密度图；

S63：结合透视矩阵和生成的权重加密度图加和，得到最终的总人数。

Images