CN105512640B - 一种基于视频序列的人流量统计方法 - Google Patents

Abstract

本发明涉及一种基于视频序列的人流量统计方法，属于图像处理与视频监控技术领域。该方法包括以下步骤：1)获取视频，通过采样得到视频序列；2)通过候选区域检测模块进行粗检测得到候选目标区域；3)利用基于迁移学习的卷积神经网络+支持向量机分类器模型对候选区域进行进一步筛选得到检测目标；4)根据航迹预测对待关联的候选目标范围进行限制；5)通过特征匹配进行目标航迹关联；6)利用航迹信息进行人流量统计。该方法可以节约大量的人力资源，而且避免了由于人为因素所造成的错误统计，同时很好地克服了人工计数在某些场景下的计数劣势，并且该方法能够准确定位到单个行人，给后续分析工作带来了重大意义。

Description

一种基于视频序列的人流量统计方法

技术领域

本发明属于图像处理与视频监控技术领域，涉及一种基于视频序列的人流量统计方法。

背景技术

随着人类智慧不断推动科技的快速发展，各种智能设备也在日趋进步与完善，智能技术也因此正不断地影响与改变着人们的学习生活与工作方式。在各个方面得到了广泛应用的图像处理与视频监控系统作为人们学习与生活中的一部分，起到了不可磨灭的作用。人流量统计系统作为评估某一特定场景中，某些方向上人流量多少的计数系统，在实际生活应用中具有非常重要的作用。例如，通过对进出教室人群进行自动统计不仅能考察各科的出勤率，从而合理的评估教学质量，而且可以帮助同学们快速选择合适的自习教室。通过对地铁站内进出客流人数的统计，可以方便地铁运营方以及安保方有效地控制客流，做好应对措施。通过对每路公交车的各个站点、各个时间段的人流量统计，可以使交通运营者采取最合理的调度制度以及运营模式，这样给乘客提供最方便、快捷的服务。

但是，传统的人工计数方式不仅会耗费大量的人力资源，而且可能由于各种因素造成错误统计，特别是对于那些人群出入密集场所，使得人工计数更加困难，而自动人流量统计系统则能解决以上问题，给学习和生活带来巨大便利，提高生活质量。因此，目前急需一种能够克服人工计数方式劣势的实时自动人流量统计方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于视频序列的人流量统计方法，该方法可以节约大量的人力资源，而且避免了由于人为因素所造成的错误统计，同时很好地克服了人工计数在某些场景下的计数劣势，并且该方法能够准确定位到单个行人，给后续分析工作带来了重大意义。

为达到上述目的，本发明提供如下技术方案：

一种基于视频序列的人流量统计方法，包括以下步骤：1)获取视频，通过采样得到视频序列；2)通过候选区域检测模块进行粗检测得到候选目标区域；3)利用基于迁移学习的卷积神经网络+支持向量机分类器模型对候选区域进行进一步筛选得到检测目标；4)根据航迹预测对待关联的候选目标范围进行限制；5)通过特征匹配进行目标航迹关联；6)利用航迹信息进行人流量统计。

进一步，在步骤2)中，通过候选区域检测模块进行粗检测得到候选区域，采用以下几类方法得到候选区域：

21)基于检测的方法：这类方法利用训练好的目标分类器，对图像进行扫描得到疑似目标区域；例如级联的自适应增强(Adaboost，Adaptive Boosting)检测方法、方向梯度直方图(HOG，Histogram of oriented gradient)+支持向量机(SVM，Support VectorMachine)等方法；

22)基于碎片聚合的方法：这类方法首先将图片打碎，然后再聚合；例如选择性搜索算法(Selective Search)，该方法无需学习，直接利用图像分割方法获得一些粗分割结果，然后根据给定的相似度准则进行聚合；

23)基于给滑动窗口打分的方法：这类方法是先生成候选框，然后利用某些方法或者准则直接打分排序来过滤掉低分的候选框；例如Bing、EdgeBoxes等方法。

在步骤3)中，提取出步骤S102所得到的候选区域，由于候选区域目标存在错误正样本，因而需要对候选区域目标重新加以挑选，从而得到正负样本训练集，然后利用基于迁移学习的卷积神经网络+支持向量机分类器模型对候选区域进行目标判别确认，这样能够保证较高的目标检测率。

进一步，在步骤3)中，基于迁移学习的卷积神经网络+支持向量机分类器模型中迁移学习是在已有卷积神经网络结构模型的基础上进行微调后重新训练，且卷积神经网络采用多层网络结构，取全连接层特征向量作为卷积神经网络提取到的特征，输入到支持向量机进行模型训练，输出即为基于迁移学习的卷积神经网络+支持向量机分类器模型。

进一步，在步骤4)中，对筛选得到的检测目标航迹进行预测，根据航迹预测对待关联的候选目标范围进行限制；由于相邻帧间行人目标的空间位置变化不大，因而通过设置合适的阈值进行距离区域限制，或者可以利用均值漂移、卡尔曼滤波、粒子滤波等方法预测当前帧的指定目标在下一帧可能出现的空间位置，从而以此目标为中心进行区域限制处理。

进一步，在步骤5)中，通过步骤4)得到候选区域，对候选区域内所有中心点在区域范围内的待关联候选目标一一进行特征匹配，通过特征匹配进行目标航迹关联；在此过程中，通过设置两个阈值，若匹配分数达到最高设限阈值，且得到的匹配分数最高，说明该目标最相关，则将该检测目标确定为当前帧指定目标的关联对象，若匹配分数未达到最低设定阈值，则说明当前帧指定目标为虚假目标，应当舍弃。

进一步，对于匹配分数在两个设定阈值之间的检测目标，若在匹配区域范围内仍存在未匹配对象，则可根据分数高低与匹配分数最高的检测目标进行匹配，否则，若在匹配区域范围内不存在未匹配对象或匹配区域范围内不存在检测目标，则暂时保存该目标，使之与后面隔帧图像进行匹配关联，若隔帧图像在限定区域内存在未与其上一帧匹配关联目标，且满足达到最低阈值，则可与其匹配分数最高者进行关联即可，若此时仍未达到要求，仍先保存该目标，反复进行匹配关联，直到连续N帧均未匹配到，则被视为无效目标，进行舍弃。

进一步，在步骤6)中，通过能够匹配关联到的相应目标航迹信息进行跟踪，当检测目标通过指定检测线或兴趣区域时进行双向流计数，从而最终得到人流量统计结果并显示出来，在这里，通过标志位的变化、位移差或光流方向等方法来判断行人运动方向，从而根据其相应的变化进行计数。

本发明的有益效果在于：本发明提供的方法可以节约大量的人力资源，而且避免了由于人为因素所造成的错误统计，同时很好地克服了人工计数在某些场景下的计数劣势，并且该方法能够准确定位到单个行人，给后续分析工作带来了重大意义。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述方法的流程示意图；

图2为Adaboost的算法流程示意图；

图3为基于迁移学习的卷积神经网络+支持向量机分类器模型示意图；

图4为特征匹配模块示意图；

图5为人流量计数模块示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明是为了更好地利用已有视频资源，通过人流量统计技术达到实时计数的效果，方便多种场合下的人流量统计。该方法根据采集到的监控序列图像或视频，对其图像进行处理，从而将检测出来的人流量统计结果在线显示出来。

由于人头是身体部分中最为明显的部位，特别是在人流量比较大的场所，此时由于受遮挡、光照、像素分辨率等因素的影响，使得准确检测身体其他部位变得更加困难，甚至几乎很难进行目标检测。由此可见，目标的可视性尤为重要。因此，在本实施例中，本发明具体针对人头进行检测，通过对检测结果进行准确匹配关联，进而通过跟踪计数得到人流量统计结果。

图1为本发明所述方法的流程示意图，如图所示，该方法首先获取应用场景中的监控视频，通过对视频采样得到连续的视频序列；然后通过候选区域检测模块进行粗检测得到候选目标；随后利用基于迁移学习(TL，Transfer Learning)的卷积神经网络(CNN，Convolutional Neural Network)+支持向量机(SVM，Support Vector Machine)分类器模型对候选目标进行进一步筛选得到检测目标；之后根据航迹预测对待关联的候选目标范围进行限制；进一步地，通过对候选目标范围内的检测目标进行特征匹配得到关联的航迹目标；最后，利用航迹信息进行人流量统计。

具体步骤如下：

S101：获取视频，通过采样得到视频序列。

具体地，首先获取应用场景中的监控视频，通过对视频进行逐帧采样得到连续的视频序列。

S102：通过候选区域检测模块进行粗检测得到候选区域。

具体地，本发明选取使用级联的Adaboost方法进行粗检测得到候选区域。这是因为该方法能够快速地排除一些非人头，并保留人头部分，具有实时性。同时，可以通过调节不同的内部训练参数，使得粗检测具有较高的召回率，用于后阶段的再次筛选。

图2为Adaboost的算法流程图。从图中可知，该算法包括以下几个步骤：

S201：输入具有标签的训练样本特征向量；

S202：初始化训练样本特征向量的权值分布；

S203：使用当前权值分布加权的训练样本特征向量学习基本分类器；

S204：计算基本分类器在加权训练样本特征向量上的分类误差率；

S205：计算基本分类器的系数；

S206：更新训练样本特征向量的权值分布；

S207：判断是否达到误差最小或最大循环次数，若是，则进入步骤S208，否则，转入步骤S203进行循环；

S208：构建基本分类器的线性组合得到强分类器。

基于级联的Adaboost检测过程则是通过多尺度遍历整幅图像，产生多个子窗口；并进行特征提取，将提取到的特征向量输入到Adaboost检测器模型中；经过cascade级联检测器，一级级排除非人头区域，最终得到候选人头区域，达到检测的目的。在此过程中，只有当通过了每层检测器间设置的阈值才能够进入下一阶段的判断。这样可以大大降低了虚假目标的存在，同时，提高了检测的速度。

S103：利用基于迁移学习的卷积神经网络+支持向量机分类器模型对候选区域进行进一步筛选得到检测目标；

具体地，将基于级联的Adaboost检测器检测出来的结果中非人头虚假目标当作负样本，检测出来的真实目标当作正样本，由此构造正负样本集。然后把这个样本集用于训练基于迁移学习的卷积神经网络+支持向量机分类器模型。

迁移学习实质上是为了将从一个环境中学习到的知识用来帮助新环境中的学习任务。在这里主要是为了将从另外一个学习任务里面训练出来的卷积神经网络结构模型用于现有人流量统计任务上。由于卷积网络前面几层特征对一个具体的任务或数据集并不具有特定性，相反，它们对大多任务或数据集具有通用性，而在后面网络层中其训练特征则与特定的任务或数据集有关。因而，为了使前面训练的网络适用于后面的任务或数据集，则需要将网络后几层特征重新训练而保持前面网络特征不变，即将后几层网络特征进行转换，从而使之适应新的任务或数据集。这样，训练出来的模型更具有增强性，也能更好地对已有知识进行应用。

图3为基于迁移学习的卷积神经网络+支持向量机分类器模型示意图，如图所示，其训练过程包括以下部分：

S301：输入正负样本集；

S302：进行样本预处理；

具体地，将样本尺寸归一化到N×N大小，例如28×28，正样本标记为1，负样本标记为-1，对所有样本的R、G、B值进行均值预处理得到样本的初始化图像矩阵。

S303：加载卷积神经网络结构模型；

具体地，这里指将从另外一个学习任务里面训练出来的卷积神经网络结构模型用于现有人流量统计任务上。在这里，我们使用的是早期已经训练好的卷积神经网络结构模型。

S304：微调卷积神经网络参数；

具体地，若加载的卷积神经网络结构模型源数据最终预测的类别数与目标数据即现有任务数据类别数不一致，则需要调节卷积神经网络最后两层结构(全连接层和softmax层)。另外，尽量保证处理图像归一化尺寸一致。在这里，由于我们所使用的训练样本与源训练样本均为二分类且处理图像大小一致，因而只对参数进行了微调。例如，将前面几层网络参数中的学习率(Learning Rate)设置为0，而保持后面几层网络参数不变。

S305：重新学习并训练卷积神经网络模型；

具体地，该过程包括以下部分：

(1)前向传播阶段：

1)对每张图像进行多次卷积和下采样操作。首先用多个模板滤波器去卷积输入的图像矩阵，输入的样本矩阵被映射到高维空间；然后对高维空间的特征映射进行下采样降维操作，其中，下采样输出的特征映射图数目不会变化，只有尺寸大小的变化；

2)利用卷积神经网络提取目标的特征表达，即把全连接层的输出作为特征表达(特征向量)，然后把该特征表达作为Softmax分类器的输入特征，得到样本的输出值。

(2)反向传播阶段：

1)首先计算前向传播阶段最后几层的各节点的激活值，并用于学习更新后几层网络结构模型；

2)在最后输出层计算输出值与相应的理想输出值之间的残差，同样计算隐藏层各节点的残差；

3)按梯度下降法极小化残差，反向传播调整卷积神经网络后几层权值参数。

S306：将卷积神经网络全连接层输出特征输入到支持向量机分类器进行训练；

S307：输出基于迁移学习的卷积神经网络+支持向量机分类器模型。

S104：根据航迹预测对待关联的候选目标范围进行限制；

具体地，对筛选得到的检测目标航迹进行预测，根据航迹预测对待关联的候选目标范围进行限制。在这里，我们使用均值漂移方法进行航迹预测，均值漂移跟踪的实质是通过对应的模板来确定目标的下一个位置。那么，我们可以通过指定的人头目标模板来迭代找到下一帧图像中新的人头目标中心点。通过以此人头目标中心点为中心，进行欧氏距离区域限制，得到所有中心点在候选区域内的关联目标进行后续匹配。均值漂移跟踪算法步骤如下：

1)确定当前帧指定人头目标的位置及核窗宽度并计算其概率密度；

2)以当前帧指定人头目标的位置为中心进行搜索，得到下一帧候选人头目标的中心位置坐标，并计算候选人头目标的概率密度；

3)度量当前帧与下一帧人头目标的相似性；

4)相似度最大的目标为下一帧图像中确定的人头目标。

S105：通过特征匹配进行目标航迹关联；

具体地，为了进一步确认下一帧图像中确定的人头目标的可靠性，通过对候选区域内所有中心点在区域范围内的待关联候选目标一一进行特征匹配。在此过程中，可以利用基于迁移学习的卷积神经网络+支持向量机提取到的全连接层的特征进行相关系数相似性度量匹配。首先设置两个阈值，若相似性度量匹配分数达到最高设限阈值，且得到的匹配分数最高，则将该检测目标确定其为当前帧指定目标的关联对象；若相似性度量匹配分数未达到最低设定阈值，则说明当前帧指定目标为虚假目标，应当舍弃。

另外，对于相似性度量匹配分数在两个设定阈值之间的检测目标，若它在匹配区域范围内仍存在未匹配目标，则将未匹配目标进行匹配分数排序。匹配分数最高目标与检测目标进行匹配，否则，若在匹配区域范围内不存在未匹配目标或匹配区域范围内不存在检测目标，则暂时保存该目标，使之与后面隔帧图像进行匹配关联。若隔帧图像在限定区域内存在未与其上一帧匹配关联目标，且满足达到最低阈值，则可与其匹配分数最高者进行关联即可。若此时仍未达到要求，仍先保存该目标，反复进行匹配关联，直到连续N帧均未匹配到，则被视为无效目标，进行舍弃，其具体匹配过程见图4所示。

S106：利用航迹信息进行人流量统计。

通过对能够匹配关联到的相应目标进行跟踪，当检测目标通过指定检测线或兴趣区域时进行双向计数，从而最终得到人流量统计结果并显示出来。在这里，通过对标志位的变化判断处理，得到最终的人流量统计结果。其过程如图5所示，目的是为了对通过检测线的人流量进行计数统计。具体过程包括：

(1)给待统计视频序列图像设置检测线并初始化人头检测信息。这里主要包括人头检测矩形框的坐标信息以及所处位置的标志位信息。

(2)更新图像，用于视频序列后面的不断判断与处理，使之更加连续。

(3)判定当前帧是否为有检测人头信息帧，若有，则赋予其所有检测框相应的标志位。标志位的设置主要是通过判断其与检测线的差值。在此我们根据检测线将整幅图像分成几个不同区域，因而将标志位设置成几个不同标志数。

(4)根据航迹预测对待关联人头进行欧氏距离范围限制。

(4)根据步骤S105对限制区域内的人头进行特征匹配，并对匹配到的人头目标进行航迹关联以及更新相应标志位用于后续判断。

(5)判断标志位是否发生变化，若发生变化则进行相应计数，否则更新图像继续进行判断。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于视频序列的人流量统计方法，其特征在于：包括以下步骤：

1)获取视频，通过采样得到视频序列；

2)通过候选区域检测模块进行粗检测得到候选目标区域；

3)利用基于迁移学习的卷积神经网络+支持向量机分类器模型对候选区域进行进一步筛选得到检测目标；

在步骤3)中，基于迁移学习的卷积神经网络+支持向量机分类器模型中迁移学习是在已有卷积神经网络结构模型的基础上进行微调后重新训练，且卷积神经网络采用多层网络结构，取全连接层特征向量作为卷积神经网络提取到的特征，输入到支持向量机进行模型训练，输出即为基于迁移学习的卷积神经网络+支持向量机分类器模型；

重新学习并训练卷积神经网络模型，具体包括以下部分：

A)前向传播阶段：

a)对每张图像进行多次卷积和下采样操作；首先用多个模板滤波器去卷积输入的图像矩阵，输入的样本矩阵被映射到高维空间；然后对高维空间的特征映射进行下采样降维操作，其中，下采样输出的特征映射图数目不会变化，只有尺寸大小的变化；

b)利用卷积神经网络提取目标的特征表达，即把全连接层的输出作为特征表达，然后把该特征表达作为Softmax分类器的输入特征，得到样本的输出值；

B)反向传播阶段：

a)首先计算前向传播阶段最后几层的各节点的激活值，并用于学习更新后几层网络结构模型；

b)在最后输出层计算输出值与相应的理想输出值之间的残差，同样计算隐藏层各节点的残差；

c)按梯度下降法极小化残差，反向传播调整卷积神经网络后几层权值参数；

4)根据航迹预测对待关联的候选目标范围进行限制；

5)通过特征匹配进行目标航迹关联；

6)利用航迹信息进行人流量统计。

2.根据权利要求1所述的一种基于视频序列的人流量统计方法，其特征在于：在步骤2)中，通过候选区域检测模块进行粗检测得到候选区域，采用以下几类方法得到候选区域：

21)基于检测的方法：这类方法利用训练好的目标分类器，对图像进行扫描得到疑似目标区域；

22)基于碎片聚合的方法：这类方法首先将图片打碎，然后再聚合；

23)基于给滑动窗口打分的方法：这类方法是先生成候选框，然后利用某些方法或者准则直接打分排序来过滤掉低分的候选框。

3.根据权利要求1所述的一种基于视频序列的人流量统计方法，其特征在于：在步骤4)中，对筛选得到的检测目标航迹进行预测，根据航迹预测对待关联的候选目标范围进行限制；由于相邻帧间行人目标的空间位置变化不大，因而通过设置合适的阈值进行距离区域限制，或者利用均值漂移、卡尔曼滤波或粒子滤波来预测当前帧的指定目标在下一帧可能出现的空间位置，从而以此目标为中心进行区域限制处理。

4.根据权利要求1所述的一种基于视频序列的人流量统计方法，其特征在于：在步骤5)中，通过步骤4)得到候选区域，对候选区域内所有中心点在区域范围内的待关联候选目标一一进行特征匹配，通过特征匹配进行目标航迹关联；在此过程中，通过设置两个阈值，若匹配分数达到最高设限阈值，且得到的匹配分数最高，说明该目标最相关，则将该检测目标确定为当前帧指定目标的关联对象，若匹配分数未达到最低设定阈值，则说明当前帧指定目标为虚假目标，应当舍弃。

5.根据权利要求4所述的一种基于视频序列的人流量统计方法，其特征在于：对于匹配分数在两个设定阈值之间的检测目标，若在匹配区域范围内仍存在未匹配对象，则可根据分数高低与匹配分数最高的检测目标进行匹配，否则，若在匹配区域范围内不存在未匹配对象或匹配区域范围内不存在检测目标，则暂时保存该目标，使之与后面隔帧图像进行匹配关联，若隔帧图像在限定区域内存在未与其上一帧匹配关联目标，且满足达到最低阈值，则可与其匹配分数最高者进行关联即可，若此时仍未达到要求，仍先保存该目标，反复进行匹配关联，直到连续N帧均未匹配到，则被视为无效目标，进行舍弃。

6.根据权利要求1所述的一种基于视频序列的人流量统计方法，其特征在于：在步骤6)中，通过能够匹配关联到的相应目标航迹信息进行跟踪，当检测目标通过指定检测线或兴趣区域时进行双向流计数，从而最终得到人流量统计结果并显示出来，在这里，通过标志位的变化、位移差或光流方向来判断行人运动方向，从而根据其相应的变化进行计数。