CN110751023A - 一种用于视频流的串联行人检测方法 - Google Patents

Abstract

本发明涉及一种用于视频流的串联行人检测方法，通过获得视频流，首先确定若干与行人对应的检测区域，随后针对每个检测区域提取特征，以训练完成的分类器进行行人检测，在完成所有的检测区域的检测后输出检测结果。本发明通过运动目标检测算法确定目标所在区域，行人检测只在运动目标所在区域进行，无需对全图进行检测，在确保准确率的前提下提高了行人检测的速度，从增强特征对比度和降低特征维度的角度出发对传统HOG做出改进，提出了EHOG‑PCA特征，并提出了EHOG‑PCA特征结合Adaboost分类器的行人检测方法，两者结合后，能够满足系统实时性要求，同时保持了较高的识别率。

Description

一种用于视频流的串联行人检测方法

技术领域

本发明涉及数据识别；数据表示；记录载体；记录载体的处理的技术领域，特别涉及一种用于视频流的串联行人检测方法。

背景技术

行人检测是用于检测图像中的行人、并给出行人位置信息的图像分析技术，其作为机器视觉领域研究的热点，被广泛应用于自动驾驶、行为分析、可视化安防等领域。

2005年Dalta等人提出了HOG特征描述子后，行人检测技术进入快速发展阶段；HOG特征用于描述图像中像素值的梯度信息，该特征对行人边缘信息描述充分，对光照变化不敏感，目前仍是行人检测领域中应用最广泛的特征算子。HOG特征结合SVM分类器的行人检测方法在INRIA数据集上检测精度可达90％以上，但是由于HOG特征高维度的特点、以及SVM分类器本身计算复杂度高的原因，导致检测速度较慢，无法在视频流中进行实时行人检测。

在此研究成果基础上，学者们提出了很多改进的方法：

为进一步提高检测精度，李盈盈等人提出了一种基于改进HOG特征的行人检测方法，该方法将LBP(Local Binary Pattern)特征、CSS特征(Color Self-Similarity)和HOG特征进行结合，采用Adaboost分类器进行行人检测，在INRIA数据集检测准确率提高到99％，但由于提取特征种类增加导致检测速度变得更慢；

为提高检测速度，龚露鸣等人提出一种用于视频流的快速行人检测方法，该方法首先利用基于高斯模型的背景差分法进行运动目标提取，然后在对运动目标进行人体识别，通过缩小检测区域的方式提高了行人检测的速度，达到可在视频流进行实时行人检测的目的，但是该方法对前景分割效果依赖较大，在复杂场景下仅通过高斯背景建模无法进行较好的前景分割；

经典行人检测算法DPM(Deformable Part Model)针对目标多视角问题设计了多组件策略，将行人目标拆解为多个组件部分再进行多尺度HOG检测，提高了检测准确率；

此外，近年来深度学习的算法在行人检测上的应用也越来越广泛，其在速度和准确率上普遍优于传统机器学习算法，但对硬件性能要求较高，现有的方法并不能很好的实现检测。

发明内容

为了解决现有技术中存在的问题，本发明提供一种优化的用于视频流的串联行人检测方法。

本发明所采用的技术方案是，一种用于视频流的串联行人检测方法，所述方法包括以下步骤：

步骤1：获得视频流I_k；

步骤2：基于视频流确定若干与行人对应的检测区域；

步骤3：针对任一检测区域提取特征，以训练完成的分类器进行行人检测；

步骤4：若所有的检测区域已进行行人检测，则输出检测结果，否则，返回步骤3。

优选地，所述步骤2包括以下步骤：

步骤2.1：对视频流I_k进行处理，获得前景二值图R_k；

步骤2.2：对R_k进行连通域检测，基于每个连通区域，对若干前景目标分别标记最小外接矩形，得到最小外接矩形序列Rect[m]，其中，m为前景目标的数量；

步骤2.3：将最小外接矩形序列Rect[m]对应到视频流中，确定视频流I_k中需要进行行人检测的若干区域ROI[i]，其中，i为1至m的整数。

优选地，所述步骤2.3中，依次在ROI[i]上进行行人检测，并统计人数。

优选地，所述步骤2.3包括以下步骤：

步骤2.3.1：若任一Rect[i]的宽和高均不小于特征提取块的宽和高，则不做处理，否则，进行下一步；

步骤2.3.2：以Rect[i]中心为参考点，将Rect[i]的长和/或宽对应扩展至特征提取块的尺寸。

优选地，所述步骤2.3.2中，当扩展后的长或宽到达I_k边缘时，处于边缘的长或宽的扩展停止，宽或长方向的扩展继续，直至补足特征提取块的对应边的尺寸。

优选地，所述步骤3包括以下步骤：

步骤3.1：针对任一检测区域提取HOG特征，进行特征增强处理，得到EHOG特征；

步骤3.2：对EHOG特征进行PCA降维处理，得到EHOG-PCA特征；

步骤3.3：以训练完成的Adaboost分类器对任一检测区域的EHOG-PCA特征进行行人检测。

优选地，所述步骤3.1包括以下步骤：

步骤3.1.1：将视频流I_k做灰度图像处理，以Gamma校正法对图像进行归一化处理，降低对比度；

步骤3.1.2：计算经Gamma校正后的图像中像素的水平和垂直梯度；

步骤3.1.3：计算当前特征提取块内cell幅值的均值

其中，g_c,sum表示当前cell的内梯度值，n为特征提取块内cell的个数；

步骤3.1.4：对当前特征提取块内每个cell的梯度值按照式做出调整，

其中，g_c(x,y)表示当前cell内(x,y)位置梯度值，a₁、a₂、a₃为调整系数，a₁<a₂<a₃且0<a₁<1，a₃>1；

步骤3.1.5：串连调整过的cell得到特征提取块的特征描述子，将所有特征描述子串连得到EHOG特征。

优选地，所述步骤3.2包括以下步骤：

步骤3.2.1：对EHOG特征的m维数据集进行中心化处理；

步骤3.2.2：计算协方差矩阵Σ，并进行奇异值分解；

步骤3.2.3：将所有的特征值由大到小排序，取n个特征值对应的特征向量生成降为n维的新特征，得到EHOG-PCA特征。

优选地，所述步骤3.3中，训练完成的Adaboost分类器在构建弱分类器阶段使用决策树分类器。

本发明提供了一种优化的用于视频流的串联行人检测方法，通过获得视频流，首先确定若干与行人对应的检测区域，随后针对每个检测区域提取特征，以训练完成的分类器进行行人检测，在完成所有的检测区域的检测后输出检测结果。

本发明通过运动目标检测算法确定目标所在区域，行人检测只在运动目标所在区域进行，无需对全图进行检测，在确保准确率的前提下提高了行人检测的速度，从增强特征对比度和降低特征维度的角度出发对传统HOG做出改进，提出了EHOG-PCA特征，并提出了EHOG-PCA特征结合Adaboost分类器的行人检测方法，两者结合后，能够满足系统实时性要求，同时保持了较高的识别率。

附图说明

图1为本发明的流程图；

图2为本发明中HOG特征和改进的HOG特征的可视化比较图，其中虚线为改进的HOG特征，实线为HOG特征。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种用于视频流的串联行人检测方法，主要用于近景监控，远景过小的目标不在范围内，且当行人静止不动时，不认为是异常行为(待监控检测行为)，因此不进行行为识别。

所述方法包括以下步骤。

步骤1：获得视频流I_k。

本发明中，以k作为下标进行标识。

步骤2：基于视频流确定若干与行人对应的检测区域。

所述步骤2包括以下步骤：

步骤2.1：对视频流I_k进行处理，获得前景二值图R_k；

步骤2.2：对R_k进行连通域检测，基于每个连通区域，对若干前景目标分别标记最小外接矩形，得到最小外接矩形序列Rect[m]，其中，m为前景目标的数量；

步骤2.3：将最小外接矩形序列Rect[m]对应到视频流中，确定视频流I_k中需要进行行人检测的若干区域ROI[i]，其中，i为1至m的整数。

所述步骤2.3中，依次在ROI[i]上进行行人检测，并统计人数。

所述步骤2.3包括以下步骤：

步骤2.3.1：若任一Rect[i]的宽和高均不小于特征提取块的宽和高，则不做处理，否则，进行下一步；

步骤2.3.2：以Rect[i]中心为参考点，将Rect[i]的长和/或宽对应扩展至特征提取块的尺寸。

所述步骤2.3.2中，当扩展后的长或宽到达I_k边缘时，处于边缘的长或宽的扩展停止，宽或长方向的扩展继续，直至补足特征提取块的对应边的尺寸。

本发明中，行人检测算法的速度不仅与自身算法复杂度有关，也与检测图像的大小有直接关系，通常图像尺寸越大，检测速度越慢；一般来说，本发明的视频序列规格为320×240，经实验测试，EHOG-PCA特征结合Adaboost分类器的行人检测方法对规格为320×240的图像进行行人检测时平均时间需约320毫秒，将无法满足系统实时性的要求，基于此，为尽可能压缩系统行人检测流程所需时间，首先划定需要检测的检测区域，缩短检测时间。

本发明中，行人检测区域需至少包含特征提取中设定的一个特征提取块的大小，如32×32，否则行人检测算法在特征提取过程中将出现异常。

本发明中，所述步骤2.3中，依次在ROI[i]上进行行人检测，并统计人数，若为单人则还需记录行人位置，为单人摔倒行为分析提供所需数据；由于此前已经进行了二值图处理，故最终统计人数为统计白色区块(点)数。

本发明中，串联行人检测方法通过确定运动目标所在区域只在运动目标所在局部区域进行行人检测，通过缩小检测范围的方法提升了检测速度。

本发明中，串联行人检测方法的识别率均达到90％以上，平均检测时间都在100ms以下，在满足系统实时性要求的同时保持了较高的检测精度。

步骤3：针对任一检测区域提取特征，以训练完成的分类器进行行人检测。

所述步骤3包括以下步骤：

步骤3.1：针对任一检测区域提取HOG特征，进行特征增强处理，得到EHOG特征；

所述步骤3.1包括以下步骤：

步骤3.1.1：将视频流I_k做灰度图像处理，以Gamma校正法对图像进行归一化处理，降低对比度；

步骤3.1.2：计算经Gamma校正后的图像中像素的水平和垂直梯度；

步骤3.1.3：计算当前特征提取块内cell幅值的均值

其中，g_c,sum表示当前cell的内梯度值，n为特征提取块内cell的个数；

步骤3.1.4：对当前特征提取块内每个cell的梯度值按照式做出调整，

其中，g_c(x,y)表示当前cell内(x,y)位置梯度值，a₁、a₂、a₃为调整系数，a₁<a₂<a₃且0<a₁<1，a₃>1；

步骤3.1.5：串连调整过的cell得到特征提取块的特征描述子，将所有特征描述子串连得到EHOG特征。

本发明中，HOG特征即方向梯度直方图特征，是一种通过目标边缘密度的分布来对目标形状进行描述的特征算子，被广泛应用于计算机视觉和图像处理中。HOG特征采用依次提取目标局部特征再进行串联的方式提取，因此所有的计算只在目标局部区域进行，避免了光照和图像几何形变的影响；因此HOG特征具有良好的几何不变性和光照不变性；此外，HOG特征通过串联局部信息描述目标整体形状的方式对目标姿态的变化具有很好的宽容度；在行人检测中，只要人体姿态大致不变，小幅度的肢体动作不会对检测效果产生影响，因此HOG特征特别适用于行人检测。

本发明中，HOG特征的基本单位称为细胞单元(cell)，每个细胞单元由n×n个像素组成，N×N个细胞单元组成一个块(block)；HOG特征的提取以block尺寸的滑动窗口为掩码，进行滑窗扫描提取；HOG特征具体提取过程如下：

1)将彩色图像转换为灰度图像，记作I，然后使用Gamma校正法对图像进行归一化处理，I(x,y)＝I(x,y)^γ，γ通常取0.5；经Gamma校正后，灰度图的对比度降低，进而减弱了光照对提取HOG特征的影响；

2)计算经Gamma校正后的图像中像素的水平梯度

和垂直梯度其中，f(x,y)为图像灰度曲线；梯度幅值为

方向为

3)将梯度方向分为九个区间，建立梯度直方图统计cell在每个区间梯度幅值的分布情况，生成的9维特征向量为该cell的特征描述子(descriptor)；

4)将块内所有细胞单元的特征描述子串联起来并进行归一化处理，生成该块的特征描述子；

5)滑窗扫描完成后，将所有块的特征描述子串联起来得到图像I的HOG特征。

本发明中，为提高检测精度、提高检测速度，进一步从增强HOG特征对比度和降低HOG特征维数两方面对HOG特征进行了改进，提出一种EHOG-PCA特征。

本发明中，特征增强是指提高特征的对比度，经特征增强处理后的HOG特征，本文称为EHOG(Enhanced HOG)特征；在提取HOG特征的过程中，首先计算出当前block的梯度值均值，再按对该block内每个cell的梯度值按照式做出调整，以保证调整后的梯度值小的进一步缩小，大的进一步放大，梯度值的对比度得到增强；串连调整过的cell特征描述子得到block的特征描述子，最后将所有block的特征描述子串连得到EHOG特征。

本发明中，一般情况下，a₁＝0.6，a₂＝1，a₃＝1.4。

本发明中，经过特征增强处理，梯度直方图中梯度值小的bin得到进一步压缩，梯度值大的bin得到进一步放大，直方图方的差增大，对比度显著增强，cell单元特征描述子的局部描述能力得到增强，如图2所示。

步骤3.2：对EHOG特征进行PCA降维处理，得到EHOG-PCA特征；

所述步骤3.2包括以下步骤：

步骤3.2.1：对EHOG特征的m维数据集进行中心化处理；

步骤3.2.2：计算协方差矩阵Σ，并进行奇异值分解；

步骤3.2.3：将所有的特征值由大到小排序，取n个特征值对应的特征向量生成降为n维的新特征，得到EHOG-PCA特征。

本发明中，PCA(Principal Component Analysis)即主成分分析法，是一种经典的无监督线性降维算法，其核心思想是寻找高维度特征在低维度空间映射的关系，并以此为依据将各维度特征线性组合，生成低维度新特征来表示数据；PCA降维算法通过使数据在所投影维度方差最大来保证低维特征的不相关性。

本发明中，将m维数据集D＝{x⁽¹⁾,x⁽²⁾,…,x^(m)}，使用PCA降维算法降到n维的算法流程如下：

1)对数据集D进行中心化处理，

2)计算协方差矩阵Σ，

3)将Σ进行奇异值分解；

4)将特征值由大到小进行排序，取前n个特征值对应的特征向量生成降为n维的新特征；即在PCA降维过程中抛弃数据中贡献率小的成分，这使得降维后的数据不如原始样本完整；若抛弃的成分中包含表征样本差异的重要信息，降维特征使用效果将大打折扣。

本发明中，为在保证准确率的前提下确认最合适的EHOG-PCA特征维数，分析确认特征维数的最佳取值，在特征维度为350时，检测识别率最高，维度大于350后，特征维度与识别率不再成正相关性，识别率在91.5％左右波动，故取EHOG-PCA维度为350维，使用EHOG特征进行行人检测较使用HOG特征的识别率得到提升，由0.8814提升到0.9150，提升了3.8％。

本发明中，HOG特征、EHOG特征、EHOG-PCA特征在识别率、漏检率上明显优于其他算法。相较HOG特征，使用Haar特征和LBP特征训练所得的分类器识别率较低，只有76.32％、65.81％，使用EHOG和EHOG-PCA特征的识别率较传统HOG特征提升明显，其中EHOG-PCA特征识别率最高，达92.08％；从漏检率数据可以看出，EHOG和EHOG-PCA特征的漏检率最低，二者基本持平，其中使用EHOG-PCA特征构建的分类器将漏检率降低到了2.36％，较传统HOG特征构建的分类器降低了3.29％；在检测时间上，使用EHOG-PCA特征的算法检测时间明显优于其他几种未进行降维处理的算法，仅需51毫秒，而HOG特征结合SVM分类器经典行人检测方法在INRIAPerson数据库上平均检测时间需102毫秒，检测准确率为92％；本发明在检测速度和检测效率上兼有明显提升。

本发明中，EHOG-PCA特征对传统HOG特征进行了先增强后降维处理，进一步提升了特征对目标的描述能力以及算法检测速度。

步骤3.3：以训练完成的Adaboost分类器对任一检测区域的EHOG-PCA特征进行行人检测。

所述步骤3.3中，训练完成的Adaboost分类器在构建弱分类器阶段使用决策树分类器。

本发明中，Adaboost(Adaptive Boosting)算法被评为机器学习十大算法之一，属于监督学习范畴，于1995年由Freund和Schapirre提出，以低漏检率、高速度的优越性能，在深度学习算法出现以前曾被认为是最优秀的监督学习算法，广泛应用于数据挖掘、模式识别、目标检测等领域。

本发明中，Adaboost算法通过多次迭代的方式从一定数量的弱分类器中选择最出最优弱分类器——弱分类器是指在二分类的情况下错误率略高于50％，比随机猜测略好的分类器——通过迭代选择出的最优弱分类器称为强分类器；迭代结束后，将强分类器按一定规则再次筛选、级联生成最终的检测分类器；理想情况下，只要参与构建强分类器的弱分类器数量足够多，最终生成的检测分类器错误率可无限接近于零。

本发明中，Adaboost算法的具体流程如下：设样本为总数l的样本集S＝{(x₁,y₁),(x₂,y₂),…,(x_l,y_l)}，x_i表示样本特征向量，y_i为样本类别标签，y_i＝1代表正样本，y_i＝0代表负样本；S中有m个正样本，n个负样本，每个样本特征维数为k；

1)初始化样本权重，正样本权重

负样本权重

2)迭代训练弱分类器，t＝1,2,…,T，T表示训练次数，每次迭代生成一个最优弱分类器：

(a)权重归一化；

(b)对于特征j，按照归一化后的权重训练弱分类器h_t,j；当前权重下的误差

其中，弱分类器取值

其中，f_j表示第j个特征的特征值，θ_j表示阈值，p∈{-1,1}，表示分类方向；ε_t,j即为被错误分类样本的权值之和，选择本次迭代训练中误差ε_t最小的弱分类器h_t加入到强分类器中，ε_t＝min(ε_t,j),1≤j≤k；

(c)更新样本权重

用于下次训练使用，其中，β＝ε_t/(1-ε_t)，若样本x_i被本次迭代选中的h_t正确分类则e_i＝0，反之则e_i＝1；由于ε_t小于0.5(非最优弱分类器错误率低于50％)，使得正确分类样本权重减小，错误分类样本权重增加；

3)T轮迭代完成后，将每次迭代选择出的最优弱分类器组合，形成最终检测分类器其中，α_t为弱分类器h_t(x)的权重，γ为分类器判别阈值，

本发明中，使用准备好的样本集训练生成Adaboost分类器，输入待检测图像使用训练好的Adaboost分类器检测，提取窗口特征进行行人检测，判定窗口中是否存在行人。

步骤4：若所有的检测区域已进行行人检测，则输出检测结果，否则，返回步骤3。

本发明通过获得视频流，首先确定若干与行人对应的检测区域，随后针对每个检测区域提取特征，以训练完成的分类器进行行人检测，在完成所有的检测区域的检测后输出检测结果。

本发明通过运动目标检测算法确定目标所在区域，行人检测只在运动目标所在区域进行，无需对全图进行检测，在确保准确率的前提下提高了行人检测的速度，从增强特征对比度和降低特征维度的角度出发对传统HOG做出改进，提出了EHOG-PCA特征，并提出了EHOG-PCA特征结合Adaboost分类器的行人检测方法，两者结合后，能够满足系统实时性要求，同时保持了较高的识别率。

Claims (9)

1.一种用于视频流的串联行人检测方法，其特征在于：所述方法包括以下步骤：

步骤1：获得视频流I_k；

步骤2：基于视频流确定若干与行人对应的检测区域；

步骤3：针对任一检测区域提取特征，以训练完成的分类器进行行人检测；

步骤4：若所有的检测区域已进行行人检测，则输出检测结果，否则，返回步骤3。

2.根据权利要求1所述的一种用于视频流的串联行人检测方法，其特征在于：所述步骤2包括以下步骤：

步骤2.1：对视频流I_k进行处理，获得前景二值图R_k；

步骤2.2：对R_k进行连通域检测，基于每个连通区域，对若干前景目标分别标记最小外接矩形，得到最小外接矩形序列Rect[m]，其中，m为前景目标的数量；

步骤2.3：将最小外接矩形序列Rect[m]对应到视频流中，确定视频流I_k中需要进行行人检测的若干区域ROI[i]，其中，i为1至m的整数。

3.根据权利要求2所述的一种用于视频流的串联行人检测方法，其特征在于：所述步骤2.3中，依次在ROI[i]上进行行人检测，并统计人数。

4.根据权利要求2所述的一种用于视频流的串联行人检测方法，其特征在于：所述步骤2.3包括以下步骤：

步骤2.3.1：若任一Rect[i]的宽和高均不小于特征提取块的宽和高，则不做处理，否则，进行下一步；

步骤2.3.2：以Rect[i]中心为参考点，将Rect[i]的长和/或宽对应扩展至特征提取块的尺寸。

5.根据权利要求1所述的一种用于视频流的串联行人检测方法，其特征在于：所述步骤2.3.2中，当扩展后的长或宽到达I_k边缘时，处于边缘的长或宽的扩展停止，宽或长方向的扩展继续，直至补足特征提取块的对应边的尺寸。

6.根据权利要求1所述的一种用于视频流的串联行人检测方法，其特征在于：所述步骤3包括以下步骤：

步骤3.1：针对任一检测区域提取HOG特征，进行特征增强处理，得到EHOG特征；

步骤3.2：对EHOG特征进行PCA降维处理，得到EHOG-PCA特征；

步骤3.3：以训练完成的Adaboost分类器对任一检测区域的EHOG-PCA特征进行行人检测。

7.根据权利要求6所述的一种用于视频流的串联行人检测方法，其特征在于：所述步骤3.1包括以下步骤：

步骤3.1.1：将视频流I_k做灰度图像处理，以Gamma校正法对图像进行归一化处理，降低对比度；

步骤3.1.2：计算经Gamma校正后的图像中像素的水平和垂直梯度；

步骤3.1.3：计算当前特征提取块内cell幅值的均值

其中，g_c,sum表示当前cell的内梯度值，n为特征提取块内cell的个数；

步骤3.1.4：对当前特征提取块内每个cell的梯度值按照式做出调整，

其中，g_c(x,y)表示当前cell内(x,y)位置梯度值，a₁、a₂、a₃为调整系数，a₁<a₂<a₃且0<a₁<1，a₃>1；

步骤3.1.5：串连调整过的cell得到特征提取块的特征描述子，将所有特征描述子串连得到EHOG特征。

8.根据权利要求6所述的一种用于视频流的串联行人检测方法，其特征在于：所述步骤3.2包括以下步骤：

步骤3.2.1：对EHOG特征的m维数据集进行中心化处理；

步骤3.2.2：计算协方差矩阵Σ，并进行奇异值分解；

步骤3.2.3：将所有的特征值由大到小排序，取n个特征值对应的特征向量生成降为n维的新特征，得到EHOG-PCA特征。

9.根据权利要求1所述的一种用于视频流的串联行人检测方法，其特征在于：所述步骤3.3中，训练完成的Adaboost分类器在构建弱分类器阶段使用决策树分类器。

Images