CN103310194A - 视频中基于头顶像素点梯度方向的行人头肩部检测方法 - Google Patents

Abstract

本发明涉及视频图像处理技术领域，具体为视频中行人头肩部的检测方法，解决了现有的视频中行人检测方法存在的效率低、漏检率高、精度低的问题。一种视频中基于头顶像素点梯度方向的行人头肩部检测方法，采用均值法对视频的场景进行背景建模，提取视频图像的前景；利用头顶像素点的梯度方向具有固定范围这一特性在前景中找出头顶候选点，根据该点的坐标计算出头肩部的尺寸大小和位置，作为人体头肩部的待测窗口；提取待测窗口的HOG特征和HSV颜色特征输入到分类器中检测待测窗口是否为人体头肩部。本发明既可以提高行人检测精确度，也能够提高检测系统的效率，还可以应用在复杂背景的场景中，降低因行人身体被遮挡而造成的漏检率。

Description

视频中基于头顶像素点梯度方向的行人头肩部检测方法

技术领域

本发明涉及视频图像处理技术领域，具体为视频中行人头肩部的检测方法。

背景技术

视频监控场景中的行人检测在辅助驾驶、安防监控、客流量统计等方面有着重要的作用，因为行人检测是跟踪和识别等重要技术的基础。由于实际应用场景中存在行人姿态各异、人体被遮挡、光照突变以及背景环境扰动等问题，所以如何在复杂背景的视频中快速和精确地检测行人仍是视频图像处理技术领域的一个重点和难点。

现有的视频中行人检测方法主要分为三个方面：基于运动信息、基于模型匹配和基于统计分类。其中基于统计分类方法的鲁棒性较好，是目前行人检测技术中最为常用的方法（参考：贾慧星，章毓晋.车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述[J].自动化学报，2007，33(1):84-90）。并且在该类方法中，最具影响的是2005年Dalal提出的HOG（Histogram of Oriented Gradient）特征描述与SVM分类器相结合的方法。HOG特征通过描述图像局部区域内梯度方向和强度的分布情况，很好地表征了目标的形状和外观，具有优良的检测性能（参考：Dalal N，Triggs B.Histograms of oriented gradients forhuman detection[C].Proceedings of IEEE Conference on ComputerVision and Pattern Recognition(CVPR)，2005:886-893.）。

虽然HOG特征有很好的实用性，但Dalal在实验中对原始图像进行密集扫描获得待测窗口，且将待测窗口分成若干个16×16固定大小的方块（Block）。一方面，这种滑动窗口搜索法使待测窗口的数量太大，影响了系统的检测速度。另一方面，固定大小的Block所含的信息量太少，容易产生漏检。因此许多学者提出了改进方法。杨小康等（上海交通大学.基于前景分析和模式识别的行人检测方法[P]：中国发明专利，201110081075.3.2011-08-10.）在发明中利用轮廓特征和行人高度先验模型分析前景获得行人的采样区域，该方法可以提高检测速度但是造成较高的易漏检率。Zhu等学者（Zhu Q，Avidan S,Yeh MC，et al.Fast Human Detection Using a Cascade of Histograms ofOriented Gradients.[C].Proceedings of IEEE Conference on ComputerVision and Pattern Recognition(CVPR)，2006:1491-1498.）将待测图片按不同比例划分成大小不同的Block，并采用级联AdaBoost进行分类。该方法虽然在一定程度上降低了漏检率并提高了检测速度，但是其训练时间过长。陈锐等学者（陈锐,彭启民.基于稳定区域梯度方向直方图的行人检测方法[J].计算机辅助设计与图形学学报，2012，24(3):372-377.）将待测窗口划分为大小不一的Block，然后选取HOG特征稳定性最高的多个Block作为最终的HOG特征提取块。该方法剔除了冗余的Block从而在一定程度上提高了检测效率，但Block存在交叉重叠，使得提取的特征也有较大的冗余信息。Sung-Tae An等学者（Sung-Tae An，Jeong-Jung Kim，Joon-Woo Lee，et al.Fast HumanDetection Using Gaussian Particle Swarm Optimization[C].5th IEEEInternational Conference on Digital Ecosystems and Technologies，2011:143-146）利用高斯蚁群算法预测行人的位置，然后提取HOG特征，采用SVM分类器进行判断。但是蚁群算法收敛速度慢且易陷入局部最优。另外，如Wang等学者（Wang X Y，Han T X，Yan S C.An HOG-LBP human detector with partial occlusion handling[C]//Proceedings of the12th IEEE International Conference on ComputerVision.Los Alamitos:IEEE Computer Society Press，2009:32-39）针对行人存在遮挡等情况，采取基于部件检测算子检测等方法以降低漏检率；如Mu等学者（Mu Y D，Yan S C，Liu Y，et al.Discriminative localbinary patterns for human detection in personal album[C]//Proceedings ofIEEE Conference on Computer Vision and Pattern Recognition.LosAlamitos:IEEE Computer Society Press，2008:1-8）将其他特征与HOG特征相结合以提高精确度。但改进后的算法无法同时兼顾系统的高效率、低漏检率和高精度。

发明内容

本发明为了解决现有的视频中行人检测方法存在的效率低、漏检率高、精度低的问题，提供了一种视频中基于头顶像素点梯度方向的行人头肩部检测方法。

本发明是采用如下技术方案实现的：

一种视频中基于头顶像素点梯度方向的行人头肩部检测方法，包括如下步骤：

（1）、在训练样本中，提取行人头肩部样本的HOG特征和头部样本的HSV颜色特征，采用SVM机器学习分类器训练生成头肩部SVM分类器，具体如下：

a、提取头肩部正负样本的HOG特征：将大小为64×64像素的头肩部正负样本分割成64个大小为8×8的单元格，然后把0～180°内的梯度方向均匀划分成9个区间，在每个单元格内将所有像素的梯度值在各个方向区间进行直方图统计，便得到一个9维的特征向量，每相邻的4个单元格组合成一个方块，最后将每个方块中的36维特征向量进行归一化处理，即提取的头肩部正负样本的HOG特征维数为7×7×36=1764维；

b、提取头部正负样本的HSV（Hue Saturation Value，分别表示色彩的3个要素：色调、饱和度和亮度)颜色特征：将大小为32×32像素的头部正负样本分为4×4个大小为8×8的块，在每一个块中计算该块中像素点的HSV颜色的均值，并将16个块的颜色的均值排列起来形成特征，即提取的头部正负样本的HSV颜色特征维数为16×3=48维；

c、采用Dalal的实验方法，取惩罚因子C=0.01，用SVM机器学习方法对头肩部正负样本的HOG特征和头部正负样本的HSV颜色特征进行分类，得到头肩部SVM分类器。

（2）、获取待测视频中的某一帧图像的前景图像，过程如下：

采用均值背景建模法对视频背景进行建模，利用减除法和形态学后处理，提取视频图像帧的前景图像。本领域技术人员均知道如何提取前景图像，不存在技术难度。

（3）、在前景图像中确定头顶候选点：在前景图像的灰度图像中，选取梯度方向在[85°，95°]范围内且像素值在垂直方向的变化大于25的像素点，作为头顶候选点。

（4）、定位出行人头肩部的待测窗口：

首先，在待测视频中选取不小于10帧视频图像帧作为样本视频图像帧，记录行人头顶像素点的坐标，并用1:1大小的矩形框标记行人头肩部的宽度，采集多组（例如40组，本领域技术人员根据实际要求容易确定，只要得出二者之间的对应关系即可）行人头顶像素点的坐标和头肩部宽度信息，通过最小二乘法拟合出头肩部的宽度和头顶点坐标之间的关系；

然后，检测时，在待测视频图像帧中，根据检测到的头顶候选点的坐标便可计算出行人头肩部的位置和大小，即定位出头肩部的待测窗口。

（5）、提取步骤（4）得出的行人头肩部的待测窗口的HOG特征和HSV颜色特征，输入到步骤（1）获得的头肩部SVM分类器中，判别待测窗口是否为行人头肩部，如果是，则提取；如果否，则放弃；实现待测视频图像帧中的行人头肩部检测。

上述方法的原理如下：由于检测行人时，大多情况下希望检测出带有头肩部的人体，即头肩部对行人具有较好的代表性。并且头肩部的形状较全身或其他肢体更稳定，所以选择头肩部作为行人目标检测的对象。人的头顶是椭圆形，经过计算头顶像素点的梯度方向发现，其值基本在90°左右，如图2所示，（a）和（c）分别为不带帽子和戴帽子的人体头部，其大小均为32×32像素。计算图像中每个像素点的梯度方向，得到其梯度方向示意图，分别对应为（b）和（d）。从（b）和（d）所示的边缘图可以看出，人体头顶像素点梯度的切线方向在90°左右，并且发型和帽子的不同对头顶的形状变化很小。为了避免漏选人头，故将头顶像素点的梯度范围定为[85°，95°]。此外，经观察发现，头顶像素点的像素值在垂直方向的变化均大于某一阈值。因此，可以根据梯度方向在[85°，95°]范围内且像素值在垂直方向的变化大于设定阈值的像素点快速确定行人头肩部。

本发明与传统的滑动窗口搜索方法相比，根据头顶梯度可以快速确定待测窗口，提高了检测的效率；与检测全身相比，仅检测头肩部降低了因行人身体被遮挡而造成的漏检率；提取HOG和HSV颜色特征，提高了检测的精确性。

本发明设计合理，提供的算法在实时性、漏检率和精确性三方面进行了改进，提高了行人检测系统的性能，从而有助于后续的行人分析，解决了现有的视频中行人检测方法存在的效率低、漏检率高、精度低的问题。

附图说明

图1是本发明的工作流程图。

图2是头部图像的像素点梯度方向示意图。

图3是快速定位头肩部待测窗口的工作流程图。

图4是固定摄像机拍摄的视频中的某一帧视频图像帧。

图5是头顶像素点和头肩部采样示意图。

图6是头肩部和头部的正样本示例。

图7是头肩部和头部的负样本示例。

图8是头肩部和头部样本大小的对应关系。

图9是训练SVM分类器的工作流程图。

图10是视频中某一帧待测视频图像帧。

图11是图10的前景图像提取结果图。

图12是图10的头顶候选点选取结果图。

图13是确定图10的待测窗口的结果图。

图14是图10中行人头肩部的检测结果图。

图15是后续视频图像帧的行人头肩部的检测结果图。

具体实施方式

下面结合附图对本发明的具体实施例进行详细说明。

图4是一摄像机拍摄的视频中的某一帧图像，视频的帧频为25f/s（帧/秒），分辨率为320×240。

一种视频中基于头顶像素点梯度方向的行人头肩部检测方法，包括如下步骤：

（1）、在训练样本中，提取行人头肩部样本的HOG特征和头部样本的HSV颜色特征，采用SVM机器学习分类器训练生成头肩部SVM分类器，具体如下：

训练分类器所需的训练样本来自于公开的MIT和INRIA行人数据库(http://cbcl.mit.edu/software-datasets/PedestrianData.html，http://pascal.inrialpes.fr/data/human)。从行人库中分别截取行人的头肩部和头部作为正样本，负样本为非行人的任意图片，其中，正样本的数量占2/3，负样本的数量占1/3。头肩部的正样本分为前方、背影、左侧和右侧这4种朝向，头部样本不需要区分人体朝向，头肩部和头部正样本的示例如图6所示。负样本为非行人的任意图像，负样本示例如图7所示。将截取的样本的尺寸进行归一化，头肩部正负样本的大小为64×64像素。取人体头部的宽度为头肩部宽度的一半，则头部样本的大小为32×32像素。头肩部和头部样本大小的对应关系如图8所示。最终的训练集中头肩部的正样本有1000个，负样本有500个；头部的正样本有400个，负样本有200个。

a、提取头肩部正负样本的HOG特征：将大小为64×64像素的头肩部正负样本分割成64个大小为8×8的单元格，然后把0～180°内的梯度方向均匀划分成9个区间，在每个单元格内将所有像素的梯度值在各个方向区间进行直方图统计，便得到一个9维的特征向量，每相邻的4个单元格组合成一个方块，最后将每个方块中的36维特征向量进行归一化处理，即提取的头肩部正负样本的HOG特征维数为7×7×36=1764维(参考：Dalal N,Triggs B.Histograms of orientedgradients for human detection[C].Proceedings of IEEE Conference onComputer Vision and Pattern Recognition(CVPR),2005:886-893.)。

b、提取头部正负样本的HSV颜色特征：将大小为32×32像素的头部正负样本分为4×4个大小为8×8的块，在每一个块中计算该块中像素点的HSV颜色的均值，并将16个块的颜色的均值排列起来形成特征，即提取的头部正负样本的HSV颜色特征维数为16×3=48维；

c、采用Dalal的实验方法，取惩罚因子C=0.01，用SVM机器学习方法对头肩部正负样本的HOG特征和头部正负样本的HSV颜色特征进行分类，得到头肩部SVM分类器。

（2）、获取待测视频中的某一帧图像的前景图像，采用均值背景建模法对视频背景进行建模，利用减除法和形态学后处理，提取视频图像帧的前景图像。采用均值背景建模法进行背景提取，该方法在运动目标检测方面表现出较高的鲁棒性和较低的计算复杂度。过程如下：

a、在背景建模阶段，选取视频中前50帧图像，通过计算每个像素点的均值得到初始的背景图像：

$u_0(x,y)=\frac{1}{50}\underset{i=1}{\overset{50}{\mathrm{\Σ}}}{e}_i(x,y),---\left(1\right)$

其中，(x,y)是图像帧的某一像素点，e_i(x,y)是第i帧图像的像素灰度值；u₀(x,y)为初始的背景图像模型。

b、求标准差的初值

${\mathrm{\δ}}_0(x,y)=\sqrt{\frac{1}{50}\underset{i=1}{\overset{50}{\mathrm{\Σ}}}{(e_i(x,y)-u_i(x,y))}^2},---\left(2\right)$

c、求出高阈值和低阈值，其中β_h和β_l分别为高低阈值的系数，β_l为负值。一般在选取的时候，令β_h和β_l分别2、-2，

TH_n=β_h×δ_n(x,y)，   (3)

TL_n=β_l×δ_n(x,y)，   (4)

d、求第n帧视频图像帧的前景

$F_n(x,y)=\left\{\begin{array}{cc}0,& {\mathrm{TL}}_n<e_n(x,y)-u_n(x,y)\&le;{\mathrm{TH}}_n\\ 1,& \mathrm{otherwise}\end{array},,---\left(5\right)\right.$

e、用均值法建立好背景图像模型后，检测50帧后的每一帧视频图像帧前景，进而分别对每一帧的背景模型和标准差进行更新，如下：

μ_n+1(x,y)=(1-a)×μ_n(x,y)+a×e_n(x,y)，   (6)

δ_n+1(x,y)=(1-a)×δ_n(x,y)+a×|e_n(x,y)-μ_n+1(x,y)|，   (7)

其中a为学习率，a为[0～1]，a越大，对背景变化的适应速度越快。

主要步骤为：通过前50帧图像建立背景初型和标准差的初值，对后面的每一帧图像的背景模型和标准差分别进行更新，得到相应的前景图像。

本实施例中，以图10为实验原图，用上述方法得到其前景提取结果如图11所示，可以看出，正中间站立不动的男子已经很好地被当成为了背景，说明该实施例中，前景图像提取的效果较好。

（3）、在前景图像中确定头顶候选点：在前景图像的灰度图像中，计算每个像素点的梯度方向，选取梯度幅值变化大于25且梯度方向在[85°，95°]范围内的像素点，由于在同一头顶点处符合条件的像素点会非常密集，为了在一定程度上避免重复定位同一个行人的头顶，再将2×2像素小区域内符合条件的多个像素点合并成一个像素点，作为头顶候选点。

本实施例中，仅仅是为了在较小程度上避免重复定位同一行人的头顶，才选择2×2像素小区域的，也可选择3×3像素等大小不同的区域。区域大小的选择根据实际待测视频图像帧中行人尺寸的大小而定。若摄像头离观察行人距离较近，即视频图像帧中的行人尺寸都很大，则可选择较大区域；若摄像头离观察行人距离较远，即视频图像帧中的行人尺寸都很小，则可选择较小区域，甚至不用合并。头顶候选点选取的结果如图12所示，共有33个头顶候选点。

（4）、定位出行人头肩部的待测窗口：

首先，在样本视频图像帧中，记录行人头顶像素点的坐标，并用1:1大小的矩形框标记行人头肩部的宽度，采集多组行人头顶像素点的坐标和头肩部宽度信息，通过最小二乘法拟合出头肩部的宽度和头顶点坐标之间的关系；具体方法为：任意选取视频序列中的某一帧图像，对分布在场景各位置的行人进行采样，标定出行人头顶点的坐标和头肩部的宽度。本实施例中，采集了40个行人的头顶点的坐标((x₁,y₁),(x₂,y₂),…,(x₄₀,y₄₀)和头肩部宽度(s₁,s₂,…,s₄₀)。采用归一化坐标表示头顶点，并用向量来表示，即S=(s₁,s₂,…,s₄₀)^TX=((x₁,y₁,1),(x₂,y₂,1),…,(x₄₀,y₄₀,1))^T,然后利用线性模型来描述行人头顶像素点的坐标与头肩部宽度的相互关系(S=AX)。线性系数A可通过最小二乘法估计法获得

解得：A=(X^TX)^-1X^TS，本实施例的最终拟合函数为：s=0.015×x-0.325×y+18.04，程序基于OpenCV编写，视频中的图像坐标原点位于左上角。

然后，检测时，在待测视频图像帧中，根据检测到的头顶候选点的坐标便可计算出行人头肩部的位置和大小，即定位出头肩部的待测窗口。

本实施例中，由图12中的头顶点候选点定位出33个头肩部待测窗口，如图13所示。

（5）、提取步骤（4）得出的行人头肩部的待测窗口的HOG特征和HSV颜色特征，输入到步骤（1）获得的头肩部SVM分类器中，判别待测窗口是否为行人头肩部，如果是，则提取；如果否，则放弃；实现待测视频图像帧中的行人头肩部检测。

本实施例中，行人头肩部检测结果如图14所示，检测出4个行人头肩部，能较准确地检测出行人。

本实施例的实验环境为Intel Core2.0GHz，2.0GB内存，Window7，Microsoft Visual C++2008。程序代码是用C++语言编写的，其中图像处理和部分机器学习借鉴了Intel视觉函数库OpenCV和人脸检测CvSVM程序代码。

Claims (3)

1.一种视频中基于头顶像素点梯度方向的行人头肩部检测方法，其特征在于：包括如下步骤：

（1）、在训练样本中，提取行人头肩部样本的HOG特征和头部样本的HSV颜色特征，采用SVM机器学习分类器训练生成头肩部SVM分类器，具体如下：

a、提取头肩部正负样本的HOG特征：将大小为64×64像素的头肩部正负样本分割成64个大小为8×8的单元格，然后把0～180°内的梯度方向均匀划分成9个区间，在每个单元格内将所有像素的梯度值在各个方向区间进行直方图统计，便得到一个9维的特征向量，每相邻的4个单元格组合成一个方块，最后将每个方块中的36维特征向量进行归一化处理，即提取的头肩部正负样本的HOG特征维数为7×7×36=1764维；

b、提取头部正负样本的HSV颜色特征：将大小为32×32像素的头部正负样本分为4×4个大小为8×8的块，在每一个块中计算该块中像素点的HSV颜色的均值，并将16个块的颜色的均值排列起来形成特征，即提取的头部正负样本的HSV颜色特征维数为16×3=48维；

c、采用 Dalal 的实验方法，取惩罚因子C=0.01，用SVM机器学习方法对头肩部正负样本的HOG特征和头部正负样本的HSV颜色特征进行分类，得到头肩部SVM分类器；

（2）、获取待测视频中的某一帧图像的前景图像，方法如下：

采用均值背景建模法对视频背景进行建模，利用减除法和形态学后处理，提取视频图像帧的前景图像；

（3）、在前景图像中确定头顶候选点：在前景图像的灰度图像中，选取梯度方向在[85°，95°]范围内且像素值在垂直方向的变化大于25的像素点，作为头顶候选点；

（4）、定位出行人头肩部的待测窗口：

首先，在待测视频中选取不小于10帧视频图像帧作为样本视频图像帧，记录行人头顶像素点的坐标，并用1:1大小的矩形框标记行人头肩部的宽度，采集多组行人头顶像素点的坐标和头肩部宽度信息，通过最小二乘法拟合出头肩部的宽度和头顶点坐标之间的关系；

然后，检测时，在待测视频图像帧中，根据检测到的头顶候选点的坐标便可计算出行人头肩部的位置和大小，即定位出头肩部的待测窗口；

（5）、提取步骤（4）得出的行人头肩部的待测窗口的HOG特征和HSV颜色特征，输入到步骤（1）获得的头肩部SVM分类器中，判别待测窗口是否为行人头肩部，如果是，则提取；如果否，则放弃；实现待测视频图像帧中的行人头肩部检测。

2.根据权利要求1所述的视频中基于头顶像素点梯度方向的行人头肩部检测方法，其特征在于：步骤（3）中，在前景图像的灰度图像中，选取梯度方向在[85°，95°]范围内且像素值在垂直方向的变化大于25的像素点，再将2×2像素小区域内符合条件的多个像素点合并成一个像素点，作为头顶候选点。

3.根据权利要求1或2所述的视频中基于头顶像素点梯度方向的行人头肩部检测方法，其特征在于：步骤（1）中训练样本从MIT和INRIA行人库中截取，其中，正样本的数量占2/3，负样本的数量占1/3；头肩部的正样本中，人的站立朝向分为前方、背影、左侧和右侧4种，头部样本不区分人体朝向；负样本为非行人的任意图像。

Images