CN110163161A - 基于尺度不变的多特征融合行人检测方法 - Google Patents

Abstract

本发明公开了一种基于尺度不变的多特征融合行人检测方法，主要解决现有技术中进行行人检测时检测效果不理想的问题。其实现方案为：1.获取训练集和测试集，并将训练集分为正样本集和负样本集；2.从正样本集提取方向梯度直方图HOG特征向量和尺度不变特征变换SIFT特征向量，并将其融合，得到尺度不变的多特征融合S‑HOG特征向量；3.对S‑HOG特征向量进行主成分分析PCA降维；4.使用支持向量机SVM对降维后的特征进行训练，得到SVM行人检测模型；5.将测试集输入到SVM行人检测模型中，得出测试集中是否存在行人的判别结果。本发明提高了行人检测精度，保证了实时性，可用于区域安防监控系统、智能交通管理系统。

Description

基于尺度不变的多特征融合行人检测方法

技术领域

本发明属于计算机视觉领域，进一步涉及一种行人检测方法，可用于区域安防监控系统、智能交通管理系统。

背景技术

行人检测是目标检测领域研究的重点，是行人识别，行人分析等后续研究的基础。行人检测在区域安防监控系统、智能交通等方面，对判断是否有异常行人入侵有着关键的作用。现有的行人检测算法有基于Haar-like特征的行人检测算法、基于LBP特征的行人检测算法、基于HOG特征的行人检测算法和基于SIFT特征的行人检测算法等。其中：

Haar-like特征由Papageorgiou等人在2002年出版发表的《A general frameworkfor object detection》上首次提出的一种特征提取方法。Haar-like主要是应用滑动窗口Haar-like窗对整个图像进行遍历，通过阈值判断运算提取到图像的特征。然而，传统的Haar-like特征算法在特征提取过程中仅对图像全局进行特征提取，忽略了目标敏感区域，易受非目标区域的干扰，导致检测精度降低。

局部二值模式LBP是T.Ojala等人在1994年提出以及在1996年进行完善的特征描述子，主要用于对图像中的局部纹理特征进行描述。LBP特征是由图像内某点的像素值与其周围点的比较产生的。原始LBP特征提取使用的算子为固定的3×3大小的矩形框，由于其在后来的实际应用中存在许多问题，即当图像中存在的不同尺度的纹理特征的区域时，提取的LBP特征并不具有很强的代表性。Ojal等提出了圆形算子，提高了在不同尺度的纹理特征下提取出的LBP特征的代表性。Maenpaa等在圆形算子的基础上提出了具有旋转不变性的算子，即不断旋转代提取LBP特征的像素的圆形邻域，得到一系列LBP特征，取其最小值作为该像素的LBP特征，该方法能够很好地解决原始LBP特征提取中不存在的旋转不变性的问题。然而，图像中每个像素点都可以提取其LBP值，若按每个点均求得其LBP值，将会得到总数为图像总像素点个数的LBP特征，会产生高维的LBP特征，增加后续算法处理的时间和额外开销。因此，为降低LBP特征数，常采用构造LBP特征的统计直方图方法，将图像进行划分，对每个子区域分别进行处理。通过对子区域内的每个像素点获取的LBP特征的处理，构建统计直方图，图像的LBP特征信息由若干个代表不同子区域信息的统计直方图组成。然而，LBP无法区分邻域像素点与中心像素点相等和邻域像素点大于中心像素点两种情况，并且该方法采用的固定阈值使得它对噪声也比较敏感。

方向梯度直方图HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。首先将图像分成小的连通区域，即细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。而且在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。因此HOG特征是特别适合于做图像中的人体检测的。然而，HOG算法采用了太多的参数，运算量大，并且HOG算法只能刻画形状信息，易受噪声干扰。

基于尺度不变特征变换SIFT特征提取行人检测算法是由David G.Lowe在2004年提出的。该算法首先利用高斯函数建立相应的图像尺度空间，得到疑似特征点，而后进行极值检测去除伪特征点，得到不同尺度中的特征点，接着对特征点的方向进行处理以达到特征的旋转不变性，最后按特征点的方向将坐标轴进行旋转，并以特征点为中心划出8×8的区域，生成SIFT特征描述。SIFT特征对参数调整鲁棒性好，在进行特征描述时，根据场景需要可调整适宜的特征点数量，以便进行特征分析，然而SIFT特征算法一个最大的缺点就是计算量较大，如果不借助硬件加速或专门的图像处理器却很难达到实现。

发明内容

本发明的目的在于提供一种基于尺度不变的多特征融合行人检测方法，以将方向梯度直方图HOG和尺度不变特征变换SIFT特征进行融合，解决现有技术使用单一特征进行行人检测时检测精度低的问题，并在不损伤大量实时性的基础上显著提高检测精度。

为实现上述目的，本发明技术方案是：将HOG和SIFT两种特征进行融合，最终得到更有效的具有一定尺度不变性的行人轮廓特征；通过主成分析PCA方法进行特征降维，最后利用支持向量机SVM对降维后的特征进行训练，得到基于尺度不变的多特征融合S-HOG特征的行人检测的模型。其实现步骤包括如下：

(1)获取训练集和测试集：

(2)将训练集中的500张图像分为包含行人信息的正样本集300张，以及不包含行人信息的负样本集200张；

(3)从训练集中提取方向梯度直方图HOG特征向量和尺度不变特征变换SIFT特征向量；

(4)将方向梯度直方图HOG与尺度不变特征变换SIFT特征向量进行融合，得到尺度不变的多特征融合S-HOG特征向量；

(5)对尺度不变的多特征融合S-HOG特征向量进行主成分分析PCA降维；

(6)使用支持向量机SVM对主成分分析后的特征进行训练，得到支持向量机SVM行人检测模型；

(7)把(1b)中的三个测试集分别输入到(6)中的支持向量机SVM行人检测模型，得出每个测试集中存在行人或不存在行人的判别结果。

本发明与现有技术相比具有如下优点：

1.本发明由于把方向梯度直方图HOG特征向量和尺度不变特征变换SIFT特征向量首位串行连接进行了特征融合，提高了行人检测精度；

2.本发明由于对融合后的S-HOG特征采用了主成分分析PCA降维方法，从而在提高检测精度的同时兼顾和保证了实时性。

附图说明

图1为本发明的实现流程图。

具体实施方式

以下结合附图对本发明的技术方案和效果作进一步详细描述。

参照图1，本发明的实施步骤如下：

步骤1，获取训练集和测试集：

(1a)从INRIA person数据库中筛选出适用行人检测的500张图像作为训练集，并将原来分辨率为96×160的图片剪去上下左右各16个像素，去掉原图中多余的不包含行人的部分区域，裁剪出分辨率为64×128的图片；

(1b)从INRIA person数据库中筛选出600张图像作为第一测试集，从ChangeDetection数据库中的busStation数据集获取1250Frames包含车站场景下来往行人的图像作为第二测试集，从ChangeDetection数据库中的cubicle数据集获取7400Frames包含卧室场景下行人进出的图像作为第三测试集。

步骤2，将训练集分为正样本集和负样本集。

根据(1a)筛选的训练集的信息进行正、负样本的划分：

将500张训练集中包含有行人信息的300张图像作为正样本集；

将500张训练集中不包含行人信息的200张图像作为负样本集。

步骤3，从正样本集提取方向梯度直方图HOG特征向量和尺度不变特征变换SIFT特征向量。

(3a)提取方向梯度直方图HOG特征向量：

(3a1)为了减少光照等影响，采用Gamma标准化对正样本集中的图像进行处理，为了减少运算的开销，对正样本集中的图像进行灰度化处理，即设定大小为8×8的细胞单元，遍历每个细胞元组内的梯度统计出该细胞单元内的度；

(3a2)以20°为间隔，将0°至180°范围分为9个度，利用此划分规则，对求得像素的梯度方向进行分类，构建出梯度直方图；

(3a3)采用L2正则化方法遍历梯度直方图，得到HOG特征向量；

(3b)提取尺度不变特征变换SIFT特征向量：

(3b1)对正样本集图像建立高斯差分尺度空间；

(3b2)求出高斯差分尺度空间上关键点周围以3×3为半径的圆内所有像素点的梯度值和方向；

(3b3)做一个梯度方向的直方图，将360°按10°为间隔划分为36个区间，每个采样点按照其梯度方向加权统计到直方图，根据求得的像素点的梯度值和方向确定关键点处的主方向及对应的梯度值；

(3b4)使用16个4×4窗口生成种子点，并计算每个窗口8个方向的梯度信息，产生4×4×8＝128维的SIFT特征向量。

步骤4，将方向梯度直方图HOG与尺度不变特征变换SIFT特征向量进行融合，即将提取的HOG特征向量和SIFT特征向量进行首尾串行连接，得到联合的尺度不变的多特征融合S-HOG特征向量。

步骤5，对尺度不变的多特征融合S-HOG特征向量进行主成分分析PCA降维。

(5a)计算所有训练样本中对应像素点的S-HOG特征均值；

(5b)通过训练样本的S-HOG特征和样本均值，计算对应的特征值、特征向量以及协方差矩阵；

(5c)选取协方差矩阵前p＝100个主成分，实现对训练样本中的每一个S-HOG特征值的特征降维，所设定的新维度p需要进行反复实验和调参经验进行设定，设定的p太小容易丢失信息以及检测时出现漏检，设定的p太大容增加训练开销，增加运算时间，达不到降维的效果。

步骤6，使用支持向量机SVM对降维后的特征进行训练。

(6a)提取训练集中所有正负样本的主成分分析S-HOG特征；

(6b)对所有正负样本赋予样本标签，即将所有正样本标记为1，所有负样本标记为0；

(6c)设置支持向量机SVM的核函数为线性核函数；

(6d)设定迭代次数为100，把所有正负样本的主成分分析S-HOG特征向量和样本标签输入到支持向量机SVM中，并利用(6c)中的线性核函数对超平面的法向量w和截距向量b进行迭代运算；

(6e)满足迭代次数后得到向量w和向量b，再将向量w和向量b带入到二分类函数f(x)＝sgn(w^T·x+b^T)中，得到支持向量机SVM行人检测模型，其中f(x)＝sgn(·)为符号函数。

步骤7，使用测试集对行人进行检测。

分别把(1b)中的三个测试集输入到(6)中的SVM行人检测模型，得出每个测试集中存在行人或不存在行人的判别结果。

本发明的效果可通过以下测试结果进行说明：

测试1，基于第一测试集分别用本发明与现有四种行人检测模型对行人进行检测，结果如表1。

表1

其中：

Haar-like+SVM表示现有Haar-like+支持向量机行人检测模型，

LBP+SVM表示现有局部二值模式+支持向量机行人检测模型，

HOG+SVM表示现有方向梯度直方图+支持向量机行人检测模型，

SIFT+SVM表示现有尺度不变特征变换+支持向量机行人检测模型，

S-HOG+SVM表示本发明提出的尺度不变的多特征融合+支持向量机行人检测模型，

S-HOG+PCA+SVM表示对本发明提出的S-HOG+SVM行人检测模型进行主成分分析降维后的模型。从表1可见：

在检测精度上，S-HOG+SVM模型在检测精确度上比Haar-like+SVM模型高8.71％，比LBP+SVM模型高7.47％，比HOG+SVM模型高2.61％，比SIFT+SVM模型高5.48％。说明了在基于第一测试集上，使用S-HOG特征相比单一特征提高了检测精度。

在检测时间上，虽然使用HOG特征与SIFT特征相融合的方法提高了检测精度，但是其代价是增加了算法的总运行时间，总耗时138.1s是所有模型中最多的。S-HOG+PCA+SVM模型对S-HOG+SVM模型进行了降维处理，将算法运行时间缩短了10.4s，虽然降低了1.29％的精确度，但在第一测试集场景下的实际问题中，若要求精确度误差在1％左右，实时检测达到一秒检测10.3帧的速率，该S-HOG+PCA+SVM模型的检测精度是可以接受的。

测试2，基于第二测试集分别用本发明与现有四种行人检测模型对行人进行检测，结果如表2。

表2

从表2可见：

在检测精度上，S-HOG+SVM在检测精确度上比Haar-like+SVM模型高10.18％，比LBP+SVM模型高9.14％，比HOG+SVM模型高4.08％，比SIFT+SVM模型高5.95％。说明在第二测试集上，使用S-HOG特征相比单一特征提高了检测精度。

在检测时间上，虽然使用HOG特征与SIFT特征相融合的方法提高了检测精度，但是其代价是增加了算法的总运行时间，总耗时213.1s是所有模型中最多的。S-HOG+PCA+SVM模型对S-HOG+SVM模型进行了降维处理，将算法运行时间缩短了20.4s，虽然同时降低了2.13％的精确度，但在第二测试集场景下的实际问题中，若要求精确度误差在2％左右，实时检测达到一秒检测10.2帧的速率，该S-HOG+PCA+SVM模型的检测精度是符合要求的。

测试3，基于第三测试集分别用本发明与现有四种行人检测模型对行人进行检测，结果如表3。

表3

从表3可见：

在检测精度上，S-HOG+SVM模型在检测精确度上比Haar-like+SVM模型高8.95％，比LBP+SVM模型高5.02％，比HOG+SVM模型高3.98％，比SIFT+SVM模型高7.84％。说明了在第三测试集上，使用S-HOG特征相比单一特征提高了检测精度。

在检测时间上，S-HOG+SVM模型需要消耗总767.1s是所有模型中最多的。S-HOG+PCA+SVM模型对S-HOG+SVM模型进行了降维处理，将算法运行时间缩短了27.5s，虽然降低了2.05％的精确度，但在第三测试集场景下的实际问题中，若要求精确度误差在2％左右，实时检测达到一秒检测10.8帧的速率，该S-HOG+PCA+SVM模型的检测精度是允许的。

综上，本发明从检测精确度与检测时间角度综合验证了S-HOG+PCA+SVM模型对行人检测的表现优于现有的四种单一特征行人检测模型。同时S-HOG+PCA+SVM模型具有一定的泛化能力，在INRIA person数据库筛选出的训练集所训练出的行人检测模型，可在cubicle和busStation两个数据集上表现出良好的检测效果，提高了行人检测精确度。

Claims (6)

1.一种基于尺度不变的多特征融合行人检测方法，其特征在于，包括如下：

(1)获取训练集和测试集：

(1a)从INRIA person数据库中筛选出适用行人检测的500张图像作为训练集，图像的分辨率是64×128；

(1b)从INRIA person数据库中筛选出600张图像作为第一测试集，从ChangeDetection数据库中的busStation数据集获取1250Frames包含车站场景下来往行人的图像作为第二测试集，从ChangeDetection数据库中的cubicle数据集获取7400Frames包含卧室场景下行人进出的图像作为第三测试集；

(2)将训练集分为正样本集和负样本集：

根据(1a)筛选的训练集的信息进行正、负样本的划分，即将500张训练集中包含有行人信息的300张图像作为正样本集，将500张训练集中不包含行人信息的200张图像作为负样本集；

(3)从正样本集提取方向梯度直方图HOG特征向量和尺度不变特征变换SIFT特征向量；

(4)将方向梯度直方图HOG与尺度不变特征变换SIFT特征向量进行融合，得到尺度不变的多特征融合S-HOG特征向量；

(5)对尺度不变的多特征融合S-HOG特征向量进行主成分分析PCA降维；

(6)使用支持向量机SVM对主成分分析后的特征进行训练，得到SVM行人检测模型；

(7)使用测试集对行人进行检测：

分别把(1b)中的三个测试集输入到(6)中的SVM行人检测模型，得出每个测试集中存在行人或不存在行人的判别结果。

2.根据权利要求1所述的方法，其特征在于：(3)中提取方向梯度直方图HOG特征向量，其实现如下：

(3a)采用Gamma标准化对正样本集中的图像进行灰度化处理，即设定大小为8×8的细胞单元，遍历每个细胞元组内的梯度统计出该细胞单元内的度；

(3b)以20°为间隔，将0°至180°范围分为9个度，利用此划分规则，对求得像素的梯度方向进行分类，构建出梯度直方图；

(3c)通过L2正则化方法遍历梯度直方图，得到HOG特征向量。

3.根据权利要求1所述的方法，其特征在于：(3)中提取尺度不变特征变换SIFT特征向量，其实现如下：

(3d)对正样本集图像建立高斯差分尺度空间；

(3e)求出高斯差分尺度空间上关键点周围以3×3为半径的圆内所有像素点的梯度值和方向；

(3f)做一个梯度方向的直方图，将360°按10°为间隔划分为36个区间，每个采样点按照其梯度方向加权统计到直方图，根据求得的像素点的梯度值和方向确定关键点处的主方向及对应的梯度值；

(3g)使用16个4×4窗口生成种子点，并计算每个窗口8个方向的梯度信息，产生4×4×8＝128维的SIFT特征向量。

4.根据权利要求1所述的方法，其特征在于：(4)中对方向梯度直方图HOG和尺度不变特征变换SIFT进行特征融合，是将提取的HOG特征向量和SIFT特征向量进行首尾串行连接得到联合的S-HOG特征向量。

5.根据权利要求1所述的算法，其特征在于：步骤(5)中对尺度不变的多特征融合S-HOG特征向量进行主成分分析PCA降维，实现步骤如下：

(5a)计算所有训练样本中对应像素点的S-HOG特征均值；

(5b)通过训练样本的S-HOG特征和样本均值，计算对应的特征值、特征向量以及协方差矩阵；

(5c)选取协方差矩阵前p＝100个主成分，实现对训练样本中的每一个S-HOG特征值的特征降维。

6.根据权利要求1所述的方法，其特征在于：(6)中使用支持向量机SVM对主成分分析后的特征向量进行训练，实现步骤如下：

(6a)提取训练集中所有正负样本的主成分分析S-HOG特征；

(6b)对所有正负样本赋予样本标签，即将所有正样本标记为1，所有负样本标记为0；

(6c)设置支持向量机SVM的核函数为线性核函数；

(6d)设定迭代次数为100，把所有正负样本的主成分分析S-HOG特征向量和样本标签输入到支持向量机SVM中，并利用(6c)中的线性核函数对超平面的法向量w和截距向量b进行迭代运算；

(6e)满足迭代次数后得到向量w和向量b，再将向量w和向量b带入到二分类函数f(x)＝sgn(w^T·x+b^T)中，得到支持向量机SVM行人检测模型，其中f(x)＝sgn(·)为符号函数。