CN105095835A - 行人检测方法及系统 - Google Patents

Abstract

本发明提出了一种行人检测方法，包括以下步骤：提取训练样本的方向梯度直方图HOG特征向量，并对所述HOG特征向量进行分解以得到HOG-NMF特征向量；根据所述HOG-NMF特征向量和加性交叉核函数构造支持向量机SVM分类器；对采样图像的扫描窗口进行筛选以得到候选样本；获取所述候选样本的HOG-NMF特征向量；以及根据所述SVM分类器对所述候选样本的HOG-NMF特征向量进行识别以得到行人检测结果。根据本发明的方法，可有效缩减行人检测时间，具有检测效率高、检测精度高的优点。本发明还提出了一种行人检测系统。

Description

行人检测方法及系统

技术领域

本发明涉及汽车安全技术领域，特别涉及一种行人检测方法及系统。

背景技术

为了保证车辆安全，越来越多的车辆上安装行人检测装置，以提醒驾驶员车辆周围是否有行人。但是由于行人本身及其周围环境的特点，要做到更加准确、实时地检测仍是一个困难任务。这主要是因为行人是一种非刚性的物体，站立角度、衣着、遮挡等情况的不同，导致了行人检测的复杂性；另外摄影角度和属性、光照角度和强度、周边物体的多样性等也给目标的精确检测带来一定的难度。在基于统计学习的方法中，行人检测可以被看作是一个二分类问题，要解决行人检测面临的难点，就需要从特征提取和模式分类两个方面入手：(1)如何充分描述行人所具备的特征，使之能够与其它物体区分开来；(2)如何从特征数据中快速准确地将数据进行分类，得到最终的检测结果。

常用描述行人的特征有Haar-like矩形特征，方向梯度直方图(HistogramsofOrientedGradient,HOG)特征，基于Gabor滤波器的皮层特征，流形特征，形状特征和颜色特征等。其中Haar-like矩形特征描述的是刚性物体的灰度特征，其与AdaBoost分类器的结合在人脸检测中取得了巨大成功，但对于行人检测却存在一定程度的局限性。HOG特征反映物体的形状和梯度信息，可以降低不同衣着、光照、姿势带来的干扰，在行人检测中使用较为普遍。然而对于指定尺寸的样本集，HOG特征的不足之处在于其维数较高，导致训练速度较低。

常用的分类学习方法有Adaboost集成学习，支持向量机(SupportVectorMachine,SVM)，神经网络等。在驾驶辅助系统等应用中对行人检测系统的实时性与鲁棒性要求非常苛刻，要求很低的误警率与虚警率，现有方法的计算复杂度普遍较高，难以满足实时应用的需求。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的一个目的在于提出一种行人检测方法，该方法可有效缩减行人检测时间，具有检测效率高、检测精度高的优点。

本发明的另一个目的在于提出一种行人检测系统。

为达到上述目的，本发明的第一方面的实施例公开了一种行人检测方法，包括以下步骤：提取训练样本的方向梯度直方图HOG特征向量，并对所述HOG特征向量进行分解以得到HOG-NMF特征向量；根据所述HOG-NMF特征向量和加性交叉核函数构造支持向量机SVM分类器；对采样图像的扫描窗口进行筛选以得到候选样本；获取所述候选样本的HOG-NMF特征向量；以及根据所述SVM分类器对所述候选样本的HOG-NMF特征向量进行识别以得到行人检测结果。

根据本发明实施例的方法，通过对候选样本的帅选、HOG特征的降维以及采用加性交叉核SVM相结合的处理方式，使支持向量机SVM分类器对行人识别，可有效缩减检测时间，具有检测效率高、检测精度高的优点。

本发明第二方面的实施例公开了一种行人检测系统，包括：特征提取模块，用于提取训练样本的方向梯度直方图HOG特征向量，并对所述HOG特征向量进行分解以得到HOG-NMF特征向量，以及获取候选样本的HOG-NMF特征向量；分类器训练模块，用于根据所述HOG-NMF特征向量和加性交叉核函数构造支持向量机SVM分类器；预处理模块，用于对采样图像的扫描窗口进行筛选以得到候选样本；分类器识别模块，用于根据所述SVM分类器对所述候选样本的HOG-NMF特征向量进行识别以得到行人检测结果。

根据本发明实施例的系统，通过对候选样本的帅选、HOG特征的降维以及采用加性交叉核SVM相结合的处理方式，使支持向量机SVM分类器对行人识别，可有效缩减检测时间，具有检测效率高、检测精度高的优点。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明所述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的行人检测方法的流程图；

图2A和图2B是应用本发明一个实施例的行人检测方法得到的采样图像和显著图；

图3A和图3B是应用本发明一个实施例的行人检测方法得到的行人检测结果的示意图；

图4是根据本发明一个实施例的行人检测系统的结构框图；以及

图5是根据本发明一个实施例的行人检测系统的对行人检测的步骤图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解所述术语的具体含义。

以下结合附图描述根据本发明实施例的行人检测方法及系统。

图1是根据本发明一个实施例的行人检测方法的流程图。如图1所示，根据本发明一个实施例的行人检测方法，包括如下步骤：

步骤S101：提取训练样本的方向梯度直方图HOG特征向量，并对HOG特征向量进行分解以得到HOG-NMF特征向量。

HOG特征(HOG特征向量)在近年来成为行人识别的主流特征。HOG特征将图像划分成相邻重合度二分之一的图像块，每块再划分互不重叠的单元，在每个单元内计算梯度方向，并将0°到180°划分成9个区间，每个单元可以形成一个9维特征向量，由于HOG特征计算的理论与应用已经非常成熟，这里不再赘述。

HOG特征的维数较大，例如：典型的128*64大小的图像形成的HOG特征向量为3780维，对其进行降维处理(以下以NMF方法进行降维进行说明)，形成HOG-NMF特征(HOG-NMF特征向量)。NMF是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法，这种非负性条件符合许多实际问题的要求，如图像、视频和Web数据等。NMF方法是在一定代价函数约束下的最优化过程，可通过迭代运算求其近似解，作为一个具体的示例，HOG-NMF特征向量的计算步骤如下：

1、对训练样本进行Gamma校正。从而可统一训练样本的图像亮度值，使其不受光照等因素影响。

2、从校正后的训练样本中提取HOG特征向量。

3、将HOG特征向量转换为的矩阵。例如：设H是长为l的HOG特征向量，将其取绝对值并转换为m×n的矩阵C，其中，l＝m×n，m>n，m表示矩阵C的行数，n表示矩阵C的列数。

4、利用非负矩阵分解NMF方法对矩阵进行秩分解，其中，秩小于矩阵的行数。例如：对矩阵C进行秩r的NMF分解，其中，r<<m，

C＝PH^T，

其中，P和H分别是m×r和n×r的非负的基矩阵和系数矩阵。

然后，对P和H矩阵的每一个列向量ui做归一化处理，即u_i＝u_i/||u_i||。

由上可知，若l＝3000，m＝500，n＝6，r＝2时，HOG-NMF特征向量的长度为1012，维数相比HOG特征的维数减少了约三分之二。NMF方法对图像噪声和轻微地图像旋转有一定的稳健性，通过低秩分解得到的基矩阵和系数矩阵蕴含了原始的矩阵的主要特征，所以HOG-NMF特征可很好地继承HOG特征的优良特性，同时大大提高了后续基于HOG-NMF特征向量进行处理的速度。

5、根据矩阵的分解结果得到HOG-NMF特征向量。即将所有u_i级联为HOG-NMF特征向量。

步骤S102：根据HOG-NMF特征向量和加性交叉核函数构造支持向量机SVM分类器。

具体地，可通过如下步骤进行：

1、输入训练样本其中y_i∈{-1,1}为训练样本类别，x_l∈Rⁿ为训练样本的HOG-NMF特征向量。

2、寻找一个最优分类超平面ωx+b＝0，可使训练样本实现最优分类。即通过最小化下式，发现一个最优分类超平面ωx+b＝0，可使训练样本实现最优分类：

$\left.\begin{array}{c}\underset{\mathrm{\&omega;},b}{\min }\frac{1}{\text{2}}{\left|\right|\mathrm{\&omega;}\left|\right|}^2\\ s.t.y_i(\mathrm{\&omega;}{x}_i+b)\&GreaterEqual;1\end{array}\right\}.$

3、根据定义的加性交叉核函数将HOG-NMF特征向量映射到一个高维空间。例如：通过加性交叉核函数将HOG-NMF特征向量x映射到一个高维空间求解以上最优化问题，定义加性交叉核函数为：

$K_{\min }(x,z)=\underset{l=1}{\overset{n}{\mathrm{\&Sigma;}}}\min (x_l,z_l),$

式中x为支持向量，z为样本，n为特征维数。

4、将最优化问题转换为可求解的对偶二次规划问题。即根据Lagrange乘子法可将式步骤2中的公式转化为如下对偶二次规划问题：

$\left.\begin{array}{c}\underset{\mathrm{\&alpha;}}{\max }\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i-\frac{1}{2}\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_i{y}_i{y}_{i}K(x_i,x_j)\\ s.t.{\mathrm{\&alpha;}}_i\&GreaterEqual;0,\mathrm{\&Sigma;}{\mathrm{\&alpha;}}_i{y}_i=0\end{array}\right\},$

其中，辅助非负变量α称为Lagrange乘子。

5、求解上述二次规划问题，获得SVM分类器的决策函数表达式，也就得到了上述的SVM分类器。SVM分类器利用如下决策函数对所述候选样本的HOG-NMF特征向量进行识别以得到行人检测结果，决策函数为：

$h\left(z\right)=\mathrm{sign}(\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i^{*}{y}_i{K}_{\min }(x_i,z)+b),$

其中，sign()为符号函数，x为训练样本，z为候选样本。

即求解可得最优解 ${\mathrm{\&alpha;}}^{*}\text{=}({\mathrm{\&alpha;}}_1^{*},{\mathrm{\&alpha;}}_2^{*},...,{\mathrm{\&alpha;}}_m^{*}),b=y_j-\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{y}_i{\mathrm{\&alpha;}}_i^{*}K(x_i,x_j),$ 其中j∈SV,SV为支持向量。

由上可知，分类器是行人检测的关键，线性SVM因其快速的训练和分类速度，被实时应用广泛采用，但非线性核SVM具有更好的分类性能。加性交叉核SVM在性能上逼近非线性SVM，同时在时间复杂度上近似于线性SVM，完成了较好的性能平衡。

步骤S103：对采样图像的扫描窗口进行筛选以得到候选样本。可通过如下方式进行：

1、对采样图像进行窗口扫描。

2、生成每个扫描窗口的显著图，并计算每个显著图的熵值。

3、根据每个显著图的熵值对扫描窗口进行筛选以得到候选样本。

作为一个具体的例子，候选样本提取是从图像中提取可能包含行人的窗口区域，以避免穷尽搜索，提高处理速度和实时性。通常地，行人检测通常采用滑窗法进行窗口扫描，这种方法的主要缺点是：候选区域巨大，难以满足实时性要求。许多无关区域参与运算，增加了虚警概率。人类的视觉具有快速搜索到感兴趣的目标的能力，这种视觉注意的能力被称为视觉显著性。视觉显著的图像区域的检测能够把有限的处理资源快速而准确地分配到显著的视觉区域上，突出了图像中的显著目标，削弱了目标周围场景对于目标的影响。因此，该方法采用频谱调谐的显著性检测的方式生成显著图，同时用显著图的熵来判断是否为候选样本。候选样本判断与提取如下：

(1)图像预处理，首先对原始彩色图像I(即采样图像)做高斯低通滤波，获得原始彩色图像的模糊版本I_C，之后将原始彩色图像I与其高斯模糊版本I_C转换到CIELAB色彩空间，获得具有L，A，B三个分量的图像I'与I_C'；

(2)采用滑窗法扫描128*64像素的窗口，每次滑动8个像素，一次扫描完成后，缩小图像尺寸再进行多次扫描；

(3)计算I'在扫描窗口中L，A，B三个分量的平均值μ_L，μ_A，μ_B；

(4)计算扫描窗口中I_C'与I'的平均值之间的欧式距离得到显著图S：

S(x,y)＝(I_C'-μ_L)2+(I_C'-μ_A)²+(I_C'-μ_B)²，

(5)计算扫描窗口中显著图的熵值E：

$E=\underset{(x,y)\&Element;W}{E}S(x,y)\mathrm{lgS}(x,y),$

式中W为扫描窗口。

(6)若E>t，则将W作为候选样本，其中t为熵值门限，可由技术人员设定，例如根据经验确定。

图2A为实际道路上采集的一幅图像(原始图像，即采样图像)与图2B所示的显著图，从图中可以看出，行人目标被很好地突出，背景也被有效抑制。为了不遗漏目标，可以确定熵值门限t＝4.8。在实际应用中，图像的许多部分是无目标的天空和地面，通过候选样本的提取与判断，可以减少20％-30％的计算量。

步骤S104：获取候选样本的HOG-NMF特征向量。获取候选样本的HOG-NMF特征向量的方式已在步骤S101中进行详细描述，为了减少冗余，此处不做赘述。

步骤S105：根据SVM分类器对候选样本的HOG-NMF特征向量进行识别以得到行人检测结果。

检测部分的特征提取模块采用与训练部分相同的计算步骤，其输入为候选样本，输出为候选样本的HOG-NMF特征向量。

分类器识别模块包含如下步骤：

(1)输入候选样本的HOG-NMF特征向量z；

(2)将特征向量z代入分类器决策函数h(z)：

$\begin{array}{c}h\left(z\right)\mathrm{sign}(\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i^{*}{y}_i{K}_{\min }(x_i,z)+b)=\mathrm{sign}(\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i^{*}{y}_i\left(\underset{l=1}{\overset{n}{\mathrm{\&Sigma;}}}\min (x_{i,l},z_l)\right)+b)\\ =\mathrm{sign}(\underset{l=1}{\overset{n}{\mathrm{\&Sigma;}}}\left(\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i^{*}{y}_i\min (x_{i,l},z_l)\right)+b)=\mathrm{sign}(\underset{l=1}{\overset{n}{\mathrm{\&Sigma;}}}{h}_l\left(z_l\right)+b)\end{array},$

(4)若h(z)＝1，则候选样本为识别出的行人目标；若h(z)＝-1，则判断下一个候选样本。

由上述公式可知，决策函数h()可写成一维函数之和的形式。因为交叉核函数为最小值运算，若采用两分法求解，计算复杂度为O(lgm)，则总的分类算法复杂度为O(nlgm)，对比O(mn)有明显提高。若采用分段多项式函数去近似每个一维函数，多项式参数预存在查找表中，分类复杂度可进一步降为O(n)，已经近似于线性SVM的情况，可以极大地提高分类速度。如图3A和图3B所示，示出了一种使用该方法进行行人检测的检测结果，明显地，检测结果有很好的正确率。

根据本发明实施例的方法，通过对候选样本的帅选、HOG特征的降维以及采用加性交叉核SVM相结合的处理方式，使支持向量机SVM分类器对行人识别，可有效缩减检测时间，具有检测效率高、检测精度高的优点。

如图4所示，并结合图5，本发明的进一步实施例提供了一种行人检测系统，包括：特征提取模块410、分类器训练模块420、预处理模块430和分类器识别模块440。

其中，特征提取模块410用于提取训练样本的方向梯度直方图HOG特征向量，并对HOG特征向量进行分解以得到HOG-NMF特征向量，以及获取候选样本的HOG-NMF特征向量。分类器训练模块420用于根据HOG-NMF特征向量和加性交叉核函数构造支持向量机SVM分类器。预处理模块430用于对采样图像的扫描窗口进行筛选以得到候选样本。分类器识别模块440用于根据SVM分类器对候选样本的HOG-NMF特征向量进行识别以得到行人检测结果。

在本发明的一个实施例中，特征提取模块410用于：对所述训练样本进行Gamma校正；从校正后的训练样本中提取所述HOG特征向量；将所述HOG特征向量转换为的矩阵；利用非负矩阵分解NMF方法对所述矩阵进行秩分解，其中，秩小于所述矩阵的行数；根据所述矩阵的分解结果得到所述HOG-NMF特征向量。

在本发明的一个实施例中，SVM分类器利用如下决策函数对所述候选样本的HOG-NMF特征向量进行识别以得到行人检测结果，所述决策函数为：

$h\left(z\right)=\mathrm{sign}(\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i^{*}{y}_i{K}_{\min }(x_i,z)+b),$

其中，sign()为符号函数，x为训练样本，z为候选样本。

进一步地，如果所述h(z)＝1，则对应的候选样本为识别出的行人目标。

在本发明的一个实施例中，预处理模块430用于：对所述采样图像进行窗口扫描；生成每个扫描窗口的显著图，并计算每个所述显著图的熵值；根据每个所述显著图的熵值对所述扫描窗口进行筛选以得到所述候选样本。

需要说明的是，本发明实施例的系统的具体实现与方法部分的介绍类似，具体实现请参见方法部分的说明，此处不做赘述。

根据本发明实施例的系统，通过对候选样本的帅选、HOG特征的降维以及采用加性交叉核SVM相结合的处理方式，使支持向量机SVM分类器对行人识别，可有效缩减检测时间，具有检测效率高、检测精度高的优点。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种行人检测方法，其特征在于，包括以下步骤：

提取训练样本的方向梯度直方图HOG特征向量，并对所述HOG特征向量进行分解以得到HOG-NMF特征向量；

根据所述HOG-NMF特征向量和加性交叉核函数构造支持向量机SVM分类器；

对采样图像的扫描窗口进行筛选以得到候选样本；

获取所述候选样本的HOG-NMF特征向量；以及

根据所述SVM分类器对所述候选样本的HOG-NMF特征向量进行识别以得到行人检测结果。

2.根据权利要求1所述的行人检测方法，其特征在于，所述提取训练样本的方向梯度直方图HOG特征向量，并对所述HOG特征向量进行分解以得到HOG-NMF特征向量，进一步包括：

对所述训练样本进行Gamma校正；

从校正后的训练样本中提取所述HOG特征向量；

将所述HOG特征向量转换为的矩阵；

利用非负矩阵分解NMF方法对所述矩阵进行秩分解，其中，秩小于所述矩阵的行数；

根据所述矩阵的分解结果得到所述HOG-NMF特征向量。

3.根据权利要求1所述的行人检测方法，其特征在于，其中，所述SVM分类器利用如下决策函数对所述候选样本的HOG-NMF特征向量进行识别以得到行人检测结果，所述决策函数为：

$h\left(z\right)=\mathrm{sign}(\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i^{*}{y}_i{K}_{\min }(x_i,z)+b),$

其中，sign()为符号函数，x为训练样本，z为候选样本。

4.根据权利要求3所述的行人检测方法，其特征在于，其中，如果所述h(z)＝1，则对应的候选样本为识别出的行人目标。

5.根据权利要求1-4任一项所述的行人检测方法，其特征在于，所述对采样图像的扫描窗口进行筛选以得到候选样本，进一步包括：

对所述采样图像进行窗口扫描；

生成每个扫描窗口的显著图，并计算每个所述显著图的熵值；

根据每个所述显著图的熵值对所述扫描窗口进行筛选以得到所述候选样本。

6.一种行人检测系统，其特征在于，包括：

特征提取模块，用于提取训练样本的方向梯度直方图HOG特征向量，并对所述HOG特征向量进行分解以得到HOG-NMF特征向量，以及获取候选样本的HOG-NMF特征向量；

分类器训练模块，用于根据所述HOG-NMF特征向量和加性交叉核函数构造支持向量机SVM分类器；

预处理模块，用于对采样图像的扫描窗口进行筛选以得到候选样本；

分类器识别模块，用于根据所述SVM分类器对所述候选样本的HOG-NMF特征向量进行识别以得到行人检测结果。

7.根据权利要求6所述的行人检测系统，其特征在于，所述特征提取模块用于：

对所述训练样本进行Gamma校正；

从校正后的训练样本中提取所述HOG特征向量；

将所述HOG特征向量转换为的矩阵；

利用非负矩阵分解NMF方法对所述矩阵进行秩分解，其中，秩小于所述矩阵的行数；

根据所述矩阵的分解结果得到所述HOG-NMF特征向量。

8.根据权利要求6所述的行人检测系统，其特征在于，其中，所述SVM分类器利用如下决策函数对所述候选样本的HOG-NMF特征向量进行识别以得到行人检测结果，所述决策函数为：

$h\left(z\right)=\mathrm{sign}(\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_i^{*}{y}_i{K}_{\min }(x_i,z)+b),$

其中，sign()为符号函数，x为训练样本，z为候选样本。

9.根据权利要求8所述的行人检测系统，其特征在于，其中，如果所述h(z)＝1，则对应的候选样本为识别出的行人目标。

10.根据权利要求6-9任一项所述的行人检测系统，其特征在于，所述预处理模块用于：

对所述采样图像进行窗口扫描；

生成每个扫描窗口的显著图，并计算每个所述显著图的熵值；

根据每个所述显著图的熵值对所述扫描窗口进行筛选以得到所述候选样本。