CN105447503A - 基于稀疏表示lbp和hog融合的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示LBP和HOG融合的行人检测方法，首先提取LBP特征并对其进行稀疏表示，然后将稀疏系数与HOG特征进行融合。实验结果表明，该方法有效的提高了识别率、且对复杂光照条件下具有较高的鲁棒性。相比仅靠融合特征提高识别率的方法，本发明具有特征维度低，识别速度较快等优点。

Description

基于稀疏表示LBP和HOG融合的行人检测方法

技术领域

本发明属于模式识别下的行人检测领域，具体涉及一种基于稀疏表示LBP和HOG融合的行人检测方法。

背景技术

行人检测可定义为:判断输入图片(或视频帧)是否包含行人,如果有,给出位置信息.。行人检测系统(PDS-PedestrianDetectionSystem)旨在行进的汽车上建立一个自主、智能的行人检测、智能辅助驾驶系统,具有提高驾驶安全性、保障行人生命财产安全的重要意义和实用价值。在行人检测系统中，通常包括感兴趣区域提取、特征提取、目标识别，三个阶段。

行人检测通常提取的简单特征有，目标的长宽比、占空比、物体的相对移动速度等，相对复杂些的特征有haar-like、hog、sift、shapelet、LBP特征。

对于行人检测而言,没有一个单独的特征提取算法的性能优于HOG算法。HOG特征描述了行人目标区域梯度强度和梯度方向的分布情况,能很好地表征行人的外观和形状,而且对光照不敏感。但当背景覆盖凌乱的噪声边缘时，HOG处理效果很差。

由于单一类型的特征仅能从某一方面刻画行人特征，描述能力较弱，因此组合应用多种底层特征的越来越具有应用价值。LBP纹理特征在图像处理和模式识别领域是主要的特征之一，它可以过滤出噪声，结合了边缘/局部形状信息还有纹理信息，能够很好的捕捉到人的外表。且不受背景颜色和光照的影响将HOG特征和纹理特征联合起来共同表征行人，这样在获取了行人的梯度信息的同时，还获得了描述行的纹理特征，这对复杂环境中的行人检测有良好的改善效果。

但是标准的LBP直方图大多都是针对图像中的各个分区分别计算的，对于一个普通大小的分块区域，标准LBP算子得到的二进制模式数目较多，而实际位于该分块区域中的像素数目去相对较少，这将会得到一个过于稀疏的直方图，从而使直方图失去统计意义。

多特征融合技术使得行人检测的识别率有了进一步的提升，但同时过高的维度也会增加计算的复杂度，给后续的分类问题带来负担。实际上维数过高的特征向量对于分类性能(识别率)也会造成很多负面影响。需要进一步的对特征进行降维等处理。

发明内容

本发明提出了基于稀疏表示LBP和HOG融合的行人检测的方法，解决单个HOG算法对行人描述不足的缺点、采用统一化LBP算子解决了传统LBP直方图过于稀疏的问题，采用稀疏表示解决了融合特征中直接将特征融合造成维度过高的问题，在降低维度的同时也提高了识别率。结合说明书附图，本发明的技术方案如下：

一种基于稀疏表示LBP和HOG融合的行人检测方法，该方法首先利用训练样本训练分类器模型，然后利用分类器模型识别检测样本，其特征在于：

所述利用训练样本训练分类器模型的具体步骤如下：

A1：输入训练样本组图片；

A2：判断训练样本组图片是否为灰度图像，若不是，将其转化为灰度图像；

A3：提取训练样本图片的LBP特征，并进行归一化处理；

A4：获得训练样本组图片的LBP特征；

A5：选取归一化后的K个训练样本的LBP特征矩阵作为初始矩阵D，利用K-SVD算法进行字典学习，得到更新后的字典D；

A6：利用字典D对步骤A4中归一化的训练样本组图片的LBP特征进行稀疏表示，得到稀疏系数；

A7：提取训练样本组图片的HOG特征，获得供分类使用的特征向量；

A8：将步骤A7中得到的HOG特征与步骤A6中得到的稀疏系数进行融合，串联形成融合特征向量；

A9：使用SVM算法训练得出SVM分类器模型，并保存SVM分类器模型；

所述利用分类器模型识别检测样本的具体步骤如下：

B1：输入检测样本图片；

B2：判断检测样本图片是否为灰度图像，若不是，将其转化为灰度图像；

B3：提取检测样本图片的LBP特征，并进行归一化处理；

B4：利用字典D对归一化的检测样本图片的LBP特征进行稀疏表示，得到稀疏系数；

B5：提取检测样本的HOG特征，获得特征向量；

B6：将HOG特征向量与稀疏系数进行融合，串联形成融合特征向量；

B7：利用步骤A9中所述的SVM分类器模型对检测样本的融合特征进行分类，判别检测样本是否为行人；

所述步骤A3与B3中提取图片的LBP特征，并进行归一化处理的步骤如下：

第一步：图像分割，将图像分割为图像块；

第二步：求取每个图像块LBP特征直方图，针对每块图像块，根据LBP₈ ²算子求取图像的纹理特征，得到特征向量，再将特征向量进行提取转化；

第三步：归一化直方图，采用L2-范式：获得归一化后向量，

其中：s为待归一化向量，ε为避免分母为零的常量，s′为归一化后的向量；

第四步：获得单幅图像LBP特征，得到N维LBP向量。

所述步骤A4中获得训练样本组图片的LBP特征的具体方法为：使用m个正样本和n个负样本，将单个图像形成的N维向量形成一行，共得到(m+n)×N维特征向量，其中前m个LBP特征为正样本特征，后n个为负样本特征。

所述步骤A5中得到字典D的具体步骤为：

第一步：选取归一化后的K个行人样本的LBP特征矩阵作为初始矩阵D；

第二步：固定字典D，通过正交匹配追踪算法确定稀疏矩阵X，且

第三步：将j从1循环至K，通过式

$E=Y-DX=Y-\underset{j=1}{\overset{K}{\Σ}}{d}_i{x}_i^{\′}=(Y-\underset{i\≠j}{\overset{K}{\Σ}}{d}_i{x}_i^{\′})-d_j{x}_j^{\′}=E_j^{\′}-d_j{x}_j^{\′}$

计算E′_j，并对E′_j进行SVD分解，更新字典D第j列d_j；

其中，稀疏矩阵X的第j行为x′_j，样本Y与DX的差异为E，E′_j表示去掉原子d_j后在所有样本中造成的误差

第四步：循环步骤二和步骤三，直到最终得到更新后的字典D。

所述步骤A6和B4中稀疏表示的具体步骤为：

根据稀疏表示模型

Y＝DX

其中，Y是需要稀疏表示的LBP行人特征，D为步骤A6中得出的字典，X为稀疏系数。

所述步骤A7和B5中提取HOG特征的具体步骤为：

第一步：采用Gamma校正法对输入图像进行颜色空间的标准化；

第二步：计算图像每个像素的梯度，包括大小和方向；

第三步：将图像划分为若干个单元

第四步：统计每个单元的梯度直方图，即可形成每个单元的特征；

第五步：将若干个单元平均划分组成若干个块，将每个块内所述有的单元特征串联起来获得该块的HOG特征；

第六步：将图像内所有的块的HOG特征串联起来得到该图像的HOG特征，即供分类使用的特征向量。

所述步骤A9中采用LIBSVM算法，用+1和-1作为类别标签来标记由步骤A8得到的行人检测的训练数据，+1标记正样本，-1标记负样本，将类别标签和训练样本送入分类器，得出分类器模型，并保存分类器模型。

与现有技术相比，本发明的有益效果在于：

1、本发明使用基于稀疏表示LBP和HOG融合特征来进行行人检测，克服了单一行人特征描述能力不足的缺点；结合了梯度特征和纹理特征，加强了对图像边缘的描述能力，很好的捕捉到行人的外表，在复杂背景下的行人检测获得了较好的效果。且在背景颜色和光照较为复杂的情况下，该算法的融合特征要优于HOG特征。

本算法使用统一模式的LBP特征，且针对各个分区图像进行计算的，克服了统一模式的LBP特征过于稀疏从而导致失去统计意义的缺点，采用的分区描述方法加强了对图像结构信息的描述。本算法虽然采用融合特征的方法使得识别率获得了进一步的提高，但由于采用对LBP特征进行稀疏表示的方法使得特征维度得到很大降低。大大缩短了检测的时间，并且提高了鲁棒性，由于采用稀疏表示的方法，使得在行人遮挡的情况下检测效果较好。

附图说明

图1为本发明中利用训练样本训练分类器模型的过程框图；

图2为本发明中利用分类器模型识别检测样本的过程框图

图3为本发明与HOG+SVM行人检测方法的实验效果对比图。

具体实施方式

为了进一步阐述本发明的技术方案，结合说明书附图，本发明的具体实施方式如下：

本发明公开了一种基于稀疏表示LBP和HOG融合的行人检测方法，该方法首先利用训练样本训练分类器模型，然后利用分类器模型识别检测样本。其中：

如图1所示，利用训练样本训练分类器模型的具体步骤如下：

A1：输入训练样本组图片I_train；

A2：由于LBP特征的提取过程是基于灰度图像的，所以判断训练样本组图片是否为灰度图像，若不是，将其转化为灰度图像；

A3：提取训练样本图片的LBP特征，并进行归一化处理；具体步骤如下：

第一步：图像分割，本实施例中采用的图像尺寸为128×64，将其按照8×8的尺寸分割，分割为128个图像块；

第二步：求取每个图像块LBP特征直方图，针对每块8×8的图像，根据LBP₈ ²算子求取图像的纹理特征，得到256维特征向量，再将256维特征向量转化为59维特征向量；

第三步：归一化直方图，为了提高特征向量的鲁棒性，克服一些噪声的干扰，同HOG特征类似，需要对提取的59维特征向量按块进行归一化操作。根据实验对比各种归一化因子，最终采用L2-范式(L2-norm)归一化因子取得的效果最好。

L2-范式为：

其中：s为待归一化向量，ε为一个很小的常亮值用来避免分母为零，s′为归一化后的向量；

第四步：获得单幅图像LBP特征，本实施例图像为64×128，检测窗口分为128个单元(cell)，每个cell的特征向量为59维，最终得到7552维的LBP特征向量。

A4：获得训练样本组图片的LBP特征；

本实施例中使用820个正样本和820个负样本，将单个图像形成的7552向量形成一行，共得到1640×7552维特征向量，其中前820个LBP特征为正样本特征，后820个位负样本特征。

A5：选取归一化后的K个训练样本的LBP特征矩阵作为初始矩阵D，利用K-SVD算法进行字典学习，得到字典D；具体步骤如下：

第一步：选取归一化后的K个行人样本的LBP特征矩阵作为初始矩阵D；

第二步：固定字典D，通过正交匹配追踪(OrthogonalMatchingPursuit,OMP)算法确定稀疏矩阵X，且

第三步：将j从1循环至K，通过公式

$E=Y-DX=Y-\underset{j=1}{\overset{K}{\Σ}}{d}_i{x}_i^{\′}=(Y-\underset{i\≠j}{\overset{K}{\Σ}}{d}_i{x}_i^{\′})-d_j{x}_j^{\′}=E_j^{\′}-d_j{x}_j^{\′}---\left(2\right)$

计算E′_j，并对E′_j进行SVD分解，更新字典D第j列d_j；

其中稀疏矩阵X的第j行为x′_j，样本Y与DX的差异为E，E′_j表示去掉原子d_j后在所有样本中造成的误差

第四步：循环步骤二和步骤三，直到最终得到更新后的字典D。

A6：利用字典D对步骤A4中归一化的训练样本组图片的LBP特征进行稀疏表示，X即是对A4步骤中提取的7552维LBP特征的稀疏表示系数，且该稀疏系数X为34维的向量，使用该稀疏系数进行下一步的融合操作。

稀疏表示模型

Y＝DX(3)

其中Y是需要稀疏表示的LBP行人特征，D为步骤A6中得出的字典，X为稀疏系数。

A7：提取训练样本组图片的HOG特征，获得供分类使用的特征向量；具体步骤如下：

第一步：采用Gamma校正法对输入图像进行颜色空间的标准化；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；

第二步：计算图像每个像素的梯度，包括大小和方向；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。

以H(x,y)表示一张图像为例，其计算结果如下：

G_x(x，y)＝H(x+1，y)-H(x-1，y)

(4)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}---\left(5\right)$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)---\left(6\right)$

式中G_x(x,y)，G_y(x,y)，H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。G(x,y)为(x,y)处的梯度幅值，α(x,y)为(x,y)梯度方向。

第三步：将图像划分为若干个小cells，例如6×6像素/cell；

第四步：统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的特征(descriptor)；

HOG特征梯度的方向在的范围内分成九个均匀的区间用sec表示。用P_q(x,y)表示像素点(x,y)在第q(1≤q≤9)个方向的幅值大小，则：

$P_q(x,y)\left\{\begin{array}{cc}G(x,y),& \mathrm{\α}(x,y)\∈{\sec }_q\\ 0& other\end{array}\right.---\left(7\right)$

其中，sec_q表示梯度方向的第q个方向区间。这样，每个像素点(x,y)处的梯度特征可以用P_q(x,y)来表示。

在用于行人检测时，通过实验显示，把图像平均分成像素为8×8的cell，把梯度方向平均划分为9个区间(bin)，每4个相邻的cell组成一个块(bin)，以块为单位对图像进行扫描，扫描步长为一个cell，可以得比较好的效果。对每个bin的所以像素进行梯度幅值的直方图统计，则得到一个cell的9维特征向量，在将一个块中的4个cell的特征向量串联起来，得到36维的特征向量，再对块中的特征向量已经归一化处理，采用L2-范式归一化

第五步：将每几个cell组成一个block(例如3×3个cell/block)，一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。；

第六步：将图像内所有的块的HOG特征串联起来得到该图像的3780维特征向量，即该目标图像的HOG特征，需要将3780维的HOG特征向量和其他特征进行融合。

A8：将步骤A6中得到的34维的稀疏系数X与步骤A7中提取的3780维HOG特征向量进行融合，串联形成3814维融合特征向量；

A9：采用LIBSVM算法，用+1和-1作为类别标签来标记由步骤A8得到的行人检测的训练数据，+1标记正样本，-1标记负样本，将类别标签和训练样本送入分类器，得出SVM分类器模型，并保存SVM分类器模型。

如图2所示，利用分类器模型识别检测样本的具体步骤如下：

B1：输入检测样本图片；

B2：判断检测样本图片是否为灰度图像，若不是，将其转化为灰度图像；

B3：提取检测样本图片的LBP特征，并进行归一化处理；

用检测样本组数据替换步骤A3中训练样本组，并利用步骤A3的方法进行LBP特征的提取和归一化。

B4：对步骤B3中归一化的检测样本图片的LBP特征用步骤A6中的方法进行稀疏表示，得到稀疏系数；

B5：利用步骤A7中的方法提取检测样本的HOG特征，获得特征向量；

B6：将步骤B4中得到的稀疏系数与步骤B5中获得的检测组的HOG特征向量进行融合，串联形成融合特征向量；

B7：利用步骤A9中训练好的所述的SVM分类器模型model对融合特征进行分类，判别是否为行人。

在上述实施例中，训练集采用820张行人图像和820无人图像，测试集选择400张行人图像和400张无人图像，如图3所示，对本发明技术方案和传统的HOG特征结合SVM分类器进行识别对比，试验结果通过使用DET(DetectionErrorTradeoff)曲线进行描述以此来评价行人检测的性能。DET曲线通过漏检率(MissRate)和误检率(FalsePositivePerWindow，FPPW)两个主要的指标来衡量整个检测的效果。其中“漏检”是把有人样本识别为无人样本，“误检”是把无人样本识别为有人样本。

图3中横轴(x轴)为误检率，纵轴(y轴)为漏检率，实线代表传统行人检测方法(HOG+SVM)，虚线代表本发明采用的行人检测方法，从图中可以看出，在相同的误检率下，本发明采用的方法漏检率要低于传统的行人检测方法，行人检测检测效果更好。

本发明采用基于稀疏表示的LBP特征和HOG特征融合的技术对行人进行检测。图3的实验结果表明该方法要优于传统行人检测方法(HOG+SVM)；且比较不采用稀疏表示进行特征融合的行人检测方法，本发明的方法具有特征维度更低的优点，由于稀疏表示的特性，本文方法在行人目标存在遮挡的情况下检测效果更好。

Claims (7)

1.基于稀疏表示LBP和HOG融合的行人检测方法，该方法首先利用训练样本训练分类器模型，然后利用分类器模型识别检测样本，其特征在于：

所述利用训练样本训练分类器模型的具体步骤如下：

A1：输入训练样本组图片；

A2：判断训练样本组图片是否为灰度图像，若不是，将其转化为灰度图像；

A3：提取训练样本图片的LBP特征，并进行归一化处理；

A4：获得训练样本组图片的LBP特征；

A5：选取归一化后的K个训练样本的LBP特征矩阵作为初始矩阵D，利用K-SVD算法进行字典学习，得到更新后的字典D；

A6：利用字典D对步骤A4中归一化的训练样本组图片的LBP特征进行稀疏表示，得到稀疏系数；

A7：提取训练样本组图片的HOG特征，获得供分类使用的特征向量；

A8：将步骤A7中得到的HOG特征与步骤A6中得到的稀疏系数进行融合，串联形成融合特征向量；

A9：使用SVM算法训练得出SVM分类器模型，并保存SVM分类器模型；

所述利用分类器模型识别检测样本的具体步骤如下：

B1：输入检测样本图片；

B2：判断检测样本图片是否为灰度图像，若不是，将其转化为灰度图像；

B3：提取检测样本图片的LBP特征，并进行归一化处理；

B4：利用字典D对归一化的检测样本图片的LBP特征进行稀疏表示，得到稀疏系数；

B5：提取检测样本的HOG特征，获得特征向量；

B6：将HOG特征向量与稀疏系数进行融合，串联形成融合特征向量；

B7：利用步骤A9中所述的SVM分类器模型对检测样本的融合特征进行分类，判别是否为行人。

2.如权利要求1所述基于稀疏表示LBP和HOG融合的行人检测方法，其特征在于：

所述步骤A3与B3中提取图片的LBP特征，并进行归一化处理的步骤如下：

第一步：图像分割，将图像分割为图像块；

第二步：求取每个图像块LBP特征直方图，针对每块图像块，根据算子求取图像的纹理特征，得到特征向量，再将特征向量进行提取转化；

第三步：归一化直方图，采用L2-范式：获得归一化后向量，

其中：s为待归一化向量，ε为避免分母为零的常量，s′为归一化后的向量；

第四步：获得单幅图像LBP特征，得到N维LBP向量。

3.如权利要求1所述基于稀疏表示LBP和HOG融合的行人检测方法，其特征在于：

所述步骤A4中获得训练样本组图片的LBP特征的具体方法为：使用m个正样本和n个负样本，将单个图像形成的N维向量形成一行，共得到(m+n)×N维特征向量，其中前m个LBP特征为正样本特征，后n个位负样本特征。

4.如权利要求1所述基于稀疏表示LBP和HOG融合的行人检测方法，其特征在于：

所述步骤A5中得到字典D的具体步骤为：

第一步：选取归一化后的K个行人样本的LBP特征矩阵作为初始矩阵D；

第二步：固定字典D，通过正交匹配追踪算法确定稀疏矩阵X，且

第三步：将j从1循环至K，通过式

$E=Y-DX=Y-\underset{j=1}{\overset{K}{\Σ}}{d}_i{x}_i^{\′}=(Y-\underset{i\≠j}{\overset{K}{\Σ}}{d}_i{x}_i^{\′})-d_j{x}_j^{\′}=E_j^{\′}-d_j{x}_j^{\′}$

计算E′_j，并对E′_j进行SVD分解，更新字典D第j列d_j；

其中稀疏矩阵X的第j行为x′_j，样本Y与DX的差异为E，E′_j表示去掉原子d_j后在所有样本中造成的误差；

第四步：循环步骤二和步骤三，直到最终得到更新后的字典D。

5.如权利要求1所述基于稀疏表示LBP和HOG融合的行人检测方法，其特征在于：

所述步骤A6和B4中稀疏表示的具体步骤为：

根据稀疏表示模型

Y＝DX

其中Y是需要稀疏表示的LBP行人特征，D为步骤A6中得出的字典，X为稀疏系数。

6.如权利要求1所述基于稀疏表示LBP和HOG融合的行人检测方法，其特征在于：

所述步骤A7和B5中提取HOG特征的具体步骤为：

第一步：采用Gamma校正法对输入图像进行颜色空间的标准化；

第二步：计算图像每个像素的梯度，包括大小和方向；

第三步：将图像划分为若干个单元；

第四步：统计每个单元的梯度直方图，即可形成每个单元的特征；

第五步：将若干个单元平均划分组成若干个块，将每个块内所述有的单元特征串联起来获得该块的HOG特征；

第六步：将图像内所有的块的HOG特征串联起来得到该图像的HOG特征，即供分类使用的特征向量。

7.如权利要求1所述基于稀疏表示LBP和HOG融合的行人检测方法，其特征在于：

所述步骤A9中采用LIBSVM算法，用+1和-1作为类别标签来标记由步骤A8得到的行人检测的训练数据，+1标记正样本，-1标记负样本，将类别标签和训练样本送入分类器，得出分类器模型，并保存分类器模型。