CN102521616A

CN102521616A - 基于稀疏表示的行人检测方法

Info

Publication number: CN102521616A
Application number: CN2011104474111A
Authority: CN
Inventors: 成科扬; 杜明坤
Original assignee: Jiangsu University
Current assignee: Nanjing Zhaoshi Intelligent Technology Co., Ltd
Priority date: 2011-12-28
Filing date: 2011-12-28
Publication date: 2012-06-27
Anticipated expiration: 2031-12-28
Also published as: CN102521616B

Abstract

本发明公开一种基于稀疏表示的行人检测方法，该方法分为模型训练和比较识别两个阶段，在所述两个阶段分别对训练图像和检测图像进行归一化处理，提取颜色、纹理和形状三种特征向量，对所述三种特征向量进行稀疏表示并组合成稀疏化的混合特征向量；在所述模型训练阶段，根据训练图像稀疏化的混合特征向量通过支持向量机的模型训练方法训练分类器；在所述比较识别阶段，根据检测图像稀疏化的混合特征向量通过所述分类器进行识别。此方法具有良好的检测性能，对较多的数据集具有更好的效果，并且对于有遮挡的困难图像的检测也有较好的鲁棒性。

Description

基于稀疏表示的行人检测方法

技术领域

本发明属于模式识技术领域，具体涉及基于稀疏表示的行人检测方法。

背景技术

行人检测在视频控制、机器人学、智能交通、多媒体检索等领域有广泛的应用前景，也是近年来计算机视觉领域的热门研究对象。但是，行人的衣着、身体姿势、视角以及复杂的背景和光照变化等因素都会影响检测的效果，这都是行人检测问题的难点。

行人检测可以看作是一个行人/非行人的两类分类问题，而目前其分类方法可以分成两大类：

(1)基于形状信息的分类。包括基于显示人体模型的方法，基于模版匹配的方法以及基于统计分类的方法。这类方法是通过分析图像的灰度、边缘和纹理等信息对目标进行识别。对于基于显示人体模型的方法，其优点是有明确的模型，可以处理困难图像，并且能够推断人的姿态，但缺点是模型难以构造，求解比较复杂。而基于模版匹配的方法，其优点是计算简单，易于实现，但缺点是由于人的姿态千变万化，很难构造出所有的姿态模版。基于统计分类方法的优点是具有较好的鲁棒性，而缺点是需要大量的训练数据，并且难以处理多姿态和遮挡问题。

(2)基于运动信息的分类。这类方法指通过分析行人运动时的步态(Gait)特征来检测行人，其优点是不受纹理和光线变化的影响，缺点是只能识别出运动的行人，并且需要多帧才能给出判决结果，影响系统的实时性。。

发明内容

本发明的目的在于克服上述现有技术的缺陷，在已有的统计分类方法的基础上，根据稀疏表示，提出一种基于稀疏表示的行人检测方法，此方法具有良好的检测性能，对较多的数据集具有更好的效果，并且对于有遮挡的困难图像的检测也有较好的鲁棒性。

本发明采用的技术方案：基于稀疏表示的行人检测方法，分为模型训练和比较识别两个阶段，在所述两个阶段分别对训练图像和检测图像进行归一化处理，提取颜色、纹理和形状三种特征向量，对所述三种特征向量进行稀疏表示并组合成稀疏化的混合特征向量；在所述模型训练阶段，根据训练图像稀疏化的混合特征向量通过支持向量机的模型训练方法训练分类器；在所述比较识别阶段，根据检测图像稀疏化的混合特征向量通过所述分类器进行识别。

所述其中颜色特征向量采用HSV颜色模型，纹理特征向量采用Tamura纹理特征向量中的粗糙度、对比度和方向度这三个特征向量，形状特征向量采用是Hu提出的七个无关矩。

所述稀疏表示的具体步骤为：

1) 对字典 A的列向量以及所述颜色、纹理和形状特征向量进行2-范数等于1的归一化；

2) 根据字典A和颜色、纹理和形状特征向量向量通过EFLA算法得到其稀疏表示。

本发明的有益效果是：

1、本发明与传统的行人检测方法相比，通过对行人图像特征向量的稀疏表示和没有用稀疏表示的方法相比较体现出更好的识别率，尤其是在大量的数据集下，其效果表现的更为明显；

2、本发明将有遮挡的行人图像看作是原始图像和噪声（如遮挡物）的相加，对于原始图像和噪声分别用不同的基来稀疏表示，这样可以有效地分离原图像和噪声，从而取得较好的识别率，具有很好的鲁棒性。

附图说明

下面结合附图和具体实施方式对本发明进一步详细说明：

图1是本发明所述基于稀疏表示的行人检测方法流程示意图；

图2是本发明稀疏表示流程示意图；

图3是本发明方法和分别采用颜色、纹理、形状特征向量的SVM识别结果比较图；

图4是本发明方法和直接采用混合特征向量的SVM识别结果比较图；

图5是本发明方法和直接采用混合特征向量识别有遮挡图像的实验结果比较图。

具体实施方式

以下结合附图对发明的实施做出进一步说明。

图1为本发明提出的基于稀疏表示的行人检测方法流程示意图。首先将样本集中的行人图像分割之后并进行尺度归一化后得到行人训练图像。

第一步：对训练图像进行特征向量提取，分别得到颜色特征向量向量，纹理特征向量向量和形状特征向量向量。根据HSV颜色模型，Tamura纹理特征向量中的粗糙度、对比度和方向度这三个特征向量，以及Hu提出的七个无关矩对行人训练图像进行颜色、纹理和形状特征向量提取。

其中颜色特征向量提取的算法流程如下：

步骤1)：将RGB空间转换到HSV空间；

步骤2)：把色调H空间分成8份，饱和度S和亮度V空间分别分成3份；

步骤3)：并根据色彩的不同范围进行量化，量化后的色调、饱和度和亮度值分别为H，S，V；

步骤4)：按照以上的量化级，把3个颜色分量合成为一维特征向量矢量：I=H

Figure 2011104474111100002DEST_PATH_IMAGE002

+S+V 其中

Figure 2011104474111100002DEST_PATH_IMAGE006

，

Figure 2011104474111100002DEST_PATH_IMAGE008

分别是分量S和V的量化级数。

纹理特征向量提取的算法流程如下：

粗糙度计算：

步骤1)：计算图像中大小为个像素的活动窗口中像素的平均强度值

；

步骤2)：通过

对每个像素计算在水平和垂直方向上互补重叠的窗口之间的平均强度差和

Figure 2011104474111100002DEST_PATH_IMAGE016

；

步骤3)：在

和

中对于每个像素，使E值达到最大的i值来设置最佳尺寸

Figure 2011104474111100002DEST_PATH_IMAGE018

；

步骤4)：通过计算整幅图像的

Figure 2011104474111100002DEST_PATH_IMAGE020

来得到粗糙度。

对比度计算：

步骤1)：计算四阶矩和方差；

步骤2)：通过四阶矩和方差

计算得到峰度

Figure 2011104474111100002DEST_PATH_IMAGE026

；

步骤3)：通过标准差

和峰度

Figure 2011104474111100002DEST_PATH_IMAGE030

计算得到对比度

Figure 2011104474111100002DEST_PATH_IMAGE032

(本文n取

)。

方向度计算：

步骤1)：计算每个像素处的梯度向量；

步骤2)：构建方向角局部边缘概率直方图；

步骤3)：通过计算概率直方图中峰值的尖锐程度来得到图像的方向性。

形状特征向量提取的算法流程如下：

步骤1)：将彩图图像灰度化，并用Canny边缘检测提取边缘保留边缘灰度图像，在用类判别分析法自动为每一幅廓图像选定阈值，然后用该阈值对图像二值化；

步骤2)：计算图像的中心矩

，其中x，y是数字图像f(x,y)的空间坐标，

分别为

，

是数字图像f(x,y)的二维(i+j)阶矩，其定义为：

，（i，j=0，1，2，... ，）。然后归一化（i+j）阶中心矩，

，其中

，i+j=2，3，… ,；

步骤3)：基于区域形状的中心矩和归一化中心矩原理，计算Hu提出的具有旋转、缩放和平移无关的7个矩特征向量，7个不变矩

分别为：

第二步：对得到的颜色、纹理和形状特征向量进行稀疏表示得到稀疏化的颜色特征向量，稀疏化的纹理特征向量和稀疏化的形状特征向量。将稀疏化的颜色特征向量，稀疏化的纹理特征向量和稀疏化的形状特征向量串联起来存放组成稀疏化的颜色纹理形状混合特征向量。如图2所示，为稀疏表示流程示意图，其中字典由所有正反行人训练样例集的特征向量组合成的矩阵，字典A=

，其中

为行人图像中正例的第k个图像的特征向量，

为行人图像中反例的第k个图像的特征向量，稀疏表示的具体步骤如下：

（1）对字典 A的列向量，以及特征向量进行2-范数等于1的归一化：

对于字典A的每个列向量S和特征向量量y，进行归一化计算

和

,即进行归一化计算后的字典的列向量和特征向量的2范数等于1

（2）用EFLA(Efficient Fused Lasso Algorithm，效率索套算法)算法解决问题：在稀疏惩罚模型

中，为了求解其解，我们采用EFLA算法。其中，y是特征向量，x是要求解的稀疏向量，平滑凸损失loss(x)函数为

,惩罚项fl(x)=

，

和

为惩罚系数。

在EFLA算法中，定义

，每次迭代，一个关键的构建机块是与非平滑部分fl相关联的近端算子。我们根据在点x处逼近的复合函数P()构造如下模型：。其中L是正则化项

的系数，当L大于0时，在

中我们对平滑函数loss()用一阶泰勒公式在点x处展开(包含在方括号中的所有内容)，然后直接将非平滑函数fl()加入模型中，正则化项

是为了防止y远离x，因此这个模型在x的临域可以很好的逼近P(y)。

我应用两个序列

和

，其中

是近似解的序列，

是搜索点的序列。搜索点

是

和

的结合，即

，其中

是一个选择适当的系数。这个逼近解

是通过计算

的极小值得到的，即

。其中

是根据阿米霍-戈尔茨坦规则使用线搜索确定的，而且应于

相适应。

EFLA算法如下：

步骤1)：初始化

，

，，

步骤2)：for i =1 to k do

步骤3)：令

步骤4)：寻找最小的

，… 使

，其中

步骤5)：令

，

步骤6)：end for

其中α是用来辅助计算

的变量。

根据字典A和特征向量通过EFLA算法即可得到特征向量的稀疏表示，即为稀疏化特征向量。

（3）混合特征向量是将提取得到的颜色特征向量，纹理特征向量和形状特征向量串联起来组成颜色纹理形状混合特征向量。

第三步：将是行人的图像标注为正例，非行人图像为反例，由第一步和第二步得到具有明确标签的行人训练图像的稀疏化特征向量，把所有的这些正反稀疏化特征向量输入到支持向量机训练得到一个可以区分行人与非行人的支持向量机分类器。

第四步：将归一化后的检测图像按照上述的第一步和第二步方法，先经过特征向量提取，然后再将得到的检测图像的特征向量稀疏表示，得到稀疏化的颜色、纹理、形状混合特征向量，最后把稀疏化混合特征向量输入支持向量机分类器，得到最终的识别结果。

本发明将所有行人训练样例的特征向量组合成字典A，然后分别对训练样例和测试样例进行稀疏表示，得到稀疏化后的特征向量，最后通过SVM对其进行识别，与没有对样例进行稀疏表示直接用SVM对其识别相比较，可以提高分类准确率(Accuracy)，并且在样例集越大时，越能体现稀疏表示的优势，而对于有遮挡的行人图像，我们把这样的图像看作是原始图像和噪声（如遮挡物）的相加，对于原始图像和噪声分别用不同的基来稀疏表示，这样可以有效地分离原图像和噪声，从而取得较好的识别率，具有很好的鲁棒性。

在实验中，训练集选择100到400张不同数量的行人图像，测试集选择100张行人图像，如图3是用本发明方法和没用稀疏学习而直接分别通过颜色，纹理，形状特征向量用SVM进行识别的实验结果，其中横轴为训练样本数目，纵轴为识别率，实线代表本文提出的行人检测方法，虚线代表没用稀疏学习而直接分别通过颜色，纹理，形状特征向量用SVM进行行人检测的方法，从图中可以看出，本发明方法普遍比没用稀疏学习而直接分别通过颜色，纹理，形状特征向量运用SVM进行识别的分类准确率要高并且当训练集逐渐扩大时。图4是使用混合特征向量比较这两种方法。我们选用融合14维颜色特征向量，3维纹理特征向量和7维形状特征向量的24维混合特征向量，实验表明，本发明的方法分类准确率为92%，而没有进行稀疏表示的传统方法分类准确率为89%，本发明方法普遍比没用稀疏学习而直接分别通过颜色，纹理，形状特征向量运用SVM进行识别的分类准确率要高，并且在训练样本数目增加时，更能体现本文方法的优势。图5是对有遮挡行人图像采用本发明方法和直接采用颜色、纹理、形状混合特征向量利用SVM进行识别的实验结果比较。实验结果表明，在有遮挡的行人图像识别中，使用本发明方法与传统方法相比，具有更好的识别精度，体现出较好的鲁棒性。

Claims

1.基于稀疏表示的行人检测方法，分为模型训练和比较识别两个阶段，其特征在于，在所述两个阶段分别对训练图像和检测图像进行归一化处理，提取颜色、纹理和形状三种特征向量，对所述三种特征向量进行稀疏表示并组合成稀疏化的混合特征向量；在所述模型训练阶段，根据训练图像稀疏化的混合特征向量通过支持向量机的模型训练方法训练分类器；在所述比较识别阶段，根据检测图像稀疏化的混合特征向量通过所述分类器进行识别。

2.根据权利要求1的基于稀疏表示的行人检测方法，其特征在于，所述颜色特征向量采用的是HSV颜色模型,其提取步骤为：

1) 将RGB空间转换到HSV空间；

2) 把色调H空间分成8份，饱和度S和亮度V空间分别分成3份；

3) 根据色彩的不同范围进行量化，量化后的色调、饱和度和亮度值分别为H，S，V；

4) 把3个颜色分量合成为一维特征矢量：I=H