CN104050460B - 多特征融合的行人检测方法 - Google Patents

Abstract

本发明公开了一种多特征融合的行人检测方法，步骤如下：1）特征设计，即对于输入样本图像计算随机特征，统计特征概率分布直方图；2）构造树分类器，即从多个特征概率分布直方图中选择判别能力较强的特征，形成树分类器；3）构造森林分类器，即由多个树分类器生成一个森林分类器；4）构造集成森林分类器，即由多个森林分类器生成集成森林分类器；5）使用集成森林分类器对行人进行检测。本发明方案计算效率高，为实时处理提供了有利条件。另外，从大量随机特征中选出较强判别能力的特征，利用多种随机特征进行融合有效的提高了行人检测效率。

Description

多特征融合的行人检测方法

技术领域

本发明涉及计算机视觉和模式识别领域，更具体地说，涉及一种使用多种特征融合的行人检测方法。

背景技术

行人检测是指在输入图像或者视频序列中将人体区域从背景中分割出来的过程。行人检测作为人体运动的视觉分析中的一项关键技术，近年来在诸如视频监控、机器人、智能交通和高级人机交互等计算机视觉领域中有着广泛的应用。

在行人检测中，由于极易受到光照、自身姿态、服饰等众多因素的影响，使得准确无误的检测行人有非常大的难度。行人检测的常用方法是基于统计分类的方法，即将行人检测看作是对行人和非行人两个类别进行分类的问题。其主要包括两个关键步骤：1、提取行人特征；2、采用模式识别方法进行分类。特征提取的目的是降低数据的维数，得到能反映模式本质属性的特征，方便后面的分类；分类器设计属于机器学习领域的范畴，其目的是得到一个计算复杂度较低，并且推广性较好的分类器。因此，如何提取有效的行人特征对行人检测至关重要。

根据特征描述的不同，行人特征可以分为底层特征、基于学习的特征和混合特征。

底层特征指的是颜色、纹理和梯度等基本的图像特征。Dalal等提出HOG(Histogram of Oriented Gradient)是目前广泛使用的行人特征描述子。HOG刻画图像的局部梯度幅值和方向特征,对光照变化和小量的偏移并不敏感,能有效地刻画出人体的边缘特征.但HOG也有其缺点，比如维度高、计算慢。另外还有Ojala等提出的一种用于纹理分类的特征提取方法,即局部二值模式(Local Binary Pattern,LBP)，其计算速度相对较快，但对于低分辨率下判别能力较差。

基于学习的特征指的是通过机器学习的方法,从大量的行人样本中学习到的行人特征表示。基于学习的特征,利用Boosting进行特征选择,选择出来的特征可看作是行人的中间层表示。利用AdaBoost从大量的Haar特征中选择判别能力较强的特征(弱分类器)，应用在行人检测中。

混合特征指的是多种底层特征的融合,或者是底层特征的高阶统计特征。Tuzel等利用各种不同特征，如象素的坐标、灰度的一阶导数、二阶导数和梯度方向等的协方差矩阵来描述行人的局部区域特征。Watanabe等则采用类似灰度共生矩阵的特征,提出了共生梯度方向直方图特征(Co-occurrence Histograms of Oriented Gradients,简称CoHOG)。CoHOG通过“梯度对”更好地描述了梯度的空间分布特征,其缺点主要是向量维度太高。

发明内容

本发明的目的在于，针对上述行人检测技术中，行人检测实时性差或者准确率低的问题，提出一种提取随机特征的方法，并且从大量随机特征中选出较强判别能力的特征，利用多种随机特征进行融合来达到有效行人检测的目的。

实现本发明目的的技术方案为：该方法包括以下过程。

1)特征设计，即对于输入样本图像计算随机特征，统计特征概率分布直方图；

2)构造树分类器，即从多个特征概率分布直方图中选择判别能力较强的特征，形成树分类器；

3)构造森林分类器，即由多个树分类器生成一个森林分类器；

4)构造集成森林分类器，即由多个森林分类器生成集成森林分类器；

5)使用集成森林分类器对行人进行检测。

上述方法中，所述步骤1)中的样本分为正例样本和反例样本，正例样本是指含有行人的图像，反例样本是指不含有行人的图像，正例样本和反例样本均统一为相同尺寸大小的图像。

上述方法中，所述步骤1)的特征设计包括以下过程：

11)计算样本随机特征；

12)计算特征序列概率分布直方图。

上述方法中，所述步骤11)包括以下具体步骤：

111)针对样本图像随机初始化fn个的相同大小的区域块，fn的取值范围为1000～10000，每个区域块随机初始化tn个的坐标点对，这里可以设tn＝{4,8,16,32}；

112)针对每一个区域块，计算坐标点对的像素差值，若差值大于在自定义的阈值ρ，则该坐标点对的形成的特征值为1，反之为0，因此，每个区域块的特征是由0和1组成，长度为tn的序列；

113)对于每一个样本图像，计算fn个区域块的特征，所有区域块的特征最终形成样本图像的特征T。特征T是由fn个长度为tn的序列组成。

上述方法中，所述步骤12)包括以下具体步骤：

121)对于第i个特征序列，其二进制值为v_i，统计该序列值分别在正例样本和反例样本中出现的次数，其值分别为

122)将其对应的二进制值进行归一化处理，方法如下：

其中，n₀为正例样本个数，n₁为反例样本个数；

123)重复上述步骤121)～步骤122)直至计算完所有的fn个特征序列为止，得到

124)在L₀和L₁中，其最大值分别记为列对应的最大值p_m0和p_m1，若p_m0>p_m1，则记p_m＝p_m0，p_l＝0；若p_m0≤p_m1，则记p_m＝p_m1，p_l＝1；

125)若p_m小于阈值ρ则p_m＝0,p_l＝-1。

上述方法中，所述步骤2)构造树分类器包括以下过程：

21)在构造树分类器之前，树分类器为空，对于含有n₀个正例样本，其每一个正例样本初始化权重为D_i＝0.5/n₀，对于含有n₁个反例样本，其每一个反例样本初始化权重为D_i＝0.5/n₁；

22)对于第i个特征序列，第j个样本图像在该特征序列下对应的标签为p_l，若样本标签与p_l不同，则需计算错误率，方法如下：

e_i＝e_i+D_j (2)

23)重复步骤22)直至计算完所有的正例样本和反例样本为止；

24)重复步骤21)～步骤22)直至计算完所有fn个特征序列为止，并标记其最小错误率对应的特征序列ind。

25)对于第j个样本图像，若样本标签与特征序列ind所对应的p_l不同，则更新样本权重为，方法如下：

若样本标签与特征序列ind所对应的p_l相同，则更新权重为：

26)重复以上步骤25)直至所有的正例样本和反例样本计算完毕为止；

27)正例样本和反例样本进行归一化权重，正例样本归一化方法如下：

反例样本归一化方法如下：

28)将该特征序列ind加入到树分类器中。重复步骤25)～步骤27)直至c_f个特征序列加入到树分类器中，最终形成树分类器。

上述方法中，所述步骤3)构造森林分类器包括以下具体步骤：

31)在构造森林分类器之前，森林分类器为空，初始化树分类器个数为n_tree，每个树分类器所含特征序列个数为c_f；

32)对于第i个树分类器，按照上述步骤1)和步骤2)构造树分类器；

33)重复上述步骤32)直至所有树分类器构造完毕，最终形成森林分类器。

上述方法中，所述步骤4)构造集成森林分类器包括以下具体步骤：

41)在构造集成森林分类器之前，集成森林分类器为空，初始化森林的个数n_forest；

42)对于第i个森林分类器，按照上述步骤3)构造森林分类器；

43)重复上述步骤42)直至所有森林分类器构造完毕，最终形成集成森林分类器。

上述方法中，所述步骤5)使用集成森林分类器对行人进行检测包括以下具体步骤：

51)对于树分类器中的第i个特征序列，根据步骤11)计算该特征序列的特征值。

52)该特征序列对应标签为p_l，若p_l不等于-1则计算下该标签的分数，方法如下：

53)重复以上步骤51)～52)直至该树分类器的所有c_f个特征序列计算完为止；

54)根据以上步骤51)～步骤53)得到最大的分数及其对应的标签。

55)对于森林分类器中第i个树分类器，按照步骤51)～步骤54)计算得到标签，并对标签进行计数；

56)重复步骤55)直至所有的n_tree个树分类器计算完毕为止，比较正例标签和反例标签所对应的分数，记录最大的分数和该分数对应的标签。

57)对于集成森林分类器中的第i个森林分类器，按照步骤56)计算的到标签，并对标签进行计数；

58)重复步骤57)直至所有的n_forest个森林分类器计算完毕为止，比较正例标签和反例标签所对应的分数，记录最大的分数和该分数对应的标签。

本发明与现有技术相比，其显著优点：本发明在特征提取时，提出了采用像素周围的随机两点的深度差作为像素的特征，该特征反映了像素周围的局域梯度信息，具有空间位置不变性，只涉及像素值的简单算术运算，计算效率高，为实时处理提供了有利条件。另外，从大量随机特征中选出较强判别能力的特征，利用多种随机特征进行融合有效的提高了行人检测效率。

附图说明

图1是基于多特征融合目标检测的方法流程图。

图2是生成特征统计表示意图。

图3是样本特征概率分布示意图。

图4是构造树分类器示意图。

图5是构造森林分类器示意图。

图6是构造集成森林分类器示意图。

图7是多特征融合行人检测结果示意图。

具体实施方式

本发明的整体操作流程如图1所示。下面结合附图对本发明的具体实施方式作进一步详细说明。

本发明主要包括特征设计、分类器构造以及行人目标检测三个过程。样本分为正例样本和反例样本，正例样本是指含有行人的图像，反例样本是指不含有行人的图像，正例样本和反例样本均统一为相同尺寸大小的图像。

步骤1：特征设计。

步骤11：计算样本随机特征；

步骤111：针对样本图像随机初始化fn个的相同大小的区域块，fn的取值范围为1000～10000，每个区域块随机初始化tn个的坐标点对，这里可以设tn＝{4,8,16,32}；

步骤112：针对每一个区域块，计算坐标点对的像素差值，若差值大于在自定义的阈值ρ，则该坐标点对的形成的特征值为1，反之为0，因此，每个区域块的特征是由0和1组成，长度为tn的序列；

步骤113：对于每一个样本图像，计算fn个区域块的特征，所有区域块的特征最终形成样本图像的特征T。特征T是有数fn个长度为tn的序列组成。

步骤12：计算特征序列概率分布直方图。

步骤121：对于第i个特征序列，其二进制值为v_i，统计该序列值分别在正例样本和反例样本中出现的次数，其值分别为如图2所示。

步骤122：将其对应的二进制值进行归一化处理，方法如下：

其中，n₀为正例样本个数，n₁为反例样本个数；

步骤123：重复上述步骤121～步骤122直至计算完所有的fn个特征序列为止，得到生成样本特征概率分布，如图3所示。

步骤124：在L₀和L₁中，其最大值分别记为列对应的最大值p_m0和p_m1，若p_m0>p_m1，则记p_m＝p_m0，p_l＝0；若p_m0≤p_m1，则记p_m＝p_m1，p_l＝1；

步骤125：若p_m小于阈值ρ则p_m＝0,p_l＝-1。

步骤2：构造树分类器。

步骤21：在构造树分类器之前，树分类器为空，对于含有n₀个正例样本，其每一个正例样本初始化权重为D_i＝0.5/n₀，对于含有n₁个反例样本，其每一个反例样本初始化权重为D_i＝0.5/n₁；

步骤22：对于第i个特征序列，第j个样本图像在该特征序列下对应的标签为p_l，若样本标签与p_l不同，则需计算错误率，方法如下：

e_i＝e_i+D_j (2)

步骤23：重复步骤22直至计算完所有的正例样本和反例样本为止；

步骤24：重复步骤21～步骤22直至计算完所有fn个特征序列为止，并标记其最小错误率对应的特征序列ind。

步骤25：对于第j个样本图像，若样本标签与特征序列ind所对应的p_l不同，则更新样本权重为，方法如下：

若样本标签与特征序列ind所对应的p_l相同，则更新权重为：

步骤26：重复以上步骤25直至所有的正例样本和反例样本计算完毕为止；

步骤27：正例样本和反例样本进行归一化权重，正例样本归一化方法如下：

反例样本归一化方法如下：

步骤28：将该特征序列ind加入到树分类器中。重复步骤25～步骤27直至c_f个特征序列加入到树分类器中，最终形成树分类器。如图4所示。

步骤3：构造森林分类器。

步骤31：在构造森林分类器之前，森林分类器为空，初始化树分类器个数为n_tree，每个树分类器所含特征序列个数为c_f；

步骤32：对于第i个树分类器，按照上述步骤1和步骤2构造树分类器；

步骤33：重复上述步骤32直至所有树分类器构造完毕，最终形成森林分类器。如图5所示。

步骤4：构造集成森林分类器。

步骤41：在构造集成森林分类器之前，集成森林分类器为空，初始化森林的个数n_forest；

步骤42：对于第i个森林分类器，按照上述步骤3构造森林分类器；

步骤43：重复上述步骤42直至所有森林分类器构造完毕，最终形成集成森林分类器。如图6所示。

步骤5：使用集成森林分类器对行人进行检测。

步骤51：对于树分类器中的第i个特征序列，根据步骤11计算该特征序列的特征值。

步骤52：该特征序列对应标签为p_l，若p_l不等于-1则计算下该标签的分数，方法如下：

步骤53：重复以上步骤51～52直至该树分类器的所有c_f个特征序列计算完为止；

步骤54：根据以上步骤51～步骤53得到最大的分数及其对应的标签。

步骤55：对于森林分类器中第i个树分类器，按照步骤51～步骤54计算得到标签，并对标签进行计数；

步骤56：重复步骤55直至所有的n_tree个树分类器计算完毕为止，比较正例标签和反例标签所对应的分数，记录最大的分数和该分数对应的标签。

步骤57：对于集成森林分类器中的第i个森林分类器，按照步骤56计算的到标签，并对标签进行计数；

步骤58：重复步骤57直至所有的n_forest个森林分类器计算完毕为止，比较正例标签和反例标签所对应的分数，记录最大的分数和该分数对应的标签。

其检测结果如图7所示。其中纵坐标miss rate表示将正例样本误检为反例样本的个数占所有正例样本的比率，横坐标FPPW表示将反例样本误检为正例样本的个数占所有反例样本的比率。图7中UForest3表示三个森林形成集成森林分类器，UForest4表示四个森林形成集成森林分类器，UForest5表示五个森林形成集成森林分类器，从图7中可以看到，由四个森林形成集成森林分类器(UForest4)表现出良好的性能。在FPPW为10^-2时，误检率为4.8％，在FPPW为10^-3时，误检率为16.6％。

Claims (6)

1.一种多特征融合的行人检测方法，其特征在于包括以下步骤：

1)特征设计，即对于输入样本图像计算随机特征，统计特征概率分布直方图；

2)构造树分类器，即从多个特征概率分布直方图中选择判别能力较强的特征，形成树分类器；

3)构造森林分类器，即由多个树分类器生成一个森林分类器；

4)构造集成森林分类器，即由多个森林分类器生成集成森林分类器；

5)使用集成森林分类器对行人进行检测；

步骤1)中的样本分为正例样本和反例样本，正例样本是指含有行人的图像，反例样本是指不含有行人的图像，正例样本和反例样本均统一为相同尺寸大小的图像；

步骤1)特征设计包括以下步骤：

11)计算样本随机特征；

12)计算特征序列概率分布直方图；

步骤12)包括以下具体步骤：

121)对于第i个特征序列，其二进制值为v_i，统计该序列值分别在正例样本和反例样本中出现的次数，其值分别为

122)将其对应的二进制值出现的次数进行归一化处理，方法如下：

其中，n₀为正例样本个数，n₁为反例样本个数；

123)重复上述步骤121)～步骤122)直至计算完所有的fn个特征序列为止，得到fn为所选取的相同大小的区域块的个数；

124)在L₀和L₁中，其最大值分别记为列对应的最大值p_m0和p_m1，若p_m0>p_m1，则记p_m＝p_m0，p_l＝0；若p_m0≤p_m1，则记p_m＝p_m1，p_l＝1；

125)若p_m小于阈值ρ则p_m＝0,p_l＝-1。

2.根据权利要求1所述的多特征融合的行人检测方法，其特征在于所述步骤11)包括以下具体步骤：

111)针对样本图像随机初始化fn个的相同大小的区域块，fn的取值范围为1000～10000，每个区域块随机初始化tn个的坐标点对，设tn＝{4,8,16,32}；

112)针对每一个区域块，计算坐标点对的像素差值，若差值大于在自定义的阈值ρ，则该坐标点对的形成的特征值为1，反之为0，因此，每个区域块的特征是由0和1组成，长度为tn的序列；

113)对于每一个样本图像，计算fn个区域块的特征，所有区域块的特征最终形成样本图像的特征T，特征T是由fn个长度为tn的序列组成。

3.根据权利要求1所述的多特征融合的行人检测方法，其特征在于所述步骤2)构造树分类器包括以下具体步骤：

21)在构造树分类器之前，树分类器为空，对于含有n₀个正例样本，其每一个正例样本初始化权重为D_i＝0.5/n₀，对于含有n₁个反例样本，其每一个反例样本初始化权重为D_i＝0.5/n₁；

22)对于第i个特征序列，第j个样本图像在该特征序列下对应的标签为p_l，若样本标签与p_l不同，则需计算错误率，方法如下：

e_i＝e_i+D_j (2)

23)重复步骤22)直至计算完所有的正例样本和反例样本为止；

24)重复步骤21)～步骤22)直至计算完所有fn个特征序列为止，并标记其最小错误率对应的特征序列ind；

25)对于第j个样本图像，若样本标签与特征序列ind所对应的p_l不同，则更新样本权重为，方法如下：

若样本标签与特征序列ind所对应的p_l相同，则更新权重为：

26)重复以上步骤25)直至所有的正例样本和反例样本计算完毕为止；

27)正例样本和反例样本进行归一化权重，正例样本归一化方法如下：

反例样本归一化方法如下：

28)将该特征序列ind加入到树分类器中；重复步骤25)～步骤27)直至c_f个特征序列加入到树分类器中，最终形成树分类器。

4.根据权利要求1所述的多特征融合的行人检测方法，其特征在于所述步骤3)构造森林分类器包括以下具体步骤：

31)在构造森林分类器之前，森林分类器为空，初始化树分类器个数为n_tree，每个树分类器所含特征序列个数为c_f；

32)对于第i个树分类器，按照上述步骤1)和步骤2)构造树分类器；

33)重复上述步骤32)直至所有树分类器构造完毕，最终形成森林分类器。

5.根据权利要求1所述的多特征融合的行人检测方法，其特征在于所述步骤4)包括以下具体步骤：

41)在构造集成森林分类器之前，集成森林分类器为空，初始化森林的个数n_forest；

42)对于第i个森林分类器，按照上述步骤3)构造森林分类器；

43)重复上述步骤42)直至所有森林分类器构造完毕，最终形成集成森林分类器。

6.根据权利要求1所述的多特征融合的行人检测方法，其特征在于所述步骤5)包括以下具体步骤：

51)对于树分类器中的第i个特征序列，根据步骤11)计算该特征序列的特征值；

52)该特征序列对应标签为p_l，若p_l不等于-1则计算下该标签的分数，方法如下：

53)重复以上步骤51)～52)直至该树分类器的所有c_f个特征序列计算完为止；

54)根据以上步骤51)～步骤53)得到最大的分数及其对应的标签；

55)对于森林分类器中第i个树分类器，按照步骤51)～步骤54)计算得到标签，并对标签进行计数；

56)重复步骤55)直至所有的n_tree个树分类器计算完毕为止，比较正例标签和反例标签所对应的分数，记录最大的分数和该分数对应的标签；

57)对于集成森林分类器中的第i个森林分类器，按照步骤56)计算的到标签，并对标签进行计数；

58)重复步骤57)直至所有的n_forest个森林分类器计算完毕为止，比较正例标签和反例标签所对应的分数，记录最大的分数和该分数对应的标签。