CN102842045B - 一种基于组合特征的行人检测方法 - Google Patents

Abstract

本发明一种基于组合特征的行人检测方法，将一定数量、尺寸相同的训练样本，该训练样本包括包含行人的正样本和随机截取一些不包含行人的背景的负样本；对所述的训练样本提取统计结构梯度特征，然后送入支持向量机中训练得到一个分类器，然后使用级联结构训练一个n层的级联分类器，得到一个离线的级联分类器作为最终的判别行人的分类器，通过该分类器去检测图像或视频中的行人，并将其标注出来；能准确描述行人且计算简单，能够很好地平衡检测精度与检测速度。

Description

一种基于组合特征的行人检测方法

技术领域

本发明涉及一种基于组合特征的行人检测方法。

背景技术

近年来，在计算机视频监控领域中，后端智能视频分析是一个热门的研究领域。而行人检测技术又是一些智能视频分析技术的先决条件。目前，行人检测有两种方式：一种是基于局部特征的行人检测，一种是基于全局特征的行人检测。基于局部特征的行人检测优点在于计算速度快，实时性较好，但由于行人在图像中是一个宏观表现，不像人脸较小—用局部特征(微观)足以描述，用局部特征(微观)很难对行人进行表征；基于全局特征的行人检测优点在于准确率高，由于提取各种各样的行人全局特征，通过训练缩小类间(行人与行人)差异，增大了两类(目标与背景)差异，对行人的描述较准确，但由于特征计算复杂，因此不能达到实时检测行人的目的。

发明内容

本发明为了克服现有复杂场景中行人检测技术的不足，提出一种能准确描述行人且计算简单的行人检测方法，能够很好地平衡检测精度与检测速度。

一种基于组合特征的行人检测方法，分为训练过程和检测过程，先离线训练一个判别行人的级联分类器，然后通过该级联分类器去检测图像中是否有行人，如果判断有行人则将其标注出来；

所述的训练过程具体包括如下步骤：

步骤11、从包含行人的图像中截取大小为AxB包含行人的窗口作为正样本，该n个正样本形成正训练样本集；随机截取大小为AxB不包含行人的窗口作为负样本，该m个负样本形成初始负训练样本集，选取h张场景较复杂但不包含行人的图片作为负样本替换集的初始内容；

步骤12、在提取正、负训练样本集中所有训练样本的统计结构梯度特征(SSGF)后，将正样本标签置为+1，负样本标签置为-1，设置训练次数初始值t为0；

步骤13、将所有正负训练样本的统计结构梯度特征和对应的样本标签送入支持向量机中进行训练，设定支持向量机的训练参数：C＝0.01,核函数kernel(x₁，x₂)＝x₁*x₂；依照训练次数t，分别得到t个分类器H_t,然后将分类器H₁、分类器H₂、分类器H₃、…、分类器H_t排列组合成级联分类器，每级分类器的判定门限为θ；

步骤14、检测窗口经过级联分类器逐级判断皆为有行人时，则接受该检测窗口，一旦其中一个分类器判断检测窗口内没有行人就拒绝该检测窗口；利用当前级联分类器在预置的负样本替换集中搜寻困难样本，所述的困难样本是指当前级联分类器将无行人的检测窗口判别为有行人时的负样本，终止条件如下：

步骤141、经过步骤13后，若当前m个负样本中被当前级联分类器正确分类的m1个负样本将被丢弃，相应地搜寻m1个困难样本加入负训练样本集中；被当前级联分类器判断为正样本的将被保留下来作为困难样本进入下一轮训练，返回步骤13；当m个负样本全部成为困难样本时停止搜索，终止本轮训练；

步骤142、对负样本替换集中每个替换样本构建一组5种尺度缩放因子为0.8的倍数的金字塔图像，然后让检测窗口在金字塔图像上扫描，使用当前级联分类器判断该检测窗口中是否含有行人，若判断存在行人，则执行步骤141，否则一直搜索到负样本替换集穷尽为止，然后终止本轮训练；

步骤15、训练次数t＝t+1，重复步骤13至步骤14，得到最终级联分类器；

所述的检测过程具体包括如下步骤：

步骤21、根据待检测图像构建金字塔图像，尺度缩放因子为0.8；

步骤22、计算金字塔图像中的LBPU结构图和自然梯度图，以及结构特征积分图和梯度特征积分图；

对统计结构梯度特征进行计算并与门限值进行比较，公式为

result＝w^T*f≥θ

其中，w为分类器，f为特征向量，θ为分类器的判定门限；其中，统计结构梯度特征计算分为结构特征计算和自然梯度特征计算，即

$w^T*f={\left[w^1{w}^2\right]}^T\left[\begin{array}{c}{f}^1\\ f^2\end{array}\right]={\left(w^1\right)}^T*f^1+{\left(w^2\right)}^T*f^2$

其中，w¹为结构特征分类器，w²为自然梯度特征分类器，f¹为结构特征，f²为自然梯度特征；

所述的结构特征积分图为：

对于图像中任意一点(x₀,y₀)

$\begin{array}{c}{w}^1*f^1=\underset{i=1}{\overset{10}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}{w}_{i,j}^1{f}_{i,j}^1\\ =\underset{i=1}{\overset{10}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}\underset{x=0}{\overset{2*h-1}{\Σ}}\underset{y=0}{\overset{2*w-1}{\Σ}}{w}_{i,j}^1\left(val\left(x+\left(i-1\right)*h+x_0,y+\left(j-1\right)*w+y_0\right)\right)\end{array}$

其中，val(x,y)为(x,y)点的LBPU值，w¹ _ij(val(x,y))为(x,y)点的权重，令：

$A(x,y)=\underset{i=1}{\overset{10}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}{w}_{i,j}^1\left(val(x,y)\right)---\left(4\right)$

表示对应每个分块中对应(x,y)点的权重都累加到了A(x,y)上，将公式(4)中前后两个求和符号交换可以得到

$w^1*f^1=\underset{x=x_0}{\overset{x_0+2h-1}{\Σ}}\underset{y=y_0}{\overset{y_0+2w-1}{\Σ}}A(x,y)$

便利一遍该图像形成一个整幅图像的结构特征积分图；

所述的梯度特征积分图为：

任意一点(x,y)，可以用一个4维的向量表示

$\begin{array}{cc}ii(x,y,i)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\Σ}i(x^{\′},y^{\′},i)& i\∈\{0,1,2,3\}\end{array}---\left(6\right)$

因此可以通过式(6)构建一个4维的梯度特征积分图；

步骤23、检测窗口在金字塔图像中滑动，通过训练好的级联分类器对检测窗口进行判断，如果该检测窗口中的计算值result大于等于当前分类器的判定门限θ，则判定为行人，记录此时图像的尺度和位置；

步骤24、扫描完整个金字塔图像后，对判定为行人位置的检测窗口进行融合，最终用矩形框将行人在图像上标注出来。

所述的统计结构梯度特征提取包括如下步骤：

步骤121、对训练样本(I)求取sobel梯度图像(G)，并计算梯度图像(G)中的幅值G：

其中sobel模板采用： $\begin{array}{cc}gx=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]& gy=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\end{array}$

则幅值 $G=\underset{{}_{k\∈channel\left(I\right)}}{max}({\mathrm{gx}}_k*{\mathrm{gx}}_k+{\mathrm{gy}}_k*{\mathrm{gy}}_k)$

步骤122、为了实现人体边缘轮廓的连续性，对sobel梯度图像(G)求取LBPU结构图(SG)；

LBPU结构图计算公式：

${\mathrm{LBP}}_{P,R}=\underset{P=0}{\overset{P-1}{\Σ}}s(g_p-g_c)2^p$

$s\left(x\right)=\left\{\begin{array}{cc}1& x\≥0\\ 0& other\end{array}\right.$

其中P表示邻域像素的个数，g_c表示中心像素的灰度值，g_p表示中心相邻的像素灰度值，设置p＝8,R＝2；

步骤123、沿人体边缘轮廓梯度方向，对sobel梯度图像(G)求取自然梯度图(NG)：

sobel梯度图像(G)中每一点都存在四个方向的梯度，分别为135°(①)，90°(②)、45°(③)、0°(④)，每个方向上存在一个标志位Flag，当且仅当同一方向上的三个像素强度按顺序排列时，将Flag＝True，否则置为False；

步骤124、按照步骤123的计算方法，sobel梯度图像(G)每一点可以表示为四个方向的梯度向量，将自然梯度图(NG)按四个方向分割开，分别计算四个方向的自然梯度积分图；

步骤125、按照训练样本去除边界后的大小作为检测窗口的大小，对检测窗口进行分块处理,其中每一个块大小为16x20，包含4个cell，大小为8x10；以一个cell大小为步长、一个块大小的窗口在检测窗口中滑动，在每个块中搜集特征，统计一个块中LBPU的直方图，记做一个59维的块结构特征，然后统计对应块中每个cell的自然梯度累加和，每个cell为一个4维的向量，从左到右顺序连接4个cell，形成一个16维的自然梯度直方图，则一个块可以表示为一个75维的向量，按一个cell大小为步长滑动整个检测窗口后得到一个3750维的特征向量，从而融合结构特征与自然梯度特征形成统计结构梯度特征。

本发明将一定数量、尺寸相同的训练样本，该训练样本包括包含行人的正样本和随机截取一些不包含行人的背景的负样本；对所述的训练样本提取统计结构梯度特征(Statistical Structural GradientFeature，SSGF)，然后送入支持向量机(Support Vector Machine，SVM)中训练得到一个分类器，然后使用级联结构(bootstrap)训练一个n(一般2～4)层的级联分类器，得到一个离线的级联分类器作为最终的判别行人的分类器，通过该分类器去检测图像中的行人，并将其标注出来。由于本发明利用了图像边缘的多种属性，如边缘的方向特性、结构特性，属于多特征融合方法，因而能更准确描述行人的统计特征，同时因为本发明在进行计算时能够采用积分图等技术提高技术速度，所以说能够很好地平衡检测精度与检测速度。

附图说明

图1为本发明中统计梯度特征示意图；

图2为本发明中梯度积分示意图；

图3为本发明中统计结构梯度算子示意图；

图4为本发明中统计结构特征提取流程图；

图5为本发明中训练框架流程图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

本发明一种基于组合特征的行人检测方法，主要分为训练过程和检测过程，先离线训练一个判别行人的级联分类器，然后通过该级联分类器去检测图像中是否有行人，如果判断有行人则将其标注出来：

如图5所示，所述的训练过程具体包括如下步骤：

步骤11、从包含行人的图像中截取大小为A*B(宽x高)包含行人的窗口作为正样本，n个正样本形成正训练样本集，本实施例中A＝52，B＝114；随机截取大小为A*B不包含行人的窗口作为负样本，m个负样本形成初始负训练样本集，选取h张场景较复杂但不包含行人的图片作为负样本替换集的初始内容；

步骤12、在提取完正、负训练样本集中所有训练样本的统计结构梯度特征(SSGF)后，将正样本标签置为+1，负样本标签置为-1，设置训练次数初始值t为0；

如图4所示，所述的统计结构梯度特征提取包括如下步骤：

步骤121、对训练样本(I:3channels)(指三通道彩色图像)进行gamma校正，公式为V_out＝(V_in)^sigma，sigma＝0.5，调节图像的对比度，便于行人弱边缘的提取，若考虑到训练速度可以将此步骤去掉，但精度会有所降低；

步骤122、对训练样本(I)求取sobel梯度图像(G)，并计算梯度图像(G)中的幅值G：

其中sobel模板采用： $\begin{array}{cc}gx=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]& gy=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\end{array}$

则幅值 $G=\underset{{}_{k\∈channel\left(I\right)}}{max}({\mathrm{gx}}_k*{\mathrm{gx}}_k+{\mathrm{gy}}_k*{\mathrm{gy}}_k)$

步骤123、为了实现人体边缘轮廓的连续性，对sobel梯度图像(G)求取LBPU结构图(SG)；

LBPU结构图计算公式：

${\mathrm{LBP}}_{P,R}=\underset{P=0}{\overset{P-1}{\Σ}}s(g_p-g_c)2^p$

$s\left(x\right)=\left\{\begin{array}{cc}1& x\≥0\\ 0& other\end{array}\right.$

其中P表示邻域像素的个数，g_c表示中心像素的灰度值，g_p表示中心相邻的像素灰度值，设置p＝8,R＝2；

对于一个中心像素的一个3*3的8邻域中，通过上式可以得到一个8位的二进制串(如10010010)，总共有2⁸＝256种模式(表述R＝1模式)，定义二进制串中1->0或0->1为一次跳变(10010010,1->0跳变有3次，0->1跳变有2次)，那么定义两次跳变为统一模式(表述为R＝2模式)，变换后有59种模式；

步骤124、沿人体边缘轮廓梯度方向，对sobel梯度图像(G)求取自然梯度图(NG)：

图1中sobel梯度图像(G)中每一点都存在四个方向的梯度，分别为135°(①)，90°(②)、45°(③)、0°(④)，每个方向上存在一个标志位Flag，当且仅当同一方向上的三个像素强度按顺序排列时，将Flag＝True，否则置为False，其中，135°方向上的像数强度为56、110和255，按顺序排列，则Flag＝True，而0°方向上的像素强度为112、110和255，不按顺序排列，则Flag＝False；

步骤125、按照步骤124的计算方法，sobel梯度图像(G)每一点可以表示为四个方向的梯度向量，如图2所示，将自然梯度图(NG)按四个方向分割开，分别计算四个方向的自然梯度积分图；

步骤126、按照训练样本去除边界后的大小作为检测窗口的大小，对检测窗口进行分块处理,如图3所示,其中每一个block大小为16*20，包含4个cell，大小为8*10；以一个cell大小为步长、block大小的窗口在检测窗口中滑动，在每个block中搜集特征，统计一个block中LBPU的直方图，记做一个59维的block结构特征，然后统计对应block中每个cell的自然梯度累加和，每个cell为一个4维的向量，从左到右顺序连接4个cell，形成一个16维的自然梯度直方图，则一个block可以表示为一个59+16＝75维的向量，按一个cell大小为步长滑动整个检测窗口后得到一个3750维的特征向量，从而融合结构特征与自然梯度特征形成统计结构梯度特征(SSGF)；

步骤13、将所有正负训练样本的统计结构梯度特征和对应的样本标签送入支持向量机(SVM)中进行训练，并设定支持向量机中一个训练参数C＝0.01，采用线性的核函数kernel(x₁，x₂)＝x₁*x₂，依照训练次数t，分别得到t个分类器H_t,逐级将分类器H₁、分类器H₂、分类器H₃、…、分类器H_t排列组合成级联分类器；其中每级的分类器采用的判定门限为θ；

步骤14、检测窗口经过级联分类器依次判断皆为行人时，接受该检测窗口，一旦其中一个分类器判断没有行人就拒绝该检测窗口；这样能快速拒绝背景，有助于提升检测的速度，利用当前级联分类器在预置的负样本替换集中搜寻困难样本，所述的困难样本是指当前级联分类器将检测窗口判别为行人时的负样本，此时表示当前级联分类器没有能力辨别此负样本，因此对当前级联分类器而言，该无法正确辨别的负样本称之为困难样本，终止条件如下：

步骤141、经过步骤13后，若当前m个负样本中被当前级联分类器正确分类的m1个负样本将被丢弃，相应地搜寻m1个困难样本加入负训练样本集中；被当前级联分类器判断为正样本的将被保留下来作为困难样本进入下一轮训练，返回步骤13；当m个负样本全部成为困难样本时停止搜索，终止本轮训练；

步骤142、对负样本替换集中每个替换样本构建一组5种尺度缩放因子为0.8的倍数的金字塔图像，该缩放因子分别为1.0、0.8、0.64、0.512、0.4096，然后让检测窗口在金字塔图像上以Xstep＝8，Ystep＝10的步长扫描，使用当前级联分类器判断该检测窗口中是否含有行人，若判断存在行人，则执行步骤141，否则一直搜索到负样本替换集穷尽为止，然后终止本轮训练；

步骤15、训练次数t＝t+1，重复步骤13至步骤14，得到最终级联分类器。

所述的检测过程具体包括如下步骤：

步骤21、根据待检测图像构建金字塔图像，尺度缩放因子为0.8；

步骤22、计算金字塔图像中的LBPU结构图(SG)和自然梯度图(NG)，以及结构特征积分图和梯度特征积分图；

对统计结构梯度特征进行计算并与分类器的判定门限进行比较，公式为：result＝w^T*f≥θ (1)

w为分类器，f为特征向量，θ为分类器的判定门限；其中，统计结构梯度特征计算分为结构特征计算和自然梯度特征计算，即

$w^T*f={\left[w^1{w}^2\right]}^T\left[\begin{array}{c}{f}^1\\ f^2\end{array}\right]={\left(w^1\right)}^T*f^1+{\left(w^2\right)}^T*f^2---\left(2\right)$

w¹为结构特征分类器(w的一部分)，w²为自然梯度特征分类器，f¹为结构特征，f²为自然梯度特征；

所述的结构特征积分图：

对于图像中任意一点(x₀,y₀)

$\begin{array}{c}{w}^1*f^1=\underset{i=1}{\overset{10}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}{w}_{i,j}^1{f}_{i,j}^1\\ =\underset{i=1}{\overset{10}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}\underset{x=0}{\overset{2*h-1}{\Σ}}\underset{y=0}{\overset{2*w-1}{\Σ}}{w}_{i,j}^1\left(val\left(x+\left(i-1\right)*h+x_0,y+\left(j-1\right)*w+y_0\right)\right)\end{array}---\left(3\right)$

其中val(x,y)为(x,y)此点的LBPU值，w¹ _ij(val(x,y))为此点的权重，令：

$A(x,y)=\underset{i=1}{\overset{10}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}{w}_{i,j}^1\left(val(x,y)\right)---\left(4\right)$

表示对应每个分块(block)中对应(x,y)点的权重都累加到了A(x,y)上，将公式(4)中前后两个求和符号交换可以得到

$w^1*f^1=\underset{x=x_0}{\overset{x_0+2h-1}{\Σ}}\underset{y=y_0}{\overset{y_0+2w-1}{\Σ}}A(x,y)---\left(5\right)$

由此可以看出对于结构特征，当确定了起始点的位置时，此点对应的检测窗口的权重和以累加到了此点，因此只要遍历一遍该图像，就可以形成一个整幅图像的结构特征积分图；

所述的梯度特征积分图：

对于图2中，任意一点(x,y)，可以用一个4维的向量表示

$\begin{array}{cc}ii(x,y,i)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\Σ}i(x^{\′},y^{\′},i)& i\∈\{0,1,2,3\}\end{array}---\left(6\right)$

因此可以通过式(6)构建一个4维的梯度特征积分图；

步骤23、检测窗口在金字塔图像中滑动，通过训练好的级联分类器对检测窗口进行判断，如果该检测窗口中的计算值result大于等于当前分类器的判定门限θ，则判定为行人，记录此时图像的尺度和位置；窗口滑动的步长为Xstep(1～8)，Ystep(1～10)；

步骤24、扫描完整个金字塔图像后，对判定为行人位置的检测窗口进行融合(规则为两个窗口覆盖区域大于60％则融合)，最终用矩形框将行人在图像上标注出来。

本发明的重点在于将一定数量、尺寸相同的训练样本，该训练样本包括包含行人的正样本和随机截取一些不包含行人的背景的负样本；对所述的训练样本提取统计结构梯度特征，然后送入支持向量机中训练得到一个分类器，然后使用级联结构训练一个n层的级联分类器，得到一个离线的级联分类器作为最终的判别行人的分类器，通过该分类器去检测图像中的行人，并将其标注出来。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (1)

1.一种基于组合特征的行人检测方法，其特征在于：分为训练过程和检测过程，先离线训练一个判别行人的级联分类器，然后通过该级联分类器去检测图像中是否有行人，如果判断有行人则将其标注出来；

所述的训练过程具体包括如下步骤：

步骤11、从包含行人的图像中截取大小为A*B包含行人的窗口作为正样本，n个正样本形成正训练样本集；随机截取大小为A*B不包含行人的窗口作为负样本，m个负样本形成初始负训练样本集，选取h张场景较复杂但不包含行人的图片作为负样本替换集的初始内容；

步骤12、在提取正、负训练样本集中所有训练样本的统计结构梯度特征(SSGF)后，将正样本标签置为+1，负样本标签置为-1，设置训练次数初始值t为0，统计结构梯度特征提取包括：

步骤121、对训练样本(I)求取sobel梯度图像(G)，并计算梯度图像(G)中的幅值G：

其中sobel模板采用： $\begin{array}{cc}gx=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]& gy=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\end{array}$

则幅值 $G=\underset{{}_{k\∈channel\left(I\right)}}{max}({\mathrm{gx}}_k*{\mathrm{gx}}_k+{\mathrm{gy}}_k*{\mathrm{gy}}_k)$

步骤122、为了实现人体边缘轮廓的连续性，对sobel梯度图像(G)求取LBPU结构图(SG)；

LBPU结构图计算公式：

${\mathrm{LBP}}_{P,R}=\underset{P=0}{\overset{P-1}{\Σ}}s(g_p-g_c)2^p$

$s\left(x\right)=\left\{\begin{array}{cc}1& x\≥0\\ 0& other\end{array}\right.$

其中P表示邻域像素的个数，g_c表示中心像素的灰度值，g_p表示中心相邻的像素灰度值，设置p＝8,R＝2；

步骤123、沿人体边缘轮廓梯度方向，对sobel梯度图像(G)求取自然梯度图(NG)：

sobel梯度图像(G)中每一点都存在四个方向的梯度，分别为135°(①)，90°(②)、45°(③)、0°(④)，每个方向上存在一个标志位Flag，当且仅当同一方向上的三个像素强度按顺序排列时，将Flag＝True，否则置为False；

步骤124、按照步骤123的计算方法，sobel梯度图像(G)每一点可以表示为四个方向的梯度向量，将自然梯度图(NG)按四个方向分割开，分别计算四个方向的自然梯度积分图；

步骤125、按照训练样本去除边界后的大小作为检测窗口的大小，对检测窗口进行分块处理,其中每一个块大小为16*20，包含4个cell，大小为8*10；以一个cell大小为步长、一个块大小的窗口在检测窗口中滑动，在每个块中搜集特征，统计一个块中LBPU的直方图，记做一个59维的块结构特征，然后统计对应块中每个cell的自然梯度累加和，每个cell为一个4维的向量，从左到右顺序连接4个cell，形成一个16维的自然梯度直方图，则一个块可以表示为一个75维的向量，按一个cell大小为步长滑动整个检测窗口后得到一个3750维的特征向量，从而融合结构特征与自然梯度特征形成统计结构梯度特征；

步骤13、将所有正负训练样本的统计结构梯度特征和对应的样本标签送入支持向量机中进行训练，设定支持向量机的训练参数：C＝0.01,核函数kernel(x₁，x₂)＝x₁*x₂；依照训练次数t，分别得到t个分类器H_t,然后将分类器H₁、分类器H₂、分类器H₃、…、分类器H_t排列组合成级联分类器，每级分类器的判定门限为θ；

步骤14、检测窗口经过级联分类器逐级判断皆为有行人时，则接受该检测窗口，一旦其中一个分类器判断检测窗口内没有行人就拒绝该检测窗口；利用当前级联分类器在预置的负样本替换集中搜寻困难样本，所述的困难样本是指当前级联分类器将无行人的检测窗口判别为有行人时的负样本，终止条件如下：

步骤141、经过步骤13后，若当前m个负样本中被当前级联分类器正确分类的m1个负样本将被丢弃，相应地搜寻m1个困难样本加入负训练样本集中；被当前级联分类器判断为正样本的将被保留下来作为困难样本进入下一轮训练，返回步骤13；当m个负样本全部成为困难样本时停止搜索，终止本轮训练；

步骤142、对负样本替换集中每个替换样本构建一组5种尺度缩放因子为0.8的倍数的金字塔图像，然后让检测窗口在金字塔图像上扫描，使用当前级联分类器判断该检测窗口中是否含有行人，若判断存在行人，则执行步骤141，否则一直搜索到负样本替换集穷尽为止，然后终止本轮训练；

步骤15、训练次数t＝t+1，重复步骤13至步骤14，得到最终级联分类器；

所述的检测过程具体包括如下步骤：

步骤21、根据待检测图像构建金字塔图像，尺度缩放因子为0.8；

步骤22、计算金字塔图像中的LBPU结构图和自然梯度图，以及结构特征积分图和梯度特征积分图；

对统计结构梯度特征进行计算并与分类器的门限值进行比较，公式为：result＝w^T*f≥θ

其中，w为分类器，f为特征向量，θ为分类器的判定门限；其中，统计结构梯度特征计算分为结构特征计算和自然梯度特征计算，即：

$w^T*f={\left[\begin{array}{cc}{w}^1& w^2\end{array}\right]}^T\left[\begin{array}{c}{f}^1\\ f^2\end{array}\right]={\left(w^1\right)}^T*f^1+{\left(w^2\right)}^T*f^2$

其中，w¹为结构特征分类器，w²为自然梯度特征分类器，f¹为结构特征，f²为自然梯度特征；

所述的结构特征积分图为：

对于图像中任意一点(x₀,y₀)

$\begin{array}{c}{w}^1*f^1=\underset{i=1}{\overset{10}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}{w}_{i,j}^1{f}_{i,j}^1\\ =\underset{i=1}{\overset{10}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}\underset{x=0}{\overset{2*h-1}{\Σ}}\underset{y=0}{\overset{2*w-1}{\Σ}}{w}_{i,j}^1\left(val\left(x+\left(i-1\right)*h+x_0,y+\left(j-1\right)*w+y_0\right)\right)\end{array}$

其中，val(x,y)为(x,y)点的LBPU值，w¹ _ij(val(x,y))为(x,y)点的权重，令：

$A(x,y)=\underset{i=1}{\overset{10}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}{w}_{i,j}^1\left(val(x,y)\right)---\left(4\right)$

表示对应每个分块中对应(x,y)点的权重都累加到了A(x,y)上，将公式(4)中前后两个求和符号交换可以得到

$w^1*f^1=\underset{x=x_0}{\overset{x_0+2h-1}{\Σ}}\underset{y=y_0}{\overset{y_0+2w-1}{\Σ}}A(x,y)$

遍历一遍该图像形成一个整幅图像的结构特征积分图；

所述的梯度特征积分图为：

任意一点(x,y)，可以用一个4维的向量表示

$\begin{array}{cc}ii(x,y,i)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\Σ}i(x^{\′},y^{\′},i)& i\∈\{0,1,2,3\}\end{array}---\left(6\right)$

因此可以通过式(6)构建一个4维的梯度特征积分图；

步骤23、检测窗口在金字塔图像中滑动，通过训练好的级联分类器对检测窗口进行判断，如果该检测窗口中的计算值result大于等于当前分类器的判定门限θ，则判定为行人，记录此时图像的尺度和位置；

步骤24、扫描完整个金字塔图像后，对判定为行人位置的检测窗口进行融合，最终用矩形框将行人在图像上标注出来。