CN102609720B - 一种基于位置校正模型的行人检测方法 - Google Patents

Abstract

本发明公开了一种快速行人检测方法，包括三个步骤：稀疏扫描、建立位置校正模型、稠密搜索。具体分为：对待检测图像进行稀疏扫描，提取所有稀疏子窗口的梯度向量直方图(HOG)特征并进行粗分类，获取所有可能包含局部目标的子窗口；使用预学习的位置校正模型估计已获取子窗口位置与目标真实位置的相对位移；根据各子窗口的目标估计位置建立目标位置候选区域，进行稠密搜索，获取目标精确位置。本方法无需穷举图像所有子窗口，可显著降低搜索窗口的数量，对于提高监控场景中目标检测的速度具有重要作用。本发明可广泛应用于智能视频监控系统、机器人视觉系统、辅助驾驶系统等。

Description

一种基于位置校正模型的行人检测方法

技术领域

本发明属于模式识别领域，特别是一种基于位置校正模型的行人检测方法。

背景技术

随着人们对社会安全问题的关注度逐步增加，公共场景中摄像头安装数量大量增长以供获取感兴趣信息。事实上，一个操作人员对监控屏幕墙的高度关注持续时间不超过十分钟，而一路高清摄像机每天产生的数据量达10GB。因此靠人眼的作用实时关注场景中的事件，甚至是仅仅查询已录制视频数据中某一已发事件，都是一件很难完成的任务。如何利用计算机理解场景的内容，预测场景中即将可能发生的事件、检测正在进行的事件、查询已经发生的事件，实现场景的智能监控已成为现在热点研究方向之一。

视频或图像中的行人检测对于实现场景内容的智能监控具有重要意义。人作为社会行为的主动实施者，人的检测是人的识别、跟踪、行为理解以及人群事件检测的基础。行人检测主要有两种方式：基于视频序列的和基于图像的。前者主要通过视频帧间差异的方法捕捉视频中的运动信息来完成，通常会受到视频中其他运动物体如车、动物等的干扰，而且对于视频中静止的人该算法无法检测，因此实现静态图片中人的快速检测是十分必要的。

基于静态图片的行人检测，滑动窗口法是最广泛应用的检测方法之一。该方法首先通过对给定训练样本图片提取特定特征，训练二值分类器，然后将此分类器应用于待检测图片的子窗口，判断该子窗口是否包含人并进行窗口合并等后处理获取最终检测结果。对于一张n×n大小的图片，其子窗口数量高达O(n⁴)。另外，为保证类别间的区分性以及检测准确性，行人检测方法在很大程度上依赖于提取较高维的特征。可见对一幅图像子窗口进行详尽搜索的计算复杂度相当高。现有方法主要通过以下两种途径来解决该问题：一种是基于特征由粗到细的方法，即首先使用简单的特征对所有子窗口进行筛选，再利用复杂特征对筛选结果进行精确分类。这种方法仍然是针对所有子窗口的搜索方法，仍具有较高的计算复杂度。另外一种是基于分支定界方法的子窗口搜索方法。虽然这种方法在检测速度上有所提高，但是受其限定性假设的约束，并不具备很好的通用性。

发明内容

现有的行人检测方法是以牺牲检测速度为代价来提高检测准确度，在真实的应用场景中不仅耗费大量的资源，而且效率极低。为解决现有技术的问题，本发明的目的是在不降低检测率的前提下快速、高效的检测场景中的行人，为此本发明提供一种快速行人检测方法。

为实现上述目的，本发明提出的一种基于位置校正模型的行人检测方法，其特征在于，该方法包括以下步骤：

步骤1，对给定图像指定子窗口大小，以一定的步进遍历图像，提取图像稀疏子窗口，并提取所述稀疏子窗口的特征；

步骤2，根据提取出的稀疏子窗口的特征，用已训练好的粗分类器判断每个稀疏子窗口中是否包含有检测目标的局部；

步骤3，通过训练建立包含检测目标局部的稀疏子窗口的特征和该稀疏子窗口位置与目标真实位置之间相对位移的位置校正模型；

步骤4，将步骤2获得的包含局部检测目标的稀疏子窗口的特征输入到步骤3得到的所述位置校正模型中，获得每个包含局部检测目标的稀疏子窗口位置与目标真实位置之间的相对位移的估计值，进而获得多个包含局部检测目标的稀疏子窗口分别对应的多个目标估计位置；

步骤5，根据所述多个目标估计位置结合稀疏扫描子窗口的大小建立目标位置候选区域；

步骤6，对已建立的目标位置候选区域，以指定的另一窗口大小、步进和缩放尺度遍历所述目标位置候选区域，得到多个子窗口，并提取各子窗口的特征；

步骤7，将步骤6提取出的子窗口特征输入已训练好的SVM分类器中，所得分数最大的子窗口位置即为检测目标的最终位置，由此获得对于目标位置的精确估计。

本发明的方法在大场景静态图像的行人检测中可以凸显它的优越性。与其他基于滑动窗口的行人检测方法不同，本发明的方法可以快速摒弃图像中的无关区域，从而极大地减少了计算代价，并且易于实现和应用。本发明的行人检测方法可以用于智能视频监控场景中行人的快速定位以及计算机视觉领域的行人跟踪和人的行为理解。

附图说明

图1是本发明提出的一种基于位置校正模型的行人检测方法的流程图。

图2是位置校正模型的学习过程示意图。

图3是根据本发明的检测结果的示意图。

图4是根据本发明的检测结果的另一示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

传统的基于滑动窗口的行人检测方法通常需要遍历图像的每一个子窗口，同时为保证检测的准确度，需要对每一个子窗口提取多种特征，使得特征维数很高，因此带来了较高的计算复杂度和空间资源的浪费。本发明提供的一种基于位置校正模型的行人检测方法利用了一种由粗到细的行人检测子窗口搜索方法，该方法无需穷举图像子窗口，而是首先粗提取目标周围的大尺度的子窗口，即稀疏子窗口，然后在稀疏子窗口附近做详尽搜索，寻找目标真实位置，从而提高了检测速度。

图1是本发明提出的一种基于位置校正模型的行人检测方法的流程图，如图1所示，本发明提出的一种基于位置校正模型的行人检测方法包括稀疏扫描、建立位置校正模型、稠密搜索三个步骤。

传统的基于滑动窗口的行人检测算法的基本思想是：遍历给定图像所有尺度、所有位置的子窗口，提取每一个子窗口的特征，寻找与目标特征距离最近的子窗口。图像子窗口有以下几种情况：

(1)不包含目标的任何部位；

(2)部分包含目标局部或全部；

(3)位于目标区域内部。

对第一种子窗口，对其任何子窗口的任何处理都会造成时间和空间的浪费，也是造成基于滑动窗口的行人检测方法低效率的原因之一。对第二种子窗口，由于行人整体形状展现的一致性使得行人梯度边缘展现一致性，可以建立该子窗口位置与目标真实位置间的关系模型。对第三种子窗口，通常包含了不丰富的纹理信息，对检测算法的贡献可以忽略，或可根据特定场景目标尺寸的先验信息滤除。

基于以上思想，本发明提出一种稀疏扫描方法，旨在首先粗提取第二种图像子窗口，而对第一种子窗口不再做任何进一步处理，从而极大的减少了计算量。

所述稀疏扫描步骤进一步包括以下步骤：

步骤1，对给定图像指定子窗口大小，以一定的步进遍历图像，提取图像稀疏子窗口，并提取稀疏子窗口的特征。

本发明所使用的图像为分辨率690x629的静态图片，稀疏子窗口大小可以设为略大于一般图像中行人出现区域的通常大小，比如，本发明中子窗口大小可以设为64x128，步进可以设为子窗口大小的1/2或者1/4。

本发明中使用梯度向量直方图(HOG)特征，HOG特征是对局部图像方向信息的统计描述，因此可以捕捉行人形态轮廓的统一特性，并对不同行人行为动作的微小差异保持鲁棒性，所以尤其适合于行人检测。

步骤2，根据提取出的稀疏子窗口的特征，用已训练好的粗分类器判断每个稀疏子窗口中是否包含有检测目标的局部。

本发明利用支持向量机(SVM)分类器来判断每个稀疏子窗口是否包含有检测目标的局部。本发明采用的SVM分类器的训练过程可描述为：对训练样本库中的每一幅图像，以指定的窗口大小和步进遍历图像，提取图像稀疏子窗口，对包含检测目标局部的子窗口类别标记为+1，不包含检测目标局部的子窗口类别标记为-1，提取稀疏子窗口的特征，使用SVM训练得到行人检测的粗分类器。

所述建立位置校正模块步骤进一步包括以下步骤：

步骤3，通过训练建立包含检测目标局部的稀疏子窗口的特征和该稀疏子窗口位置与目标真实位置之间相对位移的位置校正模型；

经步骤2得到的稀疏子窗口可能包含检测目标的局部，但并非目标的真实位置，因此需要对该稀疏子窗口的位置进行校正。

采集足够多的图像建立训练样本库，比如几千张，对训练样本库中的每张图像，在目标真实位置周围以相同的步进选取n个子窗口，大小与步骤1中的稀疏子窗口大小相同，提取该n个子窗口的m维HOG特征矩阵F＝{f₁，f₂，…，f_n}∈R^m×n为自变量，令Y＝{y₁，y₂，…，y_n}∈R^2×n表示该n个子窗口的相对位移向量矩阵，为因变量，其中，y_i＝(Δu_i，Δv_i)，(Δu_i，Δv_i)表示包含检测目标局部的子窗口位置与检测目标真实位置之间的相对位移。

那么，本发明提出的位置校正模型可以描述为：

Y＝W·F+K    (1)

其中，权值向量W＝{w₁，w₂，…，w_m}∈R^2×m，K为噪声矩阵。

然而，在实际的行人检测问题中，通常特征维数远远高于因变量维数，从而造成了位置校正的困难。对此，本发明建立如下假设：

(1)自变量F与因变量Y之间的关系可以用隐变量矩阵T，U来描述；

(2)样本空间F，Y中都存在噪声。

接着本发明通过引入隐变量矩阵T，U将原样本空间F，Y映射到新的样本空间T，U中，利用隐变量矩阵T与U之间的关系，寻找稀疏子窗口特征与相对位移之间的关系。样本空间的映射过程可描述为：

F＝TM^T+K₁     (2)

Y＝UN^T+K₂     (3)

其中，T，U为引入的隐变量矩阵，M，N为系数矩阵，K₁，K₂为噪声矩阵。

为保证新的样本空间中保存原样本空间内的差异信息，本发明采用主成分分析的方法建立样本空间T与F、U与Y之间的映射，主成分的初始个数可以设为60，这样就可以得到初始的隐变量矩阵T，U和系数矩阵M，N。同时为保证自变量和因变量最大相关性，建立如下目标函数：

${\left[\mathrm{cov}(t_i,u_i)\right]}^2=\underset{\left|w_i\right|=1}{\max }{\left[\mathrm{cov}({\mathrm{Fw}}_i,Y)\right]}^2---\left(4\right)$

其中，t_i，u_i分别表示隐变量矩阵T和U的第i列元素，cov(t_i，u_i)表示t_i，u_i的协方差。

通过求解上式，可以得到初始权值向量W。通过不断更新样本空间F和Y的主成分个数(即主成分空间维数)和主轴，即可获得满足一定误差要求的最优的权值向量W，这里的误差要求可以设为：根据W获得的对训练样本特征的预测值与其真实值差的平方和小于0.0001。进而根据公式(1)获得包含局部检测目标的子窗口特征与该子窗口与目标真实位置间相对位移量之间的关系。

步骤4，将步骤2获得的包含局部检测目标的稀疏子窗口的特征输入到所述位置校正模型中，获得每个包含局部检测目标的稀疏子窗口位置与目标真实位置间的相对位移的估计值，进而获得多个稀疏子窗口分别对应的目标的多个估计位置；

令(x_i，y_i)为一包含局部检测目标的稀疏子窗口L_i的中心点坐标，(Δu_i，Δv_i)为L_i与行人真实位置L₀间的相对位移的估计值，那么稀疏子窗口L_i对应的目标估计位置的中心点坐标为：

${\hat{x}}_i=x_i+\mathrm{\Δ}{u}_i---\left(5\right)$

${\hat{y}}_i=y_i+\mathrm{\Δ}{v}_i---\left(6\right)$

步骤5，根据所述多个目标估计位置结合稀疏扫描子窗口的大小建立目标位置候选区域。

所述步骤5进一步包括以下步骤：

步骤5.1，取所述多个目标估计位置的中心点坐标的平均值作为目标真实位置中心点坐标的估计值；

步骤5.2，以所述目标真实位置中心点坐标的估计值为中心点建立目标位置候选区域。

所述目标位置候选区域的大小可以设为稀疏子窗口的大小。

图2给出了位置校正模型的学习过程，图中，L₀表示图像中行人的真实位置，L_i表示包含局部行人的子窗口位置，(x₀，y₀)为子窗口L₀的中心点，(x_i，y_i)为子窗口L_i的中心点，(Δu_i，Δv_i)为L_i与L₀间的相对位移：

Δu_i＝x₀-y_i    (7)

Δv_i＝y₀-y_i    (8)

通过提取l幅图像的l×n个稀疏子窗口的HOG特征f_i构建训练集F，并在训练集上建立位置校正模型。利用此模型和提取的包含局部行人的子窗口的HOG特征，估计每个子窗口位置与目标真实位置间的相对位移，得到每个子窗口对应的目标估计位置，取所有目标估计位置的平均值作为目标真实位置的估计值。

所述稠密搜索步骤进一步包括以下步骤：

步骤6，对已建立的目标位置候选区域，以指定的另一窗口大小、步进和缩放尺度遍历所述目标位置候选区域，得到多个子窗口，并提取各子窗口的特征；

为了实现特征的细筛选，该步骤中的窗口大小、步进均比步骤1中的窗口大小、步进更小，并使用不同尺度的子窗口，如果稀疏扫描的子窗口大小为64×128，子窗口步进为其大小的1/2，那么这里的初始子窗口大小可以设为64×128，步长可以设为4个像素，每个尺度的子窗口遍历目标位置候选区域后就将该子窗口缩小到原来的0.95倍，然后进行下一次搜索。

步骤7，将步骤6提取出的子窗口特征输入已训练好的SVM分类器中，所得分数最大的子窗口位置即为检测目标的最终位置，由此获得对于目标位置的精确估计。

本发明采用的SVM分类器的训练过程可描述为：对训练样本集中的每一幅图像，在目标位置候选区域内提取各位置、各尺度的子窗口，将目标子窗口类别标记为+1，其余子窗口类别标记为-1，提取各子窗口的特征，训练SVM分类器。

本发明提供的行人检测方法是一个由粗到细的子窗口搜索过程，稠密搜索建立在稀疏扫描和位置校正模型的基础上。根据含有检测目标局部的稀疏子窗口对目标位置的各估计值并结合稀疏扫描子窗口的大小设置稠密搜索的候选区域，由于该候选区域的尺寸相对于原图像得到了极大的缩小，因此各类计算复杂度很高的特征都可以使用，从而可以获得精确的检测结果。

图3、图4示出根据本发明的方法对行人的检测结果，其中，子窗口中标识的数字为通过目标特征分类器的分类所得到的分数。

本发明的方法需要的硬件最低配置为：P43.0G CPU，1G内存的计算机。在此基础上，采用C++语言编程实现本方法，可以达到较好的检测效果。

本发明在INRIA行人数据库上的实验结果证明了该算法的有效性，相比于传统的滑动窗口检测方法，对于一幅690×629大小的图像，当设置稀疏扫描的子窗口大小为64×128，子窗口步进为其大小的1/2，所需处理的子窗口数量从56000个降到了4200个，检测速度提高了10倍。本方法易于实现，性能稳定，对于计算机视觉领域的行人跟踪、监控场景的场景理解具有重要作用。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于位置校正模型的行人检测方法，其特征在于，该方法包括以下步骤：

步骤1，对给定图像指定子窗口大小，以一定的步进遍历图像，提取图像稀疏子窗口，并提取所述稀疏子窗口的特征，所述稀疏子窗口的大小设为略大于通常目标区域的大小；

步骤2，根据提取出的稀疏子窗口的特征，用已训练好的粗分类器判断每个稀疏子窗口中是否包含有检测目标的局部；

步骤3，通过训练建立包含检测目标局部的稀疏子窗口的特征和该稀疏子窗口位置与目标真实位置之间相对位移的位置校正模型，所述位置校正模型为：

Y=W·F+K，

其中，F={f₁,f₂,…,f_n}∈R^m×n为在训练样本库中每张图像的目标真实位置周围以相同步进选取得到的n个子窗口的m维HOG特征矩阵；Y={y₁,y₂,…,y_n}∈R^2×n表示该n个子窗口的相对位移向量矩阵，y_i=(Δu_i,Δv_i)，(Δu_i,Δv_i)表示包含检测目标局部的子窗口位置与检测目标真实位置之间的相对位移；W={w₁,w₂,…,w_m}∈R^2×m为权值向量，K为噪声矩阵；

步骤4，将步骤2获得的包含局部检测目标的稀疏子窗口的特征输入到步骤3得到的所述位置校正模型中，获得每个包含局部检测目标的稀疏子窗口位置与目标真实位置之间的相对位移的估计值，进而获得多个包含局部检测目标的稀疏子窗口分别对应的多个目标估计位置；

步骤5，根据所述多个目标估计位置结合稀疏扫描子窗口的大小建立目标位置候选区域，所述步骤5进一步包括以下步骤：

步骤5.1，取所述多个目标估计位置的中心点坐标的平均值作为目标真实位置中心点坐标的估计值；

步骤5.2，以所述目标真实位置中心点坐标的估计值为中心点建立目标位置候选区域，所述目标位置候选区域的大小设为与稀疏子窗口的大小相同；

步骤6，对已建立的目标位置候选区域，以指定的另一窗口大小、步进和缩放尺度遍历所述目标位置候选区域，得到多个子窗口，并提取各子窗口的特征，所述另一窗口的大小、步进均小于步骤1中的窗口和步进；

步骤7，将步骤6提取出的子窗口特征输入已训练好的SVM分类器中，所得分数最大的子窗口位置即为检测目标的最终位置，由此获得对于目标位置的精确估计；

其中，使用隐变量矩阵T,U将原样本空间F,Y映射到新的样本空间T,U中，并采用主成分分析的方法建立样本空间T与F、U与Y之间的映射：

F=TM^T+K₁，Y=UN^T+K₂，

其中，M,N为系数矩阵，K₁,K₂为噪声矩阵。

2.根据权利要求1所述的方法，其特征在于，所述稀疏子窗口的特征为对局部图像方向信息进行统计描述的梯度向量直方图（HOG）特征。

3.根据权利要求1所述的方法，其特征在于，所述粗分类器为支持向量机（SVM）分类器。

4.根据权利要求1所述的方法，其特征在于，在训练样本库中每张图像的目标真实位置周围以相同步进选取得到的n个子窗口的大小与步骤1中稀疏子窗口大小相同。

5.根据权利要求1所述的方法，其特征在于，通过迭代求解如下目标函数来获得最优权值向量W：

${\left[\mathrm{cov}(t_i,u_i)\right]}^2=\underset{\left|w_i\right|=1}{\max }{\left[\mathrm{cov}({\mathrm{Fw}}_i,Y)\right]}^2,$

其中，t_i,u_i分别表示隐变量矩阵T和U的第i列元素，cov(t_i,u_i)表示t_i,u_i的协方差。

6.根据权利要求1所述的方法，其特征在于，若(x_i,y_i)为一包含局部检测目标的稀疏子窗口L_i的中心点坐标，(Δu_i,Δv_i)为L_i与目标真实位置L₀间的相对位移，那么稀疏子窗口L_i对应的目标估计位置的中心点坐标为：

${\hat{x}}_i=x_i+{\mathrm{\Δu}}_i,{\hat{y}}_i=y_i+{\mathrm{\Δv}}_i.$

Images