CN106407943A - 金字塔层定位的快速dpm行人检测 - Google Patents

Abstract

本发明提供了一种基于金字塔层定位的快速DPM行人检测方法，该方法包括：利用区域建议法代替DPM算法中的滑动窗口法获取行人候选窗口；金字塔层定位算法定位出候选窗口最适合的金字塔层数；在定位出的金字塔层上计算根滤波器响应得分；利用单点计算法找到最优的部件位置得到部件滤波器的得分；将根滤波器和部件滤波器的综合响应得分与阈值相比较后得到最终检测结果。与传统DPM行人检测算法相比，本发明具有更快的检测速度，在INRIA数据集上的行人检测具有更高的检测效率。

Description

金字塔层定位的快速DPM行人检测

技术领域

本发明涉及图像处理、视频监控以及行车安全，特别涉及行人检测方法及装置。

背景技术

行人检测的主要目的是判断给定的图像或视频序列中是否有行人，并确定其位置。该技术在智能交通中的车辆辅助驾驶系统、智能机器人开发、人体行为分析、视频监控等领域具有广泛的应用价值。行人兼具刚性物体和柔性物体的特点，表观易受穿着、遮挡、尺度、姿态、视觉和复杂场景等因素的影响，使得行人检测成为目标检测领域中的难点与热点研究问题。

传统行人检测算法中主要包括两方面的研究。第一类是基于全局特征的行人检测算法，将人作为一个整体来提取特征，用分类器进行训练，进而检测行人。第二类算法在行人检测中引入了部件和姿势的概念，分别提取每个部件的特征，训练检测器实现行人检测。相比之下，后者能够更好地处理行人检测中遮挡、姿势和视角变化的问题。

近年来，在通用物体检测领域，区域建议法由于能够在较短的时间内获取召回率较高、数量少、质量高的候选区域吸引了大量研究人员的关注。用物体区域建议法代替滑动窗口法，分类器直接在候选区域中确定行人位置可以大大减少计算量，提高检测效率。多数研究者的做法是获取行人候选窗口后，用DPM对候选区域进行精确检测，虽然能够在一定程度上提高DPM的检测速度，但是并没有很好的利用候选窗口与原图的位置关系等信息，当候选窗口数量较多时，检测时间会明显增加。

综上所述，目前迫切需要提出一种鲁棒性和实用性较强的行人检测方法及装置。

发明内容

有鉴于此，本发明的主要目的在于实现行人检测，且鲁棒性和实用性较强。

针对DPM行人检测中需计算多层特征金字塔及滑动窗口法耗时的问题，本文提出了金字塔层定位的快速DPM行人检测方法，该方法包括：

(1)利用区域建议法代替DPM算法中的滑动窗口法获取行人候选窗口；

(2)金字塔层定位算法定位出候选窗口最适合的金字塔层数；

(3)在定位出的金字塔层上计算根滤波器响应得分；

(4)利用单点计算法找到最优的部件位置得到部件滤波器的得分；

(5)将根滤波器和部件滤波器的综合响应得分与阈值相比较后得到最终检测结果。

所述步骤(1)：

采用区域建议法获取图像中的行人候选区域，由于区域建议法可以获取一般物体的候选区域，因此在使用的过程中训练时使用只含有行人的正样本集，根据外观形状的特点可知行人的宽和高具有相对固定的比例关系，因此本方法不必考虑过多的高宽比变化；将得到的行人候选窗口固定到一定尺寸和宽高比例时，后续的分类算法区分行人和背景的效率更高；本方法通过限制尺寸和宽高比例来进一步减少候选窗口的数量，即

其中，w是候选窗口的宽度；h是候选窗口的高度。

所述步骤(2)：

在DPM行人检测算法中，通过构建特征金字塔实现对图像中不同位置和尺寸的行人目标检测；将金字塔分成若干个组，λ定义了每组的层数，构建特征金字塔时，根据参数λ在特征金字塔中进行尺度采样，即λ是算法中为了获得某一层的两倍分辨率而需要在金字塔中向下走的层数，一般情况下λ＝10，即每组有10个金字塔层，则上一层金字塔的尺寸是下一层金字塔尺寸的倍，第L-10层恰好是第L层的2倍分辨率；

为了提高检测率，通常金字塔都有较多层，一幅640×480大小的图像在标准DPM算法中被缩放到56层，让根滤波器和多个部件滤波器在这么多层金字塔中进行卷积，其计算量是巨大的；分析DPM行人检测算法可知，如果行人目标实例在金字塔第l层，则该目标区域在该层特征图上应刚好能被根滤波器覆盖，在二倍分辨率层上可以搜索得到各个部件的最佳位置，并且具有大于非目标区域的综合响应得分；

本方法基于上述结论提出了金字塔层定位算法，在获取到的行人候选窗口中，一定有部分窗口能够至少在高度或宽度上与实际行人目标相吻合，候选窗口的宽和高以及金字塔各层之间的尺度关系：

其中，W、H分别为候选窗口的宽和高，w、h分别为根滤波器的宽和高，sbin为计算HOG特征时Cell的大小，sc为相邻金字塔层之间的尺寸比例关系，L₁、L₂分别为所求的金字塔层数；

根据上述尺度关系可以确定出具有该窗口大小的行人目标所处的金字塔层数l，二倍分辨率对应于第l-10层；定位出候选窗口最适合的层数后，直接计算图像金字塔特定层的特征图，避免了对数十层图像金字塔进行特征计算的过程；为了保证准确性，本方法中分别用候选窗口的宽和高定位金字塔层数，保留两次定位结果。

所述步骤(3)：

在定位出的金字塔层上计算根滤波器响应得分；

DPM算法在计算特征时，通过对像素级的HOG特征进行空间聚集、归一化、截断并降维后，得到31维的基于Cell的特征映射，该特征映射描述了图像中Cell大小区域的特征；图像中的点可以按公式

映射到特征图中的相应位置；式中，(X，Y)为候选窗口在原图中的左上角坐标，(x，y)为候选窗口对应到第L层特征图上的左上角坐标，sbin为计算HOG特征时Cell的大小，sc为相邻金字塔层之间的尺寸比例关系，L为该窗口所在的金字塔层数；将从图像中获取到的候选窗口左上角的点映射到金字塔层中的对应位置，根模型仅在以该位置为锚点的子窗口区域内计算特征响应。

所述步骤(4)：

传统的DPM算法采用动态规划法找到目标的最大得分位置；动态规划法有效地解决了模型推理问题，但仍存在一定的缺点：必须先求出所有滤波器在特征金字塔中所有位置的响应值，然后根据构造生成规则和变形生成规则进行逆向推理，找出行人目标的位置；已经获得了目标候选区域后，就没有必要在图像的每个位置都计算分数；分析DPM行人检测过程可知：将行人目标表示为根模型和多个部件模型，根模型位置确定后，在2倍分辨率特征图中根模型的最佳偏移位置附近进行搜索得到各部件的位置；当一个根模型的位置在某个对应行人目标的根位置附近时，以该位置为锚点的子窗口区域会有较大的响应得分；

本方法采用单点计算方法代替动态规划法用于DPM的模型推理；区别于动态规划法，单点计算是由上到下的方法，确定一个根的位置，为了求解该区域的得分，单点计算方法主动搜索相应的部件并计算其得分；(X，Y)表示图像中的一个位置坐标，将该点映射到金字塔的第l层中，对应坐标为(x，y)，在l-10层(2倍分辨率)的对应区域搜索得到各个部件的位置；确定了位置映射关系以后，就可以通过有意识地寻找计算目标来求得图像上任意一点对应的得分；单点计算法可以很好的结合候选窗口用于改善滑动窗口法耗时的问题。

所述步骤(5)：

将根滤波器和部件滤波器的综合响应得分与阈值相比较，确定出包含目标的窗口，再利用非极大值抑制算法得到最终检测结果。

与传统的DPM行人检测算法相比，本文方法减少了检测过程中需计算的金字塔层数，用区域建议法代替传统的滑动窗口法，避免了暴力地滑动搜索，有效地加快了检测速度。在INRIA数据集上，本文方法具有更高的检测效率，并在一定程度上减少了误检。

附图说明

图1示出了按照本发明的金字塔层定位的快速DPM行人检测方法的流程图。

图2示出了按照本发明的步骤(1)的行人候选窗口图。

图3示出了按照本发明的步骤(2)的图像金字塔与特征金字塔图。

具体实施方式

为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1给出了按照本发明的基于金字塔层定位的快速DPM行人检测方法的流程图。如图1所示，按照本发明的基于金字塔层定位的快速DPM行人检测方法包括：

(1)利用区域建议法代替DPM算法中的滑动窗口法获取行人候选窗口；

(2)金字塔层定位算法定位出候选窗口最适合的金字塔层数；

(3)在定位出的金字塔层上计算根滤波器响应得分；

(4)利用单点计算法找到最优的部件位置得到部件滤波器的得分；

(5)将根滤波器和部件滤波器的综合响应得分与阈值相比较后得到最终检测结果。

图2示出了按照本发明的步骤(1)的行人候选窗口图。如图2所示，所述步骤(1)：

采用区域建议法获取图像中的行人候选区域，由于区域建议法可以获取一般物体的候选区域，因此在使用的过程中训练时使用只含有行人的正样本集，根据外观形状的特点可知行人的宽和高具有相对固定的比例关系，因此本方法不必考虑过多的高宽比变化；将得到的行人候选窗口固定到一定尺寸和宽高比例时，后续的分类算法区分行人和背景的效率更高；本方法通过限制尺寸和宽高比例来进一步减少候选窗口的数量，即

其中，w是候选窗口的宽度；h是候选窗口的高度。

图3示出了按照本发明的步骤(2)的图像金字塔与特征金字塔图。如图3所示，所述步骤(2)：

在DPM行人检测算法中，通过构建特征金字塔实现对图像中不同位置和尺寸的行人目标检测；将金字塔分成若干个组，λ定义了每组的层数，构建特征金字塔时，根据参数λ在特征金字塔中进行尺度采样，即λ是算法中为了获得某一层的两倍分辨率而需要在金字塔中向下走的层数，一般情况下λ＝10，即每组有10个金字塔层，则上一层金字塔的尺寸是下一层金字塔尺寸的倍，第L-10层恰好是第L层的2倍分辨率；

为了提高检测率，通常金字塔都有较多层，一幅640×480大小的图像在标准DPM算法中被缩放到56层，让根滤波器和多个部件滤波器在这么多层金字塔中进行卷积，其计算量是巨大的；分析DPM行人检测算法可知，如果行人目标实例在金字塔第l层，则该目标区域在该层特征图上应刚好能被根滤波器覆盖，在二倍分辨率层上可以搜索得到各个部件的最佳位置，并且具有大于非目标区域的综合响应得分；

本方法基于上述结论提出了金字塔层定位算法，在获取到的行人候选窗口中，一定有部分窗口能够至少在高度或宽度上与实际行人目标相吻合，候选窗口的宽和高以及金字塔各层之间的尺度关系：

其中，W、H分别为候选窗口的宽和高，w、h分别为根滤波器的宽和高，sbin为计算HOG特征时Cell的大小，sc为相邻金字塔层之间的尺寸比例关系，L₁、L₂分别为所求的金字塔层数；

根据上述尺度关系可以确定出具有该窗口大小的行人目标所处的金字塔层数l，二倍分辨率对应于第l-10层；定位出候选窗口最适合的层数后，直接计算图像金字塔特定层的特征图，避免了对数十层图像金字塔进行特征计算的过程；为了保证准确性，本方法中分别用候选窗口的宽和高定位金字塔层数，保留两次定位结果。

所述步骤(3)，在定位出的金字塔层上计算根滤波器响应得分；

DPM算法在计算特征时，通过对像素级的HOG特征进行空间聚集、归一化、截断并降维后，得到31维的基于Cell的特征映射，该特征映射描述了图像中Cell大小区域的特征；图像中的点可以按公式

映射到特征图中的相应位置；式中，(X，Y)为候选窗口在原图中的左上角坐标，(x，y)为候选窗口对应到第L层特征图上的左上角坐标，sbin为计算HOG特征时Cell的大小，sc为相邻金字塔层之间的尺寸比例关系，L为该窗口所在的金字塔层数；将从图像中获取到的候选窗口左上角的点映射到金字塔层中的对应位置，根模型仅在以该位置为锚点的子窗口区域内计算特征响应。

所述步骤(4)：

传统的DPM算法采用动态规划法找到目标的最大得分位置；动态规划法有效地解决了模型推理问题，但仍存在一定的缺点：必须先求出所有滤波器在特征金字塔中所有位置的响应值，然后根据构造生成规则和变形生成规则进行逆向推理，找出行人目标的位置；已经获得了目标候选区域后，就没有必要在图像的每个位置都计算分数；分析DPM行人检测过程可知：将行人目标表示为根模型和多个部件模型，根模型位置确定后，在2倍分辨率特征图中根模型的最佳偏移位置附近进行搜索得到各部件的位置；当一个根模型的位置在某个对应行人目标的根位置附近时，以该位置为锚点的子窗口区域会有较大的响应得分；

本方法采用单点计算方法代替动态规划法用于DPM的模型推理；区别于动态规划法，单点计算是由上到下的方法，确定一个根的位置，为了求解该区域的得分，单点计算方法主动搜索相应的部件并计算其得分；(X，Y)表示图像中的一个位置坐标，将该点映射到金字塔的第l层中，对应坐标为(x，y)，在l-10层(2倍分辨率)的对应区域搜索得到各个部件的位置；确定了位置映射关系以后，就可以通过有意识地寻找计算目标来求得图像上任意一点对应的得分；单点计算法可以很好的结合候选窗口用于改善滑动窗口法耗时的问题。

所述步骤(5)：

将根滤波器和部件滤波器的综合响应得分与阈值相比较，确定出包含目标的窗口，再利用非极大值抑制算法得到最终检测结果。

与传统的DPM行人检测算法相比，本文方法减少了检测过程中需计算的金字塔层数，用区域建议法代替传统的滑动窗口法，避免了暴力地滑动搜索，有效地加快了检测速度。在INRIA数据集上，本文方法具有更高的检测效率，并在一定程度上减少了误检。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (6)

1.一种基于金字塔层定位的快速DPM行人检测方法，其特征在于，该方法包括：

(1)利用区域建议法代替DPM算法中的滑动窗口法获取行人候选窗口；

(2)金字塔层定位算法定位出候选窗口最适合的金字塔层数；

(3)在定位出的金字塔层上计算根滤波器响应得分；

(4)利用单点计算法找到最优的部件位置得到部件滤波器的得分；

(5)将根滤波器和部件滤波器的综合响应得分与阈值相比较后得到最终检测结果。

2.如权利要求1所述的方法，其特征在于，步骤(1)中，

采用区域建议法获取图像中的行人候选区域，由于区域建议法可以获取一般物体的候选区域，因此在使用的过程中训练时使用只含有行人的正样本集，根据外观形状的特点可知行人的宽和高具有相对固定的比例关系，因此本方法不必考虑过多的高宽比变化；将得到的行人候选窗口固定到一定尺寸和宽高比例时，后续的分类算法区分行人和背景的效率更高；本方法通过限制尺寸和宽高比例来进一步减少候选窗口的数量，即

$\left\{\begin{array}{c}h>h_0,w>w_0\\ {\mathrm{\α}}_1\≤h/w\≤{\mathrm{\α}}_2\end{array}\right.$

其中，w是候选窗口的宽度；h是候选窗口的高度。

3.如权利要求1所述的方法，其特征在于，步骤(2)中，

在DPM行人检测算法中，通过构建特征金字塔实现对图像中不同位置和尺寸的行人目标检测；将金字塔分成若干个组，λ定义了每组的层数，构建特征金字塔时，根据参数λ在特征金字塔中进行尺度采样，即λ是算法中为了获得某一层的两倍分辨率而需要在金字塔中向下走的层数，一般情况下λ＝10，即每组有10个金字塔层，则上一层金字塔的尺寸是下一层金字塔尺寸的倍，第L-10层恰好是第L层的2倍分辨率；

为了提高检测率，通常金字塔都有较多层，一幅640×480大小的图像在标准DPM算法中被缩放到56层，让根滤波器和多个部件滤波器在这么多层金字塔中进行卷积，其计算量是巨大的；分析DPM行人检测算法可知，如果行人目标实例在金字塔第l层，则该目标区域在该层特征图上应刚好能被根滤波器覆盖，在二倍分辨率层上可以搜索得到各个部件的最佳位置，并且具有大于非目标区域的综合响应得分；

本方法基于上述结论提出了金字塔层定位算法，在获取到的行人候选窗口中，一定有部分窗口能够至少在高度或宽度上与实际行人目标相吻合，候选窗口的宽和高以及金字塔各层之间的尺度关系：

$\left\{\begin{array}{c}W=w*\frac{sbin}{\left({\mathrm{sc}}^{(L_1-9)}\right)}-1\\ H=h*\frac{sbin}{\left({\mathrm{sc}}^{(L_2-9)}\right)}-1\end{array}\right.$

其中，W、H分别为候选窗口的宽和高，w、h分别为根滤波器的宽和高，sbin为计算HOG特征时Cell的大小，sc为相邻金字塔层之间的尺寸比例关系，L₁、L₂分别为所求的金字塔层数；

根据上述尺度关系可以确定出具有该窗口大小的行人目标所处的金字塔层数l，二倍分辨率对应于第l-10层；定位出候选窗口最适合的层数后，直接计算图像金字塔特定层的特征图，避免了对数十层图像金字塔进行特征计算的过程；为了保证准确性，本方法中分别用候选窗口的宽和高定位金字塔层数，保留两次定位结果。

4.如权利要求1所述的方法，其特征在于，步骤(3)中，在定位出的金字塔层上计算根滤波器响应得分；

DPM算法在计算特征时，通过对像素级的HOG特征进行空间聚集、归一化、截断并降维后，得到31维的基于Cell的特征映射，该特征映射描述了图像中Cell大小区域的特征；图像中的点可以按公式

$\left\{\begin{array}{c}X=(x-a)*\frac{sbin}{{\mathrm{sc}}^{(L-9)}}\\ Y=(y-b)*\frac{sbin}{{\mathrm{sc}}^{(L-9)}}\end{array}\right.$

映射到特征图中的相应位置；式中，(X，Y)为候选窗口在原图中的左上角坐标，(x，y)为候选窗口对应到第L层特征图上的左上角坐标，sbin为计算HOG特征时Cell的大小，sc为相邻金字塔层之间的尺寸比例关系，L为该窗口所在的金字塔层数；将从图像中获取到的候选窗口左上角的点映射到金字塔层中的对应位置，根模型仅在以该位置为锚点的子窗口区域内计算特征响应。

5.如权利要求1所述的方法，其特征在于，步骤(4)中，

传统的DPM算法采用动态规划法找到目标的最大得分位置；动态规划法有效地解决了模型推理问题，但仍存在一定的缺点：必须先求出所有滤波器在特征金字塔中所有位置的响应值，然后根据构造生成规则和变形生成规则进行逆向推理，找出行人目标的位置；已经获得了目标候选区域后，就没有必要在图像的每个位置都计算分数；分析DPM行人检测过程可知：将行人目标表示为根模型和多个部件模型，根模型位置确定后，在2倍分辨率特征图中根模型的最佳偏移位置附近进行搜索得到各部件的位置；当一个根模型的位置在某个对应行人目标的根位置附近时，以该位置为锚点的子窗口区域会有较大的响应得分；

本方法采用单点计算方法代替动态规划法用于DPM的模型推理；区别于动态规划法，单点计算是由上到下的方法，确定一个根的位置，为了求解该区域的得分，单点计算方法主动搜索相应的部件并计算其得分；(X，Y)表示图像中的一个位置坐标，将该点映射到金字塔的第l层中，对应坐标为(x，y)，在l-10层(2倍分辨率)的对应区域搜索得到各个部件的位置；确定了位置映射关系以后，就可以通过有意识地寻找计算目标来求得图像上任意一点对应的得分；单点计算法可以很好的结合候选窗口用于改善滑动窗口法耗时的问题。

6.如权利要求1所述的方法，其特征在于，步骤(5)中，

将根滤波器和部件滤波器的综合响应得分与阈值相比较，确定出包含目标的窗口，再利用非极大值抑制算法得到最终检测结果。