CN103984965A - 基于多分辨率特征关联的行人检测方法 - Google Patents

Abstract

本发明涉及一种基于多分辨率特征关联的行人目标检测方法。本发明通过采样车载道路交通视频中的图像序列，对行人进行标注来获得行人样本数据集，并根据行人分辨率大小将其分类，建立多分辨率行人样本库；通过将模型参数求解问题转变为两个凸优化子问题，使用统计学习的方法得到分辨对应的特征转换矩阵以及分类函数系数；以滑窗扫图的方式对不同分辨率行人的HOG特征使用对应分辨率变换矩阵，将特征映射至相同的特征子空间；然后，使用分类函数对子空间中的特征进行分类；最后对检测结果进行聚类，得到最终检测结果。本发明具有较好的泛化能力和自适应性，由于引入了分辨率对应特征变换，使得本发明在对中远距离的行人检测性能方面优于以往方法。

Description

基于多分辨率特征关联的行人检测方法

技术领域

本发明涉及一种基于多分辨率特征关联的行人目标检测方法，特别涉及一种基于方向梯度直方图HOG（Histogram of Oriented Gradient）算法在多分辨率条件下改进方法，提高远距离行人检测效果。

背景技术

随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时检测研究越来越热门。基于机器视觉的行人检测作为领域内的典型问题一直受到高度关注。如何提高算法实际检测性能是行人检测从学术走向实际应用的关键问题。

近几年，HOG（Histogram of Oriented Gradient,）、DPM（Deformable PartsModel）等行人特征描述模型研究取得了较大进展，使得近距离高分辨率行人取得了良好的检测性能；但是，上述模型直接应用于中远距离低分辨率行人的检测，其检测性能急剧下降。对于道路交通而言，中远距离行人的检测却是至关重要的，更远的距离意味着留给驾驶员的反应时间更多，潜在地能挽救更多的生命。

已有对低分辨行人检测采用的解决方法是针对低分辨率行人样本训练一个新的分类器。该方法基于尺度不变的假设：在一个特定分辨率下，针对抽取特征训练出的分类器能够通过改变探测器尺寸，或是对图像进行缩放来推广至所有分辨率。但是，由于远距离行人的图像采样频率受图像传感器硬件限制，导致图像中远距离行人目标分辨率低、信息丢失严重；因此，在同一图像传感器中，近距离和远距离的行人目标的尺度不变假设无法成立，导致了行人检测性能随着分辨率下降而急剧下降。

发明内容

针对上述问题，本发明公开了一种在多分辨率情况下，提高远距离低分辨率行人检测效果的改进方法。该方法基于HOG特征，对特征向量进行主成分分析(Principal Component Analysis,PCA)转化，应用分辨率对应的转换方程将各个分辨率的特征描述向量映射至相同的特征子空间，以此建立高分辨率行人特征与低分辨率行人特征的联系，提高了特征描述子在低分辨率下的描述能力，为分类函数能更好地分类提供了理论基础。为了建立上述检测模型，给出了优化特征转换方程参数和子空间分类模型参数的方法，通过拆分整个检测模型参数的非凸二次优化问题为两个凸优化子问题，进行多伦迭代优化，得到各个特征转换方程参数和分类函数系数。

该方法适合于在远距离低分率上行人检测上提高各类行人检测算法的性能，可以应用于DPM等其他行人检测模型。

本发明的技术方案步骤如下：

步骤1：对取材自道路交通场景的录像进行去冗余采样，对生成的图片集进行行人的人工标注。人工标注包括：行人的边界框位置与大小，并根据边界框大小将行人样本进行分类。

步骤2：对样本进行方向梯度直方图（HOG）特征计算。将每一分辨率类别的样本重构为统一尺寸大小的样本，然后进行特征向量的计算。

步骤3：建立行人识别模型。将识别模型的优化分解为两个子问题：分辨率对应特征转换模型优化与特征子空间分类模型优化。该过程首先采用PCA方法对个分辨率的特征转换模型进行参数初始化，然后进行分辨率对应特征转换模型与特征子空间分类模型的迭代优化。

步骤4：对各分辨率行人进行识别。对图片中的低分辨率行人的HOG特征向量进行一轮低阈值粗糙检测，然后对检测结果的HOG特征向量进行分辨率对应的特征转换；在转换后的特征子空间中，使用子空间分类模型进行分类；而对于高分辨率行人的检测则不使用分辨率转换，直接进行HOG特征的分类。分别给出不同分辨率的检测结果分数，根据对应阈值输出检测结果。步骤5：对步骤4中的检测结果，采用非最大值抑制方法进行聚类。将高分辨率行人检测结果进行统一的聚类，而经过特征转换的低分辨率行人进行单独的聚类。然后合并聚类结果集，输出结果集，完成单帧行人检测。

在步骤3中，提出了行人识别模型：包括分辨率对应特征转换模型和特征子空间分类模型。分辨率对应转换模型用于在高分辨率特征清晰的样本与低分辨率特征噪音大的样本之间建立联系，一定程度上增强了低分辨率行人样本的特征描述能力，使转换后的特征更容易被特征子空间分类模型区分，提高了远距离的低分别率行人检测的性能。

在步骤4中对于低分辨率行人的检测，采用了由粗到精的级联检测的思想。对于高分辨率行人的检测不用特征转换就能够达到较好的检测效果，而对于低分辨率行人，两段检测能够极大地减少计算量。所设计的检测模型在不影响检测精度的情况下进一步提高了检测实时性。

在步骤5中对各分辨率分类结果的进行差别聚类。由于基于HOG的分类模型给出的分数与基于特征变换的分类模型给出的分数评价基准不同，而低分辨率行人的检测结果也不应该与高分辨率行人检测结果重合。因此，我们分别实施非最大值抑制的方法进行聚类，然后合并结果集。

本发明的有益效果：

1、本发明针对中远距离低分辨率行人检测问题，提出了多分辨率的特征变换方法，建立低分辨率行人与高分辨率行人的特征向量之间的关系，弥补前者特征噪音过多，描述能力不强的问题，增强了中远距离低分辨率行人的特征描述能力。然后，在变换后的共同特征子空间中训练的分类模型，提高对中远距离低分辨率行人的识别性能。

2、本发明在对单帧图片的检测识别中采用了分辨率对应的级联分类方法。对高分辨率行人的识别，不进行特征变换，采用原有算法保持高识别性能和实时性；而对于低分辨率行人的识别，采用由粗到精的级联识别过程，通过改进非最大值抑制聚类，保证高检测效果和实时性。

3、本发明从真实道路交通场景录像中采集样本数据，建立训练道路交通场景的多分辨率样本库和训练模型，保证了本发明提出的模型在真实道路场景中的泛化能力，使本方法得到的检测器具有更强的自适应能力和中远距离检测效果。

附图说明

图1为建立分类模型流程图。

图2为本发明进行分辨率对应行人检测时的流程图。

图3为适合本发明的非最大值抑制算法流程图。

图4为本发明在红外场景中的行人检测效果图。

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。关于分类模型的建立其具体步骤描述如图1所示：

步骤1：将每秒30帧的录像以1秒一帧的频率进行去冗余采样，将大于80像素高度的样本归类为高分辨率样本，小于的归类为低分辨率样本。在人工标注中给出标注框的左上角和右下角的坐标：(x_TL,y_TL)，(x_BR,y_BR),行人的像素高度h＝x_BR-x_TL,根据h进行归类。

步骤2：计算各类样本的特征。根据标注框限定高宽比例为2:1的ROI（感兴趣区域），将ROI按一定缩放尺度缩放至固定大小后，使用HOG算法提取统一维度的特征向量。对单个标注框限定2:1的ROI算法如下：

Input:Annotated Bound_ing Box Anchor(x_TL,y_TL),(x_BR,y_BR)

Output:Size Fixed ROI Anchor(x'_TL,y'_TL),(x'_BR,y'_BR)

Define:h＝y_BR-y_TL,w＝x_BR-x_TL

$\mathrm{if}=\frac{h}{w}\≤2$

$\begin{array}{c}\mathrm{then}{y}_{\mathrm{TL}}^{\text{'}}=y_{\mathrm{TL}}-w+\frac{1}{2}h\\ y_{\mathrm{BR}}^{\text{'}}=y_{\mathrm{BR}}+w-\frac{1}{2}h\end{array}$

$\begin{array}{c}\mathrm{else}{x}_{\mathrm{TL}}^{\text{'}}=x_{\mathrm{TL}}-\frac{1}{4}h+\frac{1}{2}w\\ x_{\mathrm{BR}}^{\text{'}}=x_{\mathrm{BR}}+\frac{1}{4}h-\frac{1}{2}w\end{array}$

步骤3：建立识别模型。识别模型设计如下：

w是支持向量机SVM超平面法向量，它与特征向量点乘后的结果即特征点到分类超平面的距离，P_H,P_L为定义在不同分辨率行人样本的特征空间上的特征变换矩阵，它们将个分辨率行人特征投影至同一特征子空间，f(I,L)是图片I中L位置探测窗口的HOG特征。

在进行参数优化之前需要先对P_H，P_L进行参数初始化，使用PCA取特征值占比前99%的对应特征向量作为初始值。

由于模型中的w，P_H都是未知矩阵，因此识别模型的训练分为以下两个子问题进行迭代优化：

1、特征子空间中分类模型参数w优化

通过固定特征转换矩阵P_H和P_L来优化分类超平面法向量w，给出下列中间变量的定义来将问题转化成标准支持向量机（SVM）的优化问题：

那么特征点到当前超平面的距离就变形为：f_w(x_i)＝Tr(w'^Tf_D(x_i))

于是有以下标准SVM目标函数形式：

$L_D\left(w\right)=\frac{1}{2}{\left|\right|w^{\text{'}}\left|\right|}_F^2+C\underset{N_H+N_L}{\mathrm{\Σ}}\max [\mathrm{0,1}-y_i{f}_w\left(x_i\right))]$

||·||_F是弗罗贝尼乌斯范数(Frobenius norm)，形式为的计算结果相当于矩阵MM^T对角线上数字之和，而对角线上数字之和也是Tr(·)操作的含义。

通过SVM训练后得到w'后，就能得到所需的一次优化结果：

$w={(P_H{P}_H^T+P_L{P}_L^T)}^{-\frac{1}{2}}{w}^{\text{'}}$

2、特征变换矩阵P_H,P_L的优化

在计算好w之后，开始优化特征变换矩阵P_H和P_L。由于不同分辨率的特征变换矩阵需基于对应分辨率的样本集进行优化，因此这两个矩阵的优化是独立的，优化过程可以分开进行。

以P_H的优化为例说明其优化过程：

为了向SVM目标函数靠拢，同样给出以下定义：

A＝ww^T

$P_H\text{'}=A^{\frac{1}{2}}{P}_H$

$f_D\left(x_i\right)=A^{-\frac{1}{2}}\mathrm{wf}{\left(x_i\right)}^T$

$f_w\left(x_i\right)\mathrm{Tr}\left({P_H}^{\text{'}T}{f}_D\left(x_i\right)\right)$

基于以上定义以及已知的w，可以把目标函数转换成下式：

$L_{D_H}\left(P_H\right)=\frac{1}{2}{\left|\right|P_H\text{'}\left|\right|}_F^2+C\underset{N_H}{\mathrm{\Σ}}\max [\mathrm{0,1}-y_i{f}_w\left(x_i\right))]$

这也是一个标准的SVM目标函数形式。在得到P_H'后，可通过下式得到P_H：

$P_H={\left({\mathrm{ww}}^T\right)}^{-\frac{1}{2}}{P}_H\text{'}$

同样，执行和优化P_H相同的操作可得P_L。

循环执行以上两个过程，上述各参数向量及矩阵是收敛的。在相关实验中，经过8次迭代达到了收敛阈值。

步骤4：对于单帧图像的多分辨率行人检测识别过程，具体步骤如下（图2所示）。

（1）使用较粗的缩放尺度对原图放大，图4中使用尺度1.5和2对原图进行放大，用低阈值的HOG分类器对低分辨率行人进行第一次粗筛选。同时对原图进行精细缩放的行人检测，实施例使用的缩放尺度为1.05。

（2）对于粗检测的低分辨率行人结果集，再进行低分辨率特征变换f(I,L)'=P_Lf(I,L)。

（3）在特征子空间对变换后的特征向量使用子空间分类模型进行精细的分类：score(I,L)=w^TP_Lf(I,L)'。进行阈值判断后，输出检测结果。

步骤5：将各个分辨率的结果集进行聚类。如图3所示：将高分辨率行人检测结果进行统一的聚类，而对经过特征转换的低分辨率行人检测结果进行单独的聚类。最后合并聚类结果集，输出单帧图片检测结果。

Claims (1)

1.基于多分辨率特征关联的行人检测方法，其特征在于该方法的具体步骤如下：

步骤1：对取材自道路交通场景的录像进行去冗余采样，对生成的图片集进行行人的人工标注；人工标注包括行人的边界框位置与大小，然后根据边界框大小将行人样本进行分类；

步骤2：对样本进行HOG特征计算；将每一分辨率类别的样本重构为统一尺寸大小的样本，然后对样本进行特征向量的计算；

步骤3：建立行人识别模型score(I,L)；

w是支持向量机SVM超平面法向量，P_H,P_L为定义在不同分辨率行人样本的特征空间上的特征变换矩阵，f(I,L)是图片I中L位置探测窗口的HOG特征；

将识别模型的优化分解为两个子问题：分辨率对应特征转换模型优化，特征子空间分类模型优化；该过程首先采用PCA方法对个分辨率的特征转换模型进行参数初始化，然后进行分辨率对应特征转换模型与特征子空间分类模型的迭代优化；

步骤4：对各分辨率行人进行识别；对图片中的低分辨率行人的HOG特征向量进行一轮低阈值粗糙检测，然后对检测结果的HOG特征向量进行分辨率对应的特征转换；在转换后的特征子空间中，使用子空间分类模型进行分类；而对于高分辨率行人的检测则不使用分辨率转换，直接进行HOG特征的分类；分别给出不同分辨率的检测结果分数，根据对应阈值输出检测结果；

步骤5：对步骤4中的检测结果，采用非最大值抑制方法进行聚类；将高分辨率行人检测结果进行统一的聚类，而经过特征转换的低分辨率行人进行单独的聚类；然后合并聚类结果集，输出结果集，完成单帧行人检测。