CN103279742B - 一种基于多任务模型的多分辨率行人检测方法及其装置 - Google Patents

Abstract

本发明针对不同分辨率的行人检测，公开了一种基于多任务模型的行人检测方法，其包括如下步骤：对于不同分辨率下的行人，首先进行纹理特征的提取；对于不同分辨率下提取的纹理特征，分别优化各自的投影矩阵，这些投影矩阵将不同分辨率的纹理特征投影至一个所有分辨率公共空间中；最终，在此公共空间中共享一个行人检测器。在模型的训练过程中，迭代地优化分辨率相关的投影矩阵和检测器。本发明能够提高行人检测精度，尤其是对于低分辨率的行人，本发明检测精度高，适应范围广。

Description

一种基于多任务模型的多分辨率行人检测方法及其装置

技术领域

本发明涉及图像处理与模式识别技术领域，尤其是一种基于多任务模型的多分辨率行人检测方法及其装置。

背景技术

行人检测在基于行人的计算机视觉、模式识别应用中占有很重要的地位，例如视频监控和自动驾驶系统等。得益于鲁棒的梯度纹理特征和行人模型等，当前的行人检测技术在较高分辨率下的数据集中取得了很大的进步。但是，这些行人检测技术的检测效果随着行人样本分辨率的降低而降低。

传统的行人检测方法，往往遵循尺度无关的原则，即在一个较高分辨率的样本中提取尺度无关的特征纹理去训练行人检测器，并使用这个检测器去检测不同分辨率下的行人。然而，不同分辨率下的行人往往表象特征相差很大，从而降低最终检测效果。例如，低分辨率下的行人样本丢失了很多表象特征信息，使得在高分辨率行人样本下训练的检测器难以检测低分辨率的行人。由于这种信息的丢失在训练过程中会误导检测器，因此直接将低分辨率的行人样本加入到训练样本当中的方案也是不可取的。由于实际应用中行人分辨率的这种差异性，传统的行人检测并不能达到令人满意的效果。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于多任务模型的行人检测方法，该方法可以同时兼顾不同的分辨率下的行人。

本发明所提出的一种基于多任务模型的行人检测方法，其包括如下步骤：

步骤1，将训练样本中的行人样本，分为不同分辨率的行人样本；

步骤2，将训练样本分为包括不同分辨率行人样本的训练样本集，分别提取不同分辨率的样本纹理特征；

步骤3，对不同分辨率样本纹理特征，初始化不同分辨率投影矩阵，并根据所述不同分辨率投影矩阵，将不同分辨率样本纹理特征投影到一个公共子空间上；

步骤4，在所述公子空间上定义一个分类器以检测投影后的检测样本是否为行人样本，所述分类器和不同分辨率投影矩阵共同组成不同分辨率下的行人检测器；

步骤5，在训练阶段，利用训练样本迭代地优化不同分辨率投影矩阵以及所述分类器；

步骤6，在检测阶段，对于待检测图像，根据其分辨率的不同使用不同分辨率下的行人检测器进行检测，并得到最终的检测结果。

本发明还公开了一种基于多任务模型的行人检测装置，其包括：

样本区分模块，其用于将训练样本中的行人样本，分为不同分辨率的行人样本；

特征提取模块，其用于将训练样本分为包括不同分辨率行人样本的训练样本集，并分别提取不同分辨率的样本纹理特征；

投影模块，其用于对不同分辨率样本纹理特征，初始化不同分辨率投影矩阵，并根据所述不同分辨率投影矩阵，将不同分辨率样本纹理特征投影到一个公共子空间上；

行人检测器模块，其用于在所述公子空间上定义一个分类器以检测投影后的检测样本是否为行人样本，所述分类器和不同分辨率投影矩阵共同组成不同分辨率下的行人检测器；

优化模块，其用于在训练阶段，利用训练样本迭代地优化不同分辨率投影矩阵以及所述分类器；

检测模块，其用于在检测阶段，对于待检测图像，根据其分辨率的不同使用不同分辨率下的行人检测器进行检测，并得到最终的检测结果。

本发明同时利用不同分辨率下的行人训练样本，针对不同的分辨率分别获取投影矩阵，从而考虑了不同分辨率的差异性。而分类器在公共投影空间上得到，从而同时兼顾了不同分辨率的共性。在模型训练过程中同时优化分辨率相关的投影矩阵和分类器，得到最终的多任务行人检测器。本发明方法可以提高行人检测精度，尤其是对低分辨率的行人。其检测精度高，适应范围广。

附图说明

图1是本发明中基于多任务模型的行人检测方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图1是本发明中基于多任务模型的行人检测方法流程图，如图1所示，所述多任务模型的行人检测方法包括如下步骤：

步骤1，收集训练样本，包括行人样本和背景样本。对训练样本中的行人样本，分为不同的分辨率。对于分辨率的区分有很多不同的标准，对分辨率精细化的区分会提高检测的精度但同时也相应增加计算复杂度。此处以高分辨率和低分辨率为例，则训练样本可分为高分辨率训练样本I_H和低分辨率训练样本I_L，其中高分辨率训练样本I_H包括背景样本和高分辨率的行人样本的训练样本，用于在训练阶段训练高分辨率的行人检测器；低分辨率训练样本I_L包括背景样本和低分辨率的行人样本的训练样本，用于在训练阶段训练低分辨率的行人检测器；注意到将这种分辨率的区分推广到多分辨率是很自然的。

步骤2，对不同分辨率对应的训练样本，分别提取纹理特征φ，本发明中优选HOG特征。以高分辨率训练样本I_H和低分辨训练样本I_L为例，提取高分辨率样本纹理特征φ(I_H)和低分辨率样本纹理特征φ(I_L)。

步骤3，对不同分辨率样本纹理特征，初始化投影矩阵P。以高分辨率样本纹理特征φ(I_H)和低分辨率样本纹理特征φ(I_L)为例，高分辨率投影矩阵定义为P_H和低分辨投影矩阵定义为P_L。利用投影矩阵将不同分辨率下的样本纹理特征投影到一个公共子空间，φ(I_H)和φ(I_L)投影后的特征分别为P_H·φ(I_H)和P_L·φ(I_L)。

对一个训练样本，提取纹理特征之后其维度为n_f×n_c。其中n_c是HOG特征cell的个数，n_f是每个cell特征的维数。定义投影矩阵P维度大小为n_d×n_f，从而可以将训练样本纹理特征投影到一个n_d×n_c的公共子空间当中。对于投影矩阵P的初始化，有很多种方法，在此举例说明：一般n_d≤n_f，则利用随机提取的纹理特征做主成分分析(Principal component analysis，PCA)，并取其前n_d特征值作为初始化的投影矩阵P。其中n_d的大小决定了不同分辨率之间多少信息进行共享，优选地，取n_f为31时，测试得到n_d的最优值为8。

步骤4，在公共子空间Φ上定义一个分类器D来区分投影后的行人检测样本和背景(非行人)样本。则I_H与D的组合可以作为高分辨率的行人检测器，而P_L与D的组合可以作为低分辨率的行人检测器。

传统的单分辨率的HOG(梯度直方图特征)+SVM(支持向量机)行人检测器中，参数为一个维数为的n_f×n_c矩阵W，用于在特征空间上区分行人和非行人。则对于一个输入图像I及其一个可能的行人检测位置，也就是滑框L，有检测得分为

S(I，L，W)＝Tr(W^T·φ(I))

其中，Tr(·)为矩阵主对角线所有元素之和，φ为滑框L中提取的特征纹理，当获取的分数S(I，L)＞T时，则认为滑框L为一个行人。其中T是事先规定好的阈值。

对于单个分辨率的行人检测任务，这种检测器足以满足需求，但是对于图像I中包含不同尺度，不同分辨率的行人时，这种检测器由于没有考虑到不同分辨率下的行人表象特征的不同，往往不能得到满意的检测精度。例如，在较高分辨率下训练的行人检测器，对较低分辨率下行人的检测效果往往会很差。

注意到，实际上不同分辨率下的行人虽然在表象特征上差距会很大，但是其在结构上的特征是相似的。这样针对不同分辨率下的行人检测，其检测器的训练方式很自然地有两种方法可供选择：(1)将所有分辨率下的行人样本放置在一起做训练集，不加以区分地训练出行人检测器。这种方式看似整合了不同分辨率行人样本的特性，但是实际上由于较低分辨率下的行人样本往往丢失过多的表象信息，其表象特征与较高分辨率下的行人样本有很大不同，造成最终检测结果反而下降。(2)针对不同分辨率的行人样本分别训练独立的行人检测器。对于较高分辨率行人样本，使用此类样本可以获取到较高质量的行人表象特征纹理，则训练出行人检测器可有效地检测出较高分辨率下的行人，但是对于单纯以低分辨行人样本作为训练样本而构建的行人检测器，由于此类样本丢失了较多的表象特征信息，使得其与非行人样本有较大的相似，则训练出的检测器不能有效区分行人与非行人，造成检测精度下降，综合而言，此种训练策略的整体检测效果并不理想。

针对这种情况，考虑到虽然不同分辨率下的行人其表象信息相差很大，但是其结构信息相似，本发明提出一个多任务模型，综合考虑不同分辨率下的行人样本，保留不同分辨率下行人样本的共性与差异，采用投影矩阵P将不同分辨率下的行人纹理特征投影到一个共同空间，并在这个共同空间上训练行人检测器D。

这里以高分辨率和低分辨两种分辨率为例说明，分别地，对于高分辨率样本纹理特征φ(I_H)有投影矩阵P_h，对于低分辨率样本纹理特征φ(I_L)有投影矩阵P_L。对于检测中的滑窗L，本发明使用如下的方式进行打分：

其中Tr里面的三个矩阵进行矩阵乘法运算。注意上式的参数矩阵W的维度为n_d×n_c。对于不同分辨率下的训练样本，分别有相应的投影矩阵，从而得到一个多任务的行人检测器。

步骤5，在训练阶段，利用训练样本迭代地优化P_H，P_L以及参数矩阵W。

使用如下的目标函数来同时优化P_H，P_L以及参数矩阵W：

$\underset{W,P_H,P_L}{\arg \min }f(W,P_H,I_H)+f(W,P_L,I_L)$

其中f由于描述单分辨率下损失，以高分辨率情况为例，其定义为：

$0.5{\left|\right|P_{H}W\left|\right|}_F^2+C\underset{N_H}{\mathrm{\Σ}}\max [\mathrm{0,1}-y_n\left(\mathrm{Tr}(W^T\·P_H\·\mathrm{\φ}\left(I_H\right))\right)]$

其中||·||_F是Frobenius范数，N_H是高分辨率训练样本的个数，y_n是样本的标签，为+1(行人)或者-1(背景)。C为指定的常数，用于调整权重，比如0.01。

由于上述目标函数不是凸函数，本发明提出使用下面的方式来迭代的优化投影矩阵P和参数矩阵W。

首先，依据初始化的投影矩阵P_H和P_L，以及训练样本I_H和I_L，求解当前状态下的最优的W。则目标函数转换为一个最优化问题：

$0.5{\left|\right|W_{*}\left|\right|}_F^2+C\underset{N_H+N_L}{\mathrm{\Σ}}\max [\mathrm{0,1}-y_n\left(\mathrm{Tr}(W_{*}^T\·{\mathrm{\φ}}_{*}\left(I_n\right))\right)]$

其中对于高分辨率训练样本φ_*(I_n)为A^-0.5P_Hφ(I_n)，I_n为第n个训练样本。对低分辨率样本φ_*(I_n)为A^-0.5P_Lφ(I_m)，而W_*为A^0.5W。而A定义为P_HP_H ^T+P_LP_L ^T。该函数可以等加成一个二次规划问题，可以使用标准的求解器求得全局最优解W_*。得到W_*后原问题的W可以通过(P_HP_H ^T+P_LP_L ^T)^-0.5W_*得到。

然后固定W，求解当前状态下最优的P_H和P_L。可以证明这种情况下，原问题等价于分别求解P_H和P_L。求解P_H为例，本发明把目标函数转化成如下的最优化问题：

$0.5{\left|\right|P_{H*}\left|\right|}_F^2+C\underset{N_H}{\mathrm{\Σ}}\max [\mathrm{0,1}-y_n\left(\mathrm{Tr}(P_{H*}\·{\mathrm{\φ}}_{*}\left(I_{\mathrm{Hn}}\right))\right)]$

其中I_Hn为高分辨率的第n个样本，P_H*为B^0.5P_H，φ_*(I_Hn)为B^-0.5Wφ(I_Hn)。而B定义为WW^T。该函数可以等加成一个二次规划问题，可以使用标准的求解器求得全局最优解P_H*。求解得到后P_H*，P_H可以通过(WW^T)^-.5P_H*得到。

重复上述迭代过程，直到参数收敛，即得到多任务行人检测器的各个参数。该过程需要一个初始值，初始化方法有多种选择，比如对提取的纹理特征做主成分分析，并取其前n_d个特征向量作为初始化投影矩阵。

步骤6，在测试阶段，输入待检测图像，进行标准的滑框检测。这个过程是指，把待检测的区域分成很多重叠的窗口作为候选的行人区域，即滑窗。对于每一个滑框，根据其分辨率不同选取不同分辨率的行人检测器，获取超过阈值T的滑框。最后再使用非极大值抑制去除重复的滑框，即得到最终的检测结果。

对于输入的待检测图像，本发明采用了金字塔缩放图像方式，将输入图像缩放为若干个不同的尺度，并将这些缩放后的图像重叠在一起组成一个金字塔。固定滑框H的大小，在金字塔进行遍历滑框检测。根据滑框H的分辨率，选取相应的投影矩阵和分类器组合，获得分数超过阈值的滑框。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多任务模型的行人检测方法，其特征在于，该方法包括以下步骤：

步骤1，将训练样本中的行人样本，分为不同分辨率的行人样本；

步骤2，将训练样本分为包括不同分辨率行人样本的训练样本集，分别提取不同分辨率的样本纹理特征；

步骤3，对不同分辨率样本纹理特征，初始化不同分辨率投影矩阵，并根据所述不同分辨率投影矩阵，将不同分辨率样本纹理特征投影到一个公共子空间上；

步骤4，在所述公共子空间上定义一个分类器以检测投影后的检测样本是否为行人样本，所述分类器和不同分辨率投影矩阵共同组成不同分辨率下的行人检测器；

步骤5，在训练阶段，利用训练样本迭代地优化不同分辨率投影矩阵以及所述分类器；

步骤6，在检测阶段，对于待检测图像，根据其分辨率的不同使用不同分辨率下的行人检测器进行检测，并得到最终的检测结果；

步骤5中使用如下目标函数迭代优化不同分辨率投影矩阵以及所述分类器：

$\underset{W,P_H,P_L}{\arg \min }f(W,P_H,I_H)+f(W,P_L,I_L)$

其中，f表示迭代优化的目标函数，W表示所述分类器参数矩阵，P_H表示高分辨率投影矩阵，P_L表示低分辨率投影矩阵，I_H表示包括高分辨率行人样本的训练样本集，I_L表示包括低分辨率行人样本的训练样本集。

2.根据权利要求1所述的方法，其特征在于，所述不同分辨率投影矩阵如下初始化：对所提取的不同分辨率样本纹理特征做主成分分析，并取其前n_d特征值作为相应地初始化的不同分辨率投影矩阵，n_d为所述公共子空间的维度。

3.根据权利要求1所述的方法，其特征在于，对于高分辨率投影矩阵，所述迭代优化目标函数如下表示：

$f(W,P_H,I_H)=0.5\left|\right|P_{H}W|{|}_F^2+C\underset{N_H}{\mathrm{\Σ}}\max \[0,1-y_n\left(Tr\right(W^T\·P_H\·\mathrm{\φ}\left(I_H\right)\left)\right)\]$

其中，||·||_F是Frobenius范数，N_H是包括高分辨率行人样本的训练样本的个数，y_n是表示样本是否为行人的标签，Tr(·)为矩阵主对角线所有元素之和；C为指定的常数；W^T是W的转置矩阵；φ(I_H)为I_H的纹理特征；

所述低分辨率投影矩阵，迭代优化目标函数与上式相同。

4.根据权利要求1所述的方法，其特征在于，步骤5中迭代优化不同分辨率投影矩阵以及所述分类器包括如下步骤：

步骤51、根据初始化的不同分辨率投影矩阵和不同分辨率训练样本，求解当前状态下的分类器参数；

步骤52、固定分类器参数，求解当前状态下最优的不同分辨率投影矩阵；

步骤53、重复执行上述迭代步骤，直至收敛。

5.根据权利要求4所述的方法，其特征在于，步骤51中，对于高分辨率投影矩阵，求解问题如下表示：

$0.5\left|\right|W_{*}|{|}_F^2+C\underset{N}{\mathrm{\Σ}}\max \[0,1-y_n\left(Tr\right(W_{*}^T\·{\mathrm{\φ}}_{*}\left(I_n\right)\left)\right)\]$

其中，φ_*(I_n)为A^-0.5P_Hφ(I_n)，I_n为第n个训练样本，φ(I_n)为I_n的纹理特征，A定义为P_HP_H ^T+P_LP_L ^T，使用标准的求解器求得全局最优解W_*，然后根据(P_HP_H ^T+P_LP_L ^T)^-0.5W_*得到W，N表示行人样本的数量；

所述低分辨率投影矩阵，其求解过程与高分辨率投影矩阵相同。

6.如权利要求4所述的方法，其特征在于，步骤52中，对于高分辨率投影矩阵，求解问题如下表示：

$0.5\left|\right|P_{H*}|{|}_F^2+C\underset{N_H}{\mathrm{\Σ}}\max \[0,1-y_n\left(Tr\left(P_{H*}\·{\mathrm{\φ}}_{*}\left(I_{Hn}\right)\right)\right)\]$

其中，C为指定的常数，用于调整权重，N_H表示包括高分辨率行人样本的训练样本数量，I_Hn为高分辨率的第n个训练样本，P_H*为B^0.5P_H，φ_*(I_Hn)为B^-0.5Wφ(I_Hn)，φ(I_Hn)为I_Hn的纹理特征，B定义为WW^T，然后使用标准的求解器求得全局最优解P_H*，并通过(WW^T)^-0.5P_H*得到P_H；

所述低分辨率投影矩阵，其求解过程与高分辨率投影矩阵相同。

7.根据权利要求1所述的方法，其特征在于，步骤6中根据其分辨率的不同使用不同分辨率下的行人检测器进行检测具体为：通过标准的滑框检测，将待检测图像分成很多重叠的窗口作为滑框，并根据每个滑框的分辨率大小选取不同的行人检测器，并根据所述行人检测器得到最终的检测结果。

8.如权利要求7所述的方法，其特征在于，步骤6中对于每个滑框，根据如下公式对其打分，最终得到检测结果：

其中，I表示待检测图像，L表示滑窗，Tr(·)为矩阵主对角线所有元素之和，W表示所述分类器参数，P表示滑窗L所在分辨率对应的投影矩阵，φ(·)表示得到的纹理特征。

9.一种基于多任务模型的行人检测装置，其包括：

样本区分模块，其用于将训练样本中的行人样本，分为不同分辨率的行人样本；

特征提取模块，其用于将训练样本分为包括不同分辨率行人样本的训练样本集，并分别提取不同分辨率的样本纹理特征；

投影模块，其用于对不同分辨率样本纹理特征，初始化不同分辨率投影矩阵，并根据所述不同分辨率投影矩阵，将不同分辨率样本纹理特征投影到一个公共子空间上；

行人检测器模块，其用于在所述公共子空间上定义一个分类器以检测投影后的检测样本是否为行人样本，所述分类器和不同分辨率投影矩阵共同组成不同分辨率下的行人检测器；

优化模块，其用于在训练阶段，利用训练样本迭代地优化不同分辨率投影矩阵以及所述分类器；

检测模块，其用于在检测阶段，对于待检测图像，根据其分辨率的不同使用不同分辨率下的行人检测器进行检测，并得到最终的检测结果；

其中，优化模块使用如下目标函数迭代优化不同分辨率投影矩阵以及所述分类器：

$\underset{W,P_H,P_L}{\arg \min }f(W,P_H,I_H)+f(W,P_L,I_L)$

其中，f表示迭代优化的目标函数，W表示所述分类器参数矩阵，P_H表示高分辨率投影矩阵，P_L表示低分辨率投影矩阵，I_H表示包括高分辨率行人样本的训练样本集，I_L表示包括低分辨率行人样本的训练样本集。