CN106067041B - 一种改进的基于稀疏表示的多目标检测方法 - Google Patents

Abstract

本发明公开了一种改进的基于稀疏表示的多目标检测方法，首先提取训练样本的HOG特征，并采用K‑SVD算法对其进行稀疏表示得过完备字典D；然后采用滑动窗口和多尺度策略遍历待检测图像，提取各图像子块的HOG特征，并基于过完备字典D进行稀疏表示；第三，利用重构误差的差异结合自适应阈值设定方法实现对多个目标的初步定位；最后，设计了一种窗口合并策略，对多个目标进行精确检测。本发明中提出的窗口合并策略，利用窗口中心位置及窗口尺寸，对多个目标定位窗口进行区分，使它们分别准确对应所属的目标；然后，利用重构误差，将同一目标对应的多个重叠定位窗口进行有效合并，保证了目标的鲁棒及精确性检测。

Description

一种改进的基于稀疏表示的多目标检测方法

技术领域

本发明涉及一种改进的基于稀疏表示的多目标检测方法，属于图像处理和计算机视觉技术领域。

背景技术

目标检测是计算机视觉领域一个重要的分支，广泛应用于视频监控、智能交通、医疗诊断、军事侦察以及精确制导等诸多领域，对其研究具有重要的理论意义和应用价值。但是，目标所处背景的复杂性和多样性使得传统的目标检测方法难以克服噪声干扰、背景杂波、遮挡以及光照、视角、尺度和姿态变化等因素的影响。近年来，随着稀疏表示理论研究的深入，研究人员发现稀疏表示理论可以有效应用于目标检测问题中，其对光照变化及噪声、遮挡等具有较好的鲁棒性。但是，传统的基于稀疏表示的目标检测方法，通常依据经验设定检测阈值，导致其不能很好地检测各种类型的图像，限制了其方法的适用性。另一方面，为了避免漏检情况的发生，传统的基于稀疏表示的目标检测方法，通常采用滑动窗口和多尺度策略对目标进行检测，导致图像中同一目标对应多个重叠定位窗口，而这些重叠定位窗口却无法有效合并，最终导致目标检测精确性和鲁棒性下降。此外，当图像中存在多个待检测目标时，传统的基于稀疏表示的目标检测方法也无法有效区分邻近目标，造成检测率不高。

发明内容

发明目的：为了克服上述缺陷，本发明提供了一种改进的基于稀疏表示的多目标检测方法，与传统的基于稀疏表示的目标检测方法相比，它包含了一种新的窗口合并策略，利用窗口中心位置及窗口尺寸，对多个目标定位窗口进行区分，使它们分别准确对应所属的目标；然后，利用重构误差，将同一目标对应的多个重叠定位窗口进行有效合并，保证了目标的鲁棒及精确性检测。

技术方案：一种改进的基于稀疏表示的多目标检测方法，其具体步骤如下：

(1)样本训练阶段：

第一步，输入m个训练样本图像，将尺寸归一化为row×column，构成训练样本图像集。

第二步，提取训练样本图像集的HOG特征f₁,f₂,…,f_m。

第三步，将训练样本图像集的HOG特征f₁,f₂,…,f_m用K-SVD算法训练，得到过完备字典D。

(2)目标检测阶段：

第一步，输入待检测图像I。

第二步，采用滑动窗口和多尺度策略遍历待检测图像，得到多尺度(设有S个尺度)的图像子块，将各图像子块尺寸归一化为row×column。

第三步，提取各图像子块的HOG特征g₁,g₂,…,g_N。

第四步，基于过完备字典D对待检测图像子块的HOG特征g₁,g₂,…,g_N进行稀疏表示。

第五步，计算待检测图像每个子块的重构误差δ_i(i＝1,2,…,N)。

第六步，基于重构误差δ_i(i＝1,2,…,N)的差异，采用自适应阈值设定的方法对多个目标进行初步定位，得到多个目标定位窗口。

第七步，设计一种新的窗口合并策略，对多个目标定位窗口进行区分，使它们分别准确对应所属的目标；然后，利用重构误差，将同一目标对应的多个重叠定位窗口进行有效合并，最终得到多个目标的精确检测结果。

其中，目标检测阶段第六步，提出的一种基于重构误差和自适应阈值设定的目标初步定位方法，其具体步骤如下：

第一步，提取重构误差δ_i(i＝1,2,…,N)中的最大值δ_big和最小值δ_small，按照权重因子k分配权重，计算得到阈值τ。其中，权重因子k的取值是一个经验值。

第二步，将每个重构误差δ_i(i＝1,2,…,N)与阈值τ进行比较，如果大于阈值τ，则判定为背景；如果小于等于阈值τ，就判定检测到目标，然后将这些目标初步定位窗口的相关信息，包括窗口中心位置坐标(x_pj,y_pj)、窗口尺寸(w_pj,h_pj)和重构误差δ_pj，保存在窗口信息矩阵M_p(p＝1,2,…,S)中。其中p表示该窗口对应第p个尺度，又称为窗口位于第p层。

更进一步地，目标检测阶段第七步，提出的一种新的基于窗口合并策略的目标精确检测方法的具体步骤如下：

第一步，针对每一个尺度p，利用窗口中心位置及窗口尺寸，对目标检测阶段第六步得到的多个目标定位窗口进行区分，使它们分别准确对应所属的目标。

第二步，在尺度p下，针对同一目标对应的多个重叠定位窗口，对其中心位置坐标(x_pj,y_pj)依据重构误差δ_pj的大小，分配权重。其中，重构误差越小的窗口，分配给它的权重越大。然后，基于权重，重新计算该目标的中心位置坐标(x_pl,y_pl)，达到重叠定位窗口合并的目的。同时，按照权重，加权计算合并后窗口的重构误差δ_pl。最终，我们得到该尺度下同一目标对应的合并后的定位窗口，该窗口的相关信息保存在窗口信息矩阵M_pl＝(x_pl,y_pl,w_pl,h_pl,δ_pl)中。其中，(w_pl,h_pl)表示该窗口的尺寸，p表示该窗口位于第p层；l表示该窗口在第p层的编号。

第三步，针对每一个尺度p，依次合并同一目标对应的多个重叠定位窗口，将合并后窗口的相关信息保存在窗口信息矩阵M_pl(p＝1,2,…,S；l＝1,2,…,L)中。其中，L为第p层内合并后窗口的个数，表示第p层共检测到L个目标。

第四步，针对所有S个尺度，将同一目标对应的合并后的重叠定位窗口的信息矩阵M_pl(p＝1,2,…,S；l＝1,2,…,L)，依据误差大小，对其分配权重。其中，误差越小的窗口，分配给它的权重越大。然后，基于权重，更新该目标的最终位置和尺寸，得到目标精确检测结果B_r＝(x_r,y_r,w_r,h_r),(r＝1,2,…,n)。其中，x_r,y_r为最终合并后窗口的坐标值，w_r为最终合并后窗口的宽度，h_r为最终合并后窗口的高度，n为最终合并后窗口的个数，表示图像中共检测到n个目标。

本发明采用上述技术方案，具有以下有益效果：

(1)本发明采用滑动窗口和多尺度策略遍历待检测图像，有效解决图像中待检测的多个目标大小不同的问题，提高了目标的检测率。

(2)本发明提出一种基于重构误差和自适应阈值设定的目标初步定位方法，对同一目标提取多个重叠定位窗口。

(3)本发明设计了一种新的基于窗口合并策略的目标精确检测方法，先对每一个尺度下的多个目标定位窗口进行区分，得到该尺度下同一目标对应的合并后的重叠定位窗口，然后将所有尺度下同一目标对应的重叠定位窗口再次合并，得到目标精确检测结果。

综上所述，本发明与传统的基于稀疏表示的目标检测方法相比，能够有效提高目标检测的准确性和鲁棒性。

附图说明

图1为本发明的整体算法流程图；

图2为基于窗口合并策略的目标精确检测算法流程图；

图3为实施例目标检测结果图，其中，(a)为基于重构误差和自适应阈值设定的目标初步定位结果图，(b)为基于窗口合并策略的目标精确检测结果图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供了一种改进的基于稀疏表示的多目标检测方法，其流程如图1所示，下面以含有多个行人目标的待检测图像为例，具体说明本发明的实施方式：

(1)样本训练阶段：

第一步，输入924个训练样本图像，将尺寸归一化为32×32，构成训练样本图像集。

第二步，提取训练样本图像集的HOG特征。若提取HOG特征时每8×8个像素组成一个cell，每2×2个cell组成一个block，每个cell有9个特征(即9个梯度方向)，则每个block有4×9＝36个特征。对归一化成32×32的训练样本图像，以8个像素为步长，将有4×4个cell，即3×3＝9个block。也就是说，每个图像子块将得到36×9＝324个HOG特征，将其按列展开成324×1的列向量，则924个这样的列向量横向组合在一起，构成一个324×924维的矩阵，即为训练样本图像集的HOG特征向量集。

第三步，将训练样本图像集的HOG特征f₁,f₂,…,f₉₂₄用K-SVD算法训练，得到过完备字典D。

(2)目标检测阶段：

第一步，输入待检测图像I。

第二步，采用滑动窗口和多尺度策略遍历待检测图像，得到多尺度(设有S个尺度)的待检测图像子块，将各图像子块尺寸归一化成与训练样本图像相同的尺寸，如32×32。

第三步，提取各图像子块的HOG特征g₁,g₂,…,g_N。

第四步，基于过完备字典D对待检测图像子块的HOG特征g₁,g₂,…,g_N进行稀疏表示。

第五步，计算待检测图像每个子块的重构误差δ_i(i＝1,2,…,N)。

第六步，若待检测图像子块包含目标，则其重构误差较小；否则，重构误差较大。基于重构误差δ_i(i＝1,2,…,N)的这个差异，采用自适应阈值设定的方法对目标进行初步定位，具体实现步骤如下：

(a)根据目标检测阶段第五步中得到的重构误差δ_i(i＝1,2,…,N)，选出其中的最大值δ_big和最小值δ_small，则阈值τ可由式(1)计算得到：

其中，权重因子k的取值是一个经验值，一般取作整数。

(b)将每个重构误差δ_i(i＝1,2,…,N)与阈值τ进行比较，如果大于阈值τ，则判定为背景；如果小于等于阈值τ，就判定检测到目标，然后将这些目标初步定位窗口的相关信息，包括窗口中心位置坐标(x_pj,y_pj)、窗口尺寸(w_pj,h_pj)和重构误差δ_pj，保存在窗口信息矩阵M_p(p＝1,2,…,S)中，其中p表示该窗口对应第p个尺度，又称为窗口位于第p层。

第七步，基于窗口合并策略的目标精确检测的流程如图2所示，具体步骤如下：

(a)根据目标检测阶段第六步得到目标初步定位窗口的信息(x_pj,y_pj,δ_pj)，其中，(x_pj,y_pj)表示窗口的中心位置坐标且(x_pj,y_pj)∈M_p，M_p为窗口信息矩阵，表示(x_pj,y_pj)对应第p个尺度为(w_p,h_p)的窗口，即w_pj＝w_p,h_pj＝h_p，δ_pj为该窗口的重构误差。如图3(a)所示，图中不同尺度大小的窗口，即表示不同层的窗口。

(b)对于第p层内的目标定位窗口，进行如下操作：

●设(x_pi,y_pi,δ_pi)与(x_pj,y_pj,δ_pj)为第p层的目标定位窗口信息序列，若满足式(2)，则判定其检测到同一目标，并将其归到同一目标组A_l(l＝1,2,…,q₁)，其中，l表示第p层的目标组数，q₁表示第p层共有q₁个目标组，即第p层共检测到q₁个目标。

其中，

●将第p层内的目标定位窗口依次两两进行比较，并将满足式(2)的重叠定位窗口归到同一目标组A_l中。

●第p层内目标定位窗口两两比较结束后，将同一目标组A_l中的重叠定位窗口按权重进行合并，则合并后窗口的坐标值可由下列表达式表示：

其中，权重因子z＝1,2,…,n₁，n₁表示目标组A_l中共包含n₁个待合并的重叠定位窗口。

●目标组A_l中合并后的窗口的相关信息保存在窗口信息矩阵M_pl＝(x_pl,y_pl,w_pl,h_pl,δ_pl)中。其中，x_pl,y_pl为合并后窗口的坐标值，w_pl即为w_p，h_pl即为h_p，δ_pl为合并后窗口的重构误差，由式(5)计算得到：

(c)各层内的重叠定位窗口合并完成后，再进行各层之间重叠定位窗口的合并，具体步骤如下：

●设(x_pi,y_pi,w_pi,h_pi,δ_pi)与(x_qj,y_qj,w_qj,h_qj,δ_qj)为不同层的目标定位窗口信息序列，若满足式(6)，则判定其检测到同一目标，并将其归到同一个目标组B_r(r＝1,2,…,q₂)，其中，r表示目标组的个数，q₂表示共有q₂个目标组，即共检测到q₂个目标；

其中，

●将不同层之间的目标定位窗口依次两两进行比较，并将满足式(6)的重叠定位窗口归到同一目标组B_r中；

●不同层之间的目标定位窗口两两比较结束后，将同一目标组B_r中的重叠定位窗口按权重进行合并。则合并后窗口的坐标值和尺寸由下列表达式进行求解：

其中，权重因子z＝1,2,…,n₂，n₂表示该目标组B_r中共包含n₂个待合并的重叠定位窗口；

针对目标组B_r，合并后的窗口记为B_r＝(x_r,y_r,w_r,h_r),(r＝1,2,…,n)，其中，x_r,y_r为最终合并后窗口的坐标值，w_r为最终合并后窗口的宽度，h_r为最终合并后窗口的高度，n为最终合并后窗口的个数，表示图像中最终一共检测到了n个目标，如图3(b)所示。

Claims (2)

1.一种改进的基于稀疏表示的多目标检测方法，其特征在于，包括如下步骤：

(1)样本训练阶段：

第一步，输入m个训练样本图像，将尺寸归一化为row×column，构成训练样本图像集；

第二步，提取训练样本图像集的HOG特征f₁,f₂,…,f_m；

第三步，将训练样本图像集的HOG特征f₁,f₂,…,f_m用K-SVD算法训练，得到过完备字典D；

(2)目标检测阶段：

第一步，输入待检测图像I；

第二步，采用滑动窗口和多尺度策略遍历待检测图像，得到多尺度的图像子块，将各图像子块尺寸归一化为row×column；

第三步，提取各图像子块的HOG特征g₁,g₂,…,g_N；

第四步，基于过完备字典D对待检测图像子块的HOG特征g₁,g₂,…,g_N进行稀疏表示；

第五步，计算待检测图像每个子块的重构误差δ_i(i＝1,2,…,N)；

第六步，基于重构误差δ_i(i＝1,2,…,N)的差异，采用自适应阈值设定的方法对多个目标进行初步定位，得到多个目标定位窗口；

第七步，设计一种新的窗口合并策略，对多个目标定位窗口进行区分，使它们分别准确对应所属的目标；然后，利用重构误差，将同一目标对应的多个重叠定位窗口进行有效合并，最终得到多个目标的精确检测结果；

所述目标检测阶段第七步设计了一种新的基于窗口合并策略的目标精确检测方法，其具体步骤如下：

第(1)步，针对每一个尺度p，利用窗口中心位置及窗口尺寸，对目标检测阶段第六步得到的多个目标定位窗口进行区分，使它们分别准确对应所属的目标；

第(2)步，在尺度p下，针对同一目标对应的多个重叠定位窗口，对其中心位置坐标(x_pj,y_pj)依据重构误差δ_pj的大小，分配权重；其中，重构误差越小的窗口，分配给它的权重越大；然后，基于权重，重新计算该目标的中心位置坐标(x_pl,y_pl)，达到重叠定位窗口合并的目的；同时，按照权重，加权计算合并后窗口的重构误差δ_pl；最终，我们得到该尺度下同一目标对应的合并后的定位窗口，该窗口的相关信息保存在第p层的窗口信息矩阵m_pl＝(x_pl,y_pl,w_pl,h_pl,δ_pl)中；其中，(w_pl,h_pl)表示该窗口的尺寸，p表示该窗口位于第p层；l表示该窗口在第p层的编号；

第(3)步，针对每一个尺度p，依次合并同一目标对应的多个重叠定位窗口，将合并后窗口的相关信息保存在窗口信息矩阵M_pl(p＝1,2,…,S；l＝1,2,…,L)中；其中，L为第p层内合并后窗口的个数，表示第p层共检测到L个目标；

第(4)步，针对所有S个尺度，将同一目标对应的合并后的重叠定位窗口的信息矩阵M_pl(p＝1,2,…,S；l＝1,2,…,L)，依据重构误差大小，对其分配权重；其中，误差越小的窗口，分配给它的权重越大；然后，基于权重，更新该目标的最终位置和尺寸，得到目标精确检测结果B_r＝(x_r,y_r,w_r,h_r),(r＝1,2,…,n)；其中，x_r,y_r为最终合并后窗口的坐标值，w_r为最终合并后窗口的宽度，h_r为最终合并后窗口的高度，n为最终合并后窗口的个数，表示图像中共检测到n个目标。

2.根据权利要求1所述的改进的基于稀疏表示的多目标检测方法，其特征在于，所述目标检测阶段第六步提出了一种基于重构误差和自适应阈值设定的目标初步定位方法，其具体步骤如下：

第一步，提取重构误差δ_i(i＝1,2,…,N)中的最大值δ_big和最小值δ_small，按照权重因子k分配权重，计算得到阈值τ；其中，权重因子k的取值是一个经验值;

第二步，将每个重构误差δ_i(i＝1,2,…,N)与阈值τ进行比较，如果大于阈值τ，则判定为背景；如果小于等于阈值τ，就判定检测到目标，然后将这些目标初步定位窗口的相关信息，包括窗口中心位置坐标(x_pj,y_pj)、窗口尺寸(w_pj,h_pj)和重构误差δ_pj，保存在窗口信息矩阵M_p(p＝1,2,…,S)中,其中，p表示该窗口对应第p个尺度，又称为窗口位于第p层。