CN102142078B - 基于部件结构模型的目标检测与识别方法 - Google Patents

Abstract

基于部件结构模型的目标检测与识别方法，采用积分直方图提取目标以及目标各个部件内不同模块大小的梯度方向直方图特征；分别对目标以及目标各个部件训练生成boost级联分类器，级联分类器中的弱分类器由梯度方向直方图特征向量的方向成员构成；采用半监督训练方式，由手工标注方式确定目标的位置，而目标各个部件的位置由训练目标整体级联分类器过程中所挑选出的区分能力较强的若干弱分类器所在模块的位置确定；采用星型结构训练目标以及目标各个部件之间的空间关系模型；用boost级联分类器分别检测目标以及目标各个部件得到部件检测代价图，然后利用距离变换以及目标各个部件之间的相对位置关系实现目标的检测与识别定位。

Description

基于部件结构模型的目标检测与识别方法

技术领域

本发明涉及多媒体图像视频检索系统技术领域。更确切的说，本发明涉及用于图像和视频中目标检测与识别系统。

背景技术

目标检测与识别是计算机视觉中最具挑战性的任务之一。如何解决目标在受尺度变换、视角变换、光照、遮挡、背景干扰等影响下准确的检测并定位识别出目标是一项挑战。目前，各种信息媒体得到了迅猛的发展，比如电视，广播，网络，无线通讯等。这些信息媒体中每天都充斥着大量的信息。如何对这些信息进行有效的管理和监控以保证信息安全正逐步得到进一步重视。基于部件结构模型的目标检测与识别系统就是为了满足信息安全领域敏感图片和视频的监控要求的。

大部分目标检测与识别采用整体目标的训练方式，忽略了目标的各个部件以及部件之间的空间位置关系。或者采用较为复杂的网状空间关系模型对部件进行约束，增加了算法的训练复杂度。或者训练样本的各个部件位置由手工标注产生，为训练和识别过程增加了人工干扰因素。

基于梯度方向直方图的目标检测算法，采用手工标注方式获得目标的整体位置，提取目标的梯度方向直方图特征，采用SVM训练分类器以实现目标的检测识别与定位。该方法未考虑目标各个部件的因素及目标各个部件之间的空间位置关系，同时特征提取过程中未考虑不同模块大小的特征。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的主要目的在于能够给出目标的各个部件以及目标各个部件之间的空间位置关系、减少算法的训练复杂度、减少人工干扰因素，为此而提供一种基于部件结构模型的目标检测与识别方法，以解决现有技术不能给出目标的各个部件以及目标各个部件之间的空间位置关系、算法的训练复杂度、有人工干扰因素问题。

(二)技术方案

为达到上述目的，本发明提供一种基于部件结构模型的目标检测与识别方法，该方法包括步骤如下：

步骤S1：采用积分直方图提取目标整体以及目标各个部件内不同模块大小的梯度方向直方图特征，所述不同模块的长宽和长宽比例变动范围由目标及目标各个部件大小确定；

步骤S2：根据提取的特征，分别对目标整体以及目标各个部件训练，生成boost级联分类器，级联分类器中的弱分类器由梯度方向直方图特征向量的每一个方向成员构成；

步骤S3：采用半监督的训练方式，由手工标注方式确定目标的位置，而目标各个部件的位置由训练目标整体boost级联分类器过程中所挑选出的区分能力较强的若干弱分类器所在模块的位置确定；

步骤S4：根据获得的目标整体和目标各个部件的位置，采用星型结构训练目标整体以及目标各个部件之间的空间关系模型；

步骤S5：用boost级联分类器分别检测目标整体和目标各个部件，得到目标整体以及目标各个部件检测代价图，然后利用距离变换以及目标各个部件之间的相对位置关系实现目标的检测与识别定位。

本发明的有益效果：

本发明区别于以上的现有技术，本发明是提出了一种将部件结构模型与级联分类器相结合的半监督目标检测与定位识别算法。本发明能够给出目标的各个部件以及部件之间的空间位置关系、减少了算法的训练复杂度、减少了人工干扰因素。与以往算法相比本发明提出的算法进一步提高了目标检测与定位识别的精度，同时在目标受尺度变换、视角变换、光照、遮挡、背景干扰、形变等影响下对目标准确的检测并定位识别出目标，具有良好的效果。

附图说明

图1是本发明中目标检测与识别流程图，包括训练过程和识别过程两部分。

图2a、图2b和图2c是本发明部件检测的结构模型，图示分别为整个级联分类器、级联分类器第一级和第二级最具有分类特性的前六个弱分类器所在模块。

图3a、图3b、图3c、图3d、图3e和图3f是本发明算法对行人、自行车、飞机、人脸等目标检测结果——精度召回率曲线。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1示出本发明一种新的目标检测与识别方法的流程图，该方法将部件结构模型和级联分类器相结合，采用半监督训练方式，能够在目标具有遮挡、背景干扰以及变形的情况下准确的检测并识别定位出目标。本发明可用于图像和视频中目标检测与识别系统。本发明主要有如下五个特征：一是采用积分直方图提取目标整体以及目标各个部件内不同模块大小的梯度方向直方图特征，所述不同模块的长宽和长宽比例变动范围由目标及目标各个部件大小确定；二是根据提取的特征，分别对目标整体以及目标各个部件训练，生成boost级联分类器，级联分类器中的弱分类器由梯度方向直方图特征向量的每一个方向成员构成；三是采用半监督的训练方式，由手工标注方式确定目标的位置，而目标各个部件的位置由训练目标整体boost级联分类器过程中所挑选出的区分能力较强的若干弱分类器所在模块的位置确定；四是根据获得的目标整体和目标各个部件的位置，采用星型结构训练目标整体以及目标各个部件之间的空间关系模型；五是用boost级联分类器分别检测目标整体和目标各个部件，得到目标整体以及目标各个部件检测代价图，然后利用距离变换以及目标各个部件之间的相对位置关系实现目标的检测与识别定位。本发明可广泛应用于多媒体图像视频处理领域。

本发明主要包括四个模块：一是积分直方图的建立和特征的快速提取过程；二是训练目标整体和目标各个部件的级联分类器，三是训练目标整体和目标各个部件之间的空间关系模型；四是目标检测与识别定位过程。下面分别加以详细说明。

积分直方图的建立和特征的快速提取。本发明采用梯度方向直方图作为基本特征，分别计算九个方向上像素梯度方向的分布情况。为了加速特征的提取过程，采用积分图像的方式。具体实现过程如下，首先计算图像中每个象素点的梯度方向和模值，并把梯度方向投影到具体的方向上，分别建立每个梯度方向的积分图像，九个方向共有九个积分图像。其次通过积分图像得到在原图像中每个模块内各个方向的梯度特征，然后对每个模块内梯度方向直方图特征进行归一化处理。模块大小由8*8像素连续增加至48*48像素，像素增加量分别为4、6和8，模块长宽比例分别为1∶1、1∶2和2∶1。对于各个模块，计算2*2子模块的特征形成总的特征并归一化，特征维数为36维。对于48*48的模块区域，共计得到189个子模块，特征总数为36*189。

训练目标整体和目标各个部件的级联分类器。首先训练目标整体的级联分类器。设定级联分类器每一级的最低检测率和最高误检率，根据确定的参数值0.9975和0.5对目标整体以及目标各个部件训练生成级联分类器。级联分类器的弱分类器由特征向量的每一个成员构成。在训练每一级的弱分类器的过程中，挑选区分能力较强、信息含量较多的特征作为弱分类器。级联分类器每一级弱分类器的个数由事先设定的参数确定。在每一级训练过程中，当挑选完一个弱分类器后，检测当前的强分类器在满足事先设定的最低检测率的情况下最高误检率是否满足要求，若不满足要求，继续挑选若分类器形成强分类器，直到参数条件满足为止。在下一级分类器训练过程中，负样本的选取过程如下，用训练好的前几级分类器检测那些不含目标的样本，通过检测(误检)的添加进负样本库中。

在目标整体级联分类器训练完成后，依次训练目标各个部件的级联分类器。目标各个部件的初始位置由训练目标整体级联分类器过程中所挑选出的区分能力较强的若干弱分类器所在模块的位置确定。在此模型中，目标的部件个数根据具体需要识别的目标选为6。先根据确定的目标各个部件位置分别训练目标各个部件的初始化级联分类器，然后利用训练出的目标各个部件的级联分类器在训练样本上重新检测定位出目标各个部件新的位置，再根据目标各个部件新的位置重新训练目标各个部件的级联分类器。重复此过程六次后得到最终目标各个部件的级联分类器。图2a、图2b和图2c是目标各个部件的结构模型，分别为各个部件整个级联分类器、级联分类器第一级和第二级最具有分类特性的前六个弱分类器所在模块。

训练目标和目标各个部件之间的空间关系模型。目标整体和目标各个部件之间的关系采用星型结构，即以目标整体为中心，目标各个部件相对于目标整体的位置关系采用高斯模型。设G＝(V，E)表示星型结构图(V表示图的顶点集合，E表示图的边集合)，其由中心节点v_r和非中心节点v_i(i≠r)构成(r表示图中中心节点的序号，i表示图中除去中心节点外所有非中心节点的序号)，所有非中心节点之间彼此独立。S＝{s₁，...，s_n}表示空间关系模型的参数(1...n表示图中节点的序号)，其中s_r表示中心节点的空间关系模型参数，s_i表示其它非中心节点相对于中心节点的空间关系模型参数。L＝{l₁，...，l_n}表示各个节点的位置，其中l_r表示中心节点的位置，l_i表示其它非中心节点的位置，那么中心节点和非中心节点之间的空间关系可用以下条件分布来描述：

$p\left(L\right|S)=p\left(l_r\right|s_r)\underset{v_i\≠v_r}{\mathrm{\Π}}p\left(l_i\right|l_r,s_i).$

式中p(L|S)表示在给定空间关系模型S的条件下，目标的位置布局为L的概率；p(l_r|s_r)表示在给定中心节点空间关系模型参数s_r的条件下，中心节点的位置为l_r的概率；p(l_i|l_r，s_i)表示在给定中心节点的位置l_r以及非中心节点相对于中心节点的空间关系模型参数s_i的前提下，非中心节点的位置为l_i的概率。

在给定中心节点位置的前提条件下，其它非中心节点位置的条件分布p(l_i|l_r，s_i)我们用高斯模型描述如下(高斯模型的参数为均值μ_i|r和方差∑_i|r，l_i-l_r表示其它节点相对于中心节点的位置)，

p(l_i|l_r，s_i)＝N(l_i-l_r，u_i|r，∑_i|r).

给定训练样本I＝{I₁，...，I_k，...I_m}(m表示训练样本总数，k表示训练样本的序号)，在已知目标位置和目标各个部件位置的前提下，我们采用极大似然估计准则估计空间关系模型参数S^*，

$S^{*}=\arg \underset{S}{\max }\underset{k=1}{\overset{m}{\mathrm{\Π}}}p\left(L_k\right|S)=\arg \underset{s}{\max }\underset{k=1}{\overset{m}{\mathrm{\Π}}}p\left(l_{k,r}\right|s_r)\underset{v_i\≠v_r}{\mathrm{\Π}}p\left(l_{k,i}\right|l_{k,r},s_i).$

式中p(L_k|S)表示在给定空间关系模型S的条件下，第k个训练样本中目标的位置布局为L_k的概率；p(l_k，r|s_r)表示第k个训练样本中在给定中心节点空间关系模型参数s_r的条件下，中心节点的位置为l_k，r的概率；p(l_k，i|l_k，r，s_i)表示第k个训练样本中在给定中心节点的位置l_k，r以及非中心节点相对于中心节点的空间关系模型参数s_i的前提下，非中心节点的位置为l_k，i的概率。

目标检测与识别定位过程。在检测与识别定位过程中，采用距离变换的方式并结合空间关系模型最终定位目标以及目标的各个部件。采用多尺度滑动窗口的方法。根据训练的目标整体和目标各个部件的级联分类器分别计算每个窗口可能含有目标或目标各个部件的概率，得到目标和目标各个部件检测代价图，然后结合空间关系模型在图片中准确的定位目标。设L＝{l₁，...，l_n}表示目标以及目标各个部件的位置(1...n表示目标以及目标各个部件的序号)，c_r(l_r)表示给定中心节点位置l_r所在的窗口内含有目标的概率，c_i(l_i)表示给定位置l_i所在的窗口内含有目标部件的概率。c_r(l_r)和c_i(l_i)的值由目标以及目标各个部件级联分类器的检测结果得到。采用后验概率最大化方式获得目标在图像中的位置参数L^*，如下所示，

$L^{*}=\underset{L}{\max }p\left(l_r\right|s_r)c_r\left(l_r\right)\underset{v_i\≠v_r}{\mathrm{\Π}}p\left(l_i\right|l_{r,s_i})c_i\left(l_i\right).$

为了减少运算复杂度，采用距离变换的方式获得目标及各个部件的位置。在这种情况下，算法的时间复杂度降为O(nk)，n表示部件的个数，k表示图片中目标或部件检测的窗口数。

算法性能评价。本算法的性能评价是通过对待检图片中是否含有目标进行验证的。算法性能指标有两个，精度ξ、召回率δ，以及平均精度。

公式表示如下：

图3a、图3b、图3c、图3d、图3e和图3f是本发明算法对行人、自行车、飞机、人脸等目标检测结果——精度召回率曲线，以及基于非部件结构分类器算法的检测结果。表1是本发明算法与基于非结构部件级联分类器对六类目标检测结果的平均精度比较。图3a--图3f和表1的显示结果说明本发明算法提高了目标检测与定位识别的精度。

表1六类目标检测结果的平均精度

综上所述，本发明提出了一种新的目标检测与识别方法，该方法将部件结构模型和级联分类器相结合，采用半监督训练方式，能够在目标具有遮挡、背景干扰以及变形的情况下准确的检测并识别定位出目标。

尽管本发明之最佳实施方式说明了本发明，然而可以理解的是，在不背离权利要求书所规定之发明实质的前提下，可以对本发明作某些修改。

Claims (5)

1.一种基于部件结构模型的用于图像和视频中的目标检测与识别方法，其特征在于，该方法是将部件结构模型和级联分类器相结合的半监督目标检测与定位识别算法，该方法的实现步骤如下：

步骤S1：采用积分直方图提取目标整体以及目标各个部件内不同模块大小的梯度方向直方图特征，所述不同模块的长宽和长宽比例变动范围由目标及目标各个部件大小确定；

步骤S2：根据提取的特征，分别对目标整体以及目标各个部件训练，生成boost级联分类器，级联分类器中的弱分类器由梯度方向直方图特征向量的每一个方向成员构成；所述生成boost级联分类器，首先确定级联分类器每一级的最低检测率和最高误检率的参数值，然后根据确定的参数值对目标整体以及目标各个部件训练生成级联分类器；

步骤S3：采用半监督的训练方式，由手工标注方式确定目标的位置，而目标各个部件的位置由训练目标整体boost级联分类器过程中所挑选出的区分能力较强的若干弱分类器所在模块的位置确定；

所述半监督训练方式的步骤如下：

步骤31：在训练生成目标整体级联分类器后，利用此级联分类器挑选出若干最具有区分能力的弱分类器所在的模块，这些模块所在的位置形成了目标各个部件的初始位置；

步骤32：训练目标各个部件的级联分类器，然后利用训练出的目标各个部件的级联分类器重新检测定位出目标各个部件新的位置，再根据目标各个部件新的位置重新训练目标各个部件的级联分类器；

步骤33：重复此过程六次后得到最终目标各个部件的级联分类器；

步骤S4：根据获得的目标整体和目标各个部件的位置，采用星型结构训练目标整体以及目标各个部件之间的空间关系模型；

步骤S5：用boost级联分类器分别检测目标整体和目标各个部件，得到目标整体以及目标各个部件检测代价图，然后利用距离变换以及目标各个部件之间的相对位置关系实现目标的检测与识别定位。

2.根据权利要求1所述的基于部件结构模型的目标检测与识别方法，其特征是，所述提取特征的步骤是，分别建立每个梯度方向的积分图像，通过积分图像得到在原图像中每个模块内各个方向的梯度特征，然后对每个模块内梯度方向直方图特征进行归一化处理。

3.根据权利要求1所述的基于部件结构模型的目标检测与识别方法，其特征是，所述目标各个部件内的不同模块大小由8*8像素连续增加至48*48像素，像素增加量分别为4、6和8，所述模块长宽比例分别为1∶1、1∶2和2∶1。

4.根据权利要求1所述的基于部件结构模型的目标检测与识别方法，其特征是，所述目标是以目标整体为中心，目标各个部件相对于目标整体的位置关系采用高斯模型。

5.根据权利要求1所述的基于部件结构模型的目标检测与识别方法，其特征是，在检测过程中采用距离变换的方式并结合空间关系模型最终定位目标以及目标的各个部件。

Images