CN105225226B - 一种基于图像分割的级联可变形部件模型目标检测方法 - Google Patents

Abstract

本发明公开了一种基于图像分割的级联可变形部件模型目标检测方法，属于图像检测领域。本发明以级联可变形部件检测方法为基础，在目标检测阶段提取物体的HOG特征，并通过计算构建像素梯度的查询表以快速获取HOG特征向量，减少特征提取时间。并基于分水岭图像分割方法对图像进行处理，计算权值构建掩膜以分离HOG特征的前景和背景，从而降低图像背景对目标检测的影响，提高检测准确率。然后利用训练阶段得到的模板与图像金字塔进行卷积，并在匹配过程中对目标假设进行裁剪，计算相应得分响应最终检测出目标。本发明在保证检测速度的情况下提高了传统方法的检测准确率。

Description

一种基于图像分割的级联可变形部件模型目标检测方法

技术领域

本发明属于目标检测技术领域，根据模型的不同，可以对不同目标类型进行检测。

背景技术

目标检测一直是计算机视觉领域一个重要的研究课题。在对目标进行检测过程中，检测的准确度和速度是两个衡量检测性能的重要指标。在对目标对象进行检测时的主要的挑战在于目标在外观，轮廓上的差异。行人这种非刚体目标经常在着装、姿势上有很大的差别。而汽车等刚体目标则具有不同的颜色或形状。所以在对不同的目标进行检测和识别时需要采用不同的检测模型和检测方法。在目标检测过程中还存在客观因素的影响，例如光照变化，目标遮挡等复杂检测环境。

现有的目标检测方法主要可以分为两类：一类是以帧差法、背景减除法为代表的利用相邻图像帧间信息获得检测目标的经典检测方法；第二类是基于目标特征的目标检测方法，这种方法提取目标的颜色，纹理等特征用以描述目标，然后利用机器学习方法对这些特征进行训练形成分类器，利用分类器匹配图像实现目标检测。针对不同种类目标的检测问题，目前许多检测器的都采用HOG特征，比如Dalal-Triggs的行人检测器以及目前比较流行的可变形部件模型检测方法。总之，特征提取是基于特征的目标检测方法的基础，特征描述将直接影响检测性能。

可变形部件模型目标检测方法采用的是基于滑动窗口的检测方式，检测过程中利用可变形部件模型遍历图像中所有位置进行模型匹配，然后通过计算相应得分以确定目标位置。传统的可变形部件模型在提取图像特征时，没有对原图像进行预处理而直接提取HOG特征，图像的背景易对目标图像的检测造成干扰。而且在提取HOG特征时需要计算每个像素点的梯度，特征提取耗费比较长的时间。

发明内容：

基于上述技术问题，本发明提供了一种基于图像分割的级联可变形部件模型目标检测方法。本发明的目的在于提供一种能够提高目标检测的准确率，同时又具有较高检测速度的目标检测方法。

本发明提出的方法，主要包括以下步骤：

步骤1：可变形部件模型训练

根据训练样本是否含有特定目标物体以及物体位置，训练出对应目标对象的模型。该模型包括描述目标整体特征的根模型、描述局部特征的部件模型以及部件模型与根模型的弹性约束关系；训练好的模型表示为(P,P₁,P₂,...P_n)，分别表示根模型P和n个部件模型P_i。其中P_i＝(F_i,d_i,v_i,s_i)，其中F_i是模型的特征，d_i是度量部件位置时的系数，v_i表示部件模型相对于根模型的位置，s_i表示部件的尺度。

步骤1.1：根据训练样本提供的标签信息确定训练模型所需的正样本集和负样本集。

标签信息是训练样本中用限定框标记的物体所在的区域以及物体种类。正样本是含有目标对象的图片，反之则为负样本。

步骤1.2：初始化根模型。

根据正样本集中的限定框的大小信息，选择根模型的尺寸，通过SVM训练得到一个初始根模型。

步骤1.3：更新根模型。

用初始根模型在样本数据中进行扫描并计算卷积得分，找出得分最大且和样本中标记的位置覆盖面积最大的位置，以此位置来更新训练样本中的限定框标记。使用经过重新标记的正样本和负样本重新组成新的样本库，更新根模型。

步骤1.4：初始化部件模型。

在根位置上用贪婪算法计算出得分最大的区域，将此区域作为部件模型的位置。

步骤1.5：使用不断更新的样本库训练更新模型。得到标准的可变形部件模型。

步骤2：基于图像分割的级联可变形部件模型目标检测；

将步骤1得到的标准的可变形部件模型转换为级联可变形部件模型，然后利用级联模型在经过前景和背景分割的图像HOG特征上进行扫描匹配，并通过裁剪策略对目标假设进行提前裁剪，过滤不满足条件的目标假设，最终根据模型的不同，实现不同种类目标的检测。

步骤2.1：基于查询表的图像HOG特征提取。

将待检测图像进行灰度化，采用Gamma校正法对灰度化之后的图像进行归一化，调节图像对比度，降低光照变化、噪声造成的干扰。计算获取三个查询表，分别存储对比度敏感方向通道索引，对比度不敏感方向通道索引以及水平和垂直方向梯度的组合。将图像划分为一个个小的cell(胞元)，在计算每个像素点的梯度大小和方向时，通过查找查询表快速统计每个胞元的梯度直方图，形成该胞元的特征向量。将胞元组成block，串联胞元的特征向量组成block的特征向量；将图像中所有block的特征向量串联起来形成图像的HOG特征。

步骤2.2：构建图像特征金字塔。

提取不同分辨率下图像的HOG特征，构成图像特征金字塔。在进行特征提取时采用特征金字塔的形式，获取不同分辨率下的图像特征，在进行模型匹配时在图像不同分辨率下进行，实现全面准确得匹配。

步骤2.3：基于图像分割的HOG特征前景背景分割。

对原始图像进行形态学开闭运算消除图像噪声引起的局部极值。然后通过分水岭变换方法将图像分割为一个个小的区域。然后再利用归一化积相关灰度匹配算法度量每个区域之间的相似性。通过图形的形态模板将相邻的各个区域进行合并，形成前景区域，将图像的前景和背景进行分离。并利用区域之间的相似度构建图像的掩膜，计算权值，并将该权值与图像HOG特征进行结合，将图像的HOG特征的前景和背景进行分离。权值计算公式为

其中i的变化范围为部件模型中block的个数，f[i]表示block之间相似度，α表示预先设定的分割系数。

得到权重值之后，将HOG特征和权值结合构建图像掩膜，分离图像的前景和背景。经过分割后的HOG特征表示为：

H^seg[i]＝[H[i],M[i]·H[i],M[i]]

其中H[i]表示原始的HOG特征。

步骤2.4：获得级联可变形模型。

利用PCA技术对步骤1得到的可变形部件模型进行降维，获得简化模型，以减少进行模型匹配时计算卷积得分的计算量。最后简化模型和原始模型一起构成级联模型。

步骤2.5：计算模型匹配过程中对目标假设进行裁剪所用到的裁剪阈值。

采用样本图像，并用PAA方法训练得到裁剪阈值，根据裁剪阈值确定相应目标假设是否被裁剪。

步骤2.6：模型匹配。

将获得的级联模型在分割好的图像HOG特征金字塔上进行扫描并求卷积得分，得分公式为：

其中ω表示的是部件模型在图像中实际所处的位置和尺度。m_i(ω)表示将部件p_i置于ω时的得分。a_i(ω)表示部件p_i在可变形部件模型中所处的标准位置。d_i(δ)表示部件p_i相对其在模型标准位置的形变代价。一个目标假设的得分为各个模型置于ω时所得分数减去各部件因位移产生的形变代价即为在该位置的匹配得分。在计算部件得分时，还需要遍历形变空间查找部件最优形变位置，其过程表示为：

在相应目标假设位置计算根模型得分和部件得分。通过比较目标假设位置ω的得分和全局阈值T，确定该目标假设位置是否存在目标。全局阈值T的取值范围为[0,1]。利用之前计算得到的裁剪阈值，按阶段对目标假设位置进行裁剪，即提前排除不满足阈值条件的假设位置，不用完整计算所有部件得分和形变花费。最终获得满足阈值条件的所有目标假设集。

所述裁剪为假设裁剪或形变裁剪。假设裁剪是指如果在ω位置的前i个部件的累积得分小于阈值t_i，那么直接裁剪该目标假设位置，不用继续估算该位置剩余的部件得分。形变裁剪是指在计算某个部件的得分时，对形变空间δ进行搜索，如果前i个部件的得分减去该形变空间的形变花费d_i(δ_i)小于阈值t′_i，那么直接跳过δ，不用继续计算该形变空间。阈值t_i，t′_i表示为：

t_i＝minx_i,t′_i＝minx′_i

其中

步骤2.7：限定框预测。

在获得目标假设位置之后，需要标示目标在图片中的位置，也即标定目标的限定框位置。根据目标假设中根模型和部件模型的位置，对限定框坐标位置进行预测。

步骤2.8：非极大值抑制获取最终检测结果。

通过限定框预测之后获取一组预测的检测结果，通过非极大值抑制去除重复的预测结果，得到最终的检测结果。

综上所述，本发明具有以下技术效果：本发明在目标特征提取通过提前计算查询表，通过索引查询表快速计算HOG特征向量，提高了传统的HOG特征提取的速度。本发明通过分水岭图像分割方法，计算权值并构建掩膜，将HOG特征的前景和背景进行分离，有效降低了背景图像的影响，从而提高了检测准确度。即，本发明方法在保证检测速度的情况下，降低了传统级联可变形部件模型在复杂环境下的漏检率。

附图说明：

图1基于查询表的HOG特征提取过程；

图2可变形部件模型训练过程；

图3基于图像分割的HOG特征前景背景分割过程；

图4假设裁剪过程；

图5基于图像分割的级联可变形部件模型目标检测过程。

具体实施方式

下面我们结合本发明实施例中的附图，对本发明的方法流程进行详细完整地描述。

1.将训练数据集中的正样本数据中按照限定框的长宽比进行排序，并将限定框具有相似长宽比的图片分为一组。一共分为m组。将限定框的长宽比作为衡量同类目标的形态变化的指标。针对每种目标类别，使用标准的SVM进行训练得到m个初始的根模型。计算根模型的HOG特征。

2.利用初始根模型和样本图像进行匹配，计算卷积得分，并选取与原标记限定框覆盖面积最大的位置作为新的样本标记位置，更新正样本数据。通过训练新的正样本和负样本来更新根模型。

3.设置模型的部件数量为8个，形状为矩形。利用贪心算法从根模型中选出正权重的范数最大的子窗口，将该位置作为部件的位置。子窗口是根据根模型的面积大小获得的，子窗口面积为s，使得8s等于根模型面积的80％。子窗口的权重表示该区域的特征向量。之后将该位置权重范数置零，并重新迭代地寻找权重范数最大的位置直至查找完8个部件位置。

4.对于训练数据集中每个正样本矩形框，在保证至少50％重叠的情况下用当前检测器在所有可能位置和尺度进行扫描检测，从中选出得分最高的位置作为此矩形框对应的正样本，放入样本缓冲区中。在不包含目标对象的图片中选择检测得分高的位置作为负样本，不断向样本缓冲区中添加负样本。利用SVM在缓冲区中的正负样本上训练新的模型，所有样本都有部件位置标注。按照以上方法迭代更新模型十次之后，所有的模型参数也已通过训练获得，模型训练过程如图1所示。

5.基于查询表快速提取图像HOG特征。灰度化待检测图像并利用Gamma压缩公式对灰度图像进行归一化。预先计算获取三种查询表，分别存储对比度敏感方向通道索引，对比度不敏感方向通道索引以及水平和垂直方向梯度可能的组合。通过索引这三种查询表快速获取相应HOG特征。然后将图像分为若干个大小为6×6像素的cell，通过索引之前构建的查询表快速统计9个对比度不敏感方向和18个对比对敏感方向的梯度直方图，最终构成对应cell的31维特征向量。将相邻的3×3个cell组成空间上连通的块block，将block中所有的cell的特征向量串联起来构成block的HOG特征，最后统计图像中所有块的HOG特征向量，构成图像的HOG特征向量。基于查询表的HOG特征提取流程如图2所示。

6.根据模型训练中HOG图像block的大小对原图像进行采样，然后按照HOG特征的分辨率以金字塔形状排列每个矩形区域的HOG特征，构成特征金字塔，金字塔的底部是高分辨率的原始图像的特征，而顶部是低分辨率的特征，当向金字塔的上层移动时，尺寸和分辨率就降低。

7.对待检测的原始图像进行预处理，利用形态学开闭运算消除图像噪声引起的局部极值。在对图像进行滤波处理之后的图像进行分水岭变换，将图像分割为一个个小的区域。然后利用归一化积相关灰度匹配算法度量每个区域之间的相似性。通过图形的形态模板的指导将相邻区域的各个区域进行合并，形成前景区域，将图像的前景和背景进行分离。并利用区域之间的相似度构建图像的掩膜，设置分割系数α为0.3，计算权值，并将权值与图像HOG特征进行结合，将图像的HOG特征的前景和背景进行分离。HOG前景背景分割过程如图3所示。

8.利用样本数据得到的PCA系数矩阵，将标准模型中的根模型和部件模型进行降维。读取在生成PCA系数矩阵是获得的统计信息，分别对原模型的各个部件和经过降维之后的简化模型的各个部件进行排序。将排序后的模型重新构成级联模型。PCA系数矩阵生成过程包括：将原始正样本图像转换为RGB图像；然后将RGB图像缩放为原图像大小的1/4，1/2，3/4，分别提取三种分辨率图像的HOG特征向量，并将特征向量转置之后与自身相乘；将所有位置与自身相乘之后得到的向量累加并求均值，对三幅不同分辨率的图像进行以上相同的操作最终将三幅图像的特征向量累加求和；对这个累加求和之后的向量在协方差矩阵上进行奇异值分解，最终形成PCA系数矩阵。

9.在获得级联模型之后，在计算卷积得分的过程中通过两个裁剪条件来评估部件模型，提前裁剪不满足阈值条件的目标假设，有效避免在每个目标假设位置都计算所有的部件模型的得分，以减少计算量。所以裁剪阈值的设定至关重要。在评估分数时有两种需要裁剪的情况。第一种情况是如果前i个部件模型在ω位置处的得分小于预先设定的阈值t_i，那么就可以直接裁剪目标假设位置ω，不用继续计算剩下的部件得分，因为即使加上剩下的部件得分，最终的总得分也不能满足总的阈值条件T。第二种情况是形变空间裁剪。在计算最优得分过程中，需要在形变空间查找部件最优形变位置以使得部件得分最优。如果前i个部件的累计得分减去第i个部件的形变代价仍小于预先设置的阈值t′_i，那么可以直接跳过该形变位置，因为该形变位置的形变代价过大，不可能使得总得分超过全局阈值T。

本发明中全局阈值T设定为0.5。通过和可以分别训练得到各阶段的裁剪阈值，其中

10.得到裁剪阈值和级联模型之后，将级联模型在经过背景前景分割后的图像HOG特征金字塔上进行扫描匹配，分别计算根模型和部件模型的得分以及部件模型的形变代价，并在得分计算过程通过采用变量s存储累积得分，变量p存储各个阶段的得分，通过阈值条件判断是否需要裁剪假设或者形变位置。其裁剪流程如图4所示。

11.在获得目标假设集之后，通过目标假设的根模型和部件模型的位置预测目标的限定框位置。模型位置信息由根模型的宽度和每个模型的左上角坐标表示。通过线性最小平均算法得到限定框的左上角和右下角的坐标，这样就构成了限定框。结合根模型和部件模型预测得到的限定框能更精准得标定坐标位置。

12.非极大值抑制获取最终检测结果。通过限定框预测之后获取一组检测结果，每个检测结果由一个限定框和一个分值组成。选择分值最大的检测结果，并删除与这些检测结果重叠面积大于50％的检测结果，从而得到最终的目标检测结果。

Claims (2)

1.一种基于图像分割的级联可变形部件模型目标检测方法，包括以下步骤：

步骤1：可变形部件模型训练

根据训练样本是否含有特定目标物体以及物体位置，训练出对应目标对象的模型；该模型包括描述目标整体特征的根模型、描述局部特征的部件模型和部件模型与根模型的弹性约束关系；训练好的模型表示为(P,P₁,P₂,...P_n)，分别表示根模型P和n个部件模型P_i，其中P_i＝(F_i,d_i,v_i,s_i)，其中F_i是模型的特征，d_i是度量部件位置时的系数，v_i表示部件模型相对于根模型的位置，s_i表示部件的尺度；

步骤1.1：根据训练样本提供的标签信息确定训练模型所需的正样本集和负样本集；标签信息是训练样本中用限定框标记的物体所在的区域以及物体种类；正样本是含有目标对象的图片，反之则为负样本；

步骤1.2：初始化根模型

根据正样本集中的限定框的大小信息，选择根模型的尺寸，通过SVM训练得到一个初始根模型；

步骤1.3：更新根模型

用初始根模型在样本数据中进行扫描并计算卷积得分，找出得分最大且和样本中标记的位置覆盖面积最大的位置，以此位置来更新训练样本中的限定框标记，使用经过重新标记的正样本和负样本重新组成新的样本库，更新根模型；

步骤1.4：初始化部件模型

在根位置上用贪婪算法计算出得分最大的区域，将此区域作为部件模型的位置；

步骤1.5：使用不断更新的样本库训练更新模型，得到标准的可变形部件模型；

步骤2：基于图像分割的级联可变形部件模型目标检测

将步骤1得到的标准的可变形部件模型转换为级联可变形部件模型，然后利用级联模型在经过前景和背景分割的图像HOG特征上进行扫描匹配，并通过裁剪策略对目标假设进行提前裁剪，过滤不满足条件的目标假设，最终根据模型的不同，实现不同种类目标的检测；

步骤2.1：基于查询表的图像HOG特征提取

将待检测图像进行灰度化，采用Gamma校正法对灰度化之后的图像进行归一化，调节图像对比度，降低光照变化、噪声造成的干扰；计算获取三个查询表，分别存储对比度敏感方向通道索引，对比度不敏感方向通道索引以及水平和垂直方向梯度的组合；将图像划分为一个个小的cell即胞元，在计算每个像素点的梯度大小和方向时，通过查找查询表快速统计每个胞元的梯度直方图，形成该胞元的特征向量；将胞元组成block，串联胞元的特征向量组成block的特征向量；将图像中所有block的特征向量串联起来形成图像的HOG特征；

步骤2.2：构建图像特征金字塔

提取不同分辨率下图像的HOG特征，构成图像特征金字塔；在进行特征提取时采用特征金字塔的形式，获取不同分辨率下的图像特征，在进行模型匹配时在图像不同分辨率下进行，实现全面准确得匹配；

步骤2.3：基于图像分割的HOG特征前景背景分割

对原始图像进行形态学开闭运算消除图像噪声引起的局部极值，然后通过分水岭变换方法将图像分割为一个个小的区域；然后再利用归一化积相关灰度匹配算法度量每个区域之间的相似性，通过图形的形态模板将相邻的各个区域进行合并，形成前景区域，并将图像的前景和背景进行分离；再利用区域之间的相似度构建图像的掩膜，计算权值，并将该权值与图像HOG特征进行结合，将图像的HOG特征的前景和背景进行分离；权值计算公式为

其中i的变化范围为部件模型中block的个数，f[i]表示block之间相似度，α表示预先设定的分割系数；

得到权重值之后，将HOG特征和权值结合构建图像掩膜，分离图像的前景和背景；经过分割后的HOG特征表示为：

H^seg[i]＝[H[i],M[i]·H[i],M[i]]

其中H[i]表示原始的HOG特征；

步骤2.4：获得级联可变形模型

利用PCA技术对步骤1得到的可变形部件模型进行降维，获得简化模型，以减少进行模型匹配时计算卷积得分的计算量，最后简化模型和原始模型一起构成级联模型；

步骤2.5：计算模型匹配过程中对目标假设进行裁剪所用到的裁剪阈值

采用样本图像，并用PAA方法训练得到裁剪阈值，根据裁剪阈值确定相应目标假设是否被裁剪；

步骤2.6：模型匹配

将获得的级联模型在分割好的图像HOG特征金字塔上进行扫描并求卷积得分，得分公式为：

其中ω表示的是部件模型在图像中实际所处的位置和尺度，m_i(ω)表示将部件p_i置于ω时的得分，a_i(ω)表示部件p_i在可变形部件模型中所处的标准位置，d_i(δ)表示部件p_i相对其在模型标准位置的形变代价，一个目标假设的得分为各个模型置于ω时所得分数减去各部件因位移产生的形变代价即为在该位置的匹配得分，在计算部件得分时，还需要遍历形变空间查找部件最优形变位置，其过程表示为：

在相应目标假设位置计算根模型得分和部件得分，通过比较目标假设位置ω的得分和全局阈值T，确定该目标假设位置是否存在目标，全局阈值T的取值范围为[0,1]；利用之前计算得到的裁剪阈值，按阶段对目标假设位置进行裁剪，即提前排除不满足阈值条件的假设位置， 不用完整计算所有部件得分和形变花费，最终获得满足阈值条件的所有目标假设集；

步骤2.7：限定框预测

在获得目标假设位置之后，需要标示目标在图片中的位置，即标定目标的限定框位置，根据目标假设中根模型和部件模型的位置，对限定框坐标位置进行预测；

步骤2.8：非极大值抑制获取最终检测结果

通过限定框预测之后获取一组预测的检测结果，通过非极大值抑制去除重复的预测结果，得到最终的检测结果。

2.如权利要求1所述基于图像分割的级联可变形部件模型目标检测方法，其特征在于：所述步骤2.6中裁剪为假设裁剪或形变裁剪：假设裁剪是指如果在ω位置的前i个部件的累积得分小于阈值t_i，那么直接裁剪该目标假设位置，不用继续估算该位置剩余的部件得分；形变裁剪是指在计算某个部件的得分时，对形变空间δ进行搜索，如果前i个部件的得分减去该形变空间的形变花费d_i(δ_i)小于阈值t_i′，那么直接跳过δ，不用继续计算该形变空间；

阈值t_i，t_i′表示为：

t_i＝minx_i,t_i′＝minx_i′

其中x_i′＝x_i-d_i(δ_i)。