CN106803102B - 一种基于svr模型的自适应区域池化物体检测方法 - Google Patents

Abstract

本发明公开了一种基于SVR模型的自适应区域池化物体检测方法，该基于SVR模型的自适应区域池化物体检测方法适用于分割区域，区域粗匹配机制能有效选择和测试对象，能自动发现不同的样本和区域，能够适应物体的区域结构变化，再利用区域池化法提取特征解析区域结构，最后，分类数据采用了非极大值抑制法来得到检测结果，对非刚性目标（例如奶牛，羊等）上具有很好的效果，与其他同类方法相比，提出的方法对物体检测的性能明显提升，其中平均召回率达到了90.8%，加入CNN特征，性能提升幅度更大。

Description

一种基于SVR模型的自适应区域池化物体检测方法

技术领域

本发明属于多媒体技术领域，尤其涉及一种基于SVR模型的自适应区域池化物体检测方法。

背景技术

受到块、特征以及成像条件如视觉、噪音等影响，物体的表现形式会发生较大变化，视觉效果时好时坏，这对物体检测带来了很大的挑战。由于物体检测在安防、战场侦查、农林业具有广泛的应用，因此设计优秀的物体检测方法对具有重要意义和商业价值。

为了处理这些变化，一般的解决方法是通过物体形状和大小等信息，并减少噪音带来的影响。一般情况下，相似的视觉区域能够展现出更加相似的形状、大小及结构。通过观察这些图，可以进一步将区域结构和特征提取联系起来。自动检测到的物体图像块为大量视觉任务提供了必要特征。但是，这些算法大多采用了矩形框来塑造图像块，这并不适用于非刚性物体。在现有技术中针对光照变化和遮挡等问题，提出利用随机图像选取与自适应背景更新的运动物体检测方法，跟踪变换矩阵对背景进行自适应迭代更新，然而，该方法比较适合低速运动场景，且预处理比较麻烦，处理速度慢；现有技术中还有采用空中预警机三维图像物体检测方法，将检测过程中的干扰当成一种噪声因素，根据因式分解的相关理论建立三维视觉模型，通过非线性滤波窗口构成的序列对三维视觉模型进行过滤处理；还有采用金字塔池化法来呈现物体特征，但这种表示方式忽略了区域之间的重要几何信息。

发明内容

为了解决现有技术中存在的不足，本发明提供了一种基于支持向量回归(SVR)模型的自适应区域池化物体检测方法，该方法以不同样本为基础，对区域结构信息进行处理。

本发明的技术方案如下：一种基于SVR模型的自适应区域池化物体检测方法，该检测方法包括以下步骤：

步骤一：选择有代表性的实例；

步骤二：采用区域粗匹配的方法对实例进行训练，获得与实例相似的训练数据集，

对象掩模掩模M^e是P^e块的总区域，根据该区域的外观和大小计算M^e之间的相似性和目标区域R，

即：

式中，z^e和z^r是特征矢量，|M^e|和|R|分别表示对象掩模和目标区域的尺寸；

步骤三：对步骤二中获取的训练数据集进行自适应区域特征池化，获取训练数据集块的SIFT特征，

1)将实例分割成L块：

2)将实例中块的尺寸调整至与目标区域的边界框尺寸一样，使得目标区域R被分成像P^e一样的结构来获取，即

3)在以P^r作为

基础上进行池化，其中，

是第i块的特征矢量，而每一对

和

均针对的是相同的块；

步骤四：对步骤三中进行特征池化后的训练集中引入SVR模型，其定义如下：

满足于：

O(y_i,y)-＜w,x_i＞-b≤ε+ξ_i (2)

式中，x_i为由区域池化法提取的区域特征矢量，O(y_i,y)为由真实值y的边界框和yi区域之间的重复率计算获得的回归数，其中，O(yi,y)的重复率是使用真实值边界框

和实例区域R^I的最大重复来计算的，即：

步骤五：采用了非极大值抑制法来得到检测结果。

优选的，该检测方法还可以在边界中输入CNN模型来获取取训练数据集块的特征，并将这些块特征联结成一个特征矢量，然后将特征矢量值引入SVR模型。

本发明达到的有益效果是：该基于SVR模型的自适应区域池化物体检测方法适用于分割区域，区域粗匹配机制能有效选择和测试对象，能自动发现不同的样本和区域，能够适应物体的区域结构变化，再利用区域池化法提取特征解析区域结构，最后，分类数据采用了非极大值抑制法来得到检测结果，对非刚性目标(例如奶牛，羊等)上具有很好的效果，与其他同类方法相比，提出的方法对物体检测的性能明显提升，其中平均召回率达到了90.8％，加入CNN特征，性能提升幅度更大。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明中特征池化流程示意图；

图2是本发明中线性SVR模型的主要流程示意图。

具体实施方式

以下结合附图和具体实施方式对本发明作进一步的详细描述：

实施例1：

如图1和图2所示，一种基于SVR模型的自适应区域池化物体检测方法，该检测方法包括以下步骤：

步骤一：选择有代表性的实例；

研究以多实例为基础的模型之一就是将训练数据分群，然后将群里的实例作为活跃实例。然而，训练实例的不同外观会导致聚类结果不尽人意，因为相似度低的实例很容易被主导群所吸收。

本发明提出了寻找一套与其相似区域的实例，为了达到这个目的，先采取谱聚类法，该方法利用了标本之间的成对相似性，再采用金字塔池化法，将SIFT柱状图的两层数据作为外观特征，用特征之间的内部构成拉普拉斯矩阵，选择该矩阵中k个最小特征向量，并用K-均值算法将所有的实例分成不同的群组，参数k是用启发式算法选择获得，其目的是在分类好的特征值中找到最大特征值，所有群中与群中心相离最近的实例会被选为最具代表性的实例。

实例的选择产生了一套有代表性的实例。在训练阶段，使用子集中的每一个实例来探索相似区域，并将其作为训练实例。因此，提出一种特征池化法以区域为基础的实例模型解释图像块信息。对于每一个在训练集中发现的有代表性的实例，在以分类为基础的物体边界区域内发现图像块。与传统图像块定义为一套矩形区域的方法不同，本发明提出的方法能够正确地发现非刚性区域，采用了以下几种能够确定某个分段是否是目标块的方法：

1)移除与真实值边界外和像素点相连的区域，以减少噪音的影响；

2)以偏向大块的重叠临界点为基础，移除层次结构中相互重叠的区域；

3)由于缺乏识别信息，移除覆盖面积须小于100个像素点区域。

在运用上述原则，选出来的物体块至多是区域里最大的，且图像块可以是非刚性区域，覆盖住其他块，其中心图像是由各块组成的目标图像。通常物体的表面有弹性，因为块之间会相互重叠的部分。此外，根据从分割算法中得到的物体结构，每一个实例的块数是不同的。

用区域粗匹配的方法对实例进行训练，获得与实例相似的训练数据集，对象掩模M^e是P^e块的总区域，根据该区域的外观和大小计算M^e之间的相似性和目标区域R，即：

式中，z^e和z^r是特征矢量，|M^e|和|R|分别表示对象掩模和目标区域的尺寸；

本发明采取了一种区域匹配策略来训练和测试实例。对于每一个z，采用SIFT柱状图中的整体池化法来描述外观相似处。公式(1)中的第一项表示实例特征和区域之间的内积，第二项表示区域体积之间的相似性是介于0和1之间，这一项能确保选择出有相似尺寸的区域。必须把两项都考虑进去，这是因为区域对于不同尺寸非常敏感。如果只考虑特征，则与实例不相似，例如一个大的背景区域可能与小的目标区域有着很多相似特征。

本发明在训练和测试阶段采用相同的区域粗匹配机制来确保实例的一致。在训练阶段，区域粗匹配能够选出与某个实例相似的例子，并能够辨别线性模型。且在测试阶段，它消除了一个大的负数集。

步骤三：对步骤二中获取的训练数据集进行自适应区域特征池化，获取训练数据集块的SIFT特征，

1)将实例分割成L块：

2)将实例中块的尺寸调整至与目标区域的边界框尺寸一样，

3)在以P^r作为

基础上进行池化，其中，

是第i块的特征矢量，而每一对

和

均针对的是相同的块；

根据先前步骤中的实例块数定义特征池化，旨在将实例到目标区域中有意义的分段匹配起来。考虑到有块的实例，本发明将区域结构的大小调整到与目标区域一样的尺寸，将调整好的区域运用到目标区域来进行池化。

步骤四：对步骤三中进行特征池化后的训练集中引入SVR模型，其定义如下：

满足于：

O(y_i,y)-＜w,x_i＞-b≤ε+ξ_i (2)

式中，x_i为由区域池化法提取的区域特征矢量，O(y_i,y)为由真实值y的边界框和yi区域之间的重复率计算获得的回归数，其中，O(yi,y)的重复率是使用真实值边界框

和实例区域R^I的最大重复来计算的，即：

对于原始模型，本实施例采用了区域粗匹配中正图像的前N个实例，其重复率介于0到1之间。为了定义该模型，通过加入回归数高于0.3的实例进行一个负迭代，这些负实例的重复率被设置为0，对模型进行再训练。由于模型是用重复率训练获得，不同模型的评分之间是相互兼容的。因此，需要校准二级分类器来整合评分的支持向量机(Support VectorMachine，SVM)模型，且本发明中模型的输出不需要逻辑函数来调整。此外，当使用SVM模型时，判断实例的正负尤为关键。而在本发明的方法中，由于使用重复率来测量实例区域的质量，减少了选择实例时可能出现的歧义性误差。

同样，在测试阶段，研究了区域粗匹配机制图像中的前N个候选图像，并用区域池化法获得特征矢量。在回归模型对所有实例区域评分之后，运用了边界框中的非极大值抑制得到了最终的探测结果。首先，边界框根据回归数进行分类，在发现最大评分数的同时移除在先前选择的边界框中重复率超过30％的区域。

步骤五：采用了非极大值抑制法来得到检测结果。

本实施例所用的数据集是PASCAL VOC 2007数据集，包含很多动物和汽车等物体图像数据。通过快速选择法从目标块中得到了实例区域(一般每个图像大约有2000个实例区域)，并用Matlab的特征提取工具箱提取SIFT描述符，使用SIFT第七层输出来处理提取的CNN特征。测试阶段所用的硬件平台是3.4GHz Core i7 CPU的台式电脑，提取CNN特征只需1到3秒(具体由块数决定)，一个模型的图像数之间间隔0.55秒。

表1给出了每种算法集中获得的平均精确测试法结果。本实施采用两层网格从金字塔池化中提取了SIFT特征(33个较低级的和一个整体)，得到了81920个特征矢量。为了公平比较，本实施用自适应区域池化处理了每个实例的最多L＝10块，导致SIFT柱状图由8191变化到81920。由表1可知提出的池化法比SPM法更具有优势。这是因为这些物体有更好的分段展现特点，有很强的区域结构来解密目标的块信息。这也表明，如果其他类别有好的分段，自适应区域池化法能得到明显增强。本实施也将此法与几个以实例为基础的方法进行比较，使用不同特征的两种方法都表现出了比ESVM和LDA模型更加平均的MAP值。尽管LDA模型在某些类别中表现得很好，但是其MAP值最低。

表1：每种类别在PASCAL VOC 2007测试集(部分)中的MAP值

	ESVM	LDA	SPM法	区域池化法
					奶牛	20.4	18.7	34.5	31.2
轿车	12.5	11.4	27.1	29.4
					自行车	10.3	10.2	20.1	24.7
巴士	7.9	7.6	15.2	15.9
					羊	6.4	5.9	12.7	13.4
均值	11.5	10.8	21.9	22.9

此外，本实施例的方法在非刚性目标(例如奶牛，羊等)上也具有很好效果。这些结果表明区域池化法能够通过利用块信息处理可解构的目标，检测物体清晰可见，非常明确。

实施例2：该检测方法还可以在边界中输入CNN模型来获取取训练数据集块的特征，并将这些块特征联结成一个特征矢量，然后将特征矢量值引入SVR模型。

本实施例只替换了在区域池化阶段的特征，让其他所有步骤与表1实验的步骤保持一致。这里没有池化所有块的SIFT特征，而是使用每块的边界框输入CNN模型中来获取特征。随后将这些块特征联结成一个特征矢量，各方面的比较结果如表2所示。

表2：每种类别在PASCAL VOC 2007测试集(部分)中的MAP值

	ESVM	LDA	SPM法	区域池化法
					奶牛	22.7	21.5	40.9	37.5
轿车	14.1	13.8	32.9	35.4
					自行车	12.7	12.5	24.7	29.1
巴士	8.9	9.7	19.8	20.4
					羊	8.4	8.1	20.7	22.6
均值	13.4	13.1	27.8	29

由表2可以看出，有了CNN特征，DPM的MAP值提升不到10％，而本实施例的方法提升了超过了20％。通过实例进行目标转化，该方法也能够为检测目标提供相似的实例转化。此外，由于每一个实例都被分成了块，对象掩模和块信息都能够被转化。另外，本实施例选择最高分数的模型实例测试图像，这样该实例就能够以最相似的块信息包含进检测物体中，自适应区域池化同样用于调整块掩模的尺寸及目标区域中。

综上，本发明提出了一种基于SVR模型的自适应区域池化物体检测方法，以多个实例为基础，自适应区域池化法提取了物体的结构特征，便于处理大的对象变动，此外本方法还能够灵活地使用CNN等特征来获取较好的检测结果。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于SVR模型的自适应区域池化物体检测方法，其特征在于，该检测方法包括以下步骤：

步骤一：选择有代表性的实例；

步骤二：采用区域粗匹配的方法对实例进行训练，获得与实例相似的训练数据集，

对象掩模M^e是P^e块的总区域，根据该区域的外观和大小计算M^e之间的相似性和目标区域R，即：

式中，z^e和z^r是特征矢量，|M^e|和|R|分别表示对象掩模和目标区域的尺寸；

步骤三：对步骤二中获取的训练数据集进行自适应区域特征池化，获取训练数据集块的SIFT特征，

将实例分割成L块：

将实例中块的尺寸调整至与目标区域的边界框尺寸一样，使得目标区域R被分成像P^e一样的结构来获取，即

在以P^r作为

基础上进行池化，其中，

是第i块的特征矢量，而每一对

和

均针对的是相同的块；

步骤四：对步骤三中进行特征池化后的训练集中引入SVR模型，其定义如下：

满足于：

式中，x_i为由区域池化法提取的区域特征矢量，O(y_i,y)为由真实值y的边界框和y_i区域之间的重复率计算获得的回归数，其中，O(y_i,y)的重复率是使用真实值边界框

和实例区域R′的最大重复来计算的，即：

步骤五：采用了非极大值抑制法来得到检测结果。

2.根据权利要求1所述的一种基于SVR模型的自适应区域池化物体检测方法，其特征在于，该检测方法还可以在边界中输入CNN模型来获取训练数据集块的特征，并将这些块特征联结成一个特征矢量，然后将特征矢量值引入SVR模型。

Images