CN105574527B - 一种基于局部特征学习的快速物体检测方法 - Google Patents

Abstract

一种基于局部特征学习的快速物体检测方法，在测试阶段采用窗口遍历测试样本进行分类从而检测出物体的位置以及类别。由于需要遍历，因此传统物体检测方法的计算代价较大。本发明提出一种基于局部特征学习快速的物体检测方法：在训练阶段，以范例支撑向量机为学习框架，利用线性支撑向量机训练范例模板。在检测阶段，首先利用快速物体粗检测，提取出可能存在物体的区域，再利用训练得到的范例模板进行物体细检测。本发明方法不仅可以有效提高物体检测准确率，而且能够有效提高物体检测的速度。

Description

一种基于局部特征学习的快速物体检测方法

技术领域

本发明属于模式识别中的目标检测领域，以范例支撑向量机为学习框架，在快速物体粗检测的基础上，采用线性支撑向量机训练范例模板并优化局部特征。由于对待检测图像采用了粗检测处理，故本发明能够有效减少物体检测的搜索空间，在有效提高物体检测准确率的同时加快了物体检测的速度。

背景技术

近年来，服务机器人技术的研究取得了很大进展，各种类型的服务机器人已在家政、娱乐、安保等多个领域实现了功能丰富的应用。物体的操作与搬运是服务机器人最重要的基本功能之一，支撑起了复杂环境中机器人的各类高级应用。而一个功能完善的物体操作过程的实现离不开实时、准确的物体检测。为了准确地执行手臂规划和抓取操作，服务机器人的视觉感知系统不仅需要识别出目标物体，还需要提供目标物体及其附近障碍物的准确空间位置信息。而环境的复杂性，如光照变化、局部遮挡、旋转变化等因素的存在，导致物体检测任务具有很高的难度。

研究表明，人类所感知的外界信息80％都是由视觉获取。计算机视觉就是用成像系统代替人类视觉器官作为输入敏感手段，并由计算机来代替大脑完成处理和解释。在研究计算机视觉的众多问题中，物体检测是其核心的问题之一。即使图像中的物体的存在形状、视角、尺寸等变化，甚至存在局部遮挡，人类也可以毫不费力地识别图像中的众多物体。然而，要准确检测和识别图像中的物体，对机器人而言则是个极具挑战的任务。

目前，传统的物体检测大多是用训练样本中标记好的含有物体的图像块进行分类器训练，测试时，采用窗口遍历测试样本进行分类从而检测出物体的位置以及类别。由于这种方法在测试时需要遍历，因此，非常消耗计算资源。而从生物视觉系统的角度，人类在观察一幅场景中的物体时，无需像计算机一样遍历整幅图像，就能够快速直接锁定可能存在物体的图像区域。本发明旨在提出一种基于局部特征学习的快速物体检测方法：在训练阶段，以范例-支撑向量机^[1]为学习框架，利用线性支撑向量机训练范例模板。在检测阶段，首先利用快速物体粗检测提取出可能存在物体的区域(近似物体区域)，然后利用训练得到的范例模板在近似物体区域进行物体细检测，并利用物体形状的先验知识对检测结果进行优化，可以有效提高物体检测准确率，并加快物体检测的速度。

参考文献：

[1]Malisiewicz T，Gupta A，Efros A A.Ensemble of exemplar-svms forobject detection and beyond[C].In proc.of 2011IEEE International Conferenceon ComputerVision(ICCV2011)，:89-96.

[2]Cheng M M,Zhang Z,Lin W Y,et al.BING:Binarized normed gradientsfor objectness estimation at 300fps[C].In Proc.ofIEEE CVPR(2014).

[3]Felzenszwalb P F，Girshick R B，McAllester D，et al.Object detectionwith discriminatively trained part-based models[J].IEEE Transactions onPattern Analysis and Machine Intelligence，2010，32(9):1627-1645.

发明内容

由于基于范例模版的物体检测方法，是用传统的滑动窗口扫描技术，算法较为耗时，不能快速的完成物体检测任务。针对上述问题，本发明提出利用快速物体粗检测的思想，提取出可能存在物体的图像区域，在此基础上，利用线性支撑向量机训练范例模板，最终实现物体的快速检测。由于粗检测阶段能够快速检测可能存在物体的区域，同时过滤掉非物体区域，因此能够有效提高检测速度的同时，提高物体检测的精度。本发明是采用以下技术手段实现的：

一种基于局部特征学习的快速物体检测方法，其特征在于包括如下步骤：步骤1：训练范例模板步骤1.1：训练集图像的获取

利用安装在移动机器人平台上的摄像机，采集物体图像，并根据训练集中的标签信息确定需要训练的物体模版的正样本集P以及负样本集N，其中含有特定物体的样本称为正样本，反之称为负样本。训练集中的每一个正样本都需要单独与全部的负样本一起训练。

步骤1.2：模板训练

对每个正样本和全部的负样本，利用支撑向量机进行训练，得到每个正样本相对应的范例模板。其中SVM的优化函数为：

其中，C₁,C₂为惩罚项，h(x)为损失函数，ω表示使分类间隔最大的划分直线的法向量，ω^T表示ω的转置运算，b表示偏移量，x_E表示某个正样本，x表示负样本，N表示负样本集，当||ω||²取得最小值时，Ω_E(ω,b)即表示最佳分类面。

步骤1.3：模板标定

由于不同的SVM分类器的得分不能直接进行比较，需要对不同的SVM分类器进行标定：使用拟合的sigmoid函数将分类器输出统一到[0,1]，即可得到对应的概率。Sigmoid映射函数如下：

其中，α_E,β_E是sigmoid函数的参数，通过最大似然估计得到。

步骤2：物体的粗检测

步骤2.1：物体模板ω_EX的建立

步骤2.1.1：在低像素的条件下，虽然不容易分清图像中具体包含的物体，但是人们却容易分辨出是否含有物体。基于这种思想，将训练数据集中的图像缩放成36种不同的尺寸的图像，构成图像集合{(W₀,H₀)}，其中W₀,H₀∈{10,20,40,80,160,320}，利用下式表示：

l＝(i,x,y)

其中l表示含有物体的窗口，i是表示图像的大小，(x,y)表示位置。

步骤2.1.2：计算图像的梯度范数(NormedGradients，NG)特征，即图像中某区域的梯度范数值。如在一个8*8区域内，可以根据梯度算子计算得到一个64维的梯度范数特征。具体计算方法是：利用一个一维梯度算子[-1,0,1]来计算图像中水平和垂直方向上的梯度g_x和g_y,并通过计算min{|g_x|+|g_y|,255}得到图像的梯度范数特征。这样计算的优势在于将这一特征归一化到[0,255]之间，进而可以转换为8位二进制数，便于后面的二值化处理。

步骤2.1.3：利用线性支持向量机训练物体模板ω_EX：以已标注物体的窗口的梯度范数特征作为正样本，随机抽取背景窗口的梯度范数特征作为负样本，利用线性SVM训练得到物体模板ω_EX。依据公式(3)，并利用ω_EX和在36种尺寸图像上滑动扫描得到每个窗口的得分：

s_l＝<ω_EX,g_l> (3)

其中g_l是每个窗口的梯度范数特征。

步骤2.1.4：利用窗口大小、匹配得分以及最终窗口是否含有目标三者之间的关系进行建模，利用公式(4)计算得到最终匹配的得分，并在每种窗口尺寸大小选择M个得分最高的作为目标输出：

O_l＝v_i·s_l+t_i (4)

上式中的v_i，t_i为线性模型的参数，t_i为误差项。这两个参数可用线性支持向量机学习得到。即用36种不同尺寸图像中在位置l处的二值化梯度范数与模板匹配得分作为训练样本，利用线性支持向量机的方法训练得到v_i，t_i。

步骤2.2：物体模板ω_EX的二值化为了进一步加速运算，利用公式(5)对ω进行二值化：

其中，α_j表示基向量，β_j表示相应的系数，N_ω为基向量的个数。

进一步将每个α_j表示成：其中，则一个二进制的向量b满足下式:

由于一个十进制数可以由其二进制数的最高几位来近似，则二值化64维的梯度范数特征可以近似表示为：

其中N_g为十进制数所对应的二进制数高位个数，k表示二进制的位数，b_k,l表示位置l处位数k对应的二进制向量。

由公式(5)、(6)和(7)得到位置l处的二值化梯度范数与模板匹配得分最终可表示为：

其中，为简化起见，用C_j,k表示。

步骤2.3物体的粗检测利用步骤2.1训练得到的物体模板ω_EX，在36种不同尺寸下的测试图像滑动扫描并计算每个窗口存在物体可能性的得分，然后排序，将得分靠前的区域坐标作为物体粗检测的结果。

步骤2.4优化粗检测结果物体粗检测得到的结果中往往含有较多冗余项，需要对粗检测结果进行优化，以去除冗余：

1)根据真实物体外观形状的先验知识，在粗检测结果中滤掉尺寸较小的近似物体区域和细长的近似物体区域；

2)计算剩余近似物体区域内像素点的梯度，并设定阈值，将梯度值较小的区域剔除，进一步缩小物体检测范围；

3)对剩余近似物体区域图像块进行聚类，计算聚类中心几何坐标，并以本聚类近似物体区域的最外侧作为边界，确定可能存在物体的显著区域。

步骤3；基于范例模版的物体检测

步骤3.1：基于HOG特征滑动窗口的物体检测以步骤2检测得到的可能存在物体区域(近似物体区域)作为范例模板物体检测器的输入，采用固定大小的滑动窗口的方法，提取每个滑动窗口的HOG特征，并根据步骤1训练得到的模板，计算输入图像区域的得分。定义权值a，表示区域内像素点到聚类中心点平均距离的倒数。将每个输入图像区域的得分乘以权值a作积，作为该区域的最终得分。

步骤3.2：基于共生矩阵互信息的优化由于滑动窗口搜索是一种过搜索策略，会导致冗余检测区域，一般的对策是采用非极大值抑制。非极大值抑制是一种贪心算法，即先将所有的候选目标区域依据其得分从大到小排序，然后，依次选择得分最高的区域保留下来，同时将重合面积的候选目标区域删掉。

本发明同样利用非极大值抑制，但是不同点在于：没有直接使用范例分类器的得分，而是先综合各个范例模板的得分以及互信息之后得到新的得分，再进行非极大值抑制。具体的实现方式是：对于某类物体的范例模板e_i，由于另一个与其存在互信息的范例模板e_j对于同一片区域R_i的检测影响，因此对于e_i检测到的区域R_i其新的得分可以通过下式得到：

其中，f_j(R_i)＝[f₁,f₂,...,f_N]，f_j为范例模板e_i与范例模板e_j的互信息特征，m_ei表示同时检测正确的概率，表示m_ei的转置运算。m_ei(i＝1,2,...,N)可以通过直接统计训练集得到。M＝[m_e1,m_e2,...,m_eN]是一个N*N矩阵，即为共生矩阵，它表示不同的范例模板如e_i和e_j检测到共同区域的可能程度，是通过直接统计训练集得到的。本发明与现有技术相比，具有以下的优势和有益效果：

本发明提出利用快速物体粗检测的思想，提取出可能存在物体的图像区域，在此基础上，利用线性支撑向量机训练范例模板，最终实现物体的快速检测。由于粗检测阶段能够快速检测可能存在物体的区域，同时过滤掉非物体区域，因此能够有效提高检测速度的同时，提高物体检测精度。

附图说明

图1物体检测总流程图；

图2范例模板训练示意图；

图3物体粗检测流程图；

图4滑动窗口检测流程图；

具体实施方式

为了使本领域的人员能够更好的理解和使用本发明，下面将结合附图和具体实验案例对本发明的技术方案进行进一步描述：

1.首先训练范例模板。利用安装在移动机器人平台上的摄像机来采集物体图像，准备图片训练集，选取图片，根据图片提供的标签信息，包括每张图片包含何种物体以及各个物体所在的位置的包围盒坐标，根据训练集中的标签信息确定需要训练的物体模型的正样本集以及负样本集，其中含有特定物体的样本称为正样本，反之称为负样本；训练集中的每一个正样本都需要单独与全部的负样本一起训练，整个范例模板训练过程如说明书附图2所示。

2.利用支撑向量机对每个正样本和全部的负样本进行训练，从而得到每个正样本相对应的范例模板。其中SVM的优化函数为：

其中，C₁,C₂为惩罚项，损失函数为h(x)。由于本发明的训练过程只有一个正样本，正样本和负样本数目极不平衡，因此需要C₁＞C₂，我们取C₁＝0.5,C₂＝0.01。

3.进行模板标定。由于不同的SVM分类器的得分不能直接进行比较，需要对不同的SVM分类器进行标定：使用拟合的sigmoid函数将分类器输出统一到[0,1]，即可得到对应的概率。

4.在低像素的条件下，虽然不容易分清图像中具体包含的物体，但是人们却容易分辨出是否含有物体。基于这种思想，首先对图像进行物体粗检测，详细流程如说明书附图3所示。将训练数据集中的图像缩放成36种不同的尺寸的图像，构成图像集合{(W₀,H₀)}，其中W₀,H₀∈{10,20,40,80,160,320}，利用l＝(i,x,y)表示，其中l表示含有物体的窗口，i表示图像的大小，(x,y)表示位置。

5.计算图像的梯度范数特征，即图像中某区域的梯度范数值。利用一个一维梯度算子[-1,0,1]来计算图像中水平和垂直方向上的梯度g_x和g_y,并通过计算min{|g_x|+|g_y|,255}得到图像的梯度范数特征。

6.利用线性支持向量机训练物体模版ω_EX：以已标注物体的窗口的梯度范数特征作为正样本，随机抽取背景窗口的梯度范数特征作为负样本，利用线性SVM训练得到物体模板ω_EX。跟据公式s_l＝<ω_EX,g_l>，并利用ω_EX和在36种尺寸图像上滑动扫描得到每个窗口的得分。

7.利用窗口大小、匹配得分以及最终窗口是否含有目标三者之间的关系进行建模，利用公式O_l＝v_i·s_l+t_i计算得到最终匹配的得分，并在每种窗口尺寸大小选择M个得分最高的作为目标输出。为了进一步加速运算，对ω_EX进行二值化，并更新模板匹配得分公式。

8.利用步骤4-7训练得到的物体模板ω_EX，在36种不同尺寸下的测试图像滑动扫描并计算每个窗口存在物体可能性的得分，然后排序，将得分靠前的区域坐标作为物体粗检测的结果。

9.对粗检测结果进行优化，以去除物体粗检测得到的结果中含有的冗余项：首先根据真实物体外观形状的先验知识，在粗检测结果中滤掉尺寸较小的近似物体区域和细长的近似物体区域；然后计算剩余近似物体区域内像素点的梯度，并设定阈值，将梯度值较小的区域剔除，进一步缩小物体检测范围；最后对剩余近似物体区域图像块进行聚类，计算聚类中心几何坐标，并以本聚类近似物体区域的最外侧作为边界，确定可能存在物体的显著区域。

10.以步骤4-9检测得到的可能存在物体区域(近似物体区域)作为范例模板物体检测器的输入，采用固定大小的滑动窗口的方法，提取每个滑动窗口的HOG特征，并根据步骤1-3训练得到的模板，计算输入图像区域的得分。

11.由于滑动窗口搜索是一种过搜索策略，会导致冗余检测区域。本发明先综合各个范例模板的得分以及互信息之后得到新的得分，再进行非极大值抑制。具体的实现方式是：对于某类物体的范例模板e_i，由于另一个与其存在互信息的范例模板e_j对于同一片区域R_i的检测影响，因此对于e_i检测到的区域R_i其新的得分可以通过公式得到，其中f_j(R_i)＝[f₁,f₂,...f_j...,f_N]，f_j为范例模板e_i与范例模板e_j的互信息特征，m_ei表示同时检测正确的概率，可以通过直接统计训练集得到。

最后应说明的是：以上示例仅用于说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于局部特征学习的快速物体检测方法，其特征在于：该方法包括如下步骤，

步骤1：训练范例模板

步骤1.1：训练集图像的获取

利用安装在移动机器人平台上的摄像机，采集物体图像，并根据训练集中的标签信息确定需要训练的物体模版的正样本集P以及负样本集N，其中含有特定物体的样本称为正样本，反之称为负样本，训练集中的每一个正样本都需要单独与全部的负样本一起训练，

步骤1.2：模板训练

对每个正样本和全部的负样本，利用支持向量机进行训练，得到每个正样本相对应的范例模板，其中支持向量机的优化函数为：

其中，C₁,C₂为惩罚项，h(x)为损失函数，ω表示使分类间隔最大的划分直线的法向量，ω^T表示ω的转置运算，b表示偏移量，x_E表示某个正样本，x表示负样本，N表示负样本集，当||ω||²取得最小值时，Ω_E(ω,b)即表示最佳分类面，

步骤1.3：模板标定

由于不同的支持向量机分类器的得分不能直接进行比较，需要对不同的支持向量机分类器进行标定：使用拟合的sigmoid函数将分类器输出统一到[0,1]，即可得到对应的概率，Sigmoid映射函数如下：

其中，α_E,β_E是sigmoid函数的参数，通过最大似然估计得到；

步骤2：物体的粗检测

步骤2.1：物体模板ω_EX的建立

步骤2.1.1：在低像素的条件下，虽然不容易分清图像中具体包含的物体，但是人们却容易分辨出是否含有物体，基于这种思想，将训练数据集中的图像缩放成36种不同的尺寸的图像，构成图像集合{(W₀,H₀)}，其中W₀,H₀∈{10,20,40,80,160,320}，利用下式表示：

l＝(i,x,y)

其中l表示含有物体的窗口，i是表示图像的大小，(x,y)表示位置，

步骤2.1.2：计算图像的梯度范数(Normed Gradients，NG)特征，即图像中某区域的梯度范数值，在一个8*8区域内，可以根据梯度算子计算得到一个64维的梯度范数特征，具体计算方法是：利用一个一维梯度算子[-1,0,1]来计算图像中水平和垂直方向上的梯度g_x和g_y,并通过计算min{|g_x|+|g_y|,255}得到图像的梯度范数特征，这样计算的优势在于可以将这一特征归一化到[0,255]之间，进而可以转换为8位二进制数，便于后面的二值化处理，

步骤2.1.3：利用线性支持向量机训练物体模板ω_EX：以已标注物体的窗口的梯度范数特征作为正样本，随机抽取背景窗口的梯度范数特征作为负样本，利用线性支持向量机训练得到物体模板ω_EX，依据公式(3)，并利用ω_EX和在36种尺寸图像上滑动扫描得到每个窗口的得分：

s_l＝<ω_EX,g_l> (3)

其中g_l是每个窗口的梯度范数特征，

步骤2.1.4：利用窗口大小、匹配得分以及最终窗口是否含有目标三者之间的关系进行建模，利用公式(4)计算得到最终匹配的得分，并在每种窗口尺寸大小选择M个得分最高的作为目标输出：

O_l＝v_i·s_l+t_i (4)

上式中的v_i，t_i为线性模型的参数，t_i为误差项，这两个参数可用线性支持向量机学习得到，即用36种不同尺寸图像中在位置l处的二值化梯度范数与模板匹配得分作为训练样本，利用线性支持向量机的方法训练得到v_i，t_i，

步骤2.2：物体模板ω_EX的二值化

为了进一步加速运算，利用公式(5)对ω_EX进行二值化：

其中，α_j表示基向量，β_j表示相应的系数，N_ω为基向量的个数，

进一步将每个α_j表示成：其中，

则一个二进制的向量b满足下式：

由于一个十进制数可以由其二进制数的最高几位来近似，则二值化64维的梯度范数特征近似表示为：

其中N_g为十进制数所对应的二进制数高位个数，k表示二进制的位数，b_k,l表示位置l处位数k对应的二进制向量；

由公式(5)、(6)和(7)得到位置l处的二值化梯度范数与模板匹配得分最终可表示为：

其中，为简化起见，用C_j,k表示，

步骤2.3物体的粗检测

利用步骤2.1训练得到的物体模板ω_EX，在36种不同尺寸下的测试图像滑动扫描并计算每个窗口存在物体可能性的得分，然后排序，将得分靠前的区域坐标作为物体粗检测的结果，

步骤2.4优化粗检测结果

物体粗检测得到的结果中往往含有较多冗余项，需要对粗检测结果进行优化，以去除冗余：

1)根据真实物体外观形状的先验知识，在粗检测结果中滤掉尺寸较小的近似物体区域和细长的近似物体区域；

2)计算剩余近似物体区域内像素点的梯度，并设定阈值，将梯度值较小的区域剔除，进一步缩小物体检测范围；

3)对剩余近似物体区域图像块进行聚类，计算聚类中心几何坐标，并以本聚类近似物体区域的最外侧作为边界，确定可能存在物体的显著区域，

步骤3；基于范例模版的物体检测

步骤3.1：基于HOG特征滑动窗口的物体检测

以步骤2检测得到的可能存在物体区域作为范例模板物体检测器的输入，采用固定大小的滑动窗口的方法，提取每个滑动窗口的HOG特征，并根据步骤1训练得到的模板，计算输入图像区域的得分，定义权值a，表示区域内像素点到聚类中心点平均距离的倒数，将每个输入图像区域的得分乘以权值a作积，作为该区域的最终得分，步骤3.2：基于共生矩阵互信息的优化

由于滑动窗口搜索是一种过搜索策略，会导致冗余检测区域，一般的对策是采用非极大值抑制，非极大值抑制是一种贪心算法，即先将所有的候选目标区域依据其得分从大到小排序，然后，依次选择得分最高的区域保留下来，同时将重合面积的候选目标区域删掉，

本方法同样利用非极大值抑制，但是不同点在于：没有直接使用范例分类器的得分，而是先综合各个范例模板的得分以及互信息之后得到新的得分，再进行非极大值抑制，具体的实现方式是：对于某类物体的范例模板e_i，由于另一个与其存在互信息的范例模板e_j对于同一片区域R_i的检测影响，因此对于e_i检测到的区域R_i其新的得分可以通过下式得到：

其中，f_j(R_i)＝[f₁,f₂,...f_j...,f_N]，f_j为范例模板e_i与范例模板e_j的互信息特征，m_ei表示同时检测正确的概率，表示m_ei的转置运算，m_ei通过直接统计训练集得到，i＝1,2,...,N，M＝[m_e1,m_e2,...,m_eN]是一个N*N矩阵，即为共生矩阵，它表示不同的范例模板如e_i和e_j检测到共同区域的可能程度，是通过直接统计训练集得到的。