CN106203450A - 基于深度学习框架对图像进行特征提取的目标检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习框架对图像进行特征提取的目标检测方法，其技术特点是：基于MCG算法对图像进行预处理，提取出可能存在的目标位置的图像块；基于MTSE算法优化已提取出来的图像块；将得到的图像块利用超像素优化的方法迭代调整到caffe框架输入要求的大小；利用caffe深度学习框架对图像块进行特征提取，其中模型的配置利用R‑CNN算法完成；对得到的特征利用SVM算法进行分类，得到最终结果。本发明设计合理，通过对图像进行预处理减少了特征的计算量，然后利用caffe深度学习框架提取图像的深度特征，能更好地表示物体，并用SVM分类算法对特征进行分类，获得了良好的检测结果。

Description

基于深度学习框架对图像进行特征提取的目标检测方法

技术领域

本发明属于目标检测技术领域，尤其是一种基于深度学习框架对图像进行特征提取的目标检测方法。

背景技术

视觉是人类与周围世界交互所依赖的重要的感官形式。在人类大脑中处理信息有超过80％的部分来自于视觉信息，从而保证我们能够在日常生活中智能感知世界并做出适当的行为，尤其是在移动智能设备快速发展的今天，越来越多的图像传感器分布在我们周围，被我们自己所使用。人类视觉系统可从复杂的环境中检测到目标物体并对其定位，这是人类视觉的基本功能。计算机的目标检测与识别，旨在利用机器针对特定的目标进行检测与定位，是进行目标搜索和跟踪的基础。目标检测与识别在计算机视觉中具有重要的研究地位，并受到国内外研究者的广泛关注。随着计算机视觉技术及硬件技术的发展，基于机器视觉的产品己有较多应用，如军事、航空航天等，特别在较为危险的环境，如矿井、火灾、火山中，其应用较为突出。Andrew Ng也提到图像和语音是未来发展的新的方向。因此，目标检测与识别是图像分析和理解的基础，深入研究目标检测与识别算法，在学术界和工业界都有着非常重要的意义。然而，对于机器而言，目标检测和识别还存在较大的问题，如识别的准确度、实时性都有待于提高。

目标检测算法可以分为两类基于滑动窗日模型的目标检测和基于广义霍夫变换的目标检测。滑动窗口模型就是通过使用训练好的模板，在输入图像上滑动获得最大的响应，比较简单有效。而广义霍夫变换则是通过霍夫投票在对应的霍夫图像上进行权值累加，通过计算局部极值得到目标物体的位置。Darmstadt在2005年PASCAL竞赛中物体检测类任务采用了广义霍夫变换，先对物体进行兴趣点检测，建立兴趣点直方图，提取物体的将征向量，通过广义霍夫投票来推测物体尺度与位置。Dalai和Triggs提出了Hog模型，并在滑动窗口检测的框架下，使用线性分类器进行分类，并获得了好的效果。但是Dalai的模型是一个全局刚性的模型，需要对整个物体进行全局匹配，对物体形变不能很好的匹配。Hog特征是物体检测领域的使用最广泛的特征之一。2007年Pedro Felzenszwalb等人提出了形变部件模型，并获得了当年的PASCAL物体检测的冠军。形变部件模型由一个根模型和若干个可形变部件组成，并且在支持向量机中引入隐变量，底层使用了Hog特征。形变部件模型的提出，在物体检测领域具有里程碑式的意义，当今，物体检测的基本框架大都是基于形变部件模型。Hinton教授在2012年Imagenet竞赛上首次使用了深度卷积神经网络，获得了前所未有的成功，其方法主要是通过构造多层卷积网络，采用半监督学习的方法，机器自动学习特征，并进行分类。Hinton教授的成功，吸引了国内外大量学者的关注。同时，工业界加入深度学习的研究中来。百度、google、facebook纷纷建立深度学习实验室，通过深度学习，进行图像识别与分类。但是，虽然深度学习获得了如此大的成功，但是训练时间花销大、需要数据量多、没有理论支撑等问题依然没有解决。近年来，为了提高物体检测的速度，有关候选物体建议的方法先后被提出并应用到物体检测中来。R.Girshick使用selective search的候选物体框作为物体识别的图片在PASCAL VOC种取得了最好的效果，并具有较快的执行速度。国内的中科院自动化研究所模式识别实验室在物体检测方面同样取的了非常大的成功。中科院自动化研究所在2010年和2011年获得了FPASCAL VOC物体检测的冠军，其基本都是基于形变部件模型的基础上，在滑动窗口框架下，引入上下文学习，取得了当时最好的效果。但是特征提取的计算量大、前期处理优化的问题还没有得到解决。

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、准确度高且计算简便的基于深度学习框架对图像进行特征提取的目标检测方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于深度学习框架对图像进行特征提取的目标检测方法，包括以下步骤：

步骤1、基于MCG算法对图像进行预处理，提取出可能存在的目标位置的图像块；

步骤2、基于MTSE算法优化已提取出来的图像块；

步骤3、将得到的图像块利用超像素优化的方法迭代调整到caffe框架输入要求的大小；

步骤4、利用caffe深度学习框架对步骤3得到的图像块进行特征提取，其中模型的配置利用R-CNN算法完成；对得到的特征利用SVM算法进行分类，得到最终结果。

所述步骤1包括以下处理步骤：

(1)通过边缘检测算法得到图像的边缘图，进一步得到图像的轮廓图，通过对轮廓图进行一系列处理得到UCM图；

(2)利用UCM图获取图像的超像素点，任意两个相邻的区域之间均有一个不相似度值；

(3)对得到的区域进行合并，将N个叶子节点两两合并，最终得到N-1个非叶子节点，构造了一颗完全二叉树，二叉树的根部是整个图像区域，叶子节点就是一开始得到的超像素点；

(4)通过上述步骤得到结果集合，提取每个图像块2D基本特征，用这些特征组成向量来表示该图像块，然后训练随机森林回归器来对这些图像块排名，得到最终结果。

所述步骤2包括以下处理步骤：

(1)将得到的图像块利用超像素扩张的方法与目标物体边缘对准，使得图像块包含超像素点的一个子集；

(2)定义与超像素相似度比较的参数该参数表示在图像块b的超像素区域像素点个数|s∩b|占超像素区域s的比重，给定图像块b，通过SD(s，b)参数值来扩大图像块；

(3)定义参数S_δ(b)为S_in(b)∪{s∈S_θ|SD(s，b)≥δ}，通过计算包含S_δ(b)最小的图像块得到新的图像块b；

(4)组合不同的δ值，得到最终的图像块集合。

所述步骤3包括以下处理步骤：

(1)利用超像素点能够保存图像边缘的特性，对图像块进行对准预处理；

(2)给定图像块b，计算图像的超像素点S_θ，并按下式计算参数S_in和S_st的值：

S_in＝{s∈S_θ|SD(s，b)＝1}，

S_st＝{s∈S_θ|0＜SD(s，b)＜1}

(3)令b(S)表示包含超像素集合的最小图像块，O(b_i，b_j)表示图像块b_i和b_j的相交区域，通过相交区域对集合S_st排序，使得其元素满足：

$O\left(b\right(S_{in}\&cup;\left\{s_i\right\}),b)\&GreaterEqual;O\left(b\right(S_{in}\&cup;\left\{s_j\right\}),b),Vi<j$

(4)通过迭代地在图像块b(S_in)上增加超像素点，使得图像块与原图像块不断接近，从而使得图像边缘更好地得到利用，最终得到图像块集合；

(5)将图像块切割成caffe框架要求的输入大小。

所述步骤4包括以下处理步骤：

(1)利用R-CNN框架的caffe模型参数，对步骤3得到的图像块进行处理，得到特征矩阵；

(2)将数据库中的给定的理想情况图像块作为正样本，与正样本的相交区域少于50％的作为负样本，利用SVM分类器和得到的特征对图像进行分类，得到最终的目标检测器。

本发明的优点和积极效果是：

本发明利用深度学习框架caffe进行特征提取，得到图像块的深度特征，能更好地表示物体，提高目标检测的准确性；同时，为了减少特征提取的计算量，使其更加高效，首先对图像进行预处理，代替R-CNN框架的selective search算法，使用更加高效的MCG算法，得到的图像块的回归率和准确度都有所提升，并使用MTSE算法解决定位偏差的问题，进一步提高图像块包含目标物体的概率；为了将得到的图像块作为caffe模型的输入，要将其大小变成固定的，意味着对图像块进行裁剪，为了使得图像块中目标物体的边缘不受到破坏，利用超像素能更好地保存物体边缘的特性，对图像块进行超像素对准处理，提高准确度；将图像块输入到R-CNN算法的深度学习模型中进行特征提取，得到了优于R-CNN算法的结果。

附图说明

图1是对PASCAL VOC数据库中的部分图片进行处理得到结果图；

图2是采用不同算法所获得的图像块准确度的对比图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于深度学习框架对图像进行特征提取的目标检测方法，包括以下步骤：

步骤1、采用基于MCG算法将图像进行预处理，提取出可能存在的目标位置的图像块。具体包括以下步骤：

(1)通过边缘检测算法得到图像的边缘图，进一步得到图像的轮廓图，通过对轮廓图进行一系列处理得到UCM图。

(2)利用UCM图，获取图像的超像素点，也就是一个个连通域，任意两个相邻的区域之间都有一个不相似度值。

(3)对上述步骤得到的区域进行合并，将N个叶子节点两两合并，最终得到N-1个非叶子节点，这样就构造了一颗完全二叉树，二叉树的根部是整个图像区域，叶子节点就是一开始得到的超像素点。这样一张UCM图可以得到一个分层分割结果。

(4)通过上述步骤得到结果集合，提取每个图像块的面积、周长、边界强度等2D基本特征，用这些特征组成向量来表示该图像块，然后训练随机森林回归器来对这些图像块排名，得到最终结果。

本步骤可以降低后面提取图像块特征的计算量。

步骤2、利用MTSE算法优化步骤1提取出来的图像块。具体包含以下步骤：

(1)将上面得到的图像块利用超像素扩张的方法与目标物体边缘对准，使得图像块包含超像素点的一个子集。

(2)定义与超像素相似度比较的参数该参数表示在图像块b的超像素区域像素点个数|s∩b|占超像素区域s的比重。给定图像块b，通过SD(s，b)参数值来扩大图像块。

(3)定义参数S_δ(b)为S_in(b)∪{s∈S_θ|SD(s，b)≥δ}，通过计算包含S_δ(b)最小的图像块得到新的图像块b。

(4)组合不同的δ值，得到最终的图像块集合。

本步骤可以减少图像块的数量，使定位更加准确，进一步为特征提取做准备。

步骤3、将得到的图像块利用超像素优化的方法迭代调整到caffe框架输入要求的大小。具体包含以下步骤：

(1)为了让图像切割的过程中使得图像块更大程度上保留目标物体的边缘，并满足caffe深度学习框架对输入大小的要求，利用超像素点能够保存图像边缘的特性，对图像块进行对准预处理。

(2)对给定图像块b，计算图像的超像素点S_θ，计算参数S_in和S_st的值，其中：

S_in＝{s∈S_θ|SD(s，b)＝1}，

S_st＝{s∈S_θ|0＜SD(s，b)＜1}

(3)令b(s)表示包含超像素集合的最小图像块，O(b_i，b_j)表示图像块b_i和b_j的相交区域，通过相交区域对集合S_st排序，使得其元素满足：

$O\left(b\right(S_{in}\&cup;\left\{s_i\right\}),b)\&GreaterEqual;O\left(b\right(S_{in}\&cup;\left\{s_j\right\}),b),Vi<j$

(4)通过迭代地在图像块b(S_in)上增加超像素点，使得图像块与原图像块不断接近，从而使得图像边缘更好地得到利用，最终得到图像块集合。

(5)将图像块切割成caffe框架要求的输入大小。

步骤4、利用caffe深度学习框架对上述步骤得到的图像块进行特征提取，其中模型的配置利用R-CNN算法的配置过程完成；对得到的特征利用SVM算法进行分类，得到最终结果。具体方法为：

(1)利用R-CNN框架的caffe模型参数，处理上述步骤得到的图像块，得到特征矩阵。

(2)将数据库中的给定的理想情况图像块作为正样本，与正样本的相交区域少于50％的作为负样本，利用SVM分类器和得到的特征对图像进行分类，得到最终的目标检测器。

下面按照本发明的方法进行实验，说明本发明的实验效果。

测试环境：MATLAB 2013b

测试序列：如图1所示，所选测试序列和其对应标准目标检测结果图(GroundTruth)来自PASCAL VOC数据库(M.Everingham，L.Van Gool，C.K.Williams，J.Winn，andA.Zisserman，“The pascal visual object classes(voc)challenge，”Internationaljournal of computer vision，vol.88，no.2，pp.303–338，2007.)其中包含的图例有20个类别，分别为人类；动物(鸟、猫、牛、狗、马、羊)；交通工具(飞机、自行车、船、公共汽车、小轿车、摩托车、火车)；室内(瓶子、椅子、餐桌、盆栽植物、沙发、电视)。都是一些日常中最常见的物体，为的就是能更好的体现算法的实用性，共包含9963张图片，有24，640个被标记的目标物体。

测试指标：使用了两种评价指标，分别为f_ideal和mAP，其中f_ideal＝IoU(y_i，y)，其中y_i是图像x_i的理想目标检测结果，此参数是为了评判对图像的前期处理得到的图像块的准确度，使用PASCAL VOC 2007 test数据库中的图片，得到前期处理的不同算法的参数值，证明本文算法的优越性；mAP是目标检测结果的平均准确度测量，与理想目标检测结果进行比较并对数据库中所有物体类别进行加权平均计算，对不同算法计算此参数值，证明本文算法在目标检测领域得到较好的结果。

测试结果如下：

表1、R-CNN方法、SDFV方法以及本发明的平均测试结果

方法	mAP
		R-CNN	58.5
SDFV	40.5
		本专利	61.9

上述SDFV方法是指：R.G.Cinbis，J.Verbeek，and C.Schmid，“Segmentationdriven object detection with fisher vectors，”in Computer Vision(ICCV)，2013IEEE International Conference on.IEEE，2013，pp.2968–2975。

通过表1给出的PASCAL VOC中所有图像类别测试的平均结果，可以看出本发明在mAP上相比其他方法有明显提高，这说明本发明所产生的目标检测结果拥有更高的准确度。

另外，采用不同算法所获得的ROC曲线如图2所示，本发明计算获得的曲线相比其他算法的曲线更靠近左上，说明本发明的图像块获取方法比其他算法有更高的回归率和准确度，能更好地解决物体定位的偏差问题。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种基于深度学习框架对图像进行特征提取的目标检测方法，其特征在于包括以下步骤：

步骤1、基于MCG算法对图像进行预处理，提取出可能存在的目标位置的图像块；

步骤2、基于MTSE算法优化已提取出来的图像块；

步骤3、将得到的图像块利用超像素优化的方法迭代调整到caffe框架输入要求的大小；

步骤4、利用caffe深度学习框架对步骤3得到的图像块进行特征提取，其中模型的配置利用R-CNN算法完成；对得到的特征利用SVM算法进行分类，得到最终结果。

2.根据权利要求1所述的基于深度学习框架对图像进行特征提取的目标检测方法，其特征在于：所述步骤1包括以下处理步骤：

(1)通过边缘检测算法得到图像的边缘图，进一步得到图像的轮廓图，通过对轮廓图进行一系列处理得到UCM图；

(2)利用UCM图获取图像的超像素点，任意两个相邻的区域之间均有一个不相似度值；

(3)对得到的区域进行合并，将N个叶子节点两两合并，最终得到N-1个非叶子节点，构造了一颗完全二叉树，二叉树的根部是整个图像区域，叶子节点就是一开始得到的超像素点；

(4)通过上述步骤得到结果集合，提取每个图像块2D基本特征，用这些特征组成向量来表示该图像块，然后训练随机森林回归器来对这些图像块排名，得到最终结果。

3.根据权利要求1所述的基于深度学习框架对图像进行特征提取的目标检测方法，其特征在于：所述步骤2包括以下处理步骤：

(1)将得到的图像块利用超像素扩张的方法与目标物体边缘对准，使得图像块包含超像素点的一个子集；

(2)定义与超像素相似度比较的参数该参数表示在图像块b的超像素区域像素点个数|s∩b|占超像素区域s的比重，给定图像块b，通过SD(s，b)参数值来扩大图像块；

(3)定义参数S_δ(b)为S_in(b)∪{s∈S_θ|SD(s，b)≥δ}，通过计算包含S_δ(b)最小的图像块得到新的图像块b；

(4)组合不同的δ值，得到最终的图像块集合。

4.根据权利要求1所述的基于深度学习框架对图像进行特征提取的目标检测方法，其特征在于：所述步骤3包括以下处理步骤：

(1)利用超像素点能够保存图像边缘的特性，对图像块进行对准预处理；

(2)给定图像块b，计算图像的超像素点S_θ，并按下式计算参数S_in和S_st的值：

S_in＝{s∈S_θ|SD(s，b)＝1}，

S_st＝{s∈S_θ|0＜SD(s，b)＜1}

(3)令b(S)表示包含超像素集合的最小图像块，O(b_i，b_j)表示图像块b_i和b_j的相交区域，通过相交区域对集合S_st排序，使得其元素满足：

$O\left(b\right(S_{in}\&cup;\left\{s_i\right\}),b)\&GreaterEqual;O\left(b\right(S_{in}\&cup;\left\{s_j\right\}),b),\&ForAll;i<j$

(4)通过迭代地在图像块b(S_in)上增加超像素点，使得图像块与原图像块不断接近，从而使得图像边缘更好地得到利用，最终得到图像块集合；

(5)将图像块切割成caffe框架要求的输入大小。

5.根据权利要求1所述的基于深度学习框架对图像进行特征提取的目标检测方法，其特征在于：所述步骤4包括以下处理步骤：

(1)利用R-CNN框架的caffe模型参数，对步骤3得到的图像块进行处理，得到特征矩阵；

(2)将数据库中的给定的理想情况图像块作为正样本，与正样本的相交区域少于50％的作为负样本，利用SVM分类器和得到的特征对图像进行分类，得到最终的目标检测器。