CN106157308A - 矩形目标物检测方法 - Google Patents

Abstract

一种矩形目标物检测方法，包括如下步骤：提取样本特征；获取根滤波器；获取部件滤波器；模型检测；进行梯度搜索计算从而精确定位检测框。与现有技术相比，本发明使用机器学习的方法，将含有矩形目标物的图片作为正样本，不含目标物的任意图片作为负样本组成训练集，训练过程中只需要样本的目标外轮廓标注信息，信息易于读取且效率较高。对支持向量机和隐藏变量支持向量机的训练保证了检测的高精确率，使用隐藏变量支持向量机训练部件滤波器也使得一些细节方面的信息不容易被丢失，极大的提高了检测的正确率和召回率。使用梯度搜索计算对检测框进行调整也弥补了检测框不完全框选目标物的情况，使得目标物的位置更精确和完整。

Description

矩形目标物检测方法

技术领域

本发明涉及图像处理领域，特别涉及在视频序列中对矩形目标物体的检测与定位，具体是一种矩形目标物的检测方法。

背景技术

图像处理技术是从上个世纪60年代之后随着计算机技术发展而产生、发展和逐渐成熟起来的一个新的技术领域，而在视频序列中的目标检测与定位逐渐成为图像处理方向的一个热门分支，重点是用模式识别、图像处理的方法对图像中的物体进行分类和定位等。将被研究的前景部分从背景中提取出来，从而进行分析，这一行为即称为目标检测。一幅图像中的目标物体为前景，是人们重点研究的对象，而非前景的部分被称为背景，通常人们对其不感兴趣。由于图像采集过程中存在环境复杂性及目标多样性的干扰，目标检测及定位具有一定的挑战。

现实生活中，大量有意义的视觉信息需要用计算机对其统计检测才能更好的为人所利用，因此基于视频序列的目标物的检测与定位成为计算机视觉和模式识别领域的热点问题。其中，矩形目标是实际生活中由物体抽象出来的模型，其代表性和普遍性使得研究矩形目标的检测更有实际意义，对其的检测已应用到很多领域如机器人对矩形物体的抓取，检测矩形零件是否合格等。

针对矩形检测，现行算法一般是先检测矩形的所有边框，把问题转换成检测直线的问题。针对直线检测，最典型的是有研究者在1962年提出的霍夫变换。李强兵将图像进行霍夫变换之后，寻找参数的最值，并判断它们代表的直线是否满足平行且相等的几何关系，若满足则符合所检测的目标物体。但缺点是当矩形的边不足够长的时候检测精度不高，干扰性大。有研究者提出一种定位矩形的理论，它利用一个环形的滑动窗口扫码输入图片并做霍夫变换，利用空间参数确定矩形中心点的位置，其精度较高，不足是有大量的重复计算所以复杂度也较高。

有研究者还提出一种方法是用检测提取出图像中两直线的交点作为角点，检测图像中的L型角点，再将角点任意组合并筛选出满足矩形几何性质的线段组，从而能够识别出矩形的位置，但是角点容易被周围的噪声影响，鲁棒性不高。

卡塔尔卡内基梅隆大学的计算机科学研究室联合埃及日本科学技术大学提出使用一种背景剥离算法，该算法将图像中所有的前景物体与背景分离开，然后检测出其中具有矩形形状的目标，并使用拉默-道格拉斯-普克算法减少矩形的边框交点，简化边框。最后满足此条件的即为目标物所在的区域。

2005年，法国国家信息与自动控制研究所的某研究者和他的同事们提出了梯度方向直方图的理论，用计算和统计图像局部区域的方向梯度直方图(HOG)作为特征对目标物进行描述。HOG是在均匀间隔且密集的的细胞单元上进行处理，而且用以增强算法的效果，还将梯度特征进行归一化。该方法在人体检测方面效果十分突出，同时也适用于其他物体的检测。

发明内容

本发明的目的是实现矩形目标的检测，改善现有技术检测精度低、方法繁琐等方面的不足。

为了实现上述目的，本发明提出了一种矩形目标物检测方法。以可变形部件模型(DPM)理论为基础，使用对图像的方向梯度直方图统计的方法，用支持向量机(SVM)和隐藏变量支持向量机(LSVM)训练目标的特征向量，用基于搜索的边缘梯度计算方法对检测框进行精确定位。

本发明的技术方案如下：

一种矩形目标物检测方法，包括如下步骤：

提取特征步骤，将含有矩形目标物的图片作为正样本，不含目标物的任意图片作为负样本，对每一张样本图片，将其分为多个细胞单元，每个细胞单元中分配M×M个像素，划分N×N个细胞单元构成一个块，获取块的方向梯度直方图；

根滤波器获取步骤，利用滑动窗口扫描样本图片的各个位置和不同尺度，将所有块的方向梯度直方图提取出来并结合，形成最终的特征向量，将所有样本图片的最终特征向量输入到支持向量机中，得到目标物体的根滤波器；

获取部件滤波器步骤，根据根滤波器的位置寻找部件滤波器的位置，若干个部件滤波器的面积之和等于根滤波器的面积，每个部件滤波器所在位置均有一个得分，根据得分高低筛选出其最优位置，将部件滤波器的特征输入到隐藏变量支持向量机中进行训练，使用半凸规划对其位置进行筛选，得到部件滤波器；

模型检测步骤，对根滤波器和部件滤波器进行初始化和更新，得到最终的可变形部件模型，将最终的可变形部件模型保存并使用模型参数对测试集图片进行检测；

检测框精确定位步骤，使用基于搜索的边缘梯度计算的算法判断检测框是否在目标轮廓边缘之外，调整检测框的位置，修正检测结果。

其中，提取特征步骤中所述M为8，所述N为2。

其中，提取特征步骤中获取块的方向梯度直方图通过将块内每个细胞单元中的特征向量连接起来实现。

上述细胞单元的特征向量获取方法如下：

计算所述细胞单元中每个像素点的梯度方向和幅值；

划分360°为若干个区间，构成方向梯度直方图；

根据每个像素点的梯度方向，利用双线性内插法将其幅值加权投影到对应若干个区间中的一个得到所述细胞单元的特征向量。

上述加权投影的权重投影函数是像素点的梯度幅值。

其中，根滤波器获取步骤中的部件滤波器与获取部件滤波器步骤中的根滤波器满足关系式：n×a＝S×80％，其中，n是部件滤波器的数目，a是部件滤波器的面积，S是根滤波器的面积。

由于拍摄的具有矩形目标物的图片受光线、角度等因素的影响，导致检测结果有时不理想，因此提取特征步骤中获取图像的方向梯度直方图之前还有对样本进行预处理的步骤。预处理包括将样本的对比度和边缘进行增强以及使用高斯滤波器去除矩形目标的图片的噪声。

所述模型检测步骤中还包括对可变形部件模型进行选择优化，其具体方法是通过调整正负样本的数量和质量，使用精度-召回率曲线对检测系统进行评估，选择最佳的样本集。

所述检测框精确定位步骤中基于搜索的边缘梯度计算的算法步骤如下：

计算遮盖在目标物上的检测框的某条边周围每个像素的梯度大小变化程度及梯度方向；

使用非极大值抑制的方法，找出目标物未被纳入检测框的边缘，再次调整检测框；

重复上述步骤，直至矩形目标物所有部分均被检测框框选为止。

本发明的有益技术效果如下：

与现有技术相比，本发明使用机器学习的方法，将含有矩形目标物的图片作为正样本，不含目标物的任意图片作为负样本组成训练集，在进行样本训练过程中，只需要样本的目标外轮廓标注信息，训练起来易于读取这些信息且效率较高。对SVM和LSVM的训练保证了检测的高精确率，同时使用LSVM训练部件滤波器也使得一些细节方面的信息不容易被丢失，极大的提高了检测的正确率和召回率。同时，使用梯度搜索计算来对检测框进行调整也弥补了目标物在检测框外边的情况，使得目标物的位置更精确和完整。

附图说明

图1是本发明的矩形目标物检测系统流程图；

图2是本发明实施例中滑动窗口、块、胞元的大小关系；

图3是本发明实施例中训练之后的矩形目标模型图；

图4是本发明实施例中用于优化DPM模型的精度-召回率曲线图；

图5是本发明实施例中检测过程出现的误检示意图；

图6是本发明实施例中使用基于搜索的边缘梯度算法前后的检测框定位对比效果图，其中(a)是使用前的检测框效果图，(b)是使用后的检测框效果图；

图7是本发明实施例矩形目标物检测结果的示意图，其中(a)是对相框的检测结果示意图，(b)是对显示器的检测结果示意图。

具体实施方式

为使本发明的技术方案更加清楚明白，以下结合附图和具体实施方式对本发明的技术方案进行进一步地阐述。

本发明采用基于DPM的方法，DPM模型的训练过程不需知道物体细节的位置信息，只需要目标外轮廓的边框，实现检测方法效率较高、精确度较大。该方法按照提取特征——训练——检测的流程，先获取HOG，然后将HOG输入到SVM(Surpport Vector Machine)进行训练，得出物体的模型，有了模型之后就可以对目标进行分类与识别。对于矩形目标物体来说，提取特征之前只需读取正负样本中目标物的位置坐标，通过训练SVM和LSVM得到该类目标的模型，然后用模型对测试集的图片进行检测和识别，在检测完成之后，继续调整检测框使得检测更加精确。

以下是本发明的具体实施方式。

如图1所示，一种基于可变形部件模型的矩形目标物检测方法，具体步骤如下：

在步骤S1中，为了获取样品图片中块的HOG，首先划分正负样本，将含有矩形目标物的图片作为正样本，不含目标物的任意图片作为负样本。将每一张样本图片分为多个细胞单元(cell)，一个cell中分配8×8个像素，用一个直方图描述该cell中每个像素的梯度，该直方图有9个区间(bin)，即将360°平均分成9个方向区间，每40°为一个bin。在计算完每个像素点的梯度之后，如果梯度方向落在任意跨度为40°的区间内，则使用加权投影将此梯度的幅值作为权值，用双线性插值法在其相邻的bin进行投票，最终累加到直方图里去。对cell中的每一个像素均把其幅值加权投影到直方图中，那么可以得到这个细胞单元的梯度方向直方图，它是一个9维的特征向量。

如图2所示，把2×2个cell组成一个块(block)，即block的大小为16×16，将block内各个cell中的特征向量连接起来，得到该块的HOG。

本步骤中，在每个cell中都有独立做梯度方向统计，从而以梯度方向为横轴的的直方图。梯度方向可取0°～180°或0°～360°，本实施例中取0°～360°。然后又将这个梯度分布平均分成多个方向角度，每个方向角度范围都会对应一个直方柱。根据人体目标检测的相关实验结果作为参照，在无符号方向角度范围并将其平均分成9份(bins)能取得最好的效果，当bin的数目继续增大效果改变不明显。

对于梯度方向的加权投影，一般都采用一个权重投影函数，它可以是像素点的梯度幅值，梯度幅值的平方根或梯度幅值的平方，甚至可以使梯度幅值的省略形式，它们都能够一定程度上反应出像素上一定的边缘信息。根据Dalal等人论文的测试结果，采用梯度幅值量级本身得到的检测效果最佳。

本实施例中块的大小为2×2个细胞单元，单元格的大小为8×8个象素。实验证明，6－8个象素宽的单元格，2－3个单元格宽的块，其错误率都在最低的一个平面上。当块的尺寸太大时标准化的作用被削弱了从而导致错误率上升，而如果块的尺寸太小时，有用的信息反而会被过滤掉。

由于拍摄的具有矩形目标物的图片受光线、角度等因素的影响，导致检测结果有时不理想，因此所述提取特征步骤中获取图像的HOG之前还有对矩形目标的图片进行预处理的步骤。所述预处理包括将所述矩形目标的图片的对比度和边缘进行增强以及使用高斯滤波器去除矩形目标的图片的噪声。

在步骤S2中，为了获取根滤波器，利用滑动窗口扫描图像的各个位置和不同尺度，将所有block的HOG提取出来并结合，形成最终的特征描述子，也称特征向量，该特征向量具有N×V×T个数据，其中N是每个cell中bin的数目(本实施例中为9)，V表示一个block中cell的数目(本实施例中为4)，T表示block的个数(本实施例中为105个，窗口大小64x128，块大小16x16，块步长8x8，那么窗口中块的数目是((64-16)/8+1)×((128-16)/8+1)＝7*15＝105个块)。

将该最终特征向量输入到SVM中，则得到了目标物体的根滤波器。

由于物体细节信息的存在，和为了得到高精确率的识别效果，我们设计了部件滤波器。它提取图像中的高分辨率的细节特征，从而相对于根滤波器来说，使得部件滤波器可以捕捉更精确定位的特征。部件滤波器与根滤波器的位置和尺寸大小有关系，选择n个部件滤波器，每个尺寸面积为a，根滤波器面积为S，使得n×a＝S×80％。在步骤S3中，为了获取部件滤波器，根据根滤波器计算出各个部件滤波器的得分并筛选出得分最大的位置，完成部件滤波器的初始化和更新之后，将其输入到LSVM中进行训练，使用半凸规划对其位置进行筛选，则可得到部件滤波器。训练之后的根滤波器和部件滤波器的可视化模型如附图3。

步骤S4是模型检测的过程。通过S1～S3，可以获取一个DPM模型。一个DPM模型由一个根滤波器和n个部件滤波器构成，对根滤波器和部件滤波器进行初始化和更新，得到初步的DPM模型。在训练过程中我们通过调整正负样本的数量和质量，使用精度-召回率曲线对检测系统进行评估，评估结果如附图4，图中横轴为召回率(recall)，纵轴为精度(precision)。选择最佳的样本集，不断优化DPM模型，得到最终的DPM模型。将训练得到的最终DPM模型保存在.mat文件中，使用模型参数对测试集图片进行检测。此外，在检测过程中，我们会发现存在一些误检，如图5，检测系统正确检测出显示器和矩形窗户，但图片中右侧不存在矩形物体，系统误将隔板归为正类，因此我们把此种类似矩形物体的图片加入负样本中，对其进行难例挖掘从而尽可能的提高检测率。

针对检测框不能完全包围目标物的问题，步骤S5使用一种基于搜索的边缘梯度计算的算法，通过计算遮盖在目标物上的检测框的某条边周围每个像素的梯度大小变化程度及梯度方向，使用非极大值抑制的方法，找出目标物未被框入检测框的边缘，再次调整检测框，重复上述步骤，直至矩形目标物所有部分均被检测框框选为止。如图6(a)为用可变形部件模型的检测结果，显示器有一部分在检测框之外，使用梯度计算的方法修正之后如如图6(b)，物体全部被检测框框选。至此，矩形目标物的位置即可被精确检测出来。图7显示了检测系统的检测结果，以电视机和相框为例。

Claims (10)

1.一种矩形目标物检测方法，其特征在于，包括如下步骤：

提取特征步骤，将含有矩形目标物的图片作为正样本，不含目标物的任意图片作为负样本，对每一张样本图片，将其分为多个细胞单元，每个细胞单元中分配M×M个像素，划分N×N个细胞单元构成一个块，获取块的方向梯度直方图；

根滤波器获取步骤，利用滑动窗口扫描样本图片的各个位置和不同尺度，将所有块的方向梯度直方图提取出来并结合，形成最终的特征向量，将所有样本图片的最终特征向量输入到支持向量机中，得到目标物体的根滤波器；

获取部件滤波器步骤，根据根滤波器的位置寻找部件滤波器的位置，若干个部件滤波器的面积之和等于根滤波器的面积，每个部件滤波器所在位置均有一个得分，根据得分高低筛选出其最优位置，将部件滤波器的特征输入到隐藏变量支持向量机中进行训练，使用半凸规划对其位置进行筛选，得到部件滤波器；

模型检测步骤，对根滤波器和部件滤波器进行初始化和更新，得到最终的可变形部件模型，将最终的可变形部件模型保存并使用模型参数对测试集图片进行检测；

检测框精确定位步骤，使用基于搜索的边缘梯度计算的算法判断检测框是否在目标轮廓边缘之外，调整检测框的位置，修正检测结果。

2.根据权利要求1所述的一种矩形目标物检测方法，其特征在于，所述提取特征步骤中所述M为8，所述N为2。

3.根据权利要求1所述的一种矩形目标物检测方法，其特征在于，所述提取特征步骤中所述获取块的方向梯度直方图通过将块内每个细胞单元中的特征向量连接起来实现。

4.根据权利要求3所述的一种矩形目标物检测方法，其特征在于，所述细胞单元的特征向量获取方法如下：

计算所述细胞单元中每个像素点的梯度方向和幅值；

划分360°为若干个区间，构成方向梯度直方图；

根据每个像素点的梯度方向，利用双线性内插法将其幅值加权投影到对应若干个区间中的一个得到所述细胞单元的特征向量。

5.根据权利要求4所述的一种矩形目标物检测方法，其特征在于，所述加权投影的权重投影函数是像素点的梯度幅值。

6.根据权利要求1所述的一种矩形目标物检测方法，其特征在于，所述提取特征步骤中所述获取图像的方向梯度直方图之前还有对所述样本进行预处理的步骤。

7.根据权利要求6所述的一种矩形目标物检测方法，其特征在于，所述预处理包括将所述样本的对比度和边缘进行增强以及使用高斯滤波器去除所述样本的噪声。

8.根据权利要求1所述的一种矩形目标物检测方法，其特征在于，所述获取部件滤波器步骤中的部件滤波器与所述根滤波器获取步骤中的根滤波器满足关系式：n×a＝S×80％，

其中，n是部件滤波器的数目，a是部件滤波器的面积，S是根滤波器的面积。

9.根据权利要求1所述的一种矩形目标物检测方法，其特征在于，所述模型检测步骤中还包括对可变形部件模型进行选择优化，其具体方法是通过调整正负样本的数量和质量，使用精度-召回率曲线对检测系统进行评估，选择最佳的样本集。

10.根据权利要求1所述的一种矩形目标物检测方法，其特征在于，所述检测框精确定位步骤中基于搜索的边缘梯度计算的算法步骤如下：

计算遮盖在目标物上的检测框的某条边周围每个像素的梯度大小变化程度及梯度方向；

使用非极大值抑制的方法，找出目标物未被纳入检测框的边缘，再次调整检测框；

重复上述步骤，直至矩形目标物所有部分均被检测框框选为止。