CN105426924B - 一种基于图像中层特征的场景分类方法 - Google Patents

Abstract

本发明公开了一种基于图像中层特征的场景分类方法，属于场景图像分类领域。首先利用一种快速查找图像中物体区域的方法，得到物体区域图像块，并将得到的区域图像块作为图像的中层特征。然后对中层特征图像块进行聚类，并利用SVM为每个聚类训练一个形状模板，同时根据评级指标，选取评级得分最高的n个形状模板。最后，根据测试图像与n个形状模板的匹配得分实现场景图像分类。本发明解决了场景图像分类中图像鉴别性不足和代表性不强的问题。

Description

一种基于图像中层特征的场景分类方法

技术领域

本发明涉及一种图像分类方法，尤其是一种基于图像中层特征学习的场景图像分类方法，用于室内及室外自然场景图像的分类。

背景技术

目前，随着越来越多智能移动机器人走进人们的日常生活，并在军事、商场、医院、家庭等各种领域发挥重要作用，人们对智能移动机器人系统的自动定位需求越来越迫切。移动机器人只有准确地知道自身的位置以及所处的工作空间，才能安全有效地进行自主运动，为人类服务。场景图像分类作为图像理解的重要研究内容，是机器视觉和模式识别领域的重要研究问题。应用于移动机器人的场景图像分类，旨在使机器人能够像人一样认知和理解场景所包含的语义信息，以增强移动机器人对场景理解的能力。其难点在于如何有效地区分场景类内的差异性和场景类间的相似性。

基于场景识别的机器人视觉自定位方法使用人类能够直接理解的高层语义信息如“走廊”、“厨房”等作为视觉特征，非常适合于机器人在复杂环境中的自定位问题。李桂芝等^[1]使用多通道Gabor滤波器提取场景图像的全局纹理特征，并使用支持向量机来分类识别室内、走廊、门厅等场景，进而实现机器人的逻辑定位。Ullah等^[2]使用Harris角点特征检测子和SIFT特征描述子提取局部特征，并使用支持向量机作为分类器实现基于局部特征的地点识别。局部特征虽然在精确特征匹配方面能够获得较好的效果，但是由于缺乏中高层语义，导致推广能力不尽人意。

在日常生活中，人类的视觉系统总能够寻找场景中最具代表性的某些区域来进行对场景的理解和识别。即人类视觉系统能够快速地从场景图像中提取表征场景内容的中层特征。与底层特征相比，由于图像的中层特征更接近于人类认知场景的行为过程，近几年，基于中层特征的图像分类吸引越来越多的研究人员的注意。图像中层特征与图像的低层特征相比，包含的信息更加丰富，更适合描述现实世界的表象分布，同时也不需要高层特征实体的语义基础。所以，将中层特征应用于场景分类领域，具有巨大的优势和潜力。

参考文献：

[1]李桂芝,安成万,杨国盛等.基于场景识别的移动机器人定位方法研究[J].机器人,2005,27(2):123-127

[2]Ullah M M,PronobisA，Caputo B，et al.Towards robustplace recognitionforrobot localization[C].In Proc.ofIEEEICRA.2008:530-537

[3]Ming-Ming Cheng,Ziming Zhang,Wen-Yan Lin,Philip Torr,BING:Binarized Normed Gradients for Objectness Estimation at 300fps.In Proc.ofIEEE CVPR,2014.

[4]S.Singh,A.Gupta,and A.A.Efros.Unsupervised discovery of mid-leveldiscriminative patches.In Proc.ofECCV,2012.

[5]Dalal N,Triggs B.Histograms of oriented gradients for humandetection[C].In Proc.ofIEEE CVPR 2005,1:886-893.

发明内容

本发明的目的在于提供一种基于中层特征学习的图像分类方法，利用中层特征更好地模拟人类的视觉特性，以解决图像分类中图像鉴别性不足和代表性不强的问题。即要使分类得到的物体图像满足出现频率高，且和其他视觉物体具有显著区别，又可以在大量图片中以较高的召回率和精确率检测出来。为了达到上述目的，本发明所采用的技术方案是：首先利用一种快速查找图像中近似物体区域(可能存在物体的区域)的学习方法，得到近似区域图像块，并将得到的图像块作为图像的中层特征特征。然后，在得到的大量中层特征的基础上，基于支持向量机设计分类算法，实现场景的分类，为了进一步提高分类效果，定义评价指标函数，优化分类结果。

本发明是采用以下技术手段实现的：

一种基于图像中层特征的场景分类方法，其实现过程包括以下步骤：

步骤1：图像中层特征学习

步骤1.1：利用安装于机器人平台的摄像机采集场景图像，得到训练图像和:测试图像。对训练图像标注物体区域，并将标注区域的图像块尺寸缩放至为8×8像素区域，计算该区域的64维梯度范数特征。随机采样图像非标注区域，得到的图像块同样进行尺寸缩放至8×8像素区域，并计算其64维梯度范数特征；

步骤1.2：将标注区域得到的梯度范数特征作为物体模板训练的正样本，非标注区域得到的梯度范数特征作为物体模板训练的负样本，利用线性支持向量机训练得到一个64维的模板向量w∈R^8×8；

步骤1.3：对模版向量w进行二值化，方法如下：

输入：w，N_w；

初始化残差：ε＝w；

循环开始：j＝1到N_w

a_j＝sign(ε)

β_j＝＜a_j,ε＞/||a_j||

ε←ε-β_ja_j；

循环结束

输出：

其中N_w表示基向量的个数，a_j∈{-1,1}⁶⁴表示基向量，其中j＝1，...，N_w，β_j表示基向量对应的系数，最终可将模版向量w表示成为如下形式：

用二进制向量进一步表示a_j，可得：

其中 表示对取反运算。模板向量w与模板向量w的二值化向量b的点积就可由下式表示：

由于一个十进制数可以由其二进制数的最高几位来近似，则二值化64维的梯度范数特征近似表示为：

其中，N_g为十进制数所对应的二进制数的高位个数，b_k(k＝1，...，N_g)表示二值化数值中的第k个高位的数值。

步骤1.4：将测试图像集中的图像压缩至W₀×H₀尺寸，其中{W₀×H₀}表示图像的尺寸，其中W₀×H₀∈{10,20,40,80,160,320}，共有36种；

步骤1.5：在各种尺寸的图像下，计算每幅图像的二值化梯度范数特征，利用8×8大小的窗口进行滑动扫描，计算得到每个窗口的二值化梯度范数特征g_l，则在位置l处的二值化梯度范数与模板匹配得分可表示为s_l：

s_l＝＜w,g_l＞ (4)

l＝(i,x,y) (5)

其中l表示位置信息，i表示缩放后图像的尺寸，(x,y)表示图像的坐标值。公式(4)可表示为：

其中

步骤1.6：将缩放得到的36种不同尺寸的图像按比例缩放为原图像尺寸，就可以得到物体的区域。尽管得到的物体区域尺寸大小各异，然而对于一般的物体，其尺寸长宽比不会过大，所以对上述步骤得到的物体区域进行提纯。对缩放得到的36种不同大小、匹配得分以及提纯后最终物体的得分这三者的关系建立线性模型，即利用公式(7)计算得到提纯后的最终物体的得分。每种窗口大小选择M个得分最高的作为最终物体区域：

O_l＝v_i·s_l+t_i (7)

上式中的v_i，t_i为线性模型的参数，t_i为误差项。这两个参数可用线性支持向量机学习得到。即用36种不同尺寸图像中在位置l处的二值化梯度范数与模板匹配得分作为训练样本，利用线性支持向量机的方法训练得到v_i，t_i。

步骤2：基于中层特征场景分类

步骤2.1：将以上“图像中层特征学习步骤”得到的中层特征作为分类器的训练集H，将H分为A和B两部分；

步骤2.2：统计集合H中所有图像块的大小，按图像块尺寸大小进行排序后，找出图像尺寸的中位数a×b，并将集合H中所有图像缩放至a×b大小，在该尺度下计算各个图像块的方向梯度直方图(HOG)特征，计算方法如下：

(1)将图像灰度化，并计算图像每个像素的梯度信息；

(2)将图像划分成若干个8×8像素的细胞单元，对每个细胞单元360度的梯度方向分成9个方向块，并进行细胞单元内像素的规定权重投影，得到细胞单元的梯度直方图；

(3)将相邻的若干细胞单元组成一个区域，并串联图像内所有区域的梯度直方图，得到整个图像的HOG特征。

步骤2.3：用k-means算法对预处理过的样本集A的HOG特征进行聚类，并将聚类结果去掉聚类中含有图像块少于K个的类；

步骤2.4：分别选取每个聚类中的图像作块为正样本，其他聚类中图像块作为负样本，利用线性支持向量机学习一个形状模板，并用该类的形状模板在其他聚类中进行扫描，取得分最高的m个图像块来更新每个聚类，在此基础上重新训练得到新的形状模板；

步骤2.5：利用交叉验证方法，对以上步骤(1)至步骤(4)进行多次重复实验，并将多次实验结果的平均值作为最终的聚类结果；

步骤2.6：根据评级指标S，对交叉验证得到的聚类进行评级。评级指标S包含两项：纯度和鉴别性。其中，纯度指每个聚类中前r个图像块的检测得分之和，用S₁表示；鉴别性为聚类内图像在集合中出现个数的比率，记为S₂：

其中，N_A为聚类内图像在集合A中出现的个数，N_A∪B为聚类内图像在集合{A∪B}中出现的个数。则分级指标用纯度和鉴别性的线性组合表示为：

S＝S₁+λS₂ (9)

λ为(0,1)之间的常数，表示判别性在该分级指标中所占的比重；

步骤2.7：根据评级得分，选取得分最高的前n个聚类；

步骤2.8：输入测试图像，进行滑动窗口扫描，根据图像与各聚类模板的匹配分数高低进行分类。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明通过在提取中层特征的基础上，设计分类器，对场景图像进行分类。由于中层特征能够有效表达场景图像的内容，更接近于人类视觉系统的认知机理，所以基于中层特征的场景分类方法能够有效提高学习系统的推广能力。此外，在中层特征提取的过程中，根据物体与背景的梯度模式不同，用梯度范数特征对图像特征进行扫描，并对特征进行二值化处理，可以大大提高特征提取的效率，保证算法的实时性，满足机器人场景的实际应用需要。

附图说明

图1图像中层特征学习过程示意图；

图2中层特征图像块提取中模板训练过程示意图；

图3方向梯度直方图(HOG)特征提取过程示意图；

图4中层特征场景分类流程示意图图；

图5本方法的实施流程图。

具体实施方式

为了使本领域的人员能够更好的理解和使用本发明，下面将结合附图对本发明的技术方案进行进一步描述。

1.利用安装于机器人平台的摄像机采集场景图像，得到训练图像和测试图像。对训练图像标注物体区域，并将标注区域的图像块尺寸缩放至为8×8像素区域，计算该区域的64维梯度范数特征。随机采样图像非标注区域，得到的图像块同样进行尺寸缩放至8×8像素区域，并计算其64维梯度范数特征。

2.将标注区域得到的梯度范数特征作为物体模板训练的正样本，非标注区域得到的梯度范数特征作为物体模板训练的负样本，利用线性支持向量机训练得到一个64维的模板向量w∈R^8×8，模板训练过程如图2。

3.二值化模版w。

4.将测试图像集中的图像压缩至W₀×H₀尺寸，其中{W₀×H₀}表示图像的尺寸，其中W₀×H₀∈{10,20,40,80,160,320}，共有36种。在各种尺寸的图像下，计算每幅图像的二值化梯度范数特征，利用8×8大小的窗口进行滑动扫描，其中滑动窗口是逐像素点移动的。计算得到每个窗口的二值化梯度范数特征g_l，和在位置l处的二值化梯度范数与模板匹配得分可表示为s_l。

5.将缩放得到的36种不同尺寸的图像按比例缩放为原图像尺寸，就可以得到物体的区域。尽管得到的物体区域尺寸大小各异，然而对于一般的物体，其尺寸长宽比不会过大，所以对上述步骤得到的物体区域进行提纯。对缩放得到的36种不同大小、匹配得分以及提纯后最终物体的得分这三者的关系进行建模，计算得到提纯后的最终物体的得分。每种窗口大小选择M个得分最高的作为最终物体区域。

6.得到的中层特征作为分类器的训练集H，将H分为A和B两部分。统计集合H中所有图像块的大小，按图像块尺寸大小进行排序后，找出图像尺寸的中位数a×b，并将集合H中所有图像缩放至a×b大小，在该尺度下计算各个图像块的方向梯度直方图(HOG)特征，计算图像HOG特征过程如图3。

7.用k-means聚类算法对预处理过的样本集A的HOG特征进行聚类，并将聚类的结果去掉聚类中含有图像块少于k个的类。分别选取每个聚类中的图像作块为正样本，其他聚类中图像块作为负样本，利用线性支持向量机学习一个形状模板，并用该类的形状模板在其他聚类中进行扫描，取得分最高的m个图像块来更新每个聚类，在此基础上重新训练新的形状模板。

8.利用交叉验证方法，进行多次重复实验，并将多次实验结果的平均值作为最终的聚类结果。

9.根据评级指标S，对最终的聚类结果进行评级。评级指标S包含两项：纯度和鉴别性。其中，纯度指每个聚类中前r个图像块的检测得分之和；鉴别性为聚类内图像在集合中出现个数的比率，根据评级得分，选取得分最高的前n个聚类。

10.输入测试图像，进行滑动窗口扫描，根据图像与各聚类模板的匹配分数高低进行分类。整个分类过程如图4。

最后应说明的是：以上示例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于图像中层特征的场景分类方法，其特征在于：该方法的实现过程包括以下步骤，

步骤1：图像中层特征学习

步骤1.1：利用安装于机器人平台的摄像机采集场景图像，得到训练图像和:测试图像；对训练图像标注物体区域，并将标注区域的图像块尺寸缩放至为8×8像素区域，计算该区域的64维梯度范数特征；随机采样图像非标注区域，得到的图像块同样进行尺寸缩放至8×8像素区域，并计算其64维梯度范数特征；

步骤1.2：将标注区域得到的梯度范数特征作为物体模板训练的正样本，非标注区域得到的梯度范数特征作为物体模板训练的负样本，利用线性支持向量机训练得到一个64维的模板向量w∈R^8×8；

步骤1.3：对模版向量w进行二值化，方法如下：

输入：w，N_w；

初始化残差：ε＝w；

循环开始：j＝1到N_w

a_j＝sign(ε)

β_j＝＜a_j,ε＞/||a_j||

ε←ε-β_ja_j；

循环结束

输出：

其中N_w表示基向量的个数，a_j∈{-1,1}⁶⁴表示基向量，其中j＝1，...，N_w，β_j表示基向量对应的系数，最终可将模版向量w表示成为如下形式：

用二进制向量进一步表示a_j，可得：

其中表示对取反运算；模板向量w与模板向量w的二值化向量b的点积就可由下式表示：

由于一个十进制数可以由其二进制数的最高几位来近似，则二值化64维的梯度范数特征可以近似表示为：

其中，N_g为十进制数所对应的二进制数的高位个数，b_k表示二值化数值中的第k个高位的数值，其中k＝1，...，N_g；

步骤1.4：将测试图像集中的图像压缩至W₀×H₀尺寸，其中{W₀×H₀}表示图像的尺寸，其中W₀×H₀∈{10,20,40,80,160,320}，共有36种；

步骤1.5：在各种尺寸的图像下，计算每幅图像的二值化梯度范数特征，利用8×8大小的窗口进行滑动扫描，计算得到每个窗口的二值化梯度范数特征g_l，则在位置l处的二值化梯度范数与模板匹配得分可表示为s_l：

s_l＝＜w,g_l＞ (4)

l＝(i,x,y) (5)

其中l表示位置信息，i表示缩放后图像的尺寸，(x,y)表示图像的坐标值；公式(4)可表示为：

其中

步骤1.6：将缩放得到的36种不同尺寸的图像按比例缩放为原图像尺寸，就可以得到物体的区域；尽管得到的物体区域尺寸大小各异，然而对于一般的物体，其尺寸长宽比不会过大，所以对上述步骤得到的物体区域进行提纯；对缩放得到的36种不同大小、匹配得分以及提纯后最终物体的得分这三者的关系建立线性模型，即利用公式(7)计算得到提纯后的最终物体的得分；每种窗口大小选择M个得分最高的作为最终物体区域：

O_l＝v_i·s_l+t_i (7)

上式中的v_i，t_i为线性模型的参数，t_i为误差项；这两个参数可用线性支持向量机学习得到；即用36种不同尺寸图像中在位置l处的二值化梯度范数与模板匹配得分作为训练样本，利用线性支持向量机的方法训练得到v_i，t_i；

步骤2：基于中层特征场景分类

步骤2.1：将以上“图像中层特征学习步骤”得到的中层特征作为分类器的训练集H，将H分为A和B两部分；

步骤2.2：统计集合H中所有图像块的大小，按图像块尺寸大小进行排序后，找出图像尺寸的中位数a×b，并将集合H中所有图像缩放至a×b大小，在该尺度下计算各个图像块的方向梯度直方图(HOG)特征，计算方法如下：

(1)将图像灰度化，并计算图像每个像素的梯度信息；

(2)将图像划分成若干个8×8像素的细胞单元，对每个细胞单元360度的梯度方向分成9个方向块，并进行细胞单元内像素的规定权重投影，得到细胞单元的梯度直方图；

(3)将相邻的若干细胞单元组成一个区域，并串联图像内所有区域的梯度直方图，得到整个图像的HOG特征；

步骤2.3：用k-means算法对预处理过的样本集A的HOG特征进行聚类，并将聚类结果去掉聚类中含有图像块少于K个的类；

步骤2.4：分别选取每个聚类中的图像作块为正样本，其他聚类中图像块作为负样本，利用线性支持向量机学习一个形状模板，并用该类的形状模板在其他聚类中进行扫描，取得分最高的m个图像块来更新每个聚类，在此基础上重新训练得到新的形状模板；

步骤2.5：利用交叉验证方法，对以上步骤2.1至步骤2.4进行多次重复实验，并将多次实验结果的平均值作为最终的聚类结果；

步骤2.6：根据评级指标S，对交叉验证得到的聚类进行评级；评级指标S包含两项：纯度和鉴别性；其中，纯度指每个聚类中前r个图像块的检测得分之和，用S₁表示；鉴别性为聚类内图像在集合中出现个数的比率，记为S₂：

其中，N_A为聚类内图像在集合A中出现的个数，N_A∪B为聚类内图像在集合{A∪B}中出现的个数；则分级指标用纯度和鉴别性的线性组合表示为：

S＝S₁+λS₂ (9)

λ为(0,1)之间的常数，表示判别性在该分级指标中所占的比重；

步骤2.7：根据评级得分，选取得分最高的前n个聚类；

步骤2.8：输入测试图像，进行滑动窗口扫描，根据图像与各聚类模板的匹配分数高低进行分类。