CN108647703A - 一种基于显著性的分类图像库的类型判断方法 - Google Patents

Abstract

本发明提供一种基于显著性的分类图像库的类型判断方法，包括训练过程和测试过程，所述训练过程包括以下步骤：选取对象类图像，类标为1；挑选场景类图像，类标为0；提取每幅图像的显著图；计算所述每幅图像显著图的灰度直方图；将图像的所述灰度直方图特征和对应的类标输入到SVM进行训练，得到训练模型。本发明提出一种基于显著性的分类图像库的类型判断方法，在显著性的基础上对所分类图像库的类型进行判断，将图像库分为场景类图像库和对象类图像库，进而根据不同的图像库类型采用不同的分类方法，从而保证分类方法具有很好的针对性，提高分类性能。

Description

一种基于显著性的分类图像库的类型判断方法

技术领域

本发明涉及计算机视觉和图像处理的技术领域，特别是一种基于显著性的分类图像库的类型判断方法。

背景技术

随着多媒体技术和网络的发展以及大数据时代的到来，海量图像的出现导致图像的管理和检索成为了亟待解决的问题。图像类别是重要的语义信息，是进行图像理解的关键问题。图像的人工分类效率低、代价大，不同的人对同一张图片的标注结果可能会存在差异，而且无法满足不断涌现的新图像和进行实时更新。计算机实现图像的自动分类一直是计算机视觉领域的基础问题，是替代人工分类的重要途径，也是图像语义信息自动提取和理解的重要手段。然而，目前的分类方法都是针对某一个特定的图像库，不需要对分类图像库的类型进行判断，进而根据不同类型的图像库采用不同的分类方法。因此本发明试图解决这个问题，即对分类图像库的类型进行判断，然后根据图像库的类型采取不同的分类方法。

在长期的进化中，人类在进行图像理解时，总会把注意力放在图像中最能引起注意的区域，自动忽略相对不能引起注意的区域。人类这种自动选择感兴趣区域的感知能力被称为视觉注意力机制。显著性检测技术是让计算机模拟人类的视觉注意力机制，对处理的图像进行自动的信息选择和筛选。图像中能够快速吸引观察者注意力的区域称为显著区域，显著性检测技术就是发现图像中的显著区域。显著性检测是计算机视觉中非常活跃的研究方向，提取的显著区域可以为诸多应用提供原始对象，其应用领域极为广泛，如对象识别、对象分割、基于内容的图像检索、内容已知的图像缩放和图像压缩等。显著性检测的结果称为显著图。

随着显著性研究的深入，目前已经有研究显示图像中不一定包含显著区域。文献【P.Wang,J.Wang,G.Zeng,J.Feng,H.Zha,and S.Li.Salient object detection forsearched web images via global saliency[C].Proceedings of IEEE Conference onComputer Vision and Pattern Recognition,2012.3194–3201.】针对网络图像中的显著区域提取任务进行了讨论，指出图像中不一定含有显著区域。

文献【P.Wang,J.Wang,G.Zeng,J.Feng,H.Zha,and S.Li.Salient objectdetection for searched web images via global saliency[C].Proceedings of IEEEConference on Computer Vision and Pattern Recognition,2012.3194–3201.】提出了图像中不一定含有显著区域。因此判断图像中是否含有显著区域在不同视觉问题中已经表现得非常重要，直接导致解决方法的不一样。

以往的图像分类方法都是针对一个已知类型的图像库提出某种分类方法，这些方法都不需要对分类图像库的类型进行判断。但是，存在的问题是当图像库类型未知的时候应该采用哪种分类方法对图像进行分类。

2014年底32期《电脑知识与技术》杂志公开了一篇名为《图像分类识别方法研究》的文章，作者为赵重阳、王松会和夏文杰，深入分析了统计法、句法识别法、神经网络法、模糊集识别法、支持向量机法和模版匹配法等几种主要图像分类识别方法，并对各种分类识别方法的优势与缺陷做了深入的总结。通过分析各类图像分类识别方法，明确各类识别方法的优势与缺陷，为图像分类识别方法的具体应用奠定基础。该文章虽然提出了几种图像识别方法，但是都没有具体的说明，仅仅是简单的方法集合，并没有解决当图像库类型未知的时候应该采用哪种分类方法对图像进行分类的问题。

发明内容

为了解决上述的技术问题，本发明提出一种基于显著性的分类图像库的类型判断方法，在显著性的基础上对所分类图像库的类型进行判断，将图像库分为场景类图像库和对象类图像库，进而根据不同的图像库类型采用不同的分类方法，从而保证分类方法具有很好的针对性，提高分类性能。

本发明提供一种基于显著性的分类图像库的类型判断方法，包括训练过程和测试过程，所述训练过程包括以下步骤：

步骤1：选取对象类图像，类标为1；挑选场景类图像，类标为0；

步骤2：提取每幅图像的显著图；

步骤3：计算所述每幅图像显著图的灰度直方图；

步骤4：将图像的所述灰度直方图特征和对应的类标输入到SVM进行训练，得到训练模型。

优选的是，所述显著图的计算过程包括以下步骤：

步骤21：对图像I进行多尺度的区域分割；

步骤22：对每个分割区域的外观特征提取及计算显著性；

步骤23：对所述显著图进行优化；

步骤24：对不同尺度下的所述显著图进行融合。

在上述任一方案中优选的是，所述步骤21为对图像I，将其在N个尺度下做分割，R＝{R_i|1≤i≤N}，其中i代表分割的尺度，i值越小，分割的尺度越小，图像分割的粒度越细。

在上述任一方案中优选的是，所述外观特征包括颜色特征和纹理特征，所述颜色特征空间有RGB、HSV和L*a*b*。

在上述任一方案中优选的是，所述步骤22包括粉笔计算所述三种颜色空间的平均颜色值和256为统计直方图特征。

在上述任一方案中优选的是，采用的所述纹理特征为LBP特征和LM滤波池响应特征。

在上述任一方案中优选的是，所述步骤23包括使用下面的目标函数进行所述显著图优化：

其中表示区域i优化后的显著值；s表示区域i未优化的显著值；区域i为待估计的目标区域；区域j为区域i的相邻区域；α是描述区域i与区域j空间关联关系的权重值。

在上述任一方案中优选的是，所述权重值α的计算公式为

其中，R_i和R_j为分割后得到的区域，d为区域R_i和区域R_j的距离，σ²表示图像所有区域间距离的标准差。

在上述任一方案中优选的是，所述区域R_i和区域R_j的距离d的定义如下：

其中，表示示区域R_i的边缘像素集合；表示区域R_j的边缘像素集合；边界强度ES(P)为区域R_i和区域R_j公共边缘中像素P点的UCM值。

在上述任一方案中优选的是，所述步骤24为对于第i幅图像，在进行区域空间关联约束后，得到图像的(1......N)尺度的显著图采用线性模型将不同尺度下的显著图结果进行融合，

其中，S表示第i图像的融合显著图，S表示第i幅图像在尺度k下面的显著图，w_k表示尺度k的权重。

在上述任一方案中优选的是，所述权重值{w_k|1≤k≤N}采用最小二乘法求解，

其中Y表示训练集中图像的个数，A_i表示第i幅图像的标准二值标注。

在上述任一方案中优选的是，所述显著图的所述直方图特征的计算过程包括如下步骤：

步骤31：读取显著图S；

步骤32：判断所述显著图S的维数size；

步骤33：读取图像S'的R、G、B分量；

步骤34：分别统计R、G、B分量的直方图特征，结果为Rhist、Ghist、Bhist；

步骤35：将Rhist、Ghist、Bhist特征进行拼接，得到图像S'的直方图特征H，H＝[Rhist，Ghist，Bhist]。

在上述任一方案中优选的是，所述步骤31为如果size＝2，则图像S是灰度图像，将S转化为彩色图像S'，

S′(:,:,1)＝S(:,:,1)

S＇(:,:,2)＝S(:,:,2)

S′(:,:,3)＝S(:,:,3)

否则，S′＝S。

在上述任一方案中优选的是，所述R、G、B分量的公式为R＝S′(:,:,1)，G＝S′(:,:,2)，B＝S′(:,:,3)。

在上述任一方案中优选的是，当k＝0:255时，如果R＝k，则Rhist(k+1)++。

在上述任一方案中优选的是，当k＝0:255时，如果G＝k，则Ghist(k+1)++。

在上述任一方案中优选的是，当k＝0:255时，如果B＝k，则Bhist(k+1)++。

在上述任一方案中优选的是，所述测试过程包括以下步骤：

步骤A：输入测试图像库；

步骤B：提取所述测试图像库中每幅图像的显著图；

步骤C：计算所述测试图像库中所述每幅图像显著图的直方图特征；

步骤D：将所述测试图像库的所述直方图特征输入到所述SVM分类器中，用训练好的所述模型对其进行分类。

本发明提出了一种基于显著性的分类图像库的类型判断方法，此方法得到的图像库类型对于后续采用何种分类算法具有关键的决策作用，根据图像中是否含有显著区域，我们把图像库的类型分为场景类图像库和对象类图像库。。

附图说明

图1为按照本发明的基于显著性的分类图像库的类型判断方法的一优选实施例的流程图。

图1A为按照本发明的基于显著性的分类图像库的类型判断方法的如图1所示实施例的显著图的计算过程的流程图。

图1B为按照本发明的基于显著性的分类图像库的类型判断方法的如图1所示实施例的直方图特征的计算过程的流程图。

图2为按照本发明的基于显著性的分类图像库的类型判断方法的一优选实施例的场景类图像库中的示例图像及其显著图。

图3为按照本发明的基于显著性的分类图像库的类型判断方法的一优选实施例的对象类图像库中的示例图像及其显著图。

图4为按照本发明的基于显著性的分类图像库的类型判断方法的一优选实施例的图像库类型的判断流程图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，一种基于显著性的分类图像库的类型判断方法，包括训练过程100和测试过程110。其中训练过程100步骤如下：执行步骤101，选取对象类图像，类标为1；挑选场景类图像，类标为0。执行步骤102：提取每幅图像的显著图。显著图的计算过程包括以下步骤(如图1A所示)：执行步骤121：对图像I进行多尺度的区域分割。对图像I，将其在N个尺度下做分割，R＝{R_i|1≤i≤N}，其中i代表分割的尺度，i值越小，分割的尺度越小，图像分割的粒度越细。执行步骤122：对每个分割区域的外观特征提取及计算显著性。外观特征包括颜色特征和纹理特征。采用的颜色特征空间有RGB，HSV和L*a*b*，分别计算三种颜色空间的平均颜色值和256维统计直方图特征；采用的纹理特征为LBP特征和LM滤波池响应特征。提取完外观特征后通过特征差异的计算得到区域的显著性。

详细的特征及显著性计算如表1所示。基于外观的显著性计算完毕后，区域内所有像素具有和本区域相同的显著性。计算得到29维基于图像外观的显著性特征。

表1外观特征和基于外观的显著性计算

执行步骤123：对所述显著图进行空间一致性优化。考虑到相邻区域间具有空间关联关系，为了使显著图更加平滑，利用下面的目标函数进行显著图的优化：

其中表示区域i优化后的显著值；s表示区域i未优化的显著值；区域i为待估计的目标区域；区域j为区域i的相邻区域；α是描述区域i与区域j空间关联关系的权重值。为了计算权重α，首先定义分割后区域的无向图。如果区域R_i和区域R_j相邻，则有一条边连接两个区域，区域R_i和区域R_j的距离定义如下：

其中，表示示区域R_i的边缘像素集合；表示区域R_j的边缘像素集合；边界强度ES(P)为区域R_i和区域R_j公共边缘中像素P点的UCM值。

权重值α的计算公式为

其中，当区域R_i和区域R_j相邻时，区域R_i和区域R_j的距离计算方法如上面公式，当区域R_i和区域R_j不相邻的时候，区域R_i和区域R_j的距离为区域R_i和区域R_j的最短路径，在路径上直接相邻的区域距离的计算方法仍为上面公式，σ²表示图像所有区域间距离的标准差。执行步骤124：对不同尺度下的所述显著图进行融合。对于第i幅图像，在进行区域空间关联约束后，得到图像的(1......N)尺度的显著图采用线性模型将不同尺度下的显著图结果进行融合，

其中，S表示第i图像的融合显著图，S表示第i幅图像在尺度k下面的显著图，w_k表示尺度k的权重。

所述权重值{w_k|1≤k≤N}采用最小二乘法求解，

其中Y表示训练集中图像的个数，A_i表示第i幅图像的标准二值标注。

执行步骤103：计算所述每幅图像显著图的灰度直方图。直方图特征的计算过程包括如下步骤(如图1B所示)：执行步骤131：读取显著图S。执行步骤132：判断所述显著图S的维数size，如果size＝2，则图像S是灰度图像，将S转化为彩色图像S'，S′(:,:,1)＝S(:,:,1)，S′(:,:,2)＝S(:,:,2)，S′(:,:,3)＝S(:,:,3)，否则，S′＝S。执行步骤133：读取图像S'的R、G、B分量，R、G、B分量的公式为R＝S′(:,:,1)，G＝S′(:,:,2)，B＝S′(:,:,3)。执行步骤134：分别统计R、G、B分量的直方图特征，结果为Rhist、Ghist、Bhist。

for k＝0:255

如果R＝k

则Rhist(k+1)++

end

当k＝0:255时，如果R＝k，则Rhist(k+1)++；

for k＝0:255

如果G＝k

则Ghist(k+1)++

end

当k＝0:255时，如果G＝k，则Ghist(k+1)++；

for k＝0:255

如果B＝k

则Bhist(k+1)++

end

当k＝0:255时，如果B＝k，则Bhist(k+1)++。

执行步骤135：将Rhist、Ghist、Bhist特征进行拼接，得到图像S'的直方图特征H，H＝[Rhist，Ghist，Bhist]。

执行步骤104：将图像的所述灰度直方图特征和对应的类标输入到SVM进行训练，得到训练模型。

测试过程110步骤如下：执行步骤111：输入测试图像库。执行步骤112：提取所述测试图像库中每幅图像的显著图。显著图的计算过程包括以下步骤(如图1A所示)：执行步骤121：对图像I进行多尺度的区域分割。对图像I，将其在N个尺度下做分割，R＝{R_i|1≤i≤N}，其中i代表分割的尺度，i值越小，分割的尺度越小，图像分割的粒度越细。执行步骤122：对每个分割区域的外观特征提取及计算显著性。外观特征包括颜色特征和纹理特征。采用的颜色特征空间有RGB，HSV和L*a*b*，分别计算三种颜色空间的平均颜色值和256维统计直方图特征；采用的纹理特征为LBP特征和LM滤波池响应特征。提取完外观特征后通过特征差异的计算得到区域的显著性。基于外观的显著性计算完毕后，区域内所有像素具有和本区域相同的显著性。计算得到29维基于图像外观的显著性特征。执行步骤123：对所述显著图进行空间一致性优化。考虑到相邻区域间具有空间关联关系，为了使显著图更加平滑，利用下面的目标函数进行显著图的优化：

其中表示区域i优化后的显著值；s表示区域i未优化的显著值；区域i为待估计的目标区域；区域j为区域i的相邻区域；α是描述区域i与区域j空间关联关系的权重值。为了计算权重α，首先定义分割后区域的无向图。如果区域R_i和区域R_j相邻，则有一条边连接两个区域，区域R_i和区域R_j的距离定义如下：

其中，表示示区域R_i的边缘像素集合；表示区域R_j的边缘像素集合；边界强度ES(P)为区域R_i和区域R_j公共边缘中像素P点的UCM值。

权重值α的计算公式为

其中，当区域R_i和区域R_j相邻时，区域R_i和区域R_j的距离计算方法如上面公式，当区域R_i和区域R_j不相邻的时候，区域R_i和区域R_j的距离为区域R_i和区域R_j的最短路径，在路径上直接相邻的区域距离的计算方法仍为上面公式，σ²表示图像所有区域间距离的标准差。执行步骤124：对不同尺度下的所述显著图进行融合。对于第i幅图像，在进行区域空间关联约束后，得到图像的1......N尺度的显著图采用线性模型将不同尺度下的显著图结果进行融合，

其中，S表示第i图像的融合显著图，S表示第i幅图像在尺度k下面的显著图，w_k表示尺度k的权重。

所述权重值{w_k|1≤k≤N}采用最小二乘法求解，

其中Y表示训练集中图像的个数，A_i表示第i幅图像的标准二值标注。

执行步骤113：计算所述测试图像库中所述每幅图像显著图的直方图特征。直方图特征的计算过程包括如下步骤(如图1B所示)：执行步骤131：读取显著图S。执行步骤132：判断所述显著图S的维数size，如果size＝2，则图像S是灰度图像，将S转化为彩色图像S'，S′(:,:,1)＝S(:,:,1)，s′(:,:,2)＝S(:,:,2)，S′(:,:,3)＝S(:,:,3)，否则，S′＝S。执行步骤133：读取图像S'的R、G、B分量，R、G、B分量的公式为R＝S′(:,:,1)，G＝S′(:,:,2)，B＝S＇(:,:,3)。执行步骤134：分别统计R、G、B分量的直方图特征，结果为Rhist、Ghist、Bhist。

for k＝0:255

如果R＝k

则Rhist(k+1)++

end

当k＝0:255时，如果R＝k，则Rhist(k+1)++；

for k＝0:255

如果G＝k

则Ghist(k+1)++

end

当k＝0:255时，如果G＝k，则Ghist(k+1)++；

for k＝0:255

如果B＝k

则Bhist(k+1)++

end

当k＝0:255时，如果B＝k，则Bhist(k+1)++。

执行步骤135：将Rhist、Ghist、Bhist特征进行拼接，得到图像S'的直方图特征H，H＝[Rhist，Ghist，Bhist]。

执行步骤114：将所述测试图像库的所述直方图特征输入到所述SVM分类器中。执行步骤115：用训练好的所述模型对其进行分类。

实施例二

训练过程

(1)选取对象类图像，类标为1；挑选场景类图像，类标为0；

(2)提取每幅图像的显著图；

(3)计算每幅图像显著图的灰度直方图；

(4)将图像的灰度直方图特征和对应的类标输入到SVM进行训练，得到训练模型。

实施例三

测试过程

(1)输入测试图像库；

(2)提取测试图像库中每幅图像的显著图；

(3)计算测试图像库每幅图像显著图的直方图特征；

(4)将测试图像库的直方图特征输入到SVM分类器，用训练好的模型对其进行分类。

实施例四

在场景类图像库中，选择15场景类图像库作为例子，从中选择6幅图像，提取6幅图像的显著图。仔细观察显著图，不难发现场景类图像中不含有明显的显著区域。结果如图2所示。

实施例五

在对象类图像库中，选择牛津大学的17花库、牛津大学的102花库、Caltech 101、Caltech 256和UIUC8库作为例子。下面的图像分别来自于这5个的图像库，提取这些图像对应的显著图。观察所选图像及其对应的显著图，可以看出对象类图像中含有明显的显著区域。结果如图3所示。

图3对象类图像库中的示例图像及其显著图。第一行的原始图像为来自于17花库；第二行的原始图像为来自于102花库；第三的原始图像来自于Caltech 101库；第四行的原始图像为来自于Caltech 256库；第五行的原始图像为来自于UIUC8库。

实施例六

基于显著性的图像库类型判断方法的整体流程。

判断方法的整体流程如图4所示。整体流程分为训练过程和测试过程。

在训练阶段，首先对输入的图像库提取每幅图像的显著图。图像分为场景类图像和对象类图像。如果是对象类图像，对应的显著图的类标为1。如果是场景类图像，对应的显著图的类标为0。在训练集中，既包括程场景类图像，也包含对象类图像。对训练集中的图像显著图统计灰度直方图作为图像的特征。将这些特征和类标输入到SVM分类器训练分类模型。

在测试阶段，提取测试图像的显著图，计算显著图的灰度直方图，将灰度直方图输入到训练好的SVM中进行检测，判断图像库是对象类图像库还是场景类图像库。

实施例七

获得一幅图像直方图特征的matlab代码

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于显著性的分类图像库的类型判断方法，包括训练过程和测试过程，其特征在于，所述训练过程包括以下步骤：

步骤1：选取对象类图像，类标为1；挑选场景类图像，类标为0；

步骤2：提取每幅图像的显著图；

步骤3：计算所述每幅图像显著图的灰度直方图；

步骤4：将图像的所述灰度直方图特征和对应的类标输入到SVM进行训练，得到训练模型。

2.如权利要求1所述的基于显著性的分类图像库的类型判断方法，其特征在于：所述显著图的计算过程包括以下步骤：

步骤21：对图像I进行多尺度的区域分割；

步骤22：对每个分割区域的外观特征提取及计算显著性；

步骤23：对所述显著图进行优化；

步骤24：对不同尺度下的所述显著图进行融合。

3.如权利要求2所述的基于显著性的分类图像库的类型判断方法，其特征在于：所述步骤21为对图像I，将其在N个尺度下做分割，R＝{R_i|1≤i≤N}，其中i代表分割的尺度，i值越小，分割的尺度越小，图像分割的粒度越细。

4.如权利要求3所述的基于显著性的分类图像库的类型判断方法，其特征在于：所述外观特征包括颜色特征和纹理特征，所述颜色特征空间有RGB、HSV和L*a*b*。

5.如权利要求4所述的基于显著性的分类图像库的类型判断方法，其特征在于：所述步骤22包括分别计算所述三种颜色空间的平均颜色值和256为统计直方图特征。

6.如权利要求5所述的基于显著性的分类图像库的类型判断方法，其特征在于：采用的所述纹理特征为LBP特征和LM滤波池响应特征。

7.如权利要求6所述的基于显著性的分类图像库的类型判断方法，其特征在于：所述步骤23包括使用下面的目标函数进行所述显著图优化：

其中表示区域i优化后的显著值；s表示区域i未优化的显著值；区域i为待估计的目标区域；区域j为区域i的相邻区域；α是描述区域i与区域j空间关联关系的权重值。

8.如权利要求7所述的基于显著性的分类图像库的类型判断方法，其特征在于：所述权重值α的计算公式为

其中，R_i和R_j为分割后得到的区域，d为区域R_i和区域R_j的距离，σ²表示图像所有区域间距离的标准差。

9.如权利要求8所述的基于显著性的分类图像库的类型判断方法，其特征在于：所述区域R_i和区域R_j的距离d的定义如下：

其中，表示示区域R_i的边缘像素集合；表示区域R_j的边缘像素集合；边界强度ES(P)为区域R_i和区域R_j公共边缘中像素P点的UCM值。

10.如权利要求9所述的基于显著性的分类图像库的类型判断方法，其特征在于：所述步骤24为对于第i幅图像，在进行区域空间关联约束后，得到图像的(1......N)尺度的显著图采用线性模型将不同尺度下的显著图结果进行融合，

其中，S表示第i图像的融合显著图，S表示第i幅图像在尺度k下面的显著图，w_k表示尺度k的权重。