CN107016409A - 一种基于图像显著区域的图像分类方法和系统 - Google Patents

Abstract

本发明公开了一种基于图像显著区域的图像分类方法和系统，其中方法的实现包括离线训练和在线测试部分，其中离线训练部分包括对图像进行超像素分割得到多尺度下的分割块，计算分割块的特征对比度得到目标显著图；对目标显著图进行阈值分割得到二值图像，对二值图像作形态学处理，利用分割算法对目标显著图进行自动分割提取得到显著区域；将显著区域输入到卷积神经网络中训练，得到基于图像显著区域的图像分类器；在线测试部分包括对测试图像进行显著区域自动分割提取，然后将测试图像的显著区域图像输入到训练好的图像分类器，进行图像分类，得到图像类别标记。本发明在保证分割结果的前提下，减少人工交互的工作量，提高了图像分类的准确率。

Description

一种基于图像显著区域的图像分类方法和系统

技术领域

本发明属于图像内容分类及检索领域，更具体地，涉及一种基于图像显著区域的图像分类方法和系统。

背景技术

随着计算机与数字信息技术的不断发展，每天都有大量的数字图像通过各种渠道出现在人们的生活中。图像是对客观事物的一种相似性或者生动性的描述，是人类社会活动中最常用的信息载体，它作为人们最主要的信息来源，正在以各种各样的方式渗透到人们的工作、学习和生活中。在图像分类和检索等图像处理和分析的过程中，传统的方法大都会对图像的全图信息进行描述和分析，然而对图像的全图描述有时会包含干扰信息，比如针对包含显著区域的图像而言，图像的显著区域信息可以体现图像类别，而对背景信息的考虑会对图像分类和检索性能造成影响。

对于包含显著区域的图像而言，要想获取图像显著区域信息，往往需要定位或者分割提取出图像显著区域，目前提出的分割提取图像显著区域的方法可以分为两类：基于人工标注的交互式分割提取和基于图像显著性检测的自动分割提取。由于互联网图像数据量非常庞大，交互式分割方法耗时费力；而基于图像显著度的自动分割应用于背景较复杂的图像时，存在区域边界处划分准确率低或者误将目标区域划分成背景的局限。

图像分类是对互联网上庞大的图像资源进行组织、管理和检索的关键技术。目前图像分类大多基于全图实现，当图像语义类别相同但背景不同时，底层视觉特征一般不相似，针对这种图像训练图像分类器，分类性能会受背景信息的影响，从而使得图像分类准确率降低。而在不同拍摄条件下获取的图像，例如智能手机和平板电脑的图像，会出现底层视觉特征十分相似但语义类别明显不同的情况，仅仅基于底层视觉特征很难实现有效分类。因此针对包含显著区域的图像而言，图像类别往往由图像显著区域信息表现，基于原图进行图像类别判断会出现信息干扰，影响分类准确度。

发明内容

本发明针对上述现有技术的不足，提出一种基于图像显著区域的图像分类方法和系统，本发明的目的在于保证分割结果的前提下，减少人工交互的工作量，提高了图像分类的准确率。

为实现上述目的，按照本发明的一个方面，提供了一种基于图像显著区域的图像分类方法，包括离线训练和在线测试部分：

离线训练部分包括以下步骤：

S1：对图像进行N次超像素分割得到图像N层尺度下的分割块，计算图像的N层尺度下分割块的特征对比度得到N个显著图，融合N个显著图得到目标显著图；

S2：对目标显著图进行阈值分割得到二值图像，然后对该二值图像分别作形态学处理得到图像标记，然后基于图像标记利用分割算法对目标显著图进行自动分割提取得到显著区域；

S3：将显著区域作为训练样本输入到卷积神经网络中训练，得到基于图像显著区域的图像分类器；

在线测试部分包括以下步骤：

S4：测试图像按照步骤S1和S2的方式完成测试图像的显著区域自动分割提取，然后将测试图像的显著区域图像输入到离线训练好的图像分类器，图像分类器输出图像分类结果。

进一步的，S1中的特征对比度为色彩对比度、空间对比度和纹理对比度中的一种或几种。

更进一步的，S1中的特征对比度为色彩对比度和空间对比度。

进一步的，S2中阈值设定为W和H为目标显著图S的长和宽，(x,y)为目标显著图内像素点的坐标。

进一步的，S2中分割算法为GrowCut算法、GraphCut算法和GrabCut算法中的任意一种。

更进一步的，S2中分割算法为GrowCut算法。

进一步的，S3中卷积神经网络为AlexNet网络、LeNet网络、GoogLeNet网络、VGG网络和ResNet网络中的任意一种。

更进一步的，S3中卷积神经网络为AlexNet网络。

进一步的，S3中AlexNet网络通过来少量的权重衰减减小训练误差，其中权重更新规则为：

其中i是迭代次数，v是动力变量，ε是学习率，是对ω_i求值的倒数在第i批样本D_i上的平均值，ω_i表示第i次迭代后的权重，ω_i+1表示第i+1次迭代后的权重，v_i表示第i次迭代后的动力变量，v_i+1表示第i+1次迭代后的动力变量。

按照本发明的另一个方面，提供了一种基于图像显著区域的图像分类系统，包括离线训练模块和在线测试模块：

所述离线训练模块包括以下子模块：

多尺度显著性检测子模块，用于对图像进行N次超像素分割得到图像的N层尺度下的分割块，计算图像的N层尺度下分割块的特征对比度得到N个显著图，融合N个显著图得到目标显著图；

显著区域子模块，用于对目标显著图进行阈值分割得到二值图像，然后对该二值图像分别作形态学处理得到图像标记，然后基于图像标记利用分割算法对目标显著图进行自动分割提取得到显著区域；

分类器子模块，用于将显著区域作为训练样本输入到卷积神经网络中训练，得到基于图像显著区域的图像分类器；

所述在线训练模块包括：

图像分类子模块，用于对测试图像通过多尺度显著性检测子模块和显著区域子模块完成测试图像的显著区域自动分割提取，然后将测试图像的显著区域图像输入到训练好的图像分类器，进行图像分类，得到图像类别标记。

本发明与现有方法相比具有如下优点：

(1)对目标显著图进行阈值分割得到二值图像，然后对该二值图像分别作形态学处理，然后利用分割算法，提高了自动分割提取得到显著区域的准确率，在保证分割结果的前提下，减少人工交互的工作量。

(2)将显著区域作为训练样本输入到卷积神经网络中训练，得到基于图像显著区域的图像分类器，提高了图像分类的准确率。

附图说明

图1是一种基于图像显著区域的图像分类方法的流程图；

图2是一种基于图像显著区域的图像分类系统的结构示意图；

图3(a)是本发明实施例的第一测试图像；

图3(b)是本发明实施例的第一测试图像，利用本专利方法得到的显著区域图；

图4(a)是本发明实施例的第二测试图像；

图4(b)是本发明实施例的第二测试图像，利用本专利方法得到的显著区域图；

图5(a)是本发明实施例的第三测试图像；

图5(b)是本发明实施例的第三测试图像，利用本专利方法得到的显著区域图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种基于图像显著区域的图像分类方法，包括离线训练和在线测试部分：

其中，离线训练部分包括以下步骤：

S1：首先对图像进行N次超像素分割得到图像的N层尺度下的分割块，计算图像的N层尺度下分割块的特征对比度得到N个显著图，融合N个显著图得到目标显著图。

不同尺度下的超像素分割块大小不同。每层图像的尺度大小计算公式为：

其中R_t×t表示一个t×t的分割块中像素点个数。R表示预设尺度值，计算每层图像尺度，再确认图像每层尺度下的图像显著图。图像显著图通过计算分割块特征对比度得到。

进一步的，特征对比度为色彩对比度、空间对比度和纹理对比度中的一种或几种。

优选的特征对比度为色彩对比度和空间对比度。

图像中R_i分割块的色彩对比度C_i由总共n个分割块的色彩加权得到：

其中c_i和c_j分别代表分割块R_i和R_j的色彩信息，ω(R_j)是区域R_j的像素点个数，ψ(i,j)为控制系数，设定为exp{-D(R_i,R_j)/σ²}，用来控制区域R_i和R_j之间空间距离的对色彩对比度的影响，D(R_i,R_j)为区域中心间的欧氏距离，参数σ设为0.2。而空间对比度H_i的计算公式如下：

其中{x₀,x₁,...}是区域R_i中像素点的坐标，x_c是区域中心的坐标，μ为预设值。

通过上面公式计算出每层图像的显著图后，融合不同尺度下的显著图获得最终的目标显著图。

优选的，本发明首先对图像进行3次超像素分割得到图像的3层尺度下的分割块，计算图像的3层尺度下分割块的特征对比度得到3个显著图，融合3个显著图得到目标显著图。

S2：对目标显著图进行阈值分割得到二值图像，然后对该二值图像分别作形态学处理得到图像标记，然后基于图像标记利用分割算法对目标显著图进行自动分割提取得到显著区域

阈值设定为W和H为显著图S的长宽值，(x,y)为目标显著图内像素点的坐标，然后对该二值图像做形态学上的腐蚀，剩下为“1”的像素点作为显著区域的标记，二值图像膨胀后外围为“0”的像素点作为背景区域的标记。这样的标记方法能够在保证几乎没有误标记的前提下，尽量正确的提供对象和背景标记点。

完成图像标记之后使用分割算法使得图像显著区域标记为“1”的像素点保留原始图像色彩，背景区域标记为“0”的像素点为黑色。

S2中分割算法为GrowCut算法、GraphCut算法和GrabCut算法中的任意一种。

优选的，本发明的分割算法为GrowCut算法，其中采用了邻域系统，通常邻域系统包括冯·诺依曼邻域和摩尔领域两种。

Growcut算法把图像像素点定义了一个三元的状态，l_p为当前图像像素点的标记，θ_p为当前图像像素点的“力量”，为当前图像像素点的特征向量，为了不失去一般性，普遍采用θ_p∈[0,1]。一幅数字图像一般可以被看作一个二维数组，包含k×m个像素。像素点空间P由图像这个k×m的数组确定，对于的初始状态则由下面的式子共同确定：

其中，RGB_p为像素点p的RGB色彩空间内的三维向量，分割的最终目的是给予每个像素点以某一种特定的标记。原始的像素点分割算法中，用户首先需要指定分割的种子像素，根据用户标记的种子像素点，从而设置像素点标记获得初始值。本发明中利用显著图实现图像像素点标记，然后像素点自动增长、合并，完成图像分割，图像显著区域标记为“1”的像素点保留原始RGB值，背景区域标记为“0”的像素点RGB值为0；最终图像显著区域标记为“1”的像素点保留原始图像色彩，背景区域标记为“0”的像素点为黑色。

S3：将显著区域作为训练样本输入到卷积神经网络中训练，得到基于图像显著区域的图像分类器。

使用卷积神经网络(CNN)对图像显著区域图进行训练。卷积神经网络为AlexNet网络、LeNet网络、GoogLeNet网络、VGG网络和ResNet网络中的任意一种。

优选的，S3中卷积神经网络为AlexNet网络。

并用样本图像显著区域对网络微调。做网络训练之前，需要准备好训练和测试数据，本发明将图像库中图像通过S1和S2提取图像显著区域，然后对不同类别的图像进行图像类别标记。准备好图像样本之后，输入CNN网络进行分类器训练。

CNN网络包括八个网络层；前五层是卷积层，剩下三层是全连接层。最后一个全连接层的输出被送到一个Softmax层，其产生一个覆盖数据类别数目的标签的分布。这个网络使得多分类的逻辑回归目标最大化，这相当于在预测分布下，最大化正确标记训练样本的对数概率平均值。

第一层卷积层利用96个大小为11×11×3、步长为4个像素(一个卷积核中邻近神经元的感受野中心的距离)的卷积核，来对大小为224×224×3的输入图像显著区域进行滤波。第二层卷积层把第一个卷积层的(响应归一化及池化的)输出作为自己的输入，且利用256个大小为5×5×48的卷积核对其进行滤波。第三、第四和第五层卷积层彼此相连，这三层中间没有池化层与归一化层。第三个卷积层有384个大小为3×3×256的卷积核被连接到第二层卷积层的(归一化的、池化的)输出。第四层卷积层拥有384个大小为3×3×192的卷积核，第五层卷积层有256个大小为3×3×192的卷积核。全连接层都各有4096个神经元。

AlexNet网络的初始值为在Imagenet图像库中训练好的网络参数值，通过迭代更新网络参数，最后得到训练好的图像分类器。

本发明所用的Alexnet神经网络结构有6000万个参数。网络初始值为在Imagenet图像库中训练好的网络参数值，网络参数值输入到网络中作为网络初始值，并输入图像显著区域以及图像类别标注，使用随机梯度下降法来训练Alexnet神经网络得到基于图像显著区域的图像分类器。由于少量的权重衰减可以减小模型的训练误差，因此对于权重的更新规则为：

ω_i+1:＝ω_i+v_i+1(6)

其中i是迭代次数，v是动力变量，ε是学习率，是对ω_i求值的倒数在第i批样本D_i上的平均值，ω_i表示第i次迭代后的权重，ω_i+1表示第i+1 次迭代后的权重，v_i表示第i次迭代后的动力变量，v_i+1表示第i+1次迭代后的动力变量。

其中，在线测试部分包括以下步骤：

S4：对测试图像，首先通过S1和S2完成测试图像的显著区域自动分割提取，然后将测试图像的显著区域图像输入到训练好的图像分类器，进行图像分类，得到图像类别标记。

综上所述，针对包含显著区域的图像数据，本发明设计了一种自动分割提取图像显著区域的算法，通过显著区域分割提取保留图像显著信息过滤背景信息。本发明直接利用显著区域训练图像分类器，显著区域有效地保存了图像的显著信息，并且消除了图像背景干扰信息，是一种可行的图像类别检测方法。

如图2所示，按照本发明的另一个方面，提供了一种基于图像显著区域的图像分类系统，包括离线训练模块和在线测试模块：

所述离线训练模块包括以下子模块：

多尺度显著性检测子模块，用于对图像进行N次超像素分割得到图像的N层尺度下的分割块，计算图像的N层尺度下分割块的特征对比度得到N个显著图，融合N个显著图得到目标显著图；

显著区域子模块，用于对目标显著图进行阈值分割得到二值图像，然后对该二值图像分别作形态学处理得到图像标记，然后基于图像标记利用分割算法对目标显著图进行自动分割提取得到显著区域；

分类器子模块，用于将显著区域作为训练样本输入到卷积神经网络中训练，得到基于图像显著区域的图像分类器；

所述在线训练模块包括：

图像分类子模块，用于对测试图像通过多尺度显著性检测子模块和显著区域子模块完成测试图像的显著区域自动分割提取，然后将测试图像的显著区域图像输入到训练好的图像分类器，进行图像分类，得到图像类别标记。

以下通过实验来验证本发明的有效性：

本实验选用ImageNet中的三类具有显著区域的图像：老虎、豹子和猫。这三类图像同属于猫科动物，具有很强的相似性，我们测试本发明的方法将它们区分的效果并与原始基于全图训练的分类器效果作对比，本实验的图像数据如表1所示。

表1：图像数据

类别	图像总数	训练图像数	测试图像数
				老虎tiger	600	500	100
豹子leopard	600	500	100
				猫cat	600	500	100

分类器评价指标：利用测试图像检测的准确度P。

实验结果：

本实验的网络参数如下：网络测试时的测试迭代次数test_iter为20，test_interval为90表示训练时迭代90次进行一次测试，基础学习率base_lr设置为0.0001，display为20表示每迭代20次在日志文件打印一次loss值，最大训练迭代次数为max_iter:2000，学习率下降策略lr_policy为"step"方式，参数gamma设置为0.1，冲量单元momentum为0.9，权值衰减项weight_decay设为0.0005。

从主观的角度分析本专利图像显著区域分割的实验结果，本专利的方法能够有效的提取图像的显著区域。通过2000次迭代后，分类器的分类准确度结果见表2。由于卷积神经网络的发展，基于深度学习的图像分类准确度已经达到了很高的准确度，因此在如此高准确度的基础上进一步提高分类的性能难度较大，而由表2可以看出，相对与基于原图训练的方法，本专利的方法在分类准确度上仍能有一定的提升。表3给出了测试图像的直观分类结果，表中列出了分类器对测试图像属于不同类别的概率值，结果显示本专利的方法分类准确度更高。

表2：分类准确度

	分类准确度
		本专利的方法	98.44％
基于原图训练的方法	97.81％

表3：分类结果直观对比

(注：上述表格中图像为彩色图像，此处由于专利说明书要求，改为灰度图显示)

综上所述，本发明与经典基于原图训练分类器的方法比较可知，从主观视觉，本发明有效提取了图像的显著区域，保留显著区域信息。客观评价指标上，本发明的分类方法提升了分类准确度，因此基于图像显著区域训练图像分类器的方法有效的学习显著信息，过滤无关背景信息对分类结果的干扰。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像显著区域的图像分类方法，其特征在于，包括离线训练和在线测试部分：

所述离线训练部分包括以下步骤：

S1：对图像进行N次超像素分割得到图像N层尺度下的分割块，计算图像的N层尺度下分割块的特征对比度得到N个显著图，融合N个显著图得到目标显著图；

S2：对目标显著图进行阈值分割得到二值图像，然后对该二值图像分别作形态学处理得到图像标记，然后基于图像标记利用分割算法对目标显著图进行自动分割提取得到显著区域；

S3：将显著区域作为训练样本输入到卷积神经网络中训练，得到基于图像显著区域的图像分类器；

所述在线测试部分包括以下步骤：

S4：测试图像按照步骤S1和S2的方式完成测试图像的显著区域自动分割提取，然后将测试图像的显著区域图像输入到离线训练好的图像分类器，图像分类器输出图像分类结果。

2.根据权利要求1所述的一种基于图像显著区域的图像分类方法，其特征在于，所述S1中的特征对比度为色彩对比度、空间对比度和纹理对比度中的一种或几种。

3.根据权利要求2所述的一种基于图像显著区域的图像分类方法，其特征在于，所述S1中的特征对比度为色彩对比度和空间对比度。

4.根据权利要求1所述的一种基于图像显著区域的图像分类方法，其特征在于，所述S2中阈值设定为W和H为目标显著图S的长和宽，(x，y)为目标显著图内像素点的坐标。

5.根据权利要求1所述的一种基于图像显著区域的图像分类方法，其特征在于，所述S2中分割算法为GrowCut算法、GraphCut算法和GrabCut算法中的任意一种。

6.根据权利要求5所述的一种基于图像显著区域的图像分类方法，其特征在于，所述S2中分割算法为GrowCut算法。

7.根据权利要求1所述的一种基于图像显著区域的图像分类方法，其特征在于，所述S3中卷积神经网络为AlexNet网络、LeNet网络、GoogLeNet网络、VGG网络和ResNet网络中的任意一种。

8.根据权利要求7所述的一种基于图像显著区域的图像分类方法，其特征在于，所述S3中卷积神经网络为AlexNet网络。

9.根据权利要求8所述的一种基于图像显著区域的图像分类方法，其特征在于，所述S3中AlexNet网络通过来少量的权重衰减减小训练误差，其中权重更新规则为：

其中i是迭代次数，v是动力变量，ε是学习率，是对ω_i求值的倒数在第i批样本D_i上的平均值，ω_i表示第i次迭代后的权重，ω_i+1表示第i+1次迭代后的权重，v_i表示第i次迭代后的动力变量，v_i+1表示第i+1次迭代后的动力变量。

10.一种基于图像显著区域的图像分类系统，其特征在于，包括离线训练模块和在线测试模块：

所述离线训练模块包括以下子模块：

多尺度显著性检测子模块，用于对图像进行N次超像素分割得到图像的N层尺度下的分割块，计算图像的N层尺度下分割块的特征对比度得到N个显著图，融合N个显著图得到目标显著图；

显著区域子模块，用于对目标显著图进行阈值分割得到二值图像，然后对该二值图像分别作形态学处理得到图像标记，然后基于图像标记利用分割算法对目标显著图进行自动分割提取得到显著区域；

分类器子模块，用于将显著区域作为训练样本输入到卷积神经网络中训练，得到基于图像显著区域的图像分类器；

所述在线训练模块包括：

图像分类子模块，用于对测试图像通过多尺度显著性检测子模块和显著区域子模块完成测试图像的显著区域自动分割提取，然后将测试图像的显著区域图像输入到训练好的图像分类器，进行图像分类，得到图像类别标记。