CN104866524A - 一种商品图像精细分类方法 - Google Patents

Abstract

本发明公开了一种商品图像精细分类方法，属于图像处理技术领域。本发明包括如下步骤：步骤一.输入训练样本：将分好类的商品图像分别分为训练样本与测试样本，其中训练样本通常多于测试样本；步骤二.简单预处理：主要包括将输入的RGB形式的训练样本转化为灰度图像，其次，由于图像库内的图像大小不一要将其归一化到统一大小，同时由于图像像素是在0～255的，所有需要对图像像素做除以255的简单操作，将像素统一归一化到0～1，以方便后续的运算；步骤三.提取卷积特性：采用卷积神经网络首先对训练样本进行自动提取特征，通过深层卷积网络结构的作用，从而得到深层抽象的特征。

Description

一种商品图像精细分类方法

技术领域

本发明涉及一种商品图像精细分类方法，属于图像处理技术领域。

背景技术

随着互联网的发展，电子商务的逐渐普及。电子商务网站需要通过对在线销售商品进行标注以方便用户进行搜索。但“一图胜千言”，传统的基于人工标注的方法不但费时费力，又难做到准确完整。如果在网站中设置图片分类过滤器，无疑能方便用户进行浏览。基于视觉信息的图像自动分类技术能够方便商家和用户，如进行商品自动标注和辅助图像检索。

基于视觉信息的图像自动分类是是根据图像的视觉特征对图像进行自动语义分类，需要克服类内差异、遮挡、姿态变化和背景干扰对分类带来的不利影响，目前是计算机视觉领域最具挑战的课题之一。针对商品图像分类，S.Jia等(Automatic fast classification of productimages with class-specific descriptor，Journal of Electronics(China).No.6,pp.7-10,2010.)提出了一种基于类描述的快速图像分类方法，在30类商品图像中获得了84％的正确率。Oren Boiman等(In Defense of Nearest-Neighbor Based Image Classification，Proceedings of IEEE Conference on Computer Vision and Pattern Recognition)提出了一种朴素贝叶斯最近邻的分类器NBNN，(Naive-Bayes Nearest-Neighbor)，在图像局部特征空间采用最近邻方法，计算图像-类之间的距离,并且证明了在基于贝叶斯假设下，这种分类器可以近似理论上最优的图像分类器。但由于这种方式基于穷尽搜索，当标记图像数目比较多、类别数比较大时，运行时间就会变得越来越多，很难达到实际应用的要求。同时，以上的所有方法都是基于人工提取特征进行商品图像的分类，而且都是对大规模的商品图像进行分类。

发明内容

为了克服上述的不足，本发明提供了一种商品图像精细分类方法。本发明是研究商品图像的精细分类，首先应用深度学习中的卷积神经网络自动学习商品图像深层次的抽象的特征，完全不用人为提取，其次，将自动学习到的图像特征与支持向量机相结合，以克服传统卷积神经网络训练学习时间长以及对硬件设备高的不足，最后完成对测试商品图像的分类。本发明可在保证较高正确率的情况下有效提高计算速度，适用于较大规模的商品图像精细分类。本发明要解决的技术问题是基于深度视觉特征的商品图像分类，提供了一种基于视觉信息的商品图像分类方法，这种方法提取图像的深层抽象特征，采用支持向量机方法实现类别识别。

本发明采取的技术方案如下：

一种商品图像精细分类方法，包括如下步骤：

步骤一.输入训练样本：将分好类的商品图像分别分为训练样本与测试样本，其中训练样本通常多于测试样本；

步骤二.简单预处理：主要包括将输入的RGB形式的训练样本转化为灰度图像，其次，由于图像库内的图像大小不一要将其归一化到统一大小，同时由于图像像素是在0～255的，所有需要对图像像素做除以255的简单操作，将像素统一归一化到0～1，以方便后续的运算；

步骤三.提取卷积特性：采用卷积神经网络首先对训练样本进行自动提取特征，通过深层卷积网络结构的作用，从而得到深层抽象的特征；

步骤四.转化为特征向量：卷积神经网络经过层层抽象所提取的特征是二维的，所以要将各类图像提取的特征转换为特征向量以方便分类器使用；

步骤五.SVM训练：将所得的特征描述子与支持向量机分类器相结合，分别训练出各类相应的模型；

步骤六.SVM测试：计算出每张测试图像的特征描述子发送给支持向量机，通过与所得到的模型进行逐一匹配；

步骤七.分类结果：对每张测试图像进行模型匹配，所属类别就是最匹配的模型所属的类别，将分类结果输出。

测试图像的特征描述子的产生过程包括如下步骤：

步骤一.输入测试样本：将分好类的商品图像部分样本作为测试样本

步骤二.简单预处理：与训练样本的处理方式相同主要包括图像的灰度化与图像大小与像素的归一化；

步骤三.提取卷积特性：该过程与测试图像提取特征过程一致，采用卷积神经网络首先对训练样本进行自动提取特征，通过深层卷积网络结构的作用，从而得到深层抽象的特征；

步骤四.转化为特征向量：该过程依然与对测试图像所提取特征的处理方式一致，由于卷积神经网络经过层层抽象所提取的特征是二维的，所以要将各类图像提取的特征转换为特征向量以方便分类器使用。

本发明的有益效果：

(1)能够仅根据商品图像的视觉内容实现商品的精细分类；

(2)采用深度学习中的卷积神经网络对商品图像进行多层次特征提取，以代替传统的人工提取特征。

(3)将卷积神经网络与支持向量机相结合，以克服卷积神经网络耗时长，对硬件设备要求高的不足，同时弥补支持向量机与人工特征才能达到理想分类效果的缺点。

附图说明

图1是本发明所述分类方法的示意图。

图2是本发明实施例中的卷积神经网络提取特征示意图。

图3是本发明所述分类方法的流程图。

具体实施方式

本方明的示意图如图1所示，具体实施如下：

步骤一.输入训练样本：将分好类的商品图像分别分为训练样本与测试样本，其中训练样本通常多于测试样本；获取已知类别的商品图像样本为训练图像，样本示例如表1所示。由于图像库的内每类样本数量不同，每类随机选取90～300个样本；

步骤二.简单预处理：主要包括将输入的RGB形式的训练样本转化为灰度图像，其次，由于图像库内的图像大小不一要将其归一化到统一大小，同时由于图像像素是在0～255的，所有需要对图像像素做除以255的简单操作，将像素统一归一化到0～1，以方便后续的运算；对输入样本图像进行简单预处理，为了提高运算速度，将输入的RGB图像转化为灰度图像,即灰度化处理，其次，由于图像库内的图像大小不一要将其归一化到统一大小，同时由于像素值都是在0～255，所以要将像素值做除以255的简单运算归一化到0～1的区间内以方便训练学习。

步骤三.提取卷积特性：采用卷积神经网络首先对训练样本进行自动提取特征，通过深层卷积网络结构的作用，从而得到深层抽象的特征；采用卷积神经网络提取各类的图片特征，具体过程如图2所示。

卷积神经网络的简介如下所示：

根据卷积的数学定义，其主要有标准型与离散型，其中卷积神经网络中卷积层的网络结构采用的是离散型，在卷积神经网络中表示如下公式所示：

$x_{\mathrm{\β}}^{\mathrm{\γ}}=f(\underset{\mathrm{\α}\∈M_{\mathrm{\β}}}{\mathrm{\Σ}}{x}_{\mathrm{\α}}^{\mathrm{\γ}-1}{k}_{\mathrm{\α\β}}^{\mathrm{\γ}}+b_{\mathrm{\β}}^{\mathrm{\γ}})$

其中：M_β表示输入特征的一个选择，k表示卷积核，γ表示网络的层数，b表示每个输出特征映射所添加的偏置，但是对于特定的输出映射，输入的特征映射可以应用不同的卷积核卷积而得到。f是卷积层神经网络元所用的激活函数，其中最常用的为sigmoid函数，类似的还有上文提到的双曲正切函数。

亚采样层的作用是对输入的特征映射进行采样，采样后，输入特征与输出的特征数目不会改变，但是输出特征的大小与输入特征相比会大幅减少。亚采样层的表示如下公式所示：

$x_{\mathrm{\β}}^{\mathrm{\γ}}=f(B_{\mathrm{\β}}^{\mathrm{\γ}}\mathrm{sub}\left(x_{\mathrm{\β}}^{\mathrm{\γ}-1}\right)+b_{\mathrm{\β}}^{\mathrm{\γ}})$

其中，sub(·)表示亚采样所用的函数，B和b都是输出特征的偏置。f的含义与卷积层的类似，表示亚采样层神经元的激活函数，可以取与卷积层一样的激活函数，也可以选择不用激活函数。亚采样层对得到的特征进行抽样，最常用的方法称为池化(pooling)。池化就是把输入的特征图像分割为不重叠的矩形区域，而对相应的矩形区域做运算。其中最常用的池化方法主要有均值池化(Average pooling)、最大池化(Max pooling)、随机池化(Stochastic pooling)等。对每个矩形取最大值的运算称为最大池化，取均值的运算则称为均值池化，值得注意的是随机池化，随机池化并非在池化矩阵内随机选取一个值，而是针对池化矩阵内的元素按照其概率值大小随机选择，也即数值越大而且被选中的概率越大。

下面以图2为例简要说明卷积神经网络提取特征的过程，其中所选取的卷积神经网络为5层网络，输入的图像大小为100×100，通过第一个卷积层(C1)在特征空间重构后可获得4个特征映射，每个特征映射的大小的96×96，因为所选取的卷积核的大小为5×5，特征映射是经过逐点获取的，所以经过卷积操作后每个特征映射的大小为(100-5+1)×(100-5+1)＝96×96，而经过随后亚采样层(S1)的池化作用又可以得到4个大小为48×48的特征映射，因为池化矩阵的大小为4×4，而池化矩阵之间又是不重叠的，因此池化后的特征映射大小为(96/2)×(96/2)＝48×48。同理，S1的输出就是C2的输入，C2和S2也是通过这种计算得到新的特征映射数目。S1的特征映射通过卷积后得到含有8个特征映射的C2，每个特征映射大小为20×20，其中所用的8个卷积核大小为5×5。C2通过池化作用后得到含有8个特征映射的S2，每个特征映射大小为5×5，其中所用池化矩阵大小为4×4，经过S2的降维作用后输出8个22×22大小的特征映射作为C5层的输入，通过C5以卷积核为5×5的卷积作用得到10个18×18的特征映射，最后将所学到的特征转化为特征向量输出。

步骤四.由于转化为特征向量：卷积神经网络经过层层抽象所提取的特征是二维的，所以要将各类图像提取的特征转换为特征向量以方便分类器使用；

步骤五.SVM训练：将所得的特征描述子与支持向量机分类器相结合，分别训练出各类相应的模型；将卷积神经网络自动提取的特征与支持向量机结合，完成模型的学习训练。

对支持向量机的原理如下：

支持向量机是一种典型的二分类模型，其应用十分广泛。它的基本模型是线性分类器，只是该分类器是在特征空间上定义为最大的间隔，间隔最大是与感知机最大的区别。支持向量机通过核技巧使其成为实际上的非线性分类器常见核函数包括线性核函数、多项式核函数、高斯核函数、sigmoid核函数等。本发明主要尝试高斯核函数，其中高斯核函数的表达式如下公式所示。

$K(x,z)=\exp (-\frac{{\left|\right|x-z\left|\right|}^2}{2{\mathrm{\σ}}^2})$

步骤六.SVM测试：计算出每张测试图像的特征描述子发送给支持向量机，通过与所得到的模型进行逐一匹配；由于模型已经训练成功，所以将每张测试图像所得特征描述子在支持向量机的作用下与所得模型进行匹配。

步骤七.分类结果：对每张测试图像进行模型匹配，所属类别就是最匹配的模型所属的类别，将分类结果输出；通过对每张测试图像进行模型匹配，其所属类别就是最匹配的模型所属的类别，最终将分类结果输出以完成所有测试商品图像的精细分类，整个过程的具体流程图如图3所示。

经过与训练图像一样的简单与处理过程与卷积特征提取过程，将所得特征以相同的方式转换为特征向量传给支持向量机，测试图像的特征描述子的产生过程包括如下步骤：

步骤一.输入测试样本：将分好类的商品图像部分样本作为测试样本；将分类所需的模型学习成功后，获取已知类别的商品图像样本为测试图像，由于图像库的内每类样本数量不同，每类随机选取10～50个样本；

步骤二.简单预处理：与训练样本的处理方式相同主要包括图像的灰度化与图像大小与像素的归一化；

步骤三.提取卷积特性：该过程与测试图像提取特征过程一致，采用卷积神经网络首先对训练样本进行自动提取特征，通过深层卷积网络结构的作用，从而得到深层抽象的特征；

步骤四.转化为特征向量：该过程依然与对测试图像所提取特征的处理方式一致，由于卷积神经网络经过层层抽象所提取的特征是二维的，所以要将各类图像提取的特征转换为特征向量以方便分类器使用。

下面结合附图对本发明的实施实例做详细说明,本实例以发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但发明的保护范围不限于下述的实施实例.

本文实验图库由美国宾夕法尼亚州斯沃斯莫尔学院(Swarthmore College)所属计算机科学学院(Dept.of Computer Science)的Brian Tomasik,Phyo Thiha和Douglas Turnbull三位教授整理提供。图像库主要包括5大类图像，全部是从eBay和Amazon.com网站下载的商品图像，图像分辨率为280×280左右。本文实验是针对每类商品图像做精细分类。为保证实验结果的客观性与的可靠性，实验图库包含多种方位、多种角度以及不同数量的样本。图库内样本如表1所示：

本实验在MATLAB2013a环境下，所用计算机为Windows7系统，Inter(R)Core(TM)处理器，主频2.5GHZ，内存为6G。

表1图像库的示例图像.

步骤一：将每类90～300幅图像训练支持向量机分类器，10～50幅图像进行分类测试。

步骤二：分别采用卷积神经网络提取每类90～300幅训练图像的特征；

步骤三：对提取的每类图像特征描述子使用支持向量机训练模型，每类得到相应的模型；

步骤四：同样使用卷积神经网络提取测试图像的特征描述子，使用支持向量机对每张测试图像匹配分类；

步骤五：对每类10～50幅测试图像进行分类测试，测试结果以平均每类正确率来衡量。分类结果如表2所示。

平均分类时间：0.07s/image。

表2商品图像精细分类的平均正确率

种类	平均正确率(％)
		长袖与短袖	99.0
尖头鞋与圆头鞋	97.0
		帆船鞋、棒球鞋与舞蹈鞋	94.7
圆领衫、V领衫与套衫	83.3
		系带鞋与搭扣鞋	74.0

其中每类的平均正确率如表3所示。

表3商品图像精细分类中每类的平均正确率

Claims (2)

1.一种商品图像精细分类方法，其特征在于：包括如下步骤：

步骤一.输入训练样本：将分好类的商品图像分别分为训练样本与测试样本，其中训练样本通常多于测试样本；

步骤二.简单预处理：主要包括将输入的RGB形式的训练样本转化为灰度图像，其次，由于图像库内的图像大小不一要将其归一化到统一大小，同时由于图像像素是在0～255的，所有需要对图像像素做除以255的简单操作，将像素统一归一化到0～1，以方便后续的运算；

步骤三.提取卷积特性：采用卷积神经网络首先对训练样本进行自动提取特征，通过深层卷积网络结构的作用，从而得到深层抽象的特征；

步骤四.转化为特征向量：卷积神经网络经过层层抽象所提取的特征是二维的，所以要将各类图像提取的特征转换为特征向量以方便分类器使用；

步骤五.SVM训练：将所得的特征描述子与支持向量机分类器相结合，分别训练出各类相应的模型；

步骤六.SVM测试：计算出每张测试图像的特征描述子发送给支持向量机，通过与所得到的模型进行逐一匹配；

步骤七.分类结果：对每张测试图像进行模型匹配，所属类别就是最匹配的模型所属的类别，将分类结果输出。

2.根据权利要求1所述的一种商品图像精细分类方法，其特征在于：测试图像的特征描述子的产生过程包括如下步骤：

步骤一.输入测试样本：将分好类的商品图像部分样本作为测试样本：

步骤二.简单预处理：与训练样本的处理方式相同主要包括图像的灰度化与图像大小与像素的归一化；

步骤三.提取卷积特性：该过程与测试图像提取特征过程一致，采用卷积神经网络首先对训练样本进行自动提取特征，通过深层卷积网络结构的作用，从而得到深层抽象的特征；

步骤四.转化为特征向量：该过程依然与对测试图像所提取特征的处理方式一致，由于卷积神经网络经过层层抽象所提取的特征是二维的，所以要将各类图像提取的特征转换为特征向量以方便分类器使用。