CN102819566A - 一种商品图像跨类目检索方法 - Google Patents

Abstract

本发明公开了一种商品图像跨类目检索方法，该方法可以对服饰类商品图像进行自动分类，从而有效减少用户交互，方便快捷，改善了用户基于商品视觉信息购物体验，本发明通过提取商品的布局和形状等特征，通过特征选择方法，对数据进行降维操作，复杂度低且分类识别率高。

Description

一种商品图像跨类目检索方法

技术领域

本发明涉及图像搜索技术领域和图像分类技术领域，尤其涉及一种基于用户交互的图像检索系统。

背景技术

在当今商品购物网站上，用户对自己商品搜索通常采用传统的文本搜索方法。但是文本信息往往很难描述出所有商品的细节，比如商品的多种视觉特性（颜色、形状和纹理等）。结合商品图像能够更为直接同时较为全面的描述商品的各种视觉特性，实现快速查找目标商品信息的导购系统。

在图像搜索技术中，对于跨类目搜索，往往不能够达到理想的效果。比如：搜索一只鞋，在搜索过程中往往会找到与之相似的其它类目的商品（如裤子）。为了改善用户的视觉搜索购物体验，采用用户选取类目的方法来提高搜索的效率和效果，但此方法又会给用户带来过于繁琐的人机交互操作。为简化用户操作，提出采用机器学习的自动分类方法，对用户指定的商品图像进行自动分类，以达到减少用户人机交互的目的。

发明内容

本发明的目的在于针对现有技术的不足，提供一种商品图像跨类目检索方法。

本发明的目的是通过以下技术方案来实现的：一种商品图像跨类目检索方法，该方法包括以下步骤：

（1）用户交互框选图片中商品区域，选择商品主体区域；

（2）对商品图片进行布局和形状特征提取，为后续图片类目识别提供特征数据；

（3）对特征数据进行融合和选择；

（4）对图片进行商品分类，得到属于各个商品类目的归属概率。

（5）对分类归属概率进行置信度评估，判断分类是否成功。

（6）进入检索流程，分析分类是否成功，并进入不同的商品库进行检索：若分类成功，则进入子商品类目库进行检索，若分类失败则进入商品全类目库进行检索。

本发明的有益效果是，本发明商品图像跨类目检索方法可以对服饰类商品(也可以应用到其它的商品类目)图像进行自动分类，从而有效减少用户交互，方便快捷，改善了用户基于商品视觉信息购物体验，本发明通过提取商品的布局和形状等特征，通过特征选择方法，对数据进行降维操作，复杂度低且分类识别率高。

附图说明

图1是系统框架图；

图2是图像分类流程图；

图3是分类器训练流程图。

具体实施方式

下面以服饰类图像的分类检索为例，结合附图对本发明做进一步详细的说明。整个系统的框架及流程如附图1所示。

本发明商品图像跨类目检索方法包括以下步骤：

步骤1：用户交互框选图片中商品区域，选择商品主体区域。

用户上传的商品图片可能存在拍摄的商品图片中含有其他非商品对象的情况，需要通过人机交互来选择商品主题区域。

在上传图像显示区域中，通过鼠标左键拖动框选出包围商品主体区域的矩形框，某些商品图像，由于商品主体的摆放可能倾斜，需要做出适当调整，可以点选角度按钮进行适当的旋转，直到商品主体正向摆放为止。

步骤2：对商品图片进行布局和形状特征提取，为后续图片类目识别提供特征数据。

在本发明中，布局构图TOPOLOGY特征采用了MPEG-7中的CLD颜色和EHD[2]纹理特征进行提取。其中，基于CLD抽取的特征向量维度为18，基于EHD抽取的特征维度为80。

在形状特征中，采用了Aude Oliva，Antonio Torralba：Modeling the Shapeof the Scene: A Holistic Representation of the SpatialEnvelope.International Journal of Computer Vision，Vol. 42(3):145-175(2001)的特征抽取方法，提取了GIST512维度的特征向量维度。

步骤3:对特征数据进行融合和选择

在上述步骤中，颜色、纹理和形状三者共提取的特征共为610维，为了将三种特征融合在一起，对其规范化处理。在实验中将5000个训练样本图像的特征抽取后，计算其均值和方差，并采用以下公式，对每一个样本进行规范化：

${\stackrel{\·}{x}}_{\mathrm{ehd}}=(x_{\mathrm{ehd}}-{\mathrm{mean}}_{\mathrm{ehd}})/{\mathrm{\δ}}_{\mathrm{ehd}},$

${\stackrel{\·}{x}}_{\mathrm{cld}}=(x_{\mathrm{cld}}-{\mathrm{mean}}_{\mathrm{cld}})/{\mathrm{\δ}}_{\mathrm{ckd}},$

${\stackrel{\·}{x}}_{\mathrm{gist}}=(x_{\mathrm{gist}}-{\mathrm{mean}}_{\mathrm{gist}})/{\mathrm{\δ}}_{\mathrm{gist}}.$

融合后的特征为一个610维的特征向量为：

${\stackrel{.}{x}}_{\mathrm{merge}}=[{\stackrel{.}{x}}_{\mathrm{ehd}},{\stackrel{.}{x}}_{\mathrm{cld}},{\stackrel{.}{x}}_{\mathrm{gist}}].$

式中，

mean_ehd、mean_cld、mean_gist分别表示对样本规范化得到的纹理、颜色、形状维度的均值；

δ_ehd、δ_cld、δ_gist分别表示对样本规范化得到的纹理、颜色、形状维度的方差；

x_ehd、x_cld、x_gist分别表示每个样本规范化前的纹理、颜色、形状特征；

x_gist分别表示每个样本规范化后的纹理、颜色、形状特征；

为规范化后每个样本的融合特征数据，由纹理、颜色、形状三个维

度规范化后的数据构成。

特征的长度过长，会使分类模型的计算复杂度变得过高同时还会影响分类器的泛化能力。本发明选择Mark A.Hall Correlation-based Feature Selectionfor Machine Learning.Hamilton.New Zealand(1999)的CFS方法作为特征选择的工具，可以将特征从融合后原始的610维降至100维，降低了数据的冗余性，而分类效果与特征选择前相比并没有下降，并减少了系统的计算复杂度，快速且有效。

步骤4：对图片进行商品分类，得到属于各个商品类目的归属概率。

用户框选的图片经过特征提取后，进入商品分类器，计算得到该商品图片隶属于各个商品类目的归属概率。分类整体流程如附图2所示，其中的分类器需要事先经过线下训练。本发明提出的分类方法可以对上衣和裙子、下衣、鞋和包四大商品类目自动分类，分类器训练具体流程如附图3所示。

通过分类器对输入的框选图片的特征进行分类识别，本发明选择Hsuan-TienLin,Chih-Jen Lin,and Ruby C.Weng:A note on Platt’s probabilisticoutputs for support vector machines.Technical report，Department ofComputer Science，National Taiwan University,(2003)的SVM作为分类器，实验中采用5000个训练样本和1000个测试样本对该分类器进行训练和实验，商品类目分类准确率可达87.6%，不同类目的分类混淆度矩阵如附表1所示。

表1：分类器分类结果（混淆矩阵）

商品类标签	包	下衣	鞋	上衣
					包	702	10	65	96
下衣	13	808	15	73

鞋	55	13	1118	60
					上衣	70	64	56	1544

步骤5：对分类归属概率进行置信度评估，判断分类是否成功。

根据分类器给出的不同类目的归属概率，需要进行置信度评估分析。基于信息熵理论计算可得到分类结果的信息熵。该值越大，认为分类结果越不可靠；反之，认为该分类结果可信度越高。本发明推荐阈值为THRD=0.2。若熵值大于该阈值，则认为分类失败，若小于该阈值则认为分类成功，选择其中分类置信度最大的商品类目作为分类任务的分类结果。

步骤:6：进入检索流程，分析分类是否成功，并进入不同的商品库进行检索。

若分类成功，则进入子商品类目库进行检索，若分类失败则进入商品全类目库进行检索，具体的搜索方法，可参见发明王海洋，黄琦，徐舒畅，郑聃，林建聪：一种基于感性认知的图像检索结果排序方法(2010)。

本发明通过用户对交互框选择商品主体，然后对商品类目进行自动分类，从而有效减少用户交互，改善用户基于商品视觉信息购物体验，本发明通过提取商品的布局和形状等特征，然后通过特征选择，对数据进行降维操作，复杂度低且分类识别率高。

Claims (1)

1.一种商品图像跨类目检索方法，其特征在于，该方法包括以下步骤：

（1）用户交互框选图片中商品区域，选择商品主体区域；

（2）对商品图片进行布局和形状特征提取，为后续图片类目识别提供特征数据；

（3）对特征数据进行融合和选择；

（4）对图片进行商品分类，得到属于各个商品类目的归属概率；

（5）对分类归属概率进行置信度评估，判断分类是否成功；

（6）进入检索流程，分析分类是否成功，并进入不同的商品库进行检索：若分类成功，则进入子商品类目库进行检索，若分类失败则进入商品全类目库进行检索。

Images