CN103049512A - 一种基于商品图像显著图分块加权匹配检索方法 - Google Patents

Abstract

本发明公开了一种基于商品图像显著图分块加权匹配检索方法，该方法通过对用户输入的商品查询图像采用主动分块策略，计算出各个块图像的特征，然后提取查询图像的商品主体显著图，根据显著图计算各个块特征在匹配度量时权值系数，本发明突出了商品主体在匹配中的作用，提高了查全率和查准率，同时在应用中表现了良好的稳健性。

Description

一种基于商品图像显著图分块加权匹配检索方法

技术领域

本发明涉及图像搜索技术领域和模式识别图像处理领域，尤其涉及一种基于商品显著图分块加权匹配检索方法和系统。

背景技术

随着多媒体信息技术和互联网技术的发展，特别是大规模数字图像库的出现，图像信息越来越得到重视。而如何管理飞速增长的图像信息，并从海量的图像集合中快速有效的查找出人们感兴趣的图像成为了具有广泛实际意义的工作。

早期的图像检索是基于文本的图像检索(Text_Based Image Retrival)，然而这种检索方法存在很大的局限性，图像丰富所包含的视觉特征往往无法用文本进行客观的描述，

基于内容的图像检索技术(Context_Based Image Retrieval)利用图像自身包含的丰富的视觉特征，提取所蕴含的各种有用信息进行检测，不仅可以实现自动提取图像信息，且提取的图像信息更加稳定。

当用户上传一幅商品图像并期望搜寻与该图相同或相近的商品时，用户更关注商品本身，如T恤、风衣、靴子、卫衣、半身裙、裤子、包包、连衣裙等，且该商品区域最能表现用户的视觉注意程度，从人类视觉感知模型的角度看，用户感兴趣的区域一定是图像或视频中的显著性区域。为了改善用户的视觉搜索体验，使用户购物体验更友好，需要对用户重点关注的“感兴趣区域”进行重点分析。

使用全局特征如颜色、纹理、形状等进行图像检索时，对图像的前景和背景不区分处理，导致不能反映图像中用户真正关注内容，只能比较图像全局统计相似性，从而导致检测效果不佳。

为了克服全局特征在描述图像内容上的不足，现在基于区域的图像检索方法被提出，但是没有突出用户关注的图像部分，可能导致检索出用户不满意的图像。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于商品图像显著图分块加权匹配检索方法。

本发明的目的是通过以下技术方案来实现的。一种基于商品图像显著图分块加权匹配检索方法，包括如下步骤：

（1）对商品查询图像采用主动分块策略，分为上、下、左、右、图像中心块5个子块和全图块，共6个块图像，并提取出每个块的全局特征，包括形状、布局等特征；

（2）对步骤1中的商品查询图像提取显著图，该图表示为各个点的像素值为商品主体的置信度分值，该值越高，则为商品主体的概率越大；

（3）对步骤1中的各个块特征在检索度量时占有的权重进行计算，利用步骤2）中的显著图，通过块内度量均值在所有子块中的占有比率，得到每个块特征数据在度量中的所占的权重系数；

（4）在商品图像库中进行检索匹配，利用每个块的全局特征和其权重系数，采用加权匹配度量距离，计算用户输入的商品图像通过库中的商品图像的相似度；

（5）结果输出，对各个维度按照相似度大小的顺序显示给用户。

本发明的有益效果是，采用对输入的商品查询图像进行主动分块提取全局特征，然后提取出图像中各个像素点为商品主体的置信度，即显著图，在匹配计算相似度量时，根据该主体区域的分布，主动对每个块内的特征进行加权匹配度量，从而提高了图像中商品的相似性、检索的查全率和查准率，增强了稳健性。

附图说明

图1是基于商品图像显著图分块加权匹配检索方法的流程图。

具体实施方式

下面结合附图详细描述本发明，本发明的目的和效果将变得更加明显。

如图1所示，本发明基于商品图像显著图分块加权匹配检索方法包括如下步骤：

步骤1：商品图像特征的提取，为后续图像检索匹配提供特征数据。

首先对用户上传的商品查询图像采用主动分块的策略，分别提取为原图1/2大小的上、下、左、右、中心等5个子图像块和原图共6幅图像的视觉特征。

视觉特征主要包括形状特征和布局特征，本专利中采用的图像的形状特征提取方法为：首先将彩色图像转化为灰度图像。采用了Aude Oliva，AntonioTorralba：Modeling the Shape of the Scene:A Holistic Representationof the Spatial Envelope.International Journal of Computer Vision，Vol.42(3):145-175(2001)的GIST特征方法，提取了512维度的特征向量维度，并对数据进行降维为53维度，6幅块图像形状特征数据长度为为318维。

布局构图TOPOLOGY特征采用MPEG-7中的CLD颜色和EHD纹理特征进行提取。其中，基于CLD抽取的特征向量维度为12，基于EHD抽取的特征维度为80，即每个块的布局特征长度为92维度，6幅图像的布局特征数据长度总计为552维度。

步骤2：商品图像的显著图提取，计算出图像中像素点为商品主体的置信度。

本专利采用了Jian Sun，Beijing(CN);TieLiu，Shaanxi(CN);Xiaoou Tang，Beijing(CN);Heung-Yeung Shum，Beijing(CN).SALIENT OBJECT DETECTION[P].Patent No.:US 7940985 B2，Date of Patent:May 10，2011.所述方法，利用商品图像中颜色分布概率和颜色空间信息以及商品主体分布特点，削弱背景颜色，增强主体颜色，定位出用户感兴趣的商品主体部分，得到商品图像的显著图，该图中的每个像素点值的大小表征了该点为商品主体的置信度分数，该值越大，则该点为商品主体的概率越大。

步骤3：计算每个块特征数据在匹配度量时的权重系数。

在步骤2中得到了商品图像的显著图，表征了用户关注的商品主体的位置分布情况，然后对步骤1中的各个块中所含有商品主体的概率进行计算，概率越大，该图像块特征在匹配度量时的权重系数越大，在本专利中，概率值等同于权重系数值，为了保持检测的稳健性，原输入查询图像块的概率系数w_main，在实验中默认设置为0.3，其他5个子分块的权重系数计算为：

首先计算每个块图像在对应的显著图中的区域内的平均显著置信度；

然后按照下面公式来计算每个块在后续匹配度量中的权重系数

$w_i=\frac{\mathrm{mean}\_{\mathrm{block}}_i}{\underset{j=1}{\overset{5}{\mathrm{\Σ}}}\mathrm{mean}\_{\mathrm{block}}_j}*(1-w_{\mathrm{main}}),$

式中，w_i为第i个子块权重系数，mean_block_j为第j个子块的平均置信度分数。

步骤4：使用各维度数据同图像库中的数据进行匹配度量。

根据步骤1得到的各个块的形状和布局维度，利用步骤3中计算出来的各个块特征数据在匹配度量时的权重系数，本专利对各个维度向量中分别采用欧式距离进行距离度量，查询图像I_q和库中图像I_m的度量距离D(I_q,I_m)为

$D(I_q,I_m)=\underset{i=1}{\overset{6}{\mathrm{\Σ}}}{w}_i*D_i$

式中，D_i为第i个子块的形状和布局维度，度量距离越小，表示该图与输入的检测商品图越相似。

步骤5各个维度按照相似度大小，显示给用户。

在步骤4中，分别得到了形状和布局维度同库中图像的相似度距离，由于不同用户关注商品的特征不同，同时分别把两个维度按照距离由小到大的规则显示给用户。

本专利通过采用主动分块策略对图像视觉特征进行提取，然后针对商品图像提取主体的显著图，通过显著图像计算得到各个块所占有的商品主体概率权重，在匹配计算相似度量时，根据该主体区域的分布，主动对每个块内的特征进行加权匹配度量，从而提高了图像中商品的相似性、检索的查全率和查准率，增强了稳健性。

Claims (1)

1.一种基于商品图像显著图分块加权匹配检索方法，其特征在于：包括如下步骤：

（1）对用户输入的商品查询图像主动分块，分为上、下、左、右、图像中心块5个子块和全图块，共6幅块图像，并提取出每幅块的全局特征，包括形状和构图布局等维度特征；

（2）对用户上传的商品查询图像提取显著图，图中的每个像素点值的大小表征了该点为商品主体的置信度分数，该值越大，则该点为商品主体的概率越大；

（3）对步骤（1）中的各个块特征在检索度量时占有的权重进行计算，利用步骤（2）中的显著图，利用各个块内置信度均值在所有子块中占有的比率，按照主体区域在块中出现的概率大小，得到每个块特征数据在度量中的所占的权重系数；

（4）在商品图像库中进行检索匹配，利用每个块的全局特征和其权重系数，采用加权匹配距离度量，计算输入的查询图像和库中的商品图像的相似度；

（5）将步骤（4）中的结果，分别按照各个维度的相似度大小的顺序显示给用户。

Images