CN105809683A - 一种购物图像协同分割方法 - Google Patents

Abstract

本发明公开了一种购物图像协同分割方法,自动地对输入的包含同一服饰的多张购物图像进行协同分割，提取出图像中的服饰区域。使用人体上身检测算法与图像显著性区域检测算法定位购物图像中的前景(服饰)区域与背景区域，采用高斯混合模型对所有服饰图像的前、背景进行统一建模、并建立协同分割目标函数，然后使用最小割算法对目标函数进行迭代求解，最终得到所有图像的分割结果。本方法适合在电子商务网站和在线购物网站使用，可以消除复杂背景对图像检索带来的干扰，提高搜索引擎检索精度。

Description

一种购物图像协同分割方法

技术领域

本发明涉及图像处理以及搜索引擎技术，具体是一种针对购物网站上包含同一服饰的多张图像的协同分割方法。

背景技术

购物图像的视觉搜索是近年来学术界和工业界的研究热点，然而购物图像背景杂乱、多目标共存、物体遮挡等问题使得大规模图像搜索成为一个具有挑战性的研究课题。

电子商务和在线购物网站，如淘宝、亚马逊、腾讯拍拍等，通常存在大量包含人物(如：模特)的购物图片。顾客看到或者搜索到大量商品图像后，通过点击感兴趣的商品链接来了解该商品的细节和各方面信息。

同时为了全面展示服饰穿着效果，购物网站商家往往会向顾客展示多张同一模特穿着待售服饰的照片。这些照片通常在自然场景中拍摄，这些服饰图像可能受到背景、光线、角度、遮挡等因素影响，使得购物图像的整个场景较为复杂。这给基于内容的购物图像搜索造成了极大的困难。

本发明针对购物网站上同一服饰通常存在多张图像的情况，提出了一种新的图像协同分割方法。通过有效利用包含同一服饰的多张图像所提供的额外信息来提高图像分割准确性。本发明使用人体检测和显著性分析作为辅助信息协助定位多张图像中的服饰区域；采用概率统计模型建立多张图像统一的的前景(服饰)模型和背景模型，然后通过迭代的方式进行图像协同分割和前背景模型更新，直至目标函数收敛，最终得到多张图像的服饰分割结果，提取出多张图像所有服饰区域。本方法可以用来去除服饰图像中复杂背景对图像检索的干扰，对进一步分析购物图像内容及提高购物商品图像搜索的准确度具有极其重要的作用。

发明内容

鉴于现有技术的以上不足，本发明的目的是提供一种针对购物网站上包含同一服饰的多张图像的协同分割方法，以解决现有技术的以上不足。

为实现发明目的，本发明所采取的技术方案是：

一种购物图像协同分割方法,对包含同一服饰的多张购物图像的多张图像进行上身检测以及显著性区域协同计算，辅助确定图像中的前景区域与背景区域，并根据所有图像的前景区域与背景区域建立统一的前、背景高斯混合模型，采用迭代的方式对所有图像进行协同分割和更新前、背景高斯混合模型，直至目标函数收敛，最后得到所有图像的目标分割结果,包含如下的步骤：

1)图像上身检测：使用人体上身模型对所有图像进行检测，得到每张图像中的人体上身区域；

2)图像显著性区域协同计算：根据所有图像中的人体上身区域协同计算每张图像中可能的显著性区域，使用图像分割算法对每个可能的显著性区域进行前背景分割，然后根据每张图像的多个前背景分割结果计算图像的显著性图，最后对显著性图进行自适应二值化操作，得到每张图像的显著性区域；

3)图像区域定位：根据图像上身检测结果与显著性区域协同计算结果，为每张图像分配前景区域、背景区域和未知区域；

4)图像前、背景建模：根据步骤3)的区域定位结果为所有图像分别建立统一的前景高斯混合模型和背景高斯混合模型；

5)图像服饰区域协同分割：根据马尔可夫岁机场理论，建立所有图像的协同分割目标函数，根据所有图像统一的前、背景高斯混合模型使用最小割算法对协同分割目标函数进行优化得到协同分割结果，同时根据协同分割结果更新所有图像的前、背景高斯混合模型，然后进行下一次迭代，直至目标函数收敛，得到最终的协同分割结果。

本发明购物图像协同分割方法,自动地对输入的包含同一服饰的多张购物图像进行协同分割，提取出图像中的服饰区域。可以消除复杂背景对图像检索带来的干扰，提高搜索引擎检索精度,尤其适合在电子商务网站和在线购物网站使用。

附图说明

图1是本发明针对包含相同服饰的多张购物图像的协同分割算法流程图。

图2是服饰图像上身检测、显著性区域计算以及区域分配中间过处理程示意图。

图3是服饰图像前、背景模型更新以及协同分割迭代示意图。

图4是实施例服饰图像目标协同分割结果对照图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步详细说明，但本发明并不限于本实施例。

步骤1：图像上身检测

使用人体上身检测器对图像中的人体上身区域进行定位，得到上身区域其中i表示第i张图像。定位结果如图2第二行所示。

步骤2：图像显著性区域协同计算

针对一组服饰图像中的任意一张图像，将其他图像中的人体上身区域根据其位置及图像大小关系映射到该图像中，形成多个显著性区域候选框，如图2第三行所示。

针对图像中的每个候选框，将框外的区域视为背景区域、框内的区域视为未知区域，使用Grabcut算法对图像进行前背景分割，得到多个分割结果。将分割结果进行二值化操作并将所有二值化后的图像进行累加，得到图像的显著性图，如图2第四行所示。

最后采用自适应二值化操作对图像的显著性图进行二值化操作，得到每张图像的显著性区域显著性区域协同计算结果如图2第五行所示。

步骤3：图像区域分配

将图像上身区域以及显著性区域的相交区域视为图像的服饰区域将未包含在上身区域以及显著性区域内的图像视为背景区域将剩余的图像区域视为未知区域分配结果如图2第六行所示，其中灰色区域为前景、黑色区域为背景，白色区域为未知区域。

步骤4：图像前、背景建模

根据所有图像中的前景区域建立统一的前景高斯混合模型，根据所有图像中的背景区域建立统一的背景高斯混合模型，高斯混合模型的定义如下：

$p\left(x\right|c)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{\mathrm{\π}}_k^c}{{\left(2\mathrm{\π}\right)}^{\frac{d}{2}}{\left|{\Σ}_k^c\right|}^{\frac{d}{2}}}\·\exp \[-\frac{1}{2}{(x-{\mathrm{\μ}}_k^c)}^T{\left({\Σ}_k^c\right)}^{-1}(x-{\mathrm{\μ}}_k^c)\]$

其中K表示前景或背景高斯混合模型中高斯模型个数，c表示前景高斯混合模型(c＝1)或者背景高斯混合模型(c＝0)，x表示图像的RGB颜色值，d表示x的维度，和表示前景或者背景的第k个高斯分布的均值和协方差矩阵，表示每个高斯分布的权重。

步骤5：图像服饰区域协同分割

根据图论建立包含所有图像的无向图，其中每个像素点对应无向图中的节点，每个像素的邻域用边相连。相邻像素间的相似度作为边的权重。根据马尔可夫岁机场理论建立所有图像的吉布斯能量函数：

$E=\underset{i=1}{\overset{M}{\Σ}}U({\mathrm{\α}}^i,k^i,{\mathrm{\θ}}^i,x^i)+V({\mathrm{\α}}^i,x^i)$

其中，M表示图像个数，αⁱ∈{0，1}}，表示像素属于前景或者背景，U(·)是数据项，用来衡量高斯混合模型与实际数据之间的拟合程度，V(·)是平滑项，用来鼓励相似的像素点分配为相同的类别。具体为：

$U({\mathrm{\α}}^i,k^i,\mathrm{\θ},x^i)=\underset{n}{\Σ}(-\log p(x_n^i|{\mathrm{\α}}_n^i,k_n^i,\mathrm{\θ})-log\mathrm{\π}({\mathrm{\α}}_n^i,k_n^i\left)\right)$

p(·)是高斯分布概率值，π(·)表示高斯分布的权重，θ表示高斯混合模型的参数，k表示高斯混合模型中第k个高斯模型，n表示图像中像素点个数。

$v({\mathrm{\α}}^i,x^i)=\mathrm{\γ}\underset{(m,n)\∈N}{\Σ}\mathrm{\δ}({\mathrm{\α}}_n^i-{\mathrm{\α}}_m^i)e^{-\mathrm{\β}{\left|\left|x_m^i-x_n^i\right|\right|}^2}$

仅当时，δ(·)＝1，否则δ(·)＝0,||·||²表示两个相邻像素和之间的欧式距离。

建立好前、背景高斯混合模型后，使用最小割算法以迭代的方式对目标函数E进行优化。根据每次优化后得到的分割结果更新前背景高斯混合模型，然后进行下一次迭代，直至目标函数收敛，最终得到所有图像的分割结果。更新前景高斯混合模型以及协同分割的迭代过程如图3所示。最终的分割结果如图4所示。

Claims (1)

1.一种购物图像协同分割方法,对包含同一服饰的多张购物图像的多张图像进行上身检测以及显著性区域协同计算，辅助确定图像中的前景区域与背景区域，并根据所有图像的前景区域与背景区域建立统一的前、背景高斯混合模型，采用迭代的方式对所有图像进行协同分割和更新前、背景高斯混合模型，直至目标函数收敛，最后得到所有图像的目标分割结果,包含如下的步骤：

1)图像上身检测：使用人体上身模型对所有图像进行检测，得到每张图像中的人体上身区域；

2)图像显著性区域协同计算：根据所有图像中的人体上身区域协同计算每张图像中可能的显著性区域，使用图像分割算法对每个可能的显著性区域进行前背景分割，然后根据每张图像的多个前背景分割结果计算图像的显著性图，最后对显著性图进行自适应二值化操作，得到每张图像的显著性区域；

3)图像区域定位：根据图像上身检测结果与显著性区域协同计算结果，为每张图像分配前景区域、背景区域和未知区域；

4)图像前、背景建模：根据步骤3)的区域定位结果为所有图像分别建立统一的前景高斯混合模型和背景高斯混合模型；

5)图像服饰区域协同分割：根据马尔可夫岁机场理论，建立所有图像的协同分割目标函数，根据所有图像统一的前、背景高斯混合模型使用最小割算法对协同分割目标函数进行优化得到协同分割结果，同时根据协同分割结果更新所有图像的前、背景高斯混合模型，然后进行下一次迭代，直至目标函数收敛，得到最终的协同分割结果。