CN102779270B - 一种针对购物图像搜索的目标衣物图像提取方法 - Google Patents

Abstract

本发明公开了一种针对购物图像搜索的目标衣物图像提取方法，用于在含单个人物和多个人物的购物商品图像中进行主体目标衣物图像提取。本算法考虑了人物的人脸位置，将肤色和人脸检测作为辅助信息协助定位衣物区域，采用统计概率模型分析衣物和图像背景，同时考虑了图像的空间信息使得模型更准确。本算法不仅适用于含单人物(模特)的购物图像，同样适用于含有多人物(模特)的购物图像，可以准确提取出每个人物(模特)身上的衣物商品。本发明方法尤其适合在电子商务和在线购物网站使用，消除复杂图像背景的影响，辨识和分析主体目标图像，为购物图像搜索引擎服务。

Description

一种针对购物图像搜索的目标衣物图像提取方法

所属技术领域

本发明涉及图像处理以及搜索引擎技术领域，具体是一种针对购物图像中主体目标/商品（包括：衣物、包、鞋等商品）的提取方法。

背景技术

基于内容的购物图像搜索是近年来学术界和工业界的研究热点，然而图像背景杂乱、多目标共存、物体遮挡等问题使得大规模图像搜索成为一个具有挑战性的研究课题。

电子商务和在线购物网站通常存在大量包含人物（如：模特）的购物图片。为了吸引顾客，商家往往会邀请模特穿上待售的衣物进行拍摄，使得购物图片不仅包含了衣物本身，还包含背景和人物等其它噪音。由于购物图像在自然场景下受到背景、光线、角度、遮挡、人物、环境噪音等因素的影响，使得图像的整个场景较为复杂。这给基于内容的购物图像搜索造成了极大的困难。同时，用户更关注模特身上的主体衣物而不关心图像中其它的内容。因此如何有效地从购物图片中提取用户真正感兴趣的商品，即模特身上的衣物，保留最核心的商品目标，去除噪音，对进一步分析图像内容及提高购物商品图像搜索的准确度具有极其重要的作用。

发明内容

鉴于现有技术的以上缺点，本发明的目的是，提供一种提取购物商品图像中人物身上商品（如衣物）的方法。使之利用人脸和肤色检测作为辅助信息，通过统计概率模型估计前景衣服和背景的概率，结合空间概率一致性，自动提取人物身上的衣物商品，适用于含单个人物和多个人物的购物图像商品提取。

本发明的目的是通过如下的手段实现的。

一种针对购物图像搜索的目标衣物图像提取方法，用于在含单个人物和多个人物的购物商品图像中进行主体目标衣物图像提取，其特征在于，对所述复杂购物图像，借助人脸和肤色检测，辅助确定前景和背景模型，使得算法更准确地提取衣服部分，降低图像中噪声的干扰，包含如下的步骤：

1）图像预处理：对复杂图像进行降低图像中噪声干扰的预处理；

2）人脸和肤色检测：

对1）预处理过后的图像进行人脸检测和肤色检测，采用椭圆模型和高斯模型结合的方法检测出肤色区域，即：对图像分别用单高斯肤色模型和椭圆模型肤色检测以后再将两个检测结果的交集作为肤色检测的最终结果，使用Adaboost人脸检测算法在肤色区域定位人脸，确定人脸区域；

3）衣物初定位：

对2）所获得到的人脸区域之外的区域进行辨析，分出身体躯干区域和身体活动区域；衣物初定位的结果是身体躯干部分的衣物；

4）建立衣物模型和背景模型：

根据步骤3）得到的三个区域，建立衣物模型和背景模型；

a)建立衣物模型：将躯干活动区域去除步骤2得到的肤色区域作为衣物样本集，建立衣物的高斯混合模型，求出每个像素点是衣物的概率；

b)建立背景模型：将模特的身体活动区域以外的部分加上身体躯干区域中的肤色区域作为背景样本集，建立背景的高斯混合模型，求出每个像素点是背景的概率；

c)计算图像空间信息：采用合适的分割算法对原图像进行分割，分割后的任一区域中的像素点是衣物或背景的概率是接近的即空间概率分布一致，计算每个区域所有像素点的平均衣物概率和背景概率作为该区域空间信息概率；

d)加入空间信息修正衣物和背景模型:结合步骤a、b得出的前背景概率和步骤c得出的空间信息概率，修正每个像素点是前景或者背景的概率；

5）衣物初定位：

a)根据第4步的结果，将所有衣物概率大于背景概率的像素点构成衣物区域，

所有背景概率大于衣物概率的像素点构成背景区域；

b)对得到的衣物区域去除第2步得到的肤色区域，得到最终的衣物区域；

6）输出所得目标衣物图像信息。

本发明方法考虑了人物的人脸位置，将肤色和人脸检测作为辅助信息协助定位衣物区域，根据人脸准确地对衣物进行初定位；采用统计概率模型分析衣物和图像背景，同时考虑了图像的空间信息使得模型更准确，不需要人为干预，适合大规模购物图像自动提取商品目标。不仅适用于含单人物（模特）的购物图像，同样适用于含有多人物（模特）的购物图像，可以准确提取出每个人物（模特）身上的衣物商品。尤其适合在电子商务和在线购物网站使用，消除复杂图像背景的影响，辨识和分析主体目标图像，为购物图像搜索引擎服务。

附图说明：

图1是本发明购物图像衣物商品提取算法的流程图。

图2是本发明衣物初定位和衣物/背景样本集选取示意图。图中上部框内区域为人脸区域，内框区域为躯干活动区域，外框区域为身体活动区域。在建立衣物和背景模型时，将躯干活动区域（内框区域）去除肤色区域作为衣物样本集，将身体活动区域以外的区域（外框区域）加上躯干活动区域中的肤色区域作为背景样本集。

图3、图4、图5为采用本发明方法实施例后的衣物商品提取效果图。其中图3为单模特时的衣物提取结果，图4、图5、图6为多模特时的衣物提取结果。

具体实施方式

下面结合附图及具体实施例对本发明做进一步详细的说明，但本发明不限于本实施例。

步骤1：根据实际需要对图像进行预处理，可以采用中值滤波或者高斯平滑处理来过滤图像中的部分噪声；

步骤2：对经过预处理的图像进行肤色和人脸检测，

1)使用椭圆模型和高斯模型相结合的方法对图像进行肤色检测，找到肤色区域，具体方法为：

a)建立基于单高斯模型的肤色分类器：

$p\left(c\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{1/2}{\left|\mathrm{\Σ}\right|}^{1/2}}\exp [-\frac{1}{2}{(c-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(c-\mathrm{\μ})]$

其中c是像素对应的颜色向量，采用YCbCr颜色空间；μ和∑是分布的均值和协方差。对所有训练数据用最大似然法求解，分别为：

$\mathrm{\μ}=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{c}_j$

$\mathrm{\Σ}=\frac{1}{n-1}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(c_j-\mathrm{\μ}){(c_j-\mathrm{\μ})}^T$

可以直接将p(c)与经验阈值相比来判断像素c是否是肤色，或者用马氏距离λ与阈值进行比较来判断，λ的求解公式为：

λ＝(c-μ)^T∑^-1(c-μ)

b)建立基于KL变换的椭圆模型，模型表示为：

λ＝(c-μ)^T∑^-1(c-μ)

c是像素值，Ψ和Λ是模型的参数，分别用下面的公式求解：

$\mathrm{\Ψ}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{c}_i$

$\mathrm{\Λ}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{f}_i(c_i-\mathrm{\Ψ}){(c_i-\mathrm{\Ψ})}^T$

式中N是训练集中样本点数（肤色的像素总数），f_i是像素值为c_i时对应的样本点数。那么若像素c使得Φ(c)小于某个经验阈值，则它是肤色。

c)对需要处理的图像分别用单高斯肤色模型和椭圆模型肤色检测以后再求两个检测结果的交集作为肤色检测的最终结果。

2)使用Adaboost人脸检测算法对图像进行人脸检测，得到一个矩形人脸区域，如图2上部框所示。

步骤3：根据人体比例关系和着衣常识对衣物区域进行初定位

根据人体的肢体结构和着衣常识初步定位衣物区域，在图像中得到三个区域，在图像中得到三个区域，分别为人脸区域（图2中上部框区域）、躯干活动区域（图2中内框区域）和身体活动区域（图2中外框区域）。

步骤4：使用高斯混合模型建立图像衣物模型和背景模型，具体方法为：

1)为图像衣物和背景建立高斯混合模型，分别为：

$p\left(x\right|\mathrm{clothes})=\underset{i=1}{\overset{K_c}{\mathrm{\Σ}}}{\mathrm{\π}}_i^c\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_i^c\right|}^{d/2}}\exp \{-\frac{1}{2}{(x-{\mathrm{\μ}}_i^c)}^T{{\mathrm{\Σ}}_i^c}^{-1}(x-{\mathrm{\μ}}_i^c)\}$

$p\left(x\right|\mathrm{background})=\underset{i=1}{\overset{K_c}{\mathrm{\Σ}}}{\mathrm{\π}}_i^c\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_i^c\right|}^{d/2}}\exp \{-\frac{1}{2}{(x-{\mathrm{\μ}}_i^c)}^T{{\mathrm{\Σ}}_i^c}^{-1}(x-{\mathrm{\μ}}_i^c)\}$

其中K_c表示衣物服从K_c个高斯混合分布，K_b表示背景服从K_b个高斯混合分布，x是颜色分量，d表示x的维数（本文是彩色图像因此d＝3），表示衣物由第i个高斯分布生成的概率（或权重），和分别指第i个高斯分布的均值向量和协方差矩阵。

2)选取背景和衣物的颜色样本点，将所有身体活动范围（图2外框区域）以外的区域求交集，再与躯干活动范围（图2内框区域）中肤色像素点一同作为背景样本集。将所有躯干活动范围（图2内框区域）求并集并除去肤色像素点作为衣物样本点。背景和衣物像素点的选取方法如图2所示。

3)使用EM算法求解背景与衣物颜色分布，具体方法如下：

a)对于衣物和背景的高斯混合模型，可以把生成x的过程可看作是先选中第i个高斯，再由这个高斯分布产生x。所以可将衣物和背景的混合高斯模型转换成

$p\left(x\right|\mathrm{clothes})=\underset{i=1}{\overset{K_c}{\mathrm{\Σ}}}{\mathrm{\π}}_i^{c}N\left(x\right|{\mathrm{\μ}}_i^c,{\mathrm{\Σ}}_i^c)$

$p\left(x\right|\mathrm{background})=\underset{i=1}{\overset{K_c}{\mathrm{\Σ}}}{\mathrm{\π}}_i^{c}N\left(x\right|{\mathrm{\μ}}_i^c,{\mathrm{\Σ}}_i^c)$

b)估计数据由每个高斯生成的概率，对于每一个数据x_i来说，它由第k个高斯生成的概率为

$r(i,k)=\frac{{\mathrm{\π}}_k^{c}N\left(x_i\right|{{\mathrm{\μ}}_k}^c,{{\mathrm{\Σ}}_k}^c)}{{\mathrm{\Σ}}_{j=1}^{K_c}{\mathrm{\π}}_j^{c}N\left(x_i\right|{{\mathrm{\μ}}_j}^c,{{\mathrm{\Σ}}_j}^c)}$

由于式子里也是需要估计的值，采用迭代法，在计算r(i,k)的时候假定均已知。

c)估计每个高斯的参数，分步求出最大似然所对应的参数值

${\mathrm{\μ}}_k^c=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}r(i,k)x_i$

${\mathrm{\Σ}}_k^c=\frac{1}{N_K}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}r(i,k)(x_i-{\mathrm{\μ}}_k){(x_i-{\mathrm{\μ}}_k)}^T$

d)重复迭代C，D两步，知道似然函数的值收敛为止。

4)使用快速图分割算法（Felzenszwalb算法，见：Pedro F.Felzenszwalb，DanielP.Huttenlocher：Efficient Graph-Based Image Segmentation.InternationalJournal of Computer Vision 59(2)：167-181(2004)）对图像进行分割；

5)对于分割后的每个Component，使用下面的公式计算这个Component中是衣物和背景的概率

$p\left(C\right|\mathrm{clothes})=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}p\left(x_i\right|\mathrm{clothes})$

$p\left(C\right|\mathrm{background})=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}p\left(x_i\right|\mathrm{background})$

p(C|clothes)、p(C|background)分别表示Component C可能是衣物的概率和它可能是背景的概率。M是C中的像素总数，x_i是属于C的任意像素。

6)结合高斯混合模型和由分割求得的空间特性，计算每个像素是衣物和背景的概率：

$p\left(x_i^C\right|\mathrm{clothes})=(p\left(x_i\right|\mathrm{clothes})+p\left(C\right|\mathrm{clothes}))/2$

$p\left(x_i^C\right|\mathrm{background})=(p\left(x_i\right|\mathrm{background})+p\left(C\right|\mathrm{background}))/2$

步骤5：根据由步骤4得到的衣服和背景模型，对衣物进行精定位，去除步骤2得到的肤色区域后得到最终的衣物区域，具体步骤为：

1）对身体活动区域（图2中的内框区域）用p(x^C|clothes)和p(x^C|background)求得每个像素是背景和衣物的概率，所有p(x^C|clothes)＞p(x^C|background)的像素构成了衣物区域。

2）对得到的衣物区域除去步骤2得到的肤色区域和人脸区域，得到最终的衣物区域（如图3，图4，图5，图6所示）。

Claims (2)

1.一种针对购物图像搜索的目标衣物图像提取方法，用于在含单个人物和多个人物的购物商品图像中进行主体目标衣物图像提取，其特征在于，对复杂购物图像，借助人脸和肤色检测，辅助确定前景和背景模型，使得算法更准确地提取衣服部分，降低图像中噪声的干扰，包含如下的步骤：

1)图像预处理：对复杂图像进行降低图像中噪声干扰的预处理；

2)人脸和肤色检测：

对1)预处理过后的图像进行人脸检测和肤色检测，采用椭圆模型和高斯模型结合的方法检测出肤色区域，即：对图像分别用单高斯肤色模型和椭圆模型肤色检测以后再将两个检测结果的交集作为肤色检测的最终结果，使用Adaboost人脸检测算法在肤色区域定位人脸，确定人脸区域；

3)衣物初定位：

对2)所获得到的人脸区域之外的区域进行辨析，分出身体躯干区域和身体活动区域；衣物初定位的结果是身体躯干部分的衣物；

4)建立衣物模型和背景模型：

根据步骤3)得到的三个区域，建立衣物模型和背景模型；

a)建立衣物模型：将躯干活动区域去除步骤2)得到的肤色区域作为衣物样本集，建立衣物的高斯混合模型，求出每个像素点是衣物的概率；

b)建立背景模型：将模特的身体活动区域以外的部分加上身体躯干区域中的肤色区域作为背景样本集，建立背景的高斯混合模型，求出每个像素点是背景的概率；

c)计算图像空间信息：采用合适的分割算法对原图像进行分割，分割后的任一区域中的像素点是衣物或背景的概率是接近的即空间概率分布一致，计算每个区域所有像素点的平均衣物概率和背景概率作为该区域空间信息概率；

d)加入空间信息修正衣物和背景模型:结合步骤a)、b)得出的前背景概率和步骤c)得出的空间信息概率，修正每个像素点是前景或者背景的概率；

5)衣物精定位：

a)根据第4)步的结果，将所有衣物概率大于背景概率的像素点构成衣物区域，所有背景概率大于衣物概率的像素点构成背景区域；

b)对得到的衣物区域去除第2)步得到的肤色区域，得到最终的衣物区域；

6)输出所得目标衣物图像信息。

2.根据权利要求1所述的针对购物图像搜索的目标衣物图像提取方法，其特征在于，采用以下的算法对所述复杂图像进行降低图像中噪声的干扰的预处理：中值滤波或高斯平滑处理。