CN106021603A - 一种基于分割和特征匹配的服装图像检索方法 - Google Patents

Abstract

本发明涉及一种基于分割和特征匹配的服装图像检索方法，属于计算机视觉及图像应用领域。本发明首先输入待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服装图像的分割；其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征，实现待检服装的特征提取；然后，根据待检图像的服装特征，以及供检索用的大型图像库预处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配；最后，按照特征匹配结果在大型图像库中搜索与待检图像相似的服装图像，并按相似度高低顺序输出检索的结果。本发明的检索方法具有较高的准确率。

Description

一种基于分割和特征匹配的服装图像检索方法

技术领域

本发明涉及一种基于分割和特征匹配的服装图像检索方法，属于计算机视觉及图像应用领域。

背景技术

随着互联网+的发展，网上商店成为绝大多数人们消费的首选。其中，服装类网店在各大网络销售平台中占据了很大比重。庞大的网络资源带来的多样化选择和价格优势使得众多女性网民比起逛街购物更喜欢在网上浏览并购买服装。随着时尚的发展，服装的款式越来越多，基于文字的服装检索已经不能满足广大消费者的需求，以图搜图的技术因此出现。用户们希望只输入服装图片，网络平台就能输出一系列理想的服装图片序列，既方便又准确。由此可见，服装检索的结果会在很大程度上影响用户的选择。有效的检索平台能够提供更为准确的检索结果，使得用户们能够更加准确地搜索出满意的服装图片。而网络销售金额的不断增长及各网站之间的竞争对以图搜图的准确性提出了更高的要求。

作为服装识别和检索前提要求的分割，提高前景分割的准确性成了提高服装识别和服装检索准确性的关键性问题。公知的服装分割方法主要是基于人脸检测，皮肤检测或者动作检测来实现的。例如Ming Yang(<IEEE International Conference on Image Processing>，18，2011，2937-2940)提出在监控视频画面中先检测出人脸信息，再根据脸部信息决定人体位置，从而进行服装分割。Michael Weber(<Advanced Video and Signal-Based Surveillance>，8，2011，361～366)将服装分为上身和下身两部分，并考虑人体动作，利用多种人体部分检测器和部分分割模板将两部分分割出来，再通过整合这些模板进行整体的分割。这些方法都是基于图像中的人体进行的，具有很大的局限性。本发明分割方法是基于服装的HOG特征进行的，不依赖于服装之外的部分，较公知的方法具有较高的准确率。

在检索方面，公知的检索方法主要基于低级和高级属性特征来实现的。例如颜色，款式，样式是最常见的属性特征。其中，款式特征的提取一般都是手工标注，或者根据检测出部分特征来决定。而手工标注比较繁琐，款式特征提取准确率不高，导致服装检索准确率不高。因此，公知方法在检索准确率上还不够理想。所以，一个从分割方面及检索方面都提高准确率的方法很有必要。

发明内容

本发明提供了一种基于分割和特征匹配的服装图像检索方法，以用于有效地分割、检索服装图像，从而满足目前大规模服装检索的需求。

本发明的技术方案是：一种基于分割和特征匹配的服装图像检索方法，首先输入待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服装图像的分割；其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征，实现待检服装的特征提取；然后，根据待检图像的服装特征，以及供检索用的大型图像库预处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配；最后，按照特征匹配结果在大型图像库中搜索与待检图像相似的服装图像，并按相似度高低顺序输出检索的结果。

所述方法的具体步骤如下：

Step1、输入待检服装图像G'，将图像G'、辅助分割用的小型图像库g＝{g₁,g₂,...g_n}分别进行超像素分割得到对应的超像素，并利用分割传播方法将n+1个图像对应的超像素分别组合成多个区域，接着从组合成的多个区域中选择分割效果积极的区域，利用得到的n+1个分割效果积极的区域的HOG信息训练ESVM检测器得到n+1个训练后的ESVM检测器，再利用辅助分割用的小型图像库g＝{g₁,g₂,...g_n}训练后的ESVM检测器将待检图像G'中的服装分割出来，得到服装区域；其中，n表示辅助分割用的小型图像库中图片数量，分割传播方法是指对图像之间的超像素进行分割传播；

Step2、对分割后的待检图像G'的服装区域，结合SIFT算法和极大稳定极值区域，提取服装区域的Bundled特征；采用HSV颜色空间表示服装区域的颜色信息，得到服装区域的颜色特征；

Step3、根据待检图像G'中服装区域的Bundled特征、颜色特征，以及通过步骤Step1、Step2的方法处理后得到的大型图像库G＝{G₁,G₂,...G_m}中服装区域的Bundled特征、颜色特征；

采用词频相关性和几何一致性进行待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的Bundled特征相似度计算，进行Bundled特征匹配；

采用欧氏距离进行待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的颜色特征相似度计算，进行颜色特征匹配；

将对应的Bundled特征的相似度与颜色特征的相似度进行线性相加，得出待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的相似度；

Step4、对得到的m个相似度按高低顺序排列，并输出前l个相似度所对应的大型图像库中的图像，作为检索结果。

本发明的有益效果是：

1、由于图像背景，人体姿势多种多样，公知的分割方法依赖于人体脸部，皮肤或姿势的检测，分割准确性并不理想。本发明中的分割方法仅仅依赖于服装的HOG特征，结合SVM分类器，准确率较高。

2、公知的检索方法是基于服装的各种属性特征如颜色、款式、样式等，有时也会加注文本标识。而这些属性特征的提取特别是款式和样式，比较困难。文本标识在如今大数据的趋势下很不现实。且基于这些属性特征及文本的检索准确率远不能达到用户的需求。本发明考虑到款式及样式特征提取难度大和不准确的情况，提出了基于颜色和Bundled特征的检索方法。本发明的检索方法依赖的Bundled特征易于提取，且能够很好地代表服装的特征。因此，本方法的检索方法具有较高的准确率。

附图说明

图1为本发明的流程图；

图2为本发明中服装侵害方法的示例图；

图3为本发明中图像特征提取、匹配和检索的示例图；

图4为本发明中服装分割的结果实例图；

图5为本发明中服装区域Bundled特征提取示例图；

图6为本发明中服装区域颜色特征直方图示例图；

图7为本发明中服装区域Bundled特征，颜色特征匹配示例图；

图8为本发明中服装检索的结果示例图。

具体实施方式

实施例1：如图1-8所示，一种基于分割和特征匹配的服装图像检索方法，首先输入待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服装图像的分割；其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征，实现待检服装的特征提取；然后，根据待检图像的服装特征，以及供检索用的大型图像库预处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配；最后，按照特征匹配结果在大型图像库中搜索与待检图像相似的服装图像，并按相似度高低顺序输出检索的结果。

所述方法的具体步骤如下：

Step1、输入待检服装图像G'，将图像G'、辅助分割用的小型图像库g＝{g₁,g₂,...g_n}分别进行超像素分割得到对应的超像素，并利用分割传播方法将n+1个图像对应的超像素分别组合成多个区域，接着从组合成的多个区域中选择分割效果积极的区域，利用得到的n+1个分割效果积极的区域的HOG信息训练ESVM检测器得到n+1个训练后的ESVM检测器，再利用辅助分割用的小型图像库g＝{g₁,g₂,...g_n}训练后的ESVM检测器将待检图像G'中的服装分割出来，得到服装区域；其中，n表示辅助分割用的小型图像库中图片数量，分割传播方法是指对图像之间的超像素进行分割传播；

Step2、对分割后的待检图像G'的服装区域，结合SIFT算法和极大稳定极值区域，提取服装区域的Bundled特征；采用HSV颜色空间表示服装区域的颜色信息，得到服装区域的颜色特征；

Step3、根据待检图像G'中服装区域的Bundled特征、颜色特征，以及通过步骤Step1、Step2的方法处理后得到的大型图像库G＝{G₁,G₂,...G_m}中服装区域的Bundled特征、颜色特征；

采用词频相关性和几何一致性进行待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的Bundled特征相似度计算，进行Bundled特征匹配；

采用欧氏距离进行待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的颜色特征相似度计算，进行颜色特征匹配；

将对应的Bundled特征的相似度与颜色特征的相似度进行线性相加，得出待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的相似度；

Step4、对得到的m个相似度按高低顺序排列，并输出前l个相似度所对应的大型图像库中的图像，作为检索结果。

实施例2：如图1-8所示，一种基于分割和特征匹配的服装图像检索方法，首先输入待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服装图像的分割；其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征，实现待检服装的特征提取；然后，根据待检图像的服装特征，以及供检索用的大型图像库预处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配；最后，按照特征匹配结果在大型图像库中搜索与待检图像相似的服装图像，并按相似度高低顺序输出检索的结果。

实施例3：如图1-8所示，一种基于分割和特征匹配的服装图像检索方法，首先输入待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服装图像的分割；其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征，实现待检服装的特征提取；然后，根据待检图像的服装特征，以及供检索用的大型图像库预处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配；最后，按照特征匹配结果在大型图像库中搜索与待检图像相似的服装图像，并按相似度高低顺序输出检索的结果。

所述方法的具体步骤如下：

Step1、输入待检服装图像G'，将图像G'、辅助分割用的小型图像库g＝{g₁,g₂,...g_n}分别进行超像素分割得到对应的超像素，并利用分割传播方法将n+1个图像对应的超像素分别组合成多个区域，接着从组合成的多个区域中选择分割效果积极的区域，利用得到的n+1个分割效果积极的区域的HOG信息训练ESVM检测器得到n+1个训练后的ESVM检测器，再利用辅助分割用的小型图像库g＝{g₁,g₂,...g_n}训练后的ESVM检测器将待检图像G'中的服装分割出来，得到服装区域；其中，n表示辅助分割用的小型图像库中图片数量，分割传播方法是指对图像之间的超像素进行分割传播。

经过Step1后，可以得到检索图像的服装区域，具体的分割流程图如图2所示。本实例以输入的待检服装图像(连衣裙、衬衫、外套等)为输入，利用Matlab进行仿真实验。我们展示了部分类别的服装的分割结果图，部分仿真结果如图4所示。并给出了在自己搜集整理的数据集中各类服装图像分割的统计结果，并与公知的部分分割方法准确率进行比较，如表1所示。

表1

准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量，精确率反映了判定的正例中真正的正例样本的比重。所以本实例从准确率A，召回率R及精确率P三方面分析分割方法的性能，公式如下：

其中，t表示第i个图像中服装所占区域。r表示利用算法提取出第i个图像中的服装区域。p表示第i个图像中被正确提取出的服装区域。

Step2、对分割后的待检图像G'的服装区域，结合SIFT算法和极大稳定极值区域，提取服装区域的Bundled特征；采用HSV颜色空间表示服装区域的颜色信息，得到服装区域的颜色特征。

服装区域的Bundled特征由服装区域的SIFT特征组成。将服装区域中极大稳定极值区域内的SIFT特征结合在一起即得到服装区域的Bundled特征。部分服装区域的Bundled特征如图5所示。

服装区域的颜色特征用改进的HSV颜色直方图法来表示。直方图统计时，排除饱和度S和亮度V分量的边界值，将其作为黑色和灰色进行统计，当S和V的值在合适的范围内(不为边界值)时，将色调H分量进行量化，统计到直方图里。不将S和V分量量化和统计进直方图中，只记录S和V分量的均值。部分服装区域的颜色直方图如图6所示。服装检索流程图如图3所示。

Step3、根据待检图像G'中服装区域的Bundled特征、颜色特征，以及通过步骤Step1、Step2的方法处理后得到的大型图像库G＝{G₁,G₂,...G_m}中服装区域的Bundled特征、颜色特征。

采用词频相关性和几何一致性进行待检图像G′与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的Bundled特征匹配，得到Bundled特征的相似度。

待检图像和大型图像库G＝{G₁,G₂,...G_m}中各图像的Bundled特征之间的相似性可由函数C(B′_s；B′_j)＝C_p(B′_s；B′_j)+λC_q(B′_s；B′_j)计算。其中，λ表示权重，视觉局部词频相关性C_p(B′_s；B′_j)可根据视觉单词在各Bundled特征中出现的频率得到，几何一致性C_q(B′_s；B′_j)可由面积比例矩阵得出。B'_s＝{b_i}表示待检服装图像的Bundled特征的SIFT特征，B'_j＝{b_j}表示大型图像库中图像G_j的Bundled特征的SIFT特征。Wd＝{Wd_i}表示图像G'和大型图像库中图像G_i共同的视觉单词的集合。分别计算图像G'和图像G_i中Bundled特征中出现视觉单词Wd_i的频率f'和f_j，由此可得到一个视觉词频对集F_Wd(Wd_i)。最终，可得到词频相关性计算公式如下：

$C_p(B_s^{\&prime;};B_j^{\&prime;})=\underset{i=1}{\overset{N}{\&Sigma;}}\&lsqb;\frac{f^{\&prime;}+f_j}{2}\&CenterDot;e^{-\left|f^{\&prime;}-f_j\right|/\max (f^{\&prime;}\&CenterDot;f_j)}\&rsqb;.$

其中，N为集合Wd的大小。

对于Bundled特征B'，几何中心为B'，面积矩阵可表示为如下形式：

其中，a_ij表示以b_i、b_j、B'为顶点形成的三角形的面积。假设，A_m中最大面积为a_max。面积不变性矩阵A_m-1可表示为如下形式：

$A_{m-1}=\frac{1}{a_{max}}\&lsqb;A_m\&rsqb;.$

由此可得到待检图像G'与图像G_i之间的几何一致性可表示为如下：

C_q(B′_s；B′_j)＝n×corr(A_m-1,A_n-1)，

其中，n为图像中匹配上的SIFT特征的个数，协方差corr(A_m-1,A_n-1)可由如下公式得出：

$corr(X,Y)=\frac{\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}(X_{ij}-\stackrel{\&OverBar;}{X})(Y_{ij}-\stackrel{\&OverBar;}{Y})}{\sqrt{\left(\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}{\left(X_{ij}-\stackrel{\&OverBar;}{X}\right)}^2\right)\left(\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}{\left(Y_{ij}-\stackrel{\&OverBar;}{Y}\right)}^2\right)}}.$

采用欧氏距离进行待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的颜色特征匹配，得到颜色特征的相似度。

考虑到S和V分量对检索结果有一定的影响，使用H直方图欧氏距离和两幅图像的S，V分量的均值的差的线性加权值Dis来进行特征匹配。具体实现公式如下所示：

disS[i]＝|searchS[i]-dataS[i]|，

disV[i]＝|searchV[i]-dataV[i]|。

式中，分别表示H分量、S分量、V分量占有的比重。searchH表示待检图像的H直方图，dataH表示大型图像库中图像的H直方图。searchS，searchV分别表示待检图像的S分量和V分量的均值。dataS，dataV分别表示大型图像库中图像的S分量和V分量的均值。

待检图像G'与大型图像库中图像G_i的相似度即对应的颜色相似度和Bundled特征相似度的线性和Sim[i]，计算公式如下：

Sim[i]＝Dis[i]+kC(B′_s；B′_j)。

为防止两种相似度值取值范围差异过大而削弱另一个相似度值在匹配过程中的重要性，本研究设定了系数k。k取值一般在1000左右。

表2给出了本发明服装检索方法的预测结果，勾号表示待检服装与对比服装的该特征匹配，叉号表示待检服装与对比服装的该特征不匹配。图7用示例图表示出本发明特征匹配的预测结果。五角星表示该特征匹配，叉号表示该特征不匹配。当服装图像之间的颜色特征相似度计算值差异大时，颜色特征匹配失败。当服装图像之间的Bundled特征相似度计算值差异大时，Bundled特征匹配失败。

表2

Step4、对得到的m个相似度按高低顺序排列，并输出前l个相似度所对应的大型图像库中的图像，作为检索结果。

根据计算出的相似度值，按照相似度值大小排序，并输出前4个相似度所对应的大型图像库中的图像，以此作为检索结果。图8给出了以连衣裙和T恤为待检服装时，检索结果示例图。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (2)

1.一种基于分割和特征匹配的服装图像检索方法，其特征在于：首先输入待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服装图像的分割；其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征，实现待检服装的特征提取；然后，根据待检图像的服装特征，以及供检索用的大型图像库预处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配；最后，按照特征匹配结果在大型图像库中搜索与待检图像相似的服装图像，并按相似度高低顺序输出检索的结果。

2.根据权利要求1所述的基于分割和特征匹配的服装图像检索方法，其特征在于：所述方法的具体步骤如下：

Step1、输入待检服装图像G'，将图像G'、辅助分割用的小型图像库g＝{g₁,g₂,...g_n}分别进行超像素分割得到对应的超像素，并利用分割传播方法将n+1个图像对应的超像素分别组合成多个区域，接着从组合成的多个区域中选择分割效果积极的区域，利用得到的n+1个分割效果积极的区域的HOG信息训练ESVM检测器得到n+1个训练后的ESVM检测器，再利用辅助分割用的小型图像库g＝{g₁,g₂,...g_n}训练后的ESVM检测器将待检图像G'中的服装分割出来，得到服装区域；其中，n表示辅助分割用的小型图像库中图片数量，分割传播方法是指对图像之间的超像素进行分割传播；

Step2、对分割后的待检图像G'的服装区域，结合SIFT算法和极大稳定极值区域，提取服装区域的Bundled特征；采用HSV颜色空间表示服装区域的颜色信息，得到服装区域的颜色特征；

Step3、根据待检图像G'中服装区域的Bundled特征、颜色特征，以及通过步骤Step1、Step2的方法处理后得到的大型图像库G＝{G₁,G₂,...G_m}中服装区域的Bundled特征、颜色特征；

采用词频相关性和几何一致性进行待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的Bundled特征相似度计算，进行Bundled特征匹配；

采用欧氏距离进行待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的颜色特征相似度计算，进行颜色特征匹配；

将对应的Bundled特征的相似度与颜色特征的相似度进行线性相加，得出待检图像G'与大型图像库G＝{G₁,G₂,...G_m}中各图像之间的相似度；

Step4、对得到的m个相似度按高低顺序排列，并输出前l个相似度所对应的大型图像库中的图像，作为检索结果。