CN108959379A - 一种基于视觉显著区域和手绘草图的服装图像检索方法 - Google Patents

Abstract

本发明涉及一种基于视觉显著区域和手绘草图的服装图像检索方法，属于计算机视觉及图像应用领域。本发明首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库；其次，对输入的服装草图和服装边缘图像进行特征提取，提取服装草图和服装边缘图像各自的HOG特征以及服装图像的SIFT特征；然后，通过计算服装草图特征和服装边缘特征的相似度，实现特征匹配；最后，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。本发明的检索方法具有较高的准确率和效率。

Description

一种基于视觉显著区域和手绘草图的服装图像检索方法

技术领域

本发明涉及一种基于视觉显著区域和手绘草图的服装图像检索方法，属于计算机视觉及图像应用技术领域。

背景技术

随着时尚服装的发展和移动触摸设备的普及，基于文字的服装检索已不能满足广大消费者的需求，由于人们可以随时随地在手机、平板等触屏设备上轻松涂鸦， 描绘出自己想要的商品模样，基于手绘草图的服装图像检索方法便成为了改善服装 图像检索的有效途径之一。

公知的基于手绘草图的图像检索方法主要有几何关系法、边界匹配法、特征提取法和深度学习法。其中，公知的基于几何关系的方法主要有曲率尺度空间、外接矩 形、骨架特征和分层拓扑等，例如Pedro Sousa(<Journal of Visual Languages& Computing>,2011,21(2):69-80)提出了一种用于提高图像的几何关系的匹配能力； 边界匹配的方法是针对边界的位置或形状进行匹配，不需要计算图像上的特征信息， 例如Cao(<IEEEConference on Computer Vision and Pattern Recognition>, 2011:761-768)提出了一种边缘像素点索引的方法，该文中提出了一种叫“Hit Ma p” 的二值距离变换图，此方法虽然应用于大规模数据上有效，但是检索精度有限；在 基于特征提取法的检索算法法中，例如Eitz M(<IEEE Transactions on Visualization& Computer Graphics>,2011,17(11):1624-1636)提出SHOG算子来描述二值图像的特 征，它是HOG的一个改进后的变种，该方法能够获得较好的检索结果；基于深度学 习法的检索算法中，例如2015年由Yu Q,Yang Y(<IEEE International Conference on Image Processing>,2015:2460-2464)人首次提出的Sketch-a-Net深度学习模型应用到 手绘草图上。然而，这些方法都没有考虑到图像背景对检索的影响以及服装图像的 款式变化、手绘风格各不相同等因素，具有一定的局限性。服装图像背景复杂，公 知的方法并没有对此进行有效地处理；公知的基于手绘草图的图像检索方法没有考 虑服装图像的款式变化、手绘风格不一等因素，此外，由于服装草图高度抽象化和 图标化导致检索的准确率不高。

发明内容

本发明提供了一种基于视觉显著区域和手绘草图的服装图像检索方法，以有准确高效的检测服装图像的视觉显著区域并检索服装图像，从而满足目前大规模服装 检索的需求。

本发明的技术方案是：一种基于视觉显著区域和手绘草图的服装图像检索方法，首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并结合 其边缘轮廓信息，得到服装边缘图像库；其次，对输入的服装草图和服装边缘图像 进行特征提取，提取服装草图和服装边缘图像各自的HOG特征以及服装图像的SIFT 特征；然后，通过计算服装草图特征和服装边缘特征的相似度，实现特征匹配；最 后，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于 流形学习的距离度量算法对其相似度进行排序并输出检索结果。

所述方法的具体步骤如下：

Step1、采用正则化随机漫步算法对输入的服装图像库I＝{I₁,I₂,...,I_n}进行视觉 显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库I'＝{I₁',I'₂,...,I'_n}；

Step2、对输入的服装草图S和服装边缘图像库I'中的图像分别进行特征提取， 采用GF-HOG算法提取其HOG特征，得到服装边缘特征和服装草图特征；采用DSIFT 算法提取服装图像库I中图像的SIFT特征；

Step3、根据Step2的方法处理后得到的服装草图S和服装边缘图像 I'＝{I₁',I'₂,...,I'_n}的HOG特征、以及服装图像库I＝{I₁,I₂,...I_n}中服装图像的SIFT特 征；

采用直方图相交方法计算服装草图S和服装边缘图像I'之间的HOG特征相似度，进行HOG特征匹配；

采用直方图相交方法计算不同服装草图之间的HOG特征相似度，进行HOG特 征匹配；

采用相对熵方法计算不同服装图像之间的SIFT特征相似度，进行SIFT特征匹 配；

Step4、按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。

所述Step1具体如下：

将服装图像过分割为超像素，所有超像素的每个边界作为一个连通区域，利用 公式计算每个边界的归一化RGB直方图，其中 b∈{top,bottom,left,right}表示四条边的位置，l表示服装区域总像素数，r＝0,…,255， Iq表示像素q的强度值，δ()是单位冲激函数，再计算四个边界直方图中任意两个的 欧氏距离将得到的矩阵Z逐列求和后去除其边 界，并采用正则化的随机漫步算法生成服装显著区域，再采用Canny算子对服装图 像进行边缘信息提取，得到初始的边缘检测图，将服装显著区域与初始的边缘检测 图进行逐像素相乘得出服装边缘图像，并形成服装边缘图像库I'。

本发明的有益效果是：

1、本发明采用视觉显著区域检测对服装区域进行显著处理，再结合边缘信息， 得到服装边缘图像，既能够较好地去除背景对检索的干扰，也同时有效地保存了服 装的轮廓特征信息。有效地丰富了服装图像检索的交互方式，同时也能较好地帮助 服装设计师改进服装的产品设计；

2、本发明结合视觉显著区域检测，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量学习算法对其相似度进行排 序，并输出检索结果，具有较高的准确率；

附图说明

图1为本发明的流程图；

图2为本发明中视觉显著区域检测示例图；

图3为本发明中获得服装边缘过程的实例图；

图4为本发明中特征提取实例图；

图5为本发明中服装图像检索的结果实例图。

具体实施方式

实施例1：如图1-5所示，一种基于视觉显著区域和手绘草图的服装图像检索方法，首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并 结合其边缘轮廓信息，得到服装边缘图像库；其次，对输入的服装草图和服装边缘 图像进行特征提取，提取服装草图和服装边缘图像各自的HOG特征以及服装图像的 SIFT特征；然后，通过计算服装草图特征和服装边缘特征的相似度，实现特征匹配； 最后，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基 于流形学习的距离度量算法对其相似度进行排序并输出检索结果。

进一步的，所述方法的具体步骤如下：

Step1、采用正则化随机漫步算法对输入的服装图像库I＝{I₁,I₂,...,I_n}进行视觉 显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库I'＝{I₁',I'₂,...,I'_n}；

所述Step1具体如下：

将服装图像过分割为超像素，所有超像素的每个边界作为一个连通区域，利用 公式计算每个边界的归一化RGB直方图，其中 b∈{top,bottom,left,right}表示四条边的位置，l表示服装区域总像素数，r＝0,…,255， I_q表示像素q的强度值，δ()是单位冲激函数，再计算四个边界直方图中任意两个的 欧氏距离将得到的矩阵Z逐列求和后去除其边 界，并采用正则化的随机漫步算法生成服装显著区域，实验结果如图3(b)所示； 再采用Canny算子对服装图像进行边缘信息提取(最小阈值和最大阈值分别是0.05 和0.2)，得到初始的边缘检测图，如图3(c)所示；最后将服装显著区域与初始的 边缘检测图进行逐像素相乘得出服装边缘图像，并形成服装边缘图像库I',实验结果 如图3(d)所示。

经过step1后，可以得到服装边缘图像，具体流程图如图2所示。数据集来源于 电子商务平台如天猫、京东等服装图像数据，并以女装为主，共计5万张左右。本 实例以输入的服装图像为输入，利用Matlab进行实验，实验结果如图3所示。实验 结果表明，本发明方法优于直接采用Canny算法提取得到的服装边缘图效果。

Step2、对输入的服装草图S和服装边缘图像库I'中的图像分别进行特征提取， 采用GF-HOG算法提取其HOG特征，得到服装边缘特征和服装草图特征；采用DSIFT 算法提取服装图像库I中图像的SIFT特征；

GF-HOG特征提取：对输入的服装草图和服装边缘图，使用稀疏边缘像素集合 内插的密集梯度场来表示图像的结构，以实现对其相对位置和空间方向进行编码。 首先假设边缘像素E(X)＝[0,1],其中X∈Ω的像素坐标集合,由E(X)＝1和E(X) ＝0像素组成，在每个已知像素处，边缘方向梯度的稀疏方向场估计采用公式 实现，在图像坐标上Θ_Ω∈R²找到一个密集场 其次采用拉普拉斯算子 对密集场进行平滑，其中泊松方程 ΔΘ＝divν overΩs.t.Θ|_δΩ＝θ|_δΩ在Dirichlet边界条件下的解，div是散度，v是从 原始图像的方向场导出的方向场，Δ为拉普拉斯算子；然后通过求解线性方程：分别得到和作为单通道插值，最后 利用上述公式得到θ，其中矩阵前两行和最后一行表示已知像素E(x_i)＝1，中间一行 表示一个未知像素，对于一个由n个像素组成的图像，该线性方程组为n*n大小的 矩阵。图4分别展示了手绘草图和服装边缘图的GF-HOG特征提取结果。GF-HOG 特征通过K-means生成单个BoVW码本(K＝3500)，为每个服装边缘图构建频率直 方图H^I'，它表示出现在该图像中的GF-HOG得到的视觉词的分布，再对直方图归 一化。与此同时，通过量化使用相同码本从草图中提取的GF-HOG，从检索草图构 建频率直方图H^s，同样地对频率直方图归一化。

DSIFT特征提取：对于输入的服装图像，在图像上密集且随机放置的特征点提 取约3000个SIFT特征，具体实施中采用BoVW方法将3000个SIFT特征集合集成 到每个图像的特征向量中，同样采用码本的大小K＝3500。

Step3、根据Step2的方法处理后得到的服装草图S和服装边缘图像 I'＝{I₁',I'₂,...,I'_n}的HOG特征、以及服装图像库I＝{I₁,I₂,...I_n}中服装图像的SIFT特 征。

采用直方图相交方法计算服装草图S和服装边缘图像I'之间的HOG特征相似度，进行HOG特征匹配；

采用直方图相交方法计算不同服装草图S_m和S_n之间的HOG特征相似度，进行 HOG特征匹配；

采用相对熵方法计算不同服装图像I_m与I_n之间的SIFT特征相似度，进行SIFT 特征匹配；

具体计算方式如下：

ω_ij＝1-|H(i)-H(j)|，其中H(i)是第i^th个bin的归一化计算，i＝{1,...,k}，计算方式同其中分别表示不同服装草图特征直方图；

相对熵方法与直方图相交类似，其中 分别表示不同服装图像特征直方图。

Step4、按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。

首先构造图M，用n_i表示服装图像数量，用n_s表示服装草图数量，图M是一个 由(n_s+n_i)×(n_s+n_i)大小矩阵，计算如下：其中，子矩阵M_SS是 一个由n_s×n_s大小构成的服装草图特征的流形图，图M_SS中相邻的顶点m和n边权 值定义为w(m,n)，通过以下公式：

进行归一化成[0,1]范围，表示点m，n在特征空间的距离，参数σ为给定参数；子矩阵M_II是一个由n_i×n_i大小构成的服装图像特征的流行图， 子矩阵M_SI'是一个由n_s×n_i'大小构成的服装草图特征和服装边缘特征的流行图， M_SI'和M_II边的权值计算方式同样用w(m,n)计算，其中距离d(m,n)分别替换为 d(H^s,H^I′)和M_IS是一个由n_i×n_i构成的零矩阵；

其次，采用公式K＝D^-1/2MD^-1/2对矩阵M规范化，其中D是一个对角矩阵，满 足D_ii＝∑_jw_ij；然后通过公式Q＝(I-αK)^-1Y来得到排序得分，其中Y是一个大小 为(n_s+n_i)×(n_s+n_i)对角矩阵，I是单位矩阵，参数α＝[0,1)；最后，通过计算Q的值， 检索结果按照从高到低的顺序输出。图5展示了部分检索结果实例，其准确率与部 分公知方法相比如表1所示。

表1不同方法的检索平均准确率

方法	mAP(％)
		Edgel	0.098
SHoG	0.141
		RST S-HELO	0.289
本发明方法	0.316

mAP为平均准确率，mAP是为了解决准确率、召回率单点值的局限性，同时考 虑了检索结果的排名情况。其计算方法如下：q表示总 的有效的检索次数，t表示数据库中与检索图像相似的图像个数，P(Rank)表示检索 结果对应其排名的比值。由表1可看出本发明方法的准确率有了较大的提升。此外， 表2给出了本发明方法与其它几种公知方法在检索效率方面的比较。综上，本发明 方法较相关的公知方法来说，具有较高的准确率和效率。

表2不同方法的检索效率

方法	时间(s)
		Edgel	8.06
SHoG	4.48
		RST S-HELO	2.98
本发明方法	2.42

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明 宗旨的前提下作出各种变化。

Claims (3)

1.一种基于视觉显著区域和手绘草图的服装图像检索方法，其特征在于：首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库；其次，对输入的服装草图和服装边缘图像进行特征提取，提取服装草图和服装边缘图像各自的HOG特征以及服装图像的SIFT特征；然后，通过计算服装草图特征和服装边缘特征的相似度，实现特征匹配；最后，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。

2.根据权利要求1所述的基于视觉显著区域和手绘草图的服装图像检索方法，其特征在于：所述方法的具体步骤如下：

Step1、采用正则化随机漫步算法对输入的服装图像库I＝{I₁,I₂,...,I_n}进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库I'＝{I′₁,I'₂,...,I'_n}；

Step2、对输入的服装草图S和服装边缘图像库I'中的图像分别进行特征提取，采用GF-HOG算法提取其HOG特征，得到服装边缘特征和服装草图特征；采用DSIFT算法提取服装图像库I中图像的SIFT特征；

Step3、根据Step2的方法处理后得到的服装草图S和服装边缘图像I'＝{I′₁,I'2,...,I'_n}的HOG特征、以及服装图像库I＝{I₁,I₂,...I_n}中服装图像的SIFT特征；

采用直方图相交方法计算服装草图S和服装边缘图像I'之间的HOG特征相似度，进行HOG特征匹配；

采用直方图相交方法计算不同服装草图之间的HOG特征相似度，进行HOG特征匹配；

采用相对熵方法计算不同服装图像之间的SIFT特征相似度，进行SIFT特征匹配；

Step4、按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。

3.根据权利要求1所述的基于视觉显著区域和手绘草图的服装图像检索方法，其特征在于：所述Step1具体如下：

将服装图像过分割为超像素，所有超像素的每个边界作为一个连通区域，利用公式计算每个边界的归一化RGB直方图，其中b∈{top,bottom,left,right}表示四条边的位置，l表示服装区域总像素数，r＝0,…,255，I_q表示像素q的强度值，δ()是单位冲激函数，再计算四个边界直方图中任意两个的欧氏距离将得到的矩阵Z逐列求和后去除其边界，并采用正则化的随机漫步算法生成服装显著区域，再采用Canny算子对服装图像进行边缘信息提取，得到初始的边缘检测图，将服装显著区域与初始的边缘检测图进行逐像素相乘得出服装边缘图像，并形成服装边缘图像库I'。