CN105718552A - 基于服装手绘草图的服装图像检索方法 - Google Patents

Abstract

本发明公开了基于服装手绘草图的服装图像检索方法，该方法的步骤包括：获取服装手绘草图图像，利用自适应中值滤波器对该图像进行空域平滑预处理S1、对现有的服装样本图像进行图像分割，并利用自适应尺度边缘提取方法对图像轮廓进行提取S2、基于SURF算法，提取服装手绘图像和服装样本图像的特征点S3和建立现有服装样本图像数据库，利用服装手绘草图图像的特征点在数据库中检索，确定符合要求的服装样本图像S4。本方案将手绘草图的图像检索与服装样本良好的相结合，克服现有技术中只能采用刚性结构特征进行图像检索的问题；突破传统手绘草图的特征提取，将服装结构加入特征描述中，提高现有算法的检索效率。

Description

基于服装手绘草图的服装图像检索方法

技术领域

本发明涉及服饰检索应用，特别是涉及一种基于服装手绘草图的服装图像检索方法，可通过触控交互方式绘制服装设计草图并高效准确地检索出相应结果。

背景技术

互联网多媒体技术的迅猛发展使得数字多媒体的存储信息越来越庞大，因而图像的管理与存储也成为国内外众多学者重要的研究课题。经过学者们多年在该领域的深入研究，基于内容的图像检索技术已取得了显著的研究成果。

20世纪60年代Sutherland研发了第一个交互式图形系统Sketchpad，这时鼠标仍然没有被发明。在这种情况下，IvanSutherland做出了第一个图形化的程序。通过Sketchpad，可以用激光笔在屏幕上作图，许多操作类似于今天的AutoCAD和AdobeIllustrator。20世纪70年代提出了基于图像文本标注的检索方式，即检索图像的文字表示。这种检索方式由于人工标注的主观性，导致检索效果并不理想。80年代初期，鼠标的商业化带来了WIMP交互风格的快速发展，与此同时特别是伴随着智能终端等硬件设备的快速普及、众多手写识别系统的成功应用，以草图识别和手写识别为核心的人机交互技术受到了国内外的广泛研究。20世纪90年代初研究者们又提出基于图像内容的检索方式，基于内容的图像检索(ContentBasedImageRetrieval,CBIR)是指根据图像对象的内容及上下文联系在大规模多媒体数据库中进行数据筛选。通过提取图像的底层特征，如颜色、纹理等，增加了图像检索的有效性。而随着便捷化，小型化无线设备的发展和“数字水墨”或电子纸的出现，笔式交互便成为了新型人机交互方式。人机交互界面由桌面环境模拟了笔纸的环境，促进了笔式交互的进程，也为利用手绘草图进行图像检索奠定了基础。

21世纪草图识别处于初始研究阶段，大部分的研究工作只基于简单手绘和局限于一些狭隘领域，如化学图纸在化学领域的应用；简单的手绘形状的识别，如圆形和矩形等图形。达拉尔2000年提出向梯度直方图及其变种；Shechtman和2007年伊拉尼也进行了SIFT自相似实验，并获得了一致的结果。2011年，德国柏林大学的Eitz等人提出了一种基于词袋模型的关键点邻域梯度方向特征的方法，将其应用于草图检索中并取得了不错的效果。

目前对于手绘草图的研究主要集中在通用情景，而专门针对服装图像进行专业化的检索还未有深入进展。传统服装图像的特征提取算法大都是在某种特定应用环境下产生的，不具有普遍适用性，没有针对于服装成像的特点进行分析。

发明内容

本发明要解决的技术问题是提供一种基于服装手绘草图的服装图像检索方法，以解决现有技术中传统的手绘图像检索很难保证解锁结果准确性的问题。

为解决上述技术问题，本发明采用下述技术方案：

基于服装手绘草图的服装图像检索方法，该方法的步骤包括：

S1、获取服装手绘草图图像，利用自适应中值滤波器对该图像进行空域平滑预处理；

S2、对现有的服装样本图像进行图像分割，并利用自适应尺度边缘提取方法对图像轮廓进行提取；

S3、基于SURF算法，提取服装手绘图像和服装样本图像的特征点；

S4、建立现有服装样本图像数据库，利用服装手绘草图图像的特征点在数据库中检索，确定符合要求的服装样本图像。

优选地，所述步骤S1中利用自适应中值滤波器对该图像进行预处理的步骤包括：

S11、将大小为M×N的服装手绘草图图像分为S个子块，任意选取第k个子块B_k中的某一待检测像素点(i,j)作为中心，构建以该点为中心的X×Y大小的检测滤波窗口内所有像素点的灰度值的集合：

A_i，j＝{f(i+s，j+t)|(i，j)∈B_k，s，t∈[-1，1]，其中，f(i+s,j+t)为该点(i,j)在st邻域内的灰度值，s、t代表增量值，并且灰度值范围在子块B_k之中；

S12、将该集合中最大灰度值Max(i,j)和最小灰度值Min(i,j)以外的所有点的灰度值构成集合C_i,j，并求得该集合中所有灰度值的平均值T(i,j)；

S13、基于该平均值T(i,j)，判断第k个子块B_k中的噪声点；若改集合中某像素点(i,j)的灰度值f(i,j)与平均灰度值T(i,j)的差大于检测阈值T_d，同时该点灰度值与Max(i,j)和Min(i,j)中某一值相等，则该点为噪声点，并记为y_i,j＝1，若否，则改为为非噪声点，并记为y_i,j＝0；

即：(f(i，j)＝Max(i，j)∪f(i，j)＝Min(i，j))∩(f(i，j)-T(i，j)≥T_d)。

优选地，根据图像中噪声干扰程度调整检测阈值T_d的大小。

优选地，所述检测滤波窗口的尺寸干扰系数pk等于该子块中噪声点个数与子块中包含像素点总数之比；若pk较小时，应选取较小尺寸的滤波窗口，若pk较大时，应取较大尺寸的滤波窗口。

优选地，所述步骤S2中边缘提取的步骤包括：

S21、沿x方向和y方向建立服装样本图像的一阶倒数，得到两个基本小波：其中，θ(x,y)是二维平滑函数；

S22、将尺度参数a引入两个基本小波中，得到：

其矢量形式为：

其中，f^s(x,y)是f(x，y)平滑后所得图像；

S23、基于步骤S21和S22，定位样本图像的边缘为：

该式取极值，经去噪滤波处理后，获得其图像轮廓。

优选地，所述步骤S3包括：

S31、构建待提取图像的积分图像；

S32、以2σ的窗口尺寸，利用Haar小波对样本图像和手绘图像进行滤波，其中，σ为尺度空间；

S33、利用标准差为3σ的高斯函数，对滤波后的积分图像进行加权，获得待提取图像的描述特征向量。

优选地，所述图像数据库包括：服装外形与服装部件，以及服装部件之间的关系；其中，对于每一个描述算子都包含一个关键点附近的四个直方图，每个直方图有8个方向，每一个小格箭头方向都代表了像素梯度方向，箭头长度代表该像素的幅值。

优选地，所述检索的步骤包括：

S41、先对图像特征点的最邻近点进行初始特征匹配；

S42、利用多重随机K-D树，进行二次临近点搜索；

S43、对错误匹配点进行剔除后，搜索数据库中描述子特征的信息，并确定匹配度最高的一对匹配点。

本发明的有益效果如下：

本发明所述技术方案优点在于：

1、将手绘草图的图像检索与服装样本良好的相结合，克服现有技术中只能采用刚性结构特征进行图像检索的问题；

2、突破传统手绘草图的特征提取，将服装结构加入特征描述中，提高现有算法的检索效率；

3、基于本方法建立以服装特征为主的数据库，为行业内人员提供了实验、分析和效果评价的统一平台。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1示出本发明所述服装图像检索方法的示意图；

图2示出服装手绘草图的示意图；

图3-a示出原始手绘草图的示意图；

图3-b示出利用自适应中值滤波后的手绘草图的示意图；

图4-a示出利用Mallat算子进行边缘提取的示意图；

图4-b示出利用Canny算子进行边缘提取的示意图；

图4-c示出利用本发明所述算法进行边缘提取的示意图；

图4-d示出利用Sobel算子进行边缘提取的示意图；

图5示出基于SURF算法的方框滤波形成不同尺度空间的示意图；

图6示出本发明所述特征提取描述子的示意图；

图7示出本发明所述服装结构特征描述子的示意图；

图8-a示出利用SURF方法进行特征点提取实验的示意图；

图8-b示出利用本发明所述方法进行特征点提取实验的示意图；

图9-a示出利用SURF方法进行特征点匹配的示意图；

图9-b示出利用本发明所述方法进行特征点匹配的示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1所示，本发明公开了一种基于服装手绘草图的服装图像检索方法，该方法的步骤包括：

步骤S1、样本与草图预处理。服装草图线条主要由直线与圆弧线组成，设计师或普通用户因绘制的不确定性，所画矢量线条会有抖动的现象，这些不确定性都会使图像线条更加不平整。故选择空域平滑处理中的均值法做平滑处理。

步骤S2、提取样本与草图图像边缘。使用基于EmguCV中CascadeClassifier(级联分类器检测类：使用traincascade进行训练)方法检测目标，利用图像分割技术将研究目标(服装样本)从背景区域分离出来，多尺度检测函数detectMultiScale进行多尺度自适应边缘提取。

步骤S3、提取SURF特征描述子。基于SURF的特征点提取利用DetectFeatures方法(该方法用于检测一副图象的特征点描述)完成计算样本与草图图象的特征点，将特征点分别存储到样本图像特征点modelKeyPoints和草图图像特征点observedKeyPoints。

具体实现为：在大小为5×5个尺度值的16个子区域内用窗口尺寸为2σ的Haar小波进行滤波，Haar小波窗口在子区域内均匀移动25次可得到25组x方向和y方向上的响应值dx、dy；再用标准差为3σ的高斯函数对其进行加权，统计子区域内∑dx、∑|dx|、∑dy、∑|dy|的值，这样每个子区域有了4维的强度结构描述向量，共会得到64维的描述向量。

步骤S4、建立服装特征向量数据库，并基于该数据库进行快速特征匹配。

对于每一个描述算子都包含一个关键点附近的四个直方图，每个直方图有8个方向，每一个小格箭头方向都代表了像素梯度方向，箭头长度代表该像素的幅值。特征向量数据库还包括服装外形与服装部件，以及服装部件之间的关系。数据库中图像的存储结构为：利用唯一编号指向不同的方向，方向编号为1至8。然后计算8个方向的梯度方向，累计数依据数量级最大为主梯度方向，即该描述向量特征方向。本方案中，数据库的建立是利用来自于互联网购物网站、服装公司版型库等渠道建立。其中，共有400多张图像，包含外套、卫衣、衬衣、裤装、T恤等种类，用以上样本构建数据库。对于每一个描述算子都包含一个关键点附近的四个直方图，每个直方图有8个方向，每一个小格箭头方向都代表了像素梯度方向，箭头长度代表该像素的幅值。存储结构为：唯一编号_方向编号，方向编号为1至8。然后计算8个方向的梯度方向累计数获得主梯度方向。

对于快速特征匹配是根据EmguCV中V命名空间SURFTracker类VoteForSizeAndOrientation方法(大小、方向定位检测)完成初始特征匹配，在此基础上使用K-D树利用BBF先得到特征描述子集，将数据存储结构分为2个顺序数组，其中每个特征点包含一个分支节点或一个叶节点，分支节点存储分割信息和到子节点的指针，叶节点则存储特征点在描述子数组的特征描述信息。再找出某一特征点I₁搜寻梯度方向相同最邻近和次邻近的点，并计算I₁与这两特征点之间的距离比值d，满足两点之间距离小于阀值，此时确定是一对匹配点。

下面通过一组实施例对本发明做进一步说明：

步骤S1手绘草图的预处理

用户输入的草图图像是检索内容的基础。草图检索与传统的CBIR系统相比，首先是提取图像特征的不同。特征提取和相似性匹配依赖于草图的基础内容，而服装草图线条主要由直线与圆弧线组成，设计师或普通用户因绘制的主观与不稳定性，所画出的图像线条具有随意与不规则的特点，这些特点很容易掩盖图像本身的图谱特性。如图2所示，服装草图线条在某些地方实际上并不平整，而是由一小段的弯曲折线相继组成。该客观因素降低了草图检索的工作效率。故选择自适应图像平滑预处理方法，即自适应中值滤波器，解决笔划描述信息的不完整等问题。

本发明中所述自适应中值滤波器是对中值滤波器的一种改进，相对于中值滤波器而言，自适应中值滤波器能够处理空间密度更大的冲激噪声，并且平滑非冲激噪声时，还可保存更多的图像细节。

具体步骤为：将大小为M×N的图像分为S个子块,第k(k＝0,1,…,S-1)个子块记为B_k，该子块中任意一个待检测像素点(i,j)的灰度值为f(i,j),以该点为中心形成3×3大小的检测窗口窗内所有像素灰度值构成的集合为：

A_i，j＝{f(i+s，j+t)|(i，j)∈B_k，s，t∈[-1，1]}

(1)

集合A_i,j中灰度值的最大值和最小值分别记为Max(i,j)和Min(i,j)将A_i,j中与Max(i,j)和Min(i,j)不相等的灰度值构成一集合C_i,j，求取该集合中所有灰度值的平均值T(i,j)，如果待检测像素点(i,j)的灰度值为f(i,j)与T(i,j)之间的差值大于检测阈值T_d，同时，待检测像素点(i,j)的灰度值为f(i,j)与Max(i,j)和Min(i,j)中某一值相等，则判定(i,j)为噪声点，用y_i,j＝1加以标记；否则，判断(i,j)为非噪声点，用y_i,j＝0标记。

(f(i，j)＝Max(i，j)∪f(i，j)＝Min(i，j))∩(f(i，j)-T(i，j)≥T_d)(2)

其中，其中，检测阀值Td对噪声检测的效果有显著影响，其大小与图像中噪声干扰程度有关。对子块Bk，滤波窗口的尺寸根据子块中噪声干扰大小p_k自适应确定，窗口长度l_k则为：

式中w₁,w₂,w₃为三个常数,满足0<w₁<w₂<w₃<1,分别取0.2％,25％,45％时可获得良好的去噪效果。如图3所示为原始手绘图像和预处理后图像的对比。

步骤S2服装样本图像的分割与轮廓提取

边缘是图像的最基本的特征，边缘检测在计算机视觉、图像分析等应用中起着重要作用，是图像分析与识别的重要环节。对于在服装图片的处理过程中，只需将服装区域作为研究目标，将目标区域与背景区域分离出来和提取出目标的精度边缘在算法研究中具有极其重要的意义。

经目标区域分割步骤后相较于两种不同类别的边缘提取算法，Canny算子方法虽有效但细节易提取，但提取结果噪声增多、提取精度下降。Sobel算子的边缘定位方面比其他算子要准确，经边缘提取后结果比较完整，但背景噪声较多。Mallat采用二次样条二进小波对图像进行小波变换，因具有多尺度特性可提取不同精度边缘。但服装样本图像具有多种不同因素都可认为是边缘，继而因具有多种不同应用及尺度，Mallat提取结果仍存在信息冗余。因此，在原有基础上需建立自适应尺度的边缘提取方法。

如图4-a至4-d所示，分别为利用Mallat算子、Canny算子、本发明所述自适应尺度滤波和Sobel算子对图像进行边缘提取的对比图。

在本发明所述自适应尺度的边缘提取方法中θ(x，y)是二维平滑函数，即当θ(x，y)＞0且∫∫θ(x，y)dxdy≠0，θ(x，y)称之为光滑函数。

具体的，该方法分别沿x和y两个方向作一阶导数得到两个基本小波：

将度参数a引入式(3)和式(4)，即可进一步得到：

二维小波可用矢量形式表示：

其中，f^s(x,y)是∫(x，y)平滑后所得图像。

其模值是：

其幅角为：

边缘则定义为Mod[W_ef(x，y)]，之后取极值且经过去噪等处理得到边缘。

步骤S3基于内容的边缘特征提取与描述

人类的身体和衣服形态各异，并且服装图像与手绘图形当遇到光照、旋转、变形等外部条件发生变化时，特征点的描述虽只有微小的变化但所提取的特征并非能对这些变形保持不变。基于图像局部不变性的特征方法因具有特征不变性、鲁棒性强，速度快等优点现在被广泛使用，目前主要有SIFT和SURF算法。

如图5所示，基于SURF算法的服装图像与手绘图形的特征点的提取是采用方框滤波扩大尺寸形成不同的尺度空间。

利用方框滤波模板与图像进行卷积积分运算后把矩阵的行列式值作为极值点判断标准；这里积分图像起到的重要作用，积分图I∑(x)在位置X＝(x,y)T计算公式如下：

随后构建尺度空间确定特征点主方向，对于图像任意一点X(x，y)，利用Hessian矩阵行列式来表示近似值图像上该点。图像中每个像素点都可以用

Hessian矩阵表示为：

由于特征点需要具备尺度无关性，因而需要对其进行高斯滤波，故在H(x,σ)处尺度空间的σ的定义为：

其中，Lxx、Lxy与Lyy是点(x，y)分别与高斯函数二阶偏导卷积的结果。为了加快卷积的速度，利用方框滤波近似代替二阶高斯滤波，用积分图像来加速卷积以提高计算速度。其公式如下：

det(H_approx)＝DxxDyy-(wDxy)²(6)

其中，w为权重系数，计算公式如下：

最后将特征兴趣点的方形矩阵划分4×4个区域，并在大小为5×5个尺度值进行滤波，这样每个子区域有了4维的强度结构描述向量，从而得到64维的描述特征向量。

步骤S4快速的特征匹配方法

如图7所示，快速特征匹配依靠于建立服装特征数据库，利用轮廓作为服装结构中的子元素建立空间关系模型。关系模型表示了服装外形与服装部件之间的关系。将服装结构特征信息加入特征描述子集中，这样描述子中具有融合局部不变性特征点和轮廓结构信息。

特征匹配原理根据相似性度量即寻找近似特征点的相似匹配点进行。Best-Bin-Fast算法首先确定最邻近点的最初特征集合，在不影响匹配度精准的情况下，对于高维空间中的最近邻搜索问题，采用多重随机K-d树具有较好的性能。因而在初始集合基础上经过K-D树二次近邻搜索以及PROSAC剔除错误匹配后搜索数据库中描述子特征信息确定匹配度最高点对。

下面引入一组实验对本发明的效果作进一步说明：

该实验与直接SURF算子检索进行比较，利用对比实验对服装草图进行匹配实验。实验软件为：VisualStudio；操作系统：Windows7。如图8-a和图8-b所示，分别为SURF方案下与该方案下的特征点提取效果图。

如图9-a和9-b所示，是本发明所述算法特征匹配效果图与SURF算子进行特征匹配效果图的对比。具体特征匹配性能分析比较如表1所示。试验表明，改进方法算法较于传统算法在特征点检测个数、匹配正确率、算法速率等方面都有较大程度提高。

表1本发明所述算法与SURF算法特征匹配比较

实验结果表明，该算法在牺牲少量时间的基础上，初步完成了提高服装草图检索的优化方法，完成服装草图和服装样本的最优匹配，突破了既有算法技术的限制条件，提高了匹配精度与原有算法的稳定性。

综上所述，本发明所述技术方案

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.基于服装手绘草图的服装图像检索方法，其特征在于，该方法的步骤包括：

S1、获取服装手绘草图图像，利用自适应中值滤波器对该图像进行空域平滑预处理；

S2、对现有的服装样本图像进行图像分割，并利用自适应尺度边缘提取方法对图像轮廓进行提取；

S3、基于SURF算法，提取服装手绘图像和服装样本图像的特征点；

S4、建立现有服装样本图像数据库，利用服装手绘草图图像的特征点在数据库中检索，确定符合要求的服装样本图像。

2.根据权利要求1所述的服装图像检索方法，其特征在于，所述步骤S1中利用自适应中值滤波器对该图像进行预处理的步骤包括：

S11、将大小为M×N的服装手绘草图图像分为S个子块，任意选取第k个子块B_k中的某一待检测像素点(i,j)作为中心，构建以该点为中心的X×Y大小的检测滤波窗口内所有像素点的灰度值的集合：

A_i，j＝{f(i+s，j+t)|(i，j)∈B_k，s，t∈[-1，1]}，其中，f(i+s，j+t)为该点(i，j)在st邻域内的灰度值，s、t代表增量值，并且灰度值范围在子块B_k之中；

S12、将该集合中最大灰度值Max(i,j)和最小灰度值Min(i,j)以外的所有点的灰度值构成集合C_i,j，并求得该集合中所有灰度值的平均值T(i,j)；

S13、基于该平均值T(i,j)，判断第k个子块B_k中的噪声点；若改集合中某像素点(i,j)的灰度值f(i,j)与平均灰度值T(i,j)的差大于检测阈值T_d，同时该点灰度值与Max(i,j)和Min(i,j)中某一值相等，则该点为噪声点，并记为y_i,j＝1，若否，则改为为非噪声点，并记为y_i,j＝0；

即：(f(i，j)＝Max(i，j)∪f(i，j)＝Min(i，j))∩(f(i，j)-T(i，j)≥T_d)。

3.根据权利要求2所述的服装图像检索方法，其特征在于，根据图像中噪声干扰程度调整检测阈值T_d的大小。

4.根据权利要求2所述的服装图像检索方法，其特征在于，所述检测滤波窗口的尺寸干扰系数pk等于该子块中噪声点个数与子块中包含像素点总数之比；若pk较小时，应选取较小尺寸的滤波窗口，若pk较大时，应取较大尺寸的滤波窗口。

5.根据权利要求1所述的服装图像检索方法，其特征在于，所述步骤S2中边缘提取的步骤包括：

S21、沿x方向和y方向建立服装样本图像的一阶倒数，得到两个基本小波：其中，θ(x,y)是二维平滑函数；

S22、将尺度参数a引入两个基本小波中，得到：

其矢量形式为：

其中，f^s(x,y)是f(x，y)平滑后所得图像；

S23、基于步骤S21和S22，定位样本图像的边缘为：

该式取极值，经去噪滤波处理后，获得其图像轮廓。

6.根据权利要求1所述的服装图像检索方法，其特征在于，所述步骤S3包括：

S31、构建待提取图像的积分图像；

S32、以2σ的窗口尺寸，利用Haar小波对样本图像和手绘图像进行滤波，其中，σ为尺度空间；

S33、利用标准差为3σ的高斯函数，对滤波后的积分图像进行加权，获得待提取图像的描述特征向量。

7.根据权利要求1所述的服装图像检索方法，其特征在于，所述图像数据库包括：服装外形与服装部件，以及服装部件之间的关系；其中，对于每一个描述算子都包含一个关键点附近的四个直方图，每个直方图有8个方向，每一个小格箭头方向都代表了像素梯度方向，箭头长度代表该像素的幅值。

8.根据权利要求1所述的服装图像检索方法，其特征在于，所述检索的步骤包括：

S41、先对图像特征点的最邻近点进行初始特征匹配；

S42、利用多重随机K-D树，进行二次临近点搜索；

S43、对错误匹配点进行剔除后，搜索数据库中描述子特征的信息，并确定匹配度最高的一对匹配点。