CN107316053A

CN107316053A - 一种布料图像快速匹配检索方法

Info

Publication number: CN107316053A
Application number: CN201710378235.8A
Authority: CN
Inventors: 张雪芹; 刘远远; 顾秋晨
Original assignee: East China University of Science and Technology
Current assignee: East China University of Science and Technology
Priority date: 2017-05-25
Filing date: 2017-05-25
Publication date: 2017-11-03

Abstract

本发明涉及一种布料图像快速匹配检索方法，该方法首先提取图像的SIFT特征，然后对所有图像的SIFT特征向量进行K‑Means聚类生成视觉词袋，并计算得到每幅图像的形状特征直方图，最后利用E2LSH算法实现图像的自动快速匹配和检索。与现有技术相比，本发明可以快速查找相同布料及相近布料，具有匹配精度高、检索速度快等优点。

Description

一种布料图像快速匹配检索方法

技术领域

本发明涉及一种布料检索方法，尤其是涉及一种布料图像快速匹配检索方法。

背景技术

21世纪以来，随着纺织业的迅速发展，布料产品得到了极大的丰富，为服装设计提供了充足的资源。但是对服装设计师而言，要靠人工从成千上万的布料图像库中找到其所需的布料，是极其耗时和困难的。服装设计师在服装设计选取布料时通常有三种需求：一是希望在布料库中找到相同的布料；二是在布料库中找到图案类别、图案空间分布或颜色相近的布料，以激发其更多设计灵感；三是可以实现在海量布料库中快速检索布料图像。现有人工方法难以快速地实现上述需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种布料图像快速匹配检索方法，可以快速查找相同布料及相近布料。

本发明的目的可以通过以下技术方案来实现：

一种布料图像快速匹配检索方法，该方法包括：

获取布料图库，构建至少一张图库哈希表，每一图库哈希表具有至少一个哈希桶，每一图库哈希表中对应的布料图像具有相同的主哈希值，每一哈希桶中对应的布料图像具有相同的次哈希值；

构建图库哈希表时，针对布料图库中的每一布料图像，根据以下步骤将该布料图像分配至一个哈希桶中：

1)提取该布料图像的形状特征直方图；

2)采用哈希函数对所述形状特征直方图向量进行降维，获得一降维向量，计算该降维向量的主哈希值和次哈希值；

3)根据所述主哈希值和次哈希值将该布料图像分配至一图库哈希表的一哈希桶中；

在进行待测布料图像的匹配检索时，对该待测布料图像依次执行步骤1)-3)，将该待测布料图像分配至一图库哈希表的一哈希桶中，将该待测布料图像与所述哈希桶中的布料图像进行相似度比较，检索获得相似度最大的k个布料图像输出。

所述主哈希值和次哈希值的表达式为：

其中，a为一l维向量，ai为向量a中的第i个元素，ri′和ri″为随机数，tablesize为哈希表的大小，即为数据点的个数，prime为一素数。

所述布料图库图像相似度比较，采用KNN算法获得相似度最大的k个布料图像后，根据相似度大小依次输出相应布料图像。k根据输出需要选取。

KNN算法核心思想是：计算测试样本向量与训练集中每个样本向量的欧氏距离，根据欧氏距离的大小排序，输出训练样本中与测试样本最相似的K个样本数据。所述布料图库对应一视觉词袋向量集，该视觉词袋向量集通过以下方法获取：

a)提取布料图库中每一布料图像的SIFT特征向量T＝{t₁,t₂,…,t_n}，t∈R^d，n是提取的特征点数，构成一特征向量集AT＝{T₁,T₂,…,T_M}，M为布料图库中布料图像总数；

b)对特征向量集进行K-Means聚类，得到K个d维向量，构成基本视觉词袋向量集合W＝{w₁,w₂,…,w_K}。

所述步骤1)中，形状特征直方图的提取具体为：

获取每幅布料图像的SIFT特征向量，计算SIFT特征向量中的每个特征点t_i与w_i(i＝1,2,…,K)的欧氏距离，并根据最小值累计其在基本视觉词袋向量上出现的频次f_i，得到每幅图像的形状特征直方图向量v，其中，f_i及v的计算公式为：

v＝{f₁,f₂,…,f_K}

其中，L_i,j为第i个特征向量在第j个基本视觉词袋向量上出现的频次。

所述步骤2)中，采用l个哈希函数对所述特征直方图向量v进行降维，获得一l维降维向量，各哈希函数定义为：

其中，为向下取整操作，c为一个K维向量，每一维是一个独立选自满足p-stable的随机变量，b为[0,w]范围内的随机数，w为间隔大小。

与现有技术相比，本发明具有以下优点：

(1)本发明通过采用提取SIFT特征、K-Means聚类和精确欧氏位置敏感哈希算法对布料图像进行匹配检索，匹配精度高，计算速度快，可适用于海量图像库，具有实际意义和应用价值；

(2)本发明采用SIFT算法进行特征提取，能够获取充足的匹配特征点，以提高整体匹配精度；

(3)本发明利用K-means算法聚类生成视觉单词，通过形成基于视觉单词的形状特征直方图进行第一次降维。

(4)本发明利用E2LSH算法，通过哈希编码技术对形状特征直方图向量进行二次降维，通过建立哈希表和哈希桶实现对图片进行分类和分组，减少了图片匹配数量，通过对表、桶建立哈希索引值，进一步加快检索速度；

(5)本发明在实际应用中，匹配速度上，待测图像与图库中每张图像的匹配时间平均仅为72μs。检索输出前50张相同或相近图像时，检测准确率上可达到85％以上，主观评分可达0.9以上；在一个具有50000张图像的图库中，检索时间仅为1.05s。随着图库中图片数量的增加，检索时间按线性缓慢增长。

附图说明

图1为DOG尺度空间金字塔示意图；

图2为本发明的流程示意图；

图3为不同类型布料图像的匹配结果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明提供一种布料图像快速匹配检索方法，该方法首先提取图像的SIFT特征，然后对所有图像的SIFT特征向量进行K-Means聚类生成视觉词袋，并计算得到每幅图像的形状特征直方图，最后利用E2LSH算法实现图像的自动快速匹配和检索。

1.SIFT特征提取

SIFT算法实现分为两步：特征点检测和特征描述子。

1.1特征点检测

对图像I(x,y)，其不同尺度空间下的Gaussian图像L(x,y,σ)为：

式中，σ为尺度空间的空间尺度因子，G(x,y,σ)是二维高斯函数，其定义为

为了更高效的得到特征点，用高斯差分(DOG)算子代替拉普拉斯(LOG)算子，其定义为：

此时，得到DOG尺度空间金字塔如图1所示。在DOG尺度空间金字塔的3×3×3立体邻域内进行非极大值抑制，当某局部极值点比上一尺度、下一尺度及本尺度周围的26个邻域值都大或者都小时，该局部极值点成为候选特征点。随后，为了提高特征点的抗噪能力和稳定性，还需去除对比度低的特征点以及不稳定的边缘特征点，进一步得到稳定的特征点。

1.2特征描述子

1)确定特征点主方向

以特征点为中心，16s×16s(s为特征点尺度)为正方形邻域，计算邻域内的所有像素点在x和y方向上的梯度值和方向，如公式(4)和(5)所示。统计关键点邻域像素的梯度方向得到梯度直方图。梯度直方图的峰值代表该关键点的邻域梯度的主方向。

Θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1)))/((L(x+1,y)-L(x-1,y))) (5)

2)生成特征描述子

以特征点为中心，特征点的方向为主方向。选择一个16s×16s的正方形邻域，把该正方形邻域分成4×4个子区域，计算每个子区域8个方向的梯度累加值。则对于每个特征点，形成4×4×8＝128维的特征向量描述子。

SIFT算法中，采用的参数范围为：

组数：4-6，层数：3-5，edge_thresh：16-20，peak_thresh：0.15-0.2。

上述参数的选取是通过均衡分类全度和分类精度来确定，这些参数能够大体保证分类全度和分类精度在0.7以上。

2.K-Means聚类

K-Means作为一种简单的无监督学习算法，该算法的流程：

初始化：设定聚类数K，K取值为300-500，既能全面体现图像特征，也不影响检索速度；

①从数据集中任取K个点作为初始簇质心C_k(k＝1,2,...,K)，即聚类中心；

②分别计算其它数据点到质心C_k的欧式距离，并将其归类到与其距离最近的质心类，形成K个簇；

③根据归类结果，重新计算每一类的聚类中心，更新簇质心C_k，重复过程②和③，直到聚类中心不再发生变化，或者在阈值的变化范围内。其中，num_K为每一类的数据点个数，||x_i-C_k||是第i个数据点x_i与第k类簇质心C_k之间的欧式距离；

④聚类结束，得到最终聚类中心C_k*。

3.E2LSH算法

位置敏感哈希fLocality Sensitive Hashing，LSH)被广泛用于解决大规模快速图像近邻搜索问题，其基本思想是利用若干个哈希函数对高维特征进行降维映射，并使得原始空间中距离较近的点以较大的概率哈希到同一哈希桶中，相距较远的点则概率较小。

精确欧氏位置敏感哈希(E2LSH)算法是局部敏感哈希LSH在欧氏空间的一种实现方法，能够实现快速的大规模高维数据近似近邻查找。其原理是：根据LSH算法的思想，采用基于稳定分布的位置敏感哈希函数对高维数据进行降维映射。E2LSH继承了LSH的两个特点：一是该算法适用于维数较高但是稀疏的大规模数据中；二是当数据满足一定的有界增长时，它可以快速找到近似最近邻。

E2LSH中的哈希函数都是基于p-stable分布的，其定义为

其中，为向下取整操作，v为原始数据，c为与v维数相同的一个向量，每一维是一个独立选自满足p-stable的随机变量，b为[0,w]范围内的随机数，w为间隔大小。w的取值范围为-2到-6，可合理划分哈希桶数，得到理想的分类精度和检索速度。E2LSH哈希函数h_c,b(v)将向量v投影到向量c，利用b对投影点进行偏置，再使用w进行量化间隔，最终形成哈希值。

然而一个哈希函数往往分辨能力不强，因此E2LSH常随机独立选取的l个h函数来使用。定义函数簇其中，g(v)＝(h₁(v),h₂(v),...,h_l(v))。对于数据集中的每个数据点v，经过函数g(v)哈希运算后，降维映射形成一个l维向量a＝(a₁,a₂,...,a_l)。为了方便查找，另外采用两个哈希函数---主哈希函数h₁和次哈希函数h₂对该向量进行运算，将h₁值相同的数据点哈希到同一个哈希表中，将同一个哈希表中h₂值相同的数据点哈希到同一个哈希桶中。h₁和h₂的值构成哈希表和哈希桶的索引号。h₁和h₂的具体形式如下：

其中，r′i和r″i是随机数，tablesize是哈希表的大小，即为数据点的个数，prime为一个大的素数，常取值为235-5。

4.KNN算法

E2LSH采用KNN(K-Nearest neighbor，K最近邻分类算法)算法进行最近邻计算。具有简单、易实现、无需估计参数、无需训练、支持增量学习等优点。KNN算法的核心思想是：计算测试样本向量与训练集中每个样本向量的欧氏距离，根据欧氏距离的大小排序，输出训练样本中与测试样本最相似的K个样本数据。K根据检索输出样本数确定。

5.布料图像检索

本发明布料图像快速匹配检索方法(SKE)的具体过程包括：

(1)基于E2LSH算法的建表及分桶的过程

初始化：布料图库中布料图像的个数为M。

1)提取图像的SIFT特征向量

设布料图库中共有M幅图像，提取图库中每幅布料图像的SIFT特征向量T＝{t₁,t₂,…,t_n}，t∈R^d，，n是提取的特征点数，得到图库中所有布料图像的特征向量集AT＝{T₁,T₂,…,T_M}，其中，t∈R^d，d为特征向量维数128，n为每幅图像特征点的个数。

2)进行K-Means聚类建立视觉词袋

对图库中所有布料图像的SIFT特征向量集AT进行K-Means聚类，得到K个d维的向量W＝{w₁,w₂,…,w_K}，构成基本视觉词袋集合。

3)建立图像的形状特征直方图

对于每幅图像，计算其每个特征点t_i与w_i(i＝1,2,…,K)的欧氏距离的欧氏距离，并根据最小值累计其在每个视觉单词上出现的频次f_i，得到每幅图像的形状特征直方图v，其中，f_i及v的计算公式为：

v＝{f₁,f₂,…,f_K} (10)

其中，L_i,j表示第i个向量在第j个视觉单词上出现的频次，N_i表示第i个向量在K视觉单词上出现的频次之和。

4)E2LSH降维映射

对图库中每张图像的形状特征直方图v利用哈希函数g对取其进行降维映射，得到l维的向量a_t＝(h₁(v),h₂(v),...,h_l(v))，l＜K；

5)将图像分到相应哈希表的哈希桶

按照公式(7)和(8)分别计算形状特征直方图v的主哈希值h₁(a_t)和次哈希值h₂(a_t)，将主哈希值和次哈希值都相同的点哈希到同一个哈希表的哈希桶中。

(2)基于E2LSH算法的图像检索：

1)提取待测图像特征直方图

用上述同样方法建立图像的形状特征直方图，得到待测图像的形状特征直方图向量v'；

2)E2LSH降维映射

对待测图像的形状特征直方图v'，利用函数g对取其进行降维映射，得到l维的向量a_q＝(h₁(v'),h₂(v'),...,h_l(v'))，l<K；

3)实现图像的检索。

按照公式(7)和公式(8)分别计算形状特征直方图v'的主哈希值h₁(a_q)和次哈希值h₂(a_q)，根据主哈希值和次哈希值将待测图像哈希到相应的表中的相应桶中。利用KNN算法计算待测图像与桶中相应图像的相似度，按相似度的大小依次输出前k个近似图像。

5实验数据及分析

5.1评价指标

对于布料图像匹配结果，采用主观评价和客观评价相结合的方法。主观评价法主要是通过专家打分法评判图像匹配结果的好坏，客观评价法采用检测准确率来判断图像匹配结果的好坏。

1.客观评价指标

检测准确率＝NumDect/NumOut

其中，NumDect为正确检测出类别的图像数，NumOut为匹配输出的图像数，本实施例中，NumOut取50。

2.主观评价指标

由于布料图像相似度的评判具有比较强的主观性，仅根据客观评价指标中类别检测准确率不能够满足设计师的需求，本实施例引入主观评价指标。根据对设计师的调研，主观评价指标设计包括{布料类型，图案的空间分布，形状，颜色}四个部分，评分等级为{完全相同，比较相似，一般相似，较大不同，完全不同}。评价指标如表1所示：

表1主观评价指标

5.2实验数据与环境描述

实验中的布料图像来自于某服装公司，包括蕾丝、豹纹、波点、方格、条纹、几何、花、千鸟格共8种大类布料。实验操作系统为Windows 7，开发环境为Visual Studio2010，图像处理开源库为OpenCV2.4.11，CPU 1.7GHz，内存8GB。

5.3实验参数

综合考虑分类精度和分类全度，确定SIFT算法的组数、层数、edge_thresh、peak_thresh的值分别取5、4、18、0.18。K-Means算法的聚类数取400。E2LSH算法的w取-4。考虑计算复杂度，哈希函数采用阈值函数(根据随机的阈值0-255，对选中的l维做二值化)，最近邻计算采用欧氏距离作为判别依据，可以得到最佳结果。

5.4实验结果及分析

5.4.1实验一

为了验证SKE算法的有效性，通过主观评价和客观评价指标分别对SKE算法匹配输出的前50张图像分别进行了评判，并统计了每张待测图像与图库中所有图像的匹配时间。同时，实验就SKE算法和SIFT算法、SK算法(SIFT+K-Means)、SKL(SIFT+K-Means+LSH)算法进行比较。实验选取了10000张样本，布料图库中和测试库中每种类型的布料图像数量如表2所示：

表2实验数据描述

实验结果如表3、4所示。

表3不同算法的前50张布料图像匹配结果

表4不同算法下布料图像匹配时间

从表3可以看出，对于匹配到的前50张图像，在检测准确率上，SKE算法达到了85.54％，较SKL算法分别高出19％；在主观打分上，SKE算法达到了0.91，较SKL算法分别高出10％。在匹配速度上，从表4可以看出，SKE算法和SKL速度相近。待测图像与图库中每张图像的匹配时间平均仅为72μs，实现了实时匹配图像的目的。

4.3.2实验二

为了验证SKE算法在速度的优越性，通过不断加大图库中图片的数量，统计输出前50张图像时的检索时间，结果如表5所示。

表5不同大小图库下的检索时间

从表5可以看出，对于2000、5000、10000、30000、50000张的图库，检索出前50张图像时的速度分别为0.52s、0.61s、0.72s、0.92s和1.05s。随着图库中图片数量的增加，检索时间按线性缓慢增长。图库越大，SKE算法的优越性越高。

为了更直观感受匹配结果，给出了全部八种不同类型布料图像，输出前20张的匹配结果。输出图像中第一张是查找到的相同图像，其余的是相近图像。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims

1.一种布料图像快速匹配检索方法，其特征在于，该方法包括：

1)提取该布料图像的形状特征直方图；

2)采用哈希函数对形状特征直方图向量进行降维，获得一降维向量，计算该降维向量的主哈希值和次哈希值；

2.根据权利要求1所述的一种布料图像快速匹配检索方法，其特征在于，所述主哈希值和次哈希值的表达式为：

<mrow> <msub> <mi>h</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <mo>(</mo> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <msup> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>&prime;</mo> </msup> <msub> <mi>a</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> <mi>mod</mi> <mi> </mi> <mi>p</mi> <mi>r</mi> <mi>i</mi> <mi>m</mi> <mi>e</mi> <mo>)</mo> </mrow> <mi>mod</mi> <mi> </mi> <mi>t</mi> <mi>a</mi> <mi>b</mi> <mi>l</mi> <mi>e</mi> <mi>s</mi> <mi>i</mi> <mi>z</mi> <mi>e</mi> </mrow>

<mrow> <msub> <mi>h</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <msup> <msub> <mi>r</mi> <mi>i</mi> </msub> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>mod</mi> <mi> </mi> <mi>p</mi> <mi>r</mi> <mi>i</mi> <mi>m</mi> <mi>e</mi> </mrow>

其中，a为一l维向量，a_i为向量a中的第i个元素，r_i′和r_i″为随机数，tablesize为哈希表的大小，即为数据点的个数，prime为一素数。

3.根据权利要求1所述的一种布料图像快速匹配检索方法，其特征在于，所述布料图库对应一视觉词袋向量集，该视觉词袋向量集通过以下方法获取：

a)提取布料图库中每一布料图像的SIFT特征向量T＝{t₁,t₂,…,t_n}，t∈R^d，为维数，n是提取的特征点数，构成一特征向量集AT＝{T₁,T₂,…,T_M}，M为布料图库中布料图像总数；

4.根据权利要求3所述的一种布料图像快速匹配检索方法，其特征在于，所述步骤1)中，形状特征直方图的提取具体为：

获取每幅布料图像的SIFT特征向量，计算SIFT特征向量中的每个特征点t_i与w_i(i＝1,2,…,K)的欧氏距离，并根据最小值累计其在基本视觉词袋向量上出现的频次f_i，得到每幅图像的形状特征直方图v，其中，f_i及v的计算公式为：

<mrow> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>=</mo> <mo>{</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>w</mi> <mi>K</mi> </msub> <mo>}</mo> <mrow> <mo>(</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>K</mi> </munderover> <msub> <mi>L</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>N</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>

v＝{f₁,f₂,…,f_K}

5.根据权利要求1所述的一种布料图像快速匹配检索方法，其特征在于，所述步骤2)中，采用l个哈希函数对所述形状特征直方图向量v进行降维，获得一l维降维向量，各哈希函数定义为：

<mrow> <msub> <mi>h</mi> <mrow> <mi>c</mi> <mo>,</mo> <mi>b</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>&lsqb;</mo> <mfrac> <mrow> <mi>c</mi> <mo>&CenterDot;</mo> <mi>v</mi> <mo>+</mo> <mi>b</mi> </mrow> <mi>w</mi> </mfrac> <mo>&rsqb;</mo> </mrow>

6.根据权利要求1所述的一种布料图像快速匹配检索方法，其特征在于，采用KNN算法获得相似度最大的k个布料图像后，根据相似度大小依次输出相应布料图像。