CN105117407A - 一种基于聚类的距离方向直方图的图像检索方法 - Google Patents

Abstract

该发明公开了一种基于聚类的距离方向直方图的图像检索方法，属于模式识别与信息处理技术领域，涉及计算机视觉方面的海量图像检索。该方法统计训练图像集所提取的局部视觉特征的分布特性，将局部特征空间进行划分；通过目标图像局部特征的描述符和划分空间中心的距离，以及局部特征主方向和划分空间主方向之间的一致性将局部特征分配到距离最近的子区域中，进而生成图像全效表达；使用图像全效表达进行检索，能高效的完成对大规模图像的检索工作。通过大量的实验验证了本发明在使用较少计算量的情况下，有效的提高了图像检索的准确率，并在大规模图像集上获得了很好的可扩展性。

Description

一种基于聚类的距离方向直方图的图像检索方法

技术领域

本发明属于模式识别与信息处理技术领域，涉及计算机视觉方面的海量图像检索。

背景技术

随着互联网和数字摄影设备的普及和发展，互联网上的图像呈爆炸性增长。如何从海量图像数据中，快速高效地获取自己感兴趣的图像显得尤为重要，吸引着越来越多专家学者的注意。随着图像规模的增加，图像检索的难度也相应增加，不仅要求高的检索准确率和效率，也要求尽可能低的存储开销，同时需要确保图像检索系统的可扩展性。因此，大规模的图像数据和其内容的多样性增加了对具有高辨识度的紧凑图像表达的需要。为了获取高辨识度的图像表达，研究者提出了多种有效的算法。其中，融合了发展相对成熟的文件索引技术和计算机视觉技术的词袋模型是一种应用广泛的图像检索模型。目前多数前沿的大规模图像检索系统依赖于图像的词袋模型来实现系统的可扩展性。然而训练图像集规模增加到百万级别，词袋模型面临着索引存储和相似度计算开销巨大的问题。通过聚合图像中大量的局部特征，生成图像的全局表达可以获得更好的检索性能。基于此，为了获得更紧凑的图像特征，Jegou等人结合了词袋模型FisherKernel的思想，将局部特征进行聚合生成一个紧凑的全局描述符，也就是VLAD描述符。VLAD描述符是比FisherKernel特征描述更加简单的聚合特征描述符，其检索性能较词袋模型更好。然而，VLAD描述符在量化的过程中，局部描述符的量化误差有正有负，可能出现彼此抵消的情况。同时，VLAD描述符只用了局部特征的描述符信息，而忽略了其他有用线索，例如空间信息，进而影响其检索性能和可扩展性。

大规模图像检索的关键在于其可扩展性，在处理海量图像数据时仍能获得高检索准确率并保存尽量低的索引存储开销。为了实现这个目标，本发明针对现有方法的不足，吸取了计算机视觉理论和信息检索理论中的最新成果，研究了如何提取具有高辨识度和区分度的图像紧凑表达，来实现高效的大规模图像检索。基于此，本发明提出了一种用于检索的基于聚类的距离方向直方图。基于聚类的距离方向直方图利用整个图像集所提取的局部特征描述符的全局特性和规律，计算图像中的局部特征描述符相对于整个图像集的特征描述符的分布。这样的分布特性可以让图像相对于图像集中的其他图像具有高辨识度。同时通过利用局部特征的主方向信息，进一步提高其检索性能，具有更好的可扩展性，适用于大规模图像检索。

发明内容

本发明要解决海量图像的检索问题，特别是包含百万或百万以上图像的训练图像集，由此在处理海量图像数据时，可以高效地检索出用户所感兴趣的图像。本发明的目的在于提供一种具有良好的可扩展性，适用于大规模图像检索的图像表达方法。

为达到上述目的，本发明提出的一种基于聚类的距离方向直方图的图像检索方法，包括如下步骤：

步骤1：首先提取训练图像集中各图像的SIFT特征；

步骤2：对步骤1获得所有图像的局部特征进行聚类，获得局部特征的粗划分，对每个粗划分中的分量再进行聚类处理，获得局部特征的子划分；将步骤1获得的各局部特征的主方向划分为R个主方向区域，根据各局部特征的主方向将其划归入相应的主方向区域，使各区域中包含局部特征的数量相近；再根据主方向区域的划分方法来对局部特征的子划分进一步的划分为多个子区域；图像集中每幅图像的局部特征在同一个子区域的数目，组成该图像的全效表达，获得图像集中每幅图像的全效表达；

步骤3：若要对图像进行检索，则根据步骤1相同的方法提取目标图像的局部特征，将目标图像的各局部特征量化到距离最近的步骤2获得的子区域；

步骤4：统计每个子区域中目标图像的局部特征数目，组成目标图像的全效表达；

步骤5：找到与目标图像的全效表达距离最近的图像，即为与目标图像最相似的图像。

进一步的，所述步骤2中采用K-means方法对局部特征进行聚类处理。

进一步的，所述步骤2中获得图像的全效表达后，再采用内标准化方法，对图像全效表达进行标准化；所述步骤4获得目标图像的全效表达后，采用相同的内标准化方法进行内标准化，所述步骤5计算内标准化后的全效表达之间的距离。

进一步的，将步骤2获得的内标准化后的图像全效表达划分成K个子向量，并对每个子向量单独编码并存储；之后根据基于乘积量化器的近似最近邻搜索算法对图像全效表达建立索引，以及计算目标图像与图像集中图像的相似度。

本发明的有益效果：

本发明通过提取图像集中局部特征的分布信息，将图像局部特征很好地聚合为一个紧凑的全局描述，解决了大规模图像的检索问题，本发明具有以下优点和有益效果：

1.采用层级K-means算法，快速实现对图像集局部特征空间的划分。

2.在对图像集特征空间的划分中，不仅考虑了局部特征描述符，而且考虑了局部特征主方向信息，实现了对图像集局部特征空间更细致的划分。

3.通过利用图像集局部特征全局特性和规律，将图像大量的局部特征聚合成一个紧凑的全局特征，能有效的减少特征的存储空间，提高检索准确率，获得更好的可扩展性。

附图说明

图1VLAD和DOHC描述符在不同数目的干扰图像下的大规模图像检索性能图；

图2DOHC和VLAD描述符在Ukbench图像集上的平均准确率MAP(％)；

图3DOHC和VLAD描述符在Holidays图像集上的平均准确率MAP(％)；

图4DOHC和VLAD描述符在Oxford5kBuilding图像集上的平均准确率MAP(％)；

图5DOHC和VLAD描述符在Paris6k图像集上的平均准确率MAP(％)；

图6DOHC和VLAD描述符的大规模图像检索性能对比。

具体实施方式

为了使得本发明的目的、技术方案和有益效果更加清楚明白，以下结合具体案例，并参照附图，对本发明进行进一步详细的说明。

本发明是用于大规模图像检索，特别是百万或百万以上图像的检索，图像全效表达方法。该方法统计训练图像集所提取的局部视觉特征的分布特性，将局部特征空间进行划分。通过目标图像局部特征的描述符和划分空间中心的距离，以及局部特征主方向和划分空间主方向之间的一致性将局部特征分配到距离最近的子区域中，进而生成图像全效表达。使用图像全效表达进行检索，能高效的完成对大规模图像的检索工作。通过大量的实验验证了本发明在使用较少计算量的情况下，有效的提高了图像检索的准确率，并在大规模图像集上获得了很好的可扩展性。

本发明提出的用于大规模训练图像集中相似图像检索的图像全效表达包括如下步骤：

步骤1：为了提取出图像的视觉信息，首先利用已有的局部特征提取算法提取图像的局部特征。本发明采用的是经典的SIFT特征，提取出训练图像集和目标图像的SIFT特征。每幅图像根据所提取的SIFT特征表示为I＝[f₁,f₂,…,f_M]∈R^D×M，其中每个SIFT特征f_i包括描述符d_i，坐标u_i，主方向θ_i和特征尺度s_i。

步骤2：对步骤1所获得的图像集的局部特征，采用层次K-means对其进行聚类。我们利用K-means算法首先将图像集的SIFT特征描述符进行聚类，获得K个聚类C＝[c₁,c₂,…,c_K]。其中K的取值设定为较少的整数值。本发明中，K的值设置为2的指数，从8到128。然后，对获得的每个聚类c_i再次使用K-means，聚类成N子聚类c_i＝[c_i,1,c_i,2,…,c_i,N]。采用这样的层次K-means聚类方式，可以快速地获得了K×N个子聚类。在本发明中，认为每个聚类c_i是一个对整个特征空间的粗划分，而每个子聚类_C第i个粗划分空间中的一个子划分。通过层次聚类，我们获得了K×N子聚类，也就是K×N个特征空间的子划分。我们采用聚类中心{μ₁,μ₂,...,μ_N}来表示局部特征的粗划分空间C＝[c₁,c₂,…,c_K]，采用子聚类的聚类中心{μ_i,1,μ_i,2,...,μ_i,K}来表示相应的子划分空间。

然后统计图像集中提取出的SIFT特征的主方向，并根据图像集中SIFT特征主方向的分布，将主方向分为R个区域，R的具体数值是根据经验人为设定的，使每个区域内的SIFT特征数目尽量相同。通过对主方向的划分，每个子划分空间c_i,j分为R子区域c_i,j,r。在本发明中，图像集的局部特征空间被划分为K×N×R个子区域。

步骤3：首先计算目标图像中局部特征描述符d_m和粗划分空间中心的距离。

dis_i,m＝||d_m-μ_i||²,d_m∈c_i(公式1)

其中dis_i,m表示目标图像的第m个SIFT特征描述符和第i个粗划分空间的距离，m＝1,2,...,M，i＝1,2,...,K。根据所计算的距离，将将其分配到距离最近的聚类粗划分空间：

q_c(d_m)＝argmin‖d_m-μ_i‖²(公式2)

其中q_c(d_m)表示与目标图像第m个SIFT的特征距离最近的粗划分，为了方便采用来表示。在计算出距离最近的粗划分空间后，采用相同的方法，计算在粗划分空间的SIFT特征描述符与其子划分中心的距离，并根据这个距离将其分配到与之距离最近的子划分空间中：

(公式3)

其中，表示与目标图像第m个SIFT的特征在粗划分空间中距离最近的子划分空间，j＝1,2,...,N。在此基础上，将每个子划分空间中的SIFT特征d_m，根据其主方向的值θ_m量化到相应的子区域中

步骤4：为了定性地描述图像SIFT特征描述符相对于图像集的SIFT特征的分布，本发明采用较为简单的直方图描述形式来生成图像全效表达。我们首先统计分配到子区域c_i,j,r的SIFT特征的数目，作为图像全效表达对应bin的值，bin代表直方图中每个柱。

(公式4)

其中h(i,j,r)表示在第i个粗划分空间中的第j个子划分空间中的第r个子区域中的SIFT特征的数目。图像全效表达为一个K×N×R维的直方图V＝[h_1,1,1,h_1,1,2,...,h_K,N,R]。

对于一个直方图形式的特征表达向量，一些维度可能会强烈的影响相似度的计算。在这种情况下，其他值小的维度对相似度的贡献将被大大消减。为了获得更好的图像检索性能，消除图像全效表达向量中突发性分量对图像相似度度量的影响，采用内标准化方法，

(公式5)

其中α是功率归一化的参数，在本发明中设置为0.5。V_i表示属于第i个粗划分空间的图像全效表达分量，也就是V_i＝[h_i,1,1,h_i,1,2,...,h_i,N,R]。最后图像全效表达表示为K个内标准化后的分量集合V＝[V₁,V₂,...,V_K]。

步骤5：由于图像全效表达是基于局部特征空间划分的，因此将图像全效表达划分成K个子向量V_i，并对每个子向量单独编码。之后根据基于乘积量化器的近似最近邻搜索算法图像全效表达建立索引，以及计算与图像集中图像的相似度。

在大规模图像数据集试验中，为了提高检索效率及节约存储空间，采用成绩量化器的近似最近邻搜索算法计算全校表达之间的距离。但是近似最近邻搜索算法是一种穷举搜索算法，为了避免这种情况，结合倒排文件系统和非对称距离计算方法，提出非对称距离的倒排文件系统。具体的包括对图像库中的全校表达y建立索引和搜索查询全校表达x最近邻向量两部分。

图像库中的全校表达y建立索引的流程如下：

1.利用粗量化器将全校表达y量化到qc(y)。

2.计算全校表达y的剩余向量r(y)＝y-qc(y)。

3.利用乘积量化器qp将剩余向量r(y)量化到qp(r(y))，将uj(y)量化到qj(uj(y))，

j＝1,2,...,m。

4.在和qc(y)相关的倒排表上，添加一个项，包括全校表达ID和二进制编码，

也就是乘积量化器的索引。

查询全校表达x搜索最近邻向量包括4个步骤：

1.将查询全校表达x通过粗量化器，量化到与其距离最近的w个聚类中心。

2.计算每个子向量和其对应子量化器中的每个聚类中心cj,i之间的平方距离d(uj(r(x)),cj,i)2。

3.计算剩余向量r(x)和倒排表上的索引向量之间的平方距离。根据步骤2中所计算的子向量和聚类中心的距离，选择剩余向量所量化的子量化器。由于乘积量化器中的子量化器之间的距离，已经预先计算并存储在表中。通过查表，将m个剩余向量子向量和倒排表上的索引向量子向量之间的距离相加，可以获得两个向量的平方距离。

4.选择K个和查询全校表达x距离最近的全校表达。

本发明方法的效果：

为了验证本发明的效果，我们选用了标准训练图像集UKbench，Holidays，Oxford5kBuilding和Paris6k上图片作为测试训练图像集。其中，UKbench包括2550类，每类从不同的视角拍摄4张图像，共10200张图像；Holiday图像集包含了1,491幅个人的度假相片，其中500幅作为查询图像；Oxford5kBuilding图像集包含了5,062幅从Flickr上下载下来的和Oxford建筑物相关的照片，定义了55个查询图像；Paris6k图像集包含了通过在Flickr搜索巴黎标志性建筑物搜集到的6,412幅图像，同时定义了55个查询图像。这些图像集的性能通过平均准确率来衡量。同时我们采用从ImageNet训练图像集中1,000个种类的1,260,000幅图像作为验证集，并抽取选用了100,000张和所有测试图像不重复的图像作为训练训练图像集。

表1-4展示了本发明的在中等规模图像集的实验结果，K代表粗划分的数目，N代表细化分的数目，DOHC-N代表具有不同细化分数目N的DOHC描述符，图1和表5展示了本发明在大规模图像集上的实验结果。通过与背景技术中的VLAD方法对比，可以发现本发明所提出的图像全效表达方法更适合描述内部具有相似结构的图像。同时，图像全效表达方法的鲁棒性和可扩展性要优于VLAD描述符，当图像集中图像数目增多时，图像全效表达的检索性能下降得更慢。

Claims (4)

1.本发明提出的一种基于聚类的距离方向直方图的图像检索方法，包括如下步骤：

步骤1：首先提取训练图像集中各图像的SIFT特征；

步骤2：对步骤1获得所有图像的局部特征进行聚类，获得局部特征的粗划分，对每个粗划分中的分量再进行聚类处理，获得局部特征的子划分；将步骤1获得的各局部特征的主方向划分为R个主方向区域，根据各局部特征的主方向将其划归入相应的主方向区域，使各区域中包含局部特征的数量相近；再根据主方向区域的划分方法来对局部特征的子划分进一步的划分为多个子区域；图像集中每幅图像的局部特征在同一个子区域的数目，组成该图像的全效表达，获得图像集中每幅图像的全效表达；

步骤3：若要对图像进行检索，则根据步骤1相同的方法提取目标图像的局部特征，将目标图像的各局部特征量化到距离最近的步骤2获得的子区域；

步骤4：统计每个子区域中目标图像的局部特征数目，组成目标图像的全效表达；

步骤5：找到与目标图像的全效表达距离最近的图像，即为与目标图像最相似的图像。

2.如权利要求1所述的一种基于聚类的距离方向直方图的图像检索方法，其特征在于所述步骤2中采用K-means方法对局部特征进行聚类处理。

3.如权利要求1所述的一种基于聚类的距离方向直方图的图像检索方法，其特征在于所述步骤2中获得图像的全效表达后，再采用内标准化方法，对图像全效表达进行标准化；所述步骤4获得目标图像的全效表达后，采用相同的内标准化方法进行内标准化，所述步骤5计算内标准化后的全效表达之间的距离。

4.如权利要求1所述的一种基于聚类的距离方向直方图的图像检索方法，其特征在于将步骤2获得的内标准化后的图像全效表达划分成K个子向量，并对每个子向量单独编码并存储；之后根据基于乘积量化器的近似最近邻搜索算法对图像全效表达建立索引，以及计算目标图像与图像集中图像的相似度。