CN103593677A - 一种近似重复图像检测方法 - Google Patents

Abstract

本发明公开了一种近似重复图像检测方法，该方法包括以下步骤：获取训练图像集，并根据所述训练图像集中的图像学习得到多视觉词汇库；基于学习得到的多视觉词汇库，使用非负稀疏编码方法将待检测图像和图像数据库中图像的局部特征编码成非负的稀疏向量；通过所述非负稀疏向量的区域融合和空间结合而获取待检测图像和图像数据库中图像的直方图向量；根据所述待检测图像和图像数据库中图像的直方图向量度量图像之间的相似性，并输出图像数据库中与待检测图像近似重复的图像。

Description

一种近似重复图像检测方法

技术领域

本发明涉及计算机视觉领域，特别涉及一种近似重复图像检测(Near-duplicate Image Detection)技术。

背景技术

随着多媒体技术和相关电子处理技术的快速发展，作为信息的一种有效传播方式，数字图像正经历快速发展的时期，互联网上的图像数量正在呈爆炸式增长，这就不可避免的存在了大量的近似重复图像，给信息存储和用户检索带来非常的不便。因此近似重复图像检测吸引了一些学者的兴趣。通过近似重复图像检测的研究，一方面可以实现图像版权保护，另一方面，如果应用在图像搜索引擎中，用于过滤掉检索结果中的重复图像，从而提高用户的检索质量。因此，近似重复图像检测有非常重要的研究意义和应用价值。

通常近似重复图像是由某幅源图像通过某些变换得到的，一般可以产生近似重复图像的变换包括平移、缩放、旋转、图像色调的变化、添加网址或商标、格式变化、分辨率变化等等。近似重复图像检测最常用的框架有以下两类：基于词包模型(Bag of Words)的方法和基于索引的方法。词包模型的框架主要包括提取表示图像视觉的局部特征，对局部特征量化或编码，然后通过编码融合形成最终的直方图向量来表示图像，最后度量图像直方图向量之间的相似性。基于索引的框架比较流行的是将提取的图像的特征通过哈希编码处理成一个紧凑的显著的哈希串，这样相近的特征点以很高的概率被处理成相似的哈希串，在搜索的过程中，仅仅搜索那些相似的哈希串，从而降低了搜索的时间复杂度，但是最终的检测结果并不是很令人满意，同时它还需要大量的存储空间。因此，近年来，研究工作基本上是采用词包模型的框架来做近似重复图像检测。

当前非常流行的词包模型框架不仅用在近似重复图像检测上，还用在图像检索、图像分类等其他应用上。词包模型最大的缺点就是没有考虑图像视觉特征的位置信息，而只是对一幅图像的视觉特征个数的统计信息。因此有一些研究学者提出了词包模型结合空间金字塔匹配的方法，它在一定程度上考虑了图像视觉特征的位置信息，并获得了较好的实验结果。但是这种词包模型结合空间金字塔匹配的方法也存在如下缺点：1、对于空间金字塔的每一子块，都是基于同一个视觉词汇库来对特征编码，没有考虑视觉词汇库中视觉单词的空间位置信息；2、现流行特征编码方法会使最终融合的图像表示损失太多的图像视觉信息；3、相似性度量函数不够鲁棒，不能准确的度量图像之间的差异性。

发明内容

(一)要解决的技术问题

本发明的目的旨在提出一种适用于复杂变换下的近似重复图像检测方法，解决准确快速的检测近似重复图像的技术问题。

(二)技术方案

为实现上述目的，本发明提出一种近似重复图像检测方法，该方法包括以下步骤：

步骤1：获取训练图像集，并根据所述训练图像集中的图像学习得到多视觉词汇库；

步骤2：基于学习得到的多视觉词汇库，使用非负稀疏编码方法将待检测图像和图像数据库中图像的局部特征编码成非负的稀疏向量；

步骤3：通过所述非负稀疏向量的区域融合和空间结合而获取待检测图像和图像数据库中图像的直方图向量；

步骤4：根据所述待检测图像和图像数据库中图像的直方图向量计算图像之间的相似性，并输出图像数据库中与待检测图像近似重复的图像。

本发明还提出一种近似重复图像检测装置，该装置包括：

多视觉词汇库获取模块，用于获取训练图像集，并根据所述训练图像集中的图像学习得到多视觉词汇库；

稀疏向量生成模块，用于基于学习得到的多视觉词汇库，使用非负稀疏编码方法将待检测图像和图像数据库中图像的局部特征编码成非负的稀疏向量；

直方图向量生成模块，用于通过所述非负稀疏向量的区域融合和空间结合而获取待检测图像和图像数据库中图像的直方图向量；

输出模块，其根据所述待检测图像和图像数据库中图像的直方图向量计算图像之间的相似性，并输出图像数据库中与待检测图像近似重复的图像。

(三)有益效果

本发明所提出的有效的近似重复图像检测方法，采用了词包模型和空间金字塔匹配相结合的框架，提出的学习多个独立的视觉词汇库，在一定程度上考虑了视觉单词的空间位置信息。采用的对视觉特征非负稀疏编码方法，能够更好的对相近的特征给予相似的编码，最后设计出的加权卡方函数能够准确的度量两幅图像之间的相似性。通过将以上提出的方法相结合，获得非常好的近似重复图像检测结果。

附图说明

图1是本发明的近似重复图像检测方法的流程图；

图2是本发明的提出的多个独立的视觉词汇库。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明的方法具体运行的硬件和编程语言并不受限制，用任何语言编写都可以实现本发明的方法。本发明采用一台具有1.86G赫兹中央处理器和32G字节内存的计算机，并用Matlab语言编制了近似重复图像检测的工作程序，实现了本发明的方法。

图1是本发明提出的有效的近似重复图像检测方法的流程图。如图1所示，该方法包括：

步骤1：获取训练图像集，并从训练图像集中学习多个独立的视觉词汇库；

步骤2：对待检测图像和图像数据库中的每幅图像，均提取图像局部特征，基于步骤1学习到的多视觉词汇库，使用非负稀疏编码方法对图像的局部特征编码成非负的稀疏向量；

步骤3：通过有效的非负稀疏向量的区域最大值融合和空间结合而获取用于表示图像的直方图向量；

步骤4：设计相似性度量函数，根据所述待检测图像的直方图向量和图像数据库中图像的直方图向量度量待检测图像和图像数据库中图像之间的相似性，并输出图像数据库中与待检测图像近似重复的图像。

下面详细给出本发明技术方案中所涉及的各个步骤。

对于步骤1，包括如下步骤：

步骤1a：获取一部分已有图像作为训练图像集，对训练图像预处理，使得图像像素大小不超过500×500。对训练图像集中的每幅图像提取表示图像视觉的局部特征SIFT(Scale Invariant FeatureTransform)描述子；

步骤1b：对每一幅训练图像构建空间金字塔，对于空间金字塔的每一块，把所有训练图像集中对应该块的SIFT特征集集中在一起，使用Kmeans聚类方法学习出一个独立的视觉词汇库，这样就学习出了和空间金字塔对应的多个独立的视觉词汇库，该多个独立的视觉词汇库构成多视觉词汇库。

关于构建图像空间的模型，本发明实施例中选择两层的空间金字塔，具体如图2所示。设置层数L＝2，即0、1层，每层分为2^l×2^l子块，因此空间金字塔总共的划分子块为

对于每一子块，使用Kmeans聚类方法学习出一个独立的视觉词汇库，总共需学习出N＝5个独立的视觉词汇库，即对于0层的一个块学习得到B₀₁，对于1层的四个块学习得到B₁₁-B₁₄。如图2所示，这5个独立的视觉词汇库构成了多视觉词汇库{B₀₁，B₁₁，B₁₂，B₁₃，B₁₄}，其中每个视觉词汇库中包括M个视觉单词。

对于步骤2，包括如下步骤：

步骤2a：对待检测图像和图像数据库中的所有图像预处理，使得图像像素大小不超过500×500。对预处理后的图像，提取表示图像视觉的局部特征SIFT(Scale Invariant Feature Transform)描述子；

步骤2b：对待检测图像和数据库中每幅图像构建空间金字塔，具体方法同步骤1b所述。对于属于图像空间金字塔每一块的所有SIFT描述子，基于与该块对应的视觉词汇库，使用非负稀疏编码方法把SIFT描述子编码成稀疏向量。

对于图像空间金字塔的每一块，具体的非负稀疏编码方法如下式所示：

$\arg \min \underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|x_i-{\mathrm{B\α}}_i\left|\right|}^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_{1}s.t.\∀{\mathrm{i\α}}_i\≥0$

其中，X＝[x₁，…x_K]∈R^D×K表示K个维数为D的SIFT描述子，K为该空间金字塔块对应的SIFT描述子的个数，对于不同的金字塔块，K的值不定；D为SIFT描述子的维数，通常为128；B＝[b₁，b₂…b_M]∈R^D×M表示一个包含M个视觉单词的视觉词汇库，

是对描述子x_i非负稀疏编码后的稀疏向量，那么X＝[x₁，…x_K]∈R^D×K就被编码为(α₁，α₂，……，α_K)。

按照上述方法，对所有的图像空间金字塔块都进行非负稀疏编码。

对于步骤3，包括如下步骤：

步骤3a：对于图像空间金字塔的每一块，如果属于该块的所有SIFT描述子的稀疏编码为(α₁，α₂，……，α_K)，采用最大值融合方法对该块的编码融合，其定义为：

p(i)＝max{α₁(i)，α₂(i)，……，α_K(i)}

其中，p(i)为融合后向量p的第i个元素，k表示为该空间金字塔块中SIFT描述子的总数，融合后的p的维数与α_K，j的维数相同，即

。对空间金字塔每一块均进行这样的编码融合操作；

步骤3b：对图像空间金字塔每一块，均进行步骤3a操作，这样就得到了图像空间金字塔中每一子块的融合向量，然后将每一块的融合向量，按照其所在空间金字塔位置连接起来，具体规则是对图像空间金字塔，从底层到高层、每一层顺时针方向连接起来。具体地，由于图像空间金字塔总共分为了两层，共5块，如果所有子块融合后的向量用p₁，p₂，p₃，p₄，p₅表示，那么连接后的向量为其中W＝5*M，然后采用L₂范数对其归一化得到

这样一幅图像最终由直方图向量H来表示。

步骤4，具体如下：

所设计的相似性度量函数是一种加权χ²的距离度量标准。即在计算χ²距离时，对不同的图像空间金字塔层，给予不同的权重值。图像空间金字塔不同层的加权χ²距离形式如下：

$D^l=\left\{\begin{array}{cc}\frac{1}{2^L}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{D}_i,& \mathrm{ifl}=0\\ \frac{1}{2^{L-l}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{D}_i,& \mathrm{ifl}=1,...,L-1\end{array}\right.$

其中，

表示权重值，D_i表示χ²距离，l表示当前空间金字塔层的索引号，L表示空间金字塔的层数，m表示空间金字塔第l层的子块数目，值得说明的是，空间金字塔层的索引号是从0开始的。

对于待检测图像和图像数据库中的图像通过上面步骤被表示为

特别地，H₁，H₂的加权χ²距离可以表示为如下：

$D(H_1,H_2)=\underset{l=0}{\overset{L-1}{\mathrm{\Σ}}}{D}^l=D^0+D^1=\frac{1}{4}\underset{i=1}{\overset{1}{\mathrm{\Σ}}}{D}_i+\frac{1}{2}\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{D}_i$

根据设计的加权χ²距离相似性度量函数，分别计算待检测图像和数据库中所有图像的相似性值，然后对其升序排列，输出数据库中与待检测图像近似重复的图像。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种近似重复图像检测方法，该方法包括以下步骤：

步骤1：获取训练图像集，并根据所述训练图像集中的图像学习得到多视觉词汇库；

步骤2：基于学习得到的多视觉词汇库，使用非负稀疏编码方法将待检测图像和图像数据库中图像的局部特征编码成非负的稀疏向量；

步骤3：通过所述非负稀疏向量的区域融合和空间结合而获取待检测图像和图像数据库中图像的直方图向量；

步骤4：根据所述待检测图像和图像数据库中图像的直方图向量计算图像之间的相似性，并输出图像数据库中与待检测图像近似重复的图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤1包括：

步骤11：获取一部分已有图像作为训练图像集，并对其中的训练图像进行预处理，使得训练图像像素大小不超过预定值，对预处理后的训练图像集中的每幅图像提取表示图像视觉的局部特征SIFT描述子；

步骤12：对训练集中的图像构建图像空间金字塔，对于图像空间金字塔的每一块，把所有训练图像集中对应该块的SIFT特征集集中在一起，学习得到对应于图像空间金字塔每一块的独立视觉词汇库，对应所述图像空间金字塔所有块的独立视觉词汇库构成了多视觉词汇库。

3.根据权利要求2所述的方法，其特征在于，所述步骤2包括：

步骤21、对待检测图像和图像数据库中的所有图像预处理，使得图像像素大小不超过预定值，提取预处理后图像的表示图像视觉的局部特征SIFT描述子；

步骤22：对待检测图像和图像数据库中每幅图像，构建图像空间金字塔，对于图像空间金字塔中每一块，根据对应于该块的独立视觉词汇库，使用非负稀疏编码方法将待检测图像和图像数据库中每幅图像对应该块的所有SIFT描述子编码成稀疏向量。

4.如权利要求3所述的方法，其特征在于，步骤22中非负稀疏编码方法如下式所示：

$\arg \min \underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|x_i-{\mathrm{B\α}}_i\left|\right|}^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_{1}s.t.\∀{\mathrm{i\α}}_i\≥0$

其中，X＝[x₁，…x_K]∈R^D×K表示图像空间金字塔块对应的维数为D的SIFT描述子，K为该图像空间金字塔块对应的SIFT描述子的个数；B＝[b₁，b₂…b_M]∈R^D×M表示该图像空间金字塔块对应的包含M个视觉单词的独立视觉词汇库，

是对SIFT描述子x_i进行非负稀疏编码后的稀疏向量。

5.根据权利要求4所述的方法，其特征在于，所述步骤3包括：

步骤31：对于图像空间金字塔每一块，将所述待测图像和图像数据库中图像中对应该块的所有SIFT描述子的非负稀疏编码向量进行最大值融合，获得的该块对应的融合向量，其中该融合向量如下表示：

p(i)＝max{α₁(i)，α₂(i)，……，α_K(i)}

其中，p(i)为融合后向量p的第i个元素，K表示为该空间金字塔块中SIFT描述子的总数，(α₁，α₂，……，α_K)为SIFT描述子对应的非负稀疏编码后的稀疏向量；

步骤32：将每一块的融合向量按照其在空间金字塔的位置顺序组合形成统一向量，并对该统一向量进行归一化得到所述图像的直方图向量。

6.根据权利要求1所述的方法，其特征在于，步骤4中采用加权χ²距离计算所述待检测图像和图像数据库中图像之间的相似性。

7.如权利要求7所述的方法，其特征在于，所述待检测图像和图像数据库中图像之间的加权χ²距离如下计算：

$D(H_1,H_2)=\underset{l=0}{\overset{L-1}{\mathrm{\Σ}}}{D}^l$

$D^l=\left\{\begin{array}{cc}\frac{1}{2^L}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{D}_i,& \mathrm{ifl}=0\\ \frac{1}{2^{L-l}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{D}_i,& \mathrm{ifl}=1,...,L-1\end{array}\right.$

其中，H₁和H₂分别为待检测图像和图像数据库中图像的直方图度量向量，D_i表示χ²距离，

表示权重值，l表示当前空间金字塔层的索引号，L表示空间金字塔的层数，m表示空间金字塔第l层的子块数目。

8.一种近似重复图像检测装置，该装置包括：

多视觉词汇库获取模块，用于获取训练图像集，并根据所述训练图像集中的图像学习得到多视觉词汇库；

稀疏向量生成模块，用于基于学习得到的多视觉词汇库，使用非负稀疏编码方法将待检测图像和图像数据库中图像的局部特征编码成非负的稀疏向量；

直方图向量生成模块，用于通过所述非负稀疏向量的区域融合和空间结合而获取待检测图像和图像数据库中图像的直方图向量；

输出模块，其根据所述待检测图像和图像数据库中图像的直方图向量计算图像之间的相似性，并输出图像数据库中与待检测图像近似重复的图像。

Images