CN106570141A - 近似重复图像检测方法 - Google Patents

Abstract

本发明公开了一种近似重复图像检测方法，包括以下步骤：步骤1：对待匹配图像进行对称层次哈希编码网络特征的提取与描述，得到用于构建局部敏感哈希索引结构的图像特征；步骤2：基于步骤1得到的图像特征，构建负载均衡的局部敏感哈希索引结构；步骤3：对查询图像提取对称卷积神经网络的特征并计算查询图像的对应哈希码，基于步骤2构建的负载均衡的局部敏感哈希索引结构，对待匹配图像的相关性进行排序，选取相关性最大的图像为近似重复图像。本发明实现快速有效地进行近似重复图像检测。

Description

近似重复图像检测方法

技术领域

本发明涉及图像检测领域，具体涉及一种近似重复图像检测方法。

背景技术

随着多媒体和互联网技术的快速发展，互联网上的图像数量爆炸式增长。同文字信息相比，基于视觉信息的图像更加形象、易于理解，这种优势使数字图像应用非常广泛，比如医学图像、新闻图像、商标图像等等。互联网上的图像经常有这样一种现象：通过使用图像搜索引擎比如Google或者百度，我们会发现一幅原始的数字图像经常会有很多近似重复的图像。这种现象造成了互联网存储以及带宽资源的巨大浪费，同时也带来了诸如图像侵权等问题。因此，高效的近似重复图像检测(Near Duplicate Image Detection，NDID)算法就显得尤为重要。

近似重复图像检测问题是基于内容的图像检索(Content Based ImageRetrieval，CBIR)的子问题，NDID问题有很明确的问题定义以及明显的特性，现在得到了广泛的关注和研究。近似重复图像是指对于一幅原始图像有很多经过变换的版本，常见的变换操作有：几何仿射变换、模糊、噪声污染、图像内容增强以及压缩等，在某些情况下，侵权图像可能只保留原始图像的一部分。近似重复图像在互联网上随处可见。网络环境下的近似重复图像包括了更多更显著的图像变换，如：文字嵌入、图像剪裁拼接等等，这些变换明显改善了图像表观，都为网络近似重复图像检测带来了极大的挑战。

发明内容

为了解决上述技术问题，即解决近似重复图像的效率问题，本发明的目的在于提出一种近似重复图像检测方法，有效地提高了近似重复图像检测的效率。

本发明的一种近似重复图像检测方法，该方法包括以下步骤：

步骤1：对待匹配图像进行对称层次哈希编码网络特征的提取与描述，得到用于构建建负载均衡的局部敏感哈希索引结构的图像特征；

步骤2：基于步骤1得到的图像特征，构建负载均衡的局部敏感哈希索引结构；

步骤3：对查询图像提取对称卷积神经网络的特征并计算查询图像的对应哈希码，基于步骤2构建的负载均衡的局部敏感哈希索引结构，对待匹配图像的相关性进行排序，选取相关性最大的图像为近似重复图像。

优选地，所述步骤1具体包括如下步骤：

步骤1a:构建两个网络结构以及参数完全相同的卷积神经网络构成对称卷积神经网络；

步骤1b:利用用于图像识别的基础数据集对alexnet网络结构进行微调；

步骤1c:将微调后的alexnet网络结构参数迁移到对称卷积神经网络中，使用预先构建的训练集对对称卷积神经网络进行训练；

步骤1d:使用训练好的对称卷积神经网络从待匹配样本中提取图像特征，构建负载均衡的局部敏感哈希索引结构。

优选地，所述步骤2具体包括如下步骤：

步骤2a:根据不同的度量距离生成对应的哈希函数，完成哈希函数初始化；

步骤2b:将步骤1中提取的图像特征根据对应的哈希函数映射到相应的哈希桶中，得到未调整的哈希表；

步骤2c:通过基本局部敏感哈希索引结构计算得到负载均衡哈希桶阈值Δ_LB；

步骤2d:依次检查每个哈希表中哈希桶内包含的图像样本数量是否超过阈值Δ_LB，如果超过阈值Δ_LB，对该哈希表执行局部重分配的操作，生成调整后的哈希表，并构建负载均衡的局部敏感哈希索引结构。

优选地，所述步骤3包括：

步骤3a:针对查询图像提取对称卷积神经网络的特征，计算查询图像的对应哈希码；

步骤3b:查找所构建的负载均衡的局部敏感哈希索引结构中与查询图像的哈希码碰撞的哈希桶，提取该哈希桶中的图像样本组成近似重复候选库；

步骤3c:依据近似重复候选库中各图像的特征，计算近似重复候选库中各图像的度量距离并进行相关性进行排序，选取相关性最大的图像为近似重复图像。

优选地，步骤1a中的卷积神经网络的损失层包括两部分：损失项和规则项；

损失项的损失函数E_c为

其中，q是输出的近似哈希码位数，y代表输入图像对的相似度，D是输出近似哈希码的距离，margin用来调节语义不相似图像的图像对对总体损失函数的影响；

规则项的约束函数E_h为

E_h＝-∑(cos(|a_n|,1)+cos(|b_n|,1))

其中，a_n、b_n分别为对称网络两部分网络分别输出的近似哈希码向量，1是q维元素全为1的向量。

优选地，步骤后2a中采用的度量方式为汉明距离和欧氏距离；

汉明距离函数对应的哈希函数族H为：

H＝{h:h(x_i)→{0,1}|i＝1,2,…,g}

其中，g是哈希码的位数，x_i是数据x的第i维数据，函数h是随机从函数族H中选择的。

欧式距离对应的哈希函数族h_w,b(x)为：

其中，w是符合高斯分布产生的g维随机数，b是随机从范围[0,r]产生的，r是根据特征数值定义的常数。

优选地，步骤2c中负载均衡哈希桶阈值Δ_LB的计算公式为：

其中，n是样本数量，d是数据样本的维数，L是哈希表数量，每个哈希表中最多保存B个哈希桶，c是近似系数。

优选地，步骤2d中对该哈希表执行局部重分配的操作的方法为：

对哈希桶样本数量超过阈值Δ_LB哈希桶，计算哈希桶中样本每一维数据的平均值组成虚拟中心VC，然后计算该哈希桶中的样本与虚拟中心VC的距离，并依据各样本距离虚拟中心VC的距离将样本从大到小排序，将超过阈值Δ_LB的样本送到下一个哈希桶中。

本发明中负载均衡的局部敏感哈希算法(Load Balanced LSH,LB-LSH)索引结构通过均衡哈希桶，使每个哈希桶含有的样本数量趋于均衡，从而提高近似重复图像检索问题的检测效率；通过构建负载均衡的局部敏感哈希索引结构，并基于该索引结构对待匹配图像的相关性进行排序，实现快速有效地进行近似重复图像检测。

附图说明

图1为本发明近似重复图像检测的流程示意图；

图2为本发明所采用的对称层次哈希编码网络。

图3为本发明提出的两步检测模型进行近似重复图像检测流程图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的方法并不受具体硬件和编程语言的限制，用任何语言编写都可以实现本发明的方法。本发明采用一台具有2.7G赫兹中央处理器和8G字节内存的计算机，并用Matlab语言实现了本发明的方法。

本发明近似重复图像检测的流程示意图如图1所示，其方法包括：

步骤1：对待匹配图像(即索引图像)进行对称层次哈希编码网络特征的提取与描述，得到用于构建负载均衡的局部敏感哈希索引结构的图像特征；本发明所采用的对称层次哈希编码网络如图2所示；

步骤2：基于步骤1得到的图像特征，构建负载均衡的局部敏感哈希索引结构；

步骤3：对查询图像提取对称卷积神经网络的特征并计算查询图像的对应哈希码，基于步骤2构建的负载均衡的局部敏感哈希索引结构，对待匹配图像的相关性进行排序，选取相关性最大的图像为近似重复图像。

本实施例中，步骤1具体包括如下步骤：

步骤1a:构建两个网络结构以及参数完全相同的卷积神经网络构成对称卷积神经网络。

本实施例使用的网络结构如图2所示，为对称层次哈希编码网络，该网络尝试将最后一个全连接层实现类似开关的1、-1属性，从而模拟哈希编码的学习过程。采用的网络是两个对称的卷积神经网络(CNN)网络，这两个卷积神经网络的网络结构和参数是完全相同的，其中对称层次哈希编码网络的损失函数层包括两部分：损失项和规则项；损失项用于衡量查询图像和待查询图像之间相似度，其损失函数E_c如公式(1)所示：

其中，q是输出的近似哈希码位数，y代表输入图像对的相似度，D是输出近似哈希码的距离，margin用来调节语义不相似图像的图像对对总体损失函数的影响，只有当该损失在某个范围(小于margin)才计入总体损失函数。

另外，需要输出的哈希编码是二值的，为了使输出映射为二值，在网络中添加了tanh函数为激活层，但是为了提高生成哈希码的质量，需要在损失函数中体现约束哈希编码二值化形式，于是规则项的约束函数E_h如公式(2)所示：

E_h＝-∑(cos(|a_n|,1)+cos(|b_n|,1)) (2)

其中，a_n、b_n分别为对称网络两部分网络分别输出的近似哈希码向量，1是q维元素全为1的向量，对网络输出的近似哈希码取绝对值并与1向量计算余弦距离作为规则项，可以是输出的绝对值极可能地逼近数值1。

步骤1b:利用用于图像识别的基础数据集对alexnet网络结构进行微调(Fine-tuning)，以得到涵盖特定领域的图像特征表达；本实施例中用于图像识别的基础数据集可以为UKBench、或CIFAR-10数据集、或自行构建的用于图像识别的数据集。

步骤1c:将微调后的alexnet网络结构参数迁移到对称卷积神经网络中，并分别添加一个全连接层和tanh函数激活的隐藏层(隐藏层中生成q比特哈希码)，最后连接损失函数层，使用预先构建的训练集对对称卷积神经网络进行训练。

步骤1d:使用训练好的对称卷积神经网络从待匹配样本中提取FC₈层图像特征，构建负载均衡的局部敏感哈希索引结构。

本实施例中步骤2具体包括如下步骤：

步骤2a:根据不同的度量距离生成对应的哈希函数，完成哈希函数初始化。

本实施例中采用的度量方式为汉明距离和欧氏距离；

汉明距离函数对应的哈希函数族H如公式(3)所示：

H＝{h:h(x_i)→{0,1}|i＝1,2,…,g} (3)

其中，g是哈希码的位数，x_i是数据x的第i维数据，函数h是随机从哈希函数族H中选择的。

欧式距离对应的哈希函数族h_w,b(x)如公式(4)所示：

其中，w是符合高斯分布产生的g维随机数，b是随机从范围[0,r]产生的，r是根据特征数值定义的常数。

步骤2b:将步骤1中提取的图像特征根据对应的哈希函数映射到相应的哈希桶中，即样本x被映射到第i个哈希表的哈希桶h(x_i)中，得到未调整的哈希表。该步骤暂时不考虑理论计算的哈希桶样本数量阈值。

步骤2c:通过基本局部敏感哈希索引结构计算得到负载均衡哈希桶阈值Δ_LB。

本实例提出的负载均衡局部敏感哈希索引结构的关键是均衡哈希桶数量，从而得到负载均衡的索引结构。因此哈希桶阈值是一个关键参数，需要对基本局部敏感哈希索引结构的数学理论分析得到。对于有n个d维数据样本，可以有效解决近似最近邻搜索问题的局部敏感哈希索引结构需要(dn+n^1+ρ)(其中n为样本数量，d为数据样本的维数，ρ为局部敏感哈希函数的参数)的存储空间。于是，得到了理论意义上的均衡哈希桶阈值，如公式(5)所示：

其中，n是样本数量，d是数据样本的维数，L是哈希表数量，每个哈希表中最多保存B个哈希桶，c是近似系数，c＝2。

步骤2d:依次检查每个哈希表中哈希桶内包含的图像样本数量是否超过阈值Δ_LB，如果超过阈值Δ_LB，对该哈希表执行局部重分配的操作，生成调整后的哈希表，并构建负载均衡的局部敏感哈希索引结构。

本实施例中，步骤2d中对该哈希表执行局部重分配的操作的方法为：对哈希桶样本数量超过阈值Δ_LB哈希桶，计算哈希桶中样本每一维数据的平均值组成虚拟中心VC，然后计算该哈希桶中的样本与虚拟中心VC的距离，并依据各样本距离虚拟中心VC的距离将样本从大到小排序，将超过阈值Δ_LB的样本送到下一个哈希桶中。

本实施例中，步骤3具体如图3所示，可以分为粗粒度检索和详尽检索，可以通过下面的步骤对检索方法进行详细描述：

步骤3a:针对查询图像提取对称卷积神经网络的特征，计算查询图像的对应哈希码，即先对检索图像提取图2网络中的FC₈层特征再结合不同度量距离产生的哈希函数计算对应的哈希码。

步骤3b:查找所构建的负载均衡的局部敏感哈希索引结构中与查询图像的哈希码碰撞的哈希桶，提取该哈希桶中的图像样本组成近似重复候选库，为了配合哈希桶重分配策略，负载均衡局部敏感哈希索引结构选取多于一个哈希桶中的样本组成潜在候选图像的近似重复候选库。该步骤的设计源于LSH的特性：如果两个相似的图像样本p和e没有被哈希映射到同一个哈希桶中，那么包含样本p和e的哈希桶大概率相邻，具体来说，对于查询样本e，我们应该首先将哈希桶h_i(p)-th中的样本加入近似重复候选库，然后同时检查它的np个相邻哈希桶。

步骤3c:依据近似重复候选库中各图像的特征，计算近似重复候选库中各图像的度量距离并进行相关性进行排序，选取相关性最大的图像为近似重复图像，即可以采用F₇层特征计算输入的查询图像与近似重复候选库中候选图像的相似度。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种近似重复图像检测方法，其特征在于，该方法包括以下步骤：

步骤1：对待匹配图像进行对称层次哈希编码网络特征的提取与描述，得到用于构建建负载均衡的局部敏感哈希索引结构的图像特征；

步骤2：基于步骤1得到的图像特征，构建负载均衡的局部敏感哈希索引结构；

步骤3：对查询图像提取对称卷积神经网络的特征并计算查询图像的对应哈希码，基于步骤2构建的负载均衡的局部敏感哈希索引结构，对待匹配图像的相关性进行排序，选取相关性最大的图像为近似重复图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括如下步骤：

步骤1a:构建两个网络结构以及参数完全相同的卷积神经网络构成对称卷积神经网络；

步骤1b:利用用于图像识别的基础数据集对alexnet网络结构进行微调；

步骤1c:将微调后的alexnet网络结构参数迁移到对称卷积神经网络中，使用预先构建的训练集对对称卷积神经网络进行训练；

步骤1d:使用训练好的对称卷积神经网络从待匹配样本中提取图像特征，构建负载均衡的局部敏感哈希索引结构。

3.根据权利要求2所述的方法，其特征在于，所述步骤2具体包括如下步骤：

步骤2a:根据不同的度量距离生成对应的哈希函数，完成哈希函数初始化；

步骤2b:将步骤1中提取的图像特征根据对应的哈希函数映射到相应的哈希桶中，得到未调整的哈希表；

步骤2c:通过基本局部敏感哈希索引结构计算得到负载均衡哈希桶阈值Δ_LB；

步骤2d:依次检查每个哈希表中哈希桶内包含的图像样本数量是否超过阈值Δ_LB，如果超过阈值Δ_LB，对该哈希表执行局部重分配的操作，生成调整后的哈希表，并构建负载均衡的局部敏感哈希索引结构。

4.根据权利要求3所述的方法，其特征在于，所述步骤3包括：

步骤3a:针对查询图像提取对称卷积神经网络的特征，计算查询图像的对应哈希码；

步骤3b:查找所构建的负载均衡的局部敏感哈希索引结构中与查询图像的哈希码碰撞的哈希桶，提取该哈希桶中的图像样本组成近似重复候选库；

步骤3c:依据近似重复候选库中各图像的特征，计算近似重复候选库中各图像的度量距离并进行相关性进行排序，选取相关性最大的图像为近似重复图像。

5.根据权利要求2～4中任一项所述的方法，其特征在于，步骤1a中的卷积神经网络的损失层包括两部分：损失项和规则项；

损失项的损失函数E_c为

$E_c=\frac{1}{2q}\underset{n=1}{\overset{q}{\Σ}}(y\·D^2+(1-y)\·max{\left(m\arg in-D,0\right)}^2)$

其中，q是输出的近似哈希码位数，y代表输入图像对的相似度，D是输出近似哈希码的距离，margin用来调节语义不相似图像的图像对对总体损失函数的影响；

规则项的约束函数E_h为

E_h＝-Σ(cos(|a_n|,1)+cos(|b_n|,1))

其中，a_n、b_n分别为对称网络两部分网络分别输出的近似哈希码向量，1是q维元素全为1的向量。

6.根据权利要求3或4中任一项所述的方法，其特征在于，步骤后2a中采用的度量方式为汉明距离和欧氏距离；

汉明距离函数对应的哈希函数族H为：

H＝{h:h(x_i)→{0,1}|i＝1,2,…,g}

其中，g是哈希码的维数，x_i是数据x的第i维数据，函数h是随机从函数族H中选择的。

欧式距离对应的哈希函数族h_w,b(x)为：

其中，w是符合高斯分布产生的g维随机数，b是随机从范围[0,r]产生的，r是根据特征数值定义的常数。

7.根据权利要求3或4中任一项所述的方法，其特征在于，步骤2c中负载均衡哈希桶阈值Δ_LB的计算公式为：

其中，n是样本数量，d是数据样本的维数，L是哈希表数量，每个哈希表中最多保存B个哈希桶，c是近似系数。

8.根据权利要求3或4中任一项所述的方法，其特征在于，步骤2d中对该哈希表执行局部重分配的操作的方法为：

对哈希桶样本数量超过阈值Δ_LB哈希桶，计算哈希桶中样本每一维数据的平均值组成虚拟中心VC，然后计算该哈希桶中的样本与虚拟中心VC的距离，并依据各样本距离虚拟中心VC的距离将样本从大到小排序，将超过阈值Δ_LB的样本送到下一个哈希桶中。