CN104765872B - 一种基于集成哈希编码的快速图像检索方法 - Google Patents

Abstract

本发明公开了一种基于集成哈希编码的快速图像检索方法，属于数字图像检索技术领域，步骤如下：首先提取训练图像和查询图像的SIFT特征，并利用M种哈希算法对训练图像进行初始哈希编码；然后利用集成学习中的一致性约束准则对初始哈希编码结果进行再学习，得到集成哈希映射矩阵；最后重新对训练图像和查询图像进行集成哈希编码，并在集成哈希编码的基础上通过计算查询图像与训练图像之间的汉明距离来进行快速检索。本发明中的集成哈希编码能够同时融合不同哈希算法的特点和优势，解决了单一哈希算法判别力不足和适用范围的局限性问题，从而使得图像的快速检索更加准确和高效。

Description

一种基于集成哈希编码的快速图像检索方法

技术领域

本发明涉及基于内容的图像检索方法，特别涉及一种基于集成哈希编码的快速图像检索方法，属于数字图像检索技术领域。

背景技术

随着多媒体网络技术的发展，互联网上的图像资源呈爆炸式增长，使得用户很难在浩如烟海的数据中找到真正感兴趣的信息。因此，如何对海量的图像进行快速有效的分析和检索成了一个非常具有挑战性的任务。传统的基于内容的图像检索技术往往都是通过提取图像的底层特征进行穷举比对，但因其比较过程的时间复杂度是线性的，无法在大规模网络图像数据上进行扩展和应用，并且由于图像的底层视觉特征动辄成千上万维，许多图像检索应用还会遇到维数灾难的问题，如何对如此庞大的原始数据进行存储也是一个巨大瓶颈。

过去的十年中，研究者们对图像的快速检索技术进行了详细研究。其中，基于哈希编码的图像搜索方法取得了巨大成功。该类算法通过将图像表示成低维的二进制编码向量来完成近似近邻搜索。利用二进制编码进行图像的近似近邻搜索是极其快速的，其原因在于：(1)图像的编码向量是高度压缩的，可以将其全部载入内存之中；(2)编码之间的汉明(Hamming)距离通过按位的异或操作便可得到，因此该计算过程是非常高效的(如今，一台普通的台式机在几毫秒之内就可以完成数百万汉明距离的计算)。

目前，传统的图像哈希编码算法主要分为非数据依赖和数据依赖两种方案。其中一种非常著名的非数据依赖哈希算法便是局部敏感哈希(LocalitySensitiveHashing,LSH)，但是其投影向量的随机性导致其编码效率并不高，它往往需要构建具有很长编码长度的多个哈希表才能获得较为理想的效果。近年来，研究者们将研究重点转移到数据依赖的哈希算法上来，试图通过机器学习的方法代替随机投影来寻找更好的数据依赖哈希函数，如基于深度学习网络的限制玻尔兹曼机(RestrictedBoltzmannMachines,RBMs)和基于谱图分割的谱哈希(SpectralHashing,SH)算法等。RBMs算法通过神经网络模型逐层对图像的原始特征进行降维和学习，并最终得到一个紧致的二进制编码。SH算法则通过构建拉普拉斯特征图并利用主成分分析(PCA)方法提取其特征向量对原始图像进行哈希编码。但是上述方法都是基于单一的图像底层视觉特征信息进行哈希编码，无法全面地表达图像丰富的内容信息。后续的研究，如多特征哈希算法(MultipleFeatureHashing,MFH)和多源信息合成哈希算法(CompositeHashingwithMultipleInformationSources,CHMIS)等，又在多种特征信息的融合等方面对数据依赖哈希算法进行了相关的拓展。虽然上述哈希算法是针对问题的不同角度提出，都具有各自的一些特点和优越性，但它们往往只在某些特定的设置条件或者数据库上有效，范围扩展性较差。此外，鉴于网络图像数据特征的多样性和结构的复杂性，目前传统的基于单一哈希编码的图像检索方法已无法满足实际应用中对于快速图像检索的准确率的需求。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于集成哈希编码的快速图像检索方法。本发明的特点在于能够充分利用不同哈希算法的特点，融合不同哈希算法的编码优势，通过一致性约束准则更有效地进行集成哈希编码的学习，从而提高快速图像检索方法的准确率和普适性。

本发明的技术方案是：一种基于集成哈希编码的快速图像检索方法，对数据库中的训练图像和查询图像分别提取其SIFT特征并利用K-均值聚类将其量化表示成特征向量的形式，利用不同的图像哈希编码算法对训练图像的特征向量进行初始哈希编码，然后在不同算法得到的初始哈希编码基础上分别计算训练图像之间的相似度矩阵，并通过集成学习算法的一致性约束准则学习得到新的集成哈希映射矩阵，最后利用集成哈希映射矩阵对所有训练图像和查询图像的特征向量重新进行集成哈希编码，并在集成哈希编码的基础上通过计算查询图像与训练图像之间的汉明距离来进行快速检索。其具体步骤如下：

(1)给定数据库，将其分为训练图像数据库和查询图像数据库，对每一幅训练图像t_i,1≤i≤n和查询图像u_j,1≤j≤q分别提取SIFT特征并利用K-均值聚类将其量化表示为d维的特征向量，其中n和q分别为训练图像和查询图像的数量，则所有训练图像的特征向量可以组成一个训练图像特征向量库X＝[x₁,x₂,...,x_n]^T，其中X为n×d维的矩阵，X的每一行x_i分别为相应训练图像t_i的特征向量，所有查询图像的特征向量可以组成一个查询图像特征向量库Y＝[y₁,y₂,...,y_q]^T，其中Y为q×d维的矩阵，Y的每一行y_j分别为相应查询图像u_j的特征向量。

(2)选取现有的M种不同图像哈希算法对训练图像的特征向量库X分别进行初始哈希编码，得到的初始哈希编码矩阵分别记为H_m,m＝1,…,M，其中是一个维度为n×r_m、元素取值为-1或者1的矩阵，每一行代表一幅训练图像的初始哈希编码，n为训练图像总数，r_m为第m种哈希算法的编码长度。

(3)从训练图像的特征向量库X中随机按行挑选k幅图像得到一个子矩阵X’，维度是k×d，同时对应地从每一个初始哈希编码矩阵H_m中分别按行随机选取一个子矩阵维度是k×r_m，在每一种哈希算法的初始哈希编码子矩阵基础上，通过向量的内积来计算两幅训练图像的初始哈希编码之间的相似度，其中第m种哈希算法下的训练图像的初始哈希编码之间的相似度计算公式为：

$S_m=\frac{H_m^{,}{H_m^{,}}^T}{r_m}---\left(1\right)$

式中，S_m为第m种哈希算法下的训练图像的初始哈希编码相似度矩阵，维度是k×k，S_m中的每一个元素表示第i幅训练图像与第j幅训练图像在第m种哈希算法下的相似度数值1≤i≤k,1≤j≤k，并且 的值越大表示两幅图像的初始哈希编码越相似，反之则越不相似，代表矩阵的转置。

(4)按照下面的公式计算M种不同哈希算法下的训练图像的初始哈希编码之间的平均相似度：

$S=\frac{1}{M}\underset{m=1}{\overset{M}{\Σ}}{S}_m=\frac{1}{M}\underset{m=1}{\overset{M}{\Σ}}\frac{H_m^{,}{H_m^{,}}^T}{r_m}---\left(2\right)$

式中，S为融合了M种不同哈希算法的初始哈希编码相似度的平均相似度矩阵，维度是k×k。

(5)在平均相似度矩阵S的基础上，利用集成学习算法中的一致性约束准则进行图像哈希编码的再学习，所谓一致性约束准则是指由再学习得到的集成哈希编码计算得出的相似度要与M种不同哈希算法的平均相似度矩阵S相一致，具体过程通过最小化下面的目标函数实现：

${\hat{H}}_{*}=\underset{H_{*}}{\arg \min }\left|\right|\frac{H_{*}{H}_{*}^T}{r_{*}}-S|{|}^2---\left(3\right)$

式中，中为学习得到的集成哈希编码矩阵，每一行代表一幅训练图像的集成哈希编码，r_*为集成哈希编码的长度，若集成哈希编码采用线性映射的形式，则上述目标函数可以写为：

${\hat{W}}_{*}=\underset{W_{*}}{\arg \min }\left|\right|\frac{sign\left(X^{,}{W}_{*}\right)sign{\left(X^{,}{W}_{*}\right)}^T}{r_{*}}-S|{|}^2---\left(4\right)$

式中，为集成哈希映射矩阵，维度是d×r_*，作用是将图像从特征空间映射到汉明空间，sign(.)为取符号函数。

(6)对于查询图像特征向量库中的任意一幅查询图像的特征向量y_j,1≤j≤q，利用集成哈希映射矩阵将其映射到汉明空间，得到其集成哈希编码h_y，同时对训练图像的特征向量库X重新进行集成哈希编码，计算h_y与每一幅训练图像的集成哈希编码之间的汉明距离，如果汉明距离的值小于阈值β，则把该幅训练图像作为对应查询图像u_j的相似图像返回给用户。

本发明的有益效果：本发明提出一种基于集成哈希编码的快速图像检索方法，利用集成学习算法的一致性约束准则同时融合多种不同图像哈希编码算法的信息，对图像进行集成哈希编码的学习，相比于传统的单一图像哈希编码算法，本发明方法得到的集成哈希编码同时具备了不同方法的优势和特点，可以更加全面和准确地反映图像内容特征，具有更强的判别能力和更广的适用范围，解决了传统图像哈希编码算法在快速图像检索过程中判别力不足和普适性较差的问题，可以有效提高快速图像检索的准确率。

附图说明

图1为本发明的基于集成哈希编码的快速图像检索方法的流程示意图。

图2为本发明的实施例1与LSH算法、SH算法和RBMs算法的快速图像检索结果的对比图，其中，第一行为两幅不同的查询图像，下面每一行分别为不同的算法返回的前三幅检索图像结果。

图3为本发明的实施例2与其他三种LSH算法在CIFAR-10图像数据库上的图像检索准确率的对比图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

实施例1：以新加坡国立大学公开的NUS-WIDE网络图像数据库为例。

如图1所示，本发明公开了一种基于集成哈希编码的快速图像检索方法，包含以下步骤：

(1)NUS-WIDE网络图像数据库的图像库中的图像数据来自著名的照片分享网站Flickr，其中共包含269648幅图像。从中随机选取2000幅图像作为查询图像数据库，其余267648幅图像组成训练图像数据库。然后分别提取每一幅训练图像和查询图像的SIFT特征，并利用K-均值聚类将其量化表示为500维的特征向量，从而分别得到训练图像特征向量库X和查询图像特征向量库Y，其中X是维度为267648×500的矩阵，Y是维度为2000×500的矩阵。

(2)利用M＝3种不同的图像哈希算法(LSH算法、RBMs算法和SH算法)分别对训练图像的特征向量库X进行初始哈希编码，编码长度为r₁＝r₂＝r₃＝64，得到的初始哈希编码矩阵分别为H₁、H₂、H₃，矩阵维度都是267648×64。其中这三种图像哈希算法都可以通过网络上公开的源代码进行实现。

(3)从训练图像的特征向量库X中随机按行选取k＝10000幅图像来组成一个子矩阵X’，其维度是10000×500，同时对应地从每一个初始哈希编码矩阵H₁、H₂、H₃中分别按行选取一个子矩阵维度均为10000×64，然后分别计算3种不同哈希算法下训练图像的初始哈希编码之间的相似度矩阵S₁、S₂、S₃，计算公式如下：

$S_m=\frac{H_m^{,}{H_m^{,}}^T}{r_m},(m=1,2,3)---\left(1\right)$

式中，S_m的维度是10000×10000，S_m的每一个元素表示第i,1≤i≤10000幅训练图像与第j,1≤j≤10000幅训练图像在第m种初始哈希编码下的相似度数值，取值范围是-1到1。

(4)得到相似度矩阵S₁、S₂和S₃之后，按照下面的公式计算3种不同哈希算法下的训练图像初始哈希编码之间的平均相似度：

$S=\frac{1}{3}\underset{m=1}{\overset{3}{\Σ}}{S}_m=\frac{1}{3}\underset{m=1}{\overset{3}{\Σ}}\frac{H_m^{,}{H_m^{,}}^T}{r_m}---\left(2\right)$

式中，S为融合了3种不同哈希算法的初始哈希编码相似度的平均相似度矩阵，维度是10000×10000。

(5)在平均相似度矩阵S的基础上，利用集成学习算法的一致性约束准则进行图像哈希编码的再学习，使学习得到的集成哈希编码同时具有LSH算法、RBMs算法和SH算法的优势和特点，具体过程通过最小化下面的目标函数实现：

${\hat{H}}_{*}=\underset{H_{*}}{\arg \min }\left|\right|\frac{H_{*}{H}_{*}^T}{r_{*}}-S|{|}^2---\left(3\right)$

式中，r_*为集成哈希编码的长度，在此取r_*＝64，H_*为集成哈希编码矩阵，每一行代表一幅训练图像的集成哈希编码，维度是10000×64，通过对目标函数进行梯度下降法求解得到，将集成哈希编码采用线性映射的形式，即H_*＝sign(X’W_*)，则上述目标函数写为：

${\hat{W}}_{*}=\underset{W_{*}}{\arg \min }\left|\right|\frac{sign\left(X^{,}{W}_{*}\right)sign{\left(X^{,}{W}_{*}\right)}^T}{r_{*}}-S|{|}^2---\left(4\right)$

式中，sign(.)为取符号函数，为集成哈希映射矩阵，维度是500×64，作用是将图像从特征空间映射到汉明空间，通过随机初始化的方式经由梯度下降法求解得出。

(6)对于2000幅查询图像中的任意一幅查询图像，利用集成哈希映射矩阵对其特征向量进行映射，得到其集成哈希编码h_y，同时对所有训练图像的特征向量库重新进行集成哈希编码，分别计算h_y与每一幅训练图像的集成哈希编码之间的汉明距离，如果汉明距离小于阈值β，则把该幅训练图像作为查询图像的相似图像返回给用户。在此实施例中，取β＝2。

参见图2，本发明与LSH算法、SH算法和RBMs算法的快速图像检索结果的对比图。图2中的第一行为所有查询图像中随机抽取的两幅查询图像，下面每一行分别为不同的算法返回的前三幅相似图像的检索结果，其中正确的检索结果用对号标记，错误的检索结果用错号标记，可见本发明的方法可以获得比其他三种单一图像哈希算法更为准确的检索结果。

实施例2：以CIFAR-10图像数据库为例。

如图1所示，本发明公开了一种基于集成哈希编码的快速图像检索方法，包含以下步骤：

(1)CIFAR-10图像数据库中总共包含60000张彩色图像，分属10个不同的类别，每一类包含6000张图像。从整个图像数据库中随机选取1000幅图像作为查询图像数据库，其余的59000幅图像组成训练图像数据库。然后分别提取每一幅训练图像和查询图像的SIFT特征，并利用K-均值聚类将其量化表示为512维的特征向量，从而分别得到训练图像特征向量库X和查询图像特征向量库Y，其中X是维度为59000×512的矩阵，Y是维度为1000×512的矩阵。

(2)将LSH算法随机运行3次，分别记作算法LSH-1、LSH-2和LSH-3，利用这3种不同的方法分别对训练图像的特征向量库X进行初始哈希编码，编码长度为r₁＝r₂＝r₃＝16，得到的初始哈希编码矩阵分别为H₁、H₂、H₃，矩阵维度都是59000×16。

(3)从训练图像的特征向量库X中随机按行选取k＝10000幅图像来组成一个子矩阵X’，其维度是10000×512，同时对应地从每一个初始哈希编码矩阵H₁、H₂、H₃中分别按行选取一个子矩阵维度均为10000×16，然后分别计算根据3种不同哈希算法LSH-1，LSH-2和LSH-3得到的训练图像的初始哈希编码之间的相似度矩阵S₁、S₂、S₃，计算公式如下：

$S_m=\frac{H_m^{,}{H_m^{,}}^T}{r_m},(m=1,2,3)---\left(1\right)$

式中，S_m的维度是10000×10000，S_m的每一个元素表示第i,1≤i≤10000幅训练图像与第j,1≤j≤10000幅训练图像在第m种初始哈希编码下的相似度数值，取值范围是-1到1。

(4)得到相似度矩阵S₁、S₂和S₃之后，按照下面的公式计算3种不同LSH哈希算法下的训练图像初始哈希编码之间的平均相似度：

$S=\frac{1}{3}\underset{m=1}{\overset{3}{\Σ}}{S}_m=\frac{1}{3}\underset{m=1}{\overset{3}{\Σ}}\frac{H_m^{,}{H_m^{,}}^T}{r_m}---\left(2\right)$

式中，S为融合了算法LSH-1、LSH-2和LSH-3的初始哈希编码相似度的平均相似度矩阵，维度是10000×10000。

(5)在平均相似度矩阵S的基础上，利用集成学习算法的一致性约束准则进行图像哈希编码的再学习，具体过程通过最小化下面的目标函数实现：

${\hat{H}}_{*}=\underset{H_{*}}{\arg \min }\left|\right|\frac{H_{*}{H}_{*}^T}{r_{*}}-S|{|}^2---\left(3\right)$

式中，r_*为集成哈希编码的长度，在此取r_*＝16，H_*为集成哈希编码矩阵，每一行代表一幅训练图像的集成哈希编码，维度是10000×16，通过对目标函数进行梯度下降法求解得到，若将集成哈希编码采用线性映射的形式，即H_*＝sign(X’W_*)，则上述目标函数写为：

${\hat{W}}_{*}=\underset{W_{*}}{\arg \min }\left|\right|\frac{sign\left(X^{,}{W}_{*}\right)sign{\left(X^{,}{W}_{*}\right)}^T}{r_{*}}-S|{|}^2---\left(4\right)$

式中，sign(.)为取符号函数，为集成哈希映射矩阵，维度是512×16，作用是将图像从特征空间映射到汉明空间，通过随机初始化的方式经由梯度下降法求解得出。

(6)对于1000幅查询图像中的任意一幅查询图像，利用集成哈希映射矩阵对其特征向量进行映射，得到其集成哈希编码h_y，同时对所有训练图像的特征向量库重新进行集成哈希编码，分别计算h_y与每一幅训练图像的集成哈希编码之间的汉明距离，如果汉明距离小于阈值β，则把该幅训练图像作为查询图像的相似图像返回给用户。在此实施例中，取β＝2。

为了定量比较本发明方法与LSH-1、LSH-2和LSH-3算法的性能，该实施例中对返回的所有图像进行了平均准确率的统计和计算，对比结果如图3所示。可以发现，LSH-1、LSH-2和LSH-3算法的图像检索准确率相差不是很大，而本发明的方法由于融合了这三种算法的初始哈希编码的信息，因而可以取得比其他三种单一算法更优异的性能，从而也验证了本发明方法在提高快速图像检索准确率方面的有效性。

以上所述的具体实施方案对本发明的目的和技术方案进行了进一步的详细说明，熟知本领域的技术人员将理解，以上所述仅为本发明的具体实施方案而已，并非用以限定本发明的范围，在不脱离由所附权利要求书限定情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。

Claims (1)

1.一种基于集成哈希编码的快速图像检索方法，其特征在于：具体包括以下步骤：

(1)给定数据库，将其分为训练图像数据库和查询图像数据库，对每一幅训练图像t_i,1≤i≤n和查询图像u_j,1≤j≤q分别提取SIFT特征并利用K-均值聚类将其量化表示为d维的特征向量，其中n和q分别为训练图像和查询图像的数量，则所有训练图像的特征向量可以组成一个训练图像特征向量库X＝[x₁,x₂,...,x_n]^T，其中X为n×d维的矩阵，X的每一行x_i分别为相应训练图像t_i的特征向量，所有查询图像的特征向量可以组成一个查询图像特征向量库Y＝[y₁,y₂,...,y_q]^T，其中Y为q×d维的矩阵，Y的每一行y_j分别为相应查询图像u_j的特征向量；

(2)选取现有的M种不同图像哈希算法对训练图像的特征向量库X分别进行初始哈希编码，得到的初始哈希编码矩阵分别记为H_m，m＝1,…,M，其中是一个维度为n×r_m、元素取值为-1或者1的矩阵，每一行代表一幅训练图像的初始哈希编码，n为训练图像总数，r_m为第m种哈希算法的编码长度；

(3)从训练图像的特征向量库X中随机按行挑选k幅图像得到一个子矩阵X’，维度是k×d，同时对应地从每一个初始哈希编码矩阵H_m中分别按行随机选取一个子矩阵H’_m，维度是k×r_m，在每一种哈希算法的初始哈希编码子矩阵H’_m基础上，通过向量的内积来计算两幅训练图像的初始哈希编码之间的相似度，其中第m种哈希算法下的训练图像的初始哈希编码之间的相似度计算公式为：

$S_m=\frac{H_m^{,}{H_m^{,}}^T}{r_m}---\left(1\right)$

式中，S_m为第m种哈希算法下的训练图像的初始哈希编码相似度矩阵，维度是k×k，S_m中的每一个元素表示第i幅训练图像与第j幅训练图像在第m种哈希算法下的相似度数值1≤i≤k,1≤j≤k，并且 的值越大表示两幅图像的初始哈希编码越相似，反之则越不相似，H’_m ^T代表矩阵H’_m的转置；

(4)按照下面的公式计算M种不同哈希算法下的训练图像的初始哈希编码之间的平均相似度：

$S=\frac{1}{M}\underset{m=1}{\overset{M}{\Σ}}{S}_m=\frac{1}{M}\underset{m=1}{\overset{M}{\Σ}}\frac{H_m^{,}{H_m^{,}}^T}{r_m}---\left(2\right)$

式中，S为融合了M种不同哈希算法的初始哈希编码相似度的平均相似度矩阵，维度是k×k；

(5)在平均相似度矩阵S的基础上，利用集成学习算法中的一致性约束准则进行图像哈希编码的再学习，所述一致性约束准则是指由再学习得到的集成哈希编码计算得出的相似度要与M种不同哈希算法的平均相似度矩阵S相一致，具体过程通过最小化下面的目标函数实现：

${\hat{H}}_{*}=\underset{H_{*}}{\mathrm{argmin}}{||\frac{H_{*}{H}_{*}^T}{r_{*}}-S||}^2---\left(3\right)$

式中，为学习得到的集成哈希编码矩阵，每一行代表一幅训练图像的集成哈希编码，r_*为集成哈希编码的长度，若集成哈希编码采用线性映射的形式，则上述目标函数可以写为：

${\hat{W}}_{*}=\underset{W_{*}}{\arg \min }{||\frac{sign\left(X^{,}{W}_{*}\right)sign{\left(X^{,}{W}_{*}\right)}^T}{r_{*}}-S||}^2---\left(4\right)$

式中，为集成哈希映射矩阵，维度是d×r_*，作用是将图像从特征空间映射到汉明空间，sign(.)为取符号函数；

(6)对于查询图像特征向量库中的任意一幅查询图像的特征向量y_j,1≤j≤q，利用集成哈希映射矩阵将其映射到汉明空间，得到其集成哈希编码h_y，同时对训练图像的特征向量库X重新进行集成哈希编码，计算h_y与每一幅训练图像的集成哈希编码之间的汉明距离，如果汉明距离的值小于阈值β，则把该幅训练图像作为对应查询图像u_j的相似图像返回给用户。