CN105069173A - 基于有监督的拓扑保持哈希的快速图像检索方法 - Google Patents

Abstract

本发明公开了一种基于有监督的拓扑保持哈希的快速图像检索方法，所述方法包括：步骤S1，对获取的训练图像和查询图像进行特征提取，并将特征空间变换到新的核空间，获得每幅图像的核空间表示；步骤S3，对训练图像和查询图像进行二元编码；步骤S4，利用二元编码进行图像检索。本发明针对快速图像检索问题，在具有更强表达能力的核空间学习哈希编码，通过在哈希映射矩阵学习过程中加入监督信息以及拓扑保持信息，使得学习到的映射矩阵有更强的语义表达能力和类内差异表达能力，从而使得学习到的二元编码更适用于图像检索任务，提高了检索准确率并优化了检索结果的排序。

Description

基于有监督的拓扑保持哈希的快速图像检索方法

技术领域

本发明涉及计算机视觉、模式识别，机器学习等技术领域，特别涉及一种基于有监督的拓扑保持哈希的快速图像检索方法(SupervisedTopologyPreservingHashing，简称STPH)。

背景技术

当前网络中的图像、文本、视频以及音频数据正在以指数级增长的速度不断涌现出来，如何快速有效的查找我们所需要的信息成为人们日益关注的问题。信息检索，特别是图像检索是一个比较复杂的过程。现有的检索方法通常需要首先将图像用高层特征表达，然后根据特征向量的相似度比对来判断是否为相似图像。如何进行有效的特征表达和高效的相似度比对是图像检索的两个研究重点。本发明主要解决高效相似度比对问题。

图像检索所涉及的科学问题是最近邻搜索问题，虽然这一问题的时间复杂度是线性的，但当数据库的数量N巨大，而且特征表达的维度d又比较大的时候，图像检索便会变得非常慢。为了加快检索效率，人们针对上述两个问题，分别设计了两类方法。第一类方法是通过减小数据库数量N减小特征比对的数量，比如k-dtree算法；另一类方法是通过对特征d降维，从而减少每次特征比对时的耗时。更进一步，通过将原始特征表达变换到二值空间，使用二元编码对图像进行特征表达，可以大幅度减少存储所需要的空间；而相似度的计算可以采用汉明距离，可以比传统的欧式距离计算快上数倍。此类算法通常被称作基于哈希编码的图像检索方法，这种方法具有两个明显的优点，即有效减少数据存储空间和大幅度提高检索效率。

传统的哈希方法通常是不依赖数据的哈希方法，比如局部敏感哈希，利用随机生成的映射函数进行投影。而数据相关的哈希方法则利用训练数据的分布甚至标签信息，通过机器学习的方法，学习出来一个哈希映射函数。为了使得学习到的哈希编码具有更强的语义检索能力，可以在哈希学习过程中加入监督信息。而大多数有监督的哈希学习算法因为没有考虑类内差异的问题，经常使得学习到的二元编码在检索的时候无法提供更准确的相似度排序。

发明内容

本发明的目的是提出一种基于有监督的拓扑保持哈希的快速图像检索方法，以解决传统有监督哈希方法对类内差异表达能力有限的问题。

为了实现本发明的目的，本发明提供了一种基于有监督的拓扑保持哈希的快速图像检索方法，所述方法包括：

步骤S1，对获取的训练图像和查询图像进行特征提取，并将特征空间变换到新的核空间，获得每幅图像的核空间表示；

步骤S2，优化学习训练集的图像的二元编码B，哈希映射矩阵P以及分类器参数W，具体包括：按照提出的有监督的拓扑保持哈希模型对训练集数据的损失函数建模，通过两步交替迭代的优化方式最小化损失函数，学习训练集图像的二元编码B，哈希映射矩阵P以及分类器参数W；

步骤S3，对训练图像和查询图像进行二元编码，具体包括：通过学习到的哈希映射矩阵P将核空间的特征映射到新的连续空间中，接下来使用取符号函数sign(·)对连续空间进行简单的阈值操作，获得最终的取值只可能为1或-1的二元编码；

步骤S4，利用二元编码进行图像检索,具体包括：通过计算查询图像和每一幅训练图像的汉明距离，并按照距离大小排序得到相似度，可以进行线性复杂度的图像检索。

其中，在步骤S1中，对获取的训练图像和查询图像进行特征提取，包括提取基于GIST、SIFT特征的词袋模型特征，或者深度卷积神经网络特征，其中训练数据的特征表示为X＝{x_i},i＝1...N,X∈R^d×N，d代表特征维度，N是训练集图像数量。

其中，在步骤S1中，对提取后的特征进行核空间变换，包括利用高斯核和随机选取的锚点，进行变换：φ(x)＝[exp(||x-x₁||²/σ),…,exp(||x-x_h||²/σ)]，其中，是h个随机选取的锚点，σ代表核宽度，如此，原始空间特征就变换到了h维的核空间特征。

其中，在步骤S2中，通过使得训练集的二元编码具有准确分类能力，并保证哈希映射后连续空间和二值空间量化误差最小，再加上哈希映射后的连续空间对原核空间的拓扑保持约束，构成如下的有监督的拓扑保持哈希模型：

s.t.B∈{-1,1}^k×N

其中，表示使用二元编码B进行分类的分类误差；表示哈希映射到连续空间后的特征与最终的二值空间特征的量化误差，其中，B＝sign(P^TX)；是对分类器参数的正则项；代表拓扑保持项，其作用是使得哈希映射后的连续空间可以尽可能的保持原来的核空间中拓扑结构；L是拉普拉斯矩阵，且L＝D-S，S为原始核空间的相似度矩阵，其构造方法多样，可以完全依赖欧氏距离，或者结合有监督信息构造；并且D＝diag(d₁,...,d_N)，W代表线性分类器的参数矩阵，矩阵Y∈{0,1}^c×N，的每一列为仅有一个元素为1的列向量，这里y_i＝[0,0...1...0,0]^c中非零元素的位置对应于训练样本的标签信息，α,β,γ，为人工设置的权重参数，用于调节各项之间的相对大小关系。

其中，在步骤S2中，有监督的拓扑保持哈希模型的优化是通过一个三步的交替迭代优化策略来完成的，具体如下：

S21，对所有训练集图像，首先对每张图像随机生成一个二元编码，构成初始化的B，接下来，进入交替迭代过程，循环S22、S23和S24直到收敛或达到迭代次数要求；

S22，固定B、P，优化W，此时，上述对目标函数(1)的最小化问题退化成一个最小二乘问题，其解可以通过下式得到：

W＝(BB^T+βI)^-1BY^T(2)

其中I是单位矩阵；

S23，固定参数B、W，更新P，此时，目标函数(1)就退化为如下式(3)所示的目标函数：

$\arg \underset{P}{\min }\mathrm{\α}\left|\right|B-P^{T}X|{|}_F^2+\mathrm{\γ}Tr\left(P^T{\mathrm{XLX}}^{T}P\right)$ (3)

s.t.B∈{-1,1}^k×N

为了求解上述目标函数，可以求导，并令其导数为0，则上式的最优解为：

P＝(2αXX^T+γX(L+L^T)X^T)^-12αXB^T(4)

S24，固定参数W、P，更新B，此时，目标函数(1)就退化为如下式(5)所示的目标函数：

$\arg \underset{B}{\min }\left|\right|Y-W^{T}B|{|}_F^2+\mathrm{\α}||B-P^{T}X|{|}_F^2$ (5)

s.t.B∈{-1,1}^k×N

将上式展开，并对B逐行迭代求解(也就是对二元编码一位一位的求解)。可以得到，B的每一行b的最优解如下式所示：

b＝sgn(q-B'^TW'w)(6)

其中，Q＝WY+αP^TX；b^T是B的第l行，l＝1,...,k；B'是B去除b留下的矩阵，同理，q^T是Q的第l行，Q'是Q去除q留下的矩阵；w^T是的W的第l行，W'是W去除w留下的矩阵，使用上式(6)对B的所有位循环迭代4-6次后，就可以收敛到一个稳定的B。

其中，在步骤S3中，在模型训练完成之后，对于原来的训练样本或者新来的查询样本集合的核空间表示利用哈希映射矩阵和阈值化操作将原始特征映射到二元空间中，具体操作如下：

其中，在步骤S4中，在计算了所有的训练样本和查询样本的二元编码之后，通过计算各个训练样本与每个查询样本之间的汉明距离，得到样本之间的相似度，距离越大，相似度越低，根据这一相似度度量，就可以实现对大规模图像的快速检索。

与现有技术相比，本发明的有益效果为，本发明针对快速图像检索问题，在具有更强表达能力的核空间学习哈希编码，通过在在哈希映射矩阵学习过程中加入监督信息以及拓扑保持信息，使得学习到的映射矩阵有更强的语义表达能力和类内差异表达能力，从而使得学习到的二元编码更适用于图像检索任务，提高了检索准确率并优化了检索结果的排序。

附图说明

图1是本发明的方法流程图；

图2是本发明用于建立训练集的部分训练样本图像示例；

图3是本发明与其他哈希方法在编码长度为24bit时的准确率-召回率曲线图；

图4是本发明与其他哈希方法在编码长度为36bit时的准确率-召回率曲线图；

图中，31-BRE(binaryreconstructiveembedding)，32-STPH(supervisedtopologypreservinghashing)，33-SSH(semi-supervisedhashing)，34-ITQ(iterativequantization)，35-TPH(topologypreservinghashing)，36-CCA-ITQ(canonicalcorrelationanalysis-iterativequantization)，37-KSH(supervisedhashingwithkernels)，38-FSH(fasthashing)。GIST、SIFT(thescaleinvariantfeaturetransform)

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解为此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的保护范围。

本发明为了提高特征的表达能力，提出将原始特征进行核空间映射，在新得到的核空间中进行哈希编码。提出在有监督的目标中加入拓扑保持项作为约束，并把减小二值化过程中的量化误差作为目标之一，直接将二元编码B，哈希映射矩阵P和分类器参数W作为优化目标，放在一个统一的框架下优化，从而得到具有拓扑保持和语义表达能力的哈希映射矩阵。

在使用监督信息的同时，在映射到的核空间中，考虑原始特征的拓扑结构，使得学习到的二元编码既能作为特征进行有效的分类，又能在二值空间内保持原来数据空间的拓扑结构，从而更好的描述类内差异，使得最终学到的二元编码可以提供更好的图像检索性能。

本发明通过有监督的拓扑保持哈希模型在训练集上学习具有语义保持和拓扑保持功能的哈希映射矩阵。此映射矩阵可以将映射到核空间的特征通过阈值化操作映射到二值空间中，从而使得图像检索可以通过计算汉明距离以及比对由汉明距离表示的相似度来完成。

如图1所示，本发明提供了一种基于有监督的拓扑保持哈希的快速图像检索方法，所述方法包括：

步骤S1，对获取的训练图像和查询图像进行特征提取，比如基于GIST、SIFT特征的词袋模型特征，或者深度卷积神经网络特征等，其中训练数据的特征表示为X＝{x_i},i＝1...N,X∈R^d×N，d代表特征维度，N是训练集图像数量。为了提高特征的表达能力，增强模型的泛华能力，对提取后的特征进行核空间变换，比如，利用高斯核和随机选取的锚点，可以进行变换：φ(x)＝[exp(||x-x₁||²/σ),…,exp(||x-x_h||²/σ)]其中，是h个随机选取的锚点，σ代表核宽度，如此，原始空间特征就变换到了h维的核空间特征。在上述方法中将特征空间变换到新的核空间，获得每幅图像的核空间表示；

步骤S2，对训练集按照提出的有监督的拓扑保持哈希模型进行建模，通过最小化下述目标函数，得到二元编码B，哈希映射矩阵P以及分类器参数W，

(1)

s.t.B∈{-1,1}^k×N

其中，表示使用二元编码B进行分类的分类误差；表示哈希映射到连续空间后的特征与最终的二值空间特征的量化误差，其中，B＝sign(P^TX)；是对分类器参数的正则项；代表拓扑保持项，其作用是使得哈希映射后的连续空间可以尽可能的保持原来的核空间中拓扑结构；L是拉普拉斯矩阵，且L＝D-S，S为原始核空间的相似度矩阵，其构造方法多样，可以完全依赖欧氏距离，或者结合有监督信息构造；并且D＝diag(d₁,...,d_N)，W代表线性分类器的参数矩阵，矩阵Y∈{0,1}^c×N，的每一列为仅有一个元素为1的列向量，这里中非零元素的位置对应于训练样本的标签信息，α,β,γ，为人工设置的权重参数，用于调节各项之间的相对大小关系。

目标函数(1)的优化需要通过一个一个三步的交替迭代优化策略来完成的，具体的过程总结如下：

S21，对所有训练集图像，首先对每张图像随机生成一个二元编码，构成初始化的B。接下来，进入交替迭代过程，循环S22、S23和S24直到收敛或达到迭代次数要求。

S22，固定B、P，优化W，此时，上述对目标函数(1)的最小化问题退化成一个最小二乘问题，其解可以通过下式得到：

W＝(BB^T+βI)^-1BY^T(2)

其中I是单位矩阵；

S23，固定参数B、W，更新P，此时，目标函数(1)就退化为如下式(3)所示的目标函数：

$\arg \underset{P}{\min }\mathrm{\α}\left|\right|B-P^{T}X|{|}_F^2+\mathrm{\γ}Tr\left(P^T{\mathrm{XLX}}^{T}P\right)$ (3)

s.t.B∈{-1,1}^k×N

为了求解上述目标函数，可以求导，并令其导数为0，则上式的最优解为：

P＝(2αXX^T+γX(L+L^T)X^T)^-12αXB^T(4)

S24，固定参数W、P，更新B，此时，目标函数(1)就退化为如下式(5)所示的目标函数：

$\arg \underset{B}{\min }\left|\right|Y-W^{T}B|{|}_F^2+\mathrm{\α}||B-P^{T}X|{|}_F^2$ (5)

s.t.B∈{-1,1}^k×N

将上式展开，并对B逐行迭代求解。可以得到，B的每一行b的最优解如下式所示：

b＝sgn(q-B'^TW'w)(6)

其中，Q＝WY+αP^TX；b^T是B的第l行，l＝1,...,k；B'是B去除b留下的矩阵，同理，q^T是Q的第l行，Q'是Q去除q留下的矩阵；w^T是的W的第l行，W'是W去除w留下的矩阵，使用上式(6)对B的所有位循环迭代4-6次后，就可以收敛到一个稳定的B。

通过最小化上述目标函数，可以最终得到哈希映射矩阵P，二元编码B和分类器参数W。

步骤S3，在模型训练完成之后，对于原来的训练样本或者新来的查询样本集合的核空间表示我们利用哈希映射矩阵和阈值化操作将原始特征映射到二元空间中，具体操作如下：

步骤S4，在计算了所有的训练样本和查询样本的二元编码之后，通过计算各个训练样本与每个查询样本之间的汉明距离，得到样本之间的相似度。距离越大，相似度越低，根据这一相似度度量，就可以实现对大规模图像的快速检索。

实施例

为了详细说明本发明的具体实施方式及验证本发明的有效性，我们将本发明提出的方法应用于一个公开的图像，即CIFAR-10。该数据库60k的32*32的彩色图像，共10类，每类有6000张图片。在我们的实施例中，我们从每类图像中随机抽取100张作为查询集图像，另外随机抽取500张作为训练集图像。图2是该数据库图像的样例。我们首先提取训练集和查询集数据的512维GIST特征，并随机选取1000个锚点对该特征进行高斯核映射。

按照之前介绍的技术细节中的步骤S2，在随机初始化二元编码B后，对模型进行训练。在模型训练过程中权重参数α,β,γ分别为1e-3、1e-1和1。训练完成得到哈希映射矩阵P。接下来根据步骤S3和S4，首先利用将所有训练集和测试集图像进行二元编码，然后利用二元编码的汉明距离进行最近邻搜索来完成图像检索任务。检索的质量可以通过多个指标衡量，包括mAP(meanaverageprecision)、准确率以及准确率-召回率曲线等等。

图3展示了我们方法的准确率-召回率曲线与其他方法的对比。和传统方法比较，我们的方法在检索性能上有比较明显的提升。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于有监督的拓扑保持哈希的快速图像检索方法，其特征在于，所述方法包括：

步骤S1，对获取的训练图像和查询图像进行特征提取，并将特征空间变换到新的核空间，获得每幅图像的核空间表示；

步骤S2，优化学习训练集的图像的二元编码B，哈希映射矩阵P以及分类器参数W，具体包括：按照提出的有监督的拓扑保持哈希模型对训练集数据的损失函数建模，通过两步交替迭代的优化方式最小化损失函数，学习训练集图像的二元编码B，哈希映射矩阵P以及分类器参数W；

步骤S3，对训练图像和查询图像进行二元编码，具体包括：通过学习到的哈希映射矩阵P将核空间的特征映射到新的连续空间中，接下来使用取符号函数sign(·)对连续空间进行简单的阈值操作，获得最终的取值只可能为1或-1的二元编码；

步骤S4，利用二元编码进行图像检索,具体包括：通过计算查询图像和每一幅训练图像的汉明距离，并按照距离大小排序得到相似度，可以进行线性复杂度的图像检索。

2.根据权利要求1所述的基于有监督的拓扑保持哈希的快速图像检索方法，其特征在于，在步骤S1中，对获取的训练图像和查询图像进行特征提取，包括提取基于GIST、SIFT特征的词袋模型特征，或者深度卷积神经网络特征，其中训练数据的特征表示为X＝{x_i},i＝1...N,X∈R^d×N，d代表特征维度，N是训练集图像数量。

3.根据权利要求1所述的基于有监督的拓扑保持哈希的快速图像检索方法，其特征在于，在步骤S1中，对提取后的特征进行核空间变换，包括利用高斯核和随机选取的锚点，进行变换：φ(x)＝[exp(||x-x₁||²/σ),…,exp(||x-x_h||²/σ)]，其中，是h个随机选取的锚点，σ代表核宽度，如此，原始空间特征就变换到了h维的核空间特征。

4.根据权利要求1所述的基于有监督的拓扑保持哈希的快速图像检索方法，其特征在于，在步骤S2中，通过使得训练集的二元编码具有准确分类能力，并保证哈希映射后连续空间和二值空间量化误差最小，再加上哈希映射后的连续空间对原核空间的拓扑保持约束，构成如下的有监督的拓扑保持哈希模型：

其中，表示使用二元编码B进行分类的分类误差；表示哈希映射到连续空间后的特征与最终的二值空间特征的量化误差，其中，B＝sign(P^TX)；是对分类器参数的正则项；代表拓扑保持项，其作用是使得哈希映射后的连续空间可以尽可能的保持原来的核空间中拓扑结构；L是拉普拉斯矩阵，且L＝D-S，S为原始核空间的相似度矩阵，其构造方法多样，可以完全依赖欧氏距离，或者结合有监督信息构造；并且D＝diag(d₁,...,d_N)，W代表线性分类器的参数矩阵，矩阵Y∈{0,1}^c×N，的每一列为仅有一个元素为1的列向量，这里y_i＝[0,0...1...0,0]^c中非零元素的位置对应于训练样本的标签信息，α,β,γ，为人工设置的权重参数，用于调节各项之间的相对大小关系。

5.根据权利要求1所述的基于有监督的拓扑保持哈希的快速图像检索方法，其特征在于，在步骤S2中，有监督的拓扑保持哈希模型的优化是通过一个三步的交替迭代优化策略来完成的，具体如下：

S21，对所有训练集图像，首先对每张图像随机生成一个二元编码，构成初始化的B，接下来，进入交替迭代过程，循环S22、S23和S24直到收敛或达到迭代次数要求；

S22，固定B、P，优化W，此时，上述对目标函数(1)的最小化问题退化成一个最小二乘问题，其解可以通过下式得到：

W＝(BB^T+βI)^-1BY^T(2)

其中I是单位矩阵；

S23，固定参数B、W，更新P，此时，目标函数(1)就退化为如下式(3)所示的目标函数：

$\begin{array}{c}\arg \underset{P}{\min }\mathrm{\α}\left|\right|B-P^{T}X|{|}_F^2+\mathrm{\γ}Tr\left(P^T{\mathrm{XLX}}^{T}P\right)\\ \begin{array}{cc}s.t.& B\∈{\{-1,1\}}^{k\×N}\end{array}\end{array}---\left(3\right)$

为了求解上述目标函数，可以求导，并令其导数为0，则上式的最优解为：

P＝(2αXX^T+γX(L+L^T)X^T)^-12αXB^T(4)

S24，固定参数W、P，更新B，此时，目标函数(1)就退化为如下式(5)所示的目标函数：

$\begin{array}{c}\arg \underset{B}{\min }\left|\right|Y-W^{T}B|{|}_F^2+\mathrm{\α}||B-P^{T}X|{|}_F^2\\ \begin{array}{cc}s.t.& B\∈{\{-1,1\}}^{k\×N}\end{array}\end{array}---\left(5\right)$

将上式展开，并对B逐行迭代求解。可以得到，B的每一行b的最优解如下式所示：

b＝sgn(q-B'^TW'w)(6)

其中，Q＝WY+αP^TX；b^T是B的第l行，l＝1,...,k；B'是B去除b留下的矩阵，同理，q^T是Q的第l行，Q'是Q去除q留下的矩阵；w^T是的W的第l行，W'是W去除w留下的矩阵，使用上式(6)对B的所有位循环迭代4-6次后，就可以收敛到一个稳定的B。

6.根据权利要求1所述的基于有监督的拓扑保持哈希的快速图像检索方法，其特征在于，在步骤S3中，在模型训练完成之后，对于原来的训练样本或者新来的查询样本集合的核空间表示利用哈希映射矩阵和阈值化操作将原始特征映射到二元空间中，具体操作如下：

7.根据权利要求1所述的基于有监督的拓扑保持哈希的快速图像检索方法，其特征在于，在步骤S4中，在计算了所有的训练样本和查询样本的二元编码之后，通过计算各个训练样本与每个查询样本之间的汉明距离，得到样本之间的相似度，距离越大，相似度越低，根据这一相似度度量，就可以实现对大规模图像的快速检索。