CN104951559B - 一种基于位权重的二值码重排方法 - Google Patents

Abstract

本发明一种基于位权重的二值码重排方法属于图像检索技术领域，涉及到利用图像哈希方法进行基于内容的图像检索，特别涉及到一种基于位权重的二值码重排方法。该方法对于图像库中的所有图像和查询图像，提取高维欧氏特征；利用图像哈希方法生成二值码；计算查询图像二值码和图像库中所有图像二值码之间的汉明距离，根据汉明距离从小到大进行排序，返回对应的图像作为该查询图像的搜索结果；从返回的搜索结果中选择与查询图像真正具有相似视觉内容的图像子集。该方法基于比特位重要性的权重计算方法执行过程高效，对所有类型的哈希函数生成方法都有效，在没有增加计算复杂度的同时明显提高了检索效果。

Description

一种基于位权重的二值码重排方法

技术领域

本发明属于图像检索技术领域，涉及到利用图像哈希方法进行基于内容的图像检索，特别涉及到一种基于位权重的二值码重排方法。

背景技术

通常，大规模图像搜索系统包含两个关键因素：有效的图像特征表示和快速的搜索机制。一般而言，高质量的搜索结果更多的是依赖于有力的图像特征。对于快速的搜索机制这个因素，因为现有的图像特征都是高维的，图像库的规模都比较大，将图像库中每个样本与查询图像一一进行对比非常耗时。

利用图像哈希技术将高维的图像特征映射成简洁的二值哈希码后，可以利用“异或”操作在汉明空间中快速地计算查询图像和图像库每个图像之间的汉明距离，以此度量它们之间的相似程度。汉明码利用异或计算统计两组二值码中不同码值的数量，因此，汉明距离的范围在0到K，K是哈希码的比特数。在大规模应用中，汉明空间的维数，即哈希码的比特数通常是小于100的，因此能够减小内存消耗，同时可避免较低的召回率。由于汉明距离的取值为整数，导致无法对与查询图像汉明距离相等的返回图像进行排序。对于K比特的哈希码，有个不同的哈希码与查询图像之间的距离等于i，i≥0。以48比特哈希码为例，有1128种哈希码与查询哈希码之间的汉明距离等于2，从而使得成千上万的图像在搜索结果列表中可能共享相同的排序。

对于某一取值的汉明距离，图像库中可能对应上百幅图像，如何对它们进行排序以便反映其与查询图像视觉内容的相似性？针对这一问题，研究根据汉明距离搜索后图像的重排。目前比较经典的二值码重排方法是QsRank[X.Zhang,L.Zhang,andH.Shum.QsRank:Query-Sensitive Hash Code Ranking for Efficientε-neighborSearch.In proceedings of CVPR,2012]。根据查询图像邻域内图像取某个哈希码的概率来衡量其与查询图像的相似度，概率越大，其相似度越高，按概率对图像进行重排。QsRank方法不是利用图像哈希码之间的汉明距离对图像进行重排，破坏了哈希码检索速度快的优势。而且，虽然利用QsRank方法对初始检索结果重排后会提高搜索的准确率，但提高的幅度不大。国家发明专利“面向图像检索的自适应哈希重排方法”，申请号：201310123163，发明人孔祥维等。该方法将图像库的语义类别信息与哈希函数在每个维度进行关联，通过为每个语义类训练类权重向量，为查询图像计算自适应权重，从而构造加权汉明距离用于图像重排。该方法需要已知图像库中的类别信息，对每个类别进行训练获得其类权重向量。当图像库中的类别数目较少时，效果优于QsRank的方法；随着类别数目增多，计算复杂度会随之增加。

发明内容

本发明为克服现有技术的缺陷，发明一种基于位权重的二值码重排方法，首先根据查询图像和图像库中所有图像的哈希码，计算它们之间的汉明距离，并对其按照从小到大进行排序，作为对查询图像的初始排序结果；然后根据初始排序结果中的正样本确定哈希函数不同比特位的重要性，并为其赋予不同的权重值；旨在解决利用二值码进行大规模图像检索时返回图像的排序问题，提高检索的准确率和效率。

本发明的技术方案是一种基于位权重的二值码重排方法，其特征是，该方法对于图像库中的所有图像和查询图像，提取高维欧氏特征；利用图像哈希方法生成二值码；计算查询图像二值码和图像库中所有图像二值码之间的汉明距离，根据汉明距离从小到大进行排序，返回对应的图像作为该查询图像的搜索结果；从返回的搜索结果中选择与查询图像真正具有相似视觉内容的图像子集，称作查询图像的“正样本”；通过对比查询图像每位二值码与“正样本”每位二值码之间的异同，确定查询图像不同比特位二值码的重要性，为重要的比特位赋予较高的权重，为不重要的比特位赋予较小的权重；根据权重向量，重新计算查询图像二值码和搜索返回图像二值码的加权汉明距离，根据加权汉明距离对返回图像进行重排；具体实现步骤包括：

(1)给定含有N幅图像的图像库I＝{I₁,I₂,...,I_N}和查询图像q；

(2)对图像库中的所有图像I和查询图像q，利用特征提取算法，提取图像的d维欧氏特征；图像库I中所有图像的特征向量组成图像特征库F＝{f₁,f₂,...,f_N}，其中，f_i∈R^{d ×1}，F∈R^d×N，R表示实数集，特征库中的每个特征向量f_i,和图像库中的每幅图像I_i,1≤i<N,一一对应；查询图像q的特征向量为Q∈R^d×1；

(3)对图像特征库F中的每个特征向量f_i和查询图像特征向量Q，采用图像哈希方法分别生成维数为K的二值哈希码，表示为HF＝{Hf₁,Hf₂,...,Hf_N}和HQ，其中Hf_i∈{0,1}^K×1是K×1维的列向量，向量的每个元素取值为0或者1；HQ∈{0,1}^K×1是K×1维的列向量，向量的每个元素为0或者1；

(4)计算查询图像q和图像I_i之间的汉明距离

其中，HQ_k表示HQ的第k位二值哈希码；Hf_i,k表示Hf_i的第k位二值哈希码；对每幅图像与查询图像之间的汉明距离按照从小到大进行排序，选择排序靠前的R幅图像作为查询图像Q的搜索结果；

(5)从第4步返回的R幅图像中选择M,M<R幅与查询图像q相似的图像，称为“正样本”集合；假设“正样本”集合中第m,1≤m≤M幅图像的二值哈希码记为与HQ对应的权重向量记为W＝{w₁,...,w_K}，其中w_k表示第k位权重值，且初始值设为1；采用迭代法确定w_k，迭代次数等于M；对于第m,1≤m≤M次迭代，w_k的值更新为：

其中，0<ε<1，是“正样本”集合中第m幅图像的第k位二值哈希码；

(6)根据权重向量W＝{w₁,...,w_K},计算计算查询图像q和图像I_i,1≤i<N之间的加权汉明距离

(7)按照从小到大的顺序对加权汉明距离进行排序，其对应的图像即可作为检索后的重排结果.

本发明的效果和益处是：本发明一种基于位权重的二值码重排方法。首先根据查询图像和图像库中所有图像的哈希码，计算它们之间的汉明距离，并对其按照从小到大进行排序，作为对查询图像的初始排序结果；然后根据初始排序结果中的正样本确定哈希函数不同比特位的重要性，并为其赋予不同的权重值；在此基础上，计算加权汉明距离，并依据此对返回结果进行重新排序。这种基于比特位重要性的权重计算方法执行过程高效，弥补了哈希函数对比特位“一视同仁”的缺陷。而且，对所有类型的哈希函数生成方法都有效，在没有增加计算复杂度的同时明显提高了检索效果。

附图说明

图1是本发明提出的一种基于位权重的二值码重排方法的流程示意图。

图2是本发明分析的微软商品图像库中与查询图像不同汉明距离所对应的图像库图像数目统计图，其中，横坐标是返回图像与查询图像之间的汉明距离，纵坐标是对应汉明距离的返回图像的数目。

图3是本发明和其他方法在哈希比特数为64时，对MNIST图像库初始返回的前1000幅图像重排后的准确率图，其中，Line 1是本发明提出的方法的重排准确率曲线，Line 2是经典的QsRank方法的重排准确率，Line 3是未重排之前的准确率。

图4是本发明和其它方法对不同查询图像的重排结果图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

以微软商品图像库为例，随机选取1000幅查询图像，为库图像和查询图像分别生成32位的哈希码。计算库图像哈希码和查询图像哈希码之间的汉明距离，统计不同汉明距离对应的图像数量的平均值，如图2所示。因为哈希码为32比特，因此汉明距离在0-32之间，从图中可以看出，有将近700幅返回图像与查询图像之间的汉明距离等于17。如何对这些汉明距离相等的返回图像进行排序？本发明采用利用权重向量，重新计算查询图像二值码和搜索返回图像二值码的加权汉明距离，根据加权汉明距离对返回图像进行重排，旨在有效的解决利用二值码进行大规模图像检索时返回图像的排序问题。

实施例中对于图像库中的所有图像和查询图像，提取高维欧氏特征；利用图像哈希方法生成二值码；计算查询图像二值码和图像库中所有图像二值码之间的汉明距离，根据汉明距离从小到大进行排序，返回对应的图像作为该查询图像的搜索结果；从返回的搜索结果中选择与查询图像真正具有相似视觉内容的图像子集，称作查询图像的“正样本”；通过对比查询图像每位二值码与“正样本”每位二值码之间的异同，确定查询图像不同比特位二值码的重要性，为重要的比特位赋予较高的权重，为不重要的比特位赋予较小的权重；根据权重向量，重新计算查询图像二值码和搜索返回图像二值码的加权汉明距离，根据加权汉明距离对返回图像进行重排，具体的实施步骤如图1所示。

步骤1.图像库采用国际公开的MNIST库，其中包含70000幅手写体阿拉伯数字0到9的图像，图像大小为28×28。从中随机取出1000幅图像作为测试图像，其余69000幅图像作为待检索图像和训练图像，如图1所示。

图像库网址为：http://yann.lecun.com/exdb/mnist/

步骤2.对图像库中的所有图像I和查询图像q，将图像的像素值向量化为784维特征向量；图像库I中所有图像的特征向量组成图像特征库F＝{f₁,f₂,...,f₆₉₀₀₀}，其中，f_i∈R^d×1，F∈R^d×N，R表示实数集，特征库中的每个特征向量f_i,1≤i≤69000和图像库中的每幅图像I_i,1≤i≤69000一一对应；查询图像q的特征向量为Q∈R^784×1。

步骤3.对图像特征库F中的每个特征向量f_i和查询图像特征向量Q，采用经典的ITQ图像哈希方法分别生成维数为64的二值哈希码，表示为HF＝{Hf₁,Hf₂,...,Hf₆₉₀₀₀}和HQ，其中Hf_i∈{0,1}^64×1是64维的列向量，向量的每个元素取值为0或者1；HQ∈{0,1}^64×1是64维的列向量，向量的每个元素为0或者1。

ITQ图像哈希方法的matlab代码参见http://www.unc.edu/～yunchao/itq.htm

步骤4.计算查询图像q和图像I_i之间的汉明距离

其中，HQ_k表示HQ的第k，1≤k≤64位二值哈希码；Hf_i,k表示Hf_i的第k，1≤k≤64位二值哈希码，。对每幅图像与查询图像之间的汉明距离按照从小到大进行排序，选择排序靠前的1000幅图像作为查询图像Q的搜索结果，如图2所示。

步骤5.从步骤4返回的1000幅图像中依照由近及远的顺序选择130幅与查询图像q真正相似的正样本图像。假设“正样本”集合中第m,1≤m≤130幅图像的二值哈希码记为与HQ对应的权重向量记为W＝{w₁,...,w₆₄}，其中w_k表示第k，1≤k≤64位权重值，且初始值设为1。采用迭代法确定w_k，迭代次数等于130。对于第m次迭代，1≤m≤130，w_k的值更新为：

步骤6.根据权重向量W＝{w₁,...,w₆₄},计算计算查询图像q和图像I_i,1≤i<69000之间的加权汉明距离

步骤7.按照从小到大的顺序对加权汉明距离进行排序,其对应的图像即可作为检索后的重排结果。

步骤8.将本发明与已有的经典重排方法QsRank和未重排之前Hamming距离排序进行对比，根据对比结果证明本发明的优越性。

图3是当哈希比特数为64时，利用本发明和Hamming方法、QsRank方法对初始返回的前1000幅图像进行重排的准确率对比图。图中，Line 1是本发明提出的方法的重排准确率曲线，Line 2是经典的QsRank方法的重排准确率，Line 3是未重排之前的准确率。从图中可以看出，本发明提出的重排方法的检索效果明显优于另外两种方法，提高了检索准确率。

图4是对于64比特哈希码，本发明和其它方法对不同查询图像的重排结果图。可以直观地看出本发明的检索效果优于其他方法。

这种基于比特位重要性的权重计算方法执行过程高效，弥补了哈希函数对比特位“一视同仁”的缺陷。对所有类型的哈希函数生成方法都有效，在没有增加计算复杂度的同时明显提高了检索效果。

Claims (1)

1.一种基于位权重的二值码重排方法，其特征是，该方法对于图像库中的所有图像和查询图像，提取高维欧氏特征；利用图像哈希方法生成二值码；计算查询图像二值码和图像库中所有图像二值码之间的汉明距离，根据汉明距离从小到大进行排序，返回对应的图像作为该查询图像的搜索结果；从返回的搜索结果中选择与查询图像真正具有相似视觉内容的图像子集，称作查询图像的正样本；通过对比查询图像每位二值码与正样本每位二值码之间的异同，确定查询图像不同比特位二值码的重要性，为重要的比特位赋予较高的权重，为不重要的比特位赋予较小的权重；根据权重向量，重新计算查询图像二值码和搜索返回图像二值码的加权汉明距离，根据加权汉明距离对返回图像进行重排；具体实现步骤如下：

(1)给定含有N幅图像的图像库I＝{I₁,I₂,...,I_N}和查询图像q；

(2)对图像库中的所有图像I和查询图像q，利用特征提取算法，提取图像的d维欧氏特征；图像库I中所有图像的特征向量组成图像特征库F＝{f₁,f₂,...,f_N}，其中f_i∈R^d×1，F∈R^d×N，R表示实数集，特征库中的每个特征向量f_i,和图像库中的每幅图像I_i,1≤i<N,一一对应；查询图像q的特征向量为Q∈R^d×1；

(3)对图像特征库F中的每个特征向量f_i和查询图像特征向量Q，采用图像哈希方法分别生成维数为K的二值哈希码，表示为HF＝{Hf₁,Hf₂,...,Hf_N}和HQ，其中Hf_i∈{0,1}^K×1是K×1维的列向量，向量的每个元素取值为0或者1；HQ∈{0,1}^K×1是K×1维的列向量，向量的每个元素为0或者1；

(4)计算查询图像q和图像I_i之间的汉明距离

其中，HQ_k表示HQ的第k位二值哈希码；Hf_i,k表示Hf_i的第k位二值哈希码；对每幅图像与查询图像之间的汉明距离按照从小到大进行排序，选择排序靠前的R幅图像作为查询图像Q的搜索结果；

(5)从第4步返回的R幅图像中选择M,M<R幅与查询图像q相似的图像，称为“正样本”集合；假设“正样本”集合中第m,1≤m≤M幅图像的二值哈希码记为与HQ对应的权重向量记为W＝{w₁,...,w_K}，其中w_k表示第k位权重值，且初始值设为1；采用迭代法确定w_k，迭代次数等于M；用第m,1≤m≤M幅图像进行迭代，使得w_k的值更新为：

其中，0<ε<1，是“正样本”集合中第m幅图像的第k位二值哈希码；(6)根据权重向量W＝{w₁,...,w_K},重新计算查询图像q和图像I_i,1≤i<N之间的加权汉明距离

(7)按照从小到大的顺序对重新计算后的加权汉明距离进行排序，其对应的图像即作为检索后的重排结果。