CN108427745A - 基于优化的视觉词典与自适应软分配的图像检索方法 - Google Patents

Abstract

本发明提供了一种基于优化的视觉词典与自适应软分配的图像检索方法，包括以下步骤：提取图像的多种局部特征；对单一特征进行canopy聚类，将获得的类簇中心作为初始类中心点进行K‑means聚类，得到初始视觉词典；对初始视觉词典中的视觉单词进行局部维度的压缩编码，获得优化后的视觉词典；采用自适应地软分配技术获得图像最终的特征表示；融合多特征计算图像间的相似性距离，根据距离的排序结果获得检索结果图像序列。

Description

基于优化的视觉词典与自适应软分配的图像检索方法

技术领域

本发明涉及一种图像检索技术，特别是一种基于优化的视觉词典与自适应软分配的图像检索方法。

背景技术

本发明是基于改进的Bag-of-features(BoF)图像表示模型提出的图像检索框架，重点包括：在由无监督学习获得视觉词典的基础上，融入改进的乘积量化技术对已经具有一定相异性的视觉词典的局部维度进行压缩编码，增加视觉单词的判别力；局部特征量化阶段采用自适应软分配技术构造具有判别力的图像表示；最后是局部特征和全局特征的融合策略。

BoF模型通过将局部描述子量化到各个视觉单词上，极大地减少了描述符的数量，解决了计算复杂度高和时耗问题。基于BoF模型的图像检索的主要步骤有：1)选择方法来检测关键点并提取关键点周围的局部特征块；2)将局部描述子量化到视觉单词。这个阶段由生成视觉词典和局部描述符量化两个步骤构成；3)索引化数据和检索，检索的常用方法是依赖于倒排索引，其中每个视觉单词都有一个索引位，该索引指示包含它的图像与权重。

传统的BoF模型通常采用无监督学习的方式构造视觉词典，如经典的K-Means聚类、层次聚类、FCM聚类、谱聚类等。类效果好坏取决于聚类算法并且直接影响到特征量化的效果和检索结果。对与给定的n个特征向量，K-Means算法将它们划分为k个聚类，使得各个聚类的中心点尽可能的相互分离，同一个聚类中的特征拥有较高的相似度，不同聚类中的特征相似度低。FCM算法是对K-Means硬性划分方式的一种改进，它将n个特征向量划分为c个模糊组，求得每个模糊组的类簇中心点，满足非相似指标函数值最小化。谱聚类的基本思想是利用特征点构造它们的无向权重图，用一个邻接矩阵表示，边的权值既是特征点间的相似度值，任务是将无向权重图分割成多个最优子图，每个最优子图中的特征点尽可能的相近，而不同最优子图之间的特征点要相互分离，从而实现聚类的目标。

构建优化的视觉词典之后，局部特征需要量化到各个视觉单词获得BoF模型下的图像特征表示。传统的方法是将图像的局部特征量化到一个视觉单词上，既是所谓的硬分配(HardAssignment,HA)，并对每个视觉单词出现的次数进行计数，最终形成一个k维的频率直方图描述子。这种方法忽略了视觉单词间的相似性与相异性，限制了BoF模型对图像内容的表达能力。

Philbin等人提出了软分配的方法来构建视觉单词统计直方图，将图像的每个局部特征映射到多个视觉单词上；Guo等人首先对视觉词典的规模进行了优化，然后比较了HA与软分配(SoftAssignment，SA)的性能，得到了SA相较HQ性能更优的结论。软分配确实能够减小局部特征量化到视觉单词的过程中引发的量化误差，增强视觉词典的判别力，进一步提高图像检索准确率。然而以上提及的方法在特征映射到视觉单词时都采用了固定映射数目，这样很可能导致许多非歧义性的局部特征也不得不映射到指定个数的视觉单词上，尽管与这些视觉单词差异性很大。这样既造成了信息冗余也降低了视觉单词的判别力。人工地指定不同的分配数目也是不可取的，一般特征集的数据量级很高，人往往不能客观地判断正确的分配数目，这么做的效果往往还及不上HA(HardAssignment)。

发明内容

本发明的目的在于提供一种基于优化的视觉词典与自适应软分配的图像检索方法，提高图像检索准确率，改善图像检索的效果。

实现本发明目的的技术方案为：一种基于优化的视觉词典与自适应软分配的图像检索方法，其特征在于，包括以下步骤：

步骤1，提取图像的多种局部特征；

步骤2，对单一特征进行canopy聚类，将获得的类簇中心作为初始类中心点进行K-means聚类，得到初始视觉词典；

步骤3，对初始视觉词典中的视觉单词进行局部维度的压缩编码，获得优化后的视觉词典；

步骤4，采用自适应地软分配技术获得图像最终的特征表示；

步骤5，融合多特征计算图像间的相似性距离，根据距离的排序结果获得检索结果图像序列。

本发明与现有技术相比，其显著优点：(1)在由无监督学习获得视觉词典的基础上，首选运用canopy聚类获取初始类簇中心，避免了初始中心点选取的随机性对聚类效果造成的不良影响，而后融入改进的乘积量化技术对已经具有一定相异性的视觉词典的局部维度进行压缩编码，提高了视觉单词的判别力；(2)本发明提出的自适应的软分配模型充分利用了特征的模糊性原理减少了硬分配在局部特征量化到视觉单词的过程中引发的量化误差，增强视觉词典的判别力，进一步提高图像检索准确率；自适应即避免了人工决定特征量化到视觉单词的固定映射数目，大大减少了冗余信息的引入，降低了视觉单词间相似性与相异性的影响，因为采用固定映射数目，这样很可能导致许多非歧义性的局部特征也不得不映射到指定个数的视觉单词上，尽管与这些视觉单词差异性很大。

下面结合说明书附图对本发明作进一步描述。

附图说明

图1是本发明基于优化的视觉词典和自适应软分配的图像检索方法模型图。

图2是canopy算法流程图。

图3是SIFT特征模糊性原理示意图，图中五角星代表视觉单词，小圆点代表SIFT特征点，其中矩形代表的SIFT特征距离某个视觉单词很近而距离其他视觉单词都很远，这样的特征语义模糊性最小，它需要映射到尽量少的视觉单词上；六边形代表的特征与几个视觉单词距离差异不大，这样的特征语义模糊性较大；而三角代表的特征距离所有的视觉单词都比较远，即使与最靠近的视觉单词相距仍然很远，这样的视觉单词更加适合HA(HardAssignment)或者作为新的视觉单词。

图4是Corel1k数据集示意图，数据库包含10类图像，包括“非洲”“沙滩”“建筑”“巴士”“恐龙”“大象”“鲜花”“马”“山”“食物”。

图5是在Corel1k数据集上的检索结果示意图，每个待检索图像的第一列为SURF+GIST融合方法的前6个检索结果，第二列为SURF+Dense-SIFT融合方法的前6个检索结果。

具体实施方式

结合图1，本发明基于优化的视觉词典和自适应软分配的图像检索方法包括以下步骤：

步骤1、提取图像的多种局部特征；

步骤2、对单一特征进行canopy聚类，将获得的类簇中心作为初始类中心点进行K-means聚类，得到初始视觉词典，其中利用canopy聚类确定K-means初始聚类中心的具体实现步骤为：

步骤2-1、首先要先确定两个阈值T1与T2，设定T2<T1，在未分类的原始数据集上选取一个点Q，计算它到其他所有canopy(类簇中心点)的距离dist(如果目前还没有一个canopy，第一个点即为一个canopy)；

步骤2-2、如果到某个canopy的dist_i小于T1，则将Q点划分到该canopy中(但仍在原数据列表中保留该点，它还可能作为新的canopy，即弱关联于该canopy)，如果dist都大于T1，那么Q就作为一个新的canopy，并从列表中除去；

步骤2-3、如果到某个canopy的dist_i小于T2，则Q强关联于该canopy，将其划分到该canopy后从列表中除去(因为距离类中心足够近)；

步骤2-4、重复以上过程直到列表为空。最后得到的canopy即可作为K-Means聚类的初始类簇中心点，当然canopy的数目也可以作为k值的参考值；

步骤2-5、利用步骤2-4得到的初始类簇中心点进行K-means聚类。

步骤3、利用优化的乘积量化算法对初始视觉词典中的视觉单词进行局部维度的压缩编码，获得优化后的视觉词典，具体为：

步骤3-1、基于步骤2得到的类簇中心生成初始视觉词典X＝[x₁,x₂,...,x_i,...,x_N]；其中N表示中心点的数目也就是视觉词典的大小，其中x_i∈R^D，X∈R^N×D；

步骤3-2、对初始视觉词典进行优化的乘积量化操作，具体如下：

第一，将步骤3-1中的x_i划分为M个子向量：其中 的维度是D/M(D＝cM，c是一个正整数)，当所有的数据点都被划分成M块，则预定义的所有数据点的第m块可以表示成：X^m∈R^N×(D/M)，M个部分的组合表示为：X＝[X¹,X²,...,X_m,...,X^M]，最后将各个部分的数据点集合作为一个数据集进行聚类，获得的子视觉词典表示为：V^m有k个视觉词汇，其中最终的视觉词典V是各子视觉词典的笛卡尔积表示：V＝V¹×V²×...×V^m×...×V^M，视觉单词v由M个子视觉单词构成v＝[v¹,v²,...,v^m,...,v^M]，其中v^m∈V^m。这里定义一个子量化算子x^m→v^m(x^m)，那么完整的数据向量为：x＝[v¹(x¹),v²(x²),...,v^m(x^m),...v^M(x^M)]→v(x)。量化误差可用一个平方误差公式表示：因此最优目标函数为公式为：

第二，对以上的乘积量化进行优化，即通过最优化码本和寻找最佳的空间分割来最小化量化误差。首先定义一个正交矩阵R’，D维的向量空间左乘R’得到旋转后的特征向量空间，然后再将特征向量划分成等D/M维的块，第i块包含维度(i-1)*D/M～(i-1)*D/M+{1,2,...,D/M}，其被量化到第i块子空间。由于任何维度的重排列都可表示成一个正交矩阵，因此R’决定了转换后的向量空间哪些维度被分配到相应的子空间。由此，乘积量化的自由参数分别是各个子向量空间的子视觉词典、正交矩阵R’。然后利用一个非参数迭代算法解决以上最优化问题，该算法对数据分布不做任何先验假设，当将一个R’维的特征向量x映射到距离其最近的视觉单词v时等同于将R’x映射到最近的R’v，因此目标最优化问题转换为：

对于子视觉词典与矩阵R，分别使其中一者保持不变而优化另一者，首先保持R不变，优化其中R'v∈V¹×V²×...×V^m×...×V^M；再使不变，优化R’，其中R'^TR'＝I。详细算法步骤见下面算法1的描述。

算法1：非参数OPQ

输入：特征集{x}，子空间数目M，每个子视觉词典中子视觉单词数k

输出：正交矩阵R’，子视觉词典M个子索引

上述算法含义为：首先将特征集{x}中的数据点x映射到视觉单词v映射到然后设置一定的迭代次数，对于M块特征集中的索引j＝1～k，k为每块中的子视觉单词数，通过样本均值更新其中i^m(.)为第m块中的索引；再对利用距离最近的子视觉单词的索引更新继而通过以上公式求出R’。重复以上过程直到达到迭代次数，最终得到输出的正交矩阵R’以及子视觉词典

步骤4、采用自适应地软分配技术获得图像最终的特征表示，具体为：

步骤4-1、以I＝[y₁,y₂,...,y_i,...y_T]表示一幅图像I，其中y_i代表图像局部特征，T表示图像I的特征总数，计算特征y_i到所有视觉单词的距离得到距离向量d＝(d₁,d₂,...,d_k)，d是一个单调增序列，特征y_i自适应地映射到视觉单词数量N可以通过设置阈值γ得到，公式如下

步骤4-2、每个映射的权重值按照以下公式计算得到：

其中，S_n是一个单调减函数，即保证距离越大的视觉单词权重越小。

步骤5、融合多特征计算图像间的相似性距离，根据距离的排序结果获得检索结果图像序列，具体为：

步骤5-1、在检索阶段，采用非对称距离计算法(Asymmetric DistanceCalculation,ADC)计算局部特征与视觉单词间的距离，计算公式如下：

其中，y表示待检索图像的局部特征，x表示图像数据集中的特征向量，对于y的各个部分y^m，非对称距离计算法计算y^m与x^m量化后的v^m(x^m)之间的距离，待检索向量无需量化到相应的视觉单词。

步骤5-2、特征空间归一化与加权融合。在特征融合前首先对各个特征空间相似性距离进行高斯归一化处理。定义待检索图像在某个特征空间与数据集中某一幅图像的相似性距离为D_i，高斯归一化后可表示为：

其中，μ_D与δ_D表示相似性距离向量的均值与方差。当有J种视觉特征，为所有特征空间分配一个权重变量w_j，j＝1,2,...,J，在高斯归一化后得到前α个最近的距离值，在多个特征空间中计算这前α最近距离值的方差，方差的大小与特征重要性贡献成类反比关系。方差越小，w_j赋予更大的值。图像最终的相似性距离表示为：

D＝w₁D'_i1+w₂D'_i2+...+w_jD'_ij+...+w_JD'_iJ

s.t.w₁+w₂+...+w_J＝1

根据最终的相似性距离对图像进行排序，获得检索结果图像。

实施例

本发明基于BoF图像表示模型，在图像检索框架中融入了由粗到细的视觉词典的优化方法以及新的自适应软分配策略。实验数据集采用如图4的Corel1k数据集，分别提取图像的SURF、GIST以及Dense-SIFT特征，然后融合SURF与GIST特征以及SURF与Dense-SIFT特征进行实验。

本实施例采用平均检索精度(Average Retrieval Precision，ARP)作为检索结果评价标准，在一次检索中图像的检索精度P＝A/(A+B)，即表示在检索到的图像中相关图像的比例；召回率R＝A/(A+C)，即表示检索到的相关图像占数据库中相同类别图像的比例，ARP用于度量某个类别中所有图像的检索效果，假设待检索图像的类别是S_i，N表示S_i中图像数，id表示类S_i中图像的索引号，ARP以下公式表示：

对于64维的SURF特征，将其划分为M＝4个子特征空间，对于128维的SIFT特征，将其划分为M＝8个子特征空间，因此每个子特征空间特征维度都是16维。在每个子特征空间采用8bits来表示子视觉单词(子类簇中心点)，子视觉词典的大小为k＝2⁸。各个子视觉词典的笛卡尔积总共能够生成大小为k^M的超级视觉词典。在运用自适应软分配策略构造图像表示时，通过多次实验得到阈值γ的最佳值，对于特征SURF，设置γ＝2.4，对于特征Dense-SIFT，设置γ＝1.9。实验结果如图5所示，，可以清晰地看出，本章提出的特征融合检索方法取得了优秀的检索效果。

本实施例在Corel1K数据集上与其他方法进行了对比实验，实验数据如表1所示，与以下方法进行了比较。方法一是一个融合了三种图像视觉特征的图像检索框架，颜色、纹理与形状特征构成了具有鲁棒性的特征组合；方法二是一个基于BoF图像表示模型的图像检索框架，利用SIFT特征构造简单有效的视觉词典；方法三是一个基于扩展的BoF模型方法，利用空间金字塔构造图像的SIFT特征表示，通过不断的再分图像，在越来越精细的分辨率上构建图像局部特征直方图；方法四是基于图像的SIFT-LBP特征融合方法；方法五是基于图像局部特征点的HOG-LBP特征融合方法。很显然，本发明提出的方法取得了更优异的检索效果，尤其在类别“大象”，“山”和“马”上检索性能明显提升，Corel1k数据集上各检索方法的ARP比较见下表。

Claims (5)

1.一种基于优化的视觉词典与自适应软分配的图像检索方法，其特征在于，包括以下步骤：

步骤1，提取图像的多种局部特征；

步骤2，对单一特征进行canopy聚类，将获得的类簇中心作为初始类中心点进行K-means聚类，得到初始视觉词典；

步骤3，对初始视觉词典中的视觉单词进行局部维度的压缩编码，获得优化后的视觉词典；

步骤4，采用自适应地软分配技术获得图像最终的特征表示；

步骤5，融合多特征计算图像间的相似性距离，根据距离的排序结果获得检索结果图像序列。

2.根据权利要求1所述的方法，其特征在于，步骤2中利用canopy聚类确定K-means初始聚类中心的具体步骤为：

步骤2-1，确定两个阈值T1与T2，设定T2<T1，在未分类的原始数据集上选取一个点Q，计算它到其他所有类簇中心点canopy的距离dist；如果目前还没有一个canopy，第一个点即为一个canopy；

步骤2-2，如果Q点到某个canopy的dist_i小于T1，则将Q点划分到该canopy中，但仍在原数据列表中保留该点；如果Q点到所有的canopy的dist都大于T1，则Q就作为一个新的canopy，并从列表中除去；

步骤2-3，如果Q点到某个canopy的dist_i小于T2，则将Q点划分到该canopy后从列表中除去；

步骤2-4，重复以上过程直到列表为空，最后得到的canopy即可作为K-Means聚类的初始类簇中心点；

步骤2-5，利用步骤2-4得到的初始类簇中心点进行K-means聚类。

3.根据权利要求2所述的方法，其特征在于，步骤3包括以下具体步骤：

步骤3-1，基于步骤2得到的类簇中心生成初始视觉词典X＝[x₁,x₂,...,x_i,...,x_N]，其中N表示中心点的数目也就是视觉词典的大小，其中x_i∈R^D，X∈R^N×D，R为实数，D为x_i的维度；

步骤3-2，对初始视觉词典进行优化的乘积量化操作，具体如下：

步骤3-2-1，将步骤3-1中的x_i划分为M个子向量其中 的维度是D/M，D＝cM，c是一个正整数，当所有的数据点都被划分成M块，则预定义的所有数据点的第m块表示成X^m∈R^N×(D/M)，M个部分的组合表示为X＝[X¹,X²,...,X_m,...,X^M]，最后将各个部分的数据点集合作为一个数据集进行聚类，获得的子视觉词典表示为V^m有k个视觉词汇；

步骤3-2-2，是将各子视觉词典的笛卡尔积表示最终的视觉词典V＝V¹×V²×...×V^m×...×V^M，视觉单词v由M个子视觉单词构成v＝[v¹,v²,...,v^m,...,v^M]，其中v^m∈V^m；

这里定义一个子量化算子x^m→v^m(x^m)，那么完整的数据向量为x＝[v¹(x¹),v²(x²),...,v^m(x^m),...v^M(x^M)]→v(x)。量化误差可用一个平方误差公式表示因此最优目标函数为公式为

步骤3-2-3，定义一个正交矩阵R’，D维的向量空间左乘R’得到旋转后的特征向量空间，然后再将特征向量划分成等D/M维的块，第i块包含维度(i-1)*D/M～(i-1)*D/M+{1,2,...,D/M}，其被量化到第i块子空间；

步骤3-2-4，将一个D维的特征向量x映射到距离其最近的视觉单词v时等同于将R’x映射到最近的R’v，因此目标最优化问题转换为

步骤3-2-5，对于子视觉词典与矩阵R’，分别使其中一者保持不变而优化另一者，首先保持R’不变，优化其中R'v∈V¹×V²×...×V^m×...×V^M；再使不变，优化R’，其中R'^T R'＝I。

4.根据权利要求3所述的方法，其特征在于，步骤4中自适应软分配技术的具体步骤为：

步骤4-1，以I＝[y₁,y₂,...,y_i,...y_T]表示一幅图像I，其中y_i代表图像局部特征，T表示图像I的特征总数，计算特征y_i到所有视觉单词的距离得到距离向量d＝(d₁,d₂,...,d_k)，d是一个单调增序列，特征y_i自适应地映射到视觉单词数量N可以通过设置阈值γ得到，公式如下

步骤4-2，每个映射的权重值按照以下公式计算得到：

其中，S_n是一个单调减函数，即保证距离越大的视觉单词权重越小。

5.根据权利要求4所述的方法，其特征在于，步骤5中计算多特征空间图像间相似性距离的具体步骤为：

步骤5-1，在检索阶段，采用非对称距离计算法计算局部特征与视觉单词间的距离，计算公式如下

其中，y表示待检索图像的局部特征，x表示图像数据集中的特征向量，对于y的各个部分y^m，非对称距离计算法计算y^m与x^m量化后的v^m(x^m)之间的距离，待检索向量无需量化到相应的视觉单词；

步骤5-2，定义待检索图像在某个特征空间与数据集中某一幅图像的相似性距离为D_i，高斯归一化后表示为

其中，μ_D与δ_D表示相似性距离向量的均值与方差；

步骤5-3，当有J种视觉特征，为所有特征空间分配一个权重变量w_j，j＝1,2,...,J，在高斯归一化后得到前α个最近的距离值，在多个特征空间中计算这前α最近距离值的方差；

方差的大小与特征重要性贡献成类反比关系，方差越小，w_j赋予更大的值；图像最终的相似性距离表示为

D＝w₁D'_i1+w₂D'_i2+...+w_jD'_ij+...+w_JD'_iJ

s.t.w₁+w₂+...+w_J＝1

步骤5-4，根据最终的相似性距离对图像进行从大到小的排序，获得检索结果图像。