CN107391594B - 一种基于迭代视觉排序的图像检索方法 - Google Patents

Abstract

本发明提供一种基于迭代视觉排序的图像检索方法，包括：提取每幅图像的全局视觉特征和局部视觉特征；构造相似性矩阵，列归一化后得到转移矩阵；利用视觉排序技术得到初次视觉排序结果；基于初次视觉排序结果进行多次迭代视觉排序，得到最终的视觉排序结果。本发明利用多次迭代的视觉排序方法实现了对图像检索结果的改进，有效改善了图像检索性能，提升了用户体验。

Description

一种基于迭代视觉排序的图像检索方法

技术领域

本发明涉及图像检索技术领域，具体是一种基于迭代视觉排序的图像检索方法。

背景技术

图像检索是图像分析与处理领域的前沿研究课题。图像检索中的两个重要方面是排序模型和图像视觉特征。在排序模型方面，传统的有基于分类的方法，即将图像检索看作是一个两分类问题，把数据库中的图像分为相关和不相关两类。这类方法忽略了图像与图像之间的关系。因此，基于图的图像检索方法被提出，其中视觉排序是非常有名的一种基于图的图像检索算法。视觉排序通过分析图与图之间的连接关系和相似程度，计算每幅图像的相关分数；分数越高，排序越靠前。然而，视觉排序在给出一次排序结果后就终止了，事实上该排序结果的效果仍然不够好；如果可以再次利用此次排序结果进行进一步更新的话，效果能够继续提升。在视觉特征提取方面，以尺度旋转不变特征为代表的人工提取特征之前占据主流；近几年，随着深度学习技术的发展，深度特征受到关注，并取得了更加优越的性能。为提升深度学习特征在视觉排序中的效果，需要研究如何在视觉排序中充分利用不同层级的深度特征。

发明内容

本发明的目的在于提供一种基于迭代视觉排序的图像检索方法，利用多次迭代的视觉排序方法实现对图像检索结果的改进，有效改善图像检索性能，提升用户体验。

本发明的技术方案为：

一种基于迭代视觉排序的图像检索方法，包括以下步骤：

(1)提取与查询相关的数据库中每幅图像的全局视觉特征和局部视觉特征；

(2)利用提取出的每幅图像的全局视觉特征和局部视觉特征，计算任意两幅图像之间的相似性，构造相似性矩阵，并对所述相似性矩阵进行列归一化，得到转移矩阵；

(3)利用视觉排序技术得到每幅图像与查询的相关性得分向量，将每幅图像按照各自的相关性得分降序排列，得到初次视觉排序结果，所述相关性得分向量通过以下公式迭代求解，

VR＝d(S^*×VR)+(1-d)p

其中，VR表示相关性得分向量，VR＝[vr₁,vr₂,…,vr_i,…,vr_n]^T，vr_i,i＝1,2,…,n表示所述数据库中第i幅图像I_i与查询的相关性得分，n表示所述数据库中图像的总数，VR的初始值设置为每个元素

d表示平衡参数，S^*表示转移矩阵，p表示先验权重向量，此处设置为

(4)基于所述初次视觉排序结果进行多次迭代视觉排序，得到最终的视觉排序结果，具体如下：

在进行第t,t＝1,2,…,T次迭代时，将第t-1次迭代得到的视觉排序结果中的前t×m幅图像的先验权重设置为

剩余n-t×m幅图像的先验权重设置为0，并将第t-1次迭代得到的相关性得分作为初始值，利用步骤(3)中的公式得到进行第t次迭代的相关性得分向量，将每幅图像按照各自新的相关性得分降序排列，得到进行第t次迭代的视觉排序结果；其中，将所述初次视觉排序结果视为进行第0次迭代得到的。

所述的基于迭代视觉排序的图像检索方法，所述步骤(1)具体包括：

a、采用在ImageNet LSVRC-2012数据集上训练好的深度卷积神经网络；

b、将每幅图像输入所述深度卷积神经网络，提取第七层全连接层的4096维特征向量，归一化后作为对应图像的全局视觉特征：

c、将每幅图像输入所述深度卷积神经网络，提取最后一层卷积层的256个输出特征图，每个特征图高为37，宽为37，则每幅图像得到1369个256维特征向量；

从所述数据库中所有图像的256维特征向量中随机抽取M个，用K均值聚类算法将其分入N个聚类中，所述N个聚类的聚类中心组成一个码本；

统计每幅图像的1369个256维特征向量在所述码本上的分布直方图，归一化后作为对应图像的局部视觉特征。

所述的基于迭代视觉排序的图像检索方法，所述步骤(2)中，两幅图像之间的相似性分为全局相似性和局部相似性，所述全局相似性采用以下公式计算：

其中，

表示所述数据库中第i幅图像I_i与第j幅图像I_j之间的全局相似性，i,j＝1,2,…,n，d_ij表示图像I_i的全局视觉特征与图像I_j的全局视觉特征之间的欧氏距离，λ为大于0的常数；

所述局部相似性采用以下公式计算：

其中，

表示所述数据库中第i幅图像I_i与第j幅图像I_j之间的局部相似性，i,j＝1,2,…,n，θ_ij表示图像I_i的局部视觉特征与图像I_j的局部视觉特征之间的夹角；

所述步骤(3)中，在得到初次视觉排序结果过程中使用的转移矩阵所对应的相似性矩阵，其各个元素设置为：任意两幅图像之间的相似性均采用局部相似性；

所述步骤(4)中，在进行第t,t＝1,2,…,T次迭代视觉排序过程中使用的转移矩阵所对应的相似性矩阵，其各个元素设置为：第t-1次迭代得到的视觉排序结果中的前t×m幅图像之间采用局部相似性，剩余n-t×m幅图像之间也采用局部相似性，前t×m幅图像与剩余n-t×m幅图像之间采用全局相似性。

所述的基于迭代视觉排序的图像检索方法，所述步骤(3)中，d＝0.85。

所述的基于迭代视觉排序的图像检索方法，所述步骤c中，M＝50万，N＝1000。

所述的基于迭代视觉排序的图像检索方法，λ＝0.5。

本发明的有益效果为：

由上述技术方案可知，本发明在初次视觉排序的基础上进行多次迭代视觉排序，并使用全局视觉特征和局部视觉特征，能够有效提升图像检索结果的性能。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例进一步说明本发明。

给定一个与查询Q有关的数据库，该数据库中含有n幅图像；这些图像有些与Q相关，有些与Q不相关；本发明的目的是将这n幅图像按照其与Q的相关程度进行降序排列。

如图1所示，一种基于迭代视觉排序的图像检索方法，包括以下步骤：

S1、对n幅图像中的每一幅图像都提取其全局视觉特征和局部视觉特征：

对图像I_i,i＝1,2,…,n提取基于深度卷积神经网络的全局视觉特征和局部视觉特征，将其分别表示成一个特征向量。这里采用在ImageNet LSVRC-2012数据集上训练好的深度卷积神经网络。

全局视觉特征的提取：将图像I_i输入深度卷积神经网络，将第七层全连接层的4096维特征向量进行归一化后得到图像I_i的全局视觉特征

局部视觉特征的提取：将每幅图像输入深度卷积神经网络，提取最后一层卷积层的256个输出特征图，每个特征图高为37，宽为37，因此，每幅图像可以得到37×37＝1369个256维特征向量。从n幅图像的所有这样的256维特征向量中随机抽取50万个，用K均值聚类算法将其分入1000个聚类中，该1000个聚类的聚类中心组成一个码本。统计图像I_i的1369个256维特征向量在这个码本上的分布直方图，对该分布直方图进行归一化，作为图像I_i的局部视觉特征

S2、计算任意两幅图像之间的相似性s_ij,i＝1,2,…,n；j＝1,2,…,n，构造n×n的相似性矩阵S，并对S进行列归一化，得到归一化的转移矩阵S^*：

由于对每幅图像分别抽取了4096维的全局视觉特征和1000维的局部视觉特征，因此，计算两幅图像I_i,i＝1,2,…,n与I_j,j＝1,2,…,n之间的相似性s_ij有两种方式，即全局相似性

和局部相似性

全局相似性

的计算公式如下：

其中，d_ij是图像I_i的全局视觉特征xⁱ与图像I_j的全局视觉特征x^j之间的欧氏距离，λ为大于0的常数，此处设置为0.5，以避免d_ij＝0的情况。

局部相似性

的计算公式如下：

即

为图像I_i的局部视觉特征yⁱ与图像I_j的局部视觉特征y^j之间的余弦相似性。

对n幅图像计算任意两幅之间的相似性s_ij(s_ij＝s_ji)，就可得到n×n的相似性矩阵S：

对S中的每一列进行归一化，即得到转移矩阵S^*。

S3、利用视觉排序技术对n幅图像进行排序，得到每幅图像与查询Q的相关性得分：

视觉排序技术是利用基于图的传播模型来估计每幅图像与查询的相关性得分。相关性得分越高，说明与查询越相关。

相关性得分向量VR＝[vr₁,vr₂,…,vr_i,…,vr_n]^T中的vr_i对应图像I_i的相关性得分。相关性得分向量VR通过下式迭代求解：

VR＝d(S^*×VR)+(1-d)p (1)

其中，S^*是转移矩阵，相关性得分向量VR的初始值设置为每个元素

先验权重向量

d是平衡参数，此处取d＝0.85。在此次视觉排序过程中使用的是局部相似性得到的转移矩阵。上式迭代多次达到稳定时(比较前后两次求得的vr_i，如果它们的差值小于预设阈值，则认为达到稳定)的vr_i作为图像I_i的相关性得分。

S4、对相关性得分较高的前m幅图像设置较高的权重值，然后对n幅图像再次进行视觉排序，得到更新后的相关性得分：

经过步骤S3的视觉排序后，得到了每幅图像的相关性得分。相关性得分越高表示该图像与查询的相关程度也越高。然而，步骤S3得到的排序结果仍然不够好。因此，本发明提出多次迭代的视觉排序，利用上一次视觉排序结果重新设置先验权重向量，再进行下一次视觉排序。

具体做法为：从初次视觉排序结果(步骤S3)中挑选相关性得分较高的前m幅图像，将这些图像的先验权重设置为

剩余n-m幅图像的先验权重设置为0，得到新的先验权重向量。将公式(1)中的先验权重向量更新为新设置值后，利用公式(1)进行第一次的迭代视觉排序，得到更新后的相关性得分向量。

在该次视觉排序中，公式(1)中的转移矩阵设置如下：挑选出的前m幅图像之间采用局部相似性，剩余的n-m幅图像之间也采用局部相似性。前m幅图像与剩余的n-m幅图像之间采用全局相似性。

S5、将步骤S4的过程重复进行T次，得到最终的排序结果。在第t次中(t＝1,2,…,T)，从第t-1次视觉排序得到的相关性得分中挑选得分较高的t×m幅图像，对其设置较高的先验权重

剩余n-t×m幅图像的先验权重设置为0。将公式(1)中的先验权重向量更新为新设置值后，利用公式(1)进行第t次的迭代视觉排序，得到更新后的相关性得分向量。

在每次视觉排序中，公式(1)中的转移矩阵设置如下：从第t-1轮迭代视觉排序结果中挑选出的前t×m幅图像之间采用局部相似性，剩余的n-t×m幅图像之间也采用局部相似性。前t×m幅图像与剩余的n-t×m幅图像之间采用全局相似性。

经过T次迭代视觉重排后，得到最终的相关性得分向量VR。将n幅图像按照各自的相关性得分降序排列，即可得到最终的排序结果。

针对本发明实施例的上述方案进行了多次实验，其结果参见表1～表4；表中标记的含义如下：MAP@q是指排序前q的图像的平均正确率，是衡量图像排序效果的公认标准，它们的取值范围都在[0,1]之间，值越大表示排序效果越好。

具体来说：

(1)多次迭代视觉排序进行了对比实验，VR表示只采用初次视觉排序不进行迭代，T＝1,2,…,9表示分别进行T次迭代视觉排序的结果，参见表1。这里采用的是全局视觉特征。从表1可以发现，通过对初次视觉排序结果再进行多次迭代，可以有效提升排序效果。

MAP@q	VR	T＝1	T＝2	T＝3	T＝4	T＝5	T＝6	T＝7	T＝8	T＝9
											5	0.802	0.808	0.823	0.828	0.834	0.833	0.831	0.832	0.830	0.828
10	0.745	0.783	0.784	0.800	0.808	0.807	0.806	0.806	0.805	0.805
											20	0.672	0.745	0.751	0.760	0.764	0.772	0.773	0.774	0.774	0.771
40	0.555	0.691	0.700	0.705	0.709	0.711	0.713	0.714	0.714	0.715
											100	0.584	0.654	0.660	0.665	0.668	0.670	0.671	0.673	0.673	0.673
ALL	0.683	0.735	0.740	0.744	0.747	0.748	0.749	0.750	0.750	0.750

表1采用全局视觉特征时，初次视觉排序(VR)与多次(T次)迭代视觉排序法比较结果。

(2)对采用全局视觉特征和局部视觉特征以及两者结合的方法进行了对比实验，采用全局视觉特征的结果如表1所示，表2给出了采用局部视觉特征的结果，表3给出了采用全局视觉特征和局部视觉特征相结合的结果。对比表1、表2、表3可以看出，采用全局视觉特征和局部视觉特征相结合的方法比单独使用全局视觉特征或局部视觉特征的效果好。

MAP@q	VR	T＝1	T＝2	T＝3	T＝4	T＝5	T＝10
								5	0.836	0.837	0.827	0.818	0.816	0.812	0.808
10	0.792	0.807	0.802	0.796	0.796	0.792	0.786
								20	0.716	0.760	0.755	0.753	0.752	0.751	0.751
40	0.583	0.703	0.702	0.701	0.702	0.703	0.708
								100	0.596	0.668	0.666	0.667	0.668	0.669	0.673
ALL	0.696	0.748	0.747	0.748	0.748	0.749	0.750

表2采用局部视觉特征时，初次视觉排序(VR)与多次(T次)迭代视觉排序法比较结果。

MAP@q	VR	T＝1	T＝2	T＝3	T＝4	T＝5
							5	0.836	0.840	0.851	0.851	0.844	0.836
10	0.792	0.820	0.821	0.820	021	0.815
							20	0.716	0.780	0.785	0.788	0.787	0.780
40	0.583	0.722	0.724	0.725	0.727	0.725
							100	0.596	0.679	0.680	0.681	0.681	0.680
ALL	0.696	0.756	0.757	0.758	0.758	0.756

表3结合采用全局视觉特征和局部视觉特征时，初次视觉排序(VR)与多次(T次)迭代视觉排序法比较结果。

(3)利用本发明的方案与现有技术的方案进行了对比，对比结果如表4所示。表4的数据表明，本发明的排序结果高于其它任何对比方法，可以得出本发明方法具有更好的排序效果。

表4本发明技术方案与现有技术方案的对比结果

综上所述，本发明提出了一种新的基于多次迭代视觉排序的图像检索方法，相较于以往的图像检索方法，该方法利用初次视觉排序结果中可靠性高的图像，再次进行视觉排序，多次迭代，逐步提升图像排序效果，在典型数据集上的实验验证了本发明方法的有效性。同时，本发明采用局部视觉特征和全局视觉特征相结合的方法，两种不同层次的特征的结合改进了图像排序效果。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (6)

1.一种基于迭代视觉排序的图像检索方法，其特征在于，包括以下步骤：

(1)提取与查询相关的数据库中每幅图像的全局视觉特征和局部视觉特征；

(2)利用提取出的每幅图像的全局视觉特征和局部视觉特征，计算任意两幅图像之间的相似性，构造相似性矩阵，并对所述相似性矩阵进行列归一化，得到转移矩阵；

(3)利用视觉排序技术得到每幅图像与查询的相关性得分向量，将每幅图像按照各自的相关性得分降序排列，得到初次视觉排序结果，所述相关性得分向量通过以下公式迭代求解，

VR＝d(S^*×VR)+(1-d)p

其中，VR表示相关性得分向量，VR＝[vr₁,vr₂,…,vr_i,…,vr_n]^T，vr_i,i＝1,2,…,n表示所述数据库中第i幅图像I_i与查询的相关性得分，n表示所述数据库中图像的总数，VR的初始值设置为每个元素

d表示平衡参数，S^*表示转移矩阵，p表示先验权重向量，此处设置为

(4)基于所述初次视觉排序结果进行多次迭代视觉排序，得到最终的视觉排序结果，具体如下：

在进行第t,t＝1,2,…,T次迭代时，将第t-1次迭代得到的视觉排序结果中的前t×m幅图像的先验权重设置为

剩余n-t×m幅图像的先验权重设置为0，并将第t-1次迭代得到的相关性得分作为初始值，利用步骤(3)中的公式得到进行第t次迭代的相关性得分向量，将每幅图像按照各自新的相关性得分降序排列，得到进行第t次迭代的视觉排序结果；其中，将所述初次视觉排序结果视为进行第0次迭代得到的；

所述步骤(2)中，两幅图像之间的相似性分为全局相似性和局部相似性；

所述步骤(3)中，在得到初次视觉排序结果过程中使用的转移矩阵所对应的相似性矩阵，其各个元素设置为：任意两幅图像之间的相似性均采用局部相似性；

所述步骤(4)中，在进行第t,t＝1,2,…,T次迭代视觉排序过程中使用的转移矩阵所对应的相似性矩阵，其各个元素设置为：第t-1次迭代得到的视觉排序结果中的前t×m幅图像之间采用局部相似性，剩余n-t×m幅图像之间也采用局部相似性，前t×m幅图像与剩余n-t×m幅图像之间采用全局相似性。

2.根据权利要求1所述的基于迭代视觉排序的图像检索方法，其特征在于，所述步骤(1)具体包括：

a、采用在ImageNet LSVRC-2012数据集上训练好的深度卷积神经网络；

b、将每幅图像输入所述深度卷积神经网络，提取第七层全连接层的4096维特征向量，归一化后作为对应图像的全局视觉特征：

c、将每幅图像输入所述深度卷积神经网络，提取最后一层卷积层的256个输出特征图，每个特征图高为37，宽为37，则每幅图像得到1369个256维特征向量；

从所述数据库中所有图像的256维特征向量中随机抽取M个，用K均值聚类算法将其分入N个聚类中，所述N个聚类的聚类中心组成一个码本；

统计每幅图像的1369个256维特征向量在所述码本上的分布直方图，归一化后作为对应图像的局部视觉特征。

3.根据权利要求1所述的基于迭代视觉排序的图像检索方法，其特征在于，所述全局相似性采用以下公式计算：

其中，

表示所述数据库中第i幅图像I_i与第j幅图像I_j之间的全局相似性，i,j＝1,2,…,n，d_ij表示图像I_i的全局视觉特征与图像I_j的全局视觉特征之间的欧氏距离，λ为大于0的常数；

所述局部相似性采用以下公式计算：

其中，

表示所述数据库中第i幅图像I_i与第j幅图像I_j之间的局部相似性，i,j＝1,2,…,n，θ_ij表示图像I_i的局部视觉特征与图像I_j的局部视觉特征之间的夹角。

4.根据权利要求1所述的基于迭代视觉排序的图像检索方法，其特征在于，所述步骤(3)中，d＝0.85。

5.根据权利要求2所述的基于迭代视觉排序的图像检索方法，其特征在于，所述步骤c中，M＝50万，N＝1000。

6.根据权利要求3所述的基于迭代视觉排序的图像检索方法，其特征在于，λ＝0.5。

Images