CN101136015A - 一种计算图像之间相似度的方法 - Google Patents

Abstract

本发明公开了一种图像相似度计算及检索方法。现有技术中，尽管考虑了利用图像分块的方法以提高检索的准确性，但在图像分块以后，采用的是对应块相似度度量的方法，最后图像的相似度是图像对应块相似度的平均值。本发明提出了一种基于分块最优匹配的图像检索方法。首先也对图像进行分块处理，并利用最优匹配在一对一匹配的前提下，计算两幅图像的全部分块所能达到的最大相似度。试验结果表明，与现有方法相比，本发明可以取得更高的检索准确性，从而可以充分发挥图像检索技术在信息检索中的巨大作用。

Description

一种计算图像之间相似度的方法

技术领域

本发明属于图像检索技术领域，具体涉及一种计算图像之间相似度及实现图像检索的方法。

背景技术

随着图像内容的不断增多，如人类已有的图片、互联网上的大量图片以及个人数码相片的不断增加，如何从海量图像库中找到需要的图像就显得至关重要。而基于查询例子的图像检索就是满足上述需求的最重要技术之一，即用户给定一个查询图像，计算机自动从图像库里检索到与查询图像相似的图像，并按照相似度从高到低排序。现有的图像检索技术，一般是从图像中提取出颜色等特征，然后利用这些特征进行相似度度量，根据度量结果进行检索。这种方法因为没有考虑两幅图像中具体内容的差别，而采用整幅图像的特征进行相似度度量，因此不能有效计算两幅图像之间的相似度。

2004年在世界著名的TREC比赛中发表的文献“Confounded Expectations：Informedia at TRECVID 2004”(作者是A.Hauptmann，M.Y.Chen，M.Christel，et al.)，提出了一种基于图像分块的图像检索方法。然而，该文献尽管考虑了利用图像分块的方法以提高检索的准确性，但在图像分块以后，采用的是对应块相似度度量的方法，最后图像的相似度是图像对应块相似度的平均值。上述方法利用分块的思想是合理的，但基于对应块相似度的方法并不合理，因为相似图像的分块并不一定对应相似，上述问题大大限制了图像检索的准确度。

针对上述问题，本发明提出了一种基于分块最优匹配的图像相似度计算及检索方法。

发明内容

针对现有技术的不足，本发明提出了一种计算图像之间相似度的方法，用于计算不同图像之间的相似度。

为达到以上目的，本发明采用的技术方案是：一种计算图像之间相似度的方法，包括以下步骤：

(1)将待计算的图像分别分割为一个个图像块；

(2)计算上述图像中任意两个图像块之间的相似度；

(3)基于(2)的结果，计算上述图像之间的相似度。

进一步，利用最优匹配方法计算上述图像之间的相似度。

进一步，将每一幅图像均匀分割为n×n个图像块，其中n为2-10之间的整数。

进一步，n的值为5。

进一步，使用如下直方图交的方法计算两个图像块的相似度，最优匹配方法采用图论中的Kuhn-Munkres算法。

${\mathrm{\ω}}_{\mathrm{ij}}=\mathrm{Inter}\sec t(x_i,y_j)=\frac{1}{A(x_i,y_j)}\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}\{H_i(h,s,v),H_j(h,s,v,)\}$

其中， $A(x_i,y_j)=\min \{\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_i(h,s,v),\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_j(h,s,v)\}$

H_i(h，s，v)是HSV颜色空间的直方图，本发明用H，S，V分量在5×5×5的三维空间中统计直方图，以归一化后的125个数值作为颜色特征值，Intersect(x_i，y_j)表示两个直方图的交，用它来判断两个图像块的相似度，使用A(x_i，y_j)归一化Intersect(x_i，y_j)到0，1之间。

进一步，计算两幅图像相似度的具体步骤为：

A：根据步骤(2)图像块的计算结果，将两幅图像的相似度计算建模为一个带权二分图模型G＝{X，Y，E}：X表示图像X有n个图像块x₁，x₂，...，x_n，Y表示图像Y有n个图像块y₁，y₂，...，y_n，边集E＝{e_ij}，其中边e_ij的权值ω_ij表示两个图像块x_i与y_j的相似值；

B：利用图论中的最优匹配方法，求出G＝{X，Y，E}的最优匹配M，把M中每条边e_ij的权值ω_ij相加，求得G＝{X，Y，E}的最大权ω；

C：定义两幅图像X和Y的视觉相似度 $\mathrm{Similarity}(X,Y)=\frac{\mathrm{\ω}}{n},$ 使用n将Similarity(X，Y)归一化到0，1之间，得到相似度结果。

上述方法的效果在于，通过度量两幅图像的全部分块所能达到的最大相似度，从而获得更准确的图像之间的相似结果。

另外，本发明提出一种图像检索方法，用于从图像库中检索出与待查询图像相似的图像，包括以下步骤：

(一)将待查询图像及图像库中的每幅图像分别分割为一个个图像块；

(二)计算待查询图像中图像块和图像库每幅图像中图像块之间的相似度；

(三)利用最优匹配方法，分别计算上述待查询图像和每幅图像之间的相似度；

(四)按照相似度值从高到低排列，检索出与待查询图像相似的图像。

进一步，将每一幅图像均匀分割为n×n个图像块，其中n为2-10之间的整数。

进一步，n取值为5，并使用如下直方图交的方法计算两个图像块的相似度：

${\mathrm{\ω}}_{\mathrm{ij}}=\mathrm{Inter}\sec t(x_i,y_j)=\frac{1}{A(x_i,y_j)}\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}\{H_i(h,s,v),H_j(h,s,v,)\}$

其中， $A(x_i,y_j)=\min \{\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_i(h,s,v),\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_j(h,s,v)\}$

H_i(h，s，v)是HSV颜色空间的直方图，本发明用H，S，V分量在5×5×5的三维空间中统计直方图，以归一化后的125个数值作为颜色特征值，Intersect(x_i，y_j)表示两个直方图的交，用它来判断两个图像块的相似度，使用A(x_i，y_j)归一化Intersect(x_i，y_j)到0，1之间。

进一步，计算两幅图像相似度的具体操作为：

A：根据步骤(二)图像块的计算结果，将两幅图像的相似度计算建模为一个带权二分图模型G＝{X，Y，E}：X表示图像X有n个图像块x₁，x₂，...，x_n，Y表示图像Y有n个图像块y₁，y₂，...，y_n，边集E＝{e_ij}，其中边e_ij的权值ω_ij表示两个图像块x_i与y_j的相似值；

B：利用图论中的最优匹配方法，求出G＝{X，Y，E}的最优匹配M，把M中每条边e_ij的权值ω_ij相加，求得G＝{X，Y，E}的最大权ω；

C：定义两幅图像X和Y的视觉相似度 $\mathrm{Similarity}(X,Y)=\frac{\mathrm{\ω}}{n},$ 使用n将Similarity(X，Y)归一化到0，1之间，得到相似度值。

本发明的效果在于：与现有方法相比，本发明可以取得更高的检索准确性，从而可以充分发挥图像检索技术的巨大作用。

本发明之所以具有上述发明效果，其原因在于：本发明不仅使用了图像分块的合理思想，而且在图像分块以后，本发明不是采用简单的对应块相似度度量的方法，而是提出了利用最优匹配在一一匹配的前提下，计算两幅图像的全部分块所能达到的最大相似度。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述。

如图1所示，本发明的方法具体包括以下步骤：

(1)将待查询的图像及图像库中的每幅图像分割为一个个图像块；

将上述每幅图像均匀分割为n×n个图像块，n为2-10之间的整数，在此将每幅图像均匀分割为5×5＝25个图像块作为最佳实施例。

(2)分别计算查询图像的每个图像块和图像库中图像的每个图像块之间的相似度；

使用如下直方图交的方法计算两幅图像块的相似度：

${\mathrm{\ω}}_{\mathrm{ij}}=\mathrm{Inter}\sec t(x_i,y_j)=\frac{1}{A(x_i,y_j)}\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}\{H_i(h,s,v),H_j(h,s,v,)\}$

其中， $A(x_i,y_j)=\min \{\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_i(h,s,v),\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_j(h,s,v)\}$

H_i(h，s，v)是HSV颜色空间的直方图，本发明用H，S，V分量在5×5×5的三维空间中统计直方图，以归一化后的125个数值作为颜色特征值，Intersect(x_i，y_j)表示两个直方图的交，用它来判断两图像块的相似度，使用A(x_i，y_j)归一化Intersect(x_i，y_j)到0，1之间。

(3)利用最优匹配方法，分别计算上述查询图像和图像库中每幅图像之间的相似度；

根据步骤(2)中图像块的计算结果，可以把两幅图像的相似度计算建模为一个带权二分图模型G＝{X，Y，E}：X表示图像X有n个图像块x₁，x₂，...，x_n，Y表示图像Y有n个图像块y₁，y₂，...，y_n，边集E＝{e_ij}，其中边e_ij的权值ω_ij表示两个图像块x_i与y_j的相似值。然后利用图论中的最优匹配方法，求出G＝{X，Y，E}的最优匹配M后，把M中每条边e_ij的权值ω_ij相加，可以求得G＝{X，Y，E}的最大权ω，定义两幅图像X和Y的视觉相似度 $\mathrm{Similarity}(X,Y)=\frac{\mathrm{\ω}}{n},$ 使用n将Similarity(X，Y)归一化到0，1之间，值越大，表明两幅图像X和Y越相似。

最优匹配方法可以采用图论中的Kuhn-Munkres算法；此外，n＝25。

(4)按相似度从高到低，检索出与查询图像相似的图像。

上述步骤(3)中，在图像分块以后，最优匹配方法可以在两幅图像的图像块一对一匹配的条件下，计算出两幅图像所能达到的最大相似度。因为这种方法使用的是图像块一对一匹配而不是一对多的重复匹配，所以可以客观全面地计算出两幅图像所能得到的最大相似度。

下面的实验结果表明，与现有方法相比，本发明可以取得更高的检索准确性。

本实施例中建立了3000幅图像的数据库，包括了许多类型的图像，例如动物、建筑、汽车、瀑布、云彩、沙漠、花、草等各种类型的图像。为了全面充分地证明本发明的有效性，我们使用了这3000幅图像中的每一幅图像作为查询图像进行检索，最后统计了平均检索结果进行实验对比。

另外，我们测试了以下2种方法作为实验对比：

1、本发明；

2、现有方法：2004年在世界著名的TREC比赛中发表的文献“ConfoundedExpectations：Informedia at TRECVID 2004”(作者是A.Hauptmann，M.Y.Chen，M.Christel，et al.)。

上述2种方法，采用的是同样的图像分块、特征和相似度度量方法，即每幅图像都使用了5×5的分块；用H，S，V分量在5×5×5的三维空间中统计直方图，以归一化后的125个数值作为颜色特征值；使用直方图的交来判断两个图像块的相似度。因此最后的结果，能够充分证明本发明采用基于图像块最优匹配方法的有效性。

实验采用了两种在MPEG-7标准化活动中的评价指标：平均归一化调整后的检索秩ANMRR(Average Normalized Modified Retrieval Rank)和平均查全率AR(Average Recall)。AR类似于传统的查全率(Recall)，而ANMRR与传统的查准率(Precision)相比，不仅能够反映出正确的检索结果比例，而且能够反映出正确结果的排列序号。ANMRR值越小，意味着检索得到的正确图像的排名越靠前；AR值越大，意味着在前K(K是检索结果的截断值)个检索结果中相似图像占所有相似图像的比例越大。所以，AR越大，说明图像检索的查全率越好；ANMRR越小，说明图像检索的准确性越高。表1是上述2种方法对3000幅图像检索的AR和ANMRR比较。

表1本发明与现有方法的对比实验结果

	本发明	现有方法
			AR	0.558	0.471
ANMRR	0.567	0.627

从表1可以看出，本发明无论是AR还是ANMRR，都取得了比现有方法更好的效果，这主要是因为：本发明在图像分块以后，不是采用现有方法中简单的对应块相似度度量，而是提出了利用最优匹配在一一匹配的前提下，计算两幅图像的全部分块所能达到的最大相似度。由于本试验是采用3000幅图像中的每一幅图像作为查询图像，因此表1的试验结果，可以充分证明本发明在图像检索中的出色效果。

本发明之所以具有上述发明效果，其原因在于：本发明不仅使用了图像分块的合理思想，而且在图像分块以后，本发明不是采用简单的对应块相似度度量的方法，而是提出了利用最优匹配在一一匹配的前提下，计算两幅图像的全部分块所能达到的最大相似度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

注：本发明的工作，由国家自然科学基金资助(项目批准号：60503062)。

Claims (11)

1.一种计算图像之间相似度的方法，其特征在于，该方法包括以下步骤：

(1)将待计算的图像分别分割为一个个图像块；

(2)计算上述图像中任意两个图像块之间的相似度；

(3)基于(2)的结果，计算上述图像之间的相似度。

2.如权利要求1所述的计算图像之间相似度的方法，其特征在于，所述步骤(3)利用最优匹配方法计算上述图像之间的相似度。

3.如权利要求2所述的计算图像之间相似度的方法，其特征在于，将每一幅图像均匀分割为n×n个图像块，其中n为2-10之间的整数。

4.如权利要求3所述的计算图像之间相似度的方法，其特征在于，所述n的值为5。

5.如权利要求1、2或4所述的计算图像之间相似度度量的方法，其特征在于，步骤(2)中，使用如下直方图交的方法计算两个图像块的相似度：

${\mathrm{\ω}}_{\mathrm{ij}}\text{=Intersect}(x_i,y_j)=\frac{1}{A(x_i,y_j)}\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}\{H_i(h,s,v),H_j(h,s,v)\}$

其中， $A(x_i,y_i)=\min \{\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_i(h,s,v),\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_j(h,s,v)\}$

H_i(h，s，v)是HSV颜色空间的直方图，本发明用H，S，V分量在5×5×5的三维空间中统计直方图，以归一化后的125个数值作为颜色特征值，Intersect(x_i，y_j)表示两个直方图的交，用它来判断两个图像块的相似度，使用A(x_i，y_j)归一化Intersect(x_i，y_j)到0，1之间。

6.如权利要求5所述的计算图像之间相似度的方法，其特征在于，所述步骤(3)的具体操作为：

A：根据步骤(2)图像块的计算结果，将两幅图像的相似度计算建模为一个带权二分图模型G＝{X，Y，E}：X表示图像X有n个图像块x₁，x₂，...，x_n，Y表示图像Y有n个图像块y₁，y₂，...，y_n，边集E＝{e_ij}，其中边e_ij的权值ω_ij表示两个图像块x_i与y_j的相似值；

B：利用图论中的最优匹配方法，求出G＝{X，Y，E}的最优匹配M，把M中每条边e_ij的权值ω_ij相加，求得G＝{X，Y，E}的最大权ω；

C：定义两幅图像X和Y的视觉相似度 $\mathrm{Similarity}(X,Y)=\frac{\mathrm{\ω}}{n},$ 使用n将Similarity(X，Y)归一化到0，1之间，得到相似度结果。

7.如权利要求6所述的计算图像之间相似度的方法，其特征在于，所述最优匹配方法采用图论中的Kuhn-Munkres算法。

8.一种图像检索方法，用于从图像库中检索出与待查询图像相似的图像，其特征在于，包括以下步骤：

(一)将待查询图像及图像库中的每幅图像分别分割为一个个图像块；

(二)计算待查询图像中图像块和图像库每幅图像中图像块之间的相似度；

(三)利用最优匹配方法，分别计算上述待查询图像和每幅图像之间的相似度；

(四)按照相似度值从高到低排列，检索出与待查询图像相似的图像。

9.如权利要求8所述的一种图像检索的方法，其特征在于，将每一幅图像均匀分割为n×n个图像块，其中n为2-10之间的整数。

10.如权利要求9所述的一种图像检索的方法，其特征在于，所述n取值为5，并使用如下直方图交的方法计算两个图像块的相似度：

${\mathrm{\ω}}_{\mathrm{ij}}\text{=Intersect}(x_i,y_j)=\frac{1}{A(x_i,y_j)}\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}\{H_i(h,s,v),H_j(h,s,v)\}$

其中， $A(x_i,y_i)=\min \{\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_i(h,s,v),\underset{h}{\mathrm{\Σ}}\underset{s}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{H}_j(h,s,v)\}$

H_i(h，s，v)是HSV颜色空间的直方图，本发明用H，S，V分量在5×5×5的三维空间中统计直方图，以归一化后的125个数值作为颜色特征值，Intersect(x_i，y_j)表示两个直方图的交，周它来判断两个图像块的相似度，使用A(x_i，y_j)归一化Intersect(x_i，y_j)到0，1之间。

11.如权利要求9所述的一种图像检索的方法，其特征在于，所述步骤(三)的具体操作为：

A：根据步骤(二)图像块的计算结果，将两幅图像的相似度计算建模为一个带权二分图模型G＝{X，Y，E}：X表示图像X有n个图像块x₁，x₂，...，x_n，Y表示图像Y有n个图像块y₁，y₂，...，y_n，边集E＝{e_ij}，其中边e_ij的权值ω_ij表示两个图像块x_i与y_j的相似值；

B：利用图论中的最优匹配方法，求出G＝{X，Y，E}的最优匹配M，把M中每条边e_ij的权值ω_ij相加，求得G＝{X，Y，E}的最大权ω；

C：定义两幅图像X和Y的视觉相似度 $\mathrm{Similarity}(X,Y)=\frac{\mathrm{\ω}}{n},$ 使用n将Similarity(X，Y)归一化到0，1之间，得到相似度值。

Images