CN1926575A - 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序 - Google Patents

Abstract

提供一种图像相似度计算系统，产生编辑图像和原始图像之间的图像相似度的较大值。局部区域权重计算装置14根据编辑图像中的每一个局部区域的概率，来计算图像中的每一个局部区域的权重值，作为局部区域权重值。局部区域权重计算装置14将所计算的局部区域权重值输出到图像相似度计算装置122。小区域相似度计算装置121将通过分割查询图像得到的每一个小区域的特征量与通过分割参考图像得到的每一个小区域的特征量进行比较。小区域相似度计算装置121计算针对各个小区域的特征量的相似度。图像相似度计算装置122通过将基于小区域的权重值应用于计算出的相似度来计算查询图像和参考图像之间的图像相似度。该权重值是从局部区域权重计算装置14中提供的局部区域权重值中得到的。

Description

图像相似度计算系统、图像搜索系统、 图像相似度计算方法和图像相似度计算程序

技术领域

本发明涉及一种用于计算多个图像的相似度的图像相似度计算系统、图像相似度计算方法和图像相似度计算程序，还涉及一种用于检索与查询图像相似的图像的图像检索系统。更具体地讲，本发明涉及一种用于检测原始图像和编辑图像之间的相似度的图像相似度计算系统、图像相似度计算方法和图像相似度计算程序，还涉及一种用于检索与所编辑的查询图像相似的图像的图像检索系统。

背景技术

存在一种要计算要彼此进行比较的两个图像之间的相似度的图像相似度计算方法。通常，这样的图像相似度计算方法用于在从所登记的图像组中检索与查询图像相似的图像的图像检索系统中，计算查询图像和被检索图像之间的相似度。

专利文献1描述了一种传统图像检索方法的示例。在专利文献1中所述的图像检索方法将图像分割为多个块，并计算每一个块的特征量。另外，图像检索方法根据针对每一个块所获得的特征量来向每一个块提供标签，并通过按指定的次序排列标签来产生标签矩阵。该图像检索方法将查询图像和被检索图像之间的图像相似度计算为从这些图像中所获得的标签列的相似度。在检索时，相似度超过阈值的被检索图像被作为检索结果输出。

专利文献2描述了一种检索与查询图像部分相似的图像的图像检索方法。在专利文献2中所述的图像检索方法输入查询图像和查询区，即，在查询图像中进行检索的区域。该方法将查询图像分割为块。根据每一个块和查询区之间的重叠区来定义权重。该方法使用权重对每一个块的特征量进行加权以计算特征量。相似地，该方法计算被检索的图像的特征量，并对两个特征量进行比较以计算图像相似度。在检索时，将具有高图像相似度的图像输出为检索结果。

专利文献3描述了反映用户的检索意图的图像检索方法。在专利文献3中所述的图像检索方法将查询图像和被检索图像分割为多个区域，并允许用户为所分割的区域定义不同的权重。该方法通过比较查询图像和被检索图像之间的相应分割区域的特征量来获取相似度。该方法将为每一个分割区域而定义的权重应用于相似度，以计算图像相似度。由于用户可以在检索期间指定需要特征关注的区域，能够执行反映用户的检索意图的图像检索。

专利文献1：JP-A-1999-312248(段落0012-0013，图9和13)

专利文献2：JP-A-2000-163576(段落0017-0020，图7和8)

专利文献3：JP-A-2001-134765(段落0028-0031，图11)

发明内容

然而，专利文献1中所述的方法假定了查询图像和被检索的图像之间的一致性。可以通过将纸带叠置在其上或部分地切割或修剪图像以部分地改变图像的图案来变化地编辑图像。该方法计算这样改变的图像和编辑之前的原始图像之间的图像相似度的较小值。存在不能够获得充分的吞吐量来确定或从编辑图像中检索原始图像的问题。

尽管专利文献2所述的方法可以处理具有局部不同的图案的编辑图像，但是需要预先指定作为检索目标的区域。同样，专利文献3中所述的方法将权重值赋予了图像中的每一个区域，需要用户指定在检索期间需要特别关注的区域。因此，用户需要预先指定未编辑的区域来计算图像相似度，以便确定或从编辑图像中检索编辑之前的原始图像。这样存在着给用户带来极大不变的问题。

已经提出了本发明来解决上述问题。因此，本发明的目的是提供一种图像相似度计算系统、图像检索系统、图像相似度计算方法和图像相似度计算程序，能够将图像相似度计算为编辑图像和编辑之前的原始图像之间的较大值，而不会给用户带来指定区域的不便，从而确定或从具有局部改变的图案的编辑图像中检索编辑之前的原始图像。

根据本发明，提供了一种图像相似度计算系统、图像相似度计算方法和图像相似度计算程序，配置为：使用针对要应用于图像的编辑处理的概率的概率模型；将针对查询图像的每一个分割的小区域的特征量与针对参考图像的每一个分割的小区域的特征量进行比较；计算查询图像和参考图像之间的图像相似度。

根据本发明的另一个实施例，提供了一种图像相似度计算系统、图像相似度计算方法和图像相似度计算程序，配置为：考虑针对要应用于图像的每一个区域的编辑处理的概率的概率模型，将针对查询图像的每一个分割的小区域的特征量与针对参考图像的每一个分割的小区域的特征量进行比较；以及计算查询图像和参考图像之间的图像相似度。

根据本发明的另一实施例，提供了一种图像相似度计算系统、图像相似度计算方法和图像相似度计算程序，配置为：将针对查询图像的每一个分割的小区域的特征量与针对参考图像的每一个分割的小区域的特征量进行比较；并且利用要应用于图像的编辑处理的概率的概率模型，计算查询图像和参考图像之间的图像相似度。

根据本发明的另一个实施例，提供了一种图像相似度计算系统、图像相似度计算方法和图像相似度计算程序，配置为：利用要应用于每一个图像区域的编辑处理的概率的概率模型，将针对查询图像的每一个分割的小区域的特征量与针对参考图像的每一个分割的小区域的特征量进行比较；以及利用该概率模型，计算查询图像和参考图像之间的图像相似度。

根据本发明的优选实施例，例如，提供了一种图像相似度计算系统，包括：局部区域权重计算装置，用于根据要应用于每一个区域的图像的编辑处理的概率来计算基于图像区域的权重值；小区域相似度计算装置，用于将针对查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较，以计算各个小区域的特征量的相似度；以及图像相似度计算装置，用于将基于区域的权重值应用于计算出的基于小区域的相似度，以计算查询图像和参考图像之间的图像相似度。上述结构用于考虑针对每一个图像区域的编辑概率来计算图像相似度。这样能够消除在确定图像相似度期间的很可能被编辑的区域的效应。能够针对编辑图像和原始图像之间的图像相似度产生较大值。

根据本发明的优选实施例，例如，提供了一种图像相似度计算系统，包括：匹配确定阈值确定装置，用于根据要用于每一个区域的图像的编辑处理的概率来计算确定图像之间的匹配的阈值；小区域相似度计算装置，用于将针对通过分割查询图像得到的每一个小区域的特征量与通过分割参考图像得到的每一个小区域的特征量进行比较，以计算针对各个小区域的特征量的相似度；以及图像相似度计算装置，用于根据计算出的基于小区域的相似度来计算整个图像的相似度，利用用于确定匹配的阈值来修改整个图像的相似度，并且计算查询图像和参考图像之间的图像相似度。通过该结构，根据要应用于图像的编辑处理的概率的概率模型来估算图像之间的相似度的概率分布，并且计算用于确定要比较的两个图像之间是否匹配的最佳阈值。该阈值用于修改图像之间的相似度。能够针对编辑图像和原始图像之间的图像相似度产生较大值，并且针对完全彼此不相关的两个图像之间的图像相似度，产生较小值。另外，能够计算适合于确定被编辑的查询图像是否是从参考图像中产生的图像相似度。

根据本发明的优选实施例，例如，提供了一种图像检索系统，包括：编辑概率模型估算装置，用于利用作为输入提供的学习图像或设备特性，计算局部区域编辑概率，即，要应用于每一个局部区域的图像的编辑处理的概率；局部区域权重计算装置，用于根据局部区域编辑概率来计算局部区域权重值，即，图像中的每一个局部区域的权重值；图像分割装置，用于将作为输入提供的被编辑的查询图像分割为小区域；小区域特征量提取装置，用于从分割的小区域中提取查询图像小区域特征量，即，针对每一个小区域的特征量；参考图像组小区域特征量存储装置，用于存储针对由多个预先登记的参考图像构成的参考图像组中的各个参考图像的小区域特征量；小区域相似度计算装置，用于将存储在参考图像组小区域特征量存储部分中的每一个参考图像的小区域特征量与查询图像小区域特征量进行比较，以计算小区域相似度，即，针对每一个参考图像的基于小区域的特征量的相似度；图像相似度计算装置，用于利用从局部区域权重值中得到的基于小区域的权重值，针对每一个参考图像，对由小区域相似度计算装置计算出的小区域相似度进行加权；以及计算查询图像和参考图像组中的每一个参考图像之间的图像相似度；以及检索结果输出装置，用于根据针对每一个参考图像由图像相似度计算装置计算出的图像相似度，输出从参考图像组中对查询图像的检索结果。上述结构用于考虑基于图像区域的编辑概率来计算图像相似度。这样能够消除在确定图像相似度期间很可能被编辑的区域的效应。能够针对编辑图像和原始图像之间的图像相似度产生较大值。

本发明的第一效果在于能够针对编辑图像和原始图像之间的图像相似度产生较大值。原因在于：本发明考虑要应用于图像的编辑处理的概率的概率模型来计算图像相似度，因此，能够消除在确定图像相似度期间很可能被编辑的区域的效应。

本发明的第二效果在于能够精确地从编辑图像中检索原始图像。原因在于：本发明利用具有能够针对编辑图像和原始图像之间的图像相似度产生较大值的第一效果的图像相似度计算方法来检索图像。

附图说明

图1是示出了本发明第一实施例的配置的方框图；

图2是示出了本发明第一实施例的操作的流程图；

图3是示出了如何计算局部区域编辑概率的示意图；

图4是示出了第一实施例的修改的方框图；

图5是示出了在编辑概率模型存储装置中所存储的局部区域编辑概率的示例的示意图；

图6是示出了第一实施例的另一个修改的方框图；

图7是示出了本发明的第二实施例的配置的方框图；

图8是示出了本发明第二实施例的操作的流程图；

图9是示出了本发明第三实施例的配置的方框图；

图10是示出了本发明第四实施例的配置的方框图；

图11是示出了本发明第五实施例的配置的方框图；

图12是示出了本发明第五实施例的操作的流程图；

图13是示出了本发明第六实施例的配置的方框图；

图14是示出了本发明第六实施例的操作的流程图；

图15是示出了本发明第七实施例的配置的方框图；

图16是示出了本发明第八实施例的配置的方框图；

图17是示出了本发明第九实施例的配置的方框图；

图18是示出了本发明第十实施例的配置的方框图；

图19是示出了本发明第十一实施例的配置的方框图；

图20是示出了本发明第十二实施例的配置的方框图；

参考符号说明

11：特征量提取部分

111：图像分割装置

112：小区域特征量提取装置

12：图像相似度计算部分

121：小区域相似度计算装置

122：图像相似度计算装置

13：编辑概率模型估算装置

139：编辑概率模型存储装置

14：局部区域权重计算装置

22：图像相似度计算部分

221：小区域相似度计算装置

222：图像相似度计算装置

25：参考图像组小区域特征量存储部分

26：检索结果输出装置

32：图像相似度计算部分

321：小区域相似度计算装置

322：图像相似度计算装置

33：编辑区域检测装置

34：局部区域权重计算装置

42：图像相似度计算部分

421：小区域相似度计算装置

422：图像相似度计算装置

52：图像相似度计算部分

521：小区域相似度计算装置

522：图像相似度计算装置

53：编辑概率模型估算装置

54：匹配确定阈值计算装置

62：图像相似度计算部分

621：小区域相似度计算装置

622：图像相似度计算装置

72：图像相似度计算部分

721：小区域相似度计算装置

722：图像相似度计算装置

73：编辑区域检测装置

74：匹配确定阈值计算装置

82：图像相似度计算部分

821：小区域相似度计算装置

822：图像相似度计算装置

92：图像相似度计算部分

921：小区域相似度计算装置

922：图像相似度计算装置

93：编辑概率模型估算装置

94：局部区域权重计算装置

95：匹配确定阈值计算装置

1020：图像相似度计算部分

1021：小区域相似度计算装置

1022：图像相似度计算装置

1120：图像相似度计算部分

1121：小区域相似度计算装置

1122：图像相似度计算装置

113：编辑区域检测装置

114：局部区域权重计算装置

1 15：匹配确定阈值计算装置

1220：图像相似度计算部分

1221：小区域相似度计算装置

1222：图像相似度计算装置

具体实施方式

下面将参考附图来详细描述实现本发明的最佳方式。

[第一实施例]

将参考附图来描述本发明的第一实施例。如图1的方框图所示，根据本发明的图像相似度计算系统的第一实施例在功能上包括：特征量提取部分11、图像相似度计算部分12、编辑概率模型估算装置(编辑概率计算装置的一个示例)13、以及局部区域权重计算装置14。

特征量提取部分11功能上包括图像分割装置111和小区域特征量提取装置112。

当输入所编辑的查询图像时，图像分割装置111将查询图像分割为小区域。图像分割装置111将分割为小区域的查询图像输出到小区域特征量提取装置112。编辑处理表明部分地改变图像图案。编辑示例包括使诸如纸带(ticker)、标题和字符等叠置对象重叠在图像上、部分地切割或修剪图像、以及部分地镶嵌或模糊图像。将图像分割为小区域的任意方法均可使用。将图像分割为小区域的方法提供了以下示例：例如，将图像分割为等尺寸的矩形、将图像分割为不规则尺寸的矩形、以及将图像分割为各种尺寸的形状，例如除了矩形之外的圆形和三角形。然而，本发明并不局限于这些分割方法。可以对图像进行分割，从而使小区域彼此部分地重叠。整个图像可以不必被分割为小区域。可以仅将部分图像分割为小区域。

小区域特征量提取装置112从特征量提取部分11中输入的被分割为小区域的查询图像中提取针对每一个小区域的特征量。小区域特征量提取装置112将提取的查询图像的小区域特征量输出到小区域相似度计算装置121。要提取的小区域特征量的示例包括颜色信息、边缘信息、纹理信息、形状信息和运动信息。本发明并不局限于此。

涉及颜色信息的小区域特征量由代表值来示例表示，例如针对每一个小区域中的所有像素值的平均值、模值和中值、以及针对像素值的出现直方图。像素值表明了用于各种颜色空间(例如RGB颜色空间、HSV颜色空间、YUV颜色空间、YIQ颜色空间、YCbCr颜色空间、L*a*b颜色空间和XYZ颜色空间)的坐标值。优选的是，可以使用涉及颜色信息的特征量，例如在国际标准ISO/IEC 15938-3中所指定的主色、颜色布局、可扩缩(scalable)颜色和颜色结构。

作为涉及边缘信息的小区域特征量的示例，优选地，可以使用特征量(此后被称为边缘元素特征量)来描述针对每一个小区域的全局边缘图案，作为多个边缘图案中的最佳匹配图案。另外，优选地，可以使用针对每一个小区域中的本地边缘图案的出现直方图。而且，优选地，可以使用在ISO/IEC 15938-3中所指定的边缘直方图。涉及纹理信息的特征量示例包括在ISO/IEC 15938-3中所指定的均匀纹理和纹理浏览。涉及形状信息的特征量的示例包括在ISO/IEC 15938-3中所指定的区域形状、轮廓形状和形状3D。

当查询图像为运动画面中的帧图像时，优选地，可以使用运动信息作为小区域特征量。针对运动信息的特征量的示例包括ISO/IEC15938-3中所指定的参数运动和运动行为。

编辑概率模型估算装置13根据执行作为输入提供的编辑过程的设备的所编辑的学习图像或特性，来计算局部图像编辑概率，即，应用于图像中的每一个局部区域的编辑过程的概率。编辑概率模型估算装置13将计算出的局部区域编辑概率输出到局部区域权重计算装置14。优选地，局部区域对应于由图像分割装置111所分割的小区域。另外，局部区域可以对应于进一步分割由图像分割装置111分割的小区域所得到的多个更小区域中的任何一个。而且，局部区域可以对应于图像的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的任何形状和尺寸分割后的区域中的任何一个。

学习图像或图像表明了一个或更多编辑图像，用作编辑概率模型估算装置13计算局部区域编辑概率的基准。例如，当将本发明应用于视频编辑设备时，可以将构成任意编辑视频的帧图像用作学习图像。学习图像并不局限于单一的类型。该学习图像可以分类为以在屏幕上应用诸如叠置纸带等编辑处理的位置为特性的类型。这些类型的示例包括用作新节目的新闻图像、用作体育节目的体育图像、以及用作各类节目的各类图像。例如，体育图像被认为具有将编辑处理应用于屏幕的周围的较高概率。各类节目图像被认为具有将编辑处理应用于屏幕中心的较高概率。按照该方式，较好的做法为独立于针对各类节目图像的学习图像来使用针对体育图像的学习图像。在该情况下，编辑概率模型估算装置13计算基于类型的局部区域编辑概率。用户能够指定查询图像的类型，以使用与查询图像的类型相对应的局部区域编辑概率。

当输入所编辑的学习图像时，通过指定在学习图像中应用编辑过程的区域来测量局部区域编辑概率。指定编辑区域的方法不仅可以包括手动方法，还可以包括自动地检测编辑处理的方法，例如将图像信息与文本信息相分离的方法(此后称之为纸带检测方法)，如JP-A-2003-179888中所述。执行编辑处理的设备的特性可以被作为输入提供。在这样的情况下，根据由该设备应用于图像的编辑图案和根据与使用每一个编辑图案的频率有关的信息来测量局部区域编辑概率的方法是可用的。

该设备特性的示例包括：由编辑设备应用于图像的编辑图案和与使用每一个编辑图案的频率有关的信息。例如，本发明可以应用于视频编辑设备。使用给定的视频编辑设备可以引起处理屏幕上的一个或更多特定区域的较高概率。使用另一个视频编辑设备可以引起编辑屏幕上的一个或更多不同的特定区域的较高概率。在这种情况下，能够使用指示这些区域的信息，以便将其编辑为指示编辑图案的信息。另外，例如，体育图像被认为具有将编辑处理应用于屏幕的周围区域的较高概率。各类节目图像被认为具有将编辑处理应用于屏幕中心区域的较高概率。在该情况下，能够使用指示这些区域的信息以便将其编辑为指示编辑图案的信息。也就是，当使用设备(例如纸带插入设备)来根据图像类型改变编辑图案时，设备特性不仅包括原先所暗含的设备特性，而且包括编辑图案和与使用每一个编辑图案的频率有关的信息。

局部区域权重计算装置14根据从编辑概率模型估算装置13提供的局部区域编辑概率来计算局部区域权重值。局部区域权重值对从图像的局部区域中所提取的特征量如何有效地用于对整个图像的相似度的计算进行量化。局部区域权重计算装置14将所计算出的局部区域权重值输出到图像相似度计算装置122。有效的是，与分配给局部区域的局部区域编辑概率的减少成正比地设置更大的局部区域权重值。计算局部区域权重值的方法示例，如下：

局部区域权重值＝1-部区域编辑概率

本发明并不局限于此。当局部区域编辑概率较高时，可以赋予较小的局部区域权重值。而当局部区域编辑概率较低时，可以赋予较大的局部区域权重值。在图像相似度计算处理期间，优选地，可以使用能够消除高可能性被编辑的区域的效应的其他计算方法。

如同编辑概率模型估算装置13中的局部区域，优选地，局部区域对应于由图像分割装置111所分割的小区域。另外，局部区域可以对应于进一步分割由图像分割装置111分割的小区域所得到的多个更小区域中的任何一个。此外，局部区域可以对应于图像的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的任何形状和尺寸分割后的区域中的任何一个。

图像相似度计算部分12功能上包括小区域相似度计算装置121和图像相似度计算装置122。

小区域相似度计算装置121将从小区域特征量提取装置112提供的查询图像的小区域特征量与作为输入提供的参考图像的小区域特征量进行比较。小区域相似度计算装置121计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置121将计算出的小区域相似度输出到图像相似度计算装置122。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。

要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在ISO/IEC 15938-3中所指定的。在该情况下，可以根据由ISO/IEC 15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0之类的二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或者如果正在比较的边缘元素不匹配，则将相似度设置为0。作为输入提供的参考图像包括涉及小区域特征量的小区域。优选地，该小区域对应于涉及从小区域特征量提取装置112输入的查询图像的小区域特征量的小区域。这是因为可以对相应的小区域直接进行相互比较。

不同的图像分割方法可以引起查询图像的小区域和参考图像的小区域之间的差异。在这种情况下，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，然后计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算针对参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，然后，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

小区域相似度计算装置121将小区域相似度输入到图像相似度计算装置122。图像相似度计算装置122利用从局部区域权重计算装置14输入的局部区域权重值中得到的针对每一个小区域的权重值，对该小区域相似度进行加权。图像相似度计算装置122根据所得到的加权的小区域相似度来计算图像相似度，即，整个图像的相似度，并输出计算出的图像相似度。计算图像相似度的方法包括：找到针对所有小区域的加权小区域相似度的总和、或找到其平均值。

如果从局部区域权重计算装置14输入的局部区域权重值的局部区域对应于从小区域相似度计算装置121输入的小区域相似度的小区域，则可以将局部区域权重值直接用作针对每一个小区域的权重值。当小区域相似度的小区域不与局部区域权重值的局部区域相对应时，较好的做法是使用局部区域权重值来补充与小区域相似度的小区域相对应的权重值。例如，局部区域权重值的局部区域可以是由于进一步将小区域相似度的小区域分割为多个更小区域而得到的。在这种情况下，能够通过计算针对多个局部区域权重值的平均值，来产生与小区域相似度的小区域相对应的权重值。可以存在以下情况，涉及局部区域权重值的局部区域分割方法使用了与涉及小区域相似度的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与小区域重叠的多个局部区域的权重值进行加权，并对其进行总计。按照该方式，能够产生与小区域相似度的小区域相对应的权重值。

图像相似度计算系统可在计算机上实现。图像相似度计算系统包括以下组件：例如，特征量提取部分11、图像相似度计算部分12、编辑概率模型估算装置13和局部区域权重计算装置14。这些组件可以被实现为允许计算机的中央处理单元(CPU)执行上述功能的程序。也就是说，构成图像相似度计算系统的组件可在计算机上实现，并且可以实现为程序。这不仅应用于第一实施例，而且应用于稍后将要描述的其他实施例。

现在将参考图1的方框图和图2的流程图来描述第一实施例的操作。

将学习图像或设备特性作为输入来提供(步骤A1)。编辑概率模型估算装置13根据输入的学习图像或设备特性来计算局部区域编辑概率，即，将编辑处理应用于图像的每一个局部区域的概率(步骤A2)。

图3是示出了编辑概率模型估算装置13如何计算局部区域编辑概率的示意图。根据图3所示的示例，将与图像数据相对应的图像区域分割为16个局部区域。当将编辑处理应用于针对多个学习图像中的每一个图像的各个局部区域时，编辑概率模型估算装置13指示“1”。否则，编辑概率模型估算装置13指示“0”。编辑概率模型估算装置13执行诸如对每一个局部区域进行平均以计算编辑处理应用于每一个局部区域的概率的过程。也就是，编辑概率模型估算装置13估算指示局部区域编辑概率的概率模型。这里仅描述了估算概率模型的方法的示例。可以使用其他方法。

编辑概率模型估算装置13将计算出的局部区域编辑概率输出到局部区域权重计算装置14。根据该局部区域编辑概率，局部区域权重计算装置14计算局部区域权重值，即，针对图像中的每一个局部区域的权重值(步骤A3)。

将所编辑的查询图像作为输入来提供(步骤A4)。图像分割装置111将输入的查询图像分割为小区域，并将分割为小区域的图像输出到小区域特征量提取装置112(步骤A5)。小区域特征量提取装置112提取查询图像小区域特征量，即针对分割图像的每一个小区域的特征量。然后，小区域特征量提取装置112将所提取的查询图像小区域特征量输出到小区域相似度计算装置121(步骤A6)。将参考图像的小区域特征量作为输入来提供(步骤A7)。小区域相似度计算装置121计算小区域相似度，即，通过将输入的参考图像的小区域特征量与查询图像的小区域特征量进行比较获得的特征量之间的特征量相似度。小区域相似度计算装置121将计算出的小区域相似度输出到图像相似度计算装置122(步骤A8)。然后，图像相似度计算装置122利用由局部区域权重计算装置14在步骤A3处计算出的局部区域权重值中所得到的针对每一个小区域的权重值，来对小区域相似度进行加权。图像相似度计算装置122计算查询图像和参考图像之间的图像相似度(步骤A9)。按照该方式，使用局部区域权重值能够消除很可能地被编辑区域的效应。最后，图像相似度计算装置122输出计算出的图像相似度(步骤A10)。

本发明的第一实施例向分割图像的每一个小区域的相似度提供考虑到编辑图像的概率模型而计算出的权重，以计算图像相似度。结果，图像相似度计算可以免于很可能性被编辑区域的效应。能够正确地测量在编辑之前查询图像与参考图像的状态之间的相似度。能够针对编辑图像和原始图像之间的图像相似度来产生较大值。另外，本发明的第一实施例不需要从查询图像中检测被编辑区域的处理。局部区域权重值是根据学习图像或设备特性而计算出的。因此，另一过程可以用来提前找到局部区域权重值，能够快速计算图像相似度。

根据该实施例，图像相似度计算装置122考虑编辑由编辑概率模型估算装置13估算出的图像的概率模型，特别是，考虑到编辑针对每一个局部区域的图像的概率模型，来计算图像相似度。此外，小区域相似度计算装置121可以考虑概率模型，将输入参考图像的小区域特征量与查询图像的小区域特征量进行比较，并计算小区域相似度，即，针对小区域的特征量之间的相似度。例如，优选地，可以向很可能性被编辑的小区域提供将小区域相似度调节为较小值的处理。应该注意，小区域相似度计算装置121可以考虑到概率模型来计算小区域相似度。其还应用于以下所述的其他实施例。

编辑概率模型估算装置13不需要在与每一个查询图像的输入相对应的定时处计算局部区域编辑概率。例如，编辑概率模型估算装置13可以在按照本发明所应用的设备或系统时、或在稍后的周期性时间点处，计算局部区域编辑概率。编辑概率模型估算装置13保持计算结果。当输入查询图像时，编辑概率模型估算装置13将所保持的局部区域编辑概率输出到局部区域权重计算装置14。这还应用于根据稍后所述的其他实施例的编辑概率模型估算装置。

因此，优选地，可以预先计算局部区域编辑概率，并将计算出的局部区域编辑概率存储在诸如ROM等存储装置中。图4是示出了第一实施例的修改的方框图。根据该修改，提供了一个存储装置来存储局部区域编辑概率，而非编辑概率模型估算装置13。

根据图4所示的配置，编辑概率模型存储装置139存储局部区域编辑概率。优选地，局部区域对应于由图像分割装置111分割的小区域。此外，局部区域可以对应于由于进一步分割由图像分割装置111所分割的小区域所得到的多个更小区域的任何一个。而且，局部区域可以对应于图像的每一个元素。另外，局部区域可以对应于按照与针对图像分割装置111的小区域分割方法不同的任何形状和尺寸分割的任何区域。局部区域编辑概率不仅可以被存储为所有图像共同使用的值，而且可以根据要使用的图像类型而存储为不同的值，例如新闻图像、体育图像和各类图像。在后一种情况下，用户可以指定查询图像类型来使用与查询图像类型相对应的局部区域编辑概率。

图5示出了编辑概率模型存储装置139中所存储的局部区域编辑概率的示例的示意图。在该示例中，编辑概率模型存储装置139存储了编辑从与新闻、体育和各类图像相对应的图像分割的局部区域的每一个的概率。新闻或体育图像很可能在图像的左上、右上和底部被编辑。因此，将较大值赋予针对相应局部区域的局部区域编辑概率。各类图像也包含用于在图像的中心处应用编辑处理的概率的较大值。

除了图4中的编辑概率模型存储装置139之外的其他块具有与图1所示的块相同的配置和操作。该修改消除了对提供具有计算功能的编辑概率模型估算装置13的需要。

优选地，可以将局部区域编辑概率存储在诸如闪速存储器等可重写存储装置中，并能够改变局部区域编辑概率。图6是示出了第一实施例的另一种修改的方框图。根据该修改，提出了一种可重写存储装置来存储局部区域编辑概率，而非编辑概率模型估算装置13。

根据图6所示的配置，编辑概率模型估算装置13根据所编辑的学习图像或执行根据需要作为附加输入提供的编辑处理的设备特性，计算局部区域编辑概率，即，应用于图像中的每一个局部区域的编辑处理的概率。编辑概率模型估算装置13将计算出的局部区域编辑概率输出到编辑概率模型更新装置149。例如，周期性地或在出现可能极大地改变编辑概率模型的事件时，向编辑概率模型估算装置13提供学习图像或执行编辑处理的设备特性。

编辑概率模型更新装置149读取在编辑概率模型存储装置139中预先存储的局部区域编辑概率。编辑概率模型更新装置149利用从编辑概率模型存储装置139中读取的局部区域编辑概率和从编辑概率模型估算装置13中输入的局部区域编辑概率，来更新局部区域编辑概率。编辑概率模型更新装置149将更新的局部区域编辑概率存储在编辑概率模型存储装置139中。另外，编辑概率模型更新装置149通过将从编辑概率模型存储装置139中所读取的新局部区域编辑概率不变地存储在编辑概率模型存储装置139中，来更新局部区域编辑概率。

图6所示的除了编辑概率模型更新装置149和编辑概率模型存储装置139之外的其他块具有与图1所示的块相同的配置和操作。该修改可以保持在编辑概率模型存储装置139中所存储的局部区域编辑概率的适当内容。

[第二实施例]

将参考附图进一步详细地描述本发明的第二实施例。如图7的方框图所示，第二实施例与第一实施例的区别如下。根据本发明的图像相似度计算系统的第二实施例用图像相似度计算部分22来替换根据第一实施例的图1所示的图像相似度计算部分12。第二实施例包括参考图像组小区域特征量存储部分25和检索结果输出装置26。第二实施例提供了一种具有参考图像组小区域特征量存储部分25和检索结果输出装置26的图像相似度计算系统。这样的系统实现了图像检索系统。

参考图像组小区域特征量存储部分25存储了针对预先存储的多个参考图像的小区域特征量。参考图像组小区域特征量存储部分25存储了针对各个参考图像的小区域特征量。优选地，涉及这些小区域特征量的每一个的小区域对应于由图像分割装置111所分割的查询图像的小区域。另外，该小区域可以是与查询图像的小区域不同形状和尺寸分割而成的区域。

图像相似度计算部分22功能上包括小区域相似度计算装置221和图像相似度计算装置222。

小区域相似度计算装置221在图像的基础从参考图像组小区域特征量存储部分25中读取针对多个参考图像的小区域特征量。小区域相似度计算装置221将针对每一个参考图像的所读取的小区域特征量与从小区域特征量提取装置112中输入的查询图像的小区域特征量进行比较。小区域相似度计算装置221计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置221将计算出的针对参考图像组中的每一个参考图像的小区域相似度输出到图像相似度计算装置222。

可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。

要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在国际标准ISO/IEC 15938-3中所规定的。在该情况下，可以根据由ISO/IEC 15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。不同的图像分割方法可以引起涉及从小区域特征量提取装置112输入的查询图像的小区域特征量的小区域、与涉及从参考图像组小区域特征量存储部分25读取的参考图像的小区域特征量的小区域之间的差异。为了解决该问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，然后，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

从小区域相似度计算装置221向图像相似度计算装置222提供针对参考图像组的每一个参考图像的小区域相似度。图像相似度计算装置222利用从局部区域权重计算装置14提供的局部区域权重值中得到的基于小区域的权重值，对所提供的小区域相似度进行加权。图像相似度计算装置222根据所得到的加权的小区域相似度来计算图像相似度，即，整个图像的相似度。图像相似度计算装置222将计算出的针对参考图像组中的每一个参考图像的图像相似度输出到检索结果输出装置26。

计算图像相似度的方法包括：找到针对所有小区域的加权小区域相似度的总和、或找到其平均值。如果从局部区域权重计算装置14输入的局部区域权重值的局部区域对应于从小区域相似度计算装置121输入的小区域相似度的小区域，则可以将局部区域权重值直接用作针对每一个小区域的权重值。当小区域相似度的小区域不与局部区域权重值的局部区域相对应时，较好的做法是使用局部区域权重值来补充与小区域相似度的小区域相对应的权重值。例如，局部区域权重值的局部区域可以是由于进一步将具有小区域相似度的小区域分割为多个更小区域而得到的。在这种情况下，能够通过计算针对多个局部区域权重值的平均值，来产生与小区域相似度的小区域相对应的权重值。

可以存在以下情况，涉及局部区域权重值的局部区域分割方法使用了与涉及小区域相似度的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与小区域重叠的多个局部区域的权重值进行加权，并对其进行总计。按照该方式，能够产生与小区域相似度的小区域相对应的权重值。

检索结果输出装置26根据针对从图像相似度计算装置222提供的参考图像组中的参考图像的图像相似度来进行操作，并输出从参考图像组中对查询图像的检索结果。存在从输出参考图像组中的所有参考图像中输出具有最大图像相似度的参考图像的检索方法。另外，优选地，可以将参考图像组中的参考图像的图像相似度与预定阈值进行比较，并输出其图像相似度等于或大于阈值的所有参考图像。

现在将参考图2的方框图和图7的流程图来描述第二实施例的操作。

将学习图像或设备特性作为输入提供给编辑概率模型估算装置13(步骤B1)。编辑概率模型估算装置13根据输入的学习图像或设备特性来计算局部区域编辑概率，即，编辑图像中的每一个局部区域的概率。编辑概率模型估算装置13将计算出的局部区域编辑概率输出到局部区域权重计算装置14(步骤B2)。局部区域权重计算装置14根据局部区域编辑概率来计算局部区域权重值，即，图像中的每一个局部区域的权重值(步骤B3)。

将所编辑的查询图像作为输入提供给图像分割装置111(步骤B4)。图像分割装置111将输入的查询图像分割为小区域，并将分割为小区域的图像输出到小区域特征量提取装置112(步骤B5)。小区域特征量提取装置112提取查询图像小区域特征量，即针对分割为小区域的图像中的每一个小区域的特征量。小区域特征量提取装置112将所提取的查询图像小区域特征量输出到小区域相似度计算装置221(步骤B6)。小区域相似度计算装置221从参考图像组小区域特征量存储部分25中读取针对一个参考图像的小区域特征量(步骤B7)。

小区域相似度计算装置221将一个所读取的参考图像的小区域特征量与查询图像的小区域特征量进行比较，以计算小区域相似度，即，针对每一个小区域的特征量相似度。小区域相似度计算装置221将计算出的小区域相似度输出到图像相似度计算装置222(步骤B8)。然后，图像相似度计算装置222利用由局部区域权重计算装置14在步骤B3计算出的局部区域权重值中所得到的针对每一个小区域的权重值，来对小区域相似度进行加权。图像相似度计算装置222计算所述一个读取的参考图像和查询图像之间的图像相似度(步骤B9)。该处理检查是否针对参考图像组小区域特征量存储部分25中所存储的所有参考图像计算出了图像相似度(步骤B10)。当仍存在其图像相似度未被计算的参考图像时，该过程返回到步骤B7。当针对所有参考图像计算了图像相似度时，该过程进行到步骤B11。最后，检索结果输出装置26根据针对所有参考图像的图像相似度，输出从参考图像组中对查询图像的检索结果。

本发明的第二实施例利用具有根据本发明第一实施例的效果的图像相似度计算方法来检索图像。该第二实施例利用通过消除很可能被编辑的区域而计算出的图像相似度来检索图像。因此，第二实施例可以从编辑图像中精确地检索原始图像。与第一实施例类似，第二实施例不需要从查询图像中检索被编辑区域的过程，并能够预先找到局部区域权重值，从而实现了快速图像检索。

第一实施例的修改也可以应用于第二实施例。也就是说，可以设置编辑概率模型存储装置139，替代编辑概率模型估算装置13。优选地，可以设置编辑概率模型更新装置149和编辑概率模型存储装置139。

[第三实施例]

将参考附图进一步详细地描述本发明的第三实施例。如图9的方框图所示，根据本发明的图像相似度计算系统的第三实施例包括特征量提取部分11、图像相似度计算部分32、编辑区域检测装置(编辑概率计算装置的示例)33和局部区域权重计算装置34。特征量提取部分11与针对第一实施例所设置的相同。

编辑区域检测装置33使用自动检测被编辑的区域的方法，例如针对作为输入提供的被编辑查询图像的纸带检测方法。利用该方法，编辑区域检测装置33计算本地编辑概率，即将编辑处理应用于查询图像中的每一个局部区域的概率。编辑区域检测装置33将计算出的局部区域编辑概率输出到局部区域权重计算装置34。局部区域编辑概率可以具有任何概率值或二进制值1或0。局部区域可以对应于由于对由图像分割装置111所分割的小区域进一步分割所得到的多个更小区域中的任何一个。而且，局部区域可以对应于图像中的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的形状和尺寸分割的区域中的任何一个。

局部区域权重计算装置34根据从编辑区域检测装置33提供的局部区域编辑概率来计算局部区域权重值。局部区域权重值对从图像的局部区域中所提取的特征量如何有效地用于对整个图像的相似度的计算进行量化。局部区域权重计算装置34将所计算出的局部区域权重值输出到图像相似度计算装置322。优选地，局部区域对应于由图像分割装置111所分割的小区域。另外，局部区域可以对应于进一步分割由图像分割装置111分割的小区域所得到的多个更小区域中的任何一个。而且，局部区域可以对应于图像的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的任何形状和尺寸分割后的区域中的任何一个。存在计算局部区域权重值的方法示例，如下：

局部区域权重值＝1-局部区域编辑概率

本发明并不局限于此。在图像相似度计算处理期间，优选地，可以使用其他能够消除很可能被编辑的区域的计算方法。编辑区域检测装置33可以将局部区域编辑概率作为诸如1和0等二进制概率值来提供。在这种情况下，存在将多个局部区域合成到新的局部区域中的方法。该方法找到局部区域权重值，作为合成之前具有局部区域编辑概率值0的局部区域包括在合成之后的局部区域中的区域比。

图像相似度计算部分32功能上包括小区域相似度计算装置321和图像相似度计算装置322。

小区域相似度计算装置321将从小区域特征量提取装置112提供的查询图像的小区域特征量与作为输入提供的参考图像的小区域特征量进行比较。小区域相似度计算装置321计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置321将计算出的小区域相似度输出到图像相似度计算装置322。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。

当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在ISO/IEC 15938-3中所规定的。在该情况下，可以根据由ISO/IEC15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。优选地，涉及针对作为输入提供的参考图像的小区域特征量的小区域对应于涉及从小区域特征量提取装置112提供的查询图像的小区域特征量的小区域。这是因为可以对相应的小区域直接进行相互比较。不同的图像分割方法可以引起查询图像的小区域和参考图像的小区域之间的差异。为了解决这一问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

小区域相似度计算装置321输入小区域相似度。图像相似度计算装置322利用从局部区域权重计算装置34输入的局部区域权重值中得到的针对每一个小区域的权重值，对该小区域相似度进行加权。图像相似度计算装置322根据所得到的加权的小区域相似度来计算图像相似度，即，整个图像的相似度，并输出计算出的图像相似度。计算图像相似度的方法包括：找到针对所有小区域的加权小区域相似度的总和、或找到其平均值。

如果从局部区域权重计算装置34输入的局部区域权重值的局部区域对应于从小区域相似度计算装置321输入的小区域相似度的小区域，则可以将局部区域权重值直接用作针对每一个小区域的权重值。当小区域相似度的小区域不与局部区域权重值的局部区域相对应时，较好的做法是使用局部区域权重值来补充与小区域相似度的小区域相对应的权重值。例如，局部区域权重值的局部区域可以是由于进一步将小区域相似度的小区域分割为多个更小区域而得到的。在这种情况下，能够通过计算针对多个局部区域权重值的平均值，来产生与小区域相似度的小区域相对应的权重值。

可以存在以下情况，涉及局部区域权重值的局部区域分割方法使用了与涉及小区域相似度的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与小区域重叠的多个局部区域的权重值进行加权，并对其进行总计。按照该方式，能够产生与小区域相似度的小区域相对应的权重值。

类似于第一实施例，第三实施例通过消除很可能被编辑的区域的效应来计算图像相似度。此外，第三实施例根据直接从查询图像中计算出的局部区域编辑概率来计算局部区域权重值。第一实施例启发式地根据学习图像或设备特性来找到局部区域权重值，作为平均值。不同于第一实施例，第三实施例计算针对每一个查询图像的局部区域权重值，能够计算针对编辑图像和原始图像之间的图像相似度的较大值。另外，第三实施例不需要学习图像或设备特性作为输入。

[第四实施例]

参考附图进一步详细地描述本发明的第四实施例。如图10的方框图所示，第四实施例与第三实施例的区别如下。根据本发明的图像相似度计算系统的第四实施例用图像相似度计算部分42来替换根据第三实施例的图9所示的图像相似度计算部分32。第四实施例设置了参考图像组小区域特征量存储部分25和检索结果输出装置26。该参考图像组小区域特征量存储部分25和检索结果输出装置26与第二实施例相同。

图像相似度计算部分42功能上包括小区域相似度计算装置421和图像相似度计算装置422。

小区域相似度计算装置421以图像为基础从参考图像组小区域特征量存储部分25中读取针对多个参考图像的小区域特征量。小区域相似度计算装置421将针对每一个参考图像的所读取的小区域特征量与从小区域特征量提取装置112中输入的查询图像的小区域特征量进行比较。小区域相似度计算装置421计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置421将计算出的针对参考图像组中的每一个参考图像的小区域相似度输出到图像相似度计算装置422。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。

当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在国际标准ISO/IEC 15938-3中所规定的。在该情况下，可以根据由ISO/IEC 15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。不同的图像分割方法可以引起涉及从小区域特征量提取装置112输入的查询图像的小区域特征量的小区域、与涉及从参考图像组小区域特征量存储部分25读取的参考图像的小区域特征量的小区域之间的差异。为了解决该问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

从小区域相似度计算装置421向图像相似度计算装置422提供针对参考图像组的每一个参考图像的小区域相似度。图像相似度计算装置422利用从局部区域权重计算装置34提供的局部区域权重值中得到的基于小区域的权重值，对所提供的小区域相似度进行加权。图像相似度计算装置422根据所得到的加权的小区域相似度来计算图像相似度，即，整个图像的相似度。图像相似度计算装置422将计算出的针对参考图像组中的每一个参考图像的图像相似度输出到检索结果输出装置26。

计算图像相似度的方法包括：针对所有小区域的加权小区域相似度求总和、或求其平均值。如果从局部区域权重计算装置34输入的局部区域权重值的局部区域对应于从小区域相似度计算装置421输入的小区域相似度的小区域，则可以将局部区域权重值直接用作针对每一个小区域的权重值。当小区域相似度的小区域不与局部区域权重值的局部区域相对应时，较好的做法是使用局部区域权重值来补充与小区域相似度的小区域相对应的权重值。例如，局部区域权重值的局部区域可以是由于进一步将具有小区域相似度的小区域分割为多个更小区域而得到的。在这种情况下，能够通过计算针对多个局部区域权重值的平均值，来产生与小区域相似度的小区域相对应的权重值。

另外，可以存在以下情况，涉及局部区域权重值的局部区域分割方法使用了与涉及小区域相似度的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与小区域重叠的多个局部区域的权重值进行加权，并对其进行总计。按照该方式，能够产生与小区域相似度的小区域相对应的权重值。

类似于第二实施例，检索结果输出装置26输出检索结果。

第四实施例利用具有根据本发明第三实施例的效果的图像相似度计算方法来检索图像。不同于第二实施例，第四实施例计算针对每一个询图像的局部区域权重值，使其能够更精确地从编辑图像中检索原始图像。类似于第三实施例，第四实施例不需要学习图像或设备特性作为输入。

[第五实施例]

参考附图进一步详细描述本发明的第五实施例。如图11的方框图所示，根据本发明的图像相似度计算系统的第五实施例包括特征量提取部分11、图像相似度计算部分52、编辑概率模型估算装置53和匹配确定阈值计算装置54。特征量提取部分11与针对本发明第一实施例所设置的相同。

编辑概率模型估算装置53(编辑概率计算装置的示例)根据被编辑的学习图像或执行作为输入提供的编辑处理的设备的特性，计算局部区域编辑概率或编辑目标的局部区域计数概率分布。局部区域编辑概率表明了编辑图像中的每一个局部区域的概率。编辑目标的局部区域计数概率分布表明了要被编辑的图像的局部区域数目的概率分布。编辑概率模型估算装置53将计算出的局部区域编辑概率或编辑目标的局部区域计数概率分布输出到匹配确定阈值计算装置54。

设备特性的示例包括由编辑设备应用于图像的编辑图案和与使用每一个编辑图案的频率有关的信息。优选地，局部区域对应于由图像分割装置111所分割的小区域。另外，局部区域可以对应于进一步分割由图像分割装置111分割的小区域所得到的多个更小区域中的任火热一个。而且，局部区域可以对应于图像的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的任何形状和尺寸分割后的区域中的任火热一个。

当将编辑的学习图像被作为学习图像输入时，通过指定在学习图像中应用编辑过程的区域来测量局部区域编辑概率。指定编辑区域的方法不仅可以包括手动方法，还可以包括自动地检测编辑处理的方法，例如纸带检测方法。执行编辑处理的设备的特性可以被作为输入提供。在这样的情况下，根据由该设备应用于图像的编辑图案和根据与使用每一个编辑图案的频率有关的信息来测量局部区域编辑概率的方法是可用的。

匹配确定阈值计算装置54根据从编辑概率模型估算装置53提供的局部区域编辑概率或编辑目标的局部区域计数概率分布如下操作。匹配确定阈值计算装置54计算针对稍后将要描述的图像相似度计算装置522得到的整个图像的相似度的匹配确定阈值。匹配确定阈值表示由于确定两个所比较的图像是否匹配的最佳阈值。匹配确定阈值计算装置54将计算出的匹配确定阈值输出到图像相似度计算装置522。存在计算最佳阈值的方法。该方法估算整个图像的相似度的出现概率分布。该方法根据局部区域编辑概率或编辑目标的局部区域计数概率分布，估算从具有部分改变的图案的编辑图像和原始图像之间的图像的小区域的相似度得到的整个图像的相似度的出现概率分布。根据所估算出的整个图像相似度的出现概率分布，该方法找到确定编辑图像和原始图像之间的不匹配(差异)的概率足够小的阈值。该方法在估算整个图像的相似度的出现概率分布的同时，提供了由于编辑处理而造成的图案变化的效果。此外，优选地，其可以提供由于对图像重新进行编码而产生的噪声出现造成的特征量变化的效果。

图像相似度计算部分52功能上包括小区域相似度计算装置521和图像相似度计算装置522。

小区域相似度计算装置521将从小区域特征量提取装置112提供的查询图像的小区域特征量与作为输入提供的参考图像的小区域特征量进行比较。小区域相似度计算装置521计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置521将计算出的小区域相似度输出到图像相似度计算装置522。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。

当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在ISO/IEC 15938-3中所规定的。在该情况下，可以根据由ISO/IEC15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。优选地，涉及针对作为输入提供的参考图像的小区域特征量的小区域对应于涉及从小区域特征量提取装置112提供的查询图像的小区域特征量的小区域。这是因为可以对相应的小区域直接进行相互比较。不同的图像分割方法可以引起查询图像的小区域和参考图像的小区域之间的差异。为了解决该问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算针对参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

图像相似度计算装置522利用从小区域相似度计算装置521提供的小区域相似度来计算整个图像的相似度。图像相似度计算装置522利用从匹配确定阈值计算装置54提供的匹配确定阈值来修改计算出的整个图像的相似度。该图像相似度计算装置522将修改的相似度作为图像相似度输出。计算整个图像的相似度的方法包括：求出针对所有小区域的小区域相似度的总和、或求其平均值。存在利用匹配确定阈值来修改整个图像的相似度的方法。当图像相似度等于或大于匹配确定阈值时，该方法将相似度修改为1。当图像相似度小于匹配确定阈值时，该方法将相似度修改为0。

现在将参考图11的方框图和图12的流程图来描述第五实施例的操作。

将学习图像或设备特性作为输入提供给编辑概率模型估算装置53(步骤C1)。编辑概率模型估算装置53根据所提供的学习图像或设备特性来计算局部区域编辑概率或编辑目标局部区域计数概率分布。局部区域编辑概率表明了编辑图像中的每一个局部区域的概率。编辑目标的局部区域计数概率分布表明了要被编辑的图像的局部区域数目的概率分布。编辑概率模型估算装置53将计算出的局部区域编辑概率或编辑目标局部区域计数概率分布输出到匹配确定阈值计算装置54(步骤C2)。根据局部区域编辑概率或编辑目标局部区域计数概率分布，匹配确定阈值计算装置54计算匹配阈值，即，用于确定图像之间的匹配的阈值(步骤C3)。

将所编辑的查询图像作为输入提供给图像分割装置111(步骤C4)。图像分割装置111将分割为小区域的图像输出到小区域特征量提取装置112(步骤C5)。小区域特征量提取装置112提取查询图像小区域特征量，即针对图像中的每一个分割的小区域的特征量。小区域特征量提取装置112将所提取的查询图像小区域特征量输出到小区域相似度计算装置521(步骤C6)。将参考图像的小区域特征量作为输入提供给小区域相似度计算装置521(步骤C7)。小区域相似度计算装置521将所提供的参考图像的小区域特征量与查询图像的小区域特征量进行比较，以计算小区域相似度，即，针对每一个小区域的特征量相似度。小区域相似度计算装置521将计算出的小区域相似度输出到图像相似度计算装置522(步骤C8)。图像相似度计算装置522根据小区域相似度来计算整个图像的相似度。图像相似度计算装置522利用由匹配确定阈值计算装置54在步骤C3处计算出的匹配确定阈值来修改整个图像的相似度，以计算查询图像和参考图像之间的图像相似度(步骤C9)。最后，图像相似度计算装置522输出计算出的图像相似度(步骤C10)。

根据用于编辑图像的概率模型，第五实施例计算用于确定要比较的两个图像之间的匹配的最佳阈值。根据该阈值，该实施例修改图像之间的相似度以计算图像相似度。该实施例根据用于确定图像之间的匹配的阈值来修改相似度。因此，该实施例可以计算适合于确定被编辑的查询图像是否是从参考图像中产生的图像相似度。第五实施例不需要从查询图像中检测编辑区域的处理。该实施例根据学习图像或设备特性来计算匹配确定阈值。因此，能够利用另一处理预先得出匹配确定阈值，并且能够快速计算图像相似度。

第一实施例的修改也可以应用于第五实施例。也就是说，可以设置编辑概率模型存储装置来替代编辑概率模型估算装置53。优选地，可以设置编辑概率模型更新装置和编辑概率模型存储装置。

[第六实施例]

参考附图进一步详细地描述本发明的第六实施例。如图13的方框图所示，第六实施例与第五实施例的区别如下。根据本发明的图像相似度计算系统的第六实施例用图像相似度计算部分62来替换根据第五实施例的图11所示的图像相似度计算部分52。第六实施例包括参考图像组小区域特征量存储部分25和检索结果输出装置26。该参考图像组小区域特征量存储部分25和检索结果输出装置26与针对第二实施例所设置的相同。

图像相似度计算部分62功能上包括小区域相似度计算装置621和图像相似度计算装置622。

小区域相似度计算装置621以图像为基础从参考图像组小区域特征量存储部分25中读取针对多个参考图像的小区域特征量。小区域相似度计算装置621将针对每一个参考图像的所读取的小区域特征量与从小区域特征量提取装置112中输入的查询图像的小区域特征量进行比较。小区域相似度计算装置621计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置621将计算出的针对参考图像组中的每一个参考图像的小区域相似度输出到图像相似度计算装置622。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。

例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。

要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在国际标准ISO/IEC 15938-3中所规定的。在该情况下，可以根据由ISO/IEC 15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。不同的图像分割方法可以引起涉及从小区域特征量提取装置112输入的查询图像的小区域特征量的小区域、与涉及从参考图像组小区域特征量存储部分25读取的参考图像的小区域特征量的小区域之间的差异。为了解决该问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，然后，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

图像相似度计算装置622根据从小区域相似度计算装置621提供的针对参考图像组中的参考图像的小区域相似度，来计算整个图像的相似度。图像相似度计算装置622利用从匹配确定阈值计算装置54提供的匹配确定阈值来修改计算出的整个图像的相似度。该图像相似度计算装置622向检索结果输出装置26输出图像相似度，即，参考图像组中的参考图像的相似度。计算整个图像的相似度的方法包括：求出针对所有小区域的小区域相似度的总和、或求出其平均值。存在利用匹配确定阈值来修改整个图像的相似度的方法。当图像相似度等于或大于匹配确定阈值时，该方法将相似度修改为1。当图像相似度小于匹配确定阈值时，该方法将相似度修改为0。

类似于第二实施例，检索结果输出装置26输出检索结果。

现在参考图13的方框图和图14的流程图来描述第六实施例的操作。

将学习图像或设备特性作为输入提供给编辑概率模型估算装置53(步骤D1)。编辑概率模型估算装置53根据所提供的学习图像或设备特性来计算局部区域编辑概率或编辑目标局部区域计数概率分布。局部区域编辑概率表明了编辑图像中的每一个局部区域的概率。编辑目标的局部区域计数概率分布表明了要被编辑的图像的局部区域数目的概率分布。编辑概率模型估算装置53将计算出的局部区域编辑概率或编辑目标局部区域计数概率分布输出到匹配确定阈值计算装置54(步骤D2)。根据局部区域编辑概率或编辑目标局部区域计数概率分布，匹配确定阈值计算装置54计算匹配阈值，即，用于确定图像之间的匹配的阈值(步骤D3)。

将所编辑的查询图像作为输入提供给图像分割装置111(步骤D4)。图像分割装置111将输入的查询图像分割为小区域。图像分割装置111将分割为小区域的图像输出到小区域特征量提取装置112(步骤D5)。小区域特征量提取装置112提取查询图像小区域特征量，即针对图像中的每一个分割的小区域的特征量。小区域特征量提取装置112将所提取的查询图像小区域特征量输出到小区域相似度计算装置621(步骤D6)。小区域相似度计算装置621从参考图像组小区域特征量存储部分25中读取针对一个参考图像的小区域特征量(步骤D7)。小区域相似度计算装置621将一个所读取的参考图像的小区域特征量与查询图像的小区域特征量进行比较，以计算小区域相似度，即，针对每一个小区域的特征量相似度。小区域相似度计算装置621将计算出的小区域相似度输出到图像相似度计算装置622(步骤D8)。

图像相似度计算装置622根据小区域相似度来计算整个图像的相似度。图像相似度计算装置622利用由匹配确定阈值计算装置54在步骤D3处计算出的匹配确定阈值来修改整个图像的相似度，以计算所述一个读取的参考图像和查询图像之间的图像相似度(步骤D9)。然后，该处理检查是否针对参考图像组小区域特征量存储部分25中所存储的所有参考图像计算出了图像相似度(步骤D10)。当仍存在其图像相似度未被计算的参考图像时，该过程返回到步骤D7。当针对所有参考图像计算了图像相似度时，该过程进行到步骤D11。最后，检索结果输出装置26根据针对所有参考图像的图像相似度，输出从参考图像组中对查询图像的检索结果(步骤D11)。

第六实施例利用计算适合于确定编辑的查询图像是否是从参考图像中产生的图像相似度的第五实施例来检索图像。即使当参考图像组登记了针对编辑的查询图像的多个原始图像时，第六实施例可以针对编辑的查询图像，精确地检索确定为原始图像的所有图像。类似于第五实施例，第六实施例不需要从查询图像中检测编辑区域的处理，并且能够精确地找到匹配确定阈值，从而能够进行快速图像检索。

第一实施例的修改也可以应用于第六实施例。也就是说，可以设置编辑概率模型存储装置，替代编辑概率模型估算装置53。优选地，可以设置编辑概率模型更新装置和编辑概率模型存储装置。

[第七实施例]

参考附图进一步详细地描述本发明的第七实施例。如图15的方框图所示，根据本发明的图像相似度计算系统的第七实施例功能上包括特征量提取部分11、图像相似度计算部分72、编辑区域检测装置73和匹配确定阈值检测装置74。特征量提取部分11与针对第一实施例所设置的相同。

编辑区域检测装置73使用自动检测被编辑的区域的方法，例如针对作为输入提供的被编辑查询图像的纸带检测方法。利用该方法，编辑区域检测装置73计算局部编辑概率或编辑目标局部区域计数概率分布。局部区域编辑概率表明了将编辑处理应用于被编辑的查询图像中的每一个局部区域的概率。编辑目标的局部区域计数概率分布表明了在应用了编辑处理的被编辑查询图像中的局部区域数目的概率分布。编辑区域检测装置73将计算出的局部区域编辑概率或编辑目标的局部区域计数概率分布输出到匹配确定阈值计算装置74。局部区域编辑概率可以具有任何概率值或二进制值1或0。局部区域可以对应于由于对由图像分割装置111所分割的小区域进一步分割所得到的多个更小区域中的任何一个。而且，局部区域可以对应于图像中的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的形状和尺寸分割的区域中的任何一个。

匹配确定阈值计算装置74根据从编辑区域检测装置73提供的局部区域编辑概率或编辑目标的局部区域计数概率分布如下操作。匹配确定阈值计算装置74计算针对稍后将要描述的图像相似度计算装置722得出的整个图像的相似度的匹配确定阈值。匹配确定阈值表示由于确定两个所比较的图像是否匹配的最佳阈值。匹配确定阈值计算装置74将计算出的匹配确定阈值输出到图像相似度计算装置722。存在计算最佳阈值的方法。该方法估算整个图像的相似度的出现概率分布。该方法根据局部区域编辑概率或编辑目标的局部区域计数概率分布，估算从具有部分改变的图案的编辑图像和原始图像之间的图像的小区域的相似度得到的整个图像的相似度的出现概率分布。根据所估算出的整个图像相似度的出现概率分布，该方法得出确定编辑图像和原始图像之间的不匹配(差异)的概率足够小的阈值。该方法在估算整个图像的相似度的出现概率分布的同时，提供了由于编辑处理而造成的图案变化的效果。此外，优选地，其可以提供由于对图像重新进行编码而产生的噪声出现造成的特征量变化的效果。

图像相似度计算部分72功能上包括小区域相似度计算装置721和图像相似度计算装置722。

小区域相似度计算装置721将从小区域特征量提取装置112提供的查询图像的小区域特征量与作为输入提供的参考图像的小区域特征量进行比较。小区域相似度计算装置721计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置721将计算出的小区域相似度输出到图像相似度计算装置722。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。

要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在ISO/IEC 15938-3中所规定的。在该情况下，可以根据由ISO/IEC 15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。优选地，涉及针对作为输入提供的参考图像的小区域特征量的小区域对应于涉及从小区域特征量提取装置112提供的查询图像的小区域特征量的小区域。这是因为可以对相应的小区域直接进行相互比较。不同的图像分割方法可以引起查询图像的小区域和参考图像的小区域之间的差异。为了解决该问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算针对参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

图像相似度计算装置722利用从小区域相似度计算装置721提供的小区域相似度来计算整个图像的相似度。图像相似度计算装置722利用从匹配确定阈值计算装置74提供的匹配确定阈值来修改计算出的整个图像的相似度。该图像相似度计算装置722将修改的相似度作为图像相似度输出。计算整个图像的相似度的方法包括：求出针对所有小区域的小区域相似度的总和、或求出其平均值。存在利用匹配确定阈值来修改整个图像的相似度的方法。当图像相似度等于或大于匹配确定阈值时，该方法将相似度修改为1。当图像相似度小于匹配确定阈值时，该方法将相似度修改为0。

类似于第五实施例，第七实施例计算适合于确定被编辑的查询图像是否是从参考图像中产生的图像相似度。此外，第七实施例根据从查询图像直接计算出的局部区域编辑概率来计算匹配确定阈值。第七实施例计算针对每一个查询图像的匹配确定阈值，不同于启发式地根据学习图像或设备特性求出作为平均值的匹配确定阈值的第五实施例。因此，第七实施例能够更为精确地求出适合于确定被编辑的查询图像是否是从参考图像产生的图像相似度。第七实施例不需要学习图像设备特性作为输入。

[第八实施例]

参考附图进一步详细地描述本发明的第八实施例。如图16的方框图所示，第八实施例与第七实施例的区别如下。根据本发明的图像相似度计算系统的第八实施例用图像相似度计算部分82来替换根据第七实施例的图15所示的图像相似度计算部分72。第八实施例设置了参考图像组小区域特征量存储部分25和检索结果输出装置26。参考图像组小区域特征量存储部分25和检索结果输出装置26与针对第二实施例所设置的相同。

图像相似度计算部分82功能上包括小区域相似度计算装置821和图像相似度计算装置822。

小区域相似度计算装置821以图像为基础从参考图像组小区域特征量存储部分25中读取针对多个参考图像的小区域特征量。小区域相似度计算装置821将针对每一个参考图像的所读取的小区域特征量与从小区域特征量提取装置112中输入的查询图像的小区域特征量进行比较。小区域相似度计算装置821计算小区域相似度，即，每一个小区域的特征量的相似度。小区域相似度计算装置821将计算出的针对参考图像组中的每一个参考图像的小区域相似度输出到图像相似度计算装置822。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。

要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在国际标准ISO/IEC 15938-3中所规定的。在该情况下，可以根据由ISO/IEC 15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。不同的图像分割方法可以引起涉及从小区域特征量提取装置112输入的查询图像的小区域特征量的小区域、与涉及从参考图像组小区域特征量存储部分25读取的参考图像的小区域特征量的小区域之间的差异。为了解决该问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，则与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

图像相似度计算装置822根据从小区域相似度计算装置821提供的针对参考图像组中的参考图像的小区域相似度，来计算整个图像的相似度。图像相似度计算装置822利用从匹配确定阈值计算装置74提供的匹配确定阈值来修改计算出的整个图像的相似度。该图像相似度计算装置822向检索结果输出装置26输出图像相似度，即，参考图像组中的参考图像的相似度。计算整个图像的相似度的方法包括：求出针对所有小区域的小区域相似度的总和、或求出其平均值。存在利用匹配确定阈值来修改整个图像的相似度的方法。当图像相似度等于或大于匹配确定阈值时，该方法将相似度修改为1。当图像相似度小于匹配确定阈值时，该方法将相似度修改为0。

类似于第二实施例，检索结果输出装置26输出检索结果。

第八实施例利用具有根据本发明第七实施例的效果的图像相似度计算方法来检索图像。与第六实施例不同，第八实施例计算针对每一个查询图像的匹配确定阈值。因此，第八实施例可以更为精确地从参考图像组中检索针对被编辑的查询图像的所有原始图像。类似于第七实施例，第八实施例不需要学习图像或设备特性作为输入。

[第九实施例]

参考附图进一步详细地描述本发明的第九实施例。如图17的方框图所示，根据本发明的图像相似度计算系统的第九实施例功能上包括特征量提取部分11、图像相似度计算部分92、编辑概率模型估算装置93、局部区域权重计算装置94和匹配确定阈值计算装置95。特征量提取部分11与针对本发明第一实施例所设置的相同。优选地，可以将局部区域权重计算装置94和匹配确定阈值计算装置95配置为单一权重值和匹配确定阈值计算装置。

编辑概率模型估算装置93根据被编辑的学习图像或执行作为输入提供的编辑处理的设备的特性，计算局部区域编辑概率，即应用于图像中的每一个局部区域的编辑处理的概率。编辑概率模型估算装置93将计算出的局部区域编辑概率输出到局部区域权重计算装置94。

设备特性的示例包括由编辑设备应用于图像的编辑图案和与使用每一个编辑图案的频率有关的信息。优选地，局部区域对应于由图像分割装置111所分割的小区域。另外，局部区域可以对应于进一步分割由图像分割装置111分割的小区域所得到的多个更小区域中的任何一个。而且，局部区域可以对应于图像的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的任何形状和尺寸分割后的区域中的任何一个。

当输入编辑的学习图像时，通过指定在学习图像中应用编辑过程的区域来测量局部区域编辑概率。指定编辑区域的方法不仅可以包括手动方法，还可以包括自动地检测编辑处理的方法，例如纸带检测方法。执行编辑处理的设备的特性可以被作为输入提供。在这样的情况下，根据由该设备应用于图像的编辑图案和根据与使用每一个编辑图案的频率有关的信息来测量局部区域编辑概率的方法是可用的。

局部区域权重计算装置94根据从编辑概率模型估算装置93提供的局部区域编辑概率来计算局部区域权重值。局部区域权重值对从图像的局部区域中所提取的特征量如何有效地用于对整个图像的相似度的计算进行量化。局部区域权重计算装置94将所计算出的局部区域权重值输出到图像相似度计算装置922和匹配确定阈值计算装置95。有效地，与分配给局部区域的局部区域编辑概率的减少成正比地设置更大的局部区域权重值。存在计算局部区域权重值的方法示例，如下：

局部区域权重值＝1-局部区域编辑概率

本发明并不局限于此。在图像相似度计算处理期间，优选地，可以使用能够消除很可能被编辑的区域的效应的其他计算方法。

如同编辑概率模型估算装置13中的局部区域，优选地，局部区域对应于由图像分割装置111所分割的小区域。另外，局部区域可以对应于进一步分割由图像分割装置111分割的小区域所得到的多个更小区域中的任何一个。而且，局部区域可以对应于图像的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的任何形状和尺寸分割后的区域中的任何一个。

从局部区域权重计算装置94向匹配确定阈值计算装置95提供局部区域权重值。根据局部区域权重值，匹配确定阈值计算装置95计算针对稍后将要描述的图像相似度计算装置922得到的图像相似度的匹配确定阈值。匹配确定阈值表示用于确定两个所比较的图像是否匹配的最佳阈值。匹配确定阈值计算装置95将计算出的匹配确定阈值输出到图像相似度计算装置922。图像相似度计算装置922利用从局部区域权重值中得到的基于小区域的权重值，对每一个小区域的相似度进行加权。图像相似度计算装置922通过消除编辑处理的效果来计算整个图像的相似度。因此，匹配确定阈值计算装置95考虑到局部区域权重值来计算匹配确定阈值。存在计算编辑图像和原始图像之间的最佳阈值的方法，如下。该匹配确定阈值计算装置95通过使用其并消除编辑处理的效果，根据编辑图像和原始图像之间的局部区域权重值来计算整个图像的相似度的估算值。根据估算出的整个图像的相似度，该方法找到确定编辑图像和原始图像之间的不匹配(差异)的概率足够小的阈值。此外，优选地，其可以提供由于对图像重新进行编码而产生的噪声出现造成的特征量变化的效果。

图像相似度计算部分92功能上包括小区域相似度计算装置921和图像相似度计算装置922。

小区域相似度计算装置921将从小区域特征量提取装置112提供的查询图像的小区域特征量与作为输入提供的参考图像的小区域特征量进行比较。小区域相似度计算装置921计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置921将计算出的小区域相似度输出到图像相似度计算装置922。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。

要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在ISO/IEC 15938-3中所规定的。在该情况下，可以根据由ISO/IEC 15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。优选地，涉及针对作为输入提供的参考图像的小区域特征量的小区域对应于涉及从小区域特征量提取装置112提供的查询图像的小区域特征量的小区域。这是因为可以对相应的小区域直接进行相互比较。不同的图像分割方法可以引起查询图像的小区域和参考图像的小区域之间的差异。为了解决该问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算针对参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

小区域相似度计算装置921将小区域相似度输入到图像相似度计算装置922。图像相似度计算装置922利用从局部区域权重计算装置94输入的局部区域权重值中所得到的针对每一个小区域的权重值，来计算该小区域相似度。该图像相似度计算装置922根据所得到的加权的小区域相似度来计算整个图像的相似度。图像相似度计算装置922利用从匹配确定阈值计算装置95提供的匹配确定阈值来修改计算出的图像相似度，并且将修改后的图像相似度作为图像相似度输出。计算整个图像的相似度的方法包括：求出针对所有小区域的小区域相似度的总和、或求出其平均值。

如果从局部区域权重计算装置94输入的局部区域权重值的局部区域对应于从小区域相似度计算装置921输入的小区域相似度的小区域，则可以将局部区域权重值直接用作针对每一个小区域的权重值。当小区域相似度的小区域不与局部区域权重值的局部区域相对应时，较好的做法是使用局部区域权重值来补充与小区域相似度的小区域相对应的权重值。例如，局部区域权重值的局部区域可以是由于进一步将具有较小区域相似度的小区域分割为多个更小区域而得到的结果。在这种情况下，能够通过计算针对多个局部区域权重值的平均值，来产生与小区域相似度的小区域相对应的权重值。

可以存在以下情况，涉及局部区域权重值的局部区域分割方法使用了与涉及小区域相似度的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与小区域重叠的多个局部区域的权重值进行加权，并对其进行总计。按照该方式，能够产生与小区域相似度的小区域相对应的权重值。存在使用匹配确定阈值来修改整个图像的相似度的方法。当图像相似度等于或大于匹配确定阈值时，该方法将相似度修改为1。当图像相似度小于匹配确定阈值时，该方法将相似度修改为0。

第九实施例具有第一和第五实施例的效果。第九实施例能够消除很可能被编辑的区域的效果，以计算适合于确定所编辑的查询图像是否是从参考图像中产生的图像相似度。第九实施例将由局部区域权重计算装置94计算出的局部区域权重值提供给匹配确定阈值计算装置95。根据该配置，匹配确定阈值计算装置95不需要根据从编辑概率模型估算装置93提供的局部区域编辑概率来重新计算局部区域权重值，其中对局部区域权重值进行参考以计算匹配确定阈值。按照该方式，可以抑制计算量。另外，该第九实施例不需要从查询图像中检测编辑区域、以及根据学习图像或设备特性来计算局部区域权重值和匹配确定阈值的处理。因此，可以使用另一种处理来提前得出局部区域权重值和匹配确定阈值，能够快速计算图像相似度。

第一实施例的修改也可以应用于第九实施例。也就是说，可以设置编辑概率模型存储装置来替代编辑概率模型估算装置93。优选地，可以设置编辑概率模型更新装置和编辑概率模型存储装置。

[第十实施例]

参考附图进一步详细地描述本发明的第十实施例。如图18的方框图所示，第十实施例与第九实施例的区别如下。根据本发明的图像相似度计算系统的第十实施例用图像相似度计算部分1020来替换根据第九实施例的图17所示的图像相似度计算部分92。第十实施例包括参考图像组小区域特征量存储部分25和检索结果输出装置26。参考图像组小区域特征量存储部分25和检索结果输出装置26与针对第二实施例设置的相同。

图像相似度计算部分1020功能上包括小区域相似度计算装置121和图像相似度计算装置122。

小区域相似度计算装置121以图像为基础从参考图像组小区域特征量存储部分25中读取针对多个参考图像的小区域特征量。小区域相似度计算装置121将针对每一个参考图像的所读取的小区域特征量与从小区域特征量提取装置112中输入的查询图像的小区域特征量进行比较。小区域相似度计算装置121计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置121将计算出的针对参考图像组中的每一个参考图像的小区域相似度输出到图像相似度计算装置122。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。

要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在国际标准ISO/IEC 15938-3中所规定的。在该情况下，可以根据由ISO/IEC 15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。不同的图像分割方法可以引起涉及从小区域特征量提取装置112输入的查询图像的小区域特征量的小区域、与涉及从参考图像组小区域特征量存储部分25读取的参考图像的小区域特征量的小区域之间的差异。为了解决该问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，然后，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

从小区域相似度计算装置121向图像相似度计算装置122提供针对参考图像组的每一个参考图像的小区域相似度。图像相似度计算装置122利用从局部区域权重计算装置94提供的局部区域权重值中得到的基于小区域的权重值，对所提供的小区域相似度进行加权。图像相似度计算装置122根据所得到的加权的小区域相似度来计算整个图像相似度。图像相似度计算装置122利用从匹配确定阈值计算装置95提供的匹配确定阈值，来修改计算出的整个图像的相似度。图像相似度计算装置122向检索结果输出装置26输出图像相似度，即，修改的参考图像组中的参考图像的相似度。计算整个图像相似度的方法包括：求出针对所有小区域的加权小区域相似度的总和、或求出其平均值。

如果从局部区域权重计算装置94输入的局部区域权重值的局部区域对应于从小区域相似度计算装置121输入的小区域相似度的小区域，则可以将局部区域权重值直接用作针对每一个小区域的权重值。当小区域相似度的小区域不与局部区域权重值的局部区域相对应时，可以使用局部区域权重值来补充与小区域相似度的小区域相对应的权重值。例如，局部区域权重值的局部区域可以是由于进一步将具有小区域相似度的小区域分割为多个更小区域而得到的。在这种情况下，对多个局部区域权重值进行平均可以产生与小区域相似度的小区域相对应的权重值。

可以存在以下情况，涉及局部区域权重值的局部区域分割方法使用了与涉及小区域相似度的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与小区域重叠的多个局部区域的权重值进行加权，并对其进行总计。按照该方式，能够产生与小区域相似度的小区域相对应的权重值。存在利用匹配确定阈值来修改整个图像的相似度的方法。当图像相似度等于或大于匹配确定阈值时，该方法将相似度修改为1。当图像相似度小于匹配确定阈值时，该方法将相似度修改为0。

类似于第二实施例，检索结果输出装置26输出检索结果。

第十实施例利用具有根据第九实施例的效果的相似度计算方法来检索图像。类似于第九实施例，第十实施例不需要从查询图像中检测被编辑的区域的处理，并且能够预先找到局部区域权重值和匹配确定阈值，因而能够进行快速图像检索。

第一实施例的修改也可以应用于第十实施例。也就是说，可以设置编辑概率模型存储装置来替代编辑概率模型估算装置93。优选地，可以设置编辑概率模型更新装置和编辑概率模型存储装置。

[第十一实施例]

参考附图进一步详细地描述本发明的第十一实施例。如图19的方框图所示，根据本发明的图像相似度计算系统的第十一实施例功能上包括特征量提取部分11、图像相似度计算部分112、编辑区域检测装置113、局部区域权重计算装置114和匹配确定阈值计算装置115。特征量提取部分11与针对本发明第一实施例所设置的相同。

编辑区域检测装置113使用自动检测被编辑的区域的方法，例如针对作为输入提供的被编辑查询图像的纸带检测方法。利用该方法，编辑区域检测装置113计算本地编辑概率，即，将编辑处理应用于查询图像中的每一个局部区域的概率。编辑区域检测装置113将计算出的局部区域编辑概率输出到局部区域权重计算装置114。局部区域编辑概率可以具有任何概率值或二进制值1或0。局部区域可以对应于由于对由图像分割装置111所分割的小区域进一步分割所得到的多个更小区域中的任何一个。而且，局部区域可以对应于图像中的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的形状和尺寸分割的区域中的任何一个。

局部区域权重计算装置114根据从编辑区域检测装置113提供的局部区域编辑概率来计算局部区域权重值。局部区域权重值对从图像的局部区域中所提取的特征量如何有效地用于对整个图像的相似度的计算进行量化。局部区域权重计算装置114将所计算出的局部区域权重值输出到图像相似度计算装置1122和匹配确定阈值计算装置115。

优选地，局部区域对应于由图像分割装置111所分割的小区域。另外，局部区域可以对应于进一步分割由图像分割装置111分割的小区域所得到的多个更小区域中的任何一个。而且，局部区域可以对应于图像的每一个元素。另外，局部区域可以对应于按与针对图像分割装置111的小区域分割方法不同的任何形状和尺寸分割后的区域中的任何一个。存在计算局部区域权重值的方法示例，如下：

局部区域权重值＝1-局部区域编辑概率

本发明并不局限于此。在图像相似度计算处理期间，优选地，可以使用能够消除很可能被编辑的区域的效应的其他计算方法。

编辑区域检测装置113可以将局部区域编辑概率作为诸如1和0等二进制概率值来提供。在这种情况下，存在将多个局部区域合成到新的局部区域中的方法。该方法求出局部区域权重值，作为合成之前具有局部区域编辑概率值0的局部区域包括在合成之后的局部区域中的区域比。

从局部区域权重计算装置114向匹配确定阈值计算装置115提供局部区域权重值。根据局部区域权重值，匹配确定阈值计算装置115计算针对稍后将要描述的图像相似度计算装置1122得出的图像相似度的匹配确定阈值。匹配确定阈值表示用于确定两个所比较的图像是否匹配的最佳阈值。匹配确定阈值计算装置115将计算出的匹配确定阈值输出到图像相似度计算装置1122。图像相似度计算装置1122利用从局部区域权重值中得到的基于小区域的权重值，对每一个小区域的相似度进行加权。图像相似度计算装置1122通过消除编辑处理的效果来计算整个图像的相似度。因此，匹配确定阈值计算装置115考虑到局部区域权重值来计算匹配确定阈值。存在计算编辑图像和原始图像之间的最佳阈值的方法如下。该匹配确定阈值计算装置115通过使用其并消除编辑处理的效果，根据编辑图像和原始图像之间的局部区域权重值来计算整个图像的相似度的估算值。根据估算出的整个图像的相似度，该方法得出确定编辑图像和原始图像之间的不匹配(差异)的概率足够小的阈值。此外，优选地，其可以提供由于对图像重新进行编码而产生的噪声出现造成的特征量变化的效果。

图像相似度计算部分112功能上包括小区域相似度计算装置1121和图像相似度计算装置1122。

小区域相似度计算装置1121将从小区域特征量提取装置112提供的查询图像的小区域特征量与作为输入提供的参考图像的小区域特征量进行比较。小区域相似度计算装置1121计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置1121将计算出的小区域相似度输出到图像相似度计算装置1122。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。

要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在ISO/IEC 151138-3中所规定的。在该情况下，可以根据由ISO/IEC 151138-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。优选地，涉及针对作为输入提供的参考图像的小区域特征量的小区域对应于涉及从小区域特征量提取装置112提供的查询图像的小区域特征量的小区域。这是因为可以对相应的小区域直接进行相互比较。不同的图像分割方法可以引起查询图像的小区域和参考图像的小区域之间的差异。为了解决该问题，较好的做法是使用任一图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算针对参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。

可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

小区域相似度计算装置1121将小区域相似度输入到图像相似度计算装置1122。图像相似度计算装置1122利用从局部区域权重计算装置114输入的局部区域权重值中所得到的针对每一个小区域的权重值，对该小区域相似度进行加权。该图像相似度计算装置1122根据所得到的加权的小区域相似度来计算整个图像的相似度。图像相似度计算装置1122利用从匹配确定阈值计算装置115提供的匹配确定阈值来修改计算出的图像相似度，并且将修改后的图像相似度作为图像相似度输出。计算图像相似度的方法包括：找到针对所有小区域的加权的小区域相似度的总和、或找到其平均值。

如果从局部区域权重计算装置114输入的局部区域权重值的局部区域对应于从小区域相似度计算装置1121输入的小区域相似度的小区域，则可以将局部区域权重值直接用作针对每一个小区域的权重值。当小区域相似度的小区域不与局部区域权重值的局部区域相对应时，较好的做法是使用局部区域权重值来补充与小区域相似度的小区域相对应的权重值。例如，局部区域权重值的局部区域可以是由于进一步将具有较小区域相似度的小区域分割为多个更小区域而得到的。在这种情况下，通过计算针对多个局部区域权重值的平均值，能够产生与小区域相似度的小区域相对应的权重值。

可以存在以下情况，涉及局部区域权重值的局部区域分割方法使用了与涉及小区域相似度的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与小区域重叠的多个局部区域的权重值进行加权，并对其进行总计。按照该方式，能够产生与小区域相似度的小区域相对应的权重值。存在使用匹配确定阈值来修改整个图像的相似度的方法。当图像相似度等于或大于匹配确定阈值时，该方法将相似度修改为1。当图像相似度小于匹配确定阈值时，该方法将相似度修改为0。

类似于第九实施例，第十一实施例通过消除很可能被编辑的区域的效果，来计算适合于确定所编辑的查询图像是否是从参考图像中产生的图像相似度。此外，第十一实施例根据从查询图像直接计算出的局部区域编辑概率来计算局部区域权重值和匹配确定阈值。第十一实施例计算针对每一个查询图像的局部区域权重值和匹配确定阈值，不同于启发式地根据学习图像或设备特性找到作为平均值的局部区域权重值和匹配确定阈值的第九实施例。因此，第十一实施例能够更为精确地找到适合于确定被编辑的查询图像是否是从参考图像产生的图像相似度。第十一实施例不需要学习图像或设备特性作为输入。类似于第九实施例，第十一实施例将由局部区域权重计算装置114计算出的局部区域权重值提供给匹配确定阈值计算装置115。因此，匹配确定阈值计算装置115不需要根据从编辑概率模型估算装置113提供的局部区域编辑概率来重新计算局部区域权重值，其中对局部区域权重值进行参考以计算匹配确定阈值。按照该方式，可以抑制计算量。

[第十二实施例]

参考附图进一步详细地描述本发明的第十二实施例。如图20的方框图所示，第十二实施例与第十一实施例的区别如下。根据本发明的图像相似度计算系统的第十二实施例用图像相似度计算部分1220来替换根据第十一实施例的图19所示的图像相似度计算部分112。第十二实施例设置了参考图像组小区域特征量存储部分25和检索结果输出装置26。该参考图像组小区域特征量存储部分25与针对第二实施例所设置的相同。

图像相似度计算部分122功能上包括小区域相似度计算装置1221和图像相似度计算装置1222。

小区域相似度计算装置1221基于图像从参考图像组小区域特征量存储部分25中读取针对多个参考图像的小区域特征量。小区域相似度计算装置1221将针对每一个参考图像的所读取的小区域特征量与从小区域特征量提取装置112中输入的查询图像的小区域特征量进行比较。小区域相似度计算装置1221计算小区域相似度，即，针对每一个小区域的特征量的相似度。小区域相似度计算装置1221将计算出的针对参考图像组中的每一个参考图像的小区域相似度输出到图像相似度计算装置1222。可以根据要使用的小区域特征量，调整计算小区域相似度的任意方法。例如，当要使用的小区域特征量是诸如针对小区域的颜色的平均值、模值或中值等代表值时，存在根据正在使用的颜色空间的距离值和相关值来计算相似度的方法。当要使用的小区域特征量是针对颜色和边缘元素的出现直方图时，存在计算直方图之间的相似度的方法。

要使用的小区域特征量可以是主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、均匀纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动或运动行为，如在国际标准ISO/IEC 15938-3中所指定的。在这种情况下，可以根据由ISO/IEC 15938-3所推荐的距离(相似度)计算方法来计算相似度。

相似度可以是诸如1或0等二进制确定结果。例如，当将边缘元素特征量用作小区域特征量时，存在以下方法：如果正在比较的边缘元素相匹配，则将相似度设置为1，或如果正在比较的边缘元素不匹配，则将相似度设置为0。不同的图像分割方法可以引起涉及从小区域特征量提取装置112输入的查询图像的小区域特征量的小区域、与涉及从参考图像组小区域特征量存储部分25读取的参考图像的小区域特征量的小区域之间的差异。为了解决该问题，较好的做法是使用任一个图像的小区域特征量来补充与另一图像的小区域相对应的特征量，并计算相似度。例如，涉及参考图像的小区域特征量的小区域可以是由于将涉及查询图像的小区域特征量的小区域进一步分割为多个更小区域而得到的。在这种情况下，能够通过计算参考图像的多个小区域特征量的平均值来产生与查询图像的小区域相对应的特征量。可能存在以下情况：涉及参考图像的小区域特征量的小区域分割方法使用了与涉及查询图像的小区域特征量的小区域分割方法完全不同的形状和尺寸。在这种情况下，然后，与重叠区域成正比地对与查询图像的小区域重叠的参考图像的小区域的小区域特征量进行加权，并对其进行总计。按照该方式，能够产生与查询图像的小区域相对应的特征量。

从小区域相似度计算装置1221向图像相似度计算装置1222提供针对参考图像组中的每一个参考图像的小区域相似度。图像相似度计算装置1222利用从局部区域权重计算装置114提供的局部区域权重值中所得到的针对每一个小区域的权重值，对所提供的小区域相似度进行加权。该图像相似度计算装置1222根据所得到的加权的小区域相似度来计算整个图像的相似度。图像相似度计算装置1222利用从匹配确定阈值计算装置115提供的匹配确定阈值来修改计算出的图像相似度。图像相似度计算装置1222向检索结果输出装置26输出图像相似度，即修改的参考图像组中的参考图像的相似度。计算整个图像的相似度的方法包括：找到针对所有小区域的加权的小区域相似度的总和、或找到其平均值。

如果从局部区域权重计算装置114输入的局部区域权重值的局部区域对应于从小区域相似度计算装置1221输入的小区域相似度的小区域，则可以将局部区域权重值直接用作针对每一个小区域的权重值。当小区域相似度的小区域不与局部区域权重值的局部区域相对应时，可以使用局部区域权重值来补充与小区域相似度的小区域相对应的权重值。例如，局部区域权重值的局部区域可以是由于进一步将具有较小区域相似度的小区域分割为多个更小区域而得到的。在这种情况下，对多个局部区域权重值进行平均，能够产生与小区域相似度的小区域相对应的权重值。

可以存在以下情况，涉及局部区域权重值的局部区域分割方法使用了与涉及小区域相似度的小区域分割方法完全不同的形状和尺寸。在这种情况下，于是，与重叠区域成正比地对与小区域重叠的多个局部区域的权重值进行加权，并对其进行总计。按照该方式，能够产生与小区域相似度的小区域相对应的权重值。存在使用匹配确定阈值来修改整个图像的相似度的方法。当图像相似度等于或大于匹配确定阈值时，该方法将相似度修改为1。当图像相似度小于匹配确定阈值时，该方法将相似度修改为0。

类似于第二实施例，检索结果输出装置26输出检索结果。

第十二实施例利用具有根据第十一实施例的效果的图像相似度计算方法来检索图像。与第一实施例不同的是，第十二实施例计算针对每一个查询图像的局部区域权重值和匹配确定阈值。因此，第十二实施例可以更精确地从参考图像组中检索出针对被编辑的查询图像的所有原始图像。类似于第十一实施例，第十二实施例不需要学习图像或设备特性作为输入。

工业应用性

本发明可应用于以下用途：图像相似度计算系统、图像相似度计算方法、用于计算多个图像的相似度的图像相似度计算程序、用于检索与查询图像相似的图像的图像检索系统，等等。

Claims (66)

1.一种包括图像相似度计算单元的图像相似度计算系统，包括：

针对要应用于图像的编辑处理使用概率的概率模型；

将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较；

计算查询图像和参考图像之间的图像相似度。

2.根据权利要求1所述的图像相似度计算系统，其中，

针对每一个区域确定概率模型；和

图像相似度计算单元，在将查询图像的每一个分割的小区域的特征量和参考图像的每一个分割的小区域的特征量进行比较时，使用概率模型。

3.根据权利要求1所述的图像相似度计算系统，其中图像相似度计算单元在计算查询图像和参考图像之间的图像相似度时，使用概率模型。

4.根据权利要求1所述的图像相似度计算系统，其中，

针对每一个区域确定概率模型；和

图像相似度计算单元在将查询图像的每一个分割的小区域的特征量和参考图像的每一个分割的小区域的特征量进行比较时，和在计算查询图像和参考图像之间的图像相似度时，使用概率模型。

5.一种包括图像相似度计算单元的图像相似度计算系统，配置为：

利用基于要应用于每一个局部区域的图像的编辑处理的概率所计算的基于图像区域的权重值，将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较；和

计算查询图像和参考图像之间的图像相似度。

6.一种包括图像相似度计算单元的图像相似度计算系统，配置为：

将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较，以便计算整个图像的相似度；

利用确定图像之间的匹配的阈值来修改整个图像的相似度，所述阈值是基于要应用于每一个局部区域的图像的编辑处理的概率、或基于将编辑处理应用于图像的局部区域数目的概率分布计算出的；和

计算查询图像和参考图像之间的图像相似度。

7.一种包括图像相似度计算单元的图像相似度计算系统，配置为：

利用基于要应用于每一个局部区域的图像的编辑处理的概率计算出的基于图像区域的权重值，将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较，以便计算整个图像的相似度；

利用确定图像之间的匹配的阈值来修改整个图像的相似度，所述阈值是基于要应用于每一个局部区域的图像的编辑处理的概率计算的；和

计算查询图像和参考图像之间的图像相似度。

8.根据权利要求5所述的图像相似度计算系统，还包括：

编辑概率计算装置，利用学习图像或设备特性来计算要应用于每一个局部区域的图像的编辑处理的概率，作为要应用于每一个局部区域的图像的编辑处理的概率。

9.根据权利要求5所述的图像相似度计算系统，还包括：

编辑概率计算装置，利用被编辑的查询图像来计算编辑处理被应用于每一个局部区域的图像的概率，作为要应用于每一个局部区域的图像的编辑处理的概率。

10.根据权利要求6所述的图像相似度计算系统，还包括：

编辑概率分布计算装置，利用学习图像或设备特性来计算要应用于每一个局部区域的图像的编辑处理的概率、或将编辑处理应用于图像的局部区域数目的概率分布，作为要应用于每一个局部区域的图像的编辑处理的概率、或将编辑处理应用于图像的局部区域数目的概率分布。

11.根据权利要求6所述的图像相似度计算系统，还包括：

编辑概率计算装置，利用被编辑的查询图像来计算要应用于每一个局部区域的图像的编辑处理的概率、或将编辑处理应用于图像的局部区域数目的概率分布，作为要应用于每一个局部区域的图像的编辑处理的概率、或将编辑处理应用于图像的局部区域数目的概率分布。

12.根据权利要求7所述的图像相似度计算系统，还包括：

编辑概率计算装置，利用学习图像或设备特性来计算要应用于每一个局部区域的图像的编辑处理的概率，作为要应用于每一个局部区域的图像的编辑处理的概率。

13.根据权利要求7所述的图像相似度计算系统，还包括：

编辑概率计算装置，利用被编辑的查询图像来计算要应用于每一个局部区域的图像的编辑处理的概率，作为要应用于每一个局部区域的图像的编辑处理的概率。

14.一种图像相似度计算系统，包括：

编辑概率模型估算装置，利用作为输入提供的学习图像或设备特性，计算要应用于每一个局部区域的图像的编辑处理的概率，作为局部区域编辑概率；

局部区域权重计算装置，根据局部区域编辑概率来计算图像中的每一个局部区域的权重值，作为局部区域权重值；

图像分割装置，将作为输入提供的被编辑的查询图像分割为小区域；

小区域特征量提取装置，从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

小区域相似度计算装置，配置为：

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；和

计算各个小区域的特征量的相似度，作为小区域相似度；和

图像相似度计算装置，通过利用从局部区域权重值中得到的基于小区域的权重值对小区域相似度进行加权，来计算查询图像和参考图像之间的图像相似度。

15.一种图像相似度计算系统，包括：

编辑区域检测装置，利用作为输入提供的被编辑查询图像，计算编辑处理被应用于每一个局部区域的图像的概率，作为局部区域编辑概率；

局部区域权重计算装置，根据局部区域编辑概率来计算图像中的每一个局部区域的权重值，作为局部区域权重值；

图像分割装置，将查询图像分割为小区域；

小区域特征量提取装置，从分割的小区域中提取针对每一个小区域的特征量，作为查询图像的小区域特征量；

小区域相似度计算装置，配置为：

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；和

计算各个小区域的特征量的相似度，作为小区域相似度；和

图像相似度计算装置，通过利用从局部区域权重值中得到的基于小区域的权重值对小区域相似度进行加权，计算查询图像和参考图像之间的图像相似度。

16.一种图像相似度计算系统，包括：

编辑概率模型估算装置，利用作为输入提供的学习图像或设备特性，计算局部区域编辑概率或编辑目标局部区域计数概率分布，所述局部区域编辑概率是要应用于每一个局部区域的图像的编辑处理的概率，所述编辑目标局部区域计数概率分布是编辑处理被应用于图像的局部区域数目的概率分布；

匹配确定阈值计算装置，根据局部区域编辑概率或编辑目标局部区域计数概率分布，计算用于确定图像之间的匹配的阈值，作为匹配确定阈值；

图像分割装置，将作为输入提供的被编辑查询图像分割为小区域；

小区域特征量提取装置，从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

小区域相似度计算装置，配置为：

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；以及

计算各个小区域的特征量的相似度，作为小区域相似度；和

图像相似度计算装置，配置为：

根据小区域相似度来计算整个图像的相似度；

利用匹配确定阈值来修改整个图像的相似度；

计算查询图像和参考图像之间的图像相似度。

17.一种图像相似度计算系统，包括：

编辑区域检测装置，利用作为输入提供的被编辑查询图像，计算局部区域编辑概率或编辑目标局部区域计数概率分布；所述局部区域编辑概率是将编辑处理应用于每一个局部区域的图像的概率，所述编辑目标局部区域计数概率分布是编辑处理必应用于图像的局部区域数目的概率分布；

匹配确定阈值计算装置，根据局部区域编辑概率或编辑目标局部区域计数概率分布，计算用于确定图像之间的匹配的阈值，作为匹配确定阈值；

图像分割装置，将查询图像分割为小区域；

小区域特征量提取装置，从分割的小区域中提取每一个小区域的特征量，作为查询图像小区域特征量；

小区域相似度计算装置，配置为：

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；以及

计算各个小区域的特征量的相似度，作为小区域相似度；和

图像相似度计算装置，配置为：

根据小区域相似度来计算整个图像的相似度；

利用匹配确定阈值来修改整个图像的相似度；

计算查询图像和参考图像之间的图像相似度。

18.根据权利要求10、11、16和17中的任何一项所述的图像相似度计算系统，其中所述匹配确定阈值计算装置通过根据局部区域编辑概率或编辑目标局部区域计数概率分布，来估算在编辑图像和原始图像之间从图像中的每一个小区域的相似度中所得到的整个图像相似度的出现概率分布，计算匹配确定阈值的最佳值。

19.根据权利要求12或13所述的图像相似度计算系统，其中所述匹配确定阈值计算装置利用局部区域权重值，通过根据局部区域权重值估算整个图像的相似度，来计算所述匹配确定阈值的最佳值。

20.根据权利要求8、9、12、13、14、15和19中的任何一项所述的图像相似度计算系统，其中所述局部区域权重计算装置：

在局部区域编辑概率较高时，减少局部区域权重值；和

在局部区域编辑概率较低时，增加局部区域权重值。

21.根据权利要求20所述的图像相似度计算系统，其中所述局部区域权重计算装置计算局部区域权重值作为1与局部区域编辑概率之间的差值。

22.根据权利要求8到13中的任何一项的图像相似度计算系统，其中所述编辑概率计算装置利用自动检测编辑区域以指定编辑区域的方法来计算局部区域编辑概率。

23.根据权利要求14或16中的任何一项所述的图像相似度计算系统，其中所述编辑概率模型估算装置利用自动检测编辑区域以指定编辑区域的方法来计算局部区域编辑概率。

24.根据权利要求15或17所述的图像相似度计算系统，其中所述编辑区域检测装置利用自动检测编辑区域以指定编辑区域的方法来计算局部区域编辑概率。

25.根据权利要求1到21中的任何一项所述的图像相似度计算系统，其中所述局部区域是分割的区域，从而对应于查询图像或参考图像中的小区域。

26.根据权利要求1到21和25中的任何一项所述的图像相似度计算系统，其中所述查询图像或所述参考图像中的小区域是通过分割图像得到的等尺寸的矩形区域。

27.根据权利要求1到21和25中的任何一项所述的图像相似度计算系统，其中所述查询图像或所述参考图像中的小区域是被分割以致于部分地彼此重叠的区域之一。

28.根据权利要求1到21和25中的任何一项所述的图像相似度计算系统，其中所述查询图像或所述参考图像中的小区域是通过仅分割图像的一部分而得到的。

29.根据权利要求1到28中的任何一项所述的图像相似度计算系统，其中所述特征量基于以下内容中的至少一个：颜色信息、边缘信息、纹理信息、形状信息和运动信息。

30.根据权利要求1到28中的任何一项所述的图像相似度计算系统，其中所述特征量是以下内容中的至少一个：在诸如RGB颜色空间、HSV颜色空间、YUV颜色空间、YIQ颜色空间、YCbCr颜色空间、L*a*b颜色空间和XYZ颜色空间之类颜色空间系统中所指定的颜色坐标的平均值、模值和中值、以及在国际标准ISO/IEC 15938-3中所指定的主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、直方图纹理、纹理浏览、轮廓形状和形状3D。

31.根据权利要求1到30中的任何一项所述的图像相似度计算系统，其中所述编辑处理对应于以下内容中的至少一个：将纸带叠置在图像上、将标题叠置在图像上、将字符叠置在图像上、将对象叠置在图像上、部分地切割图像、部分地修剪图像、部分地镶嵌图像、以及部分地模糊图像。

32.一种利用根据权利要求1到13中的任何一项所述的图像相似度计算系统计算出的图像相似度来检索图像的图像检索系统。

33.一种图像检索系统，包括：

编辑概率模型估算装置，利用作为输入提供的学习图像或设备特性，计算要应用于每一个局部区域的图像的编辑处理的概率，作为局部区域编辑概率；

局部区域权重计算装置，根据局部区域编辑概率来计算图像中的每一个局部区域的权重值，作为局部区域权重值；

图像分割装置，将作为输入提供的被编辑查询图像分割为小区域；

小区域特征量提取装置，从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

参考图像组小区域特征量存储装置，存储由多个预先登记的参考图像构成的参考图像组中的各个参考图像的小区域特征量；

小区域相似度计算装置，配置为：

将存储在参考图像组小区域特征量存储装置中的每一个参考图像的小区域特征量与查询图像小区域特征量进行比较；以及

计算每一个参考图像的基于小区域的特征量的相似度，作为小区域相似度；

图像相似度计算装置，配置为：

利用从局部区域权重值中得到的基于小区域的权重值，针对每一个参考图像，对由小区域相似度计算装置计算出的小区域相似度进行加权；和

计算查询图像和参考图像组中的每一个参考图像之间的图像相似度；和

检索结果输出装置，根据由图像相似度计算装置针对每一个参考图像计算出的图像相似度，输出从参考图像组中对查询图像的检索结果。

34.一种图像检索系统，包括：

编辑区域检测装置，利用作为输入提供的被编辑查询图像，计算将编辑处理应用于每一个局部区域的图像的概率，作为局部区域编辑概率；

局部区域权重计算装置，根据局部区域编辑概率来计算图像中的每一个局部区域的权重值，作为局部区域权重值；

图像分割装置，将查询图像分割为小区域；

小区域特征量提取装置，从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

参考图像组小区域特征量存储装置，存储由多个预先登记的参考图像构成的参考图像组中的各个参考图像的小区域特征量；

小区域相似度计算装置，配置为：

将存储在参考图像组小区域特征量存储装置中的每一个参考图像的小区域特征量与查询图像小区域特征量进行比较；以及

计算每一个参考图像的基于小区域的特征量的相似度，作为小区域相似度；

图像相似度计算装置，配置为：

利用从局部区域权重值中得到的基于小区域的权重值，对由小区域相似度计算装置针对每一个参考图像计算出的小区域相似度进行加权；和

计算查询图像和参考图像组中的每一个参考图像之间的图像相似度；和

检索结果输出装置，根据图像相似度计算装置针对每一个参考图像计算出的图像相似度，输出从参考图像组中对查询图像的检索结果。

35.一种图像检索系统，包括：

编辑概率模型估算装置，利用作为输入提供的学习图像或设备特性，计算局部区域编辑概率或编辑目标局部区域计数概率分布，所述局部区域编辑概率是要应用于每一个局部区域的图像的编辑处理的概率，所述编辑目标局部区域计数概率分布是编辑处理被应用于图像的局部区域数目的概率分布；

匹配确定阈值计算装置，根据局部区域编辑概率或编辑目标局部区域计数概率分布，计算用于确定图像之间的匹配的阈值，作为匹配确定阈值；

图像分割装置，将作为输入提供的被编辑查询图像分割为小区域；

小区域特征量提取装置，从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

参考图像组小区域特征量存储装置，存储由多个预先登记的参考图像构成的参考图像组中的各个参考图像的小区域特征量；

小区域相似度计算装置，配置为：

将存储在参考图像组小区域特征量存储装置中的每一个参考图像的小区域特征量与查询图像小区域特征量进行比较；和

计算每一个参考图像基于小区域的特征量的相似度，作为小区域相似度；

图像相似度计算装置，配置为：

根据由小区域相似度计算装置计算出的每一个参考图像的小区域相似度来计算整个图像的相似度；

利用匹配确定阈值来修改相似度；和

计算查询图像和参考图像组中的每一个参考图像之间的图像相似度；和

检索结果输出装置，根据图像相似度计算装置针对每一个参考图像计算出的图像相似度，输出从参考图像组中对查询图像的检索结果。

36.一种图像检索系统，包括：

编辑区域检测装置，利用作为输入提供的被编辑查询图像，计算局部区域编辑概率或编辑目标局部区域计数概率分布，所述局部区域编辑概率是将编辑处理应用于每一个局部区域的图像的概率，所述编辑目标局部区域计数概率分布是编辑处理被应用于图像的局部区域数目的概率分布；

匹配确定阈值计算装置，根据局部区域编辑概率或编辑目标局部区域计数概率分布，计算用于确定图像之间的匹配的阈值，作为匹配确定阈值；

图像分割装置，将查询图像分割为小区域；

小区域特征量提取装置，从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

参考图像组小区域特征量存储装置，存储由多个预先登记的参考图像构成的参考图像组中的各个参考图像的小区域特征量；

小区域相似度计算装置，配置为：

将存储在参考图像组小区域特征量存储装置中的每一个参考图像的小区域特征量与查询图像小区域特征量进行比较；和

计算每一个参考图像基于小区域的特征量的相似度，作为小区域相似度；

图像相似度计算装置，配置为：

根据由小区域相似度计算装置计算出的每一个参考图像的小区域相似度来计算整个图像的相似度；

利用匹配确定阈值来修改相似度；和

计算查询图像和参考图像组中的每一个参考图像之间的图像相似度；和

检索结果输出装置，根据由图像相似度计算装置针对每一个参考图像计算出的图像相似度，输出从参考图像组中对查询图像的检索结果。

37.根据权利要求35或36所述的图像检索系统，其中所述匹配确定阈值计算装置通过根据局部区域编辑概率或编辑目标局部区域计数概率分布估算在编辑图像和原始图像之间从图像中的每一个小区域的相似度中所得到的整个图像相似度的出现概率分布，计算匹配确定阈值的最佳值。

38.根据权利要求35或36所述的图像检索系统，其中所述匹配确定阈值计算装置利用局部区域权重值，通过根据局部区域权重值估算整个图像的相似度，来计算所述匹配确定阈值的最佳值。

39.根据权利要求33、34和38中的任何一项所述的图像检索系统，其中所述局部区域权重计算装置在局部区域编辑概率较高时，减少局部区域权重值；和在局部区域编辑概率较低时，增加局部区域权重值。

40.根据权利要求39所述的图像检索系统，其中所述局部区域权重计算装置计算局部区域权重值计算作为1与局部区域编辑概率之间的差值。

41.根据权利要求33或35所述的图像检索系统，其中所述编辑概率模型估算装置利用自动检测编辑区域以指定编辑区域的方法来计算局部区域编辑概率。

42.根据权利要求34或36所述的图像检索系统，其中所述编辑区域检测装置利用自动检测编辑区域以指定编辑区域的方法来计算局部区域编辑概率。

43.根据权利要求33到40中的任何一项所述的图像检索系统，其中所述局部区域是分割的区域，从而对应于查询图像或参考图像中的小区域。

44.根据权利要求33到40和43中的任何一项所述的图像检索系统，其中查询图像或参考图像中的小区域是通过分割图像得到的等尺寸的矩形区域。

45.根据权利要求33到40和43中的任何一项所述的图像检索系统，其中查询图像或参考图像中的小区域是被分割以致于彼此部分地重叠的区域之一。

46.根据权利要求33到40和43中的任何一项所述的图像检索系统，其中查询图像或参考图像中的小区域是通过仅分割图像的一部分而得到的。

47.根据权利要求33到46中的任何一项所述的图像检索系统，其中所述特征量基于以下内容中的至少一个：颜色信息、边缘信息、纹理信息、形状信息和运动信息。

48.根据权利要求33到47中的任何一项所述的图像检索系统，其中所述特征量是以下内容中的至少一个：在诸如RGB颜色空间、HSV颜色空间、YUV颜色空间、YIQ颜色空间、YCbCr颜色空间、L*a*b颜色空间和XYZ颜色空间之类的颜色空间系统中所指定的颜色坐标的平均值、模值和中值、以及在国际标准ISO/IEC 15938-3中所指定的主色、颜色布局、可扩缩颜色、颜色结构、边缘直方图、直方图纹理、纹理浏览、轮廓形状和形状3D。

49.根据权利要求33到47中的任何一项所述的图像检索系统，其中所述编辑处理对应于以下内容中的至少一个：将纸带叠置在图像上、将标题叠置在图像上、将字符叠置在图像上、将对象叠置在图像上、部分地切割图像、部分地修剪图像、部分地镶嵌图像、以及部分地模糊图像。

50.一种图像检索系统，利用根据权利要求1到29中的任何一项所述的图像相似度计算系统，根据计算出的图像相似度输出多个参考图像中与查询图像相似的图像。

51.一种图像相似度计算方法，包括以下步骤：

使用要应用于图像的编辑处理的概率的概率模型；

将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较；

计算查询图像和参考图像之间的图像相似度。

52.一种图像相似度计算方法，包括以下步骤：

利用基于要应用于图像的编辑处理的概率计算出的基于图像区域的权重值，将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较；以及

计算查询图像和参考图像之间的图像相似度。

53.一种图像相似度计算方法，包括以下步骤：

通过将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较，计算整个图像的相似度；

利用确定图像之间的匹配的阈值来修改相似度，所述阈值是基于要应用于每一个局部区域的图像的编辑处理的概率、或基于将编辑处理应用于图像的局部区域数目的概率分布计算的；和

计算查询图像和参考图像之间的图像相似度。

54.一种图像相似度计算方法，包括以下步骤：

利用基于要应用于每一个局部区域的图像的编辑处理的概率计算的基于图像区域的权重值，通过将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较，计算整个图像的相似度；

利用确定图像之间的匹配的阈值来修改相似度，所述阈值是基于编辑每一个局部区域的图像的概率计算的；和

计算查询图像和参考图像之间的图像相似度。

55.一种图像相似度计算方法，包括以下步骤：

利用作为输入提供的学习图像或设备特性，计算要应用于每一个局部区域的图像的编辑处理的概率，作为局部区域编辑概率；

根据局部区域编辑概率来计算图像中的每一个局部区域的权重值，作为局部区域权重值；

将作为输入提供的被编辑查询图像分割为小区域；

从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；和

计算各个小区域的特征量的相似度，作为小区域相似度；和

通过利用从局部区域权重值中得到的基于小区域的权重值对小区域相似度进行加权，计算查询图像和参考图像之间的图像相似度。

56.一种图像相似度计算方法，包括以下步骤：

利用作为输入提供的被编辑查询图像，计算将编辑处理应用于每一个局部区域的图像的概率，作为局部区域编辑概率；

根据局部区域编辑概率来计算图像中的每一个局部区域的权重值，作为局部区域权重值；

将查询图像分割为小区域；

从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；和

计算各个小区域的特征量的相似度，作为小区域相似度；和

通过利用从局部区域权重值中得到的基于小区域的权重值对小区域相似度进行加权，来计算查询图像和参考图像之间的图像相似度。

57.一种图像相似度计算方法，包括以下步骤：

利用作为输入提供的学习图像或设备特性，计算局部区域编辑概率或编辑目标局部区域计数概率分布，所述局部区域编辑概率是要应用于每一个局部区域的图像的编辑处理的概率，所述编辑目标局部区域计数概率分布是编辑处理被应用于图像的局部区域数目的概率分布；

根据局部区域编辑概率或编辑目标局部区域计数概率分布，来计算用于确定图像之间的匹配的阈值，作为匹配确定阈值；

将作为输入提供的被编辑查询图像分割为小区域；

从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；以及

计算各个小区域的特征量的相似度，作为小区域相似度；和

根据小区域相似度来计算整个图像的相似度；

利用匹配确定阈值来修改整个图像的相似度；

计算查询图像和参考图像之间的图像相似度。

58.一种图像相似度计算方法，包括以下步骤：

利用作为输入提供的被编辑查询图像，计算局部区域编辑概率或编辑目标局部区域计数概率分布，所述局部区域编辑概率是将编辑处理应用于每一个局部区域的图像的概率，所述编辑目标局部区域计数概率分布是编辑处理被应用于图像的局部区域数目的概率分布；

根据局部区域编辑概率或编辑目标局部区域计数概率分布，来计算用于确定图像之间的匹配的阈值，作为匹配确定阈值；

将查询图像分割为小区域；

从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；以及

计算各个小区域的特征量的相似度，作为小区域相似度；和

根据小区域相似度来计算整个图像的相似度；

利用匹配确定阈值来修改整个图像的相似度；

计算查询图像和参考图像之间的图像相似度。

59.一种使计算机执行以下处理的图像相似度计算程序：

考虑要应用于图像的编辑处理的概率的概率模型；

将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较；和

计算查询图像和参考图像之间的图像相似度。

60.一种使计算机执行以下处理的图像相似度计算程序：

利用基于要应用于图像的编辑处理的概率计算的基于图像区域的权重值，将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较；以及

计算查询图像和参考图像之间的图像相似度。

61.一种使计算机执行以下处理的图像相似度计算程序：

通过将查询图像的每一个分割的小区域的特征量与参考图像的每一个分割的小区域的特征量进行比较，计算整个图像的相似度；

利用确定图像之间的匹配的阈值来修改相似度，所述阈值是基于要应用于每一个局部区域的图像的编辑处理的概率、或基于将编辑处理应用于图像的局部区域数目的概率分布计算的；以及

计算查询图像和参考图像之间的图像相似度。

62.一种使计算机执行以下处理的图像相似度计算程序：

利用基于要应用于每一个局部区域的图像的编辑处理的概率计算的基于图像区域的权重值，通过将查询图像的每一个分割的小区域的特征量与针对参考图像的每一个分割的小区域的特征量进行比较，计算整个图像的相似度；

利用确定图像之间的匹配的阈值来修改相似度，所述阈值是基于编辑每一个局部区域的图像的概率计算的；以及

计算查询图像和参考图像之间的图像相似度。

63.一种使计算机执行以下处理的图像相似度计算程序：

利用作为输入提供的学习图像或设备特性，计算要应用于每一个局部区域的图像的编辑处理的概率，作为局部区域编辑概率；

根据局部区域编辑概率来计算图像中的每一个局部区域的权重值，作为局部区域权重值；

将作为输入提供的被编辑查询图像分割为小区域；

从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；和

计算各个小区域的特征量的相似度，作为小区域相似度；和

通过利用从局部区域权重值中得到的基于小区域的权重值对小区域相似度进行加权，计算查询图像和参考图像之间的图像相似度。

64.一种使计算机执行以下处理的图像相似度计算程序：

利用作为输入提供的被编辑查询图像，计算将编辑处理应用于每一个局部区域的图像的概率，作为局部区域编辑概率；

根据局部区域编辑概率来计算图像中的每一个局部区域的权重值，作为局部区域权重值；

将查询图像分割为小区域；

从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；和

计算各个小区域的特征量的相似度，作为小区域相似度；和

通过利用从局部区域权重值中得到的基于小区域的权重值对小区域相似度进行加权，计算查询图像和参考图像之间的图像相似度。

65.一种使计算机执行以下处理的图像相似度计算程序：

利用作为输入提供的学习图像或设备特性，计算局部区域编辑概率或编辑目标局部区域计数概率分布，所述局部区域编辑概率是要应用于每一个局部区域的图像的编辑处理的概率，所述编辑目标局部区域计数概率分布是编辑处理被应用于图像的局部区域数目的概率分布；

根据局部区域编辑概率或编辑目标局部区域计数概率分布，计算用于确定图像之间的匹配的阈值，作为匹配确定阈值；

将作为输入提供的被编辑查询图像分割为小区域；

从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；和

计算各个小区域的特征量的相似度，作为小区域相似度；和

根据小区域相似度来计算整个图像的相似度；

利用匹配确定阈值来修改整个图像的相似度；

计算查询图像和参考图像之间的图像相似度。

66.一种使计算机执行以下处理的图像相似度计算程序：

利用作为输入提供的被编辑查询图像，计算局部区域编辑概率或编辑目标局部区域计数概率分布，所述局部区域编辑概率是将编辑处理应用于每一个局部区域的图像的概率，所述编辑目标局部区域计数概率分布是编辑处理被应用于图像的局部区域数目的概率分布；

根据局部区域编辑概率或编辑目标局部区域计数概率分布，计算用于确定图像之间的匹配的阈值，作为匹配确定阈值；

将查询图像分割为小区域；

从分割的小区域中提取每一个小区域的特征量，作为查询图像的小区域特征量；

将作为输入提供的参考图像的预先准备的小区域特征量的参考图像小区域特征量与查询图像小区域特征量进行比较；和

计算各个小区域的特征量的相似度，作为小区域相似度；和

根据小区域相似度来计算整个图像的相似度；

利用匹配确定阈值来修改整个图像的相似度；

计算查询图像和参考图像之间的图像相似度。

Images