CN101308503A - 图像处理设备、图像处理方法和图像检索方法 - Google Patents

Abstract

本发明涉及一种图像处理设备、图像处理方法和图像检索方法。所述图像处理设备从输入图像中提取包括局部特征量的多个特征点和与该特征点相关的图像区域信息，标识多个特征点中的至少一个，将所标识的特征点与如下特征点关联：所标识的特征点与由所标识的特征点的区域信息所表示的区域之间具有高的关系度，并将所标识和关联的特征点作为输入图像的索引来登记。

Description

图像处理设备、图像处理方法和图像检索方法

技术领域

本发明涉及一种图像处理设备、图像处理方法、以及对与输入的图像相似的图像进行检索的方法。

背景技术

近来，数字照相机和数字视频摄影机可以轻易地拍摄静止或运动图片，并使用这样所拍摄的静止图片或运动图片作为图像数据。已通过利用这种图像数据而创建了文档。

因此搜索适于给定用途的图像数据的方法变得日益重要。存在如下方法：其中首先将分类或说明信息附加至图像数据，并使用这样附加上去的信息来对图像数据进行检索和分类。然而，为了自动地附加分类或说明信息，理解图像的内容很重要，这就难以利用通用的进行图像内容的识别的技术来实现，当前一般是手工地进行这种信息的附加。

正在逐渐使用如下技术：其比较由图像数据的颜色、辉度或边缘而得的图形的特征量，并对就其图形的特征量而言相似的图像进行检索。该技术利用图像内的颜色及其位置、图像内的线等项目的组成和量、或图像内的物体的形状等图像内的各种图形特征量。然而，特别是当处理在文本文档内使用的图像时，出现这种情况：取决于图像的大小或构图而对图像进行扩大、缩小、旋转、裁剪、或作为其它图像的一部分而使用这样的动作。因此，即使在以这种变更的方式使用图像时，也需要启用图像的检索。

特别地，可将图像数据用于通过提示这种图像数据的再利用而简化创建操作、或从安全观点来进行文档内容的审查回顾等各种目的。因此，已做出了图像的特征量或特征量的相似度的计算，以便即使在对图像进行扩大、缩小、旋转、裁剪、或作为其它图像的一部分而使用这样的动作时，也可以有鲁棒性地检索。

例如，日本特开平8-279021号公报公开了一种即使对图像进行旋转也进行正确的图像检索的技术。该技术将输入图像分割成固定大小的区域，并计算这样分割的区域内的图形特征量。通过将各特征量聚集在旋转轴方向上，从各特征量来计算特征量，以便具有旋转鲁棒性，并且所进行的检索使用像这样计算出的特征量。尽管协议包括针对图像的扩大或缩小的鲁棒性，但就旋转鲁棒性而言，仅当旋转中心明确时该协议才有效。

例如，日本特开平6-318256号公报为了保持检索中的鲁棒性而使用图像内的一部分的颜色作为图形特征量。凭借以特征量和特征量的计算为基础的位置的信息来进行簇化和索引。对于计算图像的特征量的相似度而言，试图进行获得比较高精度的相似度的计算增加了计算其相似度的成本，因此，减少当进行图像数据的检索时计算相似度的计算量的技术变得重要。

通过提炼以便仅使用成为检索目标的图像的索引、并从相似度计算的对象中排除不具有较高相似度的成为检索目标的图像，从而进行成为相似度计算对象的图像或图像的特征量的数量的减少。这种索引称作一阶提炼索引，其是当进行检索时改善效率的有效技术。为了创建这种一阶提炼索引，通常是进行例如其特征量和位置信息的簇化或自己组织的映射等计算并对其结果进行分组。然而，这种特征量和位置信息的簇化或自己组织的映射等计算导致较大的计算成本，造成登记图像以使图像可供检索的计算负荷或所需时间的增加。

近来，已研发出了如下方法：作为图像的局部特征量，将例如图像内的辉度等经历重大变化的图像的点或部分作为要提取的特征点，并以图像内的特征点彼此之间的距离或位置关系等形式来使用这样提取的特征点。使用因此不存在于图像的扩大、缩小或旋转中的特征量有助于使用对其扩大、缩小或旋转含有一定程度的鲁棒性的检索方法。

通常，为了增加检索的精度而由这种方法来帮助获得多个特征点。结果，要么当比较多个特征点的特征量时进行的计算增加了复杂性，要么计算量变得非常大。因而，为了减轻计算相似度的处理负荷以及以高速来实施检索，而提议了一阶提炼索引的使用。

然而，当创建一阶提炼索引时，图像特征点的量很大，于是特征点的簇化处理的负荷增涨到相当大的水平。

发明内容

本发明的目的在于：当登记输入图像或对与输入图像相似的登记图像进行检索时，利用根据局部特征点而创建的检索索引信息。

根据本发明的一个方面，提供了一种图像处理设备，包括：提取部件，用于从输入图像中提取分别具有局部特征量的多个特征点和与所述多个特征点相关的图像区域信息；以及登记部件，用于如果与目标特征点的图像区域信息所表示的区域的相关度高于阈值，则登记所述多个特征点的至少一个目标特征点和另一个特征点之间的关联作为所述输入图像的索引。

根据本发明的另一方面，提供了一种图像处理方法，包括：从输入图像中提取分别具有局部特征量的多个特征点和与所述多个特征点相关的图像区域信息；以及，如果与目标特征点的图像区域信息所表示的区域的相关度高于阈值，则登记所述多个特征点的至少一个目标特征点和另一个特征点之间的关联作为所述输入图像的索引。

根据本发明的另一方面，提供了一种图像检索方法，包括：使用利用上述图像处理方法所产生的登记的索引来检索图像。

通过以下参考附图的详细说明本发明的其它方面将变得明显。

附图说明

图1示出根据本发明的实施例的图像处理设备的概念结构。

图2是说明根据实施例的登记图像的整个处理的框图。

图3是示出提取局部特征量的处理的流程图。

图4示出生成缩小图像的缩小图像生成处理的例子。

图5示出根据实施例的提炼(refinement)索引信息的创建的例子。

图6是示出根据实施例的计算相似度的处理的流程图。

图7示出一阶索引信息的例子。

图8是说明根据本实施例的检索图像的整个处理的框图。

图9示出利用一阶提炼信息提取单元803获得的查询图像的一阶提炼信息的例子。

图10示出根据实施例的、当输入检索查询图像时显示的图像检索支持画面的例子。

图11示出根据实施例的、显示检索结果列表的检索结果显示画面的例子。

图12示出根据另一实施例的一阶提炼索引的例子。

具体实施方式

应当理解，根据实施例的说明适于对图像的大部分利用图像的特征量的图像处理设备。

图1示出根据实施例的图像处理设备的概念结构。在图1中，CPU 101执行关于根据本实施例的图像处理设备的各种控制。由ROM 102或RAM 103(将在后面说明)中的程序来指示CPU101进行操作。可以通过CPU自身的功能或计算机程序的结构来使得多个计算机程序并行运行。

ROM 102存储计算机程序或控制数据，其控制顺序由CPU101存储。RAM 103存储用于由CPU 101进行的处理的控制程序，还提供用于在CPU 101执行各种类型的控制时的各种数据的工作区。

键盘104包括诸如字母数字键、平假名键、片假名键或标点符号键的文本符号输入键，以及诸如引导光标移动的光标移动键的一定范围的功能键，从而提供由用户所做的一定范围的输入和操作的环境。

应当理解，键盘104还可包括鼠标等指示装置。只要该装置可提供由用户所做的一定范围的输入和操作的环境，键盘104或鼠标还可以是触摸面板或手写笔等。

系统总线105包括连接至图像处理设备的各单元的地址总线或数据总线。外部存储设备106存储各种数据。该外部存储设备可包括硬式驱动器、软盘、光盘、磁盘、磁光盘、磁带或非易失性存储卡等记录介质以及驱动记录介质并在其上记录信息的驱动器。通过来自键盘的指令或计算机程序的命令，将存储在外部存储设备上的计算机程序或数据按需要全部或部分地载入RAM 103。

显示装置107向用户显示各种输入操作状态。通信装置或者说NCU 108是用于与其它计算机进行通信的装置，其有助于图像处理设备经过网络即LAN与存在于远处(未图示)的设备进行通信，从而共享根据本实施例的程序或数据。

应当理解，通信装置108可以进行RS-232-C、USB、IEEE1394、P1284、SCSI、调制解调器或以太网等有线通信，或蓝牙、红外线通信或IEEE 802.11b等无线通信。只要能够与连接至根据本发明的设备的装置通信，可以采用任何通信。

图像扫描器109是用于读取图像的装置，其一次一张地以光学方式来读取置于其上的源稿，将图像信号变换成数字信号矩阵，并将这样变换所得的数字信号矩阵作为图像数据输出。可以使用外部存储设备106或RAM 103来存储这样读取的图像数据。

可以通过经通信装置108连接的网络扫描器、复印设备、数字静止照相机或胶片扫描器等输入装置而不是图像扫描器109来输入图像数据。还可以经过通信装置从保持数字图像数据的外部存储设备输入数字图像数据。另外，还可以将这样读取的图像数据存储在经过通信装置连接至图像处理设备的服务器或复印设备等外部存储设备中，而不是存储在外部存储设备或RAM中。

以上所述的结构是根据本实施例的例子，本发明并不特别地限定于此。

根据本实施例的图像处理设备包括两种主要类型的处理。一种处理是用于登记图像的处理，其中登记用户想要作为检索目标的图像，从而可以实际地检索图像。另一种处理是对于预登记的图像呈现用户想要检索的图像(以下，称为“查询图像”)，进行与其最相似的图像的检索并获得检索结果。

图像登记处理

图2是说明根据本实施例的登记图像的处理概要的框图。在图2中，登记图像输入单元201通过经通信装置108连接的网络扫描器、数字静止照相机、保持图像数据的外部存储设备或图像扫描器109输入要登记的图像数据。将这样输入的图像数据暂时地保持在RAM 103或外部存储设备106中。

图像特征提取单元202通过分析经登记图像输入单元201输入的图像数据，来提取图像特征量。作为图像特征量，呈现表示例如颜色、辉度、边缘或纹理等的信息。然而，这样提取的图像特征量使用从图像内的1个或多个特征点提取的、各特征点的局部特征量以及作为该局部特征量的源的区域的位置和标度(scale)。该标度将在后面详细说明。

图3是示出提取局部特征量的处理的流程图。在步骤S301中，读入要登记的图像。也即，将经过图2所示的登记图像输入单元201输入的图像作为登记图像读入。

在步骤S302中，提取在步骤S301中读入的登记图像的辉度成分并由此生成辉度成分图像。在步骤S303中，根据倍率p依次缩小在步骤S 302中生成的辉度成分图像。从而生成n个缩小图像。倍率p和缩小图像数n被作为已预定的。

图4示出生成缩小图像的缩小图像生成处理的例子。图4所示的例子是在步骤S303中生成缩小图像的情况，其中倍率p为2的-1/4次幂，且缩小图像数n是九。在图4中，附图标记401是源辉度成分图像。附图标记402是根据倍率p从源辉度成分图像缩小了四次的缩小图像。附图标记403是根据倍率p从源辉度成分图像缩小了八次的缩小图像。

在本例中，缩小图像402将为缩小至源辉度成分图像的一半大小的图像，而缩小图像403将为缩小至源辉度成分图像的四分之一大小的图像。设想根据本实施例的缩小图像是通过线性插值的缩小方法生成的。

在步骤S304中，从在步骤S303中创建的各缩小图像中提取要计算特征量的特征点。这样提取的特征点是在步骤S305中局部特征量的计算的对象。在本例中，利用Harris算子作为根据本实施例的提取特征点的方法；例如参照C.Harris和M.J.Stephens于1988年在Alvey Vision Conference中第147～152页的“A combined corner and edge detector”。

具体地，对n个缩小图像的各缩小图像作用Harris算子，由此获得输出图像。对图像中的各像素，检查该像素及该像素紧邻的各8个像素中的每一个的像素值，即共9个像素。提取作为局部最大的像素作为特征点，即该像素的像素值在9个像素中成为最大值的像素。在本例中，当像素值小于等于阈值时，即使该像素是局部最大，也不提取该像素作为特征点。因此，可以提取其辉度较大的特征点的成分作为特征点。应当理解，本例中的像素值是指各像素分别包含各像素的辉度值或颜色值等的固定值。

在本实施例中，由于对n个缩小图像的各缩小图像获得局部特征点，所以各特征点包含两种信息，位置和标度。在本例中，“位置”是指局部最大值在图像内所处的位置。“标度”是表示作为特征点的源的图像区域的相对大小即缩小率，例如相对于该缩小图像的源图像倍率p的倒数。对于包含曲线位置的边缘的特征量的特征点，还可以代之以利用曲率半径等。另外，当反复地应用如图4所示给定的缩小时，可以将直到获得缩小图像为止应用给定缩小的次数作为标度值。作为标度，只要这样呈现的值对应于源图像对缩小图像的缩小率，允许任何呈现的形式。

在步骤S305中，进行局部特征量的计算。在本例中，利用Local Jet及其导数的组合作为根据本实施例的计算局部特征量的方法；例如参照J.J.Koenderink和A.J.van Doorn于1987年在Biological Cybernetics第55期，第367～375页的“Representationof local geometry in the visual system”。

通过本方法计算的局部特征量对图像的扩大、缩小或旋转含有一定程度的鲁棒性。具体地，如等式(1)所示计算局部特征量：

$v=\left(\begin{array}{c}L\\ L_x{L}_x+L_y{L}_y\\ L_{\mathrm{xx}}{L}_x{L}_x+2L_{\mathrm{xy}}{L}_x{L}_y+L_{\mathrm{yy}}{L}_y{L}_y\\ L_{\mathrm{xx}}+L_{\mathrm{yy}}\\ L_{\mathrm{xx}}{L}_{\mathrm{xx}}+{2L}_{\mathrm{xy}}{L}_{\mathrm{xy}}+L_{\mathrm{yy}}{L}_{\mathrm{yy}}\end{array}\right)\·\·\·\left(1\right)$

应当理解，在等式(1)的右端使用的记号是由以下所给的等式(2)～(7)定义的。在本例中，等式(2)右端的记号G(x，y)是高斯函数，等式(2)右端的记号I(x，y)是图像的坐标(x，y)处的像素值，“*”是代表卷积运算的记号。等式(3)是关于在等式(2)中定义的变量的偏导数L_x，等式(4)是关于在等式(2)中定义的变量的偏导数L_y。等式(5)是关于在等式(3)中定义的变量的偏导数L_xy，等式(6)是关于在等式(3)中定义的变量的偏导数L_xx，而等式(7)是关于在等式(4)中定义的变量的偏导数L_yy。

L＝G(x，y)*I(x，y)       …(2)

$L_x=\frac{\∂L}{\∂x}\·\·\·\left(3\right)$

$L_y=\frac{\∂L}{\∂y}\·\·\·\left(4\right)$

$L_{\mathrm{xy}}=\frac{{\∂}^{2}L}{\∂x\∂y}\·\·\·\left(5\right)$

$L_{\mathrm{xx}}=\frac{{\∂}^{2}L}{\∂x^2}\·\·\·\left(6\right)$

$L_{\mathrm{yy}}=\frac{{\∂}^{2}L}{\∂y^2}\·\·\·\left(7\right)$

应当理解，能够计算局部特征量的方法不限于上述计算局部特征量的方法，可以应用任何这类计算局部特征量的方法。

从而完成了图像特征量登记单元的提取局部特征量的处理。

应当理解，图像的特征点和特征量包含与作为特征点的源的区域的相对大小有关的信息的标度，该标度提供针对图像的扩大、缩小或旋转等处理的鲁棒性，从而有助于执行稳定的检索。

与传统的图像的特征量相比，如果对图像的特征点的提取和特征量的计算进行了更复杂的计算，则对特征点和特征量也获得标度。如果当进行图像的检索时存在这种信息，则可以利用该信息来轻易地创建用于减少检索处理的一阶提炼索引即检索索引信息。结果，可以进行不造成检索图像时的检索精度降低的高速图像检索、或高速图像登记。后面将给出关于创建一阶提炼索引即检索索引信息的处理的详细说明。

如果可应用本发明的图像的特征点和特征量包含与作为特征点的源的区域的相对大小有关的信息，则可对其使用任何技术。还可以当提取特征点时或当计算特征量时计算与作为特征点的源的区域的相对大小有关的信息。

从而以这种方式来提取关于图2所示的图像特征提取单元202的图像的特征量。

在图2中，图像特征登记单元203进行如下处理：将由图像特征提取单元202提取的图像特征量与(例如)用于标识被登记的图像的图像ID一起登记在图像特征量数据库204中。尽管在本例中图像特征量数据库204存储在外部存储设备106中，但可以将图像特征量数据库204存储在经过通信装置108连接至图像处理设备的服务器或复印设备的外部存储设备中。

通常，为了进行从大量图像中的图像的检索并缩短进行其检索时的处理时间，当进行登记图像的处理时，使用如下技术：在进行检索前，提取作为检索目标的图像的特征量，并将这样提取的特征量登记在数据库中。该技术使得在进行检索时不必从作为检索目标的图像中提取特征量，可以将进行检索所花的时间缩短相应的量，当大量图像是检索目标时使得该处理成为希望的处理。

此外，为了实施高速图像检索，当进行登记图像的处理时，使用如下技术：当提取图像的特征时，根据该图像的特征量创建用于一阶提炼的索引。原因在于，当检索图像时，因为当将登记的图像的特征量与查询图像的特征量进行比较并进行其相似度的计算时计算负荷很大，所以要避免对作为检索目标的图像的全部特征量来比较查询图像的特征量。后面将给出对相似度的计算的详细说明。

一阶提炼信息提取单元205根据由图像特征提取单元202提取的图像的特征点和特征量的信息来提取用于进行在进行一阶提炼时所使用的索引中的登记、或用于进行检索时的一阶提炼的信息。然而通常在进行簇化(cluster)计算时使用特征点的位置关系等信息，例如一阶提炼信息提取单元205使用标度，其是与作为由图像特征提取单元202提取的特征点的源的区域的相对大小有关的信息。因此，可以通过判断紧邻各特征点的点，即根据标度的大小来确定紧邻的范围，来创建用于提炼索引的信息。也可以说，由于对应于标度的值未知所以进行簇化等计算，且其计算负荷与根据本发明的方法相比非常大。

接着，参照图5对利用标度的提炼索引信息的创建的例子进行说明。图5示出根据本实施例的提炼索引信息的创建的例子。在图5中，附图标记501是汽车的图片，并假设将“001”作为图像的图像ID分配给图像。尽管进行根据本实施例的计算导致对于图片501提取了许多特征点，但当使用这种事件历史作为本例时会难以理解，因此，在本状况下，将说明将从作为此处的特征点而提取的多个点中考虑3个特征点A、B和C作为代表的例子。

附图标记502是以特征点A为中心、并具有根据特征点A的标度计算出的半径的圆形区域，附图标记503是关于特征点B的圆形区域，而附图标记504是关于特征点C的圆形区域。尽管为了根据各特征点计算圆区域的半径而在本状况下假设将标度乘以常数M，但是还可以接受根据标度来计算圆形区域的半径的任何方法。

如图5所示，圆形区域502除特征点A外不包括其它特征点，与特征点A的特征量紧邻的特征量的集合的元素是“无”。圆形区域503除特征点B以外还包括特征点A和特征点C，与特征点B的特征量紧邻的特征量的集合的元素是“特征点A的特征量和特征点C的特征量”。类似地，圆形区域504除特征点C以外还包括特征点B，与特征点C的特征量紧邻的特征量的集合的元素是“特征点B的特征量”。因此，对于图5所示的标有ID：001的图像而言，对于各特征点、关于与使用标度指定的范围紧邻的即圆内包括哪个特征点的信息是图2所示的一阶提炼信息提取单元205提取的一阶提炼信息。

对于在检索时将作为相似度计算的对象的图像的候选，检索时的一阶提炼被配置为使得包含必需的相似度的候选必须处在一阶提炼中，且不包含必需的相似度的候选必须尽可能地排除在一阶提炼外。也就是说，目的在于以比传统技术可能更小的计算负荷或更高速地进行相似度的计算。

如果对于标度的计算的M值被设成过大的值，则在检索时的一阶提炼中将作为检索目标的图像的提炼无法有效地工作。这种无法有效地工作将造成检索时的速度降低。相反，如果M值被设成过小的值，则作为检索目标的图像的提炼会过度灵敏，造成到必需的检索结果的候选为止的检索结果的精度下降。因而，必须在进行标度的计算之前先将该M值调整到合适的程度。

返回图2，附图标记206是一阶提炼索引创建单元，其进行将由一阶提炼信息提取单元205提取的信息记录在一阶提炼索引207中的处理。尽管将一阶提炼索引存储在外部存储设备106中，但也可以将一阶提炼索引存储在经过通信装置108连接至图像处理设备的服务器或复印设备的外部存储设备中。

下面参照图7来给出对实际存储的一阶提炼索引的例子的说明。通常，图像特征量数据库204采取特征量与指定的图像ID关联的形式。然而，一阶提炼索引是检索索引，因而被转置，且图7所示的典型索引是与特征量的紧邻位置相关的信息，且与保持其特征点的关系的图像ID关联。

由此进行了登记作为检索目标的图像的处理。

图像检索处理

接着，参照图8对从查询图像中检索登记图像的整个处理进行说明。图8是给出根据本实施例的检索图像的整个处理的框图。在图8中，查询图像输入单元801通过经通信装置108连接的网络扫描器、数字静止照相机、保持图像数据的外部存储设备或图像扫描器109来输入作为检索的源的图像数据。将这样输入的图像数据称作检索查询图像。将这样输入的图像数据暂时地保持在RAM 103或外部存储设备106中。

除了作为处理对象的图像是由查询图像输入单元801获得的查询图像、且将这样获得的特征量用于检索以外，图像特征提取单元802进行与图2所示的图像特征提取单元202相同的处理，因而省略其说明。

除了作为处理对象的特征量是由图像特征提取单元802获得的查询图像的特征量、且将这样获得的一阶提炼信息用于检索以外，一阶提炼信息提取单元803进行与图2所示的一阶提炼信息提取单元205相同的处理，因而省略其说明。

一阶提炼索引805与图2所示的一阶提炼索引207相同，因而省略其说明。图像特征量数据库807与图2所示的图像特征量数据库204相同，因而省略其说明。

一阶提炼处理单元804从一阶提炼索引805中搜索由一阶提炼信息提取单元803提取的一阶提炼信息。该处理是简单的索引检索，因此，以高速进行。与例如图像特征量的相似度的计算(将在后面说明)相比相对高速地进行该处理。

图9示出由一阶提炼信息提取单元803获得的查询图像的一阶提炼信息的例子。接着，说明当获得图9所示的查询图像的索引信息时、图7所示的一阶提炼索引701～703针对一阶提炼索引805进行检索的处理。

一阶提炼索引的索引成分以在处理检索时被用作密钥为前提，于是，通过对其索引成分应用已知的哈希函数或B树协议等计算协议，从而可以以高速获取信息的存储位置。因此，当指定索引信息时可以以高速来找出与索引信息对应的图像ID的集合，并将该集合作为检索结果而显示。

呈现出图9所示的附图标记901和902的索引信息，选择对应的附图标记702和703，提取图像ID的各集合，计算集合的乘积，作为结果而获得了图像ID的集合。在本例的情况下，这样获得图像ID：001。通过这种计算来进行一阶提炼的处理。该处理与图像的特征量的相似度计算(将在后面说明)相比，仅以非常简单的计算而变得更简单，因此，具有相对更小的处理负荷和更高的速度。

使用图像的特征量的标度的值，在实际使用前先创建一阶提炼索引，从而获得合适的提炼。因此，当计算图像的特征量的相似度时，在一阶提炼中，从将成为检索目标的图像的候选中排除仅能够出产充分低的相似度的、将成为检索目标的图像的候选。

应当理解，一阶提炼的结果被暂时地保持在RAM 103或外部存储设备106等存储部件中。

返回图8，附图标记806是图像特征比较单元，其中，对于在一阶提炼处理单元中提炼的检索结果的图像的候选，从图像特征量数据库807获取与各候选图像的各图像ID对应的局部特征量。这样获取的局部特征量与经过图像特征提取单元802提取的查询图像的局部特征量做比较，并计算其相似度。计算相似度的协议将在后面说明。对各候选图像进行相似度的计算为与候选图像的数量一样多的条目创建了暂时存储在存储装置中的、候选图像和查询图像之间的相似度的组合的信息。

计算相似度的方法

下面参照图6来说明根据本实施例的计算相似度的方法。在本例中，假设查询图像的特征量为Vs，且与特征量关联的特征点的位置坐标为S(x，y)。还假设登记在图像特征量数据库807中的、对于候选图像R而存在的特征量为Vq，且特征点的位置坐标为Q(x，y)。

图6是示出根据本实施例的计算相似度的处理的流程图。相似度的计算通过投票处理即计数处理来进行。当在各计算判断为存在相似时，进行投票，并将最终的相似度作为对其进行的投票的总计结果。在步骤S 601中，将代表最大投票数的变量VoteMax初始化为0。最大投票数是进行多次投票时获得的最大的投票数。在步骤S602中，在Vq和Vs之间对于其全部组合计算特征量距离，并由此创建最短距离对应点。也即，提取了所计算出的特征量之间的距离小于等于阈值Tv且作为其间最短距离的Vq和Vs之间的组合，并将其登记在最短距离对应点列表中。

登记在最短距离对应点列表中的第k个对应点的局部特征点分别记作Vq(k)和Vs(k)。与Vq(k)和Vs(k)关联的特征点分别记作Qk和Sk，且其坐标表示为Qk(x′k，y′k)和Sk(xk，yk)。将登记在由步骤S602中创建的最短距离对应点列表中的对应点的组合数作为m组合。

在步骤S603中，将代表计算相似度的处理的循环计数的变量Count初始化为0。在步骤S604中，对循环计数值Count是否超过预定的最大循环处理次数Rn做出判断。在本例中，如果循环计数值Count超过了预定的最大循环处理次数Rn，则处理进入步骤S618，在此输出最大投票数VoteMax且处理结束。

在步骤S604中如果循环计数值Count未超过预定的最大循环处理次数Rn，则处理进入步骤S605，在此将代表投票数的变量Vote初始化为0。在步骤S606中，从该最短距离对应点列表中随机提取两组对应点的组合的坐标。在本例中，将这些坐标记为Q1(x′1，y′1)、S1(x1，y1)和Q2(x′2，y′2)、S2(x2，y2)。在步骤S607中，假定这样提取的Q1(x′1，y′1)、S1(x1，y1)和Q2(x′2，y′2)、S2(x2，y2)满足以下所示等式(8)所示的变换，由此求出等式(8)中的变量a～f。

在图6所示的步骤S607中，由变量a～d构成的矩阵表示为M，由变量e～f构成的矩阵表示为T。

$\left(\begin{array}{c}{x}_k^{\′}\\ y_k^{\′}\end{array}\right)=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{c}{x}_k\\ y_k\end{array}\right)+\begin{array}{}\end{array}\left(\begin{array}{c}e\\ f\end{array}\right)\·\·\·\left(8\right)$

在本例中，根据第一实施例，为了简化的目的而仅考虑相似变换。在这种情况下，可以将等式(8)改写成等式(9)：

$\left(\begin{array}{c}{x}_k^{\′}\\ y_k^{\′}\end{array}\right)=\left(\begin{array}{cc}a& -b\\ b& a\end{array}\right)\left(\begin{array}{c}{x}_k\\ y_k\end{array}\right)+\begin{array}{}\end{array}\left(\begin{array}{c}e\\ f\end{array}\right)\·\·\·\left(9\right)$

在这种状况下，使用x′1、y′1、x 1、y 1、x′2、y′2、x2和y2由等式(10)～(13)将变量a、b、e、f表示成如下：

$a=\frac{(x_1-x_2)(x_1^{\′}-x_2^{\′})+(y_1-y_2)(y_1^{\′}-y_2^{\′})}{{(x_1-x_2)}^2+{(y_1-y_2)}^2}\·\·\·\left(10\right)$

$b=\frac{(x_1-x_2)(y_1^{\′}-y_2^{\′})-(y_1-y_2)(x_1^{\′}-x_2^{\′})}{{(x_1-x_2)}^2+{(y_1-y_2)}^2}\·\·\·\left(11\right)$

$e=\frac{(y_1^{\′}-y_2^{\′})(x_1{y}_2-x_2{y}_1)-(x_1^{\′}+x_2^{\′})(x_1{x}_2+y_1{y}_2)+x_1^{\′}({x_2}^2+{y_2}^2)+x_2^{\′}({x_1}^2+{y_1}^2)}{{(x_1-x_2)}^2+{(y_1-y_2)}^2}\·\·\·\left(12\right)$

$f=\frac{(x_1^{\′}-x_2^{\′})(y_1{x}_2-y_2{x}_1)-(y_1^{\′}+y_2^{\′})(y_1{y}_2+x_1{x}_2)+y_1^{\′}({y_2}^2+{x_2}^2)+y_2^{\′}({y_1}^2+{x_1}^2)}{{(x_1-x_2)}^2+{(y_1-y_2)}^2}\·\·\·\left(13\right)$

在步骤S608中，为了选择除在步骤S606中从最短距离对应点列表中随机提取的2组点以外的点，将对应点选择变量k初始化为3。在步骤S609中，判断对应点选择变量k是否超过登记在最短距离对应点列表中的对应点的组合数m。在本例中，如果对应点选择变量k超过了登记在最短距离对应点列表中的对应点的组合数m，则处理进入步骤S615(将在后面说明)。如果在步骤S609中进行的判断中，对应点选择变量k未超过登记在最短距离对应点列表中的对应点的组合数m，则处理进入步骤S610。

在步骤S610中，从最短距离对应点列表中提取除在步骤S606中从该最短距离对应点列表中随机提取的2组点S1(x1，y1)和S2(x2，y2)以外的点。根据第一实施例将这样提取的点记作Sk(xk，yk)。

在步骤S611中，Sk(xk，yk)经过等式(9)而求出变换后的坐标Sk′(x′k，y′k)。

在步骤S612中，作为欧几里德距离而计算坐标Sk′(x′k，y′k)和坐标Qk(x′k，y′k)之间的几何学距离，并对该欧几里德距离是否小于等于阈值Td做出判断。如果该欧几里德距离小于等于阈值Td，则处理进入步骤S613，在此认为已找到相似的候选，使投票数Vote递增且处理进入步骤S614。如果该欧几里德距离大于阈值Td，则认为未找到相似的候选，且不进行Vote的递增而处理进入步骤S614。

在步骤S614中，使对应点选择变量k递增且处理返回步骤S609，在此重复前面的处理直到对应点选择变量k超过登记在最短距离对应点列表中的对应点的组合数m为止。也就是说，重复的是：在步骤S606中提取另一对组合，在步骤S607中求出等式(9)的变量a、b、e、f，进行从步骤S608直至步骤S612的处理，以及进行投票。

下面说明步骤S615即在步骤S609中当对应点选择变量k超过登记在最短距离对应点列表中的对应点的组合数m时进行的处理。在步骤S615中，将投票数Vote的值与最大投票数VoteMax的值做比较，如果投票数Vote的值大于最大投票数VoteMax的值，则处理进入步骤S616。

在步骤S616中，将最大投票数VoteMax的值替换成投票数Vote的值，在步骤S617中使反复计数值Count递增，且处理返回步骤S604。

在步骤S615中，如果投票数Vote的值小于等于最大投票数VoteMax的值，则处理进入步骤S617，在此使反复计数值Count递增，且处理返回步骤S604。

通过进行此处说明的处理，从而就以下进行投票：即其中特征量彼此接近的查询图像和各候选图像的特征点是否即使对于特征点的查询图像和各候选图像双方之内的位置关系也能够保持接近状态。将所做的各投票的总计结果作为查询图像和各候选图像的相似度来对待。由此计算查询图像和各候选图像的相似度。

返回图8，附图标记808是检索结果显示单元，其显示由图像特征比较单元806所得的检索结果的图像、相似度和所检索的图像的属性信息。

尽管根据本实施例的计算相似度的方法的说明仅考虑相似变换，但通过求出与步骤S607中分别对应的变换矩阵，可以响应于仿射(affine)变换等其它几何学的变换。例如，在仿射变换中，将随机选择的特征点的组合的坐标数设为3。接着可可以假设在步骤S607中不使用等式(9)而使用等式(8)，并使用在步骤S606中选择的3组特征点，即合计6个特征点，来求出变量a～f。

图10示出根据本实施例的当输入检索查询图像时显示的图像检索支持画面的例子。该画面由查询图像输入单元801来显示。尽管图10是使用加窗系统的专用应用的画面的例子，但是由例如Web浏览器也可提供同样的功能。

在图10中，附图标记1001是标题栏，其是进行画面的标题显示和整体操作、例如画面的大小的变更等的组件。附图标记1003是控制在检索中使用的查询图像的输入的按钮。按下按钮1003的结果是显示用于对经通信装置108连接的扫描器、数字静止照相机或外部存储设备进行控制的画面。因此，可以输入查询图像并以查询图像输入单元801来进行输入查询图像的处理。

附图标记1002是检索源图像显示组件，其显示所输入的检索源查询图像的缩略图。附图标记1004是用于请求对与显示在检索源图像显示组件1002中的查询图像相似的图像进行检索的按钮。在本例中，当按下按钮1004时，由图像特征提取单元802及其后续的组件进行检索图像的处理，并将其检索的结果显示在图11所示的画面上。

图11示出根据本实施例的显示检索结果列表的检索结果显示画面的例子。该画面由检索结果显示单元808来显示。尽管图11所示的例子是使用加窗系统的专用应用的画面的例子，但是由例如Web浏览器也可提供同样的功能。

在图11中，附图标记1101是标题栏，其是进行画面的标题显示和整体操作、例如画面的大小的变更等的组件。附图标记1102是显示作为检索的源的查询图像的缩略图的组件。

附图标记1103是用于显示检索结果的区域，其中，显示这样的列表：其包括例如与由图像特征比较单元806作为检索结果而获得的图像ID对应的图像的缩略图、以及与图像对应的文件名。缩略图是当登记图像时创建的，并将这样创建的缩略图与图像ID关联而登记在外部存储设备106中。如果检索结果的数量庞大且不能全部显示在单个画面上，则对应于其显示大小、以每个画面包含可显示在单个画面上的数张缩略图这样的方式来显示一连串的画面，从而进行显示。在本例中，每次显示六个检索结果。

附图标记1104是用于显示在当前显示的检索结果之前的一组六个检索结果的按钮，而附图标记1105是用于显示在当前显示的检索结果之后的一组六个检索结果的按钮。尽管在本例中，显示了缩略图和图像的文件名，但也可替代地显示由图像特征比较单元806求出的相似度、或附加至图像的元数据等对于各图像的详细信息。

也可以协助进行从显示在由附图标记1103所示的区域中的缩略图中选择一缩略图，将这样选择的图像显示在单独的画面上，并对于各图像将附加至图像的元数据作为详细信息而显示。

从此处给出的说明可以理解：利用根据本实施例的图像特征量的图像检索设备包括以下特征；当登记和检索大量要检索的图像时，使用形成该图像特征量的基础的区域的大小信息可使得容易形成包含高精度的一阶提炼索引。因此，可以在登记和检索大量要检索的图像的情况下、当进行检索目标的登记时以低处理负荷来实施高速处理，以及实施高速、高精度的检索处理。

其它实施例

根据本发明的其它实施例，提供了如下方法：当将一阶提炼索引作为与包含特征量的特征点紧邻的特征点的特征量时，将其集合作为阵列的组合来对待。

图12示出根据又一实施例的一阶提炼索引的例子。当在一阶数据库内存在从特征点B的特征量的标度计算的、紧邻中的特征点的特征点A和特征点C时，创建附图标记1203和1204这两个索引信息项目。这样做的结果不是获得集合，而是单纯的数据阵列，这就在创建或检索之中的一方或双方期间简化了对于索引的计算。

然而，索引的冗余度增加，这就需要用于索引信息的更大的存储区域。可以在进行阵列的组合时仅由邻近程度来组合阵列。尽管在这种状况下、当创建和检索索引信息时必须比较特征点之间的距离，但索引信息的冗余度却不增加，有助于高效率的存储。

当存在三个或更多特征点时，可以在其之间使用相对的角度。例如，可以从最接近的特征点以顺时针方向来创建特征点的阵列这样的方法。由此，当处理与单纯的距离对应的信息时，使用例如标度可为特征量和相似度的计算提供针对在成为检索目标的图像上进行的扩大、缩小或旋转的鲁棒性，因此，使用含有与一阶提炼同样的鲁棒性的结构是合适的。

尽管作为创建和使用一阶提炼索引的方法而可考虑各种技术，但可以应用任何使用标度的技术，即与成为特征点的源的区域的相对大小相关的信息，来进行计算。

应当理解，本发明的目的可通过将记录有实施根据本实施例的功能的程序代码(软件)的记录介质提供给系统或设备，并由系统或设备的计算机即CPU或MPU装载并执行存储在记录介质上的程序代码来实现。

在这种状况下，从机器可读记录介质装载的程序代码自身实现了根据本实施例的功能，且存储该程序代码的记录介质构成本发明。

作为用于提供程序代码的记录介质，可以利用例如软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失存储卡或ROM等。

应当理解，根据实施例的功能的实施除了包含计算机执行由其所载入的程序代码这一情况以外，还包含下列情况：根据程序代码的命令，运行在计算机上的操作系统或别的软件整体或部分地执行实际的处理，并由此实施根据实施例的功能。

应当理解，根据本实施例的功能的实施包含将从记录介质装载的程序代码写入在内置于计算机的功能扩展板或连接至计算机的功能扩展单元中包含的存储器的情况。然后，根据该程序代码的命令，在功能扩展板或功能扩展单元中包含的CPU或其它硬件整体或部分地执行实际的处理，并由此实施根据实施例的功能。

根据此处说明的实施例，通过利用根据与图像的局部特征点相关的信息而创建的检索索引信息，从而使高速检索和成为检索目标的图像的高速登记成为可能。

尽管已参照典型实施例而说明了本发明，但应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以涵盖全部这类的修改、等同的结构以及功能。

Claims (10)

1.一种图像处理设备，包括：

提取部件，用于从输入图像中提取分别具有局部特征量的多个特征点和与所述多个特征点相关的图像区域信息；以及

登记部件，用于如果与目标特征点的图像区域信息所表示的区域的相关度高于阈值，则登记所述多个特征点的至少一个目标特征点和另一个特征点之间的关联作为所述输入图像的索引。

2.根据权利要求1所述的图像处理设备，其特征在于，还包括索引检索部件，其用于使用该登记的索引来检索图像。

3.根据权利要求1所述的图像处理设备，其特征在于，所述图像区域信息是表示所述特征点的位置和所述特征点的区域的相对大小的标度。

4.根据权利要求1所述的图像处理设备，其特征在于，所述图像区域信息是对所述标度提供相对角度的信息。

5.根据权利要求2所述的图像处理设备，其特征在于，还包括特征量检索部件，其中所述特征量检索部件用于基于所述局部特征量来计算所述输入图像和由所述索引检索部件所检索的图像之间的相似度。

6.根据权利要求1所述的图像处理设备，其特征在于，如果与由关联于所述目标特征点的图像区域信息所表示的区域之间的相关度高于阈值，则所述登记部件用于将所述多个特征点之间的关联作为组合索引来登记。

7.根据权利要求6所述的图像处理设备，其特征在于，如果与由关联于所述目标特征点的图像区域信息所表示的区域之间的相关度高于阈值，则基于所述多个特征点之间的相对位置关系创建所述组合索引。

8.一种图像处理方法，包括：

从输入图像中提取分别具有局部特征量的多个特征点和与所述多个特征点相关的图像区域信息；以及

如果与目标特征点的图像区域信息所表示的区域的相关度高于阈值，则登记所述多个特征点的至少一个目标特征点和另一个特征点之间的关联作为所述输入图像的索引。

9.根据权利要求8所述的图像处理方法，其特征在于，还包括使用该登记的索引来检索图像。

10.一种图像检索方法，包括：

使用利用根据权利要求8所述的图像处理方法所产生的登记的索引来检索图像。

Images