CN101281537B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备和图像处理方法。当从存档的存储图像中检索与输入图像类似的图像时，图像处理设备(200)从输入图像中提取多于一个的特征点(S504)，对于如此提取的特征点计算特征量(S505)，并且当将对输入图像施加规定变化时评价特征量的变动(S506)。图像处理设备从根据输入图像如此提取的特征点中选择特征点，并且根据如此选择的特征点的特征量检索(S508)与输入图像类似的存储的图像。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及检索与所输入的图像类似的图像的图像处理设备和图像处理方法。

背景技术

已经提出了检索类似图像的各种技术。例如，存在如下方法：将图像分割为多个块，利用每一个块的图像特征量即代表颜色进行图案匹配，从而使用颜色的位置信息来检索类似图像，例如引用的专利文件1。然而，根据引用的专利文件1公开的方法需要在进行检索时根据图像总体来计算特征量，因此在例如从图像内截取指定图像时或者背景颜色改变时的状况下，检索变得复杂。

因此，提出了使用局部化特征量即局部特征量而不使用图像总体的特征量来检索类似图像的方法。通过从图像中提取特征点即局部特征点，这种方法开始。通过根据局部特征点和其附近的图像信息计算关于局部特征点的特征量即局部特征量，该方法继续。通过对各个局部特征量进行匹配来进行图像的检索。

提出了一种方法，其通过将局部特征量定义为由多个不随着转动变化的元素构成的量，即使当图像转动时，相对于如前所述这种使用局部特征量的技术能够以高准确度进行检索，例如，引用的非专利文件1。以类似的方式，还有一种方法，其通过将局部特征量定义为由多个不随着转动变化的元素构成的量，使用局部特征量对图像的位置进行匹配，例如引用的专利文件2。

引用的专利文件1、引用的专利文件2和引用的非专利文件1如下：

引用的专利文件1：日本特开1996-249349。

引用的专利文件2：日本特开1997-44665。

引用的非专利文件1：C.Schmid and R.Mohr，″Localgrayvalue invariants for image retrieval″，IEEE Trans.PAMI.，Vol.19，No.5，pp.550-534，1997。

然而，实际上，对于在引用的专利文件2或者引用的非专利文件1中公开的方法，根据该方法被定义为不随着转动变化的局部特征量产生变动，变动是由图像转动时出现的噪声引起的。图10示出了定义为不随着转动变化的局部特征量的变动的示例。图10作为散点图示出了在引用的非专利文件1中定义的局部特征量的变动。该图绘制了当图像从0度转动到90度时以15度为间隔在同一点处计算的局部特征量的七个元素。由于在图10中很明显的局部特征量的变动产生的问题是图像检索的准确性的劣化。

发明内容

本发明的目的是提供一种考虑到由对图像进行预定更改而引起的局部特征量的变动的改进的图像处理设备。

根据本发明的一个方面，提供了一种图像处理设备，其包括：提取部，其被配置为从输入图像中提取多个特征点；特征量计算部，其被配置为对所述提取部提取的每一个特征点计算特征量；评价部，其被配置为评价输入图像的规定变化对所述特征量计算部计算的每一个特征量的影响；选择部，用于基于所述评价部的结果从所述多个特征点中选择至少一个特征点，用来进行图像检索；以及检索部，用于使用所述选择部选择的至少一个特征点在多个存储的图像中检索图像。

根据本发明的另一个方面，提供了一种图像处理方法，其包括如下步骤：从输入图像中提取多个特征点；对所提取的每一个特征点计算特征量；评价步骤，其评价输入图像的规定变化对每一个特征量的影响；基于评价结果从所述多个特征点中选择至少一个特征点，用来进行图像检索；以及检索步骤，其使用所选择的至少一个特征点在多个存储的图像中检索图像。

从以下(参考附图)对示例性实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据第一实施例的图像注册设备的配置示例的框图。

图2是示出根据第一实施例的图像检索设备的配置示例的框图。

图3是表示图像注册处理的序列的流程图。

图4示出缩小图像产生单元103产生缩小的图像的处理的示例。

图5是表示图像检索处理的序列的流程图。

图6是示出根据第一实施例的计算类似度的序列的流程图。

图7示出高斯(Gaussian)滤波器的示例。

图8示出将图7所示的滤波器旋转了45度的高斯滤波器的示例。

图9是示出根据第二实施例的图像注册设备的配置示例的框图。

图10示出定义为不随转动变化的局部特征量的变动的示例。

具体实施方式

以下是参考附图对实现本发明的优选实施例的详细说明。

第一实施例

图1是示出根据第一实施例的图像注册设备的配置示例的框图。如图1所示，图像注册设备100具有图像输入单元102、缩小图像产生单元103、局部特征点提取单元104、局部特征量计算单元105和特征量注册单元106。

对于图像注册设备100，缩小图像产生单元103产生要注册的图像101的缩小的图像，将其输入到图像输入单元102中，局部特征点提取单元104从缩小的图像中提局部特征点。局部特征量计算单元105计算局部特征点的局部特征量，特征量注册单元106将要注册的图像101与这样计算的局部特征量相关联，并且在图像特征数据库107中注册要注册的图像101和局部特征量。下文中，更详细地说明在图像注册设备100内执行的图像注册处理。图像特征数据库107是存储与输入的图像类似的图像的存储单元。

图2是示出根据第一实施例的图像检索设备的配置示例的框图。如图2所示，图像检索设备200包括图像输入单元202、缩小图像产生单元203、局部特征点提取单元204、局部特征量计算单元205、局部特征量检查单元206和特征比较单元207。

对于图像检索设备200，缩小图像产生单元203产生输入到图像输入单元202的查询图像201的缩小的图像，局部特征点提取单元204从缩小的图像提取局部特征点。局部特征量计算单元205计算局部特征点的局部特征量，局部特征量检查单元206检查该局部特征量。将检查的结果传送到特征比较单元207，特征比较单元207由此从图像特征数据库107检索根据特征比较单元207的检索结果与查询图像201类似的图像，并且输出如此检索的图像作为检索结果208。下文中，更详细地说明在图像检索设备200内执行的图像检索处理。

图像注册处理

以下是对注册图像时工作的各个单元的说明。图3是表示图像注册处理的序列的流程图。在步骤S301中，图1所示的图像输入单元102读取要注册的图像101，在步骤S302中从要注册的图像101中提取亮度分量。根据如此提取的亮度分量产生亮度分量图像，并且将如此产生的亮度分量图像传送到缩小图像产生单元103。将要注册的图像101传送到下文中将说明的特征量注册单元106。

在步骤S303中，缩小图像产生单元103根据倍率p依次缩小从图像输入单元102传送到缩小图像产生单元103的亮度分量图像，产生数量n个缩小的图像，并将缩小的图像传送到局部特征点提取单元104。假设倍率p和缩小的图像的数量n是预定的。

图4示出缩小图像产生单元103产生缩小的图像的处理的示例。图4所示的示例是倍率p的幂是2的-(1/4)次方并且缩小的图像的数量n是9的情况下的示例。在图4中，附图标记401是从图像输入单元102传送的亮度分量图像。附图标记402是根据倍率p的幂将亮度分量图像缩小了四倍的缩小的图像。附图标记403是根据倍率p的幂将亮度分量图像缩小了8倍的缩小的图像。

在本示例中，缩小的图像402是将从图像输入单元102传送的亮度分量图像的大小缩小到一半的图像，缩小的图像403是将从图像输入单元102传送的亮度分量图像的大小缩小到四分之一的图像。可以使用任何缩小图像的方法，并且假设根据第一实施例通过利用线性插值的缩小方法来产生缩小的图像。

返回到图3，在步骤S304中，即使从缩小图像产生单元103传送的数量n个缩小图像中的各个缩小的图像进行转动，局部特征点提取单元104也提取局部化的特征点，也就是鲁棒(robust)地提取的局部特征点。在这种情况下，鲁棒局部特征点意为具有鲁棒性或者耐性的局部特征点，从而当在图像处理中图像转动时以稳定的方式提取局部特征点，并且不丢失局部特征点。将如此提取的局部特征点传送到局部特征量计算单元105。根据第一实施例使用哈利斯算子(Harris Operator)作为根据第一实施例提取局部特征量的方法。参见C.Harris和M.J.Stephens，″A combined corner and edge detector″，in Alvey VisionConference，pages 147-152，1988。

更具体地，对于通过对哈利斯算子进行运算而获得的输出图像H的像素，对该像素和该像素附近的8个像素总共9个像素的像素值进行搜索。提取该像素局部最大的点即在9个像素中像素值最大的点作为局部特征点。在这种情况下，假设如果该像素的值小于或者等于阈值，则即使该像素是局部最大的，也不提取该像素作为局部特征点。像素值是表示各个像素适合某一位置的程度的值。

哈利斯算子特征点提取方法之外的任何特征点提取方法都可以应用于局部特征点提取单元104，只要该方法能够提取局部特征点即可。

在步骤S305中，局部特征量计算单元105计算从局部特征点提取单元104传送到局部特征量计算单元105的局部特征点的特征量，即被定义为不随各个图像的转动变化的局部特征量。将如此提取的局部特征量与坐标信息相关联，并且将其传送到特征量注册单元106。根据第一实施例使用Local Jet和其导数的组合作为计算局部特征量的方法。参见J.J.Koenderink和A.J.van Doorn，″Representation of local geometry in the visualsystem″，Biological Cybernetics，vol.55，pp.367-375，1987。

更具体地，通过以下方程式(1)计算局部特征量：

$v=\left(\begin{array}{c}L\\ L_x{L}_x+L_y{L}_y\\ L_{\mathrm{xx}}{L}_x{L}_x+2L_{\mathrm{xy}}{L}_x{L}_y+L_{\mathrm{yy}}{L}_y{L}_y\\ L_{\mathrm{xx}}+L_{\mathrm{yy}}\\ L_{\mathrm{xx}}{L}_{\mathrm{xx}}+2L_{\mathrm{xy}}{L}_{\mathrm{xy}}+L_{\mathrm{yy}}{L}_{\mathrm{yy}}\end{array}\right)...\left(1\right)$

应当指出，由下文中示出的方程式(2)至(7)来定义在方程式(1)右边使用的符号。在这种情况下，方程式(2)右边的“G(x，y)”是高斯函数，方程式(2)右边的“I(x，y)”是相对于图像的坐标(x，y)的像素值，“*”是表示卷积的符号。方程式(3)是与在方程式(2)中定义的变量L的x有关的偏导数，方程式(4)是变量L的y的偏导数。方程式(5)是与在方程式(3)中定义的变量Lx的y有关的偏导数，方程式(6)是与在方程式(3)中定义的变量Lx的x有关的偏导数，方程式(7)是与在方程式(4)中定义的变量Ly的y有关的偏导数。

L＝G(x，y)*I(x，y)    …(2)

$L_x=\frac{\∂L}{\∂x}...\left(3\right)$

$L_y=\frac{\∂L}{\∂y}...\left(4\right)$

$L_{\mathrm{xy}}=\frac{{\∂}^{2}L}{\∂x\∂y}...\left(5\right)$

$L_{\mathrm{xx}}=\frac{{\∂}^{2}L}{\∂x^2}...\left(6\right)$

$L_{\mathrm{yy}}=\frac{{\∂}^{2}L}{\∂y^2}...\left(7\right)$

可以应用例如前述方法的特征量计算方法之外的任何特征量计算方法，只要该方法能够计算局部特征量即可。

在步骤S306中，特征量注册单元106将从局部特征量计算单元105传送到特征量注册单元106的局部特征量与要注册的图像101相关联，并且在图像特征数据库107注册该数据。因此，图像注册处理结束。

图像检索处理

以下是对在检索图像时工作的各个单元的说明。图5是表示图像检索处理的序列的流程图。在步骤S501中，图2所示的图像输入单元202读入查询图像201，在步骤S502中，从查询图像201中提取亮度分量。根据如此提取的亮度分量产生亮度分量图像，将如此产生的亮度分量图像传送到缩小图像产生单元203。

在步骤S503中，缩小图像产生单元203根据倍率p依次缩小从图像输入单元202传送到缩小图像产生单元203的亮度分量图像，产生数量n个缩小的图像，并将缩小的图像传送到局部特征点提取单元204。假设倍率p和缩小的图像的数量n是与在图像注册处理中使用的值相同的值。

在步骤S504中，即使从缩小图像产生单元203传送的数量n个缩小图像中的各个缩小的图像进行转动，局部特征点提取单元204也提取局部化的特征点，也就是鲁棒地提取的局部特征点。将如此提取的局部特征点传送到局部特征量计算单元205。与在图像注册处理中使用的方法类似，使用哈利斯算子作为提取局部特征量的方法。

更具体地，对于通过对哈利斯算子进行运算而获得的输出图像H的像素，对该像素和该像素附近的8个像素总共9个像素的像素值进行搜索。提取该像素局部最大的点即在9个像素中像素值最大的点作为局部特征点。在这种情况下，假设如果该像素的值小于或者等于阈值，则即使该像素是局部最大的，也不提取该像素作为局部特征点。

哈利斯算子特征点提取方法之外的任何特征点提取方法都可以应用于局部特征点提取单元204，只要该方法能够提取局部特征点即可。

在步骤S505中，局部特征量计算单元205计算从局部特征点提取单元204传送到局部特征量计算单元205的局部特征点的特征量，即被定义为不随各个图像的转动变化的局部特征量。将如此提取的局部特征量与坐标信息相关联，并且将其传送到局部特征量检查单元206。这里使用的计算局部特征量的方法是与在图像注册处理中使用的相同的方法。换句话说，使用LocalJet和其导数的组合，方程式(1)用于进行局部特征量的计算。

在步骤S506中，局部特征量检查单元206检查从局部特征量计算单元205传送到局部特征量检查单元206的局部特征量的各个变动。为了简化下文中的说明，在这种情况下，将从局部特征量计算单元205传送的局部特征量描述为局部特征量(零度)。

根据第一实施例的检查进行45度转动检查。换句话说，将局部特征量计算单元105和205在计算局部特征量时所使用的高斯滤波器预设为转动了45度的滤波器，即45度转动滤波器，该45度转动滤波器用于执行检查。在这种情况下，将滤波器转动45度是指对预定滤波器系数进行几何转动变换。

图7示出高斯滤波器的示例。图8示出将图7所示的滤波器旋转了45度的高斯滤波器的示例。转动的是高斯滤波器，而不是查询图像201。代替查询图像201转动高斯滤波器产生低的处理负荷，这允许快速执行后续检查处理。

以下是对根据第一实施例的检查处理的详细描述。图8所示的45度转动滤波器用于通过与局部特征量计算单元205在步骤S505中计算局部特征量相同的方法计算局部特征量(45度)。最后，对局部特征量(0度)和局部特征量(45度)之间的马哈拉诺比斯(Mahalanobis)距离进行比较，如果马哈拉诺比斯距离小于或者等于预定阈值，则视为通过了检查，而将与其不同的结果视为检查失败。换句话说，仅将通过了检查的局部特征量传送到特征比较单元207。根据多个局部特征量预先推导出用来计算马哈拉诺比斯距离的方差-协方差矩阵(variance-covariance matrix)。

因此，根据第一实施例，使用转动了的滤波器预先检查局部特征量的变动程度使得可以仅使用具有小的变动的局部特征量进行查询，从而趋于以高准确度进行检索。

虽然根据第一实施例对在检查时滤波器转动的度数是45度的情况进行了说明并且仅执行了45度检查，但是可以以例如从0到90度的范围内的t度而不仅仅以45度为单位执行转动检查，假设t是满足不等式0＜t＜90的预定值。

还可以通过将滤波器转动以20％的间隔将90度重复划分为小于或者等于t度而获得度数，而不是以每t度为间隔执行转动检查，通过依次进行一系列转动检查来进一步减少要检查的特征点。

返回到图5，在步骤S507中，特征比较单元207比较从局部特征量检查单元206传送到特征比较单元207的局部特征量和在图像特征数据库107中注册的局部特征量。对在图像特征数据库107中注册的每一个注册图像执行该比较，并且针对每一个注册图像计算类似度作为比较的结果。下文中，将说明类似度的计算方法的细节。

在步骤S508中，特征比较单元207将如此计算的类似度与作为类似度的计算源的图像相关联，并且产生检索结果列表，从而特征比较单元207按照递减的顺序对类似度进行分类。之后，输出具有高类似度的图像和图像的类似度作为检索结果208。

类似度的计算方法

以下是对类似度的计算方法的说明。在这种情况下，假设从局部特征量检查单元206传送的局部特征量是Vq，与该局部特征量相关联的局部特征点是Q，以及与该局部特征量相关联的坐标是Q(x’，y’)。还假设存在于在图像特征数据库107中注册的图像R中的局部特征量是Vs，与该局部特征量相关联的局部特征点是S，以及与该局部特征量相关联的坐标是S(x，y)。

图6是根据第一实施例的计算类似度的序列的流程图。通过投票处理即轮询处理进行类似度的计算。投票数等于类似度。在步骤S601中，将表示最大投票数的变量VoteMax初始化为零。最大投票数是进行多次投票时所获得的最大投票数。在步骤S602中，对特征量Vq和Vs之间的距离的所有组合进行计算，产生最短距离对应点列表。换句话说，提取Vq和Vs的组合即对应点并且将其注册在最短距离对应点列表中，其中，如此计算的特征量之间的距离小于或者等于阈值Tv，也是如此计算的特征量之间的最短距离。

下文中，对于在最短距离对应点列表中注册的对应点k，将对应点k的局部特征量分别表示为Vq(k)和Vs(k)。将与Vq(k)和Vs(k)相关联的局部特征点分别表示为Qk和Sk，将与Vq(k)和Vs(k)相关联的坐标以及索引分别表示为例如Qk(x’k，y’k)和Sk(xk，yk)。将在步骤S602中产生的最短距离对应点列表中注册的对应点的组数称为m组。

在步骤S603中，表示类似度计算处理的重复次数的变量Count初始化为零。在步骤S604中，对重复次数Count是否超过了预定最大重复处理次数Rn进行判断。在这种情况下，如果重复次数Count超过了预定最大重复处理次数Rn，则该处理进行到步骤S618，输出最大投票数VoteMax，该处理结束。

另一方面，如果在步骤S604中重复次数Count没有超过了预定最大重复处理次数Rn，则该处理进行到步骤S605，将表示投票数的变量Vote初始化为零。在步骤S606中，从最短距离对应点列表中随机提取一对对应点的坐标。在这种情况下，将该坐标表示为Q1(x’1，y’1)，S1(x1，y1)和Q2(x’2，y’2)，S2(x2，y2)。在步骤S607中，假设在步骤S606中提取的坐标Q1(x’1，y’1)，S1(x1，y1)和Q2(x’2，y’2)，S2(x2，y2)满足方程式(8)所示的变换，并且求出方程式(8)中的变量a～f。

应当指出，如图6所示，在步骤S607中，将由变量a～d构成的矩阵表示为“M”，将由变量e～f构成的矩阵表示为“T”。

$\left(\begin{array}{c}{x}_k^{\′}\\ y_k^{\′}\end{array}\right)=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{c}{x}_k\\ y_k\end{array}\right)+\left(\begin{array}{c}e\\ f\end{array}\right)...\left(8\right)$

在这种情况下，为了简便，根据第一实施例仅考虑相似变换。在该情况下，可以将方程式(8)重写为以下的方程式(9)：

$\left(\begin{array}{c}{x}_k^{\′}\\ y_k^{\′}\end{array}\right)=\begin{array}{}\end{array}\left(\begin{array}{cc}a& -b\\ b& a\end{array}\right)\left(\begin{array}{c}{x}_k\\ y_k\end{array}\right)+\left(\begin{array}{c}e\\ f\end{array}\right)...\left(9\right)$

在该情况下，通过方程式(13)在下面的方程式(10)中符号x’1，y’1，x1，y1，x’2，y’2，x2和y2用于表示变量a，b，e和f：

$a=\frac{(x_1-x_2)(x_1^{\′}-x_2^{\′})+(y_1-y_2)(y_1^{\′}-y_2^{\′})}{{(x_1-x_2)}^2+{(y_1-y_2)}^2}...\left(10\right)$

$b=\frac{(x_1-x_2)(y_1^{\′}-y_2^{\′})-(y_1-y_2)(x_1^{\′}-x_2^{\′})}{{(x_1-x_2)}^2+{(y_1-y_2)}^2}...\left(11\right)$

$e=\frac{(y_1^{\′}-y_2^{\′})(x_1{y}_2-x_2{y}_1)-(x_1^{\′}+x_2^{\′})(x_1{x}_2+y_1{y}_2)+x_1^{\′}({x_2}^2+{y_2}^2)+x_2^{\′}({x_1}^2+{y_1}^2)}{{(x_1-x_2)}^2+{(y_1-y_2)}^2}...\left(12\right)$

$f=\frac{(x_1^{\′}-x_2^{\′})(y_1{x}_2-y_2{x}_1)-(y_1^{\′}+y_2^{\′})(y_1{y}_2+x_1{x}_2)+y_1^{\′}({y_2}^2+{x_2}^2)+y_2^{\′}({y_1}^2+{x_1}^2)}{{(x_1-x_2)}^2+{(y_1-y_2)}^2}...\left(13\right)$

在步骤S608中，为了从最短距离对应点列表选择在步骤S606中从最短距离对应点列表随机提取的一对对应点的坐标之外的点，将对应点选择变量k初始化为3。在步骤S609中，对对应点选择变量k是否超过了在最短距离对应点列表中注册的对应点的组数m进行判断。在这种情况下，如果对应点选择变量k超过了在最短距离对应点列表中注册的对应点的组数m，则该处理进行到步骤S615(将在下文中进行说明)。另一方面，如果在步骤S609中判断为对应点选择变量k没有超过在最短距离对应点列表中注册的对应点的组数m，则该处理进行到步骤S610。

在步骤S610中，提取在步骤S606中从最短距离对应点列表中随机提取的一对对应点S1(x1，y1)和S2(x2，y2)之外的点。根据第一实施例，将如此提取的点表示为Sk(xk，yk)。

在步骤S611中，方程式(9)用于求出点Sk(xk，yk)转换的坐标Sk’(x’k，y’k)。

在步骤S612中，通过欧几里德(Euclidean)距离计算坐标Sk’(x’k，y’k)和坐标Qk’(x’k，y’k)之间的几何距离，并且对该欧几里德距离是否小于或者等于阈值Td进行判断。如果欧几里德距离小于或者等于阈值Td，则该处理进行到步骤S613，将投票数Vote增加1，该处理进行到步骤S614。另一方面，如果欧几里德距离大于阈值Td，则该处理直接进行到步骤S614。欧几里德距离小于或者等于阈值Td的特征点是被视为在图像类似的特征点。

在步骤S614中，将对应点选择变量k增加1，该处理进行到步骤S609，重复该处理直到对应点选择变量k超过了在最短距离对应点列表中注册的对应点的组数m为止。换句话说，重复投票，在步骤S606中再次提取一对不同的点，在步骤S607中在方程式(9)中求出参数变量a，b，e和f，并且执行从步骤S608到步骤S612的处理。

以下是对步骤S615的说明，其中在步骤S609中对应点选择变量k超过在最短距离对应点列表中注册的对应点的组数m的情况下执行该处理。在步骤S615中，在投票数“Vote”的值和最大投票数“VoteMax”的值之间进行比较，如果投票数“Vote”的值大于最大投票数“VoteMax”的值，则该处理进行到步骤S616。

在步骤S616中，用投票数“Vote”的值代替最大投票数“VoteMax”的值，在步骤S617中，将重复次数Count增加1，该处理返回到步骤S604。

另一方面，如果在步骤S615中投票数“Vote”的值小于或者等于最大投票数“VoteMax”的值，该处理进行到步骤S617，将重复次数“Count”增加1，该处理返回到步骤S604。

虽然对根据第一实施例的类似度计算方法的描述仅考虑了相似变换，但是可以通过在与各个变换相对应的步骤S607中求出变换矩阵来响应另一种几何变换，例如仿射变换(affinetransformation)。例如，假设对于仿射变换，要在步骤S606中随机选择的对应点的坐标组数是3。在步骤S607中，假设可以使用方程式(8)而不是方程式(9)，并且可以使用在步骤S606中选择的3个对应点来求出变量a～f。

虽然对根据第一实施例的计算类似度的方法的描述说明在步骤S618中输出最大投票数“VoteMax”作为类似度的方法，但是本发明不限于此，也可以计算不同的类似度。换句话说，输出在步骤S602中产生的在最短距离对应点列表中注册的对应点的组数m作为类似度。其结果是，可以提高检索的速度，同时在检索中保持给定的准确度。

根据前述部分应当理解，根据第一实施例的图像检索设备被配置为检查从查询图像计算的局部特征量的变动，并且不使用具有大的变动的局部特征量，从而可以控制检索准确性的劣化。

第一实施例的变形例

虽然局部特征量检查单元206使用转动了的滤波器检查局部特征量，但是可以在转动图像本身而不转动滤波器之后计算局部特征量，并且使用如此计算的局部特征量进行检查。

根据第一实施例，变形例被配置为检查根据查询图像201计算的局部特征量的变动，并且不使用具有大的变动的局部特征量，从而可以控制检索准确性的劣化。

第二实施例

以下是参考附图对根据本发明的第二实施例的详细说明。根据第二实施例，即使在图像的注册处理期间也进行局部特征量的检查。

图9是示出根据第二实施例的图像注册设备的配置示例的框图。如图9所示，在根据第一实施例描述的图像注册设备100的局部特征量计算单元105和特征量注册单元106之间增加局部特征量检查单元901。

局部特征量检查单元901执行与根据第一实施例的局部特征量检查单元206执行的处理类似的处理。换句话说，从在局部特征量计算单元105中使用的滤波器准备转动了45度的滤波器，即45度转动滤波器，以计算局部特征量，45度转动滤波器用于进行检查。

以下是对根据第二实施例的具体检查方法的说明。使用45度转动滤波器，通过与在步骤S305中局部特征量计算单元105使用的方法类似的方法计算局部特征量(45度)。最后，对局部特征量(0度)和局部特征量(45度)之间的马哈拉诺比斯距离进行比较。如果马哈拉诺比斯距离小于或者等于预定阈值，则视为通过了检查，而将与其不同的结果视为检查失败。换句话说，仅将通过了检查的局部特征量传送到特征量注册单元106。

滤波器转动的度数不限于45度，可以以例如从0到90度的范围内的t度而不仅仅以45度为单位执行转动检查，假设t是满足不等式0＜t＜90的预定值。

还可以通过将滤波器转动以20％的间隔将90度重复划分为小于或者等于t度而获得度数，而不是以每t度为间隔执行转动检查，通过依次进行一系列转动检查，来进一步减少要检查的特征点。

还可以通过转动图像本身而不转动滤波器来执行转动检查。

根据第二实施例，图像处理设备被配置为在执行图像注册处理时检查根据注册图像计算的局部特征量的变动，并且不注册具有大的变动的局部特征量，从而可以控制检索准确性的劣化。

变形例

虽然对于根据第一和第二实施例的检查局部特征量以判断检查处理成功还是失败的处理中的整个局部特征量，使用同一阈值，但是可以按每个图像改变检查标准。换句话说，如果检查成功的局部特征量的数量小于或者等于给定数量，则使用预定值r，将r倍当前的阈值设置为新阈值，再次进行检查，重复该处理直到检查成功的特征点的数量大于或者等于给定数量。

通过按照每个图像改变检查标准，可以通过例如甚至对相对于转动仅具有大的变动的局部特征量的图像求出局部特征量来进行检查。另一方面，如果将检查标准设置为规定标准，则不能根据相对于转动仅具有大的变动的局部特征量的这种图像求出局部特征量，从而无法检查图像。

这里描述了如下方法：对于通过对哈利斯算子进行运算而获得的输出图像H的像素，对该像素和该像素附近的8个像素总共9个像素的像素值进行搜索，提取该像素局部最大的点即在9个像素中像素的像素值最大的点作为局部特征点。之后，如果该像素的值小于或者等于阈值，则即使该像素是局部最大的，也不提取该像素作为局部特征点。

然而，本发明不限于此，可以提取像素的值小于或者等于阈值的像素作为局部特征点，根据如此提取的全部特征点计算局部特征量，并且对局部特征量执行检查处理。

换句话说，当通过对哈利斯算子进行运算而获得的输出图像H的像素是局部最大的时，即使当该像素的值小于或者等于阈值时也提取该像素，根据如此提取的全部特征点计算局部特征量，并且对局部特征量执行检查处理。因此，如果根据特征点计算的局部特征量在检查时成功，则使用作为特征点如此提取的点的局部特征量。

另一方面，前述方法不影响作为特征点如此提取的点。换句话说，局部特征点增加，从而可以进一步提高检索的准确性。

虽然说明了用于检查局部特征量的处理的方法，其中仅使用检查成功的局部特征量并且排除检查失败的局部特征量，但是可以不排除检查失败的局部特征量并且响应于检查结果改变局部特征量的权重。在这种情况下，在计算类似度时使用权重。

例如，根据下面的方程式(14)来确定局部特征量的权重W：

W＝1/(1+D)       …(14)

其中，D是局部特征量和在检查中滤波器转动了45度时的局部特征量之间的马哈拉诺比斯距离。

虽然类似度的计算包括根据第一实施例在步骤S613中对类似度进行计算，但是可以仅考虑例如根据方程式(15)的权重来计算类似度：

Vote＝Vote+W    …(15)

虽然例如根据方程式(14)定义了加权计算方法，但是可以用另一种加权方法来代替，只要该方法增大具有小的变动的局部特征量的权重并且减小具有大的变动的局部特征量的权重即可。

换句话说，通过按照每个局部特征量进行加权来计算类似度，而不排除局部特征量，从而允许例如对具有相对于转动仅具有大的变动的局部特征量的图像进行检查。

虽然根据实施例相对于转动执行检查，但是本发明不限于此，可以相对于另一个图像处理例如放大或者缩小图像来检查局部特征量的变动，并且在检查时不使用具有大的变动的局部特征量。因此，即使在转动图像之外的图像作为检查目标的情况下，也可以控制检查的准确性的劣化。

可以将本发明应用于包括多个设备例如主计算机、接口装置、读取器和打印机的系统，也可以将本发明应用于由单个设备例如复印机或者传真机构成的系统。

应当理解，通过将记录有实现根据实施例的功能的软件程序代码的记录介质提供给系统或者设备，系统或者设备的计算机即CPU或者MPU加载并执行存储在记录介质上的程序代码，来达到本发明的目的。

在这种情况下，从计算机可读记录介质加载的程序代码本身实现根据实施例的功能，存储程序代码的记录介质构成本发明。

作为提供程序代码的记录介质，可以使用例如软(floppy)盘、硬盘驱动、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡或者ROM。

应当理解，除了计算机执行如此加载的程序代码来实现根据实施例的功能之外，还包括以下情况：在计算机上运行的操作系统或者其它软件根据程序代码的指令执行全部或者部分实际处理、通过如此执行的处理来实现根据实施例的功能的情况。

应当理解，还包括以下情况：将从记录介质加载的程序代码写入包含在安装在计算机内的扩展板或者连接到计算机的扩展单元中的存储器中。之后，包含在扩展板或者扩展单元中的CPU或者其它硬件根据程序代码的指令执行全部或者部分实际处理，通过如此执行的处理来实现根据实施例的功能。

本发明的又一个实施例提供一种图像处理设备，其包括：检索单元，其被配置为从存储在存储单元中的存储的图像中检索与输入的输入图像类似的图像；提取单元，其被配置为从输入图像中提取多个特征点；特征量计算单元，其被配置为对特征点计算特征量；以及评价单元，其被配置为当对输入图像进行规定变化时评价针对特征点的特征量的变动，其中检索单元根据评价单元进行的评价从多个特征点中选择特征点，并且根据所选择的特征点的特征量检索与输入图像类似的存储的图像。

本发明的又一个实施例提供一种图像处理方法，其包括如下步骤：从存储在存储单元中的存储的图像中检索与输入的输入图像类似的图像；从输入图像中提取多个特征点；对特征点计算特征量；以及当对输入图像进行规定变化时评价针对特征点的特征量的变动；其中，在检索步骤中，根据在评价步骤中进行的评价从多个特征点中选择特征点，并且根据所选择的特征点的特征量检索与输入图像类似的存储的图像。

虽然参考示例性实施例说明了本发明，但是应当理解，本发明不限于公开的示例性实施例。所附权利要求的范围符合最宽的解释，以包含全部这种变形、等同结构和功能。

Claims (8)

1.一种图像处理设备，包括：

提取部，用于从输入图像中提取多个特征点；

特征量获取部，用于针对所述提取部所提取的每一个特征点获取特征量；

变动量计算部，用于计算当对所述输入图像进行规定变化时针对每一个特征点所获取的特征量的变动量；

选择部，用于基于所述变动量计算部的结果从所述多个特征点中选择变动量小于或等于阈值的至少一个鲁棒特征点来用于图像检索；以及

检索部，用于使用所述选择部所选择的至少一个鲁棒特征点从多个存储的图像中检索图像。

2.根据权利要求1所述的图像处理设备，其特征在于，所述检索部计算评价图像和存储的图像之间的类似度。

3.根据权利要求1所述的图像处理设备，其特征在于，所述规定变化是转动所述输入图像的处理。

4.根据权利要求2所述的图像处理设备，其特征在于，所述检索部根据所述类似度输出所述存储的图像作为检索结果。

5.一种图像处理方法，其包括如下步骤：

从输入图像中提取多个特征点；

针对所提取的每一个特征点获取特征量；

计算当对所述输入图像进行规定变化时针对每一个特征点所获取的特征量的变动量；

基于计算结果从所述多个特征点中选择变动量小于或等于阈值的至少一个鲁棒特征点来用于图像检索；以及

检索步骤，用于使用所选择的至少一个鲁棒特征点从多个存储的图像中检索图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述检索步骤包括计算评价图像和存储的图像之间的类似度。

7.根据权利要求5所述的图像处理方法，其特征在于，所述规定变化是转动所述输入图像的处理。

8.根据权利要求6所述的图像处理方法，其特征在于，所述检索步骤包括根据所述类似度输出所述存储的图像作为检索结果。

Images