CN101414352A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

本发明公开了一种信息处理设备、信息处理方法和程序，该信息处理设备比较查询图像和模型图像，并提供用于从该查询图像的主体辨别该模型图像的主体的支持信息。该信息处理设备包括：特征点提取部件，从模型图像提取一个或更多个特征点；特征描述部件，描述特征点提取部件提取的一个或更多个特征点的特征；以及辨别能力值计算部件，针对特征点提取部件提取的一个或更多个特征点，生成特征描述部件描述的特征、所提取的模型图像和一个或更多个其它模型图像之间的相关图像，并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值。

Description

信息处理设备、信息处理方法和程序

相关申请的交叉引用

本发明包含与2007年10月19日提交日本专利局的日本专利申请第JP2007-273044号和第JP2007-273045号相关的主题，其全部内容通过引用包含于此。

技术领域

本发明涉及一种信息处理设备、信息处理方法和程序，更具体地，本发明涉及一种能够可靠地识别图像的对象的信息处理设备、信息处理方法和程序。

背景技术

近年来，提出了一种使用局部特征的基于纹理(texture)的一般对象识别方法(参见JP-A-2004-326693)。该方法几乎不受照明变化的影响，使得可以进行鲁棒的对象识别。然而，当该方法应用于具有小纹理的对象时，该方法的辨别能力下降。

另外，发明人提交的日本专利申请第2006-100705号公开了一种在没有纹理的情况下使用边缘信息或支持点对对象进行局部特征匹配的方法。也就是说，在该方法中，从模型图像和查询图像提取特征点，描述特征点附近的局部特征，进行特征间的匹配，在使用例如霍夫(Hough)变换或RANSAC的轮廓(失配)去除之后，使用匹配对的数量从查询图像的对象辨别模型图像的对象。

发明内容

然而，上述方法存在以下三个问题。因此，需要比上述方法更可靠地识别图像的对象的方法。

也就是说，首先，当模型图像的特征点的位置和查询图像的特征点的位置的出现再现性低时，辨别能力明显降低。当使用边缘时，模型图像的边缘和查询图像的边缘的再现性极大地影响辨别能力。

其次，最终基于内围层(去除匹配对之后)的匹配对的数量确定模型的识别。因此，不管模型图像的对象和查询图像的对象之间的相似性，由于复杂纹理或轮廓而导致提取大量特征点的对象之间的匹配对的数量增加，而具有简单纹理或形状的对象之间的匹配对的数量减少。

第三，当在基点周围设置支持点以提高匹配精度时，用于选择支持点的标准没有考虑多个模型图像之间的差异。

因此，希望可靠地识别图像的对象。

根据本发明的实施例，提供一种信息处理设备，其比较查询图像和模型图像，并提供用于从该查询图像的主体辨别该模型图像的主体的支持信息。该信息处理设备包括：特征点提取单元，从模型图像提取一个或更多个特征点；特征描述单元，描述特征点提取单元提取的一个或更多个特征点的特征；以及辨别能力值计算单元，针对特征点提取单元提取的一个或更多个特征点生成特征描述单元描述的特征、所提取的模型图像和一个或更多个其它模型图像之间的相关图像，并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值。

优选地，根据上述实施例的信息处理识别还包括：支持点选择单元，使用特征点提取单元提取的一个或更多个特征点中的至少一个作为基点，并且从基点的预定范围内的特征点中选择辨别能力值计算单元计算的辨别能力值高于基点的辨别能力值的特征点作为支持点。

在根据上述实施例的信息处理设备中，优选地，辨别能力值计算单元基于所有相关图像的平均值和最大值中的至少一个计算辨别能力值。

根据本发明的另一实施例，提供一种信息处理设备的信息处理方法，所述信息处理设备比较查询图像和模型图像，并提供用于从该查询图像的主体辨别该模型图像的主体的支持信息。该信息处理方法包括步骤：从模型图像提取一个或更多个特征点；描述所提取的一个或更多个特征点的特征；以及针对所提取的一个或更多个特征点生成所描述的特征、所提取的模型图像和一个或更多个其它模型图像之间的相关图像，并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值。

根据本发明的另一实施例，提供一种信息处理设备，其比较查询图像和模型图像，并且从该查询图像的主体辨别该模型图像的主体。该信息处理设备包括：模型字典，当从模型图像提取了N(N为等于或大于1的整数)个特征点并且描述了所提取的N个特征点的特征时，将表示N个特征点和该N个特征点的特征的信息登记在模型字典中，模型字典设置在所述信息处理设备的内部或外部；相关图像生成单元，针对登记在模型字典中的模型图像的N个特征点生成查询图像与相应特征之间的相关图像；偏移相关图像生成单元，与特征点在模型图像中的位置相对应地偏移相关图像生成单元生成的N个相关图像的像素的位置，以生成N个偏移相关图像；相关和图像生成单元，相加偏移相关图像生成单元生成的N个偏移相关图像的像素的像素值，以生成相关和图像；以及判断单元，基于相关和图像生成单元生成的相关和图像，判断模型图像的主体和查询图像的主体是否相互匹配。

在根据上述实施例的信息处理设备中，优选地，当针对登记在模型字典中的模型图像的一个或更多个特征点生成所描述的特征、所提取的模型图像和一个或更多个其它模型图像之间的相关图像并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值时，将辨别能力值与表示相应特征点的信息一起登记在模型字典中。优选地，偏移相关图像生成单元根据登记在模型字典中的辨别能力值对N个偏移相关图像的像素的像素值赋予权重，以生成N个加权偏移相关图像；相关和图像生成单元相加偏移相关图像生成单元生成的N个加权偏移相关图像的像素的像素值，以生成相关和图像。

在根据上述实施例的信息处理设备中，优选地，当使用登记在模型字典中的模型图像的一个或更多个特征点中的至少一个作为基点并且从基点的预定范围内的特征点中选择一个或更多个支持点时，还将表示基点和支持点的信息登记在模型字典中。优选地，相关图像生成单元针对登记在模型字典中的模型图像的N个特征点生成查询图像与mb(mb为等于或大于0的整数)个支持点的特征之间的mb个支持点相关图像，并且与支持点和基点在模型图像中的位置相对应地偏移mb个支持点相关图像的像素的位置，以生成mb个支持点偏移相关图像。优选地，相关图像生成单元相加mb个支持点偏移相关图像和N个相关图像的像素的像素值，以生成N个支持点偏移相关和图像；偏移相关图像生成单元根据相关图像生成单元生成的N个支持点偏移相关和图像生成N个偏移相关图像。

在根据上述实施例的信息处理设备中，优选地，当针对登记在模型字典中的模型图像的一个或更多个特征点生成所描述的特征、所提取的模型图像和一个或更多个其它模型图像之间的相关图像并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值时，将辨别能力值与表示相应特征点的信息一起登记在模型字典中。优选地，当使用登记在模型字典中的模型图像的一个或更多个特征点中的至少一个作为基点并且从基点的预定范围内的特征点中选择辨别能力值高于基点的辨别能力值的特征点作为支持点时，还将表示基点和支持点的信息登记在模型字典中。优选地，相关图像生成单元针对登记在模型字典中的模型图像的N个特征点生成查询图像与mb(mb为等于或大于0的整数)个支持点的特征之间的mb个支持点相关图像，并且与支持点和基点在模型图像中的位置相对应地偏移mb个支持点相关图像的像素的位置，以生成mb个支持点偏移相关图像。优选地，相关图像生成单元相加mb个支持点偏移相关图像和N个相关图像的像素的像素值，以生成N个支持点偏移相关和图像。优选地，偏移相关图像生成单元根据登记在模型字典中的辨别能力值对相关图像生成单元生成的N个支持点偏移相关和图像的像素的像素值赋予权重，以生成N个加权偏移相关图像；相关和图像生成单元相加偏移相关图像生成单元生成的N个加权偏移相关图像的像素的像素值，以生成相关和图像。

根据本发明的又一实施例的信息处理方法和程序对应于根据本发明的上述实施例的信息处理设备。

根据本发明的另一实施例，提供一种信息处理设备的信息处理方法，所述信息处理设备比较查询图像和模型图像，并从该查询图像的主体辨别该模型图像的主体。该信息处理方法包括步骤：当从模型图像提取了N(N为等于或大于1的整数)个特征点并且描述所提取的N个特征点的特征时，将表示N个特征点和该N个特征点的特征的信息登记在设置在信息处理设备的内部或外部的模型字典中；针对登记在模型字典中的模型图像的N个特征点生成查询图像与相应特征之间的相关图像；与特征点在模型图像中的位置相对应地偏移所生成的N个相关图像的像素的位置，以生成N个偏移相关图像；相加所生成的N个偏移相关图像的像素的像素值，以生成相关和图像；以及基于所生成的相关和图像，判断模型图像的主体和查询图像的主体是否相互匹配。

如上所述，根据本发明的实施例，可以提供用于识别图像的对象的辨别能力值。特别地，根据本发明的实施例，辨别能力值的使用使得可以可靠地识别图像的对象。

另外，根据本发明的实施例，可以识别图像的对象。特别地，根据本发明的实施例，可以可靠地识别图像的对象。

附图说明

图1是示出根据本发明的第一实施例的对象识别设备的功能结构的框图；

图2是示出图1所示的模型特征提取单元的详细功能结构的框图；

图3是示出图2所示的特征点提取单元的处理结果的例子的图；

图4是示出图2所示的特征点提取单元的处理结果的例子的图；

图5是示出图2所示的特征描述单元的处理的例子的图；

图6是示出图2所示的特征点辨别能力值计算单元的处理的例子的流程图；

图7是示出图6所示的处理结果的例子的图；

图8是示出图6所示的处理结果的例子的图；

图9是示出图2所示的支持点选择单元的支持点选择处理的例子的流程图；

图10示出说明图9所示的处理结果的例子的图；

图11是示出图1所示的查询图像识别单元的详细功能结构的框图；

图12示出说明用于描述图11所示的查询图像识别单元的处理的模型图像和查询图像的例子的图；

图13是示出图11所示的查询图像识别单元的处理结果的例子的图；

图14是示出图11所示的查询图像识别单元的处理结果的例子的图；

图15是示出图11所示的查询图像识别单元的处理结果的例子的图；

图16是示出图11所示的查询图像识别单元的处理结果的例子的图；以及

图17是示出个人计算机的结构的例子的框图。

具体实施方式

在说明本发明的实施例之前，下面先讨论本发明的要素与本说明书中所公开的实施例之间的对应关系。本说明旨在确保支持要求保护的发明的实施例在本说明书和附图中得到说明。因此，即使存在在本说明书或附图中公开了、但在此未作为与本发明的要素相对应的实施例而加以说明的实施例，也不意味着该实施例与本发明的要素无关。相反，即使在此与本发明的某一要素相关地说明了实施例，也不必然意味着该要素与除该要素以外的要素无关。

根据本发明的实施例，提供了一种信息处理设备(例如，图1的对象识别设备)，其比较查询图像(例如，图1的查询图像22)和模型图像(例如，图1的模型图像21-1～21-N)并且提供用于辨别模型图像的主体(subject)和查询图像的主体的支持信息。该信息处理设备包括：特征点提取单元(例如，图2的特征点提取单元31)，从模型图像提取一个或更多个特征点；特征描述单元(例如，图2的特征描述单元32)，描述特征点提取单元提取的一个或更多个特征点的特征；以及辨别能力值计算单元(例如，图2的辨别能力值计算单元33)，针对特征点提取单元提取的一个或更多个特征点(例如，针对图6的模型图像21-1在图6的步骤S102中提取的特征点)，在特征描述单元描述的特征(在图6的步骤S103中描述的特征)、所提取的模型图像以及一个或更多个其它模型图像中生成相关图像(例如，在步骤S105中生成图6所示的相关图像42-11～42-NP)，并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值(例如，在图6的步骤S106中计算辨别能力值)。

该信息处理设备还包括支持点选择单元(例如，图2的支持点选择单元34)，使用特征点提取单元提取的一个或更多个特征点中的至少一个作为基点，并且从基点的预定范围内的特征点中选择辨别能力值计算单元计算出的辨别能力值高于基点的辨别能力值的特征点作为支持点。

根据本发明的实施例的信息处理方法和程序对应于根据本发明的上述实施例的信息处理设备。该程序记录在诸如图17所示的可移动介质211或包括在存储单元208中的硬盘的记录介质中，并且通过具有图17所示的结构的计算机执行该程序。后面将详细说明该程序。

本发明的实施例包括将根据本发明的上述实施例的程序记录在其中的记录介质。

下面，参考附图说明本发明的示例性实施例。

图1是示出根据本发明的第一实施例的对象识别设备的功能结构的框图。

在图1中，对象识别设备包括模型特征提取单元11、模型特征字典12和查询图像识别单元13。

模型特征提取单元11从包括要识别的对象的模型图像21-1～21-N(N为等于或大于1的整数)提取模型特征，并且在对象识别处理过程中将所提取的模型特征登记在模型特征字典12中。

模型图像21-1～21-N是静止影像或运动影像的帧图像。

查询图像识别单元13从包括与模型图像21-1～21-N中的每一个中所包括的对象进行比较的要识别的对象的查询图像22中提取查询特征，在该查询特征与登记在模型特征字典12中的模型特征之间进行匹配，并且基于匹配结果在模型图像21-1～21-N中的对象与查询图像22中的对象之间进行辨别。

类似于模型图像21-1～21-N，查询图像22是静止影像或运动影像的帧图像。

下面，将分别详细说明模型特征提取单元11和查询图像识别单元13。

在下面的说明中，当不需要区分模型图像21-1～21-N时，也就是说，当说明模型图像21-1～21-N中的一个时，仅将模型图像称为模型图像21。

图2是示出模型特征提取单元11的详细功能结构的框图。

模型特征提取单元11包括特征点提取单元31、特征描述单元32、特征点辨别能力值计算单元33、支持点选择单元34、以及模型特征信息生成单元35。

特征点提取单元31从模型图像21提取特征点，将提取结果提供给特征描述单元32和模型特征信息生成单元35。

特征点提取单元31的特征点提取方法没有特别限制。

具体地，图3示出在采用例如使用Harris角点(corner)检测器的特征点提取方法时的特征点提取结果。在图3中，符号○(白色圆圈)表示特征点。在该提取方法中，如图3所示，提取角点作为特征点。

图4示出在采用例如使用Canny边缘检测器的特征点提取方法时的特征点提取结果。在图4中，符号○(白色圆圈)表示特征点。在该提取方法中，如图4所示，提取边缘点作为特征点。

特征描述单元32进行描述特征点提取单元31提取的特征点中的每一个周围的局部特征的处理，并且将处理结果提供给特征点辨别能力值计算单元33和模型特征信息生成单元35。

特征描述单元32的局部特征描述方法没有特别限制。

例如，可以使用利用像素值的亮度梯度描述局部特征的矢量的方法。

具体地，例如，如图5所示，当作为矢量描述特征点周围的5×5个像素的亮度梯度时，利用多维矢量表示每一个像素的亮度梯度的x和y分量。例如，利用50维矢量(Vx(0，0)，Vy(0，0)，Vx(0，1)，Vy(0，1)，...，Vx(4，4)，Vy(4，4))表示x和y分量。

作为另一方法，例如，可以使用在亮度梯度矢量的每一方向上形成直方图的描述方法。例如，当在特征点周围针对起始梯度矢量每10度形成直方图时，获得36维矢量。

此外，例如，可以采用使用亮度信息作为特征的方法。例如，当在特征点周围5×5个像素的范围内将亮度信息描述为矢量时，获得25维矢量。

此外，上述方法可以相互组合。

特征点辨别能力值计算单元33针对特征点提取单元31提取的特征点中的每一个(特征描述单元32描述了特征的特征点)计算辨别能力值，并且将计算结果提供给支持点选择单元34和模型特征信息生成单元35。

辨别能力值是指特征点辨别主体的能力(辨别模型的能力)。具体地，当辨别模型图像21中包括的主体即要识别的对象和另一对象(例如，另一模型图像中包括的对象)时，辨别能力值是指特征点对辨别的贡献度，即特征点对辨别的影响程度。

图6是示出计算辨别能力值的一系列处理的流程图。

另外，参考图6说明针对从模型图像21-1提取的特征点中的每一个计算辨别能力值的处理。然而，实际上，对从模型图像21-1、以及模型图像21-2～21-N中提取的特征点中的每一个进行如下所述的相同处理，以计算辨别能力值。

在图6的步骤S100中，模型特征提取单元11获取所有模型图像21-1～21-N。

在步骤S102中，如上所述，特征点提取单元31从模型图像21-1提取一个或更多个特征点。在步骤S103中，如上所述，特征描述单元32描述从模型图像21-1提取的特征点中的每一个的特征。

与步骤S102和S103同时，在步骤S104中，特征点辨别能力值计算单元33根据模型图像21-1～21-N分别生成特征图像41-1～41-N。

当执行与特征描述单元32所使用的相同的局部特征描述方法来描述模型图像21-K的所有像素的特征时，特征图像41-K(K为1～N范围内的整数)是指通过描述结果形成的图像。也就是说，特征图像41-K以特征作为像素值。

在步骤S105中，特征点辨别能力值计算单元33生成模型图像21-1的特征点(在步骤S102中提取并且在步骤S103中描述了其特征的特征点)中要经历辨别能力计算处理的P(P为小于或等于在步骤S102中提取的特征点的数量的整数)个特征点的相关图像。

相关图像42-KL(K等于特征图像41-K中的K的值，并且L为1～P范围内的值)是指下面的图像。也就是说，对将计算辨别能力的P个特征点赋予编号1～P。在要处理的特征点中，将感兴趣的编号为L的特征点称为感兴趣的特征点L。在这种情况下，当在感兴趣的特征点L的特征与特征图像41-K的像素值(即特征)之间进行匹配以计算其相关(距离)值时，相关图像42-KL是以相关值作为像素值的图像。在这种情况下，例如，可以使用矢量之间归一化(normalized)的相关性作为相关值，可以使用欧几里得(Euclidean)距离作为距离0。

也就是说，针对感兴趣的特征点L生成表示与N个特征图像41-1、41-2、...、41-N的相关性的N个相关图像42-1L、42-2L、...、42-NL。

也就是说，针对一个特征图像41-K生成具有赋予编号1～P的P个特征点的相关图像，即P个相关图像42-K1、42-K2、...、42-KP。

在步骤S106中，特征点辨别能力值计算单元33根据赋予编号1～P的特征点中的每一个的所有相关图像的平均值或最大值计算辨别能力值。也就是说，特征点辨别能力值计算单元33按照平均值或最大值的升序对相关图像赋予高辨别能力值。所有相关图像是指针对感兴趣的特征点L生成的所有相关图像，即N个相关图像42-1L、42-2L、...、42-NL。

例如，图7和8示出通过辨别能力值形成的图像。在图7和8中，特征点的辨别能力值越大，则图像越亮(白)。也就是说，图7示出包括青蛙状对象(以下称为青蛙)的图像是模型图像21-1时的辨别能力值的例子。如图7所示，在青蛙的眼睛附近辨别能力值高。也就是说，眼睛是识别青蛙的重要部分。图8示出当包括狗状对象(以下称为狗)的图像是模型图像21-1时的辨别能力值的例子。如图8所示，在狗的尾巴附近辨别能力值高。也就是说，尾巴是识别狗的重要部分。

尽管在附图中未示出，但是在图6中的步骤S106之后，特征点辨别能力值计算单元33例如按照辨别能力值的降序排列P个特征点的编号。也就是说，在该处理之后，P个特征点的编号表示模型辨别的优先级。

返回图2，支持点选择单元34使用特征点辨别能力值计算单元33计算出的辨别能力值选择支持点。

支持点是指下面的点。也就是说，将从特征点提取单元31提取的特征点中选择的基准点称为基点。在这种情况下，在除基点以外的特征点中，将通过基点从属地确定的点称为支持点。

确定支持点的方法没有特别限制。例如，在本实施例中，在模型图像21中距离基点的位置预定范围内的特征点中，选择辨别能力值高于基点的辨别能力值的特征点作为支持点。当使用这种确定方法时，可以针对一个基点选择多个支持点。图9是示出在该确定方法中支持点选择单元34的处理(以下称为支持点选择处理)的例子的流程图。

在图9的步骤S121中，支持点选择单元34获取模型图像21的P个特征点中的每一个的辨别能力值。

在步骤S122中，支持点选择单元34从P个特征点中选择一个或更多个基点。基点的选择方法没有特别限制。

在步骤S123中，支持点选择单元34从一个或更多个基点中选择预定点作为处理目标，并且提取距离目标基点的位置预定范围内的其它特征点。

在步骤S124中，支持点选择单元34判断所提取的特征点的辨别能力值是否高于基点的辨别能力值。

在步骤S123中，可以不提取特征点。在这种情况下，在步骤S124中强制确定所提取的特征点的辨别能力值低于基点的辨别能力值，并且处理进入步骤S126。下面将说明步骤S126之后的处理。

另一方面，可以在步骤S123中提取多个特征点。在这种情况下，该多个特征点中的预定一个特征点是步骤S124中的处理目标，判断该目标特征点的辨别能力值是否高于基点的辨别能力值。

当在步骤S124中判断出所提取的特征点的辨别能力值高于基点的辨别能力值时，在步骤S125中支持点选择单元34选择所提取的特征点(当提取了多个特征点时，选择目标特征点)作为支持点。然后，处理进入步骤S126。

另一方面，当在步骤S124中判断出所提取的特征点的辨别能力值低于基点的辨别能力值时，处理进入步骤S126，而不进行步骤S125，也就是说，不选择提取的特征点(当提取了多个特征点时，不选择目标特征点)作为支持点。

在步骤S126中，支持点选择单元34判断是否存在其它提取的特征点。

也就是说，如上所述，当在步骤S123中提取了多个特征点时，在步骤S126中判断出处理结果为“是”，处理返回到步骤S124。然后，重复进行随后的步骤。也就是说，重复进行步骤S124、S125和S126的循环处理，以依次处理多个特征点。结果，在该多个特征点中，仅选择辨别能力值高于基点的辨别能力值的特征点作为支持点。当对该多个特征点全部进行了该循环处理时，在最后的循环处理的步骤S126中判断出结果为“否”，处理进入步骤S127。

当在步骤S123中仅提取了一个特征点或没有提取特征点时，在步骤S126中判断出结果为“否”，处理进入步骤S127。

在步骤S127中，支持点选择单元34判断是否存在其它基点。

当仍然有要处理的基点时，在步骤S127中判断出结果为“是”，处理返回到步骤S123。然后，重复进行随后的步骤。

以这种方式，当针对一个或更多个基点选择了一个或更多个支持点时，在步骤S127中判断出结果为“否”，支持点选择处理结束。

具体地，例如，图10示出基点和支持点的选择结果。也就是说，从同一模型图像21选择了三个基点，在图10中用符号○(白色圆圈)表示基点。在图10中用直径小于表示基点的符号○(白色圆圈)的直径的符号●(黑色圆圈)表示针对三个基点选择的多个支持点。

返回到图2，模型特征信息生成单元35生成表示特征点提取单元31至支持点选择单元34的处理结果的模型特征信息(基点+支持点)，并且将该信息登记在模型特征字典12中。也就是说，使模型特征信息与从模型图像21-1～21-N提取的特征点相关。具体地，例如，辨别特征点与基点和支持点，包括特征点中的每一个的局部特征和辨别能力值的信息以及支持点信息是模型特征信息。

以上说明了图1所示的对象识别设备的模型特征提取单元11的详细结构。接着说明查询图像识别单元13的详细结构。

图11是示出查询图像识别单元13的详细功能结构的框图。

查询图像识别单元13包括特征图像生成单元51、相关图像生成单元52、偏移相关图像生成单元53、相关和图像生成单元54以及判断单元55。

当输入包括要识别的对象的查询图像22时，特征图像生成单元51根据查询图像22生成特征图像。也就是说，对查询图像22进行与图6的步骤S104中相同的处理。

相关图像生成单元52在查询图像22的特征图像的像素值(即像素的特征)与登记在模型特征字典12中的模型图像21-1～21-N的特征点(以下称为模型特征点)的特征之间进行匹配，从而生成各自以相关(距离)值作为像素值的图像，即相关图像。

偏移相关图像生成单元53生成通过偏移与模型特征点的位置相对应的相关图像的像素的位置而获得的图像(以下称为偏移相关图像)。后面将参考图12～16说明生成偏移相关图像的方法。

相关和图像生成单元54生成通过组合模型图像21-1～21-N的模型特征点的偏移相关图像或经过各个类型的图像处理的图像而获得的图像(以下称为相关和图像)。也就是说，相关和图像是指以两个或更多个图像的像素值的总和作为像素值的图像。

后面将参考图12～16详细说明生成相关和图像的方法(包括对偏移相关图像进行的各种类型的图像处理)。

判断单元55基于针对模型图像21-1～21-N生成的相关和图像判断包括在模型图像21-1～21-N中的对象是否与包括在查询图像22中的对象相同，并且输出判断结果。

也就是说，在预定模型图像21-K的相关和图像中，在生成偏移相关图像期间偏移位置(在下面的例子中为中心位置)处的像素值是相关和图像的局部峰值。局部峰值表示包括在模型图像21-K中的对象在查询图像22中的存在比率。因此，如果模型图像21-K的相关和图像的局部峰值大于或等于阈值，则判断单元55判断出包括在模型图像21-K中的对象与包括在查询图像22中的对象相同。也就是说，可以识别该对象。

下面参考图12～16主要说明查询图像识别单元13的相关图像生成单元52至相关和图像生成单元54的操作。

也就是说，图13～16示出利用图12中的B所示的模型图像21在输入图12中的A所示的图像作为查询图像22时直到生成相关和图像为止的各种处理结果。

在图13所示的例子中，仅使用四个基点b1～b4的特征作为模型图像21的特征信息来生成相关和图像。也就是说，在图13所示的例子中，与下面将描述的另一例子相同，没有使用支持点的信息或辨别能力值。基点b1～b4仅仅是说明性的，基点的数量或者其位置不局限于图13的所示的例子。

在图13的步骤S131中，相关图像生成单元52在查询图像22的特征图像的像素值(即像素的特征)与模型图像21的基点b1～b4的特征之间进行匹配，从而生成图13的框S131所示的四个相关图像。

在步骤S132中，偏移相关图像生成单元53偏移与基点b1～b4的位置相对应的相关图像的像素的位置，从而生成图13的框S132所示的四个偏移相关图像。

通过偏移相关图像的像素的位置使得模型图像21的基点bn(在图13所示的例子中，n为1～4范围中的整数)的位置(相关图像的相应像素的位置)偏移至图像的中心位置，来获得图13所示的偏移相关图像。

在步骤S133中，相关和图像生成单元54简单地组合四个偏移相关图像，从而生成图13的框S133所示的相关和图像。术语“组合”是指对像素的像素值求和。这同样应用于下面的说明。

与图13所示的例子不同，在图14所示的例子中，除四个基点b1～b4的特征以外，还使用基于其辨别能力值的权重值α1～α4作为模型图像21的特征信息用来生成相关和图像。

也就是说，在步骤S141中，相关图像生成单元52在查询图像22的特征图像的像素值(即像素的特征)与模型图像21的基点b1～b4的特征之间进行匹配，从而生成图14的框S141所示的四个相关图像。

图14所示的框S141中的四个相关图像与图13所示的框S131中的四个相关图像相同。也就是说，在步骤S141和步骤S131中进行相同的处理。

在步骤S142中，进行生成偏移相关图像的处理。然而，步骤S142不同于图13所示的步骤S132。

也就是说，在步骤S142-1中，偏移相关图像生成单元53偏移与基点b1～b4的位置相对应的相关图像的像素的位置，从而生成图14中用虚线表示的框S142-1中的四个偏移相关图像。

图14的虚线框S142-1所示的四个相关图像与图13的框S132所示的四个相关图像相同。也就是说，在步骤S142-1和图13所示的步骤S132中进行相同的处理。

换句话说，在步骤S142中，除图13所示的步骤S132(＝步骤S142-1)以外，还进行步骤S142-2。为了区分在步骤S142-2中最终获得的偏移相关图像与在步骤S142-1中获得的偏移相关图像，将前者称为加权偏移相关图像，将后者称为简单偏移相关图像。

也就是说，在步骤S142-1中，生成图14的虚线框S142-1所示的四个简单偏移相关图像。在步骤S142-2中，偏移相关图像生成单元53将与基点b1～b4相对应的简单偏移相关图像的像素值乘以基于基点b1～b4的辨别能力值的权重值α1～α4，从而生成由乘以基于辨别能力值的权重的像素值形成的图像，即图14的虚线框S142-2所示的四个加权偏移相关图像。

在步骤S143中，相关和图像生成单元54简单地组合四个加权偏移相关图像，从而生成图14的框S143所示的相关和图像。

与图13和14所示的例子不同，在图15所示的例子中，除四个基点b1～b4的特征以外，还使用基点b1～b4的支持点的信息作为模型图像21的特征信息来生成相关和图像。然而，在图15所示的例子中，与图14所示的例子不同，不使用基于辨别能力值的权重值α1～α4。

在步骤S151中，进行生成相关图像的处理。然而，步骤S151不同于图13所示的步骤S131或图14所示的步骤S141。

也就是说，在步骤S152-1中，相关图像生成单元52在查询图像22的特征图像的像素值(即像素的特征)与模型图像21的基点b1～b4的特征之间进行匹配，从而生成图15的框S151-1所示的四个相关图像。

图15的框S151-1所示的四个相关图像与图13的框S131所示的四个相关图像相同，即与图14的框S141所示的四个相关图像相同。也就是说，在步骤S151-1、图13所示的步骤S131以及图14所示的步骤S141中进行相同处理。

也就是说，在步骤S151中，除图13所示的步骤S131(＝图14所示的步骤S141＝图15所示的步骤S151-1)以外，还进行下面的步骤S151-2和S151-3。为了区分在步骤S151-1～S151-3中获得的相关图像，将在步骤S151-1中获得的相关图像称为基点相关图像，将在步骤S151-2中获得的相关图像称为支持点偏移相关图像，将在步骤S151-3中获得的相关图像称为以基点bn作为中心的支持点偏移相关和图像。

也就是说，在步骤S151-1中，生成图15中用虚线表示的框S151-1中的四个基点相关图像。

在步骤S151-2中，相关图像生成单元52在查询图像22的特征图像的像素值(即像素的特征)与模型图像21的基点bn处的支持点snm(m为大于或等于1的整数)的特征之间进行匹配，从而生成m个相关图像。另外，相关图像生成单元52将支持点snm的位置(相关图像的相应像素的位置)偏移至基点bn的位置(相关图像的相应像素的位置)，从而针对基点b1～b4生成图15的框S151-2所示的m个支持点偏移相关图像。

也就是说，在基点b1处存在两个支持点s11和s12。因此，生成支持点s11的支持点偏移相关图像和支持点s12的支持点偏移相关图像。

类似地，在基点b2处存在三个支持点s21、s22和s23。因此，生成支持点s21的支持点偏移相关图像、支持点s22的支持点偏移相关图像以及支持点s23的支持点偏移相关图像。

类似地，在基点b3处存在两个支持点s31和s32。因此，生成支持点s31的支持点偏移相关图像和支持点s32的支持点偏移相关图像。

在基点b4处存在一个支持点s41。因此，生成支持点s41的支持点偏移相关图像。

在步骤S151-3中，相关图像生成单元52将相应的基点相关图像(在步骤S151-1中获得的图像)与模型图像21的基点bn的相应的m个支持点偏移相关图像(在步骤S151-2中获得的图像)简单地组合，从而生成图15的框S151-3所示的以基点bn为中心的支持点偏移相关和图像。

也就是说，对于基点b1，相互组合基点b1的基点相关图像、支持点s11的支持点偏移相关图像以及支持点s12的支持点偏移相关图像，从而生成以基点b1为中心的支持点偏移相关和图像。

类似地，对于基点b2，相互组合基点b2的基点相关图像、支持点s21的支持点偏移相关图像、支持点s22的支持点偏移相关图像以及支持点s23的支持点偏移相关图像，从而生成以基点b2为中心的支持点偏移相关和图像。

类似地，对于基点b3，相互组合基点b3的基点相关图像、支持点s31的支持点偏移相关图像以及支持点s32的支持点偏移相关图像，从而生成以基点b3为中心的支持点偏移相关和图像。

对于基点b4，相互组合基点b4的基点相关图像和支持点s41的支持点偏移相关图像，从而生成以基点b4为中心的支持点偏移相关和图像。

随后的步骤S152和S153与图13所示的步骤S132和S133基本相同。图13的步骤S132中的处理目标是在图15的步骤S151-1中获得的基点相关图像。然而，图15的步骤S152中的处理目标是通过将在图15的步骤S151-1中获得的基点相关图像与在步骤S151-2中获得的支持点偏移相关图像组合而获得的图像，即以基点为中心的支持点偏移相关和图像。

图16所示的例子是图14所示的例子和图15所示的例子的组合。也就是说，在图16所示的例子中，除四个基点b1～b4的特征以外，还使用基于基点b1～b4的辨别能力值的权重值α1～α4和基点b1～b4的支持点的信息两者作为模型图像21的特征信息来生成相关和图像。

也就是说，在图16所示的步骤S161和图15所示的步骤S151中进行相同的处理。换句话说，图16所示的步骤S161-1～S161-3与图15所示的步骤S151-1～S151-3相同。

在图16所示的步骤S162和图14所示的步骤S142中进行相同的处理。也就是说，图16所示的步骤S162-1和S162-2与图14所示的步骤S141-1和S141-2相同。

下面给出的表达式(1)表示图16的步骤S161的处理结果。

$\mathrm{SumSpCo}{r}_{b_n}(x,y)=\underset{m=1}{\overset{m_{b_n}}{\mathrm{\Σ}}}{\mathrm{Cor}}_{{\mathrm{sn}}_m}({\mathrm{bx}}_n-{\mathrm{snx}}_m+x,{\mathrm{by}}_n-{\mathrm{sny}}_m+y)---\left(1\right)$

在表达式(1)中，左边的SumSpCor_bn(x，y)表示以基点bn为中心的支持点偏移相关和图像的坐标(x，y)处的像素值。另外，在图16所示的例子中，n为1～4范围中的值。然而，n可以为任意整数。

在表达式(1)的右边，Cor_snm(x，y)表示支持点snm的相关图像的坐标(x，y)处的像素值，m_bn表示基点bn处的支持点的数量。也就是说，在图16所示的例子中，m_b1为2，m_b2为3，m_b3为2，m_b4为1。(bx_n，by_n)表示基点bn的坐标。(snx_m，sny_m)表示支持点snm的坐标。

下面给出的表达式(2)表示在图16的步骤S163中获得的最终结果。

$\mathrm{SumCor}(x,y)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_k\mathrm{SumSpC}{\mathrm{or}}_{b_k}(\mathrm{cx}-{\mathrm{bx}}_k+x,\mathrm{cy}-{\mathrm{by}}_k+y)---\left(2\right)$

也就是说，在表达式(2)的右边，用数学符号Σ表示图16的步骤S162的处理结果。

在表达式(2)中，左边的SumCor(x，y)表示在步骤S163中获得的相关和图像的坐标(x，y)处的像素值。

在表达式(2)的右边，(cx，cy)表示模型图像21的中心坐标。

如上所述，根据本发明的实施例，可以在不考虑提取查询图像和模型图像的特征点方面的可重复性的情况下进行鲁棒的识别。

由于相关和图像的预定像素值(例如中心附近的像素值)，即相关性值的总和表示对象存在的推定程度，因而可以通过比较这些值来获知存在图像的对象的可能性。

此外，可以考虑模型图像的其它部分或与其它模型图像的相关性计算特征的辨别能力值，并基于计算出的辨别能力值选择支持点。因此，可以提高匹配精度。

可以通过硬件或软件执行上述处理。当通过软件执行该处理时，将该软件的程序从程序记录介质安装到包含在专用硬件中的计算机或安装有各种程序以执行各种功能的通用个人计算机。

图17是示出通过程序执行上述处理的个人计算机的结构的例子的框图。CPU(中央处理单元，central processing unit)201根据存储在ROM(只读存储器，read only memory)202或存储单元208中的程序执行各种类型的处理。RAM 203存储CPU 201执行各种类型的处理所需的数据或程序。CPU 201、ROM 202和RAM 203通过总线204相互连接。

输入/输出接口205通过总线204连接到CPU 201。输入/输出接口205连接到包括键盘、鼠标和麦克风的输入单元206以及包括显示器和扬声器的输出单元207。CPU 201响应于从输入单元206输入的指令进行各种类型的处理。然后，CPU 201将处理结果输出给输出单元207。

连接到输入/输出接口205的存储单元208包括硬盘，并且存储各种数据和CPU 201执行的程序。通信单元209通过诸如因特网或局域网的网络与外部设备进行通信。

另外，可以通过通信单元209获取程序，然后将其存储在存储单元208中。

当插入诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质211时，连接到输入/输出接口205的驱动器210驱动可移动介质，获取记录在其上的程序和数据。如果需要，将获取的程序和数据发送并存储在存储单元208中。

如图17所示，存储在计算机中安装并且计算机可执行的程序的程序记录介质可以是可移动介质211、临时或永久存储程序的ROM 202、或形成存储单元208的硬盘。可移动介质211是包封装介质，包括磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器，compact disc-readonly memory)和DVD(数字通用盘，digital versatile disc))、磁光盘、以及半导体存储器。如果需要，使用有线或无线通信介质通过通信单元209将程序存储在程序记录介质中。通信单元209是诸如路由器或调制解调器的接口。通信介质包括局域网、因特网和数字卫星广播。

此外，在本说明书中，不是必须按照根据所写顺序的时序执行限定存储在程序记录介质中的程序的步骤。可以并行或独立执行这些步骤，而不按照时序来执行。

尽管上面说明了本发明的示例性实施例，但是本发明不局限于此，可以做出各种变形和改变，而不脱离本发明的精神和范围。例如，在上述实施例中，本发明应用于对象识别设备，但是本发明不局限于此。例如，本发明可以应用于比较和识别图像中的对象的信息处理设备。

本领域技术人员应当理解，可以根据设计要求和其它因素进行各种变形、组合、子组合和改变，而它们在所附权利要求或其等同物的范围内。

Claims (11)

1.一种信息处理设备，其比较查询图像和模型图像，并提供用于从该查询图像的主体辨别该模型图像的主体的支持信息，所述设备包括：

特征点提取部件，从模型图像提取一个或更多个特征点；

特征描述部件，描述特征点提取部件提取的一个或更多个特征点的特征；以及

辨别能力值计算部件，针对特征点提取部件提取的一个或更多个特征点，生成特征描述部件描述的特征、所提取的模型图像和一个或更多个其它模型图像之间的相关图像，并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值。

2.根据权利要求1所述的信息处理设备，还包括：

支持点选择单元，使用特征点提取部件提取的一个或更多个特征点中的至少一个作为基点，并且从基点的预定范围内的特征点中选择辨别能力值计算部件计算的辨别能力值高于基点的辨别能力值的特征点作为支持点。

3.根据权利要求1所述的信息处理设备，

其中辨别能力值计算部件基于所有相关图像的平均值和最大值中的至少一个计算辨别能力值。

4.一种信息处理设备的信息处理方法，所述信息处理设备比较查询图像和模型图像，并提供用于从该查询图像的主体辨别该模型图像的主体的支持信息，所述方法包括步骤：

从模型图像提取一个或更多个特征点；

描述所提取的一个或更多个特征点的特征；以及

针对所提取的一个或更多个特征点，生成所描述的特征、所提取的模型图像和一个或更多个其它模型图像之间的相关图像，并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值。

5.一种信息处理设备，其比较查询图像和模型图像，并且从该查询图像的主体辨别该模型图像的主体，所述设备包括：

模型字典，当从模型图像提取了N个特征点并且描述了所提取的N个特征点的特征时，将表示N个特征点和该N个特征点的特征的信息登记在模型字典中，模型字典设置在所述信息处理设备的内部或外部，其中N是等于或大于1的整数；

相关图像生成部件，针对登记在模型字典中的模型图像的N个特征点，生成查询图像与相应特征之间的相关图像；

偏移相关图像生成部件，与特征点在模型图像中的位置相对应地偏移相关图像生成部件生成的N个相关图像的像素的位置，以生成N个偏移相关图像；

相关和图像生成部件，相加偏移相关图像生成部件生成的N个偏移相关图像的像素的像素值，以生成相关和图像；以及

判断部件，基于相关和图像生成部件生成的相关和图像，判断模型图像的主体和查询图像的主体是否相互匹配。

6.根据权利要求5所述的信息处理设备，

其中当针对登记在模型字典中的模型图像的一个或更多个特征点生成所描述的特征、所提取的模型图像和一个或更多个其它模型图像之间的相关图像并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值时，将辨别能力值与表示相应特征点的信息一起登记在模型字典中；

偏移相关图像生成部件根据登记在模型字典中的辨别能力值对N个偏移相关图像的像素的像素值赋予权重，以生成N个加权偏移相关图像；以及

相关和图像生成部件相加偏移相关图像生成部件生成的N个加权偏移相关图像的像素的像素值，以生成相关和图像。

7.根据权利要求5所述的信息处理设备，

其中当使用登记在模型字典中的模型图像的一个或更多个特征点中的至少一个作为基点并且从基点的预定范围内的特征点中选择一个或更多个支持点时，还将表示基点和支持点的信息登记在模型字典中；

相关图像生成部件针对登记在模型字典中的模型图像的N个特征点，生成查询图像与mb个支持点的特征之间的mb个支持点相关图像，并且与支持点和基点在模型图像中的位置相对应地偏移mb个支持点相关图像的像素的位置，以生成mb个支持点偏移相关图像，其中mb是等于或大于0的整数；

相关图像生成部件相加mb个支持点偏移相关图像和N个相关图像的像素的像素值，以生成N个支持点偏移相关和图像；以及

偏移相关图像生成部件根据相关图像生成部件生成的N个支持点偏移相关和图像生成N个偏移相关图像。

8.根据权利要求5所述的信息处理设备，

其中当针对登记在模型字典中的模型图像的一个或更多个特征点生成所描述的特征、所提取的模型图像和一个或更多个其它模型图像之间的相关图像并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值时，将辨别能力值与表示相应特征点的信息一起登记在模型字典中；

当使用登记在模型字典中的模型图像的一个或更多个特征点中的至少一个作为基点并且从基点的预定范围内的特征点中选择辨别能力值高于基点的辨别能力值的特征点作为支持点时，还将表示基点和支持点的信息登记在模型字典中；

相关图像生成部件针对登记在模型字典中的模型图像的N个特征点生成查询图像与mb个支持点的特征之间的mb个支持点相关图像，并且与支持点和基点在模型图像中的位置相对应地偏移mb个支持点相关图像的像素的位置，以生成mb个支持点偏移相关图像，其中mb是等于或大于0的整数；

相关图像生成部件相加mb个支持点偏移相关图像和N个相关图像的像素的像素值，以生成N个支持点偏移相关和图像；

偏移相关图像生成部件根据登记在模型字典中的辨别能力值对相关图像生成部件生成的N个支持点偏移相关和图像的像素的像素值赋予权重，以生成N个加权偏移相关图像；以及

相关和图像生成部件相加偏移相关图像生成部件生成的N个加权偏移相关图像的像素的像素值，以生成相关和图像。

9.一种信息处理设备的信息处理方法，所述信息处理设备比较查询图像和模型图像，并从该查询图像的主体辨别该模型图像的主体，所述方法包括步骤：

当从模型图像提取了N个特征点并且描述所提取的N个特征点的特征时，将表示N个特征点和该N个特征点的特征的信息登记在设置在信息处理设备的内部或外部的模型字典中，其中N是等于或大于1的整数；

针对登记在模型字典中的模型图像的N个特征点，生成查询图像与相应特征之间的相关图像；

与特征点在模型图像中的位置相对应地偏移所生成的N个相关图像的像素的位置，以生成N个偏移相关图像；

相加所生成的N个偏移相关图像的像素的像素值，以生成相关和图像；以及

基于所生成的相关和图像，判断模型图像的主体和查询图像的主体是否相互匹配。

10.一种信息处理设备，其比较查询图像和模型图像，并提供用于从该查询图像的主体辨别该模型图像的主体的支持信息，所述设备包括：

特征点提取单元，被配置为从模型图像提取一个或更多个特征点；

特征描述单元，被配置为描述特征点提取单元提取的一个或更多个特征点的特征；以及

辨别能力值计算单元，被配置为针对特征点提取单元提取的一个或更多个特征点生成特征描述单元描述的特征、所提取的模型图像、以及一个或更多个其它模型图像之间的相关图像，并且基于相关图像计算表示对辨别模型图像的主体的贡献度的辨别能力值。

11.一种信息处理设备，其比较查询图像和模型图像，并且从该查询图像的主体辨别该模型图像的主体，所述设备包括：

模型字典，当从模型图像提取了N个特征点并且描述了所提取的N个特征点的特征时，将表示N个特征点和该N个特征点的特征的信息登记在模型字典中，模型字典设置在信息处理设备的内部或外部，其中N是等于或大于1的整数；

相关图像生成单元，被配置为针对登记在模型字典中的模型图像的N个特征点生成查询图像与相应特征之间的相关图像；

偏移相关图像生成单元，被配置为与特征点在模型图像中的位置相对应地偏移相关图像生成单元生成的N个相关图像的像素的位置，以生成N个偏移相关图像；

相关和图像生成单元，被配置为相加偏移相关图像生成单元生成的N个偏移相关图像的像素的像素值，以生成相关和图像；以及

判断单元，被配置为基于相关和图像生成单元生成的相关和图像，判断模型图像的主体和查询图像的主体是否相互匹配。

Images