CN1950844A - 物体的姿势推断及对照系统和方法及其程序 - Google Patents

Abstract

姿势推断及对照系统具备姿势推断及对照部(20)。在姿势推断及对照部(20)中，姿势候补确定部(30)确定姿势候补。比较图像生成部(40)根据确定的姿势候补，将从三维物体模型存储部(45)获得的三维物体模型投影成二维图像，生成多个与输入图像相近的比较图像。鲜明度抽取部(60)从生成的比较图像抽取反映鲜明度的第1鲜明度特征量。加权相异度计算部(50)，计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度。判定部(52)将具有最小加权相异度的比较图像，作为与输入图像最相近的比较图像选出，进行姿势推断和对照。

Description

物体的姿势推断及对照系统和方法及其程序

技术领域

本发明涉及物体的姿势推断及对照系统、物体的姿势推断及对照方法，及其使用的程序。具体地说，本发明涉及将各种各样的姿势和照明条件下拍摄的物体的图像与物体模型进行对照，进行物体的姿势推断及对照的系统及方法，及其程序。

背景技术

传统的物体姿势推断系统的一例(以下，称为传统技术)，例如特开2003-058896号公报所公开。如图1所示，传统的物体姿势推断系统由图像输入部10、三维物体模型存储部45、姿势推断部25构成。姿势推断部25包含姿势候补确定部30、比较图像生成部40、相异度计算部55、判定部56。

具备这样构成的传统的物体姿势推断系统如下进行动作。三维物体模型存储部45中，预先存储测量多个物体并生成的多个三维物体模型。姿势推断部25，将图像输入部10输入的输入图像和三维物体模型存储部45读出的三维物体模型进行比较，而进行姿势推断。

具体地说，最初姿势候补确定部30生成多个姿势候补，输出到比较图像生成部40。比较图像生成部40，根据生成的姿势候补，将三维物体模型投影成二维图像，生成多个照明条件等与输入图像相近的比较图像，输出到相异度计算部55。相异度计算部55，比较图像输入部10的输入图像和比较图像生成部40的比较图像，对每个比较图像计算相异度，将计算出的相异度输出到判定部56。判定部56根据计算出的相异度，从多个比较图像中选择与输入图像最近似的比较图像，推断最合适的姿势，并输出推断结果。

上述的传统技术中，有以下的问题点。成为对象的三维物体模型的物体和输入图像的物体即使相同，从三维物体模型推断的姿势与输入图像的物体的姿势不符合的场合，输入图像和比较图像的相异度变得足够小(或类似度变得足够大)，可能产生错误的姿势推断结果。或者，另外，成为对象的三维物体模型的物体和输入图像的物体即使不同的场合，输入图像和比较图像的相异度变得足够小，可能产生错误的姿势推断结果。

其理由是，在传统技术中，从三维物体模型生成几个与输入图像相近的比较图像，通过仅将输入图像和几个比较图像进行比较来选择与输入图像最相近的比较图像，进行姿势推断。即，从三维物体模型推断的姿势与输入图像的物体的姿势不同的场合，如果生成输入图像和相同程度的鲜明度的比较图像，则边缘部等的位置不同，因此相异度比较高。但是，如果生成比输入图像的鲜明度低的比较图像，则比较图像的边缘部的误差降低。该场合，输入图像和比较图像的相异度变得比较小，输入图像和错误的姿势的比较图像的相异度由于微小的噪音等可能变得最小。

另一方面，进行物体的对照的场合，对照是通过选出从各三维物体模型求出的最合适的比较图像和输入图像的相异度最小的物体进行。但是，如果仅通过对输入图像和比较图像的比较来求出相异度，即使在错误的物体的场合，也可能有相异度变得足够小，产生错误的对照结果。

本发明的目的是，提供对各种各样的姿势和照明条件下拍摄的物体的图像，可高精度进行姿势推断及对照的物体的姿势推断及对照系统、物体的姿势推断及对照方法。

本发明的其他目的是，提供对各种各样的照明的条件下拍摄的物体的图像，可高精度进行对照的物体对照系统及物体对照方法。

发明内容

根据本发明的第1实施例，提供了比较输入图像和三维物体模型，并进行物体的姿势推断的姿势推断系统。本姿势推断系统，包括：姿势候补确定部，生成至少一个姿势候补；比较图像生成部，根据生成的姿势候补，对三维物体模型投影成二维图像生成多个与输入图像相近的比较图像；第1鲜明度特征提取部，从多个比较图像分别提取反映鲜明度的第1鲜明度特征量。姿势推断系统还具备：加权相异度计算部，计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度；判定部，从多个加权相异度中选出具有最小的加权相异度的比较图像，根据选出的比较图像推断最合适的姿势。

根据本发明的第2实施例，提供了使用上述姿势推断系统的姿势推断及对照系统。本姿势推断及对照系统中，判定部还将推断的最合适姿势的最小加权相异度与预定的阈值进行比较，进行物体对照。

根据本发明的第3实施例，提供比较输入图像和物体模型，并进行物体的对照的对照系统。本对照系统包括：比较图像生成部，从物体模型生成多个与输入图像相近的比较图像；第1鲜明度特征提取部，从多个比较图像中提取分别反映鲜明度的第1鲜明度特征量。对照系统还具备：加权相异度计算部，计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度；判定部，通过比较计算出的多个加权相异度和预定的阈值，进行物体的对照。

第1～第3的任一实施例中，还可具备第2鲜明度特征提取部，从输入图像提取反映鲜明度的第2鲜明度特征量。该场合，加权相异度计算部，计算对输入图像和比较图像的相异度，用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的多个加权相异度。

根据本发明的第4实施例，提供了比较输入图像和三维物体模型，并进行物体的姿势推断的姿势推断方法。本姿势推断方法中，生成至少一个姿势候补，根据生成的姿势候补，将三维物体模型投影成二维图像，生成多个与输入图像相近的比较图像。本姿势推断方法中，另外，从多个比较图像分别提取反映鲜明度的第1鲜明度特征量，计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度。

根据本发明的第5实施例，提供了使用根据上述第4实施例的姿势推断方法的姿势推断及对照方法。本姿势推断及对照方法中，而且，从多个加权相异度中，选出具有最小加权相异度的比较图像，根据选出的比较图像推断最合适的姿势。

在第4、第5的任一实施例中，还可以从输入图像提取反映鲜明度的第2鲜明度特征量。该场合，在加权相异度计算中，计算对输入图像和比较图像的相异度，用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量之间的相异度加权后的多个加权相异度。

根据本发明的第6实施例，提供了用于比较输入图像和物体模型的物体相异度计算方法。在本物体相异度计算方法中，从物体模型生成多个与输入图像相近的比较图像，从多个比较图像分别提取反映鲜明度的第1鲜明度特征量，计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后多个加权相异度。

本物体相异度计算方法中，也可从输入图像提取反映鲜明度的第2鲜明度特征量。该场合，加权相异度计算中，计算对输入图像和比较图像的相异度，用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的多个加权相异度。

根据本发明的第7实施例，提供了使用上述物体相异度计算方法的物体对照方法。本物体对照方法中，而且，通过比较计算出的多个加权相异度，可进行物体对照。

根据本发明的第8实施例，为计算机提供了比较输入图像和三维物体模型，并执行物体的姿势推断的姿势推断程序。本姿势推断程序中，执行以下处理：姿势候补确定处理，生成至少一个姿势候补；比较图像生成处理，根据生成的姿势候补，将三维物体模型投影成二维图像生成多个与输入图像相近的比较图像；第1鲜明度特征提取处理，从多个比较图像分别提取反映鲜明度的第1鲜明度特征量。本姿势推断程序，另外还执行：加权相异度计算处理，计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度；姿势推断处理，从多个加权相异度中选出具有最小加权相异度的比较图像，根据选出的比较图像推断最合适的姿势。

根据本发明的第9实施例，提供了使用上述的姿势推断程序的姿势推断及对照程序。本姿势推断及对照程序中，姿势推断处理中还根据推断的最合适姿势的最小加权相异度与预定的阈值进行比较，进行物体对照。

根据本发明的第10实施例，为计算机提供了用于比较输入图像和物体模型，执行物体的对照的对照程序。本对照程序中，执行以下处理：比较图像生成处理，从物体模型生成多个与输入图像相近的比较图像；第1鲜明度特征提取处理，从多个比较图像分别提取反映鲜明度的第1鲜明度特征量；计算对加权相异度计算处理输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度；对照处理，通过对计算出的多个加权相异度进行比较，进行对照。

第8～第10的任一实施例中，还可以执行从输入图像提取反映鲜明度的第2鲜明度特征量的第2鲜明度特征提取处理。

该场合，加权相异度计算处理中，计算对输入图像和比较图像的相异度，用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的多个加权相异度。

附图说明

图1是表示传统的物体的姿势推断系统的构成的方框图。

图2是表示根据本发明的第1实施例的物体的姿势推断及对照系统的构成的方框图

图3是表示说明第1实施例的物体的姿势推断的动作的流程图。

图4是用于说明第1实施例中一对一对照的动作的流程图。

图5是用于说明第1实施例中一对N对照的动作的流程图。

图6是用于说明第1实施例中的三维物体模型的具体例的图。

图7是用于说明第1实施例中的输入图像的具体例的图。

图8是用于说明第1实施例中的比较图像的具体例的图。

图9是表示本发明的第2实施例的物体的姿势推断及对照系统的构成的方框图。

图10是用于说明第2实施例的物体的姿势推断的动作的流程图。

图11是表示本发明的第3实施例的物体对照系统的构成的方框图。

图12是用于说明第3实施例的一对一对照的动作的流程图。

图13是表示本发明的第4实施例的物体对照系统的构成的方框图。

图14是用于说明第4实施例的一对一对照的动作的流程图。

发明的最佳实施例

针对几个实施例，参考图面详细说明本发明。

图2是表示本发明的物体的姿势推断及对照系统的第1实施例。图2中，与图1中说明的要素相同的要素使用同一编号。物体的姿势推断及对照系统，由摄像机等的图像输入部10、三维物体模型存储部45、姿势推断及对照部20构成。姿势推断及对照部20包括，姿势候补确定部30、比较图像生成部40、鲜明度特征提取部(第1鲜明度特征提取部)60、加权相异度计算部50、判定部52。

三维物体模型存储部45预先存储了多个物体的三维物体模型。三维物体模型，可使用例如特开2001-12925号公报公开的三维形状计测装置生成。或者，三维物体模型也可使用特开平9-91436号公报公开的，将多个相机拍摄的多个图像复原成三维形状的装置而生成。无论如何，三维物体模型的生成方法不是本发明的宗旨，省略详细的说明。

姿势推断及对照部20，通过比较从图像输入部10获得的输入图像和三维物体模型存储部45获得的三维物体模型，进行物体的姿势推断及物体对照。

具体地说，首先，姿势候补确定部30，生成至少一个姿势候补。姿势候补最好生成多个，下面针对姿势候补生成多个的场合进行说明。比较图像生成部40，从图像输入部10接收输入图像。比较图像生成部40，还根据生成的多个姿势候补，将三维物体模型存储部45获得的三维物体模型投影成二维图像，并生成多个照明条件等与输入图像相近的比较图像。鲜明度特征提取部60，从生成的各比较图像提取反映鲜明度的特征量作为鲜明度特征(以下，称为第1鲜明度特征量)。加权相异度计算部50，对来自图像输入部10的输入图像和比较图像生成部40生成的比较图像的相异度用第1鲜明度特征量加权后的相异度(以下，称为加权相异度)对每个比较图像进行计算。判定部52，根据计算出的多个加权相异度，从多个比较图像中选出与输入图像最相近的(即，最小相异度)比较图像，从选出的比较图像推断最合适的姿势。

如下面详细说明的那样，判定部52，可进行和一个物体(三维物体模型)的对照处理，即一对一对照，和从多个三维物体模型检索与输入图像最相近的物体的1对N物体对照。判定部52，在进行一对一对照的场合，将最小相异度与预定的阈值进行比较，判定是否为同一物体。另一方面，判定部52，在进行1对N对照的场合，选出对多个三维物体模型获得的多个最小相异度中最小的三维物体模型，进行物体对照。

接着，参照图2及图3，对第1实施例的姿势推断中的整体的动作进行详细说明。这里，针对比较输入图像和三维物体模型C_k的场合进行说明。

图3中，首先，从图像输入部10获得输入图像(步骤100)。接着，姿势候补确定部30中，确定多个姿势候补{e_j}(步骤110)。接着，比较图像生成部40，根据确定的姿势候补{e_j}，将从三维物体模型存储部45获得的三维物体模型C_k投影成二维图像，生成多个与输入图像相近的比较图像(步骤120)。接着，鲜明度特征提取部60，从生成的各比较图像提取反映鲜明度的第1鲜明度特征量(步骤130)。加权相异度计算部50，使用第1鲜明度特征量，对每个比较图像，计算输入图像和生成的比较图像的加权相异度D⁽¹⁾k_j(步骤140)。判定部52，根据计算出的加权相异度D⁽¹⁾ _kj，通过从多个比较图像中，选出具有最小相异度Dk＝minD⁽¹⁾ _kj的比较图像，求出最合适的姿势e_j(步骤150)。另外，在图2中，从加权相异度计算部50向着姿势候补确定部30的线表示下面的情况。虽然从上述动作中确定的多个姿势候补{e_j}中选择相异度最小的姿势，但也可以返回姿势候补确定部30，依次变化姿势候补，搜索相异度最小的姿势。

接着，参照图2及图4，对第1实施例的一对一对照中的整体动作进行详细说明。

图4的步骤100到150，与图3中的步骤100到150是相同的处理。步骤150后续的最后的步骤165中，判定部52，比较最小相异度Dk和预定的阈值，判定三维模型C_k的物体和输入图像的物体是否为相同。即，若最小相异度Dk比预定的阈值小，则两者判定为同一物体。

接着，参照图2及图5，对第1实施例的1对N对照中的整体的动作进行详细说明。

首先，由图像输入部10获得输入图像(步骤100)。接着，令三维物体模型的模型编号k为1(步骤160)。步骤110到150，与图3中的步骤110到150是相同的处理。步骤150之后，判定部52将模型编号k增1(步骤161)。接着，转到步骤162，判定部52判断增加的模型编号k是否达到预定的模型数M。增加的模型编号k在比模型数M少的场合，返回步骤110，执行步骤110到150。从而，求出模型编号(k+1)的三维物体模型的最小相异度。步骤162中，增加的模型编号k如果达到模型数M，转到步骤163，判定部52将从M个最小相异度Dk中获得最小的最小相异度Dk的三维物体模型C_k，作为对照结果输出。

接着，对第1实施例的效果进行说明。

第1实施例构成为，将反映从三维物体模型生成的比较图像的鲜明度的第1鲜明度特征量，对输入图像和比较图像的相异度计算进行加权。因而，三维物体模型的姿势和物体与输入图像的姿势和物体不同的场合，容易产生大的相异度，可高精度进行姿势推断及对照。

接着，使用具体的实施例，对第1实施例的姿势推断中的动作进行说明。另外，本实施例中，以人物的脸作为例子进行说明，但是不用说，其他物体也适用。

如图6所示，三维物体模型存储部45存储，物体k的三维物体模型。图6是仅表示三维物体模型存储部45中存储的多个三维物体模型的一个例子。三维物体模型，具有物体表面的三维空间(x，y，z)内的形状P_Q(x，y，z)和纹理T_Q(R，G，B)的信息。Q是表示物体表面上的点的指标，例如与将物体表面上的点从重心投影到以物体的重心作为中心的球体的点Q(s，t)的座标对应。为了推断的高效率化，预先从三维物体模型根据各种各样的照明条件通过计算机图像生成学习用CG图像，通过对该学习用CG图像的主成份分析，预先求出基底图像群。

首先，通过图像输入部10，获得图7所示的输入图像I(r)(图8的步骤100)。这里，r表示像素。

接着，姿势候补确定部30中，确定多个姿势候补{e_j}(步骤110)。姿势候补{e_j}，可与输入图像无关预定，也可以如以下所示。例如，从输入图像及三维物体模型，手动或自动提取眼、鼻、口等的特征点。接着，根据提取的特征点，通过众所周知的计算物体的位置及方向的方法推断大概的姿势，在推断的姿势的附近生成姿势候补{e_j}。计算上述的物体的位置及方向的方法，例如上述的专利文献8所公开的。

接着，比较图像生成部40，根据生成的姿势候补{e_j}，将三维物体模型投影成二维图像，生成多个与输入图像的照明条件相近的比较图像G_kj(r)(步骤120)。这里，与输入图像的照明条件相近的比较图像的生成，如下进行。将预先求出的基底图像群，根据各姿势候补，进行座标变换，用对线性和的系数用最小二乘法求出，使该座标变换后的基底图像的线性和接近该输入图像。针对图7的输入图像生成的比较图像的例子如图8所示，但是浓淡信息未图示。

接着，鲜明度特征提取部60，从比较图像G_kj(r)提取反映鲜明度的第1鲜明度特征量S_kj(步骤130)。鲜明度特征量是表示图像的亮度(色)变化的程度的量。例如，图像G(r)的第1鲜明度特征量S可用图像G(r)的边缘图像G’(r)中的边缘强度在阈值以上的像素数Ee对于全像素数E的比例Ee/E定义。另外，第1鲜明度特征量S，也可以用图像的对比度(亮度值的范围)和亮度值的分散等表示。

接着，加权相异度计算部50，使用第1鲜明度特征量S_kj，求出输入图像I(r)和比较图像G_kj(r)的加权相异度D⁽¹⁾ _kj(步骤140)。加权相异度，从比较图像提取的第1鲜明度特征量大的场合，可设定相异度变小。例如，输入图像I(r)和比较图像G_kj(r)的相异度D⁽⁰⁾ _kj使用欧几里得距离的场合，可通过以下的式子计算。

D⁽⁰⁾ _kj＝∑r{I(r)-G_kj(r)}²

另外，加权相异度D⁽¹⁾ _kj，可通过以下的式子计算。

D⁽¹⁾ _kj＝D⁽⁰⁾ _kj/{1+aS_kj}(其中，a是加权系数)

接着，判定部52，通过从多个比较图像中选出具有最小相异度D⁽¹⁾k＝min_jD⁽¹⁾ _kj的比较图像，求出最合适的姿势e_j(步骤150)。

例如，图8的场合，姿势e₁(比较图像G_k1)是最合适姿势。这里，各比较图像和输入图像的相异度D⁽⁰⁾ _kj即使是由于噪音等变成D⁽⁰⁾ _kj＝{100，95，120}的场合，各比较图像的第1鲜明度特征量S_kj若变成S_kj＝{0.5，0.3，0.2}，则加权相异度D⁽¹⁾ _kj在权重系数a＝1的场合，D⁽¹⁾ _kj＝{67，73，100}。结果，选出比较图像G_k1，姿势e₁成为最合适姿势。

另外，上述的说明，虽然是作为物体的姿势推断及对照系统适用的场合，毋庸置疑，作为不进行对照的物体姿势推断系统或者不进行姿势推断的物体对照系统当然也是可以适用的。这在后述的第2

实施例中也是相同的。

接着，针对本发明的第2实施例进行详细说明。

参照图9，根据本发明的第2实施例，物体的姿势推断及对照系统由图像输入部10、第2鲜明度特征提取部61、三维物体模型存储部45、姿势推断及对照部21构成。姿势推断及对照部21包括姿势候补确定部30、比较图像生成部40、鲜明度特征提取部(第1鲜明度特征提取部)60、加权相异度计算部51、判定部52。

图像输入部10、三维物体模型存储部45、姿势候补确定部30、比较图像生成部40、鲜明度特征提取部60，执行与图2中说明的相同处理。

第2鲜明度特征提取部61，提取反映由图像输入部10获得的输入图像的鲜明度的第2鲜明度特征量。

姿势推断及对照部21，使用图像输入部10获得的输入图像和第2鲜明度特征提取部61获得的输入图像的第2鲜明度特征量，通过进行与三维物体模型存储部45获得的三维物体模型比较，进行姿势推断及对照。

具体地，姿势候补确定部30生成多个姿势候补。比较图像生成部40根据生成的姿势候补，将三维物体模型投影成二维图像，生成多个照明条件等与输入图像相近的比较图像。鲜明度特征提取部60，从生成的各比较图像提取第1鲜明度特征量。加权相异度计算部51，对每个比较图像计算对输入图像和比较图像的相异度，用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的加权相异度。判定部52，根据计算出的加权相异度，通过从多个比较图像中选出与输入图像最相近，即，具有最小相异度的比较图像，推断最合适的姿势。另外，判定部52，在一对一对照的场合，比较最小相异度和预定的阈值，判定三维物体模型的物体和输入图像的物体是否是同一物体。另一方面，在1对N对照的场合，判定部52，如图5说明那样，从M个三维物体模型中选出最小相异度最小的三维物体模型。

接着，参照图9和图10，对第2实施例的姿势推断中的整体的动作进行详细说明。另外，在一对一对照的动作的场合，在图10的步骤151之后，执行图4的步骤165是很清楚的。另一方面，一对N对照的动作的场合，在图10的步骤110之前执行图5的步骤160，在图10的步骤151之后执行图5的步骤161到163也是清楚的。因此，图10的步骤151以后的动作省略说明。

首先，通过图像输入部10获得输入图像(图10的步骤100)。接着，第2鲜明度特征提取部61，提取输入图像的第2鲜明度特征量(步骤101)。接着，姿势候补确定部30中，确定多个姿势候补{e_j}(步骤110)。接着，比较图像生成部40，根据确定的姿势候补，将三维物体模型Ck投影成二维图像，生成多个与输入图像相近的比较图像(步骤120)。接着，鲜明度特征提取部60，从生成的比较图像提取第1鲜明度特征量(步骤130)。加权相异度计算部51，对每个比较图像求出，使用输入图像和生成的比较图像及输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的加权相异度D⁽²⁾ _kj(步骤141)。

例如，令输入图像和比较图像的相异度为D⁽⁰⁾ _kj，输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度D^(e) _kj的场合，加权相异度D⁽²⁾ _kj可由下式计算。

D⁽²⁾ _kj＝D⁽⁰⁾ _kj+bD^(e) _kj(其中，b是加权系数)

第1、第2鲜明度特征量的相异度，可根据欧几里得距离等计算。判定部52，通过从多个比较图像中，选出具有最小相异度的比较图像，求出最合适的姿势e_j(步骤151)。

接着，针对第2实施例的效果进行说明。

第2实施例构成为，用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度，对输入图像和比较图像的相异度计算加权。因而，三维物体模型的姿势和物体与输入图像的姿势和物体不同的场合容易产生大的相异度，可高精度进行姿势推断及对照。

接着，参照图面，针对本发明的第3实施例，进行详细说明。

参照图11，本发明第3实施例的物体对照系统由图像输入部10、物体模型存储部46、对照部22构成。对照部22包括比较图像生成部41、鲜明度特征提取部60、加权相异度计算部50、判定部54。

第3实施例考虑了物体的姿势变动小的场合的对照，省略了第1实施例中的姿势候补确定部30。物体的姿势变动小的场合的对照是指，例如仅对物体正面拍摄的图像进行对照的场合。

图像输入部10和鲜明度特征提取部60执行与图2所示相同的处理。

物体模型存储部46中预先存储多个物体的物体模型。物体模型包含拍摄物体时的各种各样的图像变动的信息。例如，若预先准备各物体的在各种各样的照明条件下的正面脸图像，通过将该正面脸图像作为主分量分析来预先求出基底图像群，则在比较图像生成部41中，通过该基底图像群的合成可生成与输入图像相近的比较图像。

对照部22，通过比较从图像输入部10获得的输入图像和物体模型存储部46获得的物体模型，进行对照。

具体地，比较图像生成部41，从物体模型存储部46获得的物体模型生成照明条件等与输入图像相近比较图像。鲜明度特征提取部60，从生成的比较图像提取反映鲜明度的第1鲜明度特征量。加权相异度计算部50，计算对输入图像和生成的比较图像的相异度用第1鲜明度特征量加权后的加权相异度。另外，判定部54，在一对一对照的场合，比较计算出的加权相异度和预定的阈值，判定物体模型的物体和输入图像的物体是否是同一物体。另一方面，在1对N对照的场合，判定部54，从多个物体模型中选出具有最小的最小相异度的物体模型。

接着，参照图11及图12，对第3实施例的一对一对照中的整体的动作进行详细说明。

首先，通过图像输入部10获得输入图像(图12的步骤100)。接着，比较图像生成部41，从物体模型存储部46获得的物体模型C_k生成多个与输入图像相近的比较图像(步骤121)。接着，鲜明度特征提取部60从各比较图像提取反映鲜明度的第1鲜明度特征量(步骤130)。加权相异度计算部50，对每个比较图像计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的加权相异度Dk＝D⁽¹⁾k(步骤142)。最后，判定部54比较计算出的加权相异度和预定的阈值，判定物体模型的物体和输入图像的物体是否是同一物体(步骤165)。即，计算出的加权相异度比预定的阈值小的场合，判定为相同。

1对N对照的场合，除了图5中说明的1对N对照中的三维物体模型替代成物体模型外，其余基本相同，所以省略说明。

接着，针对第3实施例的效果进行说明。

第3实施例构成为，用第1鲜明度特征量对输入图像和比较图像的相异度计算加权。因而，物体模型的物体和输入图像的物体不同的场合容易产生大的相异度，所以可高精度进行对照。

接着，参照图面，对本发明的第4实施例进行详细说明。

参照图13，本发明的第4实施例的物体对照系统，由图像输入部10、第2鲜明度特征提取部61、物体模型存储部46、对照部23构成。对照部23包括比较图像生成部41、鲜明度特征提取部(第1鲜明度特征提取部)60、加权相异度计算部51、判定部54。

第4实施例与第3实施例相同，考虑物体的姿势变动小的场合的对照，省略了第2实施例中的姿势候补确定部30。物体的姿势变动小的场合的对照是指，如前所述，例如对仅正面拍摄物体图像，进行对照的场合。

图像输入部10、第2鲜明度特征提取部61、加权相异度计算部51，执行与图9中说明的第2实施例中的各部相同的处理。另一方面，物体模型存储部46、比较图像生成部41、鲜明度特征提取部60执行与图11说明的第3实施例中的各部相同的处理。

接着，参照图13及图14，对第4实施例的一对一对照的整体的动作进行详细说明。

首先，通过图像输入部10获得输入图像(图14的步骤100)。接着，第2鲜明度特征提取部61，从输入图像提取反映鲜明度的第2鲜明度特征量(步骤101)。接着，比较图像生成部41，从物体模型存储部46获得的物体模型C_k生成多个与输入图像相近的比较图像(步骤121)。接着，鲜明度特征提取部60，从生成的比较图像提取反映鲜明度的第1鲜明度特征量(步骤130)。加权相异度计算部51，对每个比较图像，计算使用输入图像和生成的比较图像及输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的加权相异度Dk＝D⁽¹⁾k(步骤143)。最后，判定部54，比较计算出的加权相异度和预定的阈值，判定物体模型的物体和输入图像的物体是否是同一物体(步骤165)。

一对N对照的场合，除了图5中说明的1对N对照中的三维物体模型替代成物体模型，其余基本相同，所以省略说明。

接着，对第4实施例的效果进行说明。

第4实施例构成为，用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度，对输入图像和比较图像的相异度计算加权。因而，物体模型的物体和输入图像的物体不同的场合，容易产生大的相异度，可高精度进行对照。

前述的第2及第4实施例中，虽然令鲜明度特征量为一维的特征量，也可以是多维的特征量。例如，也可令边缘图像为多维的鲜明度特征量，对每个像素或每个小区域求出鲜明度特征量的相异度。另外，图像是不鲜明的场合，由于不能稳定地提取特征点，也可将反映鲜明度的鲜明度特征量作为特征点使用。特征点是脸的场合，眼、鼻、口等的位置为一般性的，可用众所周知的脸特征提取方法自动地提取。脸特征提取方法，例如公开在「脸特征点的自动提取和追踪」(稻田等人)(2001年1月，电子信息通信学会信学技法，PRMU2000-151)。特征点的相异度，将特征点的座标值作为特征量，可通过欧几里得距离等计算。

而且，任意一个实施例中，也可将提取的特征点数作为鲜明度特征量使用。

任意一个实施例中，三维物体模型或物体模型预先被存储，图像从图像输入部输入。但是，本发明中将图像预先存储在存储装置，三维物体模型或物体模型通过其他输入部输入的场合也可适用。另外，本发明对图像和三维物体模型或物体模型的双方通过输入部输入的场合也可适用。

本发明的物体的姿势推断及对照系统，当然可由硬件实现构成要素的各部分的功能。另一方面，也可由软件实现上述各部的功能。即，将执行上述各部的功能的姿势推断及对照程序(应用程序)加载到计算机处理装置的存储器中，根据姿势推断及对照程序，可实现控制计算机处理装置。该姿势推断及对照程序存储在磁盘、半导体存储器等其他记录媒体中，从该记录媒体装载到计算机的处理装置，控制计算机处理装置的动作。从而，实现上述各项功能。对物体的姿势推断程序、物体的对照程序也一样。

根据本发明，可获得以下的效果。

对在各种各样的姿势和照明的条件下拍摄的物体的图像，可高精度进行姿势推断及对照。第1理由是，从物体模型生成的多个比较图像中提取反映鲜明度的第1鲜明度特征量，通过附加到相异度计算中，物体模型的物体和输入图像的物体不同的场合，容易产生大的相异度。生成比较图像的物体模型和输入图像是相同物体，且推断姿势符合的场合，生成的比较图像可期望是鲜明的图像。因而，通过将反映鲜明度的第1鲜明度特征量用于相异度计算，可提高姿势推断及对照精度。

第2理由是，通过从比较图像和输入图像分别提取反映鲜明度的第1、第2鲜明度特征量，并附加到相异度计算，同样地，物体模型的物体和输入图像的物体不同的场合，容易产生大的相异度。生成比较图像的物体模型与输入图像是相同物体，且推断姿势符合的场合，生成的比较图像的鲜明度可期望与输入图像的鲜明度接近。因而，通过将反映鲜明度的第1、第2鲜明度特征量用于相异度计算，可提高姿势推断及对照精度。

Claims (29)

1.一种姿势推断系统，比较输入图像和三维物体模型，进行物体的姿势推断，其特征在于具备：

姿势候补确定部，生成至少一个姿势候补；

比较图像生成部，根据生成的姿势候补，将三维物体模型投影成二维图像，并生成多个与输入图像相近的比较图像；

第1鲜明度特征提取部，从多个比较图像分别提取反映鲜明度的第1鲜明度特征量；

加权相异度计算部，计算对输入图像和比较图像的相异度用上述第1鲜明度特征量加权后的多个加权相异度；

判定部，从多个加权相异度中选出具有最小加权相异度的比较图像，根据选出的比较图像推断最合适的姿势。

2.权利要求1所述的姿势推断系统中，其特征在于：

具备从输入图像提取反映鲜明度的第2鲜明度特征量的第2鲜明度特征提取部，

上述加权相异度计算部，计算对输入图像和比较图像的相异度用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的多个加权相异度。

3.权利要求1所述的姿势推断系统中，其特征在于：

上述加权相异度计算中，鲜明度越高的图像加权越重。

4.权利要求2所述的姿势推断系统中，其特征在于：

上述第1、第2鲜明度特征量是，边缘强度在阈值以上的像素数的比率、亮度值的范围、亮度值的分散或特征点数。

5.权利要求2所述的姿势推断系统中，其特征在于：

上述第1、第2鲜明度特征量是边缘图像或特征点。

6.一种使用权利要求1所述的姿势推断系统的姿势推断及对照系统，其特征在于：

上述判定部，还将推断的最合适姿势的最小加权相异度与预定的阈值进行比较，进行物体对照。

7.一种使用权利要求2所述的姿势推断系统的姿势推断及对照系统，其特征在于：

上述判定部，还将推断的最合适姿势的最小相异度与预定的阈值进行比较，进行物体对照。

8.权利要求6所述的姿势推断及对照系统中，其特征在于：

上述加权相异度计算中，鲜明度越高的图像加权越重。

9.权利要求7所述的姿势推断及对照系统中，其特征在于：

上述第1、第2鲜明度特征量是，边缘强度在阈值以上的像素数的比率、亮度值的范围、亮度值的分散或特征点数。

10.权利要求7中所述的姿势推断及对照系统中，其特征在于：

上述第1、第2鲜明度特征量是边缘图像或特征点。

11.一种对照系统，比较输入图像和物体模型，进行物体的对照，其特征在于具备：

比较图像生成部，从物体模型生成多个与输入图像相近的比较图像；

第1鲜明度特征提取部，从多个比较图像分别提取反映鲜明度的第1鲜明度特征量；

加权相异度计算部，计算对输入图像和比较图像的相异度用上述第1鲜明度特征量加权后的多个加权相异度；

判定部，通过将计算出的多个加权相异度与预定的阈值进行比较，进行物体的对照。

12.权利要求11所述的对照系统中，其特征在于：

还具备第2鲜明度特征提取部，从输入图像提取反映鲜明度的第2鲜明度特征量，

上述加权相异度计算部，计算对输入图像和比较图像的相异度用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的多个加权相异度。

13.权利要求11所述的对照系统中，其特征在于：

上述加权相异度计算中，鲜明度越高的图像加权越重。

14.权利要求12所述的对照系统中，其特征在于：

上述第1、第2鲜明度特征量是，边缘强度在阈值以上的像素数的比率、亮度值的范围、亮度值的分散或特征点数。

15.权利要求12所述的对照系统中，其特征在于：

上述第1、第2鲜明度特征量是边缘图像或特征点。

16.一种姿势推断方法，对输入图像和三维物体模型进行比较，进行物体的姿势推断，其特征在于：

生成至少一个姿势候补；

根据生成的姿势候补，将三维物体模型投影成二维图像，并生成多个与输入图像相近的比较图像；

从多个比较图像分别提取反映鲜明度的第1鲜明度特征量；

计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度。

17.权利要求16所述的姿势推断方法中，其特征在于：

还从输入图像提取反映鲜明度的第2鲜明度特征量，

上述加权相异度计算中，计算对输入图像和比较图像的相异度用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的多个加权相异度。

18.一种使用权利要求16所述的姿势推断方法的姿势推断及对照方法，其特征在于：

还从多个加权相异度中选出具有最小的加权相异度的比较图像，根据选出的比较图像，推断最合适的姿势。

19.一种使用权利要求17所述的姿势推断方法的姿势推断及对照方法，其特征在于：

还从多个加权相异度中选出具有最小的加权相异度的比较图像，根据选出的比较图像，推断最合适的姿势。

20.一种物体相异度计算方法，用于比较输入图像和物体模型，其特征在于：

从物体模型生成多个与输入图像相近的比较图像；

从多个比较图像分别提取反映鲜明度的第1鲜明度特征量；

计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度。

21.权利要求20的物体相异度计算方法中，其特征在于：

还从输入图像提取反映鲜明度的第2鲜明度特征量，

上述加权相异度计算中，计算对输入图像和比较图像的相异度用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的多个加权相异度。

22.一种使用权利要求20所述的物体相异度计算方法的物体对照方法，其特征在于：

还通过比较计算出的多个加权相异度，进行对照。

23.一种使用权利要求21所述的物体相异度计算方法的物体对照方法，其特征在于：

还通过比较计算出的多个相异度，进行对照。

24.一种姿势推断程序，使计算机比较输入图像和三维物体模型，并执行物体的姿势推断，其特征在于执行：

姿势候补确定处理，生成至少一个姿势候补；

比较图像生成处理，根据生成的姿势候补，将三维物体模型投影成二维图像，生成多个与输入图像相近的比较图像；

第1鲜明度特征提取处理，从多个比较图像分别提取反映鲜明度的第1鲜明度特征量；

加权相异度计算处理，计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度；

姿势推断处理，从多个加权相异度中选出具有最小的加权相异度的比较图像，根据选出的比较图像，推断最合适的姿势。

25.权利要求24所述的姿势推断程序，其特征在于：

还执行从输入图像提取反映鲜明度的第2鲜明度特征量的第2鲜明度特征提取处理，

上述加权相异度计算处理中，计算对输入图像和比较图像的相异度用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的多个加权相异度。

26.一种使用权利要求24所述的姿势推断程序的姿势推断及对照程序，其特征在于：

上述姿势推断处理中，还通过将推断的最合适姿势的最小加权相异度与预定的阈值进行比较，进行物体对照。

27.一种使用权利要求25所述的姿势推断程序的姿势推断及对照程序，其特征在于：

上述姿势推断处理中，还通过推断的最合适姿势的最小加权相异度与预定的阈值进行比较，进行物体对照。

28.一种对照程序，使计算机比较输入图像和物体模型物体，执行对照，其特征在于执行：

比较图像生成处理，从物体模型生成多个与输入图像相近的比较图像；

第1鲜明度特征提取处理，从多个比较图像分别提取反映鲜明度的第1鲜明度特征量；

加权相异度计算处理，计算对输入图像和比较图像的相异度用第1鲜明度特征量加权后的多个加权相异度；

对照处理，通过比较计算出的多个加权相异度，进行对照。

29.权利要求28所述的对照程序中，其特征还在于：

执行从输入图像提取反映鲜明度的第2鲜明度特征量的第2鲜明度特征提取处理，

上述加权相异度计算处理中，计算对输入图像和比较图像的相异度用输入图像的第2鲜明度特征量和比较图像的第1鲜明度特征量的相异度加权后的多个加权相异度。

Images