CN100412885C - 图像识别装置及其方法 - Google Patents

Abstract

根据本发明的实施例，一种从具有三维形状的对象的拍摄图像对该对象进行图像识别的方法，包括：输入图像；存储三维形状信息作为对象的三维模型的初始；使用输入图像和三维形状信息生成三维模型；生成在不同方向上三维模型投影到平面上的多个图案图像；从多个图案图像提取特征量；保存对象的字典特征量；以及计算所提取的特征量和对象的字典特征量之间的相似度，以便根据所计算的相似度识别对象。

Description

图像识别装置及其方法

技术领域

本发明涉及图像识别装置和图像识别方法，其中通过使用输入图像和三维形状信息生成三维模型，并且执行识别处理。

背景技术

使用脸面图像的识别在安全上是一种非常有用的技术，因为与物理钥匙或密码不同，不用担心丢失或遗忘。但是，脸面的形状随着用户的站立位置或者体型的个体差异而改变，并且脸面的方向也不恒定，识别时的照射条件也不能事先确定。因此，为了高精度地执行识别，吸收由这些情况引起的脸面图案的变化是必不可少的。

到目前为止，作为使用脸面图像进行个人身份识别的技术，存在例如由O.Yamaguchi和K.Fukui公开的一种方法(““Smartface”-A RobustFace Recognition System under Varying Facial Pose and Expression”，IEICE Trans.On Information and Systems Vol.E86-D，No.1，pp.37-44，2003。这相应于Yamaguchi，Fukui的“Face Recognition System“Smartface”Robust to Change in Face Direction and Expression”SINGAKURON(D-II)Vol.J84-D-II，No.6，pp.1045-1052，2001的英文译文)。按照这种方法，通过使用运动图像来抑制脸面图案的变化，并且进行识别。为了高精度地执行识别，从运动图像收集各种个人脸面图案非常重要，但是，这存在图案收集依赖用户自己的脸面方向的问题。除此之外，由于对于输入和字典两者都需要多个图像，因此例如在只有一幅照片可以用于识别的情形下该方法不能应用。

根据JP-2002-157595A(日本专利申请公开2002-157595)的方法，通过使用范围取景器(range finder)事先执行测量，以便拍摄脸面的三维形状，并且在运动和旋转脸面形状以使其与检查对象具有相同的脸面方向时执行检查。由于针对每一个个体拍摄了精确的形状，因此能够在脸面的方向和大小正确时执行检查，但却需要特殊设备以便拍摄形状。除此之外，对于已经通过普通相机拍摄的图像，例如在护照或许可证上的图像，由于不能获得形状，因此该方法不能应用。

根据V.Blanz和T.Vetter(“A morphable model for the synthesis of3-D faces”，Proc.SIGGRAPH，1999，pp.187-194)的方法，事先拍摄大量脸面形状，通过线性组合生成与输入图像最相似的模型，并且能够执行识别。尽管脸面的形状、方向和大小以及照射条件能够从一个图像进行估计，但是由于所生成的脸面模型的三维形状信息取决于事先拍摄的脸面形状，因此该方法并必然地能够高精度地应用到任意脸面。除此之外，由于估计大量参数并进行身份识别，因此需要大量处理时间。

如上所述，为了吸收人脸面图案的各种变化，尽管现有技术中通过某些方法收集或生成各种脸面图案并进行身份识别的方法是有效的，但是存在需要大量图像、需要特殊设备、以及可适用脸面受到限制的问题。

发明内容

为了解决现有技术的上述问题作出了本发明，并且本发明的目的是提供一种图像识别装置、图像识别方法和图像识别程序产品，其能够通过使用普通相机从任意数量的图像并且使用三维形状信息通过三维脸面模型生成应用到任意脸面。

根据本发明的实施例，提供一种图像识别装置，使用通过拍摄具有三维形状的对象所获得的图像并且执行该对象的图像识别，包括：图像输入单元，图像输入其中；三维形状信息保存单元，配置以存储三维形状信息作为对象的三维模型的初始；模型生成单元，配置以使用输入图像和三维形状信息生成三维模型；图案生成单元，配置以生成在不同方向上三维模型投影到平面上的多个图案图像；特征提取单元，配置以从多个图案图像提取特征量；登记字典保存单元，配置以登记对象的特征量；以及相似度计算单元，配置以计算所提取的特征量和所登记的对象的特征量之间的相似度，以便根据所计算的相似度识别对象。

根据本发明的实施例，提供一种图像识别装置，使用通过拍摄具有三维形状的对象所获得的图像并且执行该对象的图像识别，包括：图像输入单元，图像输入其中；三维形状信息保存单元，配置以存储三维形状信息作为对象的三维模型的初始；模型生成单元，配置以使用输入图像和三维形状信息生成三维模型；纹理扰动分析单元，配置以将两维变化添加到三维模型上并生成多个图案图像；特征提取单元，配置以从多个图案图像提取特征量；登记字典保存单元，配置以登记对象的特征量；以及相似度计算单元，配置以计算所提取的特征量和所登记的对象的特征量之间的相似度，以便根据所计算的相似度识别对象。

根据本发明的实施例，通过使用三维形状信息生成三维模型，能够从任意数量的图像和使用普通相机进行高精度的识别。

附图说明

图1示出本发明的第一实施例的结构方框图。

图2是从三维模型的图案图像生成的概念图。

图3示出本发明的第二实施例的结构方框图。

图4是从纹理图像的图案图像生成的概念图。

图5示出本发明的第三实施例的结构方框图。

图6示出本发明的第四实施例的结构方框图。

图7示出本发明的第五实施例的结构方框图。

图8是从输入形状的形状规格化的概念图。

具体实施方式

(第一实施例)

下面将参照图1和2描述本发明的第一实施例的图像识别装置10。

(1)图像识别装置10的结构

如图1的方框图所示，该实施例的图像识别装置10包括：图像输入单元12，用于输入目标人的脸面；对象检测单元14，用于从输入图像检测人的脸面；模型生成单元16，用于使用所检测的脸面和事先保存的三维形状信息生成三维脸面模型；图案生成单元18，用于从所生成的三维脸面模型生成脸面图案图像；特征提取单元20，用于从所生成的脸面图案图像提取用以识别的特征量；以及相似度计算单元24，用于计算对事先登记的登记字典22的相似度。

下面将参照图1描述图像识别装置10的操作。

(2)图像输入单元12

首先，图像输入单元12输入脸面图像作为处理对象。作为构成图像输入单元12的设备示例，可以使用USB相机或数字相机。除此之外，也可以使用存储事先拍摄并保存的脸面图像数据的记录设备、录像带、DVD等，或者也可以使用用于扫描脸面照片的扫描仪。图像也可以通过网络输入。

通过图像输入单元12所获得的图像顺次发送给对象检测单元14。

(3)对象检测单元14

对象检测单元14检测图像中脸面部分的坐标作为脸面特征点。尽管可以使用任何方法来检测脸面特征点，可以通过使用例如Fukui和Yamaguchi(“Facial Feature Extraction Method based on Combination ofShape Extraction and Pattern Matching”SINGAKURON(D-II)Vol.J80-D-II，No.9，pp.2170-2177，1997)的方法来执行检测。

被检测的特征点可以任意为瞳孔、鼻孔、嘴角、眼外框、眼内框、鼻尖、嘴轮廓、嘴中点、眉梢、脸面轮廓、以及下额，只要它们为不在同一平面上的四点或更多点即可。除此之外，待输出的特征点可以为多组点。例如，针对所检测的特征点在任意方向上受扰的不同特征点进行计算并输出。此时，模型生成和图案生成的处理按照输出的特征点的组数执行，并且在特征提取单元20中执行综合，以便独立于所输出的特征点的组数执行处理。

(4)模型生成单元16

模型生成单元16使用事先保存的三维形状信息并生成三维脸面模型。模型生成单元16也可以使用其他人的三维形状信息。

在三维形状信息中，存储三维形状的坐标，其变为作为识别对象的人脸面的三维模型的初始，特别地，存储脸面特征点例如瞳孔、鼻孔、以及嘴角的各个点的坐标(xi’，yi’，zi’)。

使用从对象检测单元14获得的脸面特征点(xi，yi)和模型上相应的脸面特征点(xi’，yi’，zi’)，并且按照下面的表达式(1)、表达式(2)和表达式(3)定义相机运动矩阵M。

W＝|x_i-xy_i-y|^T                    (1)

S＝[x_i′-x′y_i′-y′z_i′-z′]^T    (2)

W＝MS    (3)

(x，y)(A)

(x′，y′，z′)(B)

其中，表达式(A)表示输入图像上特征点的重心，而表达式(B)表示三维脸面模型上特征点的重心。通过计算表达式(C)的矩阵作为表达式(3)中的矩阵S的广义逆矩阵，能够根据表达式(4)计算相机运动矩阵M。

接着，通过使用所计算的相机运动矩阵M，能够从输入图像估计三维脸面模型的纹理。通过表达式(5)能够将三维模型上的任意坐标(x′，y′，z′)变换成所对应的输入图像上的坐标(s，t)。顺便提及的是，纹理指的是添加在每一个坐标上的图像信息，比如颜色。

$\left[\begin{array}{c}s\\ t\end{array}\right]=M\left[\begin{array}{c}{x}^{\′}-\stackrel{\‾}{x^{\′}}\\ y^{\′}-\stackrel{\‾}{y^{\′}}\\ z^{\′}-\stackrel{\‾}{z^{\′}}\end{array}\right]---\left(5\right)$

相应地，在三维模型上坐标(x′，y′，z′)处纹理图像的像素值T(x′，y′，z′)通过使用输入图像上的像素值I(x，y)和表达式(6)定义。

T(x′，y′，z′)＝I(s+x，t+y)(6)

可以针对表达式(5)和(6)通过对纹理图像上的所有像素执行计算来计算纹理图像。纹理图像和三维形状信息构成三维脸面模型。像素值T(x′，y′，z′)可以使用输入图像上靠近坐标(s，t)的像素值通过插补来计算。

(5)图案生成单元18

接着，图案生成单元18使用所获得的三维脸面模型并生成脸面图案图像。

使三维脸面模型具有任意的姿势，通过使用计算机图形技术进行着色(rendering)，并且能够针对任意姿势提取脸面图案图像。在姿势进行各种变化时生成多个脸面图案图像。图2示出在三维模型的姿势变化时生成脸面图案图像的情况下的概念图。顺便提及的是，脸面图案图像是在多个不同的方向上通过将脸面的三维模型投影到到平面上所获得的图像。

虽然姿势可以任意方式变化，然而例如脸面可以在垂直方向或水平方向上在-5°到+5°的范围内按照每度变化，或者模型的角度从相机运动矩阵计算而角度相对于模型的角度变化，并且能够提取脸面图案图像。

作为角度的参数，在作为着色的结果能够看见脸面的范围内可以使用任何值。

顺便提及的是，由于在着色之后脸面特征点的坐标可以从几何学上计算，因此脸面图案图像可以从着色的结果并且相对于任意脸面特征点提取。

(6)特征提取单元20

接着，特征提取单元20提取识别所需的特征。

由于多个脸面图案图像由图案生成单元18获取，这些被看作例如具有像素值作为元素的特征向量，执行公知的K-L扩展，并将所获得的正交基向量用作与输入图像相对应的个人的特征量。

在对个人进行登记时，记录该特征量。可以执行特征向量的元素的任意选择方式或任意生成方法。除此之外，可以对特征向量执行任意图像处理，例如差分处理或直方图均衡，并且特征量生成方法不仅限于此。

(7)相似度计算单元24

之后，相似度计算单元24计算事先计算的特征量和在特征提取单元20中计算的输入的特征量之间的相似度。

虽然相似度计算可以使用任何方法，然而例如使用在背景技术部分中提到的O.Yamaguchi和K.Fukui提出的交互子空间方法。通过该识别方法，可以计算脸面特征量之间的相似度。根据特定的预定阈值判定相似度，并且识别个人。阈值可以是通过事先的识别试验确定的值，或者可以根据个人的特征量增加/减小。

(8)该实施例的效果

如上所述，根据第一实施例的图像识别装置10，通过使用三维形状信息生成三维脸面模型，可以从任意数量的图像并使用普通相机进行高精度的识别。

(第二实施例)

下面将参照图3和4描述本发明的第二实施例的图像识别装置10。

(1)图像识别装置10的结构

如图3的方框图所示，该实施例的图像识别装置10包括：图像输入单元12，用于输入目标人的脸面；对象检测单元14，用于从输入图像检测人的脸面；模型生成单元16，用于使用所检测的脸面和事先保存的三维形状信息生成三维脸面模型；纹理扰动分析单元26，用于从纹理生成多个脸面图案图像；特征提取单元20，用于从所生成的脸面图案图像提取用以识别的特征量；以及相似度计算单元24，用于计算对事先登记的登记字典22的相似度。

顺便提及的是，图像输入单元12、对象检测单元14、三维形状信息、模型生成单元16、特征提取单元20、登记字典22、以及相似度计算单元24与第一实施例中描述的相同。

(2)纹理扰动分析单元26

下面将描述该实施例的特有部分纹理扰动分析单元26。

纹理扰动分析单元26使用模型生成单元16获得的纹理，并且生成多个脸面图案图像。由于建立了所获得的纹理上的坐标和三维脸面模型上的坐标之间的对应关系，因此能够得到纹理中脸面特征点的坐标。通过使用该纹理中的脸面特征点的坐标将脸面图案图像切出。

此时，对于脸面特征点，不仅在从对象检测单元14获得的脸面特征点中，而且在模型生成时所有的三维坐标中建立对于关系，从而也可以再次选择脸面的任意点作为脸面特征点。

对于脸面图案图像的切出方法，可以使用任何切出方法，例如可以进行规格化以便两个瞳孔之间的间隔变得相等、或者特征点的重心位于图案图像的中心。

除此之外，可以在左、右、上、下等的任意方向上扩展/压缩图案图像。

除此之外，在切出时可以通过在任意方向上扰动脸面特征点的坐标来生成不同的脸面图案图像。扰动量可以在任意范围内。

除此之外，对于要被扰动的脸面特征点的种类，可以任意组合一种或所有的特征点，并且对于施加扰动的方向，不仅可以在垂直于或平行于图像的方向上、而且可以在任意方向上施加扰动。例如，当选择双眼作为脸面特征点时，在水平和垂直的各自方向上施加-2到+2像素的扰动的情况下，能够从模型生成单元16获得的纹理中生成625个脸面图案图像。图4示出在纹理图像一维变化的情况下的概念图。

(3)该实施例的效果

如上所述，根据第二实施例的图像识别装置10，从所生成的三维脸面模型中，不是根据计算机图形技术执行着色，而是从纹理中生成多个脸面图案图像，从而能够高速地进行识别。

(第三实施例)

下面将参照图5描述本发明的第三实施例的图像识别装置10。

(1)图像识别装置10的结构

如图5的方框图所示，该实施例的图像识别装置10包括：图像输入单元12，用于输入目标人的脸面；对象检测单元14，用于从输入图像检测人的脸面；形状选择单元28，用于使用事先保存的三维形状信息和来自对象检测单元14的结果，选择合适的三维形状信息；模型生成单元16，用于使用形状选择单元28所获得的三维形状信息生成三维脸面模型；图案生成单元18，用于从所三维脸面模型生成脸面图案图像；特征提取单元20，用于从所生成的脸面图案图像提取用以识别的特征量；以及相似度计算单元24，用于计算对事先登记的登记字典22的相似度。

顺便提及的是，图像输入单元12、对象检测单元14、三维形状信息、模型生成单元16、图案生成单元18、特征提取单元20、登记字典22、以及相似度计算单元24与第一实施例中描述的相同。

(2)形状选择单元28

下面将描述该实施例的特有部分形状选择单元28。

形状选择单元28根据从对象检测单元14获得的特征点和事先保存的多个三维形状信息选择合适的三维形状信息。

当从对象检测单元14获得特征点时，针对这些特征点间的位置关系，还在三维形状中事先测量等价特征点之间的距离，并且输出多个三维形状中距离最接近的一个。

特征点和距离计算的标准可以任意方式选择。例如，可以计算眼睛和鼻子之间的距离，并且输出其中距离最接近的三维形状。

除此之外，在不仅给出脸面的几何构造，而且给出男性和女性、种族等作为信息的情况下，可以根据这些信息，为男性和女性、种族等中的每一个准备三维形状，并且输出适当的三维形状。此时，可以使用图案匹配等自动执行男性和女性、种族等的判别。

除此之外，待输出的三维形状不仅限于一个，而是可以输出选择三维形状时满足阈值的那些三维形状或者所有的三维形状，针对所输出的模型执行诸如模型生成之类的随后的处理，并且可以在特征提取单元20中结合它们。在特征提取单元20中，由于可以结合来自图案生成单元18的多个图像，因此不必考虑待输出的模型的数量和图案图像的数量，并且可以完全类似于一个模型的情况执行特征提取。

(3)该实施例的效果

如上所述，根据第三实施例的图像识别装置10，通过选择用于输入图像的适当的三维形状，能够高精度地进行识别。

(第四实施例)

下面将参照图6描述本发明的第四实施例的图像识别装置10。

(1)图像识别装置10的结构

如图6的方框图所示，该实施例的图像识别装置10包括：图像输入单元12，用于输入目标人的脸面；对象检测单元14，用于从输入图像检测人的脸面；模型生成单元16，用于使用所检测的脸面和事先保存的三维形状信息生成三维脸面模型；图案生成单元18，用于从所三维脸面模型生成脸面图案图像；图案图像验证单元30，用于使用所生成的脸面图案图像验证对象检测单元14所获得的特征点；特征提取单元20，用于从所生成的脸面图案图像提取用以识别的特征量；以及相似度计算单元24，用于计算对事先登记的登记字典22的相似度。

顺便提及的是，图像输入单元12、对象检测单元14、三维形状信息、模型生成单元16、图案生成单元18、特征提取单元20、登记字典22、以及相似度计算单元24与第一实施例中描述的相同。

(2)图案图像验证单元30

下面将描述该实施例的特有部分图案图像验证单元30。

图案图像验证单元30使用模型生成单元16获得的脸面模型，并且验证在特征提取单元20中获得的脸面特征点是否正确。

从表达式(4)计算的相机运动矩阵估计模型的角度作为参考角度，并且将模型生成单元16中获得的三维脸面模型旋转到参考角度，以及根据计算机图形技术进行着色。

此时，在检测的特征点偏移正确位置并且被错误地提取的情况下，着色结果明显与图像输入单元12所输入的图像或标准脸面图案不同，并将其输出。验证该图案图像中的差异，在超出特定阈值的情况下，判定特征点检测错误并再次执行特征点检测。针对图案图像中的差异，可以使用任何方法。例如，可以使用两个图案图像的亮度差的绝对值之和(SAD：绝对差之和)等。

除此之外，可以对整个着色的图案图像进行验证，或者可以仅对关注特征点的近邻进行验证，或者也可以组合特征点的多个近邻。

(3)该实施例的效果

如上所述，根据第四实施例的图像识别装置10，可以根据所生成的三维脸面模型验证所检测的脸面特征点，从而能够高精度地进行识别。

(第五实施例)

下面将参照图7和图8描述本发明的第五实施例的图像识别装置10。

(1)图像识别装置10的结构

如图7的方框图所示，该实施例的图像识别装置10包括：图像输入单元12，用于输入目标人的脸面；对象检测单元14，用于从输入图像检测人的脸面；形状输入单元72，用于输入目标人的脸面的三维形状；形状规格化单元76，用于使用事先保存的参考形状信息74规格化所输入的脸面形状；模型生成单元16，用于使用所检测的脸面和规格化的三维形状信息78生成三维脸面模型；图案生成单元18，用于从所三维脸面模型生成脸面图案图像；特征提取单元20，用于从所生成的脸面图案图像提取用以识别的特征量；以及相似度计算单元24，用于计算对事先登记的登记字典22的相似度。

顺便提及的是，图像输入单元12、对象检测单元14、模型生成单元16、图案生成单元18、特征提取单元20、登记字典22、以及相似度计算单元24与第一实施例中描述的相同。

(2)形状输入单元72

在形状输入单元72中，输入由能够测量对象的三维形状的设备例如范围取景器所获得的目标人的脸面的三维形状(图8中的输入形状82)。由于一些范围取景器不仅能够获取三维形状，而且能够同时获取拍摄对象的图像，因此图像输入单元12和形状输入单元72可以为同一设备。除此之外，可以通过立体方法从多个图像获得所述形状，并且获取识别对象的形状的方法不仅限于这些方法。

假定输入到该实施例的形状输入单元72的形状是其中深度(z坐标值)为像素值的图像(深度图像)。

顺便提及的是，可以将描述多个构成该形状的顶点和这些顶点之间的耦接关系的网状结构(例如VRML(虚拟现实造型语言))输入到形状输入单元72。在这种情况下，形状输入单元72从网状结构的多个顶点通过线性函数、样条函数等在任意坐标内插深度来获取深度图。

(3)形状规格化单元76

图8是根据输入形状82的形状规格化的概念图。形状规格化单元76使用事先保存的参考形状信息74规格化形状输入单元72作为三维形状输入的输入形状72，并且生成三维形状信息78。

首先，形状规格化单元76提取输入形状82上的特征点。被提取的特征点的类型可以任意为瞳孔、鼻孔、嘴角、眼外框、眼内框、鼻尖、嘴轮廓、嘴中点、眉梢、脸面轮廓、以及下颏，只要它们为不在同一平面上的四点或更多点即可。它们可以与在对象检测单元14中提取的特征点相同，也可以不同。

在建立了输入图像84和输入形状82之间的对应关系的情况下，可以将对象检测单元14从输入图像84所检测的特征点(图8的特征点85)用于输入形状上的特征点。在没有建立输入图像84和输入形状82之间的对应关系的情况下，通过例如图案匹配来提取输入形状82上的特征点。或者，可以通过使用点击设备由个人指定特征点。

如上所述，可以将输入形状82看作图像。因此，形状规格化单元76使用从输入形状82或输入图像84提取的特征点85、输入形状82、以及事先保存的参考形状信息74，执行与模型生成单元16相同的处理，从而能够生成模型。

所生成的模型的纹理图像是其中z坐标表示像素值的图像。形状规格化单元76将此变换成三维形状信息78作为规格化三维形状。当生成输入图像84的脸面模型时，该实施例的模型生成单元16使用该三维形状信息78。

顺便提及的是，作为参考形状信息74，可以使用任意信息。例如，可以使用在第一实施例中描述的作为识别对象的个人的普通脸面的三维形状。除此之外，通过执行迭代处理，从规格化的输入形状的平均生成新的参考形状，并且再次生成输入形状，也能够提高规格化的精度。

(4)该实施例的效果

如上所述，根据第五实施例的图像识别装置10，使用参考形状信息74针对每一个个体规格化三维形状信息，并根据规格化的三维形状信息78为每一个个体生成脸面模型，由此能够高精度地进行识别。

(变型示例)

在输入图像单元中，可以从能够测量三维形状例如范围取景器的设备输入具有深度为像素值的图像(深度图)。在这种情况下，登记字典也使用从深度图生成的特征量，并执行相似度的计算。

在模型生成单元，当相机运动矩阵从表达式(3)获取时，不仅可以使用获取广义逆矩阵的方法，而且也可以使用任意其它方法。例如，使用作为鲁棒估计的一种的M估计，并且可以按照下式获取相机运动矩阵。

ε_M＝||W-MS||(7)

$\tilde{M}=\arg \underset{M}{\min }\mathrm{\ρ}\left({\mathrm{\ϵ}}_M\right)---\left(8\right)$

$\mathrm{\ρ}\left(x\right)=\frac{x^2}{\mathrm{\ρ}+x^2}---\left(9\right)$

当相机运动矩阵的估计误差ε_M按照表达式(7)所定义时，如表达式(8)所示，根据评价参考函数ρ(x)求解使估计误差最小化的

以便获取相机运动矩阵。顺便提及的是，

表示在M上附加颚化符号(～)的字符。尽管可以使用任意的评价参考函数ρ(x)，但是例如表达式(9)是公知的。顺便提及的是，表达式(9)中的σ表示比例参数。

顺便提及的是，本发明不仅限于上面所述的这些实施方式，而是可以实施为在不背离其原理的范围内修改其结构要素的实际状态。

除此之外，通过适当地组合在这些实施例中公开的多个结构要素能够构成不同的发明。例如，可以从实施例中描述的所有结构要素中删除某些结构要素。

此外，不同实施例中的结构要素也可以进行适当地组合。

例如，在各个实施例中，尽管描述为将人脸作为对象进行图像识别，但是可替代地，本发明也可以用于其它三维对象的图像识别。例如作为三维对象，可以列举出人的整个身体、汽车、飞机、轮船等等。

Claims (18)

1. 一种使用通过拍摄具有三维形状的对象所获得的图像并且执行该对象的图像识别的装置，包括：

图像输入单元，图像输入其中；

三维形状信息保存单元，配置以存储三维形状信息作为对象的三维模型的初始；

模型生成单元，配置以使用输入图像和三维形状信息生成三维模型；

图案生成单元，配置以生成在不同方向上三维模型投影到平面上的多个图案图像；

特征提取单元，配置以从多个图案图像提取特征量；

字典保存单元，配置以保存对象的字典特征量；以及

相似度计算单元，配置以计算所提取的特征量和对象的字典特征量之间的相似度，以便根据所计算的相似度识别对象；

其中模型生成单元包括：

对象检测单元，配置以从输入图像提取特征点；

纹理估计单元，配置以通过从与输入图像的特征点相对应的三维信息中的特征点计算的相机运动矩阵来估计三维模型的纹理；以及

计算单元，配置以从纹理和三维形状信息计算三维模型。

2. 根据权利要求1所述的装置，其中特征提取单元通过执行图案图像的主要分量分析计算子空间，作为提取的特征量；

其中字典保存单元保存字典子空间作为对象的字典特征量；以及

其中相似度计算单元计算所计算的子空间和字典子空间之间的角度作为相似度。

3. 根据权利要求2所述的装置，还包括图案验证单元，配置以根据三维模型验证由图案生成单元生成的图案图像上的特征点的检测位置是否是正确的位置。

4. 根据权利要求3所述的装置，其中三维形状信息保存单元包括：

形状输入单元，配置以获取输入形状作为对象的三维形状信息；

参考形状信息保存单元，配置以存储用作对象的三维模型的初始的三维形状信息，作为参考形状信息；以及

形状规格化单元，配置以使用输入形状和参考形状信息规格化所存储的三维形状信息。

5. 一种图像识别装置，使用通过拍摄具有三维形状的对象所获得的图像并且执行该对象的图像识别，包括：

图像输入单元，图像输入其中；

三维形状信息保存单元，配置以存储三维形状信息作为对象的三维模型的初始；

模型生成单元，配置以使用输入图像和三维形状信息生成三维模型；

纹理扰动分析单元，配置以将两维变化添加到三维模型上并生成多个图案图像；

特征提取单元，配置以从多个图案图像提取特征量；

字典保存单元，配置以保存对象的字典特征量；以及

相似度计算单元，配置以计算所提取的特征量和对象的字典特征量之间的相似度，以便根据所计算的相似度识别对象。

6. 根据权利要求5所述的装置，其中模型生成单元包括：

对象检测单元，配置以从输入图像提取特征点；

纹理估计单元，配置以从输入图像的特征点和三维形状信息估计三维模型的纹理；以及

计算单元，配置以从纹理和三维形状信息计算三维模型。

7. 根据权利要求6所述的装置，其中纹理估计单元通过从与输入图像的特征点相对应的三维信息中的特征点计算的相机运动矩阵来估计三维模型的纹理。

8. 根据权利要求7所述的装置，其中特征提取单元通过执行图案图像的主要分量分析计算子空间，作为提取的特征量；

字典保存单元保存字典子空间作为对象的字典特征量；以及

相似度计算单元计算所计算的子空间和字典子空间之间的角度作为相似度。

9. 根据权利要求8所述的装置，还包括图案验证单元，配置以根据三维模型验证由纹理扰动单元生成的图案图像上的特征点的检测位置是否是正确的位置。

10. 一种使用通过拍摄具有三维形状的对象所获得的图像并且执行该对象的图像识别的方法，所述方法包括：

输入图像；

存储三维形状信息作为对象的三维模型的初始；

使用输入图像和三维形状信息生成三维模型；

生成在不同方向上三维模型投影到平面上的多个图案图像；

从多个图案图像提取特征量；

保存对象的字典特征量；以及

计算所提取的特征量和对象的字典特征量之间的相似度，以便根据所计算的相似度识别对象；

其中生成步骤包括：

从输入图像提取特征点；

通过从与输入图像的特征点相对应的三维信息中的特征点计算的相机运动矩阵来估计三维模型的纹理；以及

从纹理和三维形状信息计算三维模型。

11. 根据权利要求10所述的方法，还包括：

通过执行图案图像的主要分量分析计算子空间，作为提取的特征量；

保存字典子空间作为对象的字典特征量；以及

计算所计算的子空间和字典子空间之间的角度作为相似度。

12. 根据权利要求11所述的方法，还包括：

根据三维模型验证通过图案生成所生成的图案图像上的特征点的检测位置是否是正确的位置。

13. 根据权利要求12所述的方法，还包括：

获取输入形状作为对象的三维形状信息；

存储用作对象的三维模型的初始的三维形状信息，作为参考形状信息；以及

使用输入形状和参考形状信息规格化所存储的三维形状信息。

14. 一种使用通过拍摄具有三维形状的对象所获得的图像并且执行该对象的图像识别的方法，所述方法包括：

输入图像；

存储三维形状信息作为对象的三维模型的初始；

使用输入图像和三维形状信息生成三维模型；

通过将两维变化添加到三维模型上生成多个图案图像；

从多个图案图像提取特征量；

保存对象的字典特征量；以及

计算所提取的特征量和对象的字典特征量之间的相似度，以便根据所计算的相似度识别对象。

15. 根据权利要求14所述的方法，还包括：

从输入图像提取特征点；

从输入图像的特征点和三维形状信息估计三维模型的纹理；以及

从纹理和三维形状信息计算三维模型。

16. 根据权利要求15所述的方法，其中通过从与输入图像的特征点相对应的三维信息中的特征点计算的相机运动矩阵来估计三维模型的纹理。

17. 根据权利要求16所述的方法，还包括：

通过执行图案图像的主要分量分析计算子空间，作为提取的特征量；

保存字典子空间作为对象的字典特征量；以及

计算所计算的子空间和字典子空间之间的角度作为相似度。

18. 根据权利要求17所述的方法，还包括：

根据三维模型验证通过图案生成所生成的图案图像上的特征点的检测位置是否是正确的位置。

Images