CN101189637A - 图像处理系统、三维形状估计系统、对象位置/姿态估计系统和图像产生系统 - Google Patents

Abstract

本发明的目的是处理图像，而不要在先找出表示照明条件的参数的初始值，且不需要用户手动输入照明参数。图像处理系统包括：广义照明基底模型产生装置300、位置/姿态初始值输入装置102、脸部模型产生装置103、照明基底模型计算装置301、透视变换装置202、照明校正装置203以及参数更新装置204。广义照明基底模型产生装置300在先计算广义照明基底模型。脸部模型产生装置103根据广义三维脸部模型来产生个体三维形状和纹理。照明基底模型计算装置301使用相同的参数，根据广义照明基底模型来产生个体照明基底。参数更新装置204搜索形状、纹理和位置/姿态的参数，以使再现输入图像时的误差最小化。

Description

图像处理系统、三维形状估计系统、对象位置/姿态估计系统和图像产生系统

技术领域

本发明涉及一种处理输入图像的图像处理系统、图像处理方法和图像处理程序。具体地，本发明涉及一种三维形状估计系统、对象位置/姿态估计系统、三维形状估计方法和对象位置/姿态估计方法，用于根据对象的位置/姿态或照明条件不清楚的输入图像，来估计输入图像中可见但是形状或纹理不清楚的对象的三维形状或位置/姿态。本发明还涉及一种产生输入图像的再现图像的图像产生系统和图像产生方法。

背景技术

近年来，使用三维形状数据来产生图像的计算机图形学(CG)有所发展，并且可产生接近实际图像的图像(例如，参见非专利文献1)。例如在使用非专利文献1中公开的CG技术的情况下，形成单个对象的三维形状数据(也称为“三维形状”)及其表面的颜色信息(纹理)。然后，指定相对于摄像机的位置/纹理和在拍摄环境中存在的照明的位置、类型和强度，从而可产生接近实际图像的图像。

通常，在产生例如脸部之类不存在蓝图的对象的图像的情况下，需要使用特殊的测量设备来获得单个对象的三维形状和纹理。鉴于此，开发出一种方法，其中，预先形成预定形变模型，并基于该形变模型来产生三维形状和纹理。更具体地，在这种情况下，测量与多个人的脸部类似的特定数目的对象集合，以便形成广义形变模型。然后，针对所准备的广义形变模型，给出足够的数值参数，从而产生未测量的单个对象的三维形状和纹理。

例如，在非专利文献2中公开了使用预定形变模型来估计三维形状和纹理的技术示例。在非专利文献2中公开的技术中，预先使用三维形状测量设备来测量大量脸部的三维形状和纹理，并基于所测量的数据集合，产生广义三维脸部模型，根据该广义三维脸部模型，可形成给定某人的未测量的脸部的三维形状和纹理。更具体地，广义脸部模型分别存储了大量人的脸部的三维形状和纹理的平均值，以及代表与这些平均值的改变量的基本矢量集合。然后，分别将基本矢量集合与系数参数相乘所获得的值与平均值相加，从而使广义脸部模型的三维形状和纹理接近给定某人的脸部的三维形状和纹理。也即，简单地通过分别指定形状和纹理的参数，可获得给定某人的脸部的三维形状和纹理。

通过将在非专利文献2中公开的广义脸部模型与在非专利文献1中公开的CG技术结合，可再现对象的希望图像。更具体地，通过指定三维形状、纹理、位置/姿态以及照明条件的参数，可再现所希望的图像。

此外，非专利文献2中公开的技术的使用还可以根据单个对象的一个输入图像来估计给定单个对象的三维形状和纹理。图11是示出了基于广义脸部模型来估计对象的三维形状的三维形状估计系统的配置示例的框图。如图11所示，基于传统广义脸部模型的三维形状估计系统包括：广义脸部模型产生装置900、照明条件初始值输入装置901、位置/姿态初始值输入装置902、脸部模型产生装置903、透视变换装置904、阴和影(shade and shadow)产生装置905以及参数更新装置906。具有上述配置的传统三维形状估计系统如下工作。

广义脸部模型产生装置900在先产生广义脸部模型(也称为“广义三维脸部模型”)。此外，广义脸部模型产生装置900将所产生的广义三维脸部模型输出到脸部模型产生装置903。

照明条件初始值输入装置901输入照明参数的近似值，作为初始值，照明参数表示在拍摄示出了要估计三维形状的对象的输入图像时的照明状态。例如，照明条件初始值输入装置901将一个无限远点光源的方向设置为(1θ，1φ)，并输入点光源的三维方向矢量1、强度L和表示漫射光的强度的值a，作为照明参数。

下面是使用照明条件初始值输入装置901的输入方法的示例。首先，在计算机终端的屏幕上并排显示输入图像和使用非专利文献1所公开的CG技术而产生的三维图像。然后，在查看计算机终端的屏幕的同时，用户(例如操作者)手动进行调整，以使三维图像的阴和影(shadeand shadow)尽可能地与输入图像的阴和影类似。如上所述，照明参数可由用户手动输入。

位置/姿态初始值输入装置902输入表示输入图像中示出的对象的位置和姿态的参数的近似值(称为“位置/姿态参数”)，作为初始值。例如，假定由三维坐标矢量o来表示对象的位置，由关于x、y和z的旋转角度γ、θ和φ来表示对象的方向，则位置/姿态初始值输入装置902输入表示旋转角度γ、θ和φ中的每一个的旋转的矩阵R，作为位置/姿态参数。

下面是使用脸部模型产生装置903的输入方法的示例。首先，在计算机终端1的屏幕上并排显示输入图像和使用非专利文献1所公开的CG技术而产生的三维图像。然后，在查看计算机终端的屏幕的同时，用户手动进行调整，以使三维图像的方向尽可能地与输入图像的方向类似。如上所述，位置/姿态参数可由用户手动输入。可选地，可采用下面的输入方法。用户选择对象的特征部分的位置，以便输入与所选部分的图像有关的位置。然后，用户从在先存储的各个部分的三维坐标数据中选择与输入位置相对应的部分的三维坐标数据，并使用该数据来计算对象的位置/姿态参数。

脸部模型产生装置903产生预先由广义脸部模型产生装置900所计算的广义三维脸部模型。此外，脸部模型产生装置903输入三维形状参数和纹理参数，并使用广义三维脸部模型来计算以输入参数描述的人所特有的单独的三维形状和单独的纹理数据，以用于输出。

广义三维脸部模型包括根据大量(例如200个)人的三维形状{S′_i}和纹理数据{T′_i}而获得的平均值{bar S，bar T}以及表示与平均值的偏离的基本矢量集合{S_j，T_j}。广义脸部模型产生装置900首先创建矩阵(协方差矩阵)S，在协方差矩阵S中，使用以下表达式(1)来布置从中减去了平均值的三维形状矢量。

[数字1]

$S=[({S^{\′}}_1-\stackrel{\‾}{S}),({S^{\′}}_2-\stackrel{\‾}{S}),\·\·\·,({S^{\′}}_n-\stackrel{\‾}{S})]$          表达式(1)

此外，广义脸部模型产生装置900计算协方差矩阵S的特征值和特征向量，并按照所计算的特征值σS，i²的降序来存储n_p个(例如100个)基本矢量集合{S_j}。这等效于广义脸部模型产生装置900执行下面的表达式(2)所示的近似，其中具有n_p个特征值作为对角线分量的矩阵是∑_s，其中布置了基本矢量集合{S_j}的矩阵是V_s。

[数字2]

$S=U_s{\mathrm{\Σ}}_s{V}_s^T$           表达式(2)

此外，广义脸部模型产生装置900按照与三维形状数据的情况完全类似的方式，执行关于纹理的计算，从而获得大约100个特征值σT，i²和基本矢量{T_j}，以用于存储。

根据上述计算，可根据广义脸部模型产生装置900所计算的基本矢量和特征值数据而获得广义三维脸部模型。

假定脸部表面上的各个点i的三维坐标值(x_i，y_i，z_i)是[x₀，y₀，z₀，x₁，y₁，z₁，…，x_n，y_n，z_n]^T的矢量S以及纹理的亮度值t_i是[t₀，t₁，…，t_n]的矢量T，则给定某人的脸部的三维形状数据由下面的表达式(3)表示。

[数字3]

$S=\stackrel{\‾}{S}+\underset{j}{\mathrm{\Σ}}{s}_j{S}_j,T=\stackrel{\‾}{T}+\underset{j}{\mathrm{\Σ}}{t}_j{T}_j$               表达式(3)

在上述表达式(3)中，{s_j}是形状参数，{t_j}是纹理参数。也即，脸部模型产生装置103输入形状参数{s_j}和纹理参数{t_j}，并使用表达式(3)来计算个体纹理T和个体三维形状S，以用于输出。如下面所述的，图11所示的三维形状估计系统重复地执行各个参数的更新，并输出满足预定收敛条件的参数值，作为三维形状估计结果。在这种情况下，在最初处理这样重复执行的更新处理时，脸部模型产生装置903使用0作为形状和纹理参数的初始值，来计算个体三维形状S和个体纹理T。

透视变换装置904接收个体三维形状S、个体纹理T以及对象的位置/姿态参数，作为输入，并计算表示三维形状中的各个数据点与构成要再现的图像的哪个象素相对应的对应表。假定拍摄输入图像的摄像机的焦距是f，并且输入图像的中心是(c_u，c_v)，则透视变换装置904使用下面的表达式(4)来计算三维脸部模型上的点i的图像坐标(u_i，v_i)。

[数字4]

$u_i=c_u+f\frac{X}{Z},v_i=c_v+f\frac{Y}{Z}$         表达式(4)

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right]+0$

透视变换装置904将三维形状的整个表面分为三角形，计算三角形的各个顶点(u_i，v_i)。之后，透视变换装置904利用点填充多边形的内部，并使用Z值来执行隐藏表面去除处理。可通过使用各种图形库程序来执行作为CG技术的标准方法的隐藏表面去除处理。作为隐藏表面去除处理的结果，透视变换装置904可获得表示构成再现图像的每个象素i与多边形j之间的对应关系的对应表。

阴和影产生装置905接收个体三维形状、对应表和个体纹理，作为输入，并计算构成再现图像的各个象素的亮度值。阴和影产生装置905可通过使用例如非专利文献1所述的CG技术的标准方法，来执行阴影产生处理。首先，阴和影产生装置905计算个体三维形状S上的每个数据点i的法向矢量n_i。假定在对象表面上，在相同三角形中的点i之外的两个顶点的数据点按照逆时针顺序是(j，k)，并且表示点(i，j，k)的三维坐标的三维矢量是p_i、p_j、p_k，则阴和影产生装置905可使用下面的表达式(5)来计算法向矢量n_i。

[数字5]

$n_i=\frac{(P_j-P_i)\×(P_k-P_i)}{|(P_j-P_i)\×(P_k-P_i)|}$                 表达式(5)

此外，在计算了所有数据点的法向矢量之后，阴和影产生装置905根据下面的表达式(6)，使用Phong反射模型来计算象素i的亮度值I_i(请参考非专利文献1)。

I_i＝(a+Ln_jl)T(j)+c_jkL(r_jv_j)v

r_j＝2(n_jl)n_j-1    表达式(6)

在上述表达式(6)中，T(j)是与由对应表所指示的象素i相对应的多边形j的纹理亮度值，k是镜面反射常数(固定值)，v是镜面反射特征(固定值)，c_j是指示多边形j是否对准光源方向1或由阴影覆盖，并假设为0或1。阴和影产生装置905使用CG技术的标准方法，例如射线追踪方法，来执行计算，从而确定投影。

根据上述处理，阴和影产生装置905计算构成再现图像的每个象素的亮度值，并根据计算结果来产生再现图像。接下来，将其中布置了每个均具有对应形状数据点的象素的亮度值的矢量设置为I_model＝(I₀，I₁，…，I_n)，并且将其中设置了与各个象素相对应的输入图像的亮度值的矢量设置为I_input。

参数更新装置906将输入图像与阴和影产生装置905所产生的再现图像相比较，并改变位置/姿态、照明、三维形状和纹理的参数，以使再现图像接近输入图像。三维形状估计系统使用脸部模型产生装置903、透视变换装置904、阴和影产生装置905以及参数更新装置906来重复地执行处理，以便找到最佳参数值。

参数更新装置906首先使用下面的表达式()7，来计算与图像之间的相似度有关的代价函数E_I。

E_I＝|I_model-I_input|²    (表达式7)

然后，参数更新装置906使用下面的表达式(8)，根据模型的先验概率分布，来计算关于形状参数和纹理参数的代价函数E。

[数字6]

$E=\frac{1}{{\mathrm{\σ}}_1^2}{E}_l+{\mathrm{\Σ}}_i\frac{s_i}{{\mathrm{\σ}}_{s,j}^2}+{\mathrm{\Σ}}_i\frac{t_i}{{\mathrm{\σ}}_{T,i}^2}$               表达式(8)

参数更新装置906使用概率下降法来搜索参数以便使代价函数E最小化。为此，参数更新装置906使用下面的表达式(9)，针对形状、纹理、照明和位置/姿态参数中的每一个，计算E的微分值J。

[数字7]

$J=\left[\right\{\frac{\mathrm{dE}}{{\mathrm{ds}}_i}\},\{\frac{\mathrm{dE}}{{\mathrm{dt}}_i}\},\frac{\mathrm{dE}}{{\mathrm{dl}}_{\mathrm{\θ}}},\frac{\mathrm{dE}}{{\mathrm{dl}}_{\mathrm{\φ}}},\frac{\mathrm{dE}}{\mathrm{dL}},\frac{\mathrm{dE}}{\mathrm{d\α}},\frac{\mathrm{dE}}{\mathrm{dp}},\frac{\mathrm{dE}}{\mathrm{d\θ}},\frac{\mathrm{dE}}{\mathrm{d\γ}},\frac{\mathrm{dE}}{\mathrm{d\φ}}]$               表达式(9)

假定其中布置了所有参数的矢量是α＝[s_i，t_i，l_θ，l_φ，a，p，θ，γ，φ]，则参数更新装置906使用下面的表达式(10)，来更新当前的具有新值α^*的参数。

α^*＝α-(J^TJ)^-1JE    表达式(10)

在所计算的参数的每一个的更新量小于在先设置的阈值时，参数更新装置906确定重复处理收敛了，并结束处理。此外，在使用更新参数所产生的再现图像与输入图像之间的误差并不小于使用更新之前的参数所产生的再现图像与输入图像之间的误差的情况下，参数更新装置906确定重复处理收敛了，并结束处理。然后，三维形状估计系统在重复处理的过程中获得了最接近输入图像的再现图像时，输出个体三维形状，作为三维形状估计结果。

非专利文献1：Manson Woo，Jackie Neider，Tom Davis，“Open GLProgramming Guide(Second edition)”Addison-Wesley Publishers JapanLtd，p.169-195

非专利文献2：Volker Blanz，Thomas Vetter，“Face RecognitionBased on Fitting a 3-dimensional Morphable Model”，PAMI，2003，vol.25，No.9，pp.1063-1074.

发明内容

本发明要解决的问题

图11所示的传统三维形状估计系统的第一个问题在于，必须输入照明参数的初始值。这种照明参数的初始值的输入对用户(操作员)施加了很重的负担。照明参数是表示漫射光源的强度以及点光源的方向和强度的物理参数，因此必须描述拍摄输入图像的实际照明环境。通常，很容易以直观的方式理解对象的位置/姿态参数，因此不难输入位置/姿态参数的初始值。然而，另一方面，由于在时间拍摄环境中的多个位置处存在多种光源，所以确定近似拍摄环境的照明参数对于用户(操作员)而言是困难且繁重的。

传统三维形状估计系统1的第二个问题在于，要产生的图像的亮度值与照明参数之间的关系是非线性的，而这会导致很重的处理负担。也即，需要执行大量的重复处理，以便搜索非线性模型的最佳参数，而这导致处理时间和处理负担的增长。此外，由于需要执行大量的重复处理，所以很可能搜索处理找到局部解，使得难以正确地估计最佳参数。

传统三维形状估计系统的第三个问题在于，必须执行法向矢量的计算处理以便使用CG技术来再现阴暗部，并必须执行射线追踪处理来产生阴影，而这导致处理负担的增加。也即，在法向矢量计算处理和射线跟踪处理中需要大量的计算，因此增加了处理时间和处理负担。此外，在图11所示的三维形状估计系统的情况下，重复图像的产生，同时使用概率下降法来改变三维形状的参数。因此，在每次重复图像产生处理时，改变了要产生的图像的三维形状和法向矢量或阴影的状态。

因此，本发明的目的是提供一种图像处理系统、三维形状估计系统、对象位置/姿态估计系统、图像产生系统、图像处理方法、三维形状估计方法、对象位置/姿态估计方法、图像产生方法和图像处理程序，能够处理图像，而不需要在先找到表示照明条件的参数的初始值，也不需要用户手动输入照明参数。

本发明的另一目的是提供一种图像处理系统、三维形状估计系统、对象位置/姿态估计系统、图像产生系统、图像处理方法、三维形状估计方法、对象位置/姿态估计方法、图像产生方法和图像处理程序，能够减少重复处理的次数，以便加速处理工作，并避免局部解，以便执行参数的正确估计。

本发明的另一目的是提供一种图像处理系统、三维形状估计系统、对象位置/姿态估计系统、图像产生系统、图像处理方法、三维形状估计方法、对象位置/姿态估计方法、图像产生方法和图像处理程序，能够加速图像产生中执行的阴和影的计算处理。

本发明的另一目的是提供一种图像处理系统、三维形状估计系统、对象位置/姿态估计系统、图像产生系统、图像处理方法、三维形状估计方法、对象位置/姿态估计方法、图像产生方法和图像处理程序，能够执行在使用线性照明模型时需要的照明基底的高速计算。

解决问题的手段

根据本发明的一种图像处理系统的特征在于包括：个体数据产生装置(例如由脸部模型产生装置103实现)，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；第一照明基底计算装置(例如，由照明基底计算装置201实现)，用于基于个体数据产生装置所产生的个体三维形状数据和个体纹理数据，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动(variation)；再现图像产生装置(例如，由照明校正装置203实现)，用于使用第一照明基底计算装置所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及参数更新装置(例如，由参数更新装置204实现)，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使再现图像产生装置所产生的再现图像接近输入图像，直到满足了预定收敛条件为止(例如，直到每个参数的更新量变得小于预定阈值为止)。“三维形状参数”是表示要赋予平均形状数据和纹理数据何种形变以便获得对象的三维形状的参数。“纹理参数”是表示要赋予平均形状数据和纹理数据何种改变以便获得对象的纹理的参数。

此外，在该图像处理系统中，第一照明基底计算装置可使用球谐函数(spherical harmonics)，基于个体数据产生装置所产生的个体三维形状数据，来计算个体照明基底。

此外，在该图像处理系统中，第一照明基底计算装置可包括：照明条件设置装置(例如，可由根据程序来操作的信息处理设备的CPU来实现)，用于设置多个不同的照明条件；亮度计算装置(例如，由根据程序来操作的信息处理设备的CPU来实现)，用于计算在照明条件设置装置所设置的各种照明条件下对象表面的每个部分的亮度值；以及计算装置(例如，由根据程序来操作的信息处理设备的CPU来实现)，用于根据计算亮度计算装置所计算的亮度值，来计算个体照明基底组。

此外，根据本发明的一种图像处理系统的特征在于包括：个体数据产生装置，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；广义照明基底模型产生装置(例如，由广义照明基底模型产生装置300实现)，用于产生广义照明基底模型，所述广义照明基底模型与广义三维对象模型相对应，并用于产生表示由于投射到单个对象上的照明的方向或强度的差异而引起的反射状态的基本变动的照明基底；以及第二照明基底计算装置(例如，由照明基底计算装置301实现)，用于使用广义照明基底模型产生装置所产生的广义照明基底模型，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动。

此外，该图像处理系统可包括输出装置，用于输出个体数据产生装置所产生的个体三维形状数据和第二照明基底计算装置所产生的个体照明基底。

此外，该图像处理系统可包括：再现图像产生装置，用于使用第二照明基底计算装置所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及参数更新装置，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使再现图像产生装置所产生的再现图像接近输入图像，直到满足预定收敛条件为止。

此外，在该图像处理系统中，第二照明基底计算装置可使用与要赋予广义三维对象形状模型的三维形状参数相同的参数，来计算与广义照明基底模型产生装置使用广义三维对象模型所产生的个体三维形状数据相对应的个体照明基底。

此外，在该图像处理系统中，广义照明基底模型产生装置可包括：参数设置装置(例如，可由采样参数设置装置3001实现)，用于设置要赋予广义三维对象模型的随机三维形状参数；第三照明基底计算装置(例如，由照明基底计算装置3002实现)，用于基于通过将参数设置装置所设置的参数赋予广义三维对象模型而产生的采样三维形状组，来计算与各个参数相对应的照明基底组；以及基底计算装置(例如，由基本模型计算装置3003实现)，用于使用第三照明基底计算装置所计算的照明基底组以及广义三维对象模型的基本矢量和特征值，来计算广义照明基底模型的基本矢量。

此外，在该图像处理系统中，第三照明基底计算装置可使用球谐函数，基于个体三维形状数据，来计算个体照明基底。

此外，在该图像处理系统中，第三照明基底计算装置可包括：照明条件设置装置(例如，可由根据程序来操作的信息处理设备的CPU来实现)，用于设置多个不同的照明条件；亮度计算装置(例如，由根据程序来操作的信息处理设备的CPU来实现)，用于计算在照明条件设置装置所设置的各种照明条件下对象表面的每个部分的亮度值；以及计算装置(例如，由根据程序来操作的信息处理设备的CPU来实现)，用于根据计算亮度计算装置所计算的亮度值，通过主分量分析，来计算个体照明基底组。

根据本发明的一种三维形状估计系统是使用该图像处理系统并估计对象的三维形状的系统，该系统的特征在于包括：形状输出装置(例如，由设置在包含该图像处理系统的信息处理设备中的输出装置实现)，用于在满足预定收敛条件时输出广义三维对象模型基于在收敛时获得的三维形状参数和纹理参数所产生的三维形状。

根据本发明的一种对象位置/姿态估计系统是使用该图像处理系统并估计对象的位置和姿态形状的系统，该系统的特征在于包括：位置/姿态输出装置(例如，由设置在包含该图像处理系统的信息处理设备中的输出装置实现)，用于在满足预定收敛条件时输出表示在收敛时获得的对象的位置和姿态的位置/姿态参数。

根据本发明的一种图像产生系统是使用该图像处理系统并产生再现与输入图像相同照明条件的再现图像的系统，该系统的特征在于包括图像输出装置(例如，可由设置在包含该图像处理系统的信息处理设备中的输出装置实现)，用于在满足预定收敛条件时输出在收敛时获得的再现图像。

根据本发明的一种图像处理方法的特征在于包括：个体数据产生步骤，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；第一照明基底计算步骤，用于基于所产生的个体三维形状数据和个体纹理数据，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动；再现图像产生步骤，用于使用所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及参数更新步骤，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使所产生的再现图像接近输入图像，直到满足了预定收敛条件为止。

此外，在该图像处理方法中，第一照明基底计算步骤可使用球谐函数，基于在个体数据产生步骤所产生的个体三维形状数据，来计算个体照明基底。

此外，在该图像处理方法中，第一照明基底计算步骤可设置多个不同的照明条件，计算各种照明条件下对象表面的每个部分的亮度值，并根据所计算的亮度值，来计算个体照明基底组。

此外，根据本发明的一种图像处理方法的特征在于包括：个体数据产生步骤，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；广义照明基底模型产生步骤，用于产生广义照明基底模型，所述广义照明基底模型与广义三维对象模型相对应，并用于产生表示由于投射到单个对象上的照明的方向或强度的差异而引起的反射状态的基本变动的照明基底；以及第二照明基底计算步骤，用于使用所产生的广义照明基底模型，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动。

此外，该图像处理方法可包括输出步骤，用于输出个体数据产生步骤所产生的个体三维形状数据和第二照明基底计算步骤所产生的个体照明基底。

此外，该图像处理方法可包括：再现图像产生步骤，用于使用第二照明基底计算步骤所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及参数更新步骤，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使所产生的再现图像接近输入图像，直到满足预定收敛条件为止。

此外，在该图像处理方法中，第二照明基底计算步骤可使用与要赋予广义三维对象形状模型的三维形状参数相同的参数，来计算与广义照明基底模型产生步骤使用广义三维对象模型所产生的个体三维形状数据相对应的个体照明基底。

此外，该图像处理方法可包括：参数设置步骤，用于设置要赋予广义三维对象模型的随机三维形状参数；第三照明基底计算步骤，用于基于通过将所设置的参数赋予广义三维对象模型而产生的采样三维形状组，来计算与各个参数相对应的照明基底组；以及基底计算步骤，用于使用所计算的照明基底组以及广义三维对象模型的基本矢量和特征值，来计算广义照明基底模型的基本矢量。

此外，在该图像处理方法中，第三照明基底计算步骤可使用球谐函数，基于个体三维形状数据，来计算个体照明基底。

此外，在该图像处理方法中，第三照明基底计算步骤可设置多个不同的照明条件，计算在所设置的各种照明条件下对象表面的每个部分的亮度值，并根据所计算的亮度值，通过主分量分析(maincomponent analysis)，来计算个体照明基底组。

根据本发明的一种三维形状估计方法是使用该图像处理方法并估计对象的三维形状的方法，该方法的特征在于包括：形状输出步骤，用于在满足预定收敛条件时输出广义三维对象模型基于在收敛时获得的三维形状参数和纹理参数所产生的三维形状。

根据本发明的一种对象位置/姿态估计方法是使用该图像处理方法并估计对象的位置和姿态形状的方法，该方法的特征在于包括：位置/姿态输出步骤，用于在满足预定收敛条件时输出表示在收敛时获得的对象的位置和姿态的位置/姿态参数。

根据本发明的一种图像产生方法是使用该图像处理方法并产生再现与输入图像相同照明条件的再现图像的方法，该方法的特征在于包括图像输出步骤，用于在满足预定收敛条件时输出在收敛时获得的再现图像。

根据本发明的一种图像处理程序使计算机执行以下处理：个体数据产生处理，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；第一照明基底计算处理，用于基于所产生的个体三维形状数据和个体纹理数据，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动；再现图像产生处理，用于使用所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及参数更新处理，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使所产生的再现图像接近输入图像，直到满足了预定收敛条件为止。

此外，根据本发明的一种图像处理程序使计算机执行以下处理：个体数据产生处理，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；广义照明基底模型产生处理，用于产生广义照明基底模型，所述广义照明基底模型与广义三维对象模型相对应，并用于产生表示由于投射到单个对象上的照明的方向或强度的差异而引起的反射状态的基本变动的照明基底；以及第二照明基底计算处理，用于使用所产生的广义照明基底模型，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动。

本发明的优点

根据本发明，使用照明基底来计算再现图像的亮度值。由于将通过照明基底的线性和来表示由照明所引起的图像亮度值的变动的线性照明模型用于执行处理，所以可以在任意照明条件下再现图像的亮度值，而不需要输入照明参数的初始值。因此，可处理图像，而不需要预先找到表示照明条件的参数的初始值，也不需要用户手动输入照明参数。

通常，在实际拍摄环境中的多个位置处存在多种光源，因此与输入位置/姿态参数值的情况相比，用户(操作员)难以输入近似拍摄环境的照明参数值。根据本发明，可以处理输入图像，而不需要用户输入照明参数的初始值，从而减小了用户的操作负担。

此外，根据本发明，由于使用线性照明模型，所以可以消除对使用概率下降法来搜索照明参数的需求。这消除了对重复图像产生处理以获得最佳照明参数的非线性优化处理的需求。因此，可以减少估计三维形状参数和纹理参数的重复处理次数，从而提高了处理速度，并避免了局部解，从而估计了精确的参数。

此外，在本发明中，通过在先计算广义照明基底模型，可以仅使用所计算的广义照明基底模型，通过单一的线性计算，根据三维形状参数来获得照明基底。使用广义照明基底模型的个体照明基底的计算可消除对计算法向矢量计算包括阴影的个体照明基底所需的已知图像的产生处理的执行需求。因此，可以提高图像函数处理中计算阴和影的处理速度，并高速执行在使用线性照明模型时所需的照明基底的计算。

附图说明

图1是示出了根据本发明的图像处理系统的结构示例的框图；

图2是示出了照明基底计算装置的结构示例的框图；

图3是示出了图像处理系统处理输入图像以便计算各个参数的处理过程示例的流程图；

图4是示出了图像处理系统的另一结构示例的框图；

图5是示出了广义照明基底模型产生装置的结构示例的框图；

图6是示出了图像处理系统预先产生广义照明基底模型的处理过程示例的流程图；

图7是示出了图像处理系统处理输入图像以便计算各个参数的处理过程示例的流程图；

图8是示出了图像处理系统的另一结构示例的框图；

图9是示出了图像处理系统的具体示例的解释性视图；

图10是示出了输入图像和使用CG技术从输入图像中产生的再现图像的示例的解释性视图；以及

图11是示出了传统三维形状估计系统的配置示例的框图。

附图标记的解释

102：位置/姿态初始值输入装置

103：脸部模型产生装置

201：照明基底计算装置

202：透视变换装置

203：照明校正装置

204：参数更新装置

300：广义照明基底模型产生装置

301：照明基底模型计算装置

401：图像输入单元

402：处理计算机

403：存储单元

404：存储介质

2011：法向矢量计算装置

2012：谐函数计算装置

3001：采样参数设置装置

3002：照明基底计算装置

3003：基本模型计算装置

具体实施方式

(第一实施例)

下面参考附图来描述本发明的第一实施例。图1是示出了根据本发明的图像处理系统的结构示例的框图。如图1所示，该图像处理系统包括位置/姿态初始值输入装置102、脸部模型产生装置103、照明基底计算装置201、透视变换装置202、照明校正装置203和参数更新装置204。

该图像处理系统由例如工作站或个人计算机的信息处理设备来实现。在本实施例中，该图像处理系统被用作估计对象的三维形状和纹理的三维形状估计系统。此外，该图像处理系统被用于估计对象的位置和姿态的对象位置/姿态估计系统。此外，该图像处理系统被用作产生输入图像的预定再现图像(例如CG图像)的图像产生系统。

具体地，位置/姿态初始值输入装置102由根据程序来操作的信息处理设备的CPU和诸如鼠标或键盘之类的输入设备来实现。位置/姿态初始值输入装置102具有输入表示输入图像中所示对象的位置和姿态的位置/姿态参数的初始值的功能。例如，假定对象的位置由三维坐标o表示，对象的方向由关于x、y和z轴的旋转角度γ、θ和φ表示，则位置/姿态初始值输入装置102输入表示旋转角度γ、θ和φ中的每一个的旋转的矩阵R，作为位置/姿态参数。

在输入位置/姿态参数的初始值时，位置/姿态初始值输入装置102在显示单元的屏幕上并排显示使用CG技术所产生的三维图像(也称为CG图像)和输入图像。在这种情况下，在查看显示平面的同时，用户(例如操作员)操作例如键盘或鼠标的输入设备来进行调整，以使三维图像的方向尽可能地与输入图像中对象的方向类似，从而指示位置/姿态参数的初始值的输入。然后，位置/姿态初始值输入装置102根据用户的输入指示来输入位置/姿态参数的初始值。

具体地，脸部模型产生装置103由根据程序来操作的信息处理设备的CPU来实现。脸部模型产生装置103接收三维形状参数和纹理参数，作为输入，并使用广义脸部模型来计算表示单个对象(人)的三维形状的个体三维形状和表示单个对象的纹理的个体纹理。

“三维形状参数”是表示要赋予平均形状数据和纹理数据何种形变以便获得对象的三维形状的参数。具体地，在本实施例中，“三维形状参数”是表示要赋予广义三维脸部模型所示的常规形状何种形变以便获得目标人的脸部的三维形状的数值参数。此外，“三维形状参数”是用于使用广义三维脸部模型来描述脸部的三维形状的参数。

“纹理参数”是表示要赋予平均形状数据和纹理数据何种改变以便获得对象的纹理的参数。具体地，在本实施例中，“纹理参数”是表示要赋予广义三维脸部模型所示的常规纹理何种改变以便获得目标人的脸部的纹理的数值参数。此外，“纹理参数”是用于使用广义三维脸部模型来描述脸部表面的纹理的参数。

广义三维脸部模型“(广义3D脸部模型)”是使用参数来描述多个人的脸部的三维形状和表面纹理的模型。“广义三维模型”包括标准人的脸部的三维形状和纹理(反射率或颜色)以及表示赋予三维形状和纹理的形变的数据。具体地，在本实施例中，“广义三维模型”包括根据多个(例如200个)人的三维形状和纹理数据而计算的平均值以及表示与平均值的偏离的基本矢量组。

在本实施例中，简单地通过获得指定单个人的三维形状参数和纹理参数，可以通过将三维形状参数和纹理参数应用于广义三维脸部模型而计算单个人的脸部模型。接下来，将通过将三维形状参数和纹理参数应用于广义脸部模型而计算单个人的脸部模型也称为“将三维形状参数和纹理参数赋予广义三维脸部模型”。

图像处理系统包括例如预先产生广义脸部模型的广义脸部模型产生装置(未示出)。广义脸部模型产生装置使用上述表达式(1)和(2)，根据与图11所示的广义脸部模型产生装置900所执行的处理相同的处理，在先产生广义三维脸部模型。此外，图像处理系统包括例如存储广义脸部模型产生装置所产生的广义三维脸部模型的脸部模型存储装置(未示出)。具体地，广义脸部模型产生装置由根据程序而操作的信息处理设备的CPU来实现。脸部模型存储装置由例如磁盘驱动器或光盘驱动器的数据库单元来实现。

在本实施例中，脸部模型产生装置103使用脸部模型存储装置预先存储的广义三维脸部模型来计算单个人的脸部模型(具体地，是个体三维形状和个体纹理)。在这种情况下，脸部模型产生装置103根据图11所示的脸部模型产生装置903所执行的处理相同的处理，使用上述表达式(3)来计算个体三维形状和个体纹理。

如后面所述的，图像处理系统重复执行各个参数的更新处理，直到满足预定收敛条件为止，以便估计各个参数(三维形状参数、纹理参数和位置/姿态参数)。在本实施例中，在重复处理的初始处理时，脸部模型产生装置103使用0值作为三维形状参数和纹理参数的初始值，来计算个体三维形状和个体纹理。

具体地，照明基底计算装置201由根据程序而操作的信息处理设备的CPU来实现。照明基底计算装置201接收脸部模型产生装置103所计算的个体三维形状和个体纹理，作为输入，并计算描述了在各种照明条件下单个对象的表面上的各个位置(多边形)的亮度值的变动。“照明基底”是描述由于脸部上的照明的方向和强度的差异而引起的反射状态(亮度值)的基本变动的数据。

这里，描述照明基底的计算方法。通常，在对象的表面反射特征接近朗伯体(理想漫射)的情况下，可以利用至多9维照明基底的线性和来实现给定照明条件下图像的亮度值的近似。如上所述，本实施例利用了如下优点：在对象表面的反射特征接近于朗伯体(理想漫射)的情况下，可以利用少量照明基底的线性和来表示给定照明条件下图像的亮度值的变动。在已知单个对象的个体三维形状的情况下，照明基底计算装置201根据个体三维形状数据来计算法向矢量，并使用个体纹理来分析计算照明基底。例如，在[Ronen Basri，David W.Jacobs，“Lambertian Reflectance and Linear Subspaces”，IEEE Trans.PAMI，2003，Vol.25，No.2，pp.218-233(文献A)]中描述了照明基底的上述计算方法。

然而，在文献A所述的照明基底计算方法中，忽略了阴影的产生。在产生照明基底的情况下，在已知个体三维形状和个体纹理时，可以再现阴影，从而使照明基底可满足要计算的给定姿态的图像。例如，在[Rui Ishiyama，Shizuo Sakamoto，″Geodesic Illumination Basis：Compensating for Illumination Variations in any Pose for FaceRecognition，″Proc.of ICPR 2002，vol.4，pp.297-301(文献B)]中描述了能够再现阴影的照明基底计算方法。

在本实施例中，照明基底计算装置201将在文献A和B中所述的照明基底计算技术应用于图像处理系统(例如，三维形状估计系统)，根据通过将三维形状参数和纹理参数赋予广义脸部模型而产生的个体三维形状数据和个体纹理，来计算个体照明基底。

图2是示出了照明基底计算装置201的结构示例的框图。如图3所示，照明基底计算装置201包括法向矢量计算装置2011和谐函数计算装置2012。

法向矢量计算装置2011基于脸部模型产生装置103所计算的个体三维形状来计算法向矢量。在本实施例中，法向矢量计算装置2011针对个体三维形状中的每个多边形i，使用下面的表达式(11)来计算法向矢量n_i。

[数字8]

$n_i=\frac{(P_j-P_i)\×(P_k-P_i)}{|(P_j-P_i)\×(P_k-P_i)|}$              表达式(11)

谐函数计算装置2012使用预定球谐函数，基于个体三维形状和个体纹理，来计算个体照明基底。在本实施例中，谐函数计算装置2012使用预定球谐函数，基于法向矢量计算装置2011所计算的法向矢量和脸部模型产生装置103所计算的个体纹理来计算个体照明基底。假定第j维个体照明基底的多边形i的分量是b_ji，法向矢量的分量是n_i＝(x，y，z)，并且纹理亮度是t⁽ⁱ⁾，则谐函数计算装置2012可使用下面的表达式(12)来计算照明基底。

[数字9]

$[b_{1i},b_{2i},\·\·\·b_{9i}]$

$=t^{\left(i\right)}\left[\mathrm{\Π}{Y}_{00}\frac{2\mathrm{\Π}}{3}{Y}_{1,-1}\frac{2\mathrm{\Π}}{3}{Y}_{\mathrm{1,0}}\frac{2\mathrm{\Π}}{3}{Y}_{\mathrm{1,1}}\frac{\mathrm{\Π}}{4}{Y}_{2,-2}\frac{\mathrm{\Π}}{4}{Y}_{2,-1}\frac{\mathrm{\Π}}{4}{Y}_{\mathrm{2,0}}\frac{\mathrm{\Π}}{4}{Y}_{\mathrm{2,1}}\frac{\mathrm{\Π}}{4}{Y}_{\mathrm{2,2}}\right]$

其中

$Y_{00}=\frac{1}{\sqrt{4\mathrm{\Π}}},$ $Y_{1,0}=\sqrt{\frac{3}{4\mathrm{\Π}}}z,$ $Y_{1,1}=\sqrt{\frac{3}{4\mathrm{\Π}}}x,$ $Y_{1,-1}=\sqrt{\frac{3}{4\mathrm{\Π}}}y,$ $Y_{2,0}=\frac{1}{2}\sqrt{\frac{5}{4\mathrm{\Π}}}(3z^2-1),$

$Y_{2,-1}=3\sqrt{\frac{5}{12\mathrm{\Π}}}\mathrm{xz},$ $Y_{2,1}=3\sqrt{\frac{5}{12\mathrm{\Π}}}\mathrm{yz},$ $Y_{2,-2}=\frac{3}{2}\sqrt{\frac{5}{12\mathrm{\Π}}}(x^2-y^2),$ $Y_{\mathrm{2,2}}=3\sqrt{\frac{5}{12\mathrm{\Π}}}\mathrm{xy}$

表达式(12)

在表达式(12)中维数设为9来计算照明基底仅仅是一个示例。例如，可为了高速计算而减少维数。此外，可以为了增加精度而增加维数。

在计算个体照明基底时，照明基底计算装置201首先设置各种照明条件。然后，照明基底计算装置201计算在所设置的照明条件下对象表面上的各个部分的亮度值。最后，照明基底计算装置201基于所获得的亮度值来计算个体照明基底组。

具体地，透视变换装置202由根据程序而操作的信息处理设备的CPU来实现。透视变换装置202使用三维形状数据以及脸部和摄像机的位置/姿态参数的三维坐标(用于产生输入图像数据的图像拾取装置)，来确定三维表面上的位置与图像上的坐标之间的对应。例如，透视变换装置202计算表示三维形状中的各个数据点与构成再现图像的哪个象素对应的对应表。“再现图像”是计算机通过使用所估计的三维脸部形状、纹理、照明条件和位置/姿态的计算，以使图像接近输入图像所再现的图像。透视变换装置202还具有对照明基本矢量b的元素进行分类的功能。

在本实施例中，透视变换装置202接收对象的个体三维形状、个体纹理和位置/姿态参数，作为输入，并通过使用上述表达式(4)的计算，根据与图11所示透视变换装置904所执行的处理相同的处理，来确定与再现图像中的每个象素i相对应的个体三维形状的多边形j。也即，透视变换装置202使用表达式(4)来计算三维脸部模型上的点i的图像坐标(u_i，v_i)。此外，透视变换装置202设置矢量b_j＝[b₁₀，b₁₁，…，b_1m]，其中与再现图像中的每个象素相对应的多边形的照明基底元素被设置为第j维照明基本矢量，并且透视变换装置202输出照明基底组{b_j}。

具体地，照明校正装置203由根据程序而操作的信息处理设备的CPU来实现。在按照照明基底的线性和来计算图像中的脸部表面的亮度值时，照明校正装置203校正线性和的系数，以使计算结果对应于输入图像的阴暗部。此外，照明校正装置203使用照明基底计算装置20 1所计算的个体照明基底组来产生再现与输入图像相同照明条件的再现图像。在本实施例中，照明校正装置203接收个体照明基底组{b_j}和输入图像I_input，作为输入，并使用下面的表达式(13)所示的线性模型来计算再现图像I_model的亮度值。

I_model＝∑_jλ_jb_j

λ_i＝argmin(|I_model-I_input|²)    表达式(13)

在表达式(13)中，{λ_j}是表示照明的系数。照明校正装置203可通过线性最小平方方法，唯一地计算系数{λ_j}，而不需要执行重复的搜索处理。

具体地，参数更新装置204由根据程序而操作的图像处理设备的CPU来实现。参数更新装置204具有基于输入图像和照明校正装置203所产生的再现图像来更新各个参数(三维形状参数、纹理参数和位置/姿态参数)的功能。在本实施例中，参数更新装置204将再现图像I_model和输入图像I_input进行比较，并改变位置/姿态、三维形状和纹理，以使再现图像接近输入图像。图像处理系统使用脸部模型产生装置103之后的各个装置，重复执行处理，以找到最佳参数值，直到满足预定收敛条件为止。

参数更新装置204首先使用上述表达式(7)，根据图11所示的参数更新装置906所执行的处理相同的处理，来计算与图像之间的相似度有关的代价函数E_I。“代价函数”是表示再现图像和输入图像之间的误差的代价的函数。在本实施例中，“代价函数”表示再现图像中所估计的三维脸部形状、纹理、照明条件和位置/姿态与输入图像中三维脸部形状、纹理、照明条件和位置/姿态的接近程度。

此外，参数更新装置204使用概率下降法来搜索参数，以使代价函数最小化。为此，参数更新装置204针对三维形状、纹理和位置/姿态参数中的每一个，使用下面的表达式(14)来计算E的微分值。

[数字10]

$J=\left[\right\{\frac{\mathrm{dE}}{{\mathrm{ds}}_i}\},\{\frac{\mathrm{dE}}{{\mathrm{dt}}_i}\},\frac{\mathrm{dE}}{\mathrm{dp}},\frac{\mathrm{dE}}{\mathrm{d\θ}},\frac{\mathrm{dE}}{\mathrm{d\γ}},\frac{\mathrm{dE}}{\mathrm{d\φ}}]$           表达式(14)

参数更新装置204确定所计算的参数(三维形状参数、纹理参数和位置/姿态参数)中的每一个的更新量是否大于预先设置的阈值。在所计算的参数的每一个的更新量小于预先设置的阈值时，参数更新装置204确定重复处理收敛了，并结束处理。此外，在使用更新参数所产生的再现图像与输入图像之间的误差并不小于使用更新之前的参数所产生的再现图像与输入图像之间的误差的情况下，参数更新装置204确定重复处理收敛了，并结束处理。

当将图像处理系统应用于三维形状估计系统时，该图像处理系统在重复处理的过程中在获得了最接近输入图像的再现图像时(在处理收敛了时)输出个体三维形状和个体纹理，作为三维形状估计结果。在这种情况下，当确定重复处理收敛了时，参数更新装置204输出更新的三维形状参数和纹理参数，作为三维形状估计结果。

此外，当将图像处理系统应用于对象位置/姿态估计系统时，该图像处理系统在重复处理的过程中在获得了最接近输入图像的再现图像时输出位置/姿态数据，作为位置/姿态估计结果。在这种情况下，当确定重复过程收敛了时，参数更新装置204输出更新的位置/姿态参数，作为位置/姿态估计结果。

此外，当将图像处理系统应用于图像产生系统时，该图像处理系统输出在重复处理过程中获得的再现图像中最接近输入图像的再现图像。在这种情况下，当参数更新装置204确定重复处理收敛了时，照明校正装置203输出所产生的再现图像。

包含该图像处理系统的信息处理设备包括输出装置(由根据程序来操作的信息处理设备的CPU和输入/输出部分来实现)，用于向例如CD-ROM的记录介质输出三维形状估计结果、位置/姿态估计结果和再现图像。包含该图像处理系统的信息处理设备可在例如显示单元上显示三维形状估计结果、位置/姿态估计结果和再现图像。

此外，在本实施例中，包含该图像处理系统的信息处理设备的存储单元(未示出)存储用于处理输入图像的各种程序。例如，信息处理设备的存储单元存储图像处理程序，以使计算机执行：个体数据处理，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；第一照明基底计算处理，用于基于所产生的个体三维形状数据和个体纹理数据，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动；再现图像产生处理，用于使用所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及参数更新处理，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使所产生的再现图像接近输入图像，直到满足了预定收敛条件为止。

接下来描述操作。图3是示出了图像处理系统处理输入图像以便计算各个参数的处理过程示例的流程图。在本实施例中，图像处理系统包括图像拾取装置，例如摄像机。在根据例如用户的拍摄操作，使用图像拾取装置来拍摄要输入的图像时，图像处理系统开始输入图像的处理，以便计算各个参数的值。首先，位置/姿态初始值输入装置102根据用户的输入指示，输入位置/姿态参数{p，γ，θ，φ}的初始值(步骤S11)。

脸部模型产生装置103使用三维形状参数{s_i}和纹理参数{t_i}的当前值以及上述表达式(3)所表示的广义脸部模型，来计算个体三维形状和个体纹理(步骤S12)。在这种情况下，在重复处理的初始处理时，脸部模型产生装置103使用0值作为各个参数{s_i}和{t_i}的初始值，以计算个体三维形状和个体纹理。

照明基底计算装置201根据上述表达式(11)，使用脸部模型产生装置103所计算的个体三维形状和个体纹理来计算法向矢量。此外，照明基底计算装置201根据上述表达式(12)，来计算个体照明基底组(步骤S13)。

透视变换装置202基于上述表达式(4)所表示的关系，使用脸部模型产生装置103所获得的个体三维形状和当前位置/姿态参数，来计算构成再现图像的每个象素与个体三维形状中的多边形之间的对应(步骤S14)。在这种情况下，在重复处理的初始处理处，透视变换装置202使用位置/姿态初始值输入装置102所输入的位置/姿态参数的初始值来计算构成再现图像的每个象素与个体三维形状中的多边形之间的对应。此外，透视变换装置202计算矢量组{b_j}，在矢量组{b_j}中，设置了与构成再现图像的每个象素相对应的多边形的个体照明基底的值，以产生个体照明基底图像组。

照明校正装置203根据上述表达式(13)，使用输入图像I_input和照明基底计算装置201所产生的个体照明基底组来计算再现图像I_model的亮度值(步骤S15)。

参数更新装置204使用输入图像I_input、照明校正装置203所产生的再现图像I_model、广义脸部模型的特征值σ_si、σ_ti，来计算代价函数E。此外，参数更新装置204使用概率下降法，更新三维形状、纹理和位置/姿态的各个参数，以便使代价函数E最小化(步骤S16)。

参数更新装置204确定使用概率下降法的参数搜索是否收敛(步骤S17)。更具体大，在更新之后的每个新参数和更新之前的每个原始参数之差小于预先设置的阈值时，参数更新装置204确定重复处理收敛了，并结束处理。此外，在代价函数E的值不小于参数更新之前的代价函数E的值时，参数更新装置204确定重复处理收敛了，并结束处理。当重复处理尚未收敛时，处理流程返回步骤S12，在步骤S12，图像处理系统使用更新的参数α^*来重复步骤S12的处理及其后续处理。

当确定重复处理收敛了时，图像处理系统输出更新的各个参数(三维形状参数、纹理参数和位置/姿态参数)和再现图像，作为估计结果(步骤S18)。例如，图像处理系统向例如CD-ROM的存储介质输出更新的各个参数和再现图像。此外，例如，图像处理系统在显示单元上显示更新的各个参数和再现图像。

如上所述，根据本实施例，图像处理系统包括照明基底计算装置201和照明校正装置203，并使用照明基底来计算再现图像的亮度值。因此，图像处理系统被构造成计算再现图像的亮度值，而不使用亮度参数，消除了对用户输入照明参数的初始值的需求。因此，可以处理图像，而不需要预先找到表示照明条件的参数的初始值，也不需要用户手动输入照明参数。

此外，根据本实施例，可以消除对使用概率下降法来搜索照明参数的需求，从而减少了重复处理的次数，并避免了局部解，而这增加了各个参数的估计精度。也即，可以减少重复处理的次数，从而加速处理，并避免局部解，从而估计了精确的参数。

(第二实施例)

下面参考附图来描述本发明的第二实施例。图4是示出了图像处理系统的另一结构示例的框图。如图4所示，根据本实施例的图像处理系统包括广义照明基底模型产生装置300、位置/姿态初始值输入装置102、脸部模型产生装置103、照明基底模型计算装置301、透视变换装置202、照明校正装置203和参数更新装置204。

如图4所示，除了第一实施例所示的组件之外，根据本实施例的图像处理系统还包括广义照明基底模型产生装置300。此外，代替照明基底计算装置201，本实施例的图像处理系统包括照明基底模型计算装置301。

具体地，广义照明基底模型产生装置300由根据程序而操作的信息处理设备的CPU来实现。广义照明基底模型产生装置300具有如下功能：使用广义三维脸部模型来预先产生广义照明基底模型，以作为使用图像处理系统来产生各个参数和再现图像的准备步骤。

“照明基底模型”是使用预定参数来描述每个人的个体照明基底的模型。此外，“照明基底模型”包括平均个体照明基底和表示基于脸部形状而彼此不同的各个人的个体照明基底相对于平均个体照明基底如何变化的数据。在本实施例中，广义照明基底模型对应于广义三维对象形状模型，并被用于产生表示由于投影到单个对象上的照明的方向或强度的差异而引起的反射状态的基本变动(basic variation)的照明基底。

例如，广义照明基底模型产生装置300使用图像处理系统所设置的脸部模型存储装置中存储的广义三维模型来预先产生广义照明基底模型。图像处理系统包括照明基底模型存储装置(未示出)，用于存储广义照明基底模型产生装置300所产生的广义照明基底模型。具体地，照明基底模型存储装置由例如磁盘驱动器或光盘驱动器的数据库单元来实现。

图5是示出了广义照明基底模型产生装置300的结构示例的框图。如图5所示，广义照明基底模型产生装置300包括采样参数设置装置3001、照明基底计算装置3002和基底模型计算装置3003。

采样参数设置装置3001具有设置要赋予广义三维对象形状模型的随机三维形状参数的功能。在本实施例中，采样参数设置装置3001设置广义三维脸部模型的各种形状参数，以产生大量的采样三维形状和采样纹理的集合。采样参数设置装置3001可使用各种确定方法来设置这些参数。在本实施例中，假定三维形状参数{s_i}是均值为0且分布基于特征值σ_s和σ_ti的高斯分布的随机数，采样参数设置装置3001设置各个参数值。此外，采样参数设置装置3001根据上述表达式(14)，确定n_s个三维形状参数{s_ki}(k＝1，2，…，n_s)的集合，并产生n_s个采样三维形状参数。

照明基底计算装置3002具有如下功能：基于通过将采样参数设置装置3001所设置的参数赋予广义三维对象模型而产生的采样三维形状组，来计算与各个参数相对应的照明基底组。在本实施例中，照明基底计算装置3002针对采样参数设置装置3001所产生的每个采样的三维形状数据，根据上述表达式(12)来计算采样照明基底组{b_jk}(k＝1，…，n_s)。

此外，照明基底计算装置3002使用预定球谐函数，基于个体三维形状来计算个体照明基底。然而，在本实施例中，与在第一实施例中所述的球谐函数计算装置2012不同，照明基底计算装置3002并不使用纹理数据，而是计算在表达式(12)中t⁽ⁱ⁾值设置为1的采样照明基底组。也即，照明基底计算装置3002所计算的采样照明基底组仅包含亮度值仅基于三维形状而改变的分量。

此外，在计算个体照明基底时，照明基底计算装置3002首先设置各种照明条件。然后，照明基底计算装置3002计算所设置的照明条件下对象表面上的各个部分的亮度值。最后，照明基底计算装置3002基于所获得的亮度值来计算个体照明基底组。

基底模型计算装置3003使用照明基底计算装置3002所计算的照明基底组以及广义三维对象模型的基本矢量和特征值，来计算广义照明基底模型的基本矢量。在本实施例中，基底模型计算装置3003按照线性模型，计算表示基底模型计算装置3003所产生的采样照明基底组{b_kj}的基本矢量。这里假定其中设置了采样三维形状数据k的照明基底组{b_kj}的元素的矢量是B_k，并且其平均矢量是条B。此外，预定矩阵B由下面的表达式(15)定义。

[数字11]

$B=[B_1-\stackrel{\‾}{B},B_2-\stackrel{\‾}{B},\·\·\·B_{\mathrm{ns}}-\stackrel{\‾}{B}]$            表达式(15)

基底模型计算装置3003根据下面的表达式(16)，使用预定矩阵U_s和∑_s(由在广义三维脸部模型的计算中使用的上述表达式(2)表示的矩阵U_s和∑_s)的值来计算矩阵C。

C^T＝∑_s ^-1U_s ^-1B^T    表达式(16)

基底模型计算装置3003然后将矩阵C的列矢量存储在照明基底模型存储装置中，作为广义照明基底模型的基本矢量组{c_i}。

通过使用广义照明基底模型产生装置300所产生的广义照明基底模型，可以按照以在根据广义三维脸部模型而产生采样形状时的形状参数{s_i}作为系数的{c_i}的线性和，来计算采样脸部形状的照明基底的值(然而，在这种情况下，纹理＝1)。因此，照明基底模型计算装置301可根据下面的表达式(17)，计算三维形状参数是{s_i}、且个体纹理是{T}的对象的个体照明基底组{b_j}。

[数字12]

${b_j}^{\left(k\right)}=T^{\left(k\right)}({\stackrel{\‾}{B}}^{\left(k\right)}+{\mathrm{\Σ}}_i{s}_i{c_i}^{\left(k\right)})$                  表达式(17)

在表达式(17)中，(k)表示第k个元素的值。

具体地，照明基底模型计算装置301由根据程序而操作的信息处理设备的CPU来实现。照明基底模型计算装置301接收脸部模型产生装置103所计算的当前三维形状参数{s_i}和个体纹理{T}，作为输入，使用广义照明基底模型产生装置300所产生的广义照明基底模型，来计算照明基底。在这种情况下，照明基底模型计算装置301根据上述表达式(17)来计算个体照明基底组。在本实施例中，与在第一实施例中所述的照明基底计算装置201不同，照明基底模型计算装置301不需要根据个体三维形状来计算法向矢量，而可仅通过使用表达式(17)的简单线性计算，来计算个体照明基底组{b_j}。

照明基底模型计算装置301通过使用与要赋予广义三维对象形状模型的三维形状参数相同的参数，来计算与广义照明基底模型产生装置300使用广义三维对象形状模型而产生的个体三维形状相对应的个体照明基底。

位置/姿态初始值输入装置102、脸部模型产生装置103、透视变换装置104、照明校正装置203以及参数更新装置204的功能与在第一实施例中所述的相同。

接下来描述操作。首先，在产生各个参数或再现图像之前，图像处理系统预先执行广义照明基底模型的计算。图6是示出了图像处理系统预先产生广义照明基底模型的处理过程示例的流程图。

广义照明基底模型产生装置300确定足够数目的广义三维脸部模型的随机三维形状参数的集合(步骤S21)。此外，广义照明基底模型产生装置300使用广义三维脸部模型，根据每一预定三维形状参数集合，计算个体三维形状，并计算所计算的个体三维形状的法向矢量。然后，假定纹理的亮度都是“1”，广义照明基底模型产生装置300计算照明基底矢量组(步骤S22)。

广义照明基底模型产生装置300根据上述表达式(16)，计算所计算的照明基底矢量组的广义照明基底模型的基本矢量组(步骤S23)。此外，广义照明基底模型产生装置300将所计算的广义照明基底模型的基本矢量存储在照明基底模型存储装置中。

利用上述处理，产生了广义照明基底模型，并将其存储在照明基底模型存储装置中。在上述照明基底模型产生处理之后，图像处理系统执行以下处理。

图7是示出了图像处理系统处理输入图像以便计算各个参数的另一处理过程示例的流程图。与第一实施例的情况相同，在根据例如用户的拍摄操作而使用图像拾取装置来拍摄要输入的图像时，图像处理系统开始处理输入图像，以便计算各个参数的值。首先，图像处理系统的位置/姿态初始值输入装置102根据用户的输入指示，输入输入图像的位置/姿态参数{p，γ，θ，φ}的初始值(步骤S31)。

脸部模型产生装置103使用三维形状参数{s_i}和纹理参数{t_i}的当前值以及上述表达式(3)所表示的广义脸部模型，来计算个体三维形状和个体纹理(步骤S32)。在这种情况下，在重复处理的初始处理时，脸部模型产生装置103使用0值作为各个参数{s_i}和{t_i}的初始值，来计算个体三维形状和个体纹理。

照明基底模型计算装置301基于脸部模型产生装置103所计算的三维形状参数{s_i}和存储在照明基底模型存储装置中的广义照明基底模型，根据上述表达式(17)来计算个体照明基底组(步骤S33)。

透视变换装置202基于上述表达式(4)所表示的关系，使用脸部模型产生装置103所计算的个体三维形状和当前位置/姿态参数，来计算构成再现图像的每个象素与个体三维形状中的多边形之间的对应(步骤S34)。在这种情况下，在重复处理的初始处理处，透视变换装置202使用位置/姿态初始值输入装置102所输入的位置/姿态参数的初始值，来计算构成再现图像的每个象素与个体三维形状中的多边形之间的对应关系。此外，透视变换装置202计算矢量组{b_j}，在矢量组中{b_j}，设置了与构成再现图像的每个象素相对应的多边形的个体照明基底的值，以便产生个体照明基底图像组。

照明校正装置203根据上述表达式(13)，使用输入图像I_input和照明基底模型计算装置301所产生的个体照明基底组来计算再现图像I_model的亮度值(步骤S35)。

参数更新装置204使用输入图像I_input、照明校正装置203所产生的再现图像I_model、以及广义脸部模型的特征值σ_si、σ_ti，来计算代价函数E。此外，参数更新装置204使用概率下降法，更新三维形状、纹理和位置/姿态的各个参数，以便使代价函数E最小化(步骤S36)。

参数更新装置204确定使用概率下降法的参数搜索是否收敛(步骤S37)。具体地，当更新之后在步骤S36中计算的每个新参数与更新之前的每个原始参数之差小于在先设置的阈值时，参数更新装置204确定重复处理收敛了，并结束处理。此外，当代价函数E的值不小于参数更新之前的代价函数E的值时，参数更新装置204确定重复处理收敛了，并结束处理。当重复处理尚未收敛时，处理例程返回步骤S32，在步骤S32，图像处理系统使用更新的参数α^*来重复步骤S32的处理及其后续处理。

当确定重复处理收敛了时，图像处理系统输出更新的各个参数(三维形状参数、纹理参数和位置/姿态参数)和再现图像，作为估计结果(步骤S38)。例如，图像处理系统向例如CD-ROM的存储介质输出更新的各个参数和再现图像。此外，例如，图像处理系统在显示单元上显示更新的各个参数和再现图像。

如上所述，根据本实施例，图像处理系统包括广义照明基底模型产生装置300来在先计算广义照明基底模型。然后，使用广义照明基底模型，可仅通过简单的线性计算，根据三维形状参数而获得照明基底。这消除了对根据三维形状数据来计算法向矢量的需求，使得可以高速执行处理。因此，除了第一实施例的优点之外，还可以提高图像产生过程中阴和影的计算处理速度，并高速执行在使用线性照明模型时需要的照明基底的计算。

(第三实施例)

接下来，将参考附图来描述本发明的第三实施例。图8是示出了图像处理系统的另一结构示例的框图。如图8所示，根据本实施例的图像处理系统包括在第二实施例中所述的脸部模型产生装置103、广义照明基底模型产生装置300和照明基底模型计算装置301。图像处理系统接收给定某人的脸部的三维形状参数和纹理参数，作为输入，并输出个体三维形状和个体照明基底组。

首先，广义照明基底模型产生装置300根据与第二实施例的处理相同的处理，在先产生与广义三维脸部模型相对应的广义照明基底模型。脸部模型产生装置103接收要处理的给定某人的脸部的三维形状参数和纹理参数，作为输入，并根据与第二实施例的处理相同的处理，使用广义三维脸部模型来计算个体三维形状和个体纹理。照明基底模型计算装置301接收三维形状参数和广义照明基底模型，作为输入，并根据与第二实施例的处理相同的处理，来计算个体照明基底组。

在本实施例中，图像处理系统包括输出装置(由根据程序而操作的信息处理设备的CPU和输入/输出部分实现)，用于输出脸部模型产生装置103所产生的个体三维形状和照明基底模型计算装置301所产生的个体照明基底组。

如上所述，根据本实施例，基于三维形状参数和纹理参数来计算个体三维形状和个体照明基底。因此，可以高速计算三维脸部模型(三维形状数据和照明基底组的集合)，基于三维脸部模型，可产生各种位置/姿态和照明条件下的脸部图像。

对于例如文献B中所述的脸部识别系统中执行的处理，需要个体三维形状和个体照明基底组。在本实施例中，图像处理系统具有三维脸部模型产生系统的功能，用于通过根据各个参数来高速产生脸部的三维形状数据和照明基底，来提供这些数据。

在文献B所述的脸部识别系统中，将通过测量多个人而获得的三维形状数据和个体照明基底存储在数据库中，并使用多个人的数据来产生输入图像的再现图像。然后，将最接近输入图像的再现图像确定为目标人。在这种情况下，作为文献B中所述的脸部识别系统的数据库的替代，可以使用根据本实施例的图像处理系统。也就是说，在脸部识别系统中，代替数据库中的个体三维形状数据和个体照明基底，存储每个人的三维形状参数和纹理参数。然后，当使用根据本实施例的图像处理系统来计算每个人的个体三维形状数据和个体照明基底时，可以实现文献B所述的脸部识别系统。

示例1

下面参考附图来描述本发明的示例1。在示例1中，使用具体示例来描述图像处理系统的操作。此外，在示例中，描述将图像处理系统应用于用于基于脸部图像来估计脸部图像所示的某个人的脸部的三维形状的三维形状估计系统的情况。示例1所示的图像处理系统的配置与在本发明的第一实施例中所述的配置(在图1中示出了)相对应。

图9是示出了图像处理系统的具体示例的解释性视图。如图9所示，根据示例1的图像处理系统包括：图像输入单元401，用于拍摄图像并输入所拍摄的图像；计算机402，用于执行各种处理；存储单元403，用于存储各种数据；以及存储介质404，用于存储并输出估计结果数据。

计算机402包括位置/姿态初始值输入装置102、脸部模型产生装置103、照明基底计算装置201、透视变换装置202、照明校正装置203和参数更新装置204。

存储单元403在先存储广义三维脸部模型。例如，存储单元403存储100个形状基本矢量、100个纹理基本矢量和分别对应于形状基本矢量和纹理基本矢量的特征值，作为广义三维脸部模型数据。图像处理系统可使用多于100个基本矢量，以便提高估计精度。可选地，图像处理系统可将基本矢量的数目减少到小于100，以提高处理速度。

首先，根据用户的指示，图像输入单元401拍摄某个人的脸部图像，并将输入图像411输出到计算机402。然后，计算机402从图像输入单元401接收输入图像411。例如，计算机402接收了输入图像411，在该输入图像411中，在图像中央示出了脸部，脸部距离摄像机170cm，且脸部的方向设置为偏离左方向40°(姿态参数θ＝40)，偏离向下方向10°(γ＝10)、偏离水平方向0°(φ＝0)。此外，在输入图像411中，以偏离右方向60°、偏离上80°的方向，向脸部照射光，并且整个室内的亮度强度是该光的亮度强度的一半。当然，在输入输入图像411时，图像处理系统并不知道脸部的正确方向和照明条件。

计算机402的位置/姿态初始值输入装置102根据用户的输入指示，输入输入图像411的位置/姿态参数{p，γ，θ，φ}的初始值。可将各种方法用于输入位置/姿态参数的初始值。例如，如图10所示，位置/姿态初始值输入装置102在计算机402的显示单元的屏幕上，显示根据CG技术、使用平均三维脸部形状和平均纹理所产生的图像。在这种情况下，如图10所示，位置/姿态初始值输入装置102在显示单元的屏幕上并排显示输入图像411和CG图像412。用户在将CG图像412与输入图像411相比较的同时，改变位置/姿态参数{p，γ，θ，φ}的值，并指示输入值，以使CG图像412接近输入图像411。根据用户的输入指示，位置/姿态初始值输入装置102输入位置/姿态参数{p，γ，θ，φ}的初始值。例如，在示例1中，位置/姿态初始值输入装置102输入p＝[10，5，150]、γ＝5、θ＝45和φ＝5，作为位置/姿态参数的初始值。

然后，脸部模型产生装置103使用三维形状参数{s_i}和纹理参数{t_i}的当前值以及上述表达式(3)所表示的广义脸部模型，来计算个体三维形状和个体纹理。在这种情况下，脸部模型产生装置103在先从存储单元403中读出存储在其中的广义三维脸部模型，并计算个体三维形状和个体纹理。此外，在重复处理的初始处理时，脸部模型产生装置103使用0值作为各个参数{s_i}和{t_i}的初始值，来计算个体三维形状和个体纹理。

照明基底计算装置201根据上述表达式(11)，使用脸部模型产生装置103所计算的个体三维形状和个体纹理，来计算法向矢量。此外，照明基底计算装置201根据上述表达式(12)，来计算个体照明基底组。在示例1中，照明基底计算装置201计算照明基底的数目设置为9的个体照明基底组。可将照明基底计算装置201所计算的照明基底的数目改变为各种值。例如，可以减少要计算的照明基底的数目以提高处理速度。可选地，可以增加要计算的照明基底的数目以提高各个参数的估计精度。

透视变换装置202根据上述表达式(4)所表示的关系，使用个体三维形状和位置/姿态参数来计算构成再现图像的每个象素与个体三维形状中的多边形之间的对应。此外，透视变换装置202计算矢量组{b_j}，在矢量组{b_j}中，设置了与构成再现图像的每个象素相对应的多边形的个体照明基底的值，以产生个体照明基底图像组。例如，在构成与个体三维形状相对应的输入图像的象素数目是100时，透视变换装置202计算包含100维矢量的矢量组{b_j}。

照明校正装置203根据上述表达式(13)，使用输入图像I_input和照明基底计算装置201所产生的个体照明基底组，来计算再现图像I_model的亮度值。

参数更新装置204使用输入图像I_input、照明校正装置203所产生的再现图像I_model、以及广义脸部模型的特征值σ_si、σ_ti，来计算代价函数E。此外，参数更新装置204使用概率下降法，更新三维形状、纹理和位置/姿态的各个参数，以便使代价函数E最小化。

参数更新装置204确定使用概率下降法的参数搜索是否收敛。具体地，当更新之后的每个新参数与更新之前的每个原始参数之差小于在先设置的阈值时，参数更新装置204确定重复处理收敛了，并结束处理。此外，当代价函数E的值不小于参数更新之前的代价函数E的值时，参数更新装置204确定重复处理收敛了，并结束处理。例如，参数更新装置204使用元素p的阈值“1cm”和脸部的角度γ、θ和φ的阈值“1°”，作为参数更新量的阈值，来确定参数搜索是否收敛。当所计算的每一个参数的更新量小于每一个上述阈值时，参数更新装置204确定参数搜索收敛了。当参数搜索尚未收敛时，图像处理系统使用更新的参数来重复执行脸部产生装置103、照明基底计算装置201、透视变换装置202、照明校正装置203以及参数更新装置204所执行的处理。

当确定重复处理收敛了时，图像处理系统向存储介质404输出脸部模型产生装置103根据在收敛时获得的三维形状参数和纹理参数而产生的个体三维脸部形状和个体纹理。图像处理系统可使用个体三维形状和个体纹理来产生CG图像，并将所产生的CG图像输出到存储介质404。在将图像处理系统应用于估计脸部的方向的脸部姿态估计系统的情况下，图像处理系统可输出在收敛时获得的位置/姿态参数。

示例2

接下来参考附图来描述本发明的示例2。在示例2中，描述将图像处理系统应用于基于脸部图像来估计脸部图像所示的脸部的位置和姿态的对象位置/姿态估计系统的情况。示例2所示的图像处理系统的结构与在本发明的第二实施例中所述的结构(在图4中示出了)相对应。

在示例2中，计算机402包括在第二实施例中所述的广义照明基底模型计算装置300、位置/姿态初始值输入装置102、脸部模型产生装置13、照明基底模型计算装置301、透视变换装置202、照明校正装置203和参数更新装置204。

存储单元403在先存储广义三维脸部模型。在示例1中，仅使用广义脸部模型的基本矢量和特征值。然而，在示例2中，在构造广义三维脸部模型中，将矩阵US的值(上述表达式(2)中的矩阵US)与广义脸部模型的基本矢量和特征值一起存储在存储装置403中。

首先，在将图像处理系统用于产生各个参数和再现图像时，计算机402的广义照明基底模型产生装置300预先计算广义照明基底模型。

采样参数设置装置3001确定足够数目的广义三维脸部模型的随机三维形状参数的集合。例如，采样参数设置装置3001随机地设置100个参数集合。可将参数的数目改变为各种值。

照明基底计算装置3002使用广义脸部模型，根据采样参数设置装置3001所确定的每一个三维形状参数集合，来计算个体三维形状，并计算所计算的个体三维形状的法向矢量。此外，假定纹理的亮度均为“1”，照明基底计算装置3002计算照明基底矢量组。

基底模型计算装置3003根据上述表达式(16)，来计算照明基底计算装置3002所计算的照明基底矢量组的广义照明基底模型的基本矢量组。此外，基底模型计算装置3003将所计算的广义照明基底模型的基本矢量组存储在存储单元403中。在示例2中，由于三维形状参数的数目是100，所以基底模型计算装置3003计算包含100个基本矢量的基本矢量组。

在在先执行了上述处理之后，图像处理系统执行以下处理。

首先，计算机402的位置/姿态初始值输入装置102根据用户的输入指示，输入位置/姿态参数{p，γ，θ，φ}的初始值。在这种情况下，与在示例1的情况下一样，存在用户在查看CG图像的同时手动输入初始值的一种方法。然而，在示例2中，描述用户在查看的同时指示输入两眼或嘴角相对于输入图像411的位置的情况。在示例2中，在先将相应点的位置赋予平均三维形状数据(例如，预先在存储单元403中存储相应点的位置信息)。然后，位置/姿态初始值输入装置102使用在先存储的三维坐标和根据用户的操作而输入的点的位置数据，来计算脸部的姿态。

脸部模型产生装置103使用形状参数{s_i}和纹理参数{t_i}的当前值以及上述表达式(3)所表示的广义脸部模型，来计算个体三维形状和个体纹理。在这种情况下，在重复处理的初始处理时，脸部模型产生装置103使用0值作为各个参数{s_i}和{t_i}的初始值，来计算个体三维形状和个体纹理。

照明基底模型计算装置301根据上述表达式(17)，基于脸部模型产生装置103所计算的三维形状参数和存储在存储单元403中的广义照明基底模型，来计算个体照明基底组。

透视变换装置202基于上述表达式(4)所表示的关系，使用脸部模型产生装置103所计算的个体三维形状和当前位置/姿态参数，来计算构成再现图像的每个象素与个体三维形状中的多边形之间的对应关系。此外，透视变换装置202计算矢量组{b_j}，在矢量组{b_j}中，设置了与构成再现图像的每个象素相对应的多边形的个体照明基底的值，以产生个体照明基底图像组。

照明校正装置203根据上述表达式(13)，使用输入图像和I_input照明基底模型计算装置301所产生的个体照明基底组，来计算再现图像I_model的亮度值。

参数更新装置204使用输入图像I_input、照明校正装置203所产生的再现图像I_model、广义脸部模型的特征值σ_si、σ_ti，来计算代价函数E。此外，参数更新装置204使用概率下降法，更新三维形状、纹理和位置/姿态的各个参数，以便使代价函数E最小化。

参数更新装置204确定使用概率下降法的参数搜索是否收敛。更具体大，在图7所示步骤S36中进行的更新之后的每个新参数和更新之前的每个原始参数之差小于预先设置的阈值时，参数更新装置204确定重复处理收敛了，并结束处理。此外，在代价函数E的值不小于参数更新之前的代价函数E的值时，参数更新装置204确定重复处理收敛了，并结束处理。当重复处理尚未收敛时，图像处理系统使用更新的参数，重复执行脸部模型产生装置103、照明基底模型计算装置301、透视变换装置202、照明校正装置203和参数更新装置204所整形的各个处理。

当重复处理收敛了时，图像处理系统输出收敛时的位置/姿态参数的值，作为输入图像所示的脸部的位置/姿态的估计值。例如，图像处理系统向例如存储介质404输出表示位置和姿态的数据(位置/姿态参数)。

尽管参考优选实施例描述了本发明，但是本发明并不局限于上述实施例，对于本领域技术人员显而易见的是，可在不背离本发明的范围的情况下，基于权利要求的描述进行各种修改和改变。这种修改和改变同样落入本发明的范围内。

在使用程序代码来实现构成上述每个实施例的各个装置的一部分功能的情况下，程序代码和记录程序代码的记录介质也被包含在本发明的类别中。在这种情况下，在与操作系统或其它应用软件等一起实现功能时，所述程序代码包括其程序代码。记录介质的示例包括任意种类的记录介质，例如盘形记录介质(光盘、磁光盘、磁盘等)、带形记录介质(磁带等)或卡形记录介质(存储卡等)。

工业实用性

本发明适用于根据一个或多个脸部图像来估计脸部图像所示的脸部的三维形状的三维形状估计系统。此外，本发明适用于通过输出估计姿态参数来估计输入图像所示的脸部的方向的对象位置/姿态估计系统。此外，本发明适用于产生输入图像的再现图像(例如CG图像)的图像产生系统。

Claims (28)

1.一种图像处理系统，包括：

个体数据产生装置，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；

第一照明基底计算装置，用于基于个体数据产生装置所产生的个体三维形状数据和个体纹理数据，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动；

再现图像产生装置，用于使用第一照明基底计算装置所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及

参数更新装置，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使再现图像产生装置所产生的再现图像接近输入图像，直到满足了预定收敛条件为止。

2.根据权利要求1所述的图像处理系统，其中

第一照明基底计算装置使用球谐函数，基于个体数据产生装置所产生的个体三维形状数据，来计算个体照明基底。

3.根据权利要求1所述的图像处理系统，其中

第一照明基底计算装置包括：

照明条件设置装置，用于设置多个不同的照明条件；

亮度计算装置，用于计算在照明条件设置装置所设置的各种照明条件下对象表面的每个部分的亮度值；以及

计算装置，用于根据计算亮度计算装置所计算的亮度值，来计算个体照明基底组。

4.一种图像处理系统，包括：

个体数据产生装置，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；

广义照明基底模型产生装置，用于产生广义照明基底模型，所述广义照明基底模型与广义三维对象模型相对应，并用于产生表示由于投射到单个对象上的照明的方向或强度的差异而引起的反射状态的基本变动的照明基底；以及

第二照明基底计算装置，用于使用广义照明基底模型产生装置所产生的广义照明基底模型，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动。

5.根据权利要求4所述的图像处理系统，还包括输出装置，用于输出个体数据产生装置所产生的个体三维形状数据和第二照明基底计算装置所产生的个体照明基底。

6.根据权利要求4或5所述的图像处理系统，还包括：

再现图像产生装置，用于使用第二照明基底计算装置所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及

参数更新装置，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使再现图像产生装置所产生的再现图像接近输入图像，直到满足预定收敛条件为止。

7.根据权利要求6所述的图像处理系统，其中

第二照明基底计算装置通过使用与要赋予广义三维对象形状模型的三维形状参数相同的参数，来计算与广义照明基底模型产生装置使用广义三维对象模型所产生的个体三维形状数据相对应的个体照明基底。

8.根据权利要求7所述的图像处理系统，其中

广义照明基底模型产生装置包括：

参数设置装置，用于设置要赋予广义三维对象模型的随机三维形状参数；

第三照明基底计算装置，用于基于通过将参数设置装置所设置的参数赋予广义三维对象模型而产生的采样三维形状组，来计算与各个参数相对应的照明基底组；以及

基底计算装置，用于使用第三照明基底计算装置所计算的照明基底组以及广义三维对象模型的基本矢量和特征值，来计算广义照明基底模型的基本矢量。

9.根据权利要求8所述的图像处理系统，其中

第三照明基底计算装置使用球谐函数，基于个体三维形状数据，来计算个体照明基底。

10.根据权利要求8所述的图像处理系统，其中

第三照明基底计算装置包括：

照明条件设置装置，用于设置多个不同的照明条件；

亮度计算装置，用于计算在照明条件设置装置所设置的各种照明条件下对象表面的每个部分的亮度值；以及

计算装置，用于根据计算亮度计算装置所计算的亮度值，通过主分量分析，来计算个体照明基底组。

11.一种使用如权利要求1或权利要求4所述的图像处理系统并估计对象的三维形状的三维形状估计系统，包括：

形状输出装置，用于在满足预定收敛条件时输出广义三维对象模型基于在收敛时获得的三维形状参数和纹理参数所产生的三维形状。

12.一种使用如权利要求1或权利要求4所述的图像处理系统并估计对象的位置和姿态形状的对象位置/姿态估计系统，包括：

位置/姿态输出装置，用于在满足预定收敛条件时输出表示在收敛时获得的对象的位置和姿态的位置/姿态参数。

13.一种使用如权利要求1或权利要求4所述的图像处理系统并产生再现与输入图像相同照明条件的再现图像的图像产生系统，包括：

图像输出装置，用于在满足预定收敛条件时输出在收敛时获得的再现图像。

14.一种图像处理方法，包括：

个体数据产生步骤，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；

第一照明基底计算步骤，用于基于所产生的个体三维形状数据和个体纹理数据，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动；

再现图像产生步骤，用于使用所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及

参数更新步骤，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使所产生的再现图像接近输入图像，直到满足了预定收敛条件为止。

15.根据权利要求14所述的图像处理方法，其中

第一照明基底计算步骤使用球谐函数，基于在个体数据产生步骤所产生的个体三维形状数据，来计算个体照明基底。

16.根据权利要求14所述的图像处理方法，其中

第一照明基底计算步骤设置多个不同的照明条件，计算各种照明条件下对象表面的每个部分的亮度值，并根据所计算的亮度值，来计算个体照明基底组。

17.一种图像处理方法，包括：

个体数据产生步骤，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；

广义照明基底模型产生步骤，用于产生广义照明基底模型，所述广义照明基底模型与广义三维对象模型相对应，并用于产生表示由于投射到单个对象上的照明的方向或强度的差异而引起的反射状态的基本变动的照明基底；以及

第二照明基底计算步骤，用于使用所产生的广义照明基底模型，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动。

18.根据权利要求17所述的图像处理方法，还包括输出步骤，用于输出个体数据产生步骤所产生的个体三维形状数据和第二照明基底计算步骤所产生的个体照明基底。

19.根据权利要求17或18所述的图像处理方法，还包括：

再现图像产生步骤，用于使用第二照明基底计算步骤所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及

参数更新步骤，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使所产生的再现图像接近输入图像，直到满足预定收敛条件为止。

20.根据权利要求19所述的图像处理方法，其中

第二照明基底计算步骤通过使用与要赋予广义三维对象形状模型的三维形状参数相同的参数，来计算与广义照明基底模型产生步骤使用广义三维对象模型所产生的个体三维形状数据相对应的个体照明基底。

21.根据权利要求20所述的图像处理方法，还包括：

参数设置步骤，用于设置要赋予广义三维对象模型的随机三维形状参数；

第三照明基底计算步骤，用于基于通过将所设置的参数赋予广义三维对象模型而产生的采样三维形状组，来计算与各个参数相对应的照明基底组；以及

基底计算步骤，用于使用所计算的照明基底组以及广义三维对象模型的基本矢量和特征值，来计算广义照明基底模型的基本矢量。

22.根据权利要求21所述的图像处理方法，其中

第三照明基底计算步骤可使用球谐函数，基于个体三维形状数据，来计算个体照明基底。

23.根据权利要求21所述的图像处理方法，其中

第三照明基底计算步骤设置多个不同的照明条件，计算在所设置的各种照明条件下对象表面的每个部分的亮度值，并根据所计算的亮度值，通过主分量分析，来计算个体照明基底组。

24.一种使用如权利要求14或17所述的图像处理方法并估计对象的三维形状的三维形状估计方法，包括：

形状输出步骤，用于在满足预定收敛条件时输出广义三维对象模型基于在收敛时获得的三维形状参数和纹理参数所产生的三维形状。

25.一种使用如权利要求14或17所述的图像处理方法并估计对象的位置和姿态形状的对象位置/姿态估计方法，包括：

位置/姿态输出步骤，用于在满足预定收敛条件时输出表示在收敛时获得的对象的位置和姿态的位置/姿态参数。

26.一种使用如权利要求14或17所述的图像处理方法并产生再现与输入图像相同照明条件的再现图像的图像产生方法，包括

图像输出步骤，用于在满足预定收敛条件时输出在收敛时获得的再现图像。

27.一种图像处理程序，使计算机执行以下处理：

个体数据产生处理，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；

第一照明基底计算处理，用于基于所产生的个体三维形状数据和个体纹理数据，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动；

再现图像产生处理，用于使用所计算的个体照明基底组，来产生再现与输入图像相同照明条件的再现图像；以及

参数更新处理，用于重复更新要赋予广义三维对象模型的三维形状参数和纹理参数，以使所产生的再现图像接近输入图像，直到满足了预定收敛条件为止。

28.一种图像处理程序，使计算机执行以下处理：

个体数据产生处理，用于使用基于彼此类似的多个对象的三维形状数据和纹理数据而计算的广义三维对象模型，基于三维形状参数和纹理参数，产生表示单个对象的三维形状的个体三维形状数据和表示单个对象的纹理的个体纹理数据；

广义照明基底模型产生处理，用于产生广义照明基底模型，所述广义照明基底模型与广义三维对象模型相对应，并用于产生表示由于投射到单个对象上的照明的方向或强度的差异而引起的反射状态的基本变动的照明基底；以及

第二照明基底计算处理，用于使用所产生的广义照明基底模型，来计算个体照明基底，所述个体照明基底表示在各种照明条件下单个对象的三维表面的每个部分的亮度值的变动。

Images