CN103608846B - 一种用于三维图像模型调适的方法和装置 - Google Patents

Abstract

用于调适物体的3D模型（m）的方法，所述方法包括以下步骤：–执行所述3D模型的至少一个投影来获取至少一个带有关联的深度信息（d1）的2D图像模型投影（p1），‑在所述至少一个2D图像模型投影（p1）上执行至少一个状态提取操作，从而获取至少一个状态（s1）‑根据所述至少一个状态（s1）并根据目标状态（s），调适所述至少一个2D图像模型投影（p1）以及所述关联的深度信息（d1），从而获取至少一个被调适的2D图像模型（p1’）以及关联的被调适的深度（d1’）‑基于所述关联的被调适的深度（d1’），反投影所述至少一个被调适的2D图像模型（p1’）到3D，从而获取被调适的3D模型（m’）。

Description

一种用于三维图像模型调适的方法和装置

技术领域

本发明要求在先提交的欧洲专利申请11305768的优先权并涉及一种用于三维，其，在余下的文本中将被缩写为3D，图像模型的调适（adaptation）的方法。

背景技术

3D模型调适通常是以手动方式被完成，其一般地是不令人满意的。另一种调适3D模型的方式利用状态调适，其涉及3D模型的调适以符合某种状态。该状态影响形状和/或外观，比如模型的某些部分或特征的纹理，的3D位置。再一次，用于3D模型状态调适的现有技术的主要问题是在3D中要被调适的特征的数量通常非常多，由于计算资源不充足，以致再一次，人工介入常常被需要。此外，最新的技术被限于使用被绑定的模型，其对于其中模型能够被学习到，这样在学习过程中，它们的形状也能够变化的动态系统中的使用带来了严重的限制。

发明内容

因此本发明的实施例的一个目标是提出一种用于3D图像模型调适的方法和装置，其能够被完全自动地使用并且实现使用动态地自适应的模型。

根据本发明的实施例，这个目标通过一种用于调适物体的3D模型的方法来达到，所述方法包括步骤

–执行所述3D模型的至少一个投影来获取至少一个具有关联的深度信息（d1）的2D图像模型（p1），

–在所述至少一个2D图像模型投影（p1）上执行至少一个状态提取操作，从而获取至少一个状态（s1）

–根据所述至少一个状态（s1）并根据目标状态（s），调适所述至少一个2D图像模型投影（p1）以及所述关联的深度信息，从而获取至少一个被调适的2D图像模型（p1’）以及关联的被调适的深度（d1’）

–基于所述关联的被调适的深度（d1’），反投影所述至少一个被调适的2D图像模型到3D，从而获取被调适的3D模型（m’）。

通过调适3D图像模型的至少一个2D投影的所述状态以及它的关联的深度信息，较少的计算资源被使用，因此避免在此过程中对人工干预的需求。反投影到3D保证了该3D模型本身是尽可能逼真地被调适的。

在一个实施例中，被调适的3D模型（m’）是基于该初始的3D模型（m）信息来被进一步确定的。

这实现了该被调适的模型的平滑变形。

在另一个实施例中，所述目标状态（s）是通过外部施加的限制来被确定的。

这可以，如包括关于鼻子的外形，眼睛的颜色，等等的高级信息。

在另一个实施例中，所述目标状态（s）是从外部图像输入（IV）的状态（se）来被获取的。

这允许3D模型平滑地调适到如实时视频上的物体的变化的特征，或使该物体类似静态图像上存在的物体，因为所述目标状态将通过组合所述外部图像输入（IV）的状态（se）与所述至少一个状态（s1）来被获取。

在一个优选的变型中，所述外部图像输入（IV）包括2D图像输入，并且所述3D模型的所述至少一个2D投影中的一个是根据从所述外部图像输入（IV）推导出的虚拟相机来被执行的。

这对于获取在所述外部图像输入和所述3D模型间的最优关系是有用的。

在再一个变型中，该外部图像输入可以包括2D+视差(disparity)输入，具有其意味着2D以及视差信息都是被外部地提供的，如被立体相机。然后深度信息能够从该视差信息中用深度x视差=常量的公式来被直接地推导出。

这允许直接地使用来自该输入的该深度数据，用于更新所述关联的深度。

本发明还涉及一种用于执行该方法的装置，包含这样的装置的图像或视频处理设备，并且涉及一种包括当在数据处理装置上被执行时，适用于执行上述描述的或要求的方法步骤的软件的计算机程序产品。

应注意术语“连接”，在权利要求书中被使用，不应被解释为仅限于直接连接。因此，表述“设备A连接到设备B”不应被限制于，其中设备A的输出被直接连接到设备B的输入，的设备或系统。其表示在设备A的输出和设备B的输入间存在着路径，其可以是包含其他设备或装置的路径。

应注意术语“包括”，在权利要求书中被使用，不应被解释为局限于其后列举的装置。因此，表述“设备包含装置A和B”的范围不应被限制在仅仅由组件A和B组成的装置。其表示就本发明而言，该设备的相关组件仅为A和B。

在整个文本中，二维将被所缩写为2D，并且，如前文所提及，三维将被缩写为3D。

附图说明

通过参考下文实施例的描述并结合附图，本发明上述和其他的目标和特征将变得更明显，并且本发明本身将会被最好地理解，在附图中，

图1a-b示出本方法和装置的第一变型，

图2a-b示出参与本发明的实施例的几何模型的示意图，

图3a-b示出本方法的第二变型，

图4a-b分别示出本方法的第三，第四实施例，

图5a-c阐明在附加的2D视频输入的情况下，图3a的实施例所执行的不同的步骤，

本领域技术人员应理解此处的框图表示体现本发明原理的示例性电路的概念视图。任何流程图，流图，状态转换图，伪代码，和类似物，表示可以在计算机可读的介质中被基本上表示出来并因此可以被计算机或处理器执行的各种进程，无论这样的计算机或处理器是否被明确地示出。

具体实施方式

在图1a示出被用于调适3D模型，被记作m，的方法的第一变型所执行的步骤。

在第一步中3D模型的投影被执行到2D。用于此投影的参数，是根据众所周知的针孔相机(pinhole模型，如在教程手册“在计算机视觉中的多视图几何学”，由RichardHartley和Andrew Zisserman所著，剑桥大学出版社，2003年第二版，ISBN0521540518，中的第6章所描述的，来被使用的那些参数。

这从而涉及到在3D空间中的点通过中央的“针孔”到平面的投影。在该模型中，该平面对应于相机的投影平面，而针孔对应于相机的光圈开口(diafragma opening)，也常常被表示为相机中心(camera center)。投影步骤的结果被记作p1，d1，其中p1指示2D投影本身，其能够被包含颜色信息的像素值的2D矩阵来表示，而d1指示投影深度图，其也可以被关联的深度值的2D矩阵来表示。这些关联的深度值是根据众所周知的，在后面的段落中也将被给出的方程式来从原始的的深度值和相机位置来被计算出来的。

作为选择地，投影和深度图能够在一个大的2D矩阵中被表示，其中，对于每个被投影的像素，颜色信息以及关联的深度信息，存在于相应的矩阵行和列中。

在图2a中说明了投影本身的示意图，示出具有3个空间空间坐标xA，yA和zA的点A，该些坐标相对于通过定义了参考坐标系的三个坐标轴x,y,z来定义这些坐标的原点O。针孔相机被它的相对于同样的参考原点和参考坐标系的具有坐标xC，yC和zC的相机中心位置C来被表示。点A的投影在关联到该相机的，并被记作S的，投影屏幕上被制作。点A的通过针孔C的投影，被记作与坐标(xpA,ypA)关联的p(A)。然而，这些坐标是相对于在该投影平面S中被定义的二维的坐标轴xp和yp来被定义的。

为了不使图2a信息过量，这里假定相机相对于该三个参考坐标轴x，y，z是不旋转的。然而，对于该更一般的情况，众所周知的公式也存在，并且在根据本发明的实施例中被用于投影及关联的深度图的计算。该相机的旋转被记作θx，θy，θz来分别表示该相机中心围绕坐标轴x，y，z的旋转，如图2b中所示意性示出的，其中仅对于其中原点O与相机中心C叠合的情况中的这些旋转被示出。

在最一般的情况下，C可以从而相对于原点O和参考坐标轴x，y，z被平移或被旋转。

在根据本发明的实施例中，然后，3D模型的投影将由该模型的被投影的3D点的颜色或纹理信息组成，只要它们落在屏幕区域S的轮廓线内，并且只要它们没有被该模型的另一个3D点的另一个投影遮挡。遮挡事实上几乎固有地出现于所有的3D物体的2D投影，并且与该模型的多于一个3D点将被投影到投影上的同一个2D点的事实相关。

然后，对于被投影的像素点p(A)中的每一个，与该投影关联的深度图将由它们各自的相对于相机位置的相对深度值组成。这被表示为：

d_z＝cosθ_x·(cosθ_y·(a_z-c_z)+sinθ_y·(sinθ_z·(a_y-c_y)+cosθ_z·(a_x-c_x)))-sinθ_x·(cosθ_z·(a_y-c_y)-sinθ_z·(a_x-c_x))

(1)

用θx，θy，θz指示如图2b所示出的相机围绕参考坐标轴的分别地旋转，

用ax，ay和az表示点a在参考坐标系中的坐标，

cx，cy和cz表示在该参考坐标系中的该相机中心c的坐标，以及

用dz表示点a的相对于该相机中心c的关联深度

在相对于在参考原点O中的参考坐标系x，y，z没有相机的旋转的情况下，这些旋转角度为零，这样方程式(1)将被简化为

dz=az–cz (2)

其，使用如图2a中的标记，相当于

dz=zA-zc (3)

如也在图2a中所示出的。

一般地，投影被这样选择，使在足够高的分辨率下，3D模型的要被调适进3D的特征将是投影的一部分，或这样选择，使它们最优地填满投影图像。这可以通过尝试一组预先确定的投影位置，并选择给出最好结果的那一个来被试探式地完成。

在另一个实施例中，通过其中模型的3D表面将用3D三角形的方式来被近似的中间步骤，这能够被进一步确定。一般地，仅仅与要被调适的特征相关的模型的部分将然后被这样的3D三角形来近似。对这样的三角形中的每一个，关于垂直方向的法线被确定。对于理想的投影，该法线的方向相对于相机到该三角形的角度应该是180度的。对于每个相机位置，对所有的三角形，在各自的三角形的法线与相机到该三角形的中心的方向之间的角度的余弦值的总和，应该然后是最小的。通过对数个可能的相机位置来计算该总和，并选择对于该总和得到最小值的位置，最优方向能够被计算出来。作为选择的，比如用来确定最优相机方向的最小化问题本身能够被解决。

当然，如大家所知，很多其他的技术能够被本领域技术人员使用。

在下一步骤中，状态从该投影中被提取。物体特征的配置被用状态来指示，这些特征自身是被一组值所表示的。这些值从而可以描述该物体的可能的可变属性或特征。这组值能够被排列到矢量中，但其它的用于这样的状态的表示当然也是可能的。状态提取从而指的是用于表示图像的物体的状态，在本例中是3D模型的投影，的状态参数被确定。这能够通过基于3D模型信息的一些计算来被完成，如将在进一步的段落中被描述的实例中所示出的，或通过使用更一般的方法如首先包含可能地但不是必要地，通过执行分割操作来识别/检测在考虑中的物体的步骤，接下来是因此被识别的/被检测到的物体的进一步的深入的分析。

然而，在绝大多数根据本发明的实施例中，3D模型本身是已知的，这样状态提取能够被很大地缩小为基于3D模型的状态的计算。假使3D状态与某些特征的坐标相关，在人的头部的3D模型的情形下其可以是脸部特征，这些3D点的2D投影可以立即导出2D图像的状态参数。

假使3D模型的状态是未知的，前文所述的识别步骤可以被跟随着，如包括使用主动外观模型，缩写为AAM（Active Appearance Model）的进一步的分析。这允许，如，假使要被更新的目标模型为人的头部，通过与2D AAM内部成型模型的拟合来确定在2D被投影的图像上的脸部特征的形状和外观。这可以从比较2D投影与2DAAM模型的初始值开始，然后AAM模型本身然后进一步逐渐地改变其来找出最好的拟合。一旦好的匹配被发现，从而基于该AAM被调适的模型被确定的参数如face_expression_1_x，face_expression_1_y，等等，被输出。

在图1a中，投影图像的状态被记为s1，并且在目标状态合成步骤期间其被使用。目标状态s是从2D投影的状态s1，以及从外部状态信息，来被获取的。该外部状态信息，记做se，可以事先已经被确定，或是离线的如从静态图像的输入，或是基于另外的描述信息，如关于如鼻子形状或眼睛颜色，脸部表情等等的高级语义信息。在这种情况下，该外部状态信息也可以被预先存储到存储器中。

作为选择的，该外部状态信息se能够“在运行中”，如基于改变外部视频图像输入数据，其能够因此随时间快速地改变，来被确定。在这种情况下，外部状态se一般地将由视频序列的连续帧而被确定。

外部状态信息与2D投影的状态s1一起被使用来获取目标状态。

确定目标状态的方法，如图1a中所示，除输入状态s1和se之外，可以包括使用反映状态置信度的权重，该置信度级别自身是在状态提取期间被确定的，来执行s1和se的值的加权组合。关于前文提及的用于确定s1参数的AAM模型的实例，识别匹配的结果的参数可以随后如被选择为这样的置信度度量。

另一种用于确定目标状态的方法可以简单地包括选择如se，该选项，在如在前文实例中所说明的不同状态的插值或加权组合的结果的检查指示了这样的插值的结果位于预先确定的范围之外的情况下，是优选的。

用于状态的确定的具体实现和目标状态将在图4a-b的实施例的描述中被进一步描述。

目标状态一经确定，在图1a中被记作s，2D投影p1以及关联的深度图d1将被按照目标状态s来变换。在一个实例中，一种利用三角形来表示如脸部特征的方法可以被使用。通过对被这些三角形所定义的距离进行插值，和对在这些新位置处的像素赋予之前被赋予在其之前位置的这些像素的特征的方式，图像变换可以产生。假使很多这样的三角形被使用，这样的方法是很有用的。

在类似的方法中，投影图像的像素的更新的2D坐标，与特征关联，将根据新的状态被计算。位于在原始2D投影上被定义的三角形之间的像素的颜色和纹理信息，将被赋予在更新的图像中的位于这些新位置处的三角形之间的像素。如果这样2D投影上的两个点具有内部坐标（100,100）和（200,200），并且在被变换的投影上其将被变换为坐标（50,50）和（100,100），在坐标（150,150）处的原始像素的颜色将被赋予在被变换的图像中的在坐标（75,75）处的像素。

在描述图4a-b时，另一个更详细的实现将被进一步描述。

被调适的2D投影被记作p1’。

并行地，根据目标状态，关联的深度图的关联的深度值被调适。在一些实施例中，对于投影的一些像素，目标状态的确定直接包含被调适的深度值的计算。然后根据目标状态的另外的深度值的调适也可以通过在已被计算出的被调适的深度间的插值，如前面的关于为被调适的被投影的像素的颜色值的调适的段落所说明的，来进行。

被调适的深度图被记作d1’。

基于一般地包括被调适的2D图像模型的被变换的深度图和被变换的2D投影，使用如在3D到2D投影期间自身所使用的变换的逆变换，但现在为被调适的投影图像的每个2D像素使用被调适的关联的深度值，到3D的再投影(re-projection)或反投影(back-projection)能够被执行。

反投影的结果被记作p3d_1。

在一些情况下，在3D中的被反投影的点对于形成更新的3D模型是足够的。

在另一些实施例中，到3D的反投影与原始3D模型m合并，来获取更新的或被调适的3D模型m’。

图1b示出用于执行本方法的一个实施例的装置A。

图3a示出一个变化的实施例，其中多于1个的投影被从原始3D模型m来执行。根据模型的外形和形状以及通过第一投影的选择发生的遮挡的数量，或使用用于确定投影参数本身的如前文所述的方法中的一种，投影本身可以被选择。一种可能的实现从而能够基于用3D中的一组三角形来被建模的3D表面的近似。对于这些三角形的每一个，垂直方向被计算。这可以被指向3D模型主体之外的3D“法向”矢量来表示。通过计算在该3D矢量和相机投影方向间的差值，一种用于确定遮挡的简单的方法被获取，和对于非遮挡的表面一样，投影方向应是相反于法向矢量。同样地，相机投影能够被调整，并且其结果从而也可以表明，为了获取要被建模的所有特征的，从而具有足够的分辨率的，足够好的投影，几个投影可以是被需要的。作为选择的，缺省数目的3个预定的投影也可以被使用，减轻关于最优的相机位置的试验和差错计算。

这些不同的投影被记作p1，p2到pn，具有关联的深度图d1，d2到dn。这些投影中的每一个从而与具有一定的位置，旋转，和相关联的屏幕宽度和长度的虚拟相机关联，如图2a-b中所示。

这些不同的投影p1到pn的每一个也将经历状态提取或操作，导向各自的被确定的状态s1，s2到sn。在一些实施例中这些各自的投影的状态能够被计算，如前文所述，尤其是在要被调适的特征直接与在考虑中的特征的坐标或像素位置有关的情况下。

这些各自的被确定的状态s1到sn被用来作为各自的输入，可能的但不是必须的与外部状态输入se一起，用于目标状态s的确定。目标状态的该确定可以包括，用反映状态的置信度的权重，执行各种输入状态的加权组合，置信度级别自身是在状态提取过程自身中被确定的。对于用于确定s1参数的AAM方法的早前的实例，识别匹配结果的参数可以随后例如被选择为这样的置信测量。

用于确定目标状态的另一种方法可以简单地由选择输入状态中的一个，或选择不同的状态中的，其选项能够是优选的外部状态假使如前例中说明的插值或加权组合的结果的检查指示这样的被插值的结果位于预先确定的范围之外，来组成。

目标状态s形成n个各自的投影和它们各自的关联的深度图的被更新的标准。更新的投影被记作p1’，p2’到pn’，并且更新的深度图被记为d1’，d2’到dn’。

基于与投影中的每个2D像素关联的更新的深度值，这些更新的投影p1’，p2’到pn’的每一个然后被反投影到3D。这些反投影被与原始模型合并来创建更新的或被调适的模型。

图3b示出一种用于执行该变化的方法的装置的实施例。

图4a描述了一种用于调适人的头部的3D模型的实施例。在该实施例中，该模型的状态与脸部表情相关，但在其它的实施例中，该状态也可以与头发，眼睛，皮肤，等等的颜色相关。在该特定的实施例中的目标是使用被输入2D视频所提供的脸部特征来动画化3D模型。

在图3a上该输入视频被记作IV。对于视频的每一帧，物体的比例和方位相对于3D模型中那些来被估计。这对于确定与3D模型到2D平面的虚拟相机视点相关的第一投影是优选的，该投影应与捕获2D视频的相机中所使用的2D投影尽可能相像。第一投影的该特定的选择不是必须是这样的，但其对于容易的更新可以是有利的。关于该特定的投影，3D模型到2D平面的投影应该从而使用带有关联的投影参数，其与用于已得到输入视频的2D图像的相机的那些参数尽可能接近地相像。

这些投影参数的计算是根据如将在下文中被描述的技术来被完成的。

为该虚拟相机确定参数的过程的输入是人脸的3D数据库模型和实时2D视频输入。和3D数据库模型的脸部特征的3D位置一样，在实时视频输入中的脸部特征的2D位置以及网络相机和虚拟相机的投影矩阵是已知的，这些数据对于计算在实时视频输入中的脸部的脸部特征的3D位置是足够的。如果在实时视频输入中的脸部特征的3D位置从而是已知的，连同数据库模型的相应的脸部特征的3D位置，在相应的3D位置之间的3D变换（平移和旋转）能够被计算。作为选择地，为了捕获3D数据库模型的与在实时视频输入中所见的相同的2D视点(viewpoint)，在虚拟相机上所需的3D变换（平移和旋转），能够从而也被计算出来。对于所述要被应用到该虚拟相机上的变换的计算，所需特征点的最小数量是3。因为人的脸部由于变化的和不同的表情不是刚体，采用更多的脸部特征将需要解决最小化问题。所以3个稳定点，如左眼的左边缘，右眼的右边缘以及嘴的上部，被使用。在数据库模型中的这些3个脸部特征的3D位置，连同在实时视频输入中的相应的脸部特征的2D位置以及网络相机投影矩阵，接下来被输入给众所周知的Grunert算法。该算法将提供这些相应的3个脸部特征的被计算出来的3D位置。这能够依次被用于围绕3D数据库模型地移动该虚拟相机，以便捕获如被在实时视频输入中的脸部所提供的同样的数据库模型的2D视图。

在一些实施例中，如图4a中所示，使用3D模型的另外一个投影可以是被优选的。假使使用导致与视频输入的图像的最优投影相似的相机参数的第一投影，仍然不能导致足够的像素数据，如当在投影图像中脸部的一部分被鼻子遮挡时，这可以是可取的。

这在图5a中被说明，在左边的矩形中示出被“真实的”人的“真实的”相机所捕获的视频，同时右边的矩形的左边部分示出使用第一虚拟相机，记作虚拟相机1，的3D模型的投影。如能够被观察到的，通过该虚拟相机的3D模型的投影与被“实时”2D相机使用的投影条件匹配。然而脸部的左边部分的一些像素仍然被鼻子遮挡。从而另一个投影，通过另一个虚拟相机被执行，该相机被记作“虚拟相机2”。它的参数基于另一个相机位置的被遮挡的像素来被确定。这能够，如基于虚拟相机的内在参数比如焦点和外在参数，以及3D模型的知识来被确定。该信息将使得可以确定是否3D模型的要被建模的特征的两个体素(voxels)或3D点将被投影到2D投影中的同一个像素。如果是这样的话，显然遮挡将会发生。基于该信息，另一个虚拟相机位置可以随后被计算出来，至少为该体素允许不同的投影。通过对所有的被投影的像素执行该检查，遮挡的存在能够被确定，并且基于此，另一个虚拟相机位置和旋转能够被确定。

在另一个实施例中，若干被预先确定的或从它们中选择的虚拟相机能够被用来得到感兴趣的特征的投影。作为选择地，用于分别地提供前视图和在90度的两个侧视图的虚拟相机的标准配置也可以被使用，并且依赖于哪个特征要被建模，所有的投影，或它们的子集能够被使用。

假使仅两个投影被使用，该第二投影的结果在图5a的右边的矩形的右边部分被示出。连同投影p1和p2，关联的深度图也被创建，记作d1和d2。对于每个2D被投影的像素，其指示相对深度，包括通过借助方程式(1)得到的关于各自的相机位置的旋转的信息，如同从各自虚拟相机1或2的视角被观察到的一样。关于两个投影的每一个的深度图在右边的矩形的下部图形中被表示出来。

在接下来的步骤中，状态既从投影p1又从p2，以及从输入视频的连续的帧被提取出来。如在此实施例中一样，状态与脸部表情有关，其从而要被表征化。使用现有技术比如前面提及的AAM技术，与这些脸部表情相关的特征既从输入视频的连续的帧，又从2D投影中被提取出来。如早前解释的基于模型的3D状态并且基于相应的体素投影来计算投影的状态也是可能的。这在图5b中，在指示了在实时2D帧上的嘴和眼睛的边缘的不同的像素的位置的左边矩形中，被示出。这些同样的特征的这些位置从而也在投影上被确定。在图5b的右边的部分，这仅为投影p1示出，但明显地这也在投影p2上发生，其在该图形中未被示出以便不使图的信息过量。在本特定的实施例中，各自的状态对应于与在p1，p2和在输入帧上呈现的这些特征的相关联的像素的位置。这些状态被分别记作s1，s2和se。由于仅p1在图5b中被示出，同样地仅s1被示出。这3个状态被用于确定目标状态，其在本实施例中对应于状态se。而在本实施例中，各自的状态s1和s2从而不被用于目标状态的确定，虽然如此，这些各自的状态s1和s2被在根据目标状态的投影的变换中被使用。目标状态是从而也被用于调适2D投影p1和p2。对于虚拟摄像机相机，相应于“真实的”视频摄像机相机，该调适能够通过用在视频帧中所出现的这些特征的相应的像素位置替代被选择的特征的像素位置来被容易地完成。凭借把虚拟摄像机相机1作为映射到真实的摄像机相机的选择，这能够被容易地完成。为了调适通过另一个虚拟摄像机相机2获取的2D投影p2，一种可能的方法包含计算首先在3D中被确定的p2的被调适的特征的位置。这能够基于被调适的投影p1’和被调适的深度图d1’来被完成。对于这些在p1’中可见的特征，这允许确定，计算它们在3D中的位置。通过为第二投影使用该投影参数，它们在p2’上的相应的位置能够被确定。对于从p1和p1’的被遮挡的特征，插值技术可以被用来计算被调适的投影和被调适的深度图。

一旦对于p1和p2的关键特征的新的位置被知道，变形技术比如加权的插值能够被用来确定非关键特征的像素的颜色和深度。

在图5b上的右边的矩形的下部图形中示出投影p1的调适。明显地，该投影现在是被调适到“带笑的”脸部表情，如在左手边的矩形的输入视频帧上所呈现的。这也将在投影p2上出现（在图5b上未示出）。

使用被调适的深度图，被调适的投影p1’和p2’然后都被重投影到3D并且被合并来代替或更新老的数据。用于d1’的数据可以基于被调适的深度等于初始深度的近似来被计算出来，从而与在考虑中的特征相关并具有投影坐标xpA,ypA的像素A的初始深度d(A)，将被赋予具有坐标xpA’，ypA’的像素，xpA’和ypA’是该在考虑中的特征的被调适的坐标。

在这方面，应提到的是被调适的2D图形的所有的反投影在3D域中应是一致的。这基本上意味着当反投影在多于一个2D被投影的图像中可见的被变换的特征时，该特征应从所有投影被反投影到相同的3D位置。所以如果嘴角被变换，并且该嘴角在这些投影中的几个中存在，所有的反投影坐标应该是相同的。

假定x_3d是关于在考虑中的3D物体的一定的特征（如，鼻尖）。x_3d是带有信息（x，y，z，颜色）的矢量。x_2dz是在2D+Z域中的一定的特征，它是包含信息（x_2d，y_2d，深度，颜色）的矢量。

根据一定的虚拟相机c1的3D到2D+Z的投影是用函数p来建模的：

p(c1,x_3d)=x_2dz_c1

现在让我们考虑状态调适的3D模型。在状态调适之后的被期望的3D特征被称为x'_3d。3D状态转移函数是m_3d：

x'_3d=m_3d(x_3d)

这表示

x'_2dz_c1=p(c1,x'_3d)=p(c1,m_3d(x_3d))

由于关于状态的调适是在投影上被执行的，从而在2D+Z域中，m_3d函数不可用。这能够通过使用m_2dz函数来近似：

x"_2dz_c1=m_2dz(c1,x_2dz_c1)

其能够是3D状态一致的，仅当

x'_2dz_c1=x"_2dz_c1

这表示函数p(c1,m_3d)和m_2dz(c1)在被考虑的域中是实际上相同的。

如果是这样的话，没有问题并且前面提及的方法能够被使用而没有任何问题。如果不是，附加的步骤必须被实现。

把这考虑进来的投影参数的仔细的选择，可以从一开始就解决这个问题。

然而，如果这没有被考虑进来，可能有这样的不一致。问题中的一个是当使用多个2D+Z源来重建3D模型时，这些源的反投影需要关于状态转移函数“达成一致”。当函数是3D状态一致的，这没有问题（由于所有2dz函数实际上实现3d状态转移函数（state transferfunction）的具体的2dz版本）。当它们不是3d状态一致的，我们需要强制它们的一致性，或是通过“正确的”3d状态转移函数，或是通过其近似。这能够被完成例如通过选择一个参照2DZ状态转移函数，并且投影所有其他的状态转移函数到该参照：

x'_2dz_c1ref=m_2dz(c1ref,x_2dz_c1ref)

现在我们考虑m_2dz(c1ref)作为我们的参照2dz状态转移函数。我们能够通过经由3D域的移动来建立其它的函数：

x'_3d=p_inv(c1ref,x'_2dz_c1ref)=p_inv(c1ref,m_2dz(c1ref,x_2dz_c1ref)

m_2dz(c2,x'_2dz_c2)=p(c2,x'_3d)=p(c2,p_inv(c1ref,m_2dz(c1ref,x_2dz_c1ref)))

注意，在移动通过p(c,x_3d)之后，不是所有从3D中的物体而来的特征都将具有有效值。例如，不在虚拟相机视野中的点，或者被在物体中的其他特征遮挡的点。为了为这样的点具有一致的转移函数，另外的参照相机将被需要。

第二实施例是第一实施例的变型，其也包含人的脸部的3D模型的状态调适；但与前实施例截然相反的是其使用2D+Z相机而不是2D相机，如使用立体相机或飞行时间相机(time-of-flight camera)诸比如Microsoft Kinect。在这种情况下，我们能够使用在3D坐标中的而不是2D中的脸部特征点作为外部输入。我们再一次采用和所需的一样多的离线模型的2D+Z投影来覆盖被实时数据所修改的所有的点并且推断出状态到这些投影上的状态。人们能够例如通过对‘离线的’2D+Z数据使用前面的实施例的变形技术来合并数据，但是现在为特征点也使用修改的Z数据。

在这些实施例中，我们能够减少3D状态调适的问题。其中我们从由一个或多个2D图形到完全的3D模型转移状态开始，现在缩小为从2D到2D+Z转移状态，使得这些操作对于实时应用来说是易控制的。

虽然本发明的原理与具体的装置一起在上文中已被描述，应清楚地理解本说明书仅为用示例的方式来制作，而不是作为如在附录的权利要求书中所定义的本发明的范围的限制。关于此点，在权利要求书中被表达为用于执行特定的功能的装置的任何元件意在包含执行该功能的任何方式。这可以包括，例如，电子或机械元件，其用于执行该功能，或软件，其以任何形式，包括，因此，固件，微代码或其类似物，与用于执行该软件来执行所述功能的适当的电路，以及连接到被该软件所控制的电路的机械元件，如有，相结合，的组合。本发明，如被这样的权利要求书所定义的，存在于被各种列举的装置所提供的功能以权利要求书要求的方式来被组合和集合起来的事实上，并且除非另被特别地定义，任何物理结构对于本发明的新颖性具有微小的或没有价值。申请人因此认为能够提供那些功能的任何装置与此处所示的那些是等同的。

Claims (9)

1.用于调适物体的3D模型(m)的方法，所述方法包括步骤

-执行所述3D模型的至少一个投影来获取至少一个带有相关联的深度信息(d1)的2D图像模型投影(p1)，

-在所述至少一个2D图像模型投影(p1)上执行至少一个状态提取操作，从而获取至少一个状态(s1)，其中所述状态包括物体特征的配置，所述特征由一组值表示，

-根据所述至少一个状态(s1)并根据目标状态(s)，调适所述至少一个2D图像模型投影(p1)与所述相关联的深度信息(d1)，从而获取至少一个被调适的2D图像模型(p1’)以及相关联的被调适的深度(d1’)

-基于所述关联的被调适的深度(d1’)，反投影所述至少一个被调适的2D图像模型(p1’)到3D，从而获取被调适的3D模型(m’)。

2.根据权利要求1所述的方法，其中，所述被调适的3D模型(m’)基于初始的3D模型(m)信息来被进一步确定。

3.根据权利要求1或2所述的方法，其中，所述目标状态(s)是通过外部施加的语义信息来被获取的。

4.根据权利要求1或2所述的方法，其中，所述目标状态(s)是通过外部图像输入(IV)的状态(PS)来被获取的。

5.根据权利要求4所述的方法，其中，所述目标状态是通过组合所述外部图像输入(IV)的所述状态(PS)与所述至少一个状态(s1)来被获取的。

6.根据权利要求4所述的方法，其中，所述3D模型的所述至少一个2D投影中的一个是根据从所述外部图像输入(IV)推导出的虚拟相机来被执行的。

7.根据上述权利要求5或6所述的方法，其中，根据所述至少一个状态(s1)并根据目标状态(s)，调适所述至少一个2D图像模型投影(p1)与所述相关联的深度信息(d1)是在从外部的实时视频和所述2D图像模型投影(p1)提取出的关键特征上来被执行的，并且其中，用于所述投影的所述关键特征的新位置是基于所述实时视频的所述关键特征的位置来被确定的。

8.适用于执行根据上述权利要求1至7中任一项所述的方法的装置(A1)。

9.图像处理装置，包括根据权利要求8所述的装置。