CN110310319B - 光照分离的单视角人体服装几何细节重建方法及装置 - Google Patents

Abstract

本发明公开了一种光照分离的单视角人体服装几何细节重建方法及装置，其中，方法包括：利用现有的从图像中获取人物姿态的方法，先对人体模型和衣服模型进行初步物理模拟；再通过光照分离的方法，提取光照和衣服表面的光影信息，从而对衣物的表面细节进行建模，并根据人体的运动姿态动态模拟衣服的褶皱等细节信息。人体模型重建基于单图像人体模板拟合的方法；衣物模拟主要利用物理粒子模拟的框架；而衣服表面细节重建则主要通过光照和表面法向的渲染结果，与分解出的本征光照图像进行比较和求解。该方法通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

Description

光照分离的单视角人体服装几何细节重建方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种光照分离的单视角人体服装几何细节重建方法及装置。

背景技术

三维重建在计算机视觉这个领域里，是目前一个科研、工业界和媒体娱乐产业都重点关注的技术。经过三维重建得到的模型在影音游戏、建筑学、基础工业等领域都有较高的研究和实用价值。

然而，关于人体服装重建方法，由于人体动作和衣物的几何细节形变较为丰富，因此是三维重建领域的一个较大的难题。现有的衣服细节重建技术大部分是通过三维扫描或是深度获取的方式，这些方法需要比较特殊的采集设备，对数据采集要求较高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种光照分离的单视角人体服装几何细节重建方法，该方法通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

本发明的另一个目的在于提出一种光照分离的单视角人体服装几何细节重建装置。

为达到上述目的，本发明一方面实施例提出了一种光照分离的单视角人体服装几何细节重建方法，包括：通过单RGB采集人体运动数据，得到单RGB图像，并从所述单RGB图像中提取人物姿态，求解每一帧中人物的形状、姿态和相对空间位置；通过预设的衣服模板生成二维衣服网格模型，并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上；将人物姿态过渡变换到视频中第1帧的姿态下，并对三维的衣物进行联合物理模拟，且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真；通过人体分割的方法求解衣服参数，使得模拟后衣服形状与图像中的分割图达到吻合条件；对于视频中的每一帧，使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像；通过物理模拟出的初始衣服形状，并求解得到所述衣服网格模型的逐顶点法向，并通过球谐光照的假设得到光照信息；通过球谐光照的假设在预设球谐光照系数的前提下，求解衣服的逐顶点形变，得到衣服的几何细节；将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下，并做每一帧投影系数的时域平滑，得到最终动态衣服细节重建结果。

本发明实施例的光照分离的单视角人体服装几何细节重建方法，可以只需要一台RGB相机采集人体，利用图像的本征分解信息得到场景光照，从而可以联合求解光照和衣服的表面细节信息，并获取就可以对单RGB视频中的人物和衣物同时进行建模和仿真，进而通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

另外，根据本发明上述实施例的光照分离的单视角人体服装几何细节重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染，完成重建和渲染仿真。

进一步地，在本发明的一个实施例中，所述本征光照图像、所述本征反照率图像和原始图像满足：

S(u，v)A(u，v)＝I(u，v)，

其中，(u，v)为各个图像中的像素坐标，S为所述本征光照图像、A为所述本征反照率图像和I为所述原始图像。

进一步地，在本发明的一个实施例中，通过球谐光照的假设为：

其中，(u，v)为衣服顶点

投影得到的像素坐标，

为衣服顶点

对应的法向，l_i为待求解球谐光照系数，H_i为球谐光照的基。

进一步地，在本发明的一个实施例中，形变后的衣服法向在光照条件下，渲染结果与所述本征光照图像达到预设匹配条件。

为达到上述目的，本发明另一方面实施例提出了一种光照分离的单视角人体服装几何细节重建装置，包括：采集模块，用于通过单RGB采集人体运动数据，得到单RGB图像，并从所述单RGB图像中提取人物姿态，求解每一帧中人物的形状、姿态和相对空间位置；生成模块，用于通过预设的衣服模板生成二维衣服网格模型，并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上；变换模块，用于将人物姿态过渡变换到视频中第1帧的姿态下，并对三维的衣物进行联合物理模拟，且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真；第一求解模块，用于通过人体分割的方法求解衣服参数，使得模拟后衣服形状与图像中的分割图达到吻合条件；提取模块，用于对于视频中的每一帧，使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像；第二求解模块，用于通过物理模拟出的初始衣服形状，并求解得到所述衣服网格模型的逐顶点法向，并通过球谐光照的假设得到光照信息；第三求解模块，用于通过球谐光照的假设在预设球谐光照系数的前提下，求解衣服的逐顶点形变，得到衣服的几何细节；投影模块，用于将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下，并做每一帧投影系数的时域平滑，得到最终动态衣服细节重建结果。

本发明实施例的光照分离的单视角人体服装几何细节重建装置，可以只需要一台RGB相机采集人体，利用图像的本征分解信息得到场景光照，从而可以联合求解光照和衣服的表面细节信息，并获取就可以对单RGB视频中的人物和衣物同时进行建模和仿真，进而通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

另外，根据本发明上述实施例的光照分离的单视角人体服装几何细节重建装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：渲染模块，用于将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染，完成重建和渲染仿真。

进一步地，在本发明的一个实施例中，所述本征光照图像、所述本征反照率图像和原始图像满足：

S(u，v)A(u，v)＝I(u，v)，

其中，(u，v)为各个图像中的像素坐标，S为所述本征光照图像、A为所述本征反照率图像和I为所述原始图像。

进一步地，在本发明的一个实施例中，通过球谐光照的假设为：

其中，(u，v)为衣服顶点

投影得到的像素坐标，

为衣服顶点

对应的法向，l_i为待求解球谐光照系数，H_i为球谐光照的基。

进一步地，在本发明的一个实施例中，形变后的衣服法向在光照条件下，渲染结果与所述本征光照图像达到预设匹配条件。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的光照分离的单视角人体服装几何细节重建方法的流程图；

图2为根据本发明实施例的光照分离的单视角人体服装几何细节重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的光照分离的单视角人体服装几何细节重建方法及装置，首先将参照附图描述根据本发明实施例提出的光照分离的单视角人体服装几何细节重建方法。

图1是本发明一个实施例的光照分离的单视角人体服装几何细节重建方法的流程图。

如图1所示，该光照分离的单视角人体服装几何细节重建方法包括以下步骤：

在步骤S101中，通过单RGB采集人体运动数据，得到单RGB图像，并从单RGB图像中提取人物姿态，求解每一帧中人物的形状、姿态和相对空间位置。

可以理解的是，本发明实施例可以使用一台RGB相机，采集单个人体的运动序列。具体地，使用单RGB采集人体运动数据，使用现有的从单RGB图像中提取人物姿态的方法，求解每一帧中人物的形状、姿态和相对空间位置。

在步骤S102中，通过预设的衣服模板生成二维衣服网格模型，并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上。

其中，预设的衣服模板可以为现有的衣服模板，本领域技术人员可以根据实际情况进行选择，在此不做具体限定。

在步骤S103中，将人物姿态过渡变换到视频中第1帧的姿态下，并对三维的衣物进行联合物理模拟，且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真。

可以理解的是，将人物姿态过渡变换到视频中第1帧的姿态下，在此过程中对三维的衣物进行联合物理模拟，然后对于后续所有帧，基于人体姿态进行逐帧的衣服物理仿真。

在步骤S104中，通过人体分割的方法求解衣服参数，使得模拟后衣服形状与图像中的分割图达到吻合条件。

其中，吻合条件可以理解为模拟后衣服形状与图像中的分割图尽可能吻合，当然，本领域技术人员可以根据实际情况设置具体的吻合条件，在此不做具体限定。

可以理解的是，本发明实施例可以利用现有的人体分割的方法，求解衣服参数使得模拟后衣服形状与图像中的分割图尽可能吻合。

在步骤S105中，对于视频中的每一帧，使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像。

可以理解的是，对于视频中的每一帧，使用现有的图像光照分离的方法，提取出图像的本征光照图像和本征反照率图像。其中，本征光照图像S、本征反照率图像A和原始图像I满足：

S(u，v)A(u，v)＝I(u，v)，

其中，(u，v)为各个图像中的像素坐标。

在步骤S106中，通过物理模拟出的初始衣服形状，并求解得到衣服网格模型的逐顶点法向，并通过球谐光照的假设得到光照信息。

可以理解的是，本发明实施例通过物理模拟出的初始衣服形状，求解得到衣服网格模型的逐顶点法向，并通过球谐光照的假设，即：

其中，(u，v)为衣服顶点

投影得到的像素坐标，

为衣服顶点

对应的法向，l_i为待求解球谐光照系数，H_i为球谐光照的基。根据上一步提取的本征光照图像S，就可以求解光照信息。

在步骤S107中，通过球谐光照的假设在预设球谐光照系数的前提下，求解衣服的逐顶点形变，得到衣服的几何细节。

在本发明的一个实施例中，形变后的衣服法向在光照条件下，渲染结果与本征光照图像达到预设匹配条件。

其中，预设匹配条件可以理解为渲染结果与本征光照图像尽可能匹配，当然，本领域技术人员可以根据实际情况设置具体的匹配条件，在此不做具体限定。

可以理解的是，同样利用球谐光照的假设，在固定球谐光照系数l_i(i＝1，2，...，9)的前提下，求解衣服的逐顶点形变，使得形变后的衣服法向在该光照条件下，渲染结果与本征光照图像S尽可能匹配，从而求解得到衣服的几何细节。

在步骤S108中，将每帧求解后的衣服逐顶点形变投影到逐顶点上的局部坐标系下，并做每一帧投影系数的时域平滑，得到最终动态衣服细节重建结果。

进一步地，在本发明的一个实施例中，本发明实施例的方法还包括：将重建后的最终动态衣服细节重建结果用球谐光照进行渲染，完成重建和渲染仿真。

可以理解的是，本发明实施例将重建后的结果用步骤S106中求解的光照进行渲染，完成重建和渲染仿真。

综上，本发明实施例基于光照分离的方法，利用了球谐光照模型联合求解光照和衣服几何细节，从而进行人体和衣物的三维重建。

下面将通过具体实施例对光照分离的单视角人体服装几何细节重建方法进行进一步阐述，具体步骤如下：

步骤S1，使用一台RGB相机，采集单个人体的运动序列。

步骤S2，将该RGB序列中的每一帧图片

利用背景减和图割的方法进行前背景分割，从而得到人物的分割图M_i。

步骤S3，将人物分割图M_i和原始图片

作为输入，使用现有的单RGB图像估计人体姿态和体型的方法，得到基于骨架蒙皮的人体模板的姿态P_i和体型S的信息。

步骤S4，对人物所穿服装进行大致分类(比如长裤/短裤/裙子)，并使用相应的参数化布料信息，对衣物进行建模。

步骤S5，使用基于粒子模型的物理仿真，对每一帧衣服和人体姿态进行联合物理模拟。

步骤S6，对视频中的每一帧F_i，通过深度学习网络进行不同衣物的分割，并通过建立渲染后的衣服轮廓和分割图之间的差来建立能量函数，并求解相关的衣服二维模板参数。优化项为渲染图像和分割图像在

操作下的偏差：

其中，对二值图像C的

操作定义如下：对二值图像C做距离变换(distancetransform)操作，求出每个像素点到二值图像边界的二范数距离，并构成图像D，之后对图像D做阈值处理：

步骤S7，将参数估计后的衣服进行重新建模，并重新对每一帧做物理模拟。

步骤S8，利用现有光照分离方法，提取视频中每一帧F_i的本征光照图像S_i和本征反照率图像A_i，本征光照图像S_i会用于接下来的光照估计和衣服几何细节重建。

步骤S9，用步骤S7中建模得到的第1帧衣服得到初始的衣服顶点法向

并通过该法向求解球谐光照系数如下：

假设通过渲染判断得到的可视顶点集合为V，待求解光照系数为l_j(j＝1，2，...，9)，则建立能量方程如下：

其中，

为可视顶点的三维坐标，

为相机投影矩阵作用下

投影的图片坐标，l_j为待求解光照系数，而H_j为球谐光照的前9个基函数。

步骤S10，对后续每一帧，求解每个衣服顶点的变形

假设变形后的顶点记作

下标i的顶点相邻顶点集合为N_i，那么变形后法向

建立能量方程如下：

E_cloth＝E_{detail_SH}+λE_reg，

其中，变量为

(i为衣服顶点)。

步骤S11，将每一帧(第t帧)中变形前衣服顶点

通过其法向和相邻顶点方向做正交化，建立局部坐标系

并将求解后偏移

投影到三个局部坐标轴上得到三个局部分量，即为：

并做时域平滑，即为：

其中，

步骤S12，将每一帧(第t帧)

作用到该帧的每个衣服顶点上，从而完成衣服细节重建。并通过步骤S9中求解的球谐光照系数进行渲染，从而得到人体和衣服的完整重建和仿真结果。

综上，本发明实施例的方法利用现有的从图像中获取人物姿态的方法，先对人体模型和衣服模型进行初步物理模拟；再通过光照分离的方法，提取光照和衣服表面的光影信息，从而对衣物的表面细节进行建模，并根据人体的运动姿态动态模拟衣服的褶皱等细节信息。人体模型重建基于单图像人体模板拟合的方法；衣物模拟主要利用物理粒子模拟的框架；而衣服表面细节重建则主要通过光照和表面法向的渲染结果，与分解出的本征光照图像进行比较和求解。

根据本发明实施例提出的光照分离的单视角人体服装几何细节重建方法，可以只需要一台RGB相机采集人体，利用图像的本征分解信息得到场景光照，从而可以联合求解光照和衣服的表面细节信息，并获取就可以对单RGB视频中的人物和衣物同时进行建模和仿真，进而通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

其次参照附图描述根据本发明实施例提出的光照分离的单视角人体服装几何细节重建装置。

图2是本发明一个实施例的光照分离的单视角人体服装几何细节重建装置的结构示意图。

如图2所示，该光照分离的单视角人体服装几何细节重建装置10包括：采集模块100、变换模块200、第一求解模块300、提取模块400、第二求解模块500、第三求解模块600和投影模块700。

其中，采集模块100用于通过单RGB采集人体运动数据，得到单RGB图像，并从单RGB图像中提取人物姿态，求解每一帧中人物的形状、姿态和相对空间位置；生成模块，用于通过预设的衣服模板生成二维衣服网格模型，并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上。变换模块200用于将人物姿态过渡变换到视频中第1帧的姿态下，并对三维的衣物进行联合物理模拟，且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真。第一求解模块300用于通过人体分割的方法求解衣服参数，使得模拟后衣服形状与图像中的分割图达到吻合条件。提取模块400用于对于视频中的每一帧，使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像。第二求解模块500用于通过物理模拟出的初始衣服形状，并求解得到衣服网格模型的逐顶点法向，并通过球谐光照的假设得到光照信息。第三求解模块600用于通过球谐光照的假设在预设球谐光照系数的前提下，求解衣服的逐顶点形变，得到衣服的几何细节。投影模块700用于将每帧求解后的衣服逐顶点形变投影到逐顶点上的局部坐标系下，并做每一帧投影系数的时域平滑，得到最终动态衣服细节重建结果。本发明实施例的装置10通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：渲染模块。其中，渲染模块用于将重建后的最终动态衣服细节重建结果用球谐光照进行渲染，完成重建和渲染仿真。

进一步地，在本发明的一个实施例中，本征光照图像、本征反照率图像和原始图像满足：

S(u，v)A(u，v)＝I(u，v)，

其中，(u，v)为各个图像中的像素坐标，S为本征光照图像、A为本征反照率图像和I为原始图像。

进一步地，在本发明的一个实施例中，通过球谐光照的假设为：

其中，(u，v)为衣服顶点

投影得到的像素坐标，

为衣服顶点

对应的法向，l_i为待求解球谐光照系数，H_i为球谐光照的基。

进一步地，在本发明的一个实施例中，形变后的衣服法向在光照条件下，渲染结果与本征光照图像达到预设匹配条件。

需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的光照分离的单视角人体服装几何细节重建装置，可以只需要一台RGB相机采集人体，利用图像的本征分解信息得到场景光照，从而可以联合求解光照和衣服的表面细节信息，并获取就可以对单RGB视频中的人物和衣物同时进行建模和仿真，进而通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种光照分离的单视角人体服装几何细节重建方法，其特征在于，包括：

通过单RGB采集人体运动数据，得到单RGB图像，并从所述单RGB图像中提取人物姿态，求解每一帧中人物的形状、姿态和相对空间位置；

通过预设的衣服模板生成二维衣服网格模型，并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上；

将人物姿态过渡变换到视频中第1帧的姿态下，并对三维的衣物进行联合物理模拟，且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真；

通过人体分割的方法求解衣服参数，使得模拟后衣服形状与图像中的分割图达到吻合条件；

对于视频中的每一帧，使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像，所述本征光照图像用于光照估计和衣服几何细节重建；

通过物理模拟出的初始衣服形状，并求解得到所述衣服网格模型的逐顶点法向

并通过球谐光照的假设得到光照信息，假设通过渲染判断得到的可视顶点集合为V，待求解光照系数为l_j，j＝1,2,…,9，则建立能量方程如下：

其中，

为可视顶点的三维坐标，

为相机投影矩阵作用下

投影的图片坐标，l_j为待求解光照系数，而H_j为球谐光照的前9个基函数，S_i为所述本征光照图像；

通过球谐光照的假设在预设球谐光照系数的前提下，求解衣服的逐顶点形变，得到衣服的几何细节；

将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下，并做每一帧投影系数的时域平滑，得到最终动态衣服细节重建结果；

将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染，完成重建和渲染仿真。

2.根据权利要求1所述的方法，其特征在于，所述本征光照图像、所述本征反照率图像和原始图像满足：

S(u,v)A(u,v)＝I(u,v)，

其中，(u,v)为各个图像中的像素坐标,S为所述本征光照图像、A为所述本征反照率图像和I为所述原始图像。

3.根据权利要求2所述的方法，其特征在于，通过球谐光照的假设为：

其中，(u,v)为衣服顶点

投影得到的像素坐标，

为衣服顶点

对应的法向，l_i为待求解球谐光照系数，H_i为球谐光照的基。

4.根据权利要求1所述的方法，其特征在于，形变后的衣服法向在光照条件下，渲染结果与所述本征光照图像达到预设匹配条件。

5.一种光照分离的单视角人体服装几何细节重建装置，其特征在于，包括：

采集模块，用于通过单RGB采集人体运动数据，得到单RGB图像，并从所述单RGB图像中提取人物姿态，求解每一帧中人物的形状、姿态和相对空间位置；

生成模块，用于通过预设的衣服模板生成二维衣服网格模型，并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上；

变换模块，用于将人物姿态过渡变换到视频中第1帧的姿态下，并对三维的衣物进行联合物理模拟，且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真；

第一求解模块，用于通过人体分割的方法求解衣服参数，使得模拟后衣服形状与图像中的分割图达到吻合条件；

提取模块，用于对于视频中的每一帧，使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像，所述本征光照图像用于光照估计和衣服几何细节重建；

第二求解模块，用于通过物理模拟出的初始衣服形状，并求解得到所述衣服网格模型的逐顶点法向

并通过球谐光照的假设得到光照信息，假设通过渲染判断得到的可视顶点集合为V，待求解光照系数为l_j，j＝1,2,…,9，则建立能量方程如下：

其中，

为可视顶点的三维坐标，

为相机投影矩阵作用下

投影的图片坐标，l_j为待求解光照系数，而H_j为球谐光照的前9个基函数，S_i为所述本征光照图像；

第三求解模块，用于通过球谐光照的假设在预设球谐光照系数的前提下，求解衣服的逐顶点形变，得到衣服的几何细节；

投影模块，用于将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下，并做每一帧投影系数的时域平滑，得到最终动态衣服细节重建结果；

渲染模块，用于将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染，完成重建和渲染仿真。

6.根据权利要求5所述的装置，其特征在于，所述本征光照图像、所述本征反照率图像和原始图像满足：

S(u,v)A(u,v)＝I(u,v)，

其中，(u,v)为各个图像中的像素坐标,S为所述本征光照图像、A为所述本征反照率图像和I为所述原始图像。

7.根据权利要求5所述的装置，其特征在于，通过球谐光照的假设为：

其中，(u,v)为衣服顶点

投影得到的像素坐标，

为衣服顶点

对应的法向，I_i为待求解球谐光照系数，H_i为球谐光照的基。

8.根据权利要求7所述的装置，其特征在于，形变后的衣服法向在光照条件下，渲染结果与所述本征光照图像达到预设匹配条件。

Images