CN104778736B

CN104778736B - 单视频内容驱动的服装三维动画生成方法

Info

Publication number: CN104778736B
Application number: CN201510158932.3A
Authority: CN
Inventors: 陈小武; 周彬; 赵沁平; 郭侃; 李发明; 卢飞翔
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2015-04-03
Filing date: 2015-04-03
Publication date: 2017-10-20
Anticipated expiration: 2035-04-03
Also published as: CN104778736A

Abstract

本发明公开了单视频内容驱动的服装三维动画生成方法。步骤如下：给定着装人体运动的单个视频、及其对应的服装初始三维模型，根据视频的人体及其服装内容，提取出视频内容的服装边界序列，并估计出对应于视频内容的无着装人体三维模型序列。在此基础上，利用服装边界序列、无着装人体三维模型序列，从视频对应的服装初始三维模型开始，进行逐帧迭代：针对视频对应的服装初始三维模型、或者上一帧的服装三维动画生成结果，利用基于无拉伸形变约束模型的布料动画生成方法，以无着装人体三维模型序列为驱动，生成当前帧的服装三维动画；根据上一步骤生成的当前帧服装三维动画与对应视频帧服装边界之间的差异，对当前帧服装三维动画进行变形处理，生成近似于视频内容的当前帧服装三维动画效果。

Description

单视频内容驱动的服装三维动画生成方法

技术领域

本发明涉及计算机动画生成领域，具体涉及单视频内容驱动的服装三维动画生成方法。

背景技术

虚拟现实(Virtual Reality，简称VR)以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和体验。随着社会生产力和科学技术的不断发展，各行业对虚拟现实技术的需求日益旺盛，人们对虚拟现实技术的研究日益重视，虚拟现实技术也取得了巨大进展，并逐步成为一个新的科学技术领域。

计算机动画可以提供直观的视觉感知与丰富的多维信息，已经在人们的工作和生活中得到了广泛应用，并影响了人们的工作效率和生活方式。随着人们生活水平的日益提高，设计制造、影视制作、文化娱乐、数字教育等行业，迫切需要更高效的计算机动画生成技术，以及更多样的计算机动画驱动方式。例如，设计制造行业需要快速模拟出产品的三维动态效果，以缩短设计缺陷的发现周期，降低产品设计制造成本；影视制作行业需要综合多种方式，快速生成影视角色及服装的三维动态效果，以及影视场景内容的三维特效；文化娱乐行业需要以图像视频素材为驱动，快速生成虚拟对象的三维动画，为虚实融合的交互互动环境构建生成奠定基础；数字教育行业需要综合教学内容的各种素材，快速生成直观、形象的三维动画演示，为教学质量的提高提供支撑。

计算机动画生成是虚拟现实、计算机图形学、计算机视觉、视频处理等研究领域及其交叉方向的研究重点。布料动画生成是计算机动画生成的重要内容和研究难点，其致力于高效地模拟出布料及其动态运动效果。早期的布料动画生成，利用可变形曲面描述布料，通过纯几何变形，快速生成外观近似真实布料的三维动画，但生成的动画效果逼真度差。随着计算机的发展及计算能力的提高，研究人员通过为描述布料的可变形曲面赋予物理属性，利用物理仿真技术，模拟出符合物理规律的布料三维动画，能够生成逼真度高的动画效果，但生成速度较慢。近年来，随着摄像机的普及、以及布料动画数据的积累，逼真布料动画快速生成、以及数据驱动的布料动画生成，已经成为相关领域的国际前沿研究方向。

基于多视频三维重建的布料动画生成方法，能够生成与真实布料动态效果相似的布料动画，然而往往需要复杂的数据采集系统，而且被测服装的结构和运动都比较简单；数据驱动估计的布料仿真参数，能够较为准确地描述布料的内部力学特性，可以在一定程度上提高布料动画的逼真度，而现实世界中服装总是在复杂外界条件下发生形变，仅仅利用估计的仿真参数，难以生成与真实服装运动相似的动画。基于轮廓的服装三维模型构建方法，可以利用单张图像构建服装三维模型，但只能生成有限人体姿态对应的服装三维模型。

为了解决服装三维动画快速准确的生成问题，因此，本发明的目标是提供单视频内容驱动的服装三维动画生成方法，该方法可以便面复杂的数据采集系统，突破人体姿态限制，生成与食品中服装运动相似的服装三维动画。

发明内容

为完成发明目的，本发明采用的技术方案是：

(1)视频服装边界提取与无着装人体三维模型序列生成。视频服装边界提取，首先利用成熟的工具从视频图像中分割出服装像素区域，然后根据服装像素区域，逐帧提取出服装边界序列。有许多成熟的工具可以完成从视频图像中分割出服装像素区域，只需要少量的人工交互，就可以从视频图像中分割出目标对象像素区域，类似的功能模块已经集成到软件Adobe After Effects中。

从着装人体运动的单个视频中估计无着装人体三维模型序列，可以通过两个步骤实现：首先根据视频图像内容，估计出骨架图描述的人体姿态变化序列；然后利用人体姿态变化序列和视频图像中提取的人体轮廓序列，估计出无着装人体三维模型序列。

(2)基于视频人体及其三维模型的服装三维动画初始形状生成。普通相机拍摄的着装人体运动视频，其帧率一般为30FPS，帧时为1/30秒，因此，根据输入视频估计的无着装人体三维模型序列中，连续无着装人体三维模型之间的时间间隔也为Δt_fr＝1/30秒。若以该时间间隔作为仿真时间步长，通过物理仿真方式，生成每帧服装三维动画的初始形状，可能会引起碰撞处理失败或者服装三维动画抖动。为了避免这种情况，在基于视频估计的连续无着装人体三维模型之间，线性地插入h_s-1(本发明中h_s取值为66)个三维模型，插值生成的连续无着装人体三维模型之间的时间间隔变为Δt＝Δt_fr/h_s。利用线性插值获得的无着装人体三维模型序列，以Δt为仿真时间步长，通过物理仿真，从上一帧服装三维动画开始，连续更新该帧服装三维动画的初始形状h_s次，生成当前帧服装三维动画的初始形状。

(3)基于视频内容边界的服装三维动画形状修正。本发明采用马尔可夫链的对应关系构建方法，构建当前帧服装三维动画初始形状与对应视频帧服装边界之间的对应关系，该对应关系通过服装三维模型顶点与视频服装边界点构成的点对描述；根据构成对应关系的服装三维模型顶点与视频服装边界点之间的距离，移动服装三维模型顶点，变形当前帧服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状。

本发明与现有的技术相比，其有益的特点是：单视频内容驱动的服装三维动画生成方法，首次利用单视频内容驱动生成与视频内容相似的服装三维动画，适用范围广，操作简便，能够生成比较稳定的服装三维动画。不需要复杂的数据采集系统，能够较为准确地描述布料的内部力学特性，在一定程度上提高布料动画的逼真度，在设计制造、影视制作、文化娱乐、数字教育等行业拥有广泛的应用前景。

附图说明

图1是本发明的总体设计框架；

图2是本发明的利用三个准则选择的T恤三维模型候选顶点。图2(a)以当前帧T恤动画的初始形状及xy-平面为输入，图2(b)首先计算当前帧T恤动画初始形状在xy-平面上的投影区域，图2(c)其次利用法向量准则选择候选顶点，图2(d)然后利用三维模型边沿准则增补候选顶点，图2(e)最后在法向量准则和三维模型边沿准则的基础上，利用模型投影边界准则再次筛选候选顶点；

图3是本发明的视频服装边界点获取过程。图3(a)输入视频图像；图3(b)视频服装边沿像素点分为视频服装边界像素点和视频服装非边界像素点，图中视频服装边界像素点为深色曲线，视频服装非边界像素点为浅色曲线；图3(c)视频服装边沿点；图3(d)视频服装边界点。

图4是本发明的服装三维模型候选顶点与视频服装边界点的对应关系。图4(a)是输入的视频图像；图4(b)服装三维模型候选顶点与视频服装边界点构建的对应关系；

图5是本发明的服装三维动画生成结果。

图6本发明方法流程框图

具体实施方式

下面结合附图对本发明做进一步说明，以使本领域普通技术人员参照本说明书后能够据以实施。

请参阅图1，为本发明所述方法的总体设计框架。根据输入视频图像，首先提取出视频服装边界，并估计出与视频内容对应的人体模型序列；然后逐帧迭代生成与视频内容相似的服装三维动画，每帧迭代包括服装三维动画初始形状生成和服装三维动画形状修正两个步骤。

步骤一、视频服装边界提取与无着装人体三维模型序列生成。提取视频服装边界，首先利用成熟的工具从视频图像中分割出服装像素区域，然后根据服装像素区域，逐帧提取出服装边界序列。本发明利用软件Adobe After Effects分割服装像素区域，在手工交互下分割出视频中部分帧的服装像素区域，并将这些帧中服装像素区域传播给后续帧，分割出视频中所有帧的服装像素区域。由于软件Adobe After Effects只能适应背景简单的着装人体运动视频，对于背景比较复杂的着装人体运动视频，可以采用软件MacromediaFirework，通过更多的手工交互，从视频图像中分割出服装像素区域。

从着装人体运动的单个视频中估计无着装人体三维模型序列，可以通过两个步骤实现：首先根据视频图像内容，估计出骨架图描述的人体姿态变化序列；然后利用人体姿态变化序列和视频图像中提取的人体轮廓序列，估计出无着装人体三维模型序列。本发明使用软件Motion Builder，通过两步估计出无着装人体三维模型序列。首先从输入视频中选择一帧合适的视频图像，手工标记出对应的人体姿态和人体轮廓，利用人体姿态和人体轮廓，估计出无着装人体三维模型作为模板；然后根据输入的着装人体运动视频，利用软件Motion Builder，在人工交互下变形无着装人体三维模型模板，生成无着装人体三维模型序列。

步骤二、服装三维动画初始生成。普通相机拍摄的着装人体运动视频，其帧率一般为30FPS，帧时为1/30秒，因此，根据输入视频估计的无着装人体三维模型序列中，连续无着装人体三维模型之间的时间间隔也为Δt_fr＝1/30秒。若以该时间间隔作为仿真时间步长，通过物理仿真方式，生成每帧服装三维动画的初始形状，可能会引起碰撞处理失败或者服装三维动画抖动。为了避免这种情况，在基于视频估计的连续无着装人体三维模型之间，线性地插入h_s-1(本发明中h_s取值为66)个三维模型，插值生成的连续无着装人体三维模型之间的时间间隔变为Δt＝Δt_fr/h_s。利用线性插值获得的无着装人体三维模型序列，以Δt为仿真时间步长，通过物理仿真，从上一帧服装三维动画开始，连续更新该帧服装三维动画的初始形状h_s次，生成当前帧服装三维动画的初始形状，具体实现如算法1所示。

步骤三、基于视频内容边界的服装三维动画形状修正。

记视频图像平面为xy-平面，仅仅利用无着装人体三维模型序列，驱动生成的当前帧服装三维动画初始形状，在xy-平面上的投影边界与对应视频帧服装边界不完全匹配。针对该问题，借鉴基于马尔可夫链的对应关系构建方法，构建当前帧服装三维动画初始形状与对应视频帧服装边界之间的对应关系，该对应关系通过服装三维模型顶点与视频服装边界点构成的点对描述；根据构成对应关系的服装三维模型顶点与视频服装边界点之间的距离，移动服装三维模型顶点，变形当前帧服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状。

(1)面向对应关系构建的服装三维模型候选顶点。根据服装三维动画形状修正的目标，构成对应关系的服装三维模型顶点，在xy-平面上的投影应该位于当前帧服装三维动画初始形状的投影边界附近。服装三维模型包含成千上万顶点，只有少数顶点的投影位于当前帧服装三维动画初始形状的投影边界附近，若以这些少数顶点作为候选顶点，有利于快速构建对应关系以及提高对应关系的准确性。因此，根据服装三维模型的结构特点，引入三个准则：法向量准则、三维模型边沿准则、模型投影边界准则，选择面向对应关系构建的服装三维模型候选顶点。利用这三个准则选择的T恤三维模型候选顶点如图2所示。

一般情况下，若服装三维模型顶点在xy-平面上的投影，位于当前帧服装初始形状的投影边界附近，则该顶点的法向量在z-轴上的分量为0，所以，给出法向量准则，选择服装三维模型的候选顶点。通过三角形描述的服装三维模型，顶点法向量是根据其邻接三角形法向量计算的，而且采用不同方式计算得到的顶点法向量也略有不同，因此，不能严格以顶点的法向量在z-轴上的分量为0作为判断条件。由于服装中三角形的外法向量是唯一的，因此，利用服装三维模型的三角形外法向量，实施法向量准则，选择法向量在z-轴上分量可能为0的服装三维模型候选顶点。具体地，服装三维模型候选顶点，邻接一个外法向量在z-轴上分量为0的三角形，或者邻接这样两个三角形：其中一个三角形外法向量在z-轴上的分量为正，另一个三角形外法线向量在z-轴上的分量为负。

服装的领口、袖口、底边线等部位会有一些开口，这些开口在服装三维模型中表现为空洞及边沿。位于空洞边沿的部分顶点，可能被法向量准则判定为非候选顶点，而它们在xy-平面上的投影，可能位于当前帧服装三维动画初始形状的投影边界附近。因此，在法向量准则的基础上，给出三维模型边沿准则，将位于服装三维模型空洞边沿的顶点，增补为服装三维模型候选顶点。

利用法向量准则和三维模型边沿准则，剔除了大量无关的服装三维模型顶点，但并不是所有保留的候选顶点，其投影都位于当前帧服装三维动画初始形状在xy-平面上的投影边界附近。由于布料具有皱纹，根据法向量准则选择的候选顶点，其投影可能不在当前帧服装三维动画初始形状的投影边界附近；而且三维模型边沿准则增补的部分候选顶点，其投影也可能不在当前帧服装三维动画初始形状的投影边界附近。若以这些投影不在当前帧服装三维动画初始形状投影边界附近的候选顶点，构建当前帧服装三维动画初始形状与对应视频帧服装边界点之间的对应关系，会影响对应关系的准确性。因此，在法向量准则和三维模型边沿准则的基础上，给出模型投影边界准则，对已经选择的候选顶点再次进行筛选，使最终保留下来的候选顶点，其投影位于当前帧服装三维动画初始形状的投影边界附近。为了快速地实施模型投影边界准则，将当前帧服装三维动画初始形状在xy-平面上的投影区域及其周围区域划分为正方形网格，将法向量准则和三维模型边沿准则选择的候选顶点投影到xy-平面上，检测这些候选顶点的投影是否位于当前帧服装三维动画初始形状投影边界附近的正方形网格内，只有投影位于那些正方形网格内的候选顶点保留下来，作为构建对应关系的服装三维模型候选顶点。

(2)面向对应关系构建的服装边界点。由于存在人体遮挡服装的现象，从着装人体运动视频中提取的服装边沿像素点，并不一定都属于真实服装边界。因此，设计了一个交互工具，将视频服装边沿像素点分为两类：视频服装边界像素点和视频服装非边界像素点，其中，视频服装边界像素点是那些属于真实服装边界的视频服装边沿像素点，其他的视频服装边沿像素点为视频服装非边界像素点。

为了构建当前帧服动画服装初始形状与对应视频帧服装边界的对应关系，还需要把视频服装边沿像素点转换为xy-平面上的视频服装边沿点。视频服装边沿点的x坐标和y坐标，是视频服装边沿像素点在视频图像中水平方向位序和竖直方向位序的函数，该函数由三维空间与视频图像空间的映射关系确定。每个视频服装边沿点都指定了一个法向量，法向量方向与两个邻接视频服装边沿点的连线垂直，且指向视频服装区域的外部，这是为了与服装三维模型顶点的法向量方向保持一致。若计算得到的视频服装边沿点密度过大或过小，还需要进行采样处理，采样后两相邻视频服装边沿点之间的距离，接近服装三维模型中边的平均长度。

根据视频服装边界像素点和视频服装非边界像素点的分类，将根据它们计算得到的视频服装边沿点也分为两类：视频服装边界点和视频服装非边界点。服装三维动画形状修正希望获得的当前帧服装三维动画修正形状，在xy-平面上的投影覆盖所有视频服装非边界点，且其投影边界与视频服装边界点匹配。因此，再次利用服装三维模型候选顶点筛选中使用的模型投影边界准则，剔除那些已经被当前帧服装三维动画初始形状投影覆盖的视频服装非边沿点，剩余的视频服装非边界像素点也被视为视频服装边界点，用于对应关系构建。以T恤为例，图3展示了视频服装边界点的获取过程。

(3)候选顶点与边界点的对应关系构建。如图4所示，采用基于马尔可夫链的对应关系构建方法，以服装三维模型候选顶点及其法向量、视频服装边界点及其法向量为输入，首先计算服装三维模型顶点与视频服装边界点之间的辐射概率(emissionprobabilities)，根据这些辐射概率构成二维矩阵；然后通过动态规划，沿二维矩阵的视频服装边界点方向，寻找辐射概率总和最大的求解路径，该求解路径即为马尔可夫链，马尔可夫链节点对应的服装三维模型候选顶点和视频服装边界点构成的点对，即为所求的对应关系。在辐射概率计算中，表征接近程度σ_P、法向量差异σ_N和连续性σ_C的参数值分别设置为0.05、10和0.02。

(4)对应关系指导的服装三维动画形状修正。根据服装三维模型顶点与视频服装边界点构成的对应关系，移动构成对应关系的服装三维模型顶点及其邻域顶点，修正当前帧服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状，具体实现如算法2所示，本发明服装三维动画生成结果如图5所示。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims

1.单视频内容驱动的服装三维动画生成方法，其特征在于，所述方法包括以下步骤：

（1）视频服装边界提取与无着装人体三维模型序列生成；

（2）无着装人体三维模型序列驱动的服装三维动画初始形状生成；

（3）视频服装边界指导的服装三维动画形状修正，具体步骤为：

（3.1）面向对应关系的服装三维模型候选顶点选取；

（3.2）面向对应关系的视频服装边界点选取；

（3.3）三维模型候选顶点与视频边界点的对应关系构建；

（3.4）对应关系指导的服装三维动画形状修正；

在所述步骤（3）需要构建当前帧服装三维动画初始形状与对应视频帧服装边界之间的对应关系，该对应关系通过服装三维模型顶点与视频服装边界点构成的点对描述；根据构成对应关系的服装三维模型顶点与视频服装边界点之间的距离，移动服装三维模型顶点，变形当前帧服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状；步骤（3）主要包括以下步骤：

（3.1）面向对应关系的服装三维模型候选顶点选取，主要包括三个准则：法向量准则、三维模型边沿准则、模型投影边界准则；

基于法向量准则筛选候选顶点：若服装三维模型顶点在xy-平面上的投影，位于当前帧服装初始形状的投影边界附近，则该顶点的法向量在z-轴上的分量为0，具体而言，候选顶点的法向量在z-轴上的分量为0存在这样两种情况：一、邻接一个外法向量在z-轴上分量为0的三角形；二、邻接两个三角形，即其中一个三角形外法向量在z-轴上的分量为正，另一个三角形外法线向量在z-轴上的分量为负；

基于三维模型边沿准则筛选候选顶点：服装的领口、袖口、底边线部位会有一些开口，这些开口在服装三维模型中表现为空洞及边沿；位于空洞边沿的部分顶点，可能被法向量准则判定为非候选顶点，而它们在xy-平面上的投影，可能位于当前帧服装三维动画初始形状的投影边界附近；因此，在法向量准则的基础上，给出三维模型边沿准则，将位于服装三维模型空洞边沿的顶点，增补为服装三维模型候选顶点；

基于模型投影边界准则筛选候选顶点：由于布料具有皱纹，根据法向量准则选择的候选顶点，其投影可能不在当前帧服装三维动画初始形状的投影边界附近；而且三维模型边沿准则增补的部分候选顶点，其投影也可能不在当前帧服装三维动画初始形状的投影边界附近；所以，将当前帧服装三维动画初始形状在xy-平面上的投影区域及其周围区域划分为正方形网格，将法向量准则和三维模型边沿准则选择的候选顶点投影到xy-平面上，检测这些候选顶点的投影是否位于当前帧服装三维动画初始形状投影边界附近的正方形网格内，只有投影位于那些正方形网格内的候选顶点保留下来，作为构建对应关系的服装三维模型候选顶点；

（3.2）面向对应关系的视频服装边界点选取，由于存在人体遮挡服装的现象，从着装人体运动视频中提取的服装边沿像素点，并不一定都属于真实服装边界；因此将视频服装边沿像素点分为两类：视频服装边界像素点和视频服装非边界像素点，选取出真实服装边界的视频服装边沿像素点；

（3.3）候选顶点与边界点的对应关系构建，以服装三维模型候选顶点及其法向量、视频服装边界点及其法向量为输入，首先计算服装三维模型顶点与视频服装边界点之间的辐射概率（emission probabilities），根据这些辐射概率构成二维矩阵；然后通过动态规划，沿二维矩阵的视频服装边界点方向，寻找辐射概率总和最大的求解路径，该求解路径即为马尔可夫链，马尔可夫链节点对应的服装三维模型候选顶点和视频服装边界点构成的点对，即为所求的对应关系；

（3.4）对应关系指导的服装三维动画形状修正，根据服装三维模型顶点与视频服装边界点构成的对应关系，移动构成对应关系的服装三维模型顶点及其邻域顶点，修正当前帧服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状，服装三维动画形状修正步骤产生的服装三维动画形状修正量，不仅对当前帧服装三维动画形变起作用，还通过服装初始形状生成步骤向后续帧传播。

2.如权利要求1所述的单视频内容驱动的服装三维动画生成方法，其特征在于：步骤（1）视频服装边界序列提取与无着装人体三维模型序列生成；首先利用成熟的工具从视频图像中分割出服装像素区域，然后根据服装像素区域，逐帧提取出服装边界序列；再根据视频图像内容，估计出骨架图描述的人体姿态变化序列；然后利用人体姿态变化序列和视频图像中提取的人体轮廓序列，估计出无着装人体三维模型序列。

3.如权利要求1所述的单视频内容驱动的服装三维动画生成方法，其特征在于，在所述步骤步骤（2）具体包括：相机拍摄的着装人体运动视频，其帧率为30 FPS，帧时为秒，因此，根据输入视频估计的无着装人体三维模型序列中，连续无着装人体三维模型之间的时间间隔也为秒；在基于视频估计的连续无着装人体三维模型之间，线性地插入个三维模型，取值为66，插值生成的连续无着装人体三维模型之间的时间间隔变为；利用线性插值获得的无着装人体三维模型序列，以为仿真时间步长，通过物理仿真，从上一帧服装三维动画开始，连续更新该帧服装三维动画的初始形状次，生成当前帧服装三维动画的初始形状。