CN103093488A - 一种虚拟发型插值及渐变动画生成方法 - Google Patents

Abstract

本发明公开了一种虚拟发型插值及渐变动画生成方法，该方法首先进行发型模型数据的导入与预处理：然后通过输入发型模型发丝质量传输问题来得到发型模型之间多对多的发丝对应关系及相应的权值；通过对输入发型模型进行聚类及层次结构的构建，得到自顶到下的发丝聚类及代表发丝；通过将二元发型渐变扩展至多个输入发型模型并保证高效性，得到插值得到的新发型模型结果；该方法应用于业界广泛采用的以三维发丝曲线为基本单元构成的虚拟发型几何对象，可实现对多个不同输入发型对象进行插值以合成中间时刻的新发型，并可应用于数字媒体等领域中虚拟角色发型的辅助设计合成以及渐变角色动画的生成等诸多方面。

Description

一种虚拟发型插值及渐变动画生成方法

技术领域

本发明涉及数字媒体领域的虚拟人物建模以及图像编辑方法，尤其涉及虚拟人物的发型建模与编辑方法。

背景技术

本发明相关的技术背景简述如下：

一、虚拟角色的发型建模

尽管在业界的实际应用中已有许多软件可以辅助创作人员完成手工的虚拟发型建模工作，但是其往往极其复杂耗时，需要熟练的技巧以及繁杂的手工操作，因此会大大产品的延长创作周期以及成本开销（WARD,K.,BERTAILS,F.,KIM,T.-Y.,MARSCHNER,S.R.,CANI,M.-P.,AND LIN,M.C.2007.Asurveyon hair modeling:styling,simulation,and rendering.IEEE Transactionson Visualization and Computer Graphics13,2,213–234.）。于是在此基础上，一些现有方法尝试采集真实的发型图像来合成更为真实的发型模型并减少工作量，但是多数此类基于图像的建模方法需要采集不同光照、不同视点或不同焦距下的多张图像才可能得到足够真实的发型三维结构（PARIS,S.,BRICE～NO,H.,AND SILLION,F.2004.Capture of hair geometry from multipleimages.ACM Trans.Graph.23,3,712–719.;WEI,Y.,OFEK,E.,QUAN,L.,AND SHUM,H.-Y.2005.Modeling hair from multiple views.ACM Trans.Graph.24,3,816–820.;PARIS,S.,CHANG,W.,KOZHUSHNYAN,O.I.,JAROSZ,W.,MATUSIK,W.,ZWICKER,M.,AND DURAND,F.2008.Hair photobooth:geometricand photometric acquisition of real hairstyles.ACM Trans.Graph.27,3,30:1–30:9.;JAKOB,W.,MOON,J.T.,AND MARSCHNER,S.2009.Capturinghair assemblies fiber by fiber.ACM Trans.Graph.28,5,164:1–164:9.）。

Bonneel等人提出了一个发型外观估计方法，用以从单张室内闪光灯拍摄的图片中得到统计上类似的三维发型模型（BONNEEL,N.,PARIS,S.,PANNE,M.V.D.,DURAND,F.,AND DRETTAKIS,G.2009.Single photoestimation ofhair appearance.Computer Graphics Forum28,1171–1180.），但是其合成的发型模型并不能在像素级别上拟合原图像中的人物发型，因此并不适用于图像发型编辑应用中。Luo等人发现发丝方向特征通常比原始图像的像素颜色更为可靠，在多试点发型建模中使用方向信息来估计更准确的发型体（LUO,L.,LI,H.,PARIS,S.,WEISE,T.,PAULY,M.,AND RUSINKIEWICZ,S.2012.Multi-viewhair capture using orientation fields.In Proc.CVPR2012.），但是此方法生成的发型通过多边形网格来表示，并不符合数字媒体产业对发型模型的质量需求。Beeler等人提出了一个同时采集稀疏面部毛发和被遮挡的皮面表面的方法（BEELER,T.,BICKEL,B.,NORIS,G.,BEARDSLEY,P.,MARSCHNER,S.,SUMNER,R.W.,AND GROSS,M.2012.Coupled3D reconstruction of sparsefacial hair and skin.ACM Trans.Graph.31,4.），该方法得到的高质量建模结果印证了毛发对刻画虚拟角色真实性的重要性，但其只能应用于面部的稀疏的较短毛发，例如胡须与眉毛，无法用于普通的头发。

二、渐变动画的生成

计算机辅助的图像与形状渐变动画生成从十几年前就已开始被广泛研究并部分应用于电影特效制作以及图像编辑之中（WOLBERG,G.1998.Imagemorphing:a survey.The Visual Computer14,360–372.;LAZARUS,F.,ANDVERROUST,A.1998.Three-dimensional metamorphosis:a survey.The VisualComputer14,373–389.;ALEXA,M.,COHEN-OR,D.,AND LEVIN,D.2000.As-rigid-as-possible shape interpolation.In Proc.SIGGRAPH’00,157–164.），由于人类对人脸天然的兴趣，肖像变换是其中最为深入研究的方向之一（BICHSEL,M.1996.Automatic interpolation and recognition of faceimages by morphing.In Proc.IEEE International Conference on AutomaticFace and Gesture Recognition,128–135.;YANG,F.,SHECHTMAN,E.,WANG,J.,BOURDEV,L.,AND METAXAS,D.2012.Face morphing using3D-awareappearance optimization.In Proc.Graphics Interface,93–99.）。但是多数现有的方法只针对人脸，并没有对发型进行特殊变换处理，而是将其视为背景简单使用交叉渐隐（cross-fading）方法进行渐变，无法达到自然的中间效果。一个可能的原因是不同于人脸，难以确定发型对象之间的合适对应关系。

重生成渐变（regenerative morphing）（SHECHTMAN,E.,RAV-ACHA,A.,IRANI,M.,AND SEITZ,S.2010.Regenerative morphing.In Proc.CVPR.）以及图像融合（image melding）（DARABI,S.,SHECHTMAN,E.,BARNES,C.,GOLDMAN,D.B.,AND SEN,P.2012.Image melding:Combining inconsistentimages using patch-based synthesis.ACM Trans.Graph.）是两种基于图像块（patch）的渐变合成技术，可用于自动生成两幅不相关图像间的平滑插值。但是他们的结果是通用的图像编辑方法，并未考虑人体发型本身的特殊特性，通常无法保持发型的视觉自然性以及物理合理性。

发明内容

本发明的目的在于针对现有技术的不足，提供一种针对虚拟角色三维发型模型的合成以及渐变动画的生成方法。该方法对多个不同的以三维发丝曲线为基本单元的发型模型进行插值合成中间时刻的新发型，可应用于数字媒体等相关领域中虚拟角色发型的辅助设计合成以及渐变动画生成等诸多方面，具有很高的实用价值。

本发明的目的是通过以下技术方案来实现的：一种虚拟发型插值及渐变动画生成方法，包括如下步骤：

（1）发型模型数据的导入与预处理：导入通用发型模型数据，进行匹配与校准处理；

（2）多重对应的发丝关联：通过求解步骤1处理后的输入发型模型发丝质量传输问题来得到发型模型之间多对多的发丝对应关系及相应的权值；

（3）多重尺度的发丝关联：通过对步骤1处理后的输入发型模型进行聚类及层次结构的构建，得到自顶到下的发丝聚类及代表发丝，从而进行多重尺度下的发丝对应以获得分簇聚集效果并减小计算开销；

（4）多输入的发型插值：通过将二元发型渐变扩展至多个输入发型模型并保证高效性，得到插值得到的新发型模型结果；

（5）发型模型结果的导出：将上述步骤得到的发型模型结果以通用格式导出与存储。

本发明的有益效果是对三维角色发型模型进行满足物理规律的对应关系构建，从而得以实现快速的发型插值以及渐变动画的生成效果，可应用于数字媒体等相关产业中虚拟角色的发型建模以及动画合成等诸多领域。本发明首次提出了对不同形态、拓扑的发型模型的插值方法，能够保证发型插值结果在视觉与物理特性上的真实性，相比已有方法可以大大提升结果的真实感，从而满足许多复杂动态发型设计与动画应用的需求。

附图说明

图1是本发明与某些现有方法的对比示意，图中，（a）为图像变形方法得到的插值结果，（b）为图像融合方法得到的插值结果，（c）为使用简单的发丝一一对应得到的插值结果；

图2是本发明中使用多重尺度发丝对应与使用单尺度发丝对应的对比示意，图中，（c）为使用单尺度发丝对应得到的插值结果，（d）为使用多尺度发丝对应得到的插值结果；

图3是本发明中多输入发型插值结果的示意。

具体实施方式

本发明的核心技术是对输入发型模型构建以发丝为单位的对应关系并基于此完成插值计算、渐变动画生成等功能。本发明的核心方法主要分为如下五个部分：数据的导入与预处理、多重对应的发丝关联、多重尺度的发丝关联、多输入的发型插值以及结果的导出与应用。

1.数据的收集与预处理：本方法应用于业界通用的发型几何模型，在进行后续的处理之前，需要对模型数据进行预处理以使得输入模型满足本方法的基本要求并具有合理的相对尺寸。

1.1数据的收集

本方法应用于业界通用的发型模型数据，发型模型由大量较均匀分布的三维发丝曲线构成，类似于真实人类发型的几何结构。本方法要求输入的发型模型中所有发丝均附着于虚拟的角色头部模型表面，以保证对应匹配的可行性。同时，本方法需要输入附着的头部模型的几何数据，以方便后续的校准操作。

1.2数据的预处理

为得到合理的结果，所有输入发型模型必须首先校准到同样的尺寸与方位。由于发型本身难以进行精确的对齐，本方法使用1.1步中得到的输入发型模型对应的头部模型来计算相对的变换参数（空间位置、模型尺寸与朝向等），并将头部模型以及附着的发型模型同时进行校准。

2.多重对应的发丝关联：通过求解输入发型模型发丝间质量传输问题来得到输入发型模型之间多对多的发丝对应关系及相应的权值。

2.1发丝特征向量的构建

为了衡量发丝运动的显著程度，本方法计算分属不同输入发型模型的两条任意发丝ξ_i与ξ_j之间对应的传输开销d(ξ_i,ξ_j)，即从ξ_i运动到ξ_j的变化程度，来选择发丝之间的对应关系，使得插值过程中发丝的变动最小。本方法通过对发丝ξ_i计算高维的特征向量（feature vector）u_i来对发丝几何特性进行参数化的表达（WANG,L.,YU,Y.,ZHOU,K.,AND GUO,B.2009.Example-based hairgeometry synthesis.ACM Transactions on Graphics28,3,56:1–9.）。发丝之间的传输开销d(ξ_i,ξ_j)表示为两者特征向量之间的L²距离，也即两者在几何形态以及空间距离上的差异性：

d(ξ_i,ξ_j)=L²(u_i,u_j)；

2.2传输模型的构建

本方法将输入发型模型中的所有发丝表示为一个二分图（bi-partitegraph）中不同区域的节点，所有的边（二分图中的边仅连接不同区域顶点，即属于不同输入发型的发丝节点）代表这一对发丝在插值过程中的对应关系，并定义其上的传输开销。对于一对分属不同输入发型对象的发丝ξ_i∈S₀与ξ_j∈S₁，使用步骤1.1的方法计算两者的传输开销d(ξ_i,ξ_j)。同时，每个发丝都对应于一个正值的权值w_s(ξ)，正比于其发丝长度|ξ|。对任一发型模型对象，将其发丝的权值和正则化为一相等的常数以避免不同输入发型中发丝的平均长度对结果的影响。发丝对应关系的计算则等价于寻找发丝ξ_i与ξ_j对应边的传输流f(i，j)，使得来源发型模型节点的发丝权值能够以最小的传输开销传输至目标发型模型节点。求解f(i，j)使得传输开销最小，表示如下：

$\underset{f}{\arg \min }\underset{i,j}{\mathrm{\Σd}}({\mathrm{\ξ}}_i,{\mathrm{\ξ}}_j)\·f(i,j),$

其中f(i,j)≥0，同时∑_if(i,j)=w_s(ξ_j)且∑_jf(i,j)=w_s(ξ_i)。

2.3传输问题的求解

使用改进的网络单纯形方法（BONNEEL,N.,PANNE,M.V.D.,PARIS,S.,AND HEIDRICH,W.2011.Displacement interpolation using Lagrangian masstransport.ACM Trans.Graph.）来求解2.2步中构建得到的最小流传输问题。

3.多重尺度的发丝关联技术：通过对发型对象进行聚类及层次结构的构建，得到自顶到下的发丝聚类及代表发丝，从而进行多重尺度下的发丝对应用以获得发丝分簇聚集效果并减小计算开销。

3.1层次结构的构建

对输入发型模型S分别自底向上（bottom-up）构建发丝层次结构（hairhierarchy）并选取每个层次聚类中的代表发丝（WANG,L.,YU,Y.,ZHOU,K.,AND GUO,B.2009.Example-based hair geometry synthesis.ACM Transactionson Graphics28,3,56:1–9.），使得在层次结构的每一级中将几何特征相似同时空间相邻的发丝归为层次结构下一级中的一类。表示其中第h级为S_(h)，第p个发丝聚类为

代表发丝为

所有属于

的发丝为

代表发丝的权值

为聚类p中所有发丝权值之和，即

3.2对应关系的求解

在3.1中构建的输入发型模型发丝层次结构的基础上，首先对最高层所有代表发丝以步骤2中的方法计算对应关系及权值，随后以自顶向下（top-down）顺序求解发丝在层次结构各级上的对应关系。在层次结构的第h级上，如果当且仅当在高一级（h+1）层中两个代表发丝

与之间存在非零流时，对来源聚类

到目标聚类计算最小流。

4.多输入的发型插值技术：通过将二元发型渐变扩展至多个输入发型模型并保证高效性，从而实现实时多重虚拟发型的任意渐变效果以及交互式发型设计与预览等功能。

4.1多输入传输模型的构建

对多个输入发型模型的插值问题，与步骤2、3中类似，本方法构建多分图（N-partite graph）来组织所有发型模型中的发丝结构。对任意两对输入（共有N(N-1)/2对），本方法都按照步骤2构建其多重尺度下的发丝对应结构。

4.2可插值发丝的构建

在两个输入的发型插值问题中，二分图中所有带有非零流的边都表示一对可用于生成中间发丝的可插值发丝（morphable strand）。在多输入发型插值中，本方法选取可插值发丝的集合为每个输入发型模型中与多分图中非零流边构成的子树（subtree）相连接的发丝。

4.3插值计算

对输入的N个输入发型模型，本方法将这些输入的参数坐标对应至平面上的一正N边形的所有顶点上，通过创建交互界面来用户允许用户在该多边形内选取一点或经由其他方式计算目标点到所有输入点的重心坐标w₀,w₁,…,w_N-1，并使得∑_iw_i＝1。

本方法自顶向下地对层次结构中各层的代表发丝进行插值，并传递至聚类中其它发丝处。对任意一对4.2步中得到的互相关联的可插值发丝ξ_i∈S₀与ξ_j∈S₁，若两者间在4.1步计算得到的对应流值大于零，则对两者进行重采样，使得新的发丝

与

拥有相同的顶点数量并且在各自发丝内均匀分布。给定两者的相对权重t，则线性插值得到的新发丝

的第l个顶点位置为：

${\widetilde{\mathrm{\ξ}}}_{t\left(l\right)}=(1-t){\widetilde{\mathrm{\ξ}}}_{i\left(l\right)}+t{\widetilde{\mathrm{\ξ}}}_{j\left(l\right)},0\≤t\≤1;$

由于对任意一对不同输入发型内的关联发丝都计算一条插值发丝，插值的中间结果发型中的发丝数量会大于各个发型模型本身的发丝数量，但可以证明的是这个数量不会大于

5.结果的导出与应用：与输入类似，在上述步骤中本方法作用的对象以及得到的结果均是虚拟发型的几何对象，通过将其以通用格式导出与存储，可导入其他多媒体、数字娱乐产业系统的相关应用之中作后续用途。同时，作为基本的发型表示，若输入发型对象存在采集发型的颜色信息，本方法也可以自然生成基于图像的渐变动画效果。

5.1结果的导出

本方法基于输入的发型几何模型通过插值构建新的模型对象。与业界的通用数据格式相兼容，具体可以将发型模型数据表示为大量发丝曲线的集合，而其中每个发丝都是由一串有序顶点构成。本方法通过将结果存储为相关文件格式作为本方法的最终结果导出形式。

5.2结果的应用

本方法可以对发型模型的几何信息与颜色信息同时进行插值，因此在得到插值后的新发型模型的同时也可以自然得到图像上的渐变动画效果。此外，作为通用的发型对象表示形式，导出后的本方法结果可以应用于所有已有的发型编辑系统，包括电影特效与动漫制作中虚拟人物的构建、多媒体应用中的图片编辑、特效制作以及虚拟现实领域的发型设计与虚拟合成等。

实施例

发明人在一台配备Intel Xeon E5620中央处理器，NVidia GTX680图形处理器的机器上实现了本发明的实施实例。发明人采用所有在具体实施方式中列出的参数值，得到了附图中所示的所有实验结果。所有输入的发型模型包括大约20到40万个发丝曲线，每个单独的发丝都表示为一条多个顶点相连的线段，发型插值的预计算时间大约为30秒（建立发丝对应关系），交互的发型插值能够达到实时速度。在结果渲染过程中这些发丝都通过几何着色器扩展成与屏幕对齐的多边形带进行实时渲染。

Claims (4)

1.一种虚拟发型插值及渐变动画生成方法，其特征在于，包括如下步骤：

（1）发型模型数据的导入与预处理：导入通用发型模型数据，进行匹配与校准处理；

（2）多重对应的发丝关联：通过求解步骤1处理后的输入发型模型发丝质量传输问题来得到发型模型之间多对多的发丝对应关系及相应的权值；

（3）多重尺度的发丝关联：通过对步骤1处理后的输入发型模型进行聚类及层次结构的构建，得到自顶到下的发丝聚类及代表发丝，从而进行多重尺度下的发丝对应以获得分簇聚集效果并减小计算开销；

（4）多输入的发型插值：通过将二元发型渐变扩展至多个输入发型模型并保证高效性，得到插值得到的新发型模型结果；

（5）发型模型结果的导出：将上述步骤得到的发型模型结果以通用格式导出与存储。

2.根据权利要求1所述的虚拟发型插值及渐变动画生成方法，其特征在于，所述步骤2包括如下子步骤：

（2.1）对所有步骤1处理后的输入发型模型的发丝计算其特征向量，并以此为标准表示任意两条发丝之间的几何相似性；

（2.2）对步骤1处理后的输入发型模型的所有发丝类比为图节点建立二分图模型，令步骤2.1中得到的发丝几何相似性为发丝节点的传输开销，并设其权值质量为发丝的长度，构建Monge-Kantorovich最小传输问题，使得对应关系的开销最小；

（2.3）使用修改后的网络单纯形算法来求解步骤2.2的最小传输问题，得到发丝对应关系及权值。

3.根据权利要求1所述所述的虚拟发型插值及渐变动画生成方法，其特征在于，所述步骤3包括如下子步骤：

（3.1）对步骤1处理后的输入发型模型依照几何形状相似性与空间距离进行聚类，建立多重尺度的发型层次结构；

（3.2）对步骤3.1得到的发型层次结构中的每一层按照步骤2中的方法求解代表发丝的多重对应关系。

4.根据权利要求2所述的虚拟发型插值及渐变动画生成方法，其特征在于，所述步骤4包括如下子步骤：

（4.1）将步骤2.2中的二分图模型扩展为多分图，划分区域数量对应于输入发型模型的个数；

（4.2）对任意一步骤1处理后的输入发型模型均按照步骤2和3所述的方法构建多重尺度下的多重对应发丝关联，并按照多分图的边权值选择可插值发丝节点；

（4.3）对指定的插值时间，计算插值位置在所有输入发型模型对应的多边形中的重心坐标，对每一发型层次结构中的可插值代表发丝计算加权平均后的新插值发丝作为最终插值结果。

Images