CN103606186B - 一种图像与视频的虚拟发型建模方法 - Google Patents

Abstract

本发明公开了一种图像与视频的虚拟发型建模方法，该方法首先使用数码设备对目标人物进行数据采集，并分割得到图像中发型部分区域；然后求解图像发型方向场的方向歧义性问题，得到分布均匀、符合原图发型区域的静态发型模型，通过追踪头部模型运动并估算非刚性形变来计算视频中发型的运动，生成运动过程中每一时刻的动态发型模型，使其自然拟合视频中发型的真实运动；该方法用于对单幅图像及视频序列中的人物发型进行具物理合理性的虚拟三维模型重建，可广泛应用于数字媒体等相关领域中虚拟角色的创建以及诸多图像与视频的发型编辑应用中，如肖像立体化、发型运动仿真、交互式发型编辑等。

Description

一种图像与视频的虚拟发型建模方法

技术领域

本发明涉及虚拟人物建模以及图像视频编辑领域，尤其涉及虚拟人物发型建模以及图像视频中发型编辑方法。

背景技术

本发明相关的技术背景简述如下：

一、虚拟人物的发型建模

尽管在业界的实际应用中，已有许多软件可以辅助创作人员完成手工的虚拟发型建模工作，但是其往往极其复杂耗时，需要熟练的技巧以及繁杂的手工操作，因此会大大延长产品的创作周期以及成本开销(WARD,K.,BERTAILS,F.,KIM,T.-Y.,MARSCHNER,S.R.,CANI,M.-P.,ANDLIN,M.C.2007.Asurveyonhairmodeling:styling,simulation,andrendering.IEEETransactionsonVisualizationandComputerGraphics13,2,213–234.)。于是，在此基础上，一些现有方法尝试采集真实的发型图像来合成更为真实的发型模型并减少工作量，但是多数此类基于图像的建模方法需要采集不同光照、不同视点或不同焦距下的多张图像才可能得到足够真实的发型三维结构(PARIS,S.,BRICE～NO,H.,ANDSILLION,F.2004.Captureofhairgeometryfrommultipleimages.ACMTrans.Graph.23,3,712–719.；WEI,Y.,OFEK,E.,QUAN,L.,ANDSHUM,H.-Y.2005.Modelinghairfrommultipleviews.ACMTrans.Graph.24,3,816–820.；PARIS,S.,CHANG,W.,KOZHUSHNYAN,O.I.,JAROSZ,W.,MATUSIK,W.,ZWICKER,M.,ANDDURAND,F.2008.Hairphotobooth:geometricandphotometricacquisitionofrealhairstyles.ACMTrans.Graph.27,3,30:1–30:9.；JAKOB,W.,MOON,J.T.,ANDMARSCHNER,S.2009.Capturinghairassembliesfiberbyfiber.ACMTrans.Graph.28,5,164:1–164:9.)。

Bonneel等人提出了一个发型外观估计方法，用以从单张室内闪光灯拍摄的图片中得到统计上类似的三维发型模型(BONNEEL,N.,PARIS,S.,PANNE,M.V.D.,DURAND,F.,ANDDRETTAKIS,G.2009.Singlephotoestimationofhairappearance.ComputerGraphicsForum28,1171–1180.)，但是其合成的发型模型并不能在像素级别上拟合原图像中的人物发型，因此并不适用于图像发型编辑应用中。Luo等人发现发丝方向特征通常比原始图像的像素颜色更为可靠，在多试点发型建模中使用方向信息来估计更准确的发型体(LUO,L.,LI,H.,PARIS,S.,WEISE,T.,PAULY,M.,ANDRUSINKIEWICZ,S.2012.Multi-viewhaircaptureusingorientationfields.InProc.CVPR2012.)，但是此方法生成的发型通过多边形网格来表示，并不符合数字媒体产业对发型模型的质量需求。Beeler等人提出了一个同时采集稀疏面部毛发和被遮挡的皮面表面的方法(BEELER,T.,BICKEL,B.,NORIS,G.,BEARDSLEY,P.,MARSCHNER,S.,SUMNER,R.W.,ANDGROSS,M.2012.Coupled3Dreconstructionofsparsefacialhairandskin.ACMTrans.Graph.31,4.)，该方法得到的高质量建模结果印证了毛发对刻画虚拟角色真实性的重要性，但其只能应用于面部的稀疏的较短毛发，例如胡须与眉毛，无法用于普通的头发。

与静态的发型建模相比，视频中的动态发型建模则更为复杂，在本领域中仍是个尚待解决的问题。Yamaguchi等人直接将多试点发型建模方法(WEI,Y.,OFEK,E.,QUAN,L.,ANDSHUM,H.-Y.2005.Modelinghairfrommultipleviews.ACMTrans.Graph.24,3,816–820.)进行扩展用以处理视频(YAMAGUCHI,T.,WILBURN,B.,ANDOFEK,E.2009.Videobasedmodelingofdynamichair.Inthe3rdPacificRimSymposiumonAdvancesinImageandVideoTechnology,585–596.)。Zhang等人进一步使用基于物理的运动仿真来改进初始重建的发型模型序列。由于缺乏准确的发丝对应关系，这些方法结合多试点得到的动态发型模型会过约束发型的运动，导致过分光滑的结果，会与真实情况存在较大的出入。

二、三维信息指导下的图像编辑

在面向个人娱乐产业的数字图像编辑应用中，用户的输入通常仅仅是任意的单幅图像。由于缺少准确的三维信息，从单幅图像重建准确的三维模型是不适定问题，但是现有的一些方法证明了使用适当的特定三维表示(proxy)可以大大扩展可能的图像编辑操作的适用范围。与通常的基于图像的建模技术不同，这些三维表示往往被设计来更好刻画并代表特定类型对象的共有结构，但并不一定能准确地拟合真实的物体形状。

针对普通的场景图像，业界常用的现有方法包括分层深度图(OH,B.M.,CHEN,M.,DORSEY,J.,ANDDURAND,F.2001.Image-basedmodelingandphotoediting.InProc.SIGGRAPH,433–442.)，使用平面告示牌结构的图像立体化(HOIEM,D.,EFROS,A.A.,ANDHEBERT,M.2005.Automaticphotopop-up.ACMTrans.Graph.24,3,577–584.)，使用长方体表示的合成物体插入(KARSCH,K.,HEDAU,V.,FORSYTH,D.,ANDHOIEM,D.2011.Renderingsyntheticoobjectintolegacyphotographs.ACMTrans.Graph.30,6,157:1–12.)以及以语义方式对图像中已有物体的编辑(ZHENG,Y.,CHEN,X.,CHENG,M.-M.,ZHOU,K.,HU,S.-M.,ANDMITRA,N.J.2012.Interactiveimages:Cuboidproxiesforsmartimagemanipulation.ACMTrans.Graph.31,4.)，这些方法的三维表示通常都较为简单，用以粗略表示场景的大致三维信息，效果往往比较有限，通常应用于电影的立体化处理等。

针对图像中的特定人体对象，有更有效的三维表示方法。Blanz与Vetter提出了一种对图像人脸部分拟合参数化的可变形人脸模型(morphableheadmodel)的方法(BLANZ,V.,ANDVETTER,T.1999.Amorphablemodelforthesynthesisof3Dfaces.InProc.SIGGRAPH’99.)，使用这种低参数维度三维人脸模型可以用于更真实的表情迁移(expressiontransfer)(YANG,F.,WANG,J.,SHECHTMAN,E.,BOURDEV,L.,ANDMETAXAS,D.2011.Expressionflowfor3D-awarefacecomponenttransfer.ACMTrans.Graph.30,4,60:1–60:10.)以及人脸替换(BITOUK,D.,KUMAR,N.,DHILLON,S.,BELHUMEUR,P.N.,ANDNAYAR,S.K.2008.FaceSwapping:Automaticallyreplacingfacesinphotographs.ACMTrans.Graph.27,39:1–39:8.；DALE,K.,SUNKAVALLI,K.,JOHNSON,M.K.,VLASIC,D.,MATUSIK,W.,ANDPFISTER,H.2011.Videofacereplacement.ACMTrans.Graph.30,6,130:1–130:10.)。类似的，通过使用完整身体的三维可变形模型，可以实现图像与视频的参数化人体变形(ZHOU,S.,FU,H.,LIU,L.,COHEN-OR,D.,ANDHAN,X.2010.Parametricreshapingofhumanbodiesinimages.ACMTrans.Graph.29,4,126:1–126:10.；JAIN,A.,THORM¨AHLEN,T.,SEIDEL,H.-P.,ANDTHEOBALT,C.2010.MovieReshape:Trackingandreshapingofhumansinvideos.ACMTrans.Graph.29,6,148:1–148:10.)。这些方法可应用于电影特效的制作以及图像编辑处理等。但是，值得注意的是，人脸与身体等部分通常比发型有更明显的共性特征，也更容易进行参数化拟合。

针对发型的三维表示，最近Chai等人提出了一个单视点的三维发型重建方法(CHAI,M.,WANG,L.,YU,Y.,WENG,Y.,GUO,B.,ANDZHOU,K.2012.Single-viewhairmodelingforportraitmanipulation.ACMTrans.Graph.31,4,116:1–8.)。但是这个方法仅仅通过大量空间发丝来拟合原图中的发型区域，并不能生成具有物理合理性的三维发型模型，其结果难以被直接用于产业的相关应用中。

发明内容

本发明的目的在于针对现有技术的不足，提供一种图像与视频的发型建模方法。该方法可对单幅图像以及视频序列中的人物发型进行具物理合理性的三维模型重建，可广泛应用于数字媒体等产业中虚拟人物的创建以及诸多图像视频发型编辑应用中，如肖像立体化、发型运动仿真、交互式发型编辑等，具有很高的实用价值。

本发明的目的是通过以下技术方案来实现的：一种图像与视频的虚拟发型建模方法，包括如下步骤：

(1)发型图像数据的采集与预处理：使用数码设备对目标人物进行数据采集，要求发型部分清晰完整，并使用画笔选取工具分割得到图像中发型部分区域；

(2)基于图像的发型方向场计算：求解图像发型方向场的方向歧义性问题，将该无歧义的图像发型方向场结合空间发型体区域求解空间发型方向场；

(3)静态发型模型的迭代构建：通过以拟合的人物头部模型上定义的头皮区域为发根位置，于空间发型方向场内以发根采样点起始进行生长得到初始的发型模型，随后通过迭代方式改进该初始结果，得到分布均匀、符合原图发型区域的静态发型模型；

(4)基于视频的动态发型建模：在步骤3得到的静态发型模型的基础上，通过追踪头部模型运动并估算非刚性形变来计算视频中发型的运动，生成运动过程中每一时刻的动态发型模型，使其自然拟合视频中发型的真实运动；

(5)发型建模结果的导出：将上述步骤的建模结果，包括步骤3得到的静态发型模型以及步骤4得到的动态发型模型，导出与存储。

本发明的有益效果是，本发明对单幅图像及视频序列中的虚拟人物发型进行具物理真实性的三维模型重建，可广泛应用于数字媒体与相关产业的虚拟人物创建以及图像视频发型编辑中。本发明首次提出了对基于图像的复杂发型的具有物理合理性的三维建模方法，在良好拟合原图像发型区域的同时保证生成的发型模型符合其原本的物理特性，即由头皮区域的发根位置生长的发丝曲线构成，且具合适且连续的长度与几何特性。相比现有的基于图像的发型三维建模技术，本方法可以得到更高质量的发型模型，满足许多复杂动态发型编辑应用对模型的要求，从而可用于更多应用领域，达到先前方法难以达到的效果。

附图说明

图1是本发明发型建模过程的示意图，图中，(a)为原始采集图像以及用户笔刷，(b)为初始发丝，(c)为求解方向后的发丝，(d)为初始发型模型，(e)为第一次迭代后的发型模型，(f)为最终模型渲染结果；

图2是在静态发型建模中本发明方法与现有方法的比较示意图，图中，(a)为原始采集图像，(b)为方向场方法得到的结果，(c)为带方向歧义的结构张量方法得到的结果，(d)为本方法得到的结果；

图3是本发明中一些建模结果的示意图；

图4是在动态发型建模中本方法与现有方法的比较示意图，图中，(a)(b)为原始图像与初始发型建模结果，(c)为使用不符合物理真实性模型得到的结果，(d)为只使用特征场得到的结果，(e)为只使用光流场得到的结果，(f)为本方法得到的结果；

图5是本发明中一些视频发型编辑应用的示意图。

具体实施方式

本发明的核心是对单幅图像以及视频序列中的虚拟发型对象进行具有物理合理性的三维模型重建方法。本发明的核心方法主要分为如下五个部分：发型图像数据的采集与预处理、基于图像的发型方向场计算方法、静态发型模型的迭代构建方法、基于视频的动态发型建模方法以及发型建模结果的导出与应用。

1.发型图像数据的采集与预处理：使用数码设备对目标人物进行数据采集，要求发型部分清晰完整，使用画笔选取工具分割得到图像中发型部分区域。

1.1图像采集

本方法应用于普通的数码相片以及视频数据。作为输入数据，本方法需要对真实的人物对象使用包括普通数码相机、数码摄像机、手机在内的具备拍摄及摄录功能的数码设备进行拍摄与摄录，以获得原始输入数据。由于本方法的主要操作对象为图像及视频中人物的发型对象，因此本步骤要求采集图像中的发型区域清晰完整。

1.2用户辅助交互

由于图像中发型区域的内容及边界存在着复杂的形态特征，很难鲁棒地进行自动识别与分割，因此本方法依赖少量的用户辅助交互来对数据进行预处理以方便后续步骤的进行。通过采用画笔选取(paintselection)技术(LIU,J.,SUN,J.,ANDSHUM,H.-Y.2009.Paintselection.ACMTrans.Graph.28,3.)，在发型区域内描绘少量笔画对图像进行分割，得到发型区域R_hair。

2.基于图像的发型方向场计算：解决图像发型方向场的方向歧义性问题，并将该无歧义的图像发丝方向场结合空间发型体区域求解空间发型方向场。

2.1头部模型拟合

本方法采用基于图像特征点以及训练数据库的头部模型标定与拟合技术(CHAI,M.,WANG,L.,YU,Y.,WENG,Y.,GUO,B.,ANDZHOU,K.2012.Single-viewhairmodelingforportraitmanipulation.ACMTrans.Graph.31,4,116:1–8.)，通过ASM(activeshapemodel)方法自动标定人脸特征点，随后基于这些特征点与主元分析(principlecomponentanalysis)降维后的三维头部模型数据库(采用FaceGen软件内置数据)，通过最小二乘(least-squares)优化估算头部的变换参数同时拟合得到图像中的三维头部模型。

2.2无方向二维发丝追踪

本方法使用一系列有向滤波函数{K_θ}对1.2步中得到的发型区域R_hair进行滤波操作，其中每个滤波函数K_θ用来检测角度θ对应方向的响应值。令F(x,y,θ)＝(K_θ*I)_(x,y)表示K_θ在像素(x,y)上的响应值。则像素(x,y)上的局部方向为并求得该局部方向的置信度为在此二维方向场的基础上，于发型区域内选取置信值w_(x,y)的局部最大值点P作为种子点，令其满足：

$\frac{w_P-max(w_{P_L},w_{P_R})}{w_P}>\∈,$

w_P>w_high；

其中与为在垂直于P上局部方向的两边方向上，通过双线性插值方法采样得到的临近置信度值。对于普通图片，令w_high＝0.3，w_low＝0.05，∈＝0.2。

对于任一选取的种子点P_seed及其局部方向本方法同时从其相反的两个方向上进行发丝追踪。类似现有的方法，每一步发丝追踪都通过在当前位置P沿角度对应的方向v_P，向前延伸曲线：

$P_{i+1}=P_i+{\mathrm{\δv}}_{P_i};$

最终得到一系列无方向二维发丝。

2.3求解方向歧义

本方法将2.2步得到的无方向二维发丝中的每个曲线γ_i表示为一个均匀分布的发丝顶点列表，其中γ_i(j)表示γ_i的第j个顶点。可以定义γ_i(j)处原始的发丝方向为γ_i(j-1)到γ_i(j+1)的单位向量。在步骤2.2中，初始二维发丝的方向都是随机指定的，可以将发丝的生长方向表示为其中s_i∈{-1,1}。类似的，步骤1.2中的用户交互笔画也可表示为同样的发丝方向，但由于其本身是准确的，我们将s_i替换为全局参数w_m＝10。

对每条发丝曲线γ_i定义分数P形如：

$P\left({\mathrm{\γ}}_i\right)=\underset{j}{\Σ}\underset{{\mathrm{\γ}}_{p\left(q\right)}\∈N_{i\left(j\right)}}{\Σ}{\hat{t}}_{i\left(j\right)}\·{\hat{t}}_{p\left(q\right)};$

其中N_i(j)包括邻近γ_i(j)的所有已求解得到方向的非处于同一发丝上的所有发丝顶点。求解如下的二值整数优化问题(binaryintegerprogramming)：

$\underset{\left\{s_i\right\}}{\arg amx}\underset{i}{\Σ}P\left({\mathrm{\γ}}_i\right);$

本方法通过如下的贪婪算法来近似求解这个NP完全问题(NP-completeproblem)：将所有发丝划分为已求解、求解中的与未求解的三个集合，在算法开始时，求解中的与未求解的集合均为空，以求解的集合仅包含用户的辅助笔画。算法反复进行如下步骤直至所有发丝都被求解：

(1)选取每个与任一以求解发丝顶点相邻的未求解发丝γ_i(j)并移至求解中集合构成的堆(heap)结构中，并令其得分为

(2)从求解中发丝中选取分值最大的γ_i，选取s_i∈{-1,1}使得P(γ_i)非负，并将γ_i移至已解决集合中；

(3)更新第(2)步中移至已解决集中的γ_i的所有相邻求解中发丝的得分。

2.4发型体的构建

本方法采用单视点发型建模方法(CHAI,M.,WANG,L.,YU,Y.,WENG,Y.,GUO,B.,ANDZHOU,K.2012.Single-viewhairmodelingforportraitmanipulation.ACMTrans.Graph.31,4,116:1–8.)求解二维发丝的深度信息，构建发型体(hairvolume)在空间中的区域定义为封闭的发型区域减去2.1中头部模型所在区域。

2.5求解空间发型方向场

在2.4步中得到的发型体H内部，构建一个均一空间网格，通过如下的优化方法求解离散的无方向歧义的空间矢量场D：令在网格单元i处的三维方向向量为v_i，优化的能量方程表示为：

$E_d\left(D\right)=\underset{i\∈H}{\Σ}\left|\right|{\mathrm{\Δv}}_i|{|}^2+w_c\underset{i\∈C}{\Σ}||v_i-c_i|{|}^2;$

其中Δ为离散拉普拉斯算子(Laplacianoperator)，C为所有存在方向约束c_i的网格单元集合，w_c为控制约束权重的参数，本方法令w_c＝10。定义方向约束如下：将所有二维带方向发丝曲线投影至H的边界表面，生成的三维曲线的切向量存储于所在网格单元处。同时，对所有靠近头皮区域的网格令其约束方向为所在头皮的法向量。

3.静态发型模型的迭代构建：以拟合的头部模型上定义的头皮区域为发根位置，于空间发型方向场内以发根采样点起始进行生长得到初始的发型模型，随后通过迭代方式改进该初始结果，得到分布均匀、符合原图发型区域的静态发型模型。

3.1头皮参数化

作为静态发型模型构建的开始，本方法首先在2.1步中拟合得到的头部模型上定义发根分布的头皮区域，为了使该头皮区域能符合特定图像中的发型区域，将头皮区域与发型区域相交部分进一步排除。在头皮区域对应的二维参数空间内使用(WANG,L.,YU,Y.,ZHOU,K.,ANDGUO,B.2009.Example-basedhairgeometrysynthesis.ACMTransactionsonGraphics28,3,56:1–9.)中方法均匀采样得到发根位置n_s并反投回三维空间中。

3.2初始模型构建

从3.1中得到的参数化头皮上的发根位置开始，按照2.5步中得到的空间发型方向场D通过二阶Runge-Kutta法(second-orderRunge-Kutta)延长初始发丝，直至其长度超过特定最大发丝长度或越过H的边界，最后得到一系列初始发丝集合S作为初始静态发型模型。

3.3迭代改进

给定3.2步得到的初始静态发型模型S，本方法迭代地对其增加新的发丝来填补H中的空白区域，使得最终的发型模型在视觉和物理上均同初始模型一样可信。基本的迭代过程为：1)通过在H的空白区域中随机选取采样点，生成一个备选发丝集合S^*；2)对每个备选发丝ξ^*∈S^*，检查是否有合适的发丝ξ∈S部分靠近ξ^*，如果有，则对ξ与ξ^*进行剪切与重组生成一个合并的新发丝ξ'并将其添加至S中。重复这两步直至没有合适的备选发丝可被使用。

令||ξ||表示发丝ξ中的顶点数量，ξ_(i)为ξ中的第i个顶点(从发根开始计数)。剪切重组过程分别寻找一对已有发丝ξ与备选发丝ξ^*对在空间相邻的两个顶点ξ_(i)与并生成新发丝ξ'使得：

${\mathrm{\&xi;}}_{\left(k\right)}^{\&prime;}=\left\{\begin{array}{ccc}{\mathrm{\&xi;}}_{\left(k\right)}& if& k>i,\\ ({\mathrm{\&xi;}}_{\left(i\right)}+{\mathrm{\&xi;}}_{\left(j\right)}^{*})/2& if& k=i,\\ {\mathrm{\&xi;}}_{(k-i+j)}^{*}& if& i<k<i+\left|{\mathrm{\&xi;}}^{*}\right|-j.\end{array}\right.$

其中ξ'靠近发根的部分总是来自于已有的发丝，使得ξ′₍₁₎保证位于头皮表面。为了选取合适的发丝ξ∈S以及对应的顶点来进行剪切重组，本方法定义衡量标准对应的能量方程如下：

$E_c\left({\mathrm{\&xi;}}^{*}\right)=\&Sigma;e^{-\frac{{(k-i)}^2}{2{\mathrm{\&sigma;}}_c^2}}+{\mathrm{\&Delta;\&xi;}}_{\left(k\right)}^{\&prime;}+w_{\mathrm{\&rho;}}\underset{k}{\&Sigma;}\mathrm{\&rho;}\left({\mathrm{\&xi;}}_{\left(k\right)}^{\&prime;}\right);$

其中顶点ξ′_(k)的拉普拉斯算子Δ通过到ξ′_(i)的测地距离加权来反映接点附近的光滑程度。ρ(ξ′_(k))表示ξ′_(k)附近区域的发丝密度值。本方法使用σ_c＝1且密度权重w_ρ＝0.01。对每个备选发丝，本方法以预先定义的搜索半径在S中遍历其所有的临近顶点寻找一个接点使得能量最小。为了提高连接后新发丝的光滑程度，本方法对ξ'中靠近接点的顶点进行低通滤波(low-passfilter)，得到改进后的静态发型模型。

4.基于视频的动态发型建模：在步骤3的静态发型模型的基础上，通过追踪头部模型运动并估算非刚性形变来计算视频中发型的运动，生成运动过程中每一时刻的动态发型模型，使其自然拟合视频中发型的真实运动。

4.1初始模型构建

首先选取输入视频序列的某初始帧r使用步骤1～3的方法构建该时刻的静态发型模型S_r。

4.2头部运动追踪

本方法使用多重线性头部模型(Multilinearmodel)(VLASIC,D.,BRAND,M.,PFISTER,H.,ANDPOPOVIC,J.2005.Facetransferwithmultilinearmodels.ACMTrans.Graph.24,3,426–433.；DALE,K.,SUNKAVALLI,K.,JOHNSON,M.K.,VLASIC,D.,MATUSIK,W.,ANDPFISTER,H.2011.Videofacereplacement.ACMTrans.Graph.30,6,130:1–130:10.)来追踪视频中的头部运动M_i作为时间T_i下的刚性变换(rigidtransformation)。

4.3光流场计算

对于发型的非刚性形变(non-rigidtransformation)，本方法首先使用(LI,X.,JIA,J.,ANDMATSUSHITA,Y.Motiondetailpreservingopticalflowestimation.TPAMI34.91744-1757.)的方法计算从时刻T_i-1到T_i的稠密光流场(opticalflow)V_i(时刻T_i-1下的二维位置p对应于时刻T_i下的位置p+V_i(p))。

4.4特征场计算

由于误差的累积，光流场会随着时间逐渐变得越来越不精确，尤其是在靠近发型区域边界的位置。为了修正这个问题，本方法另外从初始帧r开始追踪少量可靠的特征点，这些特征点可以由Kanade-Lucas-Tomasi方法自动检测得到，也可由用户手工标定。随后，将这些稀疏的特征对应通过边界保持的方式扩散到整幅图像区域(LANG,M.,WANG,O.,AYDIN,T.,SMOLIC,A.,ANDGROSS,M.2012.Practicaltemporalconsistencyforimage-basedgraphicsapplications.ACMTrans.Graph.31,4.)来计算一个从初始帧r到其它各帧i的二维变形场(warpingflow)在某些情况下，由于运动模糊、遮挡或是其它原因导致追踪偏移，本方法允许用户交互地调整某帧中的特征点位置，随后将这些修正光滑地传递至整个序列，得到准确的特征场。

4.5动态发丝变形

在上述步骤4.2、4.3、4.4计算得到的刚性变换、光流场、特征场的基础上，本方法对某一帧的所有发丝顶点进行变换从而得到当前时刻下的动态发型模型。

首先结合光流场与特征场定义非刚性变形场如下：

令v_r与p_r分别表示初始发型模型中发丝顶点的三维位置与到XY平面上的投影位置。为计算时刻i下该顶点的变形位置，本方法首先使用4.2步中得到的刚性变换M_i，得到v'_i＝M_iv_r，使得发型模型能够与头部运动较好地对齐。

随后对v'_i计算二维偏移向量如下：

$W_i\left(v_i^{\&prime;}\right)=W_i^{*}\left(p_r\right)-(p_i^{\&prime;}-p_r);$

其中p'_i为v'_i到XY平面的投影位置。

最后得到动态顶点位置为v_i＝v'_i+βW_i(v'_i)，其中β为发根为0渐变到发尖为1的权值函数，以保证发根永远位于头皮表面。

5.发型建模结果的导出与应用：将上述步骤的建模结果以通用格式导出与存储，并导入其他多媒体、数字娱乐产业系统的相关应用之中作后续用途。

5.1结果的导出

本方法的步骤3、4对图像及视频数据构建静态与动态的发型模型。与业界的通用数据格式相兼容，具体可以将发型模型数据表示为大量发丝曲线的集合，而其中每个发丝都是由一串有序顶点构成。本方法通过将结果存储为相关文件格式作为本方法的最终结果导出形式。

5.2结果的应用

作为通用的发型对象表示形式，导出后的本方法结果可以应用于所有已有的发型应用系统中，包括电影特效与动漫制作中虚拟人物的构建、多媒体应用中的图片编辑、特效制作以及虚拟现实领域的发型设计与虚拟合成等。

实施实例

发明人在一台配备IntelXeonE5620中央处理器，NVidiaGTX680图形处理器的机器上实现了本发明的实施实例。发明人采用所有在具体实施方式中列出的参数值，得到了附图中所示的所有实验结果。所有生成的发型模型包括大约20到40万个发丝曲线，每个单独的发丝都表示为一条多个顶点相连的线段，并从原始图像中采样顶点颜色，实际渲染过程中这些发丝都通过几何着色器扩展成与屏幕对齐的多边形带进行实时渲染。

发明人邀请了一些用户来测试本方法的原型系统。结果表明，用户一般只需要大约绘制2至8个简单笔画来对一张普通的肖像进行交互操作。对大约500×800大小的图像，系统通常需要2分钟时间来进行所有三维建模过程。

Claims (4)

1.一种图像与视频的虚拟发型建模方法，其特征在于，包括如下步骤：

（1）发型图像数据的采集与预处理：使用数码设备对目标人物进行数据采集，要求发型部分清晰完整，并使用画笔选取工具分割得到图像中发型部分区域；

（2）基于图像的发型方向场计算：求解图像发型方向场的方向歧义性问题，将无歧义的图像发型方向场结合空间发型体区域求解空间发型方向场；

（3）静态发型模型的迭代构建：通过以拟合的人物头部模型上定义的头皮区域为发根位置，于空间发型方向场内以发根采样点起始进行生长得到初始的发型模型，随后通过迭代方式改进该初始结果，得到分布均匀、符合原图发型区域的静态发型模型；

（4）基于视频的动态发型建模：在步骤（3）得到的静态发型模型的基础上，通过追踪头部模型运动并估算非刚性形变来计算视频中发型的运动，生成运动过程中每一时刻的动态发型模型，使其自然拟合视频中发型的真实运动；

（5）发型建模结果的导出：将上述步骤的建模结果，包括步骤（3）得到的静态发型模型以及步骤（4）得到的动态发型模型，导出与存储。

2.根据权利要求1所述的图像与视频的虚拟发型建模方法，其特征在于，所述步骤（2）包括如下子步骤：

（2.1）对输入图像中人物头部区域自动拟合三维人头模型；

（2.2）在步骤（1）分割得到的发型区域内计算稀疏的图像发型方向场，并基于此追踪得到一系列二维发丝曲线；

（2.3）求解二维发丝的方向信息，得到无方向歧义的二维发丝集合；

（2.4）利用步骤（2.3）获得的无方向歧义的二维发丝与步骤（2.1）拟合得到的人头模型估算发丝的深度信息并构建空间中的头发体；

（2.5）在步骤（2.4）的头发体内构建空间网格，求解定义在该网格单元上的空间发型方向场。

3.根据权利要求2所述的图像与视频的虚拟发型建模方法，其特征在于，所述步骤（3）包括如下子步骤：

（3.1）基于步骤（2.1）中得到的拟合三维人头模型，对其上的头皮区域进行二维参数化构建，并均匀采样得到初始发根位置；

（3.2）以步骤（3.1）中发根为起始点于步骤（2.5）得到的空间发型方向场为生长方向定义追踪所有发丝直至结束，得到初始静态发型模型；

（3.3）以如下方式进行迭代改进：在空间中发型体内采样得到备选发丝的初始位置，以双向追踪的方式得到一系列备选发丝，对当前发型模型与所有备选发丝进行剪切与重组得到改进的静态发型模型。

4.根据权利要求1所述的图像与视频的虚拟发型建模方法，其特征在于，所述步骤（4）包括如下子步骤：

（4.1）对输入视频序列的参考帧构建静态发型模型；

（4.2）追踪头部模型的运动得到各帧相对参考帧的刚性变换；

（4.3）对视频序列中各帧求解参考帧到该帧的稠密光流场；

（4.4）在图像的发型区域中通过自动检测或用户指定的方式指定可靠的特征点位置，追踪这些特征点得到稀疏的特征对应关系，将该稀疏特征对应关系通过保持边缘的滤波方法扩散到整个图像区域中得到特征场；

（4.5）对视频序列的每一帧，首先依据步骤（4.2）得到的刚性变换对步骤（4.1）得到的发型模型进行三维对齐，随后结合步骤（4.3）得到的光流场和步骤（4.4）得到的特征场生成二维变形场，对刚体对齐后的发型模型所有顶点进行变形偏移并保持发丝的连续性得到该帧的动态发型模型。