CN105956995A - 一种基于实时视频本征分解的人脸外观编辑方法 - Google Patents

Abstract

本发明公开了一种基于实时视频本征分解的人脸外观编辑方法，在视频播放之前，用户先在参考人脸图像的本征albedo层和shading层做编辑；在视频播放时，这些编辑会被实时传递到视频流的人脸对应的层上。该技术主要分为如下三个步骤：参考人脸图像的处理、视频流的实时本征分解、和视频流的人脸外观编辑。本发明首次提出了在实时视频中进行本征分解的技术，利用此技术可以在实时视频中实现多种人脸外观编辑，如去除人脸皱纹，改变环境光照，色调传递等。

Description

一种基于实时视频本征分解的人脸外观编辑方法

技术领域

本发明涉及计算机视频处理领域，尤其涉及一种对人脸实时视频流进行本征分解和外观编辑的方法。

背景技术

关于人脸图像的编辑已经有很多研究工作，如不同人脸的替换(BITOUK,D.,KUMAR,N.,DHILLON,S.,BELHUMEUR,P.N.,AND NAYAR,S.K.2008.Face Swapping:AutomaticallyReplacing Faces in Photographs.ACM Trans.Graph.27,3,39.)和将人脸变形到更具吸引力的人脸结构(LEYVAND,T.,COHEN-OR,D.,DROR,G.,AND LISCHINSKI,D.2008.Data-driven enhancement of facial attractiveness.ACM Trans.Graph.27,3,38.)。和这些改变人脸的工作不同，本发明的目的是编辑人脸外观。另一类编辑工作是合成人脸器官来改变表情(YANG,F.,WANG,J.,SHECHTMAN,E.,BOURDEV,L.,AND METAXAS,D.2011.Expression flow for 3d-aware face component transfer.ACM Trans.Graph.30,4,60.)，但此类工作无法直接用于视频流。

跟本工作更相关的工作是人脸图像的化妆。一类方法是使用反射模型渲染彩妆，该方法需要精细的人脸几何和皮肤散射模型的计算(SCHERBAUM,K.,RITSCHEL,T.,HULLIN,M.,THORM¨A HLEN,T.,BLANZ,V.,AND SEIDEL,H.-P.2011.Computer-suggested facialmakeup.Computer Graphics Forum 30,2,485–492.)(HUANG,C.-G.,LIN,W.-C.,HUANG,T.-S.,AND CHUANG,J.-H.2013.Physically-based cosmetic rendering.In Proceedingsof I3D’13,190.)。其它方法直接改变图像的RGB值，如alpha通道混合(LIU,L.,XU,H.,XING,J.,LIU,S.,ZHOU,X.,AND YAN,S.2013.”wow！you are so beautiful today！”.In Proceedings of the 21st ACM International Conference on Multimedia,3–12.)和梯度编辑(TONG,W.-S.,TANG,C.-K.,BROWN,M.S.,AND XU,Y.-Q.2007.Example-basedcosmetic transfer.In Proc.Pacific Graphics,211–218.)。由于没有将图像进行本征分解，这些方法的可实施的保证真实性的编辑是有限的。2009年的一个工作将人脸图像分解成了结构层、细节层和色差层(GUO,D.,AND SIM,T.2009.Digital face makeup by example.In Proc.IEEE CVPR’09,73–79.)，但是此分解不是准确的本征分解。

在视频的本征分解方面，因为数据量巨大，处理速度很重要。有的技术假设视频的albedo时序上为定值而shading缓慢变化(KONG,N.,GEHLER,P.V.,AND BLACK,M.J.2014.Intrinsic video.In Proc.ECCV’14,360–375.)；它的目标函数定义在整个视频序列上，计算时间随着帧数增加而线性增加，无法实现用户交互。采用预计算的查找表的方法可以实现逐帧的本征分解(BONNEEL,N.,SUNKAVALLI,K.,TOMPKIN,J.,SUN,D.,PARIS,S.,ANDPFISTER,H.2014.Interactive intrinsic video editing.ACM Trans.Graph.33,6,197.)，该查找表记录了本证分解问题的混合l₂-l_p形式的预计算的解。使用该方法可以在交互级别的速度实现视频本征分解，但是用户需要在帧中间添加标记来改善分解；这就不适合于实况视频的应用，因为实况视频需要达到实时的处理速率。

比起逐帧计算完整的分解，有的方法将第一帧的分解扩散到后续帧(YE,G.,GARCES,E.,LIU,Y.,DAI,Q.,AND GUTIERREZ,D.2014.Intrinsic video and applications.ACM Trans.Graph.33,4,80.)。该方法建立了基于时间连续性和像素属于哪个颜色聚类的可能性的概率框架。扩散在视频流中按正序和反序进行，得到高质量结果。但是该方法的计算速度适用于视频后处理，不适合实况视频的处理。本发明同样采用了基于扩散的分解方法，但是利用人脸的结构和近期人脸分析的工具达到了实时的高精度扩散。

近期有专门的工作用于计算人脸的本征图像估计(LI,C.,ZHOU,K.,AND LIN,S.2014.Intrinsic face image decomposition with human face priors.In Proc.ECCV’14,218–233.)。该方法使用皮肤反射和人脸几何作为先验知识来提升分解正确率。该方法可以达到当前技术最好的结果，但是计算量巨大；而且它只考虑了人脸皮肤区域，没有考虑头发和脖子，而这些区域是本发明可以编辑的区域。

发明内容

本发明的目的在于针对现有技术的不足，提出了一种基于实时视频本征分解的人脸外观编辑方法。本发明通过建立起视频流各帧和参考人脸图像的各个区域的对应关系，将离线阶段的参考人脸图像高精度的本征分解传递给视频流各帧，并按照同样方法将相应的编辑传递给各帧，从而可以实现实况视频的人脸外观编辑。该发明首次达到了视频的实时本征分解，并利用人脸的结构特征，取到了比现有视频分解技术更好的效果，具有很高的实用价值。

本发明的目的是通过以下技术方案实现的，一种基于实时视频本征分解的人脸外观编辑方法，包括以下步骤：

(1)离线参考人脸图像的处理：将参考图像进行高质量本征分解和区域分割，计算各区域的颜色模型和结构模型，并构建albedo查询表。

(2)视频流的实时本征分解：为视频流的当前帧找出和步骤1得到的参考图像各区域相对应的区域，再利用步骤1的albedo查询表传递本征值到视频帧上；

(3)人脸外观编辑：根据步骤2得到的视频帧与参考图像的区域对应关系，以及本征分解的结果，将在参考图像的本征层上的编辑传递到视频帧上。

本发明的有益效果是，本发明通过传递参考人脸图像的区域分割和本征分解，可以有效降低视频流本征分解的计算开销，大大提高本征分解效率同时保证高准确度。本发明首次提出了针对人脸视频的实时本征分解和外观编辑方法，通过将处理对象限制在人脸，并借助人脸的结构信息，可取得比当前技术更好的效果。本发明具有通用性强、使用简便等优点。

附图说明

图1是实时的视频帧的区域分割和本征分解图，从左到右：输入视频帧，跟踪的人脸特征点，重构的人脸几何，找到对应的各区域，albedo层和shading层；

图2是色调传递的结果图，从左到右依次为：参考图像和样本图像，原始视频帧，本发明在albedo层上的直方图匹配方法的结果，在彩色图像上的直方图匹配方法的结果，另一种方法的结果；

图3是平滑albedo的结果图，从上到下依次为：原始视频帧，在albedo层进行平滑处理的结果，在彩色图像上进行平滑处理的结果；

图4是平滑shading的结果图，从上到下依次为：原始视频帧和用户施加的局部区域约束，在shading层进行平滑处理的结果，改变头发albedo并加上shading层的平滑处理的结果；

图5是高光增强的结果图，从上到下依次为：原始视频帧，高光加强的结果；

图6是高光减弱的结果图，从上到下依次为：原始视频帧，高光减弱的结果；

图7是改变光照的结果图，从左到右依次为：原始视频帧，本发明改变光照的结果，直接在彩色图像上改变明暗的结果。

具体实施方式

本发明的核心技术是利用人脸的颜色信息和结构信息为参考图像的各区域在视频帧中找到对应，基于此对应，本征albedo层通过离线构建的查询表被传递到了视频帧中，完成视频帧的实施分解。该方法主要分为如下三个主要步骤：离线参考人脸图像的处理、视频流的实时本征分解、以及实况视频流的人脸外观编辑。

1.离线参考人脸图像的处理：将参考图像进行高质量本征分解和区域分割，计算各区域的颜色模型和结构模型，并构建albedo查询表；

1.1本征分解

选择参考图像，参考人脸图像所拍摄的环境需和视频流的环境一致。首先使用Retinex方法(YE,G.,GARCES,E.,LIU,Y.,DAI,Q.,AND GUTIERREZ,D.2014.Intrinsic videoand applications.ACM Trans.Graph.33,4,80.)自动快速地得到一个相对不错的本征分解。如果质量还需要提高，用户可以通过交互来改善结果。

1.2图像区域分割

将参考图像的像素聚类成超像素，然后迭代合并形成更大的区域。为了避免阴影的干扰，在步骤1.1得到的albedo层进行上述编辑。用s_i表示参考图像的第i个超像素。这里超像素被表示成分割图G的节点，在相邻的超像素之间建立图的边。边的权重w(s_i,s_j)定义为超像素的平均albedo的RGB距离：

$w(s_i,s_j)=\left|\right|\stackrel{\‾}{A}\left(s_i\right)-\stackrel{\‾}{A}\left(s_j\right)\left|\right|.$

其中是超像素s_i的平均albedo值。对于权重最小的边，将它连接的节点合并起来，并在一环领域内对图进行更新。该合并过程不停迭代直到最小权重达到目标阈值w_t。为了得到具有语义信息的区域，用户可以简单的在图像上画一些笔画来合并区域。因为目标阈值w_t的值很小，所以这里不需要拆分原区域。

进一步将分割区域按照如下分层结构进行组织：a)前景和背景，前景包括头和上半身；b)前景中的头发、人脸和身体；c)人脸区域的脸部特征和皮肤。脸部特征包括眼睛、嘴和眉毛，这些区域会被单独编辑；皮肤区域是指去除脸部特征后的人脸其它区域。

1.3构建本征albedo查找表

对于步骤1.2得到的分层结构最底层的每个区域，构造本征albedo查找表，将区域的每个颜色映射到对应的albedo值。由于一个区域包括了一块具有一致语义的像素，本发明假设一个图像颜色不会对应多个albedo。但是由于噪声的存在，参考图片中有可能还是会有轻微的不一致性，所以对于一个图像颜色，本方法在查找表中记录了它对应的平均albedo值。在处理视频流阶段，可以根据查找表有效决定对应区域的像素的albedo值。

对于没有被表中覆盖的颜色，找到它在表中K个最近的图片颜色，使用它们对应的albedo值的加权和作为差值结果。因为在语义一致的区域，相似的颜色通常不会有差别巨大的albedo，所以加权的差值方法可以给出合理的近似结果。为了加速视频运行期间的K个最近邻的寻找，本发明在RGB空间为每个区域的颜色构建了KD-tree。

1.4区域模型

为步骤1.2中分割出来的各区域构造颜色概率模型和结构概率模型，用于在视频运行阶段为视频的每一帧找到对应的区域。

首先构造颜色模型。使用递增式K-mean方法在RGB空间拟合GMM(LEE,Y.,LEE,K.Y.,AND LEE,J.2006.The estimating optimal number of gaussian mixtures based onincremental k-means for speakerInternational Journal of InformationTechnology 12,7,13–21.)，该方法可以根据高斯成员函数的相互关系适应性地决定成员数量。具体来说，对于区域s，首先为它的像素颜色拟合一个GMM，再为所有其它区域的颜色拟合一个GMM。这样对于一个像素的颜色c，它属于s的概率P_c(s|c)定义为：

$P_c\left(s\right|c)=\frac{{\mathrm{\Σ}}_{i=1}^{n_s}{P}_i\left(i\right|c)}{{\mathrm{\Σ}}_{i=1}^{n_s}{P}_i\left(i\right|c)+{\mathrm{\Σ}}_{r\∈\stackrel{\‾}{s}}{\mathrm{\Σ}}_{j=1}^{n_r}{P}_j\left(j\right|c)},$

其中，P_i(i|c)是高斯成员函数i在颜色c处的值，n_s和n_r分别是区域s和r的高斯成员函数的数目，是s以外的其它区域。基于此概率，可以定义视频帧的像素p(颜色为c_p)属于区域s的颜色一致性能量为：

$E_c(p\∈s)=P_c\left(\stackrel{\‾}{s}\right|c_p)-P_c\left(s\right|c_p),$

其中P_c(s|c_p)是颜色c_p属于区域s的概率，是c_p属于区域s的概率属于其它区域的概率。

接着构造结构模型。对于参考图像中的区域s，计算有向距离场D^s，区域内像素的值为正，区域外的像素值为负(BALAN,A.O.,SIGAL,L.,BLACK,M.J.,DAVIS,J.E.,ANDHAUSSECKER,H.W.2007.Detailed human shape and pose from images.In Proc.IEEECVPR’07,1–8.)。并根据结构语义或图像空间的距离挑选一组人脸特征点基于这些特征点，可以为每个像素p计算出一个使用平均值坐标(MVC)表达的特征向量：

${\mathrm{\λ}}_i=\frac{w_i}{{\mathrm{\Σ}}_{j=1}^{n_l\′}{w}_j},$

其中λ_i是MVC特征向量的第i个坐标值，w_i根据以下公式计算：

$w_i=\frac{tan({\mathrm{\α}}_{i-1}/2)+tan({\mathrm{\α}}_i/2)}{\left|\right|p-v_i\left|\right|},$

其中v_i是L'的第i个特征点的位置，α_i(0＜α_i＜π)是p在三角形[p,v_i,v_i+1]的角度。对于视频帧，首先使用人脸特征点跟踪技术得到当前特征点(CAO,C.,HOU,Q.,AND ZHOU,K.2014.Displaced dynamic expression regression for real-time facial tracking and animation.ACM Trans.Graph.33,4,43.)，接着对于每个视频帧的像素p，计算MVC向量，再转换到参考图像中得到在参考图像中的位置，并得到不同区域的有向距离场的值D^s(p^s)。这样，定义视频帧的像素p属于区域s的结构一致性能量为：

$E_{st}(p\∈s)=\underset{r\∈\stackrel{\‾}{s}}{\Σ}{D}^r\left(p^r\right)-D^s\left(p^s\right),$

其中是s以外的其它区域，D^s和D^r是区域s和r的有向距离场。

2.视频流的实时本征分解：为视频流的当前帧找出和步骤1得到的参考图像各区域相对应的区域，再利用步骤1的albedo查询表传递本征值到视频帧上；流程图如图1所示。

2.1寻找区域对应

视频帧与参考图像的区域对应通过图割框架求解(VINEET,V.,AND NARAYANAN,P.2008.Cuda cuts:Fast graph cuts on the gpu.In IEEE CVPR Workshops,1–8.)，图割能量函数的定义为：

E(g)＝E_l(g)+E_r(g)，

其中g代表视频帧的区域对应，E_l(g)代表像素p属于当前对应区域s的可能性能量项，E_r(g)是平滑项。它们的具体定义如下:

E_l(p∈s)＝α_cE_c(p∈s)+α_stE_st(p∈s)+α_tE_t(p∈s)，

其中E_l(p∈s)是像素p属于当前对应区域s的可能性能量项，E_c(p∈s)是根据步骤1.4计算的颜色一致性能量项，E_st(p∈s)是根据步骤1.4计算的结构一致性能量项，E_t是时序能量项，具体定义为：

$E_t(p\∈s)=\underset{r\∈\stackrel{\‾}{s}}{\Σ}{D}_{t-1}^r\left(p_{t-1}\right)-D_{t-1}^s\left(p_{t-1}\right),$

其中是对前一帧t-1的每个区域s计算的有向距离场，p_t-1是通过光流算法(FARNEB¨ACK,G.2003.Two-frame motion estimation based on polynomial expansion.In Image Analysis.Springer,363–370.)为像素p找到的前一帧对应的像素。平滑项E_r的定义为：

$E_r=\underset{(i,j)\∈N}{\Σ}|g\left(i\right)-g\left(j\right)|\frac{1}{\left|\right|c_i-c_j\left|\right|+\mathrm{\ξ}},$

其中N表示相邻的像素对，g(i)是像素i当前对应区域，如果i在区域内，g(i)＝1，反之为0。c_i,c_j是i,j的颜色值，ξ是很小的正值，防止被0除的情况发生。

区域对应是按照分层的结构，从上到下为每个区域求解。首先，整个前景从背景中分割出来；其次，头发、脸和身体陆续从前景区域中分割出来；最后，脸部特征逐个从人脸区域分割出来，剩下的人脸区域作为皮肤区域。

2.2本征分解传递

得到步骤2.1的各区域对应后，对于视频帧的每个像素，使用步骤1.3得到的对应区域的albedo查询表来计算对应的本征albedo值。如果像素颜色c不在表中，则按照1.3中的描述，使用KD-tree寻找RGB空间中的K个最近邻，然后差值得到结果。给定K个颜色c_i(i＝1,2,...,K)和它们对应的albedo值a_i，颜色c对应的albedo值为：

$a=\frac{{\mathrm{\Σ}}_{i=1}^{K}G\left(\right||c-c_i|\left|\right)a_i}{{\mathrm{\Σ}}_{i=1}^{n}G\left(\right||c-c_i|\left|\right)}.$

其中G(d)是决定差值权重的高斯函数。计算了albedo后，相应的shading值即为s＝c/a。

3.人脸外观编辑：根据步骤2得到的视频帧与参考图像的区域对应关系，以及本征分解的结果，将在参考图像的本征层上的编辑传递到视频帧上。

3.1预处理：平滑区域抠图和局部区域限制

为了达到平滑的编辑效果，通过有效的边界抠图方法将之前的二值区域转化为平滑的alpha蒙板。为每个二值区域s生成一个三值图，将区域s收缩再放大个n_m像素的宽度，并在该边框范围内计算遮罩。边框外的前景和背景像素的alpha值定为1和0，使用它们作为边界条件，可以通过优化以下函数求解边框内的alpha值:

$E_{matting}=\underset{(i,j)\∈N}{\Σ}\frac{1}{\left|\right|c_i-c_j\left|\right|+\mathrm{\ξ}}({\mathrm{\α}}_i-{\mathrm{\α}}_j),$

其中N是边框内的邻居像素数目，ξ防止除零，c_i,c_j是像素i,j的颜色值，α_i,α_j是i,j的alpha值。

同时编辑时可使用笔画工具决定编辑的指定区域，然后系统自动地将该区域蒙板映射到三维人脸几何并投影到纹理空间。在实时编辑时，将该蒙板光栅化到视频帧中并使用它来动态约束可编辑的范围。

经过上述预处理，基于步骤2的视频帧的实时区域对应和本征分解结果，可以在复杂的人像视频中进行一系列人脸外观编辑。对于视频帧中当前正在编辑的区域，它的本征层被单独更新，然后再和原帧合在一起产生新的视频帧：

I*＝s*a*α+I(1-α)，

其中s是shading层，a是albedo层，I是原视频帧，I*是更新后视频帧，α用来控制外观编辑的程度。

3.2改变Albedo值

在HSV颜色空间做简单的全局更新来编辑albedo，如旋转色调轮来偏移色彩，或调整饱和度等。选择在HSV空间进行编辑的原因是HSV空间的通道具有语义信息，且它将亮度信息区分出来，可以帮助用户在不影响明暗度的情况下调整颜色。在albedo层可以进行平滑处理，去除不想要的脸部纹理细节，如雀斑等。一个albedo平滑的结果如图3所示。

用户同样可以改变albedo层来匹配其它照片的albedo，该匹配使用的是和颜色传递(REINHARD,E.,ASHIKHMIN,M.,GOOCH,B.,AND SHIRLEY,P.2001.Color transfer betweenimages.IEEE Computer Graphics and Applications 21,5,34–41.)类似的albedo传递过程。Albedo的传递通过albedo直方图的匹配完成。在运行前，在RGB空间为参考图像I_r和样本图像I_e构建albedo直方图，然后在颜色的每一维度为两个直方图计算累积分布函数F，再将样本图像的albedo值a_e映射到参考图像的albedo值a_r，使得它们在每一维度的累积分布一样：F_e(a_e)＝F_r(a_r)。比起简单的颜色通道的均匀缩放，基于直方图的匹配的方法可以得到更好的结果，因为该方法可以得到更接近样本albedo分布的结果。图2展示了一个albedo传递的结果。

3.3改变shading值

用户可以在shading层做平滑处理来去除不想要的几何细节，如皱纹等。为了避免平滑效果跨越颜色边缘，本发明提出了albedo引导的边缘感知的shading平滑技术。具体来说，是使用albedo层计算的颜色距离作为权重来在shading层做双边滤波。这样，跨越较大的albedo差别的shading边会得以保留。该编辑和局部区域限制结合起来，给用户提供了基于笔画的皱纹去除功能。一个shading平滑的结果如图4所示。

在shading层施加非线性映射函数可以改变人脸的外观材质属性。这样，可以从视觉上改变人脸的反射属性，使得人脸看起来更光亮，如图5所示。映射函数使用了覆盖整个明暗区域(从阴影到高亮)的三个断点控制的三次样条曲线表达，函数的端点固定在(0,0)和(1,1)。系统中，用户拖动断点到任意位置，而系统会自动响应生成平滑的插值曲线来控制shading层。为了让脸变得更高亮，中间色调的明暗值会得到增强来加大高光。为了避免全局光照的变化，本方法通过平均原始shading层和改变后的shading层来分解出相对的明暗尺度，并作为额外参数让用户控制。相似的，用户可以通过降低shading层的非线性映射曲线的中间色调值来减少脸部的高光，如图6所示。

使用跟踪的人脸三维几何，用户可以在不同光照条件下渲染人脸来合成新的shading层。该光照条件在视频运行期间是动态可控的。为了实现实时的光照改变，本发明将新的光照建模成多个方向光的线性组合，并使用反锯齿的阴影映射技术生成柔和阴影。为了计算效率，本发明认为人脸具有均匀的Phong反射，参数开放给用户。为了进一步减少人脸几何和图像人脸区域的对齐误差，本发明基于卷积椎体的有效解法优化了一个拉普拉斯方程(FARBMAN,Z.,FATTAL,R.,AND LISCHINSKI,D.2011.Convolution pyramids.ACM Trans.Graph.30,6,175.)，将没对齐的缝隙无缝填满，这样就可以将新的阴影层往外扩散到整个皮肤区域。组成新光照下的人脸时，本发明根据需要保留多少原光照，提供混合参数来讲新的明暗度加到原明暗度上。图7给出了一个改变光照的例子。

实施实例

发明人在一台配备Intel双核i5中央处理器，NVidia GTX660图形处理器及16GB内存的机器上实现了本发明的实施实例。发明人采用所有在具体实施方式中列出的参数值，得到了附图中所示的所有实验结果。对于分辨率为640×480的网络摄像头，大部分普通用户可以在一分钟内完成交互式分割，而且参考图像的自动预处理时间通常为30秒，其中GMM拟合需要10秒，查询表的构造需要少于20秒。运行阶段，系统的处理速度超过了20帧每秒，其中处理的内容包括人脸跟踪、基于图割的不同区域的对应、本征分解和外观编辑。

发明人对各种人脸外观编辑进行了试验，结果表明本方法首次能在实况人脸视频流中实现高质量实时本征分解，并能在实况视频中进行各种实时人脸外观编辑。

Claims (4)

1.一种基于实时视频本征分解的人脸外观编辑方法，其特征在于，包括如下步骤：

(1)离线参考人脸图像的处理：将参考图像进行高质量本征分解和区域分割，计算各区域的颜色模型和结构模型，并构建albedo查询表。

(2)视频流的实时本征分解：为视频流的当前帧找出和步骤1得到的参考图像各区域相对应的区域，再利用步骤1的albedo查询表传递本征值到视频帧上。

(3)人脸外观编辑：根据步骤2得到的视频帧与参考图像的区域对应关系，以及本征分解的结果，将在参考图像的本征层上的编辑传递到视频帧上。

2.根据权利要求1所述的基于实时视频本征分解的人脸外观编辑方法，其特征在于，所述步骤1包括如下子步骤：

(1.1)选择拍摄环境和视频流一致的参考图像，使用自动或交互式方法取得高质量的本征分解结果。

(1.2)将参考图像分割为各个语义区域，分割后的语义区域按照分层结构进行组织。

(1.3)为步骤1.2分割出的各区域构造本征albedo查询表，为像素颜色和albedo值建立映射。

(1.4)为步骤1.2分割出的各区域建立颜色概率模型和结构概率模型，用于运行阶段的视频帧的区域对应。

3.根据权利要求1所述的基于实时视频本征分解的人脸外观编辑方法，其特征在于，所述步骤2包括如下子步骤：

(2.1)根据步骤1.4建立的颜色概率模型和结构概率模型，使用图割算法框架，找到视频帧中和参考图像各区域相对应的区域。

(2.2)根据步骤1.3得到的各参考区域的albedo查询表，基于步骤2.1得到区域对应，为视频帧的每个区域，根据其对应参考区域的albedo查询表将参考区域的本征值传递到视频当前帧对应的区域，再根据albedo值分解颜色信息得到shading值。

4.根据权利要求1所述的基于实时视频本征分解的人脸外观编辑方法，其特征在于，所述步骤3包括如下子步骤：

(3.1)编辑前的预处理，包括平滑区域抠图和局部区域限制。

(3.2)改变视频帧的albedo值，包括在HSV空间编辑albedo，平滑albedo和albeo传递等；

(3.3)改变视频帧的shading值，包括平滑shading，人脸外观材质属性编辑，改变光照条件合成新shading层等。