发明内容
本发明的目的是提供一种三维人脸模型贴图融合方法,以解决在单张照片重建三维人脸模型时,人脸贴图融合颜色整体过度不自然、边缘缝隙明显等问题。
为了实现本发明的目,本发明提供了以下技术方案来:
一种三维人脸模型贴图融合方法,该方法包括以下步骤:
S101、获取公模贴图与用户图片,所述公模贴图包括待融合的公模人脸区域,所述用户图片包括待融合的用户人脸区域,并将所述公模人脸区域与用户人脸区域的位置进行对应;
S102、整体调整所述公模贴图的颜色,使所述公模贴图的颜色与所述用户人脸区域的颜色一致;
S103、将所述用户人脸区域融合至所述公模人脸区域,消除明显的拼接缝隙;
S104、使用多频段混合方法,进一步消除所述用户人脸区域融合至所述公模人脸区域之后可能存在的微弱缝隙;
S105、获取融合之后新的贴图。
优选的,步骤S101具体包括:
S1011、检测获得所述用户图片中的用户人脸区域,并在所述用户人脸区域中标记出人脸关键点;
S1012、在三维人脸公模模型上,确定人脸区域所包括的三角面;并标记出属于人脸区域的连续三角面片,以及三维网格顶点,所述三维网格顶点与所述人脸关键点对应;
S1013、单张用户照片重建三维人脸模型的三维形状:使用所述用户图片重建三维人脸模型,重建后的三维人脸模型拓扑结构和所述三维人脸公模模型一致,重建后的三维人脸模型反应出用户的人脸形状;
S1014、确定公模贴图中公模人脸区域:获取所述三维人脸公模模型中人脸区域中连续三角面片中的贴图坐标,根据所述贴图坐标在所述公模贴图上获取公模人脸区域,并记为S_f;
S1015、用户图片像素转移:使用相机矩阵和投影矩阵,把重建后的三维人脸模型重投影到所述用户人脸区域中,并根据图片上的对应位置转移像素。
优选的,步骤S1015具体包括:
对步骤S1014中的脸部区域中的每个像素p,根据其贴图坐标,找到它在S1013所述重建后的三维人脸模型上的三维坐标,进而找到所述用户人脸区域中对应的像素坐标,并把所述像素坐标的颜色像素值取出,在公模人脸区域对应的新的像素值记为F。
优选的,步骤S102具体包括:
S1021、对公模贴图和用户图片进行LAB分解:将整个公模贴图记为S,进行LAB分解,分解后的通道分别记为SL、SA、SB,对从用户图片上采集像素值F进行LAB分解,分解后的通道分别记为FL、FA、FB;设公模贴图肤色L通道SL经过线性变换后,均值和标准差均等于用户人脸区域肤色L通道FL的均值和方差,线性变换如公式(1)所示:
SLnew=αSL+β (1)
其中SLnew为公模贴图变换后L通道值,α、β为线性变换参数。
S1022、求解线性变换参数:根据线性变换公式(1),对公模贴图像素统计量有如下关系:
求解得:
其中,SDSL为公模贴图L通道标准差,为变换后公模贴图L通道标准差,MeanSL为公模贴图L通道的均值,/>为变换后公模贴图L通道均值。
S1023、计算公模贴图L通道新的均值和方差:取SL和FL选取亮度值前80%数值,记为SL0.8和FL0.8,公模贴图L通道目标均值和目标方差/>表达成如下:
其中:为公模贴图均值权重,/>为公模贴图方差权重,/>和/>分别是用户人脸像素L通道前80%亮度均值和标准差。
S1024、转移均值和方差:根据公式(1),使用预设函数,对SL进行线性变换,参数为S1022计算出的α和β。
S1025、根据亮度加权转移A、B通道:根据步骤S1023,分别计算公模贴图A、B通道线性变换参数,根据线性变换公式得到公模贴图A通道和B通道变换后的值SAnew和SBnew,使用预设函数,将变化后的L、A、B通道值转化为RGB通道的到新的公模贴图Smatch。
优选的,步骤S103中:经过以上步骤的运算,得到新的公模贴图;在公模人脸区域的部分,经过像素之间的查找对应,找到了用户人脸区域的部分新的像素值F;对所述公模人脸区域与所述用户人脸区域进行融合,把公模贴图S中的公模人脸区域S_f中的像素用新的像素值F中值来取代。
优选的,步骤S103具体包括:
S1031、对公模贴图S中的的公模人脸区域整体优化,求解出贴图中新像素值,优化目标函数为公式(8),其中n为F区域中的像素个数,目标函数分为两个求和部分,其中第一部分为反应像素空间之间的相似度,P(i)为像素i待求解的像素值,PF(i)为像素i在F区用户脸部区域对应的像素值,而wi则为该像素所对应的权重值,第二部分中,则约束贴图像素在梯度空间中过渡平滑,使得所述公模人脸区域与所述用户人脸区域进行融合在梯度空间中相似;其中/>表示在Snew中第i个像素的梯度;
在公式(8)中,左边的为最终求解得到的像素值,求解完成之后,把公模贴图中的脸部区域中的像素值用新求解出来的值进行替换,本阶段贴图融合之后,公模贴图中的公模人脸区域用新的像素所取代,此时得模型贴图记为Sstitch;
S1032、像素值约束的权重构造:像素i对应的权重公式为(9),其中d为像素i到贴图融合的边缘的距离;
优选的,步骤S104具体包括:
S1041、计算混合参数:运用预设函数,对公模人脸区域S_f计算权重图,取权重图中20%分位数记为sigma,分位数大小决定混合边界的宽度;
S1042、定义下采样:将输入图片进行高斯平滑,平滑参数为所述sigma,将平滑后图片长和宽同时缩放到原来1/2;
S1043、定义上采样:将输入图片长和宽同时夸大为原来2倍,再进行高斯平滑,平滑参数为所述sigma;
S1044、多频段混合:对F总其他区域填充0。
优选的,步骤S1044具体包括:
(1)分别对Sstitch、步骤S1032权重中的W、F进行下采样,结果记为PyramidDownW、PyramidDownF。
(2)对Sstitch和F在步骤(1)下采样结果进行上采样,结果记为PyramidUpW、PyramidUpF。
(3)计算Sstitch和F在步骤(2)上采样之后和步骤(1)下采样之前的差,记为DiffF。
(4)用权重W对步骤(3)两个差值进行混合,公式如下:
(5)对步骤(1)下采样结果,重复(1)到(4),直到下采样结果长或宽小于5个像素或则达到预设下采样次数,记录每次循环过程不同频段上的Diff值。
(6)将步骤(5)中最后一次下采样结果,运用最后一次下采样权重进行混合,混合公式如下:
(7)假设步骤(5)记录Diff个数为n,对BlendMin进行上采样,加Diffn-1,得到上层混合结果,公式如下:
Blendn-1=PyramidUp(BlendMin)+Diffn-1 (12)
(8)同理对Blendn-1进行上采样,加上上层差Diffn-2,得到Blendn-2,以此类推得到最上层混合图片Blend1即为贴图最终混合结果SBlend,混合过程如图(7)所示。
根据其中另一个方面,本发明的一种计算机处理设备,包括处理器及计算机可读存储介质,所述处理器获取所述计算机可读存储介质上的计算机程序,并执行如上述任一所述方法的步骤。
本发明的三维人脸模型贴图融合方法由于包括:S101、获取公模贴图与用户图片,所述公模贴图包括待融合的公模人脸区域,所述用户图片包括待融合的用户人脸区域,并将所述公模人脸区域与用户人脸区域的位置进行对应;S102、整体调整所述公模贴图的颜色,使所述公模贴图的颜色与所述用户人脸区域的颜色一致;S103、将所述用户人脸区域融合至所述公模人脸区域,消除明显的拼接缝隙;S104、使用多频段混合方法,进一步消除所述用户人脸区域融合至所述公模人脸区域之后存在的微弱缝隙;S105、获取融合之后新的贴图。本发明的人脸贴图融合方法能够显著地改善三维人脸模型贴图融合效果,特别是在贴图融合边缘处,能够消除融合本身带来的颜色整体过度不自然、边缘缝隙明显等问题。从预处理到最终人脸贴图融合,全过程无需手工交互,做到了完全自动化运行。本发明先做融合公模人脸贴图和用户图片之间的整体变化,使得融合之间的颜色空间较为接近,再进行贴图融合及多频段混合融合。该方法不仅降低了后续融合的计算复杂度,同时提高了融合质量,处理了三维人脸模型贴图融合后可能存在的细节缺陷。
具体实施方式
下面结合附图和较佳的实施例对本发明作进一步说明。
如图1所示,并且结合图2-图7所示的过程,本发明的一种三维人脸模型贴图融合方法,该方法包括:
S101、获取公模贴图与用户图片,所述公模贴图包括待融合的公模人脸区域,所述用户图片包括待融合的用户人脸区域,并将所述公模人脸区域与用户人脸区域的位置进行对应;
S102、整体调整所述公模贴图的颜色,使所述公模贴图的颜色与所述用户人脸区域的颜色一致;
S103、将所述用户人脸区域融合至所述公模人脸区域,消除明显的拼接缝隙;
S104、使用多频段混合方法,进一步消除所述用户人脸区域融合至所述公模人脸区域之后存在的微弱缝隙;
S105、获取融合之后新的贴图。
本发明的三维人脸模型贴图融合方法能够显著地改善贴图融合效果,特别是在贴图融合边缘处,能够消除融合本身带来的颜色整体过度不自然、边缘缝隙明显等问题。从预处理到最终人脸贴图融合,全过程无需手工交互,做到了完全自动化运行。本发明先做公模贴图的整体变化,使得公模贴图和用户图片之间的颜色空间较为接近,降低了后续融合的计算复杂度,同时提高了融合质量,处理了三维人脸模型贴图融合后可能存在的细节缺陷。其中,参考图2-图3所示,图2是公模贴图,图3是用户图片投影到公模贴图的图示,步骤S101具体包括:
S1011、检测获得所述用户图片中的用户人脸区域,并在所述用户人脸区域中标记出人脸关键点;
S1012、在三维人脸公模模型上,确定人脸区域所包括的三角面;并标记出属于人脸区域的连续三角面片,以及三维网格顶点,所述三维网格顶点与所述人脸关键点对应;
S1013、单张用户照片重建三维人脸模型的三维形状:使用所述用户图片重建三维人脸模型,重建后的三维人脸模型拓扑结构和所述三维人脸公模模型一致,重建后的三维人脸模型反应出用户的人脸形状;
S1014、确定公模贴图(如图2所述)中公模人脸区域:获取所述三维人脸公模模型中人脸区域中连续三角面片中的贴图坐标,根据所述贴图坐标在所述公模贴图上获取公模人脸区域,并记为S_f;
S1015、用户图片像素转移:使用相机矩阵和投影矩阵,把重建后的三维人脸模型重投影到所述用户人脸区域中,并根据图片上的对应位置转移像素,如图3所示。
其中,步骤S1015具体包括:
对步骤S1014中的脸部区域中的每个像素p,根据其所在的三角面的重心坐标,计算其在S1013所述的重建后的三维人脸模型上的三维坐标;再根据S1015的投影关系,找到其在所述用户人脸区域中的像素坐标,并把所述像素坐标的颜色像素值取出,覆盖掉公模贴图上对应的像素;在公模人脸区域对应的新的像素值记为F,如图3所示。
其中,图4是公模贴图转移后的图示,步骤S102具体包括:
S1021、对公模贴图和用户图片进行LAB分解:将整个公模贴图记为S,进行LAB分解,分解后的通道分别记为SL、SA、SB,对从用户图片上采集像素值F进行LAB分解,分解后的通道分别记为FL、FA、FB;设公模贴图肤色L通道SL经过线性变换后,均值和标准差均等于用户人脸区域肤色L通道FL的均值和方差,线性变换如公式(1)所示:
SLnew=αSL+β (1)
其中SLnew为公模贴图变换后L通道值,α、β为线性变换参数。
S1022、求解线性变换参数:根据线性变换公式(1),对公模贴图像素统计量有如下关系:
求解得:
其中,SDSL为公模贴图L通道标准差,为变换后公模贴图L通道标准差,MeanSL为公模贴图L通道的均值,/>为变换后公模贴图L通道均值。
S1023、计算公模贴图L通道新的均值和方差:取SL和FL选取亮度值前80%数值,记为SL0.8和FL0.8,公模贴图L通道目标均值和目标方差/>表达成如下:
其中:为公模贴图均值权重,/>为公模贴图方差权重,/>和/>分别是用户人脸像素L通道前80%亮度均值和标准差。
S1024、转移均值和方差:根据公式(1),使用预设函数,对SL进行线性变换,参数为S1022计算出的α和β。
S1025、根据亮度加权转移A、B通道:根据步骤S1023,分别计算公模贴图A、B通道线性变换参数,根据线性变换公式得到公模贴图A通道和B通道变换后的值SAnew和SBnew,使用预设函数,将变化后的L、A、B通道值转化为RGB通道的到新的公模贴图Smatch,如图4所示。
其中,图5是隐藏缝隙后的图示,步骤S103中:经过以上步骤的运算,得到新的公模贴图;在公模人脸区域的部分,经过像素之间的查找对应,找到了用户人脸区域的部分新的像素值F;对所述公模人脸区域与所述用户人脸区域进行融合,把公模贴图S中的公模人脸区域S_f中的像素用新的像素值F中值来取代。
其中,结合图5所示,步骤S103具体包括:
S1031、对公模贴图S中的的公模人脸区域整体优化,求解出贴图中新像素值,优化目标函数为公式(8),其中n为F区域中的像素个数,目标函数分为两个求和部分,其中第一部分为反应像素空间之间的相似度,P(i)为像素i待求解的像素值,PF(i)为像素i在F区用户脸部区域对应的像素值,而wi则为该像素所对应的权重值,第二部分中,则约束贴图像素在梯度空间中过渡平滑,使得所述公模人脸区域与所述用户人脸区域进行融合在梯度空间中相似;其中/>表示在Snew中第i个像素的梯度;
在公式(8)中,左边的为最终求解得到的像素值,求解完成之后,把公模贴图中的脸部区域中的像素值用新求解出来的值进行替换,本阶段贴图融合之后,公模贴图中的公模人脸区域用新的像素所取代,此时得模型贴图记为Sstitch;如图5所示;
S1032、像素值约束的权重构造:像素i对应的权重公式为(9),其中d为像素i到贴图融合的边缘的距离;图6示意了权重的分布效果图;
其中,图7是多频段混合过程及结果图示,步骤S104具体包括:
S1041、计算混合参数:运用预设函数,对公模人脸区域S_f计算权重图,取权重图中20%分位数记为sigma,分位数大小决定混合边界的宽度;
S1042、定义下采样:将输入图片进行高斯平滑,平滑参数为所述sigma,将平滑后图片长和宽同时缩放到原来1/2;
S1043、定义上采样:将输入图片长和宽同时夸大为原来2倍,再进行高斯平滑,平滑参数为所述sigma;
S1044、多频段混合:对F总其他区域填充0。
其中,步骤S1044具体包括:
(1)分别对Sstitch、步骤S1032权重中的W、F进行下采样,结果记为PyramidDownW、PyramidDownF。
(2)对Sstitch和F在步骤(1)下采样结果进行上采样,结果记为PyramidUpW、PyramidUpF。
(3)计算Sstitch和F在步骤(2)上采样之后和步骤(1)下采样之前的差,记为DiffF。
(4)用权重W对步骤(3)两个差值进行混合,公式如下:
(5)对步骤(1)下采样结果,重复(1)到(4),直到下采样结果长或宽小于5个像素或则达到预设下采样次数,记录每次循环过程不同频段上的Diff值。
(6)将步骤(5)中最后一次下采样结果,运用最后一次下采样权重进行混合,混合公式如下:
(7)假设步骤(5)记录Diff个数为n,对BlendMin进行上采样,加Diffn-1,得到上层混合结果,公式如下:
Blendn-1=PyramidUp(BlendMin)+Diffn-1 (12)
(8)同理对Blendn-1进行上采样,加上上层差Diffn-2,得到Blendn-2,以此类推得到最上层混合图片Blend1即为贴图最终混合结果SBlend,混合过程如图7所示。
此外,本发明公开一种计算机处理设备,包括处理器及计算机可读存储介质,所述处理器获取所述计算机可读存储介质上的计算机程序,并执行如上述任一所述方法的步骤。
此外,本发明公开一种三维人脸模型贴图融合系统,包括:
第一获取模块,用于获取公模贴图与用户图片,所述公模贴图包括待融合的公模人脸区域,所述用户图片包括待融合的用户人脸区域,并将所述公模人脸区域与用户人脸区域的位置进行对应;
调整模块,用于整体调整所述公模贴图的颜色,使所述公模贴图的颜色与所述用户人脸区域的颜色一致;
融合模块,用于将所述用户人脸区域融合至所述公模人脸区域;
消除模块,用于使用多频段混合方法消除所述用户人脸区域融合至所述公模人脸区域之后存在的缝隙;
第二获取模块,用于获取融合之后新的贴图。
系统中的模块的其他功能还可以参考上述方法中的步骤,也即模块还可以执行其他的如上所述的其他的功能。
下面结合图2-图7进行更加具体的描述。
本发明目的是提供一种三维人脸模型的贴图融合方法,以解决单张图片生成三维模型,公模贴图换成客户人脸图片融合问题。
为实现上述发明目的,本发明提供一种基于三维人脸模型的贴图融合方法,可以基本上包括以下步骤:1.统一公模贴图与客户图片人脸肤色。2.隐藏缝隙。3.消除缝隙。
具体来说,步骤S101:预处理。选取人脸部分面,拟合模型,找到公模贴图与用户照片之间对应关系。
步骤S101具体包括:S1011通过人脸识别手段检测人脸图像中的脸部区域,并标记出脸部中的人脸关键点。
S1012在三维人脸公模模型上,确定哪些三角面属于人脸部分。人工标记出属于脸部区域的连续三角面片,同时并标记出对应人脸特征点的三维网格顶点。
S1013单张照片重建三维人脸模型的三维形状。重建后的人脸模型拓扑结构和公模一致,即点和面结构一样,该模型反应出用户的人脸形状。
S1014确定公模贴图中人脸区域部分。根据三维公模中人脸部分中三角面片中的贴图坐标,在公模贴图上找出人脸部分区域,形成一块脸部覆盖区域。对于公模上每个三角形在贴图上所覆盖的每个像素p,都计算它关于该三角形中三个顶点的重心坐标。所有的像素p构成了公模贴图的人脸覆盖区域,记为S_f。其中公模原始贴图为如图2所示。
S1015用户图片像素转移。用估计出来的相机矩阵和投影矩阵,把重建出来的人脸三维模型重投影到人脸图片当中。对上一步骤当中的脸部区域中的每个像素,根据其重心坐标,找到用户人脸图像中的像素坐标,并把该位置的颜色像素值取出。记公模人脸区域对应的新的像素值记为F。,如图3所示,图3为用户图片投影到公模贴图。
之后,进行步骤S102:整体变换公模肤色。因用户本身肤色,光照等原因,造成公模贴图和用户之间的人脸肤色相差较大,直接进行脸用户脸部区域和公模非脸部区域融合,会导致融合后效果不佳。为提高融合效果,算法将首先降低两者之间在LAB颜色空间的差别。融合两者都来自人类肤色区域,其颜色分布应该类似。算法假设他们各自区域的颜色值对应的均值和标准方差,只相差一个线性变换。整体调整公模贴图的颜色值,以便尽可能地接近用户人脸肤色的颜色分布区域。
步骤S102具体算法步骤如下:
S1021对用户人脸区域和公模肤色进行LAB分解。对整个公模贴图记为S,进行LAB分解,分解后的通道分别记为SL、SA、SB,对从用户照片上采集像素值F进行LAB分解,分解后的通道分别记为FL、FA、FB。假设公模贴图肤色L通道SL经过线性变换后,均值和标准差等于用户人脸肤色L通道FL的均值和方差,线性变换如公式(1)所示:
SLnew=αSL+β (1)
其中SLnew为公模贴图变换后L通道值,α、β为线性变换参数。
S1022求解线性变换参数。根据线性变换公式(1),对公模贴图像素统计量有如下关系:
求解得:
其中,SDSL为公模贴图L通道标准差,为变换后公模贴图L通道标准差,MeanSL为公模贴图L通道的均值,/>为变换后公模贴图L通道均值。
S1023计算公模贴图L通道新的均值和方差。为了排除头发和眉毛等像素点,对人脸皮肤颜色影响。取SL和FL选取亮度值前80%数值,记为SL0.8和FL0.8,公模贴图L通道目标均值和目标方差/>表达成如下:
其中:为公模贴图均值权重,/>为公模贴图方差权重,/>和/>分别是用户人脸像素L通道前80%亮度均值和标准差。
S1024转移均值和方差。根据公式(1),运用OPENCV的convertTo函数,对SL进行线性变换,参数为S1022计算出的α和β。
S1025同理,根据亮度加权转移A、B通道。按照S1023类似公式,分别计算公模贴图A、B通道线性变换参数,根据线性变换公式得到公模贴图A通道和B通道变换后的值SAnew和SBnew,运用OPENCV的cvtColor函数,将变化后的L、A、B通道值转化为RGB通道的到新的公模贴图Smatch,如图4所示,图4为公模贴图转移后结果。
步骤S103:隐藏缝隙。经过上面步骤的运算,在公模方面,算法得到了新的贴图Smatch,在脸部替换区域,经过像素之间的查找对应,找到了用户的脸部区域部分F。在这一步骤,则是对两部分区域进行融合,把S中的脸部区域S_f中的像素用F中值来取代。其原理则是用整体优化的的方式,参考S和F中的像素,使得最终融合的脸部贴图S的脸部区域与用户的脸部区域像素值F接近,又使得像素替换之后,在新的公模贴图中,脸部区域与非脸部区域像素之间过程比较自然。其具体过程如下:
S1031对S中的的脸部区域整体优化,进而求解出贴图中新像素值,其优化目标函数为公式(8),其中n为F区域中的像素个数,目标函数分为两个求和部分,其中第一项为反应像素空间之间的相似度,P(i)为像素i待求解的像素值,PF(i)为像素i在F区用户脸部区域对应的像素值,而wi则为该像素所对应的权重值,其具体值则为本专利的重要保护项目之一,将在下面一节做具体介绍。第二项求和的部分当中,则约束贴图像素在梯度空间中过渡平滑,使得融合的两者之间在梯度空间中相似。其中表示在Snew中第i个像素的梯度。
/>
在上式公式中,左边的为最终求解得到的像素值,上述优化问题可直接转化成线性的最小二乘问题,可直接求像素值。求解完成之后,把公模贴图中的脸部区域中的像素值用新求解出来的值进行替换,第一阶段的贴图融合则完成。此时,用户之间的像素与公模中贴图中的过渡相对自然,它们两者之间的边缘缝隙也得到一定的消除隐藏。在图像融合之后,公模贴图中的脸部区域用新的像素所取代,此时得模型贴图记为Sstitch,如图5所示,图5为隐藏缝隙后结果。
S1032像素值约束的权重构造。上一步的图像融合过程当中,通过最优化公式(8),一定程度地把待融合的图像之间的边缘缝隙得到消除,其中,融合程度的好坏,过渡是否自然,第一项中的像素差前面的权重起着较为重要的作用。对其中的像素i,其对应的权重公式为(9),其中d为像素i到贴图融合的边缘的距离,也即像素i到F区域的轮廓边缘的欧式距离。其权重设计原则为,像素位置距离边缘越远,则其权重值越大,使得最终得到的像素值越接近用户的原始脸部像素PF(i);在像素位置接近融合边缘处,则其脸部区域的像素则接近公模的像素值,使得最终的像素在缝隙处过渡较为平滑。图6示意了权重的分布效果图,其中
步骤S104:消除缝隙。通过步骤S103缝合,得到贴图边界有时依然能看到微弱的缝隙,于是进一步使用多频段混合方法消除分析,具体多频段混合方法如下:
S1041计算混合参数。运用OPENCV distanceTransform函数,对公模贴图人脸部分S_f计算权重图,取权重图中20%分位数记为sigma,分位数大小决定混合边界的宽度。
S1042定义下采样。将输入图片进行高斯平滑,平滑参数为S1041计算得到sigma,将平滑后图片长和宽同时缩放到原来1/2。
S1043定义上采样。将输入图片长和宽同时夸大为原来2倍,再进行高斯平滑,平滑参数为S1041计算得到sigma。
S1044多频段混合。为保证计算过程图片大小统一,对F总其他区域填充0.
(1)分别对Sstitch、S1032权重W、F进行下采样,结果记为PyramidDownW、PyramidDownF。
(2)对Sstitch和F在步骤(1)下采样结果进行上采样,结果记为PyramidUpW、PyramidUpF。
(3)计算Sstitch和F在步骤(2)上采样之后和步骤(1)下采样之前的差,记为DiffF。
(4)用权重W对步骤(3)两个差值进行混合,公式如下:
(5)对步骤(1)下采样结果,重复(1)到(4),直到下采样结果长或宽小于5个像素或则达到指定下采样次数,记录每次循环过程不同频段上的Diff值。
(6)将步骤(5)中最后一次下采样结果,运用最后一次下采样权重进行混合,混合公式如下:
/>
(7)假设步骤(5)记录Diff个数为n,对BlendMin进行上采样,加Diffn-1,得到上层混合结果,公式如下:
Blendn-1=PyramidUp(BlendMin)+Diffn-1 (12)
(8)同理对Blendn-1进行上采样,加上上层差Diffn-2,得到Blendn-2,以此类推得到最上层混合图片Blend1即为贴图最终混合结果SBlend,混合过程如图7所示,图7是多频段混合过程图。
本发明的优势在于:整体变换公模人脸肤色。肤色整体变换将公模与任意新用户肤色在颜色数据统计空间中接近,减轻人脸融合本身的复杂度。在缝隙隐藏阶段,同时考虑了融合像素之间的像素值本身,以及像素梯度之间的差异。本方法的优化算法采用公式(8),公式中的像素融合权重计算方法为本发明主要创新点之一,其计算方式为公式(9)。像素位置距离融合缝隙越远,则其权重越大,使得融合之后的像素约接近用户的原始值,从而使其最终融合结果更为逼真。融合精细处理,缝隙的消除。在多尺度上进行融合处理。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。