CN110232730A - 一种三维人脸模型贴图融合方法和计算机处理设备 - Google Patents
一种三维人脸模型贴图融合方法和计算机处理设备 Download PDFInfo
- Publication number
- CN110232730A CN110232730A CN201910475006.7A CN201910475006A CN110232730A CN 110232730 A CN110232730 A CN 110232730A CN 201910475006 A CN201910475006 A CN 201910475006A CN 110232730 A CN110232730 A CN 110232730A
- Authority
- CN
- China
- Prior art keywords
- textures
- male model
- user
- human face
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 18
- 239000007787 solid Substances 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 44
- 230000009466 transformation Effects 0.000 claims description 43
- 230000004927 fusion Effects 0.000 claims description 39
- 239000000203 mixture Substances 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 239000000155 melt Substances 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000009472 formulation Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 230000007547 defect Effects 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000010189 synthetic method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种三维人脸模型贴图融合方法，包括以下步骤：获取公模贴图与用户图片；整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；将所述用户人脸区域融合至所述公模人脸区域，消除明显的拼接缝隙；使用多频段混合方法，进一步消除所述用户人脸区域融合至所述公模人脸区域之后存在的微弱缝隙；获取融合之后新的贴图。该方法从预处理到最终三维人脸贴图融合，全过程无需手工交互，做到了完全自动化运行。该方法在实际效果上，处理了三维人脸模型贴图融合可能存在的细节缺陷。
Description
技术领域
本发明涉及三维技术领域，尤其涉及一种三维人脸模型贴图融合方法和计算机处理设备。
背景技术
两幅或多幅图像之间的融合是一项非常关键和重要的图像编辑技术。从一幅或多幅图中直接复制其中一部分图像区域到另外一幅图像进行简单合成将使得合成图像合成不自然，过渡不平滑。特别是在合成图像的边缘区域，通常需要经过较为仔细的处理。图像之间的融合有三种主要方法：基于梯度域的泊松方程求解方法，基于特征的合成法以及莱文贝格-马夸特方法(Levenberg-Marquardt)。
基于梯度域的泊松方程求解方法，其主要过程为，在合并区域内部的图像，其保持原来图像之间的梯度信息，在合并的边缘处满足一定的边界条件，比如被合并的图像像素梯度。使得原始图和被合并的图的像素值在边缘处满足梯度层面相同的泊松方程。自从提出该方法来解决图像融合之后，有许多研究者提出了一系列的改进方法，但其相应的瓶颈仍然没有得到很好地解决，比如求解方程非常耗时，并且内存消耗较大。
基于特征的合成法，其在图像融合过程中，也是在梯度域进行像素求解，但该方法同时考虑了图像中的特征点信息，例如角点，直线等信息。把特征约束信息放入方程求解中，在边缘处融合效果得到一定改善，但图像本身差别较大时，边缘处仍然较为模糊，其计算也比较耗时。
基于莱文贝格-马夸特方法，该方法同时直接求解方程，而是通过迭代的方式，逐步的改善合成的边缘像素，进而改善图像融合效果。然而该方法与初始值相关，其结果不够稳定。
在现有的人脸贴图融合过程中，经常出现边缘过度不自然、边缘存在缝隙等图像融合问题，导致合成之后的人脸图像不够逼真。此外现有方法中融合过程计算时间长，内存资源消耗较多，使得使用场景受到限制，特别是在手机移动端等方面的应用。
因此，如何提供一种三维人脸模型贴图融合方法，能够使融合后的图像更加逼真，并提高计算效率，成为亟需解决的问题。
发明内容
本发明的目的是提供一种三维人脸模型贴图融合方法，以解决在单张照片重建三维人脸模型时，人脸贴图融合颜色整体过度不自然、边缘缝隙明显等问题。
为了实现本发明的目，本发明提供了以下技术方案来：
一种三维人脸模型贴图融合方法，该方法包括以下步骤：
S101、获取公模贴图与用户图片，所述公模贴图包括待融合的公模人脸区域，所述用户图片包括待融合的用户人脸区域，并将所述公模人脸区域与用户人脸区域的位置进行对应；
S102、整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；
S103、将所述用户人脸区域融合至所述公模人脸区域，消除明显的拼接缝隙；
S104、使用多频段混合方法，进一步消除所述用户人脸区域融合至所述公模人脸区域之后可能存在的微弱缝隙；
S105、获取融合之后新的贴图。
优选的，步骤S101具体包括：
S1011、检测获得所述用户图片中的用户人脸区域，并在所述用户人脸区域中标记出人脸关键点；
S1012、在三维人脸公模模型上，确定人脸区域所包括的三角面；并标记出属于人脸区域的连续三角面片，以及三维网格顶点，所述三维网格顶点与所述人脸关键点对应；
S1013、单张用户照片重建三维人脸模型的三维形状：使用所述用户图片重建三维人脸模型，重建后的三维人脸模型拓扑结构和所述三维人脸公模模型一致，重建后的三维人脸模型反应出用户的人脸形状；
S1014、确定公模贴图中公模人脸区域：获取所述三维人脸公模模型中人脸区域中连续三角面片中的贴图坐标，根据所述贴图坐标在所述公模贴图上获取公模人脸区域，并记为S_f；
S1015、用户图片像素转移：使用相机矩阵和投影矩阵，把重建后的三维人脸模型重投影到所述用户人脸区域中，并根据图片上的对应位置转移像素。
优选的，步骤S1015具体包括：
对步骤S1014中的脸部区域中的每个像素p，根据其贴图坐标，找到它在S1013所述重建后的三维人脸模型上的三维坐标，进而找到所述用户人脸区域中对应的像素坐标，并把所述像素坐标的颜色像素值取出，在公模人脸区域对应的新的像素值记为F。
优选的，步骤S102具体包括：
S1021、对公模贴图和用户图片进行LAB分解：将整个公模贴图记为S，进行LAB分解，分解后的通道分别记为SL、SA、SB，对从用户图片上采集像素F进行LAB分解，分解后的通道分别记为FL、FA、FB；设公模贴图肤色L通道SL经过线性变换后，均值和标准差均等于用户人脸区域肤色L通道FL的均值和方差，线性变换如公式(1)所示：
SLnew＝αSL+β (1)
其中SLnew为公模贴图变换后L通道值，α、β为线性变换参数。
S1022、求解线性变换参数：根据线性变换公式(1)，对公模贴图像素统计量有如下关系：
求解得：
其中，SDSL为公模贴图L通道标准差，为变换后公模贴图L通道标准差，MeanSL为公模贴图L通道的均值，为变换后公模贴图L通道均值。
S1023、计算公模贴图L通道新的均值和方差：取SL和FL选取亮度值前80％数值，记为SL0.8和FL0.8，公模贴图L通道目标均值和目标方差表达成如下：
其中：为公模贴图均值权重，为公模贴图方差权重，和分别是用户人脸像素L通道前80％亮度均值和标准差。
S1024、转移均值和方差：根据公式(1)，使用预设函数，对SL进行线性变换，参数为S1022计算出的α和β。
S1025、根据亮度加权转移A、B通道：根据步骤S1023，分别计算公模贴图A、B通道线性变换参数，根据线性变换公式得到公模贴图A通道和B通道变换后的值SAnew和SBnew，使用预设函数，将变化后的L、A、B通道值转化为RGB通道的到新的公模贴图Smatch。
优选的，步骤S103中：经过以上步骤的运算，得到新的公模贴图；在公模人脸区域的部分，经过像素之间的查找对应，找到了用户人脸区域的部分新的像素值F；对所述公模人脸区域与所述用户人脸区域进行融合，把公模贴图S中的公模人脸区域S_f中的像素用新的像素值F中值来取代。
优选的，步骤S103具体包括：
S1031、对公模贴图S中的的公模人脸区域整体优化，求解出贴图中新像素值，优化目标函数为公式(8),其中n为F区域中的像素个数，目标函数分为两个求和部分，其中第一部分为反应像素空间之间的相似度，P(i)为像素i待求解的像素值，PF(i)为像素i在F区用户脸部区域对应的像素值，而wi则为该像素所对应的权重值，第二部分中，则约束贴图像素在梯度空间中过渡平滑，使得所述公模人脸区域与所述用户人脸区域进行融合在梯度空间中相似；其中表示在Snew中第i个像素的梯度；
在公式(8)中，左边的为最终求解得到的像素值，求解完成之后，把公模贴图中的脸部区域中的像素值用新求解出来的值进行替换，本阶段贴图融合之后，公模贴图中的公模人脸区域用新的像素所取代，此时得模型贴图记为Sstitch；
S1032、像素值约束的权重构造：像素i对应的权重公式为(9),其中d为像素i到贴图融合的边缘的距离；
优选的，步骤S104具体包括：
S1041、计算混合参数：运用预设函数，对公模人脸区域S_f计算权重图，取权重图中20％分位数记为sigma，分位数大小决定混合边界的宽度；
S1042、定义下采样：将输入图片进行高斯平滑，平滑参数为所述sigma，将平滑后图片长和宽同时缩放到原来1/2；
S1043、定义上采样：将输入图片长和宽同时夸大为原来2倍，再进行高斯平滑，平滑参数为所述sigma；
S1044、多频段混合：对F总其他区域填充0。
优选的，步骤S1044具体包括：
(1)分别对Sstitch、步骤S1032权重中的W、F进行下采样，结果记为PyramidDownW、PyramidDownF。
(2)对Sstitch和F在步骤(1)下采样结果进行上采样，结果记为PyramidUpW、PyramidUpF。
(3)计算Sstitch和F在步骤(2)上采样之后和步骤(1)下采样之前的差，记为DiffF。
(4)用权重W对步骤(3)两个差值进行混合，公式如下：
(5)对步骤(1)下采样结果，重复(1)到(4)，直到下采样结果长或宽小于5个像素或则达到预设下采样次数，记录每次循环过程不同频段上的Diff值。
(6)将步骤(5)中最后一次下采样结果，运用最后一次下采样权重进行混合，混合公式如下：
(7)假设步骤(5)记录Diff个数为n,对BlendMin进行上采样，加Diffn-1，得到上层混合结果，公式如下：
Blendn-1＝PyramidUp(BlendMin)+Diffn-1 (12)
(8)同理对Blendn-1进行上采样，加上上层差Diffn-2，得到Blendn-2，以此类推得到最上层混合图片Blend1即为贴图最终混合结果SBlend，混合过程如图(7)所示。
根据其中另一个方面，本发明的一种计算机处理设备，包括处理器及计算机可读存储介质，所述处理器获取所述计算机可读存储介质上的计算机程序，并执行如上述任一所述方法的步骤。
本发明的三维人脸模型贴图融合方法由于包括：S101、获取公模贴图与用户图片，所述公模贴图包括待融合的公模人脸区域，所述用户图片包括待融合的用户人脸区域，并将所述公模人脸区域与用户人脸区域的位置进行对应；S102、整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；S103、将所述用户人脸区域融合至所述公模人脸区域，消除明显的拼接缝隙；S104、使用多频段混合方法，进一步消除所述用户人脸区域融合至所述公模人脸区域之后存在的微弱缝隙；S105、获取融合之后新的贴图。本发明的人脸贴图融合方法能够显著地改善三维人脸模型贴图融合效果，特别是在贴图融合边缘处，能够消除融合本身带来的颜色整体过度不自然、边缘缝隙明显等问题。从预处理到最终人脸贴图融合，全过程无需手工交互，做到了完全自动化运行。本发明先做融合公模人脸贴图和用户图片之间的整体变化，使得融合之间的颜色空间较为接近，再进行贴图融合及多频段混合融合。该方法不仅降低了后续融合的计算复杂度，同时提高了融合质量，处理了三维人脸模型贴图融合后可能存在的细节缺陷。
附图说明
图1是本发明实施例的三维人脸模型贴图融合方法的流程图；
图2是本发明实施例的输入的用户图片；
图3是本发明实施例的公模贴图；
图4是本发明实施例的是用户图片投影到公模贴图的图示；
图5是本发明实施例的公模贴图转移后的图示；
图6是本发明实施例的隐藏缝隙后的图示；
图7是本发明实施例的权重的分布效果图；
图8是本发明实施例的多频段混合过程图。
具体实施方式
下面结合附图和较佳的实施例对本发明作进一步说明。
如图1所示，并且结合图2-图8所示的过程，本发明的一种三维人脸模型贴图融合方法，该方法包括：
S101、获取公模贴图与用户图片，所述公模贴图包括待融合的公模人脸区域，所述用户图片包括待融合的用户人脸区域，并将所述公模人脸区域与用户人脸区域的位置进行对应；
S102、整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；
S103、将所述用户人脸区域融合至所述公模人脸区域，消除明显的拼接缝隙；
S104、使用多频段混合方法，进一步消除所述用户人脸区域融合至所述公模人脸区域之后存在的微弱缝隙；
S105、获取融合之后新的贴图。
本发明的三维人脸模型贴图融合方法能够显著地改善贴图融合效果，特别是在贴图融合边缘处，能够消除融合本身带来的颜色整体过度不自然、边缘缝隙明显等问题。从预处理到最终人脸贴图融合，全过程无需手工交互，做到了完全自动化运行。本发明先做公模贴图的整体变化，使得公模贴图和用户图片之间的颜色空间较为接近，降低了后续融合的计算复杂度，同时提高了融合质量，处理了三维人脸模型贴图融合后可能存在的细节缺陷。其中，参考图2-图4所示，图2是输入的用户图片，图3是公模贴图，图4是用户图片投影到公模贴图的图示，步骤S101具体包括：
S1011、检测获得所述用户图片(如图2所述)中的用户人脸区域，并在所述用户人脸区域中标记出人脸关键点；
S1012、在三维人脸公模模型上，确定人脸区域所包括的三角面；并标记出属于人脸区域的连续三角面片，以及三维网格顶点，所述三维网格顶点与所述人脸关键点对应；
S1013、单张用户照片重建三维人脸模型的三维形状：使用所述用户图片重建三维人脸模型，重建后的三维人脸模型拓扑结构和所述三维人脸公模模型一致，重建后的三维人脸模型反应出用户的人脸形状；
S1014、确定公模贴图(如图3所述)中公模人脸区域：获取所述三维人脸公模模型中人脸区域中连续三角面片中的贴图坐标，根据所述贴图坐标在所述公模贴图上获取公模人脸区域，并记为S_f；
S1015、用户图片像素转移：使用相机矩阵和投影矩阵，把重建后的三维人脸模型重投影到所述用户人脸区域中，并根据图片上的对应位置转移像素，如图4所示。
其中，步骤S1015具体包括：
对步骤S1014中的脸部区域中的每个像素p，根据其所在的三角面的重心坐标，计算其在S1013所述的重建后的三维人脸模型上的三维坐标；再根据S1015的投影关系，找到其在所述用户人脸区域中的像素坐标，并把所述像素坐标的颜色像素值取出，覆盖掉公模贴图上对应的像素；在公模人脸区域对应的新的像素值记为F，如图4所示。
其中，图5是公模贴图转移后的图示，步骤S102具体包括：
S1021、对公模贴图和用户图片进行LAB分解：将整个公模贴图记为S，进行LAB分解，分解后的通道分别记为SL、SA、SB，对从用户图片上采集像素F进行LAB分解，分解后的通道分别记为FL、FA、FB；设公模贴图肤色L通道SL经过线性变换后，均值和标准差均等于用户人脸区域肤色L通道FL的均值和方差，线性变换如公式(1)所示：
SLnew＝αSL+β (1)
其中SLnew为公模贴图变换后L通道值，α、β为线性变换参数。
S1022、求解线性变换参数：根据线性变换公式(1)，对公模贴图像素统计量有如下关系：
求解得：
其中，SDSL为公模贴图L通道标准差，为变换后公模贴图L通道标准差，MeanSL为公模贴图L通道的均值，为变换后公模贴图L通道均值。
S1023、计算公模贴图L通道新的均值和方差：取SL和FL选取亮度值前80％数值，记为SL0.8和FL0.8，公模贴图L通道目标均值和目标方差表达成如下：
其中：为公模贴图均值权重，为公模贴图方差权重，和分别是用户人脸像素L通道前80％亮度均值和标准差。
S1024、转移均值和方差：根据公式(1)，使用预设函数，对SL进行线性变换，参数为S1022计算出的α和β。
S1025、根据亮度加权转移A、B通道：根据步骤S1023，分别计算公模贴图A、B通道线性变换参数，根据线性变换公式得到公模贴图A通道和B通道变换后的值SAnew和SBnew，使用预设函数，将变化后的L、A、B通道值转化为RGB通道的到新的公模贴图Smatch，如图5所示。
其中，图6是隐藏缝隙后的图示，步骤S103中：经过以上步骤的运算，得到新的公模贴图；在公模人脸区域的部分，经过像素之间的查找对应，找到了用户人脸区域的部分新的像素值F；对所述公模人脸区域与所述用户人脸区域进行融合，把公模贴图S中的公模人脸区域S_f中的像素用新的像素值F中值来取代。
其中，结合图6所示，步骤S103具体包括：
S1031、对公模贴图S中的的公模人脸区域整体优化，求解出贴图中新像素值，优化目标函数为公式(8),其中n为F区域中的像素个数，目标函数分为两个求和部分，其中第一部分为反应像素空间之间的相似度，P(i)为像素i待求解的像素值，PF(i)为像素i在F区用户脸部区域对应的像素值，而wi则为该像素所对应的权重值，第二部分中，则约束贴图像素在梯度空间中过渡平滑，使得所述公模人脸区域与所述用户人脸区域进行融合在梯度空间中相似；其中表示在Snew中第i个像素的梯度；
在公式(8)中，左边的为最终求解得到的像素值，求解完成之后，把公模贴图中的脸部区域中的像素值用新求解出来的值进行替换，本阶段贴图融合之后，公模贴图中的公模人脸区域用新的像素所取代，此时得模型贴图记为Sstitch；如图6所示；
S1032、像素值约束的权重构造：像素i对应的权重公式为(9),其中d为像素i到贴图融合的边缘的距离；图7示意了权重的分布效果图；
其中，图8是多频段混合过程及结果图示，步骤S104具体包括：
S1041、计算混合参数：运用预设函数，对公模人脸区域S_f计算权重图，取权重图中20％分位数记为sigma，分位数大小决定混合边界的宽度；
S1042、定义下采样：将输入图片进行高斯平滑，平滑参数为所述sigma，将平滑后图片长和宽同时缩放到原来1/2；
S1043、定义上采样：将输入图片长和宽同时夸大为原来2倍，再进行高斯平滑，平滑参数为所述sigma；
S1044、多频段混合：对F总其他区域填充0。
其中，步骤S1044具体包括：
(1)分别对Sstitch、步骤S1032权重中的W、F进行下采样，结果记为PyramidDownW、PyramidDownF。
(2)对Sstitch和F在步骤(1)下采样结果进行上采样，结果记为PyramidUpW、PyramidUpF。
(3)计算Sstitch和F在步骤(2)上采样之后和步骤(1)下采样之前的差，记为DiffF。
(4)用权重W对步骤(3)两个差值进行混合，公式如下：
(5)对步骤(1)下采样结果，重复(1)到(4)，直到下采样结果长或宽小于5个像素或则达到预设下采样次数，记录每次循环过程不同频段上的Diff值。
(6)将步骤(5)中最后一次下采样结果，运用最后一次下采样权重进行混合，混合公式如下：
(7)假设步骤(5)记录Diff个数为n,对BlendMin进行上采样，加Diffn-1，得到上层混合结果，公式如下：
Blendn-1＝PyramidUp(BlendMin)+Diffn-1 (12)
(8)同理对Blendn-1进行上采样，加上上层差Diffn-2，得到Blendn-2，以此类推得到最上层混合图片Blend1即为贴图最终混合结果SBlend，混合过程如图8所示。
此外，本发明公开一种计算机处理设备，包括处理器及计算机可读存储介质，所述处理器获取所述计算机可读存储介质上的计算机程序，并执行如上述任一所述方法的步骤。
此外，本发明公开一种三维人脸模型贴图融合系统，包括：
第一获取模块，用于获取公模贴图与用户图片，所述公模贴图包括待融合的公模人脸区域，所述用户图片包括待融合的用户人脸区域，并将所述公模人脸区域与用户人脸区域的位置进行对应；
调整模块，用于整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；
融合模块，用于将所述用户人脸区域融合至所述公模人脸区域；
消除模块，用于使用多频段混合方法消除所述用户人脸区域融合至所述公模人脸区域之后存在的缝隙；
第二获取模块，用于获取融合之后新的贴图。
系统中的模块的其他功能还可以参考上述方法中的步骤，也即模块还可以执行其他的如上所述的其他的功能。
下面结合图2-图8进行更加具体的描述。
本发明目的是提供一种三维人脸模型的贴图融合方法，以解决单张图片生成三维模型，公模贴图换成客户人脸图片融合问题。
为实现上述发明目的，本发明提供一种基于三维人脸模型的贴图融合方法，可以基本上包括以下步骤：1.统一公模贴图与客户图片人脸肤色。2.隐藏缝隙。3.消除缝隙。
具体来说，步骤S101：预处理。选取人脸部分面，拟合模型，找到公模贴图与用户照片之间对应关系。
步骤S101具体包括：S1011通过人脸识别手段检测人脸图像中的脸部区域，并标记出脸部中的人脸关键点，人脸例子图片(用户照片)如图2所示。
S1012在三维人脸公模模型上，确定哪些三角面属于人脸部分。人工标记出属于脸部区域的连续三角面片，同时并标记出对应人脸特征点的三维网格顶点。
S1013单张照片重建三维人脸模型的三维形状。重建后的人脸模型拓扑结构和公模一致，即点和面结构一样，该模型反应出用户的人脸形状。
S1014确定公模贴图中人脸区域部分。根据三维公模中人脸部分中三角面片中的贴图坐标，在公模贴图上找出人脸部分区域，形成一块脸部覆盖区域。对于公模上每个三角形在贴图上所覆盖的每个像素p,都计算它关于该三角形中三个顶点的重心坐标。所有的像素p构成了公模贴图的人脸覆盖区域,记为S_f；其中公模原始贴图为如图3所示。
S1015用户图片像素转移。用估计出来的相机矩阵和投影矩阵，把重建出来的人脸三维模型重投影到人脸图片当中。对上一步骤当中的脸部区域中的每个像素，根据其重心坐标，找到用户人脸图像中的像素坐标，并把该位置的颜色像素值取出。记公模人脸区域对应的新的像素值记为F，如图4所示，图4为用户图片投影到公模贴图。
之后，进行步骤S102：整体变换公模肤色。因用户本身肤色，光照等原因，造成公模贴图和用户之间的人脸肤色相差较大，直接进行脸用户脸部区域和公模非脸部区域融合，会导致融合后效果不佳。为提高融合效果，算法将首先降低两者之间在LAB颜色空间的差别。融合两者都来自人类肤色区域，其颜色分布应该类似。算法假设他们各自区域的颜色值对应的均值和标准方差，只相差一个线性变换。整体调整公模贴图的颜色值，以便尽可能地接近用户人脸肤色的颜色分布区域。
步骤S102具体算法步骤如下：
S1021对用户人脸区域和公模肤色进行LAB分解。对整个公模贴图记为S，进行LAB分解，分解后的通道分别记为SL、SA、SB，对从用户照片上采集像素F进行LAB分解，分解后的通道分别记为FL、FA、FB。假设公模贴图肤色L通道SL经过线性变换后，均值和标准差等于用户人脸肤色L通道FL的均值和方差，线性变换如公式(1)所示：
SLnew＝αSL+β (1)
其中SLnew为公模贴图变换后L通道值，α、β为线性变换参数。
S1022求解线性变换参数。根据线性变换公式(1)，对公模贴图像素统计量有如下关系：
求解得：
其中，SDSL为公模贴图L通道标准差，为变换后公模贴图L通道标准差，MeanSL为公模贴图L通道的均值，为变换后公模贴图L通道均值。
S1023计算公模贴图L通道新的均值和方差。为了排除头发和眉毛等像素点，对人脸皮肤颜色影响。取SL和FL选取亮度值前80％数值，记为SL0.8和FL0.8，公模贴图L通道目标均值和目标方差表达成如下：
其中：为公模贴图均值权重，为公模贴图方差权重，和分别是用户人脸像素L通道前80％亮度均值和标准差。
S1024转移均值和方差。根据公式(1)，运用OPENCV的convertTo函数，对SL进行线性变换，参数为S1022计算出的α和β。
S1025同理，根据亮度加权转移A、B通道。按照S1023类似公式，分别计算公模贴图A、B通道线性变换参数，根据线性变换公式得到公模贴图A通道和B通道变换后的值SAnew和SBnew，运用OPENCV的cvtColor函数，将变化后的L、A、B通道值转化为RGB通道的到新的公模贴图Smatch，如图5所示，图5为公模贴图转移后结果。
步骤S103：隐藏缝隙。经过上面步骤的运算，在公模方面，算法得到了新的贴图Smatch，在脸部替换区域，经过像素之间的查找对应，找到了用户的脸部区域部分F。在这一步骤，则是对两部分区域进行融合，把S中的脸部区域S_f中的像素用F中值来取代。其原理则是用整体优化的的方式，参考S和F中的像素，使得最终融合的脸部贴图S的脸部区域与用户的脸部区域像素F接近，又使得像素替换之后，在新的公模贴图中，脸部区域与非脸部区域像素之间过程比较自然。其具体过程如下：
S1031对S中的的脸部区域整体优化，进而求解出贴图中新像素值，其优化目标函数为公式(8),其中n为F区域中的像素个数，目标函数分为两个求和部分，其中第一项为反应像素空间之间的相似度，P(i)为像素i待求解的像素值，PF(i)为像素i在F区用户脸部区域对应的像素值，而wi则为该像素所对应的权重值，其具体值则为本专利的重要保护项目之一，将在下面一节做具体介绍。第二项求和的部分当中，则约束贴图像素在梯度空间中过渡平滑，使得融合的两者之间在梯度空间中相似。其中表示在Snew中第i个像素的梯度。
在上式公式中，左边的为最终求解得到的像素值，上述优化问题可直接转化成线性的最小二乘问题，可直接求像素值。求解完成之后，把公模贴图中的脸部区域中的像素值用新求解出来的值进行替换，第一阶段的贴图融合则完成。此时，用户之间的像素与公模中贴图中的过渡相对自然，它们两者之间的边缘缝隙也得到一定的消除隐藏。在图像融合之后，公模贴图中的脸部区域用新的像素所取代，此时得模型贴图记为Sstitch，如图6所示，图6为隐藏缝隙后结果。
S1032像素值约束的权重构造。上一步的图像融合过程当中，通过最优化公式(8),一定程度地把待融合的图像之间的边缘缝隙得到消除，其中，融合程度的好坏，过渡是否自然，第一项中的像素差前面的权重起着较为重要的作用。对其中的像素i,其对应的权重公式为(9),其中d为像素i到贴图融合的边缘的距离，也即像素i到F区域的轮廓边缘的欧式距离。其权重设计原则为，像素位置距离边缘越远，则其权重值越大，使得最终得到的像素值越接近用户的原始脸部像素PF(i)；在像素位置接近融合边缘处，则其脸部区域的像素则接近公模的像素值，使得最终的像素在缝隙处过渡较为平滑。图7示意了权重的分布效果图，其中
步骤S104：消除缝隙。通过步骤S103缝合，得到贴图边界有时依然能看到微弱的缝隙，于是进一步使用多频段混合方法消除分析，具体多频段混合方法如下：
S1041计算混合参数。运用OPENCV distanceTransform函数，对公模贴图人脸部分S_f计算权重图，取权重图中20％分位数记为sigma，分位数大小决定混合边界的宽度。
S1042定义下采样。将输入图片进行高斯平滑，平滑参数为S1041计算得到sigma，将平滑后图片长和宽同时缩放到原来1/2。
S1043定义上采样。将输入图片长和宽同时夸大为原来2倍，再进行高斯平滑，平滑参数为S1041计算得到sigma。
S1044多频段混合。为保证计算过程图片大小统一，对F总其他区域填充0.
(1)分别对Sstitch、S1032权重W、F进行下采样，结果记为PyramidDownW、PyramidDownF。
(2)对Sstitch和F在步骤(1)下采样结果进行上采样，结果记为PyramidUpW、PyramidUpF。
(3)计算Sstitch和F在步骤(2)上采样之后和步骤(1)下采样之前的差，记为DiffF。
(4)用权重W对步骤(3)两个差值进行混合，公式如下：
(5)对步骤(1)下采样结果，重复(1)到(4)，直到下采样结果长或宽小于5个像素或则达到指定下采样次数，记录每次循环过程不同频段上的Diff值。
(6)将步骤(5)中最后一次下采样结果，运用最后一次下采样权重进行混合，混合公式如下：
(7)假设步骤(5)记录Diff个数为n,对BlendMin进行上采样，加Diffn-1，得到上层混合结果，公式如下：
Blendn-1＝PyramidUp(BlendMin)+Diffn-1 (12)
(8)同理对Blendn-1进行上采样，加上上层差Diffn-2，得到Blendn-2，以此类推得到最上层混合图片Blend1即为贴图最终混合结果SBlend，混合过程如图8所示，图8是多频段混合过程图。
本发明的优势在于：整体变换公模人脸肤色。肤色整体变换将公模与任意新用户肤色在颜色数据统计空间中接近，减轻人脸融合本身的复杂度。在缝隙隐藏阶段，同时考虑了融合像素之间的像素值本身，以及像素梯度之间的差异。本方法的优化算法采用公式(8)，公式中的像素融合权重计算方法为本发明主要创新点之一,其计算方式为公式(9)。像素位置距离融合缝隙越远，则其权重越大,使得融合之后的像素约接近用户的原始值，从而使其最终融合结果更为逼真。融合精细处理，缝隙的消除。在多尺度上进行融合处理。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (9)
1.一种三维人脸模型贴图融合方法，其特征在于，该方法包括以下步骤：
S101、获取公模贴图与用户图片，所述公模贴图包括待融合的公模人脸区域，所述用户图片包括待融合的用户人脸区域，并将所述公模人脸区域与用户人脸区域的位置进行对应；
S102、整体调整所述公模贴图的颜色，使所述公模贴图的颜色与所述用户人脸区域的颜色一致；
S103、将所述用户人脸区域融合至所述公模人脸区域，消除明显的拼接缝隙；
S104、使用多频段混合方法，进一步消除所述用户人脸区域融合至所述公模人脸区域之后存在的微弱缝隙；
S105、获取融合之后新的贴图。
2.根据权利要求1所述的三维人脸模型贴图融合方法，其特征在于，步骤S101具体包括：
S1011、检测获得所述用户图片中的用户人脸区域，并在所述用户人脸区域中标记出人脸关键点；
S1012、在三维人脸公模模型上，确定人脸区域所包括的三角面；并标记出属于人脸区域的连续三角面片，以及三维网格顶点，所述三维网格顶点与所述人脸关键点对应；
S1013、单张用户照片重建三维人脸模型的三维形状：使用所述用户图片重建三维人脸模型，重建后的三维人脸模型拓扑结构和所述三维人脸公模模型一致，重建后的三维人脸模型反应出用户的人脸形状；
S1014、确定公模贴图中公模人脸区域：获取所述三维人脸公模模型中人脸区域中连续三角面片中的贴图坐标，根据所述贴图坐标在所述公模贴图上获取公模人脸区域，并记为S_f；
S1015、用户图片像素转移：使用相机矩阵和投影矩阵，把重建后的三维人脸模型重投影到所述用户人脸区域中，并根据图片上的对应位置转移像素。
3.根据权利要求2所述的三维人脸模型贴图融合方法，其特征在于，步骤S1015具体包括：
对步骤S1014中的脸部区域中的每个像素p，根据其贴图坐标，找到它在S1013所述重建后的三维人脸模型上的三维坐标，进而找到所述用户人脸区域中对应的像素坐标，并把所述像素坐标的颜色像素值取出，在公模人脸区域对应的新的像素值记为F。
4.根据权利要求3所述的三维人脸模型贴图融合方法，其特征在于，步骤S102具体包括：
S1021、对公模贴图和用户图片进行LAB分解：将整个公模贴图记为S，进行LAB分解，分解后的通道分别记为SL、SA、SB，对从用户图片上采集像素F进行LAB分解，分解后的通道分别记为FL、FA、FB；设公模贴图肤色L通道SL经过线性变换后，均值和标准差均等于用户人脸区域肤色L通道FL的均值和方差，线性变换如公式(1)所示：
SLnew＝αSL+β (1)
其中SLnew为公模贴图变换后L通道值，α、β为线性变换参数。
S1022、求解线性变换参数：根据线性变换公式(1)，对公模贴图像素统计量有如下关系：
求解得：
其中，SDSL为公模贴图L通道标准差，为变换后公模贴图L通道标准差，MeanSL为公模贴图L通道的均值，为变换后公模贴图L通道均值。
S1023、计算公模贴图L通道新的均值和方差：取SL和FL选取亮度值前80％数值，记为SL0.8和FL0.8，公模贴图L通道目标均值和目标方差表达成如下：
其中：为公模贴图均值权重，为公模贴图方差权重，和分别是用户人脸像素L通道前80％亮度均值和标准差。
S1024、转移均值和方差：根据公式(1)，使用预设函数，对SL进行线性变换，参数为S1022计算出的α和β。
S1025、根据亮度加权转移A、B通道：根据步骤S1023，分别计算公模贴图A、B通道线性变换参数，根据线性变换公式得到公模贴图A通道和B通道变换后的值SAnew和SBnew，使用预设函数，将变化后的L、A、B通道值转化为RGB通道的到新的公模贴图Smatch。
5.根据权利要求4所述的三维人脸模型贴图融合方法，其特征在于，步骤S103中：经过以上步骤的运算，得到新的公模贴图；在公模人脸区域的部分，经过像素之间的查找对应，找到了用户人脸区域的部分新的像素值F；对所述公模人脸区域与所述用户人脸区域进行融合，把公模贴图S中的公模人脸区域S_f中的像素用新的像素值F中值来取代。
6.根据权利要求5所述的三维人脸模型贴图融合方法，其特征在于，步骤S103具体包括：
S1031、对公模贴图S中的的公模人脸区域整体优化，求解出贴图中新像素值，优化目标函数为公式(8),其中n为F区域中的像素个数，目标函数分为两个求和部分，其中第一部分为反应像素空间之间的相似度，P(i)为像素i待求解的像素值，PF(i)为像素i在F区用户脸部区域对应的像素值，而wi则为该像素所对应的权重值，第二部分中，则约束贴图像素在梯度空间中过渡平滑，使得所述公模人脸区域与所述用户人脸区域进行融合在梯度空间中相似；其中表示在Snew中第i个像素的梯度；
在公式(8)中，左边的为最终求解得到的像素值，求解完成之后，把公模贴图中的脸部区域中的像素值用新求解出来的值进行替换，本阶段贴图融合之后，公模贴图中的公模人脸区域用新的像素所取代，此时得模型贴图记为Sstitch；
S1032、像素值约束的权重构造：像素i对应的权重公式为(9),其中d为像素i到贴图融合的边缘的距离；
7.根据权利要求6所述的三维人脸模型贴图融合方法，其特征在于，步骤S104具体包括：
S1041、计算混合参数：运用预设函数，对公模人脸区域S_f计算权重图，取权重图中20％分位数记为sigma，分位数大小决定混合边界的宽度；
S1042、定义下采样：将输入图片进行高斯平滑，平滑参数为所述sigma，将平滑后图片长和宽同时缩放到原来1/2；
S1043、定义上采样：将输入图片长和宽同时夸大为原来2倍，再进行高斯平滑，平滑参数为所述sigma；
S1044、多频段混合：对F总其他区域填充0。
8.根据权利要求7所述的三维人脸模型贴图融合方法，其特征在于，步骤S1044具体包括：
(1)分别对Sstitch、步骤S1032权重中的W、F进行下采样，结果记为PyramidDownW、PyramidDownF。
(2)对Sstitch和F在步骤(1)下采样结果进行上采样，结果记为PyramidUpW、PyramidUpF。
(3)计算Sstitch和F在步骤(2)上采样之后和步骤(1)下采样之前的差，记为DiffF。
(4)用权重W对步骤(3)两个差值进行混合，公式如下：
(5)对步骤(1)下采样结果，重复(1)到(4)，直到下采样结果长或宽小于5个像素或则达到预设下采样次数，记录每次循环过程不同频段上的Diff值。
(6)将步骤(5)中最后一次下采样结果，运用最后一次下采样权重进行混合，混合公式如下：
(7)假设步骤(5)记录Diff个数为n,对BlendMin进行上采样，加Diffn-1，得到上层混合结果，公式如下：
Blendn-1＝PyramidUp(BlendMin)+Diffn-1 (12)
(8)同理对Blendn-1进行上采样，加上上层差Diffn-2，得到Blendn-2，以此类推得到最上层混合图片Blend1即为贴图最终混合结果SBlend，混合过程如图(7)所示。
9.一种计算机处理设备，包括处理器及计算机可读存储介质，其特征在于，所述处理器获取所述计算机可读存储介质上的计算机程序，并执行如权利要求1-8任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910475006.7A CN110232730B (zh) | 2019-06-03 | 2019-06-03 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910475006.7A CN110232730B (zh) | 2019-06-03 | 2019-06-03 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110232730A true CN110232730A (zh) | 2019-09-13 |
| CN110232730B CN110232730B (zh) | 2024-01-19 |
Family
ID=67859098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910475006.7A Active CN110232730B (zh) | 2019-06-03 | 2019-06-03 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110232730B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738732A (zh) * | 2019-10-24 | 2020-01-31 | 重庆灵翎互娱科技有限公司 | 一种三维人脸模型的生成方法和设备 |
| CN110782419A (zh) * | 2019-10-18 | 2020-02-11 | 杭州趣维科技有限公司 | 一种基于图形处理器的三维人脸融合方法及系统 |
| CN111951408A (zh) * | 2020-06-30 | 2020-11-17 | 重庆灵翎互娱科技有限公司 | 一种基于三维人脸的图像融合方法和设备 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663820A (zh) * | 2012-04-28 | 2012-09-12 | 清华大学 | 三维头部模型重建方法 |
| CN102831413A (zh) * | 2012-09-11 | 2012-12-19 | 上海中原电子技术工程有限公司 | 基于多分类器融合的人脸识别方法及系统 |
| CN103646416A (zh) * | 2013-12-18 | 2014-03-19 | 中国科学院计算技术研究所 | 一种三维卡通人脸纹理生成方法及设备 |
| CN106156730A (zh) * | 2016-06-30 | 2016-11-23 | 腾讯科技（深圳）有限公司 | 一种人脸图像的合成方法和装置 |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| CN107945267A (zh) * | 2017-12-13 | 2018-04-20 | 四川川大智胜软件股份有限公司 | 一种用于人脸三维模型纹理融合的方法和设备 |
| CN108197555A (zh) * | 2017-12-28 | 2018-06-22 | 杭州相芯科技有限公司 | 一种基于人脸追踪的实时人脸融合方法 |
| CN108765272A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN108876718A (zh) * | 2017-11-23 | 2018-11-23 | 北京旷视科技有限公司 | 图像融合的方法、装置及计算机存储介质 |
| CN108921795A (zh) * | 2018-06-04 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 一种图像融合方法、装置及存储介质 |
| CN109064397A (zh) * | 2018-07-04 | 2018-12-21 | 广州希脉创新科技有限公司 | 一种基于摄像耳机的图像拼接方法及系统 |
| CN109118569A (zh) * | 2018-08-16 | 2019-01-01 | Oppo广东移动通信有限公司 | 基于三维模型的渲染方法和装置 |
| CN109191410A (zh) * | 2018-08-06 | 2019-01-11 | 腾讯科技（深圳）有限公司 | 一种人脸图像融合方法、装置及存储介质 |
| CN109345470A (zh) * | 2018-09-07 | 2019-02-15 | 华南理工大学 | 人脸图像融合方法和系统 |
-
2019
- 2019-06-03 CN CN201910475006.7A patent/CN110232730B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663820A (zh) * | 2012-04-28 | 2012-09-12 | 清华大学 | 三维头部模型重建方法 |
| CN102831413A (zh) * | 2012-09-11 | 2012-12-19 | 上海中原电子技术工程有限公司 | 基于多分类器融合的人脸识别方法及系统 |
| CN103646416A (zh) * | 2013-12-18 | 2014-03-19 | 中国科学院计算技术研究所 | 一种三维卡通人脸纹理生成方法及设备 |
| CN106156730A (zh) * | 2016-06-30 | 2016-11-23 | 腾讯科技（深圳）有限公司 | 一种人脸图像的合成方法和装置 |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| CN108876718A (zh) * | 2017-11-23 | 2018-11-23 | 北京旷视科技有限公司 | 图像融合的方法、装置及计算机存储介质 |
| CN107945267A (zh) * | 2017-12-13 | 2018-04-20 | 四川川大智胜软件股份有限公司 | 一种用于人脸三维模型纹理融合的方法和设备 |
| CN108197555A (zh) * | 2017-12-28 | 2018-06-22 | 杭州相芯科技有限公司 | 一种基于人脸追踪的实时人脸融合方法 |
| CN108765272A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN108921795A (zh) * | 2018-06-04 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 一种图像融合方法、装置及存储介质 |
| CN109064397A (zh) * | 2018-07-04 | 2018-12-21 | 广州希脉创新科技有限公司 | 一种基于摄像耳机的图像拼接方法及系统 |
| CN109191410A (zh) * | 2018-08-06 | 2019-01-11 | 腾讯科技（深圳）有限公司 | 一种人脸图像融合方法、装置及存储介质 |
| CN109118569A (zh) * | 2018-08-16 | 2019-01-01 | Oppo广东移动通信有限公司 | 基于三维模型的渲染方法和装置 |
| CN109345470A (zh) * | 2018-09-07 | 2019-02-15 | 华南理工大学 | 人脸图像融合方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| DOGNERY SINALY SILUE: "基于多特征融合的人脸识别方法", 《电子测量技术》 * |
| DOGNERY SINALY SILUE: "基于多特征融合的人脸识别方法", 《电子测量技术》, vol. 41, no. 20, 31 October 2018 (2018-10-31), pages 142 - 146 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782419A (zh) * | 2019-10-18 | 2020-02-11 | 杭州趣维科技有限公司 | 一种基于图形处理器的三维人脸融合方法及系统 |
| CN110782419B (zh) * | 2019-10-18 | 2022-06-21 | 杭州小影创新科技股份有限公司 | 一种基于图形处理器的三维人脸融合方法及系统 |
| CN110738732A (zh) * | 2019-10-24 | 2020-01-31 | 重庆灵翎互娱科技有限公司 | 一种三维人脸模型的生成方法和设备 |
| CN110738732B (zh) * | 2019-10-24 | 2024-04-05 | 重庆灵翎互娱科技有限公司 | 一种三维人脸模型的生成方法和设备 |
| CN111951408A (zh) * | 2020-06-30 | 2020-11-17 | 重庆灵翎互娱科技有限公司 | 一种基于三维人脸的图像融合方法和设备 |
| CN111951408B (zh) * | 2020-06-30 | 2024-03-29 | 重庆灵翎互娱科技有限公司 | 一种基于三维人脸的图像融合方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110232730B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919869B (zh) | 一种图像增强方法、装置及存储介质 | |
| US11915133B2 (en) | Techniques for smooth region merging in image editing | |
| Pouli et al. | Progressive color transfer for images of arbitrary dynamic range | |
| CN104899845B (zh) | 一种基于lαβ空间场景迁移的多曝光图像融合方法 | |
| US11270476B2 (en) | Method and system for providing photorealistic changes for digital image | |
| Pouli et al. | Progressive histogram reshaping for creative color transfer and tone reproduction | |
| US9036860B2 (en) | Method for editing propagation of video and image content based on local feature structure preservation | |
| US7953275B1 (en) | Image shader for digital image modification | |
| DE102018008217A1 (de) | Intelligente Anleitung zum Aufnehmen von Digitalbildern, die mit einem Zielbildmodell in Übereinstimmung gebracht sind | |
| CN110322416A (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
| US8019182B1 (en) | Digital image modification using pyramid vignettes | |
| CN110232730A (zh) | 一种三维人脸模型贴图融合方法和计算机处理设备 | |
| JP2024500896A (ja) | ３ｄ頭部変形モデルを生成するための方法、システム及び方法 | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| CN114663552B (zh) | 一种基于2d图像的虚拟试衣方法 | |
| CN116997933A (zh) | 用于构造面部位置图的方法和系统 | |
| Li et al. | Flexible piecewise curves estimation for photo enhancement | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| US9092889B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
| Liu | An overview of color transfer and style transfer for images and videos | |
| Liu | Two decades of colorization and decolorization for images and videos | |
| CN113487475B (zh) | 交互式图像编辑方法、系统、可读存储介质及电子设备 | |
| DiPaola | Painterly rendered portraits from photographs using a knowledge-based approach | |
| US20220157030A1 (en) | High Quality AR Cosmetics Simulation via Image Filtering Techniques | |
| Wang et al. | Near-infrared fusion for deep lightness enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240131 Address after: 518000 23C, Gongkan Building, No. 8, Keji South 8th Road, High tech District Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong Patentee after: Shenzhen Kelu Education Technology Co.,Ltd. Country or region after: China Address before: 518000 room 2101, Xianjian science and technology building, Keji South 12th Road, Yuehai street, Nanshan District, Shenzhen, Guangdong Province Patentee before: SHENZHEN THREE D ARTIFICIAL INTELLIGENCE TECHNOLOGY Co.,Ltd. Country or region before: China |