CN111951408B - 一种基于三维人脸的图像融合方法和设备 - Google Patents
一种基于三维人脸的图像融合方法和设备 Download PDFInfo
- Publication number
- CN111951408B CN111951408B CN202010621294.5A CN202010621294A CN111951408B CN 111951408 B CN111951408 B CN 111951408B CN 202010621294 A CN202010621294 A CN 202010621294A CN 111951408 B CN111951408 B CN 111951408B
- Authority
- CN
- China
- Prior art keywords
- face
- map
- head
- key area
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 21
- 210000000056 organ Anatomy 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 39
- 230000001815 facial effect Effects 0.000 claims description 11
- 101150064138 MAP1 gene Proteins 0.000 claims 1
- 101150077939 mapA gene Proteins 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 14
- 210000003128 head Anatomy 0.000 description 108
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于三维人脸的图像融合方法和设备，该方法包括：通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图，从而使人脸图像与预设头部贴图能够完美贴合，减少人脸图像与预设头部贴图的色彩差异。
Description
技术领域
本申请涉及人像处理技术领域，更具体地，涉及一种基于三维人脸的图像融合方法和设备。
背景技术
随着人工智能迅速地发展，市场上也出现了越来越多的与AI换脸、人脸识别相关的技术和产品，人脸照片与头部3D模型贴图的融合是通过相机扫描人脸形成3D人脸重建的过程中的重要环节。如果不对原始的人脸与头部贴图进行处理，直接贴到3D模型上，就会出现明显的分界线。这样一来，人工处理的痕迹会非常突出，导致视觉体验差。
为了实现两幅图的边缘平滑过渡，最常用的方法就是在边缘处增加一个高斯模糊图层蒙版，通过这类图层蒙版的方法处理虽然实现了颜色的过渡，但是整体上面部和其他部位的色彩还是有显著的差异，除此之外，对两幅图的融合也常常用彼此的色彩信息进行对应的修改，虽然经过这种处理UV贴图在整体上较为一致，但是严重影响了嘴唇、眼睛，眉毛区域的色彩，以及严重影响非面部区域的像素，从而不符合3D模型在3D场景中的美术要求。
因此，如何减少三维人脸图像融合时的色彩差异，是本领域技术人员亟待解决的技术问题。
发明内容
本发明提供一种基于三维人脸的图像融合方法，用以解决现有技术中在进行三维人脸图像融合时存在明显色彩差异的技术问题，该方法包括：
通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；
基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；
对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；
通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图。
优选的，在通过分水岭算法获取人脸关键区域的蒙版之前，还包括：
获取所述三维人脸对应的预设人脸照片；
将所述人脸照片与所述预设头部贴图进行融合，并获取原始融合贴图；
优选的，通过分水岭算法获取人脸关键区域的蒙版，具体为：
通过所述分水岭算法获取所述原始融合贴图的人脸关键区域；
将所述原始融合贴图的人脸关键区域转化为灰度图；
基于预设像素阈值及灰度图提取所述人脸关键区域的蒙版。
优选的，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，具体为：
优选的，基于所述高斯模糊皮肤蒙版对所述像素信息及预设头部贴图进行迭代计算，直到所述头部贴图的皮肤颜色与所述人脸非关键区域的皮肤颜色一致，所述迭代计算具体为：
其中，A为头部UV贴图的像素值，B为高斯模糊皮肤蒙版的像素值，C为预设头部贴图的像素值，D为关键区域的像素值。
优选的，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图之后，还包括：
将所述头部UV贴图放入三维场景中，以生成三维人脸模型。
相应地，本发明还提出了一种基于三维人脸的图像融合设备，所述设备包括：
第一获取模块，通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；
第二获取模块，基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；
处理模块，对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；
第三获取模块，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图。
优选的，所述设备还包括：
第四获取模块，获取所述三维人脸对应的预设人脸照片；
融合模块，将所述人脸照片与所述预设头部贴图进行融合，并获取原始融合贴图；
优选的，第一获取模块具体用于：
通过所述分水岭算法获取所述原始融合贴图的人脸关键区域；
将所述原始融合贴图的人脸关键区域转化为灰度图；
基于预设像素阈值及灰度图提取所述人脸关键区域的蒙版。
优选的，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，具体为：
基于所述高斯模糊皮肤蒙版对所述像素信息及预设头部贴图进行迭代计算，直到所述头部贴图的皮肤颜色与所述人脸非关键区域的皮肤颜色一致，所述迭代计算具体为：
其中，A为头部UV贴图的像素值，B为高斯模糊皮肤蒙版的像素值，C为预设头部贴图的像素值，D为关键区域的像素值。
优选的，所述设备还包括：
模型生成模块，将所述头部UV贴图放入三维场景中，以生成三维人脸模型。
与现有技术对比，本发明具备以下有益效果：
本发明公开了一种基于三维人脸的图像融合方法和设备，该方法包括：通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图，从而使人脸图像与预设头部贴图能够完美贴合，减少人脸图像与预设头部贴图的色彩差异。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种三维人脸模型的生成方法的流程示意图；
图2示出了本发明另一实施例提出的一种三维人脸模型的生成方法的流程示意图；
图3示出了本发明实施例提出的一种三维人脸模型的生成设备的结构示意图；
图4示出了本发明实施例提出的预设头部贴图的示意图；
图5示出了本发明实施例提出的关键区域的蒙版及高斯模糊皮肤蒙版的示意图；
图6示出了本发明实施例提出的关键区域的像素信息的示意图；
图7示出了本发明实施例提出的迭代计算后的头部UV贴图的示意图；
图8示出了本发明实施例提出的三维人脸模型的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如背景技术所述，现有三维人脸图像进行融合时存在明显的色彩差异。
为解决上述问题，本申请实施例提出了一种基于三维人脸的图像融合方法，通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图，从而使人脸图像与预设头部贴图能够完美贴合，减少人脸图像与预设头部贴图的色彩差异。
如图1所示本发明实施例提出的一种基于三维人脸的图像融合方法的流程示意图，该方法包括以下步骤：
S101，通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域。
具体的，通过分水岭算法提取出人脸关键区域，所述人脸的五官区域具体是人脸的五官位置，即鼻子、眼睛、嘴巴等，并根据所述五官区域获取所述人脸关键区域的蒙版。
为了获取所述人脸关键区域的蒙版，在本申请的优选实施例中，在通过分水岭算法获取人脸关键区域的蒙版之前，还包括：
获取所述三维人脸对应的预设人脸照片；
将所述人脸照片与所述预设头部贴图进行融合，并获取原始融合贴图。
具体的，在获取所述人脸关键区域的蒙版前，先获取用于生成三维人脸的人脸照片，并与预设头部贴图进行融合，所述预设头部贴图并不包含所述关键区域，即不包含五官位置，通过融合获取原始融合贴图，对所述原始融合贴图进行分水岭算法处理即可获取人脸关键区域的蒙版。
为了准确获取所述人脸关键区域的蒙版，在本申请的优选实施例中，通过分水岭算法获取人脸关键区域的蒙版，具体为：
通过所述分水岭算法获取所述原始融合贴图的人脸关键区域；
将所述原始融合贴图的人脸关键区域转化为灰度图；
基于预设像素阈值及灰度图提取所述人脸关键区域的蒙版。
具体的，通过分水岭算法可以区分出原始融合贴图中的关键区域及非关键区域，进而实现将关键区域提取出来，再将所述关键区域转化为灰度图，通过设置像素阈值的方式将所述人脸关键区域的蒙版提取出来。
需要说明的是，设置像素阈值提取蒙版仅是本申请的一种优选实施例，其他根据灰度图提取蒙版的方式都属于本发明的保护范围。
S102，基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色。
具体的，在获取到所述人脸关键区域的蒙版后，通过所述蒙版可以保留所述关键区域的像素信息，以避免关键区域的像素不被其他位置的像素干扰。
同时根据所述人脸关键区域的蒙版提取非关键区域的皮肤颜色，以便于后续高斯模糊皮肤蒙版的获取。
S103，对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版。
具体的，对所述人脸非关键区域进行高斯模糊处理，并获取对应的高斯模糊皮肤蒙版。
高斯模糊的原理中，它是根据高斯曲线调节像素色值，它是有选择地模糊图像，说得直白一点，就是高斯模糊能够把某一点周围的像素色值按高斯曲线统计起来，采用数学上加权平均的计算方法得到这条曲线的色值，最后能够留下人物的轮廓。
S104，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图
具体的，通过所述高斯皮肤蒙版对所述像素信息及预设头部贴图进行处理，以获取头部UV贴图。
为了获取所述头部UV贴图，在本申请优选实施例中，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，具体为：
基于所述高斯模糊皮肤蒙版对所述像素信息及预设头部贴图进行迭代计算，直到所述头部贴图的皮肤颜色与所述人脸非关键区域的皮肤颜色一致，所述迭代计算具体为：
其中，A为头部UV贴图的像素值，B为高斯模糊皮肤蒙版的像素值，C为预设头部贴图的像素值，D为关键区域的像素值。
具体的，在获取所述到所述高斯模糊皮肤蒙版、所述像素信息及所述预设头部贴图后，根据所述高斯模糊皮肤蒙版对所述像素信息及预设头部贴图进行迭代计算，所述迭代计算的公式具体为其中，A为头部UV贴图的像素值，B为高斯模糊皮肤蒙版的像素值，C为预设头部贴图的像素值，D为关键区域的像素值，由于进行一次计算并不能使所述关键区域与预设头部贴图的颜色一致，所以需要进行迭代计算，直到所述头部贴图的皮肤颜色与所述人脸非关键区域的皮肤颜色一致。
需要说明的是，上述迭代计算公式仅是本申请的优选实施例，本领域技术人员可根据实际应用对所述迭代计算公式进行调整，所述迭代计算公式的不同，并不影响本发明的保护范围。
为了获取三维人脸模型，在本申请的优选实施例中，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图之后，还包括：
将所述头部UV贴图放入三维场景中，以生成三维人脸模型。
在获取到所述头部UV贴图后，将其放到三维场景中，从而获取所述头部UV贴图对应的三维人脸模型。
通过应用以上技术方案，用户通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图，从而使人脸图像与预设头部贴图能够完美贴合，减少人脸图像与预设头部贴图的色彩差异。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本发明实施例提出了一种基于三维人脸的图像融合方法，通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图，从而使人脸图像与预设头部贴图能够完美贴合，减少人脸图像与预设头部贴图的色彩差异
上述方法具体步骤如下：
S201，生成原始融合贴图。
具体的，将人脸照片与预设头部贴图进行融合，所述预设头部贴图具体为不包含人脸五官的头部贴图，将融合后的贴图作为原始融合贴图，所述预设头部贴图不仅在生成原始融合贴图中使用，而且在蒙版迭代融合步骤中作为其中的一个输入项，目的是为了提取皮肤的像素，所述预设头部贴图如图4所示。
S202，获取关键区域的蒙版。
首先通过分水岭算法从原始融合贴图中获得关键区域，再将关键区域的图片转成灰度图，方便提取关键区域的蒙版，然后设置像素阈值，通过所述像素阈值的方式提取出关键区域蒙版，如图5中的左图为所述关键区域的蒙版。
S203，获取关键区域的像素信息及非关键区域的皮肤颜色。
利用关键区域蒙版保留重要部位的像素信息。由于在融合的过程中，需要尽量保留关键区域的像素。使得这些区域的像素尽可能的不被其他像素所干扰，提取出来的关键区域的像素信息如图6所示，同时利用关键部位的蒙版提取非关键区域的皮肤颜色。
S204，蒙版迭代融合。
对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版，并基于高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，具体的，基于所述高斯模糊皮肤蒙版对所述像素信息及预设头部贴图进行迭代计算，经过第一次迭代计算的效果如图7左图所示，已经有一定的效果，但是在交界处还有明显的痕迹。通过第三次重复操作，可以让2张图完全融合在一起，而且保留了关键部位的像素，如图7右图所示。将融合好后的贴图放入3D场景后，生成对应的三维人脸模型，所述三维人脸模型的示意图如图8所示，其中基于高斯模糊皮肤蒙版的方法在经过3次迭代的效果最佳。
需要说明的是，所述迭代次数可以根据实际情况进行确定，所述迭代次数的不同并不影响本发明的保护范围。
通过应用以上技术方案，通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图，从而使人脸图像与预设头部贴图能够完美贴合，减少人脸图像与预设头部贴图的色彩差异。
为了达到以上技术目的，本申请实施例还提出了一种基于三维人脸的图像融合设备，所述设备包括：
第一获取模块301，通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；
第二获取模块302，基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；
处理模块303，对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；
第三获取模块304，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图。
在本申请的具体应用场景中，所述设备还包括：
第四获取模块，获取所述三维人脸对应的预设人脸照片；
融合模块，将所述人脸照片与所述预设头部贴图进行融合，并获取原始融合贴图；
在本申请的具体应用场景中，第一获取模块具体用于：
通过所述分水岭算法获取所述原始融合贴图的人脸关键区域；
将所述原始融合贴图的人脸关键区域转化为灰度图；
基于预设像素阈值及灰度图提取所述人脸关键区域的蒙版。
在本申请的具体应用场景中，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，具体为：
基于所述高斯模糊皮肤蒙版对所述像素信息及预设头部贴图进行迭代计算，直到所述头部贴图的皮肤颜色与所述人脸非关键区域的皮肤颜色一致，所述迭代计算具体为
其中，A为头部UV贴图的像素值，B为高斯模糊皮肤蒙版的像素值，C为预设头部贴图的像素值，D为关键区域的像素值。
在本申请的具体应用场景中，所述设备还包括：
模型生成模块，将所述头部UV贴图放入三维场景中，以生成三维人脸模型。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括以若干指令的形式使一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解装置中的模块可以按照实施场景描述分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (2)
1.一种基于三维人脸的图像融合方法，其特征在于，所述方法包括：
获取所述三维人脸对应的预设人脸照片；将所述人脸照片与预设头部贴图进行融合，并获取原始融合贴图；
通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；具体为通过所述分水岭算法获取所述原始融合贴图的人脸关键区域；将所述原始融合贴图的人脸关键区域转化为灰度图；基于预设像素阈值及灰度图提取所述人脸关键区域的蒙版；
基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；
对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；
通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图；具体为基于所述高斯模糊皮肤蒙版对所述像素信息及预设头部贴图进行迭代计算，直到所述头部贴图的皮肤颜色与所述人脸非关键区域的皮肤颜色一致，所述迭代计算具体为其中，A为头部UV贴图的像素值，B为高斯模糊皮肤蒙版的像素值，C为预设头部贴图的像素值，D为关键区域的像素值；
将所述头部UV贴图放入三维场景中，以生成三维人脸模型。
2.一种基于三维人脸的图像融合设备，其特征在于，所述设备包括：
第四获取模块，获取所述三维人脸对应的预设人脸照片；
融合模块，将所述人脸照片与预设头部贴图进行融合，并获取原始融合贴图；
第一获取模块，通过分水岭算法获取人脸关键区域的蒙版，所述人脸关键区域具体为人脸的五官区域；所述第一获取模块具体用于通过所述分水岭算法获取所述原始融合贴图的人脸关键区域；将所述原始融合贴图的人脸关键区域转化为灰度图；基于预设像素阈值及灰度图提取所述人脸关键区域的蒙版；
第二获取模块，基于所述人脸关键区域的蒙版获取所述人脸关键区域的像素信息和人脸非关键区域的皮肤颜色；
处理模块，对所述人脸非关键区域进行高斯模糊处理，以获取高斯模糊皮肤蒙版；
第三获取模块，通过所述高斯模糊皮肤蒙版、所述像素信息及预设头部贴图获取头部UV贴图，所述预设头部贴图为不包含关键区域的头部贴图；具体为基于所述高斯模糊皮肤蒙版对所述像素信息及预设头部贴图进行迭代计算，直到所述头部贴图的皮肤颜色与所述人脸非关键区域的皮肤颜色一致，所述迭代计算具体为 其中，A为头部UV贴图的像素值，B为高斯模糊皮肤蒙版的像素值，C为预设头部贴图的像素值，D为关键区域的像素值；
模型生成模块，将所述头部UV贴图放入三维场景中，以生成三维人脸模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010621294.5A CN111951408B (zh) | 2020-06-30 | 2020-06-30 | 一种基于三维人脸的图像融合方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010621294.5A CN111951408B (zh) | 2020-06-30 | 2020-06-30 | 一种基于三维人脸的图像融合方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111951408A CN111951408A (zh) | 2020-11-17 |
| CN111951408B true CN111951408B (zh) | 2024-03-29 |
Family
ID=73337834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010621294.5A Active CN111951408B (zh) | 2020-06-30 | 2020-06-30 | 一种基于三维人脸的图像融合方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951408B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424115A (zh) * | 2017-05-31 | 2017-12-01 | 成都品果科技有限公司 | 一种基于人脸关键点的肤色修正算法 |
| CN110232730A (zh) * | 2019-06-03 | 2019-09-13 | 深圳市三维人工智能科技有限公司 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110210960A1 (en) * | 2010-02-26 | 2011-09-01 | Google Inc. | Hierarchical blurring of texture maps |
-
2020
- 2020-06-30 CN CN202010621294.5A patent/CN111951408B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107424115A (zh) * | 2017-05-31 | 2017-12-01 | 成都品果科技有限公司 | 一种基于人脸关键点的肤色修正算法 |
| CN110232730A (zh) * | 2019-06-03 | 2019-09-13 | 深圳市三维人工智能科技有限公司 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
Non-Patent Citations (5)
| Title |
|---|
| 一种基于标准混合高斯模型的快速人脸检测方法;胡春华 等;东南大学学报(自然科学版)(03);1-6 * |
| 基于BSSRDF模型回归人脸皮肤实时渲染;曹莹 等;计算机与现代化;20190930(第9期);1-5 * |
| 基于保边滤波和肤色模型的人脸美颜技术研究与实现;王志强 等;无线互联科技;20180903(17);1-5 * |
| 结合肤色分割与平滑的人脸图像快速美化;邱佳梁 等;中国图象图形学报(07);1-6 * |
| 肤色纹理保留实时人脸美化算法;邱佳梁 等;计算机辅助设计与图形学学报;20180215(02);1-4 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111951408A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10198624B2 (en) | Segmentation-guided real-time facial performance capture | |
| US10839575B2 (en) | User-guided image completion with image completion neural networks | |
| CN107680071B (zh) | 一种人脸与身体融合处理的方法及系统 | |
| EP3272115B1 (en) | Background modification in video conferencing | |
| US8698796B2 (en) | Image processing apparatus, image processing method, and program | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| US20130044958A1 (en) | Methods and Apparatus for Automated Facial Feature Localization | |
| CN111046763B (zh) | 一种人像卡通化的方法和装置 | |
| Garrido et al. | Corrective 3D reconstruction of lips from monocular video. | |
| CN105787878A (zh) | 一种美颜处理方法及装置 | |
| US10217275B2 (en) | Methods and systems of performing eye reconstruction using a parametric model | |
| CN111445410A (zh) | 基于纹理图像的纹理增强方法、装置、设备和存储介质 | |
| US10217265B2 (en) | Methods and systems of generating a parametric eye model | |
| CN107194869B (zh) | 一种图像处理方法及终端、计算机存储介质、计算机设备 | |
| Kumar et al. | A comprehensive survey on non-photorealistic rendering and benchmark developments for image abstraction and stylization | |
| CN111243051B (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
| Kumar et al. | Structure-preserving NPR framework for image abstraction and stylization | |
| US20220084653A1 (en) | Method for generating image of orthodontic treatment outcome using artificial neural network | |
| US20230080639A1 (en) | Techniques for re-aging faces in images and video frames | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114862729A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111951408B (zh) | 一种基于三维人脸的图像融合方法和设备 | |
| Cao et al. | Automatic motion-guided video stylization and personalization | |
| KR20230086996A (ko) | 노이즈 추가 프로세스를 수행하는 컴퓨터 프로그램 | |
| KR20230086998A (ko) | 얼굴 세그먼트 영역에 노이즈를 부가하여 가상 인물 콘텐츠를 생성하는 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |