CN114663574A - 基于单视角照片的三维人脸自动建模方法、系统及装置 - Google Patents
基于单视角照片的三维人脸自动建模方法、系统及装置 Download PDFInfo
- Publication number
- CN114663574A CN114663574A CN202011536305.6A CN202011536305A CN114663574A CN 114663574 A CN114663574 A CN 114663574A CN 202011536305 A CN202011536305 A CN 202011536305A CN 114663574 A CN114663574 A CN 114663574A
- Authority
- CN
- China
- Prior art keywords
- model
- face
- dimensional
- photo
- portrait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims description 7
- 230000009469 supplementation Effects 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 210000004209 hair Anatomy 0.000 description 10
- 210000003128 head Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000001061 forehead Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及三维建模领域，公开了一种基于单视角照片的三维人脸自动建模方法、系统及装置，其技术方案要点是检测得到人像正脸照片中的人脸关键点；根据人像正脸照片选择底层模板模型，并在底层模板模型的模型顶点中选择出对应人脸关键点的关键点顶点，将关键点顶点在人像正脸照片所在平面进行二维投影；根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型；将初步三维模型的模型顶点在二维平面投影，得到模型顶点的纹理坐标；对人像正脸照片进行预处理，并按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型，得到目标三维模型，能够得到真实自然完整的目标三维模型。
Description
技术领域
本发明涉及三维建模领域，更具体地说，它涉及一种基于单视角照片的三维人脸自动建模方法、系统及装置。
背景技术
三维人脸建模在影视动画，虚拟人等场景应用广泛，三维建模师通过建模软件建模的方式成本高昂，不能满足一些应用场景。从人像照片中获取三维信息通常需要多个视角信息，而使用单个正面照片可以简化素材的获取，使人脸建模更加易得，所以使用单个正面照片来进行人脸建模，更加适合于市场的需要。
但是利用单张正面照片进行人脸建模会存在所得模型不真实，不完整的问题，这是由于单张正面照片侧脸纹理缺失，侧脸轮廓特征缺失，照片采集质量等问题造成的，所以需要解决这些问题。
发明内容
本发明的目的是提供一种基于单视角照片的三维人脸自动建模方法、系统及装置，能够得到真实自然完整的目标三维模型。
本发明的上述技术目的是通过以下技术方案得以实现的：一种基于单视角照片的三维人脸自动建模方法，包括如下步骤：
检测得到人像正脸照片中的人脸关键点；
根据人像正脸照片选择底层模板模型，并在底层模板模型的模型顶点中选择出对应人脸关键点的关键点顶点，将关键点顶点在人像正脸照片所在平面进行二维投影；
根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型；
将初步三维模型的模型顶点在二维平面投影，得到模型顶点的纹理坐标；
对人像正脸照片进行预处理，并按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型，得到目标三维模型。
作为本发明的一种优选技术方案，检测得到人像正脸照片中的人脸关键点的方法为：使用基于深度学习模型的人脸检测算法对人像正脸照片进行检测，并识别出人脸关键点。
作为本发明的一种优选技术方案，所述根据人像正脸照片选择底层模板模型，包括：根据人像正脸照片中的人脸立体度选择底层模板模型。
作为本发明的一种优选技术方案，在按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型的步骤中，还包括如下子步骤：
调整人像正脸照片中存在阴影的人脸关键点的位置；
通过最小化调整后的人脸关键点和关键点顶点的二维投影位置的距离，拟合生成纹理三维模型；
根据纹理三维模型得到调整后的模型顶点的纹理坐标；
根据调整后的模型顶点的纹理坐标得到对应于人脸关键点的贴图；
将得到的贴图贴至初步三维模型。
作为本发明的一种优选技术方案，所述根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型，包括：通过最小化人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型。
作为本发明的一种优选技术方案，在得到目标三维模型后，对目标三维模型上的贴图进行修复和纹理补充，得到优化三维模型；
对目标三维模型进行贴图修复，包括如下子步骤：
根据目标三维模型的二维投影找到待修复区域；
根据待修复区域的边界计算生成待修复区域的草图；
通过人脸分割技术得到待修复区域作为修复的mask；
输入草图和mask到图片人脸重编辑的生成模型中，对待修复区域进行重新生成；
对目标三维模型进行纹理补充，包括如下子步骤：
从目标三维模型中找出纹理缺失的部位，将纹理缺失的部位替换为预设的对应于纹理缺失部位的纹理；
根据人像正脸照片的人脸区域，得到肤色的平均值并根据肤色的平均值，对目标三维模型的所有皮肤颜色进行填充替换；
对目标三维模型的处于边界的皮肤颜色进行羽化融合处理。
作为本发明的一种优选技术方案，所述投影为透视投影。
作为本发明的一种优选技术方案，对人像正脸照片进行预处理的过程为：采用高斯滤波对人像正脸照片进行图像去噪，采用低光照图像增强方法对人脸正像照片调整明暗对比，去除人像正脸照片中的阴影。
一种基于单视角照片及纹理修复的三维人脸自动建模系统，包括：
关键点检测模块：检测得到人像正脸照片中的人脸关键点；
模型及顶点选择模块：用于根据人像正脸照片选择底层模板模型，并在底层模板模型的模型顶点中选择出对应人脸关键点的关键点顶点，将关键点顶点在人像正脸照片所在平面进行二维投影；
拟合模块：用于根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型；
纹理坐标计算模块：用于将初步三维模型的模型顶点在二维平面投影，得到模型顶点的纹理坐标；
预处理和贴图模块：用于对人像正脸照片进行预处理，并按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型，得到目标三维模型。
一种基于单视角照片及纹理修复的三维人脸自动建模装置，所述装置安装有如上所述的系统，并执行如上所述的方法。
综上所述，本发明具有以下有益效果：能够使用任意顶点数量的底层模板模型对人像正脸照片进行拟合得到初步三维模型，使得在实际拟合时，底层模板模型的选择范围更广，更加有利于实际使用；
在拟合人像正脸照片时，对底层模板模型进行透视投影，让顶点的投影坐标更贴合实际照片，使得初步三维模型的形状和表情形变函数更准确，也使得纹理坐标更精确，让纹理贴图的效果更好；
在贴图之前，对人像正脸照片进行预处理，去除阴影，从而得到正常的纹理，以便于贴图更加真实；
在贴图时，还针对特定区域进行重新拟合，得到更精准的区域纹理，进一步让贴图更加真实；
在贴图后，还会对初步三维模型进行修复和补充，使得缺失的纹理变得完整，使得不自然的纹理部位进行统一调整，从而得到更加真实自然完整的目标三维模型。
附图说明
图1是本发明的方法流程图；
图2是本发明的人脸关键点示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本发明提供一种基于单视角照片的三维人脸自动建模方法，如图1所示，包括如下步骤：
S1、使用基于深度学习模型的人脸检测算法对人像正脸照片进行检测，并识别出人脸关键点，例如可以选择识别出68个人脸关键点，如图2所示，并设为K＝[k1，k2，...k68]，该68个点表达了人脸的脸型轮廓、眉毛、眼睛、鼻子、嘴巴的关键点。其中，人脸检测算法中包括人脸监测模型和关键点预测模型，在使用时，将人像正脸照片输入到人脸检测模型中，就能够得得到人脸检测框，再使用人脸检测框对整个人像正脸照片进行裁剪得到人脸区域，最后将人脸区域输入到关键点预测模型中，得到对应的人脸关键点。
S2、根据人像正脸照片选择底层模板模型，例如可以选择一个flame模型作为底层模板模型，FLAME模型可以是任意顶点分布和任意顶点数量的模型，则可以将底层模板模型设为T，其模型顶点数量为n；
设形状形变函数为：
其中
表示形状系数，
表示不同的形状形变，形状形变表示基于标准脸模型的脸部特征变形，具体例如长脸，圆脸，方形脸，尖下巴等不同脸型形变，大眼，细长眼等眼睛形变，厚嘴唇，薄嘴唇等嘴唇形变；
设表情形变函数为
其中
表示表情形状系数，
表示不同的表情形状形变，表情形变表示基于无表情脸模型的脸部特征变形，具体例如嘴角向上，嘴角向下，皱眉，抬眉等。
则底层模板模型在形变之后就可以表示为：
在后步骤的拟合过程实际就是得到相应的形状形变函数和表情形变函数，从而对底层模板模型进行调整，得到初步三维模型。
S3、选择出底层模板模型上对应人脸关键点的关键点顶点，并在人像正脸照片所在平面进行二维透视投影；选择出模型
上与68个人脸关键点一一对应的关键点顶点
计算V在二维平面上的透视投影
对于n＝1，…68，
其中
S4、通过最小化人脸关键点和关键点顶点的二维投影坐标的距离，拟合生成初步三维模型；拟合模型的目标函数为关键点顶点的投影Vp与人脸关键点K的距离
最小化关键点顶点的投影与人脸关键点的距离表示为
则求得形变参数
从而得到拟合生成的初步三维模型
在此步骤中，能够使用任意顶点数量的底层模板模型对人像正脸照片进行拟合得到初步三维模型，使得在实际拟合时，底层模板模型的选择范围更广，更加有利于实际使用。
S5、对初步三维模型的模型顶点在二维平面进行投影，得到模型顶点的纹理坐标；计算模型
中每个模型顶点mi在二维平面上的投影
则可以得到每个模型顶点的纹理坐标为
S6、对人像正脸照片进行预处理，其过程为：对人像正脸照片进行修复处理的过程为：采用高斯滤波对人像正脸照片进行图像去噪，采用低光照图像增强方法对人脸正像照片调整明暗对比，去除人像正脸照片中的阴影，低光照图像增强方法是将光照不足与光照正常下的照片作为训练数据，训练神经网络模型，从而实现照片的光照调整，使阴影严重的图片恢复到光线充足下的样子。在本发明则可以通过上述处理将人像正脸照片的因为阴影造成的异常纹理，转化为正常的纹理。
S7、按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型得到目标三维模型；具体还包括：调整人像正脸照片中存在阴影的人脸关键点的位置；
在通过最小化调整后的人脸关键点和关键点顶点的二维投影位置的距离，拟合生成纹理三维模型；
根据纹理三维模型得到调整后的关键点顶点的纹理坐标；
根据调整后的关键点顶点的纹理坐标得到对应于人脸关键点的贴图；
将得到的贴图贴至初步三维模型。
例如，如果直接使用关键点拟合后的纹理坐标进行贴图，嘴唇纹理通常会保留上下嘴唇中间的阴影以及嘴角的阴影，所以为了嘴巴部位的阴影，就可以只对调整嘴唇的6个关键点进行调整，如图2所示，将将上嘴唇边缘的3个关键点(点66，67，68)上调，下嘴唇边缘的3个关键点(点62，63，64)下调，得到新的人脸关键点集合KM＝[k1，k2，...k68]，再做一次最小化新的人脸关键点和底层模板模型上关键点顶点的二维投影位置的距离计算，拟合得到纹理三维模型，进而得到调整后的对应于嘴巴位置的关键点顶点的纹理坐标，通过该纹理坐标就能够得到正常的嘴巴部位的纹理。得到正常的嘴巴部位的纹理后，就可以将其贴图到初步三维模型对应的纹理坐标上，完成对嘴巴部位的纹理贴图。
同理，脸颊的拟合也会使部分脸颊的纹理坐标落到图片背景或头发上，导致脸颊贴图出现错误。采取相似方式，调整脸部关键点(点1～17)内缩，得到新的人脸关键点集合，再进行拟合，即最小化模型关键点顶点的投影与人脸关键点的距离
计算纹理坐标，得到正常的脸颊纹理，再将正常的脸颊纹理贴图到初步三维模型上，完成对脸颊的纹理贴图。
S8、作为对目标三维模型的进一步优化，还对目标三维模型进行贴图修复和纹理补充，得到优化三维模型。
对目标三维模型进行的贴图修复包括：
对目标三维模型进行贴图修复，包括如下子步骤：
根据目标三维模型的二维投影找到待修复区域；
根据待修复区域的边界计算生成待修复区域的草图；
通过人脸分割技术得到待修复区域作为修复的mask；
输入草图和mask到图片人脸重编辑的生成模型中，对待修复区域进行重新生成。
例如：头发的建模与人头独立，为了消除照片中头发覆盖额头的影响，也就是头发纹理，需要将发型贴图转换为光头。使用SC-FEGAN对额头纹理进行修复，将头发纹理替换成肤色得到光头造型。SC-FEGAN是一个实现图片人脸重编辑的生成模型，通过在人脸图片上添加的草图以及mask信息，对人脸mask区域进行重新生成。给定一张人像正脸图片，将头发区域设为mask，并沿着额头上方重新添加头发草图，SC-FEGAN将生成与草图一致的头发边界，原图被头发覆盖的部分生成衔接自然的额头皮肤，从而达到修复额头纹理的目的。
也可以采用上述方案对人脸的其他边界位置进行纹理修复，从而可以很好的避免贴图纹理衔接不自然的问题。
对目标三维模型进行纹理补充，包括如下子步骤：
从目标三维模型中找出纹理缺失的部位，将纹理缺失的部位替换为预设的对应于纹理缺失部位的纹理；
根据人像正脸照片的人脸区域，得到肤色的平均值并根据肤色的平均值，对目标三维模型的所有皮肤颜色进行填充替换；
对目标三维模型的处于边界的皮肤颜色进行羽化融合处理。
例如，对耳朵、脖子、头顶、后脑勺等部位进行补充；
具体的，对耳朵纹理进行补充，由于耳朵没有关键点，耳朵的纹理很难通过底层模板模型拟合人像正脸照片得到，所以可以耳朵部位替换为一个固定的耳朵纹理，固定的耳朵纹理可以在建模数据库中选取，也可以由实际建模得到。
对脖子、头顶、后脑勺进行纹理填充时，针对于肤色的个体差异，提取人脸区域皮肤颜色平均RGB值，表示为
进行填充，其中，[ri，gi，bi]，i∈1，...，m表示第i个像素点的RGB值。边界采用羽化操作进行融合，使整个人头肤色衔接自然。原图位置(x，y)像素值用向量
表示，替换的目标图像素值用
表示，羽化步骤可表示为
其中dist为点(x，y)到边界的最小距离。
通过上述对贴图后的目标三维模型进行的纹理补充，就可以得到完整的，并且头部皮肤相对统一的优化三维模型。
需要注意的是，在只有人像正脸照片的情况下，导致底层模板模型只能在二维平面拟合人脸关键点，在脸型的立体度上是无法拟合的，所以在选择底层模板模型时，就可以根据人像正脸照片中的人脸立体度来选择，从而能够在立体度上更接近真实人脸。
本发明中的投影均为透视投影，透视投影能够更加符合实际相机的投影，让关键点顶点和模型顶点的投影坐标更贴合实际照片，使得初步三维模型的形状和表情形变函数更准确，也能避免因传统的flame模型拟合图片时采用正交投影，造成纹理贴图有形变的问题，使得纹理贴图时效果更好。
对应于上述本发明的方法，还提供了一种基于单视角照片及纹理修复的三维人脸自动建模系统，包括：
关键点检测模块：检测得到人像正脸照片中的人脸关键点；
模型及顶点选择模块：用于根据人像正脸照片选择底层模板模型，并在底层模板模型的模型顶点中选择出对应人脸关键点的关键点顶点，将关键点顶点在人像正脸照片所在平面进行二维投影；
拟合模块：用于根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型；
纹理坐标计算模块：用于将初步三维模型的模型顶点在二维平面投影，得到模型顶点的纹理坐标；
预处理和贴图模块：用于对人像正脸照片进行预处理，并按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型，得到目标三维模型。
本发明还提供了一种基于单视角照片及纹理修复的三维人脸自动建模装置，该装置安装有如前所述的系统，并执行如前所述的方法。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于单视角照片的三维人脸自动建模方法，其特征是：包括如下步骤：
检测得到人像正脸照片中的人脸关键点；
根据人像正脸照片选择底层模板模型，并在底层模板模型的模型顶点中选择出对应人脸关键点的关键点顶点，将关键点顶点在人像正脸照片所在平面进行二维投影；
根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型；
将初步三维模型的模型顶点在二维平面投影，得到模型顶点的纹理坐标；
对人像正脸照片进行预处理，并按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型，得到目标三维模型。
2.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：检测得到人像正脸照片中的人脸关键点的方法为：使用基于深度学习模型的人脸检测算法对人像正脸照片进行检测，并识别出人脸关键点。
3.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：所述根据人像正脸照片选择底层模板模型，包括：根据人像正脸照片中的人脸立体度选择底层模板模型。
4.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：在按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型的步骤中，还包括如下子步骤：
调整人像正脸照片中存在阴影的人脸关键点的位置；
通过最小化调整后的人脸关键点和关键点顶点的二维投影位置的距离，拟合生成纹理三维模型；
根据纹理三维模型得到调整后的模型顶点的纹理坐标；
根据调整后的模型顶点的纹理坐标得到对应于人脸关键点的贴图；
将得到的贴图贴至初步三维模型。
5.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：所述根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型，包括：通过最小化人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型。
6.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：在得到目标三维模型后，对目标三维模型上的贴图进行修复和纹理补充，得到优化三维模型；
对目标三维模型进行贴图修复，包括如下子步骤：
根据目标三维模型的二维投影找到待修复区域；
根据待修复区域的边界计算生成待修复区域的草图；
通过人脸分割技术得到待修复区域作为修复的mask；
输入草图和mask到图片人脸重编辑的生成模型中，对待修复区域进行重新生成；
对目标三维模型进行纹理补充，包括如下子步骤：
从目标三维模型中找出纹理缺失的部位，将纹理缺失的部位替换为预设的对应于纹理缺失部位的纹理；
根据人像正脸照片的人脸区域，得到肤色的平均值并根据肤色的平均值，对目标三维模型的所有皮肤颜色进行填充替换；
对目标三维模型的处于边界的皮肤颜色进行羽化融合处理。
7.根据权利要求6所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：所述投影为透视投影。
8.根据权利要求1所述的一种基于单视角照片的三维人脸自动建模方法，其特征是：对人像正脸照片进行预处理的过程为：采用高斯滤波对人像正脸照片进行图像去噪，采用低光照图像增强方法对人脸正像照片调整明暗对比，去除人像正脸照片中的阴影。
9.一种基于单视角照片及纹理修复的三维人脸自动建模系统，其特征是：包括：
关键点检测模块：检测得到人像正脸照片中的人脸关键点；
模型及顶点选择模块：用于根据人像正脸照片选择底层模板模型，并在底层模板模型的模型顶点中选择出对应人脸关键点的关键点顶点，将关键点顶点在人像正脸照片所在平面进行二维投影；
拟合模块：用于根据人脸关键点和关键点顶点二维投影位置的距离，拟合生成初步三维模型；
纹理坐标计算模块：用于将初步三维模型的模型顶点在二维平面投影，得到模型顶点的纹理坐标；
预处理和贴图模块：用于对人像正脸照片进行预处理，并按照模型顶点的纹理坐标，将预处理后的人像正脸照片贴图至初步三维模型，得到目标三维模型。
10.一种基于单视角照片及纹理修复的三维人脸自动建模装置，其特征是：所述装置安装有如权利要求9所述的系统，并执行如权利要求1-8任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536305.6A CN114663574A (zh) | 2020-12-23 | 2020-12-23 | 基于单视角照片的三维人脸自动建模方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011536305.6A CN114663574A (zh) | 2020-12-23 | 2020-12-23 | 基于单视角照片的三维人脸自动建模方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114663574A true CN114663574A (zh) | 2022-06-24 |
Family
ID=82024559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011536305.6A Pending CN114663574A (zh) | 2020-12-23 | 2020-12-23 | 基于单视角照片的三维人脸自动建模方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663574A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661367A (zh) * | 2022-12-12 | 2023-01-31 | 盾钰（上海）互联网科技有限公司 | 基于照片采集的动态混合变形的建模方法及系统 |
| WO2024077792A1 (zh) * | 2022-10-09 | 2024-04-18 | 名之梦(上海)科技有限公司 | 视频生成方法、装置、设备与计算机可读存储介质 |
-
2020
- 2020-12-23 CN CN202011536305.6A patent/CN114663574A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024077792A1 (zh) * | 2022-10-09 | 2024-04-18 | 名之梦(上海)科技有限公司 | 视频生成方法、装置、设备与计算机可读存储介质 |
| CN115661367A (zh) * | 2022-12-12 | 2023-01-31 | 盾钰（上海）互联网科技有限公司 | 基于照片采集的动态混合变形的建模方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669447B (zh) | 一种模型头像创建方法、装置、电子设备和存储介质 | |
| US9317973B2 (en) | Augmented reality method applied to the integration of a pair of spectacles into an image of a face | |
| CN106920274B (zh) | 移动端2d关键点快速转换为3d融合变形的人脸建模方法 | |
| CN108305312B (zh) | 3d虚拟形象的生成方法和装置 | |
| CN108447017A (zh) | 人脸虚拟整容方法和装置 | |
| US20060244757A1 (en) | Methods and systems for image modification | |
| EP4057234A1 (en) | Method and apparatus for constructing three-dimensional facial model, and device and storage medium | |
| CN108376421B (zh) | 一种基于阴影恢复形状法生成人脸三维模型的方法 | |
| US11562536B2 (en) | Methods and systems for personalized 3D head model deformation | |
| CN108510500B (zh) | 一种基于人脸肤色检测的虚拟人物形象的头发图层处理方法及系统 | |
| JP2005078646A (ja) | 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置 | |
| US11587288B2 (en) | Methods and systems for constructing facial position map | |
| CN106652015B (zh) | 一种虚拟人物头像生成方法及装置 | |
| CN110363170B (zh) | 视频换脸方法和装置 | |
| CN106652037B (zh) | 一种人脸贴图处理方法及装置 | |
| CN110796719A (zh) | 一种实时人脸表情重建方法 | |
| CN114663574A (zh) | 基于单视角照片的三维人脸自动建模方法、系统及装置 | |
| CN113628327A (zh) | 一种头部三维重建方法及设备 | |
| CN112767531A (zh) | 面向移动端的虚拟试衣的人体模型脸部分区域建模方法 | |
| US11461970B1 (en) | Methods and systems for extracting color from facial image | |
| CN111127642A (zh) | 一种人脸三维重建方法 | |
| US11417053B1 (en) | Methods and systems for forming personalized 3D head and facial models | |
| CN114155569B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| GB2342026A (en) | Graphics and image processing system | |
| CN116681833B (zh) | 一种具有裸眼立体视觉效果的印刷品的制造方法及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |