CN110675413B - 三维人脸模型构建方法、装置、计算机设备及存储介质 - Google Patents
三维人脸模型构建方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110675413B CN110675413B CN201910933584.0A CN201910933584A CN110675413B CN 110675413 B CN110675413 B CN 110675413B CN 201910933584 A CN201910933584 A CN 201910933584A CN 110675413 B CN110675413 B CN 110675413B
- Authority
- CN
- China
- Prior art keywords
- face
- pixel
- face image
- dimensional
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Abstract
本申请关于一种三维人脸模型构建方法、装置、计算机设备及存储介质,涉及计算机技术领域。该方法包括:获取人脸图像;根据该人脸图像构建三维几何模型;对人脸图像中的人脸的边缘进行滤波获得滤波后的人脸图像;从滤波后的人脸图像中提取的该三维几何模型对应的人脸表观;根据该人脸表观以及三维几何模型构建该人脸图像对应的三维人脸模型。通过上述方法将人脸分割技术与三维人脸模型构建技术相结合,在保证人脸表观逼真度的基础上,减少人脸边缘处的瑕疵,从而提高三维人脸模型构建效果。
Description
技术领域
本申请涉及计算机技术领域,特别涉及三维人脸模型构建方法、装置、计算机设备及存储介质。
背景技术
随着增强现实(Augmented Reality,AR)技术的发展,三维人脸模型构建技术应用到更多的场景中。
在相关技术中,一般利用通用模型重建法来实现三维人脸模型的构建,通过对通用模型进行修改使其轮廓以及五官布局与所需要恢复的输入图像相配,再辅助以基于顶点的差值运算从输入图片中提取表观信息,实现三维人脸模型的构建。
上述相关技术中,由于过程中采用的通用模型的顶点数目较少导致对表观信息提取的准确性较低,从而导致人脸边缘区域存在瑕疵,影响三维人脸模型的构建效果。
发明内容
本申请实施例提供了一种三维人脸模型构建、装置、计算机设备及存储介质在保证人脸表观逼真度的基础上,减少人脸边缘处的瑕疵,提高三维人脸模型构建效果。该技术方案如下:
一方面,提供了一种三维人脸模型构建方法,所述方法包括:
获取人脸图像,所述人脸图像为包含人脸的二维图像;
根据所述人脸图像构建三维几何模型,所述三维几何模型是表示所述人脸在指定人脸姿态下的三维几何结构的模型;
对所述人脸图像中的所述人脸的边缘进行滤波获得滤波后的人脸图像;
从所述滤波后的人脸图像中提取所述三维几何模型对应的人脸表观;
根据所述人脸表观以及三维几何模构建所述人脸对应的三维人脸模型。
一方面,提供了一种三维人脸模型构建装置,该装置包括:
获取模块,用于获取人脸图像,所述人脸图像为包含人脸的二维图像;
第一构建模块,用于根据所述人脸图像构建三维几何模型,所述三维几何模型是表示所述人脸在指定人脸姿态下的三维几何结构的模型;
滤波模块,对所述人脸图像中的所述人脸的边缘进行滤波获得滤波后的人脸图像;
提取模块,用于从所述滤波后的人脸图像中提取所述三维几何模型对应的人脸表观;
第二构建模块,用于根据所述人脸表观以及所述三维几何模构建所述人脸对应的三维人脸模型。
可选的,所述滤波模块包括:
第一提取子模块,用于从所述人脸图像中提取人脸区域信息,所述人脸区域信息用于指示所述人脸在所述人脸图像中的区域,以及所述人脸中的面部皮肤在所述人脸图像中的区域;
滤波子模块,用于根据所述人脸区域信息,通过所述人脸图像中的第一像素对所述人脸图像中的第二像素进行滤波,获得所述滤波后的人脸图像;所述第一像素是所述人脸的边缘内侧属于面部皮肤的像素,所述第二像素是所述人脸的边缘外侧的像素。
可选的,所述第一提取子模块,用于,
对所述人脸图像进行语义分割,获得人脸分割结果;
根据所述人脸分割结果获取所述人脸区域信息。
可选的,所述第一提取子模块获得的人脸分割结果中包含面部皮肤分割区域,所述面部皮肤分割区域用于指示所述人脸中的面部皮肤在所述人脸图像中的区域;
所述第一提取子模块,用于,
对所述人脸分割结果中的所述面部皮肤分割区域进行预处理,获得处理后的人脸分割结果;所述预处理包括边缘腐蚀处理和收缩处理中的至少一种;
将处理后的人脸分割结果获取为所述人脸区域信息。
可选的,所述滤波子模块,用于,
根据所述人脸区域信息,确定所述人脸图像中的所述第二像素,以及与所述第二像素相对应的所述第一像素;
根据与所述第二像素相对应的所述第一像素,对所述第二像素进行滤波,获得所述滤波后的人脸图像。
可选的,所述滤波子模块,用于,
根据所述人脸区域信息,遍历所述人脸图像中的非人脸区域的像素;所述非人脸区域是不属于所述人脸在所述人脸图像中的区域;
若当前遍历的像素周围指定像素范围内存在至少一个目标像素,则将所述当前遍历的像素确定为所述第二像素,并将所述至少一个目标像素确定为与所述第二像素相对应的所述第一像素;所述目标像素是属于所述人脸中的面部皮肤的像素。
可选的,所述滤波子模块,用于,
通过指定的滤波算法,根据与所述第二像素相对应的所述第一像素的像素值,对所述第二像素的像素值进行滤波,获得所述滤波后的人脸图像。
可选的,所述滤波算法包括:
高斯滤波、均值滤波、双波滤波以及中值滤波中的至少一种。
可选的,所述提取模块,包括:
第一获取子模块,用于将所述三维几何模型中的各个顶点投影到所述滤波后的人脸图像对应的投影平面上,获得所述各个顶点在所述滤波后的人脸图像中的二维坐标;
第二提取子模块,用于根据所述各个顶点在所述滤波后的人脸图像中的二维坐标,从所述人脸图像中提取所述各个顶点的人脸表观。
可选的,所述第二提取子模块所提取的所述各个顶点的人脸表观包括所述滤波后的人脸图像中的像素值。
一方面,提供了一种计算机设备,计算机设备包含处理器和存储器,所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述三维人脸模型构建方法。
一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述三维人脸模型构建方法。
本申请提供的技术方案可以包括以下有益效果:
通过获取人脸图像,根据该人脸图像构建三维几何模型,同时对人脸图像中的人脸的边缘进行滤波,得到滤波后的人脸图像,从滤波后的人脸图像中提取的该三维几何模型对应的人脸表观,根据该人脸表观以及三维几何模型构建该人脸图像对应的三维人脸模型,将人脸分割技术与三维人脸模型构建技术相结合,使得利用单张人脸图像实现三维人脸模型构建时,在保证人脸表观逼真度的基础上,减少人脸边缘处的瑕疵,提高三维人脸模型构建效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请一个示例性的实施例提供的一种三维人脸模型构建方法的流程示意图;
图2是本申请一个示例性的实施例提供的一种三维人脸模型构建方法的流程示意图;
图3是本申请实施例涉及的三维人脸模型构建方法的人脸语义分割结果示意图;
图4是本申请一个示例性实施例提供的一种三维人脸模型构建方法的流程图;
图5是本申请实施例所涉及的三维人脸模型构建方法的单张人脸图像示意图;
图6是本申请实施例所涉及的三维人脸模型构建方法的输出结果的示意图;
图7是相关技术所涉及的三维人脸模型构建方法的输出结果的示意图;
图8是本申请一个示例性的实施例提供的一种三维人脸模型构建装置的方框图;
图9是根据一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是,在本文中提及的“若干个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
随着增强现实(Augmented Reality,AR)技术的发展,三维数字化技术被应用到诸多领域,其中随着高精度三维扫描设备和高性能的图形工作站的不断更新和发展,三维人脸模型构建成为计算机视觉与计算机图形学领域的一个研究热点,并且在多媒体和人机交互等方面都具有广泛的应用。
随着三维人脸模型构建的应用场景的不断发展,对三维人脸模型构建的要求也越来越高,本申请提供一种三维人脸模型构建方法,可以在改善人脸表观准确性的基础上,达到更加逼真,鲁棒性高的三维人脸模型构建效果。为了便于理解,下面对本申请涉及的几个名词进行解释。
1)人工智能(Artificial Intelligence,AI)
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请所示的包含图像采集组件的显示设备主要涉及其中的计算机视觉技术以及机器学习/深度学习等方向。
2)计算机视觉技术(Computer Vision,CV)
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensions)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
3)机器学习(Machine Learning,ML)
机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
4)计算机图形学(Computer Graphics,CG)
计算机图形学是一种使用数学算法把二维或三维图形转化为计算机显示器的栅格形式的科学。简单地说,计算机图形学的主要研究内容就是研究如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法。计算机图形学的主要目的是利用计算机绘画出具有真实感的图形。计算机图形学主要包含四大部分的内容:建模(Modeling)、渲染(Rendering)、动画(Animation)和人机交互(Human–computerInteraction,HCI)。
5)人脸语义分割
人脸语义分割是将人的头部包含人脸五官构成进行分解,得到头发、面部皮肤、眼睛、眉毛、鼻子、嘴等区域。
6)位置映射回归网络(PRNet)
PRNet是一种采用卷积神经网络(Convolutional Neural Networks,CNN)进行直接回归,端到端的重建3D人脸的一种方法,通过利用二维的位置贴图来表达三维网格结构,并利用预先训练好的卷积神经网络,从单张人脸图片中恢复人脸的位置贴图,进而恢复人脸的三维几何和表情。
请参考图1,其示出了本申请一个示例性的实施例提供的一种三维人脸模型构建方法的流程示意图。该三维人脸模型构建方法可以由计算机设备执行,比如,该计算机设备可以是三维扫描设备、图形工作站、用户终端或者服务器等等。如图1所示,该三维人脸模型构建方法可以包括以下步骤:
步骤110,获取人脸图像,该人脸图像为包含人脸的二维图像。
可选的,该人脸图像中的有效人脸的数目至少为一个,该有效人脸是指在人脸图像中面部特征清楚的人脸。
比如,计算机设备可以通过预设的人脸检测算法对获取到的图像进行人脸检测,获取图像中各个区域存在人脸的概率,并将概率大于预设概率阈值(比如95%)的区域确定为存在有效人脸的区域。
再比如,计算机设备可以对获取到的图像进行面部特征识别,比如,识别人脸中的眼睛、鼻子、眉毛、嘴巴以及耳朵等面部特征,并将图像中识别出包含指定的多个面部特征的区域确定为存在有效人脸的区域。其中,上述指定的多个面部特征可以包含眼睛、鼻子、眉毛、嘴巴以及耳朵等全部面部特征,或者,上述指定的多个面部特征也可以是上述全部面部特征中的部分重要的面部特征,比如眼睛、鼻子、眉毛和嘴巴。
例如,在一种可能的情况中,人脸图片中有5个人脸,其中2个人背对镜头没有露出面部特征,2个人虽然正对镜头,但是由于距离镜头较远,无法清楚地识别出面部特征,另外1个人朝向镜头,同时面部特征可清楚识别,则确定未露出面部特征和无法清楚识别出面部特征的人脸为无效人脸,而朝向镜头且面部特征可清楚识别的为有效人脸。
可选的,该人脸图像可以为一张图像。
步骤120,根据人脸图像构建三维几何模型,该三维几何模型是表示人脸在指定人脸姿态下的三维几何结构的模型。
其中,该三维几何模型包括人脸部分的三维几何结构和相应的表情,三维几何结构可以包括人脸的姿态以及人脸的形状,人脸的姿态包括人脸朝向等,其中,人脸朝向包括人脸正对镜头、侧对镜头、俯视镜头或者仰视镜头等等,也就是说人脸的形状是指人脸面部的轮廓,可以包括圆形脸型、方形脸型、椭圆形脸型、菱形脸型等等。
可选的,该三维几何模型的构建可以通过PRNet来实现,该方法通过使用卷积神经网络(Convolutional Neural Networks,CNN)从单张二维图像中回归位置贴图(Positionmap),其中,该位置贴图是三维人脸几何的表达方法,基于该位置贴图以及预先定义的人脸几何拓扑关系,恢复人脸的三维网格结构,构建三维几何模型。
步骤130,对人脸图像中的人脸的边缘进行滤波获得滤波后的人脸图像。
在本申请实施例中,计算机设备可以通过指定的滤波方式对人脸的边缘的像素值进行滤波,获得滤波后的人脸图像。
步骤140,从滤波后的人脸图像中提取三维几何模型对应的人脸表观。
其中,人脸表观是指人脸表面的样子或者性质,可以是人脸的各个部分的颜色、明暗等等,表现在人脸图像上则为滤波后的人脸图像中各个像素点的像素值。
步骤150,根据人脸表观以及三维几何模型构建人脸图像对应的三维人脸模型。
可选的,上述根据人脸表观以及三维几何模型构建人脸图像对应的三维人脸模型可以是,根据人脸表观对三维几何模型进行纹理贴图,得到人脸图像对应的三维人脸模型。
在本申请提供的实施例中,贴图是指将图像应用到对象的一个面或多个面,来为3D对象添加细节的一种方法,可选的,该贴图方法可以是UV映射,UV映射是指把一张平面图像的不同区域(不同位置)映射到3D模型的不同面上,也就是把滤波后的2D(2Dimensions)图像投影到三维几何模型的表面以进行纹理映射的3D建模过程(也即把位图贴到3D图形的过程或者方法),这里的U、V表示2D纹理的轴(即:纹理贴图坐标)。
综上所述,本申请实施例中提供的三维人脸模型构建方法,通过获取人脸图像,根据该人脸图像构建三维几何模型,同时对人脸图像中的人脸的边缘进行滤波得到滤波后的人脸图像,从滤波后的人脸图像中提取的该三维几何模型对应的人脸表观,根据该人脸表观以及三维几何模型构建该人脸图像对应的三维人脸模型,将人脸分割技术与三维人脸模型构建技术相结合,使得利用单张人脸图像实现三维人脸模型构建时,在保证人脸表观逼真度的基础上,减少人脸边缘处的瑕疵,提高三维人脸模型构建效果。
请参考图2,其示出了本申请一个示例性的实施例提供的一种三维人脸模型构建方法的流程示意图。该三维人脸模型构建方法可以由计算机设备执行,比如,该计算机设备可以是三维扫描设备、图形工作站、用户终端或者服务器等等。如图2所示,该三维人脸模型构建方法可以包括以下步骤:
步骤210,获取人脸图像,该人脸图像为包含人脸的二维图像。
可选的,上述人脸图像可以是实现三维人脸模型构建的计算机设备利用摄像头模组实时采集到的人脸图像,该摄像头模组可以捕捉到被拍摄人脸从三维空间投射到二维平面所形成的二维平面图像信息,将实时采集到的人脸图像导入到三维人脸模型构建的计算机设备中,获取人脸图像。
或者,上述人脸图像也可以是其他摄像头模组预先采集的人脸图像,比如,具有摄像头的拍摄设备预先采集人脸图像,并将预先采集的人脸图像导入到三维人脸模型构建的计算机设备中。
步骤220,根据人脸图像构建三维几何模型,该三维几何模型是表示人脸在指定人脸姿态下的三维几何结构的模型。
在一种可能的情况下,计算机设备可以采用PRNet方法,端到端地重建三维几何模型,该过程可以包括:
1)获取单张二维人脸图像;
2)通过预先训练好的CNN模型,从上述单张二维人脸图像中恢复人脸的位置贴图,该位置贴图是能表达三维顶点的二维UV位置贴图;
3)根据位置贴图与拓扑连接关系恢复人脸的三维网格结构,其中该三维网格结构一般是由三维空间中的点以及这些点之间所连接成的三角面构成,这些点称为顶点。
步骤230,从人脸图像中提取人脸区域信息,该人脸区域信息用于指示人脸在人脸图像中的区域,以及人脸中的面部皮肤在人脸图像中的区域。
其中,除了面部皮肤所在的区域之外,人脸图像中通常还可能包括背景区域、头发区域以及脸部其他区域中的至少一个,该脸部其他区域可以包括眉毛、眼睛、鼻子、嘴巴以及耳朵对应的区域。
可选的,计算机设备可以对人脸图像进行语义分割,获得人脸分割结果,并根据上述人脸分割结果获取人脸区域信息。
在本申请实施例中语义分割是指图像语义分割(Image SemanticSegmentation),图像语义分割是指将图像分割成一组具有一定语义含义的块,并识别出每个分割块的类别,最终得到一副具有逐像素语义标注的图像。
可选的,该人脸分割结果中包含面部皮肤分割区域,该面部皮肤分割区域用于指示该人脸中的面部皮肤在人脸图像中的区域。
对人脸语义分割的结果是将人的头部包括人脸五官构成进行分解,得背景区域、头发区域、皮肤区域以及面部其他区域四个区域,其中其他面部区域包括眉毛、眼睛、鼻子、嘴巴等,请参考图3,其示出了本申请实施例涉及的三维人脸模型构建方法的人脸语义分割结果示意图。如图3所示,该人脸图像被分割为背景区域310,头发区域320,皮肤区域330以及面部其他区域340,其中面部其他区域340包括眼睛、眉毛、鼻子、嘴等区域。
可选的,人脸语义分割的结果可以通过不同的颜色填充来表征区域的划分,比如图3所示的人脸语义分割结果中,背景区域可以为黑色,头发区域可以为红色,皮肤区域可以为蓝色,面部其他区域可以为绿色。
三维人脸模型的构建主要依赖于人脸面部区域的准确性,背景区域以及头发区域的信息对三维人脸模型的构建可能会产生干扰,从而使得背景区域或者头发区域的像素被错误的划分为皮肤区域,在本申请实施例所示的方案中,上述根据人脸分割结果获取人脸区域信息可以有效解决像素错误划分的问题。
可选的,计算机设备可以对人脸分割结果中的面部皮肤分割区域进行预处理,获得处理后的人脸分割结果;其中,上述预处理可以包括边缘腐蚀处理和收缩处理中的至少一种;计算机设备可以将上述预处理后的人脸分割结果获取为人脸区域信息。
其中,上述预处理可以是对皮肤区域进行腐蚀处理,也可以是对皮肤区域进行收缩处理,或者,也可以是对皮肤区域进行腐蚀处理和收缩处理。
可选的,上述对皮肤区域的腐蚀处理或者收缩处理的程度可以由开发人员或者用户进行调节。
步骤240,根据人脸区域信息,通过人脸图像中的第一像素对人脸图像中的第二像素进行滤波,获得滤波后的人脸图像;该第一像素是人脸的边缘内侧属于面部皮肤的像素,第二像素是所述人脸的边缘外侧的像素。
在本申请实施例中,滤波后的人脸图像中的第二像素所呈现出的信息可以和第一像素所呈现出的信息相接近。
可选的,计算机设备可以根据人脸区域信息,确定人脸图像中的第二像素,以及与第二像素相对应的第一像素。
在本申请实施例中,上述第二像素是指有效人脸的边缘外侧的像素,该第一像素是指人脸的边缘内侧属于面部皮肤的像素,并且,第一像素与第二像素之间存在对应关系。
可选的,计算机设备确定相互对应的第一像素和第二像素的过程可以如下:
1)计算机设备根据人脸区域信息,遍历人脸图像中的非人脸区域的像素;非人脸区域是不属于人脸在人脸图像中的区域;
2)若当前遍历的像素周围指定像素范围内存在至少一个目标像素,则计算机设备将当前遍历的像素确定为第二像素,并将至少一个目标像素确定为与第二像素相对应的第一像素;该目标像素是属于人脸中的面部皮肤的像素。
在一种可能的情况下,如果当前遍历的像素周围指定像素范围内不存在该目标像素,则确定该人脸的边缘外侧的像素不是第二像素,也就是说,该像素是在人脸图像中原理人脸中的皮肤区域的像素。
可选的,上述指定像素范围的大小可以由开发人员预先设置,可选的,上述指定像素范围还可以由用户进行调节。
可选的,计算机设备可以根据与第二像素相对应的第一像素,对第二像素进行滤波,获得滤波后的人脸图像。
可选的,在本申请实施例中,计算机设备可以通过指定的滤波算法,根据与第二像素相对应的第一像素的像素值,对第二像素的像素值进行滤波,获得滤波后的人脸图像。
可选的,该滤波算法包括高斯滤波、均值滤波、双波滤波以及中值滤波中的至少一种。
其中,高斯滤波是指用一个模板(或称卷积、掩模)扫描图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
均值滤波,也称为线性滤波,是指在图像上对目标像素给一个模板,该模板包括了其周围的临近像素(以目标象素为中心的周围8个像素,构成一个滤波模板,即去掉目标像素本身),再用模板中的全体像素的平均值来代替原来像素值。
双边滤波是结合图像的空间邻近度和像素值相似度的一种折中处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的。
中值滤波是将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。
在一种可能的情况下,计算机设备对第二像素进行滤波时,可以采用上述滤波方法中的任一中或者任几种,或者,也可以采用其他的滤波方法,本申请提出的滤波方法仅为示例性的,并不对滤波方法进行限制。
步骤250,从滤波后的人脸图像中提取三维几何模型对应的人脸表观。
可选的,计算机设备可以将三维几何模型中的各个顶点投影到滤波后的人脸图像对应的投影平面上,获得所述各个顶点在滤波后的人脸图像中的二维坐标,并根据各个顶点在滤波后的人脸图像中的二维坐标,从人脸图像中提取各个顶点的人脸表观。
可选的,该人脸表观包括滤波后的人脸图像中的像素值。
步骤260,根据人脸表观以及三维几何模型构建人脸图像对应的三维人脸模型。
该步骤260与图1所示实施例步骤150的执行过程类似,此处不再赘述。
综上所述,本申请实施例中提供的三维人脸模型构建方法,通过获取人脸图像,根据该人脸图像构建三维几何模型,同时对人脸图像中的人脸的边缘进行滤波,得到滤波后的人脸图像,从滤波后的人脸图像中提取的该三维几何模型对应的人脸表观,根据该人脸表观以及三维几何模型构建该人脸图像对应的三维人脸模型,将人脸分割技术与三维人脸模型构建技术相结合,使得利用单张人脸图像实现三维人脸模型构建时,在保证人脸表观逼真度的基础上,减少人脸边缘处的瑕疵,提高三维人脸模型构建效果。
请参考图4,其示出了本申请一个示例性实施例提供的一种三维人脸模型构建方法的流程图。以输入单张人脸图像为例,请参考图5,其示出了本申请实施例所涉及的三维人脸模型构建方法的单张人脸图像示意图。如图4所示,该三维人脸模型构建方法可以包括:
步骤410,获取单张人脸图像。
比如,在本申请实施例中,执行三维人脸模型构建方法的计算机设备可以获取如图5所示的单张人脸图像。
步骤420,三维人脸重建。
计算机设备可以通过PRNet实现对人脸图像的三维人脸几何重建,得到三维人脸几何结构,该三维人脸几何结构可以是人脸的三维网格结构。
步骤430,人脸语义分割。
计算机设备对获取的单张人脸图像,根据语义分析输出分割结果,比如,在一种可能的实现方式中,该步骤输出的分割结果可以为如图3所示的彩色图片,且图片中使用不同的颜色表征不同区域划分。
步骤440,分割结果后处理。
计算机设备对人脸语义分割所得到的彩色图片进行后处理,生成人脸分割遮罩,该后处理包括人脸分割结果预处理、基于人脸分割结果的人脸图片编辑等等。
其中,人脸分割结果预处理包括:对人脸皮肤区域进行某一阈值范围内的边缘处理和收缩,其中阈值范围可以通过改变计算机设备的相关参数进行设定。
基于人脸分割结果的人脸图片编辑包括,利用人脸分割结果生成的彩色图片和获取的单张人脸图片生成备选人脸图片(对应上述实施例中的滤波后的人脸图像),该过程通过结合人脸分割结果生成的彩色图片对获取的单张人脸图片进行像素遍历处理,遍历处理步骤如下:
1)对于属于人脸区域的像素不做处理;
2)对于不属于人脸区域的像素进行判断,若不属于人脸区域的某一像素点的邻域存在属于人脸区域的皮肤区域,则根据该邻域内的皮肤区域对该像素点进行滤波,使其接近邻域内皮肤区域的像素值。
3)若不属于人脸区域的某一像素点的邻域不存在属于人脸区域的皮肤区域,则跳过该像素。
步骤450,人脸表观提取。
计算机设备使用备选人脸图片代替计算机设备初始获取到的单张人脸图像进行人脸表观提取,通过对三维几何模型中的顶点进行投影变化得到二维空间坐标,并结合最近邻差值或者双线性差值等方法从备选人脸图片中获取像素值作为该三维几何模型中的顶点的颜色。
步骤460,输出三维人脸几何表观。
计算机设备根据人脸表观提取的结果,对三维几何模型进行纹理贴图,从而获得三维人脸几何表观,完成三维人脸几何模型的构建。
请参考图6和图7,其中,图6是本申请实施例所涉及的三维人脸模型构建方法的输出结果的示意图,图7是相关技术所涉及的三维人脸模型构建方法的输出结果的示意图。如图6、图7所示,本申请所提供的三维人脸模型构建方法能减少皮肤区域与背景区域或者头发区域之间的瑕疵,表现在图6中的区域610减少了图7中区域710处的脸颊瑕疵。
综上所述,本申请实施例中提供的三维人脸模型构建方法,通过获取人脸图像,根据该人脸图像构建三维几何模型,同时对人脸图像中的人脸的边缘进行滤波,得到滤波后的人脸图像,从滤波后的人脸图像中提取的该三维几何模型对应的人脸表观,根据该人脸表观以及三维几何模型构建该人脸图像对应的三维人脸模型,将人脸分割技术与三维人脸模型构建技术相结合,使得利用单张人脸图像实现三维人脸模型构建时,在保证人脸表观逼真度的基础上,减少人脸边缘处的瑕疵,提高三维人脸模型构建效果。
上述如图1、图2和图4提供的三维人脸模型构建方法,可以应用于任何通过二维图像构建三维人脸模型的应用场景。
比如,在一种可能的情况下,该计算机设备是三维扫描设备,用户通过将二维人脸图像输入该三维扫描设备,或者由用户启动该三维扫描设备的图像采集功能,由该三维扫描设备实时采集二维人脸图像。该三维扫描设备通过利用图1、图2或图4提供的三维人脸模型构建方法的全部或部分步骤,实现三维人脸模型的构建。
在另一种可能的情况下,该计算机设备是具有三维人脸模型构建功能的用户终端,用户通过用户终端采集二维人脸图片,用户终端或者服务器通过该二维人脸图片以及图1、图2或图4提供的三维人脸模型构建方法的全部或部分步骤,实现三维人脸模型的构建。
在另一种可能的情况下,该计算机设备是具有三维人脸模型构建功能的AR设备,比如AR眼镜,用户可以通过该AR设备观察二维人脸图像,该AR设备将获取到的二维人脸图像上传至服务器,由服务器通过图1、图2或图4提供的三维人脸模型构建方法的全部或部分步骤,实现三维人脸模型的构建,并将人脸模型构建结果传递给AR设备,反馈给用户。
请参考图8,其示出了本申请一个示例性的实施例提供的一种三维人脸模型构建装置的方框图。该三维人脸模型构建装置可以通过软件或者软硬结合的形式实现为计算机设备的全部或者部分,以执行图1、图2或图4对应实施例所示的方法的全部或部分步骤。如图8所示,该三维人脸模型构建装置可以包括:
获取模块810,用于获取人脸图像,该人脸图像为包含人脸的二维图像;
第一构建模块820,用于根据人脸图像构建三维几何模型,所述三维几何模型是表示所述人脸在指定人脸姿态下的三维几何结构的模型;
滤波模块830,对人脸图像中的人脸的边缘进行滤波获得滤波后的人脸图像;
提取模块840,用于从滤波后的人脸图像中提取三维几何模型对应的人脸表观;
第二构建模块850,用于根据人脸表观以及三维几何模构建人脸对应的三维人脸模型。
可选的,所述滤波模块830包括:
第一提取子模块,用于从所述人脸图像中提取人脸区域信息,所述人脸区域信息用于指示所述人脸在所述人脸图像中的区域,以及所述人脸中的面部皮肤在所述人脸图像中的区域;
滤波子模块,用于根据所述人脸区域信息,通过所述人脸图像中的第一像素对所述人脸图像中的第二像素进行滤波,获得所述滤波后的人脸图像;所述第一像素是所述人脸的边缘内侧属于面部皮肤的像素,所述第二像素是所述人脸的边缘外侧的像素。
可选的,第一提取子模块,用于,
对人脸图像进行语义分割,获得人脸分割结果;
根据人脸分割结果获取人脸区域信息。
可选的,第一提取子模块获得的人脸分割结果中包含面部皮肤分割区域,面部皮肤分割区域用于指示人脸中的面部皮肤在人脸图像中的区域;
该第一提取子模块,用于,
对人脸分割结果中的所述面部皮肤分割区域进行预处理,获得处理后的人脸分割结果;预处理包括边缘腐蚀处理和收缩处理中的至少一种;
将处理后的人脸分割结果获取为人脸区域信息。
可选的,滤波子模块,用于,
根据人脸区域信息,确定人脸图像中的第二像素,以及与第二像素相对应的第一像素;
根据与第二像素相对应的第一像素,对第二像素进行滤波,获得滤波后的人脸图像。
可选的,滤波子模块,用于,
根据人脸区域信息,遍历人脸图像中的非人脸区域的像素;非人脸区域是不属于人脸在人脸图像中的区域;
若当前遍历的像素周围指定像素范围内存在至少一个目标像素,则将当前遍历的像素确定为第二像素,并将至少一个目标像素确定为与第二像素相对应的第一像素;该目标像素是属于人脸中的面部皮肤的像素。
可选的,滤波子模块,用于,
通过指定的滤波算法,根据与第二像素相对应的第一像素的像素值,对第二像素的像素值进行滤波,获得滤波后的人脸图像。
可选的,滤波算法包括:
高斯滤波、均值滤波、双波滤波以及中值滤波中的至少一种。
可选的,提取模块840,包括:
第一获取子模块,用于将三维几何模型中的各个顶点投影到滤波后的人脸图像对应的投影平面上,获得各个顶点在滤波后的人脸图像中的二维坐标;
第二提取子模块,用于根据各个顶点在滤波后的人脸图像中的二维坐标,从人脸图像中提取各个顶点的人脸表观。
可选的,第二提取子模块所提取的各个顶点的人脸表观包括滤波后的人脸图像中的像素值。
综上所述,本申请实施例中提供的三维人脸模型构建装置,当该三维人脸模型构建装置在计算机设备中应用时,通过获取人脸图像,根据该人脸图像构建三维几何模型,同时对人脸图像中的人脸的边缘进行滤波,得到滤波后的人脸图像,从滤波后的人脸图像中提取的该三维几何模型对应的人脸表观,根据该人脸表观以及三维几何模型构建该人脸图像对应的三维人脸模型,将人脸分割技术与三维人脸模型构建技术相结合,使得利用单张人脸图像实现三维人脸模型构建时,在保证人脸表观逼真度的基础上,减少人脸边缘处的瑕疵,提高三维人脸模型构建效果。
图9是根据一示例性实施例示出的计算机设备900的结构框图。该计算机设备900可以是三维扫描设备、图形工作站、用户终端或者服务器等等
通常,计算机设备900包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的排行榜展示方法。
在一些实施例中,计算机设备900还可选包括有:外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏905用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置计算机设备900的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在计算机设备900的不同表面或呈折叠设计;在再一些实施例中,显示屏905可以是柔性显示屏,设置在计算机设备900的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图形,也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
定位组件908用于定位计算机设备900的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源909用于为计算机设备900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,计算机设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以计算机设备900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测计算机设备900的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对计算机设备900的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在计算机设备900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在计算机设备900的侧边框时,可以检测用户对计算机设备900的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时,由处理器901根据用户对触摸显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹,由处理器901根据指纹传感器914采集到的指纹识别用户的身份,或者,由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器901授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置计算机设备900的正面、背面或侧面。当计算机设备900上设置有物理按键或厂商Logo时,指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制触摸显示屏905的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏905的显示亮度;当环境光强度较低时,调低触摸显示屏905的显示亮度。在另一个实施例中,处理器901还可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在计算机设备900的前面板。接近传感器916用于采集用户与计算机设备900的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与计算机设备900的正面之间的距离逐渐变小时,由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与计算机设备900的正面之间的距离逐渐变大时,由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图9中示出的结构并不构成对计算机设备900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在一示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括至少一条指令、至少一段程序、代码集或指令集的存储器,上述至少一条指令、至少一段程序、代码集或指令集可由处理器执行以完成上述图1、图2或图4任一实施例所示的方法的全部或者部分步骤。例如,所述非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (13)
1.一种三维人脸模型构建方法,其特征在于,所述方法包括:
获取人脸图像,所述人脸图像为包含人脸的二维图像;
根据所述人脸图像构建三维几何模型,所述三维几何模型是表示所述人脸在指定人脸姿态下的三维几何结构的模型;
从所述人脸图像中提取人脸区域信息,所述人脸区域信息用于指示所述人脸在所述人脸图像中的区域,以及所述人脸中的面部皮肤在所述人脸图像中的区域;
根据所述人脸区域信息,通过所述人脸图像中的第一像素对所述人脸图像中的第二像素进行滤波,获得滤波后的人脸图像;所述第一像素是所述人脸的边缘内侧属于面部皮肤的像素,所述第二像素是所述人脸的边缘外侧的像素;
从所述滤波后的人脸图像中提取所述三维几何模型对应的人脸表观;
根据所述人脸表观以及所述三维几何模型构建所述人脸图像对应的三维人脸模型。
2.根据权利要求1所述的方法,其特征在于,所述从所述人脸图像中提取人脸区域信息,包括:
对所述人脸图像进行语义分割,获得人脸分割结果;
根据所述人脸分割结果获取所述人脸区域信息。
3.根据权利要求2所述的方法,其特征在于,所述人脸分割结果中包含面部皮肤分割区域,所述面部皮肤分割区域用于指示所述人脸中的面部皮肤在所述人脸图像中的区域;
所述根据所述人脸分割结果获取所述人脸区域信息,包括:
对所述人脸分割结果中的所述面部皮肤分割区域进行预处理,获得处理后的人脸分割结果;所述预处理包括边缘腐蚀处理和收缩处理中的至少一种;
将处理后的人脸分割结果获取为所述人脸区域信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述人脸区域信息,通过所述人脸图像中的第一像素对所述人脸图像中的第二像素进行滤波,获得滤波后的人脸图像,包括:
根据所述人脸区域信息,确定所述人脸图像中的所述第二像素,以及与所述第二像素相对应的所述第一像素;
根据与所述第二像素相对应的所述第一像素,对所述第二像素进行滤波,获得所述滤波后的人脸图像。
5.根据权利要求4所述的方法,其特征在于,所述根据所述人脸区域信息,确定所述人脸图像中的所述第二像素,以及与所述第二像素相对应的所述第一像素,包括:
根据所述人脸区域信息,遍历所述人脸图像中的非人脸区域的像素;所述非人脸区域是不属于所述人脸在所述人脸图像中的区域;
若当前遍历的像素周围指定像素范围内存在至少一个目标像素,则将所述当前遍历的像素确定为所述第二像素,并将所述至少一个目标像素确定为与所述第二像素相对应的所述第一像素;所述目标像素是属于所述人脸中的面部皮肤的像素。
6.根据权利要求4所述的方法,其特征在于,所述根据与所述第二像素相对应的所述第一像素,对所述第二像素进行滤波,获得所述滤波后的人脸图像,包括:
通过指定的滤波算法,根据与所述第二像素相对应的所述第一像素的像素值,对所述第二像素的像素值进行滤波,获得所述滤波后的人脸图像。
7.根据权利要求6所述的方法,其特征在于,所述滤波算法包括:
高斯滤波、均值滤波、双波滤波以及中值滤波中的至少一种。
8.根据权利要求1至7任一所述的方法,其特征在于,所述从所述滤波后的人脸图像中提取所述三维几何模型对应的人脸表观,包括:
将所述三维几何模型中的各个顶点投影到所述滤波后的人脸图像对应的投影平面上,获得所述各个顶点在所述滤波后的人脸图像中的二维坐标;
根据所述各个顶点在所述滤波后的人脸图像中的二维坐标,从所述人脸图像中提取所述各个顶点的人脸表观。
9.根据权利要求8所述的方法,其特征在于,所述人脸表观包括所述滤波后的人脸图像中的像素值。
10.一种三维人脸模型构建装置,其特征在于,所述装置包括:
获取模块,用于获取人脸图像,所述人脸图像为包含人脸的二维图像;
第一构建模块,用于根据所述人脸图像构建三维几何模型,所述三维几何模型是表示所述人脸在指定人脸姿态下的三维几何结构的模型;
滤波模块,所述滤波模块包括第一提取子模块和滤波子模块;
所述第一提取子模块,用于从所述人脸图像中提取人脸区域信息,所述人脸区域信息用于指示所述人脸在所述人脸图像中的区域,以及所述人脸中的面部皮肤在所述人脸图像中的区域;
所述滤波子模块,用于根据所述人脸区域信息,通过所述人脸图像中的第一像素对所述人脸图像中的第二像素进行滤波,获得滤波后的人脸图像;所述第一像素是所述人脸的边缘内侧属于面部皮肤的像素,所述第二像素是所述人脸的边缘外侧的像素;
提取模块,用于从所述滤波后的人脸图像中提取所述三维几何模型对应的人脸表观;
第二构建模块,用于根据所述人脸表观以及所述三维几何模进构建所述人脸对应的三维人脸模型。
11.根据权利要求10所述的装置,其特征在于,所述第一提取子模块,用于,
对所述人脸图像进行语义分割,获得人脸分割结果;
根据所述人脸分割结果获取所述人脸区域信息。
12.一种计算机设备,其特征在于,计算机设备包含处理器和存储器,所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的三维人脸模型构建方法。
13.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一所述的三维人脸模型构建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910933584.0A CN110675413B (zh) | 2019-09-27 | 2019-09-27 | 三维人脸模型构建方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910933584.0A CN110675413B (zh) | 2019-09-27 | 2019-09-27 | 三维人脸模型构建方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110675413A CN110675413A (zh) | 2020-01-10 |
CN110675413B true CN110675413B (zh) | 2020-11-13 |
Family
ID=69080196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910933584.0A Active CN110675413B (zh) | 2019-09-27 | 2019-09-27 | 三维人脸模型构建方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110675413B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111652878B (zh) * | 2020-06-16 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置、计算机设备及存储介质 |
CN114140580A (zh) * | 2021-11-22 | 2022-03-04 | 聚好看科技股份有限公司 | 一种手部三维模型的纹理调节方法及设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003021533A1 (en) * | 2001-08-31 | 2003-03-13 | Massachusetts Institute Of Technology | Color image segmentation in an object recognition system |
CN101339669A (zh) * | 2008-07-29 | 2009-01-07 | 上海师范大学 | 基于正侧面影像的三维人脸建模方法 |
CN103971408A (zh) * | 2014-05-21 | 2014-08-06 | 中国科学院苏州纳米技术与纳米仿生研究所 | 三维人脸模型生成系统及方法 |
CN105956582A (zh) * | 2016-06-24 | 2016-09-21 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
KR20160144699A (ko) * | 2015-06-09 | 2016-12-19 | 오인환 | 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법 |
CN108898665A (zh) * | 2018-06-15 | 2018-11-27 | 上饶市中科院云计算中心大数据研究院 | 三维人脸重建方法、装置、设备及计算机可读存储介质 |
CN109767487A (zh) * | 2019-01-04 | 2019-05-17 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
CN109920049A (zh) * | 2019-02-26 | 2019-06-21 | 清华大学 | 边缘信息辅助精细三维人脸重建方法及系统 |
WO2019162420A1 (en) * | 2018-02-26 | 2019-08-29 | Didimo, Inc. | Automatic rig creation process |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592136B (zh) * | 2011-12-21 | 2013-10-16 | 东南大学 | 基于几何图像中中频信息的三维人脸识别方法 |
WO2013112749A1 (en) * | 2012-01-24 | 2013-08-01 | University Of Southern California | 3d body modeling, from a single or multiple 3d cameras, in the presence of motion |
CN109978989B (zh) * | 2019-02-26 | 2023-08-01 | 腾讯科技(深圳)有限公司 | 三维人脸模型生成方法、装置、计算机设备及存储介质 |
-
2019
- 2019-09-27 CN CN201910933584.0A patent/CN110675413B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003021533A1 (en) * | 2001-08-31 | 2003-03-13 | Massachusetts Institute Of Technology | Color image segmentation in an object recognition system |
CN101339669A (zh) * | 2008-07-29 | 2009-01-07 | 上海师范大学 | 基于正侧面影像的三维人脸建模方法 |
CN103971408A (zh) * | 2014-05-21 | 2014-08-06 | 中国科学院苏州纳米技术与纳米仿生研究所 | 三维人脸模型生成系统及方法 |
KR20160144699A (ko) * | 2015-06-09 | 2016-12-19 | 오인환 | 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법 |
CN105956582A (zh) * | 2016-06-24 | 2016-09-21 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
WO2019162420A1 (en) * | 2018-02-26 | 2019-08-29 | Didimo, Inc. | Automatic rig creation process |
CN108898665A (zh) * | 2018-06-15 | 2018-11-27 | 上饶市中科院云计算中心大数据研究院 | 三维人脸重建方法、装置、设备及计算机可读存储介质 |
CN109767487A (zh) * | 2019-01-04 | 2019-05-17 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
CN109920049A (zh) * | 2019-02-26 | 2019-06-21 | 清华大学 | 边缘信息辅助精细三维人脸重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110675413A (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110929651B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110189340B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
US11481923B2 (en) | Relocalization method and apparatus in camera pose tracking process, device, and storage medium | |
EP3779883A1 (en) | Method and device for repositioning in camera orientation tracking process, and storage medium | |
CN110555839A (zh) | 缺陷检测识别方法、装置、计算机设备及存储介质 | |
CN113205568B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111738220A (zh) | 三维人体姿态估计方法、装置、设备及介质 | |
CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
CN111243093A (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
CN111325699B (zh) | 图像修复方法和图像修复模型的训练方法 | |
CN108830186B (zh) | 文本图像的内容提取方法、装置、设备及存储介质 | |
CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
CN113570052B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN112257552B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN111242090A (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
CN112287852A (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
CN111680758B (zh) | 图像训练样本生成方法和装置 | |
CN114170349A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
CN113706678A (zh) | 获取虚拟形象的方法、装置、设备及计算机可读存储介质 | |
CN111738914A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN113706440A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN110675413B (zh) | 三维人脸模型构建方法、装置、计算机设备及存储介质 | |
CN110807769B (zh) | 图像显示控制方法及装置 | |
CN113723164A (zh) | 获取边缘差异信息的方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40020845 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |