CN114049674A - 一种三维人脸重建方法、装置及存储介质 - Google Patents

一种三维人脸重建方法、装置及存储介质 Download PDF

Info

Publication number
CN114049674A
CN114049674A CN202111409869.8A CN202111409869A CN114049674A CN 114049674 A CN114049674 A CN 114049674A CN 202111409869 A CN202111409869 A CN 202111409869A CN 114049674 A CN114049674 A CN 114049674A
Authority
CN
China
Prior art keywords
dimensional
face
view
face image
dimensional face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111409869.8A
Other languages
English (en)
Inventor
樊梦妮
余辰
吕现伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Ezhou Institute of Industrial Technology Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202111409869.8A priority Critical patent/CN114049674A/zh
Publication of CN114049674A publication Critical patent/CN114049674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

一种三维人脸重建方法、装置及存储介质,所述方法包括步骤:获取多视角三维人脸图像;对所述多视角三维人脸图像进行三维重建处理;对所述多视角三维人脸图像进行形状刻画;对所述多视角三维人脸图像进行纹理渲染;根据所述多视角三维人脸图像构建三维人脸模型。本申请提供的一种三维人脸重建方法、装置及存储介质在保证快速获得三维人脸轮廓特征的同时,可以精准渲染人脸纹理以及高频细节,并且利用可信度更高的人脸区域构建出更为准确的3D人脸模型。

Description

一种三维人脸重建方法、装置及存储介质
技术领域
本发明属于三维人脸模型技术领域,具体涉及一种三维人脸重建方法、装置及存储介质。
背景技术
三维人脸模型能够增加人脸编辑和人脸识别等应用的参考维度,能够实现更精确的人脸图像生成、人脸图像编辑等任务,现有的基于3DMM使用深度神经网络对多视角人脸图像生成三维模型的技术在形状以及纹理模型的重建精度上均有不足,当对多视角的人脸图像重建时将其重建后的模型做了归一化处理,在对人脸数据应用不足的同时也会有不小程度的丢失或改变人脸的三维特性。
使用传统的Gan方式对人脸纹理模型做优化能够恢复的是纹理的精度,在3DMM的人脸表达方式中,三维人脸的形状向量和纹理向量是分开的,也就是纹理模型的高精度优化,并无法提升形状模型的精度,即生成的人脸模型在皮肤上的像素级别的色彩有提升,但其内在的三维结构点云数据对三维人脸的表达精度仍旧没有提升。
传统的形状模型重建使用的BFM模型是一种基础的3DMM模型,形状向量参数维度有限,同时为了防止过拟合,传统的神经网络算法回归的形状参数维度也会被限制在99维度以下,同时对于一般的三维人脸重建算法采用的形状和纹理同时重建的策略,在损失函数上网络的注意力并不能全部集中在形状参数的拟合上,从而会出现形状精度不足的情况,同时在拟合形状参数的同时使用的landmark损失函数并没有区别对待人脸的重要区域和非重要区域,导致对人脸五官、眼角等出现皱纹的区域没有加强关注和加强拟合程度。
对于多视角的人脸数据,现有算法也是对其中各张人脸单独重建后的模型做简单的加权平均或者高表现挑选,不能充分利用人脸的角度、区域置信度等信息。目前的三维人脸重建方法通过同一网络模型同时构建人脸形状和人脸纹理信息,使用卷积神经网络回归形状模型参数,精度不够。多视角人脸重建三维图像没有充分利用多视角人脸特征,简单的人脸模型平均人脸五官区域形状细节刻画不够。
发明内容
鉴于上述问题,本发明提供克服上述问题或者至少部分地解决上述问题的一种三维人脸重建方法、装置及存储介质。
为解决上述技术问题,本发明提供了一种三维人脸重建方法,所述方法包括步骤:
获取多视角三维人脸图像;
对所述多视角三维人脸图像进行三维重建处理;
对所述多视角三维人脸图像进行形状刻画;
对所述多视角三维人脸图像进行纹理渲染;
根据所述多视角三维人脸图像构建三维人脸模型。
优选地,所述对所述多视角三维人脸图像进行三维重建处理包括步骤:
对所有所述多视角三维人脸图像进行身份标注并得到初始人脸数据库;
对所述初始人脸数据库中的每一人脸图像进行截取选定;
对截取选定区域进行六十八点特征点标注并得到初步处理人脸数据库;
对所述初步处理人脸数据库进行非刚性变换对齐并得到3DMM格式人脸数据库。
优选地,所述对所述多视角三维人脸图像进行形状刻画包括步骤:
获取深度卷积神经网络;
对所述深度卷积神经网络进行3D人脸重建并得到重建卷积神经网络;
去除所述重建卷积神经网络中纹理构建的网络结构;
使用3DMM格式人脸数据库对所述重建卷积神经网络进行训练;
使用损失函数对人脸形状参数进行参数求解;
调高五官特征权重。
优选地,所述对所述多视角三维人脸图像进行纹理渲染包括步骤:
获取3DMM格式人脸数据库;
使用生成对抗网络训练所述3DMM格式人脸数据库并得到三维人脸形状;
使用所述生成对抗网络对所述三维人脸形状进行纹理细节渲染。
优选地,所述根据所述多视角三维人脸图像构建三维人脸模型包括步骤:
获取重构三维人脸;
在所述多视角三维人脸图像上划定所述重构三维人脸的置信区域;
根据所述置信区域将所述多视角三维人脸图像进行加权构建。
优选地,所述对截取选定区域进行六十八点特征点标注并得到初步处理人脸数据库包括步骤:
分别以左耳、头顶、鼻子为X、Y、Z轴的正方向在所述多视角三维人脸图像上建立三维坐标;
沿Z轴的负方向在人脸下巴处选择两个点的位置为截取边界;
对截取后的所述多视角三维人脸图像标注人脸特征点规范中的六十八点标注点。
优选地,所述在所述多视角三维人脸图像上划定所述重构三维人脸的置信区域包括步骤:
计算不同视角的所述多视角三维人脸图像对比正脸图像的形变程度;
根据所述形变程度划定置信区域;
比较所有所述置信区域的可用性;
将所述可用性大于预设阈值对应的所述置信区域设置大于预设阈值的权重。
本申请还提供了一种三维人脸重建装置,所述装置包括步骤:
多视角三维人脸图像获取模块,用于获取多视角三维人脸图像;
三维重建处理模块,用于对所述多视角三维人脸图像进行三维重建处理;
形状刻画模块,用于对所述多视角三维人脸图像进行形状刻画;
纹理渲染模块,用于对所述多视角三维人脸图像进行纹理渲染;
三维人脸模型构建模块,用于根据所述多视角三维人脸图像构建三维人脸模型。
本申请还提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述任一所述三维人脸重建方法。
本申请还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述任一所述三维人脸重建方法。
本发明实施例中的一个或多个技术方案,至少具有如下技术效果或优点:本申请提供的一种三维人脸重建方法、装置及存储介质在保证快速获得三维人脸轮廓特征的同时,可以精准渲染人脸纹理以及高频细节,并且利用可信度更高的人脸区域构建出更为准确的3D人脸模型。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种三维人脸重建方法的流程示意图;
图2是本发明实施例提供的一种三维人脸重建装置的结构示意图;
图3是本发明实施例提供的一种电子设备的结构示意图;
图4是本发明实施例提供的一种非暂态计算机可读存储介质的结构示意图。
具体实施方式
下文将结合具体实施方式和实施例,具体阐述本发明,本发明的优点和各种效果将由此更加清楚地呈现。本领域技术人员应理解,这些具体实施方式和实施例是用于说明本发明,而非限制本发明。
在整个说明书中,除非另有特别说明,本文使用的术语应理解为如本领域中通常所使用的含义。因此,除非另有定义,本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾,本说明书优先。
除非另有特别说明,本发明中用到的各种原材料、试剂、仪器和设备等,均可通过市场购买得到或者可通过现有方法制备得到。
如图1,在本申请实施例中,本发明提供了一种三维人脸重建方法,所述方法包括步骤:
S1:获取多视角三维人脸图像;
在本申请实施例中,采用三维人脸采集设备对每一个身份的多个角度进行人脸图像采集,可以捕获每一身份的多视角三维人脸图像。
S2:对所述多视角三维人脸图像进行三维重建处理;
在本申请实施例中,所述对所述多视角三维人脸图像进行三维重建处理包括步骤:
对所有所述多视角三维人脸图像进行身份标注并得到初始人脸数据库;
对所述初始人脸数据库中的每一人脸图像进行截取选定;
对截取选定区域进行六十八点特征点标注并得到初步处理人脸数据库;
对所述初步处理人脸数据库进行非刚性变换对齐并得到3DMM格式人脸数据库。
在本申请实施例中,当采集得到多视角三维人脸图像后一一进行身份标注,此时可以得到初始人脸数据库;然后对初始人脸数据库中的每一人脸图像进行截取选定,将截取选定的区域进行六十八点特征点标注厚作为初步处理后的初步处理人脸数据库;接着将初步处理后的初步处理人脸数据库使用非刚性变换对齐操作得到3DMM格式的3DMM格式人脸数据库。
在本申请实施例中,所述对截取选定区域进行六十八点特征点标注并得到初步处理人脸数据库包括步骤:
分别以左耳、头顶、鼻子为X、Y、Z轴的正方向在所述多视角三维人脸图像上建立三维坐标;
沿Z轴的负方向在人脸下巴处选择两个点的位置为截取边界;
对截取后的所述多视角三维人脸图像标注人脸特征点规范中的六十八点标注点。
在本申请实施例中,先为三维人脸建立三位坐标,此时分别以左耳、头顶、鼻子为X、Y、Z轴的正方向在所述多视角三维人脸图像上建立三维坐标,按照标注后的人脸标志点沿Z轴的负方向在人脸下巴处选择两个点的位置为截取边界,对于截取后的人脸标注人脸特征点规范中的六十八点标注点。
S3:对所述多视角三维人脸图像进行形状刻画;
在本申请实施例中,所述对所述多视角三维人脸图像进行形状刻画包括步骤:
获取深度卷积神经网络;
对所述深度卷积神经网络进行3D人脸重建并得到重建卷积神经网络;
去除所述重建卷积神经网络中纹理构建的网络结构;
使用3DMM格式人脸数据库对所述重建卷积神经网络进行训练;
使用损失函数对人脸形状参数进行参数求解;
调高五官特征权重。
在本申请实施例中,当对所述多视角三维人脸图像进行形状刻画时,首先对深度卷积神经网络进行3D人脸重建并得到重建卷积神经网络,然后去除重建卷积神经网络中纹理构建的网络结构部分,并使用标注后的3DMM格式人脸数据库采用监督学习的方式对处理后的重建卷积神经网络进行训练。在训练时,使用非对称欧拉损失和landmark损失作为损失函数来对人脸形状参数进行参数求解,加强更能区分人脸身份的五官特征的权重,以加大不同人脸的区分度,拉大类间距离。
在本申请实施例中,3D人脸形状的重建包括人脸的轮廓重建以及五官的形状重建,非对称的欧拉损失可同时对两者进行回归重建,landmark损失能够加强对特征点的惩罚力度,从而让五官能够很好的拟合。
S4:对所述多视角三维人脸图像进行纹理渲染;
在本申请实施例中,所述对所述多视角三维人脸图像进行纹理渲染包括步骤:
获取3DMM格式人脸数据库;
使用生成对抗网络训练所述3DMM格式人脸数据库并得到三维人脸形状;
使用所述生成对抗网络对所述三维人脸形状进行纹理细节渲染。
在本申请实施例中,当使用生成对抗网络训练3DMM格式人脸数据库并得到三维人脸形状时,具体地,训练时将真样本集标签全置为1,用于训练判别网络,然后采用生成-判别网络串接的方式,先用生成对抗网络生成样本集,并将该样本集标签置为1,然后将数据输入判别网络,产生的误差不更新判别网络参数只进行回传,对生成对抗网络的参数进行更新,以此交替迭代训练得到最终的生成对抗网络。当使用所述生成对抗网络对所述三维人脸形状进行纹理细节渲染时,具体地,将构建出的三维人脸形状图像输入训练完成的生成对抗网络,构建出带有纹理细节信息的人脸图像。
S5:根据所述多视角三维人脸图像构建三维人脸模型。
在本申请实施例中,所述根据所述多视角三维人脸图像构建三维人脸模型包括步骤:
获取重构三维人脸;
在所述多视角三维人脸图像上划定所述重构三维人脸的置信区域;
根据所述置信区域将所述多视角三维人脸图像进行加权构建。
在本申请实施例中,所述在所述多视角三维人脸图像上划定所述重构三维人脸的置信区域包括步骤:
计算不同视角的所述多视角三维人脸图像对比正脸图像的形变程度;
根据所述形变程度划定置信区域;
比较所有所述置信区域的可用性;
将所述可用性大于预设阈值对应的所述置信区域设置大于预设阈值的权重。
在本申请实施例中,可根据不同视角的人脸图像对比正脸图像的形变程度来划定置信度,并将可用性高的区域范围设置更高的权重。形变程度的检测使用opencv提取人脸关键点,计算人脸旋转角度,根据旋转角度;根据旋转角度选定人脸可信度区域,可信度区域大小确定:宽度为双眼外眼角距离,长度为整个3DMM人脸的长度,为一个条形区域。
在本申请实施例中,根据旋转角度旋转移动该条形区域;使用人脸识别算法计算人脸图像的相似度,通过相似度来确定最终的权重,非置信度区域的置信度权重定为1;置信度区域的权重公式如下:
Figure BDA0003370947200000081
在本申请实施例中,依据设定的人脸置信度区域将构建出的同一身份的不同视角的所有图像进行加权融合,构建得到最终的三维人脸图像。每个三维点的最终坐标计算公式如下:
Figure BDA0003370947200000091
其中,Wi表示点point的权重。
如图2,在本申请实施例中,本申请还提供了一种三维人脸重建装置,所述装置包括步骤:
多视角三维人脸图像获取模块10,用于获取多视角三维人脸图像;
三维重建处理模块20,用于对所述多视角三维人脸图像进行三维重建处理;
形状刻画模块30,用于对所述多视角三维人脸图像进行形状刻画;
纹理渲染模块40,用于对所述多视角三维人脸图像进行纹理渲染;
三维人脸模型构建模块50,用于根据所述多视角三维人脸图像构建三维人脸模型。
本申请提供的一种三维人脸重建装置可以执行上述步骤提供的一种三维人脸重建方法。
下面参考图3,其示出了适于用来实现本公开实施例的电子设备100的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示,电子设备100可以包括处理装置(例如中央处理器、图形处理器等)101,其可以根据存储在只读存储器(ROM)102中的程序或者从存储装置108加载到随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM 103中,还存储有电子设备100操作所需的各种程序和数据。处理装置101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。
通常,以下装置可以连接至I/0接口105:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置106;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置107;包括例如磁带、硬盘等的存储装置108;以及通信装置109。通信装置109可以允许电子设备100与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备100,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置109从网络上被下载和安装,或者从存储装置108被安装,或者从ROM102被安装。在该计算机程序被处理装置101执行时,执行本公开实施例的方法中限定的上述功能。
下面参考图4,其示出了适于用来实现本公开实施例的计算机可读存储介质的结构示意图,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时能够实现如上述中任一所述的三维人脸重建方法。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取至少两个网际协议地址;向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求,其中,所述节点评价设备从所述至少两个网际协议地址中,选取网际协议地址并返回;接收所述节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从所述至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本申请提供的一种三维人脸重建方法、装置及存储介质在保证快速获得三维人脸轮廓特征的同时,可以精准渲染人脸纹理以及高频细节,并且利用可信度更高的人脸区域构建出更为准确的3D人脸模型。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种三维人脸重建方法,其特征在于,所述方法包括步骤:
获取多视角三维人脸图像;
对所述多视角三维人脸图像进行三维重建处理;
对所述多视角三维人脸图像进行形状刻画;
对所述多视角三维人脸图像进行纹理渲染;
根据所述多视角三维人脸图像构建三维人脸模型。
2.根据权利要求1所述的三维人脸重建方法,其特征在于,所述对所述多视角三维人脸图像进行三维重建处理包括步骤:
对所有所述多视角三维人脸图像进行身份标注并得到初始人脸数据库;
对所述初始人脸数据库中的每一人脸图像进行截取选定;
对截取选定区域进行六十八点特征点标注并得到初步处理人脸数据库;
对所述初步处理人脸数据库进行非刚性变换对齐并得到3DMM格式人脸数据库。
3.根据权利要求1所述的三维人脸重建方法,其特征在于,所述对所述多视角三维人脸图像进行形状刻画包括步骤:
获取深度卷积神经网络;
对所述深度卷积神经网络进行3D人脸重建并得到重建卷积神经网络;
去除所述重建卷积神经网络中纹理构建的网络结构;
使用3DMM格式人脸数据库对所述重建卷积神经网络进行训练;
使用损失函数对人脸形状参数进行参数求解;
调高五官特征权重。
4.根据权利要求1所述的三维人脸重建方法,其特征在于,所述对所述多视角三维人脸图像进行纹理渲染包括步骤:
获取3DMM格式人脸数据库;
使用生成对抗网络训练所述3DMM格式人脸数据库并得到三维人脸形状;
使用所述生成对抗网络对所述三维人脸形状进行纹理细节渲染。
5.根据权利要求1所述的三维人脸重建方法,其特征在于,所述根据所述多视角三维人脸图像构建三维人脸模型包括步骤:
获取重构三维人脸;
在所述多视角三维人脸图像上划定所述重构三维人脸的置信区域;
根据所述置信区域将所述多视角三维人脸图像进行加权构建。
6.根据权利要求2所述的三维人脸重建方法,其特征在于,所述对截取选定区域进行六十八点特征点标注并得到初步处理人脸数据库包括步骤:
分别以左耳、头顶、鼻子为X、Y、Z轴的正方向在所述多视角三维人脸图像上建立三维坐标;
沿Z轴的负方向在人脸下巴处选择两个点的位置为截取边界;
对截取后的所述多视角三维人脸图像标注人脸特征点规范中的六十八点标注点。
7.根据权利要求5所述的三维人脸重建方法,其特征在于,所述在所述多视角三维人脸图像上划定所述重构三维人脸的置信区域包括步骤:
计算不同视角的所述多视角三维人脸图像对比正脸图像的形变程度;
根据所述形变程度划定置信区域;
比较所有所述置信区域的可用性;
将所述可用性大于预设阈值对应的所述置信区域设置大于预设阈值的权重。
8.一种三维人脸重建装置,其特征在于,所述装置包括步骤:
多视角三维人脸图像获取模块,用于获取多视角三维人脸图像;
三维重建处理模块,用于对所述多视角三维人脸图像进行三维重建处理;
形状刻画模块,用于对所述多视角三维人脸图像进行形状刻画;
纹理渲染模块,用于对所述多视角三维人脸图像进行纹理渲染;
三维人脸模型构建模块,用于根据所述多视角三维人脸图像构建三维人脸模型。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述任一权利要求1-7所述三维人脸重建方法。
10.一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述任一权利要求1-7所述三维人脸重建方法。
CN202111409869.8A 2021-11-24 2021-11-24 一种三维人脸重建方法、装置及存储介质 Pending CN114049674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111409869.8A CN114049674A (zh) 2021-11-24 2021-11-24 一种三维人脸重建方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111409869.8A CN114049674A (zh) 2021-11-24 2021-11-24 一种三维人脸重建方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114049674A true CN114049674A (zh) 2022-02-15

Family

ID=80210961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111409869.8A Pending CN114049674A (zh) 2021-11-24 2021-11-24 一种三维人脸重建方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114049674A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648615A (zh) * 2022-05-24 2022-06-21 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648615A (zh) * 2022-05-24 2022-06-21 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质
CN114648615B (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
WO2019018063A1 (en) FINAL GRAIN IMAGE RECOGNITION
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN110163087B (zh) 一种人脸姿态识别方法及系统
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN109670444B (zh) 姿态检测模型的生成、姿态检测方法、装置、设备及介质
CN110796721A (zh) 虚拟形象的颜色渲染方法、装置、终端及存储介质
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
CN111524216B (zh) 生成三维人脸数据的方法和装置
CN109754464B (zh) 用于生成信息的方法和装置
CN113570052B (zh) 图像处理方法、装置、电子设备及存储介质
CN110211195B (zh) 生成图像集合的方法、装置、电子设备和计算机可读存储介质
CN112927363A (zh) 体素地图构建方法及装置、计算机可读介质和电子设备
CN112232311B (zh) 人脸跟踪方法、装置及电子设备
CN111414879A (zh) 人脸遮挡程度识别方法、装置、电子设备及可读存储介质
CN111402122A (zh) 图像的贴图处理方法、装置、可读介质和电子设备
CN110619656A (zh) 基于双目摄像头的人脸检测跟踪方法、装置及电子设备
CN113744286A (zh) 虚拟头发生成方法及装置、计算机可读介质和电子设备
CN109829431B (zh) 用于生成信息的方法和装置
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
CN111815748A (zh) 一种动画处理方法、装置、存储介质及电子设备
CN109816791B (zh) 用于生成信息的方法和装置
CN110197459B (zh) 图像风格化生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination