CN112002014A - 面向精细结构的三维人脸重建方法、系统、装置 - Google Patents

面向精细结构的三维人脸重建方法、系统、装置 Download PDF

Info

Publication number
CN112002014A
CN112002014A CN202010892658.3A CN202010892658A CN112002014A CN 112002014 A CN112002014 A CN 112002014A CN 202010892658 A CN202010892658 A CN 202010892658A CN 112002014 A CN112002014 A CN 112002014A
Authority
CN
China
Prior art keywords
face
dimensional
image
shape
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010892658.3A
Other languages
English (en)
Other versions
CN112002014B (zh
Inventor
朱翔昱
雷震
于畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010892658.3A priority Critical patent/CN112002014B/zh
Publication of CN112002014A publication Critical patent/CN112002014A/zh
Application granted granted Critical
Publication of CN112002014B publication Critical patent/CN112002014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理与模式识别技术领域，具体涉及一种面向精细结构的三维人脸重建方法、系统、装置，旨在解决三维人脸重建精度较差的问题。本发明方法包括：获取待重建的二维人脸图像；获取三维空间变换函数和初始的三维人脸形状；对初始的三维人脸形状进行空间变换，并将图像脸部区域的各像素映射到3DMM模型的UV纹理空间，得到UV纹理图；获取UV可见图并提取特征，得到注意力特征图；将初始的三维人脸形状各点映射到UV纹理空间，得到UV形状图；将注意力特征图、UV纹理图相乘后与UV形状图相加；获取3DMM人脸模型各点的更新量，并与初始的三维人脸形状对应的各点相加，得到三维重建结果。本发明提高了人脸模型重建的精度。

Description

面向精细结构的三维人脸重建方法、系统、装置
技术领域
本发明属于图像处理与模式识别技术领域，具体涉及一种面向精细结构的三维人脸重建方法、系统、装置。
背景技术
目前的三维人脸重建算法大都基于三维可变模型(3DMM)进行形状重建。然而，其中大部分人脸模型的构建都只用了几百个扫描点云，年龄跨度和种族跨度都很小，并且这些图像往往都是在受控的环境中拍摄的，人脸处于正面且表情自然。这样小的训练集远不足以描述实际中人脸可能存在的所有变化，因此这些模型在表情或者姿态变化较大的图片上往往表现比较差。
现有主流方法是基于卷积神经网络对二维人脸图像进行重建，一般需要大量的稠密三维人脸点云及对应的人脸图像作为训练数据进行监督。手工标注这些数据成本高昂，很难实现。为此现有的三维数据集往往先标注几十个关键点，然后用这些关键点去拟合3DMM模型，作为网络训练的标签。但是这种方式会使得三维形状损失很多细节，特别是在关键点不够密集的脸颊区域，重建结果往往模型感较强。在这样的数据集上训练得到的模型，在面对表情或者姿态较大的人脸时，往往表现得不够理想。
针对现有基于3DMM模型进行三维人脸重建方法的重建结果缺乏细节、模型感强的缺陷，本发明从训练数据构造和深度学习模型设计两方面提出了基于卷积神经网络的精细三维人脸重建，使得三维人脸重建结果包含更丰富的纹理信息，更加精准。
发明内容
为了解决现有技术中的上述问题，即为了解决现有基于3DMM模型进行三维人脸重建存在缺乏细节、模型感强，导致重建精度较差的问题，本发明提出了一种面向精细结构的三维人脸重建方法，该方法包括：
步骤S10，获取待重建的二维人脸图像，作为输入图像；
步骤S20，对所述输入图像进行关键点检测并拟合3DMM模型的参数，得到三维空间变换函数和初始的三维人脸形状；
步骤S30，根据所述空间变换函数对所述初始的三维人脸形状进行空间变换，得到拟合的3DMM人脸模型上各点在所述输入图像上的位置，根据所述位置将输入图像脸部区域的各像素映射到3DMM人脸模型的UV纹理空间，得到UV纹理图；
步骤S40，对所述3DMM人脸模型，计算其各点在所述输入图像上对应的法线向量，并将各法线向量的z坐标映射到其的UV纹理空间，得到UV可见图；通过卷积神经网络提取所述UV可见图的特征，得到注意力特征图；
步骤S50，将所述初始的三维人脸形状各点映射到UV纹理空间，得到UV形状图；将所述注意力特征图、所述UV纹理图相乘后与所述UV形状图相加，将相加后的特征图作为第一特征图；
步骤S60，基于所述第一特征图，通过预训练的全卷积神经网络得到所述3DMM人脸模型各点的形状更新量；根据所述3DMM人脸模型点到UV纹理空间的映射关系，将各形状更新量与所述初始的三维人脸形状对应的各点相加，得到所述输入图像对应的三维重建结果。
在一些优选的实施方式中，所述输入图像其对应的三维人脸目标形状，其获取方法为：
将所述初始三维人脸形状与所述输入图像分别进行PCA人脸纹理模型、冯氏照明模型的拟合，得到模型人脸纹理，并结合所述初始三维人脸形状，得到带纹理的初始三维人脸；
获取所述带纹理的初始三维人脸与所述输入图像各点的对应关系，并通过非刚性的迭代最近点算法进行配准，得到拓扑一致的三维人脸点云数据，并将该数据构建的三维人脸形状作为三维人脸目标形状。
在一些优选的实施方式中，“获取所述带纹理的初始三维人脸与所述输入图像各点的对应关系”，其方法为：
Figure BDA0002657463310000031
如果
Figure BDA0002657463310000032
且
Figure BDA0002657463310000033
其中，vi、ci分别为带纹理的初始三维人脸中的点云及像素值，vk *、ck *分别为输入图像中的点云和其对应的像素值，τv、τc表示预设的距离阈值，kcorr表示带纹理的初始三维人脸各点在输入图像中寻找到的对应关系最近的点的索引，λtex表示在最近邻搜索中预设的纹理约束的权重。
在一些优选的实施方式中，所述3DMM人脸模型各点的更新量，其获取方法为：
Figure BDA0002657463310000034
其中，ΔS表示3DMM人脸模型各点的更新量，
Figure BDA0002657463310000035
表示3DMM模型中预设的三维人脸平均形状，Sinit表示初始的三维人脸形状，Smorph *表示三维人脸目标形状和平均形状的差值。
在一些优选的实施方式中，所述三维人脸目标形状和平均形状的差值，其计算方法为：
Figure BDA0002657463310000036
其中，R,f,t3d是3DMM模型中的刚性变换参数，f是缩放系数，R是三维旋转矩阵，t3d是平移系数，Vregist表示拓扑一致的三维人脸点云数据，Smorph表示标准空间中Vregist对应的真实人脸形状与平均形状的差。
在一些优选的实施方式中，所述预训练的全卷积神经网络其训练样本集的获取方法为：
获取一张待训练的样本图像及该图像对应的初始三维人脸、拓扑一致的三维人脸点云数据；所述样本图像为包含人脸的RGB-D图像；
对所述训练样本图像进行网格化，将得到网格化图像作为第一图像；
基于拓扑一致的三维人脸点云数据的深度信息对所述第一图像的人脸区域的深度通道进行补全；
基于所述训练样本图像背景区域中预设锚点，通过Delaunay三角剖分算法构建三角网，并通过预设的第一方法计算各预设锚点的深度；基于各预设锚点的深度对所述第一图像的背景区域的深度通道进行补全；
将补全深度信息后的第一图像在三维空间进行设定角度的旋转；
以所述训练样本图像的像素作为所述第一图像的纹理并进行渲染，生成初始的虚拟三维人脸生成图像，作为第二图像；
将带纹理的初始三维人脸中的纹理对所述第二图像的人脸区域进行渲染，作为参考纹理图像；
将所述带纹理的初始三维人脸中个点的法向量的z轴作为不可见点，得到所述第二图像的不可见区域；
基于所述参考纹理图像，通过泊松图像编辑算法对所述第二图像的不可见区域进行填补，得到最终生成的虚拟三维人脸图像，并构建训练样本集；
“通过预设的第一方法计算各预设锚点的深度”，其方法为：
Figure BDA0002657463310000051
其中，Mask(xi,yi)代表第i个预设锚点的深度通道是否有数值，Depth(xi,yi)为训练样本图像的深度通道在第i个预设锚点位置的数值，Connect(i,j)表示第i、j个预设锚点di、dj是否被三角网的边连接，di*表示第i个预设锚点的深度。
本发明的第二方面，提出了一种面向精细结构的三维人脸重建系统，该系统包括：获取模块、拟合模块、映射模块、特征提取模块、特征相加模块、重建模块；
所述获取模块，配置为获取待重建的二维人脸图像，作为输入图像；
所述拟合模块，配置为对所述输入图像进行关键点检测并拟合3DMM模型的参数，得到三维空间变换函数和初始的三维人脸形状；
所述映射模块，配置为根据所述空间变换函数对所述初始的三维人脸形状进行空间变换，得到拟合的3DMM人脸模型上各点在所述输入图像上的位置，根据所述位置将输入图像脸部区域的各像素映射到3DMM人脸模型的UV纹理空间，得到UV纹理图；
所述特征提取模块，配置为对所述3DMM人脸模型，计算其各点在所述输入图像上对应的法线向量，并将各法线向量的z坐标映射到其的UV纹理空间，得到UV可见图；通过卷积神经网络提取所述UV可见图的特征，得到注意力特征图；
所述特征相加模块，配置为将所述初始的三维人脸形状各点映射到UV纹理空间，得到UV形状图；将所述注意力特征图、所述UV纹理图相乘后与所述UV形状图相加，将相加后的特征图作为第一特征图；
所述重建模块，配置为基于所述第一特征图，通过预训练的全卷积神经网络得到所述3DMM人脸模型各点的形状更新量；根据所述3DMM人脸模型点到UV纹理空间的映射关系，将各形状更新量与所述初始的三维人脸形状对应的各点相加，得到所述输入图像对应的三维重建结果。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的面向精细结构的三维人脸重建方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的面向精细结构的三维人脸重建方法。
本发明的有益效果：
本发明提高了人脸模型重建的精度。
(1)本发明基于采集的RGB-D图像，对图像进行关键点检测并拟合一个3DMM模型得到初始的三维人脸形状。基于初始的三维人来形状、图像进行PCA人脸纹理模型、冯氏照明模型的拟合，得到模型人脸纹理，并通过非刚性的迭代最近点算法进行配准，得到拓扑一致的三维人脸点云数据，减少了重建时三维人脸形状的细节的缺失。
(2)结合拓扑一致的三维人脸点云数据对网格化后的RGB-D图像进行深度信息的补全，并对补全后的网格化图像进行任意角度旋转，旋转后结合RGB-D图像的像素对网格化后的图像机型能够渲染，最终得到大规模精细三维人脸以及对应的人脸图像。然后基于此训练数据，通过基于深度学习的精细三维人脸重建方法，实现了三维人脸的重建精度的提升，使得三维人脸重建结果包含更丰富的纹理信息。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的面向精细结构的三维人脸重建方法的流程示意图；
图2为本发明一种实施例的面向精细结构的三维人脸重建系统的框架示意图；
图3是本发明一种实施例的拓扑一致的三维人脸点云数据的获取过程的流程示意图；
图4是本发明一种实施例的人脸姿态虚拟生成方法的流程示意图；
图5是本发明一种实施例的面向精细结构的三维人脸重建方法的简略流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种面向精细结构的三维人脸重建方法，如图1、图5所示，该方法包括以下步骤：
步骤S10，获取待重建的二维人脸图像，作为输入图像；
步骤S20，对所述输入图像进行关键点检测并拟合3DMM模型的参数，得到三维空间变换函数和初始的三维人脸形状；
步骤S30，根据所述空间变换函数对所述初始的三维人脸形状进行空间变换，得到拟合的3DMM人脸模型上各点在所述输入图像上的位置，根据所述位置将输入图像脸部区域的各像素映射到3DMM人脸模型的UV纹理空间，得到UV纹理图；
步骤S40，对所述3DMM人脸模型，计算其各点在所述输入图像上对应的法线向量，并将各法线向量的z坐标映射到其的UV纹理空间，得到UV可见图；通过卷积神经网络提取所述UV可见图的特征，得到注意力特征图；
步骤S50，将所述初始的三维人脸形状各点映射到UV纹理空间，得到UV形状图；将所述注意力特征图、所述UV纹理图相乘后与所述UV形状图相加，将相加后的特征图作为第一特征图；
步骤S60，基于所述第一特征图，通过预训练的全卷积神经网络得到所述3DMM人脸模型各点的形状更新量；根据所述3DMM人脸模型点到UV纹理空间的映射关系，将各形状更新量与所述初始的三维人脸形状对应的各点相加，得到所述输入图像对应的三维重建结果。
为了更清晰地对本发明面向精细结构的三维人脸重建方法进行说明，下面对本发明方法一种实施例中各步骤进行展开详述。
在下文的实施例中，先对全卷积神经网络的训练过程进行详述，在对通过面向精细结构的三维人脸重建方法获取二维图像对应的三维重建进行详述。
1、全卷积神经网络的训练过程，如图3所示
在本发明中，训练样本集中的训练样本图像的构造包括图像配准和姿态扩充两方面，训练样本图像为包含人脸的RGB-D图像。先通过带有纹理约束的非刚性迭代最近点算法，对训练样本图像进行配准，得到对应的拓扑一致的三维人脸点云数据，然后基于人脸的三维结构将训练样本图像变为完整的三维物体，在三维空间中以设定的角度对三维人脸点云数据进行姿态扩充，最终得到大规模精细的三维人脸点云数据集对应的人脸图像，构建训练样本图像集。
通过带有纹理约束的非刚性迭代最近点算法，对训练样本图像进行配准，得到对应的拓扑一致的三维人脸点云数据。具体步骤如下：
步骤A10，对训练样本图像进行关键点检测，获取设定数量的人脸关键点；
在本实施例中，优选获取240个人脸关键点；
步骤A20，基于所述人脸关键点拟合三维可变模型(3DMM模型)的参数，得到初始三维人脸形状(即图3中的初始形状)V＝{vi|i＝1,2,..,N}，其中，vi表示3DMM人脸模型上每一点的位置，N表示3DMM人脸模型的点数量；
步骤A30，将初始三维人脸形状与所述训练样本图像分别进行PCA人脸纹理模型、冯氏照明模型的拟合，得到模型人脸纹理C＝{ci|i＝1,2,..,N}，ci表示3DMM人脸模型上每一点的RGB值(即像素值)，并结合初始三维人脸形状，得到带纹理的初始三维人脸；
步骤A40，结合形状约束和纹理约束，寻找带纹理的初始三维人脸与训练样本图像各点的对应关系，即寻找初始的三维人脸在训练样本图像上的对应点，具体如公式(1)所示：
Figure BDA0002657463310000091
如果
Figure BDA0002657463310000092
且
Figure BDA0002657463310000093
其中，vi、ci分别为带纹理的初始三维人脸中的点云及像素值(像素值通过拟合三维人脸纹理与光照模型获得)，vk *、ck *分别为输入图像中的点云和其对应的像素值，τv、τc表示预设的距离阈值，kcorr表示带纹理的初始三维人脸各点在输入图像中寻找到的对应关系最近的点的索引(通过最近邻搜索方法获取)，λtex表示在最近邻搜索中预设的纹理约束的权重。
步骤A50，基于获取带纹理的初始三维人脸与输入图像各点的对应关系，并通过非刚性的迭代最近点算法(ICP算法)进行配准，得到拓扑一致的三维人脸点云数据Vregist，并将该数据构建的三维人脸形状作为三维人脸目标形状。
其中，三维人脸目标形状与平均形状的差值Smorph *，其计算方法如公式(2)所示：
Figure BDA0002657463310000101
其中，R,f,t3d是3DMM模型中的刚性变换参数，f是缩放系数，R是三维旋转矩阵，t3d是平移系数，Vregist表示拓扑一致的三维人脸点云数据，
Figure BDA0002657463310000102
为3DMM模型中预设的在标准空间中的三维人脸平均形状，Smorph表示标准空间中Vregist对应的真实人脸形状与平均形状的差，通过公式(2)优化得出的Smorph即所求三维人脸目标形状与平均形状的差值Smorph *，也可以理解为Smorph为未优化的Smorph *。
基于获取的拓扑一致的三维人脸点云数据，通过人脸姿态虚拟生成方法生成虚拟三维人脸图像，如图4所示，具体如下所示：
步骤B10，获取训练样本图像及该图像对应的初始三维人脸、拓扑一致的三维人脸点云数据；
步骤B20，对所述训练样本图像进行网格化，将得到网格化图像作为第一图像；
步骤B30，基于拓扑一致的三维人脸点云数据Vregist的深度信息对所述第一图像的人脸区域的深度通道进行补全；
步骤B40，网格化图像的背景区域的深度通过综合原始深度通道以及光滑度约束得到，即基于训练样本图像背景区域中预设锚点，通过Delaunay三角剖分算法构建三角网，并通过预设的第一方法计算各预设锚点的深度；基于各预设锚点的深度对所述第一图像的背景区域的深度通道进行补全；
在本实施例中，通过预设的第一方法计算各预设锚点的深度，如公式(3)所示：
Figure BDA0002657463310000111
其中，Mask(xi,yi)代表第i个预设锚点的深度通道是否有数值，Depth(xi,yi)为训练样本图像的深度通道在第i个预设锚点位置的数值，Connect(i,j)表示第i、j个预设锚点di、dj是否被三角网的边连接，di*表示第i个预设锚点的深度。
步骤B50，将补全深度信息后的第一图像在三维空间进行设定角度的旋转；
步骤B60，以训练样本图像的像素作述第一图像的纹理并进行渲染，生成初始的虚拟三维人脸生成图像，作为第二图像；
步骤B70，将带纹理的初始三维人脸中的纹理对所述第一图像的人脸区域进行渲染，作为参考纹理图像；
步骤B80，将所述带纹理的初始三维人脸中个点的法向量的z轴作为不可见点，得到所述第二图像的不可见区域；
步骤B90，基于参考纹理图像，通过泊松图像编辑算法对第二图像的不可见区域进行填补(即姿态扩充)，得到最终生成的虚拟人脸图像(包括姿态扩充人脸图像，及其对应的真实三维人脸点云)，并构建训练样本集。
基于构建的训练样本集中的训练样本对全卷积神经网络进行训练。初始学习率设为0.1，在训练过程中，每20轮(epoch)学习率下降到原来的十分之一，共训练60轮。
2、面向精细结构的三维人脸重建方法
步骤S10，获取待重建的二维人脸图像，作为输入图像；
在本实施例中，获取包含人脸的RGB-D图像作为输入图像。
步骤S20，对所述输入图像进行关键点检测并拟合3DMM模型的参数，得到三维空间变换函数和初始的三维人脸形状；
在本实施例中，通过三维扫描器得到三维人脸点云样本，并使用主成分分析(PCA)构建三维可变模型(即3DMM人脸模型)，具体过程如公式(4)所示：
Figure BDA0002657463310000121
其中，Aid表示在中性表情的三维人脸上提取出的PCA主成分轴，αid表示形状参数，Aexp表示在表情脸和中性脸的差上提取出的PCA主成分轴，αexp表示表情参数，f为缩放因子，Pr为正投影矩阵，R为旋转矩阵，t2d为平移向量。三维空间变换函数包括缩放因子、平移向量、旋转矩阵。
构造3DMM人脸模型后，使用弱透视投影将其投影扫图像平面上，投影函数V(p)如公式(5)所示：
Figure BDA0002657463310000122
以及初始的三维人脸形状Sinit，如公式(6)所示：
Figure BDA0002657463310000123
步骤S30，根据空间变换函数对初始的三维人脸形状进行空间变换，得到拟合的3DMM人脸模型上各点在输入图像上的位置，根据所述位置将输入图像脸部区域的各像素映射到3DMM人脸模型的UV纹理空间，得到UV纹理图；
在本实施例中，根据步骤S30得到的旋转参数、平移参数、缩放参数对初始的三维人脸形状进行空间变换，并得到拟合的3DMM人脸模型上各点在输入图像上的位置V(Sinit)。
基于V(Sinit)，将输入图像的脸部区域的像素映射到3DMM人脸模型的UV纹理空间，得到UV纹理图UV-texture。
步骤S40，对3DMM人脸模型，计算其各点在所述输入图像上对应的法线向量，并将各法线向量的z坐标映射到其的UV纹理空间，得到UV可见图；通过卷积神经网络提取UV可见图的特征，得到注意力特征图；
在本实施例中，计算空间变换后的V(Sinit)每一个点的发现向量，将将法线向量的z坐标当做该点的可见度。将每一点的可见度映射到模型的UV纹理空间，得到UV可见图UV-visibility，并将UV可见图输入一个(小)卷神经积网络中，得到注意力(attention)特征图Attention。
步骤S50，将初始的三维人脸形状各点映射到UV纹理空间，得到UV形状图；将注意力特征图、UV纹理图相乘后与UV形状图相加，将相加后的特征图作为第一特征图；
在本实施例中，将Sinit每一点的x,y,z坐标映射到UV纹理空间，得到UV形状图。将注意力特征图、UV纹理图相乘后与UV形状图叠加，将叠加后的特征图作为第一特征图。
步骤S60，基于第一特征图，通过预训练的全卷积神经网络得到所述3DMM人脸模型各点的更新量；根据所述3DMM人脸模型点到UV纹理空间的映射关系，将各更新量与所述初始的三维人脸形状对应的各点相加，得到所述输入图像对应的三维重建结果。
在本实施例中，将叠加后的特征图送入全卷积神经网络，得到一个二维三通道的输出(3DMM人脸模型各点的更新量)，即3DMM人脸模型的精细结果。具体如公式(7)所示：
Figure BDA0002657463310000141
其中，ΔS表示3DMM人脸模型各点的更新量，
Figure BDA0002657463310000142
表示3DMM模型中预设的三维人脸平均形状，Sinit表示初始的三维人脸形状，Smorph *表示三维人脸目标形状和平均形状的差值。
根据3DMM人脸模型各点到UV纹理空间的映射关系，将ΔS与初始的三维人脸形状对应的各点相加，得到所述输入图像对应的三维重建结果。
本发明第二实施例的一种面向精细结构的三维人脸重建系统，如图2所示，包括：获取模块100、拟合模块200、映射模块300、特征提取模块400、特征相加模块500、重建模块600；
所述获取模块100，配置为获取待重建的二维人脸图像，作为输入图像；
所述拟合模块200，配置为对所述输入图像进行关键点检测并拟合3DMM模型的参数，得到三维空间变换函数和初始的三维人脸形状；
所述映射模块300，配置为根据所述空间变换函数对所述初始的三维人脸形状进行空间变换，得到拟合的3DMM人脸模型上各点在所述输入图像上的位置，根据所述位置将输入图像脸部区域的各像素映射到3DMM人脸模型的UV纹理空间，得到UV纹理图；
所述特征提取模块400，配置为对所述3DMM人脸模型，计算其各点在所述输入图像上对应的法线向量，并将各法线向量的z坐标映射到其的UV纹理空间，得到UV可见图；通过卷积神经网络提取所述UV可见图的特征，得到注意力特征图；
所述特征相加模块500，配置为将所述初始的三维人脸形状各点映射到UV纹理空间，得到UV形状图；将所述注意力特征图、所述UV纹理图相乘后与所述UV形状图相加，将相加后的特征图作为第一特征图；
所述重建模块600，配置为基于所述第一特征图，通过预训练的全卷积神经网络得到所述3DMM人脸模型各点的形状更新量；根据所述3DMM人脸模型点到UV纹理空间的映射关系，将各形状更新量与所述初始的三维人脸形状对应的各点相加，得到所述输入图像对应的三维重建结果。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的面向精细结构的三维人脸重建系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的面向精细结构的三维人脸重建方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的面向精细结构的三维人脸重建方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种面向精细结构的三维人脸重建方法，其特征在于，该方法包括：
步骤S10，获取待重建的二维人脸图像，作为输入图像；
步骤S20，对所述输入图像进行关键点检测并拟合3DMM模型的参数，得到三维空间变换函数和初始的三维人脸形状；
步骤S30，根据所述空间变换函数对所述初始的三维人脸形状进行空间变换，得到拟合的3DMM人脸模型上各点在所述输入图像上的位置，根据所述位置将输入图像脸部区域的各像素映射到3DMM人脸模型的UV纹理空间，得到UV纹理图；
步骤S40，对所述3DMM人脸模型，计算其各点在所述输入图像上对应的法线向量，并将各法线向量的z坐标映射到其的UV纹理空间，得到UV可见图；通过卷积神经网络提取所述UV可见图的特征，得到注意力特征图；
步骤S50，将所述初始的三维人脸形状各点映射到UV纹理空间，得到UV形状图；将所述注意力特征图、所述UV纹理图相乘后与所述UV形状图相加，将相加后的特征图作为第一特征图；
步骤S60，基于所述第一特征图，通过预训练的全卷积神经网络得到所述3DMM人脸模型各点在标准空间的形状更新量；根据所述3DMM人脸模型点到UV纹理空间的映射关系，将各形状更新量与所述初始的三维人脸形状对应的各点相加，得到所述输入图像对应的三维重建结果。
2.根据权利要求1所述的面向精细结构的三维人脸重建方法，其特征在于，所述输入图像其对应的三维人脸目标形状，其获取方法为：
将所述初始三维人脸形状与所述输入图像分别进行PCA人脸纹理模型、冯氏照明模型的拟合，得到模型人脸纹理，并结合所述初始三维人脸形状，得到带纹理的初始三维人脸；
获取所述带纹理的初始三维人脸与所述输入图像各点的对应关系，并通过非刚性的迭代最近点算法进行配准，得到拓扑一致的三维人脸点云数据，并将该数据构建的三维人脸形状作为三维人脸目标形状。
3.根据权利要求2所述的面向精细结构的三维人脸重建方法，其特征在于，“获取所述带纹理的初始三维人脸与所述输入图像各点的对应关系”，其方法为：
Figure FDA0002657463300000021
如果
Figure FDA0002657463300000022
且
Figure FDA0002657463300000023
其中，vi、ci分别为带纹理的初始三维人脸中的点云及像素值，vk *、ck *分别为输入图像中的点云和其对应的像素值，τv、τc表示预设的距离阈值，kcorr表示带纹理的初始三维人脸各点在输入图像中寻找到的对应关系最近的点的索引，λtex表示在最近邻搜索中预设的纹理约束的权重。
4.根据权利要求3所述的面向精细结构的三维人脸重建方法，其特征在于，所述3DMM人脸模型各点的形状更新量，其获取方法为：
Figure FDA0002657463300000024
其中，ΔS表示3DMM人脸模型各点的形状更新量，
Figure FDA0002657463300000025
表示3DMM模型中预设的在标准空间中的三维人脸平均形状，Sinit表示初始的三维人脸形状，
Figure FDA0002657463300000026
表示三维人脸目标形状和平均形状的差值。
5.根据权利要求4所述的面向精细结构的三维人脸重建方法，其特征在于，所述三维人脸目标形状和平均形状的差值，其计算方法为：
Figure FDA0002657463300000027
其中，R,f,t3d是3DMM模型中的刚性变换参数，f是缩放系数，R是三维旋转矩阵，t3d是平移系数，Vregist表示拓扑一致的三维人脸点云数据，Smorph表示标准空间中Vregist对应的真实人脸形状与平均形状的差。
6.根据权利要求1所述的面向精细结构的三维人脸重建方法，其特征在于，所述预训练的全卷积神经网络其训练样本集的获取方法为：
获取一张待训练的样本图像及该图像对应的初始三维人脸、拓扑一致的三维人脸点云数据；所述样本图像为包含人脸的RGB-D图像；
对所述训练样本图像进行网格化，将得到网格化图像作为第一图像；
基于拓扑一致的三维人脸点云数据的深度信息对所述第一图像的人脸区域的深度通道进行补全；
基于所述训练样本图像背景区域中预设锚点，通过Delaunay三角剖分算法构建三角网，并通过预设的第一方法计算各预设锚点的深度；基于各预设锚点的深度对所述第一图像的背景区域的深度通道进行补全；
将补全深度信息后的第一图像在三维空间进行设定角度的旋转；
以所述训练样本图像的像素作为所述第一图像的纹理并进行渲染，生成初始的虚拟三维人脸生成图像，作为第二图像；
将带纹理的初始三维人脸中的纹理对所述第二图像的人脸区域进行渲染，作为参考纹理图像；
将所述带纹理的初始三维人脸中个点的法向量的z轴作为不可见点，得到所述第二图像的不可见区域；
基于所述参考纹理图像，通过泊松图像编辑算法对所述第二图像的不可见区域进行填补，得到最终生成的虚拟三维人脸图像，并构建训练样本集。
7.根据权利要求6所述的面向精细结构的三维人脸重建方法，其特征在于，“通过预设的第一方法计算各预设锚点的深度”，其方法为：
Figure FDA0002657463300000041
其中，Mask(xi,yi)代表第i个预设锚点的深度通道是否有数值，Depth(xi,yi)为训练样本图像的深度通道在第i个预设锚点位置的数值，Connect(i,j)表示第i、j个预设锚点di、dj是否被三角网的边连接，di*表示第i个预设锚点的深度。
8.一种面向精细结构的三维人脸重建系统，其特征在于，该系统包括：获取模块、拟合模块、映射模块、特征提取模块、特征相加模块、重建模块；
所述获取模块，配置为获取待重建的二维人脸图像，作为输入图像；
所述拟合模块，配置为对所述输入图像进行关键点检测并拟合3DMM模型的参数，得到三维空间变换函数和初始的三维人脸形状；
所述映射模块，配置为根据所述空间变换函数对所述初始的三维人脸形状进行空间变换，得到拟合的3DMM人脸模型上各点在所述输入图像上的位置，根据所述位置将输入图像脸部区域的各像素映射到3DMM人脸模型的UV纹理空间，得到UV纹理图；
所述特征提取模块，配置为对所述3DMM人脸模型，计算其各点在所述输入图像上对应的法线向量，并将各法线向量的z坐标映射到其的UV纹理空间，得到UV可见图；通过卷积神经网络提取所述UV可见图的特征，得到注意力特征图；
所述特征相加模块，配置为将所述初始的三维人脸形状各点映射到UV纹理空间，得到UV形状图；将所述注意力特征图、所述UV纹理图相乘后与所述UV形状图相加，将相加后的特征图作为第一特征图；
所述重建模块，配置为基于所述第一特征图，通过预训练的全卷积神经网络得到所述3DMM人脸模型各点的形状更新量；根据所述3DMM人脸模型点到UV纹理空间的映射关系，将各形状更新量与所述初始的三维人脸形状对应的各点相加，得到所述输入图像对应的三维重建结果。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-7任一项所述的面向精细结构的三维人脸重建方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的面向精细结构的三维人脸重建方法。
CN202010892658.3A 2020-08-31 2020-08-31 面向精细结构的三维人脸重建方法、系统、装置 Active CN112002014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010892658.3A CN112002014B (zh) 2020-08-31 2020-08-31 面向精细结构的三维人脸重建方法、系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010892658.3A CN112002014B (zh) 2020-08-31 2020-08-31 面向精细结构的三维人脸重建方法、系统、装置

Publications (2)

Publication Number Publication Date
CN112002014A true CN112002014A (zh) 2020-11-27
CN112002014B CN112002014B (zh) 2023-12-15

Family

ID=73464770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010892658.3A Active CN112002014B (zh) 2020-08-31 2020-08-31 面向精细结构的三维人脸重建方法、系统、装置

Country Status (1)

Country Link
CN (1) CN112002014B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112530004A (zh) * 2020-12-11 2021-03-19 北京奇艺世纪科技有限公司 一种三维点云重建方法、装置及电子设备
CN112669441A (zh) * 2020-12-09 2021-04-16 北京达佳互联信息技术有限公司 一种对象重建方法、装置、电子设备和存储介质
CN112734895A (zh) * 2020-12-30 2021-04-30 科大讯飞股份有限公司 一种三维人脸处理方法及电子设备
CN112734910A (zh) * 2021-01-05 2021-04-30 厦门美图之家科技有限公司 基于rgb单图实时人脸三维图像重建方法、装置及电子设备
CN112949464A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 基于人脸三维形状的换脸伪造检测方法、系统及设备
CN113012271A (zh) * 2021-03-23 2021-06-22 华南理工大学 一种基于uv贴图的手指三维模型纹理映射方法
CN113205466A (zh) * 2021-05-10 2021-08-03 南京航空航天大学 一种基于隐空间拓扑结构约束的残缺点云补全方法
CN113269862A (zh) * 2021-05-31 2021-08-17 中国科学院自动化研究所 场景自适应的精细三维人脸重建方法、系统、电子设备
CN113327278A (zh) * 2021-06-17 2021-08-31 北京百度网讯科技有限公司 三维人脸重建方法、装置、设备以及存储介质
CN113421335A (zh) * 2021-07-21 2021-09-21 北京百度网讯科技有限公司 图像处理方法、图像处理装置、电子设备和存储介质
CN113506220A (zh) * 2021-07-16 2021-10-15 厦门美图之家科技有限公司 3d顶点驱动的人脸姿态编辑方法、系统及电子设备
CN113674161A (zh) * 2021-07-01 2021-11-19 清华大学 一种基于深度学习的人脸残缺扫描补全方法、装置
CN113781653A (zh) * 2021-08-17 2021-12-10 北京百度网讯科技有限公司 对象模型生成方法、装置、电子设备及存储介质
CN113989444A (zh) * 2021-12-08 2022-01-28 北京航空航天大学 一种基于侧脸照片进行人脸三维重建的方法
CN114005169A (zh) * 2021-12-31 2022-02-01 中科视语(北京)科技有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN114049442A (zh) * 2021-11-19 2022-02-15 北京航空航天大学 三维人脸视线计算方法
CN114078184A (zh) * 2021-11-11 2022-02-22 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN115082991A (zh) * 2022-06-27 2022-09-20 平安银行股份有限公司 人脸活体检测方法、装置及电子设备
CN115409933A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 多风格纹理贴图生成方法及其装置
CN116310045A (zh) * 2023-04-24 2023-06-23 天度(厦门)科技股份有限公司 一种三维人脸纹理创建方法、装置及设备
CN116665284A (zh) * 2023-08-02 2023-08-29 深圳宇石科技有限公司 人脸建模与面罩模型分区匹配方法、装置、终端与介质
CN117011963A (zh) * 2023-10-07 2023-11-07 四川金投科技股份有限公司 一种基于电子钥匙的智能锁及智能门控系统
CN117274501A (zh) * 2023-11-16 2023-12-22 杭州新畅元科技有限公司 一种可驱动数字人建模方法、装置、设备及介质
CN117726729A (zh) * 2024-01-30 2024-03-19 北京烽火万家科技有限公司 基于虚拟数字人技术的名片制作方法、系统、介质及设备
WO2024174422A1 (zh) * 2023-02-20 2024-08-29 网易（杭州）网络有限公司 模型的生成方法及装置、电子设备、存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040081340A1 (en) * 2002-10-28 2004-04-29 Kabushiki Kaisha Toshiba Image processing apparatus and ultrasound diagnosis apparatus
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN108121950A (zh) * 2017-12-05 2018-06-05 长沙学院 一种基于3d模型的大姿态人脸对齐方法和系统
CN108510583A (zh) * 2018-04-03 2018-09-07 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备
WO2019080488A1 (zh) * 2017-10-27 2019-05-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
US20190295250A1 (en) * 2016-07-25 2019-09-26 Nuctech Company Limited Method, apparatus and system for reconstructing images of 3d surface
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN111445582A (zh) * 2019-01-16 2020-07-24 南京大学 一种基于光照先验的单张图像人脸三维重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040081340A1 (en) * 2002-10-28 2004-04-29 Kabushiki Kaisha Toshiba Image processing apparatus and ultrasound diagnosis apparatus
US20190295250A1 (en) * 2016-07-25 2019-09-26 Nuctech Company Limited Method, apparatus and system for reconstructing images of 3d surface
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
WO2019080488A1 (zh) * 2017-10-27 2019-05-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN108121950A (zh) * 2017-12-05 2018-06-05 长沙学院 一种基于3d模型的大姿态人脸对齐方法和系统
CN108510583A (zh) * 2018-04-03 2018-09-07 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置
CN111445582A (zh) * 2019-01-16 2020-07-24 南京大学 一种基于光照先验的单张图像人脸三维重建方法
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PENGRUI WANG 等: "《A Unified Multi-output Semi-supervised Network for 3D Face Reconstruction》", 《IEEE》 *
金彪 等: "《基于单幅图像的人脸三维建模研究》", 《莆田学院学报》 *
雷超: "《基于曲面局部纹理特征的三维人脸识别》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669441B (zh) * 2020-12-09 2023-10-17 北京达佳互联信息技术有限公司 一种对象重建方法、装置、电子设备和存储介质
CN112669441A (zh) * 2020-12-09 2021-04-16 北京达佳互联信息技术有限公司 一种对象重建方法、装置、电子设备和存储介质
CN112530004A (zh) * 2020-12-11 2021-03-19 北京奇艺世纪科技有限公司 一种三维点云重建方法、装置及电子设备
CN112530004B (zh) * 2020-12-11 2023-06-06 北京奇艺世纪科技有限公司 一种三维点云重建方法、装置及电子设备
CN112734895A (zh) * 2020-12-30 2021-04-30 科大讯飞股份有限公司 一种三维人脸处理方法及电子设备
CN112734910A (zh) * 2021-01-05 2021-04-30 厦门美图之家科技有限公司 基于rgb单图实时人脸三维图像重建方法、装置及电子设备
CN112949464A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 基于人脸三维形状的换脸伪造检测方法、系统及设备
CN112949464B (zh) * 2021-02-26 2021-12-14 中国科学院自动化研究所 基于人脸三维形状的换脸伪造检测方法、系统及设备
CN113012271A (zh) * 2021-03-23 2021-06-22 华南理工大学 一种基于uv贴图的手指三维模型纹理映射方法
CN113205466A (zh) * 2021-05-10 2021-08-03 南京航空航天大学 一种基于隐空间拓扑结构约束的残缺点云补全方法
CN113205466B (zh) * 2021-05-10 2024-04-02 南京航空航天大学 一种基于隐空间拓扑结构约束的残缺点云补全方法
CN113269862A (zh) * 2021-05-31 2021-08-17 中国科学院自动化研究所 场景自适应的精细三维人脸重建方法、系统、电子设备
CN113327278B (zh) * 2021-06-17 2024-01-09 北京百度网讯科技有限公司 三维人脸重建方法、装置、设备以及存储介质
CN113327278A (zh) * 2021-06-17 2021-08-31 北京百度网讯科技有限公司 三维人脸重建方法、装置、设备以及存储介质
CN113674161A (zh) * 2021-07-01 2021-11-19 清华大学 一种基于深度学习的人脸残缺扫描补全方法、装置
CN113506220A (zh) * 2021-07-16 2021-10-15 厦门美图之家科技有限公司 3d顶点驱动的人脸姿态编辑方法、系统及电子设备
CN113506220B (zh) * 2021-07-16 2024-04-05 厦门美图之家科技有限公司 3d顶点驱动的人脸姿态编辑方法、系统及电子设备
CN113421335A (zh) * 2021-07-21 2021-09-21 北京百度网讯科技有限公司 图像处理方法、图像处理装置、电子设备和存储介质
CN113781653A (zh) * 2021-08-17 2021-12-10 北京百度网讯科技有限公司 对象模型生成方法、装置、电子设备及存储介质
CN114078184A (zh) * 2021-11-11 2022-02-22 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN114049442A (zh) * 2021-11-19 2022-02-15 北京航空航天大学 三维人脸视线计算方法
CN113989444A (zh) * 2021-12-08 2022-01-28 北京航空航天大学 一种基于侧脸照片进行人脸三维重建的方法
CN114005169A (zh) * 2021-12-31 2022-02-01 中科视语(北京)科技有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN115082991A (zh) * 2022-06-27 2022-09-20 平安银行股份有限公司 人脸活体检测方法、装置及电子设备
CN115409933B (zh) * 2022-10-28 2023-02-03 北京百度网讯科技有限公司 多风格纹理贴图生成方法及其装置
CN115409933A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 多风格纹理贴图生成方法及其装置
WO2024174422A1 (zh) * 2023-02-20 2024-08-29 网易（杭州）网络有限公司 模型的生成方法及装置、电子设备、存储介质
CN116310045B (zh) * 2023-04-24 2023-08-04 天度(厦门)科技股份有限公司 一种三维人脸纹理创建方法、装置及设备
CN116310045A (zh) * 2023-04-24 2023-06-23 天度(厦门)科技股份有限公司 一种三维人脸纹理创建方法、装置及设备
CN116665284A (zh) * 2023-08-02 2023-08-29 深圳宇石科技有限公司 人脸建模与面罩模型分区匹配方法、装置、终端与介质
CN116665284B (zh) * 2023-08-02 2023-11-28 深圳宇石科技有限公司 人脸建模与面罩模型分区匹配方法、装置、终端与介质
CN117011963A (zh) * 2023-10-07 2023-11-07 四川金投科技股份有限公司 一种基于电子钥匙的智能锁及智能门控系统
CN117011963B (zh) * 2023-10-07 2023-12-08 四川金投科技股份有限公司 一种基于电子钥匙的智能锁及智能门控系统
CN117274501A (zh) * 2023-11-16 2023-12-22 杭州新畅元科技有限公司 一种可驱动数字人建模方法、装置、设备及介质
CN117274501B (zh) * 2023-11-16 2024-02-09 杭州新畅元科技有限公司 一种可驱动数字人建模方法、装置、设备及介质
CN117726729A (zh) * 2024-01-30 2024-03-19 北京烽火万家科技有限公司 基于虚拟数字人技术的名片制作方法、系统、介质及设备

Also Published As

Publication number Publication date
CN112002014B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN112002014B (zh) 面向精细结构的三维人脸重建方法、系统、装置
CN109859296B (zh) Smpl参数预测模型的训练方法、服务器及存储介质
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
US20090244062A1 (en) Using photo collections for three dimensional modeling
WO2010004466A1 (en) Three dimensional mesh modeling
Gonzalez-Aguilera et al. New tools for rock art modelling: automated sensor integration in Pindal Cave
CN113781621A (zh) 三维重建处理的方法、装置、设备及存储介质
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
CN117579753A (zh) 三维扫描方法、装置、计算机设备以及存储介质
Verykokou et al. A Comparative analysis of different software packages for 3D Modelling of complex geometries
CN118247429A (zh) 一种空地协同快速三维建模方法及系统
Malleson et al. Single-view RGBD-based reconstruction of dynamic human geometry
Liu et al. Geometrically stable tracking for depth images based 3D reconstruction on mobile devices
Wiemann et al. An evaluation of open source surface reconstruction software for robotic applications
CN108921908B (zh) 表面光场的采集方法、装置及电子设备
CN108151712B (zh) 一种人体三维建模及测量方法和系统
CN113487741A (zh) 稠密三维地图更新方法及装置
JP3739209B2 (ja) 点群からのポリゴン自動生成システム
Agrawal et al. Image based and Point Cloud based Methods for 3D View Reconstruction in Real-time Environment
CN117611781B (zh) 一种实景三维模型的压平方法及装置
Du Accurate, Detailed and Automatic Tree Modelling from Point Clouds
CN115950366B (zh) 一种用于增强现实设备测量立木冠幅的方法及装置
Tsai et al. Combining 3D Volume and Mesh Models for Representing Complicated Heritage Buildings
Song et al. High-Quality Surface-Based 3D Reconstruction Using 2.5 D Maps
Joshi et al. Enhancing Archeological Building Reconstruction Through Image-Based 3D Modeling and LoFTR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant