CN116310045B - 一种三维人脸纹理创建方法、装置及设备 - Google Patents

一种三维人脸纹理创建方法、装置及设备 Download PDF

Info

Publication number
CN116310045B
CN116310045B CN202310448625.3A CN202310448625A CN116310045B CN 116310045 B CN116310045 B CN 116310045B CN 202310448625 A CN202310448625 A CN 202310448625A CN 116310045 B CN116310045 B CN 116310045B
Authority
CN
China
Prior art keywords
face
texture
image
facial
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310448625.3A
Other languages
English (en)
Other versions
CN116310045A (zh
Inventor
柳欣
张力洋
胡众旺
徐素文
倪亮亮
黄忠湖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiandu Xiamen Science And Technology Co ltd
Original Assignee
Tiandu Xiamen Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiandu Xiamen Science And Technology Co ltd filed Critical Tiandu Xiamen Science And Technology Co ltd
Priority to CN202310448625.3A priority Critical patent/CN116310045B/zh
Publication of CN116310045A publication Critical patent/CN116310045A/zh
Application granted granted Critical
Publication of CN116310045B publication Critical patent/CN116310045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种三维人脸纹理创建方法、装置及设备，将人脸正面图像输入至人脸检测网络模型内，生成预设尺寸的面部图片，通过三维人脸重建预训练网络模型对面部图片进行处理，获得三维人脸模型几何结构、三维人脸模型对应UV展开的面部纹理初始图像以及UV纹理映射关系，将标准UV面部纹理模板图像和面部纹理初始图像进行融合，以生成面部粗糙纹理图像，并采用基于双向链式对抗训练的滑窗多级残差感知网络对面部粗糙纹理图像进行特征细节优化，生成面部精细纹理图像，并根据UV纹理映射关系在图形渲染器中对面部精细纹理图像和三维人脸模型几何结构进行渲染，生成三维人脸纹理可视化结果，解决了纹理在经过映射后精细度和细节信息受到影响的问题。

Description

一种三维人脸纹理创建方法、装置及设备
技术领域
本发明涉及计算机视觉和人工智能领域，特别涉及一种三维人脸纹理创建方法、装置及设备。
背景技术
随着元宇宙和虚拟现实场景在社会生活中需求的不断增加，人们对虚拟现实的要求也越来越高。为了提高三维虚拟场景的仿真性，人们往往希望能够在场景中加入更多的，可交互的，具有高仿真度的虚拟数字人形象以便在三维虚拟世界中最大地模拟现实世界中的人物活动及其所处环境。高保真的虚拟数字人形象的生成是虚拟现实、虚拟教育仿真和游戏电影行业中应用的关键驱动力。对于这些应用场景，获取具有较强真实感的三维人脸纹理外观具有重要的意义。作为虚拟数字人形象中的关键一步，高仿真度的纹理生成可以使得人脸模型更好地模拟真实人脸，逼真地实现人面部的各种细节特征。同时，生成真实感人脸纹理细节是人脸表情动画中的重要组成部分。
生成具有真实感和高质量的三维人脸纹理在计算机图形学、电影后期制作、计算机游戏等中至关重要。目前，计算机游戏和电影中的三维人脸纹理生成是由昂贵的捕获系统或专业技术人员通过建模，渲染，贴图等一系列操作，构建出真实感较好的三维人脸纹理。通过这种方式制作出来的纹理精细程度较高，但这种方式建模周期长，而且需要制作者高超的技术和深厚的美术功底。为解决这个问题，基于数据驱动的智能生成方法吸引了研究者的广泛关注。
在专业数据捕获方面，用户可根据目标应用需求和硬件资源选择不同的捕捉方式，包括高成本的大型专业三维阵列摄像机进行扫描拍摄，也可使用手机单目摄像头进行轻量化拍摄获取。由于专业三维数据采集设备价格昂贵及其极高的技术门槛，基于单目摄像头的轻型数据捕获方案需求不断增加。近年来，基于单幅拍摄图像中三维人脸几何模型和人脸的纹理信息重构取得了较大的发展。三维人脸几何模型展现了人脸的整体空间外形和五官的空间外形，而颜色纹理呈现出人脸肤色和肤质等视觉效果。这些信息共同描述出一个高真实感的人脸模型，为影视制作、计算机游戏和人机交互等应用提供了高质量的人脸素材。例如，一些企业需要虚拟数字人形象来为其产品进行可视化展示引流，高质量数字人资产的生成可依赖于先从一个真实人类自拍图像，以便于后续的编辑加工操作。
目前，常用的三维可形变模型可以较好地根据单幅二维人脸图片计算出分析出基本的三维人脸几何模型。基于该模型，近年来一些三维人脸对齐方法建立了三维人脸几何模型和二维人脸图像之间的对应关系，为三维人脸纹理的生成提供了新的思路。然而，但由于二维图像结构的限制，不可避免地存在着重构信息不完整而导致纹理图像的残缺问题。得益于近几年人工智能技术的快速发展，以及大量的三维人脸模型和颜色纹理数据集的发布，当前基于纹理映射的人脸纹理生成方法可以得到较满意的结果。
然而，由于人脸照片只能体现人脸某一个角度的纹理，因此不同的纹理合成方法和不同的纹理映射方法将影响模型的真实感表现，并且纹理经过映射后精细度和细节信息受到一定的影响
有鉴于此，提出本申请。
发明内容
本发明公开了一种三维人脸纹理创建方法、装置及设备，旨在解决纹理在经过映射后精细度和细节信息受到影响的问题。
本发明第一实施例提供了一种三维人脸纹理创建方法，包括：
获取人脸正面图像，并调用人脸检测网络模型对所述人脸正面图像进行处理以生成预设尺寸的面部图片；
调用三维人脸重建预训练网络模型对所述面部图片进行预处理，以重建出三维人脸模型几何结构、三维人脸模型对应UV展开的面部纹理初始图像以及UV纹理映射关系；
获取标准UV面部纹理模板图像，并将所述标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像；
采用基于双向链式对抗训练的滑窗多级残差感知网络对所述面部粗糙纹理图像进行特征细节优化，以生成面部精细纹理图像；
根据所述UV纹理映射关系在图形渲染器中对所述面部精细纹理图像和三维人脸模型几何结构进行渲染，生成三维人脸纹理可视化结果。
优选地，所述获取人脸正面图像，并调用人脸检测网络模型对所述人脸正面图像进行处理以生成预设尺寸的面部图片，具体为：
获取由图像采集装置采集到的人脸正面图像；
调用yolov7-face对所述人脸正面图像进行截取和缩放生成预设尺寸的面部图片/>：
其中，
为yolov7-face人脸检测网络模型，/>为特征图尺寸统一操作，/>为调整后的尺寸宽度，/>为调整后的尺寸高度。
优选地，所述获取标准UV面部纹理模板图像，并将所述标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像，具体为：
获取标准UV面部纹理模板图像，并调用图像拉普拉斯金字塔对所述标准UV面部纹理模板图像/>和所述面部纹理初始图像/>进行融合生成面部粗糙纹理图像/>；
其中，；
为标准两幅图像拉普拉斯金字塔融合操作算子，/>为纹理图像二值掩膜通道图，/>为金字塔层数。
优选地，所述采用基于双向链式对抗训练的滑窗多级残差感知网络对所述面部粗糙纹理图像进行特征细节优化，以生成面部精细纹理图像，具体为：
对所述面部粗糙纹理图像进行横向和纵向等比分块操作，生成的网格格栅，其中，每一所述分块可对应着人脸纹理的不同语义区域；
获取一个与原始输入图像同宽高大小的滑窗作为蒙板，并在所述网格格栅划分出多个不同的矩形区域；
对所述多个不同的矩形区域进行融合重构至统一维度，并进行特征提取操作，以生成重构特征；
将所述重构特征送入滑窗多级残差感知网络进行特征提取以生成面部精细纹理图像，其中，所述面部精细纹理图像与面部粗糙纹理图像的尺寸大小一致。
优选地，所述多个不同的矩形区域的表达式为：
其中为采取第/>种滑窗蒙板规则下对面部粗糙纹理图像/>进行分块，/>分别为第/>种滑窗蒙板规则下获得的四块分块区域。
优选地，对所述多个不同的矩形区域进行融合重构操作形式化表达如下：
其中，为按通道维度拼接操作，/>为特征图尺寸统一操作，/>为非正方形矩形区域分块拼接重构成正方形矩形区域分块操作，/>为采用滑窗特征提取模块的重构特征，a1、b1、c1、d1分别为在第一种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域，a2、b2、c2、d2分别为在第二种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域，a3、b3、c3、d3分别为在第三种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域，a4、b4、c4、d4分别为在第四种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域。
优选地，所述滑窗多级残差感知网络包括：批归一化卷积和残差模块；
所述批归一化卷积形式化表达如下：
其中，为非线性激活函数，/>为批量归一化运算；/>为卷积算子操作；/>和/>分别为该层卷积中的权重参数与偏置项，/>为对重构特征/>进行批归一化卷积操作；
残差模块结构形式化表达如下：
；
其中，为缩放因子，滑窗多级残差感知网络包括三层滑窗多级残差感知网络、/>，/>；每一层提取到的特征能够被传递到下一层以生成面部精细纹理图像/>，其中，/>。
优选地，所述双向链式对抗训练包括：前向链式对抗学习模块和后向链式对抗学习模块；
其中，所述前向链式对抗学习模块包括前向链式生成器和前向链式判别器；
所述前向链式生成器用于将面部粗糙纹理图像转换为面部精细纹理图像，所述前向链式判别器用于鉴别面部粗糙纹理图像和基于所述前向链式生成器的面部精细纹理图像之间的真假关系；
其中，所述后向链式对抗学习模块包括后向链式生成器和后向链式判别器；
所述后向链式生成器用于将面部精细纹理图像转换为面部粗糙纹理图像，所述后向链式判别器用于鉴别面部精细纹理图像和基于所述后向链式生成器的面部粗糙纹理图像之间的真假关系；
前向链式对抗学习模块的损失函数的表达式如下：
；
后向链式对抗学习模块的对抗损失函数定义如下：
；
对抗总体损失为：
；
其中，前向链式对抗学习和后向链式对抗学习组成的循环结构损失函数构造如下：
；
其中，UV纹理生成图像损失函可以进一步约束纹理生成效果，其函数构造形式如下：
；
其中，为面部粗糙纹理图像的Gram矩阵，/>为面部精细纹理图像的Gram矩阵，/>和/>分别为纹理图的高度和宽度；
滑窗多级感知网络的人脸纹理创建模型的最终损失函数表示为：
；
其中，和/>为不同损失函数值的所占权重值；
在训练的过程中，生成器和判别器同时使用端到端的方式进行训练，利用随机梯度下降优化策略能够有效地优化对策，直至收敛。
本发明第二实施例提供了一种三维人脸纹理创建装置，包括：
面部图片生成单元，用于获取人脸正面图像，并调用人脸检测网络模型对所述人脸正面图像进行处理以生成预设尺寸的面部图片；
面部图片处理单元，用于调用三维人脸重建预训练网络模型对所述面部图片进行预处理，以重建出三维人脸模型几何结构、三维人脸模型对应UV展开的面部纹理初始图像、以及UV纹理映射关系；
面部粗糙纹理图像生成单元，用于获取标准UV面部纹理模板图像，并将所述标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像；
面部精细纹理图像生成单元，用于采用基于双向链式对抗训练的滑窗多级残差感知网络对所述面部粗糙纹理图像进行特征细节优化，以生成面部精细纹理图像；
三维人脸纹理可视化结果生成单元，用于获取UV纹理映射关系，并根据所述UV纹理映射关系在图形渲染器中对所述面部精细纹理图像和三维人脸模型几何结构进行渲染，生成三维人脸纹理可视化结果。
本发明第三实施例提供了一种三维人脸纹理创建设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种三维人脸纹理创建方法。
基于本发明提供的一种三维人脸纹理创建方法、装置及设备，通过将单目摄像头采集到的人脸正面图像输入至人脸检测网络模型内，以生成预设尺寸的面部图片，接着，通过三维人脸重建预训练网络模型对所述面部图片进行预处理，以将出三维人脸模型几何结构、以及三维人脸模型对应UV展开的面部纹理初始图像，再接着，将标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像，再接着，调用基于双向链式对抗训练过的滑窗多级残差感知网络对所述面部粗糙纹理图像进行提取，以生成面部精细纹理图像，最后，获取UV纹理映射关系，并根据所述UV纹理映射关系在图形渲染器中对所述面部精细纹理图像和三维人脸模型几何结构进行渲染，生成三维人脸纹理可视化结果，解决了纹理在经过映射后精细度和细节信息受到影响的问题。
附图说明
图1是本发明第一实施例提供的一种三维人脸纹理创建方法的流程示意图；
图2是本发明提供的整体流程示意图；
图3是本发明提供的滑窗特征融合重构示意图；
图4是本发明第二实施例提供的一种三维人脸纹理创建装置的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
以下结合附图对本发明的具体实施例做详细说明。
本发明公开了一种三维人脸纹理创建方法、装置及设备，旨在解决纹理在经过映射后精细度和细节信息受到影响的问题。
请参阅图1和图2，本发明第一实施例提供了一种三维人脸纹理创建方法，其可由三维人脸纹理创建设备（以下简称创建设备）来执行，特别的，由所述创建设备内的一个或者多个处理器来执行，以至少实现如下步骤：
S101，获取人脸正面图像，并调用人脸检测网络模型对所述人脸正面图像进行处理以生成预设尺寸的面部图片；
在本实施例中，所述创建设备可为台式电脑、笔记本电脑、服务器、工作站等具有数据处理分析能力的终端，其中，所述创建设备内可安装有相应的操作系统以及应用软件，并通过操作系统以及应用软件的结合来实现本实施例所需的功能。
具体地，在本实施例中：
获取由图像采集装置采集到的人脸正面图像，其中，所述图像采集装置可以但不仅限于单目摄像头，其能够获取用户单张人脸正面图像信息；
调用yolov7-face对所述人脸正面图像进行截取和缩放生成预设尺寸的面部图片/>，本实施例中，列选取宽度和长度相同的情况实列，/>。
其中，
为yolov7-face人脸检测网络模型，/>为特征图尺寸统一操作，/>为调整后的尺寸宽度，/>为调整后的尺寸高度。
S102，调用三维人脸重建预训练网络模型对所述面部图片进行预处理，以重建出三维人脸模型几何结构、以及三维人脸模型对应UV展开的面部纹理初始图像；
需要说明的是，三维人脸几何模型展现了人脸的整体空间外形和五官的空间外形，而三维人脸几何模型对应的纹理信息进一步展示了人脸表面的皱纹和毛孔等真实细节信息。由于人脸有相同的基本结构特征，如眼睛、鼻子、嘴巴等，这些共同点作为建立标准三维人脸模型的基础。
在三维人脸纹理生成过程中，UV空间定义了一个二维纹理坐标系统。UV展开旨在把三维人脸模型表面的信息以平面投影的方式平铺、延展到二维平面上，UV映射用于确定如何将一个二维的面部纹理图像映射到对应三维人脸模型表面上，建立一种三维空间坐标和二维纹理坐标的对应关联，方便后续贴图绘制，是三维模型和对应纹理映射的常规操作。
在本实施例中，采用3DDFA_V2三维人脸重建预训练网络模型（Guo J， Zhu X，Yang Y，et al. Towards fast，accurate and stable三维 dense face alignment[C]//16th European Conference Computer Vision，2020: 152-168.）从二维人脸图片中重建出三维人脸模型几何结构信息/>和三维模型对应UV展开的面部纹理初始图像/>。
S103，获取标准UV面部纹理模板图像，并将所述标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像；
需要说明的是，尽管三维人脸重建预训练网络模型可以较好地计算出整体的三维人脸基本几何结构，并且通过UV展开可以获得人脸面部可见区域纹理细节。然而，由于二维图像结构的限制，不可避免地存在着三维人脸模型重构过程中的信息不完整而导致UV展开面部纹理图像的残缺问题。一般情况下，残缺信息的推断依赖于额外的先验信息和统计模型；
针对UV展开获得的面部纹理初始图像，本实施例采取预先可以由专业美术人员根据获取的通用三维人脸模型/>制作的标准UV面部纹理图像模板/>作为参照，进一步用来补全UV展开面部纹理初始图像中的残缺部分。
具体地，在本实施例中：
获取标准UV面部纹理模板图像，并调用图像拉普拉斯金字塔对所述标准UV面部纹理模板图像/>和所述面部纹理初始图像/>进行融合生成面部粗糙纹理图像/>；
其中，；
为标准两幅图像拉普拉斯金字塔融合操作算子（Wang W ， Chang F . AMulti-focus Image Fusion Method Based on Laplacian Pyramid[J]. Journal ofComputers，2011，6(12):2559-2566.），/>为纹理图像二值掩膜通道图，/>为金字塔层数。
S104，采用基于双向链式对抗训练的滑窗多级残差感知网络对所述面部粗糙纹理图像进行特征细节优化，以生成面部精细纹理图像；
需要说明的是，在本实施例中，选取表示鼻子、左眼、右眼、嘴巴和面颊部分的5个人脸区域所对应的纹理图像二值掩膜通道图，并且由人工预先制作二维纹理模板图像时一起制作完成。
UV纹理图像可作为三维模型的外部纹理映射应用到模型的表面上，属于UV映射标准的操作。一般情况下，由于额头和脸颊进行纹理映射的特征点分布常常位于比较稀疏的平滑曲面，因而纹理映射效果良好，但在面部的五官部位如嘴巴、鼻子、眼睛等由于特征点分布密度较大，而直接进行纹理映射，就会使得模型上特征点的坐标与纹理图像中的纹理坐标无法对应，因此出现了映射误差，影响了映射的实际效果。
在本实施例中，进一步通过滑窗多级感知网络来对面部粗糙纹理图像进行优化调整，以消除映射误差，避免出现扭曲现象。
由于面部粗糙纹理图像中像素间的关联程度易受到噪声的干扰，本发明采取图像区域间的关联程度来代替像素间的关联程度，并设计一个滑窗操作来针对上述问题构建出更加鲁棒的人脸纹理图像特征。
具体地，在本实施例中，请参阅图3，
对所述面部粗糙纹理图像进行横向和纵向等比分块操作，生成的网格格栅，其中，网格格栅的大小可以但不仅限于/>，由于本实施例的模板具备统一规则，这些分块可对应着人脸纹理的不同语义区域；
获取一个与原始输入图像同宽高大小的滑窗作为蒙板，并在所述网格格栅划分出多个不同的矩形区域，其中，矩形区域可以是4块，4个不同的矩形区域的表达式为：
其中为采取第/>种滑窗蒙板规则下对面部粗糙纹理图像/>进行分块，/>分别为第/>种滑窗蒙板规则下获得的四块分块区域。
对所述4个不同的矩形区域进行融合重构至统一维度，并进行特征提取操作，以生成重构特征；
其中，对所述4个不同的矩形区域进行融合重构操作形式化表达如下：
其中，为按通道维度拼接操作，/>为特征图尺寸统一操作，/>为非正方形矩形区域分块拼接重构成正方形矩形区域分块操作，/>为采用滑窗特征提取模块的重构特征，a1、b1、c1、d1分别为在第一种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域，a2、b2、c2、d2分别为在第二种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域，a3、b3、c3、d3分别为在第三种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域，a4、b4、c4、d4分别为在第四种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域。
将所述重构特征送入滑窗多级残差感知网络进行特征提取以生成面部精细纹理图像，其中，所述面部精细纹理图像与面部粗糙纹理图像的尺寸大小一致。
所述滑窗多级残差感知网络包括：批归一化卷积和残差模块；
所述批归一化卷积形式化表达如下：
其中，为非线性激活函数，此处选用sigmoid作为激活函数，该激活函数在定义域上均可导，且可将输出规范在/>区间，/>为批量归一化运算；/>为卷积算子操作；和/>分别为该层卷积中的权重参数与偏置项，/>为对重构特征/>进行批归一化卷积操作；
残差模块结构形式化表达如下：
；
其中，为缩放因子，滑窗多级残差感知网络包括三层滑窗多级残差感知网络、/>，/>；每一层提取到的特征能够被传递到下一层以生成面部精细纹理图像/>，其中，/>。
需要说明的是，在多层滑窗残差特征提取模块中，通过网络参数设置，保证面部精细纹理图像的尺寸大小与面部粗糙纹理图像/>的大小一致。
S105，获取UV纹理映射关系，并根据所述UV纹理映射关系在图形渲染器中对所述面部精细纹理图像和三维人脸模型几何结构进行渲染，生成三维人脸纹理可视化结果。
在本发明一个可能的实施例中，本实施例针对精细纹理图像的获取设计了一种双向循环链式对抗的策略用于模型的训练；
双向循环链式对抗策略包含前向链式对抗学习和后向链式对抗学习两个方面。对抗学习中的生成器目的是生成尽可能真实的数据，判别器用于判断输入的数据是否正确。生成器在训练时的目标是生成一个和真实数据相似的数据用于混淆判别器，而判别器的主要目标是分辨输入的数据是真的还是假的，这两个网络在一个最大最小的博弈游戏中不断优化，共同提升
其中，所述双向链式对抗训练包括：前向链式对抗学习模块和后向链式对抗学习模块；
其中，所述前向链式对抗学习模块包括前向链式生成器和前向链式判别器；
所述前向链式生成器用于将面部粗糙纹理图像转换为面部精细纹理图像，所述前向链式判别器用于鉴别面部粗糙纹理图像和基于所述前向链式生成器的面部精细纹理图像之间的真假关系；
具体地：
根据UV展开获得的面部粗糙纹理图像和通过多层滑窗残差网络模块提取的面部精细纹理图像/>，构建前向链式生成器/>用于将面部粗糙纹理图像/>图像转换生成为精细纹理图像。前向链式判别器/>用于鉴别面部粗糙纹理图像/>与经生成器/>转换而来的图像/>之间的真假关系，这里将前者视为真样本，后者视为假样本。
其中，所述后向链式对抗学习模块包括后向链式生成器和后向链式判别器；
所述后向链式生成器用于将面部精细纹理图像转换为面部粗糙纹理图像，所述后向链式判别器用于鉴别面部精细纹理图像和基于所述后向链式生成器的面部粗糙纹理图像之间的真假关系；
具体地：
后向链式生成器用于将面部精细纹理图像/>转换成粗糙纹理图像，后向链式鉴别器/>用于鉴别面部精细纹理图像/>与经生成器/>转换而来的图像/>之间的真假关系，这里将前者视为真样本，后者视为假样本。
前向链式生成器和后向链式生成器均采用多层滑窗残差特征提取网络，可以保证了梯度信息能够有效传递以增强生成对抗网络的鲁棒性。判别器的输出是一个二值分类器，并在训练过程中与生成器相互竞争，本实施例利用三层全连接的网络结构作为判别器来和生成器协同训练。
前向链式对抗学习模块的损失函数的表达式如下：
；
后向链式对抗学习模块的对抗损失函数定义如下：
；
对抗总体损失为：
；
其中，前向链式对抗学习和后向链式对抗学习组成的循环结构损失函数构造如下：
；
其中，UV纹理生成图像损失函可以进一步约束纹理生成效果，其函数构造形式如下：
；
其中，为面部粗糙纹理图像的Gram矩阵，/>为面部精细纹理图像的Gram矩阵，/>和/>分别为纹理图的高度和宽度；
滑窗多级感知网络的人脸纹理创建模型的最终损失函数表示为：
；
其中，和/>为不同损失函数值的所占权重值；
在训练的过程中，生成器和判别器同时使用端到端的方式进行训练，利用随机梯度下降优化策略能够有效地优化对策，直至收敛。
本发明的效果可以从下面实验结果得到进一步验证。
本实验从公开的三维精细人脸数据集FaceScape当中（Yang H， Zhu H， Wang Y ，et al.FaceScape: a Large-scale High Quality 3D Face Dataset and DetailedRiggable 3D Face Prediction [C]// 2020 IEEE/CVF Conference on Computer Visionand Pattern Recognition (CVPR). 2020，10.1109/CVPR42600.2020.00068）选取共计120个三维精细人脸模型及其对应的UV纹理贴图进行训练和测试，其中男性70个样本，女性50个样本，其中70%的样本作为训练集，30%的样本作为测试样本，实验中参数选取0.3，/>为0.5，/>为0.2，/>金字塔层数选为3。
为了进一步证明本发明提出的纹理生成方法有效性，我们选取了文献A（Deng J,Cheng S, Xue N, et al. Uv-gan: Adversarial facial uv map completion for pose-invariant face recognition[C]//Proceedings of the IEEE conference on computervision and pattern recognition. 2018: 7093-7102.）和文献B（Zeng， X.， Wu， Z.，Peng， X. et al. Joint 3D facial shape reconstruction and texture completionfrom a single image. Computational Visual Media 8，239–256 (2022)）中三维人脸纹理生成的方法进行对比实验。在我们的实验中，并利用相同的评价指标对比了三个模型的性能，如表1所示。
表1
实验结果表明，我们提出的模型相比于文献A和B的模型，获得了较好的峰值信噪比和更高的结构相似度值。峰值信噪比的结果优势表明本实施例模型在生成三维人脸纹理图像方面表现更好，同时也能够更好地保持图像各个部分的协调一致性和细节丰富性。结构相似性的结果表明本发明模型生成的三维人脸纹理图像更加逼真和自然。从实验结果来看，本实施例设计的一种滑窗感知多级网络的三维人脸纹理创建方法具备一定的理论意义和实际应用价值，实验验证了本发明提出方法的有效性。
请参阅图4，本发明第二实施例提供了一种三维人脸纹理创建装置，包括：
面部图片生成单元201，用于获取人脸正面图像，并调用人脸检测网络模型对所述人脸正面图像进行处理以生成预设尺寸的面部图片；
面部图片处理单元202，用于调用三维人脸重建预训练网络模型对所述面部图片进行预处理，以重建出三维人脸模型几何结构、三维人脸模型对应UV展开的面部纹理初始图像、以及UV纹理映射关系；
面部粗糙纹理图像生成单元203，用于获取标准UV面部纹理模板图像，并将所述标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像；
面部精细纹理图像生成单元204，采用基于双向链式对抗训练的滑窗多级残差感知网络对所述面部粗糙纹理图像进行特征细节优化，以生成面部精细纹理图像；
三维人脸纹理可视化结果生成单元205，用于获取UV纹理映射关系，并根据所述UV纹理映射关系在图形渲染器中对所述面部精细纹理图像和三维人脸模型几何结构进行渲染，生成三维人脸纹理可视化结果。
本发明第三实施例提供了一种三维人脸纹理创建设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种三维人脸纹理创建方法。
基于本发明提供的一种三维人脸纹理创建方法、装置及设备，通过将单目摄像头采集到的人脸正面图像输入至人脸检测网络模型内，以生成预设尺寸的面部图片，接着，通过三维人脸重建预训练网络模型对所述面部图片进行预处理，以后将出三维人脸模型几何结构、以及三维人脸模型对应UV展开的面部纹理初始图像，再接着，将标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像，再接着，采用基于双向链式对抗训练过的滑窗多级残差感知网络对所述面部粗糙纹理图像进行特征细节优化，以生成面部精细纹理图像，最后，获取UV纹理映射关系，并根据所述UV纹理映射关系在图形渲染器中对所述面部精细纹理图像和三维人脸模型几何结构进行渲染，生成三维人脸纹理可视化结果，解决了纹理在经过映射后精细度和细节信息受到影响的问题。
示例性地，本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现一种三维人脸纹理创建设备中的执行过程。例如，本发明第二实施例中所述的装置。
所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种三维人脸纹理创建方法的控制中心，利用各种接口和线路连接整个所述实现对一种三维人脸纹理创建方法的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现一种三维人脸纹理创建方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、文字转换功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、文字消息数据等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡（SmartMediaCard,SMC）、安全数字（SecureDigital,SD）卡、闪存卡（FlashCard）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种三维人脸纹理创建方法，其特征在于，包括：
获取人脸正面图像，并调用人脸检测网络模型对所述人脸正面图像进行处理以生成预设尺寸的面部图片；
调用三维人脸重建预训练网络模型对所述面部图片进行预处理，以重建出三维人脸模型几何结构、三维人脸模型对应UV展开的面部纹理初始图像以及UV纹理映射关系；
获取标准UV面部纹理模板图像，并将所述标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像；
采用基于双向链式对抗训练的滑窗多级残差感知网络对所述面部粗糙纹理图像进行特征细节优化，以生成面部精细纹理图像，具体为：
对所述面部粗糙纹理图像进行横向和纵向等比分块操作，生成的网格格栅，其中，每一所述分块可对应着人脸纹理的不同语义区域；
获取一个与原始输入图像同宽高大小的滑窗作为蒙板，并在所述网格格栅划分出多个不同的矩形区域；
对所述多个不同的矩形区域进行融合重构至统一维度，并进行特征提取操作，以生成重构特征；
将所述重构特征送入滑窗多级残差感知网络进行特征提取以生成面部精细纹理图像，其中，所述面部精细纹理图像与面部粗糙纹理图像的尺寸大小一致，其中，所述双向链式对抗训练包括：前向链式对抗学习模块和后向链式对抗学习模块；
其中，所述前向链式对抗学习模块包括前向链式生成器和前向链式判别器；
所述前向链式生成器用于将面部粗糙纹理图像转换为面部精细纹理图像，所述前向链式判别器用于鉴别面部粗糙纹理图像和基于所述前向链式生成器的面部精细纹理图像之间的真假关系；
其中，所述后向链式对抗学习模块包括后向链式生成器和后向链式判别器；
所述后向链式生成器用于将面部精细纹理图像转换为面部粗糙纹理图像，所述后向链式判别器用于鉴别面部精细纹理图像和基于所述后向链式生成器的面部粗糙纹理图像之间的真假关系；
前向链式对抗学习模块的损失函数的表达式如下：
；
后向链式对抗学习模块的对抗损失函数定义如下：
；
对抗总体损失为：
；
其中，前向链式对抗学习和后向链式对抗学习组成的循环结构损失函数构造如下：
；
其中，UV纹理生成图像损失函可以进一步约束纹理生成效果，其函数构造形式如下：
；
其中，为面部粗糙纹理图像的Gram矩阵，/>为面部精细纹理图像的Gram矩阵，/>和/>分别为纹理图的高度和宽度；
滑窗多级感知网络的人脸纹理创建模型的最终损失函数表示为：
；
其中，和/>为不同损失函数值的所占权重值；
在训练的过程中，生成器和判别器同时使用端到端的方式进行训练，利用随机梯度下降优化策略能够有效地优化对策，直至收敛；
根据所述UV纹理映射关系在图形渲染器中对所述面部精细纹理图像和三维人脸模型几何结构进行渲染，生成三维人脸纹理可视化结果。
2.根据权利要求1所述的一种三维人脸纹理创建方法，其特征在于，所述获取人脸正面图像，并调用人脸检测网络模型对所述人脸正面图像进行处理以生成预设尺寸的面部图片，具体为：
获取由图像采集装置采集到的人脸正面图像；
调用yolov7-face对所述人脸正面图像进行截取和缩放生成预设尺寸的面部图片/>：
其中，
为yolov7-face的人脸检测网络模型，/>为特征图尺寸统一操作，/>为调整后的尺寸宽度，/>为调整后的尺寸高度。
3.根据权利要求1所述的一种三维人脸纹理创建方法，其特征在于，所述获取标准UV面部纹理模板图像，并将所述标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像，具体为：
获取标准UV面部纹理模板图像，并调用图像拉普拉斯金字塔对所述标准UV面部纹理模板图像/>和所述面部纹理初始图像/>进行融合生成面部粗糙纹理图像/>；
其中，；
为标准两幅图像拉普拉斯金字塔融合操作算子，/>为纹理图像二值掩膜通道图，/>为金字塔层数。
4.根据权利要求3所述的一种三维人脸纹理创建方法，其特征在于，所述多个不同的矩形区域的表达式为：
其中为采取第/>种滑窗蒙板规则下对面部粗糙纹理图像/>进行分块，分别为第/>种滑窗蒙板规则下获得的四块分块区域。
5.根据权利要求4所述的一种三维人脸纹理创建方法，其特征在于，对所述多个不同的矩形区域进行融合重构操作形式化表达如下：
其中，为按通道维度拼接操作，/>为特征图尺寸统一操作，/>为非正方形矩形区域分块拼接重构成正方形矩形区域分块操作，/>为采用滑窗特征提取模块的重构特征，a1、b1、c1、d1分别为在第一种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域，a2、b2、c2、d2分别为在第二种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域，a3、b3、c3、d3分别为在第三种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域，a4、b4、c4、d4分别为在第四种滑窗蒙板规则下获得的左上，右上，左下，右下四块区域。
6.根据权利要求4所述的一种三维人脸纹理创建方法，其特征在于，所述滑窗多级残差感知网络包括：批归一化卷积和残差模块；
所述批归一化卷积形式化表达如下：
其中，为非线性激活函数，/>为批量归一化运算；/>为卷积算子操作；/>和/>分别为该层卷积中的权重参数与偏置项，/>为对重构特征/>进行批归一化卷积操作；
残差模块结构形式化表达如下：
；
其中，为缩放因子，滑窗多级残差感知网络包括三层滑窗多级残差感知网络/>、，/>；每一层提取到的特征能够被传递到下一层以生成面部精细纹理图像/>，其中，/>。
7.一种三维人脸纹理创建装置，其特征在于，包括：
面部图片生成单元，用于获取人脸正面图像，并调用人脸检测网络模型对所述人脸正面图像进行处理以生成预设尺寸的面部图片；
面部图片处理单元，用于调用三维人脸重建预训练网络模型对所述面部图片进行预处理，以重建出三维人脸模型几何结构、三维人脸模型对应UV展开的面部纹理初始图像、以及UV纹理映射关系；
面部粗糙纹理图像生成单元，用于获取标准UV面部纹理模板图像，并将所述标准UV面部纹理模板图像和所述面部纹理初始图像进行融合，以生成面部粗糙纹理图像；
面部精细纹理图像生成单元，用于采用基于双向链式对抗训练的滑窗多级残差感知网络对所述面部粗糙纹理图像进行特征细节优化，以生成面部精细纹理图像；
三维人脸纹理可视化结果生成单元，用于获取UV纹理映射关系，并根据所述UV纹理映射关系在图形渲染器中对所述面部精细纹理图像和三维人脸模型几何结构进行渲染，生成三维人脸纹理可视化结果。
8.一种三维人脸纹理创建设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至6任意一项所述的一种三维人脸纹理创建方法。
CN202310448625.3A 2023-04-24 2023-04-24 一种三维人脸纹理创建方法、装置及设备 Active CN116310045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310448625.3A CN116310045B (zh) 2023-04-24 2023-04-24 一种三维人脸纹理创建方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310448625.3A CN116310045B (zh) 2023-04-24 2023-04-24 一种三维人脸纹理创建方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116310045A CN116310045A (zh) 2023-06-23
CN116310045B true CN116310045B (zh) 2023-08-04

Family

ID=86797985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310448625.3A Active CN116310045B (zh) 2023-04-24 2023-04-24 一种三维人脸纹理创建方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116310045B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116577673B (zh) * 2023-07-12 2023-09-12 深圳先进储能材料国家工程研究中心有限公司 一种基于分布式神经网络的储能电站故障诊断方法及系统
CN117011493B (zh) * 2023-10-07 2024-01-16 天度(厦门)科技股份有限公司 基于符号距离函数表示的三维人脸重建方法、装置及设备
CN117876609B (zh) * 2024-03-11 2024-05-24 国网电商科技有限公司 一种多特征三维人脸重建方法、系统、设备及存储介质
CN118037929B (zh) * 2024-03-22 2024-10-01 北京长木谷医疗科技股份有限公司 基于深度学习的纹理映射三维重建方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569768A (zh) * 2019-08-29 2019-12-13 四川大学 人脸模型的构建方法、人脸识别方法、装置及设备
CN112002014A (zh) * 2020-08-31 2020-11-27 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置
CN112288851A (zh) * 2020-10-23 2021-01-29 武汉大学 一种基于双支流网络的三维人脸建模方法
CN113096766A (zh) * 2021-04-08 2021-07-09 济南大学 一种个性化精准放疗计划中的三维剂量预测方法及系统
CN113298936A (zh) * 2021-06-01 2021-08-24 浙江大学 一种基于深度学习的多rgb-d全脸材质恢复方法
WO2021164759A1 (en) * 2020-02-21 2021-08-26 Huawei Technologies Co., Ltd. Three-dimensional facial reconstruction
CN113781640A (zh) * 2021-09-27 2021-12-10 华中科技大学 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN115830241A (zh) * 2022-12-20 2023-03-21 上海大学 一种基于神经网络的真实感三维人脸纹理重建方法
CN115841566A (zh) * 2022-11-01 2023-03-24 吉林大学 一种基于对称性约束的人脸正面化方法
CN115908205A (zh) * 2023-02-21 2023-04-04 成都信息工程大学 图像修复方法、装置、电子设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569768A (zh) * 2019-08-29 2019-12-13 四川大学 人脸模型的构建方法、人脸识别方法、装置及设备
WO2021164759A1 (en) * 2020-02-21 2021-08-26 Huawei Technologies Co., Ltd. Three-dimensional facial reconstruction
CN112002014A (zh) * 2020-08-31 2020-11-27 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置
CN112288851A (zh) * 2020-10-23 2021-01-29 武汉大学 一种基于双支流网络的三维人脸建模方法
CN113096766A (zh) * 2021-04-08 2021-07-09 济南大学 一种个性化精准放疗计划中的三维剂量预测方法及系统
CN113298936A (zh) * 2021-06-01 2021-08-24 浙江大学 一种基于深度学习的多rgb-d全脸材质恢复方法
CN113781640A (zh) * 2021-09-27 2021-12-10 华中科技大学 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN115841566A (zh) * 2022-11-01 2023-03-24 吉林大学 一种基于对称性约束的人脸正面化方法
CN115830241A (zh) * 2022-12-20 2023-03-21 上海大学 一种基于神经网络的真实感三维人脸纹理重建方法
CN115908205A (zh) * 2023-02-21 2023-04-04 成都信息工程大学 图像修复方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘琦等.《三维人脸库数据还原处理》.《天津工业大学学报》.2006,(第4期),48-50. *

Also Published As

Publication number Publication date
CN116310045A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN116310045B (zh) 一种三维人脸纹理创建方法、装置及设备
Niklaus et al. 3d ken burns effect from a single image
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN112215927B (zh) 人脸视频的合成方法、装置、设备及介质
US11087521B1 (en) Systems and methods for rendering avatars with deep appearance models
US12067690B2 (en) Image processing method and apparatus, device, and storage medium
CN115205949B (zh) 图像生成方法以及相关设备
CN109785258A (zh) 一种基于多判别器生成对抗网络的人脸图像修复方法
CN111508050B (zh) 图像处理方法及装置、电子设备和计算机存储介质
KR102353556B1 (ko) 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치
WO2022075859A1 (en) Facial model mapping with a neural network trained on varying levels of detail of facial scans
CN113870404B (zh) 一种3d模型的皮肤渲染方法及显示设备
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
Marques et al. Deep spherical harmonics light probe estimator for mixed reality games
CN111489426A (zh) 表情生成方法、装置、设备和存储介质
Li et al. UV-IDM: Identity-Conditioned Latent Diffusion Model for Face UV-Texture Generation
CN115527255A (zh) 捏脸参数生成方法、装置、电子设备及存储介质
CN116524106B (zh) 一种图像标注方法、装置、设备及存储介质、程序产品
US12051155B2 (en) Methods and systems for 3D modeling of a human subject having hair based on 2D imagery
WO2024164596A1 (zh) 面部建模模型的训练方法、建模方法、装置、电子设备、存储介质及程序产品
WO2024055379A1 (zh) 基于角色化身模型的视频处理方法、系统及相关设备
Liu et al. 3D Animation Graphic Enhancing Process Effect Simulation Analysis
Song Research of 3D Virtual Characters Reconstructions Based on NeRF
CN117765141A (zh) 一种基于aigc的3d数字人生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant