CN113470162A - 三维头部模型的构建方法、装置、系统及存储介质 - Google Patents

三维头部模型的构建方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN113470162A
CN113470162A CN202010239471.3A CN202010239471A CN113470162A CN 113470162 A CN113470162 A CN 113470162A CN 202010239471 A CN202010239471 A CN 202010239471A CN 113470162 A CN113470162 A CN 113470162A
Authority
CN
China
Prior art keywords
facial
head model
feature points
dimensional head
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010239471.3A
Other languages
English (en)
Other versions
CN113470162B (zh
Inventor
白桦
李继楠
刘阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010239471.3A priority Critical patent/CN113470162B/zh
Priority to US17/631,480 priority patent/US20220277586A1/en
Priority to PCT/CN2021/083329 priority patent/WO2021197230A1/zh
Publication of CN113470162A publication Critical patent/CN113470162A/zh
Application granted granted Critical
Publication of CN113470162B publication Critical patent/CN113470162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种三维头部模型的构建方法、装置、系统及存储介质。三维头部模型的构建方法包括获取用户的至少一个面部图像；根据至少一个面部图像，获取用户的面部轮廓特征点；根据面部轮廓特征点，确定出用户的初始三维头部模型；根据至少一个面部图像，获取用户的面部局部特征点；根据面部局部特征点，对初始三维头部模型的局部结构进行修正，得到符合用户的面部特征的个性化三维头部模型。本申请实施例可以得到结构完整的三维头部模型，与真实人物头部的匹配度更高，并可实现较为精确的个性化处理，提高模型真实性；同时有效地减少了计算量，降低了对服务器的依赖程度，提高了传输速度。

Description

三维头部模型的构建方法、装置、系统及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种三维头部模型的构建方法、装置、系统及存储介质。
背景技术
目前市面已有的一种头部模型构建方法建立的头部模型与实际人体的头部的匹配度较低，通常只针对局部而不是整体进行建模，这样建立的模型无法展示人体头部的整体特征，与真实人体的匹配度较低；此外，目前的方法在建模时，通常依据实际人体头部的点位构建模型的各个点和面，为了提高真实性，需要提高模型的面数，而提高面数需要涉及的头部点位较多，由于整体数据量较大，导致计算量较大，无法快速传输以实现实时渲染和快速产品化，同时较大的计算量对服务器的依赖较大，导致传输速度慢，用户端无法实时显示。
已有的另一种头部模型构建方法减少了数据量，解决了计算量大的问题，但生成的模型多为卡通模型，模型品质较低，具体表现为真实性较低，交互效果较差。
发明内容
本申请针对现有方式的缺点，提出一种三维头部模型的构建方法、装置、系统及存储介质，用以解决现有技术存在的头部模型与真实人体的匹配度较低以及数据量大时计算量较大而数据量小时模型真实性较低的技术问题。
第一方面，本申请实施例提供了一种三维头部模型的构建方法，包括：
获取用户的至少一个面部图像；
根据至少一个面部图像，获取用户的面部轮廓特征点；
根据面部轮廓特征点，确定出用户的初始三维头部模型；
根据至少一个面部图像，获取用户的面部局部特征点；
根据面部局部特征点，对初始三维头部模型的局部结构进行修正，得到符合用户的面部特征的个性化三维头部模型。
第二方面，本申请实施例提供了一种三维头部模型的构建装置，包括：
图像获取模块，用于获取用户的至少一个面部图像；
第一特征获取模块，用于根据至少一个面部图像，获取用户的面部轮廓特征点；
模型确定模块，用于根据面部轮廓特征点，确定出用户的初始三维头部模型；
第二特征获取模块，用于根据至少一个面部图像，获取用户的面部局部特征点；
模型构建模块，用于根据面部局部特征点，对初始三维头部模型的局部结构进行修正，得到符合用户的面部特征的个性化三维头部模型。
第三方面，本申请实施例提供了一种三维头部模型的构建系统，包括：输入单元、存储器、处理器和显示单元；
输入单元、存储器和显示单元均与处理器电连接；
输入单元用于获取用户的至少一个面部图像；
存储器存储有计算机程序，计算机程序由处理器执行以实现如本申请实施例第一方面提供的三维头部模型的构建方法；
显示单元用于展示由处理器根据三维头部模型的构建方法构建出的个性化三维头部模型。
第四方面，本申请实施例提供一种计算机存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面提供的三维头部模型的构建方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
本申请实施例通过面部图像中获取的面部轮廓特征点确定与符合面部轮廓特征点的初始三维头部模型，进而通过面部局部特征点对初始三维头部模型进行局部微调，可以得到结构完整的三维头部模型，与真实人物头部的匹配度更高，并可实现较为精确的个性化处理，使得到的个性化三维头部模型的轮廓和局部细节特征均与真实人物符合；无需针对三维头部模型的所有的面或点位进行处理；既得到高品质的模型，提升真实性和交互性，也有效地减少了计算量，降低了对服务器的依赖程度，提高了传输速度，有利于实现实时显示和变形和快速进行完成动态动画，从而实现快速产品化。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种三维头部模型的构建方法的流程示意图；
图2为本申请实施例中正面图像的面部轮廓特征点的示意图；
图3为本申请实施例中侧面图像的面部轮廓特征点的示意图；
图4为本申请实施例中基础模型库中的基础头部模型示意图；
图5为本申请实施例中初始三维头部模型的示意图；
图6为本申请实施例中面部图像的面部局部特征点的示意图；
图7为本申请实施例提供的三维头部模型的构建方法的一种可选实施方式的部分流程示意图；
图8为本申请实施例中的一种第一三维头部模型的示意图；
图9为本申请实施例提供的三维头部模型的构建方法的一种可选实施方式的部分流程示意图；
图10为本申请实施例中初始面部贴图的示意图；
图11为本申请实施例中个性化面部贴图的示意图；
图12为本申请实施例中的一种第二三维头部模型的示意图；
图13为本申请实施例提供的一种三维头部模型的构建装置的结构框架示意图；
图14为本申请实施例提供的三维头部模型的构建装置中模型构建模块的结构框架示意图；
图15为本申请实施例提供的一种三维头部模型的构建系统的结构框架示意图；
图16为本申请实施例提供的另一种三维头部模型的构建系统的结构框架示意图。
具体实施方式
下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。
本申请实施例提供了一种三维头部模型的构建系统，该构建系统用于执行下面介绍的三维头部模型的构建方法；该构建系统可以是单独的终端设备，也可以包括云端设备与终端设备。具体内容将在后续介绍，此处不作赘述。
本申请实施例提供了一种三维头部模型的构建方法，如图1所示，该三维头部模型的构建方法包括：
S110，获取用户的至少一个面部图像。
在一个可选的实施方式中，获取用户的正面图像和至少一个侧面图像。
正面图像可体现用户的正面特征，例如脸型、五官以及胖瘦，至少一个侧面图像可体现用户的侧面及后脑勺的特征，例如头部从前到后的整体轮廓、耳朵和头发的特征。正面图像与侧面图像的结合，可较为完整的体现用户头部的整体特征，为三维头部模型的构建提供较为完整的基础数据，侧面图像越多，基础数据量越丰富，对三维头部模型的构建越有利。
在另一个可选的实施方式中，获取指定的侧面图像和用户的正面图像。
指定的侧面图像可以是预先存储的一个侧面图像，可以是预先存储的当前的用户的侧面图像，也可以是其它用户的侧面图像；指定的侧面图像还可以是根据设定的默认像素值预先生成并存储的图像。指定的侧面图像与用户的正面图像结合使用，可在用户面部特征的基础上补充其它头部特征，从而提供较为完整的头部的整体数据，在仅面部特征要求较高的场合或用户的侧面图像缺失的情况下，指定的侧面图像可作为补充。
基于正面图像和侧面图像(用户的侧面图像或指定的侧面图像)，可提取到有助于构建三维头部模型的特征点的三维坐标，具体地，可基于正面图像提取到两个维度的坐标，可用(x,y)来表示，可基于侧面图像提取到第三个维度的坐标，可用z来表示，进而可得到一个完整的三维坐标(x,y,z)。
S120，根据至少一个面部图像，获取用户的面部轮廓特征点。
可选地，根据训练后的第一图像识别模型，在至少一个面部图像中识别出用户的面部轮廓特征点。
面部轮廓特征点可以是反映正面和侧面的整体轮廓、以及五官轮廓的特征点，图2和图3分别示出了正面图像和侧面图像的面部轮廓特征点的一个示例图，图2和图3中的圆点即为获取并标记出的面部轮廓特征点。
可选的，第一图像识别模型的原理是深度学习，第一图像识别模型可以是多种神经网络模型，例如卷积神经网络模型，训练原理大致为：
将大量标记有面部轮廓特征点(标记点可以是某一种特殊形状或颜色的点)的面部图像(具体可以是该面部图像的像素值)输入第一图像识别模型中进行训练，第一图像识别模型根据输入的像素值对面部图像中的各个点进行分类，输出输入图像基础上得到的包含分类结果的标签图，该标签图中具有不同分类的标记，例如，输出标记有0和1的标签图，其中用1来标记第一图像识别模型识别出的面部轮廓特征点，用0来标记面部轮廓特征点以外的其它特征点，基于同一坐标系，将输出的标签图中面部轮廓特征点的标记位置与实际的面部图像(即输入的面部图像)中面部轮廓特征点的标记位置进行比较，计算损失函数，根据损失函数更新第一图像识别模型中的各个层的参数。
第一图像识别模型的训练为现有方法，本领域技术人员可以理解将卷积神经网络应用于本申请中进行训练的具体方法，本申请中不作赘述；此外，本领域技术人员可以理解，在采用不同的神经网络模型时，训练方式也有一定的差异，本申请不再展开介绍。
基于深度学习来提取面部图像的面部轮廓特征点，可提高特征提取的准确性和效率。
S130，根据面部轮廓特征点，确定出用户的初始三维头部模型，之后执行步骤S150。
可选地，将基础模型库中各个基础头部模型的骨骼点与面部轮廓特征点进行匹配；选取与面部轮廓特征点匹配度最高的一个所述基础头部模型作为所述初始三维头部模型。
在一个可选的实施方式中，可将各个基础头部模型的骨骼点在第一坐标系中的坐标与面部轮廓特征点在第一坐标系的坐标进行匹配，即基于同一坐标系进行点位坐标的匹配。
在另一个可选的实施方式，可将各个基础头部模型的骨骼点在第一坐标系中的坐标与面部轮廓特征点在第二坐标系中的坐标进行匹配，其中，第一坐标系为基于基础头部模型的特点设置的坐标系，第二坐标系为基于面部图像设置的坐标系，在匹配过程，将骨骼点在第一坐标系中的坐标轮换为第二坐标系中的坐标，然后与面部轮廓特点在第二坐标系的坐标进行匹配。
可选地，基础模型库中的各基础头部模型为预先构建，其构建原理如下：
获取多组头部骨骼点参数，其中每组头部骨骼点参数均包括多个可表征头部骨架特征的多个骨骼点的坐标(在已设定的三维坐标系中的三维坐标，可用(x,y,z)来表示)，每个骨骼点均设置了相应的蒙皮权重，基于每组头部骨骼点参数和对应的蒙皮权重(表示骨骼与三维模型的点位置对应关系)可构建出一个完整的三维头部模型，将基于多组头部骨骼点参数构建出的多个三维头部模型作为基础头部模型存储于基础模型库中。获取的多组头部骨骼点参数可根据实际需求或经验值设置，每个骨骼点的蒙皮权重可根据实际需求或经验值设置。
采用上述方法得到的基础模型库中包含面部特征各异(如脸型不同或胖瘦不同)的基础头部模型，部分基础头部模型如图4所示，从基础头部模型中选出的初始三维头部模型如图5所示。
可选地，将各基础头部模型的骨骼点和对应的面部轮廓特征点的基于同一参考坐标进行坐标的对比，例如基础头部模型中下巴的骨骼点与面部轮廓特征点中下巴的特征点进行对比，判断基础头部模型的骨骼点与面部轮廓特征点的坐标差是否在设定的阈值内，坐标差落在设定的阈值内的情形越多，表示匹配度越高。
模型骨骼点的数量比模型的面数少很多，通过面部轮廓特征点与基础头部模型骨骼点匹配，而无需对模型的面数匹配，可大大减少计算量，减小对服务器依赖程度，有利于实现快速传输；此外，由于每个骨骼点都设置有蒙皮权重，在仅与骨骼点进行匹配的情况下，也可以保证面部轮廓特征点和整个基础头部模型的匹配度，保证基本的模型品质；由此选出的初始三维头部模型，可为后续生成个性化三维头部模型提供基础，保证面部变形的基准性。
S140，根据至少一个面部图像，获取用户的面部局部特征点。
可选地，根据训练后的第二图像识别模型，在至少一个面部图像中识别出用户的面部局部特征点。
面部局部特征点可以是反映面部的局部细化特征的细化特征点，例如脸型的细化特征点和五官的细化特征点。在一个可选的实施方式中，面部局部特征点的数量大于面部轮廓特征点的数量，且面部局部特征点可部分包含面部轮廓特征点，也可以是与面部轮廓特征点位置完全不同的特征点。
图6示出了面部局部特征点的一个示例图，图6中的方形标记点即为获取并标记出的面部局部特征点，在一个具体示例中，可获取98个面部局部特征点。
可选的，第二图像识别模型的原理是深度学习，第二图像识别模型可以是多种神经网络模型，例如卷积神经网络模型，训练原理与第一图像识别模型相似，此处不作赘述。
第二图像识别模型可采用与第一图像识别模型相同的或不同的神经网络模型，本申请实施例对此不作限定。
基于深度学习来提取面部图像的面部局部特征点，可提高特征提取的准确性和效率。
S150，根据面部局部特征点，对初始三维头部模型的局部结构进行修正，得到符合用户的面部特征的个性化三维头部模型。
可选地，如图7所示，根据面部局部特征点，对初始三维头部模型的局部结构进行修正，得到符合用户的面部特征的个性化三维头部模型，具体包括如下步骤S151-S152：
S151，将多个面部局部特征点的位置特征与初始三维头部模型上的多个骨骼点的位置特征进行对比。
可选地，将多个面部局部特征点的坐标与对应的初始三维头部模型的多个骨骼点的坐标基于同一参考坐标系进行对比。例如，将面部图像中眼睛周边的特征点的坐标与初始三维头部模型中眼睛周边的骨骼点的坐标进行对比。
可选地，在进行对比时，所采用的初始三维头部模型可以是如前所述的基础模型数据库中与面部轮廓特征点匹配度最高的一个基础模型，也可以是其它基础模型。
S152，将位置特征不一致的骨骼点调整至与面部局部特征点的位置特征一致，得到调整后的第一三维头部模型。
可选地，对于坐标不同的骨骼点，将其坐标调整为与对应的面部局部特征点的坐标相同，调整后得到的第一三维头部模型即为符合用户的面部特征的一种个性化三维头部模型。
例如，若初始三维头部模型中眼睛周边的骨骼点的坐标与面部图像中眼睛周边的骨骼点的坐标不同，则将前者调整至与后者相同，使得到的第一三维头部模型中眼睛更符合面部图像中真实人物的眼睛，其它区域的骨骼点的调整同理。
调整后得到的第一三维头部模型如图8所示，该模型的局部骨骼结构更符合面部图像中真实人物的局部特征，从而使第一三维头部模型的真实性更高，有助于提高交互性；且涉及的面部局部特征点和骨骼点的数据量相比于现有技术少很多，可大大减少计算量，在提高模型真实性的基础上可提升计算速度和传输速度，进一步提升交互性。
可选地，如图9所示，在步骤S151-S152的基础上，根据面部局部特征点，对初始三维头部模型的局部结构进行修正，得到符合用户的面部特征的个性化三维头部模型，还包括如下步骤S153-S154：
S153，根据面部局部特征点，生成符合用户的面部特征的个性化面部贴图。
本申请实施例对步骤S153与步骤S151、步骤S152的执行顺序不作限定，步骤S153可以在步骤S152之后或步骤S151之前执行，也可以与步骤S151或步骤S152同时执行。
可选地，根据面部局部特征点，对与初始三维头部模型具有映射关系的初始面部贴图上的贴图特征点进行调整，生成调整后的个性化面部贴图。
可选地，根据面部局部特征点，对与初始三维头部模型对应的初始面部贴图上的贴图特征点进行调整，包括：判断多个面部局部特征点的位置特征是否与多个贴图特征点的位置特征一致；将不一致的贴图特征点的位置特征调整至与对应的面部局部特征点的位置特征一致。
可选的，如图10所示，初始面部贴图为多个网格组成的UV纹理图，贴图特征点为UV纹理图上的网格顶点，图10中用方形标记点来表示与面部图像中的面部局部特征点对应的贴图特征点，也即待调整的贴图特征点。
可选地，初始三维头部模型与初始面部贴图之间的映射关系为具体为初始三维头部模型外表面的各三维顶点坐标和初始面部贴图的各二维网格顶点坐标的映射关系。
在一个示例中，初始面部贴图具体为将初始三维头部模型的外表面在一个二维平面中展开后得到的贴图，该贴图中的各个二维网格顶点与初始三维头部模型上的各个三维顶点具有一一对应关系，在实际操作中，可采用现有的3dmax或Unity软件来实现三维表面的二维展开。
在一个示例中，对于初始三维头部模型中的一个三维顶点(x1,y1,z1)，在将初始三维头部模型的外表面在XY方向的二维平面中展开后，三维顶点(x1,y1,z1)被转换为二维平面中的一个网格顶点(x1,y1)，即三维顶点(x1,y1,z1)和网格顶点(x1,y1)建立的映射关系。
可选地，本申请实施例的初始面部贴图可与初始三维头部模型对应存储于基础模型库中。
在一个示例中，基于同一参考坐标系，判断面部图像中眼睛附近的特征点的坐标与初始面部贴图中的眼睛附近的部分网格顶点的坐标是否相同，将不相同的网格顶点的坐标调整至与面部图像中对应的特征点的坐标相同，调整后的个性化面部贴图仍由多个网格组成，但部分网格的特征更符合真实人物的面部特征。
可选地，在对贴图特征点的位置特征进行调整的基础上，根据面部局部特征点，对与初始三维头部模型对应的初始面部贴图上的贴图特征点进行调整，还包括：判断多个面部局部特征点的像素特征是否与多个贴图特征点的像素特征一致；将不一致的贴图特征点的像素特征调整至与对应的面部局部特征点的像素特征一致。
具体地，判断多个面部局部特征点的像素值是否与多个贴图特征点的像素值相同，将不相同的贴图特征点的像素值调整至与对应的面部局部特征点的像素值相同，调整像素后得到的个性化面部贴图如图11所示。
通过上述调整，可将面部图像的像素复制到初始面部贴图，使得到的个性化面部贴图的像素与面部图像一致，从而使个性化面部贴图的显示效果(色彩、亮度等)更符合真实的面部图像的效果，提高面部贴图的真实性。
S154，将个性化面部贴图赋予第一三维头部模型，得到第二三维头部模型。
具体地，根据个性化面部贴图与第一三维头部模型之间的点位对应关系，将个性化面部贴图覆盖于第一三维头部模型上，得到的第二三维头部模型即为符合用户面部特征的另一种个性化三维头部模型。
在一个示例中，对于仅对初始面部贴图中贴图特征点的位置特征进行调整后得到的个性化面部贴图，将该个性化面部贴图赋予图8所示的第一三维头部模型后，可得到第二三维头部模型。
在另一个示例中，对于对初始面部贴图中贴图特征点的位置特征和像素特征均进行了调整后得到的个性化面部贴图，将该个性化面部贴图赋予图6所示的第一三维头部模型后，得到的第二三维头部模型如图12所示，该第二三维头部模型的结构、色彩以及亮度等均与真实人物的面部图像较为一致，能够更真实生动的展现人物的头部特征。
在一个可选的实施方式，若获取的用户的面部图像中包括用户的面部表情特征，根据本申请实施例提供的三维头部模型的构建方法，通过识别面部局部特征点并根据该面部局部特征点对初始三维头部模型以及初始面部贴图进行调整，生成的第一三维头部模型和个性化面部贴图均可体现面部表情，将个性化面部贴图赋予第一三维头部模型后，生成的第二三维头部模型可以生动的展现用户的面部表情。
在另一个可选的实施方式，在生成个性化三维头部模型(如第一三维头部模型或第二三维头部模型)后，可进一步调整该个性化三维头部模型的骨骼点的位置，以实现调整个性化三维头部模型的面部表情的目的，对于第二三维头部模型，可赋予该模型上的个性化面部贴图的网格顶点的位置做相应的调整，以使个性化面部贴图所体现的表情特征与第二三维头部模型一致，然后将调整后的个性化面部贴图赋予第二三维头部模型，以得到具有某种表情的个性化三维头部模型。
基于同一发明构思，本申请实施例提供的一种三维头部模型的构建装置，如图13所示，该构建装置包括：图像获取模块1310、第一特征获取模块1320、模型确定模块1330、第二特征获取模块1340以及模型构建模块1350。
图像获取模块1310，用于获取用户的至少一个面部图像；第一特征获取模块1320，用于根据至少一个面部图像，获取用户的面部轮廓特征点；模型确定模块1330，用于根据面部轮廓特征点，确定出用户的初始三维头部模型；第二特征获取模块1340，用于根据至少一个面部图像，获取用户的面部局部特征点；模型构建模块1350，用于根据面部局部特征点，对初始三维头部模型的局部结构进行修正，得到符合用户的面部特征的个性化三维头部模型。
可选地，图像获取模块1310具体用于获取用户的正面图像和至少一个侧面图像。
可选地，第一特征获取模块1320具体用于：根据训练后的第一图像识别模型，在至少一个面部图像中识别出用户的面部轮廓特征点。
可选地，模型确定模块1330具体用于：将基础模型库中各个基础头部模型的骨骼点与面部轮廓特征点进行匹配；选取与面部轮廓特征点匹配度最高的一个基础头部模型作为初始三维头部模型。
可选地，第二特征获取模块1340具体用于：根据训练后的第二图像识别模型，在至少一个面部图像中识别出用户的面部局部特征点。
可选地，如图14所示，模型构建模块1350包括初始模型调整单元1351和面部贴图生成单元1352。
可选地，初始模型调整单元1351用于：将多个面部局部特征点的位置特征与对初始三维头部模型上的多个骨骼点的位置特征进行对比；将位置特征不一致的骨骼点调整至与面部局部特征点的位置特征一致，得到调整后的第一三维头部模型。
可选地，面部贴图生成单元1352用于：根据面部局部特征点，生成符合用户的面部特征的个性化面部贴图；将个性化面部贴图赋予第一三维头部模型，得到第二三维头部模型。
可选地，面部贴图生成单元1352具体用于：根据面部局部特征点，对与初始三维头部模型具有映射关系的初始面部贴图上的贴图特征点进行调整，生成调整后的个性化面部贴图。
可选地，面部贴图生成单元1352具体用于：判断多个面部局部特征点的位置特征是否与多个贴图特征点的位置特征一致；将不一致的贴图特征点的位置特征调整至与对应的面部局部特征点的位置特征一致。
可选地，面部贴图生成单元1352还具体用于；判断多个面部局部特征点的像素特征是否与多个贴图特征点的像素特征一致；将不一致的贴图特征点的像素特征调整至与对应的面部局部特征点的像素特征一致。
本实施例的三维头部模型的构建装置1300可执行本申请实施例提供的任一种三维头部模型的构建方法，其实现原理相类似，本实施例中未详细示出的内容可参照前面所述的各实施例，此处不再赘述。
基于同一发明构思，本申请实施例提供了一种三维头部模型的构建系统，如图15所示，该构建系统包括：输入单元1501、存储器1502、处理器1503和显示单元1504，输入单元1501、存储器1502和显示单元1504均与处理器1503电连接。图15所示的三维头部模型的构建系统1500的结构框架并不构成对本申请实施例的限定。
输入单元1501用于获取用户的至少一个面部图像；存储器1502存储有计算机程序，该计算机程序由处理器1503执行以实现本申请实施例提供的任意一种三维头部模型的构建方法；显示单元1504用于展示由所述处理器根据所述三维头部模型的构建方法构建出的个性化三维头部模型。
可选的，存储器1502还存储有基础模型库，该基础模型数据库中存储有多个基础头部模型。
可选的，存储器1502还存储有3dMax或Unity等三维处理软件的程序，该三维处理软件的程序由处理器1503调用执行对面部图像以及对三维头部模型的相应处理后，通过显示单元1504进行实时展示。
可选地，存储器1502还存储有用户的至少一个面部图像或其它影像信息。
在一个可选的实施方式中，本申请实施例的三维头部模型的构建系统具体为单独的终端设备，该终端设备可以是台式电脑、笔记本电脑或二合一电脑等具有较强算力的电子设备。
在另一个可选的实施方式中，本申请实施例的三维头部模型的构建系统包括通信连接的云端设备和终端设备。云端设备可以是单台服务器、服务器集群或分布式服务器等具有较强算力的电子设备，云端设备中具有处理器，该处理器可用于执行上述三维头部模型的构建方法；终端设备可以是智能手机或平板电脑等算力较弱的电子设备，终端设备具有输入单元、存储器、处理器和显示单元。
图16示出了本申请实施例提供的三维头部模型的构建系统的一种可选的结构框架的示意图。如图16所示，该构建系统包括终端设备1610和云端设备1620。
图16所示的终端设备1610包括存储器1611、处理器1612、输入单元1613、显示单元1616以及通讯单元1615，各单元均通过总线1616电连接；图16所示的云端设备1620包括存储器1621、处理器1622以及通讯单元1623，各单元均通过总线1624电连接。
可选的，存储器1621存储有计算机程序，并由处理器1622来控制执行；处理器1622执行该计算机程序，以实现通过通讯单元1623接收终端设备1610通过通讯单元1615上传的用户的至少一个面部图像，利用本申请实施例提供的上述任意一种三维头部模型的构建方法构建个性化三维头部模型，再通过通讯单元1623向终端设备1610返回；其它单元的功能与图15所示的相应单元的功能相似，此处不再赘述。
本申请实施例中的存储器(例如存储器1502、存储器1611和存储器1621)可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，可以是RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically Erasable Programmable Read OnlyMemory，电可擦可编程只读存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
本申请实施例中的处理器(例如处理器1503、处理器1612和处理器1622)可以是CPU(Central Processing Unit，中央处理器)、通用处理器，DSP(Digital SignalProcessor，数据信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合，其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路；也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。处理器1622可以选用算力较处理器1612更强的处理器。
在一个可选的实施方式中，本申请实施例中的输入单元(例如输入单元1301和输入单元1613)可用于接收输入的影像信息。具体地，输入单元可包括摄像装置，该摄像装置可采集用户的面部图像以及其它影像信息，该摄像装置可设置于终端设备的主体结构中，也可以单独设置于终端设备的主体结构之外，通过有线或无线的方式与终端设备中的其它单元通信连接。
在另一个可选的实施方式中，本申请实施例中的输入单元可以包括处理器，或将本申请实施例中的处理器直接作为输入单元，此时，输入单元可调用存储器中存储的至少一个面部图像或其它影像信息。
可选的，在上述摄像装置或处理器的基础上，本申请实施例中的输入单元还可以包括其他输入设备，具体地，其他输入设备可以包括但不限于触控面板、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
本申请实施例中的显示单元(例如显示单元1504和显示单元1616)可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元可包括显示面板，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。可选地的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在显示面板上提供相应的视觉输出。
本申请实施例中的通讯单元(例如通讯单元1615和通讯单元1623)可用于信号的接收和发送，特别地，将云端设备的下行信息接收后，给处理器处理；另外，将设计上行的数据发送给云端设备。
本申请实施例中的总线(例如总线1616和总线1624)可包括一通路，在上述组件之间传送信息。总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图16中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例提供的三维头部模型的构建系统，与前面所述的各实施例的实现原理相类似，该构建系统中未详细示出的内容可参照前面所述的各实施例，在此不再赘述。
基于同一发明构思，本申请实施例提供了一种计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所提供的任一三维头部模型的构建方法。
该计算机存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本申请实施例提供的计算机存储介质，与前面所述的各实施例的实现原理相类似，该计算机存储介质中未详细示出的内容可参照前面所述的各实施例，在此不再赘述。
应用本申请实施例，至少能够实现如下有益效果：
1)本申请实施例通过面部图像中获取的面部轮廓特征点确定与符合面部轮廓特征点的初始三维头部模型，进而通过面部局部特征点对初始三维头部模型进行局部微调，可以得到结构完整的三维头部模型，与真实人物头部的匹配度更高，并可实现较为精确的个性化处理，使得到的个性化三维头部模型的轮廓和局部细节特征均与真实人物符合；无需针对三维头部模型的所有的面或点位进行处理；既得到高品质的模型，提升真实性和交互性，也有效地减少了计算量，降低了对服务器的依赖程度，提高了传输速度，有利于实现实时显示和变形和快速进行完成动态动画，从而实现快速产品化。
2)本申请实施例基于深度学习的原理来提取面部图像中的面部轮廓特征点和面部局部特征点，提高了特征提取的准确性和效率。
3)本申请实施例在确定初始三维头部模型时，将面部轮廓特征点和基础模型库中各基础头部模型进行匹配，而无需重新建立基础头部模型，提升了建模速度；具体地，将面部轮廓特征点与基础头部模型中数量较少的骨骼点进行匹配，而不是与模型表面数量较多的各个点和面进行匹配，大大减少了计算量；基于蒙皮权重，以基础头部模型的骨骼点为基准来进行匹配在减少计算量的同时仍可保证匹配的精确性。
3)本申请实施例在对初始三维头部模型的局部结构进行修正时，根据面部局部特征点对初始三维头部模型的骨骼点进行修正，由骨骼点带动关联的模型结构变化，减少需要修正的点位数，减少了计算量的同时实现了对模型的整体结构调整，使得到的个性化三维头部模型的结构更加符合真实人物的头部结构特征。
4)本申请实施例在根据面部局部特征点对初始三维头部模型的局部结构进行修正时，即修正初始三维头部模型的局部骨骼结构，也修正初始三维头部模型对应的初始面部贴图，使得到的个性化三维头部模型的结构和外观呈现均更符合真实人物的头部特征。
5)本申请实施例的技术方案可实现与用户的实时交互，且的适用范围广，既可适用于终端设备，也可适用于终端设备和云端设备的整体架构。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种三维头部模型的构建方法，其特征在于，包括：
获取用户的至少一个面部图像；
根据所述至少一个面部图像，获取所述用户的面部轮廓特征点；
根据所述面部轮廓特征点，确定出所述用户的初始三维头部模型；
根据所述至少一个面部图像，获取所述用户的面部局部特征点；
根据所述面部局部特征点，对所述初始三维头部模型的局部结构进行修正，得到符合所述用户的面部特征的个性化三维头部模型。
2.根据权利要求1所述的构建方法，其特征在于，所述根据所述面部轮廓特征点，确定出所述用户的初始三维头部模型，包括：
将基础模型库中各个基础头部模型的骨骼点与所述面部轮廓特征点进行匹配；
选取与所述面部轮廓特征点匹配度最高的一个所述基础头部模型作为所述初始三维头部模型。
3.根据权利要求1所述的构建方法，其特征在于，所述根据所述面部局部特征点，对所述初始三维头部模型的局部结构进行修正，得到符合所述用户的面部特征的个性化三维头部模型，包括：
将多个所述面部局部特征点的位置特征与所述初始三维头部模型上的多个骨骼点的位置特征进行对比；
将位置特征不一致的所述骨骼点调整至与所述面部局部特征点的位置特征一致，得到调整后的第一三维头部模型。
4.根据权利要求3所述的构建方法，其特征在于，所述根据所述面部局部特征点，对所述初始三维头部模型的局部结构进行修正，得到符合所述用户的面部特征的个性化三维头部模型，还包括：
根据所述面部局部特征点，生成符合所述用户的面部特征的个性化面部贴图；
将所述个性化面部贴图赋予所述第一三维头部模型，得到第二三维头部模型。
5.根据权利要求4所述的构建方法，其特征在于，所述根据所述面部局部特征点，生成符合所述用户的面部特征的个性化面部贴图，包括：
根据所述面部局部特征点，对与所述初始三维头部模型具有映射关系的初始面部贴图上的贴图特征点进行调整，生成调整后的所述个性化面部贴图。
6.根据权利要求5所述的构建方法，其特征在于，所述根据所述面部局部特征点，对与所述初始三维头部模型对应的初始面部贴图上的贴图特征点进行调整，包括：
判断多个所述面部局部特征点的位置特征是否与多个所述贴图特征点的位置特征一致；
将不一致的所述贴图特征点的位置特征调整至与对应的所述面部局部特征点的位置特征一致。
7.根据权利要求6所述的构建方法，其特征在于，所述根据所述面部局部特征点，对与所述初始三维头部模型对应的初始面部贴图上的贴图特征点进行调整，还包括：
判断多个所述面部局部特征点的像素特征是否与多个所述贴图特征点的像素特征一致；
将不一致的所述贴图特征点的像素特征调整至与对应的所述面部局部特征点的像素特征一致。
8.根据权利要求1所述的构建方法，其特征在于，所述获取用户的至少一个面部图像，包括：
获取所述用户的正面图像和至少一个侧面图像；或，获取指定的所述侧面图像和所述用户的正面图像。
9.根据权利要求1所述的构建方法，其特征在于，根据所述至少一个面部图像，获取所述用户面部轮廓特征点，包括：
根据训练后的第一图像识别模型，在所述至少一个面部图像中识别出所述用户的面部轮廓特征点；
以及，根据所述至少一个面部图像，获取所述用户面部局部特征点，包括：
根据训练后的第二图像识别模型，在所述至少一个面部图像中识别出所述用户的面部局部特征点。
10.一种三维头部模型的构建装置，其特征在于，包括：
图像获取模块，用于获取用户的至少一个面部图像；
第一特征获取模块，用于根据所述至少一个面部图像，获取所述用户的面部轮廓特征点；
模型确定模块，用于根据所述面部轮廓特征点，确定出所述用户的初始三维头部模型；
第二特征获取模块，用于根据所述至少一个面部图像，获取所述用户的面部局部特征点；
模型构建模块，用于根据所述面部局部特征点，对所述初始三维头部模型的局部结构进行修正，得到符合所述用户的面部特征的个性化三维头部模型。
11.一种三维头部模型的构建系统，其特征在于，包括：输入单元、存储器、处理器和显示单元；
所述输入单元、存储器和所述显示单元均与所述处理器电连接；
所述输入单元用于获取用户的至少一个面部图像；
所述存储器存储有计算机程序，所述计算机程序由所述处理器执行以实现如权利要求1-9中任一项所述的三维头部模型的构建方法；
所述显示单元用于展示由所述处理器根据所述三维头部模型的构建方法构建出的个性化三维头部模型。
12.根据权利要求11所述的构建系统，其特征在于，所述存储器还存储有基础模型库，所述基础模型库中存储有多个基础头部模型。
13.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的三维头部模型的构建方法。
CN202010239471.3A 2020-03-30 2020-03-30 三维头部模型的构建方法、装置、系统及存储介质 Active CN113470162B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010239471.3A CN113470162B (zh) 2020-03-30 2020-03-30 三维头部模型的构建方法、装置、系统及存储介质
US17/631,480 US20220277586A1 (en) 2020-03-30 2021-03-26 Modeling method, device, and system for three-dimensional head model, and storage medium
PCT/CN2021/083329 WO2021197230A1 (zh) 2020-03-30 2021-03-26 三维头部模型的构建方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239471.3A CN113470162B (zh) 2020-03-30 2020-03-30 三维头部模型的构建方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113470162A true CN113470162A (zh) 2021-10-01
CN113470162B CN113470162B (zh) 2024-08-20

Family

ID=77865277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239471.3A Active CN113470162B (zh) 2020-03-30 2020-03-30 三维头部模型的构建方法、装置、系统及存储介质

Country Status (3)

Country Link
US (1) US20220277586A1 (zh)
CN (1) CN113470162B (zh)
WO (1) WO2021197230A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920282A (zh) * 2021-11-15 2022-01-11 广州博冠信息科技有限公司 图像处理方法和装置、计算机可读存储介质、电子设备
CN118138834A (zh) * 2024-05-07 2024-06-04 腾讯科技（深圳）有限公司 一种视频生成方法和相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022403A (ja) * 2010-07-12 2012-02-02 Nippon Hoso Kyokai <Nhk> 画像処理装置およびコンピュータプログラム
CN102663820A (zh) * 2012-04-28 2012-09-12 清华大学 三维头部模型重建方法
KR20170033758A (ko) * 2015-09-17 2017-03-27 삼성전자주식회사 이미지의 밝기를 조절하는 방법 및 장치
CN107452049A (zh) * 2016-05-30 2017-12-08 腾讯科技（深圳）有限公司 一种三维头部建模方法及装置
CN109346501A (zh) * 2018-09-21 2019-02-15 上海天马有机发光显示技术有限公司 一种oled显示面板及显示装置
CN109978930A (zh) * 2019-03-27 2019-07-05 杭州相芯科技有限公司 一种基于单幅图像的风格化人脸三维模型自动生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796480B2 (en) * 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
WO2021083133A1 (zh) * 2019-10-29 2021-05-06 广州虎牙科技有限公司 图像处理方法、装置、设备及存储介质
CN111028343B (zh) * 2019-12-16 2020-12-11 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022403A (ja) * 2010-07-12 2012-02-02 Nippon Hoso Kyokai <Nhk> 画像処理装置およびコンピュータプログラム
CN102663820A (zh) * 2012-04-28 2012-09-12 清华大学 三维头部模型重建方法
KR20170033758A (ko) * 2015-09-17 2017-03-27 삼성전자주식회사 이미지의 밝기를 조절하는 방법 및 장치
CN107452049A (zh) * 2016-05-30 2017-12-08 腾讯科技（深圳）有限公司 一种三维头部建模方法及装置
CN109346501A (zh) * 2018-09-21 2019-02-15 上海天马有机发光显示技术有限公司 一种oled显示面板及显示装置
CN109978930A (zh) * 2019-03-27 2019-07-05 杭州相芯科技有限公司 一种基于单幅图像的风格化人脸三维模型自动生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920282A (zh) * 2021-11-15 2022-01-11 广州博冠信息科技有限公司 图像处理方法和装置、计算机可读存储介质、电子设备
CN118138834A (zh) * 2024-05-07 2024-06-04 腾讯科技（深圳）有限公司 一种视频生成方法和相关装置

Also Published As

Publication number Publication date
US20220277586A1 (en) 2022-09-01
WO2021197230A1 (zh) 2021-10-07
CN113470162B (zh) 2024-08-20

Similar Documents

Publication Publication Date Title
CN110163054B (zh) 一种人脸三维图像生成方法和装置
CN109859098B (zh) 人脸图像融合方法、装置、计算机设备及可读存储介质
JP7526412B2 (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
WO2022143645A1 (zh) 三维人脸重建的方法、装置、设备和存储介质
EP3644277A1 (en) Image processing system, image processing method, and program
CN107564080B (zh) 一种人脸图像的替换系统
CN109961496B (zh) 表情驱动方法及表情驱动装置
US10909744B1 (en) Simulating garment with wrinkles based on physics based cloth simulator and machine learning model
CN109377557A (zh) 基于单帧人脸图像的实时三维人脸重建方法
CN112419144B (zh) 人脸图像的处理方法、装置、电子设备及存储介质
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
CN111833236A (zh) 产生模拟用户的三维脸部模型的方法及装置
CN112581518A (zh) 基于三维卡通模型的眼球配准方法、装置、服务器和介质
CN113470162A (zh) 三维头部模型的构建方法、装置、系统及存储介质
CN117315211B (zh) 数字人合成及其模型训练方法、装置、设备及存储介质
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
JP2024506170A (ja) 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム
CN111599002A (zh) 用于生成图像的方法和装置
CN109934926B (zh) 模型数据处理方法、装置、可读存储介质和设备
CN112507766B (zh) 人脸图像提取方法、存储介质及终端设备
CN110751026B (zh) 视频处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant