CN116740281A - 三维头部模型的生成方法、装置、电子设备和存储介质 - Google Patents

三维头部模型的生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116740281A
CN116740281A CN202310729079.0A CN202310729079A CN116740281A CN 116740281 A CN116740281 A CN 116740281A CN 202310729079 A CN202310729079 A CN 202310729079A CN 116740281 A CN116740281 A CN 116740281A
Authority
CN
China
Prior art keywords
texture map
target
model
head
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310729079.0A
Other languages
English (en)
Inventor
刘佳丽
蒋寅迪
王旭
陈凯旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Suzhou Technology Co Ltd
Original Assignee
Iflytek Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Suzhou Technology Co Ltd filed Critical Iflytek Suzhou Technology Co Ltd
Priority to CN202310729079.0A priority Critical patent/CN116740281A/zh
Publication of CN116740281A publication Critical patent/CN116740281A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种三维头部模型的生成方法、装置、电子设备和存储介质，涉及三维重建技术领域。其中方法包括：获取用户的面部重建模型，以及待制作角色的角色头部模型；基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，以使所述角色头部重建模型用于表征所述用户的面部信息。本发明提高了三维头部模型的生成准确性和三维头部模型的生成效率，并降低了三维头部模型的生成成本。

Description

三维头部模型的生成方法、装置、电子设备和存储介质
技术领域
本发明涉及三维重建技术领域，尤其涉及一种三维头部模型的生成方法、装置、电子设备和存储介质。
背景技术
随着三维打印技术的迅速发展，手办受到越来越多人的喜爱。手办通常是指以动漫、游戏、电影、特定场景等为主题的人物实体模型，其高度还原了原作中角色的外形特征。目前，越来越多的用户愿意尝试制作与个人形象特征相匹配的手办，因此，需要实现手办的个性化定制。
目前，根据用户需求设计外观，并通过建模工具制作与该外观相匹配的三维模型，从而基于该三维模型制作实际的物理手办。然而，通过建模工具制作三维模型，严重依赖制作人员的专业经验，可能导致三维模型并不能完全复刻真人形象，降低了三维模型的制作准确性；且人工进行三维建模，费时费力，大大提高了三维模型的制作成本。
发明内容
本发明提供一种三维头部模型的生成方法、装置、电子设备和存储介质，用以解决现有技术中三维模型的制作准确性低及制作成本高的缺陷。
本发明提供一种三维头部模型的生成方法，包括：
获取用户的面部重建模型，以及待制作角色的角色头部模型；
基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，以使所述角色头部重建模型用于表征所述用户的面部信息。
根据本发明提供的一种三维头部模型的生成方法，所述基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，包括：
基于所述面部重建模型与所述角色头部模型的第一点对集，确定目标非刚性变换矩阵；
基于所述目标非刚性变换矩阵，对所述角色头部模型进行非刚性变形，生成角色头部重建模型。
根据本发明提供的一种三维头部模型的生成方法，所述基于所述面部重建模型与所述角色头部模型的第一点对集，确定目标非刚性变换矩阵，包括：
对所述面部重建模型和所述角色头部模型进行最近点搜索，得到所述面部重建模型与所述角色头部模型的面部拓扑区域的第一点对集；
基于所述第一点对集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵。
根据本发明提供的一种三维头部模型的生成方法，所述基于所述第一点对集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵，包括：
基于所述第一点对集与第二点对集的并集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵；
其中，所述第二点对集包括第三点对集和/或第四点对集，所述第三点对集包括所述角色头部模型中的多个标定关键点与所述面部重建模型中的多个人脸关键点形成的点对，所述第四点对集包括所述角色头部模型的非面部拓扑区域中的多个点与所述角色头部模型的非面部拓扑区域中的多个点形成的点对。
根据本发明提供的一种三维头部模型的生成方法，所述基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，之后还包括：
确定所述角色头部重建模型与所述面部重建模型之间的纹理坐标对应关系；
基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标纹理贴图。
根据本发明提供的一种三维头部模型的生成方法，所述基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标纹理贴图，包括：
基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标面部纹理贴图；
将所述目标面部纹理贴图融合至目标头部纹理贴图，得到所述目标纹理贴图。
根据本发明提供的一种三维头部模型的生成方法，所述将所述目标面部纹理贴图融合至目标头部纹理贴图，得到所述目标纹理贴图，包括：
将所述目标面部纹理贴图融合至目标头部纹理贴图，得到第一融合纹理贴图；
将所述目标面部纹理贴图中的眼部纹理贴图融合至所述第一融合纹理贴图，得到所述目标纹理贴图。
根据本发明提供的一种三维头部模型的生成方法，所述将所述目标面部纹理贴图中的眼部纹理贴图融合至所述第一融合纹理贴图，得到所述目标纹理贴图，包括：
将所述目标面部纹理贴图中的眼部纹理贴图融合至所述第一融合纹理贴图，得到第二融合纹理贴图；
将所述第二融合纹理贴图作为所述第一融合纹理贴图，直至所述眼部纹理贴图的融合次数达到预设融合次数；
将最后融合得到的第二融合纹理贴图作为所述目标纹理贴图。
根据本发明提供的一种三维头部模型的生成方法，所述将所述目标面部纹理贴图融合至目标头部纹理贴图，得到所述目标纹理贴图，之前还包括：
将所述用户的脸部区域图像输入至肤色检测模型，得到所述肤色检测模型输出的肤色检测结果；
从预设纹理图集中确定出所述肤色检测结果对应的候选纹理图；
基于所述候选纹理图，确定所述目标头部纹理贴图。
根据本发明提供的一种三维头部模型的生成方法，所述基于所述候选纹理图，确定所述目标头部纹理贴图，包括：
获取用户调整指令；
基于所述用户调整指令调整所述候选纹理图，得到所述目标头部纹理贴图。
根据本发明提供的一种三维头部模型的生成方法，所述基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标纹理贴图，之后还包括：
提取所述目标纹理贴图中的目标待优化区域；
显示所述目标待优化区域；
获取用户优化指令，基于所述用户优化指令对所述目标待优化区域进行优化，得到优化后的目标纹理贴图。
根据本发明提供的一种三维头部模型的生成方法，所述提取所述目标纹理贴图中的目标待优化区域，包括：
基于所述目标纹理贴图中的多个关键点，确定轮廓线；
基于所述轮廓线，对所述目标纹理贴图进行区域提取，得到所述目标待优化区域。
根据本发明提供的一种三维头部模型的生成方法，所述基于所述轮廓线，对所述目标纹理贴图进行区域提取，得到所述目标待优化区域，包括：
基于所述轮廓线，对所述目标纹理贴图进行区域提取，得到第一待优化区域；
对所述第一待优化区域进行图像膨胀处理，得到图像膨胀区域，并对所述第一待优化区域进行图像腐蚀处理，得到图像腐蚀区域；
基于所述图像膨胀区域与所述第一待优化区域的差值，确定第一边缘区域，并基于所述第一待优化区域与所述图像腐蚀区域的差值，确定第二边缘区域；
对所述第一边缘区域与所述第二边缘区域的并集中的所有像素点进行聚类，得到隶属于待优化区域的目标像素点集；
基于所述目标像素点集，确定所述目标待优化区域。
根据本发明提供的一种三维头部模型的生成方法，所述确定所述角色头部重建模型与所述面部重建模型之间的纹理坐标对应关系，包括：
在所述角色头部重建模型的精度小于所述面部重建模型的精度的情况下，对所述角色头部重建模型的面部拓扑区域进行网格细分处理，得到细分后的角色头部重建模型；
基于所述面部重建模型，更新所述细分后的角色头部重建模型的面部拓扑区域，得到更新后的角色头部重建模型；
确定所述更新后的角色头部重建模型与所述面部重建模型之间的纹理坐标对应关系。
本发明还提供一种三维头部模型的生成装置，包括：
获取模块，用于获取用户的面部重建模型，以及待制作角色的角色头部模型；
重拓扑模块，用于基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，以使所述角色头部重建模型用于表征所述用户的面部信息。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维头部模型的生成方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维头部模型的生成方法。
本发明提供的三维头部模型的生成方法、装置、电子设备和存储介质，基于用户的面部重建模型，自动对待制作角色的角色头部模型进行重拓扑，生成角色头部重建模型，以使角色头部重建模型用于表征该用户的面部信息，以使角色头部重建模型复刻有该用户的面部形象，提高了三维头部模型的生成准确性；且自动基于面部重建模型对角色头部模型进行重拓扑，无需人工进行三维建模和修复，提高了三维头部模型的生成效率，并降低了三维头部模型的生成成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的三维头部模型的生成方法的流程示意图之一；
图2为本发明提供的三维头部模型的生成方法的流程示意图之二；
图3为本发明提供的角色头部模型的标定关键点示意图；
图4为本发明提供的三维头部模型的生成方法的流程示意图之三；
图5为本发明提供的角色头部重建模型的更新方式示意图；
图6为本发明提供的三维头部模型的生成装置的结构示意图；
图7为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着三维打印技术的迅速发展，手办受到越来越多人的喜爱。近年来，手办市场是一个非常热门的市场，吸引了许多动漫、游戏、影视作品的粉丝。手办通常是指以动漫、游戏、电影、特定场景等为主题的人物实体模型，其高度还原了原作中角色的外形特征。目前，越来越多的个人用户愿意尝试制作与个人形象特征相匹配的手办，因此，需要实现手办的个性化定制，即私人定制人像作为手办，以使定制的3D打印更加个性化，适用于任意用户。
目前，根据用户需求设计外观，并通过建模工具(如Blender，Zbrush等)制作与该外观相匹配的三维模型，从而基于该三维模型制作实际的物理手办，如基于3D打印机直接打印或使用其他制造工具开模生产。然而，通过建模工具制作三维模型，严重依赖制作人员的专业经验，可能导致三维模型并不能完全复刻真人形象，降低了三维模型的制作准确性；且人工进行三维建模，费时费力，大大提高了三维模型的制作成本。例如，参照真人形象照片等从零进行雕刻和捏脸制作三维模型，其严重依赖制作人员的专业经验，可能导致三维模型并不能完全复刻真人形象，且其制作时间长、成本高。
此外，基于真人进行3D扫描并利用三维重建算法重建人物模型的方案，目前都是聚焦于当前场景人物的重建和复刻，其反应的是本人全身或局部的瞬间定格形象，而为了满足3D打印需求，还需要再经过专业人员对人物模型精修、去噪平滑等处理，同样费时费力。
针对上述问题，本发明提出以下各实施例。图1为本发明提供的三维头部模型的生成方法的流程示意图之一，如图1所示，该三维头部模型的生成方法包括：
步骤110，获取用户的面部重建模型，以及待制作角色的角色头部模型。
此处，用户为需要自定义角色头部模型的用户，即该用户需要私人定制角色头部模型，以满足其个性化需求。进一步地，该用户为需要自定义手办的用户。
此处，面部重建模型为三维重建模型，该面部重建模型是基于该用户的多视角面部图像进行三维重建得到的。
在一些实施例中，基于该用户的多视角面部图像和各面部图像对应的图像采集装置的位姿信息，对该用户的面部进行三维重建，得到面部重建模型。在一实施例中，各图像采集装置可以为多个RGB相机组成的脸部扫描阵列，以通过该脸部扫描阵列对用户面部同步进行多视角图像采集，以提高面部重建模型的准确性。在一实施例中，可以通过多视图立体匹配方法(Multi-view Stereo Matching)进行三维重建，从而生成高精度的面部重建模型。
进一步地，可以对三维重建后的三维重建模型进行去噪处理和/或平滑处理，从而提高面部重建模型的准确性。在一实施例中，利用网格拉普拉斯算法对三维重建模型进行去噪处理和/或平滑处理。
此处，待制作角色为用户选定的个性化角色，进一步地，该待制作角色为待制作手办对应的角色。
此处，角色头部模型为预先制作的三维模型。由于只需生成三维头部模型，因此此处只需待制作角色的角色头部模型即可，无需整体的角色模型。
步骤120，基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，以使所述角色头部重建模型用于表征所述用户的面部信息。
考虑到面部重建模型仅包括用户的面部信息，该面部重建模型并非可3D打印的完整头部模型，因此需要获取角色头部模型，以基于该面部重建模型对该角色头部模型进行重拓扑。
具体地，基于该面部重建模型，对角色头部模型进行形状重拓扑，生成角色头部重建模型。
在一具体实施例中，基于该面部重建模型，对角色头部模型进行非刚性变形，得到角色头部重建模型。更为具体地，基于该面部重建模型，对角色头部模型的面部拓扑区域进行非刚性变形，并对角色头部模型的非面部拓扑区域进行刚性变形，得到角色头部重建模型。可以理解的是，角色头部重建模型中的面部区域包括面部重建模型所表征的用户的面部信息。
在本发明实施例中，该三维头部模型的生成方法可以应用于个性化真人手办制作场景。在一实施例中，通过3D打印设备，对角色头部重建模型进行打印，得到头部实体；由于角色手办的头部与身体属于两个分离实体，因此，可以将头部实体与身体实体通过插件结构组装得到真人角色手办。可以理解的是，身体实体可通过开模量产以降低大批量生成成本，仅头部实体是需要通过3D打印设备适配用户定制。
例如，用户只需要进入采集舱，系统给出指引并提示按要求进行图像采集，系统实时分析图像质量是否符合标准，从而基于该用户的多视角面部图像对该用户的面部进行三维重建，得到面部重建模型；用户在系统绑定的APP数字资产库内完成个人喜爱角色的选择后，即可基于用户真实的面部3D重建信息，实现本人到特定角色头部的高保真迁移与优化，最终借助3D全彩打印设备，制作与本人面部信息相匹配的角色手办，即拥有用户头部形象的角色手办。可以理解的是，上述方案可为用户提供闭环体验，无需人工参与调校，制作系统高效鲁棒，可灵活实现不同场景下的角色人物留念。例如，文旅场景下，拙政园有古装汉服男女形象的角色模型供游客留念，用户即可通过本发明实施例进行本人面部信息采集、重建与迁移，最终生成用户定制头部形象的孪生角色手办。
可以理解的是，仅仅获取用户的面部重建模型，并基于该面部重建模型对角色头部模型进行重拓扑，以使最终得到的实体手办并非用户全身或局部的定格形象，且基于该方式还可以满足3D打印需求(模型尺寸的要求)，无需再进行人工的后处理，从而提高了手办的制作效率，并降低了手办的制作成本。
本发明实施例提供的三维头部模型的生成方法，基于用户的面部重建模型，自动对待制作角色的角色头部模型进行重拓扑，生成角色头部重建模型，以使角色头部重建模型用于表征该用户的面部信息，以使角色头部重建模型复刻有该用户的面部形象，提高了三维头部模型的生成准确性；且自动基于面部重建模型对角色头部模型进行重拓扑，无需人工进行三维建模和修复，提高了三维头部模型的生成效率，并降低了三维头部模型的生成成本。
基于上述实施例，图2为本发明提供的三维头部模型的生成方法的流程示意图之二，如图2所示，上述步骤120包括：
步骤121，基于所述面部重建模型与所述角色头部模型的第一点对集，确定目标非刚性变换矩阵。
此处，第一点对集包括多个点对，任一点对包括面部重建模型对应的网格的一顶点，以及角色头部模型对应的网格的一顶点，且该任一点对的两顶点存在位置对应关系。进一步地，第一点对集为面部重建模型与角色头部模型的面部拓扑区域的点对集。
此处，目标非刚性变换矩阵(Matrix)用于对角色头部模型进行非刚性变形，生成角色头部重建模型。该目标非刚性变换矩阵包括：对角色头部模型的面部拓扑区域进行非刚性变形的非刚性变换子矩阵，以及对角色头部模型的非面部拓扑区域进行刚性变形的刚性变换子矩阵。该刚性变换子矩阵可以为单位矩阵。
具体的，基于该第一点对集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵。
步骤122，基于所述目标非刚性变换矩阵，对所述角色头部模型进行非刚性变形，生成角色头部重建模型。
具体地，基于该目标非刚性变换矩阵，对角色头部模型的面部拓扑区域进行非刚性变形，并对角色头部模型的非面部拓扑区域进行刚性变形，得到角色头部重建模型。其中，面部拓扑区域为角色头部模型中的面部区域，非面部拓扑区域为角色头部模型中除面部拓扑区域以外的区域。
示例性的，角色头部重建模型的生成公式如下：
B＝A*M；
式中，B表示角色头部重建模型对应的矩阵，A表示角色头部模型对应的矩阵，M表示目标非刚性变换矩阵。
可以理解的是，经过非刚性变形后的角色头部重建模型，在尺度和空间上仍有通过算法约束其刚性变形，从而使最终制作的头部实体与身体实体仍满足可组装条件。
本发明实施例提供的三维头部模型的生成方法，基于目标非刚性变换矩阵，对角色头部模型进行非刚性变形，以使角色头部重建模型的面部拓扑区域与面部重建模型基本对齐，且角色头部重建模型的非面部拓扑区域能在角色头部模型的刚性变形基础上匹配该面部拓扑区域的刚性变形，进而使角色头部重建模型用于表征该用户的面部信息的同时，仅仅对角色头部模型的面部拓扑区域进行非刚性变形，而其非面部拓扑区域是进行刚性变形，进而防止非面部拓扑区域变形，提高角色头部重建模型的准确性，并防止制作的手办的非面部区域变形。
基于上述任一实施例，该方法中，上述步骤121包括：
对所述面部重建模型和所述角色头部模型进行最近点搜索，得到所述面部重建模型与所述角色头部模型的面部拓扑区域的第一点对集；
基于所述第一点对集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵。
具体地，对面部重建模型对应的网格和角色头部模型对应的网格进行最近点搜索，得到该第一点对集。进一步地，对面部重建模型对应的网格和角色头部模型的面部拓扑区域对应的网格进行最近点搜索，得到该第一点对集，从而提高第一点对集的准确性。其中，最近点搜索可以采用KD-Tree(K-dimensional tree，高维索引树形数据结构)方法。
为便于理解，假设角色头部模型对应的网格的顶点集为X＝{x1，x2，…，xm}，角色头部模型的面部拓扑区域对应的网格的顶点集为Y＝{y1，y2，…，yn}，Y为X的子集，面部重建模型对应的网格的顶点集为Z＝{z1，z2，…，zq}，基于此，第一点对集包括的任一点对为{(y,z)|y∈Y,z∈Z}。
此处，初始非刚性变换矩阵可以为随机设定的非刚性变换矩阵，其为第一次迭代优化的非刚性变换矩阵。可以理解的是，目标非刚性变换矩阵是经过至少一次迭代后得到的非刚性变换矩阵。
具体地，将第一点对集中角色头部模型对应的网格的顶点作为样本，将第一点对集中面部重建模型对应的网格的顶点作为标签，对初始非刚性变换矩阵进行迭代优化，直至满足收敛条件，得到目标非刚性变换矩阵。其中，迭代优化可以采用梯度下降法、牛顿法等等。可以理解的是，可以基于该样本和非刚性变换矩阵得到预测顶点，进而基于该预测顶点和该标签确定损失，进而结合损失函数完成迭代优化。
本发明实施例提供的三维头部模型的生成方法，对面部重建模型和角色头部模型进行最近点搜索，得到面部重建模型与角色头部模型的面部拓扑区域的第一点对集，从而提高第一点对集的准确性，进而提高目标非刚性变换矩阵的准确性，最终提高角色头部重建模型的准确性。
基于上述任一实施例，该方法中，所述基于所述第一点对集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵，包括：
基于所述第一点对集与第二点对集的并集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵。
其中，所述第二点对集包括第三点对集和/或第四点对集，所述第三点对集包括所述角色头部模型中的多个标定关键点与所述面部重建模型中的多个人脸关键点形成的点对，所述第四点对集包括所述角色头部模型的非面部拓扑区域中的多个点与所述角色头部模型的非面部拓扑区域中的多个点形成的点对。
此处，多个标定关键点为预先标定的面部关键点，多个人脸关键点是基于该用户的人脸图像确定的2D语义关键点确定得到的，即将2D语义关键点映射至面部重建模型，以得到3D的人脸关键点。多个标定关键点与多个人脸关键点一一对应，即语义一一对应，从而可以形成点对。为便于理解，如图3所示，假设角色头部模型中存在47个标定关键点，则人脸关键点的数量也为47个，且一一对应。
在一具体实施例中，基于该用户的人脸图像，确定用户人脸对应的多个2D语义关键点，并在世界坐标系下，通过相机模型计算出各2D语义关键点的光线向量，从而将光线向量与面部重建模型的三角网格求交点，得到各2D语义关键点在面部重建模型中的多个人脸关键点，即得到在面部重建模型中的多个人脸关键点的3D空间坐标。
此处，第四点对集为角色头部模型的非面部拓扑区域中的多个点自身形成的点对集，即第四点对集中的任一点对包括两个相同的点。可以理解的是，基于第四点对集对初始非刚性变换矩阵进行迭代优化，可以使目标非刚性变换矩阵包括对角色头部模型的非面部拓扑区域进行刚性变形的刚性变换子矩阵。
本发明实施例提供的三维头部模型的生成方法，进一步基于第三点对集对初始非刚性变换矩阵进行迭代优化，以进一步考虑人脸上的关键点，以使目标非刚性变换矩阵更充分地考虑人脸上的非刚性变形，以使角色头部模型的面部拓扑区域更好地进行拓扑，以使面部重建模型表征的面部信息更好地迁移到角色头部模型，进而提高角色头部重建模型的准确性。进一步基于第四点对集对初始非刚性变换矩阵进行迭代优化，以进一步考虑非面部拓扑区域，以使角色头部重建模型的非面部拓扑区域能在角色头部模型的刚性变形基础上匹配该面部拓扑区域的刚性变形，进而使角色头部重建模型用于表征该用户的面部信息的同时，仅仅对角色头部模型的面部拓扑区域进行非刚性变形，而其非面部拓扑区域是进行刚性变形，进而防止非面部拓扑区域变形，提高角色头部重建模型的准确性，并防止制作的手办的非面部区域变形。
基于上述任一实施例，图4为本发明提供的三维头部模型的生成方法的流程示意图之三，如图4所示，上述步骤120之后，该方法还包括：
步骤410，确定所述角色头部重建模型与所述面部重建模型之间的纹理坐标对应关系。
此处，纹理坐标对应关系用于表征角色头部重建模型对应的纹理贴图与面部重建模型对应的纹理贴图之间的纹理坐标的一一对应关系。
在一具体实施例中，采用光线投射算法，建立角色头部重建模型与面部重建模型之间的纹理坐标对应关系。
步骤420，基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标纹理贴图。
在一些实施例中，基于该用户的多视角面部图像和各面部图像对应的图像采集装置的位姿信息，生成面部重建模型对应的面部纹理贴图。在一实施例中，各图像采集装置可以为多个RGB相机组成的脸部扫描阵列，以通过该脸部扫描阵列对用户面部同步进行多视角图像采集，以提高面部纹理贴图的准确性。
具体地，提取面部重建模型对应的面部纹理贴图上的各像素值，基于纹理坐标对应关系和各像素值，生成角色头部重建模型对应的目标纹理贴图。更为具体地，基于纹理坐标对应关系，将各像素值迁移到角色头部重建模型对应的目标纹理贴图。在一实施例中，像素值的提取可以采用双线性插值法。
可以理解的是，目标纹理贴图比面部纹理贴图更大，基于此，角色头部重建模型的未迁移部分的纹理贴图可以基于预设纹理贴图确定，或者，角色头部重建模型对应有一个初始纹理贴图，将各像素值迁移到角色头部重建模型对应的初始纹理贴图，得到目标纹理贴图，未迁移部分不修改即可。
可以理解的是，该目标纹理贴图为重拓扑的纹理图。在一实施例中，通过3D全彩打印设备，对角色头部重建模型和其对应的目标纹理贴图进行打印，从而支持边打印边上色，最终得到头部实体。
本发明实施例提供的三维头部模型的生成方法，基于用户的面部重建模型对应的面部纹理贴图和纹理坐标对应关系，自动生成角色头部重建模型对应的目标纹理贴图，以使目标纹理贴图用于表征该用户的面部信息，以复刻该用户的面部形象，提高了目标纹理贴图的生成准确性；且自动生成目标纹理贴图，无需人工生成纹理贴图，提高了目标纹理贴图的生成效率，并降低了目标纹理贴图的生成成本。进一步地，在手办制作场景中，提高手办制作准确性，并提高手办制作效率，以及降低手办制作成本。
基于上述任一实施例，考虑到基于面部重建模型对应的面部纹理贴图生成的角色头部重建模型对应的目标面部纹理贴图存在非面部拓扑区域的纹理缺失问题，基于此，上述步骤420包括：
基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标面部纹理贴图；
将所述目标面部纹理贴图融合至目标头部纹理贴图，得到所述目标纹理贴图。
具体地，提取面部重建模型对应的面部纹理贴图上的各像素值，基于纹理坐标对应关系和各像素值，生成角色头部重建模型对应的目标面部纹理贴图。更为具体地，基于纹理坐标对应关系，将各像素值迁移到角色头部重建模型对应的目标面部纹理贴图。
此处，目标头部纹理贴图为角色头部重建模型对应的头部纹理贴图，该目标头部纹理贴图为还未迁移面部纹理贴图的面部信息的贴图。该目标头部纹理贴图包括面部区域和非面部区域，可以理解的是，将目标面部纹理贴图融合至目标头部纹理贴图中的面部区域，得到融合后的目标纹理贴图，该目标纹理贴图的非面部区域可能并未修改。
在一具体实施例中，将目标面部纹理贴图与目标头部纹理贴图进行图像泊松融合，生成目标纹理贴图。即目标面部纹理贴图作为源纹理，目标头部纹理贴图作为目标纹理。
本发明实施例提供的三维头部模型的生成方法，将目标面部纹理贴图融合至目标头部纹理贴图，从而对目标面部纹理贴图进行融合补全，解决目标面部纹理贴图存在非面部拓扑区域的纹理缺失问题，
基于上述任一实施例，该方法中，所述将所述目标面部纹理贴图融合至目标头部纹理贴图，得到所述目标纹理贴图，包括：
将所述目标面部纹理贴图融合至目标头部纹理贴图，得到第一融合纹理贴图；
将所述目标面部纹理贴图中的眼部纹理贴图融合至所述第一融合纹理贴图，得到所述目标纹理贴图。
具体地，将目标面部纹理贴图融合至目标头部纹理贴图中的面部区域，得到融合后的第一融合纹理贴图，该第一融合纹理贴图的非面部区域可能并未修改。
在一具体实施例中，将目标面部纹理贴图与目标头部纹理贴图进行图像泊松融合，生成第一融合纹理贴图。
在一具体实施例中，将目标面部纹理贴图中的眼部纹理贴图与第一融合纹理贴图进行图像泊松融合，生成目标纹理贴图。即将目标面部纹理贴图中的眼部纹理贴图作为源纹理，并将第一融合纹理贴图作为目标纹理，进行眼部图像泊松融合。
本发明实施例提供的三维头部模型的生成方法，将目标面部纹理贴图中的眼部纹理贴图融合至第一融合纹理贴图，得到目标纹理贴图，以增强目标纹理贴图的眼部细节，进而提高目标纹理贴图的准确性。
基于上述任一实施例，该方法中，所述将所述目标面部纹理贴图中的眼部纹理贴图融合至所述第一融合纹理贴图，得到所述目标纹理贴图，包括：
将所述目标面部纹理贴图中的眼部纹理贴图融合至所述第一融合纹理贴图，得到第二融合纹理贴图；
将所述第二融合纹理贴图作为所述第一融合纹理贴图，直至所述眼部纹理贴图的融合次数达到预设融合次数；
将最后融合得到的第二融合纹理贴图作为所述目标纹理贴图。
此处，预设融合次数可以根据实际需要进行设定，本发明实施例对此不作具体限定。
在一具体实施例中，将目标面部纹理贴图中的眼部纹理贴图与第一融合纹理贴图进行图像泊松融合，生成第二融合纹理贴图，并将第二融合纹理贴图作为第一融合纹理贴图，迭代预设融合次数，最终得到目标纹理贴图。即将目标面部纹理贴图中的眼部纹理贴图作为源纹理，并将第一融合纹理贴图或融合后的第二融合纹理贴图作为目标纹理，进行预设融合次数的眼部图像泊松融合。
本发明实施例提供的三维头部模型的生成方法，将第二融合纹理贴图作为第一融合纹理贴图，直至眼部纹理贴图的融合次数达到预设融合次数，即迭代多次以进一步增强目标纹理贴图的眼部细节，进而进一步提高目标纹理贴图的准确性。
基于上述任一实施例，所述将所述目标面部纹理贴图融合至目标头部纹理贴图，得到所述目标纹理贴图之前，该方法还包括：
将所述用户的脸部区域图像输入至肤色检测模型，得到所述肤色检测模型输出的肤色检测结果；
从预设纹理图集中确定出所述肤色检测结果对应的候选纹理图；
基于所述候选纹理图，确定所述目标头部纹理贴图。
此处，脸部区域图像为该面部重建模型对应的用户的脸部图像。进一步地，该脸部区域图像为该用户的正视角图像。在一实施例中，采用Dlib算法从正视角图像中检测出脸部区域图像。
此处，肤色检测模型用于检测用户的肤色，其是基于样本脸部区域图像及其对应的肤色检测结果标签训练得到的。
在一实施例中，该肤色检测模型可以为三分类模型，以使肤色检测结果可以包括白、黄或黑。
此处，预设纹理图集包括多个预设纹理图，其是预先设定的。该预设纹理图集包括每一肤色检测结果对应的纹理图。
具体地，可以直接将候选纹理图，直接作为目标头部纹理贴图；也可以对候选纹理图做进一步的处理得到目标头部纹理贴图。
进一步地，从预设身体纹理图集中确定出肤色检测结果对应的候选身体纹理图；基于候选身体纹理图，确定目标身体纹理贴图。该目标身体纹理贴图的具体生成过程可以参照目标头部纹理贴图的生成过程，此处不再赘述。该目标身体纹理贴图可以用于身体实体的上色。
本发明实施例提供的三维头部模型的生成方法，将用户的脸部区域图像输入至肤色检测模型，得到肤色检测模型输出的肤色检测结果，进而从预设纹理图集中确定出该肤色检测结果对应的候选纹理图，以基于候选纹理图，准确确定目标头部纹理贴图，进而准确对目标面部纹理贴图进行融合补全。
基于上述任一实施例，该方法中，所述基于所述候选纹理图，确定所述目标头部纹理贴图，包括：
获取用户调整指令；
基于所述用户调整指令调整所述候选纹理图，得到所述目标头部纹理贴图。
具体地，显示候选纹理图，并获取针对候选纹理图的用户调整指令，以使用户可按需微调候选纹理图，得到目标头部纹理贴图。
在一实施例中，基于用户调整指令调整候选纹理图的白皙程度，得到调整后的目标头部纹理贴图。
本发明实施例提供的三维头部模型的生成方法，基于用户调整指令调整候选纹理图，以使用户可按需微调候选纹理图，得到个性化的目标头部纹理贴图，进而提高个性化水平，进一步提高目标头部纹理贴图的准确性。
基于上述任一实施例，上述步骤420之后，该方法还包括：
提取所述目标纹理贴图中的目标待优化区域；
显示所述目标待优化区域；
获取用户优化指令，基于所述用户优化指令对所述目标待优化区域进行优化，得到优化后的目标纹理贴图。
此处，目标待优化区域为目标纹理贴图中待优化的区域，例如，唇部区域、眼部区域、鼻部区域等等。
在一些实施例中，基于目标纹理贴图中的多个关键点，确定轮廓线；基于轮廓线，对目标纹理贴图进行区域提取，得到目标待优化区域。该实施例的具体执行过程参照下述实施例，此处不再一一赘述。
在另一些实施例中，将目标纹理贴图输入至图像分割模型，得到该图像分割模型输出的目标待优化区域。
在一实施例中，将目标纹理贴图输入至图像分割模型，得到该图像分割模型输出的第一待优化区域；对第一待优化区域进行图像膨胀处理，得到图像膨胀区域，并对第一待优化区域进行图像腐蚀处理，得到图像腐蚀区域；基于图像膨胀区域与第一待优化区域的差值，确定第一边缘区域，并基于第一待优化区域与图像腐蚀区域的差值，确定第二边缘区域；对第一边缘区域与第二边缘区域的并集中的所有像素点进行聚类，得到隶属于待优化区域的目标像素点集；基于目标像素点集，确定目标待优化区域。
具体地，获取针对目标待优化区域的用户优化指令，以使用户可按需微调目标纹理贴图中的目标待优化区域，得到优化后的目标纹理贴图。
示例性的，目标待优化区域为唇部区域，基于用户优化指令对目标纹理贴图中的唇部区域进行优化，得到优化后的目标纹理贴图。该用户优化指令可以调整唇色对比度，或者在唇部区域叠加唇彩等等。
本发明实施例提供的三维头部模型的生成方法，基于用户优化指令对目标纹理贴图中的目标待优化区域进行优化，得到优化后的目标纹理贴图，进而提高目标纹理贴图的准确性，并提高个性化水平。进一步地，在手办制作场景中，提高手办制作的准确性和个性化水平。
基于上述任一实施例，该方法中，所述提取所述目标纹理贴图中的目标待优化区域，包括：
基于所述目标纹理贴图中的多个关键点，确定轮廓线；
基于所述轮廓线，对所述目标纹理贴图进行区域提取，得到所述目标待优化区域。
在一具体实施例中，基于目标纹理贴图中的多个关键点，曲线拟合得到轮廓线。更为具体地，基于多个离散UV关键点，多次曲线拟合得到目标待优化区域对应的轮廓线，如进行五次曲线拟合得到目标待优化区域对应的轮廓线。
其中，多个离散UV关键点为目标纹理贴图中的关键点。在一实施例中，建立用户的面部图像中待优化区域的2D关键点与目标纹理贴图中待优化区域的UV坐标关键点之间的映射，从而基于该映射确定目标纹理贴图中的多个离散UV关键点。例如，建立用户的正视角图像中的唇部2D关键点与目标纹理贴图中唇部UV坐标关键点之间的映射，从而基于该映射确定目标纹理贴图中唇部区域的多个离散UV关键点。
具体地，基于轮廓线，对目标纹理贴图进行区域提取，得到第一待优化区域；可以直接将第一待优化区域作为目标待优化区域，也可以对第一待优化区域做进一步的细提取处理，得到目标待优化区域。
本发明实施例提供的三维头部模型的生成方法，通过上述方式，为目标待优化区域的提取方式提供支持，从而实现对目标纹理贴图中的目标待优化区域的优化。
基于上述任一实施例，该方法中，所述基于所述轮廓线，对所述目标纹理贴图进行区域提取，得到所述目标待优化区域，包括：
基于所述轮廓线，对所述目标纹理贴图进行区域提取，得到第一待优化区域；
对所述第一待优化区域进行图像膨胀处理，得到图像膨胀区域，并对所述第一待优化区域进行图像腐蚀处理，得到图像腐蚀区域；
基于所述图像膨胀区域与所述第一待优化区域的差值，确定第一边缘区域，并基于所述第一待优化区域与所述图像腐蚀区域的差值，确定第二边缘区域；
对所述第一边缘区域与所述第二边缘区域的并集中的所有像素点进行聚类，得到隶属于待优化区域的目标像素点集；
基于所述目标像素点集，确定所述目标待优化区域。
在一实施例中，第一待优化区域可以通过二值图的形式显示。
在一实施例中，可以对第一待优化区域进行若干次图像膨胀处理，得到图像膨胀区域；也可以对第一待优化区域进行若干次图像腐蚀处理，得到图像腐蚀区域。
具体地，可以直接将图像膨胀区域与第一待优化区域的差值作为第一边缘区域，也可以对该差值做进一步的处理得到第一边缘区域。可以基于将第一待优化区域与图像腐蚀区域的差值作为第二边缘区域，也可以对该差值做进一步的处理得到第二边缘区域。该第一边缘区域可以理解为皮肤边缘区域，该第二边缘区域可以理解为待优化区域的边缘区域。
示例性的，第一边缘区域的确定方式如下所示：
Rakin＝Dilate(Rcoarse,m)-Rcoarse；
式中，Rskin表示第一边缘区域；Rcoarse表示第一待优化区域；m表示图像膨胀处理的次数；Dilate(Rcoarse,m)表示图像膨胀区域，且其表示对第一待优化区域Rcoarse进行m次图像膨胀处理。
示例性的，第二边缘区域的确定方式如下所示：
Rlip＝rcoarse-Erode(Rcoarse,n)；
式中，Rlip表示第二边缘区域；Rcoarse表示第一待优化区域；n表示图像腐蚀处理的次数；Erode(Rcoarse,n)表示图像腐蚀区域，且其表示对第一待优化区域Rcoarse进行n次图像腐蚀处理。
具体地，对第一边缘区域与第二边缘区域的并集中的所有像素点进行聚类，得到多个类别，该多个类别中包括待优化区域对应的类别，该待优化区域对应的类别包括隶属于待优化区域的目标像素点集。在一实施例中，对第一边缘区域与第二边缘区域的并集中的所有像素点进行聚类，得到待优化区域对应的类别和非待优化区域对应的类别。
在一些实施例中，对第一边缘区域与第二边缘区域的并集中的所有像素点进行模糊C均值聚类处理，直至满足收敛条件，得到隶属于待优化区域的目标像素点集，以实现待优化区域的精细分割。
在一实施例中，第i次与第i-1次图像膨胀处理所得的第一边缘区域中，各像素的隶属度权重为其中，m为图像膨胀处理次数。第i次与第i-1次图像腐蚀处理所得的第二边缘区域中，各像素的隶属度权重为/>其中，n为图像腐蚀处理次数。
在一些实施例中，在聚类处理中，将第一边缘区域的所有像素点对应的特征向量均值作为该第一边缘区域对应的类别的初始聚类中心，将第二边缘区域的所有像素点对应的特征向量均值作为该第二边缘区域对应的类别的初始聚类中心。
在一实施例中，每一像素点的特征向量可以通过提取该像素点的RGB(Red GreenBlue)颜色空间得到。进一步地，还可以提取该像素点的LAB(CIELab，设备无关的颜色系统)颜色空间，从而将RGB颜色通道与LAB颜色通道进行拼接，得到该特征向量，从而提高后续聚类操作的准确性，进而提高目标待优化区域的提取准确性，最终得到准确优化后的目标纹理贴图。进一步地，可以对该特征向量进行降维处理，例如通过PCA(Principal ComponentAnalysis，主成分分析)降维至三维特征向量。
具体地，基于该目标像素点集，生成对应的目标待优化区域。更为具体地，从目标像素点集中确定多个边缘像素点，基于该多个边缘像素点，生成对应的目标待优化区域。
本发明实施例提供的三维头部模型的生成方法，通过上述方式，对目标纹理贴图中的待优化区域实现更为精细的提取，即先基于轮廓线，对目标纹理贴图进行粗提取，得到第一待优化区域，再对第一待优化区域进行细提取，得到更为准确的目标待优化区域，进而实现对目标纹理贴图中的目标待优化区域更为精确的优化。
基于上述任一实施例，考虑到角色头部重建模型的精度可能小于面部重建模型的精度，两者差距过大，可能造成目标纹理贴图的图像失真或纹理拉伸的问题，基于此，该方法中，上述步骤410包括：
在所述角色头部重建模型的精度小于所述面部重建模型的精度的情况下，对所述角色头部重建模型的面部拓扑区域进行网格细分处理，得到细分后的角色头部重建模型；
基于所述面部重建模型，更新所述细分后的角色头部重建模型的面部拓扑区域，得到更新后的角色头部重建模型；
确定所述更新后的角色头部重建模型与所述面部重建模型之间的纹理坐标对应关系。
具体地，对角色头部重建模型的面部拓扑区域进行网格细分处理，即精度增加处理，直至角色头部重建模型与面部重建模型的精度差异小于预设差异，得到细分后的角色头部重建模型。更为具体地，在角色头部重建模型的面部拓扑区域对应的网格中增加顶点。
示例性的，如图5所示，该图5仅展示网格三角面的一级细分，本发明实施例可以进行二级细分、三级细分等等，图5中的源网格为角色头部重建模型对应的网格，图5中的目标网格为面部重建模型对应的网格，S为角色头部重建模型中增加的顶点；具体地，可以在源网格的三角面的每条边上插入一个顶点并连接剖分为子三角面，图5中展示了源网格一个三角面的n级细分，在每条边插入n个顶点，剖分为(n+1)2个子三角面，图5展示的n为1。
如图5所示，以角色头部重建模型的面部拓扑区域内任一顶点S为例，首先，以顶点S为原点，沿顶点S法线ns方向构造光线向量，计算得到与目标网格的交点T，然后，求出交点T所在三角面片的面法线nT，并计算面法线nT与顶点S法线ns的夹角余弦值cosθ，最后，基于该夹角余弦值cosθ更新顶点S的空间坐标，即更新细分后的角色头部重建模型的面部拓扑区域，得到更新后的角色头部重建模型。示例性的，更新方式如下所示：
式中，coord(S)表示顶点S的空间坐标，cosθ表示上述的夹角余弦值，T表示上述的交点，coord(S1)表示更新后的顶点S的空间坐标。
进一步地，对更新后的角色头部重建模型进行边界点的平滑过渡。在一实施例中，搜索更新后的角色头部重建模型的面部拓扑区域与非面部拓扑区域的边界顶点，利用网格拉普拉斯算法对边界顶点进行平滑过渡。
本发明实施例提供的三维头部模型的生成方法，通过上述方式，提高角色头部重建模型的精度，防止目标纹理贴图的图像失真或纹理拉伸的问题，提高目标纹理贴图的准确性。
基于上述各实施例，本发明提出了一个高精度、可打印、角色化手办的体验与生产流程。通过去噪平滑算法优化三维头部模型，通过自动拓扑与纹理融合优化进行角色模型与用户的高度适配，无需大量人工对模型进行修复，为不同场景提供更多体验。
下面对本发明提供的三维头部模型的生成装置进行描述，下文描述的三维头部模型的生成装置与上文描述的三维头部模型的生成方法可相互对应参照。
图6为本发明提供的三维头部模型的生成装置的结构示意图，如图6所示，该三维头部模型的生成装置，包括：获取模块610和重拓扑模块620。
获取模块610，用于获取用户的面部重建模型，以及待制作角色的角色头部模型。
重拓扑模块620，用于基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，以使所述角色头部重建模型用于表征所述用户的面部信息。
本发明实施例提供的三维头部模型的生成装置，基于用户的面部重建模型，自动对待制作角色的角色头部模型进行重拓扑，生成角色头部重建模型，以使角色头部重建模型用于表征该用户的面部信息，以使角色头部重建模型复刻有该用户的面部形象，提高了三维头部模型的生成准确性；且自动基于面部重建模型对角色头部模型进行重拓扑，无需人工进行三维建模和修复，提高了三维头部模型的生成效率，并降低了三维头部模型的生成成本。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行三维头部模型的生成方法，该方法包括：获取用户的面部重建模型，以及待制作角色的角色头部模型；基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，以使所述角色头部重建模型用于表征所述用户的面部信息。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的三维头部模型的生成方法，该方法包括：获取用户的面部重建模型，以及待制作角色的角色头部模型；基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，以使所述角色头部重建模型用于表征所述用户的面部信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (17)

1.一种三维头部模型的生成方法，其特征在于，包括：
获取用户的面部重建模型，以及待制作角色的角色头部模型；
基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，以使所述角色头部重建模型用于表征所述用户的面部信息。
2.根据权利要求1所述的三维头部模型的生成方法，其特征在于，所述基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，包括：
基于所述面部重建模型与所述角色头部模型的第一点对集，确定目标非刚性变换矩阵；
基于所述目标非刚性变换矩阵，对所述角色头部模型进行非刚性变形，生成角色头部重建模型。
3.根据权利要求2所述的三维头部模型的生成方法，其特征在于，所述基于所述面部重建模型与所述角色头部模型的第一点对集，确定目标非刚性变换矩阵，包括：
对所述面部重建模型和所述角色头部模型进行最近点搜索，得到所述面部重建模型与所述角色头部模型的面部拓扑区域的第一点对集；
基于所述第一点对集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵。
4.根据权利要求3所述的三维头部模型的生成方法，其特征在于，所述基于所述第一点对集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵，包括：
基于所述第一点对集与第二点对集的并集，对初始非刚性变换矩阵进行迭代优化，得到目标非刚性变换矩阵；
其中，所述第二点对集包括第三点对集和/或第四点对集，所述第三点对集包括所述角色头部模型中的多个标定关键点与所述面部重建模型中的多个人脸关键点形成的点对，所述第四点对集包括所述角色头部模型的非面部拓扑区域中的多个点与所述角色头部模型的非面部拓扑区域中的多个点形成的点对。
5.根据权利要求1至4中任一项所述的三维头部模型的生成方法，其特征在于，所述基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，之后还包括：
确定所述角色头部重建模型与所述面部重建模型之间的纹理坐标对应关系；
基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标纹理贴图。
6.根据权利要求5所述的三维头部模型的生成方法，其特征在于，所述基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标纹理贴图，包括：
基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标面部纹理贴图；
将所述目标面部纹理贴图融合至目标头部纹理贴图，得到所述目标纹理贴图。
7.根据权利要求6所述的三维头部模型的生成方法，其特征在于，所述将所述目标面部纹理贴图融合至目标头部纹理贴图，得到所述目标纹理贴图，包括：
将所述目标面部纹理贴图融合至目标头部纹理贴图，得到第一融合纹理贴图；
将所述目标面部纹理贴图中的眼部纹理贴图融合至所述第一融合纹理贴图，得到所述目标纹理贴图。
8.根据权利要求7所述的三维头部模型的生成方法，其特征在于，所述将所述目标面部纹理贴图中的眼部纹理贴图融合至所述第一融合纹理贴图，得到所述目标纹理贴图，包括：
将所述目标面部纹理贴图中的眼部纹理贴图融合至所述第一融合纹理贴图，得到第二融合纹理贴图；
将所述第二融合纹理贴图作为所述第一融合纹理贴图，直至所述眼部纹理贴图的融合次数达到预设融合次数；
将最后融合得到的第二融合纹理贴图作为所述目标纹理贴图。
9.根据权利要求6所述的三维头部模型的生成方法，其特征在于，所述将所述目标面部纹理贴图融合至目标头部纹理贴图，得到所述目标纹理贴图，之前还包括：
将所述用户的脸部区域图像输入至肤色检测模型，得到所述肤色检测模型输出的肤色检测结果；
从预设纹理图集中确定出所述肤色检测结果对应的候选纹理图；
基于所述候选纹理图，确定所述目标头部纹理贴图。
10.根据权利要求9所述的三维头部模型的生成方法，其特征在于，所述基于所述候选纹理图，确定所述目标头部纹理贴图，包括：
获取用户调整指令；
基于所述用户调整指令调整所述候选纹理图，得到所述目标头部纹理贴图。
11.根据权利要求5所述的三维头部模型的生成方法，其特征在于，所述基于所述面部重建模型对应的面部纹理贴图和所述纹理坐标对应关系，生成所述角色头部重建模型对应的目标纹理贴图，之后还包括：
提取所述目标纹理贴图中的目标待优化区域；
显示所述目标待优化区域；
获取用户优化指令，基于所述用户优化指令对所述目标待优化区域进行优化，得到优化后的目标纹理贴图。
12.根据权利要求11所述的三维头部模型的生成方法，其特征在于，所述提取所述目标纹理贴图中的目标待优化区域，包括：
基于所述目标纹理贴图中的多个关键点，确定轮廓线；
基于所述轮廓线，对所述目标纹理贴图进行区域提取，得到所述目标待优化区域。
13.根据权利要求12所述的三维头部模型的生成方法，其特征在于，所述基于所述轮廓线，对所述目标纹理贴图进行区域提取，得到所述目标待优化区域，包括：
基于所述轮廓线，对所述目标纹理贴图进行区域提取，得到第一待优化区域；
对所述第一待优化区域进行图像膨胀处理，得到图像膨胀区域，并对所述第一待优化区域进行图像腐蚀处理，得到图像腐蚀区域；
基于所述图像膨胀区域与所述第一待优化区域的差值，确定第一边缘区域，并基于所述第一待优化区域与所述图像腐蚀区域的差值，确定第二边缘区域；
对所述第一边缘区域与所述第二边缘区域的并集中的所有像素点进行聚类，得到隶属于待优化区域的目标像素点集；
基于所述目标像素点集，确定所述目标待优化区域。
14.根据权利要求5所述的三维头部模型的生成方法，其特征在于，所述确定所述角色头部重建模型与所述面部重建模型之间的纹理坐标对应关系，包括：
在所述角色头部重建模型的精度小于所述面部重建模型的精度的情况下，对所述角色头部重建模型的面部拓扑区域进行网格细分处理，得到细分后的角色头部重建模型；
基于所述面部重建模型，更新所述细分后的角色头部重建模型的面部拓扑区域，得到更新后的角色头部重建模型；
确定所述更新后的角色头部重建模型与所述面部重建模型之间的纹理坐标对应关系。
15.一种三维头部模型的生成装置，其特征在于，包括：
获取模块，用于获取用户的面部重建模型，以及待制作角色的角色头部模型；
重拓扑模块，用于基于所述面部重建模型，对所述角色头部模型进行重拓扑，生成角色头部重建模型，以使所述角色头部重建模型用于表征所述用户的面部信息。
16.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至14任一项所述三维头部模型的生成方法。
17.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至14任一项所述三维头部模型的生成方法。
CN202310729079.0A 2023-06-19 2023-06-19 三维头部模型的生成方法、装置、电子设备和存储介质 Pending CN116740281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310729079.0A CN116740281A (zh) 2023-06-19 2023-06-19 三维头部模型的生成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310729079.0A CN116740281A (zh) 2023-06-19 2023-06-19 三维头部模型的生成方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116740281A true CN116740281A (zh) 2023-09-12

Family

ID=87909418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310729079.0A Pending CN116740281A (zh) 2023-06-19 2023-06-19 三维头部模型的生成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116740281A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958450A (zh) * 2023-09-14 2023-10-27 南京邮电大学 一种面向二维数据的人体三维重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958450A (zh) * 2023-09-14 2023-10-27 南京邮电大学 一种面向二维数据的人体三维重建方法
CN116958450B (zh) * 2023-09-14 2023-12-12 南京邮电大学 一种面向二维数据的人体三维重建方法

Similar Documents

Publication Publication Date Title
CN109408653B (zh) 基于多特征检索和形变的人体发型生成方法
CN103839223B (zh) 图像处理方法及装置
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
US11587288B2 (en) Methods and systems for constructing facial position map
CN109978930A (zh) 一种基于单幅图像的风格化人脸三维模型自动生成方法
CN108986132B (zh) 一种使用全卷积神经网络生成证件照Trimap图的方法
US20230044644A1 (en) Large-scale generation of photorealistic 3d models
US11562536B2 (en) Methods and systems for personalized 3D head model deformation
CN107924579A (zh) 生成个性化3d头部模型或3d身体模型的方法
CN111632374A (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
CN104123749A (zh) 一种图像处理方法及系统
JP7462120B2 (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
CN111127642A (zh) 一种人脸三维重建方法
US11417053B1 (en) Methods and systems for forming personalized 3D head and facial models
CN113870404B (zh) 一种3d模型的皮肤渲染方法及显示设备
CN113628327A (zh) 一种头部三维重建方法及设备
WO2021099003A1 (en) Methods and system for generating 3d virtual objects
CN113516755B (zh) 图像处理方法、图像处理装置、电子设备和存储介质
CN116740281A (zh) 三维头部模型的生成方法、装置、电子设备和存储介质
CN107564097A (zh) 一种基于正面图像的遗容三维重建方法
WO2022222091A1 (zh) 一种基于单张照片的人物浅浮雕模型生成方法
CN116311474A (zh) 一种人脸图像面部填充方法、系统及存储介质
CN113379890B (zh) 一种基于单张照片的人物浅浮雕模型生成方法
CN115936796A (zh) 一种虚拟换妆方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination