CN116797698A - 真人人脸纹理生成方法、装置、设备和存储介质 - Google Patents

真人人脸纹理生成方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116797698A
CN116797698A CN202310738171.3A CN202310738171A CN116797698A CN 116797698 A CN116797698 A CN 116797698A CN 202310738171 A CN202310738171 A CN 202310738171A CN 116797698 A CN116797698 A CN 116797698A
Authority
CN
China
Prior art keywords
face
model
texture
points
cartoon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310738171.3A
Other languages
English (en)
Inventor
冷志勇
李凤山
高上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huafang Technology Co ltd
Original Assignee
Beijing Huafang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huafang Technology Co ltd filed Critical Beijing Huafang Technology Co ltd
Priority to CN202310738171.3A priority Critical patent/CN116797698A/zh
Publication of CN116797698A publication Critical patent/CN116797698A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种真人人脸纹理生成方法、装置、设备和存储介质，该方法包括：采集用户的真人人脸图像；获取与用户对应的第一人脸模型、以及针对第一人脸模型生成的卡通人脸纹理，其中，第一人脸模型为多个预设标准人脸模型中与第二人脸模型相匹配的人脸模型，第二人脸模型为对用户的真人人脸进行仿真建模得到的；基于卡通人脸纹理中的UV点和第一人脸模型中的网格点之间的第一对应关系，构建卡通人脸纹理对应的目标三维模型；获取真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系；基于第二对应关系，将真人人脸图像渲染到目标三维模型中，以得到真人人脸纹理。采用本发明，可以提高生成用户三维形象的灵活性。

Description

真人人脸纹理生成方法、装置、设备和存储介质
技术领域
本发明涉及图像渲染技术领域，尤其涉及一种真人人脸纹理生成方法、装置、设备和存储介质。
背景技术
相关技术中，用户可以使用相关应用生成个人的三维卡通形象。具体来说，用户可以在上述相关应用所提供的多个预设人脸模型中选择自己感兴趣的目标人脸模型，然后通过人工智能(Artificial Intelligence，简写为AI)技术针对目标人脸模型自动生成相应的卡通人脸纹理，最后将卡通人脸纹理渲染到目标人脸模型中以获得用户的三维卡通形象。然而仅采用这样的技术还不能满足于所有的场景需求，相关技术中所提供的生成用户三维形象的方式较为单一，缺乏更多的灵活性。
发明内容
本发明实施例提供一种真人人脸纹理生成方法、装置、设备和存储介质，用以增加生成用户三维形象的方式，提高生成用户三维形象的灵活性。
第一方面，本发明实施例提供一种真人人脸纹理生成方法，该方法包括：
采集用户的真人人脸图像；
获取与所述用户对应的第一人脸模型、以及针对所述第一人脸模型生成的卡通人脸纹理，其中，所述第一人脸模型为多个预设标准人脸模型中与第二人脸模型相匹配的人脸模型，所述第二人脸模型为对所述用户的真人人脸进行仿真建模得到的；
基于所述卡通人脸纹理中的UV点和所述第一人脸模型中的网格点之间的第一对应关系，构建所述卡通人脸纹理对应的目标三维模型；
获取所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系；
基于所述第二对应关系，将所述真人人脸图像渲染到所述目标三维模型中，以得到真人人脸纹理。
可选地，所述获取所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系，包括：
确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系；
获取所述真人人脸图像中的特征点与所述第二人脸模型中的网格点之间的第四对应关系；
基于所述第三对应关系和所述第四对应关系，确定所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系。
可选地，所述确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系，包括：
获取所述第一人脸模型中的网格点和所述第二人脸模型中的网格点之间的第五对应关系；
基于所述第一对应关系和所述第五对应关系，确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系。
可选地，所述获取所述第一人脸模型中的网格点和所述第二人脸模型中的网格点之间的第五对应关系，包括：
将所述第一人脸模型和所述第二人脸模型分别映射到同一屏幕空间；
在所述屏幕空间中，基于映射后的结果，确定所述第一人脸模型和所述第二人脸模型中相对应的网格点，得到所述第五对应关系。
可选地，在基于所述第二对应关系，将所述真人人脸图像渲染到所述目标三维模型中，以得到真人人脸纹理之后，所述方法还包括：
对所述真人人脸纹理和所述卡通人脸纹理进行泊松融合处理，得到融合后的人脸纹理。
可选地，在对所述真人人脸纹理和所述卡通人脸纹理进行泊松融合处理，得到融合后的人脸纹理之后，所述方法还包括：
将所述融合后的人脸纹理渲染到所述第一人脸模型中。
第二方面，本发明实施例提供一种真人人脸纹理生成装置，包括：
采集模块，用于采集用户的真人人脸图像；
获取模块，用于获取与所述用户对应的第一人脸模型、以及针对所述第一人脸模型生成的卡通人脸纹理，其中，所述第一人脸模型为多个预设标准人脸模型中与第二人脸模型相匹配的人脸模型，所述第二人脸模型为对所述用户的真人人脸进行仿真建模得到的；
构建模块，用于基于所述卡通人脸纹理中的UV点和所述第一人脸模型中的网格点之间的第一对应关系，构建所述卡通人脸纹理对应的目标三维模型；
所述获取模块，用于获取所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系；
渲染模块，用于基于所述第二对应关系，将所述真人人脸图像渲染到所述目标三维模型中，以得到真人人脸纹理。
可选地，所述获取模块，用于：
确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系；
获取所述真人人脸图像中的特征点与所述第二人脸模型中的网格点之间的第四对应关系；
基于所述第三对应关系和所述第四对应关系，确定所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系。
可选地，所述获取模块，用于：
获取所述第一人脸模型中的网格点和所述第二人脸模型中的网格点之间的第五对应关系；
基于所述第一对应关系和所述第五对应关系，确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系。
可选地，所述获取模块，用于：
将所述第一人脸模型和所述第二人脸模型分别映射到同一屏幕空间；
在所述屏幕空间中，基于映射后的结果，确定所述第一人脸模型和所述第二人脸模型中相对应的网格点，得到所述第五对应关系。
可选地，所述装置还包括融合模块，所述融合模块，用于：
对所述真人人脸纹理和所述卡通人脸纹理进行泊松融合处理，得到融合后的人脸纹理。
可选地，所述渲染模块，还用于：
将所述融合后的人脸纹理渲染到所述第一人脸模型中。
第三方面，本发明实施例提供一种电子设备，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第一方面中的真人人脸纹理生成方法。
第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现第一方面中的真人人脸纹理生成方法。
采用本发明，可以基于卡通人脸纹理中的UV点和第一人脸模型中的网格点之间的第一对应关系，构建卡通人脸纹理对应的目标三维模型。然后，可以基于真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系，将真人人脸图像渲染到目标三维模型中。采用这样的方式，可以将二维平面中的真人人脸图像转换为能够直接用作对第一人脸模型进行贴图操作的真人人脸纹理。进一步地，在获得真人人脸纹理之后，可以将其用在对第一人脸模型进行渲染的过程中。这样，第一人脸模型不仅仅可以使用卡通人脸纹理进行渲染，还可以通过本发明提供的方法生成真人人脸纹理并使用真人人脸纹理进行渲染。基于此，采用本发明，可以增加生成用户三维形象的方式，提高生成用户三维形象的灵活性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种真人人脸纹理生成方法的流程示意图；
图2为本发明实施例提供的一种确定真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的对应关系的流程示意图；
图3为本发明实施例提供的一种多种对应关系的关联示意图；
图4为本发明实施例提供的一种融合的人脸纹理生成方法的流程示意图；
图5为本发明实施例提供的一种真人人脸纹理生成装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
图1为本发明实施例提供的一种真人人脸纹理生成方法的流程图，该方法可以应用于电子设备。如图1所示，该方法包括如下步骤：
101、采集用户的真人人脸图像。
102、获取与用户对应的第一人脸模型、以及针对第一人脸模型生成的卡通人脸纹理，其中，第一人脸模型为多个预设标准人脸模型中与第二人脸模型相匹配的人脸模型，第二人脸模型为对用户的真人人脸进行仿真建模得到的。
103、基于卡通人脸纹理中的UV点和第一人脸模型中的网格点之间的第一对应关系，构建卡通人脸纹理对应的目标三维模型。
104、获取真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系。
105、基于第二对应关系，将真人人脸图像渲染到目标三维模型中，以得到真人人脸纹理。
实际应用中，用户可以通过终端进行自拍，或者让其他用户帮助拍照，再或者也可以使用终端中的相册中已有的照片等，通过这样的方式可以获得用户的真人人脸图像，即真人人脸照片。
可以预先对用户的真人人脸进行仿真建模，以获得该用户的第二人脸模型，第二人脸模型为三维立体的人脸模型。然后，可以在多个预设标准人脸模型中获取与第二人脸模型相匹配的第一人脸模型，第一人脸模型也是三维立体的人脸模型。
其中，上述预设标准人脸模型为标准组织通过分析大众的面部特征而总结出的人脸模型。上述获取与第二人脸模型相匹配的第一人脸模型是指，在多个预设标准人脸模型中确定与第二人脸模型之间的相似度满足预设条件的第一人脸模型，比如说，可以确定与第二人脸模型之间的相似度大于预设阈值的第一人脸模型。
可以理解的是，针对第一人脸模型，可以通过AI技术自动生成相应的卡通人脸纹理，该卡通人脸纹理是一种三维空间中的纹理，可以用于给第一人脸模型进行贴图操作。该卡通人脸纹理完全是卡通类型的人脸纹理，并不是用户真实的人脸纹理。现在需要将用户真实的人脸纹理附着到第一人脸模型中，但是无法将前述获取到的真人人脸图像直接作为第一人脸模型贴图过程中使用的纹理，因为真人人脸图像不在前述三维空间中，它是二维平面的图像。
为了解决上述问题，在本发明实施例中，需要将真人人脸图像展开到上述三维空间中，以最终获得真人人脸纹理。具体来说，首先，可以基于卡通人脸纹理中的UV点和第一人脸模型中的网格点之间的第一对应关系，构建卡通人脸纹理对应的目标三维模型。其中，UV点可以理解为是UV空间中的点，它是定位二维纹理的坐标点,与人脸模型中的网格点相对应。其中，网格点可以是构成人脸模型的三角面片的顶点。
基于上述介绍可以知道，卡通人脸纹理中的UV点和第一人脸模型中的网格点之间是存在第一对应关系的。也就是说，在确定出第一人脸模型中的某个网格点时，可以基于该第一对应关系在卡通人脸纹理中相应查找到与该网格点对应的UV点。基于此，对于卡通人脸纹理中的各个UV点来说，也都可以找到与各个UV点对应的网格点。
可以理解的是，通过预设数量的网格点可以唯一确定一个网格，通过大量的网格可以构建出一个三维模型。假设将卡通人脸纹理中的UV点作为是网格点，卡通人脸纹理中的哪些UV点作为一组构成一个网格与第一人脸模型中相应的网格点的组合方式一致。举例来说，假设卡通人脸纹理中的UV点P1对应于第一人脸模型中的网格点S1，卡通人脸纹理中的UV点P2对应于第一人脸模型中的网格点S2，以及卡通人脸纹理中的UV点P3对应于第一人脸模型中的网格点S3，且在第一人脸模型中网格点S1、S2以及S3构成了一个网格，则相应地UV点P1、P2以及P3也构成一个网格。
基于上述方式，可以确定出与卡通人脸纹理对应的多个网格，基于这些网格可以构建出卡通人脸纹理对应的目标三维模型。
在另一方面，还可以获取真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系，具体的获取该第二对应关系的方式会在下面的实施例中详细介绍，在此暂不展开进行叙述。
基于上述第二对应关系，可以将真人人脸图像渲染到目标三维模型中，以得到真人人脸纹理。具体来说，在渲染过程中，对于目标三维模型中的每个网格点i，网格点i与卡通人脸纹理中的某个UV点之间存在对应关系，可以确定卡通人脸纹理中与网格点i对应的目标UV点。与此同时，真人人脸图像中的特征点与卡通人脸纹理中的UV点也存在对应关系，基于此，可以进一步确定真人人脸图像中与目标UV点对应的目标特征点，基于真人人脸图像中该目标特征点对应的像素值，对上述网格点i进行渲染。最终基于整个渲染结果，得到真人人脸纹理。
值得注意的是，由于真人人脸图像是二维平面的图像，无法直接用于对第一人脸模型进行渲染，而通过上述提供的方式，可以将真人人脸图像转换为三维空间中的真人人脸纹理，真人人脸纹理可以直接用于对第一人脸模型进行渲染。
采用本发明，可以基于卡通人脸纹理中的UV点和第一人脸模型中的网格点之间的第一对应关系，构建卡通人脸纹理对应的目标三维模型。然后，可以基于真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系，将真人人脸图像渲染到目标三维模型中。采用这样的方式，可以将二维平面中的真人人脸图像转换为能够直接用作对第一人脸模型进行贴图操作的真人人脸纹理。进一步地，在获得真人人脸纹理之后，可以将其用在对第一人脸模型进行渲染的过程中。这样，第一人脸模型不仅仅可以使用卡通人脸纹理进行渲染，还可以通过本发明提供的方法生成真人人脸纹理并使用真人人脸纹理进行渲染。基于此，采用本发明，可以增加生成用户三维形象的方式，提高生成用户三维形象的灵活性。
下面将介绍获取真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系的具体实现方式。如图2所示，获取第二对应关系的过程可以实现为：
201、确定卡通人脸纹理中的UV点与第二人脸模型中的网格点之间的第三对应关系。
可选地，确定上述第三对应关系的过程可以实现为：获取第一人脸模型中的网格点和第二人脸模型中的网格点之间的第五对应关系；基于第一对应关系和第五对应关系，确定卡通人脸纹理中的UV点与第二人脸模型中的网格点之间的第三对应关系。
可选地，上述获取第一人脸模型中的网格点和第二人脸模型中的网格点之间的第五对应关系的过程可以实现为：将第一人脸模型和第二人脸模型分别映射到同一屏幕空间；在屏幕空间中，基于映射后的结果，确定第一人脸模型和第二人脸模型中相对应的网格点，得到第五对应关系。
可以理解的是，由于第一人脸模型和第二人脸模型都可以显示在设备的屏幕中，那么在显示到屏幕中之前，需要将第一人脸模型和第二人脸模型分别映射到屏幕空间，这样才能基于映射后的结果在屏幕中显示第一人脸模型和第二人脸模型。由于第一人脸模型和第二人脸模型都可以映射到屏幕空间中，因此可以在屏幕空间中确定第一人脸模型和第二人脸模型中相对应的网格点，以得到第一人脸模型中的网格点和第二人脸模型中的网格点之间的第五对应关系。其中，第一人脸模型和第二人脸模型中相对应的网格点可以理解为是，映射到屏幕空间之后具有相同坐标点的第一人脸模型中的网格点和第二人脸模型中的网格点。
在得到第五对应关系之后，由于目前已经知道了第一人脸模型中的网格点如何对应到第二人脸模型中的网格点，以及卡通人脸纹理中的UV点如何对应到第一人脸模型中的网格点，进而就可以确定出卡通人脸纹理中的UV点如何对应到第二人脸模型中的网格点，即卡通人脸纹理中的UV点与第二人脸模型中的网格点之间的第三对应关系。
202、获取真人人脸图像中的特征点与第二人脸模型中的网格点之间的第四对应关系。
203、基于第三对应关系和第四对应关系，确定真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系。
在获得上述多种对应关系之后，最终可以确定出真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系，进而可以基于第二对应关系，将真人人脸图像渲染到目标三维模型中，以得到真人人脸纹理。渲染目标三维模型的具体过程已在前面的实施例中详细介绍过，在此不再赘述。
为了便于理解多种对应关系之间的关联，如图3所示，提供了一种不同对应关系之间关联的示意图，可以基于图中示出的对应关系以及它们之间的关联一步步推导出真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系。
在另外的可选实施例中，如图4所示，本发明实施例提供的一种真人人脸纹理生成方法也可实现为：
401、采集用户的真人人脸图像。
402、获取与用户对应的第一人脸模型、以及针对第一人脸模型生成的卡通人脸纹理，其中，第一人脸模型为多个预设标准人脸模型中与第二人脸模型相匹配的人脸模型，第二人脸模型为对用户的真人人脸进行仿真建模得到的。
403、基于卡通人脸纹理中的UV点和第一人脸模型中的网格点之间的第一对应关系，构建卡通人脸纹理对应的目标三维模型。
404、获取真人人脸图像中的特征点与卡通人脸纹理中的UV点之间的第二对应关系。
405、基于第二对应关系，将真人人脸图像渲染到目标三维模型中，以得到真人人脸纹理。
406、对真人人脸纹理和卡通人脸纹理进行泊松融合处理，得到融合后的人脸纹理。
其中，步骤401-405的具体实施方式已在前面的实施例中进行过详细的介绍，关于它们的具体实现方式可以参照前面的实施例进行实施，在此不再赘述。
在获得真人人脸纹理之后，可以理解的是，由于真人人脸纹理是通过真人人脸图像转换而得的，真人人脸图像是二维平面的，因此真人人脸图像中会丢失一些细节，这些细节是因为仅通过一个拍摄角度拍摄真人人脸图像而导致丢失的。比如说，假设用户是正对着相机进行拍摄的，那么垂直于用户面部的线也应垂直于拍摄得到的真人人脸图像的。在这样的情况下，用户正脸的细节应是清晰的，而用户侧脸颊的后半部分的细节可能是丢失的。
值得注意的是，在渲染第一人脸模型的过程中，由于第一人脸模型是三维立体的，因此需要使用到用户面部全方位的细节对第一人脸模型进行渲染。如果用户面部中某些方位上的细节发生了丢失的现象，可以通过卡通人脸纹理进行补充。而为了使得补充后的效果看起来更加的平滑与柔和，在本发明实施例中，在对第一人脸模型进行渲染之前，可以对真人人脸纹理和卡通人脸纹理进行泊松融合处理，得到融合后的人脸纹理。
可选地，在得到融合后的人脸纹理之后，还可以将融合后的人脸纹理渲染到第一人脸模型中。这样，通过融合后的人脸纹理渲染出的第一人脸模型从感观上应是平滑与柔和的，不会在某个地方变得特别突兀，增加了渲染后的第一人脸模型的艺术效果。
以下将详细描述本发明的一个或多个实施例的真人人脸纹理生成装置。本领域技术人员可以理解，这些真人人脸纹理生成装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图5为本发明实施例提供的一种真人人脸纹理生成装置的结构示意图，如图5所示，该装置包括：
采集模块51，用于采集用户的真人人脸图像；
获取模块52，用于获取与所述用户对应的第一人脸模型、以及针对所述第一人脸模型生成的卡通人脸纹理，其中，所述第一人脸模型为多个预设标准人脸模型中与第二人脸模型相匹配的人脸模型，所述第二人脸模型为对所述用户的真人人脸进行仿真建模得到的；
构建模块53，用于基于所述卡通人脸纹理中的UV点和所述第一人脸模型中的网格点之间的第一对应关系，构建所述卡通人脸纹理对应的目标三维模型；
所述获取模块52，用于获取所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系；
渲染模块54，用于基于所述第二对应关系，将所述真人人脸图像渲染到所述目标三维模型中，以得到真人人脸纹理。
可选地，所述获取模块52，用于：
确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系；
获取所述真人人脸图像中的特征点与所述第二人脸模型中的网格点之间的第四对应关系；
基于所述第三对应关系和所述第四对应关系，确定所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系。
可选地，所述获取模块52，用于：
获取所述第一人脸模型中的网格点和所述第二人脸模型中的网格点之间的第五对应关系；
基于所述第一对应关系和所述第五对应关系，确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系。
可选地，所述获取模块52，用于：
将所述第一人脸模型和所述第二人脸模型分别映射到同一屏幕空间；
在所述屏幕空间中，基于映射后的结果，确定所述第一人脸模型和所述第二人脸模型中相对应的网格点，得到所述第五对应关系。
可选地，所述装置还包括融合模块，所述融合模块，用于：
对所述真人人脸纹理和所述卡通人脸纹理进行泊松融合处理，得到融合后的人脸纹理。
可选地，所述渲染模块54，还用于：
将所述融合后的人脸纹理渲染到所述第一人脸模型中。
图5所示装置可以执行前述图1至图4所示实施例中提供的真人人脸纹理生成方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
在一个可能的设计中，上述图5所示真人人脸纹理生成装置的结构可实现为一电子设备，如图6所示，该电子设备可以包括：处理器91、存储器92。其中，所述存储器92上存储有可执行代码，当所述可执行代码被所述处理器91执行时，使所述处理器91至少可以实现如前述图1至图4所示实施例中提供的真人人脸纹理生成方法。
可选地，该电子设备中还可以包括通信接口93，用于与其他设备进行通信。
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图1至图4所示实施例中提供的真人人脸纹理生成方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例提供的真人人脸纹理生成方法可以由某种程序/软件来执行，该程序/软件可以由网络侧提供，前述实施例中提及的电子设备可以将该程序/软件下载到本地的非易失性存储介质中，并在其需要执行前述真人人脸纹理生成方法时，通过CPU将该程序/软件读取到内存中，进而由CPU执行该程序/软件以实现前述实施例中所提供的真人人脸纹理生成方法，执行过程可以参见前述图1至图4中的示意。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种真人人脸纹理生成方法，其特征在于，包括：
采集用户的真人人脸图像；
获取与所述用户对应的第一人脸模型、以及针对所述第一人脸模型生成的卡通人脸纹理，其中，所述第一人脸模型为多个预设标准人脸模型中与第二人脸模型相匹配的人脸模型，所述第二人脸模型为对所述用户的真人人脸进行仿真建模得到的；
基于所述卡通人脸纹理中的UV点和所述第一人脸模型中的网格点之间的第一对应关系，构建所述卡通人脸纹理对应的目标三维模型；
获取所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系；
基于所述第二对应关系，将所述真人人脸图像渲染到所述目标三维模型中，以得到真人人脸纹理。
2.根据权利要求1所述的方法，其特征在于，所述获取所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系，包括：
确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系；
获取所述真人人脸图像中的特征点与所述第二人脸模型中的网格点之间的第四对应关系；
基于所述第三对应关系和所述第四对应关系，确定所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系。
3.根据权利要求2所述的方法，其特征在于，所述确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系，包括：
获取所述第一人脸模型中的网格点和所述第二人脸模型中的网格点之间的第五对应关系；
基于所述第一对应关系和所述第五对应关系，确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系。
4.根据权利要求3所述的方法，其特征在于，所述获取所述第一人脸模型中的网格点和所述第二人脸模型中的网格点之间的第五对应关系，包括：
将所述第一人脸模型和所述第二人脸模型分别映射到同一屏幕空间；
在所述屏幕空间中，基于映射后的结果，确定所述第一人脸模型和所述第二人脸模型中相对应的网格点，得到所述第五对应关系。
5.根据权利要求1所述的方法，其特征在于，在基于所述第二对应关系，将所述真人人脸图像渲染到所述目标三维模型中，以得到真人人脸纹理之后，所述方法还包括：
对所述真人人脸纹理和所述卡通人脸纹理进行泊松融合处理，得到融合后的人脸纹理。
6.根据权利要求5所述的方法，其特征在于，在对所述真人人脸纹理和所述卡通人脸纹理进行泊松融合处理，得到融合后的人脸纹理之后，所述方法还包括：
将所述融合后的人脸纹理渲染到所述第一人脸模型中。
7.一种真人人脸纹理生成装置，其特征在于，包括：
采集模块，用于采集用户的真人人脸图像；
获取模块，用于获取与所述用户对应的第一人脸模型、以及针对所述第一人脸模型生成的卡通人脸纹理，其中，所述第一人脸模型为多个预设标准人脸模型中与第二人脸模型相匹配的人脸模型，所述第二人脸模型为对所述用户的真人人脸进行仿真建模得到的；
构建模块，用于基于所述卡通人脸纹理中的UV点和所述第一人脸模型中的网格点之间的第一对应关系，构建所述卡通人脸纹理对应的目标三维模型；
所述获取模块，用于获取所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系；
渲染模块，用于基于所述第二对应关系，将所述真人人脸图像渲染到所述目标三维模型中，以得到真人人脸纹理。
8.根据权利要求7所述的装置，其特征在于，所述获取模块，用于：
确定所述卡通人脸纹理中的UV点与所述第二人脸模型中的网格点之间的第三对应关系；
获取所述真人人脸图像中的特征点与所述第二人脸模型中的网格点之间的第四对应关系；
基于所述第三对应关系和所述第四对应关系，确定所述真人人脸图像中的特征点与所述卡通人脸纹理中的UV点之间的第二对应关系。
9.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的真人人脸纹理生成方法。
10.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的真人人脸纹理生成方法。
CN202310738171.3A 2023-06-20 2023-06-20 真人人脸纹理生成方法、装置、设备和存储介质 Pending CN116797698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310738171.3A CN116797698A (zh) 2023-06-20 2023-06-20 真人人脸纹理生成方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310738171.3A CN116797698A (zh) 2023-06-20 2023-06-20 真人人脸纹理生成方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN116797698A true CN116797698A (zh) 2023-09-22

Family

ID=88033897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310738171.3A Pending CN116797698A (zh) 2023-06-20 2023-06-20 真人人脸纹理生成方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116797698A (zh)

Similar Documents

Publication Publication Date Title
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CA2667538C (en) System and method for recovering three-dimensional particle systems from two-dimensional images
CN110648397B (zh) 场景地图生成方法、装置、存储介质及电子设备
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
JP2017509972A (ja) ビュー非依存色等化３ｄシーンテクスチャ処理
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
CN113420719A (zh) 生成动作捕捉数据的方法、装置、电子设备以及存储介质
CN113705520A (zh) 动作捕捉方法、装置及服务器
CN113313832B (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
CN111868786B (zh) 跨设备监控计算机视觉系统
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
US10791321B2 (en) Constructing a user's face model using particle filters
CN115018959A (zh) 三维虚拟模型的驱动处理方法、装置、设备和存储介质
WO2023185241A1 (zh) 数据处理方法、装置、设备以及介质
CN115222895B (zh) 图像生成方法、装置、设备以及存储介质
CN115951778A (zh) 一种驱动虚拟人的方法、装置及相关设备
CN116797698A (zh) 真人人脸纹理生成方法、装置、设备和存储介质
CN115497029A (zh) 视频处理方法、装置及计算机可读存储介质
CN114944015A (zh) 图像的处理方法、装置、电子设备及存储介质
CN111738087B (zh) 一种游戏角色面部模型的生成方法和装置
CN108921908B (zh) 表面光场的采集方法、装置及电子设备
CN116977417A (zh) 位姿估计方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination