CN114972647A - 模型渲染方法、装置、计算机设备及存储介质 - Google Patents
模型渲染方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114972647A CN114972647A CN202210607083.5A CN202210607083A CN114972647A CN 114972647 A CN114972647 A CN 114972647A CN 202210607083 A CN202210607083 A CN 202210607083A CN 114972647 A CN114972647 A CN 114972647A
- Authority
- CN
- China
- Prior art keywords
- map
- face
- vertex
- grease
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种模型渲染方法、装置、计算机设备及存储介质,其中,该方法包括:获取目标人脸的三维模型、用于表征人脸皮肤细节的第一贴图、以及用于表征人脸油脂区域分布的第二贴图;基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息;基于所述目标高光效果信息对所述三维模型进行渲染,得到目标渲染模型。
Description
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种模型渲染方法、装置、计算机设备及存储介质。
背景技术
在对超写实角色等对象的面部进行渲染时,为了提高渲染显示后超写实角色的真实性,会在对超写实角色进行渲染时添加在光照下的高光效果。由于超写实角色并不真实存在,因此通常会通过人工绘制的方式为超写实角色制作高光效果贴图,以利用高光效果贴图为超写实角色添加高光效果。而实际上,真实人脸具有更多的表面细节,比如人脸表面的油脂层在光照下的具有更高强度的高光效果,这种渲染方式并不能表达出这些细节,高光效果在全脸的表现较为平均,渲染后的真实感较差。
发明内容
本公开实施例至少提供一种模型渲染方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种模型渲染方法,包括:获取目标人脸的三维模型、用于表征人脸皮肤细节的第一贴图、以及用于表征人脸油脂区域分布的第二贴图;基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息;基于所述目标高光效果信息对所述三维模型进行渲染,得到目标渲染模型。
这样,针对目标人脸的三维模型,可以获取用于表征人脸皮肤细节的第一贴图、以及表征人脸油脂区域分布的第二贴图。由于人脸的皮肤细节和油脂区域分布均会影响人脸在光照下反映出的高光效果,因此利用第一贴图和第二贴图确定的用于反应人脸油脂效果的目标高光信息,能够在对三维模型进行渲染后,得到在不同面部区域可以具有不同高光表现的目标渲染模型,使得三维模型在渲染后的高光效果更接近真实人脸对光照的反射效果,提升人脸的三维模型在渲染后的真实感。
一种可选的实施方式中,采用下述方式生成所述第一贴图:获取第一纹理法线贴图以及第二纹理法线贴图;其中,所述第一纹理法线贴图用于表征人脸皮肤细节中油脂区域对应的纹理信息,所述第二纹理法线贴图用于表征人脸皮肤细节非油脂区域对应的纹理信息;基于对所述目标人脸的当前拍摄位姿,对所述第一纹理法线贴图以及所述第二纹理法线贴图分别进行清晰度调整,并基于清晰度调整后的第一纹理法线贴图以及第二纹理法线贴图,生成所述第一贴图。
这样,由于第一贴图可以表达人脸皮肤上不同区域的纹理信息,因此利用第一贴图可以使渲染后的三维模型在面部的不同区域具有更细节的纹理效果,同时可以在光照下具有不同的显示效果,使得到的目标渲染模型更具有真实性。
一种可选的实施方式中,在基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息之前,还包括:获取对所述目标人脸的光照方向、以及当前拍摄位姿下对所述目标人脸的拍摄方向;基于所述光照方向以及所述拍摄方向确定对所述三维模型的高光范围角度;基于所述高光范围角度、以及在所述三维模型中所述人脸油脂区域对应的各顶点的法线方向,确定所述人脸油脂区域对应的各顶点的显示光强。
这样,通过考虑到的光照方向、拍摄方向、以及各顶点的法线方向这样多方面的因素确定显示光强,可以更准确地模拟出在现实光照情况下面部的反光效果,也即利用确定的显示光强在渲染显示三维模型后,对应显示出的人脸将更具有真实性。
一种可选的实施方式中,所述第二贴图中各个像素点的像素值用于表征所述三维模型中对应顶点的显示光强阈值;所述基于所述高光范围角度、以及在所述三维模型中所述人脸油脂区域对应的各顶点的法线方向,确定所述人脸油脂区域对应的各顶点的显示光强,包括:基于所述人脸油脂区域中各顶点对应的显示光强阈值、所述高光范围角度、所述三维模型中各顶点分别对应的法线方向,确定所述人脸油脂区域中各顶点的显示光强。
这样,第二贴图还可以通过为不同像素点相应确定显示光强阈值,使渲染后的三维模型表现出油脂层在反射光线时具有光强衰弱的真实反射效果。
一种可选的实施方式中,所述基于所述人脸油脂区域中各顶点对应的显示光强阈值、所述高光范围角度、所述三维模型中各顶点分别对应的法线方向,确定所述人脸油脂区域中各顶点的显示光强,包括:对所述高光范围角度、和所述三维模型中各顶点分别对应的法线方向进行点积处理,得到所述三维模型中各个顶点分别对应的基础光强信息;利用所述各顶点分别对应的显示光强阈值对所述基础光强信息进行调整,得到所述人脸油脂区域中各顶点的显示光强。
一种可选的实施方式中,所述基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息,包括:基于所述第一贴图、所述第二贴图、以及所述人脸油脂区域对应的各顶点的显示光强,确定用于反应人脸油脂效果的目标高光效果信息。
这样,第一贴图可以用于对目标人脸的三维模型进行纹理渲染,根据第二贴图和第三贴图,则可以对三维模型中油脂分布的区域进行高光渲染,而高光渲染时设定的显示光强,可以通过为人脸油脂区域中各顶点确定的显示光强获取。
一种可选的实施方式中,还包括:获取用于表征人脸平均高光效果的第三贴图;所述基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息,包括:基于所述第一贴图、所述第二贴图、以及所述第三贴图,确定所述目标高光信息。
这样,为三维模型确定表征人脸平均效果的第三贴图,可以补充除特殊纹理、油脂层区域分布外,人脸对光照的基础光照反射影响,从而提升渲染三维模型的真实性。
第二方面,本公开实施例还提供一种模型渲染装置,包括:获取模块,用于获取目标人脸的三维模型、用于表征人脸皮肤细节的第一贴图、以及用于表征人脸油脂区域分布的第二贴图;确定模块,用于基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息;渲染模块,用于基于所述目标高光效果信息对所述三维模型进行渲染,得到目标渲染模型。
一种可选的实施方式中,采用下述方式生成所述第一贴图:获取第一纹理法线贴图以及第二纹理法线贴图;其中,所述第一纹理法线贴图用于表征人脸皮肤细节中油脂区域对应的纹理信息,所述第二纹理法线贴图用于表征人脸皮肤细节非油脂区域对应的纹理信息;基于对所述目标人脸的当前拍摄位姿,对所述第一纹理法线贴图以及所述第二纹理法线贴图分别进行清晰度调整,并基于清晰度调整后的第一纹理法线贴图以及第二纹理法线贴图,生成所述第一贴图。
一种可选的实施方式中,在基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息之前,所述确定模块还用于:获取对所述目标人脸的光照方向、以及当前拍摄位姿下对所述目标人脸的拍摄方向;基于所述光照方向以及所述拍摄方向确定对所述三维模型的高光范围角度;基于所述高光范围角度、以及在所述三维模型中所述人脸油脂区域对应的各顶点的法线方向,确定所述人脸油脂区域对应的各顶点的显示光强。
一种可选的实施方式中,所述第二贴图中各个像素点的像素值用于表征所述三维模型中对应顶点的显示光强阈值;所述确定模块在基于所述高光范围角度、以及在所述三维模型中所述人脸油脂区域对应的各顶点的法线方向,确定所述人脸油脂区域对应的各顶点的显示光强时,用于:基于所述人脸油脂区域中各顶点对应的显示光强阈值、所述高光范围角度、所述三维模型中各顶点分别对应的法线方向,确定所述人脸油脂区域中各顶点的显示光强。
一种可选的实施方式中,所述确定模块在基于所述人脸油脂区域中各顶点对应的显示光强阈值、所述高光范围角度、所述三维模型中各顶点分别对应的法线方向,确定所述人脸油脂区域中各顶点的显示光强时,用于:对所述高光范围角度、和所述三维模型中各顶点分别对应的法线方向进行点积处理,得到所述三维模型中各个顶点分别对应的基础光强信息;利用所述各顶点分别对应的显示光强阈值对所述基础光强信息进行调整,得到所述人脸油脂区域中各顶点的显示光强。
一种可选的实施方式中,所述确定模块在基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息时,用于:基于所述第一贴图、所述第二贴图、以及所述人脸油脂区域对应的各顶点的显示光强,确定用于反应人脸油脂效果的目标高光效果信息。
一种可选的实施方式中,渲染显示装置还包括处理模块,用于:获取用于表征人脸平均高光效果的第三贴图;所述确定模块在基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息时,用于:基于所述第一贴图、所述第二贴图、以及所述第三贴图,确定所述目标高光信息。
第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述模型渲染装置、计算机设备、及计算机可读存储介质的效果描述参见上述模型渲染方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种模型渲染方法的流程图;
图2示出了本公开实施例所提供的一种目标人脸的三维模型的示意图;
图3示出了本公开实施例所提供的一种对目标人脸的三维模型进行渲染后的示意图;
图4示出了本公开实施例所提供的一种模型渲染装置的示意图;
图5示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,为了提高渲染显示出的超写实角色的真实性,通常会在对二次元的面部进行渲染时添加在光照下的高光效果。当前在为超写实角色添加高光效果时,通常会为超写实角色确定高光效果贴图。高光效果贴图通过手工进行绘制,通过设置高光效果贴图中各像素点的像素值,可以使超写实角色展示出在高光下皮肤反射光的效果。一般地,利用高光效果贴图会为超写实角色渲染平均高光效果,也即在面部的各位置处呈现的高光效果相同。而实际上,真实人脸具有更多的表面细节,比如皱纹、油脂等,这些都会在光照下产生不同的高光效果,比如在细纹分布较多的区域中,光照下的高光效果变弱变暗,而在油脂分布较多的区域,光照下的高光效果变强变亮。因此,直接采用的高光效果贴图对超写实角色的面部进行渲染的方式,会使高光效果在全脸的表现较为平均,并不能对面部的不同细节进行处理,就会导致渲染后的真实感较差。
基于上述研究,本公开提供了一种模型渲染方法,针对目标人脸的三维模型,可以获取用于表征人脸皮肤细节的第一贴图、以及表征人脸油脂区域分布的第二贴图。由于人脸的皮肤细节和油脂区域分布均会影响人脸在光照下反映出的高光效果,因此利用第一贴图和第二贴图确定的用于反应人脸油脂效果的目标高光信息,能够在对三维模型进行渲染后,得到在不同面部区域可以具有不同高光表现的目标渲染模型,使得三维模型在渲染后的高光效果更接近真实人脸对光照的反射效果,提升人脸的三维模型在渲染后的真实感。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种模型渲染方法进行详细介绍,本公开实施例所提供的模型渲染方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该模型渲染方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供模型渲染方法加以说明。本公开实施例提供的模型渲染方法,可以用于确定超写实角色的目标渲染模型,并具体可以应用于对超写实角色的面部高光效果进行渲染。此处说明的超写实角色,具体可以包括模拟并贴近真实人脸的人物形象、游戏角色等,因此本公开实施例提供的模型渲染方法可以具体应用于游戏画面制作或生成、动漫影视制作等不同的应用领域中。在利用本公开实施例提供的模型渲染方法确定目标渲染模型后,即可以进一步地利用确定的目标渲染模型对超写实角色进行图像渲染,以通过渲染显示出的面部不同区域的高光效果,使超写实角色更具有真实性以及合理性。
参见图1所示,为本公开实施例提供的一种模型渲染方法的流程图,所述方法包括步骤S101~S103,其中:
S101:获取目标人脸的三维模型、用于表征人脸皮肤细节的第一贴图、以及用于表征人脸油脂区域分布的第二贴图;
S102:基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息;
S103:基于所述目标高光效果信息对所述三维模型进行渲染,得到目标渲染模型。
本公开实施例提供了一种模型渲染方法,针对目标人脸的三维模型,可以获取用于表征人脸皮肤细节的第一贴图、以及表征人脸油脂区域分布的第二贴图。由于人脸的皮肤细节和油脂区域分布均会影响人脸在光照下反映出的高光效果,因此利用第一贴图和第二贴图确定的用于反应人脸油脂效果的目标高光信息,能够在对三维模型进行渲染后,得到在不同面部区域可以具有不同高光表现的目标渲染模型,使得三维模型在渲染后的高光效果更接近真实人脸对光照的反射效果,提升人脸的三维模型在渲染后的真实感。
下面对上述S101~S103加以详细说明。
针对上述S101,首先对目标人脸的三维模型进行说明。目标人脸具体可以包括超写实角色的面部,由于超写实角色为虚拟对象,并不实际存在,因此可以通过构建超写实角色面部对应的三维模型的方式确定超写实角色的五官位置、五官大小等面部特征,并利用确定的三维模型模拟超写实角色在现实世界中希望呈现出的面部形象。示例性的,参见图2所示,为本公开实施例提供的一种目标人脸的三维模型的示意图,此处示出的三维模型为人工构建的虚拟模型。另外,针对不同的目标人脸,可以确定不同的三维模型。
三维模型通常包括:位于三维模型表面的多个顶点、以及通过顶点之间的相互连接关系构成的面片(mesh)。
在确定目标人脸的三维模型后,还可以获取用于表征人脸皮肤细节的第一贴图、以及用于表征人脸油脂区域分布的第二贴图,以利用第一贴图和第二贴图补充反应目标人脸的面部细节。
下面第一贴图和第二贴图进行详细说明。
首先,对第一贴图进行说明。第一贴图可以表征人脸皮肤细节,具体可以表达人脸皮肤上不同区域的纹理信息,例如分布在油脂区域中较深且较少的皱纹,比如在鼻翼周围分布的法令纹,还可以包括分布在非油脂区中较浅且部分密集的皱纹,比如在脸颊处分布的细纹。这样,利用第一贴图可以使渲染后的三维模型在面部的不同区域具有更细节的纹理效果,同时可以在光照下具有不同的显示效果,使得到的目标渲染模型更具有真实性。
在具体实施中,第一贴图例如可以根据下述方式生成:获取第一纹理法线贴图以及第二纹理法线贴图;其中,所述第一纹理法线贴图用于表征人脸皮肤细节中油脂区域对应的纹理信息,所述第二纹理法线贴图用于表征人脸皮肤细节非油脂区域对应的纹理信息;基于对所述目标人脸的当前拍摄位姿,对所述第一纹理法线贴图以及所述第二纹理法线贴图分别进行清晰度调整,并基于清晰度调整后的第一纹理法线贴图以及第二纹理法线贴图,生成所述第一贴图。
其中,纹理法线贴图中包括多个纹素(Texles),用于表征在三维模型中对应顶点的纹理特征。在一种可能的情况下,可以先确定人脸皮肤上油脂区域和非油脂区域的分布,并相应的根据不同位置处在真实人脸上对应的纹理细节,从而分别绘制得到表达油脂区域对应纹理信息的第一纹理法线贴图、以及表达非油脂区域对应纹理信息的第二纹理法线贴图。
其中,由于第一纹理法线贴图表征油脂区域对应的纹理信息,而油脂区域中通常分布有较为稀疏且纹理较深的皱纹,比如鼻翼附近的法令纹,而非油脂区域中通常分布有较为密集且纹理较浅的皱纹,比如脸颊上的细纹,而在观察真实人脸时可以知道,在越靠近人脸进行观察时,更能看到皮肤上纹理较浅的细纹,而越远离人脸进行观察时,则会更直接的看到皮肤上分布的纹理较深的皱纹。因此,在利用第一纹理法线贴图和第二纹理法线贴图生成第一贴图时,具体还可以参照对目标人脸的当前拍摄位姿,对两个纹理法线贴图进行调整,得到在当前拍摄位姿下的第一贴图。
具体地,通过当前拍摄位姿,可以获知距离目标人脸的距离。根据上述对原理的说明可以知道,在距离较大时,可以更突出人脸上分布的纹理较深的皱纹,因此可以将表达该类纹理的第一纹理法线贴图进行清晰度调整,比如调节使第一纹理法线贴图中表达的皱纹可以更清晰地被显示出;并且由于人脸上分布的较浅的细纹在距离较远时并不容易被看到,因此也可以对表达这类纹理的第二纹理法线贴图进行反向的清晰度调整,比如调节使第二纹理法线贴图中表达的细纹并不清晰地示出。在一种可能的情况下,在距离超出一定范围时,比如超出5米距离,可以认为在该距离下并不能看到人脸上的细纹,则也可以直接将第一纹理法线贴图作为第一贴图。
与上述说明的距离较大的情况相反,对于距离较小的情况,也可以通过对第一纹理法线贴图和第二纹理法线贴图分别进行清晰度调整的方式,确定第一贴图。例如,调节使第一纹理法线贴图中表达的皱纹并不清晰地被显示出,并调节使第二纹理法线贴图中表达的细纹清晰地示出。在一种可能的情况下,在距离小于一定范围时,比如小于5厘米距离,可以认为在该距离下仅能看到人脸上的细纹,则也可以直接将第二纹理法线贴图作为第二贴图。
此外,利用当前拍摄位姿,也可以获知对目标人脸的拍摄朝向。利用拍摄朝向,例如还可以确定在当前拍摄位姿下对人脸重点关注的区域。例如,当前拍摄位姿指示对人脸的脸颊处进行拍摄,或者对左眼处进行拍摄。在该种情况下,选取当前拍摄位姿的目的例如包括突出显示出人脸的特定位置,因此在对第一纹理法线贴图和第二纹理法线贴图进行清晰度调整时,可以弱化非关注区域,以达到对重点关注区域进行聚焦的效果。
然后,对第二贴图进行说明。第二贴图可以表征人脸油脂区域分布。具体地,在人脸的不同区域油脂的分布不同,比如说在鼻部、唇周、额头处会分布较多的油脂,而在两颊、眼周会分布较少的油脂。而在分布有较多油脂的区域中,在光照下会具有更强烈的高光效果。因此,在生成第二贴图时,可以通过其中各个像素点的像素值,表达出各个像素点所在区域的油脂分布。
其中,第二贴图中各个像素点的像素值可以用于表征三维模型中对应人脸不同区域的油脂分布。
除人脸的油脂层分布导致了高光效果在人脸上不同区域的差异这一内因外,人脸的高光效果还具体受到光照的外因影响。具体地,根据对人脸的光照方向的不同,人脸不同部位的高光效果也不同,比如在向人脸左侧打光时,人脸左侧的高光效果更强烈,而右脸即使具有油脂层,但由于并未受到较强的光照,因此也不会呈现出更强烈的高光效果。
此外,由于最终呈现出的人脸还由拍摄视角确定,并且根据光线的反射原理,对于确定方向的光照,仅能在光线反射的角度上看到油脂层反射的光线。因此,在确实对人脸进行高光渲染时,还可以确定对人脸的拍摄方向,以提升渲染后人脸显示高光的真实性。
因此,在具体实施中,在基于第一贴图、以及第二贴图,确定用于反应人脸油脂效果的目标高光效果信息前,还可以获取对所述目标人脸的光照方向、以及当前拍摄位姿下对所述目标人脸的拍摄方向;基于所述光照方向以及所述拍摄方向确定对所述三维模型的高光范围角度;基于所述高光范围角度、以及在所述三维模型中所述人脸油脂区域对应的各顶点的法线方向,确定所述人脸油脂区域对应的各顶点的显示光强。
其中,在获取对目标人脸的光照方向时,由于目标人脸的三维模型并不真实存在,而是在虚拟的三维空间中创建,因此确定光照方向时,例如可以通过确定在三维空间中虚拟光源的位置,以确定虚拟光源对目标人脸的光照方向。具体地,可以分别确定虚拟光源和三维模型分别在三维空间中的位置信息,以确定虚拟光源和三维模型之间的相对位置关系,这样,即可以确定对三维模型的光照方向。拍摄方向则可以根据实时拍摄时的拍摄参数确定,具体不再进行赘述。
在确定光照方向和目标人脸的拍摄方向的情况下,可以基于光照方向以及拍摄方向确定对三维模型的高光范围角度。在一种可能的情况下,光照方向和拍摄方向之间夹角越小,高光范围角度指示在该拍摄方向下可以显示出的高光效果更强。在另一种可能的情况下,光照方向和拍摄方向之间夹角越小,高光范围角度指示在该拍摄方向下可以显示出的高光效果更弱。
而对于三维模型而言,具体可以包括多个顶点,多个顶点可以分别确定对应的法线方向。在一种可能的情况下,顶点对应的法线方向可以作为光照照射在该顶点对应的人脸位置处时反射光强最大时的位置,也即若有光线沿顶点法线方向照射时,对应渲染最高强度的高光。因此,确定各顶点的显示光强时,还与各顶点的法线方向有关。
具体地,可以基于高光范围角度以及各顶点的法线方向,确定人脸油脂区域对应的各顶点的显示光强。一种可能的情况下,高光范围角度可以利用光照方向对应向量与拍摄方向对应向量的和向量表示,在某一顶点对应的显示光强时,可以通过高光范围角度对应的和向量与顶点的法线方向进行向量点积运算,并依据点积运算的结果确定显示光强。此处,点积运算的结果,可以作为顶点对应的基础光强信息。示例性的,若基础光强信息的数值较大,则相应确定的显示光强越大;若基础光强信息的数值较小,则相应确定的显示光强越小。
另外,第二贴图中各像素点的像素值还可以用于表征三维模型中对应顶点的显示光强阈值。具体地,在光照下,人脸油脂层可以对光线进行一定程度的反射,达到高光效果,但并不会完全将光线反射出,也即显示光强并不会超过光照的光强。并且,在油脂层分布不同的区域,显示光强也具有不同的强弱变化。基于此,显示光强阈值可以表示在对应顶点处可以显示出的最高显示光强,这样确定不同像素值对应顶点的显示光强阈值的方式,也即能够通过显示光强阈值的变化,确定不同区域的油脂层分布情况。
因此,第二贴图还可以通过为不同像素点相应确定显示光强阈值,使渲染后的三维模型表现出油脂层在反射光线时具有光强衰弱的真实反射效果。这样,在确定各顶点的显示光强时,具体可以基于所述人脸油脂区域中各顶点对应的显示光强阈值、所述高光范围角度、所述三维模型中各顶点分别对应的法线方向,确定所述人脸油脂区域中各顶点的显示光强。
其中,具体可以在通过对所述高光范围角度、和所述三维模型中各顶点分别对应的法线方向进行点积处理,得到所述三维模型中各个顶点分别对应的基础光强信息后,利用所述各顶点分别对应的显示光强阈值对所述基础光强信息进行调整,得到所述人脸油脂区域中各顶点的显示光强。
针对上述S102,在根据上述S101确定第一贴图、第二贴图的情况下,可以确定用于反应人脸油脂效果的目标高光效果信息。
其中,第一贴图可以用于对目标人脸的三维模型进行纹理渲染,根据第二贴图和第三贴图,则可以对三维模型中油脂分布的区域进行高光渲染,而高光渲染时设定的显示光强,可以通过为人脸油脂区域中各顶点确定的显示光强获取。
因此,在具体实施中,可以基于所述第一贴图、所述第二贴图、以及所述人脸油脂区域对应的各顶点的显示光强,确定用于反应人脸油脂效果的目标高光效果信息。
在本公开另一实施例中,由于对于人脸而言,除了具有油脂层的区域会对光照具有高光显示外,其他位置的皮肤也相应的可以对光照进行反射,达到高光效果。此处,认为这种区别于人脸油脂层区域的区域,在对光照下反应出的高光效果是较为平均的,具体表现为在这些非油脂层区域中,不考虑纹理影响的情况下,具有相似的高光效果,这里称为人脸平均高光效果。因此,也可以为三维模型确定表征人脸平均效果的第三贴图,以补充除特殊纹理、油脂层区域分布外,人脸对光照的基础光照反射影响,从而提升渲染三维模型的真实性。
在具体实施中,例如可以获取表征人脸平均高光效果的第三贴图,并基于所述第一贴图、所述第二贴图、以及所述第三贴图,确定所述目标高光信息。具体地,对于多个贴图,由于均对同一三维模型进行渲染,因此可以在通过对不同贴图中对应某一位置多个像素点进行插值处理,得到插值处理后的一张贴图,以利用管线对三维模型进行渲染,确定目标高光信息。
示例性的,参见图3所示,为本公开实施例提供的一种对目标人脸的三维模型进行渲染后的示意图。其中,图3中(a)为仅采用第三贴图对目标人脸进行渲染后得到的图像,在全脸中呈现出高光平均化的效果,会具有类似石膏像的表达效果。图3中(b)为仅采用第二贴图对目标人脸进行渲染后得到的图像,仅具有油脂层的高光效果,会具有类似塑料质感的表达效果。而采用本公开实施例中的模型渲染方法确定的目标渲染模型渲染生成的图像,相较于(a)和(b),由于通过第一贴图、第二贴图等考虑到了脸部纹理、油脂层分布等对光照进行反射等的情况,因此表现出的人脸可以更加真实。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与模型渲染方法对应的模型渲染装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述模型渲染方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种模型渲染装置的示意图,所述装置包括:获取模块41、确定模块42、渲染模块43;其中,
获取模块41,用于获取目标人脸的三维模型、用于表征人脸皮肤细节的第一贴图、以及用于表征人脸油脂区域分布的第二贴图;
确定模块42,用于基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息;
渲染模块43,用于基于所述目标高光效果信息对所述三维模型进行渲染,得到目标渲染模型。
一种可选的实施方式中,采用下述方式生成所述第一贴图:获取第一纹理法线贴图以及第二纹理法线贴图;其中,所述第一纹理法线贴图用于表征人脸皮肤细节中油脂区域对应的纹理信息,所述第二纹理法线贴图用于表征人脸皮肤细节非油脂区域对应的纹理信息;基于对所述目标人脸的当前拍摄位姿,对所述第一纹理法线贴图以及所述第二纹理法线贴图分别进行清晰度调整,并基于清晰度调整后的第一纹理法线贴图以及第二纹理法线贴图,生成所述第一贴图。
一种可选的实施方式中,在基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息之前,所述确定模块42还用于:获取对所述目标人脸的光照方向、以及当前拍摄位姿下对所述目标人脸的拍摄方向;基于所述光照方向以及所述拍摄方向确定对所述三维模型的高光范围角度;基于所述高光范围角度、以及在所述三维模型中所述人脸油脂区域对应的各顶点的法线方向,确定所述人脸油脂区域对应的各顶点的显示光强。
一种可选的实施方式中,所述第二贴图中各个像素点的像素值用于表征所述三维模型中对应顶点的显示光强阈值;所述确定模块42在基于所述高光范围角度、以及在所述三维模型中所述人脸油脂区域对应的各顶点的法线方向,确定所述人脸油脂区域对应的各顶点的显示光强时,用于:基于所述人脸油脂区域中各顶点对应的显示光强阈值、所述高光范围角度、所述三维模型中各顶点分别对应的法线方向,确定所述人脸油脂区域中各顶点的显示光强。
一种可选的实施方式中,所述确定模块42在基于所述人脸油脂区域中各顶点对应的显示光强阈值、所述高光范围角度、所述三维模型中各顶点分别对应的法线方向,确定所述人脸油脂区域中各顶点的显示光强时,用于:对所述高光范围角度、和所述三维模型中各顶点分别对应的法线方向进行点积处理,得到所述三维模型中各个顶点分别对应的基础光强信息;利用所述各顶点分别对应的显示光强阈值对所述基础光强信息进行调整,得到所述人脸油脂区域中各顶点的显示光强。
一种可选的实施方式中,所述确定模块42在基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息时,用于:基于所述第一贴图、所述第二贴图、以及所述人脸油脂区域对应的各顶点的显示光强,确定用于反应人脸油脂效果的目标高光效果信息。
一种可选的实施方式中,渲染显示装置还包括处理模块44,用于:获取用于表征人脸平均高光效果的第三贴图;所述确定模块42在基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息时,用于:基于所述第一贴图、所述第二贴图、以及所述第三贴图,确定所述目标高光信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种计算机设备,如图5所示,为本公开实施例提供的计算机设备结构示意图,包括:
处理器10和存储器20;所述存储器20存储有处理器10可执行的机器可读指令,处理器10用于执行存储器20中存储的机器可读指令,所述机器可读指令被处理器10执行时,处理器10执行下述步骤:
获取目标人脸的三维模型、用于表征人脸皮肤细节的第一贴图、以及用于表征人脸油脂区域分布的第二贴图;基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息;基于所述目标高光效果信息对所述三维模型进行渲染,得到目标渲染模型。
上述存储器20包括内存210和外部存储器220;这里的内存210也称内存储器,用于暂时存放处理器10中的运算数据,以及与硬盘等外部存储器220交换的数据,处理器10通过内存210与外部存储器220进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的模型渲染方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的模型渲染方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的模型渲染方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种模型渲染方法,其特征在于,包括:
获取目标人脸的三维模型、用于表征人脸皮肤细节的第一贴图、以及用于表征人脸油脂区域分布的第二贴图;
基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息;
基于所述目标高光效果信息对所述三维模型进行渲染,得到目标渲染模型。
2.根据权利要求1所述的方法,其特征在于,采用下述方式生成所述第一贴图:
获取第一纹理法线贴图以及第二纹理法线贴图;其中,所述第一纹理法线贴图用于表征人脸皮肤细节中油脂区域对应的纹理信息,所述第二纹理法线贴图用于表征人脸皮肤细节非油脂区域对应的纹理信息;
基于对所述目标人脸的当前拍摄位姿,对所述第一纹理法线贴图以及所述第二纹理法线贴图分别进行清晰度调整,并基于清晰度调整后的第一纹理法线贴图以及第二纹理法线贴图,生成所述第一贴图。
3.根据权利要求1或2所述的方法,其特征在于,在基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息之前,还包括:
获取对所述目标人脸的光照方向、以及当前拍摄位姿下对所述目标人脸的拍摄方向;
基于所述光照方向以及所述拍摄方向确定对所述三维模型的高光范围角度;
基于所述高光范围角度、以及在所述三维模型中所述人脸油脂区域对应的各顶点的法线方向,确定所述人脸油脂区域对应的各顶点的显示光强。
4.根据权利要求3所述的方法,其特征在于,所述第二贴图中各个像素点的像素值用于表征所述三维模型中对应顶点的显示光强阈值;
所述基于所述高光范围角度、以及在所述三维模型中所述人脸油脂区域对应的各顶点的法线方向,确定所述人脸油脂区域对应的各顶点的显示光强,包括:
基于所述人脸油脂区域中各顶点对应的显示光强阈值、所述高光范围角度、所述三维模型中各顶点分别对应的法线方向,确定所述人脸油脂区域中各顶点的显示光强。
5.根据权利要求4所述的方法,其特征在于,所述基于所述人脸油脂区域中各顶点对应的显示光强阈值、所述高光范围角度、所述三维模型中各顶点分别对应的法线方向,确定所述人脸油脂区域中各顶点的显示光强,包括:
对所述高光范围角度、和所述三维模型中各顶点分别对应的法线方向进行点积处理,得到所述三维模型中各个顶点分别对应的基础光强信息;
利用所述各顶点分别对应的显示光强阈值对所述基础光强信息进行调整,得到所述人脸油脂区域中各顶点的显示光强。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息,包括:
基于所述第一贴图、所述第二贴图、以及所述人脸油脂区域对应的各顶点的显示光强,确定用于反应人脸油脂效果的目标高光效果信息。
7.根据权利要求1-6任一项所述的方法,其特征在于,还包括:
获取用于表征人脸平均高光效果的第三贴图;
所述基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息,包括:
基于所述第一贴图、所述第二贴图、以及所述第三贴图,确定所述目标高光信息。
8.一种模型渲染装置,其特征在于,包括:
获取模块,用于获取目标人脸的三维模型、用于表征人脸皮肤细节的第一贴图、以及用于表征人脸油脂区域分布的第二贴图;
确定模块,用于基于所述第一贴图、以及所述第二贴图,确定用于反应人脸油脂效果的目标高光效果信息;
渲染模块,用于基于所述目标高光效果信息对所述三维模型进行渲染,得到目标渲染模型。
9.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至7任一项所述的模型渲染方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至7任一项所述的模型渲染方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210607083.5A CN114972647A (zh) | 2022-05-31 | 2022-05-31 | 模型渲染方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210607083.5A CN114972647A (zh) | 2022-05-31 | 2022-05-31 | 模型渲染方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114972647A true CN114972647A (zh) | 2022-08-30 |
Family
ID=82958263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210607083.5A Pending CN114972647A (zh) | 2022-05-31 | 2022-05-31 | 模型渲染方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972647A (zh) |
-
2022
- 2022-05-31 CN CN202210607083.5A patent/CN114972647A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11257286B2 (en) | Method for rendering of simulating illumination and terminal | |
CN111369655B (zh) | 渲染方法、装置和终端设备 | |
US20190362539A1 (en) | Environment Synthesis for Lighting An Object | |
CN112316420B (zh) | 模型渲染方法、装置、设备及存储介质 | |
JP4276178B2 (ja) | 皮膚又は類似物をデジタル式にレンダリングする方法 | |
Lu et al. | Illustrative interactive stipple rendering | |
CN111127623B (zh) | 模型的渲染方法、装置、存储介质及终端 | |
CN110458924B (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
CN113838176A (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
CN112819941B (zh) | 渲染水体面的方法、装置、设备和计算机可读存储介质 | |
KR20120064641A (ko) | 영상 처리 장치, 조명 처리 장치 및 그 방법 | |
CN111382618B (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
CN111583398B (zh) | 图像显示的方法、装置、电子设备及计算机可读存储介质 | |
CN117333637B (zh) | 三维场景的建模及渲染方法、装置及设备 | |
CN112907758A (zh) | 一种数据确定方法、装置及电子设备 | |
CN114119848B (zh) | 一种模型渲染方法、装置、计算机设备及存储介质 | |
CN114972647A (zh) | 模型渲染方法、装置、计算机设备及存储介质 | |
CN115063330A (zh) | 头发渲染方法、装置、电子设备及存储介质 | |
CN114529656A (zh) | 阴影贴图的生成方法、装置、计算机设备及存储介质 | |
CN114581592A (zh) | 高光渲染方法、装置、计算机设备及存储介质 | |
KR20230022153A (ko) | 소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3d 사진 | |
Kozlowski et al. | Is accurate occlusion of glossy reflections necessary? | |
CN114998505A (zh) | 模型渲染方法、装置、计算机设备及存储介质 | |
CN111292423B (zh) | 基于增强现实的着色方法、装置、电子设备与存储介质 | |
CN114519760A (zh) | 贴图的生成方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |