CN115965735A - 纹理贴图的生成方法和装置 - Google Patents

纹理贴图的生成方法和装置 Download PDF

Info

Publication number
CN115965735A
CN115965735A CN202211657092.1A CN202211657092A CN115965735A CN 115965735 A CN115965735 A CN 115965735A CN 202211657092 A CN202211657092 A CN 202211657092A CN 115965735 A CN115965735 A CN 115965735A
Authority
CN
China
Prior art keywords
face
area
skin color
color information
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211657092.1A
Other languages
English (en)
Other versions
CN115965735B (zh
Inventor
王迪
彭昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd filed Critical Baidu com Times Technology Beijing Co Ltd
Priority to CN202211657092.1A priority Critical patent/CN115965735B/zh
Publication of CN115965735A publication Critical patent/CN115965735A/zh
Application granted granted Critical
Publication of CN115965735B publication Critical patent/CN115965735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种纹理贴图的生成方法和装置,涉及人工智能技术领域,具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域,可应用于元宇宙、虚拟数字人等场景。方案为:将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间,依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域的肤色信息,确定下一人脸区域的肤色信息,下一人脸区域为:当前人脸区域相邻的人脸区域中,第一角度区间的区域,人脸图像的纹理贴图包括多个人脸区域中各人脸区域各自对应的肤色信息,从而得到整头肤色的纹理贴图,且可以降低纹理贴图中的肤色差异度,避免明显的色差区域,使得纹理贴图的整体效果相对较为平滑。

Description

纹理贴图的生成方法和装置
技术领域
本公开涉及人工智能技术领域,具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域,可应用于元宇宙、虚拟数字人等场景,尤其涉及一种纹理贴图的生成方法和装置。
背景技术
人脸三维(3D)重建主要是针对人脸的形状、以及人脸的纹理进行重建,而人脸的纹理更多决定人脸3D重建的细节相似度。因此,如何生成纹理贴图是人脸3D重建的关键。
在一些实施例中,可以获取人脸图像的人脸关键点,并获取人脸关键点对应的渲染图,以基于预设的映射关系,将人脸图像的肤色信息迁移至渲染图,从而得到纹理贴图。
发明内容
本公开提供了一种用于提高纹理贴图的肤色全面性的纹理贴图的生成方法和装置。
根据本公开的第一方面,提供了一种纹理贴图的生成方法,包括:
将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间,其中,所述多个人脸区域包括正面区域和其他人脸区域;
依次以所述正面区域中第一角度区间的区域为当前人脸区域,根据所述当前人脸区域的肤色信息,确定下一人脸区域的肤色信息;
其中,所述下一人脸区域为:所述当前人脸区域相邻的人脸区域中,所述第一角度区间的区域;所述人脸图像的纹理贴图包括所述多个人脸区域中各人脸区域各自对应的肤色信息。
根据本公开的第二方面,提供了一种纹理贴图的生成装置,包括:
划分单元,用于将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间,其中,所述多个人脸区域包括正面区域和其他人脸区域;
确定单元,用于依次以所述正面区域中第一角度区间的区域为当前人脸区域,根据所述当前人脸区域的肤色信息,确定下一人脸区域的肤色信息;
其中,所述下一人脸区域为:所述当前人脸区域相邻的人脸区域中,所述第一角度区间的区域;所述人脸图像的纹理贴图包括所述多个人脸区域中各人脸区域各自对应的肤色信息。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
本公开实施例提供的纹理贴图的生成方法和装置,包括:将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间,其中,多个人脸区域包括正面区域和其他人脸区域,依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域的肤色信息,确定下一人脸区域的肤色信息,其中,下一人脸区域为:当前人脸区域相邻的人脸区域中,第一角度区间的区域,人脸图像的纹理贴图包括多个人脸区域中各人脸区域各自对应的肤色信息,通过依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域的肤色信息,确定下一人脸区域的肤色信息,从而得到纹理贴图的技术特征,可以得到整头肤色的纹理贴图,从而实现纹理贴图的全面性,且可以降低纹理贴图中的肤色差异度,避免明显的色差区域,使得纹理贴图的整体效果相对较为平缓。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是根据本公开实施例的纹理贴图的生成方法的渲染图的划分示意图;
图3是根据本公开第二实施例的示意图;
图4是根据本公开第三实施例的示意图;
图5是根据本公开第四实施例的示意图;
图6是根据本公开第五实施例的示意图;
图7是根据本公开第六实施例的示意图;
图8是用来实现本公开实施例的纹理贴图的生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
三维(3D)人脸模型,是指同时具有几何模型和纹理贴图的三维空间表达,相比于二维图像,具有更强的表现力,从而广泛应用于电影、游戏、虚拟社交等领域。
其中,基于图像的人脸3D重建(可以简称为人脸重建)支持基于单张图像重建3D人脸模型。人脸3D重建主要是针对人脸的形状、以及人脸的纹理进行重建。相对而言,人脸的纹理更多决定人脸3D重建的细节相似度。
人脸的纹理可以包括正面区域(也可以称为前脸区域)的纹理、非正面区域的纹理,非正面区域包括侧脸区域和头后部区域。相对而言,尤其是在单张人脸图像的重建场景中,正面区域为可见区域,非正面区域为不可见区域。
例如,人脸图像一般为正面人脸图像,正面区域为人脸图像的正面可见区域,非正面区域为人脸图像的除正面之外的不可见区域。
纹理主要包括肤色信息,相应的,对人脸的纹理进行重建包括:对正面区域的肤色信息的重建、对不可见区域的肤色信息的重建。
在一些实施例中,人脸3D重建的方法可以包括:将人脸图像展开得到纹理贴图,将纹理贴图包裹到预先构建的3D网格(mesh)模型,从而得到接近于人脸图像的3D人脸模型。
其中,将人脸图像展开得到纹理贴图可以包括:获取人脸图像的人脸关键点,从3D网格模型中获取与人脸关键点对应位姿的渲染图,基于预设的三维表面与二维平面(UV)映射关系,将人脸图像的肤色信息(如人脸图像中的像素点的像素值)迁移至(或者称为赋予至)渲染图的肤色信息(如渲染图像中对应像素点(“对应”是指,该像素点与人脸图像中的像素点表征的对象相同)的像素值),得到人脸图像的纹理贴图。
例如,可以基于需求、历史记录、以及试验等预先设置人脸关键点,以便当获取到人脸图像之后,可以根据预先设置的人脸关键点,从人脸图像中获取人脸关键点。像素点的像素值可以为亮度值(也可以称为明亮度,或者灰阶值)。
然而,结合上述分析可知,人脸图像中包括正面区域和非正面区域,则只能获取正面区域的肤色信息,以基于纹理贴图中正面区域的肤色信息进行人脸3D重建,而没法获取非正面区域的肤色信息。因此,采用上述方法只能重建正面区域的肤色信息,而无法实现整头纹理重建。
为了实现整头纹理重建,可以采用固定纹理贴图方案和纹理基底方案实现。
其中,固定纹理贴图方案可以理解为:预先设置一张涵盖整头范围的肤色信息的纹理贴图,以便针对每一人脸图像,都基于该纹理贴图确定每一人脸图像的纹理贴图。
但是,固定纹理贴图方案使得各人脸图像的肤色信息一致,无法表达不同人脸图像之间的个性化差异度,大幅降低了人脸3D重建的相似度。
纹理基底方案可以理解为:预先生成一组纹理贴图,以该一组纹理贴图作为纹理基底,然后通过对纹理基地线性组合的方法得到人脸图像的纹理贴图。
相对于固定纹理贴图方案,纹理基底方案可以生成个性化的纹理贴图,但是,一方面,纹理基底方案需要美工师或是算法生成纹理基底,需要消耗较长的时间和人力成本;另一方面,纹理基地的创建只能涵盖少部分的肤色信息,纹理贴图中的纹理与人脸真实纹理的相似度不高,且存在细节损失严重的问题。
为了避免上述技术问题中的至少一种,本公开提供了经创造性劳动后的技术构思:将渲染图划分为正面区域和至少一个其他人脸区域,将渲染图划分为多个角度区间,依次以正面区域中任意角度区间的区域为基准区域,基于基准区域的肤色信息确定相邻其他区域中相同角度区间的区域的肤色信息,从而得到人脸图像的纹理贴图。
基于上述技术构思,本公开提供一种纹理贴图的生成方法和装置,涉及人工智能技术领域,具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域,可应用于元宇宙、虚拟数字人等场景,以达到提高纹理贴图的全面性和有效性。
其中,人工智能(Artificial Intelligence,AI)技术,是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术。
计算机视觉,是指使用计算机及相关设备对生物视觉的一种模拟,以通过对采集的图片或视频进行处理以获得相应场景的三维信息。
增强现实(Augmented Reality,AR)技术,是指将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。
虚拟现实技术(Virtual Reality,VR),又称虚拟实境或灵境技术,其中,虚拟现实技术囊括计算机、电子信息、仿真技术,其基本实现方式是以计算机技术为主,利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果,借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界,从而使处于虚拟世界中的人产生一种身临其境的感觉。
深度学习(Deep Learning,DL)是机器学习(Machine Learning,ML)领域中一个子领域,是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。
元宇宙(Metaverse),是指运用数字技术构建的,由现实世界映射或超越现实世界,可与现实世界交互的虚拟世界的数字生活空间。
虚拟数字人,也可以称为三维虚拟形象,是指由计算机生成的、具有三维形象的人物,可以理解为三维人类模型。
图1是根据本公开第一实施例的示意图,如图1所示,本公开实施例的纹理贴图的生成方法包括:
S101:将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间。其中,多个人脸区域包括正面区域和其他人脸区域。
示例性的,本实施例的执行主体可以为纹理贴图的生成装置(下文简称生成装置),生成装置可以为服务器、也可以为计算机,也可以为终端设备,也可以为处理器,也可以为芯片,等等,此处不再一一列举。
例如,若生成装置为服务器,则生成装置可以为独立的服务器,也可以为服务器集群,也可以为云端服务器,也可以为本地服务器,本实施例不做限定。
本实施例对获取渲染图的方式不做限定,可以参见上述实施例的描述。
本实施例对多个人脸区域的数量不做限定,如多个人脸区域的数量可能为两个,也可能为三个甚至更多个。
例如,本实施例对其他人脸区域的数量不做限定,若其他人脸区域的数量为一个,则多个人脸区域具体可以为两个人脸区域,一个为正面区域,一个为其他人脸区域。
也就是说,在一些实施例中,可以基于渲染图中人脸区域是否为正面区域,将渲染图划分为两个人脸区域,一个为正面区域,一个为其他人脸区域(即非人脸区域)。
又如,若其他人脸区域的数量为多个,则多个人脸区域具体可以为三个及更多个人脸区域,且多个人脸区域中包括一个正面区域,还包括多个其他人脸区域。
也就是说,在另一些实施例中,可以将渲染图中的非人脸区域划分为多个其他人脸区域。
同理,本实施例对角度区间的数量不做限定,可以基于需求、历史记录、以及试验等方式确定。
例如,针对精度需求较高的应用场景,角度区间的数量可以相对较多,反之,针对精度需求较低的应用场景,角度区间的数量可以相对较少。
本实施例对划分得到多个人脸区域、以及多个角度区间的先后顺序不做限定。例如,可以先将渲染图划分为多个人脸区域,而后将渲染图划分为多个角度区间。又如,可以先将渲染图划分为多个角度区间,而后将渲染图划分为多个人脸区域。再如,可以同时将渲染图划分为多个人脸区域、以及多个角度区间。
示例性的,如图2所示,渲染图被划分为三个人脸区域,且分别为正面区域、第一其他人脸区域、以及第二其他人脸区域。
渲染图被划分为多个角度区间,多个角度区间至少包括如图2所示的角度区间A和角度区间B。
应该理解的是,图2只是示范性的说明,渲染图可能被划分的人脸区域的数量、以及角度区间的数量,而不能理解为对人脸区域的划分和角度区间的划分的限定。
S102:依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域的肤色信息,确定下一人脸区域的肤色信息。
其中,下一人脸区域为:当前人脸区域相邻的人脸区域中,第一角度区间的区域。人脸图像的纹理贴图包括多个人脸区域中各人脸区域各自对应的肤色信息。
第一角度区间可以为多个角度区间中的任意一个角度区间,或者任意多个角度区间,本实施例不做限定。
例如,若第一角度区间为多个角度区间中的任意一个角度区间,则当前人脸区域的数量为一个,相当于以串行的方式将正面区域中的各角度区间的区域分别作为当前人脸区域,以通过串行的方式确定其他人脸区域的肤色信息。
若第一角度区间为多个角度区间中的多个角度区间,则当前人脸区域的数量为多个,相当于以并行的方式将正面区域中的多个角度区间的区域分别作为当前人脸区域,以通过并行的方式确定其他人脸区域的肤色信息。
示例性的,结合图2所示,第一角度区间为角度区间A,则在第一次确定下一人脸区域的肤色信息时,图2中所示的第一人脸区域为当前人脸区域,下一人脸区域为图2中所示的第二人脸区域,根据第一人脸区域的肤色信息确定第二人脸区域的肤色信息。
由于正面区域为可见区域,其肤色信息相对真实可靠,且第一人脸区域和第二人脸区域具有相同的角度区间,第一人脸区域与第二人脸区域之间的肤色信息相对更为相似,因此,通过结合第一人脸区域的肤色信息确定第二人脸区域的肤色信息,相当于将第一人脸区域的肤色信息蔓延(也可以称为迁移)至第二人脸区域,得到第二人脸区域的肤色信息,使得第二人脸区域的肤色信息具有较高的可靠性和有效性,且可以避免第一人脸区域和第二人脸区域的明显色差,使得整体肤色效果相对较为平滑和平缓。
相应的,在第二次确定下一人脸区域的肤色信息时,图2中所示的第二人脸区域为当前人脸区域,下一人脸区域为图2中所示的第三人脸区域,根据第二人脸区域的肤色信息(为第一次时确定的第二人脸区域的肤色信息)确定第三人脸区域的肤色信息。
同理,由于第二人脸区域的肤色信息是基于第一人脸区域的肤色信息确定的,因此,通过结合第二人脸区域的肤色信息确定第三人脸区域的肤色信息,可以使得第三人脸区域的肤色信息具有较高的可靠性和有效性。
相应的,通过上述依次确定肤色信息的示例,可以得到整头肤色信息,使得人脸图像的纹理贴图具有全面性。
在一些实施例中,可以在根据第二人脸区域的肤色信息确定第三人脸区域的肤色信息之后,将第一角度区间确定为角度区间B,并根据图2中所示的第四人脸区域的肤色信息,确定图2中所示的第五人脸区域的肤色信息。
相应的,在得到第五人脸区域的肤色信息之后,根据第五人脸区域的肤色信息,确定图2中所示的第六人脸区域的肤色信息。
在另一些实施例中,也可以在根据第一人脸区域的肤色信息确定第二人脸区域的肤色信息时,根据第四人脸区域的肤色信息确定第五人脸区域的肤色信息。
也就是说,针对正面区域中的各角度区间的区域,可以依次确定相应人脸区域的肤色信息,也可以同步确定相应人脸区域的肤色信息,本实施例不做限定。
基于上述分析可知,本公开实施例提供了一种纹理贴图的生成方法,包括:将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间,其中,多个人脸区域包括正面区域和其他人脸区域,依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域的肤色信息,确定下一人脸区域的肤色信息,其中,下一人脸区域为:当前人脸区域相邻的人脸区域中,第一角度区间的区域,人脸图像的纹理贴图包括多个人脸区域中各人脸区域各自对应的肤色信息,在本实施例中,通过依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域的肤色信息,确定下一人脸区域的肤色信息,从而得到纹理贴图的技术特征,可以得到整头肤色的纹理贴图,从而实现纹理贴图的全面性,且可以降低纹理贴图中的肤色差异度,避免明显的色差区域,使得纹理贴图的整体效果相对较为平缓。
为使读者更加深刻地理解本公开的实现原理,现结合图3,从对渲染图划分的维度,对本公开的纹理贴图的生成方法进行详细阐述。
其中,图3是根据本公开第二实施例的示意图,如图3所示,本公开实施例的纹理贴图的生成方法包括:
S301:从人脸图像的渲染图中,获取正面区域的边界轮廓。
应该理解的是,为了避免繁琐地陈述,关于本实施例与上述实施例中相同的技术特征,本实施例不做限定。
其中,边界轮廓用于对正面区域和非正面区域进行区分。
本实施例对获取边界轮廓的方式不做限定,例如,可以采用边界识别的方式获取边界轮廓。
S302:根据边界轮廓,将渲染图中的正面区域确定为多个人脸区域中的一个人脸区域。
结合上述示例和图2可知,以浏览图2的视角为基准,边界轮廓内的为正面区域,边界轮廓外的为非正面区域。相应的,可以将边界轮廓内的正面区域,作为一个人脸区域。
S303:根据边界轮廓对渲染图中的非正面区域进行划分处理,得到多个人脸区域中的其他人脸区域。
结合上述示例和图2,可以根据边界轮廓对非正面区域进行划分处理,得到第二其他人脸区域和第二其他人脸区域。其中,其他人脸区域包括第一其他人脸区域和第二其他人脸区域。
也就是说,在一些实施例中,可以先确定区分正面区域和非正面区域的边界轮廓,而后将边界轮廓内的正面区域作为划分得到的一个人脸区域,再以边界轮廓为划分基准,将非正面区域划分得到一个或多个其他人脸区域,从而得到渲染图的多个人脸区域。
在本实施例中,通过结合边界轮廓为划分基准,划分得到渲染图的多个人脸区域,可以使得正面区域具有较高的可靠性,从而当后续基于正面区域的肤色信息确定非正面区域的肤色信息时,可以使得确定出的非正面区域的肤色信息具有较高的可靠性和有效性。
在一些实施例中,S303可以包括:以边界轮廓为基准,基于预设像素步长,依次对非正面区域进行划分处理,得到其他人脸区域。
同理,预设像素步长可以基于需求、历史记录、以及试验等方式确定,本实施例不做限定。
相对而言,预设像素步长可以相对较小,以降低相邻人脸区域之间的肤色差异。
示例性的,为便于区分,将正面区域的边界轮廓称为第一边界轮廓,第一次划分处理时,以第一边界轮廓为基准,在第一边界轮廓的基础上加上预设像素步长,得到第二边界轮廓,第一边界轮廓与第二边界轮廓之间的区域为第一次划分处理的其他人脸区域。第二次划分处理时,以第二边界轮廓为基准,在第二边界轮廓的基础上加上预设像素步长,得到第三边界轮廓,第三边界轮廓与第二边界轮廓之间的区域为第二次划分处理的其他人脸区域。以此类推,此处不再一一列举。
结合上述示例和图2,该实施例可以理解为:以边界轮廓为扩展起始位置,根据预设像素步长向边界轮廓外扩展区域,得到第一其他人脸区域,而后以第一其他人脸区域的边界轮廓为扩展起始位置,根据预设像素步长向边界轮廓外扩展区域,得到第二其他人脸区域。
S304:根据预设角度对渲染图进行划分处理,得到多个角度区间。
同理,预设角度可以基于需求、历史记录、以及试验等方式确定,本实施例不做限定。
相对而言,预设角度可以相对较小,以降低相邻角度区间的区域之间的肤色差异。
S305:依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域的肤色信息,确定下一人脸区域的肤色信息。
其中,下一人脸区域为:当前人脸区域相邻的人脸区域中,第一角度区间的区域。人脸图像的纹理贴图包括多个人脸区域中各人脸区域各自对应的肤色信息。
示例性的,关于S305的实现原理,可以参见S102的描述,此处不再赘述。
S306:对纹理贴图进行边缘融合处理,得到优化后的纹理贴图。
本实施例对边缘融合处理的方法不做限定,如平均法、加权平均法、像素灰度选择法、逻辑滤波法、以及颜色空间融合法,等等。
结合上述分析可知,纹理贴图包括了多个人脸区域和多个角度区间,因此,相对而言,各相邻人脸区域的边缘之间,和/或,各相邻角度区间的区域的边缘之间,可能存在较大的肤色差异,在本实施例中,通过对纹理贴图进行边缘融合处理,可以降低各人脸区域的边缘之间的肤色差异,和/或,各角度区间的区域的边缘之间肤色差异,从而降低优化后的纹理贴图的肤色差异,提高优化后的纹理贴图的肤色效果的平滑性和平缓性。
结合上述分析可知,可以从相邻人脸区域的维度,对纹理贴图进行边缘融合处理,得到优化后的纹理贴图;也可以从相邻角度区间的维度,对纹理贴图进行边缘融合处理,得到优化后的纹理贴图;也可以从相邻人脸区域的维度和相邻角度区间的维度,对纹理贴图进行边缘融合处理,得到优化后的纹理贴图。
相应的,在一些实施例中,S306可以包括如下步骤:
第一步骤:从纹理贴图的相同角度区间中,确定相邻人脸区域各自对应的区域。
示例性的,结合上述示例和图2可知,正面区域和第一其他人脸区域为相邻人脸区域,正面区域中的第一人脸区域、以及第一其他人脸区域中的第二人脸区域为相同角度区间的人脸区域。因此,各自对应的区域包括:第一人脸区域和第二人脸区域。
第二步骤:对各自对应的区域进行边缘融合处理,得到优化后的纹理贴图。
相应的,结合上述示例,可以对第一人脸区域和第二人脸区域进行边缘融合处理,得到优化后的纹理贴图。
通过对第一人脸区域和第二人脸区域进行边缘融合处理,可以使得第一人脸区域的边缘与第二人脸区域的边缘之间的肤色差异变小,第一人脸区域的肤色与第二人脸区域的肤色相对更为平滑,从而使得优化后的纹理贴图具有较高的有效性,提高用户体验。
同理,结合上述示例和图2可知,第一其他人脸区域和第二其他人脸区域为相邻人脸区域,第一其他人脸区域中的第二人脸区域、以及第二其他人脸区域中的第三人脸区域为相同角度区间的人脸区域。因此,各自对应的区域包括:第二人脸区域和第三人脸区域。
相应的,可以对第二人脸区域和第三人脸区域进行边缘融合处理,得到优化后的纹理贴图。
同理,通过对第二人脸区域和第三人脸区域进行边缘融合处理,可以使得第二人脸区域的边缘与第三人脸区域的边缘之间的肤色差异变小,第二人脸区域的肤色与第三人脸区域的肤色相对更为平滑,从而使得优化后的纹理贴图具有较高的有效性,提高用户体验。
结合上述分析可知,在本实施例中,通过对相同角度区间且相邻人脸区域中的区域进行边缘融合处理,可以使得优化后的纹理贴图的整体肤色更加平滑,肤色差异相对较小,从而提高优化后的纹理贴图的有效性和可靠性,提高用户体验。
在另一些实施例中,S306可以包括如下步骤:
第一步骤:从纹理贴图的其他人脸区域的同一人脸区域中,确定相邻角度区间的两个区域。
示例性的,结合上述示例和图2可知,其他人脸区域中包括第一其他人脸区域,且第一其他人脸区域为同一人脸区域,即为独立的人脸区域。第一其他人脸区域中包括第二人脸区域和第五人脸区域,且第二人脸区域和第五人脸区域为相邻角度区间的两个区域。因此,经第一步骤得到的两个区域可以为第二人脸区域和第五人脸区域。
第二步骤:对两个区域进行边缘融合处理,得到优化后的纹理贴图。
相应的,结合上述示例,可以对第二人脸区域和第五人脸区域进行边缘融合处理,得到优化后的纹理贴图。
通过对第二人脸区域和第五人脸区域进行边缘融合处理,可以使得第二人脸区域的边缘与第五人脸区域的边缘之间的肤色差异变小,第二人脸区域的肤色与第五人脸区域的肤色相对更为平滑,从而使得优化后的纹理贴图具有较高的有效性,提高用户体验。
同理,结合上述示例和图2可知,其他人脸区域中包括第二其他人脸区域,且第二其他人脸区域为同一人脸区域,即为独立的人脸区域。第二其他人脸区域中包括第三人脸区域和第六人脸区域,且第三人脸区域和第六人脸区域为相邻角度区间的两个区域。因此,经第一步骤得到的两个区域可以为第三人脸区域和第六人脸区域。
相应的,可以对第三人脸区域和第六人脸区域进行边缘融合处理,得到优化后的纹理贴图。
同理,通过对第三人脸区域和第六人脸区域进行边缘融合处理,可以使得第三人脸区域的边缘与第六人脸区域的边缘之间的肤色差异变小,第三人脸区域的肤色与第六人脸区域的肤色相对更为平滑,从而使得优化后的纹理贴图具有较高的有效性,提高用户体验。
结合上述分析可知,在本实施例中,通过对同一人脸区域中相邻角度区间的两个区域进行边缘融合处理,可以使得优化后的纹理贴图的整体肤色更加平滑,肤色差异相对较小,从而提高优化后的纹理贴图的有效性和可靠性,提高用户体验。
图3从对渲染图划分的维度,对本公开的纹理贴图的生成方法进行了详细阐述,现结合图4,从确定下一人脸区域的肤色信息的维度,对本公开的纹理贴图的生成方法进行详细阐述。
其中,图4是根据本公开第三实施例的示意图,如图4所示,本公开实施例的纹理贴图的生成方法包括:
S401:将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间。
其中,多个人脸区域包括正面区域和其他人脸区域。当前人脸区域的肤色信息包括当前人脸区域内的像素点的亮度值。
同理,为了避免繁琐地陈述,关于本实施例与上述实施例中相同的技术特征,本实施例不做限定。
示例性的,关于S401的实现原理,可以参见S101的描述,也可以参见S301-S304的描述,此处不再赘述。
S402:依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域内的像素点的亮度值,计算得到当前人脸区域内的像素点第一均值和第一均方差。
其中,第一均值(mean)中的“第一”用于与其他均值进行区分,如用于与后文中的初始均值进行区分,而不能理解为对第一均值的限定。
第一均方差(standard deviation,std)中的“第一”用于与其他均方差进行区分,如用于与后文中的初始均方差进行区分,而不能理解为对第一均方差的限定。
示例性的,当前人脸区域内的像素点的数量为N(N为大于1的正整数)个,每一像素点具有亮度值,则对N个像素点各自对应的亮度值进行计算,从而得到第一均值和第一均方差。
第一均值的计算原理为计算均值的原理,第一均方差的计算原理为计算均方差的原理,此处不再赘述。
S403:根据第一均值和第一均方差,确定下一人脸区域的肤色信息。
其中,下一人脸区域为:当前人脸区域相邻的人脸区域中,第一角度区间的区域。人脸图像的纹理贴图包括多个人脸区域中各人脸区域各自对应的肤色信息。
第一均值可以用于,表征当前人脸区域内的像素点的亮度值的趋势;第一均方差可以用于,表征当前人脸区域内的像素点的亮度值的离散程度。
因此,该步骤相当于,根据当前人脸区域内的像素点的亮度值的趋势、以及当前人脸区域内的像素点的亮度值的离散程度,确定下一人脸区域的肤色信息,以使得下一人脸区域的肤色信息具有较高的可靠性和有效性。
在一些实施例中,S403可以包括如下步骤:
第一步骤:获取下一人脸区域内的像素点的初始亮度值。
其中,在基于当前人脸区域的肤色信息,确定下一人脸区域的肤色信息之前,下一人脸区域具有肤色信息,为便于区分,可以将下一人脸区域的该肤色信息称为下一人脸区域的原始肤色信息。相应的,下一人脸区域的原始肤色信息包括下一人脸区域内的像素点具有亮度值,为便于区分,将该亮度值称为初始亮度值。
第二步骤:根据初始亮度值、第一均值、以及第一均方差,计算得到下一人脸区域的肤色信息。
在本实施例中,初始亮度值可以理解为下一人脸区域的原始肤色信息,通过结合下一人脸区域的原始肤色信息、以及当前人脸区域的肤色信息,确定下一人脸区域的肤色信息,下一人脸区域的该肤色信息相当于对下一人脸区域的原始肤色信息进行调整而得到的,可以理解为在下一人脸区域的该肤色信息的基础上,将当前人脸区域的肤色信息蔓延至下一人脸区域,从而得到下一人脸区域的肤色信息。
示例性的,结合上述分析和图2,当前人脸区域为第一人脸区域,下一人脸区域为第二人脸区域,第一均值可以表征第一人脸区域内的像素点的亮度值的趋势,即可以表征第一人脸区域的肤色趋势,第一均方差可以表征第一人脸区域内的像素点的亮度值的离散程度,即可以表征第一人脸区域的肤色离散程度,初始亮度值可以表征第二人脸区域的原始肤色信息。
该实施例可以理解为:结合第二人脸区域的原始肤色信息、第一人脸区域的肤色趋势、以及第一人脸区域的肤色离散程度,对第二人脸区域的原始肤色信息进行调整,以将第一人脸区域的肤色信息平滑地蔓延至第二人脸区域,从而第二人脸区域的调整后的肤色信息。
以此类推,直至得到渲染图中各个人脸区域的肤色信息,从而得到整头的纹理贴图,且使得将正面区域的肤色信息可靠且有效地蔓延至非人脸区域。
在一些实施例中,第二步骤可以包括如下子步骤:
第一子步骤:根据初始亮度值,计算得到下一人脸区域内的像素点初始均值和初始均方差。
同理,计算得到初始均值的原理可以参见均值的计算原理,计算得到初始均方差的原理可以参见方差的计算原理,此处不再赘述。
第二子步骤:根据第一均值、第一均方差、初始亮度值、初始均值、以及初始均方差,计算得到下一人脸区域内的像素点的目标亮度值。
其中,下一人脸区域的肤色信息包括目标亮度值。
示例性的,可以基于式1计算得到目标亮度值,式1:
目标亮度值=((初始亮度值-初始均值)/初始均方差)*第一均方差+第一均值。
下一人脸区域内的像素点的数量可以为M(M为大于1的正整数,且M与N之间的大小关于本实施例不做限定)个,则针对M个像素点中的每一像素点,可以采用上述式计算得到该像素点的目标亮度值,从而得到M个像素点各自对应的目标亮度值,进而得到基于各目标亮度值表征的下一人脸区域的肤色信息。
在本实施例中,初始均值可以表征下一人脸区域内的像素点的初始亮度值的趋势,初始方差可以表征下一人脸区域内的像素点的初始亮度值的离散程度,通过结合下一人脸区域内的像素点的初始亮度值的趋势、下一人脸区域内的像素点的初始亮度值的离散程度,将当前人脸区域的肤色信息蔓延至下一人脸区域,得到下一人脸区域内的像素点的目标亮度值,可以提高目标亮度值的有效性和可靠性。
应该理解的是,上述第一实施例、第二实施例、第三实施例,只是用于示范性的说明,本公开实施例的纹理贴图的生成方法可能的实施例,在另一些实施例中,可以对第一实施例、第二实施例、第三实施例中的至少一个实施例进行适应性地调整,得到更多实施例,本实施例不做限定。
示例性,可以将第一实施例、第二实施例、第三实施例中的多个实施例组合,得到新的实施例。
例如,可以将第一实施例和第三实施例组合,得到新的实施例。
也可以将抽取第一实施例、第二实施例、第三实施例中的至少部分技术特征,得到新的实施例。
例如,可以抽取第二实施例中的S301-S305所述的技术特征,得到新的实施例。
也可以在第一实施例、第二实施例、第三实施例中的至少一个实施例中,增加新的技术特征,得到新的实施例。
例如,可以在第三实施例的基础上,增加第二实施例中S306所述的技术特征,得到新的实施例。
图5是根据本公开第四实施例的示意图,如图5所示,本公开实施例的纹理贴图的生成装置500,包括:
划分单元501,用于将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间,其中,多个人脸区域包括正面区域和其他人脸区域。
确定单元502,用于依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域的肤色信息,确定下一人脸区域的肤色信息。
其中,下一人脸区域为:当前人脸区域相邻的人脸区域中,第一角度区间的区域;人脸图像的纹理贴图包括多个人脸区域中各人脸区域各自对应的肤色信息。
图6是根据本公开第五实施例的示意图,如图6所示,本公开实施例的纹理贴图的生成装置600,包括:
划分单元601,用于将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间,其中,多个人脸区域包括正面区域和其他人脸区域。
在一些实施例中,结合图6可知,划分单元601,包括:
获取子单元6011,用于从渲染图中,获取正面区域的边界轮廓。
第二确定子单元6012,用于根据边界轮廓,将渲染图中的正面区域确定为多个人脸区域中的一个人脸区域。
处理子单元6013,用于根据边界轮廓对渲染图中的非正面区域进行划分处理,得到多个人脸区域中的其他人脸区域。
在一些实施例中,处理子单元6013用于,以边界轮廓为基准,基于预设像素步长,依次对非正面区域进行划分处理,得到其他人脸区域。
在一些实施例中,多个角度区间是基于预设角度对所述渲染图进行划分处理得到的。
确定单元602,用于依次以正面区域中第一角度区间的区域为当前人脸区域,根据当前人脸区域的肤色信息,确定下一人脸区域的肤色信息。
其中,下一人脸区域为:当前人脸区域相邻的人脸区域中,第一角度区间的区域;人脸图像的纹理贴图包括多个人脸区域中各人脸区域各自对应的肤色信息。
在一些实施例中,当前人脸区域的肤色信息包括当前人脸区域内的像素点的亮度值。结合图6可知,确定单元602,包括:
计算子单元6021,用于根据当前人脸区域内的像素点的亮度值,计算得到当前人脸区域内的像素点第一均值和第一均方差。
第一确定子单元6022,用于根据第一均值和所述第一均方差,确定下一人脸区域的肤色信息。
在一些实施例中,第一确定子单元6022,包括:
获取模块,用于获取下一人脸区域内的像素点的初始亮度值。
计算模块,用于根据初始亮度值、第一均值、以及第一均方差,计算得到下一人脸区域的肤色信息。
在一些实施例中,计算模块,包括:
第一计算子模块,用于根据初始亮度值,计算得到下一人脸区域内的像素点初始均值和初始均方差。
第二计算子模块,用于根据第一均值、第一均方差、初始亮度值、所述初始均值、以及初始均方差,计算得到下一人脸区域内的像素点的目标亮度值,其中,下一人脸区域的肤色信息包括目标亮度值。
融合单元603,用于对纹理贴图进行边缘融合处理,得到优化后的纹理贴图。
在一些实施例中,结合图6可知,融合单元603,包括:
第三确定子单元6031,用于从纹理贴图的相同角度区间中,确定相邻人脸区域各自对应区域。
第一融合子单元6032,用于对各自对应的区域进行边缘融合处理,得到优化后的纹理贴图。
在一些实施例中,结合图6可知,融合单元603,包括:
第四确定子单元6033,用于从纹理贴图的其他人脸区域的同一人脸区域中,确定相邻角度区间的两个区域。
第二融合子单元6034,用于对两个区域进行边缘融合处理,得到优化后的纹理贴图。
图7是根据本公开第六实施例的示意图,如图7所示,本公开中的电子设备700可以包括:处理器701和存储器702。
存储器702,用于存储程序;存储器702,可以包括易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-access memory,缩写:RAM),如静态随机存取存储器(英文:static random-access memory,缩写:SRAM),双倍数据率同步动态随机存取存储器(英文:Double Data Rate Synchronous Dynamic Random Access Memory,缩写:DDR SDRAM)等;存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory)。存储器702用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等,上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器702中。并且上述的计算机程序、计算机指令、数据等可以被处理器701调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器702中。并且上述的计算机程序、计算机指据等可以被处理器701调用。
处理器701,用于执行存储器702存储的计算机程序,以实现上述实5施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器701和存储器702可以是独立结构,也可以是集成在一起的集成结构。当处理器701和存储器702是独立结构时,存储器702、处理器701可以通过总线703耦合连接。
0本实施例的电子设备可以执行上述方法中的技术方案,其具体实现过
程和技术原理相同,此处不再赘述。
需要说明的是,本实施例中的3D人脸模型、3D网格模型并不是针对某一特定用户的人头模型,并不能反映出某一特定用户的个人信息。需要说明的是,本实施例中的人脸图像来自于公开数据集。
5本公开的技术方案中,所涉及的用户个人信息(如人脸图像)的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
0根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机
程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意5性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算
装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示0例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如纹理贴图的生成方法。例如,在一些实施例中,纹理贴图的生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的纹理贴图的生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行纹理贴图的生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (23)

1.一种纹理贴图的生成方法,包括:
将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间,其中,所述多个人脸区域包括正面区域和其他人脸区域;
依次以所述正面区域中第一角度区间的区域为当前人脸区域,根据所述当前人脸区域的肤色信息,确定下一人脸区域的肤色信息;
其中,所述下一人脸区域为:所述当前人脸区域相邻的人脸区域中,所述第一角度区间的区域;所述人脸图像的纹理贴图包括所述多个人脸区域中各人脸区域各自对应的肤色信息。
2.根据权利要求1所述的方法,其中,所述当前人脸区域的肤色信息包括所述当前人脸区域内的像素点的亮度值;根据所述当前人脸区域的肤色信息,确定下一人脸区域的肤色信息,包括:
根据所述当前人脸区域内的像素点的亮度值,计算得到所述当前人脸区域内的像素点第一均值和第一均方差;
根据所述第一均值和所述第一均方差,确定所述下一人脸区域的肤色信息。
3.根据权利要求2所述的方法,其中,根据所述第一均值和所述第一均方差,确定所述下一人脸区域的肤色信息,包括:
获取所述下一人脸区域内的像素点的初始亮度值;
根据所述初始亮度值、所述第一均值、以及所述第一均方差,计算得到所述下一人脸区域的肤色信息。
4.根据权利要求3所述的方法,其中,根据所述初始亮度值、所述第一均值、以及所述第一均方差,计算得到所述下一人脸区域的肤色信息,包括:
根据所述初始亮度值,计算得到所述下一人脸区域内的像素点初始均值和初始均方差;
根据所述第一均值、所述第一均方差、所述初始亮度值、所述初始均值、以及所述初始均方差,计算得到所述下一人脸区域内的像素点的目标亮度值,其中,所述下一人脸区域的肤色信息包括所述目标亮度值。
5.根据权利要求1-4中任一项所述的方法,其中,将人脸图像的渲染图,划分为多个人脸区域,包括:
从所述渲染图中,获取所述正面区域的边界轮廓;
根据所述边界轮廓,将所述渲染图中的所述正面区域确定为所述多个人脸区域中的一个人脸区域;
根据所述边界轮廓对所述渲染图中的非正面区域进行划分处理,得到所述多个人脸区域中的其他人脸区域。
6.根据权利要求5所述的方法,其中,根据所述边界轮廓对所述渲染图中的非正面区域进行划分处理,得到所述多个人脸区域中的其他人脸区域,包括:
以所述边界轮廓为基准,基于预设像素步长,依次对所述非正面区域进行划分处理,得到所述其他人脸区域。
7.根据权利要求1-6中任一项所述的方法,其中,所述多个角度区间是基于预设角度对所述渲染图进行划分处理得到的。
8.根据权利要求1-7中任一项所述的方法,所述方法还包括:
对所述纹理贴图进行边缘融合处理,得到优化后的纹理贴图。
9.根据权利要求8所述的方法,其中,对所述纹理贴图进行边缘融合处理,得到优化后的纹理贴图,包括:
从所述纹理贴图的相同角度区间中,确定相邻人脸区域各自对应区域;
对所述各自对应的区域进行边缘融合处理,得到优化后的纹理贴图。
10.根据权利要求8或9所述的方法,其中,对所述纹理贴图进行边缘融合处理,得到优化后的纹理贴图,包括:
从所述纹理贴图的其他人脸区域的同一人脸区域中,确定相邻角度区间的两个区域;
对所述两个区域进行边缘融合处理,得到优化后的纹理贴图。
11.一种纹理贴图的生成装置,包括:
划分单元,用于将人脸图像的渲染图,划分为多个人脸区域、以及多个角度区间,其中,所述多个人脸区域包括正面区域和其他人脸区域;
确定单元,用于依次以所述正面区域中第一角度区间的区域为当前人脸区域,根据所述当前人脸区域的肤色信息,确定下一人脸区域的肤色信息;
其中,所述下一人脸区域为:所述当前人脸区域相邻的人脸区域中,所述第一角度区间的区域;所述人脸图像的纹理贴图包括所述多个人脸区域中各人脸区域各自对应的肤色信息。
12.根据权利要求11所述的装置,其中,所述当前人脸区域的肤色信息包括所述当前人脸区域内的像素点的亮度值;所述确定单元,包括:
计算子单元,用于根据所述当前人脸区域内的像素点的亮度值,计算得到所述当前人脸区域内的像素点第一均值和第一均方差;
第一确定子单元,用于根据所述第一均值和所述第一均方差,确定所述下一人脸区域的肤色信息。
13.根据权利要求12所述的装置,其中,所述第一确定子单元,包括:
获取模块,用于获取所述下一人脸区域内的像素点的初始亮度值;
计算模块,用于根据所述初始亮度值、所述第一均值、以及所述第一均方差,计算得到所述下一人脸区域的肤色信息。
14.根据权利要求13所述的装置,其中,所述计算模块,包括:
第一计算子模块,用于根据所述初始亮度值,计算得到所述下一人脸区域内的像素点初始均值和初始均方差;
第二计算子模块,用于根据所述第一均值、所述第一均方差、所述初始亮度值、所述初始均值、以及所述初始均方差,计算得到所述下一人脸区域内的像素点的目标亮度值,其中,所述下一人脸区域的肤色信息包括所述目标亮度值。
15.根据权利要求11-14中任一项所述的装置,其中,所述划分单元,包括:
获取子单元,用于从所述渲染图中,获取所述正面区域的边界轮廓;
第二确定子单元,用于根据所述边界轮廓,将所述渲染图中的所述正面区域确定为所述多个人脸区域中的一个人脸区域;
处理子单元,用于根据所述边界轮廓对所述渲染图中的非正面区域进行划分处理,得到所述多个人脸区域中的其他人脸区域。
16.根据权利要求15所述的装置,其中,所述处理子单元用于,以所述边界轮廓为基准,基于预设像素步长,依次对所述非正面区域进行划分处理,得到所述其他人脸区域。
17.根据权利要求11-16中任一项所述的装置,其中,所述多个角度区间是基于预设角度对所述渲染图进行划分处理得到的。
18.根据权利要求11-17中任一项所述的装置,还包括:
融合单元,用于对所述纹理贴图进行边缘融合处理,得到优化后的纹理贴图。
19.根据权利要求18所述的装置,其中,所述融合单元,包括:
第三确定子单元,用于从所述纹理贴图的相同角度区间中,确定相邻人脸区域各自对应区域;
第一融合子单元,用于对所述各自对应的区域进行边缘融合处理,得到优化后的纹理贴图。
20.根据权利要求18或19所述的装置,其中,所述融合单元,包括:
第四确定子单元,用于从所述纹理贴图的其他人脸区域的同一人脸区域中,确定相邻角度区间的两个区域;
第二融合子单元,用于对所述两个区域进行边缘融合处理,得到优化后的纹理贴图。
21.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
23.一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-10中任一项所述方法的步骤。
CN202211657092.1A 2022-12-22 2022-12-22 纹理贴图的生成方法和装置 Active CN115965735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211657092.1A CN115965735B (zh) 2022-12-22 2022-12-22 纹理贴图的生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211657092.1A CN115965735B (zh) 2022-12-22 2022-12-22 纹理贴图的生成方法和装置

Publications (2)

Publication Number Publication Date
CN115965735A true CN115965735A (zh) 2023-04-14
CN115965735B CN115965735B (zh) 2023-12-05

Family

ID=87359600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211657092.1A Active CN115965735B (zh) 2022-12-22 2022-12-22 纹理贴图的生成方法和装置

Country Status (1)

Country Link
CN (1) CN115965735B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563432A (zh) * 2023-05-15 2023-08-08 摩尔线程智能科技(北京)有限责任公司 三维数字人生成方法及装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296617A (zh) * 2016-08-22 2017-01-04 腾讯科技(深圳)有限公司 人脸图像的处理方法及装置
CN107862657A (zh) * 2017-10-31 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质
CN110738723A (zh) * 2019-10-12 2020-01-31 创新工场(北京)企业管理股份有限公司 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
CN110782507A (zh) * 2019-10-11 2020-02-11 创新工场(北京)企业管理股份有限公司 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
WO2021128593A1 (zh) * 2019-12-26 2021-07-01 上海传英信息技术有限公司 人脸图像处理的方法、装置及系统
CN115330610A (zh) * 2022-07-22 2022-11-11 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296617A (zh) * 2016-08-22 2017-01-04 腾讯科技(深圳)有限公司 人脸图像的处理方法及装置
CN107862657A (zh) * 2017-10-31 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质
CN110782507A (zh) * 2019-10-11 2020-02-11 创新工场(北京)企业管理股份有限公司 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
CN110738723A (zh) * 2019-10-12 2020-01-31 创新工场(北京)企业管理股份有限公司 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
WO2021128593A1 (zh) * 2019-12-26 2021-07-01 上海传英信息技术有限公司 人脸图像处理的方法、装置及系统
CN115330610A (zh) * 2022-07-22 2022-11-11 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563432A (zh) * 2023-05-15 2023-08-08 摩尔线程智能科技(北京)有限责任公司 三维数字人生成方法及装置、电子设备和存储介质
CN116563432B (zh) * 2023-05-15 2024-02-06 摩尔线程智能科技(北京)有限责任公司 三维数字人生成方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN115965735B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN115345980B (zh) 个性化纹理贴图的生成方法及装置
CN113643412B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN113327278B (zh) 三维人脸重建方法、装置、设备以及存储介质
CN114820905B (zh) 虚拟形象生成方法、装置、电子设备及可读存储介质
CN114222076B (zh) 一种换脸视频生成方法、装置、设备以及存储介质
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN115861498A (zh) 动作捕捉的重定向方法和装置
CN113870439A (zh) 用于处理图像的方法、装置、设备以及存储介质
CN114708374A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN115965735B (zh) 纹理贴图的生成方法和装置
CN113610958A (zh) 一种基于风格迁移的3d图像构建方法、装置及终端
CN115482325A (zh) 画面渲染方法、装置、系统、设备及介质
CN115063518A (zh) 轨迹渲染方法、装置、电子设备及存储介质
CN113961746B (zh) 视频生成方法、装置、电子设备及可读存储介质
CN113658035A (zh) 脸部变换方法、装置、设备、存储介质以及产品
CN116843807B (zh) 虚拟形象生成、模型的训练方法、装置及电子设备
CN113380269A (zh) 视频图像生成方法、装置、设备、介质和计算机程序产品
EP3809314A1 (en) 3d object detection from calibrated 2d images background
WO2023179091A1 (zh) 三维模型渲染方法、装置、设备、存储介质及程序产品
CN115775300A (zh) 人体模型的重建方法、人体重建模型的训练方法及装置
CN114648601A (zh) 虚拟形象的生成方法、电子设备、程序产品及用户终端
CN113223128B (zh) 用于生成图像的方法和装置
CN114862997A (zh) 图像渲染方法和装置、介质和计算机设备
CN116229008B (zh) 图像处理方法和装置
CN114820908B (zh) 虚拟形象生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant