CN114742940A - 构建虚拟形象纹理图的方法、装置、设备及存储介质 - Google Patents
构建虚拟形象纹理图的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114742940A CN114742940A CN202210233787.0A CN202210233787A CN114742940A CN 114742940 A CN114742940 A CN 114742940A CN 202210233787 A CN202210233787 A CN 202210233787A CN 114742940 A CN114742940 A CN 114742940A
- Authority
- CN
- China
- Prior art keywords
- model
- cartoon
- topological structure
- gridding
- real person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Abstract
本申请提供一种构建虚拟形象纹理图的方法、装置、设备及可读存储介质,所述方法包括:获取三维目标图像,基于三维目标图像进行人脸重建以获得第一真人网格化模型,基于与三维目标图像对应的卡通拓扑结构获得卡通拓扑结构模型;将第一真人网格化模型拓扑迁移至卡通拓扑结构模型,获得第二真人网格化模型和第二卡通拓扑结构模型,以使第二真人网格化模型和第二卡通拓扑结构模型的顶点数量与顶点位置相同;利用第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,将第一真人网格化模型的纹理坐标映射到第二卡通拓扑结构模型中,以在第二卡通拓扑结构模型中构建目标纹理图。旨在解决卡通拓扑结构模型与真人形象差距较大的问题。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及构建虚拟形象纹理图的方法、装置、设备及可读存储介质。
背景技术
当前元宇宙概念较为流行,元宇宙中的重要功能之一是用户对角色形象的建模。对角色形象建模分几种不同产品形态:对用户真人形象进行百分百高精度建模;拟用户真人形象;卡通形象。其中高精度建模是对用户真人形象的纹理特征进行高精度的复刻,将用户的真人纹理提取后植入模型中,该方式需要复杂的设备做支持。拟用户真人形象是将用户真人特征进行纹理特征提取,根据提取到的纹理特征建立出拟用户真人形象的模型,该模型的纹理特征即为从用户真人特征提取到的纹理特征,并不会进行卡通等特效处理,因此这种方式具有与高精度建模类似的问题,由于创建出的形象过于逼真,因此当存在部分用户对自身某些形象特征不满意的情况时,使用上述两种方式进行角色形象建模会导致用户对建模结果不满意。而卡通形象是通过卡通拓扑结构建立一个卡通拓扑结构模型,此方式虽然是依据用户输入的真人图象进行卡通拓扑结构模型的建立,但卡通拓扑结构模型的纹理图也因为经过了卡通拓扑而与真人纹理图产生了很大的差别,卡通形象与真人存在较大失真,因此模型上的纹理特征需要用户手动调整人脸参数塑造,过程比较繁琐。
发明内容
为克服相关技术中存在的问题,本申请提供了一种构建虚拟形象纹理图的方法、装置、设备及可读存储介质。
根据本申请实施例的第一方面,提供一种构建虚拟形象纹理图的方法,所述方法包括:
获取三维目标图像,基于所述三维目标图像进行人脸重建以获得第一真人网格化模型,基于与所述三维目标图像对应的卡通拓扑结构获得卡通拓扑结构模型;所述真人网格化模型与卡通拓扑结构模型包含的顶点数量不同或存在位置不同的顶点;
将所述第一真人网格化模型拓扑迁移至卡通拓扑结构模型,获得第二真人网格化模型,以使所述第二真人网格化模型和卡通拓扑结构模型的顶点数量与顶点位置相同;
利用所述第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,将第一所述真人网格化模型的纹理坐标映射到所述卡通拓扑结构模型中,以在卡通拓扑结构模型中构建目标纹理图。
根据本申请实施例的第二方面,提供一种构建虚拟形象纹理图的装置,包括:
建模模块,用于基于所述三维目标图像进行人脸重建以获得第一真人网格化模型,基于与所述三维目标图像对应的卡通拓扑结构获得卡通拓扑结构模型;所述真人网格化模型与卡通拓扑结构模型包含的顶点数量不同或存在位置不同的顶点;
拓扑迁移模块,用于将所述第一真人网格化模型拓扑迁移至所述卡通拓扑结构模型,获得第二真人网格化模型,以使所述第二真人网格化模型和卡通拓扑结构模型的顶点数量与顶点位置相同;
纹理迁移模块,用于基于所述第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,将所述第一真人网格化模型的纹理坐标映射到所述卡通拓扑结构模型中,以在卡通拓扑结构模型中构建目标纹理图。
根据本申请实施例的第三方面,提供一种设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行如前述第一方面所述的任意一项方法所述的操作。根据本申请实施例的第四方面,提供一种可读存储介质,包括:
该指令被处理器执行时实现如前述第一方面所述的任意一项方法所述的操作。
本申请的实施例提供的技术方案可以包括以下有益效果:
本申请实施例中,先基于三维目标图像分别建立了卡通拓扑结构模型与第一真人网格化模型,卡通拓扑结构模型通过卡通拓扑结构获得,由于第一真人网格化模型是通过对三维目标图像人脸重建获得,因此具有了真人的人脸特征,而卡通拓扑结构得到的卡通拓扑结构模型与真人的人脸特征具有较大的差异,两个模型的顶点数量和位置不尽相同,本方案进而将第一真人网格化模型拓扑迁移至卡通拓扑结构模型,以便将真人的人脸特征部分迁移到卡通拓扑结构模型上,使得卡通拓扑结构模型具有一部分与真人类似的人脸特征。之后,再利用两个模型的纹理坐标的映射关系,将第一真人网格化模型的纹理坐标映射至卡通拓扑结构模型上,并根据该纹理坐标构建纹理图,以达到卡通拓扑结构模型具有真人纹理特征的效果,同时真人纹理特征迁移到卡通拓扑结构模型的过程起到了对真人纹理的美化作用。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本申请的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1A是本申请一实施例中拟真人形象示意图;
图1B是本申请一实施例中卡通形象示意图;
图2是本申请一实施例中构建虚拟形象的纹理图的方法的流程图;
图3是本申请一实施例中真人网格化模型和其纹理图示意图;
图4是本申请一实施例中重建网格及纹理坐标映射过程的流程图;
图5是本申请一实施例中构建虚拟形象的纹理图的装置的框架图;
图6是本申请在直播网络场景下的流程图;
图7是本申请一实施例中电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在建立虚拟形象时,现有技术通常会在以下三种建模方式中选择一种对目标进行建模:1、高精度建模;2、拟真人建模;3、卡通拓扑建模。这三种建模方式虽然都可以建立出目标人脸的三维模型,但是发明人发现,这些建模方式在应用的过程中都会存在一些缺陷,例如,对目标进行高精度建模,或者使用拟真人建模为用户建立出拟用户真人形象的模型,这两种技术手段建立的模型都很大程度的保留了真人形象的纹理特征,如图1A所示;因此当存在部分用户对自身某些形象特征不满意的情况时,使用上述两种方式进行角色形象建模会导致用户对建模结果不满意。而使用卡通拓扑结构模型时,建立的卡通拓扑结构模型又会完全改变用户自身的纹理特征,如图1B所示,若想要建立一个与用户自身形象十分相似的卡通拓扑结构模型,需要用户对卡通拓扑结构模型的纹理特征参数进行大量调整。
针对上述问题,本申请的实施例提供了一种构建虚拟形象纹理图的方法,参照图2,图2为该实施例的部分步骤。
在步骤S201中,获取三维目标图像;
在步骤S202中,基于三维目标图像进行人脸重建以获得第一真人网格化模型,基于与三维目标图像对应的卡通拓扑结构获得卡通拓扑结构模型;真人网格化模型与卡通拓扑结构模型包含的顶点数量不同或存在位置不同的顶点;
在步骤S203中,将第一真人网格化模型拓扑迁移至卡通拓扑结构模型,获得第二真人网格化模型,以使第二真人网格化模型和卡通拓扑结构模型的顶点数量与顶点位置相同;
在步骤S204中,利用第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,将第一真人网格化模型的纹理坐标映射到卡通拓扑结构模型中,以在卡通拓扑结构模型中构建目标纹理图。
需要说明的是,PCA(Principal Component Analysis,主成分分析算法)是一种特征算法,常被用于人脸识别等领域,对人脸模型的特征点进行降为的处理,而由于卡通拓扑结构不具备PCA基,因此不存在可以进行降维处理的特征点,所以根据其所建立的卡通拓扑结构模型的特征点就会和具备PCA基的第一真人网格化模型有所差异,因此第一真人网格化模型与卡通拓扑结构模型的模型顶点的可能数量不一致,顶点的位置也可能不全部相同
作为例子,对第一真人网格化模型进行拓扑迁移时,可以先获取第一真人网格化模型与卡通拓扑模型之间的对齐参数,该对齐参数为第一对齐参数,指的是在拓扑迁移过程中反应第一真人网格化模型的顶点与卡通拓扑结构模型的顶点之间的空间关系参数,根据获取到的第一对齐参数将第一真人网格化模型中的顶点数量与位置分别与卡通拓扑结构模型中的顶点对齐,以获得第二真人网格化模型;得到第二真人网格化模型之后,基于第一对齐参数确定出第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,在一个例子中,具体做法可以为:基于第一对齐参数在第二真人网格化模型中确定与卡通拓扑结构模型的纹理坐标对应的纹理坐标;根据第二真人网格化模型的纹理坐标与卡通拓扑结构的纹理坐标确定映射关系:也可以是基于第一对齐参数找到卡通拓扑结构模型与第二真人网格化模型顶点之间的对应关系,由于纹理坐标由模型顶点构成,因此可以根据模型顶点之间的对应关系在第二真人网格化模型上构建出卡通拓扑结构模型的纹理图,将该纹理图与第二真人网格化模型的纹理图进行比对得到纹理坐标的映射关系。需要说明的是,通过第一对齐参数确定纹理坐标的映射关系的方法并不唯一,在此不再一一赘述。
在另一实施例中,在在卡通拓扑结构模型中构建目标纹理图时,可以先通过纹理采样获取第一真人网格化模型的纹理图,再通过纹理坐标的映射关系将第一真人网格化模型的纹理图映射至卡通拓扑结构模型上,如图3所示,其中301与302分别为第一真人纹理特征与第一真人网格化模型,303为该网格模型的纹理图,302中所包含的坐标点即为纹理坐标,将这些纹理坐标根据映射关系映射至卡通拓扑模型上之后,即可达到使卡通拓扑结构模型带有真人纹理特征的目的。需要说明的是,纹理采样的方式可以为针对模型顶点所在的像素点进行纹理采样,也可以是根据网格化模型的网格内的像素点进行纹理采样,使用任一种采样方式都可以达到本申请最终的目的,在本实施例中,使用的是根据第一真人网格化模型的网格内的像素点进行纹理采样。
可选地,在步骤S204中,构建目标纹理图之前,可以先基于映射后的纹理坐标重建网格,依据网格内的像素点构建目标纹理图。在一实施例中,重新建立的网格可以是德罗内三角形(即Delaunay三角网,由一系列相连的但不重叠的三角形的集合,而且这些三角形的外接圆不包含这个面域的其他任何点,也就是使用该方法生成的三角网中的任意一个三角形不能包含其他的三角形的顶点),依据德罗内三角形网格内的像素点构建目标纹理图;也可以是构建其他网格图形,如正三角形、四边形等,在此不做特别限制。在该实施例中,依据德罗内三角形构建目标纹理图的部分步骤如图4所示,
在步骤S401中,获取到第一真人网格化模型与卡通拓扑结构模型的纹理坐标;
在步骤S402中,根据卡通拓扑结构模型的纹理坐标构建德罗内三角形;
在步骤S403中,由于纹理坐标是由模型顶点构成的,因此可以通过卡通拓扑结构模型的纹理坐标确定对应的卡通拓扑模型的顶点坐标,从而将由卡通拓扑模型的纹理坐标构成的德罗内三角形转换为由卡通拓扑结构模型的顶点构成的德罗内三角形;
在步骤S404中,由于第二真人网格化模型是第一真人网格化模型与卡通拓扑结构模型经过拓扑迁移得到的,因此结合上述第一对齐参数将卡通拓扑结构模型的顶点对应到第二真人网格化模型中,由此将卡通拓扑模型的顶点构成的德罗内三角形转换成了由第二真人网格化模型的顶点构成的德罗内三角形,且由于纹理坐标是由模型顶点构成的,等价于得到了由第二真人网格化模型的纹理坐标构成的德罗内三角形;
在步骤S405中,遍历所有德罗内三角形,得到第二真人网格化模型中的德罗内三角形与卡通拓扑结构网格化模型中的德罗内三角形的映射关系,进而得到它们纹理坐标的映射关系;
在步骤S406中,根据第一真人网格化模型的纹理坐标构建的德罗内三角形对其三角形面片区域进行warp处理,并根据映射关系对应到卡通拓扑模型的德罗内三角形上;上述warp处理指的是图像仿射变换的处理,其原理是:对于二维坐标系的一个坐标点(x,y),可以使用一个2x2矩阵来调整x,y的值,而通过调整x,y可以实现二维形状的线性变换(旋转,缩放),所以整个转换过程就是对(x,y)调整的过程,仿射变换(AffineTransformation)是指在向量空间中进行一次线性变换和一次平移,变换到另一个向量空间的过程。线性变换为将(x,y)与一个矩阵相乘,该矩阵可以是一个包含图像变换特征维度的矩阵;平移变换为将(x,y)与一个向量相加,该向量可以是一个包含平移为位置变换信息的矢量。在仿射变换中,目标图像会保持平直性和平行性,平直性指的是:直线经过仿射变换后还是直线,圆弧经过仿射变换后还是圆弧;平行性指的是:直线之间的相对位置关系保持不变,平行线经过仿射变换后依然是平行线,直线上的坐标点的位置顺序不会发生变化,而向量间的夹角有可能发生变化。也就是说,仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换,其数学表达式如下:
其中,a1a2为图像关于x的变换系数,如在x轴上的位移系数;b1b2为图像关于y的变换系数,如在y轴上的位移系数;c1c2为常数。
而当图像需要缩放和旋转时,需要通过矩阵来实现,为了不在变换后改变图像尺寸,因此将上述公式构造出2x3的矩阵转换为齐次矩阵,就得到了图像仿射变换齐次矩阵表示形式:
在步骤S407中,完成对所有的德罗内三角形处理后,目标纹理图构建完成。
需要说明的是,图4中A所指的真人纹理坐标空间包括第一真人网格化模型以及第二真人网格化模型的坐标空间,且第一真人网格化模型的纹理坐标对应的顶点与第二真人网格化模型的纹理坐标对应的顶点相同,但这些顶点的位置并不全部相同,在第一真人网格化模型经过拓扑迁移变成第二真人网格化模型后,基于第一真人网格化模型的纹理坐标并不会随着拓扑迁移的进行而改变。
在另一实施例中,提供了一种构建虚拟形象的纹理图的装置,如图5所示:
建模模块501用于基于所述三维目标图像进行人脸重建以获得第一真人网格化模型,基于与所述三维目标图像对应的卡通拓扑结构获得卡通拓扑结构模型;所述真人网格化模型与卡通拓扑结构模型包含的顶点数量不同或存在位置不同的顶点;需要说明的是,由于第一真人网格化模型与卡通拓扑结构模型建模的方式不同,且卡通拓扑模型并不具备PCA基,因此它们的模型顶点的数量不一致,顶点的位置也不全部相同;
拓扑迁移模块502用于将上述建立好的第一真人网格化模型拓扑迁移至卡通拓扑结构模型,得到第二真人网格化模型,以使得拓扑迁移后的第二真人网格化模型的顶点数量与顶点位置与卡通拓扑结构模型完全相同;
纹理迁移模块503用于基于第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,将第一真人网格化模型的纹理坐标映射到卡通拓扑结构模型中,以在卡通拓扑结构模型中构建目标纹理图;
需要说明的是,拓扑迁移模块502对第一真人网格化模型进行拓扑迁移时,可以先获取第一真人网格化模型与卡通拓扑模型之间的对齐参数,根据获取到的第一对齐参数将第一真人网格化模型中的顶点数量与位置分别与卡通拓扑结构模型中的顶点对齐,以获得第二真人网格化模型;得到第二真人网格化模型之后,基于第一对齐参数确定出第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,具体做法为:基于卡通拓扑结构模型的纹理坐标与第一对齐参数在第二真人网格化模型中确定对应的第二真人网格化模型的纹理坐标;根据第二真人网格化模型的纹理坐标与卡通拓扑结构的纹理坐标确定映射关系。
而在纹理迁移模块503进行纹理迁移之前,可以先通过纹理采样获取第一真人网格化模型的纹理图,再通过纹理坐标的映射关系将第一真人网格化模型的纹理图映射至卡通拓扑结构模型上,可选地,在构建纹理图之前可以先依据卡通拓扑结构模型的纹理坐标重新建立网格,在一实施例中,重新建立的网格为德罗内三角形,具体流程如前文所述。
可选地,在纹理迁移模块503构建目标纹理图之前,可以先基于映射后的纹理坐标重建网格,依据网格内的像素点构建目标纹理图。在一实施例中,重新建立的网格为德罗内三角形,依据德罗内三角形网格内的像素点构建目标纹理图。
本申请提供的构建虚拟形象的纹理图的方案的一个应用场景是应用在直播场景中,网络环境中包括主播客户端、若干个观众客户端以及直播服务器,主播客户端通过直播服务器将直播视频流分发给观众客户端。实现本申请中的构建虚拟形象的纹理图的方案的功能可以配置在主播客户端上,也可以配置于直播服务器上。如图6以主播客户端执行本申请的方案为例进行说明。
在步骤S601中,主播客户端通过摄像头采集主播图像;
在步骤S602中,主播客户端将采集到的主播图像通过人脸重建得到第一真人网格化模型;并根据主播图像进行卡通拓扑结构建模得到卡通拓扑结构模型;
在步骤S603中,主播客户端将上述第一真人网格化模型拓扑迁移至卡通拓扑结构模型,得到第二真人网格化模型,经过此拓扑迁移的过程后,原本与卡通拓扑模型顶点数量与顶点位置没有对齐的第一真人网格化模型转换成了与卡通拓扑模型顶点数量与顶点位置都对齐的第二真人网格化模型;
在步骤S604中,主播客户端根据上述拓扑迁移时的第一对齐参数可以得到第二真人网格化模型与卡通拓扑模型的纹理坐标的映射关系,根据该映射关系将包含上述用户输入的照片的人脸纹理特征的第一真人网格化模型的纹理坐标映射至卡通拓扑模型上;
在步骤S605中,主播客户端根据映射的第一真人网格化模型的纹理坐标,在卡通拓扑模型上进行网格重建,并根据重建后的网格内的像素点,构建纹理图;
在步骤S606中,将构建好纹理图的卡通拓扑结构模型进行输出,所输出的卡通拓扑结构模型是能够创建与主播图像具有一定相似度的卡通形象的模型。
在步骤S607中,主播客户端根据场景的需求,利用卡通拓扑结构模型生成卡通形象,渲染出直播画面后发送给直播服务器,以便直播服务器分发给各个观众客户端。
相应的,如图7所示,本申请还提供一种构建虚拟形象的纹理图的设备70,包括有处理器71;用于存储可执行指令的存储器72,存储器72中包括计算机程序;其中,处理器71被配置为:
获取目标三维目标图像,基于目标三维目标图像进行人脸重建以获得第一真人网格化模型,基于与目标三维目标图像对应的卡通拓扑结构获得卡通拓扑结构模型;上述的真人网格化模型与卡通拓扑结构模型包含的顶点数量不同和/或存在位置不同的顶点;
将上述的第一真人网格化模型拓扑迁移至卡通拓扑结构模型,获得第二真人网格化模型,以使得第二真人网格化模型和上述卡通拓扑结构模型的顶点数量与顶点位置相同;
利用第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,将第一真人网格化模型的纹理坐标映射到上述卡通拓扑结构模型中,以在上述卡通拓扑结构模型中构建目标纹理图。
处理器71可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器72可以包括至少一种类型的存储介质,存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且,设备可以与通过网络连接执行存储器的存储功能的网络存储装置协作。存储器72可以是设备70的内部存储单元,例如设备70的硬盘或内存。存储器72也可以是设备70的外部存储设备,例如设备70上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
进一步地,存储器72还可以既包括设备70的内部存储单元也包括外部存储设备。存储器72用于存储计算机程序以及设备所需的其他程序和数据。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
设备70可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。设备可包括,但不仅限于,处理器71、存储器72。本领域技术人员可以理解,图7仅仅是设备70的示例,并不构成对设备70的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如设备还可以包括输入输出设备、网络接入设备、总线等。
上述设备中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
Claims (14)
1.一种构建虚拟形象纹理图的方法,其特征在于,所述方法包括:
获取三维目标图像,基于所述三维目标图像进行人脸重建以获得第一真人网格化模型,基于与所述三维目标图像对应的卡通拓扑结构获得卡通拓扑结构模型;所述真人网格化模型与卡通拓扑结构模型包含的顶点数量不同或存在位置不同的顶点;
将所述第一真人网格化模型拓扑迁移至卡通拓扑结构模型,获得第二真人网格化模型,以使所述第二真人网格化模型和卡通拓扑结构模型的顶点数量与顶点位置相同;
利用所述第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,将第一所述真人网格化模型的纹理坐标映射到所述卡通拓扑结构模型中,以在卡通拓扑结构模型中构建目标纹理图。
2.根据权利要求1所述的方法,其特征在于,将所述第一真人网格化模型拓扑迁移至卡通拓扑结构模型包括:
获取所述第一真人网格化模型与所述卡通拓扑结构模型之间的第一对齐参数,根据所述第一对齐参数将所第一述真人网格化模型与卡通拓扑结构模型的顶点数量与位置分别对齐,得到所述第二真人网格化模型。
3.根据权利要求2所述的方法,其特征在于:
利用所述第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系之前,还包括步骤:基于所述第一对齐参数确定出所述第二真人网格化模型和所述卡通拓扑结构模型的纹理坐标的映射关系。
4.根据权利要求3所述的方法,其特征在于:
确定所述映射关系的步骤包括:
基于所述第一对齐参数在第二真人网格化模型中确定与所述卡通拓扑结构模型的纹理坐标对应的纹理坐标;根据所述第二真人网格化模型的纹理坐标与所述卡通拓扑结构的纹理坐标确定所述映射关系。
5.根据权利要求1所述的方法,其特征在于,在卡通拓扑结构模型中构建目标纹理图的步骤包括:
基于映射后的纹理坐标重建网格,依据网格内的像素点构建目标纹理图。
6.根据权利要求5所述的方法,其特征在于,所述重建网格的步骤包括:
依据所述映射后的纹理坐标构建德罗内三角形,依据所述德罗内三角形网格内的像素点构建目标纹理图。
7.一种构建虚拟形象纹理图的装置,其特征在于,所述装置包括:
建模模块,用于基于三维目标图像进行人脸重建以获得第一真人网格化模型,基于与所述三维目标图像对应的卡通拓扑结构获得卡通拓扑结构模型;所述真人网格化模型与卡通拓扑结构模型包含的顶点数量不同或存在位置不同的顶点;
拓扑迁移模块,用于将所述第一真人网格化模型拓扑迁移至所述卡通拓扑结构模型,获得第二真人网格化模型,以使所述第二真人网格化模型和卡通拓扑结构模型的顶点数量与顶点位置相同;
纹理迁移模块,用于基于所述第二真人网格化模型和卡通拓扑结构模型的纹理坐标的映射关系,将所述第一真人网格化模型的纹理坐标映射到所述卡通拓扑结构模型中,以在卡通拓扑结构模型中构建目标纹理图。
8.根据权利要求7所述的装置,其特征在于,所述拓扑迁移模块用于将第一真人网格化模型拓扑迁移至卡通拓扑结构模型包括:
获取所述第一真人网格化模型与所述卡通拓扑结构模型之间的第一对齐参数,根据所述第一对齐参数将所第一述真人网格化模型与卡通拓扑结构模型的顶点数量与位置分别对齐,得到所述第二真人网格化模型。
9.根据权利要求8所述的装置,其特征在于:
所述拓扑迁移模块还用于:基于所述第一对齐参数确定出所述第二真人网格化模型和所述卡通拓扑结构模型的纹理坐标的映射关系。
10.根据权利要求9所述的装置,其特征在于:
所述拓扑迁移模块确定所述映射关系包括:基于所述卡通拓扑结构模型的纹理坐标与所述第一对齐参数在第二真人网格化模型中确定对应的第二真人网格化模型的纹理坐标;根据所述第二真人网格化模型的纹理坐标与所述卡通拓扑结构的纹理坐标确定所述映射关系。
11.根据权利要求7所述的装置,其特征在于,所述纹理迁移模块用于在卡通拓扑结构模型中构建目标纹理图包括:
基于映射后的纹理坐标重建网格,依据网格内的像素点构建目标纹理图。
12.根据权利要求11所述的装置,其特征在于,所述纹理迁移模块基于映射后的纹理坐标重建网格,依据网格内的像素点构建目标纹理图包括:
依据所述映射后的纹理坐标构建德罗内三角形,依据所述德罗内三角形网格内的像素点构建目标纹理图。
13.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行如权利要求1-6任意一项方法所述的操作。
14.一种计算机可读存储介质,其上存储有计算机指令,其特征在于:
该指令被处理器执行时实现权利要求1-6任意一项方法所述的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210233787.0A CN114742940A (zh) | 2022-03-10 | 2022-03-10 | 构建虚拟形象纹理图的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210233787.0A CN114742940A (zh) | 2022-03-10 | 2022-03-10 | 构建虚拟形象纹理图的方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114742940A true CN114742940A (zh) | 2022-07-12 |
Family
ID=82274400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210233787.0A Pending CN114742940A (zh) | 2022-03-10 | 2022-03-10 | 构建虚拟形象纹理图的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114742940A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115359171A (zh) * | 2022-10-21 | 2022-11-18 | 北京百度网讯科技有限公司 | 虚拟形象处理方法、装置、电子设备和存储介质 |
CN115409933A (zh) * | 2022-10-28 | 2022-11-29 | 北京百度网讯科技有限公司 | 多风格纹理贴图生成方法及其装置 |
-
2022
- 2022-03-10 CN CN202210233787.0A patent/CN114742940A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115359171A (zh) * | 2022-10-21 | 2022-11-18 | 北京百度网讯科技有限公司 | 虚拟形象处理方法、装置、电子设备和存储介质 |
CN115359171B (zh) * | 2022-10-21 | 2023-04-07 | 北京百度网讯科技有限公司 | 虚拟形象处理方法、装置、电子设备和存储介质 |
CN115409933A (zh) * | 2022-10-28 | 2022-11-29 | 北京百度网讯科技有限公司 | 多风格纹理贴图生成方法及其装置 |
CN115409933B (zh) * | 2022-10-28 | 2023-02-03 | 北京百度网讯科技有限公司 | 多风格纹理贴图生成方法及其装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111127304B (zh) | 跨域图像转换 | |
CN111369681A (zh) | 三维模型的重构方法、装置、设备及存储介质 | |
CN112884875A (zh) | 图像渲染方法、装置、计算机设备和存储介质 | |
Li et al. | Detail-preserving and content-aware variational multi-view stereo reconstruction | |
CN114742940A (zh) | 构建虚拟形象纹理图的方法、装置、设备及存储介质 | |
WO2008056825A1 (fr) | Procédé de création d'une surface tridimensionnelle | |
JP5735114B2 (ja) | エンコード方法、エンコード装置、デコード方法及びデコード装置 | |
US11263356B2 (en) | Scalable and precise fitting of NURBS surfaces to large-size mesh representations | |
CN113012282A (zh) | 三维人体重建方法、装置、设备及存储介质 | |
Chen et al. | Face swapping: realistic image synthesis based on facial landmarks alignment | |
Zhang et al. | Color-guided depth image recovery with adaptive data fidelity and transferred graph Laplacian regularization | |
CN115984447B (zh) | 图像渲染方法、装置、设备和介质 | |
CN114742956B (zh) | 模型处理方法、装置、设备及计算机可读存储介质 | |
JPH11504452A (ja) | 2次元投影図に基づいて3次元の対象物を再現し、取り扱うための装置と方法 | |
Ouyang et al. | Real-time neural character rendering with pose-guided multiplane images | |
CN114333034A (zh) | 人脸姿态估计方法、装置、电子设备及可读存储介质 | |
CN114359453A (zh) | 一种三维特效渲染方法、装置、存储介质及设备 | |
CN114266693A (zh) | 图像处理方法、模型生成方法及设备 | |
TWI711004B (zh) | 圖片處理方法和裝置 | |
CN116977532A (zh) | 立方体纹理生成方法、装置、设备、存储介质和程序产品 | |
CN116993955A (zh) | 三维模型的重拓扑方法、装置、设备及存储介质 | |
CN111105489A (zh) | 数据合成方法和装置、存储介质和电子装置 | |
CN116452715A (zh) | 动态人手渲染方法、装置及存储介质 | |
CN107818578B (zh) | 一种基于注册方法的快速人脸模型重建算法及系统 | |
WO2022236802A1 (zh) | 一种物体模型的重建方法、装置、终端设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |