CN114359453A - 一种三维特效渲染方法、装置、存储介质及设备 - Google Patents

一种三维特效渲染方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN114359453A
CN114359453A CN202111572163.3A CN202111572163A CN114359453A CN 114359453 A CN114359453 A CN 114359453A CN 202111572163 A CN202111572163 A CN 202111572163A CN 114359453 A CN114359453 A CN 114359453A
Authority
CN
China
Prior art keywords
model
target
special effect
preset
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111572163.3A
Other languages
English (en)
Inventor
奉万森
李志文
芦爱余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202111572163.3A priority Critical patent/CN114359453A/zh
Publication of CN114359453A publication Critical patent/CN114359453A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本说明书提供一种三维特效渲染方法、装置、存储介质及设备,该方法中,基于目标图像中目标对象的形变参数调整预设模型的形变特征以得到目标模型,并基于预设模型与用于制作特效素材的参考模型之间的第一对齐参数对目标模型进行相应的处理,使得目标模型能够与目标三维特效的素材对齐,从而可以根据目标模型渲染目标三维特效。这样,在不需要调整特效素材的情况下,实现新算法稳定对齐特效素材的算法,方便开发人员的改进更新。

Description

一种三维特效渲染方法、装置、存储介质及设备
技术领域
本说明书涉及计算机技术领域,尤其涉及一种三维特效渲染方法、装置、存储介质及设备。
背景技术
三维特效的素材通常是美术人员通过建模的方式制作而成的,在软件产品中,三维特效的素材一般需要基于一个固定的标准三维模型来制作,这样批量的素材才能快速替换通用。软件产品可以通过算法渲染三维特效,该算法一般是基于该标准三维模型获取对应的参数,用于驱动渲染空间的虚拟相机,从而得到渲染画面。如果用基于另一个标准三维模型的自研算法替换软件产品原先的算法,并直接利用该自研算法渲染基于软件产品原先的标准三维模型设计的特效,容易存在抖动,渲染效果较差。针对这种情况,相关技术中一般是由美术人员手动调整各个三维特效的素材来实现,这一过程无疑是非常繁琐且耗时的。
发明内容
第一方面,提供一种三维特效渲染方法,包括:获取目标图像,基于所述目标图像中目标对象的形变参数对预设模型的形变特征进行调整,得到目标模型;获取所述预设模型与参考模型之间的第一对齐参数,所述预设模型与所述参考模型具有相同的形变特征;基于所述第一对齐参数对目标模型与参考模型进行对齐,并根据对齐后的目标模型渲染目标三维特效,所述目标三维特效的素材与所述参考模型是对齐的。
在一些实施例中,上述目标对象包括人脸,所述预设模型是根据多个不同的人脸模型样本得到的平均脸模型。
在一些实施例中,上述形变参数包括表征所述目标图像中的目标对象的人脸形状的第一参数和表征所述目标图像中的目标对象的表情的第二参数。
在一些实施例中,基于目标图像中目标对象的形变参数对预设模型的形变特征进行调整之后,还包括:获取目标图像中的目标对象与所述预设模型之间的空间变换参数,所述空间变换参数包括表征所述目标图像中的目标对象与所述预设模型之间的缩放比例的第三参数以及表征所述目标图像中的目标对象与所述预设模型之间的坐标对应关系的第四参数;利用所述空间变换参数,对基于形变参数调整后的预设模型的空间特征进行调整,以使得到的目标模型与所述目标图像对齐。
在一些实施例中,上述目标模型是经指定后处理操作调整得到的模型,所述指定后处理操作用于改变模型的点云数据中至少一个顶点的顶点坐标;所述方法还包括:基于所述空间变换参数对所述预设模型的空间特征进行调整,并执行所述指定后处理操作,得到中间模型;对所述中间模型与所述预设模型进行对齐,得到第二对齐参数;在基于所述第一对齐参数对目标模型与参考模型进行对齐之前,利用所述第二对齐参数对所述目标模型进行调整。
在一些实施例中,上述目标三维特效包括头套特效和/或纹理特效。
在一些实施例中,上述目标对象包括以下任意一种:人形态、动物形态;所述形变参数包括肢体动作参数。
第二方面,提供一种三维特效渲染装置,包括:调整模块,用于获取目标图像,基于所述目标图像中目标对象的形变参数对预设模型的形变特征进行调整,得到目标模型;获取模块,用于获取所述预设模型与参考模型之间的第一对齐参数,所述预设模型与所述参考模型具有相同的形变特征;对齐模块,用于基于所述第一对齐参数对目标模型与参考模型进行对齐,并根据对齐后的目标模型渲染目标三维特效,所述目标三维特效的素材与所述参考模型是对齐的。
第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现说明书实施例中任一项方法。
第四方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现说明书实施例中任一项方法。
本说明书的实施例提供的技术方案可以包括以下有益效果:
本说明书实施例中,公开了一种三维特效渲染方法、装置、存储介质及设备,该方法中,基于目标图像中目标对象的形变参数调整预设模型的形变特征以得到目标模型,并基于预设模型与用于制作特效素材的参考模型之间的第一对齐参数对目标模型进行相应的处理,使得目标模型能够与目标三维特效的素材对齐,从而可以根据目标模型渲染目标三维特效。这样,在不需要调整特效素材的情况下,实现新算法稳定对齐特效素材的算法,方便开发人员的改进更新。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
图1是本说明书根据一示例性实施例示出的基于标准三维模型制作三维特效的示意图;
图2A是本说明书根据一示例性实施例示出的一种三维特效渲染方法的流程图;
图2B是本说明书根据一示例性实施例示出的一种头套特效的渲染过程的示意图;
图2C是本说明书根据一示例性实施例示出的一种纹理特效的渲染过程的示意图;
图3A是本说明书根据一示例性实施例示出的基模A以及基模A拓扑中的对齐点的示意图;
图3B是本说明书根据一示例性实施例示出的基模B以及基模B拓扑中的对齐点的示意图;
图4是本说明书根据一示例性实施例示出的三维特效渲染装置所在计算机设备的一种硬件结构图;
图5是本说明书根据一示例性实施例示出的一种三维特效渲染装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
三维特效的素材,即渲染三维特效时添加在渲染空间中的元素通常是美术人员通过建模的方式制作而成的,在软件产品中,三维特效的素材一般需要基于一个固定的标准三维模型来制作,这样批量的素材才能快速替换通用。如图1所示,图1是基于标准三维模型制作三维特效的示意图,其中,第一模型11是软件产品算法中所使用的标准三维模型,第二模型12是三维特效的素材,由于在实际渲染时是利用标准三维模型的旋转矩阵和偏移矩阵渲染三维特效的,因此第二模型12与第一模型11是对齐的,这样,第二模型12能够贴合第一模型11中的人脸,因而能够得到较好的渲染效果。如果用基于另一个标准三维模型实现特效渲染的自研算法替换软件产品原先的算法,并直接利用该自研算法渲染基于软件产品原先的标准三维模型设计的特效,容易存在抖动,渲染效果较差。针对这种情况,相关技术中一般是由美术人员手动调整各个三维特效的素材来实现,这一过程无疑是非常繁琐且耗时的。
接下来对本说明书实施例进行详细说明。
如图2A所示,图2A是本说明书根据一示例性实施例示出的一种三维特效渲染方法的流程图,所述方法包括:
步骤201、获取目标图像,基于所述目标图像中目标对象的形变参数对预设模型的形变特征进行调整,得到目标模型;
本实施例的方法可以应用于多媒体应用程序,如短视频创作工具、视频直播软件等。所述的多媒体应用程序可以安装于智能手机、平板电脑等便携式终端,也可以安装于台式电脑等终端,本实施例对此不作限制。本步骤中提到的目标图像可以是终端通过摄像头实时获取的图像,也可以是用户上传到终端的图像。该目标图像可以是视频图像序列的其中一帧,终端可以对视频图像序列中的每一帧或部分帧进行渲染处理。
本步骤中提到的目标对象可以是真实对象,也可以是虚拟对象,该虚拟对象可以是由专业技术人员通过计算机图形技术制作得到的,如数字人、卡通动物等。需要说明的是,该目标对象可以是人形态或动物形态,也可以是人的局部部位或动物的局部部位,例如人脸、动物的手部等等。本步骤中提到的预设模型可以认为是目标对象的三维模型,如,目标对象是人脸,则预设模型可以是三维人脸模型;或者又如,目标对象是人形态,则预设模型可以是三维人体模型。
在本实施例中,该预设模型是待用于渲染目标三维特效的标准三维模型,因此,为了便于各种三维特效素材的通用替换,该预设模型可以是具有标准形变特征的三维模型,所述的形变特征可以是描述身份、情感的特征。例如,在预设模型是三维人脸模型时,该形变特征可以包括人脸形状和/或表情,该标准形变特征可以认为是标准人脸形状和/或标准表情,即预设的胖瘦状态和/或预设的表情。这种情况下,该预设模型可以是根据多个不同的人脸模型样本得到的平均脸模型,具体地,不同的人脸模型样本可以是针对不同的人脸图像进行建模而得到的指定维度的样本矩阵,所述的平均脸模型可以是对各人脸模型样本的每一维特征取平均而得到的。在一可选实施例中,所述的平均脸模型可以是通过PCA(Principal Component Analysis,主成分分析)算法构建得到的模型,该平均脸模型提供一组人脸形状、表情的PCA基,且可以通过改变形变参数(相当于PCA基的权重)来改变该平均脸模型的各顶点的位置,进而改变该平均脸模型的人脸形状和/或表情。又例如,在预设模型是三维人体模型时,该形变特征可以包括肢体动作,相应地,这种情况下,该预设模型可以是根据多个不同的三维人体模型样本得到的平均人体模型。
在一些例子中,该形变参数可以包括表征目标图像中的目标对象的人脸形状的第一参数和表征目标图像中的目标对象的表情的第二参数。该第一参数和第二参数可以是通过对目标图像进行解析而得到的,可选的,终端可以采用ARKit作为解析工具,ARKit是一种用于开发AR应用的SDK(Software Development Kit,软件开发工具包),借助ARKit提供的面部跟踪功能,可以从目标图像中提取出用于表征人脸形状和表情的形变参数。当然,在其他实施例中,该第一参数和第二参数也可以采用其他方式获取,例如,通过训练好的神经网络模型自动识别得到,本说明书对此不作限制。
在获取形变参数后,可以通过形变参数调整预设模型的形变特征,从而得到目标模型,使得目标模型具有与目标图像中的目标对象相同或相近的形变特征,例如,目标图像中的目标对象是一张略胖且展示大笑表情的人脸,则通过形变参数可以调整预设模型中对应人脸轮廓、嘴巴等位置的顶点的坐标,使得调整得到的目标模型也具有略胖、大笑的形变特征。如此,该目标模型可以适用于多种三维特效,包括头套特效、纹理特效等。头套特效包括墨镜特效、动物耳朵特效等,如图2B所示,软件产品通过算法渲染头套特效时,可以将头套特效的素材21添加到渲染空间中,将该头套特效的素材21的点云拓扑与标准三维模型的点云拓扑22进行对齐,再实时根据从图片中预测的3D人脸的旋转偏移矩阵驱动渲染空间中的虚拟相机23,即可得到显示该头套特效的目的图片24;纹理特效包括面具特效、动物皮肤特效等,如图2C所示,软件产品通过算法渲染纹理特效时,可以将纹理特效的素材25添加到渲染空间中,根据图片中的人脸表情调整标准三维模型,即重建mesh(网格),将纹理特效的素材25的纹理拓扑与标准三维模型的纹理拓扑26进行对齐,再实时根据从图片中预测的3D人脸的旋转偏移矩阵驱动渲染空间中的虚拟相机27,即可得到显示该纹理特效的目的图片28,该纹理特效使用到的算法输出不仅是旋转偏移矩阵,还有重建的mesh,纹理特效跟头套特效的区别在于纹理特效是贴面的,而且是跟着人脸形状、表情同步的,因此纹理特效还涉及到重建的mesh的对齐问题。而本步骤通过构建目标模型,可以实现与目标图像的对齐,不仅可以适用于头套特效,还可以适用于纹理特效等其他三维特效。
考虑到目标图像对应的坐标空间与预设模型对应的坐标空间可能是未对齐的,如,目标图像的尺寸与预设模型的尺寸是不同的数量级,因此,在一些例子中,基于目标图像中目标对象的形变参数对预设模型的形变特征进行调整之后,还可以包括:获取目标图像中的目标对象与所述预设模型之间的空间变换参数,所述空间变换参数包括表征所述目标图像中的目标对象与所述预设模型之间的缩放比例的第三参数和/或表征所述目标图像中的目标对象与所述预设模型之间的坐标对应关系的第四参数;利用所述空间变换参数,对基于形变参数调整后的预设模型的空间特征进行调整,以使得到的目标模型与所述目标图像对齐。所述的第三参数表征目标图像中的目标对象与预设模型之间的缩放比例,用于将基于形变参数调整后的预设模型,即重建的mesh缩放至与目标图像的尺度对齐;所述的第四参数表征目标图像中的目标对象与预设模型之间的坐标对应关系,用于将重建的mesh变换至目标图像所在的坐标系。这样,通过将目标模型中的点与目标图像中的人脸的点进行对齐,目标模型能够与目标图像对齐。
在一个可选的实施例中,目标模型可以基于以下公式构建得到:
Figure BDA0003424111580000081
上述公式中,Xprojection是目标模型对应的特征矩阵;
Figure BDA0003424111580000082
是预设模型对应的特征矩阵,该预设模型是通过PCA算法生成的平均脸模型;αi是PCA建模所构建的对应人脸形状的PCA基,其维度可以是形状维度、预设模型对应的点云的顶点个数以及几何坐标维度的乘积,如,形状维度是199,点云的顶点个数是65536,几何坐标维度是XYZ三个维度,则αi的维度是199*65536*3;si是形状系数,即前面提到的第一参数;m是形状维度;βi是PCA建模所构建的对应表情的PCA基,同样的,其维度可以是表情维度、预设模型对应的点云的顶点个数以及几何坐标维度的乘积;ei是表情系数,即前面提到的第二参数;n是表情维度,可选的,n可以是29;s是缩放系数,即前面提到的第三参数;R和t2d分别是旋转矩阵和偏移矩阵,即前面提到的第四参数;P是正交投影矩阵,可选的,P可以是一个3*3的单位矩阵。
基于上述公式,可以构建得到具有与目标图像中的人脸相同形状、表情,且与目标图像对齐的目标模型。
步骤202、获取所述预设模型与参考模型之间的第一对齐参数,所述预设模型与所述参考模型具有相同的形变特征;
本步骤中提到的参考模型与目标三维特效的素材是对齐的,也就是说,目标三维特效的素材可以是基于该参考模型制作得到的。该参考模型可以是原先的算法中使用的标准三维模型,相应地,预设模型可以是用于替换原先的算法的新算法中使用的标准三维模型。因此,该参考模型也可以是具有标准形变特征的三维模型,也就是说,预设模型与参考模型具有相同的形变特征。
预设模型与参考模型可以是根据不同的样本数据构建得到的,因此两个模型的拓扑结构,包括点线面的布局、连接情况等可能是不同的。而目标三维特效的素材是基于参考模型制作的,因此,利用预设模型与参考模型之间的第一对齐参数可以使目标模型与目标三维特效的素材实现对齐。考虑到预设模型与参考模型各自的点云中的顶点个数可能是不同的,在一些例子中,在获取第一对齐参数时,可以基于预设模型的预设对齐点与参考模型的预设对齐点进行对齐,该预设对齐点可以是点云中具有指定语义的顶点,如眼角点、鼻尖点、下巴点、脸轮廓点等,预设模型的预设对齐点形成第一点集,参考模型的预设对齐点形成第二点集,第一点集和第二点集中的点的个数是一致的,第一点集中的点与第二点集中的点一一对应,而且对应的点表示相同语义,这样,通过旋转和平移第一点集中的点构成的向量,使其尽可能对齐第二点集中的点构成的向量,即求取目标旋转矩阵和目标平移矩阵,使得第一点集中的所有点变化后与第二点集中对应位置的点的距离之和最小。也就是说,预设模型与参考模型之间的第一对齐参数包括目标旋转矩阵和目标平移矩阵。考虑到预设模型对应的坐标系与参考模型对应的坐标系可能具有不同的数量级,例如,预设模型的顶点坐标大概处于50000这一数量级,参考模型的顶点坐标大概处于0.001这一数量级,因此,该第一对齐参数还可以包括目标缩放参数,利用该目标缩放参数,可以将预设模型对应的坐标系的数量级对齐至参考模型对应的坐标系的数量级。在一些例子中,预设模型与参考模型之间的第一对齐参数可以采用SVD(Singular Value Decomposition,奇异值分解)对齐算法计算得到,SVD对齐算法可以对待优化的函数进行简化,从而提高算法的准确性以及效率。而在另一些例子中,也可以采用其他算法,如ICP(Iterative Closest Point,迭代最近点)算法来获取该第一对齐参数,本说明书对此不作限制。
需要说明的是,由于预设模型与目标模型之间的第一对齐参数是固定的,因此在计算得到该第一对齐参数后可以对该第一对齐参数进行存储,后续使用时直接从存储位置取出即可,从而减少终端的处理工作量。
步骤203、基于所述第一对齐参数对目标模型与参考模型进行对齐,并根据对齐后的目标模型渲染目标三维特效,所述目标三维特效的素材与所述参考模型是对齐的。
在得到第一对齐参数后,可以基于该第一对齐参数对目标模型与参考模型进行对齐,即利用该第一对齐参数对目标模型做相应的处理,使得处理后的目标模型与参考模型实现对齐。这样,本步骤中提到的对齐后的目标模型能够稳定对齐目标三维特效的素材,在这种情况下,不需要调整目标三维特效的素材,即可通过对齐后的目标模型输出目标三维特效的渲染画面,渲染效果的稳定性高。该渲染画面可以与目标图像进行结合,实现虚拟三维特效与真实环境的融合,为用户提供超越现实的感官体验。
本说明书实施例的方法,基于目标图像中目标对象的形变参数调整预设模型的形变特征以得到目标模型,并基于预设模型与用于制作特效素材的参考模型之间的第一对齐参数对目标模型进行相应的处理,使得目标模型能够与目标三维特效的素材对齐,从而可以根据目标模型渲染目标三维特效。这样,在不需要调整特效素材的情况下,实现新算法稳定对齐特效素材的算法,方便开发人员的改进更新。
进一步地,在实际应用中,三维特效的渲染经常会涉及到更为复杂的业务,例如,部分场景的目标模型是人脸模型,该目标模型点云中对应眼睛的顶点无法形成“闭眼”的效果,为了满足业务需要,可以通过额外的处理,调整顶点位置,使其产生“闭眼”的效果。这些用于改变模型的点云数据中至少一个顶点的位置的处理操作可以称为指定后处理操作,执行指定后处理操作的目标模型对齐到参考模型时,对齐容易产生抖动。基于此,本说明书的一个可选实施例提供以下的解决方案:若目标模型是经指定后处理操作调整得到的模型,基于前面提到的空间变换参数对预设模型的空间特征进行调整,并执行该指定后处理操作,得到中间模型;对该中间模型与该预设模型进行对齐,得到第二对齐参数;在基于第一对齐参数对目标模型与参考模型进行对齐之前,利用该第二对齐参数对该目标模型进行调整。这里的中间模型是对目标模型解耦去除了形变参数所调整的形变特征而构建得到的,在目标对象包括人脸时,该中间模型可以是基于以下公式构建得到:
Figure BDA0003424111580000111
上述公式中,Xcentre是中间模型对应的特征矩阵,其余参数的含义与在目标模型的公式中的含义一致,在此不再赘述。由上述公式可以看到,中间模型相较于目标模型来说,去除了目标图像中目标对象的人脸形状和表情,上述方案是指,先对中间模型进行与目标模型相同的指定后处理操作,然后对中间模型与预设模型进行对齐,保留对齐得到的第一对齐参数,用此参数对目标模型做相应的处理,处理完后的目标模型与预设模型就能保持对齐,最后根据预设模型与参考模型之间的第一对齐参数达到最终对齐参考模型的目的。如此,通过构建中间模型,去除了形变参数调整的形变特征在对齐执行指定后处理操作的目标模型与参考模型的过程中带来的偏差,因而能够适用于更为复杂的业务。
为了方便对本说明书的方案做更为详细的说明,接下来介绍一具体实施例:
本实施例方案应用于嵌在短视频创作工具的SDK,该SDK使用的是与该短视频创作工具原先的算法不同的新算法,该短视频创作工具原先的算法使用的标准三维模型记为基模A,基模A以及基模A拓扑中的对齐点如图3A所示,其中的对齐点301和对齐点302是眼角点,对齐点303是鼻尖点,对齐点304是下巴点,对齐点305和对齐点306是脸轮廓点;新算法使用的标准三维模型记为基模B,基模B以及基模B拓扑中的对齐点如图3B所示,相对应地,对齐点307和对齐点308是眼角点,对齐点309是鼻尖点,对齐点310是下巴点,对齐点311和对齐点312是脸轮廓点,在对基模A和基模B进行对齐时,可以根据相同语义的对齐点进行对齐。该短视频创作工具中提供的三维特效的素材是基于基模A制作的,该SDK基于以下方式渲染原先的三维特效:
S301、通过摄像头实时获取用户的视频图像序列,针对每一帧图像,通过解析图像获取形变参数和空间变换参数,该形变参数包括人脸形状参数si和表情参数ei,该空间变换参数包括缩放参数s、旋转变换参数R和平移变换参数t2d
S302、利用获取的形变参数和空间变换参数对基模B进行调整,得到基模B1,该基模B1的构建公式如下所示,其中,
Figure BDA0003424111580000112
是基模B对应的特征矩阵:
Figure BDA0003424111580000121
S303、在基模B1的基础上,对基模B1执行指定后处理操作;
S304、利用获取的空间变换参数对基模B进行调整,得到基模B2,该基模B2的构建公式如下所示:
Figure BDA0003424111580000122
S305、在基模B2的基础上,对基模B2执行指定后处理操作;
S306、基于图3A中选取的对齐点,对基模B2与基模B执行SVD对齐,保留第一对齐参数,该第一对齐参数是一个旋转平移矩阵;
S307、利用第一对齐参数对执行完指定后处理操作的基模B1进行处理,以使处理后的基模B1与基模B保持对齐;
S308、获取事先计算好的第二对齐参数对处理后的基模B1进行再次处理,以使再次处理后的基模B1达到对齐基模A的目的,该第二对齐参数是基模B与基模A之间的对齐参数,该第二对齐参数包括一个旋转平移矩阵和一个缩放变换参数;
S309、利用再次处理后的基模B1渲染三维特效。
通过上述流程,可以使原本未对齐新算法使用的标准三维模型拓扑的三维特效素材可以基于新算法输出,以进行渲染显示,如此,使得新算法稳定实时对齐素材的算法,而且无需开发人员重头调整三维特效素材,减少了开发人员的工作量。需要说明的是,上述方案不仅可以应用于3D人脸上,还可以用于其他基于PCA基构建拓扑结构的模型,例如simplemodel(人体模型)等等,在针对simple model时,形变参数可以包括肢体相关的PCA参数。
与前述方法的实施例相对应,本说明书还提供了三维特效渲染装置及其所应用的终端的实施例。
本说明书的三维特效渲染装置的实施例可以应用在计算机设备上,例如服务器或终端设备。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本说明书实施例三维特效渲染装置所在计算机设备的一种硬件结构图,除了图4所示的处理器410、内存430、网络接口420、以及非易失性存储器440之外,实施例中装置431所在的服务器或电子设备,通常根据该计算机设备的实际功能,还可以包括其他硬件,对此不再赘述。
相应地,本说明书实施例还提供一种计算机存储介质,所述存储介质中存储有程序,所述程序被处理器执行时实现上述任一实施例中的方法。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
如图5所示,图5是本说明书根据一示例性实施例示出的一种三维特效渲染装置的框图,所述装置包括:
调整模块51,用于获取目标图像,基于所述目标图像中目标对象的形变参数对预设模型的形变特征进行调整,得到目标模型;
获取模块52,用于获取所述预设模型与参考模型之间的第一对齐参数,所述预设模型与所述参考模型具有相同的形变特征;
对齐模块53,用于基于所述第一对齐参数对目标模型与参考模型进行对齐,并根据对齐后的目标模型渲染目标三维特效,所述目标三维特效的素材与所述参考模型是对齐的。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (10)

1.一种三维特效渲染方法,其特征在于,包括:
获取目标图像,基于所述目标图像中目标对象的形变参数对预设模型的形变特征进行调整,得到目标模型;
获取所述预设模型与参考模型之间的第一对齐参数,所述预设模型与所述参考模型具有相同的形变特征;
基于所述第一对齐参数对目标模型与参考模型进行对齐,并根据对齐后的目标模型渲染目标三维特效,所述目标三维特效的素材与所述参考模型是对齐的。
2.根据权利要求1所述的方法,其特征在于,所述目标对象包括人脸,所述预设模型是根据多个不同的人脸模型样本得到的平均脸模型。
3.根据权利要求2所述的方法,其特征在于,所述形变参数包括表征所述目标图像中的目标对象的人脸形状的第一参数和表征所述目标图像中的目标对象的表情的第二参数。
4.根据权利要求1所述的方法,其特征在于,基于目标图像中目标对象的形变参数对预设模型的形变特征进行调整之后,还包括:
获取目标图像中的目标对象与所述预设模型之间的空间变换参数,所述空间变换参数包括表征所述目标图像中的目标对象与所述预设模型之间的缩放比例的第三参数以及表征所述目标图像中的目标对象与所述预设模型之间的坐标对应关系的第四参数;
利用所述空间变换参数,对基于形变参数调整后的预设模型的空间特征进行调整,以使得到的目标模型与所述目标图像对齐。
5.根据权利要求4所述的方法,其特征在于,所述目标模型是经指定后处理操作调整得到的模型,所述指定后处理操作用于改变模型的点云数据中至少一个顶点的顶点坐标;所述方法还包括:
基于所述空间变换参数对所述预设模型的空间特征进行调整,并执行所述指定后处理操作,得到中间模型;
对所述中间模型与所述预设模型进行对齐,得到第二对齐参数;
在基于所述第一对齐参数对目标模型与参考模型进行对齐之前,利用所述第二对齐参数对所述目标模型进行调整。
6.根据权利要求1所述的方法,其特征在于,所述目标三维特效包括头套特效和/或纹理特效。
7.根据权利要求1所述的方法,其特征在于,所述目标对象包括以下任意一种:人形态、动物形态;所述形变参数包括肢体动作参数。
8.一种三维特效渲染装置,其特征在于,包括:
调整模块,用于获取目标图像,基于所述目标图像中目标对象的形变参数对预设模型的形变特征进行调整,得到目标模型;
获取模块,用于获取所述预设模型与参考模型之间的第一对齐参数,所述预设模型与所述参考模型具有相同的形变特征;
对齐模块,用于基于所述第一对齐参数对目标模型与参考模型进行对齐,并根据对齐后的目标模型渲染目标三维特效,所述目标三维特效的素材与所述参考模型是对齐的。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1~7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现权利要求1~7任一项所述的方法。
CN202111572163.3A 2021-12-21 2021-12-21 一种三维特效渲染方法、装置、存储介质及设备 Pending CN114359453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111572163.3A CN114359453A (zh) 2021-12-21 2021-12-21 一种三维特效渲染方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111572163.3A CN114359453A (zh) 2021-12-21 2021-12-21 一种三维特效渲染方法、装置、存储介质及设备

Publications (1)

Publication Number Publication Date
CN114359453A true CN114359453A (zh) 2022-04-15

Family

ID=81101635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111572163.3A Pending CN114359453A (zh) 2021-12-21 2021-12-21 一种三维特效渲染方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN114359453A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943822A (zh) * 2022-07-26 2022-08-26 武汉中观自动化科技有限公司 旋转体对齐方法、装置、电子设备及存储介质
CN115222895A (zh) * 2022-08-30 2022-10-21 北京百度网讯科技有限公司 图像生成方法、装置、设备以及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943822A (zh) * 2022-07-26 2022-08-26 武汉中观自动化科技有限公司 旋转体对齐方法、装置、电子设备及存储介质
CN115222895A (zh) * 2022-08-30 2022-10-21 北京百度网讯科技有限公司 图像生成方法、装置、设备以及存储介质
CN115222895B (zh) * 2022-08-30 2023-06-27 北京百度网讯科技有限公司 图像生成方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
US6967658B2 (en) Non-linear morphing of faces and their dynamics
EP0991023B1 (en) A method of creating 3-D facial models starting from face images
US8933928B2 (en) Multiview face content creation
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
WO2020207177A1 (zh) 图像增广与神经网络训练方法、装置、设备及存储介质
CN114359453A (zh) 一种三维特效渲染方法、装置、存储介质及设备
KR20210040555A (ko) 베이시스 모델에 기초하여 가상 캐릭터의 표정을 모사하는 장치, 방법 및 컴퓨터 프로그램
CN112233212A (zh) 人像编辑与合成
CN110660076A (zh) 一种人脸交换方法
CN111815768B (zh) 三维人脸重建方法和装置
WO2023001095A1 (zh) 人脸关键点的插值方法、装置、计算机设备和存储介质
CN111862278A (zh) 一种动画获得方法、装置、电子设备及存储介质
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN114429518A (zh) 人脸模型重建方法、装置、设备和存储介质
CN112561784B (zh) 图像合成方法、装置、电子设备及存储介质
CN114529640B (zh) 一种运动画面生成方法、装置、计算机设备和存储介质
EP4285332A1 (en) Object reconstruction using media data
US11893681B2 (en) Method for processing two-dimensional image and device for executing method
Marek et al. Optimization of 3d rendering in mobile devices
US11354844B2 (en) Digital character blending and generation system and method
RU2703327C1 (ru) Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
EP4111420A1 (en) Face mesh deformation with detailed wrinkles
JP2022028090A (ja) 3次元モデル編集装置および3次元モデル編集方法、並びにプログラム
US20230237753A1 (en) Dynamic facial hair capture of a subject
CN116912433B (zh) 三维模型骨骼绑定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination