CN116778053A - 基于目标引擎的贴图生成方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供了基于目标引擎的贴图生成方法、装置、设备及存储介质。本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于人工智能生成内容等场景。具体方案：在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；在缓冲区中存储待烘焙模型的顶点的世界空间坐标；在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；基于像素位置和相机位置确定相机向量；根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；基于每个像素的光照结果生成待烘焙模型的贴图。根据本公开方案，能够在保证贴图质量的基础上，提高烘焙贴图的效率。

Description

基于目标引擎的贴图生成方法、装置、设备及存储介质

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于人工智能生成内容(AI Generated Content，AICG)等场景。

背景技术

由于硬件条件的限制，导致在性能有限的终端上无法直接渲染细节丰富的高模。因此，通常使用贴图烘焙技术将高模的光影、粗糙度等数据存储到贴图中，用在低模上以提升模型的渲染效果，即在接近高模效果同时保持更好的性能。但是，烘焙单张贴图的时间成本较高，当面对生成大量贴图的需求时，需要消耗极高的时间成本。

发明内容

本公开提供了一种基于目标引擎的贴图生成方法、装置、设备及存储介质。

根据本公开的第一方面，提供了一种基于目标引擎的贴图生成方法，包括：

在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；

在缓冲区中存储待烘焙模型的顶点的世界空间坐标；

在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；

基于像素位置和相机位置确定相机向量；

根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；

基于每个像素的光照结果生成待烘焙模型的贴图。

根据本公开的第二方面，提供了一种基于目标引擎的贴图生成装置，包括：

调整模块，用于在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；

存储模块，用于在缓冲区中存储待烘焙模型的顶点的世界空间坐标；

第一确定模块，用于在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；

第二确定模块，用于基于像素位置和相机位置确定相机向量；

计算模块，用于根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；

第一生成模块，用于基于每个像素的光照结果生成待烘焙模型的贴图。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；

与至少一个处理器通信连接的存储器；

存储器存储有可以被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行本公开中任一实施例的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行根据本公开中任一实施例的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括存储在存储介质上的计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。

根据本公开的方案，能够通过利用目标引擎的性能优势，在保证贴图质量的基础上，提高烘焙贴图的效率。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1是根据本公开实施例的基于目标引擎的贴图生成方法的流程示意图；

图2是根据本公开实施例的基于目标引擎的贴图烘焙流程示意图；

图3是根据本公开实施例的相机位置呈现的模型展开后的效果示意图；

图4是根据本公开实施例的存储世界空间坐标的示意图；

图5是根据本公开实施例的调整光照结果的示意图；

图6是根据本公开实施例的基于目标引擎的贴图生成装置的结构示意图；

图7是根据本公开实施例的基于目标引擎的贴图生成的场景示意图；

图8是用来实现本公开实施例的基于目标引擎的贴图生成方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

相关技术中，为了解决烘焙贴图质量较低的问题。通常采用烘焙软件或建模软件进行烘焙贴图。具体地，通过次世代游戏制作工具(XNormal)、渲染器(ToolBag)等烘焙软件进行法线、环境光遮蔽等类型的贴图的生成，上述烘焙软件往往能够支持高质量的烘焙。通过玛雅(Maya)、四边形散布插件(3DMax)、三维建模软件(Blender)等建模软件进行烘焙，上述软件一般支持模型按纹理贴图坐标展开并渲染到纹理的功能，也可以获得效果不错的贴图。

但是，烘焙软件或建模软件普遍存在烘焙贴图耗时较长和效率较低的问题。例如，使用了复杂材质的模型生成一张512×512分辨率的贴图可能需要几分钟，但是，一张4096×4096的贴图往往需要近一个小时的时间。因此，当面对生成大量贴图的需求时，需要消耗极高的时间成本。并且，在批量烘焙贴图时，烘焙出的贴图数据的质量较差。

本公开为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，提出了一种基于目标引擎的贴图生成方法。通过对目标引擎的延迟渲染管线进行修改和优化，使得目标引擎可以直接输出各种类型的模型烘焙贴图。同时，通过充分利用目标引擎的高画面表现力和实时渲染等性能优势，能够高效地生成高分辨率的贴图。

本公开实施例提供了一种基于目标引擎的贴图生成方法，图1是根据本公开实施例的基于目标引擎的贴图生成方法的流程示意图，该基于目标引擎的贴图生成方法可以应用于基于目标引擎的贴图生成装置。该基于目标引擎的贴图生成装置位于电子设备上。该电子设备包括但不限于固定设备和/或移动设备。例如，固定设备包括但不限于服务器，服务器可以是云服务器或普通服务器。例如，移动设备包括但不限于手机、平板电脑、车载终端等。在一些可能的实现方式中，该基于目标引擎的贴图生成方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，该基于目标引擎的贴图生成方法包括：

S101：在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；

S102：在缓冲区中存储待烘焙模型的顶点的世界空间坐标；

S103：在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；

S104：基于像素位置和相机位置确定相机向量；

S105：根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；

S106：基于每个像素的光照结果生成待烘焙模型的贴图。

本公开实施例中，该目标引擎可以是具有渲染功能的引擎。优选地，该目标引擎可以是Unreal引擎。该Unreal引擎本身不具备烘焙的功能，只具备渲染的功能。

本公开实施例中，该延迟渲染管线(Deferred Shading Pipeline)可以认为是一个多通道渲染策略(Multi-Pass)。具体地，该策略本质是一个分支，不同通道(Pass)之间传递规范，以实现Pass的解耦。这样，每一个Pass只需要完成自己的子任务，按照规范交付结果。在虚幻引擎(Unreal Engine，UE)中，延迟渲染管线类似两个for循环，外层循环对应延迟渲染管线的多个Pass的逻辑，称为延迟渲染管线。

本公开实施例中，延迟渲染存在两个渲染Pass。具体地，第一通道为几何通道(BasePass)，用于将场景的物体信息光栅化到多个预缓存(GBuffer)中；第二通道为光照通道(LightingPass)，用于基于GBuffer的几何信息计算每个像素的光照结果。其中，在目标引擎的后处理(PostProcessing)渲染通道，基于延迟渲染管线输出的每个像素的光照结果，进行烘焙处理，得到贴图。

本公开实施例中，该第一通道可以是几何通道。该第一通道用于将场景中所有的不透明物体(Opaque)和掩码(Masked)物体用无光照(Unlit)的材质执行渲染，然后将物体的几何信息写入到对应的渲染纹理(Render Target)中。

本公开实施例中，该待烘焙模型可以是高分辨率模型。该待烘焙模型涉及的对象包括但不限于人物、动物、植物、建筑等。以上仅为示例性说明，不作为对待烘焙模型涉及的全部可能对象的限定，只是这里不做穷举。

本公开实施例中，该待烘焙模型的材质可以包括皮肤材质、透明材质、半透明材质等。以上仅为示例性说明，不作为对待烘焙模型的材质包括的全部可能种类的限定，只是这里不做穷举。

本公开实施例中，在延迟渲染管线的第一通道，调整待烘焙模型的材质，按照UV分布在世界空间展开成一个正对并铺满相机的平面。该二维平面的坐标系(简称UV)分布。其中，水平方向是U，垂直方向是V。该UV坐标定义了图片上每个点的位置的信息。

本公开实施例中，该缓冲区用于存储待烘焙模型的顶点的世界空间坐标。该GBuffer本身具有存储功能，具体可存储颜色、法线等信息。可以在该GBuffer中新增加一个缓冲区，用于存储待烘焙模型的顶点的世界空间坐标。

本公开实施例中，该待烘焙模型的顶点的世界空间坐标，可以目标图形式存储在缓冲区中。具体地，经过UV展开后，在延迟渲染管线的光照处理过程中，通过查询目标图，得到顶点的世界空间坐标。需要说明的是，本公开不对目标图的类型进行限定。

本公开实施例中，该第二通道可以是光线通道。该第二通道用于在光照阶段，利用几何通道阶段生成的GBuffer数据执行光照计算。具体地，遍历渲染分辨率数量相同的像素，根据每个像素的UV坐标从GBuffer采样获取该像素的几何信息，执行光照计算，得到光照计算结果。

本公开实施例中，光照计算可以包括但不限于以下两种计算方法：

方法1：在世界坐标系中计算，即：在经过模型变换(model)后计算光照结果；

方法2：在相机坐标系中计算，即：在经过模型变换、视图变换(view)后计算光照结果。

本公开实施例中，该相机向量是根据像素位置和相机位置得到的。具体地，该相机向量通过公式(1)进行求解：

相机向量＝像素位置-相机位置 (1)

其中，相机向量的方向是像素位置到相机位置的方向。

本公开实施例中，光照计算包括利用GBuffer中的几何信息计算每个像素的光照结果。其中，该光照结果可以包括直接光照、间接光照、光照与阴影等。

图2示出了基于目标引擎的贴图烘焙流程示意图，如图2所示，该流程可包括：

S201：修改待烘焙模型材质；

S202：在延迟渲染管线的几何通道处理过程中，在GBuffer中增加缓冲区，用来存储编码后的待烘焙模型顶点真实世界空间坐标图；

S203：在延迟渲染管线的光照通道处理过程中，解码得到待烘焙模型顶点真实世界空间坐标，并重新计算相机向量，参与光照计算；

S204：在屏幕空间的后处理中，对皮肤后处理和色调后处理进行特殊处理；

S205：使用目标引擎的动画序列工具(Sequencer)生成图像序列，选择相机并选定出图的分辨率、抗锯齿模式等选项，生成图像序列对应的多个贴图。

本公开实施例的技术方案，在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；在缓冲区中存储待烘焙模型的顶点的世界空间坐标；在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；基于像素位置和相机位置确定相机向量；根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；基于每个像素的光照结果生成烘焙贴图。如此，能够利用目标引擎的高画面表现力和实时渲染的性能优势，在保证贴图质量的基础上，提高烘焙贴图的效率。

本公开实施例中，调整待烘焙模型的材质，可包括：调整待烘焙模型的材质的第一参数的赋值，第一参数用于表征顶点的偏移。

本公开实施例中，该第一参数的赋值与相机视场角(Field ofView，FOV)以及距离相机的远近有关。

本公开实施例中，在场景中添加一个组件用作相机，并为相机设置姿态、焦距、宽高比等属性。示例性地，可以在场景中添加名为“CineCamera”的组件。其中，该相机直接决定了烘焙贴图的渲染效果。

本公开实施例中，该第一参数可以是世界位置偏移参数(WorldPositionOffset)。通过为材质属性的世界位置偏移参数赋值，使模型能够按照UV分布在世界空间展开成一个正对并铺满相机的平面。

世界位置偏移参数用于表示顶点的偏移，实际上，顶点的偏移值等于展开后的位置与顶点原来的位置的差。虽然世界位置偏移参数会直接改变模型顶点的位置，但是，无论世界位置参数的值如何变化，在相机位置呈现的效果是相同的。图3示出了相机位置呈现的模型展开后的效果示意图。

本公开实施例中，材质是可以进行编辑的。具体地，材质可以包括多个属性。其中，部分属性可以进行编辑，世界位置偏移参数就是其中之一。

本公开实施例中，修改待烘焙模型的材质具体是指修改该待烘焙模型的材质的第一参数的赋值。

本公开实施例中，该世界位置偏移的输入允许网格体的顶点在世界空间中由材质操纵。这有助于实现使对象移动、改变形状、旋转等效果。并且，该材质也适用于环境动画等内容。即，可以在材质蓝图里对材质所着色的网格体位置进行控制。

对于一些特殊的着色模型(ShadingModel)材质，仅将模型展开成平面不能得到完全正确的渲染效果。例如，皮肤材质(SubsurfaceProfile)中的次表面散射计算与周围像素深度相关。这种情况需要将模型展开成深度不同、带有凹凸起伏的表面。顶点的深度根据其原始深度进行设定，且保持仅深度改变而屏幕坐标不变的UV展开状态。

本公开实施例的技术方案，通过调整待烘焙模型的材质的第一参数的赋值，使得待烘焙模型可以按照UV分布在世界空间展开成一个正对并铺满相机的平面，有助于提高烘焙贴图的渲染效果，进而有助于提高烘焙贴图的质量。

本公开实施例中，该基于目标引擎的贴图生成方法还可包括：向材质的目标属性传入待烘焙模型的世界空间坐标。其中，在缓冲区中存储待烘焙模型的顶点的世界空间坐标，包括：在缓冲区的目标区域存储待烘焙模型的目标图，该目标图是至少包括世界空间坐标的信息的图。

本公开实施例中，该顶点的世界空间坐标等于物体的世界坐标加顶点的模型坐标。

本公开实施例中，目标属性是为材质新增的一个属性，该目标属性用于记录待烘焙模型的世界空间坐标。

本公开实施例中，目标区域是目标图的缓冲区域，该目标区域用于存储包含世界空间坐标信息的贴图。其中，缓冲区可以包括多个目标区域，每个目标区域可以存储多个目标图。

本公开实施例中，该目标图可以是世界空间坐标的另一种表示方法。具体地，将世界空间坐标进行编码，得到该世界空间坐标对应的目标图。即，该世界空间坐标以贴图的形式存储在目标区域中。

本公开实施例中，在延迟渲染的光照通道过程中，能够通过目标图查询到模型顶点的世界空间坐标。

本公开实施例中，材质的属性有N个，为材质添加一个目标属性，那么，该材质的属性由N个变为N+1个，N为正整数。

本公开实施例中，世界位置偏移参数会直接改变模型顶点的位置，因此需要在材质中增加一个属性。其中，该属性用于传入真实的世界坐标位置。具体地，在延迟渲染管线的几何通道处理过程中，在GBuffer中增加一张贴图缓冲区，用于存储编码后的真实世界坐标。

图4示出了存储世界空间坐标的示意图，如图4所示，GBuffer中存储多个信息，具体包括：像素深度、材质和法线等。在GBuffer中添加一个缓冲区，该缓冲区可分成多个目标区域，比如，该缓冲区包括目标区域1、目标区域2和目标区域3。该目标区域用于存储一个或多个目标图，该目标图用于表示世界空间坐标。

本公开实施例的技术方案，向材质的目标属性传入待烘焙模型的世界空间坐标，便于在延迟渲染的光照处理过程中从GBuffer中查询到经过UV展开后模型顶点的实际世界空间坐标，从而基于顶点的实际世界空间坐标得到高质量的渲染结果，进而在保证贴图质量的基础上，提高烘焙贴图的效率。

本公开实施例中，基于每个像素的光照结果生成烘焙贴图，包括：根据缓冲区的几何信息确定每个像素的权重；基于每个像素的权重，调整每个像素的光照结果；基于调整后的每个像素的光照结果，生成贴图。

本公开实施例中，该几何信息可以包括位置(Position)、法线(Normal)和材质参数等。其中，几何信息也可以包括深度，基于深度和屏幕空间的UV可以进行重建得到位置。

本公开实施例中，模型按UV分布展开后，其相对位置关系较展开前发生了极大的改变，部分屏幕空间的后处理渲染通道可能会存在问题，对这类后处理需要进行特殊处理，采取的方式包括根据GBuffer信息设置不同像素的权重，进而去影响屏幕空间的像素渲染结果。

图5示出了调整光照结果的示意图，如图5所示，缓存区可以存储大量信息，例如几何信息。基于该几何信息可以确定每个像素的权重，比如，像素1的权重为0.3、像素2的权重为0.2和像素3的权重0.5，基于每个像素的权重对光照结果进行调整。

本公开实施例中，像素的权重越高，对光照结果的影响越大。若第1个像素的权重为0.3，第2个像素的权重为0.2，那么第1个像素比第2个像素对光照结果的影响大。

本公开实施例的技术方案，根据缓冲区的几何信息确定每个像素的权重；基于每个像素的权重，调整每个像素的光照结果；基于调整后的每个像素的光照结果，生成贴图。如此，能够在减少烘焙贴图的时间成本的同时，生成高质量的贴图数据。

在一些实施例中，权重包括第一权重。根据缓冲区的几何信息确定每个像素的权重，包括：读取缓冲区的法线信息；基于法线信息确定相机向量与法线的夹角；基于夹角的值确定每个像素的第一权重，该第一权重用于目标引擎的皮肤后处理渲染。

本公开实施例中，基于法线信息确定相机向量与法线的夹角，包括：基于法线信息和相机向量确定相机向量与法线的夹角；具体将法线向量与相机向量做点乘运算得到夹角的余弦值。

本公开实施例中，基于夹角的值确定每个像素的第一权重，包括：基于所述余弦值确定每个像素的第一权重，包括：余弦值越大，第一权重越大。也就是说，与相机朝向一致的像素的权重大；与相机朝向不一致的像素的权重小。

本公开实施例中，以皮肤后处理(也称“Subsurface后处理”)为例，读取GBuffer中的法线信息，与相机向量做点乘运算得到夹角的余弦值，余弦值作为调整次表面散射的权重的参考，通过调整每个像素的权重的大小来降低背面等区域的影响。经过权重调整后的皮肤后处理能够正确还原皮肤的红润感，从而有助于获得高画质的贴图数据。

本公开实施例的技术方案，读取缓冲区的法线信息；基于法线信息确定相机向量与法线的夹角；基于夹角的值确定每个像素的第一权重，第一权重用于目标引擎的皮肤后处理渲染，能够通过调整每个像素的第一权重的大小来降低背面等区域的影响，从而有助于获得高画质的贴图数据。

在一些实施例中，权重包括第二权重。根据缓冲区的几何信息确定每个像素的权重，包括：读取缓冲区的颜色信息，颜色信息包括每个像素的三通道像素值；确定目标像素与目标像素的相邻像素的三通道像素值的差值平均值；基于差值平均值与预设阈值的关系，确定目标像素的第二权重，第二权重用于目标引擎的色调后处理渲染。

本公开实施例中，目标像素的相邻像素可以理解为：以目标像素为中心，预设半径范围内的像素均可称为目标像素的相邻像素。目标像素可以和包围它的一圈像素做差值操作，并计算平均值；将平均值与预设阈值进行比较；平均值越接近于预设阈值，目标像素的权重越高。

本公开实施例中，基于差值平均值与预设阈值的关系，确定目标像素的第二权重，平均值越接近于预设阈值，目标像素的第二权重越高。示例性地，假设R1、G1、B1为像素1的光照色(Red，Green，Blue，简称RGB)三通道值；R2、G2、B2为像素2的RGB三通道值，R3、G3、B3为像素3的RGB三通道值，像素2和像素3均是像素1的相邻像素，那么差值＝(R1-R2)+(G1-G2)+(B1-B2)+(R1-R3)+(G1-G3)+(B1-B3)；差值平均值＝[(R1-R2)+(G1-G2)+(B1-B2)+(R1-R3)+(G1-G3)+(B1-B3)]/2。

本公开实施例中，在Unreal引擎的色调后处理中，读取GBuffer的颜色信息，该颜色信息包括每个像素的RGB三通道像素值；确定目标像素与目标像素相邻像素的RGB三通道像素值的差值平均值；基于差值平均值与预设阈值的关系，确定目标像素的第二权重。

本公开实施例的技术方案，基于差值平均值与预设阈值的关系，确定目标像素的权重，能够基于第二权重进行色调后处理渲染，降低其他因素对烘焙贴图的影响，从而在保证贴图数据质量的基础上，提高烘焙贴图的效率。

在一些实施例中，该基于目标引擎的贴图生成方法还可包括：利用目标引擎的动画序列工具生成图像序列；确定待烘焙模型的渲染参数；基于渲染参数生成图像序列对应的多个贴图。

示例性地，该动画序列工具可以是Sequencer。

本公开的实施例中，该渲染参数可以包括出图的分辨率、抗锯齿模式等。

本公开的实施例中，该动画序列工具能将视频片段储存为单独的静止图像文件。

在一些实施例中，使用Unreal引擎的动画序列工具进行序列帧的输出包括：选择相机；选定出图的分辨率、抗锯齿模式等渲染参数选项；得到批量的烘焙贴图数据。该方法可以直接将高分辨率模型的法线、切线、光影、高光、渲染结果等信息烘焙到纹理贴图上。

在一些实施例中，在渲染设置面板中，通过调整面板中的可调参数，可以提高渲染出图的分辨率。具体地，在渲染设置面板中将抗锯齿模式改为“Catmull-Rom”；在贴图设置面板中，把贴图设置面板下的模糊值(Blur)，由默认为1.0修改为0.1，图片就会清晰很多，也就是说，模糊值越小图片越清晰。

本公开实施例的技术方案，能够利用目标引擎的动画序列工具生成图像序列；确定待烘焙模型的渲染参数；基于渲染参数生成图像序列对应的多个贴图，有助于提高烘焙贴图的效率，进而在批量生产高画质纹理空间贴图数据上具有明显优势。

本公开的实施例中，该基于目标引擎的贴图生成方法还可包括：确定待拍摄的场景；基于场景确定相机参数；基于相机参数确定待烘焙模型。

本公开的实施例中，该待拍摄的场景可以是构建的场景。具体地，可以根据待烘焙模型搭建场景。

本公开的实施例中，该相机参数可以包括姿态、焦距、宽高比等信息。以上仅为示例性说明，不作为对相机参数包括的全部可能的内容的限定，只是这里不做穷举。

本公开实施例的技术方案，基于拍摄场景确定相机参数，基于详细的相机数据确定待烘焙模型。如此，有助于减少烘焙贴图的耗时，从而提高烘焙贴图的效率，进而实现高效的生成高质量的烘焙贴图数据。

在一些实施例中，目标引擎可以是Unreal引擎。

本公开实施例的技术方案，在Unreal引擎的延迟渲染管线基础上进行优化，再辅助渲染策略，充分利用Unreal引擎的高画面表现力和实时渲染性能优势，能够在保证渲染质量的前提下大幅降低贴图烘焙的耗时，获得质量足够高的纹理空间贴图数据，降低大量生产烘焙贴图的成本，有助于大批量地生产高分辨率模型贴图数据。

应理解，图2、图3、图4和图5所示的示意图仅仅是示例性而不是限制性的，并且其是可扩展的，本领域技术人员可以基于图2、图3、图4和图5的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例的公开范围。

本公开实施例提供了一种基于目标引擎的贴图生成装置，该目标引擎包括延迟渲染管线，如图6所示，该基于目标引擎的贴图生成装置可以包括：调整模块601，用于在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；存储模块602，用于在缓冲区中存储待烘焙模型的顶点的世界空间坐标；第一确定模块603，用于在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；第二确定模块604，用于基于像素位置和相机位置确定相机向量；计算模块605，用于根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；第一生成模块606，用于基于每个像素的光照结果生成该待烘焙模型的贴图。

在一些实施例中，该调整模块601，包括：第一调整子模块，用于调整待烘焙模型的材质的第一参数的赋值，第一参数用于表征顶点的偏移值。

在一些实施例中，该基于目标引擎的贴图生成装置还包括：第一传入模块607(图6中未示出)，用于向材质的目标属性传入待烘焙模型的世界空间坐标。其中，存储模块602，包括：存储子模块，用于在缓冲区的目标区域存储待烘焙模型的目标图，目标图是至少包括世界空间坐标的信息的图。

在一些实施例中，该第一生成模块606，包括：确定子模块，用于根据缓冲区的几何信息确定每个像素的权重；第二调整子模块，用于基于每个像素的权重，调整每个像素的光照结果；生成子模块，用于基于调整后的每个像素的光照结果，生成该待烘焙模型的贴图。

在一些实施例中，权重包括第一权重。该确定子模块具体用于：读取缓冲区的法线信息；基于法线信息确定相机向量与法线的夹角；基于夹角的值确定每个像素的第一权重，第一权重用于目标引擎的皮肤后处理渲染。

在一些实施例中，权重包括第二权重。该确定子模块具体用于：读取缓冲区的颜色信息，颜色信息包括每个像素的三通道像素值；确定目标像素与目标像素的相邻像素的三通道像素值的差值平均值；基于差值平均值与预设阈值的关系，确定目标像素的第二权重，第二权重用于目标引擎的色调后处理渲染。

在一些实施例中，该基于目标引擎的贴图生成装置还包括：第二生成模块608(图6中未示出)，用于利用目标引擎的动画序列工具生成图像序列；第三确定模块609(图6中未示出)，用于确定待烘焙模型的渲染参数；第三生成模块610(图6中未示出)，用于基于渲染参数生成图像序列对应的多个贴图。

在一些实施例中，该基于目标引擎的贴图生成装置还包括：第四确定模块611(图6中未示出)，用于确定待拍摄的场景；第五确定模块612(图6中未示出)，用于基于场景确定相机参数；第六确定模块613(图6中未示出)，用于基于相机参数确定待烘焙模型。

在一些实施例中，目标引擎可以是虚幻引擎。

本领域技术人员应当理解，本公开实施例的基于目标引擎的贴图生成装置中各处理模块的功能，可参照前述的基于目标引擎的贴图生成方法的相关描述而理解，本公开实施例的基于目标引擎的贴图生成装置中各处理模块，可通过实现本公开实施例该的功能的模拟电路而实现，也可以通过执行本公开实施例该的功能的软件在电子设备上的运行而实现。

本公开实施例的基于目标引擎的贴图生成装置，能够通过利用目标引擎的性能优势，在保证贴图质量的基础上，提高烘焙贴图的效率。

本公开实施例提供了一种基于目标引擎的贴图生成的场景示意图，如图7所示。

如前所述的，本公开实施例提供的基于目标引擎的贴图生成方法应用于电子设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。

具体地，电子设备可具体执行以下操作：

在延迟渲染管线的第一通道，调整待烘焙模型的材质，使待烘焙模型在世界空间展开成一个正对并铺满相机的平面；

在缓冲区中存储待烘焙模型的顶点的世界空间坐标；

在延迟渲染管线的第二通道，从缓冲区中确定世界空间坐标；

基于像素位置和相机位置确定相机向量；

根据相机向量和世界空间坐标进行光照计算，得到每个像素的光照结果；

基于每个像素的光照结果生成待烘焙模型的贴图。

其中，待烘焙模型的相关数据可以从数据源获取。数据源可以是各种形式的数据存储设备，例如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。数据源还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。此外，数据源与用户终端可以是同一设备。

应理解，图7所示的场景图仅仅是示意性而非限制性的，本领域技术人员可以基于图7的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例的公开范围。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系，以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(Read-OnlyMemory，ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RandomAccess Memory，RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(Input/Output，I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元CPU、图形处理单元(Graphics ProcessingUnit，GPU)、各种专用的人工智能(Artificial Intelligence，AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(Digital Signal Processor，DSP)，以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如基于目标引擎的贴图生成方法。例如，在一些实施例中，基于目标引擎的贴图生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的基于目标引擎的贴图生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于目标引擎的贴图生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用标准产品(Application-Specific Standard Products，ASSP)、芯片上系统的系统(System on Chip，SOC)、复杂可编程逻辑设备(Complex Programmable Logic Device，CPLD)、计算机硬件、固件、软件和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的，或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、快闪存储器、光纤、便捷式紧凑盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光学储存设备、磁储存设备，或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管(Cathode Ray Tube，CRT)或者液晶显示器(Liquid Crystal Display，LCD)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈，或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入，或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)，或者包括中间件部件的计算系统(例如，应用服务器)，或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)，或者包括这种后台部件、中间件部件，或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端和服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种基于目标引擎的贴图生成方法，所述目标引擎包括延迟渲染管线，所述方法包括：

在所述延迟渲染管线的第一通道，调整待烘焙模型的材质，使所述待烘焙模型在世界空间展开成一个正对并铺满相机的平面；

在缓冲区中存储所述待烘焙模型的顶点的世界空间坐标；

在所述延迟渲染管线的第二通道，从所述缓冲区中确定所述世界空间坐标；

基于像素位置和相机位置确定相机向量；

根据所述相机向量和所述世界空间坐标进行光照计算，得到每个像素的光照结果；

基于每个像素的所述光照结果生成所述待烘焙模型的贴图。

2.根据权利要求1所述的方法，其中，所述调整待烘焙模型的材质，包括：

调整所述待烘焙模型的所述材质的第一参数的赋值，所述第一参数用于表征所述顶点的偏移值。

3.根据权利要求1所述的方法，还包括：

向材质的目标属性传入所述待烘焙模型的所述世界空间坐标；

其中，所述在缓冲区中存储所述待烘焙模型的顶点的世界空间坐标，包括：

在所述缓冲区的目标区域存储所述待烘焙模型的目标图，所述目标图是至少包括所述世界空间坐标的信息的图。

4.根据权利要求1所述的方法，其中，所述基于每个像素的所述光照结果生成所述待烘焙模型的贴图，包括：

根据所述缓冲区的几何信息确定每个像素的权重；

基于每个像素的权重，调整每个像素的所述光照结果；

基于调整后的每个像素的所述光照结果，生成所述待烘焙模型的贴图。

5.根据权利要求4所述的方法，其中，所述权重包括第一权重，所述根据所述缓冲区的几何信息确定每个像素的权重，包括：

读取所述缓冲区的法线信息；

基于所述法线信息确定所述相机向量与法线的夹角；

基于所述夹角的值确定每个像素的第一权重，所述第一权重用于所述目标引擎的皮肤后处理渲染。

6.根据权利要求4所述的方法，其中，所述权重包括第二权重，所述根据所述缓冲区的几何信息确定每个像素的权重，包括：

读取所述缓冲区的颜色信息，所述颜色信息包括每个像素的三通道像素值；

确定目标像素与所述目标像素的相邻像素的三通道像素值的差值平均值；

基于所述差值平均值与预设阈值的关系，确定所述目标像素的第二权重，所述第二权重用于所述目标引擎的色调后处理渲染。

7.根据权利要求1所述的方法，还包括：

利用所述目标引擎的动画序列工具生成图像序列；

确定所述待烘焙模型的渲染参数；

基于所述渲染参数生成所述图像序列对应的多个所述贴图。

8.根据权利要求1所述的方法，还包括：

确定待拍摄的场景；

基于所述场景确定相机参数；

基于所述相机参数确定所述待烘焙模型。

9.根据权利要求1至8任一项所述的方法，其中，所述目标引擎为虚幻引擎。

10.一种基于目标引擎的贴图生成装置，所述目标引擎包括延迟渲染管线，所述装置包括：

调整模块，用于在所述延迟渲染管线的第一通道，调整待烘焙模型的材质，使所述待烘焙模型在世界空间展开成一个正对并铺满相机的平面；

存储模块，用于在缓冲区中存储所述待烘焙模型的顶点的世界空间坐标；

第一确定模块，用于在所述延迟渲染管线的第二通道，从所述缓冲区中确定所述世界空间坐标；

第二确定模块，用于基于像素位置和相机位置确定相机向量；

计算模块，用于根据所述相机向量和所述世界空间坐标进行光照计算，得到每个像素的光照结果；

第一生成模块，用于基于每个像素的所述光照结果生成所述待烘焙模型的贴图。

11.根据权利要求10所述的装置，其中，所述调整模块，包括：

第一调整子模块，用于调整所述待烘焙模型的所述材质的第一参数的赋值，所述第一参数用于表征所述顶点的偏移值。

12.根据权利要求10所述的装置，还包括：

第一传入模块，用于向材质的目标属性传入所述待烘焙模型的所述世界空间坐标；

其中，所述存储模块，包括：

存储子模块，用于在所述缓冲区的目标区域存储所述待烘焙模型的目标图，所述目标图是至少包括所述世界空间坐标的信息的图。

13.根据权利要求10所述的装置，其中，所述第一生成模块，包括：

确定子模块，用于根据所述缓冲区的几何信息确定每个像素的权重；

第二调整子模块，用于基于每个像素的权重，调整每个像素的所述光照结果；

生成子模块，用于基于调整后的每个像素的所述光照结果，生成所述待烘焙模型的贴图。

14.根据权利要求13所述的装置，其中，所述权重包括第一权重，所述确定子模块，用于：

读取所述缓冲区的法线信息；

基于所述法线信息确定所述相机向量与法线的夹角；

基于所述夹角的值确定每个像素的第一权重，所述第一权重用于所述目标引擎的皮肤后处理渲染。

15.根据权利要求13所述的装置，其中，所述权重包括第二权重，所述确定子模块，用于：

读取所述缓冲区的颜色信息，所述颜色信息包括每个像素的三通道像素值；

确定目标像素与所述目标像素的相邻像素的三通道像素值的差值平均值；

基于所述差值平均值与预设阈值的关系，确定所述目标像素的第二权重，所述第二权重用于所述目标引擎的色调后处理渲染。

16.根据权利要求10所述的装置，还包括：

第二生成模块，用于利用所述目标引擎的动画序列工具生成图像序列；

第三确定模块，用于确定所述待烘焙模型的渲染参数；

第三生成模块，用于基于所述渲染参数生成所述图像序列对应的多个所述贴图。

17.根据权利要求10所述的装置，还包括：

第四确定模块，用于确定待拍摄的场景；

第五确定模块，用于基于所述场景确定相机参数；

第六确定模块，用于基于所述相机参数确定所述待烘焙模型。

18.根据权利要求10至17任一项所述的装置，其中，所述目标引擎为虚幻引擎。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括存储在存储介质上的计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。