CN112419467B - 基于深度学习的提升渲染效率方法、装置和系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的提升渲染效率方法、装置和系统，包括：获取低分辨率渲染图像，利用第一特征提取单元提取低分辨率渲染图像的第一特征图；获取渲染辅助特征，利用第二特征提取单元对渲染辅助特征进行维度调整，获得与低分辨率渲染图像在空间上对齐的第二特征图；利用注意力单元将第一特征图的光照信息映射到第二特征图，获得矫正特征图；利用图像生成单元基于第二特征图和矫正特征图生成高分辨率渲染图像。该基于深度学习的提升渲染效率方法、装置和系统能够保证渲染图像质量的同时提升渲染效率。

Description

基于深度学习的提升渲染效率方法、装置和系统

技术领域

本发明属于图像处理领域，具体涉及一种基于深度学习的提升渲染效率方法、装置和系统。

背景技术

目前基于光线跟踪的渲染引擎，渲染耗时与图片像素数成正比。例如，一张分辨率为500*500的高分辨率渲染图的渲染时间约等于分辨率为1000*1000的渲染图的4倍。因此，渲染引擎要渲染出高分辨率图像需要消耗大量的时间和运算资源。

现有渲染系统中，一种是用户向服务器发出请求，服务器调低用户的参数以减少采样次数，使用相同的采样数量生成更大的图片，并返回给用户，通过牺牲渲染图像分辨率来提升渲染效率，在渲染图像中可见大量噪声。另外一种是用户向服务器发出请求，服务器使用标准的参数渲染出低分辨率的图像，使用单一图像超分辨率恢复的方法，生成高分辨率的图像，再返回给用户，这种对低分辨率图像放大的方案在边缘清晰程度和纹理细节上和真实渲染结果有较大差距。

申请公布号为CN108694700A的专利申请公开了一种用于深度学习图像超分辨率的系统和方法，申请公布号为CN 110211059A的专利申请公开的一种基于深度学习的图像重建方法，这两种方法均是仅仅是依据低分辨率图像利用深度学习来生成高分辨率图像，这种仅仅基于低分辨率图像重构图像的方法在边缘清晰程度和纹理细节上和真实渲染结果有较大差距，不能满足应用需求。

发明内容

鉴于上述，本发明提供了一种基于深度学习的提升渲染效率方法、装置和系统，保证渲染图像质量的同时提升渲染效率。

本发明的技术方案为：

第一方面，一种基于深度学习的提升渲染引擎效率方法，包括以下步骤：

获取低分辨率渲染图像，利用第一特征提取单元提取低分辨率渲染图像的第一特征图；

获取渲染辅助特征，利用第二特征提取单元对渲染辅助特征进行维度调整，获得与低分辨率渲染图像在空间上对齐的第二特征图；

利用注意力单元将第一特征图的光照信息映射到第二特征图，获得矫正特征图；

利用图像生成单元基于第二特征图和矫正特征图生成高分辨率渲染图像。

第二方面，一种基于深度学习的提升渲染效率装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现第一方面所述的基于深度学习的提升渲染效率方法。

第三方面，一种基于深度学习的提升渲染效率系统，包括终端、与终端通信连接的服务器端，所述服务器端包括渲染引擎和第二方面所述的基于深度学习的提升渲染效率装置；

所述终端向所述服务器端发起渲染请求；

所述渲染引擎依据所述渲染请求进行图像渲染得到低分辨率渲染图像；

所述基于深度学习的提升渲染效率装置从所述渲染引擎中获取低分辨率渲染图像和渲染辅助特征，然后根据低分辨率渲染图像和辅助特征利用第一方面所述的基于深度学习的提升渲染效率方法得到高分辨率渲染图像并存储供终端下载。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的基于深度学习的提升渲染效率方法、装置和系统，将低分辨率渲染图像和渲染辅助特征相结合，利用低分辨率渲染图像带有的光照信息，利用渲染辅助特征带有的渲染辅助信息，通过深度学习的方式获得高分辨率渲染图像，在保证的渲染图像质量的同时提升了渲染效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明提供的基于深度学习的提升渲染效率方法一实施例的流程框图；

图2是本发明提供的注意力单元一实施例的结构示意图；

图3是本发明提供的基于深度学习的提升渲染效率系统一实施例的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了在保证图像质量的同时提升渲染效率以适应实时渲染的需求，本发明实施例提供了一种基于深度学习的提升渲染效率方法、装置和系统。下面针对提升渲染效率方法、装置和系统进行详细说明。

图1是本发明提供的基于深度学习的提升渲染效率方法一实施例的流程框图。如图1所示，本发明实施例提供的基于深度学习的提升渲染效率方法包括以下步骤：

步骤1，获取低分辨率渲染图像和渲染辅助特征。

利用渲染引擎对三维模型进行光线追踪渲染，为了提升渲染效率，降低渲染采样次数，进而获得低分辨率渲染图像。该低分辨率渲染图像具有交底的分辨率，但是具有正常的渲染效果，具体地包括完整的光照信息，材质信息以及纹理信息，且这些信息在低分辨率渲染图像中分布均匀。

在获得低分辨率渲染图像，还可以获得的三维模型的结构信息，贴图信息，UV坐标信息以及相机信息等渲染辅助数据，基于这些渲染辅助数据通过计算即可以得到辅助渲染特征，该渲染辅助特征包括纹理特征、法向特征、深度特征中的至少一种。

举例说明，根据三维模型的结构信息和UV坐标信息通过计算可以直接得到法向特征，通过三维模型的结构信息、贴图信息，UV坐标信息以及相机信息通过计算得到反射特征和深度特征。这些渲染辅助特征均可以来辅助低分辨率渲染图像生成高分辨率渲染图像。

步骤2，利用第一特征提取单元提取低分辨率渲染图像的第一特征图。

实施例中，第一特征提取单元可以采用卷积神经网络和全连接神经网络中的至少一种。也就是可以单独采用卷积神经网络，单独采用全连接神经网络，或者同时采用卷积神经网络和全连接神经网络组成的组合网络来提取低分辨率渲染图像的第一特征图。第一特征提取单元的网络参数的事先优化并确定的，应用时，直接利用参数确定的第一特征提取单元来提取低分辨率渲染图像的特征，得到第一特征图。

由于低分辨率渲染图是利用渲染引擎经过光线追踪渲染得到的，低分辨率渲染图中包含了渲染时的光照信息。在对低分辨率渲染图像进行特征提取时，光照信息也相应被映射连接到第一特征图中，因此，第一特征图中包含了光照信息，该光照信息可以用作高分辨率渲染图像的光照信息，来提升渲染图的真实性。

步骤3，利用第二特征提取单元对渲染辅助特征进行维度调整，获得与低分辨率渲染图像在空间上对齐的第二特征图。

实施例中，第二特征提取单元可以采用卷积神经网络和全连接神经网络中的至少一种。也就是可以单独采用卷积神经网络，单独采用全连接神经网络，或者同时采用卷积神经网络和全连接神经网络组成的组合网络来提取渲染辅助特征的第二特征图。第二特征提取单元的网络参数的事先优化并确定的，应用时，直接利用参数确定的第二特征提取单元来对渲染辅助特征进行映射连接，得到第二特征图。

渲染辅助特征从渲染引擎中的渲染辅助数据经简单计算得到，会造成渲染辅助特征尺寸不统一，且这些渲染辅助特征提供了纹理信息、法向信息和深度信息。为了统一渲染辅助特征尺寸和对渲染辅助特征进行优化分布，实施例中采用第二特征提取单元将对渲染辅助特征进行维度调整和特征优化，以获得与低分辨率渲染图像在空间上对齐的第二特征图。

步骤4，利用注意力单元将第一特征图的光照信息映射到第二特征图，获得矫正特征图。

由于渲染辅助特征直接依据渲染辅助数据经简单计算得到，这些渲染辅助特征并没有经过光线追踪渲染的过程，因此渲染辅助特征对应的第二特征图的亮度信息处于一个维度上，过于抽象，不具有图像的真实性，为了解决第二特征图的信息单调的问题，采用注意力单元将第一特征图具有的光照信息映射到第二特征图上，以矫正第二特征图的光照信息，获得带有光照信息和纹理信息的矫正特征图。

在一种实施方式中，注意力单元可以采用神经网络，对输入的第一特征图和第二特征图进行特征映射，以使第一特征图的光照信息映射到第二特征图，获得矫正特征图。其中，神经网络可以为卷积神经网络和全连接神经网络中的至少一种。注意力单元的网络参数的事先优化并确定的，应用时，直接利用神经网络中神经元之间的连接和非线性映射，实现特征之间的传递，以使第一特征图中的光照特征映射传递到第二特征上，使第二特征带有光照信息，得到的矫正特征图更接近于渲染图的品质。

在另外一种实施方式中，采用线性变换的方式调整第二特征图，如图2所示，所述注意单元200包括缩放子单元201、偏移子单元202以及线性变换单元202；

利用所述缩放子单元201基于所述第一特征图生成缩放矩阵；

利用所述偏移子单元202基于所述第一特征图生成偏移矩阵；

利用所述线性变换单元203根据缩放矩阵和偏移矩阵对所述第二特征图做线性变换以实现将第一特征图的光照信息映射到第二特征图，得到矫正特征图。

其中，缩放子单元201和偏移子单元202采用卷积神经网络和全连接神经网络中的至少一种。通过神经网络中神经元和神经元之间的连接权重实现对第一特征图的特征连接映射，以获得的缩放矩阵和偏移矩阵。缩放子单元201和偏移子单元202采用的网络结构相同，连接权重和偏置权重不同，因此，对第一特征图提取的特征组成缩放矩阵和偏移矩阵不同。尽管缩放矩阵和偏移矩阵不同，但是每个矩阵中仍然包含光照信息，在此基础上，利用缩放矩阵和偏移矩阵对所述第二特征图做线性变换能够实现将包含的光照信息映射到第二特征图上，以使第二特征带有光照信息，整个过程模拟了光线追踪渲染过程，使得到的矫正特征图更接近于渲染图的品质。

举例说明，线性变换过程描述为：B’＝B×F+T，其中，B’表示矫正特征图，B表示第二特征图，F表示缩放矩阵，T表示偏移矩阵。通过该线性变换过程可以调整第二特征图的特征分布更接近于渲染图的品质。

步骤5，利用图像生成单元基于第二特征图和矫正特征图生成高分辨率渲染图像。

图像生成单元主要基于低分辨率渲染图的特征分布和渲染辅助特征的特征分布来生成高分辨率渲染图像。其中，图像生成单元采用卷积神经网络和全连接神经网络中的至少一种，且网络参数的事先优化并确定的，应用时通过对神经网络中神经元和神经元之间的连接权重实现对第二特征图和矫正特征图的特征连接映射，来生成高分辨率渲染图像。

在一个实施方式中，所述第二特征图和矫正特征图拼接后输入至所述图像生成单元，所述图像生成单元对输入的拼接特征图进行降维处理和特征优化，生成高分辨率渲染图像。第二特征图和矫正特征图拼接后增加图像尺寸，为了保证生成图像与低分辨率渲染图像尺寸保持一致，特征生成单元通过调整网络的神经元个数和卷积核尺寸实现对图像降维处理，降维的同时还实现特征的融合优化，以生成高分辨率渲染图像。

上述基于深度学习的提升渲染效率方法中的第一特征提取单元、第二特征提取单元、注意力单元以及图像生成单元可以组成图像生成模型，该图像生成模型的网络参数通过以下方式优化确定：

构建训练系统，所述训练系统包括图像生成模型、基于神经网络的图像判别模型以及基于神经网络的图像分类模型，所述图像生成模型、图像判别模型组成生成式对抗网络，所述图像生成模型用于基于低分辨率渲染图像生成高分辨率渲染图像，所述图像判别模型用于判别输入图像为生成高分辨率渲染图像还是真实高分辨率图像，所述图像分类模型用于对输入图像进行分类；

构建损失函数L，损失函数L包括生成损失函数L₁、对抗学习损失函数L₂以及分类损失函数L₃，其中，L₁＝‖G(LR)-HR‖₁，L₂＝D(HR)-D(G(LR))，L₃＝(C(HR)-C(G(LR)))²，LR和HR分别表示低分辨率渲染图像和真实高分辨率渲染图像，G(LR)表示图像生成模型根据低分辨率渲染图像得到的生成高分辨率渲染图像，D(HR)表示图像判别模型对HR的判别结果，D(G(LR))表示对图像判别模型对G(LR)的判别结果，C(HR)表示图像分类模型对HR的分类结果，C(G(LR))表示图像分类模型对G(LR)的分类结果，‖·‖₁表示一范数；

利用损失函数L来优化训练系统中的所有模型的网络参数，优化结束时，获得参数确定的图像生成模型。

实施例中，图像判别模型和图像分类模型均可以采用神经网络，其中，图像判别模型可以采用卷积神经网络，输出层增加一个softmax函数，实现对图像的判别。图像分类模型可以直接采用预训练好的VGG网络。训练时，直接提取VGG网络的倒数第二层的特征图来计算损失函数L₃。

上述训练系统中，通过引入图像判别模型与图像生成模型组成生成式对抗网络，利用对抗学习来优化图像判别模型的网络参数，以使图像判别模型的数据前馈传递过程能够更好地做特征映射来生成质量佳的高分辨率渲染图。在此基础上，上述训练系统中还引入了图像分类模型，图像分类模型的存在，要保证图像生成模型生成的高分辨率渲染图像的分类结果要与低分辨率渲染图像的固有分类相同，也就生成高分辨率渲染图像的过程中图像语义保持一致。

在训练的过程中，以损失函数最小为优化目标，在预设优化次数中对训练系统中的图像生成模型、图像判别模型以及图像分类模型的网络参数进行优化，在对图像生成模型的网络参数进行优化的过程实际上就是对第一特征提取单元、第二特征提取单元、缩放子单元、偏移子单元、图像生成单元的网络参数进行优化，参数确定的第一特征提取单元、第二特征提取单元、缩放子单元、偏移子单元、图像生成单元直接用来对低分辨率渲染图像和渲染辅助特征进行处理，来生成高分辨率渲染图像。经过一次训练确定的图像生成模型可以反复用来生成高分辨率渲染图像，当认为图像生成模型的鲁棒性不能满足需求时，还可以利用由低分辨率渲染图像和真是高分辨率渲染图像组成的样本集对图像生成模型再训练。

在另外一个实施方式中，所述提升渲染效率方法还包括对高分辨率渲染图像进行后处理，所述后处理包括图像锐化、亮度调整、纹理增强、色温调整、LUT调整。该后处理步骤处理得到的图像能够满足更多的应用需求。

上述提升渲染效率方法中，获得的高分辨率渲染图像和后处理得到的处理可以被存储在云端存储器，便于用户下载查看。

实施例提供的基于深度学习的提升渲染效率方法，将低分辨率渲染图像和渲染辅助特征相结合，利用低分辨率渲染图像带有的光照信息，利用渲染辅助特征带有的渲染辅助信息，通过深度学习的方式获得高分辨率渲染图像，在保证的渲染图像质量的同时提升了渲染效率。

实施例还提供了一种基于深度学习的提升渲染效率装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现上述基于深度学习的提升渲染效率方法。

实际应用中，存储器可以为在近端的易失性存储器，如RAM，还可以是失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器执行存储在存储器中的计算机程序，也就是计算机指令，来实现基于深度学习的提升渲染效率方法步骤。

实施例提供的基于深度学习的提升渲染效率装置，将低分辨率渲染图像和渲染辅助特征相结合，利用低分辨率渲染图像带有的光照信息，利用渲染辅助特征带有的渲染辅助信息，通过深度学习的方式获得高分辨率渲染图像，在保证的渲染图像质量的同时提升了渲染效率。

实施例还提供了一种基于深度学习的提升渲染效率系统。图3是本发明提供的基于深度学习的提升渲染效率系统一实施例的结构示意图。如图3所示，该基于深度学习的提升渲染效率系统300包括终端301、与终端通信连接的服务器端302，所述服务器端包括渲染引擎3021和上述基于深度学习的提升渲染效率装置3022；

该提升渲染效率系统中，所述终端301向所述服务器端302发起渲染请求；

所述渲染引擎3021依据所述渲染请求进行图像渲染得到低分辨率渲染图像；

所述基于深度学习的提升渲染效率装置3022从所述渲染引擎中获取低分辨率渲染图像和渲染辅助特征，然后根据低分辨率渲染图像和辅助特征利用上述基于深度学习的提升渲染效率方法得到高分辨率渲染图像并存储在存储器303中供终端下载。

该基于深度学习的提升渲染效率系统是一个终端与服务器端交互的系统，更适用于实际终端用户基于渲染请求从服务器获得高分辨率渲染图像的应用场景。在这个应用场景中，终端用户发起渲染请求，服务器端的渲染引擎基于渲染请求通过光线追踪渲染过程，采用较低采样率快速渲染得到低分辨率渲染图像，由于采样率低，这个渲染过程大大降低了渲染速度，但是低分辨率渲染图像的质量达不到要求，为了提升渲染图像质量，采用基于深度学习的提升渲染效率装置根据渲染得到的低分辨率渲染图像和从渲染引擎中获得的渲染辅助特征通过深度学习方式获得高分辨率渲染图，由于深度学习方式的计算量远远小于光线追踪渲染计算量，且深度学习方式作为模拟光线追踪渲染过程还能够大大提升渲染图像分辨率，因此，在整个系统中，渲染引擎和提升渲染效率装置的紧密配合，能够快速获得高分辨率渲染图像，且还大大提升了图像渲染速度。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的提升渲染效率方法，其特征在于，包括以下步骤：

获取低分辨率渲染图像，利用第一特征提取单元提取低分辨率渲染图像的第一特征图；

获取渲染辅助特征，利用第二特征提取单元对渲染辅助特征进行维度调整，获得与低分辨率渲染图像在空间上对齐的第二特征图；

利用注意力单元将第一特征图的光照信息映射到第二特征图，获得矫正特征图；

利用图像生成单元基于第二特征图和矫正特征图生成高分辨率渲染图像。

2.如权利要求1所述的基于深度学习的提升渲染效率方法，其特征在于，所述渲染辅助特征包括纹理特征、法向特征、深度特征中的至少一种。

3.如权利要求1所述的基于深度学习的提升渲染效率方法，其特征在于，所述注意力单元包括缩放子单元、偏移子单元以及线性变换单元；

利用所述缩放子单元基于所述第一特征图生成缩放矩阵；

利用所述偏移子单元基于所述第一特征图生成偏移矩阵；

利用所述线性变换单元根据缩放矩阵和偏移矩阵对所述第二特征图做线性变换以实现将第一特征图的光照信息映射到第二特征图，得到矫正特征图。

4.如权利要求1所述的基于深度学习的提升渲染效率方法，其特征在于，所述注意力单元采用神经网络，对输入的第一特征图和第二特征图进行特征映射，以使第一特征图的光照信息映射到第二特征图，获得矫正特征图。

5.如权利要求1所述的基于深度学习的提升渲染效率方法，其特征在于，所述第二特征图和矫正特征图拼接后输入至所述图像生成单元，所述图像生成单元对输入的拼接特征图进行降维处理和特征优化，生成高分辨率渲染图像。

6.如权利要求3所述的基于深度学习的提升渲染效率方法，其特征在于，所述第一特征提取单元、所述第二特征提取单元、所述缩放子单元、所述偏移子单元、所述图像生成单元采用卷积神经网络和全连接神经网络中的至少一种。

7.如权利要求5所述的基于深度学习的提升渲染效率方法，其特征在于，所述第一特征提取单元、第二特征提取单元、注意力单元以及图像生成单元组成图像生成模型，所述图像生成模型的网络参数通过以下方式优化确定：

构建训练系统，所述训练系统包括图像生成模型、基于神经网络的图像判别模型以及基于神经网络的图像分类模型，所述图像生成模型、图像判别模型组成生成式对抗网络，所述图像生成模型用于基于低分辨率渲染图像生成高分辨率渲染图像，所述图像判别模型用于判别输入图像为生成高分辨率渲染图像还是真实高分辨率图像，所述图像分类模型用于对输入图像进行分类；

构建损失函数L，损失函数L包括生成损失函数L₁、对抗学习损失函数L₂以及分类损失函数L₃，其中，L₁＝‖G(LR)-HR‖₁，L₂＝D(HR)-D(G(LR))，L₃＝(C(HR)-C(G(LR)))²，LR和HR分别表示低分辨率渲染图像和真实高分辨率渲染图像，G(LR)表示图像生成模型根据低分辨率渲染图像得到的生成高分辨率渲染图像，D(HR)表示图像判别模型对HR的判别结果，D(G(LR))表示对图像判别模型对G(LR)的判别结果，C(HR)表示图像分类模型对HR的分类结果，C(G(LR))表示图像分类模型对G(LR)的分类结果，‖·‖₁表示一范数；

利用损失函数L来优化训练系统中的所有模型的网络参数，优化结束时，获得参数确定的图像生成模型。

8.如权利要求1～7任一项所述的基于深度学习的提升渲染效率方法，其特征在于，所述提升渲染效率方法还包括对高分辨率渲染图像进行后处理，所述后处理包括图像锐化、亮度调整、纹理增强、色温调整、LUT调整。

9.一种基于深度学习的提升渲染效率装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述计算机处理器执行所述计算机程序时实现权利要求1～8任一项所述的基于深度学习的提升渲染效率方法。

10.一种基于深度学习的提升渲染效率系统，包括终端、与终端通信连接的服务器端，其特征在于，所述服务器端包括渲染引擎和权利要求9所述的基于深度学习的提升渲染效率装置；

所述终端向所述服务器端发起渲染请求；

所述渲染引擎依据所述渲染请求进行图像渲染得到低分辨率渲染图像；

所述基于深度学习的提升渲染效率装置从所述渲染引擎中获取低分辨率渲染图像和渲染辅助特征，然后根据低分辨率渲染图像和辅助特征利用权利要求1～8任一项所述的基于深度学习的提升渲染效率方法得到高分辨率渲染图像并存储供终端下载。