CN116109753A - 三维云渲染引擎平台及数据处理方法 - Google Patents

Abstract

本申请公开了一种三维云渲染引擎平台及数据处理方法，其以并行渲染的方式来优化渲染进度。具体的，其通过对待渲染图像进行语义分割，保证待渲染图像中各个对象的语义完整性和连续性，在并行渲染地过程中独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此优化渲染进度且同时保证渲染效果。通过这样的方式，可以减少渲染的时间浪费，提升渲染的效率并提高渲染的质量。

Description

三维云渲染引擎平台及数据处理方法

技术领域

本申请涉及图像智能渲染技术领域，且更为具体地，涉及一种三维云渲染引擎平台及数据处理方法。

背景技术

随着虚拟现实技术的兴起与完善，很多企业逐渐使用虚拟现实技术进行推广及营销产品。其中，使用3D技术进行房屋户型设计的客户也越来越多。随着使用量的大量增长，产生大量的图像渲染需求，进而对渲染服务器产生很大的压力；但是在一定程度上，每台渲染服务器的渲染能力是一定的，在这种情况下，如果一张图纸的渲染只是通过一个渲染工作站来实现，那么渲染的效率低下，且每张效果图有不同的结构组成，如门窗、地板、家具及灯具，这些结构的渲染需要在前一部分结构渲染完成的基础上再进行下一个结构的渲染，如此渲染造成大量的时间浪费，无法达到高效渲染、高质渲染的目的。

因此，期待一种优化的三维云渲染引擎平台。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种三维云渲染引擎平台及数据处理方法，其以并行渲染的方式来优化渲染进度。具体的，其通过对待渲染图像进行语义分割，保证待渲染图像中各个对象的语义完整性和连续性，在并行渲染地过程中独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此优化渲染进度且同时保证渲染效果。通过这样的方式，可以减少渲染的时间浪费，提升渲染的效率并提高渲染的质量。

根据本申请的一个方面，提供了一种三维云渲染引擎平台，其包括：

待渲染数据获取模块，用于获取待渲染图片；

图像优化模块，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；

特征提取模块，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；

深浅特征融合模块，用于融合所述浅层特征图和所述深层特征图以得到融合特征图；

通道显著性增强模块，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；

特征聚合度增强模块，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；

语义分割模块，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；

图像分割模块，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；

并行渲染模块，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及

整合模块，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。

在上述的三维云渲染引擎平台中，所述图像优化模块，进一步用于将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。

在上述的三维云渲染引擎平台中，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。

在上述的三维云渲染引擎平台中，所述深浅特征融合模块，进一步用于：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；

其中，所述公式为：

其中，表示所述浅层特征图和所述深层特征图，表示级联函数，表示所述融合特征图。

在上述的三维云渲染引擎平台中，所述通道显著性增强模块，进一步用于：

将所述融合特征图输入所述通道注意力模块的多层卷积层以得到融合卷积特征图；

计算所述融合卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到融合通道特征向量；

将所述融合通道特征向量输入所述Sigmoid激活函数以得到融合通道注意力权重向量；以及

以所述融合通道注意力权重向量中各个位置的特征值作为权重分别对所述融合卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强融合特征图。

在上述的三维云渲染引擎平台中，所述特征聚合度增强模块，进一步用于：以如下公式计算所述通道增强融合特征图的沿通道维度的各个通道增强融合特征向量的节点间类概率匹配特征向量以得到所述优化后通道增强融合特征图；

其中，所述公式为：

其中，是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是与之间的距离，是所述优化后通道增强融合特征图的沿通道维度的各个通道增强融合特征向量，为加权超参数，表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，表示向量的按位置减法。

根据本申请的另一个方面，提供了一种三维云渲染引擎平台的数据处理方法，其包括：

获取待渲染图片；

将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；

将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；

融合所述浅层特征图和所述深层特征图以得到融合特征图；

将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；

对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；

基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；

基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；

并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及

将所述多张渲染后子模型进行整合以得到完整渲染模型。

在上述的三维云渲染引擎平台的数据处理方法中，所述将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片，进一步包括：将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。

在上述的三维云渲染引擎平台的数据处理方法中，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。

在上述的三维云渲染引擎平台的数据处理方法中，所述融合所述浅层特征图和所述深层特征图以得到融合特征图，进一步包括：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；

其中，所述公式为：

其中，表示所述浅层特征图和所述深层特征图，表示级联函数，表示所述融合特征图。

与现有技术相比，本申请提供的一种三维云渲染引擎平台及数据处理方法，其以并行渲染的方式来优化渲染进度。具体的，其通过对待渲染图像进行语义分割，保证待渲染图像中各个对象的语义完整性和连续性，在并行渲染地过程中独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此优化渲染进度且同时保证渲染效果。通过这样的方式，可以减少渲染的时间浪费，提升渲染的效率并提高渲染的质量。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的三维云渲染引擎平台的应用场景图。

图2为根据本申请实施例的三维云渲染引擎平台的框图示意图。

图3为根据本申请实施例的三维云渲染引擎平台的数据处理方法的流程图。

图4为根据本申请实施例的三维云渲染引擎平台的数据处理方法的系统架构的示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

相应地，在本申请的技术方案中，以并行渲染的方式来优化渲染进度。但是，在并行渲染的技术方案构建中，难点在于如何对待渲染图像进行划分。传统的划分方式是在图像源域对图像进行均匀分块，但这种图像划分方式破坏了图像中对象之间的语义连续性和语义分割性，导致渲染的效果出现较大的视觉偏差。因此，期待一种用于待渲染图像的语义分割方案，应可以理解，通过对待渲染图像进行语义分割，可保证待渲染图像中各个对象的语义完整性和连续性，因此，在并行渲染地过程中可独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此能优化渲染进度且同时保证渲染效果。

具体地，在本申请的技术方案中，首先待渲染图片。考虑到所述待渲染图像的图像质量不高，即清晰度不高，这会影响图像语义分割的精准度。因此，在对所述待渲染图像进行图像语义分割处理前，先将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片。所述对抗生成器包括生成器和鉴别器，所述生成器用于生成分辨率优化的生成图像，而所述鉴别器用于度量生成图像与真实分辨率优化图像之间的鉴别器损失函数值，并通过梯度下降的反向传播算法来更新所述生成器的网络参数，以使得训练完成的生成器所输出的生成图像与真实分辨率优化图像相接近。

在进行图像语义分割时，如果能够利用所述优化待渲染图片中各个对象的浅层特征，例如，纹理、线条、形状等，则显然可以提高图像语义分割的精准度。基于此，在本申请的技术方案中，将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图，并融合所述浅层特征图和所述深层特征图以得到融合特征图。也就是，以在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述优化待渲染图片中的图像浅层特征和图像深层语义特征，并融合所述浅层特征图和所述深层特征图以得到所述融合特征图，例如，在本申请一个具体的示例中，将所述浅层特征图和所述深层特征图进行级联以得到所述融合特征图。

考虑到所述融合特征图中各个通道维度的特征归属于不同对象，因此，如果能够提高各个通道间的特征分布的可鉴别性，则显然有利于提高图像语义分割的精准度。具体地，将所述融合特征图通过通道注意力模块以得到通道增强融合特征图。所述通道注意力模块的编码过程，包括首先对所述融合特征图的各个通道维度的特征矩阵进行全局均值池化处理以得到通道特征向量，然后将所述通道特征向量通过Softmax激活函数以得到通道激活特征向量；进而，以所述通道激活特征向量中各个位置的特征值作为权重对所述融合特征图的各个通道维度的特征矩阵进行加权以得到所述通道增强融合特征图。

进一步地，在本申请的技术方案中，基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果时，可以通过比较所述通道增强融合特征图的每个通道维度的多个通道增强融合特征向量之间的语义相似性来进行图像语义分隔。因此，如果能够提升所述多个通道增强融合特征向量之间的特征聚合度，显然能够提高所述图像语义分隔的准确性。

在本申请的技术方案中，基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果时，可以通过比较所述通道增强融合特征图的沿通道维度的多个通道增强融合特征向量之间的语义相似性来进行图像语义分隔。因此，如果能够提升所述多个通道增强融合特征向量之间的特征聚合度，显然能够提高所述图像语义分隔的准确性。

本申请的申请人将所述多个通道增强融合特征向量中的每个通道增强融合特征向量视为单个节点，通过节点之间的距离表示来基于节点整体的拓扑结构确定节点之间的类概率特征聚合度，具体地，计算每个通道增强融合特征向量的节点间类概率匹配特征向量，表示为：

是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是与之间的距离，即小于预定阈值，即的通道增强融合特征向量，为加权超参数。

也就是，如果将作为拓扑结构的节点，则可以被认为是在拓扑结构内部与所述节点相连的节点，即，表示节点与节点之间具有边。这样，通过计算节点间类概率匹配特征向量，可以确定拓扑结构内的节点与相邻节点之间在类概率下的交互度，通过以其代替所述通道增强融合特征向量，可以提升多节点组成的拓扑结构内部的各个节点间的类概率特征聚合度，相当于在基于内部特征交互的特征聚合维度上对于节点特征施加注意力机制，从而通过提升所述多个通道增强融合特征向量之间的特征聚合度来提高所述图像语义分隔的准确性。

接着，基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果。本领域普通技术人员应知晓，图像语义分割是在像素级别上的分类，属于同一类的像素被归为一类，也就是说，图像语义分割是从像素级来理解图像的。进而，基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像，其中，各张所述待渲染子图像仅包含一个独立的对象。

进一步地，并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型。通过并行的方式可显著地提高渲染的进度，同时，因各个所述待渲染子图像仅包含一个独立的对象，因此，渲染的难度也不会增加。在将各个所述待渲染子图像进行渲染渲染为渲染后子模型后，将所述多张渲染后子模型进行整合以得到完整渲染模型。

综上，对待渲染图像进行语义分割，以保证待渲染图像中各个对象的语义完整性和连续性，从而在并行渲染地过程中可独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此能优化渲染进度且同时保证渲染效果。

基于此，本申请提供了一种三维云渲染引擎平台，其包括：待渲染数据获取模块，用于获取待渲染图片；图像优化模块，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；特征提取模块，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；深浅特征融合模块，用于融合所述浅层特征图和所述深层特征图以得到融合特征图；通道显著性增强模块，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；特征聚合度增强模块，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；语义分割模块，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；图像分割模块，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；并行渲染模块，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及，整合模块，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。

图1为根据本申请实施例的三维云渲染引擎平台的应用场景图。如图1所示，在该应用场景中，获取待渲染图片（例如，如图1中所示意的D），然后，将所述待渲染图片输入至部署有三维云渲染引擎平台的数据处理算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述三维云渲染引擎平台的数据处理算法对所述待渲染图片进行处理以得到完整渲染模型。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性平台

图2为根据本申请实施例的三维云渲染引擎平台的框图示意图。如图2所示，根据本申请实施例的三维云渲染引擎平台100，包括：待渲染数据获取模块101，用于获取待渲染图片；图像优化模块102，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；特征提取模块103，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；深浅特征融合模块104，用于融合所述浅层特征图和所述深层特征图以得到融合特征图；通道显著性增强模块105，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；特征聚合度增强模块106，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；语义分割模块107，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；图像分割模块108，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；并行渲染模块109，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及，整合模块110，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。

更具体地，在本申请实施例中，所述待渲染数据获取模块101，用于获取待渲染图片。

考虑到所述待渲染图像的图像质量不高，即清晰度不高，这会影响图像语义分割的精准度。因此，在对所述待渲染图像进行图像语义分割处理前，先将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片。

更具体地，在本申请实施例中，所述图像优化模块102，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片。所述对抗生成器包括生成器和鉴别器，所述生成器用于生成分辨率优化的生成图像，而所述鉴别器用于度量生成图像与真实分辨率优化图像之间的鉴别器损失函数值，并通过梯度下降的反向传播算法来更新所述生成器的网络参数，以使得训练完成的生成器所输出的生成图像与真实分辨率优化图像相接近。

相应地，在一个具体示例中，所述图像优化模块102，进一步用于将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。

更具体地，在本申请实施例中，所述特征提取模块103，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图。卷积神经网络模型在图像特征提取领域具有优异性能表现，以卷积神经网络模型作为特征提取器来提取所述优化待渲染图片中的图像浅层特征和图像深层语义特征。

相应地，在一个具体示例中，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。

在进行图像语义分割时，如果能够利用所述优化待渲染图片中各个对象的浅层特征，例如，纹理、线条、形状等，则显然可以提高图像语义分割的精准度。基于此，在本申请的技术方案中，将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图，并融合所述浅层特征图和所述深层特征图以得到融合特征图。也就是，以在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述优化待渲染图片中的图像浅层特征和图像深层语义特征，并融合所述浅层特征图和所述深层特征图以得到所述融合特征图，例如，在本申请一个具体的示例中，将所述浅层特征图和所述深层特征图进行级联以得到所述融合特征图。

更具体地，在本申请实施例中，所述深浅特征融合模块104，用于融合所述浅层特征图和所述深层特征图以得到融合特征图。

相应地，在一个具体示例中，所述深浅特征融合模块104，进一步用于：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；其中，所述公式为：

其中，表示所述浅层特征图和所述深层特征图，表示级联函数，表示所述融合特征图。

更具体地，在本申请实施例中，所述通道显著性增强模块105，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图。考虑到所述融合特征图中各个通道维度的特征归属于不同对象，因此，如果能够提高各个通道间的特征分布的可鉴别性，则显然有利于提高图像语义分割的精准度。具体地，将所述融合特征图通过通道注意力模块以得到通道增强融合特征图。所述通道注意力模块的编码过程，包括首先对所述融合特征图的各个通道维度的特征矩阵进行全局均值池化处理以得到通道特征向量，然后将所述通道特征向量通过Softmax激活函数以得到通道激活特征向量；进而，以所述通道激活特征向量中各个位置的特征值作为权重对所述融合特征图的各个通道维度的特征矩阵进行加权以得到所述通道增强融合特征图。

相应地，在一个具体示例中，所述通道显著性增强模块105，进一步用于：将所述融合特征图输入所述通道注意力模块的多层卷积层以得到融合卷积特征图；计算所述融合卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到融合通道特征向量；将所述融合通道特征向量输入所述Sigmoid激活函数以得到融合通道注意力权重向量；以及，以所述融合通道注意力权重向量中各个位置的特征值作为权重分别对所述融合卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强融合特征图。

更具体地，在本申请实施例中，所述特征聚合度增强模块106，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图。

基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果时，可以通过比较所述通道增强融合特征图的每个通道维度的多个通道增强融合特征向量之间的语义相似性来进行图像语义分隔。因此，如果能够提升所述多个通道增强融合特征向量之间的特征聚合度，显然能够提高所述图像语义分隔的准确性。

在本申请的技术方案中，基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果时，可以通过比较所述通道增强融合特征图的沿通道维度的多个通道增强融合特征向量之间的语义相似性来进行图像语义分隔。因此，如果能够提升所述多个通道增强融合特征向量之间的特征聚合度，显然能够提高所述图像语义分隔的准确性。

本申请的申请人将所述多个通道增强融合特征向量中的每个通道增强融合特征向量视为单个节点，通过节点之间的距离表示来基于节点整体的拓扑结构确定节点之间的类概率特征聚合度，具体地，计算每个通道增强融合特征向量的节点间类概率匹配特征向量。

相应地，在一个具体示例中，所述特征聚合度增强模块106，进一步用于：以如下公式计算所述通道增强融合特征图的沿通道维度的各个通道增强融合特征向量的节点间类概率匹配特征向量以得到所述优化后通道增强融合特征图；其中，所述公式为：

其中，是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是与之间的距离，是所述优化后通道增强融合特征图的沿通道维度的各个通道增强融合特征向量，为加权超参数，表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，表示向量的按位置减法。

也就是，如果将作为拓扑结构的节点，则可以被认为是在拓扑结构内部与所述节点相连的节点，即，表示节点与节点之间具有边。这样，通过计算节点间类概率匹配特征向量，可以确定拓扑结构内的节点与相邻节点之间在类概率下的交互度，通过以其代替所述通道增强融合特征向量，可以提升多节点组成的拓扑结构内部的各个节点间的类概率特征聚合度，相当于在基于内部特征交互的特征聚合维度上对于节点特征施加注意力机制，从而通过提升所述多个通道增强融合特征向量之间的特征聚合度来提高所述图像语义分隔的准确性。

更具体地，在本申请实施例中，所述语义分割模块107，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果。本领域普通技术人员应知晓，图像语义分割是在像素级别上的分类，属于同一类的像素被归为一类，也就是说，图像语义分割是从像素级来理解图像的。进而，基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像，其中，各张所述待渲染子图像仅包含一个独立的对象。

更具体地，在本申请实施例中，所述图像分割模块108，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像。

更具体地，在本申请实施例中，所述并行渲染模块109，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型。通过并行的方式可显著地提高渲染的进度，同时，因各个所述待渲染子图像仅包含一个独立的对象，因此，渲染的难度也不会增加。在将各个所述待渲染子图像进行渲染渲染为渲染后子模型后，将所述多张渲染后子模型进行整合以得到完整渲染模型。

更具体地，在本申请实施例中，所述整合模块110，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。

综上，对待渲染图像进行语义分割，以保证待渲染图像中各个对象的语义完整性和连续性，从而在并行渲染地过程中可独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此能优化渲染进度且同时保证渲染效果。

综上，基于本申请实施例的三维云渲染引擎平台100被阐明，其以并行渲染的方式来优化渲染进度。具体的，其通过对待渲染图像进行语义分割，保证待渲染图像中各个对象的语义完整性和连续性，在并行渲染地过程中独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此优化渲染进度且同时保证渲染效果。通过这样的方式，可以减少渲染的时间浪费，提升渲染的效率并提高渲染的质量。

如上所述，根据本申请实施例的所述三维云渲染引擎平台100可以实现在各种终端设备中，例如具有三维云渲染引擎平台的数据处理算法的服务器等。在一个示例中，三维云渲染引擎平台100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该三维云渲染引擎平台100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该三维云渲染引擎平台100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该三维云渲染引擎平台100与该终端设备也可以是分立的设备，并且该三维云渲染引擎平台100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图3为根据本申请实施例的三维云渲染引擎平台的数据处理方法的流程图。如图3所示，根据本申请实施例的三维云渲染引擎平台的数据处理方法，其包括：S101，获取待渲染图片；S102，将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；S103，将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；S104，融合所述浅层特征图和所述深层特征图以得到融合特征图；S105，将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；S106，对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；S107，基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；S108，基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；S109，并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；S110，将所述多张渲染后子模型进行整合以得到完整渲染模型。

图4为根据本申请实施例的三维云渲染引擎平台的数据处理方法的系统架构的示意图。如图4所示，在所述三维云渲染引擎平台的数据处理方法的系统架构中，首先，获取待渲染图片；接着，将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；然后，将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；接着，融合所述浅层特征图和所述深层特征图以得到融合特征图；然后，将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；接着，对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；然后，基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；接着，基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；然后，并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；最后，将所述多张渲染后子模型进行整合以得到完整渲染模型。

在一个具体示例中，在上述三维云渲染引擎平台的数据处理方法中，所述将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片，进一步包括：将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。

在一个具体示例中，在上述三维云渲染引擎平台的数据处理方法中，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。

在一个具体示例中，在上述三维云渲染引擎平台的数据处理方法中，所述融合所述浅层特征图和所述深层特征图以得到融合特征图，进一步包括：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；其中，所述公式为：

其中，表示所述浅层特征图和所述深层特征图，表示级联函数，表示所述融合特征图。

在一个具体示例中，在上述三维云渲染引擎平台的数据处理方法中，所述将所述融合特征图通过通道注意力模块以得到通道增强融合特征图，进一步包括：将所述融合特征图输入所述通道注意力模块的多层卷积层以得到融合卷积特征图；计算所述融合卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到融合通道特征向量；将所述融合通道特征向量输入所述Sigmoid激活函数以得到融合通道注意力权重向量；以及，以所述融合通道注意力权重向量中各个位置的特征值作为权重分别对所述融合卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强融合特征图。

在一个具体示例中，在上述三维云渲染引擎平台的数据处理方法中，所述对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图，进一步包括：以如下公式计算所述通道增强融合特征图的沿通道维度的各个通道增强融合特征向量的节点间类概率匹配特征向量以得到所述优化后通道增强融合特征图；其中，所述公式为：

其中，是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是与之间的距离，是所述优化后通道增强融合特征图的沿通道维度的各个通道增强融合特征向量，为加权超参数，表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，表示向量的按位置减法。

这里，本领域技术人员可以理解，上述三维云渲染引擎平台的数据处理方法中的各个步骤的具体操作已经在上面参考图1到图2的三维云渲染引擎平台的描述中得到了详细介绍，并因此，将省略其重复描述。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种三维云渲染引擎平台，其特征在于，包括：

待渲染数据获取模块，用于获取待渲染图片；

图像优化模块，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；

特征提取模块，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；

深浅特征融合模块，用于融合所述浅层特征图和所述深层特征图以得到融合特征图；

通道显著性增强模块，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；

特征聚合度增强模块，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；

语义分割模块，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；

图像分割模块，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；

并行渲染模块，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及整合模块，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。

2.根据权利要求1所述的三维云渲染引擎平台，其特征在于，所述图像优化模块，进一步用于将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。

3.根据权利要求2所述的三维云渲染引擎平台，其特征在于，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。

4.根据权利要求3所述的三维云渲染引擎平台，其特征在于，所述深浅特征融合模块，进一步用于：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；

其中，所述公式为：

其中，表示所述浅层特征图和所述深层特征图，表示级联函数，表示所述融合特征图。

5.根据权利要求4所述的三维云渲染引擎平台，其特征在于，所述通道显著性增强模块，进一步用于：

将所述融合特征图输入所述通道注意力模块的多层卷积层以得到融合卷积特征图；

计算所述融合卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到融合通道特征向量；

将所述融合通道特征向量输入Sigmoid激活函数以得到融合通道注意力权重向量；以及以所述融合通道注意力权重向量中各个位置的特征值作为权重分别对所述融合卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强融合特征图。

6.根据权利要求5所述的三维云渲染引擎平台，其特征在于，所述特征聚合度增强模块，进一步用于：以如下公式计算所述通道增强融合特征图的沿通道维度的各个通道增强融合特征向量的节点间类概率匹配特征向量以得到所述优化后通道增强融合特征图；

其中，所述公式为：

其中，是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是所述通道增强融合特征图的沿通道维度的第个通道增强融合特征向量，是与之间的距离，是所述优化后通道增强融合特征图的沿通道维度的各个通道增强融合特征向量，为加权超参数，表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，表示向量的按位置减法。

7.一种三维云渲染引擎平台的数据处理方法，其特征在于，包括：

获取待渲染图片；

将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；

将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；

融合所述浅层特征图和所述深层特征图以得到融合特征图；

将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；

对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；

基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；

基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；

并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及将所述多张渲染后子模型进行整合以得到完整渲染模型。

8.根据权利要求7所述的三维云渲染引擎平台的数据处理方法，其特征在于，所述将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片，进一步包括：将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。

9.根据权利要求8所述的三维云渲染引擎平台的数据处理方法，其特征在于，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。

10.根据权利要求9所述的三维云渲染引擎平台的数据处理方法，其特征在于，所述融合所述浅层特征图和所述深层特征图以得到融合特征图，进一步包括：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；

其中，所述公式为：

其中，表示所述浅层特征图和所述深层特征图，表示级联函数，表示所述融合特征图。

Images