CN116883573A - 基于WebGL的地图建筑渲染方法及其系统 - Google Patents

Abstract

公开了一种基于WebGL的地图建筑渲染方法及其系统。其首先将高度纹理图和颜色纹理图排列为待渲染地图建筑多通道图像，接着，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列，然后，将所述多通道图像块的序列中的各个多通道图像块分别通过卷积神经网络模型以得到多通道图像块特征矩阵的序列，接着，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵后通过双向注意力机制以得到优化待渲染建筑全局特征矩阵，最后，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化后通过基于对抗生成网络的渲染模型以得到渲染地图建筑。这样，可以提高地图建筑渲染的视觉效果。

Description

基于WebGL的地图建筑渲染方法及其系统

技术领域

本申请涉及智能化渲染领域，且更为具体地，涉及一种基于WebGL的地图建筑渲染方法及其系统。

背景技术

常规的Web地图系统（互联网地图）一般有两种渲染方法：矢量渲染和栅格渲染。栅格渲染需要服务器提前将不同层级，不同经纬度坐标的一张一张的照片（图片）提前渲染好放入数据库中，在前端需要进行展示时，通过特定编码从数据库获取图片并渲染。

矢量渲染和栅格渲染不同的是，矢量渲染记录的是如何画出一个形状的方法。将这些方法放入数据库，在前端需要进行展示时，通过特定编码从数据库获取方法，前端通过这些方法来渲染不同的图形。矢量渲染的好处时可以渲染出3D建筑。

但是目前的3D建筑也有一些问题，以高德地图为例，高德地图的3D建筑颜色比较单调，只有白色。故在需要进行特殊渲染的场景下，如科技大屏项目中，这种3D建筑是达不到需求的。

因此，期待一种优化的基于WebGL的地图建筑渲染方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于WebGL的地图建筑渲染方法及其系统。其首先将高度纹理图和颜色纹理图排列为待渲染地图建筑多通道图像，接着，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列，然后，将所述多通道图像块的序列中的各个多通道图像块分别通过卷积神经网络模型以得到多通道图像块特征矩阵的序列，接着，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵后通过双向注意力机制以得到优化待渲染建筑全局特征矩阵，最后，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化后通过基于对抗生成网络的渲染模型以得到渲染地图建筑。这样，可以提高地图建筑渲染的视觉效果。

根据本申请的一个方面，提供了一种基于WebGL的地图建筑渲染方法，其包括：

获取待渲染地图建筑的高度纹理图和颜色纹理图；

将所述高度纹理图和所述颜色纹理图排列为待渲染地图建筑多通道图像；

对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列；

将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列；

将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵；

将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵；

对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵；以及

将所述再优化待渲染建筑全局特征矩阵通过基于对抗生成网络的渲染模型以得到渲染地图建筑。

在上述的基于WebGL的地图建筑渲染方法中，将所述高度纹理图和颜色纹理图排列为待渲染地图建筑多通道图像，包括：

对所述高度纹理图和所述颜色纹理图进行内容对齐；以及

将对齐后的所述高度纹理图和所述颜色纹理图沿着通道维度进行排列以得到所述待渲染地图建筑多通道图像。

在上述的基于WebGL的地图建筑渲染方法中，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列，包括：

对所述待渲染地图建筑多通道图像进行均匀地图像块划分以得到多通道图像块的序列。

在上述的基于WebGL的地图建筑渲染方法中，将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列，包括：

所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据进行：

对所述输入数据分别进行卷积处理以生成卷积特征图的序列；

对所述卷积特征图的序列分别进行池化处理以生成池化特征图的序列；

对所述池化特征图的序列分别进行非线性激活以生成激活特征图的序列；

分别计算所述激活特征图的序列的各个位置沿通道维度的均值以生成空间特征矩阵的序列；

分别计算所述空间特征矩阵的序列中各个位置的类Softmax函数值以获得空间得分矩阵的序列；以及

分别计算所述空间特征矩阵的序列和所述空间得分矩阵的序列的按位置点乘以获得特征矩阵的序列；

其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵的序列为所述多通道图像块特征矩阵的序列。

在上述的基于WebGL的地图建筑渲染方法中，将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵，包括：

将所述待渲染建筑全局特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量；

对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵；

将所述双向关联矩阵输入Sigmoid激活函数以得到注意力特征矩阵；

将所述待渲染建筑全局特征矩阵和所述注意力特征矩阵分别展开为特征向量以得到待渲染建筑全局特征向量和注意力特征向量；

融合所述待渲染建筑全局特征向量和所述注意力特征向量以得到融合关联特征向量；以及

将所述融合关联特征向量进行维度重构以得到所述优化待渲染建筑全局特征矩阵。

在上述的基于WebGL的地图建筑渲染方法中，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵，包括：

以如下强化公式对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到所述再优化待渲染建筑全局特征矩阵；

其中，所述强化公式为：其中，是所述优化待渲染建筑全局特征矩阵的第/>位置的特征值，/>和/>是所述优化待渲染建筑全局特征矩阵的特征值集合的均值和标准差，且/>是所述再优化待渲染建筑全局特征矩阵的第/>位置的特征值。

在上述的基于WebGL的地图建筑渲染方法中，所述对抗生成网络包含鉴别器和生成器。

根据本申请的另一个方面，提供了一种基于WebGL的地图建筑渲染系统，其包括：

图采集模块，用于获取待渲染地图建筑的高度纹理图和颜色纹理图；

图排列模块，用于将所述高度纹理图和所述颜色纹理图排列为待渲染地图建筑多通道图像；

图像块划分模块，用于对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列；

空间注意力编码模块，用于将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列；

矩阵排列模块，用于将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵；

双向注意力编码模块，用于将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵；

再优化模块，用于对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵；以及

渲染模块，用于将所述再优化待渲染建筑全局特征矩阵通过基于对抗生成网络的渲染模型以得到渲染地图建筑。

在上述的基于WebGL的地图建筑渲染系统中，所述图排列模块，用于：

对所述高度纹理图和所述颜色纹理图进行内容对齐；以及

将对齐后的所述高度纹理图和所述颜色纹理图沿着通道维度进行排列以得到所述待渲染地图建筑多通道图像。

在上述的基于WebGL的地图建筑渲染系统中，所述图像块划分模块，用于：

对所述待渲染地图建筑多通道图像进行均匀地图像块划分以得到多通道图像块的序列。

与现有技术相比，本申请提供的基于WebGL的地图建筑渲染方法及其系统，其首先将高度纹理图和颜色纹理图排列为待渲染地图建筑多通道图像，接着，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列，然后，将所述多通道图像块的序列中的各个多通道图像块分别通过卷积神经网络模型以得到多通道图像块特征矩阵的序列，接着，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵后通过双向注意力机制以得到优化待渲染建筑全局特征矩阵，最后，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化后通过基于对抗生成网络的渲染模型以得到渲染地图建筑。这样，可以提高地图建筑渲染的视觉效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。

图1为根据本申请实施例的记录了当前屏幕中建筑高度的纹理的示意图。

图2为根据本申请实施例的当前建筑未打光的纹理的示意图。

图3为根据本申请实施例的已经进行初步打光的场景图像。

图4为根据本申请实施例的基于WebGL的地图建筑渲染方法的应用场景图。

图5为根据本申请实施例的基于WebGL的地图建筑渲染方法的流程图。

图6为根据本申请实施例的基于WebGL的地图建筑渲染方法的架构示意图。

图7为根据本申请实施例的基于WebGL的地图建筑渲染方法的子步骤S120的流程图。

图8为根据本申请实施例的基于WebGL的地图建筑渲染方法的子步骤S160的流程图。

图9为根据本申请实施例的基于WebGL的地图建筑渲染系统的框图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

在本申请的一个技术方案中，本申请提供了一种地图建筑渲染方法。首先需要绘制一张建筑图层的高度纹理，用于记录当前屏幕上的建筑高度。我们可以将高度值（单位米）记录到图片的RGB三个分量上，但是由于着色器中RGB的最大值为255，如果不加以处理的话，最高只能记录255米以内的建筑高度。于是我们可以将建筑高度除以一个值，在记录在RGB值上，防止高度溢出。这样我们就得到了一张记录了当前屏幕中建筑高度的纹理。建筑越高，则RGB值越接近255，如下图1所示，应可以理解，图1、图2和图3实际上可以为彩色图像，图1、图2和图3实际为灰度处理后的图像。

再次绘制将当前屏幕显示的建筑进行离屏绘制，得到一张如图2所示的当前建筑未打光的纹理。

此时内存中已经存在了两张纹理，一张为记录建筑高度的高度纹理，一张为记录场景的颜色纹理。此时需要编写一个着色器，这个着色器会在这两张纹理上分别进行采样，也就是说，着色器在处理屏幕上每一个像素点时需从高度纹理中获取当前像素点所在三维空间的高度，已经当前像素点在场景中的颜色。再将当前高度转换成一个打光系数：

factor=altitude*2.5

获取到一个打光系数。将这个打光系数作为着色器函数mix的第三个参数，将当前场景色和灯光色两种颜色进行混合，最后将这个颜色值输出给GPU，就可以得到一张已经进行初步打光的如图3所示的场景图像。

此时可以看出建筑已经有打光效果，但

此时的灯光相当于是平行光，所有的建筑亮度都是一样的。最终的效果需要变成点光源打光，也就是说，越远离屏幕中心需要将灯光变暗。进一步在最终的着色器中加一段逻辑：使用着色器函数length来获取当前像素点距离屏幕中心的距离，之后使用着色器函数smoothstep将这个距离转换成一个暗角系数：

factor=smoothstep(sqrt(2.0),0.0,dist)

在得出暗角系数之后，将这个系数传入着色器的mix函数的第三个参数将黑色与场景色进行混合，得出最终的颜色。

值得一提地是，WebGL是一种3D绘图协议，该标准允许把JavaScript和OpenGL ES2.0结合在一起，可以渲染复杂的三维场景及具备数据视觉化能力。三维GIS引擎是地理信息系统，具有对空间数据库存储的空间数据进行渲染的能力，且涵盖三维渲染引擎，具有一定的三维渲染能力。矢量建筑是矢量瓦片的一个子类，矢量瓦片使用直线和曲线来描述图形，这些图形的元素是一些点、线、矩形、多边形、圆和弧线等等，它们都是通过数学公式计算获得的，可用于地图绘制。

进一步地，本申请的方案还提供一种基于WebGL的地图建筑渲染方法，本申请的技术构思为获取待渲染地图建筑的高度纹理图和颜色纹理图，并使用基于卷积神经网络模型的图像特征提取器对所述待渲染地图建筑的高度纹理图和颜色纹理图进行图像分析和特征提取，进而通过基于对抗生成网络的渲染模型输出渲染地图建筑。这样，提高地图建筑渲染的视觉效果，提升用户视觉体验。

具体地，在本申请的技术方案中，首先获取待渲染地图建筑的高度纹理图和颜色纹理图。应可以理解，在本申请的技术方案中，首先需要绘制一张建筑图层的高度纹理，用于记录当前屏幕上的建筑高度。例如，可以将高度值（单位米）记录到图片的RGB三个分量上，但是由于着色器中RGB的最大值为255，如果不加以处理的话，最高只能记录255米以内的建筑高度。于是可以将建筑高度除以一个值，在记录在RGB值上，防止高度溢出。这样得到了一张记录了当前屏幕中建筑高度的纹理（即，所述高度纹理图），其中，建筑越高，则RGB值越接近255。同时，再次绘制将当前屏幕显示的建筑进行离屏绘制，得到一张当前建筑未打光的纹理，即，所述颜色纹理图。

接着，将所述高度纹理图和颜色纹理图排列为待渲染地图建筑多通道图像。具体地，首先对所述高度纹理图和所述颜色纹理图进行内容对齐以使得所述高度纹理图和所述颜色纹理图中各个建筑能够一一对准；接着，将对齐后的所述高度纹理图和所述颜色纹理图沿着通道维度进行排列以得到所述待渲染地图建筑多通道图像。应可以理解，所述待渲染地图建筑多通道图像融合了待渲染地图建筑的高度信息和颜色信息，以扩展网络输入端的宽度，提高后续图像特征提取的精准度。

继而，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列，并将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列。

考虑到在所述待渲染地图建筑多通道图像中各个待渲染建筑在所述待渲染地图建筑多通道图像中对应一个个图像块区域，因此，在本申请的技术方案中，首先对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列，优选地，基于所述待渲染地图建筑多通道图像中各个建筑对象所在区域对所述待渲染地图建筑多通道图像进行图像块划分以得到所述多通道图像块的序列。次优选地，也可以直接对所述待渲染地图建筑多通道图像进行均匀图像划分以得到所述多通道图像块的序列。

在得到所述多通道图像块的序列后，将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列。也就是，以使用空间注意力机制的卷积神经网络模型作为特征提取器来捕捉各个多通道图像块中所蕴含的高维局部图像特征，包含建筑高度信息、建筑颜色信息，以及，各个建筑高度之间的对比信息等。

接着，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵，并将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵。也就是，在得到各个多通道图像块的特征矩阵后，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置重新聚合为一个完整的二维特征矩阵，即，所述待渲染建筑全局特征矩阵。并且，考虑到所述待渲染建筑全局特征矩阵在特征矩阵的行空间和列空间维度上的各个位置的特征值对应最终的渲染生成的贡献度不同，因此，在本申请的技术方案中，进一步将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵。这里，通过双向注意力机制模块在特征矩阵的行空间和列空间维度上进一步进行注意力权重强化以强化在注意力维度上的空间维度分布，可以提升所述优化待渲染建筑全局特征矩阵在空间维度上的整体分布一致性。

进而，将所述优化待渲染建筑全局特征矩阵通过基于对抗生成网络的渲染模型以得到渲染地图建筑。所述对抗生成网络包含鉴别器和生成器，其中，所述生成器用于生成渲染地图建筑，所述鉴别器用于度量生成渲染地图建筑和真实的渲染地图建筑之间的鉴别器损失函数值，并以所述鉴别器损失函数值作为损失函数值对所述生成器进行训练以使得所述生成器所输出的所述生成渲染地图建筑能够最大程度地逼近真实的渲染地图建筑的自然分布。

特别地，在本申请的技术方案中，在虽然通过双向注意力机制模块在特征矩阵的行空间和列空间维度上进一步进行注意力权重强化以强化在注意力维度上的空间维度分布，可以提升所述优化待渲染建筑全局特征矩阵在空间维度上的整体分布一致性。但是，所述优化待渲染建筑全局特征矩阵在空间维度上的整体分布一致性又会导致所述优化待渲染建筑全局特征矩阵的各个局部分布之间存在概率密度维度下的区分度问题，从而影响所述优化待渲染建筑全局特征矩阵通过所述基于对抗生成网络的渲染模型得到的渲染地图建筑的真实感。

因此，优选地对所述优化待渲染建筑全局特征矩阵，例如表示为进行高斯概率密度的流形曲面维度正交化，具体为：/>其中和/>是特征值集合/>的均值和标准差，且/>是优化后的所述优化待渲染建筑全局特征矩阵的第/>位置的特征值。

这里，通过以表达流形曲面的高维特征集合的均值和标准差的平方根来表征曲面单位切向量模长和单位法向量模长，可以将所述优化待渲染建筑全局特征矩阵的高维特征流形的流形曲面在切平面和法平面上进行基于单位模长的正交投影，从而基于高斯特征流形几何的基本结构进行高维特征的概率密度的维度重整，以通过提升概率密度的维度正交化来提升优化后的优化待渲染建筑全局特征矩阵通过所述基于对抗生成网络的渲染模型得到的渲染地图建筑的真实感。

图4为根据本申请实施例的基于WebGL的地图建筑渲染方法的应用场景图。如图4所示，在该应用场景中，首先，获取待渲染地图建筑的高度纹理图（例如，图4中所示意的D1）和颜色纹理图（例如，图4中所示意的D2），然后，将所述高度纹理图和所述颜色纹理图输入至部署有基于WebGL的地图建筑渲染算法的服务器中（例如，图4中所示意的S），其中，所述服务器能够使用所述基于WebGL的地图建筑渲染算法对所述高度纹理图和所述颜色纹理图进行处理以得到渲染地图建筑。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

图5为根据本申请实施例的基于WebGL的地图建筑渲染方法的流程图。如图5所示，根据本申请实施例的基于WebGL的地图建筑渲染方法，包括步骤：S110，获取待渲染地图建筑的高度纹理图和颜色纹理图；S120，将所述高度纹理图和所述颜色纹理图排列为待渲染地图建筑多通道图像；S130，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列；S140，将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列；S150，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵；S160，将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵；S170，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵；以及，S180，将所述再优化待渲染建筑全局特征矩阵通过基于对抗生成网络的渲染模型以得到渲染地图建筑。

图6为根据本申请实施例的基于WebGL的地图建筑渲染方法的架构示意图。如图6所示，在该网络架构中，首先，获取待渲染地图建筑的高度纹理图和颜色纹理图；接着，将所述高度纹理图和所述颜色纹理图排列为待渲染地图建筑多通道图像；然后，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列；接着，将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列；然后，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵；接着，将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵；然后，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵；最后，将所述再优化待渲染建筑全局特征矩阵通过基于对抗生成网络的渲染模型以得到渲染地图建筑。

更具体地，在步骤S110中，获取待渲染地图建筑的高度纹理图和颜色纹理图。应可以理解，在本申请的技术方案中，首先需要绘制一张建筑图层的高度纹理，用于记录当前屏幕上的建筑高度。例如，可以将高度值（单位米）记录到图片的RGB三个分量上，但是由于着色器中RGB的最大值为255，如果不加以处理的话，最高只能记录255米以内的建筑高度。于是可以将建筑高度除以一个值，在记录在RGB值上，防止高度溢出。这样得到了一张记录了当前屏幕中建筑高度的纹理（即，所述高度纹理图），其中，建筑越高，则RGB值越接近255。同时，再次绘制将当前屏幕显示的建筑进行离屏绘制，得到一张当前建筑未打光的纹理，即，所述颜色纹理图。

更具体地，在步骤S120中，将所述高度纹理图和所述颜色纹理图排列为待渲染地图建筑多通道图像。首先对所述高度纹理图和所述颜色纹理图进行内容对齐以使得所述高度纹理图和所述颜色纹理图中各个建筑能够一一对准；接着，将对齐后的所述高度纹理图和所述颜色纹理图沿着通道维度进行排列以得到所述待渲染地图建筑多通道图像。应可以理解，所述待渲染地图建筑多通道图像融合了待渲染地图建筑的高度信息和颜色信息，以扩展网络输入端的宽度，提高后续图像特征提取的精准度。

相应地，在一个具体示例中，如图7所示，将所述高度纹理图和颜色纹理图排列为待渲染地图建筑多通道图像，包括：S121，对所述高度纹理图和所述颜色纹理图进行内容对齐；以及，S122，将对齐后的所述高度纹理图和所述颜色纹理图沿着通道维度进行排列以得到所述待渲染地图建筑多通道图像。

更具体地，在步骤S130中，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列。考虑到在所述待渲染地图建筑多通道图像中各个待渲染建筑在所述待渲染地图建筑多通道图像中对应一个个图像块区域，因此，在本申请的技术方案中，首先对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列。

相应地，在一个具体示例中，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列，包括：对所述待渲染地图建筑多通道图像进行均匀地图像块划分以得到多通道图像块的序列。

更具体地，在步骤S140中，将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列。以使用空间注意力机制的卷积神经网络模型作为特征提取器来捕捉各个多通道图像块中所蕴含的高维局部图像特征，包含建筑高度信息、建筑颜色信息，以及，各个建筑高度之间的对比信息等。

应可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。

相应地，在一个具体示例中，将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列，包括：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据进行：对所述输入数据分别进行卷积处理以生成卷积特征图的序列；对所述卷积特征图的序列分别进行池化处理以生成池化特征图的序列；对所述池化特征图的序列分别进行非线性激活以生成激活特征图的序列；分别计算所述激活特征图的序列的各个位置沿通道维度的均值以生成空间特征矩阵的序列；分别计算所述空间特征矩阵的序列中各个位置的类Softmax函数值以获得空间得分矩阵的序列；以及，分别计算所述空间特征矩阵的序列和所述空间得分矩阵的序列的按位置点乘以获得特征矩阵的序列；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵的序列为所述多通道图像块特征矩阵的序列。

更具体地，在步骤S150中，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵。在得到各个多通道图像块的特征矩阵后，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置重新聚合为一个完整的二维特征矩阵，即，所述待渲染建筑全局特征矩阵。

更具体地，在步骤S160中，将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵。通过双向注意力机制模块在特征矩阵的行空间和列空间维度上进一步进行注意力权重强化以强化在注意力维度上的空间维度分布，可以提升所述优化待渲染建筑全局特征矩阵在空间维度上的整体分布一致性。

相应地，在一个具体示例中，如图8所示，将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵，包括：S161，将所述待渲染建筑全局特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量；S162，对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵；S163，将所述双向关联矩阵输入Sigmoid激活函数以得到注意力特征矩阵；S164，将所述待渲染建筑全局特征矩阵和所述注意力特征矩阵分别展开为特征向量以得到待渲染建筑全局特征向量和注意力特征向量；S165，融合所述待渲染建筑全局特征向量和所述注意力特征向量以得到融合关联特征向量；以及，S166，将所述融合关联特征向量进行维度重构以得到所述优化待渲染建筑全局特征矩阵。

更具体地，在步骤S170中，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵。特别地，在本申请的技术方案中，在虽然通过双向注意力机制模块在特征矩阵的行空间和列空间维度上进一步进行注意力权重强化以强化在注意力维度上的空间维度分布，可以提升所述优化待渲染建筑全局特征矩阵在空间维度上的整体分布一致性。但是，所述优化待渲染建筑全局特征矩阵在空间维度上的整体分布一致性又会导致所述优化待渲染建筑全局特征矩阵的各个局部分布之间存在概率密度维度下的区分度问题，从而影响所述优化待渲染建筑全局特征矩阵通过所述基于对抗生成网络的渲染模型得到的渲染地图建筑的真实感。因此，优选地对所述优化待渲染建筑全局特征矩阵进行高斯概率密度的流形曲面维度正交化。

相应地，在一个具体示例中，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵，包括：以如下强化公式对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到所述再优化待渲染建筑全局特征矩阵；其中，所述强化公式为：其中，是所述优化待渲染建筑全局特征矩阵的第/>位置的特征值，/>和/>是所述优化待渲染建筑全局特征矩阵的特征值集合的均值和标准差，且/>是所述再优化待渲染建筑全局特征矩阵的第/>位置的特征值。

这里，通过以表达流形曲面的高维特征集合的均值和标准差的平方根来表征曲面单位切向量模长和单位法向量模长，可以将所述优化待渲染建筑全局特征矩阵的高维特征流形的流形曲面在切平面和法平面上进行基于单位模长的正交投影，从而基于高斯特征流形几何的基本结构进行高维特征的概率密度的维度重整，以通过提升概率密度的维度正交化来提升优化后的优化待渲染建筑全局特征矩阵通过所述基于对抗生成网络的渲染模型得到的渲染地图建筑的真实感。

更具体地，在步骤S180中，将所述再优化待渲染建筑全局特征矩阵通过基于对抗生成网络的渲染模型以得到渲染地图建筑。相应地，在一个具体示例中，所述对抗生成网络包含鉴别器和生成器。所述生成器用于生成渲染地图建筑，所述鉴别器用于度量生成渲染地图建筑和真实的渲染地图建筑之间的鉴别器损失函数值，并以所述鉴别器损失函数值作为损失函数值对所述生成器进行训练以使得所述生成器所输出的所述生成渲染地图建筑能够最大程度地逼近真实的渲染地图建筑的自然分布。

综上，基于本申请实施例的基于WebGL的地图建筑渲染方法，其首先将高度纹理图和颜色纹理图排列为待渲染地图建筑多通道图像，接着，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列，然后，将所述多通道图像块的序列中的各个多通道图像块分别通过卷积神经网络模型以得到多通道图像块特征矩阵的序列，接着，将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵后通过双向注意力机制以得到优化待渲染建筑全局特征矩阵，最后，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化后通过基于对抗生成网络的渲染模型以得到渲染地图建筑。这样，可以提高地图建筑渲染的视觉效果。

图9为根据本申请实施例的基于WebGL的地图建筑渲染系统100的框图。如图9所示，根据本申请实施例的基于WebGL的地图建筑渲染系统100，包括：图采集模块110，用于获取待渲染地图建筑的高度纹理图和颜色纹理图；图排列模块120，用于将所述高度纹理图和所述颜色纹理图排列为待渲染地图建筑多通道图像；图像块划分模块130，用于对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列；空间注意力编码模块140，用于将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列；矩阵排列模块150，用于将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵；双向注意力编码模块160，用于将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵；再优化模块170，用于对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵；以及，渲染模块180，用于将所述再优化待渲染建筑全局特征矩阵通过基于对抗生成网络的渲染模型以得到渲染地图建筑。

在一个示例中，在上述基于WebGL的地图建筑渲染系统100中，所述图排列模块120，用于：对所述高度纹理图和所述颜色纹理图进行内容对齐；以及，将对齐后的所述高度纹理图和所述颜色纹理图沿着通道维度进行排列以得到所述待渲染地图建筑多通道图像。

在一个示例中，在上述基于WebGL的地图建筑渲染系统100中，所述图像块划分模块130，用于：对所述待渲染地图建筑多通道图像进行均匀地图像块划分以得到多通道图像块的序列。

在一个示例中，在上述基于WebGL的地图建筑渲染系统100中，所述空间注意力编码模块140，用于：所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据进行：对所述输入数据分别进行卷积处理以生成卷积特征图的序列；对所述卷积特征图的序列分别进行池化处理以生成池化特征图的序列；对所述池化特征图的序列分别进行非线性激活以生成激活特征图的序列；分别计算所述激活特征图的序列的各个位置沿通道维度的均值以生成空间特征矩阵的序列；分别计算所述空间特征矩阵的序列中各个位置的类Softmax函数值以获得空间得分矩阵的序列；以及，分别计算所述空间特征矩阵的序列和所述空间得分矩阵的序列的按位置点乘以获得特征矩阵的序列；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵的序列为所述多通道图像块特征矩阵的序列。

在一个示例中，在上述基于WebGL的地图建筑渲染系统100中，所述双向注意力编码模块160，用于：将所述待渲染建筑全局特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量；对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵；将所述双向关联矩阵输入Sigmoid激活函数以得到注意力特征矩阵；将所述待渲染建筑全局特征矩阵和所述注意力特征矩阵分别展开为特征向量以得到待渲染建筑全局特征向量和注意力特征向量；融合所述待渲染建筑全局特征向量和所述注意力特征向量以得到融合关联特征向量；以及，将所述融合关联特征向量进行维度重构以得到所述优化待渲染建筑全局特征矩阵。

在一个示例中，在上述基于WebGL的地图建筑渲染系统100中，所述再优化模块170，用于：以如下强化公式对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到所述再优化待渲染建筑全局特征矩阵；其中，所述强化公式为：其中，/>是所述优化待渲染建筑全局特征矩阵的第/>位置的特征值，/>和/>是所述优化待渲染建筑全局特征矩阵的特征值集合的均值和标准差，且/>是所述再优化待渲染建筑全局特征矩阵的第/>位置的特征值。

在一个示例中，在上述基于WebGL的地图建筑渲染系统100中，所述对抗生成网络包含鉴别器和生成器。

这里，本领域技术人员可以理解，上述基于WebGL的地图建筑渲染系统100中的各个模块的具体功能和操作已经在上面参考图4到图8的基于WebGL的地图建筑渲染方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的基于WebGL的地图建筑渲染系统100可以实现在各种无线终端中，例如具有基于WebGL的地图建筑渲染算法的服务器等。在一个示例中，根据本申请实施例的基于WebGL的地图建筑渲染系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于WebGL的地图建筑渲染系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于WebGL的地图建筑渲染系统100同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该基于WebGL的地图建筑渲染系统100与该无线终端也可以是分立的设备，并且该基于WebGL的地图建筑渲染系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。

技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。

所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。

本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (10)

1.一种基于WebGL的地图建筑渲染方法，其特征在于，包括：

获取待渲染地图建筑的高度纹理图和颜色纹理图；

将所述高度纹理图和所述颜色纹理图排列为待渲染地图建筑多通道图像；

对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列；

将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列；

将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵；

将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵；

对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵；以及

将所述再优化待渲染建筑全局特征矩阵通过基于对抗生成网络的渲染模型以得到渲染地图建筑。

2.根据权利要求1所述的基于WebGL的地图建筑渲染方法，其特征在于，将所述高度纹理图和颜色纹理图排列为待渲染地图建筑多通道图像，包括：

对所述高度纹理图和所述颜色纹理图进行内容对齐；以及

将对齐后的所述高度纹理图和所述颜色纹理图沿着通道维度进行排列以得到所述待渲染地图建筑多通道图像。

3.根据权利要求2所述的基于WebGL的地图建筑渲染方法，其特征在于，对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列，包括：

对所述待渲染地图建筑多通道图像进行均匀地图像块划分以得到多通道图像块的序列。

4.根据权利要求3所述的基于WebGL的地图建筑渲染方法，其特征在于，将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列，包括：

所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据进行：

对所述输入数据分别进行卷积处理以生成卷积特征图的序列；

对所述卷积特征图的序列分别进行池化处理以生成池化特征图的序列；

对所述池化特征图的序列分别进行非线性激活以生成激活特征图的序列；

分别计算所述激活特征图的序列的各个位置沿通道维度的均值以生成空间特征矩阵的序列；

分别计算所述空间特征矩阵的序列中各个位置的类Softmax函数值以获得空间得分矩阵的序列；以及

分别计算所述空间特征矩阵的序列和所述空间得分矩阵的序列的按位置点乘以获得特征矩阵的序列；

其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵的序列为所述多通道图像块特征矩阵的序列。

5.根据权利要求4所述的基于WebGL的地图建筑渲染方法，其特征在于，将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵，包括：

将所述待渲染建筑全局特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量；

对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵；

将所述双向关联矩阵输入Sigmoid激活函数以得到注意力特征矩阵；

将所述待渲染建筑全局特征矩阵和所述注意力特征矩阵分别展开为特征向量以得到待渲染建筑全局特征向量和注意力特征向量；

融合所述待渲染建筑全局特征向量和所述注意力特征向量以得到融合关联特征向量；以及

将所述融合关联特征向量进行维度重构以得到所述优化待渲染建筑全局特征矩阵。

6.根据权利要求5所述的基于WebGL的地图建筑渲染方法，其特征在于，对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵，包括：

以如下强化公式对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到所述再优化待渲染建筑全局特征矩阵；

其中，所述强化公式为：其中，/>是所述优化待渲染建筑全局特征矩阵的第/>位置的特征值，/>和/>是所述优化待渲染建筑全局特征矩阵的特征值集合的均值和标准差，且/>是所述再优化待渲染建筑全局特征矩阵的第/>位置的特征值。

7.根据权利要求6所述的基于WebGL的地图建筑渲染方法，其特征在于，所述对抗生成网络包含鉴别器和生成器。

8.一种基于WebGL的地图建筑渲染系统，其特征在于，包括：

图采集模块，用于获取待渲染地图建筑的高度纹理图和颜色纹理图；

图排列模块，用于将所述高度纹理图和所述颜色纹理图排列为待渲染地图建筑多通道图像；

图像块划分模块，用于对所述待渲染地图建筑多通道图像进行图像块划分以得到多通道图像块的序列；

空间注意力编码模块，用于将所述多通道图像块的序列中的各个多通道图像块分别通过使用空间注意力机制的卷积神经网络模型以得到多通道图像块特征矩阵的序列；

矩阵排列模块，用于将所述多通道图像块特征矩阵的序列按照所述图像块划分的位置排列为待渲染建筑全局特征矩阵；

双向注意力编码模块，用于将所述待渲染建筑全局特征矩阵通过双向注意力机制以得到优化待渲染建筑全局特征矩阵；

再优化模块，用于对所述优化待渲染建筑全局特征矩阵进行类概率密度区分度强化以得到再优化待渲染建筑全局特征矩阵；以及

渲染模块，用于将所述再优化待渲染建筑全局特征矩阵通过基于对抗生成网络的渲染模型以得到渲染地图建筑。

9.根据权利要求8所述的基于WebGL的地图建筑渲染系统，其特征在于，所述图排列模块，用于：

对所述高度纹理图和所述颜色纹理图进行内容对齐；以及

将对齐后的所述高度纹理图和所述颜色纹理图沿着通道维度进行排列以得到所述待渲染地图建筑多通道图像。

10.根据权利要求9所述的基于WebGL的地图建筑渲染系统，其特征在于，所述图像块划分模块，用于：

对所述待渲染地图建筑多通道图像进行均匀地图像块划分以得到多通道图像块的序列。