CN109493410B - 一种千兆级像素图像的实时渲染方法 - Google Patents

Abstract

本发明公开了一种千兆级像素图像的实时渲染方法，通过将图像数据进行离线预处理，然后通过解码模块进行数据解码与重定向。根据不同的画面输入确定相应的调度策略，并由渲染器执行渲染。使用本发明可以在传统显示设备上实时渲染千兆级像素的全景图。并且将千兆级图像的渲染资源配置大大降低，可在显存1G~4G的普通显卡上渲染原本需求40G以上显存才能正常渲染的图像。

Description

一种千兆级像素图像的实时渲染方法

技术领域

本发明涉及图像渲染领域，尤其涉及一种千兆级像素图片的实时渲染方法。

背景技术

图像渲染是将三维的光能传递处理转换为一个二维图像的过程。场景和实体用三维形式表示，更接近于现实世界，便于操纵和变换，而图形的显示设备大多是二维的光栅化显示器和点阵化打印机。从三维实体场景的表示N维光栅和点阵化的表示就是图像渲染——即光栅化。光栅显示器可以看作是一个象素矩阵，在光栅显示器上显示的任何一个图形，实际上都是一些具有一种或多种颜色和灰度象素的集合。

图像渲染的工作其实就是，通过几何变换、投影变换、透视变换和窗口裁剪等手段，将获取的三维模型信息，生成图像，并将图像信息输出到图像文件或是视频文件，或者是显示设备的帧缓存器中，完成图形生成。

完成图像渲染工作的硬件就是图形处理器。早期的图像处理器中只包含简单的存储器和帧缓冲区。它们实际上只起了一个图形的存储和传递作用，图像渲染主要是由CPU的运算来完成的。尤其是对许多大型的三维图形软件来说，大部分时间都是在进行渲染工作。图像渲染会涉及到大量的浮点运算，象三维实体的位置变化，各种变换所需要的矩阵运算，以及为追求真实感而设计的各种光线跟踪，辐射度等算法，即使对目前性能很好的计算机，也是很大的工作量。所以之后发展的图形处理器都有图形处理的功能。它不单单存储图形，而且能完成大部分图形函数，这样就大大减轻了CPU的负担，提高了显示能力和显示速度。

随着电子技术的发展，图形处理器的技术含量越来越高，功能越来越强，许多专业的图形处理器已经具有很强的3D处理能力，而且这些3D图形卡也渐渐地走向个人计算机。一些专业图形处理器具有的晶体管数甚至比同时代的CPU的晶体管数还多。如NVIDIA公司2002年11月出售的GeForceFX芯片，被称为视觉处理器，具有12500万颗晶体管，是同时代Pentium 4CPU(具有5500万颗晶体管)的两倍。

然而，随着硬件技术的高速发展，人们对的图像的需求也是日益提升。目前用于VR(虚拟现实)技术的图片像素已经达到千兆级别。普通的图像处理器已经无法将这种级别的像素进行直接渲染。事实上，常规的个人计算机的显存为1G～4G，而渲染千兆级像素的图像，需要占用40G以上的显存空间，普通显卡根本无法加载。现有技术中，解决方案包括使用GPU加速云技术、Docker容器架构的虚拟机平台等等，均依赖于特定的定制化硬件或服务。成本高、对网络要求高、无法实现实时数据调度。

因此，本领域技术人员致力于研发一种千兆级像素图像的实时渲染方法，本方法基于构建于系统架构优化和实时数据调度的算法，形成根据不同画面运动输入而响应的实时渲染能力，以实现在传统设备平台上(而非专业定制化设备)完成千兆级别像素的渲染。本方法所需的内存/显存空间配置也远小于实际渲染目标的千兆级别图像大小。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在传统显示设备上实时渲染千兆级像素的全景图，或是将渲染千兆级像素全景图所需要的内存、显存配置大大降低。

为实现上述目的，本发明提供了一种千兆级像素图像的实时渲染方法，包括以下步骤：

步骤1：通过数据预处理模块，将图像进行离线数据重组，将重组后的数据生成扩展名为“.giga”的数据文件；

步骤2：通过数据解码模块将所述数据文件进行数据解码与重定向；

步骤3：通过调度模块生成调度策略，以决定数据在内存、显存中的队列情况；

步骤4：通过渲染模块执行所述调度策略，并在执行过程中更新所述调度策略；

步骤5：重复步骤3、步骤4，直至完成整个图像的渲染。

进一步地，步骤1中的所述数据重组，包括图像切片、图像填充、以及文件结构优化；所述图像切片，是将大图分割成小部分，以便在软件层面上更快加载和渲染；所述图像填充，是在整体数据存储之前，增加具体的数据参数，并使用无效占位数据使得保证每一个切片的内存偏移位置保持为4KiB的整数倍；所述文件结构优化，是采用基于内存层次结构的文件结构，通过优化显着降低渲染成本。

进一步地，所述图像切片的方案具体为，将原始规模的数据图像，按照2倍的比例进行缩小，每一次缩放的结果即为一个缩放等级，选定与内存带宽最合适的所述缩放等级，将其定义为缩放等级0，并将每一个所述缩放等级的图像都切割成统一尺寸的一系列切片。

进一步地，步骤2中的所述数据解码与重定向，包括建立缩放等级表，即将任意所述缩放等级下，每一个所述切片数据的起始位置偏移量，预先存储，以此增加所述重定向运算的速度。

进一步地，在特定的所述缩放等级下，第0个所述切片数据的所述起始位置偏移量，可由如下公式计算得到：

其中，o_l为缩放等级l下第0个切片的起始位置偏移量，l为缩放等级，μ为缩放系数。

进一步地，在特定缩放等级下，第t个切片的所述起始位置偏移量，可由如下公式计算得到：

o_t,l＝(o_l+t)×s

其中o_t,l为缩放等级l下的第t个切片数据的起始位置，o_l为缩放等级l下第0个切片的起始位置偏移量，s为全局切片尺寸在对齐4KiB后所占的内存空间。

进一步地，步骤3中的所述调度策略包括维护显存位表，所述显存位表是将显存划分为一组可用的显存位，所述显存位表内记录每一个所述显存位具体存储的切片信息，所述切片信息包括切片编号、所述显存位是否为空以及所述显存位是否需要被渲染。

进一步地，步骤3中的调度策略包括维护访问队列，所述访问队列是一个半排序双向链表，用于跟踪上传到所述显存的所有所述切片的访问热度，所述访问队列的切片顺序表示了所述切片是否被最近访问，排列在队尾的切片则有着更低的访问热度，即长时间空闲而未被实际访问。

进一步地，步骤3中的调度策略包括维护更新队列，所述更新队列是一个双向链表，用于追踪当前渲染中缺失的切片，所述更新队列将永远指示当前立即调度的所述切片信息；所述更新队列只维护和存储所述切片的指示信息，而非所述切片数据本身。

进一步地，步骤3中的调度策略包括维护预测队列，所述预测队列是在当前操作不密集时，采用预测算法计算出可能需要预加载的所述切片数据，充分利用空闲时期进行数据交换。

本发明可以实现在传统设备平台上(常规万元以内家用个人计算机)完成千兆级别像素的渲染。本方法所需的内存/显存空间配置也远小于实际渲染目标的千兆级别图像大小。使用传统方法完成兆级别像素的渲染，需要占用40G以上显存，而使用本发明提供的方法，可以将显存占用减少至1G～4G。

附图说明

图1为本发明的一个优选实施例的控制流程图。

具体实施方式

以下参考说明书附图介绍本发明的具体实施方式，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

本发明提供了一种千兆级像素图像的实时渲染方法，具体包括以下步骤：

步骤1：通过数据预处理模块，将图像进行离线数据重组，将重组后的数据生成扩展名为“.giga”的数据文件；

数据重组的出发点是基于对减少内存占用并优化渲染策略的考虑，着重于如下三个层次结构进行优化：

1)应用图像填充和切片化方案，在预估切片大小的前提下，将大图分割成小部分，以便在软件层面上更快加载和渲染；

2)采用基于内存层次结构的文件结构，通过优化显着降低渲染成本；

3)采用切片重定位方案，在系统层面上使用缓存提高切片数据的局部性特征，进一步降低访问时间。

我们的切片方案中，在不同缩放层次上的所有切片都具有等量的数据，即相等的尺寸。对于原始规模的数据图像，我们按照一定的缩放系数(本实施例优选的缩放系数为2)进行缩小，每一次缩放的结果即为一个缩放等级图像。全局的切片尺寸便是考虑内存带宽后，选定的一定缩放等级的图像尺寸。我们定这一缩放等级为等级0，至最终的原始图像为等级n，那么每一个缩放等级的图像的宽高都可以保证为全局切片尺寸的正整数倍，即可以保证每一缩放等级都可以被切割成统一尺寸的一系列切片。从缩放等级0至缩放等级n，构成了一个稳定的金字塔形切片结构。

对切片数据的实际存储中，将切片数据自缩放等级0而下，依次存储，在整体数据之前，还额外存储了具体的数据参数，为优化现代计算机对内存的读取，我们通过在数据中填充一定的无效占位数据使得保证每一个切片的内存偏移位置保持为4KiB的整数倍上，这样能够最大化利用内存页读取的结构特点。

最终，将重组后的数据生成扩展名为.giga的文件，供实时渲染器使用。

步骤2：通过数据解码模块将所述数据文件进行数据解码与重定向；

在实际应用中，借由步骤1中所述的切片规则，可以快速定位任意缩放等级l下第t个切片数据的起始位置，由如下公式得到：

o_t,l＝(o_l+t)×s

其中o_t,l为缩放等级l下的第t个切片数据的起始位置，o_l为缩放等级l下第0个切片的起始位置偏移量，s为全局切片尺寸在对齐4KiB后所占的内存空间。

o_l可以通过如下公式提前计算得到：

其中，l为缩放等级，o_l为缩放等级l下第0个切片的起始位置偏移量，μ为缩放系数。

为了在实时渲染中能够确认所需模块的贴图，我们沿画面每个维度，均匀生成一些采样点。将这些点按照每相邻对角的关系两两对应，成对记录其沿轴的坐标差值，记为w_ih_i。然后，对坐标执行反投影计算，得到每个采样点对应回纹理坐标系的坐标，得到另一组坐标差值w′_ih′_i。则对于每一对采样点(i,j)，通过如下方法可计算出所需要的对应的切片id，记作(l_i,id_i)和(l_j,id_j)。

首先计算屏幕坐标与纹理坐标之间的缩放比例，进而得到缩放等级：

其中，r为屏幕坐标与纹理坐标之间的缩放比例，max()为取最大值运算符，l为缩放等级，clip()为切片运算符，

为取底运算符，μ为缩放系数，n为总缩放等级。

根据计算得到的缩放等级l，可依次计算两个点对应的id：

id＝id_iy+id_ix×μ^l

其中，h’_l和w’_l是通过预计算存储的缩放等级l下一个切片所覆盖的原始图像的范围大小，l为缩放等级，μ为缩放系数，

为取底运算符。

通过一定的预计算存储每一缩放等级l的基本参数信息，可以加速重定向运算。

步骤3：通过调度模块生成调度策略，以确定数据在内存、显存中的队列情况；

步骤4：通过渲染模块执行所述调度策略，并在执行过程中更新所述调度策略；

步骤5：重复步骤3、步骤4，直至完成整个图像的渲染。

数据的处理很多时候是容量和性能的平衡，在内存数据管理中，图像贴图是显存和内存磁盘之间操作的最小单元。渲染器需要首先将切片数据加载到内存中，继而将其上传到显存，随后显卡得以计算并最终渲染出期望的结果。调度模块在调度策略中，需要确定显存位表、访问队列、更新队列以及预测队列，以便于在显存内存磁盘之间进行合理的有效的数据调度操作：

显存位表：显存被划分为一组可用的显存位。调度模块维护这个显存位表记录每一个显存位具体存储的切片的信息：例如切片编号、显存位是否为空、是否需要被渲染等信息。

访问队列：访问队列是一个半排序双向链表，用于跟踪上传到显存的所有贴片的访问热度。访问队列的切片顺序表示了切片是否被最近访问，排列在队尾的切片则有着更低的访问热度(即长时间空闲而未被实际访问)。

更新队列：更新队列是一个双向链表，用于追踪当前渲染中缺失的切片。由于切片是不同时期上传到不同的显存位上的，所以每个视点渲染时，命中的一系列切片可能有部分已经在显存中存储了，而剩下的切片需要调度器考虑执行上传操作来更新显存数据，这些切片将会存储在更新队列中。与显存位表或访问队列这种长期维护的数据不同，更新队列是一次性的，它在每次进行点采样反投影计算切片的运算周期前总是被清空。所以更新队列将永远指示当前立即调度的切片信息。需要强调的是，更新队列只维护和存储切片的指示信息，而非切片数据本身。

预测队列：预测队列与更新队列有着相似的数据结构和含义表达。唯一的区别在于，预测队列并非存储当前需要渲染的切片，而是通过一定的预测算法计算出来的。预测队列的切片相比更新队列的优先级更低，所以当上传任务密集时，预测队列可能会被挂起，使得其中的贴片未必会最终会被上传到显存。预测队列的设计，在于当操作不密集时，能够充分利用这一空闲时期继续进行数据的交换，以预加载可能的切片数据。

渲染器在得到调度模块确定的显存位表、访问队列、更新队列以及预测队列后，根据加载的队列信息，执行渲染操作，并将更新后的采样点坐标回传给渲染模块，使得渲染模块可以开始下一个周期的运算，得到下一个周期的显存位表、访问队列、更新队列以及预测队列。直至图像渲染全部完成。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种千兆级像素图像的实时渲染方法，包括以下步骤：

步骤1：通过数据预处理模块，将图像进行离线数据重组，将重组后的切片数据生成扩展名为“.giga”的数据文件；

步骤2：通过数据解码模块将所述数据文件进行数据解码与重定向；

步骤3：通过调度模块生成调度策略，以决定数据在内存、显存中的队列情况；

步骤4：通过渲染模块执行所述调度策略，并在执行过程中更新所述调度策略；

步骤5：重复步骤3、步骤4，直至完成整个图像的渲染；

其中，

步骤1中的所述数据重组，包括图像切片；所述图像切片，是将大图分割成小部分，以便在软件层面上更快加载和渲染；

步骤3中的所述调度策略包括维护访问队列、更新队列以及预测队列中的至少一种队列；

所述访问队列是一个半排序双向链表，用于跟踪上传到所述显存的所有所述切片的访问热度；

所述更新队列是一个双向链表，用于追踪当前渲染中缺失的切片；

所述预测队列是一个采用预测算法计算出可能需要预加载的所述切片数据，利用空闲时期进行数据交换。

2.如权利要求1所述的千兆级像素图像的实时渲染方法，其特征在于，步骤1中的所述数据重组，还包括图像填充、以及文件结构优化；所述图像填充，是在整体数据存储之前，增加具体的数据参数，并使用无效占位数据使得保证每一个切片的内存偏移位置保持为4KiB的整数倍；所述文件结构优化，是采用基于内存层次结构的文件结构。

3.如权利要求1所述的千兆级像素图像的实时渲染方法，其特征在于，所述图像切片的方案具体为，将原始规模的数据图像，按照2倍的比例进行缩小，每一次缩放的结果即为一个缩放等级，选定与内存带宽最合适的所述缩放等级，将其定义为缩放等级0，并将每一个所述缩放等级的图像都切割成统一尺寸的一系列切片。

4.如权利要求2所述的千兆级像素图像的实时渲染方法，其特征在于，步骤2中的所述数据解码与重定向，包括建立缩放等级表，即将任意所述缩放等级下，每一个所述切片数据的起始位置偏移量，预先存储，以此增加重定向运算的速度。

5.如权利要求4所述的千兆级像素图像的实时渲染方法，其特征在于，在特定的所述缩放等级下，第0个所述切片数据的所述起始位置偏移量，可由如下公式计算得到：

其中，o_l为缩放等级l下第0个切片的起始位置偏移量，l为缩放等级，μ为缩放系数。

6.如权利要求5所述的千兆级像素图像的实时渲染方法，其特征在于，在特定缩放等级下，第t个切片的所述起始位置偏移量，可由如下公式计算得到：

o_t,l＝(o_l+t)×s

其中o_t,l为缩放等级l下的第t个切片数据的起始位置，o_l为缩放等级l下第0个切片的起始位置偏移量，s为全局切片尺寸在对齐4KiB后所占的内存空间。

7.如权利要求1所述的千兆级像素图像的实时渲染方法，其特征在于，步骤3中的所述调度策略还包括维护显存位表，所述显存位表是将显存划分为一组可用的显存位，所述显存位表内记录每一个所述显存位具体存储的切片信息，所述切片信息包括切片编号、所述显存位是否为空以及所述显存位是否需要被渲染。

8.如权利要求1所述的千兆级像素图像的实时渲染方法，其特征在于，步骤3中的调度策略是维护所述访问队列，所述访问队列的切片顺序表示了所述切片是否被最近访问，排列在队尾的切片则有着更低的访问热度，即预设时间以上的空闲而未被实际访问。

9.如权利要求1所述的千兆级像素图像的实时渲染方法，其特征在于，步骤3中的调度策略是维护所述更新队列，所述更新队列将永远指示当前立即调度的切片信息；所述更新队列只维护和存储所述切片的指示信息，而非所述切片数据本身。

10.如权利要求1所述的千兆级像素图像的实时渲染方法，其特征在于，步骤3中的调度策略是维护所述预测队列，所述预测队列是在当前操作不密集时，采用预测算法计算出可能需要预加载的所述切片数据，利用空闲时期进行数据交换。

Images