CN112116683B - 一种并行绘制中进行图像合成的方法 - Google Patents

Abstract

本发明公开了一种并行绘制中关于图像合成的方法，包括：根据不同图像分辨率进行实验得出最优分组(m,k)表；根据最优分组(m,k)表对多个节点进行最优分组；在组内通过m叉树进行图像合成；组间之间通过BinaryTree方式合成最终图像；本发明中提到的图像合成mSwap方法对现有的图像合成策略进行优化结合，根据现有的图像和(m,k)表对各个节点进行分组并找出各个节点最佳处理情况，充分利用了每个节点的性能，在一定程度上提高了各个节点的利用率；在最后，采用Binary Tree方式进行合成最终图像，避免了图像采集的过程；mSwap图像合成策略不但可以减少通信成本，并且也更加适用于大规模图像合成。

Description

一种并行绘制中进行图像合成的方法

技术领域

本发明涉及并行绘制中关于图像合成的策略，尤其涉及一种并行绘制中进行图像合成的方法。

背景技术

随着科学研究和工程设计的不断发展，数据的规模越来越大。因此，如何能快速的、准确地表现大量的数据并且实现对大规模数据的可视化，对传统的绘制方法提出挑战。并行绘制(ParallelRenderring)技术是一种运用集群环境系统进行图形绘制的技术，是能够有效的解决这一挑战的方法之一。并行绘制，就是利用多个图形绘制节点或者多条图形绘制流水线，在有限的条件下使它们同时发挥绘制能力完成绘制的任务。图形绘制流水线通常由2个阶段组成：几何处理和光栅化。几何处理阶段就是将一个三角形从三维物理空间映射到二维图像空间。光栅化阶段是将处理后的三角形转化成像素显示最终屏幕上。因此，并行绘制技术通常用来作为集群环境中的图形绘制技术，利用集群环境的优势，进行资源的整合并在一定程度下缓解大量数据所带来的图形绘制压力。

在并行绘制中，各个节点可以并行的进行图像绘制，但是由于是并行绘制，所以各个图像是无序的保存在各个节点上，需要对这些分结果进行排序得到最终图像。因此，并行绘制的体系结构目前可以根据排序发生的位置不同分为 Sort-first、Sort-middle、Sort-last三种。

采用Sort-first并行绘制模式时，首先需要将屏幕空间进行划分，建立起屏幕块和各个节点之间的一一对应关系，然后各个节点只负责此节点所对应的屏幕块。在Sort-middle并行绘制模式中，将在几何流水线阶段后产生的图像空间的几何图元按照屏幕块区域进行归类排序，之后各个节点只对属于自己屏幕区域的几何图元进行光栅化处理。在Sort-last并行绘制模式中，各个处理器只绘制部分原始图元数据，并且得出完整的图像并输出。当各个节点各自完成绘制后，需要将所得到的图像输出结果按照像素深度进行排序合成，得到最终的图像。

Sort-first绘制模式的主要瓶颈在于流水线之前的几何图元的排序过程，尤其是在大规模的绘制情况下，场景较为复杂，在各个节点进行原始几何图元的传输将十分影响绘制的性能，因此Sort-first并行绘制模式仅适用于规模较小的场景绘制。对于Soft-middle来说，由于几何处理流水线与光栅化处理过程以硬件的方式结合紧密，因此目前很难使其在硬件平台上实现。Sort-last绘制模式是三种绘制模式中数据可拓展性最好的一种，适合于大规模数据、场景复杂的并行绘制过程。然而Sort-last的主要瓶颈就在图像合成阶段，由于每绘制一帧都需要进行一次图像的合成，因此图像合成性能的成本时间将直接决定该方法的好坏。

并行绘制过程中的图像合成策略已有近三十多年的研究历史，在最开始的串行合成方法和树形合成方法之后，已经出现了很多更好的合成策略。其中最经典和最具有代表性的图像合成算法是Binary Swap算法和Direct Send算法。为了充分发挥Binary Swap和Direct Send算法各自的优势，后续也出现了许多改进型的并行图像合成算法。如2-3Swap合成策略、Radix-k合成策略以及 234分组合成策略。这些算法都具有各自的优势，也分别适用于不同的环境中。

串行合成策略就是在图像的合成过程中由单个处理器串行完成，这是一种最容易实现、最简单的方法，但其合成效率也是最低的。树形合成策略则是将各个节点分组合成，每两个一组依次合成，最终将所有图像逐步合成到树的最顶点节点，这个节点存储了一个完整的图像。这种方法支持多个节点同时进行工作，因此极大的提高了时间上的效率，但是由于在底层节点合成完后会处于一个空闲状态，因此其节点的利用率并不高。Direct Send合成策略是将每个处理器负责图像空间的一部分，然后根据预先设定当前节点只需要将图像的部分数据发送到相应节点并且也接受其他节点发送的数据。这种方法的利用率相比于树形合成策略要高很多，但是由于每n个节点需要N×(N-1)次通信，因此其通信成本往往过高。Binary Swap合成策略相比于树形合成策略大大降低了通信成本和时间损耗。这种方法在两两分组之后，并不是像树形合成策略合成到其中一个节点，而是将图像数据对半分，然后互相交换各自一半数据，依次类推最终得到完整图像。因此这种方法极大提高了节点的利用率和减少了通信成本的损耗。但是该方法有一个缺点就是节点的数量必须是2的次幂才可以实行此算法。2-3Swap合成策略就是对Binary Swap的改进，因任意大于等于2的整数都可以用2和3表示，所以此方法将所有节点划分为数量为2和3的组，然后在组内和组间分别采用Direct Send合成策略进行合成。Raidx-k合成策略是 Binary Swap合成策略的进一步的优化处理，此方法利用基向量k，来实现处理器的分组过程。由于加入了基向量k，因此该方法支持任意数量的合成节点。根据节点数量N将其分解因式得到关于k的分组策略。根据k值进行分组，之后在组内和组间分别采用Direct Send合成策略进行合成。需要一提的是，当基向量k为2时，此方法恰好相当于Binary Swap合成策略。当只有一个分组时，该方法恰好相当于Direct Send合成策略。234分组合成策略是一种基于Binary Swap的合成策略，因为任意节点数量N都可以分解为2、2和3、3和4其中一种情况，并且分组的数量是2的次幂，因此在组间之间用Binary Swap方法进行合成。如果该组是2或者3的组别，组内通过DirectSend合成策略进行合成。如果该组是4的组别，组内通过Binary Swap合成策略进行合成。

目前，相关的图像合成策略有很多，对于并行绘制的优化，图像合成策略是一个很火热的研究方向。针对不同的合成策略，对于不同环境来说往往有不同的表现。基于图像合成这个过程，我们提出一种在并行绘制中关于图像合成的mSwap方法。

发明内容

本发明主要目的是通过设计一种新的图像合成方法，提高并行绘制的效率，具体体现在减少通信成本和绘制时间。为了实现上述目的，本发明提供了一种并行绘制中关于图像合成的方法。

本发明采用如下技术方案实施：

一种并行绘制中进行图像合成的方法，包括几何处理单元、光栅化单元；所述光栅化单元还包括一图像合成模块；所述图像合成模块通过如下步骤实现在并行绘制中生成图像：

—通过特定图像和实验获得最优分组(m，k)表；

—根据最优分组(m，k)表对节点进行分组；

—通过m叉树方式对分组内节点进行图像合成并将结果存储在代表节点中；

—通过Binary Tree方式对分组间的代表节点图像合成最终图像。

所述m叉树的图像合成包括如下步骤：

第一阶段：分组中k了保证是m次幂，k是分组中的总节点数量，m是分组中的子组，每m个节点之间以Direct Send方式进行图像合成，并将节点存储在代表节点中；

第二阶段：第一阶段合成后的图像都存在在代表节点中，由于k是m次幂，因此代表节点的数量依然是m次幂，将每m个代表节点为一组以Direct Send 方式进行图像合成，并将合成结果存储于代表节点中；

第三阶段：重复第二阶段，直到该分组只剩下一个代表节点，这个节点用于存储该分组的最终图像合成结果。

有益效果

本发明基于现有图像合成算法进行改进，提升了图像合成的效率和硬件的利用率。由于当前科学研究和工程技术的快速发展，海量的数据处理已经成为越来越关注的一个问题。硬件技术发展十分迅速，但仅凭硬件技术的发展无法满足对于海量数据处理的需求，对于并行绘制来说，能够快速、高效的对图像进行绘制也是科学研究中很重要的一个方向，因此许多图像合成算法也被有效的提出。本发明中通过设计一种全新高效的图像合成算法，使并行绘制的性能有了进一步的提高。相比于目前的图像合成算法，本发明中提出的mSwap图像合成算法设计上有如下优点：

(1)并行绘制时间性能提升：mSwap算法根据最优分组(m，k)表对所有节点进行分组，考虑到每一种算法都有自身特点，本发明通过测试得到节点数量对应的最佳节点分组(m，k)表。由于在组内采用m叉树分组合成图像，在一定程度上减少了各节点之间的通信。在最后阶段，在组间采用Binary Tree 方法进行组间合成，由于经过m叉树组内合成后，分组数较少，此方法又适用于小规模合成并且不需要进行图像采集，极大提高了其时间上的效率，减少了通信成本。进一步说明mSwap在大规模图像合成中的性能优于其他图像合成算法。

(2)节点利用率：mSwap算法对所有的节点进行分组，以充分利用每个节点的作用。相比于普通的Binary Tree，通过m叉树的图像合成提高了节点的利用率，并且一定程度上减少了通信成本。

(3)节点管理性的优化：mSwap算法将各个节点按(m，k)表分成若干组后，由于在组内通过m叉树进行图像合成，其合成结果存储在一个节点中，在以后阶段，每组仅需要一个节点参与合成运算。随着数据规模的增加，管理成本不段增加，在最后阶段仅需要代表节点参与运算合成，使得其管理性有所提高。

(4)图像合成过程的独立性：相比于基于一个图像合成树的算法，mSwap 算法根据最优分组(m,k)表所分得各个组是相互独立的，也就是每个组可以通过m叉树独立进行合成。对于树形合成算法，其下个阶段必须依赖上个阶段，而mSwap算法相比于树形合成算法在这一点上要好很多。

附图说明

图1并行绘制流程图；

图2 mSwap算法流程图；

图3 mSwap算法分组策略图；

图4 mSwap算法基于m叉树图像合成图；

图5 300×300分辨率实验结果；

图6 1024×1024分辨率实验结果；

图7 300×300分辨率的最优分组(m,k)表；

图8 1024×1024分辨率的最优分组(m,k)表。

具体实施方式

以下结合附图和具体实例，对本发明设计的mSwap算法流程、性能优化详细说明如下。

本发明主要目的是通过设计一种新的图像合成方法，提高并行绘制的效率，具体体现在减少通信成本和图像合成时间。根据图1并行绘制的流程图可知，如何通过优化图像合成性能从而提高并行绘制一直是多年以来研究的热门方向。为了实现上述目的，本发明提供了一种并行绘制中关于图像合成的算法，算法主要流程如图2所示，下面将详细阐述算法中的每个步骤。

(1)获取最优分组(m,k)表

通常来说针对不同图像的分辨率，其适应图像合成的最优规模是不同的，因此需要针对不同图像的分辨率获取不同的最优分组(m,k)表。

在获取最优分组(m,k)表时，考虑到对于图像分辨率一定的情况下，图像合成的效率会随着节点的增加先增加后减少。这是因为随着节点的增加，计算所用的资源更多，所以其效率会增加。但一旦超过了某个阈值，过多的节点会导致节点与节点之间的通信增加，从而导致整体效率和性能的下降。

因此针对300×300和1024×1024的图像我们进行实验得到了所需要的最优分组(m,k)表，如图7和图8所示。为了得到最优分组(m,k)表，我们在不同的m和k的组合下进行了大量的实验，随着k的增加，各个节点之间的通信也逐渐增加从而导致图像合成的时间也在上升。然而，一旦k超过某个阈值，并行绘制的整体性能就会降低。如图7和图8所示，我们在不同分辨率的图像下根据不同的m值找到了与其对应的最优k值，然后根据合成时间确定了最优分组(m,k)表。

(2)分组策略

图像合成算法通过分组可以提高并行绘制整体性能，本发明中提出了一种基于最优分组(m，k)表的分组策略。

通常来说数据集的独立性使得分组成为可能，另外通过分组可以减少节点之间互相的影响，并且易于管理。在某种程度上来说，一个好的分组可以决定一个算法的性能，因此好的分组策略可以极大提高算法的性能。基于最优分组 (m，k)表的分组策略具体如下：

第一阶段，通过对不同的分辨率图像进行大量的实验，我们可以得到最优分组(m，k)表，此表如图3中所示，基于此最优分组(m，k)表，在第二阶段进行分组。

第二阶段，在最优分组(m，k)表中，m是每个子组的节点数，k代表每组的节点数量，也是m对应的最佳节点规模。按照k值，首先将所有节点依次按照最优分组(m，k)表从左到右分组，实例如图3所示。将规模为13个节点按照最优分组(m，k)表分别划分为节点数量为9和4的两组。

由于m和k的关系，因此m和k要满足以下条件：

n＝log_m k (1)

n必须保证是一个正整数，m是子组中的节点数量，k是分组中的总节点数量。

第三阶段，由于在最优分组(m，k)表中，其对应分组的性能从左到右依次降低，因此优先考虑左边组合。但是如果总节点数量如果不恰好能被最优分组表所分，便会剩下部分节点，因此将这部分节点单独拿出，直接参与最后合成。

(3)基于m叉树的图像合成

在图像合成中分组合成的策略往往至关重要，本发明中提出了一种基于m 叉树的分组合成方法。

在分组后，每个组中通过m叉树，来对节点进行管理和合成图像。由于有效的减少了节点之间的数据通信，因此其性能得到了一定的提升。基于m叉树的图像合成具体如下：

第一阶段：分组中k了保证是m次幂，k是分组中的总节点数量，m是分组中的子组。每m个节点之间以Direct Send方式进行图像合成，并将节点存储在代表节点中。

第二阶段：第一阶段合成后的图像都存在在代表节点中，由于k是m次幂，因此代表节点的数量依然是m次幂，将每m个代表节点为一组以Direct Send 方式进行图像合成，并将合成结果存储于代表节点中。

第三阶段：重复第二阶段，直到该分组只剩下一个代表节点，这个节点用于存储该分组的最终图像合成结果。

实例如图4所示，将图2的分组结果基于3元和2元树进行图像合成。2个分组的最终结果分别存储在0号和9号节点中。

(4)避免图像采集的代表节点图像合成

在该算法的最后，选择Binary Tree的方式将(2)中得到的代表节点合成，得到最终的图像。选择Binary Tree图像合成策略的原因如下：

在经过m叉树的图像合成后，所产生的的代表节点通常是较少的，Binary Tree算法虽然对于节点的利用率不高，但却适用于小规模数据，因此采用此方式可以进一步提高该算法所带来的性能。

由于Binary Tree是唯一一种在图像合成完成后不需要进行图像采集的图像合成策略，因此采用Binary Tree避免了图像采集的过程。随着节点数量的增加，通常花费在图像采集上的时间是越来越多的，从而影响了整体的性能。因此采用Binary Tree可以进一步提高此算法带来的性能。

本发明提出了一种并行绘制中关于图像合成的方法，通过该算法提高了并行绘制的整体性能。其目的就是通过设计一种新的图像合成方法，提高并行绘制的效率，具体体现在减少通信成本和图像合成时间上。第一阶段，根据最优分组(m，k)表对节点进行分组。在第二阶段，根据分组情况，采用m叉树进行图像的合成并将结果保存在代表节点中。第三阶段，将所有的代表阶段以Binary Tree方式进行最终的图像合成，从而得到最终的图像。图2展现了mSwap的整体流程。另外，通过在分辨率300×300和1024×1024的图像上进行实验，进一步证明了mSwap的性能在大规模图像合成下优于其他图像合成算法。图5和图6分别表示了在300×300和1024×1024分辨率图像下的实验结果。下一步，将对mSwap进行进一步优化并且使其更加适应于特定环境。

Claims (2)

1.一种并行绘制中进行图像合成的方法，包括几何处理单元、光栅化单元；其特征在于，所述光栅化单元还包括图像合成模块；所述图像合成模块通过如下步骤实现在并行绘制中生成图像：

—通过特定图像和实验获得分组(m，k)表；其中：m和k的关系需要满足以下条件：

n＝log_mk

n必须保证是一个正整数，m是子组中的节点数量，k是分组中的总节点数量；

—根据分组(m，k)表对节点进行分组；

—通过m叉树方式对分组内节点进行图像合成并将结果存储在代表节点中；

—通过Binary Tree方式对分组间的代表节点图像合成最终图像。

2.根据权利要求1所述的一种并行绘制中关于图像合成的方法，其特征在于，所述m叉树的图像合成包括如下步骤：

第一阶段：分组中k是m的整数次幂，k是分组中的节点数量，m是分组中的子组，每m个节点之间以Direct Send方式进行图像合成，并将节点存储在代表节点中；

第二阶段：第一阶段合成后的图像都存在在代表节点中，由于k是m的整数次幂，因此，代表节点的数量依然是m的整数次幂，将每m个代表节点为一组以Direct Send方式进行图像合成，并将合成结果存储于代表节点中；

第三阶段：重复第二阶段，直到该分组只剩下一个代表节点，这个节点用于存储该分组的最终图像合成结果。

Images