CN104952102B - 面向延迟着色的统一反走样方法 - Google Patents

Abstract

本发明公开了一种面向延迟着色的统一反走样方法，包括：(1)以屏幕分辨率绘制场景，并把屏幕像素颜色和深度、面片序号、三角形几何信息存入G‑buffer；(2)对屏幕像素按几何边界和非几何边界进行分类；(3)使用基于三角形的反走样滤波对几何边界像素进行反走样处理；使用基于子像素形态学分析的反走样滤波对非几何边界像素进行反走样处理；(4)对步骤(3)反走样处理后的结果使用重投影算法对所有屏幕像素进行时间域上的滤波。本发明提供了一种面向延迟着色的统一反走样方法，它结合基于图像分析的反走样和基于几何辅助分析的反走样两类算法优势，高效地处理了多种类型的走样，生成了高质量的反走样结果。

Description

面向延迟着色的统一反走样方法

技术领域

本发明涉及计算机图形学反走样领域，具体涉及一种面向延迟着色的统一反走样方法。

背景技术

反走样是计算机图形学中的核心问题之一，广泛应用于三维计算机游戏、计算机动画、虚拟现实、影视后期制作等诸多应用中。它能有效地消除或减少图像中的走样瑕疵，从而提高图像视觉质量。传统的超采样反走样算法(SSAA)通常对屏幕上的每个像素计算多个采样点的着色结果，然后计算它们的加权平均。该方法反走样效果好但计算代价较高。多重采样反走样算法(MSAA)有效减少了像素着色程序的执行次数，以其高效性在很长时间内成为了最为流行的反走样算法。然而，MSAA和近年来实时应用中主流的延迟着色绘制技术并不兼容。延迟着色是一种把三维绘制对象转化到二维图像空间进行处理的技术，在处理复杂光照条件和多光源的绘制应用中具有强大的性能优势。但由于它的实际着色操作对象是二维的几何缓存(G-buffer)，MSAA会由于场景几何信息的丢失而退化为SSAA，从而丧失其优势。

近年来，后期处理的反走样算法因其与延迟着色技术的良好兼容性，越来越多地成为研究和应用的热点。这类方法的核心思想是把场景信息以二维纹理的形式存储，并借助这些信息进行场景的反走样重建。这类算法主要可以分为两类：基于图像分析的反走样算法(Reshetov A.Morphological antialiasing[C].Proceedings of the ConferenceonHigh Performance Graphics 2009.New York：ACM Press，2009：109-116)和基于几何辅助分析的反走样算法(Chajdas M G，McGuire M，Luebke D.Subpixel reconstructionantialiasing fordeferred shading[C].Symposium on Interactive 3D Graphics andGames.NewYork：ACM Press，2011：15-22)。前者大多使用启发式的形态学分析方法来确定图像边界的形状和长度，具有简单高效的优势，但会因为滤波的方向受边界方向模板的限制而导致边界估计得不平滑。后者使用几何信息更加准确地重构场景的几何边界，缺点是需要存储和访问额外的G-buffer，并且无法有效地识别和处理颜色纹理的走样。

两类算法分别在处理几何边界走样和颜色纹理走样上具有各自的优势，但是如何有机地把两者结合使用以处理各种走样现象，存在如下挑战：1)高效地组织两种算法所需的G-buffer，使得存储开销尽可能小；2)由于像素级别的图像分析反走样方法和子像素级别的几何辅助反走样方法的方法原理和尺度不一致，可能导致在动态场景中两者交界处会产生像素之间过渡不平滑的问题；3)基于图像分析的方法可能会在动态场景中存在像素闪烁的现象，即时间域上的走样。

发明内容

本发明针对现有反走样技术不足，提供一种能够有效地结合基于图像分析的反走样和基于几何辅助分析的反走样两类算法优势，且减轻两类算法结合后导致的像素之间过渡不平滑、动态场景中存在像素闪烁的现象出现，同时还能确保G-buffer的存储开销小的面向延迟着色的统一反走样方法。

为解决上述技术问题，本发明采用的技术方案为：

一种面向延迟着色的统一反走样方法，包括：

(1)以屏幕分辨率绘制场景，并把屏幕像素的颜色、深度、面片序号以及三角形几何信息存入G-buffer；

(2)对屏幕像素按几何边界和非几何边界进行分类；

(3)使用基于三角形的反走样滤波对几何边界像素进行反走样处理；使用基于子像素形态学分析的反走样滤波对非几何边界像素进行反走样处理；

(4)对步骤(3)反走样处理后的结果使用重投影算法对所有屏幕像素进行时间域上的滤波。

所述三角形几何信息包括覆盖三角形与对应屏幕像素附近的子像素之间的位置关系。且像素颜色和深度、面片序号可存储为较低精度的格式。

本发明所述的G-buffer信息存储如下：

对于每个屏幕像素，记录覆盖其像素中心的离视点最近的三角形(简称覆盖三角形)与像素附近的子像素之间的位置关系。本发明方法没有存储覆盖三角形的几何，而是利用高效地shader计算，存储三角形覆盖信息，进而以很小的时间代价(≈0.1ms)，降低了G-buffer的存储空间代价和访存代价。

G-buffer所存储的数据中，像素中心的颜色和深度、覆盖三角形及其面片序号、深度在覆盖三角形上的偏导等信息都可以从GPU绘制流水线中获取。而步骤(1)中提到的深度、法向等几何信息仅仅用于步骤(3)中几何边界提取和采样信息的筛选，并不用于精确地计算，因此可以存储为较低精度的格式，并不影响算法的结果。而历史像素颜色应用于步骤(4)中重投影的时间域反走样算法时，存储前一帧的像素颜色，以便对当前帧进行颜色平滑。

本发明所述的屏幕像素分类如下：

几何边界像素通常出现在几何不连续的区域，在多边形网格构成的场景中表现为：轮廓线边界、网格边缘边界和折皱边界等形式，为了对屏幕像素按几何边界和非几何边界进行分类，作为优选，步骤(2)中分类时，是根据相邻屏幕像素之间的深度和法向的差异来进行检测的。

作为优选，相邻屏幕像素之间的深度和法向的差异检测方法为：

检测当前屏幕像素与4个相邻屏幕像素的深度和法向的差异，当差异大于用户设定的阈值时，该屏幕像素为几何边界像素；否则，该屏幕像素为非几何边界像素。判断公式如下：

||z-z_neighbor||＞t_z

1-||n·n_neighbor||＞t_n

其中，z表示屏幕像素的深度；

z_neighbor表示其相邻像素的深度；

n表示屏幕像素的法向；

n_neighbor表示其相邻像素的法向。

公式中t_z取值取决于场景模型的尺度和精细程度，t_n的取值决定了场景中折皱边界提取的完整程度。

为了对几何边界像素进行反走样处理，作为优选，步骤(3)中基于三角形的反走样滤波方法为：

针对目标子像素，将其所在的屏幕像素以及屏幕像素的八连通像素区域作为9个颜色采样点，从中选取和目标子像素具有几何相关性的屏幕像素，根据选取出的屏幕像素的颜色信息进行插值计算，得到目标子像素的颜色；

针对每个待处理的屏幕像素，将其包含的所有子像素颜色进行混合得到该屏幕像素反走样的像素颜色。

选取和目标子像素具有几何相关性的屏幕像素的步骤为：读取9个颜色采样点对应的覆盖三角形，根据各覆盖三角形与目标子像素的关系，以及与目标子像素的颜色差异对颜色采样点进行过滤；

然后比较保留颜色采样点对应的面片序号，并验证保留颜色采样点是否对应同一覆盖三角形。

为了对非几何边界像素进行反走样处理，作为优选，步骤(3)中基于子像素形态学分析的反走样滤波方法如下：

针对待处理屏幕像素中的目标子像素，沿上、下、左、右四个方向检测像素颜色，直到找到与当前像素颜色不同的像素或达到最大搜索距离为止；

根据四个方向上的搜索距离得到四个方向上的对应的权值ω_i，使用该权值混合目标子像素上、下、左、右四个相邻像素的颜色值，作为目标子像素反走样颜色的计算值；

当一个屏幕像素内所有子像素的颜色值确定后，取平均值作为该屏幕像素最终的反走样颜色结果。

作为优选，在计算搜索距离时，根据搜索结果得到四个方向上像素级别的搜索长度后，使用三角形覆盖信息判断目标子像素和其所在像素的中心是否对应同一覆盖三角形；

若目标子像素和其所在像素的中心对应同一覆盖三角形，根据目标子像素相对于像素中心的位置调整四个方向上的搜索距离；

否则，保持原来搜索得到的像素级别的搜索距离。

操作时，在子像素级别进行形态学反走样，即估计出子像素的颜色值，和几何辅助的反走样方法的子像素反走样尺度保持一致。

首先，对于目标子像素P，对其所在像素沿着上、下、左、右四个方向检测像素颜色，直到找到与当前像素颜色不同的像素或达到最大搜索距离为止；

然后，根据搜索结果得到四个方向上像素级别的搜索长度后，使用三角形覆盖信息判断子像素P和它所在像素的中心是否对应同一覆盖三角形。如果是，根据子像素P相对于像素中心的位置调整四个方向上的搜索距离；反之，则保持原来搜索得到的像素级别的搜索距离；

接着，根据四个方向上的搜索距离到预计算出的查找表中找到对应的四个方向上的权值ω_i，使用该权值混合P所在像素的上、下、左、右四个像素的颜色值，作为子像素P的反走样颜色的计算值。

最后，当一个像素内所有子像素的颜色值确定时，取其平均值作为像素最终的反走样颜色结果。

作为优选，步骤(4)采用重投影算法对所有屏幕像素进行时间域上的滤波时：

首先对于第n帧中的像素p(x，y)，计算其在历史颜色缓存中对应的像素p′(x′，y′)：

其中P_n和V_n代表第n帧的视域变换和投影变换矩阵，P_n-1和V_n-1代表第n-1帧的视域变换和投影变换矩阵；

为了使得颜色值在时间域上的平滑过渡，步骤(4)中使用指数平滑函数对前几帧的颜色值进行加权并累积到当前帧。随着时间向前追朔，每一帧对当前帧的影响呈指数级别下降。因此对于第n帧，它的颜色结果可以

递归地表示为：s_p(x，y)(n)＝ω×f(n)+(1-ω)×s_{p′(x′，y′)}(n-1)，

s_p(x，y)(n)表示为第n帧各屏幕像素的颜色；

f(n)表示为步骤(3)反走样处理后第n帧屏幕空间反走样的计算结果；

s_{p′(x′，y′)}(n-1)表示为存储在历史缓存中的第n-1帧各屏幕像素的颜色；

ω为相关系数，当p(x，y)与p′(x′，y′)的差小于设定阈值时，ω的值为0.5；反之则ω的值为1。

基于这种相邻帧之间的递推和插值关系，历史缓存实质上包含了前n-1帧的颜色信息，同时符合了指数平滑函数的颜色计算模型。当每一帧计算完毕后，s_p(x，y)(n)不但绘制在屏幕上，同时保存在历史颜色缓存中供下一帧计算时使用。

为了解决重投影时上一帧被挡住而这一帧暴露出来的几何区域的问题，通过p(x，y)与p′(x′，y′)的差来判断是否在该像素使用重投影的插值：如果它们的差小于用户设定的某个阈值，则表示两帧之间的p和p′是具有连续性的，ω的值为0.5；反之则ω的值为1，即历史缓存中的颜色信息对当前帧无贡献。

本发明通过确保了场景几何的连续性来保证了重投影过程中相邻像素之间ω取值的变化是连续的，不会造成像素颜色的突变，同时也解决了时间域反走样的问题。

与现有技术相比，本发明具有下述优点：

(1)本发明通过高效的G-buffer存储和屏幕像素的分类，用基于三角形的反走样滤波来精确重构出需要反走样的几何边界，并使用基于子像素形态学分析的反走样滤波方法来处理非几何边界的颜色像素的走样，且这两种算法所需的G-buffer存储开销小；

(2)为了避免两类算法结合时可能导致的尺度不一致问题，本发明进一步发展了基于图像分析的方法，对其在子像素尺度上加以扩展；

(3)另外还引入了时间域上的重投影滤波，从而在动态场景中能得到更加高质量的反走样效果。虽然在存储开销上稍高于其它算法，但高效地处理了多种类型的走样，生成了高质量的反走样结果。

附图说明

图1为本发明实施例的基本流程示意图；

图2为本发明实施例的基于三角形几何的反走样滤波流程示意图；

图3为本发明实施例的基于子像素级别的形态学反走样流程示意图。

具体实施方式

如图1所示，本实施例面向延迟着色的统一反走样方法的实施步骤如下：

1)以屏幕分辨率绘制场景，并把屏幕像素颜色和深度、面片序号、三角形几何等所需信息存入G-buffer。

对于每个屏幕像素，记录覆盖其像素中心的离视点最近的三角形(简称覆盖三角形)与像素附近的子像素之间的位置关系。方法没有存储覆盖三角形的几何，而是利用高效地shader计算，存储三角形覆盖信息，进而以很小的时间代价(≈0.1ms)，降低了G-buffer的存储空间代价和访存代价。

G-buffer所存储的数据中，像素中心的颜色和深度、覆盖三角形及其面片序号、深度在覆盖三角形上的偏导等信息都可以从GPU绘制流水线中获取。而步骤1)中提到的深度、法向等几何信息仅仅用于步骤3)中几何边界提取和采样信息的筛选，并不用于精确地计算，因此可以存储为较低精度的格式，并不影响算法的结果。而历史像素颜色应用于步骤4)中重投影的时间域反走样算法时，存储前一帧的像素颜色，以便对当前帧进行颜色平滑。

2)对屏幕像素按几何边界和非几何边界进行分类。

几何边界像素通常出现在几何不连续的区域，在多边形网格构成的场景中表现为：轮廓线边界、网格边缘边界和折皱边界等形式，可以通过像素之间的深度和法向的差异来检测。对于每一个屏幕像素，当它与相邻的上、下、左、右4个像素的深度和法向的差异大于用户设定的阈值时，该像素被认为是一个几何边界像素；反之，则为非几何边界像素。判断公式如下：

||z-z_neighbor||＞t_z or 1-||n·n_neighbor||＞t_n

其中判断公式中的z表示屏幕像素的深度，z_neighbor表示其相邻像素的深度；n表示屏幕像素的法向，n_neighbor表示其相邻像素的法向。公式中t_z取值取决于场景模型的尺度和精细程度，t_n的取值决定了场景中折皱边界提取的完整程度。

3)使用基于三角形的反走样滤波对几何边界像素进行反走样处理；使用基于子像素形态学分析的反走样滤波对非几何边界像素进行反走样处理。

使用基于三角形的反走样滤波对几何边界像素进行反走样处理：

对于子像素的八连通像素区域内的9个颜色采样点，从中选取和目标子像素具有几何相关性的颜色信息进行插值计算，最后混合像素内的子像素颜色得到反走样的像素颜色。为子像素筛选颜色信息的基本依据是颜色采样点要和目标子像素对应同一覆盖三角形。结合图2来介绍基于三角形的反走样滤波流程，对于目标子像素点P，相关的邻近颜色采样点(各邻近像素中心)的筛选步骤如下：

(a)根据三角形覆盖信息进行第一次筛选。读取图2中(a)部分9个像素中存储的三角形覆盖信息。由于P处于最深色三角形之外，故对应的右中、右下和中下三个颜色采样点被滤波过程排除，得到排除右中、右下和中下三个颜色采样点的图2中(b)部分。

(b)根据深度信息和三角形面片序号信息进行第二次筛选。由于子像素P同时被浅色前景三角形和无色的背景三角形覆盖，而浅色三角形才是位置P离视点最近的、真正的覆盖三角形，需要把无色三角形对应的颜色采样点排除。通过每个像素所存储的深度值和深度偏导来计算P在各个三角形上的深度值。由无色三角形(对应左上、左下像素)计算得到的深度值会大于由浅色三角形计算得到深度值(对应左中、中心、中上和右上四个像素)。因此左上和左下的颜色采样点也被排除在滤波器之外，得到排除左上和左下的颜色采样点的图2中(c)部分。

考虑到深度比较过程中的浮点数误差，对剩下的四个像素，可以通过比较它们对应的面片序号的方式验证筛选得到的颜色采样点确实对应着同一覆盖三角形。最终四个剩下的颜色采样点即为反走样滤波的最终结果，因此可以对剩下的四个颜色采样点线性插值来确定子像素P的颜色值，得到反走样处理后的几何边界像素图2中(d)部分。

使用基于子像素形态学分析的反走样滤波对非几何边界像素进行反走样处理：

在子像素级别进行形态学反走样，即估计出子像素的颜色值，和几何辅助的反走样方法的子像素反走样尺度保持一致，结合图3来阐述基于子像素形态学分析的反走样滤波流程：

首先如图3中(a)部分所示，对于目标子像素P，对其所在像素沿着上、下、左、右四个方向检测像素颜色，直到找到与当前像素颜色不同的像素或达到最大搜索距离为止；

然后如图3中(b)部分所示，根据搜索结果得到四个方向上像素级别的搜索长度后，使用三角形覆盖信息判断子像素P和它所在像素的中心是否对应同一覆盖三角形。如果是，根据子像素P相对于像素中心的位置调整四个方向上的搜索距离；反之，则保持原来搜索得到的像素级别的搜索距离；

接着如图3中(c)部分所示，根据四个方向上的搜索距离到预计算出的查找表中找到对应的四个方向上的权值ω_i，使用该权值混合P所在像素的上、下、左、右四个像素的颜色值，作为子像素P的反走样颜色的计算值。

最后，当一个像素内所有子像素的颜色值确定时，取其平均值作为像素最终的反走样颜色结果。

4)对步骤3)反走样处理后的结果使用重投影算法对所有屏幕像素进行时间域上的滤波。

在动态场景中，使用指数平滑函数对前几帧的颜色值进行加权并累积到当前帧，使得颜色值在时间域上的平滑过渡。随着时间向前追朔，每一帧对当前帧的影响呈指数级别下降。因此对于第n帧，它的颜色结果可以递归地表示为：

s_p(x，y)(n)＝ω×f(n)+(1-ω)×s_{p′(x′，y′)}(n-1)

其中公式中s_p(x，y)(n)表示为当前帧屏幕像素的最终计算结果，f(n)表示为步骤3)反走样处理后当前帧屏幕空间反走样的计算结果，s_{p′(x′，y′)}(n-1)表示为存储在历史缓存中的第n-1帧屏幕像素反走样颜色信息。

基于这种相邻帧之间的递推和插值关系，历史缓存实质上包含了前n-1帧的颜色信息，同时符合了指数平滑函数的颜色计算模型。当每一帧计算完毕后，s_p(x，y)(n)不但绘制在屏幕上，同时保存在历史颜色缓存中供下一帧计算时使用。

对于当前帧中的像素p(x，y)，其在历史颜色缓存中对应的像素位置为p′(x′，y′)。确定p′(x′，y′)的位置的过程称为重投影，其计算公式为：

其中P_n和V_n代表当前帧的视域变换和投影变换矩阵，P_n-1和V_n-1代表上一帧的视域变换和投影变换矩阵。

为了解决重投影时上一帧被挡住而这一帧暴露出来的几何区域的问题，通过p_x，y，z和p′_{x′，y′，z′}的差来判断是否在该像素使用重投影的插值：如果它们的差小于用户设定的某个阈值，则表示两帧之间的p和p′是具有连续性的，ω的值为0.5；反之则ω的值为1，即历史缓存中的颜色信息对当前帧无贡献。场景几何的连续性保证了重投影过程中相邻像素之间ω取值的变化是连续的，不会造成像素颜色的突变，同时也解决了时间域反走样的问题。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言，在不脱离本发明的原理的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种面向延迟着色的统一反走样方法，其特征在于，包括：

(1)以屏幕分辨率绘制场景，并把屏幕像素的颜色、深度、面片序号以及三角形几何信息存入G-buffer；

(2)根据相邻屏幕像素之间的深度和法向的差异对屏幕像素按几何边界和非几何边界进行分类：检测当前屏幕像素与4个相邻屏幕像素的深度和法向的差异，当差异大于用户设定的阈值时，该屏幕像素为几何边界像素；否则，该屏幕像素为非几何边界像素，判断公式如下：

||z-z_neighbor||＞t_z or 1-||n·n_neighbor||＞t_n

其中，z表示屏幕像素的深度；

z_neighbor表示其相邻像素的深度；

n表示屏幕像素的法向；

n_neighbor表示其相邻像素的法向；

公式中t_z取值取决于场景模型的尺度和精细程度，t_n的取值决定了场景中折皱边界提取的完整程度；

(3)分别同时使用基于三角形的反走样滤波对几何边界像素进行反走样处理，基于子像素形态学分析的反走样滤波对非几何边界像素进行反走样处理；

(4)对步骤(3)反走样处理后的结果使用重投影算法对所有屏幕像素进行时间域上的滤波。

2.根据权利要求1所述的面向延迟着色的统一反走样方法，其特征在于，所述三角形几何信息包括覆盖三角形与对应屏幕像素附近的子像素之间的位置关系。

3.根据权利要求1所述的面向延迟着色的统一反走样方法，其特征在于，步骤(3)中基于三角形的反走样滤波方法为：

针对目标子像素，将其所在的屏幕像素以及屏幕像素的八连通像素区域作为9个颜色采样点，从中选取和目标子像素具有几何相关性的屏幕像素，根据选取出的屏幕像素的颜色信息进行插值计算，得到目标子像素的颜色；

针对每个待处理的屏幕像素，将其包含的所有子像素颜色进行混合得到该屏幕像素反走样的像素颜色。

4.根据权利要求1所述的面向延迟着色的统一反走样方法，其特征在于，步骤(3)中基于子像素形态学分析的反走样滤波方法如下：

针对待处理屏幕像素中的目标子像素，沿上、下、左、右四个方向检测像素颜色，直到找到与当前像素颜色不同的像素或达到最大搜索距离为止；

根据四个方向上的搜索距离得到四个方向上的对应的权值ω_i，使用该权值混合目标子像素上、下、左、右四个相邻像素的颜色值，作为目标子像素反走样颜色的计算值；

当一个屏幕像素内所有子像素的颜色值确定后，取平均值作为该屏幕像素最终的反走样颜色结果。

5.根据权利要求4所述的面向延迟着色的统一反走样方法，其特征在于，在计算搜索距离时，根据搜索结果得到四个方向上像素级别的搜索长度后，使用三角形覆盖信息判断目标子像素和其所在像素的中心是否对应同一覆盖三角形；

若目标子像素和其所在像素的中心对应同一覆盖三角形，根据目标子像素相对于像素中心的位置调整四个方向上的搜索距离；

否则，保持原来搜索得到的像素级别的搜索距离。

6.根据权利要求1所述的面向延迟着色的统一反走样方法，其特征在于，步骤(4)采用重投影算法对所有屏幕像素进行时间域上的滤波时：

首先对于第n帧中的像素p(x,y)，计算其在历史颜色缓存中对应的像素p′(x′,y′)：

$p^{\′}(x^{\′},y^{\′})=P_{n-1}{V}_{n-1}{V}_n^{-1}{P}_n^{-1}p(x,y),$

其中P_n和V_n代表第n帧的视域变换和投影变换矩阵，P_n-1和V_n-1代表第n-1帧的视域变换和投影变换矩阵；

再针对第n帧，计算各屏幕像素的颜色：

s_p(x,y)(n)＝ω×f(n)+(1-ω)×s_{p′(x′,y′)}(n-1)，

s_p(x,y)(n)表示为第n帧各屏幕像素的颜色；

f(n)表示为步骤(3)反走样处理后第n帧屏幕空间反走样的计算结果；

s_{p′(x′,y′)}(n-1)表示为存储在历史缓存中的第n-1帧各屏幕像素的颜色；

ω为相关系数，当p(x,y)与p′(x′,y′)的差小于设定阈值时，ω的值为0.5；反之则ω的值为1。