CN105225264B - 基于运动的自适应渲染 - Google Patents

Abstract

提供一种基于运动的自适应渲染。提供一种设备、系统和方法，所述设备、系统和方法用于确定场景的局部区域中的像素的运动，将运动分类到速度类别之中，并对如何渲染像素的块做出决定。在一个实施方式中，图块中的运动被分类到至少三个不同的速度机制之中。如果图块中的像素在准静态速度机制中，则做出是否重复使用来自先前帧的一部分像素的确定。如果像素被确定为在高速机制中，则做出采样率是否可被减小的决定。

Description

基于运动的自适应渲染

本申请要求于2014年6月27日提交的62/018,221号美国临时专利申请、于2014年6月27日提交的62/018,228号美国临时专利申请、于2014年6月27日提交的62/018,254号美国临时专利申请、于2014年6月27日提交的62/018,274号美国临时专利申请、于2014年6月18日提交的14/743,700号美国专利申请以及于2015年6月23日提交的第10-2015-0089085号韩国专利申请的权益，所述每个专利申请的内容通过引用包含于此。

技术领域

本发明的实施例总体上涉及执行图形处理的技术，在该技术中，在像素的块中渲染的样本的数量减少。更具体地讲，本发明的实施例在于自动地分析各个显示屏幕图块(像素的块)的运动和其它因素并以逐个图块为基础做出采样决定。

背景技术

图1示出基于

3.0标准的图形流水线100的主要部分。一组示例性阶段包括：顶点着色器操作阶段105、图元组合和光栅化阶段110、片元像素着色器操作阶段115、帧缓冲器阶段120和纹理存储器125。流水线进行操作以接收顶点数据，对顶点进行着色，对图元进行组合和光栅化，并对片元/像素执行着色操作。

图形流水线100的一方面在于以相同的最小分辨率渲染图像的每个区域。具体地，在传统图形流水线中，采样率(每个像素的样本的平均数量)通常为图像的每个像素至少一个样本。

传统图形流水线的一方面在于浪费并需要比期望的像素着色操作更多的像素着色操作。具体地讲，在图形流水线中不存在自动化以允许自动地做出策略选择来在图像的局部区域中将采样率减小到低于每一像素一个样本(二次采样/解样)。在移动装置的情景下，这意味着消耗高于期望的能量。

发明内容

一种图形系统基于正被渲染的潜在对象相对于相机的参考帧的运动，自适应地渲染帧的各个部分。在一个实施例中，自适应渲染至少部分基于在屏幕上渲染的对象在至少两帧之间的速度。测量屏幕空间中(经由像素)的运动引入不同的运动源，所述不同的运动源包括对象运动和相机运动。如果潜在的运动的速度在准静态限制以下，则可做出是否重复使用来自先前帧的一部分像素的决定。在中速机制中使用全采样率。在至少一个更高速机制中，做出是否选择减小的采样率的决定。可以以逐个图块为基础做出决定，其中，图块是图像中的一组连续的像素，通常在具有正方形形状或矩形形状的块中。

方法的一个实施例包括：以逐个图块为基础确定当前帧中的对象相对于先前帧的速度。每个图块被分类到至少三个速度类别中的一个类别中，所述至少三个速度类别包括准静态速度类别、中速类别和高速类别。至少部分基于与每个图块相关联的速度类别，针对每个图块做出采样决定。所述采样决定包括：在当前帧中以每一像素至少一个样本的全分辨率采样率对图块进行采样还是在当前帧中以更低的采样率对图块进行采样。随后渲染所述图块。在一个实施例中，采样决定还基于图块是否被检测为包括颜色或深度的边缘的可能性高。在一个实施例中，对于被分类到准静态速度类别中的图块，所述方法还包括：通过将先前帧的至少一个像素的像素数据复制到图块，重复使用来自先前帧的像素数据。在一个实施例中，对于分类在中间速度机制中的图块，每个像素被采样至少一次。在一个实施例中，对于被分类到至少一个高速机制中的图块，对样本的数量小于与图块相关联的像素的数量的采样模式进行选择，并执行插值以确定没有被采样的像素位置的颜色。

图形系统的一个实施例包括图形处理器和图形流水线，图形流水线包括自适应采样产生器和像素着色器。自适应采样产生器至少部分基于每个图块中的对象的像素的速度，确定每个图块所需要的采样率，并基于需要的采样率选择采样模式。在一个实施例中，自适应采样产生器基于各个图块中的对象的速度和各个图块是否包括边缘的组合，确定各个图块的采样模式和采样率。在一个实施例中，图形系统包括：用于执行平流的平流单元，其中，对于具有准静态速度限制以下的速度的图块，具有减小的采样率的采样模式被选择，平流单元通过经由平流复用来自先前帧的像素数据来填充缺失的像素数据。在一个实施例中，所述图形系统包括重构单元，其中，对于具有阈值速度以上的速度的图块，减小的采样率被选择并且通过重构单元对缺失的像素数据进行插值。

附图说明

图1示出传统的图形流水线。

图2示出根据本发明的实施例的图形流水线。

图3示出根据本发明的实施例的自适应解样产生器。

图4示出根据本发明的实施例的在执行自适应渲染时的像素速度考量的示例。

图5是示出根据本发明的实施例的渲染和重构选择的流程图。

图6A示出根据本发明的实施例的对采样模式进行抖动以减少视觉伪影的示例。

图6B示出根据本发明的实施例的执行采样模式的抖动的一般方法。

图7A示出根据本发明的实施例的平流的示例。

图7B示出根据本发明的实施例的在图形系统中执行平流的一般方法。

图8示出根据本发明的实施例的使用预先计算的权重执行三阶样条插值的示例。

图9示出根据本发明的实施例的与用于确定预先计算的权重的考虑相关的采样模式的示例。

图10示出根据本发明的实施例的与用于确定预先计算的权重的考虑相关的采样模式的示例。

图11示出根据本发明的实施例的自适应解样的一般方法。

图12示出根据本发明的实施例的在图形系统中执行三阶样条插值的一般方法。

图13示出根据本发明的实施例的在图形系统中执行三阶样条插值的一般方法。

图14示出平流与样条重构之间的差异的示例。

图15A和图15B示出基于每一像素的速度的大小使用不同方法自适应地渲染帧的不同区域的示例。

图16示出根据本发明的实施例的使用平流进行立体渲染的示例。

图17示出根据本发明的实施例的应用于凹式渲染的自适应渲染。

图18是示出根据本发明实施例的图形处理的方法的流程图。

图19是示出根据本发明另一实施例的图形处理的方法的流程图。

具体实施方式

示例图形流水线系统概述

图2示出根据本发明的实施例的图形流水线200。可使用包括图形硬件的图形处理单元(GPU)来实现图形流水线200。图形流水线200包括若干新阶段和功能，所述新阶段和功能用于支持自动地确定不需要各个图块(像素的块)中的所有像素被采样并被渲染的帧的区域，以实现令人类用户满意的观看体验。如本申请中所使用的，图块是图像中(通常为具有矩形形状的块中)的一组连续像素。术语帧通常用于描述被执行的用于以预设频率渲染由显示器读取的图像的一组操作。然而，术语帧还用于指从一组用于渲染图像的操作得到的渲染后的图像。

在一个实施例中，自适应解样(AD)样本产生器阶段205被提供为支持调整图像的局部区域中的采样模式，其中，局部区域是与像素的块(4×4的像素的块、16×16的像素的块或其它大小的像素的块)对应的图块。解样是减少在当前帧中被采样和渲染的每一图块的样本数量。例如，解样可包括在图块中以平均小于每一像素一个样本进行采样和渲染。为了保持全图像分辨率，可使用两种不同方法来获得缺失的像素数据的值。重构和平流(advection)阶段210支持用于在保持用户的视觉质量的同时减少图块中的需要被采样和渲染的像素的数量的两种不同选项。重构和平流阶段210包括重构子模块211和平流子模块212。在一个实施例中，用于减少在图块中渲染的像素的数量的第一选项为在图块中通过更高阶的多项式插值和过滤进行重构以产生针对该图块的缺失的像素数据。用于减少在图块中渲染的像素的数量的第二选项为这样的平流：所述平流包括识别先前帧中的一个或更多个像素的位置并且针对图块中被选择的一部分像素重复使用来自先前帧的像素。

在一个实施例中，来自帧n的对象220的帧“n”的像素数据215被保存以用于像素数据在下一帧“n+1”的可能的重复使用。此外，顶点坐标数据被保存，用于确定像素的帧至帧运动矢量。在一个实施例中，来自帧n的像素数据和顶点坐标被存储在缓冲存储器中以用于下一帧n+1。

图3示出根据本发明的实施例的AD样本产生器阶段205。在一个实施例中，基于速度和边缘检测(例如，深度/Z的边缘检测)在局部图块区域中做出解样决定。速度缓冲器310从当前帧接收每一顶点坐标并从先前帧接收每一顶点坐标。可通过将当前帧的像素的顶点坐标与先前帧的像素的顶点坐标进行比较来确定各个像素的速度。在一个实施例中，通过利用来自场景的图元渲染“速度图像”，并将每一顶点速度用作顶点属性来使用前向抛雪球(forward splatting)方法。许多图形应用在渲染路径期间渲染Z缓存以作为用于减少像素着色器示例的数量的技术。可利用Z缓存来渲染速度缓冲器/图像。在Z/深度缓存被产生的Z路径期间，除了抛雪球和更新深度之外，还按照每个像素来更新速度。对速度缓冲器进行渲染得到屏幕空间中的每一像素速度值，每一像素速度值的大小对应于速度。图块(诸如4×4图块)因而具有与每个像素相关联的像素速度。图块因而具有最大像素速度、平均像素速度、中等像素速度和最小像素速度。在一个实施例中，平均像素速度用于做出解样决定，虽然更普遍地还可使用最大像素速度或平均像素速度。

在运动对象中，人眼更不容易感知到视觉伪影。因此，在图块中采样率是否可减小的一个因素为速度是否在阈值速度之上。

然而，特定类型的视觉伪影趋向于在彩色边缘更明显。严格地说，在不首先渲染图像的情况下，不可能检测到最终图像中的颜色边缘。然而，在渲染之前，可检测到颜色边缘的高可能性。因此，在一个实施例中，边缘检测模块305检测像素的局部块中的颜色边缘的可能性。也就是说，通过假设存在跨越对象的颜色变化的高可能性，存在颜色边缘的高可能性的区域被检测。在一个实施例中，通过当前帧的光栅化得到的Z值被分析以执行边缘检测。拉普拉斯边缘检测器可被定义为以当前像素为中心的模板(stencil)。如果像素的Z缓存的拉普拉斯算子大于阈值乘以像素的Z值，则图块中的所有像素都被标记为具有边缘。这定义了每一图块一比特值。更普遍地，可使用任何类型的边缘检测。

在一个实施例中，针对各个图块产生边缘掩码，并可产生用于指示图块是否包括至少一个边缘的边缘状态位(bit)。在一个实施方式中，针对每个4×4的像素的块产生边缘掩码，虽然更普遍地可使用其它图块大小。关于速度和边缘的存在的信息被样本产生器315用来确定图块的采样模式。在一个实施例中，如果检测到边缘则使用全采样分辨率。如果没有检测到边缘并且图块具有大于第一阈值速度的速度，则使用第一减小的采样率。如果没有检测到边缘并且图块具有第二阈值速度以上的速度，则使用第二减小的采样率。在做出采样率决定时还可考虑其它的附加可选因素。在一个实施例中，采样模式选择包括全样本分辨率(每一像素至少一个样本)、二分之一分辨率(每个图块中采样的像素中的一半)和四分之一分辨率(每个图块中采样的四个像素中的一个像素)。更普遍地，可针对每个采样率提供由阈值参数控制的多个采样率。此外，针对选择的块/图块大小，选择的采样率可被最优化。因此，虽然针对4×4块，示例性示例包括4个样本、8个样本和16个样本的三个采样率，但是该方法可基于块大小或其它考虑改变以具有一组采样率，其中，该组采样率中的每个采样率由阈值参数针对每个采样率进行控制。因此，根据实施方式的细节(诸如块/图块大小和其它因素)，采样率的数量N可大于三个。

在一个实施例中，提供抖动模块320以通过对具有相同有效采样率的采样模式的选择来调整采样模式。抖动可以是重复序列(例如，采样模式1、采样模式2、采样模式3、采样模式4)或包括随机化的方面。

抖动模块320产生的采样模式的抖动降低人类用户对采样伪影的视觉感知。当速率快于生物阈值时，人眼和人脑开始将图像混合为视频序列。也是就是说，当图像以快于生物阈值的速率变化时，人眼混合跨时间的图像并将它们感知为类似于视频的连续变化的序列。关于生物阈值的准确数字存在一些争议。以大约每一秒12帧的帧速率，人眼和人脑开始看见运动的图像的序列而不是各个图像。然而，需要比大约每一秒15帧的帧速率高一点的帧速率来感受相对顺畅(不滞涩)的运动的开始。然而，底层图像的性质也是人类观看者是否感知到给定帧速率的流畅运动的附加因素。因此，人眼将趋向于分辨出以大约每一秒12帧或更高的帧速率抖动的视觉伪影。在一个实施例中，执行抖动，使得每个像素以至少每一秒十五帧被渲染，这比人眼能够识别各个图像更快。在每一秒60帧下，每四帧抖动图块中的采样模式与以至少每一秒十五帧渲染每个像素对应。

示例性运动速度机制

图4示出根据本发明的实施例的速度机制的示例。运动是对象运动和相机运动的组合。速度与图块中的运动矢量的大小对应。在该示例中，速度是为了具有可接受的视觉质量在像素块中需要的样本的数量的指示。如果针对像素块运动在特定阈值速度K_fast1以上，则这是样本的数量可因人眼不能感知到运动对象中的高频而减小(例如，4×4图块中的八个样本)的指示。如果速度在甚至更高的阈值速度K_fast2以上，则这是图块中的样本的数量可减小得更多(例如，4×4图块中的四个样本)的指示。另一方面，如果图块中运动非常慢(在速度K_stat以下(或如果没有速度))，则可存在重复使用来自先前帧的像素数据的机会(例如，通过平流来渲染4×4图块中的八个样本并重复使用来自先前帧的八个颜色值)。来自先前帧的像素数据的重复使用还要求图形状态不从先前帧改变为当前帧，其中，图形状态包括使用的着色器、提供给着色器的常量以及提供给帧的几何图形。将存在需要全采样分辨率的速度机制。作为示例，可存在K_stat与K_fast1之间的中间速度机制，在中间速度机制中，需要全采样分辨率来实现高的视觉质量。此外，可存在超采样被应用到各个图块的情景。作为示例性示例，可提供选择来支持Z边缘情况的超采样。

在一个实施例中，如果速度在第一阈值速度K_fast1以上，则允许解样(改变采样模式以将采样率减小到低于每一像素一个样本)。在一个实施例中，如果速度超过第二阈值速度K_fast2，则允许采样率被进一步减小。是否执行解样的决定还可取决于其它条件，诸如边缘是否被检测到。

在一个实施例中，通过对来自当前帧和先前帧的顶点位置数据进行求差来获得相机屏幕空间中的运动。通过基于对象的多少像素已从一帧移动到另一帧来计算运动矢量的大小，从而以逐个图块为基础对图块的速度机制进行分类。如先前论述的那样，在一个实施例中，在Z路径中使用抛雪球来确定每一像素的运动矢量。在一个实施例中，速度阈值被定义并用作对自适应解样或平流是否将用于当前帧做出决定的输入。一个速度机制为准静态机制，在准静态机制中，对象移动得足够慢，因而对象的像素不可能与对应的先前图像明显地区分开。如果速度在准静态速度限制内，则可做出是否可使用平流以重复使用来自先前帧的像素的决定。在一个实施例中，准静态速度K_stat的上限为帧n的给定图块(图块m)中的像素保留在帧n+1的相同图块中。在一个实施例中，如果速度在K_stat以下，则执行附加检查以确定来自先前帧的像素是否可用于当前帧中。这可包括检查平流在先前帧中是否产生可接受的结果。此外，可执行检查以检查当前帧中的图块的像素值与先前帧中的微小运动一致，这可被描述为差异检查。平流差异状态位可与图块相关联以指示图块是否已通过一次或更多次差异检查，从而确认图块是否适合用于至少一些像素数据的平流。

图5是示出基于速度、边缘检测、抖动、样条(spline)重构和平流的自适应渲染选择的示例的流程图。为了清楚，省略一些传统图形流水线特征。图5示出根据本发明的实施例的使用4×4图块的特定示例。可执行初始预路径(pre-pass)，随后执行颜色路径(colorpass)以渲染像素数据。在505由应用提供图像的场景几何图形。在510计算Z缓存，在515执行边缘检测。在520针对场景几何图形计算运动矢量。在525计算每一像素的运动矢量。在530计算图块中的运动的范围。基于该信息，在535做出决定是否进行以下操作：1)渲染4×4块中的4个样本、8个样本或16个样本并执行插值；或者2)渲染8个样本并平流8个样本。在540针对采样模式执行抖动。在545使用样条重构来对像素数据进行重构。如果使用平流，则在550使用平流获得8个像素值并通过渲染获得其它的像素值。

示例性采样模式和抖动

图6A示出采样模式和抖动的示例。在该示例中，图块大小为4×4的像素的块。全分辨率对应于16个样本。二分之一分辨率(8个样本)和四分之一(四个样本)分辨率允许样本的模式的变化。因此，对于8个样本的情况，样本的布置可具有第一采样模式、第二采样模式、第三采样模式等。具有预定义采样模式支持采样模式的抖动以进行时间颜色平均。预定义采样模式被选择以支持循环采样，使得每个像素位置每几个帧被渲染一次。可通过不同技术来实现采样模式的抖动。在一个实施例中，可按照k模计数器的顺序由抖动模块320选择各个帧中的采样模式的选择。在多个帧之间及时抖动样本位置使渲染误差难以被人类观看者看见。在一个实施例中，采样模式被选择使得保证每个像素每K帧被渲染至少一次，其中，(n×n)/k是每n×n块的样本的最小数量。在另一实施例中，使用随机方法来实现时间抖动以选择采样模式。

图6B示出根据本发明的实施例的抖动的方法。在605当前帧中的图块被选择以按照减小的平均采样率进行二次采样。对于每个图块，在610采样模式被选择以与先前帧不同。在615执行渲染和重构。如果附加帧将被渲染，则处理继续。

平流示例

图7A示出平流的示例。在图块区域(诸如4×4图块700)中，平流包括将像素数据从先前帧的给定位置的像素复制到当前帧中的相应位置。例如，各个对象(例如，在地面上缓慢移动的球)可跨越屏幕地移动，因而球的每个像素以一定速度移动。在该示例中，从一帧至另一帧，在缓慢移动的球的像素之间存在高水平的时间相关性。在这种情况下，改变主要是运动。通过确定帧之间的球的各个像素的运动，像素数据可跨帧地被复制。在该示例中，运动足够缓慢，因而像素数据可从当前像素位置被映射到先前帧的相同图块中的像素。先前帧中的像素的位置可被计算为x(n-1)＝x–mv(x)，其中，mv(x)为运动矢量。结果，这允许像素数据从x(n-1)被复制到x(n)。也就是说，如果在帧之间像素的运动小，则当前帧中的像素位置可被投射回到先前帧中的像素并且来自先前帧的像素数据可被复制。如果x(n-1)具有小数部分，则可使用二进制插值或任何高阶插值。

在图7A的示例中，平流与渲染混合。在一个实施例中，在705平流用于图块中的像素中的一半像素，在710像素中的另一半像素被渲染。在单个帧中将平流与渲染混合减小与仅执行平流相关联的视觉伪影。也就是说，这使可由一般人类观看者检测到的因平流而导致的视觉误差的可能性最小化。结合时间抖动，这保证误差不随时间累积，从而减小视觉误差被一般人类观看者注意到的可能性。虽然被渲染的像素和被平流的像素的1:1比率是一个选项，但是更普遍地，可使用其它比率。

如之前所论述的那样，在一个实施例中，最大速度用作是否允许进行平流的条件。在一个实施例中，标准为阈值速度足够低，使得小范围邻域中的像素位置的局部变形可被分类为刚性变换，在刚性变换中，可使用针对全组像素的一次平移和一次旋转将像素的位置改变表示在期望的精确度内。例如，用于平流的最大速度可以是像素运动的大小在阈值k个像素以下。虽然刚性变换可在任何速度下发生，但是可能性随着速度增加而减小，使得速度阈值可用作平流何时可能有利的标准。可针对各个图块执行差异检查以确定平流是否产生可接受的结果。该差异检查可在当前帧中针对每个图块执行并且被写出为1比特值，以在检查指示平流的结果不精确的情况下使下一帧确定是否在差异检查失败的图块的邻域中禁用平流。也就是说，在该实施方式中，针对帧n中的图块执行平流，差异检查在帧n中被执行并在帧n+1中被使用。帧n+1随后使用(在帧n中计算的)差异检查来确定是否在帧n+1中的图块的邻域中执行平流。如果在帧n中的差异检查指示平流结果可接受，则在帧n+1中允许平流。如果在帧n中的差异检查指示平流结果不可接受，则针对选择的数量的帧关闭平流。差异检查是基于图块的像素值的显著改变是否与有效平流的潜在假设不一致的检查。如果对象的像素正在缓慢地移动则图块不被预期在两个帧之间显著地改变。因此，如果图块的状态显著地改变，则差异检查失败。图块状态差异位(例如，0或1)可用于指示差异检查是否通过。可基于经验地或试探地(例如，平流的计算收益与使视觉伪影的出现最小化之间的权衡)确定允许图块状态改变到何种程度。

可使用执行差异检查的其它方法。在当前帧n的图块中执行平流，执行差异检查并随后使用差异检查来确定是否在帧n+1中执行平流存在计算收益。然而，将理解，可使用差异检查的替代实施方式，在差异检查的替代实施方式中，差异检查在帧n中被执行并被用于确定是否使用帧n中的平流来重复使用来自先前帧的像素。

如果需要，可使用各种增强功能来提高精确度。在一个实施例中，使用前向后向误差校正和补偿(BFECC)。BFECC使用从半拉格朗日平流确定的位置并在该坐标添加速度以在当前帧中获得新的位置。如果不存在误差，则该坐标应与原始位置(x,y)相同。否则通过从(x-v_x,y-v_y)减去该误差的一半来获得位置的二阶精确估计，假设速度对于像素是精确的，二阶精确估计对于像素的一半也是精确的。

图7B示出根据本发明的实施例的执行平流的一般方法。在1405确定图块是否适合平流。适合性是基于速度范围是否在准静态范围内做出的，适合性根据通过任何附加差异检查被增加。如果图块适合于平流，则在块1410确定先前帧中的相应像素位置。在1420重复使用来自先前帧的图块的选择的一部分像素。在1425渲染剩余像素。

图像插值和重构示例

图8示出针对解样的情况的图像插值和像素颜色值的重构的示例。在一个实施例中，颜色值的加权和用于重构未渲染的像素。对于给定选择的加权函数w，可针对从特定采样模式产生的像素的每个配置预先计算归一化的一组权重。例如，如果在4×4块中4个像素被渲染，则可使用相同块及其邻近块中的渲染的像素的加权和来表示剩余的12个像素。此外，由于邻近块中的一组可能像素配置受一组采样模式限制，因此在这种情况下，所有可能权重组可被预先计算。

通常，GPU使用双线性插值。然而，双线性插值具有各种缺点。在一个实施例中，具有至少三阶的高阶多项式(诸如片段三阶多项式(还被称为三阶样条))用于对稀疏样本的有效重构。

更高阶的多项式(诸如三阶样条)能够映射比双线性插值更大的频谱并提供从二次采样块重构的数据的更大的保真度。此外，当使用双线性插值时，在像素的两侧上的样本被优选，这是因为一侧线性插值可能不精确，并且超出颜色谱范围。相反，使用更宽的支持(＞1个像素之外)的高阶多项式更可能对渲染的图像数据的函数形式进行精确地近似化。虽然可使用各种高阶多项式，但是三阶样条具有优于四阶多项式的连续特性。由于在解样之前执行的边缘检测步骤，因此进行重构的图块不可能具有严重的不连续性，并且高阶多项式重构可能执行得不佳。

执行二次采样的一方面在于在运行时间存在稀疏的样本数据。在各个块区域(诸如k×k像素区域)中，解样可导致像素的子集(诸如来自像素的4×4块的四个像素或八个像素)被渲染。缺失的像素数据需要被重构。具有预定采样模式的结果为存在一组有限的可能样本位置。这允许一组固定的局部模板在运行时间之前被创建、存储并用于使用三阶样条或其它高阶多项式来重构像素数据。用于在硬件中求高阶多项式的值的传统方法在计算上昂贵。相反，在本发明的实施例中，一组固定的预先计算的模板的使用消除了在运行时间期间执行传统的高阶多项式求值的计算量。一组静态的样本的使用允许可能需要被重构的像素的可能配置的确定，从而需要的模板可被预先计算。

在一个实施例中，高阶多项式插值被实现为使用预先计算的权重的静态模板操作。在一个实施例中，模板的表被存储并可用于重构和平流阶段210的重构子模块211进行的空间重构。模板的表提供基于已知样本位置的权重。在一个实施例中，模板的表具有针对预定义的采样模式内的每个像素位置预先计算的所有模板权重。预先计算的权重允许使用静态模板操作来执行高次多项式重构。

在一个实施例中，针对在运行时间期间可能需要被插值的图块(例如，4×4图块)中的所有可能像素位置确定一组5×5模板。针对每个像素位置和邻近配置计算每个5×5模板。每个模板提供权重值的列表和样本点的相应位置。模板被存储在可由重构和平流阶段210的重构子模块211用于重构目的的常量存储表中。在一个实施例中，在运行时间，对于必须被插值的每个像素，使用像素坐标和采样掩码将索引计算到该表中。在一个实施方式中，使用以下项确定每个模板的位置：(a)图块内的像素的位置，(b)用于渲染的采样掩码。因此，如果抖动被采用，则被选择的模板将取决于哪个采样模式被选择用于给定程度的二次采样。

在一个实施例中，使用乘法器/加法器来执行高阶多项式插值以将权重与样本颜色值的乘积累加。累加的值随后通过除法被归一化，在许多情况下，可通过对于整数格式的位移来执行归一化，或者可通过针对浮点格式的减法来执行归一化。因此，具有预先计算的权重的模板的使用允许在运行时间利用相对少的计算工作量来计算高阶多项式插值。

如下为用于重构并用于将像素颜色值计算为已知像素颜色值的加权和的三阶样条的示例：

在一个实施例中，表示用于确定像素颜色值的加权和的公式基于如下的权重w()：

其中，c(i,j)为像素位置(i,j)的颜色值，w()为二维样条函数，“Filled”为已被渲染的一组像素。二维样条函数是两个一维样条函数的乘积或w(i，j)＝k(i)k(j)，其中，一维样条函数k()基于Don P.Mitchell和Arun N.Netravali在1988年8月发表在“计算机图形(Computer Graphics)”第22卷第四期第221页至第228页中的论文“计算机图形中的重构过滤器(Reconstruction Filters in Computer Graphics)”中描述的三阶过滤公式：

Mitchell和Netravali的论文中的距离在缩放的像素空间中被定义：

通过限制样本点的相对位置，权重和分母可被预先计算到模板中。因为样条函数以有界的方式被定义，因此x的大小的尺度变换可用于将函数扩展到期望的支持半径，诸如2像素支持半径。

对于大小为n×n的图块，可按照(n/k)×(n/k)个可能配置来布置k×k个正方形。4×s的采样率需要s个正方形，从而形成(n×n)×(k×k×s)的采样模式。

图9示出4×4图块中的采样模式的示例，其中，X标记渲染的样本，O标记插值位置。使用以O为中心的5×5模板。假设该4×4图块之外的任何访问无效，对于4×4图块之外的任何位置，模板具有0权重，所述0权重从模板表被移除。假设左上像素为(0,0)，表条目随后读取需要的位置(0,0)、(2,0)、(0,2)、(2,2)，并且具有适当的权重w0、w1、w2、w3，归一化因数为w。通过使用乘法和累加运算，针对每个颜色分量，加权和随后可被计算为1/w(w0×c(0,0)+w1×c(2,0)+w2×c(0,2)+w3×c(2,2))。然而，更普遍地，重构不局限于一个图块，影响模板的区域也可扩展到邻近的4×4块。

假设5×5模板，总共存在24个值被预先计算(由于像素本身不具有颜色值，因此中心总是为0)。在24个值之中，如果每一4×4图块使用8个样本，则最多一半的值可被渲染，剩余12个值。在一个实施例中，每个模板被实现为包括非零权重数中的4位计数，之后为存储在一个数据块中的8位权重，随后为x坐标和y坐标相对于中心坐标偏移3位的两个数据块。

在一个实施例中，模板按采样模式的顺序被存储。在一个实施例中，针对相同采样率的不同采样模式是彼此的旋转，因此存在两组模式。这些模式可被按行排列存储在4×4图块内，并且具有指向像素(i,j)的数据的索引列表。对于采样掩码的旋转，坐标可被适当地变换。

参照图10，考虑像素的4×4图块，其中，可能的16个像素中的8个样本被渲染。在该示例中，考虑加权函数，针对每个未知像素定义模板。可在运行时间从预定义的一组模板得到这些模板。对于具有两个像素的支持半径的三阶模板的示例情况，如果不执行超采样，则这些模板的尺寸将为5×5。如果有必要限制对k×k图块区域的访问，则针对落在图块之外的这种像素，模板可被适当地修改为具有0权重。注意到样本的数量无需少于像素的数量是重要的。在需要超采样以进行抗锯齿的区域中样本的数量可超过像素的数量，例如针对16个像素的4×4图块的32个样本。对于这样的情况，将添加适当的预先计算的模板。

在一个示例中，每个采样模式被定义为稀疏的正方形模式的组合(例如，四个样本以正方形模式被渲染)。在四个像素的组(四边形)为处理的默认单位的应用中选择正方形模式是有用的。然而，更普遍地，在采样模式中可使用采样位置的其它布置。在一个实施例中，采样模式是4×4图块内的大小为3×3的正方形。因此，相邻顶点沿着每个轴相距两个像素。

在一个实施例中，相同采样模式用于以给定采样率被二次采样的各个帧的所有区域中。在该实施例中，相同采样模式用于以给定采样率被二次采样的所有图块中，这是因为这导致每个帧内的样本位置的间隔一致，从而满足重构例程。

在一个实施例中，采样模式基于四边形以使用单指令多数据(SIMD)处理单元。样本的一致间隔提供鲁棒的插值并帮助在最终图像中实现全像素分辨率。

图11示出根据本发明的实施例的自适应解样和样条插值的一般方法。在1005确定图块的速度范围是否在用于二次采样的速度范围内并且检查边缘的存在。在1010确定二次采样率并选择采样模式。在1015基于采样模式对图块的像素进行着色。在1020执行重构以对缺失的像素值进行插值，在重构中可执行样条插值。

图12示出根据本发明的实施例的执行三阶样条插值的方法。在1105图块被选择用于稀疏采样。在1110选择采样模式。在1115针对采样位置渲染像素。在1120基于预先计算的权重经由三阶样条插值执行缺失的像素数据的重构。

图13示出根据本发明的实施例的使用包括预先计算的权重模板的方法。在1205在采样模式中针对每个缺失的像素位置产生预先计算的权重。在1210存储包括预先计算的权重的模板。在1215在运行时间期间访问存储的模板。在1220访问的模板I用于执行三阶样条插值。

平流和重构的示例比较

图14示出平流和经由三阶样条的重构的方面的示例。图块大小为4×4图块大小。先前帧中的像素模式为棋盘模式。由R表示渲染的像素值。在左侧的示例中，执行平流以重复使用4×4图块中的来自先前帧的像素颜色数据中的一半。与图块相关联的速度非常低，并且像素中的一半通过从先前帧的像素值复制被平流。针对四个像素示出箭头以指示来自先前帧的相同图块的像素数据的重复使用。在这种情况下，颜色信息被复制并且不渗色。在右侧的示例中，存在与每一帧半像素位移相应的大的图块速度。在该示例中，基于三阶样条插值执行重构。沿x方向的半像素的速度导致每个渲染的像素具有恰好在黑色和白色中间的灰色。重构的像素从而具有相同的值。也就是说，颜色值被校正，并且全分辨率渲染还将创建相同的值。

自动逐图块的自适应渲染示例

图15A示出场景具有像素速度与其它区域不同的区域并且一些区域包括颜色边缘的帧的示例。作为示例，场景可包括一个骑摩托车的人骑在摩托车上以及静态对象和准静态对象(诸如在风中缓慢运动的植物)。因此，存在可以按照不同速度机制被分类的区域。因此，如图15B中的框所示出的那样，场景的不同区域具有不同的像素速度，并且一些区域提供用于自适应渲染的不同机会。结果，在各个帧中，系统自动地分析各个图块并以逐个图块为基础确定是进行解样并执行平流，解样并执行三阶样条插值还是使用标准默认采样方案。还可以以图块为基础分别做出是否执行超采样的决定。由于系统自动地执行该优化，因此假设相关参数值被分别定义，则不需要应用开发者进行特定输入。

立体渲染示例

本发明的实施例可用于产生单个(非立体的)显示。然而，本发明的实施例还可应用于虚拟现实应用的立体渲染。参照图16，考虑针对每只眼睛产生与左眼图像和右眼图像相应的分开的图像的情况。平流可用于提高立体渲染的效率。在一个实施例中，产生左眼图像。平移运动(motion_trans)被定义为将左眼图像的部分变换到右眼图像的平移。在一个实施例中，样本产生器决策被扩展为针对右图像做出采样决定以试图对来自左图像的像素值进行平流。在一个实施例中，采样基于Z并执行关于左图像和右图像的最小Z是否大于阈值Z的测试。如果最小(Z_左，Z_右)＞Z_阈值，则使用motion_trans将像素从左帧平流到右帧。否则，渲染的基础是基于运动的采样率。如图11中所示，这导致右眼图像为来自左眼图像的平流的像素与渲染的像素的组合。

图17示出将自适应渲染应用于凹式渲染(foveated rendering)的实施例。人眼视网膜的结构具有凹陷部分，该凹陷部分在健康的人眼中提供最高的视觉敏锐度。健康人眼的最大视觉敏锐度在小的椎角内并且随着角距的增大而下降。凹式渲染对用户正在观看的地方附近的较详细的细节进行渲染，并减少远离焦点的细节。图17示出焦点(x,y)1725。采样率随着距焦点的半径距离的增加而减小(例如，1/(距焦点的距离))。可以以特定半径距离按照步进方式执行减小。例如，可在半径距离为r01715的圆形区域1720中渲染特定数量的样本。在从r0至r11705的圆环区域1710中渲染较少数量的样本。在具有大于r1的半径距离的区域中渲染甚至更少数量的样本。作为示例性示例，可在(x,y)与r0之间的区域中渲染16个样本，在r0与r1之间的区域中渲染8个样本，在r1之外的区域中渲染4个样本。更普遍地，可使用其它在径向上变化的采样函数。

图18是示出根据本发明实施例的图形处理的方法的流程图。如图18所示，首先，在1805，以逐个图块为基础确定当前帧中按照屏幕空间坐标或像素测量的对象相对于先前帧的相对速度。然后，在1810，将当前帧内的每个图块分类到至少三个速度类别中的一个类别之中，所述至少三个速度类别包括准静态速度类别、中速类别和高速类别。接下来，在1815，至少部分基于与每个图块相关联的速度类别，针对每个图块做出采样决定。在这里，采样决定包括：在当前帧中以每一像素至少一个样本的全分辨率采样率对图块进行采样还是在当前帧中以更低的采样率对图块进行采样。最后，在1820，渲染当前帧的图块。

图19是示出根据本发明另一实施例的图形处理的方法的流程图。如图19所示，在1905，以逐个图块为基础确定在当前帧中按照屏幕空间像素测量的对象相对于先前帧的速度。在1910，以逐个图块为基础检测图块是否包括边缘。在1915，将当前帧内的每个图块分类到至少三个速度类别中的一个类别之中，所述至少三个速度类别包括准静态速度类别、中速机制和至少一个高速机制。在1920，基于与图块相关联的速度类别以及图块是否包括边缘，针对各个图块做出采样决定，所述采样决定包括：在当前帧中以每一像素至少一个样本的全分辨率采样率对图块进行采样还是在当前帧中以更低的采样率对图块进行采样。在1925，渲染当前帧的图块。

虽然已结合特定实施例描述了本发明，但是将理解，不意图将本发明局限于描述的实施例。相反，意图包括可包括在由权利要求限定的本发明的精神和范围内的替代、修改和等同物。可在不需要这些特定细节中的一些或所有的情况下实施本发明。此外，公知特征可能没有被详细描述以避免不必要地模糊本发明。根据本发明，可使用各种类型的操作系统、编程语言、计算平台、计算机程序和/或计算机器来实现组件、处理步骤和/或数据结构。此外，本领域普通技术人员将认识到，在不脱离这里公开的发明构思的范围和精神的情况下，还可使用诸如硬件装置、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等的装置。本发明还可被实质上实现为存储在计算机可读介质(诸如存储器装置)上的一组计算机指令。

Claims (24)

1.一种图形处理的方法，包括：

以逐个图块为基础确定当前帧中按照屏幕空间坐标或像素测量的对象相对于先前帧的相对速度；

将当前帧内的每个图块分类到至少三个速度类别中的一个类别之中，所述至少三个速度类别包括准静态速度类别、中速类别和高速类别；

至少部分基于与每个图块相关联的速度类别，针对每个图块做出采样决定，所述采样决定包括：在当前帧中以每一像素至少一个样本的全分辨率采样率对图块进行采样还是在当前帧中以更低的采样率对图块进行采样；

渲染当前帧的图块。

2.如权利要求1所述的方法，其中，对于被分类到准静态速度类别中的图块，所述方法还包括：通过将当前帧中的至少一个像素的位置映射到先前帧中的相应像素并将先前帧的至少一个像素的像素数据复制到当前帧，重复使用来自先前帧的像素数据。

3.如权利要求2所述的方法，其中，基于渲染的像素与未渲染的像素的预先选择的比率，来自先前帧的图块的像素的子集被复制到当前帧的图块。

4.如权利要求2所述的方法，还包括：针对先前帧的像素颜色值执行差异检查以作为重复使用来自先前帧的像素数据的条件。

5.如权利要求1所述的方法，其中，从当前帧的渲染的几何图形的顶点位置数据与先前帧的渲染的几何图形的顶点位置数据之差确定速度。

6.如权利要求1所述的方法，其中，对于被分类到高速类别中的图块，做出采样决定的步骤包括：选择渲染的样本的数量小于与图块相关联的实际像素的数量的采样模式。

7.如权利要求1所述的方法，还包括：执行深度/Z的边缘检测，其中，针对每个图块做出采样决定的步骤还基于在各个图块内是否检测到边缘。

8.如权利要求7所述的方法，其中：

对于不包括边缘的被分类到高速类别中的图块，选择样本的数量小于与图块相关联的像素的数量的采样模式；

对于包括边缘的被分类到高速类别中的图块，选择样本的数量至少等于每一像素一个样本的采样模式。

9.如权利要求1所述的方法，其中，做出采样决定的步骤还包括：针对每个图块做出是否执行超采样的决定。

10.如权利要求9所述的方法，其中，针对包括边缘的图块执行超采样。

11.一种图形处理的方法，包括：

以逐个图块为基础确定在当前帧中按照屏幕空间像素测量的对象相对于先前帧的速度；

以逐个图块为基础检测图块是否包括边缘；

将当前帧内的每个图块分类到至少三个速度类别中的一个类别之中，所述至少三个速度类别包括准静态速度类别、中速机制和至少一个高速机制；

基于与图块相关联的速度类别以及图块是否包括边缘，针对各个图块做出采样决定，所述采样决定包括：在当前帧中以每一像素至少一个样本的全分辨率采样率对图块进行采样还是在当前帧中以更低的采样率对图块进行采样；

渲染当前帧的图块。

12.如权利要求11所述的方法，其中，对于被分类到准静态速度类别中的图块，所述方法还包括：通过将当前帧中的至少一个像素的位置映射到先前帧中的相应像素并将先前帧的至少一个像素的像素数据复制到当前帧，重复使用来自先前帧的像素数据。

13.如权利要求12所述的方法，其中，基于渲染的像素与未渲染的像素的预先选择的比率，来自先前帧的图块的像素的子集被复制到当前帧的图块。

14.如权利要求12所述的方法，还包括：针对先前帧的像素颜色值执行差异检查以作为重复使用来自先前帧的像素数据的条件。

15.如权利要求11所述的方法，对于被分类到中速机制中的图块，每个像素被采样至少一次。

16.如权利要求11所述的方法，其中，对于被分类到所述至少一个高速机制中的图块，选择样本的数量小于与图块相关联的像素的数量的采样模式，并执行插值以确定没有被采样的像素位置的颜色。

17.如权利要求11所述的方法，其中：

对于不包括边缘的被分类到所述至少一个高速机制中的图块，选择样本的数量小于与图块相关联的像素的数量的采样模式；

对于包括边缘的被分类到所述至少一个高速机制中的图块，选择样本的数量至少等于每一像素一个样本的采样模式。

18.一种包括图形流水线的图形系统，包括：

自适应采样产生器；

像素着色器，与自适应采样产生器结合；

自适应采样产生器被配置为：

以逐个图块为基础确定当前帧中按照屏幕空间坐标或像素测量的对象相对于先前帧的相对速度；

将当前帧内的每个图块分类到至少三个速度类别中的一个类别之中，所述至少三个速度类别包括准静态速度类别、中速类别和高速类别；

至少部分基于每个图块中的对象的像素的速度类别，确定每个图块所需要的采样率，并基于需要的采样率选择采样模式，其中，所述确定包括在当前帧中以每一像素至少一个样本的全分辨率采样率对图块进行采样还是在当前帧中以更低的采样率对图块进行采样。

19.如权利要求18所述的图形系统，其中，自适应采样产生器基于各个图块中的对象的速度类别和各个图块是否包括边缘的组合，确定各个图块的采样模式和采样率。

20.如权利要求19所述的图形系统，还包括：

速度缓冲器，将当前帧中的对象的顶点的每一顶点坐标与先前帧中的相应的每一顶点坐标进行比较并确定每个图块中的像素的每一像素速度；

边缘检测器，检测每个图块中的边缘的存在；

样本产生器，针对将被着色的每个图块，基于与每个图块中的像素相关联的速度类别和边缘的存在，确定采样模式和采样率。

21.如权利要求19所述的图形系统，其中，减小的采样率被选择用于每个不包括边缘并被分类到高速类别的图块。

22.如权利要求19所述的图形系统，还包括：平流单元，其中，对于被分类到准静态速度类别的图块，具有减小的采样率的采样模式被选择，平流单元通过经由平流而重复使用来自先前帧的像素数据来填充缺失的像素数据。

23.如权利要求22所述的图形系统，其中，平流单元通过映射像素坐标的改变来识别先前帧中的像素的位置。

24.如权利要求22所述的图形系统，其中，对于被分类到准静态速度类别的图块，渲染所述图块的像素中的预先选择的子集，并且基于渲染的像素与未渲染的像素的预先选择的比率从先前帧重复使用所述图块的像素的剩余像素。

Images