CN105631926A - 图像处理设备和方法 - Google Patents

Abstract

提供一种图像处理设备和方法。一种图像处理设备包括：第一着色器，被配置为以第一分辨率对三维(3D)模型执行与至少一个光源相关联的光着色操作，以获得第一分辨率的光着色结果；第二着色器，被配置为以与第一分辨率不同的第二分辨率对3D模型执行表面着色操作，以获得第二分辨率的表面着色结果；处理器，被配置为通过将第一分辨率的光着色结果与第二分辨率的表面着色结果进行组合来产生渲染结果。

Description

图像处理设备和方法

本申请要求于2014年11月20日提交到韩国知识产权局的第10-2014-0162652号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用而包含于此。

技术领域

以下描述涉及提供全局照明效果或间接照明效果的渲染领域。

背景技术

在各种领域(例如，三维(3D)游戏、虚拟现实动画和电影)中，对针对3D模型的实时渲染的兴趣正在增加。当使用全局照明技术渲染3D场景时，呈现间接照明效果(例如，图像空间中光的衍射和反射)的虚拟点光(VPL)被采样。在一些情况下，多个这样的VPL被采样，因此，针对渲染处理中的可见度检查和着色的计算复杂度增加。

发明内容

提供该发明内容以按照简化形式介绍对构思的选择，其中，所述构思在下面的具体实施方式中被进一步描述。该发明内容不意图确认要求保护的主题的关键特征或必要特征，也不意图用作帮助确定要求保护的主题的范围。

在一个总体方面中，一种图像处理设备包括：第一着色器，被配置为以第一分辨率对三维(3D)模型执行与至少一个光源相关联的光着色操作，以获得第一分辨率的光着色结果；第二着色器，被配置为以与第一分辨率不同的第二分辨率对3D模型执行表面着色操作，以获得第二分辨率的表面着色结果；处理器，被配置为通过将第一分辨率的光着色结果与第二分辨率的表面着色结果进行组合来产生渲染结果。

第一分辨率可低于第二分辨率。

处理器还可被配置为：将第一分辨率的光着色结果升级为具有与第二分辨率相等的分辨率以获得升级的光着色结果，并通过将升级的光着色结果与表面着色结果进行组合来产生渲染结果。

第一分辨率可与隔行方案相应，单帧分辨率可为第二分辨率的一半。

第一着色器还可被配置为：相比于在静态场景中，在动态场景中将第一分辨率降低得更多。

第一着色器还可被配置为：相比于在具有相对低亮度的场景中，在具有相对高亮度的场景中将第一分辨率降低得更多。

第一着色器还可被配置为：在执行光着色操作中考虑间接光，并且随着在光着色操作中考虑的间接光的数量的增加而降低第一分辨率。

在另一总体方面中，一种图像处理设备包括：第一着色器，被配置为在包括第一帧的多个帧中对三维(3D)模型执行与至少一个光源相关联的光着色操作，以获得所述多个帧的光着色结果；第二着色器，被配置为在第一帧中对3D模型执行表面着色操作，以获得第一帧的表面着色结果；处理器，被配置为将所述多个帧的光着色结果进行组合以获得组合的光着色结果，并通过将组合的光着色结果与第一帧的表面着色结果进行组合来产生渲染结果。

所述图像处理设备还可包括：缓冲器，被配置为对第一帧之前的预定数量的帧的光着色结果进行缓存，并将缓存的光着色结果提供给处理器；处理器还可被配置为：将缓存的光着色结果与第一帧的光着色结果进行组合以获得组合的光着色结果。

处理器还可被配置为：在获得组合的光着色结果的操作中对缓存的光着色结果进行内插或外插。

第一着色器还可被配置为：以第一分辨率执行光着色操作；第二着色器还可被配置为：以与第一分辨率不同的第二分辨率执行表面着色操作。

第一分辨率可低于第二分辨率。

处理器还可被配置为：计算所述多个帧的光着色结果的加权和，以获得组合的光着色结果。

在另一总体方面中，一种图像处理设备，包括：第一着色器，被配置为在第一帧之前的至少一帧中对三维(3D)模型执行与至少一个光源相关联的光着色操作，以获得所述至少一帧的光着色结果；第二着色器，被配置为在第一帧中对3D模型执行表面着色操作，以获得第一帧的表面着色结果；处理器，被配置为通过将所述至少一帧的光着色结果与第一帧的表面着色结果进行组合来产生渲染结果。

第一着色器还可被配置为每两帧执行一次光着色操作。

第一着色器还可被配置为：以第一分辨率执行光着色操作；第二着色器还可被配置为：以与第一分辨率不同的第二分辨率执行表面着色操作。

第一着色器还可被配置为：将每帧的像素分组为多组像素，并针对连续帧中的每组中的像素顺序地执行光着色操作，使得光着色操作是针对每个连续帧中的每组中的像素中的不同像素执行的。

第一着色器还可被配置为：在每个连续帧中针对每组中未执行光着色操作的每个像素，再次使用先前帧的光着色结果。

在另一总体方面中，一种图像处理设备，包括：第一着色器，被配置为通过以下操作在多个帧中对三维(3D)模型执行光着色操作：将每帧的像素分组为多组像素，针对连续帧中的每组中的像素顺序地执行光着色操作，使得光着色操作是针对每个连续帧中的每组中的像素中的不同像素执行的，并在每个连续帧中针对每组中未执行光着色操作的每个像素，再次使用先前帧的光着色结果；第二着色器，被配置为在每帧中对3D模型执行表面着色操作以获得表面着色结果；处理器，被配置为通过将光着色结果与表面着色结果进行组合来产生渲染结果。

在另一总体方面中，一种包括至少一个处理器的图像处理设备的图像处理方法，所述方法包括：使用所述至少一个处理器以第一分辨率对三维(3D)模型执行与至少一个光源相关联的光着色操作，以获得第一分辨率的光着色结果；使用所述至少一个处理器以比第一分辨率高的第二分辨率对3D模型执行表面着色操作，以获得第二分辨率的表面着色结果；使用所述至少一个处理器通过将第一分辨率的光着色结果与第二分辨率的表面着色结果进行组合来产生渲染结果。

所述图像处理方法还可包括：将第一分辨率的光着色结果调整为具有与第二分辨率相等的分辨率，以获得调整后的光着色结果；产生渲染结果的步骤包括：通过将调整后的光着色结果与表面着色结果进行组合来产生渲染结果。

所述图像处理方法还可包括：分析将被渲染的场景的特征；基于分析出的场景的特征来自适应地调整第一分辨率。

场景的特征可为帧间差异；调整第一分辨率的步骤还可包括：基于分析出的帧间差异，相比于在静态场景中，在动态场景中将第一分辨率降低得更多。

场景的特征可为场景亮度；调整第一分辨率的步骤还可包括：基于分析出的场景亮度，相比于在具有相对低亮度的场景中，在具有相对高亮度的场景中将第一分辨率降低得更多。

执行与至少一个光源相关联的光着色操作的步骤还可包括：在执行光着色操作中考虑间接光；场景的特征可为在执行光着色操作中考虑的间接光的数量；调整第一分辨率的步骤还可包括：基于分析出的间接光的数量，随着在光着色操作中考虑的间接光的数量的增加而降低第一分辨率。

在另一总体方面中，一种存储指令的非暂时性计算机可读存储介质，其中，所述指令使计算硬件执行图像处理方法，所述图像处理方法包括：以第一分辨率对三维(3D)模型执行与至少一个光源相关联的光着色操作，以获得第一分辨率的光着色结果；以与第一分辨率不同的第二分辨率对3D模型执行表面着色操作，以获得第二分辨率的表面着色结果；通过将第一分辨率的光着色结果与第二分辨率的表面着色结果进行组合来产生渲染结果。

在另一总体方面中，一种图像处理设备，包括：第一着色器，被配置为对三维(3D)模型执行光着色操作以获得具有第一特征的光着色结果；第二着色器，被配置为对3D模型执行表面着色操作以获得具有第二特征的表面着色结果，其中，第二特征与第一特征种类相同但是量不同；处理器，被配置为通过将光着色结果与表面着色结果进行组合来产生渲染结果。

第一着色器执行光着色操作以获得具有第一特征的光着色结果所需的计算资源量可小于第一着色器执行光着色操作以获得具有第二特征的光着色结果所将需要的计算资源量。

第一特征可为第一分辨率，第二特征可为大于第一分辨率的第二分辨率。

第一特征可为第一帧率，第二特征可为大于第一帧率的第二帧率。

第一着色器还可被配置为：每N(N≥2)帧执行一次光着色操作，并在所述N帧中的没有执行光着色操作的每帧中再次使用先前光着色结果；第二着色器还被配置为：在所述N帧中的每帧中执行表面着色操作。

第一特征可为第一像素更新速率，第二特征可为大于第一像素更新速率的第二像素更新速率。

第一着色器还可被配置为：将每帧的像素分组每组包含N(N≥2)个像素的多组像素，每N帧针对每组中的每个像素执行一次光着色操作，使得光着色操作是针对所述N帧中的每帧中的所述N个像素中的不同像素执行的，并在所述N帧中的每帧中针对每组中未执行光着色操作的每个像素，再次使用先前帧的光着色结果；第二着色器还可被配置为针对所述N帧中的每帧中的每个像素执行表面着色操作。

从以下具体实施方式、附图和权利要求，其它特征和方面将是清楚的。

附图说明

图1是示出图像处理设备的示例的框图。

图2示出将被渲染的三维(3D)模型和光的示例。

图3示出渲染的示例。

图4A至图4C示出不同地设置表面着色分辨率和光着色分辨率的处理的示例。

图5示出通过将表面着色结果与光着色结果进行组合来执行渲染的处理的示例。

图6是示出图像处理设备的另一示例的框图。

图7至图8B示出执行光着色操作的处理的示例。

图9和图10是示出图像处理方法的示例的流程图。

贯穿附图和具体实施方式，相同的标号表示相同的元件。附图可不按比例，并且为了清楚、说明和方便，可夸大附图中的元件的相对大小、比例和描绘。

具体实施方式

提供以下具体实施方式以帮助读者获得对这里描述的方法、设备和/或系统的全面理解。然而，这里描述的方法、设备和/或系统的各种改变、修改和等同物对于本领域普通技术人员将是清楚的。这里描述的操作的顺序仅是示例且不限于这里阐明的顺序，而是如本领域普通技术人员所清楚的那样，除了必需按特定顺序发生的操作之外，这里描述的操作的顺序可被改变。此外，为了更加清楚和简明，可省略本领域普通技术人员公知的功能和结构的描述。

这里描述的特征可以以不同形式被实现，并不被解释为限于这里描述的示例。相反，提供这里描述的示例使得本公开将是彻底和完整的，并将向本领域普通技术人员传达本公开的全部范围。

这里使用的术语主要是考虑本申请中描述的特征而从当前正被使用的普通术语中选择的。然而，可基于技术、习惯或操作者的偏好的发展和/或改变而使用其它术语。因此，应理解，这里使用的术语是仅用于描述示例的术语，而非意图限制本公开的精神的术语。

此外，在特定情况下，为了便于描述和/或为了便于理解，最合适的术语已由申请人任意选出。在这种情况下，任意使用的术语的含义将在相应描述中被清楚地解释。因此，不应通过术语的简单名称来理解术语，而应通过术语的含义和本申请的以下整体描述来理解术语。

图1是示出图像处理设备的示例的框图。

参照图1，图像处理器设备100对三维(3D)模型执行全局照明渲染。图像处理设备100可由一个或更多个图形处理单元(GPU)的至少一部分来实现。图像处理设备100包括第一着色器110、第二着色器120和处理器130。第一着色器110针对3D模型执行光着色以计算直接光和间接光的颜色值着色。光着色是基于直接光或间接光的颜色、亮度和方向检查场景的可见度并渲染场景的处理。第二着色器120执行表面着色。表面着色是基于对象的表面的表面法线和纹理颜色来渲染场景的处理。通过将光着色结果与表面着色结果进行组合(例如，通过将光着色结果与表面着色结果相乘)，处理器130针对场景产生渲染结果图像。

第一着色器110和第二着色器120以不同分辨率执行着色。当由现有GPU执行光-表面着色时，光着色和表面着色是以相同分辨率被执行的。在该示例中，基于将被GPU输出的图像的分辨率，在与延迟渲染类似的情况下被提供给着色器的输入分辨率和着色器处理分辨率被设置为相等。光着色可能需要例如对多个间接光(例如，虚拟点光(VPL))进行可见度测试的操作。因此，计算复杂度会相对较高。光在空间中具有平滑扩散效果。因此，虽然光着色分辨率降低到一定程度，但是整体渲染质量没有受到很大影响。图像处理设备100不同地设置光着色分辨率和表面着色分辨率，并基于各个最佳分辨率处理光着色和表面着色，从而有效地使用计算资源。也就是说，以降低的分辨率执行光着色操作所需的计算资源量将少于以全分辨率执行光着色操作所需的计算资源量。

在一个示例中，第一着色器110以第一分辨率执行光着色。第二着色器120以第二分辨率执行表面着色。第二分辨率可等于GPU的输出分辨率，或可与输出分辨率不同。如上所述，与光着色相关联的第一分辨率小于与表面着色相关联的第二分辨率。例如，第一分辨率可为第二分辨率的一半分辨率或四分之一分辨率。处理器130通过基于表面分辨率升级(upscale)以较低的分辨率产生的光着色结果来渲染结果图像。

第一分辨率与第二分辨率之比可随时间改变。例如，第一分辨率与第二分辨率之比可基于场景特征自适应地改变。场景特征的示例包括帧间差异、被渲染的场景的场景亮度和在对场景进行渲染的操作中反射的间接光的数量。帧间差异是场景的一帧与场景的前一帧之间的差异。如果场景的所述两帧之间不存在差异，则场景是静态场景。如果场景的所述两帧之间存在差异，则场景是动态场景。所述两帧之间的差异越大，场景越动态。详细地，相比于在静态场景中，在动态场景中第一着色器110将第一分辨率降低得更多。场景越动态(即，帧间差异越大)，第一着色器110可将第一分辨率降低得越多。在动态场景中，快速运算处理比渲染的质量更重要。基于将被渲染的场景的整体亮度或照度，相比于在较暗的场景中，在较亮的场景中第一着色器110将光着色分辨率降低得更多。这是因为人眼在相对暗的环境中比在相对亮的环境中对亮度差的认识有更高的敏感度。此外，随着在对场景进行渲染的操作中反射的间接光的数量增加，第一着色器110降低第一分辨率。这是因为对多个VPL执行全分辨率光着色使得因当存在多个间接光(例如，VPL)时针对光着色操作需要大计算复杂度，所以计算资源增加。因此，通过在多个VPL被采样的帧场景中降低光着色分辨率，可防止计算资源的数量的增加。

图2示出将被渲染的3D模型和光的示例。

参照图2，对象210和对象220被示出。从渲染视点230观看3D模型的场景可被称为屏幕空间。在一个示例中，这种屏幕空间被划分为多个图块(tile)，基于图块的延迟渲染(TBDR)被执行。这种基于图块的处理通过并行处理对于GPU加速是有益的。包括VPL201、VPL212和VPL222的采样的VPL基于从直接光200的视点渲染3D模型的结果而被采样。VPL在从直接光200的视点可视的部分221中被相对密集地采样，在从直接光200的视点不可视的部分221中被相对稀疏地采样。在一些情况下，成千上万的这种VPL可被采样。当考虑VPL执行光着色时，计算复杂度大大增加。因此，通过降低光着色分辨率，光着色可被处理。将参照图3和之后的附图描述各种示例。

图3示出渲染的示例。

参照图3，从表面着色器获得的表面着色结果310具有相对高的分辨率。例如，表面着色结果310的分辨率可以是1920×1080像素的全高清(FHD)分辨率。从光着色器获得的光着色结果320具有比表面着色结果310的分辨率低的分辨率。例如，光着色结果320的分辨率可以是960×540像素的四分之一高清(qHD)分辨率。光平滑且扩散地漫反射。因此，光着色结果320的低分辨率对于升级是有益的，这是因为光着色结果320的质量受混叠伪影(aliasingartifact)的发生的影响较小。

如上所述，光着色器执行光着色的第一分辨率可自适应地改变。例如，场景特征可被分析。场景特征可包括例如3D模型的复杂度、3D模型的对象的纹理特征、帧之间的对象的运动性、用于渲染的相机的视点的改变率、场景的照度和采样的VPL的数量。在快速自然场景改变比精确的颜色表现更重要的动态场景中，光着色分辨率降低以进行快速运算处理。此外，由于人眼在黑暗区域中比在明亮区域中更快地检测由亮度差引起的伪影，因此，相比于在黑暗场景中，在明亮场景中光着色器将光着色分辨率降低得更多。此外，可基于直接光数量或采样的VPL的数量执行这种处理。例如，由于用于光着色操作的计算复杂度随着在场景中将被考虑的采样的VPL的数量增加而增加，因此光着色分辨率降低。

在一个示例中，渲染是TBDR。在该示例中，可针对每个图块或网格执行如上所述的分辨率调整。表面着色分辨率与光着色分辨率之比可同样地应用于所有图块，或者图块的特征可被分析且适合于每个单个图块的比率可被应用。通过以上处理，并行处理GPU的单元分配效率可进一步增加。

由光着色器以低分辨率提供的光着色结果320可被升级为具有与表面着色结果310的分辨率相等的分辨率的图像321。可通过多个现有方法来执行这种升级处理。可通过插值来执行例如抗锯齿(anti-aliasing)的处理。通过将升级的图像321乘以表面着色结果310，全局照明渲染的结果图像330被产生。

图4A至图4C示出不同地设置表面着色分辨率和光着色分辨率的处理的示例。

在图4A中，表面着色被执行。像素410、411、412和413的各自的颜色值a₀、a₁、a₂和a₃基于对象的表面的表面法线和纹理颜色被确定。相应结果401与光着色结果组合以产生渲染图像。在图4B中，光着色处理被执行以产生包括具有值b₀、b₁、b₂和b₃的像素的着色结果。像素420被升级为与图4A的像素410、411、412和413相应。像素420是与图4A的像素410、411、412和413相应的超像素。基于VPL的颜色、亮度和方向对将被考虑的每个VPL执行着色操作。

图4C示出对图4B的光着色结果402进行升级的结果403。分辨率被均等化为与图4A的像素410、411、412和413中的每个像素相应。在该处理中，像素430、431、432和433中的每个像素具有与图4B的像素420的值b₀相等的值b₀。在以上处理中，适当的后处理可被执行以防止锯齿。

图5示出通过将表面着色结果与光着色结果进行组合来执行渲染的处理的示例。

参照图5，处理器通过将表面着色器的着色结果(例如，图4A的结果401)与对光着色器的着色结果进行升级的结果(例如，图4C的结果403)进行组合来产生结果图像500。通过逐像素的运算，通过将图4A的像素410的颜色值a₀乘以图4C的像素430的值b₀来产生像素510的值a₀b₀。类似地，还可计算其它像素510、512和513的颜色值a₁b₀、,a₂b₀和a₃b₀。

图6是示出图像处理设备的另一示例的框图。

参照图6，图像处理器设备600包括第一着色器610、缓冲器620、处理器630和第二着色器640。第一着色器610对3D模型执行光着色。第二着色器640执行表面着色。在图1的示例中，光着色分辨率被设置为小于表面着色分辨率，这对使用空间相关性来减少光着色操作的冗余有益。伴随和/或代替图1的示例，在图6的示例中，使用时间相干性来减少光着色操作的冗余。

在一个示例中，执行光着色的第一着色器610在一些帧中省略执行光着色，而不是在所有帧中执行光着色。也就是说，第一着色器每N帧(N≥2)执行一次光着色。在省略的帧中，再次使用邻近帧的光着色结果。例如，第二着色器640以每秒预定数量的帧(FPS)执行表面着色。而第一着色器610以低于所述预定FPS的速率执行光着色。例如，可在具有奇数帧索引的帧中执行光着色，可在具有偶数帧索引的帧中再次使用相应结果。详细地，相比于表面着色，可以以相对较低的FPS执行光着色。光着色FPS的比率可变化。例如，为了快速运算处理，在动态场景中，光着色FPS减小。在明亮场景中，光着色FPS减小。此外，在包括更多数量的直接光或或采样的VPL的区间，光着色FPS减小。针对前述处理，缓冲器620将预定区间的光着色结果缓存。对光着色FPS的调整与图1描述的分辨率调整的示例兼容。因此，通过在调整FPS的同时自适应地调整分辨率，可有效地使用计算资源。也就是说，以减小的FPS执行光着色操作所需的计算资源量将少于以全FPS执行光着色操作所需的计算资源量。

随着或代替不同地设置光着色FPS和表面着色FPS，先前帧的结果可再次使用于光着色结果。再次使用是指例如基于缓冲器620中存储的预定数量的先前帧的光着色结果来调整当前帧的光着色。可通过以下操作获得当前帧的光着色结果：对若干先前帧的光着色结果求平均，计算若干先前帧的光着色结果的加权和，或对先前帧的结果进行内插或外插。通过这种处理，可显著减少由对VPL的采样中的改变而导致的闪烁。此外，在加权和中，通过将较大的权重分配给具有更接近的时间索引的帧(即，在时间上更接近于当前帧的帧)，可获得高相干性结果。处理器630通过将光着色结果与表面着色结果进行组合来产生针对场景的渲染结果图像。将参照图1至图8B描述前述处理。

图7至图8B示出执行光着色操作的处理的示例。

参照图7，当前帧T之前的两帧的光着色结果被缓存。帧T-2的光着色结果被延迟两帧并被输入到加法器。帧T-1的光着色结果711被延迟一帧并被输入到加法器。通过计算结果711、结果712和当前帧T的光着色结果710的加权和，将用于当前帧T的经过校准的光着色结果720被产生。处理器通过将当前帧T的表面着色结果730与经过校准的光着色结果720进行组合来获得结果图像740。光着色结果710、711和712的分辨率可等于表面着色结果730的分辨率。然而，在另一示例中，光着色结果710、711和712的分辨率可与表面着色结果730的分辨率不同。在该示例中，经过校准的光着色结果720是在获得加权和之后升级的结果。

参照图8A，示出相比于表面着色以较低的FPS执行光着色的示例。在该示例中，每两帧(即，每隔一帧)执行一次光着色。详细地，光着色FPS是表面着色FPS的一半。帧T-3的光着色结果813被再次用作帧T-2的光着色结果812。类似地，帧T-1的光着色结果811被再次用作帧T的光着色结果810。可通过将帧T-1的光着色结果811延迟一帧并将作为当前帧T的光着色结果810的延迟的光着色结果811与当前帧T的表面着色结果820进行组合来实施前述处理。通过组合，结果图像830被产生。光着色结果811和813的分辨率可与表面着色结果820的分辨率相同。然而，在另一示例中，光着色结果811和813的分辨率可与表面着色结果820的分辨率不同。在该示例中，在由处理器执行的乘法处理之前，光着色结果被升级。

在图8A的示例中，光着色FPS与表面着色FPS之比为1:2。然而，该比率可被不同地设置。该比率可基于场景特征改变，而非被设置并被保持为一个值。在上述示例中，相比于在静态场景中，在动态场景中光着色FPS的比率减小得更多，并且相比于在黑暗场景中，在明亮场景中光着色FPS的比率减小得更多。此外，在另一示例中，FPS比率根据上述采样的VPL的数量变化。

在另一示例中，可通过对像素进行分组并在不同的帧中随后更新组中的的像素来执行每帧的光着色。更具体地讲，在N帧中，每帧的像素被分组为具有N(N≥2)个像素的组，并且所述N个像素随后被更新，使得在所述N帧中的每帧中，所述N个像素中的不同像素被更新。参照图8B，示出针对多个帧受到光着色的像素。在该示例中，四个邻近像素b₀、b₁、b₂和b₃被分组为形成单个组。在帧T-3中，针对像素b₀执行光着色操作。像素b₀的光着色结果在与组中的像素的数量相应的后续帧中被再次使用。例如，实际上针对帧T-3中的像素b₀执行光着色操作，而相应结果在帧T-2、帧T-1和帧T中被再次使用。针对像素b₀的新的光着色操作在帧T+1中被执行。类似地，针对帧T-2中的像素b₁执行光着色操作，且相应结果在帧T-1、帧T和帧T+1中被再次使用。针对帧T-1中的像素b₂执行光着色操作，且相应结果在帧T、帧T+1和帧T+2中被再次使用。此外，针对帧T中的像素b₃执行光着色操作，且相应结果在帧T+1、帧T+2和帧T+3中被再次使用。针对像素b₃的新的光着色操作在帧T+4中被执行。也就是说，针对每个单个像素，每四帧执行一次光着色操作。因此，针对每个单个像素的光着色结果的像素更新速率为每四帧一次。相反，针对每个单个像素，在每帧中执行表面着色操作。因此，光着色结果的像素更新速率低于表面着色结果的像素更新速率。

图9和图10是示出图像处理方法的示例的流程图。

参照图9，在操作910中，光着色器以第一分辨率对3D模型执行光着色。在光着色中，可基于颜色、亮度和方向对多个直接光和/或VPL执行需要大计算复杂度的处理(例如，可见度检查)。然而，在该示例中，通过降低光着色分辨率和/或光着色FPS，可减小计算复杂度。在操作920中，表面着色器以第二分辨率对3D模型执行表面着色。例如，与光着色分辨率相应的第一分辨率可以是与表面着色分辨率相应的第二分辨率的一半分辨率或四分之一分辨率。当第一分辨率与第二分辨率不同时，在操作930中，调整分辨率。图3的描述也可应用于分辨率的差异，图4B和图4C的描述也可应用于分辨率调整。

在操作940中，处理器通过将在操作920中产生的表面着色结果与在操作910和920产生的分辨率被调整的光着色结果进行组合，来产生结果图像。参照图1至图5提供的描述也可应用于前述处理。因此，为了简明，将省略重复描述。

参照图10，将描述在光着色分辨率和/或光着色FPS的调整中反映场景特征的示例。在操作1010中，分析场景特征。除了分析场景特征之外，可一起分析其它因素(例如，VPL采样率)。例如，场景是动态场景还是静态场景，场景的整体亮度是高还是低，或者采样的VPL的数量可作为场景特征被分析。在操作1020中，基于分析的场景特征确定光着色将被执行的第一分辨率。例如，但是不限于此，关于场景特征，相比于在静态场景中，在动态场景中第一分辨率被确定为较小的值。此外，相比于在黑暗场景中，在明亮场景中第一分辨率被确定为较小的值。此外，如上所述，在包括较大量的采样的VPL的场景中，第一分辨率被确定为较小的值。

虽然在图10中未示出，但是除了分辨率调整或代替分辨率调整，可执行调整光着色FPS的操作。例如，基于在操作1010中分析的场景特征，相比于在静态场景中，在动态场景中光着色FPS被调整为较小的值，相比于在黑暗场景中，在明亮场景中光着色FPS被调整为较小的值。此外，随着较大量的VPL被采样，光着色FPS被确定为较小的值。参照图1至图8B提供的描述也可应用于图10的示例。因此，为了简明，将省略重复描述。

图1和图6中的执行这里针对图1至图10描述的操作的第一着色器110和610、第二着色器120和640、处理器130和630以及缓冲器620由硬件组件来实现。硬件组件的示例包括控制器、发生器、驱动器、存储器、比较器、算数逻辑单元、加法器、减法器、乘法器、除法器、积分器和本领域普通技术人员已知的任何其它电子组件。在一个示例中，硬件组件由计算硬件(例如，由一个或更多个处理器或计算机)来实现。处理器或计算机由一个或更多个处理元件(诸如逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或本领域普通技术人员已知的能够以定义的方式响应并运行指令以实现期望的结果的任何其它装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或被连接到存储由处理器或计算机运行的指令或软件的一个或更多个存储器。由处理器或计算机实现的硬件组件运行指令或软件(诸如操作系统(OS)和运行在OS上的一个或更多个软件应用)，以执行这里针对图1至图10描述的操作。硬件组件还响应于指令或软件的运行来访问、操纵、处理、创建和存储数据。为了简化，可在这里描述的示例的描述中使用单数术语“处理器”或“计算机”，但在其它示例中，使用多个处理器或计算机，或者处理器或计算机包括多个处理元件或多种类型的处理元件或者包括两者。在一个示例中，硬件组件包括多个处理器，而在另一示例中，硬件组件包括处理器和控制器。硬件组件具有不同处理构造中的任何一个或更多个，硬件组件的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理设备、单指令多数据(SIMD)多处理设备、多指令单数据(MISD)多处理设备和多指令多数据(MIMD)多处理设备。

图9和图10中示出的执行这里针对图1至图10描述的操作的方法由如上所述的运行指令或软件以执行这里描述的操作的处理器或计算机来实现。

用于控制处理器或计算机实现硬件组件并执行上述方法的指令或软件被写为计算机程序、代码段、指令或它们的任意组合，以用于独立地或共同地指示或配置处理器或计算机如机器或专用计算机一样操作以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由处理器或计算机直接执行的机器代码，诸如由编译器产生的机器代码。在另一示例中，指令或软件包括由处理器或计算机使用解释器执行的更高级代码。本领域普通编程员可基于公开了用于执行由硬件组件执行的操作和如上所述的方法的算法的附图中示出的框图和流程图以及说明书中的相应描述容易地编写指令或软件。

用于控制处理器或计算机实现硬件组件并执行上述方法的指令或软件以及任何关联的数据、数据文件和数据结构被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘和本领域普通技术人员已知的能够以非暂时性方式存储指令或软件以及任何关联的数据、数据文件和数据结构并将指令或软件以及任何关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机可运行指令的任何装置。在一个示例中，软件或指令以及任何关联的数据、数据文件和数据结构分布在网络连接的计算机系统上，从而通过处理器或计算机以分布方式存储、访问和执行指令和软件以及任何关联的数据、数据文件和数据结构。

虽然本公开包括特定示例，但是本领域普通技术人员将清楚，在不脱离权利要求及其等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种改变。这里描述的示例仅被考虑为描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述将被认为可应用于其它示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合和/或被其它组件或其等同物代替或补充，则可实现合适的结果。因而，本公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且权利要求及其等同物的范围内的所有改变均被解释为包括在本公开中。

Claims (32)

1.一种图像处理设备，包括：

第一着色器，被配置为以第一分辨率对三维模型执行与至少一个光源相关联的光着色操作，以获得第一分辨率的光着色结果；

第二着色器，被配置为以与第一分辨率不同的第二分辨率对三维模型执行表面着色操作，以获得第二分辨率的表面着色结果；

处理器，被配置为通过将第一分辨率的光着色结果与第二分辨率的表面着色结果进行组合来产生渲染结果。

2.如权利要求1所述的图像处理设备，其中，第一分辨率低于第二分辨率。

3.如权利要求2所述的图像处理设备，其中，处理器还被配置为：将第一分辨率的光着色结果升级为具有与第二分辨率相等的分辨率以获得升级的光着色结果，并通过将升级的光着色结果与表面着色结果进行组合来产生渲染结果。

4.如权利要求2所述的图像处理设备，其中，第一分辨率与隔行方案相应，单帧分辨率为第二分辨率的一半。

5.如权利要求1所述的图像处理设备，其中，第一着色器还被配置为：相比于在静态场景中，在动态场景中将第一分辨率降低得更多。

6.如权利要求1所述的图像处理设备，其中，第一着色器还被配置为：相比于在具有相对低亮度的场景中，在具有相对高亮度的场景中将第一分辨率降低得更多。

7.如权利要求1所述的图像处理设备，其中，第一着色器还被配置为：在执行光着色操作中考虑间接光，并且随着在光着色操作中考虑的间接光的数量的增加而降低第一分辨率。

8.一种图像处理设备，包括：

第一着色器，被配置为在包括第一帧的多个帧中对三维模型执行与至少一个光源相关联的光着色操作，以获得所述多个帧的光着色结果；

第二着色器，被配置为在第一帧中对三维模型执行表面着色操作，以获得第一帧的表面着色结果；

处理器，被配置为将所述多个帧的光着色结果进行组合以获得组合的光着色结果，并通过将组合的光着色结果与第一帧的表面着色结果进行组合来产生渲染结果。

9.如权利要求8所述的图像处理设备，还包括：缓冲器，被配置为对第一帧之前的预定数量的帧的光着色结果进行缓存，并将缓存的光着色结果提供给处理器；

其中，处理器还被配置为：将缓存的光着色结果与第一帧的光着色结果进行组合以获得组合的光着色结果。

10.如权利要求9所述的图像处理设备，其中，处理器还被配置为：在获得组合的光着色结果的操作中对缓存的光着色结果进行内插或外插。

11.如权利要求8所述的图像处理设备，其中，第一着色器还被配置为：以第一分辨率执行光着色操作；

第二着色器还被配置为：以与第一分辨率不同的第二分辨率执行表面着色操作。

12.如权利要求11所述的图像处理设备，其中，第一分辨率低于第二分辨率。

13.如权利要求8所述的图像处理设备，其中，处理器还被配置为：计算所述多个帧的光着色结果的加权和，以获得组合的光着色结果。

14.一种图像处理设备，包括：

第一着色器，被配置为在第一帧之前的至少一帧中对三维模型执行与至少一个光源相关联的光着色操作，以获得针对所述至少一帧的光着色结果；

第二着色器，被配置为在第一帧中对三维模型执行表面着色操作，以获得针对第一帧的表面着色结果；

处理器，被配置为通过将针对所述至少一帧的光着色结果与针对第一帧的表面着色结果进行组合来产生针对第一帧的渲染结果。

15.如权利要求14所述的图像处理设备，其中，第一着色器还被配置为每两帧执行一次光着色操作。

16.如权利要求14所述的图像处理设备，其中，第一着色器还被配置为：以第一分辨率执行光着色操作；

第二着色器还被配置为：以与第一分辨率不同的第二分辨率执行表面着色操作。

17.如权利要求14所述的图像处理设备，其中，第一着色器还被配置为：将每帧的像素分组为多组像素，并针对连续帧中的每组中的像素顺序地执行光着色操作，使得光着色操作是针对每个连续帧中的每组中的像素中的不同像素执行的。

18.如权利要求17所述的图像处理设备，其中，第一着色器还被配置为：在每个连续帧中针对每组中未执行光着色操作的每个像素，再次使用先前帧的光着色结果。

19.一种图像处理设备，包括：

第一着色器，被配置为通过以下操作在多个帧中对三维模型执行光着色操作：将每帧的像素分组为多组像素，针对连续帧中的每组中的像素顺序地执行光着色操作，使得光着色操作是针对每个连续帧中的每组中的像素中的不同像素执行的，并在每个连续帧中针对每组中未执行光着色操作的每个像素，再次使用先前帧的光着色结果；

第二着色器，被配置为在每帧中对三维模型执行表面着色操作，以获得表面着色结果；

处理器，被配置为通过将光着色结果与表面着色结果进行组合来产生渲染结果。

20.一种包括至少一个处理器的图像处理设备的图像处理方法，所述方法包括：

使用所述至少一个处理器以第一分辨率对三维模型执行与至少一个光源相关联的光着色操作，以获得第一分辨率的光着色结果；

使用所述至少一个处理器以比第一分辨率高的第二分辨率对三维模型执行表面着色操作，以获得第二分辨率的表面着色结果；

使用所述至少一个处理器通过将第一分辨率的光着色结果与第二分辨率的表面着色结果进行组合来产生渲染结果。

21.如权利要求20所述的图像处理方法，还包括：将第一分辨率的光着色结果调整为具有与第二分辨率相等的分辨率，以获得调整后的光着色结果；

其中，产生渲染结果的步骤包括：通过将调整后的光着色结果与表面着色结果进行组合来产生渲染结果。

22.如权利要求20所述的图像处理方法，还包括：

分析将被渲染的场景的特征；

基于分析出的场景的特征来自适应地调整第一分辨率。

23.如权利要求22所述的图像处理方法，其中，场景的特征为帧间差异；

调整第一分辨率的步骤包括：基于分析出的帧间差异，相比于在静态场景中，在动态场景中将第一分辨率降低得更多。

24.如权利要求22所述的图像处理方法，其中，场景的特征为场景亮度；

调整第一分辨率的步骤包括：基于分析出的场景亮度，相比于在具有相对低亮度的场景中，在具有相对高亮度的场景中将第一分辨率降低得更多。

25.如权利要求22所述的图像处理方法，其中，执行与至少一个光源相关联的光着色操作的步骤包括：在执行光着色操作中考虑间接光；

场景的特征是在执行光着色操作中考虑的间接光的数量；

调整第一分辨率的步骤包括：基于分析出的间接光的数量，随着在光着色操作中考虑的间接光的数量的增加而降低第一分辨率。

26.一种图像处理设备，包括：

第一着色器，被配置为对三维模型执行光着色操作以获得具有第一特征的光着色结果；

第二着色器，被配置为对三维模型执行表面着色操作以获得具有第二特征的表面着色结果，其中，第二特征与第一特征种类相同但是量不同；

处理器，被配置为通过将光着色结果与表面着色结果进行组合来产生渲染结果。

27.如权利要求26所述的图像处理设备，其中，第一着色器执行光着色操作以获得具有第一特征的光着色结果所需的计算资源量小于第一着色器执行光着色操作以获得具有第二特征的光着色结果所将需要的计算资源量。

28.如权利要求26所述的图像处理设备，其中，第一特征为第一分辨率，第二特征为大于第一分辨率的第二分辨率。

29.如权利要求26所述的图像处理设备，其中，第一特征为第一帧率，第二特征为大于第一帧率的第二帧率。

30.如权利要求29所述的图像处理设备，其中，第一着色器还被配置为：每N帧执行一次光着色操作，并在所述N帧中的没有执行光着色操作的每帧中再次使用先前光着色结果，其中，N≥2；

第二着色器还被配置为：在所述N帧中的每帧中执行表面着色操作。

31.如权利要求26所述的图像处理设备，其中，第一特征为第一像素更新速率，第二特征为大于第一像素更新速率的第二像素更新速率。

32.如权利要求31所述的图像处理设备，其中，第一着色器还被配置为：将每帧的像素分组为每组包含N个像素的多组像素，每N帧针对每组中的每个像素执行一次光着色操作，使得光着色操作是针对所述N帧中的每帧中的所述N个像素中的不同像素执行的，并在所述N帧中的每帧中针对每组中未执行光着色操作的每个像素，再次使用先前帧的光着色结果，其中，N≥2；

第二着色器还被配置为针对所述N帧中的每帧中的每个像素执行表面着色操作。