CN105096375B - 图像处理方法和设备 - Google Patents

Abstract

本发明公开了一种图像处理方法和设备。提供了一种用于渲染三维(3D)模型的图像处理方法和设备，其中，所述图像处理设备可被配置为针对当前帧的每个区域确定虚拟点光源(VPL)样本的数量；将在前一帧中采样的VPL应用到当前帧；基于确定的VPL样本的数量，调整应用的结果；基于对应用的结果的调整，渲染当前帧。

Description

图像处理方法和设备

本申请要求于2014年5月9日提交到韩国知识产权局的第10-2014-0055875号韩国专利申请以及于2014年12月23日提交到韩国知识产权局的第10-2014-0187465号韩国专利申请的优先权权益，所述韩国专利申请的全部内容通过引用完整地包含于此。

技术领域

示例实施例涉及用于渲染图像的图像处理技术。

背景技术

在包括三维(3D)游戏、虚拟现实(VR)动画片、电影等的各种领域中，对3D模型的实时渲染的兴趣逐渐增加。在3D渲染技术中，利用全局照明的辐射度着色(radiosity)方法可以是这样的方法：通过不仅应用由包括在3D模型中的直接光源进行的直接照明，而且应用例如由对象反射的直接照明产生的漫反射或者反射光的效果，来进行渲染。

发明内容

一些示例实施例涉及一种图像处理方法。

在一些示例实施例中，所述图像处理方法可包括：针对当前帧的每个区域确定虚拟点光源(VPL)样本的数量；将在前一帧中采样的VPL应用到当前帧；基于确定的VPL样本的数量，调整应用的结果；基于对应用的结果的调整，渲染当前帧。

调整的步骤可包括：基于确定的VPL样本的数量，调整针对前一帧的VPL被应用到的当前帧的每个区域采样的VPL的数量。

调整的步骤可包括：对除了被应用到当前帧的VPL之外的至少一个新的VPL进行采样，以便满足确定的VPL样本的数量。

采样的步骤可包括：基于新的VPL将被采样的区域的亮度分布，确定新的VPL将被采样的位置。

采样的步骤可包括：在新的VPL将被采样的区域中随机确定新的VPL将被采样的位置。

采样的步骤可包括：基于包括在当前帧中的对象的运动和对象的材料特性中的至少一个，确定新的VPL将被采样的位置。

调整的步骤可包括：从应用到当前帧的VPL中移除至少一个VPL，以便满足确定的VPL样本的数量。

移除的步骤可包括：基于应用到当前帧的VPL的亮度，从应用到当前帧的VPL中确定将被移除的VPL。

确定的步骤可包括：在当前帧中设置多个对象区域；针对每个设置的对象区域确定VPL样本的数量。

确定的步骤可包括：在当前帧中设置多个网格区域；针对每个设置的网格区域确定VPL样本的数量。

应用的步骤可包括：在当前帧中与在前一帧中采样的每个VPL的位置对应的位置对VPL进行采样。

应用的步骤可包括：利用视点矩阵、投影矩阵和模型矩阵中的至少一个将在前一帧中采样的VPL应用到当前帧。

所述图像处理方法还可包括：对当前帧执行空间滤波。

调整的步骤可包括：基于在前一帧中采样的VPL的亮度，调整在当前帧中采样的VPL的亮度。

确定的步骤可包括：针对在当前帧中设置的每个网格区域确定VPL样本的数量；调整的步骤可包括：基于确定的VPL样本的数量，调整针对当前帧的每个网格区域采样的VPL的数量。

确定的步骤可包括：基于关于每个网格区域的亮度信息，针对每个网格区域确定VPL样本的数量。

调整的步骤可包括：基于确定的VPL样本的数量，针对在前一帧中采样的VPL被应用到的当前帧的每个网格区域调整VPL的数量。

其他示例实施例涉及一种图像处理设备。

在一些示例实施例中，所述图像处理设备可包括：VPL密度确定器，被配置为针对当前帧的每个区域确定VPL样本的数量；VPL采样器，被配置为将在前一帧中采样的VPL应用到当前帧，并且基于确定的VPL样本的数量来调整应用的结果；渲染器，被配置为基于对应用的结果的调整来渲染当前帧。

所述图像处理设备还可包括：时间滤波执行器，被配置为基于在前一帧中采样的VPL的亮度来调整在当前帧中采样的VPL的亮度。

所述图像处理设备还可包括：空间滤波执行器，被配置为通过将空间滤波器应用到当前帧来执行空间滤波。

VPL采样器可被配置为基于确定的VPL样本的数量，针对在前一帧中采样的VPL被应用到的当前帧的每个区域调整VPL的数量。

其他示例实施例涉及一种图像处理设备。

在一些示例实施例中，所述图像处理设备可包括：VPL密度确定器，被配置为针对当前帧的每个网格区域确定VPL样本的数量；VPL采样器，被配置为基于确定的VPL样本的数量，针对每个网格区域对VPL进行采样；渲染器，被配置为基于在当前帧中采样的VPL渲染当前帧。

示例实施例的另外方面将在以下描述中被部分地阐述，并且部分地通过描述将变得清楚，或者可通过本公开的实践而了解。

附图说明

通过下面结合附图对示例实施例进行的描述，这些和/或其他方面将会变得清楚和更易于理解，其中：

图1示出根据示例实施例的图像处理设备；

图2至图4示出根据示例实施例的在当前帧中对虚拟点光源(VPL)进行采样的示例；

图5至图7示出根据示例实施例的利用重要性图(importance map)在当前帧中对VPL进行采样的示例；

图8至图11示出根据示例实施例的在当前帧中对VPL进行采样的其他示例；

图12示出根据示例实施例的图像处理方法的示例。

具体实施方式

以下，将参照附图对一些示例实施例进行详细的描述。关于在附图中指定给元件的参考标号，应该注意的是，相同的元件将由相同的参考标号指定，只要有可能，即使它们在不同的附图中示出也是如此。此外，在对实施例的描述中，当对公知的相关结构或者功能的详细描述被认为会导致对本公开的模糊解释时，该详细描述将被省略。

然而，应该理解的是，没有意图将本公开局限于公开的特定示例实施例。相反，示例实施例覆盖落在示例实施例的范围内的所有的修改、等同物和替代物。在整个附图的描述中，相同的标号始终表示相同的元件。

这里使用的术语仅为了描述特定实施例的目的，而不意图进行限制。如这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。还应理解的是，当在这里使用术语“包含”和/或“包括”时，说明存在陈述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。

还应该注意的是，在一些可选择的实施方式中，指出的功能/行为可不按附图中指出的顺序出现。例如，根据所涉及的功能/行为，连续示出的两张图可实际上可基本同时被执行或者有时可以以相反的顺序被执行。

现在将参照示出一些示例实施例的附图，更全面地对各种示例实施例进行描述。在附图中，为了清楚起见，可夸大层和区域的厚度。

图1示出根据示例实施例的图像处理设备100的配置。

图像处理设备100可渲染二维(2D)图形或三维(3D)图形。图像处理设备100可渲染利用图像帧来表现的图像空间，并且输出渲染结果图像。图像处理设备100可在诸如游戏、电影、用户界面、虚拟现实、增强现实等的领域中执行3D渲染。

图像处理设备100可将用于表现诸如光反射、折射、衍射的自然现象的虚拟点光源(VPL)排列在当前帧的图像空间中，以在图形渲染中实现全局照明效果。与直接将光发射到图像空间的直接光源相比，VPL可以是考虑从直接光源发射的光被反射、折射、衍射的现象的虚拟光源。VPL还可被称为例如间接光源。VPL的采样可以是例如在由图像帧表示的图像空间中确定VPL将被排列的区域的操作。图像处理设备可基于VPL被排列的区域作为中心，将间接光效果应用到图像空间。基于在图像空间中VPL被排列的区域，可在渲染结果图像中不同地实现照明效果。

图像处理设备100可基于前一帧的VPL采样结果在当前帧中对VPL进行采样。当前帧可以是当前执行渲染且在时间上与前一帧连续的图像帧。前一帧可以是例如早于当前帧提供的图像帧，并且可具有早于当前帧的VPL采样的VPL。

图像处理设备100可基于关于前一帧的VPL信息将在前一帧中采样的VPL应用到当前帧，然后基于当前帧的亮度分布来调整应用的结果。关于前一帧的VPL信息可包括例如关于在前一帧的光视点渲染图像中采样的VPL的信息和基于光线追踪方案获得的关于光线碰撞位置的信息。

图像处理设备100可基于前一帧的VPL采样结果来对当前帧的VPL进行采样，从而避免闪烁的出现并减少资源。例如，图像处理设备100可基于在前一帧使用的针对每个VPL的阴影图，在当前帧中对VPL进行采样。图像处理设备100可考虑当前帧的光照环境，基于当前帧的亮度分布来对VPL进行采样，从而输出具有高分辨率的渲染结果图像。以下，将参照以下描述对图像处理设备100的操作进行解释。

参照图1，图像处理设备100包括VPL密度确定器120、VPL采样器130和渲染器150。

VPL密度确定器120可确定用于当前帧的每个区域的VPL样本的数量。在本公开中，VPL样本的数量可表示在当前帧的预定区域中将被采样的VPL的数量。VPL样本的数量还可表示例如在像素区域或者像素组区域中将被采样的VPL的数量。多个VPL可在单个像素区域中被采样，像素组区域可表示例如包括在当前帧中的边界框区域、网格区域和对象区域。

VPL密度确定器120可基于例如对象的形状信息、直接光源的方向、直接光源的位置、视点和当前帧的亮度信息，确定用于当前帧的每个区域的VPL样本的数量。VPL密度确定器120可给在当前帧具有相对高的亮度的区域分配更多数量的VPL样本。可选择地，VPL密度确定器120可基于与关于对象的形状信息对应的法线信息(即，关于对象的表面的法线的信息)来确定VPL样本的数量。VPL密度确定器120可对当前帧中的预定区域的亮度值和正常值中的每个应用权重，获得应用的结果的总和，然后针对与相对大的总和对应的区域设置更高的VPL将被采样的采样概率。也就是说，针对预定区域的总和越大，在所述预定区域中对VPL进行采样的概率越大；针对预定区域的总和越小，在所述预定区域中对VPL进行采样的概率越小。以下，VPL将被采样的概率还可被称为采样概率。VPL密度确定器120可基于针对当前帧的每个区域设置的采样概率，针对当前帧的每个区域确定VPL样本的数量。

VPL密度确定器120可利用例如重要性采样方案，基于亮度分布来确定VPL样本的数量。在重要性采样方案中，与具有相对低的亮度的区域相比，可针对在当前帧中具有相对高的亮度的区域，设置更高的采样概率。

VPL采样器130可在当前帧中对VPL进行采样。VPL采样器130可将在前一帧中采样的VPL应用或者投射到当前帧。VPL采样器130可基于针对当前帧的每个区域确定的VPL样本的数量来调整针对前一帧的VPL被应用到的当前帧的每个区域采样的VPL的数量。

例如，VPL采样器130可在前一帧的VPL被应用到的当前帧中另外对新的VPL进行采样。可选择地，VPL采样器130可维持或者移除被投射到当前帧上的前一帧的VPL。VPL采样器130可基于从前一帧应用到当前帧的每个VPL的重要性在当前帧中重新排列VPL。

VPL采样器130可通过将在前一帧中采样的VPL投射到当前帧上来产生针对当前帧的VPL采样结果。此外，VPL采样器130可考虑光照环境，通过另外对新的VPL进行采样来确定针对当前帧设置的全部VPL。当前一帧与当前帧之间的光照环境的差异相对较小时，可不需要对没有在前一帧中采样的新的VPL进行采样。在该示例中，可省略在当前帧中对新的VPL采样的额外的过程。

在满足针对当前帧的每个区域确定的VPL样本的数量的范围内，VPL采样器130可不对新的VPL进行采样，并且可在前一帧的VPL被投射到的当前帧的区域中对VPL进行采样。通过将前一帧的VPL采样结果应用到当前帧，可最小化在时间上连续的图像帧的VPL中发生的位置变化，从而可减少闪烁的出现。

当前一帧具有与当前帧相同的亮度分布时，可针对前一帧和当前帧的每个区域确定相同数量的VPL样本。在该示例中，可在当前帧与前一帧之间的相同的位置对VPL进行采样。相反地，当前一帧的亮度分布与当前帧的亮度分布不同时，可针对前一帧和当前帧的每个区域确定不同数量的VPL样本。在该示例中，可重新排列被应用到当前帧的前一帧的VPL。

与在当前帧中采样的VPL相关联的信息可用于在时间上与当前帧连续的后续帧的VPL采样处理。

在另一个示例中，图像处理设备100可包括空间滤波执行器110和时间滤波执行器140中的至少一个。

空间滤波执行器110可在当前帧中对VPL进行采样之前对当前帧执行空间滤波。当预定的VPL的位置、颜色或者正常特性在帧与帧之间剧烈改变时，会出现闪烁。为了减小闪烁的影响，空间滤波执行器110可减小关于预定的VPL的位置、颜色或者正常特性的空间不连续性。作为示例，空间滤波执行器110可将高斯核函数(Gaussian kernel)应用到当前帧并且对对象或者图像空间中具有剧烈变化的区域进行滤波，从而防止帧与帧之间的VPL特性上的剧烈变化。然而，可使用本领域普通技术人员公知的能够执行空间滤波的任何其他核函数。VPL密度确定器120可针对当前帧的每个区域确定VPL样本的数量。

时间滤波执行器140可在当前帧中完成VPL采样之后对当前帧执行时间滤波。时间滤波执行器140可基于前一帧的VPL的亮度来调整在当前帧中采样的VPL的亮度，以防止前一帧与当前帧之间的亮度上的剧烈变化。

渲染器150可利用在当前帧中采样的VPL来渲染当前帧，并且输出渲染结果图像。例如，渲染器150可将采样的VPL排列在当前帧的图像空间中，并且输出通过应用由VPL引起的间接光效果产生的渲染结果图像。

以下，将参照以下描述提供如下的另一个示例：图像处理设备100基于关于当前帧的亮度信息针对当前帧的每个网格区域对VPL进行采样，来代替将前一帧的VPL采样结果应用到当前帧。在该示例中，图像处理设备100可包括VPL密度确定器120、VPL采样器130和渲染器150。

VPL密度确定器120可针对当前帧的每个网格区域确定VPL样本的数量。VPL密度确定器120可基于当前帧中的网格区域的亮度分布，针对每个网格区域确定VPL样本的数量。例如，VPL密度确定器120可确定VPL样本的数量，以便在具有更高亮度的网格区域对更多数量的VPL进行采样。此外，VPL密度确定器120可针对每个网格区域确定平均亮度值，并且可将与平均亮度值对应的VPL样本的预定数量确定为针对每个网格区域的VPL样本的数量。

VPL采样器130可基于针对每个网格区域确定的VPL样本的数量，在当前帧的网格区域中对VPL进行采样。渲染器150可基于在当前帧中采样的VPL来渲染当前帧，并且输出渲染结果图像。图像处理设备100可执行基于网格区域的VPL采样，从而以增加的速率在当前帧中对VPL进行采样。

图2至图4示出根据示例实施例的在当前帧中对VPL进行采样的示例。

参照图2，前一帧200包括三个对象区域，例如，第一对象区域210、第二对象区域220、第三对象区域230。在前一帧200中，可在第一对象区域210中对VPL 212、VPL 214和VPL216进行采样，可在第二对象区域220中对VPL 222和VPL 224进行采样，可在第三对象区域230中对VPL 232进行采样。

参照图3，前一帧200的VPL采样结果可被应用到当前帧300。当前帧300包括分别与前一帧200的第一对象区域210和第三对象区域230对应的第一对象区域320和第三对象区域310。前一帧200的第二对象区域220可不在当前帧中被表示，第四对象区域330可被新包括在当前帧300中。

VPL采样器130可在与在前一帧200中对VPL 212、VPL 214、VPL 216、VPL 222、VPL224和VPL 232进行采样的位置对应的位置对VPL进行采样。由于前一帧200的VPL采样结果被应用到当前帧300，因此在前一帧200的第一对象区域210中采样的VPL 212、VPL 214和VPL 216可被投射到当前帧300的第一对象区域320上作为VPL 322、VPL 324和VPL 326。此外，在前一帧200的第三对象区域230中采样的VPL 232可被投射到当前帧300的第三对象区域310上作为VPL 312。然而，当前帧300不包括与前一帧的第二对象区域220对应的对象区域，因此在前一帧的第二对象区域220中采样的VPL 222和VPL 224不被投射到当前帧300上。

VPL采样器130可基于转换矩阵(诸如视点矩阵、投影矩阵、针对每个对象的模型矩阵等)将在前一帧200中采样的VPL 212、VPL 214、VPL 216、VPL 222、VPL 224和VPL 232投射到当前帧上。VPL采样器130可基于例如关于前一帧200的VPL采样信息和将当前帧300的视点矩阵与前一帧200的视点矩阵的逆矩阵相乘的结果，将在前一帧200中采样的VPL 212、VPL 214、VPL 216、VPL 222、VPL 224和VPL 232投射到当前帧300上。此外，VPL采样器130可基于针对每个对象的模型矩阵，将前一帧200的VPL采样信息应用到当前帧300。在该示例中，前一帧200的VPL采样信息可与运动被感测到的动态对象相关。

在当前帧300中，与前一帧200的第二对象区域220对应的对象区域可不被表示，从而在第二对象区域220中采样的VPL 222和VPL 224可不被投射到当前帧300上。

在视点、全局亮度或局部亮度等方面，当前帧300可与前一帧200不同。此外，与前一帧200相比，新对象可被添加到当前帧300，现有的对象可在当前帧300中改变位置。为了最小化上述的因素的影响，图像处理设备可调整应用前一帧200的VPL采样结果的当前帧300的VPL采样结果。VPL采样器130可对除了应用到当前帧300的前一帧200的VPL之外的新的VPL进行采样，以便满足针对当前帧300的每个对象区域确定的VPL样本的数量。

图4示出调整应用到当前帧300的前一帧200的VPL采样结果的结果。VPL密度确定器120可针对在当前帧300中表示的每个对象设置对象区域，例如，第一对象区域320、第三对象区域310、第四对象区域330。此外，VPL密度确定器120可基于对象区域的亮度分布，针对每个对象区域确定VPL样本的数量。VPL密度确定器120可针对当前帧300中的每个对象区域确定VPL样本的数量，以便例如在具有更高亮度的对象区域中对更多数量的VPL进行采样。VPL采样器130可在应用前一帧200的VPL采样结果的当前帧300中调整针对每个对象区域采样的VPL的数量，以便满足针对每个对象区域确定的VPL样本的数量。

在图4中，针对第一对象区域320确定的VPL样本的数量可以是“1”，针对第三对象区域310确定的VPL样本的数量可以是“3”，针对第四对象区域330确定的VPL样本的数量可以是“2”。

当从前一帧200应用到当前帧的预定区域的VPL的数量大于针对对应的区域确定的VPL样本的数量时，VPL采样器130可从应用的VPL中移除至少一个VPL，以便满足针对对应的区域确定的VPL样本的数量。如图3所示，虽然在当前帧300的第一对象区域320中将对一个VPL进行采样，但是响应于从前一帧200应用的VPL采样结果，可表示三个VPL，例如，第一对象区域320的VPL 322、VPL 324和VPL 326。因此，VPL采样器130可从第一对象区域320移除三个VPL中的两个。VPL采样器130可通过利用基于预定因素的概率函数、随机函数或者VPL(例如，从前一帧200应用到第一对象区域320的VPL 322、VPL 324和VPL 326)的亮度来确定将被移除的VPL。

作为示例，基于VPL 322、VPL 324和VPL 326的亮度，VPL采样器130可优先移除具有相对较低的亮度值的VPL。基于随机函数，VPL采样器130可随机确定将从VPL 322、VPL324和VPL 326中被移除的VPL。图4示出通过从VPL 322、VPL 324和VPL 326中移除VPL 324和VPL 326获得的结果。

作为示例，VPL采样器130可基于第一对象区域320的亮度分布来移除包括在具有相对较低的亮度的区域中的VPL 324和VPL 326。作为另一个示例，VPL采样器130可利用例如随机函数来移除从第一对象区域320的VPL322、VPL 324和VPL 326中随机选择的VPL。

如图3所示，虽然在当前帧300的第三对象区域310中将对三个VPL进行采样，但是响应于从前一帧200应用的VPL采样结果，可表示一个VPL，例如，第三对象区域310的VPL312。因此，VPL采样器130可在第三对象区域310中另外对两个新的VPL进行采样。VPL采样器130可在维持通过投射前一帧200的VPL 232在当前帧300中获得的VPL 312的同时对两个新的VPL进行采样。

作为示例，VPL采样器130可基于第三对象区域310的亮度分布，在第三对象区域310中另外对VPL 412和VPL 414进行采样。VPL采样器130可利用重要性采样方案，基于第三对象区域310中的亮度优先级来另外对VPL412和VPL 414进行采样。在该示例中，VPL采样器130可针对在当前帧300中VPL 232被投射到的VPL 312的区域设置相对较低的采样概率，以使新的VPL不在VPL 312的区域中被采样。作为另一个示例，VPL采样器130可在第三对象区域中随机确定将被采样的两个新的VPL的位置，并且可在确定的位置对VPL 412和VPL 414进行采样。作为另一个示例，当前帧300的对象区域(例如，第三对象区域310、第一对象区域320、第四对象区域330)可被分层配置，并且VPL采样器130可在包括在新的VPL将被采样的第三对象区域310中的每个子区域的中心位置对新的VPL进行采样。

由于两个VPL样本被新添加到当前帧300中的第四对象区域330，因此VPL采样器130可在第四对象区域330中对两个VPL 432和434进行采样。可利用与在第三对象区域310中另外采样的VPL 412和VPL 414类似的方法，在第四对象区域330中对VPL 432和VPL 434进行采样。例如，VPL采样器130可在基于随机函数随机确定的位置或者在基于第四对象区域330的亮度分布确定的位置对VPL 432和VPL 434进行采样。

图5至图7示出根据示例实施例的利用重要性图在当前帧中对VPL进行采样的示例。

在基于重要性采样方案对VPL进行采样的处理中，VPL采样器130可利用应用与前一帧相关联的VPL信息的重要性图，在当前帧中另外对新的VPL进行采样。在重要性采样的处理中，可以以基于像素的亮度确定重要性的重要性图的形式提供概率分布。重要性图可包括关于针对当前帧的每个区域的采样概率的信息。在基于重要性图的概率分布中，具有相对较高的概率的区域可具有高的采样概率。VPL采样器130可通过将VPL采样结果应用到当前帧的重要性图来调整针对当前帧的每个区域采样的VPL的数量。

图5示出VPL采样结果被投射到的当前帧500。第一对象区域510和第二对象区域520被包括在由当前帧500表示的图像空间中。可在第一对象区域510中对与在前一帧中采样的两个VPL对应的VPL 512和VPL 514进行采样，可在第二对象区域520中对与在前一帧中采样的VPL对应的VPL 522进行采样。

图6示出基于重要性图的VPL采样的操作。在当前帧500的重要性图中，VPL采样器130可调整前一帧的VPL被投射到的区域612、614和622和区域612、614和622的邻近区域的采样概率。

在当前帧中对VPL进行采样的处理中，为了增加或者减小在投射到当前帧500的重要性图上的前一帧的VPL的3D位置的采样概率，VPL采样器130可调整3D位置的重要性值。例如，VPL采样器130可将区域612、614和622的采样概率设置为“0”，以使新的VPL不被采样。此外，VPL采样器130可利用预定的核函数来调整区域612、614和622的邻近区域的采样概率。VPL采样器130可基于采样概率被调整的重要性图来执行重要性采样方案。VPL采样器130可在当前帧500中确定新的VPL将被添加到的区域，来代替前一帧的VPL被投射到的区域。

当小于原始概率值的概率值被设置为与前一帧的VPL的位置对应的区域612、614和622的概率值时，区域612、614和622的采样概率可以相对较低。在该示例中，除了投射到当前帧500上的前一帧的VPL之外，可在当前帧500中对新的VPL进行采样。VPL采样器130可通过使投射到当前帧500上的前一帧的VPL与另外采样的VPL结合来确定当前帧500的全部VPL集合。

图7示出基于针对在当前帧500中的每个对象区域确定的VPL样本的数量调整的当前帧500的VPL采样结果。如图7所示，新的VPL 724可在当前帧500中的第二对象区域520中被另外采样，并且与从前一帧投射的VPL 512对应的VPL可从当前帧500的第一对象区域510被移除。

图8至图11示出根据示例实施例的在当前帧中对VPL进行采样的其他示例。

参照图8至图11，VPL密度确定器120可将当前帧的像素区域划分为均具有规则或者不规则形状的多个网格区域，并且针对每个网格区域确定VPL样本的数量。VPL密度确定器120可基于针对每个网格区域的亮度分布来确定针对每个网格区域的VPL样本的最佳数量。

VPL采样器130可基于针对每个网格区域确定的VPL样本的数量来调整在前一帧的VPL被应用到的当前帧中采样的VPL的数量。VPL采样器130可将VPL样本的数量与从前一帧投射到当前帧上的VPL的数量进行比较。基于比较的结果，VPL采样器130可调整在当前帧的网格区域中采样的VPL的数量。例如，VPL采样器130可维持或者移除从前一图像帧投射到当前图像帧上的VPL。此外，VPL采样器130可另外对新的VPL进行采样。通过针对每个网格区域对VPL进行采样，VPL采样器130可以以增加的采样速率来对VPL进行采样。

参照图8至图11描述的VPL采样过程可与图2至图4的VPL采样过程类似地执行。当与图2至图4的VPL采样过程进行比较时，图8到图11的VPL采样过程会在如下方面不同：VPL样本的数量基于当前帧中的网格区域的单位被确定，针对每个区域的VPL样本的数量基于网格区域的单位被调整。

图8示出包括第一对象区域810和第二对象区域820的前一帧800。在前一帧800中，两个VPL 812和814可在第一对象区域810中被采样，四个VPL 821、822、824和828可在第二对象区域820中被采样。

图9示出应用前一帧800的VPL采样结果的当前帧900。当前帧900包括分别与前一帧800的第一对象区域810和第二对象区域820对应的第一对象区域910和第二对象区域920。此外，第三对象区域930可另外被包括在当前帧900中。由于前一帧800和当前帧900之间的视点差异，第一对象区域810和第二对象区域820可在当前帧900中各自以不同的形状被表示。

由于VPL采样结果被应用到当前帧900，因此在前一帧800的第一对象区域810中采样的VPL 812和VPL 814可被投射到当前帧900的第一对象区域910上作为VPL 912和VPL914。此外，在前一帧800的第二对象区域820中采样的VPL 821、VPL 822、VPL 824和VPL 828可被投射到当前帧900的第二对象区域920上作为VPL 924、VPL 926和VPL 928。由于前一帧800和当前帧900之间的视点差异，因此VPL 922可不在当前帧900中呈现。

图10示出针对当前帧900的每个网格区域确定的VPL样本的数量。VPL采样器130可针对当前帧900的每个网格区域确定VPL样本的数量。在图8至图10中，针对第一网格区域1010的VPL样本的数量可被确定为“2”，针对第二网格区域1020、第三网格区域1030、第四网格区域1040和第五网格区域1050中的每个的VPL样本的数量可被确定为“1”，针对其他网格区域的VPL样本的数量可被确定为“0”。

图11示出基于针对每个网格区域确定的VPL样本的数量在当前帧900中对VPL进行采样的结果。VPL采样器130可在当前帧900中调整基于网格区域的单位采样的VPL的数量。

由于针对第一网格区域1010的VPL样本的数量被确定为“2”，并且两个VPL(例如，VPL 912和VPL 914)从前一帧800被应用到当前帧900中的第一网格区域1010，因此VPL采样器130可维持从前一帧800投射到当前帧900中的第一网格区域1010上的两个VPL。

由于针对第二网格区域1020和第三网格区域1030的VPL样本的数量被确定为“1”，并且没有VPL从前一帧800被应用到当前帧900中的第二网格区域1020，因此VPL采样器130可在第二网格区域1020和第三网格区域1030中的每个区域中另外对一个VPL进行采样。VPL采样器130可在随机确定的区域或者基于第二网格区域1020和第三网格区域1030的亮度分布确定的区域中对新的VPL进行采样。在图11中，VPL 1132可在第二网格区域1020中被采样，VPL 1134在第三网格区域1030中被采样。

由于针对第四网格区域1040的VPL样本的数量被确定为“1”，并且一个VPL(例如，VPL 924)从前一帧800被应用到当前帧900的第四网格区域1040，因此VPL采样器130可维持从前一帧800投射到第四网格区域1040上的VPL 924。

由于针对第五网格区域1050的VPL样本的数量被确定为“1”，并且两个VPL(例如，VPL 926和VPL 928)从前一帧800被应用到当前帧900的第五网格区域1050，因此VPL采样器130可移除这两个VPL中的一个。例如，VPL采样器130可从这两个VPL之中移除随机选择的VPL或者移除这两个VPL之中具有较低亮度的VPL。图11示出通过移除VPL 928并且维持VPL926获得的结果。

在当前帧900中，针对其他网格区域的VPL样本的数量可被确定为“0”，并且在从前一帧应用VPL采样结果之后，除了第一网格区域1010、第二网格区域1020、第三网格区域1030、第四网格区域1040和第五网格区域105之外的网格区域不会包括VPL。因此，VPL采样器130不会在其他网格区域中另外对新的VPL进行采样。

图12示出根据示例实施例的图像处理方法的操作。

在操作1210中，图像处理设备选择性地执行空间滤波。通过将例如高斯核函数应用到当前帧，图像处理设备可对当前帧的对象和图像空间进行滤波以移除发生剧烈变化的区域。然而，可使用本领域普通技术人员公知的能够执行空间滤波的任何其他核函数。空间滤波可防止基于空间改变发生的采样的VPL的特性上的剧烈变化。

在操作1220中，图像处理设备针对当前帧的每个区域确定VPL样本的数量。图像处理设备可基于例如网格区域、对象区域和边界框的单位划分当前帧，并且可针对当前帧被划分的每个区域确定VPL样本的数量。例如，图像处理设备可将当前帧划分为均具有规则的和不规则的形状的多个网格区域，并且通过利用重要性采样方案针对每个网格区域确定VPL样本的数量。

在操作1230中，图像处理设备将在前一帧中采样的VPL应用到当前帧。图像处理设备可在与在前一帧中对VPL进行采样的位置对应的当前帧的位置对VPL进行采样。图像处理设备可基于例如视点矩阵、投影矩阵和针对每个对象的模型矩阵，将在前一帧的图像空间中采样的VPL投射到当前帧上。

在操作1240中，图像处理设备基于在操作1220中确定的VPL样本的数量来调整应用在前一帧中采样的VPL的结果。例如，图像处理设备可基于针对每个网格区域确定的VPL样本的数量来调整针对当前帧的每个网格区域采样的VPL的数量。

图像处理设备可基于针对每个区域确定的VPL样本的数量移除或者保持从前一帧投射到当前帧上的VPL，或者在当前帧中另外对新的VPL进行采样。图像处理设备可将针对在当前帧中的多个区域中的每个确定的VPL样本的数量与从前一帧投射到当前帧中的多个区域上的VPL的数量进行比较。基于比较的结果，图像处理设备可通过在当前帧的区域(在所述区域中，从前一帧投射的VPL的数量小于针对所述区域确定的VPL样本的数量)中另外对一个或更多个新的VPL进行采样，并且通过在从前一帧投射的VPL的数量大于针对所述区域确定的VPL样本的数量的情况下从所述区域移除一个或更多个现有的VPL，来调整在当前帧中的多个区域中采样的VPL的数量。

当新的VPL在当前帧中另外被采样时，图像处理设备可以以基于新的VPL将被添加到的区域的亮度或者预定函数确定的优先级来对新的VPL进行采样。此外，图像处理设备可基于对象的运动或者材料特性来对新的VPL进行采样。例如，由于对象的运动或者材料特性，图像处理设备可在被确定为发生闪烁的概率相对较高的区域中另外对新的VPL进行采样。

当从前一帧投射到当前帧上的VPL被移除时，图像处理设备可以以基于例如预定函数、视点和从前一帧应用到当前帧的VPL的亮度确定的优先级来移除VPL。

在操作1250中，图像处理设备选择性地调整在当前帧中采样的VPL的亮度，以防止在前一帧和当前帧之间的VPL的亮度上的剧烈变化。例如，图像处理设备可调整在当前帧中采样的VPL的亮度，以使在前一帧中采样的VPL与在当前帧中采样的VPL之间的亮度差异处于预设的范围内。

在操作1260中，图像处理设备基于在当前帧中采样的VPL渲染当前帧。例如，图像处理设备可将在当前帧中采样的VPL排列在当前帧的光视点渲染图像中，并且可基于排列的VPL将间接光效果应用到渲染的图像。

可以使用硬件组件和软件组件来实现在这里所描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器和处理装置。处理装置可通过使用被配置为通过执行算术、逻辑和输入/输出操作实施和/或执行程序代码的一个或者更多个硬件装置来实现。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或者任何其他能够以定义的方式响应和执行指令的装置。处理装置可以运行操作系统(OS)和在OS上运行的一个或更多个软件应用。处理装置还可以响应于软件的执行来存取、存储、操作、处理和创建数据。为了简化的目的，处理装置的描述被用作单数；然而，本领域技术人员将会领会，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者一个处理器和一个控制器。此外，不同的处理配置是可行的，诸如并行处理器。

软件可包括计算机程序、一段代码、指令或者它们的一些组合，以独立地或者共同地指示和/或配置处理装置按照需要的那样运行，从而将处理装置转换为专用处理器。可以在任何类型的机器、组件、物理或者虚拟装备、计算机存储介质或者装置中永久地或者暂时地实现软件和数据，或以能够将指令或者数据提供给处理装置或者能够被处理装置解释的传输信号波永久地或者暂时地实现软件和数据。软件还可以分布在联网的计算机系统上，从而以分布式的方式存储和执行软件。可以通过一个或者更多个非暂时性计算机可读记录介质来存储软件和数据。

根据上述的示例实施例的方法可被记录在包括用于实现上述的示例实施例的各种操作的程序指令的非暂时性计算机可读介质中。介质还可包括单独的程序指令、数据文件、数据结构等或者它们的组合。记录在介质上的程序指令可以是为了示例实施例而专门设计和构造的，或者可以是对计算机软件领域的技术人员而言公知和可利用的。非暂时性计算机可读介质的示例包括：诸如硬盘、软盘、磁带的磁性介质；诸如CD-ROM盘、DVD和/或蓝光光盘的光学介质；诸如光盘的磁光介质；以及专门被配置为存储和执行程序指令的硬件装置，诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、记忆卡、记忆棒等)等。程序指令的示例包括诸如由编译器生成的机器代码和包含可由计算机使用编译器执行的更高级别的代码的文件两者。上述的装置可被配置为用作一个或更多个软件模块，以执行上述的示例实施例的操作，或者反之亦然。

以上已经描述了多个示例实施例。然而，应该理解，可以对这些示例实施例进行各种修改。例如，如果以不同的顺序执行所描述的技术和/或如果所描述的系统、架构、装置或电路中的组件以不同的方式组合和/或由其他组件或其等同物替换或补充，则可以实现合适的结果。因此，其他实施方式落入权利要求的范围内。

Claims (30)

1.一种图像处理方法，包括：

针对当前帧的每个区域确定虚拟点光源样本的数量；

将在前一帧中采样的虚拟点光源应用到当前帧；

基于确定的虚拟点光源样本的数量，调整应用的结果；

基于对应用的结果的调整，渲染当前帧，

其中，调整的步骤包括：基于在前一帧中采样的虚拟点光源的亮度，通过时间滤波调整在当前帧中采样的虚拟点光源的亮度。

2.如权利要求1所述的图像处理方法，其中，

调整的步骤还包括：调整针对前一帧的虚拟点光源被应用到的当前帧的每个区域采样的虚拟点光源的数量，以便满足针对每个区域的确定的虚拟点光源样本的数量。

3.如权利要求1所述的图像处理方法，其中，

调整的步骤还包括：对除了应用到当前帧的虚拟点光源之外的至少一个新的虚拟点光源进行采样，以便满足确定的虚拟点光源样本的数量。

4.如权利要求3所述的图像处理方法，其中，

采样的步骤包括：基于新的虚拟点光源将被采样的区域的亮度分布，确定新的虚拟点光源将被采样的位置。

5.如权利要求3所述的图像处理方法，其中，

采样的步骤包括：在新的虚拟点光源将被采样的区域中随机确定新的虚拟点光源将被采样的位置。

6.如权利要求3所述的图像处理方法，其中，

采样的步骤包括：基于包括在当前帧中的对象的运动和对象的材料特性中的至少一个，确定新的虚拟点光源将被采样的位置。

7.如权利要求3所述的图像处理方法，其中，

采样的步骤包括：在新的虚拟点光源将被采样的区域中的每个子区域的中心位置对新的虚拟点光源进行采样。

8.如权利要求1所述的图像处理方法，其中，

调整的步骤还包括：从应用到当前帧的虚拟点光源中移除至少一个虚拟点光源，以便满足确定的虚拟点光源样本的数量。

9.如权利要求8所述的图像处理方法，其中，

移除的步骤包括：基于应用到当前帧的虚拟点光源的亮度，从应用到当前帧的虚拟点光源中确定将被移除的虚拟点光源。

10.如权利要求1所述的图像处理方法，其中，确定的步骤包括：

在当前帧中设置多个对象区域；

针对每个设置的对象区域确定虚拟点光源样本的数量。

11.如权利要求1所述的图像处理方法，其中，确定的步骤包括：

在当前帧中设置多个网格区域；

针对每个设置的网格区域确定虚拟点光源样本的数量。

12.如权利要求1所述的图像处理方法，其中，

应用的步骤包括：在与在前一帧中采样的每个虚拟点光源的位置对应的当前帧中的位置对虚拟点光源进行采样。

13.如权利要求1所述的图像处理方法，其中，

应用的步骤包括：利用视点矩阵、投影矩阵和模型矩阵中的至少一个将在前一帧中采样的虚拟点光源应用到当前帧。

14.如权利要求1所述的图像处理方法，还包括：

对当前帧执行空间滤波，

其中，确定的步骤包括：针对执行了空间滤波的当前帧的每个区域确定虚拟点光源样本的数量。

15.如权利要求1所述的图像处理方法，其中，

确定的步骤包括：针对在当前帧中设置的每个网格区域确定虚拟点光源样本的数量；

调整的步骤包括：基于确定的虚拟点光源样本的数量，调整针对当前帧的每个网格区域采样的虚拟点光源的数量。

16.如权利要求15所述的图像处理方法，其中，

确定的步骤包括：基于关于每个网格区域的亮度信息，针对每个网格区域确定虚拟点光源样本的数量。

17.如权利要求15所述的图像处理方法，其中，

调整的步骤还包括：基于确定的虚拟点光源样本的数量，针对前一帧的虚拟点光源被应用到的当前帧的每个网格区域，调整将被采样的虚拟点光源的数量。

18.一种图像处理设备，包括：

虚拟点光源密度确定器，被配置为针对当前帧的每个区域确定虚拟点光源样本的数量；

虚拟点光源采样器，被配置为将在前一帧中采样的虚拟点光源应用到当前帧，并且基于确定的虚拟点光源样本的数量来调整应用的结果；

时间滤波执行器，被配置为基于在前一帧中采样的虚拟点光源的亮度来调整在当前帧中采样的虚拟点光源的亮度；

渲染器，基于对应用的结果的调整来渲染当前帧。

19.如权利要求18所述的图像处理设备，还包括：

空间滤波执行器，被配置为通过将空间滤波器应用到当前帧来执行空间滤波，

其中，虚拟点光源密度确定器针对执行了空间滤波的当前帧的每个区域确定虚拟点光源样本的数量。

20.如权利要求18所述的图像处理设备，其中，

虚拟点光源密度确定器在当前帧中设置多个网格区域，并且针对设置的每个网格区域确定虚拟点光源样本的数量。

21.如权利要求18所述的图像处理设备，其中，

虚拟点光源采样器调整针对前一帧的虚拟点光源被应用到的当前帧的每个区域采样的虚拟点光源的数量，以便满足针对每个区域的确定的虚拟点光源样本的数量。

22.如权利要求20所述的图像处理设备，其中，

虚拟点光源密度确定器基于关于每个网格区域的亮度信息，针对每个网格区域确定虚拟点光源样本的数量。

23.一种图像处理设备，包括：

虚拟点光源密度确定器，被配置为针对当前帧的每个网格区域确定虚拟点光源样本的数量；

虚拟点光源采样器，被配置为基于确定的虚拟点光源样本的数量，针对每个网格区域对虚拟点光源进行采样；

时间滤波执行器，被配置为基于在前一帧中采样的虚拟点光源的亮度来调整在当前帧中采样的虚拟点光源的亮度；

渲染器，被配置为基于在当前帧中采样的虚拟点光源渲染当前帧。

24.一种图像处理方法，包括：

针对当前帧的每个区域确定虚拟点光源的数量；

基于在前一帧中采样的虚拟点光源和针对每个区域确定的虚拟点光源的数量，在当前帧中对虚拟点光源进行采样；

基于在前一帧中采样的虚拟点光源的亮度，通过时间滤波调整在当前帧中采样的虚拟点光源的亮度；

基于在当前帧中采样的虚拟点光源，渲染当前帧。

25.如权利要求24所述的图像处理方法，其中，

确定的步骤包括：基于关于当前帧的信息，针对当前帧的每个区域确定虚拟点光源的数量。

26.如权利要求24所述的图像处理方法，其中，采样的步骤包括：

将在前一帧中采样的虚拟点光源应用到当前帧；

在从前一帧应用的虚拟点光源不超过针对当前帧的每个区域确定的虚拟点光源的数量的情况下，在当前帧中尽可能多地保持从前一帧应用的虚拟点光源。

27.如权利要求26所述的图像处理方法，其中，

采样的步骤还包括：基于当前帧中保持的从前一帧应用的虚拟点光源的数量，在当前帧中对新的虚拟点光源进行采样，以使当前帧的每个区域仅包括针对每个区域确定的虚拟点光源的数量。

28.如权利要求24所述的图像处理方法，其中，采样的步骤包括：

将在前一帧中采样的虚拟点光源应用到当前帧；

在当前帧的任何区域中，从所述区域移除足够多的从前一帧应用的虚拟点光源，以使所述区域仅包括针对所述区域确定的虚拟点光源的数量，其中，从前一帧应用的虚拟点光源的数量超过针对所述区域确定的虚拟点光源的数量；

在当前帧的任何区域中，在所述区域中对足够多的新的虚拟点光源进行采样，以使所述区域仅包括针对所述区域确定的虚拟点光源的数量，其中，从前一帧应用的虚拟点光源的数量少于针对所述区域确定的虚拟点光源的数量。

29.如权利要求24所述的图像处理方法，其中，以在渲染的当前帧中减少前一帧与当前帧之间的闪烁的方式来执行采样。

30.一种存储指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，使处理器执行权利要求1所述的方法。

Images