CN107330966B - 一种高维空间特征回归的快速渲染方法、装置和设备 - Google Patents

Abstract

本发明公开了一种高维空间特征回归的快速渲染方法、装置和设备，涉及图像处理技术领域。该方法包括：在基于蒙特卡洛光线追踪方法对渲染场景进行至少一次采样后，获取每个像素点的第一采样信息，并根据所述第一采样信息生成渲染结果图；对所述渲染结果图进行优化处理，得到优化结果图；根据所述优化结果图和所述第一采样信息确定误差图；根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，并根据所述第二采样信息生成最终渲染结果图。本发明实施例提供的一种高维空间特征回归的快速渲染方法、装置和设备，实现了有针对性的采样，从而提高渲染效率。

Description

一种高维空间特征回归的快速渲染方法、装置和设备

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种高维空间特征回归的快速渲染方法、装置和设备。

背景技术

当前，场景渲染被广泛应用于室内装修中，其中场景渲染就是给场景着色，将场景中的灯光及场景对象的材质处理成图像的形式。通常，场景渲染的常用方法是光线追踪。

光线追踪是一种点取样类的渲染算法，模拟光线照射物体的过程。图1是现有技术中光线追踪的原理示意图。参见图1，具体的，光线追踪是从视点出发经过投影屏幕中的一像素点向场景发射虚拟的采样光线，并在场景中跟踪光线；若光线与场景中的场景对象存在交点，且该光线最终投向光源，则将交点处场景对象的颜色、光亮度等信息作为采样信息反馈给投影屏幕，以完成对屏幕中该像素点的光线采样；然后，根据对投影屏幕中多个像素点的至少一次采样得到的采样信息在投影屏幕上生成渲染效果图像。但这种算法仅可以实现镜面反射、折射以及直接光照，而重要的真实感特性如运动模糊、焦散、间接光照等都无法计算。为了实现这些效果的计算，人们对光线追踪算法进行了蒙特卡洛方法的扩展。在蒙特卡洛光线追踪算法中，光线随机地散播开来以模拟光线的各种传播路线。

蒙特卡洛光线追踪算法可以模拟所有种类的光线散播，但唯一的问题是渲染的图像由于随机散播光线数目的不足会产生噪音点。为了解决这个问题就需要大量的采样光线，从而使得蒙特卡洛光线追踪算法是一种非常耗时的计算。

发明内容

本发明提供一种高维空间特征回归的快速渲染方法、装置和设备，以实现有针对性的采样，从而提高渲染效率。

第一方面，本发明实施例提供了一种高维空间特征回归的快速渲染方法，

该方法包括：

在基于蒙特卡洛光线追踪方法对渲染场景进行至少一次采样后，获取每个像素点的第一采样信息，并根据所述第一采样信息生成渲染结果图；

对所述渲染结果图进行优化处理，得到优化结果图；

根据所述优化结果图和所述第一采样信息确定误差图；

根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，并根据所述第二采样信息生成最终渲染结果图。

进一步的，所述对所述渲染结果图进行优化处理，得到优化结果图，包括：

根据所述第一采样信息确定每个像素特征空间的第一高斯滤波内核带宽；

应用所述第一高斯滤波内核带宽对所述渲染结果图进行高斯滤波，得到优化结果图。

进一步的，所述根据所述第一采样信息确定每个像素特征空间的第一高斯滤波内核带宽，包括：

基于所述第一采样信息中每个像素点的RGB颜色信息的偏导量，初始化每个像素特征空间的第一高斯滤波内核带宽；

对所述第一高斯滤波内核带宽进行优化。

进一步的，所述对所述第一高斯滤波内核带宽进行优化，包括：

使用截面奇异值分解的方法对所述第一采样信息进行降维处理，生成低维采样信息，其中，所述第一采样信息包括：光线与面片交点上的法向信息、贴图颜色信息、折射信息、高光反射信息、镜面反射信息、每个像素点的RGB颜色信息以及世界坐标信息；

对所述低维采样信息和所述第一高斯滤波内核带宽进行非参数化的局部线性加权回归分析，并根据分析结果对所述第一高斯滤波内核带宽进行优化。

进一步的，所述并根据所述第二采样信息生成最终渲染结果图，包括：

根据所述第二采样信息确定每个像素特征空间的第二高斯滤波内核带宽；

应用所述第二高斯滤波内核带宽对所述渲染结果图进行高斯滤波，生成最终渲染结果图。

进一步的，所述根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，包括：

根据每个像素点的误差值确定每个像素点的误差比例；

根据所述误差比例和设定采样数量确定每个像素点的采样次数；

根据所述采样次数，经过每个像素点发射虚拟的采样光线对所述渲染场景进行采样。

第二方面，本发明实施例还提供了一种高维空间特征回归的快速渲染装置，

该装置包括：

采样模块，用于在基于蒙特卡洛光线追踪方法对渲染场景进行至少一次采样后，获取每个像素点的第一采样信息，并根据所述第一采样信息生成渲染结果图；

优化模块，用于对所述渲染结果图进行优化处理，得到优化结果图；

误差确定模块，用于根据所述优化结果图和所述第一采样信息确定误差图；

渲染模块，用于根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，并根据所述第二采样信息生成最终渲染结果图。

进一步的，所述优化模块，包括：

带宽确定单元，用于根据所述第一采样信息确定每个像素特征空间的第一高斯滤波内核带宽；

优化单元，用于应用所述第一高斯滤波内核带宽对所述渲染结果图进行高斯滤波，得到优化结果图。

进一步的，所述带宽确定单元，包括：

初始化子单元，用于基于所述第一采样信息中每个像素点的RGB颜色信息的偏导量，初始化每个像素特征空间的第一高斯滤波内核带宽；

优化子单元，用于对所述第一高斯滤波内核带宽进行优化。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的高维空间特征回归的快速渲染方法。

本发明实施例，通过首先对经过少量采样得到的渲染结果图进行优化，然后根据优化结果确定误差图，最后根据误差图中每个像素点的误差值对所述渲染场景进行针对性采样，使得采样的目的性更强。解决了蒙特卡洛光线追踪算法全部采用随机散播光线进行采样导致的采样次数巨大和计算耗时的问题。

附图说明

图1是现有技术中光线追踪的原理示意图；

图2是本发明实施例一提供的一种高维空间特征回归的快速渲染方法的流程图；

图3是本发明实施例二提供的一种高维空间特征回归的快速渲染方法的流程图；

图4是本发明实施例三提供的一种高维空间特征回归的快速渲染装置的结构示意图；

图5为本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图2是本发明实施例一提供的一种高维空间特征回归的快速渲染方法的流程图。本实施例可适用于利用蒙特卡洛光线追踪方法对场景进行渲染的情况。该方法可以由一种高维空间特征回归的快速渲染装置来执行，该装置可以由软件和/或硬件的方式实现。参见图2，本实施例提供的高维空间特征回归的快速渲染方法包括：

S110、在基于蒙特卡洛光线追踪方法对渲染场景进行至少一次采样后，获取每个像素点的第一采样信息，并根据所述第一采样信息生成渲染结果图。

其中，所述第一采样信息至少包括每个像素点的RGB颜色信息。

可以理解的是，因为采样光线是随机散播光线，经过多次采样后有的像素点可能有多条采样光线经过，从而返回多个第一采样信息；有的像素点可能没有采样光线经过，也就没有第一采样信息返回。

对于有多个第一采样信息返回的像素点可以将其中任意的一个RGB颜色信息作为该像素点的RGB颜色信息以生成渲染结果图，或者，从多个第一采样信息的RGB颜色信息中确定最优的RGB颜色信息作为该像素点的RGB颜色信息。例如，对返回的多个第一采样信息的RGB颜色信息求均值，将均值作为该像素点的RGB颜色信息。

对于没有第一采样信息返回的像素点，可以将设定的RGB颜色信息作为该像素点的RGB颜色信息，可选的，该设定的RGB颜色信息可以是黑色，也可以是白色，还可以是其他颜色。若上述设定的RGB颜色信息为白色时，则根据所述第一采样信息生成的渲染结果图是有雪花点的图像。

S120、对所述渲染结果图进行优化处理，得到优化结果图。

其中，优化结果图是接近真实渲染场景的图像。该优化结果图可以通过对所述渲染结果图进行图像处理得到。

可选的，可以在图像的空域上利用不同滤波器对所述渲染结果图进行滤波处理，以生成优化结果图；还可以在图像的频域上利用小波去燥算法实现对所述渲染结果图进行优化。

优选，根据所述第一采样信息确定每个像素特征空间的第一高斯滤波内核带宽；应用所述第一高斯滤波内核带宽对所述渲染结果图进行高斯滤波，得到优化结果图。其中，所述第一采样信息包括：光线与面片交点上的法向信息、贴图颜色信息、折射信息、高光反射信息、镜面反射信息、每个像素点的RGB颜色信息以及世界坐标信息。

S130、根据所述优化结果图和所述第一采样信息确定误差图。

具体的，可以对所述优化结果图和由所述第一采样信息确定的渲染结果图进行逐像素做差，将差值结果作为误差图；可选的，还可以通过对所述优化结果图和由所述第一采样信息确定的渲染结果图进行方差分析，以确定误差图。其中，所述误差图中每个像素点的值表示，在上述渲染结果图中该像素点偏离真实场景中该点颜色的程度，典型的，可以用误差值进行表示。

S140、根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，并根据所述第二采样信息生成最终渲染结果图。

其中，第二采样信息至少包括每个像素点的RGB颜色信息。

典型的，所述根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，可以包括：

根据每个像素点的误差值确定每个像素点的误差比例；

根据所述误差比例和设定采样数量确定每个像素点的采样次数；

根据所述采样次数，经过每个像素点发射虚拟的采样光线对所述渲染场景进行采样。

其中，设定采样数量可以根据需要进行设定。

例如，误差图为2*2的矩阵，具体可以是(1,2；3,4)；设定采样数量是100。其中，总误差＝1+2+3+4＝10，并且误差图与投影屏幕的尺寸相同。对投影屏幕中每个像素点的采样次数为：该像素点的误差值/总误差*设定采样数量。在本例中对第一行第一列像素点的采样次数是1/10*100＝10。

可选的，可以根据所述第二采样信息中每个像素点的RGB颜色信息，并结合所述第一采样信息中每个像素点的RGB颜色信息，生成最终渲染结果图。

为生成更优的最终渲染结果图，还可以根据所述第二采样信息确定每个像素特征空间的第二高斯滤波内核带宽；然后，应用所述第二高斯滤波内核带宽对所述渲染结果图进行高斯滤波，生成最终渲染结果图。

本发明实施例的技术方案，通过首先对经过少量采样得到的渲染结果图进行优化，然后根据优化结果确定误差图，最后根据误差图中每个像素点的误差值对所述渲染场景进行针对性采样，使得采样的目的性更强。解决了蒙特卡洛光线追踪算法全部采用随机散播光线进行采样导致的采样次数巨大和计算耗时的问题。

进一步的，所述根据所述第一采样信息确定每个像素特征空间的第一高斯滤波内核带宽，可以包括：

基于所述第一采样信息中每个像素点的RGB颜色信息的偏导量，初始化每个像素特征空间的第一高斯滤波内核带宽；

对所述第一高斯滤波内核带宽进行优化。

进一步的，所述对所述第一高斯滤波内核带宽进行优化，可以包括：

使用截面奇异值分解的方法对所述第一采样信息进行降维处理，生成低维采样信息，其中，所述第一采样信息包括：光线与面片交点上的法向信息、贴图颜色信息、折射信息、高光反射信息、镜面反射信息、每个像素点的RGB颜色信息以及世界坐标信息；

对所述低维采样信息和所述第一高斯滤波内核带宽进行非参数化的局部线性加权回归分析，并根据分析结果对所述第一高斯滤波内核带宽进行优化。

实施例二

图3是本发明实施例二提供的一种高维空间特征回归的快速渲染方法的流程图。本实施例在上述实施例一的基础上提出了一种可选方案。参见图3，本实施例提供的高维空间特征回归的快速渲染方法包括：

S210、在基于蒙特卡洛光线追踪方法对渲染场景进行16次采样后，获取每个像素点的第一采样信息，并根据所述第一采样信息生成渲染结果图。

其中，所述第一采样信息包括：光线与面片交点上的法向信息、贴图颜色信息、折射信息、高光反射信息、镜面反射信息、每个像素点的RGB颜色信息以及世界坐标信息。所述第一采样信息中除高光反射信息为一维信息，其他均为三维信息。因此，所述第一采样信息为19维度的高维信息。

S220、使用截面奇异值分解的方法对所述第一采样信息进行降维处理，生成低维采样信息。

具体的，可以取总贡献度95％的前N维度。

S230、基于所述第一采样信息中每个像素点的RGB颜色信息的偏导量，初始化每个像素特征空间的第一高斯滤波内核带宽。

典型的，可以将所述第一采样信息中每个像素点的RGB颜色信息的偏导量，作为每个像素特征空间的第一高斯滤波内核带宽，以完成对每个像素特征空间的第一高斯滤波内核带宽的初始化。

S240、对所述低维采样信息和所述第一高斯滤波内核带宽进行非参数化的局部线性加权回归分析，并根据分析结果对所述第一高斯滤波内核带宽进行优化。

具体的，将所述低维采样信息中的光线与面片交点上的法向信息、贴图颜色信息、折射信息、高光反射信息、镜面反射信息、每个像素点的RGB颜色信息以及世界坐标信息作为自变量；将所述第一高斯滤波内核带宽作为因变量。利用所述低维采样信息和所述第一高斯滤波内核带宽的初始化结果进行非参数化的局部线性加权回归分析，确定包含上述自变量和因变量的回归方程。根据回归方程和所述低维采样信息计算每个像素特征空间的高斯滤波内核带宽，作为所述第一高斯滤波内核带宽的优化结果。

S250、应用所述第一高斯滤波内核带宽对所述渲染结果图进行高斯滤波，得到优化结果图。

其中，所述第一高斯滤波内核带宽是所述第一高斯滤波内核带宽的优化结果。

S260、根据所述优化结果图和所述低维采样信息确定误差图。

S270、根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，根据所述第二采样信息确定每个像素特征空间的第二高斯滤波内核带宽。

可以理解的是，根据所述第二采样信息确定每个像素特征空间的第二高斯滤波内核带宽的步骤，可以根据步骤S220至S240的描述实现。

S280、应用所述第二高斯滤波内核带宽对所述渲染结果图进行高斯滤波，生成最终渲染结果图。

本发明实施例的技术方案，通过优化后的高斯滤波内核带宽对所述渲染结果图进行优化，提高了对所述渲染结果图的优化效果，进而提高了对误差图的估算准确率。

实施例三

图4是本发明实施例三提供的一种高维空间特征回归的快速渲染装置的结构示意图。本实施例提供的高维空间特征回归的快速渲染装置可以执行上述任一实施例的方法。参见图4，本实施例提供的高维空间特征回归的快速渲染装置包括：采样模块10、优化模块20、误差确定模块30和渲染模块40。

其中，采样模块10，用于在基于蒙特卡洛光线追踪方法对渲染场景进行至少一次采样后，获取每个像素点的第一采样信息，并根据所述第一采样信息生成渲染结果图；

优化模块20，用于对所述渲染结果图进行优化处理，得到优化结果图；

误差确定模块30，用于根据所述优化结果图和所述第一采样信息确定误差图；

渲染模块40，用于根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，并根据所述第二采样信息生成最终渲染结果图。

本发明实施例的技术方案，通过首先对经过少量采样得到的渲染结果图进行优化，然后根据优化结果确定误差图，最后根据误差图中每个像素点的误差值对所述渲染场景进行针对性采样，使得采样的目的性更强。解决了蒙特卡洛光线追踪算法全部采用随机散播光线进行采样导致的采样次数巨大和计算耗时的问题。

进一步的，所述优化模块20，可以包括：带宽确定单元和优化单元。

其中，带宽确定单元，用于根据所述第一采样信息确定每个像素特征空间的第一高斯滤波内核带宽；

优化单元，用于应用所述第一高斯滤波内核带宽对所述渲染结果图进行高斯滤波，得到优化结果图。

进一步的，所述带宽确定单元，可以包括：初始化子单元和优化子单元。

其中，初始化子单元，用于基于所述第一采样信息中每个像素点的RGB颜色信息的偏导量，初始化每个像素特征空间的第一高斯滤波内核带宽；

优化子单元，用于对所述第一高斯滤波内核带宽进行优化。

实施例四

图5为本发明实施例四提供的一种设备的结构示意图，如图5所示，该设备包括处理器70、存储器71、输入装置72和输出装置73；设备中处理器70的数量可以是一个或多个，图5中以一个处理器70为例；设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的高维空间特征回归的快速渲染方法对应的程序指令/模块(例如，高维空间特征回归的快速渲染装置中的采样模块10、优化模块20、误差确定模块30和渲染模块40)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的渲染方法。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种高维空间特征回归的快速渲染方法，其特征在于，包括：

在基于蒙特卡洛光线追踪方法对渲染场景进行至少一次采样后，获取每个像素点的第一采样信息，并根据所述第一采样信息生成渲染结果图；

对所述渲染结果图进行优化处理，得到优化结果图；

对所述优化结果图和由所述第一采样信息确定的所述渲染结果图进行逐像素做差，将差值结果作为误差图；

根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，并根据所述第二采样信息生成最终渲染结果图；

所述根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，包括：

根据每个像素点的误差值确定每个像素点的误差比例；

根据所述误差比例和设定采样数量确定每个像素点的采样次数；

根据所述采样次数，经过每个像素点发射虚拟的采样光线对所述渲染场景进行采样。

2.根据权利要求1所 述的方法，其特征在于，所述对所述渲染结果图进行优化处理，得到优化结果图，包括：

根据所述第一采样信息确定每个像素特征空间的第一高斯滤波内核带宽；

应用所述第一高斯滤波内核带宽对所述渲染结果图进行高斯滤波，得到优化结果图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一采样信息确定每个像素特征空间的第一高斯滤波内核带宽，包括：

基于所述第一采样信息中每个像素点的RGB颜色信息的偏导量，初始化每个像素特征空间的第一高斯滤波内核带宽；

对所述第一高斯滤波内核带宽进行优化。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一高斯滤波内核带宽进行优化，包括：

使用截面奇异值分解的方法对所述第一采样信息进行降维处理，生成低维采样信息，其中，所述第一采样信息包括：光线与面片交点上的法向信息、贴图颜色信息、折射信息、高光反射信息、镜面反射信息、每个像素点的RGB颜色信息以及世界坐标信息；

对所述低维采样信息和所述第一高斯滤波内核带宽进行非参数化的局部线性加权回归分析，并根据分析结果对所述第一高斯滤波内核带宽进行优化。

5.根据权利要求1所述的方法，其特征在于，所述并根据所述第二采样信息生成最终渲染结果图，包括：

根据所述第二采样信息确定每个像素特征空间的第二高斯滤波内核带宽；

应用所述第二高斯滤波内核带宽对所述渲染结果图进行高斯滤波，生成最终渲染结果图。

6.一种高维空间特征回归的快速渲染装置，其特征在于，包括：

采样模块，用于在基于蒙特卡洛光线追踪方法对渲染场景进行至少一次采样后，获取每个像素点的第一采样信息，并根据所述第一采样信息生成渲染结果图；

优化模块，用于对所述渲染结果图进行优化处理，得到优化结果图；

误差确定模块，用于对所述优化结果图和由所述第一采样信息确定的所述渲染结果图进行逐像素做差，将差值结果作为误差图；

渲染模块，用于根据所述误差图中每个像素点的误差值对所述渲染场景进行采样得到第二采样信息，并根据所述第二采样信息生成最终渲染结果图；

所述渲染模块，具体用于根据每个像素点的误差值确定每个像素点的误差比例；根据所述误差比例和设定采样数量确定每个像素点的采样次数；根据所述采样次数，经过每个像素点发射虚拟的采样光线对所述渲染场景进行采样。

7.根据权利要求6所 述的装置，其特征在于，所述优化模块，包括：

带宽确定单元，用于根据所述第一采样信息确定每个像素特征空间的第一高斯滤波内核带宽；

优化单元，用于应用所述第一高斯滤波内核带宽对所述渲染结果图进行高斯滤波，得到优化结果图。

8.根据权利要求7所述的装置，其特征在于，所述带宽确定单元，包括：

初始化子单元，用于基于所述第一采样信息中每个像素点的RGB颜色信息的偏导量，初始化每个像素特征空间的第一高斯滤波内核带宽；

优化子单元，用于对所述第一高斯滤波内核带宽进行优化。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的高维空间特征回归的快速渲染方法。

Images