CN111784816B - 基于微表面理论的高频材质渲染方法及系统 - Google Patents

Abstract

本发明公开了基于微表面理论的高频材质渲染方法及系统，包括：对待渲染的高频材质，提取高频几何特征；对高频几何特征的位置分布和法向分布进行重构，得到高频材质模型；对高频材质模型进行拟合；对拟合后的高频材质模型进行渲染，得到渲染的高频材质。

Description

基于微表面理论的高频材质渲染方法及系统

技术领域

本申请涉及图形真实感渲染技术领域，特别是涉及基于微表面理论的高频材质渲染方法及系统。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

高频材质渲染方法是一种被高效的基于物理的真实感渲染方法，可以有效模拟真实世界中的光与高频物体相互作用后产生的闪光和复杂的各向异性高光分布等光学效果，是一种内存友好的，一致的高频材质的渲染方法。

由于高频材质表面特征是离散变化的，具有原始的蒙特卡洛点采样难以捕捉材质的高频信息，所需采样率极高，不能直接应用于工业界。

近期，基于四维波瓣混合的重构在离散高频材质的渲染上取得了成功，但这个方法仍旧需要大的内存和渲染时间的开销且不适用于结构化高频材质的渲染。专门用于解决结构化高频材质的方法利用滤波保存主要特征，模拟复杂的各项异性高光分布，但是单纯的滤波会将离散的高频特征过滤，因此不能模拟闪光的特征。

结合重构和滤波的思想可以满足所有高频材质的渲染要求，重构可以忠实地表示高频变化的空间特征，滤波方法可以加速渲染。然而在实验过程中，发现以往使用的重构方案是重构全部空间变化的高频特征，带来了的存储空间，内存和时间上的额外开销。同时，以往针对方向空间的法线滤波无法保持空间变化的高频特征。

发明内容

为了解决现有技术的不足，本申请提供了基于微表面理论的高频材质渲染方法及系统；能够有效地渲染所有高频材质，在与以往提出的方法保持相同渲染质量的同时提供了两个数量级的存储空间减少和预处理时间加速。

第一方面，本申请提供了基于微表面理论的高频材质渲染方法；

基于微表面理论的高频材质渲染方法，包括：

对待渲染的高频材质，提取高频几何特征；

对高频几何特征的位置分布和法向分布进行重构，得到高频材质模型；

对高频材质模型进行拟合；

对拟合后的高频材质模型进行渲染，得到渲染的高频材质。

第二方面，本申请提供了基于微表面理论的高频材质渲染系统；

基于微表面理论的高频材质渲染系统，包括：

特征提取模块，其被配置为：对待渲染的高频材质，提取高频几何特征；

重构模块，其被配置为：对高频几何特征的位置分布和法向分布进行重构，得到高频材质模型；

拟合模块，其被配置为：对高频材质模型进行拟合；

渲染模块，其被配置为：对拟合后的高频材质模型进行渲染，得到渲染的高频材质。

第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。

第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

第五方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。

与现有技术相比，本申请的有益效果是：

本申请利用基于微表面模型的材质建模框架，首先对空间变化的高频材质进行了精确建模分析，能够有效捕捉空间变化的高频法线分布信息，从而保证渲染结果的正确性。通过分析高频材质特征，选取包含多个完整随机高频特征形式的样本法线贴图。根据欧几里得距离，计算新选取块与已选取块之间的距离。从样本法线贴图选取小的法线块，生成大尺寸的完整发现分布特征。在建模阶段，利用样本法线特征生成法，可以大大降低将原有的存储空间消耗。

本申请在预处理过程将生成的大量离散高频材质数据根据空间位置划分组织为二叉树结构，在建树过程中，使用自适应聚类算法，根据位置和方向将相似的高频数据聚类为一个高频数据，可以在保持特征的同时用分层次加速。

本申请将简单的点采样替换为块采样，在渲染过程中使用位置高斯和空间高斯，充分检索与采样相关的高频特征，保持复杂的材质与光照的交互细节。

本申请通过使用四维波瓣混合重构合成的表面高频信息，并采用多层次聚合滤波法，在渲染时将点采样转换为块采样。在有限时间内精确渲染高频材质，本渲染方法是一种可行的手段。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本申请实施例一提供的一种基于微表面理论的各向异性高频材质渲染方法的流程图；

图2(a)-图2(f)是本申请实施例一提供的高频数据及三维场景应用示例图；

图3是本申请实施例一提供的一种高频材质数据建模示意图；

图4是本申请实施例一提供的预处理示意图；

图5是本申请实施例一提供的渲染流程示意图；

图6是本申请实施例一的方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了基于微表面理论的高频材质渲染方法；

如图1和图6所示，基于微表面理论的高频材质渲染方法，包括：

SA：对待渲染的高频材质，提取高频几何特征；

SB：对高频几何特征的位置分布和法向分布进行重构，得到高频材质模型；

SC：对高频材质模型进行拟合；

SD：对拟合后的高频材质模型进行渲染，得到渲染的高频材质。

作为一个或多个实施，所述对待渲染的高频材质，提取高频几何特征；具体步骤包括：

S101：对待渲染的高频材质，获取待渲染的高频材质几何特征数据；对待渲染的高频材质几何特征数据提取若干个小尺寸的法线贴图；

S102：将所有小尺寸的法线贴图进行合成，得到无接缝的大尺寸法线贴图，即得到高频几何特征；

作为一个或多个实施例，所述对高频几何特征的位置分布和法向分布进行重构，得到高频材质模型；具体步骤包括：

S103：使用四维混合波瓣，对高频几何特征的位置分布和法向分布进行重构，重构得到高频材质模型；

作为一个或多个实施例，所述对高频材质模型进行拟合；具体步骤包括：

S104：多层次滤波：对重构得到的高频材质模型，同时考虑波瓣位置与中心法线朝向，将波瓣按照位置分布构建为索引二叉树；对索引二叉树的每一层进行聚类，将相邻的具有相似法线朝向的波瓣拟合为一个波瓣模拟高频材质；

作为一个或多个实施例，所述对拟合后的高频材质模型进行渲染，得到渲染的高频材质；具体步骤包括：

S105：基于块的渲染：在全局光照下，基于索引二叉树对重构得到的高频材质模型进行渲染，得到渲染的高频材质。

作为一个或多个实施例，所述S101中，对待渲染的高频材质，获取待渲染的高频材质几何特征数据，是通过轮廓扫描仪扫描获取的；

通过轮廓扫描仪对待渲染的高频材质进行扫描，记录待渲染的高频材质的位置分布与高度分布；

计算位置分布梯度和高度分布梯度，得到位置分布和法线分布，并通过法线贴图的方式进行记录。

应理解的，通过微观结构扫描仪扫描现实世界的高频材质，记录位置与高度的分布。再通过法线生成程序分析位置高度分布的梯度，得到位置法线分布，并以法线贴图的方式记录。对结构化高频材质，需要从记录的位置法线分布中分析得到结构化模式，生成任意尺寸的法线分布贴图。对于离散的高频材质，扫描的范围变大，提供完整的空间变化的样本位置法线分布。

进一步地，所述高频材质几何特征数据，包括：离散高频材质和结构化高频材质的位置分布特征和法线分布特征。，使用法线分布贴图表示。

如图3所示，首先要获得正确的高频几何分布数据，通过微观扫描等技术获取现实世界中高频材质的真实几何分布。

作为一个或多个实施例，所述S101中，对待渲染的高频材质几何特征数据提取若干个小尺寸的法线贴图，具体步骤包括：

S1011：输入样本法线贴图，尺寸在200*200像素到350*350像素之间。并根据样本法线贴图特征，设定选取小尺寸法线贴图块的尺寸，小尺寸范围为200*200像素至350*350像素范围。选取贴图块尺寸被设定为包含完整高频特征的大小。

S1012：由左至右，由上至下逐像素遍历样本法线贴图，右下方向选取设定尺寸的块，一般为40*40像素至60*60像素之间，并保存。

作为一个或多个实施例，所述S102中，将所有小尺寸的法线贴图进行合成，得到无接缝的大尺寸法线贴图，即得到高频几何特征；具体步骤包括：

S1021：设定大尺寸法线贴图的尺寸。对于离散高频材质设定大尺寸法线贴图的尺寸为2048*2048像素，对于结构化高频材质设定大尺寸法线贴图的尺寸为8192*8192像素。

S1022：从提取的小尺寸法线贴图中随机选取一块，放置在无接缝的大尺寸法线贴图的右上角；根据已选取块，从小尺寸法线贴图中选取相邻边界欧式距离最小的块；并将新选取的小尺寸法线贴图块放置在已选取块的旁边；

重复选取过程，直至合成设定尺寸的大尺寸法线贴图。

示例性的，如图2(a)-图2(f)所示，图中的法线贴图与对应的三维场景高频材质渲染。本申请共获取50余种真实分布高频特征数据。将真实几何分布用法线贴图表示其法线特征。

作为一个或多个实施例，所述S103中，使用四维高斯混合波瓣(四维高斯混合波瓣即在方向空间表示方向分布的两维高斯和在位置空间表示位置分布的两维高斯的结合，学术术语称为高斯混合)，对高频几何特征的位置分布和法向分布进行重构，重构得到高频材质模型；具体步骤包括：

S1031：从样本法线贴图中，提取位置分布数据和法线分布数据；

S1032：通过三线性插值函数，对上一步得到的位置分布数据和法线分布数据进行插值；并计算在四维波瓣拟合时用来控制波瓣的范围的雅克比矩阵，模拟位置与法线的变换关系；

S1033：通过均匀划分样本法线贴图获取中心法线与位置空间的中心位置作为四维波瓣混合的中心，并利用雅克比矩阵控制四维波瓣混合在方向空间和位置空间的波瓣范围的大小。

进一步地，所述S1031的具体步骤包括：逐像素通过将RGB颜色值恢复成法线分布朝向，同时记录像素位置和代表的法线分布朝向。

示例性的，如图4所示，将用法线贴图表示的高频几何特征根据位置分布和法向分布，用四维混合波瓣重构。法线贴图所表示的高频几何特征离散且不便于积分计算与检索，使用四维波瓣混合可以精确地表示几何特征在位置空间与法线空间的分布，并通过三线性插值法计算雅克比矩阵用以模拟位置与法线的变换关系，提供对任意采样位置的法线分布查询。

本实施例中使用的法线分布贴图获取的代价高昂且不能直接应用于渲染过程。对表示位置法线分布的法线贴图，首先提取其位置法线分布数据，利用三次线性插值函数，获取分辨率更高的底层数据，并计算雅克比矩阵表示位置与法线的平滑分布变化。

作为一个或多个实施例，所述S104中，对重构得到的高频材质模型，同时考虑波瓣位置与波瓣中心法线朝向，将波瓣按照位置分布构建为索引二叉树；对索引二叉树的每一层进行自适应聚类，将相邻的具有相似法线(备注:通过欧式距离判断)朝向的波瓣拟合为一个波瓣模拟高频材质；具体步骤包括：

S1041：建树过程：对波瓣元素按照单个波瓣元素中心位置，由小到大进行排序，找位置空间的中点值；对中点值分割的波瓣元素划分为块，并给块添加索引值，存储块的索引，并计算存储位置与方向空间(就是方向的半球空间)的轴向平行包围盒，利用波瓣元素的位置空间分布自上而下组织成树；

S1042：自适应聚类过程：对索引二叉树的每一层结构所包含的波瓣元素在位置空间和法线空间进行k均值聚类，将相邻的具有相似法线(做欧式距离判断)朝向的波瓣拟合为一个波瓣模拟高频材质，重新存储聚类后的波瓣；

S1043：自适应聚类过程与建树过程交替进行，直至节点内存储的波瓣只有一个，无法细分位置，结束。

示例性的，如图5所示，在实际使用时，首先将四维波瓣混合读入渲染器，在渲染前进行预处理。由于四维波瓣混合元素的数目可能达到百万级别，因此将元素根据位置组织为索引二叉树，为索引二叉树的每层结构创建轴向平行包围盒(包围盒就是寻找波瓣的轴向最大值和最小值，并记录这个最大值最小值，用最大值最小值代替波瓣复杂的分布)。

并在建索引二叉树时，对每一层采用自适应K-均值聚类方法，将相邻的具有相似法线(欧式距离)朝向的元素重新拟合为一个元素，位置空间所覆盖的范围是所包含元素的范围，法线空间的范围根据k均值聚类算法重新计算。

作为一个或多个实施例，所述S105中，基于块的渲染：在全局光照下，基于索引二叉树对重构得到的高频材质模型进行渲染，得到渲染的高频材质；具体步骤包括：

S1051：材质重要性采样：将重构的高频材质模型和索引二叉树集成到双向散射分布函数中，将点采样渲染(基于点的采样，采样时只查询单个点所对应的法线分布，对这个法线分布进行采样)变为基于块区域(基于块区域的采样，采样时查询采样点周围光线足迹块的法线分布，并对块的法线分布进行采样)的采样渲染；

通过遍历块区域的位置法线分布，随机选取双向散射分布函数的采样方向，进行采样；

S1052：基于块的材质计算：在计算渲染结果时，根据采样得到的方向与采样点位置，从索引二叉树中检索法线朝向与所构建的轴向包围盒相交的元素，用聚合的元素代替包含中的元素组，计算时通过位置高斯归一化计算，加速渲染。

本实施例中的渲染过程是基于全局光照的渲染，其中对高频材质的重要性采样，不同于传统微表面模型的重要性采样，首先需要从光线足迹块(与像素所对应的纹理空间大小一致的块)为检索的法线朝向与所构建的轴向包围盒相交的波瓣按照距采样点的欧式距离采样得到法线分布。根据采样得到的法线分布通过双向散射分布函数计算光与材质的交互，集成到蒙特卡洛渲染流程中。在计算过程中，需要对光线足迹块内与查询方向相关的波瓣贡献，通过位置高斯归一化其贡献值。

渲染时利用中心位置分布划分块，计算块中与一次采样相关的贡献值。

所述高频材质几何数据基于微观轮廓扫描仪取得，并用高度贴图或法线贴图表示其位置几何分布特征。

所述材质建模由小尺寸样本高频材质几何数据生成大尺寸高频材质几何数据。在样本高频材质几何数据选取块，符合重合区域最小化原则，贴合成为大的高频材质几何数据。

所述重构方式由四维混合波瓣元素重构位置法线分布。波瓣形式包括但不仅限于高斯分布，贝克曼分布等。

所述预处理方法使用二维索引结构自上而下构建，对每层索引结构计算包围盒，并采用k均值方法对位置和法向聚类。

所述渲染方法基于块，块的大小与光线足迹的大小一致。

重构指将高频的离散细节用数学模型模拟的过程，而提取离散的数学模型的重要部分我们称之为滤波。要在有限的时间成本内取得高质量的渲染结果，维持重要的光照特征锐利的光照细节精确渲染高频材质，并对所有高频材质提供一种一致的渲染方案，重构与滤波的结合是一种可行的手段。

实施例二

本实施例提供了基于微表面理论的高频材质渲染系统；

基于微表面理论的高频材质渲染系统，包括：

特征提取模块，其被配置为：对待渲染的高频材质，提取高频几何特征；

重构模块，其被配置为：对高频几何特征的位置分布和法向分布进行重构，得到高频材质模型；

拟合模块，其被配置为：对高频材质模型进行拟合；

渲染模块，其被配置为：对拟合后的高频材质模型进行渲染，得到渲染的高频材质。

此处需要说明的是，上述特征提取模块、重构模块、拟合模块和渲染模块对应于实施例一中的步骤SA至SD，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.基于微表面理论的高频材质渲染方法，其特征是，包括：

对待渲染的高频材质，提取高频几何特征；

对高频几何特征的位置分布和法向分布进行重构，得到高频材质模型，

具体步骤包括：使用四维混合波瓣，对高频几何特征的位置分布和法向分布进行重构，重构得到高频材质模型；

对高频材质模型进行拟合；

对拟合后的高频材质模型进行渲染，得到渲染的高频材质。

2.如权利要求1所述的方法，其特征是，所述对待渲染的高频材质，提取高频几何特征；具体步骤包括：

对待渲染的高频材质，获取待渲染的高频材质几何特征数据；对待渲染的高频材质几何特征数据提取若干个小尺寸的法线贴图；

将所有小尺寸的法线贴图进行合成，得到无接缝的大尺寸法线贴图，即得到高频几何特征。

3.如权利要求1所述的方法，其特征是，所述对高频材质模型进行拟合；具体步骤包括：

多层次滤波：对重构得到的高频材质模型，同时考虑波瓣位置与中心法线朝向，将波瓣按照位置分布构建为索引二叉树；对索引二叉树的每一层进行聚类，将相邻的具有相似法线朝向的波瓣拟合为一个波瓣模拟高频材质。

4.如权利要求1所述的方法，其特征是，所述对拟合后的高频材质模型进行渲染，得到渲染的高频材质；具体步骤包括：

基于块的渲染：在全局光照下，基于索引二叉树对重构得到的高频材质模型进行渲染，得到渲染的高频材质。

5.如权利要求2所述的方法，其特征是，对待渲染的高频材质，获取待渲染的高频材质几何特征数据，是通过轮廓扫描仪扫描获取的；

通过轮廓扫描仪对待渲染的高频材质进行扫描，记录待渲染的高频材质的位置分布与高度分布；

计算位置分布梯度和高度分布梯度，得到位置分布和法线分布，并通过法线贴图的方式进行记录。

6.如权利要求3所述的方法，其特征是，使用四维混合波瓣，对高频几何特征的位置分布和法向分布进行重构，重构得到高频材质模型；具体步骤包括：

从样本法线贴图中，提取位置分布数据和法线分布数据；

通过三线性插值函数，对上一步得到的位置分布数据和法线分布数据进行插值；并计算在四维波瓣拟合时用来控制波瓣的范围的雅克比矩阵，模拟位置与法线的变换关系；

通过均匀划分样本法线贴图获取中心法线与位置空间的中心位置作为四维波瓣混合的中心，并利用雅克比矩阵控制四维波瓣混合的大小。

7.基于微表面理论的高频材质渲染系统，其特征是，包括：

特征提取模块，其被配置为：对待渲染的高频材质，提取高频几何特征；

重构模块，其被配置为：对高频几何特征的位置分布和法向分布进行重构，得到高频材质模型，具体步骤包括：使用四维混合波瓣，对高频几何特征的位置分布和法向分布进行重构，重构得到高频材质模型；

拟合模块，其被配置为：对高频材质模型进行拟合；

渲染模块，其被配置为：对拟合后的高频材质模型进行渲染，得到渲染的高频材质。

8.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的方法。

9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。

Images