CN113256783A - 基于眼动跟踪的立即辐射度渲染方法 - Google Patents

Abstract

本发明基于眼动跟踪技术提出了一个新的全局光照渲染方法。该方法使用了立即辐射度方法来渲染间接光照，利用视觉重要度信息对虚拟点光源进行筛选、复用，提升了全局光照的渲染速度，最终达到漫反射场景下的实时高质量的渲染。该方法首先将场景体素化，并赋予体素视觉敏感信息，在此基础上从视点出发采样虚拟点光源，估算每个虚拟点光源对于视点中心区域的视觉重要度。为了减少不必要的光照计算且保证渲染结果在连续帧之间的稳定性，对虚拟点光源进行重采样，得到更加符合帧间连续的虚拟点光源子集；使用基于网格密度控制的虚拟点光源的分布策略与重利用策略，控制上一帧中保留的虚拟点光源和重采样的虚拟点光源的合并。受益于上述策略，该方法可以以较小的代价实现高质量且稳定的全局光照渲染。

Description

基于眼动跟踪的立即辐射度渲染方法

技术领域

本发明涉及一种基于眼动跟踪的立即辐射度渲染方法。

背景技术

眼动跟踪技术是在虚拟现实技术应用中的重要研究内容，它被广泛应用于三维图形渲染的加速，可以生成更符合人眼观感的图像。人的眼球能够看到很广的角度，但专注区域却很小，这一小块区域被称为视网膜中凹区域，其中紧密布置了感光器，可以敏感的察觉到注视区域的色彩细节；而在周围，神经突触的分布密度逐渐稀疏。对于图形绘制算法来说，可以在视网膜中凹区域以外的部分渲染更少的细节，许多传统的渲染算法都可以得到加速，实现多分辨率的图形渲染。

全局光照是计算机图形学中最复杂的课题之一，它能够为三维场景增加细腻的真实感，真实再现现实世界的光照效果。一般将全局光照分为直接光照和间接光照两部分。为了简化间接光照的计算过程，立即辐射度算法通过在场景表面上创建虚拟点光源的方式来产生间接光照的影响，该方法的速度较快，缺陷在于绘制的画面存在许多奇点，且在部分场合下表现较差，生成图像对人眼观感不够友好。

人眼的视觉感知系统的关注范围有限，这一信息可以作为立即辐射度算法中虚拟点光源分布的指导，仅为关注区域提供高质量光照效果，减少光照计算开销。基于这个想法，我们利用虚拟点光源的间接性，将眼动跟踪技术与虚拟点光源的方法紧密结合，最终实现眼动区域高质量、周围区域低质量的实时全局光照算法。

发明内容

本发明解决的技术问题是：实现了一个基于眼动跟踪的立即辐射度渲染方法，该方法以立即辐射度方法为基础，提供符合人眼视觉感知的漫反射场景下的实时高质量的全局光照渲染。首先，我们将场景体素化，并赋予体素视觉敏感信息，在此基础上从视点出发采样虚拟点光源，估算每个虚拟点光源对于视点中心区域的视觉重要度。然后，对虚拟点光源进行重采样，使用基于网格密度控制的虚拟点光源的分布策略与基于视觉重要度的重利用策略，实现对用于最终渲染的虚拟点光源集合的管理。本发明的主要创新点是：(1)基于人眼的视觉感知系统为场景和虚拟点光源定义视觉重要度。(2)基于视觉重要度管理虚拟点光源集合。

本发明采用的技术方案为：一种基于各向异性结构张量的体数据增强可视化方法，其特征在于包括以下五个步骤：

步骤(1)、场景的体素化：给定虚拟面片场景，首先将该面片场景体素化，并将对应属性如反照度、法线等存入三维纹理。

步骤(2)、虚拟点光源的生成：我们对屏幕空间定义了一块关注区域，在关注区域中，采用圈内均一的采样模式，而外围区域则没有任何采样。然后从这些采样点出射光线，在体素空间中用Raycasting方法求交，进行一次弹射，将二次相交点作为与相机间接可见的虚拟点光源。

步骤(3)、虚拟点光源的视觉重要度的估算：首先定义虚拟点光源的视觉重要度代表该虚拟点光源最终对观察者的视觉系统的贡献。我们将每个体素投影至屏幕空间中，计算该像素所在的偏心率，得到其敏感度。再从虚拟点光源所在的半球面出发，从diffusecone model 所定义的6个方向上出射重要度采样光线，取出相交体素中的视觉敏感度值并加权平均即得到该虚拟点光源的视觉重要度的估算值。

步骤(4)、虚拟点光源的重采样：归一化虚拟点光源的重要度，对归一化后的虚拟点光源重要度计算一维的前缀和，在逆变换过程中该一维数组称为累积密度函数(CDF)。对每个重采样，生成一个[0,1]之间的随机数ρ，然后利用二分查找在CDF中索引ρ对应的虚拟点光源，判断它是否已经被采样过，直到遍历完全。

步骤(5)、虚拟点光源的复用：对上一帧的虚拟点光源进行信息更新，获取到其在当前帧位置和眼动视角下的视觉重要度，选取其中在当前帧中依然可复用的部分，然后在剩余的虚拟点光源中再次与新生成的虚拟点光源同时进行筛选。最终，将这部分合并筛选出的集合与直接筛选出来的集合进行合并，获得最终的当前帧有效虚拟点光源集合。

本发明的原理在于：

1、人眼的视觉感知范围很大，但视觉感知的敏感关注区域很小，仅集中在5°范围内，这种敏感度在关注区外随着偏心率的增大而减小。

2、根据眼动跟踪技术中对于人眼视觉敏感度沿像素偏心率的变化趋势，建立一个较为简洁的数学模型，然后根据此视觉模型来设计虚拟点光源视觉重要度。

3、我们利用视觉重要度信息设计虚拟点光源的筛选与复用策略，虚拟点光源的复用可以减少不必要的光照计算，提高帧间稳定性。

本发明与现有技术相比的优点在于：

1、传统的基于眼动跟踪的渲染方法为视觉关注区域内外提供不同等级的计算资源，这种思想天然适应光线追踪类渲染算法，而不能很好地应用于辐射度类渲染算法。我们定义了场景视觉敏感度，估计虚拟点光源的视觉重要度，从而实现依据眼动跟踪来管理立即辐射度方法的虚拟点光源集合。

2、对比已有的立即辐射度方法，本发明以较小的代价实现高质量的漫反射场景全局光照渲染，支持动态场景的实时渲染，且拥有更好的帧间稳定性。

附图说明

图1为屏幕空间的视觉敏感度图(左)和视觉系统的各个组成沿离心率的分布密度(右) 示意图；

图2为屏幕空间的采样模式示意图；

图3为重要度计算示意图；

图4为虚拟点光源分布控制方法实验对比图；

图5为对比实验结果图；其中从左至右分别是光线跟踪方法、本发明方法、1024分辨率的立即辐射度方法、128分辨率的立即辐射度方法。方框中的细节区域在第5列进行了放大展示，其中左上角对应于光线跟踪，右上角对于本发明方法，左下角对应1024分辨率的立即辐射度方法，右下角对应128分辨率的立即辐射度方法。

具体实施方式

摘要附图中的图1和图2分别给出了本发明的总体处理流程与虚拟点光源的复用策略流程，下面结合其他附图及具体实施方式进一步说明本发明。

1、虚拟点光源的生成

如图1所示，在人眼光学以及感光神经系统的同时作用下，造成了人眼视觉系统的敏感度随偏心率显著下降的现象。为了识别出三维场景中处于视觉敏感的区域，我们需要一种能够将视觉敏感度投影到三维场景的方法。如图2所示，我们对屏幕空间定义了一块关注区域，这块区域由采样点外的圈来界定，我们将其设为一个可调节的参数，在关注区域中，采用圈内均一的采样模式；而外围区域则没有任何采样光线来生成虚拟点光源。屏幕空间内采样公式为

θ＝πv，其中，u和v是[0,1]之间的概率均匀分布随机数。然后从这些采样点出射光线，进行一次弹射，即可找到与相机间接可见的虚拟点光源。而为了实现虚拟点光源的快速生成，避免传统采样方法中大量的几何求交运算，我们利用了屏幕空间的阴影图来直接应用上述采样方法获取采样点对应的世界坐标。然后，从该采样点出发，在体素空间中用 Raycast方法求交，将获得的交点作为虚拟点光源结果返回。

2、虚拟点光源的视觉重要度的估算

我们首先需要对视觉敏感度图进行处理，将其转换为一个简化的数学模型。视觉敏感度的度量转换为最小分辨率角度MAR(minimum angle of resolution)，它代表了在某个离心率的像素的最小尺寸，在这个尺寸下的显示对人眼是无感的，其公式为ω＝me+ω₀，其中，ω表示每一圈的MAR角度值，e代表了偏心率，ω₀是最小的可识别角度，并且代表了视网膜中凹区域的视觉敏感程度，m则是一个线性的系数。在得到这个视觉敏感度模型后，我们将其从相机的透视视角下对该敏感度信息进行重投影，并将这些视觉敏感度信息存储到体素当中。

在已经得到场景中所有体素在相机视角中的视觉敏感度值以后，我们可以从虚拟点光源所在的半球面出发，从diffuse cone model所定义的6个方向上出射重要度采样光线，利用 Raycasting方法来求得每根光线与场景体素的交点，并取出该体素中的视觉敏感度值。对获得到的6个敏感度进行加权平均，即可得到最终的重要度结果。

计算虚拟点光源重要度的整个过程可用图3来进行说明。其中VPL代表了虚拟点光源 (virtual point light)，acuity map是视觉敏感度图，它由先前的数学模型计算得到。我们将场景的体素映射到视觉敏感度图中计算其敏感度，然后从虚拟点光源的位置出发，采样多条光线与体素的交点，取出交点的敏感度，最终计算所有敏感度的加权和得到该虚拟点光源的视觉重要度值。对应的各条光线的方向和对应权值是预定义的，所有方向的定义空间为虚拟点光源所在的切线空间。其中沿虚拟点光源法线方向的光线权值要更高一些，但满足权值和为1，即满足公式

3、虚拟点光源的重采样

基于重要性采样的方法，可以有效降低光照的蒙特卡洛积分方差。

其中，F_N为最终的结果，N为采样的数量，p(X_i)为选取第i个采样时的概率密度，f(X_i)是第 i个采样的结果。而控制选取采样的方法，改变采样的概率密度分布，使得概率密度的曲线更加接近于积分的曲线趋势，那么所得到的蒙特卡洛积分结果就更为准确。我们使用了基于逆变换的重采样过程，步骤如下：将所有的虚拟点光源的重要度归一化，也就是将重要度除以所有虚拟点光源的重要度之和。归一化后的重要度代表了该虚拟点光源的采样概率密度。对归一化后的虚拟点光源重要度计算一维的前缀和，在逆变换过程中该一维数组称为累积密度函数(CDF)。根据CDF进行虚拟点光源重采样。对每个重采样，生成一个[0，1]之间的随机数ρ，然后利用二分查找在CDF中索引ρ对应的虚拟点光源，判断它是否已经被采样过，若已被采样，则重新生成随机数ρ继续查找；否则将该虚拟点光源标记为已被采样。

4、虚拟点光源的复用

首先关注虚拟光源信息的更新。对上一帧遗留的虚拟点光源，其信息有许多在本帧当中可以复用的部分，这部分信息有阴影图，法线等，但也存在已过期无法使用的信息，如位置，材质，视觉重要度，辐射度等。其中虚拟点光源位置的更新最为重要，所有其他信息的更新都是基于位置的。我们设计了一个能够实时更新虚拟点光源位置的方法。假设虚拟点光源的旧位置的世界坐标为P，而其对应物体的旧模型转换矩阵为M，当前的模型转换矩阵为nM，那么可得当前虚拟点光源的坐标为：newP＝nM·M^-1·P。为了获得每个虚拟点光源所附着的物体信息，我们在体素化的过程中加入模型的索引信息，存入到了每个被面片占用的体素，空体素的模型索引为0。如此，我们便可以根据模型的索引获取到该模型的M和nM的模型转换矩阵信息。

由于我们已经能够计算每个虚拟点光源的视觉重要度，因此对虚拟点光源集合的管理过程其实也是完全基于视觉重要度的。视觉重要度的规则大致可以分为三条：

(1)具有高贡献度的虚拟点光源应当更优先被加入到最终的虚拟点光源集合当中。

(2)从上一帧到当前帧的虚拟点光源集合的转换应当是平滑的。光照更高的帧间连续性意味着这两个集合间的交集越大。

(3)虚拟点光源在场景表面的分布应当尽可能均匀，这将有利于整个画面的间接光照的稳定性。

首先，我们对上一帧中遗留的旧虚拟点光源信息进行更新，获取到他们在本帧位置和眼动视角下的视觉重要度，并且去除已经无效的虚拟点光源和视觉重要度低于阈值的虚拟点光源。然后，这些旧的虚拟点光源将会经过一次筛选操作，选取其中在本帧中依然可复用的部分，然后在剩余的虚拟点光源中再次与新生成的虚拟点光源同时进行筛选，最大化就虚拟点光源的复用率。最终，将这部分合并筛选出的集合VPL_tmp与直接筛选出来的集合进行合并，获得最终的本帧有效虚拟点光源集合。

根据规则(1)和(2)，具有高视觉重要度的虚拟点光源会被优先保留，并且应当尽可能最大化虚拟点光源的复用率，因此我们从旧虚拟点光源中先提取出一部分虚拟点光源，依据是他们的视觉重要度变化率。由于视点可能存在的变化，旧虚拟点光源的光照可能无法照亮视角看向的新区域，它的视觉重要度会不断减小，这也意味着他所照亮的区域逐渐脱离了相机的视野范围。我们会根据公式

来计算每个虚拟点光源被选中的接受概率，其中，

视觉重要度得到增大的虚拟点光源被选中的概率为1，该虚拟点光源将会被直接加入到可复用列表中。而视觉重要度减少了的虚拟点光源被接受的概率处于0到1之间。

具体的删除操作与添加操作策略如下：首先对所有的虚拟点光源计算他们的网格密度，然后对新虚拟点光源按照视觉重要度递减的顺序进行排序，对被筛选过的旧虚拟点光源按照视觉重要度递增的顺序排序。随后，我们对这两个已经排好序的集合进行选择和替换操作。我们对每一对对应的新虚拟点光源和旧虚拟点光源比较他们的视觉重要度和网格密度的综合权值。经过权值比较后，选择具有更高权值的虚拟点光源，若该虚拟点光源所在的网格密度未饱和，则将其加入最终的集合中；否则将其删除，加入另一个。最终，如果选择的所有虚拟点光源数量不足，则继续加入新虚拟点光源直至将其用光或达到数量总限制。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于眼动跟踪的全局光照渲染方法，其特征在于包括以下五个步骤：

步骤(1)、场景的体素化：给定虚拟面片场景，首先将该面片场景体素化，并将对应属性如反照度、法线等存入三维纹理。

步骤(2)、虚拟点光源的生成：我们对屏幕空间定义了一块关注区域，在关注区域中，采用圈内均一的采样模式，而外围区域则没有任何采样。然后从这些采样点出射光线，在体素空间中用Raycasting方法求交，进行一次弹射，将二次相交点作为与相机间接可见的虚拟点光源。

步骤(3)、虚拟点光源的视觉重要度的估算：首先定义虚拟点光源的视觉重要度代表该虚拟点光源最终对观察者的视觉系统的贡献。我们将每个体素投影至屏幕空间中，计算该像素所在的偏心率，得到其敏感度。再从虚拟点光源所在的半球面出发，从diffuse conemodel所定义的6个方向上出射重要度采样光线，取出相交体素中的视觉敏感度值并加权平均即得到该虚拟点光源的视觉重要度的估算值。

步骤(4)、虚拟点光源的重采样：归一化虚拟点光源的重要度，对归一化后的虚拟点光源重要度计算一维的前缀和，在逆变换过程中该一维数组称为累积密度函数(CDF)。对每个重采样，生成一个[0,1]之间的随机数ρ，然后利用二分查找在CDF中索引ρ对应的虚拟点光源，判断它是否已经被采样过，直到遍历完全。

步骤(5)、虚拟点光源的复用：对上一帧的虚拟点光源进行信息更新，获取到其在当前帧位置和眼动视角下的视觉重要度，选取其中在当前帧中依然可复用的部分，然后在剩余的虚拟点光源中再次与新生成的虚拟点光源同时进行筛选。最终，将这部分合并筛选出的集合与直接筛选出来的集合进行合并，获得最终的当前帧有效虚拟点光源集合。

Images