CN103729873B

CN103729873B - 一种内容感知的环境光采样方法

Info

Publication number: CN103729873B
Application number: CN201310756422.7A
Authority: CN
Inventors: 万亮; 冯伟; 杨英
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2013-12-31
Filing date: 2013-12-31
Publication date: 2017-01-04
Anticipated expiration: 2033-12-31
Also published as: CN103729873A

Abstract

本发明公开了一种内容感知的环境光采样方法，包括：步骤一、对于输入的高动态环境光图像，采用色调映射技术进而实现环境光图像的近似自适应Mean‑shift聚类，具体包括步骤：（1）环境光图像色调映射处理；（2）环境光图像自适应Mean‑shift聚类；步骤二、自适应分离和合并的区域重组机制：在自适应Mean‑shift聚类的结果上，对每个区域进行重要性度量，对区域进行一系列分离和合并，使得每个区域的重要性度量值尽量相近，具体包括步骤：（1）自适应分离；（2）自适应合并。本发明使用相同数目的采样点，渲染效果更为逼真，并且降低采样点数目，渲染效果依然稳定。

Description

一种内容感知的环境光采样方法

技术领域

本发明属于计算机图形学和计算机视觉领域，涉及Mean-shift聚类、Tone-Mapping和环境光采样等技术。本发明可用于虚拟现实、电影特效、游戏和动画处理等实际应用。

背景技术

3D虚拟场景的渲染可以应用真实世界的光照信息，例如，使用HDR环境光图像作为光源，来提高渲染效果的真实性，同时，需要面对的是大规模计算对于空间和时间的消耗。为了解决这个问题，环境光采样技术使用有限数量的方向光源来近似环境光，这样，计算的规模被大幅度降低，3D场景渲染的计算时间和存储要求被大量节省。为了保持渲染的真实性，要求在单张环境光图像上获得高质量的采样点数据。现有技术的方法中很多是基于将环境光图像规则地分解为具有相似重要性的区域，例如q2-tree(如参考文献[3])和中值切割(如参考文献[2])，这些方法将球形图像分解成长方形区域。然而，光照区域通常都是不规则的形状，所以使用长方形区域近似不规则形状会导致浪费一部分的采样点，以致于降低渲染质量。一种结构化重要性采样(如文献[6])使用阈值限定方法进行不规则分解，该方法先根据阈值将环境光图像分为若干层，然后将每一层分解成若干小区域。虽然分解的结果的形状是不规则的，但是简单的阈值限定没有考虑光强范围分布的不均匀特性。另外，基于扭曲方法的环境光采样技术(如文献[8])提到在更重要的区域放置了更多的采样点。本发明中涉及到的背景技术有：

1、环境光采样(见文献[1])：对于一个3D物体上的每一个点的光照计算就是将入射光照和物体表面的BRDF(双向反射分布功能)的积分。由于高分辨率的环境光图像中含有成千上万的方向光，大量的计算耗费过多的时间。环境光采样技术通过使用有限数量的方向光近似环境光图像的方法来简化计算，通常在重要性更多的区域放置更多的采样点。现有的方法主要是将一个环境光图像分解为若干区域，每一区域放置一个采样点。通常是在重要性更高的区域(高光区域)进行更多的分解，对于重要性不高的区域(可见光区域)进行较少的分解。一些已有的方法采用规则的分解，例如，将环境光图像分解成若干不重叠的长方形区域(如文献[2][3][4])，或者重叠的长方形区域(如文献[5])。然而，由于光照区域通常是不规则的形状，对光照区域进行不规则分解可以提高采样质量。一个不规则分解的方法(如文献[6])，使用阈值限定方法将环境光图像分割为若干层，每层放置不同数目的采样点。简单的阈值分割可能丢失环境光图像中不均匀的高动态范围部分。除此之外，还有一些其他的方法是基于扭曲形变算法的。例如，分层扭曲算法将输入的点集扭曲，或者使用球谐函数(如文献[7])，使其与小波空间的环境光相匹配(如文献[8])。文献[9]在半球上生成均匀采样点，然后将环境光图像当作概率密度函数对采样点进行扭曲处理。

2、Mean-shift聚类：Mean-shift聚类是一种常用的无参数特征聚类技术，被广泛应用于图像分割、噪声消除、目标跟踪等技术中。Mean-shift聚类首次在文献[10]提出，后来被许多研究者进行扩展，使得聚类可以迅速地收敛并应用于高维特征空间。简单地说，Mean-shift聚类可以自动地检测特征空间中的多元分布的模态(极大值)。这是一个迭代的过程，模态是由计算数据点集的平均值而得到的，其中的权重由选取核函数决定。得到的结果很大程度上受到核函数的选取和核的宽度(窗口大小)的影响。传统的做法是选取高斯函数作为核函数。另一方面，核的宽度可以是固定的值或者在每个特征点上自适应地计算出来，这样可以在耗费更多的计算中获得更好的聚类效果。在特征空间中寻找最近邻是Mean-shift聚类中最费时的操作，为了加快收敛，许多加速技术被提出。例如，文献[11]使用快速高斯转换在每一步迭代中加速求和。文献[12]将Mean-shift解释为一种特征空间的拓扑分解，基于这种想法，大部分的像素不用进行迭代就可以分类。文献[13]基于随机采样的方法简化核密度估计。

参考文献

[1].Gibson,S.and Murta,A.Interactive rendering with real-worldillumination.Inproceedings of 11th Eurographics Workshop on Rendering,pp.365-376,2000.

[2].P.Debevec,“A median cut algorithm for light probe sampling,”inACM SIGGRAPH 2006 Courses.ACM,2006,p.6.

[3].L.Wan,T.-T.Wong,and C.-S.Leung,“Spherical q 2-tree for samplingdynamic environment sequences,”in Proceedings of the Sixteenth Eurographicsconference on Rendering Techniques.Eurographics Association,2005,pp.21–30.

[4].L.Wan,S.-K.Mak,T.-T.Wong,and C.-S.Leung.Spatiotemporal Samplingof Dynamic Environment Sequences.IEEE Trans.on Visualization and ComputerGraph.,17(10):1499–1509,2011.

[5].T.Annen,Z.Dong,T.Mertens,P.Bekaert,H.-P.Seidel,and J.Kautz,“Real-time,all-frequency shadows in dynamic scenes,”in ACM Transactions on Graphics(TOG),vol.27,no.3.ACM,2008,p.34.

[6].S.Agarwal,R.Ramamoorthi,S.Belongie,and H.Jensen,“Structuredimportance sampling of environment maps,”in ACM Transactions on Graphics(TOG),vol.22,no.3.ACM,2003,pp.605–612.

[7].W.Jarosz,N.A.Carr,and H.W.Jensen,“Importance sampling sphericalharmonics,”in Computer Graphics Forum,vol.28,no.2.Wiley Online Library,2009,pp.577–586.

[8].P.Clarberg,W.Jarosz,T.Akenine-M¨oller,and H.W.Jensen,“Waveletimportance sampling:efficiently evaluating products of complex functions,”ACMTransactionson Graphics(TOG),vol.24,no.3,pp.1166–1175,2005.

[9].V.Havran,M.Smyk,G.Krawczyk,K.Myszkowski,and H.-P.Seidel,“Interactive system for dynamic scene lighting using captured videoenvironment maps,”inProceedings of the Sixteenth Eurographics conference onRendering Techniques.Eurographics Association,2005,pp.31–42.

[10].K.Fukunaga and L.D.Hostetler,“The estimation of the gradient ofa density function,with applications in pattern recognition,”IEEETrans.Information Theory,vol.21,pp.32–40,1975.

[11].C.Yang,R.Duraiswami,N.Gumerov,and L.Davis,“Improved fast gausstransform and efficient kernel density estimation,”in ICCV,2003,pp.664–671.

[12].PARIS,S.,AND DURAND,F.2007.A topological approach tohierarchical segmentation using mean shift.In Proc.of CVPR,1–8.

[13].D.Freedman,P.Kisilev,and I.Haifa.Fast Mean Shift by CompactDensity Representation.In Proc.CVPR,pages 1818–1825,2009.

发明内容

为了克服现有技术存在的问题，本发明提出了一种内容感知的环境光采样方法，针对现有技术在环境光采样处理中的不足，利用色调映射技术，简化并近似了Mean-shift自适应聚类算法分割环境光图像，保持光源区域的不规则形状，考虑了光源高动态范围的不均匀特性影响，很好的分离高光区域与低光区域；获取不规则的光照区域，使用自适应分离和合并机制，保证区域能量的均衡分布，得到高质量的采样点信息并有效地提高了渲染结果的可视化效果和准确度。

本发明提出了一种内容感知的环境光采样方法，该方法包括以下步骤：

步骤一、对于输入的高动态环境光图像，采用色调映射技术进而实现环境光图像的近似自适应Mean-shift聚类，具体包括以下步骤：

1、环境光图像色调映射处理：对输入的高动态范围图像进行读取，根据Weber-Fechner定律和Naka-Rushton定律，对所有像素的RGB值分别进行色调映射处理，实现环境光图像光强的非线性调整，将高光区域的光强进行压制，增大低光区域的光强范围，使得光强在高动态范围内较均匀分布；

2、环境光图像自适应Mean-shift聚类：在步骤(1)的结果上，设定迭代窗口大小，进行Mean-shift聚类，剪除其中面积过小的区域，得到近似自适应Mean-shift聚类结果；

步骤二、在步骤一的自适应Mean-shift聚类的结果上，对每个聚类区域进行重要性度量：结合对区域所进行的自适应分离和合并实现区域重组，使得每个区域的重要性度量值尽量相近；具体包括以下步骤：

1、自适应区域分离：首先，计算所有区域的平均能量值，然后将所有超过2倍平均能量值的区域使用Hochbaum-Shmoys算法进行分离，分离的数目是区域的像素点数和区域能量模平均能量的最小值，分离后，再次计算平均能量值，判断新旧平均能量值相差是否小于5，若否，则继续分解，若是，则分离结束；

2、根据分离后的结果，建立一个邻接关系表，该表存储所有的区域，每个区域都指向一个链表，链表中存储与该区域相邻的所有区域编号；

3、自适应区域合并：选取能量值最小的一个区域，在邻接链表存储的它的相邻区域中选择一个区域进行合并，要求它与该相邻区域合并后的能量值在它与其他相邻区域合并的所有情况中最小，循环合并步骤，直到区域的数目满足最初设定某个固定的值。

与现有技术相比，本发明具有以下优点：

(1)使用相同数目的采样点，渲染效果更为逼真。与其他的现有方法不同，本发明使用了具有内容感知特性的Mean-shift聚类算法，得到了不规则形状的更为准确的光源区域分割结果。在分割结果的基础上，进行自适应的分离和合并机制，调整区域能量分布，加强了采样点放置的合理性，避免了采样点浪费导致渲染质量发生的情况。与其他方法的结果比较，我们的采样点渲染效果在视觉上或者量化结果中都是更贴近真实效果的。

(2)降低采样点数目，渲染效果依然稳定。本发明根据环境光图像的内容信息进行采样点提取，在采样点数目减少的情况下，根据自适应分离和合并机制，依然可以获得能量的均衡分布，所有区域的能量值相差不大，因此，渲染的效果不会出现大幅度的变化。这使得在使用较少的采样点的情况下，依然可以得到与真实效果更贴近的结果。

附图说明

图1为近似自适应Mean-shift聚类流程图；

图2为自适应分离机制流程图；

图3为自适应合并机制流程图；

图4为输入图、分割结果和渲染结果图。

具体实施方式

为能更好的理解本发明的发明内容、特点及功效，下面结合附图和实施例对本发明的技术作进一步的说明。

如图1所示，为本发明的近似自适应的Mean-shift聚类流程图。近似自适应的Mean-shift聚类流程主要包括高动态范围图像读取、色调映射处理、设定迭代窗口大小、Mean-shift聚类和剪除过小区域等步骤，该过程自适应分离和合并机制提供了环境光图像的区域分割结果信息。

图2所示，为本发明的自适应分离机制流程图，此流程主要将大面积高光区域进行拆分，使能量均衡分布。自适应分离机制包括计算区域能量、计算平均能量、区域拆分和衡量新旧平均能量值等步骤。

如图3所示，为本发明的自适应合并机制流程图，此流程主要将小部分低光区域合并，使能量均衡分布。自适应分离机制包括选取能量最低区域、获取区域邻居标号、计算合并后的能量、选取适宜对象合并等步骤。

如图4所示，为本发明的输入图像、区域划分和内容感知环境光采样渲染的结果示意图，其中图(a)为高动态环境光输入图，图(b)为近似自适应Mean-shift聚类的结果图，图(c)为使用不同采样点数目的渲染结果示意图，本发明的方法同其他方法渲染效果的对比，使用采样点数目分别为80、120和160，最后一列为不进行采样，使用完整数据进行渲染所获得渲染效果。从结果可以看出本发明生成的采样点更加准确地突出环境光的重要性信息，渲染效果在视觉上更接近与真实情况。

本发明属于计算机图形学和计算机视觉领域，包括近似自适应的Mean-shift聚类，自适应分离和自适应合并机制三部分。三部分的主要流程如图1、图2与图3所示。

其中近似自适应的Mean-shift聚类部分包括环境光图像色调映射处理、Mean-shift聚类等步骤：

一、环境光图像色调映射处理：对输入的HDR图像，根据Weber-Fechner和Naka-Rushton定律，对所有像素的RGB值分别进行色调映射处理，进行非线性调整。先对于整张图像计算半饱和度Is，根据半饱和度值将高光和低光分别进行适当调整，分段函数：

c (I) = \{\begin{matrix} \tilde{k} \log (I + m) + s_{0}, & I \leq I_{M} \\ \frac{I^{n}}{I^{n} + I_{s}^{n}}, & I > I_{M} \end{matrix}

其中，I_s是高动态环境光图像的半饱和度，I_M＝10²I_s，m＝10^-1.2I_s。s₀保持分段函数的连续性，n＝0.74。对于红色通道，对于绿色和蓝色通道，进行色调映射后，统一将颜色值归一化到0-1范围内。

二、Mean-shift聚类：环境光图像中的每个像素都被当作一个5维特征点，其中包括该像素的RGB信息和位置信息。设置颜色空间窗口大小hr为6，位置空间窗口大小hs为7。核函数定义为两个对称核的乘积：

K (h_{s}, h_{r}, x) = \frac{C}{h_{s}^{2} h_{r}^{2}} k (| | \frac{x^{s}}{h_{s}} | |^{2}) k (| | \frac{x^{r}}{h_{r}} | |^{2})

其中，x^s和x^r分别为特征向量的空间位置和颜色部分。核函数k为高斯正态函数，C为正规因子。种子点y的移动根据周围在颜色和位置窗口内的一系列数据点x的贡献进行迭代计算：

y_{j + 1} = \frac{Σ_{i = 1}^{n} K (y_{j} - x_{i}) x_{i}}{Σ_{i = 1}^{n} K (y_{j} - x_{i})}

n是特征点的数量。

自适应分离和合并机制部分包括测量区域能量、自适应区域分离、建立邻接链表和自适应区域合并等步骤：

三、测量区域能量：同时考虑光照区域的面积大小和光照强度信息，衡量区域能量采用公式：

Γ(L,Δω)＝L^aΔω^b

其中，Δω为光照区域的立体角(即球面面积)，L为光照区域的光亮总和，根据可见性分析，参数设置为a＝1，b＝1/4。

四、自适应区域分离：检测区域中能量值高的，将其分离。首先，计算平均能量值：

Γ_{a} = \frac{Σ_{i = 1}^{N} Γ (L_{i}, {Δω}_{i})}{N}

其中，N是聚类后分割区域的总数。

检测所有区域中能量值大于2倍平均能量的所有区域标号：

{k|Γ(L_k,Δω_k)＞α·Γ_a}

其中，k是区域的索引，参数设置为α＝2。

通过Hochbaum-Shmoys算法进行分解，分解的份数为：

其中，M_k是该区域中像素的数目。

分解后，再次计算平均能量，若前后值相差太大，重复上述步骤；若平均能量不再大幅度变化，分离完成。

五、建立邻接链表：对分割结果中的每个区域建立一个单链表，每一个单链表的表头节点为对应区域的标号，即第i个单链表表示标号为i的区域，其链域指向与该区域位置相邻的所有区域标号。构建邻接链表的过程为，根据现有区域标号，扫描整张图像，若两个区域位置上相邻，则分别在这两个区域的邻接链表的链域中添加对方编号。具体数据结构为：结构体数组代表所有区域，数组元素的索引对应区域的标号信息，结构体内的指针指向的链表存储该结构体对应区域的所有邻接区域标号；当发现两个区域满足相邻条件时，将这两个区域的标号分别存储到对方结构体指针指向的链表中。

六、自适应区域合并：将环境光图像的分解结果中能量较小的区域进行合并，均衡整体能量分布。首先，得到自适应区域分离结果后，计算区域的能量，在所有区域中选择能量值最小的区域；然后在可以快速查询的邻接链表中，找到与该区域相邻的所有区域标号，依次计算该区域与其每个邻居合并后的新能量值；并从中选择获得最小能量的邻居标号，将二者进行合并。进行合并操作后，需要更新邻接链表，更新的过程同建立邻接链表过程相同，即根据当前的区域分割信息，重新构造新的邻接链表。

Claims

1.一种内容感知的环境光采样方法，其特征在于，该方法包括以下步骤：

(1)环境光图像色调映射处理：对输入的高动态范围图像进行读取，根据Weber-Fechner定律和Naka-Rushton定律，对所有像素的RGB值分别进行色调映射处理，实现环境光图像光强的非线性调整，将高光区域的光强进行压制，增大低光区域的光强范围，使得光强在高动态范围内较均匀分布；

(2)环境光图像自适应Mean-shift聚类：在步骤(1)的结果上，设定迭代窗口大小，进行Mean-shift聚类，剪除其中面积过小的区域，得到近似自适应Mean-shift聚类结果；

(1)自适应区域分离：首先，计算所有区域的平均能量值，然后将所有超过2倍平均能量值的区域使用Hochbaum-Shmoys算法进行分离，分离的数目是区域的像素点数和区域能量模平均能量的最小值，分离后，再次计算平均能量值，判断新旧平均能量值相差是否小于5，若否，则继续分解，若是，则分离结束；

(2)根据分离后的结果，建立一个邻接关系表，该表存储所有的区域，每个区域都指向一个链表，链表中存储与该区域相邻的所有区域编号；

(3)自适应区域合并：选取能量值最小的一个区域，在邻接链表存储的它的相邻区域中选择一个区域进行合并，要求它与该相邻区域合并后的能量值在它与其他相邻区域合并的所有情况中最小，循环合并步骤，直到区域的数目满足最初设定某个固定的值。