CN106846453A - 一种基于稀疏光照采样的场景光度遮挡计算方法 - Google Patents

Abstract

本发明公开了一种基于稀疏光照采样的场景光度遮挡计算方法，包括以下步骤：选择稀疏光照采样场景作为输入图像，建立输入图像中像素的实际分布模型和理论分布模型；构建相对熵模型和相对熵能量函数；对相对熵能量函数进行最小化求解，得到输入图像中物体表面的反照率和方向光的强度值的乘积，确定出输入图像中物体表面的反照率；根据期望模型确定输入图像的环境光遮蔽。本发明利用少量的输入图像，通过对图像中每个像素点进行统计，求得所有像素点的概率分布情况，根据实际观测的概率分布情况估计像素点的理论分布情况，根据最小化相对熵模型得到最优的理论分布，求得输入图像的反照率，通过期望模型计算出图像场景的环境光遮蔽。

Description

一种基于稀疏光照采样的场景光度遮挡计算方法

技术领域

本发明属于图形学和游戏设计领域，更具体的说，是涉及一种基于稀疏光照采样的场景光度遮挡计算方法。

背景技术

(1)环境光遮蔽(Ambien tOcclusion)：Ambient Occlusion是来描绘物体和物体相靠近或者相交的时候遮挡周围漫反射光线的效果，可以解决或者改善漏光、飘和阴影不实等问题，解决或者改善场景中缝隙、褶皱与墙角、角线以及细小物体等的表现不清晰问题，综合改善细节尤其是暗部阴影，增强空间的层次感、真实感，同时加强和改善画面的明暗对比，增强画面的艺术性。尽管环境光遮蔽问题是计算视觉领域中一个很基本的问题，但是近年来对AO的计算方法研究并不是很多。对于环境光遮蔽的估计，根据输入图像的不同，大致可以分为两类，一类是根据单张图像进行AO的估计，另一类是跟图像序列进行AO的计算。对于单张图像作为输入的时候，往往需要加入一些额外的先验条件，例如自然场景图像中的光照和颜色需要很强的局部平滑性，或者引入非局部纹理约束等等。对于图像序列求解图像中物体的环境光遮蔽问题，往往需要输入很多的图像，也就是说需要稠密采样光照的场景进行计算，这种算法虽然能够得到不错的效果，但是当输入序列基数较小时，对AO估计的效果就不是很理想。

(2)相对熵模型(Relative Entropy Model)：在概率论或信息论中，相对熵模型是描述两个概率分布P和Q差异的一种模型。记为D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。

发明内容

本发明针对现有技术在提取图像场景中的环境光遮挡问题过程中缺陷和不足，提出一种基于稀疏光照采样的场景光度遮挡计算方法，利用少量的输入图像，通过对图像中每个像素点进行统计，求得所有像素点的概率分布情况，同时也需要根据实际观测的概率分布情况估计像素点的理论分布情况，然后根据最小化相对熵模型得到最优的理论分布，求得输入图像的反照率，最后通过期望模型计算出图像场景的环境光遮蔽。

本发明的目的是通过以下技术方案实现的。

本发明的一种基于稀疏光照采样的场景光度遮挡计算方法，包括以下步骤：

步骤一，选择稀疏光照采样场景作为输入图像，建立输入图像中像素的实际分布模型和理论分布模型；

步骤二，在步骤一中实际分布模型和理论分布模型的基础上，构建相对熵模型和相对熵能量函数；

步骤三，对步骤二中相对熵能量函数进行最小化求解，得到输入图像中物体表面的反照率和方向光的强度值的乘积，确定出输入图像中物体表面的反照率；

步骤四，基于步骤三中输入图像中物体表面的反照率和方向光的强度值的乘积，根据期望模型确定输入图像的环境光遮蔽。

所述步骤一中选择稀疏光照采样场景作为输入图像的具体过程为：同一拍摄地点拍摄，相机位置固定，在同样的环境光照射背景下，用一个光照强度固定的光源，从不同方向照射图像中的场景，每变化一次光源的位置，用相机拍摄一次，得到固定相机位置、固定环境光强度、不同方向光的图像序列，在得到的图像序列中，选择一部分图像(即稀疏光照采样场景)作为该输入图像。

所述步骤一中输入图像中像素点的实际分布模型的建立：对输入图像中每个像素点的所有像素值进行采集，将像素值分组，进行概率统计。

所述步骤一中输入图像中像素点的理论分布模型包括以下两部分：

(1)当方向光被周围物体遮挡时

其中，P(1)表示第一个间隔，输入图像中像素点理论分布的概率；α表示物体周围遮蔽物与法向量之间的夹角；

(2)当方向光未被周围物体遮挡时

其中，n表示间隔数，n>2；ΔI表示输入图像中每个像素点的光照强度等分后，每份的间隔；l_d表示方向光的强度值；ρ表示输入图像中物体表面的反照率；P(n)表示第n个间隔，输入图像中像素点理论分布的概率。

所述步骤二中相对熵模型为：

相对熵能量函数为：

其中，P(i)表示第i个间隔，输入图像中像素点理论分布的概率；Q(i)表示第i个间隔，输入图像中像素点实际分布的概率。

所述步骤四中输入图像的环境光遮蔽为：

其中，E(I)表示输入图像中像素点的期望值；I_a表示环境光在物体表面的光照强度；H＝ρl_d，l_d表示方向光的强度值；ρ表示输入图像中物体表面的反照率。

与现有技术相比，本发明的技术方案所带来的有益效果是：

本发明提出的基于稀疏光照采样的场景光度遮挡计算方法，与现有的计算法环境光遮蔽计算方法不同，本发明不再需要任何的先验知识，仅仅在少数稀疏采样的图像序列中，从像素级别对图像序列进行模型构建，将实际观测到的像素值分布作为真实分布，将理论分布作为待拟合的分布，利用信息论中的相对熵模型，构建相对熵能量函数，通过最小化相对熵能量函数，得到图像的反照率，就能够求出理想效果的环境光遮蔽AO，为图形学和游戏设计领域在计算环境光遮蔽问题上提出了一种新的技术。

附图说明

图1是本发明的流程图；

图2是本发明中物体光照模型图；

图3是本发明中像素点理论分布分析模型图；

图4是本发明中不同稀疏光照采样场景的环境光遮蔽(a)和反照率(b)结果图。其中，num表示图像数量。

具体实施方式

下面结合附图对本发明作进一步的描述。

本发明，涉及到图像中的场景或者物体的物理性质的估计问题，是计算机视觉领域中非常重要的工作。这项技术描述的是图像中场景在不同光照条件下的局部可见性，即场景的环境光遮蔽(Ambient Occlusion)问题的计算，该技术是基于稀疏光照采样(Sparsely Sampled Illuminations)的场景，并且不需要任何的先验知识，利用相对熵模型(Relative Entropy Model)对图像中的环境光遮蔽问题进行准确的估计。

如图1至图4所示，本发明的基于稀疏光照采样的场景光度遮挡计算方法，不再依赖于稠密光照采样的场景，将选择稀疏光照采样得到图像集作为算法的输入，而且不需要任何的假设条件，对图像的所有像素点进行统计分析，逐点求出每个像素点的光照强度的分布情况，再将相对熵理论(Relative Entropy)应用到不同概率分布差异问题中，通过光照强度的分布来估算出更加准确的环境光遮蔽，取得同等或更小的误差，与此同时还能够得到更好效果的反照率和光照层，具体包括以下步骤：

(一)选择稀疏光照采样场景作为输入图像，建立输入图像中像素的实际分布模型和理论分布模型。

(1)稀疏光照采样场景的选择

对于该算法的输入图像序列的选择。该输入图像序列要求是同一拍摄地点拍摄，相机位置固定，在同样的环境光照射背景下，用一个光照强度不变的光源，从不同方向照射图像中的场景，每变化一次光源的位置，用相机拍摄一次，这样就可以得到大量的固定相机位置、固定环境光强度、不同方向光的图像序列。在得到的图像序列中，选择少量图像(即稀疏光照采样场景)作为该输入图像。

输入图像中每个像素点的光照强度I由两个光源构成：环境光和方向光(即点光源照射)。

I＝I_d+I_a (1)

其中，I_d表示在物体表面的光照强度，I_a表示环境光在物体表面的光照强度。根据光照模型的定义，方向光在物体表面的光照强度的计算公式如下：

I_d＝ρl_dV(N，w_d)<N，w_d>＝ρl_dV(θ_d)cosθ_d (2)

其中，ρ表示输入图像中物体表面的反照率，l_d表示方向光的强度值，N表示输入图像中物体表面的法向量，w_d表示方向光的方向，θ_d代表了法向量与方向光之间的夹角，V表示当前点是否能够被方向光照射到，如果可以照射到则V(θ_d)＝1，否则V(θ_d)＝0。

对于环境光对物体表面照射的计算不仅与环境光的强度值l_a相关，而且与物体周围遮蔽物和法向量之间的夹角α相关，其计算过程如下：

其中，l_a表示环境光的强度值，夹角α表示物体表面上某一点法向量与周围遮挡物之间的夹角。

(2)输入图像中像素点的实际分布模型的建立

通过对输入图像像素值的统计，对于输入图像中的每个像素点我们可以得到与其对应的像素值的概率分布。像素实际分布模型建立过程：首先对输入图像中每个像素点的所有像素值进行采集，选择最大者记为I_实max,最小值记为I_实min,在通过实验经验将像素值分为六份，进行概率的统计，能取得最好的实验效果。

(3)输入图像中像素点的理论分布模型的建立

对光照模型的分析，我们发现，当方向光被周围物体遮挡的时候，即θ_d＞α时，该像素点的理论值为I＝I_a；当方向光未被周围物体遮挡时候，即θ_d≤α时，I＝I_a+I_d。光照强度受θ_d的影响，像素点理论最大值I_理max＝I_a+ρl_d。

通过上述分析，我们可以得到一个重要的结论：每个方向光的角度θ_d对应唯一的一个理论像素值，反之，就是每个像素值对应着唯一的一个方向光的角度。根据这个结论，我们将对理论分布进行构建：

第一部分：当方向光被周围物体遮挡时，I＝I_a，即θ_d∈[π/2,α]，与之对应的概率如下：

其中，P(1)表示第一个间隔，输入图像中像素点理论分布的概率；α表示物体周围遮蔽物与法向量之间的夹角。

第二部分：当方向光未被周围物体遮挡时，将I＝[I_a，I_理max]均匀的分成M份，每份的间隔为ΔI，对于第二个间隔[I_a,I_a+ΔI]计算：

I_a+ΔI＝I_a+I_d＝I_a+ρl_d cosθ₁ (5)

其中，θ₁法向量与方向光之间的夹角。

对于上述两个间隔对应的夹角变化如下：

根据夹角的变化，得到第二个间隔输入图像中像素点理论分布的概率：

类似的，当间隔数n>2时，夹角变化如下：

依据上述像素理论分布计算公式，可以得到相对应的像素理论分布

其中，n表示间隔数，n>2；ΔI表示输入图像中每个像素点的光照强度等分后，每份的间隔；l_d表示方向光的强度值；ρ表示输入图像中物体表面的反照率；P(n)表示第n个间隔，输入图像中像素点理论分布的概率。

(二)构建相对熵模型和相对熵能量函数

相对熵模型定义：

其中，P(i)表示第i个间隔，输入图像中像素点理论分布的概率；Q(i)表示第i个间隔，输入图像中像素点实际分布的概率。

根据相对熵模型的定义，当两个概率分布越相似，其相对熵的值就会越小，说明两种随机变量的分布越相近。由于相对熵是非对称的测量，我们可以进一步定义相对熵能量函数：

通过最小化相对熵能量函数，我们可以拟合修正得到输入图像中像素点的最优的理论分布。

(三)对相对熵能量函数进行最小化求解

首先将输入图像中物体表面的反照率和方向光的强度值的乘积ρl_d记为H，即H＝ρl_d，考虑上述定义的相对熵能量函数，总共有N_c*N_p个方程，N_c表示输入图像颜色通道数，N_p表示输入图像的像素点的个数，因为相对熵能量函数是非线性问题，本发明利用Matlab中的lsqnonlin方程进行最小化处理得到最终的H：

进一步可确定出输入图像中物体表面的反照率ρ。

(四)根据期望模型确定输入图像的环境光遮蔽

首先根据输入图像的像素值得到像素点的期望值E(I)以及像素值的平方的期望E(I²)，计算过程如下：

E(I)＝E(I_a+I_d)＝I_a+E(I_d) (13)

E(I²)＝I_a ²+2I_aE(I_d)+E(I_d ²) (14)

根据光照模型，得到如下结果：

根据上述求得的H，该发明得到最终的图像的环境光遮蔽AO:

参考文献

[1]Z.Kalal,K.Mikolajczyk,and J.Matas.Face-TLD:Tracking-Learning-Detection Applied to Faces.IEEE 17th International Conference on ImageProcessing,Sept.2010:3789-3792.

[2]J.Kontkanen and S.Laine.Ambient occlusion fields.in Proceedings ofthe 2005symposium on Interactive 3D graphics and games,2005,pp.41–48.

[3]T.Beeler,D.Bradley,H.Zimmer,and M.Gross,“Improved reconstructionof deforming surfaces by cancelling ambient occlusion,”in ECCV,2012.

[4]D.Hauagge,K.Wehrwein,S.tandBala,and N.Snavely,“Photometric ambientocclusion,”in CVPR,2013.

[5]Q.Zhao,P.Tan,Q.Dai,L.Shen,E.Wu,and S.Lin,“A closed-form solutionto retinex with nonlocal texture constraints,”PAMI,2012.

尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.一种基于稀疏光照采样的场景光度遮挡计算方法，其特征在于，包括以下步骤：

步骤一，选择稀疏光照采样场景作为输入图像，建立输入图像中像素的实际分布模型和理论分布模型；

步骤二，在步骤一中实际分布模型和理论分布模型的基础上，构建相对熵模型和相对熵能量函数；

步骤三，对步骤二中相对熵能量函数进行最小化求解，得到输入图像中物体表面的反照率和方向光的强度值的乘积，确定出输入图像中物体表面的反照率；

步骤四，基于步骤三中输入图像中物体表面的反照率和方向光的强度值的乘积，根据期望模型确定输入图像的环境光遮蔽。

2.根据权利要求1所述的一种基于稀疏光照采样的场景光度遮挡计算方法，其特征在于，所述步骤一中选择稀疏光照采样场景作为输入图像的具体过程为：同一拍摄地点拍摄，相机位置固定，在同样的环境光照射背景下，用一个光照强度固定的光源，从不同方向照射图像中的场景，每变化一次光源的位置，用相机拍摄一次，得到固定相机位置、固定环境光强度、不同方向光的图像序列，在得到的图像序列中，选择一部分图像(即稀疏光照采样场景)作为该输入图像。

3.根据权利要求1所述的一种基于稀疏光照采样的场景光度遮挡计算方法，其特征在于，所述步骤一中输入图像中像素点的实际分布模型的建立：对输入图像中每个像素点的所有像素值进行采集，将像素值分组，进行概率统计。

4.根据权利要求1所述的一种基于稀疏光照采样的场景光度遮挡计算方法，其特征在于，所述步骤一中输入图像中像素点的理论分布模型包括以下两部分：

(1)当方向光被周围物体遮挡时

$P\left(1\right)=\frac{\mathrm{\&pi;}/2-\mathrm{\&alpha;}}{\mathrm{\&pi;}/2}=1-\frac{\mathrm{\&alpha;}}{\mathrm{\&pi;}/2}$

其中，P(1)表示第一个间隔，输入图像中像素点理论分布的概率；α表示物体周围遮蔽物与法向量之间的夹角；

(2)当方向光未被周围物体遮挡时

$P\left(n\right)=\frac{{\mathrm{\&Delta;\&theta;}}_{n-1}}{\mathrm{\&pi;}/2}=\frac{arccos\frac{(n-2)\mathrm{\&Delta;}I}{{\mathrm{\&rho;l}}_d}-arccos\frac{(n-1)\mathrm{\&Delta;}I}{{\mathrm{\&rho;l}}_d}}{\mathrm{\&pi;}/2}$

其中，n表示间隔数，n>2；ΔI表示输入图像中每个像素点的光照强度等分后，每份的间隔；l_d表示方向光的强度值；ρ表示输入图像中物体表面的反照率；P(n)表示第n个间隔，输入图像中像素点理论分布的概率。

5.根据权利要求1所述的一种基于稀疏光照采样的场景光度遮挡计算方法，其特征在于，所述步骤二中相对熵模型为：

$RE=\underset{i}{\&Sigma;}P\left(i\right)ln\frac{P\left(i\right)}{Q\left(i\right)}$

相对熵能量函数为：

$C\left(P\right)=\underset{i}{\&Sigma;}{\left(P\right(i\left)ln\frac{P\left(i\right)}{Q\left(i\right)}\right)}^2+\underset{i}{\&Sigma;}{\left(Q\right(i\left)ln\frac{Q\left(i\right)}{P\left(i\right)}\right)}^2$

其中，P(i)表示第i个间隔，输入图像中像素点理论分布的概率；Q(i)表示第i个间隔，输入图像中像素点实际分布的概率。

6.根据权利要求1所述的一种基于稀疏光照采样的场景光度遮挡计算方法，其特征在于，所述步骤四中输入图像的环境光遮蔽为：

$AO={\sin }^2\mathrm{\&alpha;}=\frac{2\left(E\right(I)-I_a)}{H}$

其中，E(I)表示输入图像中像素点的期望值；I_a表示环境光在物体表面的光照强度；H＝ρl_d，l_d表示方向光的强度值；ρ表示输入图像中物体表面的反照率。