CN106384378A

CN106384378A - 一种基于GPU的广义mipmap插值实时景深渲染方法

Info

Publication number: CN106384378A
Application number: CN201610784117.2A
Authority: CN
Inventors: 盛斌
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2017-02-08

Abstract

本发明涉及一种基于GPU的广义mipmap插值实时景深渲染方法，用于对图像进行景深渲染，所述方法包括下列步骤：根据图像的像素深度计算图像在像素空间内的弥撒圈半径；将图像在像素空间内的弥撒圈半径映射为连续的mipmap等级；采用各向异性高斯过滤计算离散等级下的mipmap图像；根据连续的mipmap等级和离散等级下的mipmap图像，采用插值法生成连续等级的mipmap图像；混合利用GPU与CPU将连续等级的mipmap图像贴回原始图像，完成景深渲染。与现有技术相比，本发明具有避免深度图降维、避免整张图渲染、图像生成效率高以及避免失真等优点。

Description

一种基于GPU的广义mipmap插值实时景深渲染方法

技术领域

本发明涉及实时景深渲染领域，尤其是涉及一种基于GPU的广义mipmap插值实时景深渲染方法。

背景技术

景深渲染是一种模拟真实相机镜头光学特性的计算机图像合成技术，主要目的是为了增强图像的真实感、增加图像的深度暗示、吸引观众关注清晰成像的物体而忽略图像中的其他模糊部分，从而使观众对图像信息有更好的理解。

根据Sungkil等人在《IEEE Transactions on Visualization and ComputerGraphics》(IEEE可视化与计算机图形学学报)第453页到第464页发表的“Real-TimeDepth-of-Field Rendering Using Anisotropically Filtered Mipmap Interpolation”(基于各向异性过滤式mipmap插值的实时景深渲染)论文中的论述，景深渲染可分为三种：

(1)精确模拟透镜折射光的多通道方法，

(2)根据薄透镜模型计算弥散圈直径的单层后置过滤

(3)计算弥散圈直径的多层后置过滤。

其中，方法(1)往往需要大量的景观样本，方法(2)具有强度泄露(intensityleakage)和前景模糊质量(foreground blurring quality)等弱点，而方法(3)由于需要多层渲染很难满足实时VR渲染的速度要求。Sungkil等人提出了一种非线性的mipmap插值技术，能够有效地为图像中每个像素生成任意模糊程度的色彩，同时利用过滤方法遏制了双线性放大现象、提出各向异性mipmap策略以减少强度泄露、并减少了模糊不连续的问题。然而这种方法在平滑化非连续边界时，采用将深度图降维，通过新的模糊的DoB图来达到避免渲染图片中清晰部分与模糊部分的边界产生混合。采用先降维、再升维的方式，严重降低了图像生成效率，亟待改进。

发明内容

本发明的目的是针对上述问题提供一种基于GPU的广义mipmap插值实时景深渲染方法。

本发明的目的可以通过以下技术方案来实现：

一种基于GPU的广义mipmap插值实时景深渲染方法，用于对图像进行景深渲染，所述方法包括下列步骤：

1)根据图像的像素深度计算图像在像素空间内的弥撒圈半径；

2)将步骤1)中得到的图像在像素空间内的弥撒圈半径映射为连续的mipmap等级；

3)采用各向异性高斯过滤计算离散等级下的mipmap图像；

4)根据步骤2)得到的连续的mipmap等级和步骤3)得到的离散等级下的mipmap图像，采用插值法生成连续等级的mipmap图像；

5)混合利用GPU与CPU将步骤4)中得到的连续等级的mipmap图像贴回原始图像，完成景深渲染。

所述图像在像素空间内的弥撒圈半径具体为：

C = α \cdot \frac{| d - d_{f} |}{d}

其中，C为图像在像素空间内的弥撒圈半径，α为可调节参量，d为原始深度，d_f为可调节的聚焦深度。

所述连续的mipmap等级具体为：

m = \{\begin{matrix} 0, & k_{σ} σ < 0.5 \\ 1 + \log_{2}^{k_{σ} σ}, & k_{σ} σ &GreaterEqual; 0.5 \end{matrix}

其中，m为连续的mipmap等级，k_σ为缩放常数，σ为标准差。

所述离散等级下的mipmap图像具体为：

I_{p} (l) = w_{G} \underset{q &Element; Ω}{Σ} H (p, q, l) I_{q} (l - 1)

其中，I_p(l)为离散等级为l的mipmap图像，H为权重，w_G为所有权重之和H的倒数，Ω为包括中心点p及周围八个相邻像素的点集，q为点集内的任意点。

所述权重H(p,q,l)具体为：

H (p, q, l) = \{\begin{matrix} 0, & σ_{p} (l) > σ_{q} a n d Z_{p} (l) > Z_{f} \\ G (q - p), & o t h e r w i s e \end{matrix}

其中，σ为标准差，G为经典高斯权重，Z_p(l)为深度，Z_f为聚焦深度。

所述连续等级的mipmap图像具体为：

I_{p} (m) = w_{G} \underset{q &Element; Ω}{Σ} G (q - p) I_{q} {(l - 1)}^{1 - β} I_{q} {(l)}^{β}

β＝1-m

其中，I_p(m)为连续等级的mipmap图像，m为连续的mipmap等级，G为经典高斯权重，w_G为所有权重之和G的倒数，Ω为包括中心点p及周围八个相邻像素的点集，q为点集内的任意点。

与现有技术相比，本发明具有以下有益效果：

(1)采用各向异性的高斯过滤技术，阻止某些临近的聚焦像素和模糊像素融合，避免了强度泄露的发生。

(2)采用分层渲染的方式，先渲染后景，再渲染前景，防止了模糊前景干扰聚焦的深层景观。

(3)在渲染过程中采用GPU与CPU混合使用的分层渲染，集合了GPU与CPU的优点，增加了实用性。

(4)由于采用了各向异性的高斯过滤技术，因此避免采用先降维再升维的方法来防止强度泄露，提高了图像生成效率。

(5)分层渲染避免了因为将整张图渲染而产生的边缘失真。

附图说明

图1为本发明的方法流程图；

图2为渲染前后的对比图，其中(2a)为渲染前，(2b)为渲染后；

图3为不同焦距下的渲染结果，其中(3a)为焦距为189时的渲染结果，(3b)为焦距为357时的渲染结果；

图4为不同模糊程度的渲染结果，其中(4a)为可调节参量α为13时的渲染结果，(4b)为可调节参量α为30时的渲染结果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供了一种基于GPU的广义mipmap插值实时景深渲染方法，用于对图像进行景深渲染，该方法包括下列步骤：

3)采用各向异性高斯过滤计算离散等级下的mipmap图像；

上述步骤的具体步骤如下：

1)根据像素深度计算其在像素空间内的弥散圈半径。在本实施例中，我们假设其等效相机模型为一个长度为E、焦距为F的理想薄透镜；我们选取聚焦深度为d_f，聚焦平面与透镜主光轴交于点P_f。对于任意深度d的物体，我们由薄透镜成像公式得到其像距：

\frac{1}{F} = \frac{1}{d} + \frac{1}{V} &DoubleRightArrow; V = \frac{F d}{d - F}

同理，可以得到聚焦深度对应像距：

V_{f} = \frac{{Fd}_{f}}{d_{f} - F}

随后我们利用以下公式计算在成像平面上深度为d的物体的弥散圈半径：

R = | V - V_{f} | \cdot \frac{E}{V} = (\frac{E F}{d_{f} - F}) \cdot \frac{| d - d_{f} |}{d}

进一步，可以得到该物体在像素空间内弥散圈的半径C：

\begin{matrix} C = D P I \cdot \frac{d_{s}}{d_{r}} \cdot R \\ = D P I \cdot \frac{d_{s}}{d_{r}} \cdot (\frac{E F}{d_{f} - F}) \cdot \frac{| d - d_{f} |}{d} \\ = α \cdot \frac{| d - d_{f} |}{d} \end{matrix}

其中，d为原始深度，α在本实施例中为一个可调节参量，d_f为可调节的聚焦深度。

2)根据第一步的结果，将像素空间内的弥散圈半径映射为连续的mipmap等级。在本实施例中，我们假设并建立数学模型：

σ = \frac{3}{2} \cdot 2^{m - 1}

其中，m为连续的mipmap等级，可用如下方式求得：

m = \{\begin{matrix} 0, & k_{σ} σ < 0.5 \\ 1 + \log_{2}^{k_{σ} σ}, & k_{σ} σ &GreaterEqual; 0.5 \end{matrix}

根据我们的模型，为缩放常数。

3)采用各向异性高斯过滤计算离散等级下的mipmap图像。我们将原色彩图是为I_p(0)，然后采用以下递推式逐步计算：

I_{p} (l) = w_{G} \underset{q &Element; Ω}{Σ} H (p, q, l) I_{q} (l - 1)

其中，Ω为一个点集，包括中心点p及其周围的八个相邻像素，这里我们认为相邻像素与中心点间距离均为1，形成一个单位圆。w_G为所有权重H之和的倒数，函数H通过以下过程计算：

H (p, q, l) = \{\begin{matrix} 0, & σ_{p} (l) > σ_{q} a n d Z_{p} (l) > Z_{f} \\ G (q - p), & o t h e r w i s e \end{matrix}

其中，σ为第二步中得到的标准差，G为经典高斯权重，Z表示深度且Z_f为聚焦深度。

4)采用插值法生成连续等级的mipmap图像。设l为不大于m的最大整数，β＝1-m，则插值公式可如下表示：

I_{p} (m) = w_{G} \underset{q &Element; Ω}{Σ} G (q - p) I_{q} {(l - 1)}^{1 - β} I_{q} {(l)}^{β}

其中，Ω为一个点集，包括中心点p及其周围的八个相邻像素；G为经典高斯权重，w_G为所有权重G之和的倒数。

依据上述步骤，对于我们收集的色彩图和深度图进行测试和分析，比较了在不同聚焦深度和alpha参数情形下的景深渲染效果。所有实验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel(R)Core(TM)i5-4210M CPU@2.60GHz 2.60GHz，内存4GB。

如图2～图4所示，结果显示，所有测试图像均能得到高质量的景深渲染图，没有明显的强度泄露、模糊不连续等问题。同时，我们可以随时调节聚焦深度和alpha参数改变实时渲染效果，显示出了算法的高效性。

Claims

1.一种基于GPU的广义mipmap插值实时景深渲染方法，用于对图像进行景深渲染，其特征在于，所述方法包括下列步骤：

3)采用各向异性高斯过滤计算离散等级下的mipmap图像；

2.根据权利要求1所述的基于GPU的广义mipmap插值实时景深渲染方法，其特征在于，所述图像在像素空间内的弥撒圈半径具体为：

C = α \cdot \frac{| d - d_{f} |}{d}

3.根据权利要求1所述的基于GPU的广义mipmap插值实时景深渲染方法，其特征在于，所述连续的mipmap等级具体为：

m = \{\begin{matrix} 0, & k_{σ} σ < 0.5 \\ 1 + \log_{2}^{k_{σ} σ}, & k_{σ} σ &GreaterEqual; 0.5 \end{matrix}

其中，m为连续的mipmap等级，k_σ为缩放常数，σ为标准差。

4.根据权利要求1所述的基于GPU的广义mipmap插值实时景深渲染方法，其特征在于，所述离散等级下的mipmap图像具体为：

I_{p} (l) = w_{G} \underset{q &Element; Ω}{Σ} H (p, q, l) I_{q} (l - 1)

5.根据权利要求4所述的基于GPU的广义mipmap插值实时景深渲染方法，其特征在于，所述权重H(p,q,l)具体为：

H (p, q, l) = \{\begin{matrix} 0, & σ_{p} (l) > σ_{q} a n d Z_{p} (l) > Z_{f} \\ G (q - p), & o t h e r w i s e \end{matrix}

6.根据权利要求1所述的基于GPU的广义mipmap插值实时景深渲染方法，其特征在于，所述连续等级的mipmap图像具体为：

I_{p} (m) = w_{G} \underset{q &Element; Ω}{Σ} G (q - p) I_{q} {(l - 1)}^{1 - β} I_{q} {(l)}^{β}

β＝1-m