CN108665494A - 基于快速引导滤波的景深实时渲染方法 - Google Patents

Abstract

本发明公开了一种基于快速引导滤波的景深实时渲染方法，其中，该方法包括步骤1：利用输入的深度信息(d)和设定的镜头参数(EF)，结合简化的弥散圆(circle of confusion，COC)计算公式，获得输入图像的COC图；步骤2：根据图像中像素深度与聚焦深度的关系，判断出前景及背景模糊区域，并计算对应区域的滤波权重；步骤3：利用图像修复技术(Inpainting)预测前景遮挡的场景信息，并通过快速引导滤波来实现前景的部分遮挡模糊效果以及背景的层次性模糊效果。通过本发明的方法，能够快速地渲染出高质量的景深图片，同时还能有效地避免强度泄露和模糊不连续问题。

Description

基于快速引导滤波的景深实时渲染方法

技术领域

本发明实施涉及计算机图像处理技术领域，尤其是涉及图像中的景深实时渲染方法。

背景技术

景深是人眼和照相机镜头的重要光学特性，也是计算机视觉的重要研究方向之一。它指的是视网膜或相机底片成像时图像能够清晰显示的距离范围。在这个范围之外，图像的前后都是模糊的。景深在图像的真实感绘制、增强深度感知方面具有重要作用，因而可以应用到虚拟现实(VR)、增强现实(AR)等计算机虚拟视觉等领域。

自Potmesil等人在1981年首次提出景深效果绘制算法以来，国内外学者已经提出众多的景深效果渲染算法。这些渲染方法大致可以分成两类：基于物体空间的方法和基于图像空间的方法。

基于物体空间的方法如分布式光线追踪、累积缓存等能够渲染出高质量的景深效果图像，但与之伴随的是高耗能的计算开销，因此基于物体空间的渲染方法通常用于离线场合。

基于图像空间的方法是实时应用领域常用的方法，也被称为图像后处理。它通过计算每个像素的模糊程度也就是弥散圆(circle of confusion，COC)的大小，用扩散或者聚合的方式来平滑图像。基于扩散的方法由于需要大量的计算，因而比较耗时。目前实时应用中常用基于聚合的方法来实现景深效果。虽然基于聚合的方法通常利用GPU性能可以达到实时渲染，但此方法容易导致强度泄露和模糊不连续的问题。此外，使用深度分层的处理方法同样也会存在离散化缺陷。

本发明旨在在增强景深模拟的真实感的同时，能够有效避免强度泄露、模糊不连续及深度离散化，实现部分遮挡的效果模拟。本发明首先将引导滤波用于景深效果实现，提出了一种基于快速引导滤波的景深实时渲染方法，能够实现渐进式的图像景深，在增强真实感的同时，避免产生人工痕迹。算法在强度泄露、模糊不连续、过模糊等方面均取得了较好的效果。其次，通过图像修复技术预测图像被遮挡部分丢失的信息，使用α通道混合实现前景边缘半透明效果的模拟，解决了基于图像空间方法中难以处理的部分遮挡问题。

发明内容

本发明实施的主要目的是提供一种基于快速引导滤波的景深实时渲染方法。

为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：

一种基于快速引导滤波的景深实时渲染方法，该方法至少包括：

步骤1：利用输入的深度信息(d)和设定的镜头参数(EF)，结合简化的弥散圆(circle of confusion，COC)计算公式，获得输入图像的COC图；

步骤2：根据图像中像素深度与聚焦深度的关系，判断出前景及背景模糊区域，并计算对应区域的滤波权重；

步骤3：利用图像修复技术(Inpainting)预测前景遮挡的场景信息，并通过快速引导滤波来实现前景的部分遮挡模糊效果以及背景的层次性模糊效果。

进一步地，所述步骤1具体包括：

根据透镜成像公式：其中，f代表透镜焦距，u代表物距，v代表像距，具体地，且v代表点P的像距即透镜光心到成像点的距离；F代表透镜的焦距；d代表点P的物距即点到透镜光心的距离，也就是点P的深度；v_f代表成像距离；d_f代表聚焦深度。当透镜直径为E，弥散圆直径为D_coc时，由可得

由于E，F是镜头本身的参数，d_f-F为固定值，因此弥散圆的直径可以进一步的简化为：其中A代表了镜头参数对弥散圆直径的影响，可以看作是控制模糊程度的一个尺度参数。

进一步地，所述步骤2具体包括：

若另C_min代表容许弥散圆，由步骤1中简化的弥散圆直径计算公式，可知针对前景深d₁和后景深d₂有：景深D＝d₁+d₂，也就是说，处于[d1，d2]的距离范围内的图像是清晰的。可以通过控制聚焦深度d_f和容许弥散圆C_min的大小来聚焦到场景的不同部分，并根据深度信息计算对应区域的引导滤波权重。由于引导滤波能很好地保持边缘，在不要需要保留细节的局部如极远的背景区域，需要根据像素深度与聚焦深度关系，确定较大的滤波权重，使图像更模糊。在聚焦附近区域，确定较小的滤波权重，使图像相对清晰。

进一步地，所述步骤3具体包括：

在真实情况中，当背景图像清晰可见时，模糊的前景物体应该具有柔和、类似于半透明效果的边缘，这种情形称之为部分遮挡。基于物体空间的景深渲染方法很容易实现半透明效果，因为物体空间场景中被遮挡的区域各种信息是可以获得的。但是对于本发明所采用的基于图像空间的方法而言，场景经过渲染后，遮挡的区域就完全丢失了。本发明创新性地引入图像修复(Inpainting)技术预测被遮挡区域的像素信息，从而生成部分遮挡效果。通过使用基于主动轮廓 Mumford-Shah模型的图像修复算法结合α通道混合来实现模糊前景边缘处的半透明。

另外，针对前景及背景模糊，本发明采用快速引导滤波来完成模糊计算，为避免模糊不连续现象，预先对深度图进行平滑。然后将平滑后的深度图作为引导图进行快速引导滤波，从而有效降低模糊区域内部纹理边缘的显著清晰。

最终，本发明实现具有渐进性和层次感模糊的真实感景深效果实时渲染。

附图说明

附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：

图1为根据一示例性实施例示出的基于快速引导滤波的景深实时渲染流程。

图2为根据一示例性实施例示出的薄透镜成像模型。

图3为根据一示例性实施例示出的基于引导滤波的景深算法详细过程。

图4a为根据一示例性实施例示出的“铁丝网与狗”场景部分遮挡效果模拟，从左到右分别为彩色原图、图像修复图、景深效果图。

图4b为根据一示例性实施例示出的“铁丝网与国旗”场景部分遮挡效果模拟，从左到右分别为彩色原图、图像修复图、景深效果图。

图5a为根据一示例性实施例示出的“小天使”场景输入，从左到右分别为彩色图、深度图。

图5b为根据一示例性实施例示出的“欧洲武士”场景输入，从左到右分别为彩色图、深度图。

图5c为根据一示例性实施例示出的“双雕像”场景输入，从左到右分别为彩色图、深度图。

图6为根据一示例性实施例示出的“小天使”场景景深效果，从左到右分别为Scheuermann预模糊方法、Zhou可分离高斯滤波方法、Lee各向异性Mipmap插值方法、本发明方法。

图7为根据一示例性实施例示出的“欧洲武士”场景景深效果，从左到右分别为Scheuermann预模糊方法、Zhou可分离高斯滤波方法、Lee各向异性Mipmap插值方法、本发明方法。

图8为根据一示例性实施例示出的“双雕像”场景景深效果，从左到右分别为Scheuermann预模糊方法、Zhou可分离高斯滤波方法、Lee各向异性Mipmap插值方法、本发明方法。

这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

下面结合附图以及具体实施例对本发明实施例解决的技术问题，所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。

如图1所示，基于快速引导滤波的景深实时渲染方法包含三个步骤。详细介绍如下：

(一)景深原理

本发明以薄透镜成像模型(图2)为例，来描述人眼和镜头的光学特性。

根据透镜成像公式：

其中f代表透镜焦距，u代表物距，v代表像距，可知图中：

且

v代表点P的像距即透镜光心到成像点的距离；F代表透镜的焦距；d代表点 P的物距即点到透镜光心的距离，也就是点P的深度；v_f代表成像距离；d_f代表聚焦深度。当透镜直径为E，弥散圆直径为D_coc时，由

结合公式(2)可得

由于E，F是镜头本身的参数，d_f-F为固定值，因此弥散圆的直径可以进一步的简化为

其中A代表了镜头参数对弥散圆直径的影响，可以看作是控制模糊程度的一个尺度参数。

若C_min是容许弥散圆，由式(5)可知前景深d₁和后景深d₂有

景深D＝d₁+d₂，也就是说，处于[d1，d2]的距离范围内的图像是清晰的。可以通过控制聚焦深度d_f和容许弥散圆C_min的大小来聚焦到场景的不同部分。

(二)引导滤波计算

对图像的平滑和模糊可以看成是一种滤波操作，很多研究采用不同的滤波算法进行实现，如高斯滤波、各向异性滤波、双边滤波等，但是，通过对硬件捕获的景深效果进行分析发现，渐进式的有层次的模糊更符合真实情况：距离聚焦区域越远，模糊程度就越深，距离聚焦区域越近，模糊程度就越浅，而靠近聚焦区域图像应该略有模糊，图像的一些细节应该得到保留。因此，保留纹理边缘的滤波器更适合真实景深的模拟。本文采用能够保留局部细节的引导滤波(Guided Filter)进行图像的模糊，通过将图像距离参数引入滤波权重系数来控制图像模糊程度，从而实现渐进式的景深效果。

引导滤波是由He等人在2013年提出来的一种能够很好地保持图像纹理边缘的滤波算法。顾名思义，引导滤波需要一幅图像作为引导图实现滤波，这幅图像可以是其他图像也可以是输入图像本身。当引导图为输入图像时，引导滤波就成为像双边滤波那样的边缘保持滤波器。但该算法与双边滤波具有很高的算法复杂度不同，它的算法复杂度是线性的，算法的速度与参数大小无关，因此速度更快。

引导滤波算法基于局部线性模型，假设输入图像为p，输出图像为q，引导图为I，认为q与I在以像素k为中心的窗口ω_k中存在局部线性关系

其中a_k，b_k为线性系数，且在以k为中心，r为半径的局部窗口ω_k中为常数。对式(7)两边取梯度后得到

这说明当引导图像I具有边缘时，输出图像q也具有边缘，式(8)证明了引导滤波具有边缘保持特性。假设噪音为n_i，则输出图像p与输入图像q存在如下关系

q_i＝p_i-n_i (9)

为确定线性系数a_k和b_k，并使q与p之间的差异最小，问题转化为求下式的最小值问题：

上式中E是防止a_k过大的正则化参数。根据线性回归最小二乘法可以得到

其中，μ_k和分别是引导图像在半径为r，中点为k的窗口内的均值和方差， |ω|为窗口ω_k内元素总数，为输入图像p在窗口ω_k的均值。由于包含像素点i的所有局部窗口都需计算一次，每个窗口的i值也不尽相同，因此可以对所有的i值求平均，得到

式中

快速引导滤波(Fast Guided Filter)是在引导滤波的基础上提出的加速算法，通过图像子采样(subsampling)，滤波后再上采样(upsampling)的方式，算法速度由O(N)提升到O(N/s²)，其中s是子采样率。考虑到景深算法的实时性，本文使用快速引导滤波进行渲染。

(三)基于快速引导滤波的景深算法

1.引导滤波算法细节

正如前文所述，景深效果可以通过计算弥散圆的大小，对其中的像素点的颜色进行滤波操作以实现图像的平滑。由于引导滤波能很好地保持边缘，在不要需要保留细节的局部如极远的背景区域，需要根据像素深度与聚焦深度关系，确定较大的滤波权重，使图像更模糊。在聚焦附近区域，确定较小的滤波权重，使图像相对清晰。为避免模糊不连续现象，预先对深度图进行平滑。然后将平滑后的深度图作为引导图进行快速引导滤波，从而有效降低模糊区域内部纹理边缘的显著清晰。

本文提出的基于快速引导滤波的景深算法的详细过程(图3)如下：输入一张清晰的聚焦的彩色图和对应的深度图，由深度信息(d)和设定的镜头参数(EF)，根据公式(5)获得需要计算的弥散圆的直径，得到COC图。然后根据图像中像素深度与聚焦深度的关系，判断处于景深范围的前后位置，划分出不同的模糊区域，如前景区域、中景区域、背景区域等，对不同区域实行不同的滤波权重以实现模糊的渐进性和层次感。

2.图像修复预测遮挡场景信息

在真实情况中，当背景图像清晰可见时，模糊的前景物体应该具有柔和、类似于半透明效果的边缘，这种情形称之为部分遮挡。基于物体空间的景深渲染方法很容易实现半透明效果，因为物体空间场景中被遮挡的区域各种信息是可以获得的。但是对基于图像空间的方法而言，场景经过渲染后，遮挡的区域就完全丢失了。本文创新性地引入图像修复(Inpainting)技术预测被遮挡区域的像素信息，从而生成部分遮挡效果。通过使用基于主动轮廓Mumford-Shah模型的图像修复算法结合α通道混合来实现模糊前景边缘处的半透明(图4)。

本发明选取了Scheuermann预模糊、Zhou等人的可分离高斯滤波和Lee等人的各向异性Mipmap插值这三种典型的后处理方法，分别在“小天使”“欧洲武士”“双雕像”三种场景下做算法对比实验，算法的输入为彩色图和深度图(图 5)，输出为景深图(图6、图7、图8)。

在“小天使”场景中(图6)，将焦点放置在前景即小天使雕像上，从渲染图像中可以看出，本发明方法并没有像Scheuermann、Zhou的方法那样产生明显的强度泄露问题(区域1和区域2)，而且能够产生更真实的模糊层次感。

在“欧洲武士”场景(图7)中，将焦点设置在中间第二个雕像上。在这个场景中，可以很清楚地看到Lee的方法也像Scheuermann、Zhou的方法那样产生了强度泄露问题(区域1和区域3)。本发明方法正确地模拟了焦点前后模糊程度随距离变化而变化的渐进式景深效果，没有产生其他方法的过模糊(区域2) 缺陷，也没有在聚焦平面前后产生突然地模糊改变(区域4)。

在“双雕像”场景中(图8)，将焦点放置在背景抚发女子上，从渲染图像中可以看到，Zhou和Lee的方法存在模糊不连续缺陷(区域2)；Scheuermann 的方法在图像平滑过程中产生了非常明显的双线性放大痕迹(区域1)，且模糊不连续现象也很明显(区域1、区域2)，相对于Scheuermann和Zhou的方法， Lee和本发明方法能够保持图像细节(区域1)，并且本方法不会导致模糊区域纹理的过度清晰(与Lee的方法相比，本发明方法在雕像手臂阴影部分没有产生锐利的边缘)。同时本发明方法在模糊不连续方面是四种方法中效果最好的(区域 1和区域2)。

本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。

本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD-ROM 和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。

本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的范围。

尽管上文已经示出、描述和指出了适用于各种实施方式的本发明的基本新颖特征的详细描述，但是将会理解，在不脱离本发明意图的情况下，本领域技术人员可以对系统的形式和细节进行各种省略、替换和改变。

Claims (4)

1.一种基于快速引导滤波的景深实时渲染方法，其特征在于，该方法至少包括：

步骤1：利用输入的深度信息(d)和设定的镜头参数(EF)，结合简化的弥散圆(circleof confusion，COC)计算公式，获得输入图像的COC图；

步骤2：根据图像中像素深度与聚焦深度的关系，判断出前景及背景模糊区域，并计算对应区域的滤波权重；

步骤3：利用图像修复技术(Inpainting)预测前景遮挡的场景信息，并通过快速引导滤波来实现前景的部分遮挡模糊效果以及背景的层次性模糊效果。

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括：

根据透镜成像公式：其中，f代表透镜焦距，u代表物距，v代表像距，具体地，且v代表点P的像距即透镜光心到成像点的距离；F代表透镜的焦距；d代表点P的物距即点到透镜光心的距离，也就是点P的深度；v_f代表成像距离；d_f代表聚焦深度。当透镜直径为E，弥散圆直径为D_COC时，由可得

由于E，F是镜头本身的参数，d_f-F为固定值，因此弥散圆的直径可以进一步的简化为：其中A代表了镜头参数对弥散圆直径的影响，可以看作是控制模糊程度的一个尺度参数。

3.根据权利要求1所述的方法，其特征在于，所述步骤2具体包括：

若另C_min代表容许弥散圆，由步骤1中简化的弥散圆直径计算公式，可知针对前景深d₁和后景深d₂有：景深也就是说，处于[d1，d2]的距离范围内的图像是清晰的。可以通过控制聚焦深度d_f和容许弥散圆C_min的大小来聚焦到场景的不同部分，并根据深度信息计算对应区域的引导滤波权重。由于引导滤波能很好地保持边缘，在不要需要保留细节的局部如极远的背景区域，需要根据像素深度与聚焦深度关系，确定较大的滤波权重，使图像更模糊。在聚焦附近区域，确定较小的滤波权重，使图像相对清晰。

4.根据权利要求1所述的方法，其特征在于，所述步骤3具体包括：

在真实情况中，当背景图像清晰可见时，模糊的前景物体应该具有柔和、类似于半透明效果的边缘，这种情形称之为部分遮挡。基于物体空间的景深渲染方法很容易实现半透明效果，因为物体空间场景中被遮挡的区域各种信息是可以获得的。但是对于本发明所采用的基于图像空间的方法而言，场景经过渲染后，遮挡的区域就完全丢失了。本发明创新性地引入图像修复(Inpainting)技术预测被遮挡区域的像素信息，从而生成部分遮挡效果。通过使用基于主动轮廓Mumford-Shah模型的图像修复算法结合α通道混合来实现模糊前景边缘处的半透明。

另外，针对前景及背景模糊，本发明采用快速引导滤波来完成模糊计算，为避免模糊不连续现象，预先对深度图进行平滑。然后将平滑后的深度图作为引导图进行快速引导滤波，从而有效降低模糊区域内部纹理边缘的显著清晰。最终，本发明实现具有渐进性和层次感模糊的真实感景深效果实时渲染。