CN102812496A - 用于景深渲染的模糊函数建模 - Google Patents

Abstract

一种景深渲染的方法和设备，其模拟以较小光圈捕获的图像的较大光圈。在以较小光圈捕获图像时，景深渲染对利用具有较大光圈的相机可实现的失焦效果进行选择性模拟。模糊函数模型是基于模糊变化与光圈变化之间的关系而创建。该模型用于确定以两个不同光圈拍摄的两个图像之间产生的模糊差异。然后基于模糊差异，通过在渲染处理中模糊化图像而产生失焦效果。

Description

用于景深渲染的模糊函数建模

相关申请的交叉引用

本申请要求在2010年3月22日提交的美国专利申请序列号12/728,309的优先权，该专利申请的全部内容通过引用结合到本文中。

关于联邦资助的研究或开发的声明

不适用

以光盘提交的材料通过引用结合在本文中

不适用

受到版权保护的材料的通告

该专利文件的材料的一部分受到美国和其它国家的版权法的版权保护。版权所有者不反对任何人对该专利文件或专利公开内容的复制，因为它出现在美国专利商标局公开可得到的文件或记录中，但是对于其它情形，则保留其全部的任何版权，版权所有者不会藉此放弃保持该专利文件的保密性的任何权利，包括但不限于其根据37C.F.R.§1.14的权利。

发明背景

1.技术领域

本发明总体上涉及图像捕获装置，更具体地涉及相机景深渲染。

2.背景技术

摄影镜头和相机的孔径光阑对到达图像传感器(或感光胶片)的光照量进行控制。光圈控制与快门速度控制相结合，调节在捕获图像时的曝光程度。应认识到的是，利用较快的快门速度或在弱光条件下捕获图像需要较大光圈来获得正确曝光。相反，较小的光圈用于强光条件和较慢的快门速度来获得正确曝光。

镜头光圈通常表达为f数，其为焦距与有效光圈直径的比。镜头常常提供f数可被设为的一组标记的“f光阑”。较低的f数表示较大光圈开口。“一个f光阑”的变化是指在f数的

(例如，约1.41)倍的变化并且对应于在捕获图像时通过镜头传递的光强度的两倍的变化。

虽然小型至中型相机由于其轻重量、便携性和低成本已变得极其普遍，但它们通常具有非常有限的光圈大小的缺点。为了通过这些小光圈镜头提供充分照明，人们一直在追求更加敏感的图像传感器以允许以较快的快门速度或在较低的照明条件下使用这些小相机。然而，获得充分的照明以捕获图像并不能使得小光圈镜头等效于常规大光圈镜头。

因此，需要一种能增加相机镜头系统的镜头光圈而不增加相机镜头系统的大小或成本的设备和/或方法。在本发明中满足了这些需要和其它需要，本发明克服了先前开发的相机系统和方法的缺陷。

发明内容

本发明为一种相机设备和方法，其克服了具有有限物理光圈大小的相机系统的其它缺点。在本发明中应认识到的是，当人们限于使用低光圈镜头时就失去了较大光圈镜头所提供的大部分控制。特别是对于使用浅焦技术的能力而言，在这种技术中，利用小景深来聚焦图像的单个平面而使其余图像平面保持失焦。浅焦通常用于相对于图像的一部分而强调图像的另一部分。在摄影师的行话中，失焦的区域通常被称作“散景(bokeh)”，其为拍摄图像的失焦区域的主观审美品质的日文术语。应意识到的是，小光圈镜头基本上限于仅提供整个图像对准焦点的深焦。控制焦深(例如，从深到浅)常常用于人像摄影，以使拍摄对象与其相应背景隔离，并消弱否则可能会转移观察者注意力的不重要的细节。

在本文中描述了一种提供景深渲染的设备和方法，其甚至允许小光圈相机提供以前只能通过使用大光圈相机系统才可实现的结果。该系统的目的是当利用物理上较小的光圈捕获图像时，模拟较大光圈的失焦效果。术语“数字光圈”或“数字光圈大小”在本文中用于指模拟的光圈大小，该模拟光圈大小大于相机设备的物理光圈可实现的光圈大小。

为了模拟浅焦效果，本发明的实施例利用基于模糊变化与光圈变化之间关系的模糊函数模型。该模型用于估计以两个不同光圈拍摄的两个图像之间产生的模糊差异。然后基于该模糊差异通过模糊化图像来产生失焦效果。

响应于在至少两个不同的焦点位置捕获至少两张图片，来确定模糊差异。在两个焦点位置之间的距离优选地为大约一个景深。通过在较清晰图像与匹配较模糊图像所需的模糊核心之间的多次卷积来确定两个焦点位置的图片之间的模糊差异。然后通过将拍摄对象置于固定距离处，以从最小焦距到无限远的每一个景深捕获一个图像，然后计算每两张相邻图片之间的模糊差异，来获得模糊匹配曲线。

图像的散焦模糊被定义为在图像与相应的对焦图像之间的模糊差异。图像的散焦模糊为从对焦位置到图像拍摄位置的迭代次数之和，且可由匹配曲线中理想镜头的

来确定，其中k为斜率且I为捕获图像的镜头位置的迭代次数。

本发明的设备和方法优选地基于理想镜头，尽管其以某些方式不同于物理相机镜头。具体而言，实际镜头易产生光学伪像和失真，且其匹配曲线可能含噪音且不一致。与此不同的是，理想镜头提供平滑的直的(线性)匹配曲线且具有对于不同的光圈来说是恒定的相对于景深(DOF)的斜率。理想镜头的模糊函数应遵循高斯分布。

本发明应能以多种方式来实施，包括但不限于下文的描述。

本发明的一个实施例为一种设备，其对捕获的图像进行景深渲染以模拟使用较大光圈将会产生的失焦效果，该设备包括：(a)成像元件，具有光圈且被配置成以焦点设置来捕获数字图像；(b)计算机处理器和相关联的存储器，其耦合到成像元件且被配置成处理从成像元件接收的数字图像；以及(c)处理器上的可执行程序，用于：(c)(i)使用相同的光圈设置在不同的焦点位置捕获至少两个图像，(c)(ii)将图像分割成子图像块，(c)(iii)基于该成像元件的作为迭代次数与镜头焦点位置之间关系的匹配曲线，确定图像的子图像块之间的模糊差异；(c)(iv)确定图像的子图像块之间的散焦模糊，以及(c)(v)通过响应于所确定的图像之间的模糊差异的、利用模糊核心的多次卷积来模糊化图像的子图像块，以生成模拟利用更大光圈所得的图像。应理解的是，当模糊差异为零时，卷积次数为零。

该设备生成利用所述成像元件以第一光圈设置捕获的数字图像，该数字图像看起来就像是以大于第一光圈设置的第二光圈设置而捕获的。根据本发明，响应于检测到给定的图像条件集合，例如响应于被捕获图像内的人脸检测，来选择数字光圈大小为超过该设备可实现的物理光圈大小。

在优选的实施方式中，响应于在设备的焦点范围捕获图像序列以建立迭代次数与镜头焦点位置之间的关系，而将匹配曲线保存在设备的存储器中。可通过将对焦、第一位置与第二位置之间的间隔中的迭代次数求和、根据匹配曲线来确定图像的散焦模糊量。应理解的是，所述匹配曲线的斜率与f数的平方成反比。

在至少一实施方式中，由

给出散焦模糊，其中散焦模糊B是根据迭代次数I，与对焦位置相距的景深(DOF)s和匹配曲线斜率k来确定的。在至少一个实施方式中，由公式

给出模糊差异，其中B₁和B₂是在第一光圈A₁(f数)和第二光圈A₂处将会产生的模糊级别，且h为限定光圈变化范围的常数。此外，该设备具有用户界面，该用户界面具有至少一个用户输入控制，用于选择超过该设备可实现的物理光圈大小的数字光圈大小，或者选择将数字光圈大小设置为超过该设备的物理光圈大小可实现的光圈大小的操作模式。

本发明的一个实施例为一种设备，该设备对捕获的图像进行景深渲染以模拟使用比所述设备可实现的物理光圈更大的物理光圈将会产生的散焦效果，该设备包括：(a)成像元件，具有光圈且被配置成以一焦点设置来捕获数字图像；(b)计算机处理器和存储器，耦合到成像元件且被配置成处理所接收的数字图像；以及(c)处理器上的可执行程序，用于：(c)(i)检测用户输入来选择数字光圈大小、或者与一数字光圈大小的使用相关联的模式；(c)(ii)使用相同的光圈设置在不同的焦点位置捕获至少两个图像，(c)(iii)将图像分割成子图像块，(c)(iv)基于该成像元件的作为迭代次数与镜头焦点位置之间关系的匹配曲线，确定图像的子图像块之间的模糊差异；(c)(v)确定图像的子图像块之间的散焦模糊，以及(c)(vi)通过响应于所确定的图像之间的模糊差异的、利用模糊核心的多次卷积来模糊化图像的子图像块，以生成所得图像。所得图像是以超过设备能实现的物理光圈大小的表观数字光圈大小而生成的。

本发明的一个实施例为一种捕获图像的方法，其模拟比相机设备中的成像元件可实现的物理光圈大小更大的光圈，该方法包括：(a)使用相机设备的相同光圈设置在不同的焦点位置捕获至少两个图像；(b)将图像分割成子图像块；(c)基于该成像元件的作为迭代次数与镜头焦点位置之间关系的匹配曲线，确定图像的子图像块之间的模糊差异；(d)确定图像的子图像块之间的散焦模糊；以及(e)通过响应于所确定的图像之间的模糊差异的、利用模糊核心的卷积来模糊化图像的子图像块，以生成所得图像。所得图像是以超过所述设备可实现的物理光圈大小的表观数字光圈大小而生成的。

本发明提供许多有益方面，在不偏离本文传授内容的情况下，这些方面可以单独地或以任何所需组合的形式实施。

本发明的一方面为一种使用景深渲染来模拟较大光圈的使用的设备和方法。

本发明的另一方面为响应于在不同焦距以较小光圈捕获至少两个图像而生成模拟较大光圈的浅焦的图像。

本发明的另一方面为以与相机通过其有限的物理光圈大小可实现的相机光圈设置相比较高的相机光圈设置(数字光圈)生成图像。

本发明的另一方面为使用基础匹配曲线模型，该基础匹配曲线模型描绘了迭代次数与镜头焦点位置之间的关系。

本发明的另一方面为将模糊变化与光圈变化之间的关系建模，该模型之后用于关于景深来渲染模糊。

本发明的另一方面为被配置成匹配失焦图像各方面的模糊核心的使用，且该方面在将模糊渲染到所述图像的焦平面部分之外时应用于对焦图像。

本发明的另一方面是不考虑相机装置的物理光圈，生成所需景深的能力。

本发明的再一方面为可应用于很多不同图像捕获系统包括静物相机的方法。

本发明的其它方面在说明书的下文的部分中陈述，其中详细描述只是出于完全公开本发明的优选实施例的目的而不对其加以限制。

附图说明

通过参照附图，将更全面地理解本发明，附图只是出于说明目的：

图1为根据本发明的一方面以不同焦距捕获图像的示意图。

图2为根据本发明的一方面示出的模糊匹配曲线的曲线图。

图3为根据本发明的一方面对理想镜头建模而示出的匹配曲线中的散焦模糊的曲线图。

图4为根据本发明的一方面施加选择性模糊化效果的高斯滤镜的三维曲线图。

图5为图4的高斯滤镜的频率响应的三维曲线图。

图6为以具有深焦的低光圈设置捕获的图像。

图7为根据所示的本发明的产生浅焦结果的模糊函数建模，在图6中所捕获的图像。

图8为根据本发明的一方面的景深渲染的流程图。

图9为根据本发明的一方面确定模糊差异且生成模糊匹配曲线的流程图。

图10为根据本发明的一方面的模糊函数建模的流程图。

图11为根据本发明的一方面配置的用于对景深渲染执行模糊函数建模的相机系统的方块图。

具体实施方式

更具体地参照附图，出于说明目的，本发明以图1至图11中大体上示出的设备实施。应理解的是，在不偏离本文所公开的基本构思的情况下，该设备在配置和部件细节方面可以不同且该方法可在具体步骤和顺序方面可以不同。

1.模糊差异

当拍摄对象对焦时，所捕获的图像是最清晰的。随着镜头远离对焦位置，图像变得模糊。一般而言，当两个图像(在本文中也被称作图片)在两个不同的焦距拍摄时，更接近拍摄对象距离(拍摄对象距离与焦距最接近地匹配)拍摄的图像比另一个图像更清晰。图片被拍摄的焦距和这两张图片之间的模糊差异量可用于估计实际的拍摄对象距离或深度。

图1描绘了成像装置(例如，相机)12在两个不同焦点位置进行的图像捕获10。示出的成像装置12能从最小焦距14一直聚焦到无穷远16。示出了最小焦距14(例如，在此情况下35cm)以及在无穷远16处的焦点。焦点会聚到第一焦点位置18，然后沿着焦路径24到第二焦点位置20。

假设在两个不同的聚焦位置(例如，图1的18、20)捕获了两张图片F₁和F₂，其中F₁比F₂更清晰。可由点扩散函数P对模糊变化建模：

F₁*P＝F₂

其中*表示二维卷积。此外，点扩散函数P可通过利用模糊核心K的一系列卷积来近似：

P≈K*K*...*K.                        (1)

举例说明而非限制，在本文所执行的测试中，选择核心K以应用模糊，且核心K被选为如下所例示的矩阵：

$K=\frac{1}{64}\left(\begin{array}{ccc}1& 6& 1\\ 6& 36& 6\\ 1& 6& 1\end{array}\right).---\left(2\right)$

高斯核心应用均匀的模糊量且在不偏离本发明的传授内容的情况下可以多种不同方式来配置。

然后，可通过公式1中的卷积次数来测量F₁与F₂之间的模糊差异量。在实际的实施方式中，通过如下式所给出的迭代处理来获得F₁与F₂之间的模糊差异：

其中||·||表示范算子，其评估F₁与F₂之间的模糊匹配误差。

2.匹配曲线

匹配曲线为迭代次数与镜头焦点位置之间的关系。在一实施例中，通过在镜头的焦点范围捕获图像序列，然后计算每两张图片之间的模糊差异，来获得给定深度的匹配曲线。举例来说，该序列的第一图片可以利用被设置为无穷远(例如，图1中的16)的焦点来拍摄，然后利用镜头每次一个景深的移近来拍摄后续的图片，直到镜头达到最小焦距(例如，图1中的14)。此图片序列由F₀，F₁，...F_N-1表示，其中N为该序列的长度。

图2示出了一个模糊匹配曲线，作为对于给定相机装置的迭代次数与焦点位置之间的关系的一个示例。举例而言，这些测试中的序列是由索尼DSC-HX1相机以大约100mm的焦距和f/5.2的光圈捕获的，拍摄对象为阶跃图像(例如，一部分为白色且相邻部分为黑色，在二者之间为阶跃过渡)。在此示例中，对于i＝0，...，N-1，计算F_i和F_i+1的模糊差异。

应理解的是，模糊差异值的符号仅提供表示哪个图像更清晰的方便手段。如果符号为正，那么F_i比F_i+1更清晰。否则，如果符号为负，则F_i+1更清晰。

“图片编号”轴表示计算迭代次数的图像对。在此示例中，图片编号i的意思是计算F_i与F_i+1之间的迭代次数。由此可见，随着镜头焦点位置远离拍摄对象距离而移动，迭代次数增加。过零点被认为是拍摄对象对焦的位置。

理想地，匹配曲线应为直线，而其斜率应独立于焦距和光圈。但是，由于光学伪像和其它类型的噪音，从实际镜头所得到的匹配曲线可能是有噪音且不一致的。

3.理想镜头的模糊函数建模

在特定镜头位置的图像的散焦模糊为该位置的图像与对焦时的图像之间的模糊差异。已知匹配曲线，可将图像的散焦模糊量计算为从对焦位置到拍摄图像的位置的间隔中的迭代次数之和。

图3描绘了图示散焦模糊的曲线图30，散焦模糊被表示为阴影区32的面积。对焦位置34在第0个迭代次数处被示出，且位置36表示捕获图像的位置且对应于迭代次数I38。位置36被图示为s，远离对焦位置3440个景深(DOF)。此理想化匹配曲线的斜率表示为k，其中散焦模糊由下式给出：

$B=\frac{1}{2}\mathrm{sI}=\frac{1}{2}{\mathrm{ks}}^2=\frac{1}{2k}{I}^2.---\left(4\right)$

已知光圈A(f数)，可按照下式来计算景深：

$\mathrm{DOF}=\frac{2\mathrm{Ac}(m+1)}{m^2-{\left(\frac{\mathrm{Ac}}{f}\right)}^2}\≈2\mathrm{Ac}\left(\frac{m+1}{m^2}\right)---\left(5\right)$

其中

为放大因数且c为最大容许弥散圆。公式5示出了已知焦距f和拍摄对象距离d，则DOF与A成比例。

假设当在焦点位置s₁时图片F₁以光圈A₁被捕获，其中S₁根据其离拍摄对象深度的DOF数来测量。当该光圈变为A₂＝hA₁，某因子h表示在光圈中的所需变化量，根据公式(5)，图像在s₂＝hs₁被捕获，那么实现与F₁相同的散焦模糊量。此处，s₂以离拍摄对象位置“用于f/A₁的DOF”单位被测量：

$\frac{1}{2}{s}_2*I_2=\frac{1}{2}{s}_1*I_1---\left(6\right)$

其得到下式：

$I_2=\frac{s_1{I}_1}{s_2}=\frac{1}{h}{I}_1.---\left(7\right)$

因此，由下式给出在f/A₁坐标系中光圈f/A₂的匹配曲线的斜率：

$k_2=\frac{I_2}{s_2}=\frac{\frac{1}{h}{I}_1}{{\mathrm{hs}}_1}=\frac{1}{h^2}{k}_1.---\left(8\right)$

匹配曲线的斜率与f数的平方成反比。

如果在捕获F₁的相同焦点位置s₁以f/A₂捕获图片F₂，则F₂的散焦模糊等于：

$B_2=\frac{1}{2}{k}_2{s}_1^2=\frac{1}{h^2}{B}_1.---\left(9\right)$

因此，由下式给出F₂与F₁之间的模糊差异：

$B_2-B_1=[\frac{1}{h^2}-1]B_1=[{\left(\frac{A_1}{A_2}\right)}^2-1]B_1.---\left(10\right)$

然后如在下面的部分中所描述的那样，利用上述模糊函数模型进行景深渲染。

值B₂-B₁表示在相同镜头位置但以不同光圈所捕获的两个图像之间的模糊差异。应理解的是，根据本发明的优选实施例，B₂对应于光圈A₂，光圈A₂表示使用超过镜头的物理能力的光圈，而B₁对应于使用光圈A₁，光圈A₁在镜头的物理光圈范围内。在镜头模拟期间，利用具有小光圈f/A₁的镜头来捕获图像，由此可使用公式10生成图像，就像该图像是以f/A₂捕获的。例如，如果捕获了图像F₁，其中前景对象对焦，且背景失焦，那么前景对象区域的散焦模糊B₁应为0(无散焦模糊)。因此，根据公式10，B₂-B₁应为0。这意味着在模拟的图像中前景对象将保持对焦。F₁中的背景的散焦模糊B₁应大于0。因此根据公式10，B₂-B₁应大于0。因此，在模拟的图像中背景的散焦模糊B₂将大于其在F₁中的散焦模糊。

应理解的是，相机的用户界面可以多种不同方式适于控制较大光圈的模拟。通过第一示例，用户输入控制(例如，滑块控制、上下按钮或其它沿连续体进行选择的器件)可用于选择“数字光圈”大小来控制数字镜头模拟。在一优选实施例中，显示屏指示数字光圈设置。例如，如果给定镜头的有效光圈为f/5.6，f8，f/11，f/13，f/16和类似值，本发明的镜头模拟可允许将有效光圈一直扩展到f/4，f/2.8，f/2，f/1.4等。

在另一示例中，相机可简单地显示数字等效f数，且因此允许用户在超过物理相机装置范围的范围内进行选择。应理解的是，对于本发明来说，光圈仅在所得图像的表观景深和相关联的离焦平面模糊化方面被扩展，因为本发明所提供的数字光圈不能像使用物理较大光圈那样实际地准许更多光进入到镜头内。在一优选实施例中，标记和/或显示器描绘了该相机是在该物理光圈范围内还是使用本发明的数字光圈方面。

在另一示例性实施例中，用户能执行简单按钮选择(例如，“SLR模糊背景”效果)来启动和关闭数字光圈模拟。应理解的是，所描述的任何用户界面配置均可结合用户建立的参数集来操作，这些参数控制如何和何时利用本发明的数字光圈。

本发明的数字光圈特征也可与任何现有相机功能组合地耦合，且具体地与检测图像条件的给定集合的那些功能耦合。举例而言而非限制，当面部检测特征检测到拍摄肖像时，数字光圈特征可在用户控制下激活，其中可自动地控制模糊范围以保持面部对焦并使背景模糊。

4.景深渲染

景深模拟过程包括校准、迭代映射发生和渲染。校准的目的是为了确定斜率k。例如通过捕获置于不同距离的阶跃图像且以不同的焦距和光圈设置，生成一系列匹配曲线。然后通过此数据优选地生成线性模型以用作匹配曲线。可通过对匹配曲线的线性最小二乘拟合获得线性模型的斜率k。

假设图像F₁以光圈f/A₁捕获。目的是为了渲染此图像使其如同是以更大光圈f/A₂捕获的。使用公式10的模型进行的景深渲染的示例性过程可总结如下：

(a)以相同的光圈f/A₁拍摄另一图像F₂，其中F₁与F₂之间的距离为一个景深。

(b)将F₁和F₂分割成小的子图像块(例如，每块为64x64像素)。

(c)对于每个块，计算模糊差异I。如果F₁为两个图像中更清晰的图像(例如，更靠近对焦位置)，那么可使用公式4直接使用I来计算散焦模糊。但是当F₂更清晰且I用于计算散焦模糊量时，那么结果将为F₂而不是F₁的散焦模糊。响应于此，执行偏差校正，如通过s＝I/k计算s，然后通过s←s-1减小s。此校正的s为在拍摄F₁的镜头位置与对焦位置之间的距离，可用于使用公式4计算散焦模糊B₁。

(d)对于每个块，使用公式10来计算模糊差异B₂-B₁。

由此B₂为待渲染图像的散焦模糊。

(e)对于每个块，通过根据模糊差异B₂-B₁的利用模糊核心的多次卷积来使图像F₁模糊化。为了计算效率，可通过点扩散函数P执行一次卷积，而非利用模糊核心K执行B₂-B₁次卷积。可使用二维高斯模糊滤镜来近似此点扩散函数，该二维高斯模糊滤镜的方差为其中

为模糊核心K的方差。

图4和图5描绘了样品高斯模糊滤镜及其对于R＝25的频率响应。利用(2R+l)×(2R+l)的滤镜大小，其中R优选为2σ_Gauss。

5.模糊模拟的扩展

根据之前的部分将理解到，与模糊差异B₂-B₁成比例。这可扩展到更一般的形式

参数γ可用于形成增强的模糊效果。

图6和图7描绘了使用γ＝1.25的结果，其中图6示出了根据物理小光圈的对焦图像，而图7描绘了使用模糊渲染的到较大光圈的模拟校正。通过比较图像可看出与花朵在不同图像平面中的图像和背景结构由于图6的深物理焦点特别明显。尽管在图7中使用相同的相机和镜头，景深渲染在花朵平面中模拟了浅焦场，其中背景平面被模糊化且因此更少地转移对花朵对象的注意。

应理解的是，尽管图7所描绘的花朵对象具有大体上圆形的相关区，本发明可在具有任意一种或多种形状的平面的焦深上进行景深渲染。

6.一般化的发明实施例

下文以举例说明但非限制性地提供与所附流程图和方块图相关的本发明方面的一般性描述。应理解的是，在不偏离本发明的传授内容的情况下，本发明可以各种方式和形式实施。

图8至图10示出了根据本发明的一方面的程序流程图的示例性实施例，其中，在图8为景深渲染，在图9中确定模糊差异并生成模糊匹配曲线，图10为模糊函数建模。

在图8中，用于模拟所需景深的处理的一般化步骤包括确定模糊变化与光圈变化之间的关系50、建立模糊函数模型52、以及使用模糊函数模型渲染图像54从而向所捕获的图像引入模糊以便模拟所需景深。

在图9中，通过在不同的焦点位置捕获60至少两个图像(数字图片)来确定模糊差异和生成模糊匹配曲线。根据更清晰图像与匹配两个图像中更模糊图像所需的模糊核心之间的卷积数来确定62模糊差异。响应于确定相邻图像之间，例如每对图像之间的模糊差异，来生成64模糊匹配曲线。

在图10中，根据以下步骤来执行景深渲染的模糊函数建模。第一图像F₁ 70和第二图像F₂ 72是以不同的焦点设置、但以相同的光圈f/A₁被捕获的。图像被分割74成子图像块。然后基于模糊差异来计算76散焦模糊。在块中，对于f/A₂和图像F₁，确定78模糊差异I。然后，根据所确定的模糊差异将模糊化应用80于图像F₁中的每个块。

图11示出了根据本发明被配置了模糊函数场景渲染的相机的示例性实施例90。还应理解的是，在不偏离本发明的传授内容的情况下，本发明的方面可实施于多种相机和图像处理装置上，下文仅通过举例而非限制地进行说明。

示出的图像捕获装置(相机)90被配置成具有成像器(成像元件)92和相关联的光学器件，根据本发明用于执行调焦的调焦控制件94耦合到相关联的光学器件。应理解的是，调焦控制件94任选地可包括缩放控制。相机90的操作受到一个或多个计算机处理器(中央处理单元CPU)96和相关联的存储器98(例如，在CPU内部或者在一个或多个单独的集成电路中)的控制。还通过举例示出了辅助存储器100，例如用于存储捕获的图像的存储卡。应理解的是，由相机装置90执行的处理可通过用于执行相机控制功能和根据本发明所描述的图像处理方面的单个处理器来执行，或者可利用多个处理器，如用于执行相机控制功能的处理器和用于执行图像处理功能的一个或多个处理器。本领域的普通技术人员应理解的是，程序可在多种处理器上以各种方式执行。

计算机处理器96对于用相机90捕获的图像执行根据本发明的景深渲染。通过举例示出了可选的图像显示器102和触摸屏104，但应理解的是，根据本发明的方法可在各种图像捕获装置上实施，所述图像捕获装置被配置成具有成像器和相关联的镜头和焦点控制元件。还示出了可选的非触摸屏界面106以表示对相机的控制可利用任何所需形式的用户界面。应理解的是，扩展的光圈模糊根据本发明建模且利用用户输入/输出102、104和106根据各种机制来选择和显示。

应理解的是，本发明的景深渲染是通过程序来执行的，所述程序可在与存储器98和/或辅助存储器100相结合的计算机处理器96上执行。本发明的传授内容可应用于各种相机设备和可受益于增强的景深控制的应用中，如包括数字静物相机、摄影机等。

参照根据本发明的实施例的方法和系统的流程图描述了本发明的实施例。这些方法和系统也可实施为计算机程序产品。就此而言，流程图的每个方框或步骤以及流程图中方框(和/步骤)的结合可由各种装置来实施，如硬件、固件和/或包括以计算机可读程序代码逻辑实施的一种或多种计算机程序指令的软件。应理解的是，任何这样的计算机程序指令可加载到计算机，包括(但不限于)通用计算机或专用计算机，或其它可编程的处理设备上以产生机器，使得在计算机或其它可编程的处理设备上执行的计算机程序指令包括用于实施在(一个或多个)流程图的(一个或多个)方框中所规定的功能的手段。

因此，流程图的方框支持用于执行规定功能的装置的组合、执行规定功能的步骤的组合、以及用于执行规定功能的计算机程序指令，如在计算机可读程序代码逻辑装置中实施的计算机程序指令。还应了解流程图的每个方框和流程图的方框的组合能根据需要由专用硬件来实施，所述专用硬件单独地或更优选地与计算机执行装置组合地执行所规定的功能或步骤。

而且，如在计算机可读程序代码逻辑装置中实施的这些计算机程序指令也可存储于计算机可读存储器中，所述计算机可读存储器能指导计算机或其它可编程的处理设备以特定方式运作，使得存储于计算机可读存储器中的指令产生包括实施(一个或多个)流程图的(一个或多个)方框中所规定的功能的指令装置的制件。计算机程序指令也可加载到计算机或其它可编程的处理设备上，使得一系列操步骤在计算机或其它可编程的处理设备上执行，以便产生计算机实施的处理，使得在计算机或其它可编程的设备上执行的指令提供用于实施在(一个或多个)流程图的(一个或多个)方框中规定的功能的步骤。

7.方面总结

此部分以举例说明而非限制方式总结在本文中为本发明所述的多个实施方式、模式和特点。

本发明提供用于渲染图像的方法和设备，其模拟较大光圈的使用来提供浅焦场。本发明的传授内容可应用于多种设备和应用中，包括静物相机和其它图像捕获设备。

因此，可看出，除了其它实施例外，本发明包括以下发明实施例：

1.一种对捕获的图像进行景深渲染以模拟使用较大光圈将会产生的失焦效果的设备，包括：成像元件，具有光圈且被配置成以焦点设置来捕获数字图像的成像元件，所述光圈具有物理光圈大小；计算机处理器，与存储器相关联，耦合到所述成像元件且被配置成处理从所述成像元件接收的数字图像；以及所述计算机处理器上的可执行程序，用于：以相同的光圈设置捕获焦点位置不同的至少两个图像(一对图像)，将所述图像分割成子图像块，基于所述成像元件的作为迭代次数与所述焦点位置之间关系的匹配曲线来确定所述图像的子图像块之间的模糊差异，确定所述图像的子图像块之间的散焦模糊，以及，通过响应于所确定的所述成对图像之间的模糊差异的、利用模糊核心的多次卷积来模糊化图像的子图像块，以生成模拟利用更大光圈而产生的图像。

2.根据实施例1所述的设备，其中所述设备生成利用所述成像元件以第一光圈设置所捕获的数字图像，所述数字图像看起来就像是以大于所述第一光圈设置的第二光圈设置捕获的。

3.根据实施例1所述的设备，其中，通过在设备的焦点范围捕获图像序列并建立迭代次数与镜头焦点位置之间的关系，匹配曲线被保存在所述设备的存储器中。

4.根据实施例1所述的设备，其中，可通过将在对焦、第一位置与第二位置之间的间隔中的迭代次数求和，根据所述匹配曲线来确定图像的散焦模糊量。

5.根据实施例1所述的设备，其中所述匹配曲线的斜率与f数的平方成反比。

6.根据实施例1所述的设备，其中所述散焦模糊由下式给出：

其中所述散焦模糊B根据迭代次数I、离对焦位置的景深(DOF)s和匹配曲线的斜率k来确定。

7.根据实施例1所述的设备，其中由公式

给出所述模糊差异，其中B₁和B₂为以第一光圈A₁和第二光圈A₂(f数)产生的模糊级别，且h为限定光圈变化范围的常数。

8.根据实施例1所述的设备，还包括：用户界面，该用户界面在所述设备上具有至少一个用户输入控制，用于选择超过该设备可实现的物理光圈大小的数字光圈大小，或者选择其中超过该设备能实现的物理光圈大小的数字光圈大小被使用的操作模式。

9.根据实施例1所述的设备，还包括：响应于检测到给定的图像条件集合，选择超过所述设备能实现的物理光圈大小的数字光圈大小。

10.根据实施例1所述的设备，还包括：响应于检测到给定的图像条件集合，选择超过所述设备能实现的物理光圈大小的数字光圈大小；并且其中所述数字光圈大小是响应于被捕获的图像内的人脸检测而被选择的。

11.根据实施例1所述的设备，其中所述模糊化子图像块是通过使用二维高斯模糊滤镜来执行。

12.根据实施例1所述的设备，其中所述模糊化子图像块包括使用通过二维高斯模糊滤镜执行的增强的模糊效果，该二维高斯模糊滤镜具有由所给出的方差

其中B₁为所捕获的图像的子图像块的散焦模糊，B₂为模拟图像的相应子图像块的散焦模糊，

为模糊核心K的方差，且参数γ控制增强的模糊效果。

13.一种设备，用于对捕获的图像进行景深渲染，以模拟通过使用比所述设备能实现的物理光圈更大的物理光圈能产生的散焦效果，该设备包括：成像元件，具有物理光圈且被配置成以焦点设置来捕获数字图像的成像元件，所述光圈具有物理光圈大小；计算机处理器和存储器，耦合到所述成像元件且被配置成处理从所述成像元件接收的数字图像；以及所述计算机处理器上的可执行程序，用于：检测用户输入来选择数字光圈大小，或者与使用数字光圈大小相关联的模式；使用相同的光圈设置在不同的焦点位置捕获至少两个图像，将所述图像分割成子图像块，基于所述成像元件的作为迭代次数与焦点位置之间关系的匹配曲线，来确定所述图像的子图像块之间的模糊差异，确定在所述图像的子图像块之间的散焦模糊，以及通过响应于所确定的图像之间的模糊差异的、利用模糊核心的多次卷积来模糊化所述图像的子图像块从而生成所得图像；其中所述所得图像以超过所述设备能实现的物理光圈大小的表观数字光圈大小而生成。

14.根据实施例13所述的设备，其中所述设备生成由所述成像元件以第一光圈设置捕获的数字图像输出，所述数字图像输出看起来就像是以大于所述第一光圈设置的第二光圈设置被捕获的。

15.根据实施例13所述的设备，其中，通过在设备的焦点范围捕获图像序列以建立迭代次数与镜头焦点位置之间的关系，匹配曲线被保存在设备的存储器中。

16.根据实施例13所述的设备，其中根据所述匹配曲线，可将图像的散焦模糊量计算为在对焦位置、第一位置与第二位置之间的间隔中的迭代次数之和。

17.根据实施例13所述的设备，其中所述匹配曲线的斜率与所述f数的平方成反比。

18.根据实施例13所述的设备，其中所述散焦模糊由下式给出：其中所述散焦模糊B根据迭代次数I、离对焦位置的景深(DOF)s和匹配曲线的斜率k来确定。

19.根据实施例13所述的设备，其中由公式

给出所述模糊差异B，其中B₁和B₂为在两个相应不同的第一光圈A₁和第二光圈A₂(f数)的模糊级别，且h为限定光圈变化范围的常数。

20.根据权利要求13所述的设备，还包括：用户界面，其具有至少一个在设备上的至少一个用户输入控制，被配置为选择超过该设备可实现的物理光圈大小的数字光圈大小，或者选择其中超过该设备能实现的物理光圈大小的数字光圈大小被使用的操作模式。

21.根据实施例13所述的设备，其中所述模糊化子图像块通过使用二维高斯模糊滤镜来执行。

22.根据实施例13所述的设备，其中所述模糊化子图像块包括使用通过二维高斯模糊滤镜所执行的增强的模糊效果，该二维高斯模糊滤镜具有由

所给出的方差

其中B₁为所捕获的图像的子图像块的散焦模糊，B₂为模拟图像的对应子图像块的散焦模糊，

为模糊核心K的方差，且参数γ控制增强的模糊效果。

23.一种用于捕获图像的方法，模拟比相机设备内的成像元件可实现的物理光圈大小更大的光圈，包括：以相机设备的相同光圈设置在不同的焦点位置捕获至少两个图像；将所述图像分割成子图像块；基于所述成像元件的作为迭代次数与镜头焦点位置之间关系的匹配曲线，来确定所述图像的子图像块之间的模糊差异；确定在所述图像的子图像块之间的散焦模糊；以及通过响应于所确定的图像之间的模糊差异的、利用模糊核心的卷积来模糊化图像的子图像块以生成所得图像；其中所得图像以超过所述相机设备可实现的物理光圈大小的表观光圈大小来生成。

24.根据实施例23所述的方法，还包括：检测用户输入以选择数字光圈大小或者与使用所述数字光圈大小相关联的模式，所述数字光圈大小超过可实现的物理光圈大小。

尽管上文的描述包含许多细节，这些不应被认作限制本发明的范围，而是仅提供本发明目前优选实施例中某些实施例的说明。因此，应了解本发明的范围完全涵盖对于本领域的技术人员而言显而易见的其它实施例，且本发明的范围因此并不由所附权利要求之外的任何内容限制，在所附权利要求中，除非明确地如此陈述，对于单数元件的提及并不预期表示“一个且唯一一个”，而是为“一个或多个”。本领域的普通技术人员已知的上述优选实施例的元件的所有结构和功能等同物明确地作为参考结合到本文中且预期由本权利要求所涵盖。此外，装置或方法不因为它由权利要求所涵盖而必要解决本发明要解决的每一个问题。而且，无论元件、构件、方法步骤是否在权利要求中特别地指出，本公开中的任何元件、构件或方法步骤都不是为了贡献于公众。这里的任何权利要求元素都不应按照35U.S.C.112第六段的规定来理解，除非用短语“用于......的装置”特别强调了该元素。

Claims (24)

1.一种用于在捕获的图像上进行景深渲染以模拟使用较大光圈将会产生的失焦效果的设备，包括：

具有光圈且被配置成以焦点设置来捕获数字图像的成像元件，所述光圈具有物理光圈大小；

计算机处理器，与存储器相关联，耦合到所述成像元件且被配置成处理从所述成像元件接收的数字图像；以及

所述计算机处理器上的可执行程序，用于：

使用相同的光圈设置在焦点位置捕获至少一成对图像，所述成对图像的焦点位置不同，

将所述成对图像分割成子图像块，

基于所述成像元件的作为迭代次数与所述焦点位置之间关系的匹配曲线，确定所述成对图像的子图像块之间的模糊差异，

确定所述成对图像的子图像块之间的散焦模糊，以及

通过响应于所确定的所述成对图像之间的模糊差异的、利用模糊核心的多次卷积来模糊化所述成对图像的子图像块，从而生成模拟利用较大光圈所得的图像。

2.根据权利要求1所述的设备，其中，所述设备生成用所述成像元件以第一光圈设置所捕获的数字图像，所述数字图像看起来就像是以大于所述第一光圈设置的第二光圈设置所捕获的。

3.根据权利要求1所述的设备，其中，通过在所述设备的焦点范围捕获图像序列以建立迭代次数与所述焦点位置之间的关系，所述匹配曲线被保存在所述设备的存储器中。

4.根据权利要求1所述的设备，其中，图像的散焦模糊量能够通过将在对焦、第一位置与第二位置之间的间隔中的迭代次数求和、根据所述匹配曲线来确定。

5.根据权利要求1所述的设备，其中，所述匹配曲线的斜率与f数的平方成反比。

6.根据权利要求1所述的设备，其中，所述散焦模糊由下式给出：其中所述散焦模糊B根据迭代次数I、离对焦位置的景深(DOF)s和匹配曲线的斜率k来确定。

7.根据权利要求1所述的设备，其中，由公式

给出所述模糊差异，其中B₁和B₂为在第一光圈A₁和第二光圈A₂(f数)将产生的模糊级别，且h为限定光圈变化范围的常数。

8.根据权利要求1所述的设备，其还包括：用户界面，所述用户界面在所述设备上具有至少一个用户输入控制，所述至少一个用户输入控制被配置成选择超过所述设备能够实现的物理光圈大小的数字光圈大小，或者选择将所述数字光圈大小设置为超过所述设备能实现的物理光圈大小的操作模式。

9.根据权利要求1所述的设备，还包括：响应于检测到给定的图像条件集合，选择超过所述设备能实现的物理光圈大小的数字光圈大小。

10.根据权利要求1所述的设备，还包括：

响应于检测到给定的图像条件集合，选择超过所述设备能实现的物理光圈大小的数字光圈大小；并且

其中所述数字光圈大小是响应于被捕获的图像内的人脸检测而被选择的。

11.根据权利要求1所述的设备，其中，所述模糊化子图像块通过使用二维高斯模糊滤镜执行。

12.根据权利要求1所述的设备，其中，所述模糊化子图像块包括使用通过二维高斯模糊滤镜执行的增强的模糊效果，该二维高斯模糊滤镜具有由

所给出的方差其中B₁为所捕获的图像的子图像块的散焦模糊，B₂为模拟图像的对应子图像块的散焦模糊，

为模糊核K的方差，且参数γ控制增强的模糊效果。

13.一种对捕获的图像进行景深渲染以模拟通过使用比所述设备可实现的物理光圈更大的物理光圈将会产生的散焦效果的设备，所述设备包括：

具有物理光圈且被配置成以焦点设置来捕获数字图像的成像元件，所述光圈具有物理光圈大小；

计算机处理器和存储器，耦合到所述成像元件且被配置成处理从所述成像元件接收的数字图像；以及所述计算机处理器上的可执行程序，用于：

检测用户输入来选择数字光圈大小，或者选择与使用所述数字光圈大小相关联的模式；

使用相同的光圈设置在焦点位置捕获至少一成对图像，所述成对图像的焦点位置不同，

将所述成对图像分割成子图像块，

基于所述成像元件的作为迭代次数与所述焦点位置之间关系的匹配曲线，来确定所述成对图像的子图像块之间的模糊差异，

确定所述成对图像的子图像块之间的散焦模糊，以及

通过响应于所确定的所述成对图像之间的模糊差异的、利用模糊核心的多次卷积来模糊化所述图像的子图像块从而生成所得图像；

其中所得图像以超过所述设备能实现的物理光圈大小的表观数字光圈大小而生成。

14.根据权利要求13所述的设备，其中，所述设备由所述成像元件以第一光圈设置生成数字图像输出，所述数字图像输出看起来就像是以大于所述第一光圈设置的第二光圈设置所捕获的。

15.根据权利要求13所述的设备，其中，通过在所述设备的焦点范围捕获图像序列以建立迭代次数与所述焦点位置之间的关系，所述匹配曲线被保存在所述设备的存储器中。

16.根据权利要求13所述的设备，其中，根据所述匹配曲线，图像的散焦模糊量能被计算为在对焦位置、第一位置与第二位置之间的间隔中的迭代次数之和。

17.根据权利要求13所述的设备，其中，所述匹配曲线的斜率与f数的平方成反比。

18.根据权利要求13所述的设备，其中，所述散焦模糊B由

给出，且根据迭代次数I，离对焦位置的景深(DOF)s和匹配曲线的斜率k来确定。

19.根据权利要求13所述的设备，其中，由公式

给出所述模糊差异，其中B₁和B₂为在两个相应不同的第一光圈A₁和第二光圈A₂(f数)的模糊级别，且h为限定光圈变化范围的常数。

20.根据权利要求13所述的设备，还包括：用户界面，所述用户界面具有在所述设备上的至少一个用户输入控制，所述至少一个用户输入控制被配置成选择超过所述设备可实现的物理光圈大小的数字光圈大小，或者选择包括选择超过所述设备能实现的物理光圈大小的数字光圈大小的操作模式。

21.根据权利要求13所述的设备，其中，所述模糊化子图像块通过使用二维高斯模糊滤镜来执行。

22.根据权利要求13所述的设备，其中，所述模糊化子图像块包括使用通过二维高斯模糊滤镜执行的增强的模糊效果，该二维高斯模糊滤镜具有由

所给出的方差

其中B₁为所捕获的图像的子图像块的散焦模糊，B₂为模拟图像的对应子图像块的散焦模糊，

为模糊核心K的方差，且参数γ控制增强的模糊效果。

23.一种用于捕获图像的方法，其模拟比相机设备内的成像元件可实现的物理光圈大小更大的光圈，包括：

使用所述相机设备的相同光圈设置在焦点位置捕获至少一成对图像，所述成对图像的焦点位置不同，

将所述成对图像分割成子图像块；

基于所述成像元件的作为迭代次数与所述焦点位置之间关系的匹配曲线，来确定所述成对图像的子图像块之间的模糊差异；

确定所述成对图像的子图像块之间的散焦模糊；以及

通过响应于所确定的所述成对图像之间的模糊差异的、利用模糊核心的卷积来模糊化所述成对图像的子图像块从而生成所得图像；

其中所得图像以超过所述相机设备可实现的所述物理光圈大小的表观数字光圈大小而生成。

24.根据权利要求23所述的方法，还包括：检测用户输入以选择数字光圈大小或者与使用所述数字光圈大小相关联的模式，所述数字光圈大小超过在所述相机设备上可实现的物理光圈大小。

Images