CN101562701A - 一种用于光场成像的数字对焦方法及装置 - Google Patents

Abstract

本发明所述的一种用于光场成像的数字对焦方法及装置。首先从二维光场图像中选择目标的窗口范围，抽取窗口范围内的光场数据，根据不同对焦参数，进行目标图像重构，得到图像序列，对图像序列进行图像清晰度评价，找到最佳对焦参数值，从而得到目标清晰度最佳的重对焦图像。本发明减小了参与图像重构的数据量，从而节省了数字对焦的时间。

Description

一种用于光场成像的数字对焦方法及装置

技术领域

本发明涉及一种成像方法及装置，尤其涉及一种用于光场成像的数字对焦方法及装置。

背景技术

光场成像的概念由Marc Levoy和Ren Ng等人提出并发展。主要是指通过在传统光学成像系统中利用孔径分割或加入调制掩模的方法来获得目标光辐射的空间分布和辐射传输的方向信息，即相机内的四维光场。通过对光场数据进行计算处理，得到重新对焦在指定深度目标的合成图像，实现数字对焦。

相机内的光场分布可以用两个平面间的光流来表示，如图1所示，平面(u，v)是成像系统的光瞳面，平面(x，y)是探测器面，两平面间的距离为F，由积分成像可得，探测器面成像公式为：

$E_F(x,y)=\frac{1}{F^2}\int \int L_F(x,y,u,v)\mathrm{dudv}$

其中，E_F(x，y)是探测器面上的辐照强度。L_F(x，y，u，v)代表成像系统内的光场，且与物空间的目标光场存在对应关系。

利用光场传播的可追踪性，对光场分布信息进行重采样和适当计算处理能够合成获得景象中某一深度目标的清晰图像，其效果等价于普通成像系统准确调焦后拍摄的图像。这一合成图像过程可以称之为“数字对焦”。不同的是这种技术可以达到先拍摄后对焦的目的，降低了实现精密对焦的难度和复杂度。

空间域的源于积分成像的数字对焦公式：

$E_{F^{\′}}(x,y)=\frac{1}{{\mathrm{\α}}^2{F}^2}\int \int L_{F^{\′}}(x,y,u,v)\mathrm{dudv}$

其中，L_F′(x，y，u，v)＝L_F(u(1-1/α)+x/α，v(1-1/α)+y/α，u，v)是重对焦图像的光场分布，且F′＝αF，α是表征不同对焦深度的参数，改变其值就可以得到不同对焦深度的图像。

可以将传统成像技术中用于自动对焦的图像清晰度评价方法运用于数字对焦当中，下面以单目标光场图像为例进行说明：

图2为模拟仿真的单目标光场图像，已知的目标离焦参数为α＝0.97524。根据光场数据，取不同的α值进行数字对焦，得到重构图像序列。α值的范围为0.935到1.015，取值间隔为0.01。分别对每一幅重构图像进行清晰度评价值计算，得到图3所示曲线，图中横坐标为α值，纵坐标为重构图像的清晰度评价值。可以看出当α＝0.975时取得最值，和已知参数基本一致。

对于图像中具有多个目标的情形，现有的直接应用图像清晰度评价方法的数字对焦方法是：首先将二维光场图像转化为四维光场数据，在一定的范围内选取的对焦参数值，按照每个对焦参数值重构二维图像，得到重构图像序列，对每个图像中的选定目标部分进行图像清晰度评价，找到图像清晰度评价值最高时的对焦参数值，从而得到选定目标清晰度最佳的图像。

现有的这种方法得到的重构图像序列，每幅图像数据都是从整幅图像的四维光场数据经过图像重构转化为二维光场数据得到的，使得转化过程中计算复杂、计算量大，计算时间长。

发明内容

鉴于上述现有技术所存在的问题，本发明的目的是提供一种用于光场成像的数字对焦方法及成像设备，本方法减小参与数字对焦图像重构的数据量，更准确覆盖目标区域，缩短计算时间。

本发明的目的是通过以下技术方案实现的：

一种用于光场成像的数字对焦方法，包括以下步骤，

获得图像光场数据；

确定将要进行数字对焦的图像中目标的窗口范围；

从已获得的图像光场数据中得到所述窗口的光场数据；

根据已获得的窗口的光场数据，按照不同的对焦参数进行窗口图像重构，得到图像序列；

对所述图像序列分别进行图像清晰度计算，得到使目标图像最佳的对焦参数值；

根据最佳的对焦参数值，生成对焦于目标的重构图像。

所述窗口范围的确定方式包括：使目标占据所述窗口的中央区域。

一种用于光场成像的数字对焦装置，包括：图像数据处理单元、图像清晰度计算单元和图像生成单元，其中：

图像数据处理单元，用于获得图像光场数据，从已获得的图像光场数据中得到选定窗口的光场数据，并且按照不同的对焦参数进行窗口图像重构，得到图像序列；

图像清晰度计算单元，用于对所述图像数据处理单元得到的图像序列分别进行图像清晰度计算，得到图像清晰度评价值最高的对焦参数值；

图像生成单元，用于根据所述图像清晰度计算单元得到的对焦参数值生成对焦于目标的重构图像。

由上述本发明提供的技术方案可以看出，本发明所述的方法减小了参与图像重构的数据量，从而节省了时间。

附图说明

图1为相机内光场参数示意图；

图2为模拟仿真的单目标光场图像；

图3为图2中所示图像的清晰度评价值曲线；

图4为一幅利用微透镜进行孔径分割的光场相机拍摄的实际图像；

图5为选定窗口的光场数据对应不同对焦参数的评价函数值曲线图；

图6为对焦在人像雕塑的整幅重构图像；

图7用于光场成像的数字对焦装置示意图。

具体实施方式

本发明的用于光场成像的数字对焦方法，首先获得二维光场图像，并将其转化为四维光场数据；在现有图像中确定将要进行数字对焦的目标的窗口范围，使目标占据所述窗口的大部分区域；从二维光场图像数据中获得所述窗口的二维光场数据，并将其转化为四维光场数据；根据已获得的窗口的四维光场数据，按照不同的对焦参数进行窗口图像重构，得到图像序列；对所述图像序列分别进行图像清晰度评价，得到图像清晰度评价值最高时的对焦参数值，按照这个对焦参数值将现有图像的四维光场数据进行数字对焦图像重构，得到对焦于选定目标的整幅图像。

进行数字对焦时，在初始图像中进行窗口的选择很重要，选取合适的窗口主要有两个目的：(1)减少参加运算的像素数量；(2)排除非主要部分(背景)对主要目标评价结果的负面影响。当图像中含有多个目标时，尤其需要进行目标窗口的选择。

本发明较佳的具体实施方式为：参照图4，图4为一幅由美国斯坦福大学利用微透镜进行孔径分割的光场相机拍摄的实际图像，二维图像形式尺寸为4096×4096，转化成四维光场数据为256×256×16×16。其中三个目标分别位于不同的深度，分别为：门洞α＝0.97、屋檐α＝1.00和人像α＝1.04，α为表征不同对焦深度的参数，改变其值就可以得到不同对焦深度的图像。对于如图4的多目标情况，则应当充分利用光场成像的特点结合窗口选取进行图像清晰度评价，从而实现快速准确地数字对焦。

若我们以人像雕塑作为目标，则应当选择较准确覆盖目标范围的窗口作为评价区域。通过观察图4，选定覆盖人像部分的100×100的窗口(如图6中白色方框)，此窗口的二维光场图像部分尺寸为1600×1600，转化为四维光场数据为100×100×16×16人像部分位于窗口的中央区域，最好将人像部分占据窗口的大部分区域且尽量少覆盖其它目标，窗口最好为正方形。从获得的光场图像数据中抽取选定窗口范围的光场数据(100×100×16×16)，按不同对焦参数α进行图像对焦重构，得到图像序列，α值的范围为0.92到1.07，取值间隔为0.01。使用适当的评价函数对每个图像进行图像清晰度评价值计算。图5显示了选定窗口的光场数据对应不同对焦参数的图像清晰度评价值曲线，横坐标为对焦参数，纵坐标为重构图像的清晰度评价值。可见，在α＝1.04处时取得最值，与给定条件一致，结果准确。将初始大小的光场图像(4096×4096)按该α值进行数字对焦图像重构就可以得到对焦于选定目标的整幅图像。图6为对焦在人像雕塑的整幅重构图像。从图中可以看出人像部分非常清晰。

图像清晰度评价方法是将评价清晰度函数运用于需要评价的图像中。图像清晰度评价函数分为四类：灰度梯度函数、图像变换函数、信息学函数和统计学函数。例如，我们选取灰度梯度函数中的Tenengrad函数作为评价函数：

$F\left(k\right)=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}[G_x^2(x,y)+G_y^2(x,y)]$

其梯度幅度G_x(x，y)，G_y(x，y)模板分别为：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ 和 $\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

Tenengrad函数作用时先加权平均然后再微分，并分别对水平和垂直方向进行模板运算，对噪声有一定的抑制能力。

将现有的数字对焦方法和本发明的数字对焦方法编程实现进行比较，实验平台为CPU：intelP42.8G，内存：2G，matlab7.1，现有方法得到对焦图像序列及评价值曲线用时281s，改进后的方法用时75s，得到的结果是一致的。两种方法重构图像的目标是相同的，本发明由于参与数字对焦的数据量小从而节省了时间。

本发明实施例还提供了一种用于光场成像的数字对焦装置，如图7所示，包括：图像数据处理单元、图像清晰度计算单元和图像生成单元；图像数据处理单元用于获得光场图像数据，从已获得的光场图像数据中得到选定窗口的光场数据，并且按照不同的对焦参数进行窗口图像重构，得到图像序列；图像清晰度计算单元用于对所述图像数据处理单元得到的图像序列分别进行图像清晰度计算，得到图像清晰度评价值最高的对焦参数值；图像生成单元根据图像清晰度计算单元得到的对焦参数值生成目标图像。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1、一种用于光场成像的数字对焦方法，其特征在于，包括：

获得图像光场数据；

确定将要进行数字对焦的图像中目标的窗口范围；

从已获得的图像光场数据中得到所述窗口的光场数据；

根据已获得的窗口的光场数据，按照不同的对焦参数进行窗口图像重构，得到图像序列；

对所述图像序列分别进行图像清晰度计算，得到使目标图像最佳的对焦参数值；

根据最佳的对焦参数值，生成对焦于目标的重构图像。

2、根据权利要求1所述的方法，其特征在于，所述窗口范围的确定方式包括：使目标占据所述窗口的中央区域。

3、一种用于光场成像的数字对焦装置，其特征在于，包括：图像数据处理单元、图像清晰度计算单元和图像生成单元，其中：

图像数据处理单元，用于获得图像光场数据，从已获得的图像光场数据中得到选定窗口的光场数据，并且按照不同的对焦参数进行窗口图像重构，得到图像序列；

图像清晰度计算单元，用于对所述图像数据处理单元得到的图像序列分别进行图像清晰度计算，得到图像清晰度评价值最高的对焦参数值；

图像生成单元，用于根据所述图像清晰度计算单元得到的对焦参数值生成对焦于目标的重构图像。

Images