CN103209307B - 编码重聚焦计算摄像方法及装置 - Google Patents

Abstract

本发明公开了一种编码重聚焦计算摄像方法及装置，其中该方法包括：通过在曝光时间内改变对焦平面，并且在相应的所述对焦平面设置下逐像素编码的传感器的读出时间，以获得单曝光编码重聚焦图像；通过设计不同的调制函数以实现可编程非平面聚焦表面摄像，利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面，通过解复用和三线性插值得到全分辨率的重聚焦图像；以及利用稀疏编码机制，通过采用压缩感知重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。本发明的方法和装置具有简便易行、摄像结果分辨率高的优点。

Description

编码重聚焦计算摄像方法及装置

技术领域

本发明属于计算摄像学领域，具体涉及一种编码重聚焦计算摄像的方法及装置。

背景技术

传统普通相机在摄像过程中需要用户在拍摄之前精心挑选相机参数，并且在视野范围内的聚焦表面都为平面。而近年来的计算相机能够先拍摄后聚焦、灵活景深控制以及实现景深扩展，具有光明的应用前景。对于任何具有这些应用的计算相机都需要光学编码高维的信息，如光场、全聚焦图像和深度到二维传感器并计算解码。

现有的商业计算相机主要包括时差测距相机以及光场相机。时差测距相机通过对场景连续发送光脉冲，传感器接收从物体返回的光，通过测量光脉冲的飞行时间来获取三维几何。光场相机通过采集四维光场来重建三维的重聚焦图像。但是，时差测距相机需要设计复杂传感电路和片上处理，而光场相机只能获得低分辨率的图像。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的一个目的在于提出一种具有简便易行、分辨率高的编码重聚焦计算摄像方法。本发明的另一目的在于提出一种具有简便易行、分辨率高的编码重聚焦计算摄像装置。

根据本发明实施例的编码重聚焦计算摄像方法，包括：A.通过在曝光时间内改变对焦平面，并且在相应的所述对焦平面设置下逐像素编码的传感器的读出时间，以获得单曝光编码重聚焦图像；B.通过设计不同的调制函数以实现可编程非平面聚焦表面摄像，利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面，通过解复用和三线性插值得到全分辨率的重聚焦图像；以及C.利用稀疏编码机制，通过采用压缩感知重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。

在本发明的一个实施例中，所述步骤A中，令F(y,z)为三维重聚焦图像，其中为二维空间坐标，而z为重聚焦图像的深度维坐标，则所述传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码：其中Ω_z为z的取值范围。

在本发明的一个实施例中，所述通过设计不同的调制函数以实现可编程非平面聚焦表面摄像包括：将聚焦表面定义为则所述调制函数为：其中，当非平面传感表面为抛物线形状聚焦表面时或者，当非平面传感表面为阶梯状表面时其中a为常系数，H(·)为阶跃函数。

在本发明的一个实施例中，所述利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面包括：通过交叉式重聚焦摄像，低分辨率的重聚焦图像通过从传感器采集得到的图像I(y)中解复用获得F(y_z,z)=I(y_z)iM(y_z,z)，其中M(y,z)为以交叉式表面实施的调制函数，M(y,z)定义为M(y,z)=δ(z-h(y))，其中为周期为T的周期函数，其中g(y)的定义域为[0,T]，为卷积算子，假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z=1,...,n,T=n)，则定义其中rect为门函数，并且{a₁,...a_i...a_j...,a_n}={1,...,n},a_i≠a_j,n∈Δy，其中Δy为y的邻域，表明局部传感器区域包含想要解复用的所有n层。

在本发明的一个实施例中，所述压缩得到全分辨率的重聚焦图像包括：使用随机调制函数作为传感矩阵获取单张编码图像，并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。

在本发明的一个实施例中，所述步骤C进一步包括：C1.压缩重建初始重聚焦图像；C2.利用重聚焦图像进行散焦深度估计；C3.通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建；C4.通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛，以获取优化的重聚焦图像和深度图；以及C5.通过利用重聚焦图像和深度图以获取最终的全分辨率的全聚焦图像。

本发明的编码重聚焦计算摄像方法使用交替方向数值解法来获取深度估计和重聚焦图像优化问题。对于深度估计，迭代过程提供了高质量的散焦图像初值和鲁棒的数值解法。对于散焦图像获取，深度错误通常出现在没有纹理的区域，变换域空间稀疏性的可以提供相应约束。因此迭代过程趋向于收敛。对于全聚焦图像获取，本发明通过扩展迭代重权值最小二乘的方法来处理全局不一致的卷积并从多张散焦图像中包含相关信息。

根据本发明实施例的编码重聚焦计算摄像装置，包括：图像采集模块，所述图像采集模块用于采集单曝光编码重聚焦图像；可编程非平面聚焦表面摄像模块，用于通过设计不同的调制函数以实现可编程非平面聚焦表面摄像；交叉式重聚焦摄像模块，用于利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面；重聚焦图像生成模块，用于通过解复用和三线性插值恢复全分辨率的重聚焦图像；和全聚焦图像和深度图生成模块，用于通过采用压缩重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。

在本发明的一个实施例中，所述单曝光编码重聚焦图像采集模块进一步包括：可编程变对焦平面镜头，用于实现时变聚焦平面；第一中继透镜，位于所述可编程变对焦平面镜头和液晶显示屏面板之间，用于中继光路；所述液晶显示屏面板，用于实现逐像素编码曝光；第二中继透镜，位于所述液晶显示屏面板和长焦镜头相机之间，用于中继光路；和所述长焦镜头相机，用于拍摄对象。

在本发明的一个实施例中，所述图像采集模块中，令F(y,z)为三维重聚焦图像，其中为二维空间坐标，而z为重聚焦图像的深度维坐标，则所述传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码：其中Ω_z为z的取值范围。

在本发明的一个实施例中，所述可编程非平面聚焦表面摄像模块中：将聚焦表面定义为则所述调制函数为：其中，当非平面传感表面为抛物线形状聚焦表面时或者，当非平面传感表面为阶梯状表面时其中a为常系数，H(·)为阶跃函数。

在本发明的一个实施例中，所述交叉式重聚焦摄像模块中：低分辨率的重聚焦图像通过从传感器采集得到的图像I(y)中解复用获得F(y_z,z)=I(y_z)iM(y_z,z)，其中M(y,z)为以交叉式表面实施的调制函数，M(y,z)定义为M(y,z)=δ(z-h(y))，其中m∈Z为周期为T的周期函数，其中g(y)的定义域为[0,T]，为卷积算子，假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z=1,...,n,T=n)，则定义其中rect为门函数，并且

{a₁,...a_i...a_j...,a_n}={1,...,n},a_i≠a_j,n∈Δy，其中Δy为y的邻域，表明局部传感器区域包含想要解复用的所有n层。

在本发明的一个实施例中，所述重聚焦图像生成模块中，使用随机调制函数作为传感矩阵获取单张编码图像，并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。

在本发明的一个实施例中，所述全聚焦图像和深度图生成模块进一步包括：压缩子模块，所述压缩子模块用于压缩重建初始重聚焦图像；散焦深度估计子模块，所述散焦深度估计模块用于根据重聚焦图像进行散焦深度估计；模糊约束子模块，所述模糊约束子模块用于通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建；迭代优化子模块，所述迭代优化子模块用于通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛，以获取优化的重聚焦图像和深度图；和全聚焦图像生成子模块，所述全聚焦图像生成子模块用于利用重聚焦图像和深度图以获取最终的全聚焦图像。

本发明的编码重聚焦计算摄像装置使用交替方向（ADM）数值解法来获取深度估计和重聚焦图像优化问题。对于深度估计，迭代过程提供了高质量的散焦图像初值和鲁棒的数值解法。对于散焦图像获取，深度错误通常出现在没有纹理的区域，变换域空间稀疏性的可以提供相应约束。因此迭代过程趋向于收敛。对于全聚焦图像获取，本发明通过扩展迭代重权值最小二乘的方法来处理全局不一致的卷积并从多张散焦图像中包含相关信息。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例的编码重聚焦计算摄像方法的流程图；

图2是本发明实施例的单曝光编码重聚焦图像采集的示意图；

图3是本发明实施例的可编程非平面聚焦表面摄像的示意图；

图4是本发明实施例的交叉式重聚焦表面摄像的示意图；

图5是本发明实施例的压缩重聚焦图像生成过程的示意图；

图6是本发明实施例的编码重聚焦计算摄像装置的结构示意图；和

图7是本发明实施例的图像采集模块的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

为使本领域技术人员更好地理解本发明，先介绍本技术所涉及相关技术背景：

散焦/聚焦深度估计

散焦/聚焦深度估计是一种可以通过使用散焦线索来估计场景深度的深度估计算法。聚焦深度估计通过在重聚焦图像中确定最聚焦的对焦平面设置从而来确定局部深度，因此需要大量的散焦图像来保证重建精度。而散焦深度估计只需要单张或者两张图像通过散焦模糊量来获取场景深度。

光场摄像

光场为包含二维空间和二维角度的四维信息，目前的光场采集技术通常通过牺牲空间或者时间分辨率以复用四维光场至二维传感器，光场采集的重要应用为合成光圈、重聚焦等。

单曝光全聚焦图像和深度获取

现有的一些计算摄像方法可用于在单曝光内恢复全聚焦图像或者同时恢复全聚焦图像及深度图。全聚焦图像和深度图可用于灵活的景深控制。

逐像素编码曝光

逐像素编码曝光在计算机视觉领域已经有大量的应用，包括高动态摄像、特征检测、物体识别、高速运动摄像及运动去模糊等。

压缩计算摄像

通过利用视觉信息的本质冗余来搭建新型的摄像系统是计算摄像领域的一个研究热点，压缩计算摄像通常需要使用随机编码采集冗余信号，并稀疏重建技术恢复原信号。

本发明给出了一种通过联合时变对焦平面和逐像素编码曝光以实现编码重聚焦计算摄像的方法和装置。以时间和空间编码重聚焦摄像为计算采集基础，本发明给出了不同的应用，包括可编程非平面聚焦表面摄像、空间复用重聚焦摄像。通过利用稀疏编码技术，编码重聚焦图像采集机制也可以用于通过采集单张图像恢复全分辨率的深度图和全聚焦图像。编码重聚焦摄将是面向高分辨率的先曝光后聚焦摄像、灵活景深控制及三维摄像计算相机一个重要进展。

如图1所示，根据本发明的编码重聚焦计算摄像方法包括如下步骤：

A.单曝光编码重聚焦图像采集

具体地图2示出了本发明的计算采集方式，其中时变聚焦表面可通过可编程改变镜头位置或者可编程改变传感器的位置实现，而逐像素编码曝光可通过编程传感器像素读出时间实现。其中，令F(y,z)为三维重聚焦图像，其中为二维空间坐标，而z为重聚焦图像的深度维坐标。传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码：

$I\left(y\right)={\∫}_{{\mathrm{\Ω}}_z}F(y,z)M(y,z)\mathrm{dz}---\left(1\right)$

其中Ω_z为z的取值范围。下文通过设计特定的调制函数以获取不同的效果，如可编程非平面对焦平面摄像，从单曝光编码图像中重建重聚焦图像等。

B.通过设计不同的调制函数以实现可编程非平面聚焦表面摄像，利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面，通过解复用和三线性插值恢复全分辨率的重聚焦图像。具体地：

B1.可编程非平面聚焦表面摄像

通过利用本发明的时空深度调制函数可获取等效的可编程非平面聚焦表面效果，并且虚拟的非平面形状由调制函数决定。由方程（1）可知编码图像在y处的像素强度值是由当调制函数值为1时的重聚焦图像中相同位置处的像素强度值决定的。故形式上聚焦表面可定义为并且调制函数可表达为：

根据方程（2），可以设计不同的调制函数以获取不同的非平面表面。图3给出了两个特定的非平面传感实例，左图为抛物线表面右图为阶梯状表面其中a为常系数，H(·)为阶跃函数。

B2.交叉式重聚焦摄像

通过交叉式重聚焦摄像，低分辨率的重聚焦图像F(y_z,z),可以通过从传感器采集得到的图像I(y)中解复用获得F(y_z,z)=I(y_z)iM(y_z,z)，其中M(y,z)为以交叉式表面实施的调制函数。具体的，M(y,z)可定义为

M(y,z)=δ(z-h(y))(3)

其中m∈Z为周期为T的周期函数，其中g(y)的定义域为[0,T]，并且为卷积算子。

假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z=1,...,n,T=n)，则g(y)可定义为

$g\left(y\right)={\mathrm{\Σ}}_{i=1}^n{a}_i\·\mathrm{rect}(y-i)---\left(4\right)$

其中rect为门函数，并且

{a₁,...a_i...a_j...,a_n}={1,...,n},a_i≠a_j,n∈Δy(5)

其中Δy为y的邻域，表明局部传感器区域包含想要解复用的所有n层。

图4（上）为交叉式重聚焦摄像的两个实施特例，图4（下）为解复用的方法，为了获取全分辨率的重聚焦图像，本发明该实施例中对每张三角图像采用双三次插值以获取全分辨的重建结果。

B3.压缩重聚焦摄像

本发明使用随机调制函数作为传感矩阵获取单张编码图像，并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。本发明的实施实例使用二值随机调制函数

M(y,z)=rand(y,z)(6)

编码重聚焦图像，其中rand(y,z)∈{0,1}。则重聚焦图像可通过优化下列目标函数获得：

$\tilde{F}(y,z)=\arg \underset{F(y,z)}{\min }(E_d\left(F(y,z)\right)+\mathrm{\α}{E}_m^s\left(F(y,z)\right))---\left(7\right)$

数据项可由公式（1）获取：

$E_d=\left(F(y,z)\right)={\left|\right|{\∫}_{{\mathrm{\Ω}}_z}M(y,z)F(y,z)\mathrm{dz}-I\left(y\right)\left|\right|}_2^2---\left(8\right)$

其中α为权值因子，Ω_z为z的范围。对于正则项，本发明利用重聚焦图像在变换域稀疏的特性，通过最小化系数的l₁范数：

$E_m^s\left(F(y,z)\right)={\left|\right|\mathrm{\ΨF}(y,z)\left|\right|}_1---\left(9\right)$

其中Ψ为稀疏变换基，本发明的实施特例使用离散余弦变换基（DCT），也可以使用其它的基如小波基等。

C.通过采用迭代优化法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。如图5所示，具体地有：

C1.重聚焦图像中的相对模糊约束

令R(y)表示全聚焦图像，则聚焦于特定深度平面的散焦图像F(y)可表示为：

F(y)=∫_x∈N(y)h_σ(y,x)R(x)dx(10)

其中N(y)为y的领域，模糊核h_σ(y,x)可用高斯卷积模型近似，并且σ(y)=κb(y)为和深度相关的散焦模糊量，κ为校准参数，模糊半径

b(y)=Dv/2·|1/F-1/v-1/s(y)|，其中D代表光圈直径，s代表深度图，v表示聚焦设置，F为焦距。

给定两张已经校准过的散焦图像F(y,z₁),F(y,z₂)，其中z_i表示从物体到镜头的距离，聚焦设置并保持其它相机参数一致，基于卷积模型的相对模糊可定义为：

$\left\{\begin{array}{c}F(y,z_2)\&ap;F_{\mathrm{\&Delta;\&sigma;}}(y,z_1)\\ ={\&Integral;}_{{\mathrm{\&Omega;}}_x}{h}_{\mathrm{\&Delta;\&sigma;}}(y,x)F(x,z_1)\mathrm{dx},{\mathrm{\&sigma;}}_{z_2}^2\left(y\right)>{\mathrm{\&sigma;}}_{z_1}^2\left(y\right)\\ F(y,z_1)\&ap;F_{\mathrm{\&Delta;\&sigma;}}(y,z_2)n\\ ={\&Integral;}_{{\mathrm{\&Omega;}}_x}{h}_{\mathrm{\&Delta;\&sigma;}}(y,x)F(x,z_2)\mathrm{dx},{\mathrm{\&sigma;}}_{z_2}^2\left(y\right)<{\mathrm{\&sigma;}}_{z_1}^2\left(y\right)\end{array}\right.---\left(11\right)$

其中 $\mathrm{\&Delta;\&sigma;}\left(y\right)=\sqrt{{\mathrm{\&sigma;}}_{z_2}^2\left(y\right)-{\mathrm{\&sigma;}}_{z_1}^2\left(y\right)}$ 为和深度相关的模糊量。

因此，如果已知深度和相机参数，F(y,z₁)和F(y,z₂)之间的相对模糊算子Φ可通过使用方程（11）获取，并且用于优化公式（7）的相对模糊约束可形式化为

$E_m^d\left(F\left(y\right)\right)={\left|\right|{\mathrm{\&Phi;}}_{z}F(y,z)\left|\right|}_2^2---\left(12\right)$

C2.基于相对模糊的深度估计

利用散焦图像F(y,z₁),F(y,z₂)，深度可通过优化下面优化函数获取

$\tilde{s}=\arg \underset{s}{\min }(E_d\left(s\right)+\mathrm{\&gamma;}{E}_m\left(s\right))---\left(13\right)$

其中E_d(s)和E_m(s)为数据项和正则项，γ为权值系数。数据项可形式化为：

$E_d\left(s\right)={\&Integral;}_{{\mathrm{\&Omega;}}_y}H\left(\mathrm{\&Delta;\&sigma;}\left(y\right)\right)\&CenterDot;{|F(y,z_2)-F_{\mathrm{\&Delta;\&sigma;}}(y,z_1)|}_2^2\mathrm{dy}$

$+{\&Integral;}_{{\mathrm{\&Omega;}}_y}(1-H\left(\mathrm{\&Delta;\&sigma;}\left(y\right)\right))\&CenterDot;{|F(y,z_1)-F_{\mathrm{\&Delta;\&sigma;}}(y,z_2)|}_2^2\mathrm{dy}---\left(14\right)$

其中H(·)为阶跃函数，正则项E_m(s)定义为全变差来保证分段深度平滑E_m(s)=||▽s(y)||₁。

C3.全聚焦图像获取

通过利用公式（10）和初始深度估计结果可获取和散焦图像F(y,z₁),F(y,z₂)对应的两个全局不一致模糊核因此所要优化的全聚焦图像的可通过全局不一致的去模糊过程获取，优化形式为：

$\tilde{R}=\arg \underset{R}{\min }(E_d\left(R\right)+\mathrm{\&lambda;}{E}_m\left(R\right))---\left(15\right)$

其中λ为权值系数。数据项定义为

$E_d\left(R\right)={\left|\right|{\&Integral;}_{x\&Element;N\left(y\right)}{h}_{{\mathrm{\&sigma;}}_{z_1}}(y,x)R\left(x\right)\mathrm{dx}-F(y,z_1)\left|\right|}_2^2$

$+{\left|\right|{\&Integral;}_{x\&Element;N\left(y\right)}{h}_{{\mathrm{\&sigma;}}_{z_2}}(y,x)R\left(x\right)\mathrm{dx}-F(y,z_2)\left|\right|}_2^2---\left(16\right)$

对于正则项使用自然图像的稀疏先验：E_m(R)=||▽R(y)||_0.8。

C4.重聚焦图像、深度和全聚焦图像恢复

本发明在深度估计和重聚焦图像之间迭代优化直至收敛，然后全聚焦图像可通过优化公式（15）获得。

对于交叉式全聚焦摄像，在获取重聚焦图像之后可直接使用公式（13）进行深度估计。对于压缩重聚焦摄像，由于解复用压缩调制数据的复杂性，本发明仅编码两张不同对焦设置下的重聚焦图像F(y,z₁),F(y,z₂)以获取高性噪比的解复用结果，并给出了一种反馈机制来保证鲁棒性。

首先，为恢复两张散焦图像在B3部分仅使用空间稀疏性，故进一步使用C1部分的相对模糊约束进行优化。然后使用两张散焦图像从公式（13）获取初始深度，并反馈深度约束正则项至优化公式（7）以进一步优化的解复用的结果：

$\tilde{F}(y,z)=\arg \underset{F(y,z)}{\min }(E_d\left(F\right)+\mathrm{\&alpha;}{E}_m^s\left(F\right)+\mathrm{\&beta;}{E}_m^d\left(F\right))---\left(17\right)$

其中α,β为权值因子，z={z₁,z₂}，并且三个数据项和正则项定义于公式（8）（9）（12）。

在数据采集部分，当相机的对焦平面改变时，散焦图像之间存在尺度缩放，本发明通过仿射变换来近似：y₂=ay₁+b。对于校准，本发明先使用小光圈并在场景中放置4个标记点来校准参数a,b。因此在使用方程（7）获取初始的两张散焦图像之后，在深度估计之前使用上述仿射变换来校准两张图像。相应的，通过在方程（17）中加入仿射变换算子T并将相对模糊约束变为

$E_m^d\left(F\left(y\right)\right)={\left|\right|{\mathrm{\&Phi;}}_z{T}_{z}F(y,z)\left|\right|}_2^2---\left(18\right)$

本发明的编码重聚焦计算摄像方法使用交替方向（ADM）数值解法来获取深度估计和重聚焦图像优化问题。对于深度估计，迭代过程提供了高质量的散焦图像初值和鲁棒的数值解法。对于散焦图像获取，深度错误通常出现在没有纹理的区域，变换域空间稀疏性的可以提供相应约束。因此迭代过程趋向于收敛。对于全聚焦图像获取，本发明通过扩展迭代重权值最小二乘的方法来处理全局不一致的卷积并从多张散焦图像中包含相关信息。

如图6所示，本发明还提出一种编码重聚焦计算摄像装置，包括：

图像采集模块10，用于采集单曝光编码重聚焦图像；可编程非平面聚焦表面摄像模块20，用于通过设计不同的调制函数以实现可编程非平面聚焦表面摄像；交叉式重聚焦摄像模块30，用于利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面；重聚焦图像生成模块40，用于通过解复用和三线性插值恢复全分辨率的重聚焦图像；和全聚焦图像和深度图生成模块50，用于通过采用迭代优化法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。

其中，如图7所示，图像采集模块10又进一步包括：可编程变对焦平面镜头110，用于实现时变聚焦平面；第一中继透镜120，位于可编程变对焦平面镜头110和液晶显示屏面板130之间，用于中继光路；液晶显示屏面板130，用于实现逐像素编码曝光；第二中继透镜140，位于液晶显示屏面板130和长焦镜头相机150之间，用于中继光路；长焦镜头相机150，用于摄像。其中，通过利用中继透镜使相机同时对焦于液晶显示屏面板和场景，使得液晶显示屏面板可以作为逐像素编码曝光调制器，通过使用长焦相机的镜头来尽可能的利用相机像素。可编程变对焦平面镜头、液晶显示屏面板和长焦相机曝光控制通过软件控制。

其中，参照本发明的方法，本发明实施例的图像采集模块10中，令F(y,z)为三维重聚焦图像，其中为二维空间坐标，而z为重聚焦图像的深度维坐标，则所述传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码： $I\left(y\right)={\&Integral;}_{{\mathrm{\&Omega;}}_z}F(y,z)M(y,z)\mathrm{dz},$ 其中Ω_z为z的取值范围。

其中，参照本发明的方法，本发明实施例的可编程非平面聚焦表面摄像模块20中：将聚焦表面定义为则所述调制函数为：其中，当非平面传感表面为抛物线形状聚焦表面时或者，当非平面传感表面为阶梯状表面时其中a为常系数，H(·)为阶跃函数。

其中，参照本发明的方法，本发明实施例的交叉式重聚焦摄像模块30中：低分辨率的重聚焦图像F(y_z,z),通过从传感器采集得到的图像I(y)中解复用获得F(y_z,z)=I(y_z)·M(y_z,z)，其中M(y,z)为以交叉式表面实施的调制函数，M(y,z)定义为M(y,z)=δ(z-h(y))，其中m∈Z为周期为T的周期函数，其中g(y)的定义域为[0,T]，为卷积算子，假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z=1,...,n,T=n)，则定义其中rect为门函数，并且{a₁,...a_i...a_j...,a_n}={1,...,n},a_i≠a_j,n∈Δy，其中Δy为y的邻域，表明局部传感器区域包含想要解复用的所有n层。

其中，参照本发明的方法，本发明实施例的重聚焦图像生成模块40中，使用随机调制函数作为传感矩阵获取单张编码图像，并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。

其中，参照本发明的方法，本发明实施例的全聚焦图像和深度图生成模块50进一步包括：压缩子模块510，该压缩子模块510用于压缩重建初始重聚焦图像；散焦深度估计子模块520，该散焦深度估计模块520用于根据重聚焦图像进行散焦深度估计；模糊约束子模块530，该模糊约束子模块530用于通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建；迭代优化子模块540，该迭代优化子模块540用于通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛，以获取优化的重聚焦图像和深度图；和全聚焦图像生成子模块550，该全聚焦图像生成子模块550用于利用重聚焦图像和深度图以获取最终的全聚焦图像。

本发明的编码重聚焦计算摄像装置使用交替方向（ADM）数值解法来获取深度估计和重聚焦图像优化问题。对于深度估计，迭代过程提供了高质量的散焦图像初值和鲁棒的数值解法。对于散焦图像获取，深度错误通常出现在没有纹理的区域，变换域空间稀疏性的可以提供相应约束。因此迭代过程趋向于收敛。对于全聚焦图像获取，本发明通过扩展迭代重权值最小二乘的方法来处理全局不一致的卷积并从多张散焦图像中包含相关信息。

需要说明的是，本发明的流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种编码重聚焦计算摄像方法，其特征在于，包括：

A.通过在曝光时间内改变对焦平面，并且在相应的所述对焦平面逐像素编码传感器的读出时间，以获得单曝光编码重聚焦图像；

B.通过设计不同的调制函数以实现可编程非平面聚焦表面摄像，利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面，通过解复用和三线性插值得到全分辨率的重聚焦图像；以及

C.利用稀疏编码机制，通过采用压缩感知重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图；

其中，所述步骤A中，令F(y,z)为三维重聚焦图像，其中为二维空间坐标，而z为重聚焦图像的深度维坐标，则所述传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码：其中Ω_z为z的取值范围；

所述通过设计不同的调制函数以实现可编程非平面聚焦表面摄像包括：

将聚焦表面定义为则所述调制函数为：其中，当非平面传感表面为抛物线形状聚焦表面时或者，当非平面传感表面为阶梯状表面时其中a为常系数，H(·)为阶跃函数；

所述利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面包括：

通过交叉式重聚焦摄像，低分辨率的重聚焦图像F(y_z,z),通过从传感器采集得到的图像I(y)中解复用获得F(y_z,z)＝I(y_z)·M(y_z,z)，其中M(y,z)为以交叉式表面实施的调制函数，M(y,z)定义为M(y,z)＝δ(z-h(y))，其中m∈Z为周期为T的周期函数，其中g(y)的定义域为[0,T]，为卷积算子，假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z＝1,...,n,T＝n)，则定义其中rect为门函数，并且{a₁,...a_i...a_j...,a_n}＝{1,...,n},a_i≠a_j,n∈Δy，其中Δy为y的邻域，表明局部传感器区域包含想要解复用的所有n层。

2.如权利要求1所述的编码重聚焦计算摄像方法，其特征在于，所述压缩得到全分辨率的重聚焦图像包括：使用随机调制函数作为传感矩阵获取单张编码图像，并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。

3.如权利要求1所述的编码重聚焦计算摄像方法，其特征在于，所述步骤C进一步包括：

C1.压缩重建初始重聚焦图像；

C2.利用重聚焦图像进行散焦深度估计；

C3.通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建；

C4.通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛，以获取优化的重聚焦图像和深度图；以及

C5.通过利用重聚焦图像和深度图以获取最终的全分辨率的全聚焦图像。

4.一种编码重聚焦计算摄像装置，其特征在于，包括：

图像采集模块，所述图像采集模块用于采集单曝光编码重聚焦图像；

可编程非平面聚焦表面摄像模块，用于通过设计不同的调制函数以实现可编程非平面聚焦表面摄像；

交叉式重聚焦摄像模块，用于利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面；

重聚焦图像生成模块，用于通过解复用和三线性插值恢复全分辨率的重聚焦图像；和

全聚焦图像和深度图生成模块，用于通过采用压缩重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图；

其中，所述图像采集模块中，令F(y,z)为三维重聚焦图像，其中为二维空间坐标，而z为重聚焦图像的深度维坐标，则所述传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码：其中Ω_z为z的取值范围；

所述可编程非平面聚焦表面摄像模块中：将聚焦表面定义为则所述调制函数为：其中，当非平面传感表面为抛物线形状聚焦表面时或者，当非平面传感表面为阶梯状表面时其中a为常系数，H(·)为阶跃函数；

所述交叉式重聚焦摄像模块中：低分辨率的重聚焦图像F(y_z,z),通过从传感器采集得到的图像I(y)中解复用获得F(y_z,z)＝I(y_z)·M(y_z,z)，其中M(y,z)为以交叉式表面实施的调制函数，M(y,z)定义为M(y,z)＝δ(z-h(y))，其中m∈Z为周期为T的周期函数，其中g(y)的定义域为[0,T]，为卷积算子，假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z＝1,...,n,T＝n)，则定义其中rect为门函数，并且{a₁,...a_i...a_j...,a_n}＝{1,...,n},a_i≠a_j,n∈Δy，其中Δy为y的邻域，表明局部传感器区域包含想要解复用的所有n层。

5.如权利要求4所述的编码重聚焦计算摄像装置，其特征在于，所述单曝光编码重聚焦图像采集模块进一步包括：

可编程变对焦平面镜头，用于实现时变聚焦平面；

第一中继透镜，位于所述可编程变对焦平面镜头和液晶显示屏面板之间，用于中继光路；

所述液晶显示屏面板，用于实现逐像素编码曝光；

第二中继透镜，位于所述液晶显示屏面板和长焦镜头相机之间，用于中继光路；

所述长焦镜头相机，用于拍摄对象。

6.如权利要求4所述的编码重聚焦计算摄像装置，其特征在于，所述重聚焦图像生成模块中，使用随机调制函数作为传感矩阵获取单张编码图像，并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。

7.如权利要求4所述的编码重聚焦计算摄像装置，其特征在于，所述全聚焦图像和深度图生成模块进一步包括：

压缩子模块，所述压缩子模块用于压缩重建初始重聚焦图像；

散焦深度估计子模块，所述散焦深度估计模块用于根据重聚焦图像进行散焦深度估计；

模糊约束子模块，所述模糊约束子模块用于通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建；

迭代优化子模块，所述迭代优化子模块用于通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛，以获取优化的重聚焦图像和深度图；和

全聚焦图像生成子模块，所述全聚焦图像生成子模块用于利用重聚焦图像和深度图以获取最终的全聚焦图像。