CN106471804A

CN106471804A - 用于图像捕捉和同时深度提取的方法及装置

Info

Publication number: CN106471804A
Application number: CN201580034560.1A
Authority: CN
Inventors: 弗拉迪米尔·彼得罗维奇·帕拉莫诺夫; 伊凡·安德烈耶维奇·潘琴科; 维克托·瓦伦蒂诺维奇·布恰
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2014-07-04
Filing date: 2015-07-06
Publication date: 2017-03-01
Anticipated expiration: 2035-07-06
Also published as: EP3164992A4; EP3164992A1; KR20160004912A; CN106471804B; RU2014127469A; RU2595759C2

Abstract

用于图像捕捉和深度提取的系统包括相机和数据处理器。相机包括谱编码光圈和传感器，其中，谱编码光圈包括通过入射光场的彼此不同的光谱通道的至少两个区域，并且传感器配置成记录至少两个光谱通道从而形成传感器基础中所捕捉的图像。数据处理器配置成：将在传感器基础中捕捉的图像转换为处理基础的图像、从处理基础的图像提取视差、以及将视差转换为深度信息。

Description

用于图像捕捉和同时深度提取的方法及装置

技术领域

根据示例性实施方式的装置和方法涉及计算摄影学，更具体地，涉及光场捕捉和处理。

背景技术

光场摄影的一个主要应用在于图像深度信息的提取。用于光场捕捉或图像深度信息提取的装置的示例可包括立体相机、全光相机、具有二进制编码光圈的相机和具有颜色编码光圈的相机。然而，这些装置可能需要额外的空间，会增加相机的成本或导致光学效率的降低。

发明内容

用于图像捕捉和深度提取的系统包括：透镜系统、谱编码光圈、传感器和数据处理器，其中，谱编码光圈包括通过入射光场的彼此不同的光谱通道的至少两个区域，传感器配置成记录至少两个光谱通道以形成在传感器基础中捕捉的图像，并且数据处理器配置成将在传感器基础中捕捉的图像转换为处理基础的图像、从处理基础的图像提取视差、以及将视差转换为深度信息。

附图说明

通过参照附图描述一些示例性实施方式，上述和/或其他方面将变得更加显而易见，在附图中：

图1是根据示例性实施方式的深度提取/图像恢复装置的图；

图2a至图2f是根据示例性实施方式的谱编码光圈的图；

图3a至图3i是用于描述通道偏移的图；

图4是根据示例性实施方式的深度信息提取/图像恢复方法的高层次概括图；

图5是用于描述根据示例性实施方式的抛物线拟合的图；以及

图6a至图6d是根据示例性实施方式的用于描述深度提取/图像恢复装置的图。

实现此发明的最佳方式

根据示例性实施方式的一方面，提供了用于图像捕捉和深度提取的系统，该系统包括透镜系统、谱编码光圈、传感器和数据处理器，其中，谱编码光圈包括通过入射光场的彼此不同的光谱通道的至少两个区域，传感器配置成记录至少两个光谱通道以形成在传感器基础中捕捉的图像，并且数据处理器配置成将在传感器基础中捕捉的图像转换为处理基础的图像、从处理基础的图像提取视差、并且将视差转换为深度信息。

不同的光谱通道可形成谱编码光圈的基础。

处理基础可不同于传感器基础和谱编码光圈的基础。

谱编码光圈可具有三个区域，并且三个区域可包括位于中央部分的透明区域和具有分别对应于黄色和青色的光谱带宽的两个区域。

处理基础可包括三个向量，并且三个向量可包括对应于黄色的向量、对应于青色的向量和与这两个向量垂直的向量。

谱编码光圈可包括具有分别对应于黄色和青色的光谱带宽的两个区域。

处理基础可包括三个向量，并且所述三个向量可包括分别对应于黄色的向量、对应于青色的向量和与上述两个向量垂直的向量。

谱编码光圈可包括具有分别对应于黄色、青色和品红色的光谱带宽的三个全等区域

处理基础可包括对应于黄色、青色和品红色的向量。

谱编码光圈可包括具有分别对应于黄色、青色和品红色的光谱带宽的三个非全等区域。

处理基础可包括分别对应于黄色、青色和品红色的向量。

谱编码光圈可在光圈区域上具有平滑的带宽变化。

谱编码光圈可固定至透镜系统。

谱编码光圈可附接至透镜系统并且能够从透镜系统解除附接。

谱编码光圈可从不参与图像形成的光学组移除。

捕捉的图像可以是从视频序列选择的图像。

谱编码光圈可将从视频序列选择的图像插入透镜系统中。

谱编码光圈可插入透镜系统的光圈光阑中。

透镜系统可包括单个透镜，并且谱编码光圈可位于透镜中。

谱编码光圈可校正由传感器获取的视频序列的先前视频图像。

谱编码光圈可具有不透明区域和全等区域的组合，并且全等区域可以是透明的或者可传输紫外光、红外光或可见光。

谱编码光圈可具有不透明区域和非全等区域的组合，并且非全等区域可以是透明的或者可传输紫外光、红外光或可见光。

谱编码光圈可以是空间光调制器(SLM)。

数据处理器可包括预处理单元、视差估计单元和转换单元，其中，预处理单元配置成对捕捉的图像进行转换，视差估计单元配置成对视差进行提取，并且转换单元配置成将视差转换为深度信息。

数据处理器还可包括图像恢复单元，上述图像恢复单元配置成基于提取的视差恢复捕捉的图像。

根据示例性实施方式的另一方面，提供了图像捕捉和深度提取方法，该方法包括：记录光场的至少两个偏移的光谱通道以形成从视频中捕捉的图像；将捕捉的图像转换为处理基础的图像；在处理基础中基于光谱通道的像素之间的相关性估计视差以提取视差图；基于提取的视差图恢复捕捉的图像；以及将视差图转换为深度图。

估计视差的步骤可包括：生成在光谱通道中具有相应偏移的候选图像；在光谱通道中计算候选图像中包含的匹配成本；传播候选图像的低纹理区域中包含的匹配成本；以及基于传播的匹配成本估计具有子像素精度的匹配成本。

用于请求视差估计的、光谱通道的像素之间的相关性可包括在稀疏移动窗口中计算的相关性度量。

用于请求视差估计的、光谱通道的像素之间的相关性可通过利用至少一个立体匹配算法来计算。

利用立体匹配算法计算相关性的步骤可包括绝对误差和(SAD)、归一化互相关(NCC)或拉普拉斯图像对比(LIC)。

相关性度量可包括快速傅里叶变换(FFT)。

相关性度量可包括递归指数过滤器(REF)。

恢复捕捉的图像的步骤可包括执行图像模糊。

恢复捕捉的图像的步骤可包括在处理基础中执行光谱通道对齐。

根据示例性实施方式的另一方面，提供了用于在紫外光、红外光或可见光中进行图像捕捉和深度提取的移动设备，该设备包括：透镜系统、至少一个谱编码光圈、传感器、编码光圈固定件和数据处理器，其中，至少一个谱编码光圈包括通过入射光场的彼此不同的光谱通道的至少两个区域，传感器配置成记录至少两个光谱通道以形成在传感器基础中捕捉的图像，编码光圈固定件配置成使至少一个谱编码光圈相对于透镜系统相对地移动，并且数据处理器配置成将在传感器基础中捕捉的图像转换为处理基础的图像、从处理基础的图像提取视差、以及将视差转换为深度信息。

编码光圈固定件可配置成替换光学组中的至少两个谱编码光圈。

编码光圈固定件可配置成使所有的谱编码光圈从光学组移动。

编码光圈固定件可插入光圈光阑中。

根据示例性实施方式的另一方面，提供了用于图像捕捉的装置，该装置包括透镜系统、至少两个谱编码光圈、编码光圈固定件和数据处理器，其中，至少两个谱编码光圈包括具有彼此不同的光学效率及深度辨别特性的第一光圈和第二光圈，编码光圈固定件适于将第一光圈设置在透镜系统的前方，并且数据处理器配置成：获取通过第一谱编码光圈捕捉的图像的深度信息，并且基于深度信息控制编码光圈固定件，以确定是否将第一光圈切换至第二光圈。

第一光圈可包括位于第一光圈的中央处的透明区域和由透明区域分隔开的两个区域。两个区域分别通过不同颜色的光谱。

两个区域可分别通过黄色光谱和青色光谱。

第二光圈可包括对半划分的两个区域，所述两个区域可分别通过黄色光谱和青色光谱。

具体实施方式

在下文中，将参照附图更加详细地描述示例性实施方式。

在以下描述中，相同的附图标号用于相同的元件，即使在不同的附图中。在说明书中限定的主题，诸如详细的结构和元件被提供以帮助全面地理解示例性实施方式。然而，明显的是，在无需那些具体限定的主题的情况下也能够实施示例性实施方式。另外，由于公知的功能或结构因不必要的细节使说明书模糊，所以不对其进行详细描述。

如本文中所使用的，术语“和/或”包括一个或多个相关所列项的任意及全部组合。

应当理解，当区域被称为“连接至”或“耦合至”另一区域时，它可以直接连接或耦合至另一区域，或者可以存在中间区域。应当理解，当在本文中使用时，诸如“包括(comprise)”、“包括(include)”和“具有”的术语指定所述元件的存在，但不排除一个或多个其它元件的存在或添加。

图1是根据示例性实施方式的深度提取/图像恢复装置101的图。深度提取/图像恢复装置101可包括相机102和数据处理器103。相机102可包括光学透镜(物镜)104、谱编码光圈105和传感器106。谱编码光圈105可插入光学系统中，该光学系统由透镜104、传感器106和其他光学部件的组合组成。谱编码光圈105可位于一束光行进通过光学系统的光学路径中。谱编码光圈105可以是光圈平面。传感器106可配置成辨别彼此不同的光谱带宽。例如，传感器106可以是由马赛克颜色/光谱滤波器阵列覆盖的传感器，或颜色叠加的光电二极管传感器。数据处理器103可包括预处理单元108、视差估计单元109、图像恢复单元110和视差深度转换单元111。数据处理器103可接收由相机102捕捉的原始图像107。预处理单元108可将捕捉的图像107从传感器基础转换成处理基础，在处理基础中，谱编码光圈滤波器可以不存在。视差估计单元109可执行视差估计。然后，图像恢复单元110可执行图像恢复。视差深度转换单元111可对光学系统的参数执行视差深度转换。

谱编码光圈105可划分为分别具有光谱通带的子区域。子区域的数量、几何结构和光谱通带可根据光学效率、深度图和彩色图像恢复图像质量的应用而改变。其中一些在图2a至图2f中示出。

图2a至图2f是示出在光学效率、深度图和彩色图像恢复图像质量之间具有权衡关系的多种谱编码光圈的图案。对于光场编码，可使用光谱滤波器f₁、f₂和f₃。光谱滤波器f₁、f₂和f₃的示例可包括视觉可识别的滤色器、红外线/紫外线滤波器和具有两个或两个以上的通带的多路滤波器。

谱编码光圈的主要特性为光学效率、深度辨别能力和彩色图像恢复图像质量。最高的深度辨别指数可从具有与相应的光谱带对应的光圈子区域的中心之间的最长距离的、谱编码光圈的几何结构中获得。图2a示出了具有子区域f₁、f₂和f₃的中心之间的相对长距离并且具有子区域中的相对小的滤波器尺寸的光圈图案。因此，编码光圈的不透明区域可增加以使得光学系统的光学效率降低。如果如图2b所示地，改变光圈设计以增强光学效率，则通常提取的视差精度可能恶化。

对于具体的应用，光学效率与深度辨别能力之间可能存在权衡。例如，图2c显示了一半为青色滤波器f₁(即，f₁＝f_Cyan(f₁＝f_青色))且一半为黄色滤波器f₂(即，f₂＝f_Yellow(f₂＝f_黄色))的光圈的几何结构，并且图2d示出了具有透明子区域f₂、青色滤波器f₁(即，f₁＝f_Cyan)、黄色滤波器f₃(即，f₃＝f_Yellow)和绿色滤波器f₄(即，f₄＝f_Green(f₄＝f_绿色))的光圈的几何结构。这里，黄色滤波器可具有包括绿色光谱和红色光谱的通带。青色滤波器可具有包括绿色光谱和蓝色光谱的通带。透明区域可以不对进入的光进行滤波。绿色通道可以不被这些滤波器扭曲，并且可在图像恢复过程中作为参考。相比于图2d的光圈结构，图2c中的光圈结构可具有更好的深度图。然而，图2d的光圈结构相比图2c的光圈结构可具有优良的光学效率。图2a示出具有圆形滤波器和不透明区域的光圈，其可用于在光线过多时获取高质量的深度图的图像。图2a的光圈结构可补偿入射至相机102的过多的光线。如图2c中所示的具有一半红外光和一半紫外光的光圈结构可以是完全打开的光圈，并且可具有相同的光学效率并具有优异的深度提取的潜能。然而，可对通过图2的光圈结构捕捉的图像执行诸如图像恢复和照片阵列校正的附加处理。图2e显示具有蜂巢布局的三个或三个以上的光谱子区域的谱编码光圈，并且图2f示出在光圈区域上具有平滑的带宽变化的谱编码光圈。

由谱编码光圈105校正的光场可被输入到生成捕捉到的原始图像107的图像传感器106。

已穿过谱编码光圈105的光场可以被编码。即，光场可通过穿过相应的光圈子区域而划分为不同的光谱部分。因此，可通过将关于相同场景的单个捕捉图像相对于谱编码光圈对应地划分为光谱通道，从场景单个捕捉图像中提取不同的视图。

图3a示出由传感器106获取的捕捉到的图像107，传感器106能够辨别相对于上文中参照图2b所描述的谱编码光圈的对应的光谱带宽。在光学系统中，相比于图3a)中的聚焦对象301，图3a)中的散焦对象302的位置(通过谱编码光圈的存在获得)可相对于图3d、图3e和图3f所示的对应的光谱滤波器位置相对地改变谱编码。这种视野可用于提取视差图并恢复捕捉到的图像107。图3g、图3h和图3i中示出了相对于光谱通道的图像模糊的结果。图3b示出去模糊的彩色图像。图3c示出在光谱通道中对齐的去模糊图像(恢复的图像)。

图4是数据处理器103的高层次概括图。系统输入可以是由相机102捕捉的原始图像107。在操作108中，捕捉到的图像{Is₁，Is₂，...}107可通过去噪技术和去马赛克技术进行预处理，并且可从传感器谱基础转换为处理基础。一般地，处理基础可以不是光谱滤波器。Is_i是由光学系统传感器获取的图像颜色通道。为了执行这种转换，需要优先估计转换矩阵Π。为简单起见，本文假定相机102使用具有上文中参照图2C描述的青色滤波器f₁和黄色滤波器f₂，以及红绿蓝(RGB)马赛克滤色器阵列的光圈结构。

w_Cyan(w_青色)和w_Yellow(w_黄色)是代表RGB颜色空间中的青色滤波器和黄色滤波器的滤色器。为了构建具有优异条件数并能够进行非退化逆转换的转换矩阵，第三基础向量w_x限定为向量积w_Cyan×w_Yellow。向量e_r、e_g和e_b分别是用于相机传感器106的红色基础、绿色基础和蓝色基础。在传感器谱基础中，

<公式1>

辅助矩阵Π以如下公式表示：

<公式2>

如果使用矩阵Π，则任何观察到的颜色w可通过光圈滤波器响应分解。

<公式3>

w_filter＝Π^(-1)w，

w_filter(w_滤波器)表示光谱滤波器基础(青色、X和黄色)中的通道强度。矩阵Π可被逆转换。{If_Cyan，If_X，If_Yellow}表示在处理基础中获取的图像通道。在传感器基础和处理基础中存在不同数量的基础向量的情况下，可使用逆转换矩阵(左逆矩阵和右逆矩阵)。

在操作109中，可相对于图像的所有像素估计视差disp(i，j)。disp(i，j)是视差估计的匹配成本，并且可使用偏移光谱通道的传统互相关方法

<公式4>

可在视差估计单元109中使用广义互相关矩阵以处理任意数量的光谱通道。表示相对于相同场景场景从稍微不同的视点获取的第n个获取光谱通道中的第n个获取的视图的集合。I_i表示M×N帧。传统的相关性矩阵M_d可由集合和视差值d表示。

<公式5>

其中，(*)^d表示对应通道中的平行位移。

矩阵M_d的行列式是互相关的优良度量。在实践中，在所有通道完全相关的情况下，矩阵M_d是奇异矩阵，并且其行列式是0。另一方面，在数据完全不相关的情况下，矩阵M_d的行列式是1。为了利用这种操作器来估计深度图，需要从图像的每个像素找出对应于行列式det(M_d)的最小值的视差值d。

可使用用于匹配成本计算的其他操作器。操作器的示例可包括传统的立体匹配矩阵、拉普拉斯对比矩阵和基于特征的矩阵。

所有的统计计算可使用传统的局部移动窗口。然而，在示例性实施方式中，可使用指数移动窗口，因为指数移动窗口符合自然稀疏梯度先验性并且传播关于低纹理区域的匹配成本。另外，可在谱域中利用递归O(1)卷积有效地计算指数核滤波。

<公式6>

S_n＝I_n·(1-α)+S_n-1·α

其中，S是在第n个像素处相对于图像I的卷积的结果，并且α由如下公式限定：

<公式7>

其中，σ_spatial(σ_空间)是表示空间域中所需的图像相似性的指数阻尼因子(damplingfactor)。

该公式还可用于计算用于在小纹理区域上传播视差信息的联合双边滤波器的有效近似值。

<公式8>

S_n＝Disp_n·(1-α(n))+S_n-1·α(n)

其中，Disp_n是第n个像素的视差，并且α(n)是表示图像色彩的相似程度的函数。

<公式9>

其中，Δ(I_n，I_n-1)表示距离域(range domain)中的彩色图像之间的相似程度。

可利用图5所示的抛物线拟合算法来执行子像素(subpixel)估计。在抛物线拟合中，可考虑三个给定的点d_k、d_k-1和d_k+1。d_k可表示为argmax_ddet(M_d)(即，d_k＝argmax_ddet(M_d))，并且d_k-1和d_k+1可分别设置为前一变元和下一变元。可通过以下方程分析地计算满足和的唯一抛物线的最大值的变量。

<公式10>

其中a＝0.5(d_k+1+d_k-1)-d_k，并且b＝0.5(d_k+1-d_k-1)。

图像恢复单元110可基于视差估计执行初步图像恢复Ir(x，y)。如图3b所示，可对图3a的捕捉到的图像进行去模糊。如图3c所示，可执行去模糊图像的颜色对齐。图3a示出由系统捕捉的图像的示例。图2b示出谱编码光圈的几何结构。系统可聚焦于一个对象301，而另一对象302可散焦。由相机102捕捉的散焦对象302可导致照片阵列中的光谱通道不对齐至图3d、图3e和图3f所示的、去模糊的图像305、306和307相对于传统成像系统被模糊的程度。图像去模糊可基于去卷积技术来执行，并且可应用至对应于不同的视差值的图像。例如，当聚焦对象301不需要去模糊时，相应的光谱通道中的散焦图像302的图像305、306和307相对于其视差等级去模糊。如图3g、图3h和图3i所示，图3b的去模糊图像仍相对于光谱通道f₁、f₂和f₃不对齐。可在捕捉到的图像302的相应位置处估计分别对应于光谱通道f₁、f₂和f₃的不对齐向量和可基于不对齐向量和通过对齐的光谱通道来获取恢复图像304。

<公式11>

其中，i是光谱通道的数量，并且s_ix和s_iy分别是向量在x轴方向和y轴方向上的投影。

图像可从谱滤波器基础{If₁，If₂，...}转换为设备播放单元基础{I₁，I₂，...}。成像系统具有光晕效果，该光晕效果导致图像周边的图像亮度相对于图像中央降低。在这种系统中，可通过下列公式数学上缓解光晕效果。

<公式12>

其中，I_i，j和是在捕捉的图像和恢复的图像。U_i，j是在光学系统的校准期间曾经计算过一次的无光晕系数。

<公式13>

其中，I_i，j和分别是已知图像在(i，j)像素处的捕捉的图像和无晕图像。

在存在编码光圈的情况下，需要相对于每个光谱通道独立地计算无晕系数U_i，j。该过程可由图像恢复单元110执行。

最终图像精调处理可用于减少由不精确的视差估计引起的伪影。可使用基于人类视觉感知的技术(例如，双边滤波、中值滤波或类似技术)和自然图像先验(例如，稀疏梯度先验、颜色线条先验或类似技术)。

布置深度转换单元111可通过使用在薄透镜公式中被广义化的广义光学系统参数112相对于单个透镜光学系统，将视差disp(i，j)转换为深度图d(i，j)114。

<公式14>

其中，f是透镜中心距离，并且z₁和z₂分别是每个透镜至物平面和每个透镜至像平面的距离。

对于复杂对象的公式可依赖于光学系统的设计。

上述图像捕捉装置可扩展为执行时间编码和谱编码。可在使谱编码光圈相对于图像捕捉装置移动的同时执行时间编码。这种扩展可去除由谱编码光圈的移动而导致的已知散焦模糊和运动模糊。

上述图像捕捉装置可从由编码光圈适当加密且由探测器阵列适当记录的视频流以及照片提取深度信息。此外，可修改谱编码光圈，以混合照片和与根据谱编码光圈的存在性而捕捉到的图像有关的深度信息。例如，可以仅利用视频序列的关键帧(例如，每N个帧)执行深度图提取过程，并且可利用关键帧的深度图和图像信息恢复其他帧。该过程可提高系统的时间效率和图像质量。

另外，谱编码光圈的类型和几何结构可根据由探测器阵列自动捕捉到的图像而改变。例如，如图2a所示，当光线过多时可使用包括圆形滤波器和不透明区域的光圈，而不减少曝光时间或增加光学系统的f值。

根据示例性实施方式的深度提取/图像恢复装置可包括在移动电话相机或网络相机装置中，但是不限于此。根据示例性实施方式的深度提取/图像恢复装置可用于紧凑型光学相机。

图6a是根据示例性实施方式的相机的光学系统中的永久性固定颜色编码光圈的图。由于光线穿过固定滤色器光圈，所以彩色图像的图像质量可能降低。每个颜色带可被投影至照片阵列的不同位置处，导致鬼像效果。可通过如上所述的深度估计方法执行深度估计和彩色图像恢复。

图6b是根据示例性实施方式的颜色编码光圈的图，其中光学系统能够通过机械或电磁单元移动。在三维(3D)模式中，光学系统可具有颜色编码光圈，以获取与场景有关的深度信息和以计算的方式恢复的彩色图像。在二维(2D)模式中，光学系统中可不具有颜色编码光圈，该光学系统无扭曲地捕捉原始2D图像。

如图6b所示，至少两个谱编码光圈可附接至智能手机。滑动件(也称作光圈固定件)例如可根据来自数据处理器103的控制信号，在谱编码光圈之间进行切换。然而，当前实施方式不限于此，并且谱编码光圈可手动地或在智能手机中的中央处理单元(CPU)的控制下进行切换。当通过谱编码光圈之一捕捉到图像时，数据处理器103可从捕捉的图像提取深度信息，并且确定是否基于深度信息将该光圈改变为另一光圈。例如，如果数据处理器103确定图像的深度辨别不满足由用户输入预设的要求，则数据处理器103可向滑动件发送控制信号，使得先前使用的光圈改变成已知为具有更好的深度辨别能力的另一光圈。

图6c是根据示例性实施方式的、具有空间光调制器(SLM)的谱编码光圈的图，其中空间光调制器(SLM)能够基于时间改变编码颜色光圈的谱通带。图6c的装置可如上参照图6b的示例性实施方式所描述的以2D或3D模式操作。

此外，图6b和图6c的装置还可获取交替的视频帧。可通过在记录帧之前改变光圈，在2D模式中获取一个帧并且在3D模式中获取另一帧。结果，系统可获取两个视频流。一个视频帧可包括以2D模式获取的原始彩色帧，并且另一视频流可包括适合于深度提取的帧。

图6d是根据示例性实施方式的、附接至智能手机透镜的谱编码光圈的图。由于光学系统的较大尺寸，图6d的装置比具有附接的谱编码光圈的装置可获取更好的深度图图像质量以及更号的光学效率和视频图像质量。

根据示例性实施方式的装置包括谱滤波光圈，以及RGB滤色器、红绿蓝白(RGBW)滤色器、青品红黄(CMY)滤波器、青品红黄绿(CMYG)滤色器和红外线(IR)滤波器中的至少一个，但是不限于此。可使用具有颜色/谱空间的传感器的组合。

示例性实施方式可应用于任何数字相机(包括移动电话相机)，以执行镜硬件修改并生成具有低成本算法的视差/深度图。获取的视差图可用于图像分割、自定义模糊类型(bokeh)、计算视点视差、图像滤波以及具有其他特殊效果的数字后期再聚焦。

此外，本文中使用的术语“单元”可表示硬件组件，诸如处理器或电路，和/或由诸如处理器的硬件组件执行的软件组件。

虽然不限于此，但是示例性实施方式可实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是能够存储其后可由计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储设备。计算机可读记录介质还可分布在网络耦接的计算机系统上，使得计算机可读代码以分布式方式存储和执行。此外，示例性实施方式可以写为通过计算机可读传输介质(诸如载波)发送和接收的并且在执行程序的通用或专用数字计算机中实施的计算机程序。此外，应理解，在示例性实施方式中，上述装置和设备中的一个或多个单元可包括电路、处理器、微处理器等，并且可执行存储在计算机可读介质中的计算机程序。

前述的示例性实施方式和有益效果仅为示范性的，不应解释为限制性的。本发明教导能够容易地应用到其他类型的装置。另外，对本发明的示例性实施方式的描述是出于说明性的目的，而不旨在限制权利要求的范围，并且许多替代、修改和变型将对本领域技术人员显而易见。

Claims

1.用于图像捕捉和深度提取的系统，所述系统包括：

透镜系统；

谱编码光圈，包括通过入射光场的彼此不同的光谱通道的至少两个区域；以及

传感器，配置成记录至少两个所述光谱通道以形成在传感器基础中捕捉的图像；以及

数据处理器，配置成将在所述传感器基础中捕捉的图像转换为处理基础的图像，从所述处理基础的图像中提取视差，并且将所述视差转换为深度信息。

2.如权利要求1所述的系统，其中，所述不同的光谱通道形成所述谱编码光圈的基础。

3.如权利要求2所述的系统，其中，所述处理基础不同于所述传感器基础和所述谱编码光圈的基础。

4.如权利要求1所述的系统，其中，所述谱编码光圈具有三个区域，所述三个区域包括位于中央部分中的透明区域，以及具有分别对应于黄色和青色的光谱带宽的两个区域。

5.如权利要求1所述的系统，其中，所述谱编码光圈的所述至少两个区域具有分别对应于黄色和青色的光谱带宽。

6.如权利要求1所述的系统，其中，所述谱编码光圈包括三个全等区域，所述三个全等区域具有分别对应于黄色、青色和品红色的光谱带宽。

7.如权利要求1所述的系统，其中，所述谱编码光圈包括三个非全等区域，所述三个非全等区域具有分别对应于黄色、青色和品红色的光谱带宽。

8.如权利要求1所述的系统，其中，所述谱编码光圈在光圈区域上具有平滑的宽带变化。

9.如权利要求1所述的系统，其中，所述谱编码光圈固定至所述透镜系统。

10.如权利要求1所述的系统，其中，所述谱编码光圈能够附接至所述透镜系统并且能够从所述透镜系统解除附接。

11.如权利要求1所述的系统，其中，所述谱编码光圈具有不透明区域和全等区域的组合，并且所述全等区域是透明的或传输紫外光、红外光或可见光。

12.权利要求1所述的系统，其中，所述谱编码光圈具有不透明区域和非全等区域的组合，并且所述非全等区域是透明的或传输紫外光、红外光或可见光。

13.如权利要求1所述的系统，其中，所述数据处理器包括：

预处理单元，配置成对所述捕捉的图像进行转换；

视差估计单元，配置成对所述视差进行提取；以及

转换单元，配置成将所述视差转换至所述深度信息。

14.如权利要求13所述的系统，其中，所述数据处理器还包括：

图像恢复单元，配置成基于提取的所述视差恢复所述捕捉的图像。

15.一种图像捕捉和深度提取方法，所述方法包括：

记录光场的至少两个偏移的光谱通道以形成从视频捕捉的图像；

将捕捉的图像转换为处理基础的图像；

在所述处理基础中基于所述光谱通道的像素之间的相关性来估计视差，以提取视差图；

基于提取的视差图恢复所述捕捉的图像；以及

将所述视差图转换为深度图。