CN111670576A

CN111670576A - 用于深度获取的光场图像处理方法

Info

Publication number: CN111670576A
Application number: CN201880087607.4A
Authority: CN
Inventors: 乔纳森·伊库拉·萨里; 赵智镐
Original assignee: Airray 3d Co ltd
Current assignee: Airray 3d Co ltd
Priority date: 2017-12-05
Filing date: 2018-12-05
Publication date: 2020-09-15
Anticipated expiration: 2038-12-05
Also published as: WO2019109182A1; KR102543392B1; KR20200112825A; US20200359004A1; US11438571B2; JP2021506168A; EP3721621A4; CA3084679C; EP3721621A1; TW201925860A; JP7245835B2; CA3084679A1; CN111670576B

Abstract

提供了用于捕获场景的三维图像数据以及在3D成像应用中处理由光学波前传感器所获得的光场图像数据的技术。本公开的技术从有关于从可观察场景发出的光学波前的光场信息提供了所述场景的深度图；并且利用形成定义主色和一个或多个次色的颜色马赛克的滤色器，以及被校准以从被空间‑光谱采样的像素数据提供物距信息的颜色径向传递函数。

Description

用于深度获取的光场图像处理方法

技术领域

一般的技术领域涉及成像系统和方法，更具体地说，涉及用于深度获取和三维(3D)成像的光场成像装置和图像处理方法。

发明背景

传统的成像硬件涉及将复杂的三维(3D)场景投影到简化的二维(2D)平面上，因而放弃了入射光中固有的维度。这种信息的丢失是诸如电荷联接装置(CCD)或互补金属氧化物半导体(CMOS)传感器阵列的平方律检测器的本质的直接结果，它们只能直接测量入射光的时间平均强度I，而非其相位

或波向量k或角频率ω：

在这种约束下工作，全光相机被迫要么通过多个同时获取的图像的比较分析、复杂的机器学习和/或重建技术，要么通过使用主动照明器和传感器来恢复深度信息。全光相机通常通过“全光函数”来描述场景，所述函数通过下式来参数化撞击在观察者或点上的光场：

P＝P(x，y，λ，t，V_x，V_y，V_z，p)， (2)

其中x坐标和y坐标针对波长λ和极化角p在时间t定义某个图像平面，如由在位置(V_x，V_y，V_z)处的观察者所看到的。虽然它们可以是基于单一传感器或多个传感器的系统，但是目前的全光相机可最少仅依赖于由传感器阵列的任何给定像素检测到的光强度。更实际地，诸如立体视觉或微透镜之类的现有解决方案通过采用多个传感器或传感器分段来牺牲整体图像质量和传感器占用面积以适应辨别深度所需的各种视野。

随机二进制遮挡掩模和编码孔径是提供单一传感器解决方案的其他的现有方法，所述解决方案对封装或整体占用面积的影响最小。然而，尽管在压缩感测和非线性重建技术上面取得了进步，但是这些解决方案仍然受到所涉及的大量图像字典和计算开销的阻碍。

基于飞行时间和结构化光的技术用脉冲、图案化或调制的连续波红外光来主动照射场景，并经由完整的返程行进时间或在被照射的光图案中的细微变化来确定深度。虽然这些技术不会受到图像分割的影响，但它们通常需要额外的主动红外发射器和检测器，这些都会增加功耗以及增加整体装置占用面积。类似地，这些技术往往对干扰信号、镜面反射以及环境红外光为敏感的，因此限制了它们在户外的可行性。

虽然上述各种图像捕获硬件的技术限制和复杂性代表对于光场捕获技术的扩大使用的重大障碍，但是处理光场图像的复杂性仍然是重要的制约因素。首先，在现今的相机分辨率下的原始且未压缩的传统二维(x，y)图像的大小可为大约50兆字节。等效的四维(x，y，u，v)光场图像将会大几个数量级，接近千兆字节。这样的数据大小在总线带宽和存储器传送率以及纯粹存储空间可用性方面突破了传统计算和移动电话系统的限制。因此，实际的光场装置将需要大量且有效的压缩以使用移动装置的现今典型的片上系统架构来运行。

立体视觉方法天生需要复杂的计算步骤，包括在光场场景可被重建之前进行特征匹配和修正。微透镜方法由于图像的硬件导致的、下采样的本质而需要密集的非线性重建算法，其计算成本随着图像中的像素数量以指数方式缩放，以传回具有原生相机分辨率的图像。飞行时间和其他主动照射方法通常不捕获强度图像并且需要辅助的单色或彩色捕获装置。然后，在处理光场场景之前，需要将所捕获的深度图与强度图像拼接在一起。相对于强度捕获装置，红外相机系统通常具有非常低的分辨率。这种硬件限制需要进一步基于软件的上采样来使深度图空间分辨率与强度图像的空间分辨率相匹配。

因此，可结合直接硬件压缩与有效计算重建算法的用于获取和处理3D光场图像的技术的发展仍然存在挑战。

发明内容

本说明书总体上涉及用于深度映射和其他3D成像应用的光场成像技术。

本说明书提供了用于在3D成像应用中处理由光学波前传感器获得的光场图像数据的方法。更具体地说，本公开的方法可用于从有关于从场景发出的光学波前的光场信息产生或构建可观察场景的3D或深度图像。

根据一个方面，提供了一种捕获场景的三维图像数据的方法，所述方法包括：

a)根据衍射光栅图案衍射源自所述场景的光学波前以产生经过衍射的光学波前，所述衍射光栅图案沿着光栅轴具有光栅周期；

b)使用像素阵列在近场区域中检测所述经过衍射的光学波前，从而获得像素数据，所述像素阵列包括多个光敏像素，每个光敏像素与滤色器相关联，所述滤色器形成颜色马赛克，所述颜色马赛克定义主色和一个或多个次色，所述主色和所述一个或多个次色被布置成使得与所述主色相关联的不同的相邻像素在所述经过衍射的光学波前的完整周期内检测所述经过衍射的光学波前的不同的空间部分，所述像素阵列沿着所述光栅轴具有小于所述光栅周期的像素间距；

c)根据所述主色和所述次色将所述像素数据解析成对应的主色通道和次色通道；

d)确定所述经过衍射的光学波前的强度分布中与所述主色通道相关联的主要基础分量和主要调制分量；

e)确定所述经过衍射的光学波前的强度分布中与所述次要通道中的每个次要通道相关联的次要基础分量和次要调制分量；

f)使用所述主要基础分量和所述次要基础分量重建所述场景的2D图像；以及

g)使用至少一个颜色径向传递函数创建所述场景的深度图，所述至少一个颜色径向传递函数被校准以从所述颜色通道的相关联的颜色通道的所述调制分量来提供物距信息。

在这个方法的一些实现方式中，每个颜色径向传递函数将所述相关联的颜色通道的所述经过衍射的光学波前的所述强度分布与用于所述检测步骤的图像捕获装置的对应焦平面相关。所述物距信息可从某一关系获得使得物体(z)

2D图像×CRTF，其中z是在所述场景中的给定物体与所述图像捕获装置的所述焦平面的距离，2D图像是在步骤f)中重建的所述2D图像，并且CRTF是从来自所述焦平面的极坐标r、φ、θ、像素数量n以及入射波长λ的拟合5D函数获得的径向传递函数。

在这个方法的一些实现方式中，步骤e)的所述确定次要基础分量和次要调制分量包括使用与所述像素的相邻组的所述主色通道相关联的所述经过衍射的光学波前的所述强度分布来确定所述相邻组是否具有相长干涉偏移或相消干涉偏移。

在这个方法的一些实现方式中，步骤f)的所述重建2D图像包括使用所述主要基础分量归一化所述次要基础分量。

在这个方法的一些实现方式中，步骤f)的所述重建2D图像包括：

-使用所述主要调制分量和所述相关联的颜色径向传递函数来获得所述物距信息；以及

-鉴于所述物距信息，使用所述次要调制分量和所述相关联的颜色径向传递函数来补偿在所述2D图像中来自所述光学波前的所述衍射的假影。

在这个方法的一些实现方式中，步骤g)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。

在这个方法的一些实现方式中，所述创建粗略的深度图包括：

-从与所述主色通道相关联的所述主要调制分量获得用于所述主色通道的相对相位信息；以及

-从所述相对相位信息和与所述主色通道相关联的所述颜色径向传递函数的比较中获得用于所述主色通道的绝对相位信息。

深度图的所述创建还可包括使用所述一个或多个次要调制分量和所述相关联的颜色径向传递函数来校正所述粗略的深度图。

在这个方法的一些实现方式中，校正所述粗略的深度图包括：

-从与每个次色通道相关联的所述主要调制分量获得用于每个次色通道的相对相位信息；以及

-从所述相对相位信息和与所述相关联的次色通道相关联的所述颜色径向传递函数的比较中获得用于每个次色通道的绝对相位信息。

在这个方法的一些实现方式中，所述颜色马赛克定义所述次色中的两个。

在这个方法的一些实现方式中，所述主色通道是绿色通道，所述次色通道是红色通道和蓝色通道，并且所述相关联的颜色径向传递函数分别定义绿色径向传递函数GRTF、红色径向传递函数RRTF以及蓝色径向传递函数BRTF。所述颜色马赛克可以是拜尔图案。步骤g)的深度图的所述创建可包括：

i.通过以下方式创建粗略的深度图：

-从与所述绿色通道相关联的所述主要调制分量获得用于所述绿色通道的相对相位信息；以及

-从所述相对相位信息与所述绿色径向传递函数GRTF的比较中获得用于所述绿色通道的绝对相位信息；以及

ii.通过以下方式校正所述粗略的深度图：

-从与所述红色通道和所述蓝色通道相关联的所述主要调制分量获得用于所述红色通道和所述蓝色通道的相对相位信息；以及

-从所述相对相位信息与所述红色径向传递函数RRTF和所述蓝色径向传递函数BRTF的比较中获得用于所述红色通道和所述蓝色通道的绝对相位信息。

根据另一方面，提供了一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上已存储有用于从源自场景并根据衍射光栅图案来衍射的经过衍射的光学波前获得所述场景的三维图像数据的计算机可执行指令，所述衍射光栅图案沿着光栅轴具有光栅周期，所述经过衍射的光学波前已经使用像素阵列在近场区域中进行衍射，从而获得像素数据，所述像素阵列包括多个光敏像素，每个光敏像素与滤色器相关联，所述滤色器形成颜色马赛克，所述颜色马赛克定义主色和一个或多个次色，所述主色和所述一个或多个次色被布置成使得与所述主色相关联的不同的相邻像素在所述经过衍射的光学波前的整个周期内检测所述经过衍射的光学波前的不同的空间部分，所述像素阵列沿着所述光栅轴具有小于所述光栅周期的像素间距，所述计算机可执行指令在由已经接收到所述像素数据的处理器执行时致使所述处理器执行以下步骤：

a)根据所述主色和次色将所述像素数据解析成相应的主色通道和次色通道；

b)确定所述经过衍射的光学波前的强度分布中与所述主色通道相关联的主要基础分量和主要调制分量；

c)确定所述经过衍射的光学波前的强度分布中与所述次要通道中的每个次要通道相关联的次要基础分量和次要调制分量；

d)使用所述主要基础分量和所述次要基础分量重建所述场景的2D图像；以及

e)使用至少一个颜色径向传递函数创建所述场景的深度图，所述至少一个颜色径向传递函数被校准以从所述颜色通道中的相关联的颜色通道的所述调制分量来提供物距信息。

在一些实现方式中，每个颜色径向传递函数将所述相关联的颜色通道的所述经过衍射的光学波前的所述强度分布与用于所述检测步骤的图像捕获装置的对应焦平面相关。所述物距信息是从某一关系获得使得物体(z)

2D图像×CRTF，其中z是在所述场景中的给定物体与所述图像捕获装置的所述焦平面的距离，2D图像是在步骤d)中重建的所述2D图像，并且CRTF是所述径向传递函数。CRTF的值是从来自所述焦平面的极坐标r、φ、θ、像素数量n以及入射波长λ的拟合函数获得。

在一些实现方式中，步骤c)的所述确定次要基础分量和次要调制分量包括使用与所述像素的相邻组的所述主色通道相关联的所述经过衍射的光学波前的所述强度分布来确定所述相邻组是否具有相长干涉偏移或相消干涉偏移。

在一些实现方式中，步骤d)的所述重建2D图像包括使用所述主要基础分量归一化所述次要基础分量。

在一些实现方式中，步骤d)的所述重建2D图像包括：

在一些实现方式中，步骤e)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。所述创建粗略的深度图可包括：

在一些实现方式中，深度图的所述创建包括使用所述一个或多个次要调制分量和所述相关联的颜色径向传递函数来校正所述粗略的深度图。校正所述粗略的深度图可包括：

在一些实现方式中，所述颜色马赛克定义所述次色中的两个。

在一些实现方式中，所述主色通道是绿色通道，所述次色通道是红色通道和蓝色通道，并且所述相关联的颜色径向传递函数分别定义绿色径向传递函数GRTF、红色径向传递函数RRTF以及蓝色径向传递函数BRTF。所述颜色马赛克可以是拜尔图案。步骤e)的深度图的所述创建可包括：

i.通过以下方式创建粗略的深度图：

-从所述相对相位信息与所述绿色径向传递函数的比较中获得用于所述绿色通道的绝对相位信息；以及

ii.通过以下方式校正所述粗略的深度图：

-从所述相对相位信息与所述红色径向传递函数和所述蓝色径向传递函数的比较中获得用于所述红色通道和所述蓝色通道的绝对相位信息。

根据另一方面，提供了一种捕获场景的三维图像数据的方法，所述方法包括：

a)根据衍射光栅图案来衍射源自所述场景的光学波前以产生经过衍射的光学波前，所述衍射光栅图案沿着光栅轴具有光栅周期；

b)使用像素阵列在近场区域中检测所述经过衍射的光学波前从而获得像素数据，所述像素阵列包括多个光敏像素，每个光敏像素与滤色器相关联，所述滤色器形成颜色马赛克，所述颜色马赛克定义主色和一个或多个次色；

e)确定所述经过衍射的光学波前的强度分布中与所述次色通道中的每个次色通道相关联的次要基础分量和次要调制分量；

f)使用至少一个颜色径向传递函数创建所述场景的深度图，所述至少一个颜色径向传递函数被校准以从所述颜色通道的相关联的颜色通道的所述调制分量来提供物距信息。

在一些实现方式中，所述像素阵列沿着所述光栅轴具有与所述光栅周期相同或大于所述光栅周期的像素间距，所述方法还包括使用色彩相依的聚焦光学装置聚焦源自所述场景的所述光学波前的预备步骤。

在一些实现方式中，每个颜色径向传递函数将所述相关联的颜色通道的所述经过衍射的光学波前的所述强度分布与用于所述检测步骤的图像捕获装置的对应焦平面相关。

在一些实现方式中，步骤f)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。创建粗略的深度图可包括：

在一些实现方式中，深度图的创建包括使用所述一个或多个次要调制分量和所述相关联的颜色径向传递函数来校正所述粗略的深度图。校正所述粗略的深度图可包括：

在一些实现方式中，所述主色通道是绿色通道，所述次色通道是红色通道和蓝色通道，并且所述相关联的颜色径向传递函数分别定义绿色径向传递函数GRTF、红色径向传递函数RRTF以及蓝色径向传递函数BRTF。所述颜色马赛克可以是拜尔图案。步骤f)的深度图的所述创建可包括：

i.通过以下方式创建粗略的深度图：

ii.通过以下方式校正所述粗略的深度图：

-从所述相对相位信息分别与所述红色径向传递函数和所述蓝色径向传递函数以及与所述绿色径向传递函数的比较中获得用于所述红色通道和所述蓝色通道的绝对相位信息。

根据又一方面，提供了一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上已存储有用于从源自场景并根据衍射光栅图案来衍射的经过衍射的光学波前获得所述场景的三维图像数据的计算机可执行指令，所述衍射光栅图案沿着光栅轴具有光栅周期，所述经过衍射的光学波前已经使用像素阵列在近场区域中进行衍射从而获得像素数据，所述像素阵列包括多个光敏像素，每个光敏像素与滤色器相关联，所述滤色器形成颜色马赛克，所述颜色马赛克定义主色和一个或多个次色，所述计算机可执行指令在由已经接收到所述像素数据的处理器执行时致使所述处理器执行以下步骤：

a)根据所述主色和所述次色将所述像素数据解析成相应的主色通道和次色通道；

c)确定所述经过衍射的光学波前的强度分布中与所述次色通道中的每个次色通道相关联的次要基础分量和次要调制分量；

d)使用至少一个颜色径向传递函数创建所述场景的深度图，所述至少一个颜色径向传递函数被校准以从所述颜色通道的相关联的颜色通道的所述调制分量来提供物距信息。

在一些实现方式中，步骤d)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。

在一些实现方式中，创建粗略的深度图包括：

在一些实现方式中，所述主色通道是绿色通道，所述次色通道是红色通道和蓝色通道，并且所述相关联的颜色径向传递函数分别定义绿色径向传递函数GRTF、红色径向传递函数RRTF以及蓝色径向传递函数BRTF。所述颜色马赛克可以是拜尔图案。

在一些实现方式中，步骤d)的深度图的所述创建包括：

i.通过以下方式创建粗略的深度图：

ii.通过以下方式校正所述粗略的深度图：

根据一方面，提供了一种用于深度获取的图像处理方法。所述方法允许处理光场图像数据，所述光场图像数据表示从可观察场景入射的连续光场或波前的离散化采样。所述光场图像数据形成图像数据像素阵列，所述图像数据像素阵列表示已经由衍射光栅组件衍射的，并且任选地，随后根据映射到所述图像数据像素阵列的马赛克颜色图案进行光谱滤波的所述入射波前的空间分布。所述衍射光栅组件用于产生经过衍射的波前，所述经过衍射的波前具有与所述入射波前的曲率和扩展率相关的角度相依的衍射图案，其可由设置在所述衍射光栅组件前面的聚焦光学元件所引起。在颜色应用中，所述经过衍射的波前可由底层的滤色器阵列进一步光谱滤波成两个或更多个离散的光谱分量。这个经光谱滤波、经过衍射的波前的强度最终由底层像素来测量以提供通常被布置成数据像素的行与列的图像帧的所述光场图像数据。这个光场图像数据一般将为有关于以像素层级采样的原始波前的强度、光谱以及角度信息的集合。本图像处理方法可处理这种光场图像数据以获取深度图并重建观察的场景的光场图像。

在一些实现方式中，所述图像处理方法可包括以下步骤中的至少一些：

-根据马赛克颜色图案，将图像数据像素分裂成多个个别的光谱或颜色通道。所述颜色通道可包括至少一个主色通道和至少一个次色通道，每个颜色通道含有所述图像数据像素的一部分。与所述次色通道不同，所述主色通道包括在整个周期内对所述经过衍射的波前的不同的空间部分(即，相位分量)进行采样的像素。举例来说，在一个可能的实现方式中，所述图像数据像素可被分裂成绿色通道、红色通道以及蓝色通道，其中与所述红色通道和所述蓝色通道相比，所述绿色通道被双重采样(拜尔图案)并且充当主要通道，而所述红色通道和所述蓝色通道中的任一者或两者都充当次要通道。

-确定与所述主色通道相关联的基础分量和调制分量。通常，所述光场图像数据可表示为包括基础分量和调制分量的调制函数。所述基础分量表示非相位相依的光学波前，从所述非相位相依的光学波前可获得场景的常规的2D图像，而所述调制分量是由所述衍射光栅组件所产生的所述入射波前的相位相依的扰动产生。

-从所述主要通道的基础分量和调制分量确定所述至少一个次要通道的基础分量和调制分量。

-使用所述主要基础分量作为归一化的基础集合，使用所述主要基础分量和所述次要基础分量重建所述场景的全色2D图像。

-从所述主要调制分量，以及，任选地，从所述次要调制分量创建深度图。

在一些实现方式中，所述调制分量可提供有关于所述入射光学波前的角度或相位信息，从所述信息可产生深度图。更具体地说，所述调制分量中含有的角度相位和深度可经由由图像捕获装置的透镜系统引起的波前的扩展率或倾斜率来联结。因此，在一些实现方式中，对于绝对深度映射需要知道所述图像捕获装置的焦点位置，但是对于相对深度映射则不需要。

可将所述调制分量中含有的波前扩展信息与预先校准的、传感器特定的色彩径向传递函数(CRTF)进行比较，以从由所述调制分量所提供的相对相位信息来获得绝对相位信息。在一些实现方式中，由所述调制分量所提供的所述相对相位信息可使用CRTF映射到波前扩展，这个波前扩展本身对应于相对于所述图像捕获装置的焦平面的物体位置。在一些实现方式中，粗略的深度图可由所述主要调制分量来提供，所述粗略的深度图可由所述次要调制分量校正或增强。

在一些常规技术中，可通过在每个平面中产生两个不同的光场视图之间的差距来实现深度映射，非常类似于立体相机。也就是说，这种常规技术不会自然地给出深度，而是计算出深度光场信息，诸如从两个或更多个平面之间的差距或视差。相反，在本发明技术的一些中，物体的波前在极坐标中的角度扩展是以极坐标来测量，其可将角度扩展直接映射到深度，而不需要通过光场比较来产生差距，但并不排除也可以这样做。换句话说，本发明技术的一些本质上捕获深度信息，然后使用该深度信息来建构光场图像。

值得注意的是，可在上述步骤之前、期间或之后执行其他方法和过程步骤。一个或多个步骤的顺序也可不同，并且取决于应用，可省略、重复和/或组合步骤中的一些。

根据另一方面，提供了一种在上面存储有计算机程序的非暂时性计算机可读存储介质，其中所述计算机程序可操作来处理和/或表征光场图像数据，其中所述计算机程序指示一个或多个处理器执行本文所公开的方法的各个步骤。

在阅读本说明书的特定实施方案的以下非限制性描述之后，本说明书的其他特征和优点将变得更加明显，所述特定实施方案仅参照附图以举例方式给出。

附图说明

图1是光场捕获装置的示例的示意性透视图，所述光场捕获装置可用于获得将使用本技术来处理的光场图像数据。

图2是图1的光场捕获装置的示意性局部分解透视图。

图3是处于前照式配置的光场捕获装置的另一示例的示意性侧视图，所述光场捕获装置可用于获得将使用本技术来处理的光场图像数据。

图4是处于背照式配置的光场捕获装置的另一示例的示意性侧视图，所述光场捕获装置可用于获得将使用本技术来处理的光场图像数据。

图5是光场捕获装置的另一示例的示意性局部分解侧视图，所述光场捕获装置可用于获得将使用本技术来处理的光场图像数据，其中示意性地描绘了光的波前穿过所述装置的传播。

图6A和图6B是光场捕获装置的两个其他示例的示意性局部透明俯视图，所述光场捕获装置可用于获得将使用本技术来处理的光场图像数据，其中衍射光栅的光栅轴不与像素轴中的任一像素轴对准。

图7是光场捕获装置的另一示例的示意性透视图，所述光场捕获装置可用于获得将使用本技术来处理的光场图像数据，其中衍射光栅组件包括被布置成在行和列中交替以限定棋盘图案的两个正交取向的衍射光栅集合。

图8是光场捕获装置的另一示例的示意性侧视图，所述光场捕获装置可用于获得将使用本技术来处理的光场图像数据。所述光场捕获装置包括聚焦光学装置，所述聚焦光学装置设置在衍射光栅组件前面并在源自场景的光学波前到达衍射光栅组件之前对所述光学波前进行空间光谱扩展。

图9是根据可能的实施方案的图像处理方法的流程图。

图10是根据一个变型的示出用以构建颜色径向传递函数的数据获取的图。

图11a至图11D示出了如在图10上所示的每个像素上的测得的像素电压的示例。

图12A和图12B是颜色径向传递函数的示例性表示。

图13示出了用以从已知的将测量的光的均匀强度以及随角度或距离而变的次色通道调制来获得次要色彩径向传递函数的技术。

图14示出了使用主要径向色彩传递函数来获取归一化的、与场景独立的值以操控次要色彩径向传递函数的技术。

具体实施方式

在本说明书中，在附图中类似的特征已被给予类似的附图标记，并且，为了不会不当地妨碍图示，如果已经在先前的图示中发现一些元件，则它们可能不会在一些图示中被指出。还应理解，附图的元件不一定是按比例绘制的，因为重点是放在清楚地说明本实施方案的元件和结构上。

在本说明书中，除非另有说明，否则术语“连接的”和“联接的”以及其变形和衍生词是指在两个或更多个元件之间的直接或间接的任何连接或联接。元件之间的连接或联接可以是机械的、光学的、电气的、操作的或它们的组合。还应了解，为了简单和清楚地描述，本文使用了位置描述符以及指出一个元件相对于另一元件的位置或取向的其他类似术语，并且除非另有说明，否则所述位置描述符和其他类似术语应在附图的情境中被采用而且不应被视为限制性的。应理解，在本实施方案的使用或操作中，除了图示中所例示的取向之外，这种空间相对术语意图还涵盖不同的取向。更具体地说，应注意在本说明书中，在指定两个元件的相对空间关系时的术语“在……上方”和“在……下方”表示所述两个元件可彼此直接接触或通过一个或多个中介元件彼此分开。在本说明书中，术语“一个”和“一种”被定义成意味着“至少一个”，即，除非另外特别地说明，否则这些术语不排除多个项目。

本说明书总体上涉及用于捕获场景的三维图像数据和在3D成像应用中处理由光学波前传感器所获得的光场图像数据的技术。更具体地说，本说明书公开了用于从有关于从可观察场景发出的光学波前的光场信息来产生或构建所述场景的3D或深度图像或组合的2D图像和深度图的技术。

在本说明书中，术语“提供”被广泛地使用并且是指，但不限于，使之可供使用、获取、获得、存取、供应、接收、指派和检索。举例来说，在一些实现方式中，提供要处理的光场图像数据可涉及使用光场捕获装置直接获取光场图像数据以及使得如此获取的光场图像数据可用的动作。然而，在其他实现方式中，提供光场图像数据可涉及例如从数据库或存储介质检索或接收先前已获取的光场图像数据的动作。

在一些实现方式中，本技术涉及借助与适当的色彩编码机制配对的一个或多个衍射光学元件进行的衍射的色彩相依性的具体操纵和比较，以及其在3D成像中的使用。在一些实现方式中，将被处理成3D图像的光场图像数据形成图像数据像素阵列，其表示在由衍射光栅衍射以及根据马赛克颜色图案进行光谱滤波之后的光场的空间光谱分布。

在一些实现方式中，本文所公开的技术不仅对源自可观察场景的光学波前的强度为敏感的，而且对波长也为敏感的，通过已产生的干扰或衍射光栅图案的特定空间光谱子采样，允许直接测量衍射的色彩相依性、入射角、相位以及光学波前的极化。因此，光场成像装置，例如深度相机，可获取比传统相机更多的信息，传统相机通常仅记录光强度。由光场捕获装置所捕获的原始图像数据可以各种方式来使用或处理以提供多种功能，包括但不限于，3D深度图提取、3D表面重建、图像重新聚焦等等。取决于应用，可观察场景的光场图像数据可被获取作为一个或多个静止图像或视频串流。也就是说，每个单独捕获的帧通常含有所有相关的信息以产生个别的光场场景。这些帧，以及其随后的光场场景，可被合并并循序播放以表现得像视频串流。

本发明的技术可用于需要或可受益于增强的深度感测和其他3D成像能力的成像应用中，例如允许用户改变场景的捕获的图像的焦点、视点和/或景深。非限制性的典型可观察场景的示例可包括：一个人使用手机上的前置相机进行自拍、一辆汽车接近具有人行横道的交叉路口和停车标志、一辆汽车试图停放在紧凑停车位中、一个人打手势与虚拟现实或增强现实场景交互等等。

本技术可应用于或实现在各种类型的3D成像系统和方法中，包括但不限于，使用全光描述的光场成像应用、通过衍射的色彩相依性的比较分析的测距应用，以及单一传感器单一图像深度获取应用。本技术的某些实现方式的非穷举性优点和益处可包括：与采用较少的功率来执行其功能的被动感测模态兼容；与占用面积减小的单一传感器架构兼容；启用深度映射功能同时保留2D性能；简单且低成本地集成到现有的图像传感器硬件和制造过程中；与常规的CMOS和CCD图像传感器兼容；以及不需要多个部件，诸如双相机或配备有用于深度检测的主动光照系统的相机。

在本说明书中，术语“光”和“光学”用以指在电磁波谱的任何适当区域中的辐射。更具体地说，术语“光”和“光学”不限于可见光，还可包括电磁波谱中的不可见光区域，包括但不限于，兆赫兹(THz)、红外(IR)以及紫外(UV)光谱带。在一些实现方式中，术语“光”和“光学”可涵盖波长范围从深紫外光中的大约175纳米(nm)到兆赫兹范围中的大约300微米(μm)，例如从可见光谱的蓝光末端处的大约400nm到电信波长处的大约1550nm，或在大约400nm与大约650nm之间以匹配典型的红-绿-蓝(RGB)滤色器的光谱范围的电磁辐射。然而，本领域技术人员应理解，这些波长范围仅被提供用于说明的目的，并且本技术可在这些范围之外操作。

在本说明书中，术语“颜色”和“色彩”和它们的变型和衍生词不仅用于对可见光电磁辐射(例如，红色、绿色和蓝色)的人类感知的常见情境中，而且，更广泛地说，还用于描述在电磁波谱的任何适当区域上的光谱特性(例如，衍射、透射、反射、色散、吸收)。在这种情况下，除非另有说明，否则术语“颜色”和“色彩”和它们的衍生词可与术语“光谱”和它的衍生词互换地使用。

本技术可用于处理以各种类型的光场捕获装置捕获的原始光场图像数据。下面描述并在图1到图11中示出了这类装置的非限制性示例。在共同转让的国际PCT专利申请第PCT/CA2017/050686号中公开了能够获取可使用本文所描述的图像处理技术来处理的光场图像数据的光场捕获装置的其他非限制性示例，所述专利申请的内容以引用的方式全文并入本文中。

根据本发明的另一方面，提供了一种上面存储有计算机可执行指令的计算机可读存储器，所述计算机可执行指令在由计算机执行时可执行本文所公开的图像处理方法的各个步骤。

如本文中所使用的，术语“计算机可读存储器”意图指一种非暂时性且有形的计算机产品，其能够存储和传送用于实现本文所公开的图像处理方法的各个步骤的可执行指令。所述计算机可读存储器可以是任何计算机数据存储装置或这类装置的组件，包括例如：临时存储单元，诸如随机存取存储器(RAM)或动态RAM；永久存储器，诸如硬盘；光学存储装置，诸如CD或DVD(可重写或只写入一次/只读的)；快闪存储器；和/或其他非暂时性存储器技术。如本领域技术人员可以理解的，可提供多个这类存储装置。计算机可读存储器可相关联到、联接到、或被包括在一计算机中，所述计算机被配置为执行存储在计算机可读存储器中的指令，所述指令与跟计算机相关联的各种功能有关。

如在本文中所使用的，术语“计算机”泛指任何计算或处理单元或装置，包括可至少部分地控制和执行实行本文所公开的图像处理方法的各个步骤所需的指令的电子电路。计算机可通过以下各项体现：通用计算机、中央处理单元(CPU)、微处理器、微控制器、处理内核或任何其他的处理资源或被配置为作为处理单元共同操作的这类计算机或处理资源的任何组合。例如，在一些实现方式中，实现本文所描述图像处理方法的处理单元可以是在片上系统(SoC)上运行的图像信号处理器(ISP)或数字信号处理器(DSP)、图形处理单元(GPU)、现场可编程门阵列(FPGA)或它们的组合。

应易于理解，在一些实现方式中，本文所公开处理方法的所有步骤可由单一处理器完成，而在其他实现方式中，这种方法的一个或多个步骤可在不同的处理器上或在不同的物理位置处执行。此外，虽然在一些实现方式中，图像数据的处理可由也执行光场的获取的同一个装置执行，例如手机或平板，但在其他实现方式中，可将光场图像数据传输到不同的位置或装置并分开进行处理。

在一些实现方式中，提供了一种处理光场图像数据或以其他方式对光场图像数据操作的方法，所述光场图像数据表示从可观察场景入射的连续光学波前的离散采样。可将所述光场图像数据提供为图像数据像素阵列，所述图像数据像素阵列表示由衍射光栅组件衍射，并且任选地随后根据映射到图像数据像素阵列的马赛克颜色图案进行光谱滤波之后的光学波前的空间分布。

参照图1和图2，提供了用于捕获有关于可观察场景22的原始光场或深度图像数据的光场捕获装置20的示例的示意图，所述光场捕获装置可用于根据一些实施方案的捕获场景的三维数据的方法的情境中。在本说明书中，术语“光场捕获装置”泛指能够捕获表示从场景发出的光场或波前的原始图像数据的任何图像捕获装置，所述原始图像数据含有的信息不仅有关于图像平面处的光强度，还有关于其他光场参数，诸如光线进入装置的方向和光场的光谱。

光场捕获装置20包括被配置为接收源自场景22的光学波前26的衍射光栅组件或结构24。衍射光栅组件24可包括至少一个衍射光栅28，其中每个衍射光栅具有光栅轴30和衍射光栅图案或折射率调制图案32，衍射光栅图案或折射率调制图案32沿着光栅轴30具有光栅周期34。在图1和图2中，衍射光栅组件24包括单个衍射光栅28，但在其他装置中可以提供一个以上衍射光栅，如下文所描述的。衍射光栅28被配置为衍射进入的光学波前26，从而产生经过衍射的光学波前36。

仍然参照图1和图2，光场捕获装置20还包括像素阵列38，像素阵列38包括多个光敏像素40，多个光敏像素40设置在衍射光栅组件24的下方并且被配置为将经过衍射的光学波前36检测为有关于场景22的光场图像数据。光场捕获装置20还可包括设置在像素阵列38上方的滤色器阵列42。滤色器阵列42包括多个滤色器44，每个滤色器与所述光敏像素中的一个光敏像素相关联。滤色器以马赛克颜色图案布置，而且每个滤色器按波长来对入射光滤波以在滤色器阵列42中的相应位置处捕获颜色信息。滤色器阵列42被配置为在经过衍射的光学波前36被多个光敏像素40检测到之前根据马赛克颜色图案对经过衍射的光学波前36进行空间和光谱滤波。通过提供滤色器阵列以在由衍射光栅组件产生的经过衍射的波前被像素阵列检测到之前对所述经过衍射的波前执行直接的空间-色彩子采样，光场捕获装置不仅对其光谱内容可为敏感的，而且对光的入射波前的角度和强度也可为敏感的，如下文进一步解释的。

取决于应用或使用，光场捕获装置可使用各种图像传感器架构和像素阵列配置来实现。例如，光场捕获装置可简单地通过在已经存在的包括像素阵列和滤色器阵列的图像传感器的上面添加或联接衍射光栅组件来实现。例如，现有图像传感器可以是常规的2DCMOS或CCD成像器。然而，在其他实现方式中，光场捕获装置可被实现且被整体封装为单独的、专用的和/或定制设计的装置，其并入有所有或大部分部件(例如，衍射光栅组件、像素阵列、滤色器阵列)。

例如，参照图3和图4，在一些实现方式中，光场捕获装置20可包括像素阵列电路86，像素阵列电路86在前照式配置(图3)中设置在衍射光栅组件与像素阵列之间，或在背照式配置(图4)中设置在像素阵列38下方。更具体地说，衍射光栅组件24在前照式架构(图3)的情况下可被直接蚀刻到上覆的硅层中，或者在背照式架构(图4)的情况下可直接放置在微透镜阵列64和滤色器阵列42的顶部。微透镜阵列64设置在像素阵列38的上方并且包括多个微透镜66。每个微透镜66光学地联接到光敏像素40中的对应的光敏像素并且被配置为将入射在它上面的经过衍射的波前36的空间部分聚焦到它的对应的光敏像素40上。

在前照式技术中，像素阵列电路86包括将滤色器44连接到它们对应的光敏像素40的金属布线阵列(例如，容纳多个金属互连层的硅层)。同时，背照式技术提供对通过以衍射光栅组件24衍射光波形26所产生的经过衍射的波前36进行直接采样的机会。因为光在到达像素阵列38之前不必穿过像素阵列电路86的金属布线阵列(这本将导致光损失)，所以可实现周期性增大的更积极的衍射光栅设计。而且，如图2中所示，较短的光学堆叠配置可允许衍射光栅组件24定位在更靠近像素阵列38的光接收表面68之处，从而降低高阶衍射效应的风险，高阶衍射效应可能导致像素组之间的不期望的串扰。类似地，减小的像素大小可允许通过现有的成像孔对衍射光栅进行直接子采样。

关于在前面段落中介绍的部件的结构、配置和操作以及光场捕获装置的其他可能部件的更多细节将在下面进行描述。

回到图1和图2，衍射光栅28包括在滤色器阵列42上方延伸的光栅衬底46。光栅衬底46具有顶表面48和底表面50，周期性折射率调制图案32形成在顶表面48上。光栅衬底46由在光谱工作范围内是透明或足够透明以允许经过衍射的波前36透射穿过其中的材料制成。这类材料的非限制性示例包括氧化硅(SiOx)、聚合物、胶体颗粒、SU-8光阻以及玻璃。例如，在一些实现方式中，衍射光栅28可被配置为在范围从大约400nm到大约1550nm的波段中衍射光学波前26。

当波前，无论是电磁波还是其他，遇到物理物体或折射率扰动时发生衍射。波前往往围绕物体的边缘弯曲。如果波前遇到多个物体，无论是周期性的还是其他，对应的小波可在距初始相遇处的某一距离处干涉，如杨氏双缝实验所演示。这种干涉形成随距原始相遇处的距离而变的独特的图案，称为“衍射光栅图案”或“衍射图案”或“干涉图案”，所述图案对波前的入射角和光谱内容以及遇到的物体的大体大小、形状和相对空间关系为敏感的。如由惠更斯-菲涅耳原理所描述的，这种干涉可通过每个对应的小波的演变的相对前沿来描述。

在本说明书中，术语“衍射光栅”，或简称为“光栅”，通常是指具有周期性调制的光学特性(例如，折射率调制图案)的周期性结构，所述周期性结构在空间上调制入射在它上面的光学波前的振幅和/或相位。衍射光栅还可被称为透射衍射掩模(TDM)。衍射光栅可包括衍射元件的周期性布置(例如，交替的脊和槽)，所述衍射元件的空间周期(光栅周期)几乎等于或略长于光的波长(例如，比光的波长长几倍)。入射在衍射光栅上的含有某一波长范围的光学波前在衍射后的振幅和/或相位将被修改，且因此产生相依于空间和时间的经过衍射的波前。通常，衍射光栅在光谱上是分散的，使得输入的光学波前的每个波长将沿着不同的方向被输出。然而，在工作光谱范围内展现大体上消色差响应的衍射光栅存在，并且可在一些实现方式中被使用。例如，在某些实现方式中，衍射光栅在感兴趣的光谱范围内可以是消色差的，并且可被设计为针对感兴趣的光谱范围的中心波长。更具体地说，在拜尔图案化滤色器阵列的情况下，衍射光栅可针对绿色通道，即围绕大约为532nm的中心波长进行优化。值得注意的是，当衍射光栅是消色差的时候，是滤色器阵列的马赛克颜色图案为经过衍射的波前的衍射图案提供色彩子采样。

取决于形成衍射光栅的衍射元件是透射式的还是反射式的，衍射光栅将被称为“透射光栅”或“反射光栅”。在本文中所描述的衍射光栅是透射光栅，但并不由此排除反射光栅的使用。衍射光栅也可被分类为“振幅光栅”或“相位光栅”，这取决于衍射元件的本质。在振幅光栅中，由光栅引起的对初始波前的扰动是直接振幅调制的结果，而在相位光栅中，这些扰动是由光栅材料折射率的周期性变化引起的光的相对群速度的特定调制的结果。在本文中所描述的衍射光栅是相位光栅，但在其他实现方式中也可使用振幅光栅。

在图1和图2中，衍射光栅28是相位光栅，更具体地说是二进制相位光栅，用于这种光栅的折射率调制图案32包括以光栅周期34周期性地间隔开的一连串脊52，其与也是以光栅周期34周期性地间隔开的一连串槽54交错。折射率调制图案32的空间分布因此展现两级阶跃函数，或方波函数，对此光栅周期34对应于一个脊52和一个相邻的槽54的沿着光栅轴30的宽度的总和。光栅周期34的范围可从大约1μm到大约20μm，但其他值也是可能的。在图1和图2中，槽54是空的(即，它们充满空气)，但是它们可替代地用折射率与脊材料的折射率不同的材料来填充。而且，取决于应用，衍射光栅28可具有基本上等于或相差50％的工作周期，工作周期被定义为脊宽度与光栅周期34的比。衍射光栅28的另一参数是台阶高度56，也就是脊52与槽54之间的高差。例如，台阶高度56的范围可从大约0.2μm到大约1μm。在一些情形中，台阶高度56可被选择为使得衍射光栅28在相邻的脊52与槽54之间产生预定的光程差。例如，台阶高度56可被控制为在光学波前的给定波长和入射角(例如，其中心波长)的情况下在脊与槽之间提供半波长光程差。当然，在其他应用中可使用其他光程差值。

值得注意的是，尽管在图1和图2中的衍射光栅28是由形成方波折射率调制图案32的平行的脊52和槽54的交替集合组成的线性的或一维的二进制相位光栅，但是其他光场捕获装置可采用不同类型的衍射光栅，诸如：光栅周期、工作周期和台阶高度中的至少一者可变的衍射光栅；具有垂直于光栅轴的非笔直特征的衍射光栅；具有更精细的折射率分布的衍射光栅；2D衍射光栅；等等。

仍然参照图1和图2，像素阵列38包括设置在滤色器阵列42下方的多个光敏像素40，滤色器阵列42本身设置在衍射光栅组件24的下方。在本技术中，由光敏像素40检测为光场图像数据的电磁辐射对应于从场景22入射的光学波前26，光学波前26在到达像素阵列38之前已进行衍射和空间色彩滤波。像素阵列38可由CMOS或CCD图像传感器体现，但是可替代地使用其他类型的光电检测器阵列。如上文提到的，像素阵列38可被配置为检测在光谱的任何适当区域中的电磁辐射。像素阵列38的每个光敏像素40可将入射在它上面的经过衍射的波前36的空间部分转换成累积电荷，所述累积电荷的量与由像素40收集和记录的光量成正比。每个光敏像素40可包括光敏表面和用于处理像素层级的信号并与其他电子装置(诸如读出单元)进行通信的相关联的像素电路。

仍然参照图1和图2，光敏像素40可布置成由两个正交像素轴58、60限定的行和列的矩形网格。行和列的数量限定像素阵列38的分辨率。例如，在一些实现方式中，像素阵列38可具有至少16个像素的分辨率，但是在其他应用中可使用广泛的其他分辨率值，包括高达4千万像素或更高。值得注意的是，虽然在图1和图2中将光敏像素40组织成2D阵列，但是在其他应用中可替代地将它们配置为线性阵列。

像素阵列38也可由像素间距62来表征。在本说明书中，术语“像素间距”一般是指在各个像素40之间的间隔并通常被定义为相邻的像素40之间的中心到中心的距离。取决于像素阵列38的物理布置，沿着两个正交的像素轴58、60的像素间距62可能相同或可能不同。值得注意的是，像素间距也可沿着任意轴被定义，例如沿着相对于两个正交的像素轴58、60以45°取向的对角轴被定义。还值得注意的是，在本技术中，相关的像素间距62是沿着上覆的衍射光栅28的光栅轴30的像素间距，如图1和图2中所描绘。如在下面更详细描述的，在一些实施方案中，衍射光栅28的光栅周期34被选择为大于像素阵列38的沿着光栅轴30的像素间距62，或者，换句话说，沿着光栅轴30的像素间距62小于光栅周期34。例如，在一些实现方式中，沿着光栅轴30的像素间距62的范围可从1μm或更小到10μm，但在其他实现方式中可使用不同的像素间距值。

在本说明书中，术语“像素数据”是指由每个个别像素捕获的图像信息并且可包括强度数据，所述强度数据指示在积分周期内由每个个别像素吸收的光能总量。结合来自所有像素40的像素数据会产生有关于场景22的“原始”光场图像数据。在本技术中，因为从场景22入射的光学波前26在检测之前被衍射并进行空间和光谱滤波，所以光场图像数据提供的信息不仅有关于入射波前26的强度，而且还有关于其他光场参数，诸如其入射角、相位和光谱内容。更具体地说，应理解，本技术可允许从由像素阵列38捕获的基于强度的衍射图案恢复或提取深度或其他光场信息，如下面进一步描述的。

仍然参照图1和图2，滤色器阵列42在空间上与像素阵列38配准，使得每个滤色器44光学地联接到光敏像素40中的对应的光敏像素。也就是说，每个滤色器44覆盖单个光敏像素40，使得在滤色器44与光敏像素40之间存在一对一的关系或映射。然而，在其他实现方式中，每个滤色器可光学地联接到多个光敏像素中的至少两个对应的光敏像素。然而，在这两种配置中，滤色器阵列42与像素阵列38一起使得能够对由上覆的衍射光栅组件24产生的经过衍射的波前进行直接的空间色彩采样，如下面详述和解释的。

在图1和图2中，滤色器44根据马赛克颜色图案或配置被物理地组织。滤色器形成限定主色和一个或多个次色的颜色马赛克，所述主色和一个或多个次色被布置成使得与主色相关联的不同的相邻像素在经过衍射的光学波前的整个周期内检测到经过衍射的光学波前的不同的空间部分。在一些实现方式中，每个滤色器44是红色通过滤光器、绿色通过滤光器以及蓝色通过滤光器中的一者。例如，在图1和图2中，滤色器阵列42的马赛克颜色图案是拜尔图案，其中滤色器以棋盘图案布置，其中交替的红色(R)和绿色(G)滤光器行与交替的绿色(G)和蓝色(B)滤光器行交错。拜尔图案含有的绿色滤光器是红色或蓝色滤光器的两倍，使得马赛克颜色图案的绿色分量可被称为主要颜色的主色或称为“密集采样”分量，而红色和蓝色分量两者都可被称为次色或“稀疏采样”分量。在其他应用中，马赛克颜色图案可由更精细的拜尔式图案体现，例如具有n像素单元胞格的拜尔式图案，其中n是大于4的整数。当然，本技术不限于拜尔式图案，而是可应用于任何适当的马赛克颜色图案，包括但不限于，RGB、RGB-IR、RGB-W、CYGM、CYYM、RGBE、RGBW#1、RGBW#2、RGBW#3以及单色。值得注意的是，在一些实现方式中，滤色器阵列42可延伸超出标准的可见光拜尔图案，以包括超光谱成像和滤波技术或干涉测量滤波技术。在这种情况下，可调整衍射光栅28的设计(例如，光栅周期34)以适应增大的光谱采样范围。

现在参照图5，示出了适用于单色成像应用的光场捕获装置20的示意性局部分解侧视图。光场捕获装置20与在图1和图2中所示的光场捕获装置相似，相似处在于它包括设置在光敏像素40的像素阵列38和相关联的滤色器阵列42顶部的衍射光栅28。衍射光栅28是二进制相位透射光栅，它具有50％的工作周期并具有由脊52和槽54的交替集合组成的周期性折射率调制图案32。图5还示意性地描绘了光穿过装置20的传播。在操作中，光场捕获装置20具有涵盖可观察场景22的视野。衍射光栅28在其输入侧上接收从场景22入射的光学波前26(实线)，并使光学波前26衍射以在其输出侧产生经过衍射的光学波前36(实线)，经过衍射的光学波前36穿过滤色器阵列42朝向像素阵列38传播以供像素阵列38检测。为简单起见，在图5中的进入的光学波前26对应于以法向入射撞击在衍射光栅28上的平面波的波前。然而，本技术可针对在光场捕获装置的视野内以任意角度入射在衍射光栅28上的任意形状的光学波前而实现。

仍然参照图5，经过衍射的波前36可由衍射图案表征，衍射图案的形式随衍射光栅28的几何形状、光学波前26的波长和入射角以及观察平面的位置而变，所述观察平面对应于像素阵列38的光接收表面68。在观察平面中，经过衍射的波前36的衍射图案可由在像素阵列38的光接收表面68中的沿着光栅轴30的空间上变化的强度分布70表征。值得注意的是，在图5中，光栅轴30与像素轴58平行。

衍射光栅28和像素阵列38相对于彼此设置，使得像素阵列38的光接收表面68定位在衍射光栅28的近场衍射区域中，或简言之在衍射光栅28的近场中，如在共同转让的国际PCT专利申请第PCT/CA2017/050686号中所描述的。在近场衍射区域中，菲涅耳衍射理论可用于计算穿过衍射光栅的波的衍射图案。与远场夫琅和费衍射理论不同，菲涅耳衍射考虑了波前曲率，这允许计算干涉波的相对相位。为了检测在近场中的经过衍射的波前36，本技术可能涉及在衍射光栅28的顶表面48与底层像素阵列38的光接收表面68之间维持足够小的间隔距离72，其中在顶表面48处形成折射率调制图案32并且发生衍射，而在光接收表面68处检测到经过衍射的波前36。在一些实现方式中，这可涉及将间隔距离72选择为小于光学波前26的中心波长的大约十倍。

在近场衍射区域中，由周期性衍射光栅28产生的经过衍射的波前36的强度分布70通常具有基本上匹配衍射光栅28的光栅周期34的空间周期74，以及基本上匹配衍射光栅28的折射率调制图案32的形状。例如，在图5中，由像素阵列38的光敏像素40检测到的经过衍射的波前36的衍射图案具有方波或两阶层式的强度分布70，强度分布70基本上匹配二进制相位衍射光栅28的折射率调制图案32的分布。在本说明书中，术语“匹配”和它的衍生词应被理解为不仅涵盖在检测到的经过衍射的波前36的强度分布70与衍射光栅28的周期性折射率调制图案32之间的“精确”或“完美”的匹配，而且还涵盖“大体的”、“近似的”或“主观的”匹配。因此，术语“匹配”在本文中意图指两个特征相同或在彼此的某一预定容差内的状况。通过周期性衍射光栅进行的近场衍射的另一个特征是在改变衍射光栅28上的进入的光学波前26的入射角76后，经过衍射的波前36的强度分布70沿着光栅轴30横向地移位，但基本上保持其周期74和形状，如从图5中的实线和虚线波前线之间的比较可看出。

在图5中所示的实施方案中，滤色器阵列42具有拜尔图案，图5的滤色器阵列描绘了交替的绿色(G)和蓝色(B)滤光器行。图5还示意性地描绘了光穿过装置20的传播。在操作中，衍射光栅28接收源自场景22的光学波前26并使其衍射，以产生经过衍射的光学波前36，如上文所提到的。在经过衍射的光学波前36由底层像素阵列38检测之前，滤色器阵列42接收经过衍射的光学波前36并对其进行空间光谱滤波。因此，光场捕获装置20的操作是基于直接空间和色彩采样的经过衍射的波前36，它是通过提供设置在传感器结构顶部的周期性衍射光栅28而实现的，所述传感器结构包括滤色器阵列42和底层的像素阵列38。

在光学地联接到底层的像素阵列38后，衍射光栅28将光相位信息与标准的2D图像进行卷积，使得检测到的经过衍射的波前36的衍射图案的强度分布70一般可写成调制函数：

，其包括调制分量I_调制和基础分量I_基础。基础分量I_基础表示非相位相依的光学波前，其在像素阵列38的前面没有衍射光栅28的情况下将被像素阵列38检测到。换句话说，单独检测基础分量I_基础将允许获得场景22的常规的2D图像。同时，与基础分量I_基础相比通常较小的调制分量I_调制(例如，I_调制与I_基础的比的范围从大约0.1到大约0.3)是入射光学波前26的相位的直接结果，使得入射角的任何边缘或微小的差异将使它本身表现为跨越像素阵列38进行空间采样的周期性电气响应。对入射角的敏感度，以及因此角度分辨率，取决于衍射光栅28的具体设计。

应理解，在由滤色器阵列42进行空间-光谱滤波之后，由像素阵列38检测到的经过衍射的波前36的强度分布70是经过衍射的波前36的由红色滤光器所滤波的部分、经过衍射的波前36的由绿色滤光器所滤波的部分以及经过衍射的波前36的由蓝色滤光器所滤波的部分的组合或叠加。因此，使用标准的RGB拜尔图案作为示例，强度分布I的调制分量I_调制和基础分量I_基础可以如下方式被分解成相应的颜色分量：

在图5中，强度分布I_G和I_B分别以虚线和虚线进行描绘。在一些实现方式中，这些个别的颜色通道可被独立地处理以产生个别颜色通道光场场景。可将这些个别场景进行比较以提供用于深度和场景分析以及图像压缩两者的另一提示，这是因为图像可在个别颜色通道中传送，每个颜色通道具有其自己的相应的文件。

仍参照图5，如上文所提到的，在一些实施方案中像素阵列38沿着光栅轴30具有像素间距62，像素间距62小于衍射光栅28的光栅周期34。这意味着当像素阵列38的光接收表面68在衍射光栅28的近场中时，像素阵列38的沿着光栅轴30的像素间距62也小于强度分布70的沿着检测到的经过衍射的波前36的光栅轴30的空间周期74。当这个条件被满足时，检测到的经过衍射的波前36的强度分布70的完整周期将由像素阵列38的至少两个相邻的像素组来采样，这些像素组中的每个像素组在完整周期内对强度分布70的不同的空间部分进行采样。在本说明书中，术语“像素组”是指像素阵列的沿着垂直于上覆衍射光栅的光栅轴的线布置的一群光敏像素。也就是说，两个相邻的像素组彼此分开的距离对应于沿着光栅轴的像素间距。例如，在图5中，像素阵列38的每个像素组垂直于页面的平面延伸。

取决于应用，衍射光栅28的光栅周期34与像素阵列38的沿着光栅轴30的像素间距62的比R可采用几个值。在一些实现方式中，比R可等于或大于二(即R≥2)；或等于一个大于1的正整数(即R＝(n+1)，其中n＝{1，2，...})；或等于二的整数次方(即R＝2n，其中n＝{1，2，...})；等等。在一些实现方式中，光栅周期34不仅要大于而且不能太接近沿着光栅轴30的像素间距62可能是有益的或要求的。例如，在一些实现方式中，可能有利的是光栅周期34至少是大约底层像素组间距62的两倍，以允许每对相邻像素组充分地对所得的经过调制的经过衍射的波前36进行子采样，其空间调制率由衍射光栅28的特性指定，接近或者处于奈奎斯特率。这种奈奎斯特或近奈奎斯特子采样可允许通过标准的信号处理技术将调制分量I_调制从测得的信号I中直接去除。一旦去除，调制信号I_调制可独立于基础分量I_基础来被操纵。

例如，在图5中，光栅周期34与沿着光栅轴30的像素间距62的比R基本上等于二。应理解，在这种情况下，相邻的像素组将对检测到的经过衍射的波前36的强度分布70的互补空间相位(也就是说，强度分布70的相对于彼此有180°的相位移位的空间部分)进行采样。这可以数学式方式如下表达：|φ_组，n+1-φ_组，n|＝π，其中φ_组，n+1和φ_组，n分别是由像素阵列38的第(n+1)个和第n个像素组所测量的强度分布70的空间相位。这种配置可允许通过由入射波前相互作用所得到的干涉图案的子采样对调制分量I_调制与基础分量I_基础进行直接反卷积：

I_基础＝1/2[I(组_n)+I(组_n+1)]， (6)

I_调制＝1/2[I(组_n)-I(组_n+1)]。 (7)

值得注意的是，在等式(6)和(7)中的I(组_n)±I(组_n+1)通常是通过将在相关联的像素组中的所有行的像素所测得的强度相加而获得。

仍参照图5，衍射光栅28具有50％的工作周期(即，脊52和槽54有相等宽度)，并且每个光敏像素40被定位在脊52中的对应脊或槽54中的对应槽的下方并与其竖直对齐。然而，在其他应用中可使用其他布置。

在标准的RGB拜尔图案中，因为红色和蓝色滤光器始终位于相邻的像素组中，与被稀疏采样的红色分量和蓝色分量相关联的信号I_R和I_B将相对于彼此为反相的。同时，因为绿色滤光器存在于所有像素组中，所以与被密集采样的绿色分量相关联的信号I_G将含有同相和异相贡献。

在图5中，衍射光栅28相对于底层的像素阵列38取向，使得光栅轴30平行于两个正交的像素轴58、60中的一者。参照图6A和6B，在其他应用中，光栅轴30可替代地倾斜于正交的像素轴58、60。值得注意的是，在这样的配置中，沿着光栅轴30的像素间距62可保持小于光栅周期。还值得注意的是，诸如上文定义的像素组，也就是说，沿着横向于上覆衍射光栅28的光栅轴30的线布置的像素群也可以倾斜的配置被限定。例如，图6A包括第一群像素40₁，其属于位于脊52的下方的第一像素组；以及第二群像素40₂，其属于位于相邻槽54处的第二像素组。

在到目前为止所描述的示例中，衍射光栅组件包括单个衍射光栅。然而，参照图7，在其他情况下，衍射光栅组件24包括多个衍射光栅28a、28b，其中衍射光栅28a、28b被布置成二维光栅阵列，所述二维光栅阵列设置在滤色器阵列42上方。在图7中，衍射光栅组件24包括十六个衍射光栅，但是这个数量可在其他应用中改变。例如，取决于应用，在衍射光栅组件24中的衍射光栅28a、28b的数量的范围可从一个到高达数百万个(例如，2千万像素的像素阵列38在其顶部可具有多达280万个衍射光栅)。值得注意的是，除了它们的光栅轴取向之外，在图7中的衍射光栅28是相同的，但这不是本技术的要求。

在图7中，衍射光栅28包括衍射光栅28的第一集合80a和衍射光栅28的第二集合80b，第一集合80a的衍射光栅28的光栅轴30a基本上垂直于第二集合80b的衍射光栅28的光栅轴30b延伸。在图7中，第一集合80a和第二集合80b的衍射光栅28被布置成在行和列两者中交替，从而得到棋盘图案。当然，在其他应用中可设想正交取向光栅的任何其他合适的规则或不规则的布置、图案或马赛克。

在一些应用中，光场捕获装置可包括在衍射光栅前面的波前调节光学装置。波前调节光学装置可被配置为在从场景入射的光学波前到达衍射光栅组件之前收集、导向、透射、反射、折射、色散、衍射、准直、聚焦或以其他方式作用在光学波前上。波前调节光学装置可包括透镜、镜子、滤光器、光纤和任何其他合适的反射、折射和/或衍射光学部件等等。在一些实现方式中，波前调节光学装置可包括聚焦光学装置，所述聚焦光学装置被定位和配置为以一定方式修改入射波前使得其可由光场捕获装置进行采样。

现在参照图8，光场捕获装置20的另一可能示例被示出，并且包括设置于在场景与衍射光栅组件24之间的光学波前26的光路中的色散光学装置84。色散光学装置84被配置为接收进入的光学波前26并使它发生色散。色散光学装置84可由任何光学部件或光学部件的组合体现，其中电磁束在穿过其中时依据波长而经受空间扩展(例如，通过色差)。为简单起见，在图8中，色散光学装置84是聚焦透镜。然而，应理解，在其他实施方案中，色散光学装置84可被提供为包括更多数量的光学部件(例如，聚焦和散焦光学装置)的光学堆叠，在光学波前26撞击衍射光栅组件24之前，这些光学部件起作用以使光学波前(例如，由于它们固有的色差)发生色散。

为了示例性目的，假设在图8中，源自于场景22的光学波前26是含有多重光波长的波的叠加，例如绿色分量(虚线)和蓝色分量(虚线)。光学波前26的每个颜色分量，由于其与色散光学装置84的能量相依相互作用的本质，将遵循略为不同的光程，从而导致由衍射光栅28引入的相位移位的色彩相依性。换句话说，光学波前26的色彩扩展在通过由衍射光栅28所产生的角度相依衍射进行采样时，可被利用来提供有关于光学波前26的粗略的深度信息。在这种情况下，如下文所描述的，深度信息的更精细的细节可从调制分量I_调制，R和I_调制，B的比较分析中获得，当通过滤色器阵列42采样时，调制分量由于它们的光程差而相对于彼此相位移位。也就是说，因为红光和蓝光由于色差而由色散光学装置84不同地聚焦，所以这种差异可为深度获取提供更为精细的细节。

参照图9，示出了用于处理对应于来自场景的光场的光场图像数据的方法200的实施方案的流程图。光场图像数据可利用光场捕获装置20(诸如上述光场捕获装置(例如，图8中的光场捕获装置))或者利用另一光场捕获装置，例如通过类似滚动快门或全域快门的程序来获得。

由图10的光场捕获装置20所捕获的图像数据表示从可观察场景22入射的连续光场或波前26的离散采样。这种离散化可通过各种光学程序和相互作用而发生：由于装置20的有限孔径大小的视野限制、透镜在可聚焦或透射什么信息方面施加的限制、由于像素的大小引起的在子采样分辨率方面的限制等等。在图7的装置20中，用(X，Y，Z)表示的完全连续的光场26被投射到离散的(X，Y)平面并由像素阵列38的像素40针对颜色和空间强度进行子采样。由于提供了衍射光栅组件24，因此还可测量相位分量(Z)。这种相位测量也是全光场26的离散化的子采样，这种离散化是由光栅设计和衍射光栅组件24的布置进行控制。图7的装置20旨在保留在成像中固有地涉及的离散化过程而丢失的一些信息。更具体地说，衍射光栅组件24的基于相位的本质用于对波前的相位产生已知的扰动，波前的相位本将是无法测量的，并且恰好是角度相依的。这增加了可用于描述测得的光场图像数据的额外且独立的变量。

仍然参照图7，入射在图像捕获装置20上的光26首先会遇到起作用以收集和聚焦入射光26的宏观光学元件(在图7中未示出-参见图8，其中装置包括设置在衍射光栅组件前面的聚焦光学装置)。这个光学元件可以是透镜(透射式或反射式)、镜子或光纤电缆。这个光学元件还可通过排除红外光和紫外光来针对可见光波长对光进行光谱滤波，或者，这些光谱区域可由分开的宏观滤光器在光学堆叠中的另一点处被粗略地滤波。

这个光学元件聚焦入射光26的能力与光的起点距离光学元件的焦平面的距离以及光学元件的聚焦能力有关。当入射光从焦距或超焦距或光学无穷远处发出时，其波前通常将有效地紧密聚焦在非常少的像素40上。聚焦不充分或聚焦太强的光将继续在像素阵列38上扩展，从而导致可在多个像素40上展开的弯曲的波前。

经聚焦的光然后遇到设置在成像系统(即，滤色器阵列42和像素阵列38)顶部的衍射光栅组件24。在图7中，衍射光栅组件24是由两个正交取向的衍射光栅集合28a 28b组成的透射式衍射结构，这两组衍射光栅被布置成在行和列两者中交替(棋盘图案)。衍射光栅组件24用于产生具有角度相依的衍射图案的经过衍射的波前36，所述衍射图案与在聚焦光学元件之后所形成的波前的曲率和扩展率有关。

经过衍射的波前36由底层滤色器阵列40进一步光谱滤波成两个或多个离散的光谱分量。这个经过光谱滤波的、经过衍射的波前的强度最终由底层的像素40测量并转换成代表由像素40所捕获的光的强度的电信号。然后可将电信号数字化为“原始”光场图像数据，通常布置或格式化为数据像素的行与列的图像帧。这个光场图像数据通常将为有关于在像素层级采样的原始波前的强度、光谱以及角度信息的集合，其可被总结如下：I＝角度信息(波长、衍射光栅组件位置)+2D(波长、像素位置)。本说明书公开了图像处理技术，其中光场图像数据被处理以重建观察的场景22的光场图像。取决于应用，本技术可从捕获的光场图像数据提供全分辨率2D图像、3D点云、深度图/图像和/或线性重建的光场图像。

返回到图9，在一些实现方式中，图像处理方法200可包括根据主色和至少一个次色将像素数据解析成对应的主色和次色通道的步骤202。将原始光场图像数据分裂或解析为多个个别的光谱或颜色通道会形成个别子图像。步骤202通常发生在硬件读出层级。个别像素被读取，并且滤色器马赛克为已知的。例如，对于使用标准拜尔图案的1200万像素相机，将存在6百万像素的绿色通道、3百万像素的蓝色通道以及3百万像素的红色通道。

如上文提到的，每个颜色通道中的原始光场图像数据可表示为经过调制的函数

，其包括调制分量I_调制和基础分量I_基础。基础分量I_基础表示非相位相依的光学波前，从它可获得场景的常规的2D图像。调制分量I_调制是对由衍射光栅组件24所产生的入射波前的相位相依扰动产生。因此，在标准RGB拜尔图案的情况下，每个颜色通道的强度分布可如下写成

，其中N＝颜色或光谱通道，例如红色(R)、绿色(G)和蓝色(B)-参见等式(3)至(5)。如上文提到的，本技术并不限于拜尔图案，而是可应用于任何适当的马赛克颜色图案。

在衍射光栅组件24包括多个衍射光栅集合28a、28b(例如，具有如图7中的不同的取向、不同的光栅周期或其他不同的特性)的应用中，图9的方法200可包括根据2D光栅阵列的图案来解析或分裂光谱通道的步骤，多个衍射光栅集合28a、28b被布置在所述2D光栅阵列中。例如，在图7中，经过解析的红色、绿色和蓝色通道中的每一者将再次被解析成与衍射光栅的第一集合28a相关联的第一子通道和与衍射光栅的第二集合28b相关联的第二子通道。这个步骤确保竖直取向的光栅28a的数据像素将与水平取向的光栅28b分开并被独立地处理。这可允许竖直和水平取向光栅的响应彼此被独立地处理，这可提高处理速度。

在步骤202的一些实现方式中，光场图像数据被解析成的颜色通道包括主色通道和一个或多个次色通道或辅助颜色通道。在本说明书中，主色通道是在所有像素组中具有像素的颜色通道，使得主色通道的在相邻像素组中的像素在整个周期内对经过衍射的波前36的强度分布的不同的空间部分进行采样。如上文提到的，在本文中像素组是指像素阵列38的沿着垂直于上覆衍射光栅28a、28b的光栅轴30a、30b的线布置的一群像素40。在一些实现方式中，如果存在多于一种颜色在所有像素组中都具有像素，那么可能存在两个或更多个主要通道。

在图7的装置20中，绿色通道是主色通道，这是因为绿色像素存在于所有像素组中。这意味着，在第n个像素组中的绿色像素将对经过衍射的波前36的强度分布的空间相位采样，所述空间相位相对于由在第(n±1)个像素组中的绿色像素所采样的空间相位有180°的相位移位。结果，与更密集地采样的绿色像素相关联的信号I_G含有同相和异相贡献。换句话说，经过衍射的波前36的强度分布的互补相位将由在交替像素组中的绿色像素采样。同时，红色和蓝色通道是次色通道，这是因为所有的红色像素对经过衍射的波前36的强度分布的相同的第一空间相位采样，并且所有的蓝色像素对经过衍射的波前36的强度分布的相同的第二空间相位采样，第一空间相位和第二空间相位相对于彼此相位移位180°。这意味着在相邻像素组中的信号I_R和I_B相对于彼此是反相的。当然，其他的马赛克颜色图案可使用不同的颜色通道作为主要通道和次要通道。

仍然参照图9，方法200的一些实现方式还可包括使用主色通道来提供或提取粗略原始基础分量的步骤204，从所述粗略原始基础分量去除了由衍射光栅组件24施加到信号的调制的局部影响。

在图7的示例中，主色通道是更密集地采样的绿色通道，其可对可从中消除底层衍射图案的调制分量的两个主要相位分量采样。在数学上，这个步骤可涉及通过使用以下等式消除I_调制，G来从

_G×I_基础，G提取I_基础，G：

I_基础，G＝1/2[I_G(组_n)+I_G(组_n+1)]。 (8)

替代地，调制分量I_调制，G可通过傅立叶滤波移除。

方法200还可包括使用主色通道来提供或提取粗略的原始调制分量的步骤206，粗略的原始调制分量将用于获得有关于场景22的粗略的相位/深度信息。

再次，在图7的示例中，主色通道是更密集地采样的绿色通道。在数学上，这个步骤可涉及通过使用以下等式消除I_基础，G来从

_G×I_基础，G提取I_调制，G：

I_调制，G＝1/2[I_G(组_n)-I_G(组_n+1)]。 (9)

调制分量I_调制，G可提供有关于入射光学波前的粗略的角度或相位信息，可从所述粗略的角度或相位信息产生光场图像和/或深度图。如上所述，调制分量I_调制，G逐像素地表示波前的相位差，使得I_调制，G含有关于来自场景22的入射光学波前26的相位或扩展的信息。更具体地说，调制分量I_调制，G是入射波前26的绿色分量的倾斜/角度扩展(例如，由在衍射光栅24组件前面的聚焦光学装置引起-参见图8)以及由衍射光栅组件24所引起的相位偏移的结果。

仍然参照图9，方法200还可包括确定次要蓝色通道和红色通道的原始基础分量I_基础，R和I_基础，B以及原始调制分量I_调制，R和I_调制，B可分别使用I_基础，G和I_调制，G从

_R×I_基础，R和

_B×I_基础，B来获得的步骤208。

在一些实现方式中，在I_G(组_n)与I_G(组_n+1)之间的差异可提供由衍射光栅所施加的调制图案的符号。也就是说，如果I_G(组_n)<I_G(组_n+1)，那么可得出组_n经历相消干涉而组_n+1经历相长干涉的结论，并且反过来也一样，如果I_G(组_n)>I_G(组_n+1)的话。因此，在I_G(组_n)<I_G(组_n+1)，红色像素在组_n中并且蓝色像素在组_n+1中的情形中，可推断出I_R(组_n)<I_基础，R和I_B(组_n+1)>I_基础，B，使得I_基础，R＝I_R(组_n)+I_调制，R并且I_基础，B＝I_B(组_n+1)-I_调制，B。知道[I_G(组_n)-I_G(组_n+1)]的符号因此可允许确定对I_R(组_n)和I_B(组_n+1)应用相长还是相消相位偏移来获得(I_基础，R，I_调制，R)和(I_基础，B和I_调制，B)。

为了获得用于红光的相位偏移的振幅，即，I_调制，R，可使用在图像捕获装置中的(例如，由衍射光栅和聚焦光学装置引起的)绿光的波前扩展与红光的波前扩展之间的关系来从I_调制,G导出I_调制，R。类似地，为了获得用于蓝光的相位偏移的振幅，即，I_调制，B，可使用在图像捕获装置中的(例如，由衍射光栅和聚焦光学装置引起的)绿光的波前扩展与蓝光的波前扩展之间的关系来从I_调制，G导出I_调制，B。在一些实现方式中，有关于波前扩展的精细角度信息可从经相位移位的红色和蓝色次要调制分量I_调制，R和I_调制，B获得，如下文所描述。最后，可使用I_基础，_R＝I_R(组_n)+I_调制，R和I_基础，_B＝I_B(组_n+1)-I_调制来获得红色和蓝色基础分量。

仍然参照图9，方法可包括步骤210，使用原始基础分量I_基础，_G、I_基础，_R以及I_基础，_B来以传统去马赛克算法所使用的类似方式，例如通过使用绿色基础分量I_基础，_G作为用于I_基础，_R和I_基础，_B的归一化的基础集合，来重建场景22的全色2D图像。这个全色2D图像表示独立于相位的原始图像，所述原始图像将由像素阵列38在其前面没有衍射光栅组件24的情况下捕获。2D图像的这种产生可出于以下非限制性原因中的一个或多个原因来执行：为了压缩目的将深度信息与2D信息分离；能够向图像信号处理器(ISP)提供2D图像，正如用于显示目的所预期的；以及2D图像是光场分量中的一个。

仍然参照图9，在一些实现方式中，方法200可包括从主色通道的调制分量I_调制，G，并且任选地从次色通道的调制分量I_调制，R和I_调制，B，来创建场景的深度图的步骤212。这个步骤主要还涉及至少一个颜色径向传递函数，其被校准来从颜色通道的相关联的颜色通道的调制分量提供物距信息。

在一些实现方式中，颜色径向传递函数(CRTF)将随角度而变的衍射光栅的衍射光栅图案与物体距相机的距离相关。换句话说，CRTF可允许量化对衍射光栅的两个相位分量，相位0和相位180，所施加的调制，而无需对场景的事先了解。

仅出于说明的目的而非限制本说明书的范围，考虑相机正在以预定间隔在距相机逐渐增大的距离处捕获白光点源的图像的情形，如图10中所示。在相机没有衍射光栅的情况下，传感器将依据底层拜尔图案对白光的整体强度进行空间-色彩采样，也如图10中所示。对白光源的这种空间-色彩采样导致由每个像素所测得的电压与由给定滤色器阵列部件的光谱相依透射所滤波的白光的光谱强度大致成正比：

像素_红色∝强度(λ)x透射(λ) (10.1)

或像素_红色＝2D(红色) (10.2)

TDM的调制相位分量在像素组之间也将有所变化：

橡素_n∝强度(λ)x透射(λ)x调制_相位0(λ，z) （11.1)

像素_n+1∝强度(λ)x透射(λ)x调制_相位180(λ，z) （11.2）

在拜尔图案化传感器的情况下，其中在底层的滤色器是以比由衍射光栅引起的扰动频率更高的速率来对光进行空间-色彩采样(即像素阵列沿着光栅轴的像素间距小于光栅周期)，如图10中所示三颜色通道变成：

像素_红色＝2D(红色)x调制_相位0(λ，z) (12.1)

像素_绿色1＝2D(绿色)x调制_相位180(λ，z) (12.2)

像素_绿色2＝2D(绿色)x调制_相位0(λ，z) (12.3)

像素_蓝色＝2D(蓝色)x调制_相位180(λ，z) (12.4)

或者，使用以上所开发的型式：

像素_红色＝I_基础R(z)xI_{调制R相位0}(λ，z) (13.1)

像素_绿色1＝I_基础G1(z)xI_{调制R相位180}(λ，z) (13.2)

像素_绿色2＝I_基础G2(z)xI_{调制R相位0}(λ，z) (13.3)

像素_蓝色＝I_基础B(z)xI_{调制R相位180}(λ，z) (13.4)

图11A至图11D中示出了等式12.1到12.4和13.1到13.4的函数形式，其中实线表示在图10中所描述的没有衍射光栅的相机，而虚线表示相同的相机但有衍射光栅。

在拜尔图案化传感器的情况下，可通过使一个颜色通道对两个相位分量采样来去除衍射光栅对图像的影响，或换句话说，提取深度信息：

像素_n＝强度(n)X相位0(z) (14.1)

像素_n+1＝强度(n+1)X相位180(z) (14.2)

这提出简化的主(原)色通道径向传递函数的定义，图12A和图12B中示出了所述主(原)色通道径向传递函数的函数形式：

Δα(z)＝像素_n-像素_n+1＝Δ相位(z) (15)

色彩径向传递函数使用在两个主色通道调制分量之间的差异来从图像中去除强度，从而允许归一化的值与另外两个颜色通道相关，另外两个颜色通道没有两个相位分量并因此其强度随着2D图像以及衍射光栅调制或深度信息而变化。

可针对次色通道执行与图10中设想的实验类似的实验。在这种情况下，可使用已知的均匀的光强度来测量随角度或距离而变的次色通道调制。这将提供次色径向传递函数，如图13中所示。

参照图14，对场景没有事先了解的情况下工作的主要径向色彩传递函数可用于获取归一化的、独立于场景的值来操控次要色彩径向传递函数。一旦知道了用于次色通道的适当调制值，就可在2D图像中校正衍射光栅的效应，并且可将次要和主要径向传递函数值的差异以及它们相应的像素值进行比较以进一步增强深度表现。

通过相同的处理方法，这个概念也可扩展到透镜系统和它的消色差以及色彩相依焦距差异。

在一些实施方案中，可将调制分量I_调制，G中含有的原始波前扩展信息与适当的绿色径向传递函数(GRTF)进行比较以得到场景22的粗略的深度图。更具体地说，I_调制，G可提供相对的相位信息，并且与经过校准的、传感器特定的GRTF的比较可允许从由I_调制，G所提供的相对相位信息获得绝对相位信息。换句话说，这意味着由I_调制，G所提供的相对相位信息可使用GRTF映射到波前扩展，这个波前扩展本身对应于相对于焦平面的物体位置。

任选地，从I_调制，G和GRTF获得的粗略深度图可使用来自次色通道的数据(例如，I_调制，R、I_调制，B和它们相关联的红色径向传递函数RRTF和蓝色径向传递函数BRTF)来进行校正或增强。这意味着三个颜色通道的调制分量I_调制，G、I_调制，R以及I_调制，B的直接比较是通过对每个颜色通道测得的CRTF来完成，以便确立物距。

如上文提到的，CRTF中的每一个提供了随图像捕获装置20的焦平面而变的直接测量的波前扩展的经验拟合。在距离焦平面不同距离处所捕获校准图像的这些稀疏数据集的集合依据它们与相机的距离进行拟合，并且提供随距离焦平面的距离而变的波前的径向延伸扩展的直接经验测量，距离焦平面的距离是由图像的调制分量I_调制，G(主要)和I_调制，R和I_调制，B(次要)所测量并由衍射光栅组件24所采样的。这些函数提供了用于将从I_调制,G、I_调制,R以及I_调制,B所给出的测得的相对相位/波前扩展信息直接映射到距图像传感器的绝对物距，以及因此映射到深度(z)的方法：

其中z是场景22中的给定物体距图像捕获装置的检测平面的距离，RGB 2D图像是由I_基础,G、I_基础，R以及I_基础，B给出的原始2D图像，并且CRTF是来自图像的焦平面的极坐标r、φ、θ、像素数量n(以及因此在像素阵列38上的空间位置)以及入射波长λ的拟合的5D函数。对于由衍射元件和成像装置采样的所有光谱元素，CRTF可在单个图像中被采样。也就是说，所有CRTF可使用白光被一次捕获并且由滤色器阵列进行子采样。这些功能可通过衍射光栅组件24的设计来定制。CRTF可提供衍射图案的微采样的宏观描述，衍射图案是由衍射光栅组件24的衍射光栅28的布置所产生。值得注意的是，在绝对深度实现方式中，可使用通用的RTF或使用特定于颜色的CRTF来提高深度准确度。

将易于理解，虽然上述实现方式适用于像素采样频率大于光栅图案的周期的情境，但在本文描述的处理方法在某情况下可联合其中采样频率小于或等于光栅周期(或者说，其中像素阵列沿着光栅轴的像素间距与光栅周期相同或大于光栅周期)的类似的成像装置使用。在这种情况下，可省略重建2D图像的步骤，因为在光栅的作用下在2D图像中没有创建色彩相依的模糊图案-两个相位分量都已经被包括在每个光栅中。在这样的实施方案中，失去了信号和其相关联的微色彩相依性，但是宏色彩相依性仍可用于提供深度信息。换句话说，不同颜色通道的提供结合相关联的颜色径向传递函数可通过不同颜色通道的比较来提供深度信息，以获得它们在焦点位置的相对差异。

当然，可在不脱离本说明书范围的情况下对以上所描述的实施方案进行许多修改。

Claims

1.一种捕获场景的三维图像数据的方法，所述方法包括：

2.根据权利要求1所述的方法，其中每个颜色径向传递函数将所述相关联的颜色通道的所述经过衍射的光学波前的所述强度分布与用于所述检测步骤的图像捕获装置的对应焦平面相关。

3.根据权利要求2所述的方法，其中所述物距信息是从某一关系获得使得：

其中z是在所述场景中的给定物体与所述图像捕获装置的所述焦平面的距离，2D图像是在步骤f)中重建的所述2D图像，并且CRTF是所述径向传递函数。

4.根据权利要求3所述的方法，其中CRTF的值是从来自所述焦平面的极坐标r、φ、θ、像素数量n以及入射波长λ的拟合函数获得。

5.根据权利要求1至4中任一项所述的方法，其中步骤e)的所述确定次要基础分量和次要调制分量包括使用与所述像素的相邻组的所述主色通道相关联的所述经过衍射的光学波前的所述强度分布来确定所述相邻组是否具有相长干涉偏移或相消干涉偏移。

6.根据权利要求1至5中任一项所述的方法，其中步骤f)的所述重建2D图像包括使用所述主要基础分量归一化所述次要基础分量。

7.根据权利要求1至6中任一项所述的方法，其中步骤f)的所述重建2D图像包括：

8.根据权利要求1至7中任一项所述的方法，其中步骤g)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。

9.根据权利要求8所述的方法，其中创建粗略的深度图包括：

10.根据权利要求8或9所述的方法，其中深度图的所述创建包括使用所述一个或多个次要调制分量和所述相关联的颜色径向传递函数来校正所述粗略的深度图。

11.根据权利要求10所述的方法，其中校正所述粗略的深度图包括：

-从所述相对相位信息和与跟所述相关联的次色通道相关联的所述颜色径向传递函数的比较中获得用于每个次色通道的绝对相位信息。

12.根据权利要求1至11中任一项所述的方法，其中所述颜色马赛克定义所述次色中的两个。

13.根据权利要求1至12中任一项所述的方法，其中所述主色通道是绿色通道，所述次色通道是红色通道和蓝色通道，并且所述相关联的颜色径向传递函数分别定义绿色径向传递函数GRTF、红色径向传递函数RRTF以及蓝色径向传递函数BRTF。

14.根据权利要求13所述的方法，其中所述颜色马赛克是拜尔图案。

15.根据权利要求13或14所述的方法，其中步骤g)的深度图的所述创建包括：

i)通过以下方式创建粗略的深度图：

ii)通过以下方式校正所述粗略的深度图：

16.一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上已存储有用于从源自场景并根据衍射光栅图案来衍射的经过衍射的光学波前而获得所述场景的三维图像数据的计算机可执行指令，所述衍射光栅图案沿着光栅轴具有光栅周期，所述经过衍射的光学波前已使用像素阵列在近场区域中进行衍射，从而获得像素数据，所述像素阵列包括多个光敏像素，每个光敏像素与滤色器相关联，所述滤色器形成颜色马赛克，所述颜色马赛克定义主色和一个或多个次色，所述主色和所述一个或多个次色被布置成使得与所述主色相关联的不同的相邻像素在所述经过衍射的光学波前的完整周期内检测所述经过衍射的光学波前的不同的空间部分，所述像素阵列沿着所述光栅轴具有小于所述光栅周期的像素间距，所述计算机可执行指令在由已经接收到所述像素数据的处理器执行时致使所述处理器执行以下步骤：

a)根据所述主色和所述次色将所述像素数据解析成对应的主色通道和次色通道；

e)使用至少一个颜色径向传递函数创建所述场景的深度图，所述至少一个颜色径向传递函数被校准以从所述颜色通道的相关联的颜色通道的所述调制分量来提供物距信息。

17.根据权利要求16所述的非暂时性计算机可读存储介质，其中每个颜色径向传递函数将所述相关联的颜色通道的所述经过衍射的光学波前的所述强度分布与用于所述检测步骤的图像捕获装置的对应焦平面相关。

18.根据权利要求16所述的非暂时性计算机可读存储介质，其中所述物距信息是从某一关系获得使得：

其中z是在所述场景中的给定物体与所述图像捕获装置的所述焦平面的距离、2D图像是在步骤d)中重建的所述2D图像，并且CRTF是所述径向传递函数。

19.根据权利要求18所述的非暂时性计算机可读存储介质，其中CRTF的值是从来自所述焦平面的极坐标r、φ、θ、像素数量n以及入射波长λ的拟合函数获得。

20.根据权利要求16至19中任一项所述的非暂时性计算机可读存储介质，其中步骤c)的所述确定次要基础分量和次要调制分量包括使用与所述像素的相邻组的所述主色通道相关联的所述经过衍射的光学波前的所述强度分布来确定所述相邻组是否具有相长干涉偏移或相消干涉偏移。

21.根据权利要求16至20中任一项所述的非暂时性计算机可读存储介质，其中步骤d)的所述重建2D图像包括使用所述主要基础分量归一化所述次要基础分量。

22.根据权利要求16至21中任一项所述的非暂时性计算机可读存储介质，其中步骤d)的所述重建2D图像包括：

23.根据权利要求16至22中任一项所述的非暂时性计算机可读存储介质，其中步骤e)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。

24.根据权利要求23所述的非暂时性计算机可读存储介质，其中创建粗略的深度图包括：

25.根据权利要求23或24所述的非暂时性计算机可读存储介质，其中深度图的所述创建包括使用所述一个或多个次要调制分量和所述相关联的颜色径向传递函数来校正所述粗略的深度图。

26.根据权利要求25所述的非暂时性计算机可读存储介质，其中校正所述粗略的深度图包括：

27.根据权利要求16至26中任一项所述的非暂时性计算机可读存储介质，其中所述颜色马赛克定义了所述次色中的两个。

28.根据权利要求16至27中任一项所述的非暂时性计算机可读存储介质，其中所述主色通道是绿色通道，所述次色通道是红色通道和蓝色通道，并且所述相关联的颜色径向传递函数分别定义绿色径向传递函数GRTF、红色径向传递函数RRTF以及蓝色径向传递函数BRTF。

29.根据权利要求28所述的非暂时性计算机可读存储介质，其中所述颜色马赛克是拜尔图案。

30.根据权利要求28或29所述的非暂时性计算机可读存储介质，其中步骤e)的深度图的所述创建包括：

i)通过以下方式创建粗略的深度图：

-从与所述绿色通道相关联的所述主要调制分量获得用于所述绿色通道的相对相位信息；和

ii)通过以下方式校正所述粗略的深度图：

31.一种捕获场景的三维图像数据的方法，所述方法包括：

32.根据权利要求31所述的方法，其中所述像素阵列沿着所述光栅轴具有与所述光栅周期相同或大于所述光栅周期的像素间距，所述方法还包括使用色彩相依的聚焦光学装置聚焦源自所述场景的所述光学波前的预备步骤。

33.根据权利要求32所述的方法，其中每个颜色径向传递函数将所述相关联的颜色通道的所述经过衍射的光学波前的所述强度分布与用于所述检测步骤的图像捕获装置的对应焦平面相关。

34.根据权利要求31至33中任一项所述的方法，其中步骤f)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。

35.根据权利要求34所述的方法，其中创建粗略的深度图包括：

36.根据权利要求34或35所述的方法，其中深度图的所述创建包括使用所述一个或多个次要调制分量和所述相关联的颜色径向传递函数来校正所述粗略的深度图。

37.根据权利要求36所述的方法，其中校正所述粗略的深度图包括：

38.根据权利要求32至37中任一项所述的方法，其中所述主色通道是绿色通道，所述次色通道是红色通道和蓝色通道，并且所述相关联的颜色径向传递函数分别定义绿色径向传递函数GRTF、红色径向传递函数RRTF以及蓝色径向传递函数BRTF。

39.根据权利要求38所述的方法，其中所述颜色马赛克是拜尔图案。

40.根据权利要求38或39所述的方法，其中步骤f)的深度图的所述创建包括：

i)通过以下方式创建粗略的深度图：

ii)通过以下方式校正所述粗略的深度图：

41.一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上已存储有用于从源自场景并根据衍射光栅图案来衍射的经过衍射的光学波前获得所述场景的三维图像数据的计算机可执行指令，所述衍射光栅图案沿着光栅轴具有光栅周期，所述经过衍射的光学波前已使用像素阵列在近场区域中进行衍射，从而获得像素数据，所述像素阵列包括多个光敏像素，每个光敏像素与滤色器相关联，所述滤色器形成颜色马赛克，所述颜色马赛克定义主色和一个或多个次色，所述计算机可执行指令在由已经接收到所述像素数据的处理器执行时致使所述处理器执行以下步骤：

42.根据权利要求31所述的非暂时性计算机可读存储介质，其中所述像素阵列沿着所述光栅轴具有与所述光栅周期相同或大于所述光栅周期的像素间距，所述方法还包括使用色彩相依的聚焦光学装置聚焦源自所述场景的所述光学波前的预备步骤。

43.根据权利要求42所述的非暂时性计算机可读存储介质，其中每个颜色径向传递函数将所述相关联的颜色通道的所述经过衍射的光学波前的所述强度分布与用于所述检测步骤的图像捕获装置的对应焦平面相关。

44.根据权利要求41至43中任一项所述的非暂时性计算机可读存储介质，其中步骤d)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。

45.根据权利要求44所述的非暂时性计算机可读存储介质，其中创建粗略的深度图包括：

46.根据权利要求44或45所述的非暂时性计算机可读存储介质，其中深度图的所述创建包括使用所述一个或多个次要调制分量和所述相关联的颜色径向传递函数来校正所述粗略的深度图。

47.根据权利要求46所述的非暂时性计算机可读存储介质，其中校正所述粗略的深度图包括：

48.根据权利要求42至47中任一项所述的非暂时性计算机可读存储介质，其中所述主色通道是绿色通道，所述次色通道是红色通道和蓝色通道，并且所述相关联的颜色径向传递函数分别定义绿色径向传递函数GRTF、红色径向传递函数RRTF以及蓝色径向传递函数BRTF。

49.根据权利要求48所述的非暂时性计算机可读存储介质，其中所述颜色马赛克是拜尔图案。

50.根据权利要求48或49所述的非暂时性计算机可读存储介质，其中步骤d)中的深度图的所述创建包括：

i)通过以下方式创建粗略的深度图：

ii)通过以下方方式校正所述粗略的深度图：