CN105939442B - 利用傅里叶变换的全光成像系统的校准 - Google Patents

Abstract

本发明公开了全光成像系统的校准。全光成像系统包括被细分为超像素的检测器阵列。由全光成像系统的检测器阵列捕获的全光图像被访问。对于一排超像素，选择通过该排的一切片，所选择的切片的傅里叶变换与通过该排的其它切片相比具有更强的基波分量。基于所选择的切片的基波分量的频率来确定该排超像素的间距。基于所选择的切片的旋转来确定该排超像素的旋转。

Description

利用傅里叶变换的全光成像系统的校准

技术领域

本公开总体上涉及全光成像系统，更特别地，涉及全光成像系统的校准。

背景技术

全光成像系统最近越发引起关注。它可被用来基于对所捕获的全光图像进行数字处理来重新计算物体的不同的焦点或者观察点。全光成像系统，通过利用位于主成像模块的光瞳平面中的多模式滤光器阵列，还在多模式成像方面获得应用。每个滤光器在传感器上成像，从而针对滤光器阵列的每一成像模式有效地产生多路传输(multiplexed)的物体图像。全光成像系统的其它应用包括变景深成像和高动态范围成像。

但是，全光成像系统的体系结构不同于传统成像系统的体系结构，因此需要不同的校准和处理程序。在全光图像的处理中存在若干挑战。首先，微透镜阵列的对准绝非完美，微透镜阵列相对于传感器阵列的旋转效应是相当明显的。该旋转给图像重建带来大量困难，这是因为数据点并不落在规则的取样栅格上。此外，对于不同的应用场合，可能使用不同的焦点设置。对于全光成像系统，焦点的变化影响入射光的角度，而这可能对图像向着其周边的有效间距产生一小的、但可辨识的量的影响。

因此，需要用于全光成像系统的校准技术。

发明内容

一些实施例通过提供一种用于校准全光成像系统的方法克服了现有技术的局限。全光成像系统包括被细分为超像素的检测器阵列。由全光成像系统的检测器阵列捕获的全光图像被访问。对于一排超像素，选择通过该排的一切片，所选择的切片的傅里叶变换与通过该排的其它切片相比具有更强的基波分量。基于所选择的切片的基波分量的频率来确定该排超像素的间距。基于全光图像相对于所选择的切片的旋转来确定该排超像素的旋转。

本公开的其它方面包括对应于上述方法的计算机可读存储介质和系统，以及用于前述的应用。

附图说明

本公开中的实施例具有其它优点和特征，其将从下面的详细描述以及所附权利要求在结合附图考虑时变得更明显，附图中：

图1A是根据一实施例的全光成像系统的示图；

图1B示出根据一实施例的检测器到光瞳平面的投射；

图1C是根据一实施例的图1A的细节；

图1D是进一步示出根据一实施例的图1A的系统的操作的示图；

图2A是示出根据一实施例的具有完美对准的部件的全光成像的示图；

图2B是示出根据一实施例的未对准的微成像阵列的效果的示图；

图3是根据一实施例的用于校准全光成像系统的一个方法的流程图；

图4是根据一实施例的用于选择如图3中所讨论的切片的方法的流程图；

图5A是示出根据一实施例的示例性参考全光图像的示图；

图5B是示出根据一实施例的利用来自图5A中的参考全光图像的一排图像的切片偏移的示图；

图6A是示出根据一实施例的针对-0.006弧度的旋转角且零像素被丢弃而计算的切片的谱功率的示图；

图6B是示出根据一实施例的在‘x’个像素被丢弃的状态下的图6A中的切片的谱功率的示图；

图6C是示出根据一实施例的在‘n’个像素被丢弃的状态下的图6A中的切片的最大谱功率的示图；

图6D是示出根据一实施例的在多于‘n’个像素被丢弃的状态下的图6A中的切片的谱功率的示图；

图7A是示出根据一实施例的在-0.004弧度的旋转角下计算的一部分全光参考图像的切片的谱功率的示图；

图7B是示出根据一实施例的在-0.005弧度的旋转角下计算的那部分全光参考图像的切片的谱功率的示图；

图7C是示出根据一实施例的在-0.006弧度的旋转角下计算的那部分全光参考图像的切片的谱功率的示图；

图7D是示出根据一实施例的在-0.007弧度的旋转角下计算的那部分全光参考图像的切片的谱功率的示图；

图7E是示出根据一实施例的在-0.008弧度的旋转角下计算的那部分全光参考图像的切片的谱功率的示图；

图8A是根据一实施例的由未针对因焦点设置导致的间距变化而进行校准的全光成像系统输出的图像；

图8B是根据一实施例的由针对因焦点设置导致的间距变化而进行了校准的全光成像系统输出的图像。

这些图仅仅是以示例的目的来描述各实施例。本领域技术人员将从下面的讨论容易地认识到，在不偏离这里描述的原理的条件下，可以采用这里所说明的结构和方法的替代实施例。

具体实施方式

图1A-1D是根据一实施例的全光成像系统100的示图。全光成像系统100捕获物体150的全光图像。全光成像系统100包括图像形成光学模块105，该图像形成光学模块105在图1中由单个透镜元件表示，但是应当理解，光学模块105可以包含多个元件和/或非透镜元件(例如，反射镜)。光学模块105形成物体150的传统的光学图像160。光学模块105也可称为主成像模块、子系统、或系统。光学图像160形成在光学模块105的图像平面125。光学模块105的特征在于光瞳117和光瞳平面115，其在图1中由与单个透镜元件共同定位的物理孔径光阑表示。在更复杂的光学模块105中，光瞳117和光瞳平面115不必与光学模块内的任何光学元件共同定位。

在传统的成像系统中，检测器阵列位于图像平面125上以捕获光学图像160。但是，对于图1中的全光成像系统100，情况并非如此。为了说明的目的，光瞳117可被分为不同的区域111w-z(图1A中仅标出区域111w)，以帮助说明下面参照图1B-1D讨论的构思。

再者，微成像元件121的微成像阵列120位于图像平面125上。在图1中，微成像元件121被示出为微透镜。也可以使用其它的元件，例如针孔阵列。检测器阵列130位于微成像阵列120的后面(也就是，光学上的下游)。更具体地，检测器阵列130位于光瞳平面115的共轭平面135中。也就是，每个微成像元件121在共轭平面135处形成光瞳平面115的图像，而该图像由检测器阵列130捕获。

在微透镜的情形下，每个微透镜121在检测器平面135处形成光瞳的图像170。该光瞳的图像由检测器阵列130中的一部分检测器131捕获。每个微透镜121形成它自己的图像170。这样，在检测器平面135处形成的总的全光图像将包括超像素170的阵列，一个微透镜121有一个超像素。此阵列式的成像有效地将检测器阵列细分为超像素133，每个超像素包含多个检测器131。每个微透镜121将光瞳成像到相应的超像素133上，每个光瞳图像然后被相应的超像素中的检测器捕获。

相反地，参照图1B，每个个体的检测器131可以通过微透镜121投射到光瞳平面115中的相应位置119。对于那个特定的检测器131，微透镜121收集来自相应位置119的光。图1B示出检测器131A通过中心微透镜投射到位置119A，检测器131B投射到位置119B。检测器的投影119优选地相对于实际检测器尺寸131放大至少10倍。

对于更多的细节参照图1C，每个微透镜121将(落在光瞳内的)区域111w-z成像到超像素133上。每个个体区域111w仅为区域111的全部的一部分，因此区域111w的图像171w将仅覆盖超像素133的一部分。该部分被称为子像素132，如图1C的细节所示。也就是，每个微透镜121将来自区域111的光引导到相应的子像素132。每个子像素132可包含一个或多个检测器。

每个检测器131收集行进通过一个微透镜121的来自一个区域(例如，区域111w)的光。微成像阵列120位于物体150的共轭平面中，因此在物体150和微成像阵列120之间也存在成像关系。因此，入射在微透镜上的光是源自物体的一部分、而不是整个物体的光。在一些系统中，滤光器阵列位于光瞳平面，每个区域111对应于不同的滤光器。在这种情形下，每个检测器131收集来自物体的相应部分的(如由微透镜的范围确定的)光，如由相应的滤光器111所过滤的。

图1D更详细地示出该构思。为了简洁，省略主透镜105。在这个例子中，物体150被分成三个子物体151A、B、C。类似地，四个区域111w、x、y、z对应于四个不同的滤光器。物体150被成像到微成像阵列120上。更具体地，子物体151B被成像到微透镜121B上。这意味着，每一离开子物体151B的光线将行进通过光瞳(并通过不同的区域111，取决于在光瞳中的位置)并到达微透镜121B。类似地，子物体151A被成像到微透镜121A上，子物体151C被成像到微透镜121C上。

此外，微透镜121B将区域111的全部(至少落在光瞳内的部分)成像到子阵列133B上。这样，区域111w将通过微透镜121B成像到子像素132B(w)上，区域111x将通过微透镜121B成像到子像素132B(x)上，对于其它滤光器/子像素对来说同理，对于其它微透镜121来说也同理。对于完全落在子像素132B(w)内的检测器131，那些检测器将检测通过区域111w的来自子物体151B的光。对于其它子像素132A(w)-132C(z)，情况也是如此。

成像系统是“光场”成像系统，因为由检测器收集的光线不仅是它们在物平面中的位置的函数(如在传统的成像系统中那样)，而且还是它们在光瞳平面中的位置的函数。

再次参照图1A，处理模块180收集来自检测器阵列130的数据并由此对它进行处理。作为一个简单的例子，数字处理单元180可对数据进行重新整理，从而将来自子像素132A(w)、132B(w)和132C(w)的数据收集在一起以针对通过区域(或者滤光器)111w的光形成整个物体的图像。对于区域111x、y、z，也可以这么做。还可以执行其它类型的处理，因为捕获的光场包括关于光瞳平面和物体二者的信息。

全光成像系统100的制造并不总是导致微成像阵列120与检测器阵列130很好地对准。全光图像的处理对微成像阵列120和检测器阵列130之间的未对准敏感。在以前的例子中，为了处理子像素132A(w)、132B(w)和132C(w)，应当知道哪个个体检测器对应于子像素132A(w)、132B(w)和132C(w)。未对准可能影响全光成像系统110内的视图提取。

图2A是示出光瞳117和微成像阵列120与检测器阵列130完美对准时的全光成像的示图。在这个例子中，光瞳117是圆形的并被分为四个区域A-D，例如连同四象限滤光器阵列一起使用的圆形透镜。微成像阵列120是微透镜121的3×3阵列。除了用于每个微透镜的通光孔径之外，微成像阵列120由每个微透镜的中心限定。微透镜完美对准，使得它们的中心位于正方形栅格上，如虚线所示。得到的全光图像175是光瞳的超像素170的3×3阵列(也就是，超像素)。为了清楚起见，放大率和反转被忽略。每个图像170的中心位于一由限定微透镜的中心的正方形栅格确定的正方形栅格上。图2A中的粗的x轴和y轴示出相对于检测器阵列限定的局部坐标系统。对于全光图像175，粗的x轴和y轴示出全光图像175相对于检测器阵列的位置。全光图像175与检测器阵列130的对准确定了哪些检测器对应于哪些超像素和子像素。在图2A中，全光图像175与检测器阵列完美对准。

图2B是示出未对准的微成像阵列120的效果的示图。在该图中，粗的x轴和y轴示出部件的初始对准位置。在图2B中，微成像阵列120被旋转。这使限定每个图像170在全光图像中的位置的正方形栅格旋转。但是，每个图像170本身并不旋转(假设这些微透镜自身是旋转对称的)。也就是，每个图像170由于所划线的正方形栅格的旋转而平移到新的位置。所述旋转可能是由于例如在制造期间微透镜121的未对准所致。不管什么原因所致，该旋转都影响图2A的完美正方形栅格。微透镜的新的中心限定新的栅格。

要指出，图2B中的未对准改变了哪些检测器贡献于哪些超像素和子像素。为了清楚起见，图2A和2B中忽略了放大率。但是，全光图像175的放大率的变化(也就是，虚线正方形栅格的拉伸或缩小)也将改变哪些检测器贡献于哪些超像素和子像素。总的来说，重要的是，准确映射检测器阵列到全光图像，使得全光图像可以被处理成具有好的结果。在许多情形下，该映射优选地通过校准过程完成。

如下面进一步解释的，校准一般包括确定全光图像相对于检测器阵列130的旋转。确定旋转是重要的，因为如果不那样做，在视图提取中会发生错误。校准还主要包括确定超像素相对于检测器阵列130的间距(也就是，尺寸)。在一些实施例中，成像全光系统100对提取的视图执行超分辨率技术。因此，具有精确的间距是重要的，因为它影响超分辨率技术。旋转和间距可能会受到微透镜阵列120相对于检测器阵列130的定位的影响，但是也可能受到其它因素的影响，例如焦点设置的变化。再者，因为要应用超分辨率技术，所以间距在子像素方面具有高粒度(granularity)是必要的。因此，找到准确的间距并以非整数像素项来表示它变得非常重要。

图3是用于校准全光成像系统100的一个方法的流程图。在一个实施例中，图3的过程通过全光成像系统100(例如经由处理模块180)执行。在其它的实施例中，其它的模块可执行该过程的一些或全部步骤。同样地，实施例可包括不同的和/或额外的步骤，或者以不同的顺序来执行这些步骤。

全光成像系统100捕获310参考全光图像。在一些实施例中，全光成像系统对一被均匀照明的物体(例如，在成像时充满检测器阵列130的白色卡片)进行成像，以产生参考全光图像。如上方讨论的，每个微透镜121在检测器平面135处形成光瞳117的超像素170或图像。因此，以上面描述的方式产生的参考全光图像是图像或超像素的二维阵列，每个微透镜121有一个。

不同的一维切片可以通过参考二维全光图像获得。出于校准目的，我们主要关心通过一排超像素获得的一维切片。例如，考虑一排N个超像素。切片可以通过该排超像素的顶部、中间或底部来获得，也就是，在具有最高谱功率的该排内的不同偏移处。切片还可以在图像的不同旋转上获得。例如，一个切片可以从该排的底部左侧延伸到顶部右侧，另一个可以延伸通过该排的中间，再一个可以从该排的顶部左侧延伸到底部右侧。在一些实施例中，排内的偏移是固定的。

校准程序选择320通过参考全光图像的一维切片，该一维切片的傅里叶变换(例如，离散傅里叶变换)在参考全光图像中具有最高的谱功率。“最高”功率一般被实施为在其基波分量中具有更高的谱功率的切片。在一种方法中，这通过首先考虑在一排超像素内的不同偏移处的切片来实现。这些切片彼此平行并跨过该排超像素。参见图5A和5B。选择具有最高谱功率的切片(例如，与其它切片相比具有更强的基波分量的切片)。然后，使参考全光图像相对于所选择的切片旋转至不同的角度以产生第二多个切片。参见图7A-7E。物理上，一切片是已经基于对间距的精确要求而被放大(例如，8倍、16倍放大)的一排原始传感器数据。再次地，选择具有最高谱功率的切片。

使用所选择的切片来确定330全光图像的那部分相对于检测器阵列130的间距和旋转。间距基于所选择的切片的傅里叶变换的基波频率来确定。例如，间距可以通过用与最高谱功率相关联的基波频率除以采样尺寸(a size of the sample)来确定。在一些实施例中，采样尺寸考虑了谱泄漏。

旋转基于所选择的切片的旋转来确定。可以假定全光图像的其余部分具有相同的间距和旋转。替代地(以及可选地)，对于全光图像中的不同位置(也就是，不同排的超像素)，该过程可以被重复340，以确定对于每个位置的间距和旋转。例如，在切片是用于跨过整个全光图像的一排的情况下，可以假设间距和旋转在横穿整个排上是恒定的。或者，可以使用多个切片来跨越整个全光图像。在那种情形下，对于多个切片中的每一个，可以确定不同的间距和旋转(也就是，分段解决方案)。当存在多个采样点时，也可以使用内插法。还可以对于不同的方向来确定间距。x和y的间距因六边形包装而不同，但是可以利用简单的几何形状来确定其它间距。

在步骤320中，可以使用不同的方法学来识别具有最高谱功率的切片。方法学可以包括例如迭代法(例如，下面针对图4中的旋转所讨论的)、穷举搜索、梯度上升、识别一组数字中的最大值的一些其它方法学、或者它们的一些组合。此外，给定一排超像素，识别切片一般使用两个或者更多个变量：切片的偏移、切片的旋转、切片的可能长度。这些变量可以单独地或一起被优化。例如，图4首先选择偏移，然后选择旋转。在替代的方法中，这些变量均可一起优化。

图4是用于如在图3中讨论的选择320一切片的实施例的流程图。在一个实施例中，图4的过程由全光成像系统100(例如，经由处理模块180)执行。在其它的实施例中，其它的模块可执行该过程的一些或全部步骤。同样地，实施例可包括不同的和/或额外的步骤，或者以不同的顺序执行这些步骤。要指出，图4中(以及稍后在图6A-D、7A-E和8A-B)中提供的数据的数据值只是示例性的，这些数据值是用于特定的主透镜(例如，光学模块105)和照相机传感器(例如，检测器阵列130)的。如果使用具有不同的焦点值的一些其它主透镜和/或其它的照相机传感器，则数据值可能不同。

图4所示的过程可以分为两个阶段。第一阶段包括低于410的步骤。该阶段考虑在一排超像素内的不同偏移处的切片。切片彼此平行并跨越该排超像素。一维切片首先被定义402，然后被构造405。具有最高谱功率的切片(例如，与其它切片相比具有更强的基波分量的切片)被选择407。

第二阶段包括步骤410和高于410的步骤。在这个阶段，参考全光图像相对于在第一阶段中选择的切片被旋转到不同的角度，并选择最佳旋转角。在初始分辨率下的初始的一组旋转角被确定410。在一些实施例中，初始的一组旋转角括住(bracket)零弧度并且是在初始的分辨率。初始的分辨率控制相邻的旋转角之间的分离。例如，初始的分辨率可以是0.001弧度，并且一组旋转角可以是[-0.010，-0.009，…0.000…0.009，0.010]。在这个例子中，括号的大小是21个旋转角。在其它的实施例中，括号的大小和/或初始的分辨率可以是更大或者更小的。

参考全光图像相对于该切片旋转412到第一旋转角。当参考全光图像相对于该切片旋转时，该切片对全光参考图像的不同的部分进行采样。因此，每个旋转角对应于对全光参考图像的不同部分进行采样的一切片。

该切片的谱功率被确定415并针对谱泄露被调节。这通过对切片进行离散傅里叶变换(DFT)并利用DFT的输出来确定该切片的谱功率而完成。

注意，因为该切片是有限的，所以切片的DFT在频谱上产生稍微模糊的输出。谱泄漏是因为切片是长度有限的而被引入到DFT的输出中的实质上不期望的频率成分。频率分量一般显示为突然的频率跃变或者一些其它的高频现象，其可能掩盖期望的频率分量。

谱泄漏通过执行如下面关于图6A-6D示例的谱搜寻而被调节。为了执行谱搜寻，针对不同大小的切片样品，确定切片的谱功率(例如利用切片的DFT)，以保证正确的频率分量(例如，对应于微透镜的间距的那些频率分量)被给予谐振的机会，而不被谱泄漏遮蔽。在一些实施例中，对应于切片的开始的起点和对应于切片的末端的终点被确定。包括起点和终点的切片的谱功率被确定。起点向着终点移动一个像素，从而有效从切片丢弃前一起点，然后，确定当前的稍微更小的切片的谱功率。移动起点并确定不断被截短的切片的谱功率的该过程被重复，直到一阈值的像素数已经被丢弃。因此，多个谱功率被产生，每个对应不同尺寸的切片。在一些实施例中，阈值的像素数是这样的，即，使得丢弃掉的切片的部分跨过两个相邻的超像素。多个谱功率中具有频率分量的最高谱功率的谱功率被选择，其对应于全光图像的间距。

返回图4，步骤420判断是否已经针对初始的一组旋转角中的全部旋转角确定了谱功率。如果没有，则使参考全光图像相对于切片旋转425到一不同的旋转角。继续上面的例子，全光图像可以被旋转以使得它相对于在第一阶段中选择的切片处于-.009弧度。该流程然后移动到步骤415并确定在该不同的旋转角下切片的谱功率。该过程被继续，使得针对该切片、在该组旋转角中的全部旋转角下确定谱功率。注意，在这个实施例中，所确定的谱功率都已经针对谱泄露被调节。在替代实施例中，校准模块不调节谱泄漏的谱功率。

与最高谱功率相关联的旋转角被选择430。例如，初始的一组旋转角中具有最高谱功率的旋转角可以是-0.006弧度，其然后被选择(见下面的表1)。步骤435判断所选择的旋转角的分辨率是否大于或等于阈值。阈值决定旋转角被确定的精确程度。例如，阈值可以是0.00001弧度。如果选择的旋转角的分辨率大于或者等于阈值，则过程结束。否则，如果选择的旋转角的分辨率小于阈值，则分辨率增加440，例如10倍。继续上面的例子，分辨率现在将为0.0001弧度，而非0.001弧度。

步骤445确定增加分辨率下的更精细的一组旋转角。更精细的一组旋转角括住以前选择的(在步骤430选择的)旋转角。继续上面的例子，校准模块将以0.0001弧度的增强分辨率下的旋转角括住-0.006弧度(也就是，以前选择的旋转角)。例如，更精细的一组旋转角可以是[-0.0070，-0.0069，…-0.0060…，-0.0051，-0.0050]。

参考全光图像相对于切片旋转450到更精细的一组旋转角中的第一旋转角。例如，全光图像可以被旋转以使得它相对于在第一阶段选择的切片处于-0.0070弧度。流程然后移动到步骤415，并经由步骤415、420、425、430和435确定切片在更精细的一组旋转角中的每个旋转角下的谱功率，并选择430更精细的一组旋转角中具有最高调节功率的旋转角。例如，在更精细的一组旋转角中，-0.0063弧度的旋转角可具有最高的调节的谱功率。再一次地，步骤435判断选择的旋转角的分辨率是否大于或等于阈值，如果选择的旋转角的分辨率仍小于阈值，则流程将移动到步骤440。以这种方式，校准过程能够以迭代方式快速地识别旋转角到非常精细的程度。

一旦校准过程确定435选择的旋转角的分辨率大于或等于阈值，过程结束并移动到图3的步骤330。

例如，表1示出步骤410-450针对特定的主透镜(例如光学模块105)和照相机传感器(例如，检测器阵列130)的特定的参考图像选择具有最高谱功率的旋转角的结果。如果使用具有其它焦点值的主透镜和/或其它的照相机传感器，则这些值可能不同。

表1

从表1中的示例值来看，明显地，校准过程以.001弧度的分辨率开始，并在-0.006弧度的旋转角确定了初始获胜者(也就是，在给定的一组旋转角中具有最高谱功率)。然后使分辨率增大10倍，而后找到在更精细的分辨率下的另一获胜旋转角(也就是，-0.0063弧度)。然后使分辨率增大10倍，并找到位于-0.00626弧度的最终获胜者。

图5A和5B示出图4的第一阶段。图5A是示出示例性的参考全光图像500的示图。在这个例子中，微成像阵列120是六边形包装的微透镜121的9×9阵列。因此，参考全光图像500包括六边形包装的超像素170的9×9阵列。9×9阵列由9排510a-i组成，每排包括用于微成像阵列120中的相应微透镜的每一个微透镜的九个超像素。图4的第一阶段找到参考全光图像500的切片530，该切片的傅里叶变换在参考全光图像中具有最高谱功率。

图5B是示出利用来自图5A中的参考全光图像500的一排510超像素170的切片偏移的示图。切片的谱功率随着它在排中的偏移而变化。参考全光图像500是光瞳117的超像素170的主要周期性阵列(mostly periodic array)。通过一排510超像素170的切片的偏移影响与该切片相关联的谱功率。例如，排510可包括通过排510的顶部部分的切片540a、通过排510的中间的切片540b、以及通过排510的底部部分的切片540c。切片540a、540b和540c的谱功率彼此都不同，并且，对于排510，存在一个切片，该切片与排510内的其它切片相比具有更高的谱功率。例如，切片540b可以具有最高谱功率。要指出，在一些实施例中，切片可以相对于排以非零角度跨越排510或排510的一部分(例如，如果切片相对于排510旋转的话)。

图6A-D示出上面参照图4讨论的谱搜寻中的不同步骤。随着像素被丢弃，谱分量640的功率可以增加和/或减小。谱分量640的最大谱功率出现在被用于如上面参照图3和4所述计算间距的基波频率处。图6A是示出在-0.006弧度的旋转角且零像素被丢弃的条件下计算的切片610的谱功率的示图600。从起点620A到终点630计算切片610的DFT。示图600包括谱功率图615，其示出作为频率的函数的计算出来的DFT的谱功率。谱分量640A具有最强谱功率。

图6B是示出在‘x’个像素被丢弃的状态下图6A的切片610的谱功率的示图660。切片610的该DFT从起点620B计算到终点630。起点620A和起点620B之间的差异在于，‘x’个像素已经从切片610被丢弃。谱分量640B具有比谱分量640A更高的谱分量。

图6C是示出在‘n’个像素被丢弃的状态下图6A的切片610的最大谱功率的示图670。切片610的DFT从起点620C计算到终点630。起点610A和起点610C之间的差异在于，‘n’个像素已经从切片610被丢弃，并且‘n’大于‘x’。要指出，谱分量640C具有比图6A和6B中的640A和640B更高的谱分量。

图6D是示出在多于‘n’个像素被丢弃的状态下图6A的切片610的谱功率的示图680。切片610的DFT从起点620D计算到终点630。起点620A和起点620D之间的差异在于，多于‘n’个像素。要指出，谱分量640D具有比图6C中的640C低的谱分量。因此，在这个例子中，谱分量640C对应于基波频率。

图7A-E示出切片的谱功率如何随着旋转角变化。图7A是示出在-0.004弧度的旋转角下计算的全光参考图像的一部分720的切片710A的谱功率的示图700。示图700包括全光参考图像的部分720和谱功率图730。部分720相对于切片710A旋转-0.004弧度的旋转角，并针对谱泄漏调节切片710A的大小，如前面描述的。谱功率图730示出-0.004弧度的旋转角下的占优谱分量(dominant spectral component)740A。

图7B是示出在-0.005弧度的旋转角下计算的全光参考图像的部分720的切片710B的谱功率的示图750。部分720相对于切片710B旋转-0.005弧度的旋转角。谱功率图730示出-0.005弧度的旋转角下的占优谱分量740B。要指出，占优谱分量740B具有比图7A中的740A的功率更高的功率。

图7C是示出在-0.006弧度的旋转角下计算的全光参考图像的部分720的切片710C的谱功率的示图760。部分720相对于切片710C旋转-0.006弧度的旋转角。谱功率图730示出-0.006弧度的旋转角下的占优谱分量740C。要指出，对于这个例子，-0.006弧度的旋转角产生最大的占优谱分量740C。

图7D和E示出占优分量的功率如何随着旋转角离开-0.006弧度而减小。图7D是示出在-0.007弧度的旋转角下计算的全光参考图像的部分720的切片710D的谱功率的示图770。部分720相对于切片710D旋转-0.007弧度的旋转角。谱功率图730示出-0.007弧度的旋转角下的占优谱分量740D。此外，图7E是示出在-0.008弧度的旋转角下计算的全光参考图像的部分720的切片710E的谱功率的示图780。部分720相对于切片710E旋转-0.008弧度的旋转角。谱功率图730示出-0.008弧度的旋转角下的占优谱分量740E。要指出，图7C中的占优谱分量740C具有比740C、740D以及740A和740B的功率更高的功率。

上面关于图3和4讨论的校准过程的一个有益效果是，它们对于给定焦距的有效间距的任何变化同样有用。对于全光成像系统100，全光图像相对于检测器阵列130的旋转角一般不随焦点变化而变化。但是，焦点的变化影响入射光的角度，这可能影响间距确定。在一些实施例中，全光成像系统100针对不同的可能的焦点设置来执行上面参照图3和4描述的校准，并因此确定用于不同焦点设置的间距值。例如，聚焦30mm处的物体可能导致18.5649个像素的相应间距值，而聚焦70mm处的物体可能导致18.5817个像素的间距值。因此，全光成像系统100能够基于给定的焦点设置来选择正确的间距值。

如果不考虑焦点变化，则可能导致图像的周边周围的褪色和/或图像的其它变形。图8A是由不考虑因焦点设置而引起的间距变化的全光成像系统100输出的图像800。注意，图像的周边的褪色810。相反，图8B是由对因焦点设置而引起的间距变化进行校准的全光成像系统100输出的图像850。

上面描述的全光成像系统100的校准可以由不同的实体和/或在不同的时间执行。例如，校准可以在工厂执行，由全光成像系统100的用户在现场执行，由全光成像装置100自动执行，等等。例如，全光成像系统100可以配置为，在一新的图像形成光学模块105附接到全光成像系统100时执行校准。在一些实施例中，校准微成像阵列120到检测器阵列130的对准以及依据传感器像素大小校准每个微透镜121的间距，都针对每一全光成像系统100系统地执行(例如，经由上面参照图3和4描述的过程)。如果多光谱滤光器被添加或更换到之前校准的全光成像系统100，则全光成像系统100应当重新校准。在一些实施例中，因聚焦环设置对间距参数的校准，对一家族的全光成像系统100执行一次。

在此公开的校准系统和方法具有许多优点。例如，全光成像系统100的校准修正了视图提取并有助于超分辨率技术。此外，校准包括微成像阵列120相对于检测器阵列130的对准，其通过考虑由视图混合产生的不正确视图而修正了视图提取误差。另一个优点是，利用子像素数据，依据传感器像素大小对每个微透镜121的间距的校准有助于超分辨率技术。此外，校准因聚焦环设置引起的间距参数的变化的优点是，通过考虑透镜焦点变化对捕获的光的角度的影响，来修正图像的周边周围的褪色和/或图像的其它变形。

附加构型信息

虽然详细的描述包含许多特定量，但是这些不应解释为限制本公开的范围，而是仅仅用于说明不同的例子和各实施例的不同方面。应当认识到，本公开的范围包括上面没有详细讨论的其它实施例。

例如，各种类型的光学模块可以被使用，包括反射系统和反射折射系统。在一些应用中，光学模块优选地是远心的。最后，诸如“光”、“光学”的术语并不是要被限制到电磁谱的可见或纯光学区域，而是还包括诸如紫外线和红外线的区域(但并不限于此)。

上面描述的一些部分依据算法过程或操作描述了实施例。这些算法描述和表述是数据处理领域的技术人员将它们工作的实质部分有效地传达给本领域中的其它技术人员所常用的。这些操作虽然在功能上、计算地、或逻辑地被描述，但是这些操作应当被理解为通过计算机程序实施，所述计算机程序包括由处理器或等效电路执行的指令、微编码、或类似物。而且，有时将这些功能操作配置称为模块是方便的，而不失一般性。描述的操作及其相关联的模块可以体现为软件、固件、硬件或其任何组合。在一个实施例中，软件模块通过计算机程序产品实施，该计算机程序产品包括含计算机程序编码的非易失的计算机可读介质，所述编码能够通过计算机处理器执行，以便执行所描述的任一或全部步骤、操作或过程。

如在此使用的，提到“一个实施例”或者“一实施例”是指，关于该实施例描述的特定元件、特征、结构或特点被包括在至少一个实施例中。说明书不同地方的出现的短语“在一个实施例中”未必全部指的是同一实施例。

如在此使用的，术语“包括”、“包含”、“具有”或其任何其它变体，意在指非排他的包括。例如，包括一系列要素的过程、方法、物品或者设备并不一定被局限于仅那些要素，而是可以包括其它未明确列出的要素或属于该过程、方法、物品或者设备所固有的要素。进一步地，除非另有相反说明，“或者”指的是包括性的或者，而不是排他性的或者。例如，条件A或B被以下的任一个满足：A为真(或存在)且B为假(或不存在)、A为假(或不存在)且B为真(或存在)、以及A和B都为真(或存在)。

此外，“一”在此被用来描述实施例的元件和部件。这仅仅是为了方便，并且是给予本公开的一般意义。该描述应当被理解为包括一个或者至少一个，单一也包括多个，除非其明显具有相反含义。

本申请是基于2015年3月4日提交的美国在先申请No.14/638,907,并要求其优先权权益，该美国在先申请的全部内容通过参考而引入在此。

Claims (14)

1.一种用于校准全光成像系统的方法，该全光成像系统包括微透镜阵列和检测器阵列，该全光成像系统将检测器阵列细分为超像素，所述方法包括处理器执行以下步骤：

访问由全光成像系统的检测器阵列捕获的全光图像；

对于该全光图像中的一排超像素，选择通过该排的一个一维切片，所选择的切片的一维傅里叶变换与通过该排的其它一维切片相比具有更强的基波分量；以及

基于所选择的切片的基波分量的频率来确定该排超像素的间距，并基于全光图像相对于所选择的切片的旋转来确定该排超像素的旋转，其中，所确定的间距是依据检测器阵列的像素大小的微透镜阵列的间距，所确定的旋转是微透镜阵列相对于检测器阵列的旋转。

2.如权利要求1所述的方法，所述方法进一步包括：

确定所选择的切片和全光图像之间的多个不同的旋转角；

确定在所述多个不同的旋转角中的每一旋转角下的切片的谱功率；和

选择与最高谱功率相关联的旋转角，所选择的旋转角是该排超像素的旋转。

3.如权利要求2所述的方法，其中，确定在所述多个不同的旋转角中的每一旋转角下的切片的谱功率进一步包括针对谱泄漏调节每一谱功率。

4.如权利要求3所述的方法，其中，针对谱泄漏调节谱功率包括：

对于一特定的旋转角，

对于切片的不同的采样尺寸，确定切片的谱功率；和

从所确定的谱功率中选择最高谱功率。

5.如权利要求1所述的方法，其中，基于所选择的切片的基波分量的频率来确定该排超像素的间距是针对多个不同的焦点设置进行的。

6.如权利要求1所述的方法，其中，该切片跨越整排超像素。

7.如权利要求1所述的方法，进一步包括：

利用包括所选择的切片的多个一维切片对全光图像进行采样，其中每个切片通过不同排的超像素；

确定每个切片的谱功率，并且

所选择的切片是具有在所确定的谱功率中最高的谱功率的切片。

8.一种全光成像系统，包括：

以光瞳平面和图像平面为特征的图像形成光学模块；

位于图像平面或其共轭平面的微成像元件的阵列；

位于光瞳平面的共轭平面的检测器阵列，其中所述检测器阵列被细分为超像素；

处理器，配置为用于执行模块；

存储所执行的模块的存储器，所执行的模块包括处理模块，该处理模块配置成用于：

访问由全光成像系统的检测器阵列捕获的全光图像；

对于一排超像素，选择通过该排的一个一维切片，所选择的切片的一维傅里叶变换与通过该排的其它一维切片相比具有更强的基波分量；以及

基于所选择的切片的基波分量的频率来确定该排超像素的间距，并基于全光图像相对于所选择的切片的旋转来确定该排超像素的旋转，其中，所确定的间距是依据检测器阵列的像素大小的微成像元件的阵列的间距，所确定的旋转是微成像元件的阵列相对于检测器阵列的旋转。

9.如权利要求8所述的系统，其中，处理模块进一步配置成用于：

确定所选择的切片和全光图像之间的多个不同的旋转角；

确定在所述多个不同的旋转角中的每一旋转角下的切片的谱功率；和

选择与最高谱功率相关联的旋转角，所选择的旋转角是该排超像素的旋转。

10.如权利要求9所述的系统，其中，处理模块进一步配置成用于：

针对谱泄漏调节所确定的谱功率中的每一谱功率。

11.如权利要求10所述的系统，其中，处理模块进一步配置成用于：

对于一特定的旋转角，

对于切片的不同的采样尺寸，确定切片的谱功率；和

从所确定的谱功率中选择最高谱功率。

12.如权利要求8所述的系统，其中，处理模块进一步配置成用于：

针对多个不同的焦点设置，基于所选择的切片的基波分量的频率来确定该排超像素的间距。

13.如权利要求8所述的系统，其中，该切片跨越整排超像素。

14.如权利要求8所述的系统，其中，处理模块进一步配置成用于：

利用包括所选择的切片的多个一维切片对全光图像进行采样，其中每个切片通过不同排的超像素；

确定每个切片的谱功率，并且

所选择的切片是具有在所确定的谱功率中最高的谱功率的切片。