CN101065955A - 成像装置及其方法 - Google Patents

Abstract

图像数据被处理以有助于聚焦和/或光学校正。根据本发明的一示例实施方式，成像装置采集与传输通过特定焦平面的光对应的光数据。使用有助于确定入射到焦平面一部分上的光的各个部分发散来源方向的方法来采集光数据。与通过光传感器检测的光的值结合地使用该方向信息，由该光表示的图像被选择性地聚焦和/或校正。

Description

成像装置及其方法

相关专利文件

本专利文件依照35U.S.C.§119(e)，要求对2004年10月1日提交的序列号为60/615,179的美国临时专利申请、和2005年1月27日提交的序列号为60/647,492的美国临时专利申请的优先权，两者通过引用整体结合于此。

技术领域

本发明一般涉及成像应用，尤其涉及处理图像数据以聚焦和/或校正图像数据。

背景技术

诸如涉及相机、摄像机、显微镜、望远镜等的成像应用通常受限于所采集的光的量。即，大多数成像装置不记录关于进入该装置的光分布的大部分信息。例如，诸如数码静态相机和摄像机的传统相机不记录关于从外界进入的光分布的大部分信息。在这些装置中，所采集的光常常不能用各种方法处理，诸如聚焦在不同深度(距成像装置的距离)、校正透镜像差或控制视角。

对于静态成像应用，捕获特定场景的典型成像装置通常聚焦在场景中的目标或对象，而该场景的其它部分落在焦点之外。对于视频成像应用，存在类似的问题，其中视频应用中使用的图像采集不能焦点对准地捕获场景。

许多成像应用遭受用于采集光的器件(透镜)的像差。这种像差可包括例如球面像差、色差、畸变、光场弯曲、斜像散、以及彗形像差。对像差的校正一般涉及使用校正光学部件，此时易于向成像装置添加体积、支出和重量。在诸如相机电话和安全相机的一些得益于小型光学部件的应用中，与应用相关联的物理限制不期望包括附加光学部件。

与以上相关联的困难已对包括涉及数字图像的获取和改变的图像应用提出了挑战。

发明内容

本发明涉及克服与成像装置及其实现相关的上述挑战和其它挑战。本发明在许多实现和应用中例示，其中一部分将在下文中概述。

根据本发明的一示例实施方式，用表征被检测光的方向信息来检测该光。对应于再聚焦图像和经校正图像之一或两者，方向信息与被检测光一起用来产生虚像。

根据本发明的另一示例实施方式，对在场景中不同焦深的两个或多个目标进行成像，其中将场景的对应于各个目标的部分成像在不同的焦平面。来自场景的光在一物理焦平面上聚焦并与表征方向的信息一起被检测，其中该光从该方向到达物理焦平面上的特定位置。对于位于未聚焦在物理焦平面上的景深的至少一个目标，确定与物理焦平面不同的虚焦平面。使用被检测光及其方向特性，光的对应于虚焦平面上至少一个目标的聚焦图像的部分被采集并累加以形成该至少一个目标的虚聚焦图像。

根据本发明再一示例实施方式，对场景进行数字成像。对传输到焦平面上不同位置的来自场景的光进行检测，并对在焦平面上不同位置检测到的光的入射角进行检测。被检测光所源自的场景部分的景深被检测，并与所确定的入射角一起用于对被检测光进行数字化重新排列。取决于应用，重新排列包括再聚焦和/或校正透镜像差。

本发明的以上归纳并不旨在描述本发明的各个示出实施方式或每个实现。下文的附图和详细描述更具体地例示了这些实施方式。

附图说明

考虑到下文中与附图相关的本发明的各个实施方式的详细描述，可更透彻地理解本发明，在附图中：

图1是根据本发明一示例实施方式的光线捕捉和处理装置；

图2是根据本发明另一示例实施方式的光学成像装置；

图3是根据本发明又一示例实施方式的图像处理的过程流程图；

图4是根据本发明另一示例实施方式的用于产生预览图像的过程流程图；

图5是根据本发明又一示例实施方式的用于处理和压缩图像数据的过程流程图；

图6是根据本发明另一示例实施方式的用于图像合成的过程流程图；

图7是根据本发明又一示例实施方式的用于图像再聚焦的过程流程图；

图8是根据本发明另一示例实施方式的用于延伸图像中景深的过程流程图；

图9是根据本发明又一示例实施方式的用于延伸图像中景深的另一方法的过程流程图；

图10示出根据本发明另一示例实施方式的分离光线的一个示例方法；

图11示出根据本发明又一示例实施方式的将传感器像素位置映射到相对于所采集数据的L(u，v，s，t)空间中光线的方法；

图12示出根据本发明另一示例实施方式的再聚焦在不同深度的若干图像；

图13A示出根据本发明又一示例实施方式的2D成像配置；

图13B示出根据本发明另一示例实施方式的总计成一个像素的来自一个3D点的光线锥；

图14A-14C示出根据本发明又一示例实施方式的计算具有不同景深的图像的方法；

图15示出根据本发明另一示例实施方式的跟踪来自虚胶片平面上的一个3D点的光线的方法；

图16示出根据本发明又一示例实施方式的得到光的值的方法；

图17A示出根据本发明另一示例实施方式的理想512×512相片；

图17B示出根据本发明又一示例实施方式的用f/2双凸球面透镜产生的图像；

图17C示出根据本发明另一示例实施方式的使用图像校正方法计算的图像；

图18A-18C示出根据本发明又一示例实施方式的跟踪彩色成像系统中共用的光线；

图19A-19F示出根据本发明另一示例实施方式的实现镶嵌阵列的方法；

图20是根据本发明又一示例实施方式在傅立叶域中再聚焦的计算方法的过程流程图；

图21A示出根据本发明另一示例实施方式的三角滤波方法；

图21B示出根据本发明又一示例实施方式的三角滤波方法的傅立叶变换；

图22是根据本发明另一示例实施方式的在频域中再聚焦的方法的流程图；

图23示出根据本发明又一示例实施方式的通过期望焦点的光线集合；

图24A-B示出根据本发明另一示例实施方式的微透镜阵列的一部分的不同视图；

图24C示出根据本发明又一示例实施方式的在光传感器上出现的图像；

图25示出本发明一示例实施方式，其中虚像被计算成就像它出现在虚胶片上；

图26示出根据本发明另一示例实施方式的操纵虚透镜平面的方法；

图27示出根据本发明又一示例实施方式虚胶片可采用任何形状；

图28示出根据本发明另一示例实施方式的成像装置；

图29是根据本发明又一示例实施方式的预计算与各个输出图像像素和各个光线传感器值相关联的权重数据库的过程流程图；

图30是根据本发明另一示例实施方式的使用权重数据库计算输出图像的过程流程图；

图31A-D示出根据本发明又一示例实施方式的作为虚光圈函数选择性实现的各种标量函数；

图32示出根据本发明另一示例实施方式的逐个像素变化的虚光圈函数；

图33是根据本发明又一示例实施方式的用户选择输出图像的一个区域、编辑一图像部分并保存输出图像的过程流程图；

图34是根据本发明另一示例实施方式的用于延伸图像中景深的流程图；以及

图35是根据本发明又一示例实施方式的用于根据接收到的光线传感器数据计算经再聚焦图像的过程流程图。

虽然本发明易于具有各种变体和其它形式，但是其细节通过示例在附图中示出并将详细描述。然而，应该理解，并非旨在将本发明限制于所述的特定实施方式。相反，本发明涵盖落在本发明的精神和范围内的所有变体、等效方案和替换方案。

详细描述

相信本发明对各种不同类型的装置有用，且发现本发明尤其适用于电子成像装置和应用。虽然本发明不必受限于这种应用，但是通过使用上下文讨论各种示例，可以理解本发明的各个方面。

根据本发明的一示例实施方式，使用涉及确定到达位于焦平面的传感器的光的量和方向的方法来检测四维(4D)光场(例如沿诸如自由空间的区域中每条光线传播)。对焦平面中光的二维位置与表征方向的信息一起进行检测，其中该光从该方向到达平面上的特定位置。使用该方法，到达传感器上不同位置的定向照明分布被确定并用于形成图像。在本文的各种讨论中，实现用于感测和/或测量光场的组件或多个组件被称为“光线传感器”或“射线传感器”。

在一应用中，使用具有对入射到成像平面上的光线空间进行采样的光学部件和传感器的成像系统来实现与上文类似的方法，该成像系统具有以不同方法从测量光线集合呈现图像的计算功能。取决于实现，组合或单独地使用不同的方法来实现光学部件、传感器和计算功能。例如，具有将图像聚焦在位于成像平面的光传感器阵列(多个传感器)上的透镜(光学部件)的相机可用于对光线空间进行采样。从光传感器阵列的输出与计算功能(例如在相机内部和/或外部的处理器上)一起用来呈现图像，诸如通过计算聚焦在不同深度或具有不同景深的相片，和/或通过计算校正透镜像差以产生更高质量的图像。

在另一示例实施方式中，成像系统的光学部件和传感器部件将光线传导在传感器元件上，使各个传感器元件感测包括从特定方向发散的光线的光线集合。在许多应用中，该光线集合是在空间和方向上局域化的一束光线。对于许多应用，该束光线随着光学部件和传感器分辨率增加而汇聚成单个几何光线。这样，本文中的不同描述部分将由传感器元件感测的值称为“光射线”或“光线”或简单地“射线”，即使通常它们并不局限于几何光线。

现在参照附图，图28示出根据本发明另一示例实施方式的成像装置2890。该成像装置2890包括主透镜2810，以及对到达传感器上不同位置并来自不同入射方向的光的值进行测量的光线传感器。在本文的上下文中，可通过检测到达传感器上不同位置的光以及诸如强度的光的特性来产生数值，以实现对光的值的测量。

图1示出根据本发明另一实施方式的成像系统100。该成像系统100包括具有主透镜110、微透镜阵列120和光传感器阵列130的成像装置190。在该情形中，微透镜阵列120和光传感器阵列130实现一光线传感器。虽然图1示出一特定主透镜110(单个元件)和特定微透镜阵列120，但是本领域技术人员应该意识到：通过例如替换所示出的主透镜和/或微透镜阵列，各种透镜和/或微透镜阵列(目前已有或即将开发)可用类似的方法选择性地实现。

来自成像场景中对象105上单个点的光线可到达微透镜阵列120的焦平面上的单个聚焦点。例如，当对象105上成像点在距主透镜与从微透镜阵列到主透镜的距离共轭的距离处时，如图所示距离“d”约等于距离“s”。在该汇聚点上的微透镜122将这些光线根据光的方向分开，从而在微透镜下的光传感器上产生主透镜110的光圈的聚焦图像。

光传感器阵列130对入射到其上的光进行检测并产生通过一个或多个不同部件处理的输出。在本申请中，输出光数据被传递到传感器数据处理电路140，该电路使用该数据以及关于提供数据的各个光传感器的位置信息来产生场景(例如包括对象105、106和107)的图像。传感器数据处理电路140用例如计算机或在共用部件(例如芯片)或不同部件中实现的其它处理电路实现。在一实现中，传感器数据处理电路140的一部分在成像装置390中实现，而另一部分在外部计算机中实现。使用检测光(以及例如检测光的特性)以及到达微透镜阵列的光的已知入射方向(如使用各个光传感器的已知位置计算的)，在形成图像时传感器数据处理电路140选择性地再聚焦和/或校正光数据(其中再成像可校正)。以下参照或不参照其它附图详细描述处理被检测光数据的各种方法。这些方法可用与以上一致的传感器数据处理电路140选择性地实现。

成像系统100的不同部分取决于特定应用而在共用或单独的物理装置中选择性地实现。例如，当用各种应用实现时，微透镜阵列120和光传感器阵列130可组合成一共用装置180。在一些应用中，微透镜阵列120和光传感器阵列130在共用芯片或其它电路装置上耦合在一起。当用诸如类似相机装置的手持式装置实现时，主透镜110、微透镜阵列120和光传感器阵列130选择性地组合成与手持式装置集成的共用成像装置190中。此外，某些应用涉及在具有光传感器阵列130的共用电路装置中(例如在共用芯片上)实现传感器数据处理电路140的部分或全部。

在一些应用中，成像装置100包括用于向捕捉图像的用户呈现预览图像的预览装置150。该预览装置被通信耦合，以接收来自光传感器阵列130的图像数据。预览处理器160处理该图像数据以产生在预览屏幕170上显示的预览图像。在一些应用中，预览处理器160与图像传感器180一起在共用芯片上和/或共用电路中实现。在如上所述传感器数据处理电路140与光传感器阵列130一起实现的应用中，预览处理器160用传感器数据处理电路140选择性地实现，其中光传感器阵列130采集的图像数据的部分或全部用于产生预览图像。

使用与用于产生最终图像的相比相对较少的计算功能和/或更少的数据可产生预览图像。例如，当用诸如相机或手机的手持式成像装置实现时，不实现任何聚焦或透镜校正的预览图像就足够。这样，期望实现相对便宜和/或较小的处理电路以产生预览图像。在这些应用中，预览处理器通过例如使用上述第一延伸景深计算方法，以相对较低的计算成本和/或使用更少的数据来产生图像。

取决于应用，成像系统100可用各种方式实现。例如，虽然微透镜阵列120作为示例被示为具有若干可分辨微透镜，但是该阵列通常使用多个(例如几千、几百万)微透镜实现。光传感器阵列130通常包括比微透镜阵列120相对更精细的间距，其中对于微透镜阵列120中的各个微透镜存在若干光传感器。此外，微透镜阵列120中的微透镜和光传感器阵列130中的光传感器通常定位成通过各个微透镜传播到光传感器阵列的光不与传播通过相邻微透镜的光交叠。

在不同应用中，主透镜110沿其光轴平移(如图1所示在水平方向)，以聚焦在位于由主透镜和示例成像目标105之间例示的期望深度“d”的感兴趣目标上。通过示例，为讨论目的示出来自目标105上单个点的光线。这些光线传输到微透镜阵列120焦平面上的微透镜122处的单个汇聚点。微透镜122根据方向分开这些光线，从而在微透镜下的像素阵列中像素集132上产生主透镜110光圈的聚焦图像。图10示出一示例方法，该方法分开光线使得从主透镜1010上的一个点发散并到达同一微透镜(例如1022)的表面上任何位置的所有光线由该微透镜传导以汇聚在光传感器(例如1023)上的同一点。图10中示出的该方法可例如与图1相关地实现(即用主透镜1010实现主透镜110、用微透镜阵列1020实现微透镜阵列120、以及用光传感器阵列1030实现光传感器阵列130)。

在微透镜阵列122中特定微透镜下形成的图像表示系统对于成像平面上该位置的方向分辨率。在一些应用中，通过使微透镜聚焦在主透镜的主平面而有助于锐化微透镜图像来增强方向分辨率。在某些应用中，微透镜比微透镜阵列与主透镜110之间的间隔至少小两个量级。在这些应用中，主透镜110在微透镜的光学无限距离(optical infinity)处有效；为了聚焦微透镜，将光传感器阵列130置于位于微透镜焦深处的平面内。

主透镜110与微透镜阵列120之间的间隔“s”选择成在微透镜景深内实现锐化图像。在许多应用中，该间隔精确到约Δx_p·(f_m/Δx_m)内，其中Δx_p是传感器像素的宽度，f_m是微透镜的焦深且Δx_m是微透镜的宽度。在一特定应用中，Δx_p为约9微米，f_m为约500微米且Δx_m为约125微米，且微透镜阵列120与光传感器阵列130之间的间隔精确到约36微米。

使用各个微透镜的一个或多个及其配置实现微透镜阵列120。在一示例实施方式中，具有潜在空间变化性质的微透镜平面被用作微透镜阵列120。例如，微透镜阵列可包括均匀和/或不均匀、正方形外延或非正方形外延、有规律分布或无规律分布、以及在可重复或不可重复的图案内的透镜，以及可任选地遮挡的部分。微透镜自身可以是凸面、非凸面，或者具有任意外形以实现光的期望物理方向，且外形可随平面上的微透镜逐个地变化。可选择性地组合不同的分布和透镜外形。这些不同实施方式提供在阵列的一些区域空间较高(相应地较低的角度)、而在其它区域角度较高(相应地较低的空间)采样图案。这种数据的一种用途是便于插值以匹配4D空间中的期望空间和角度分辨率。

图24A示出根据本发明另一示例实施方式的微透镜阵列的一部分的视图(视线垂直于平面)。微透镜是正方形的并有规律地分布在阵列中。

图24B示出根据本发明另一示例实施方式的微透镜阵列的一部分的视图。微透镜平面分布是没有规律或不重复的，且微透镜为任意形状。

图24C示出与本发明的另一示例实施方式相关的、通过使用如图24A所示具有凸面外形的分布和具有圆形光圈的主透镜，在光传感器上出现的图像。

在其它示例实施方式中，使用较大和较小的微透镜的常规镶嵌。在一实现中，对得到的光传感器数据进行插值以提供具有镶嵌中一个或多个微透镜的最大空间和角度分辨率的均匀采样。

图19A-19F示出与本发明的一个或多个示例实施方式相关地、实现诸如上述镶嵌阵列的方法。图19A是示出多个微透镜的示例相关尺寸和排列的俯视平面图。图19B是通过图19A中的各个微透镜投射之后在光传感器阵列上形成的图像形状的视图。图19C是图19A中阵列的横截面图，示出了微透镜具有相同的光圈值(f-number)且其焦点在同一平面上。这需要较小的微透镜比较大的微透镜放置成更靠近焦平面。这导致出现在各个微透镜后的主透镜图像较大却无重叠，且聚焦在置于包含焦点的平面处的光传感器上。

图19D示出根据本发明的另一示例实施方式的在包含主透镜1910、镶嵌微透镜阵列1920和光传感器装置1930的完整成像装置中实现的图19A和19C中所示微透镜的横截面图。注意，虽然附图示为有若干个微透镜以及每个微透镜有若干像素，但是微透镜和像素的实际数目可用不同方法选择，诸如通过确定给定应用的分辨率要求并实现每个的适当数目。

图19E是表示从主透镜1910上的u开始、并在微透镜阵列1920上的s结束的光线空间的笛卡尔光线图(虽然光线空间是4D的，但是为清楚起见，光线空间被示为2D)。由图19C所示的各个光传感器(标识为A-P)求和的光线集合在图19D中的笛卡尔光线图示出。在完全的4D光线空间中，各个光传感器结合4D光线盒。与较小的微透镜下的光传感器相比，较大的微透镜下的光传感器4D盒在(u，v)方向轴具有一半的宽度(两倍的分辨率)，而在(x，y)空间轴具有两倍的宽度(一半的分辨率)。

在另一示例实施方式中，光传感器值被插值到规则网格中，使所有轴中的分辨率与所有轴中的最大分辨率匹配。图19F示出这种方法，其中通过插值附近盒值对表示各个光传感器值的光线盒进行分割。在所示的2D光线空间中，每个盒被分成两个，但是在4D空间中，每个盒被分成四个(沿其两条较长边的每条一分为二)。在一些实施方式中，经插值的值通过分析邻近值来计算。在另一实施方式中，插值实现为期望值邻域的初始、未分割盒的值的加权和。

在一些应用中，以取决于基于邻域中值的判定函数的方式实现加权。例如，加权可沿在4D函数空间中最不可能包含边缘的轴插值。该值附近的边缘的可能性可根据在这些位置处函数值的梯度大小以及该函数的拉普拉斯算子成分估计。

在另一示例实施方式中，各个微透镜(例如在图19D中的阵列1920或类似的中)向内倾斜使它们的光轴都以主透镜的光圈为中心。该方法减小了在微透镜下向阵列的边缘形成的图像中的像差。

再次参照图1，主透镜110和微透镜阵列120中微透镜的光圈尺寸(例如透镜中开口的有效尺寸)也选择成适于其中实现成像配置100的特殊应用。在许多应用中，相对光圈尺寸被选择成所采集的图像在不重叠的情况下尽可能地大(即，从而光不会不合需要地重叠在相邻光传感器上)。该方法通过匹配主透镜和微透镜的光圈值(聚焦比数，即透镜的光圈与有效焦距的比值)。在此情形中，以光圈值表示的主透镜110的有效焦距是主透镜光圈的直径与主透镜110和微透镜阵列120之间的距离“s”之间的比值。在其中主透镜110的主平面相对于微透镜阵列120所在的平面平移的应用中，选择性地更改主透镜的光圈以保持微透镜阵列中各个微透镜下形成的图像的比率以及因而尺寸。在一些应用中，诸如正方形光圈的不同主透镜光圈形状用于实现期望的(例如有效的)微透镜阵列下光传感器表面上的图像阵列包。

以下讨论与本发明的一个和多个示例实施方式相关地涉及图1的成像装置100的普通应用。考虑成像装置100内的两平面(two-plane)光场“L”，L(u，v，s，t)表示沿与主透镜110在(u，v)相交、且与微透镜阵列12的平面在(s，t)相交的光线传播的光。假设微透镜阵列120中的理想微透镜和光传感器阵列130中对齐网格上的理想光传感器(例如像素)，传输到光传感器的所有光也传输通过微透镜阵列120中的其正方形母微透镜，并传输通过主透镜110上光传感器的共轭正方形。主透镜110和微透镜上的这两个正方形区域指定光场中小的四维盒，且光传感器测量由该盒表示的光线集合中光的总量。相应地，各个光传感器检测光场中的这种四维盒，因此由光传感器阵列130检测的光场是L(u，v，s，t)的盒过滤、直线采样。

图11示出根据本发明另一示例实施方式的将传感器像素位置映射到相对于所采集数据的L(u，v，s，t)空间中光线的方法。图11所示的和本文讨论的方法可以例如用于图1，其中光传感器阵列130中的各个光传感器对应于传感器像素。右下角的图像1170是从光线传感器(光传感器)1130读取的原始数据的下采样(downsample)，并具有在一圆形微透镜下形成的被圈出的图像1150。左下角的图像1180是围绕被圈出微透镜图像1150的原始数据部分的放大表示，其中一个光传感器值1140在微透镜内圈出。由于该圆形图像1150是透镜光圈的图像，因此盘内所选像素的位置提供主透镜上所示光线110起始位置的(u，v)坐标。传感器图像1170内微透镜图像1150的位置提供光线1120的(x，y)坐标。

虽然相对于附图(以及其它示例实施方式)讨论了传感器元件到光线的映射，但与各个传感器元件相关联的值选择性地由传输通过光学部件到达各个特定传感器元件的光线集合的值来表示。因此在图1的环境中，光传感器阵列中的各个光传感器可被实现，以提供表示传输通过主透镜110和微透镜阵列120到达光传感器的光线集合的值。即，各个光传感器响应于入射到光传感器上的光产生输出，且各个光传感器相对于微透镜阵列120的位置用于提供关于入射光的方向信息。

在一示例实施方式中，微透镜阵列120的分辨率被选择成匹配特定应用中最终图像的期望分辨率。光传感器阵列130的分辨率被选择成使各个微透镜按需覆盖尽可能多的光传感器，以匹配该应用的期望方向分辨率，或者可实现的光传感器的最好分辨率。这样，考虑到诸如成像类型、成本、复杂性和用于达到特定分辨率的可用设备，成像系统100(以及本文讨论的其它系统)的分辨率选择性地调整成适于特定应用。

一旦图像数据经由光学部件和传感器(例如使用图1中的成像装置190)捕获，就可实现多种计算功能和装置以选择性地处理图像数据。在本发明的一示例实施方式中，不同的光传感器集合捕捉来自各个微透镜的分开光线、并将关于所捕获光线的信息传送到诸如处理器的计算部件。场景的图像根据所测量的光线集合计算。

在图1的环境中，实现传感器数据处理电路140以处理图像数据并计算包括目标105、106和107的场景图像。在一些应用中，也实现预览装置150以用预览处理器160产生预览图像，其中预览图像显示在预览屏幕170上。预览处理器160选择性地通过传感器数据处理电路140实现，其中以例如与以下讨论的方法一致的方式产生预览图像。

在另一实施方式中，对于从传感器装置输出的图像中的各个像素，计算部件对测量光束的子集进行加权并求和。此外，计算部件可对例如使用图像合成方法以上述方式计算的图像集合进行分析和组合。虽然本发明不必限于这种应用，但本发明的各个方面可通过对这种计算部件的若干具体示例实施方式的讨论来理解。

与各个示例实施方式相关，图像数据处理涉及再聚焦正在捕捉的图像的至少一部分。在一些实施方式中，输出图像根据聚焦于特定场景的期望元素上的照片产生。在一些实施方式中，经计算的照片被聚焦于全域(场景)的特定期望深度，且散焦模糊与常规相片一样随着远离期望深度而增加。不同焦深可选择成对场景中不同目标聚焦。

图12示出再聚焦在不同深度、从根据本发明另一示例实施方式测量的单个光场计算的若干图像1200-1240。图12所示的方法可例如使用诸如如图1所示的成像装置实现。

图13A和13B根据本发明另一示例实施方式示出再聚焦方法。该方法可例如通过诸如图1中传感器数据处理电路140的成像系统的计算/处理部件来实现。来自成像装置的各个输出像素(例如1301)对应于虚胶片平面1310上的三维(3D)点(例如1302)。该虚胶片平面1310位于主透镜1330之后，其中该平面1310与全域(未示出)中的期望焦平面光学共轭。即，虚胶片平面1310位于这样的位置：胶片平面期望定位在此位置以捕捉简单二维(2D)图像(例如该位置可与照片胶片对常规相机定位以捕获2D图像的位置相比)。通过按方向分离光(例如使用图1的微透镜阵列120)，可选择性地计算到达虚胶片平面1310的光。这样，输出像素1301的值可通过对汇聚在相应3D点1302上的光线锥1320求和来计算。这些光线的值可根据由光线传感器1350采集的数据收集。为了查看简单，图13A示出2D的成像配置。在图13B中，在更靠近主透镜时使用所选全域焦深，为同一像素1301对来自3D点1340的光线锥1330求和。

在一些实施方式中，所需光线值不与由光线传感器捕获的离散样本位置精确对应。在一些实施方式中，光线值被估算为所选紧密样本位置的加权和。在一些实现中，该加权方法对应于根据离散传感器样本重建连续四维光场的四维滤波器核(filter kernel)。在一些实现中，该四维滤波器通过对应于四维空间中16个最邻近样本的四线性插值的四维帐篷函数(tent function)来实现。

图35是根据本发明另一示例实施方式用于根据接收到的光线传感器数据计算再聚焦图像的流程图。在框3520，从光线传感器数据3510提取子光圈图像集，其中各个子光圈图像由像素在其微透镜下相同相对位置处的各个微透镜图像下的单个像素组成。在框3530，组合子光圈图像集以生成最终的输出图像。可任选地将子光圈图像彼此相对地平移并合成以使期望平面聚焦。

在另一示例实施方式中，与输出图像边缘附近的像素相关联的暗化得以减轻。例如，对于输出图像边缘附近的像素，一些所需光线未被捕获在测量光场中(它们可超出诸如图1中微透镜阵列120和光传感器阵列130的成像装置的空间或方向边界)。对于该暗化是不期望的应用中，像素值通过将与像素关联的值(例如由光传感器阵列捕获的)除以实际上在测量光场中找到的光的部分来归一化。

如上所述，对不同的应用选择各种不同计算方法。以下讨论阐述各种这样的方法。在一些应用中，对附图进行参照，且在其它应用中，对诸方法进行一般地描述。在各个这些应用中，特定方法可使用诸如图1所示的传感器数据处理电路140的计算型部件实现。

在另一示例实施方式中，特定成像系统的各个输出像素的成像方法对应于虚相机模型，其中虚胶片被任意和/或选择性地转动或变形、并且虚主透镜光圈按需相应地移动并改变其大小。作为示例，图25示出一示例实施方式，其中如果虚像已在被允许与物理主透镜平面2510不一致的虚透镜平面2530上任意大小的虚透镜光圈2520之后出现，则如同已出现在虚胶片2560上一样地计算虚像。通过对传输通过虚光圈2520并汇聚在点2550、根据其相交点和在光线传感器2570上的入射方向指定的光线求和来计算对应于虚胶片2560上点2550的像素值。

图26示出根据本发明另一示例实施方式的操纵虚透镜平面的方法。虚透镜平面2630和/或虚胶片平面2660选择性地相对物理主透镜或其它基准倾斜。使用该方法计算的图像具有与成像平面不平行的所得全域焦平面。

在另一示例实施方式中，如图27中所例示，虚胶片2560无需为平面，而可以采用任何形状。

各种方法涉及不同光圈的选择性实现。在一示例实施方式中，虚透镜平面上的虚光圈通常是圆孔，而在其它示例实施方式中，虚光圈通常是非圆形的和/或实现为具有任何形状的多个不同区域。在这些或其它实施方式中，“虚光圈”的概念可被一般化，而在一些应用中，对应于涉及光数据处理以对应于可通过所选“虚”光圈接收的光的方法。

在各个实施方式中，虚光圈方法通过虚透镜平面上预定却任意的函数实现。图31A-31D示出结合一个或多个示例实施方式选择性地实现为虚光圈函数的不同标量函数。各个函数包括例如平滑地变化值(如图31B例示)、实现多个不同区域(如图31A例示)、以及采用负值(如图31D例示)。为了计算虚胶片上点的值，从虚透镜上不同点出发并汇聚在虚胶片上的点的所有光线通过虚光圈函数加权并求和。在各个其它实施方式中，最终值通过取决于光线值的任意计算函数来计算。例如，计算函数可不对应于通过虚光圈函数的加权，但可包含取决于对光线值计算的测试函数值的不连续程序分支。

在其它示例实施方式中，由于可与本文所述的其它实施方式相结合地实现，因此可独立地选择计算输出像素的方法。例如，在一示例实施方式中，包括虚透镜平面的取向和虚光圈尺寸的参数对各个输出像素连续地变化。在另一示例中，如图32所示，用于积分各个输出像素的光线的虚光圈函数逐个像素地变化。在输出图像3200中，像素3201使用虚光圈函数3210而像素3251使用虚光圈函数3250。

在另一示例实施方式中，虚光圈函数逐个像素地变化。在一具体实施例中，将该函数选择成遮挡掉来自特定场景不期望部分的光线，诸如前景中的不期望目标。

在又一示例实施方式中，用户交互地选择虚光圈参数，且根据该选择处理光数据。图33是示出一个这样的示例实施方式的过程流程图。在第一框3310中，该过程从光线传感器接收数据。在框3320中，用户选择输出图像的区域；在框3330中，用户选择图像形成方法；而在框3340中，用户更改所选方法的参数、并在视觉上检验在框3350计算的场景图像(例如在计算机监视器上)。框3360检查用户是否对图像部分完成了编辑以及是否返回到框3330。框3370检查用户是否对待编辑的图像部分完成了选择以及是否返回到框3320。如果编辑完成，则框3380保存最终的编辑图像。

在另一示例实施方式中，通过同时对一个以上目标聚焦来计算具有延伸景深的图像。在一实现中，输出图像的景深通过用缩小光圈(尺寸减小)的主透镜光圈的常规图形成像而得到延伸。对于各个输出像素，使用通过比在光线感测中使用的光圈小的光圈(在虚透镜平面上)会聚在输出像素上的光线进行求值。

在涉及图1所示的示例系统100的一实现中，景深通过提取各个微透镜图像下的光传感器值而得到延伸，其中各个光传感器置于各个微透镜图像内相同的相对位置。对于图1，景深的延伸产生了一图像，其中不仅目标105在焦点上(由于距离“d”和“s”之间的相关性)而且可能由于散焦而模糊的诸如对象106和107的在不同深度处的物体也在焦点上。与对所得图像任选地下采样相结合的延伸景深的方法是计算有效的。该方法在其中随图像产生的噪声可以忍受的应用中被选择性地实现，例如其中所产生的图像是为了预览目的(例如用于在图1的预览屏幕170上显示)。以下讨论的图4进一步涉及产生预览图像的方法。

图14A和14B示出结合一个或多个示例实施方式计算具有不同景深的图像的方法。图14A示出通过再聚焦计算的图像和特写。注意到特写中的脸由于较浅的景深而模糊。图14B的中间行示出用诸如上一段落所述的延伸景深方法计算的最终图像。

图8是根据本发明另一示例实施方式的延伸图像中景深的另一计算方法的流程图。在框810中，再聚焦在特定场景所有焦深的一图像集被再次聚焦。在框820，对于各个像素，根据具有最高局域对比度的一图像集确定一个像素。在框830，具有最高局域对比度的像素被组成一最终虚像。使用该方法，使用相对大量的像素(例如相对于为微透镜阵列中的各个微透镜选择单个像素(光传感器))可获得期望的信噪比(SNR)。参照图14C，所示的示例图像是使用与结合图8所述的相类似的方法产生的，并呈现相对较低的图像噪声。

在一可选实施例中，按照各个再聚焦图像的虚胶片平面与图像的光传输到虚胶片平面所经由的主透镜主平面之间的距离，待计算的再聚焦图像的最小集合定义如下。最小距离设定在主透镜的焦距，而最大距离设定在场景中最近目标的共轭深度。各个虚胶片平面之间的间距不大于Δx_mf/A，其中Δx_m是微透镜的宽度，f是主透镜和微透镜阵列之间的间距，而A是透镜光圈的宽度。

在另一示例实施方式中，多个再聚焦图像被组合，以在各个最终像素处产生延伸景深图像来保留在再聚焦图像集的任一个中最佳聚焦的像素。在另一实施方式中，待保留的像素通过增强与邻近像素的局域对比度和相干性来进行选择。对于关于成像的一般信息以及关于涉及增强局域对比度的成像方法的具体信息，可以参考ACM Transaction on Graphics的2004年第23卷3号292-300页，A.Agarwala、M.Dontcheva、M.Agrawala、S.Drucker、A.Colburn、B.Curless、D.Salesin、M.Cohen的“Interactive Digital Photomontage(交互数字图片集锦)”，该文章通过应用整体结合于此。

在本发明的另一示例实施方式中，延伸景深图像如下进行计算。对于各个输出图像像素，再聚焦计算在像素处进行以在不同深度聚焦。在各个深度，计算汇聚光线均一性的度量。选择产生(相对)最大均一性的深度并对该像素值保持该深度。使用该方法，在图像像素焦点对准时，所有其光线源自场景中的同一点，并因此有可能具有类似的色彩和强度。

虽然可以用不同方法来定义均一性度量，但是对于许多应用，使用如下均一性度量：对于各个光线的各个色彩分量，根据中心光束(以最靠近主透镜光轴的角度到达像素的光线)的相应色彩分量计算色彩强度的方差。对所有这些方差求和，并将均一性取为该和的倒数。

图34是根据本发明另一示例实施方式的延伸图像中景深的流程图。在框3410，在待计算的虚像中选择像素。在框3420，将该像素再聚焦在多个焦距，并计算组合成再聚焦在各个深度的光线的均一性。在框3430，与被组合光线的最大均一性相关联的再聚焦像素值被保留为最终输出图像像素值。该过程在框3440继续，直到所有像素被处理。

在另一示例实施方式中，上述过程被调整成使最终像素值的选择考虑到相邻像素值、以及相组合来计算这些像素值的关联光线的均一性。

在本发明又一示例实施方式中，景深通过将各个像素聚焦在该方向上最接近物体的深度而得到延伸。图9是根据一个这种示例实施方式的用于延伸图像中景深的流程图。在框910，选择待计算的最终虚像中的像素。在框920，对于从所选像素通过透镜中心传输进入场景的光线(或光线集)，估算最近物体的深度。

在框930，在再聚焦于估算深度的图像中计算所选像素的值。如果在框940附加像素得到了预期地处理，则在框910选择另一像素，且该过程在框920对新选择的像素继续。当没有附加像素在框940得到预期地处理，则各个所选像素的计算值用于建立最终虚像。

在一些涉及景深延伸的实施方式中，通过不考虑源自比期望物体的深度更近的深度的光线以减轻或消除围绕更靠近透镜的物体边缘的例如通常称为“敷霜(blooming)”或“光晕”的伪像(artifact)。作为示例，图23示出传输通过感兴趣目标2310上全域的期望焦点2301的光线集合。这些光线中的一部分被物体2320从主透镜阻断，且这些光线对应于由光线传感器2350检测到的、但是在计算点2301的图像值中不予考虑的光线2340。在一些实施方式中，得到的像素值通过除以不予考虑的一部分光线而归一化。这些实施方式可单独地或者彼此结合地使用，以及与包括涉及延伸景深的任何其它实施方式相结合使用。

如上所述，根据各个示例实施方式来处理光数据以聚焦和/或校正图像。涉及后校正方法的各种方法如下所述。在这些实施方式中的一些中，通过追踪通过在捕获光线时使用的光学部件的实际光学元件(例如透镜或透镜组)的光线，并将所追踪的光线映射到捕获该光的特定光传感器来校正像差。使用由光学部件展现的已知缺陷以及检测该光的传感器的已知位置，光数据得以重新排列。

在一校正型实施方式中，对于合成相片的胶片上的各个像素计算贡献于通过理想化光学部件形成的各个像素的光线全域。在一实现中，通过追踪从虚胶片位置通过理想光学部件回到全域的光线来计算这些光线。图15示出结合一个这样的示例实施方式追踪从虚胶片平面1510上的3D点1501通过理想薄主透镜1520到全域光线锥1530的光线的方法。在一些实现中，期望光线集合1525可不必对应于通过实际透镜的方向，但是可对应于要被加权并求和来产生期望图像值的任何光线集合。

图16示出结合另一示例实施方式的对于特定应用得到沿理想光线传播的光的值的方法。这些值通过追踪透过实际主透镜1650的期望理想全域光线1630计算，该主透镜是具有球形界面的单个元件并用于在测量(检测)该光线时将实际全域光线物理地导向光线传感器1640。在该实施方式中，理想汇聚在单个3D点(1601)的光线并不汇聚，这表示具有球形界面的透镜的称为球形像差的缺陷。光线传感器1640提供像差光线(诸如1651)每一个的用于校正球形像差的各个值。

图17A-17C示出使用通过透镜校正方法的计算机模拟的示例结果。图17A中的图像是理想512×512相片(通过理想光学部件可见的)。图17B中的图像是使用实际f/2双凸球透镜产生的图像，它具有对比度损失和模糊。图17C中的图像是通过使用便于在各个512×512微透镜处10×10方向(u，v)分辨率的光学部件和传感器装置，使用上述图像校正方法计算的相片。

在本发明的另一示例实施方式中，校正用于捕获图像的主透镜的色差。色差是由光线在物理导向通过光学部件时由于取决于光波长在物理方向上的差异而引起的发散所导致的。考虑发生在实际光学部件中的波长相关的光折射率，入射光线通过实际光学部件来追踪。在一些应用中，根据主波长分别追踪系统的各个色彩分量。

在另一示例实施方式中，如图18A所示，分别追踪彩色成像系统中共存的各个红色、绿色和蓝色分量。绿色全域光线通过计算追踪返回成像系统以产生绿色光线1830，并确定它们在何处与彩色光线传感器1810相交、以及它们在什么方向与彩色光线传感器1810相交。类似地，图18B示出通过计算追踪期望蓝色全域光线1820，相比绿色光线这些光线被折射到更大的范围。图18C示出通过计算追踪期望红色全域光线1830，相比绿色光线这些光线被折射到较小的范围。使用例如结合本文中所述的其它示例实施方式描述的方法根据来自光线传感器1810的值计算各个光线的值。对各个光线的光场值进行积分以计算各个特定胶片像素的校正图像值。对于一些应用，色差通过将各个色彩通道聚焦在其波长最佳聚焦的平面上而得到改进。

期望光线可能未精确地在由光线传感器采样的离散光线值之一上收敛。在一些实施方式中，用于这些光线的值被计算为离散光线值的函数。在一些实施方式中，该函数对应于期望光线领域中的离散光线值的加权和。在一些实施方式中，该加权和对应于用预定的卷积核心(kernel)函数的离散采样值的4D卷积。在其它实施方式中，加权可对应于根据16个最近邻进行的四线性插值。在另外的实施方式中，加权可对应于从16个最近邻进行的三次或双三次插值。

值得注意的是为了概念简单已根据光线追踪描述了示例校正过程；各种其它方法也可用校正实现。在一实施方式中，对于各个期望输出像素，预先计算做出贡献的光传感器值集及其相对权重。如上所述，这些权重是包括光学部件、传感器、要对各个输出像素加权并求和的期望光线集合以及期望光场重建滤波器的许多因素的属性。这些权重被选择性地使用光线追踪预先计算，并存储。经校正的图像通过加权并累加各个输出像素的适当感测光场值来形成。

图29和图30示出结合上述校正方法使用的其它示例实施方式。图29是用于预先计算与光线(光)传感器相关联的权重数据库和与各个光线传感器相关联的输出像素值的过程流程图。在前两个框2910和2920中，对于期望图像形成过程，接收由要求和以产生输出图像像素值的理想全域光线集合组成(对于各个输出图像像素)的数据集(例如数据库中)，并接收用于将光线物理地传导到光线传感器的实际主透镜光学部件的规范。在框2925，选择一图像像素。对于该像素的输出值，在框2930用计算方法通过主透镜光学部件的虚拟表示到光线传感器地追踪全域光线关联集合。这导致施加于各个光线传感器值以计算输出像素值的权重集。在框2940中这些值存储在输出数据库中。框2950检查是否已经处理了所有像素，如果不是则返回框2925。如果已处理了所有像素，则最终框2960保护完成的数据库。

图30是使用通过如图29中的过程计算的权重数据库计算输出图像的过程的流程图。在框3010和3020中，该过程接收数据库并通过计算该数据库时使用的主透镜光学部件捕获的光线传感器值的集合。在框3025，选择输出图像中的像素，使得其最终图像值可进行计算。对于所选像素，框3030使用数据库来寻找作出贡献的光线传感器集合及其权重。在框3040，对于该图像像素值，各个在3020中给出的传感器值被加权并求和。在框3050，进行检查以查看是否已处理了所有图像像素。如果不是，则该过程返回框3025，如果是则在框3060保存输出图像。

在各种示例实施方式中，使用涉及在傅立叶域中运算的再聚焦计算方法的某些方法，在频域中处理光数据。图20是结合另一示例实施方式示出一个这种方法的流程图。该算法的输入是表示为L(s，t，u，v)的离散4D光场2010，它表示从主透镜上(u，v)开始并在微透镜平面上(s，t)终止的光线(例如来自从图1的主透镜110并在微透镜阵列120的平面终止)。第一步是计算光场的离散4D傅立叶变换2020。称为M(k_s，k_t，k_u，k_v)的在(k_s，k_t，k_u，k_v)上的4D傅立叶变换值由以下方程定义：

$M(k_s,k_t,k_u,k_v)=\∫\∫\∫\∫L(s,t,u,v)\exp (-2\mathrm{\π}\sqrt{-1}({\mathrm{sk}}_s+{\mathrm{tk}}_t+{\mathrm{uk}}_u+{\mathrm{vk}}_v))\mathrm{dsdtdudv}---\left(1\right)$

其中exp函数是指数函数，exp(x)＝e^x。在一些实施方式中，在4D空间的直线网格上对离散光场进行采样，且使用快速傅立叶变换(FFT)算法计算傅立叶变换。

下一步，对期望再聚焦图像的各个深度执行一次的是提取4D傅立叶变换的适当2D片2030，并计算提取片的2D傅立叶逆变换，它们是聚焦在不同深度的相片2040。对于函数G(k_x，k_y)，2D傅立叶逆变换g(x，y)由以下方程定义：

$g(x,y)=\∫\∫G(k_x,k_y)\exp \left(2\mathrm{\π}\sqrt{-1}({\mathrm{xk}}_x+{\mathrm{yk}}_y)\right){\mathrm{dk}}_x{\mathrm{dk}}_y---\left(2\right)$

提取2D片上的值根据期望聚焦的深度确定。考虑期望全域焦平面的共轭平面(在透镜的图像侧)，当该共轭平面与主透镜之间的间距为D而微透镜平面与主透镜之间的间距为F时，则坐标(k_x，k_y)中提取2D片的值由下式给出

G(k_x，k_y)＝1/F²·M(k_x(1-D/F)，k_y(1-D/F)，k_xD/F，k_yD/F)            (3)

使用不同的方法，因离散化、重采样和傅立叶变换导致的伪像被选择性地改善。在一般信号处理时期中，当对信号进行采样时，它在双域(dual domain)中周期性地复制。当通过卷积重建该采样信号时，它在双域中与卷积滤波器的傅立叶变换相乘。这样，初始、中心复制品(replica)被分离出来，从而消除其它所有复制品。期望滤波器是4D sinc函数，sinc(s)sinc(t)sinc(u)sinc(v)，其中sinc(x)＝sin(πx)/(πx)；然而，该函数具有无限外延。

在各种方法中，有限外延滤波器用于频域处理；这种滤波器可呈现可被选择性减轻的缺陷。图21A结合下文涉及减轻或这种缺陷的相应讨论示出关于具体1D滤波器的这些缺陷。图21A表示用1D线性插值实现(或作为4D四线性滤波器的基础)的三角滤波器。图21B示出三角滤波器方法的傅立叶变换，它是频带限制内的非单位值(参看2010)，且随频率增加逐渐减小到更小的分数值。此外，该滤波器不是真正频带限制的，它包括在期望抑制频带外频率下的能量(2020)。

上述第一缺陷导致可引起计算相片边界发暗的“倾斜(rolloff)伪像”。滤波器频谱随频率增加的衰减表示由该频谱调制的空间光场值也朝边界“倾斜”到分数值。

上述第二缺陷涉及与在频带限制以上频率的能量相关的计算相片中的混淆伪像(aliasing artifact)。外延超过频带限制的非零能量表示周期性复制品未被完全消除，从而导致两种混淆。第一，与限幅平面(slicing plane)平行出现的复制品作为侵占最终相片边界的2D复制品出现。第二，与该平面垂直定位的复制品被投影并累加到图像平面上，从而创建重像和对比度的损失。

在一示例实施方式中，对上述倾斜型缺陷的校正通过将输入光场与滤波器反向傅立叶频谱的倒数相乘而得到消除，以抵消在重采样过程中引入的效应。在该示例实施方式中，相乘在算法的预处理步骤中进行4D傅立叶变换之前进行。虽然它校正了倾斜误差，但是预相乘可加重光场靠近其边界的能量，从而最大化重叠回期望视场作为混淆的能量。

三种抑制混淆伪像的方法-过采样(oversampling)、高级过滤(superiorfiltering)、和零填充(zero-padding)-在下述的各种示例实施方式中单独或结合使用。提取2D片内的过采样增加了空间域中的复制周期。这表示面内复制品尾部(tail)中的较小能量落在最终相片的边界内。增大一个域中的采样速率导致另一域中视场的增加。邻近复制品中的混淆能量落在这些外围区域中，并被修剪掉以隔离感兴趣的初始中心图像。

减轻混淆的另一方法涉及尽可能近地近似完美频谱(可通过使用理想滤波器呈现)的有限外延滤波器。在一示例实施方式中，4D凯撒-贝塞尔(Kaiser-Bessel)可分离函数kb4(s，t，u，v)＝kb(s)kb(t)kb(u)kb(v)用作滤波器，其中

$\mathrm{kd}\left(x\right)=1/W\·I_0(P\·\sqrt{1-{(2x/W)}^2})---\left(4\right)$

在该方程中，I₀是标准零阶校正的第一类凯撒-贝塞尔函数，W是期望滤波器的宽度，而P是取决于W的参数。在该示例实施方式中，W的值为5、4.5、4.0、3.5、3.0、2.5、2.0和1.5，且P的值分别为7.4302、6.6291、5.7567、4.9107、4.2054、3.3800、2.3934和1.9980。对于关于混淆的一般信息，以及对于关于结合一个或多个本发明示例实施方式减轻混淆的方法的具体信息，可以参照1997年的IEEETransactions on Medical Imaging的10卷3号473-478页J.L.Jackson、C.H.Meyer、D.G.Nishimura和A.Macovski的“Selection of convolution function for Fourierinversion using gridding(使用网格化来选择逆向傅立叶的卷积函数)”，该文献通过引用整体结合于此。在一实现中，实现小于约2.5的宽度“W”以达到期望的图像质量。

在另一示例实施方式中，混淆通过在预相乘之前填充具有较小零值边界的光场并进行傅立叶变换得以减轻。这将能量稍微推离边界，并最小化由倾斜校正的预相乘引起的混淆能量放大。

图22是根据本发明另一示例实施方式示出使用上述各种校正在频域中再聚焦的方法的流程图。在框2210，接收离散4D光场。在每个输入光场进行一次的预处理阶段，框2215检查是否混淆减小是所期望的，且如果是则执行用小零值边界(例如在该维度上宽度的5％)填充光场的框2220。在框2225，进行检查以确定是否倾斜校正是所期望的，且如果是则在框2230通过重采样滤波器的傅立叶变换的倒数对光场进行调制。在预处理阶段的最后框中，在框2240计算光场的4D傅立叶变换。

在每个期望焦距进行一次的再聚焦阶段，该过程在框2250诸如通过用户的引导接收再聚焦图像的期望焦距。在框2260，进行检查以确定是否混淆减小是所期望的。如果否，则框2270使用期望4D重采样滤波器提取光场傅立叶变换的2D片，其中2D片的轨迹对应于期望焦距；且框2275计算所提取片的2D傅立叶逆变换并进行到框2290。如果在框2260混淆减小是所期望的，则过程进行到框2280，其中使用期望4D重采样滤波器和过采样(例如在两个维度的每一个上的2x过采样)提取2D片。在框2283，计算片的2D傅立叶逆变换并将得到的图像修剪成初始尺寸而无需在框2286过采样，在框2286之后过程进行到框2290。在框2290，进行检测以确定再聚焦是否完成。如果否，则在框2250选择另一焦距且过程如上所述地进行。如果再聚焦完成，则过程在框2295退出。

通过如以上可选实施方式所述的明确地对光线求和，该频域算法的渐进计算复杂性小于再聚焦。假设输入离散光场在其四个维度的每一个上具有N个样本。则对于在各个新深度再聚焦，明确地对光线求和的算法的计算复杂性是O(N⁴)。对于在各个新深度再聚焦，频域算法的计算复杂性为O(N² logN)，主要是2D傅立叶逆变换的成本。然而，预处理步骤对于各个新光场数据集消耗O(N⁴ logN)。

在另一示例实施方式中，所捕获的光线被光学滤除。虽然不限于这种应用，但是这种滤波器的一些示例是中性密度滤波器、彩色滤波器、偏振滤波器。任何现有滤波器或将要开发的滤波器可用于对光线进行所需的过滤。在一个实现中，光线被成组或单独地光学滤除，使得各组或个别光被不同地滤除。在另一实现中，通过使用附加于主透镜的空间变化滤波器实现过滤。在一示例应用中，诸如中性密度梯度滤波器的梯度滤波器用于过滤光。在另一实现中，空间变化滤波器在光线传感器、微透镜阵列或光传感器阵列中一个或多个之前使用。参照图1，作为示例，选择性地将一个或多个这样的滤波器置于主透镜110、微透镜阵列120和光传感器阵列130中一个或多个之前。

在本发明的另一示例实施方式中，编程诸如处理器的计算部件以选择性地选择组合在计算输出像素中的光线，以便于对该像素值进行期望的净过滤。作为示例，考虑涉及主透镜处的光学中性梯度密度滤波器，在微透镜下出现的各个透镜光圈图像根据跨越其范围的滤波器梯度加权。在一实现中，通过选择在各个微透镜下处于与输出图像像素的中性密度过滤的期望水平匹配的梯度的点上的光传感器，计算输出图像。例如，为了产生其中各个像素在较大的范围上过滤的图像，各个像素值被设定为在相应微透镜下处于与最大过滤对应的梯度极端的传感器值。

图2是结合本发明的其它示例实施方式示出处理图像的方法的数据流程图。图像传感器装置210以与例如图1中示出且在上文描述的微透镜阵列120和光传感器阵列130类似的方式使用微透镜/光传感器芯片装置212采集图像数据。图像传感器装置210光学地包括承载某一处理电路的集成处理电路214，以准备采集图像数据以便传输。

在图像传感器装置210上产生的传感器数据被传输到信号处理器220。该信号处理器包括低分辨率图像处理器222以及压缩处理器224和(光)线方向处理器226之一或两者；这些处理器的每一个取决于应用单独实现或使用共同处理器功能地实现。此外，各个如图2所示的处理器选择性地编程有结合其它附图或本文其它段落描述的一个或多个处理功能。信号处理器220与图像传感器装置210任选地在共同器件或部件上实现，例如在共同电路和/或在共同图像器件上。

低分辨率图像处理器222使用从图像传感器装置210接收的传感器数据来产生低分辨率图像数据，该低分辨率图像数据被发送到探视显示器230。诸如相机或摄像机上按钮的输入器件235发送图像捕获请求到信号处理器220，以请求例如捕获在探视显示器230中显示的特定图像和/或在如此实现时开始视频成像。

响应于图像捕获请求或其它向导，信号处理器220使用由图像传感器装置210捕获的传感器数据来产生经处理的传感器数据。在一些应用中，压缩处理器224被实现成产生转移到数据存储装置240(例如存储器)的压缩原数据。然后，这种原数据在信号处理器220和/或外部计算机260或其它处理装置选择性地进行处理，从而实现诸如用如下所述的光线方向处理器226实现的光线方向处理。

在某些应用中，光线方向处理器226被实现成处理在信号处理器220接收的处理器数据，以重新排列用于产生聚焦和/或校正图像数据的传感器数据。光线方向处理器226使用从图像传感器装置210接收的传感器数据和传送到数据存储装置240的原数据之一或两者。在这些应用中，光线方向处理器226使用特定成像装置(例如相机、摄像机或移动电话)的光线映射特性，在这些成像装置中图像传感器装置210被实现成确定用微透镜/光传感器芯片212感测的光线的重新排列。将用光线方向处理器226产生的图像数据发送到数据存储装置240和/或到通信链路250用于各种应用，诸如使图像数据流传送到远程场所或将图像数据发送到远程场所。

在一些应用中，集成处理电路214通过实现例如CMOS型处理器或具有适当功能的其它处理器包括信号处理器220的处理功能的一些或全部。例如，低分辨率图像处理器222选择性地包括有集成处理电路214，且低分辨率图像数据从图像传感器装置210直接发送到探视显示器230。类似地，压缩处理器224或其类似功能选择性地用集成处理电路214实现。

在一些应用中，最终图像的计算可在集成处理电路214上进行(例如在一些仅输出最终图像的数字静态相机中)。在其它应用中，图像传感器装置210可将原始光线数据或这些数据的压缩版简单地发送到诸如桌上型计算机的外部计算装置。根据这些数据计算最终图像然后在外部装置上进行。

图3是根据本发明另一示例实施方式的处理图像数据的方法的流程图。在框310，使用主透镜或具有诸如图1所示的微透镜/光传感器阵列的透镜组，在相机或其它成像装置上捕捉图像数据。如果在框320预览图像是所期望的，则在框330使用例如探视镜或其它类型的显示器产生预览图像。使用捕获的图像数据的子集在例如相机或摄像机的探视镜上显示该预览图像。

在框340，来自光传感器阵列的原数据被处理并压缩以供使用。在框350，从经处理和压缩的数据中提取光线数据。该提取涉及例如检测入射到光传感器阵列中特定光传感器的光线束或集合。在框360对于图像数据捕获其中的成像装置检索光线映射数据。在框370，光线映射数据和所提取的光线数据用于合成重新排列图像。例如，提取、映射和合成框350-370通过确定光线被采集场景的特定像素的一束光线，并积分光线能量以合成特定像素的值来选择性地实现。在一些应用中，光线映射数据用于通过用于获取图像数据的实际透镜追踪各个特定像素的光线。例如，通过在框370确定累加在一起以便于聚焦在特定焦距处的所选目标的适当光线集合，该光线可被重新排列以到达聚焦图像。类似地，通过确定适当的光线安排以校正诸如成像装置中的透镜像差的状况，该光线可被重新排列以产生相对而言没有相关于像差或其它状况的特性的图像。

各种方法选择性地用于产生相机型和其它应用的预览图像。图4是根据本发明另一示例实施方式的产生这种预览图像的过程流程图。图4中示出且在下文描述的方法可与例如在图3的框330产生预览图像相结合地实现。

在框410接收对原始传感器数据的预览指令。在框420，将中心像素从原始传感器图像数据中的各个微透镜图像选出。在框430收集所选中心像素以形成高景深图像。在框440，以适于探视显示器的分辨率对高景深图像进行下采样。参照图2，作为示例，这种下采样在一个或多个图像传感器装置210或信号处理器220上选择性地进行。在框450将产生的预览图像数据发送到探视显示器，而在框460，探视镜用预览图像数据显示图像。

图5是根据本发明另一示例实施方式的处理和压缩图像数据的流程图。图5中示出且在下文描述的方法可与在图3中框340处理和压缩图像数据相结合地实现。当用如图2所示的装置实现时，图5所示的方法可在例如图像传感器装置210和信号处理器220之一或两者实现。

在框510，从传感器阵列接收原始图像数据。如果在框520期望进行着色，则在框530对彩色滤波器阵列值进行去马赛克，以在传感器处产生色彩。如果在框540期望进行调整和对齐，则微透镜在框550被调整并与光传感器阵列对齐。如果在框560期望进行插值，则在570将像素值插值到与各个微透镜关联的整数个像素。在框580，经处理的原始图像数据被压缩并呈现以便于合成处理(例如形成再聚焦和/或校正图像)。

图6是根据本发明另一示例实施方式的图像合成的流程图。图6中示出并在下文中描述的方法可与在图3的框370示出并在下文中进一步描述的图像合成方法相结合地实现。

在框610，从光传感器阵列接收原始图像数据。如果在框620期望进行再聚焦，则在框630使用例如本文所述的方法对图像数据进行再聚焦，以选择性重新排列由原始图像数据表示的光。如果在框640期望进行图像校正，则在框650校正图像数据。在不同应用中，在期望进行再聚焦和图像校正两者的应用中，在框650的图像校正之前或在与框630的再聚焦同时进行。在框660，使用包括经再聚焦和经校正数据的经处理图像数据(可用时)产生所得图像。

图7A是根据本发明另一示例实施方式的使用透镜装置进行图像再聚焦的流程图。在图7示出且在下文中描述的方法可例如与图6中框630的图像数据再聚焦结合地实现。

在框710，选择用于再聚焦图像部分的虚焦平面。在框720，选择虚焦平面的虚像像素。如果在框730期望进行校正(例如对于透镜像差)，则在框740计算在所选像素与各个特定透镜位置之间通过的虚光线(或虚光线集合)值。在一应用中，通过计算落在所选像素上的共轭光线并通过透镜装置中的路径追踪该光线来便于该计算。

在框750，累加特定焦平面的各个透镜位置的光线值(或虚光线集合)之和以确定所选像素的总值。在一些应用中，在框750累加的和是加权和，其中某些光线(或光线集合)给定比其它的更大的权重。如果在框760存在用于再聚焦的附加像素，则在框720选择另一像素且继续该过程直到没有像素需要再聚焦。在像素已被再聚焦之后，在框770组合像素数据以产生在框710选择的虚焦平面处的再聚焦虚像。涉及图7中框720、730、740和750的部分或全部的再聚焦方法通过各种应用的更具体功能进行实施。

使用本文所述的一个或多个示例实施方式实现的传感器数据处理电路取决于实现可包括一个或多个微处理器、专用集成电路(ASIC)、数字信号处理器(DSP)和/或可编程门阵列(例如现场可编程门阵列(FPGA))。这样，传感器数据处理电路可以是现在已知或以后开发的任何类型或形式的电路。例如，传感器数据处理电路可包括耦合在一起实现、提供和/或进行期望操作/功能/应用的有源和/或无源的单个部件或多个部件(微处理器、ASIC和DSP)。

在不同应用中，传感器数据处理电路实现或执行实现本文所述和/或示出的特定方法、任务或运算的一个或多个应用、例程、程序和/或数据结构。应用、例程或程序的功能被选择性地组合或分配在某些应用中。在一些应用中，应用、例程或程序通过传感器(或其它)数据处理电路使用已知或以后开发的各种编程语言中的一种或多种实现。这种编程语言包括例如结合本发明一个或多个方面选择性地实现的编译或未编译的FORTRAN、C、C++、Java和BASIC。

上述各种实施方式仅作为说明提供而不应该解释为对本发明的限制。根据以上描述和说明，对本领域技术人员显而易见的是可对本发明进行各种更改和改变，而不必严格遵循本文示出和描述的示例性实施方式和应用。例如，这种变化可包括在不同类型的应用中实现各种光学成像应用和器件、增加或减少每个像素(或其它所选图像区域)所采集的光线数、或实现与所述示例不同的算法和/或方程以采集或处理图像数据。其它变化可包括使用除了笛卡尔坐标以外或者附加于笛卡尔坐标的坐标表示，例如极坐标。这种更改和变化不背离本发明的实质精神和范围。

Claims (21)

1.一种用于对场景进行数字成像的方法，所述方法包括：

使用光传感器阵列来同时检测来自所述场景并传输到焦平面上不同位置的光；

确定在所述焦平面上不同位置处检测到的所述光的入射角；

使用所述经确定的入射角和经确定的景深来计算输出图像，其中所述图像的至少一部分被再聚焦。

2.如权利要求1所述的方法，其特征在于，计算输出图像包括再聚焦所述检测到的光以形成至少其一部分聚焦在不同焦平面的图像。

3.如权利要求2所述的方法，其特征在于，再聚焦所述检测到的光包括：

根据所述检测到的光确定组成聚焦在不同焦平面的所述图像的至少一部分的光线集合；以及

组合所述经确定的光线集合以形成聚焦在所述不同焦平面的所述输出图像的所述部分。

4.如权利要求1所述的方法，其特征在于，再聚焦所述检测到的光包括校正检测所述光时使用的光学部件的状况。

5.如权利要求1所述的方法，其特征在于，再聚焦所述检测到的光包括校正透镜像差。

6.一种用于根据场景合成图像的数字成像系统，所述系统包括：

光传感器阵列，具有多个光传感器；

光学部件装置，调节成将来自所述场景的光通过二维焦平面传导到所述光传感器阵列；

其中，对于传输通过所述二维焦平面的特定部分的光线集合，多个所述光传感器被排列成检测以不同入射角同时到达所述二维焦平面的所述特定部分的所述光线集合的不同光线；以及

处理器，被编程为根据在不同光传感器检测到的所述光和所述检测到的光入射到由检测所述光的各个光传感器的位置表征的所述二维焦平面上的入射角来计算经合成的再聚焦图像。

7.如权利要求6所述的系统，其特征在于，所述光学部件装置包括位于所述焦平面的微透镜阵列，所述微透镜阵列包括多个微透镜，各个微透镜调节成分开入射到所述微透镜上的光线、并将分开的光线传导到所述光传感器阵列中的光传感器集合。

8.如权利要求7所述的系统，其特征在于，所述处理器使用各个光传感器相对于所述微透镜的位置确定光入射到各个光传感器上的入射角。

9.如权利要求6所述的系统，其特征在于，所述处理器被编程为确定发射所述检测到的光的所述场景中目标的景深，并使用所述景深和所述检测到的光的入射角来计算聚焦在与所述二维焦平面不同的焦平面上的合成图像。

10.一种用于根据所捕获的光线集合合成图像的数字成像系统，所述系统包括：

主透镜；

用于捕捉光线集合的光传感器阵列；

在所述主透镜与所述光传感器阵列之间的微透镜阵列，所述光线集合从所述主透镜经过所述微透镜阵列被物理地传导到所述光传感器阵列；

数据处理器，通过由所述光传感器阵列捕获的所述光线集合的虚拟重定向来计算经合成的再聚焦图像。

11.如权利要求10所述的系统，其特征在于，所述数据处理器通过选择性地组合所选光束以对所述光束集合虚拟地重定向来计算图像。

12.如权利要求10所述的系统，其特征在于，所述数据处理器通过选择性地累加所选光线以对所述光线集合虚拟地重定向来计算图像。

13.如权利要求10所述的系统，其特征在于，所述数据处理器通过选择性地加权并累加光线以对所述光线集合虚拟地重定向来计算图像。

14.如权利要求10所述的系统，其特征在于，所述数据处理器通过根据所述光线集合在所述光传感器阵列上的空间分布、以及根据所述光线集合从所述主透镜经过所述微透镜阵列到达所述光传感器阵列的所述物理方向对所述光束集合虚拟地重定向来计算图像。

15.如权利要求10所述的数字成像系统，其特征在于，所述数据处理器对所述光束集合虚拟地重定向，以将所述图像的一部分再聚焦在与所述微透镜阵列置于其中的平面不同的焦平面。

16.如权利要求10所述的数字成像系统，其特征在于，所述数据处理器对所述光线虚拟地重定向以校正透镜像差。

17.如权利要求10所述的数字成像系统，其特征在于，所述数据处理器对所述光线虚拟地重定向以延伸所述合成图像的所述景深。

18.如权利要求10所述的数字成像系统，其特征在于，对于所述微透镜阵列中的各个微透镜，所述光传感器阵列包括多个光传感器。

19.如权利要求18所述的数字成像系统，其特征在于，所述主透镜将场景的二维图像聚焦在所述微透镜阵列上，且其中所述微透镜阵列中的各个微透镜被调节成发散由所述主透镜聚焦其上的光线，并将所述发散光线传导到所述微透镜的多个光传感器。

20.如权利要求10所述的数字成像系统，其特征在于，所述数据处理器使用来自所述光传感器阵列的数据来通过解析各个子图像的不同焦深建立根据由所述捕获光线示出的场景不同部分的聚焦子图像。

21.如权利要求20所述的数字成像系统，其特征在于，所述数据处理器通过组合所述聚焦子图像合成最终图像。

Images