CN102282840B - 复用成像 - Google Patents

Abstract

一种成像方法包括：获取图像数据，其中，在不同的空间频率处空间调制图像成分；将所述图像数据变换到傅立叶域中；并在傅立叶域中分离所述图像成分。可以将所述图像成分变换到空间域中。所述图像成分可以包括不同的颜色。在一些实施例中，通过在傅立叶域中基于图像拷贝之间的差执行优化，来重构饱和像素。成像设备可以执行所述成像方法。

Description

复用成像

对相关申请的交叉引用

本申请要求提交于2009年1月19日并且标题为“复用成像”的美国专利申请No.61/145689的优先权。对于美国来说，本申请要求提交于2009年1月19日并且标题为“复用成像”的美国专利申请No.61/145689的在35U.S.C.§119下的权益，通过引用将该美国专利申请合并于此。

技术领域

本发明涉及成像，并且应用于摄影。本发明的一些实施例涉及高动态范围(HDR)图像的获取。本发明的一些实施例涉及彩色图像的获取。

发明内容

本发明的各种示例实施例提供了：

●相机，

●相机系统，

●相机的成像阵列，

●用于获得图像的方法，

●用于从图像数据提取多个图像特性的方法，以及

●用于从图像数据提取多个图像特性的设备。

本发明的一个方面提供了用于获得图像数据的方法。所述方法包括：通过将成像阵列暴露于光学辐射并操作所述成像阵列来获取图像数据。获取所述图像数据包括：将所述成像阵列对所述光学辐射的多个成分中的每个成分的响应根据对应的用于可逆变换的基函数来进行空间调制。所述方法向所述图像数据施加所述变换以得到经变换的图像数据。所述经变换的图像数据包括分别与所述多个成分对应的空间分离的图像拷贝。所述方法从所述经变换的图像数据提取所述空间分离的图像拷贝，并向提取到的所述图像拷贝中的每个图像拷贝施加所述变换的逆。

在一些实施例中，获取所述图像数据包括：允许所述光学辐射在与所述成像阵列的像素互作用之前通过光学滤波器。

另一个方面提供了一种用于重构图像中的饱和像素的像素值的自动化方法。所述方法包括：获得图像数据，所述图像数据包括具有一些饱和像素的图像的受频带限制的暴露。所述暴露被空间调制。不同地衰减所述暴露的函数使所述空间调制发生在一个或多个空间频率处，并且在一些实施例中，发生在两个或更多个空间频率处。所述方法标识所述图像数据中的所述饱和像素，计算所述图像数据的傅立叶变换，并建立优化问题，其中，所述饱和成分的像素值是未知的，并且待被最小化的误差量度包括与所述两个或更多个空间频率对应的傅立叶域图像拷贝之间的差。所述方法数值求解所述优化问题，以获得所述饱和像素的像素值。

本发明的另一个方面提供了成像阵列，所述成像阵列包括滤波器，其中，所述滤波器对于多个谱带中的每个谱带而言的透射率随着不同的空间频率而空间变化。

本发明的另一个方面提供了一种自动化的图像处理系统，该系统包括处理器和用于由所述处理器执行的软件指令。所述软件指令包括将所述处理器配置成执行以下操作的指令：获得图像数据，所述图像数据包括具有一些饱和像素的图像的受频带限制的暴露，其中，由不同地衰减所述暴露的函数在两个或更多个空间频率处空间调制所述暴露；标识所述图像数据中的所述饱和像素；计算所述图像数据的傅立叶变换；建立优化问题，其中，所述饱和成分的像素值是未知的，并且待被最小化的误差量度包括与所述两个或更多个空间频率对应的傅立叶域图像拷贝之间的差；以及数值求解所述优化问题，以获得所述饱和像素的像素值。

下面描述本发明的更多方面和本发明的具体实施例的特征。

附图说明

附图图示了本发明的非限制性的示例实施例。

图1是图示了根据本发明的第一示例实施例的用于彩色成像的方法的流程图。

图2图示了将图1的方法应用于示例图像。

图3A、3B和3C示出了可以被组装以制作根据在多个空间频率处具有空间变化的示例实施例的滤波器的平铺片(tile)。

图4是允许将现有技术的滤波器与根据本发明的一个示例实施例的滤波器的半透明度作比较的曲线图。

图4A是示出了作为颜色通道数目的函数的根据本发明的一个实施例的滤波器的半透明度的曲线图。

图5示意性地图示了根据一个示例实施例的梯度滤波器的傅立叶域中的操作。

图6A和6B分别示出了在没有削波的情况下(或者作为饱和的结果)图像的扫描线的示例一维图像信号及其傅立叶变换。图6C和6D分别示出了在存在削波的情况下图像的扫描线的同一个示例一维图像信号及其傅立叶变换。

图7是图示了根据一个示例实施例的用于恢复饱和像素值的方法的流程图。

图8是图示了根据一个示例实施例的相机系统的功能框图。

具体实施方式

在下面的全部描述中，阐明了具体细节以便提供对本发明的更全面理解。然而，可以在没有这些细节的情况下实践本发明。在其它场合，未详细示出或描述众所周知的要素以避免不必要地使本发明模糊不清。因而，应在说明性的而不是限定性的意义上看待说明书和附图。

本发明的一个基本实施涉及：获得对光学辐射的暴露，其中，根据用于变换的两个或更多个不同的基函数来空间调制成像阵列中的像素对光学辐射的不同成分的响应。例如，当该变换是傅立叶变换时，基函数可以是正弦或余弦函数。然后，根据该变换对所得到的图像数据进行变换以得到经变换的图像数据。在经变换的图像数据中，不同成分所对应的信息是空间分离的。例如，通过余弦和滤波器进行暴露导致原始图像在经傅立叶变换的图像的较高空间频率区域中的准确拷贝。该信息可通过选择经变换的图像数据的对应部分来提取。对经变换的图像数据的对应部分执行的逆变换得到与成分之一对应的成分图像数据。

为了最佳地实现经变换的图像数据中的成分的分离，该变换应当具有如下性质：空间域中与函数的乘积对应于经变换的域中的卷积。拥有此性质的一类变换是傅立叶变换。

可以以多种方式应用此基本实施。在一些实施例中，根据基函数的空间调制与谱滤波相组合。这样的实施例便利于将图像分离成不同的颜色成分。所述颜色成分可以被重组合以提供彩色图像。在一个示例实施例中，所述颜色成分至少对应于红、绿和蓝(R、G和B)色。

图1是图示了根据本发明的第一示例实施例的用于彩色成像的方法10的流程图。图2图示了将方法10应用于示例图像21。块12包括操作成像阵列以获得图像数据22。用于实施感光像素的技术不是关键的。作为非限制性的例子，所述像素可以是CMOS光传感器、主动式像素传感器(APS)阵列、电荷耦合器件(CCD)阵列等的像素。每个像素在暴露期间产生作为入射在该像素上的光的函数的输出。

成像阵列包括光在被感光像素检测之前所通过的滤波器，或者用于空间调制感光像素对图像成分的响应的某种其它机构。在此示例实施例中，滤波器处在像平面内。因此，每个像素接收已通过滤波器上的对应位置(x，y)的光。滤波器具有随位置而变化的滤波函数f。通常，f是波长λ以及空间坐标x和y的函数。因此，图像数据s(x，y)通常由下式给出：

$s(x,y,)=\underset{\mathrm{\λ}}{\∫}l(x,y,\mathrm{\λ})f(x,y,\mathrm{\λ})\mathrm{\τ}(x,y,\mathrm{\λ})\mathrm{d\λ}---\left(1\right)$

其中，τ(x，y，λ)是感测阵列的像素对光的响应；并且l(x，y，λ)是传感器像素上的光辐照度。如果τ对于所有像素是相同的，则可以将τ写作τ(λ)。

滤波函数f可以由下式给出：

$f(x,y,\mathrm{\λ})=\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{\α}}_i(x,y)b_i\left(\mathrm{\λ}\right)---\left(2\right)$

其中，b_i(λ)是描述色谱的基函数。可以认为每个色谱b_i(λ)表示入射在成像阵列上的入射光(其可以是任何光学辐射)的成分。色谱可以不重叠，并且可以是基色，但是这不是强制性的。在下面的例子中，色谱是不重叠的基色，并且N是基色的数目。b_i(λ)可以例如包括带通滤波器或窄带陷波滤波器。在一些实施例中，b_i(λ)包括根据高通和/或低通滤波特性来滤波的滤波器。在一些实施例中，提供了分别通过红、绿和蓝光的b_i(λ)。在一些实施例中，b_i(λ)对应于打印或显示装置的基色。

如在此所述那样应用的滤波器不需要具有随着滤波器上的位置而连续变化的光学密度或透射率。光学密度或透射率可以在被用于获取图像数据的成像阵列的任何像素的区域内是恒定的。然而，这不是强制性的。

在一些实施例中，滤波器中的空间频率被选择为使得滤波器是空间周期性的，其中周期等于成像阵列中的像素的节距的倍数。在这样的实施例中，滤波器可以被构造为相同平铺片的阵列。例如，图3示出了一个实施例中的可被用作滤波器的5×5滤波器阵列，而图3B和3C示出了其它示例实施例中的可被用作滤波器的示例4×4滤波器阵列。这样的滤波器可以被直接地图案化到成像阵列上。

图3B的滤波器阵列加上单色通道对三个谱函数(红、绿和蓝滤波器)编码。如图3B的滤波器那样的滤波器可以被实施为具有大于45％(例如约50％)的光透射。如下所述，有可能设计如在此所述的特定类型的、对于任意数目的通道而言透射率为50％的滤波器。

α_i是用于变换的基函数。在此例子中，将使用的变换是傅立叶变换，其具有作为具有不同空间频率的余弦的基函数。在此情形中，α_i可由下式给出：

${\mathrm{\α}}_i(x,y)=\cos (2\mathrm{\π}{k}_1^{i}x+2\mathrm{\π}{k}_2^{i}y)---\left(3\right)$

其中，k₁ ⁱ和k₂ ⁱ是常数(它们可以对于任何一个基函数彼此相等或不相等)。k₁ ⁱ和k₂ ⁱ中的任一个可以为零，但k₁ ⁱ和k₂ ⁱ对于任何一个基函数不同时为零。

考虑如下情形：α₁对应于通过红光的滤波器b₁，α₂对应于通过绿光的滤波器b₂，且α₃对应于通过蓝光的滤波器b₃。当进行暴露时，在第一空间频率(其依赖于对于k₁ ¹和k₂ ¹作出的选择)处空间调制图像的红光成分，将在第二空间频率(其依赖于对于k₁ ²和k₂ ²作出的选择)处空间调制绿光，并且将在第三空间频率(其依赖于对于k₁ ³和k₂ ³作出的选择)处空间调制蓝光成分。

如下所述，在块12中获取的图像数据应当在空间上受频带限制。

可以以任何适当的方式从成像阵列读出图像数据。在块14中，确定图像数据的傅立叶变换。块14得到经变换的图像数据23。在经傅立叶变换的图像数据中，不同空间频率被表示在不同位置处。因此，经傅立叶变换的图像包括图像的红色、绿色和蓝色成分(已有意地在不同空间频率处空间调制它们)的傅立叶变换，并因此发生在经变换的图像数据中的间隔开的不同位置处。在图2中，可以看出，经变换的图像23具有多个不同的成分23A。可以看出，红色、绿色和蓝色成分被表示在经傅立叶变换的图像中的不同位置处。

在块16中，提取经傅立叶变换的图像的红色、绿色和蓝色成分24中的每一个。这可以通过如下方式来实现：裁切经傅立叶变换的图像，使用图像中的已知道红色、绿色和蓝色成分将位于的区域等来注明经傅立叶变换的图像的对应部分。经变换的图像数据中的与成分24对应的区域是已知的，因为用来调制红色、绿色和蓝色成分的空间频率是已知的。在经变换的图像数据中，空间位置对应于频率。在一些实施例中，经变换的图像在逻辑上或物理上被划分成平铺片，并且经变换的图像中的平铺片与成分24相关联。

如上所述，块12可以包括对图像在空间上进行频带限制(即，限制原始捕捉到的图像中存在的最大空间频率)。这可以以各种方式来实现。例如，当获取图像时，在块12中用于将光学辐射聚焦在成像阵列上的光学系统可以被略微散焦；用于将光引导到成像阵列上的光学系统可以包括略微扩展光学辐射的成像阵列处或上游的光路中的漫射器，例如全息漫射器；抗混叠滤波器可以被提供在成像阵列处；等等。对图像在空间上进行频带限制确保了图像数据将不包括高得足以使得与图像数据的不同成分对应的数据在经变换的图像数据中重叠的空间频率。利用这样的空间频带限制，经变换的图像数据由多个空间分离的拷贝构成，其中，每个拷贝表示与滤波函数b_i(λ)之一对应的图像数据的成分的傅立叶变换。

当通过方程(2)所定义的滤波器(其中α_i在方程(3)中定义)来捕捉在空间上受频带限制的场景时，谱信息被光学地变换成空间频率。具体地说，傅立叶变换在傅立叶变换的基本空间频率周围产生该场景的多个拷贝。可以选择空间频率使得所得到的拷贝将被方便地布置在经变换的图像数据中。

考虑滤波器的空间变化由下式给出的情形：

$f(x,y,\mathrm{\λ})=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\cos (2\mathrm{\π}{k}_x^i{f}_x^{0}x+2\mathrm{\π}{k}_y^i{f}_y^{0}y)b_i\left(\mathrm{\λ}\right)---\left(4\right)$

其中，kⁱ _x和kⁱ _y是整数，并且对于任何i值，kⁱ _x和kⁱ _y构成的对是唯一的。可通过允许kⁱ _x和kⁱ _y的值每个都分布在0至Q的范围内来获得适当的一组基函数。例如，对于Q＝1，(kⁱ _x，kⁱ _y)＝{(0，1)，(1，0)和(1，1)}(其中，(kⁱ _x，kⁱ _y)＝(0，0)是平凡的并被排除。这提供了三个基函数。在此情形中，在图像数据的傅立叶变换中，不同基函数所对应的拷贝将以2×2网格的平铺片为中心。每个拷贝的中心所对应的空间频率由对于基频和选择的值来确定。

图像数据的2D傅立叶变换包含通过由颜色通道b_i(λ)与谱传感器响应τ(λ)之积给出的特定谱分布滤波后的原始信号的2D傅立叶变换所对应的平铺片。这可在数学上表达为：

$F\left\{L_S\right\}=\underset{i=o}{\overset{N-1}{\mathrm{\Σ}}}(\mathrm{\δ}(f_x-k_x^i{f}_x^0,f_y-k_y^i{f}_y^0)\⊗F\{\underset{\mathrm{\λ}}{\∫}L(x,y,\mathrm{\λ})b_i\left(\mathrm{\λ}\right)\mathrm{\τ}\left(\mathrm{\λ}\right)\mathrm{d\λ}\left\}\right)$

其中，F表示傅立叶变换，L_S表示图像数据。因此，可通过裁切对应的傅立叶平铺片并执行二维的逆傅立叶变换来重构每个通道。

由于余弦函数的傅立叶变换的对称性，一对拷贝对应于每个通道。每对中的两个拷贝对相同的信息编码。块16可以包括提取通道的两个拷贝中的任一个或者提取两个拷贝并组合它们(例如，通过相加)。

在块18中，对于从经傅立叶变换的图像数据23提取到的每个成分24计算逆傅立叶变换。这得到了每个颜色通道的经重构的图像25。

在块19中，组合图像成分以得到可以是任何适当图像格式的经重构的图像26。例如，可以组合图像成分以提供适当的JPEG、TIFF、GIF、PNG、BMP或RAW数据格式(或任何其它适当图像格式)的图像数据。经重构的图像26可以被存储、转发、发送到显示装置以便显示、发送到打印机以便打印或者以任何其它期望方式加以应用。

可利用任何适当的传感器阵列来执行方法10。例如，可以利用具有被应用于成像阵列的适当滤波器的标准数码相机来执行用于方法10的图像获取。可提供此滤波器来代替标准颜色滤波器(比如，常常在数码相机的成像阵列中提供的红色、绿色和蓝色滤波元件的Bayer图案)。上述示例实施例应用遵循强度的余弦和分布的、空间变化的半透明滤波器。

上述方法不限于三种颜色，而是可以利用任何数目的颜色成分来实践。而且，滤波特性b_i不必定根据颜色来滤波。滤波特性可整体或部分地根据入射辐射的某种其它特性(如偏振)来滤波。而且，滤波特性不限于通过单个颜色成分。可例如在一个空间频率处调制这样的滤波器：其通过多个不同的波长带的光并且阻挡具有在这些带之间的波长的光。

可以通过应用通用或专用编程数据处理器和/或借助适当配置的逻辑管线(其例如在专用集成电路(ASIC)中硬连线或者在诸如现场可编程门阵列(FPGA)的可配置逻辑中提供)来确定图像数据的变换和逆变换。例如，在上述示例实施例中，可以通过执行快速傅立叶变换(FFT)算法或离散傅立叶变换(DFT)算法来执行块14。

真实的滤波器仅能衰减光，但不能放大光或产生“负光”。在光学滤波器被用于空间调制图像成分的情况下，对于该滤波器选择的具体材料可能具有其它限制，如受限的对比度等。可以例如通过利用线性函数对于每个像素重新归一化由方程(4)指定的滤波器来实现可产生满意结果的真实滤波器。

例如，令f_min(x，y)为在所有波长内对于位置(x，y)而言的滤波器最小透射值，并且令f_max(x，y)为在位置(x，y)对于任何波长而言的滤波器最大透射。可以将物理地可实现的滤波器定义为：

$\stackrel{\‾}{f}(x,y,\mathrm{\λ})=\mathrm{\γf}(x,y,\mathrm{\λ})+\mathrm{\φ}---\left(6\right)$

其中：

$\mathrm{\γ}=\frac{1}{(f_{\max }(x,y)-f_{\min }(x,y))}---\left(7\right)$

并且： $\mathrm{\φ}=\frac{-f_{\min }(x,y)}{(f_{\max }(x,y)-f_{\min }(x,y))}---\left(8\right)$

为满足额外的约束，例如对总体光透射的约束，不同的和γ值是可能的。利用这样的经修改的滤波器的成像产生经修改的传感器图像 的各个像素可容易地被回映射到原始范围内，得到可被如上所述那样处理的图像s。

上述方法相对于使用被布置成Bayer图案或一些其它布置的传统红色、绿色和蓝色滤波器来获得颜色信号的一个优点是：该滤波器可以比能够进行相同的颜色分离的标准滤波器更加光高效。图4示出了如上所述的滤波器(曲线30)的半透明度与基于如下文中所述的分类像素方法的滤波器(曲线31)的半透明度的比较：Narasimhan，S.，和Nayar，S.2005.EnhancingResolutionalongMultipleImagingDimensionsusingAssortedPixels.IEEETransactionsonPatternAnalysisandMachineIntelligence27，4(四月)，518-530。可以看出，尤其是对于大数目的通道而言，在此所述的滤波器更加光高效。可例如通过增大方程(5)中的与γ的比率来变更在此所述的滤波器的光透射。这增大了滤波器的傅立叶变换的直流项(其对应于空间滤波器的平均光透射)。

单个归一化的正弦式的积分是50％。因此，可以使得在此所述的滤波器(或“掩模”)的总透射率是各个基色b_i(λ)的透射率之和的一半。图4A示出了根据这样的实施例的滤波器对于任意数目的颜色通道可具有50％的透射率(曲线32)。

当获取图像数据时，根据在相位上偏移的正弦式来调制光学辐射，可以增大被复用到傅立叶图像数据中的信息量。例如，滤波函数可以由下式给出：

$f(x,y,\mathrm{\λ})=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\cos (2\mathrm{\π}{k}_x^i{f}_x^{0}x+2\mathrm{\π}{k}_y^i{f}_y^{0}y)b_i^1\left(\mathrm{\λ}\right)+---\left(9\right)$

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sin (2\mathrm{\π}{k}_x^i{f}_x^{0}x+2\mathrm{\π}{k}_y^i{f}_y^{0}y)b_i^2\left(\mathrm{\λ}\right)$

在每一个空间频率处提供两个相移的正弦式允许对一个空间频率处的两个谱函数b¹ _i(λ)和b² _i(λ)(其中i∈{1...N})编码。所得到的傅立叶变换不再是实数，而是复数。如果m和n标识傅立叶域中的、分别包含在使用方程(4)的滤波器的情况下将包含相同信息的拷贝的平铺片，则可以分别从下式恢复利用谱b¹ _n(λ)和b² _n(λ)滤波后的图像：

$\mathrm{Re}\left(\frac{L_m+L_n}{2}\right)$ 和 $\mathrm{Im}\left(\frac{L_m-L_n}{2}\right)---\left(10\right)$

所有通道都对傅立叶变换图像数据的中心平铺片中的拷贝有贡献。傅立叶变换图像数据的此“直流”成分可以由逆傅立叶变换处理，以得到亮度图像。该亮度图像倾向于在传感器噪声方面相对低。在输出图像26的创建中，该亮度图像可以与经重构的图像25相组合或一起使用。例如，可以将从经重构的图像25获得的RGB图像通过乘以适当的矩阵来变换成具有亮度通道的空间(如YUV空间)。所得到的亮度值然后可以与亮度图像相组合或被替换为亮度图像。如果期望，则可以进行回到RGB空间或另一个期望色空间的变换。

可理解，在被记录的通道的数目与通道的空间分辨率之间存在折衷。在一些实施例中，图像分辨率与傅立叶拷贝的数目之间的比率不是分数。在这样的实施例中，构成空间平铺片的像素的数目等于傅立叶域中的狄拉克峰的数目。这可通过适当地选择x和y方向上的基频和来实现。

在此所述的方法和设备不限于提取颜色信息。例如，利用适当的滤波器，可以对谱信息、偏振信息、时间信息和动态范围信息中的任何一个或组合编码。可以将光学滤波器核心设计成以不同空间频率对其它图像信息编码，使得图像信息的记录被记录在傅立叶域中的间隔开的不同位置处。下面的例子应用了近似于图像的空间频率的导数或梯度的滤波器。此信息具有各种应用。

考虑借助卷积来计算函数的导数。这可以通过提供该函数的彼此间隔很小并且符号相反的两个样本来进行。这可以被表达(在傅立叶空间中)如下：

$\frac{\mathrm{dF}\left(\mathrm{\ω}\right)}{\mathrm{d\ω}}=\mathrm{\ϵ}\stackrel{\lim }{\→}0\left[\frac{\mathrm{\δ}(\mathrm{\ω}-\mathrm{\ϵ})-\mathrm{\δ}(\mathrm{\ω}+\mathrm{\ϵ})}{2\mathrm{\ϵ}}\right]\⊗F\left(\mathrm{\ω}\right)---\left(11\right)$

其中，δ是狄拉克德耳塔函数，且表示卷积。正弦函数是与傅立叶域中的狄拉克德耳塔函数对应的空间域中的函数。因此，可通过应用具有如下形式的空间光学滤波器：

$d_1\left(x\right)=\mathrm{\ϵ}\stackrel{\lim }{\→}0\left[\frac{\sin \left((f_0+\mathrm{\ϵ})x\right)-\sin \left((f_0-\mathrm{\ϵ})x\right)}{2\mathrm{\ϵ}}\right]---\left(12\right)$

、然后执行所得到的图像数据的傅立叶变换来产生表示第一导数dF/dω的傅立叶域中的拷贝。在实践中，通过给予ε某个小值来制成滤波器。在图5中示出了如在方程(12)中所定义的那样的滤波器的应用的示意性的一维图示。此滤波器可容易地被推广为二维。可以如上所述那样应用对利用频率略微不同的两个正弦波进行的图像暴露进行调制的滤波器，以允许恢复信号的二维傅立叶梯度。

在图像获取中产生的一个问题是饱和。饱和可能是高动态范围图像的获取中的特别的难题。这是因为高动态范围图像能够在传统图像预期不会再现的阴影和/或加亮区域中显示细节，并且因为在期望高图像质量的情形中，可能期望高动态范围图像。饱和导致图像的加亮和/或阴影区域中的细节损失。

本发明的一个方面提供了用于重构图像的饱和区域的方法。如图6A至6D中所示，通常，饱和向图像中人为地引入较高的空间频率。这些较高频率可以分布在整个频域内。将图6A和6B与图6C和6D作比较，图6A和6B分别示出了由从高动态范围图像取得的单个扫描线构成的受频带限制的信号及其傅立叶变换，图6C和6D示出了以0.8的强度水平削波的同一信号及其傅立叶变换。在图6B中可以看出，图6A的信号中存在的空间频率都被限制在带34内。这是所预期的，因为由图6A表示的信号受频带限制。相比之下，图6D示出了：图6C的信号中存在的空间频率遍布在宽频谱内并且包括相当多的高频成分。

图7图示了用于重构图像的饱和部分的示例方法50。方法50产生单色图像，但是可以被推广为产生彩色图像，如下面所述。在块52中，方法50在成像阵列处获得受频带限制的图像。块52包括向图像施加已知的空间调制。可以通过使入射的光学辐射通过这样的滤波器来施加空间调制：该滤波器具有包括两个或更多个正弦式(例如，余弦或正弦)之和的滤波函数，或更一般而言具有空间变化，该空间变化是周期性的，具有第一和第二空间频率。不同的正弦式具有不同的幅度。块52得到图像数据。

块53标识图像数据中的饱和像素。

块54确定在块53中获得的图像数据的傅立叶变换。这导致包括多个经不同地缩放的拷贝的经变换的图像。在没有饱和的情况下，拷贝在傅立叶空间中彼此间隔开。然而，饱和引入高频，因此，在一般情形中，即使中性密度滤波器当中的最小透射率滤波器不饱和，这些拷贝也将被毁坏。

通过注意我们具有关于在块52中获得的图像数据的性质的两个信息，可理解方法50的下一个部分。第一个信息是原始信号在被调制之前受频带限制。因此，捕捉到的图像不应当包含任何高空间频率。第二个信息是滤波器拷贝具有变化的衰减系数的原始信号。

图像可以被分解成由L_sat表示的、其中信号将在图像数据中饱和的区域以及由L_unsat表示的、其中对应的图像数据将不饱和的区域。L_unsat等于L，但是在所有的饱和图像部分中具有零。L_sat在所有的不饱和像素中具有零，而在其它地方具有未知值。由于傅立叶变换是线性的，所以同一关系适用于信号的成分的傅立叶表示，即：

F{L}＝F{L_sat}+F{L_unsat}(13)

重构图像数据的饱和部分的目的是根据图像数据确定L_sat中的未知值，或者至少确定导致可接受的图像特性的值。

合并了信号的已知质量的傅立叶空间中的误差量度可被表达如下：

$\mathrm{Er}=\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|s_i{T}_i(f_x,f_y)-s_j{T}_j(f_x,f_y)\left|\right|}_2^2---\left(14\right)$

其中，Er是误差量度，T_i是描述信号在傅立叶域中的单个拷贝的平铺片并且由下式给出：

$T_i=F_i\{\left(\frac{1}{s_i}\right)L(x,y)+{\mathrm{\η}}_i\}---\left(15\right)$

s_i是由向信号施加的调制确定的傅立叶域中的各个平铺片的缩放因子，并且η_i表示传感器噪声。

根据方程(13)，T_i可被写作(忽略s_i)：

T_i＝F_i{L_unsat}+F_i{L_sat}+η_i(16)

其中，F_i是将全分辨率图像从空间域变换到由平铺片i跨越的频率空间的子集中的傅立叶变换。例如，如果原始图像具有m×n的大小并且经傅立叶变换的图像中的每个平铺片具有p×q的大小，则可以通过施加大小为pq×mn的矩形离散傅立叶变换(DFT)来获得F_i。

在方程(16)中，可容易地根据捕捉到的图像数据计算项F_i{L_unsat}(忽略传感器噪声的影响)。F_i{L_sat}包括未知值(L_sat的非零像素)。我们知道，如果这些未知值准确地存在于图像数据中而不是被削波，则所得到的信号将受频带限制。正是将图像数据中的这些值替换为饱和值(例如，成像阵列的最大输出处的值，或者高于饱和阈值的值)造成了傅立叶域中的饱和噪声，包括在受频带限制的信号的频带之外的高频饱和噪声。

可组合方程(14)和(16)来得到用L_sat和L_unsat表示的误差的表达式：

$\mathrm{Er}=\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|s_i{F}_i\left\{L_{\mathrm{unsat}}\right\}-s_j{F}_j\left\{L_{\mathrm{unsat}}\right\}+s_i{F}_i\left\{L_{\mathrm{sat}}\right\}-s_j{F}_j\left\{L_{\mathrm{sat}}\right\}+{\mathrm{\η}}_i+{\mathrm{\η}}_j\left|\right|}_2^2---\left(17\right)$

如果期望计及传感器噪声，则可作出关于传感器噪声的形式的合理假设。例如，可假设传感器噪声η_i独立地分布在空间域中，并且观察到每像素图像强度的高斯噪声分布。利用此假设，F{η_i}具有在每个傅立叶系数中都具有高斯特性的均匀功率谱。此噪声模型对于许多真实图像传感器、对于高于成像阵列的噪声水平的值是合理的。作出关于传感器噪声的适当假设(在一些情形中的适当假设可以是没有传感器噪声)便利于应用平方误差准则来进行傅立叶空间中的优化。

方程(17)可被表达为把L_sat的削波像素的值作为未知量的线性方程组。可求解该线性方程组来得到倾向于使误差量度最小化的解或近似解。

作为简单的例子，考虑如下情形：在图像获取期间，应用光学滤波器，使得在图像数据的傅立叶变换中，在高频带存在直流峰和一个拷贝。在此情形中，忽略传感器噪声，使误差量度最小化的任务可写作如下矩阵方程：

$\min {\left|\right|\left(\begin{array}{ccc}1& -1& 0\\ 0& 0& 0\\ 0& -1& 1\end{array}\right)\left(\begin{array}{c}{F}_1\\ F_{\mathrm{DC}}\\ F_1\end{array}\right)(L_{\mathrm{unsat}}+L_{\mathrm{sat}})\left|\right|}_2^2={\min \left|\right|\mathrm{RF}(L_{\mathrm{unsat}}+L_{\mathrm{sat}})\left|\right|}_2^2---\left(18\right)$

其中，R和F是矩阵。矩阵R一般不是满秩秩的。这可以通过作出关于预期解的性质的适当假设来解决。例如，可以在组合信号L_sat+L_unsat的性质上施加条件。在这个例子中，该条件施加空间平滑度约束，具体地，曲率最小化项。向方程(18)添加额外的约束得到：

$\min {\left|\right|(\mathrm{RF}+\mathrm{\λT})(L_{\mathrm{unsat}}+L_{\mathrm{sat}})\left|\right|}_2^2---\left(19\right)$

其中，T是正则化矩阵，在该情形中是空间曲率算子，λ是加权因子。

可以通过相对于L_sat微分方程(19)并将梯度设为零来获得误差量度的最小二乘描述。可以将此最小二乘描述表达为：

$({\left({\mathrm{RF}}_s\right)}^{*}\left({\mathrm{RF}}_s\right)+\mathrm{\λ}{T}_s^{*})L_{\mathrm{sat}}=-({\left({\mathrm{RF}}_s\right)}^{*}\left({\mathrm{RF}}_u\right)+\mathrm{\λ}{T_s^{*}T}_u)L_{\mathrm{unsat}}---\left(20\right)$

其中，T_s和F_s分别是作用于饱和图像区域上的正则化矩阵和傅立叶变换的部分线性系统，T_u和F_u是它们的作用于不饱和图像区域上的相对物。方程(20)的右手侧是恒定的，并且由图像数据的不饱和部分中的值确定。

可以通过求解方程(20)来获得L_sat中的饱和像素的一组值。这是以数值方式进行的。例如，可以应用如HANSEN，P.C.1998.Rank-DeficientandDiscreteIll-PosedProblems：NumericalAspectsofLinearInversion.SocietyforIndustrialandAppliedMathematics，Philadelphia，PA，USA中所述的用于最小二乘算法的共轭梯度来获得方程(20)的解。该算法是有利的，因为它允许通过快速图像处理例程而不是构造实际矩阵来实施矩阵相乘。也可以应用其它适当的优化算法。许多这样的算法是已知的。

方法50通过如下方式来应用上述方法：在块55中，构造优化问题，其中，未知变量是图像数据的饱和区域中的像素值，并在块56中，应用优化算法以获得未知像素值的最佳配合值。在块57中，通过向图像数据的饱和区域中插入在块56中确定的像素值，获得经重构的图像数据。

一些实施例任选地包括：在块56中，在应用优化算法之前，应用估计算法来估计图像数据的饱和区域中的像素值的真实值。例如，该估计可基于如下假定：像素值在饱和区域的形心处或附近将具有局部最大值，并且将从本地最大值平滑地变化到饱和区域的边界处的值。在一些实施例中，可以基于以下二者中的一个或多个来选择该最大值：饱和区域的大小(例如，从形心到饱和区域的边界上的最近点的距离)；以及饱和区域的边界附近的像素值的梯度。对于饱和区域中的可能像素值进行估计(一般来说是合情理的的粗略猜测)可以改善在块56中应用的优化算法的收敛速率。可以自动地产生该估计。

方法50的实施中的许多变化是可能的。方法50的基本要点是：

●获得图像的受频带限制的暴露，在这样做时，应用一个或多个滤波函数，该一个或多个滤波函数在不同的空间频率处空间调制该暴露并且将该暴露衰减不同的量；

●标识和区分所得到的图像数据的饱和和不饱和成分；

●计算所得到的图像数据的傅立叶变换；

●建立优化问题，其中，不饱和成分的像素值是已知的，并且待被最小化的误差量度涉及与在图像的暴露期间施加的不同空间频率对应的傅立叶域图像拷贝之间的差；

●数值求解优化问题，以获得饱和区域的像素值；并且

●向图像数据中插入饱和区域的像素值。

通过方法50重产生的图像数据可以表示比被应用于获得原始图像数据的成像阵列的动态范围更大的动态范围。

虽然上面的例子重构了单色图像的饱和像素，但是同一方法可以被应用于重构彩色图像中的像素。这可以通过多种方式来进行。例如，可以对于图像的亮度通道执行像方法50那样的方法。另例如，可以对于图像内的不同颜色成分单独地执行像方法50那样的方法。在后一情形中，可以在暴露期间、在两个或更多个空间频率中的每个空间频率处(其中在每个空间频率处具有不同的平均衰减水平)空间调制不同的颜色成分。

还可以在如下情形中实践方法50及其变体：由具有两个或更多个空间频率的颜色滤波器施加空间调制，使得在傅立叶域中，利用这样的滤波器取得的图像呈现出图像的两个或更多个拷贝。诸如常用的Bayer滤波器的平铺式滤波器阵列具有这种特性。因此，在替代实施例中，使用包括Bayer颜色滤波器的成像阵列来获取受频带限制的图像数据。确定所得到的图像数据的傅立叶变换。标识图像数据中的饱和像素。使用来自傅立叶域的拷贝中的两个或更多个来构造涉及饱和像素的未知值的优化。依据适当的约束来求解优化，以得到饱和像素的值。

有利地，在一些实施例中，可以从单个暴露获得用于饱和区域的重构的所有数据和/或图像的所有成分。多个暴露不是必需的。

可以理解，可以以许多种方式实施本发明。在已获取图像数据之后，如在此所述，可以以各种方式执行用于提取图像的各种成分的处理、或者诸如用于重构图像的饱和区域的处理的其它处理。例如，在一些实施例中，相机或其它图像获取装置合并了用于处理捕捉到的图像以如在此所述那样提取图像成分和/或提取图像成分以对图像成分执行进一步处理的逻辑。在其它实施例中，从图像获取装置向另一个处理器(其可以是个人计算机、计算机系统等)传递捕捉到的图像，并且可以对图像数据被下载到的装置执行图像数据的一些或全部处理。当从相机或其它成像装置向处理器传递图像时，可以在处理器处自动执行在此所述的处理。

图8图示了根据一个示例实施例的相机系统60。相机系统60包括相机61，相机61具有光学系统62，光学系统62将光聚焦到像平面63上，光可由成像阵列64成像于像平面63。在成像阵列64处提供了模糊滤波器66和向不同图像成分施加空间调制的滤波器65。

控制系统68操作成像阵列64以获得场景的暴露，并在数据存储器67中存储所得到的图像数据。在此示例实施例中，相机61连接(或可连接)到主处理系统70，主处理系统70对由相机61获取的图像数据执行处理。这不是强制性的，在一些实施例中，单个装置提供相机61和主处理系统70的功能，或者以某种替代方式在相机61和主处理系统70之间分配功能。

主处理系统70包括傅立叶变换函数72，其计算从相机61检索到的图像数据的傅立叶变换。数据提取部件74被配置成提取不同图像成分的傅立叶变换，并且向逆傅立叶变换部件76提供提取到的傅立叶变换。

图像编码系统78从逆傅立叶变换部件76接收图像成分，根据图像成分产生期望格式的图像数据，并在数据存储器79中存储所得到的图像数据。在所图示的实施例中，主处理系统70包括显示器80和打印机81。显示器驱动82被配置成在显示器80上显示与数据存储器79中的图像数据对应的图像。打印机驱动83被配置成在打印机81上打印与数据存储器79中的图像数据对应的图像。

在所图示的实施例中，优化系统85从数据提取部件74接收图像成分，并产生饱和图像区域中的图像数据的值。这些值被提供给图像编码系统78，图像编码系统78将它们合并到图像数据中。

在一些实施例中，主处理系统70包括通用计算机系统，并且主处理系统70的部件由在该计算机系统的一个或多个处理器上执行的软件来提供。在其它实施例中，主处理系统70的至少一些功能块由硬连线或可配置的逻辑电路来提供。在其它实施例中，主处理系统70的至少一些功能块由诸如数字信号处理器或图形处理器的专用编程数据处理器来提供。

在本发明的实践中，多种变化是可能的。光学滤波器可以被直接打印在成像阵列上，或者被提供在施加于成像阵列的一个或多个分开的层中。

在一些实施例中，在去往成像阵列的光路中通过空间光调制器来提供光学滤波器。在这样的实施例中，可以在暴露期间改变用来调制进入的光学辐射的空间频率。例如，空间光调制器可以被设定为在该暴露的第一部分期间利用第一空间频率或第一组空间频率来调制进入的光，并且在该暴露的第二部分期间切换为利用第二空间频率或第二组空间频率来调制进入的光学辐射。该暴露的第一和第二部分任选地具有不同的长度。在这样的实施例中，傅立叶域中的不同拷贝提供时间信息，并且还可以提供图像的不同地暴露的拷贝，这些不同地暴露的拷贝可以用于高动态范围重构、重构饱和像素值，等等。

在一些实施例中，空间滤波器的光学调制相对于成像阵列的像素网格旋转。结果，不同的谱拷贝具有略微不同的子像素对齐。这可用来通过利用与用于频带限制的光学低通滤波器对应的小滤波器核心执行去卷积来恢复原始图像分辨率。

在其中滤波器相对于像素阵列旋转的实施例中，可能期望补偿滤波器自身在傅立叶空间中的图像。这可例如通过如下方式来进行：通过滤波器拍摄被均匀照亮的白屏幕的校准图像。可以通过对所得到的图像进行傅立叶变换来获得滤波器的平铺片在傅立叶域中的点扩展函数。可以使用校准图像来基本上去除由于滤波器与成像阵列的像素不对齐而导致的傅立叶域中的伪影。

作为提供光学预调制的光学滤波器的替代物，可以通过选择性地控制成像阵列中的不同组的像素的灵敏度来实施特定类型的滤波器。这可以例如通过以下方式来进行：将不同组的像素的暴露时间设定为不同，或者使用不同大小的像素来改变像素之间的光灵敏度。在任一种情形中，可以使得像素的灵敏度以这样的模式变化：该模式具有对图像中的某个图像成分施加期望调制的空间频率。

在一些实施例中，提供了相机，该相机提供了单独的传感器，该单独的传感器用于捕捉用于重产生图像中的饱和区域的亮度的信息。该单独的传感器可以应用如上所述的方法中的任何一种。该单独的传感器可以具有相对低的分辨率(虽然这不是强制性的)，因为闪耀倾向于限制高动态范围内容的空间分辨率的影响。

本发明的特定实施包括计算机处理器，这些计算机处理器执行软件指令，这些软件指令使得处理器如在此所述那样执行根据本发明的用于处理来自经调制的暴露的图像数据的方法。例如，来自相机的图像被传递到的图像处理系统和/或相机中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施在此所述的方法。还可以以程序产品的形式提供本发明。该程序产品可以包括任何介质，该介质承载一组计算机可读指令，这些指令当被数据处理器执行时使得数据处理器执行本发明的方法。根据本发明的程序产品可以具有许多种形式中的任何一种。该程序产品可以包括例如物理介质，比如包括软盘、硬盘驱动器的磁数据存储介质，包括CD-ROM、DVD的光学数据存储介质，包括ROM、闪速RAM的电子数据存储介质，等等。可以任选地压缩或加密程序产品上的计算机可读指令。

当上面引用部件(例如，软件模块、处理器、组件、器件、电路等)时，除非另外说明，对该部件的引用(包括对“装置/手段”的引用)应当被解释为包括作为该部件的等价物的、执行所述部件的功能(即，在功能上等价)的任何部件，其中包括与执行本发明的所说明的示例实施例中的功能的所公开的结构在结构上不等价的部件。

本领域技术人员应容易明白，根据前述公开内容，在本发明的实践中，在不偏离本发明的精神或范围的情况下，许多变更和修改是可能的。例如：

●在此说明了多个不同的实施例，可以以替代的组合来组合不同实施例的特征以得到更多实施例。

因而，应根据由所附权利要求限定的实质内容来解释本发明的范围。

Claims (18)

1.一种用于获得图像数据的方法，所述方法包括：

通过将成像阵列暴露于光学辐射并操作所述成像阵列来获取图像数据，其中，获取所述图像数据包括：将所述成像阵列对所述光学辐射的多个成分中的每个成分的响应根据对应的用于可逆变换的不同的基函数来进行空间调制，其中，所述多个成分对应于所述光学辐射的不同的色谱或不同的偏振；

向所述图像数据施加所述变换以得到经变换的图像数据，所述经变换的图像数据包括分别与所述多个成分对应的空间分离的图像拷贝；

从所述经变换的图像数据提取所述空间分离的图像拷贝；以及

向提取到的所述图像拷贝中的每个图像拷贝施加所述变换的逆。

2.根据权利要求1所述的方法，其中，获取所述图像数据包括：允许所述光学辐射在与所述成像阵列的像素互作用之前通过光学滤波器。

3.根据权利要求2所述的方法，其中，所述光学滤波器具有空间变化，所述空间变化至少具有第一和第二空间频率。

4.根据权利要求3所述的方法，其中，所述光学滤波器包括以所述成像阵列的像素的节距的倍数重复的平铺片。

5.根据权利要求2所述的方法，其中，所述光学滤波器具有超过45％的透射率。

6.根据权利要求1所述的方法，其中，与所述多个成分对应的所述基函数相互正交。

7.根据权利要求6所述的方法，其中，所述成分包括基色。

8.根据权利要求6所述的方法，其中，所述成分包括红色成分、蓝色成分和绿色成分，并且获取所述图像数据包括：在不同的空间频率处调制所述红色、蓝色和绿色成分中的每个成分。

9.根据权利要求1所述的方法，其中，获取所述图像数据包括：在允许所述光学辐射与所述成像阵列互作用之前对所述光学辐射的空间频率进行频带限制。

10.根据权利要求1所述的方法，其中，所述空间调制的方向不与所述成像阵列的行或列对齐。

11.根据权利要求1所述的方法，其中，所述调制是空间周期性的，并且具有对于每个所述成分不同的空间频率。

12.根据权利要求1所述的方法，其中，所述基函数包括正弦式。

13.根据权利要求11所述的方法，其中，获取所述图像数据包括：根据具有第一空间频率的第一正弦式来空间调制所述成像阵列对所述光学辐射的所述多个成分中的第一个成分的响应，并根据具有所述第一空间频率并且与所述第一正弦式有1/4波的相位差的第二正弦式来空间调制所述成像阵列对所述光学辐射的所述多个成分中的第二个成分的响应。

14.根据权利要求13所述的方法，包括：提取一对空间分离的拷贝，其中每个拷贝都与所述第一空间频率对应；计算该对空间分离的拷贝之和的实部和该对空间分离的拷贝之差的虚部；并向所述实部和所述虚部施加所述变换的所述逆。

15.根据权利要求1所述的方法，其中，所述成分包括偏振状态。

16.一种成像阵列，所述成像阵列包括滤波器阵列，所述滤波器阵列具有用于第一谱带的多个第一滤波器以及用于第二谱带的多个第二滤波器，其中，用于所述第一谱带的所述多个第一滤波器的滤波器透射率随着第一空间频率而空间变化，用于所述第二谱带的所述多个第二滤波器的滤波器透射率随着第二空间频率而空间变化，所述第一空间频率和所述第二空间频率是不同的。

17.根据权利要求16所述的成像阵列，其中，用于所述第一谱带的所述多个第一滤波器的滤波器透射率和用于所述第二谱带的所述多个第二滤波器的滤波器透射率各自正弦地变化。

18.根据权利要求16所述的成像阵列，其中，所述第一谱带和所述第二谱带包括选自下述带中的两个谱带：通过红光的带、通过蓝光的带和通过绿光的带。