CN103167294A - 具有延长景深的摄像系统与方法 - Google Patents

Abstract

本发明涉及一种具有选择景深的摄像系统和方法，其包括摄像透镜以及色彩影像传感器。其中,摄像透镜形成一物体的影像，摄像透镜具有色差;色彩影像传感器接收物体的影像，并具有一选择光谱响应，选择光谱响应定义一选择第一中心波长、一选择第二中心波长以及一选择第三中心波长。选择第一中心波长大于选择第二中心波长，选择第二中心波长大于选择第三中心波长。选择光谱响应定义摄像系统的景深。选择第一中心波长与选择第三中心波长的差值大于150nm。

Description

具有延长景深的摄像系统与方法

技术领域

本发明涉及摄像系统和方法，特别是涉及能延长或增加景深的摄像系统和方法。

背景技术

摄像系统的景深（depth of field,DOF）为摄像系统的一距离的范围，在所述范围内物体可被定位，使得所述物体的影像可锐利的对焦，而焦点深度（depth of focus）指从一检测器到摄像光学组件的距离，以使得位于一给定距离的物体可被锐利的对焦。因此，一焦点深度可转换为一对应的景深。一般而言，光学摄像系统具有一有限的景深。当摄像系统撷取光学数据，例如拍照，只有在景深内的物体会锐利的出现在照片中。而系统为了对在摄像透镜的一特定距离外的物体产生锐利的影像所作的调整称为对焦（focusing）。所以，较佳是能延长景深而使物体在多变的距离皆能锐利的出现在照片中。并且景深延长的结果使摄像者花费较少的精神在物体的对焦上。

发明内容

一方面,本发明公开了一种具有一选择景深的摄像系统，其包括一摄像透镜以及一色彩影像传感器。其中,摄像透镜形成一物体的影像，摄像透镜具有色差;色彩影像传感器接收物体的影像，并具有一选择光谱响应，选择光谱响应定义一选择第一中心波长、一选择第二中心波长以及一选择第三中心波长。选择第一中心波长大于选择第二中心波长，选择第二中心波长大于选择第三中心波长。选择光谱响应定义摄像系统的景深。选择第一中心波长与选择第三中心波长的差值大于150nm。

另一方面,本发明公开了一种摄像系统的景深的控制方法，其包括：提供一具色差的摄像透镜以形成一物体的影像；以及接收物体的影像于一色彩影像传感器，所述色彩影像传感器具有一选择光谱响应，选择光谱响应定义一选择第一中心波长、一选择第二中心波长以及一选择第三中心波长，其中，选择第一中心波长大于选择第二中心波长，选择第二中心波长大于选择第三中心波长，选择光谱响应定义摄像系统的一选择景深；其中，选择第一中心波长与选择第三中心波长的差值大于150nm。

再一方面,本发明公开了一种摄像系统,其包括一摄像透镜、一色彩影像传感器以及一数字影像摄像器。其中，摄像透镜具有色差以形成一物体的影像;色彩影像传感器具有一光谱响应以通过摄像透镜检测物体的一第一中心波长、一第二中心波长以及一第三中心波长的影像。其中，光谱响应决定第一、第二、第三中心波长，第一中心波长大于第二中心波长，第二中心波长大于第三中心波长，第一中心波长与第三中心波长的差值大于150nm。其中，摄像系统具有一第一离焦曲线(through focus curve)、一第二离焦曲线与一第三离焦曲线，第一离焦曲线具有第一中心波长的一第一最高点，第二离焦曲线具有第二中心波长的一第二最高点，第三离焦曲线具有第三中心波长的一第三最高点，至少一个离焦曲线涵盖从第一最高点至第三最高点的范围。数字影像摄像器处理第一中心波长、第二中心波长以及第三中心波长的检测影像，修复第一中心波长、第二中心波长以及第三中心波长的影像，并产生第一中心波长、第二中心波长以及第三中心波长的清晰影像。

又一方面,本发明公开了一种制造具有一所需景深的摄像系统的方法,其包括：选择摄像系统的所需景深；选择具有色差的一摄像光学组件；选择一影像传感器；选择影像传感器的色彩滤光组件的阵列的光谱响应，光谱响应依据选择的所需景深而定；以及提供具有色彩滤光组件之阵列的摄像系统，以使得摄像系统具有选择的所需景深。

附图说明

图1为一摄像系统用来形成一影像(如对一物体照相)的方块示意图；

图2为一色差摄像系统的离焦图（through focus graph）；

图3为一已知影像传感器的测量光谱响应的示意图；

图4为一测量改良影像传感器谱频反应的示意图，其通过调整色彩滤光阵列的至少一个滤光组件的组成成分而得到；

图5包括一离焦曲线图，其具有一红色离焦曲线、一绿色离焦曲线以及一蓝色离焦曲线；

图6为国际照明委员会（CIE）的一配色函数（color matching functions）图，用以分析一入射光的色彩；以及

图7为依据本发明的一实施例的流程图，其描述一程序以得到摄像系统的一所需景深。

具体实施方式

以下将参照相关附图，说明依本发明优选实施例的摄像系统与延长景深的方法，其中相同的元件将以相同的元件符号加以说明。

许多延长景深的方法已被提出。举例而言，数字修复（digital restoration）方法可应用于撷取影像数据并延长系统的景深。这样的数字修复方法包括对模糊影像（blurred images）的修复，模糊影像是由于色差（chromatic aberration）造成，如同专利申请案488号（美国专利申请号13/179,488,2011年7月9日提交,名称为"Cross-Color Image Processing Systems and Methods forSharpness Enhancement",该案与本申请具有共同的发明人和申请人）所披露的。

具有色差的透镜又称为色差透镜（chromatic lens），其针对不同的色彩有不同的焦距长度。亦即，色差透镜的焦距长度随着光波长而变化。一种色彩影像传感器具有一色彩滤光阵列，所述阵列包括三组色彩滤光组件以产生三种色彩影像。三种色彩指红、绿、蓝，但有可能使用其它种颜色。在本发明中，色彩指红、绿、蓝，以简化说明，但这仅为举例说明。本发明可应用任何色彩的组合。

具有色差的摄像透镜的态样中，红、绿、蓝色的焦距长度是不同的。因此，当红色物体具有锐利的影像时，绿色物体及蓝色物体可能无法有锐利的影像。而在实际的情况下，一个物体通常有三种色彩的成分，只是程度上的不同而已。通过这三种色彩不同的比重的组合，可得到自然界物体的任何色彩。因此，在上面的例子中，影像的红色部分是锐利的，同时，绿色及蓝色部分是不锐利的，因此整个影像是模糊的。

当一影像的目标部分是锐利的情形下，一些数字影像修复方法可修复影像的模糊部分。这样的方法就是已知的蒙罩锐化（unsharp masking）用以达到影像锐化。如此一来，一个物体在一第一距离时，其红色影像部分是锐利的，而绿色及蓝色影像部份是模糊的，但所有的部分皆可被修复成清晰影像。类似地，另一物体在一第二距离时，其蓝色影像部分是锐利的，而红色及绿色影像部分是模糊的，但所有的影像部分皆可被修复成清晰影像。

因此，通过数字影像处理，例如影像修复，可使在一第一距离的一物体以及在一第二距离的另一物体皆产生锐利的色彩影像。基于数字影像处理，摄像系统的景深可被延长而涵盖到在第一距离的物体以及在第二距离的另一物体。亦即，色差透镜与数字影像处理可有效的延长光学摄像系统的景深。

图1为一摄像系统100用来形成一影像（例如对一物体102照相）的方块示意图。请参照图1，摄像系统100包括一摄像光学组件104，其使一物体102形成影像于一色彩影像传感器106上。摄像光学组件104可以是一简单的透镜、一复合透镜、一特别设计的透镜（例如包括人工过度色差的透镜）、一绕射光学组件（diffractive optical element,DOE）或其组合、或任何可光学的形成影像的结构。为简化本发明，摄像光学组件104于此指一透镜。

色彩影像传感器106包括一色彩滤光阵列108，其具有三组色彩滤光组件，例如红、绿及蓝色组的滤光组件、或其它色组的滤光组件。在一实施例中，这些色彩可涵盖在可见光谱内。色彩影像传感器106检测光强度并将其转成电讯号以表示检测的色彩强度值。色彩影像传感器106例如是一互补式金氧半感测组件（CMOS）的影像传感器，并形成一检测组件的阵列。各检测组件提供一色彩强度值以对应由透镜104形成的影像中的一特定位置的光强度。而影像中的某一位置的三色彩的一组色彩强度值构成一画素，并且全部的画素的组合构成一复合影像。色彩影像传感器106检测三种色彩部分的影像，例如红、绿及蓝色、或其它色彩组合。

物体102可具有三种色彩成份，但可能三种色彩的比重不同。影像传感器106检测物体102的红、绿及蓝影像。假使透镜104不具色差，则三种色彩影像具有相同锐利度。然而，假使透镜104具有色差，则检测的三色彩影像具有不同的锐利度。

摄像系统100也包括一数字影像处理器110，其处理物体102的检测色彩影像，如红、绿及蓝色影像，以产生锐利的修复色彩影像。用来产生锐利修复色彩影像的处理可例如是由上述专利申请案488号所揭露的、或是其它处理方法。一显示器112可（选择性的）显示已处理的复合色彩影像。已处理的复合色彩影像可（选择性的）储存于一储存单元114，其可由多种电子存储元件实现。

图2为一色差摄像系统的离焦图200。请参照图2，离焦图200包括一红色离焦曲线202、一绿色离焦曲线204以及一蓝色离焦曲线206。横坐标代表物体102距离摄像透镜104的距离，纵坐标代表某一色彩部分的影像锐利度。一色差透镜的红色焦距通常大于绿色焦距，又绿色焦距通常大于蓝色焦距，这是由于色光波长的相对性，亦即λR>λG>λB，λR、λG、λB分别代表红、绿及蓝光波长。

当一物体102定位于一距离D1（红色离焦曲线202的最高点位置）时，物体102的红色影像部分是锐利的，同时其绿色及蓝色影像部分是模糊的。类似地，当物体定位于一距离D2（绿色离焦曲线204的最高点位置）时，物体102的绿色影像部分是锐利的，同时其红色及蓝色影像部分是模糊的。类似地，当物体定位于一距离D3（蓝色离焦曲线206的最高点位置）时，物体102的蓝色影像部分是锐利的，同时其红色及绿色影像部分是模糊的。

如上所述，红色离焦曲线202的最高点位于距离D1，绿色离焦曲线204的最高点位于距离D2，蓝色离焦曲线206的最高点位于距离D3。在本发明的色系中，D1>D2>D3。而在一种完全非色差系统（purely achromatic system）中，D1=D2=D3。因此，位于距离D1的一远方的物体的红色影像将会锐利的形成，同时绿色及蓝色影像会是模糊的。类似地，位于一较近距离，如距离D3的物体的蓝色影像会锐利的形成，同时绿色及红色影像会是模糊的。通过处理器110执行数字影像处理的修复，所有色彩的影像可被修复。亦即，不管是近的还是远的物体，其所有色彩的影像都会锐利的产生。因此，远方与近方的物体都可被锐利的对焦。

一般而言，当如上所述的处理在进行时，系统100的焦点深度与红色离焦曲线202的最高点及蓝色离焦曲线206最高点之间的距离相关，亦即焦点深度是关于D1 D3的值。其它因素可能影响曲线202、204、206的宽度并因而影响焦点深度。然而，只要所述色彩的其中之一位于锐利的焦点，锐利的影像即可通过处理而得到，所以在一距离的范围内能有至少两种色彩在焦点上，都可被视为是增加焦点深度。因此，可通过增加D1  D3的值而增加焦点深度。如上所述，当焦点深度增加时，景深随之增加。

距离D1、D2、D3由影像传感器的红色、绿色及蓝色中心波长决定。中心波长轮流由影像传感器光谱响应来决定，影像传感器光谱响应由各色彩滤光组件的感光度（sensitivity）以及传感器的感光度的结合反应。色彩滤光组件的感光度实际上是没有标准的，其由组件所决定。依据制造者的不同，色彩滤光组件感光度亦变化，这是因为制造者使用不同的材料及/或方法来制造同样的色彩滤光组件所造成的。在一实施例中，中心波长可落在可见光频谱范围。

图6为国际照明委员会（CIE）的一配色函数图。虽然没有任何标准，但影像传感器的色彩滤光组件感光度逐渐接近图6所示的理论的配向函阵列600。如图6所示，一红色配色函数602有一最高点约600nm，一绿色配色函数604有一最高点约550nm，一蓝色配色函数606有一最高点约450nm。通过忽略红色配色函数602的边陲地带（side lobe），红色配色函数602的中心波长约为600nm。绿色及蓝色配色函数604、606的中心波长分别约为550nm及450nm。

依照CIE方法，一具有频谱功率分布I(λ)的入射光的色彩可通过I(λ)的积分乘上各配色函数来分析。从积分得到的三个数值将决定入射光在CIE色度图以及色彩空间中的色彩。I(λ)的积分乘上一配色函数等于穿过一色彩滤光组件的I(λ)光线的总和，所述色彩滤光组件具有所述配色函数的一感光度。

图3为一已知影像传感器的测量光谱响应的示意图。请参照图3，图中分别描述中心波长为620nm的红光、中心波长为540nm的绿光、以及中心波长为470nm的蓝光的反应。离焦曲线202、204、206的最高点D1、D2、D3分别依据各别色彩反应的中心波长而定，例如620nm、540nm及470nm。

依据本发明，为延长景深，焦点深度可通过改变离焦曲线202、206的波长而增加。亦即，光学摄像系统100（包括色差透镜104以及处理检测色彩影像部分以产生清晰影像的数字处理器110）的D1至D3（如图2所示）可被增加。在一实施例中，影像传感器的光谱响应的选择、调整或改变可通过选择、调整、或改变色彩滤光阵列108的色彩滤光组件的材料的组成成分而得到。

色彩滤光阵列108的色彩滤光组件通常使用一种如透光光阻材料形成，透光光阻材料包括色料（color pigment）或染料（dye）。这些色料或染料的成分特别为滤光组件所挑选的。举例而言，色彩滤光阵列108的一红色滤光组件可具有与蓝色滤光组件不同的色料与染料。依据本发明，通过合适挑选、调整或改变至少一个色彩滤光组件的组成成分，如色料及/或染料的组成成分，即可改良影像传感器光谱响应。包括选择一合适的色彩滤光组件，其可符合如上所述的延长D1至D3的需求。举例而言，用以制造色彩滤光组件的材料及方法描述于美国专利第4,808,501号（Chiulli）与第5,096,801号（Koya et al）中。

图4为一测量改良影像传感器谱频反应的示意图，其通过选择、调整或改变色彩滤光阵列108的至少一个滤光组件的组成成分而得到。特别的是，在图4的例子中，所有的三种滤光组件，即红、绿及蓝色滤光组件，其成分已通过选择以使其中心波长改变。需注意者，图4所示的反应仅为举例，一般而言，并非所有三种色彩滤光组件的成分皆需调整。特别的是，图4所示的改变过的谱频反应，红色反应的中心已从620nm移动至610nm，绿色反应的中心已从540nm移动至550nm，蓝色反应的中心已从470nm移动至440nm。需注意者，使用不同材料但可达到图4所示的相似反应的滤光组件亦可被使用，而不需要改变图3所示的滤光组件的材料。

因此，依据本发明，通过调整或变色彩滤光阵列108的滤光组件的材料的成分而调整或改变色彩影像传感器106的光谱响应，造成系统100的焦点深度的延长，使得景深被延长。特别的是，红色离焦曲线的最高点与蓝色离焦曲线的最高点的距离被延长。这个新的、改良的、调整的、延长的景深大于使用已知滤光组件所造成的景深。亦即(D1'D3')>(D1 D3)，其中D1'是新的、调整的红色离焦曲线的最高点，其中心波长为610nm，而D3'是新的、调整的蓝色离焦曲线的最高点，其中心波长为440nm。

在图6所示的CIE配色函数中，红色中心波长（600nm）与蓝色中心波长（450nm）的差值为150nm。在图3所示的一已知影像传感器光谱响应中，红色中心波长（620nm）与蓝色中心波长（470nm）的差值为150nm。在图4所示的改良影像传感器光谱响应中，红色中心波长（610nm）与蓝色中心波长（440nm）的差值为170nm。由于红色与蓝色中心波长的差距变大，D1' D3'的距离增加，即处在最佳焦点的波长增加。因此，焦点深度连同景深变大。

依据本发明，其它改良的影像传感器光谱响应是可能的。改良的影像传感器光谱响应提供红色与蓝色中心波长的差值大于150nm（150nm为已知影像传感器光谱响应所提供的差值，亦是由CIE配色函数所提供的差值）。本发明的差值可为任何大于150nm的差值。

然而，红色与蓝色中心波长的差值不能太大，以致于图2所示的三种离焦曲线有分离的现象，如此会遗漏一部分的对焦范围以致无法涵盖一段对应的物体距离。亦即，确保不产生一距离会使三种色彩无法锐利对焦的相当重要的。为说明此种情况，图5包括一离焦曲线图500，其具有一红色离焦曲线502、一绿色离焦曲线504以及一蓝色离焦曲线506。在如图5所示的状况下，假使一物体位于一距离D4并要对焦，但未被任何离焦曲线涵盖到，所述物体所有的色彩影像部分将会变成模糊，并且数字影像处理器无法修复这些模糊影像，因为没有任何清晰影像可作为参考。因此，如图2所示，举例来说，从蓝色离焦曲线的最高点到红色离焦曲线的最高点的范围需要被至少一种离焦曲线覆盖到。

因此，依据本发明，一摄像系统具有一景深大于已知系统，这可通过选择色彩影像传感器的滤光组件而达到。这些滤光组件或其组成成分依据一所需的焦点深度（对应至所需的景深）而选择。图7为依据本发明的一实施例的流程图，其描述一程序800。请参照图7，在步骤802中，选择摄像系统的一所需的景深。然后，在步骤804中，选择具有色差的一摄像光学组件，例如透镜。在步骤806中，选择系统的一影像传感器。然后在步骤808中，选择所述影像传感器的色彩滤光组件的一阵列的一光谱响应。接着在步骤810中，选择滤光组件及/或滤光组件的组成成分，亦即色料及/或染料，以得到对应所需景深的焦点深度的滤光组件光谱响应。接着在步骤812中，制造或得到已选择的滤光组件以达到所需的滤光组件光谱响应，以达到系统所需的景深。

本发明的技术特征已于上详述，本发明亦涵盖上述技术特征的各种组合，以下为依据本发明已揭露的一些组合的技术特征的描述。

在一实施例中，在选择的第一中心波长与第三中心波长的差值大于150nm。

在一实施例中，一数字影像处理器可处理选择的第一、第二及第三中心波长的检测影像、修复选择的第一、第二及第三中心波长的影像，以及产生选择的第一、第二及第三中心波长的清晰影像。

在一实施例中，色彩影像传感器可包括一色彩滤光阵列，选择的光谱响应可通过所述色彩滤光阵列的至少一种材料组成的选择而产生。

在一实施例中，其组成被选择的至少一种材料包括色彩滤光阵列的至少一种色料以及一染料。

在一实施例中，选择的第一中心波长可为610nm，选择的第二中心波长可为550nm，选择的第三中心波长可为440nm。

在一实施例中，第一与第三中心波长的差值可大于160nm。

在一实施例中，第一与第三中心波长的差值可大于或等于170nm。

以上所述仅是举例性，而非限制性。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包括在权利要求所限定的范围内。

Claims (17)

1.一种具有选择景深的摄像系统，其包括：

一摄像透镜，其形成一物体的影像，该摄像透镜具有色差；以及

一色彩影像传感器，其接收所述物体的影像，并具有一选择光谱响应，该选择光谱响应定义一选择第一中心波长、一选择第二中心波长以及一选择第三中心波长，其中，所述选择第一中心波长大于所述选择第二中心波长，所述选择第二中心波长大于所述选择第三中心波长，所述选择光谱响应定义所述摄像系统的景深，所述选择第一中心波长与所述选择第三中心波长的差值大于150nm。

2.根据权利要求1所述的摄像系统，其还包括：

一数字影像处理器，其处理所述选择第一中心波长、所述选择第二中心波长以及所述选择第三中心波长的检测影像，修复所述选择第一中心波长、所述选择第二中心波长以及所述选择第三中心波长的影像，并产生所述选择第一中心波长、所述选择第二中心波长以及所述选择第三中心波长的清晰影像。

3.根据权利要求1所述的摄像系统，其中，所述色彩影像传感器包括一色彩滤光阵列，所述选择光谱响应通过所述色彩滤光阵列的至少一种材料的组成的选择而产生。

4.根据权利要求3所述的摄像系统，其中，该至少一种材料包括所述色彩滤光阵列的至少一种色料以及一染料。

5.根据权利要求1所述的摄像系统，其中，所述选择第一中心波长为610nm，所述选择第二中心波长为550nm，所述选择第三中心波长为440nm。

6.一种摄像系统的景深的控制方法，其包括：

提供一具有色差的摄像透镜以形成一物体的影像；以及

接收所述物体的影像于一色彩影像传感器，所述色彩影像传感器具有一选择光谱响应，所述选择光谱响应定义一选择第一中心波长、一选择第二中心波长以及一选择第三中心波长，其中，所述选择第一中心波长大于所述选择第二中心波长，所述选择第二中心波长大于所述选择第三中心波长，所述选择光谱响应定义所述摄像系统的一选择景深；

其中，所述选择第一中心波长与所述选择第三中心波长的差值大于150nm。

7.根据权利要求6所述的控制方法，其还包括：

处理所述选择第一中心波长、所述选择第二中心波长以及所述选择第三中心波长的检测影像，修复所述选择第一中心波长、所述选择第二中心波长以及所述选择第三中心波长的影像，并产生所述选择第一中心波长、所述选择第二中心波长以及所述选择第三中心波长的清晰影像。

8.根据权利要求6所述的控制方法，其中，所述色彩影像传感器包括一色彩滤光阵列，所述选择光谱响应依据所述色彩滤光阵列的至少一种材料的组成的选择。

9.根据权利要求8所述的控制方法，其中，该至少一种材料包括所述色彩滤光阵列的至少一种色料以及一染料。

10.根据权利要求6所述的控制方法，其中，所述选择第一中心波长为610nm，所述选择第二中心波长为550nm，所述选择第三中心波长为440nm。

11.一种摄像系统，其包括：

一摄像透镜，其具有色差以形成一物体的影像；

一色彩影像传感器，其具有一光谱响应以通过所述摄像透镜检测所述物体的一第一中心波长、一第二中心波长以及一第三中心波长的影像；

其中，所述光谱响应决定所述第一中心波长、所述第二中心波长、所述第三中心波长，所述第一中心波长大于所述第二中心波长，所述第二中心波长大于所述第三中心波长，所述第一中心波长与所述第三中心波长的差值大于150nm；

其中，所述摄像系统具有一第一离焦曲线、一第二离焦曲线与一第三离焦曲线，所述第一离焦曲线具有所述第一中心波长的一第一最高点，所述第二离焦曲线具有所述第二中心波长的一第二最高点，所述第三离焦曲线具有所述第三中心波长的一第三最高点;其中,至少一个所述离焦曲线涵盖从所述第一最高点至所述第三最高点的范围；以及

一数字影像摄像器,其处理所述第一中心波长、所述第二中心波长以及所述第三中心波长的检测影像，修复所述第一中心波长、所述第二中心波长以及所述第三中心波长的影像，并产生所述第一中心波长、所述第二中心波长以及所述第三中心波长的清晰影像。

12.根据权利要求11所述的摄像系统，其中，所述第一中心波长与所述第三中心波长的一差值大于160nm。

13.根据权利要求11所述的摄像系统，其中，所述第一中心波长与所述第三中心波长的一差值大于或等于170nm。

14.根据权利要求11所述的摄像系统，其中，所述第一中心波长为610nm，所述第二中心波长为550nm，所述第三中心波长为440nm。

15.根据权利要求11所述的摄像系统，其中，所述第一中心波长、所述第二中心波长及所述第三中心波长落在可见光光谱内。

16.根据权利要求11所述的摄像系统，其中，所述色彩影像传感器包括多个色彩滤光组件，所述色彩滤光组件决定所述第一中心波长、所述第二中心波长与所述第三中心波长。

17.一种制备具有所需景深的摄像系统的方法，其包括：

选择所述摄像系统的所需景深；

选择具有色差的一摄像光学组件；

选择一影像传感器；

选择所述影像传感器的色彩滤光组件的一阵列的一光谱响应，该光谱响应依据选择的所需景深而定；以及

提供具有所述色彩滤光组件之阵列的摄像系统，以使得所述摄像系统具有选择的所需景深。

Images