CN1441603A - 四色图像感测装置 - Google Patents

Abstract

一种成像相机装置(20)，用于电子地捕捉图像并且为红色、绿色、蓝色和第四饱和原色等四个单独的彩色信道提供输出数据，用于扩展传统三色信道相机的色域。一种成像采集单元(120)将输入光指向一个、两个或四个光传感器(30)用于获得四色图像数据。

Description

四色图像感测装置

技术领域

本发明总体上涉及彩色成像装置，并且更具体地涉及应用电子相机的四色接收器以增加所捕捉图像的色域。

技术背景

近来的电子相机设计典型地采用平面式CCD和CMOS类型的传感器。为了利用这些传感器类型来提供一连串其中每个帧具有全色内容的彩色图像帧，则采用两种方法中的一种。在一种方法中，提供有三个单独的传感器阵列，使红、绿或蓝滤光器中的任一个位于每个传感器阵列之前。另外，可能采用棱镜来将入射光分裂成三色，把每个彩色提供给一个单独的未经滤光的传感器阵列。此第一方法为每个象素提供了一个三色的红、绿和蓝(RGB)值。

第二种方法采用一个单传感器阵列并且将一个滤色器阵列(CFA)放在传感器阵列之上，以便于红、绿或蓝色滤光器平放在传感器阵列的每个传感器上。对于此第二方法，由于全三色的RGB值不是从传感器阵列的每个传感器中获得，所以基于所获得值的矩阵，采用内插来计算丢失值。第二种方法已经被用于较低分辨率的传感器，尤其是用于消费者静物相机，以便于在这些相机上所获得的图像可以被方便地输出到标准TIFF或BMP格式的打印和显示设备上。虽然所述第二种方法在某些条件下可以引入图像的一些有害效应，但是这一方法具有消除与多个传感器未对准有关的彩色配准不良的优点，且经常被用于产生NTSC电视信号。

然而当采用一个单传感器时可利用另一方法，但是其并不提供瞬时的RGB彩色内容。此第三种方法应用一个具有单传感器的场顺序相机及具有红、绿和蓝色滤光器的旋转滤色器轮。

在说明上述第二种方法所采用的内插技术的专利当中，美国专利号3,971,065(Bayer)公开了一种彩色成像阵列，一种选择性可透射滤光器的镶嵌被与固态成像阵列对准而叠加。在一个优选的实施例中，每排包括相交替的亮度和第一色度滤光器以及交替排包含与第二色度滤光器相交替的亮度滤光器。其中绿色象素为红或蓝色象素两倍数量的这一方法的优点在于：在对人肉眼最敏感的绿色中获得较高的分辨率。绿色敏感度还与彩色图像的亮度信道值最密切相关。正如在成像技术中所众所周知的那样，人肉眼对亮度最为敏感而对色度信息则敏感很弱。因此，在用于例如彩色TV的NTSC彩色传输中亮度数据很重要。应用CFA的数字彩色相机所采用的内插技术的其它实例被公开于美国专利号5,990,950(Addison)和6,181,376(Rashkovskiy等人)中。

对于视频相机应用，美国专利号5,251,019(Moorman等人)公开了一种采用CFA的固态彩色图像传感器。在美国专利号5,251,019中的彩色滤波器阵列包括一个图像传感器元件阵列，其中75％的图像感测元件例如绿色元件为亮度感测，而其余例如红色及蓝色元件为色度感测。

对于改善图像质量这一目的，一直存在许多所建议的用于改善数字彩色相机RGB敏感度的方案。作为一个实例，如美国专利号5,631,703和6,330,029(Hamilton等人)所表明，已经提议：不采用红、绿及蓝色(RGB)滤光器的滤色器阵列(CFA)，而采用青色、深红色(magenta)和黄色(CMY)滤波器的滤波器阵列。然后可以用代数方法从CMY值导出精确的RGB值。在后一个专利中还进一步注意到这种滤光器技术的优点，即同RGB滤色器阵列(CFA)相比较，两倍量的能量落在每个象素上。例如，青色既透射蓝色光又透射绿色光，这样与采用蓝色或者绿色滤光器情况相比，探测器单元可以看到两倍之多的光线。针对给定的单元尺寸和集分时间，这个优点提供了一个更佳的信号噪声比。在一个优选的实施例中，因为亮度信息源自绿色信道，所以一个附加的绿色滤光器也被添加到青色、深红色及黄色滤光器上，以便为每个象素提供一个更佳的RGB值内插。

在另一个利用各种光源改善相机性能而同时将内插假象减至最小的尝试中，美国专利号5,889,554(Mutze)公开了采用五个滤色器及用于设置它们的优选方案。优选色是B(455nm)、G’(494nm)、G(545nm)、G’(570nm)和R(595nm)。附加色目的在于改善每个象素RGB值的内插；不提供附加的彩色数据。

针对通过设备制造技术来改善CCD传感器性能这一目的，美国专利号6,001,668(Anagnostopoulos)说明了在传感器制造中透明ITO电极的采用。出于同样的目的，美国专利号5,677,202和5,719,074(Hawkins等人)公开了将CFA制造到CCD上的改善方法。

上述所引用的专利表明通过不断地按数字相机所要求和所处理的RGB数据来改善数字彩色图像的彩色质量所做的尝试。参考图10，其中示出被示为马蹄形边界100的人肉眼可视色域的常见图形表示。在边界100内表示出两个较小的色域：运动画面色域102和NTSC TV色域104。有益地是要注意到色域基本上由一个三角形来确定，其中每个顶点对应于一个基本为纯色的色源，理想地为原色，所述色源作为色域内其它色的组成色。由此所述三角形所表示的面积对应于色域的大小。为了扩展色域，则需要将一个或多个顶点移近边界100。

传统的彩色模型，如遵从由Internationale de l′Eclairage(International Commission on Illumination)(国际照明协会)于1937年所确定的彩色空间协定的CIE LUV模型表明：典型地利用可以在三维坐标空间内被表示出的三个独立特征如色度、饱和度和亮度，则每个单独色作为一个三维彩色空间的一个点。彩色数据，如被显示于彩色CRT上象素的传统图像数据典型地以三色成分(例如R，G，B)来表达，即以三色形式来表达。传统的彩色投影片利用三个对红、蓝和绿色照明敏感的光敏乳剂层来提供图像。事实上。人眼本身具有三色传感器，R，G，B。由于这些传统的操作及图像表达形式，相机、胶片、印刷装置及显示系统的研制者们令人可以理解地一直坚持使用三色模型。

一直存在从传统三色模型进行扩展以为了以更精确、更合意的方式来表达彩色的多种尝试。显著地，这些尝试中有少数指向了扩展色域。例如印刷工业已经采用大量策略用于扩宽在处理彩色印刷时所用的相对窄的染料色域。由于传统彩色印刷采用基本上从白纸反射出的光，所以用于印刷的彩色表达方法采用相减的彩色系统(subtractivecolor system)。传统上，处理色青色(蓝色+绿色)、深红色(红色+蓝色)和黄色(红色+蓝色)被用来表达彩色的宽范围。然而，由于缺乏染料的光谱纯度，青色、深红色和黄色的组合无法产生黑色，相反却提供暗综色色调。为了改善阴影区的外观，黑色作为第四染料被添加。正如在印刷技术上所众所周知的那样，进一步的精炼技术，如欠染(undercolor)去除可以被采用以在全色合成中利用非昂贵的黑色染料。因此，当今的传统彩色印刷采用如上所述的四色青色、深红色、黄色和黑色(CMYK)方法。然而，即使添加了黑色，通过印刷染料可表达的彩色范围仍受到局限。

其中示出已经添加了附加彩色成分以改善彩色外观的其它实例来自于数字投影装置。美国专利号6,256,073(Pettit)公开了利用滤光器轮装置的投影装置，所述滤光器轮装置提供出四色以便于维持亮度和白点纯度。然而，为了向显示中增加亮度且将任何不需要的色彩色调减至最小，则在这个配置中所添加的第四色在光谱上并不是纯色的，而是白色的。必须注意到：白色是一个“内色域(intra-gamut)”的彩色添加；根据彩色理论，添加白色实际上通过减小彩色的饱和度降低了色域。同样，美国专利号6,220,710(Raj等人)公开了在投影装置中向标准的R、G、B光信道添加白光信道。正如所刚刚注意到的，白光的添加可能提供增加的发光度，但是却收缩了色域范围。美国专利号6,191,826(Murakami等人)公开了一种投影装置，所述投影装置采用来源于单白光源的四色，其中第四色，橙色的添加补偿了影响原色绿色路径的所不希望的光谱分布效应。此外，在Murakami专利中所公开的方法并不扩展色域且可能实际上降低色域。

不同于上述用于投影装置的早期专利，专利申请WO 01/95544 A2(Ben-David等人)公开了一种显示设备及利用四个或多个原色扩展色域的方法。然而，虽然在所述申请01/95544所公开的方法和装置为所投影的图像提供了改善的色域，但是最初被输入到投影设备的图像数据是三色的RGB数据，而不是四色数据。

发明内容

因此，可以看出有益的是：提供一个可以提供具有将要导致改善色域的第四色信号的相机。所述这一信号可以被输入到投影仪机械或印刷设备中，所述设备可能利用这种扩展的色域并且提供一个更合意的图像。

本发明的一个目的是向四色相机、电视机显示器、或四色阅读器提供最宽色域的输入数据。输入景物的四色捕捉是所需要的。

简要地，根据本发明一个彩色图像设备包括一个感光元件阵列。第一类型元件对蓝色光谱区敏感。第二类型元件对红色光谱区敏感。第三类型元件对绿色光谱区敏感。第四类型元件对光谱区的第四部分敏感。

在本发明中，利用现存的CCD或CMOS成像装置可以进行捕捉。一种方法是采用四个相机，每个相机的前方具有一个单独的光谱滤光器。第二种方法是在具有四个光谱带通滤光器的单相机前方采用一个旋转滤光器轮。第三种方法是在相机内采用四个传感器，并且利用二向色滤光器将光光谱地分离。在第四种方法中，与在目前采用的三色滤光器阵列相类似，具有完整四色滤光器阵列的CCD或CMOS传感器将提供一个适宜的解决方案。对于RGB操作或光效率的CMY操作，均提供有本滤色器阵列(CFA)，并且其可能被适当地修正以结合第四通带。

附图说明

在下述所呈现的优选实施例的详细说明中，本发明及其目的和优点将变得更加显而易见。

图1是示出利用来自四色相机的输入信号从四色投影仪可获得的色域的图形；

图2是四个相机、四个滤光器系统的顶视图；

图3示出一个采用带有旋转滤光器轮的场顺序单传感器的相机；

图4是具有二向色性滤光器光谱带宽分离器的四传感器相机的顶视示意图；

图5是具有一个x立方体色分裂器的四传感器相机的顶视示意图；

图6示出在滤色器阵列中的RGCB滤光器装置；

图7a示出具有2个传感器的相机，一个相机带有G、C滤光器阵列且另一个相机带有R、B滤光器阵列；

图7b示出具有2个传感器的相机，一个相机带有R、G滤光器阵列且另一个相机带有C、B滤光器阵列；

图8a示出在一个阵列中的G和C滤光器装置；

图8b示出在一个阵列中的R和B滤光器装置；

图8c示出在一个阵列中的R和G滤光器装置；

图8d示出在一个阵列中的B和C滤光器装置；

图9是带有具有多色CFA的单光传感器的相机的顶视图；以及

图10是示出用于运动画面片和NTSC TV信号的传统色域图形。

优选实施例

本发明将更特别地针对这样的元件，其构成根据本发明装置的部分，或更直接地与根据本发明的装置共同作用。要理解为：没有被具体地示出或说明的所述元件可以采用本领域那些普通技术人员所众所周知的各种形式。

现在参考图1，其中示出一个在u′、v′坐标空间下的CIE色度图，其中马蹄形边界100示出由人的彩色视觉所确定的色域极限。注意：由红、绿、蓝和蓝-绿饱和原色的四个顶点116、114、112、108所确定的四边形106构成一个与人视觉系统的色域几乎相等的色域。采用四光源的显示器将能够利用这个增强型的色域来形成图像、并且提供原始景物的更真实再现，但是最理想地是需要一个传统相机设备不具备的第四彩色信号。简单而言，四色显示器需要一个四色相机。

为了向蓝-绿彩色调制器提供第四色例如蓝-绿景物信息，所要求的是将一个单独的彩色信道记录在捕捉景物的相机上。这要求一个捕捉红、绿、蓝和第四原色C(RGBC)的相机，其中C典型地为蓝-绿或青色。在此所述的青色信息可以是比由典型的青色滤光器所透射的光谱带宽较窄的光谱带宽，其包含所有的蓝色和所有的绿色光谱区。这种相机可以具有众多可能的装置，例如，具有四个传感器，其中每色一个传感器；具有两个传感器，其中每个传感器由两色共用；或者具有一个带有彩色滤波器阵列的单传感器，其中针对每个象素位置，所述彩色滤波器阵列的R、G、B、C值可以得到确定；或具有一个带有四色CFA的单高分辨率传感器，其中所述四色CFA向四色信道输出数据。

提供RGBC数据的一个方法被示于图2的实施例中。四个相机20R、20G、20BG和20B被对准到景物14上，每个相机分别具有一个放置于其前方的单独滤色器10R、10G、10BG、10B。透镜15将景物14成像到适当的区域阵列光传感器30R、30G、30BG、30B上。这个装置的优点是在R、G、B、C每个色上高分辨率的成像。除了成本以外，这个设置的困难还在于保持所有四个相机配准这一任务。

第二实施例被示于图3，其中具有单区域阵列光传感器30的单相机20采用一个放置在相机前方的滤色器轮25及所产生的一个彩色顺序信号，其中所述滤色器轮25包含红色10R、绿色10G、蓝-绿色10BG、和蓝色10B滤光器。所述滤色器轮25可以由一个电子转换的LCD滤色器如由ColorLink Inc.，Boulder，Colorador制造的设备来替代。这种类型的滤色器典型地工作在相交叉的偏振器(未示出)之间。

再参考图3，相机20包括一个图像采集单元120，所述图像采集单元120包含用于聚焦、感测及初始光采集的光学及电子组件。信号处理单元126接受并处理所感测到的来自光传感器30的数据值。对于在图3中所示的装置，信号处理单元126处理从成像采集单元120所输出的顺序彩色数据。控制逻辑处理器122，典型地是一个微处理器或等同的逻辑处理设备，其协调并控制图像数据的采集以及图像采集单元120和信号处理单元126的交互。图像数据存储设备124存储每个图像象素所获得的最终四色数据。

第三实施例被示于图4，其中相机20具有四个区域阵列光传感器30，并且来自景物的白光16从光谱上被分割用于四个传感器30R、30G、30BG、30B，每一个用于红色、绿色、蓝-绿色和蓝色。白光16穿过透镜15，并且被由二向色镜32分成红光和蓝-绿光。在这个情况下，所述红光从所述二向色镜32反射并且撞射到CCD阵列30R上。所述蓝、绿和蓝-绿光被透射到束分裂器36上，所述束分裂器例如可能是一个薄膜或部分镀银镜。束分裂器36并没有必要将光等分。例如，三分之二的光可能被导引到蓝色传感器和绿色传感器而三分之一的光可能被导引到蓝-绿传感器上。蓝和绿光被从束分裂器36反射，并且被导引向二向色镜34。蓝-绿光被透射穿过束分裂器36并且进入蓝-绿区域阵列光传感器30BG。然后，二向色镜34将蓝光传送到蓝色区域阵列光传感器30B并且将绿光反射到绿光区域阵列光传感器30G。有益地是要注意到：针对入射光水平，每个光传感器30可以被单独地调谐到适合的灵敏度值。

第四个实施例被示于图5，其中X立方体38被用来将s偏振的红色和蓝色(由点来表示)从来自透镜15的入射光分离。滤光器32反射红色、阻挡可以渗漏通过X立方体的红光并且让蓝色和绿色穿过。二向色镜34被用来完成且结束彩色分离。X立方体让双偏振(如点及箭头所示)的绿光穿过，并且也让s偏振的(箭头)蓝色和红色光穿过。二向色滤光器34被设计成将剩余的蓝色及较短波长的绿色光反射到蓝-绿传感器30BG。绿光的余额被透射到绿色传感器30G。

图6示出一个在滤色器阵列中RGBC滤光器的优选装置。在一个实施例中，第四色C是青色，蓝-绿色滤光器通常与青色相关联，其可以具有从400至600nm的全蓝和全绿光谱较窄的带宽。例如，一个适合的青色可以具有470至530nm的通带。绿色和蓝-绿色滤光器可以被用来表示亮度信号，并且与红色和蓝色相交替。通过这种方式，所述“亮度”信号较红色和蓝色“色度”信号具有较高的分辨率。所述滤光器按照在美国专利号5,631,703和6,330,029上所示的相类似方法被设置，以便于内插得到改进且在对角线方向、以及垂直和水平方向上维持良好的分辨率。与图9中所示例的相类似，这样的传感器可能被结合到相机内。

图7a示出在相机20内的图像采集单元120，所述相机采用两个区域阵列光传感器40、42，每个光传感器具有一个单独的滤色器阵列。在此，阵列光传感器42具有G和C滤光器的组合，并且由于眼睛对这些波长最为敏感，所以可以被直接地用作亮度信号。另一传感器，阵列光传感器40具有R和B滤光器。进入相机的光穿过透镜15并且被成像在两个阵列光传感器40、42之一上。一些所述光由束分裂器36所透射，并且被成像到具有绿色和蓝-绿色滤色器阵列的阵列光传感器42上。剩余的所述光被反射到具有红和蓝滤色器阵列的阵列光传感器40上。束分裂器36可以是镜子、薄膜、或二向色镜。二向色镜可能更为昂贵，但是具有光效率及可能改善的对比度等优点。束分裂器不需要反射光对应于透射光为50-50。更多的光可以被导引到一个探测器或另一个探测器以补偿探测器的响应。

如图7a所示的具有两个区域阵列光传感器的相机20混合式设计是在图4和图5的四传感器相机与图3所示的单传感器相机之间的折中，其中所述四传感器相机较难以对准但却不需要内插，而所述单传感器相机相对易于对准，但在彩色再现上既不精确而且分辨率也不高。然而，两阵列相机比四阵列相机可以更为紧凑且较低廉，并且不需要昂贵的棱镜或二向色部件。

图8a示出在图7a中所示例相机内所采用的CFA中G和B-G滤光器的优选装置。图8b示出在图7a中所示例相机内所采用的CFA中R和B滤光器的优选装置。

与图7a相比较，图7b示出在区域阵列光传感器46上具有R和G滤光器以及在区域阵列光传感器48上具有C和B滤光器的图像采集单元120，所述滤光器按照最接近波长分组。相对于二向色性束分裂器36的设计，这个装置可以是最为有利的，这是因为高于一个阈值的所有波长均被反射，并且低于该阈值的所有波长均被透射。与此相对照，图7a的装置透射朝向可视光谱中央的波长，而反射较大或较小的波长。因而图7a将对于成像系统如采用亮度信息的NTSC较为理想。应该注意到：在图7a和7b中所示的所反射色和所透射色可以颠倒。并不是所有的成像系统均需要一个基于亮度和色度的TV类型信号。在广播带宽不成问题的情况下，如数字影院投影仪及彩色打印机情况下，R、G、C、B信号可以被直接使用。

图7b所示例相机所需的滤光器阵列按照图8c和8d所示被构建。

图9示出相机20的另一实施例，其中成像透镜15将来自景物14(在图9中未示出)的光成像到多色滤色器阵列光传感器60上。作为一个RGBC CFA，光传感器60可能采用按图6所示配置的阵列。它可以具有众多包括CMY阵列的其它配置中的任何一个。红、绿和蓝色信号可以用代数方法从CMY值中导出，并且蓝-绿信号可以使用青色信号的比例缩放型式(scaled version)。

从CMY滤光器信号中导出RGBC：

R＝M+Y

G＝C+Y

B＝C+M

BG＝C

然后这些信号在信号处理单元126中被电子式地组合，以提供一个具有增加色域的四色图像。

用于图9相机中的另一滤光器是Moorman滤光器的一个变型。Moorman滤光器按如下设置：

G G G R

G R G G

G G G B

G B G G

一些G滤光器可以用表示蓝-绿的C滤光器来替代，例如：

G C G R

G R G C

G G C B

C B G G

重新设置以得到更佳的对角响应：

C R G G

G C G B

G G C R

B G G C

为了处理从对四色滤光的CFA所获得的数据及彩色值的内插，可以应用与目前三色系统所使用方法相类似的方法。

Claims (8)

1.一种彩色成像设备，包括一个光敏元件阵列：

对蓝色光谱区敏感的第一类型元件；

对红色光谱区敏感的第二类型元件；

对绿色光谱区敏感的第三类型元件；

对所述光谱区的蓝-绿部分敏感的第四类型元件。

2.如权利要求所述的彩色成像设备，其中所述光敏元件由光传感器和透射式滤色器组成。

3.彩色成像传感器包括：

一个基本上为平面的固态光敏元件阵列；

一个滤光器镶嵌，其由按一对一个配准而叠加在所述光敏元件上的单独滤光器元件组成，所述这种镶嵌由下述组成：

对绿色透明的第一类型滤光器元件；

对红色透明的第二类型滤光器元件；

对蓝色透明的第三类型滤光器元件；

对蓝-绿色透明的第四类型滤光器元件；以及

其中遍及基本上所述传感器的整个成像区域，所述这种滤光器元件在两个垂直的方向上被以重复图案设置。

4.如权利要求3所述的彩色成像设备，其中所述图案是：

R G B B-G

G R B-G B

B B-G R G

B-G B G R

5.一种彩色成像设备，包括：

第一数字相机，其包括第一传感器阵列和第一滤色器，所述第一滤色器用于滤掉除与第一光谱区相关光以外的所有光；

第二数字相机，其包括第二传感器阵列和第二滤色器，所述第二滤色器排除除与第二光谱区相关光以外的所有光；

第三数字相机，其包括第三传感器阵列和第三滤色器，所述第三滤色器用于滤掉除与第三光谱区相关光以外的所有光；

第四数字相机，其包括第四传感器阵列和第四滤色器，所述第四滤色器用于滤掉除与第四光谱区相关光以外的所有光；

6.数字相机包括：

一个传感器阵列；

一个滤色器轮；以及

其中所述滤色器轮选择性地透射与第四光谱区相关的光。

7.数字相机包括：

一个传感器阵列；以及

一个电子可转换的滤光器，其具有从四个光谱区选择性地透射光的能力。

8.数字相机包括：

至少一个二向色束分裂器；

第一传感器阵列，其在第一光谱区从所述二向色束分裂器接收光；

第二传感器阵列，其在第二光谱区从所述二向色束分裂器接收光；

第三传感器阵列，其在第三光谱区从所述二向色束分裂器接收光；

第四传感器阵列，其在第四光谱区从所述二向色束分裂器接收光；

如权利要求8所述的数字相机，其中所述二向色束分裂器之一是一个X立方体束分裂器。

Images