CN106454161B - 改善图像传感器的图像质量的方法 - Google Patents

Abstract

提供了一种改善图像传感器的图像质量的方法，所述方法使用改进的ISP连同多层CFA架构以在单次拍摄中在同一CMOS图像传感器芯片上基本上同时捕获RGB图像和RXB图像两者，使得随后的图像处理阶段可在RGB图像和RXB图像之间选择以改善最终图像的质量。RXB图像中的颜色“X”可以是白颜色、黄颜色或蓝绿色。与基于单独的RWB成像或RGB成像的常用的CMOS传感器对照，具有一个或更多个特别选择的CFA层的所公开的CMOS传感器可使用关联的ISP在单次拍摄中捕获RGB图像和RXB图像两者。多层传感器可以是有机传感器或堆叠式X3传感器。双RGB成像‑RXB成像可减少色盲、色差和饱和度伪像。

Description

改善图像传感器的图像质量的方法

本申请要求于2015年8月10日提交的第62/203,390号美国临时申请和于2015年10月27日提交的第14/924,704号美国专利申请的优先权权益，上述美国申请的公开内容通过引用全部包含于此。

技术领域

本公开总体上涉及图像传感器。更具体地且不通过限制的方式，在本公开中公开的发明方面的具体实施例针对一种多层互补金属氧化物半导体 (CMOS)图像传感器，在所述CMOS图像传感器中，具有拜耳图案(Bayer pattern)的红色-绿色-蓝色(RGB)图像和红色-白色-蓝色(RWB)图像在单次拍摄(single shot)期间基本上同时产生在同一芯片上以在诸如例如颜色校正、降噪、减小色差和减少色盲的后续图像处理操作期间允许选择RGB图像或RWB图像。

背景技术

在诸如例如蜂窝电话的商用移动产品中，近来已经引入CMOS RWB成像传感器作为用于蜂窝电话的照相机的图像传感器。RWB传感器包括以拜耳颜色图案排列的红色滤色器、白色滤色器和蓝色滤色器的滤色器阵列(CFA)。与常用的CMOS RGB传感器配对件相比，已经知晓CMOS RWB传感器在低光照环境中以较低的噪声产生较好的图像质量。在构造方面，CMOS RWB传感器与传统的基于拜耳图案的CMOS RGB传感器的不同之处在于：RGB CFA 中的绿色滤波器被RWB CFA中的白色(或透明的)滤波器代替。结果，RWB 传感器允许更多的光子到达光子感应位点(也称为“光位点”)，这样反过来增大了传感器的信噪比(SNR)。另一方面，由于白色滤波器的宽带(或全色) 光谱响应，使得关联的颜色校正矩阵(CCM)——其通常用于将颜色从照相机颜色空间转换到诸如例如标准RGB(sRGB)颜色空间的标准颜色空间——具有大的非对角线元素。这些大的元素在CMOS RWB传感器的图像处理流程中的颜色校正阶段期间导致噪声的巨大放大。因此，原始RWB图像中的增大的亮度SNR(YSNR)——由于被光位点收集的更多光子——减小并且噪声变得比在相应的传统RGB图像中的噪声高。这是RWB传感器先前未在商用产品中被大量地采用的主要原因。

然而，近来在图像信号处理(ISP)方面的开发已经解决了这个噪声放大问题，结果，现在RWB传感器的YSNR能够提高至合宜的水平。例如，由美国加利福尼亚州圣荷塞市的Aptina成像公司(现在是美国亚利桑那州菲尼克斯市的ON半导体的一部分)开发的Clarity+ISP应用能够在低光照下实现对于RWB传感器的+3dB YSNR的增加。这个ISP应用使在三个颜色通道—— R、W和B——中的噪声相互关联。因此，当图像通过RWB传感器的CCM 而转换至标准颜色空间时，噪声将不被同样多地放大。结果，通过RWB传感器的最终图像具有比通过可比较的RGB传感器的最终图像小的噪声。

此外，当前的RWB传感器会遭受色盲和色差伪像。色盲出现是因为RWB 传感器会对RGB传感器没有问题地区分的某些颜色边缘“盲目”。另一方面，色差出现是因为红光、绿光和蓝光具有不同的折射率，因此红光、绿光和蓝光会聚焦在图像平面的前面/背面，或者即使这些光都聚焦在图像平面上也会聚集在不同的位置处。尤其在缺少精密设计的透镜以完全消除这样的偏差时会存在色差。当色差出现时，白光信号——包含红色分量、绿色分量和蓝色分量——将由于光在不同聚焦点处的混合而模糊。另一方面，传统的RGB传感器具有比RWB传感器低的色差。

发明内容

在一个实施例中，本公开针对一种方法，所述方法包括：(i)提供多层图像传感器，所述多层图像传感器具有按像素阵列排列的多个像素，并且还具有覆盖在像素阵列上使得至少一个位置特定的滤色器与像素阵列中的每个像素位置关联的至少一层滤色器阵列(CFA)；(ii)在单个成像操作期间从像素阵列中的每个像素位置收集一个或更多个颜色信号，其中，与给定的像素位置关联的每个颜色信号代表不同颜色的光；(iii)选择性地组合来自每个像素位置的颜色信号以构建下面的颜色图案，每个颜色图案具有与像素阵列中的每个像素位置一一对应地排列的颜色：(a)红色-绿色-蓝色(RGB)颜色图案和(b)RXB颜色图案，其中“X”代表下面颜色中的一种：白色、黄色或蓝绿色。

在另一实施例中，本公开针对一种图像传感器单元，所述图像传感器单元包括：(i)多个像素，按像素阵列排列；(ii)至少一层CFA，覆盖在像素阵列上使得至少一个位置特定的滤色器与像素阵列中的每个像素位置关联； (iii)处理单元，结合到像素阵列。在图像传感器单元中，处理单元是可操作的以执行下面的步骤：(a)在单个成像操作期间从像素阵列中的每个像素位置收集一个或更多个颜色信号，其中，与给定的像素位置关联的每个颜色信号代表不同颜色的光；(b)根据需要组合来自每个像素位置的颜色信号以构建下面的颜色图案，每个颜色图案具有与像素阵列中的每个像素位置一一对应地排列的颜色：RGB颜色图案以及RXB颜色图案，其中“X”代表下面颜色中的一种：白色、黄色或蓝绿色。

在又一实施例中，本公开针对一种系统，所述系统包括：(i)图像传感器单元；(ii)存储器，用于存储程序指令；(iii)处理器，结合到图像传感器单元和存储器。在系统中，图像传感器单元包括：(a)多个像素，按像素阵列排列；(b)至少一层CFA，覆盖在像素阵列上使得至少一个位置特定的滤色器与像素阵列中的每个像素位置关联。在系统中，处理器被配置成执行程序指令，由此处理器是操作的以执行下面的步骤：(a)在单个成像操作期间从像素阵列中的每个像素位置收集一个或更多个颜色信号，其中，与给定的像素位置关联的每个颜色信号代表不同颜色的光；(b)选择性地组合来自每个像素位置的颜色信号以构建下面的颜色图案，每个颜色图案具有与像素阵列中的每个像素位置一一对应地排列的颜色：RGB颜色图案和RXB颜色图案，其中“X”代表下面颜色中的一种：白色、黄色或蓝绿色。

附图说明

在下面的部分中，将参照在附图中示出的示例性实施例来描述本公开的发明方面，在附图中：

图1示出根据本公开的一个实施例的系统的高度简化的局部布局；

图2示出根据本公开的一个实施例的在图1中的图像传感器单元的示例性架构布局；

图3是根据本公开的具体实施例的可如何获得双RGB图像-RXB图像的示例性略图；

图4描绘了示出根据本公开的一个实施例的可如何在单个成像操作中在同一图像传感器芯片上产生双RGB和RXB颜色图案的示例性流程图；

图5是根据本公开的一个实施例的可如何使用多层有机CMOS传感器中的示例性的一对CFA层来构建双RGB图像和RWB图像的图；

图6示出根据本公开的一个实施例的示例性ISP流程的一部分；

图7示出在图5的示例性实施例中的ISP的更多细节；

图8A-图8B提供了根据本公开的一个实施例的可如何构建一对RGB图像-RYB(红色、黄色、蓝色)图像的示例性图；

图9A-图9B提供了根据本公开的一个实施例的可如何构建一对RGB图像-RCB(红色、蓝绿色、蓝色)图像的示例性图；

图10示出根据本公开的一个实施例的可在多层有机CMOS传感器中使用的两个示例性CFA层；

图11A-图11B示出可如何使用堆叠式CMOS传感器来实施根据本公开的具体实施例的双RGB成像-RWB成像方法；

图12示出根据本公开的具体实施例的教导的在堆叠式X3传感器阵列顶部的示例性CFA层以及由相应的ISP构建的图像；

图13描绘了根据本公开的一个实施例的在图1-图2中的系统的总体布局。

具体实施方式

在下面的详细描述中，为了提供对公开的彻底理解，阐述了许多具体的细节。然而，本领域技术人员将理解的是，可在没有这些具体细节的情况下实践所公开的发明方面。在其他情况下，公知的方法、程序、组件和电路未被详细描述以不使本公开模糊。此外，可实施所描述的发明方面以改善在包括例如智能电话、用户设备(UE)、膝上型计算机和机器视觉系统等的任何成像装置或系统中的图像质量。

遍及该说明书提及“一个实施例”或“实施例”意思是与实施例有关地描述的具体特征、结构或特性包括在本公开的至少一个实施例中。因此，遍及该说明书在各种位置中出现短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或具有相似含义的其他短语)不必全部参照相同的实施例。此外，具体的特征、结构或特性可以在一个或更多个实施例中以任何适合的方式组合。另外，根据这里讨论的上下文，单数术语可包括它的复数形式，复数术语可包括它的单数形式。

起初注意的是，术语“结合”、“可操作地结合”、“连接”、“电连接”等可在这里互换使用以总体表示以可操作的方式被电气地/电子地连接的情况。相似地，当第一实体(不论通过有线或无线方法)将信息信号(不论包含地址、数据或控制信息)电发送到第二实体和/或从第二实体电接收信息信号而与这些信号的类型(模拟的或数字的)无关时，第一实体被认为与第二实体“通信”。还注意的是，这里示出和讨论的各种图(包括组件图)仅出于说明的目的，而不是按照比例绘制的。

除非如此明确地定义，否则如这里使用的术语“第一”、“第二”等用作它们在前面的名词的标签，而不意味任何类型的排序(例如，空间、时间、逻辑等)。此外，相同的附图标记可跨越两幅或更多幅附图来使用以表示具有相同或相似功能的部件、组件、块、电路、单元或模块。然而，这样的用法仅仅是为了简化说明和易于讨论；它不意味着这样的组件或单元的构造或架构细节跨越所有的实施例是相同的或者这样的通常提及的部件/模块是用以实施本公开的具体实施例的教导的唯一方式。

从早先的讨论，看出的是，通过适当的ISP，当前的CMOS RWB传感器能够实现比当前的CMOS RGB传感器增加+3dB YSNR。然而，也如之前提到的，CMOS RWB传感器通常也比它的RGB配对件遭受更多的诸如例如色盲、色差和色饱和度的伪像。换句话说，RWB传感器在一些方面好于RGB 传感器，但RGB传感器在其他方面好于RWB传感器。因此，在仅捕获RWB 图像的RWB传感器中，变得难以获得RGB传感器的图像质量增强的方面。相似地，在仅RGB的传感器中，变得难以获得RWB传感器的图像质量增强的方面。

因此期望具有在单次拍摄中捕获RGB图像和RWB图像两者的CMOS 传感器构造，使得后续的图像处理阶段可在RGB图像和RWB图像之间选择，取其将在有问题的图像区域处产生较少的伪像的一个。这样的双RGB-RWB 传感器架构因此能够采用改进的ISP的全部优点——如早先提及的Clarity+ ISP应用——用以不仅实现增加的YSNR而且实现减少的色盲和色差。

与基于单独的RWB或RGB成像的常用CMOS传感器相比，本公开的具体实施例提供了具有多层CFA的CMOS传感器以在单次拍摄中在同一传感器芯片上捕获RGB图像和RWB图像两者。这样的多层传感器可以是例如有机传感器或堆叠式X3传感器。通过获得双RGB-RWB图像(实际上同时) 并且使用关联的ISP适当地对它们进行处理，根据本公开的具体实施例的CMOS传感器可实现超过当前的RWB传感器的+1dB YSNR的增加以及超过当前的RGB传感器的+4dB YSNR的增加。此外，根据本公开的教导的多层 CMOS传感器也可克服早先提及的与当前的CMOS RWB传感器有关的缺点并且能够使用现有的有机传感器或堆叠式传感器设计的略微修改来容易地制造。因此，根据本公开的教导的传感器构造可在诸如例如智能电话、平板电脑、UE、膝上型计算机、虚拟现实(VR)设备以及机器人等的各种电子装置——便携式或非便携式——中实施。

图1示出根据本公开的一个实施例的系统10的高度简化的局部布局。如所示出的，系统10可包括结合到处理器或主机且与处理器或主机14通信的多层图像传感器单元12。系统10也可包括结合到处理器14用以存储诸如例如以从图像传感器单元12接收的图像数据的信息内容的存储器模块16。在具体实施例中，整个系统10可包封在单个集成电路(IC)或芯片中。可选择地，模块12、14和16中的每个可以以单独的芯片来实施。此外，存储器模块16可包括不只一个存储器芯片，处理器模块14也可由多个处理芯片组成。无论如何，关于图1中的模块的封装以及如何制造或实施——以单个芯片或使用多个分立芯片——它们的细节与本讨论不相关，因此，在这里不提供这样的细节。

系统10可以是根据本公开的教导的为双RGB-RWB成像而构造的任何图像/视频捕获装置。系统10可以是便携式或非便携式。系统10的便携式版本的一些示例可包括诸如例如移动装置、蜂窝电话、智能电话、用户设备 (UE)、平板电脑、数码相机、膝上型或桌上型计算机、电子智能手表、机器对机器(M2M)通信单元、虚拟现实(VR)设备或模块以及机器人等的流行的消费者电子产品。另一方面，系统10的非便携版本的一些示例可包括电子游戏室中的游戏控制器、交互式视频终端、汽车、机器视觉系统、工业机器人和VR设备等。根据本公开的教导提供的RGB-RWB单次拍摄双成像功能可在诸如例如在虚拟现实设备上的虚拟现实应用、网上聊天/博彩、机器人学和机器视觉应用、诸如自动驾驶应用的汽车应用等的许多应用中使用。

在具体实施例中，图像传感器单元12可以是下面参照图2讨论了其的一些示例性构造细节的多层CMOS传感器。如早先提到的，多层CMOS传感器 12可以是根据本公开的教导的为双成像而构造的有机传感器或堆叠式X3传感器。

在一个实施例中，处理器14可以是可为通用微处理器的中央处理单元 (CPU)。在这里的讨论中，为了易于讨论，术语“处理器”和“CPU”可以互换使用。然而，理解的是，代替CPU或者除了CPU之外，处理器14可包含诸如例如微控制器、数字信号处理器(DSP)、图形处理单元(GPU)、专用特定集成电路(ASIC)处理器等的任何其他类型的处理器。此外，在一个实施例中，处理器/主机14可包括不只一个可运行在分布式处理环境中的 CPU。处理器14可被配置成根据诸如例如x86指令集架构(32位版本或64 位版本)、ISA或依赖RISC(精简指令集计算机)ISA的MIPS(无互锁流程阶段的微处理器)指令集架构的特殊指令集架构来执行指令和处理数据。在一个实施例中，处理器14可以是具有除了CPU功能之外的功能的系统级芯片(SoC)。

在具体的实施例中，存储器模块16可以是动态随机存取存储器 (DRAM)，诸如例如同步DRAM(SDRAM)或者诸如例如高带宽存储器 (HBM)模块或混合存储立方体(HMC)存储器模块的基于DRAM的三维堆叠(3DS)存储器模块。在其他实施例中，存储器模块16可以是固态驱动器(SSD)、非3DS DRAM模块或者诸如例如静态随机存取存储器(SRAM)、相变随机存取存储器(PRAM或PCRAM)、电阻式随机存取存储器(RRAM 或ReRAM)、导电桥接RAM(CBRAM)、磁性RAM(MRAM)和自旋转移力矩MRAM(STT-MRAM)等的任何其他基于半导体的存储系统。

图2示出根据本公开的一个实施例的在图1中的图像传感器单元12的示例性架构布局。如早先提及的，在具体实施例中，图像传感器单元12可以是可为具有多层滤色器阵列的CMOS传感器的多层CMOS传感器。在图2的实施例中，两个这样的CFA层——顶层18和底层20——通过示例的方式示出。仅为了易于说明，分开示出了CFA层18、20。在实际的多层传感器中，CFA 层18、20可覆盖在像素阵列22上。已知的是，在拍摄时，滤色器阵列(CFA) 是放置在图像传感器的每个像素电极或光位点上用以捕获颜色信息的微小滤色器的马赛克。因为在半导体图像传感器中的典型的像素电极检测具有很少或无波长特定性的光强度而因此这些电极不能分离颜色信息，所以会需要滤色器。滤色器按波长范围对光进行过滤，使得分离地过滤的强度包括关于光的颜色的信息。例如，RGB CFA给出关于光在红色、绿色和蓝色波长区域中的强度的信息。通过图像传感器捕获的原始图像数据然后通过可为每种类型的滤色器调整的去马赛克算法而转换成全色图像——具有代表在每个像素处的所有三原色R、G、B的强度。

像素阵列22可以是诸如例如在图2中示出的3×3像素阵列的二维(2D) 像素阵列。理解的是，仅为了易于说明，示出了3×3像素阵列22；现时的像素阵列包含数千乃至数百万的像素。CFA层18、20中的每个可具有与像素阵列22相似的几何结构，意义在于，当CFA层18、20覆盖在像素阵列22上时(如通过图2中的说明性箭头27-28以及虚线30-31所示出的)，在像素阵列22中的每个像素位置可具有来自与它关联的每个CFA层18、20的一个位置特定的滤色器。虽然可使用相应的附图标记来标识所有的九(9)个像素位置，但是为了易于说明以及使附图清晰，仅在图2中标识了两个这样的像素位置24-25。因此，在图2的实施例中，每个像素位置可具有与它关联的两个位置特定的滤色器：来自CFA层20的一个滤色器和来自CFA层18的一个滤色器。

在一个实施例中，多层CMOS传感器12可以是CMOS有机传感器，在这种情况下，顶部CFA层18可以是波长选择性半透明有机(碳基的)光转换层，底部CFA层20可以是期望颜色图案的非有机滤波器阵列(如随后例如参照图6-图9所讨论的)。在某些实施例中，可存在不只一个有机滤波器层——每层对特定颜色的光敏感。可选择地，具有用于多个不同颜色的滤色器的单个有机层也可如例如在图10的实施例中所示地实施。在具体实施例中，有机层18可仅对绿颜色敏感，在这种情况下，有机层18可仅在它检测到绿光时产生电信号。具有其他颜色——诸如例如三原色红色和蓝色——的入射光无论如何可穿过半透明有机层18并且被底部CFA层20中的适当的滤色器检测到。如所示的，有机层18可包括它自身的有机层特定的光位点或像素电极以将具有特定波长(诸如绿光的波长)的入射光子转换成电信号——通过图2中的箭头33象征性地代表，同时允许其他波长的光子穿过。然而，在这里的讨论中，术语“像素位置”主要参照像素阵列22中的像素来使用，因此，有机层18的像素电极或光位点由于缺乏有机层18的构造细节与下面的讨论的关联而既不单独地标识也不进一步详细地讨论。在一个实施例中，有机层18可以是绿光敏感的有机光电二极管(OPD)。为了说明的一致性，图2中的有机层18示出为被分成多个滤波器位置以符合像素阵列22中的像素位置的相似的几何构造。然而，在具体实施例中，有机层18可以是覆盖在有机层特定的光位点的马赛克上的光敏有机材料的薄且连续的(或未分开的) 膜/板。

这里注意的是，仅将具有特定波长的入射光子转换成在构造如下所讨论的双RGB-RXB图像中有用的相应的电信号的“有效的”光位点或像素电极 (不管作为有机CFA层18的一部分还是作为像素阵列22的一部分)与本公开相关。这样的电信号例如使用图3中的箭头42共同地标识(随后讨论)。因此，仅这些“有效的”光位点示出在图2中，这里的讨论应该被理解为仅参照这样的光位点。相似地，术语“像素位置”也应该被理解为仅参照像素阵列22中的这样的“有效的”像素。

虽然未在图2中示出，但是在一些实施例中，为了被像素阵列22中以及有机层18中的像素电极(或光位点)最后检测，可在CFA层18的顶部上铺设微透镜以使入射光集中到在下面的CFA层18、20上。在其他实施例中，微透镜可以是非有机CFA层20的一部分。在另一实施例中，层18、20的放置的顺序可以颠倒——非有机层20可在顶部处，有机层18可在底部处。在另一实施例中，微透镜可铺设在像素电极(在像素阵列22中)上，CFA层 18、20可放置在这些微透镜上。无论如何，如何收集入射光并将其发送到像素阵列22中的光位点与本公开无关，因此，不在这里提供这个过程和相关架构布置的附加的细节。也可在系统10中存在附加的收集光学件。这样的附加的光学件可包括例如将接收的光集中到像素阵列22中的一个或更多个像素上的聚焦透镜、玻璃/塑料表面或其他圆柱形光学元件。这个光可包括例如下面的光中的一种或更多种：环境光、从被照明物体(诸如例如通过照相机闪光灯照射的人脸)反射/折射的光或者从物体(诸如例如荧光物体)发射的光。在本讨论中，如何通过图像传感器单元12接收光是无关的，因此，省略与接收的光的来源有关的讨论。

在一个实施例中，底部CFA层20可包括按特定排列(诸如例如按拜耳图案)的滤色器。在另一实施例中，有机层18也可包括如例如在图10的实施例中所示的根据拜耳图案排列的多个滤色器。像素阵列22中的不同的像素可收集如从CFA层20接收的不同颜色的光信号，然后可将接收的光子转换成相应的电信号。像素电极(或光位点)的构造细节以及关联的像素输出收集电路/信号(诸如例如每个像素电极的晶体管布局、用于像素阵列的行/列选择和复位信号、像素电荷转移起始信号、模数转换器(ADC)单元等)与本公开不相关，因此，这里不提供这样的细节。通过像素阵列22输出的电信号使用箭头35来象征性地代表。像素阵列控制和处理单元37可结合到像素阵列22以接收和处理这些像素输出以及从有机CFA层18接收的电输出——通过箭头33象征性地示出。在具体的实施例中，处理单元37也可包括用于控制像素阵列22的操作并且用于对接收的颜色信号执行ISP的相关电路。作为 ISP的一部分的图像处理可包括例如如下面所讨论的根据本公开的教导的 RGB图像和RWB图像的产生。

在具体实施例中，代替早先提及的有机传感器构造，多层图像传感器单元12可以是诸如在图11B的示例性实施例中示出的堆叠式X3CMOS传感器或者具有堆叠在彼此的顶部上的多个波长选择性有机层的堆叠式有机传感器。例如，常用的Foveon X3CMOS传感器——如在图11A中所示的——可通过在堆叠式传感器的像素阵列的顶部上添加一个或更多个CFA层而根据本公开的教导来修改以获得用于改进的成像的双RGB图像和RWB图像。在图 2的上下文中，像素阵列22可代表这样的常用的堆叠式阵列，CFA层18、20 可以是添加在堆叠式传感器构造的顶部上的附加的滤色器层。CFA层18可以是或可以不是在堆叠式传感器相关的实施例中的有机层，在某些实施例中， CFA层18可如例如在图11B中的实施例的情况而不存在。如之前的，像素阵列处理单元37可如下所讨论的根据本公开的教导接收和处理来自堆叠式传感器的像素阵列22的电信号以产生RGB图像和RWB图像。

处理器14可控制图像传感器单元12的操作。例如，当用户启动成像操作时，处理器14可“打开”或“激活”图像传感器单元12以捕获图像数据。从像素阵列处理单元37接收的处理过的图像数据可通过处理器14存储在存储器16中。可选择地，在某些实施例中，在处理器14可根据本公开的教导执行期望的图像信号处理(ISP)以产生双图像——RGB和RWB的情况下，处理器14本身可包括像素阵列处理电路37。处理器14也可在装置10的显示屏(未示出)上显示最终的图像。处理器14和像素阵列控制单元37可以被编程在软件或固件中以执行这里描述的各种处理任务。可选择地或另外地，处理器14和像素阵列控制单元37可包括用于执行它们的功能中的一些功能或全部功能的可编程的硬件逻辑电路。在具体实施例中，存储器16可存储程序代码、查找表和/或临时计算结果以使处理器14能够执行它的功能。

图3是根据本公开的具体实施例的可如何获得双RGB图像-RXB图像的示例性略图。如所示出的，CFA层18、20可以是可包括诸如例如像素电极和辅助电路以响应入射光的检测来产生像素信号的像素硬件的硬件部40的一部分。像素硬件块40可以是图2中示出的图像传感器单元12的一部分。如早先提到的，CFA层-1可以是有机层，CFA层-2可以是具有以诸如拜耳图案的预定颜色图案排列的滤色器的非有机层。在堆叠式CMOS传感器的情况下， CFA层-1可不存在于具体的实施例中。不管像素硬件40是有机CMOS传感器的一部分还是堆叠式X3CMOS传感器的一部分，像素硬件40都将根据检测接收的光并将接收的光转换成相应的电荷来产生电像素信号——通过图3中的箭头42象征性地代表。例如，在CFA层-1是有机层的情况下，通过那个有机层18输出的像素信号将包括与特定波长(例如，绿光)对应的电信号。此外，像素阵列22也可根据从CFA层-2中的滤色器接收不同颜色的光来产生相应的像素信号。附图标记“42”共同地表示由CFA层18和CFA层20 产生的电信号。与CFA层18、20关联的像素信号42可接着使用图像信号处理(ISP)应用或软件44来处理。在一个实施例中，ISP应用44可以是像素控制单元37的一部分并且可通过其中的处理电路来执行。在另一实施例中，ISP软件44可通过处理器14来执行。如下面所讨论的，根据本公开的教导的 CFA层18、20中的滤色器的组合可以使得当像素信号42通过ISP应用44来处理时，所述处理将产生两个颜色图案/阵列——RGB阵列46和RXB阵列 48，其中，“X”在具体实施例中表示白颜色、黄颜色或蓝绿颜色。因此，ISP 应用44可被配置成选择性地组合与每个像素位置关联的像素信号以构建如下所讨论的双RGB图像-RXB图像。在一些实施例中，ISP功能可使用硬件和软件/固件的组合或者完全以硬件来实施。

图4描绘了示出根据本公开的一个实施例的可如何在单个成像操作中在同一诸如图像传感器单元12的图像传感器芯片上产生双RGB颜色图案和 RXB(诸如RWB)颜色图案的示例性流程图50。成像操作可包括例如拍摄场景或物体的图片/照片或视频。诸如例如用户的选择或按压按钮/开关只一次以拍摄场景的图片或快照的单次拍摄可构成“单个成像操作”。按钮或开关可以是诸如实施图1中的系统10的照相机的照相机的一部分。图4中示出的各个步骤可通过系统10中的单个模块或者模块或系统组件的组合来执行。在这里的讨论中，仅通过示例的方式，特定的任务描述为通过特定的模块或系统组件来执行。其他模块或系统组件可适当地构造成也执行这样的任务。

首先，在块51，可提供诸如图1-图2中的CMOS图像传感器12的多层图像传感器或者作为独立存在的成像单元或者作为诸如早先讨论的系统10 的系统的一部分。图像传感器可具有以如图2中的像素阵列22的像素阵列排列的多个像素，也可具有覆盖在像素阵列上的至少一层CFA，使得至少一个位置特定的滤色器与像素阵列中的每个像素位置关联，如图2的示例性实施例中所示。除非另外说明，否则如“像素”、“像素位置”、“像素电极”的术语在图2中的像素阵列22的上下文中主要使用在这里，并且不参照形成有机 CFA层18的像素电极。在块53，像素控制单元37(或包括这样的控制单元的处理器14)可在单个成像操作期间从像素阵列中的每个像素位置收集一个或更多个颜色信号。每个颜色信号可与滤色器中的在给定像素位置处的相应的一个关联，与给定的像素位置关联的每个颜色信号可代表不同颜色的光，如下面随后更详细地讨论的。颜色信号可以是通过图3的实施例中的像素信号42统一代表的电信号。如之前提及的，在具有ISP功能的像素控制单元37 中的ISP应用44(图3)或硬件/软件的组合可以选择性地组合来自每个像素位置的颜色信号以构建RGB颜色图案和RXB颜色图案(块55)。每个颜色图案可具有以与像素阵列中的每个像素位置一一对应地排列的颜色，如在随后讨论的图5的示例性实施例中所示出的。如之前也提到的，术语“RXB”中的字母“X”可表示下面颜色中的一种：白色(W)、黄色(Y)或蓝绿色 (C)。因此，在具体实施例中，RGB-RWB颜色图案、RGB-RYB颜色图案或 RGB-RCB颜色图案可由像素信号42构建，如随后参照图7-图9更详细地讨论的。如之前提到的，在单次拍摄中的RGB图像和RXB图像的可用性可使随后的图像处理阶段能够在RGB图像或RXB图像之间选择，取其将在有问题的图像区域处产生更少的伪像的一个。

注意的是，在这里的讨论中，术语“图像”——如在“RGB图像”、“RWB 图像”和“RXB图像”等中——可与术语“图案”、“颜色图案”或“阵列”——如在“RGB图案”、“RGB阵列”、“RWB图案”和“RXB颜色图案”等中——可互换地偶尔使用。所有这样的互换的用法本质上与作为ISP流程(随后参照图6讨论的)的一部分并且在最终图像产生/渲染之前的根据本公开的教导的通过ISP软件构建的中间颜色图案/阵列有关。在图3的实施例中，这样的中间颜色图案/图像使用附图标记“46”和“48”来标识，并且可例如通过参照图4中的块55描述的颜色信号组合操作来产生。在具体实施例中，这些中间图像或颜色图案可用于产生作为成像操作的结果的向用户呈现或显示的“最终图像”。因此，除非另外说明，否则在某些实施例中，最终图像可不与在ISP流程期间产生和使用的中间RGB图像和RXB图像相同。这样的区别可通过这里讨论的上下文是明显的。

在进一步继续之前，注意的是，在图5以及图7-图10中示出的实施例涉及根据本公开的教导的被构造成实施双RGB-RXB成像的多层有机CMOS 传感器。另一方面，在图11-图12中示出的实施例涉及根据本公开的教导的被构造成实施双RGB成像-RXB成像的堆叠式CMOS传感器。在图1-图4、图6和图13中示出的实施例应用于根据本公开的教导的可操作以执行双 RGB-RXB成像的任何CMOS传感器——或者有机的或堆叠式的或者任何其他类型的。

图5是根据本公开的一个实施例的可如何使用多层有机CMOS传感器中的一对示例性CFA层来构建双RGB图像和RWB图像的图。为了易于讨论，即使在图5、图7-图10以及图12中的滤波器阵列和构建的颜色图案示出为具有与在图2中的3×3排列完全不同的4×4构造，在这些图中的CFA层和构建的颜色图案也使用与在图2-图3的上下文中使用的那些附图标记相同的附图标记来标识。如早先的3×3布局，图5、图7-图10以及图12中的4×4 布局仅仅是为了说明起见。通过这里的基于4×4阵列的示例的方式讨论的颜色滤波方法可用在多层图像传感器中的任何尺寸的像素阵列来实施。

如图5所示出的，诸如例如图1-图2中的CMOS传感器12的多层有机 CMOS传感器可被构造为使得顶部CFA层18是绿色(G)有机层，而底部非有机CFA层20具有符合红色-紫红色-蓝色(RMB)颜色图案的滤色器。如之前提到的，与传统CMOS传感器不同，有机CMOS传感器通常包含不只一个滤波器层。因此，在有机传感器中，传统的光位点——如图2中的像素阵列22——被诸如例如一层或更多层的半透明有机材料与一层或更多层非有机滤色器组合的多个滤波器层覆盖。因此，有机传感器能够在像素位置处捕获不只一种颜色。典型的有机传感器可由在顶部上的一个有机滤波器层和在底部处的一个传统(非有机)CFA层组成。在图5的实施例中，CFA层18中的有机材料仅对代表可见光的波长范围(或光谱)中的中间波长的绿光敏感。因此，有机层18能够捕获绿原色，而红原色和蓝原色——分别代表在可见光光谱中的长波长信号和短波长信号——的光信号可穿透有机层并到达在下面的使用RMB CFA20中的适当的滤色器捕获红光和蓝光的光位点。

从图5观察到的是，对于每个像素位置，可捕获——例如，通过图2中的像素控制单元37——两种有区别的颜色。例如，与紫红色滤波器对应的像素位置由于在非有机滤波器层20的顶部上的有机滤波器层18而也具有与其关联的相应的绿光信号。相似地，对于与CFA层20中的红色滤色器关联的像素位置，将捕获红颜色和绿颜色，以此类推。因此，当与滤波器18、20关联的所有像素信号42(图3)通过ISP应用44(图3)来接收时，ISP应用可被构造成选择性地组合可用的颜色信号以构建RGB颜色阵列46和RWB颜色阵列48。例如，因为绿颜色对可见光光谱的中间波长敏感，而紫红颜色对可见光光谱中的长波长信号和短波长信号两者都敏感，所以白(W)颜色可通过用绿颜色添加紫红颜色来产生。因此，绿色和紫红色的组合代表来自所有可见光波长的信号——即，白颜色。因此，ISP软件44可“选择性地组合”各种颜色的信号，意义在于，ISP软件44可仅组合来自与紫红色滤波器对应的每个像素位置的紫红颜色信号和绿颜色信号以产生用于这些像素位置的白颜色，而留下与它们的相应的绿颜色配对件不组合的红颜色信号和蓝颜色信号。ISP软件44可接着用如此产生的白颜色来代替RMB颜色图案(与RMB CFA层20有关地接收的)中的紫红颜色的每次出现，由此构建图5中示出的RWB颜色图案48。另一方面，ISP软件44也可用来自有机层18的相应的绿颜色来代替RMB颜色图案(与RMB CFA层20有关地接收的)中的紫红颜色的每次出现以构建图5中示出的RGB颜色图案46。构建的颜色阵列46、 48可遵循与CFA层20中存在的颜色排列的类型相同的颜色排列的类型。例如，在一个实施例中，RMB CFA层20可具有以拜耳图案排列的红色滤色器、紫红色滤色器和蓝色滤色器。在那种情况下，如图5中所示，构建的RGB阵列46和构建的RWB阵列48也可具有以拜耳图案排列的颜色。

注意的是，可通过在相应的光位点的顶部上安装紫红色通过滤波器(与红颜色通过滤波器和蓝颜色通过滤波器相似)或者通过简单地留下这些光位点而无滤波器(或者具有“透明的”滤波器)来获得紫红颜色信号。

在构建中间颜色图案46、48之后，ISP流程可处理在这些颜色图案中的颜色成分以产生将随后被用于获得代表早先提及的诸如例如在图4中的块53 处的成像操作的结果的最终图像的单独的颜色通道——红色通道58、绿色通道59、蓝色通道60和白色通道61。每个颜色通道可代表用于像素阵列22中的每个像素位置的特定颜色。白色通道61可在对RWB阵列48的色彩去噪操作之后通过以缺失的分量填充来修复。这可通过内插或去马赛克来实现。下面参照图6示出并讨各种ISP操作。相似地，红色通道58和蓝色通道60 也可使用内插或去马赛克来产生。假使绿色通道不被绿色有机层18完全捕获，那么全绿色通道59也可以以相同的方式恢复。在去马赛克之后，合成的“图像”将包含图5中示出的全R、全G、全B和全W通道58-61，使ISP 流程能够使用它的颜色成分进一步处理这个图像。

图6示出根据本公开的一个实施例的示例性ISP流程的一部分。这个部分使用点状块63示出，在一个实施例中，它的功能可实施为图3中的ISP应用44的一部分。现在参照图5中示出的图像简要地描述图6中的各种块的操作。在箭头65的输入可包括在初始ISP期间产生的颜色信号。这些信号包括例如与图3中示出的构建的RGB阵列46和构建的RXB阵列48关联的颜色信号。在图5中的实施例的上下文中，在箭头65的输入可包括分别与构建的 RGB阵列46和构建的RWB阵列48关联的颜色成分。在块67的色彩去噪操作可应用于诸如例如图5中的RWB图像48的图像以使在RWB图像48的白颜色通道、红颜色通道和蓝颜色通道中的噪声关联。在块69的去马赛克操作可提供分别包含全R、全G、全B和全W通道58-61的合成图像。如之前提及的，假使绿色通道不被绿色有机层18完全捕获，全绿色通道59可使用对从绿色有机层18接收的绿颜色成分内插或去马赛克来得到。在去马赛克之后产生的合成图像中，大部分的噪声由于RWB图像48对于去噪的可用性而将与来自白色通道的噪声关联。在去马赛克操作之后的颜色校正步骤(在块71) 期间，因为通常与RGB阵列——诸如图5中的RGB阵列46——关联的颜色校正矩阵(CCM)具有比与RWB阵列——诸如图5中的RWB阵列48——关联的非对角线元素小得多的非对角线元素，所以可放弃白色通道且可仅使用R、G和B通道。具有较小的非对角线元素的CCM可在块71的颜色校正步骤期间引起较少的噪声的放大。最终，在块73的后去噪声操作可应用于进一步去除噪声和“坏点”(或低频噪声)。根据需要，在箭头75的输出图像可被进一步处理以获得由相应的成像操作造成的最终全色图像。在那点上，像素阵列控制单元37可结合到处理器14或者可在某些实施例中是处理器14的一部分以使处理器14能够将场景或物体的二维(2D)或三维(3D)深度图像呈现在装置10的显示屏(未示出)上。这里注意的是，不管与2D或3D 图像是否将通过相应的单次拍摄(或成像操作)来捕获而可使用根据本公开的教导的双RGB-RXB图像产生方法。

图7示出在图5的示例性实施例中的ISP的更多细节。如图7中所示，绿色有机滤波器层18和下面的RMB滤波器层20可导致使ISP应用——诸如图3中的ISP应用44——能够产生仅绿颜色阵列77和RMB颜色阵列78的颜色信号42(图3)。当将与绿色阵列77关联的绿颜色信号同与RMB颜色阵列78关联的紫红颜色信号选择性组合时，RWB阵列48可通过如之前参照图5所讨论的ISP来构建。接下来是在块69(图6)的去马赛克的在块80(代表图6中的去噪块67的功能)的对RWB图像48的色彩去噪操作可产生如图7中示出的全红色(R)通道58、全蓝色(B)通道60和全白色(W)通道61。另一方面，可将内插或去马赛克直接应用于绿色阵列77以产生全绿色(G)通道59。这里注意的是，图5中的图是在图7中更详细地示出的图像处理的简化描绘。换句话说，如果需要，RGB阵列46可在相应的像素位置处使用来自R通道58、G通道59和B通道60的颜色成分来构建。然而，构建的RGB阵列46未示出在图7中。如之前提及的，在块71的颜色校正操作可使用RGB阵列46的CCM来执行，因此，在这种情况下，RGB阵列46 可使用可从单独的R、G和B通道得到的颜色成分通过ISP应用44来构建。因此，图5中示出的图像的进程顺序仅仅是说明的目的；它不意味着RGB阵列46必须在执行去噪和去马赛克操作之前构建。在本公开中相关的是，RGB 和RXB图像是在单次拍摄中基本上同时可用在同一传感器芯片上。如之前提及的且也在下面进一步详细地讨论的，双RGB-RXB图像的这样的可用性顾及改善的图像质量。

与常用的CMOS传感器(如RGB CMOS传感器、RWB CMOS传感器或者乃至RGBW CMOS传感器)相比，根据本公开的教导的CFA架构和关联的ISP可在单个成像操作中充分利用RGB颜色阵列和RWB颜色阵列两者的可用性。例如，与图7中的阵列77的绿颜色完全不同，在色彩去噪中，在 RWB图像48中的白颜色位置可用于噪声消除。因为白光信号由于它们的高量子效率和高灵敏度而比绿色信号有更少的噪声，所以通过基于白颜色成分的色彩去噪而处理的图像可比使用绿颜色信号处理的图像包含更少的噪声。此外，RGB成分——诸如例如图5中的构建的RGB图像46——的可用性可使得ISP软件44在颜色校正阶段(在图6中的块71)期间使用用于RGB图像的CCM代替用于RWB图像48的CCM。这个选择通过图7中的CCM块 82-83来示出。CCM块82涉及RGB通道58-60，而划掉的CCM块83涉及 RWB通道58、60-61。CCM块83被划掉以指示用于RWB图像的CCM由于用于RGB图像的CCM 82的可用性而不需要使用。因为用于RGB图像的CCM 82具有比用于RWB图像的CCM 83小的非对角线元素，所以可最小化在颜色校正阶段期间的噪声的放大。图7中的CCM块82可代表图6中的CCM 块71。以这种方式，可最小化在ISP流程63中的两个关键模块(去噪模块 67和CCM模块71)中的噪声放大，因此，控制并减少了在最终图像中的噪声。

图8A-图8B提供了根据本公开的一个实施例的可如何构建一对 RGB-RYB(红色、黄色、蓝色)图像的示例性图。除了在图8A-图8B的实施例中的不同的CFA层和作为结果的双RGB图像和RYB图像以外，在图8A- 图8B中的图与用于图5和图7中的实施例的图基本上相似。因此，这里提供了图8A-图8B的非常简洁的讨论。在图8A-图8B中使用的许多附图标记与在图2-图3以及图5-图7中的那些附图标记相同以易于讨论以及简单地对比这些附图。然而，这样的用法不意味着图8A-图8B中的实施例按照与图5和图7中的实施例相同的任何方式，或者电路组件、硬件/软件或处理模块中的任何一个在这些实施例之间共用。相反，这些实施例中的每个代表用于图2 中示出的图像传感器单元12的两层架构的可选择的设计。

如在图8A的实施例中示出的，绿色有机层18可与在图1-图2中的图像传感器单元12中的红色-蓝色(RB)非有机CFA层20一起使用。使用这些 CFA层18、20产生的像素信号42(图3)可通过ISP应用44(图3)来处理以构建RGB图像46和RYB图像48(代表用于在图3中的RXB图像48中的“X”的黄(Y)颜色)。这样的RGB图像和RXB图像的产生已经参照图 5-图7的讨论更详细地讨论，因此，那个讨论不在这里以任何明显的细节来重复。

涉及图8A中的图像46、48的构建的步骤在与图7相似的图8B中更详细地示出。如图8A中所示出的，绿色阵列77(由绿色有机层18造成的)的颜色成分可使用内插或去马赛克来处理以产生全绿(G)颜色通道59。具有以拜耳图案排列的颜色的RYB阵列48——如在图8B中所示的——可通过将来自绿色阵列77的绿颜色信号与来自RB阵列85(由图8B中的RB CFA层20造成的)的相应的红颜色信号选择性地组合来构建。颜色信号可在某些预定的像素位置处组合以获得用于构建的RYB阵列48的拜耳图案。RB阵列 85中的其他的R成分和B成分可不成为与相应的绿色信号组合，因此，保持不变。在图8B的实施例中，在块87(功能上与图6中的块67相似)的色彩去噪可基于RYB阵列48中的黄颜色成分而不是白颜色成分(如在图7中的实施例的情况下)来执行。去噪可接下来是在块69(图6)的去马赛克以产生如图8B中示出的全红色(R)通道58、全蓝色(B)通道60和全黄色(Y) 通道89。如果需要，图8A中的RGB阵列46可在相应的像素位置处使用来自图8B中的R通道58、G通道59和B通道60的颜色成分来构建。然而，构建的RGB阵列46未示出在图8B中。RGB成分的可用性允许ISP软件44 在颜色校正阶段(在图6中的块71)使用用于RGB图像的CCM代替用于 RYB图像48的CCM。在图8B中，CCM块90涉及RGB通道58-60。最终的图像可如之前参照图6-图7讨论地随后产生。

图9A-图9B提供了根据本公开的一个实施例的可如何构建一对RGB图像-RCB(红色、蓝绿色、蓝色)图像的示例性图。除了在图9A-图9B的实施例中的不同的CFA层和作为结果的双RGB图像和RCB图像以外，在图9A- 图9B中的图与图8A-图8B中的图基本上相似。因此，这里提供了图9A-图 9B的非常简洁的讨论。如在图8A-图8B的情况下，在图9A-图9B中使用的许多附图标记与在图2-图3以及图5-图7中的那些附图标记相同以易于讨论以及简单地对比这些附图。然而，这样的用法不意味着图9A-图9B中的实施例按照与图5、图7以及图8A-图8B中的实施例相同的任何方式，或者电路组件、硬件/软件或处理模块中的任何一个在这些实施例当中共用。如之前提及的，这些实施例中的每个代表用于图2中示出的图像传感器单元12的两层架构的可选择的设计。

在图9A的实施例中，绿色有机层18可与在图1-图2中的图像传感器单元12中的红色-蓝色(RB)非有机CFA层20一起使用。这里观察的是，图 8A和图9A中的RB CFA中的滤色器的排列不同。使用图9A中的CFA层18、 20产生的像素信号42(图3)可通过ISP应用44(图3)来处理以构建RGB 图像46和RCB图像48(代表用于在图3中的RXB图像48中的“X”的蓝绿(C)颜色)。这样的RGB图像和RXB图像的产生已经参照图5-图7的讨论更详细地讨论，因此，那个讨论不在这里以任何明显的细节来重复。

涉及图9A中的图像46、48的构建的步骤在与图7和图8B相似的图9B 中更详细地示出。如图9B中所示出的，绿色阵列77(由绿色有机层18造成) 的颜色成分可使用内插或去马赛克来处理以产生全绿(G)颜色通道59。具有以拜耳图案排列的颜色的RCB阵列48——如在图9B中所示的——可通过将来自绿色阵列77的绿颜色信号与来自RB阵列92(由图9B中的RBCFA 层20造成)的相应的蓝颜色信号选择性地组合来构建。这里指出的是，在图 9B中的RB阵列92中的颜色的排列由于在图8B和图9B中的相应的RB CFA 层中的不同的滤波器图案而与在图8B中的RB阵列85中的颜色的排列不同。颜色信号可在某些预定的像素位置处组合以获得用于构建的RCB阵列48的拜耳图案。RB阵列92中的其他的R和B成分可不成为与相应的绿色信号组合，因此可保持不变。在图9B的实施例中，在块94(功能上与图6中的块 67相似)的色彩去噪可基于RCB阵列48中的蓝绿颜色成分而不是白颜色成分(如在图7中的实施例的情况下)来执行。去噪可接下来是在块69(图6) 的去马赛克以产生如图9B中示出的全红色(R)通道58、全蓝色(B)通道 60和全蓝绿色(C)通道96。如果需要，图9A中的RGB阵列46可在相应的像素位置处使用来自图8B中的R通道58、G通道59和B通道60的颜色成分来构建。然而，构建的RGB阵列46未示出在图9B中。RGB成分的可用性允许ISP软件44在颜色校正阶段(在图6中的块71)使用用于RGB图像的CCM代替用于RCB图像48的CCM。在图9B中，CCM块98涉及RGB 通道58-60。最终的图像可如之前参照图6-图7讨论地随后产生。

图10示出根据本公开的一个实施例的可在诸如图1-图2中的传感器12 的多层有机CMOS传感器中使用的两个示例性CFA层100、102。CFA层100 可用作图2的实施例中的顶部有机层18，CFA层102可用作图2的实施例中的底部非有机层20。在图10的实施例中，顶部有机层100可以是紫红色、黄色、蓝绿色滤色器可以以如所示的拜耳图案排列的紫红色-黄色-蓝绿色 (MYC)有机层。因此，代替仅对单种颜色波长敏感的有机层——如图5和图7-图9中的绿色有机层18，有机层100可设计成对多种颜色可选择，使得不同的颜色可在相邻的像素位置处被感测。底部非有机层102可以是传统的拜耳图案RGB CFA。因此，在图10的实施例中，顶部CFA层100和底部 CFA层102在每个像素位置处包含互补颜色的滤色器。颜色在被加入它的“互补”颜色时可产生白颜色。使用图1-图2中的多层CMOS传感器12中的CFA 构造100、102，一个RGB图像和一个RWB图像——如图3中的RGB-RWB 图像46、48——仍然可根据本公开的教导而在期望的像素位置处使用早先讨论的颜色信号的选择性组合的方法来通过ISP软件44(图3)构建。看出的是，在图10的实施例中，RGB图像可通过底部层CFA 102完全捕获。

这里注意的是，除在图2中示出且先前结合图3-图10讨论的2层的CFA 架构以外，根据本公开的具体实施例的教导的基于单次拍摄的双图像产生可在具有不只两个CFA层的多层图像传感器12中实施。例如，在一个实施例中，传感器12可以是两个有机CFA层可以存在于非有机CFA层——如图2 中的CFA层20——的顶上的3层有机CMOS传感器。在另一实施例中，三个有机CFA层可与非有机CFA层一起存在。可选择地，在某些实施例中，在多层传感器12可仅包含三个或更多个有机CFA层的情况下，非有机层可完全不存在。此外，在这里讨论的所有示例性实施例中，通过在同一像素位置处的任何一对CFA层捕获的颜色可通过这些CFA层的修改布置而可互换。例如，在图2的两层实施例中，CFA层18、20的位置可以互换使得顶层18 可变成底层20，反之亦然。

图11A-图11B示出可如何使用堆叠式CMOS传感器来实施根据本公开的具体实施例的双RGB-RWB成像方法。图11A示出现有的堆叠式CMOS 传感器的像素104，所述现有的堆叠式CMOS传感器可以是由美国加利福尼亚州圣荷塞市的Foveon有限公司(现在是日本Sigma公司的一部分)设计的 Foveon CMOS传感器。另一方面，图11B示出可如何修改图11A中的现有的堆叠式传感器或者任何其他类似的堆叠式传感器的像素阵列以实施双 RGB-RWB成像，如下面随后讨论的。现在参照图11A，看出的是，Foveon 传感器像素104可包括由三个竖直堆叠的CMOS光传感器——红色传感器 106、绿色传感器107和蓝色传感器108——组成的像素结构。多个这样的像素104可以以二维网格来组织以形成像素阵列(未示出)。因为不同波长的光穿透硅至不同的深度，所以三个堆叠的光传感器106-108中的每个可响应于不同波长的光。看出的是，因为每个像素104具有关于每种颜色的信息，所以图11A中的传感器的堆叠可不需要去马赛克。可接着处理来自三个传感器 106-108的颜色信号，结果是关于三个加法三原色——R、G和B——的数据。

因为堆叠式X3传感器捕获全R、全G和全B通道，所以在使用堆叠式 X3传感器的系统中的ISP可被构造成产生双RGB图像-RWB图像。例如，与图5以及图7-图9的实施例中的绿色有机层18相似，绿色通道通过绿色传感器107而被完全捕获在每个像素104中。相似地，红色通道和蓝色通道也通过相应的传感器106、108捕获。因此，ISP可被构造成通过在适当的像素位置处添加红颜色和蓝颜色以得到紫红颜色来创建RMB(红色、紫红色、蓝色)阵列——与图7中的RMB阵列78相似。此后，绿色通道可与创建的RMB 阵列一起使用以构建RWB图像——与图7中的RWB图像48相似。另外，可用的R、G和B通道可用于构建RGB图像(如图5中的RGB图像46)。因此，双RGB-RWB图像可构建在包含像素104的像素阵列的堆叠式CMOS 传感器中。然而，在具体实施例中，如下面所讨论的，由于在堆叠式X3传感器中的串扰问题，所以这不会是最佳或首选的方法。

如图11A中所示出的，Foveon像素104可以很小——小于五(5)微米的深度和大约七(7)微米的长度。因为在硅晶圆中的像素104的深度小于五微米，所以它可对聚焦或色差具有可以忽略的影响。然而，因为最深的传感器层(红色层106)的收集深度与在常用的、非堆叠式硅CMOS或电荷耦合器件(CCD)传感器中的收集深度是可比的，所以串扰在“竖直的”像素104 中会是问题。因此，在堆叠的像素104中，因为红颜色、绿颜色和蓝颜色的光谱灵敏度函数会在堆叠的像素构造中大量地重叠，所以电子的一些扩散以及锐利度的损失(特别在更长波长(在可见光谱的红颜色区域中))会出现。由于在具有多个像素104的现有的堆叠式X3传感器中的高的串扰，因此与它的R、G、B通道关联的相应的颜色校正矩阵具有高的非对角线元素。因此，代替使噪声放大最小化——与用于RGB图像的CCM一样，用于堆叠式X3传感器中的R、G、B通道的CCM可与用于RWB图像的CCM差不多地放大噪声，由此即使双RGB-RWB图像如在前的段落中提及的在ISP期间可用也降低最终的图像质量。因此可期望修改现有的堆叠式X3传感器设计以通过减少R、G和B光谱灵敏度之间的串扰来改进它的CCM。

图11B示出使用一层CFA来减小串扰的示例性的堆叠式传感器像素构造 110。三个堆叠式X3传感器像素112-114——每个与图11A中的像素104相似——示出在图11B中并使CFA层116覆盖在顶部上。像素112-114可以是由多个这样的像素组成的像素阵列(未示出)的一部分。相似地，仅CFA层 116的剖面部分示出在图11B中。在具体实施例中，CFA层116可覆盖在基于堆叠式传感器的像素阵列中的所有像素的顶部上。如所示的，CFA层116 可包括安装在光位点112、114的顶部上的蓝色滤波器118和红色滤波器120 的交替的排列。如也示出的，在CFA层116中，这些滤色器118、120可被在中间像素113的顶部上的“透明的滤波器”分离或者缺少在中间像素113 的顶部上的滤波器。这样的滤波器排列可对每个接收的R、G、B颜色通道的光谱再成形，从而减少串扰。在某些实施例中，在CFA层116中的蓝色滤波器118和红色滤波器120的位置可遵循如在典型的拜耳CFA中的图案。结果，红色(或蓝色)光在使用红色(或蓝色)滤波器的像素位置处被捕获，白色光(代表所有三种颜色R、G和B的组合)在无滤色器的其余的像素位置处被捕获。此后，双RGB图像和RWB图像可如之前讨论地或者如图12的示例性实施例中示出地构建。

这里注意的是，在本公开的具体实施例中，如早先参照图5以及图7-图 9讨论的那个的绿色有机CFA层也可添加在CFA层116的顶部上以捕获另外的绿颜色成分。

图12示出根据本公开的具体实施例的教导的在堆叠式X3传感器阵列 124和相应的ISP构建的图像——绿色阵列126和RWB阵列128——顶上的示例性CFA层122。如图11B中的CFA层116，CFA层122也可包括被具有“透明的”滤波器或无滤波器的位置分离的多个红色滤色器和蓝色滤色器，如所示出的。在一个实施例中，CFA层122可以是非有机RB滤波器层。堆叠式X3传感器阵列124可包括均具有与图11A中的像素104相似的构造的多个堆叠式X3CMOS传感器。在一个实施例中，传感器阵列124可包含如像素104的Foveon 传感器。在一个实施例中，像素阵列124中的像素可以以正方形、矩形或任何其他几何构型来组织，像素阵列124中的每个像素可与CFA层122中的相应的滤色器具有一一对应关系，如所示出的。构成像素阵列124的每个单独的像素仅为了简化附图起见而未示出在图12中。如图 12中也示出的，由像素阵列124顶上的滤波器阵列122造成的颜色信号可通过适当的ISP软件——诸如例如在图3中示出的ISP应用44——来处理以产生绿颜色图像126和RWB图像128。在修改的X3传感器124中，绿颜色可在缺少R滤波器和B滤波器的像素位置处被捕获，而红颜色和蓝颜色可在相应的R滤波器位置和B滤波器位置处被捕获。绿颜色可被捕获作为在每个相应的像素位置处的绿色传感器107的输出。此外，如之前提及的，白光——代表由相应的堆叠式传感器106-108输出的所有三种颜色R、G和B的组合——也可在不具有滤色器的像素位置处被捕获。如早先参照图7所讨论的，在对RWB阵列128色彩去噪以及去马赛克之后，可在图12的实施例中获得单独的R和B通道。全绿色(G)通道可通过内插或去马赛克由半采样的绿色阵列126重新构建。如在图7中实施例的情况下，可丢弃在RWB阵列128 上的由去噪以及去马赛克造成的白色通道，并且可在颜色校正阶段期间使用用于剩余的R、G、B通道的CCM。这个CCM可以是根据本公开的教导的与不具有CFA层122或其他相似的CFA层的传统的堆叠式传感器阵列关联的早先提及的CCM的改进版本。在图12的实施例中的改进的CCM可因此而使早先讨论的串扰的影响最小化并减小噪声放大，由此促进具有更好的质量的最终图像的产生。

这里注意的是，根据本公开的具体实施例的在单个成像操作期间基本上同时产生双RGB-RXB颜色图像可减少色盲。传统的CMOS传感器会由于对颜色的不完全采样而对某些颜色边缘盲目。例如，常用的CMOS RWB传感器对红色-绿色边缘色盲。另一方面，常用的拜耳图案CMOS RGB传感器对绿色-灰色边缘色盲。然而，当RGB图像和RWB图像两者都如之前讨论而获得时，可通过在ISP期间选择不对待解决的这些边缘色盲的适当的可选择的图像——RGB或RWB——而避免某些颜色边缘的色盲。例如，如果ISP应用检测的是存在用于捕获的图像的接收的颜色成分中的存在红色-绿色边缘的某一区域，则ISP应用可被构造成仅在ISP流程中使用构建的RGB图像。另一方面，如果这个区域包含绿色-灰色边缘，那么仅RWB图像可在ISP流程中使用。

此外，可根据本公开的教导而通过处理图像信号来减少色差。例如，当色差问题不能由透镜完全消除时，常用的RWB CMOS传感器被已知为比常用的RGB CMOS传感器遭受更多的色差。如之前提到的，因为非理想的照相机透镜可在不同的焦点处使具有不同波长的光聚焦，所以出现色差。因此，将在红色、绿色和蓝色通道当中存在相对位移。白光是所有波长的光的混合。因为R、G和B波长中的每个具有它自身的焦点，所以当RWB传感器中的每个白色像素总计所有这些组分颜色信号时，产生了模糊的图像。由这样的白色像素产生的图像实际上比由纯红色、纯绿色或纯蓝色像素产生的图像模糊。通过在可根据本公开的教导而构建的RGB图像和RWB图像之间转换，色差问题可被显著地克服。例如，通常图像的中心具有比再远一点的区域小的色差。因此，当处理与更靠近图像的中心的区域关联的颜色成分时，根据本公开的教导而构建的RWB图像中的白色通道可用于更好的去噪质量。另一方面，在远离中心的区域中，因为白色通道可在那个区域中产生更多的模糊，所以绿色通道可用于去噪。因此，随着对信噪比(SNR)的某些折中，锐利度可在靠近图像的边缘的区域中增长。

另外，例如，当使用图2的多层架构时，可减少色饱和度伪像并且可增大CMOS图像传感器的动态范围。例如，当使用这样的多层架构时，与常用的单层CMOS RWB或RGB传感器相比，可使在每个像素位置处的(光子电荷收集区的)满阱容量成倍增加。例如，在图5和图7中的2层有机传感器架构中，两个光位点——一个与有机层18关联而另一个在像素阵列25(图2) 中——用于捕获在一个像素位置处的绿色光和紫红色光。因此，满阱容量加倍。结果，在明亮的白光下，在如上文中所讨论地构建的RWB图像——诸如图7中的RWB图像48——中的白色通道可能够捕获正确的光强度而不是如常用的单层RWB传感器一样地饱和。因此，由于限幅而出现在常用的RWB 传感器的色饱和度伪像可在根据本公开的具体实施例的多层CMOS传感器中被避免。此外，将另外使常用的RWB传感器中的白色像素和红色像素两者都饱和的明亮的黄光现在可由于在图7-图10的实施例的多层CMOS传感器中缺少白色像素而仅使在这些实施例中的红色像素饱和。如之前所讨论的， RWB图像更适合构建在根据本公开的教导的这些实施例中。因为根据本公开的具体实施例的多层CMOS传感器可捕获未饱和的更明亮的光，所以传感器的动态范围变得比常用的RWB传感器的动态范围高。因此，与常用的RWB 传感器相比，YSNR可在满阱处增大。

图13描绘了根据本公开的一个实施例的在图1-图2中的系统10的总体布局。因此，为了易于参照和讨论，相同的附图标记在图1-图2以及图13中用于共同的系统组件/单元。

如早先所讨论的，根据本公开的发明方面，图像传感器单元12可包括在图1-图3的示例性实施例中示出的CFA硬件以在单个成像操作中支持双RGB -RXB成像。在那点上，图像传感器单元12可包括在图5、图7-图10、图11B 以及图12的示例性实施例中示出的任何CFA构造。处理器14可被构造成与若干外部装置接口连接。在一个实施例中，图像传感器单元12可作用为将数据输入——以诸如例如图6中的处理过的数据输出75的图像数据的形式——提供到处理器14以进一步处理的输入装置。处理器14也可从可以是系统10 的一部分的其他输入装置(未示出)接收输入。这样的输入装置的一些示例包括计算机键盘、触摸板、触摸屏、操纵杆、物理或虚拟的“可点击按钮”和/或计算机鼠标/定点装置。在图13中，处理器14示出为结合到系统存储器 16、外围存储单元130、一个或更多个输出装置132和网络接口单元134。在图13中，显示单元示出为输出装置132。在一些实施例中，系统10可包括不只一个示出的装置的实例。系统10的一些示例包括计算机系统(桌上型或膝上型)、平板计算机、移动装置、蜂窝电话、视频游戏单元或操纵台、机器对机器(M2M)通信单元、机器人、汽车、虚拟现实设备、无状态“薄”客户端系统、汽车冲撞照相或后视照相机系统或者任何其他类型的计算或数据处理装置。在各种实施例中，在图13中示出的所有的组件可容纳在单个外壳中。因此，系统10可被构造为独立的系统或按照任何其他合适的形式因素。在一些实施例中，系统10可被构造为客户端系统而不是服务器系统。

早先参照图1的讨论已经提供了处理器14的示例性细节，因此，这里不重复这样的细节。在具体实施例中，系统10可包括不只一个处理器(例如，在分布式处理配置中)。当系统10是多处理器系统时，可存在不只一个处理器14的实例或者可存在经由它们的相应的接口(未示出)结合到处理器14 的多个处理器。处理器14可以是系统级芯片(SoC)和/或可包括不只一个中央处理单元(CPU)。

如早先提及的，系统存储器16可以是诸如例如DRAM、SRAM、PRAM、 CBRAM、MRAM和STT-MRAM等的任何基于半导体的存储系统。在一些实施例中，存储器单元16可包括与一个或更多个非3DS存储器模块连接的至少一个3DS存储器模块。非3DS存储器可包括双倍数据速率或双倍数据速率2、3或4同步动态随机存取存储器(DDR/DDR2/DDR3/DDR4SDRAM)、或者DRAM、闪存、各种类型的只读存储器(ROM)等。另外，在一些实施例中，与单一类型的存储器完全不同，系统存储器16可包括多个不同类型的半导体存储器。在其他实施例中，系统存储器16可以是非暂时数据存储介质。

在各种实施例中，外围存储单元130可包括诸如硬盘驱动器、闪存或其他半导体存储器、光盘(诸如压缩盘(CD)或数字通用盘(DVD))、非易失性随机存取存储器(RAM)装置等的用于磁的、光的、磁光的或固态的存储介质的支撑体。在一些实施例中，外围存储单元130可包括诸如盘阵列(可在适合的RAID(独立盘的冗余阵列)配置中)或存储区域网络(SAN)的更复杂的存储装置/系统，外围存储单元130可经由诸如小型计算机系统接口 (SCSI)接口、光纤通道接口、(IEEE1394)接口、基于外围组件接口高速(PCI Express^TM)标准的接口、基于通用串行总线(USB)协议的接口或其他适合的接口的标准外围接口结合到处理器14。各种这样的存储装置可以是非暂时数据存储介质。

显示单元132可以是输出装置的示例。输出装置的其他示例包括图形/ 显示装置、计算机屏幕、可见警报系统、CAD/CAM(计算机辅助设计/计算机辅助制造)系统、视频游戏站、智能电话显示屏或任何其他类型的数据输出装置。在一些实施例中，诸如图像传感器单元12的输入装置和诸如显示单元132的输出装置可经由I/O或外围接口结合到处理器14。

在一个实施例中，网络接口134可与处理器14通信以使系统10能够结合到网络(未示出)。在另一实施例中，可完全缺少网络接口134。网络接口 134可包括用于将系统10连接到网络(不论有线或无线)的任何合适的装置、介质和/或协议内容。在各种实施例中，网络可包括局域网(LAN)、广域网 (WAN)、有线或无线以太网、电信网络或其他合适类型的网络。

系统10可包括板上电源供应单元135以向图13中示出的各种系统组件提供电能。电源供应单元135可容置电池或者可以可连接到AC电源输出口。在一个实施例中，电源供应单元135可将太阳能转换成电能。

在一个实施例中，图像传感器单元12可与插入到任何个人计算机(PC) 或膝上型计算机的诸如例如通用串行总线2.0或3.0(USB 2.0或3.0)接口或以上的高速接口集成。诸如例如系统存储器16的非暂时计算机可读数据存储介质或诸如CD/DVD的外围数据存储单元可存储程序代码或软件。在具体实施例中，软件可包括根据执行至少可提供在图6的示例性实施例中示出的ISP 流程63的功能以及用于构建如之前讨论的双RGB图像-RXB图像的功能的 ISP应用44(图3)。处理器14和/或图像传感器单元12中的像素阵列控制单元37(图2)可被构造成执行程序代码，由此装置10可以是可操作的以执行在上文中讨论的各种图像处理方面——诸如例如早先参照图1-图12讨论的双 RGB图像-RXB图像的产生以及相关的图像处理操作。程序代码或软件可以是根据通过适当的处理实体——诸如处理器14和/或像素阵列控制单元 37——的执行可使处理实体能够在单个成像操作期间捕获过滤的颜色信号、对它们进行处理以在同一图像传感器芯片12上获得双RGB图像-RXB图像以及以各种显示格式来渲染处理过的/最终的图像(或视频)的专用软件或开源软件。如早先提到的，在某些实施例中，图像传感器单元12中的像素阵列控制单元37可在部分处理过的图像信号输出75(图6)被发送到处理器14以进一步处理和显示之前执行通过照相机拍摄捕获的颜色信号的至少一些处理。在其他实施例中，处理器14也可在控制单元37可以不是图像传感器单元12的一部分的情况下执行控制单元37的功能。

在之前的描述中，出于解释而不是限制的目的，阐述了具体细节(诸如具体架构、CFA布局、接口、技术等)以提供对公开的技术的彻底的理解。然而，对于本领域技术人员将明显的是，公开的技术可在脱离了这些具体细节的其他实施例中实践。即，本领域技术人员将能够设计虽然未在这里明确描述和示出，但实施了公开的技术的原理的各种排列。在某些情况下，公知的装置、电路和方法的详细描述被省略以不使公开的技术的描述被不必要的细节模糊。这里详述公开的技术的原理、方面和实施例以及它们的特定示例的所有的陈述意图包含它们的结构和功能的等同物。另外，意图的是，这样的等同物包括当前已知的等同物和诸如例如不管结构而开发的执行相同功能的任何元件的未来开发的等同物。

因此，例如，本领域技术人员将理解的是，在这里(例如，在图1-3、图6和图13中)的框图可代表使技术的原理具体化的说明性的电路或其它功能单元的概念图。相似地，将理解的是，图4中的流程图代表可通过基本上由处理器(例如，图13中的处理器14和/或图12中的像素阵列控制单元37) 执行的各种处理。通过示例的方式，这样的处理器可包括通用处理器、专用处理器、常用处理器、数字信号处理器(DSP)、多个微处理器、与DSP核关联的一个或更多个微处理器、控制器、微控制器、应用型专用集成电路 (ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC) 和/或状态机器。上面在图1-图12的上下文中描述的ISP功能中的一些功能或全部功能也可以在硬件和/或软件中通过这样的处理器来提供。

当某些发明方面需要基于软件的处理时，这样的软件或程序代码可存在于计算机可读数据存储介质中。如早先提到的，这样的数据存储介质可以是外围存储器130的一部分，或者可以是系统存储器16或者处理器14或像素阵列控制单元37的内部存储器(未示出)的一部分。在一个实施例中，处理器14或控制单元37可执行存储在这样的介质上的指令以执行基于软件的处理。计算机可读数据存储介质可以是包含用于通过通用计算机或上面提及的处理器执行的计算机程序、软件、固件或微代码的非暂时数据存储介质。计算机可读存储介质的示例包括ROM、RAM、数字寄存器、高速缓冲存储器、半导体存储装置、诸如内置硬盘、磁带和可换盘的磁性介质、磁光介质以及诸如CD-ROM盘和DVD的光学介质。

根据本公开的发明方面的图像传感器单元12或包括这样的图像传感器单元的系统10的可选择实施例可包括为提供附加功能负责的附加的组件，所述附加功能包括根据本公开的教导的上面识别的任何功能和/或支持解决方案需要的任何功能。虽然上面在具体组合中描述了特征和元件，但是每个特征或元件可在没有其他特征和元件的情况下单独使用或者以在具有或不具有其他特征的情况下的各种组合来使用。如之前提及的，这里讨论的各种ISP 功能可以以存储在计算机可读数据存储介质(上面提及的)上的编码指令或微代码的形式通过使用硬件(诸如电路硬件)和/或能够执行软件/固件的硬件来提供。因此，这样的功能和示出的功能块将理解为或者是硬件实施的和/或是计算机实施的，因此是机器实施的。

上文描述了这样的系统和方法：改进的图像处理与多层CFA架构一起使用以在单次拍摄中在同一CMOS图像传感器芯片上捕获RGB图像和RXB图像两者以使得后续的图像处理阶段可在RGB图像和RXB图像之间选择以改善最终图像的质量并在有问题的图像区域处具有更少的伪像。RXB图像中的颜色“X”可以是白颜色、黄颜色或蓝绿颜色。与基于单独的RWB成像或 RGB成像的常用的CMOS传感器对照，根据本公开的具体实施例的CMOS 传感器可具有多层CFA以在单次拍摄中在同一传感器芯片上捕获RGB图像和RWB图像两者。这样的多层传感器可以是例如有机传感器或堆叠式X3传感器。通过获得双RGB图像-RXB图像(实际上同时)并且使用关联的ISP 对它们进行适当地处理，根据本公开的具体实施例的CMOS传感器可实现超过当前RWB传感器+1dB YSNR的增加以及超过当前RGB传感器+4dB YSNR 的增加。

如本领域技术人员将认识的，在本申请中描述的创新构思可在宽的应用范围内修改和变化。因此，所要求保护主题的范围不应被局限于上面讨论的任何的具体示例性教导，而是通过权利要求来限定。

Claims (19)

1.一种改善图像传感器的图像质量的方法，所述方法包括下述步骤：

提供多层图像传感器，所述多层图像传感器具有以像素阵列排列的多个像素，并且还具有覆盖在像素阵列上的使得至少一个位置特定的滤色器与在像素阵列中的每个像素位置关联的至少一层滤色器阵列(CFA)；

在单个成像操作期间从像素阵列中的每个像素位置收集一个或更多个颜色信号，其中，与给定的像素位置关联的每个颜色信号代表不同颜色的光；

对于每个像素位置，选择性地组合从像素位置收集的仅这些颜色信号以获得作为独立于从像素阵列中的相邻的像素位置收集的颜色信号的像素位置特定的颜色成分；

使用每个像素位置特定的颜色成分以构建下面的两种颜色图案，每个颜色图案具有与像素阵列中的每个像素位置一一对应地排列的颜色：

红色-绿色-蓝色(RGB)颜色图案，

RXB颜色图案，其中，“X”代表下面颜色中的一种：白色、黄色或蓝绿色，

其中，所述至少一层CFA包括对第一颜色敏感的波长选择性半透明有机光转换层和非有机CFA层，

其中，每个像素位置还包括无波长特定性的像素电极，并由所述像素电极根据从非有机CFA层接收的光来产生与非有机CFA层对应的颜色信号。

2.如权利要求1所述的方法，其中，多层图像传感器是下面的传感器中的一种：

互补金属氧化物半导体(CMOS)有机传感器；和

堆叠式X3 CMOS传感器。

3.如权利要求1所述的方法，其中，波长选择性半透明有机光转换层仅对绿颜色敏感。

4.如权利要求3所述的方法，其中，非有机CFA层是下面的层中的一种：

红色-紫红色-蓝色(RMB)CFA层；

RB CFA层。

5.如权利要求1所述的方法，其中，波长选择性半透明有机光转换层是绿光敏感的有机光电二极管(OPD)。

6.如权利要求1所述的方法，其中，非有机CFA层是RGB CFA层，其中，波长选择性有机层由多个滤色器组成，使得在所述多个滤色器中的至少一些滤色器在像素阵列中的相应的像素位置处与在RGB CFA层中的相应的滤色器互补。

7.如权利要求1所述的方法，其中，提供多层图像传感器的步骤还包括：

以多个第二颜色来进一步选择具有滤色器的非有机CFA层，其中，选择在所述多个第二颜色中的至少一个颜色使得具有所选择的第二颜色的颜色信号在与具有第一颜色的颜色信号组合时产生RXB颜色图案中的颜色“X”。

8.如权利要求1所述的方法，其中，应用下面的情况中的至少一种：

至少一个CFA层中的滤色器以拜耳图案排列；

RGB颜色图案中的颜色以拜耳图案排列；

RXB颜色图案中的颜色以拜耳图案排列。

9.如权利要求1所述的方法，其中，选择性地组合颜色信号的步骤包括：

使用软件选择性地组合颜色信号。

10.如权利要求1所述的方法，其中，选择性地组合颜色信号的步骤包括下面步骤中的一个：

组合来自像素阵列中的比所有像素位置的颜色信号少的颜色信号以构建RGB颜色图案和RXB颜色图案；

仅根据需要组合颜色信号以构建RGB颜色图案和RXB颜色图案。

11.如权利要求1所述的方法，所述方法还包括：

执行作为产生作为单个成像操作的结果的用于用户的图像的一部分的下面步骤：

仅使用来自RXB颜色图案的颜色成分来执行色彩去噪，

仅使用与RGB颜色图案关联的颜色校正矩阵(CCM)来执行颜色校正。

12.如权利要求11所述的方法，所述方法还包括：

执行下面步骤中的至少一个：

仅使用来自RGB颜色图案的颜色成分以产生图像中的存在红色-绿色边缘的第一区域；

仅使用来自RXB颜色图案的颜色成分以产生图像中的存在绿色-灰色边缘的第二区域；

仅使用来自RXB颜色图案的颜色成分以较靠近于图像的中心产生图像成分；

仅使用来自RGB颜色图案的颜色成分以远离图像的中心产生图像成分。

13.一种改善图像传感器的图像质量的方法，所述方法包括下述步骤：

提供多层图像传感器，所述多层图像传感器具有以像素阵列排列的多个像素，并且还具有覆盖在像素阵列上的使得至少一个位置特定的滤色器与在像素阵列中的每个像素位置关联的至少一层滤色器阵列(CFA)，其中，所述至少一层CFA包括下面的层：

波长选择性半透明有机光转换层，和

非有机CFA层；

在单个成像操作期间从像素阵列中的每个像素位置收集一个或更多个颜色信号，其中，与给定的像素位置关联的每个颜色信号代表不同颜色的光；

选择性地组合来自每个像素位置的颜色信号以构建下面的颜色图案，每个颜色图案具有与像素阵列中的每个像素位置一一对应地排列的颜色：

红色-绿色-蓝色(RGB)颜色图案，

RXB颜色图案，其中，“X”代表下面颜色中的一种：白色、黄色或蓝绿色，

其中，有机光转换层对第一颜色敏感并且非有机CFA层具有多个第二颜色的滤色器，其中，选择在所述多个第二颜色中的至少一个颜色使得具有所选择的第二颜色的颜色信号在与具有第一颜色的颜色信号组合时产生RXB颜色图案中的颜色“X”。

14.如权利要求13所述的方法，其中，多层图像传感器是下面的传感器中的一种：

互补金属氧化物半导体(CMOS)有机传感器；和

堆叠式X3 CMOS传感器。

15.如权利要求13所述的方法，其中，波长选择性半透明有机光转换层仅对绿颜色敏感。

16.如权利要求13所述的方法，其中，非有机CFA层是RGB CFA层，其中，波长选择性有机层由多个滤色器组成，使得在所述多个滤色器中的至少一些滤色器在像素阵列中的相应的像素位置处与在RGB CFA层中的相应的滤色器互补。

17.如权利要求13所述的方法，所述方法还包括：

执行作为产生作为单个成像操作的结果的用于用户的图像的一部分的下面步骤中的至少一个：

仅使用来自RGB颜色图案的颜色成分以产生图像中的存在红色-绿色边缘的第一区域；

仅使用来自RXB颜色图案的颜色成分以产生图像中的存在绿色-灰色边缘的第二区域；

仅使用来自RXB颜色图案的颜色成分以较靠近于图像的中心产生图像成分；

仅使用来自RGB颜色图案的颜色成分以远离图像的中心产生图像成分。

18.一种改善图像传感器的图像质量的方法，所述方法包括下述步骤：提供多层图像传感器，所述多层图像传感器具有以像素阵列排列的多个像素，并且还具有覆盖在像素阵列上的使得至少一个位置特定的滤色器与在像素阵列中的每个像素位置关联的至少一层滤色器阵列(CFA)；

在单个成像操作期间从像素阵列中的每个像素位置收集一个或更多个颜色信号，其中，与给定的像素位置关联的每个颜色信号代表不同颜色的光；

选择性地组合来自每个像素位置的颜色信号以构建下面的颜色图案，每个颜色图案具有与像素阵列中的每个像素位置一一对应地排列的颜色：

红色-绿色-蓝色(RGB)颜色图案，

RXB颜色图案，其中，“X”代表下面颜色中的一种：白色、黄色或蓝绿色，

执行作为产生作为单个成像操作的结果的用于用户的图像的一部分的下面步骤：

仅使用来自RXB颜色图案的颜色成分来执行色彩去噪，

仅使用与RGB颜色图案关联的颜色校正矩阵(CCM)来执行颜色校正；

还执行下面步骤中的至少一个：

仅使用来自RGB颜色图案的颜色成分以产生图像中的存在红色-绿色边缘的第一区域，

仅使用来自RXB颜色图案的颜色成分以产生图像中的存在绿色-灰色边缘的第二区域，

仅使用来自RXB颜色图案的颜色成分以较靠近于图像的中心产生图像成分，

仅使用来自RGB颜色图案的颜色成分以远离图像的中心产生图像成分。

19.如权利要求18所述的方法，其中，所述至少一层CFA包括下面的层：

波长选择性半透明有机光转换层，和

非有机CFA层，

其中，提供多层图像传感器的步骤包括：

选择对第一颜色敏感的有机光转换层；

以多个第二颜色来进一步选择具有滤色器的非有机CFA层，其中，选择在所述多个第二颜色中的至少一个颜色使得具有所选择的第二颜色的颜色信号在与具有第一颜色的颜色信号组合时产生RXB颜色图案中的颜色“X”。