CN103098214B - 彩色图像感测 - Google Patents

Abstract

一种装置，包括：多个传感器元件，配置成具有传感器元件的重复图案的排列，该多个传感器元件包括：第一单色传感器元件，配置成感测第一颜色的可见光；第二单色传感器元件，配置成感测第二颜色的可见光；以及全色传感器元件，配置成感测至少第一颜色和第二颜色的可见光，其中该多个传感器元件的大部分是全色传感器元件。

Description

彩色图像感测

技术领域

本发明的实施方式涉及彩色图像感测。

背景技术

彩色图像传感器排列典型地包括覆在光学传感器阵列上面的有色滤光器排列。每个光学传感器具有关联的有色滤光器。通常有色滤光器配置成贝尔(Bayer)图案。这是一种重复图案，其中公共的2×2有色滤光器阵列镶嵌成格子以形成有色滤光器排列。该2×2阵列包括位于第一对对角线顶角上的两个绿色滤光器以及位于第二对对角线顶角上的红色滤光器和蓝色滤光器。

发明内容

根据本发明的各种但无需全部实施方式，提供了一种装置，包括：多个传感器元件，配置成具有传感器元件的重复图案的排列，该多个传感器元件包括：第一单色传感器元件，配置成感测第一颜色的可见光；第二单色传感器元件，配置成感测第二颜色的可见光；以及全色传感器元件，配置成感测至少第一颜色和第二颜色的可见光，其中该多个传感器元件的大部分是全色传感器元件。

根据本发明的各种但无需全部实施方式，提供了一种滤光器排列，包括多个传感器滤光器，用于过滤透射到对应的多个光学传感器的光，其中传感器滤光器布置成重复图案并且包括：第一单色传感器滤光器，配置成主要透射第一颜色而不是第二颜色的可见光；第二单色传感器滤光器，配置成主要透射第二颜色而不是第一颜色的可见光；以及全色传感器滤光器，配置成输送至少第一颜色和第二颜色的可见光，其中该多个传感器滤光器的大部分是全色传感器滤光器。

根据本发明的各种但无需全部实施方式，提供了一种方法，包括：使用具有传感器滤光器的重复图案的滤光器排列来提供对入射到光学传感器上的光的过滤，这些传感器滤光器包括：第一单色传感器滤光器，配置成感测明显比第二颜色多的第一颜色的可见光；第二单色传感器滤光器，配置成感测明显比第一颜色多的第二颜色的可见光；以及全色传感器滤光器，配置成感测至少第一颜色和第二颜色的可见光，其中传感器滤光器的大部分是全色传感器滤光器。

通过增加全色传感器滤光器的数目，更多的光被增大了灵敏度的装置检测到。此灵敏度的增大支持更小检测面积的传感器元件的使用，其使得每单位面积的传感器元件的数目能够增加。

附图说明

为了更好地理解本发明的各种实施方式示例，现在仅示例性地参考附图，其中：

图1在横截面视图中示意性地示出了包括多个传感器元件4的装置2；

图2示意性地示出了布置成第一重复图案的传感器滤光器6的示例；

图3示意性地示出了布置成第二重复图案的传感器滤光器6的示例；

图4示意性地示出了用于形成第一重复图案的传感器滤光器的公共基本单元；

图5示意性地示出了装置2的一些但不是全部功能部件；

图6示意性地示出了在对来自传感器元件的输出的数字处理中使用的传感器元件的局部组；以及

图7示意性地示出了计算机程序的递送机制的示例。

具体实施方式

图1在横截面视图中示意性地示出了包括多个传感器元件4的装置2，其中传感器元件4配置成传感器元件排列14。该多个传感器元件4的大部分是全色传感器元件。

装置2例如可以是彩色成像设备或者用于彩色成像设备的模块。彩色成像设备的一个示例是彩色数字照相机。彩色成像可以是高清晰度，例如排列14中的传感器元件4的数目可以大于8百万。

传感器元件4的排列14包括具有多个光学传感器8的底层传感器排列18和具有传感器滤光器6的上覆滤光器排列16。

光学传感器8可以是半导体器件，其布置成二维阵列以形成传感器排列18。光学传感器8可以集成在半导体晶片中。

每个光学传感器8具有关联的上覆传感器滤光器6，其对透射到底层光学传感器8以供检测的光进行过滤。光学传感器8和关联的上覆传感器滤光器6的每个组合形成传感器元件4。

传感器滤光器6可以具有不同的光学透射属性。它们例如可以是单色(有色的)或全色(无色的)。单色和全色传感器滤光器6在滤光器排列16内布置成重复图案。这产生了具有不同有色传感器元件4的相同重复图案的传感器元件排列14。

图2示意性地示出了在第一滤光器排列16中布置成第一重复图案的传感器滤光器6的示例，该第一滤光器排列16产生具有第一重复图案的第一传感器元件排列14。单色传感器滤光器包括红色滤光器、蓝色滤光器和绿色滤光器。

图3示意性地示出了在第二滤光器排列16中布置成第二重复图案的传感器滤光器6的示例，该第二滤光器排列16产生具有第二重复图案的第二传感器元件排列14。单色传感器滤光器包括红色滤光器和蓝色滤光器，但是不包括绿色滤光器。

在图2和图3中，滤光器排列16包括第一单色传感器滤光器(附图中标记为R)，配置成透射第一颜色(红色)的可见光；第二单色传感器滤光器(附图中标记为B)，配置成透射第二颜色(蓝色)的可见光；以及全色传感器滤光器(附图中未标记)，配置成输送所有可见光。

第一单色传感器滤光器配置成主要透射第一颜色(红色)的可见光。第一单色传感器滤光器配置成透射明显比第二颜色(蓝色)更多的第一颜色(红色)的可见光。

第二单色传感器滤光器配置成主要透射第二颜色(蓝色)的可见光。第二单色传感器滤光器配置成透射明显比第一颜色(红色)更多的第二颜色(蓝色)的可见光。

全色传感器滤光器配置成主要透射所有颜色的可见光。

单色滤光器可以是仅透射单色光的绝对单色滤光器或者透射明显比其他可见光更多的单色光的相对单色滤光器。例如，相对单色滤光器可以透射一些全色可见光，但是其更强烈地衰减位于窄单色谱外的全色可见光。单色光可以具有谱范围，例如20-100nm或者更小。例如，第二单色传感器滤光器(蓝色)在整个可见光谱上可以通过一定量的光。作为示例，在440nm波长处可以透射～90％，在380nm到500nm之间的波长处透射>50％，而在大于500nm的波长处，诸如620nm(红色)，透射5％。

在图2但不在图3中，滤光器排列16附加地包括第三单色传感器滤光器(附图中标记为G)，配置成透射第三颜色(绿色)的可见光。

单色滤光器在除了可见光谱的特定且有限范围之外的所有范围内提供显著衰减。其作为针对光的窄带带通滤波器操作。

全色滤光器在可见光谱的任何部分均不提供显著衰减。其可以或者可以不提供可见光谱之外的衰减。

此多个传感器滤光器6的大部分是全色传感器滤光器。在所示示例中，每单位面积的全色传感器元件是单色传感器元件的三倍。每个单色传感器元件通过一个全色传感器元件与(具有不同颜色的)最近的邻居单色传感器元件分隔开。

在所示示例中，滤光器排列16(以及传感器元件排列14)包括以马赛克形式重复的公共基本单元20。公共基本单元20包括传感器滤光器6的4×4阵列。公共基本单元20被镶嵌成格子以形成排列16，该排列16覆在光学传感器8上以形成传感器元件排列14。

公共基本单元20中的传感器滤光器6的大部分是全色传感器滤光器。在公共基本单元20中，每个单色传感器滤光器通过一个全色传感器滤光器与最近的邻居传感器滤光器分隔开。

如图4所示，公共基本单元20由多个子单元22形成。公共基本单元20包括棋格形式子单元22的2×2阵列。

每个子单元22包括多数的全色传感器滤光器以及单个单色传感器滤光器6。子单元的“颜色”由该单个单色传感器滤光器6的颜色定义。对于公共基本单元20中的多个子单元中的每一个，子单元22的该单个单色传感器滤光器在子单元22内具有公共固定位置。

在公共基本单元20内，子单元22被布置成公共基本单元内的行和列。共享相同列但是在相邻行的子单元22具有不同的颜色。共享相同行但是在相邻列中的子单元具有不同的颜色。

在图2中，公共基本单元20内对角线定位的一对子单元22具有相同的颜色(绿色)，而公共基本单元20内对角线定位的另一对子单元22具有不同的颜色(红色，蓝色)。结果，子单元22形成滤光器排列14内的“贝尔图案”。

在图3中，公共基本单元20内对角线定位的一对子单元22具有相同的颜色(红色)，而公共基本单元20内对角线定位的另一对子单元22也具有公共但是不同的颜色(蓝色)。

参考图2，第一单色(红色)传感器滤光器R因而在滤光器排列16内配置成第一重复图案。第一重复图案可以定义为：{(3+4m,1+4n)m＝0…M,n＝0…N}。

第二单色(蓝色)传感器滤光器B在滤光器排列16内布置成第二重复图案。第二重复图案可以定义为：{(1+4m,3+4n)m＝0…M,n＝0…N}。

第一重复图案和第二重复图案包括在第一方向(行方向)和第二正交方向(列方向)具有公共周期P的相同的公共重复图案。第一重复图案和第二重复图案分别偏移半个公共周期P/2。

第三单色(绿色)传感器滤光器G在滤光器排列16内布置成第三重复图案。第三重复图案可以定义为：{(1+4m,1+4n)；(3+4m,3+4n)；m＝0…M,n＝0…N}。

第三单色(绿色)传感器滤光器G的数目是第一单色(红色)传感器滤光器R的两倍。存在与第一单色(红色)传感器滤光器R相同数目的第二单色(蓝色)传感器滤光器B。

每个公共基本单元20包括配置成感测红色光的一个单色传感器元件4，配置成感测蓝色光的一个单色传感器元件4，配置成感测绿色光的两个单色传感器元件4以及12个全色传感器元件4。

参考图3，第一单色(红色)传感器滤光器R在滤光器排列16内配置成重复图案。此重复图案可以定义为：{(1+4m,1+4n)；(3+4m,3+4n)；m＝0…M,n＝0…N}。

第二单色(蓝色)传感器滤光器B在滤光器排列16内布置成重复图案。此重复图案可以定义为：{(3+4m,1+4n)；(1+4m,3+4n)；m＝0…M,n＝0…N}。

存在与第一单色(红色)传感器滤光器R相同数目的第二单色(蓝色)传感器滤光器B。

每个公共基本单元20包括配置成感测红色光的两个单色传感器元件R，配置成感测蓝色光的两个单色传感器元件B，以及12个全色传感器元件。

图5示意性地示出了装置2的一些但不是全部功能部件。装置2包括：至少一个处理器30；以及包括计算机程序代码34的至少一个存储器32。该至少一个存储器和计算机程序代码配置成与该至少一个处理器一起使得装置2至少执行亮度插值。也可以执行色度插值。

处理器30配置成从存储器32读取以及向其写入。处理器30还可以包括输出接口和输入接口，数据和/或命令经由该输出接口由处理器30输出，并且数据和/或命令经由该输入接口被输入到处理器30中。

存储器32存储包括计算机程序指令的计算机程序34，当这些计算机程序指令被加载到处理器30中时，控制装置2的操作。计算机程序指令34提供使得装置能够执行以下描述的方法的逻辑和例程。处理器30通过读存储器32能够加载和执行计算机程序34。

如图7所示，计算机程序可以经由任何适当的递送机制36到达装置2。递送机制36可以是例如计算机可读存储介质、计算机程序产品、存储设备、诸如紧凑盘只读存储器(CD-ROM)或数字多用盘(DVD)的记录介质、有形地实现计算机程序34的制品。递送机制可以是配置成可靠地传送计算机程序34的信号。

装置2可以将计算机程序34作为计算机数据信号进行传播或发射。

尽管存储器32被示出为单个部件，但是其可以实现为一个或多个独立部分，其中一些或全部可以是集成的/可移除的和/或可以提供永久/半永久/动态/高速缓存存储。

装置2为对应于单色传感器元件的每个图像元素(像素)确定亮度。这是通过创建传感器元件4的局部组40来实现的，如图6中示意性示出。每个局部组40包括传感器元件4的3×3阵列，其中单色传感器元件4位于中央，全色传感器元件构成8个围绕的相邻传感器元件4。这8个围绕的全色传感器元件包括4个顶角传感器元件以及4个边传感器元件。

装置2为传感器元件4的每个局部组40确定加权平均亮度。

传感器的局部组40中的每个传感器元件4的亮度值通过乘以加权参数而进行加权。对加权后的亮度值的求和，并且该和被归一化。

应用于每个亮度值的加权参数取决于相应传感器元件在该局部组内的位置以及该局部组中相应单色传感器元件的颜色。

针对局部组的边传感器元件可以使用公共加权参数。该公共加权参数可以随该局部组40中相应单色传感器元件的颜色而变化。

针对局部组的顶角传感器元件可以使用公共加权参数。该公共加权参数可以随该局部组40中相应单色传感器元件的颜色而变化。典型地，公共顶角加权参数不超过公共边加权参数。

归一化值是128。

装置2可以通过在用于具有相同颜色的最近桥连单色传感器元件的亮度值之间进行线性插值，来为对应于传感器元件的每个图像元素(像素)确定色度。

例如，如果目标全色传感器位于具有相同颜色C的两个单色传感器之间，并且其距离提供输出L1的一个单色传感器为d1个传感器元件，距离提供输出L2的另一个单色传感器为d2个传感器元件，则颜色C的插值值为d1/(d1+d2)*L1+d2/(d1+d2)*L2。

附加地或备选地，装置2可以通过使用来自最近邻居传感器元件的输出之间的差值，来为对应于全色传感器元件的每个图像元素确定色度。来自全色传感器的输出取决于红色、绿色和蓝色分量，而单色传感器的输出取决于红色、绿色和蓝色之一。因此，差值取决于红色、绿色和蓝色中的一对。该对中每个颜色的贡献可以通过调整针对每个颜色分量的检测灵敏度来估计。

如果相邻有色单色传感器是绿色，则红色分量可以通过将来自全色传感器元件的输出与来自相邻绿色传感器元件的输出之间的差值乘以Rc/(Rc+Bc)来获得，其中Rc＝0.299，Bc＝0.114。蓝色分量可以通过将来自全色传感器元件的输出与来自相邻绿色传感器元件的输出之间的差值乘以Bc/(Rc+Bc)来获得，其中Rc＝0.299，Bc＝0.114。

如果相邻有色单色传感器是蓝色，则红色分量可以通过将来自全色传感器元件的输出与来自相邻蓝色传感器元件的输出之间的差值乘以Rc/(Rc+Gc)来获得，其中Rc＝0.299，Gc＝0.587。绿色分量可以通过将来自全色传感器元件的输出与来自相邻蓝色传感器元件的输出之间的差值乘以Gc/(Rc+Gc)来获得，其中Rc＝0.299，Gc＝0.587。

如果相邻有色单色传感器是红色，则蓝色分量可以通过将来自全色传感器元件的输出与来自相邻红色传感器元件的输出之间的差值乘以Bc/(Bc+Gc)来获得，其中Bc＝0.114，Gc＝0.587。绿色分量可以通过将来自全色传感器元件的输出与来自相邻红色传感器元件的输出之间的差值乘以Gc/(Bc+Gc)来获得，其中Bc＝0.114，Gc＝0.587。

红色分量和蓝色分量可以通过将对来自全色传感器元件的可贡献给绿色的输出的估计与来自相邻绿色传感器元件的输出之间的差值分别乘以Rc/(Rc+Bc)和Bc/(Rc+Bc)来获得。

红色分量和绿色分量可以通过将对来自全色传感器元件的可贡献给蓝色的输出的估计与来自相邻蓝色传感器元件的输出之间的差值分别乘以Rc/(Rc+Gc)和Gc/(Rc+Gc)来获得。

蓝色分量和绿色分量可以通过将对来自全色传感器元件的可贡献给红色的输出的估计与来自相邻红色传感器元件的输出之间的差值分别乘以Bc/(Bc+Gc)和Gc/(Bc+Gc)来获得。

装置2可以通过对通过在用于具有相同颜色的最近桥连单色传感器元件的亮度值之间进行线性插值而确定的值进行平均，以及通过使用来自相邻传感器元件的输出之间的差值，来为对应于传感器元件的每个图像元素确定色度。

引用‘计算机可读存储介质’、‘计算机程序产品’、‘有形体现的计算机程序’等或‘控制器’、‘计算机’、‘处理器’等应当理解为不仅仅涵盖具有不同架构(诸如单个/多个处理器架构和串行(冯诺依曼)/并行架构)的计算机，而且涵盖专用电路，诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备和其他处理电路。对计算机程序、指令、代码等的引用应当理解为涵盖用于可编程处理器的软件或固件，诸如，例如，硬件设备的可编程内容，无论是用于处理器的指令，还是用于固定功能设备、门阵列或可编程逻辑器件等的配置设置。

如此处使用的‘模块’涉及这样的单元或设备，其排除了将由最终制造者或用户添加的某些部分/部件。

尽管已经参考各种示例在上述段落中描述了本发明的实施方式，但是应当理解，可以对所给出示例做出修改，而不脱离要保护的本发明范围。

在前述描述中描述的特征可以利用除明确描述的组合之外的组合使用。

尽管已经参考某些特征描述了功能，但是这些功能可以由其他特征执行，而不管是否描述。

尽管已经参考某些实施方式描述了特征，但是这些特征也可以出现在其他实施方式中，而无论是否描述。

尽管在前述描述中着重描述了被认为是较为重要的本发明特征，但是应当理解，申请人要求保护在附图中示出的和/或前文参考的任何可专利性特征或特征的组合，而无论是否强调。

Claims (25)

1.一种装置，包括：

多个传感器元件，配置成具有传感器元件的重复图案的排列，所述多个传感器元件包括：

第一单色传感器元件，配置成感测第一颜色的可见光，

第二单色传感器元件，配置成感测第二颜色的可见光，以及

全色传感器元件，配置成感测至少所述第一颜色和所述第二颜色的可见光，

其中所述多个传感器元件的大部分是全色传感器元件，

其中所述传感器元件被布置成列和行，并且

其中所述重复图案被配置以使得第二单色传感器元件与同一列或行中的最近的相邻第二单色传感器元件分隔开两个全色传感器元件和一个第一单色传感器元件；并且

其中通过在用于具有相同颜色的最近桥连单色传感器元件的亮度值之间进行线性插值、和/或使用来自最近的相邻传感器元件的输出之间的差异，来确定与全色传感器元件对应的每个图像元素的色度。

2.如权利要求1的装置，其中所述第一单色传感器元件均匀分布在所述排列内的第一重复图案中，并且所述第二单色传感器元件均匀分布在所述排列内的第二重复图案中。

3.如权利要求2的装置，其中所述第一重复图案和所述第二重复图案包括在第一方向和第二正交方向具有公共固定周期的相同的重复图案，并且其中所述第一重复图案和所述第二重复图案分别偏移半个所述公共固定周期。

4.如权利要求1的装置，其中所述第一颜色是红色，并且所述第二颜色是蓝色。

5.如权利要求1的装置，还包括第三单色传感器元件，配置成感测第三颜色的可见光。

6.如权利要求5的装置，其中所述第三单色传感器元件在所述排列内配置成第三重复图案。

7.如权利要求5或6的装置，其中所述第三颜色是绿色。

8.如权利要求5的装置，其中针对包括至少四个单色传感器元件的每个面积，用于所述第三单色传感器元件的每单位面积的传感器元件数目是用于所述第一单色传感器元件的每单位面积的传感器元件数目的两倍。

9.如权利要求1的装置，其中用于所述全色传感器元件的每单位面积的传感器元件数目是每单位面积的单色传感器元件数目的三倍。

10.如权利要求1的装置，其中每个单色传感器元件在所述排列中通过一个全色传感器元件与最近的邻居单色传感器元件分隔开。

11.如权利要求1的装置，其中所述排列包括以马赛克形式重复的公共基本单元，其中所述公共基本单元包括其中大部分为全色传感器元件的传感器元件。

12.如权利要求11的装置，其中所述公共基本单元包括至少一个第一单色传感器元件并且包括至少一个第二单色传感器元件。

13.如权利要求12的装置，其中在公共基本单元中，每个单色传感器元件通过一个全色传感器元件与最近的邻居单色传感器元件分隔开。

14.如权利要求11的装置，其中公共基本单元包括配置成感测红色光的一个单色传感器元件，配置成感测蓝色光的一个单色传感器元件，配置成感测绿色光的两个单色传感器元件以及12个全色传感器元件。

15.如权利要求11的装置，其中公共基本单元包括配置成感测红色光的两个单色传感器元件，配置成感测蓝色光的两个单色传感器元件以及12个全色传感器元件。

16.如权利要求11的装置，其中所述公共基本单元包括传感器元件的4×4阵列，并且其中所述公共基本单元被镶嵌成格子以形成所述排列。

17.如权利要求11的装置，其中所述公共基本单元由多个子单元构成，其中每个子单元包括大部分全色传感器元件以及单个单色元件。

18.如权利要求17的装置，其中针对公共基本单元中的所述多个子单元的每一个，子单元的所述单个单色元件在所述子单元内具有公共固定位置。

19.如权利要求17的装置，其中子单元在公共基本单元内被布置成行和列，并且其中共享相同列但是位于相邻行中的子单元包括不同颜色的单个单色传感器元件，以及其中共享相同行但是位于相邻列中的子单元包括不同颜色的单个单色传感器元件。

20.如权利要求17的装置，其中所述公共基本单元包括镶嵌成格子的子单元的2×2阵列。

21.如权利要求1的装置，还包括：

配置成通过确定用于包括相应的单色传感器元件和多个相邻全色传感器元件的传感器元件的局部组的加权平均亮度，来为对应于单色传感器元件的每个图像元素确定亮度的电路。

22.如权利要求21的装置，其中所述组包括所述单色传感器以及多个围绕的全色传感器。

23.如权利要求21或22的装置，其中应用于每个亮度的加权取决于相应的传感器元件的位置以及相应的单色传感器元件的颜色。

24.如权利要求21或22的装置，其中针对所述局部组的边传感器元件应用的公共加权大于针对所述局部组的顶角传感器元件应用的公共加权。

25.一种方法，包括：

使用具有传感器滤光器的重复图案的滤光器排列来提供对入射到光学传感器上的光的过滤，所述传感器滤光器包括：

第一单色传感器滤光器，配置成感测明显比第二颜色多的第一颜色的可见光，

第二单色传感器滤光器，配置成感测明显比所述第一颜色多的所述第二颜色的可见光，以及

全色传感器滤光器，配置成感测至少所述第一颜色和所述第二颜色的可见光，

其中所述传感器滤光器的大部分是全色传感器滤光器，

其中所述传感器滤光器被布置成列和行，并且

其中所述重复图案被配置以使得第二单色传感器滤光器与同一列或行中的最近的相邻第二单色传感器滤光器分隔开两个全色传感器滤光器和一个第一单色传感器滤光器；并且

其中通过在用于具有相同颜色的最近桥连单色传感器元件的亮度值之间进行线性插值、和/或使用来自最近的相邻传感器元件的输出之间的差异，来确定与全色传感器元件对应的每个图像元素的色度。