CN105556958B - 固态成像装置、成像装置和电子装置 - Google Patents

Abstract

本技术涉及能够改善颜色分辨率和亮度分辨率并减少假色的固态成像装置、成像装置和电子装置。作为亮度主分量的白色W以方格图案排列。在8像素×8像素范围内的每行和每列中排列两个绿色G像素的单元以提高绿色G的均匀度，从而改善绿色G的分辨率，如排列实例176中所示。此外，包含蓝色B的行和列与包含红色R的行和列分开以改善分辨率，如排列实例174和175中所示。另外，白色W、蓝色B和红色R排列成围绕与白色W、蓝色B和红色R的缺失像素对应的孤立点像素以易于内插，如排列实例173至175中所示。本技术适用于固态成像装置。

Description

固态成像装置、成像装置和电子装置

技术领域

本技术涉及固态成像装置、成像装置和电子装置，更具体地涉及能够实现高灵敏度、高亮度分辨率和高颜色分辨率的固态成像装置、成像装置和电子装置。

背景技术

已提出多种针对彩色编码的滤色器阵列和信号处理的技术以提高固态成像装置的灵敏度，所述彩色编码使用与亮度信号的主分量对应的颜色，例如白色(W：白色)。例如，使用白色的彩色编码包括白色方格(W-方格)彩色编码，所述白色方格彩色编码包含以方格图案排列的白色以及白色方格G斜条(例如参见专利文献1)。

一般来讲，对于广泛使用的W方格图案，和在专利文献1中所公开的阵列中限定四色4像素×4像素的阵列彩色编码通常所用的颜色阵列，确立的白色W、绿色G、红色R和蓝色B的像素比为W:G:B:R＝8:4:2:2。

引用清单

专利文献

专利文献1：日本专利No.4683121

发明内容

本发明要解决的问题

然而，针对W方格图案所确定的和专利文献1中所公开的W:G:B:R＝8:4:2:2的阵列对于G:B:R＝8:4:4的普通拜耳阵列(Bayer array)(RGB-拜耳)而言可降低颜色分辨率并引起假色。

具体而言，红色R像素和蓝色B像素中每一者的个数为与亮度像素对应的白色W像素个数的四分之一，在这种情况下，即使当使用奈奎斯特频率(Nyquist frequency)为fs/2(fs：采样频率)的抑制滤波器也难以减少假色。在这种情况下，可能难以实现分辨率的改善和假色的减少。

已考虑到这些情况而开发出本技术。本技术特别地通过提高亮度像素同时确保各颜色像素数之间的适当平衡而实现高灵敏度、高亮度分辨率和高颜色分辨率，并且进一步减少了假色的产生。

问题解决方案

根据本技术的一方面的固态成像装置包括：检测包含亮度作为主分量的光的亮度像素；检测具有第一波长的光的第一像素；检测具有第二波长的光的第二像素；和检测具有第三波长的光的第三像素。第一像素和第二像素排列成分别均匀围绕第一像素和第二像素的缺失位置。

第一像素和第二像素的各自的缺失位置可在水平方向和竖直方向两个方向上，或在水平方向或竖直方向的任一方向上等间隔排列。

亮度像素可排列成均匀围绕亮度像素的缺失位置。

第三像素可随机排列。

亮度像素、第一像素、第二像素和第三像素可排列成使得亮度像素、第一像素、第二像素和第三像素的像素数比成为6:4:3:3。

第三像素排列成使得在每行和每列中提供相同数量的第三像素。

亮度像素、第一像素、第二像素和第三像素可排列成使得亮度像素、第一像素、第二像素和第三像素的像素数比成为7:3:3:3。

可将在倾斜方向上彼此相邻布置的亮度像素的像素值模拟相加并传输。可将在倾斜方向上彼此相邻布置的第三像素的像素值模拟相加并传输。可将在倾斜方向上彼此相邻布置的所述第一像素的像素值模拟相加并传输。可将在倾斜方向上彼此相邻布置的所述第二像素的像素值模拟相加并传输。

亮度像素、第一像素、第二像素和第三像素的像素值基于相应像素的重心处的互相关来计算。

针对亮度像素、第一像素、第二像素和第三像素中所包括的像素设定多个不同的曝光时间。

针对亮度像素、第一像素、第二像素和第三像素中所包括的像素设定第一曝光时间和第二曝光时间。

根据本技术的一方面的成像装置包括：检测包含固态成像装置的亮度作为主分量的光的亮度像素；检测具有第一波长的光的第一像素；检测具有第二波长的光的第二像素；和检测具有第三波长的光的第三像素。第一像素和第二像素排列成分别均匀围绕第一像素和第二像素的缺失位置。

根据本技术的一方面的电子装置包括：检测包含亮度作为主分量的光的亮度像素；检测具有第一波长的光的第一像素；检测具有第二波长的光的第二像素；和检测具有第三波长的光的第三像素。第一像素和第二像素排列成分别均匀围绕第一像素和第二像素的缺失位置。

本技术的一方面包括检测包含亮度作为主分量的光的亮度像素；检测具有第一波长的光的第一像素；检测具有第二波长的光的第二像素；和检测具有第三波长的光的第三像素。第一像素和第二像素排列成分别均匀围绕第一像素和第二像素的缺失位置。

发明效果

根据本技术的一方面，可通过提高亮度像素数同时确保各颜色像素数之间的适当平衡来实现高灵敏度、高亮度分辨率和高颜色分辨率，并且可进一步减少假色的产生。

附图说明

图1是示出已应用本技术的固态成像装置的一个配置实例的视图。

图2是示出单位像素的一个配置实例的视图。

图3是示出常规彩色编码的一个实例的视图。

图4是示出根据已应用本技术的第一实施例的一个配置实例的彩色编码的一个实例的视图。

图5是示出根据第一修改实例的彩色编码的一个实例的视图。

图6是示出根据已应用本技术的第二实施例的一个配置实例的彩色编码的一个实例的视图。

图7是示出根据第二修改实例的彩色编码的一个实例的视图。

图8是示出根据已应用本技术的第三实施例的一个配置实例的彩色编码的一个实例的视图。

图9是示出根据第三修改实例的彩色编码的一个实例的视图。

图10是示出根据已应用本技术的第四实施例的一个配置实例的彩色编码的一个实例的视图。

图11是示出根据第四修改实例的彩色编码的一个实例的视图。

图12是示出根据已应用本技术的第五实施例的一个配置实例的彩色编码的一个实例的视图。

图13是示出根据第五修改实例的彩色编码的一个实例的视图。

图14是示出根据已应用本技术的第六实施例的一个配置实例的彩色编码的一个实例的视图。

图15是示出根据第六修改实例的彩色编码的一个实例的视图。

图16是示出根据已应用本技术的第七实施例的一个配置实例的彩色编码的一个实例的视图。

图17是示出根据第七修改实例的彩色编码的一个实例的视图。

图18是示出根据已应用本技术的第八实施例的一个配置实例的彩色编码的一个实例的视图。

图19是示出根据第八修改实例的彩色编码的一个实例的视图。

图20是示出根据已应用本技术的第九实施例的一个配置实例的彩色编码的一个实例的视图。

图21是示出根据第九修改实例的彩色编码的一个实例的视图。

图22是示出根据已应用本技术的第十实施例的一个配置实例的彩色编码的一个实例的视图。

图23是示出根据第十修改实例的彩色编码的一个实例的视图。

图24是示出根据已应用本技术的十一实施例的一个配置实例的彩色编码的一个实例的视图。

图25是示出根据已应用本技术的第十二实施例的一个配置实例的彩色编码的一个实例的视图。

具体实施方式

下文对实施本发明的方式(下文称为实施例)进行描述。以下列顺序对实施例进行描述。

1.固态成像装置的配置实例

2.单位像素的配置实例

3.第一实例(W:G:B:R＝6:4:3:3的实例)

4.第一修改实例(允许在暗处成像的第一实施例的实例)

5.第二实施例(W:G:B:R＝7:3:3:3的实例)

6.第二修改实例(允许在暗处成像的第二实施例的实例)

7.第三实施例(在W:G:B:R＝7:3:3:3时使绿色G的分散度进一步提高的实例)

8.第三修改实例(允许在暗处成像的第三实施例的实例)

9.第四实施例(在W:G:B:R＝7:3:3:3时使绿色G的分散度进一步提高的实例)

10.第四修改实例(允许在暗处成像的第四实施例的实例)

11.第五实施例(在W:G:B:R＝7:3:3:3时使绿色G的分散度进一步提高的实例)

12.第五修改实例(允许在暗处成像的第五实施例的实例)

13.第六实施例(在W:G:B:R＝6:4:3:3时使绿色G的分散度进一步提高的实例)

14.第六修改实例(允许在暗处成像的第六实施例的实例)

15.第七实施例(在W:G:B:R＝6:4:3:3时使绿色G的分散度进一步提高的实例)

16.第七修改实例(允许在暗处成像的第七实施例的实例)

17.第八实施例(在W:G:B:R＝6:4:3:3时使绿色G的分散度进一步提高的实例)

18.第八修改实例(允许在暗处成像的第八实施例的实例)

19.第九实施例(在W:G:B:R＝6:4:3:3时使绿色G的分散度进一步提高的实例)

20.第九修改实例(允许在暗处成像的第九实施例的实例)

21.第十实施例(在W:G:B:R＝6:4:3:3时确定白色W作为亮度主分量的实例)

22.第十修改实例(允许在暗处成像的第十实施例的实例)

23.第十一实施例(在W:G:B:R＝6:4:3:3时像素相加的实例)

24.第十二实施例(SVE控制的应用实例)

<1.固态成像装置的配置实例>

图1示出根据本技术的固态成像装置，例如作为X-Y地址型固态成像装置的一种的CMOS(互补金属氧化物半导体)图像传感器的配置实例。

图1中示出的CMOS图像传感器1包括形成于半导体基板(下文在适当时缩写为“传感器芯片”)11上的像素阵列单元12，和在安装有像素阵列单元12的半导体基板11上集成的周边电路单元。例如，周边电路单元包括竖直驱动单元13、列处理单元14、水平驱动单元15、转换处理单元16和系统控制单元17。

像素阵列单元12包括以矩阵设置的未示出的单位像素(下文在适当时缩写为“像素”)的二维排列。每个单位像素包含光电转换元件，所述光电转换元件将由长虚线短虚线标示的可见光所构成的入射光光电转换成与光的光量对应的电荷量。每个单位像素的具体电路结构在下文详述。滤色器阵列20设置在像素阵列单元12的光接收表面(光进入表面)上。本技术的特征之一涉及滤色器阵列20的彩色编码。此特征的详情在下文描述。

像素阵列单元12还包括：像素驱动线，所述像素驱动线各自针对呈矩阵的像素阵列的对应行沿图中的左右方向(像素行的像素阵列方向，或水平方向)布线；和竖直信号线19，所述竖直信号线19各自针对对应列沿图中的上下方向(像素列的像素阵列方向，或竖直方向)形成。图1示出针对每个像素驱动线的一条线。然而，每个像素驱动线不限于一条线。每个像素驱动线的一端连接至竖直驱动单元13的对应行的输出端。

竖直驱动单元13由移位寄存器、地址译码器等构成。竖直驱动单元13包括未在图中具体示出的读出扫描系统和清除扫描系统。读出扫描系统对读出信号的单位像素的每一行依序进行选择性扫描。

另一方面，清除扫描系统清除(复位)来自读出行中所包括的单位像素的光电转换元件的无用电荷，读出扫描系统针对所述读出行进行读出扫描。清除扫描系统在读出扫描之前执行此清除扫描，清除扫描与读出扫描相比提前快门速度的时段。清除扫描系统对无用电荷的这种清除(复位)实现了所谓的电子快门操作。此语境中的电子快门操作是指清除光电转换元件的光电荷并且开始新的曝光(开始积聚光电荷)的操作。

通过读出扫描系统进行的读出操作所读出的信号与在前述读出操作或电子快门操作之后已进入的光量对应。在这种情况下，前述读出操作的读出定时或电子快门操作的清除定时到当前读出操作的读出定时的时段与单位像素的光电荷的积聚时间(曝光时间对应。

经由竖直信号线19将从经受竖直驱动单元13选择性扫描的像素行的单位像素输出的信号提供至列处理单元14。列处理单元14针对像素阵列单元12的每个像素列对从选定行的相应像素输出的模拟像素信号进行预定信号处理。

由列处理单元14进行的信号处理包括例如CDS(相关双采样)处理。CDS处理提取从选定行的每个像素输出的复位电平和信号电平，并计算这些电平之间的电平差，从而获得一行的像素信号。CDS处理还消除像素的固定图案噪声。列处理单元14可具有使模拟像素信号数字化的A/D转换功能。

水平驱动单元15包括移位寄存器、地址译码器等，并且对与列处理单元14的像素行对应的电路部分依序进行选择性扫描。经受列处理单元14针对每个像素列的信号处理的像素信号通过水平驱动单元15的选择性扫描而依序输出。

转换处理单元16进行算术处理以转换前述信号，所述前述信号从像素阵列单元12的相应像素输出并且与滤色器阵列(滤色器单元)20的颜色阵列对应。

系统控制单元17接收从传感器芯片11外部施加的时钟和指示操作模式的数据等，并输出关于CMOS图像传感器1的诸如内部信息的数据。系统控制单元17还包括生成各种定时信号的定时生成器，并且基于由定时生成器所生成的各种定时信号来控制竖直驱动单元13、列处理单元14、水平驱动单元15、转换处理单元16等的驱动。

<2.单位像素的配置实例>

下文参照图2来描述像素单元的电路结构实例。图2为示出单位像素的电路结构的一个实例的电路图。如图2中所示，根据此电路实例的单位像素包括光电转换元件例如光电二极管PD，和四个晶体管例如传输晶体管Tr1、复位晶体管Tr2、放大晶体管Tr3和选择晶体管Tr4。

根据此实例，晶体管Tr1至Tr4中的每一个由N-沟道MOS晶体管构成。传输晶体管Tr1、复位晶体管Tr2、放大晶体管Tr3和选择晶体管Tr4的传导类型组合仅以举例的方式展示。可在适当时采用其他组合。

根据图2中示出的单位像素，传输线L11、复位线L12和选择线L13的三条驱动线作为针对相同像素行的相应像素的共用像素驱动线L1来提供。传输线L11、复位线L12和选择线L13的各一端连接至像素行单元中竖直驱动单元13的对应像素行的输出端。

光电二极管PD的阳极电极连接至负侧电源(例如，接地)的阳极电极，并且将接收的光光电转换成光电荷(此实例中为光电子)，所述光电荷具有与光量对应的电荷量。光电二极管PD的阴极电极经由传输晶体管Tr1电连接至放大晶体管Tr3的栅电极。电连接至放大晶体管Tr3的栅电极的节点被称为浮动扩散FD。

传输晶体管Tr1连接在光电二极管PD的阴极电极与浮动扩散FD之间。将高电平(例如，Vdd电平)有效(在下文被称为“高有效”)传输脉冲φTRF经由传输线L11施加至传输晶体管Tr1的栅电极。已接收传输脉冲φTRF的传输晶体管Tr1进入接通状态，并且将光电二极管PD进行光电转换所获得的光电荷传输至浮动扩散FD。

复位晶体管Tr2的漏极连接至像素电源Vdd，而复位晶体管Tr2的源极连接至浮动扩散FD。在将信号电荷从光电二极管PD传输至浮动扩散FD之前，将高有效复位脉冲φRST经由复位线L12施加至复位晶体管Tr2的栅电极。已接收复位脉冲φRST的复位晶体管Tr2进入接通状态，并清除浮动扩散FD至像素电源Vdd的电荷以使浮动扩散FD复位。

放大晶体管Tr3的栅电极连接至浮动扩散FD，而放大晶体管Tr3的漏极连接至像素电源Vdd。放大晶体管Tr3输出复位晶体管Tr2复位之后的浮动扩散FD的电位作为复位信号(复位电平)Vreset。放大晶体管Tr3进一步输出传输晶体管Tr1传输信号电荷之后的浮动扩散FD的电位作为光积聚信号(信号电平)Vsig。

例如，选择晶体管Tr4的漏极连接至放大晶体管Tr3的源极，而选择晶体管Tr4的源极连接至竖直信号线L2。将高有效选择脉冲φSEL经由选择线L13施加至选择晶体管Tr4的栅电极。已接收选择脉冲φSEL的选择晶体管Tr4进入接通状态，并使单位像素进入选择状态，从而将从放大晶体管Tr3输出的信号中继至竖直信号线19。

在可供选择的电路结构中，选择晶体管Tr4可连接在像素电源Vdd与放大晶体管Tr3的漏极之间。

单位像素的像素结构不限于如上所述由四个晶体管构成的结构。例如，单位像素可为由三个晶体管构成的像素结构，其中包括的一个晶体管同时起到放大晶体管Tr3和选择晶体管Tr4的作用。可随意确定单位像素的像素电路结构。

<3.常规彩色编码的实例>

图3示出针对滤色器阵列20采用的常规彩色编码的一个实例。更具体地讲，图3示出从上方开始顺序为拜耳阵列、W方格(白色方格)阵列和W方格G(绿色)斜条阵列的彩色编码实例中的4像素×4像素的像素阵列。相应颜色的空间频率分布在图3的右部中示出。在图中，每个方格表示像素，而置于相应方格中的W、R、G和B分别表示白色、红色、绿色和蓝色。通常，下文将相应颜色称为白色W、红色R、绿色G和蓝色B。

更具体地讲，图3左上部中示出的拜耳阵列包含绿色G，所述绿色G以方格图案排列在包括位于左上端和右下端的像素在内的相应像素中。图3中的拜耳阵列还包含红色R，所述红色R排列在包括右上端像素在内的相应像素中，排列方式使得一个绿色G像素在水平方向和竖直方向上被夹在红色R像素之间。图3中的拜耳阵列还包含蓝色B，所述蓝色B排列在包括左下端像素在内的相应像素中，排列方式使得一个绿色G像素在水平方向和竖直方向上被夹在蓝色B像素之间。

图3左中部中示出的W方格阵列包含白色W，所述白色W以方格图案排列在包括位于左上端和右下端的像素在内的相应像素中。图3中的W方格阵列还包含绿色G，所述绿色G排列在包括右上端像素在内的相应像素中，排列方式使得一个白色W像素在水平方向和竖直方向上被夹在红色R像素之间。图3中的W方格阵列还包含排列在左下端的像素中和从上起第二行且从右起第二列的像素中的蓝色B，并且包含最左列且从上起第二行的像素中，以及从右起第二列且最下行的像素中的红色R。

图3左下部中示出的W方格G斜条阵列包含白色W，所述白色W以方格图案排列在包括位于左上端和右下端的像素在内的相应像素中。图3中的W方格G斜条阵列包含红色R、蓝色B、红色R和蓝色B以此顺序从上方沿着从右上端的像素起朝左倾斜向下的方向交替排列。W方格G斜条阵列还包含绿色G，所述绿色G在从左起第二列且最上行的像素中，在最右列且从下起第二行的像素中，在与朝左倾斜向下的这些像素相邻的像素中。

根据图3中示出拜耳阵列，绿色G以方格图案排列。在这种情况下，在空间频率分布中由长虚线双短虚线标示的绿色G在水平方向和竖直方向上具有由长虚线短虚线标示的奈奎斯特频率的分布，但在45°倾斜方向上具有半分布，如图3的右上部中所示。

然而，就图3中示出的拜耳阵列而言，如图3右上部中所示，由实线标示的红色R和由虚线标示的蓝色B的每一者在水平方向、竖直方向和45°倾斜方向的每个方向上具有奈奎斯特频率的半分布。

因此，在拜耳阵列中，绿色G在水平方向和竖直方向上存在于每行和每列中，但在45°方向上仅以每隔一行存在。因此，绿色G在水平方向和竖直方向上具有相当于奈奎斯特频率的分布，但在45°方向上仅具有奈奎斯特频率的半分布。

另一方面，红色R和蓝色B中的每一者在水平方向、竖直方向和45°方向上以每隔一行存在。因此，红色R和蓝色B中的每一者在水平方向、竖直方向和45°方向上具有奈奎斯特频率的半分布。图3右上部中以空间频率分布示出的分别标示红色R和蓝色B的频率分布的实线和虚线以彼此偏移的线示出，这仅仅是便于阐释。在实际情况中这些分布位于同一位置。

就W方格阵列的空间频率分布而言，由灰色阴影虚线标示的白色W在水平方向和竖直方向上具有与奈奎斯特频率相同的分布，但在45°方向上具有奈奎斯特频率的半分布，如图3右中部中所示，类似于上述拜耳阵列中的绿色G。

然而，就图3中的W方格阵列而言，由长虚线双短虚线标示的绿色G在水平方向、竖直方向和45°倾斜方向上以每隔一行存在，如图3右中部中所示，类似于拜耳阵列中的红色R或蓝色B。因此，绿色G在所有这些方向上具有奈奎斯特频率的半分布。另一方面，由实线标示的红色R和由虚线标示的蓝色B中的每一者在水平方向和竖直方向上以每隔一行存在，因此在水平方向和竖直方向上具有奈奎斯特频率的半分布。然而，红色R和蓝色B中的每一者在45°倾斜方向上以每四行存在，因此在45°倾斜方向上具有奈奎斯特频率的四分之一分布，就W方格阵列而言，由阴影虚线灰色标示的白色W在水平方向和竖直方向两个方向上以每行和每列存在，因此在水平方向和竖直方向两个方向上具有分布与奈奎斯特频率相同的分布。然而，白色W在45°倾斜方向上以每隔一行存在，因此在45°倾斜方向上具有奈奎斯特频率的半分布。

就W方格G斜条阵列的空间频率分布而言，由灰色阴影虚线标示的白色W在水平方向和竖直方向上具有相当于奈奎斯特频率的分布，如图3右下部中所示，类似于上述拜耳阵列中的绿色G。然而，白色W在45°倾斜方向上具有此分布的一半。

就图3中示出的W方格G斜条阵列而言，由长虚线双短虚线标示的绿色G在水平方向和竖直方向上存在于每行和每列中。因此，绿色G在水平方向和竖直方向上具有相当于奈奎斯特频率的分布，如图3右下部中所示。然而，绿色G在朝左向上的45°倾斜方向以每隔一行存在，因此在朝左向上的45°倾斜方向上具有奈奎斯特频率的半分布。另一方面，绿色G在朝右向上的45°倾斜方向上以每四行存在，因此具有奈奎斯特频率的四分之一分布，其中在朝右向上的45°倾斜方向上具有部分凹陷的形状。

由实线标示的红色R和由虚线标示的蓝色B中的每一者在水平方向和竖直方向上以每隔一行存在，因此在水平方向和竖直方向上具有奈奎斯特频率的半分布。然而，红色R和蓝色B中的每一者在每个45°倾斜方向上以每四行存在，因此在每个45°倾斜方向上具有奈奎斯特频率的四分之一分布。

从这些发现中可明显看出，拜耳阵列在提高分辨率和降低失真方面高度有效，但易于降低灵敏度。另一方面，在方格图案中包含白色W的W方格阵列和W方格阵列G斜条阵列能够提高分辨率且提高灵敏度至大约两倍。此外，W方格阵列G斜条阵列具有的结构易于转换成针对模拟相加和针对拜耳阵列的像素值。

然而，根据W方格阵列或W方格G斜条阵列，像素数比被确立为W:G:B:R＝8:4:2:2，在这种情况下特别是蓝色B和红色R的空间频率分布降低。在这种情况下，颜色分辨率易于降低。此外，W方格阵列G斜条阵列易于在倾斜方向上产生假色。

<3.第一实施例>

图4示出根据第一实施例的彩色编码的像素阵列的一个配置实例，所述彩色编码能够提高颜色分辨率并减少假色，同时维持作为拜耳阵列、W方格阵列和W方格G斜条阵列的优点提供的高分辨率和高灵敏度。

图4示出阐释根据第一实施例的配置实例的彩色编码的8像素×8像素阵列实例21、空间频率分布22和排列实例23至26。根据图4中示出的彩色编码，像素数比被确立为W:G:R:B＝6:4:3:3(图中示出四倍像素数)。更具体地讲，根据图4中示出的彩色编码，4像素×4像素区域为8像素×8像素沿上下方向和左右方向分隔的四个分隔区之一，所述4像素×4像素区域重复排列，如阵列实例21中的点线框所示。在分隔区域之一中，绿色G排列在除左下端之外的所有拐角处的像素中，以及排列在从左起第二列且从下起第二行的像素中。红色R排列在从右起第二列且最上行的像素中，在从右起第二列且从上起第三行的像素中，在最左列且从下起第二行的像素中。蓝色B排列在从左起第二列且最下行的像素中，在从左起第二列且从下起第三行的像素中，在最右列和从上起第二行的像素中。白色W排列在处上述像素之外的所有像素中。

在这种情况下，由阴影虚线标示的白色W在水平方向和竖直方向上存在于每行和每列中，如空间频率分布22所示。因此，白色W在水平方向和竖直方向上具有相当于奈奎斯特频率的分布。然而，白色W在45°倾斜方向上以每隔一行存在，因此在45°倾斜方向上具有奈奎斯特频率的半分布。红色R和蓝色B中的每一者在水平方向、竖直方向和45°倾斜方向的所有方向上以每隔一行存在，因此在水平方向、竖直方向和45°倾斜方向的所有方向上具有奈奎斯特频率的半分布，如排列实例24和25所示。另一方面，在行和列中不存在绿色G的行在水平方向和竖直方向上以每四行产生，如排列实例26中所示。因此，绿色G在水平方向和竖直方向上具有奈奎斯特频率的四分之三分布。

根据此彩色编码，白色W的排列方式是围绕排列在于方格图案中形成作为亮度主分量的白色W时的白色W的缺失位置(或孤立点位置)处的绿色G，如图4中的排列实例23所示。因此，在去马赛克时通过利用排列在缺失位置周围的白色W的相关像素信息来容易地针对与白色W的缺失位置对应的绿色G的位置处的像素内插白色W的相关像素信息。

更具体地讲，需要形成白色W的绿色G对应于孤立点，所述孤立点是当在方格图案中形成与亮度主分量对应的白色W时产生，如排列实例23中所示。对于绿色G作为形成方格白色W时孤立点施加的像素，白色W像素在水平方向和竖直方向上以每隔一个像素排列在基本上均匀的位置处。此外，施加绿色G的像素在倾斜方向上与位于四个位置处的白色W像素相邻排列。此排列允许通过利用施加绿色G的像素周围的白色W的相关信息来容易且适当地针对绿色G作为形成方格白色W时的孤立点施加的像素内插白色W像素的相关信息。

根据图4中示出的彩色编码，排列实例23示出仅提取待形成为白色W的像素的排列实例。因此，白色W稍后内插并且形成于排列实例23中所含绿色G的位置中。类似地，图4中示出的彩色编码的排列实例24至26示出仅提取分别待形成为红色R、蓝色B和绿色G的像素的排列实例。

如图4中的排列实例24所示，红色R排列在基本上均匀的位置处以围绕与孤立点对应并且需要形成红色R的绿色G。因此，在去马赛克时通过利用存在于作为红色R的孤立点位置的绿色G像素周围的红色R像素的相关信息来容易且适当地针对与红色R的孤立点位置对应的绿色G的位置内插红色R的相关像素信息。

更具体地讲，需要形成红色R的绿色G与形成红色R时所产生的孤立点对应，如排列实例24中所示。在这种情况下，红色R像素在水平方向、竖直方向和45°倾斜方向上以每隔一个像素设置在基本上均匀的位置处。根据此排列，通过利用排列在基本上均匀的位置处的红色R像素的相关信息来容易且适当地针对与形成红色R时的孤立点对应的绿色G内插红色R的相关像素信息。

如图4中的排列实例25所示，蓝色B排列在基本上均匀的位置处以围绕与蓝色B的孤立点对应并且需要形成蓝色B的绿色G。因此，在去马赛克时通过利用这些蓝色B像素的相关信息来针对绿色G的位置容易且适当地内插蓝色B的相关像素信息。

更具体地讲，需要形成蓝色B的绿色G与形成蓝色B时所产生的孤立点对应，如排列实例25中所示。在这种情况下，蓝色B像素在水平方向、竖直方向和45°倾斜方向上以每隔一个像素排列在基本上均匀的位置处。根据此排列，通过利用排列在基本上均匀的位置处的蓝色B像素的相关信息来容易且适当地针对与形成蓝色B时的孤立点对应的绿色G内插蓝色B的相关像素信息。

根据参照图3描述的W方格阵列和W方格G斜条阵列，相应颜色的比被确立为W:G:B:R＝8:4:2:2。然而，根据图4中示出的彩色编码的排列实例，相应颜色的比被确立为W:G:B:R＝6:4:3:3。

更具体地讲，排列实例通过如下方式确立W:G:B:R＝6:4:3:3：将图3的W方格阵列和W方格G斜条阵列中的一个白色W像素施加给红色R和蓝色B中的每一者，将包含红色R的行和列与包含蓝色B的行和列分隔，确定对于像素排列中的白色W、红色R和蓝色B中的每一者而言易于内插的位置处的像素，以及将绿色G施加给所确定的像素。

根据此排列，蓝色B和红色R包含在不同的行和列中。在这种情况下，在去马赛克时更容易且更适当地在蓝色B和红色R的孤立点处内插像素信号。因此，颜色分辨率得以改善。此外，通过内插在方格图案中形成的白色W改善了亮度分辨率和灵敏度。

因此，可实现灵敏度、亮度分辨率和颜色分辨率的改善。

<4.第一修改实例>

根据上述实例，白色W被确定为亮度主分量。或者，绿色G可被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作颜色分量。

图5示出彩色编码的一个实例，所述彩色编码使用图4中示出的彩色编码，但将绿色G确定为亮度主分量，并且将红外线IR替代绿色G确定为颜色分量。

因此，图5中示出的彩色编码使用绿色G来替代图4中的白色W，并且使用红外线IR来替代图4中的绿色G。

图5中的排列实例31、空间频率分布32和排列实例33至36分别与图4中示出的排列实例21、空间频率分布22和排列实例23至26对应。

通过利用红外线照射，此结构甚至在暗处也可实现高分辨率成像。

图5中示出的彩色编码的实例与图4中示出的彩色编码的实例类似，不同的是使用绿色G来替代图4中的白色W并且使用红外线IR来替代图4中的绿色G。因此，相同阐释此处不再复述。

<5.第二实施例>

根据上述实例，白色W、绿色G、蓝色B和红色R的像素数比被确立为W:G:B:R＝6:4:3:3。然而，可通过将绿色G用白色W替代一个像素来将所述像素数比确立为W:G:B:R＝7:3:3:3，从而减少与亮度主分量对应的白色W的损失并且改善灵敏度和亮度分辨率。

图6示出彩色编码的一个实例，所述彩色编码将绿色G的像素排列的一部分用与亮度主分量对应的白色W替代，从而减少与亮度主分量对应的白色W的损失并且改善分辨率。图6中示出的彩色编码的基本颜色排列与图4中示出的彩色编码的实例类似，因此在下文仅描述此实施例的彩色编码的实例与图4中示出的彩色编码的实例之间的差异。

图6中示出的彩色编码与图4中示出的彩色编码的不同之处为在4像素×4像素区域中，布置在右上端的像素从图4中排列实例11中示出的绿色转换成白色，所述4像素×4像素区域与通过分隔排列实例所产生的四个分隔区中的每一者对应，所述排列实例是通过将8像素×8像素在水平方向上分隔成两部分并且在竖直方向分隔成两部分来构成，如图6中示出的排列实例41中的点线所示。

此像素排列使得与亮度主分量对应的白色W的损失最小化，从而改善分辨率。

此外，此像素排列将针对构成颜色分辨率的蓝色B、红色R和绿色G中每一者的三个像素以平衡方式布置在4像素×4像素区域中，从而减少了颜色分辨率的降低。

图6中的排列实例41、空间频率分布42和排列实例43至46分别与图4中示出的排列实例11、空间频率分布12和排列实例13至16对应。如空间频率分布42中所示，绿色G的一个像素从图4中示出的实例中移除，因此绿色G的分布变小。然而，其他颜色的分布与图4中示出的对应分布类似。

因此，除了改善灵敏度、亮度分辨率和颜色分辨率之外，还通过减少与亮度主分量对应的白色W的损失而改善了灵敏度和亮度分辨率。

<6.第二修改实例>

根据上述实例，在使用白色W、绿色G、蓝色B和红色R的彩色编码中白色W被确定为亮度主分量。然而，绿色G可替代白色W被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作彩色编码的颜色分量。

图7示出彩色编码的一个实例，所述彩色编码使用图6中示出的彩色编码，但将绿色G替代白色W确定为亮度主分量，并且将红外线IR替代绿色G确定为颜色分量。因此，图7中示出的彩色编码布置绿色G来替代图6中与亮度主分量对应的白色W，并且布置红外线IR来替代图6中与颜色分量对应的绿色G。

图7中的排列实例51、空间频率分布52和排列实例53至56分别与图6中示出的排列实例41、空间频率分布42和排列实例43至46对应。

因此，通过利用红外线照射，图7中示出的彩色编码甚至在暗处也可实现高灵敏度成像。

<7.第三实施例>

根据上述实例，白色W、绿色G、蓝色B和红色R的像素数比被确立为W:G:B:R＝7:3:3:3。然而，可改善图6的排列实例46中示出的绿色G的分散度(随机性)以进一步减少假色。

图8示出使图6彩色编码中绿色G的位置进一步分散的彩色编码的一个实例。图8中的排列实例71、空间频率分布72和排列实例73至76分别与图6中示出的排列实例41、空间频率分布42和排列实例43至46对应。

图8中示出的彩色编码与图6中示出的彩色编码的不同之处在于两种类型的绿色G(绿色G是作为希望在方格图案中形成的白色W的孤立点提供的颜色)的排列在存在绿色G的行单元中确立，并且设置成使得两种类型交替布置在彩色编码中。

更具体地讲，在根据图6中的虚线标示的排列实例41，通过将8像素×8像素在水平方向上分隔成两部分并且在竖直方向分隔成两部分而产生的4像素×4像素的四个分隔区中，在每个4像素×4像素区域中，将绿色G布置作为从左起第二列且从下起第二行的像素中的孤立点。

然而，根据图8中示出的彩色编码，与白色W的孤立点对应的绿色G与排列实例41类似位于四个分隔区的两个上侧4像素×4像素区域中的每一者中。然而，绿色G布置在四个分隔区的两个下侧4像素×4像素区域中的每一者中的最右列且从下起第二行的像素中，如排列实例73中所示。

然而，根据图8中示出的彩色编码，与蓝色B的孤立点对应的绿色G与排列实例45类似位于四个分隔区的两个上侧4像素×4像素区域中的每一者中。然而，绿色G布置在四个分隔区的两个下侧4像素×4像素区域中的每一者中的从左起第二列且最下行的像素中，如排列实例75中所示。

此排列改变了提供作为希望形成的白色W和蓝色B的孤立点的绿色G的排列位置，使得绿色G在4像素×4像素单元(四行单元)中的排列在水平方向上可交替改变两列单元，如排列实例73和75中所示。因此，绿色G的像素位置的分散度(随机性)改善，因此假色减少。原则上，图8中如此结构化的彩色编码在水平方向和竖直方向上重复排列图8中排列实例71示出的8像素×8像素单元的配置。

因此，可实现假色的进一步减少，同时改善了灵敏度、亮度分辨率和颜色分辨率。

<8.第三修改实例>

根据上述实例，在使用白色W、绿色G、蓝色B和红色R的彩色编码中白色W被确定为亮度主分量。然而，绿色G可替代白色W被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作彩色编码的颜色分量。

图9示出彩色编码的一个实例，所述彩色编码使用图8中示出的彩色编码，但将绿色G替代白色W确定为亮度主分量，并且将红外线IR替代绿色G确定为颜色分量。因此，图9中示出的彩色编码布置绿色G来替代图8中的白色W，并且布置红外线IR来替代图8中的绿色G。

图9中的排列实例81、空间频率分布82和排列实例83至86分别与图8中示出的排列实例71、空间频率分布72和排列实例73至76对应。

因此，通过利用红外线照射，图9中示出的彩色编码甚至在暗处也可实现高灵敏度成像。

<9.第四实施例>

根据上述实例，白色W、绿色G、蓝色B和红色R的像素数比被确立为W:G:B:R＝7:3:3:3，并且在方格排列的四行单元中与白色W和蓝色B的孤立点对应的绿色G的排列在水平方向上偏移两列单元，从而提高分散度(随机性)，如图8的排列实例73(或76)中所示。类似地，在方格排列的水平方向上的四列单元中与白色W的孤立点对应的绿色G可在竖直方向上偏移两行单元以提高分散度。

图10示出彩色编码的一个实例，所述彩色编码使得图6中示出的彩色编码四列单元中的绿色G的排列在竖直方向上偏移以提高分散度(随机性)。图10中的排列实例101、空间频率分布102和排列实例103至106分别与图6中示出的排列实例41、空间频率分布42和排列实例43至46对应。

图10中示出的彩色编码与图6中示出的彩色编码的不同之处在于两种类型的绿色G(绿色G是作为希望在方格图案中形成的白色W的孤立点提供的颜色)的排列在存在绿色G的列单元中确立，并且设置成使得两种类型交替布置在彩色编码中。

更具体地讲，在与通过将8像素×8像素在水平方向上分隔成两部分并且在竖直方向分隔成两部分而产生的四个分隔区中的每一者对应的4像素×4像素区域中，在每个4像素×4像素区域中，将绿色G布置作为从左起第二列且从下起第二行的像素中的孤立点，如图6的排列实例41中所示。

然而，根据图10中示出的彩色编码，与白色W的孤立点对应的绿色G位于四个分隔区的两个左侧4像素×4像素区域中的每一者中的从左起第二列且从下起第二行的像素位置处，类似于图6中的实例。然而，绿色G布置在四个分隔区的两个右侧4像素×4像素区域中的每一者中的从左起第二列且最上行的像素中，如排列实例103中所示。

根据此排列，在图10中示出的彩色编码中，与红色R的孤立点对应的绿色G位于四个分隔区的两个左侧4像素×4像素区域中的每一者中的最左列且最上行的像素位置处，如与图6中的排列类似的排列实例104中所示。然而，绿色G布置在四个分隔区的两个右侧4像素×4像素区域中的每一者中的最左列且从下起第二行的像素中。

根据此排列，作为希望形成的白色W和红色R的孤立点提供的绿色G的排列被改变成使得4像素×4像素单元(四列单元)中的绿色G在竖直方向上交替偏移两行单元，如排列实例103中所示。因此，绿色G的像素位置的分散度(随机性)改善，因此假色减少。一般来讲，像素信号在竖直方向上传输。在这种情况下，允许用于将相同颜色的像素信号相加的所谓像素相加以传输像素信号。因此，当与白色W的孤立点对应的绿色G的像素之间的相互位置关系在竖直方向上均匀时(如图10的排列实例101中所示)时，允许对相同条件下相加的像素信号进行传输。因此，可实现假色的进一步减少。

<10.第四修改实例>

根据上述实例，在使用白色W、绿色G、蓝色B和红色R的彩色编码中白色W被确定为亮度主分量。然而，绿色G可替代白色W被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作彩色编码的颜色分量。

图11示出彩色编码的一个实例，所述彩色编码使用图10中示出的彩色编码，但将绿色G替代白色W确定为亮度主分量，并且将红外线IR替代绿色G确定为颜色分量。因此，图11中示出的彩色编码布置绿色G来替代图10中的白色W，并且布置红外线IR来替代图10中的绿色G。

图11中的排列实例111、空间频率分布112和排列实例113至116分别与图10中示出的排列实例101、空间频率分布102和排列实例103至106对应。

因此，通过利用红外线照射，图11中示出的彩色编码甚至在暗处也可实现高灵敏度成像。

<11.第五实施例>

根据上述实例，白色W、绿色G、蓝色B和红色R的像素数比被确立为W:G:B:R＝7:3:3:3，并且在四行单元中与白色W的孤立点对应的绿色G的排列在水平方向上偏移两行单元，从而提高分散度(随机性)，如图10的排列实例113中所示。然而，可使4像素×4像素区域中与颜色分量对应的绿色G、蓝色B和红色R中的每一者的四分之一缺失以平衡白色W在水平方向、竖直方向和倾斜方向上的分布。

图12中示出的排列实例131为彩色编码的一个实例，所述彩色编码方格的四个顶点处的绿色G、蓝色B和红色R的颜色分量中的每一者排列在由虚线标示的4像素×4像素区域内的每隔一个像素的位置处，并且对于每个相同颜色的方格而言使四个顶点相同位置处的一个像素缺失以基于颜色分量的缺失的四分之一来平衡白色W在水平方向、竖直方向和倾斜方向上的分布。

更具体地讲，在通过将8像素×8像素标示的区域在水平方向上分隔成两部分并且在竖直方向分隔成两部分而产生的4像素×4像素区域中，与颜色分量对应的红色R布置在自最上行且从下起第二行以及从右起第二列且最右列的四个像素中减去最上行且从右起第二列的像素之后剩余的三个像素中，如排列实例134中所示。在这种情况下，最上行且从右起第二列的像素被确定为施加白色W的红色R的缺失像素。

与颜色分量对应的蓝色B布置在4像素×4像素中自从上起第二行且最下行以及从左起第二列且最右列的四个像素中减去最下行且最右列的像素之后剩余的三个像素中，如排列实例135中所示。在这种情况下，最下行且最右列的像素被确定为施加白色W的蓝色B的缺失像素。

与颜色分量对应的绿色G布置在4像素×4像素中自最上行且从下起第二行以及从左起第二列且最右列的四个像素中减去从下起第二行且从左起第二列的像素之后剩余的三个像素中，如排列实例136中所示。在这种情况下，从下起第二行且从左起第二列的像素被确定为施加白色W的绿色G的缺失像素。

其他像素位置施加白色W，如排列实例133中所示。

根据此排列，与亮度主分量对应的白色W在水平方向和竖直方向上以及在靠近这些方向的方向上具有实质上相当于奈奎斯特频率的分布，并且在45°倾斜方向上具有奈奎斯特频率的半分布，如空间频率分布132中所示。另一方面，与颜色分量对应的绿色G、蓝色B和红色R中的每一者在水平方向、竖直方向和45°倾斜方向中的每个方向上具有奈奎斯特频率的半分布。

更具体地讲，在通过将8像素×8像素标示的区域在水平方向上分隔成两部分并且在竖直方向分隔成两部分而产生的4像素×4像素区域中(如图12中的排列实例131和133至136中的点线所标示)，针对与颜色分量对应的绿色G、蓝色B和红色R中的每一者布置三个像素，使得对于相同颜色确立相同相互位置关系。在这种情况下，具有位置关系的一个像素被确定为缺失像素以改善相互平衡。因此，可实现针对绿色G、蓝色B和红色R的缺失像素的容易和适当内插。此外，缺失像素中的白色W布置实现了与亮度主分量对应的白色W在水平方向、竖直方向和倾斜方向中的每个方向上更加均匀的分布结构。

因此，与亮度主分量对应的白色W的缺失减少，因此亮度分辨率得以改善。

另外，针对构成颜色分辨率的蓝色B、红色R和绿色G中的每一者在4像素×4像素区域中提供三个像素。在这种情况下，颜色分辨率的降低也得以减少，因此可实现假色的进一步减少。

<12.第五修改实例>

根据上述实例，在使用白色W、绿色G、蓝色B和红色R的彩色编码中白色W被确定为亮度主分量。然而，绿色G可替代白色W被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作彩色编码的颜色分量。

图13示出彩色编码的一个实例，所述彩色编码使用图12中示出的彩色编码，但将绿色G替代白色W确定为亮度主分量，并且将红外线IR替代绿色G确定为颜色分量。

因此，图13中示出的彩色编码布置绿色G来替代图12中的白色W，并且布置红外线IR来替代图12中的绿色G。

图13中的排列实例141、空间频率分布142和排列实例143至146分别与图12中示出的排列实例131、空间频率分布132和排列实例133至136对应。

通过利用红外线照射，此结构甚至在暗处也可实现高分辨率成像。

图13中示出的彩色编码的实例与图12中示出的彩色编码的实例类似，不同的是将图12中的白色W和绿色G分别用绿色G和红外线IR替代。因此，相同阐释此处不再复述。

<13.第六实施例>

根据上述实例，白色W、绿色G、蓝色B和红色R的像素数比被确立为W:G:B:R＝7:3:3:3，并且通过以下方式来平衡颜色分量：针对与颜色分量对应的绿色G、蓝色B和红色R中的每一者布置三个像素以使得在每个4像素×4像素区域中确立相同的位置关系，并且在每个区域的相同位置处布置与每个颜色的缺失像素对应的一个像素，如图12的排列实例134至136中所示。根据图12中的实例，绿色G、蓝色B和红色R中的每一者的缺失像素在水平方向和竖直方向上位于同一位置。然而，绿色G、蓝色B和红色R中的每一者的缺失像素可在水平方向和竖直方向上位于不同的位置以改善分散度(随机性)。

图14中示出的排列实例151彩色编码的一个实例，所述彩色编码改变图12的排列实例131中示出的绿色G、蓝色B和红色中的每一者的缺失像素的位置以改善分散度(随机性)。

更具体地讲，在四行单元中布置在绿色G、蓝色B和红色R中的每一者的缺失像素中的白色W在水平方向偏移两列，如图14的排列实例153至156中所示。

在这种情况下，红色R的缺失位置位于两个上侧4像素×4像素区域中的每一者中的最上行且从右起第二列的像素中。然而，红色R的缺失位置位于两个下侧4像素×4像素区域中的每一者中的最上行且最左列的像素中，如排列实例154中所示。类似地，蓝色B的缺失位置位于两个上侧4像素×4像素区域中的每一者中的最下行且最右列的像素中。然而，蓝色B的缺失位置位于两个下侧4像素×4像素区域中的每一者中的最下行且从左起第二列的像素中，如排列实例155中所示。此外，绿色G的缺失位置位于两个上侧4像素×4像素区域中的每一者中的从下起第二行且从左起第二列的像素中。然而，绿色G的缺失位置位于两个下侧4像素×4像素区域中的每一者中的从下起第二行且最右列的像素中，如排列实例156中所示。

图14的排列实例151中的空间频率分布与空间频率分布132类似，如空间频率分布152中所示。相应颜色的空间频率分布与图12中的排列实例131的那些类似。

此排列改善了绿色G、蓝色B和红色R的缺失像素的位置的分散度(随机性)，同时维持绿色G、蓝色B和红色R的平衡。

因此，与亮度主分量对应的白色W的缺失减少，因此分辨率得以改善。

此外，针对构成颜色分辨率的蓝色B、红色R和绿色G中的每一者在每个4像素×4像素区域中提供三个像素。在这种情况下，颜色分辨率的降低也减少。另外，构成颜色分量的蓝色B、红色R和绿色G中的每一者的缺失位置的分散度(随机性)在4像素×4像素区域中得以改善。因此，可实现颜色分辨率的改善和假色的减少。

根据此实例，每个4像素×4像素区域的竖直方向上的四行单元的缺失位置在水平方向上针对构成颜色分量的蓝色B、红色R和绿色G中的每一者交替偏移两列单元。然而，例如，水平方向上的四列单元可在竖直方向上偏移两行单元。

<14.第六修改实例>

根据上述实例，在使用白色W、绿色G、蓝色B和红色R的彩色编码中白色W被确定为亮度主分量。然而，绿色G可替代白色W被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作彩色编码的颜色分量。

图15示出彩色编码的一个实例，所述彩色编码使用图14中示出的彩色编码，但将绿色G替代图14中彩色编码中的白色W确定为亮度主分量，并且将红外线IR替代图14中彩色编码中的绿色G确定为颜色分量。

因此，图15中示出的彩色编码布置绿色G来替代图14中的白色W，并且布置红外线IR来替代图14中的绿色G。

图15中的排列实例161、空间频率分布162和排列实例163至166分别与图14中示出的排列实例151、空间频率分布152和排列实例153至156对应。

通过利用红外线照射，此结构甚至在暗处也可实现高分辨率成像。

图15中示出的彩色编码的实例与图14中示出的彩色编码的实例类似，不同的是将图14中的白色W和绿色G分别用绿色G和红外线IR替代。因此，相同阐释此处不再复述。

<15.第七实施例>

根据参照图4描述上述第一实施例，白色W、绿色G、蓝色B和红色R的像素数比被确立为W:G:B:R＝6:4:3:3，并且绿色G在一些行和列中不存在。因此，水平方向和竖直方向上的空间频率分布为奈奎斯特频率的分布的四分之三。然而，通过应用图4中示出的排列实例，绿色G可存在于水平方向和竖直方向上的所有行和列中。

图16示出彩色编码的一个实例，所述彩色编码通过在排列于根据参照图4描述的第一实施例的彩色编码的实例中的绿色G的一部分与白色W的一部分之间进行转换来将绿色G布置在水平方向和竖直方向上的所有行和列中。

更具体地讲，根据图16的排列实例171、173和176中示出的第七实施例的彩色编码在绿色G与白色W之间进行转换，在图4中第一实施例的排列实例11、13和16中示出的4像素×4像素区域中，绿色G布置在最右列且最上行的像素中，白色W布置在从右起第二列且从上起第二行的像素中。

彩色编码的此排列将绿色G布置在每行和每列中，从而改善绿色G的分散度(随机性)。因此，绿色G在水平方向和竖直方向上的空间频率分布变成相当于奈奎斯特频率，如空间频率分布172中所示。

更具体地讲，图16中示出的排列实例171通过如下方式确立W:G:B:R＝6:4:3:3：将图1的W方格阵列和W方格G斜条阵列中包括的一个白色W像素施加给红色R和蓝色B中的每一者，将包含红色R的行和列与包含蓝色B的行和列分隔，确定对于像素排列中的白色W、红色R和蓝色B中的每一者而言易于内插的位置处的像素，将绿色G施加给所确定的像素，以及提高绿色G的分散度。

在这种情况下，包含蓝色B的行和列不同于包含红色R的行和列。因此，在去马赛克时更容易且更适当地在蓝色B和红色R的孤立点处内插像素信号。此外，绿色G的分散度得以改善，由此减少假色。另外，通过内插在方格图案中形成的白色W改善了分辨率和灵敏度。

因此，可实现灵敏度、亮度分辨率和颜色分辨率的改善。

图16中的排列实例171、空间频率分布172和排列实例173至176分别与图4中示出的排列实例11、空间频率分布12和排列实例13至16对应。

<16.第七修改实例>

根据上述实例，在使用白色W、绿色G、蓝色B和红色R的彩色编码中白色W被确定为亮度主分量。然而，绿色G可替代白色W被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作彩色编码的颜色分量。

图17示出彩色编码的一个实例，所述彩色编码使用图16中示出的彩色编码，但将绿色G替代白色W确定为亮度主分量，并且将红外线IR替代绿色G确定为颜色分量。

因此，图17中示出的彩色编码布置绿色G来替代图16中的白色W，并且布置红外线IR来替代图16中的绿色G。

图17中的排列实例181、空间频率分布182和排列实例183至186分别与图16中示出的排列实例171、空间频率分布172和排列实例173至176对应。

通过利用红外线照射，此结构甚至在暗处也可实现高分辨率成像。

图17中示出的彩色编码的实例与图16中示出的彩色编码的实例类似，不同的是将图16中的白色W和绿色G分别用绿色G和红外线IR替代。因此，相同阐释此处不再复述。

<17.第八实施例>

参照图16描述的彩色编码可改善红色R和蓝色B在水平方向和竖直方向上的空间频率分布，以及绿色G在45°倾斜方向上的分散度。

图18示出彩色编码的一个实例排列，所述彩色编码改善了根据参照图16描述的第七实施例的彩色编码的实例中，红色R和蓝色B在水平方向和竖直方向上的空间频率分布，以及绿色G在45°倾斜方向上的分散度。

更具体地讲，与红色R和蓝色B的缺失像素对应的绿色G存在于8像素×8像素区域中的所有行和列中，如图18的排列实例191、194和195中所示。此外，未与缺失像素对应的绿色G存在于未接续(未相邻于)与红色R和蓝色B的缺失像素对应的绿色G的转换像素的位置处，如排列实例191、193、194和196中所示。

此彩色编码将绿色G布置在45°倾斜方向上的所有行中以及所有行和列中，如空间频率分布192中所示。因此，45°倾斜方向的空间频率分布得以改善，因此绿色G的分散度(随机性)与空间频率分布172相比得以改善。通过近似法计算空间频率分布192的分布。

因此绿色G的分散度的改善实现了假色的进一步减少。另外，通过内插在方格图案中形成的白色W改善了分辨率和灵敏度。

因此，可实现灵敏度、亮度分辨率和颜色分辨率的改善。

<18.第八修改实例>

根据上述实例，在使用白色W、绿色G、蓝色B和红色R的彩色编码中白色W被确定为亮度主分量。然而，绿色G可替代白色W被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作彩色编码的颜色分量。

图19示出彩色编码的一个实例，所述彩色编码使用图18中示出的彩色编码，但将绿色G替代白色W确定为亮度主分量，并且将红外线IR替代绿色G确定为颜色分量。

因此，图19中示出的彩色编码布置绿色G来替代图18中的白色W，并且布置红外线IR来替代图18中的绿色G。

图19中的排列实例201、空间频率分布202和排列实例203至206分别与图18中示出的排列实例191、空间频率分布192和排列实例193至196对应。

通过利用红外线照射，此结构甚至在暗处也可实现高分辨率成像。

图19中示出的彩色编码的实例与图18中示出的彩色编码的实例类似，不同的是将图18中的白色W和绿色G分别用绿色G和红外线IR替代。因此，相同阐释此处不再复述。

<19.第九实施例>

根据参照图18描述的第八实施例的彩色编码中45°倾斜方向上的分散度可通过使相同方向上的绿色G的连续像素数限制为两个像素或更少来改善。

图20示出彩色编码的一个实例，所述彩色编码经排列以将根据参照图18描述的第八实施例的彩色编码的实例中的分散度通过使相同方向上的绿色G的连续像素数限制为两个像素或更少来改善。

更具体地讲，将图18中示出的8像素×8像素区域中在每个45°倾斜方向(相同方向)上连续的绿色G的像素数限制为两个像素或更少，如图20的排列实例221、223和226中所示。此外，与缺失像素对应的绿色G存在于红色R和蓝色B的排列中的所有行和列中，如排列实例224和225中所示。

此彩色编码将绿色G布置在45°倾斜方向上的所有行中以及所有行和列中，如空间频率分布222中所示。在这种情况下，45°倾斜方向上的空间频率分布得以改善，因此绿色G的分散度(随机性)提高。通过近似法计算空间频率分布222的分布。

此结构改善了绿色G的分散度，并且进一步改善的倾斜分辨率。因此，假色进一步减少。另外，通过内插在方格图案中形成的白色W改善了分辨率和灵敏度。

因此，可实现灵敏度、亮度分辨率和颜色分辨率的改善。

<20.第九修改实例>

根据上述实例，在使用白色W、绿色G、蓝色B和红色R的彩色编码中白色W被确定为亮度主分量。然而，绿色G可替代白色W被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作彩色编码的颜色分量。

图21示出彩色编码的一个实例，所述彩色编码使用图20中示出的彩色编码，但将绿色G替代白色W确定为亮度主分量，并且将红外线IR替代绿色G确定为颜色分量。

因此，图21中示出的彩色编码布置绿色G来替代图20中的白色W，并且布置红外线IR来替代图20中的绿色G。

图21中的排列实例251、空间频率分布252和排列实例253至256分别与图20中示出的排列实例221、空间频率分布222和排列实例223至226对应。

通过利用红外线照射，此结构甚至在暗处也可实现高分辨率成像。

图21中示出的彩色编码的实例与图20中示出的彩色编码的实例类似，不同的是将图20中的白色W和绿色G分别用绿色G和红外线IR替代。因此，相同阐释此处不再复述。

<21.第十实施例>

可将具有全波段的白色W布置在白色W、绿色G、蓝色B和红色R的像素数比为W:G:R:B＝6:4:3:3的拜耳阵列中红色R、绿色G和蓝色B的缺失像素位置处以使红色R、绿色G和蓝色B的空间采样平衡。

图22示出彩色编码的一个实例，所述彩色编码将具有全波段的白色W布置在拜耳阵列中红色R、绿色G和蓝色B的缺失像素位置处以使红色R、绿色G和蓝色B的空间采样平衡。

更具体地讲，白色Wr和Wb分别布置在红色R和蓝色B的缺失像素位置处，如图22的排列实例271和273至276中所示。此排列将红色R和蓝色B适当内插在缺失像素位置处。在图22中，白色Wr为与红色R的缺失像素位置对应的白色W，而白色Wb为与蓝色B的缺失像素位置对应的白色W。

此外，绿色Gr的两个像素和Gb的两个像素施加在8像素×8像素区域中的每行和每列中，如图22的排列实例271和273中所示。此排列改善了绿色G的均匀度。在图22中，绿色Gr为与水平方向上的红色R相邻的位置处的像素对应的绿色G，而绿色Gb为与水平方向上的蓝色B相邻的位置处的像素对应的绿色G。

此结构改善了绿色G的分散度，因此假色进一步减少。另外，通过内插在方格图案中形成的白色W改善了分辨率和灵敏度。

另外，在此排列中，与红色R的缺失像素对应的白色Wr被蓝色B、绿色G和白色W围绕。因此，与缺失像素对应的红色R易于内插。类似地，在此排列中，与蓝色B的缺失像素对应的白色Wb被红色R、绿色G和白色W围绕。因此，与缺失像素对应的蓝色B易于内插。此外，白色W在45°倾斜方向上的分布得以改善，如空间频率分布272中所示。通过近似法计算图22的空间频率分布272。

因此，可实现灵敏度、亮度分辨率和颜色分辨率的改善。

<22.第十修改实例>

根据上述实例，在使用白色W、绿色G、蓝色B和红色R的彩色编码中白色W被确定为亮度主分量。然而，绿色G可替代白色W被确定为亮度主分量。在这种情况下，红外线IR可替代绿色G用作彩色编码的颜色分量。

图23示出彩色编码的一个实例，所述彩色编码使用图22中示出的彩色编码，但将绿色G替代白色W确定为亮度主分量，并且将红外线IR替代绿色G确定为颜色分量。

换句话讲，图23示出彩色编码的一个实例，所述彩色编码使用图22中示出的彩色编码，但将绿色G确定为亮度主分量并且加入红外IR。

因此，图23中示出的彩色编码布置绿色G来替代图22中的白色W，并且布置红外线IR来替代图22中的绿色G。

图23中的排列实例281、空间频率分布282和排列实例283至286分别与图22中示出的排列实例271、空间频率分布272和排列实例273至276对应。

通过利用红外线照射，此结构甚至在暗处也可实现高分辨率成像。

图23中示出的彩色编码的实例与图22中示出的彩色编码的实例类似，不同的是将图22中的白色W和绿色G分别用绿色G和红外线IR替代。因此，相同阐释此处不再复述。

<23.第十一实施例>

<像素相加>

下文参照图22来描述像素相加。

可将相同颜色的像素信号的像素值模拟或数字相加并处理，以改善像素信号的传输效率，提高分辨率和灵敏度并且减少假色。

更具体地讲，根据图24左上部中示出的排列实例171(图16)，由区域Z1和Z2指示的每个8像素单元的像素信号通过使用包括共用放大晶体管Tr3(图2)的放大器经由共用浮动扩散FD(图2)输出。虽然图中未示出，但由与区域Z1和Z2相邻的2像素(水平方向)×4像素(竖直方向)指示的总计8像素的像素信号通过在类似的范围内使用共用放大器以类似的方式输出。

因此，在共用放大器的使用范围内将在倾斜方向上邻接的白色W的像素值模拟相加，然后通过该放大器放大并输出，如图24的相加实例291中所示。

此外，在共用放大器的使用范围内将在倾斜方向上邻接的绿色G的像素值模拟相加，然后通过该放大器放大并输出，如相加实例292中所示。

另外，针对作为共用放大器的使用范围的区域Z1和Z2内的每个红色R和蓝色B，将在竖直方向上存在的红色R和蓝色B的像素的像素信号模拟相加，如相加实例293和294中所示。相加之后，存在于区域Z1和Z2内并位于水平方向上的不同位置处的像素的信号作为模拟信号输出，并且通过放大器放大。将如此放大的信号数字化并数字相加。

位于所相加的像素的重心处的像素信号基于以上述方式相加并输出的像素信号来计算，以获得希望形成的白色W、绿色G、蓝色B和红色R的相应颜色，如像素重心分布295中所示。

在这种情况下，每个绿色G、蓝色B和红色R的布置类似于拜耳阵列的排列，如像素重心分布295中所示。

因此，白色W通过在缺失位置处内插像素信号来计算，如排列实例296中所示。另一方面，基于用于关联所获得的白色W的相关处理，针对每个绿色G、蓝色B和红色R，获得其在拜耳排列中的像素位置和像素信号，如排列实例297中所示。

通过利用相加过程来提高像素信号的传输速度。此外，可实现亮度分辨率、颜色分辨率和灵敏度的改善以及假色的减少。

<24.第十二实施例>

<SVE控制的应用实例>

下文参照图25来描述SVE(空间变化曝光)控制的应用实例。

根据上述实例，针对每个像素设定一致的曝光时间。然而，通过在成像时利用SVE控制可改变每个像素的曝光时间，以扩大动态范围。

例如，对于排列实例311(图16中的排列实例171)中示出的像素排列而言，通过利用SVE控制而针对每个像素确立两种曝光时间，即短曝光时间和长曝光时间，以扩大动态范围并提高分辨率。

更具体地讲，由8像素×8像素指示的排列实例311包含有色方格中的短曝光时间像素和无色方格中的长曝光时间像素(曝光时间与上述实例的曝光时间类似的像素)。为了控制像素单元中的曝光时间，需要共同地控制一定数量的像素，以减少控制条件的数量。因此，此处通过向每行指定三个条件的指令来控制曝光。

更具体地讲，作为较高灵敏度像素的白色W和绿色G通过每行的共同曝光时间来控制。另一方面，单独控制红色R和蓝色B。排列实例311的左部中示出的条件包括控制每行的曝光的条件实例。排列实例311的左部中示出的WGRBwgrb中的小写字母表示短曝光时间像素，而WGRBwgrb中的大写字母表示长曝光时间像素。根据此实例，从左起的奇数列以1表示，而偶数列以2表示。

因此，排列实例311的最上行分成两个短曝光时间绿色G像素、两个长曝光时间红色R像素和四个短曝光时间白色W像素这三个条件。更具体地讲，排列实例311的最上行包含绿色G、白色W和红色R三种颜色，并且具有由用于以短曝光时间控制两个绿色G像素的“g1”、用于以长曝光时间控制两个红色R像素的“R1”和用于以短曝光时间控制四个白色W像素的“w2”所构成的三个条件“g1/R1/w2”。

从上起第二行包含具有长曝光时间的两个白色W像素、具有长曝光时间的两个绿色G像素、具有长曝光时间的三个蓝色B像素和具有短曝光时间的一个蓝色B像素。在这种情况下，需要四个条件来单独控制这些像素。然而，白色W和绿色G可通过共同曝光时间控制。因此，确定由用于以长曝光时间控制两个白色W像素和两个绿色G像素的“WG1”、用于以长曝光时间控制三个蓝色B像素的“B2”和用于以短曝光时间控制一个蓝色B像素的“b2”所构成的三个条件“WG1/B2/b2”。

从上起第三行包含具有短曝光时间的三个红色R像素、具有长曝光时间的一个红色R像素、具有短曝光时间的两个白色W像素和具有短曝光时间的两个绿色G像素。在这种情况下，需要四个条件来单独控制这些像素。然而，白色W和绿色G可通过共同曝光时间控制。因此，确定由用于以短曝光时间控制三个红色R像素的“r2”、用于以长曝光时间控制一个红色R像素的“R2”以及用于以短曝光时间控制两个白色W像素和两个绿色G像素的“wg2”所构成的三个条件“r2/R2/wg2”。

从上起第四行包含具有长曝光时间的四个白色W像素、具有短曝光时间的两个蓝色B像素和具有长曝光时间的两个绿色G像素。为了单独控制这些像素，确定由用于以长曝光时间控制四个白色W像素的“W1”、用于以短曝光时间控制两个蓝色B像素的“b2”和用于以长曝光时间控制两个绿色G像素的“G2”所构成的三个条件“W1/b2/G2”。

从下起第四行至最下行以类似于最上行至从上起第四行的方式控制。

根据该控制，W:G:B:R:w:g:b:r＝12:8:6:6:12:8:6:6在8像素×8像素中确立。在这种情况下，可实现颜色分辨率和亮度分辨率的改善以及假色的减少。此外，动态范围扩大。

只要维持像素之间的位置关系，上述彩色编码中的像素排列也可为其他阵列。例如，像素排列可为从上述排列旋转45°的像素阵列。虽然在上述实例中使用了白色W、绿色G、蓝色B和红色R四种颜色，但也可采用其他颜色来代替这些颜色。例如，就基于波长、频率等定义的四种颜色的光而言，一种颜色可具有包含亮度作为主分量的波长，而其他三种颜色可具有包含颜色分量的波长。

根据本技术的实施例不限于本文所描述的实施例。在不脱离本技术的范围的情况下，可进行各种修改。

本技术可具有以下配置。

(1)一种固态成像装置，包括：

亮度像素，其检测包含亮度作为主分量的光；

第一像素，其检测具有第一波长的光；

第二像素，其检测具有第二波长的光；和

第三像素，其检测具有第三波长的光，其中

所述第一像素和所述第二像素排列成分别均匀围绕所述第一像素和所述第二像素的缺失位置。

(2)根据(1)所述的固态成像装置，其中所述第一像素和所述第二像素的各自的缺失位置在水平方向和竖直方向两个方向上，或在水平方向或竖直方向的任一方向上等间隔排列。

(3)根据(1)所述的固态成像装置，其中所述亮度像素排列成均匀围绕所述亮度像素的缺失位置。

(4)根据(1)所述的固态成像装置，其中所述第三像素随机排列。

(5)根据(1)所述的固态成像装置，其中所述亮度像素、所述第一像素、所述第二像素和所述第三像素排列成使得所述亮度像素、所述第一像素、所述第二像素和所述第三像素的像素数比成为6:4:3:3。

(6)根据(5)所述的固态成像装置，其中所述第三像素排列成使得在每行和每列中提供相同数量的所述第三像素。

(7)根据(1)所述的固态成像装置，其中所述亮度像素、所述第一像素、所述第二像素和所述第三像素排列成使得所述亮度像素、所述第一像素、所述第二像素和所述第三像素的像素数比成为7:3:3:3。

(8)根据(1)所述的固态成像装置，其中

将在倾斜方向上彼此相邻布置的所述亮度像素的像素值模拟相加并传输，

将在倾斜方向上彼此相邻布置的所述第三像素的像素值模拟相加并传输，

将在倾斜方向上彼此相邻布置的所述第一像素的像素值模拟相加并传输，以及

将在倾斜方向上彼此相邻布置的所述第二像素的像素值模拟相加并传输。

(9)根据(8)所述的固态成像装置，其中所述亮度像素、所述第一像素、所述第二像素和所述第三像素的所述像素值基于各自像素的重心处的互相关来计算。

(10)根据(1)所述的固态成像装置，其中针对所述亮度像素、所述第一像素、所述第二像素和所述第三像素中所包括的像素设定多个不同的曝光时间。

(11)根据(10)所述的固态成像装置，其中针对所述亮度像素、所述第一像素、所述第二像素和所述第三像素中所包括的像素设定第一曝光时间和第二曝光时间。

(12)一种成像装置，包括：

亮度像素，其检测包含亮度作为主分量的光；

第一像素，其检测具有第一波长的光；

第二像素，其检测具有第二波长的光；和

第三像素，其检测具有第三波长的光，其中

所述第一像素和所述第二像素排列成分别均匀围绕所述第一像素和所述第二像素的缺失位置。

(13)一种电子装置，包括：

亮度像素，其检测包含亮度作为主分量的光；

第一像素，其检测具有第一波长的光；

第二像素，其检测具有第二波长的光；和

第三像素，其检测具有第三波长的光，其中

所述第一像素和所述第二像素排列成分别均匀围绕所述第一像素和所述第二像素的缺失位置。

附图标号列表

10 CMOS图像传感器

11 半导体基板(传感器芯片)

12 像素阵列单元

13 竖直驱动单元

14 列处理单元

15 水平驱动单元

16 转换单元

17 系统控制单元

20 滤色器阵列

Claims (12)

1.一种固态成像装置，包括：

亮度像素，其检测包含亮度作为主分量的光；

第一像素，其检测具有第一波长的光；

第二像素，其检测具有第二波长的光；和

第三像素，其检测具有第三波长的光，其中

所述亮度像素排列成均匀围绕所述亮度像素的缺失位置，所述第一像素和所述第二像素排列成分别均匀围绕所述第一像素和所述第二像素的缺失位置。

2.根据权利要求1所述的固态成像装置，其中所述第一像素和所述第二像素的各自的缺失位置在水平方向和竖直方向两个方向上，或在水平方向或竖直方向的任一方向上等间隔排列。

3.根据权利要求1所述的固态成像装置，其中所述第三像素随机排列。

4.根据权利要求1所述的固态成像装置，其中所述亮度像素、所述第一像素、所述第二像素和所述第三像素排列成使得所述亮度像素、所述第一像素、所述第二像素和所述第三像素的像素数比成为6:4:3:3。

5.根据权利要求4所述的固态成像装置，其中所述第三像素排列成使得在每行和每列中提供相同数量的所述第三像素。

6.根据权利要求1所述的固态成像装置，其中所述亮度像素、所述第一像素、所述第二像素和所述第三像素排列成使得所述亮度像素、所述第一像素、所述第二像素和所述第三像素的像素数比成为7:3:3:3。

7.根据权利要求1所述的固态成像装置，其中

将在倾斜方向上彼此相邻布置的所述亮度像素的像素值模拟相加并传输，

将在倾斜方向上彼此相邻布置的所述第三像素的像素值模拟相加并传输，

将在倾斜方向上彼此相邻布置的所述第一像素的像素值模拟相加并传输，以及

将在倾斜方向上彼此相邻布置的所述第二像素的像素值模拟相加并传输。

8.根据权利要求7所述的固态成像装置，其中所述亮度像素、所述第一像素、所述第二像素和所述第三像素的像素值基于各自像素的重心处的互相关来计算。

9.根据权利要求1所述的固态成像装置，其中针对所述亮度像素、所述第一像素、所述第二像素和所述第三像素中所包括的像素设定多个不同的曝光时间。

10.根据权利要求9所述的固态成像装置，其中针对所述亮度像素、所述第一像素、所述第二像素和所述第三像素中所包括的像素设定第一曝光时间和第二曝光时间。

11.一种成像装置，包括：

亮度像素，其检测包含亮度作为主分量的光；

第一像素，其检测具有第一波长的光；

第二像素，其检测具有第二波长的光；和

第三像素，其检测具有第三波长的光，其中

所述亮度像素排列成均匀围绕所述亮度像素的缺失位置，所述第一像素和所述第二像素排列成分别均匀围绕所述第一像素和所述第二像素的缺失位置。

12.一种电子装置，包括：

亮度像素，其检测包含亮度作为主分量的光；

第一像素，其检测具有第一波长的光；

第二像素，其检测具有第二波长的光；和

第三像素，其检测具有第三波长的光，其中

所述亮度像素排列成均匀围绕所述亮度像素的缺失位置，所述第一像素和所述第二像素排列成分别均匀围绕所述第一像素和所述第二像素的缺失位置。