CN106067935A - 图像拾取装置、图像拾取系统和信号处理方法 - Google Patents

Abstract

公开了图像拾取装置、图像拾取系统和信号处理方法。通过使用由第一像素组输出的信号生成分辨率数据。通过使用由第二像素组输出的信号生成颜色数据。分辨率数据和颜色数据组合以生成第一数据。对第一数据执行上转换处理以生成第二数据，并且对第二数据执行马赛克处理以生成预定阵列的数据。

Description

图像拾取装置、图像拾取系统和信号处理方法

技术领域

实施例的一个所公开方面涉及图像拾取装置、图像拾取系统、用于图像拾取装置的信号处理方法、以及信号处理方法。更具体而言，实施例的一个所公开方面涉及用于利用分辨率数据和颜色数据进行图像拾取的装置、系统和信号处理方法。

背景技术

特定波长分量(诸如像具有红、绿和蓝的相应颜色的光)通过其透射的滤色器(在下文，将被称为CF)在图像拾取元件中的每个像素单元的元件表面上提供以获得彩色图像。在下文中，红、绿和蓝将被称为R、G和B。R的CF布置在其上的像素将被称为R像素。G的CF布置在其上的像素将被称为G像素。B的CF布置在其上的像素将被称为B像素。在R像素、G像素和B像素被共同提及的情况下，这些像素将被称为RGB像素。

提出了一种构造，其中便于获得亮度信息的像素的比例增大以提高图像拾取元件的灵敏度。灵敏度是通过使用白像素(在下文，将被称为W像素)来提高的，通过其可见光范围内的光在那些像素之间被广泛透射，并且能够获得具有高信噪(S/N)比的图像。

日本专利特许公开No.2011-55038公开了一种图像拾取元件，其中布置了RGB像素和W像素。在下文中，RGB像素和W像素被共同提到，这些像素将被称为RGBW像素。日本专利特许公开No.2011-55038公开了一种构造，其中图像处理单元对包括RGBW像素的图像拾取元件的输出信号执行模糊校正处理。

发明内容

实施例的一个所公开方面是鉴于上述问题产生的，并且提供了一种图像拾取装置，包括：包括多个像素的第一像素组，每个像素包括光电转换单元；包括多个像素的第二像素组，每个像素包括光电转换单元；及信号处理单元，该图像拾取装置将数据输出到被配置为根据预定阵列的数据生成图像的图像处理单元，其中包括在第一像素组中的每个光电转换单元与包括在第二像素组中的每个光电转换单元具有要被光电转换的光的相互不同的波长带(wavelength band)，信号处理单元通过使用由包括在第一像素组中的像素输出的信号生成分辨率数据，通过使用由包括在第二像素组中的像素输出的信号生成颜色数据，并且通过组合分辨率数据和颜色数据来生成第一数据，通过对第一数据执行上转换处理来生成第二数据，并且执行将第二数据设置为预定阵列的数据的处理。

本公开内容的更多特征将参照附图从以下示例性实施例的描述变得清楚。

附图说明

图1示出了图像拾取装置的信号处理。

图2示出了图像拾取元件的构造。

图3A至图3D示出了图像拾取元件的CF阵列。

图4A至图4D示出了图像拾取元件的CF阵列。

图5示出了图像拾取元件的构造。

图6示出了图像拾取装置的信号处理。

图7示出了图像拾取装置的信号处理。

图8示出了图像拾取装置的信号处理。

图9示出了图像拾取装置的信号处理。

图10示出了图像拾取装置的信号处理。

图11示出了图像拾取装置的信号处理。

图12示出了被拾取图像的评估结果。

图13示出了图像拾取装置的信号处理。

图14示出了被拾取图像的评估结果。

图15示出了图像拾取装置的信号处理。

图16示出了图像拾取装置的信号处理。

图17示出了图像拾取系统。

具体实施方式

根据在日本专利特许公开No.2011-55038中描述的技术，关于在通过使用由图像拾取元件输出的信号生成的图像中引起的颜色噪声(color noise)的降低的讨论已经不够，其中图像拾取元件包括RGBW像素。

下面的例子涉及用于降低颜色噪声的技术。

在下文中，将参照附图描述示例性实施例。

除了提供到图像拾取装置外部的图像处理单元203以及由图像拾取装置执行的信号处理，图1还示出了图像拾取装置的构造。图像拾取装置包括图像拾取元件201和信号处理单元202。信号处理单元202包括上游处理单元204、插值单元205和转换单元206。信号处理单元202生成通过对由图像拾取元件201输出的输出信号执行插值处理和上转换处理所获得的数据。信号处理单元202还对所生成的数据执行马赛克处理(mosaic processing)以生成马赛克图像并将数据输出到图像处理单元203。根据本示例性实施例，输入到图像处理单元203的预定数据具有拜耳(Bayer)阵列。图1还示出了由插值单元205、转换单元206和图像处理单元203当中每一个生成的数据。图1中所示的数据是作为由每个单元执行的处理的结果而生成的数据。例如，在图像处理单元203中示出的数据是当图像处理单元203对由转换单元206输出的数据执行去马赛克处理时所生成的数据。

互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器可以被用作图像拾取元件201。在那些当中，根据本示例性实施例，CMOS图像传感器被使用。

根据本示例性实施例的图像拾取元件201包括多个像素。这多个像素中每个像素包括光透射部分。这多个像素中的部分像素包括滤色器(CF)，具有对应于包括红(R)、绿(G)和蓝(B)的颜色之一的波长的光通过其透射。多个像素中每个像素包括被配置为生成基于入射光的电荷的光电转换单元。在光电转换单元中，光谱特性对于多个像素中每个像素变化，这是因为通过CF透射的光的波长对于每个像素变化。应当注意的是，被提供从而生成基于入射光的电荷的像素将被称为有效像素。根据本示例性实施例，关于提供给图像拾取元件201的有效像素的数目，1920个像素排列在水平方向并且1080个像素被排列在垂直方向。

在图1的图像拾取元件201中，相应的像素被示出同时由R、G、B和W表示。这指示对应于通过每个像素的光透射部分透射的光的波长的颜色。R表示红色，G表示绿色，B表示蓝色，并且W表示白色。应当注意的是，W像素的光透射部分可以单独由树脂制成。

根据本示例性实施例的图像拾取元件201具有被称为RGBW 12阵列的CF阵列。应当注意的是，没有CF布置在W像素中，但是，当提到多个像素的光透射部分的阵列模式时，这被称为CF阵列。在RGBW 12阵列中，相应的像素在4×4＝16个像素当中按由比例R:G:B:W＝1:2:1:12表示的数目比布置。根据RGBW 12阵列，在平面图中，包括对应于颜色像素的R像素、G像素和B像素的任何像素被布置成在垂直方向、水平方向和对角线方向当中任何一个方向与W像素相邻。即，在平面图中，颜色像素在垂直方向、水平方向和对角线方向被W像素包围。此外，根据RGBW 12阵列，W像素的比例是像素总数的3/4。即，W像素作为第一像素被提供，并且颜色像素(RGB像素)作为第二像素被提供。第一像素组中的像素的数目是第二像素组中的像素的数目的三倍(多于两倍)。应当注意的是，图像拾取元件201在一些情况下可以包括除有效像素之外的其它像素，诸如光学黑色像素和虚设像素，这些像素不直接输出到图像，但这些像素不包括在上述第一像素组和第二像素组中任何一个当中。应当注意的是，W像素被构成为不包括CF的像素。根据这种构造，在W像素中具有灵敏度的波长带包括在R像素、G像素和B像素每一个当中具有灵敏度的所有波长带。因此，由于W像素具有比RGB像素宽的光谱灵敏特性，因此W像素具有比RGB像素高的灵敏度。

在上述RGBW 12阵列被使用的情况下，由于颜色像素被W像素包围，因此在颜色像素的位置对W的值进行插值时的精度得到提高。

信号处理单元202对由图像拾取元件201输出的输出信号执行信号处理。信号处理单元202包括上游处理单元204、插值单元205和转换单元206。

来自图像拾取元件201的输出信号被输入到信号处理单元202的上游处理单元204。上游处理单元204对相应信号执行校正，诸如偏移量校正和增益校正。

插值单元205对由上游处理单元204输出的数据执行插值处理。插值单元205还执行去马赛克处理。根据本示例性实施例的去马赛克处理是通过双线性方法根据R、G和B像素的信号获得R数据、G数据和B数据的处理。在根据本示例性实施例的去马赛克处理中，对应于被估计为要在假定R像素位于W像素的位置的情况下获得的值的R分量关于R数据被插值。类似地，在根据本示例性实施例的去马赛克处理中，还执行插值以分别关于B分量和G分量当中每一个生成B数据和G数据，这与R分量中类似。

RGBW 12阵列中可以获得分辨率信息的地方的W像素的每单位面积的像素的数目多于在W像素以棋盘格图案布置的情况下的像素的数目。根据这种构造，与W像素以棋盘格图案布置的情况相比，可以获得具有更高空间频率(即，更精细节距)的分辨率信息。即，与W像素的像素以棋盘格图案布置的情况下由图像拾取元件输出的输出信号相比，通过利用由RGBW 12阵列中的图像拾取元件201输出的输出信号，信号处理单元202可以生成具有更高分辨感(sense of resolution)的数据。

转换单元206通过使用由插值单元205输出的数据执行上转换处理和马赛克处理。上转换处理指的是通过根据在处理之前具有第一分辨率的数据生成具有比第一分辨率高的第二分辨率的数据来增大分辨率的处理。根据本示例性实施例，从图像拾取元件201输出的输出信号具有1920×1080分辨率，这是所谓的2K1K分辨率。与这种2K1K输入数据形成对比，由信号处理单元202输出的数据具有3840×2160的上转换分辨率，这是所谓的4K2K分辨率。即，根据本示例性实施例的转换单元206执行通过使用由插值单元205输出的一个像素信号生成四个像素信号的处理。

最近邻法、双线性法、双三次法等可以用作用于上转换处理的方法。应当注意的是，根据本示例性实施例的转换单元206在执行上转换处理之后执行马赛克处理，这将在下面描述。在这种情况下，数据处理误差的累积可以通过采用最近邻法来避免。

根据本示例性实施例的转换单元206执行马赛克处理。由根据本示例性实施例的转换单元206执行的马赛克处理是通过使用R数据、G数据和B数据的相应颜色数据生成拜尔数据的处理。这种拜耳数据是在RGB像素被布置在单个图像传感器中的拜耳阵列中的情况下所获得的数据。

图像处理单元203通过使用由信号处理单元202输出的预定阵列数据生成被拾取图像。图像处理单元203适当地执行去马赛克处理、颜色矩阵计算、白平衡处理、数字增益、伽马处理、噪声降低处理等等。在这些处理当中，去马赛克处理与其它处理相比显著更与被拾取图像的分辨率信息相关。根据本示例性实施例，转换单元206执行上转换处理，然后执行马赛克处理。出于这个原因，在由转换单元206输出的2×2个数据(一个R信号，两个G信号，以及一个B信号)当中，通过使用这一个R信号，图像处理单元203可以生成R数据的这一个R信号。对应于图像处理单元203的其它颜色的G数据和B数据也可以由与生成R数据相同的处理生成。

通过实验，转换单元206执行马赛克处理而不执行上转换处理的情况将参照图8来描述。

如图8中所示，转换单元206将通过对由插值单元205输出的数据执行马赛克处理所获得的数据输出到图像处理单元203。图像处理单元203在R数据的生成中通过使用周围R信号的值对对应于G信号和B信号的部分执行插值处理。由于这种插值处理被执行，因此在图8所示的处理中分辨率的降低在输出数据中发生。关于G数据和B数据的其它颜色，分辨率的降低也发生，这与R数据中类似。因此，在由图像处理单元203通过使用由转换单元206经由图8的处理输出的数据生成的被拾取图像中，分辨率的降低关于由图像拾取元件201输出的数据发生。此外，由于图像处理单元203执行插值处理，因此伪色在被拾取图像中生成，其中生成与被摄体的原始颜色不同的颜色。

另一方面，在根据本示例性实施例的处理中，图像处理单元203可以生成R数据、G数据和B数据当中每一个，而不对由转换单元206输出的数据执行插值处理。根据这种构造，由于去马赛克处理造成的分辨率降低和伪色的生成几乎不发生，其中去马赛克处理是为了由图像处理单元203生成被拾取图像而执行的。

此外，根据本示例性实施例的信号处理中图像处理单元203的设计可以与其中由RGB像素的拜耳阵列中图像拾取元件201输出的输出信号被处理的设计相同，该图像拾取元件201代替像本示例性实施例中包括W像素的图像拾取元件201。因此，根据本示例性实施例的信号处理可以降低单独设计用于包括W像素的图像拾取元件201的图像处理单元203的成本。即，根据本示例性实施例的信号处理抑制图像拾取装置与图像处理单元203之间兼容性的减小。因此，能够在根据本示例性实施例的信号处理中生成其中颜色噪声降低同时图像拾取装置与图像处理单元203之间兼容性的减小被抑制的被拾取图像。

根据本示例性实施例描述的信号处理单元202和图像处理单元203可以是硬件，诸如执行信号处理方法在其中被编程的软件的计算机。由根据本示例性实施例的信号处理单元202和图像处理单元203执行的信号处理可以在通过诸如CD-ROM或DVD-ROM的记录介质或者通信分发的程序中编程。

示例1

在下文中，根据本例的图像拾取装置将参照附图来描述。应当注意的是，描述将参照图1的图像拾取装置适当地给出。

图2示出了根据本例的图像拾取元件201的例子。根据本例的图像拾取元件201包括具有其中像素100按行和列布置的像素阵列的图像拾取区域1、垂直扫描电路2、列放大单元3、水平扫描电路4以及输出单元5。垂直扫描电路2向像素100的晶体管供给接通(导通状态)或关断(不导通状态)像素100的晶体管的控制信号。用于对每一列从像素100读出信号的垂直信号线6布置在图像拾取区域1中。水平扫描电路4包括每一列中列放大单元3的开关以及供给用于执行接通或关断开关的控制的控制信号的水平扫描电路4。通过由水平扫描电路4执行的扫描，信号从列放大单元3的各个列顺序地输出到输出单元5。从列放大单元3经由输出单元5输出的信号被输入到位于图像拾取元件201的外面的信号处理单元202，如参照图1所描述的。

应当注意的是，已经描述了其中由图像拾取元件201输出的输出信号是模拟信号的例子，但是图像拾取元件201可以输出数字信号。在那种情况下，由信号处理单元202执行的模数转换可以被省略。

在下文中，图2的图像拾取装置将参照图5来描述。垂直扫描电路2控制供给像素100的信号PTX、信号PRES和信号PSEL的信号电平，以便对图像拾取区域1中的像素100执行对应于按行为单位的扫描的垂直扫描。通过由垂直扫描电路2执行的垂直扫描，每个像素100从PDOUT端子向垂直信号线6输出光电转换信号。电流源7经由垂直信号线6向像素100供给电流。开关8控制到列放大单元3的输入。

列放大单元3包括确定列放大单元3的放大因子的电容C0、电容C1、电容C2、开关9、开关10、开关11以及放大电路12。列放大单元3还包括执行采样和保持的开关13、开关14、保持电容CTN和保持电容CTS，以及建立到水平传送线的连接的开关15和开关16。

水平扫描电路4顺序地对其中布置放大电路12的每一列控制开关15和开关16的导通状态和非导通状态。根据这种构造，水平扫描电路4执行对应于列放大单元3的按列为单位的扫描的水平扫描。

当水平扫描电路4将开关15和开关16置成导通状态时，保持电容CTN和保持电容CTS中所保持的信号被输入到输出放大器17。输出放大器17将通过放大输入信号所获得的信号输出到图像拾取元件的外部。

图像拾取元件201的细节将参照图5进一步描述。像素100包括光电二极管18、晶体管19、浮动扩散电容20、晶体管21、晶体管22和晶体管23。

光电二极管(在一些情况下也可以被称为FD)18是被配置为累积基于入射光的电荷的光电转换单元。

光电二极管18连接到晶体管19的一个端子，并且浮动扩散电容20连接到晶体管19的另一个端子。浮动扩散电容(在一些情况下也可以被称为FD)20具有还充当晶体管19的漏极端子的结构并且可以保持经由晶体管19(在一些情况下也可以被称为TX)从光电二极管18传送的电荷。当从垂直扫描电路2输入到晶体管19的栅极端子的信号PTX变成高电平(在一些情况下也可以被称为H电平)时在光电二极管18中累积的电荷被保持。

当从垂直扫描电路2输入的信号PRES变为H电平时，晶体管21将浮动扩散电容20的电位复位到基于电源电压VDD的电位(在一些情况下也可以被称为RES)。

晶体管22的输入节点电连接到浮动扩散电容20。构成源极跟随器(在一些情况下也可以被称为SF)，其中偏置电流从经由垂直信号线6连接的电流源7供给晶体管22的一个主节点，并且电源电压VDD供给晶体管22的另一个主节点。

当从垂直扫描电路2输入的信号PSEL变为H电平时，晶体管23将由晶体管22输出的信号输出到垂直信号线6。晶体管23从其将信号输出到垂直信号线6的节点是节点PDOUT。由晶体管22输出的信号是基于由浮动扩散电容20保持的电荷的信号。

接下来，将描述列放大单元3的操作。

开关8执行控制以便将由像素100输出的信号输入到放大电路12。

电容C0、电容C1和电容C2是被用来对放大电路12进行放大的电容。当开关9和开关10被控制时，输入电压的放大以C0/C1、C0/C2或C0/(C1+C2)的电容比执行。

开关11执行控制以复位电容C1和电容C2。

当开关13和开关14被控制时，从放大电路12输出的信号被采样并保持在保持电容CTN和CTS中。当开关13接通时，在由像素100输出的信号当中的当浮动扩散电容20处于复位电平时的输出信号(在一些情况下也可以被称为N信号)被采样并保持在保持电容CTN中。当开关14接通时，在来自像素100的输出信号当中，当电荷被传送至浮动扩散电容20时的输出信号(在一些情况下也可以被称为S信号)被采样并保持在保持电容CTS中。

当来自水平扫描电路4的信号变为H电平时，开关15和开关16顺序地将被采样并保持在保持电容CTN和保持电容CTS中的输出连接到输出放大器17。

通过使用上述图像拾取元件，能够将输入到图像拾取元件的光学信号作为电信号读出。

图3A至图3D每个示出像素100的CF阵列。

图3A中所示的CF阵列是其中红(R)、绿(G)和蓝(B)被布置的所谓拜耳阵列。

图3B中所示的CF阵列是RGBW 12阵列。图3B的阵列与图1中所示图像拾取元件201的CF阵列是相同的阵列。

图3C中所示的CF阵列是RGBW 8阵列。根据这种阵列，4×4像素阵列中的相应CF按R:G:B:W＝2:4:2:8的比率布置。作为该阵列的特征，W像素以棋盘格图案布置，并且所布置的W像素的比例是全部像素的1/2。由于W像素以棋盘格图案布置，因此将拜耳阵列中的G信号插值到相邻的R像素和B像素中的方法可以被采用，作为将W像素的信号插值到相邻B像素、G像素和R像素中的方法。

图3D中所示的CF阵列是RGBG 12阵列。这个阵列是通过用G像素替换RGBW 12阵列中的W像素所获得的阵列。根据这个RGBG 12阵列，4×4像素阵列中的相应CF按R:G:B＝2:12:2的比率布置。G像素的比例是全部像素的3/4。在该RGBG 12阵列中，在平面图中，每个R像素和B像素分别在垂直方向、水平方向和对角线方向每个方向上被G像素包围。由于每个R像素和B像素被G像素包围，因此在将G信号插值到R像素和B像素时的精度得以提高。此外，由于与R和B像素相比具有相对高灵敏度的G像素的比例高，因此灵敏度提高。

图4A至图4D每个示出使用对应于互补色的C(青色)、M(品红)和Y(黄色)作为颜色像素的CF阵列。图4A示出了互补色中的拜尔阵列，并且CF的比率为C:M:Y＝1:1:2。为什么在这里更多Y像素被布置的原因在于，人类视觉性能关于Y的波长比其它C和M的波长具有更高的灵敏度(这类似于在G的波长中)并且还具有分辨率。通过使用比C像素和M像素更多的Y像素，能够增强分辨感。

图4B中所示的CF阵列是CMYW 12阵列。根据这个阵列，4×4像素阵列中的相应CF按C:M:Y:W＝1:1:2:12的比率布置。作为该阵列的特征，对应于颜色像素的C像素、M像素和Y像素当中每一个在水平方向、垂直方向和对角线方向当中每个方向被W像素包围。所布置的W像素的比例是全部像素的3/4。此外，由于颜色像素是被W像素包围，因此，与例如图4C中所示W像素不位于颜色像素的对角线方向的情况相比，将W像素的值插值到颜色像素中的精度提高。

图4C中所示的CF阵列是CMYW8阵列。根据这个阵列，4×4像素阵列中的相应CF按C:M:Y:W＝2:2:4:8的比率布置。作为该阵列的特征，W像素以棋盘格图案布置，并且所布置的W像素的比例是全部像素的1/2。由于W像素被以棋盘格图案布置并且变得类似于拜耳阵列中G的布置，因此用于拜耳阵列中G的插值的方法可以照原样被采用。此外，由于W像素被布置，因此灵敏度提高。

图4D中所示的CF阵列是CMYY12阵列。在这个阵列中，CYMW12阵列中的W像素被Y像素替换。根据这个阵列，4×4像素阵列中的相应CF按C:M:Y＝2:2:12的比率布置。根据该CMYY12阵列，在平面图中，C像素和M像素在垂直方向、水平方向和对角线方向当中每个方向上被Y像素包围。Y像素的比例是全部像素的3/4。由于每个像素和M像素被Y像素包围，因此，与图4A所示互补色的拜耳阵列相比，将Y信号插值到C像素和M像素中的精度提高。

如上所述，图像拾取元件201可以采用各种CF阵列，但是为了通过使用单个图像传感器创建具有更高分辨率的图像，主要生成分辨率信息的更多像素被优选地布置。即，优选地采用如图3B和图4B中所示颜色像素被W像素包围的阵列以及如图3D和图4D中所示其中主要生成分辨率信息的G像素或Y像素被布置成包围其它颜色的像素的阵列。在那些当中，图3B和图4B中所示其中颜色像素被W像素包围的阵列被优选地采用，这是因为，与其中其它颜色的像素被布置的情况相比，灵敏度通过布置W像素而提高。

图6示出了由图1所示的插值单元205执行的处理。应当注意的是，图6示出了图像拾取元件201的CF阵列是RGBW 12阵列的情况。

图6中(a)示出了从上述上游处理单元204输入的数据。执行分别将这种数据分离成W数据和颜色数据(G信号、R信号和B信号)的“数据分离”处理。

在W数据中，4×4像素中RGB像素布置在其中的像素的信号不清楚(在图中用符号“？”表示)，如图6中(b)中所示。颜色数据对应于4×4个像素中的2×2个像素并且变成具有低分辨率的(空间上粗糙的)数据，如图6中(d)中所示。

接下来，插值单元执行通过利用周围信号插值由“？”表示的信号的处理。各种方法可以被用作插值处理。作为例子，在执行八个周围像素求平均的情况下，采用对左边、右边、顶部和底部的四个像素执行平均的方法(双线性法)，检测周围像素的边并在垂直于边的方向执行插值的方法，检测诸如精细线条的图案并在其方向上执行插值的方法，等等。在本文中，插值处理按以下方式执行。

为了描述插值方法，X和Y坐标在图6中(c)中提到。例如，由iWb表示的信号是W数据中在坐标(3,3)的信号，这相应地由iWb(3,3)表示。因为iWb在输入信号的状态下是不清楚的，所以需要执行插值。例如，在iWb(3,3)通过八个周围像素求平均被插值的情况下，如下获得iWb(3,3)。

${\mathrm{iWb}}_{(3,3)}=\frac{W_{(2,2)}+W_{(3,2)}+W_{(4,2)}+W_{(2,3)}+W_{(4,3)}+W_{(2,4)}+W_{(3,4)}+W_{(4,4)}}{8}---\left(1\right)$

根据本例，以这种方式执行根据周围像素的信号值插值信号值不清楚的像素的信号的处理。应当注意的是，虽然示出了4×4像素组，但是，由于这种模式是重复的，因此iWr、iWg等可以从周围八个像素的信息被插值。

接下来，插值单元205通过使用被插值W数据和所提取的颜色数据生成R数据、G数据和B数据的颜色数据。为了在R数据、G数据和B数据的生成中计算颜色，可以采用各种方法。作为例子，采用通过规格化颜色数据来获得颜色比的方法。根据这种方法，颜色比通过以下表达式计算。

$RGB\_ratio=\left[\begin{array}{ccc}\frac{R}{R+G+B}& \frac{G}{R+G+B}& \frac{B}{R+G+B}\end{array}\right]---\left(2\right)$

其中以下表达式被设置。

$G=\frac{Gr+Gb}{2}---\left(3\right)$

此外，也可以采用获得颜色数据与插值的iWr、iWg和iWb的比的方法。在这种情况下，颜色比通过以下表达式计算。

$RGB\_ratio=\left[\begin{array}{ccc}\frac{R}{iWr}& \frac{Gr+Gb}{iWgr+iWgb}& \frac{B}{iWb}\end{array}\right]---\left(4\right)$

根据本例，采用获得颜色数据与插值的iWr、iWgr、iWgb和iWb的比的方法。

通过使用对应于这样获得的颜色比的RGB_ratio以及W信号或插值的值iWr、iWgr、iWgb和iWb的信号，能够按以下方式获得对应于相应像素中各个颜色R、G和B的信号值。

RGB＝[R_ratio·W G_ratio·W B_ratio·W](5)

其中以下表达式被设置。

RGB_ratio＝[R_ratio G_ratio B_ratio](6)

使用先前获得的颜色计算数据。

每个包括4×4＝16个像素的R数据、G数据和B数据是通过插值单元205的处理而获得的。由插值单元205生成的R数据、G数据和B数据是通过组合分辨率数据和颜色数据生成的第一数据。

接下来，由转换单元206执行的处理将参照图7来描述。

图7示出了对颜色数据执行上转换处理和马赛克处理以便输出拜耳数据的信号处理。

图7中(a)示出了从上述插值单元205输入的数据。首先，这个数据分别被分离成R数据、G数据和B数据，如图7中(b)中所示。

颜色分离之后的每个颜色数据片段通过上转换处理被转换成在垂直方向和水平方向当中每个方向上具有两倍的分辨率。为了描述用于上转换的方法，X和Y坐标在图7中(b)、(c)和(d)中提到。例如，由于左上方由R表示的像素是在坐标(1,1)的R数据，因此该数据被表示为R(1,1)。图7中(b)中的像素R(1,1)照原样被用作图7中(c)中的像素R(1,1)。在图7中(c)中，像素(1,2)、(2,1)和(2,2)的信号值都不清楚。根据本例，最近邻方法被用作插值不清楚的信号值的方法。因此，图7中(c)中(2,1)、(1,2)和(2,2)的信号值被设置为与R(1,1)相同的值。

以这种方式，如图7中(d)中所示，生成在垂直方向和水平方向当中每个方向具有提高至两倍的分辨率的每个R数据、G数据和B数据。通过上转换处理获得的这种数据是通过对由插值单元205生成的第一数据执行上转换处理所获得的第二数据。

接下来，为了执行马赛克处理，图7中(d)中的像素当中的阴影线像素被提取。在图7中(d)的R数据中，使用2×2个信号中具有最低X坐标值和最低Y坐标值的信号。即，R(1,1)、R(3,1)、R(5,1)、R(7,1)、R(3,1)…的信号被使用。在G数据中，与拜耳阵列中类似，数据以棋盘格图案被提取。在B数据中，使用2×2个信号中具有最高X坐标值和最高Y坐标值的信号。即，B(2,2)、B(4,2)、B(6,2)、B(8,1)、B(4,2)…的信号被使用。

以这种方式，转换单元206获得图7中(e)中所示的马赛克数据。转换单元206将马赛克数据输出到图像处理单元203。这种马赛克数据是具有预定阵列的数据，其被图像处理单元203用来创建图像。根据本例，输入到图像处理单元203的数据的预定阵列是拜耳阵列。

图像处理单元203执行参照图1描述的操作。根据这种构造，图像处理单元203生成被摄体的被拾取图像。

评估图像拾取由执行上述处理的图像拾取装置执行。为了评估分辨感，TV分辨率的评估通过使用分辨率图表来执行。此外，作为比较例，如图8中所示，在图7的处理操作当中，转换单元206生成马赛克数据而不执行上转换处理。随后，在比较例中，图像处理单元203通过使用这种马赛克数据生成被拾取图像。

作为通过上述方法进行比较的结果，在通过由根据本例在图7中所示的处理获得的被拾取图像中，TV水平分辨率大于或等于1000。另一方面，在根据比较例的被拾取图像中，TV水平分辨率是900。

在一些情况下，上述像素信号的数目可以是图像拾取元件的像素的数目，但是，在一些情况下，通过限制图像拾取元件的信号输出的区域(其在一些情况下可以被称为部分读出、修剪等等)或者在图像拾取元件201内部执行相加(其在一些情况下可以被称为混合(binning))，数目低于像素的数目的像素信号可以被输出。根据本例所描述的处理是通过对输出像素信号执行上转换来实现的，并且不依赖于图像拾取元件201的像素的总数。

根据本例的信号处理单元202和图像处理单元203当中每一个可以是安装到半导体基板的集成电路。

此外，根据本例的图像拾取装置可以被用作堆叠传感器，其中信号处理单元202在其上形成的半导体基板堆叠在图像拾取元件201在其上形成的半导体基板上。

应当注意的是，其中图像处理单元203在图像拾取装置的外部提供的例子已经根据本例进行了描述。作为另一个例子，图像拾取装置可以包括图像处理单元203。

示例2

将主要关于根据本例的图像拾取装置给出与示例1的差别的描述。

根据本例，执行在从图像拾取元件201输出的信号的数目不同于布置在图像拾取元件201上的像素的数目的情况下的处理。具体而言，将作为例子描述其中图像拾取元件201通过仅从图像拾取元件201的部分像素读出像素信号而按低于布置在图像拾取元件201上的像素的数目的数目输出信号的情况。

当从其读出像素信号的像素100的数目增大时，用来从图像拾取元件201的像素100读出像素信号的时间变长。因此，当从其读出像素信号的像素100的数目增大时，在视频的情况下帧速率下降，而在静止图像的情况下每秒连续拍摄的数目降低。因此，为了处理视频的帧速率的增大以及静止图像的连续拍摄的数目的增大，由图像拾取元件201输出的信号数目可以在一些情况下被设置为低于布置在图像拾取元件201上的像素的数目。

此外，如同在像面中的相位差AF(自动对焦)和对比度AF，在通过使用像素信号实现对焦的情况下，可以执行部分图像拾取，并且帧速率也增大以便在一些情况下增大对焦操作的速度。

根据本例的图像拾取元件201包括分别在水平方向和垂直方向对应于1920×1080的数目的像素100。在根据本例的图像拾取装置中，图像拾取元件201被包括在位于布置在图像拾取元件201中的像素100中的中心区域的区域当中，并且像素信号是从分别在水平方向和垂直方向对应于480×270的数目的像素100读出的。

根据本例的处理可以被设置为与根据示例1的处理相同。评估是通过使用由这种处理获得的分辨率图表的被拾取图像来执行的。在根据本例的被拾取图像中，TV水平分辨率大于或等于250。另一方面，在根据比较例的输出数据中，TV水平分辨率是200。因此，根据本例的图像拾取装置也可以获得与示例1相同的效果。

示例3

将主要关于根据本例的图像拾取装置给出与示例1的差别的描述。

根据本例，与示例1的相比，包括RGBW 12阵列的图像拾取元件201的图像拾取装置可以生成具有进一步降低的颜色噪声的被拾取图像。在RGBW 12阵列中，由于R像素和B像素每个对应于4×4像素中的一个像素并且G像素对应于两个像素，因此颜色像素的数目是在拜尔阵列的情况下的1/4。因此，在RGBW 12阵列中，与拜耳阵列相比，颜色噪声在低亮度条件下进行图像拾取时趋于显著。这种颜色噪声是随机散粒噪声和光子散粒噪声的总称。这种颜色噪声可以通过执行空间平均处理和时间平均处理当中至少一个以生成平均数据来减少。具体地，由于与分辨率信息(亮度信息)相比，人类视觉特性关于颜色信息的灵敏度在空间上和时间上都低，因此，即使当执行空间平均处理或时间平均处理时，图像质量的减小也几乎不被人眼识别。

图9示出了由根据本例的图像拾取装置执行的信号处理。与示例1的区别在于，插值单元205执行颜色帧间处理。插值单元205还具有帧存储器。

图10示出了在图9中示出的信号处理当中由插值单元205和转换单元206执行的处理的细节。

插值单元205的帧存储器在一帧中保持基于由图像拾取元件201输出的输出信号的颜色数据。应当注意的是，由图像拾取元件201输出的一帧的信号是指当垂直扫描电路2在像素阵列1中执行像素100的垂直扫描一次时由图像拾取元件201输出的信号。当垂直扫描电路2执行垂直扫描多次时，图像拾取元件201输出多帧的信号。在关注单个像素100的情况下，多个帧的相应帧周期是指其中累积基于入射光的电荷的电荷累积周期彼此不同的周期。插值单元205利用基于由图像拾取元件201在不同帧中输出的输出信号的颜色数据以及由帧存储器保持的颜色数据执行帧间处理。这种帧间处理是通过利用多个帧的颜色数据执行空间平均处理和时间平均处理当中至少一个来获得平均数据的处理。

在帧间处理中，移动平均处理、顺序循环处理(无限脉冲响应：IIR)或者非顺序循环处理(有限脉冲响应：FIR)可以被适当地使用。根据这种构造，插值单元205关于颜色数据实现低通滤波器并且减小对每一帧波动的颜色噪声。以这种方式，根据本例的图像拾取装置可以获得具有降低的颜色噪声的颜色数据。

其后，对应于分辨率数据的W数据和颜色数据组合。在此时，执行处理，同时假设颜色比被维持基本上恒定或者在局部区域中存在强色彩相关性。即，由于在颜色像素的一部分中插值的分辨率数据的颜色比接近其周围颜色的颜色比，因此颜色数据是通过用颜色比乘以分辨率数据来创建的。

图11示出了根据本例在对应于CF阵列的RGBW 12阵列的情况下的信号处理的细节。

图11中(a)示出了输入到插值单元205的数据。在这里，对应于图3B中所示的CF阵列中重复单位的4×4像素被切出并进行说明。对这个数据执行数据分离处理。根据这种构造，获得图11中(b)中所示的分辨率数据和图11中(d)中所示的颜色数据。

对图11中(b)中所示的分辨率数据执行的插值处理与示例1的相同。

接下来，将描述颜色数据的帧平均处理。

首先，第一帧的颜色数据被提前存储在帧存储器中。对第一帧的这种颜色数据不执行将在下面描述的乘法或除法处理。

接下来，将描述第二帧的颜色数据。如图11中所示，插值单元205首先用系数1/n乘以第二帧的颜色数据。n是在其中执行帧间处理的帧数。根据本例，n被设置为2。因此，第二帧的R像素、G像素和B像素的信号值当中每一个变成1/2。接下来，插值单元205用系数(n-1)/n乘以在帧存储器中保持的第一帧的颜色数据。由于n为2，因此第一帧的颜色数据的R像素、G像素和B像素的信号当中每一个都变成1/2。随后，插值单元205将乘以1/2的第一帧的信号加到乘以1/2的第二帧的信号。根据这种构造，能够获得颜色平均数据，其中第一帧的颜色数据和第二帧的颜色数据被平均。

应当注意的是，在其中n是3或更大的情况下，插值单元205将通过用2/3乘以其中第一帧的颜色数据和第二帧的颜色数据被平均的颜色数据的信号所获得的信号加到通过用1/3乘以第三帧中所包括的颜色数据所获得的信号。根据这种构造，能够获得的颜色平均数据，其中包括在三帧中的颜色数据片段被平均。

图11中的nrR、nrG和nrB表示在执行帧间处理(噪声降低)之后R像素、G像素和B像素的颜色数据。

随后，插值单元205将图11中(c)的插值之后的W数据与图11(e)的噪声降低后的颜色数据组合。根据该组合，在RGB像素最初布置的位置的W的插值数据iW与在这些位置的nrR、nrG和nrB的相应RGB的颜色比被计算，并且通过用相应像素的W或iW乘以颜色比所获得的值变成用于相应像素的RGB的值。以这种方式，形成要被输出的图11(f)的颜色数据。该输出将由以下表达式描述。

在这个像素是W的情况下，以下表达式成立。

$RGB=\left[\begin{array}{ccc}\frac{nrR}{iWr}W& \frac{nrG}{iWg}W& \frac{nrB}{iWb}W\end{array}\right]---\left(7\right)$

在这个像素是iW的情况下，以下表达式成立。

$RGB=\left[\begin{array}{ccc}\frac{nrR}{iWr}iW& \frac{nrG}{iWg}iW& \frac{nrB}{iWb}iW\end{array}\right]---\left(8\right)$

其中iWr、iWg和iWb表示R像素、G像素和B像素的部分的iW值。

其他的插值单元205的信号处理以及转换单元206和图像处理单元203的信号处理与示例1的那些相同。

图12示出了关于通过执行上述信号处理生成的被拾取图像的噪声降级程度和图像滞后程度的评估结果。在图12的噪声评估和图像滞后评估当中每一个中，从优良的评估开始，按降序指定○、Δ和×。

此外，作为评估的条件，图像拾取环境的亮度以及作为用于颜色数据处理的帧数的上述系数[1/n]和[(n-1)/n]中n的值被改变以执行评估。

作为条件No.1，图像拾取场景的亮度被设置为10lux，并且颜色数据的平均处理帧数n被设置为n＝1。在这种条件下拾取的图像几乎没有噪声，并且也观察不到图像滞后。因此，噪声评估和图像滞后评估都是○。

作为条件No.2，图像拾取场景的亮度被设置为10lux，并且设置n＝4。在这种条件下拾取的图像几乎没有噪声。此外，由于设置了n＝4，与其中设置n＝1的条件No.1相比，存在其中观察到颜色模糊的图像滞后的区域，但它在容许范围内。因此，噪声评估是○，图像滞后评估是Δ。

作为条件No.3，图像拾取场景的亮度被设置为1lux，并且设置n＝1。在这种条件下拾取的图像中，由于图像拾取场景中光量的减少，稍微观察到由于分辨率数据和颜色数据的S/N比的减小所造成的噪声。在这种条件下拾取的图像中，没有观察到图像滞后。因此，噪声评估是Δ，并且图像滞后评估是○。

作为条件No.4，图像拾取场景的亮度被设置为1lux，并且n＝4。在这种条件下，通过对多个帧中的颜色数据执行平均处理，获得其中与在条件No.3下拾取的图像相比噪声降低的图像。此外，图像滞后与在条件No.2下拾取的图像处于相同水平，并且在容许范围内。因此，噪声评估是○，并且图像滞后评估是Δ。

作为条件No.5，图像拾取场景的亮度被设置为0.1lux，并且设置n＝1。在这种情况下，由于与条件No.3相比，分辨率数据和颜色数据的S/N比的进一步减小发生，因此具有显著噪声的图像被拾取。另一方面，由于设置了n＝1，因此没有观察到图像滞后。因此，噪声评估是×，并且图像滞后评估是○。

作为条件No.6，图像拾取场景的亮度被设置为0.1lux，并且设置n＝4。在这种条件下，通过对多个帧中的颜色数据执行平均处理，获得其中与在条件No.5下拾取的图像相比噪声降低的图像。此外，设置了对于颜色数据的处理帧数n＝4，但图像滞后程度在容许范围内。因此，在图12中，噪声评估是Δ，并且图像滞后评估是Δ。

以这种方式，通过执行包括在多个帧中的颜色数据的平均处理，根据本例的图像拾取装置可以生成在噪声降低的同时具有被抑制的图像滞后的图像。

根据本例的图像拾取装置通过使用颜色平均数据和包括在少于n帧的一帧中的W像素的数据生成图像，其中颜色平均数据是通过对包括在n个帧中的RGB像素的数据执行平均处理获得的。当光入射到其上的所有像素的数目当中W像素的数目的比例被设置为X时，n的值优选地设置为高于或等于1/X的数。根据这种构造，能够抑制伪色的生成，其中伪色随着W像素的数目增大而增大。

应当注意的是，根据本例的图像拾取装置可以根据被摄体的环境(诸如像亮度、对比度或移动速度)适当地改变n的值。

示例4

将主要关于根据本例的图像拾取装置给出与根据示例3的图像拾取装置的差别的描述。根据本例的图像拾取设备通过使用颜色数据和分辨率数据生成一个图像，其中颜色数据是通过处理包括在多个帧中的颜色数据获得的，而分辨率数据是通过处理包括在少于颜色数据处理中使用的帧数的多个帧中的分辨率数据获得的。

图13是示出根据本例的图像拾取装置的操作的流程图。

插值单元205将由图像拾取元件201输出的信号分离成分辨率数据和颜色数据。其后，关于分辨率数据，通过处理包括在m个帧中的分辨率数据而生成分辨率数据。此外，关于颜色数据，通过处理包括在多于m个帧的n个帧中的颜色数据而生成颜色数据。

让人眼识别关于颜色的图像滞后比关于分辨率的图像滞后更困难。出于这个原因，用于单个图像的生成的分辨率数据的平均处理帧数被设置为比用于颜色数据的平均处理帧数少。根据这种构造，根据本例的图像拾取装置能够生成具有降低的噪声的图像，同时使得在图像中引起的图像滞后难以被人眼识别。

其他的插值单元205的信号处理以及转换单元206和图像处理单元203的信号处理与示例1的那些相同。

图14示出了根据本例的评估结果。在图14的噪声评估和图像滞后评估当中每一个中，从优良的评估开始，按降序指定○、Δ、涂黑的Δ和×。

作为条件No.1，图像拾取场景的亮度被设置为10lux，并且设置m＝1和n＝1。在这种条件下拾取的图像的噪声评估和图像滞后评估都是○。

作为条件No.2，图像拾取场景的亮度被设置为1lux，并且设置m＝1和n＝4。在这种条件下拾取的图像的噪声评估是○，并且图像滞后评估是Δ。

作为条件No.3，图像拾取场景的亮度被设置为1lux，并且设置m＝2和n＝4。在这种条件下拾取的图像的噪声评估是○，并且图像滞后评估是涂黑的Δ。在条件No.3下获得的图像中，与在条件No.2下获得的图像相比，观察到在允许范围内的图像滞后的增大。

作为条件No.4，图像拾取场景的亮度被设置为0.1lux，并且设置m＝1和n＝1。在这种条件下拾取的图像的噪声评估是×，并且图像滞后评估是○。

作为条件No.5，图像拾取场景的亮度被设置为0.1lux，并且设置m＝1和n＝4。在这种条件下拾取的图像的噪声评估是涂黑的Δ，并且图像滞后评估是Δ。与在条件No.4下拾取的图像相比，在条件No.5下拾取的图像是其中噪声降低同时图像滞后在允许范围内增大的图像。

作为条件No.6，图像拾取场景的亮度被设置为0.1lux，并且设置m＝2和n＝4。在这种条件下拾取的图像的噪声评估是Δ，并且图像滞后评估是涂黑的Δ。与在条件No.5下拾取的图像相比，在条件No.6下拾取的图像是其中噪声降低同时图像滞后在允许范围内增大的图像。

作为条件No.7，图像拾取场景的亮度被设置为0.01lux，并且设置m＝1和n＝4。在这种条件下拾取的图像的噪声评估是×，并且图像滞后评估是Δ。

作为条件No.8，图像拾取场景的亮度被设置为0.01lux，并且设置m＝2和n＝4。在这种条件下拾取的图像的噪声评估是涂黑的Δ，并且图像滞后评估是涂黑的Δ。与在条件No.7下拾取的图像相比，在条件No.8下拾取的图像是其中噪声降低同时图像滞后在允许范围内增大的图像。

作为条件No.9，图像拾取场景的亮度被设置为0.01lux，并且设置m＝4和n＝4。在这种条件下拾取的图像的噪声评估是Δ，并且图像滞后评估是×。与在条件No.8下拾取的图像相比，在条件No.9下拾取的图像中噪声降低，图像滞后增大至超出允许的范围。

以这种方式，如可以从例如条件No.5与条件No.6之间的比较理解的，根据本例的图像拾取装置可以在通过对包括在多个帧中的分辨率数据执行平均处理所获得的分辨率平均数据被用于单个图像的生成的同时，生成具有降低的噪声的图像。在条件No.9下，其中用于单个图像生成的分辨率数据的帧数与颜色数据的帧数彼此匹配，图像滞后增大至超出允许的范围。当用于单个图像的生成的分辨率数据的帧数被设置为低于颜色数据的帧数时，根据本例的图像拾取装置能够在图像滞后的增大被抑制的同时生成具有降低的噪声的图像。

另一方面，当通过对包括在多个帧中的分辨率数据执行平均处理所获得的分辨率平均数据被用于单个图像的生成时，图像滞后在一些情况下会增大。因此，在被摄体保持静止的情况下，具有帧数n1的颜色平均数据和具有帧数m1的分辨率平均数据被用于单个图像的生成，其中m1是小于n1的数。另一方面，在被摄体处于运动的情况下，具有比被摄体保持静止的情况下的帧数少的帧数的分辨率平均数据可以用于单个图像的生成。在被摄体处于运动的情况下，对于单个图像的生成，可以优选地使用包括在仅一帧中的分辨率数据。

此外，TV分辨率的评估关于分辨率执行。在根据本例的输出数据中，TV水平分辨率大于或等于1000。

应当注意的是，虽然已经根据本例给出了在用于分辨率数据的处理帧数n1被设置为1并且用于颜色数据的处理帧数n2被设置为4时的描述，但是n1和n2的这些值可以优选地根据被摄体的环境(亮度、对比度或移动速度)适当地改变。

示例5

将主要关于根据本例的图像拾取装置给出与示例3的差别的描述。根据本例，CF阵列使用图3D中所示的RGBG 12阵列。当使用RGBG 12阵列时，由于W像素被G像素替换，因此，与RGBW 12阵列相比，灵敏度降低。但是，由于W像素相对于RGB像素具有大体上高的灵敏度，因此W像素的饱和依赖于被摄体而早发生，并且动态范围在一些情况下会降低。因此，当CF阵列使用RGBG 12阵列时，饱和度和灵敏度得以平衡。

图15是根据本例在用于对应于CF阵列的RGBG 12阵列的数据的插值单元205中的流程图。

图15中(a)示出了输入数据。在这里，对应于图3D中所示的CF阵列中重复单位的4×4像素被切出并说明。这个数据被分离成图15中(b)中示出的分辨率数据和图15中(d)中示出的颜色数据。

在其中图15中(c)中所示的G像素的数据被用作基础的分辨率数据中，图15中(c)中所示的R和B像素的数据是不清楚的(在图中用“？”表示)。插值处理对这种不清楚的数据部分执行，并且创建在图15中(c)中所示的插值后的分辨率数据。插值像素的值被表示为iG。

由于RGB像素的数目仅仅是总像素的1/2，因此在图15中(c)中所示的颜色数据变成具有低分辨率的数据。其后，颜色数据的噪声降低根据多个帧中被执行。根据本例，在设置n＝2的同时执行处理。图15中(e)中所示的nrR、nrG和nrB表示噪声降低之后RGB像素的数据。

在已经在上述过程中描述的图15中(c)中所示的插值之后的分辨率的数据与图15中(e)中所示的噪声降低之后的颜色数据组合，以形成图15中(f)中所示的要输出的RGB数据。

评估图像拾取是通过利用执行上述处理的图像拾取装置执行的。作为图像拾取的结果，能够获得这样的图像拾取装置，其中RGB像素的饱和被平衡，但是与根据示例3的图像拾取装置相比灵敏度降低。

示例6

将主要关于根据本例的图像拾取装置给出与示例3的差别的描述。根据本例，图4B中所示的CMYW 12阵列被用作CF阵列。由于具有高灵敏度的互补色(C、M和Y)滤色器被使用并且还使用W像素，因此灵敏度提高。

图16是根据本例在用于对应于CF阵列的CMYW 12阵列的数据的插值单元205中的流程图。

图16中的(a)示出了输入数据。在这里，对应于图4B中所示的CF阵列中重复单位的4×4像素被切出并说明。这个数据被分离成图16中(b)中示出的分辨率数据和图16中(d)中示出的颜色数据。

在其中图16中(c)中所示的W像素的数据被用作基础的分辨率数据中，在图16中(c)中所示的CMY像素的部分的W数据是不清楚的(在图中用“？”表示)。插值处理对这种不清楚的数据部分执行，并且创建在图16中(c)中所示的插值后的分辨率数据。被插值的像素的值表示为iW。

由于RGB像素的数目仅仅是总像素的1/4，因此在图16中(c)中所示的颜色数据变成具有低分辨率的数据。其后，颜色数据的噪声降低根据多个帧中被执行。根据本例，在设置n＝4的同时执行处理。图16中(e)中的nrC、nrM和nrY表示噪声降低之后RGB像素的数据。

与示例5中类似，在已经在上述过程中描述的图16中(c)中所示的插值之后的分辨率的数据与图16中(e)中所示的噪声降低之后的颜色数据组合，其后执行CMY到RGB转换以形成图16中(f)中所示的要输出的RGB数据。

评估图像拾取是通过利用执行上述处理的图像拾取装置执行的。作为图像拾取的结果，能够获得这样的图像拾取装置，其中与根据示例3的图像拾取装置相比灵敏度更高，但是在图像的一部分当中颜色再现性降低。

此外，TV分辨率的评估是关于分辨率执行的。在根据本例的输出数据中，TV水平分辨率大于或等于1000。

示例7

根据本例，将描述根据示例性实施例和示例1至6的图像拾取装置应用到其的图像拾取系统。图像拾取系统是被配置为通过使用图像拾取装置获得图像、视频等的装置，并且其例子包括数字静态相机、数字摄像机、监视相机等。图17是作为根据示例性实施例和示例1至6的图像拾取装置应用到其的图像拾取系统的例子的数字静态相机的情况的框图。

在图17中，图像拾取系统包括将被摄体的光学图像对焦在图像拾取装置301上的透镜302、保护透镜302的挡板303以及调整穿过透镜302的光量的光圈304。图像拾取系统还包括被配置为对由图像拾取装置301输出的输出信号执行处理的输出信号处理单元305。输出信号处理单元305还包括根据示例性实施例和示例1至6的图像处理单元203。输出信号处理单元305在与其上形成图像拾取装置301的半导体基板不同的半导体基板上形成。

输出信号处理单元305包括数字信号处理单元并执行操作，该操作在必要时对从图像拾取装置301输出的信号执行各种校正和压缩并输出信号。

图像拾取系统还包括临时存储图像数据的缓冲存储器单元306和被配置为关于记录介质执行记录或读出的存储介质控制接口(I/F)单元307。图像拾取系统还包括可分离安装或内置在图像拾取系统中的记录介质309，诸如被配置为执行图像拾取数据的记录或读出的半导体存储器。图像拾取系统还包括被配置为与外部计算机等通信的外部接口(I/F)单元308和被配置为控制各种计算和整个数字静态相机的整体控制/计算单元310。图像拾取系统还包括被配置为向输出信号处理单元305输出各种定时信号的定时发生器311。应当注意的是，诸如定时信号的控制信号可以从外部单元而不是定时发生器311输入。即，如果图像拾取系统至少包括图像拾取装置301和处理从图像拾取装置301输出的输出信号的输出信号处理单元305，那就足够了。

如上所述，通过根据本示例性实施例和示例1至6描述的图像拾取装置301的应用，根据本例的图像拾取系统可以执行图像拾取操作。

虽然本公开内容已经参照示例性实施例进行了描述，但是应当理解，本公开内容不限于所公开的示例性实施例。以下权利要求的范围应当被赋予最广泛的解释，以涵盖所有这类修改以及等同结构和功能。

Claims (13)

1.一种图像拾取装置，其特征在于，包括：

包括多个像素的第一像素组，每个像素包括光电转换单元；

包括多个像素的第二像素组，每个像素包括光电转换单元；及

信号处理单元，

图像拾取装置将数据输出到被配置为根据预定阵列的数据生成图像的图像处理单元，其中

包括在第一像素组中的每个光电转换单元与包括在第二像素组中的每个光电转换单元具有要被光电转换的光的相互不同的波长带，

信号处理单元

通过使用由包括在第一像素组中的像素输出的信号来生成分辨率数据，通过使用由包括在第二像素组中的像素输出的信号来生成颜色数据，并且通过组合分辨率数据和颜色数据来生成第一数据，

通过对第一数据执行上转换处理来生成第二数据，及

执行将第二数据设置为预定阵列的数据的处理。

2.如权利要求1所述的图像拾取装置，其中

包括在第一像素组中的每个像素和包括在第二像素组中的每个像素具有光透射部分，

透射通过第一像素组的光透射部分的光的波长带包括在从蓝到红的范围内的波长带，及

透射通过第二像素组的光透射部分的光的波长带比透射通过第一像素组的光透射部分的光的波长带窄。

3.如权利要求1所述的图像拾取装置，

其中第一数据是包括以下项的数据：

在具有要被包括在第二像素组中的光电转换单元光电转换的波长带的光被包括在第一像素组中的光电转换单元光电转换的情况下生成的信号，以及在具有要被包括在第一像素组中的光电转换单元光电转换的波长带的光被包括在第二像素组中的光电转换单元光电转换的情况下生成的信号。

4.如权利要求2所述的图像拾取装置，

其中第一数据是包括以下项的数据：

在具有要被包括在第二像素组中的光电转换单元光电转换的波长带的光被包括在第一像素组中的光电转换单元光电转换的情况下生成的信号，以及在具有要被包括在第一像素组中的光电转换单元光电转换的波长带的光被包括在第二像素组中的光电转换单元光电转换的情况下生成的信号。

5.如权利要求1所述的图像拾取装置，还包括：

图像拾取元件，包括第一像素组和第二像素组以及被配置为通过扫描第一像素组和第二像素组来从第一像素组和第二像素组输出信号的垂直扫描电路，其中

当垂直扫描电路扫描第一像素组和第二像素组一次时，图像拾取元件输出一帧的信号，

当垂直扫描电路扫描第一像素组和第二像素组多次时，图像拾取元件输出多帧的信号，

通过对于每个像素执行包括在多帧的信号中的每个信号中的颜色数据的平均处理，信号处理单元生成颜色平均数据，及

用于第一数据的生成的颜色数据被设置为颜色平均数据。

6.如权利要求2所述的图像拾取装置，还包括：

图像拾取元件，包括第一像素组和第二像素组以及被配置为通过扫描第一像素组和第二像素组来从第一像素组和第二像素组输出信号的垂直扫描电路，其中

当垂直扫描电路扫描第一像素组和第二像素组一次时，图像拾取元件输出一帧的信号，

当垂直扫描电路扫描第一像素组和第二像素组多次时，图像拾取元件输出多帧的信号，

通过对于每个像素执行包括在多帧的信号中的每个信号中的颜色数据的平均处理，信号处理单元生成颜色平均数据，及

用于第一数据的生成的颜色数据被设置为颜色平均数据。

7.如权利要求3所述的图像拾取装置，还包括：

图像拾取元件，包括第一像素组和第二像素组以及被配置为通过扫描第一像素组和第二像素组来从第一像素组和第二像素组输出信号的垂直扫描电路，其中

当垂直扫描电路扫描第一像素组和第二像素组一次时，图像拾取元件输出一帧的信号，

当垂直扫描电路扫描第一像素组和第二像素组多次时，图像拾取元件输出多帧的信号，

通过对于每个像素执行包括在多帧的信号中的每个信号中的颜色数据的平均处理，信号处理单元生成颜色平均数据，及

用于第一数据的生成的颜色数据被设置为颜色平均数据。

8.如权利要求5所述的图像拾取装置，

其中信号处理单元不对由第一像素组输出的信号执行平均处理，而对由第二像素组输出的信号执行平均处理。

9.如权利要求5所述的图像拾取装置，其中

通过对于每个像素对包括在多帧的信号中的每个信号中的分辨率数据执行平均处理，信号处理单元生成分辨率平均数据，

用于第一数据的生成的分辨率数据被设置为分辨率平均数据，及

用于分辨率平均数据的生成的帧数比用于颜色平均数据的生成的帧数少。

10.一种图像拾取装置，其特征在于，包括：

包括多个像素的第一像素组，每个像素包括光电转换单元；

包括多个像素的第二像素组，每个像素包括光电转换单元；及

信号处理单元，

图像拾取装置将数据输出到被配置为根据预定阵列的数据生成图像的图像处理单元，其中

包括在第一像素组中的每个光电转换单元与包括在第二像素组中的每个光电转换单元具有要被光电转换的光的相互不同的波长带，

包括在第一像素组中的像素的数目是比包括在第二像素组中的像素的数目的两倍还多的数目，

包括在第一像素组中的每个像素和包括在第二像素组中的每个像素具有光透射部分，

透射通过第一像素组的光透射部分的光的波长带包括在从蓝到红的范围内的波长带，

透射通过第二像素组的光透射部分的光的波长带比透射通过第一像素组的光透射部分的光的波长带窄，

信号处理单元

通过使用由包括在第一像素组中的像素输出的信号来生成分辨率数据，通过使用由包括在第二像素组中的像素输出的信号来生成颜色数据，及

通过使用分辨率数据和颜色数据来生成第一数据，第一数据包括在具有要被包括在第二像素组中的光电转换单元光电转换的波长带的光被包括在第一像素组中的光电转换单元光电转换的情况下生成的信号，以及在具有要被包括在第一像素组中的光电转换单元光电转换的波长带的光被包括在第二像素组中的光电转换单元光电转换的情况下生成的信号，及

信号处理单元通过对第一数据执行上转换处理来生成第二数据，及

执行将第二数据设置为预定阵列的数据的处理。

11.一种图像拾取装置，其特征在于，包括：

包括多个像素的第一像素组，每个像素包括光电转换单元；

包括多个像素的第二像素组，每个像素包括光电转换单元；及

信号处理单元，其中

包括在第一像素组中的每个光电转换单元与包括在第二像素组中的每个光电转换单元具有要被光电转换的光的相互不同的波长带，

信号处理单元

通过使用由包括在第一像素组中的像素输出的信号来生成分辨率数据，通过使用由包括在第二像素组中的像素输出的信号来生成颜色数据，并且通过组合分辨率数据和颜色数据来生成第一数据，

通过对第一数据执行上转换处理来生成第二数据，及

对第二数据执行马赛克处理。

12.一种图像拾取系统，其特征在于，包括：

如权利要求1至11中任一项所述的图像拾取装置；及

图像处理单元。

13.一种处理由图像拾取元件输出的信号的信号处理方法，其特征在于，

图像拾取元件包括第一像素组和第二像素组，其中第一像素组包括多个像素，每个像素包括光电转换单元，并且第二像素组包括多个像素，每个像素包括光电转换单元，

包括在第一像素组中的每个光电转换单元与包括在第二像素组中的每个光电转换单元具有要被光电转换的光的相互不同的波长带，

该信号处理方法包括：

通过使用由包括在第一像素组中的像素输出的信号来生成分辨率数据，通过使用由包括在第二像素组中的像素输出的信号来生成颜色数据，并且通过组合分辨率数据和颜色数据来生成第一数据，

通过对第一数据执行上转换处理来生成第二数据，及

对第二数据执行马赛克处理。