CN101047796A

CN101047796A - 成像设备和用于该成像设备的方法

Info

Publication number: CN101047796A
Application number: CNA2007100869835A
Authority: CN
Inventors: 白井邦宏
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-03-29
Filing date: 2007-03-29
Publication date: 2007-10-03
Anticipated expiration: 2027-03-29
Also published as: US20070273772A1; CN100477748C; JP4745876B2; JP2007267228A; US7583296B2

Abstract

本发明提供一种成像设备和用于该成像设备的方法。该成像设备包括多个像素部分，所述多个像素部分各自包括光电转换部分和保持部分。保持部分用来保持包含从相同像素部分的光电转换部分溢出的饱和信号和用作颜色混合分量的从其它像素部分的光电转换部分溢出的饱和信号的混合饱和信号。颜色混合校正部分用来校正包含在从保持部分读出的混合饱和信号中的颜色混合分量。合成部分用来对从光电转换部分读出的光电转换信号和通过颜色混合校正部分校正的校正后饱和信号进行合成。

Description

成像设备和用于该成像设备的方法

技术领域

本发明涉及一种能够在抑制颜色混合发生的同时扩大动态范围的成像设备和相关的处理方法。

背景技术

在数字照相机或其它成像设备中可以使用互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)等固态图像传感器。然而，与一般的卤化银摄影相比，固态图像传感器具有窄的动态范围。为了克服该缺点，存在各种动态范围扩大方法(参考日本特开2003-18471号公报)。

例如，根据日本特开2003-18471号公报中所记载的图像传感器，如果入射光的光量超过光电转换部分的饱和光量，则饱和电荷溢出该光电转换部分并流入读取部分。该读取部分读取电荷的溢出量。

然而，实际使用的图像传感器的读取部分不配置成实现日本特开2003-18471号公报中所记载的读取机构。因此，当将在日本特开2003-18471号公报中所记载的方法应用于普通图像传感器时，与光电转换部分中的颜色混合发生相比较，读取部分中的颜色混合发生更严重。

发明内容

本发明的典型实施例涉及一种能够在抑制颜色混合发生的同时实现宽动态范围的成像设备。

根据本发明的一个方面，提供一种成像设备，该成像设备包括：多个像素部分，各自包括光电转换部分和保持部分，其中该保持部分用来保持包含从相同像素部分的光电转换部分溢出的饱和信号和用作颜色混合分量的从其它像素部分的光电转换部分溢出的饱和信号的混合饱和信号；颜色混合校正部分，用于校正包含在从所述保持部分读出的混合饱和信号中的颜色混合分量；合成部分，用于对从光电转换部分读出的光电转换信号和通过颜色混合校正部分校正的校正后饱和信号进行合成。

根据本发明的另一方面，提供一种用于成像设备的方法，该成像设备包括多个像素部分，所述多个像素部分各自包括光电转换部分和保持部分，其中该保持部分用于保持包含从相同像素部分的光电转换部分溢出的饱和信号和作为颜色混合分量的从其它像素部分的光电转换部分溢出的饱和信号的混合饱和信号。该方法包括：校正包含在从保持部分读出的混合饱和信号中的颜色混合分量；对从光电转换部分读出的光电转换信号和经过颜色混合校正的校正后饱和信号进行合成。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。

附图说明

包括在说明书中且构成说明书一部分的附图，示出了本发明的典型实施例、特征和方面，并且与说明书一起用来解释本发明的原理。

图1是示出根据本发明第一典型实施例的成像设备的框图。

图2是示出CMOS固态图像传感器的内部结构的电路图。

图3是示出根据典型实施例的像素结构的断面图。

图4是示出普通信号读取操作的时序图。

图5是示出饱和光量信号读取操作的时序图。

图6是示出图像传感器的像素部分的平面图。

图7示出典型颜色混合发生机构。

图8示出根据第一典型实施例流入浮动扩散层(floatingdiffusion layer)的电荷的溢出。

图9示出图像传感器的整体结构。

图10是最右边像素阵列(x＝X)的放大图。

图11是与x＝X和x＝X-1相对应的像素阵列的放大图。

图12示出根据第二典型实施例流入浮动扩散层的电荷的溢出。

图13示出根据第三典型实施例流入浮动扩散层的电荷的溢出。

图14是示出在第三典型实施例中进行的图像处理算法的流程图。

图15示出根据第四典型实施例的固态图像传感器。

图16是示出根据第四典型实施例的图像传感器的内部结构的电路图。

图17是示出根据第四典型实施例的图像传感器的操作的时序图。

具体实施方式

以下对典型实施例的说明实际上仅用作说明，决不是要限制本发明、本发明的应用或使用。

注意，在整个说明书中相同的附图标记表示附图中的相同项，因此一旦在一幅图中定义了某项，则对后面的图不再讨论该项。

以下将参照附图详细说明典型实施例。

第一典型实施例

图1是示出根据本发明第一典型实施例的成像设备的框图。

图1所示的成像设备包括光学系统101(例如包括镜头和光圈)、机械快门102、图像传感器103、进行模拟信号处理的相关双采样(correlated double sampling，CDS)电路104、将模拟信号转换成数字信号的模数(analog-digital，A/D)转换器105。时序信号产生电路106可以生成时序信号以使CDS电路104、A/D转换器105和驱动电路107动作。驱动电路107具有驱动光学系统101、机械快门102和图像传感器103中的每一个的功能。

而且，该成像设备包括将信号处理应用于由图像传感器103捕获的图像数据的信号处理电路108和存储由信号处理电路108处理过的图像数据的图像存储器109。记录电路111接收由信号处理电路108处理过的图像数据，并且可将处理过的图像数据记录在图像记录介质110上。图像记录介质110可从该成像设备移除。

图像显示单元112通过显示电路113从信号处理电路108接收图像数据。显示电路113可以控制图像显示单元112基于所接收的图像数据显示图像。系统控制部分114可基于存储在非易失性存储器(例如只读存储器(ROM))115中的程序控制成像设备的全部操作。非易失性存储器115还可存储控制数据(例如当执行程序时使用的参数和表)以及校正数据(例如像素缺陷的地址)。而且，可以将程序、控制数据和校正数据从非易失性存储器115传输到易失性存储器(例如随机存取存储器(RAM))116。易失性存储器116可以用作当系统控制部分114控制成像设备时的工作区域。

具有上述结构的成像设备可以利用机械快门102进行拍摄动作。在拍摄动作前，系统控制部分114开始包括打开成像设备的电源的准备工作。系统控制部分114的准备工作包括从非易失性存储器115中读取所需的程序和相关的控制数据以及校正数据并将所读取的程序和数据传输到易失性存储器116。

当系统控制部分114控制成像设备时，可以使用软件程序和数据。如果需要，可以将附加程序和数据从非易失性存储器115传输到易失性存储器116。系统控制部分114可以从非易失性存储器115直接读取数据。

首先，驱动电路107响应于从系统控制部分114提供的控制信号，驱动光学系统101的光圈和镜头，以在图像传感器103上形成具有适当明亮度(lightness)的被摄体图像。接着，驱动电路107响应于从系统控制部分114提供的控制信号，驱动机械快门102。机械快门102根据图像传感器103的动作为图像传感器103遮光以获得所需的曝光时间。在这种情况下，如果图像传感器103具有电子快门功能，则机械快门102和图像传感器103可以协作确定所需的曝光时间。

驱动电路107响应于基于由系统控制部分114控制的时序信号产生电路106生成的操作脉冲而产生的驱动脉冲，驱动图像传感器103。图像传感器103具有用于将被摄体图像转换成电信号的光电转换功能并输出模拟图像信号。

CDS电路104从图像传感器103接收模拟图像信号，并响应于由系统控制部分114控制的时序信号产生电路106所生成的操作脉冲，从图像信号中去除时钟同步噪声。A/D转换器105将模拟图像信号转换成数字图像信号。

接着，在系统控制部分114的控制下，信号处理电路108将各种处理应用于数字图像信号。该处理包括颜色转换、白平衡、伽马校正等图像处理以及分辨率转换处理和图像压缩处理。

图像存储器109可暂时存储由信号处理电路108处理过的数字图像信号，还存储通过信号处理电路108进行的信号处理得到的图像数据(即数字图像信号)。

可以将由信号处理电路108产生的图像数据或存储在图像存储器109中的图像数据提供给记录电路111。记录电路111可将输入的图像数据转换成适于图像记录介质110的数据格式(例如具有分层结构的文件系统数据)，并可将转换后的图像数据记录在图像记录介质110上。

而且，由信号处理电路108产生的图像数据或者存储在图像存储器109中的图像数据可经过信号处理电路108的分辨率转换处理并被提供给显示电路113。显示电路113可将输入的图像数据转换成适于图像显示单元112的显示信号(例如模拟NTSC信号)，并且可以将与该显示信号相对应的图像显示在图像显示单元112上。

当从系统控制部分114提供控制信号时，信号处理电路108可以不进行上述信号处理而将数字图像信号作为图像数据直接输出到图像存储器109或者记录电路111。

而且，系统控制部分114可以请求信号处理电路108向系统控制部分114发送关于通过信号处理得到的数字图像信号或图像数据的信息，例如与图像的空间频率、指定区域的平均值、压缩图像的数据量有关的信息或者从该信息提取的派生信息等。而且，系统控制部分114可以请求记录电路111向系统控制部分114发送关于图像记录介质110的类型和可用容量的信息。

图2示出作为图1所示的图像传感器103的实际例子的CMOS固态图像传感器的内部结构。例如，该固态图像传感器根据半导体集成电路的制造技术包括在单晶硅等单个半导体衬底1上形成的大量电路元件。

为了简化，图2示出布置在由3行和3列组成的矩阵图案中的像素阵列。然而，像素阵列不限于图2所示的结构和大小。将参照图2说明根据本实施例的图像传感器的典型结构。

光电转换部分D11～D33用来生成光电信号电荷。光电转换部分D11～D33均以其正极接地。光电转换部分D11～D33的负极分别连接到相对应的传输金属氧化物半导体(transfer MOS)晶体管M111～M133的源极。各传输MOS晶体管可以传输存储在相关联的光电转换部分中的光电信号电荷。

传输MOS晶体管M111的栅极连接到沿水平方向延伸的第一行选择线(垂直扫描线)PTX1。与传输MOS晶体管M111位于同一像素行的其它像素单元的传输MOS晶体管M121和M131的栅极也共同连接到该第一行选择线PTX1。

而且，传输MOS晶体管M111～M133的漏极分别连接到相对应的放大MOS晶体管M311～M333的栅极。放大MOS晶体管M311～M333的栅极分别连接到复位MOS晶体管M211～M233的源极。复位MOS晶体管M211～M233均具有复位功能。复位MOS晶体管M211～M233的漏极连接到复位电源。

而且，放大MOS晶体管M311～M333的漏极分别连接到相对应的选择MOS晶体管M411～M433。选择MOS晶体管M411～M433均可以提供电源电压。

复位MOS晶体管M211的栅极连接到沿水平方向延伸的第二行选择线(垂直扫描线)PRES1。与复位MOS晶体管M211位于同一像素行的其它像素单元的复位MOS晶体管M221和M231的栅极也共同连接到该第二行选择线PRES1。

选择MOS晶体管M411的栅极连接到沿水平方向延伸的第三行选择线(垂直扫描线)PSEL1。与选择MOS晶体管M411位于同一像素行的其它像素单元的选择MOS晶体管M421和M431的栅极也共同连接到该第三行选择线PSEL1。

第一行选择线PTX1、第二行选择线PRES1和第三行选择线PSEL1连接到垂直扫描电路块2，该电路块在如稍后所述的预定操作定时向各选择线提供信号电压。

位于图2所示的其它像素行的像素单元具有类似的结构，且对该像素单元提供类似的行选择线。例如，对第二行上的像素单元提供行选择线PTX2、PRES2和PSEL2，对第三行上的像素单元提供行选择线PTX3、PRES3和PSEL3。垂直扫描电路块2可以向各行选择线提供信号电压。

放大MOS晶体管M311的源极连接到沿垂直方向延伸的垂直信号线V1。与放大MOS晶体管M311位于同一像素列的其它像素单元的放大MOS晶体管M312和M313的源极也共同连接到该垂直信号线V1。垂直信号线V1通过栅极接地的MOS晶体管M71连接到负载MOS晶体管M51(即负载元件)。MOS晶体管M71构成恒定电压单元3的一部分。

栅极接地的MOS晶体管M71的栅极连接到可提供栅极电压的电压输入端子6。如图2所示，放大MOS晶体管、栅极接地的MOS晶体管和负载MOS晶体管连接到其余各垂直信号线V2和V3。

例如，放大MOS晶体管M321～M323的源极、栅极接地的MOS晶体管M72以及负载MOS晶体管M52连接到第二列的像素单元。类似地，放大MOS晶体管M331～M333的源极、栅极接地的MOS晶体管M73和负载MOS晶体管M3连接到第三列的像素单元。

而且，负载MOS晶体管M51～M53的源极连接到公共地(GND)线4，且其栅极连接到输入MOS晶体管M50的栅极和电压输入端子5。

垂直信号线V1通过噪声信号传输开关M11连接到可以暂时存储噪声信号的电容器CTN1，并且还通过光电信号传输开关M21连接到可以暂时存储光电信号的电容器CTS1。噪声信号保持电容器CTN1和光电信号保持电容器CTS1以其相反端接地。

噪声信号传输开关M11和噪声信号保持电容器CTN1的连接点通过保持电容复位开关M31接地，并且还通过水平传输开关M41连接到差动电路块8的一个输入端。

类似地，光电信号传输开关M21和光电信号保持电容器CTS1的连接点通过保持电容复位开关M32接地，并且还通过水平传输开关M42连接到差动电路块8的另一输入端。差动电路块8可以输出表示输入光电信号和输入噪声信号之差的差动信号。

水平传输开关M41和M42的栅极共同连接到水平扫描电路块7的列选择行H1。如图2所示，对其余垂直信号线V2和V3设置类似的读取电路。

而且，各像素列的噪声信号传输开关M11～M13的栅极共同连接到端子PTN。各列的光电信号传输开关M21～M23的栅极共同连接到端子PTS。如稍后所述，以预定操作定时将信号电压提供给端子PTN和PTS。

图3示出根据典型实施例的一个像素的断面结构。在图3中，光电转换元件包括在n型衬底301上形成的p型阱(well)302、在p型阱302上形成的光电转换元件的n层304和在n层304上形成的光电转换元件的p层305。p层305在其表面区域具有较高浓度。

在光电转换部分的侧面通过绝缘层形成传输MOS晶体管303的栅极区域。在传输MOS晶体管303的栅极区域和光电转换部分的侧面之间形成从光电转换部分的n层304起连续延伸的旁路(bypass)区域306。而且，在传输MOS晶体管303的栅极区域的侧面之下形成浮动扩散(floating diffusion，FD)层307。浮动扩散层307是电荷保持区域。

浮动扩散层307连接到输出电路的放大MOS晶体管310的栅极。用来复位浮动扩散层307的复位MOS晶体管308的源极连接到浮动扩散层307，其漏极连接到复位电源309。

放大MOS晶体管310产生通过像素选择MOS晶体管311取出的放大的输出信号。在该元件之上设置铝遮光板313，使得光不能到达各光电转换部分的区域之外的区域。

浮动扩散层307接收从同一像素的光电转换部分溢出的饱和光量信号和从相邻像素的光电转换部分溢出的饱和光量信号。

接着参照图2和图4说明普通信号读取操作。在从各光电转换部分D11～D33读取光电信号电荷之前，垂直扫描电路块2通过第二行选择线PRES1将高电平栅极电位提供给复位MOS晶体管M211～M231。因此，将各放大MOS晶体管M311～M331的栅极电位复位到复位电源的电位。然后，垂直扫描电路块2通过第二行选择线PRES1将低电平栅极电位提供给复位MOS晶体管M211～M231。

随后，垂直扫描电路块2通过第三行选择线PSEL1将高电平栅极电位提供给选择MOS晶体管M411～M431。然后，端子PTN向噪声信号传输开关M11～M13提供高电平栅极电位。通过上述操作，噪声信号保持电容器CTN1～CTN3可以存储包括复位噪声(即噪声信号)的复位信号。

接着，端子PTN向噪声信号传输开关M11～M13提供低电平栅极电位。接着，垂直扫描电路块2通过第一行选择线PTX1向传输MOS晶体管M111～M131提供高电平栅极电位。因此，光电转换部分D11～D33的光电信号电荷被传输到放大MOS晶体管M311～M331的栅极。

然后，垂直扫描电路块2通过第一行选择线PTX1向传输MOS晶体管M111～M131提供低电平栅极电位。随后，端子PTS向光电信号传输开关M21～M23提供高电平栅极电位。通过以上操作，光电信号保持电容器CTS1～CTS3可以存储光电信号。

接着，端子PTS向光电信号传输开关M21～M23提供低电平栅极电位。通过以上操作，可以将排列在第一行中的像素单元的噪声信号和光电信号分别保持在噪声信号保持电容器CTN1～CTN3和光电信号保持电容器CTS1～CTS3中。

接着，垂直扫描电路块2通过第二行选择线PRES1向复位MOS晶体管M211～M231提供高电平栅极电位，并且通过第一行选择线PTX1向传输MOS晶体管M111～M131提供高电平栅极电位。因此，存储在光电转换部分D11～D33中的光电信号电荷被复位。

随后，水平扫描电路块7通过列选择线H1～H3向各列的水平传输开关M41～M46顺次提供高电平栅极电位。保持在噪声信号保持电容器CTN1～CTN3和光电信号保持电容器CTS1～CTS3中的电压被顺次提供给差动电路块8。

差动电路块8从其输出端OUT顺次输出表示光电信号和噪声信号之差的输出信号。通过以上处理，可以完成排列在第一行中的像素单元的读取操作。

随后，在读取第二行的光电信号电荷之前，端子PCTR向噪声信号保持电容器CTN1～CTN3和光电信号保持电容器CTS1～CTS3的复位开关M31～M36提供高电平栅极电位。因此，噪声信号保持电容器CTN1～CTN3和光电信号保持电容器CTS1～CTS3被复位成GND电位。通过相同的方式，可以响应于从垂直扫描电路块2提供的控制信号，顺次读出排列在第二行和第三行中的像素单元的信号。从而可完成所有像素单元的读取操作。

接着，参照图5所示的时序图说明饱和光量信号读取操作。首先，在开始读取操作前进行光电电荷的存储。在普通的读取操作中，光电转换部分接收用于存储光电电荷的光。浮动扩散层307在光接收期间被不断复位。

然而，可以不复位浮动扩散层307而进行溢出浮动扩散层307的电荷的读取操作。当存储阶段结束时，光电转换部分被遮光，读取操作开始。

首先，端子PTS向光电信号传输开关M21～M23提供高电平栅极电位。响应于该高电平栅极电位，存储在浮动扩散层307中的饱和光量信号被读出到光电信号保持电容器CTS1～CTS3。

接着，端子PTS向光电信号传输开关M21～M23提供低电平栅极电位。随后，第二行选择线PRES1向复位MOS晶体管M211～M231提供高电平栅极电位。从而将浮动扩散层307复位到复位电源。然后，第二行选择线PRES1向复位MOS晶体管M211～M231提供低电平栅极电位。接着，端子PTN向噪声信号传输开关M11～M13提供高电平栅极电位。响应于该高电平栅极电位，将噪声信号读出到噪声信号保持电容器CTN1～CTN3。

通过上述操作，可将来自排列在第一行中的像素单元的噪声信号和饱和光量信号保持在连接到各像素列的噪声信号保持电容器CTN1～CTN3以及光电信号保持电容器CTS1～CTS3中。

然后，端子PTN向噪声信号传输开关M11～M13提供低电平栅极电位。接着，第二行选择线PRES1向复位MOS晶体管M211～M231提供高电平栅极电位。由此复位MOS晶体管M211～M231被复位。

随后，水平扫描电路块7通过列选择线H1～H3向各列的水平传输开关M41～M46顺次提供高电平栅极电位。结果，保持在噪声信号保持电容器CTN1～CTN3和光电信号保持电容器CTS1～CTS3中的电压被顺次读出到差动电路块8。

差动电路块8从输出端OUT顺次输出表示输入的饱和光量信号和输入的噪声信号之差的信号。A/D转换器105从差动电路块8接收输出信号(即模拟信号)，并将接收到的信号转换成数字信号。图像存储器109存储转换后的数字信号。

随后，端子PCTR向噪声信号保持电容器CTN1～CTN3和光电信号保持电容器CTS1～CTS3的复位开关M31～M36提供高电平栅极电位以将其复位到GND电位。然后，以与上述普通读取操作相同的方式读取各光电转换部分中剩余的光电转换部分信号并对其进行A/D转换，最后将其存储在图像存储器109中。

通过这种方式，进行饱和光量信号和光电转换部分信号的读取操作。然而，普通图像传感器不用来读取饱和光量信号。

在普通信号读取操作中，如图4所示，在开始读取操作之前立即复位一次浮动扩散层307(即电荷保持区域)。随后，第一行选择线PTX1提供高电平电位以传输光电转换部分信号。也就是说，即使在浮动扩散层307中发生颜色混合，在普通读取操作中也不会出现严重问题。

然而，在通过使用溢出到浮动扩散层307的饱和光量信号进行动态范围扩大的情况下，根据图5所示的上述序列进行读取操作。在这种情况下，不能在开始读取操作之前立即复位浮动扩散层307。因此，当在浮动扩散层307中发生颜色混合时出现严重问题。

尽管改变图像传感器结构可用来抑制在浮动扩散层307中出现的颜色混合，但是需要较长的时间和较高的成本。而且，如果改变图像传感器结构来消除颜色混合，则不能确保充足的用于光接收部分的面积。

考虑到上述问题，第一典型实施例可以在进行上述饱和光量信号和光电转换部分信号的读取操作的同时，使信号处理电路108进行校正颜色混合的图像处理。因此，第一典型实施例可以校正颜色混合而不需要长时间和高成本，并且可以获得具有无颜色混合的宽动态范围的图像。

接着，以下详细说明根据本典型实施例防止任何颜色混合的典型算法。

图6是示出图像传感器的像素的平面图。光电转换部分601的一个侧面通过传输栅极602连接到浮动扩散层部分603。光电转换部分601和浮动扩散层部分603之间的位置关系不限于图6所示的例子。例如，浮动扩散层部分603可以位于光电转换部分601的另一侧。

图7示出典型的颜色混合发生机构。在图7中，(x，y)表示中心像素的坐标，PD(x，y)表示中心光电转换部分的像素，FD(x，y)表示浮动扩散层的像素。当中心光电转换部分饱和时，沿图7所示的方向发生电荷的溢出。

在图7中，a(x，y)表示到像素FD(x，y)的溢出量，αa(x，y)表示到像素FD(x-1，y)的溢出量，βa(x，y)表示到像素FD(x-1，y-1)和像素FD(x-1，y+1)的溢出量，γa(x，y)表示到像素FD(x，y-1)和像素FD(x，y+1)的溢出量。

可以预先测量系数α、β和γ。本典型实施例考虑对称性来简化说明。因此，到像素FD(x-1，y-1)的溢出量等于到像素FD(x-1，y+1)的溢出量。到像素FD(x，y-1)的溢出量等于到像素FD(x，y+1)的溢出量。然而，如果图像传感器结构不具有对称性，则可以不同地确定这些系数。

当像素PD(x，y)周围的光电转换部分饱和时，沿图8所示的方向发生到像素FD(x，y)的电荷溢出。如图8所示，像素FD(x，y)接收从相关联像素PD(x，y)溢出的信号和从相邻像素PD溢出的信号。从相邻像素PD流到像素FD(x，y)的溢出信号造成了颜色混合。也就是说，可以通过以下公式(1)表示获得的信号FD(x，y)。

FD_(x，y)＝a_(x，y)+αa_(x+1，y)+β{α_(x+1，y+1)+a_(x+1，y-1)}+γ{a_(x，y+1)+a_(x，y-1)} (1)

在公式(1)中，仅右边第一项a(x，y)是将要获得的信号。所有其它分量是颜色混合分量。换句话说，可以通过去除颜色混合分量来获得a(x，y)。

图9示出图像传感器的整体结构。如图9所示，水平方向上的像素坐标从0改变到X，垂直方向上的像素坐标从0改变到Y。由x＜0、x＞X、y＜0以及y＞Y定义的区域是不包括像素的区域或光学黑体(optical black，OB)区域。也就是说，最右边阵列(x＝X)中的像素的浮动扩散层不从下一阵列(x＝X+1)接收颜色混合信号。图10是最右边像素阵列(x＝X)的放大图。

为了建立图10所示的关系，在x＝X(y＝0～Y)处的FD信号满足以下公式(2)～(7)。

FD_(X，0)＝a_(X，0)+γa_(X，1) (2)

FD_(X，1)＝a_(X，1)+γ{a_(X，0)+a_(X，2)} (3)

FD_(X，2)＝a_(X，1)+γ{a_(X，1)+a_(X，3)} (4)

……

FD_(X，Y-2)＝a_(X，Y-2)+γ{a_(X，Y-3)+a_(X，Y-1)} (5)

FD_(X，Y-1)＝a_(X，Y-1)+γ{a_(X，Y-2)+a_(X，Y)} (6)

FD_(X，Y)＝a_(X，Y)+γa_(X，Y-1) (7)

公式(7)是包括未知分量a(X，Y)和a(X，Y-1)的函数。可以将公式(7)改写成以下公式(8)。

a_(X，Y)＝FD_(X，Y)-γa_(X，Y-1) (8)

当将公式(8)代入到公式(6)中时，可以消去分量a(X，Y)。可以将公式(6)表示为包括分量a(X，Y-1)和a(X，Y-2)的函数。然后，通过使公式变形可以获得分量a(X，Y-1)，并且可将其代入到公式(5)。通过重复上述改写和代入，可以将公式(3)表示为包括分量a(X，0)和a(X，1)的函数。然后，可以基于联立线性方程(2)和(3)获得分量a(X，0)和a(X，1)。

相反，当获得分量a(X，0)和a(X，1)时，可以从公式(3)求得分量a(X，2)。当获得分量a(X，2)时，可以从公式(4)求得分量a(X，3)。然后，最终可以获得分量a(X，Y)。因此，可以获得最右列的像素阵列的所有分量a(X，0)～a(X，Y)。

接着，说明右边第二列，即与x＝X-1相对应的像素列中的颜色混合。图11是与x＝X和x＝X-1相对应的像素阵列的放大图。“x＝X-1”列的FD信号与“x＝X”列的FD信号的不同之处在于考虑了来自最右列PD的颜色混合。例如，通过以下公式(9)来表示像素FD(X-1，0)的信号。

FD_(X-1，0)＝a_(X-1，0)+αa_(X，0)+βa_(X，1)+γa_(X-1，1) (9)

右边第一项a(X-1，0)表示将要获得的从像素PD到像素FD的溢出量。而且，第二项αa(X，0)表示从像素PD(X，0)的溢出量。第三项βa(X，1)表示从像素PD(X，1)的溢出量。第四项γa(X-1，1)表示从像素PD(X-1，1)的溢出量。

在公式(9)中，作为最右列的溢出量已经获得了分量a(X，0)和a(X，1)，仅分量a(X-1，0)和a(X-1，1)是未知的。因此，与列x＝X类似地，可以通过重复改写和代入公式来获得“x＝X-1”列的像素阵列的所有分量a(X-1，0)～a(X-1，Y)。

类似地，通过顺序执行上述计算直到x变成0(x＝0)为止，可以获得每个像素中从像素PD到像素FD的溢出量。然后，可以使用该溢出量来校正在光电转换部分和浮动扩散层之间发生的颜色混合。

简而言之，通过使所获得的校正后的饱和光量信号和光电转换部分信号相加，可以获得包括较少颜色混合的图像。如果需要，可以在相加之前用适当的增益乘以校正后饱和光量信号。

图1所示的成像设备中的信号处理电路108执行上述图像处理。非易失性存储器115预先存储校正系数α、β和γ。当打开成像设备的电源时，将校正系数α、β和γ装载到易失性存储器116中。

当进行拍摄操作时，根据上述读取方法读取FD信号并将其存储到图像存储器109中。从图像存储器109中读取应用了校正处理的像素。系统控制部分114从易失性存储器116读取适当的校正系数。然后，信号处理电路108执行上述计算。

在第一典型实施例中，如图6所示，浮动扩散层603位于光电转换部分601的右侧。可选地，浮动扩散层603可以位于光电转换部分601的左侧。在这种情况下，可以从左边(x＝0)开始执行上述计算。

而且，浮动扩散层603可以位于上侧或下侧。在这种情况下，可以从上边(y＝0)或下边(y＝Y)开始执行上述计算。

而且，可以由成像设备(例如照相机)或者具有专用应用程序的个人计算机来执行第一典型实施例的处理。

第二典型实施例

接着，说明本发明的第二典型实施例。第二典型实施例与第一典型实施例的不同之处在于，根据流动方向忽略沿六个方向溢出的一些饱和信号。在许多情况下，仅使用目标像素的FD和相邻像素(例如第一典型实施例中的左相邻像素)的FD中的溢出量，可以获得满意的处理结果。

因此，第二典型实施例仅考虑位于饱和光电转换部分两侧的两个浮动扩散层来执行图像处理。第二典型实施例可以快速地完成校正处理。

第二典型实施例以与第一典型实施例类似的方式读取饱和光量信号和光电转换部分信号。图12示出第二典型实施例执行计算所基于的颜色混合模型。

如图12所示，由于第二典型实施例仅考虑位于饱和光电转换部分两侧的两个浮动扩散层，因此可以通过以下公式(10)来表示像素FD(x，y)。

FD_(x，y)＝a_(x，y)+αa_(x+1，y) (10)

然后，因为在与x＝X相对应的像素列中不考虑来自相邻PD的溢出，所以可将公式(10)改写为以下公式(11)。

FD_(X，y)＝a_(X，y) (11)

简而言之，可以直接获得要获得的值。因此，可以基于分量a(X，y)获得分量a(X-1，y)。类似地，可以基于分量a(X-1，y)获得分量a(X-2，y)。最终，可以获得分量a(0，y)。通过对所有像素行(y＝0～Y)执行上述计算，所有像素可以获得已经过颜色混合校正的FD值。

如上所述，第二典型实施例不需要二维计算，可以相应地完成校正处理。因为可以大大减轻信号处理电路108的处理负担，所以第二典型实施例在应用于成像设备(例如照相机)时有用。

第三典型实施例

接着，说明本发明的第三典型实施例。第三典型实施例与第二典型实施例的不同之处在于更加近似(approximation)。

第三典型实施例中使用的近似基于相邻的相同颜色的像素具有相同值的信号这一假定。在这种情况下，可以更简化计算。基于使用包括2×2的单位矩阵的拜耳阵列(Bayer array)的图像传感器来说明第三典型实施例。图13示出可以通过以下公式(12)来表示的典型拜耳阵列。

a_(x-1，y)＝a_(a+1，y) (12)

更具体地，两个像素FD(x-1，y)和FD(x，y)满足以下联立线性方程(13)。可以获得各分量a(x，y)和a(x-1，y)。

FD_(x-1，y)＝a_(x-1，y)+αa_(x，y) (13)

FD_(x，y)＝a_(x，y)+αa_(x-1，y)

第三典型实施例中所使用的近似仅需要目标像素和相邻像素。换句话说，根据第三典型实施例的近似不需要同一列中的所有像素。因此，该典型实施例可以例如通过忽略全部非饱和光电转换部分或其它不需要校正的部分来有效地提高处理速度。

该典型实施例当识别到光电转换部分不饱和的部分时使用以下算法执行上述近似。图14是示出第三典型实施例中所进行的图像处理的算法的流程图，其中PDn表示第n个PD像素，FDn表示第n个FD像素。此外，FD’n表示校正后的FDn信号。而且，PDsat表示当PD饱和时所产生的输出值。

首先，使用上述读取方法获得PD图像和FD图像，并将其存储在图像存储器109中(参照步骤S1和S2)。接着，从PD图像的前端(n＝0)开始顺序扫描PD图像。将所读取的PDn信号与PDsat值进行比较(参照步骤S3)。然后，如果所读取的PDn信号等于或小于PDsat值(即步骤S3为“否”)，则判断出PDn信号不饱和，且FD’n的值等于0(参照步骤S4)。另一方面，如果所读取的PDn信号大于PDsat值(即步骤S3为“是”)，则处理流程进入步骤S5。

在步骤S5，将相邻PD像素的PDn+1信号与PDsat值进行比较。然后，如果PDn+1信号等于或小于PDsat值(即步骤S5为“否”)，则判断出PDn+1像素不饱和且没有发生颜色混合。因此，FD’n的值等于FDn值(参照步骤S6)。另一方面，如果PDn+1信号大于PDsat值(步骤S5为“是”)，则求解公式(13)中定义的联立线性方程(参照步骤S7)。然后，判断出FD’n的值等于计算结果(参照步骤S8)。

对所有像素重复执行上述处理，直到“n”达到总像素数为止(参照步骤S9和S10)。当完成了所有像素的校正处理时(即步骤S9为“是”)，可以获得由已经过校正的FD信号得到的FD’图像(参照步骤S11)。然后使FD’图像与PD图像相加以获得具有宽动态范围且在较高亮度部分具有较少颜色混合的图像。

使用上述算法可以有效地减少对所有像素所需的计算时间。而且，强制切掉各非饱和像素PD的FD信号(即FD＝0)可以完全去除由杂散光(stray light)或暗电流(dark current)造成的包含在各FD信号中的暗部分噪声。如果需要去除暗部分噪声，则上述算法也可以用在第一和第二典型实施例中。

第四典型实施例

接着，说明本发明的第四典型实施例。第四典型实施例使用电荷保持区域，而不是第一到第三典型实施例中所述的浮动扩散(FD)层。根据第四典型实施例的成像设备在结构上与第一到第三典型实施例(参照图1)所述的类似。

图15示出根据第四典型实施例的图像传感器的像素结构。图15所示的图像传感器包括以二维图案排列的多个像素。

各像素包括传输MOS场效应晶体管(MOSFET)1502、传输MOSFET 1503、复位MOSFET 1506、放大MOSFET 1507以及像素选择MOSFET 1508。传输MOSFET 1502具有与光电转换部分1501和浮动扩散层部分1505相对应的源极和漏极。传输MOSFET 1503具有与电荷保持区域1504和浮动扩散层部分1505相对应的源极和漏极。

根据图15所示的例子，电荷保持区域1504布置于光电转换部分1501的下侧，然而可将电荷保持区域1504的位置改变到其它位置。第四典型实施例的图像传感器与第一典型实施例的图像传感器的不同之处在于，在同一像素中独立地设置电荷保持区域1504和浮动扩散层部分1505。

图16是示出根据第四典型实施例的图像传感器的内部结构的电路图。图16是与图15所示的像素结构相对应的等效电路。图17是示出根据第四典型实施例的图像传感器的操作的时序图。

光电转换部分1603可以将入射光转换成电荷。电荷保持区域1602存储由光电转换部分1603生成的电荷。电荷保持区域1602是独立于光电转换部分1603的遮光区域。当电荷量超过光电转换部分1603的饱和电荷量时，将部分过多电荷(即超过饱和电荷量的电荷量)放电到电荷保持区域1602。

光电转换部分1603通过第一传输部分(即传输MOSFET1604)连接到放大MOSFET 1607的栅极。放大MOSFET 1607用作源极跟随器放大器(source follower amplifier)。电荷保持区域1602通过第二传输部分(即传输MOSFET 1605)连接到放大MOSFET 1607的栅极。而且，放大MOSFET 1607的栅极连接到浮动扩散层1601。

放大MOSFET 1607可以放大光电转换部分1603和电荷保持区域1602的信号电荷。而且，放大MOSFET 1607的栅极连接到复位MOSFET 1606。当复位MOSFET 1606导通时，将浮动扩散层1601复位到电源电压VDD的电位。

当像素选择MOSFET 1608导通时，放大MOSFET 1607激活且可以放大各信号。根据各信号的类型通过传输MOSFET 1609～1611将放大后的信号分别传输到存储饱和光量信号的电容器1612、存储光电转换部分信号的电容器1613以及存储偏置噪声的电容器1614。

参照图17所示的时序图说明读取处理的例子。在T1之前的定时，电位φres为正电位且电位φtx、φty、φsel、φCtsFD、φCtsPD以及φCtn为0V。因此，复位MOSFET 1606处于ON状态。电源电位VDD被提供给浮动扩散层1601。

接着，在定时T1施加作为正脉冲的电位φtx和φty。结果，传输MOSFET 1604和传输MOSFET 1605均导通。将电源电位VDD施加到浮动扩散层1601、电荷保持区域1602以及光电转换部分1603中的每一个以进行复位。

在完成复位之后，电位φres降低到0V以关断复位MOSFET1606。然后，电位φtx和φty均变为1.3V以使光电转换部分1603、电荷保持区域1602和浮动扩散层1601均进入浮动状态。此时，还没有打开机械快门102。因此，还没有开始在光电转换部分1603存储光电电荷。

接着，在定时T2打开机械快门102以开始在光电转换部分1603接收光。因此，光电转换部分1603开始生成并存储光电电荷。如果光电转换部分1603接收弱光，则光电转换部分1603不可能饱和。没有电荷从光电转换部分1603流入电荷保持区域1602。

另一方面，如果光电转换部分1603接收强光，则光电转换部分1603可能饱和，且部分电荷溢出光电转换部分1603且流入电荷保持区域1602。

接着，在定时T3关闭机械快门102以终止在光电转换部分1603进行接收。因此，光电转换部分1603停止光电电荷的生成和存储。

接着，在定时T4施加作为正脉冲的电位φty。结果，传输MOSFET 1605导通。将存储在电荷保持区域1602中的电荷读出到浮动扩散层1601。

在图17中，浮动扩散层1601的电位FD用实线和虚线来表示。实线表示在光电转换部分1603接收弱光且没有电荷溢出光电转换部分1603并流入电荷保持区域1602的情况下的电位FD的变化。另一方面，虚线表示在光电转换部分1603接收强光且电荷从光电转换部分1603流到电荷保持区域1602的情况下的电位FD的变化。当从电荷保持区域1602将电荷读出到浮动扩散层1601时，浮动扩散层1601具有降低的电位。

接着，在定时T5，电位φsel从0V跳到正电位。结果，选择MOSFET 1608导通，且信号输出线1617激活。用作源极跟随器放大器的放大MOSFET 1607根据浮动扩散层1601的电位生成到信号输出线1617的输出电压。

接着，在定时T6施加作为正脉冲的电位φCts FD。结果，传输MOSFET 1609导通且电容器1612存储与浮动扩散层1601的电位相对应的信号输出线1617的电位。如果像素的光电转换部分1603不饱和，则没有电荷流入电荷保持区域1602。电容器1612存储与浮动扩散层1601的复位电压VDD相对应的输出。另一方面，如果光电转换部分1603接收强光，则光电转换部分1603可能饱和。在这种情况下，电容器1612存储比浮动扩散层1601的复位电压VDD低的输出。

接着，在定时T7施加作为正脉冲的电位φres。结果，复位MOSFET 1606导通。浮动扩散层1601被再次复位到电源电位VDD。

接着，在定时T8施加作为正脉冲的电位φCtn。结果，传输MOSFET 1611导通，且电容器1614在浮动扩散层1601被复位的条件下存储信号输出线1617的偏置噪声电压。

接着，在定时T9施加作为正脉冲的电位φtx。结果，传输MOSFET 1604导通。存储在光电转换部分1603中的电荷被读出到浮动扩散层1601。

接着，在定时T10施加作为正脉冲的电位φCtsPD。结果，传输MOSFET 1610导通。电容器1613存储与从光电转换部分1603读出到浮动扩散层1601中的电荷相对应的信号输出线1617的电压。

接着，在定时T11将电位φsel降低到0V。结果，选择MOSFET1608关断且信号输出线1617变为不激活。接着，在定时T12提供作为正电位的电位φres。结果，复位MOSFET 1606导通，且浮动扩散层1601的电位固定到电源电位VDD。

通过上述处理，电容器1614可以存储与偏置噪声相对应的电荷。电容器1612可以存储与从光电转换部分1603到电荷保持区域1602的溢出量相对应的电荷。电容器1613可以存储与存储在光电转换部分1603中的电荷相对应的电荷。

例如，差动放大器1615产生表示电容器1612的信号电压和电容器1614的噪声电压之差的输出电压。差动放大器1616产生表示电容器1613的信号电压和电容器1614的噪声电压之差的输出电压。然后，可以将从差动放大器1615产生的输出信号作为饱和光量信号取出。将从差动放大器1616产生的输出信号作为光电转换部分信号取出。可以将饱和光量信号和光电转换部分信号都存储在图像存储器109中(参照图1)。

可以以与第一到第三典型实施例类似的方式进行应用于从电荷保持区域读出的饱和光量信号的颜色混合校正处理。然而，如果以与第一或第二典型实施例类似的方式进行该处理，则考虑到电荷保持区域和光电转换部分之间的位置关系，可以恰当地选择待校正的第一部分(像素行，像素列)。

例如，当如图15所示电荷保持区域1504位于光电转换部分1501的下侧时，可以从像素阵列的下端(即图9中的y＝Y)开始计算。而且，可以以与第二或第三典型实施例类似的方式进行校正处理中使用的近似。在这种情况下，当如图15所示电荷保持区域1504位于光电转换部分1501的下侧时，仅将近似应用于垂直方向(y方向)。

可以通过执行各种基于处理的程序的计算机来实现本发明的上述典型实施例。而且，为了实现本发明的典型实施例，可以使用任何计算机可读的记录介质(例如光盘-ROM(CD-ROM))向计算机提供程序。可以使用因特网等任何传送介质来传送程序。

而且，本发明包括可用来实现上述典型实施例的任何程序、任何记录介质、任何传送介质以及任何程序产品。

尽管参照典型实施例说明了本发明，但应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释以包括所有修改、等同结构和功能。

Claims

1.一种成像设备，其包括：

多个像素部分，各自包括光电转换部分和保持部分，其中所述保持部分用来保持包含从相同像素部分的光电转换部分溢出的饱和信号和用作颜色混合分量的从其它像素部分的光电转换部分溢出的饱和信号的混合饱和信号；

颜色混合校正部分，用于校正包含在从所述保持部分读出的所述混合饱和信号中的颜色混合分量；以及

合成部分，用于对从所述光电转换部分读出的光电转换信号和通过所述颜色混合校正部分校正的校正后饱和信号进行合成。

2.根据权利要求1所述的成像设备，其特征在于，还包括存储部分，该存储部分用于存储表示流入其它像素部分的保持部分的饱和信号与流入相同像素部分的保持部分的饱和信号之比的比值数据，

其中，所述颜色混合校正部分基于所述混合饱和信号的水平和所述比值数据，计算所述校正后饱和信号。

3.根据权利要求2所述的成像设备，其特征在于，以沿水平方向和垂直方向延伸的二维图案排列所述多个像素部分，以及

其中，所述比值数据包括第一比值数据、第二比值数据和第三比值数据，其中所述第一比值数据表示流入在水平方向上相邻的像素部分的保持部分的饱和信号与流入相同像素部分的保持部分的饱和信号之比，所述第二比值数据表示流入在垂直方向上相邻的像素部分的保持部分的饱和信号与流入相同像素部分的保持部分的饱和信号之比，以及所述第三比值数据表示流入在对角方向上相邻的像素部分的保持部分的饱和信号与流入相同像素部分的保持部分的饱和信号之比。

4.根据权利要求1所述的成像设备，其特征在于，当来自在布置所述保持部分的方向上相邻的像素部分的光电转换部分的光电转换信号具有大于预定水平的信号水平时，所述颜色混合校正部分用来校正包含在所述混合饱和信号中的所述颜色混合分量。

5.一种用于成像设备的方法，该成像设备包括多个像素部分，所述多个像素部分各自包括光电转换部分和保持部分，其中所述保持部分用来保持包含从相同像素部分的光电转换部分溢出的饱和信号和用作颜色混合分量的从其它像素部分的光电转换部分溢出的饱和信号的混合饱和信号，所述方法包括：

校正包含在从所述保持部分读出的所述混合饱和信号中的颜色混合分量；以及

对从所述光电转换部分读出的光电转换信号和经过颜色混合校正的校正后饱和信号进行合成。