CN101277374A - 驱动固态成像器的方法和装置、成像设备和图像合成方法 - Google Patents
驱动固态成像器的方法和装置、成像设备和图像合成方法 Download PDFInfo
- Publication number
- CN101277374A CN101277374A CNA2008100906078A CN200810090607A CN101277374A CN 101277374 A CN101277374 A CN 101277374A CN A2008100906078 A CNA2008100906078 A CN A2008100906078A CN 200810090607 A CN200810090607 A CN 200810090607A CN 101277374 A CN101277374 A CN 101277374A
- Authority
- CN
- China
- Prior art keywords
- signal
- electron multiplication
- transfer path
- multiplication
- solid state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003384 imaging method Methods 0.000 title claims abstract description 34
- 230000002194 synthesizing effect Effects 0.000 title claims description 4
- 238000012546 transfer Methods 0.000 claims description 78
- 239000007787 solid Substances 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
给出了一种驱动固态成像装置的方法,该固态成像装置包括排列成二维阵列的多个像素,多个像素中的各个像素按照入射光量累积信号电荷。该方法包括:以第一倍增系数对第一信号电荷进行电子倍增,以输出第一图像信号;和以第二倍增系数对第二信号电荷进行电子倍增,以输出第二图像信号,至少第一和第二图像信号是同一对象场景的图像信号并且是相继输出的。
Description
本申请基于2007年3月30日提交的日本专利申请2007-94675并且要求该日本专利申请的优先权,该日本专利申请的全部公开内容以引用的方式并入本文。
技术领域
本发明涉及用于驱动固态成像装置的方法和装置、成像设备和该成像设备中的图像合成方法,这些方法、装置和设备能够在宽动态范围内取得图像。
背景技术
JP-A-6-141229公开了用于获得宽动态范围图像的相机的例子。在JP-A-6-141229中,连续获取同一对象的过曝图像和欠曝图像并且对它们进行合成,以加宽图像的动态范围。
在JP-A-59-210775中,固态成像装置配备有低灵敏度像素和高灵敏度像素两种像素,并且对利用低灵敏度像素获取的低灵敏度图像数据和利用高灵敏度像素获取的高灵敏度图像数据进行合成,以加宽图像的动态范围。
在新近的固态成像装置中,像素向着更加细小的方向发展并且每像素的灵敏度和最大饱和信号量都在降低。为了克服灵敏度的降低,在表面上形成了微透镜并且每像素的光汇集效率得到了提高,但是与灵敏度相比,提高饱和信号量更为困难。这样,饱和信号量相对于灵敏度而言是不足的,并且在实际摄影时,各个像素很容易达到饱和区,且不能获得具有适当层次感的图像。
为了合成曝光不同的图像和扩大动态范围,需要增加过曝图像的曝光量和减少欠曝图像的曝光量。具体来说,当增加曝光量时,快门速度变低,造成帧频降低并且对象模糊。
由于各个像素很细小,因此也很难将像素分成低灵敏度像素和高灵敏度像素。
发明内容
本发明的实施方式的说明性的、非限定性的实施方式的目的是提供驱动固态成像装置的方法和装置、成像设备和图像合成方法,这些方法、装置和设备能够获取宽动态范围的图像,即使利用相对于灵敏度而言饱和输出信号量较小的固态成像装置也能够获取宽动态范围的图像。
按照本发明的一个方面,给出了一种驱动固态成像装置的方法,该固态成像装置包括排列成二维阵列的多个像素,该多个像素中的各个像素按照入射光量累积信号电荷,该方法包括:以第一倍增系数对第一信号电荷进行电子倍增,以输出第一图像信号;和以第二倍增系数对第二信号电荷进行电子倍增,以输出第二图像信号,至少第一和第二图像信号是同一对象场景的图像信号并且是相继输出的。
在驱动固态成像装置的方法中,第一和第二倍增系数中的至少一个可以是1。
在驱动固态成像装置的方法中,电子倍增可以是在从像素中读取信号电荷时进行的。
在驱动固态成像装置的方法中,固态成像装置可以包括垂直电荷传送路径,并且电子倍增可以是在该垂直电荷传送路径中进行的。
在驱动固态成像装置的方法中,电子倍增可以是通过在未完成在垂直电荷传送路径中传送从像素中读取的信号电荷的情况下而重复进行一项处理来进行的,该处理包括:在垂直电荷传送路径中的传送电极下方形成用于电子倍增的电位阱;和使信号电荷落入该电位阱。
在驱动固态成像装置的方法中,固态成像装置可以包括水平电荷传送路径和与该水平电荷传送路径的输出级部分相连接地设置的电子倍增传送路径,并且电子倍增可以是在该电子倍增传送路径中进行的。
在驱动固态成像装置的方法中,电子倍增可以是在每次将信号电荷传送到电子倍增传送路径中时进行的。
在驱动固态成像装置的方法中,电子倍增传送路径可以包括具有第一分支部分和第二分支部分的至少两个分支部分,并且可以通过第一分支部分输出第一图像信号,可以通过第二分支部分输出第二图像信号。
在驱动固态成像装置的方法中,第一和第二信号电荷可以是在一次曝光的情况下在同一像素中累积的并且可以是单独读取的。
在驱动固态成像装置的方法中,第一和第二信号电荷可以是在两次连续曝光的情况下在同一像素中按顺序累积的并且可以是按照累积的顺序读取的。
按照本发明的一个方面,给出了驱动固态成像装置的装置,包括执行上述驱动固态成像装置的方法的驱动单元。
按照本发明的一个方面,给出了一种成像设备,包括:固态成像装置;和驱动单元,该驱动单元执行上述驱动固态成像装置的方法。
该成像设备可以此外还包括合成单元,该合成单元对从固态成像装置输出的第一和第二图像信号进行合成。
该成像设备可以此外还包括:操作单元,该操作单元给出关于是否需要扩大第一和第二图像信号的合成图像信号的动态范围的指令或者关于动态范围的宽度的指令;和倍增控制单元,该倍增控制单元控制第一和第二倍增系数之间的关系,从而执行所述指令。
在该成像设备中,倍增控制单元可以控制电子倍增脉冲的电压幅度、电子倍增脉冲的脉冲宽度、和电子倍增脉冲的重复次数中的至少一项。
该成像设备此外还可以包括增益调节单元,该增益调节单元在从固态成像装置中读取第一和第二图像信号的时候按照第一和第二电子倍增系数来设定在后级处理中被运用的增益。
按照本发明的一个方面,给出了一种上述成像设备中对图像进行合成的方法,包括:分别对第一和第二图像信号进行成像处理,该第一和第二图像信号是从固态成像装置中输出的;和将经历过成像处理的第一和第二图像信号相加起来,以合成该图像。
在对图像进行合成的方法中,成像处理可以包括按照信号电平对加权进行伽马修正,并且进行该伽马修正处理以使得针对第一图像信号的修正量不同于针对第二图像信号的修正量。
附图说明
在考虑附图中示意性给出的本发明的示范性实施方式的情况下,本发明的特征将会表现得更加完整,其中:
图1是按照本发明的第一示范性实施方式的数码相机的框图;
图2是在图1中所示的数码相机中进行成像处理时的时序图;
图3是利用图2中的第一读脉冲将信号电荷从光电二极管读取到垂直电荷传送路径中的示意图;
图4是第一实施方式中垂直电荷传送路径中的电子倍增操作的示意图;
图5是第一实施方式中对未倍增图像数据和倍增图像数据进行合成的成像处理的示意图;
图6是本发明的第二示范性实施方式中的电子倍增的示意图;
图7是本发明的第三示范性实施方式中进行成像处理时的时序图;
图8是按照本发明的第四示范性实施方式的数码相机的框图;
图9是表示图8中所示的固态成像装置的经过改造的实例的示意图;
图10是图9中的输出两分支部分的放大图;和
图11是按照输出两分支部分的另一示范性实施方式的示意图。
具体实施方式
虽然下面将参照本发明的示范性实施方式对本发明加以介绍,但是后文的示范性实施方式及其改造方案并不对本发明构成限制。
按照本发明的示范性实施方式,由于对具有高电子倍增系数的对象图像信号和具有低电子倍增系数的对象图像进行了合成,因此在获取过曝图像时,可以在成像装置中对信号量进行放大,以便提供任何期望的过曝图像,而不用增加曝光量,从而能够增加快门速度并且能够抑制帧频降低和对象模糊。由于信号放大是在引入噪声之前在固态成像装置中进行的,因此只有信号分量得到放大并且使得获得具有良好S/N的宽动态范围的对象图像成为可能,以便在后期进行施加增益的处理。
将参照附图介绍本发明的示范性实施方式。
图1是按照本发明的第一示范性实施方式的数码相机的框图。该数码相机包括固态成像装置1。附图中所示的固态成像装置1是行间传送CCD固态成像装置并且包括在半导体基板表面上形成为二维阵列的多个光电二极管(像素)、沿着光电二极管列形成的垂直电荷传送路径(VCCD)3、沿着垂直电荷传送路径3的末端形成的水平电荷传送路径(HCCD)4和设置在水平电荷传送路径4的输出末端部分的用来按照信号电荷量输出电压值信号的放大器5。
在下面的介绍中,采用行间传送CCD固态成像装置作为实例,但是本发明也可以应用于任何其它的固态成像装置,比如全帧传送固态成像装置。
该数码相机此外还包括用于控制整个相机的中央处理单元(CPU)11、用于按照来自CPU 11的命令生成各种驱动定时信号的定时发生器(TG)12、用于按照来自定时发生器12的定时信号生成和输出驱动脉冲的各种驱动电路13、14、15和16、用于处理从放大器5输出的模拟图像信号的模拟前端(AFH)电路17和用于以下面将要详细介绍的方式临时存储数字图像信号的主存储器18。
OFD脉冲驱动器13生成溢漏(OFD)脉冲并且将该脉冲施加给固态成像装置1,V(垂直)驱动器14向垂直电荷传送路径3施加读脉冲、传送脉冲和电子倍增脉冲(下文将会详细介绍),H(水平)驱动器15向水平电荷传送路径4施加传送脉冲,并且RS(复位)脉冲驱动器16向水平电荷传送路径4的输出级施加复位脉冲。
AFE电路17对从固态成像装置1输出的模拟图像信号进行相关双采样处理、增益控制(GAIN)处理和模拟-数字转换(A/D)处理以生成数字图像信号,并且将数字图像信号临时存储在存储器18中。
图1中所示的数码相机此外还包括实现为数字信号处理器(DSP)的信号处理部分21、下面将详细介绍的电子倍增控制部分22、用于将图像信号压缩成JPEG等格式的图像数据并且对图像数据进行解压缩的压缩和解压缩电路23、用于将图像信号写入到记录介质24上并且从记录介质24上读取图像信号的介质接口部分25、用于将这些部件、存储器18和CPU 11相互连接起来的总线27和用于使用户向CPU11输入命令的操作部分28。操作部分28配备有R/D设定部分28a,用于使用户输入关于所获取图像动态范围的放大存在或不存在(即,关于是否需要放大图像的动态范围)的指令(命令)或者关于动态范围宽度的指令。
信号处理部分21包括伽马修正部分21a、AE/AF计算部分21b、AWB计算部分21c、合成计算部分21d、增益控制部分21e和亮度和颜色差处理部分21f。
图2是利用图1中所示的数码相机获取对象图像时的时序图。成像处理是按照垂直同步信号VD和水平同步信号HD进行的。终止施加OFD脉冲31的时刻a与关闭机械快门的时刻b之间的时间间隔是曝光时间段,在此期间,各个光电二极管2按照曝光量累积信号电荷(在很多情况下,是电子)。
如果用户通过图1中的操作部分28输入动态范围扩大的指令,则电子倍增控制部分22输出代表动态范围扩大指令的IE控制信号32并且固态成像装置1此后的驱动控制将会基于这一指令进行。
首先,从关闭机械快门的时刻b开始进行垂直电荷传送路径3和水平电荷传送路径4的高速扫除处理33,然后将读脉冲34施加到读取电极上。
此时,对读脉冲34的脉冲宽度和幅度二者或之一加以控制并且将各个光电二极管2中累积的电荷的50%读取到垂直电荷传送路径3上。图3是将信号电荷从光电二极管2读取到垂直电荷传送路径3中的示意图。信号电荷在光电二极管2中累积,并且当把读脉冲34施加到读取选通门35上时,施加到靠近读取选通门35的部分上的电场很强,这样信号电荷会按照从较为接近读取选通门35的信号电荷开始的顺序流入垂直电荷传送路径3。
这样,对读脉冲34的脉冲宽度加以控制并且对幅度进行调节以进行电场控制,从而能够将光电二极管2中的累积电荷的50%读取到垂直电荷传送路径3中。JP-A-7-322147公开了一种在不止一次操作中读取同一光电二极管中累积的电荷的方法。
所读取的信号电荷量的百分比不必是50%,可以是固态成像装置1的像素2中的恒定百分比,比如30%、40%或50%。不过,我们认为,如果施加同样的读脉冲,像素中的读取百分比会由于固态成像装置1的制造误差而出现很大的变化。在这种情况下,在固态成像装置完成制造之后进行测试时,可以用相同亮度的光照射固态成像装置1并且可以得出在用相同读脉冲读取信号电荷时的读取百分比变化量并且将其保存在存储器等中来作为用于后续处理中的数据修正的修正数据。
接下来,进行将利用读脉冲34读取的信号电荷传送到垂直电荷传送路径3和水平电荷传送路径4的处理,并且从输出放大器5输出这些信号并在AFE电路17中将这些信号转换成数字图像数据,然后将数字图像数据保存在存储器18中。为了介绍方便,将这一图像数据称为″未倍增图像数据″。
在从固态成像装置1输出未倍增图像数据之后,再次进行垂直电荷传送路径3和水平电荷传送路径4的高速扫除处理38,然后对垂直电荷传送路径3施加电子倍增脉冲39。据此,将图3中光电二极管2中剩余的信号电荷40读取到垂直电荷传送路径3中。
图4是电子倍增脉冲的示意图。在图4所示的例子中,在传送电极V3和V4下部形成电位阱,并且在将电子倍增脉冲39的第一脉冲施加到电极V3上时,光电二极管2的残留信号电荷40会流入该电位阱。
在常用的CCD固态成像装置中,将信号电荷读取到垂直电荷传送路径中,然后再沿着朝向水平电荷传送路径的方向传送这些信号电荷。不过,在本实施方式的固态成像装置中,信号电荷并不是立即传送的,并且在垂直电荷传送路径中进行信号电荷的电子倍增。在图4中所示的例子中,针对在时刻T3的状态下的信号电荷,即,保留在电极V2、V3、V4、V5和V6下方的信号电荷,而在时刻T4在电极V4下方形成深电位阱。
例如,如果将大约15V的电压施加到电极V4上并且形成深电位阱,则信号电荷将会落到电极V4下方的电位阱中,由于雪崩效应而发生电子倍增。如果一次的电子倍增系数较低,为大约1%至2%,则重复给出10次到50次电子倍增脉冲,从而总共可以获得两倍或三倍的电子倍增系数。
JP-A-2002-290836公开了对垂直电荷传送路径进行电子倍增。
通过改变脉冲39的数量可以控制电子倍增系数,并且也可以通过改变一次的电子倍增系数来控制电子倍增系数。一次电子倍增系数可以按照图4中的时刻T4所示的在电极V4下方形成的电位阱的深度(即,脉冲振幅)来加以控制,并且也可以按照脉冲宽度(时刻T4的状态的保持时间)来加以控制。
在进行了信号电荷的电子倍增之后,进行在垂直电荷传送路径3和水平电荷传送路径4中传送信号电荷的输出处理41,并且从输出放大器5输出这些信号并在AFE电路17中将这些信号转换成数字图像数据,然后将数字图像数据保存在存储器18中作为除了未倍增图像数据之外的倍增图像数据。
图1中的信号处理部分21进行对未倍增图像数据和倍增图像数据的成像处理,以对这两种数据进行相加和合成,从而生成动态范围得到扩大的图像数据,如图所示5。
在图5的处理中,对倍增图像数据和未倍增图像数据进行偏移处理43a和43b,然后进行增益调节44a和44b,然后进行线性矩阵处理45a和45b,进行白平衡处理46a和46b,进行伽马修正处理47a和47b(对倍增图像数据和未倍增图像数据施加不同的γ值),然后进行层次处理48a和48b,最后由加法器49将倍增图像数据和未倍增图像数据二者相加起来,以对它们进行合成。
压缩和解压缩电路23由合成图像生成JPEG图像数据并且将JPEG图像数据写入到记录介质24上。还可以将倍增图像数据和未倍增图像数据按原状作为RAW数据记录在记录介质24上,并且在个人计算机等中使用合成软件对倍增图像数据和未倍增图像数据进行合成,同时由用户利用前面提到的修正数据进行修正。
由于合成图像数据的动态范围取决于所要合成的倍增图像数据的电子倍增系数和第一次读取的信号电荷的百分比,因此倍增控制部分22预先具有针对各种动态范围扩大宽度的各种摄影条件的读脉冲34和电子倍增脉冲39的脉冲宽度、幅度和倍增重复次数等的数据。如果用户通过R/D设定部分28a指定了动态范围扩大宽度,则可以自动控制最佳脉冲宽度、最佳幅度和最佳倍增重复次数等。
按照前面介绍的实施方式,可以扩大所获取图像的动态范围。在前面给出的介绍中,作为实例,首先读取未倍增图像数据,然后再读取倍增图像数据,并且将它们相加起来并加以合成,但是读取的顺序也可以是相反的。数据不必是″未″倍增图像数据(电子倍增系数=1)并且如果一个图像数据与另一个图像数据在电子倍增系数方面不同,则可以通过对这些数据进行合成来扩大动态范围。可以对三段电子倍增系数不同的图像数据进行合成,而不是对两端电子倍增系数不同的图像数据进行合成。这同样适用于后面介绍的其它实施方式。
图6是按照本发明的第二示范性实施方式的驱动固态成像装置的方法的示意图。在第一实施方式中,在电子倍增过程中是对垂直电荷传送路径进行驱动,以便倍增所要合成的图像数据。也可以在将信号电荷从光电二极管2读取到垂直电荷传送路径3中时执行电子倍增,而不是在垂直电荷传送路径中进行电子倍增。例如,JP-A-5-335549公开了在从光电二极管中读取电荷时进行电子倍增。
为了将信号电荷从光电二极管2中读取到垂直电荷传送路径3中,选通长度越短并且读脉冲幅度越大,光电二极管2和垂直电荷传送路径3之间形成的电位梯度越陡峭。电子倍增系数与电位梯度成正比,这样可以通过控制电位梯度来控制电子倍增系数。
因此,为了将其应用于第一实施方式,在读取最初的50%信号电荷时,进行正常的读出操作并且从固态成像装置中输出图像信号,并且在读取剩余的50%信号电荷时,施加高电压读脉冲,以便执行电子倍增,从而可以提供宽动态范围的图像数据。
在将信号电荷从光电二极管读出时造成电子倍增的情况下,不能象第一实施方式那样重复数次电子倍增,并且因此需要提升一次电子倍增系数。也可以与第一实施方式的垂直电荷传送路径中的电子倍增一起使用电子倍增。
在从光电二极管中读出信号电荷时促使电子倍增发生的实施方式不仅可以应用于CCD固态成像装置,而且还可以应用于CMOS固态成像装置的驱动。在这两种装置中,对未倍增图像数据和倍增图像数据加以合成,从而能够扩大动态范围。
图7是表示按照本发明的第三示范性实施方式的驱动固态成像装置的方法的时序图。在第一实施方式中,将一次曝光处理中光电二极管内累积的信号电荷分成两段来读取,并且将一段读取为未倍增图像数据而将另一段读取为倍增图像数据。可以对同一对象相继进行两次曝光处理,一次可以是未倍增图像数据,另一次可以是倍增图像数据。
首先,在第一曝光时间段51中获取对象图像,并且按原样读取图像数据,并将其存储在存储器18中作为数字的未倍增图像数据。在第二曝光时间段52内,获取同一对象的图像,并且以前面参照图4介绍的方式在垂直电荷传送路径中对图像数据进行电子倍增,然后将该数据存储在存储器18中作为倍增图像数据。通过进行图5中的成像处理来对未倍增图像数据和倍增图像数据进行合成,从而可以象第一实施方式中那样扩大动态范围。
在第一实施方式中,如果获取的是运动图像,则不会造成重影图像。不过,在第三实施方式中,当获取的是运动图像时,我们担心由第一次曝光给出的图像和由第二次曝光给出的图像可能会彼此偏离,造成重影图像。不过,如果获取的是静止图像,则造成重影图像的可能性很小。在第三实施方式中,也可以改变第一摄影条件和第二摄影条件,比如快门速度。
图8是按照本发明的第四示范性实施方式的数码相机的框图。该数码相机与第一实施方式的数码相机的不同之处在于所安装的固态成像装置。第四实施方式中使用的固态成像装置61与第一实施方式中使用的数码相机的不同之处在于,它包括处于水平电荷传送路径4的输出级的电子倍增传送路径62,并且因此包括电子倍增传送脉冲驱动器63。与之前参照附图介绍的部件相同的部件在图8中用相同的附图标记标出,并且不再进行讨论。例如,JP-A-2003-347317公开了在水平电荷传送路径的输出末端部分处包括电子倍增传送路径。
在第四实施方式中,从垂直电荷传送路径3的末端部分传送到离开该末端部分的位置上的信号电荷被传送到输出放大器5,同时在电子倍增传送路径62中的各级进行信号电荷的电子倍增。虽然每一级的电子倍增系数较小,为大约1%至2%,但是信号电荷的传送和倍增要经过50到100级,从而电子倍增系数可以变为两倍或三倍。当然,电子倍增系数也可以按照电子倍增脉冲的幅度发生改变。
在该实施方式中,可以对多段图像数据进行合成,这些图像数据是所获取的同一场景的图像的数据并且它们的电子倍增系数不同,从而提供了动态范围得到扩大的图像。
图9是具有两支路输出部分的固态成像装置70的平面示意图,用来表示图8中所示的固态成像装置61的经过修改的例子。固态成像装置70的水平电荷传送路径4的末端部分是具有两支路输出部分的电子倍增传送路径71。
图10是图9中的两支路输出部分的放大图。电子倍增传送路径71被分支为通过分支部分72平行设置的倍增支路传送路径73和74。一个倍增支路传送路径73的传送级的个数较小,并且在输出末端部分设置有用于按照信号电荷量输出电压值信号的第一放大器75。另一个倍增支路传送路径74的传送级的个数较大,并且在输出末端部分设置有用于按照信号电荷量输出电压值信号的第二放大器76。
在输出未倍增图像数据的情况下,在分支部分72处将通过水平电荷传送路径4传送的未倍增图像数据分支到传送路径73上。由于分支传送路径73的传送级的个数较小,因此电子倍增系数较小,并且分支传送路径73用于输出未倍增图像数据。
在输出倍增图像数据的情况下,在分支部分72处将未倍增图像数据分支到传送路径74上。由于分支传送路径74的传送级的个数较大,因此电子倍增系数较高,并且分支传送路径74用于输出倍增图像数据。
图11是两支路输出部分的另一种实施方式的放大图。虽然在图10中的实施方式中,电子倍增系数是按照传送级的个数来控制的,但是在图11的实施方式中,一个分支传送路径的传送级的个数与另一个分支传送路径的传送级个数之间的差仅为一级。在该实施方式中,电子倍增系数是通过控制传送脉冲幅度来加以控制的,而不是按照传送级的个数控制的。
就是说,利用幅度与水平电荷传送路径4相同的低电压传送脉冲来在分支传送路径73上传送信号电荷,并且从输出放大器75输出未倍增图像数据。另一方面,利用高电压传送脉冲来在分支传送路径74上传送信号电荷,并且从输出放大器76输出经历过电子倍增的倍增图像数据。
按照前面介绍的实施方式,还可以利用具有细小像素的固态成像装置获取宽动态范围的图像,并且如果进一步为固态成像装置提供更大量的像素,则能够提供能够以宽动态范围的高灵敏度进行拍摄的固态成像装置和成像设备。
在前面介绍的实施方式中,介绍的是安装有机械快门的成像设备,但是这些实施方式还可以应用于没有安装机械快门的利用电子快门控制曝光时间段的情况。在这种情况下,第一曝光时间段是从停止OFD脉冲开始到第一读脉冲,第二曝光时间段是从第一读脉冲开始到下一个读脉冲。
虽然介绍的是第一到第四实施方式以及经过改造的实例,但是也可以以任何组合方式使用它们,来提升倍增系数。
如果将按照这些实施方式的驱动固态成像装置的方法应用于安装有具有大量像素的固态成像装置的数码相机,该方法将会是非常有用的,因为它提供了能够在具有细小像素的固态成像装置中获取宽动态范围的图像的优点。
Claims (18)
1.一种驱动固态成像装置的方法,该固态成像装置包括排列成二维阵列的多个像素,所述多个像素中的各个像素按照入射光量累积信号电荷,
该方法包括:
以第一倍增系数对第一信号电荷进行电子倍增,以输出第一图像信号;和
以第二倍增系数对第二信号电荷进行电子倍增,以输出第二图像信号,
至少第一和第二图像信号是同一对象场景的图像信号并且是相继输出的。
2.按照权利要求1所述的方法,其中第一和第二倍增系数中的至少一个是1。
3.按照权利要求1所述的方法,其中电子倍增是在从像素中读取信号电荷时进行的。
4.按照权利要求1所述的方法,其中固态成像装置包括垂直电荷传送路径,并且电子倍增是在该垂直电荷传送路径中进行的。
5.按照权利要求4所述的方法,其中电子倍增是通过在未完成在垂直电荷传送路径中传送从像素中读取的信号电荷的情况下重复进行一项处理来进行的,该处理包括:
在垂直电荷传送路径中的传送电极下方形成用于电子倍增的电位阱;和
使信号电荷落入该电位阱。
6.按照权利要求1所述的方法,其中固态成像装置包括水平电荷传送路径和与该水平电荷传送路径的输出级部分相连接地设置的电子倍增传送路径,并且电子倍增是在该电子倍增传送路径中进行的。
7.按照权利要求6所述的方法,其中电子倍增是在每次将信号电荷传送到电子倍增传送路径中时进行的。
8.按照权利要求6所述的方法,其中电子倍增传送路径包括具有第一分支部分和第二分支部分的至少两个分支部分,并且通过第一分支部分输出第一图像信号,通过第二分支部分输出第二图像信号。
9.按照权利要求1所述的方法,其中第一和第二信号电荷是在一次曝光的情况下在同一像素中累积的并且是单独读取的。
10.按照权利要求1所述的方法,其中第一和第二信号电荷是在两次连续曝光的情况下在同一像素中按顺序累积的并且是按照累积的顺序读取的。
11.一种驱动固态成像装置的装置,包括执行权利要求1所述的方法的驱动单元。
12.一种成像设备,包括:
固态成像装置;和
驱动单元,其执行权利要求1所述的方法以驱动该固态成像装置。
13.按照权利要求12所述的成像设备,此外还包括合成单元,该合成单元对从固态成像装置输出的第一和第二图像信号进行合成。
14.按照权利要求13所述的成像设备,此外还包括:
操作单元,该操作单元给出关于是否需要扩大第一和第二图像信号的合成图像信号的动态范围的指令或者关于动态范围的宽度的指令;和
倍增控制单元,该倍增控制单元控制第一和第二倍增系数之间的关系,从而执行所述指令。
15.按照权利要求14所述的成像设备,其中倍增控制单元控制电子倍增脉冲的电压幅度、电子倍增脉冲的脉冲宽度、和电子倍增脉冲的重复次数中的至少一项。
16.按照权利要求15所述的成像设备,此外还包括增益调节单元,该增益调节单元在从固态成像装置中读取第一和第二图像信号的时候按照第一和第二电子倍增系数来设定在后级处理中被运用的增益。
17.用于在权利要求12所述的成像设备中对图像进行合成的方法,包括:
分别对第一和第二图像信号进行成像处理,所述第一和第二图像信号是从固态成像装置中输出的;和
将经历过成像处理的第一和第二图像信号相加起来,以合成该图像。
18.按照权利要求17所述的方法,其中所述成像处理包括按照信号电平对加权进行伽马修正,并且进行该伽马修正处理以使得针对第一图像信号的修正量不同于针对第二图像信号的修正量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007-094675 | 2007-03-30 | ||
JP2007094675A JP4958602B2 (ja) | 2007-03-30 | 2007-03-30 | 撮像装置及びその画像合成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101277374A true CN101277374A (zh) | 2008-10-01 |
Family
ID=39793612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2008100906078A Pending CN101277374A (zh) | 2007-03-30 | 2008-03-31 | 驱动固态成像器的方法和装置、成像设备和图像合成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20080239129A1 (zh) |
JP (1) | JP4958602B2 (zh) |
CN (1) | CN101277374A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102301695A (zh) * | 2009-01-30 | 2011-12-28 | 浜松光子学株式会社 | 固体摄像装置 |
CN102547165A (zh) * | 2010-12-20 | 2012-07-04 | 全视科技有限公司 | 用于处理由具有电荷倍增输出通道及电荷感测输出通道的图像传感器捕获的图像的方法 |
CN102538757A (zh) * | 2011-11-08 | 2012-07-04 | 昆明理工大学 | 亮源及其周边暗源目标的观测方法 |
CN101742336B (zh) * | 2008-11-21 | 2013-06-12 | 奥林巴斯映像株式会社 | 图像处理装置以及图像处理方法 |
US8520111B2 (en) | 2009-01-30 | 2013-08-27 | Hamamatsu Photonics K.K. | Solid-state imaging device including a plurality of units each having a corner register |
CN106454159A (zh) * | 2016-10-21 | 2017-02-22 | 北方电子研究院安徽有限公司 | 一种高动态emccd图像传感器 |
CN106454167A (zh) * | 2016-11-16 | 2017-02-22 | 中国电子科技集团公司第四十四研究所 | Ccd片上读出电路及其控制方法 |
CN106506998A (zh) * | 2016-11-07 | 2017-03-15 | 中国电子科技集团公司第四十四研究所 | 一种高动态响应范围ccd图像传感器 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7969492B2 (en) * | 2007-08-28 | 2011-06-28 | Sanyo Electric Co., Ltd. | Image pickup apparatus |
JP5355026B2 (ja) * | 2008-10-09 | 2013-11-27 | キヤノン株式会社 | 撮像装置 |
JP5230376B2 (ja) | 2008-11-28 | 2013-07-10 | 三星電子株式会社 | 撮像装置及び撮像方法 |
JP2010135625A (ja) * | 2008-12-05 | 2010-06-17 | Sanyo Electric Co Ltd | センサ装置 |
US8553126B2 (en) * | 2010-12-14 | 2013-10-08 | Truesense Imaging, Inc. | Image sensor with charge multiplication |
WO2012082676A1 (en) * | 2010-12-14 | 2012-06-21 | Truesense Imaging, Inc. | Image sensor with charge multiplication |
US8479374B2 (en) | 2010-12-14 | 2013-07-09 | Truesense Imaging, Inc. | Method of producing an image sensor having multiple output channels |
US8773564B2 (en) * | 2010-12-14 | 2014-07-08 | Truesense Imaging, Inc. | Image sensor with charge multiplication |
FR2973162B1 (fr) * | 2011-03-23 | 2013-11-22 | E2V Semiconductors | Capteur d'image a tres haute dynamique |
JP2015088784A (ja) * | 2013-10-28 | 2015-05-07 | キヤノン株式会社 | 撮像装置 |
WO2019144540A1 (zh) * | 2018-01-29 | 2019-08-01 | 安徽云塔电子科技有限公司 | 智能传感器系统架构及其实现方法、装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69231482T2 (de) * | 1991-07-11 | 2001-05-10 | Texas Instruments Inc | Für einen CCD-Bildsensor mit kleiner Bildpunktgrösse geeigneter Ladungsvervielfachungsdetektor (CMD) |
JPH05335549A (ja) * | 1992-06-01 | 1993-12-17 | Matsushita Electric Ind Co Ltd | 固体撮像装置およびその駆動方法 |
JP3074967B2 (ja) * | 1992-10-27 | 2000-08-07 | 松下電器産業株式会社 | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 |
JP3447326B2 (ja) * | 1993-06-25 | 2003-09-16 | 日本放送協会 | 固体撮像素子 |
US6407215B1 (en) * | 1995-05-18 | 2002-06-18 | Thomas Jefferson University | Antibodies to Mch2, an apoptotic cysteine protease |
JP2001029313A (ja) * | 1999-05-18 | 2001-02-06 | Olympus Optical Co Ltd | 内視鏡装置 |
US6278142B1 (en) * | 1999-08-30 | 2001-08-21 | Isetex, Inc | Semiconductor image intensifier |
GB2371403B (en) * | 2001-01-18 | 2005-07-27 | Marconi Applied Techn Ltd | Solid state imager arrangements |
JP2003037846A (ja) * | 2001-07-23 | 2003-02-07 | Fuji Photo Film Co Ltd | カラー撮像装置およびその制御方法 |
JP2003158679A (ja) * | 2001-08-20 | 2003-05-30 | Fuji Photo Film Co Ltd | 電荷増倍型固体電子撮像装置およびその制御方法 |
JP2004032171A (ja) * | 2002-06-24 | 2004-01-29 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2005131129A (ja) * | 2003-10-30 | 2005-05-26 | Olympus Corp | 撮像装置及び内視鏡装置 |
JP2005167832A (ja) * | 2003-12-04 | 2005-06-23 | Canon Inc | 撮像装置 |
JP4751617B2 (ja) * | 2005-01-21 | 2011-08-17 | 株式会社日立ハイテクノロジーズ | 欠陥検査方法及びその装置 |
-
2007
- 2007-03-30 JP JP2007094675A patent/JP4958602B2/ja active Active
-
2008
- 2008-03-27 US US12/057,233 patent/US20080239129A1/en not_active Abandoned
- 2008-03-31 CN CNA2008100906078A patent/CN101277374A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101742336B (zh) * | 2008-11-21 | 2013-06-12 | 奥林巴斯映像株式会社 | 图像处理装置以及图像处理方法 |
CN102301695A (zh) * | 2009-01-30 | 2011-12-28 | 浜松光子学株式会社 | 固体摄像装置 |
US8520111B2 (en) | 2009-01-30 | 2013-08-27 | Hamamatsu Photonics K.K. | Solid-state imaging device including a plurality of units each having a corner register |
US8599296B2 (en) | 2009-01-30 | 2013-12-03 | Hamamatsu Photonics K.K. | Charge multiplying solid-state imaging device |
CN102246508B (zh) * | 2009-01-30 | 2014-06-18 | 浜松光子学株式会社 | 固体摄像装置 |
CN102301695B (zh) * | 2009-01-30 | 2015-02-11 | 浜松光子学株式会社 | 固体摄像装置 |
CN102547165A (zh) * | 2010-12-20 | 2012-07-04 | 全视科技有限公司 | 用于处理由具有电荷倍增输出通道及电荷感测输出通道的图像传感器捕获的图像的方法 |
CN102547165B (zh) * | 2010-12-20 | 2014-08-27 | 全视科技有限公司 | 用于处理由图像传感器捕获的图像的方法 |
CN102538757A (zh) * | 2011-11-08 | 2012-07-04 | 昆明理工大学 | 亮源及其周边暗源目标的观测方法 |
CN106454159A (zh) * | 2016-10-21 | 2017-02-22 | 北方电子研究院安徽有限公司 | 一种高动态emccd图像传感器 |
CN106506998A (zh) * | 2016-11-07 | 2017-03-15 | 中国电子科技集团公司第四十四研究所 | 一种高动态响应范围ccd图像传感器 |
CN106454167A (zh) * | 2016-11-16 | 2017-02-22 | 中国电子科技集团公司第四十四研究所 | Ccd片上读出电路及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4958602B2 (ja) | 2012-06-20 |
US20080239129A1 (en) | 2008-10-02 |
JP2008252790A (ja) | 2008-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101277374A (zh) | 驱动固态成像器的方法和装置、成像设备和图像合成方法 | |
CN101465966B (zh) | 成像设备、成像处理方法 | |
JP3492029B2 (ja) | 撮像装置 | |
WO2013031368A1 (ja) | 撮像装置、および信号処理方法、並びにプログラム | |
US5917546A (en) | Imaging apparatus | |
CN1402355A (zh) | 摄像装置 | |
JP2003319250A (ja) | 撮像装置および撮像方法 | |
US8339476B2 (en) | Image sensing apparatus and control method for same, and image sensing system | |
JP2007028236A (ja) | 撮像装置 | |
JP5400432B2 (ja) | 撮像装置、その制御方法及びカメラ | |
JP4634953B2 (ja) | 固体撮像装置および駆動方法 | |
JP3755175B2 (ja) | 固体撮像装置 | |
JP2005303653A (ja) | 撮像装置 | |
JP2019004257A (ja) | 撮像装置及びその制御方法 | |
JPH0884297A (ja) | 固体撮像装置およびその駆動方法 | |
JP3852821B2 (ja) | 固体撮像装置 | |
JP2812990B2 (ja) | 固体撮像素子並びに固体撮像素子用信号処理回路 | |
JP2647547B2 (ja) | 撮像装置及び固体撮像素子の駆動装置 | |
JPH08223488A (ja) | テレビジョンカメラ装置 | |
JP2011166511A (ja) | 撮像素子及び撮像装置及び駆動方法 | |
JP2000078479A (ja) | 固体撮像素子の駆動方法 | |
JP2003008996A (ja) | 固体電子撮像装置およびその制御方法 | |
JP2695519B2 (ja) | 撮像装置及び固体撮像素子の駆動装置 | |
JP2004304246A (ja) | 広ダイナミックレンジ撮像装置 | |
JP2004015341A (ja) | 電子的撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20081001 |