CN111656768A - 一种高动态范围图像传感器 - Google Patents

一种高动态范围图像传感器 Download PDF

Info

Publication number
CN111656768A
CN111656768A CN201880078811.XA CN201880078811A CN111656768A CN 111656768 A CN111656768 A CN 111656768A CN 201880078811 A CN201880078811 A CN 201880078811A CN 111656768 A CN111656768 A CN 111656768A
Authority
CN
China
Prior art keywords
pixels
value
pixel
pair
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880078811.XA
Other languages
English (en)
Other versions
CN111656768B (zh
Inventor
B·迪亚斯帕拉
V·里夏德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teledyne e2v Semiconductors SAS
Original Assignee
e2v Semiconductors SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by e2v Semiconductors SAS filed Critical e2v Semiconductors SAS
Publication of CN111656768A publication Critical patent/CN111656768A/zh
Application granted granted Critical
Publication of CN111656768B publication Critical patent/CN111656768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Abstract

本发明提出了一种具有功能架构和优化像素结构的图像传感器，以有利于便捷的高动态范围重建而不损失紧凑性。这种图像传感器采用两两像素竖直共享至少一个读取节点的像素结构(图2)，并且包括能够临时存储电荷的存储节点。它具有像素控制行排列，可以对同一列上的像素实施竖直控制，即控制电荷从光电二极管(PH)转移(TRA)至存储节点(MN)，并且对同一行上的像素施加其他信号，所述竖直转移控制行受到控制，以采用两个不同的曝光时间，一个用于偶数列，另一个用于奇数列。像素和读取电路受到控制，以便按竖直像素对进行读取，该读取提供数字值(Vr)，表示与该对中与列相关的曝光时间内，该对中两个像素所蓄积的电荷的模拟求和。数字处理模块用于计算每个竖直像素的内插数字值(Vir)，该值对应于另一曝光时间，并且用于通过与至少一个阈值相比较，从长曝光时间相关值和短曝光时间相关值中选择一个值，作为高动态范围数值。彩色滤色镜的周期性图案可以制作成带有HDR模式的彩色图像传感器，这是通过形成宏像素来实现的，所述宏像素覆盖4个2x2像素块，其中图案中彩色滤色镜的每种色彩对应一个像素块，这有利于每个像素块中进行额外的水平分组。

Description

一种高动态范围图像传感器
技术领域
本发明涉及一种能够提供高动态范围的输出图像的有源像素图像传感器(具有光敏元件和控制晶体管的像素结构)，尤其适用于需要制作极高对比度图像的场景。
背景技术
图像传感器的动态范围特性反映出其在同一图像中同时捕捉极亮区域内的不饱和信号和阴暗区域内的有效信号(高于噪点)的能力。这种动态范围本质上取决于像素结构(电路图和技术)以及相关传感器的像素读取电路的属性(增益、读取噪声、转换器输出深度)。在极高对比度场景的曝光条件下，传感器动态范围的固有局限体现为信息丢失：如果曝光时间短，则不会很快饱和，而在阴暗区域内，信号相对于传感器读取链的噪声太弱。如果曝光时间长，则极亮区域内的像素会达到饱和。这样的信息丢失对于某些应用程序来说至关重要，例如工业视觉、智能交通(ITS)或电子检查等应用程序。
为了满足这一需求，在研究技术和结构的同时，提出了被称为“HDR”(“HighDynamic Range”)的成像技术，以扩大传感器(CCD和CMOS)的动态范围。这种成像技术包括连续拍摄一个场景的至少两个图像，每个图像的像素曝光时间不同，然后通过图像重建算法将这两个图像组合并为一个，所述图像重建算法获得的输出图像既包含该场景在高曝光区域内的所有细节，同时也包含该场景在极弱曝光区域内的所有细节。
但是，得到的HDR输出图像可能会包含伪像(失真、模糊)，这是由于为了生成HDR输出图像而合并的图像不是同时拍摄的。因此，可能会产生抖动效果，该抖动效果会影响图像还原，从而影响相关应用程序对图像的使用。尤其是，这种技术会大大降低传感器输出图像的帧速率，或称为“frame rate”(图像数/秒)，并需要将大容量存储器集成在传感器内，这是因为必须获取并存储至少两个连续图像，以重建并在输出时提供HDR图像。
为了解决响应时间和存储的这些问题，已经提出了采用隔行扫描技术和内插值技术，以便利用对有源像素(CMOS传感器)进行控制和寻址的可能性，在同一图像拍摄期间获得(至少)两次不同曝光的相应信息。如果以两个不同曝光时间为例，原理如下：以交错或交替的方式，通过对阵列中的某些行采用第一曝光时间，对其他行采用第二曝光时间，从而只进行一次图像拍摄。通过阵列中某些行采取这种曝光时间交错分布，可以进行内插值处理，目的是获得每个像素的两条信息，这两条信息对应于两个曝光时间，其中一个曝光时间对应于读取值，并且所述读取值对应于像素曝光时间，而另一个曝光时间则对应于内插值，所述内插值是根据采用另一个曝光时间曝光的相邻行上的像素读取值获得的。然后，通过选定每个像素的最佳信息(读取值或内插值)，并在必要时进行缩放，可以重建HDR数据。例如，如果锁定较短的曝光时间，则对应于较长曝光时间的读取或内插值将除以较长曝光时间与较短曝光时间的比值(“再缩放”)。最后，分辨率因插值而略有损失，但是图像的帧速率有所提高。例如，美国专利8 405 750(Smith等人)描述了一种基于此原理并用于CMOS传感器的HDR成像技术，该技术适用于即时图像捕捉模式(全局快门)，它实际上减少了抖动现象造成的伪像：在普通积分阶段，所有像素都同时进行积分，但时间长短取决于像素所在的行；然后，在读取阶段，逐行依次读取。每一行HDR输出图像的生成，是利用一次图像拍摄的多行数据来完成的，这减少了存储量，从而可以对阵列中的多行进行内插值计算(与需要存储两个完整图像的技术相比)。该专利考虑到了像素行控制的各种场景，以便通过控制像素初始化和/或控制将像素蓄积的电荷转移至像素读取节点，从而获得各行的不同曝光时间的交错。因此，这种适用于即时捕捉模式的HDR成像技术更快、存储容量更经济，并且在伪像方面具有更好的还原效果。
美国专利US 2009/0059048提出了一种通过减少输出图像的行数来改善响应时间的附加轴：将覆盖N个不同曝光时间的连续N行像素的原始数据合并在一起，以形成最终图像中一(1)行像素的“HDR”数据。与具有(成像器)像素阵列尺寸的传感器所拍摄的图像相比，所得HDR图像的竖直分辨率(空间分辨率)要低N倍。
另外，由于视觉应用程序追求最佳信噪比，因此最好能够采用众所周知的CDS技术(相关双采样)来进行像素读取，这种技术可以通过从信号电位中减去读取节点的零电位来消除随机读取噪声。众所周知，当使用滚动式电子快门(rolling shutter)捕捉图像时，这种CDS读取技术可直接应用于CMOS像素结构。但是我们发现运动状态下可能会出现图像的伪像。采用全局电子快门(global shutter)的即时捕捉技术可以避免这类伪像。作为抵偿，如果希望能够实现低噪声读取CDS，则需要更复杂的像素结构，除了读取节点外，还需要存储节点。因此会损失像素紧凑性和打开率。
最后，关于色彩管理，所述HDR成像技术与集成在彩色图像传感器中的彩色滤色镜的各种网格规格兼容，前述美国专利US2009/0059048和US 8 405 750对此进行了详细解释。但是对存储容量的需求增加了，这是因为给定像素的内插值计算应该考虑到滤色镜色彩在像素阵列上的分布，以使HDR信息构建与被处理像素的色彩保持一致。如果以像素阵列上形成的彩色滤色镜网格为例，该滤色镜网格包括覆盖一个2x2像素块的四个彩色滤色镜(拜耳滤色镜，也可以是CYGM、RGBE、RGBW等滤色镜，用英文符号表示)图案的周期性重复，并且两个曝光时间(短，长)每两行交替一次：则至少需要连续五行像素的原始数据(因此需要存储)，以便为每个输出像素重建(通过内插值法或重组法)色彩良好的HDR信息。
技术难题
工业视觉应用程序市场(生产线上的分拣和检查)正在寻求紧凑型视觉系统，能够同时具有良好的分辨率、较大的测量动态范围、快速响应时间，并且伪像很少甚至没有，因为这有助于降低生产总成本。
现有HDR成像技术无法很好地满足这些需求。尤其发现，这些技术需要极大的多行图像存储容量来进行内插值计算，这与所要求的紧凑性不符。
另外，由于希望最大程度地减少由于抖动问题引起的伪像问题，因此希望能够采用即时捕捉模式。但是，由于还希望利用CDS读取技术来降低噪声比例，因此像素结构在尺寸和打开率方面都是不利的。具有共享元素的像素结构可以使这两个方面得到改善，但是这会使根据现有技术获得HDR图像的测序信号管理变得更加复杂。色彩管理使得所有这些不同方面增加了额外的复杂性。
发明内容
本发明的目的是一种低成本(复杂度、尺寸)、图像帧速率得到优化并且也适用于彩色图像拍摄的集成化高动态范围重建式CMOS传感器。
本发明的基本方案是通过同时优化像素结构和像素控制顺序的研究工作获得的，所述研究旨在协调各种约束条件，其通过将共享像素结构与相关控制信号排列结合起来，从而可以巧妙地利用按像素行排列的读取电路运行，并结合每列的读取路径，以实现逐行水平内插值和HDR重建，从而可以避免现有技术中的行存储。通过根据本发明的像素结构和信号排列，可以控制像素控制信号和读取电路，以便使用具有两次曝光时间的全局快门来拍摄图像，其中一次曝光在偶数列上。另一次曝光在奇数列上，以便根据控制读取电路的列地址解码器的帧速率按行重建高动态的值。我们获得了非常紧凑的传感器，并且具有性能良好的高动态范围模式，特别是在读取阶段利用像素按竖直对分组而具有良好的数据信噪比，从而实现了共享读取节点中的电荷模拟求和，并且通过读取两行中的一行使得输出图像帧速率提高2倍，这对应于每对行中的共享读取节点的读取。
这种通过像素按竖直对分组来重建HDR非常有利地通过彩色滤色镜网络与色彩捕捉相结合，其中彩色滤色镜网格包括每个阵列像素的彩色滤色镜，每个2x2像素块具有相同的滤色镜颜色，从而形成两对对齐的竖直像素，其中一对像素在偶数列曝光时间内进行积分，而另一对像素在奇数列曝光时间内进行积分。我们得益于改善2倍的转移时间，即最佳信噪比(每对模拟求和)，而无需改变传感器的视野(实际成像表面不变)。
在每对行中，按照两两像素一对，对具有相同色彩的竖直像素对进行额外的水平重组，改善了传输率，从而对表示连续两对像素的每个像素块进行数字加法，确立了高动态范围输出值。因此通过现有技术中的色彩处理算法，获得了易于处理且低成本(存储，处理时间)的拜耳型常规色彩信息四元组。
因此，本发明涉及一种有源像素图像传感器，包括按行和列排列的像素阵列，其中，各行构成像素的水平排列，而各列则构成像素的竖直排列；还包括读取电路，所述读取电路包括每列像素的单独读取路径，并用于通过模数转换来确立表示像素曝光时间内每个像素蓄积的电荷量的数字值，并且在输出时将确立的所述数字值依次提供到阵列中每一行的每个读取路径中；还包括数字处理模块，用于对读取电路输出时提供的所述数字值进行数字处理。阵列中相应行和列上的每个像素均包括光电二极管、存储节点和读取节点，并且包括：
·第一复位晶体管，用于选择性地复位光电二极管，
·第二复位晶体管，用于选择性地复位读取节点，
·第一转移晶体管，用于选择性地允许将光电二极管蓄积的电荷转移至存储节点中，
·第二转移晶体管，用于选择性地允许将存储在存储节点中的电荷转移至读取节点中，
·安装在电压跟随器上的晶体管，当像素行在读取时被选中时，用于选择性地将电压施加到像素列读取路径上读取节点的端子上。
传感器可以是：在每列像素中，读取节点、读取节点的复位晶体管以及安装在电压跟随器上的晶体管均被该列中的至少两个连续像素竖直共享；第一复位晶体管和第二复位晶体管以及第二转移晶体管均由各自的控制信号来控制，所述控制信号是同一行上所有像素共用的，而第一转移晶体管则由同一列上所有像素共用的控制信号来控制。传感器还包括控制器，用于控制像素晶体管、读取电路和数字处理模块，以控制高动态范围模式下的全局快门式图像拍摄，包括：
·全局快门积分阶段，包括
-第一积分时间内，奇数列像素整体曝光，所述第一积分时间从阵列中光电二极管全局复位之后开始，并且奇数列的所有像素同时结束，其中包括电荷从光电二极管向所述像素的存储节点的第一次整体转移；
-第二积分时间内，偶数列像素整体曝光，所述第二积分时间不同于第一积分时间，它从阵列中光电二极管全局复位之后开始，并且偶数列的所有像素同时结束，其中包括电荷从光电二极管向所述像素的存储节点的第一次整体转移，然后
·各行逐对依次读取阶段，同一列上，每对行中的像素在共享读取节点上两两形成竖直像素对，所述读取阶段可以是：对于每对竖直像素，每对行的读取顺序包括以下步骤：
-由读取电路(2)确定第一数字值，所述第一数字值是在相应列曝光时间内，所述竖直像素对中每个像素蓄积的电荷的模拟求和范围，然后
-对于相关竖直像素对所在列的前后相邻列上的至少两对竖直像素，利用数字处理模块，对按照当前行对的读取顺序确定的第一数字值执行水平内插值法，从而确定对应于另一曝光时间的第二数字值，其中所述相邻列与所述另一曝光时间相关联，
-至少与第一阈值进行比较，根据读取的第一数字值和内插的所述第二数字值，确定所述竖直像素对的高动态范围输出值。
根据本发明的一个方面，数字处理模块用于在每对行中执行水平数据分组的额外操作，以形成传感器的高动态范围图像的输出数据流。由此对于每对行，确定该对行中，每连续两对竖直像素块的高动态范围输出值，其中所述高动态范围输出值基于像素块中两对竖直像素的两个高动态范围值的数字和。
根据本发明的另一方面，传感器包括彩色滤色镜网格，例如每对竖直像素中的两个像素均与所述彩色滤色镜的同一种色彩相关联，并有利地形成彩色宏像素，所述彩色宏像素是4个2x2像素块构成的组块，覆盖连续的4行和4列，每个像素块由两对竖直像素构成，并且基于每个图案滤色镜的2x2像素块，将此宏像素与4个彩色滤色镜的周期性图案相关联。
附图说明
下面通过详细说明，并结合示例性附图来阐述本发明的其它特征，其中所述附图分别为：
-图1为根据本发明的图像传感器的整体运行图；
-图2为可在图1所示传感器中使用的带有共享读取节点的有源像素对的电路图；
-图3为利用根据本发明的图像传感器，在标准模块下拍摄图像时，像素控制信号时序图，其中所述像素的曝光时间相同；
-图4为根据本发明的HDR高动态范围获取模式下，按两个积分时间进行积分的像素控制原理图；
-图5为HDR获取模式下，两个曝光时间的积分顺序简化图；
-图6为HDR获取模式下，竖直像素对中，第一次和第二次电荷转移的各阶段顺序原理图；
-图7为HDR获取模式下，各行对的总积分阶段和依次读取阶段的时序图；
-图8为HDR模式下，读取步骤运行图和高动态范围重建图；
-图9为高动态范围重建模块的一种改型的示意图；
-图10为描述图9示意图所示实施例中的动态范围重建原理的曲线图；
-图11为按照根据本发明的彩色滤色镜的排列，彩色图像传感器的高动态范围的重建原理图。
具体实施方式
如图1所示，根据本发明的图像传感器包括有源像素Pi,j组成的阵列1，所述像素是按行Ri和列Cj排列的，其中i＝l-n，j＝l-m，n和m为整数。对于给定的应用程序，图像获取可以使用阵列中的所有行和列，或者对应于特殊重要区域的部分行和列。这些不同的使用是常规的，并且属于本发明范围。有源像素是包括光敏元件周围的晶体管的像素，可以控制像素积分和读取的各个阶段。
图像传感器包括控制器2，用于控制有源像素晶体管、读取电路3和数字处理模块4，以便在每次图像拍摄时完成积分、读取和图像数据输出流形成的各个阶段。
读取电路3包括阵列中每列像素的读取路径rcj，控制器2控制整个或部分阵列的读取阶段，以组织逐行像素读取。实际上，读取电路包括各个读取路径上存在的电压的采样级3a和模数转换。由移位寄存器3b在输出时发送的数字数据将被陆续提供给数字处理模块4，该数字处理块可以执行各种数字处理并形成传感器发送的输出图像数据流SDATA。例如，可以按读序顺序逐行，并且按列升序向每行提供数据，或者也可以逐列，并且按行升序向每列提供数据，具体取决于给定应用程序的预期格式。这些不同方面是本领域人员所熟知的。本发明的图像传感器中使用的有源像素结构具有以下几个特征：
-这是一种带有独立的存储节点MN和读取节点SN的结构，可以通过像素复位电位采样，以及像素有效电位采样，结合被称为CDS的双相关真实采样式读取，利用全局快门进行瞬时捕捉，并且输出时提供的数字数据表示差异转换。
-这是一种带有读取节点SN的结构，所述读取节点SN被至少两个像素竖直共享。
“竖直”一词通常指阵列中列的方向，而“水平”一词则表示阵列中行的方向。例如，在图1中，如果考虑阶j的列Cj，则阶i的行Ri上的像素Pi,j和下一阶的行Li+1上的像素Pi+1,j共享同一个读取节点SN。下文中，将阵列中共享一个读取节点的每对像素称为竖直像素对。标号PP(i,i+1)j指列Cj上的像素对，该像素对是由共享一个读取节点SN的行Ri和Ri+1上的两个像素形成的。
利用具有上述特征的像素结构，能够通过同时优化像素紧凑性和像素填充率，使控制顺序、图像帧速率和分辨率方面得到优化，从而以这种优化方式，在控制器2的控制下，采用全局快门式高动态范围图像捕捉模式。
具有图1所示的架构和像素结构的传感器可以采用全局快门式图像捕捉模式，其中：
-对于全局快门式积分阶段，根据各列的阶数来控制像素曝光时间的模式，这样可以：
·对所有像素采用相同曝光时间，对应于正常捕捉模式，或者
·根据列的偶数或奇数阶而采用两种不同曝光时间，对应于高动态范围捕捉模式。
这种根据列来控制每个竖直控制行的曝光时间在图1所示的传感器架构中得到体现，对于阵列中的每一列，其作用施加至相应列上的所有像素。其他像素控制行是水平控制的，也就是说，其作用施中至阵列中相应行上的所有像素。
-对于顺序读取阶段，每对连续行LPi,i+1的竖直像素对PP(i,i+1)j的读取顺序，例如行对LPi,i+1，是按相应列的读取路径同时(通过图像拍摄)读取的，并提供信号电位范围，所述范围表示共享此读取节点的两个像素对于相应列曝光时间的贡献。
有源像素结构的详细示例
在更详细地描述这种高动态范围捕捉模式的各个阶段之前，我们将给出具有存储节点和共享读取节点的有源像素结构的详细示例，其适用于根据本发明的传感器。
图2所示的像素结构包括光电二极管PH(一种曝光像素元件)、电荷存储节点MN(下文中也被称为存储节点)以及读取节点(至少与同一列上的下一个像素共享)。为了方便起见，一般通过两个连续像素的竖直共享存储节点来说明和解释本发明。该像素结构还包括：
-第一复位晶体管T1，连接在光电二极管和电压源(示例中为Vdd)之间，能够在每个新的积分阶段之前，通过向电压源释放电荷，选择性地对光电二极管复位；
-第二复位晶体管T2，与读取节点SN相连，能够在读取阶段中，通过向晶体管电源释放电荷，选择性地对读取节点复位；
-第一电荷转移晶体管TA，连接在光电二极管和存储节点MN之间；
-第二电荷转移晶体管TB，连接在存储节点MN和读取节点之间；
-安装在电压跟随器上的晶体管TF，当像素行在读取中被选中时，能够对像素列读取路径上的读取节点SN的端子施加电压。
在这种结构中，读取节点SN、第二复位晶体管T2和安装在电压跟随器TF上的晶体管均由同一列上的两个连续像素所竖直共享。注意，所示两个像素之间或者更多像素之间可以共享，以改善传感器的紧凑性：下面将要描述的正常或高动态范围的传感器模式均适用。图2中的这种结构特别紧凑，这是因为实际上共享的是像素读取级。
可以使用包括更多晶体管的具有共享节点的像素结构，而不背离本发明的原理。尤其将会发现，图2的结构不包括用于读取的特定的行选择晶体管，这是因为读取时的行选择功能有利地是通过对一行像素上的晶体管T2的相应端子施加脉冲式电源电压，利用适当的栅极控制(可以仅触发读取时需要选中的行上的像素的各个跟随器晶体管)，由读取节点的复位晶体管T2来提供的。这种已知机制可以减少像素晶体管的数量。因此，对于每对“共享读取级”像素行，有两行水平控制行，它们与像素读取节点的复位晶体管相关联：用Vrst2表示的极化行，控制晶体管T2的所有极化电极，以及用Rst2表示的复位行，连接晶体管T2的所有栅极。但是，传感器可以采用不那么紧凑的结构，该结构应包括两个像素共用的公共读取级中另外一个晶体管，这两个像素共享其读取节点，而该晶体管将专门用于读取选择。在这种情况下，晶体管T2的极化电极能够持续接收电源电压(Vdd)。
因此，对于阵列中像素的每一行Ri，有：
-电光电极管(T1)复位信号行stl<i>；
-从存储节点向读取节点转移(TB)的信号行TRB<i>。
对于包括竖直像素对(竖直共享其读取节点)的每对行Ri和Ri+1，有两行信号Rst2<i,i+1>和Vrst2<i,i+1>用于读取节点复位和读取选择。
因此，如图1所示，每个像素有四行信号，其中两行是连续两行像素所共用的。这些信号行像阵列中的行一样水平延伸。
对于每列Cj像素，具有第一次转移(TA)的控制信号行TRA<j>，该行像列一样竖直延伸。正是用于前几次转移(PH向MN)的这种竖直行拓扑，将可以如下文所述，在根据本发明的高动态范围捕捉模式下，在传感器总积分的同一个阶段中，控制偶数和奇数列上的两个不同曝光时间。
每个像素总共有5行控制信号，4行水平，1行竖直，由控制器2来控制，以根据全局、正常或高动态范围快门捕捉模式来拍摄图像。
下文中，明确指出控制行的阶数时，例如Rstl<i>，表示只向该行施加指定信号。如果未明确指出阶数，则指定信号为同时施加至所有相关控制行的“全体”信号。
全局快门、正常模式图像拍摄
正常模式下的捕捉顺序如图3中的时序图所示。它从像素全局复位阶段开始，该阶段从所有光电二极管的全局复位阶段
Figure BDA0002525886640000091
开始：控制器对阵列中的所有信号行Rstl同时施加同一个复位信号Grst1。该阶段的结束标志着所有像素同时积分阶段的开始。全局复位阶段在积分期间继续进行，包括阶段①和②，以复位读取节点SN和存储节点MN。实际上，对于阵列中的所有像素，两个复位晶体管T2首先被同时激活(全局信号GRst2被施加至所有信号行Rst2)，然后信号行Vrst2同时施加(全局信号GVrst2)确定宽度Δti的复位电压(Vdd)脉冲，所述Δti即为所有像素中读取节点SN(阶段①)的放电时间；在该Δti期间，第二转移晶体管TB也在Δti’内在阵列的所有像素中被激活(全局信号GTRB)，从而可以通过读取节点SN(阶段②)使存储节点MN复位，并且此时晶体管T2与复位电压源有源连接。
通过全局转移控制GTRA(阶段③)，阵列中的所有像素的积分顺序结束，其中所述全局转移控制同时施加至所有控制行GRA，这使得积分时间Tint内，每个像素中光电二管极蓄积的电荷从像素转移至存储节点MN。
因此，阵列中像素的逐行读取顺序启动。在读取时选中Sel<i>行R上的像素；(阶段④)是通过同时对所有像素中的晶体管T2(Grst2)进行一系列全局同步激活控制来实现的，并且仅对行R；上的像素的晶体管T2执行极化电压脉冲控制(Vrst2<i>)。除了对所有像素的读取节点复位以外，Grst2和Vrst2<i>这一系列控制还确保维持读取节点的电位低于跟随器晶体管的阈值电压，但不包括想要读取的行R；的像素，这样做的作用是激活这些像素的跟随器晶体管：选定像素的读取节点的端子两端电压由跟随器晶体管传输到相应的读取路径上。因此选定的行Ri的像素的读取阶段则在每个读取路径rcj上通常包括先进行复位电位采样(SHr<j>-阶段⑤)，然后进行“第二次”转移(TRB<i>-阶段⑥)，即将电荷从存储节点MN转移到读取节点SN中；以及相应信号电位的采样(SHs<j>-阶段⑦)。因此读取电路在输出时提供这两个采样电位之间差值的数字转换结果。对每行待读取像素重复阶段④至⑦。
可以理解的是，设定每个像素都有各自的读取级，在此前提下读取每行像素，虽然该级在结构示例中是两个连续像素竖直共享的。可以理解的是，如果读取级两个以上连续像素共享的，则过程将是相同的：每次，对读取节点复位并重新选择该行的跟随器晶体管；但是通过阵列中每一行特有的第二次转移TRB<i>的一组控制行，有效电位采样前转移到读取节点中的电荷为该行像素所蓄积的电荷，下面将要阐述这一点。
全局快门、高动态范围模式图像拍摄
现在将要阐述的是，利用本发明的传感器，在高动态范围模式下，进行全局快门捕捉式图像拍摄的顺序。HDR模式下，此顺序的基本原理如图4和5所示。
根据本发明，根据各列阶数的奇偶性采用两种不同的曝光时间TL和TS，例如，对奇数列采用时间TL，而对偶数列采用时间TS。选择以下规则：时间TL比时间TS长；列Cj的阶数j是奇数。当然，在可以选择不同规则，而不脱离本发明的原理。
通过对阵列中的所有控制行Rst同时施加所有光电管的全局复位信号Grst1，从而控制积分的开始。
控制积分时间的结束：对于TL，通过第一次转移的全局信号GTRA-L，该信号仅同时施加至奇数列的第一次转移的所有控制行(TRA<1>、...，TRA<j>、...、TRA<m-1>)；对于TL，通过第一次转移的全局信号GTRA-S，该信号仅同时施加至偶数列的第一次转移的所有控制行(TRA<2>、...、TRA<j+l>、...、TRA<m>)。
在该实施例中，这两个时间是依次控制的。也就是说，所有像素采用的第一积分时间Tl过后，只将奇数列各阶像素蓄积的电荷QL(图6)转移到相应存储节点MN中(GTRA-L-阶段③-图7)；然后对所有光电二极管重新复位(阶段
Figure BDA0002525886640000101
)，在所有像素采用的第二积分时间过后，只将偶数列各阶像素蓄积的电荷QS(图6)转移到其相应存储节点MN中(GTRA-S-阶段
Figure BDA0002525886640000102
-图7)。图7中的时序图示出了根据本发明的HDR模式下全局积分的这一系列阶段
Figure BDA0002525886640000103
①②③
Figure BDA0002525886640000104
的详情。图5和图7示出了依次采用的曝光时间TL和TS，并且在本示例中首先采用了较长的曝光时间。但是在时间TL和TS内，这两种积分可以同时进行，因此顺序仅包括光管二极管全局复位阶段这唯一的一个阶段
Figure BDA0002525886640000105
该阶段确定了两个时间TL和TS共同的开始时间。实际上，时间TL和TS是传感器参照时间的倍数，通常是10微秒左右的行时间，或者是最近传感器中较短的参照时间，为1至2微秒左右。
图7中的时序图示出了根据本发明的高动态范围模式下读取顺序的详情。在此顺序中，存储在存储节点中的电荷通过所述第二次转移(TB)转移到读取节点中，在所述第二次转移控制中，在共享读取节点中，利用共享读取节点的优势，通过对每对竖直像素分组以实现每对像素蓄积的电荷模拟求和，从而改善分辨率和信号深度。由于这类第二次转移是按行控制的，其原理可以解释为：当读取节点由两个以上的像素共享时，例如四个或六个，还按竖直像素对执行“HDR”读取。
在对奇数列GTRA-L和偶数列GTRA-S执行了第一次全局转移控制之后，按行对，开始对阵列中的各对像素进行读取的顺序。此时，在阵列的每个像素中，存储节点MN包含一定数量的电荷QL或QS，这些电荷是像素的相应曝光时间期间，即TL或TS期间，由像素的光电二极管蓄积的，已知所述时间是根据像素列的偶数或奇数阶确定的(图6)。假设控制器正在按读取顺序指定行对LPi,i+1(图6)。每列有一对竖直像素。当前行对的所有像素对PP(i,i+1)j中的读取节点复位并且通过晶体管T2(阶段④)选中每对PP(i,i+1)j的读取级之后，和正常模式一样，在相应读取路径rcj(阶段⑤)中，对读取节点的复位电位采样。该顺序是在当前行对的每对像素对中，通过第二转移命令(MN向SN)产生的，该命令通过相应的控制行TRB<i>和TRB<i+1>应用于每个竖直对中的两个像素。这些是阶段⑥和
Figure BDA0002525886640000111
(图7)，优选同时发生，以尽量优化读取时间。这些阶段可以得到每对竖直像素的读取节点SN中的电荷模拟求和，而无损失：像素对PP(i,i+1)j的读取节点SN中的电荷量等于QLi+QLi+1；像素对PP(i,i+1)j+1的读取节点SN中的电荷量等于QSi+QSi+1。
因此对每个读取节点上的有效信号电位采样(阶段⑦)，然后，通过对两个样本之间的差异进行模拟转换，在每个读取路径的读取电路输出时提供所得到的相应数字值，该值对应于相关列曝光时间的相关像素对所蓄积的电荷量的范围。
下文中，将该数字值称为第一数字值，用VL或VS表示，这取决于它是在适用的奇数列TL上还是偶数列TS上得到。当该值VL或VS带有下角标时，该下角标表示当前行对中(控制器指示该行上的读取顺序)提供所述第一数字值的竖直像素对。
读取电路的输出寄存器3b在输出时提供原始数据流，对于阵列中依次读取的每对行，该原始数据流是一系列读取通道中每一个读取通道提供的一系列数字数据，其始于例如第一列rc1提供的第一个数字值，结束于最后一列rcm提供的第一个数字值，阵列每对行依此类推。
与普通读取模式相比快了两倍。另外，由于每一对中的模拟求和，信噪比得到了改善。
由于各个读取电路3和数字处理电路4是由控制器2控制和计时的，因此数字处理模块4知道如何通过行和列上的一组常规指针，将其从读取电路接收的数字流的每个数据与相关的像素对相关联。
例如，如图8所示，在HDR读取顺序中，对于当前行对，例如LPi,i+1，处理模块4将连续接收一组读取值{Vr}，共m个，每列一个，具体为列j-2至j+3(j为奇数，与TL关联)的数值VLj-2、VSj-1、VLj、VSj+1、VLj+2、VSj+3。
对于当前行对所得的这组值{Vr}，控制器按行使用内插值过滤器FIH，即“水平内插值”，以便与相关列的曝光时间内所得的每个值Vr相关联，以便将相关列曝光时间内所得的每个值Vr与对应于另一个曝光时间的另一个值Vir相关联，如果像素对按另一个曝光时间曝光的话，则所述另一个值是该像素对所提供的近似值。这种内插值计算是通过几次计时来完成的，并在输出时获得数据流，该数据流包括每对竖直像素的两个值VL和VS，分别对应两个曝光时间TL和TS，其中一个是读取值Vr(“第一数字值”)，对应于相关对像素的实际曝光时间，另一个是内插值Vir(“第二数字值”)，对应于另一个曝光时间。所用过滤器的大小至少为3，对应于均衡过滤器(图8)，但是如果想要更多的高频细节，可以考虑使用更大的过滤器。
数字处理模块4用于之后通过与至少一个阈值进行比较来做出选择，对每对像素执行高动态范围重建步骤，所述阈值表示像素的饱和值Vsat。对于每对像素，实际上是选择一个包含最多信息的最佳值。比较过程在于：对于每对像素，从已确定的像素的第一值(读取)和第二值(内插值)中取值，该值为与最长曝光时间TL相关联的值VL，从而比较该值VL与饱和阈值Vsat。对于偶数列中的像素对，根据选定规则(奇数j)，这一待比较值VL为第二值，即内插值(Vir)；对于奇数列中的像素对，这一值VL为第一值，即读取值(Vr)。数字处理模块知道如何通过一组指针在当前行对所得的每个数值对选择数值VL。
如果该VL小于VSAT，则为相关竖直像素对选定高动态范围值(选中)。
否则，对应于最短曝光时间的是另一个数字值VS，该值被选定为相关竖直像素对的高动态范围值。
因此，根据所捕捉图像的场景和照明条件，对于阵列中的某些对，被选定的是对应于较短曝光时间的值，而对于其他对，被选定的则是对应于较长曝光时间的值。为了保持应答的线性，必须将这些值放在同一计数缩放范围内。如果基于较短曝光时间TS，HDR选择过程选定的是数值VL时，必须除以比值γ＝TL/TS。为每对像素确定的高动态范围值则是VL/γ，或者是VS。
在这种通过与单个阈值比较的选择方案中，如果数值VL低于阈值VSAT，则全面保留该值，无论它是读取值(实际曝光时间TL)还是内插值。高于阈值时，全面采用数值VS，无论它是读取值(实际曝光时间TS)还是内插值。因此丢失了需要恢复的细节锐度：FTM调制转移功能不是最佳的。
在一种改型中，通过确定噪声阈值和饱和阈值来改善FTM，例如在这两个阈值之间，仅使用对应于像素对实际曝光时间的读取值，并带有近线性化因子γ。如图9所示。噪声Vn和饱和度Vsat这两个阈值是根据最长曝光时间TL定义的。每当一对像素的值VL(读取值或内插值)介于这两个阈值之间时，该对像素的HDR值就是读取值，对应于相关像素对的实际曝光时间(带有近线性化因子γ)。此为图10所示的区域2。低于阈值Vn(区域1)时，选定的HDR值为数值VL，它是读取值或内插值，这取决于该列的阶数；高于阈值Vsat(区域3)时，选定的HDR值为数值VS，它是读取值或内插值，这取决于该列的阶数。
图10示出了如何构建高动态范围数据流Vhdr，通过比较每对竖直像素的值VL与Vn和VSAT这两个阈值，同时锁定在较长曝光时间TL的范围内。在这种情况下，HDR选择过程选定数值VS时，必须除以比值γ＝TL/TS。针对每对像素确定的高动态范围值则是γ.VS或VL。
通过这种方式，可以增加数据深度。这一点可以在图10中数值Vhdr的曲线中看到，该曲线在纵轴方向上伸出，处于饱和阈值Vsat上方。更具体地，通过确定时间TL和TS，使它们的比值是一个整数，并且是2的幂，数据深度增加了几个字节，所述字节数对应于比值γ的2的幂。例如，如果该比值γ等于2，则使深度增加一个字节。如果该比值等于27，则使视野深度增加7个字节。
在这种情况下，数字处理模块可以用于执行对应表(LUT)(图8)，该表对压缩曲线进行编码，以便与传感器输出数据格式对应，该格式实际上对应于传感器模数转换器的最大编码深度。通常，模数转换器将图像信号编码为8位、10位或12位(由用户设置)，因此传感器的输出接口被设置成最多输出12位编码的数据。假设对于给定的应用程序，将转换器设置为用于10位编码的图像拍摄，并且设置带有TL和TS两个时间的HDR模式，这两个时间的比值TL/TS等于4(22)：则缩放(γ)后输出的HDR数据,被编码成12位(增加2位)，并且数字处理模块4的选择步骤的VHDR数据直接形成高动态范围数据流SDATA-HDR。但是如果比值γ较大，则使这些数据Vhdr通过压缩表(LUT)。优选地，该表将压缩曲线编码为S，以丢弃最无用的信息。然后，外部系统应该具有反向解压缩表，以恢复数据的整个动态范围(深度)。
色彩的处理
前述所有内容都适用于高动态范围的彩色图像传感器，其彩色滤色镜网络可以将滤色镜的同一种色彩应用于根据本发明的每对竖直像素。
如果以通常使用的拜耳滤色镜为例：对第一行像素上交替使用红色(用R表示)和绿色(用G表示)滤色镜，对下一行像素交替使用蓝色(用B表示)和绿色(用G表示)滤色镜，就会形成覆盖2×2个像素的周期性图案RGGB，并且可以通过去阵列化来计算亮度和色度。
在HDR模式下，对共享读取节点的竖直像素按对分组，为了利用该模式，必须使得每对中的两个像素与相同颜色相关联。在读取和HDR重建之后，获得四条相应色彩HDR信息RGGB，每条色彩信息均是从一对竖直像素获得的。
但是，除了对每种色彩进行竖直重组以外，仍然可以通过对每种色彩进行水平重组，从而优化这种高动态范围的色彩模式。竖直重组对应于前述读取节点中的模拟求和。
水平重组对应于“相同色彩”的相邻两对竖直像素的HDR值的数字求和。
图11可以解释这种色彩改善措施的各个方面。为了解释这一点，以拜耳滤色镜为例，该滤色镜将4个滤色镜的图案应用于阵列中2x2个像素构成的每个组块，一行应用1个红色滤色镜和1个绿色滤色镜，另一行应用1个绿色滤色镜和1个蓝色滤色镜。
根据本发明，在像素阵列中设置具有图1所示功能架构和像素结构的图像传感器、彩色宏像素M-Pix，所述彩色宏像素是4个2x2像素块构成的组块，覆盖连续的4行和4列，并且将这四个像素块中的每一个与拜耳滤色镜的四种色彩中的一个相关联。这样就形成了超级拜耳滤色镜，其中每个彩色滤色镜覆盖一个2x2个像素构成的组块。
换句话说：每个像素都与一个彩色滤色镜相关联；每个色块形成两对竖直像素，其像素与彩色滤色镜的同一种色彩相关联；应用于阵列的彩色滤色镜的周期性图案覆盖四个像素块，这四个像素块对应于连续两对行和连续四列。
该宏像素包含每种色彩的相应两对竖直像素，这些像素水平排列：一对像素与按相关曝光时间(例如TL)曝光的奇数列相关联，另一对像素与按相关曝光时间(例如示例中的TL)曝光的偶数列相关联。
在HDR模式下读取之后，再如前所述(图8)由数字处理模块4进行内插值，获得每一对的读取值(下角标r)和内插值(下角标ir)，其中一个对应于该对像素“色彩”中较长的曝光时间TL，另一个对应于较短的曝光时间TS(根据该列的阶数)。也就是说，如果考虑例如两对“红色”竖直像素，第一对PP(i,i+1)j由红色像素R1和R2构成，第二对PP(i,i+1)j+1由绿色像素R3和R4构成。对于第一对(R1，R2)，如果相应列Cj的曝光时间为TL，则“红色”读取值为RLr，如果是另一个曝光时间TS，则内插值为RSr。对于曝光时间为TS第二对(R3，R4)，则读取值为RLr，内插值为RLir。
HDR重建步骤之后，通过从每对竖直像素(相对于如前所述的一个或两个阈值)的读取值和内插值这两个值中选择一个值，并在必要时进行缩放(系数γ)，获得每对彩色像素的HDR色彩值。例如，对于图11所示的彩色宏像素的两对红色竖直像素，我们得到位于奇数阶列上的第一对(R1，R2)的值Rhdr-o(“o”表示“odd”)，位于随后的偶数阶列上的第二对(R3，R4)的值RHDR-e(“e”表示“even”)。
根据本发明，数字处理模块4用于将Rhdr-o和RHDR-e这两个值相加，以提供相应的彩色HDE值Rhdr。也就是说，每个彩色宏像素M-PIX在输出时对应4条高动态范围信息，滤色镜的每种色彩对应一条信息，这是通过在读取阶段进行竖直重组(模拟求和)获得的，然后在处理阶段(利用处理模块4)，通过对每一对进行选择(和缩放)以重建HDR后，进行水平HDR重组V-HDR-C。
色彩数据输出流与常规色彩处理算法(去阵列化)兼容，所述算法与尺寸为2x2的四色滤色镜相关联。在根据本发明的HDR模式下使用的彩色图像传感器具有如前所述的优点：转移时间改善2倍(按行对读取)；输出时的传输时间缩短(按4个像素构成的组块输出彩色HDR数据)，这降低了数字处理成本，例如减少了白平衡成本(内存减小并且处理时间缩短)；信噪比更好(每对模拟总和)。另一个优点在于该HDE模式是在无需改变传感器视野的情况下进行的。
由滤色镜构成的彩色图像传感器，可以进行彩色HDR重建，其中所述滤色镜对应于根据本发明的宏像素结构，所述彩色HDR重建在紧凑性方面得到优化，包括转移、传输和处理时间。如现有技术中已知的，除了拜耳滤色镜所形成的那些色彩组合(红色、绿色、蓝色)之外，滤色镜也可以采用其他颜色组合。
要注意的是，所述的彩色HDR重建，由于结合了读取时的竖直重组与重建高动态范围数据的水平重，也可以用于没有滤色镜的图像传感器，特别是有利于输出数据流的减少率(4个像素1个数据)。
权利要求书(按照条约第19条的修改)
1.一种有源像素图像传感器，包括：
-按行(ri)和按列(cj)排列的像素阵列(1)，其中，各行(Ri)构成像素的水平排列，而各列(Cj)则构成像素的竖直排列；
-读取电路(3)，包括每列像素(cj)的单独读取路径(rcj)，并用于通过模数转换来确定表示像素曝光时间内每个像素蓄积的电荷量的数字值，并且在输出时将确定的所述数字值依次提供到阵列中每一行的每个读取路径中；
-数字处理模块(4)，用于对读取电路输出时提供的所述数字值执行数字处理；
其中所述像素结构可以是每个像素包括：
·光电二极管(PHD)、存储节点(MN)和读取节点(SN)，
·光电二极管的第一复位晶体管(T1)，用于选择性地复位所述光电二极管，
·读取节点第二复位晶体管(T2)，用于选择性地复位所述读取节点，
·第一转移晶体管(TA)，用于选择性地允许将所述光电二极管蓄积的电荷转移至所述存储节点(MN)中，
·第二转移晶体管(TB)，用于选择性地允许将存储在所述存储节点(MN)中的电荷转移至所述读取节点(SN)中，
·安装在电压跟随器上的晶体管(TF)，当像素行在读取时被选中时，用于选择性地将电压施加到像素列读取路径(rcj)上所述读取节点(SN)的端子上，其特征在于：
·在每列像素中，所述读取节点、读取节点的复位晶体管以及安装在电压跟随器上的晶体管均被所述列中的至少两个连续像素竖直共享，
·所述第一和第二复位晶体管(T1，T2)以及所述第二转移晶体管(TB)均由各自的控制信号(Rstl<i>，Rst2<i>，TRB<i,i+l>)来控制，所述控制信号是同一行上所有像素共用的，
而所述第一转移晶体管(TA)则由同一列上所有像素共用的控制信号(TRa<j>)来控制；
所述传感器还包括控制器(2)，用于控制所述像素晶体管、读取电路和数字处理模块，以控制高动态范围模式下的全局快门式图像拍摄，包括：
·全局快门积分阶段，包括
-第一积分时间(TL)内，奇数列像素整体曝光，所述第一积分时间从阵列中光电二极管全局复位之后开始，并且奇数列的所有像素同时结束，其中包括电荷从光电二极管向所述像素的存储节点的第一次整体转移(GTRA-L)；
-第二积分时间(TS)内，偶数列像素整体曝光，所述第二积分时间不同于第一积分时间，它从阵列中光电二极管全局复位之后开始，并且偶数列的所有像素同时结束，其中包括电荷从光电二极管向所述像素的存储节点(MN)的第一次整体转移(GTRA-S)，然后
·各行(LPii+1)逐对依次读取阶段，同一列(Cj)上，每对行中的像素在共享读取节点(SN)上两两形成竖直像素对，所述读取阶段可以是：对于每对竖直像素(PP(i,i+1)j)，每对行的读取顺序包括以下步骤：
-由读取电路(2)确定第一数字值(Vr)，所述第一数字值是在相应列曝光时间内，所述竖直像素对中每个像素蓄积的电荷的模拟求和范围，然后
-对于相关竖直像素对所在列的前后相邻列上的至少两对竖直像素，利用数字处理模块(4)，对按照当前行对的读取顺序确定的第一数字值执行水平内插值法(FIH)，从而确定对应于另一曝光时间的第二数字值(Vir)，其中所述相邻列与所述另一曝光时间相关联，
-至少与第一阈值(VSAT)进行比较，根据读取的第一数字值和内插的所述第二数字值，确定所述竖直像素对的高动态范围输出值(VHDR)。
2.根据权利要求1所述的图像传感器，其中所述数字处理模块(4)用于在每对行中执行水平数据分组的额外操作(VHDR-C)，以形成传感器的高动态范围图像的输出数据流，对于每对行，所述额外操作确定了每连续两对竖直像素块的高动态范围输出值，其中所述高动态范围输出值基于像素块中两对竖直像素的两个高动态范围值的数字和。
3.根据权利要求1或2所述的图像传感器，其中所述数字处理模块(4)用于通过与第一阈值(VSAT)比较，从而确定每对竖直像素的高动态范围值，例如
·如果所述第一和第二数字值中，对应于最长曝光时间的数字值(VL)小于第一阈值，则采用该数字值来确定高动态范围输出值(VHDR)，
·否则，采用对应于最短曝光时间的是另一个数字值(VS)来确定高动态范围输出值。
4.根据权利要求1或2所述的图像传感器，其中所述数字处理模块(4)用于通过与第一阈值(VN)和第二阈值(VSAT)比较，从而确定每对竖直像素的高动态范围值，例如：
·如果所述第一和第二数字值中，对应于最长曝光时间的数字值(VL)小于所述第一阈值，则采用该数字值来确定高动态范围输出值，
·如果所述数字值(VL)介于所述第一和第二阈值之间，则用于确定高动态范围输出值的数字值为第一数字值(Vr)，
·如果所述数字值(VL)大于第二阈值，则用于确定高动态范围输出值的数字值是对应最短曝光时间的数字值(VS)。
5.根据权利要求1至4中任一项所述的图像传感器，其中所述数字处理模块用于在最长曝光时间相关联的范围内，确定每对输出高动态范围值，从而使得用于确定相关像素对的高动态范围值的数字值对应于最短曝光时间时，所述值乘以最长曝光时间与最短曝光时间的比值。
6.根据权利要求5所述的图像传感器，其中所述比值是一个整数，并且是2的幂。
7.根据权利要求6所述的图像传感器，其中当所述两个曝光时间的比值使得高动态范围值的字节数深度超出所述传感器的数据输出格式时，所述数字处理模块(4)对所述高动态范围值执行压缩(LUT)。
8.根据权利要求1至7中任一项所述的图像传感器，包括彩色滤色镜网格，例如每对竖直像素中的两个像素均与所述彩色滤色镜的同一种色彩相关联。
9.根据权利要求8所述的图像传感器，形成彩色宏像素(M-Pix)，所述彩色宏像素是4个2x2像素块构成的组块，覆盖连续的4行和4列，每个所述像素块由两对竖直像素构成，并且所述宏像素与4个彩色滤色镜的周期性图案相关联，图案中每个滤色镜色彩对应一个像素块。
10.根据权利要求1至9中任一项所述的图像传感器，其中所述控制器(2)用于控制光电二极管的唯一全局复位，从而确定所述第一和第二曝光时间的开始，对于所有像素，所述奇数和偶数列的整体曝光是同时开始的。
11.根据权利要求1至9中任一项所述的图像传感器，其中所述控制器用于控制光电二极管的第一全局复位(GR)，从而确定所述第一积分时间的开始，然后在所述第一积分时间结束后，再确定所述光电二极管的第二全局复位(GR)，从而确定所述第二积分时间。
12.根据前述权利要求中任一项所述的图像传感器，其中所述每个积分阶段均包括在所述光电二极管全局复位之后的读取节点全局复位，以及在所述读取节点期间内，通过所述第二转移晶体管全面激活来实现的存储节点全局复位。
13.根据前述权利要求中任一项所述的图像传感器，其中在读取时选定行对是通过像素的第二复位晶体管(T2)来实现的，所述控制器用于选择性地根据所述晶体管上的极化电极的复位电压脉冲选择控制来激活所述晶体管。

Claims (13)

1.一种有源像素图像传感器，包括：
-按行(ri)和按列(cj)排列的像素阵列(1)，其中，各行(Ri)构成像素的水平排列，而各列(Cj)则构成像素的竖直排列；
-读取电路(3)，包括每列像素(cj)的单独读取路径(rcj)，并用于通过模数转换来确定表示像素曝光时间内每个像素蓄积的电荷量的数字值，并且在输出时将确定的所述数字值依次提供到阵列中每一行的每个读取路径中；
-数字处理模块(4)，用于对读取电路输出时提供的所述数字值执行数字处理；
其中所述像素结构可以是每个像素包括：
·光电二极管(PHD)、存储节点(MN)和读取节点(FD)，
·光电二极管的第一复位晶体管(T1)，用于选择性地复位所述光电二极管，
·读取节点第二复位晶体管(T2)，用于选择性地复位所述读取节点，
·第一转移晶体管(TA)，用于选择性地允许将所述光电二极管蓄积的电荷转移至所述存储节点(MN)中，
·第二转移晶体管(TB)，用于选择性地允许将存储在所述存储节点(MN)中的电荷转移至所述读取节点(FD)中，
·安装在电压跟随器上的晶体管(TF)，当像素行在读取时被选中时，用于选择性地将电压施加到像素列读取路径(rcj)上所述读取节点(FD)的端子上，其特征在于：
·在每列像素中，所述读取节点、读取节点的复位晶体管以及安装在电压跟随器上的晶体管均被所述列中的至少两个连续像素竖直共享，
·所述第一和第二复位晶体管(T1，T2)以及所述第二转移晶体管(TB)均由各自的控制信号(Rstl<i>，Rst2<i>，TRB<i,i+l>)来控制，所述控制信号是同一行上所有像素共用的，
而所述第一转移晶体管(TA)则由同一列上所有像素共用的控制信号(TRA<j>)来控制；
所述传感器还包括控制器(2)，用于控制所述像素晶体管、读取电路和数字处理模块，以控制高动态范围模式下的全局快门式图像拍摄，包括：
·全局快门积分阶段，包括
-第一积分时间(TL)内，奇数列像素整体曝光，所述第一积分时间从阵列中光电二极管全局复位之后开始，并且奇数列的所有像素同时结束，其中包括电荷从光电二极管向所述像素的存储节点的第一次整体转移(GTRA-L)；
-第二积分时间(TS)内，偶数列像素整体曝光，所述第二积分时间不同于第一积分时间，它从阵列中光电二极管全局复位之后开始，并且偶数列的所有像素同时结束，其中包括电荷从光电二极管向所述像素的存储节点(MN)的第一次整体转移(GTRA-S)，然后
·各行(LPii+1)逐对依次读取阶段，同一列(Cj)上，每对行中的像素在共享读取节点(SN)上两两形成竖直像素对，所述读取阶段可以是：对于每对竖直像素(PP(i,i+1)j)，每对行的读取顺序包括以下步骤：
-由读取电路(2)确定第一数字值(Vr)，所述第一数字值是在相应列曝光时间内，所述竖直像素对中每个像素蓄积的电荷的模拟求和范围，然后
-对于相关竖直像素对所在列的前后相邻列上的至少两对竖直像素，利用数字处理模块(4)，对按照当前行对的读取顺序确定的第一数字值执行水平内插值法(FIH)，从而确定对应于另一曝光时间的第二数字值(Vir)，其中所述相邻列与所述另一曝光时间相关联，
-至少与第一阈值(VSAT)进行比较，根据读取的第一数字值和内插的所述第二数字值，确定所述竖直像素对的高动态范围输出值(VHDR)。
2.根据权利要求1所述的图像传感器，其中所述数字处理模块(4)用于在每对行中执行水平数据分组的额外操作(VHDR-C)，以形成传感器的高动态范围图像的输出数据流，对于每对行，所述额外操作确定了每连续两对竖直像素块的高动态范围输出值，其中所述高动态范围输出值基于像素块中两对竖直像素的两个高动态范围值的数字和。
3.根据权利要求1或2所述的图像传感器，其中所述数字处理模块(4)用于通过与第一阈值(VSAT)比较，从而确定每对竖直像素的高动态范围值，例如
·如果所述第一和第二数字值中，对应于最长曝光时间的数字值(VL)小于第一阈值，则采用该数字值来确定高动态范围输出值(VHDR)，
·否则，采用对应于最短曝光时间的是另一个数字值(VS)来确定高动态范围输出值。
4.根据权利要求1或2所述的图像传感器，其中所述数字处理模块(4)用于通过与第一阈值(VN)和第二阈值(VSAT)比较，从而确定每对竖直像素的高动态范围值，例如：
·如果所述第一和第二数字值中，对应于最长曝光时间的数字值小于所述第一阈值，则采用该数字值来确定高动态范围输出值，
·如果所述数字值介于所述第一和第二阈值之间，则用于确定高动态范围输出值的数字值为第一数字值，
·如果所述数字值大于第二阈值，则用于确定高动态范围输出值的数字值是对应最短曝光时间的数字值。
5.根据权利要求1至4中任一项所述的图像传感器，其中所述数字处理模块用于在最长曝光时间相关联的范围内，确定每对输出高动态范围值，从而使得用于确定相关像素对的高动态范围值的数字值对应于最短曝光时间时，所述值乘以最长曝光时间与最短曝光时间的比值。
6.根据权利要求5所述的图像传感器，其中所述比值是一个整数，并且是2的幂。
7.根据权利要求6所述的图像传感器，其中当所述两个曝光时间的比值使得高动态范围值的字节数深度超出所述传感器的数据输出格式时，所述数字处理模块(4)对所述高动态范围值执行压缩(LUT)。
8.根据权利要求1至7中任一项所述的图像传感器，包括彩色滤色镜网格，例如每对竖直像素中的两个像素均与所述彩色滤色镜的同一种色彩相关联。
9.根据权利要求8所述的图像传感器，形成彩色宏像素(M-Pix)，所述彩色宏像素是4个2x2像素块构成的组块，覆盖连续的4行和4列，每个所述像素块由两对竖直像素构成，并且所述宏像素与4个彩色滤色镜的周期性图案相关联，图案中每个滤色镜色彩对应一个像素块。
10.根据权利要求1至9中任一项所述的图像传感器，其中所述控制器(2)用于控制光电二极管的唯一全局复位，从而确定所述第一和第二曝光时间的开始，对于所有像素，所述奇数和偶数列的整体曝光是同时开始的。
11.根据权利要求1至9中任一项所述的图像传感器，其中所述控制器用于控制光电二极管的第一全局复位(GR)，从而确定所述第一积分时间的开始，然后在所述第一积分时间结束后，再确定所述光电二极管的第二全局复位(GR)，从而确定所述第二积分时间。
12.根据前述权利要求中任一项所述的图像传感器，其中所述每个积分阶段均包括在所述光电二极管全局复位之后的读取节点全局复位，以及在所述读取节点期间内，通过所述第二转移晶体管全面激活来实现的存储节点全局复位。
13.根据前述权利要求中任一项所述的图像传感器，其中在读取时选定行对是通过像素的第二复位晶体管(T2)来实现的，所述控制器用于选择性地根据所述晶体管上的极化电极的复位电压脉冲选择控制来激活所述晶体管。
CN201880078811.XA 2017-12-07 2018-12-06 一种高动态范围图像传感器 Active CN111656768B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR17/01285 2017-12-07
FR1701285A FR3074991B1 (fr) 2017-12-07 2017-12-07 Capteur d'image haute dynamique
PCT/EP2018/083762 WO2019110718A1 (fr) 2017-12-07 2018-12-06 Capteur d'image haute dynamique

Publications (2)

Publication Number Publication Date
CN111656768A true CN111656768A (zh) 2020-09-11
CN111656768B CN111656768B (zh) 2023-04-11

Family

ID=61750184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880078811.XA Active CN111656768B (zh) 2017-12-07 2018-12-06 一种高动态范围图像传感器

Country Status (8)

Country Link
US (1) US11064138B2 (zh)
EP (1) EP3721616B1 (zh)
JP (1) JP2021506173A (zh)
KR (1) KR20200096949A (zh)
CN (1) CN111656768B (zh)
ES (1) ES2901187T3 (zh)
FR (1) FR3074991B1 (zh)
WO (1) WO2019110718A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225494A (zh) * 2021-04-29 2021-08-06 深圳市阿达视高新技术有限公司 逐行曝光的图像生成方法、系统、图像处理设备和介质
CN114040132A (zh) * 2021-11-22 2022-02-11 成都微光集电科技有限公司 图像传感器及其曝光时序控制方法、系统及介质
CN115361506A (zh) * 2022-08-17 2022-11-18 中科微机电技术（北京）有限公司 有源像素传感器的控制方法、有源像素传感器及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220058218A (ko) * 2020-10-30 2022-05-09 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
KR20220064170A (ko) * 2020-11-11 2022-05-18 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
CN112492162B (zh) * 2020-11-30 2022-04-01 维沃移动通信有限公司 图像传感器、摄像模组和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090059048A1 (en) * 2007-08-31 2009-03-05 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
US20090135263A1 (en) * 2007-11-27 2009-05-28 Noam Sorek Method and Apparatus for Expanded Dynamic Range Imaging
US20100309333A1 (en) * 2009-06-08 2010-12-09 Scott Smith Image sensors and image reconstruction methods for capturing high dynamic range images
US20130057743A1 (en) * 2011-09-02 2013-03-07 Sony Corporation Solid-state imaging device and camera system
US20140092285A1 (en) * 2012-09-28 2014-04-03 Sony Corporation Solid-state imaging device, method for driving the same, and electronic device
US20150312461A1 (en) * 2014-04-28 2015-10-29 Tae Chan Kim Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
CN105791715A (zh) * 2016-03-10 2016-07-20 长春长光辰芯光电技术有限公司 高动态范围图像传感器像素的全局快门控制方法
US20170084649A1 (en) * 2015-09-18 2017-03-23 Semiconductor Energy Laboratory Co., Ltd. Imaging device, module, electronic device, and method of operating the imaging device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5635938B2 (ja) * 2011-03-31 2014-12-03 本田技研工業株式会社 固体撮像装置
JP2013211615A (ja) * 2012-03-30 2013-10-10 Sony Corp 固体撮像素子、固体撮像素子の駆動方法、および電子機器
JP6508929B2 (ja) * 2014-12-10 2019-05-08 キヤノン株式会社 固体撮像装置及びその駆動方法
KR102544169B1 (ko) * 2015-09-10 2023-06-14 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 모듈, 전자 기기, 및 촬상 장치의 동작 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090059048A1 (en) * 2007-08-31 2009-03-05 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
US20090135263A1 (en) * 2007-11-27 2009-05-28 Noam Sorek Method and Apparatus for Expanded Dynamic Range Imaging
US20100309333A1 (en) * 2009-06-08 2010-12-09 Scott Smith Image sensors and image reconstruction methods for capturing high dynamic range images
US20130057743A1 (en) * 2011-09-02 2013-03-07 Sony Corporation Solid-state imaging device and camera system
US20140092285A1 (en) * 2012-09-28 2014-04-03 Sony Corporation Solid-state imaging device, method for driving the same, and electronic device
US20150312461A1 (en) * 2014-04-28 2015-10-29 Tae Chan Kim Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US20170084649A1 (en) * 2015-09-18 2017-03-23 Semiconductor Energy Laboratory Co., Ltd. Imaging device, module, electronic device, and method of operating the imaging device
CN105791715A (zh) * 2016-03-10 2016-07-20 长春长光辰芯光电技术有限公司 高动态范围图像传感器像素的全局快门控制方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225494A (zh) * 2021-04-29 2021-08-06 深圳市阿达视高新技术有限公司 逐行曝光的图像生成方法、系统、图像处理设备和介质
CN113225494B (zh) * 2021-04-29 2022-03-08 深圳市阿达视高新技术有限公司 逐行曝光的图像生成方法、系统、图像处理设备和介质
CN114040132A (zh) * 2021-11-22 2022-02-11 成都微光集电科技有限公司 图像传感器及其曝光时序控制方法、系统及介质
CN114040132B (zh) * 2021-11-22 2023-11-21 成都微光集电科技有限公司 图像传感器及其曝光时序控制方法、系统及介质
CN115361506A (zh) * 2022-08-17 2022-11-18 中科微机电技术（北京）有限公司 有源像素传感器的控制方法、有源像素传感器及电子设备

Also Published As

Publication number Publication date
US11064138B2 (en) 2021-07-13
FR3074991B1 (fr) 2019-11-22
JP2021506173A (ja) 2021-02-18
ES2901187T3 (es) 2022-03-21
FR3074991A1 (fr) 2019-06-14
EP3721616B1 (fr) 2021-09-29
CN111656768B (zh) 2023-04-11
WO2019110718A1 (fr) 2019-06-13
EP3721616A1 (fr) 2020-10-14
KR20200096949A (ko) 2020-08-14
US20200382728A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
CN111656768B (zh) 一种高动态范围图像传感器
US8059174B2 (en) CMOS imager system with interleaved readout for providing an image with increased dynamic range
US7911518B2 (en) Variable exposure for color image sensor
US8368792B2 (en) Imager methods, apparatuses, and systems providing a skip mode with a wide dynamic range operation
JP6239975B2 (ja) 固体撮像装置及びそれを用いた撮像システム
US8289428B2 (en) Method, apparatus and system providing imager vertical binning and scaling using column parallel sigma-delta digital conversion
US20160028985A1 (en) Threshold-monitoring, conditional-reset image sensor
CN102209209A (zh) 固体成像设备和摄像系统
TW200915861A (en) Method and apparatus for improving low-light performance for small pixel image sensors
JP2011024222A (ja) センサ回路の列回路における画素信号のビニングおよび補間
EP2606637A1 (en) High dynamic range video
JP2009044593A (ja) 撮像装置及び固体撮像素子の駆動方法
JP4501350B2 (ja) 固体撮像装置および撮像装置
JP2009538075A (ja) 撮像素子のピクセルを読み出してリセットするための回路および方法
JP4905279B2 (ja) 撮像回路および撮像装置
US7683956B2 (en) Solid-state imaging device, driving method thereof, and camera that separate image component signal and non-image component signal
EP1766966A1 (en) Image sensor for still or video photography
CN113676625A (zh) 图像传感器、摄像头组件和移动终端
JP2005167874A (ja) 固体撮像素子及び画像信号処理装置
JP2005354656A (ja) 画素配列装置、固体撮像装置及びカメラ
US20160127670A1 (en) Cmos sensor with standard photosites
KR100710688B1 (ko) 이미지 센서
JPS60204191A (ja) カラ−テレビジヨンカメラ用のデジタル信号処理装置
JP2012191591A (ja) 撮像装置、スミア補正方法
JP2004363769A (ja) 固体撮像素子とそれを用いた固体撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant