CN206835238U - 图像传感器和成像系统 - Google Patents
图像传感器和成像系统 Download PDFInfo
- Publication number
- CN206835238U CN206835238U CN201720090226.4U CN201720090226U CN206835238U CN 206835238 U CN206835238 U CN 206835238U CN 201720090226 U CN201720090226 U CN 201720090226U CN 206835238 U CN206835238 U CN 206835238U
- Authority
- CN
- China
- Prior art keywords
- signal
- gain
- pixel
- gain control
- statistical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本实用新型涉及图像传感器和成像系统。该图像传感器的特征在于包括:通过在图像信号处理之前将像素行数据与预定阈值进行比较来针对预定行数选择性地激活高转换增益模式或低转换增益模式,从而该图像传感器和相应的成像系统具有改进的高动态范围。
Description
相关专利申请的交叉引用
本专利申请要求于2016年2月5日提交的美国临时专利申请序列号62/291,579的权益,并且将该专利申请的公开内容全文以引用方式并入本文。然而,当本公开与任何引用的专利申请冲突时,本公开应当被赋予优先权。
技术领域
本实用新型涉及成像系统,具体而言,涉及具有高动态范围的图像传感器和相应的成像系统。
背景技术
电子装置(诸如移动电话、照相机和计算机)通常使用图像传感器来捕获图像。典型的CMOS成像器电路包括像素的焦平面阵列,并且每个像素包括用于在衬底的一部分中聚积光生电荷的光传感器,诸如光电门、光电导体或光电二极管。每个像素具有在衬底上或衬底中形成的电荷存储区。电荷存储区可被构造成浮动扩散区。在一些成像器电路中,每个像素可包括用于将电荷从光传感器转移到存储区的至少一个电子装置(诸如晶体管)、用于在电荷转移之前将存储区重置为预定电量的第二装置(通常也为晶体管)以及用于将信号放大到读出线的第三装置。
在具有集成像素或在集成模式下操作的像素的CMOS成像器中,像素的有源元件执行以下必要功能:(1)光子到电荷转换;(2)聚积图像电荷;(3)将存储区重置为已知状态;(4)伴随电荷放大,将电荷转移到存储区;(5)选择用于读出的像素;以及(6)输出并放大表示重置电平和像素电荷的信号。光电荷可在其从初始电荷聚积区向存储区移动时放大。存储区处的电荷通常由源极跟随器输出晶体管转换成像素输出电压。
任何成像器的重要性能特征在于其动态范围。在用于感测低光信号并捕获亮度或明亮度变化较大的图像的应用中,期望的是高动态范围。具体地讲,成像器的动态范围可被定义为成像器在饱和状态下检测到的最小亮度与成像器在信噪比(SNR)等于1时检测到的亮度的比率。高动态范围场景的示例包括具有室外窗口的室内房间、阴影和明亮阳光混合的室外、人工照明与阴影结合的夜间场景,以及在汽车场景中,在白天正进入或即将离开隧道或阴影区的汽车。
内部场景动态范围是指成像器可在单帧图像数据中容纳的入射信号的范围。在常规的双转换增益传感器中,固定的转换增益应用于整个图像帧。然而,待成像的场景通常在整个图像像素的任何给定行内同时包括更亮部分和更暗部分。使用常规图像传感器以及用于控制整个帧中的图像像素在高增益或低增益模式下操作的图像处理技术来执行图像捕获操作,可能会使一些图像像素过度产生噪声、曝光不足或饱和的图像信号。
在其他成像系统中,可捕获同一场景两次,即在低增益模式下捕获一次,在高增益模式下捕获一次。随后可使用这两个图像来重建一个高动态范围图像。这种方法将帧率减半,并且还可包括因每次图像捕获之间的时间差而引起的图像伪影。
实用新型内容
本实用新型一方面涉及一种图像传感器,其特征在于包括:按行和列布置的像素阵列,其中每个像素被配置为在高转换增益模式和低转换增益模式下操作;耦接到所述阵列的列电路,所述列电路被配置为从所述阵列接收像素信号;耦接到所述列电路和所述阵列的增益控制单元,其中所述增益控制单元根据从至少一个不同像素行接收的像素信号来选择像素行的增益模式。
根据上述图像传感器的一个单独实施例,其特征在于所述增益控制单元包括:接收表示像素行数的数据和像素数据并生成统计值的统计电路;接收所述统计值并向所述像素行输出增益控制信号的增益控制电路;以及存储所述像素数据的存储装置。
根据上述图像传感器的一个单独实施例,其特征在于所述增益控制电路包括:将所述统计值与高阈值比较的第一比较器;将所述统计值与低阈值比较的第二比较器;耦接于所述第一比较器和所述第二比较器的或门;以及耦接于所述或门并接收表示当前增益模式的信号的异或门。
根据上述图像传感器的一个单独实施例,其特征在于所述统计电路为输出选自平均值、中值或移动均值的逻辑电路。
根据上述图像传感器的一个单独实施例,其特征在于所述增益控制单元通过以下方式设置所述像素行的所述增益模式:将从所述至少一个不同像素行接收的所述像素信号导出的统计值与高阈值和低阈值进行比较。
根据上述图像传感器的一个单独实施例,其特征在于所述增益控制单元通过以下方式设置所述像素行的所述增益模式:向所述像素阵列传输表示所述高转换增益模式的第一信号和表示所述低转换增益模式的第二信号。
根据上述图像传感器的一个单独实施例,其特征在于所述增益控制单元通过经由控制线向晶体管传输控制信号来设置所述像素行的所述增益模式,所述晶体管包括:耦接到电荷存储区的第一端子;耦接到电容器的第二端子;以及耦接到所述控制线的第三端子。
根据上述图像传感器的一个单独实施例,其特征在于当所述晶体管导通时,所述像素在低转换增益模式下操作,而当所述晶体管断开时,所述像素在高转换增益模式下操作。
根据上述图像传感器的一个单独实施例,其特征在于所述图像传感器还包括行选择器,所述行选择器被配置为经由行选择线选择性地激活所述像素行,其中所述行选择线电连接到给定行中的每个像素。
根据上述图像传感器的一个单独实施例,其特征在于所述增益控制单元和所述像素阵列在同一硅管芯上形成。
本实用新型另一方面涉及一种成像系统,其特征在于包括:图像传感器,包括:按行和列布置的像素阵列,其中每个像素在高转换增益模式和低转换增益模式下操作;耦接到所述阵列的列电路,所述列电路被配置为从所述阵列接收像素信号;耦接到所述列电路和所述阵列的增益控制单元,其中所述增益控制单元被配置为:接收所述像素信号;从所述像素信号导出统计值;基于所述统计值来选择像素行的增益模式;以及向所述阵列提供控制信号,其中所述像素行被配置为响应于所述控制信号而在所选择的增益模式下操作;耦接到所述图像传感器的图像信号处理器,所述图像信号处理器被配置为接收并处理所述像素信号并且传输最终输出信号;以及耦接到所述图像信号处理器的输出单元,所述输出单元被配置为响应于所述最终输出信号而显示图像。
根据上述成像系统的一个单独实施例,其特征在于所述增益控制单元包括:接收表示像素行数的数据和像素信号并生成统计值的统计电路;基于所述统计值并向所述像素行输出增益控制信号的增益控制电路;以及存储所述像素信号的存储装置。
根据上述成像系统的一个单独实施例,其特征在于所述增益控制电路包括:将所述统计值与高阈值比较的第一比较器;将所述统计值与低阈值比较的第二比较器;耦接于所述第一比较器和所述第二比较器的或门;以及耦接于所述或门并接收表示当前增益模式的信号的异或门。
根据上述成像系统的一个单独实施例,其特征在于所述统计电路为输出选自平均值、中值或移动均值的逻辑电路。
本实用新型再一方面涉及一种图像传感器,其具有改进的高动态范围,该图像传感器的特征在于包括:按行和列布置的双转换增益像素阵列,其中每个像素被配置为在高转换增益模式和低转换增益模式下操作并且产生像素信号;增益控制单元,所述增益控制单元被配置为:接收所述像素信号;计算所述像素信号的统计值;将所述统计值与第一阈值和第二阈值进行比较;选择控制信号,其中如果所述统计值小于或等于所述第一阈值,则选择第一控制信号;如果所述统计值大于或等于所述第二阈值,则选择第二控制信号;将所述控制信号传输到后续像素行,使得所述后续像素行在所述高转换增益模式或所述低转换增益模式中的一个下操作;以及图像信号处理器,所述图像信号处理器用于接收并处理所述像素信号。其中所述增益控制单元包括:接收表示像素行数的数据和像素信号并生成统计值的统计电路,其中所述统计电路为输出选自平均值、中值或移动均值的逻辑电路;接收所述统计值并向像素行输出增益控制信号的增益控制电路,其中所述增益控制电路包括:将所述统计值与第一阈值进行比较的第一比较器;将所述统计值与第二阈值进行比较的第二比较器;耦接于所述第一比较器和所述第二比较器的或门;以及耦接于所述或门并接收表示当前增益模式的信号的异或门;以及存储像素信号的存储装置。
附图说明
当结合以下示例性附图考虑时,可通过参照具体实施方式而得到对本实用新型技术的更完整的理解。在以下附图中,通篇以类似附图标记指代各附图当中的类似元件和步骤。
图1代表性地示出了根据本实用新型技术的示例性实施方案的成像系统;
图2代表性地示出了根据本实用新型技术的示例性实施方案的成像装置;
图3代表性地示出了根据本实用新型技术的示例性实施方案的像素电路;
图4代表性地示出了根据本实用新型技术的示例性实施方案的逻辑图;
图5代表性地示出了根据本实用新型技术的示例性实施方案的逻辑框图;
图6代表性地示出了根据本实用新型技术的示例性实施方案的比较器电路;
图7代表性地示出了根据本实用新型技术的示例性实施方案的或门的CMOS电路图;
图8代表性地示出了根据本实用新型技术的示例性实施方案的异或门的CMOS电路图;
图9代表性地示出了根据本实用新型技术的示例性实施方案的或非门的CMOS电路图;
图10代表性地示出了根据本实用新型技术的示例性实施方案的与门的CMOS电路图;
图11代表性地示出了根据本实用新型技术的示例性实施方案的反相器的CMOS电路图;
图12代表性地示出了根据本实用新型技术的示例性实施方案的成像系统;
图13代表性地示出了根据本实用新型技术的示例性实施方案的伽马控制单元;以及
图14代表性地示出了根据本实用新型技术的示例性实施方案的伽马校正曲线。
具体实施方式
本实用新型技术可在功能块组件和各种加工步骤方面进行描述。这样的功能块可通过被构造成执行指定功能并且实现各种结果的任何数量的组件实现。例如,本实用新型技术可采用可执行各种功能的多种电气部件、可编程逻辑装置等。此外,本实用新型技术可结合任何数量的期望高动态范围的系统(诸如汽车系统、检查系统、监控系统等)来实施,并且所描述的系统仅仅是用于本实用新型技术的一个示例性应用。此外,本实用新型技术可采用任何数量的常规技术来传输、处理和输出信号。
用于根据本实用新型的各个方面的图像传感器的方法和系统可例如结合双转换增益电路来提供改进的动态范围。用于根据本实用新型技术的各个方面的图像传感器的方法和系统可结合任何合适的电气系统和/或照相机应用来操作。本实用新型技术的各种代表性实施方式可应用于任何适当的机器视觉应用。
现在参见图1,在本实用新型技术的示例性实施方案中,用于具有高动态范围的图像传感器的方法和系统结合图像传感器100、图像信号处理器120和输出装置110操作。在该示例性实施方案中,图像传感器100可包括在芯片上实现并控制像素增益的增益控制单元105。
图像信号处理器120可包括一个或多个集成电路(诸如图像处理电路)、微处理器以及存储装置(诸如随机存取存储器、非易失性存储器或适于特定应用的任何其他存储器装置)。在各种实施方案中,图像信号处理器120可处理并存储数字像素数据。例如,图像信号处理器120可执行图像重建,诸如去马赛克、白平衡、降噪、颜色校正等。
图像传感器100和图像信号处理器120(统称为成像装置125)可捕获和传送图像数据,并且可在电子装置(诸如照相机、移动电话、平板计算机、网络摄像头、摄影机、视频监控系统、汽车成像系统、具有成像能力的视频游戏系统或任何其他所期望的成像系统)内使用。在各种实施方案中,电子装置可通过将入射光转换成数字图像来捕获图像数据,如下文所述。
输出装置110可包括外部装置,诸如计算机显示器、存储卡或一些其他外部单元。在一个实施方案中,输出装置110是用于机器视觉系统的一部分。输出装置110可从图像信号处理器120接收数字图像数据,诸如视频数据、图像数据、帧数据和/或增益信息。例如,电子装置可包括用于查看和/或存储数字图像数据的输出装置110,诸如显示屏或存储器部件。
现在参见图2,在成像装置125的示例性实施方案中,图像传感器100可包括行电路220、列电路210和像素阵列200。像素阵列200可包括按行240和列245布置的单独像素205,并且像素阵列200可包含任何数量的行240和列245,例如数百或数千行240和列245。
行电路220可从控制电路105接收行地址,并且通过通向像素阵列200中的像素205的行控制路径225将对应的行控制信号(诸如重置信号、行选择信号,电荷转移信号和读出控制信号)提供给像素205。
列电路210可包括列控制电路、读出电路、处理电路和列解码器电路,并且可接收图像信号,诸如由像素205生成的模拟像素信号。列路径230可被配置为将像素阵列200的每一列耦接到列电路210。列路径230可用于从像素205读出图像信号并且/或者提供偏置信号(例如偏置电流或偏置电压)。
列电路210还可包括被配置为放大输出信号(诸如像素205输出)的放大器电路(未示出)。放大器电路可插置在列路径230上,使得像素阵列200的每一列可具有对应的放大器电路。放大器电路可放大从像素阵列200中的相关列接收的图像信号,并且可向所接收的图像信号提供所期望的增益(例如可调增益)。在各种实施方案中,放大器电路可诸如在对应像素捕获场景的更暗部分时为从像素205接收的图像信号提供相对高的增益,或者可诸如在对应像素捕获场景的更亮部分时为图像信号提供相对低的增益。列电路210可向放大器电路提供控制信号,以控制由像素205提供的图像信号的增益。
列电路210还可包括采样保持电路(用于对从像素阵列200读出的图像信号进行采样和临时存储)、放大器电路、模数转换(ADC)电路、偏置电路、比较器电路、列存储器、闩锁电路(用于选择性地启用或禁用列电路)和/或耦接到像素阵列200的一个或多个列的其他电路。ADC电路将从像素阵列200接收的模拟像素信号转换为对应的数字像素信号(也被称为数字像素输出或数字像素数据)。数字像素信号可沿着第一导线265传输到图像信号处理器120和/或沿着第二导线270传输到增益控制单元105。
增益控制单元105可被配置为经由第二导线270从列电路210接收第一输入IN(例如像素阵列200的一个或多个行240的数字像素信号)。在示例性实施方案中,增益控制单元105可包括增益控制电路250、统计电路255和存储装置260。增益控制单元105可经由第三导线235将输出信号Z传输到行电路220。
统计电路255可包括输入D和输出E。在示例性实施方案中,输入D对应于增益控制单元105的输入IN。统计电路还可经由通信总线275耦接到存储装置260,并且统计电路被配置为向存储装置260传输通信信号以及从存储装置260接收通信信号。在示例性实施方案中,统计电路255可包括适于执行一组计算诸如以计算一组预定值的平均值、中值或移动均值的任何电路。例如,统计电路255可包括任何数量的导线、加法器电路、移位操作、时钟机制等。统计电路255还可在计算期间利用存储装置260内的存储器单元来存储像素数据的位数。统计电路255可使用晶体管或适于特定应用的任何其他半导体装置来实现。
存储装置260可包括任何合适类型的半导体存储器,诸如易失性存储器或非易失性存储器。存储装置260可包括一个或多个存储器单元,诸如动态随机存取存储器单元(DRAM)、静态随机存取存储器单元(SRAM)或双稳态触发器。存储装置可使用晶体管或其他半导体装置来实现,并且存储装置可被配置为存储数量N,其中N表示行240的数量。
在一个实施方案中,增益控制单元105可用可编程逻辑装置(诸如现场可编程门阵列(FPGA)或具有可重配数字电路的任何其他装置)来实现。在替代性实施方案中,增益控制单元105可在包括像素阵列200的芯片中形成。在示例性实施方案中,增益控制单元105可直接从列电路220接收像素信号。
现在参见图4,增益控制电路250(图2)可包括一个或多个电气部件,诸如逻辑门、晶体管、时钟机制等。在一个实施方案中,增益控制电路250可在可编程逻辑装置中实现并且包括一个或多个逻辑块400。逻辑块400可包括第一比较器405、第二比较器410、或门415和异或门420。在一个实施方案中,逻辑块400可接收输入信号A和C并生成输出信号Y。
第一比较器405可接收第一输入信号COMP1A和第二输入信号COMP2A并生成输出信号S1。同样,第二比较器410可接收第一输入信号COMP1B和第二输入信号COMP2B并生成输出信号S2。在示例性实施方案中,第一比较器405的输入之一(例如第一输入COMP1A)包括高阈值HIGHth,并且第二比较器410的输入之一(例如第二输入COMP2B)包括低阈值LOWth。高阈值和低阈值可以是基于模数转换器(ADC)的位分辨率的预定值。例如,对于12位分辨率ADC,位值在0至4095范围内,因此将从此范围中选择高阈值和低阈值。在示例性实施方案中,可基于提供所期望的图像输出来选择高阈值和低阈值。
在各种实施方案中,第一比较器405和第二比较器410可用如图6所示的一个或多个逻辑门来实现。例如,第一比较器405和第二比较器410可包括反相器600、与门605和或非门610。虽然图6示出了1位数字比较器电路,但比较器可具有任何位数的数字输入。
或门415可接收分别对应于第一比较器405的输出信号S1和第二比较器410的输出信号S2的第一输入信号和第二输入信号,并生成输出信号S3。异或门420可接收第一输入信号和第二输入信号,其中一个输入对应于或门415的输出信号S3,而另一个输入接收表示当前增益模式(即,高增益或低增益)的输入信号C。异或门420可生成逻辑块400的输出Y。
现在参见图7至图11,在各种实施方案中,逻辑块400还可使用半导体装置(诸如晶体管、时钟装置等)在硅中实现。图7至图11示出了用于执行反相器600、与门605、或非门610、或门415和异或门420中每一个的功能的CMOS(互补金属氧化物半导体)电路图。在各种实施方案中,每个逻辑门可使用PMOS(p沟道金属氧化物半导体)晶体管和NMOS(n沟道金属氧化物半导体)晶体管来实现,并且以与图4中所述方式相同的方式电连接。
现在参见图3,根据示例性实施方案,像素阵列200内的像素205可包括光敏区300、电荷存储节点305、源极跟随器晶体管310、行选择晶体管315、重置晶体管320、电荷转移门360和双转换增益晶体管325。
像素205的行240和列245可经由行选择线330、电荷转移线335、双转换增益控制线340和重置线345电连接。行选择线330、电荷转移线335、双转换增益控制线340和重置线345可从行控制路径225(图2)接收控制信号。控制信号可包括重置信号RESET、电荷转移信号TX、双转换增益信号DCG和行选择信号RS。像素205还可电连接到电压源VAA和接地源Vss或者其他参考电势。包括具有双转换增益晶体管325的像素205的图像传感器100可被称为双转换增益图像传感器。
像素205可包括任何数量的用于捕获图像电荷的光敏区300。在示例性实施方案中,光敏区300可包括光电二极管350。光电二极管350可耦接到电荷存储节点305。在各种实施方案中,光电二极管350可设置有用于捕获所期望的颜色光的对应滤色器元件(未示出)。滤色器元件可以是红色的、绿色的或蓝色的,并且可以任何图案布置在适于特定应用的像素阵列200上。
电荷存储节点305(也被称为浮动扩散区)可耦接到光电二极管350。电荷存储节点305可包括掺杂半导体区,其中所述掺杂可通过离子注入、扩散或任何其他合适的掺杂技术实现。掺杂半导体区可呈现可用于存储由光电二极管350收集的电荷的电容。
电荷转移门360可耦接在光电二极管350与电荷存储节点305之间。电荷转移门360的栅极端子可耦接到电荷转移线335以接收控制信号(例如电荷转移信号TX),以降低光电二极管350与电荷存储节点305之间的势垒,使得电荷能够从光电二极管350转移到电荷存储节点305。
重置晶体管320可耦接在重置线345与电荷存储节点305之间,使得重置晶体管320的栅极端子耦接到重置线345、漏极端子连接到电源VAA、并且源极端子连接到电荷存储区。重置线345可向重置晶体管320的栅极端子施加信号(诸如重置信号RESET)。
源极跟随器晶体管310可与行选择晶体管315串联地耦接。源极跟随器晶体管310的栅极端子可耦接到电荷存储节点305,而源极端子连接到行选择晶体管315的漏极端子。源极跟随器晶体管310的漏极端子可耦接到电源VAA,并且行选择晶体管315的源极端子可连接到读出线Vout。
双转换增益晶体管325可经由栅极端子耦接到双转换增益控制线340,而源极端子可耦接到电容器365,漏极端子可耦接到电荷存储节点305。双转换控制线340可向双转换增益晶体管325的栅极端子施加控制信号(例如双转换增益信号DCG)。
电容器365可包括两个平行板,其中一个板连接到双转换增益晶体管325的源极端子,而另一个板连接到接地源Vss或其他电势。当双转换增益晶体管导通时,电容器365可为电荷存储节点305提供额外的电荷存储。在其他实施方案中,可用任何合适的能够向电荷存储节点305提供额外电荷存储的电气部件和/或电路替换电容器365。
现在参见图5,增益控制单元105(图1)可执行过程500,所述过程包括基于像素数据510和当前操作增益模式515来选择增益模式。
统计电路255可从当前行接收表示行数505的数量N和像素数据510(S501)。行数N可被存储在存储装置260(图2)中并且被传输到统计电路255。像素数据510可包括数字值,例如12位值。过程500可包括执行预定计算。在示例性实施方案中,统计电路255可从特定行数的像素数据导出第一统计值R。例如,可计算特定行数的像素数据的平均值(即移动平均值)、中值或四分位值,并且将计算结果传输到增益控制电路250。在其他实施方案中,可计算一个以上的统计值,并且这些统计值可例如包括第二统计值和第三统计值。
在各种实施方案中,过程500可包括利用增益控制电路250来执行一个或多个决定。增益控制电路250可从统计电路255接收第一统计值R以及关于当前增益模式515的信息(S502)。在示例性实施方案中,增益控制电路250可确定第一统计值R是否小于低阈值LOWth(S503)。如果第一统计值R小于低阈值LOWth,则增益控制电路250可将高转换增益模式应用于接下来的N行(D520)。如果第一统计值R大于高阈值HIGHth,则接下来的N行将在低转换增益模式下操作(D525)。如果第一统计值R不大于高阈值HIGHth(换句话说,如果第一统计值R大于低阈值LOWth但小于高阈值HIGHth),则接下来的N行将在当前增益模式(即最近操作的增益模式)下操作(D530)。当前增益模式515可被定义为预定开始增益模式和/或在紧接先前的读出过程期间的操作增益模式。
过程500和/或增益控制单元105可部分地或完全地在包括PMOS和NMOS晶体管(例如包括如上所述的图7至图11所示的电路)的芯片上实现、使用处理器和存储器系统在ASIC中实现或者以其他合适的实施方式实现。
参见图2和图3,在操作中,来自像素205的像素数据可经由列电路210传输到增益控制单元105。存储装置260可由统计电路255访问以传输或检索数量N。统计电路255随后可从列电路210接收N行像素数据,其中像素数据可从单行或多行接收。N行像素数据可利用统计电路255来处理。一旦计算出第一统计值R,便可将其传输到增益控制电路250,并将其与高阈值HIGHth和低阈值LOWth进行比较(图5)。输出信号Z(用信号通知用于接下来的N行的指令)可经由第三导线235从增益控制电路250传输到行电路220。行电路220随后可跨过行控制路径225将信号传输到像素阵列200中的N行,以启用或禁用双转换增益晶体管325。
可通过在双转换增益控制线340上施加控制信号(例如双转换增益信号DCG)来启用或禁用双转换增益晶体管325。双转换增益控制线340上的高信号启用双转换增益晶体管325(即,使晶体管导通),这意味着该特定行240中的像素205将在低转换增益模式下操作。相反,双转换增益控制线340上的低信号禁用双转换增益晶体管325(即,使晶体管断开),这意味着该特定行240中的像素205将在高转换增益模式下操作。
然后,N行的像素数据通过读出线传输到列电路210,随后输出到图像信号处理器120,以供进一步的图像处理。增益控制单元105再次处理来自N行的像素数据,以确定用于接下来的N行的操作模式(即高转换增益模式或低转换增益模式)。例如,如果N=3,则像素阵列200的前3行240(即行1、2和3)将被读出并被传输到增益控制单元105,其中将计算第一统计值R。然后,增益控制电路250将控制信号(例如双转换增益信号DCG)传输到行电路220,以在高转换增益模式或低转换增益模式下操作行4、5和6。读取N行像素数据、计算N行像素数据的第一统计值R以及选择适当的转换增益这些过程可持续进行,直到像素阵列200的所有行240都被读取为止。行数N可以是适于特定应用或图像场景的任何预定数目。
再次参见图2,在示例性实施方案中,在将输出信号Z(即增益控制信号)传输到像素阵列240之前,像素信号可不由图像信号处理器120处理或不被传输到图像信号处理器120,而是像素信号可绕过图像信号处理器120而被传输到增益控制单元105,使得增益控制单元105利用未处理的像素数据。
现在参见图13,在示例性实施方案中,图像信号处理器120还可被配置为执行颜色处理和色调映射操作(诸如去马赛克、白平衡、颜色校正和伽马校正),并且图像信号处理器120可包括伽马校正单元1305。色调映射可用于调整由像素205捕获的阴影和亮度(图3)。使用伽马编码的色调映射可有助于在低动态范围显示器上呈现高动态范围场景。在示例性实施方案中,伽马校正单元1305可包括RGB帧数据输入1315和行增益信息输入1320。一旦所有像素数据都被读出到图像信号处理器120,伽马校正单元1305便可利用sigmoid系数1310来对图像帧执行伽马校正和缩放1305。sigmoid曲线可用于显示高动态范围场景,因为sigmoid曲线将较高增益应用于低输入RGB值并且将较低增益应用于高输入RGB值,而任何合适的色调映射技术可用于特定应用。对与色调映射算子一起使用的系数1310进行优化,以允许在重建帧中用不同转换增益捕获的行之间进行平滑转换。图14的曲线1400表示颜色校正之后的RGB输入值以及三种情况的伽玛校正之后的相应sRGB输出值。第一种情况(“γ=0.4545”)是可足以用于低动态范围场景的标准曲线。其他两种情况(“Sigmoid HCG”和“Sigmoid LCG”)分别用于在高转换增益模式和低转换增益模式下捕获的行。
现在参见图12,在电子装置(在这种情况下为数字照相机1200)中示出了利用上述成像装置125和方法500的系统。成像装置125还可从所述系统(诸如快门释放)接收控制或其他数据。在各种实施方案中,可采用成像装置的系统包括但不限于计算机系统、照相机系统、扫描仪、机器视觉系统、车辆导航系统、视频电话、监控系统、自动聚焦系统、星体跟踪器系统、运动检测系统、图像稳定系统等。
所述系统可包括通过总线1230与各种装置通信的中央处理单元(CPU)1205。连接到总线1230的一些装置可提供进出系统的通信,例如输入/输出(I/O)装置1210和成像装置125。连接到总线1230的其他装置提供存储器,例如随机存取存储器(RAM)1215、硬盘驱动器以及一个或多个外围存储器装置1220,诸如软盘驱动器和光盘(CD)驱动器。虽然总线1230被示为单条总线,但可使用任何数量的总线来提供通信路径以使装置互连。
成像装置125可与处理器(诸如CPU 1205、数字信号处理器或微处理器)组合在单个集成电路中,或者可位于单独的芯片上。成像装置125可以是根据任何所描述的实施方案和/或控制方法构造的CMOS成像器。
在各种实施方案中,电子装置还可包括镜头1225,其被配置为将图像聚焦在像素阵列200上。例如,镜头1225可包括固定镜头和/或可调镜头,并且可包括在图像传感器100的成像表面上形成的微镜头。
根据一个实施方案,一种图像传感器包括:按行和列布置的像素阵列,其中每个像素被配置为在高转换增益模式和低转换增益模式下操作;耦接到所述阵列的列电路,所述列电路被配置为从所述阵列接收像素信号;耦接到所述列电路和所述阵列的增益控制单元,其中所述增益控制电路根据从至少一个不同像素行接收的像素信号来选择像素行的增益模式。所述增益控制单元还包括存储像素数据的存储装置。所述增益控制单元通过将从至少一个不同像素行接收的像素信号导出的统计值与高阈值和低阈值进行比较来设置像素行的增益模式。所述增益控制单元还通过向像素阵列传输表示高转换增益模式的第一信号以及表示低转换增益模式的第二信号来设置像素行的增益模式。所述增益控制单元还通过经由控制线向晶体管传输控制信号来设置像素行的增益模式,所述晶体管包括耦接到电荷存储区的第一端子、耦接到电容器的第二端子以及耦接到控制线的第三端子。当晶体管导通时,像素行在低转换增益模式下操作,而当晶体管断开时,像素在高转换增益模式下操作。所述图像传感器还包括行选择器,所述行选择器被配置为经由行选择线选择性地激活像素行,其中所述行选择线电连接到给定行中的每个像素。所述图像传感器还包括I/O装置,所述I/O装置被配置为与图像信号处理器通信。所述增益控制单元和所述像素阵列在同一硅管芯上形成。
根据另一实施方案,一种成像系统包括图像传感器,所述图像传感器包括:按行和列布置的像素阵列,其中每个像素在高转换增益模式和低转换增益模式下操作;耦接到所述阵列的列电路,所述列电路被配置为从所述阵列接收像素信号;耦接到所述列电路和所述阵列的增益控制单元,其中所述增益控制单元被配置为接收所述像素信号、从所述像素信号导出统计值、基于所述统计值来选择像素行的增益模式并且向所述阵列提供控制信号,其中所述像素行被配置为响应于所述控制信号而在所选择的增益模式下操作;耦接到所述图像传感器的图像信号处理器,所述图像信号处理器被配置为接收并处理所述像素信号并且传输最终输出信号;以及耦接到所述图像信号处理器的输出单元,所述输出单元被配置为响应于所述最终输出信号而显示图像。所述增益控制单元还包括被配置为存储器单元的存储装置。所述增益控制单元通过将统计值与高阈值和低阈值进行比较,基于统计值来选择像素行的增益模式。每个像素包括晶体管,所述晶体管包括耦接到电荷存储区的第一端子、耦接到电容器的第二端子以及耦接到控制信号的第三端子。每个像素在晶体管导通时在低转换增益模式下操作,而在晶体管断开时在高转换增益模式下操作。所述成像系统还包括行选择器,所述行选择器被配置为经由行选择线选择性地激活像素行,其中所述行选择线电连接到给定行中的每个像素。所述图像信号处理器利用曲线系数对像素行执行伽马校正。基于所选择的增益模式来选择曲线系数。伽马校正基于sigmoid曲线。所述图像系统被布置成使得所述图像传感器的至少一部分和所述图像信号处理器的至少一部分在同一硅管芯上形成。
根据另一实施方案,一种具有改进的高动态范围的图像传感器包括:按行和列布置的双转换增益像素阵列,其中每个像素被配置为在高转换增益模式和低转换增益模式下操作并且产生像素信号;增益控制单元,用于接收所述像素信号、计算所述像素信号的统计值、将所述统计值与第一阈值和第二阈值进行比较、选择控制信号(其中如果所述统计值小于或等于第一阈值,则选择第一控制信号;如果所述统计值大于或等于第二阈值,则选择第二控制信号)、将所述控制信号传输到后续像素行使得后续像素行在高转换增益模式或低转换增益模式中的一个下操作;以及图像信号处理器,用于接收并处理所述像素信号。
根据另一实施方案,一种改进图像传感器的高动态范围的方法包括:布置按行和列的双转换增益像素阵列,其中每个像素被配置为在高转换增益模式和低转换增益模式下操作;选择性地激活像素行以产生像素信号;以增益控制单元接收所述像素信号;计算所述像素信号的统计值;将所述统计值与第一阈值和第二阈值进行比较;选择控制信号(其中如果所述统计值小于或等于第一阈值,则选择第一控制信号;如果所述统计值大于或等于第二阈值,则选择第二控制信号);将所述控制信号传输到后续像素行使得后续像素行在高转换增益模式或低转换增益模式中的一个下操作;以及以图像信号处理器接收并处理所述像素信号。
在上述描述中,已结合具体示例性实施方案描述了所述技术。所示和所述特定具体实施方式用于展示所述技术及其最佳模式,而不旨在以任何方式另外限制本实用新型技术的范围。实际上,为简洁起见,方法和系统的常规制造、连接、制备和其他功能方面未详细描述。此外,多张图中示出的连接线旨在表示各种元件之间的示例性功能关系和/或步骤。多个替代的或另外的功能关系或物理连接可存在于实际系统中。
已结合具体示例性实施方案描述了所述技术。然而,可在不脱离本实用新型技术的范围的情况下作出各种修改和变化。以示例性而非限制性方式考虑说明和附图,并且所有此类修改旨在包括在本实用新型技术的范围内。因此,应通过所述的一般实施方案及其在法律意义上的等同形式,而不是仅通过上述具体例子确定所述技术的范围。例如,除非另外明确说明,否则可以任何顺序执行任何方法或工艺实施例中列举的步骤,并且不限于具体例子中提供的明确顺序。另外,任何设备实施例中列举的组件和/或元件可以多种排列组装或者进行操作配置,以产生与本实用新型技术基本上相同的结果,因此不限于具体例子中阐述的具体配置。
上文已经针对具体实施方案描述了有益效果、其他优点和问题解决方案。然而,任何有益效果、优点、问题解决方案或者可使任何具体有益效果、优点或解决方案出现或变得更明显的任何要素都不应被解释为关键、所需或必要特征或组成部分。
术语“包含”、“包括”或其任何变型形式旨在提及非排他性的包括,使得包括一系列要素的工艺、方法、制品、组合物或设备不仅仅包括这些列举的要素,而且还可包括未明确列出的或此类工艺、方法、制品、组合物或设备固有的其他要素。除了未具体引用的那些,本实用新型技术的实施所用的上述结构、布置、应用、比例、元件、材料或组件的其他组合和/或修改可在不脱离其一般原理的情况下变化或以其他方式特别适于具体环境、制造说明、设计参数或其他操作要求。
上文已结合示例性实施方案描述了本实用新型技术。然而,可在不脱离本实用新型技术的范围的情况下对示例性实施方案作出变化和修改。这些和其他变化或修改旨在包括在本实用新型技术的范围内,如以下权利要求所述。
Claims (7)
1.一种图像传感器,其特征在于包括:
按行和列布置的像素阵列,其中每个像素被配置为在高转换增益模式和低转换增益模式下操作;
耦接到所述阵列的列电路,所述列电路被配置为从所述阵列接收像素信号;
耦接到所述列电路和所述阵列的增益控制单元,其中所述增益控制单元包括:
被配置为生成统计值的统计电路;
与所述统计电路耦接并被配置为向像素的行输出增益控制信号的增益控制电路;以及
被配置为存储像素数据的存储装置。
2.根据权利要求1所述的图像传感器,其特征在于所述增益控制电路包括:
将所述统计值与高阈值比较的第一比较器;
将所述统计值与低阈值比较的第二比较器;
耦接于所述第一比较器和所述第二比较器的或门;以及
耦接于所述或门并输出表示当前增益模式的信号的异或门。
3.根据权利要求1所述的图像传感器,其特征在于所述统计电路为输出选自平均值、中值或移动均值的数值的逻辑电路。
4.一种成像系统,其特征在于包括:
图像传感器,包括:
按行和列布置的像素阵列,其中每个像素在高转换增益模式和低转换增益模式下操作;
耦接到所述阵列的列电路,所述列电路被配置为从所述阵列接收像素信号;
耦接到所述列电路和所述阵列的增益控制单元,其中所述增益控制单元包括:
接收表示像素行数的数和像素信号并生成统计值的统计电路;
接收所述统计值并向像素的行输出增益控制信号的增益控制电路;以及
存储像素信号的存储装置;
耦接到所述图像传感器的图像信号处理器,所述图像信号处理器被配置为接收并处理所述像素信号并且传输最终输出信号;以及
耦接到所述图像信号处理器的输出单元,所述输出单元被配置为响应于所述最终输出信号而显示图像。
5.根据权利要求4所述的成像系统,其特征在于所述增益控制电路包括:
将所述统计值与高阈值比较的第一比较器;
将所述统计值与低阈值比较的第二比较器;
耦接于所述第一比较器和所述第二比较器的或门;以及
耦接于所述或门并输出表示当前增益模式的信号的异或门。
6.根据权利要求4所述的成像系统,其特征在于所述统计电路为输出选自平均值、中值或移动均值的数值的逻辑电路。
7.一种图像传感器,其具有改进的高动态范围,该图像传感器的特征在于包括:
按行和列布置的双转换增益像素阵列,其中每个像素被配置为在高转换增益模式和低转换增益模式下操作并且产生像素信号;
增益控制单元,所述增益控制单元包括:
接收表示像素行数的数和对应的像素信号并从所述像素信号生成统计值的统计电路,其中所述统计电路包括输出选自平均值、中值或移动均值的数值的逻辑电路;
接收所述统计值并向像素的不同行输出增益控制信号的增益控制电路,其中所述增益控制电路包括:
将所述统计值与第一阈值进行比较的第一比较器;
将所述统计值与第二阈值进行比较的第二比较器;
耦接于所述第一比较器和所述第二比较器的或门;
耦接于所述或门并输出表示当前增益模式的信号的异或门;及
存储像素信号的存储装置;以及
图像信号处理器,所述图像信号处理器用于接收并处理所述像素信号。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662291579P | 2016-02-05 | 2016-02-05 | |
US62/291,579 | 2016-02-05 | ||
US15/161,519 US9854186B2 (en) | 2016-02-05 | 2016-05-23 | Methods and apparatus for an images sensor with row-level gain control |
US15/161,519 | 2016-05-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN206835238U true CN206835238U (zh) | 2018-01-02 |
Family
ID=59496400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201720090226.4U Active CN206835238U (zh) | 2016-02-05 | 2017-01-24 | 图像传感器和成像系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9854186B2 (zh) |
CN (1) | CN206835238U (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110121037A (zh) * | 2018-02-07 | 2019-08-13 | 豪威科技股份有限公司 | 具有双重转换增益读出的图像传感器 |
CN112866589A (zh) * | 2020-12-31 | 2021-05-28 | 长春长光辰芯光电技术有限公司 | 一种汽车图像传感器 |
WO2023124355A1 (zh) * | 2021-12-31 | 2023-07-06 | 格科微电子(上海)有限公司 | 高动态成像的实现方法及其装置、图像处理系统 |
WO2024140873A1 (zh) * | 2022-12-30 | 2024-07-04 | 维沃移动通信有限公司 | 图像传感器、传感器架构、摄像模组及电子设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016212784A1 (de) * | 2016-07-13 | 2018-01-18 | Robert Bosch Gmbh | CMOS Pixel, Bildsensor und Kamera sowie Verfahren zum Auslesen eienes CMOS Pixels |
CN112449362B (zh) * | 2020-11-18 | 2021-08-20 | 中国科学院上海微系统与信息技术研究所 | 基于信物模型的智能传感器自适应配置方法、装置及系统 |
CN118368538A (zh) * | 2023-01-19 | 2024-07-19 | 华为技术有限公司 | 一种图像传感器、成像方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8023733B2 (en) * | 2006-06-08 | 2011-09-20 | Panasonic Corporation | Image processing device, image processing method, image processing program, and integrated circuit |
JP2009177797A (ja) * | 2007-12-26 | 2009-08-06 | Panasonic Corp | 固体撮像装置及びその駆動方法 |
DE102010051986B4 (de) * | 2010-11-19 | 2024-02-01 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Bildsensor |
US8730330B2 (en) * | 2011-07-25 | 2014-05-20 | Aptina Imaging Corporation | Image sensors with dark pixels for real-time verification of imaging systems |
US9628732B2 (en) | 2013-08-23 | 2017-04-18 | Semiconductor Components Industries, Llc | Imaging systems and methods for performing column-based image sensor pixel gain adjustments |
-
2016
- 2016-05-23 US US15/161,519 patent/US9854186B2/en active Active
-
2017
- 2017-01-24 CN CN201720090226.4U patent/CN206835238U/zh active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110121037A (zh) * | 2018-02-07 | 2019-08-13 | 豪威科技股份有限公司 | 具有双重转换增益读出的图像传感器 |
CN112866589A (zh) * | 2020-12-31 | 2021-05-28 | 长春长光辰芯光电技术有限公司 | 一种汽车图像传感器 |
WO2023124355A1 (zh) * | 2021-12-31 | 2023-07-06 | 格科微电子(上海)有限公司 | 高动态成像的实现方法及其装置、图像处理系统 |
WO2024140873A1 (zh) * | 2022-12-30 | 2024-07-04 | 维沃移动通信有限公司 | 图像传感器、传感器架构、摄像模组及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20170230593A1 (en) | 2017-08-10 |
US9854186B2 (en) | 2017-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN206835238U (zh) | 图像传感器和成像系统 | |
CN207022104U (zh) | 图像传感器像素和成像系统 | |
CN209390199U (zh) | 图像传感器和成像系统 | |
US9888198B2 (en) | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities | |
CN206993236U (zh) | 一种图像传感器及系统 | |
US9948849B2 (en) | Image signal processor and devices including the same | |
US9531976B2 (en) | Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions | |
US10334189B1 (en) | HDR pixel array with double diagonal binning | |
TWI516123B (zh) | 具有複數個放大器電晶體之高動態範圍像素 | |
US8723975B2 (en) | High-dynamic-range imaging devices | |
CN102843521B (zh) | 电子装置和用于其的驱动方法 | |
US8299513B2 (en) | High conversion gain image sensor | |
US9686486B2 (en) | Multi-resolution pixel architecture with shared floating diffusion nodes | |
TWI382757B (zh) | 提供多像素整合週期之方法,裝置以及系統 | |
US10218924B2 (en) | Low noise CMOS image sensor by stack architecture | |
CN108200366B (zh) | 像素单元和形成像素单元的方法及数字相机成像系统 | |
DE102013107049A1 (de) | Pixelarray, Bildsensor mit demselben und Verfahren zum Kompensieren von lokalem Dunkelstrom | |
CN212811862U (zh) | 图像传感器 | |
CN108234910B (zh) | 成像系统和形成堆叠成像系统的方法及数字相机成像系统组件 | |
US9118851B2 (en) | High dynamic range image sensor read out architecture | |
JP6767520B2 (ja) | Cmosピクセル、画像センサおよびカメラ、並びにcmosピクセルを読み出すための方法 | |
CN108810428A (zh) | 成像装置、像素及方法 | |
US20160037101A1 (en) | Apparatus and Method for Capturing Images | |
US20140125838A1 (en) | Imaging systems with modified clear image pixels | |
CN110534534B (zh) | 具有不规则设计结构双转换增益晶体管的图像传感器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |