CN116208864A - 具有低噪声和高分辨率的图像传感器及其操作方法 - Google Patents

具有低噪声和高分辨率的图像传感器及其操作方法 Download PDF

Info

Publication number
CN116208864A
CN116208864A CN202211533394.8A CN202211533394A CN116208864A CN 116208864 A CN116208864 A CN 116208864A CN 202211533394 A CN202211533394 A CN 202211533394A CN 116208864 A CN116208864 A CN 116208864A
Authority
CN
China
Prior art keywords
value
pixel
pixel group
image sensor
illuminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211533394.8A
Other languages
English (en)
Inventor
金敬珉
李美羅
吉珉墡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220079991A external-priority patent/KR20230082543A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116208864A publication Critical patent/CN116208864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/51Control of the gain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供一种图像传感器及其操作方法。图像传感器包括:包括多个像素的像素阵列;读出电路,其被配置为根据从像素阵列接收的像素信号生成数字信号;以及信号处理器,其被配置为基于与多个像素中的第一像素组相对应的数字信号的第一值和与第一像素组相邻的第二像素组相对应的第二值中的至少一个来确定是否对第一像素组和第二像素组执行合并,并且当确定执行合并时基于以第一值和第二值用作操作数的第一操作来生成图像数据。

Description

具有低噪声和高分辨率的图像传感器及其操作方法
相关申请的交叉引用
本申请基于并要求2021年12月01提交于韩国知识产权局的韩国专利申请No.10-2021-0170237的优先权,其公开内容整体以引用方式并入本文中。
技术领域
本发明构思涉及一种图像传感器,更具体地,涉及一种具有低噪声及高分辨率的图像传感器及其操作方法。
背景技术
图像传感器是用于捕获对象的二维图像或三维图像的装置。图像传感器可以通过使用根据从对象反射的光的强度而操作的光电转换器件来生成该对象的图像。为了获取高质量图像,图像传感器需要高分辨率和良好的噪声特性。
发明内容
本发明构思提供了具有高分辨率和良好噪声特性两者的图像传感器及其操作方法。
根据本发明构思的方面,提供一种图像传感器,包括:包括多个像素的像素阵列;读出电路,其被配置为根据从所述像素阵列接收的像素信号产生数字信号;以及信号处理器,其被配置为基于与多个像素中的第一像素组对应的数字信号的第一值和与第一像素组相邻的第二像素组对应的数字信号的第二值中的至少一个来确定是否对所述第一像素组和所述第二像素组执行合并,以及当确定执行所述合并时基于以所述第一值和所述第二值作为操作数的第一操作来产生图像数据。
根据本发明构思的方面,提供一种图像传感器,包括多个像素的像素阵列;读出电路,其被配置为根据从所述像素阵列接收的像素信号来生成数字信号;以及信号处理器,其被配置为基于与多个像素中的第一像素组相对应的数字信号的第一值和与所述多个像素中的与所述第一像素组相邻的第二像素组相对应的数字信号的第二值中的至少一个来识别照度,以及当所述照度小于或等于第一阈值时,基于所述第一值和所述第二值被提供为操作数的第一计算来生成图像数据。
根据本发明构思的方面,提供了一种由图像传感器执行的操作方法,该操作方法包括根据从包括多个像素的像素阵列接收的像素信号生成数字信号;基于与多个像素中的第一像素组对应的数字信号的第一值和与第一像素组相邻的第二像素组对应的数字信号的第二值中的至少一个,确定是否对所述第一像素组和所述第二像素组执行合并;以及当确定执行所述合并时基于以所述第一值及所述第二值被提供为操作数的第一计算来产生图像数据。
附图说明
从下面结合附图的详细描述中,将更清楚地理解本发明构思的示例实施例,在附图中:
图1是示出根据一些示例实施例的图像传感器的框图;
图2A和图2B是示出根据一些示例实施例的像素的示例的电路图;
图3是根据一些示例实施例的图像传感器的信噪比(SNR)与高动态范围(HDR)的关系曲线图;
图4是示出根据一些示例实施例的图像的框图;
图5是示出根据一些示例实施例的图像传感器的操作方法的流程图;
图6是示出根据一些示例实施例的图像传感器的操作方法的流程图;
图7A和图7B是根据一些示例实施例的图像传感器的SNR与HDR曲线图;
图8A和图8B是示出根据一些示例实施例的信号处理器的操作的示例的框图;
图9是示出了根据一些示例实施例的图像传感器的操作方法的流程图;
图10是示出根据一些示例实施例的图像传感器的操作方法的流程图;
图11A和图11B示出了根据一些示例实施例的像素阵列的示例;
图12A和图12B是根据一些示例实施例的图像传感器的SNR与HDR曲线图;
图13是示出根据一些示例实施例的图像传感器的操作方法的流程图;
图14示出了根据一些示例实施例的像素阵列;
图15A是根据一些示例实施例的图像传感器的SNR与HDR曲线图,并且图15B示出了根据一些示例实施例的指示合并(binning)
方案的表;
图16是示出根据一些示例实施例的图像传感器的框图;
图17是示出根据一些示例实施例的图像传感器的操作方法的流程图;以及
图18是示出根据一些示例实施例的由图像传感器执行的操作的示例的图。
具体实施方式
图1是示出根据一些示例实施例的图像传感器10的框图。如图1中所示,图像传感器10可包括像素阵列11、驱动器12、读出电路13、控制器14、信号处理器15和查找表16。
图像传感器10可以被包括在具有用于感测图像或光的功能的系统中。例如,图像传感器10可以被包括在诸如相机、智能电话、可穿戴装置、物联网(IoT)、平板PC、无人机、高级驾驶员辅助系统(ADAS)等的电子装置中。
像素阵列11可以包括多个像素,并且多个像素可以连接至多条驱动线DLs和多条感测线SLs。在一些示例实施例中,图像传感器10可以是有源像素传感器(APS),像素阵列11的多个像素中的每一个可以包括至少一个光电转换器件和至少一个晶体管。光电转换器件(或光电转换元件)可以检测光并且生成与光对应的电信号。作为非限制性示例,光电转换器件可以包括由有机材料或无机材料构成的光敏器件,例如无机光电二极管、有机光电二极管、钙钛矿光电二极管、光电晶体管、光电门或钉扎光电二极管。在一些实例实施例中,如下面参照图2A和图2B所描述,像素可提供两个或两个以上转换增益。在一些示例实施例中,如下面参照图2B所述,像素可以包括两个或更多个光电转换器件。
微透镜可以布置在多个像素中的每一个上或者彼此相邻的两个或更多个像素上。像素可以从通过微透镜接收的光中检测处于特定光谱区域中的光。例如,像素阵列11可以包括将红色光谱区域中的光转换成电信号的红色像素、将绿色光谱区域中的光转换成电信号的绿色像素、以及将蓝色光谱区域中的光转换成电信号的蓝色像素。滤色器阵列可以布置在多个像素上,并且可以根据布置在像素上的滤色器来确定像素可以感测的颜色。通过组合在红色像素、绿色像素和蓝色像素中的每一个中产生的像素信号,可以在图像中形成一个像素,并且红色像素、绿色像素和蓝色像素中的每一个可以被称为子像素。
在一些示例实施例中,像素可具有多层结构。多层结构的像素可以包括堆叠的光电转换器件,并且堆叠的光电转换器件可以分别将不同的光谱区域中的光转换成电信号。因此,可以从一个像素输出与不同颜色相对应的电信号。另外,在一些示例实施例中,像素可以包括根据施加的电信号将特定光谱区域的光转换为电信号的光电转换器件。
驱动器12可基于从控制器14提供的第一控制信号CTR1驱动像素阵列11。例如,驱动器12可基于第一控制信号CTR1产生驱动信号,并通过多条驱动线DLs输出驱动信号。在一些示例实施例中,驱动器12可以以行为单位驱动像素阵列11的多个像素,并且可以被称为行驱动器。例如,驱动器12可基于第一控制信号CTR1选择行,并可驱动被包括在该行中的像素以通过多条感测线SLs输出像素信号。
读出电路13可以通过多条感测线SLs从像素阵列11接收像素信号。读出电路13可以基于从控制器14提供的第二控制信号CTR2将像素信号转换为数字信号DSIG。在一些示例实施例中,读出电路13可以包括产生以恒定斜率增加或减小的斜坡信号的斜坡发生器,并且可以包括基于斜坡信号将像素信号转换为数字信号DSIG的模数转换器(ADC)。例如,读出电路13可以包括与多条感测线SLs中的每一条对应并且共同接收斜坡信号的多个ADC。此外,在一些示例实施例中,读出电路13可基于相关双采样产生数字信号DSIG。
控制器14可通过第一控制信号CTR1控制驱动器12,并可通过第二控制信号CTR2控制读出电路13。控制器14可基于来自信号处理器15的设置产生第一控制信号CTR1和第二控制信号CTR2。例如,如图1所示,控制器14可从信号处理器15接收设置信号SET,并可基于与设置信号SET对应的设置产生第一控制信号CTR1和第二控制信号CTR2。在一些示例实施例中,控制器14可以包括具有由设置信号SET设置的值的寄存器,并且控制器14可以基于寄存器的值来控制驱动器12和/或读出电路13。在一些示例实施例中,如下面参照图1所述,控制器14可以基于设置信号SET来识别曝光积分时间(EIT)和包括像素阵列11的多个像素中的至少一些的像素组。例如,控制器14可基于所识别的像素组和EIT产生第一控制信号CTR1,且驱动器12可基于第一控制信号CTR1通过多条驱动线DLs输出驱动信号,使得所识别的像素组具有所识别的EIT。驱动器12和读出电路13的操作可以根据第一控制信号CTR1和第二控制信号CTR2的定时来切换,并且因此,控制器14可以被称为定时控制器。
信号处理器15可从读出电路13接收数字信号DSIG,并可产生表示对象的图像的图像数据IMG。在一些示例实施例中,信号处理器15可以执行各种补偿操作。例如,信号处理器15可以执行降噪、增益调整、波形整形、插值、白平衡调整、伽马处理、边缘增强、合并等。
查找表16可以包括至少一个阈值THR,并且可以向信号处理器15提供至少一个阈值THR。如下面将描述的,至少一个阈值THR可以用于识别信号处理器15将执行合并的区域。在一些示例实施例中,查找表16可以包括至少一个阈值(THR)以及用于合并的至少一个值(例如,权重)。查找表16可以存储在可由信号处理器15访问的存储器中。例如,查找表16可以存储在诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等的易失性存储器装置中、和/或诸如闪速存储器等的非易失性存储器装置中。
在一些示例实施例中,信号处理器15可以对彼此相邻的像素执行合并。合并可以指通过处理与彼此相邻的多个像素相对应的数字信号DSIG的多个值来计算与图像数据IMG中的多个像素相对应的值并改善噪声特性的过程。例如,当第一像素的信号和噪声为S1和N1,与第一像素相邻的第二像素的信号和噪声为S2和N2,第一像素和第二像素的信号具有相同的幅值(|S1|=|S2|),第一像素与第二像素的噪声具有相同的幅值(|N1|=|N2|)时,作为合并的示例,如[等式1]所示,第一像素和第二像素的平均值可提供约3dB的SNR的改善。
[等式1]
Figure BDA0003975283490000061
Figure BDA0003975283490000062
Figure BDA0003975283490000063
在一些示例实施例中,如下面参照图8A所述,可处理与分别被包括在相邻行中的像素对应的数字信号DSIG的值,或者如下面参照图8B所述,可处理与分别被包括在相邻列中的像素对应的数字信号DSIG的值。在一些示例实施例中,也可处理与分别被包括在彼此相邻的行和列中的多个像素(例如,2×2)对应的数字信号DSIG的值。
例如信噪比(SNR)的噪声特性可以通过合并来改善,而图像的分辨率或锐度会由于合并而劣化。图像的锐度可以表达为调制传递函数(MTF),并且MTF可以意指图像中的频率分量的表现力。为了防止或减少MTF的劣化,可以限制诸如合并的降噪技术的使用。在下文中,如参照附图所描述的,信号处理器15可在图像中需要降噪的区域中执行合并,并且可在其它区域中不执行合并。因此,由图像数据IMG指示的图像可以同时具有良好的SNR和分辨率。在下文中,将主要描述合并作为降噪技术的示例,但是注意,本发明构思的实施例不限于此。
信号处理器15可以具有执行上述操作的任意结构。例如,信号处理器15可以包括诸如处理核心的可编程组件、诸如现场可编程门阵列(FPGA)的可重新配置组件、以及诸如知识产权(IP)核心的提供固定功能的组件中的至少一个。
图2A和图2B是示出根据一些示例实施例的像素的示例的电路图。在一些示例实施例中,图2A和图2B的像素20a和20b中的每一个可以被包括在图1的像素阵列11中。注意,图1的像素阵列11中包括的像素不限于图2A和图2B的像素20a和20b。下文中,将省略对图2A和图2B的描述的冗余部分。
参照图2A,像素20a可以包括光电二极管PD、第一电容器C1、第二电容器C2和多个晶体管。多个晶体管可以包括传输晶体管TG、复位晶体管RG、增益控制晶体管CG、驱动晶体管DX、和选择晶体管SX。在一些示例实施例中,第一电容器C1可对应于浮置扩散节点FD的寄生电容器。在一些示例实施例中,第二电容器C2可以是被构造为具有固定或可变电容的无源元件。在一些示例实施例中,第二电容器C2可对应于连接至复位晶体管RG的源极和增益控制晶体管CG的漏极的节点的寄生电容器。
光电二极管PD是光电转换器件,并且可以将从外部入射的光转换为电信号。光电二极管PD可以根据光的强度累积电荷。像素20a可接收由图1的驱动器12所提供的驱动信号,例如,复位信号RS、增益信号GS、传输信号TS和选择信号SEL。
复位晶体管RG可以响应于激活的复位信号RS而导通,并且增益控制晶体管CG可以响应于激活的增益信号GS而导通。因此,可将复位电压VRD施加至浮置扩散节点FD,且可复位浮置扩散节点FD。传输晶体管TG可响应于激活的传输信号TS而导通,因此光电二极管PD也可复位。
传输晶体管TG可响应于去激活的传输信号TS而截止,并且在传输晶体管TG截止时(即,在曝光积分时间期间),光电二极管PD可根据入射光累积电荷。当传输晶体管TG响应于激活的传输信号TS而导通时,可将累积在光电二极管PD中的电荷传输至浮置扩散节点FD。当增益信号GS被去激活时,电荷可以被累积在第一电容器C1中,而当增益信号GS被激活时,电荷可以被累积在第一电容器C1和第二电容器C2中。
浮置扩散节点FD的电压可取决于光电二极管PD中累积的电荷,且可表达为光电二极管PD中累积的电荷与转换增益的乘积。如上所述,与相同电荷量对应的浮置扩散节点FD的电压可根据增益信号GS是否被激活而变化,并且转换增益可根据增益信号GS而变化。也就是说,当增益信号GS被去激活时,像素20a可具有高转换增益(HCG),而当增益信号GS被激活时,像素20a可具有相对低的转换增益(LCG)。如上所述,提供两个不同转换增益的像素20a可被称为双转换增益(DCG)像素。在本文中,增益信号GS被去激活的状态可以被称为HCG模式,并且增益信号GS被激活的状态可以被称为LCG模式。如稍后参照图3所描述,DCG像素可扩展图像传感器10的动态范围。
驱动晶体管DX可以用作连接至感测线SL的电流源CS和像素电压VPIX的源极跟随器,并且可以将浮置扩散节点FD的电压传输至选择晶体管SX。在一些实施例中,电流源CS可由连接至感测线SL的像素所共享,且可被包括在图1的读出电路13中。选择晶体管SX可响应于激活的选择信号SEL将驱动晶体管DX的输出电压提供给感测线SL。感测线SL的电压可作为像素信号被提供至图1的读出电路13,且读出电路13可产生与感测线SL的电压对应的数字信号DSIG。
参照图2B,像素20b可包括大光电二极管LPD、小光电二极管SPD、电容器SC以及多个晶体管。所述多个晶体管可包括第一传输晶体管TG1、第二传输晶体管TG2、开关晶体管SG、复位晶体管RG、增益控制晶体管CG、驱动晶体管DX、以及选择晶体管SX。第一浮置扩散节点FD1至第三浮置扩散节点FD3中的每一个可具有寄生电容。在一些示例性实施例中,像素20b还可包括作为无源元件的分别连接至第一浮置扩散节点FD1至第三浮置扩散节点FD3的电容器。
大光电二极管LPD和小光电二极管SPD可根据入射光累积电荷。大光电二极管LPD可具有比小光电二极管SPD大的尺寸,大光电二极管LPD可适合于低照度对象,小光电二极管SPD可适合于高照度强度度对象。与像素20b一样,包括具有不同尺寸的光电二极管的像素结构可以被称为分裂(split)光电二极管,并且特别地,其中小光电二极管SPD被布置在大光电二极管LPD的一角处的结构可以被称为角像素。
像素20b可接收从图1的驱动器12提供的驱动信号,例如,复位信号RS、增益信号GS、第一传输信号TS1、第二传输信号TS2、开关信号SS及选择信号SEL。像素20b可支持大光电二极管LPD的HCG模式和LCG模式,并可支持小光电二极管SPD的HCG模式和LCG模式。因此,像素20b可提供比图2A的像素20a更宽的动态范围。
可响应于被激活的复位信号RS而导通复位晶体管RG,因此,可复位第二浮置扩散节点FD2。可响应于被激活的增益信号GS而导通增益控制晶体管CG,因此,可复位第一浮置扩散节点FD1。另外,可响应于被激活的开关信号SS而导通开关晶体管SG,因此,可复位第三浮置扩散节点FD3。
在大光电二极管LPD的HCG模式中,增益信号GS可被去激活,因此,增益控制晶体管CG可截止。当第一传输晶体管TG1响应于被激活的第一传输信号TS1而导通时,可将大光电二极管LPD中累积的电荷传输至第一浮置扩散节点FD1。在大光电二极管LPD的LCG模式中,增益信号GS可被激活,因此,增益控制晶体管CG可导通。当第一传输晶体管TG1响应于被激活的第一传输信号TS1而导通时,可将大光电二极管LPD中累积的电荷传输至第一浮置扩散节点FD1及第二浮置扩散节点FD2。
在小光电二极管SPD的HCG模式中,开关信号SS可以被去激活,因此,开关晶体管SG可以截止。当第二传输晶体管TG2响应于被激活的第二传输信号TS2而导通时,可将小光电二极管SPD中累积的电荷传输至电容器SC所连接的第三浮置扩散节点FD3。如图2B所示,电容器SC可连接在施加有电压VMIN的节点和第三浮置扩散节点FD3之间。在小光电二极管SPD的LCG模式中,开关信号SS可以被激活,因此,开关晶体管SG可以导通。当响应于被激活的第二传输信号TS2而导通第二传输晶体管TG2时,可将小光电二极管SPD中累积的电荷传送至第三浮置扩散节点FD3及第二浮置扩散节点FD2。
在一些示例实施例中,像素可以在驱动器12的控制下以不同的模式设置,并且可以分别输出与不同的模式对应的像素信号。例如,图2A的像素20a可在HCG模式下基于高转换增益(HCG)输出与光电二极管PD中累积的电荷相对应的像素信号,并且可在LCG模式下基于低转换增益(LCG)输出与光电二极管PD中累积的电荷相对应的像素信号。此外,图2B的像素20b可以在第一模式中基于高转换增益(HCG)输出与LPD中累积的电荷对应的像素信号,在第二模式中基于低转换增益(LCG)输出与LPD中累积的电荷对应的像素信号,在第三模式中基于高转换增益(HCG)输出与SPD中累积的电荷对应的像素信号,以及在第四模式中基于低转换增益(LCG)输出与SPD中累积的电荷对应的像素信号。
图3是根据一些示例实施例的图像传感器10的信噪比(SNR)与高动态范围(HDR)的关系曲线图。在图3的曲线图中,水平轴表示入射在图像传感器10上的光的强度,即照度,竖直轴表示信噪比SNR。在下文中,将参照图1描述图3。
在一些实例实施例中,图3的曲线图中的曲线30示出了包括像素的图像传感器10的特性,所述像素包括具有不同尺寸的光电二极管且支持双转换增益DCG,如图2B的像素20b中所示。因此,图像传感器10可提供宽动态范围,即,高动态范围(HDR)。例如,如图3所示,HDR可被定义为曲线30具有高于零的SNR的范围,并且可根据照度包括LH区间、LL区间、SH区间和SL区间。
如上文参照图2A和图2B所描述,像素可输出对应于多个模式的像素信号。信号处理器15可以根据照度区间选择模式,并且可以使用与所选择的模式相对应的像素信号。例如,信号处理器15可在LH区间中使用由处于第一模式的像素输出的像素信号,在LL区间中使用由处于第二模式的像素输出的像素信号,在SH区间中使用由处于第三模式的像素输出的像素信号,且在SL区间中使用由处于第四模式的像素输出的像素信号。因此,如图3所示,可以实现HDR,并且图像传感器10可以具有宽动态范围。信号处理器15可以组合图像中的不同照度区间,即,与不同模式对应的区域。
图像传感器10可能需要同时满足各种性能。例如,如图3所示,可需要图像传感器10提供良好的低照度SNR 31、图像耦合点处的良好SNR 32、33和34以及扩展的HDR。如上文参照图1所描述,当使用用于增加SNR的技术(例如,合并)时,图像的锐度会劣化,因此图像传感器10(即,信号处理器15)可选择性地执行合并。例如,信号处理器15可基于照度识别需要增加SNR的范围,且可仅在所识别的范围中执行合并。因此,可以改善图像中的噪声特性和锐度两者。稍后将参照图4描述执行合并的范围的示例。
图4是示出根据一些示例实施例的图像40的框图。图4的图像40可以由图1的图像数据IMG定义,并且如图4所示,照度可以从图像40向右上增加。下文中,将参照图1描述图4。
如上参照附图所述,图1的信号处理器15可以在图像40的一些区域中执行合并。例如,信号处理器15可以在具有非常低的照度的区域(诸如第一区域41)中执行合并,因此,可以改善噪声特性,即第一区域41的SNR。具有非常低照度的区域(诸如第一区域41)可能需要改善SNR而不是MTF,因此,信号处理器15可执行用于改善SNR的操作,例如,合并。另外,信号处理器15可以在包括与不同的照度区间对应的区域之间的边界的区域(诸如第二区域42)中执行合并。如上参照图3所述,SNR的劣化可能发生在不同照度区间(例如,图3的32、33和34)之间的边界处。因此,信号处理器15可通过在第二区域42中执行合并来改善SNR。
图5是示出根据一些示例实施例的由图像传感器10执行的方法的流程图。在本文中,图5的方法可以被称为感测图像的方法。如图5所示,由图像传感器10执行的方法可以包括多个操作S20至S60。在下文中,将参照图1描述图5。
参照图5,在操作S20中可产生像素信号。例如,像素阵列11可以基于由驱动器12通过多条驱动线DLs提供的驱动信号来感测光,并且可以通过多条感测线SLs输出像素信号。如上文参照图2A和图2B所描述,像素阵列11可在驱动器12的控制下输出对应于不同模式的像素信号。
在操作S30中,可产生数字信号DSIG。例如,在步骤S30中,读出电路13可根据通过多条感测线SLs从像素阵列11接收的像素信号产生数字信号DSIG。在一些示例实施例中,读出电路13可以基于相关双采样CDS根据像素信号生成数字信号DSIG。
在操作S40中,可确定是否执行合并。例如,像素阵列11可以包括包含至少一个像素的第一像素组和包含与第一像素组相邻的至少一个像素的第二像素组。信号处理器15可基于与第一像素组对应的数字信号DSIG的第一值和与第二像素组对应的数字信号DSIG的第二值中的至少一个来确定是否对第一像素组和第二像素组执行合并。如图5所示,当确定要执行合并时,可随后执行操作S50,而当确定省略合并时,可随后执行操作S60。操作S40的示例将在后面参照图6和图17描述。
当确定要执行合并时,在操作S50中可使用第一值和第二值作为第一操作的操作数。例如,信号处理器15可以基于第一操作生成图像数据IMG,该第一操作具有对应于第一像素组的第一值和对应于第二像素组的第二值作为操作数。在一些示例实施例中,第一操作可以包括第一值和第二值的加权和。因此,图像数据IMG中对应于第一像素组的至少一个像素和对应于第二像素组的至少一个像素可以分别具有基于第一操作的结果的值。稍后将参照图9描述操作S50的示例。
当确定不执行合并时,可在操作S60中使用第一值和第二值分别作为彼此独立的第二操作及第三操作的操作数。例如,信号处理器15可以基于具有作为操作数的第一值的第二操作来计算与图像数据IMG中的第一像素组相对应的至少一个像素的值。另外,信号处理器15可以基于具有作为操作数的第二值的第三操作来计算与图像数据IMG中的第二像素组对应的至少一个像素值。结果,可以在图像数据IMG中彼此独立地计算与第一像素组对应的至少一个像素的值和与第二像素组对应的至少一个像素的值,并且MTF不会劣化。
图6是示出根据一些示例实施例的由图像传感器10执行的方法的流程图。具体地,图6的流程图示出了图5的操作S40的示例。如上参照图5所述,在图6的操作S40'中,可以确定是否执行合并。如图6所示,操作S40'可以包括操作S41和S42。在下文中,将参照图1描述图6。
参照图6,在操作S41中可识别照度。例如,信号处理器15可基于数字信号DSIG的值识别像素或包括至少一个像素的区域的照度。在一些示例实施例中,信号处理器15可基于图像数据IMG的值来识别照度,在这种情况下,识别的照度可对应于与当前从读出电路13输出的数字信号DSIG对应的帧的先前帧。在一些示例实施例中,当在图5的操作S20之前执行稍后将描述的图10的操作S11时,可省略操作S41的执行。
在操作S42中,可确定照度是否被包括在至少一个范围中。例如,信号处理器15可确定在操作S41中识别的照度是否被包括在至少一个范围中。至少一个范围可以包括预定范围或期望范围,然而,本发明构思不限于此,并且至少一个范围可以是例如动态的,或者由用户设置。至少一个范围可以被称为至少一个照度范围。例如,至少一个范围可由从查找表16提供的至少一个阈值THR定义,并且信号处理器15可将在操作S41中识别的照度与至少一个阈值THR进行比较。由至少一个阈值THR定义的至少一个范围可以指示执行合并的照度的范围。因此,如图6所示,当照度被包括在至少一个范围中时,即,当确定要执行合并时,可随后执行图5的操作S50。同时,如图6所示,当照度不被包括在至少一个范围中时,即,当确定不执行合并时,可随后执行图5的操作S60。
图7A和图7B是根据一些示例实施例的图像传感器10的SNR与HDR曲线图。在下文中,将参照图1描述图7A和7B。
参照图7A,第一曲线C71指示在整个照度中不执行合并的情况,第二曲线C72指示在整个照度执行合并的情况。如上文参照附图所述,噪声特性可通过合并来改善,因此,在总照度中,第二曲线C72可表现出高于第一曲线C71的SNR。然而,合并可能导致MTF的劣化,因此,可以在总照度的一些范围中执行合并。例如,第一区域71可对应于非常低的照度,并且在非常低的照度下,可能需要相对于MTF而改善SNR。另外,在不包括低照度的照度中,可能需要图像具有等于或大于参考值REF的SNR(例如,26dB),并且在第二区域72中,第一曲线C71会具有小于参考值REF的SNR。因此,在第二区域72中可能需要相对于MTF而改善SNR。
参照图7B,信号处理器15可以执行合并以增加图7A的第一区域71和第二区域72中的SNR,因此,图像传感器10可以具有诸如第三曲线C73的SNR-HDR特性。如图7B所示,在对应于第一区域71的第一照度范围L1中,第三曲线C73可与对应于进行合并的第二曲线C72交叠,并且在与第二区域72对应的第二照度范围L2中,第三曲线C73可与对应于进行合并的第二曲线C72交叠。因此,可在非常低的照度下改善SNR,并且可在除该低照度以外的照度范围处实现等于或大于参考值REF的SNR。另外,在不包括第一照度范围L1和第二照度范围L2的照度中,第三曲线C73可与第一曲线C71交叠,从而防止或减少MTF的劣化。
至少一个阈值THR可以定义第一照度范围L1和第二照度范围L2。例如,第一照度范围L1可被定义为等于或小于第一阈值的照度范围,并且至少一个阈值THR可包括第一阈值。另外,第二照度范围L2可被定义为第二阈值和第三阈值之间的照度范围,并且至少一个阈值THR可包括第二阈值和第三阈值。
图8A和图8B是示出根据一些示例实施例的信号处理器15的操作的示例的框图。具体地,图8A和8B的框图示出了信号处理器15中的数据路径的示例。如上文参照图5所描述,信号处理器15可基于分别对应于第一像素组和第二像素组的数字信号DSIG的值来确定是否执行合并。下文中,将参照图1描述图8A和图8B。
参照图8A,信号处理器15可对像素阵列11中彼此相邻的行执行合并。也就是说,第一像素组与第二像素组可分别包括像素阵列11中彼此相邻的行。如图8A所示,合并块81可选择性地对第n行和第(n+1)行(n是大于零的整数)执行合并。例如,合并块81可接收与第n行的第k个像素对应的值R[n]和与第(n+1)行的第k个像素对应的值R[n+1](k是大于零的整数)。合并块81可通过响应于激活的使能信号ENA执行合并来产生与第n行的第k个像素对应的值R[n]'和与第(n+1)行的第k个像素对应的值R[n+1]'。同时,合并块81可响应于去激活的使能信号ENA不执行合并,并且与第n行的第k个像素对应的值R[n]'和与第(n+1)行的第k个像素对应的值R[n+1]'分别等于输入值R[n]和R[n+1](R[n]=R[n]'且R[n+1]=R[n+1]')。
比较块82可以将与被包括在一行中的像素对应的值与至少一个阈值THR进行比较。例如,如图8A所示,比较块82可以接收与第n行的第k个像素相对应的值R[n],并且可以将值R[n]与至少一个阈值THR进行比较。当值R[n]被包括在由至少一个阈值THR定义的至少一个范围中时,比较块82可以输出激活的使能信号ENA。同时,当值R[n]未被包括在由至少一个阈值THR定义的至少一个范围中时,比较块82可以输出去激活的使能信号ENA。
参照图8B,信号处理器15可对像素阵列11的彼此相邻的列执行合并。也就是说,第一像素组和第二像素组可分别包括像素阵列11的彼此相邻的列。如图8B所示,合并块83可以选择性地对第m列和第(m+1)列(m是大于零的整数)执行合并。例如,合并块83可接收与第m列的第k个像素对应的值C[m]和与第(m+1)列的第k个像素(k是大于零的整数)对应的值C[m+1]。合并块83可通过响应于激活的使能信号ENA执行合并来产生与第m列的第k个像素对应的值C[m]'和与第(m+1)列的第k个像素对应的值C[m+1]'。同时,合并块83可以响应于去激活的使能信号ENA不执行合并,并且与第m列的第k个像素对应的值C[m]'和与第(m+1)列的第k个像素对应的值C[m+1]'可以分别等于输入值C[m]和C[m+1](C[m]=C[m]'且C[m+1]=C[m+1]')。
比较块84可以将与被包括在一列中的像素对应的值与至少一个阈值THR进行比较。例如,如图8B所示,比较块84可以接收与第m列的第k个像素相对应的值C[m],并且可以将值C[m]与至少一个阈值THR进行比较。当值C[m]被包括在由至少一个阈值THR定义的至少一个范围中时,比较块84可以输出激活的使能信号ENA。同时,当值C[m]未被包括在由至少一个阈值THR定义的至少一个范围中时,比较块84可以输出去激活的使能信号ENA。
图9是示出根据一些示例实施例的由图像传感器10执行的方法的流程图。具体地,图9的流程图示出了图5的操作S50的示例。如上文参照图5所述,在图9的操作S50'中,第一值和第二值可用作第一操作的操作数。如图9所示,步骤S50'可以包括操作S51和S52。下文中,将参照图1描述图9。
参照图9,在操作S51中,可识别第一权重和第二权重。例如,如上参照图6所述,可以识别照度,并且可以识别与所识别的照度相对应的第一权重和第二权重。在一些示例实施例中,信号处理器15可以从查找表16接收第一权重和第二权重。第一权重和第二权重可以用于计算加权和,如下所述。
在操作S52中,可计算第一值和第二值的加权和。例如,信号处理器15可基于在操作S51中识别的第一权重和第二权重计算第一值和第二值的加权和。也就是说,信号处理器15可以对第一权重和第一值的乘积与第二权重和第二值的乘积求和。图5的第一操作可以包括第一值和第二值的加权和。
图10是示出根据一些示例实施例的由图像传感器10执行的方法的流程图。如图10所示,由图像传感器10执行的方法可以包括多个操作S11、S12和S13。在一些示例实施例中,图10的方法可以在图5的操作S20之前执行,在下文中,将参照图1描述图10。
参照图10,可以识别照度。例如,信号处理器15可基于数字信号DSIG的值识别像素或包括至少一个像素的区域的照度。在一些示例实施例中,信号处理器15可基于图像数据IMG的值来识别照度,在这种情况下,识别的照度可对应于与当前从读出电路13输出的数字信号DSIG对应的帧的先前帧。
在操作S12中,可识别第二像素组和第二曝光积分时间。例如,信号处理器15可将在操作S11中识别的照度与至少一个阈值进行比较。信号处理器15可以将被包括在由至少一个阈值定义的两个或更多个照度范围中的相同照度范围中的像素定义为一个区域。信号处理器15可以将像素阵列11划分为两个或更多个区域,并且可以识别包括所划分区域中的至少一个像素的第二像素组。另外,信号处理器15可识别与识别的照度对应的曝光积分时间。在一些示例实施例中,图16的查找表16可以包括至少一个阈值和曝光积分时间。
在操作S13中,可驱动第一像素组和第二像素组。例如,驱动器12可以驱动像素阵列11,使得第一像素组具有第一曝光积分时间,并且第二像素组具有第二曝光积分时间。在操作S13中,与基于照度识别的第二像素组和第二曝光积分时间不同,第一像素组和第一曝光积分时间可独立于照度。在一些示例实施例中,第一像素组和第一曝光积分时间可以是固定的。信号处理器15可以通过设置信号SET设置控制器14,并且控制器14可以控制驱动器12,使得第一像素组具有第一曝光积分时间,并且第二像素组具有第二曝光积分时间。如上参照图5等所述,确定是否对具有第一曝光积分时间的第一像素组和具有第二曝光积分时间的第二像素组执行合并。
图11A和11B示出了根据一些示例实施例的像素阵列的示例。如上文参照图10所描述,被包括在图11A和图11B的像素阵列110a和110b中的多个像素可被分组为两个或更多个像素组,且像素组中的每一个可具有其自身的曝光积分时间。注意,被包括在像素阵列110a和110b中的像素不限于图11A和图11B中所示的那些。下文中,将参照图1描述图11A和图11B,并且将省略对图11A和图11B的描述的冗余部分。
参照图11A,如上参照图10所述,像素阵列110a可根据照度被划分为两个或更多个区域。例如,像素阵列110a可以被划分为高照度区域HR和低照度区域LR。高照度区域HR可以对应于相对高的照度,而低照度区域LR可以对应于相对低的照度。低照度区域LR可以包括具有较长曝光积分时间的像素,而高照度区域HR可以包括具有较短曝光积分时间的像素。与图11A所示的情况不同,像素阵列110a可以被划分为三个或更多个区域。在一些示例实施例中,从像素阵列110a划分的区域可被分类为包括至少一个附加区域(例如,中等照度区域)以及图11A的高照度区域HR和低照度区域LR的三个或更多个区域中的一个。
在一些配置中,像素阵列110a可包括参考像素组,所述参考像素组包括位于固定位置中且具有固定曝光积分时间的像素。例如,在像素阵列110a中,第一像素组G1可以是参考像素组,并且在像素阵列110a中可以具有固定位置。具体地说,如图11A的第一像素组G1,当参考像素组包括像素阵列的一些行时,参考像素组可被称为参考行。注意,参考像素组并不限于图11A的第一像素组G1。
信号处理器15可以生成设置信号SET,以使高照度区域HR包括曝光积分时间短的像素,低照度区域LR包括曝光积分时间长的像素。例如,如图11A所示,信号处理器15可产生设置信号SET,使得高照度区域HR中的第二像素组G2具有短曝光积分时间,低照度区域LR中的第三像素组G3具有长曝光积分时间。
第一像素组G1可包括独立于照度规则分布在像素阵列110a中的像素。例如,如图11A所示,第一像素组G1可包括像素阵列110a的奇数行。在一些示例实施例中,第一像素组G1可具有独立于照度(即,高照度区域HR和低照度区域LR)的曝光积分时间。在一些示例实施例中,第一像素组G1可由于发光二极管(LED)闪烁而具有11ms的曝光积分时间,高照度区域HR的第二像素组G2可具有短于或等于11ms的曝光积分时间(例如5.5ms、9ms等),低照度区域LR的第三像素组可具有长于或等于11ms的曝光积分时间(例如22ms)。如上参照图5等所述,可以确定是否对高照度区域HR中的第一像素组G1和第二像素组G2执行合并,以及是否对低照度区域LR中的第一像素组G1和第三像素组G3执行合并。
参照图11B,像素阵列110b可被划分为高照度区域HR和低照度区域LR。如图11B所示,信号处理器15可产生设置信号SET,使得高照度区域HR中的第二像素组G2具有短曝光积分时间,而低照度区域LR中的第三像素组G3具有长曝光积分时间。第一像素组G1可包括独立于照度在像素阵列110b中规则分布的像素。例如,如图11B所示,第一像素组G1可包括在像素阵列110b中以相等间隔布置在对应于栅格的位置处的像素。
在一些示例实施例中,被包括在像素组中的每个像素可以包括多个子像素。例如,如图11A与图11B所示,第一像素组G1所包括的第一像素PX1可包括红色像素R、两个绿色像素G与蓝色像素B。此外,第二像素组G2的第二像素PX2与第三像素组G3的第三像素PX3也可包括红色像素R、两个绿色像素G与蓝色像素B。如图11A和11B所示,对应于一个像素的红色像素R、两个绿色像素G和蓝色像素B可在图像中被称为拜耳图案。
图12A和图12B是根据一些示例实施例的图像传感器10的SNR与HDR曲线图。具体而言,图12A示出了基于图11A和图11B的高照度区域HR中的第一像素组G1和第二像素组G2的选择性合并的SNR与HDR曲线图,图12B示出了基于低照度区域LR中的第一像素组G1和第三像素组G3的选择性合并的SNR与HDR曲线图。如图12A和图12B所示,在非常低的照度下可以改善SNR,在不包括低照度的照度范围处可以实现等于或高于参考值REF的SNR,并且可以防止或减少MTF的劣化。以下,将参照图11A和图11B描述图12A和图12B。
参照图12A,可对高照度区域HR中的第一像素组G1和第二像素组G2执行选择性合并。例如,为了改进第一照度范围L1a和第二照度范围L2a中的SNR,可基于相同的第一权重和第二权重对第一像素组G1和第二像素组G2执行合并。另外,为了扩展第三照度范围L3a中的HDR,可基于为零的第一权重和大于零的第二权重对第一像素组G1和第二像素组G2执行合并,因此,可仅使用与第二像素组G2对应的值。
参照图12B,可对低照度区域LR中的第一像素组G1和第三像素组G3执行选择性合并。例如,为了改进第一照度范围L1b和第二照度范围L2b中的SNR,可基于相同的第一权重和第三权重对第一像素组G1和第三像素组G3执行合并。另外,在第三照度范围L3b和第四照度范围L4b中,可基于为零的第一权重和大于零的第三权重对第一像素组G1和第三像素组G3执行合并,因此,可仅使用与第三像素组G3对应的值。
图13是示出根据一些示例实施例的由图像传感器10执行的方法的流程图。如图13所示,由图像传感器10执行的方法可以包括彼此并行执行的操作S14和S15。在一些示例实施例中,图13的方法可在图5的操作S20之前执行。在下文中,将参照图1描述图13。
在操作S14中,可以驱动第一像素组,使得小光电二极管SPD和大光电二极管LPD具有第一曝光积分时间。例如,控制器14可以控制驱动器12,使得第一像素组具有固定的第一曝光积分时间(例如,11ms)。第一像素组可以包括规则分布的像素,如下面参照图14所述。
在操作S15中,可以驱动第二像素组,使得小光电二极管SPD具有第二曝光积分时间,大光电二极管LPD具有第三曝光积分时间。例如,第二曝光积分时间可以短于或等于第一曝光积分时间,并且第三曝光积分时间可以长于或等于第二曝光积分时间。控制器14可以控制驱动器12,使得第二像素组的小光电二极管SPD具有固定的第二曝光积分时间(例如,5.5ms),并且第二像素组的大光电二极管LPD具有固定的第三曝光积分时间(例如,22ms)。也就是说,与图10的第二像素组不同,图13的第二像素组可以像第一像素组一样固定,并且可以具有固定的第二曝光积分时间和固定的第三曝光积分时间。
图14示出了根据一些示例实施例的像素阵列140。如上文参照图13所述,像素阵列140可包括第一像素组G1和第二像素组G2,且第一像素组G1和第二像素组G2中的每一个可具有其自身的曝光积分时间。注意,像素阵列140所包括的像素并不限于图14所示的像素。在下文中,将参照图1来描述图14。
如上文参照图13所述,第一像素组G1可包括规则分布的像素,第二像素组G2也可包括规则分布的像素。与图11的像素阵列110不同,图14的像素阵列140可不被划分为高照度区域HR和低照度区域LR。第一像素组G1的小光电二极管SPD和大光电二极管LPD可具有第一曝光积分时间(例如,11ms)。此外,第二像素组G2的小光电二极管SPD可具有第二曝光积分时间(例如,5.5ms),第二像素组G2的大光电二极管LPD可具有第三曝光积分时间(例如,22ms)。
图15A是根据一些示例实施例的图像传感器10的SNR与HDR曲线图,并且图15B示出了指示合并方案的表。具体而言,图15A示出了基于图14的像素阵列140中的第一像素组G1和第二像素组G2的选择性合并的SNR与HDR曲线图,图15B示出了指示根据照度范围的合并方案的表。图15B的表格示出了当第一像素组G1中所包括的第一像素PX1的值为A且第二像素组G2中所包括的第二像素PX2的值为B时,对其应用合并的第一像素PX1'和第二像素PX2'的值。
参照图15A的曲线图,可在第一照度范围L1至第五照度范围L5中执行合并。例如,在第一照度范围L1中,对其应用合并的第一像素PX1'和第二像素PX2'可对应于值A和值B的平均值。也就是说,第一权重和第二权重中的每一个可为0.5。在第二照度范围L2中,对其应用合并的第一像素PX1'和第二像素PX2'可等于第一像素组G1的第一像素PX1的值A。也就是说,第一权重可以是1,并且第二权重可以是零。在第三照度范围L3中,对其应用合并的第一像素PX1'和第二像素PX2'可对应于值A和值B的平均值。也就是说,第一权重和第二权重中的每一个可为0.5。在第四照度范围L4和第五照度范围L5中,对其应用合并的第一像素PX1'和第二像素PX2'的值可与第二像素组G2的第二像素PX2的值B相同。也就是说,第一权重可以是零,并且第二权重可以是1。如上文参照图9所描述,信号处理器15可根据照度所属的范围识别将用于合并的第一权重及第二权重。
图16是示出根据一些示例实施例的图像传感器160的框图。类似于图1的图像传感器,图16的图像传感器160可包括像素阵列161、驱动器162、读出电路163、控制器164、信号处理器165和查找表166,且还可包括温度传感器167。在下文中,将省略在图16的描述中的图1的描述的冗余部分。
在一些示例实施例中,信号处理器165可基于图像传感器160的温度以及数字信号DSIG的值来确定是否执行合并。例如,温度传感器167可以感测图像传感器160(或像素阵列161)的温度,并且可以向信号处理器165提供指示所感测的温度的温度信号TMR。信号处理器165可基于温度信号TMR来识别图像传感器160的温度,且可使用该温度来确定是否执行合并。
当图像传感器160的温度升高时,像素阵列161的噪声特性可能劣化。例如,在不同模式之间的边界处可能发生的暗信号非均匀性(DSNU)会在高温下劣化,从而导致具有低于参考值(REF)的SNR的照度范围。因此,当图像传感器160的温度在特定照度范围内不高时,信号处理器165可以不执行合并以防止或减少MTF的劣化,但是当图像传感器160的温度高时,可以执行合并以防止或减少SNR劣化。将参照图17描述图像传感器160的操作的示例。
图17是示出根据一些示例实施例的由图像传感器160执行的方法的流程图。具体地,图17的流程图示出了图5的操作S40的示例。如上参照图5所述,可以确定是否在图17的操作S40"中执行合并。如图17所示,操作S40"可以包括多个操作S43至S47。在下文中,将参照图16描述图17。
参照图17,在操作S43中可识别照度。例如,信号处理器165可基于数字信号DSIG的值来识别像素或包括至少一个像素的区域的照度。在一些示例实施例中,信号处理器165可基于图像数据IMG的值来识别照度,在这种情况下,识别的照度可对应于与当前从读出电路163输出的数字信号DSIG对应的帧的先前帧。在一些示例实施例中,当在图5的操作S20之前执行图10的操作S11时,可省略操作S43的执行。
在操作S44中,可确定照度是否被包括在至少一个范围中。例如,当照度不被包括在至少一个照度范围中时,信号处理器165可确定不执行合并,因此,如图17所示,可随后执行图5的操作S60。
当照度被包括在至少一个范围中时,在操作S45中可确定照度是否被包括在第一范围中。如上文参照图16所描述,第一范围可对应于需要合并以改进高温下的SNR的照度范围。如图17所示,当照度被包括在不同于第一范围的范围中时,信号处理器165可确定执行合并,因此,如图17所示,可随后执行图5的操作S50。
当照度被包括在第一范围中时,在操作S46中可识别温度。例如,信号处理器165可以基于从温度传感器167提供的温度信号TMR来识别图像传感器160的温度。
在操作S47中,可确定温度是否小于参考温度。例如,当在操作S46中识别的温度小于参考温度时,信号处理器165可确定在第一范围中不执行合并,因此,如图17所示,可随后执行图5的操作S60。同时,当在操作S46中识别的温度等于或大于参考温度时,信号处理器165可确定在第一范围中执行合并,因此,如图17所示,可随后执行图5的操作S50。
图18是示出根据一些示例实施例的图像传感器10的操作的示例的图。具体地,图18示出了由图1的信号处理器15执行的合并的示例。如上参照附图所述,信号处理器15可对与像素组对应的数字信号DSIG的值执行操作,并可基于操作结果产生图像数据IMG。在下文中,将参照图1描述图18。
参照图18,图像数据IMG的分辨率可以通过合并而变化。例如,如图18中所示,可根据像素阵列180中彼此邻近的第一像素PX1至第四像素PX4产生不同分辨率的第一图像数据IMG1至第三图像数据IMG3。第一图像数据IMG1可具有对应于像素阵列180的分辨率。在一些实例实施例中,可通过像素阵列180的第一像素PX1和第三像素PX3的合并来产生第一图像数据IMG1的第一像素PX1'和第三像素PX3'的值,并且可通过像素阵列180的第二像素PX2和第四像素PX4的合并来产生第一图像数据IMG1的第二像素PX2'和第四像素PX4'的值。在一些实例实施例中,可通过像素阵列180的第一像素PX1至第四像素PX4的合并来产生第一图像数据IMG1的第一像素PX1'至第四像素至PX4'的值。
可通过像素阵列180的第一像素PX1与第三像素PX3的合并来产生第二图像数据IMG2的第一像素PX1'的值,且可通过像素阵列180的第二像素PX2与第四像素PX4的合并来产生第二图像数据IMG2的第二像素PX2'的值。因此,第二图像数据IMG2可以对应于具有比第一图像数据IMG1低的分辨率的图像。另外,可通过像素阵列180的第一像素PX1至第四像素PX4的合并来产生第三图像数据IMG3的第一像素PX1'的值。因此,第三图像数据IMG3可以对应于具有比第一图像数据IMG1和第二图像数据IMG2更低的分辨率的图像。
如上文参照图11A和图11B所述,在一些实例实施例中,像素阵列180可包括高照度区域HR和低照度区域LR。另外,高照度区域HR和低照度区域LR中的每个中的彼此相邻的像素可以分别具有不同的曝光积分时间。例如,像素阵列180的第一像素PX1与第二像素PX2可具有短于或等于第三像素PX3与第四像素PX4的曝光积分时间,或者像素阵列180的第一像素PX1与第二像素PX2可具有长于或等于第三像素PX3与第四像素PX4的曝光积分时间。以此方式,可以在合并中执行归一化以补偿不同的曝光积分时间。例如,当第一像素PX1与第二像素PX2的曝光积分时间小于或等于第三像素PX3与第四像素PX4的曝光积分时间时,对应于第一像素PX1与第二像素PX2的数字信号DSIG的值可被放大,或对应于第三像素PX3与第四像素PX4的数字信号DSIG的值可被衰减。信号处理器15可以基于归一化值(例如基于归一化值的加权)来执行合并。
图像传感器10(或其他电路系统,例如,驱动器12、读出电路13、控制器14、信号处理器15、查找表16、合并块81、83、比较块82、84和图像传感器160和子组件)可以包括硬件,该硬件包括逻辑电路;硬件/软件组合,诸如执行软件的处理器;或其组合。例如,处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。
尽管已经参照本发明构思的一些示例实施例具体示出和描述了本发明构思,但是将理解,在不脱离所附权利要求的精神和范围的情况下,可以在形式和细节上对其进行各种改变。

Claims (20)

1.一种图像传感器,包括:
包括多个像素的像素阵列;
读出电路,其被配置为基于从所述像素阵列接收的像素信号生成数字信号;以及
信号处理器,其被配置为基于与多个像素中的第一像素组对应的数字信号的第一值和与第二像素组对应的数字信号的第二值中的至少一个来确定是否对所述第一像素组和所述第二像素组执行合并,其中所述第二像素组和所述第一像素组相邻,以及
当确定执行所述合并时基于以所述第一值和所述第二值作为操作数的第一操作来产生图像数据。
2.根据权利要求1所述的图像传感器,其中,所述信号处理器还被配置为当确定不执行所述合并时基于以所述第一值作为操作数且独立于所述第二值的第二操作以及以所述第二值作为操作数且独立于所述第一值的第三操作来产生所述图像数据。
3.根据权利要求1所述的图像传感器,其中,所述信号处理器还被配置为
基于所述第一值和所述第二值中的至少一个来识别照度,以及
当所述照度处于至少一个照度范围中时确定执行所述合并。
4.根据权利要求3所述的图像传感器,其中,所述至少一个照度范围包括其中所述照度小于第一阈值的范围。
5.根据权利要求3所述的图像传感器,其中,
所述第一值和所述第二值中的每一个包括对应于多个模式的值,并且
所述至少一个照度范围包括包含所述多个模式中的两个模式之间的边界的范围。
6.根据权利要求5所述的图像传感器,其中,所述多个模式包括与所述多个像素中的每一个的第一转换增益对应的模式和与所述多个像素中的每一个的第二转换增益对应的模式。
7.根据权利要求5所述的图像传感器,其中,
所述多个像素中的每一个包括第一光电器件和比所述第一光电器件大的第二光电器件,并且
所述多个模式包括与由所述第一光电器件累积的电荷对应的模式和与由所述第二光电器件累积的电荷对应的模式。
8.根据权利要求3所述的图像传感器,其中,所述第一操作是所述第一值和所述第二值的加权和。
9.根据权利要求8所述的图像传感器,其中,所述信号处理器还被配置为基于所述至少一个照度范围包括所述照度来识别所述第一值的第一权重和所述第二值的第二权重。
10.根据权利要求1所述的图像传感器,还包括:
驱动器,其被配置为驱动所述像素阵列;以及
控制器,其被配置为控制所述驱动器,使得所述第一像素组和所述第二像素组分别具有第一曝光积分时间和第二曝光积分时间。
11.根据权利要求10所述的图像传感器,其中
所述信号处理器还被配置为基于所述第一值和所述第二值中的至少一个来识别照度,
基于所述照度识别所述第二像素组和所述第二曝光积分时间,以及
基于所识别的第二像素组和所识别的第二曝光积分时间来设置所述控制器,并且
所述第一像素组独立于所述照度。
12.根据权利要求1所述的图像传感器,其中
多个像素中的每一个包括第一光电器件和比所述第一光电器件大的第二光电器件,并且
还包括:
驱动器,其被配置为驱动所述像素阵列;以及
控制器,其被配置为控制所述驱动器,使得所述第一像素组具有第一曝光积分时间,所述第二像素组的所述第一光电器件具有小于或等于所述第一曝光积分时间的第二曝光积分时间,并且所述第二像素组的所述第二光电器件具有大于或等于所述第二曝光积分时间的第三曝光积分时间。
13.根据权利要求1所述的图像传感器,其中,所述信号处理器还被配置为
根据温度信号识别所述图像传感器的温度,以及
基于所述第一值和所述第二值中的至少一个以及所述温度来确定是否执行所述合并。
14.一种图像传感器,包括:
包括多个像素的像素阵列;
读出电路,其被配置为根据从所述像素阵列接收的像素信号来生成数字信号;以及
信号处理器,其被配置为基于与多个像素中的第一像素组相对应的数字信号的第一值和与所述多个像素中的第二像素组相对应的数字信号的第二值中的至少一个来识别照度,其中,所述第二像素组与所述第一像素组相邻,以及
当所述照度小于或等于第一阈值时,基于以所述第一值和所述第二值作为操作数的第一操作来生成图像数据。
15.根据权利要求14所述的图像传感器,其中,所述信号处理器还被配置为当所述照度大于或等于所述第一阈值或小于第二阈值时,基于以所述第一值作为操作数并且独立于所述第二值的第二计算和以所述第二值作为操作数并且独立于所述第一值的第三计算来生成所述图像数据。
16.根据权利要求15所述的图像传感器,其中,所述信号处理器还被配置为当所述照度大于或等于所述第二阈值或小于第三阈值时,基于以所述第一值和所述第二值作为操作数的第四操作来产生所述图像数据。
17.根据权利要求16所述的图像传感器,其中,所述信号处理器还被配置为当所述照度大于或等于所述第三阈值或小于第四阈值时,基于以所述第一值作为操作数且独立于所述第二值的第五操作及以所述第二值作为操作数且独立于所述第一值的第六操作来产生所述图像数据。
18.一种图像传感器的操作方法,所述操作方法包括:
根据从包括多个像素的像素阵列接收的像素信号生成数字信号;
基于与多个像素中的第一像素组对应的数字信号的第一值和与第二像素组对应的数字信号的第二值中的至少一个,确定是否对所述第一像素组和所述第二像素组执行合并,其中,所述第二像素组与所述第一像素组相邻;以及
当确定执行所述合并时基于以所述第一值及所述第二值作为操作数的第一操作来产生图像数据。
19.根据权利要求18所述的操作方法,还包括当确定不执行所述合并时基于以所述第一值作为操作数且独立于所述第二值的第二操作及以所述第二值作为操作数且独立于所述第一值的第三操作来产生所述图像数据。
20.根据权利要求18所述的操作方法,其中,所述确定是否执行所述合并包括:
基于所述第一值和所述第二值中的至少一个来识别照度;以及
当所述照度被包括在至少一个照度范围中时来确定执行所述合并。
CN202211533394.8A 2021-12-01 2022-12-01 具有低噪声和高分辨率的图像传感器及其操作方法 Pending CN116208864A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210170237 2021-12-01
KR10-2021-0170237 2021-12-01
KR10-2022-0079991 2022-06-29
KR1020220079991A KR20230082543A (ko) 2021-12-01 2022-06-29 저잡음 고해상도를 제공하는 이미지 센서 및 그것에 의해서 수행되는 방법

Publications (1)

Publication Number Publication Date
CN116208864A true CN116208864A (zh) 2023-06-02

Family

ID=84366964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211533394.8A Pending CN116208864A (zh) 2021-12-01 2022-12-01 具有低噪声和高分辨率的图像传感器及其操作方法

Country Status (3)

Country Link
US (1) US20230171515A1 (zh)
EP (1) EP4192025A1 (zh)
CN (1) CN116208864A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230111379A (ko) * 2022-01-18 2023-07-25 삼성전자주식회사 이미지 센서 및 이미징 장치
US20230290803A1 (en) * 2022-03-09 2023-09-14 Smartsens Technology(Hk) Co., Limited Pixel structure, image sensor, and Method for Controlling Image Sensor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080024618A1 (en) * 2006-07-31 2008-01-31 Suk Hwan Lim Adaptive binning method and apparatus
KR101811637B1 (ko) * 2011-05-02 2017-12-26 삼성전자주식회사 선택적인 픽셀 비닝 장치 및 방법
US11381768B2 (en) * 2019-05-07 2022-07-05 Samsung Electronics Co., Ltd. Image sensor with pixels including photodiodes sharing floating diffusion region

Also Published As

Publication number Publication date
US20230171515A1 (en) 2023-06-01
EP4192025A1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
US11532652B2 (en) Imaging device and image acquisition device
CN108270980B (zh) 图像传感器
KR102356706B1 (ko) 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
US20230097274A1 (en) Imaging device including photoelectric converters and capacitive element
US9467633B2 (en) High dynamic range imaging systems having differential photodiode exposures
KR101241704B1 (ko) 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
KR101241471B1 (ko) 픽셀, 픽셀 어레이, 픽셀 어레이를 포함하는 이미지센서 및 이미지센서의 구동방법
US9686486B2 (en) Multi-resolution pixel architecture with shared floating diffusion nodes
EP4192025A1 (en) Image sensor with low noise and high resolution and operating method thereof
US10375332B2 (en) Imaging device
US20110228149A1 (en) Solid-state imaging device
KR20080064031A (ko) 온도센서를 구비한 이미지 센서 및 그것의 구동 방법
JP6413401B2 (ja) 固体撮像素子
CN111741242A (zh) 图像传感器及其操作方法
US11665444B2 (en) Image sensor, pixel, and method of operating the pixel
KR20210066048A (ko) 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법
KR20230082543A (ko) 저잡음 고해상도를 제공하는 이미지 센서 및 그것에 의해서 수행되는 방법
JP6217338B2 (ja) 固体撮像素子及び撮像装置
US11750933B2 (en) Image sensing device
US11800250B2 (en) Image sensor and operation method of the image sensor
US20230171516A1 (en) Wide dynamic range image sensor and method performed by the same
US20220384513A1 (en) Image sensor
KR20230082544A (ko) 넓은 동적 범위 이미지 센서 및 그것에 의해서 수행되는 방법
KR20230069801A (ko) 이미지 센서 및 이미지 센서의 동작 방법
CN117594617A (zh) 图像传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication