CN112042180B - 图像信号处理方法以及相关图像传感系统及电子装置 - Google Patents
图像信号处理方法以及相关图像传感系统及电子装置 Download PDFInfo
- Publication number
- CN112042180B CN112042180B CN202080002033.3A CN202080002033A CN112042180B CN 112042180 B CN112042180 B CN 112042180B CN 202080002033 A CN202080002033 A CN 202080002033A CN 112042180 B CN112042180 B CN 112042180B
- Authority
- CN
- China
- Prior art keywords
- pixel
- floating diffusion
- diffusion node
- common floating
- phase detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本申请公开了一种图像信号处理方法以及相关图像传感系统(10)及电子装置。所述方法用于像素阵列(100)。所述像素阵列包括N*N像素组(110),所述N*N像素组包括第一像素(104L)及第二像素(104NL),其中N大于1,且所述第一像素和所述第二像素的其中之一为相位检测像素,其中之另一为非相位检测像素,所述方法包括:提供第一控制信号使所述第一像素产生第一电荷至所述像素阵列的第一共用浮动扩散节点;提供所述第一像素的像素信息;提供第二控制信号使所述第二像素产生第二电荷至所述第一共用浮动扩散节点,使所述第一电荷和所述第二电荷在所述第一共用浮动扩散节点上合并累积;以及提供所述第一电荷及所述第二电荷合并累积后的等效电荷的像素信息。
Description
技术领域
本申请涉及一种信号处理方法,尤其涉及一种图像信号处理方法以及相关图像传感系统及电子装置。
背景技术
随着科技的发展与进步,图像传感器提供的功能越来越多样化。举例来说,所述功能包括慢动作视频录制功能,而对于高像素且内嵌相位感测的图像传感器,常会使用像素合并累积的读取方式来提高敏感度而降低分辨率。在此模式下,通常内含两种像素的操作模式,一类需要输出像素合并累积的结果,另一类需要输出个别像素作为相位对焦使用,因此像素需要被多次读取,但慢动作视频录制功能对于所述图像传感器所能够提供的最大帧率的要求比起其他功能还要来的高。又,所述图像传感器所能够提供的帧率是相关于所述图像传感器的像素阵列的感测结果的读取时间。因此,为了进一步优化例如慢动作视频录制功能的效能,改善读取时间已成为一个重要的工作项目。
发明内容
本申请的目的之一在于公开一种信号处理方法,尤其涉及一种图像信号处理方法以及相关图像传感系统及电子装置,来解决上述问题。
本申请的一实施例公开了一种图像信号处理方法,用于像素阵列所述像素阵列包括第一N*N像素组,所述第一N*N像素组包括第一像素及第二像素,其中N大于1,且所述第一像素和所述第二像素的其中之一为相位检测像素,其中之另一为非相位检测像素,所述方法包括:提供第一控制信号使所述第一像素产生第一电荷至所述像素阵列的第一共用浮动扩散节点;提供所述第一像素的像素信息;提供第二控制信号使所述第二像素产生第二电荷至所述第一共用浮动扩散节点,使所述第一电荷和所述第二电荷在所述第一共用浮动扩散节点上合并累积;以及提供所述第一电荷及所述第二电荷合并累积后的等效电荷的像素信息。
本申请的一实施例公开了一种图像传感系统,所述图像传感系统包括:像素阵列,包括:多个像素,所述像素阵列包括:第一N*N像素组,包括:第一像素及第二像素,其中N大于1;以及第一共用浮动扩散节点,选择性地耦接至所述第一N*N像素组;其中因应于第一控制信号,所述第一像素产生第一电荷至所述第一共用浮动扩散节点,以及其中因应于第二控制信号,所述第二像素产生第二电荷至所述第一共用浮动扩散节点,使所述第一电荷和所述第二电荷在所述第一共用浮动扩散节点上合并累积,其中所述第二控制信号晚于所述第一控制信号,且所述第一像素和所述第二像素的其中之一为相位检测像素,其中之另一为非相位检测像素。
本申请的一实施例公开了一种电子装置。所述电子装置包括前述的图像传感系统。
本申请所公开的信号处理方法能够在获取相邻像素的合并累积电荷资讯的期间,也获得相位检测像素的电荷资讯。不需要在获得合并累积电荷资讯之后,额外增加一段工作时间来获得相位检测像素的电荷资讯。因此,能够降低所述像素阵列的感测结果的读取时间。
附图说明
图1为本申请的图像传感系统的像素阵列的实施例的方块示意图。
图2为本申请的图像传感系统的像素电路的实施例的电路图。
图3A至图8A图示说明实施例一的信号组合图案。
图3B至8B分别对应图3A至8A以分别显示图2的像素电路在各时间点的操作情况。
图9A至图12A图示说明实施例二的信号组合图案。
图9B至12B分别对应图9A至12A以分别显示图2的像素电路在各时间点的操作情况。
图13为本申请的另一像素阵列的实施例的方块示意图。
图14A图示说明用于第一2*2像素组的实施例三的信号组合图案。图14B图示说明用于第二2*2像素组的实施例三的信号组合图案。图15为包括图2的像素电路的芯片以及包括图1或图13的像素阵列的图像传感器应用在电子装置的实施例的示意图。
具体实施方式
以下揭示内容提供了多种实施方式或例示,其能用以实现本揭示内容的不同特征。下文所述之组件与配置的具体例子系用以简化本揭示内容。当可想见,这些叙述仅为例示,其本意并非用于限制本揭示内容。举例来说,在下文的描述中,将一第一特征形成于一第二特征上或之上,可能包括某些实施例其中所述的第一与第二特征彼此直接接触;且也可能包括某些实施例其中还有额外的组件形成于上述第一与第二特征之间,而使得第一与第二特征可能没有直接接触。此外,本揭示内容可能会在多个实施例中重复使用组件符号和/或标号。此种重复使用乃是基于简洁与清楚的目的,且其本身不代表所讨论的不同实施例和/或组态之间的关系。
再者,在此处使用空间上相对的词汇,譬如「之下」、「下方」、「低于」、「之上」、「上方」及与其相似者,可能是为了方便说明图中所绘示的一组件或特征相对于另一或多个组件或特征之间的关系。这些空间上相对的词汇其本意除了图中所绘示的方位之外,还涵盖了装置在使用或操作中所处的多种不同方位。可能将所述设备放置于其他方位(如,旋转90度或处于其他方位),而这些空间上相对的描述词汇就应该做相应的解释。
虽然用以界定本申请较广范围的数值范围与参数皆是约略的数值,此处已尽可能精确地呈现具体实施例中的相关数值。然而,任何数值本质上不可避免地含有因个别测试方法所致的标准偏差。在此处,「相同」通常系指实际数值在一特定数值或范围的正负10%、5%、1%或0.5%之内。或者是,「相同」一词代表实际数值落在平均值的可接受标准误差之内,视本申请所属技术领域中具有通常知识者的考虑而定。当可理解,除了实验例之外,或除非另有明确的说明,此处所用的所有范围、数量、数值与百分比(例如用以描述材料用量、时间长短、温度、操作条件、数量比例及其他相似者)均经过「相同」的修饰。因此,除非另有相反的说明,本说明书与附随申请专利范围所揭示的数值参数皆为约略的数值,且可视需求而更动。至少应将这些数值参数理解为所指出的有效位数与套用一般进位法所得到的数值。在此处,将数值范围表示成由一端点至另一端点或介于二端点之间;除非另有说明,此处所述的数值范围皆包括端点。
电子装置的图像传感器的像素阵列一般由多个红像素、多个绿像素、多个蓝像素构成。红像素、绿像素、蓝像素各自提供的颜色信号一同建立人眼可观察到的图像。为了提升所述图像的解析度,必须增加所述像素阵列的总像素量。在所述像素阵列的面积给定的情况下,当所述总像素量越多,所述像素阵列的单个像素的面积越小,其将导致信噪比变差。
通常,为了改善信噪比,会进行合并(binning)操作。合并操作是一种图像读出方式。详言之,是将多个相邻像素产生的电荷合并累积,并将合并累积后的电荷做为一个等效像素(由所述多个相邻像素等效而成)的电荷。
所述像素阵列的像素除了用于提供建立所述图像所需要的资讯以外,还可用于提供相位差对焦(phase difference auto focus,PDAF)操作所需要的资讯。详言之,所述像素阵列的所述多个像素的部份像素被组态成相位检测像素。在得到所述相位检测像素提供的电荷资讯后,就可完成相位差对焦操作。
当所述电子装置被指示或是依照当时操作环境自行评估要执行两种操作(合并操作及相位差对焦操作)时,所述电子装置依序执行上述两种操作。不过如此一来,将会使得所述像素阵列的感测结果的读取时间变长。举例来说,在执行上述两种操作的每一者之前需先进行其他的前置作业,例如预充电操作,又或相位像素再次曝光。据此,至少需经历两次前置作业的时间。甚至,在执行上述两种操作的每一者之后可能还需先进行其他的后续作业。如此一来,将导致所述读取时间变长。
在一些所述电子装置的操作模式下,例如慢动作视频录制功能,对于读取时间的要求相较于其他模式较为严苛。过长的读取时间,可能导致所述慢动作视频录制功能失败。因此,要减少读取时间,可以从改善上述两种操作的流程来做,其细节说明如下。
图1为本申请的图像传感系统10的像素阵列100的实施例的方块示意图。参照图1,像素阵列100包括多个像素102(图中为6*8的像素102,但本申请不以此限)。各像素102配有彩色滤光片(以R、G、B表示),使得各像素102只能接收到特定颜色(或是特定波长段)的光。为了方便说明,像素102的名称以对应的彩色滤光片的类型来命名。据此,所述多个像素102中的一部分像素可称为红(R)像素102R,另一部分像素可称为蓝(B)像素102B,又另一部分像素可称为或绿(G)像素102G。然而,本申请不以红色、蓝色、绿色为限。在其他实施例中,也可以是白色,或黄色,或是其他颜色。
像素阵列100的多个像素102被划分为多个N*N像素组110,其中N大于1。在本实施例中,N为2。也就是说,四个像素102构成一个2*2像素组110。在合并操作中,四个像素102产生的电荷合并累积,合并累积后的电荷做为一个2*2像素组110的电荷,其细节说明于图4A及图4B的实施例中。
像素阵列100的至少一2*2像素组110包括相位检测像素104L及104R(以阴影线绘示)以及非相位检测像素104NL及104NR,其中相位检测像素104L及104R构成相位检测像素对。在本实施例中,是包括绿像素102G的2*2像素组110具有相位检测像素104L及104R,其馀2*2像素组110则不包括相位检测像素104L及104R。然而,本申请不限定于此。在其他实施例中,可以是包括其他颜色的像素102的2*2像素组110具有相位检测像素104L及104R。
相位检测像素104L及104R与非相位检测像素104NL及104NR在结构上的差别在于,相位检测像素104L及104R共享椭圆微透镜OML,而非相位检测像素各自具有微透镜ML(亦即非相位检测像素没有与其他像素共享微透镜ML)。然而,本申请不限定于此。在其他实施例中,能够以其他方式来实现相位检测像素。
图2为本申请的图像传感系统10的像素电路200耦接于图1的相位检测像素104L及104R以及非相位检测像素104NL及104NR的实施例的电路图。像素电路200用以读取像素阵列100的感测结果。在本实施例中,像素电路200用以读取相位检测像素104L及104R以及非相位检测像素104NL及104NR的感测结果。
参照图2,像素电路200包括传输闸M1、M2、M3、M4,复位闸MR,共用浮动扩散节点FD、电容器C、源极追随器MS、选择闸ME以及电流源I。
传输闸M1的输入端耦接于相位检测像素104L,输出端耦接于共用浮动扩散节点FD,受控端接收控制信号TG1。传输闸M1用以因应于控制信号TG1选择性地将相位检测像素104L产生的电荷转移至共用浮动扩散节点FD。传输闸M1在本实施例中为电晶体。在本实施例中,传输闸M1为N型电晶体。据此,传输闸M1的汲极耦接于相位检测像素104L,源极耦接于共用浮动扩散节点FD,闸极接收控制信号TG1。需注意的是,传输闸M1的汲极及源极视施加于其上的电压相对大小而可相互对调。此外,在本申请中,为了简洁,当传输闸M1导通时,传输闸M1的源极-汲极电压可视为是零。在一些实施例中,控制信号TG1可由图像传感系统10的其他电路(未图示)来提供。在一些实施例中,控制信号TG1可由图像传感系统10的外部电路来提供。
传输闸M2的输入端耦接于相位检测像素104R,输出端耦接于共用浮动扩散节点FD,受控端接收控制信号TG2。传输闸M2用以因应于控制信号TG2选择性地将相位检测像素104R产生的电荷转移至共用浮动扩散节点FD。传输闸M2在本实施例中为电晶体。在本实施例中,传输闸M2为N型电晶体。据此,传输闸M2的汲极耦接于相位检测像素104R,源极耦接于共用浮动扩散节点FD,闸极接收控制信号TG2。需注意的是,传输闸M2的汲极及源极视施加于其上的电压相对大小而可相互对调。在本申请中,为了简洁,当传输闸M2导通时,传输闸M2的源极-汲极电压可视为是零。在一些实施例中,控制信号TG2可由图像传感系统10的其他电路来提供。在一些实施例中,控制信号TG2可由图像传感系统10的外部电路来提供。
传输闸M3的输入端耦接于非相位检测像素104NL,输出端耦接于共用浮动扩散节点FD,受控端接收控制信号TG3。传输闸M3用以因应于控制信号TG3选择性地将非相位检测像素104NL产生的电荷转移至共用浮动扩散节点FD。传输闸M3在本实施例中为电晶体。在本实施例中,传输闸M3为N型电晶体。据此,传输闸M3的汲极耦接于非相位检测像素104NL,源极耦接于共用浮动扩散节点FD,闸极接收控制信号TG3。需注意的是,传输闸M3的汲极及源极视施加于其上的电压相对大小而可相互对调。在本申请中,为了简洁,当传输闸M3导通时,传输闸M3的源极-汲极电压可视为是零。在一些实施例中,控制信号TG3可由图像传感系统10的其他电路来提供。在一些实施例中,控制信号TG3可由图像传感系统10的外部电路来提供。
传输闸M4的输入端耦接于非相位检测像素104NR,输出端耦接于共用浮动扩散节点FD,受控端接收控制信号TG4。传输闸M4用以因应于控制信号TG4选择性地将非相位检测像素104NR产生的电荷转移至共用浮动扩散节点FD。总的来说,共用浮动扩散节点FD选择性地耦接至2*2像素组110。传输闸M4在本实施例中为电晶体。在本实施例中,传输闸M4为N型电晶体。据此,传输闸M4的汲极耦接于非相位检测像素104NR,源极耦接于共用浮动扩散节点FD,闸极接收控制信号TG4。需注意的是,传输闸M4的汲极及源极视施加于其上的电压相对大小而可相互对调。在本申请中,为了简洁,当传输闸M4导通时,传输闸M4的源极-汲极电压可视为是零。在一些实施例中,控制信号TG4可由图像传感系统10的其他电路来提供。在一些实施例中,控制信号TG4可由图像传感系统10的外部电路来提供。
复位闸MR的一端接收供应电压VDD,另一端耦接于共用浮动扩散节点FD,受控端接收复位信号RST。复位闸MR用以基于复位信号RST选择性地使用供应电压VDD复位共用浮动扩散节点FD的电压。复位闸MR在本实施例中为电晶体。在本实施例中,复位闸MR为N型电晶体。然而,本申请不限定于此。在本申请中,为了简洁,当复位闸MR导通时,复位闸MR的源极-汲极电压可视为是零。在一些实施例中,复位信号RST可由图像传感系统10的其他电路来提供。在一些实施例中,复位信号RST可由图像传感系统10的外部电路来提供。
电容器C的一端耦接于共用浮动扩散节点FD,另一端耦接于供应电压VSS。电容器C用以储存电能。在一些实施例中,供应电压VSS为参考接地电压。在一些实施例中,电容器C为寄生电容所构成的电容器。
源极追随器MS的输入端耦接于共用浮动扩散节点FD,以及输出端耦接于选择闸ME。源极追随器MS用以基于自身的增益将输入端接收的共用浮动扩散节点FD上的感测信号(也就是,共用浮动扩散节点FD上的电压)放大后,从输出端输出放大感测信号。源极追随器MS在本实施例中为电晶体。在本实施例中,源极追随器MS为N型电晶体。源极追随器MS的汲极接收供应电压VDD,闸极耦接于共用浮动扩散节点FD,源极耦接于选择闸ME。
选择闸ME的输入端耦接于源极追随器MS的输出端,输出端输出输出信号VOUT,受控端接收行选择信号RS。选择闸ME用以基于行选择信号RS选择性地将所述输入端接收的所述放大感测信号转移至所述输出端,并于所述输出端将所述放大感测信号输出为输出信号VOUT。选择闸ME在本实施例中为电晶体。在本实施例中,选择闸ME为N型电晶体。选择闸ME的汲极耦接于源极追随器MS、闸极接收行选择信号RS、源极输出输出信号VOUT。在本实施例中,为了简洁,当选择闸ME导通时,选择闸ME的汲极-源极电压可视为是零。电流源I耦接于选择闸ME的源极与供应电压VSS之间,并用以提供稳定电流。
用来读取像素阵列100的感测结果的图像信号处理方法将说明于下列的各实施例中。简单来说,是以控制信号TG1至TG4的信号组合图案的不同来完成不同的实施例的图像信号处理方法。
<实施例一>
图3A至图8A图示说明实施例一的信号组合图案。图3B至8B分别对应图3A至8A以分别显示图2的像素电路200在各时间点的操作情况。详言之,图3A及图4A用来说明合并操作。图5A用来说明在合并操作之后且在相位差对焦操作之前的前置作业。图6A至图8A用来说明在前置作业结束之后进行的相位差对焦操作。
(1)合并操作:
参照图3A,在时间点t1之前,经历了复位信号RST被拉至正缘的过程,并且控制信号TG1至TG4保持在低位准。据此,参照图3B,传输闸M1至M4保持不导通,复位闸MR在复位信号RST被拉至正缘的过程中导通。供应电压VDD通过复位闸MR对电容器C进行充电,使得共用浮动扩散节点FD的电位被复位至供应电压VDD。
参照图4A,在时间点t1以后并且在时间点t2以前,经历了控制信号TG1至TG4被拉至正缘的过程。参照图4B,传输闸M1至M4分别在控制信号TG1至TG4被拉至正缘的过程中导通。因此,在相位检测像素104L及104R和非相位检测像素104NL及104NR在被照光的情况下,相位检测像素104L及104R和非相位检测像素104NL及104NR各自进行光电转换以产生电荷至共用浮动扩散节点FD。相位检测像素104L及104R和非相位检测像素104NL及104NR各自产生的电荷在共用浮动扩散节点FD上合并累积。换言之,电容器C通过相位检测像素104L及104R和非相位检测像素104NL及104NR进行放电,使得共用浮动扩散节点FD的电位降低。
具体而言,相位检测像素104L受光所产生的电荷产生压降VQ1,相位检测像素104R受光所产生的电荷产生压降VQ2,非相位检测像素104NL受光所产生的电荷产生压降VQ3,以及非相位检测像素104NR受光所产生的电荷产生压降VQ4。因此,共用浮动扩散节点FD的电压可表示为VDD-(VQ1+VQ2+VQ3+VQ4),其作为所述感测信号。放电完成后,选择闸ME导通,并且基于共用浮动扩散节点FD的电压(VDD-(VQ1+VQ2+VQ3+VQ4))提供输出电压VOUT。数字信号处理器(未图示)完成相位检测像素104L及104R所在的2*2像素组110的合并操作。在本实施例中,相位检测像素104L及104R及非相位检测像素104NR均是用于接收绿色光,因此合并累积后的电荷是相关于绿色光的电荷,但相位检测像素104L与104R可不必然需要使用绿光滤光片,可以吸收白光或其他颜色的光。
(2)前置操作:
参照图5A,在进行相位差对焦操作之前(也就是在时间点t2之后且在时间点t3之前),先对共用浮动扩散节点FD的电压进行复位,以避免共用浮动扩散节点FD上存在其他噪声。参照图5B,像素电路200在图5B的操作相同于在图3B的操作,于此不再赘述。本申请仅给出一种示范性的前置作业。实际上,前置操作还包括其他额外的操作,并据此占用了大量的时间。
(3)相位差对焦操作:
参照图6A,在时间点t3以后并且在时间点t4以前,经历了仅控制信号TG1被拉至正缘的过程。参照图6B,传输闸M1在控制信号TG1被拉至正缘的过程中导通。因此,在相位检测像素104L在被照光的情况下,相位检测像素104L进行光电转换以产生电荷至共用浮动扩散节点FD。换言之,电容器C通过相位检测像素104L进行放电,使得共用浮动扩散节点FD的电位降低。
具体而言,相位检测像素104L受光所产生的电荷产生压降VQ1。因此,共用浮动扩散节点FD的电压可表示为VDD-(VQ1),其作为所述感测信号。在完成放电之后,选择闸ME导通,并且基于共用浮动扩散节点FD的电压VDD-(VQ1)提供输出电压VOUT。由于供应电压VDD的数值为已知,因此数字信号处理器可基于供应电压VDD对电压VDD-(VQ1)进行数学运算进而还原出压降VQ1,其作为第一相位侦测信号。
参照图7A,在时间点t4以后并且在时间点t5以前,对共用浮动扩散节点FD的电压进行复位,以清除相位检测像素104L的电荷信息,也就是,相位检测像素104L造成的压降VQ1。参照图7B,像素电路200在图7B的操作相同于在图3B的操作,于此不再赘述。本实施例所给出的清除相位检测像素104L的电荷信息仅是做为释例。本申请在其他实施例中可使用其他方式清除相位检测像素104L的电荷信息。
参照图8A,在时间点t5以后且在时间点t6以前,经历了仅控制信号TG2被拉至正缘的过程。参照图8B,传输闸M2在控制信号TG2被拉至正缘的过程中导通。因此,在相位检测像素104R在被照光的情况下,相位检测像素104R进行光电转换以产生电荷至共用浮动扩散节点FD。换言之,电容器C通过相位检测像素104R进行放电,使得共用浮动扩散节点FD的电位降低。
具体而言,相位检测像素104R受光所产生的电荷产生压降VQ2。因此,共用浮动扩散节点FD的电压可表示为VDD-(VQ2)。在放电完成以后,选择闸ME导通,并且基于共用浮动扩散节点FD的电压VDD-(VQ2)提供输出电压VOUT。由于供应电压VDD的数值为已知,因此数字信号处理器可基于供应电压VDD对电压VDD-(VQ2)进行数学运算进而还原出压降VQ2,其作为第二相位侦测信号。
接着,基于在图6A及图6B的实施例中得到的第一相位侦测信号以及在图8A及图8B的实施例中得到的第二相位侦测信号,数字信号处理器完成相位差对焦操作。总的来说,为了执行两种操作(合并操作及相位差对焦操作),至少花费时间点t1及t6之间的时间间隔T1。
<实施例二>
图9A至图12A图示说明实施例二的信号组合图案。图9B至12B分别对应图9A至12A以分别显示图2的像素电路200在各时间点的操作情况。
参照图9A,在时间点t1之前,经历了复位信号RST被拉至正缘的过程,并且控制信号TG1至TG4保持在低位准。参照图9B,像素电路200在图9B的操作相同于在图3B的操作,于此不再赘述。
参照图10A,在时间点t1以后并且在时间点t2以前,经历了仅控制信号TG1被拉至正缘的过程。参照图10B,传输闸M1在控制信号TG1被拉至正缘的过程中导通。因此,在相位检测像素104L在被照光的情况下,相位检测像素104L因应于控制信号TG1进行光电转换以产生第一电荷至共用浮动扩散节点FD。换言之,电容器C通过相位检测像素104L进行放电,使得共用浮动扩散节点FD的电位降低。
具体而言,相位检测像素104L受光所产生的第一电荷产生压降VQ1。因此,共用浮动扩散节点FD的电压可表示为VDD-(VQ1)。需说明的是,共用浮动扩散节点FD的电压数值可透过电路模拟或实际量测得知。在放电完成后,选择闸ME导通,并且基于共用浮动扩散节点FD的电压VDD-(VQ1)提供输出电压VOUT。据此,像素电路200提供相位检测像素104L的像素信息。
另一方面,在控制信号TG1被拉至正缘时,控制信号TG2至TG4保持在低位准。据此,相位检测像素104R及非相位检测像素104NL及104NR因应于控制信号TG1自共用浮动扩散节点FD断开。因此,共用浮动扩散节点FD的电位与相位检测像素104R及非相位检测像素104NL及104NR产生的电荷无关。
参照图11A,在时间点t2以后并且在时间点t3以前,经历了仅控制信号TG2被拉至正缘的过程。控制信号TG2被拉至正缘的开始时间点晚于控制信号TG1被拉至正缘的开始时间点。参照图11B,传输闸M2在控制信号TG2被拉至正缘的过程中导通。因此,在相位检测像素104R在被照光的情况下,相位检测像素104R因应于控制信号TG2进行光电转换以产生第二电荷至共用浮动扩散节点FD,使所述第一电荷和所述第二电荷在共用浮动扩散节点FD上合并累积。换言之,电容器C通过相位检测像素104R进行放电,使得共用浮动扩散节点FD的电位从电压VDD-(VQ1)降成电压VDD-(VQ1+VQ2),其中相位检测像素104R受光所产生的所述第二电荷产生压降VQ2。在放电完成后,选择闸ME导通,并且基于共用浮动扩散节点FD的电压VDD-(VQ1+VQ2)提供输出电压VOUT。需说明的是,共用浮动扩散节点FD的电压数值可透过电路模拟或实际量测得知。
通过将电压VDD-(VQ1)与电压VDD-(VQ1+VQ2)相减,可计算出相位检测像素104R造成的压降VQ2,亦即图8A及图8B的实施例所记载的第二相位侦测信号。接着,基于计算出的压降VQ2以及电压VDD-(VQ1+VQ2),可计算出相位检测像素104L造成的压降VQ1,亦即图6A及图6B的实施例所记载的第一相位侦测信号。这样的计算过程,在一些实施例中,可以通过数字信号处理器来完成。接着,基于所述第一相位侦测信号以及所述第二相位侦测信号,数字信号处理器完成相位差对焦操作。
另一方面,在控制信号TG2被拉至正缘时,控制信号TG1、TG3及TG4保持在低位准。据此,相位检测像素104L及非相位检测像素104NL及104NR因应于控制信号TG2自共用浮动扩散节点FD断开。因此,共用浮动扩散节点FD的电位与非相位检测像素104NL及104NR产生的电荷无关。
参照图12A,在时间点t3以后并且在时间点t4以前,经历了控制信号TG3及TG4被拉至正缘的过程,控制信号TG1及TG2保持在低位准。参照图12B,传输闸M3及M4分别在控制信号TG3及TG4被拉至正缘的过程中导通。因此,在非相位检测像素104NL及104NR在被照光的情况下,非相位检测像素104NL及104NR进行光电转换以分别产生第三电荷及第四电荷至共用浮动扩散节点FD。换言之,电容器C通过非相位检测像素104NL及104NR进行放电,使得共用浮动扩散节点FD的电位降低。
具体而言,非相位检测像素104NL受光所产生的所述第三电荷产生压降VQ3,以及非相位检测像素104NR受光所产生的所述第四电荷产生压降VQ4。因此,共用浮动扩散节点FD从电压VDD-(VQ1+VQ2)下降为电压VDD-(VQ1+VQ2+VQ3+VQ4),亦即图4A及图4B的实施例所记载的电压。简言之,像素电路200提供相位检测像素104L的电荷、相位检测像素104R的电荷、非相位检测像素104NL的电荷,以及非相位检测像素104的NR的电荷合并累积后的等效电荷的像素信息。据此,数字信号处理器完成相位检测像素104L及104R所在的2*2像素组110的合并操作。
总的来说,为了执行两种操作(合并操作及相位差对焦操作),花费时间点t1及t4之间的时间间隔T2,其短于时间间隔T1。据此,当使用实施例二的图像信号处理方法来读取像素阵列100的感测结果时,可减少读取时间,有利于例如慢动作视频录制功能的执行。
实施例二所提供的信号组合图案仅作为一种释例。任何可透过联立方程式求解来得到相位检测像素104L产生的所述第一电荷造成的压降VQ1及相位检测像素104R产生的所述第二电荷造成的压降VQ2均落入本申请的范畴。
举例来说,可以在时间点t1后且在时间点t2以前,导通非相位检测像素104NL及104NR,以及不导通相位检测像素104L及104R,以在共用浮动扩散节点FD上建立电压(VDD-(VQ3+VQ4))。接着,在时间点t2后且在时间点t3以前,导通相位检测像素104L,以及不导通非相位检测像素104NL及104NR及相位检测像素104R,以在共用浮动扩散节点FD上建立电压(VDD-(VQ1+VQ3+VQ4))。接着,在时间点t3后且在时间点t4以前,导通相位检测像素104R,以及不导通非相位检测像素104NL及104NR及相位检测像素104L,以在共用浮动扩散节点FD上建立电压(VDD-(VQ1+VQ2+VQ3+VQ4))。
或者,可以在时间点t1后且在时间点t2以前,导通相位检测像素104L,不导通非相位检测像素104NL及104NR以及相位检测像素及104R,以在共用浮动扩散节点FD上建立电压(VDD-(VQ1))。接着,在时间点t2后且在时间点t3以前,导通非相位检测像素104NL及104NR,以及不导通相位检测像素104L及104R,以在共用浮动扩散节点FD上建立电压(VDD-(VQ1+VQ3+VQ4))。接着,在时间点t3后且在时间点t4以前,导通相位检测像素104R,以及不导通非相位检测像素104NL及104NR及相位检测像素104L,以在共用浮动扩散节点FD上建立电压(VDD-(VQ1+VQ2+VQ3+VQ4))。
<实施例三>
图13为本申请的像素阵列300的实施例的方块示意图。参照图13,像素阵列300类似于图1所记载及图示说明的像素阵列100,差别在于,相位检测像素104L及104R位于不同的2*2像素组110中,但相位检测像素104L及104R仍共享椭圆微透镜OML并构成相位检测像素对。为了识别,相位检测像素104L所在的2*2像素组110,重新命名为2*2像素组310A,以及相位检测像素104R所在的2*2像素组110,重新命名为2*2像素组310B。
2*2像素组310A及310B各自具有与其配合的像素电路200。选择性地耦接于2*2像素组310A的共用浮动扩散节点FD称为第一共用浮动扩散节点,选择性地耦接于2*2像素组310B的共用浮动扩散节点FD称为第二共用浮动扩散节点。
图14A图示说明实施例三的用于2*2像素组310A的信号组合图案。图14B图示说明实施例三的用于2*2像素组310B的信号组合图案。像素电路200基于图14A的信号组合图案的操作方式及像素电路200基于图14B的信号组合图案的操作方式与图3B至图12B的实施例所描述的方式相同,雷同之处不再赘述。
参照图14A,在时间点t1之前,经历了复位信号RST被拉至正缘的过程,并且控制信号TG1至TG4保持在低位准。因此,第一共用浮动扩散节点的电压为VDD。
在时间点t1以后并且在时间点t2以前,经历了仅控制信号TG1被拉至正缘的过程。因此,第一共用浮动扩散节点的电压可表示为VDD-(VQ1),并可如图8A及图8B的实施例所述计算出相位检测像素104L造成的压降VQ1,其作为第一相位侦测信号。另一方面,在控制信号TG1被拉至正缘时,控制信号TG2至TG4保持在低位准。据此,相位检测像素104R及非相位检测像素104NL及104NR因应于控制信号TG1自第一共用浮动扩散节点断开。因此,第一共用浮动扩散节点的电压与相位检测像素104R及非相位检测像素104NL及104NR产生的电荷无关。
在时间点t2以后并且在时间点t3以前,经历了控制信号TG2至TG4被拉至正缘的过程,控制信号TG1保持在低位准。因此,第一共用浮动扩散节点的电压可表示为VDD-(VQ1+VQ2+VQ3+VQ4),亦即图4A及图4B的实施例所记载的电压。数字信号处理器完成相位检测像素104L所在的2*2像素组310A的合并操作。
参照图14B,在时间点t1之前,经历了复位信号RST被拉至正缘的过程,并且控制信号TG1至TG4保持在低位准。因此,第二共用浮动扩散节点的电压为VDD。
在时间点t1以后并且在时间点t2以前,经历了仅控制信号TG2被拉至正缘的过程。因此,第二共用浮动扩散节点的电压可表示为VDD-(VQ2),并可如图8A及图8B的实施例所述计算出相位检测像素104R造成的压降VQ2,其作为第二相位侦测信号。接着,基于所述第一相位侦测信号以及所述第二相位侦测信号,数字信号处理器完成相位差对焦操作。另一方面,在控制信号TG2被拉至正缘时,控制信号TG1、TG3及TG4保持在低位准。据此,相位检测像素104L及非相位检测像素104NL及104NR因应于控制信号TG1自第二共用浮动扩散节点断开。因此,第二共用浮动扩散节点的电压与相位检测像素104L及非相位检测像素104NL及104NR产生的电荷无关。
在时间点t2以后并且在时间点t3以前,经历了控制信号TG1、TG3及TG4被拉至正缘的过程,控制信号TG2保持在低位准。因此,第二共用浮动扩散节点的电压可表示为VDD-(VQ1+VQ2+VQ3+VQ4),亦即图4A及图4B的实施例所记载的电压。数字信号处理器完成相位检测像素104R所在的2*2像素组310B的合并操作。
总的来说,为了执行两种操作(合并操作及相位差对焦操作),花费时间点t1及t3之间的时间间隔T3,其短于时间间隔T1。据此,当使用实施例三的图像信号处理方法来读取像素阵列300的感测结果时,可减少读取时间,有利于例如慢动作视频录制功能的执行。
除此之外,由于相位检测像素104L及104R是分别设置在不同的2*2像素组310A及310B,因此不需要透过联立方程式的就能够得到压降VQ1及VQ2。联立方程式涉及多个方程式的数学运算,而方程式是通过电路操作获得,因此方程式难以避免存在噪声。当需要越多的方程式才能得到压降时,涉及的噪声越严重,所求出的压降VQ1及VQ2越不准确。相反地,通过实施例三所得到的压降VQ1及VQ2的数值的准确度较高,因此相位差对焦操作的准确度较高。
图15为包括像素电路200的芯片以及包括像素阵列100或300的图像传感器应用在电子装置40的实施例的示意图。参照图15,电子装置40包含像素电路200及像素阵列100或300。电子装置40例如智能型手机、个人数字助理、手持式计算机系统或平板计算机等任何手持式电子装置。
上文的叙述简要地提出了本申请某些实施例之特征,而使得本申请所属技术领域具有通常知识者能够更全面地理解本揭示内容的多种态样。本申请所属技术领域具有通常知识者当可明了,其可轻易地利用本揭示内容作为基础,来设计或更动其他工艺与结构,以实现与此处所述之实施方式相同的目的和/或达到相同的优点。本申请所属技术领域具有通常知识者应当明白,这些均等的实施方式仍属于本揭示内容之精神与范围,且其可进行各种变更、替代与更动,而不会悖离本揭示内容之精神与范围。
Claims (5)
1.一种图像信号处理方法,用于像素阵列,所述像素阵列包括第一N*N像素组,所述第一N*N像素组包括第一像素、第二像素、第三像素及第四像素,其中N大于1,且所述第一像素和所述第二像素为相位检测像素并构成相位像素对,所述第三像素及所述第四像素为非相位检测像素,所述方法包括:
使所述第一N*N像素组中除了所述第一像素以外的像素自所述像素阵列的第一共用浮动扩散节点断开,使所述第一像素产生第一电荷至所述第一共用浮动扩散节点;
得到所述第一像素的像素信息;
在产生所述第一电荷至所述第一共用浮动扩散节点后,使所述第一N*N像素组中除了所述第二像素以外的像素自所述第一共用浮动扩散节点断开,使所述第二像素产生第二电荷至所述第一共用浮动扩散节点,使所述第二电荷与原先已存在所述第一共用浮动扩散节点上的所述第一电荷,在所述第一共用浮动扩散节点上合并累积;
得到所述第一像素及所述第二像素合并累积后的像素信息;
在产生所述第二电荷至所述第一共用浮动扩散节点后,使所述第一N*N像素组中除了所述第三像素及所述第四像素以外的像素自所述第一共用浮动扩散节点断开,使所述第三像素产生第三电荷至所述第一共用浮动扩散节点,以及使所述第四像素产生第四电荷至所述第一共用浮动扩散节点,使所述第三电荷和所述第四电荷与原先已存在所述第一共用浮动扩散节点上的所述第一电荷和所述第二电荷,在所述第一共用浮动扩散节点上合并累积;以及
得到所述第一像素、所述第二像素、所述第三像素及所述第四像素合并累积后的像素信息。
2.如权利要求1所述的方法,其中所述第一像素与所述第二像素共享椭圆微透镜。
3.如权利要求1所述的方法,进一步包括:
提供第一传输闸,耦接于所述第一像素及所述第一共用浮动扩散节点之间,用以选择性地连接所述第一像素及所述第一共用浮动扩散节点;
提供第二传输闸,耦接于所述第二像素及所述第一共用浮动扩散节点之间,用以选择性地连接所述第二像素及所述第一共用浮动扩散节点;
提供第三传输闸,耦接于所述第三像素及所述第一共用浮动扩散节点之间,用以选择性地连接所述第三像素及所述第一共用浮动扩散节点;以及
提供第四传输闸,耦接于所述第四像素及所述第一共用浮动扩散节点之间,用以选择性地连接所述第四像素及所述第一共用浮动扩散节点。
4.如权利要求3所述的方法,进一步包括:
提供复位闸,耦接于所述第一共用浮动扩散节点,用以接收供应电压,并选择性地基于所述供应电压复位所述第一共用浮动扩散节点的电压。
5.如权利要求4所述的方法,其中在使所述第一像素产生所述第一电荷至所述第一共用浮动扩散节点之前,使用所述复位闸来基于所述供应电压复位所述第一共用浮动扩散节点的电压。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/075483 WO2021163824A1 (zh) | 2020-02-17 | 2020-02-17 | 图像信号处理方法以及相关图像传感系统及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112042180A CN112042180A (zh) | 2020-12-04 |
CN112042180B true CN112042180B (zh) | 2023-05-02 |
Family
ID=73572902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080002033.3A Active CN112042180B (zh) | 2020-02-17 | 2020-02-17 | 图像信号处理方法以及相关图像传感系统及电子装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112042180B (zh) |
WO (1) | WO2021163824A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9786252B2 (en) * | 2012-09-10 | 2017-10-10 | Samsung Electronics Co., Ltd. | Method and apparatus for suppressing background light in time of flight sensor |
CN105611124B (zh) * | 2015-12-18 | 2017-10-17 | 广东欧珀移动通信有限公司 | 图像传感器、成像方法、成像装置及终端 |
US20170374306A1 (en) * | 2016-06-23 | 2017-12-28 | Semiconductor Components Industries, Llc | Image sensor system with an automatic focus function |
JP2019021991A (ja) * | 2017-07-12 | 2019-02-07 | オリンパス株式会社 | 撮像素子、撮像装置、撮像プログラム、撮像方法 |
CN109302559B (zh) * | 2017-07-24 | 2024-04-16 | 格科微电子(上海)有限公司 | 实现cmos图像传感器于像素合成模式下的相位对焦方法 |
JP6987562B2 (ja) * | 2017-07-28 | 2022-01-05 | キヤノン株式会社 | 固体撮像素子 |
JP6947590B2 (ja) * | 2017-09-08 | 2021-10-13 | オリンパス株式会社 | 撮像装置、撮像装置の制御方法 |
-
2020
- 2020-02-17 WO PCT/CN2020/075483 patent/WO2021163824A1/zh active Application Filing
- 2020-02-17 CN CN202080002033.3A patent/CN112042180B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112042180A (zh) | 2020-12-04 |
WO2021163824A1 (zh) | 2021-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20110019051A1 (en) | Image sensors with pixel charge summing | |
CN101189863B (zh) | 耦合电容匹配的共享放大器像素 | |
US10170514B2 (en) | Image sensor | |
US8462247B2 (en) | Single gate pixel and operation method of single gate pixel | |
KR20130045833A (ko) | 거리 화상 센서 | |
KR20140047497A (ko) | 바이너리 이미지 센서 및 그것의 이미지 감지 방법 | |
KR20070099479A (ko) | 물리량 분포 검출 장치 및 촬상 장치 | |
JP7080913B2 (ja) | デジタルピクセルを含むイメージセンサ | |
CN103297721A (zh) | Cmos传感器阵列 | |
US11323639B2 (en) | Image sensor and operation method thereof | |
CN111741241B (zh) | 图像处理系统、图像传感器以及驱动图像传感器的方法 | |
US20070177043A1 (en) | Paired differential active pixel sensor | |
CN103067676A (zh) | 高动态图像传感器及其有源像素 | |
CN113395467B (zh) | 图像传感器 | |
KR100536973B1 (ko) | 고체 촬상 장치 및 그 구동 방법 | |
CN104980669A (zh) | 具有一致性的图像传感器优化像素结构 | |
US20140103190A1 (en) | Binary image sensor and image sensing method | |
US20140197302A1 (en) | Solid-state image sensor | |
CN103716559A (zh) | 像素单元读出装置及方法、像素阵列读出装置及方法 | |
CN101902583A (zh) | 影像传感器及具有高转换增益的低噪声像素读出电路 | |
US20150122973A1 (en) | Sensing pixel and image sensor including the same | |
CN112042180B (zh) | 图像信号处理方法以及相关图像传感系统及电子装置 | |
KR102003909B1 (ko) | 픽셀 신호 처리 장치 및 그를 이용한 씨모스 이미지 센서 | |
EP1874044B1 (en) | Solid state imaging device | |
CN112866590B (zh) | 一种减小图像传感器时序电路误差值的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |