CN113497905B - 光电转换设备、成像系统和移动物体 - Google Patents

光电转换设备、成像系统和移动物体 Download PDF

Info

Publication number
CN113497905B
CN113497905B CN202110340430.8A CN202110340430A CN113497905B CN 113497905 B CN113497905 B CN 113497905B CN 202110340430 A CN202110340430 A CN 202110340430A CN 113497905 B CN113497905 B CN 113497905B
Authority
CN
China
Prior art keywords
pixel
signal
pixels
light
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110340430.8A
Other languages
English (en)
Other versions
CN113497905A (zh
Inventor
草野穗高
山崎和男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021002274A external-priority patent/JP7225271B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113497905A publication Critical patent/CN113497905A/zh
Application granted granted Critical
Publication of CN113497905B publication Critical patent/CN113497905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Abstract

本发明提供光电转换设备、成像系统和移动物体，所述光电转换设备包括：各自以多行和多列排列的多个有效像素和多个光屏蔽像素；以及信号处理电路，其中在将像素信号从作为第一行光屏蔽像素的第一光屏蔽像素输出至第一竖直输出线期间，将像素信号从作为第二行光屏蔽像素的第二光屏蔽像素输出至第二竖直输出线，以及信号处理电路通过使用对来自第一光屏蔽像素的像素信号和对来自第二光屏蔽像素的像素信号进行过滤处理而获得的校正信号，来校正从有效像素输出的有效像素信号。

Description

光电转换设备、成像系统和移动物体
技术领域
本发明涉及光电转换设备、成像系统和移动物体。
背景技术
近年来，已经研发了要安装在数字静态相机、摄像机、移动电话等中的光电转换设备。
作为光电转换设备的示例，电荷耦合器件(CCD)传感器和互补金属氧化物半导体(CMOS)传感器已广为人知。与CCD传感器相比，CMOS传感器具有诸如低功耗、高速读取、在芯片上能够实施为系统的能力等优点，而引起了越来越多的关注。
对于各个像素，CMOS传感器包括具有浮动扩散放大器等的放大电路。当要读取像素信号时，在许多情况下使用一种方法，该方法在像素以矩阵形式排列于行方向和列方向的像素阵列部分中选择给定行，并且从位于选定的一行中的所有像素中同时读取像素信号。
结果，在CMOS传感器中出现构造相关的问题，即在水平的一条线上均匀地出现了偏移噪声(下文称为水平条纹噪声)。为了解决该问题，传统成像设备通过使用来自图像传感器中的光屏蔽像素的光学黑色(下文称为OB)信号来校正水平条纹噪声。
日本特开第2013-106186号公报描述了一种钳位电路，所述钳位电路通过使用OB区域中的多条水平线中的像素信号的平均值来钳位(校正)来自有效像素的像素信号，以及一种钳位电路，所述钳位电路通过算术地确定各个水平线上像素信号的平均值来钳位来自有效像素的像素信号。该申请公开还描述了一种通过使用OB区域来检测水平条纹噪声的检测块。在该申请公开中，根据检测块是否检测到线性缺陷，在两种类型的钳位电路之间进行切换，进而通过钳位(线平均钳位)来降低水平条纹噪声的影响。
发明内容
然而，日本特开第2013-106186号公报尚未完全研究噪声降低处理。当在整个画面上出现水平条纹噪声时，需要总是算术地确定各个水平线上的平均值。
本技术提供一种更适于降低噪声的光电转换设备。
本技术的一方面是：一种光电转换设备，其包括各自以多行和多列排列的多个有效像素和多个光屏蔽像素；多个竖直输出线；以及信号处理电路，其中，在将像素信号从作为多个光屏蔽像素中的第一行光屏蔽像素的第一光屏蔽像素输出至多个竖直输出线当中的第一竖直输出线期间，将像素信号从作为多个光屏蔽像素当中的第二行光屏蔽像素的第二光屏蔽像素输出至多个竖直输出线中的第二竖直输出线，以及信号处理电路通过使用对来自第一光屏蔽像素的像素信号和对来自第二光屏蔽像素的像素信号进行过滤处理而获得的校正信号，来校正从有效像素输出的有效像素信号。
参照附图对示例性实施例的描述，本发明的其他特征将变得显而易见。
附图说明
图1是例示根据第一实施例的光电转换设备的电路构造的图。
图2是根据第一实施例的读取像素信号的处理的流程图。
图3是例示根据第一实施例的信号处理电路的处理的图。
图4是例示根据第二实施例的信号处理电路的处理的图。
图5A是例示根据第三实施例的信号处理电路的处理的图。
图5B是例示根据第三实施例的信号处理电路的处理的图。
图6A是例示根据第四实施例的信号处理电路的处理的图。
图6B是例示根据第四实施例的信号处理电路的处理的图。
图7是根据第三实施例的信号处理电路的处理的流程图。
图8是根据第四实施例的信号处理电路的处理的流程图。
图9是根据第五实施例的相机系统的构造图。
图10是例示根据第六实施例的成像系统的构造的示例的图。
图11A是例示根据第七实施例的成像系统的构造的示例的图。
图11B是例示根据第七实施例的移动物体的构造的示例的图。
具体实施方式
参照附图，以下将描述根据本技术的实施例。注意，除非发生矛盾，否则以上提及的各个实施例可以随机地彼此组合。在以下描述的各个实施例中，成像设备主要被描述为光电转换设备的示例。然而，各个实施例不限于成像设备，还可以应用于光电转换设备的其他示例。光电转换设备的示例包括测距设备(用于焦点检测、使用飞行时间(TOF)的距离测量的设备等)、测光设备(用于测量入射光量等的设备)等。
<第一实施例>
(光电转换设备的构造)
以下将给出根据第一实施例的光电转换设备10(光电转换设备)的电路构造的描述。图1例示了根据第一实施例的光电转换设备10的电路构造。光电转换设备10具有像素区域100、竖直输出线VL1至VL4、水平读取电路106-1至106-8、信号处理电路107-1和107-2以及列读取电路110-1和110-2。
像素区域100具有8列8行矩阵形式的像素阵列(其中，像素被二维排列，或者包括多列和多行的像素)。像素区域100包括光屏蔽像素区域101和有效像素区域102(孔径像素区域)。光屏蔽像素区域101和有效像素区域102分别包括4列8行像素。在下文中，光屏蔽像素区域101中包括的像素称为OB(光学黑色)像素或者光屏蔽像素，有效像素区域102中包括的像素称为有效像素(孔径像素)。另外，通过使用对来自OB像素(光屏蔽像素信号)等的信号求平均而得到的信号来校正来自有效像素的信号(有效像素信号)称为“钳位(OB钳位)”。注意，像素区域100、光屏蔽像素区域101和有效像素区域102中的像素(像素的数量)的排列均不限于以上描述，只要有效像素和OB像素存在于像素区域100的同一行中，则还可以是任意给定数量的像素的二维排列。
像素区域100具有以拜耳排列的滤光器。在图1中，R表示红色像素，Gr和Gb表示绿色像素，B表示蓝色像素。另外，在图1中，根据8列8行矩阵，给出与像素R11至B44的像素位置相对应的数字。
为像素排列中的每一个列设置竖直输出线VL1至VL4。与所有列对应的竖直输出线VL1至VL4使得能够从像素区域100中的所有列的像素中获取(读取)信号。
列读取电路110-1和110-2读取由竖直输出线VL1至VL4获取(读取)的信号。列读取电路110-1和110-2包括用于竖直输出线VL1至VL4的电流源电路、列增益放大器、列AD、列存储器等。注意，在第一实施例中，分别与一列以及列读取电路110-1和110-2中的一个竖直输出线对应的列电路称为列读取单元103-1到103-32。
水平读取电路106-1至106-8读取由与像素的各个列对应的列读取电路110-1和110-2读取的信号。因此，光电转换设备10具有8个水平读取电路106-1至106-8。下面将8个水平读取电路106-1至106-8各自称为信道1ch至8ch。在第一实施例中，由竖直输出线VL1至VL4读取的各个像素信号被分成两个信道。
信号处理电路107-1和107-2处理由水平读取电路106-1至106-8读取的信号。信号处理电路107-1和107-2包括对各个信道进行信号处理的处理电路104-1至104-8和对多个信道进行共同处理的处理电路105-1和105-2。
(读取像素信号的方法)
接下来，将参照图1中的电路构造图和图2中的流程图，给出在水平读取电路106-1至106-8读取像素信号之前的读取方法的描述。
(S1001)
由竖直输出线VL1至VL4从与像素R11至B24对应的8列4行的32个像素中同时读取(获取)信号(像素信号)。在第一实施例中，由竖直输出线VL2从第一行像素(像素R11至Gr14)中读取像素信号，以及由竖直输出线VL1从第二行像素(像素Gb11至B14)中读取像素信号。同样地，由竖直输出线VL4从第三行像素(像素R21至Gr24)中读取像素信号，以及由竖直输出线VL3从第四行像素(像素Gb21至B24)中读取像素信号。注意，将来自与像素R11至B24对应的32个像素的信号控制为在相同定时(在相同时段内)读取至对应的竖直输出线。例如，在由竖直输出线VL2从第一行像素中读取像素信号的时段期间，由竖直输出线VL4从第三行像素中读取像素信号。
(S1002)
在由竖直输出线VL1至VL4从32个像素读取的像素信号中，将16个像素的像素信号读取到列读取电路110-1以及将16个像素的像素信号读取到列读取电路110-2。在第一实施例中，将由竖直输出线VL1和VL3读取的像素信号读取到列读取电路110-2，以及将由竖直输出线VL2和VL4读取的像素信号读取到列读取电路110-1。注意，还控制列读取电路110-1和110-2对像素信号的读取，使得从32个像素中大致同时地(在相同时段内)读取像素信号。
(S1003)
列读取电路110-1和110-2对读取的像素信号进行诸如信号放大或AD转换处理的模拟处理。此时，进行控制从而以大致相同的定时(在相同时段内)对来自竖直分离的32个像素的像素信号进行信号放大或AD转换处理。
注意，存在一种根据光电转换设备10使用的像素信号读取技术进行读取的方法，所述方法通过进行多次采样或者对各列给予偏移的操作来进行读取以降低随机噪声和固定图案噪声。为了方便，这样的方法还包括延迟定时控制的驱动的示例。然而，可以说，与从随后的32个像素(像素R31至B44)中读取像素信号的定时相比，在S1003中对来自32个像素的像素信号进行的模拟处理具有足够高的同时性。
(S1004)
32个像素的像素信号同时(在相同时段内)临时存储在列读取电路110-1和110-2的列存储器中。
(S1005)
水平读取电路106-1至106-8从一组8个像素中和之后的另一组8个像素中依次读取像素信号。在第一实施例中，水平读取电路106-1、106-3、106-5和106-7读取经过了列读取电路110-1的模拟处理之后的像素信号。同时，水平读取电路106-2、106-4、106-6和106-8读取经过了列读取电路110-2的模拟处理之后的像素信号。
在结束S1005中的处理之后，对与像素R31至B44对应的随后的4行8列32个像素进行与S1001至S1005相同的处理。
本文中，在S1003中进行诸如信号放大或者AD转换处理的模拟处理的这样的情况中，发生由电源或者GND(接地线)波动引起的噪声(水平条纹噪声)。只要以相同的定时进行从由像素中读取像素信号到将其临时存储在列存储器中的操作，则原则上来自各个像素的像素信号中的水平条纹噪声量就处于相同水平。
因此，当使用根据第一实施例的读取方法时，8列4行像素R11至B24的像素信号具有相同的水平条纹噪声，而8列4行像素R31至B44的像素信号具有另外的相同水平条纹噪声。
为了消除这些水平条纹噪声，具有这样一种方法，其从存在于同一行的OB像素中获得像素信号的平均值，并且计算来自有效像素的像素信号与该平均值之间的差。然而，当要获得来自OB像素的像素信号的平均值时，平均值受到独立于各个OB像素的随机噪声的影响。因此，为了仅从OB像素提取由电源或者GND波动引起的水平条纹噪声，期望对大量OB像素的像素信号求平均并且降低随机噪声的影响。
通常，与像素引起的随机噪声相比，电源或者GND波动引起的水平条纹噪声小得多。然而，由于与随机噪声不同，水平条纹噪声看起来是水平线，因此即使水平条纹噪声的噪声水平低，也会极大地影响图像质量。
例如，为了将平均后的各个图像信号中的水平条纹噪声的估计误差减小到平均之前来自OB像素的各个像素信号中的水平条纹噪声的估计误差的1/10，需要通过使用存在于同一行中的大量OB像素进行求平均。在第一实施例中，每一行中有四个OB像素，但是为充分减小估计误差，求平均所需的像素数量通常约为50至100个。因此，每一行中的像素的数量(即4)不足以消除水平条纹噪声。然而，增加水平方向中的OB像素的数量可能是不现实的，因为这会导致成本增加、阻碍高速操作等。
(信号处理电路的处理)
参照图3，将给出从有效像素的像素信号(有效像素信号)中消除水平条纹噪声分量的钳位处理的描述，通过根据第一实施例的各个信号处理电路107-1和107-2进行该钳位处理。图3是例示信号处理电路107-1的一部分处理的图。注意，由于信号处理电路107-2的处理与信号处理电路107-1的处理相同，因此省略其描述。
注意，在图3中，输入至信号处理电路107-1的像素信号的各个信号值在其末端具有“v”。例如，来自像素R23的像素信号的信号值由“R23v”表示。同时，经过钳位处理之后的像素信号的各个像素值在其末端具有“out”。例如，来自经过钳位处理之后的像素Gr23的像素信号的像素值由“Gr23out”表示。
信号处理电路107-1从水平读取电路106-1、106-3、106-5和106-7中接收像素信号，并对像素信号进行数字信号处理。信号处理电路107-1进行数字S-N操作、用于数字OB钳位的减法处理、黑电平偏移相加处理等。
在第一实施例中，信号处理电路107-1具有处理各个信道的信号的处理电路104-1、104-3、104-5和104-7和对四个信道进行共同处理的处理电路105-1。这里将给出对图3中示出的处理电路104-1、104-3、104-5和104-7和处理电路105-1中的表达式的描述。在图3中的各个处理电路中示出的上方表达式表示从像素R11至Gr14和R21至Gr24中读取像素信号时的处理，而其中示出的下方表达式表示在从像素R31至Gr34和R41至Gr44读取像素信号时的处理。
将像素信号从水平读取电路106-1输入到处理电路104-1，同时将像素信号从水平读取电路106-3输入到处理电路104-3。同样地，将像素信号从水平读取电路106-5输入到处理电路104-5，同时将像素信号从水平读取电路106-7输入到处理电路104-7。将像素信号从所有的水平读取电路106-1、106-3、106-5和106-7输入到处理电路105-1。
处理电路105-1对来自四个信道中的OB像素的像素信号求平均(对其进行过滤处理)，以获得作为各个信道共有的值的钳位值CLMP。针对从其中同时读取像素信号的各行计算钳位值CLMP。根据第一实施例的钳位值CLMP是表示特定于各个定时的水平条纹噪声分量的信号值(校正信号)。在图3中，将从OB像素R11至Gr12和R21至Gr22同时读取像素信号的平均值用作钳位值CLMP1，而将在随后的定时从OB像素R31至Gr32和R41至Gr42同时读取像素信号的平均值用作钳位值CLMP2。例如，钳位值CLMP1与通过对来自OB像素的像素信号的信号值R11v、Gr11v、R12v、Gr12v、R21v、Gr21v、R22v和Gr22v求平均而获得的值对应。注意，处理电路105-1将钳位值CLMP输出到处理电路104-1、104-3、104-5和104-7。
各个处理电路104-1、104-3、104-5和104-7进行从输入到有效像素的各个像素信号中减去钳位值CLMP的处理(钳位处理)。例如，将来自有效像素R13和R14的像素信号的信号值R13v和R14v从水平读取电路106-1输入到处理电路104-1，并且将钳位值CLMP1从处理电路105-1输入到处理电路104-1。因此，处理电路104-1从像素信号的各个信号值R13v和R14v中减去钳位值CLMP1，以获取钳位处理之后的像素信号的信号值R13out和R14out。
在第一实施例中，这里要注意的事实是，当从多行像素中同时读取像素信号时，各个图像信号中的水平条纹噪声与由电源或GND波动引起的噪声分量处于相同的噪声水平。结果，即使是与不同的竖直输出线对应的像素(不同行中的像素)也可以用于平均处理，从而可以从来自大量像素的像素信号中获取平均值。因此，即使当水平方向中不存在大量OB像素时，也可以抑制随机噪声在对来自OB像素的像素信号求平均时的影响。换句话说，可以从有效像素的像素信号中准确地消除水平条纹噪声。
例如，当竖直输出线的数量是4并且OB像素是100列时，即使分别读取上方两个竖直输出线和下方两个竖直输出线，也可以从200个像素中获得像素信号的平均。在这种情况下，可以减少平均至1/√200后的各个像素信号中的水平条纹噪声的估计误差，即，约为不进行平均情况下水平条纹噪声的估计误差的1/14。
在第一实施例示出的示例中，每一个列中的像素的竖直输出线的数量是4，但是只要每一个列中的像素的竖直输出线的数量至少为2，就可以获得相同的效果。注意，由于每一个列中的像素的竖直输出线的数量指示可以从中同时读取像素信号的行的数量，因此随着竖直输出线的数量越多，例如8、12等，可以实现的效果越好。优选地，竖直输出线VL1至VL4从有效像素中获取像素信号，有效像素的数量与OB像素的数量相同。然而，只要竖直输出线VL1至VL4从广泛存在于多个行中的多个OB像素中获取多个像素信号，并且在相同定时下从该多个行中的至少任一个的有效像素中获取像素信号，就可以对有效像素进行钳位处理。
虽然由两个信号处理电路107-1和107-2分别进行信号处理，但是一个信号处理电路也可以对来自所有像素的像素信号共同地进行信号处理。此外，在第一实施例中，使用简单平均进行求平均(过滤处理)，但是即使在例如使用中值、在消除来自缺陷像素的像素信号之后进行求平均或者使用利用过滤器的加权的平均值的情况下，也可以获得第一实施例的效果。
<第二实施例>
在大多数情况下，由于对像素区域中的布局的限制，多个竖直输出线具有不同的布线电容。取决于竖直输出线是连接至R像素还是连接至Gr像素，即使相同的竖直输出线也具有不同的特性。为了校正竖直输出线的这种特性差异或者不同颜色，通过从各个信道的OB像素中获取像素信号的平均值并且从有效像素的各个像素信号中减去平均值来进行校正各自信道之间的差异(偏移)的钳位处理。
这样的用于消除各个信道的噪声的钳位处理可以与第一实施例中描述的消除水平条纹噪声的钳位处理组合。因此，在第二实施例中，将给出对进行这样两类钳位处理的光电转换设备10的描述。注意，为了将“消除水平条纹噪声的钳位处理”与“消除各个信道的噪声的钳位处理”区分开，下文中将“消除各个信道的噪声的钳位处理”称为“偏移校正”。
图4是示出根据第二实施例的信号处理电路107-1的处理的图。注意，由于信号处理电路107-2的处理与信号处理电路107-1的处理相同，因此省略其详细说明。以与第一实施例相同的方式，信号处理电路107-1具有处理电路104-1、104-3、104-5和104-7以及处理电路105-1。信号处理电路107-2具有处理电路104-2、104-4、104-6和104-8以及处理电路105-2。在第二实施例中，各个处理电路104-1至104-8具有与之对应的电路200-1至200-8中的任何一个。
各个电路200-1、200-3、200-5和200-7是计算来自各个信道的OB像素中的像素信号的平均值并且将该平均值作为钳位值(校正值)的电路。由于此处的目的是从有效像素的各个像素信号中消除各个信道均不同的(或各个竖直输出线均不同的)钳位值，为从相同信道中的有效像素读取的各个像素信号计算相同的钳位值。注意，为了将“根据第一实施例的钳位值”与“从各个信道均不同的钳位值”进行区分，此后将“各个信道均不同的钳位值”称为“偏移电平”，而将“根据第一实施例的钳位值”称为“钳位值”。
在第二实施例中，偏移电平通过CLMP_CH1(0)至CLMP_CH7(2)中的任一个表示。在偏移电平CLMP_CH1(t)中，“t”表示从像素读取像素信号的定时(时间)，且“i”表示信道。例如，在定时t1读取的以及由处理电路104-3从信道3ch(水平读取电路106-3)获得的像素信号的偏移电平由CLMP_CH3(1)表示。
将给出对在图4中的电路200-1、200-3、200-5和200-7以及处理电路105-1中示出的表达式的描述。各个电路中示出的上方表达式和图4中的处理电路表示在时间t＝1时的处理，在时间t＝1时，从像素R11至Gr14和R21至Gr24中读取像素信号。其中示出的下方表达式表示在时间t＝2时的处理，在时间t＝2时，从像素R31至Gr34和R41至Gr44中读取像素信号。
(信号处理电路的处理)
下面将给出当将来自像素R11到Gr14和R21到Gr24的像素信号输入到信号处理电路107-1时信号处理电路107-1的处理的描述。
首先，处理电路105-1以与第一实施例中相同的方式计算钳位值CLMP1(校正信号)并且将钳位值CLMP1输出至处理电路104-1、104-3、104-5和104-7。注意，也可以以与第一实施例相同的方式来计算钳位值CLMP2。
然后，电路200-1、200-3、200-5和200-7通过从已经被输入到信号处理电路107-1的来自各个信道的OB像素的像素信号的平均值中减去先前的(前一个)偏移电平来得到值，并且在减法之后衰减(dampens)(降低)该值。然后，电路200-1、200-3、200-5和200-7将通过将衰减后的值与先前的偏移电平相加而计算的值作为新偏移电平。在第二实施例中，衰减量设置为2-n，其中n是大于0的数。例如，当满足n＝5时，给出衰减量为2-5＝1/32。因此，电路200-1、200-3、200-5和200-7将来自各个信道中的OB像素的像素信号的平均值与先前的偏移电平之间的差值衰减至1/32，并且获得先前的偏移电平和衰减后的值的和。此时，当n是自然数时，可以简化处理电路的构造。
具体地，将描述计算偏移电平CLMP_CH1(1)的示例。首先，电路200-1通过从来自OB像素R11和R12的信号值R11v和R12v的平均值中减去与前一个偏移电平对应的CLMP_CH1(0)来计算值以及通过将减法所得的值乘以2-n来计算值。然后，电路200-1将乘法所得的值与CLMP_CH1(0)相加而获得的值确定为CLMP_CH1(1)。具体地，CLMP_CH1(1)具有通过将如下值相加而获得的值：CLMP_CH1(0)乘以31/32而获得的值、通过将(R11v+R12v)/2乘以1/32而获得的值。
例如，将t、(t-1)和(t-2)分别定义为给定时间、t前一个时间和(t-1)前一个时间，将Ave(t)定义为在时间t来自信道ich中的OB像素的像素信号的信号值的平均值，将α定义为衰减量。结果，满足CLMP_CHi(t)＝Ave(t)×α+Ave(t-1)×α(1-α)+Ave(t-2)×α(1-α)2+Ave(t-3)×α(1-α)3+…。换句话说，在多个时间来自给定信道中的OB像素的像素信号的平均值以时间为基础加权，并且将通过合成加权平均值而获得的值(合成值)用作要用于来自信道中的有效像素的像素信号的偏移电平。这里要注意，随着进行加权的时间越接近当前时间，用于加权的权重越大。通过进行这样的处理，从偏移电平中满意地消除了水平条纹噪声，并且偏移电平可以仅具有特定于各个信道的噪声(随机噪声)分量。
最后，处理电路104-1、104-3、104-5和104-7从目标像素信号中减去从处理电路105-1获得的钳位值CLMP1和由电路200-1、200-3、200-5和200-7计算出的新的偏移电平。例如，对于有效像素R13，处理电路104-1从信号值R13v中减去钳位值CLMP1和偏移电平CLMP_CH1(1)以获得校正后的像素信号的信号值R13out。
因此，在第二实施例中，在新偏移电平的计算中，要加到前一个偏移电平的跟进量以给定量衰减。因此，从新偏移电平中满意地消除水平条纹噪声，以提供特定于各个信道的各个仅具有噪声(随机噪声)分量的信号值。通过使用这样的偏移电平，可以通过使用OB像素的偏移校正来降低特定于各个信道的噪声对有效像素的影响。只要信道相同，在任一行中，特定于各个信道的噪声分量就相同而与读取定时无关，因此通过使用多个读取定时来降低随机噪声对有效像素的影响。
因此，各个电路200-1、200-3、200-5和200-7提取特定于各个信道的噪声分量，并且处理电路105-1提取特定于各个同时读取定时的水平条纹噪声。然后，通过从有效像素的各个像素信号中减去特定于各个信道的噪声分量和水平条纹噪声，能够将特定于各个信道的噪声分量和特定于各个同时读取定时的水平条纹噪声分量均消除。换句话说，与第一实施例相比，可以从有效像素的各个像素信号中减少更大量的噪声。
注意，特定于各个信道的噪声分量的提取和特定于各个定时的水平条纹噪声的提取是彼此独立的分量的提取，因此可以首先进行任一处理。
<第三实施例>
近年来，为了进一步增加读取像素数据的速度，对增加竖直输出线数量的技术给予了关注。这是增加竖直输出线的数量以增加每次要读取的数据集的数量并且减少对每帧进行读取的次数的技术。
然而，当组合使用增加竖直输出线的数量的技术和第二实施例时，可以校正每个信道(或者每个竖直输出线)不同的钳位值，但是问题在于难以校正竖直屏蔽分量。根据第三实施例的竖直屏蔽分量是指在竖直方向上(行方向)连续变化的黑电平(black level)。由于例如电源阻抗差等形成竖直屏蔽分量。
根据第二实施例的偏移电平仅以同时被读取的行为单位进行更新。因此，随着通过增加竖直输出线的数量的技术而增加同时被读取的行的数量，每行校正值的更新频率降低。例如，当对两行进行同时读取时，每两行更新一次校正值。然而，当对十行进行同时读取时，每十行更新一次校正值。结果，随着竖直输出线的数量增加，竖直屏蔽分量的校正精度降低。
为了避免这些，在第三实施例中，光电转换设备10计算作为特定于各个信道的钳位值的偏移电平且然后计算特定于各个行的钳位值以通过使用这两个校正值来进行校正。这实现了将特定于各个信道的噪声分量和特定于各个行的噪声分量均消除。
注意，为了将用作“特定于各个信道的钳位值(校正信号)”的“偏移电平”与“特定于各个行的钳位值”区分开，以下将“特定于各个行的钳位值”称为“屏蔽电平”。
第三实施例将描述通过分别用信号处理电路107-3和107-4替换图1中的光电转换设备10的信号处理电路107-1和107-2而获得的设备。图5A是示出根据第三实施例的信号处理电路107-3的处理的图。注意，信号处理电路107-4的处理与信号处理电路107-3的处理相同，因此省略其详细说明。信号处理电路107-3包括处理电路104-9、104-11、104-13和104-15以及处理电路105-3。另外，在第三实施例中，与第二实施例中的方式相同，处理电路104-9、104-11、104-13和104-15具有对应的电路200-1、200-3、200-5和200-7。
以与第二实施例相同的方式，各个电路200-1、200-3、200-5和200-7是计算作为钳位值(校正值)的来自各个信道中的OB像素的像素信号的平均值的电路。另外，在第三实施例中，与第二实施例中的方式相似，校正值是指偏移电平CLMP_CHi(t)。
在第三实施例中，来自各个信道中的OB像素的像素信号的平均值由AVE_R[1]至AVE_R[4]和AVE_Gr[1]至AVE_Gr[4]中的任何一个表示。另外，各个屏蔽电平由CLMP3[0]至CLMP3[4]和CLMP4[0]至CLMP4[4]中的任何一个表示。在AVE_R[y]，AVE_Gr[y]，CLMP3[y]和CLMP4[y]中，“y”表示特定于各个颜色的行数(竖直坐标)。
在图5B中，由表达式表示在处理电路105-3中进行的处理。将给出对图5B中示出的表达式的描述。在图5B中的处理电路105-3中示出的上方四个表达式表示在时间t＝1时的处理，在时间t＝1时，从像素R11至Gr14和R21至Gr24读取像素信号。其中示出的下方四个表达式表示在时间t＝2时的处理，在时间t＝2时，从像素R31至Gr34和R41至Gr44读取像素信号。
(信号处理电路的处理)
参照图5A、图5B和图7，下面将给出在将像素信号从像素R11到Gr14和R21到Gr24输入到信号处理电路107-3的情况下，信号处理电路107-3的处理的描述。图7是例示信号处理电路的处理的流程图。
(S2001)
首先，以与第二实施例相同的方式，电路200-1、200-3、200-5和200-7计算偏移电平并且将偏移电平输出到处理电路105-3。
(S2002)
然后，如图5B所例示的，处理电路105-3从输入到信号处理电路107-3的各个信道中的OB像素的像素信号的平均值中减去从电路200-1、200-3、200-5和200-7输出的偏移电平。处理电路105-3还通过从由各个信道的OB像素的像素信号的平均值中减去偏移电平(第一合成值)获得的值(校正值)中减去先前的(前一个)屏蔽电平以获得值，并且在减法之后衰减(降低)该值。然后，处理电路105-3将衰减后的值与先前的屏蔽电平相加以计算出相加后的值，作为新的屏蔽电平(第二合成值)。
(S2003)
最后，处理电路104-9、104-11、104-13和104-15通过使用由处理电路105-3计算出的屏蔽电平和由电路200-1、200-3、200-5和200-7计算出的偏移电平，来校正目标像素信号。
具体地，将描述计算屏蔽电平CLMP3[2]以校正有效像素R23的像素信号的示例。
首先，如图5B所例示的，处理电路105-3从OB像素R11和R12的信号值R11v和R12v的平均值AVE_R[1]中减去由电路200-1计算出的偏移电平CLMP_CH1(1)。然后，处理电路105-3通过从由平均值AVE_R[1]中减去偏移电平CLMP_CH1(1)获得的值中减去与先前行中的屏蔽电平对应的CLMP3[0]来计算值，并且通过将减法得到的值乘以2-n来计算值。
接下来，处理电路105-3将乘法得到的值与屏蔽电平CLMP3[0]相加获得的值确定为屏蔽电平CLMP3[1]。然后，处理电路105-3从来自OB像素R21和R22的信号值R21v和R22v的平均值AVE_R[2]中减去由电路200-1计算出的偏移电平CLMP_CH3(1)。然后，处理电路105-3通过从由平均值AVE_R[2]中减去偏移电平CLMP_CH3(1)获得的值中减去与先前行中的屏蔽电平对应的CLMP3[1]来计算值，并通过将减法得到的该值乘以2-n来计算值。然后，处理电路105-3将乘法得到的值与屏蔽电平CLMP3[1]相加获得的值(合成后的值或者合成值)确定为屏蔽电平CLMP3[2]。换句话说，处理电路105-3通过使用至少两个信道中的偏移电平(即，偏移电平CLMP_CH1(1)和偏移电平CLMP_CH3(1))进行过滤处理来计算屏蔽电平CLMP3[2]。
最后，对于有效像素23，处理电路104-11从信号值R23v中减去偏移电平CLMP_CH3(1)和屏蔽电平CLMP3[2]，以获取校正后的像素信号的信号值R23out。
通过如此计算偏移电平，随后计算屏蔽电平并且使用这两个校正值进行校正，可以实现将特定于各个信道的噪声分量和特定于各个行的噪声分量均消除。
在第三实施例示出的示例中，对于每一个列中的像素的竖直输出线的数量是4，但是只要对于每一个列中的像素的竖直输出线的数量是至少2，就可以获得相同的效果。请注意，由于每一个列中的像素的竖直输出线的数量指示能够同时读取像素信号的行的数量，因此，随着竖直输出线的数量越大，例如8、12等，可以实现的效果越好。
<第四实施例>
在第三实施例中，各个计算出的偏移电平包括特定于各行的钳位值的一部分，因此，不可能将偏移电平与屏蔽电平完全分离。
因此，在计算偏移电平之前，第四实施例进行从来自OB像素的像素信号的平均值中减去先前行中的屏蔽电平的附加处理，以将偏移电平与屏蔽电平准确地分离。
第四实施例将描述用信号处理电路107-5和107-6分别替换图1中的光电转换设备10的信号处理电路107-1和107-2而获得的设备。图6A是例示了根据第四实施例的信号处理电路107-5的处理的图。注意，信号处理电路107-6的处理与信号处理电路107-5的处理相同，因此省略其详细说明。信号处理电路107-5包括处理电路104-17、104-19、104-21和104-23以及处理电路105-5。另外，在第四实施例中，处理电路104-17、104-19、104-21和104-23具有与其对应的各自的电路200-9、200-11、200-13和200-15以及各自的电路300-1、300-3、300-5和300-7。
在第四实施例中，通过从来自OB像素的像素信号的平均值中减去前一(先前的)行中的竖直屏蔽电平获得的值由DATA_R[1]至DATA_R[4]和DATA_Gr[1]至DATA_Gr[4]中的任一个表示。在DATA_R[y]和DATA_Gr[y]中，“y”表示特定于各个颜色的行数(竖直坐标)。
在图6B中，由表达式表示电路300-1、300-3、300-5和300-7，电路200-9、200-11、200-13和200-15以及处理电路105中的各个进行的处理。将对图6B中示出的表达式给予描述。图6B中的电路300-1、300-3、300-5和300-7以及电路200-9、200-11、200-13和200-15中示出的上方表达式表示在时间t＝1时的处理，在时间t＝1时，从像素R11至Gr14和R21至Gr24读取像素信号。其中示出的下方表达式表示在时间t＝2时的处理，在时间t＝2时，从像素R31至Gr34和R41至Gr44读取像素信号。在图6B中的处理电路105-3中示出的上方四个表达式表示在时间t＝1时的处理，在时间t＝1时，从像素R11至Gr14和R21至Gr24读取像素信号。其中示出的下方四个表达式表示在时间t＝2时的处理，在时间t＝2时，从像素R31至Gr34和R41至Gr44读取像素信号。
(信号处理电路的处理)
参照图6A、图6B和图8，以下描述将来自像素R11至Gr14和R21至Gr24的像素信号输入到信号处理电路107-5中的情况下，信号处理电路107-5的处理。图8是例示信号处理电路的处理的流程图。
(S3001)
首先，如图6B所例示的，电路300-1、300-3、300-5和300-7输出通过从已经输入到信号处理电路107-5的来自单个信道的OB像素的像素信号的平均值中减去前一(先前的)行中的屏蔽电平而获得的值。
(S3002)
然后，如图6B所例示的，电路200-9、200-11、200-13和200-15通过使用从电路300-1、300-3、300-5和300-7输出的值计算偏移电平，并将偏移电平输出至处理电路105-5。
(S3003)
然而，如6B所例示的，处理电路105-5从由电路300-1、300-3、300-5和300-7输出的值中减去从电路200-9、200-11、200-13和200-15输出的偏移值。然后，处理电路105-5通过从偏移电平的减法得到的值中减去先前的(前一个)屏蔽电平来获得值并且在减法后衰减(降低)该值。然后，处理电路105-5将衰减后的值与先前的屏蔽电平相加并且计算相加得到的值作为新的屏蔽电平。
(S3004)
处理电路104-17、104-19、104-21和104-23通过使用由处理电路105-5计算的屏蔽电平和由电路200-9、200-11、200-13和200-15计算的偏移电平来校正目标像素信号。
具体地，将描述计算屏蔽电平CLMP3[2]以校正有效像素R23的像素信号的示例。
电路300-1从来自OB像素R11和R12的信号值R11v和R12v的平均值AVE_R[1]中减去与先前行中的屏蔽电平对应的CLMP3[0]，以计算DATA_R[1]。同样地，电路300-3从来自OB像素R21和R22的信号值R21v和R22v的平均值AVE_R[2]中减去与先前行中的屏蔽电平对应的CLMP3[1]，以计算DATA_R[2]。
然后，电路200-9通过从由电路300-1计算的DATA_R[1]中减去与前一个偏移电平对应的CLMP_CH1(0)来计算值，并且通过将减法得到的值乘以2-n来计算值。然后，电路200-9将通过乘法得到的值与CLMP_CH1(0)相加而获得的值确定成CLMP_CH1(1)。同样地，电路200-11通过从由电路300-3计算的DATA_R[2]中减去与前一个偏移电平对应的CLMP_CH3(0)来计算值，并且通过将减法所得的值乘以2-n来计算值。然后，电路200-11将乘法得到的值与CLMP_CH3(0)相加获得的值确定为CLMP_CH3(1)。
然后，处理电路105-5通过从由电路300-1计算出的DATA_R[1]中减去由电路200-9计算的偏移电平CLMP_CH1(1)和与先前行中的屏蔽电平对应的CLMP3[0]来计算值。然后，处理电路105-5通过将减法得到的值乘以2-n来计算值。然后，处理电路105-5将通过从乘法得到的值与CLMP3[0]相加而获得的值确定为CLMP3[1]。处理电路105-5还通过从由电路300-3计算出的DATA_R[2]减去由电路200-11计算出的偏移电平CLMP_CH3(1)和与先前的行中的屏蔽电平对应的CLMP3[1]来计算值。然后，处理电路105-5通过将减法得到的值乘以2-n来计算值。然后，处理电路105-5将通过乘法得到的值与CLMP3[1]相加而获得的值确定为CLMP3[2]。
最后，对于有效像素R23，处理电路104-19从像素值R23v中减去偏移电平CLMP_CH3(1)和屏蔽电平CLMP3[2]，以获得校正后的像素信号的信号值R23out。
在计算偏移电平之前通过如此减去先前行中的屏蔽电平，可以准确地将屏蔽电平和偏移电平分离并且进行校正。
在第四实施例示出的示例中，每一个列中像素的竖直输出线的数量是4，但是只要每一个列中像素的竖直输出线的数量是至少2个，则可以获得相同的效果。注意，由于每一个列中像素的竖直输出线的数量指示可以同时读取像素信号的行的数量，因此竖直输出线的数量越大，例如8、12等，可以实现的效果越好。
在第四实施例示出的示例中，针对不同的颜色分别计算屏蔽电平，但是当像素具有相同行号(纵坐标)时，屏蔽电平可以不针对不同颜色计算。
<第五实施例>
图9例示了根据第五实施例的相机系统的构造的示例，相机系统是通过将第一实施例中描述的光电转换设备10合并到数字相机获得的系统。数字相机包括光电转换设备10、挡板801、透镜802、光圈803、传感器805、信号处理设备807、处理单元808和存储单元809。数字相机包括外部I/F电路810、定时生成单元811、总体控制单元812、记录介质I/F单元813和记录介质814。数字相机连接到外部计算机815。
在光电转换设备10中，固态成像元件804、A/D转换器806和数字信号处理设备821形成在同一芯片上。注意，本文的A/D转换器806与根据第一实施例的列读取电路110-1和110-2对应，同时数字信号处理设备821与根据第一实施例的信号处理电路107-1和107-2对应。
挡板801用作透镜802的保护和主开关。透镜802将要拍摄的被摄体的光学图像聚焦在固态成像元件804上。光圈803调节穿过透镜802的光量。
固态成像元件804将由透镜聚焦的被摄体作为图像信号。传感器805包括焦点检测设备(AF传感器)和色温传感器。A/D转换器806对从固态成像元件804输出的信号进行模数转换。
信号处理设备807对由AD转换得到的数字信号和焦点检测信号进行信号处理。处理单元808对从信号处理设备807输出的图像数据进行各种校正以压缩数据。
存储单元809临时地存储图像数据。外部I/F电路810是用于与外部计算机815进行通信的接口电路。
定时生成单元811将各种定时信号输出到处理单元808等。总体控制单元812控制各种算术运算和整个相机。记录介质I/F单元813是用于与记录介质814通信的接口。记录介质814是用于进行记录或读取的可拆卸记录介质，例如半导体存储器。
(数字相机的操作)
接下来，将给出拍摄期间上述数字相机的操作的描述。当挡板801打开时，主电源被接通，并且控制系统的电源被接通。然后，诸如A/D转换器806的用于成像系统电路的电源被接通。
然后，基于从传感器805(焦点检测设备)输出的信号，总体控制单元812通过相位差检测来算术地确定与要拍摄的被摄体的距离。
然后，总体控制单元812确定透镜802是否已经被驱动以实现聚焦状态。当确定没有实现聚焦状态时，总体控制单元812驱动透镜802以进行自动控制。同时，当确定实现聚焦状态时，总体控制单元812启动主曝光。
当曝光结束时，从固态成像元件804输出的图像信号经历由A/D转换器806的模数转换并且经由处理单元808由总体控制单元812写入存储单元809。
然后，在总体控制单元812的控制下经由外部I/F电路810将存储在存储单元809中的数据记录在可拆卸记录介质814上。总体控制单元812还经由外部I/F电路810将数据输出到外部计算机815中。
注意，在第二实施例中，光电转换设备10中使用的信号处理电路107-1和107-2进行特定于各个信道的噪声分量的提取和特定于各个定时的水平条纹噪声的提取。同时，当使用如在第五实施例中使用的相机系统(数字相机)时，可以例如，光电转换设备10提取特定于各个信道的噪声分量，且信号处理设备807提取特定于各个读取定时的水平条纹噪声分量。在这种情况下，在信号处理设备807中安装与根据第二实施例的处理电路105-1等同的设备。
存在一种情况，其中，在光电转换设备中，与根据第一实施例的信号处理电路107-1和107-2类似，在两个或更多位置提供信号处理电路。因此，当对特定于各个定时的水平条纹噪声进行提取时，可以理解的是，难以获得来自要同时读取的所有OB像素的像素信号的平均值。换句话说，在根据第一实施例的光电转换设备10的构造中，存在彼此分离的两个信号处理电路，因此可以用于获得平均值的像素信号仅仅是来自8个OB像素的像素信号。
同时，通过形成根据第五实施例的相机系统，信号处理设备807将特定于各个定时的所有OB像素的像素信号求平均以使得能够提取水平条纹噪声。因此，根据第五实施例，可以从更大量OB像素中获得像素信号的平均值并且因此更准确地消除水平条纹噪声。
<第六实施例>
参照图10，以下将描述根据第六实施例的成像系统。图10是例示根据第六实施例的成像系统的示意性构造的框图。
在以上第一实施例至第四实施例中描述的光电转换设备10(光电转换设备)能够应用至各种成像系统。光电转换设备10应用至的成像系统没有特别限制，并且其示例包括诸如数字静态相机、数字摄像机、监视相机、复印机、传真机、移动电话、车载相机、观察卫星和医用相机的各种设备。另外，包括诸如透镜和光电转换设备的光学系统的相机模块还包括在成像系统中。举例来说，图10例示了作为成像系统的示例的数字静态相机的框图。
成像系统500包括在图10中分别示出的光电转换设备501、成像光学系统502、CPU510、透镜控制单元512、成像设备控制单元514、成像处理单元516、光圈快门控制单元518、显示单元520、操作开关522和记录介质524。
成像光学系统502是形成要成像的被摄体的光学图像的光学系统，成像光学系统502包括透镜组、光圈504等。光圈504不仅具有调节孔径以调节拍摄期间的光量的功能，还具有静态图像拍摄期间曝光秒数调节快门的功能。透镜组和光圈504被保持为能够沿着光轴方向向前和向后移动，并且与其链接的操作实现了可变放大功能(变焦功能)和焦点调节功能。成像光学系统502可以与成像系统集成或者也可以是附接至成像系统的成像透镜。
在成像光学系统502的图像空间中，设置光电转换设备501使得其成像表面位于图像空间中。光电转换设备501是在第一实施例至第四实施例的各个中描述的光电转换设备10，并且被构造为包括CMOS传感器(像素部分)和其周围的外围电路(外围电路区域)。在光电转换设备501中，各个具有光电转换部分的多个像素被二维排列，并且对于这些像素设置滤光器以形成二维单板颜色传感器。光电转换设备501对由成像光学系统502形成的要成像的被摄体的图像进行光电转换并且输出得到的图像作为图像信号或者焦点检测信号。
透镜控制单元512旨在控制成像光学系统502的透镜组向前/向后驱动以进行可变放大操作和焦点调节，并且包括被构造为进行所述功能的电路和处理设备。光圈快门控制单元518旨在改变光圈504的孔径(变化孔径值)以调节拍摄光的量，并且包括被构造为进行所述功能的电路和处理设备。
CPU 510是相机中的控制设备，其负责相机主体的各种控制并且包括算术单元、ROM、RAM、A/D转换器、D/A转换器、通信接口电路等。CPU 510基于存储在ROM等中的计算机程序控制相机的各个组件的操作以实现一系列拍摄操作，诸如包括成像光学系统502的焦点状态检测(焦点检测)的AF、成像、图像处理以及记录。CPU 510还用作信号处理单元。
成像设备控制单元514旨在控制光电转换设备501的操作以及还对光电转换设备501输出的信号进行A/D转换以将得到的信号发送至CPU510，并且还包括被构造为实现所述功能的电路和控制设备。还在光电转换设备501中提供A/D转换功能。成像处理单元516旨在进行图像处理，诸如对A/D转换得到的信号进行γ转换或色彩插值以生成图像信号，并且包括被构造为进行所述功能的电路和控制设备。显示单元520是诸如液晶显示(LCD)设备的显示设备，并且显示与相机的拍摄模式有关的信息、拍摄之前的预览图像、拍摄之后的确认图像、当检测焦点时的聚焦状态等。操作开关522包括电源开关、释放(拍摄触发器)开关、变焦操作开关、拍摄模式选择开关等。记录介质524旨在记录拍摄的图像等，并且可以是嵌入在成像系统中的记录介质，也可以是诸如存储卡的可拆卸记录介质。
通过如此形成应用了根据第一实施例至第四实施例中的任一个的光电转换设备10(光电转换设备)的成像系统500，能够实现高性能的成像系统。
<第七实施例>
参照图11A和图11B，将描述根据本发明第七实施例的成像系统和移动物体。图11A和图11B是各个例示根据第七实施例的成像系统和移动物体的构造的图。
图11A例示了与车载相机相关的成像系统600的示例。成像系统600包括光电转换设备610。光电转换设备610是以上在第一实施例和第二实施例中描述的成像设备10(光电转换设备)的任一个。成像系统600包括成像处理单元612，成像处理单元612用作对由光电转换设备610获取的多个图像数据集进行图像处理的处理设备。成像系统600包括视差获取单元614，视差获取单元614用作从由光电转换设备610获取的多个图像数据集中进行视差(视差图像之间的相位差)计算的处理设备。成像系统600还包括距离获取单元616，距离获取单元616用作基于所计算的视差来计算与要成像的被摄体的距离的处理设备，以及碰撞确定单元618，碰撞确定单元618用作基于所计算的距离确定是否存在碰撞可能性的处理设备。这里提及视差获取单元614和距离获取单元616中的各个是信息获取部的示例，信息获取部获取诸如各个表示与被摄体的距离的距离信息集的信息。换句话说，距离信息集是与视差、散焦量、与被摄体的距离等有关的信息集。碰撞确定单元618还可以通过使用距离信息集的任一个来确定碰撞可能性。以上描述的各种处理设备中的各个可以通过为专门设计的硬件实施或者可以通过基于软件模块进行算术操作的通用硬件而实施。处理设备中的各个还可以由现场可编程门阵列(FPGA)、专用集成电路(ASIC)等来实施。作为另选，处理设备还可以通过其组合来实施。
将成像系统600连接至能够获取诸如车速、偏航率和转向角的车载信息的车载信息获取设备620。还将成像系统600连接至控制ECU 630，控制ECU 630用作基于碰撞确定单元618的确定结果，输出用于生成车辆的制动力的控制信号的控制设备。换句话说，控制ECU630是基于距离信息集控制移动物体的移动物体控制部的示例。还将成像系统600连接至基于碰撞确定单元618的确定结果生成至驾驶员的警报的报警设备640。例如，当碰撞确定单元618的确定结果是碰撞的可能性高时，控制ECU 630进行车辆控制以通过制动、松开油门踏板或者降低发动机输出来避免碰撞或降低损坏。报警设备640通过生成诸如声音警报、在车载导航系统等的画面上显示警报信息、向安全带或方向盘施加振动等来警告用户。
在第七实施例中，成像系统600对车辆周围的场景，例如车辆前方或者后方的场景，进行成像。图11B示出了当车辆(成像范围650)前方的场景被成像时的成像系统600。车载信息获取设备620发送使成像系统600操作和进行成像的指令。通过将根据以上第一实施例至第四实施例中的任一个描述的光电转换设备10(光电转换设备)用作光电转换设备610，使得第七实施例中的成像系统600能够改善距离测量精度。
前面已经描述成像系统控制主车辆以避免与其他车辆碰撞的示例。然而，成像系统还适用于对主车辆跟随其他车辆进行自动驾驶来进行控制，对自动驾驶主车辆以免偏离车道进行控制等。另外，成像系统的应用不限于诸如汽车的车辆。例如，成像系统还适用于移动物体(运输设备)，诸如例如船、飞机、工业机器人等。移动物体(运输设备)中的移动设备是各种移动部，诸如发动机、电动机、车轮和螺旋桨。此外，成像系统的应用不限于移动物体，并且成像系统还广泛应用于使用物体识别的设备，例如智能运输系统(ITS)。
本发明的技术可以提供更适当地降低噪声的光电转换设备。
<其他实施例>
还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD))、闪存设备以及存储卡等中的一个或更多个。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (15)

1.一种光电转换设备，所述光电转换设备包括：
各自以多行和多列排列的多个有效像素和多个光屏蔽像素；
多个竖直输出线；以及
信号处理电路，其中
在第一时段将像素信号从作为多个光屏蔽像素中的第一行光屏蔽像素的第一光屏蔽像素输出至多个竖直输出线当中的第一竖直输出线，和在第二时段将像素信号从作为多个光屏蔽像素当中的第二行光屏蔽像素的第二光屏蔽像素输出至多个竖直输出线当中的第二竖直输出线，所述第一时段的至少一部分和所述第二时段的至少一部分彼此交叠，以及
信号处理电路通过使用对来自第一光屏蔽像素的像素信号和对来自第二光屏蔽像素的像素信号进行过滤处理而获得的校正信号，来校正从有效像素输出的有效像素信号。
2.根据权利要求1所述的光电转换设备，其中，信号处理电路：
基于从第一光屏蔽像素输出的像素信号而获得的第一校正信号和基于从第二光屏蔽像素输出的像素信号而获得的第二校正信号进行计算；以及
通过使用对第一校正信号和第二校正信号进行过滤处理而获得的校正信号进行有效像素信号的校正。
3.根据权利要求1所述的光电转换设备，其中，信号处理电路从各个有效像素信号中减去对来自第一光屏蔽像素的像素信号和对来自第二光屏蔽像素的像素信号进行过滤处理而获得的校正信号，由此校正有效像素信号。
4.根据权利要求1所述的光电转换设备，其中，信号处理电路还通过使用对来自多个光屏蔽像素的像素信号进行过滤处理而获得的校正信号，来校正输出至第一竖直输出线的有效像素信号。
5.根据权利要求4所述的光电转换设备，其中，将输出至第一竖直输出线的多个像素信号的各个进一步划分为多个信道并且输出至信号处理电路，以及
信号处理电路通过使用对来自一个信道中的多个光屏蔽像素的像素信号进行过滤处理而获得的校正信号，校正一个信道中的有效像素信号。
6.根据权利要求5所述的光电转换设备，其中，所述信号处理电路通过使用第一合成值校正信道中的有效像素信号，所述第一合成值是通过对来自信道中的多个光屏蔽像素的像素信号进行过滤处理而获得的校正信号进行加权以及通过对来自信道中的多个光屏蔽像素的像素信号进行过滤处理而先前获得的校正信号进行加权来获得。
7.根据权利要求6所述的光电转换设备，其中，信号处理电路通过使用第二合成值校正信道中的有效像素信号，第二合成值通过加权第三校正信号和加权先前获得的第三校正信号而获得，第三校正信号是通过从对来自信道中的多个光屏蔽像素的像素信号进行过滤处理而获得的校正信号中减去第一合成值来获得。
8.根据权利要求7所述的光电转换设备，其中，在计算第一合成值之前，信号处理电路从通过对信道中的多个光屏蔽像素的像素信号进行过滤处理而获得的校正信号中减去先前获得的第二合成值。
9.根据权利要求1所述的光电转换设备，其中，所述光电转换设备进一步包括列读取电路，所述列读取电路包括要用于存储像素信号的存储器，其中，
在从第一竖直输出线中读取第一行像素的像素信号期间，列读取电路从第二竖直输出线中读取第二行像素的像素信号，并且在将第一行像素的像素信号存储在存储器期间，列读取电路将第二行像素的像素信号存储在存储器中。
10.根据权利要求9所述的光电转换设备，其中，列读取电路对来自第一行像素和第二行像素的像素信号进行信号放大或者AD转换处理，然后将已经经过信号放大或者AD转换处理的像素信号存储在存储器中。
11.一种光电转换设备，所述光电转换设备包括：
各自以多行和多列排列的多个有效像素和多个光屏蔽像素；
多个竖直输出线；以及
信号处理电路，
其中，在将像素信号从作为多个光屏蔽像素中的第一行光屏蔽像素的第一光屏蔽像素输出至多个竖直输出线当中的第一竖直输出线期间，将像素信号从作为多个光屏蔽像素当中的第二行光屏蔽像素的第二光屏蔽像素输出至多个竖直输出线当中的第二竖直输出线，以及
其中，信号处理电路通过使用对来自第一光屏蔽像素的像素信号和对来自第二光屏蔽像素的像素信号进行过滤处理而获得的校正信号，来校正从有效像素输出的有效像素信号，
其中，所述信号处理电路通过使用第一合成值校正信道中的有效像素信号，所述第一合成值是通过对来自信道中的多个光屏蔽像素的像素信号进行过滤处理而获得的校正信号进行加权以及通过对来自信道中的多个光屏蔽像素的像素信号进行过滤处理而先前获得的校正信号进行加权来获得。
12.根据权利要求11所述的光电转换设备，其中，信号处理电路还通过使用对来自多个光屏蔽像素的像素信号进行过滤处理而获得的校正信号，来校正输出至第一竖直输出线的有效像素信号。
13.根据权利要求12所述的光电转换设备，其中，
将输出至第一竖直输出线的多个像素信号的各个进一步划分为多个信道并且输出至信号处理电路，以及
信号处理电路通过使用对来自一个信道中的多个光屏蔽像素的像素信号进行过滤处理而获得的校正信号，来校正一个信道中的有效像素信号。
14.一种成像系统，所述成像系统包括：
根据权利要求1至权利要求13中的任一项所述的光电转换设备；以及
处理从光电转换设备输出的信号的处理设备。
15.一种移动物体，所述移动物体包括：
根据权利要求1至权利要求13中的任一项所述的光电转换设备；移动设备；
从光电转换设备输出的信号中获取信息的处理设备；以及
基于所述信息控制移动设备的控制设备。
CN202110340430.8A 2020-04-01 2021-03-30 光电转换设备、成像系统和移动物体 Active CN113497905B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020066197 2020-04-01
JP2020-066197 2020-04-01
JP2021002274A JP7225271B2 (ja) 2020-04-01 2021-01-08 光電変換装置、撮像システム、移動体
JP2021-002274 2021-01-08

Publications (2)

Publication Number Publication Date
CN113497905A CN113497905A (zh) 2021-10-12
CN113497905B true CN113497905B (zh) 2024-03-12

Family

ID=77922307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110340430.8A Active CN113497905B (zh) 2020-04-01 2021-03-30 光电转换设备、成像系统和移动物体

Country Status (2)

Country Link
US (1) US11641530B2 (zh)
CN (1) CN113497905B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007180616A (ja) * 2005-12-26 2007-07-12 Canon Inc 撮像装置及び補正方法
CN101009776A (zh) * 2006-01-23 2007-08-01 精工爱普生株式会社 摄像元件及其装置、摄像方法、摄像系统及图像处理装置
JP2010093498A (ja) * 2008-10-07 2010-04-22 Olympus Corp 固体撮像装置
JP2010226632A (ja) * 2009-03-25 2010-10-07 Hitachi Kokusai Electric Inc 撮像方法および撮像装置
CN103311258A (zh) * 2012-03-08 2013-09-18 索尼公司 固态摄像设备和电子设备
CN104243778A (zh) * 2013-06-18 2014-12-24 佳能株式会社 摄像设备、摄像系统和信号处理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7423790B2 (en) 2004-03-18 2008-09-09 Canon Kabushiki Kaisha Photoelectric conversion apparatus and contact-type image sensor
JP5180537B2 (ja) 2007-08-24 2013-04-10 キヤノン株式会社 光電変換装置及びマルチチップイメージセンサ
JP2009171128A (ja) 2008-01-15 2009-07-30 Konica Minolta Opto Inc 固体撮像素子及びそれを用いた固体撮像装置
JP4500862B2 (ja) 2008-04-11 2010-07-14 キヤノン株式会社 固体撮像装置の駆動方法
JP4891308B2 (ja) 2008-12-17 2012-03-07 キヤノン株式会社 固体撮像装置及び固体撮像装置を用いた撮像システム
JP5511220B2 (ja) 2009-05-19 2014-06-04 キヤノン株式会社 固体撮像装置
JP5562172B2 (ja) 2010-08-10 2014-07-30 キヤノン株式会社 定電流回路及びそれを用いた固体撮像装置
JP2013106186A (ja) 2011-11-14 2013-05-30 Canon Inc 撮像装置
JP5979896B2 (ja) 2012-02-09 2016-08-31 キヤノン株式会社 固体撮像装置
JP6004685B2 (ja) 2012-03-19 2016-10-12 キヤノン株式会社 固体撮像装置及びその駆動方法
JP6051654B2 (ja) 2012-07-25 2016-12-27 株式会社リコー 画像読取装置、及び画像形成装置
JP6037170B2 (ja) * 2013-04-16 2016-11-30 ソニー株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
JP5886806B2 (ja) 2013-09-17 2016-03-16 キヤノン株式会社 固体撮像装置
JP6246004B2 (ja) 2014-01-30 2017-12-13 キヤノン株式会社 固体撮像装置
JP6412328B2 (ja) 2014-04-01 2018-10-24 キヤノン株式会社 固体撮像装置およびカメラ
JP6482186B2 (ja) 2014-05-23 2019-03-13 キヤノン株式会社 撮像装置及びその駆動方法
JP6351404B2 (ja) 2014-07-02 2018-07-04 キヤノン株式会社 撮像装置及び撮像システム
JP6480768B2 (ja) 2015-03-17 2019-03-13 キヤノン株式会社 固体撮像装置及びその駆動方法
JP6877203B2 (ja) 2017-03-24 2021-05-26 キヤノン株式会社 撮像装置および移動体
US10834354B2 (en) 2018-06-25 2020-11-10 Canon Kabushiki Kaisha Imaging device, imaging system, movable object, and signal processing device
JP7245014B2 (ja) 2018-09-10 2023-03-23 キヤノン株式会社 固体撮像装置、撮像システム、および固体撮像装置の駆動方法
JP7353752B2 (ja) 2018-12-06 2023-10-02 キヤノン株式会社 光電変換装置及び撮像システム
JP7258629B2 (ja) 2019-03-29 2023-04-17 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
JP7374639B2 (ja) 2019-07-19 2023-11-07 キヤノン株式会社 光電変換装置及び撮像システム
JP7303682B2 (ja) 2019-07-19 2023-07-05 キヤノン株式会社 光電変換装置及び撮像システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007180616A (ja) * 2005-12-26 2007-07-12 Canon Inc 撮像装置及び補正方法
CN101009776A (zh) * 2006-01-23 2007-08-01 精工爱普生株式会社 摄像元件及其装置、摄像方法、摄像系统及图像处理装置
JP2010093498A (ja) * 2008-10-07 2010-04-22 Olympus Corp 固体撮像装置
JP2010226632A (ja) * 2009-03-25 2010-10-07 Hitachi Kokusai Electric Inc 撮像方法および撮像装置
CN103311258A (zh) * 2012-03-08 2013-09-18 索尼公司 固态摄像设备和电子设备
CN104243778A (zh) * 2013-06-18 2014-12-24 佳能株式会社 摄像设备、摄像系统和信号处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种实时CIS暗电流校正方法及系统实现;孙权，姚素英，郑炜;光电子.激光;21-27 *

Also Published As

Publication number Publication date
US20210314508A1 (en) 2021-10-07
US11641530B2 (en) 2023-05-02
CN113497905A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
US10638066B2 (en) Imaging apparatus
US10110835B2 (en) Imaging apparatus, imaging system, and moving object
US20140267829A1 (en) Systems and Methods for Photmetric Normalization in Array Cameras
US10477131B2 (en) Imaging device, imaging system, and mobile object
JP2019110387A (ja) 撮像装置及びその駆動方法
US10979647B2 (en) Imaging device and imaging system
US11800253B2 (en) Imaging device and imaging system
US10979067B2 (en) Image pickup device, image pickup system, and moving apparatus
US11843010B2 (en) Imaging apparatus having switching drive modes, imaging system, and mobile object
CN111512627A (zh) 成像装置、成像系统以及成像装置的驱动方法
US10554913B2 (en) Solid-state imaging device, imaging system and movable object
US11418745B2 (en) Imaging apparatus, imaging system, movable object, and method for driving imaging apparatus
US11159754B2 (en) Imaging device and signal processing device
US20190068910A1 (en) Solid-state imaging device, imaging system, and moving body
CN113497905B (zh) 光电转换设备、成像系统和移动物体
US20210375975A1 (en) Photoelectric conversion device, photoelectric conversion system, moving body, and signal processing method
US10965896B2 (en) Photoelectric conversion device, moving body, and signal processing device
JP7225271B2 (ja) 光電変換装置、撮像システム、移動体
US11025849B2 (en) Photoelectric conversion apparatus, signal processing circuit, image capturing system, and moving object
US20220408036A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, transport apparatus, and signal processing apparatus
US20230179751A1 (en) Photoelectric conversion device, image processing method, imaging system, mobile body, and equipment
US20240098381A1 (en) Imaging device, imaging system, moving body, and instrument
JP2019153985A (ja) 撮像装置
CN116249025A (zh) 光电转换装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant