CN101345821B

CN101345821B - 摄像设备及其控制方法

Info

Publication number: CN101345821B
Application number: CN2008101323387A
Authority: CN
Inventors: 石田俊树
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-07-12
Filing date: 2008-07-11
Publication date: 2011-04-13
Anticipated expiration: 2028-07-11
Also published as: CN101345821A; US8553107B2; US20090015696A1; US7999864B2; JP2009021878A; JP4958666B2; US20110261235A1; EP2015564B1; EP2015564A1

Abstract

本发明涉及一种摄像设备及其控制方法。所述摄像设备包括：多个光电转换单元，用于输出通过执行光电转换所获得的图像信号和噪声信号；箝位单元，用于在所述噪声信号超过预设箝位电平时，将噪声信号箝位到箝位电平；控制单元，用于基于从所述多个光电转换单元读取的信号，计算箝位电平，并向所述箝位单元设置所计算出的所述箝位电平，作为所述预设箝位电平；以及差分单元，用于执行从自所述多个光电转换单元读取的图像信号减去自所述光电转换单元读取的并由所述箝位单元进行了箝位的噪声信号的差分处理。

Description

摄像设备及其控制方法

技术领域

本发明涉及一种对由光电转换获得的图像信号进行处理的摄像设备及其控制方法。

背景技术

近年来，由于互补金属氧化物半导体(CMOS)传感器具有低的电功耗，示出了与电荷耦合器件(CCD)同等的高信噪比(SN比)，并且可以由与光电转换单元相同的半导体处理制造其信号处理电路，因此该互补金属氧化物半导体传感器已经引起了广泛的注意。

图9是示出包含多个像素的传统CMOS传感器中的用于一个像素的信号的读出路径以及用于处理读出信号的结构的图。当CMOS传感器的曝光开始时，首先接通开关SW1，并且在放大器510的输入部中对在主要包括浮动扩散单元(FD)502的区域中累积的电荷进行复位。然后，在断开SW1之后，将FD 502的电荷读出到电容CN(噪声信号)。接着，接通开关SW2以将累积在光电二极管(PD)501中的由光电转换获得的电荷传送到FD502，并将电荷读出到电容CS(图像信号)。通过相关双采样(CDS)电路504对保持在电容CS中的图像信号和保持在电容CN中的噪声信号进行差分。因此，可以输出去除了噪声成分的图像信号。图像信号进一步通过模拟-数字(A/D)转换器505转换为数字信号，并通过信号处理电路506进行信号处理。

在具有上述结构的CMOS传感器中，已知出现了被称之为高亮度暗色(high-brightness darkening)的现象。该高亮度暗色是这样一种现象：在极大量的光进入时，输出信号突然消失，并且光所照射的区域变黑，好像没有光进入一样。

考虑到由在极大量的光入射在像素PD 501上时不能由PD501保持的且流入FD 502的电荷引起该高亮度暗色。因此，如果电荷流入FD 502，则读出的噪声信号迅速变大，从而降低了图像信号和噪声信号之间的差分(输出信号)。

在日本特开2000-287131中，为了缓解高亮度暗色，通过将噪声信号与阈值进行比较来检测噪声信号的快速升高。因此，可以将噪声信号箝位(clip)于固定值。

然而，尽管对噪声信号进行了箝位，然而如果在用于判断暗色的阈值中或在箝位后的信号的电平中出现误差，则可能仍有暗色。以下将说明这一点。

图10A～10E示出了当在图9中所示的CMOS传感器的路径中的各点对诸如太阳等的高亮度被摄体进行拍摄时由CMOS传感器在一行扫描中所获得的图像信号的变化。

图10A是示出在拍摄像太阳这样的高亮度被摄体时在CMOS传感器的各像素上累积的电荷量的示意图。图10B是示出在图9中的点P1处的一行噪声信号N和图像信号S的图。垂直轴表示信号电平，水平轴表示水平方向上的像素位置。在图像信号S中，PD 501中由光电转换获得的电荷量(入射电平)超过饱和电平。因此，饱和电平将连续。当入射电平达到了进一步超过饱和电平的过饱和电平时，电荷从PD 501向FD 502泄漏。因此，噪声信号N的值变得大于周围值。如果照原样将噪声信号N输入到CDS电路504并且执行噪声信号N和图像信号S之间的差分处理(S-N)，则与周围值相比较，极大降低了超过过饱和电平的像素的输出电平。

另一方面，如果设置箝位电路503以在噪声信号N超过阈值(箝位电平)时将噪声电平箝位到阈值(图10C)，则可以缓解过饱和区域中的电平的降低(图10D)。

如果将阈值设置得低，则可以消除暗色，然而，很有可能甚至对正常噪声成分也可能进行箝位，这导致了图像质量的劣化。相反地，如果将阈值设置得高，则存在不能抑制暗色的可能性。图10C和10D示出了当通过在点P2和P3处分别设置阈值而没有完全消除暗色时CDS电路504的输入和输出。为了消除各像素的饱和电平的不均衡，A/D转换器505还将信号箝位到预定电平的上限(图10E)。这里，如果还降低要箝位的范围，则可以消除暗色的影响。然而，这引起了图像质量的劣化。结果，关于A/D转换器505的输出，可能在饱和电平的像素区域内生成电平比饱和电平低的像素区域。例如，当拍摄太阳时，太阳中心的电平可能比太阳外围的电平低。

此外，当噪声信号的电平根据电压和温度等的环境变化而波动时，如果仅设置一个箝位电平，并且总是将其应用于信号，则不能防止S/N比的劣化。

发明内容

本发明涉及一种可以根据拍摄情况设置更多适当的箝位电平的摄像设备及其控制方法。

在本发明的第一方面，提供一种摄像设备，包括：多个光电转换单元，各自用于输出图像信号和噪声信号；驱动部件，用于执行用于从所述多个光电转换单元的每一个读取噪声信号的第一读取驱动以及用于在执行所述第一读取驱动之后从所述多个光电转换单元的每一个读取噪声信号和相应的图像信号的第二读取驱动；箝位电平控制部件，用于从由所述第一读取驱动获得的所述噪声信号中检测噪声电平的最大值，计算主图像中所述噪声电平的所述最大值的估计值，并基于所估计出的最大值确定箝位电平；箝位部件，用于如果所述噪声信号超过所述箝位电平，则将所述噪声信号箝位到所述箝位电平；以及处理部件，用于从由所述第二读取驱动获得的图像信号减去由所述箝位部件进行了箝位的所述噪声信号。

在本发明的第二方面中，提供一种控制摄像设备的方法，所述摄像设备具有用于输出图像信号和噪声信号的多个光电转换单元以及用于在所述噪声信号超过箝位电平时将所述噪声信号箝位到所述箝位电平的箝位部件，所述方法包括以下步骤：执行用于从所述多个光电转换单元的每一个读取噪声信号的第一读取驱动；在执行所述第一读取驱动之后，执行用于从所述多个光电转换单元的每一个读取噪声信号和相应的图像信号的第二读取驱动；从由所述第一读取驱动获得的所述噪声信号中检测噪声电平的最大值；计算主图像中所述噪声电平的所述最大值的估计值；基于所估计出的最大值确定所述箝位电平；从由所述第二读取驱动获得的图像信号减去由所述箝位部件进行了箝位的所述噪声信号。

以下通过结合附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。

附图说明

包括在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并与说明书一起，用来解释本发明的原理。

图1是示出根据本发明第一典型实施例的摄像设备的结构的框图。

图2是示出根据第一典型实施例的摄像处理的流程图。

图3是示出根据第一典型实施例从预备图像获得箝位电平的处理的图。

图4是示出根据第一典型实施例的主图像的信号成分和箝位后的噪声成分的电平的图。

图5是示出根据本发明第二典型实施例的摄像设备的结构的框图。

图6是示出根据第二典型实施例的摄像处理的流程图。

图7是示出根据第二典型实施例从第一预备图像对不包括噪声电平分析的区域进行检测的处理的图。

图8是示出根据第二典型实施例从第二预备图像获得箝位电平的处理的图。

图9是示出传统CMOS传感器的一个像素和信号处理单元的结构的框图。

图10中的A～E是示出当出现暗色时在各处理步骤进行的传统像素电平的变化的图。

具体实施方式

以下将参考附图详细说明本发明的不同典型实施例、特征和方面。

第一典型实施例

图1是示出根据本发明第一典型实施例的CMOS传感器(图像传感器)的一个像素的结构以及具有光学系统和信号处理单元的摄像设备的结构的框图。

光通过透镜101入射。通过光圈102调整入射光量，并且在CMOS传感器105上形成图像。光圈驱动电路104控制光圈102。光圈驱动电路104通过光圈驱动马达103驱动光圈102。CMOS传感器驱动电路110对CMOS传感器105的电荷累积操作、读取操作以及复位操作进行控制。CMOS传感器驱动电路110可以驱动CMOS传感器105来以高速执行帧读取。CMOS传感器驱动电路110可以以视频记录速率读取多个所拍摄的图像。中央处理单元(CPU)106对光圈驱动电路104、CMOS传感器驱动电路110以及参数控制单元109进行控制。

CMOS传感器105主要包括多个像素和读取电路。然而，在图1中，将通过关注于一个像素的传送路径来说明CMOS传感器 105。

首先，在拍摄稍后将要说明的主图像时(在第二读取驱动期间)，在CMOS传感器105的曝光开始之后，首先接通开关SW1。因此，在放大器10的输入单元中对除了累积在主要包括浮动扩散单元(FD)2的光电二极管(PD)1的内部电容中的电荷以外的累积电荷(噪声信号)进行复位。然后，在断开开关SW1之后，将FD2的电荷读出到电容CN。此时，在通过箝位电路3对噪声信号进行箝位处理之后，将该噪声信号读出到电容CN。接着，接通开关SW2，并且电荷(图像信号)通过PD1进行光电转换，并累积在PD1的内部电容中。将所累积的电荷传送到FD2并读出到电容CS。

对每个像素执行该读出操作。将读出到电容CN的噪声信号和读出到电容CS的图像信号顺次输入到相关双采样(CDS)电路107。CDS电路107求输入图像信号和噪声信号之间的差分，以输出去除了噪声成分的信号(差分信号)。通过A/D转换器108将从CDS电路107输出的差分信号(模拟信号)进一步转换为数字图像数据，并对该差分信号进行为了抑制各像素的饱和电平的不均衡而限制上限值的箝位处理。

将由A/D转换器108处理的数字图像数据输出到信号处理单元114，并对该数字图像数据进行信号处理。

另一方面，在拍摄稍后将要说明的预备图像时(在第一读取驱动期间)，将读出到电容CN的噪声信号传输到噪声分析单元111。然后，根据噪声分析单元111的噪声分析结果，在CPU 106的控制下，参数控制单元109向箝位电路3设置阈值箝位电平。

接着，将参考图2中的流程图说明具有上述结构的摄像设备的操作。

在第一典型实施例中，拍摄用于设置箝位电路3中的阈值箝位电平的预备图像(第一读取驱动)和用于拍摄记录目标图像的主图像(第二读取驱动)。

首先，在步骤S11，CPU 106开始拍摄预备图像(第一读取驱动)。在步骤S12，CPU 106控制参数控制单元109以向箝位电路3设置箝位电平的初始值。CPU 106将充分大的值设置为初始值，从而当读取预备图像时不进行箝位。

接着，在步骤S13，CPU 106驱动CMOS传感器105。在预设电荷累积时间过去之后，CPU 106仅将作为预备图像的噪声信号N读出到电容CN，并将所读出的信号N输入到噪声分析单元111。图3是示出通过在水平方向上扫描CMOS传感器105所读取的一行噪声信号N的电平的变化的放大图。在拍摄预备图像时，CPU 106设置短的电荷累积时间，从而电荷没有泄漏到FD2。因此，根据本实施例，可以获得没有受暗色影响的噪声信号N。

如图3所示，在步骤S14，噪声分析单元111从所读出的噪声信号N检测噪声电平的最大值。然后，在步骤S15，噪声分析单元111对所检测出的噪声电平的最大值和随后将执行的拍摄主图像时使用的电荷累积时间之间的差分进行校正，并计算主图像(N’)中的噪声电平的最大值的估计值。图3还示出当对最大值和电荷累积时间之间的差分进行校正时估计出的在拍摄主图像时的一行噪声信号N’。噪声分析单元111基于所估计出的主图像中的噪声电平的最大值，确定在读取主图像时要使用的箝位电平。噪声分析单元111将要设置的阈值箝位电平输出到参数控制单元109。在步骤S16，参数控制单元109在开始读取主图像之前向箝位电路3设置阈值箝位电平。

接着，在步骤S21，CPU 106开始拍摄主图像(第二读取驱动)。在步骤S22，CPU 106驱动CMOS传感器105以在预设电荷累积时间过去之后分别将噪声信号Nm和图像信号Sm读出到电容CN和电容CS。此时，将噪声信号Nm箝位到由箝位电路3设置的箝位电平。

在步骤S23，将在步骤S22中读出到电容CN和电容CS的噪声信号Nm和图像信号Sm输入到CDS电路107，并且求它们的差分。因此，可以获得去除了噪声信号的图像信号(差分信号)。在步骤S24，通过A/D转换器108将从CDS电路107输出的差分信号转换为数字信号。在步骤S25，将数字信号输出到信号处理单元114，并对该数字信号进行信号处理，使其成为记录图像。

图4示出在步骤S22中读取的主图像的一行图像信号Sm和噪声信号Nm的电平的变化。在图4所示的示例中，由于主图像的图像信号Sm超过暗色电平，因此由箝位电路3对与超过暗色电平的区域相对应的噪声信号进行箝位。此时，基于预备图像的噪声信号的电平，应用在步骤S16中设置的阈值箝位电平。

对各记录帧或场执行图2所示的处理。即，对各记录帧或场多次驱动CMOS传感器105，以便读取预备图像和主图像，并且每次更新箝位电平。由于以这种方式进行驱动控制，因此可以根据电压和温度等的环境变化来设置更合适的阈值箝位电平。因此，可以防止S/N比的劣化。

第二典型实施例

图5是示出根据本发明第二典型实施例的摄像设备的整体结构的框图。在图5中，相同的附图标记附给第一典型实施例中的与参考图1的那些部分或组件相同的部分或组件，并且省略对其的说明。

第二典型实施例与第一典型实施例的不同之处在于：在基于预备图像确定用于拍摄主图像的阈值箝位电平时不仅使用噪声成分还使用图像信号成分。

参考图6中的流程图，将说明本第二典型实施例中的摄像设备的操作。

首先，在步骤S101，CPU 106开始拍摄第一预备图像(第一读取驱动)。在步骤S102，CPU 106控制参数控制单元109，以向箝位电路3设置箝位电平的初始值。将充分大的值设置为初始值，从而当读取第一预备图像时不对信号进行箝位。

接着，在步骤S103，CPU 106驱动CMOS传感器105，在预设电荷累积时间过去之后仅将作为第一预备图像的图像信号成分读出到电容CS，并将所读取的成分输入到噪声分析单元111。在拍摄第一预备图像时，CPU 106控制电荷累积时间，从而使累积时间变为等于在拍摄主图像时的累积时间。作为第一预备图像的一个示例，图7示出了通过在水平方向上扫描CMOS传感器105读出的一行图像信号Sp的电平的变化。超过饱和电平的区域可能进一步达到高亮度区域的暗色电平，并且噪声信号的电平可能增大。在步骤S104，噪声分析单元111从图7中示出的图像信号成分检测饱和区域，并将该饱和区域设置为不包括噪声电平分析的区域。

接着，在步骤S111，CPU 106开始拍摄第二预备图像(第二读取驱动)。CPU 106驱动CMOS传感器105，以仅将噪声信号Np读出到电容CN作为第二预备图像。然后，在步骤S112，CPU 106将读取的噪声信号Np输入到噪声分析单元111。在拍摄第二预备图像时，CPU 106还控制电荷累积时间，从而使累积时间变为等于在拍摄主图像时的累积时间。此外，由于在步骤S102中初始化箝位电路3的箝位电平，因此没有对噪声信号Np进行箝位。作为第二预备图像的一个示例，图8示出了通过在水平方向上扫描CMOS传感器105读取的一行噪声成分Np的电平的变化。

在步骤S113，噪声分析单元111在读取的噪声信号Np中检测从在步骤S104中检测出的不包括噪声电平分析的区域之外的区域输出的噪声信号Np的最大值。然后，噪声分析单元111将检测出的噪声电平的最大值确定为在读取主图像时使用的箝位电平，并将要设置的箝位电平输出到参数控制单元109。在步骤S114，参数控制单元109在开始读取主图像之前向箝位电路3设置箝位电平。

接着，CPU 106执行主图像的拍摄(第三读取驱动)。然而，由于这里所执行的处理与在图2中步骤S21～S25中执行的处理相同，因此分配相同的附图标记，并省略对其的说明。

对各记录帧或场执行图6中所示的处理。即，对各记录帧或场多次驱动CMOS传感器105，以便读取第一预备图像、第二预备图像以及主图像，并每次更新箝位电平。

如上所述，根据第二典型实施例，可以根据电压或温度等的环境变化来设置更合适的箝位电平。因此，可以防止S/N比的劣化。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims

1.一种摄像设备，包括：

多个光电转换单元，各自用于输出图像信号和噪声信号；

驱动部件，用于执行用于从所述多个光电转换单元的每一个读取噪声信号的第一读取驱动以及用于在执行所述第一读取驱动之后从所述多个光电转换单元的每一个读取噪声信号和相应的图像信号的第二读取驱动；

箝位电平控制部件，用于从由所述第一读取驱动获得的所述噪声信号中检测噪声电平的最大值，计算主图像中所述噪声电平的所述最大值的估计值，并基于所估计出的最大值确定箝位电平；

箝位部件，用于如果所述噪声信号超过所述箝位电平，则将所述噪声信号箝位到所述箝位电平；以及

处理部件，用于从由所述第二读取驱动获得的图像信号减去由所述箝位部件进行了箝位的所述噪声信号。

2.根据权利要求1所述的摄像设备，其特征在于，在所述第一读取驱动期间的所述多个光电转换单元中的电荷累积时间短于在所述第二读取驱动期间的电荷累积时间，以及

其中，所述箝位电平控制部件用于基于在所述第一读取驱动和所述第二读取驱动期间的电荷累积时间的差别，来设置所述箝位电平。

3.一种控制摄像设备的方法，所述摄像设备具有用于输出图像信号和噪声信号的多个光电转换单元以及用于在所述噪声信号超过箝位电平时将所述噪声信号箝位到所述箝位电平的箝位部件，所述方法包括以下步骤：

执行用于从所述多个光电转换单元的每一个读取噪声信号的第一读取驱动；

在执行所述第一读取驱动之后，执行用于从所述多个光电转换单元的每一个读取噪声信号和相应的图像信号的第二读取驱动；

从由所述第一读取驱动获得的所述噪声信号中检测噪声电平的最大值；

计算主图像中所述噪声电平的所述最大值的估计值；

基于所估计出的最大值确定所述箝位电平；

从由所述第二读取驱动获得的图像信号减去由所述箝位部件进行了箝位的所述噪声信号。