CN101202831A - 捕获图像数据的改进方法 - Google Patents

Abstract

本发明涉及减小图像传感器中的拖影效应的方法。首先，从第一被掩盖元件集合接收一第一电荷水平值，从第二被掩盖元件集合接收一第二电荷水平值。第二，比较第一电荷水平值和第二电荷水平值。第三，如果由所述第一电荷水平值和所述第二电荷水平值之间的所述比较产生的差值超出预定的区间，则调节相机的设置。

Description

捕获图像数据的改进方法

技术领域

本发明一般地涉及用于减小图像传感器中拖影(smear)效应的方法以及模块和相机。

背景技术

现代相机包括诸如CCD传感器的图像传感器，概括地说，图像传感器将入射光变换为电信号。为了从这样的相机提供尽可能好的图像数据，对具有多个相机控制功能很感兴趣。简单地说，这些功能适合于检测非理想情况，并通过改变相机的设置纠正这些非理想情况。

一个非理想情况的例子是极强的光入射到图像传感器的情况。如果没有恰当的工作控制功能，则该极强的光可能导致称作拖影的现象。受到拖影影响的图像数据包括与该图像数据中出现极强光的点相交的条纹。

已开发了多个减弱拖影效应的解决方案。例如，一种解决方案建议将电荷快速地输出，这在具有高分辨率即包括很多光敏元件的相机中是一个问题。另一解决方案建议在输出图像传感器所生成的电荷的过程中关闭光圈，这在具有高帧率的相机中也有困难。

发明内容

由于以上原因，本发明的一个目的是解决或至少减少以上所讨论的问题。具体地，一个目的是提供减少拖影效应的有效方法。

在本文中“行”和“列”的意思应分别被开放地解释为沿第一方向并行放置的元件和沿第二方向并行放置的元件。

进一步地，“水平的”和“垂直的”的措词也应开放性地解释为第一方向和第二方向，其中第二方向垂直于第一方向。

依据本发明的第一方面，通过一种减小图像传感器中拖影效应的方法来提供以上目的，该方法包括：

从第一被掩盖元件集合接收一第一电荷水平值，

从第二被掩盖元件集合接收一第二电荷水平值，

比较所述第一电荷水平值和所述第二电荷水平值，以及

如果由所述第一电荷水平值和所述第二电荷水平值之间的所述比较产生的差值超出预定的区间，则调节相机设置。

该方法的优点在于，可用于确定噪声量和用于确定暗参考电平的被掩盖元件，还可用于确定在图像数据中是否存在拖影。

第一被掩盖元件集合可以位于所述图像传感器的第一边界区域中，且第二被掩盖元件集合可以位于所述图像传感器的第二边界区域中。

第一集合可以包括一拖影不敏感参考阵列中的至少一个元件，第二集合可以包括一拖影敏感阵列中的至少一个元件。

在本发明的场合中，认为图像传感器包括两种类型的光敏元件阵列：拖影不敏感参考阵列和拖影敏感阵列。

拖影不敏感参考阵列多个被掩盖光敏元件，其中光敏元件配置为生成电荷，并从拖影不敏感参数阵列顺序地输出这些电荷。

拖影敏感阵列包括多个光敏元件，其中光敏元件配置为生成电荷，并从拖影敏感阵列顺序地输出这些电荷，光敏元件中至少一个光敏元件是未被掩盖光敏元件。

具有包括拖影不敏感参考阵列中至少一个元件的第一集合和包括拖影敏感阵列中至少一个元件的第二集合的优点是：在第一集合中不存在拖影，这意味着如果有差值，在第二集合中就存在拖影。

第一元件集合和第二元件集合可以是分离的。

进一步地，第一元件集合可以包括从若干左上角元件、若干右上角元件、若干左下角元件和若干右下角元件中选择的至少一个元件。

角上的元件是这样识别的：通过角上的元件所在的行包括被掩盖元件，且角上的元件所在的列包括被掩盖元件。正因为如此，角上的元件受光泄漏的影响比其它被掩盖边界元件要小，这意味着角上的元件合适作为第一元件集合。

进一步地，第一集合可大于第二集合。

其优点是大的第一集合对单个元件的依赖性小，这意味着噪声的影响得到了减少。

图像传感器可以是CCD传感器。

调节所述相机设置可包括调节入射到所述图像传感器的光量。

通过减少入射到所述图像传感器的光量，可见拖影的风险得到了降低，这是一个优点。

调节入射到所述图像传感器的光可以通过调节镜头光圈完成。

调节所述相机设置可以包括调节曝光时间设置。

调节所述相机设置可以包括调节增益设置。

第一被掩盖元件集合还可以用于获得参考暗电平。

依据本发明第二方面，通过一种减小图像传感器中拖影效应的拖影减少模块来提供以上目的，该拖影减少模块包括：

第一电荷水平值接收器，配置为从第一被掩盖元件集合接收一第一电荷水平值，

第二电荷水平值接收器，配置为从第二被掩盖元件集合接收一第二电荷水平值，

比较器，配置为比较所述第一电荷水平值和所述第二电荷水平值，以及

相机设置控制器，配置为如果由所述第一电荷水平值和所述第二电荷水平值之间的所述比较产生的差值超出预定的区间，则调节相机设置。

第一方面的优点也适合于该第二方面。

第一被掩盖元件集合可以位于所述图像传感器的第一边界区域中，第二被掩盖元件集合可以位于所述图像传感器的第二边界区域中。

第一集合可以包括拖影不敏感参考阵列的至少一个元件，第二集合可以包括拖影敏感阵列的至少一个元件。

第一元件集合和第二元件集合可以是分离的。

进一步地，第一元件集合可以包括从若干左上角元件、若干右上角元件、若干左下角元件和若干右下角元件中选择的至少一个元件。

第一集合元件可以大于所述第二元件集合。

图像传感器可以是CCD传感器。

所述相机设置的调节可以包括调节入射到所述图像传感器的光量。

调节入射到所述图像传感器的光可以通过设置镜头光圈完成。

调节所述相机设置可以包括调节曝光时间设置。

调节所述相机设置可以包括调节增益设置。

第一被掩盖元件集合还可以用于获取参考暗电平。

依据第三方面，通过相机提供以上目的，该相机包括：

图像传感器，

相机控制器，

如第二方面所述的拖影减小模块，

光屏蔽装置，配置为改变入射到所述图像传感器的光量，

其中拖影控制数据从所述拖影减小模块传输到所述相机控制器，且控制数据从所述相机控制器传输到所述光屏蔽器件。

图像传感器可以是CCD传感器。

依据本第四方面，通过计算机程序提供以上目的，该计算机程序被布置为，当下载到处理器并在处理器中执行时，执行依据第一方面的方法。

从所附权利要求和附图，本发明的其它目的、特征和优点将从以下详细的公开中表现出来。

通常，权利要求中使用的所有术语应当依据本技术领域的普通含义进行解释，除非在此另外进行明确的定义。所有对“元件、器件、组件、手段、步骤等”的称谓应当被开放性地解释为意指所述元件、器件、组件、手段、步骤等的至少一个实例，除非另外明确地声明。在此公开的任意方法的步骤不一定必需以所公开的准确顺序执行，除非明确地声明。

附图说明

通过以下参考附图对本发明优选实施例进行的说明性而非限制性的详细描述，本发明以上所述的及附加的目的、特征和优点将更容易理解，在附图中相同的附图标记用于类似的元件，其中：

图1示出CCD传感器的一般结构。

图2一般性地示出CCD传感器矩阵的示例。

图3一般性地示出图2的示例性传感器矩阵的横截面图。

图4一般性地示出包括被掩盖元件和未被掩盖元件的传感器矩阵中的拖影效应。

图5一般性地示出包括被掩盖元件和未被掩盖元件的传感器矩阵的第一实施例。

图6一般性地示出传感器矩阵的第二实施例。

图7a示出在存在可见拖影情况下的拖影列值和拖影参考值。

图7b示出在不存在可见拖影情况下的拖影列值和拖影参考值。

图8示出减小由CCD传感器生成的图像数据中拖影量的一般原理。

图9一般性地示出在针对不同镜头光圈尺寸的图像数据中可见拖影和衍射的发生。

图10示出依据本发明的方法。

图11示出依据本发明的拖影减小模块。

图12示出依据本发明的相机。

具体实施方式

图1示出CCD传感器100的一般结构。更具体地，依据图1的CCD传感器100是面传感器(area sensor)，这意味着多个光敏元件阵列102a-102n并行放置，从而构成传感器矩阵的n列。

光敏元件102a-102n的元件之上的入射光引起电荷产生。这些电荷从光敏元件传输到被掩盖的垂直传送寄存器106a-106n。

接着，来自所有垂直寄存器106a-106n的电荷依次传输到水平传送寄存器110。之后，电荷依次传输到放大器114，在这里对电荷进行放大，并作为图像数据从CCD传感器100输出。

尽管光敏元件被设计为吸收入射光，但是当光入射到光敏元件时，称作拖影的效应也可能会发生。更具体地，当光敏元件上的光产生可扩散到被掩盖传送寄存器106a-106n的电荷时，出现拖影。或者，光可以反射或折射进被掩盖传送寄存器106a-106n。当从垂直传送寄存器106a-106n传输由光敏元件102a-102n生成的电荷时，额外的电子影响光敏元件102a-102n的结果。由于CCD读出的特性，拖影影响运动摄相机中的整列。这种效应通常会随着光强而增加。

所以，受到可见拖影影响的图像数据具有贯穿强光点的垂直条纹，强光点例如光源或光源在例如金属板的闪亮物体上的反射。如果所有列都被影响的话，拖影还会影响整个图像。

图2一般性地示出CCD传感器矩阵200的例子。为了示意性的目的，示例性传感器矩阵200仅包括九行和九列光敏元件。

在该例中，并且一般地在现今的大多数CCD传感器中，对传感器矩阵200的最上一行、最下一行、最左一列和最右一列进行覆盖，以避免光入射到这些元件上，此后这些元件称作被掩盖元件202。传感器矩阵200的其它元件称作未被掩盖元件204。

为了覆盖这些被掩盖元件，可以使用金属涂层。然而，其它不透明的材料，例如黑色塑料也可以使用。

从被掩盖元件读出的值可以用作参考值，例如用于确定图像数据的暗电平(black level)，用于确定噪声的数量，或用于确定出现在图像数据中的拖影的数量，这将以下面的图中进一步说明。

可以使用金属涂层覆盖多行或多列。覆盖多行及多列的优点是使到达外围行和列的光泄漏较少，从而能获得更好的参考值。

并不一定要把两端的列即最左面和最右面的列都覆盖，也不一定要把两端的行即最上面和最下面的行都覆盖，尽管在图2示出了它们是被覆盖的。

图3一般性地示出依据图2的示例性传感器矩阵300的横截面图，其中传感器矩阵300包括被掩盖元件302a-302b，和未被掩盖元件304a-304g，以及由涂层表示的覆盖物306a-306b。

图4一般性地示出在包括未被掩盖元件404和以斜阴影表示的被掩盖元件402的传感器矩阵400中的拖影效应。

强光入射到未被掩盖元件406。该强光引起如上所述的可见拖影。拖影效应在这里图示为两块斑点408和410。

本例中，在元件406所在的列中引起的拖影也扩散到两个被掩盖元件，即元件412和元件414。

参照以上的描述，拖影没有扩散到元件406所在的行的两个被掩盖元件，即元件416和元件418。

正因为此，拖影列值可以基于元件412和/或414的电荷水平来确定，拖影参考值可以基于元件416和/或418的电荷水平来确定。

在图4中提到的元件可以是单个的元件，也可以是元件组，例如由32×32个元件组成的组。

为了减少单个光敏元件的影响，例如减少噪声的影响，可使用包括多个光敏元件的块。

图5一般性地示出使用传感器矩阵500的被掩盖元件的实施例。进一步地，传感器矩阵500包括未被掩盖元件504和以斜阴影表示的被掩盖元件502。

进一步地，被掩盖元件502可以再划分为由粗线表示的多个第一块520a-520d，多个第二块522a-522d，多个第三块524a-524d以及多个第四块526a-526d。

拖影列值可通过计算每个第一块520a-520d和/或每个第二块522a-522d的平均电荷水平来确定，然后，这些确定的平均电荷水平的最大值可设置为拖影列值。

作为替换地，由于拖影发生在整列中，拖影列值可以通过计算每对第一和第二块，即520a和522a、520b和522b等等的平均电荷水平来确定。然后，这些确定的平均电荷水平的最大值可设置为拖影列值。

作为替换地，拖影列值可以通过计算多个第一块520a-520d或多个第二块522a-522d所包括的元件的平均电荷水平来确定。

如果可见拖影出现在图像数据的大区域中，由于多个元件减少了噪声的影响，因此通过计算所有第一块520a-520d或所有第二块522a-522d所包括的元件的平均电荷水平来确定拖影列值可能更有利。

拖影参考值可通过计算包括在第三块524a-524d或第四块526a-526d中的元件的平均电荷水平来确定。

作为替换地，拖影参考值可通过计算包括在第三块524a-524d和第四块526a-526d中的元件的平均电荷水平来确定。

可选地，为了能够更准确地确定拖影列值，这些块可以交叠(未示出)。

可选地，如果这些块包括多列或多行，接近未被掩盖元件的被掩盖元件可以不包括在被掩盖元件的块中。以这种方式可以减少光泄漏量。

可以有不属于任一块的元件。

在图6中涉及的元件可以是单个的元件，也可以是元件组。

第一块的数目、第二块的数目、第三块的数目和第四块的数目可以包括元件的任意数目。

尽管第一块的数目以四个块进行说明，但是第一块的数目可以是任意数目。相应地，第二块的数目可以是任意数目，第三块的数目可以是任意数目，第四块的数目可以是任意数目。

图6示出包括被掩盖元件602和未被掩盖元件604的传感器矩阵600的第二实施例。进一步地，被掩盖元件602可进一步划分为多个块，在此用粗线图示。

正如在图5中，存在若干第一块620a-620d和多个第二块622a-622d，以便获得拖影列值，如以上所述。

然而，与图5中示出的实施例不同，第三块由左上元件624a和/或左下元件624b表示，且相应地，第四块由右上元件626a和/或右下元件626b表示。

可选地，如果存在多个被掩盖行和被掩盖列，则多个被掩盖元件可用作传感器矩阵600的每个角。

该实施例使用一个或多个角上的元件以便确定拖影参考值的优点是，能够快速地确定拖影参考值的确定值。

图6中涉及的元件可以是单个元件，也可以元件组。

基于所探测的第一和/或第二块的电荷水平确定拖影列值，且基于所探测的第三和/或第四块的电荷水平确定拖影参考值。

如果存在可见拖影，则拖影列值将会高于拖影参考值，如图7a所示。否则，如果不存在可见拖影，则拖影列值将与拖影行值大致相同，如图7b所示。由于噪声，拖影参考值可能具有一较小的值，而不是0。

图8示出减小在CCD传感器生成的图像数据中的拖影量的一般原理。

依据该原理的方法可用作迭代过程，其逐步地减少了拖影量。

将拖影列值800和拖影参考值802输入比较器804，所述比较器804配置为比较拖影列值800和拖影参考值802。基于该比较，拖影指数806从比较器输出到相机设置控制器808。然后，相机设置控制器808基于拖影指数806确定相机设置数据810。这种相机设置数据810可包括指示镜头光圈尺寸、曝光时间、增益等的数据。

可选地，来自先前捕获的图像数据的图像统计信息812，包括例如彩色分布，也输入到相机设置控制器808。

图9一般性地示出针对不同镜头光圈尺寸，在图像数据中的可见拖影和散射的发生。

当大量的光入射到CCD传感器，例如当镜头光圈较大时，拖影的发生较高。

通过减少入射到传感器的光的量，图像数据的质量在拖影的角度得到了改善。

如果使用可调节的镜头光圈，这意味着光圈的尺寸可以减小。

具有极小尺寸的镜头光圈将引起可见衍射，可见衍射进一步会引起图像数据模糊。

所以为了输出高质量的图像数据，包括CCD传感器的相机应具有处于可见拖影边界和可见衍射边界之间的镜头光圈。

然而，在某些极强光的情况下，这些边界可能很接近。所以，在这些情况下，以上所描述的原理可用于尽可能地最小化衍射的影响，即接近可见拖影的边界。如果没有镜头光圈信息从镜头系统输出到相机设置控制器，这将尤其有用。

可选地，如果在多列中探测到严重的拖影，这些列可从进一步的拖影减少分析中排除。例如，如果阳光入射到图像传感器的多列，这些元件所在的列可排除。

排除具有严重拖影的列的优点是，降低了以另一类型的假象(artefact)，例如衍射假象，影响其它元件的风险。

图10示出依据本发明的方法。

在步骤1000中，从第一被掩盖元件集合接收第一电荷水平值。

在步骤1002中，从第二被掩盖元件集合接收第二电荷水平值。

在步骤1004中，比较第一和第二电荷水平值。

在步骤1006中，如果第一和第二电荷水平值的比较所产生的差值超出预定的区间，则调节相机的设置。

图11示出依据本发明的拖影减小模块1100。

第一电荷水平值由第一电荷水平接收器1102接收。

第二电荷水平值由第二电荷水平接收器1104接收。

将第一和第二电荷水平值传输至比较器1106，在比较器1106中比较第一和第二电荷水平值。

如果在比较器1106中进行的比较所产生的差值超出预定的区间，则相机设置控制器1108调节相机的设置。

图12示出依据本发明的相机1200。

图像传感器1204通过光屏蔽器件1202，例如镜头光圈接收光。从图像传感器1204向拖影减小模块1100输出第一和第二电荷水平值。由拖影减小模块1100确定的拖影估计数据输出到被配置为控制相机1200功能的相机控制器1206。相机控制器1206接着传输控制数据给光屏蔽器件1202和/或图像传感器1204。

以上主要参照几个实施例描述了本发明。然而，本领域技术人员应容易理解，除以上公开的实施例之外的其它实施例同样可能在所附权利要求所限定的本发明范围内。

Claims (27)

1.一种减小图像传感器中的拖影效应的方法，包括

从第一被掩盖元件集合接收一第一电荷水平值，

从第二被掩盖元件集合接收一第二电荷水平值，

比较所述第一电荷水平值和所述第二电荷水平值，以及

如果由所述第一电荷水平值和所述第二电荷水平值之间的所述比较产生的差值超出预定的区间，则调节相机设置。

2.如权利要求1所述的方法，其中所述第一被掩盖元件集合位于所述图像传感器的第一边界区域中，且所述第二被掩盖元件集合位于所述图像传感器的第二边界区域中。

3.如前述权利要求中任意一项所述的方法，其中所述第一集合包括一拖影不敏感参考阵列中的至少一个元件，且所述第二集合包括一拖影敏感阵列中的至少一个元件。

4.如前述权利要求中任意一项所述的方法，其中所述第一元件集合和所述第二元件集合是分离的。

5.如前述权利要求中任意一项所述的方法，其中，所述第一元件集合包括从若干左上角元件、若干右上角元件、若干左下角元件和若干右下角元件中选择的至少一个元件。

6.如前述权利要求中任意一项所述的方法，其中所述第一集合大于所述第二集合。

7.如前述权利要求中任意一项所述的方法，其中所述图像传感器是CCD传感器。

8.如前述权利要求中任意一项所述的方法，其中所述调节所述相机的设置包括调节入射到所述图像传感器的光量。

9.如权利要求8所述的方法，其中所述调节入射到所述图像传感器的光通过调节镜头光圈完成。

10.如前述权利要求中任意一项所述的方法，其中所述调节所述相机设置包括调节曝光时间设置。

11.如前述权利要求中任意一项所述的方法，其中所述调节所述相机设置包括调节增益设置。

12.如前述权利要求中任意一项所述的方法，其中所述第一被掩盖元件集合还用于获得参考暗电平。

13.一种用于减小图像传感器中拖影效应的拖影减小模块，包括

第一电荷水平值接收器，配置为从第一被掩盖元件集合接收一第一电荷水平值，

第二电荷水平值接收器，配置为从第二被掩盖元件集合接收一第二电荷水平值，

比较器，配置为比较所述第一电荷水平值和所述第二电荷水平值，以及

相机设置控制器，配置为如果由所述第一电荷水平值和所述第二电荷水平值之间的所述比较产生的差值超出预定的区间，则调节相机设置。

14.如权利要求13所述的拖影减小模块，其中所述第一被掩盖元件集合位于所述图像传感器的第一边界区域中，且所述第二被掩盖元件集合位于所述图像传感器的第二边界区域中。

15.如权利要求13或14所述的拖影减小模块，其中所述第一集合包括拖影不敏感参考阵列的至少一个元件，且所述第二集合包括拖影敏感阵列的至少一个元件。

16.如权利要求13至15中任意一项所述的拖影减小模块，其中所述第一元件集合和所述第二元件集合是分离的。

17.如权利要求13至16中任意一项所述的拖影减小模块，其中所述第一元件集合包括从若干左上角元件、若干右上角元件、若干左下角元件和若干右下角元件中选择的至少一个元件。

18.如权利要求13至17中任意一项所述的拖影减小模块，其中所述第一元件集合大于所述第二元件集合。

19.如权利要求13至18中任意一项所述的拖影减小模块，其中所述图像传感器是CCD传感器。

20.如权利要求13至19中任意一项所述的拖影减小模块，其中所述调节所述相机设置包括调节入射到所述图像传感器的光量。

21.如权利要求20所述的拖影减小模块，其中所述调节入射到所述图像传感器的光通过设置镜头光圈完成。

22.如权利要求13至21中任意一项所述的拖影减小模块，其中所述调节所述相机设置包括调节曝光时间设置。

23.如权利要求13至22中任意一项所述的拖影减小模块，其中所述调节所述相机设置包括调节增益设置。

24.如权利要求13至23中任意一项所述的拖影减小模块，其中所述第一被掩盖元件集合还用于获得参考暗电平。

25.一种相机，包括

图像传感器，

相机控制器，

如权利要求13-24中任意一项所述的拖影减小模块，

光屏蔽装置，配置为改变入射到所述图像传感器的光量，

其中拖影控制数据从所述拖影减小模块传输到所述相机控制器，且控制数据从相机控制器传输到所述光屏蔽器件。

26.如权利要求25所述的相机，其中所述图像传感器为CCD传感器。

27.一种计算机程序，被布置为当下载到处理器并在处理器中执行时，执行如权利要求1-12中任意一项所述的方法。

Images