CN101203884B - 控制图像捕获系统的方法、图像捕获系统以及数码相机 - Google Patents

Abstract

一种控制图像捕获系统(1)的方法，该系统包括：一个接口(13、16、17)，用于接收外部触发以捕获图像；以及一个图像捕获器件(6)，具有一个光敏区(5)和像素单元(7)阵列，每一个像素单元(7)包括用于生成信号的器件，所述信号指示落在光敏区的一个相关部分上的光的强度，所述图像捕获器件(6)还具有读出电路(8、9)，用于生成像素值阵列，以按一个所设置的空间分辨率捕获一个图像帧，以致每一个像素值可以代表在一个曝光时间间隔期间、在多个区(7、21)的一个相关的区中的至少一个像素单元(7)中所生成的一或多个信号的集成，由所设置的空间分辨率确定所述区(7、21)的数目，所述区共同覆盖了相应于图像中的一个区域的光敏区(5)的一个区域，所述方法包括：接收外部触发以捕获图像，并且响应这一外部触发，指导图像捕获器件通过生成代表相应连续曝光时间间隔期间的集成的像素值的相应阵列，捕获至少两个图像帧。把至少两个所捕获图像帧的空间分辨率设置成不同的值。

Description

控制图像捕获系统的方法、图像捕获系统以及数码相机

技术领域

本发明涉及一种控制图像捕获系统的方法，该系统包括一个接口，用于接收外部触发以捕获图像；以及一个图像捕获器件，具有光敏区和像素单元的阵列，每一个像素单元包括一个用于生成信号的器件，所述信号指示落在光敏区的一个相关部分上的光的强度，所述图像捕获器件还具有用于生成一个像素值阵列的读出电路，以按所设置的空间分辨率捕获图像帧，以使得每一个像素值代表在一个曝光时间间隔期间、在多个区中的一个相关区中的至少一个像素单元中所生成的一或多个信号的集成，由所设置的空间分辨率确定所述区的数目，所述区共同覆盖了相应于图像中的一个区域的光敏区的一个区域。

本发明还涉及一种图像捕获系统。

本发明还涉及一种根据多个图像帧形成一个组合的最终图像的方法，该方法包括下列步骤：

获取强度值的第一和至少另一个阵列，强度值的每一个阵列对相应图像帧中的一个相应数目的像素位置中的每一像素位置处的光强度级进行编码，所述数目确定所关注的图像帧的空间分辨率；

生成强度值的导出阵列的一个集合，每一个导出阵列基于所获取的强度级阵列中的相应的一个阵列，并且对相应图像帧的至少一个重叠区域中的一个共同数目的像素位置中的每一像素位置处的光强度级进行编码；

生成组合的强度值的一个阵列，阵列中的每一个元素基于强度值的相应的导出阵列中的每一导出阵列中的相应元素所代表的强度值的总和；以及

提供对组合的最终图像进行编码的强度值的一个阵列，该阵列是基于组合的强度值的阵列的。

本发明还涉及一种图像处理系统。

本发明还涉及一种数码相机。

本发明还涉及一种计算机程序。

背景技术

国际专利申请PCT/EP04/051080在本申请提出日期之前提出，并且在本申请提出日期之后以WO xxxx公布。因此，根据EPC条款54(3)，将其包含在现有技术中。

以上所提到的申请描述了一种数码相机，它可在一个基本上稳定的位置中使用以捕获一个图像序列，并且导出代表图像的像素值的相应帧的一个序列。特意使每一图像曝光不足。在令图像形成一个组合的最终图像之前，对它们进行调整。通过对所调整的图像中的相应像素的值求和，形成组合的最终图像。从而可以根据曝光不足的图像形成组合的最终图像，但组合的最终图像本身是足够亮的，而且具有良好的空间分辨率。所述调整用于防止组合的最终图像变得模糊。

与为以后的组合捕获一系列曝光不足的图像帧相关的一个问题归因于可用的图像捕获器件的类型。一般情况下，这些设备要么具有包含电荷耦合器件(CCD)的像素单元，要么由互补金属氧化物半导体(CMOS)传感器制造，这两种情况，均与读出电路相关。特别是，当使用CCD阵列时，读出时间，即读出电路为生成对一个帧进行编码的像素值的阵列而所需的时间，是非常长的。于是，为一个组合图像的相继的形成而捕获一系列连续图像帧所需的时间更长。如果使用插值技术提高所捕获图像帧的空间分辨率，则把图像分辨率设置为一个较低的值会导致一个较低空间分辨率的组合的图像。减少那些所基于的捕获图像帧的数目，组合的最终图像将可实现一个较短的总图像捕获时间，但以降低组合的最终图像的信噪比(SNR)为代价。

发明内容

本发明的一个目的是，提供以上所定义类型的方法与系统，这些方法与系统使得图像帧以相当低的噪声级形成组合的最终图像，而只要求相当短的总图像捕获时间。

使用根据本发明的方法实现这一目的，所述方法包括接收一个外部触发以捕获图像，并且响应这一外部触发，指挥图像捕获器件通过生成代表相应连续曝光时间间隔期间的集成的像素值的相应阵列，捕获至少两个图像帧，其中，至少两个所捕获图像帧的空间分辨率被设置成不同的值。

由于至少两个所捕获图像帧具有不同的空间分辨率，所以总是存在至少一个具有较高分辨率的图像帧和至少一个具有较低分辨率的图像帧。捕获一个具有较高分辨率的图像帧，可确保具有高空间频率的信息出现在组合的最终图像中。然而，由于并非所有图像帧都具有相同的、较高的分辨率，所以捕获和读出所有图像数据所需的总时间相当短。由于诸如用户命令的外部触发直接导致至少两个图像帧的捕获，所以所述系列中的图像帧能够尽可能地互相紧密地跟随，从而节省了更多的时间。设置不同分辨率的设置方面的变化，也可通过响应外部触发自动地得以实现。由于各个图像帧被分别捕获并通过求和被组合成一个组合的最终图像，所以组合的最终图像可以由具有相当短的曝光时间的图像帧构成，从而导致较为清晰的组合的最终图像。

在一个优选的实施例中，通过指导图像捕获器件按每一个像素值代表像素单元中至少两个器件所生成的信号的总和的集成的方式生成像素值的一个阵列，至少较低的空间分辨率值被设置。

通常，把这样的技术称为‘像素组合(binning)’，而且这样的技术具有增强敏感度的效果，因为像素单元中两个或两个以上的器件有效地占据了光敏区的一个较大的部分。而且，所捕获图像帧具有一个较低的噪声级。

一个优选的实施例包括为一个组合的最终图像取回一个所希望的曝光时间；确定将加以捕获的图像帧的数目；以及针对每一个图像帧，计算确定可施用于图像帧的曝光度的设置，所述设置包括曝光时间间隔的长度，其中，对所述设置进行计算，以致所述数目的图像帧上的曝光时间间隔长度的总和等于或小于所希望的曝光时间。

当单独观看时，每一个所捕获的图像均曝光不足。然而，组合的最终图像并非曝光不足，因为其基于所组合的全部图像帧。这一实施例具有这样的优点：其实现了代表不同图像帧中的像素值的强度级的叠加，以生成一个具有正确曝光的组合的最终图像。

一个实施例包括生成像素值的阵列的一个集合的步骤，每一个阵列都按这样一种方式基于所捕获图像帧之一：每一个阵列按相同的空间分辨率对一个所调整的帧的至少一个区域进行编码。

这一实施例提高了用于通过对至少所调整的帧的区域中的相应的像素值求和生成一个组合的最终图像的所捕获图像帧的适度性。

根据本发明的另一个方面，提供了一种图像捕获系统，该图像捕获系统包括一个接口，用于接收外部触发以捕获图像；一个图像捕获器件，具有光敏区和像素单元阵列，每一个像素单元包括一个用于生成指示落在光敏区的一个相关部分上的光的强度的一个信号的器件，所述图像捕获器件还具有读出电路，用于生成像素值的一个阵列，以按一个所设置的空间分辨率捕获图像帧，以使每一个像素值可以代表在一个曝光时间间隔期间的多个区中的一个相关的区中的至少一个像素单元中所生成的一或多个信号的集成，由所设置的空间分辨率确定所述区的数目，所述区共同覆盖了相应于图像中的一个区域的光敏区的一个区域，所述图像捕获系统包括：

一个控制系统，用于控制图像捕获器件的操作，并且用于处理通过所述接口所接收的命令，其中，把所述控制系统配置成能够响应外部触发，指导图像捕获器件通过生成代表在相应连续曝光时间间隔期间的集成的像素值的相应阵列，捕获至少两个图像帧，其中，还把所述控制系统配置成能够把至少两个所捕获图像帧的空间分辨率设置成不同的值。

在一个优选的实施例中，把根据本发明的图像捕获系统配置成能够执行根据本发明的一种捕获图像的方法。

根据本发明的另一个方面，根据多个图像帧形成一个组合的最终图像的方法包括下列步骤：

获取强度值的一个第一和至少另一个阵列，

强度值的每一个阵列对相应图像帧中的一个相应数目的像素位置中的每一像素位置处的光强度级进行编码，所述数目确定了所关注的图像帧的空间分辨率；

生成强度值的导出阵列的一个集合，每一个导出阵列基于所获取的强度级阵列中的一个相应的阵列，并且对相应图像帧的至少一个重叠区域中的一个共同数目的像素位置中的每一像素位置处的光强度级进行编码；

生成组合的强度值阵列，其中的每一个元素基于强度值的相应导出阵列中的每一阵列中的相应元素所代表的强度值的总和；以及

提供对组合的最终图像进行编码的强度值阵列，所述阵列基于组合的强度值的阵列，

其中，

获取按比强度值的另一个阵列高的分辨率至少对重叠区域进行编码的强度值第一阵列，

提供按比强度值的另一个阵列高的空间分辨率至少对组合的最终图像中的重叠区域进行编码的一个强度值阵列，以及

对组合的最终图像进行编码的强度值阵列基于强度值的第一阵列中足够数目的强度值，按比强度值的另一个阵列高的分辨率对重叠区域进行编码。

所述方法具有产生一个具有相当高的分辨率，而且不要求大量同样分辨率的图像帧的优点。因为组合的强度值阵列中的每一个元素基于相应的强度值导出阵列中的每一个导出阵列中的相应的元素所代表的强度值的总和。生成组合的强度值的这一阵列的步骤去除了噪声。由于强度值的阵列基于组合的强度值的阵列，所以有益的效果至少部分地延伸于组合的最终图像。因此，组合的最终图像立即具有一个相对高的空间分辨率和低的噪声水平。

所述方法的一个第一实施例包括获取强度值的第一和另一个阵列，其中每一个强度值代表一个包围一个像素位置的区中的光度，其中，通过把一个阵列中的强度值的数目调整一个乘法因子，获取强度值的至少一个导出阵列，以使每一个导出阵列可以按相同的空间分辨率至少对重叠区域进行编码。

这一实施例使生成组合的强度值的一个阵列的步骤能够通过在空间域中直接求和加以执行。

在这一实施例的一个变通形式中，将基于一个所获取的强度值的另一个阵列的至少一个阵列中的强度值的数目利用一个大于1的乘法因子加以调整。

因此，把至少一个低分辨率图像帧转换为一个较高的分辨率。这是一种确保对组合的最终图像进行编码的强度值的阵列基于强度值第一阵列中的足够数目的强度值的有效方式，因为可以简单地通过调整把第一所获取的阵列中的强度值的一个子集，或者，较佳的做法是把全部这样的强度值添加于所获取的阵列中的它们的对应的强度值，以获取一个加权的平均值。组合的强度值的阵列还对最终图像进行编码。

在一个第二实施例中，通过把基于所获取的强度值阵列之一，而且其中每一个强度值代表一个包围一个图像帧中的一个像素位置的区中的光度的一个强度值阵列所编码的一个图像帧，变换到空间频率域，生成强度值的每一个导出阵列，以使强度值的一个导出阵列中的每一个强度值可以代表图像帧的一个空间频率分量的强度。

这一实施例具有这样的优点：为了能够执行生成组合的强度值的一个阵列的步骤，不必扩展具有低空间分辨率的图像帧。特别是，避免了插值。取而代之，强度值的每一个导出阵列包括可以根据每一个所获取的图像帧导出的图像帧的低频率分量。于是，为了生成对组合的最终图像中的至少重叠区域进行编码的强度值的阵列，仅需要相当少的相加。

在一个变通形式中，提供对组合的最终图像进行编码的强度值的阵列的步骤包括用至少部分地基于代表组合的强度值阵列中的相应空间频率分量的强度值来替换代表基于强度值的第一所获取的阵列的强度值导出阵列中的一个低空间频率分量的至少一个强度值。

为了防止振铃效应的出现，每一个替换值可以基于其所替换的值。不管其如何，这一变通形式是一个得到基于强度值的第一阵列中的足够数目的强度值以按高于强度值的另一个阵列的一个分辨率对重叠区域进行编码的一个组合的最终图像的特别有效的方式。其足以把基于第一阵列的导出阵列变换回空间域，在替换代表低空间频率分量的强度值之后。在如此获取的组合的最终图像中，根据第一阵列导出高频率信息，而低频率信息为第一和另一个阵列中的低频率信息的一个组合。

在一个变通形式中，由包括一种图像压缩算法的至少部分按硬件实现的协处理器，或者由一个其编程旨在实现一种图像压缩算法的数字信号处理器，来执行所述变换。

这一变通形式特别适合于在通常包含这样一个协处理器的数码相机或者其它类型的图像处理装备中的实现。由于许多压缩算法涉及对一种要求针对其变换到空间频率域的熵编码形式的使用，所以这一变通形式是非常有效的。

在一个实施例中，在生成组合的强度值的一个阵列的步骤之前，存在这样一个步骤：校准图像帧，以致每一个导出阵列可以对至少重叠区域中每一基本上对应的像素位置处的光强度级进行编码。

这确保了组合的最终图像相对清晰，因为避免了因强度值的所获取的阵列所编码的图像帧的未校准所导致的‘不清晰’。这样的未校准易于出现在其中通过数码相机连续地摄制一个景物的画面，获取强度值的阵列的地方。当然，还可以去除因景物中的物体或者人的颤动所导致的‘不清晰’。

在一个实施例中，使基于一个按高于强度值的至少另一个阵列的空间分辨率对相应的图像帧中的至少重叠区域进行编码的强度值的所获得强度值的阵列的强度值的至少一个阵列经历一个数字过滤操作，该数字过滤操作具有传递所述阵列所编码的图像的高空间频率分量的特征。

由于较高分辨率的图像也具有较高的噪声水平，但仅实际需要它们提供具有高空间频率的图像信息，所以降低了较低频率处的组合的最终图像的噪声水平。这是有利的，因为在相当低的空间频率处人的眼睛是最敏感的。

根据另一个方面，本发明提供了一种用于根据多个图像帧形成一个组合的最终图像的图像处理系统，该图像处理系统包括一个用于加载强度值的一个第一和至少另一个阵列的配置，

强度值的每一个阵列对相应图像帧中的一个相应数目的像素位置中的每一像素位置处的光强度级进行编码，所述数目确定了所关注的图像帧的空间分辨率；以及一个数据处理配置，用于处理强度值，其中，所述系统配置为能够指导数据处理配置执行下列步骤：

生成强度值导出阵列的一个集合，每一个导出阵列基于所获取的强度级阵列中的相应的一个阵列，并且对相应图像帧的至少一个重叠区域中的一个共同数目的像素位置中的每一像素位置处的光强度级进行编码；

生成组合的强度值的一个阵列，阵列中的每一个元素基于强度值的相应的导出阵列中的每一阵列中的相应元素所代表的强度值的总和；以及

提供对组合的最终图像进行编码的强度值的阵列，所述阵列基于组合的强度值的阵列，

其中，

把所述系统配置为能够加载按比强度值的另一个阵列高的分辨率对至少重叠区域进行编码的强度值的一个第一阵列，以提供按比强度值的另一个阵列高的空间分辨率对组合的最终图像中的至少重叠区域进行编码的强度值的一个阵列，以及使对组合的最终图像进行编码的强度值阵列基于强度值的第一阵列中足够数目的强度值，按比强度值的另一个阵列高的分辨率对重叠区域进行编码。

较佳的做法是把所述图像处理系统配置为能够指导处理器执行根据本发明的一种形成一个组合的最终图像的方法。

根据另一个方面，本发明提供了一种计算机程序，当将其加载于一个可编程处理器件中时，能够使可编程处理器件执行一种根据本发明的方法。

根据另一个方面，本发明提供了一种数码相机，该数码相机包括根据本发明的一种图像捕获系统与/或一种图像处理系统。

附图说明

现在，将参照附图，进一步详细地解释本发明，其中：

图1示意性地描述了一个示范性数码相机的配置；

图2仅示意性地描述了所述照相机中的一个图像捕获器件的某些元件；

图3为一个流程图，说明了一种捕获图像帧、并且形成一个组合的最终图像的方法；

图4A～4C仅示意性地描述了强度值的阵列，说明了如何在一个实施例中形成组合的最终图像；以及

图5说明了相对人眼的敏感度的图像帧的噪声水平。

具体实施方式

可用于此处所概述的方法的情况中的图像处理系统的一个例子，为一个数码相机1。其它的例子包括复印机或者扫描设备。

数码相机1包括一个用于在景物中的一或多个物体上聚焦的透镜系统2。当打开快门3时，通过光圈4把景物投射于一个图像捕获器件6的一个光敏区5(图2)上。像光圈的直径那样，快门时间为可控制的。作为对快门3的一种选择或者向对快门3的一种添加，可电子地对图像捕获器件进行控制，以提供相同的效果(电子快门)。图像捕获器件6可以为根据互补金属氧化物半导体(CMOS)技术实现的器件，或者为电耦合器件(CCD)传感器。此处所描述的方法非常适合于CCD传感器，CCD传感器具有维护费用低的优点，但具有固有的长读出时间特性。

参照图2，把光敏区5划分成由像素单元7a～i所占据的区，为了清楚起见，仅描述了其中的9个像素单元。每一个像素单元7包括一个用于生成一个表示光的强度的信号的器件，其在光敏区5中所占据的区曝露于该光强下。如所陈述的，较佳的做法是令所述器件为一个CCD传感器。应该加以注意的是，通常把占据像素单元7a～i的器件作为一个集成电路的部件加以提供。在曝光期间，例如通过对一个电容器中光电流的累积，形成一个器件所生成的信号的集成。在对光敏区5曝光了等于曝光时间间隔的一段时间之后，通过行选择电路8和列选择与读出电路9，读出所生成的信号的集成的值。

注意，为了简单起见，这一描述将不集中于捕获彩色图像的方式。可以使用任何已知类型的技术，例如滤色器，图像捕获器件6的一个对颜色敏感的变通形式等。在这一方面，可以看出光敏区5不需要为包含在图像捕获器件中的一个集成电路的表面区，或者至少对于所有的颜色分量(component)不是这样。而且，尽管在本申请中将图像帧连续地(consecutively)加以捕获的，但这并不排除这样的实施例，其中按次序捕获不同颜色分量的图像帧，以使得详述一个颜色分量的‘连续’捕获的图像帧与那些详述其它颜色分量的图像帧交替。

以一或多个模拟信号的形式把列选择与读出电路9的输出提供给一个模拟-数字转换器(A/D转换器)10。A/D转换器10对从图像捕获器件6所接收的信号取样，并且加以量化，即将其在刻度表上以离散量值记录，根据作为A/D转换器10的输出加以提供的数字字的分辨率的比特数目，确定离散量度的数值。A/D转换器10提供对一个所捕获图像帧进行编码的像素值阵列作为输出。

一个信号处理器(DSP)11执行诸如像素之间的插值以及有选择地压缩图像等特性。在一个曝光时间间隔期间，图像捕获器件的每一次曝光均产生至少一个帧。

数码相机1包括一个存储器件12，用于存储对所捕获的图像或者图像帧进行编码的图像数据。所述存储器件可以为任何通常类型的存储器件，例如内置的闪存、插入的闪存模块、使用软盘的磁盘驱动器、PCMCIA格式的硬盘、或者光盘驱动器。

一个微处理器13通过执行存储在非易失存储器中的指令，控制数码相机1的操作，在这一例子中，非易失存储器为只读存储器(ROM)14。在某些与针对DSP 11的执行所编程的例程相结合的实施例中，ROM 14中的指令可以使数码相机1执行本申请中所描述的图像处理和捕获方法。

有利的做法是，令微处理器13与一个其中按硬件实现了至少一部分的图像压缩算法的协处理器15进行通信。例如，可以使用根据JPEG标准的压缩图像的算法。作为压缩算法的一部分，把图像数据变换于空间频率域。在大多数情况下，协处理器15使用一种离散余弦变换(DCT)，至少执行这一变换。

把数码相机1的操作条件和设置的指示信息提供在一个输出器件16上，例如提供在一个液晶显示器上，可以与一个产生声音的器件相结合(未单独加以说明)。

示意性地示出输入器件17表示数码相机用户通过其提供命令的控制机制。另外，图1中所说明的数码相机1还包括一个用于向一或多个闪光源提供适当驱动信号的闪光驱动电路18。所说明的数码相机1还包括一个运动传感器19，用于提供一个表示数码相机1、从而表示图像捕获器件6的运动的信号。而且，数码相机1还包括一个曝光测量器件20。曝光测量器件20的目的是，测量环境光的强度，以使微处理器13可以与确定曝光量的设置的正确的值相结合，确定将由任何所连接的闪光灯所发射的光的强度，其中，所述设置的正确的值包括每一个所捕获图像帧的曝光时间间隔，以下将对此详细加以描述。

需要加以注意是，像素单元7a～i所占据的区的密度决定了一个所捕获图像帧的最大可达到的空间分辨率。读出时间依赖于像素单元的数目。在一个诸如图2中所说明的实施例中，其可以相当长，因为依次使用行选择电路8选择每一行，于是列选择与读出电路9感应存储在该行中像素单元中的光器件中累积的光电荷的值。为了减少反复曝光光敏区和捕获一个图像帧的过程中所涉及的总时间，在曝光之间空间分辨率被设置成一个不同的值。

微处理器13定义了多个簇区21，这些簇区21共同覆盖了对应于组合的最终图像中一个所关注区域的一个区域。这一数目小于共同覆盖该区域的像素单元7a～i的数目。于是，一簇像素单元占据了每一个所定义的簇区21，图2对此示意性地进行了说明。为了清楚起见，未描述所有的像素单元7。为了按较低的空间分辨率捕获一个图像帧，读出每一个簇区21的一个像素值。为了按最高可能空间分辨率捕获一个图像帧，读出每一个像素单元7的一个像素值。顺便提及，例如，如所说明的，尽管已经定义簇区21来分割光敏区5，然而微处理器13也可以可选地或附加地定义共同覆盖相应于所关注区域的光敏区5的一个区域的多个重叠区域。作为选择，也可以通过在各区之间略加间隔来定义各区。为了避免必须执行补偿处理，较佳的做法是令所定义的区均包围整齐分布的像素位置。

在一个实施例中，微处理器13按这样的方式控制图像捕获器件6：每一个簇区21读出的一个像素值代表位于簇区21中的像素单元7之一中所生成的信号的一个集成。这一实施例具有可将其与任何类型的图像捕获器件6一起使用的优点。

在一个优选的实施例中，图像捕获器件6具有‘像素组合(bin)’多个像素单元的输出的能力。在这一实施例中，微处理器13指导图像捕获器件6以这样的方式生成一个像素值阵列(把每一个值与所定义的簇区21之一相关联)：每一个像素值代表占据同一所定义的簇区21的像素单元中的至少两个器件所生成的信号的总和的集成。在这一所述的实施例中，这可能意味着一个簇区21的像素值为所有9个所示像素单元7a～i所生成的信号的集成的总和，也可以为它们的平均值。这一实施例是较佳的，因为其提高了敏感度。有效的做法是，令每一像素值代表落在整个所定义的簇区21的光的量，而不仅仅是落在一个像素单元7所占据的区上的光的量。因此，较小的光通量是可检测的。另外，像素组合降低了噪声量，即导致一个具有较高信噪比(SNR)的低分辨率图像。由于像素组合能力为按硬件实现的图像捕获器件的一个功能，所以不会明显地增加读出时间。较佳的做法是，按最高的分辨率所捕获的图像帧的数目等于、最好低于按较低空间分辨率所捕获的图像帧的数目。根据一系列图像帧形成的一个组合的最终图像将具有良好的SNR。

在一个优选的实施例中，当从用户那里接收到一个捕获图像的命令时，微处理器13控制数码相机1执行一系列步骤22～25。在一个例子中，通过一个适当的接口，从一个连接于数码相机1的设备(未在图中加以显示)那里交替地接收命令。这一器件发布一个外部触发，以启动所说明的步骤的执行。数码相机1的用户可以输入针对一个组合的最终图像的所希望的曝光时间，以及确定闪光的量、光圈4的直径和像素单元7中的光器件的敏感度的设置。在可选的实施例中，微处理器使用曝光测量器件20所输出的一个信号以及值的可能的一或多个预先定义的组合，自动地确定这些值中的一或多个值。接下来，当接收到实际捕获组合的最终图像的命令时，微处理器13执行捕获多个图像帧的第一步骤22。这一步骤22包括取回组合的最终图像的所希望的曝光时间、确定将加以捕获的图像帧的数目、以及针对每一个图像帧计算用于确定可施用于图像帧的曝光度的曝光设置。所述设置包括帧的曝光时间间隔。较佳的做法是，确定诸如产生合起来短于组合的最终图像的所希望的曝光时间的图像帧的曝光时间间隔的其它设置。注意，其中执行“像素组合”的实施例允许可施用于图像帧的曝光时间间隔的减少，因为像素组合提高了灵敏度。‘像素组合’有效地导致了光电信号的一个额外放大的引入。微处理器13可以很好地考虑到这一点。依据空间分辨率值，即‘像素组合’的量，按较低空间分辨率值计算可施用于图像帧的曝光时间间隔的长度。

当计算确定可施用于图像帧的曝光度的设置时，较佳的做法是，令微处理器13执行国际专利申请PCT/EP04/051080中所概述的一或多种方法。即，对它们进行计算，以便确定为组合的最终图像所希望的总曝光度能够不均匀地分布在图像帧上。特将该申请中涉及曝光度的步进的各章节并入此处，以作参考，并且简要地加以重述。

如以上所提到的，根据曝光时间、光圈、(闪光灯)光照强度、以及像素单元中的放大器增益，确定曝光度。还将根据A/D转换器10的A/D转换阈值确定曝光度。用于对每一像素单元7中的光器件的输出加以放大的步进放大，具有易于实现的优点。在可选的实施例中，相同分辨率的图像帧的曝光时间不尽相同。在其它实施例中，每图像帧导入光敏区的光的最大强度是变化的，例如，通过调整光圈4的大小、或者通过闪光灯驱动电路18改变所控制的闪光灯的强度。

在一个第一实施例中，在各曝光之间，光圈4的大小以及光照条件保持不变。在图像帧上不均匀地分布组合的最终图像的所希望的曝光时间。较佳的做法是，选择图像帧的数目，以把每一图像帧的曝光时间间隔保持在某一阈值水平之下。较佳的做法是，把这一阈值水平预先确定为1/60秒，对于一般的摄影师而言，这被视为捕获稳定图像的最低的快门速度。

在一个变通形式中，在各帧之间随机地变化曝光时间。在另一个实施例中，在一个帧的多次进一步捕获之前调整图像捕获系统的设置，在此例中为曝光时间，以使得至少在其上记录每一像素的强度值的刻度表的最大值在数值上基本上均匀地随每次调整而变化。这具有导致对组合的最终图像中颜色和色调深度的精确捕获的优点。在每一种也在所捕获的帧之间利用像素组合来调整空间分辨率的情况中，考虑了对曝光度的影响。

在一个可选的实施例中，以这样的方式在一个图像帧的两次相继的捕获之间调整光圈4的大小：至少在其上记录每一像素的强度值的刻度表的最大值在数值上基本上规则地随每次调整而变化。通过调整光圈区，曝光度按相等的增量向下步进。如果不采用像素组合，则光圈区按相等的增量向下步进。否则，其随乘法因子而放缩，所述乘法因子源于使每一像素值基于来自多个像素单元的信号。

在又一个实施例中，步进地降低用于照射一个把图像捕获器件6曝光于其中的景物的人造光的强度。在分辨率同时降低的情况下，以增加量降低人造光的强度。

也可以想象把先前章节中所描述的一或多种技术加以结合的实施例。

在其中捕获图像帧的第一步骤22之后，在一个第二步骤23中高速缓存对图像帧进行编码的像素值的阵列。在第二步骤23之后，在一个第三步骤24中，校准和处理它们。在一个最后步骤25中，把源于第三步骤的组合的最终图像存储在存储器件12中。尽管此时本描述将继续假设数码相机1执行所有的步骤22～25，然而也可以在一个独立的图像处理系统中，例如在一台个人计算机或者工作站中，执行第三和第四步骤24、25。在所述情况下，第二步骤将涉及把所生成的像素值的阵列存储在存储器件12中，或者经由一条数据链路(未在图中加以显示)将它们传送到计算机。

以下，通过举例的方式，描述了执行步骤23和24的过程中执行的一种形成一个组合的最终图像的方法。作为输入，它们均获取强度值阵列。强度值阵列对相应图像帧中的相应数目的像素位置中的每一像素位置处的光强度值进行编码，所述数目决定了所关注的图像帧的空间分辨率。生成强度值的导出阵列的一个集合，每一个导出阵列基于所获取的强度级阵列的其中相应的一个，并且对相应图像帧的至少一个重叠区域中的公共数目的像素位置中的每一个像素位置处的光强度级进行编码。在一个第一实施例中，导出阵列对空间域中的图像帧进行编码；在一个第二实施例中，导出阵列对空间频率域中的图像帧进行编码。可以看出，术语‘导出阵列(derived array)’不旨在表示把值的一个阵列作为一个数据结构存储在存储器中。为了在某一时间点求和，可以得到一个抽象阵列的相应的元素就足够了。因此，每一个导出阵列的每第i个元素应该为同时可得的。这允许一个组合的强度值阵列的生成，其中，每第i个元素基于导出阵列的第i个元素的一个总和(其可以为一个加权的总和)。后者的值代表空间或者空间频率域中的强度值。还可以看出，导出阵列可以完全对应于所获取的阵列。例如，如果所获取的阵列已经处于求和的正确域，并且对已经校准的相应的图像帧进行了编码，则情况如此。两个实施例还都把对组合的最终图像进行编码的强度值的一个阵列作为输出加以提供，这一阵列基于求和所得到的组合的强度值的阵列。在某些实施例中，其实际上与组合的强度值的阵列相同。

在一个第一实施例中，作为第二步骤23或者第三步骤24的一部分，把所捕获图像帧的集合转换成由像素值的阵列的一个相应的集合所编码的所调整的图像帧的一个集合。在这一第一实施例中，对一个所捕获图像帧进行编码的强度值的一个阵列中的每一个像素值代表一个区21中包围多个像素位置之一的一个光级。像素位置的数目与图像帧的空间分辨率成比例，因为相应图像帧的大小是相同的。每一个相继导出强度值阵列对一个基于所捕获图像帧之一的所调整的图像帧进行编码。按这样的一个方式生成每一个(强度值：每一个强度值)按对每一导出阵列相同的所希望的分辨率，对一个所调整的帧的至少一个区域进行编码。顺便提及，所述区域可以相应于整个图像帧。按这样的一个方式生成对一个所调整的图像帧进行编码的每一个阵列：对阵列中的区域进行编码的相应的像素值，代表基本上包围相同像素位置的一个区中的相应的光级。也就是说，对于相应于所关注区域中的一个像素位置的i的所有值，对同一所关注区域进行编码的每一阵列的像素值的第i个像素值对应于每一个阵列的相同的像素位置。

由于所捕获图像帧之间的空间分辨率不同，所以必须至少在所关注区域中通过一个乘法因子对它们中的至少之一的空间分辨率进行调整。否则，实现对一个所调整的帧进行编码的像素值的每一阵列，按相同的空间分辨率至少对所关注区域进行编码的特征，是不可能的。较佳的做法是，提高较低的分辨率帧的分辨率。当对所述区域进行编码的像素值被求和以形成组合的最终图像时，这产生了一个具有最高可能感知的空间分辨率的组合的最终图像。可以采用任何提高空间分辨率的已知的技术，例如插值。

然后，使用对那些在分辨率方面进行了调整的图像帧进行编码的像素值的导出阵列，来生成组合的像素值的一个阵列。这一阵列中的每一个元素为导出阵列的相应元素的总和。在一个例子中，总和为加权的总和。例如，权重可以与图像帧的曝光时间反关联。在另一个例子中，每一个组合的像素值为相应像素值的一个平均值。把如此形成的阵列作为输出加以提供。

图4A～4C中说明了形成一个组合的最终图像的方法的一个第二实施例。像素值的一个第一阵列26对一个第一图像帧中的一个相应数目的像素位置中的每一像素位置处的光强度级进行编码。每一个强度值代表包围一个像素位置的一个区中的一个光度。对于对一个第二图像帧进行编码的像素值的一个第二阵列27，情况同样如此。第一和第二图像帧代表了同样的所捕获的景物。此处将假设：先前已经校准了由第一和第二阵列26、27编码的图像帧。存在着一些已知的用于把图像校准为子像素分辨率的方法，例如，使用取样点。

把像素值的第一阵列26划分成4个块28～31。把像素值的第二阵列27划分成相同数目的块32～35。第一阵列26中的一个第一块28相应于第二阵列27中的一个第一块32，即代表了相应图像帧的一个基本重叠的部分。按同样的方式，第一阵列26中的一个第二块29相应于第二阵列中的一个第二块33，一个第三块30相应于第二阵列27中的一个第三块34，以及一个第四块31相应于第二阵列27中的一个第四块35。就包含在其中的像素值的数目而言，第二阵列27中的每一个块32～35将成比例地小于第一阵列26中的块28～31中的相应的一个块。在图4A中所说明的例子中，由包含2×2个像素值的块的第二阵列27表示低分辨率的图像帧，而由第一阵列26表示高分辨率的图像帧，其中，每块28～31具有8×8个像素值。图4A中仅描述了第一块28、32中的像素值。

逐块地执行一种向空间频率域的离散余弦变换(DCT)。通过对代表空间域中的第一图像帧的第一阵列26执行DCT，获取一个DCT系数第一阵列36(图4B)。通过对第二阵列27执行一个DCT，获取一个DCT系数第二阵列37。DCT系数第一阵列36和第二阵列37然后仅在空间频率域对相应图像帧中的一个相应数目的像素位置中的每一像素位置处的光强度级进行编码。DCT系数的数目确定了空间分辨率。

在随后的步骤中，根据DCT系数第一阵列36，导出代表强度分布的最低频率分量的4个DCT系数38a～38d。根据该阵列，导出4个代表DCT系数第二阵列37中相同频率处的分量的DCT系数39a～39d。由于先前已经校准了图像帧，所以导出阵列代表了第一和第二图像帧中的一个共同数目的像素位置中的每一个像素位置处的光强度级。在该例子中，每个导出阵列包括四个元素。

在接下来的步骤中，生成对(空间频率域中)一个组合的图像进行编码的一个DCT系数阵列40。也把阵列40划分成4个块41～44。一个第一块41基于第一块28、32，一个第二块42基于第二块29、33，一个第三块43基于第三块30、34，以及一个第四块44基于第四块31、35中的值。4个DCT系数45a～d代表了第一块41所编码的组合的最终图像的部分的最低频率分量。它们均基于根据DCT系数的第一和第一阵列36、37导出阵列中的相应的元素的值38a～d、39a～d所代表的强度值的总和。可以经由一个加法或者平均过程实现这一点。第一块41中的其余的DCT系数仅基于DCT系数第一阵列36中的DCT系数的相应块中的DCT系数。因此，它们可间接地基于像素值第一阵列26中的第一块28中的像素值。于是，可按高于像素值的第二阵列27所代表的图像帧的分辨率对组合的最终图像进行编码。在所说明的这一例子中，组合的最终图像的空间分辨率相应于第一图像帧的组合的最终图像。在可选的实施例中，其具有第一和第二图像帧的值之间的一个值。

图4A～4C中所说明的实施例具有多个使在数码相机1中实现很诱人的特性。无需把像素值第二阵列27按比例增加至与第一阵列26相同的像素值的数目，从而避免了特别需要大量处理，并且要求功能相当强大的微处理器13的插值过程。而且，相对地限制了执行强度值求和所需的加法的次数，例如，仅添加了DCT系数38a～d、39a～d的导出阵列。然而，对组合的最终图像按这样的一个分辨率进行编码：高于按对其所基于的低分辨率图像进行编码的分辨率。之所以如此，原因在于其基于第一阵列26中的足够数目的像素值。

在一种有利的实现中，通过使用协处理器15，执行向空间频率域的变换。前面描述过协处理器15包括通过按硬件实现生成JPEG压缩图像的图像压缩算法。于是，可把微处理器13从必须计算第一和第二阵36、37中的DCT系数的事务中解脱出来。

在一个变通形式中，协处理器15把第一和第二阵列26、27转换成JPEG格式，从而生成组合的强度值的阵列。在另一个实施例中，协处理器15返回DCT系数，而且微处理器13执行该方法中的其余步骤。在一个实现中，通过传送一个针对熵编码的空系数表，获取DCT系数，所述熵编码通常为图像压缩算法的一部分。

为了实现按照对阵列中的区域进行编码的相应强度值代表包围同一像素位置的一个区中的光度的方式，来生成对一个所调整的图像帧进行编码的每一导出阵列的特性，有利的做法是采用PCT/EP04/051080中所概述的一或多种方法的校准。这同时用于以上所介绍的组合方法的两个实施例。此处并入该文档的相关章节，以作参考。在此处所说明的两个实施例中，校准的步骤在求和步骤之前。在第二个实施例中，其通常也先于向空间频率域的变换。在不校准的情况下，仍可把对所调整的图像帧中的区域进行编码的强度值的阵列称为具有这样的特性：它们对基本上包围多个像素位置中的同一像素位置的区中的光度进行编码。由于照相机颤动的影响，仅仅是像素位置的对应度略差一些。

在为校准图像帧进行了调整和向它们提供了相同的空间分辨率之后，形成组合的最终图像。通过形成对一个组合的最终图像中的区域进行编码的像素值的一个阵列，以使所形成的阵列中的每一个像素值为对所调整的图像帧中的区域进行编码的像素值的阵列中的相应的像素值的总和，实现这一点。

以上概述了具有较高分辨率的所捕获的图像帧具有一个较高噪声水平的情况，并且概述了像素组合降低了噪声水平的情况。从图5中可以看出这一点，图5还说明了本发明中所使用的噪声成形技术的良好的效果。包围最左区46的虚线限定了包含在所像素组合的、较低分辨率图像中的频率信息的范围的边界，并且表示了噪声水平。同样，包围最右区47的点划线针对已向其施加了高通数字过滤的一个较高分辨率图像。可以在空间分辨率的调整与/或校准之前，或者相继于其，施加数字高通过滤。在不施用高通过滤的情况下，最右区47将按相同的噪声水平扩展至较低的频率。一条代表人(或者就所述问题而言的动物)眼睛的敏感度的连续的曲线48，表示较低频率处的高分辨率图像帧的噪声水平是可感知的。通过捕获独立的低分辨率图像帧和高分辨率图像帧，以及通过使后者经历一个高通过滤所实现的噪声成形，产生一个具有在所有空间频率上的可接受的噪声水平的组合的最终图像。

本发明不局限于以上所描述的实施例，在所附权利要求的范围内，可以改变这些实施例。用于捕获一个组合的最终图像的图像帧的不同级别的空间分辨率的数目可以为两或两个以上。可以在数码相机1外部的一个图像处理系统中执行像素值的高通过滤和求和。作为选择，也可以在执行形成对组合的最终图像进行编码的像素的阵列的像素值的实际求和之前，在数码相机中执行所有的步骤。然后，针对向计算机或者其它图像处理系统的相继的传送，把这样的所调整的图像帧存储在数码相机1中。另外，取代对每一所捕获的图像的曝光不足，可以把图像捕获器件(CDD或者CMOS)和A/D转换器的输出之间的一个放大器的增益设置得非常高。曝光为“正确的”，但图像具有低于较慢曝光情况的质量。在这样的一个实施例中，以上所概述的方法提高了图像的质量。

Claims (17)

1.一种控制图像捕获系统(1)的方法，所述系统包括：

接口，包括微处理器(13)、输出装置(16)和输入装置(17)，用于接收外部触发以捕获图像；以及

图像捕获器件(6)，具有光敏区(5)和像素单元(7)阵列，每一个像素单元(7)包括用于生成信号的器件，所述信号指示落在光敏区(5)的一个相关部分上的光的强度，所述图像捕获器件(6)还具有由选择电路(8)和读出电路(9)组成的读出电路系统，用于生成像素值阵列以按所设置的空间分辨率捕获图像帧，使得每一个像素值代表在一个曝光时间间隔期间、在多个簇区(21)中的一个相关的簇区中的至少一个像素单元(7)中所生成的一个或多个信号的集成，由所设置的空间分辨率确定所述簇区(21)的数目，所述簇区共同覆盖对应于图像中的一个区域的光敏区(5)的一个区域，所述方法包括：

接收外部触发以捕获图像，和响应该外部触发，指导图像捕获器件通过生成代表各相应的连续曝光时间间隔期间的集成的像素值相应阵列，捕获至少两个图像帧，

其中，

将至少两个所捕获图像帧的空间分辨率设置成不同的值。

2.根据权利要求1所述的方法，其中所述至少两个所捕获图像帧中的一个所捕获图像帧的空间分辨率比至少一个其它所捕获图像帧的空间分辨率低。

3.根据权利要求2所述的方法，其中，通过指导图像捕获器件(6)按每一个像素值代表像素单元(7)中至少两个器件所生成的信号的总和的集成的方式生成像素值阵列，至少设置较低的空间分辨率值。

4.根据权利要求3所述的方法，包括为组合的最终图像取回所希望的曝光时间；确定将加以捕获的图像帧的数目；针对每一个图像帧，计算用于确定可施用于图像帧的曝光度的设置，所述设置包括曝光时间间隔的长度，其中，对所述设置进行计算，使得所述数目的图像帧上的曝光时间间隔长度的总和等于或小于所希望的曝光时间。

5.根据权利要求2或4所述的方法，其中，依据空间分辨率值，计算至少适用于较低的空间分辨率值的图像帧的曝光时间间隔的长度。

6.根据权利要求1～4中任何一个权利要求所述的方法，包括生成像素值阵列集合的步骤，每一个阵列基于所捕获的图像帧之一，使得每一个阵列按相同的空间分辨率对所调整帧的至少一个区域进行编码。

7.一种图像捕获系统，包括：

接口，包括微处理器(13)、输出装置(16)和输入装置(17)，用于接收外部触发以捕获图像；

图像捕获器件(6)，具有光敏区(5)和像素单元阵列(7)，每一个像素单元包括一个用于生成一个信号的器件，所述信号指示落在光敏区(5)的一个相关部分上的光的强度，所述图像捕获器件还具有由选择电路(8)和读出电路(9)组成的读出电路系统，用于生成像素值阵列以按设置的空间分辨率捕获图像帧，使每一个像素值代表在一个曝光时间间隔期间、在多个簇区(21)的一个相关的簇区中的至少一个像素单元中生成的一个或多个信号的集成，由所设置的空间分辨率确定所述簇区的数目，所述簇区共同覆盖对应于图像中的一个区域的光敏区(5)的一个区域，所述图像捕获系统包括：

控制系统，包括数字信号处理器(11)和微处理器(13)，用于控制图像捕获器件的操作，以及用于处理通过所述接口(13、16、17)所接收的命令，

其中，所述控制系统被配置成能够响应外部触发，指导图像捕获器件通过生成代表在相应连续曝光时间间隔期间的集成的像素值的相应阵列，捕获至少两个图像帧，

其中，所述控制系统还被配置成能够将至少两个所捕获图像帧的空间分辨率设置成不同的值。

8.根据权利要求7所述的图像捕获系统，其中，图像捕获系统(13)配置成执行根据权利要求1～6中任何一个权利要求所述的方法。

9.一种根据如权利要求7或8所述的图像捕获系统捕获的多个图像帧形成一个组合的最终图像的方法，包括下列步骤：

获取第一像素值阵列和至少另一个像素值阵列，

每一个像素值阵列对相应图像帧中的相应数目的像素位置中的每一像素位置处的光强度级进行编码，所述数目确定所关注的图像帧的空间分辨率；

生成像素值的导出阵列的集合，每一个导出阵列基于所获取的强度级阵列中的一个相应的阵列，并且对相应图像帧的至少一个重叠区域中的共同数目的像素位置中的每一像素位置处的光强度级进行编码；

生成组合的像素值阵列，其中的每一个元素基于像素值的相应导出阵列中的每一阵列中的相应元素所代表的像素值的总和；以及

提供对组合的最终图像进行编码的像素值阵列，所述阵列基于组合的像素值的阵列，

其中，

获取按比另一个像素值阵列高的分辨率对至少重叠区域进行编码的第一像素值阵列，

提供按比另一个像素值阵列高的空间分辨率对组合的最终图像中的至少重叠区域进行编码的一个像素值阵列，以及

对组合的最终图像进行编码的像素值阵列基于第一像素值阵列中足够数目的像素值，按比另一个像素值阵列高的分辨率对重叠区域进行编码。

10.根据权利要求9所述的方法，包括获取第一和另一个像素值阵列，其中每一个像素值代表一个包围一个像素位置的区中的光度，其中，通过利用一个乘法因子对一个阵列中的像素值的数目进行调整，获取至少一个导出的像素值阵列，以使得每一个导出阵列可按相同的空间分辨率对至少重叠区域进行编码。

11.根据权利要求10所述的方法，其中，利用一个大于1的乘法因子对基于一个所获取的另一个像素值阵列的至少一个阵列中的像素值的数目进行调整。

12.根据权利要求9所述的方法，其中，通过将由基于所获取的像素值的阵列之一的、而且其中每一个像素值代表包围一个图像帧中的一个像素位置的一个区中的光度的一个像素值阵列编码的一个图像帧，变换到空间频率域，来生成每一个像素值的导出阵列，以使得像素值的导出阵列中的每一个像素值代表图像帧的一个空间频率分量的强度。

13.根据权利要求12所述的方法，其中，提供对组合的最终图像进行编码的像素值阵列的步骤包括：用至少部分地基于代表组合的像素值阵列中的相应空间频率分量的像素值来替换代表基于所获取的第一像素值阵列的像素值导出阵列中的一个低空间频率分量的至少一个像素值。

14.根据权利要求12或者13所述的方法，其中，由包括一种图像压缩算法的至少部分按硬件实现的协处理器，或者由一个被编程旨在实现一种图像压缩算法的数字信号处理器，来执行所述变换。

15.根据权利要求9～13中任何一个权利要求所述的方法，其中，在生成组合的一个像素值阵列的步骤之前，存在这样一个步骤：校准图像帧，以使每一个导出阵列对至少重叠区域中每一对应的像素位置处的光强度级进行编码。

16.根据权利要求9～13中任何一个权利要求所述的方法，其中，使基于一个按高于至少另一个像素值阵列的空间分辨率、对至少相应的图像帧中的重叠区域进行编码的所获得的像素值阵列的至少一个像素值阵列经历一个数字过滤操作，该数字过滤操作具有使图像的高空间频率分量通过的特征。

17.一种用于根据如权利要求7或8所述的图像捕获系统捕获的多个图像帧形成一个组合的最终图像的图像处理系统，该图像处理系统包括一个用于加载第一像素值阵列和至少另一个像素值阵列的配置，

每一个像素值阵列对相应图像帧中的相应数目的像素位置中的每一像素位置处的光强度级进行编码，所述数目确定了所关注的图像帧的空间分辨率；以及一个数据处理配置，用于处理像素值，其中，所述系统包括：

用于生成像素值的导出阵列的集合的装置，每一个导出阵列基于所获取的强度级阵列中的相应的一个阵列，并且对相应图像帧的至少一个重叠区域中的共同数目的像素位置中的每一像素位置处的光强度级进行编码；

用于生成组合的像素值阵列的装置，阵列中的每一个元素基于像素值的相应的导出阵列中的每一阵列中的相应元素所代表的像素值的总和；以及

用于提供对组合的最终图像进行编码的像素值阵列的装置，所述阵列是基于组合的像素值的阵列的，

其中，

所述系统配置成能够加载按比另一个像素值阵列高的分辨率对至少重叠区域进行编码的第一像素值阵列，以提供按比另一个像素值阵列高的空间分辨率对组合的最终图像中的至少重叠区域进行编码的像素值阵列，以及使对组合的最终图像进行编码的像素值阵列基于第一像素值阵列中足够数目的像素值，按比另一个像素值阵列高的分辨率对重叠区域进行编码。

Images