CN101690162B - 图像捕捉设备及方法 - Google Patents

Abstract

一种图像捕捉设备(2)，包括具有工作区域的传感器(4)，该工作区域具有多个像素(6)及控制每一像素曝光的快门阵列(8)，像素被划分成多组像素模块并用于捕捉多张时间分离的低分辨率图像，这些低分辨率图像可类似电影地连续播放或用于组合形成一张高分辨率静态图像。

Description

图像捕捉设备及方法

技术领域

本发明涉及一种图像捕捉设备以及图像捕捉方法，包括但不限于能同时对静态活动图像及动态图像(电影)进行捕捉的设备与方法。

背景技术

电子照相机大体分为两种类型：静态照相机与视频照相机。然而，现有一些照相机是两种照相机的组合，例如，一些“视频”照相机既可捕捉电影，也可捕捉静态图像。

另一方面，一些静态照相机也具有“电影”拍摄功能，能捕捉一系列有序的图片，这些图片能像电影一样连续播放。本发明主要涉及(但不限于)后者。

电子照相机大多具有一个图像捕捉设备或传感器，该传感器具有排列成阵列的感光探测器或图像元素(像素)，活动图像或电影的捕捉可通过记录传感器探测到的连续图像实现。

连续图像捕捉的速度(帧率)取决于传感器尺寸的大小(也就是阵列中像素的数量)，而这又受限于传感器数据读取(以数字方式)的速度。高速地从图像传感器中读取信息将产生噪声(读噪声)，降低图像信号的质量。因此，如果传感器像素较大，帧率大多很慢。像素较少的小传感器具有较快的帧率，但图像的分辨率将相应地降低。

发明内容

本发明的目的是提供一种减少上述技术缺陷的图像捕捉设备以及图像捕捉方法。

本发明提供一种图像捕捉设备，其设有包括一个工作区域的传感器，该工作区域具有多个像素，每一像素具有表示该像素曝光时形成的有用数据，并设有一个用于存储每一像素形成数据的数据存储器，所述多个像素组成多个像素模块，所述图像捕捉设备可用于捕捉多张时间分离的低分辨率图像，每一低分辨率图像包含从取自不同像素模块的数据。

本发明允许一系列时间分离的低分辨率图像嵌入到高分辨率的图像中，这些嵌入的低分辨率图像能像电影一样连续播放，或者将低分辨率图像的数据组合形成一张高分辨率图像，因此，该设备能同时捕捉电影及静态图像。该设备捕捉图像的帧率远高于目前同等传感器设备所能达到帧率，虽然这些低分辨率图像的空间分辨率低于高分辨率图像，但仍能满足多种场合的需求，分辨率与帧率之间的平衡可以容易地调节。并且，静态图像的捕捉不会造成空间分辨率的损失，且不会增加对设备数据存储容器容量增加的需求。

优选地，图像捕捉设备能组合所述多张低分辨率图像的数据来形成一张高分辨率图像。

优选地，至少一个像素模块基本包括传感器内全部工作区域的像素，这样，由一个像素模块生成每一低分辨率图像将会是一张全帧图像。相对应地，至少一个像素模块包含的像素少于传感器内全部工作区域，这允许设备以不同的空间分辨率及时间分辨率对画面中不同部分进行摄像，这可应用在特定的安全照相机或机器人系统中。

图像捕捉设备可包括一个具有多个快门元件的快门阵列，每一快门元件用于控制一个像素的曝光。当然，每一快门元件可控制多于一个像素的曝光，该快门元件的面积将大于每一像素的面积。当然，每一快门元件的面积也可小于一个像素的面积，每一像素的曝光由多个快门元件控制。

快门阵列可具有多个可变透明度或可变反射率的快门元件。快门阵列可安装在传感器的工作区域上或在传感器前(优选地，在快门阵列与传感器之间设置聚焦设备)。

并且，快门阵列可包括多个具有可变方向的快门元件，这些快门元件可设置反射镜，以朝向或背向传感器方向传导或反射光线。

优选地，图像捕捉设备设置控制设备以控制快门阵列的工作，例如，可控制传感器内所有像素划分成像素模块的数量、每一像素模块的曝光时间以及与曝光相关的时间、设备的工作模式(例如，电影/静态模式或全静态模式)。控制设备可驱动快门元件以预定的或随机的或半随机方式工作，该半随机方式能被解码并可用于还原高速的图像序列。控制设备还可用于控制一种可选的工作模式，在该工作模式下，所有快门元件被同时驱动。

在另一个优选地实施例中，每一像素均与一个电荷存储设备连接，每一像素上的电荷能转移至电荷存储设备上，图像捕捉设备还设置一个用于控制电荷转移的控制设备以捕捉所述时间分离的低分辨率图像。按照这样的设置，图像捕捉设备不需要设置快门阵列，可简化设备的结构。

本发明还提供一种具有上述任一权利要求所述图像捕捉设备的照相机，该照相机还设有一个用于聚焦光线到传感器工作区域的透镜。

照相机可以设置一个用于显示所捕捉的图像的显示装置，该显示装置可以显示一张高分辨率图像或连续的低分辨率图像。

当然，照相机包括一个控制设备以控制像素模块的曝光时间。

根据本发明的另一个方面，还提供一种图像捕捉方法，该方法应用一种具有传感器的图像捕捉设备实现，该传感器具有包括多个像素的工作区域，该方法包括曝光传感器，存储每一像素曝光时形成的数据，并捕捉多张时间分离的低分辨率图像，其中，所述多个像素组成多个像素模块，每一低分辨率图像包含取自不同像素模块的数据。

并且，该方法包括顺序地曝光多个像素模块，优选地以预定的或随机的或半随机的顺序曝光。当然，多个像素模块还可以同时曝光，以捕捉一张高分辨率的运动模糊较少的静态图像。

并且，该方法包括将每一像素上的电荷转移至电荷存储设备并使所存储的电荷数字化的步骤。

该方法还包括组合多张低分辨率图像的数据形成高分辨率图像，优选地，显示该高分辨率图像。

该方法还可以包括播放连续的时间分离的低分辨率图像。

下面结合附图以及实施例详细说明本发明。

附图说明

图1是本发明图像捕捉设备第一实施例示意主视图；

图2是图像捕捉设备局部放大主视图；

图3是图2中图像捕捉设备快门元件曝光时间的时序表；

图4是图像捕捉设备捕捉图像的顺序图表；

图5是图像捕捉设备的主视图，图中显示操作顺序的一个实施例；

图6是本发明图像捕捉设备第二实施例光学设置的示意侧视图；

图7是本发明图像捕捉设备第三实施例光学设置的示意侧视图；

图8是本发明图像捕捉设备第四实施例光学设置的侧视图；

图9是本发明图像捕捉设备第五实施例局部主视图；

图10是本发明图像捕捉设备第六实施例局部放大主视图；

图11是具有本发明图像捕捉设备的照相机结构示意框图。

具体实施方式

图1至图4显示了本发明第一实施例的图像捕捉设备，图像捕捉设备2具有传感器4，传感器4设有一个工作区域，该工作区域包含排列成正方形阵列的图像元素(像素)6。传感器4可以是CCD、CMOS设备或类似的设备。本实施例中，传感器4是一个具有百万像素的CCD设备，其包括一个正方形的阵列，阵列具有1000像素的横向宽度以及1000像素的纵向宽度。传感器可以大于或小于该尺寸，并具有不同的长宽比例，且像素可排列成多种不同的形状。

位于传感器4正前方的是电子快门设备8，其具有与像素尺寸大小相等的快门元件10的阵列。快门元件10被排列成与传感器4的像素6相匹配的形状，以便每一快门元件控制其正后方的像素的曝光。因此，本实施例的快门设备8具有一百万个快门元件10，排列成1000×1000的阵列，每一快门元件10可被单独地驱动或与一个或多个其他快门元件一起驱动以曝光位于其后方的像素6。

本实施例中，快门设备8由铁电液晶设备构成，该铁电液晶设备包括排列成阵列的液晶单元，每一液晶单元可根据电压控制变得透明或不透明，这让快门元件10可快速地工作。由于该机构没有移动部件，因此其工作可靠。当然，其他可被电子式地控制且需要提供必须的像素电平的快门机构也可以用于本发明。

通常，快门设备8具有A个快门元件，并划分成N个模块，我们定义为模块1、模块2……模块N，每一模块具有A/N个快门元件。本实施例中，快门设备具有一百万个快门元件(A)以及四个模块(N)，每一模块具有250,000个快门元件。像素6位于像素模块对应的快门元件10后方。

不同模块的快门元件10排列组成快门组12，每一快门组具有每一模块的一个快门元件。如图2所示的，本实施例中，每一快门组12具有四个排列成正方形的快门元件10，包括位于左上角的模块1的快门元件10A、位于右上角的模块2的快门元件10B、位于左下角的模块3的快门元件10C以及位于右下角的模块4的快门元件10D。快门设备8具有250,000个这样的快门组。像素也类似地排列形成像素模块以及像素组，每一像素组包括每一像素模块的一个像素。像素组基本覆盖传感器4所有工作表面，因此，每一像素模块具有取自传感器4几乎所有工作区域的像素。

每一模块的快门元件相互间均电连接，以便在控制电路的控制下该模块的所有快门元件同时开启或关闭。本实施例中，四个快门模块按图3所示的顺序依次开启。

可见，快门模块1开启时间为0.25秒，接着模块2在接下来的0.25秒内开启，然后模块3再开启0.25秒，最后模块4在第四个0.25秒内开启。因此，所有模块的总工作时间Ti为1.0秒，每一像素的曝光时间即为Ti/N(本实施例中为0.25秒)。

每一曝光时间内，位于开启的快门元件下方的像素在光线下曝光。然而，像素并不是同时曝光的，而是随着相对应的快门元件开启与关闭被依次曝光。因此，位于模块1的快门元件后方的像素在第一个0.25秒内曝光，然后依次是位于模块2、3、4的快门元件后方的像素。

曝光时间内，伴随每一像素表面的光子放电，每一像素将产生一定量的电荷。在总的工作时间Ti后，所有像素上的电荷将被数字化，并且数字化后的图像数据将从传感器4转移至存储设备。

存储的图像数据可被显示成动态图像(电影)或一张静态图像，当显示成电影时，每一像素模块的图像数据将形成一张独立的图像。因此，如图4所示的，图像1是由像素模块1内所有像素捕捉的图像数据形成，其表示光线在第一个0.25秒内入射到传感器时形成的图像。图像2是由像素模块2内所有像素捕捉的图像数据形成，其表示光线在第二个0.25内入射到传感器时形成的图像，图像3与图像4也类似地形成。四张图像将依次显示，就像一个四帧的视频。所显示的低分辨率图像内的每一像素的位置将发生移动，这是因为采集数据的像素位置发生轻微的变化。电影中的每帧图像具有250,000像素，这是传感器最高分辨率的四分之一。我们这里定义低分辨率(lo-res)图像是区别于使用所有像素形成的高分辨率(hi-res)图像。

如果需要播放连续的视频，则可重复一次或多次上述操作，以每Ti秒获取一组数据的速度捕捉多组数据，并按顺序依次播放所捕捉的低分辨率图像。

若需要显示一张静态图像，传感器上的所有像素形成的数据将合成一张全帧的高分辨率图像。本实施例中，该图像是一百万像素的，这可通过组合四张低分辨率图像的数据来实现形成一张高分辨率的图像。

每一模块的像素不一定需要按照如图2所示的规则形状排列，可以应用一个数字图案来实现快门组内像素的随机排列，该数字图案可以由随机数生成器生成，使用者输入一个源参数，随机数生成器重新排列曝光组内每一像素的位置。如图5所示，假设一个具有4方阵的6×6的像素集内，每一像素组具有4个像素。数字图案生成一个重新排列的序列，用于在前述的总工作时间内曝光像素组内的所有像素，但像素的曝光时间被重新排序。

图2中，未重新排序的序列((1，2，3，4)，(1，2，3，4)，(1，2，3，4)….)表示位于第一快门组左上角的像素6A曝光时间在0-0.25秒之间，位于第一快门组右上角的像素6B曝光时间在0.25-0.5秒之间，如此类推。由于操作按照预定的模型重复进行，每一像素组的曝光时间相同。

相反地，图5所示的重新排序后的序列((3，2，1，4)，(4，1，2，3)，(2，3，1，4)…)表示第一快门组左上角的像素6A曝光时间在0.5-0.75秒之间，第一快门组右上角的像素6B的曝光时间在0.25-0.5秒之间，第一快门组左下角的像素6C曝光时间在0-0.25秒之间，第一快门组右下角的像素6D曝光时间在0.75-1.0秒之间。第二曝光组具有不同顺序的曝光时间：第二快门组左上角像素的曝光时间在0.75-1.0秒之间，第二快门组右上角像素的曝光时间在0-0.25之间，如此类推。此外，这些时序不会在连续的帧上重复出现：从0至1秒的曝光模型与1至2秒的不同，以后每帧也类似，这取决于重新排序的长度。

选用随机的快门图案具有两个优点。首先，低分辨率图像的每一像素的位置可随机的布置，即使相邻两像素之间的平均距离相等。像素的随机分布相对于规则的简单排列在图像修复应用中的优点在Resnikoff、Poggio和Sims申请的名为“RandomArray Sensing Devices”的4574311号美国专利中有详细描述。其次，如果获得正确时间下重新排列顺序的序列，低分辨率图像顺序是可以单向恢复的。正如重新排列顺序由包含有使用密钥生成随机数的算法产生，一旦观看图像顺序的观看者输入该密钥，图像顺序能单向恢复，这能使图像顺序被加密以防止被未经许可地观看。

除了像图2与图5所示的排列成规则的正方形形状外，快门组还可以排列成不规则的多边形形状，快门组可只精确地覆盖感兴趣的区域，而不覆盖不需要的像素。其中一个具体的应用是在生命科学领域，当使用者只希望监控显微镜下一小部分细胞的活动情况，他可以围绕这些感兴趣的细胞画一个不规则的形状，通过算法将在该形状内的像素划分成组，并在不同时间内曝光。

如果被传感器成像的物体在曝光期间移动，图像将产生“运动模糊”现象，并且运动模糊的程度通常要高于传统的静态照相机传感器产生的程度，因为传统的照相机传感器中所有像素是同时曝光，而本发明的总曝光时间长于单一像素的曝光时间。

然而，若物体移动较少或没有移动，所形成图像的质量将大体上与传统的传感器相当。

当然，图像捕捉设备可以工作在不同的模式下，例如所有快门元件如前述的依次动作的“电影/静态”模式，或者所有快门元件同时动作的“全静态”模式。在电影/静态模式下，所捕捉的低分辨率图像类似电影一样连续播放，或组合形成一张高分辨率图像(可能带有运动模糊)。在全静态模式下运动模糊与传统的传感器相当，这是因为传感器不能捕捉时间分离的低分辨率图像，图像也不能像电影一样连续播放。

当然，一部分像素可用于获取一张无模糊的高分辨率图像，其他像素如前述的用于获取一系列低分辨率图像。使用者可根据图像质量的要求选择生成高分辨率无模糊图像的像素数量，例如，使用50％的像素用于生成高分辨率无模糊图像，并且该模块组的像素分布在整个阵列中，这些像素将同时曝光，并在使用者设定的最佳曝光时间的一瞬间进行。其他的像素如前述的将被划分为N-1组，并被依次曝光形成电影顺序。用于形成高分辨率图像的像素可分布成规则形状(例如，每一模块中的第二像素)，或者随机地、半随机地分布(这样，在设定的子区域内相邻像素的平均距离相等，但该区域内的每一像素按已知的规律随机分布)。高分辨率图像中所缺失的像素可使用各种已知的图像处理技术修复。像素的随机分布相对于规则的简单排列在图像修复应用中的优点在Resnikoff、Poggio和Sims申请的名为“RandomArray Sensing Devices”的4574311号美国专利中有详细描述。

除了使用与像素数量相等的快门组外，还可以在全景图像中使用具有不同尺寸的快门组来生成具有多种分辨率的图像。例如，上半部分的探测器使用规格为4的快门组生成图像(这样，捕捉全帧图像时将形成四张低分辨率图像)，而下半部分的探测器使用规格为9的快门组生成图像(这样，捕捉全帧图像时将形成九张低分辨率图像)。

原则上不同帧组的数量可根据使用者的需要自由定义，使用者可能需要在同一画面内监控多个运动的物体，并根据每一物体设定最佳的设置(帧率与分辨率)。快门组的规格以及形状也可一帧一帧地动态地变化，以满足画面中不同图像的需要。

在特定的环境下，可以选用不同规格的快门元件以便使每一快门元件控制多于一个像素的曝光，每一快门元件的有效面积将大于一个像素的面积，这将允许快门设备中快门元件的数量少于像素的数量。当然，每一快门元件的面积也可以小于一个像素的面积，每一像素的曝光将由多个快门元件控制。在特定环境下这将有助于聚焦，因为不同快门能用于补偿透镜形成的轴向弯曲，通过开启不同组的快门还可以增加传感器各帧的空间分辨率。

下面使用一个具体的例子说明本发明在具有8.2百万像素传感器的单反照相机中的应用，该传感器具有2340×3500像素。目前，传统的同等规格照相机能以每秒五帧的速度捕捉全帧图像，如果该照相机应用本发明的技术，则每一全帧图像可以分成十张0.82百万像素的低分辨率图像捕捉，这些低分辨率图像可以在电影模式下以每秒五十帧的速度顺序播放，每帧的规格是738×1108像素。当然，每一组低分辨率图像可以组合形成一张具有8.2百万像素的高分辨率静态图像。

由此可见，每一全帧图像嵌入的低分辨率图像越多，获得的帧率越高。当然，如果较低的帧率已经满足要求，则可以获取较高分辨率的图像。

如前所述，连续两张低分辨率图像的曝光时间间隔等于每次曝光的持续时间，也就是下一曝光的开始时刻是上一曝光结束时刻，而总曝光时间Ti等于Nt，其中N是像素模块的数量，t是每一像素的曝光时间。当然，相邻两次曝光的时间间隔与每次曝光时间是可以调整的，以使得曝光时间重叠或分离，这将有利于使用者对运动模糊或在低光强环境下拍摄进行补偿。例如，曝光时间可以减少至0.15秒，而并非如图3所示的0.25秒。每一像素模块的曝光时序如下所示：

像素模块1从0至0.15秒，像素模块2从0.25至0.4秒，像素模块3从0.5至0.65秒，像素模块4从0.75至0.9秒，总的曝光时间将少于Nt。

另外一个例子中，曝光时间可以增加至0.4秒，各像素模块的曝光时间如下：像素模块1从0至0.4秒，像素模块2从0.25至0.65秒，像素模块3从0.5至0.9秒，像素模块4从0.75至1.15秒。这样，像素模块的曝光时间将重叠(1与2重叠，2与3重叠，3与4重叠，4与1重叠)。曝光时间的间隔可根据物体的转变或移动速度相应调整。

另一个方案是，像素模块并非在总曝光时间的一小部分时间内依次曝光，他们可在总曝光时间Ti除去短暂的光线遮挡时间内曝光。光线遮挡时间可以在每一像素模块之间轮转，遮挡时间内的像素值可通过N条线性方程计算出来，其中N为未知值。例如，短暂的遮挡时间可以是Ti/N，其中Ti是总曝光时间，N是像素模块的数量，每一像素的曝光时间即为Ti-Ti/N，当N为较大的数值是，每一像素的曝光时间接近于总的曝光时间Ti。在低分辨率图像带有诸如光强误差时，每一像素的光强可以从邻近的像素中推断得出，这一处理具有以下优点：在低光强的环境中获得的全分辨率帧图像的光亮度接近于传统传感器获得的全帧图像。

图1、6、7、8是传感器设备的多个不同的实际应用例子。图1中，随机可达LCD像素电平快门阵列8位于传感器阵列4表面，传感器阵列4是诸如CCD、CMOS或EMCCD等设备。快门阵列8，诸如铁电快门设备，其透明度可以快速地改变，便于在入射光线下将其背后的像素曝光。

如图6所示的，可以使用硅基液晶(LCOS)设备将光线反射至像素上。从物体14出射的光线经过物镜16的聚焦后反射至偏振滤光器(或分束器)18上，进而入射至LCOS设备20中，LCOS设备20将偏振光束按照使用者选择的模型反射出去。光束经过偏振滤光器18后聚焦通过目镜22入射至包含有CCD探测器的传感器4中。

当然，若使用一个反射像素电平快门(LCOS或DMD)，从被遮挡像素出射的光线能聚焦至与一个CCD探测器相对的另一CCD探测器中，这将确保CCD成像时捕捉多数光线。

指定像素的光强度值可以被集合以生成一张光亮的高分辨率图像。

如图7所示的设置中，快门阵列8与CCD传感器设备4之间具有一定距离，并设有两组透镜，其中第一组透镜24位于快门阵列8的前方，用于将物体14的图像聚焦至快门阵列。第二组透镜26位于快门阵列与CCD传感器4之间，用于将快门阵列形成的图像聚焦至CCD传感器4中。快门阵列8，诸如铁电LCD快门阵列，用于根据情况遮挡从传感器阵列出射的光线或允许光线从传感器阵列中通过。

如图8所示的设置中，高速数字微镜设备(DMD)28设置在一对物镜30的焦平面上，物镜30用于将物体14的图像聚焦在DMD28的表面上。DMD28包括一个随机可达的微型透镜32阵列，微型透镜32可在驱动电压的驱动下前后倾斜。DMD阵列具有0.7英寸的1024×768的双稳态微型透镜，其能容易并合适地实现每秒16,000全阵列透镜模型的质量。

微型透镜32可设置成将入射光线反射至CCD传感器阵列34的第一角度，或者设置成将光线反射至光陷阱36的第二角度。第二组透镜38位于DMD28与传感器34之间，用于将在DMD表面形成的图像聚焦至传感器34中。这样，DMD28可用于控制入射光线对每一像素的曝光。

上述的实施例均使用动态遮蔽技术，光线只是在像素前被诸如LCD快门设备或DMD阵列等实质性地遮挡。实际应用时，本发明还可以使用模拟实质遮蔽技术的静态片装遮蔽技术，即将像素上的电荷顺序地转移到另一芯片上被遮蔽的无电荷区域，图9是应用这种技术的传感器实施例的示意图。

图9中传感器40被划分为多列工作像素42以及与工作像素42相互独立的多列被遮蔽像素44，被遮蔽像素44被不透明的掩膜遮挡在入射光线之下，因此不在图像捕捉过程中参与工作。并且，被遮蔽像素44可用作电荷存储设备，每一被遮蔽像素44与相邻的工作像素42连接。工作时，电荷一列一列地从未被遮蔽的一列工作像素中转移至被遮蔽的一列非工作像素上。传感器可被设置成如图9所示的那样具有四个像素模块，并被定义为像素模块1、像素模块2、像素模块3以及像素模块4。像素模块位于曝光组46中，每一曝光组具有每一像素模块的一列像素元件。

每一像素模块的像素在曝光时间内在光线中曝光，像素上的电荷转移至邻近的一列遮蔽的像素上并被数字化，每一像素模块将依次重复这一过程，在每一高分辨率的全帧图像时间内形成四张时间分离的低分辨率图像。这些嵌入的低分辨率图像可以像电影一样顺序播放，或者组合形成一张高分辨率的图像。

一旦电荷转移至被遮蔽的像素上，未遮蔽的像素将马上在光线中再次曝光以捕捉下一图像。

下面将描述一个具有帧转移结构静态片装遮蔽处理过程。

我们假设CCD中帧转移数量为M列，其中芯片的部分暴露在光线中，且每Ti秒生成一张高分辨率的图像。曝光组由被指定的相邻N列组成，且每组第n列像素的电荷同时转移至被遮挡区域。

集聚在CCD的每一第n列上的电荷重复地在(n×Ti)/N时间内转移到被遮蔽的区域上，这确保所有列电荷的转移时间总和在Ti秒内。上述过程将重复进行，以使每列像素的总曝光时间为T秒，但每列像素的曝光是交错进行的。

任一子区域内第n列任一像素上的电荷可通过从前一列上像素减去相邻列像素计算出。

上述方案的一个实施例如下：假设具有1000像素宽的图像区域被划分为250个曝光组，每一曝光组具有四列像素，一个全帧图像的曝光时间为1秒。每一曝光组的第一列在t＝0.25秒的时刻转移至被遮蔽区域，第二列在t＝0.5秒时刻转移至被遮蔽区域，第三列在t＝0.75秒时刻发生转移，而第四列在t＝0.75秒时刻发生转移。一旦任一列的电荷发生转移，该列像素继续在光线中曝光，并在1秒后再次转移至被遮蔽区域(也就是第一列在t＝1.25秒、2.25秒等时刻发生转移，第二列在t＝1.5秒、2.5秒等时刻发生转移)。

当然，通过将电荷在被遮蔽像素与工作像素上来回移动可实现光线被短暂遮挡过程所实现的功能，另一种实现方式是使用一个CMOS探测器来存储在捕捉一张高分辨率图像时间内不同时刻下像素所产生的电荷。

图10显示了实现本发明的另一种方式。本实施例中，传感器设备50具有一个640×640的像素阵列，并且像素52与其相对应的快门元件(未示)被划分成一百个像素组54，每一像素组具有排列成8×8阵列的六十四个像素。使用时，每组54内的六十四个像素52依次曝光，例如，按照图10中的标注1-64的顺序曝光。由本实施例可见，每一像素组54内像素曝光顺序是相同的，这样设置的顺序能确保连续曝光的像素在空间上是相互分离的。本实施例中，首先曝光的像素位于第一列第一行，第二个曝光的像素位于第五列第一行，第三个曝光的像素位于第一列第五行，如此类推。

将不同组合的像素信号输出过程中，可以通过平衡时间分辨率与空间分辨率来调整传感器设备捕捉图像时帧率与分辨率的关系。例如，传感器设备捕捉的每一全帧图像可以显示成一张640×640像素的高分辨率图像，也可以是六十四张顺序播放的80×80像素的低分辨率图像。这样，可以将像素1至4合并形成一个模块(由于它们在相邻的较短时间内曝光)，像素5至8也类似地合并形成一个模块，如此类推，原来的六十四个像素组可合并形成十六个像素模块。所有的像素组也可以执行相同的操作，这样将形成十六帧160×160像素的图像。

当然，还可以进一步合并曝光时间邻近的像素，时间或空间分辨率的进一步合并是可以实现的。例如，如图10所示的，像素1-16(点填充)合并形成第一模块，像素17-32(条纹填充)合并形成第二模块，像素33-48(网状填充)合并形成第三模块，像素49-64(无填充)合并形成第四模块。这些合并后的模块形成的低分辨率图像可用于生成四帧320×320像素的图像序列。通常，一个具有N平方像素的传感器，且该传感器设有包括A个快门元件的快门设备，在等式4m×D2＝A成立时，将形成具有4m元素的图像序列，其中D是一个等于图像序列中每一图像尺寸(宽度和长度)的正整数，m是正整数。在原始快门组具有足够快门元件的前提下，这将允许使用者在图像捕捉后决定这些低分辨率图像合适的空间以及时间分辨率。当然，由于合并后模块的快门元件并不是同时曝光的，因此合并形成的新图像序列中的图像会发生变形。例如，如图10所示的合并形成的四帧320×320像素图像序列的清晰度可能低于如图2至4所示的所获得的四元素图像序列。

如果像素组的尺寸足够大，并能确保顺序曝光的像素之间有足够的距离，上述方案的多种变形可实现像素的随机布置。理论上说，像素组的尺寸可以做成所有像素形成一组的大小，这将允许使用者合并当前相邻近的所有像素以获得合适的图像序列。

本发明可以应用在多种场合，下面将说明其中一些应用。

家用照相机

本发明可应用在照相机中，主要用于捕捉静态图像，并尽可能地捕捉较高分辨率和帧率的电影。例如，如前所述的，照相机可以每秒五帧的速度捕捉8.2百万像素的连续图像，也可以每秒五十帧的速度捕捉0.8百万像素的电影。

给消费者带来的好处是：原始的高分辨率图像可被转换，且数据存储要求(存储器中图像大小)与传统的数字照相机相同。具体的应用包括视频获取和监控照相机操作，这允许使用者同时捕捉屏幕中某一细节的高分辨率图像以及多张低分辨率图像。

照相机的基本元件框图如图11所示。照相机60具有将图像聚焦至CCD传感器64上的透镜62，传感器64正前方设有LCD快门阵列66，用于控制每一像素在入射光线下曝光。LCD快门阵列66的工作由中央处理器(CPU)68控制，CPU68还与传感器64连接以读取传感器传送的数据。数据存储在诸如闪存卡的存储设备70中。照相机包括一个与CPU68连接的快门复位器72以及控制开关74，用于设置诸如照相机的工作模式。这些模式可以是“电影/静态”模式或“全静态”模式，“电影/静态”模式下，照相机捕捉多张时间分离的低分辨率图像，并可以类似电影一样播放或组合形成一张高分辨率的静态图像。“全静态”模式下，所有像素同时曝光以形成一张运动模糊较少的高分辨率图像。照相机可以包括传统的设备，如反光镜、用于检查设置或查看所捕捉图像的显示单元、用于控制透镜62孔径、焦距长度或聚焦的透镜控制、闪存单元或数据输出端口等。

科学成像

专业的高级照相机系统对高时间分辨率探测器有特殊的要求，其或者有很低的空间分辨率(如Marconi CCD39，能以1千赫兹速度运行，但仅为80×80像素)，或者有较低的动态量程(如增强型CCD或EMCCD，使用增益补偿机器来补偿因高帧率产生的增高的帧读取噪声，但以动态量程急剧减少为代价)。本发明能使传统的低噪声、高分辨率CCD捕捉高速图像。

以下论述其他优点。

目前，同时具有准确的高时间分辨率与高空间分辨率的图像模型是无法建立的，但在生命科学领域却需要应用这一技术。例如，人们需要在高空间分辨率下监控心脏肌肉的运动，同时需要在高时间分辨率下监控心电波活动。

高分辨率的百万科学级CCD能在0.1至1秒时间内(取决于该数据的深度以及照相机内部电路结构)生成一帧图像。大多科学级的高分辨率CCD和EMCCD系统应用传统的方法能提高读取速度，其应用一种名为片装集成(on chip binning)的技术，即将芯片上的邻近的像素分组以被高速度读出。集成的N×N模型能将速度提高N倍，但系数N仍小于应用前述技术所获得的预期效果。此外，集成的图像不包含高空间分辨率数据。

新技术可定义任意的曝光组形状(不规则的)，这将允许研究人员根据需要成像的画面中具体的特征来选用合适的速度与分辨率。

若低的空间分辨率可被接受，则可获得较高的帧率，该技术可在高动态量程下以毫秒级以下的帧时间成像。这将远快于目前低噪声、高动态量程的科学领域探测器所能达到的。

提高信噪比(S/N)：该新技术的另一重要优点是在同等帧率下，全帧读取速度较现有片装集成的慢。这将在更高速度下大大提高信噪比，即读噪声影响信号质量的问题得到有意义的改进。

可以预期的是，该技术进一步在可应用的新采样协议中提高空间和时间分辨率。一个可能的应用是在不规则采样时间上，在像素电压方面，提高时间分辨率(相对于Lomb周期图)，这在目前的图像处理技术中是无法实现的。

安全/机械领域前瞻

用于监控变化的三维图像，如通常的监控应用或用于机器人/机械监视的照相机必然需要解决几个问题，一个问题是若物体正对照相机移动时，移动物体在传感器上的成像大小跟物体与照相机之间的距离成反比，这将导致靠近照相机的物体运动模糊十分明显，并且会遮蔽必要的细节。例如，监控一群走在大街上或建筑物大堂的人群，若他们太靠近照相机，他们的脸将变得模糊。减少整个图像的成像时间将降低远离照相机物体的成像质量，因为对较远物体发出光线的收集将减少。

本发明能通过在一帧内改变快门组的数量(时间分辨率、空间分辨率以及总曝光时间)来解决上述问题，因此可以优化屏幕上多个物体的成像。优选地，将靠近照相机的物体整体放大，降低空间分辨率要求并提高时间分辨率。快门组的尺寸可以根据一个已知的屏幕(例如，在高速公路上使用安装在高处且正对车流方向的照相机来监控汽车运行情况时，可将图像顶部整体缩小，并使用逐渐变化的快门组尺寸来保持用于每一汽车上像素的平均数量不变)来选择。当然，快门组的尺寸可以通过算法的方法(例如在静态图像中从运动模糊中获取光线流，这在Berthold与Shunck编写的“Determining Optical Flow”，工程学报，MIT，1980中有所描述)或量程搜索设备(如激光瞄准器等)来动态选择。

并且，对于感兴趣的特定区域可以使用不同于图像大部分区域所使用快门组模型的分辨率成像。例如，监控交通情况的照相机可通过控制合适的被选择的排列成规则形状像素的曝光时间来获取汽车车牌的高分辨率图像，而使用低空间分辨率来监控汽车运动。

使用该系统监控汽车运行速度以及车牌时可通过照相机以低空间分辨率(使用足够大的快门组)连续地监控汽车运动来实现，而不需要使用雷达设备。计算机算法可计算汽车速度并动态地改变快门组，根据实际需要形成全景图像或以高空间分辨率形成汽车车牌的图像。

Claims (20)

1.一种图像捕捉设备，包括

一传感器，所述传感器具有由多个像素构成的工作区域，每一像素提供该像素曝光时形成的有用数据；

一用于存储所述多个像素形成的数据的数据存储设备，所述多个像素组成多个像素模块；

所述图像捕捉设备通过几乎同时曝光每一像素模块的像素且不同像素模块的像素顺序曝光的方式捕捉多张时间分离的低分辨率图像，所述低分辨率图像的分辨率低于使用所有像素形成的图像的分辨率，每一所述低分辨率图像包含取自不同像素模块形成的数据，其中，至少一个像素模块内的像素分布在所述传感器中几乎全部工作区域内，所述图像捕捉设备通过组合所述多张低分辨率图像的数据形成一张高分辨率图像，高分辨率图像的分辨率几乎等于全部像素。

2.根据权利要求1所述的图像捕捉设备，其特征在于：除了所述至少一个像素模块外，所述传感器还包括至少一个其他的像素模块包含少于所述传感器内全部工作区域内的像素。

3.根据权利要求1所述的图像捕捉设备，包括具有多个快门元件的快门阵列，每一快门元件用于控制一个像素的曝光。

4.根据权利要求3所述的图像捕捉设备，其特征在于：所述快门阵列由多个可变透明度的多个快门元件构成。

5.根据权利要求3所述的图像捕捉设备，其特征在于：所述快门阵列由多个可变反射率的多个快门元件构成。

6.根据权利要求4所述的图像捕捉设备，其特征在于：所述快门阵列安装于所述传感器的所述工作区域上。

7.根据权利要求4所述的图像捕捉设备，其特征在于：所述快门阵列安装于所述传感器前方。

8.根据权利要求3所述的图像捕捉设备，其特征在于：所述快门阵列包括多个可变方向的快门元件。

9.根据权利要求8所述的图像捕捉设备，其特征在于：所述多个快门元件包括多个反射镜，用于将光线反射至朝向所述传感器或反射至背离所述传感器。

10.根据权利要求3所述的图像捕捉设备，包括一个用于控制所述快门阵列工作的控制设备。

11.根据权利要求10所述的图像捕捉设备，其特征在于：所述控制设备用于以预定的或随机的或半随机的顺序驱动所述多个快门元件。

12.根据权利要求1所述的图像捕捉设备，其特征在于：每一像素与一电荷存储设备连接，电荷可从所述像素转移至所述电荷存储设备，所述图像捕捉设备包括一个用于控制电荷转移的控制设备，用于捕捉所述多张时间分离的低分辨率图像。

13.根据权利要求1所述图像捕捉设备的一种照相机，具有一透镜，用于将光线聚焦至所述传感器的所述工作区域。

14.根据权利要求13所述的照相机，包括一个所捕捉图像的显示设备，用于显示一张高分辨率图像或连续的低分辨率图像。

15.根据权利要求13所述的照相机，包括一个用于控制所述多个像素模块曝光的控制设备。

16.图像捕捉方法，应用在一包括一传感器的图像捕捉设备上，所述传感器具有一工作区域，所述工作区域具有多个像素，该方法包括

通过几乎同时曝光每一像素模块的像素且不同像素模块的像素顺序曝光的方式进行曝光；

存储每一像素曝光时形成的数据，并捕捉多张时间分离的低分辨率图像，每一低分辨率图像的分辨率低于使用所有像素形成的图像的分辨率，其中，所述像素组成多个像素模块，每一低分辨率图像包含取自不同像素模块形成的所述数据，至少一个像素模块内的像素分布在所述传感器中几乎全部工作区域内，通过组合所述多张低分辨率图像的数据形成一张高分辨率图像，高分辨率图像的分辨率几乎等于全部像素。

17.根据权利要求16所述的方法，包括所述多个像素模块以预定的或随机的或半随机的顺序曝光。

18.根据权利要求16所述的方法，包括将每一像素上的电荷转移至电荷存储设备，然后数字化所存储的电荷。

19.根据权利要求16所述的方法，包括显示所述高分辨率图像。

20.根据权利要求16所述的方法，包括依次播放所述多个时间分离的低分辨率图像。

Images