CN104796604A - 增强图像分辨率的成像系统和方法 - Google Patents

Abstract

本发明提供一种增强图像分辨率的成像系统。在一实施例中，系统包括相机镜头、分束器、彩色图像传感器、多自由度致动器及计算单元。其中一分束器从相机镜头接收光线，每一彩色图像传感器从一分束器接收分裂光束。彩色图像传感器各自用不同焦距感应同一场景以产生捕获的图像。每一致动器连接单一彩色图像传感器以平移和旋转单一彩色图像传感器。计算单元用于：计算捕获的图像之间的几何变换以配置致动器，使得通过平移和旋转彩色图像传感器的方式对齐彩色图像传感器；以及对捕获的图像进行亮度统一以输出合成图像。

Description

增强图像分辨率的成像系统和方法

技术领域

本发明涉及利用多个彩色图像传感器和多个多自由度致动器来增强彩色图像分辨率的成像系统。特别地，本发明涉及进一步利用光束分裂和图像配准来实现图像分辨率增强的成像系统。

背景技术

通过成像系统来增强彩色图像分辨率的技术分为四种类型。

第一种类型涉及到固态CCD(CCD，电荷耦合元件)、或者CMOS(CMOS，互补金属氧化物半导体)图像传感器、或者固态感光传感器的发展，固态感光传感器包括由多个光电检测器组成的CFA(CFA，色彩滤镜阵列)，也被称为有源像素传感器，在有源像素传感器的平面上设置有感光像素阵列。图像传感器平面上的光电检测器越多，图像传感器的图像分辨率越高。为了增强相机的图像分辨率，可以致力于发展具有许多光电检测器的图像传感器，并将此种图像传感器应用于相机。此种方法的优点在于对相机的改变极小。此种方法的缺点在于随着相机规模不断扩大，即使不是以指数方式，硅的收率也是急剧衰变。尽管大家都知道可以通过降低每个光电检测器及其相关集成电路的尺寸的方式来增加图像传感器上光电检测器的数量，但此种方式导致电路板上不同元件的间隔很短，从而导致不期望的电气串扰及由于高密度产生的低良率，因此需要较高的制造成本。

第二种类型为通过移动图像传感器来增强彩色图像的分辨率。这种技术被称为“像素移动”。这种方法为在图像传感器的像素尺寸内移动图像传感器。对于彩色图像传感器来说，这种技术增强了显色性，降低了混叠过滤的需求，因此改善了合成图像的质量。现有的利用“像素移动”技术的相机产品都宣称相机产品的图像分辨率至少翻倍，例如，当使用像素数量为N*M(其中N，M>0)的图像传感器时，合成图像的分辨率至少为2N*2M个像素，是原始分辨率的四倍。尽管这种方法可以改善输出图像的色彩及混叠，实际的细节及对比并不接近于在像素移动方法中使用四倍于原始图像分辨率的图像传感器的质量。并且，由于重复移动及图像传感器的曝光时间，这种像素移动方法会对相机的合成帧率产生影响。US5402171、US6678000、US5781236、US6753906及US6888563有揭露这方面的技术。US8072502有揭露像素移动技术的延伸。为了能覆盖较大场景，这种方法为在图像传感器的像素阵列尺寸内移动图像传感器，而不是在图像传感器的像素尺寸内移动图像传感器。这种方法对相机的影响在于移动图像传感器的时间降低了相机输出的帧率。并且，这种方法不适用于拍摄移动的物体。

第三种类型为相对相机的图像传感器移动相机镜头的位置，或者利用多个镜头和多个图像传感器拍摄同一场景的不同部分。每一张拍摄的图像代表物体的一部分，然后将所有的图像合成产生合成图像。这种技术的不同形态在US7123292、US7184091及CN102821238A中有揭露。

第四种类型为分裂光束，并且利用多个彩色图像传感器来捕获所得的多个分束。这种单一镜头成像系统将入射光分裂，在多个彩色图像传感器上产生多个图像。在一个实例中，捕获的图像是同一场景的图像，但焦距与深度是不同的。然后将所有捕获的图像合成以产生高分辨率图像。通常，其中一张图像被选为第一张图像，其他图像衔接第一张图像来形成一张高分辨率的图像。这种技术利用的图像传感器可以为CFA传感器、全色传感器(也被称为亮度传感器)。利用这种技术，为了达到成像系统的延伸的动态范围，在设置时多个图像传感器的动态范围可能不同。US8619368、US5159455、US20080030611及US4323925有揭露这种技术。

尽管上面已经描述了四种类型的技术，仍有必要提供一种改进的技术，以增强图像分辨率。

发明内容

本发明一方面在于提供一种利用像素至像素配准的成像系统，以增强彩色图像的分辨率。本发明的成像系统包括相机镜头，用于收集入射光束以输出成像光束。本发明的系统包括多个分束器，每一分束器包括用于将光束分裂成两束或多束的光学元件，其中一个分束器用于接收成像光束。本发明的系统还包括多个彩色图像传感器，每一彩色图像传感器用于从其中一分束器接收分裂光束，其中，彩色图像传感器各自用不同的焦距感应同一场景，以产生多张捕获的图像。彩色传感器的设置使得捕获的图像间可存在或不存在重叠。除此之外，本发明的系统还包括多个多自由度致动器。每一致动器连接单一彩色图像传感器，并且相对传送分裂光束至单一彩色图像传感器的分束器平移和旋转单一彩色图像传感器。本发明的系统还包括计算单元，计算单元包括一个或多个处理器和一个或多个存储单元。计算单元被配置成：计算彩色图像传感器捕获的图像之间的几何变换以配置多自由度致动器，使得通过相对分束器平移和旋转彩色图像传感器的方式对齐彩色图像传感器；以及对捕获的图像进行亮度统一以输出合成图像。经过对齐和亮度统一的合成图像为场景的具有像素至像素配准的高分辨率图像。合成图像的分辨率最好大于任何捕获的图像的分辨率。

每一彩色图像传感器可以为CMOS图像传感器、感光阵列或者具有色彩滤镜阵列的电荷耦合元件。每一彩色图像传感器可以为没有曲率半径的平面传感器，或者为有曲率半径的弧形传感器。

多自由度致动器可在三维正交空间内平移任何一个彩色图像传感器。可选的和有利的，多自由度致动器被配置成以小于彩色图像传感器的像素尺寸的移动精度平移及/或旋转彩色图像传感器。在一种选择中，多自由度致动器被配置成使得彩色图像传感器的对齐能实现连续和非连续的拜耳模板。致动器可被配置成使得两个或多个彩色图像传感器以相同的像素配准对齐以及不在同一时间捕获图像，以实现高速成像及/或高动态范围成像。多自由度致动器也可被配置为调整相机镜头至每一彩色图像传感器的移动距离，因此捕获的图像同时都具有可选择的聚焦深度。

计算单元被进一步配置成具有以下一个或多个配置：在输出合成图像前执行图像裁剪；输出高分辨率图像，高分辨率图像由捕获的图像组成，在拜耳模板中具有像素至像素匹配；利用来自彩色图像传感器的原始数据计算几何变换以驱动多自由度致动器；以及在计算几何变换时不利用经过颜色插值的捕获的图像。计算单元可进一步包括一个或多个现场可编程门阵列、特定用途集成电路芯片和复杂可编程逻辑器件。

在一实施例中，单一彩色图像传感器包括设置在单一图像传感器的平面上的感光阵列，所述平面平行于传送分裂光束至单一彩色图像传感器的分束器的一面。单一彩色图像传感器在所述平面上是可旋转的。

在另一选择中，分束器相对彼此固定。

本发明的其他方面通过以下描述的实施例进行揭露。

附图说明

本发明的特征及优点通过以下结合附图进行的详细描述来体现，附图包括：

图1为本发明一种实施例中利用多个彩色图像传感器及多个多自由度致动器的成像方法的图示；

图2为本发明一种实施例中利用多个彩色图像传感器及多个多自由度致动器的成像方法的系统方框图；

图3为本发明一种实施例中利用多个图像传感器及多个位置致动器的成像方法的流程图；

图4为本发明一种实施例中利用SIMO(SIMO，单入多出)纤维光锥的成像方法的图示；

图5为本发明一种实施例中利用SIMO纤维光锥的成像方法的系统方框图；

图6为本发明一种实施例中利用SIMO纤维光锥的成像方法的流程图；

图7为本发明包括三个棱镜的实施例的斜视图；

图8作为图7中示意的本发明一种实施例的侧视图，揭露了包括棱镜、多个彩色图像传感器及多个多自由度致动器的系统的细节；

图9为本发明包括SIMO纤维光锥、相机镜头、多个彩色图像传感器及多个多自由度致动器的另一种实施例的斜视图；

图10示意了具有不同方位、不同缩放比例及相对一坐标具有不同平移的四张彩色图像1101、1102、1103及1104；

图11示意了相对一坐标进行对齐后的两张彩色图像；

图12示意了相对一坐标进行对齐后的两张彩色图像；

图13示意了相对一坐标进行对齐后的两张彩色图像；以及

图14示意了相对一坐标进行对齐后的两张彩色图像。

具体实施方式

如这里使用的，不管是定义单数名词还是复数名词，单数和复数可以互换使用，有特别指出的除外。

本发明揭露的各种实施例的系统都是结合特征进行描述以及结合专门元件参数被示意。值得注意的是，这里所揭露的系统并不限制于那些参数范围或者任何工程工差。

本发明的另一方面在于提供利用像素至像素配准的成像系统，以增强彩色图像的分辨率。

本发明的系统包括多个多自由度致动器及多个分束器。分束器将入射光束分裂成多个分束并将多个分束导向多个路径。这些分束可进一步被多个分束器分裂成多个光束。至少两个光束在被分裂后进入具有CFA的多个固态CCD，或者CMOS彩色图像传感器，或者任何固态彩色图像感应装置。每一图像传感器拍摄场景的一部分，拍摄的图像可以有重叠区域或者没有重叠区域。

用于增强具有像素至像素配准的彩色相机的图像分辨率的系统还包括一个或多个计算单元，例如图像处理单元及存储单元。这些计算单元接收两个或多个图像传感器捕获的图像，驱动与图像传感器相关的多自由度致动器根据图像传感器传送的数据输出具有像素至像素配准的图像。每一彩色图像传感器与一个多自由度致动器关联。这些计算单元通过相对多个分束器平移和旋转彩色图像传感器的方式将图像传感器对齐。

本发明的系统还包括驱动多自由度致动器的方法，以将一张图像的像素与另一张图像的像素对齐。这种操作涉及到仿射变换的一种特殊情况，俗称几何变换，为利用两种图像中的共同特征将一张图像变换为另一张图像。通过多自由度致动器将这种几何变换应用于彩色图像传感器，以实现彩色图像传感器的对齐。阿尔法通道混合可被应用于说明亮度差距。几何变换涉及在具有轴线正交的三维空间的旋转和平移。其中一张图像无需对齐，这张图像被称为锚图像。经过对齐和亮度统一的合成图像是感兴趣场景的具有像素至像素配准的高分辨率图像，并且由于像素至像素配准，高分辨率图像具有改善的色彩增强及可更精确地表示场景。计算单元对输出图像进行图像裁剪，以输出具有期望边界形状的合成图像，例如长方形。

图7为本发明实施例700的示意图，实施例700利用多个彩色图像传感器和利用多个位置和方位致动器校准及对齐彩色图像传感器，以实现入射光束701的全景马赛克。通过在物体(未示意)上投射光线产生入射光束701。相机镜头702收集入射光束并发射成像光束。任何相机镜头都可被使用，例如尼康镜头、卡尔蔡司镜头。一旦成像光束被进一步分裂成多个成像光束706、707、708及709后，镜头702最好能产生一张图像。入射光束702被相机镜头702收集后，继续进入分束棱镜703，分束棱镜703最好为直角结构并且具有非偏振特性。光束被分裂并进入两条路径，分裂光束继续进入另一组分束棱镜704及705，分束棱镜704及705最好为直角并且具有非偏振特性。棱镜703、704及705产生四种成像光束706、707、708及709。

图2为一种实施例中利用多个彩色图像传感器和多个多自由度致动器的成像方法的系统方框图。每一彩色图像传感器201被一多自由度致动器202驱动。包括一个或多个处理器和一个或多个存储单元的计算单元203将所有的彩色图像传感器和致动器连接。计算单元203输出合成图像204。计算单元203的计算过程在图3中描述。

图3为一种实施例中利用多个彩色图像传感器和多个多自由度致动器的成像方法的流程图。这种成像方法由计算单元203执行。首先，计算单元203同时捕获多张图像。然后，利用这些图像进行图10所示的几何变换的计算。这种变换可应用于多个多自由度致动器以对齐多个彩色图像传感器。重复计算几何变换，直至实现多个彩色图像传感器之间的像素至像素配准。之后，从每一彩色图像传感器获取一张图像。然后利用阿尔法通道混合将这些图像之间的亮度统一。输出合成图像，利用图像裁剪输出具有期望界定框的合成图像。在此之后，重复306以从多个对齐的彩色图像传感器获取另一组图像。

图4、5及6示意了成像系统的操作的原理和框图，成像系统根据图3将成像系统的多个彩色图像传感器对齐。一旦根据图3将多个彩色图像传感器对齐，多个彩色图像传感器可被固定于多个分束器，最好利用环氧树脂进行固定。之后可选地，可将多个多自由度致动器移除。

图8作为图7中示意的本发明一种实施例的侧视图，揭露了包括棱镜、多个彩色图像传感器及多个位置致动器的系统的细节。图7和图8描述的实施例包含的细节解释了本发明的一种实施例。入射光束首先穿过与702类似的相机镜头801，之后相机镜头801发射成像光束。成像光束继续进入与703类似的分束器802，并被分束器802分裂成两束。这两束光继续进入与704和705类似的两个分束器803及804。分裂光束被多个彩色图像传感器806、807、808及809接收，这些彩色图像传感器最好是固态CCD，或者是CMOS彩色图像传感器，或者是感光阵列。彩色图像传感器807的方位，基本上指的是主动像素传感器平面的切面，可被多自由度致动器811调整。808和812、809和805、806和810可利用基本类似的驱动机制。这些多自由度致动器810、811、812及805可在基本正交的三维空间内平移彩色图像传感器806、807、808及809。这些多自由度致动器最好是移动精度小于彩色图像传感器806、807、808及809的像素尺寸的编码器类型的微驱动器。这种多自由度致动器可以是Technohands有限公司制造的XYDT50-042和DT70-0062。彩色图像传感器806、808、808及809连接至处理器及存储单元203。多自由度致动器810、811、812、805由处理器和存储单元203控制。控制彩色图像传感器和多自由度致动器的处理器不必相同，但是彩色图像传感器捕获的图像需便利于致动器的控制。

图9为本发明另一实施例的斜视图，包括SIMO纤维光锥、相机镜头和多个彩色图像传感器。入射光束901，最好是来自感兴趣物体(未示意)的入射光束，首先穿过与相机镜头702或801类似的相机镜头902。入射光束变成成像光束，并且继续进入SIMO纤维光锥903的平面904。在一例子中成像光束的物体投射可以是圆形物体905的投射和三角形物体906的投射。成像光束穿过纤维光锥并由彩色图像传感器907和909接收，每一彩色图像传感器最好是固态CCD彩色图像传感器，或者是CMOS彩色图像传感器，或者是彩色感光阵列。多自由度致动器908连接至彩色图像传感器907。同样的，多自由度致动器910连接至彩色图像传感器909。多自由度致动器在3维空间内平移彩色图像传感器，并且相对纤维光锥903旋转彩色图像传感器。用911和912表示至处理器和存储单元(未示意)的图像数据传输、控制致动器的控制数据通信、图像传感器和致动器的电源供应。用913表示彩色图像传感器907捕获的图像。同样的，用914表示彩色图像传感器914捕获的图像。属于图像913的一部分的图像915为物体投射905的一部分，以及属于图像914的一部分的图像916为物体投射905的另一部分。同样的，属于图像914的一部分的图像917为物体投射906的一部分。本发明这个实施例中，平面904上的物体投射被分裂成两个。

图10示意了具有不同方位、不同缩放尺寸和相对坐标1100具有不同平移的四张彩色图像1101、1102、1103及1104。彩色图像可以由固态CCD中的CFA、CMOS图像传感器或者任何固态感光阵列捕获。CFA包括有用于捕获分束的图像的彩色图像传感器，在图7、图8及图9的实施例中都有示意。通过相应多自由度致动器(未示意)的驱动，可将由平移、旋转和尺寸缩放组成的几何变换应用于任何彩色图像传感器。当一个彩色图像传感器的一个像素相对坐标1100的坐标为(u，v，w)时，这个像素相对坐标1100的另一个坐标可为(x，y，z)。几何变换可以用x＝R(u+t)表示，其中R为关于坐标1100的z轴的3*3的旋转矩阵，t为3*1的平移矢量，u为几何变换前一个像素坐标的位置矢量，以及x为几何变换后u的像素坐标。这种关联可以通过卢卡斯—奏法、逆加更新、相关系数最大化、或者最小方最大化方法计算。图3中流程S320用于表示几何变换的计算。

图11示意出相对一坐标对齐的两个彩色图像传感器捕获的两张彩色图像。拜耳色彩模板可应用于图像1101及1102。几何变换可应用于两个或任何其中一个彩色图像传感器，因此可以获得连续拜耳模板，因此绿色像素(缩写为G)在图像的顶部和底部都邻近红色像素(R)，以及在图像的左边和右边都邻近蓝色像素B。同样的，R在图像的顶部和底部、图像的左边和右边都邻近G。除此之外，B在图像的顶部和底部、图像的左边和右边都邻近G。图12为具有连续拜耳模板的几何变换的另一例子。

图13和图14示意出相对一坐标对齐的两个彩色图像传感器捕获的两张彩色图像。几何变换引起对齐，因此拜耳模板在两张彩色图像间是不连续的。

在不背离本发明的精神或必要特征的情况下，本发明可以用其他具体形式表示。因此本发明的实施例在各个方面解释本发明但并不是限制本发明。本发明的范围由附属的权利要求界定，而不是之前的描述，因此根据权利要求的等同变换做出的所有修改都属于本发明的保护范围。

Claims (18)

1.一种成像系统，其特征在于，所述成像系统包括：

相机镜头，用于收集入射光束以输出成像光束；

多个分束器，每一分束器包括用于将一光束分裂成两束或多束的光学元件，其中一个分束器用于接收所述成像光束；

多个彩色图像传感器，每一彩色图像传感器从其中一分束器接收一分裂光束，所述多个彩色图像传感器各自用不同的焦距感应同一场景，以产生多张捕获的图像；

多个多自由度致动器，每一多自由度致动器连接单一彩色图像传感器，并且相对传送分裂光束至所述单一彩色图像传感器的分束器平移和旋转所述单一彩色图像传感器；以及

计算单元，包括一个或多个处理器及一个或多个存储单元；

其中，所述计算单元用于：

计算由所述多个彩色图像传感器捕获的图像之间的几何变换，以配置所述多个多自由度致动器来对齐所述多个彩色图像传感器；以及

对捕获的图像进行亮度统一以输出合成图像；

因此经过对齐和亮度统一的合成图像为场景的具有像素至像素配准的高分辨率图像。

2.如权利要求1所述的成像系统，其特征在于，每一彩色图像传感器为互补金属氧化物半导体CMOS图像传感器、感光阵列或具有色彩滤镜阵列的电荷耦合元件。

3.如权利要求1所述的成像系统，其特征在于，所述计算单元还用于在输出所述合成图像前执行图像裁剪。

4.如权利要求1所述的成像系统，其特征在于，所述计算单元还用于输出由所述捕获的图像组成的在拜耳模板中具有像素至像素匹配的高分辨率图像。

5.如权利要求1所述的成像系统，其特征在于，所述计算单元还用于利用来自所述多个彩色图像传感器的原始图像数据计算几何变换，以驱动所述多个多自由度致动器。

6.如权利要求1所述的成像系统，其特征在于，所述计算单元还用于在计算几何变换过程中不利用经过颜色插值的捕获的图像。

7.如权利要求1所述的成像系统，其特征在于，所述多个多自由度致动器在三维正交空间内平移所述任何一个彩色图像传感器。

8.如权利要求1所述的成像系统，其特征在于，所述单一彩色图像传感器包括设置在所述单一图像传感器的平面上的感光阵列，所述平面平行于传送分裂光束至所述单一彩色图像传感器的分束器的一面。

9.如权利要求8所述的成像系统，其特征在于，所述单一彩色图像传感器在所述平面上是可旋转的。

10.如权利要求1所述的成像系统，其特征在于，所述多个分束器相对彼此固定。

11.如权利要求1所述的成像系统，其特征在于，所述计算单元还包括一个或多个现场可编程门阵列、特定用途集成电路芯片和复杂可编程逻辑器件。

12.如权利要求1所述的成像系统，其特征在于，所述合成图像的分辨率高于任何一张捕获的图像的分辨率。

13.如权利要求1所述的成像系统，其特征在于，所述多个彩色图像传感器的排列使得捕获的图像间存在重叠。

14.如权利要求1所述的成像系统，其特征在于，所述多个多自由度致动器以小于所述多个彩色图像传感器的像素尺寸的移动精度平移及/或旋转所述多个彩色图像传感器。

15.如权利要求14所述的成像系统，其特征在于，所述多个多自由度致动器被配置成使得所述多个彩色图像传感器对齐以实现连续和非连续拜耳模板。

16.如权利要求14所述的成像系统，其特征在于，所述多个多自由度致动器被配置成使得所述两个或多个彩色图像传感器以相同的像素配准对齐，以及使得所述两个或多个彩色图像传感器不在同一时间捕获图像，从而实现高速成像及/或高动态范围成像。

17.如权利要求1所述的成像系统，其特征在于，所述多个多自由度致动器用于调整所述相机镜头至每一彩色图像传感器的移动距离，以使所述多个彩色图像传感器捕获的图像同时具有可选择的聚焦深度。

18.如权利要求1所述的成像系统，其特征在于，所述单一彩色图像传感器为没有曲率半径的平面感应器，或者为具有曲率半径的弧形感应器。