CN111567027A - 减少光学串扰的全光成像设备、对应的方法、计算机程序产品、计算机可读载体介质和装置 - Google Patents

Abstract

本公开提供一种全光成像设备(2)，其包括设置在主透镜(L)和图像传感器(IS)之间的微透镜阵列(MLA)。所述全光成像设备(2)还包括布置在所述主透镜(L)的孔径光阑平面中的滤色器元件(CFE)，所述滤色器元件(CFE)包括至少两个不同的滤色器。

Description

减少光学串扰的全光成像设备、对应的方法、计算机程序产 品、计算机可读载体介质和装置

1.技术领域

本公开涉及全光(plenoptic)成像设备和光场获取方法的领域。更准确地说，本公开涉及一种允许限制全光成像设备的图像传感器内的光学串扰现象的特定光学组件。

2.背景技术

本部分旨在向读者介绍可能与下面描述和/或要求保护的本公开的各方面相关的技术的各方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应当理解，这些陈述应就此而论来阅读，而不是作为对现有技术的承认。

根据该背景技术，已知利用全光成像设备(也称为全光相机)来获取同一场景的不同视图。如结合图1示意性地说明，根据现有技术的全光成像设备1使用定位在主透镜(L)的图像平面中且在图像传感器(IS)前面的微透镜阵列(MLA)，每一微透镜的一个微图像被投射在所述图像传感器(IS)上(也称为“子图像”或“微透镜图像”)。所述微透镜阵列(MLA)包括例如按照正交或梅花形排列均匀分布的多个微透镜。所述图像传感器(IS)包括多行和多列像素，并且每个微透镜图像至少部分地覆盖该图像传感器(IS)的预定数量的行和预定数量的列。换句话说，所述微透镜以这样的方式布置，使得每个微透镜与所述图像传感器的多个像素光学地相关联。全光成像设备经设计以使得每一微透镜图像描绘所俘获场景的特定区域，且与所述微透镜图像相关联的每一像素从主透镜出射光瞳上的特定子孔径位置的观看点来描绘此特定区域。在所述图像传感器(IS)上设置滤色器阵列(color filter array,CFA)，以便能够进行全色图像重建。所述滤色器阵列(CFA)通常在所述图像传感器上布置红、绿和蓝(RGB)滤色器，所述RGB布置采取例如拜耳(bayer)滤光器马赛克的形式。通常，根据预定模式(pattern)，一个滤色器(红色、绿色或蓝色滤色器)与图像传感器(IS)的一个光传感器(即，一个像素)相关联，在Bayer滤光器的示例中，所述预定模式包括50％绿色、25％红色和25％蓝色。

与一个微透镜光学关联的像素的数量对应于可以用全光成像设备获取的场景的视图的数量。为了获得不同视图，原始全光图像(即，从图像传感器读出的数据)被去马赛克和解复用。所述去马赛克使得能够恢复全色原始图像，即恢复原始图像的像素的全色信息(例如RGB信息，RGB表示“红”、“绿”和“蓝”)，而用全光成像设备获取的原始图像仅将一个颜色分量(例如R、G或B)与每个像素相关联。所述解复用使得能够恢复所述场景的不同视图，即，根据所述去马赛克的原始图像的像素所属的视图对它们进行分组。

因为所述全光原始图像需要被解复用以获得场景的不同视图，所以每个渲染视图具有仅等于图像传感器的空间分辨率的一部分的空间分辨率。为了在视图级别(根据用户当前标准要求)获得足够的空间分辨率，全光成像设备的图像传感器因此必须嵌入大量的像素，同时仍然保持尽可能紧凑。这使得全光成像设备对光学串扰问题特别敏感。光学串扰表示这样的现象，其中应当到达图像传感器的给定光传感器的一些入射光线被无意地反射和/或折射，并且最终到达所述传感器的另一光传感器。因此，这种现象主要存在于所述图像传感器的相邻像素(或“相邻像素”)之间。随着每表面单位的像素密度增加以及随着像素尺寸减小，串扰问题变得更加显著。实际上，不能以与像素表面尺寸相同的比率来缩放小尺寸像素传感器(其包括滤色器)的厚度，以确保可接受的灵敏度。例如，为了确保红色灵敏度，具有大约1μm的表面宽度的像素传感器的深度应当大于3μm。布置在图像传感器上的滤色器阵列的厚度是有助于产生串扰的一个因素。例如，由于滤色器阵列厚度，进入红色滤色器的一些光可能串扰相邻的绿色滤色器，尤其是在较高的入射角下。结果，红色光谱被所述绿色滤色器吸收，降低了所述全光成像设备的总的光学效率。即使在较低的入射角下，由于所述滤色器厚度，进入例如红色滤色器的一些光也可以到达位于另一滤色器(例如相邻的绿色滤色器)下方的光传感器。因此，光学串扰破坏了图像传感器的光捕获效率，且通过引起不合需要的结果(例如模糊、对比度降低、灵敏度降低、色彩混合等)而使由全光成像设备产生的图像的质量降级。

因此，将需要提供一种允许减少全光成像设备中的串扰问题的技术。

3.发明内容

根据本公开的一方面，公开了一种全光成像设备，其包括放置在主透镜和图像传感器之间的微透镜阵列。所提出的全光成像设备还包括布置在所述主透镜的孔径光阑平面(aperture stop plane)中的滤色器元件，所述滤色器元件包括至少两个不同的滤色器。

以这种方式，不再需要具有直接在所述图像传感器的表面上实现的滤色器阵列：所述滤色器被直接设置在所述主透镜的所述孔径光阑平面中，在该平面中，它们的成型因数对于光效率更有利，即，在它们的厚度与面积的比率显著减小的位置处。结果，与在现有技术的全光成像设备的图像传感器中发生的串扰相比，在所述图像传感器中发生的串扰被减少。

根据一个实施例，所述滤色器元件可以在所述孔径光阑平面中的至少两个预定位置之间移动。

以此方式，可依据所述滤色器元件的位置来修改与所述图像传感器的给定像素相关联的滤色器。因此，这种全光成像设备允许获取中间全光图像，所述中间全光图像可在之后被组合以获得真彩色全光图像。结果，利用所提出的全光成像设备获得的子孔径视图的分辨率得到改善，因为不再需要实施去马赛克算法以根据从图像传感器输出的不完整颜色样本而重建全色图像。实际上，所述中间全光图像一起包含了将被重新组织以生成场景的不同视图的所有像素的完整颜色信息。

根据实施例，所述滤色器元件采取以所述全光成像设备的光轴为中心的色轮的形式，并且所述全光成像设备包括用于使所述色轮围绕所述光轴旋转的装置。

这样，所述滤色器元件具有很好地适应于常规光学组件的形状。此外，通过使用采取色轮形式的滤色器元件，提供了一种简单的方式来改变这种滤色器元件的配置，其可通过简单地使色轮围绕其中心旋转来改变这种滤色器元件的配置，而不需要所述光学组件内的额外空间。

根据一个实施例，用于旋转色轮的所述装置包括涡流环形电机或压电环形电机。

这样，可以根据客户要求实现不同的技术来旋转所述色轮。涡流环形电机易于实现且成本低廉。压电环形电机则很快速、准确。

根据一个实施例，所述色轮被分成四个相等的部分，每个部分包括所述滤色器中的一个。

这样，所述滤色器元件被设计为具有四部分的布置，其允许实现用于颜色重构的公知滤色器模式，例如RGGB模式(一个红色滤色器、两个绿色滤色器和一个蓝色滤色器)、CYYM模式(一个青色滤色器、两个黄色滤色器和一个品红色滤色器)或CYGM模式(一个青色滤色器、一个黄色滤色器、一个绿色滤色器和一个品红色滤色器)。

根据一个实施例，所述滤色器元件包括一组或多组四个滤色器(分别为绿色、蓝色和红色)，比例为针对一个红色滤色器和一个蓝色滤色器的两个绿色滤色器。

这样，所述滤色器元件采用Bayer滤光器配置，众所周知，该Bayer滤光器配置能够模仿人眼对绿光的较高灵敏度。

根据一个实施例，所述至少两个不同的滤色器是二向色滤光器。

与吸收滤光器相比，二向色滤光器在它们不应透射的波长下提供好得多的抑制比。这样，色域被极大地增强，并且所述全光成像设备的整体比色被改善。

根据另一实施例，所述至少两个不同的滤色器是电子颜色可切换滤光器。

这样，由于所述全光成像设备不需要嵌入复杂的机构来修改所述滤色器元件配置，因此提高了所述全光成像设备的可靠性。

根据本公开的另一方面，提供一种用于获得原始全光图像的方法。该方法通过全光成像设备来实现，该全光成像设备包括：微透镜阵列，其放置在主透镜和图像传感器之间；以及滤色器元件，其布置在所述主透镜的孔径光阑平面中，所述滤色器元件包括至少两个不同的滤色器。所述方法包括：

-在所述滤色器元件的不同预定配置中，获取一组中间全光图像；

-从所述一组中间全光图像，获得所述原始全光图像。

以此方式，根据本公开的全光成像设备可用于获得场景的真彩色视图。不再需要去马赛克，并且因此提高了从所述全光成像设备获得的视图的空间分辨率。

根据实施例，所述一组中间全光图像的当前中间全光图像的获取包括：

-在所述滤色器元件的当前预定配置中，将所述图像传感器曝光于穿过所述全光成像设备的光；

-在所述图像传感器曝光之后，从所述图像传感器读出数据以用于获取所述当前中间全光图像。

根据实施例，所述方法还包括在所述图像传感器在所述滤色器元件的所述当前预定配置中曝光之后，将所述滤色器元件的配置从所述当前预定配置修改为随后的预定配置。

根据特定特性，从图像传感器读出数据以用于获取所述当前中间全光图像以及将滤色器元件的配置从所述当前预定配置修改为所述随后的预定配置是被同时执行的。

以此方式，减少了获取整组中间全光图像(且因此，可能产生场景的真彩色视图)所需的时间。

根据实施例，修改所述滤色器元件的所述配置包括：

-在所述孔径光阑平面中移动所述滤色器元件，和/或

-电子切换所述滤色器元件的所述至少两个滤色器的颜色。

本公开还涉及一种用于根据先前所呈现的主要原理用全光成像设备获得原始全光图像的装置。此装置包括用于在所述滤色器元件的不同预定配置中获取一组中间全光图像的模块，以及用于从所述一组中间全光图像获得原始全光图像的模块。

本公开还涉及一种可从通信网络下载和/或记录在计算机可读介质上和/或处理器可执行的计算机程序产品，其包括用于实现如上所述的方法的程序代码指令。

本公开还涉及一种非暂时性计算机可读介质，其包括记录在其上并且能够由处理器运行的计算机程序产品，其包括用于实现如上所述的方法的程序代码指令。

这样的计算机程序可以存储在计算机可读存储介质上。如本文所使用的计算机可读存储介质被认为是非暂时性存储介质，其被赋予在其中存储信息的固有能力以及提供从其检索信息的固有能力。计算机可读存储介质可以是，例如但不限于，电、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。应当理解，以下内容虽然提供了可以应用本原理的计算机可读存储介质的更具体的示例，但是本领域普通技术人员容易理解的是其仅是说明性的而不是穷举列出的：便携式计算机磁盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式光盘只读存储器(CD-ROM)；光学存储设备；磁存储设备；或前述的任何合适的组合。

应当理解，前面的一般描述和下面的详细描述都是示例性和说明性的，而不是对所要求保护的本公开的限制。

还必须理解，说明书中对“一个实施例”或“实施例”的引用指示了所描述的实施例可包括特定特征、结构或特性，但是每个实施例可以不必包括所述特定特征、结构或特性。此外，这些短语不一定是指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为结合其它实施例来实现这种特征、结构或特性是在本领域技术人员的知识范围内的，而不管是否明确描述。

4.附图说明

参考以下描述和附图，可以更好地理解本公开的实施例，以下描述和附图以示例的方式被给出并且不限制保护范围，并且其中：

-图1，其已经被描述，呈现了常规全光成像设备的结构的示例；

-图2示出了根据本公开的实施例的全光成像设备的结构的示例；

-图3a和3b示出了根据本公开的不同实施例的采取色轮形式的滤色器元件；

-图4示出了根据本公开实施例的如何将滤色器元件成像在全光成像设备的图像传感器上；

-图5a、5b和5c分别示出了根据本公开的实施例的可用于旋转色轮的涡流环电机的定子(图5a)、转子(图5b)和最终组件(图5c)；

-图6是根据本公开的实施例的用于说明用于从用全光成像设备获取的中间全光图像获得原始全光图像的方法的流程图；

-图7是示出了根据本公开实施例的用于从全光成像设备的图像传感器所获取的数据获得原始全光图像的装置的示例的示意性框图。

附图中的部件不一定按比例绘制，而是将重点放在说明本公开的原理上。

5.具体实施方式

5.1全光成像设备

本公开的主要原理依赖于全光成像设备的特定光学组件，其允许减少光学串扰问题。如关于现有技术已经呈现，有助于增加图像传感器层级的光学串扰的一个因素是布置在图像传感器上的滤色器阵列的厚度，且更具体来说是像素面积与厚度的比率。如下文将参看附图更全面地描述，在本公开的一个方面中提出利用全光成像设备的设计特异性以从图像传感器的表面移除滤色器阵列，且在滤色器的成型因数对光效率更有利的位置处，即在滤色器的厚度与面积的比率显著减小的位置处，移动滤色器。更具体地说，根据本公开的主要原理，提出将滤色器直接放置在全光成像设备的主透镜的孔径光阑平面内。在附图中，相同或相似的元件在其若干视图中始终用相同的附图标记表示。

结合图2描述了本公开的一个实施例的实现。与现有技术的全光成像设备类似，根据所提出的技术的全光成像设备2包括放置在主透镜(L)和图像传感器(IS)之间的微透镜阵列。为了简单起见，附图仅示出一个透镜以示出所述主透镜(L)，但是自然理解的是，所述主透镜(L)可以包括一组若干透镜。所述微透镜阵列(MLA)在所述图像传感器(IS)上传送一组微透镜图像。以经典的方式，所述微透镜阵列的微透镜被设计成使得每个微透镜将主透镜孔径成像在图像传感器(IS)上。所述一组微透镜图像中的每个微透镜图像至少部分地覆盖所述图像传感器(IS)的预定数量的行和预定数量的列。

所提出的全光成像设备2与现有技术的全光成像设备的不同之处在于，其包括布置在主透镜(L)的孔径光阑平面中的滤色器元件(CFE)，所述滤色器元件(CFE)包括至少两个不同的滤色器。应当理解，利用所述主透镜的孔径光阑平面，所述主透镜的一个或多个物理设备(即，一个或多个透镜和/或膜片(diaphragm))的平面限制通过主透镜(L)的光锥。所述主透镜的孔径光阑平面因此是确定的平面(取决于所述主透镜的设计)，其中膜片或者更一般地说孔径光阑将被定位成限制通过主透镜(L)的光锥。

在结合图2所呈现的实施例中，所述滤色器元件(CFE)采取以全光成像设备2的光轴21为中心的色轮的形式(透视未被在图2上考虑)。图3a示出了根据所提出的技术的实施例的这种色轮的示例。所述色轮(CFE)被分成四个相等的部分，每个部分包括一个滤色器。因此，所述色轮(CFE)嵌入了四个滤色器(31，32，33，34)。这种布置允许再现广泛用于滤色器阵列内的颜色模式，并且该色轮模式被已知为由于适当的去马赛克算法而允许有效检索全色信息。例如，滤色器31和33可以是绿色滤色器，滤色器32可以是蓝色滤色器，滤色器34可以是红色滤色器，从而实现Bayer滤光器模式，众所周知，该Bayer滤光器模式能够模仿人眼对绿光的较高灵敏度。当然，其它颜色布置可以用于实现其它颜色模式，例如CYYM模式(一个青色滤色器、两个黄色滤色器和一个品红色滤色器)或例如CYGM模式(一个青色滤色器、一个黄色滤色器、一个绿色滤色器和一个品红色滤色器)。在其它实施例中，用白色滤色器代替Bayer颜色模式的一个绿色滤色器，以使光通过量最大化。例如，其它颜色模式也可包括一个纯近红外透射滤光器。根据结合图3b所示的特定特性，所述色轮的不同滤色器由不透明边界35分开，其有用性将在后面结合图4讨论。

由于所述色轮(CFE)被布置在主透镜的孔径平面中，并且由于全光成像设备的固有设计，所述微透镜阵列(MLA)的每个微透镜将所述色轮成像在所述全光成像设备的所述图像传感器(IS)上，如结合图4所图示的。更具体地说，图4示出了在所提出的技术的一个实施例中，由每个微透镜在图像传感器(IS)上成像的图3a的色轮。为了说明的目的，图4的图像传感器(IS)被示出具有相对小数量的像素(四十八个像素)和相对小数量的被投影到其上的微透镜微图像。自然地，图像传感器中的像素的数量或微透镜阵列中的微透镜的数量不受图4的图示的限制，而是扩展到任何数量的像素和/或微透镜。图4还示出了由正交布置的微透镜阵列投影到图像传感器上的微透镜图像的分布的示例，但是在不脱离本公开的范围的情况下，所述微透镜阵列可以根据其他布置分布，例如梅花形布置。所述图像传感器(IS)包括多行和多列像素，并且每个微透镜图像至少部分地覆盖所述图像传感器的预定数量的行和预定数量的列。在图4的示例中，所述全光成像设备经设计以使得每一微透镜图像至少部分地覆盖所述图像传感器的四个像素，因此允许产生所俘获场景的四个视图，每一视图对应于从特定观看角度看到的场景。如图4所示，所述色轮的滤色器被布置成使得由微透镜图像覆盖的每个像素与所述色轮的一个滤色器相关联。例如，像素41与蓝色滤色器相关联，像素42与绿色滤色器相关联。以此方式，根据所提出的技术的滤色器元件有利地替代现有技术全光成像设备的滤色器阵列。实际上，所述滤色器元件被布置在主透镜的孔径光阑平面中，其中所述滤色器的厚度与面积的比率可以被显著地减小，从而允许限制光学串扰。例如，所述滤色器可以通过任何制造手段沉积在布置于所述主透镜的孔径光阑平面中的非常薄的玻璃板上。

所提出的技术允许从所述图像传感器的表面移除滤色器阵列的事实提供了其它优点。例如，由于直接在图像传感器上实现多色滤色器是复杂且昂贵的任务，因此它显著简化了图像传感器的制造。移除该步骤使得制造过程更便宜和更快速，并且正面得影响了产出。从所述图像传感器的表面移除滤色器还允许改进图像传感器层级的信噪比。实际上，在现有技术全光成像设备中使用的滤色器阵列通常是吸收性滤光器，并且将它们直接放置在图像传感器表面上增加了发热，并且因此增加了信号噪声。

如图4中可见，根据所提出的技术的全光成像设备必须经微调，使得一旦所述滤色器元件的不同滤色器之间的边界在图像传感器上成像，会与所述图像传感器像素之间的一些边界重合。在本公开的特定实施例中，为了防止可能导致颜色串扰的这些边界的未对准，所述滤色器元件的不同滤色器由不透明边界分开，该不透明边界的宽度在调整滤色器元件和图像传感器的相应位置时提供了安全裕度。先前已经介绍的图3b示出了在采用色轮形式的滤色器元件的情况下可以如何实现这样的不透明边界。从图3b中可以清楚地看出，当通过允许色轮位置的轻微移动(线性和旋转)来调整色轮位置时，这种色轮的结构提供了更大的灵活性。

根据一个实施例，所述滤色器元件的滤色器是二向色滤光器。与吸收滤光器相比，二向色滤光器在它们不应透射的波长下提供好得多的抑制比。由于这种使用具有高抑制比的光谱带的可能性，与吸收滤色器相比，二向色滤光器大大增强了色域。

当然，所述滤色器元件的形状和滤色器元件内的滤色器布置不限于结合图2、3a、3b和4描述的色轮，并且可以在不脱离本公开的范围的情况下，可设计包括其他形状的滤色器元件(例如矩形或正方形滤色器的网格)的全光成像设备。

根据本公开的其它实施例，所述滤色器元件可在不同的预定配置之间移位。通过预定的配置，可以理解，所述滤色器元件在主透镜孔径光阑平面内的给定位置或取向，或者不同滤色器在滤色器元件本身内的给定布置(稍后讨论的图6示出了采取色轮形式的滤色器元件的不同配置C1、C2、C3、C4的示例)。将所述滤色器元件配置从预定配置修改成其它预定配置使得可以动态地改变与图像传感器的给定像素相关联的滤色器。以此方式，根据所提出的技术的全光成像设备可用于例如产生场景的真彩色视图，而不需要去马赛克，如稍后将结合图6所披露的。

可以以几种方式实现修改所述滤色器元件配置。根据一个实施方式，所述滤色器元件可以在主透镜的孔径光阑平面中的至少两个预定的位置之间移动。在该实施方式的一个实施例中，所述滤色器元件采取以全光成像设备(例如，已经结合图3a描述的设备)的光轴为中心的色轮的形式，并且所述全光成像设备包括用于围绕所述光轴旋转所述色轮的装置。通过将图3A的色轮旋转一个或多个四分之一圈，可以将连续不同的滤色器与图像传感器的给定像素相关联。例如，在图4所示的配置中，像素41与蓝色滤色器相关联(因此测量光的蓝色分量的强度)，但是在将色轮顺时针旋转四分之一圈之后，相同的像素与绿色滤色器相关联(因此测量光的绿色分量的强度)。以相同的方式，在图4所示的配置中，像素42与绿色滤色器相关联(因此测量光的绿色分量的强度)，但是在将色轮顺时针旋转四分之一圈之后，相同的像素与红色滤色器相关联(因此测量光的红色分量的强度)。所述色轮的旋转可以是非接触式的，并且由移动磁场产生。图5a、5b和5c示出了可用于产生这种旋转运动的涡流环形电机。图5a示出了允许从电振荡电流产生旋转磁场的环形定子51。图5b示出了安装在一对三重星形铰链52a、52b内的色轮53。该轮包括涂覆有铁磁材料的周边部分54，其形成所述涡流环形电机的转子。图5c示出了安装在一起的图5a的定子51和图5b的转子54。所述定子51的环形形状使光通过其中心。所述星形铰链(52a，52b)不会获得太多的光，因为它们与总的孔径尺寸相比非常薄。所述色轮的旋转由所述旋转磁场产生，该旋转磁场产生进入铁磁环材料的涡流。当然，可变光阑叶片型膜片也可以是该系统的一部分。由于所述色轮需要布置在主透镜的孔径平面中，因此这种可变光阑叶片型膜片可以例如仅稍微在所述色轮的前面放置在保持所述滤色器的玻璃板和前星形铰链之间。

存在其他解决方案来旋转所述色轮，其通过使用使光穿过所述孔径的环。例如，用于旋转的装置可以包括压电环电机，而不是涡流环电机。压电环电机是非常容易驱动到特定角度的步进电机，该压电环电机可为不同品牌下的知名产品，例如无声波电机(Nikon)或超声波电机(Canon)。所述颜色玻璃板的重量非常轻，使得它们在速度和精度上非常有效。

当然，可以设想除了旋转之外的其它移动，尤其是当滤色器元件采用除了轮之外的其它形式时。例如，如果所述滤色器元件采取正方形或矩形滤色器的栅格的形式，则它可以通过适当的装置而例如在主透镜孔径光阑平面内平移。

根据补充或替代实施方案，所述滤色器元件的滤色器是电子颜色可切换滤光器，例如由ColorLink Japan有限公司开发的SnapWave^TM滤光器。这些电子可切换滤光器可在少至五十微秒内从一种颜色状态切换到另一种颜色状态。与可移动的滤色器元件相比，基于电子颜色可切换滤光器的此实施方案是令人感兴趣的，因为其不需要复杂的机构(例如，如上文所描述的涡流或压电环形电机)来修改所述滤色器元件配置。由此，提高了所述全光成像设备的可靠性。

5.2.获得原始全光图像的方法

根据本公开的另一方面，提出一种用于获得原始全光图像的方法，所述方法由根据本公开的主要原理的全光成像设备实施。如前所述，所述全光成像设备包括放置在主透镜和图像传感器之间的微透镜阵列，以及布置在所述主透镜的孔径光阑平面中的滤色器元件，该滤色器元件包括至少两个不同的滤色器。在所提出的技术的一个实施例中，结合图6呈现了用于获得原始全光图像的方法。

在步骤61，所述全光成像设备用于在所述滤色器元件的不同预定配置中获取一组中间全光图像。在结合图6描述的实施例中，所述滤色器元件例如是色轮，诸如结合图3a或3b示出的色轮。该色轮可以采用四种不同的预定配置，在图6上被标注为C1、C2、C3、C4。

如图6中所示，所述一组中间全光图像的当前中间全光图像的获取包括：

-在所述滤色器元件的当前预定配置中，使所述图像传感器曝光于(EXP)穿过所述全光成像设备的光；

-在所述图像传感器曝光之后，从所述图像传感器读出(RO)数据以用于获取所述当前中间全光图像。

在所述图像传感器已经以滤色器元件的当前预定配置而被曝光之后，所述滤色器元件的配置从所述当前预定配置修改为随后的预定配置，以便准备下一图像传感器曝光。例如，首先在色轮的配置C1中曝光所述全光成像设备的图像传感器，从而允许通过在所述曝光之后从图像传感器读出数据来获取第一中间全光图像IPI1。一旦图像传感器已经以配置C1曝光，则将色轮的配置从配置C1修改到配置C2，以便获取第二中间全光图像IPI2。这样，通过重复该处理，可以获得一组四个中间全光图像IP1、IP2、IP3和IP4，其对应于分别在色轮的配置C1、C2、C3和C4中获取的中间全光图像。

根据特定特性，从图像传感器读出数据以用于获取当前中间全光图像(例如IPl)和将滤色器元件的配置从当前预定配置修改为随后的预定配置(例如从C1到C2)是同时执行的。以此方式，可减少获取整组中间全光图像(IP1、IP2、IP3、IP4)所需的时间。

可以以不同的方式来完成修改所述滤色器元件的配置。根据所提出的技术的实施例，其包括在全光成像设备的主透镜的孔径光阑平面中移动所述滤色器元件。在图6所示的实施例中，将色轮配置从C1修改为C2、从C2修改为C3、或从C3修改为C4可以例如通过借助于适当的旋转装置将色轮顺时针旋转四分之一圈来执行，所述旋转装置例如是嵌入在全光成像设备中的涡流或压电环电机，如前所述。根据补充或替代实施例，所述滤色器元件的滤色器是电子颜色可切换滤光器。在这种情况下，可以在不移动色轮的情况下通过将适当的电子命令发送到色轮的不同滤色器来执行将色轮配置从C1改变为C2、从C2改变为C3、或者从C3改变为C4。

在步骤62处，从先前获取的一组中间全光图像获得原始全光图像RPI。更特定来说，根据实施例，组合所述中间全光图像以产生原始全光图像。所提出的用于获得原始全光图像的方法的一个主要优点在于，其允许至少针对图像传感器的属于微透镜的微图像的像素生成真彩色全光图像，所述像素是“有用”像素，因为它们是将在解复用阶段被重组以生成场景的不同视图的像素。实际上，通过修改滤色器元件配置，可以获取若干中间全光图像，其一起可包含所有有用像素的整个颜色信息(例如，光的蓝色分量、红色分量和绿色分量的强度)。

以此方式，不再需要由现有技术全光成像设备执行的去马赛克步骤，所述去马赛克步骤包括根据从与滤色器阵列重叠的图像传感器输出的不完整颜色样本重建全色图像。因此避免了这种颜色插值所固有的分辨率损失。

因此，所提出的用于获得原始全光图像的方法与现有技术解决方案相比具有许多优点：实施所述方法的全光成像设备的结构特性允许减少可能在图像传感器层级发生的光学串扰，因此提升总体光效率，且所提出的方法允许改进用此全光成像设备获得的视图的空间分辨率，所述视图是无伪影的，因为不再需要去马赛克。

尽管已经参考主要依靠采用色轮形式的滤色器元件的示例性实施例描述了本公开，相关领域的普通技术人员将理解，在不偏离本公开的范围的情况下，可以进行各种改变并且可以用等同物替换其元件。更特别地，在不脱离本公开的范围的情况下，可以使用其它类型的滤色器元件(在滤色器元件的形状和滤色器元件内的滤色器布置方面有所不同)。

5.3装置

图7是示出了根据本公开的实施例的用于获得原始全光图像的装置的示例的示意性框图。这种装置被嵌入到全光成像设备中。

图7中所示的装置700包括通过总线706连接的处理器701、存储单元702、输入设备703、输出设备704和接口单元705。当然，所述计算机装置700的组成元件可以通过除了使用总线706的总线连接之外的连接来连接。

所述处理器701控制所述装置700的操作。所述存储单元702存储至少一个要由所述处理器701执行的程序，以及各种数据，这其中包括例如由处理器701执行的计算所使用的参数、由处理器701执行的计算的中间数据等。处理器701由任何已知的和适当的硬件、软件、或硬件和软件的组合形成。例如，处理器701由诸如处理电路的专用硬件形成，或者由可编程处理单元形成，诸如CPU(中央处理单元)，其执行存储在其存储器中的程序。

所述存储单元702由能够以计算机可读方式存储程序、数据等的任何合适的存储器或装置形成。所述存储单元702的示例包括非暂时计算机可读存储介质，诸如半导体存储器设备，以及加载到读取和写入单元中的磁、光或磁光记录介质。所述程序致使处理器701执行根据如先前所描述的本公开的实施例的用于获得原始全光图像的方法。更具体地说，所述程序使处理器701通过重复以下步骤来获取一组中间全光图像：

-将所述全光成像设备的滤色器元件的配置设定为给定预定配置；

-将所述全光成像设备的图像传感器曝光于穿过所述滤色器元件的所述给定预定配置中的所述全光成像设备的光；

-从所述图像传感器读出数据，以用于获取对应于所述滤色器元件的所述给定预定配置的中间全光图像。

所述程序接着致使处理器701从所述一组中间全光图像获得原始全光图像。可以将所述滤色器元件的不同的预定配置存储到存储单元702中。

所述输入设备703例如由图像传感器形成。

所述输出设备704例如由任何图像处理设备形成，例如用于对从图像传感器读出的全光数据进行解复用。

所述接口单元705提供所述装置700和外部装置之间的接口。所述接口单元705可以经由线缆或无线通信而与所述外部装置通信。在一些实施例中，所述外部装置可以是例如显示设备。

尽管图7上仅展示了一个处理器701，但必须理解，此处理器可包含体现由根据本公开的实施例的装置700实行的功能的不同模块和单元，其中包括用于在滤色器元件的不同预定配置中获取一组中间全光图像的模块，和用于从所述组中间全光图像获得原始全光图像的模块。

这些模块和单元还可以在相互通信和协作的若干处理器701中实现。

Claims (15)

1.一种全光成像设备(2)，包括放置在主透镜(L)和图像传感器(IS)之间的微透镜阵列(MLA)，其中所述全光成像设备(2)还包括布置在主透镜(L)的孔径光阑平面中的滤色器元件(CFE)，所述滤色器元件(CFE)包括至少两个不同的滤色器。

2.根据权利要求1所述的全光成像设备，其中所述滤色器元件能够在所述孔径光阑平面中的至少两个预定位置之间移动。

3.根据权利要求1所述的全光成像设备，其中所述滤色器元件采取以所述全光成像设备的光轴为中心的色轮的形式，并且其中所述全光成像设备包括用于使所述色轮围绕所述光轴旋转的装置

4.根据权利要求3所述的全光成像设备，其中所述用于旋转的装置包括涡流环形电机或压电环形电机。

5.根据权利要求3或4所述的全光成像设备，其中所述色轮被分成四个相等的部分，每个部分包括所述滤色器中的一个。

6.根据权利要求1至5中任一项所述的全光成像设备，其中所述滤色器元件包括一组或多组四个滤色器，该四个滤色器分别为绿色、蓝色和红色，比例为针对一个红色滤色器和一个蓝色滤色器的两个绿色滤色器。

7.根据权利要求1至6中任一项所述的全光成像设备，其中所述至少两个不同的滤色器是二向色滤光器。

8.根据权利要求1所述的全光成像设备，其中所述至少两个不同的滤色器是电子颜色可切换滤光器。

9.一种用于获得原始全光图像的方法，其中所述方法由全光成像设备实施，所述全光成像设备包括放置在主透镜与图像传感器之间的微透镜阵列，以及布置在所述主透镜的孔径光阑平面中的滤色器元件，所述滤色器元件包括至少两个不同的滤色器，且其中所述方法包括：

-在所述滤色器元件的不同预定配置中，获取(61)一组中间全光图像；

-从所述一组中间全光图像，获得(62)所述原始全光图像。

10.根据权利要求9所述的方法，其中所述一组中间全光图像的当前中间全光图像的所述获取包括：

-在所述滤色器元件的当前预定配置中，将所述图像传感器曝光(EXP)于通过所述全光成像设备的光；

-在所述图像传感器曝光之后，从所述图像传感器读出(RO)数据以用于获取所述当前中间全光图像。

11.根据权利要求10所述的方法，其中其包括在所述图像传感器在所述滤色器元件的所述当前预定配置中曝光之后，将所述滤色器元件的所述配置从所述当前预定配置修改为随后的预定配置。

12.根据权利要求11所述的方法，其中从所述图像传感器读出数据以用于获取所述当前中间全光图像且将所述滤色器元件的所述配置从所述当前预定配置修改为所述随后的预定配置是同时被执行的。

13.根据权利要求11或12所述的方法，其中修改所述滤色器元件的所述配置包括：

-在所述孔径光阑平面中移动所述滤色器元件，和/或

-电子切换所述滤色器元件的所述至少两个滤色器的颜色。

14.一种可从通信网络下载和/或记录在计算机可读介质上和/或处理器可执行的计算机程序产品，包括用于实现根据权利要求1至13中任一项所述的方法的程序代码指令。

15.一种非暂时性计算机可读介质，包括记录在其上并且能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据权利要求1至13中任一项所述的方法的程序代码指令。

Images