CN104935793A - 配有滤光器阵列的微透镜和固态成像设备 - Google Patents

Abstract

本申请公开了一种配有滤光器阵列的微透镜和固态成像设备。根据一实施例，配有滤色器阵列的微透镜包括滤色器阵列和微透镜阵列。滤光器阵列包括用于选择性透射红外区的光的多个第一滤光器、以及选择性透射第一可见波长区的光的多个第二滤光器。微透镜阵列包括多个微透镜，每个微透镜对应于第一滤光器和第二滤光器中的任一个。

Description

配有滤光器阵列的微透镜和固态成像设备

关联申请的交叉引用

本申请基于2014年3月20日提交的日本专利申请No.2014-059054并要求其优先权的权益，其全部内容通过引用结合至此。

技术领域

本文描述的实施例一般地涉及配有滤光器阵列的微透镜和固态成像设备。

背景技术

关于其中可获得沿深度方向的距离作为二维阵列信息的成像技术，正在研究各种方法，例如使用参考光束的方法或使用多个相机执行立体距离测量的方法。近年来，作为民用的新式距离测量设备，对于具有相对适中价格的产品具有高需求。

在这种用于获得距离的成像技术中，使用视差的三角方法被已知作为其中一种成像方法，其中不以抑制系统成本为目的来使用参考光束。作为能够实现三角方法的相机的类型，立体相机和多重相机是已知的。然而，在立体相机或多重相机中，要使用多个相机。因此，由于系统尺寸的增加或组件数的增加，存在故障率增加的风险。

同时，关于成像光学系统，已提出一种结构，其中微透镜阵列被部署在像素的上方侧；多个像素被布置在每个微透镜的下部；并且使用微透镜阵列将来自主透镜的图像进一步形成在像素上。在这种结构中，可以像素块为单位获得具有视差的一组图像。视差允许基于摄影对象的距离估算和距离信息而执行再聚焦操作。其中使用微透镜阵列进一步形成来自主透镜的图像的光学配置被称为再聚焦光学系统。

导致由图像传感器获取的图像的画质劣化的因素之一在于被称为串扰的现象，其中落在一像素上的光也进入了相邻的像素。例如，当实现在常用的图像传感器中的Bayer阵列中出现串扰时，会发生混色现象，并且在每个像素中错误地检测出不同颜色组分的光。结果，所捕捉的图像的颜色再现性经受下降。特定地，在包括用于红外光检测目的的红外(IR)检测像素的图像传感器的情形下，具有比可见光更长波长的红外光难以经受像素内的衰减，由此容易导致在相邻像素间发生串扰。

在前面提到的再聚焦光学系统中，来自主透镜的光通过每个微透镜，并然后以取决于相关微透镜的位置的入射角落在图像传感器的光接收表面上。因此，在再聚焦光学系统中，同样存在像素间出现串扰的风险。

发明内容

实施例的目的在于提供一种配有滤光器阵列的微透镜，它能够防止颜色再现性由于像素间串扰引起下降。

根据一实施例，配有滤光器阵列的微透镜包括滤光器阵列和微透镜阵列。滤光器阵列包括用于选择性透射红外区的光的多个第一滤光器以及选择性透射第一可见波长区的光的多个第二滤光器。微透镜阵列包括多个微透镜，每个微透镜对应于第一滤光器和第二滤光器中的任意一个。

根据前述配有滤光器阵列的微透镜，该配有滤光器阵列的微透镜可防止颜色再现性由于像素间串扰引起下降。

附图简述

图1是示出可实现在第一实施例中的成像设备的示例性配置的方框图；

图2是示出可实现在第一实施例中的光学系统的示例性配置的图；

图3是示出可实现在第一实施例中的光学系统的另一示例性配置的图；

图4是示意地示出根据第一实施例的RAW图像的示例的图；

图5示出根据第一实施例的再聚焦操作；

图6是示出具有Bayer配置的滤色器阵列的示例的图；

图7是示出具有已知配置的图像传感器的示例性配置的图；

图8是示出根据第一实施例的光学系统的示例性配置的图；

图9A是示出根据第一实施例的图像传感器的示例性配置的图；

图9B是示出根据第一实施例的图像传感器的另一示例性配置的图；

图10A和10B是根据第一实施例的滤光器的示例性形状；

图11示出根据实施例由图像传感器执行的操作；

图12是用于解释根据第一实施例的最小重复单位的图；

图13是给出根据第一实施例的重构的最小缩放倍数的具体解释的图；

图14A和图14B示出根据第一实施例的滤色器的配置；

图15是用于解释根据第一实施例的滤光器的位置关系的图；

图16到19是示出根据第一实施例的滤光器配置的特定示例的图；

图20是示出根据第二实施例的成像设备的示例性配置的方框图；

图21是示出根据第二实施例执行的定时控制的示例的图；

图22是用于解释根据第二实施例的从第一时间周期和第二时间周期内获得的图像数据处获得的四种类型图像数据的事实的图；

图23是示意地示出根据第二实施例的在图像信号处理器(ISP)中执行的操作的流程的流程图；

图24是用于解释根据第二实施例执行的距离计算的流程图；

图25是解释根据第二实施例的计算每个微透镜图像的纹理量的方法的图；以及

图26是示意地示出根据第二实施例的距离图的图。

具体实施方式

下面描述配有滤光器阵列的微透镜和固态成像设备的示例性实施例。图1中示出可实现在第一实施例中的成像设备的示例性配置。参照图1，成像设备1包括用作透镜单元的相机模块10且成像设备1包括图像信号处理器(ISP)20。

相机模块10包括具有主透镜11的成像光学系统；具有微透镜阵列12和图像传感器13的固态图像传感器；成像单元14；以及信号处理器15。该成像光学系统包括一个或多个透镜，并将来自摄影的光引导至微透镜阵列12和图像传感器13。在包括在成像光学系统中的透镜中，主透镜11被假设为被放置为最靠近图像传感器13的透镜。

考虑到图像传感器13，例如，可使用电荷耦合器件(CCD)或CMOS成像器(CMOS表示互补金属氧化物半导体)。此外，图像传感器13包括多个像素构成的像素阵列，每个像素通过光电转换的方式将所接收的光转换成电信号并输出该电信号。

微透镜阵列12包括根据预定规则布置的多个微透镜120。关于由于主透镜11的原因导致在成像表面上形成图像的一组光束，微透镜阵列12以缩小方式将图像再形成在像素块中，每个像素块包括图像传感器13上的多个像素且与微透镜120之一对应。

同时，尽管图1中未示出，根据第一实施例的滤光器阵列被部署在相对于微透镜阵列12的图像传感器13侧上或主透镜11侧上。滤光器阵列包括选择性透射红外区的光的红外透射滤光器。此外，滤光器阵列配有多种类型的滤光器，其每一个被配置成对应于微透镜120之一。

作为使用红外透射滤光器的结果，变得可在黑暗中成像，诸如在晚间成像或在室内成像。

在包括在滤光器阵列中的多种类型的滤光器中，红外透射滤光器以外的滤光器可例如是将三原色红(R)、绿(G)、和蓝(B)分离的多个滤色器。然而，这不是唯一可能的情形。替代地，红外透射滤光器以外的滤光器可以是透射可见光区的光的无色滤色器(被称为白色滤色器)。再可选地，替代使用无色滤色器，可使用滤色器，该滤色器某些部分留出开口并透射可见光区的光。

同时，相机模块10可以如下方式配置：例如包括主透镜11的成像光学系统与其它部分分离，由此可能更换主透镜11。然而，那不是唯一可能的情形。替代地，相机模块10可被配置为一个单元，其中包括主透镜11和微透镜阵列12的成像光学系统被容纳在单个壳体内。在那种情形下，包括成像光学系统和微透镜阵列12的整个单元变得可更换。

成像单元14包括用于驱动图像传感器13的每个像素的驱动电路。该驱动电路例如包括：用于以水平线(行)为单位顺序地选择垂直方向的将被驱动的像素的垂直选择电路；用于以列为单位顺序地选择垂直方向的被驱动的像素的水平选择电路；以及在多个脉冲下驱动垂直选择电路和水平选择电路的定时发生器。成像单元14从由垂直选择电路和水平选择电路选择的像素中读出通过对所接收光的光电转换获得的电荷；将电荷转换成电信号；并输出电信号。

相对于从成像单元14输出的模拟电信号，信号处理器15执行增益调整、噪声去除、和放大。此外，信号处理器15包括A/D转换电路，用于将经处理的信号转换成数字信号并将它们输出作为RAW图像的图像数据。

ISP 20包括相机模块I/F 21、存储器22、图像处理器23、和输出I/F 24。相机模块I/F 21是相对于相机模块10的信号接口。例如，从相机模块10的信号处理器15输出的RAW图像的图像数据经由相机模块I/F 21被存储在作为帧存储器的存储器22中。

在被存储在存储器22的图像数据中，基于在来自微透镜阵列12和滤色器阵列的光所形成的图像数据；图像处理器23执行再聚焦操作，其中与每个微透镜对应的区域的图像被放大并且在偏移图像位置的同时叠加图像，并获得已被重构的再聚焦图像(下文中描述)。然后，再聚焦图像从输出I/F 24被输出并或者被显示在显示设备(未示出)上或者被存储在外部存储介质中。

同时，替代将图像数据存储在存储器22中，可将其存储在外部存储介质中。在那种情形下，从外部存储介质读取的图像数据经由例如相机模块I/F 21被存储在存储器22中。然后，图像处理器23相对于该图像数据执行再聚焦操作。由此，可在要求的定时获得再聚焦图像。

在第一实施例中可实现的光学系统

下面给出能在第一实施例中实现的光学系统的说明。这里，光学系统包括主透镜11、微透镜阵列12、和图像传感器13。在图2中示出能在第一实施例中实现的光学系统的示例性配置。参照图2，距离A指示主透镜11和摄影对象之间的距离；而距离B指示主透镜11的图像形成距离。此外，距离C指示主透镜11的图像形成表面与微透镜阵列12的每个微透镜之间的最短距离；而距离D指示微透镜阵列12与图像传感器13之间的距离。同时，主透镜11具有焦距f，而每个微透镜120具有焦长g。这里，为了说明起见，对于光轴，摄影对象侧被定义为前侧而图像传感器13侧被定义为后侧。

在光学系统中，使用来自主透镜11的光束，部署在微透镜阵列12中的微透镜120在图像传感器13上形成所有视点的图像。同时，尽管图2中未示出，相对于每个微透镜120部署RGB颜色中的一种颜色的滤色器。

在图2所示的示例中，微透镜阵列12被部署在主透镜11的图像形成表面的后侧。然而，这不是唯一可能的情形。替代地，例如图3所示，微透镜阵列12可部署在主透镜11的图像形成表面的前侧上。

图4示意地示出根据第一实施例在其中主透镜11的图像形成表面位于图像传感器13后侧上的情况下基于图像传感器13的输出的图像数据的示例。信号处理器15将图像300作为RAW图像的图像数据输出，在该图像300中，由于微透镜阵列12的微透镜120而形成在图像传感器13的光接收表面上的微透镜图像30以与微透镜120的布置相同的方式被布置。参照图4，根据微透镜120的配置，通过每个微透镜图像30中的预定偏移来捕捉同一摄影对象(例如数字“3”)。

这里，期望的是由于微透镜120而被形成在图像传感器13上的微透镜图像30没有任何互相叠加地形成。此外，参照图4，这种布置代表六边形阵列，其中微透镜120被布置在微透镜阵列12的六边形晶格点上。然而，微透镜120的布置不仅限于该例，并可具有某些其它布置。例如，微透镜120可被布置在方形晶格点上。同时，在下面的解释中，假设微透镜阵列12如图2所示被部署在主透镜11的图像形成表面后侧上。

下面参照图2讨论创建再聚焦图像的原理。参照图2，距离B和距离C相加被视为距离E。如果主透镜11的位置是固定的，则距离E是常数。这里，在距离E与距离D是常数的假设下给出解释。

在主透镜11中，在至摄影对象的距离A、通过来自摄影对象的光形成图像处的距离B、以及焦距f之间，根据透镜公式建立了在下面的式(1)中给出的关系。以相同的方式，对于微透镜阵列12的微透镜120，也根据透镜公式建立了在下面式(2)中给出的关系。

$\frac{1}{A}+\frac{1}{B}=\frac{1}{f}---\left(1\right)$

$\frac{1}{C}+\frac{1}{D}=\frac{1}{g}---\left(2\right)$

当主透镜11和摄影对象之间的距离A改变时，式(1)中给出的透镜公式中距离B的值经历改变。基于光学系统中的位置关系，距离B和距离C相加等于距离E，如前所述那样。此外，距离E是固定的。因此，随着距离B的改变，距离C的值也经历改变。关于微透镜120，作为使用式(2)中给出的透镜公式的结果，随着距离C的改变，发现距离D的值也经历改变。

因此，考虑由于每个微透镜120形成的图像，变得可获得作为图像形成表面(是主透镜11的虚像)缩小至缩放倍数N(其中N＝D/C)的结果的图像。缩放倍数N可如下面给出的式(3)表示的那样。

$N=\frac{D}{C}=\frac{D}{E-B}=\frac{\frac{\mathrm{Cg}}{C-g}}{E-\frac{\mathrm{Af}}{A-f}}=\frac{\mathrm{Cg}(A-f)}{(C-g)\{E(A-f)-\mathrm{Af}\}}---\left(3\right)$

根据式(3)，发现由于微透镜120形成在图像传感器13上的图像的缩小比依赖于从主透镜11至摄影对象的距离A。因此，为了重构原始二维图像，例如如图5(a)所示由于微透镜120形成并具有点31₁、31₂和31₃作为相应中心坐标的微透镜图像30₁、30₂、30₃如图5(b)所示以缩放倍数1/N被放大，藉此分别导致放大的微透镜图像30₁’、30₂’、30₃’的产生。然后，对放大的微透镜图像30₁’、30₂’、30₃’执行叠加与合成以变得可获得以距离A进行对焦的重构图像。

在叠加过程中，对于距离A以外的距离处的部分，以非对齐方式叠加放大的微透镜图像30₁’、30₂’、和30₃’。结果，变得可获得类似模糊的效果。由此，再聚焦操作指其中从这些微透镜图像中在任意位置被带入焦距的操作。

根据第一实施例的滤光器阵列

下面给出根据第一实施例的滤光器的解释。首先，参照图6和图7解释一种已知的滤色器阵列。图6示出具有常用Bayer布置的滤色器阵列70的示例。在具有Bayer布置的滤色器阵列70中；如图6所示，RGB色的滤色器被配置成矩阵形式，其中具有绿、蓝、绿、蓝……的重复的行与具有红、绿、红、绿……的重复的行被交替地布置。

图7示出具有已知配置的图像传感器13的示例性配置的截面。在图7所示的示例中，具有Bayer配置的滤色器阵列70的绿滤色器700₁、蓝滤色器700₂和绿滤色器700₃分别对应于图像传感器13的像素130₁、130₂和130₃而被部署。此外，在该示例中，透镜132₁、132₂和132₃以分别对应于滤色器700₁、700₂、和700₃的逐像素为基础被部署。

在使用如图2所示其中使来自主透镜11的光通过微透镜阵列12并然后落在图像传感器13上的光学系统的情形下，相对于图像传感器13的入射角从主透镜11的光轴朝向图像传感器13的外侧持续增加。由此，如图7所示，例如通过蓝滤色器700₂并以倾斜角落在像素130₂上的光也可落在相邻像素130₃上。

在这种情形下，不仅是经过蓝滤色器700₂和像素130₂的光以倾斜角落在像素130₃上，还有已经通过对应于像素130₃部署的绿滤色器700₃的光也直接落在像素130₃上。结果，像素间串扰发生在像素130₃内，由此导致所捕捉图像的颜色再现性下降的风险。

特定地，具有比可见光更长波长的红外光从落在像素上的时间直至被吸收的时间相比可见光行进过更长的距离。因此，红外光对相邻像素具有显著的影响。例如，考虑其中图7所示的滤色器700₂是可选择性透射红外光的红外透射滤光器的情形。在那种情形下，相比其中滤色器700₂是蓝滤色器的情形，会出现更大程度的像素间串扰。

图8示出根据第一实施例的光学系统的示例性配置。图8所示的配置对应于图4所示的配置。因此，与图4共同的部分用相同附图标记表示，并且对该部分的详细描述不再予以重复。

在第一实施例中，相对于光学系统部署滤光器阵列40，该滤光器阵列40包括分别对应于微透镜120₁、120₂……部署的多种类型的滤光器400₁、400₂……。在图8所示的示例中，例如第一类型的滤光器400₁与微透镜120₁对应部署，且第二类型的滤光器400₂与微透镜120₂对应部署。以相同方式，滤光器400₃、400₄和400₅分别对应于微透镜120₃、120₄和120₅部署。这里，各种类型的滤光器例如包括红外透射滤光器、所有颜色的滤色器、以及无色滤色器。

在图9A中示出的是根据第一实施例的图像传感器13的示例性配置的截面。参照图9A，与图7共同的部分用相同附图标记表示，并且对该部分的详细描述不再予以重复。在第一实施例中，如图9A所示，在包括在滤光器阵列40中的多种类型的滤光器之中，单种类型的滤光器400(例如绿滤色器)关联于单个微透镜120。结果，从相关微透镜120接收该光的像素130₁、130₂和130₃接收已经通过同一滤光器400并具有相同特性(例如绿色)的光。

同样在这种情形下，例如，以预定倾斜角落在像素130₂上的光也落在相邻像素130₃上，由此导致像素130₃中的像素间串扰。然而，在这种情形下，直接落在像素130₃上的光已经过同一滤光器400，从相邻像素130₂倾斜地落下的光已通过该滤光器400。因此，变得可防止归因于像素间串扰的颜色再现性降低。

同时，参照图9A，对于其中滤光器阵列40部署为毗邻微透镜阵列12的示例给出解释。然而，这不是唯一可能的情形。替代地，例如，微透镜阵列12和滤波器阵列40可部署为彼此隔开。另外，在图9A所示的例子中，微透镜阵列12被部署在主透镜11侧，而滤光器阵列40被部署在图像传感器13侧。然而，替代地，微透镜阵列12可被部署在图像传感器13侧而滤光器阵列40可被部署在主透镜11侧。

此外，在图9A所示的示例中，滤光器400以微透镜120为单位部署。然而，这不是唯一可能的示例。例如图9B所示，以像素为单位部署在像素130₁、130₂和130₃上的像素上滤光器133可被组合。藉此，变得可通过防止来自另一微透镜的入射光而进一步改善颜色再现性。

在图10A和图10B中示出的是根据第一实施例的包括在滤光器阵列40中的滤光器的示例性形状。在10A其中滤光器400是圆形的示例。在图10B示出其中滤光器400是六边形的示例。由此，滤光器400的形状可以是使得当它们被布置成六边形阵列时覆盖相应的微透镜120。

考虑在其中滤光器40包括红外透射滤光器和RGB色的滤色器的情形下的微透镜图像30。在下面的解释中，红外光被写为Ir色光，而红外透射滤光器被写为Ir滤光器。在这种情形下，当经过滤光器阵列40和微透镜阵列12的光落在图像传感器13上时形成的微透镜图像30包括RGBIr色的单色微透镜图像30_R、30_G、30_B和30_Ir，如图11(a)所示。相对于包括微透镜图像30_R、30_G、30_B和30_Ir的RAW图像的图像数据；图像处理器23放大并叠加微透镜图像30_R、30_G、30_B和30_Ir中的每一个并执行再聚焦操作，如参照图5B解释的那样。

也就是说，如图11(b)所示，图像处理器23放大微透镜图像30_R、30_G、30_B和30_Ir并分别生成放大的微透镜图像50_R、50_G、50_B和50_Ir。当放大的微透镜图像50_R、50_G、50_B和50_Ir被叠加时，叠加区域50_RGBIr表示包括RGB色和Ir色的色像。然后，参照叠加区域50_RGBIr中包括的RGB色的图像，图像处理器23可执行彩色图像合成操作并获得颜色重构的图像。另外，对于包括在叠加区域50_RGBIr中的Ir色的图像，图像处理器23可以选择方式执行图像处理并获得红外图像。

滤光器阵列中的配置

下面给出关于包括在滤光器阵列40中的多种滤光器的配置的解释。滤光器阵列40中的滤光器的类型的示例包括Ir滤光器和白色滤色器。替代地，滤光器阵列40中的滤光器的类型的示例包括Ir滤光器和RGB滤色器。

由于有若干方式来配置包括在滤光器阵列40中的多种滤光器400，因此将这些配置分类。在下面的解释中，假设滤光器阵列40中的滤光器的布置用最小重复单位表达。

下面参照图12解释根据第一实施例的最小重复单位。图12示出滤光器阵列40A，其中Ir滤光器和白色滤色器被布置成六边形格子。在图12所示的示例中，Ir色的颜色组分与白色的颜色组分在滤光器阵列40A中具有1：1的比率；并且封围在帧边界内的单位区域60A用作最小重复单位。也就是说，通过紧密地放置单位区域60A的布置而实现图12所示的配置。

在图12所示的配置中，包括Ir色的两个滤光器400Ir和白色的两个滤光器400W的线性对准的一个组沿该直线重复地布置，并且这些组以1.5个滤光器的偏移量毗邻该直线重复地布置。

在图12所示的配置中，滤光器阵列包括多个第一组。每个第一组包括：第一阵列，其中两个第一滤光器和两个第二滤光器在第一方向中交替布置；以及第二阵列，其中两个第一滤光器和两个第二滤光器在第一方向交替布置并且第二阵列在与第一方向相交的第二方向中与第一阵列共线。另外，第一阵列和第二阵列以1.5个第一滤光器的偏移量在第一方向排列。此外，多个第一组在第二方向中排列。

在六边形布置的滤光器阵列40中的多种类型滤光器400的布置中，用于重构的最小缩放倍数和距离精度是重要的。作为示例，考虑其中滤光器阵列40包括由RGBIr色的滤色器构成的四种类型滤光器的情形。在这种情形下，在作为叠加分别通过以特定缩放倍率放大微透镜图像30_R、30_G、30_B和30_Ir形成的放大的微透镜图像50_R、50_G、50_B和50_Ir的结果获得的重构图像中；最小重构缩放倍率指用于构成彩色图像(具有在用作为最小重复单位的单位区域内包括的所有像素)的全部颜色组分(例如RGBIr色的颜色成份)的最小缩放倍数。也就是说，当微透镜图像30_R、30_G、30_B和30_Ir以等于或大于最小重构缩放倍数的缩放倍数放大时，变得可在包括在单位区域内的所有像素处获得包括RGBIr色的图像。

下面参照图13给出根据第一实施例的最小重构缩放倍数的具体解释。图13(a)示出一示例性配置，其中滤光器阵列40中的RGBIr色的颜色组分比为1：1：1：1。

在图13所示的配置中，滤光器阵列包括多个第三组。每个第三组包括：第五阵列，其包括在第五方向中布置的第一滤光器；第六阵列，其包括沿第五方向布置的第二滤光器并在与第五方向相交的第六方向中与第五阵列共线；第七阵列，其包括在第五方向中布置的第三滤光器并在第六方向中与第六阵列共线；以及第八阵列，其包括在第五方向中布置的第四滤光器并在第六方向中与第七阵列共线。另外，多个第三组沿第六方向共线。

这里，将焦点放在用作图13(a)所示的最小重复单位的单位区域60的四个角落处的红色滤色器400R₁到400R₄；图13(b)示出通过以最小重构缩放倍数分别放大红滤色器400R₁到400R₄而形成的放大微透镜图像50R₁到50R₄的示例。

在图13(b)所示的示例中，在四个角落形成的红色放大微透镜图像50R₁-50R₄覆盖整个单位区域60，并且单位区域60的内部由RGBIr色的颜色组分所覆盖。这里，重构图像的分辨率反比于最小重构缩放倍数的平方而减小。因此，最小重构缩放倍数越小，获得高分辨率的重构图像的可能性越高。

下面给出关于距离计算方法的解释。如已参照式(3)描述的那样，当图2所示的距离A的值存在改变时，距离B、C和D的值也经历改变。结果，微透镜图像的缩小比N也经历改变。

如果针对距离A组织式(3)，则获得下面给出的式(4)。从式(4)，借助图像匹配而被计算出由微透镜120形成的图像的缩小比N。此外，如果距离D和E以及焦距f是已知的，则距离A的值可从式(4)中计算出。

$A=\frac{(D-\mathrm{NE})f}{D-\mathrm{NE}+\mathrm{Nf}}---\left(4\right)$

在图4所示的光学系统的情形下，距离E和距离C的相加等于距离B。此外，与微透镜120关联的透镜公式在下面以式(5)给出。在这种情形下，距离A与缩小比N之间的关系可使用下面给出的式(6)表达。

$-\frac{1}{C}+\frac{1}{D}=\frac{1}{g}---\left(5\right)$

$A=\frac{(D+\mathrm{NE})f}{D+\mathrm{NE}-\mathrm{Nf}}---\left(6\right)$

如果Δ’表示微透镜120之间的微透镜图像30的偏移量并且如果值L表示微透镜120之间的中心距离，可根据光束的几何关系使用式(7)表达则缩小比N。由此，为了获得该缩小比N，图像传感器23可实现评价函数，诸如绝对差之和(SAD)或平方差之和(SSD)，相对于每个微透镜图像30执行图像匹配，并获得微透镜120之间的偏移量Δ’。

$N=\frac{{\mathrm{\Δ}}^{\′}}{L}---\left(7\right)$

同时，根据式(7)，最小重构缩放倍数被表示为1/N。

在使用根据第一实施例的滤光器阵列40的情形下，图像处理器23在由于相同类型(相同颜色)的滤光器形成的微透镜图像30间执行图像匹配。那时，取决于各种类型滤光器40的布置；由于与摄影对象的距离或图像的边缘方向，有时在借助图像匹配获得的偏移量Δ’的距离精度上会出现大的误差。

为了防止距离精度上的这种误差，滤光器阵列40中的多种类型的滤光器的布置需要满足下面解释的第一条件和第二条件。

下面的讨论有关于第一条件。例如，在滤光器阵列40中，考虑其中特定滤光器在相邻处不具有相同类型(相同颜色)的滤光器的情况。在这种情形下，如前所述，由于微透镜图像30之间的偏移量Δ’取决于与摄影对象的距离A，如果摄影对象的图像仅形成在被部署在彼此相邻处的微透镜120之间，则无法测量距离。由此，每个滤光器在相邻处需要具有相同颜色的滤光器。这种条件被设置为第一条件。

对第二条件给出下面的解释。这里，若考虑距离精度，第二条件关联于滤色器配置的方向依存性。在图13(a)所示的示例中，就特定滤光器而言，相同颜色的滤光器被布置在附近但仅在单个轴线方向布置。也就是说，在图13(a)展示的示例中，RGBIr色的每种颜色的滤光器在逐色基础上被线性地布置。

在这种配置中，如果摄影对象图像的边缘上的亮度值的改变方向平行于其中布置相同颜色的滤光器的轴线方向，则可导致图像匹配精度的下降。也就是说，图像处理器23使用微透镜图像30执行图像匹配，微透镜图像30中的每一个是由通过同一颜色的滤光器的光形成的。因此，例如如果图像边缘平行于其中布置相同颜色的滤光器的轴线方向，则在该轴线方向彼此相邻地形成的微透镜图像30可能是基本相同的图像。在这种情形下，变得难以使用图像匹配执行距离测量。

以此方式，当相同颜色的滤光器在单个轴线方向排列时，这导致方向依存性，其中距离精度变得依赖于于摄影对象的边缘方向。因此，在图像映射期间，为了减少方向精度相对于边缘方向的方向依存性，滤光器阵列40中的滤光器的布置期望地使得相同颜色的滤光器出现在多个轴线方向上。

这里，轴线是由相同颜色的三个滤光器确定的。当相同颜色的三个滤光器线性对准时，它们出现在单个轴线上。在这种情形下，相同颜色的这三个滤光器不满足第二条件。相反，考虑将三个滤光器中的两个滤光器连接起来的第一直线的情形，并考虑将包括前面提到的两个滤光器以外的滤光器中的两个滤光器的中心连接起来的第二直线的情形。如果第一直线和第二直线彼此相交，则所考虑的相同颜色的三个滤光器出现在两个轴线方向上。在这种情形下，相同颜色的这三个滤光器满足第二条件。

因此，在图14A所示的配置中，相同颜色的滤光器400₁₀和滤光器400₁₁、和400₁₂在单个轴线上对准。因此，滤光器400₁₀、400₁₁、400₁₂不满足第二条件。在这种情形下，如前所述，在由于滤光器400₁₀、400₁₁、和400₁₂形成的微透镜图像30中；存在方向依存性的可能，其中方向精度依赖于摄影对象的边缘方向。

另一方面，在图14B所示的配置中，滤光器400₁₀和相同颜色的滤光器400₁₁、400₁₂不在同一轴线上对准。也就是说，在图14B所示的示例中，滤光器400₁₀和相同颜色的滤光器400₁₁和400₁₂具有将滤光器400₁₀和400₁₁连接起来的第一轴线以及将滤光器400₁₀和400₁₂连接起来的第二轴线。因此，满足第二条件。因此，相比图14A所示的配置，图14B所示的布置具有方向精度相对于摄影对象的边缘方向的较低方向依存性。因此，图14B所示的布置是优选布置。

这里，考虑六边形布置的滤光器阵列40中的每种颜色的滤光器的布置的周期性质。在那种情形下，第二条件，即在不同轴线方向上具有相同颜色的滤光器的条件可以是，换句话说，是其中关于特定滤光器，出现在特定滤光器附近并具有与特定滤光器相同颜色的两个滤光器并没有被放置为相对于特定滤光器点对称的条件。

也就是说，作为六边形布置的滤光器阵列40中的优选滤光器布置的条件，可施加在感兴趣滤光器的六个相邻滤光器中，以非点对称方式部署至少一种颜色的滤光器的条件。这种条件可被设定为第三条件。因此，第三条件暗示与前述第二条件相同的含义。

在图12所示的滤光器阵列40A中，对于任意滤光器，相同颜色的滤光器部署在其附近。因此，满足第一条件。另外，在出现在任意滤光器附近的六个滤光器中，以非点对称方式部署相同颜色的滤光器。因此，满足第三条件。

下面以具体术语并参照图15讨论根据第一实施例的滤光器的位置关系。在图15中，跨两个居间滤光器的范围被视为邻近。也就是说，在六边形布置的滤光器阵列40中，对于在中心的滤光器400₂₀，跨两个居间的滤光器而放置的其它滤光器(例如滤光器400₂₅)以及相比这些其它滤光器位于离滤光器400₂₀更短距离处的滤光器全被视为在滤光器400₂₀附近的滤光器。在图15所示的示例中，其中对角地对准的七个滤光器(包括滤光器400₂₀)的六角形范围被视为在滤光器400₂₀附近。

在图15中，假设滤光器400₂₀-400₂₅是相同颜色的。将滤光器400₂₀认为中心，滤光器400₂₁和400₂₂相对于滤光器400₂₀点对称地放置。因此，不满足第三条件。在这种情形下，在连接滤光器400₂₁、400₂₀和400₂₂的单轴线方向上执行图像匹配的计算。此举导致方向精度相对于摄影图像边缘方向的方向依存性增加。这种情况是不理想的。以相同方式，滤光器400₂₁、400₂₀和400₂₂也以同线方式放置。因此，在单轴线方向中执行图像匹配，这不是理想的情况。

相反，滤光器400₂₃和400₂₄相对于滤光器400₂₀不是点对称放置的。因此，满足第三条件。因此，可在两个轴线方向中执行图像匹配的计算，即连接滤光器400₂₀和400₂₃的轴线方向以及连接滤光器400₂₀和400₂₄的轴线方向。此举允许取得方向精度相对于摄影对象的边缘方向的方向依存性的减小。

根据第一实施例的滤色器布置的特定示例

下面参照图16到19讨论滤光器布置的特定示例，其中：使用Ir滤光器；满足总括第一条件至第三条件的条件；并且最小重构缩放倍数1/N相对小。

图16示出其中滤光器阵列40B配置有作为Ir滤光器的滤光器400Ir以及作为白色滤色器的滤光器400W的示例。在图16所示的配置中，Ir色的颜色组分与白色的颜色组分在滤光器阵列40中具有1：1的比率；并且封围在帧边界内的单位区域60B用作最小重复单位。

当Ir色的滤光器400Ir的线性布置和白色的滤光器400W的线性布置以重复方式彼此毗邻地放置时，可取得图16所示的配置。

在图16所示的配置中，滤光器阵列包括多个第二组。每个第二组包括第三阵列，其包括在第三方向排列的第一滤光器；并包括第四阵列，其包括在第一方向排列的第二滤光器并第四阵列在与第三方向相交的第四方向与第三阵列共线。另外，多个第二组在第四方向排列。

在图16所示的滤光器阵列40B中，对于任意滤光器，相同颜色的滤光器被部署在其附近。因此，满足第一条件。然而，在图16所示的滤光器阵列40B中，使任意滤光器在中心，相同颜色的滤光器以点对称方式布置。因此，不满足第三条件。关于滤光器400W₀，相同颜色的滤光器400W₁和400W₂从滤光器400W₀跨一个居间滤光器部署。此外，滤光器400W₁和400W₂相对于滤光器400W₀以非点对称方式放置。

在滤光器阵列40B中，例如，作为使用从滤光器400W₀跨一个居间滤光器定位、具有与滤光器400W₀相同颜色并相对于滤光器400W₀以非点对称方式放置的滤光器400W₁和400W₂的结果；变得可在减小边缘依存性的同时执行图像匹配。

同时，如果将图16所示的滤光器阵列40B的布置与图12所示的滤光器40A的布置比较；那么图12所示的布置具有相同颜色的微透镜图像的较高各向异性并从图像匹配的距离精度的角度看是有优势的。

在图17到19中示出的是示例性滤光器阵列40C到40E，其中以1：1：1：1的比率包括红色滤色器400R、绿色滤色器400G、蓝色滤色器400B和Ir色滤色器400Ir中的每一个。在图17中示出的是滤光器阵列40C的示例，滤光器阵列40C包括在用作最小重复单位的单位面积60C内的单个滤光器400R、单个滤光器400G、单个滤光器400B、以及单个滤光器400Ir。在图17所示的滤光器阵列40C中，滤光器400R、400G、400B被部署为使任意两个相邻滤光器是不同类型的(颜色)。另外，在图17所示的配置中，被封围在帧边界内的单位面积60C用作最小重复单位。

此外，在图17所示的滤光器阵列40C中，在任意滤光器的六个相邻滤光器中，相同颜色的滤光器以非点对称方式被部署。因此，满足第三条件。然而，在滤光器阵列40C中，没有任意一个滤光器在其附近具有相同颜色的滤光器。因此，不满足第一条件。同样在这种情形下，在滤光器阵列40C中，相同颜色的滤光器出现在相隔1.5个滤光器的位置处。由此，如果所使用的微透镜图像对应于出现在相隔1.5个滤光器的位置处的相同颜滤色器，则执行图像匹配变得可能。

在图17所示的配置中，滤光器阵列包括多个第九阵列。每个第九阵列具有在第七方向中排列的多个第一周期；并且每个第一周期包括在第七方向中排列的第一滤光器、第二滤光器、第三滤光器、和第四滤光器。另外，第九阵列在与第七方向相交的第八方向中排列，并且相邻的第九阵列以半个周期的偏移在第七方向中排列。

在图18中示出的是滤光器阵列40D的示例，该滤光器阵列40D包括在用作最小重复单位的单位区域60D内的三个滤光器400R、三个滤光器400G、三个滤光器400B、以及三个滤光器400Ir。在图18中，滤光器阵列40D包括第一组，其中两个第一滤色器、一个第二滤色器、两个Ir滤色器、以及一个第三滤色器在第一方向中顺序地且毗邻地排列。另外，滤光器阵列40D包括第二组，其中一个第一滤色器、两个第二滤色器、一个Ir滤色器、以及两个第三滤色器在第二方向中顺序地且毗邻地排列。此外，滤色器阵列40D进一步包括：第三组，其包括与第一组相同布置的滤光器；以及第四组，其包括与第二组相同布置的滤光器。在第一至第四组中，滤光器在彼此平行的方向中排列。另外，第一至第四组在与第一方向相交的第二方向中以该顺序排列。这里，第一方向和第二方向形成例如120°的角。包括在第一组中的特定滤光器紧挨着包括在第二组中并与该特定滤光器相同颜色的另一滤光器放置。此外，包括在第一组中的特定滤光器与包括在第三组中并具有与特定滤光器相同颜色的另一滤光器在第一方向中隔开三个滤光器地分离。此外，包括在第二组中的特定滤光器与包括在第四组中并具有与特定滤光器相同颜色的另一滤光器在第一方向中隔开三个滤光器地分离。

在图18所示的示例中，第一颜色、第二颜色、和第三颜色分别为红色、绿色、和蓝色。然而，第一至第三颜色的颜色分配不仅限于这个示例。

在图18所示的布置中，滤光器阵列包括多个第四组。每个第四组包括第十阵列、第十一阵列、第十二阵列、和第十三阵列。在第十阵列中，两个第一滤光器、一个第二滤光器、两个第三滤光器、以及一个第四滤光器在第九方向中以这种顺序布置。在第十一阵列中，一个第一滤光器、两个第二滤光器、一个第三滤光器、以及两个第四滤光器在第九方向中以这种顺序布置。在第十二阵列中，两个第一滤光器、一个第二滤光器、两个第三滤光器、以及一个第四滤光器在第九方向中以这种顺序布置。在第十三阵列中，一个第一滤光器、两个第二滤光器、一个第三滤光器、以及两个第四滤光器在第九方向中以这种顺序布置。另外，第十阵列至第十三阵列在与第九方向相交的第十方向中以该顺序排列。第十阵列中的第一滤光器和第和第十一阵列中的第一滤光器在第十方向中接触。另外，第十一阵列中的第一滤光器和第十二阵列中的第一滤光器在第十方向中相隔2.5个第一滤光器。此外，第十二阵列中的第一滤光器和第十三阵列中的第一滤光器在第十方向中接触。同时，多个第四组在第十方向中排列。

图19示出的是滤光器阵列40E的示例，该滤光器阵列40E包括在用作最小重复单位的单位区域60E内的四个滤光器400R、四个滤光器400G、四个滤光器400B、以及四个滤光器400Ir。在图19所示的滤光器阵列40E中，对每种颜色形成一组四个相互邻近的相同颜滤色器，并且这些组以相同颜色组不彼此紧挨着放置的方式重复地布置。

在图19所示的配置中，滤光器阵列包括多个第五组。每个第五组包括第十四阵列、第十五阵列、第十六阵列、和第十七阵列。在第十四阵列中，两个第一滤光器和两个第二滤光器在第十一方向中交替地布置。在第十五阵列中，两个第一滤光器和两个第二滤光器在第十一方向中交替地布置。在第十六阵列中，两个第三滤光器和两个第四滤光器在第十一方向中交替地布置。在第十七阵列中，两个第三滤光器和两个第四滤光器在第十一方向中交替地布置。另外，第十四阵列至第十七阵列在与第十一方向相交的第十二方向中以该顺序排列。此外，多个第五组在第十二方向中排列。

在图12、图16、图17、图18、和图19所示的布置中，最小重构缩放倍数1/N相对小，并可在多个轴线方向中获得在邻近可经受图像匹配的微透镜图像。由此，如果采用图12、图16、图17、图18、和图19中任何一幅图所示的布置，则即便在其中使用选择性透射红外光的Ir滤光器的情况下，在再聚焦操作期间也能获得高分辨率的重构图像。此外，变得可减少方向依存性，其中方向精度依赖于摄影对象的边缘方向。

同时，如果与摄影对象的距离为无穷或者可被视为无穷的这样长距离，那么来自主透镜11并落在微透镜阵列12上的光变成平行光或接近平行光的光。此时，由于微透镜120形成的图像全部是不同图像，由此使得难以执行图像匹配。由此，与摄影对象的距离越长，由于相邻微透镜120形成的图像中的差异越大。因此，图像匹配成为困难的任务。

就此而言，在其中相同颜色的滤光器彼此靠近放置的配置中，例如在图19所示的滤光器阵列40E中；变得可处理其中摄影对象在远距离处的情况。因此，这种配置是优选的。相反，在图17所示的滤光器阵列40C中，由于相同颜色的滤光器不彼此毗邻，因此难以处理其中摄影对象在远距离处的情况。然而，如果摄影对象位于短距离处，采用滤光器阵列40C允许使用例如相隔1.5个滤光器的相同颜滤色器来执行图像匹配。因此，变得可实现较高的距离精度。

第二实施例

下面给出第二实施例的解释。在第二实施例中，给出关于图像传感器的驱动方法和信号处理方法的解释，该图像传感器适用于具有包括Ir滤光器的滤光器阵列的配备滤光器阵列的微透镜。

如前所述，在其中使用微透镜阵列12的图像传感器中，可在微透镜图像之间执行图像匹配从而获得微透镜图像的缩小比N，并可从该缩小比N获得与摄影对象的距离A。此时，在图像匹配期间，摄影对象图像的纹理量越大，对抗诸如造成错误检测的噪声的因子的强度越好。

由此，在捕捉的图像中，期望具有高图像对比度，并且该图像不过暗是必要的。另一方面，如果图像过亮，则归因于熄灭加亮的饱和区开始形成在图像中。因此，存在其中图像匹配变得困难的区域。以此方式，为了以合适的方式执行图像匹配，需要选择最适合的曝光时间。

在第一实施例中，滤光器阵列40包括透射红外光的Ir滤光器。如果在这里使用相同的图像传感器，则存在有时对可见光的最适合曝光时间不同于对红外光的最适合曝光时间的时候。例如，即使曝光时间允许获得通过捕捉可见光形成的高对比度可见光图像，然而存在有时通过捕捉红外仅获得低对比度可见光图像的时候。

在这方面，在第二实施例中，在成像设备中，通过将单个帧周期分割成第一时间周期和比第一时间周期更长的第二时间周期来实现图像传感器的曝光。在第二时间周期内，曝光执行相比第一时间周期更长的时间周期，并可能确保从图像传感器输出更多信号数。结果，相对于通过捕捉红外光形成的红外图像，可以适当方式执行图像处理。

图20中示出的是根据第二实施例的成像设备1’的示例性配置。参照图20，用相同附图标记来表示与图1相同的构成部件，并且对其详细描述不再予以重复。

成像设备1’包括相机模块10和ISP 20’。以与第一实施例相同的方式，相机模块10包括：成像光学系统，其包括主透镜11；固态成像设备，其包括微透镜阵列12和图像传感器13；成像单元14’；以及信号处理器15’。相对于微透镜阵列12，包括IR滤光器的滤光器阵列40被部署在图像传感器13侧或主透镜11侧。此处，假设滤光器阵列40包括IR滤光器和RGB色的滤光器。

ISP 20’包括相机模块I/F 21和输出I/F 24；并包括开关220、帧存储器221A和221B、图像处理器230、帧存储器250A和250B、计算器251、和控制器26。

控制器26在单个帧周期内为设置第一时间周期t_RGB和比第一时间周期t_RGB更长的第二时间周期t_Ir的目的而生成定时信号。例如，如图21所示，控制器26以这此方式生成定时信号以使得将单个帧分割成第一时间周期第一时间周期t_RGB和第二时间周期t_Ir。例如，第一时间周期t_RGB被设置为其中适当执行相对于RGB色光的曝光的时间周期。以相同方式，第二时间周期t_Ir被设定至其中适当执行相对于红外光的曝光的时间周期。然后，控制器26顺次地将帧Frame#1、Frame#2……提供给成像单元14’和开关220。

在图21所示的示例中，在单个帧中，第一时间周期t_RGB被设置为在前端。然而，这不是唯一可能的情况。替代地，第二时间周期t_Ir也可被设置在前端。同时，第一时间周期t_RGB和第二时间周期t_Ir不一定表示通过将单个帧分割成两个所设置的周期，而是可代表单个帧的某个周期。

成像单元14’在第一时间周期t_RGB期间在单个帧周期内并根据所提供的定时信号从图像传感器13中读取电荷；将该电荷转换成电信号；并输出该电信号。相对于在第一时间周期t_RGB期间的电信号，信号处理器15'执行诸如增益调整、噪声去除、和放大之类的预定信号处理；相对于经处理的电信号执行A/D转换；并将它们作为RAW图像的图像数据500输出。然后，与第一时间周期t_RGB对应并由信号处理器15'所输出的图像数据500从相机模块10被送至ISP 20’；并经由相机模块I/F 21被输入至开关220。

在开关220中，取决于从控制器26提供的定时信号，选择输出端子220A或输出端子220B被选择。这里，在第一时间周期t_RGB期间，假设选择输出端子220A被选择。因此，与第一时间周期t_RGB对应并被输入至开关220的图像数据500被存储在帧存储器221A中。

在第二时间周期t_Ir期间也执行相同操作。也就是说，在第一时间周期t_RGB期间从图像传感器13执行读取后，成像单元14’根据从控制器26提供的定时信号在第二时间周期t_Ir期间从图像传感器13读取电荷；将该电荷转换成电信号；并输出该电信号。相对于在第二时间周期t_Ir期间的电信号，信号处理器15'执行前面提到的预定信号处理；相对于经处理的电信号执行A/D转换；并将它们作为RAW图像的图像数据501输出。然后，将图像数据501从相机模块10送至ISP 20’，并经由相机模块I/F 21输入至开关220。在开关220中，取决于从控制器26提供的定时信号，在第二时间周期t_Ir期间，选择输出端子220B被选择。由此，被输入至开关220的图像数据501被存储在帧存储器221B中。

图像处理器230相对于被存储在帧存储器221A中的图像数据500和被存储在帧存储器221B中的图像数据501执行图像处理。作为执行图像处理的结果，图像处理器230可从包括在图像数据500和图像数据501中的RGBIr色的像素的图像数据中获得四种类型的图像数据。

也就是说，如图22所示，从第一时间周期t_RGB期间由于曝光获得的图像数据500中，获得RGB色的低亮度图像数据510和红外光的低亮度图像数据511。类似地，从在第二时间周期t_Ir期间由于曝光获得的图像数据501中，获得RGB色的高亮度图像数据512和红外光的高亮度图像数据513。

如果第一时间周期t_RGB被设置为适于RGB色的曝光，则低亮度RGB图像数据510用作具有适当对比度的RGB图像数据。此外，高亮度红外光图像数据513可能是具有适当对比度的红外光图像数据。此外，如果将低亮度RGB图像数据510和高亮度RGB图像数据512组合，则可获得具有宽动态范围的RGB图像数据。以相同方式，如果将低亮度红外光图像数据511和高亮度红外光图像数据513组合，则可获得具有宽动态范围的红外光图像数据。

图像处理器230例如从多组图像数据510到513中选择单组图像数据，并经由输出I/F 24将所选择的图像数据输出至外部。此处，图像处理器230可响应于使用操作单元(未示出)执行的用户操作或基于通过分析多组图像数据获得的对比度信息来选择一组图像数据。

另外，图像处理器230将图像数据500和图像数据501分别存储在帧存储器250A和250B中。计算器251分别基于存储在帧存储器250A和250B中的多组图像数据500和501执行距离计算；并通过获得每个微透镜图像30的距离值而创建距离图。

下面参照图23和24讨论由计算器251执行的距离计算。在图23中示意地示出的是在ISP 20’中执行的操作的流程。首先，根据第一时间周期t_RGB和第二时间周期t_Ir，ISP 20’从相机模块10导入作为RAW图像的多组图像数据500和501(步骤S10)。所导入的多组图像数据500和501被分别存储在帧存储器221A和221B中。

然后，分别相对于存储在帧存储器221A和221B中的多组图像数据500和501，图像处理器230执行去马赛克处理并获得每个像素的RGBIr像素值(步骤S11)。接着，对于每组图像数据500和501，图像处理器230将每个像素值转换成亮度值(步骤S12)。此时，基于多组图像数据500和501，对于多组图像图像510到513中的每一个，图像处理器230将像素值转换成亮度值。

然后，相对于转换至亮度值后的多组图像数据510到513中的每一个，图像处理器230执行阴影处理(步骤S13)，并将阴影处理后的多组图像数据510到513存储在帧存储器250A和250B中。也就是说，在阴影处理后的图像数据中，图像处理器230将基于图像数据500的多组图像数据510和511存储在帧存储器250A中；并将基于图像数据501的多组图像数据512和513存储在帧存储器250B中。

基于从帧存储器250A和250B读取的多组图像数据510到513，计算器251对每个微透镜图像30执行距离计算。此时，对于多组图像数据510到513中的每一个，计算器251获得纹理量。然后，基于所获得的纹理量，计算器251通过从多组图像数据510到513中选择适合的数据而执行图像匹配，并计算距离。

下面参照图24所示的流程图讨论在步骤S14处由计算器251执行的距离计算的示例。计算器251对从帧存储器250A和250B读取的多组图像数据510到513中的每一个执行纹理量确定(步骤S20)。也就是说，对于多组图像数据510到513中的每一个，计算器250获得每个微透镜图像30的纹理量。然后，根据所获得的纹理量，计算器251从多组图像数据510到513中确定将被用于图像匹配的一组图像数据。

下面参照图25解释计算每个微透镜图像30的纹理量的示例性方法。例如，在低亮度RGB图像数据510中，计算器251将焦点放在任意微透镜图像30(被称为感兴趣微透镜图像30)上并计算像素130₀、130₁、130₂、……130_m、……130_n-1和130_n的亮度值I₀、I₁、I₂……、和I_n的色散σ₀。该色散σ₀用作图像数据510中的感兴趣微透镜图像30的纹理量。

然而，微透镜图像30的纹理量不仅限于色散σ₀。替代地，例如可使用通过将包括在微透镜值30中的像素130₀到130_n的亮度值的最大值除以那些亮度值中的最小值所获得的值作为微透镜图像30的纹理量。

同样对于其它组的图像数据511到513，与感兴趣微透镜图像30对应的微透镜图像30也被作为感兴趣微透镜图像30对待，计算器251分别计算包括在相应感兴趣微透镜图像30中的像素130₀到130n的色散σ₁、σ₂和σ₃。然后，计算器251将从多组图像数据510到513中的感兴趣微透镜图像30中获得的色散σ₀到σ₃进行比较，并获得σ作为最大色散。

然后，从多组图像数据510到513的感兴趣微透镜图像30中，计算器251选择在步骤S20对其获得最大色散σ的感兴趣微透镜图像30(步骤S21)。

接着，从被存储在帧存储器250A和250B中的多组图像数据510到513中，在包括在步骤S21选择的感兴趣微透镜图像30的图像数据中，计算器251使用位于感兴趣微透镜图像30附近并与感兴趣微透镜图像30具有相同颜色的微透镜图像30执行图像匹配(步骤S22)。

例如，在步骤S21，在包括在多组图像数据510到513中的感兴趣微透镜图像30的色散σ₀到σ₃中，包括在图像数据510中的感兴趣微透镜图像30的色散σ₀被假设为具有最大值，并且该感兴趣微透镜图像30被假设为对应于红色的滤光器400R。在这种情形下，在图像数据510中，计算器251在位于感兴趣微透镜图像30附近并对应于红色滤光器400R的微透镜图像30之间执行图像匹配。

作为执行图像匹配的结果，计算器251获得微透镜间偏移量Δ'，并根据前面给出的式(7)且使用已知的微透镜间中心距离L来计算缩小比N。然后，计算器251将该缩小比N施加至前面给出的式(4)或式(6)并获得与摄影对象的距离A。

接着，计算器251判定是否对于所有微透镜图像30完成了从步骤S20到S22的操作(步骤S23)。如果判定对任一微透镜图像30尚未执行这些操作(步骤S23中判断为否)，则系统控制返回到步骤S20，并对作为感兴趣微透镜图像30的下一微透镜图像30执行从步骤S20到S22的操作。

当确定对所有微透镜图像30完成了这些操作(步骤S23中判定为是)时，系统控制退出图24所示的流程图并进入图15所示的步骤S15。

然后，计算器251根据在步骤S14对每个微透镜图像30计算出的距离值创建距离图(步骤S15)。如图26示意地示出的那样，在根据第二实施例的距离图中，对微透镜图像30获得的距离值810关联于图像中对应于微透镜阵列12的微透镜120的区域800。接着，计算器251输出距离图(步骤S16)。

如前所述，在成像设备1’中，单个帧周期被分割成第一时间周期t_RGB和第二时间周期t_Ir，并获得相应组的图像数据500和501。然而，这不是唯一可能的情况。替代地，在成像设备1’中，在不分割单个帧周期的情况下，仅对一个周期执行曝光并获得图像数据，该图像数据包含通过RGB色形成的微透镜图像以及通过红外光形成的微透镜图像。在这种情况下，例如如果摄影对象足够亮，则计算器251可使用通过RGB色形成的微透镜图像执行图像匹配。然而，如果摄影对象暗，则计算器251可使用由红外光形成的微透镜图像执行图像匹配。

在对单个时间周期执行曝光而不分割单个帧周期的情形下，成像设备1’可以不包括生成定时信号的控制器26、开关220、帧存储器221A和221B中的一个、以及帧存储器250A和250B中的一个。

根据第二实施例，不仅使用由RGB色形成的微透镜图像而且使用由红外光形成的微透镜图像来完成距离计算。因此，可对多种摄影对象执行高精度的距离计算。

根据前面描述的至少一个实施例的配有滤光器阵列的微透镜，配有滤光器阵列的微透镜包括滤光器阵列和微透镜阵列。滤光器阵列包括用于选择性透射红外区的光的多个第一滤光器以及选择性透射第一可见波长区的光的多个第二滤光器。微透镜阵列包括多个微透镜，每个微透镜对应于第一滤光器和第二滤光器中的任意一个。因此，可防止由于像素间串扰导致的颜色再现性降低。

尽管已描述了某些实施例，但这些实施例仅是通过示例给出的，并且不旨在对本发明的范围构成限制。事实上，本文描述的新颖实施例可以多种其它形式体现；此外，可对本文描述实施例的形式作出多种删除、替代和改变而不偏离本发明的精神。所附权利要求书及其等效物旨在覆盖这些形式或改型，使它们落在本发明的范围和精神内。

Claims (14)

1.一种配有滤光器阵列的微透镜，包括：

滤光器阵列，包括用于选择性透射红外区的光的多个第一滤光器、以及用于选择性透射第一可见波长区的光的多个第二滤光器；以及

微透镜阵列，包括多个微透镜，所述多个微透镜的每一个对应于所述第一滤光器和所述第二滤光器中的任意一个。

2.如权利要求1所述的配有滤光器阵列的微透镜，其特征在于，

所述第一滤光器包括第一过滤器、最靠近所述第一过滤器布置的第二过滤器、以及除所述第二过滤器外最靠近所述第一过滤器布置的第三过滤器；且

所述第二过滤器和第三过滤器相对于所述第一过滤器以非点对称方式部署。

3.如权利要求1所述的配有滤光器阵列的微透镜，其特征在于，所述滤光器阵列还包括：

多个第三滤光器，用于选择性透射与所述第一可见波长区不同的第二可见波长区的光；以及

多个第四滤光器，用于选择性透射与所述第一可见波长区和所述第二可见波长区不同的第三可见波长区的光。

4.如权利要求1所述的配有滤光器阵列的微透镜，其特征在于，

所述滤光器阵列包括多个第一组，

所述第一组中的每一个包括第一阵列，在第一阵列中两个第一滤光器和两个第二滤光器沿第一方向交替地布置，并包括第二阵列，在第二阵列中两个第一滤光器和两个第二滤光器沿所述第一方向交替地布置且所述第二阵列在与所述第一方向相交的第二方向中与所述第一阵列共线，

所述第一阵列和所述第二阵列以1.5个第一滤光器的偏移量在所述第一方向上排列，且

所述第一组在所述第二方向上排列。

5.如权利要求1所述的配有滤光器阵列的微透镜，其特征在于，

所述滤光器阵列包括多个第二组，

所述第二组中的每一个包括：

第三阵列，包括在第三方向上排列的第一滤光器，以及

第四阵列，包括在所述第一方向上排列的第二滤光器且所述第四阵列在与所述第三方向相交的第四方向上与所述第三阵列共线；以及

所述第二组在所述第四方向上排列。

6.如权利要求3所述的配有滤光器阵列的微透镜，其特征在于，

所述滤光器阵列包括多个第三组，

所述第三组中的每一个包括：

第五阵列，包括在第五方向上排列的第一滤光器，

第六阵列，包括在所述第五方向上排列的第二滤光器，且所述第六阵列在与所述第五方向相交的第六方向上与所述第五阵列共线，

第七阵列，包括在所述第五方向上排列的第三滤光器且所述第七阵列在第六方向上与所述第六阵列共线，以及

第八阵列，包括在所述第五方向上排列的第四滤光器且所述第八阵列在所述第六方向上与所述第七阵列共线，且

所述第三组在所述第六方向上排列。

7.如权利要求3所述的配有滤光器阵列的微透镜，其特征在于，

所述滤光器阵列包括多个第九阵列，

所述第九阵列中的每一个具有在第七方向上排列的多个第一周期，

所述第一周期中的每一个包括在所述第七方向上排列的所述第一滤光器、所述第二滤光器、所述第三滤光器、和所述第四滤光器，

所述第九阵列在与所述第七方向相交的第八方向上排列，且

相邻的所述第九阵列以半周期的偏移量在所述第七方向上排列。

8.如权利要求3所述的配有滤光器阵列的微透镜，其特征在于，

所述滤光器阵列包括多个第四组，

所述第四组包括：

第十阵列，其中两个第一滤光器、一个第二滤光器、两个第三滤光器、和一个第四滤光器在第九方向中依次布置，

第十一阵列，其中一个第一滤光器、两个第二滤光器、一个第三滤光器、和两个第四滤光器在所述第九方向上依次布置，

第十二阵列，其中两个第一滤光器、一个第二滤光器、两个第三滤光器、和一个第四滤光器在所述第九方向上依次布置，

第十三阵列，其中一个第一滤光器、两个第二滤光器、一个第三滤光器、和两个第四滤光器在所述第九方向上依次布置，

所述第十阵列、所述第十一阵列、所述第十二阵列、和所述第十三阵列在与所述第九方向相交的第十方向上依次排列，

所述第十阵列中的所述第一滤光器和所述第十一阵列中的所述第一滤光器在所述第十方向中接触，

所述第十一阵列中的所述第一滤光器和所述第十二阵列中的所述第一滤光器在所述第十方向中以2.5个所述第一滤光器的偏移量间隔开，

所述第十二阵列中的所述第一滤光器和所述第十三阵列中的所述第一滤光器在所述第十方向中接触，以及

所述第四组在所述第十方向中排列。

9.如权利要求3所述的配有滤光器阵列的微透镜，其特征在于，

所述滤光器阵列包括多个第五组，

所述第五组包括：

第十四阵列，其中两个所述第一滤光器和两个所述第二滤光器在第十一方向上交替地布置，

第十五阵列，其中两个所述第一滤光器和两个所述第二滤光器在所述第十一方向上交替地布置，

第十六阵列，其中两个所述第三滤光器和两个所述第四滤光器在所述第十一方向上交替地布置，以及

第十七阵列，其中两个所述第三滤光器和两个所述第四滤光器在所述第十一方向上交替地布置，

所述第十四阵列、所述第十五阵列、所述第十六阵列、和所述第十七阵列在与所述第十一方向相交的第十二方向上依次排列，且

所述第五组在所述第十二方向上排列。

10.如权利要求4或5所述的配有滤光器阵列的微透镜，其特征在于，所述第一滤光器和所述第二滤光器被布置成六边形阵列。

11.如权利要求6-9中任何一项所述的配有滤光器阵列的微透镜，其特征在于，所述第一滤光器、所述第二滤光器、所述第三滤光器、和所述第四滤光器被布置成六边形阵列。

12.一种固态成像设备，包括：

根据权利要求1的配有滤光器阵列的微透镜；

主透镜，配置成将来自摄影对象的光引导至所述微透镜阵列；以及

图像传感器，配置成在光经过所述主透镜、所述微透镜阵列、和所述滤光器阵列后接收所述光。

13.如权利要求12所述的固态成像设备，其特征在于，还包括：

控制器，配置成控制来自所述图像传感器的图像信号的读取定时；以及

信号处理器，配置成相对于所述图像信号来执行信号处理。

14.如权利要求13所述的固态成像设备，其特征在于，所述控制器以如下方式执行控制：在单个帧周期内在第一时间周期内和在比所述第一时间周期更长的第二时间周期内执行从所述图像传感器读取所述图像信号。