CN100579185C - 复眼方式的摄像装置 - Google Patents

Abstract

多个摄像光学透镜(301a～301c)将多个被摄体像分别成像在多个摄像区域(302a～302c)上。在沿着平行于光轴的方向观察时，将至少一对摄像光学透镜所成像的至少一对被摄体像的各自上相互对应的点连结的至少一条直线，相对于摄像区域的像素的排列方向倾斜。由此，不论被摄体距离如何都能够总是得到高析像度图像。

Description

复眼方式的摄像装置

技术领域

本发明涉及通过配置在大致同一个平面上的多个摄像光学透镜对图像进行摄像的复眼方式的摄像装置。

背景技术

在便携设备中使用的摄像装置中，需要兼顾高析像度化和小型化。为了小型化，多数情况下，摄像光学透镜的大小及焦点距离、摄像元件的大小成为障碍。

一般，材料的折射率由于依存于光的波长，所以难以将包含有全波段区信息的来自被摄体的光通过单透镜成像在摄像面上。因此，在通常的摄像装置的光学系统中，为了将红、绿、蓝的各波长的光成像在同一个摄像面上，在光轴方向上配置有多个透镜。因此，光学系统变长，摄像装置变厚。

所以，作为对摄像装置的小型化、特别是薄型化有效的技术，提出了将焦点距离较短的多个单透镜配置在大致同一个平面上的复眼方式的摄像装置(例如参照日本特开2002-204462号公报)。复眼方式的彩色图像摄像装置具备在同一平面上排列有接受蓝色波长的光的透镜、接受绿色波长的光的透镜、以及接受红色波长的光的透镜的光学系统、和对应于各个透镜的摄像元件。由于各透镜接受的光的波长范围被限定，所以能够通过单透镜将被摄体像成像在摄像元件上。因而，能够大幅减小摄像装置的厚度。

图15中表示复眼方式的摄像装置的一例的立体图。900是包括一体成型的3个透镜901a、901b、901c的透镜阵列。透镜901a接受红色波长的光，将被摄体像成像在摄像区域902a上。在摄像区域902a的像素(受光部)上粘贴有红色波长分离滤光器(滤色器)，摄像区域902a将成像后的红色的被摄体像变换为图像信息。同样，透镜901b接受绿色波长的光，将被摄体像成像在摄像区域902b中。在摄像区域902b的像素(受光部)上粘贴有绿色波长分离滤光器(滤色器)，摄像区域902b将成像后的绿色的被摄体像变换为图像信息。此外，透镜901c接受蓝色波长的光，将被摄体像成像在摄像区域902c中。在摄像区域902c的像素(受光部)上粘贴有蓝色波长分离滤光器(滤色器)，摄像区域902c将成像后的蓝色的被摄体像变换为图像信息。通过将从摄像区域902a、902b、902c输出的图像信息叠加合成，能够取得彩色图像信息。

根据这样的复眼方式的摄像装置，能够使摄像装置的厚度变薄，但是与通常的单眼方式的摄像装置相比有析像度较差的问题。在单眼方式的摄像装置中，具有配置在成像面上的多个像素(受光部)的摄像元件将入射的光变换为图像信息。为了将各位置的颜色信息取出，在各像素上以拜耳排列设有波长分离滤光器(滤色器)。即，对应于沿纵横方向配置的多个像素的配置，以方格状配置使绿色光透过的波长分离滤光器，在其余的像素中交替地配置分别使红色光及蓝色光透过的波长分离滤光器。从各像素仅能够得到与透过设在那里的波长分离滤光器的光的波段区相对应的颜色信息，不能得到与不透过波长分离滤光器的光的波段区相对应的颜色信息。但是，已知在图像的局部区域中在3颜色的颜色信息间具有相关性(例如，参照小寺宏晔及其他2人，《色信号の相関を利用した单色画像からのフルカラ一画像の表示方式》，昭和63年度图像电子学会全国大会预稿20，p.83-86(1988))，能够根据红及蓝的颜色信息推测绿的颜色信息。利用该特性，在拜耳排列了波长分离滤光器的摄像元件中，执行所不足的颜色信息的插补处理。因此，可以获得与像素的数量相同的像素数的析像度的彩色图像。例如，在具有100万个像素的摄像元件中，50万个像素检测绿色的颜色信息，25万个像素检测蓝色的颜色信息，25万个像素检测红色的颜色信息，但通过上述的插补处理，对于红、绿、蓝的任一颜色都能够得到100万像素的析像度的颜色信息。

但是，在复眼方式的摄像装置中，由于对应于各颜色的各摄像区域取得红、绿、蓝的任一种颜色信息，所以能够得到与各摄像区域具有的像素的数量相同的像素数的彩色图像。例如，在具有25万个像素的3个摄像区域中取得红、绿、蓝的各颜色信息的情况下，需要合计75万个像素，而叠加得到的彩色图像的析像度为25万个像素。

作为提高像素的析像度的方法，已知有如下被称作“像素错位”的技术，通过将光学系统与摄像元件的相对位置关系在时间上错开、或利用棱镜将光束分离为多个而入射到多个摄像元件中等，取得被摄体像与像素的位置关系相互错开的多个图像信息，通过将这些多个图像信息合成来取得高析像度的图像(例如参照日本特开平10-304235号公报)。此时的错位量根据错开的方向和取得的图像信息的数量决定最适合的值。例如，在将两个图像信息合成的情况下，如果被摄体像与像素的相对位置关系在两个图像信息间错开像素的配置间距(以下称作“像素间距”)的一半的奇数倍，则能够得到最高析像度的图像。只要能够得到由透镜成像的被摄体像与摄像元件的像素之间的相对位置关系相互错开的多个图像信息，就能够使用该技术，而不取决于错开的方法。在本发明中，将能够取得被摄体像与摄像元件的像素之间的相对位置关系相互错开的多个图像信息、并能够将该多个图像信息合成而得到高析像度的图像的、被摄体像与摄像元件的像素之间的相对位置关系称作“像素错位配置”。

在复眼方式的摄像装置中，也只要在多个图像信息间被摄体像与像素的相对位置关系错开、即只要能够实现像素错位配置，就能够得到高析像度。

例如，在日本特开2002-209226号公报中，记载了在由多个透镜使多个被摄体像分别成像在多个摄像区域上的复眼方式的摄像装置中，通过将多个透镜与多个摄像元件配置为使各被摄体像在连结透镜的光轴的方向上错开地成像来实现像素错位配置，能够得到高析像度图像。

此外，在复眼方式的摄像装置中，利用因多个透镜的各光轴相互不同而产生的视差，能够测量到被摄体的距离。

但是，为了通过像素错位技术得到高析像度图像，需要被摄体像与像素的相对位置关系总是像素错位配置。图16A是表示在复眼方式的摄像装置中多个透镜与被摄体与被摄体像的位置关系的侧视图，图16B是其俯视图。图16A表示沿着与包括多个透镜的光轴的面正交的方向观察的状态，图16B表示沿着与透镜的光轴平行的方向观察的状态。200a、200b是透镜201a、201b的光轴，202a、202b是光轴与摄像区域203交叉的位置。处于光轴200a上的被摄体204通过透镜201a、201b成像为被摄体像205a、205b。在复眼方式的摄像装置中，由于透镜201a、201b的光轴200a、200b不同，所以如果从透镜201a、201b到被摄体204的距离变化，则被摄体像205b的位置在摄像区域203上、在连结交点202a与交点202b的直线206上移动。将该现象称作“视差”。如果设被摄体距离(从透镜201a到被摄体204的距离)为A，设光轴200a、200b间的距离为d，设成像距离为f，则用下式表示被摄体像205b相对交点202b的错位量S。

[式1]

$S=\frac{f\×d}{A}$

这样，直线206的方向上的被摄体像205b与像素的相对位置关系对应于被摄体距离A而变化。因而，在将直线206方向上的被摄体像的错位量S相对于像素间距设定为规定的关系的情况下，存在析像度随着被摄体距离A变化而不能总是得到高析像度图像的问题。

发明内容

本发明的目的是提供一种不论被摄体距离如何都能够总是得到高析像度图像的复眼方式的摄像装置。

本发明的复眼方式的摄像装置具备：多个摄像光学透镜，配置在大致相同的平面上；以及多个摄像区域，分别具有配置在与上述多个摄像光学透镜的各光轴正交的面内的多个像素，将上述多个摄像光学透镜分别成像的多个被摄体像变换为多个图像信息。

并且，其特征在于，上述摄像光学透镜的数量至少是3个；在沿着平行于上述光轴的方向观察时，连结两对上述摄像光学透镜的各自的光轴的第一直线及第二直线所成的角度大致是直角；在沿着平行于上述光轴的方向观察时，所述第一直线及所述第二直线在上述光轴交叉；在设沿着平行于上述光轴的方向观察时上述第一直线与上述像素的第一排列方向所成的角度为θ1、设上述第二直线与上述像素的第二排列方向所成的角度为θ2、设沿着上述第一直线配置的一对上述摄像光学透镜的光轴间隔为d1、设沿着上述第二直线配置的一对上述摄像光学透镜的光轴间隔为d2、设沿着与上述第一排列方向垂直的方向的上述像素的配置间距为p1、设沿着与上述第二排列方向垂直的方向的上述像素的配置间距为p2、设正的整数为m、n时，满足{(2n-1)×p1/2}-p1/4＜d1×sinθ1＜{(2n-1)×p1/2}+p1/4{(2m-1)×p2/2}-p2/4＜d2×sinθ2＜{(2m-1)×p2/2}+p2/4；

并且，在设到被摄像的最近的被摄体的距离为Amin、设上述摄像光学透镜的成像距离为f时，上述正的整数m、n满足

n＜Amin/(4×f)

m＜Amin/(4×f)。

发明效果：

根据本发明，在相对于像素的排列方向垂直的方向上，能够实现像素错位配置。该像素错位配置的关系几乎不受被摄体距离影响。因而，不论被摄体距离如何都总是能够得到高析像度图像。

附图说明

图1是表示有关本发明的实施方式1的复眼方式的摄像装置的概略结构的立体图。

图2是表示在有关本发明的实施方式1的摄像装置中、透镜的光轴与摄像区域的像素之间的位置关系的俯视图。

图3是用来说明在有关本发明的实施方式1的摄像装置中、图像信息的合成的俯视图。

图4是表示对较远的被摄体进行摄像时的图像信息的合成的俯视图。

图5是表示对较近的被摄体进行摄像时的图像信息的合成的俯视图。

图6A是本发明的实施例1的摄像装置的俯视图。

图6B是图6A的6B-6B线的向视剖视图。

图7A是表示有关本发明的实施方式1的摄像装置的透镜配置的俯视图。

图7B是表示有关本发明的实施方式2的摄像装置的透镜配置的俯视图。

图8A是本发明的实施方式2的摄像装置的俯视图。

图8B是图8A的8B-8B线的向视剖视图。

图9A是表示构成本发明的实施例2的摄像装置的透镜阵列的透镜配置的俯视图。

图9B是表示在本发明的实施例2的摄像装置中、从图9A的状态开始使透镜阵列旋转的状态下的透镜配置的俯视图。

图10A是本发明的实施例3的摄像装置的俯视图。

图10B是图10A的10B-10B线的向视剖视图。

图11A是本发明的实施例4的摄像装置的俯视图。

图11B是图11A的11B-11B线的向视剖视图。

图12A是表示在本发明的实施例4的摄像装置中、设在一个摄像区域上的滤色器的配置的俯视图。

图12B是表示在本发明的实施例4的摄像装置中、设在另一个摄像区域上的滤色器的配置的俯视图。

图13A是表示在本发明的实施例4的摄像装置中、设在一个摄像区域上的滤色器的另一配置的俯视图。

图13B是表示在本发明的实施例4的摄像装置中、设在另一个摄像区域上的滤色器的另一配置的俯视图。

图14A是表示在本发明的实施例4的摄像装置中、设在一个摄像区域上的滤色器的再另一配置的俯视图。

图14B是表示在本发明的实施例4的摄像装置中、设在另一个摄像区域上的滤色器的再另一配置的俯视图。

图15是表示以往的复眼方式的摄像装置的一例的概略结构的立体图。

图16A是表示在复眼方式的摄像装置中、多个透镜与被摄体与被摄体像的位置关系的侧视图。

图16B是表示在复眼方式的摄像装置中、多个透镜的光轴与被摄体像的位置关系的俯视图。

具体实施方式

在本发明中，所谓的“像素的排列方向”如以下这样求出。假设包含在配置有多个像素的平面中的相互平行的多个第一直线及相互平行的多个第二直线。设定多个第一直线及多个第二直线的各斜率，以使上述多个像素全部都配置在该多个第一直线及多个第二直线交叉的多个交点上。分别平行于这样设定的多个第一直线及多个第二直线的第一方向及第二方向是“像素的排列方向”。

此外，在本发明中，在与连结一对摄像光学透镜的一对光轴的直线的关系中着眼的“像素的排列方向”，是指上述第一方向及第二方向中的、与连结上述一对光轴的直线所成的角度(不到90°)较小的方向。

进而，在本发明中，所谓的直线相对于像素的排列方向“倾斜”，是指直线与像素的排列方向不平行而以90度以外的角度交叉。

在本发明中，由于一对摄像光学透镜成像的一对被摄体像在与像素的排列方向垂直的方向上以像素错位配置的关系成像，所以不论到被摄体的距离如何都总是能够实现像素错位配置。即，在沿着平行于透镜的光轴的方向观察时，通过调节连结一对摄像光学透镜的一对光轴的直线与像素的排列方向所成的角度θ，相对于与该连结一对光轴的直线成角度θ的像素的排列方向，在直角方向(以下称作“像素错位方向”)上实现像素错位配置。

在合成从多个摄像区域得到的多个图像信息的情况下，在设一对摄像光学透镜的光轴间隔为d、设与上述像素的排列方向垂直的方向的上述像素的配置间距为p、设正的整数为n时，满足

(2n-1)×p/2＝d×sinθ

的时候能够得到最高析像度的图像。

实际地制造完全满足该等式的摄像装置因制造上的离差而较困难。只要实质上满足该等式，就能够得到像素错位的效果。即，只要满足不等式

(2n-1)×p/2-p/4＜d×sinθ＜(2n-1)×p/2+p/4，

就能够通过像素错位而得到高析像度图像。

此外，即使发生制造上的离差，通过调节角度θ，也能够容易且可靠地实现像素错位配置。因而，制造较容易，批量生产时的成品率提高。

在本发明中，着眼于视差的像素错位方向的成分很小的特性，不论被摄体距离如何都能够得到像素错位的效果。但是，使视差的像素错位方向的成分完全成分零是很困难的。如上所述，如果被摄体距离变小，则视差急剧地变大。此外，角度θ(即n)越大，视差的像素错位方向的成分越大。因而，n优选地满足

n＜Amin/(4×f)。

这里，Amin是到被摄像的最近的被摄体的距离(被摄体距离A的最小值)，f是成像距离。只要n满足上述关系，角度θ就为极小的值，所以能够将被摄体距离的变化带来的被摄体像的移动方向(即连结一对光轴的直线方向)与像素的排列方向看作是大致相同的方向。并且，能够几乎忽视视差的像素错位方向的成分。因而，不论被摄体距离如何，在像素错位方向上总是能够实现像素错位配置。

由于透镜材料的折射率及衍射栅格的效率依存于波长，所以只要限定波长，则透镜的特性就会提高。所以，在本发明中，优选地在多个摄像光学透镜的各光路上设置使规定波长的光透过的滤光器。由此，成像在摄像区域上的被摄体像的波长被限定，所以能够得到鲜明的图像。由于被像素错位后的合成前的图像是鲜明的，合成后的高析像度图像也变得鲜明。

此外，也可以在多个摄像光学透镜的各光路上设置使相同带域的波长的光透过的滤光器。由此，通过使用相同波段区的鲜明的多个图像，能够进行视差相关的被摄体距离的测量。如上所述，被摄体距离的差异带来的视差在连结一对透镜的光轴的直线方向上发生。相对于此，在本发明中，在与连结一对透镜的光轴的直线垂直的方向上进行像素错位配置。这样，在本发明中，由于发生视差的方向与像素错位配置的方向不同，所以即使被摄体距离(即视差)变化，像素错位配置也几乎不受影响。因而，不论被摄体距离如何，被摄体距离的测量精度都几乎不变化，能够兼顾被摄体距离的测量和图像的高析像度化。

为了实现本发明的图像错开配置，需要适当地设定像素错位量、即“d×sinθ”的值。为此，只要使光轴间隔d为一定、微调节角度θ就可以。因而，多个摄像光学透镜优选为一体成型的透镜阵列。由此，通过不调节各个透镜、而是使透镜阵列整体相对于多个摄像区域在平行于多个摄像区域的受光面的面内稍稍旋转调节，能够实现本发明的像素错位配置。因而，不需要高精度地组装或成型透镜阵列，能够容易地实现像素错位配置。

本发明的摄像装置优选地还具备使上述多个摄像光学透镜与上述多个摄像区域在与上述多个摄像光学透镜的光轴正交的面内相对地旋转的机构。

通过具备这样的旋转机构，在制造工序中，能够容易且高精度地进行像素错位量、即角度θ的调节。另外，角度θ的调节在制造工序中进行，在产品状态下旋转机构被固定。

本发明的摄像装置优选地还具备调节上述多个摄像光学透镜与上述多个摄像区域的距离的机构。

由此，能够在各透镜的成像面上可靠地配置摄像区域，能够得到更鲜明的多个图像信息。因而，通过将这些多个图像信息合成，能够得到更高析像度的图像。

这里，在像素沿两个方向排列的情况下，将两个排列方向中的、与第一直线所成的角度(不到90°)较小的方向定义为“第一排列方向”，将与第二直线所成的角度(不到90°)较小的方向定义为“第二排列方向”。

由此，能够在多个方向上实现像素错位配置，能够在该多个方向上提高析像度。此外，由于具备至少3个透镜，所以只要通过各透镜得到红、绿、蓝的各颜色的图像信息而将它们合成，就能够得到彩色图像。另外，在上述中，像素的排列间距p1与排列间距p2也可以相同，在此情况下也能够得到同样的效果。

在上述中，优选的是，上述光轴间隔d1与上述光轴间隔d2不同。

为了在多个方向上提高析像度，需要调节各方向上的像素错位量、即d1×sinθ1及d2×sinθ2。但是，在使用一体成型了多个透镜的透镜阵列的情况下，不能独立地调节各个透镜的位置。此外，透镜的位置还有可能包含成型误差。如果d1≠d2，则使透镜阵列相对于摄像区域旋转时的各方向上的像素错位量的调节范围变大。因而，在透镜阵列上有成型误差的情况下，也能够在多个方向上使像素错位量最优化，能够在多个方向上提高析像度。

或者，上述配置间距p1与上述配置间距p2也可以不同。在此情况下，即使在透镜阵列中有成型误差的情况下，也能够在多个方向上使像素错位量最优化，能够在多个方向上提高析像度。

在本发明的摄像装置中，上述摄像光学透镜及上述摄像区域的数量优选为都是4个。在此情况下，优选的是，在沿着平行于上述光轴的方向观察时，上述4个摄像光学透镜的光轴配置在大致长方形的顶点上。此外，优选的是，在入射到上述4个摄像区域中的1个中的光的光路上设有使蓝色的波段区的光透过的滤光器，在入射到另一个中的光的光路上设有使红色的波段区的光透过的滤光器，在入射到其余两个中的光的光路上设有使绿色的波段区的光透过的滤光器。

由此，能够利用较多含有亮度信息的绿色的两个图像信息计算视差量。通过利用相同的波段区的光计算视差量，视差量的精度提高。能够利用该视差量分别计算红色及蓝色的图像信息的视差量。因而，能够得到在两个方向上高析像度化的彩色图像。此外，也可以利用该视差量计算被摄体距离。在此情况下，被摄体距离的精度提高。

优选的是，上述4个摄像区域形成在共通的1个摄像元件上，上述大致长方形与上述摄像元件的有效像素区域的形状大致是相似形。由此，能够不浪费地有效利用摄像元件的像素。

以下，基于附图详细地说明本发明的实施方式。

(实施方式1)

本实施方式的复眼方式的摄像装置与以往的复眼方式的摄像装置相比，提高了垂直方向与水平方向的空间取样特性。

图1是有关本实施方式1的复眼方式的摄像装置的一例的立体图。300是一体成型有3个透镜301a、301b、301c的、由透明树脂构成的透镜阵列。3个透镜301a、301b、301c的光轴300a、300b、300c相互平行。3个透镜301a、301b、301c配置在大致相同的平面上，以便在沿着平行于这些光轴的方向观察时，连结光轴300a和光轴300b的第一直线211与连结光轴300b和光轴300c的第二直线212成为直角。各透镜301a、301b、301c分别将被摄体像成像在摄像区域302a、302b、302c上。摄像区域302a、302b、302c分别具有配置在与光轴300a、300b、300c正交的面内的多个像素(受光部)，各像素对入射的光进行光电变换。于是，摄像区域302a、302b、302c分别将成像后的被摄体像变换为图像信息并输出。摄像区域302a、302b、302c通过将共通的1个摄像元件的有效像素区域分割而形成。因而，来自摄像区域302a、302b、302c的图像信息可以通过从来自该1个摄像元件的输出信号中提取对应于各像素区域的像素信号来得到。

为了得到高析像度图像，将3个透镜301a、301b、301c和摄像区域302a、302b、302c配置为，使得在透镜301a、301b、301c分别形成的被摄体像与摄像区域302a、302b、302c的像素之间实现向与像素的排列方向垂直的方向的像素错位配置。以下对其进行说明。

图2是表示透镜的光轴与摄像区域的像素之间的位置关系的、沿着与光轴平行的方向观察的俯视图。

100a、100b、100c是配置在摄像区域302a、302b、302c内的像素。如上所述，由于将1个摄像元件的有效像素区域分割而形成摄像区域302a、302b、302c，所以各摄像区域302a、302b、302c内的像素100a、100b、100c的排列方向及像素间距在摄像区域302a、302b、302c之间一致。在图2中，省略了摄像区域302a、302b、302c以外的像素的图示。如图所示，像素100a、100b、100c在纵横方向上以棋盘点状配置，将与纵(垂直方向)的排列方向(第一排列方向)平行的方向设为Y轴，将与横(水平方向)的排列方向(第二排列方向)平行的方向设为X轴。并且，将与光轴300a、300b、300c平行的方向设为Z轴。X轴、Y轴和Z轴相互正交。

101a、101b、101c是透镜301a、301b、301c的各光轴300a、300b、300c与摄像区域302a、302b、302c的交点。

设连结交点101b和交点101a的第一直线211与像素的第一排列方向(Y轴)所成的角度为θ(θ≤90°)。如果假设3个透镜301a、301b、301c无误差地一体成型在透镜阵列300内，则连结交点101b和交点101c的第二直线212与像素的第二排列方向(X轴)所成的角度也为θ。

如果设交点101b与交点101a的距离(即光轴300b与光轴300a的间隔)为d，则交点101a相对于交点101b沿X轴方向错开d×sinθ。该错位量如果是摄像元件的X轴方向的像素间距p1的一半的奇数倍，则由摄像区域302a变换的图像信息成为由摄像区域302b变换的图像信息的X轴方向的像素间部分102b的信息。

103a、103b、103c是位于光轴300b上的被摄体的由透镜301a、301b、301c成像后的被摄体像。被摄体像103a、103b、103c的位置对应于透镜的光轴300a、300b、300c的位置和被摄体距离(图16A的被摄体距离A)而变化。因而，由透镜301a形成的被摄体像103a由于视差而成像在沿着连结交点101b和交点101a的第一直线211的方向、相对于交点101a向远离交点101b一侧错开的位置上。由于第一直线211相对于Y轴不平行，所以对应于被摄体距离，被摄体像103a的成像位置向X轴方向及Y轴方向变化。在本实施方式中，由于光轴间隔d相对于X轴方向及Y轴方向的像素间距p1及p2足够大，所以只要角度θ取足够小的值，被摄体距离的变化带来的被摄体像103a的成像位置的X轴方向的变化量就小到几乎可以忽视。因而，通过利用被摄体像103a相对于被摄体像103b的X轴方向的错开，不论被摄体距离如何，都总是能够在X轴方向实现像素错位配置，能够实现X轴方向的高析像度化。

进而，为了在Y轴方向上也实现像素错位配置，在设Y轴方向的像素间距为p2、交点101b与交点101c的距离(即光轴300b与光轴300c的间隔)为d2时，只要满足d2＝(p1/p2)×d就可以。由此，在像素区域302b与像素区域302c之间，在Y轴方向上成立与摄像区域302b和摄像区域302a之间的X轴方向上的上述像素错位配置同样的关系也成立。因而，在X轴方向及Y轴方向上，不论被摄体距离如何都能够实现高析像度化。

另外，在图2中，表示了以光轴300b为中心使透镜阵列300相对于摄像元件向顺时针方向旋转角度θ后的例子。这是为了使理解变得容易，但本发明并不限于此。重要的是设定角度θ以在X轴方向及Y轴方向上实现上述像素错位配置，旋转中心轴的位置、相对的旋转方向也可以是上述以外。

在摄像环境的温度变化的情况下，透镜阵列300热膨胀(或热收缩)。如果温度从室温上升，则透镜阵列300大致等向地膨胀，所以透镜的光轴300a、300b、300c的光轴间隔d、d2扩大。但是，上述角度θ没有变化，并且由于角度θ足够小，所以能够维持上述像素错位配置的关系。因而，本发明的摄像装置中的像素错位配置不易受到周围环境的温度变化带来的透镜的光轴间隔d、d2的变化的影响。

摄像区域302a、302b、302c分别将成像后的被摄体像变换为图像信息。在对所得到的3个图像信息进行视差修正后，将它们合成而得到1个图像信息。在以下说明该运算处理。

首先，视差量导出机构303求出用来进行视差修正的图像信息间的视差量(图16A的错位量S)。

只要知道被摄体距离就能够求出视差量。但是，如果新导入用来测量被摄体距离的传感器，则装置的小型化变得困难。所以，在本实施方式中，将两个图像信息彼此直接比较，通过求出两者间的错位量来求出视差量。图像信息的比较通过求出图像信息彼此的相关来进行。图像信息被表现为在X轴方向及Y轴方向上以矩阵状分布的亮度信息的集合，将X轴方向的第k个、Y轴方向的第1个像素的亮度表示为I(k，l)。由于像素是有限的，所以k、l是整数。设被比较的两个图像信息中的作为基准的图像信息(以下称作“基准图像信息”)中的像素的亮度为I1(k，l)、被比较的图像信息(以下称作“被比较图像信息”)中的像素的亮度为I2(k+m，l+n)，通过下式求出基准图像信息与将被比较图像信息在X轴方向上错开m像素、在Y轴方向上错开n像素后的图像信息之间的相关R(m，n)。

[式2]

$R(m,n)=\frac{\underset{k}{\mathrm{\Σ}}\underset{l}{\mathrm{\Σ}}(I1(k,l)-\stackrel{\‾}{I1})(I2(k+m,l+n)-\stackrel{\‾}{I2})}{\sqrt{\underset{k}{\mathrm{\Σ}}\underset{l}{\mathrm{\Σ}}{(I1(k,l)-\stackrel{\‾}{I1})}^2}\sqrt{\underset{k}{\mathrm{\Σ}}\underset{l}{\mathrm{\Σ}}{(I2(k+m,l+n)-\stackrel{\‾}{I2})}^2}}$

在基准图像信息与将被比较图像信息在X轴方向上错开m像素、在Y轴方向上错开n像素的图像信息相似的情况下，相关R(m，n)的值接近于1，反之，在不同的情况下，相关R(m，n)的值变小。一边依次改变m、n一边求出R(m，n)。R(m，n)最接近于1的情况下的m、n是基准图像信息与被比较图像信息之间的视差量(错位量)。另外，m、n并不限于整数。例如，在基准图像信息及被比较图像信息中，如果基于其周边的像素的亮度进行内插而求出像素间的亮度，则能够高分辨率地求出视差量直到小数点以下的值。作为像素的内插方法，可以使用双线性内插法、双三次内插法、三次卷积内插法等公知的许多方法。例如，在使用双线性内插法的情况下，可以通过下式求出像素间的X＝u、Y＝v的位置处的亮度I(u，v)。

[式3]

$I(u,v)=\left[\begin{array}{cc}(l+1)-v& v-l\end{array}\right]\left[\begin{array}{cc}I(k,l)& I(k+1,l)\\ I(k,l+1)& I(k+1,l+1)\end{array}\right]\left[\begin{array}{c}(k+1)-u\\ u-k\end{array}\right]$

接着，图像合成机构304将两个图像信息合成。在合成之前，将一个图像信息移动由上述得到的两个图像信息间的X轴方向及Y轴方向的视差量(视差修正)。

图3是使摄像区域302b、302a在X轴方向上移动以使交点101b、101a在与Y轴平行的一直线上排列之后来表示摄像区域302b、302a及成像在它们之上的被摄体像103b、103a的俯视图。

如图16A及图16B中说明那样，视差带来的被摄体像的错位量S与被摄体距离A成反比例，但如果被摄体距离A足够大则可以忽视。在这样的情况下，光轴300b上的被摄体如图3所示，在摄像区域302b上被成像为被摄体像103b，在摄像区域302a上成像在实线400的位置上。即，摄像区域302b中的被摄体像103b相对于交点101b的相对的位置关系与摄像区域302a中的被摄体像的成像位置400相对于交点101a的相对位置关系大致相同。在此情况下，如图4所示，以交点101b与交点101a相一致的方式将从摄像区域302b得到的图像信息与从摄像区域302a得到的图像信息叠合。通过这样，能够将摄像区域302b上的被摄体像103b与摄像区域302a上的被摄体像103a几乎不错开地叠合。并且，此时摄像区域302b内的像素100b与摄像区域302a内的像素100a在X轴方向上错开像素间距p1的一半的奇数倍。因而，合成后的图像的X轴方向的析像度提高。

在被摄体距离较小的情况下，光轴300b上的被摄体如图3所示，在摄像区域302b上被成像为被摄体像103b，在摄像区域302a上被成像在虚线402的位置上。即，摄像区域302b中的被摄体像103b相对于交点101b的相对的位置关系与摄像区域302a中的被摄体像的成像位置402相对于交点101a的相对位置关系不同。如图2中说明那样，被摄体像103a成像在沿着连结交点101b和交点101a的第一直线211的方向相对于交点101a向远离交点101b的一侧错开的位置上。用矢量405表示被摄体距离较小的情况下的被摄体像103a的成像位置402相对于被摄体距离足够大的情况下的被摄体像103a的成像位置400的错位(视差)。在此情况下，如图5所示，使交点101a相对于交点101b移动该矢量405b的反矢量406的量，将从摄像区域302b得到的图像信息与从摄像区域302a得到的图像信息叠合。通过这样，能够将摄像区域302b上的被摄体像103b与摄像区域302a上的被摄体像103a几乎不错开地叠合。并且，此时，摄像区域302b内的像素100b与摄像区域302a内的像素100a也在X轴方向上错开像素间距p1的一半的奇数倍。因而，合成后的图像的X轴方向的析像度提高。

通过在如以上那样进行视差修正后进行合成，不论被摄体距离的大小如何都能够得到提高了X轴方向的析像度的图像。另外，虽然因视差量而也可能存在像素的Y轴方向的位置不一致的情况，但在这样的情况下可以通过线性插补等插补处理修正为适当的位置。

对从摄像区域302b得到的图像信息和从摄像区域302c得到的图像信息进行与上述同样的视差修正及合成。由此，不论被摄体距离的大小如何，都能够得到提高了Y轴方向的析像度的图像。

以上那样，通过将从摄像区域302a得到的图像信息和从摄像区域302c得到的图像信息合成到从摄像区域302b得到的图像信息中，能够得到在X轴方向及Y轴方向上都高析像度化的图像。

在本发明中，X轴方向的像素间距p1及Y轴方向的像素间距p2既可以相同也可以不同。例如，也可以将多个摄像元件组合而构成1个摄像区域、或对每个摄像区域分别使用单独的摄像元件等。无论在哪一种情况下，都通过在像素的排列方向和垂直方向上进行像素错位，不论被摄体距离如何，都能够得到高析像度图像，进而，能够通过多个摄像区域与透镜阵列的相对旋转来进行像素错位量的调节。

(实施例1)

表示对应于实施方式1的实施例。

图6A是沿着与实施例1的摄像装置的光轴平行的方向观察的俯视图，图6B是图6A的6B-6B线的向视剖视图。700是利用丙烯树脂一体成型的具有3个透镜的透镜阵列。如图6A所示，将3个透镜配置为，使其光轴位于一边d为2mm的正方形的3个顶点上。透镜设计为，使其都相对于绿色波长的光光学特性为最好。在Z轴方向上，使透镜的中心到成像面的距离为2.5mm。通过圆筒状的镜筒701保持透镜阵列700。在镜筒701的与被摄体对置的一侧的面上，对应于透镜的位置而设有3个开口702。在基台703的与镜筒701嵌合的部分上形成有圆环状的凹陷(槽)。沿着该凹陷，以镜筒701的中心轴为中心使镜筒701相对于基台703旋转，进行调节，以在3个透镜分别形成的被摄体像与摄像元件704的像素之间实现上述像素错位配置。

将摄像元件704固定在基台703上。作为摄像元件704，使用X轴方向及Y轴方向的像素间距p1、p2都为2μm、2000像素(X轴方向)×2000像素(Y轴方向)的CCD。将该摄像元件704的有效像素区域中的、3个透镜分别将被摄体像成像的800像素(X轴方向)×600像素(Y轴方向)的3个区域作为摄像区域。由于透镜的光轴间隔是2mm、像素间距p1、p2是2μm，所以在沿着与光轴平行的方向观察时，将连结一对透镜的光轴的直线与像素的排列方向所成的角度θ(参照图2)设定为5×10^-4rad。由此，在3个透镜分别成像的3个被摄体像与对应于这些被摄体像的3个摄像区域的像素之间都能够实现像素错位配置。

为了仅将绿色的图像信息取出，在摄像元件704的被摄体侧的面上设有使绿色的波段区的光透过的滤色器705。将衬垫706夹在镜筒701与基台703之间，将透镜的成像面与摄像元件704的受光面正确地定位。

利用这样制作的摄像装置，在被摄体距离1m的位置上设置析像度图表，进行极限析像度的评价。仅由1个透镜摄像的800像素(X轴方向)×600像素(Y轴方向)的图像的极限析像度在X轴方向及Y轴方向上都是500TV线。另一方面，通过本发明的方法将由3个摄像区域得到的3个图像信息合成而得到的图像的极限析像度在X轴方向及Y轴方向上都是1000TV线，提高到约1.8倍。一边将被摄体距离从10cm变到3m一边进行极限析像度的评价，结果无论在哪个距离中，与仅通过1个透镜摄像的情况相比，在将3个图像信息合成的情况下都可以看到1.5～1.8倍的极限析像度的提高。

此外，通过使上述角度θ变化，调查像素错位量d×sinθ(参照图2)与极限析像度的关系，发现d×sinθ在0.5×p1±0.25×p1的范围内时，在X轴方向上可以看到极限析像度的提高。d×sinθ在0.5×p2±0.25×p2的范围内时，在Y轴方向上可以看到极限析像度的提高。特别是，当d×sinθ在0.5×p1±0.1×p1及0.5×p2±0.1×p2的范围内时，析像度稳定地提高。

进而，在将制作的摄像装置放入恒温槽中来测量改变了温度的情况下的特性，可以确认，在-10度到40度之间，与仅通过1个透镜摄像的情况相比，在将3个图像信息合成的情况下可以看到1.5倍以上的极限析像度的提高，对于温度变化，本发明也是有效的。

(实施方式2)

在实施方式1中，说明了使用将3个透镜301a、301b、301c在它们之间的相对位置关系中无误差地一体成型的透镜阵列300的摄像装置。但是，在实际的透镜阵列的生产中，如果在多个透镜间的相对位置关系中发生成型误差，则将其修正是很困难的。因此，需要以摄像区域的像素间距以下的精度成型透镜阵列，要求非常高的成型精度，可能很难以低成本批量生产。

另一方面，虽然能够单独制作多个透镜、将与对应于多个透镜的多个摄像区域间的位置关系进行微调来组装、以实现希望的像素错位配置，但是调节工序数很多，不适合于批量生产。

在本实施方式2中，相对于实施方式1，提供附加了补偿透镜阵列的成型误差的功能的摄像装置。

图7A是表示有关实施方式1的摄像装置的透镜的配置的俯视图。为了使说明简单化，说明透镜301b的光轴与透镜301a的光轴的间隔、透镜301b的光轴与透镜301c的光轴的间隔都为d、并且摄像区域的X轴方向及Y轴方向上的像素间距p1、p2都是p的情况。因而，在使透镜阵列旋转角度θ后，透镜301a的光轴相对于透镜301b的光轴在X轴方向上的错位量、透镜301c的光轴相对于透镜301b的光轴在Y轴方向上错位量都为d×sinθ。

但是，在连结透镜301b的光轴与透镜301a的光轴的第一直线211与连结透镜301b的光轴与透镜301c的光轴的第二直线212所成的角度因成型误差而不是正确的直角的情况下，上述两个错位量不会同时为d×sinθ。因而，有时很难在透镜301b及透镜301a分别成像的两个被摄体像之间、以及透镜301b及透镜301c分别成像的两个被摄体像之间同时实现像素错位配置。在这样的情况下，不论将角度θ怎样改变，都不能得到在X轴方向及Y轴方向的两方向上高析像度化后的图像。

图7B是表示有关本实施方式2的摄像装置的透镜的配置的俯视图。与图7A同样，说明摄像区域的X轴方向及Y轴方向上的像素间距p1、p2都是p的情况。在本实施方式2中，透镜301b的光轴与透镜301a的光轴的间隔是d1，透镜301b的光轴与透镜301c的光轴的间隔是d2(d2≠d1)。因而，在使透镜阵列旋转角度θ后，透镜301a的光轴相对于透镜301b的光轴在X轴方向上的错位量(即X轴方向的像素错位量)为d1×sinθ，透镜301c的光轴相对于透镜301b的光轴在Y轴方向上的错位量(即Y轴方向的像素错位量)为d2×sinθ。通过这样使像素错位量在X轴方向和Y轴方向上不同，即使发生透镜阵列的成型误差，也能够容易地进行调节，使得各方向的像素错位量同时进入到在实施例1中说明的、能够实现特别高的极限析像度的提高的0.5×p1±0.1×p1且0.5×p2±0.1×p2的范围内。即，能够制作即使在发生了制造误差的情况下也能够通过调节角度θ而容易且可靠地在X轴方向及Y轴方向的两方向上进行高析像度化的摄像装置，制造变得容易，能够提高成品率。

另外，与图7B不同，也可以使透镜的光轴间距离d1、d2相等(d1＝d2＝d)、使摄像区域的X轴方向的像素间距p1与Y轴方向的像素间距p2不同(p1≠p2)。在此情况下，在设用来使透镜301a的光轴相对于透镜301b的光轴在X轴方向上的错位量(即X轴方向的像素错位量)与X轴方向的1个像素间距p1一致的旋转角度为θ(即d×sinθ＝p1)时，透镜301c的光轴相对于透镜301b的光轴在Y轴方向上的错位量(即Y轴方向的像素错位量)是d×sinθ，这与Y轴方向的1个像素间距p2不一致。即，与图7B同样，可以使像素错位量相对于像素间距的比在X轴方向和Y轴方向上不同。因而，即使发生透镜阵列的成型误差，也能够容易地进行调节，使得各方向的像素错位量同时进入到能够实现高的极限析像度的提高的0.5×p1±0.1×p1且0.5×p2±0.1×p2的范围内。

(实施例2)

表示对应于实施方式2的实施例。

图8A是沿着与实施例2的摄像装置的光轴平行的方向观察的俯视图，图8B是图8A的8B-8B线的向视剖视图。

本实施例2与实施例1(图6A、图6B)不同的是以下方面。在透镜阵列700中一体成型有4个透镜。如图8A所示，将4个透镜配置为，其光轴位于具有大致平行于Y轴的短边(长度d1＝1.5mm)和大致平行于X轴的长边(长度d2＝2mm)的长方形的各顶点上。在摄像元件704上没有设置滤色器。相代替地，在镜筒701的对应于4个透镜而设置的4个开口702上设有滤色器800a、800b、800c、800d。对角位置的滤色器800b、800d使绿色的波段区的光透过，滤色器800a使红色的波段区的光透过，滤色器800c使蓝色的波段区的光透过。各透镜设计为，各透镜的光学特性对于透过所对应的滤色器的光的波长的光来说，成为最佳。将摄像元件704的有效像素区域中的、4个透镜分别成像被摄体像的800像素(X轴方向)×600像素(Y轴方向)的4个区域设为摄像区域。这样制作合成彩色图像的摄像装置。除了上述以外，与图6A、图6B相同，对于相同的结构要素赋予相同的标号，省略对它们的详细的说明。

比较从与透过绿色的波段区的光的、配置在对角位置上的两个滤色器800b、800d相对应的两个摄像区域得到的两个图像信息，正确地求出视差量。该视差量的X轴成分是从对应于滤色器800c的摄像区域得到的蓝色的图像信息的视差量，Y轴成分是从对应于滤色器800a的摄像区域得到的红色的图像信息的视差量。

如上所述，在图像的局部区域中，已知在红色(R)、绿色(G)、蓝色(B)的各图像信息间存在相关性。被公知的是，在使用拜耳排列了3色的滤色器的摄像元件的摄像装置中，利用该特性，将配设有某个颜色的滤光器的像素中的其他两个颜色的信息根据该像素的颜色信息进行推测，由此进行颜色信息的插补处理。在本实施例中，红色及蓝色的各图像信息相对于两个绿色的图像信息错开大致相当于像素间距的一半的奇数倍的量，所以能够采用上述颜色信息的插补处理。这样，通过将各颜色信息高析像度化后叠合(合成)，能够得到高析像度的彩色图像。

图9A中表示透镜阵列700的透镜配置。在图9A中，仅图示了4个透镜中的对应于滤色器800a、800b、800c的3个透镜(依次设为401a、401b、401c)。在精密地测量这3个透镜的光轴位置后，如果将连结透镜401b的光轴与透镜401c的光轴的直线212设定为平行于X轴，则透镜401a的光轴相对于透镜401b的光轴在X轴方向上的错位量在设X轴方向及Y轴方向的像素间距p1、p2都为p(p1＝p2＝p＝2μm)时为0.4×p(＝0.8μm)。如果从该状态开始使透镜阵列700相对于摄像元件704顺时针方向旋转7.5×10^-4rad，则如图9B所示，透镜401c的光轴相对于透镜401b的光轴在Y轴方向上的错位量变为1.5×p(＝3.0μm)，透镜401a的光轴相对于透镜401b的光轴在X轴方向上的错位量为1.525×p(＝3.05μm)。即，能够将两错位量大致设定为像素间距的一半的奇数倍。

分别测量100个透镜阵列的透镜的光轴的位置，相对于设计位置有±2μm的范围的离差。将这些透镜阵列组装到摄像装置中，调节透镜阵列相对于摄像元件的旋转角度。与实施例1同样，进行极限析像度的评价。仅通过1个透镜摄像的800像素(X轴方向)×600像素(Y轴方向)的像素的极限析像度在X轴方向及Y轴方向上都是550TV线。另一方面，将由4个摄像区域得到的4个图像信息合成而得到的彩色图像的极限析像度在X轴方向及Y轴方向上无论使用哪个透镜阵列的情况下都总是800～900TV线。

另外，滤色器的配置并不限于上述的例子。例如，也可以使800a、800c为透过绿色的波段区的光的滤色器、使800b为透过红色的波段区的光的滤色器、使800d为透过蓝色的波段区的光的滤色器。

(比较例1)

在本比较例1中，将在上述实施例2中的4个透镜配置为，使其光轴大致位于一边d为2mm的正方形的各顶点上。除此以外，摄像装置的结构及图像信息的处理与实施例2相同。

如图9A所示，在将连结透镜401b的光轴和透镜401c的光轴的直线212设定为平行于X轴时，透镜401a的光轴相对于透镜401b的光轴的X轴方向的错位量在设X轴方向及Y轴方向的像素间距p1、p2都为p(p1＝p2＝p＝2μm)时是0.4×p(＝0.8μm)。在此情况下，不论使透镜阵列700相对于摄像元件704怎样旋转，都不能进行调节而使透镜401a的光轴相对于透镜401b的光轴在X轴方向上的错位量、以及透镜401c的光轴相对于透镜401b的光轴在Y轴方向上的错位量都同时进入到0.5×p±0.2×p的范围内。

与实施例2同样地进行极限析像度的评价。多数情况下，将由4个摄像区域得到的4个图像信息合成而得到的彩色图像的极限析像度在X轴方向和Y轴方向上不同，例如在透镜阵列700相对于摄像元件704的旋转角度为某个值时，在X轴方向上为900TV线、在Y轴方向上为600TV线，在Y轴方向上不能实现高析像度化。

这是由于以下的理由。在本比较例1中，由于透镜的光轴间隔d1、d2相等，所以不论使透镜阵列700相对于摄像元件704怎样旋转，透镜401a的光轴相对于透镜401b的光轴在X轴方向上的错位量、以及透镜401c的光轴相对于透镜401b的光轴在Y轴方向上的错位量都相同。因而，有时不能根据透镜阵列的成型误差状态而将两错位量大致设定为像素间距的一半的奇数倍。

(实施方式3)

在本实施方式中，提供兼顾被摄体距离的测量和图像的高析像度的摄像装置。

如在图16A中说明那样，在复眼方式的摄像装置中，被摄体距离的差异带来的视差在连结一对透镜的光轴的直线方向上发生。相对于此，在本发明中，在与连结一对透镜的光轴的直线垂直的方向上进行像素错位配置，实现了图像的高析像度化。这样，在本发明中，由于发生视差的方向与像素错位配置的方向不同，所以能够兼顾被摄体距离(即视差量)的测量和图像的高析像度化。

在本实施方式中，通过将作为基准的图像(基准图像)分割为多个块、与在实施方式1中说明的内容同样地调查各块与被比较的图像(被比较图像)内的哪个部分相关最大，来求出视差量。通过本发明的像素错位配置，被比较图像相对于基准图像在与连结一对透镜的光轴的直线垂直的方向上移动。因而，与通常的复眼方式的摄像装置中的距离测量方法同样，如果沿着连结一对透镜的光轴的直线进行图像的搜索，则相关较差，难以以高精度检测视差量。但是，如果沿着相对于连结一对透镜的光轴的直线向垂直方向错开了像素错位配置带来的像素错位量的直线，来进行图像的搜索，则能够修正本发明的像素错位配置带来的影响，能够提高视差量的检测精度。因而，在本发明的像素错位配置下，能够高精度地测量被摄体距离。

(实施例3)

表示对应于实施方式3的实施例。本实施例3是兼顾被摄体距离的测量和高析像度图像的摄像的实施例。

图10A是沿着与实施例3的摄像装置的光轴平行的方向观察的俯视图，图10B是图10A的10B-10B线的向视剖视图。一体成型具有一对透镜1000a、1000b的透镜阵列1000。一对透镜1000a、1000b的光轴间距离为3mm。通过筒状的镜筒1001保持透镜阵列1000。在镜筒1001的与被摄体对置一侧的面上，对应于一对透镜1000a、1000b的位置而设有两个开口1002。如图10A所示，沿着与光轴平行的方向观察的镜筒1001的外周面的俯视形状为以一对直线1001a为长边、以连接其两端的一对圆弧1001b为短边的变形长方形。在基台1003的与镜筒1001嵌合的部分上，形成有具有曲面1003b的凹陷(槽)，该曲面1003b具有与一对圆弧1001b相同的曲率。沿着该凹陷以镜筒1001的中心轴为中心使镜筒1001相对于基台1003旋转，进行调节，以便在一对透镜1000a、1000b分别形成的一对被摄体像与摄像元件1004的像素之间实现像素错位配置。

将摄像元件1004固定在基台1003上。作为摄像元件1004，使用X轴方向及Y轴方向的像素间距p1、p2都为2.2μm的CCD。将衬垫1006夹在镜筒1001与基台1003之间，将透镜的成像面与摄像元件1004的受光面正确地定位。

被摄体距离的差异带来的视差在连结一对透镜1000a、1000b的光轴的直线方向即X轴方向上发生。因而，将连结一对透镜1000a、1000b的光轴的直线与像素的一个排列方向所成的角度θ设定为3.6×10^-4rad。由此，实现了像素错位量约1.1μm的Y轴方向的像素错位配置。

在距离测量中不需要颜色信息。因而，在镜筒1001的一对开口1002上分别设有使绿色的波段区的光透过的波长选择滤光器1005。将一对透镜1000a、1000b成像的两个图像进行比较，测量被摄体距离。

根据一对透镜1000a、1000b分别在摄像元件1004上形成的一对图像，如以下这样求出视差量。即，首先，将透镜1000b的图像(被比较图像)的整体通过图像变换而沿Y轴方向移动相当于像素间距的一半的量。接着，在被比较图像内，搜索透镜1000a的图像(基准图像)内的块所对应的部分的位置。求出基准图像内的该块与被比较图像内的对应于该块的部分的位置之间在X轴方向上的错位量(即视差量)，并求出被摄体距离。

除了不进行Y轴方向的像素错位配置以外，制作与本实施例3相同的比较例2的摄像装置。关于被摄体距离的测量精度，将实施例3的摄像装置与实施例2的摄像装置进行比较，结果不能在两者中发现有意义的差异。另一方面，关于合成图像的极限析像度，进行比较的结果是，在实施例3中得到与比较例2相比1.5倍的高析像度图像。

在上述实施例3中，作为一对波长选择滤光器1005而使用透过绿色的波段区的光的滤光器。但是，这是一例，本发明并不限于此，只要是有选择地使特定的波段区的光透过的滤光器就能够得到与上述同样的效果。例如，如果使用使红外线透过的滤光器作为一对波长选择滤光器1005，则能够实现在夜间也能够进行被摄体距离的测量和高析像度图像的摄像的摄像装置。

(实施例4)

表示对应于实施方式3的另一实施例。本实施例4是兼顾被摄体距离的测量和高析像度的彩色图像的摄像的实施例。

图11A是沿着与实施例4的摄像装置的光轴平行的方向观察的俯视图，图11B是图11A的11B-11B线的向视剖视图。一体成型具有直径2.1mm的一对透镜1100a、1100b的透镜阵列1100。一对透镜1100a、1100b的光轴间距离为3mm。通过筒状的镜筒1101保持透镜阵列1100。在镜筒1101的与被摄体对置一侧的面上，对应于一对透镜1100a、1100b的位置而设有两个开口1102。如图11A所示，沿着与光轴平行的方向观察的镜筒1101的外周面的俯视形状为以一对直线1101a为长边、以连接其两端的一对圆弧1101b为短边的变形长方形。在基台1103的与镜筒1101嵌合的部分上，形成有具有曲面1103b的凹陷(槽)，该曲面1103b具有与一对圆弧1101b相同的曲率。沿着该凹陷以镜筒1101的中心轴为中心使镜筒1101相对于基台1103旋转，进行调节，以便在一对透镜1100a、1100b分别形成的一对被摄体像与摄像元件1104的像素之间实现像素错位配置。

将摄像元件1104固定在基台1103上。作为摄像元件1104，使用X轴方向及Y轴方向的像素间距p1、p2都为2.2μm的CCD。将衬垫1106夹在镜筒1101与基台1103之间，将透镜的成像面与摄像元件1104的受光面正确地定位。

被摄体距离带来的视差在连结一对透镜1100a、1100b的光轴的直线方向即X轴方向上发生。因而，将连结一对透镜1100a、1100b的光轴的直线与像素的一个排列方向所成的角度θ设定为3.6×11^-4rad。由此，实现了像素错位量约1.1μm的Y轴方向的像素错位配置。

作为透镜1100a、1100b，使用在折射透镜的表面上形成有衍射栅格、还在衍射栅格上通过涂布而形成由与透镜材料折射率不同的材料构成的层的透镜(以下称作“带涂布层的折射衍射透镜”)。由此，尽管是比较小的口径的单透镜，也能够在摄像元件1004的受光面上以较少的像差成像可视光形成的被摄体像。

在摄像元件1104上形成了滤色器1105。图12A表示对应于透镜1100a的摄像区域内的像素上的滤色器的配置，图12B表示对应于透镜1100b的摄像区域内的像素上的滤色器的配置。如图12A及图12B所示，在实施例4中，作为滤色器1105，使用与像素配置相对应地拜耳配置了使红R、绿G、蓝B中的某种颜色的光透过的滤光器的滤色器。

摄像元件1104的各像素只能得到红、绿、蓝中的某种信息。但是，如上所述，在图像的局部区域中，已知在红色、绿色、蓝色的各图像信息间存在相关性。已知利用该特性，在使用拜耳排列了3色的滤色器的摄像元件的摄像装置中，将配设有某个颜色的滤光器的像素中的其他两个颜色的信息根据该像素的颜色信息进行推测，由此进行颜色信息的插补处理。利用该公知的方法，在各像素中能够得到红、绿、蓝的颜色信息。因而，对于红、绿、蓝的各颜色来说，能够实现像素错位配置。在对红、绿、蓝的各颜色的每一个合成从两个摄像区域得到的单色的图像信息而得到高析像度图像之后，再将红、绿、蓝的高析像度图像进一步合成，得到高析像度的彩色图像。

另一方面，根据从两个摄像区域得到的单色的图像信息，与实施例3同样地求出被摄体距离。

这样，通过本实施例4，能够兼顾高析像度的彩色图像的摄像和被摄体距离的测量。

也可以与上述实施例4不同，不进行颜色信息的插补，而以绿色的图像信息为基准合成其他颜色的图像信息，然后在各像素中进行颜色信息的插补。在这样合成后进行颜色信息的插补的情况下，能够利用更接近于像素的位置的颜色信息来进行该插补。

设于摄像元件1104上的波长选择滤光器1105的颜色配置并不限于图12A及图12B所示的拜耳配置。只要能够得到三原色的图像信息，就能够进行彩色图像的摄像。

例如，也可以在对应于透镜1100a的摄像区域内如图13A所示那样设置拜耳排列的滤色器，而在对应于透镜1100b的摄像区域内如图13B所示那样仅设置透过绿色光的滤光器。由此，能够更多地取得作为人的眼睛最敏感的绿色的信息，所以能够得到析像度较高的图像。在此情况下，作为透镜1100a，优选地使用上述带涂布层的折射衍射透镜。

或者，也可以在对应于透镜1100a的摄像区域内如图14A所示那样，设置透过绿色光的滤光器和透过红色光的滤光器对应于像素配置而配置成方格状的滤色器，在对应于透镜1100b的摄像区域内如图14B所示那样，设置透过绿色光的滤光器和透过蓝色光的滤光器对应于像素配置而配置成方格状的滤色器。通过这样使1个摄像区域受光的颜色为波长接近的两个颜色，与受光红、绿、蓝三原色的情况相比，波长的差异带来的折射率的差异所造成的像差的修正变得容易，所以单透镜的设计变得容易。

以上说明的实施方式都只不过是为了使本发明的技术内容变得清楚，本发明并不仅限定于这样的具体例而被解释，在本发明的主旨和权利要求书所述的范围内能够进行各种变更来实施，应该广义地解释本发明。

工业实用性

本发明的摄像装置的应用领域并没有特别限制，但由于是薄型、小型的同时能够摄像高析像度图像，所以特别优选地在便携设备搭载用的照相机等中使用。此外，由于能够推测到被摄体的距离，所以还能够在车辆的周边监视、安全设施、动作捕捉器、内视镜等的领域中使用的输入装置中使用。

Claims (9)

1、一种复眼方式的摄像装置，具备：

多个摄像光学透镜，配置在大致相同的平面上；以及

多个摄像区域，分别具有配置在与上述多个摄像光学透镜的各光轴正交的面内的多个像素，将上述多个摄像光学透镜分别成像的多个被摄体像变换为多个图像信息；

其特征在于，

上述摄像光学透镜的数量至少是3个；

在沿着平行于上述光轴的方向观察时，连结两对上述摄像光学透镜的各自的光轴的第一直线及第二直线所成的角度大致是直角；

在沿着平行于上述光轴的方向观察时，所述第一直线及所述第二直线在上述光轴交叉；

在设沿着平行于上述光轴的方向观察时上述第一直线与上述像素的第一排列方向所成的角度为θ1、设上述第二直线与上述像素的第二排列方向所成的角度为θ2、设沿着上述第一直线配置的一对上述摄像光学透镜的光轴间隔为d1、设沿着上述第二直线配置的一对上述摄像光学透镜的光轴间隔为d2、设沿着与上述第一排列方向垂直的方向的上述像素的配置间距为p1、设沿着与上述第二排列方向垂直的方向的上述像素的配置间距为p2、设正的整数为m、n时，满足

{(2n-1)×p1/2}-p1/4＜d1×sinθ1＜{(2n-1)×p1/2}+p1/4

{(2m-1)×p2/2}-p2/4＜d2×sinθ2＜{(2m-1)×p2/2}+p2/4；

并且，在设到被摄像的最近的被摄体的距离为Amin、设上述摄像光学透镜的成像距离为f时，上述正的整数m、n满足

n＜Amin/(4×f)

m＜Amin/(4×f)。

2、如权利要求1所述的复眼方式的摄像装置，其特征在于，在上述多个摄像光学透镜的各光路上，设置有使规定波长的光透过的滤光器。

3、如权利要求1所述的复眼方式的摄像装置，其特征在于，上述多个摄像光学透镜是一体成型的透镜阵列。

4、如权利要求1所述的复眼方式的摄像装置，其特征在于，还具备使上述多个摄像光学透镜与上述多个摄像区域在与上述多个摄像光学透镜的光轴正交的面内相对地旋转的机构。

5、如权利要求1所述的复眼方式的摄像装置，其特征在于，还具备调节上述多个摄像光学透镜与上述多个摄像区域的距离的机构。

6、如权利要求1所述的复眼方式的摄像装置，其特征在于，上述光轴间隔d1与上述光轴间隔d2不同。

7、如权利要求1所述的复眼方式的摄像装置，其特征在于，

上述配置间距p1与上述配置间距p2不同。

8、如权利要求1所述的复眼方式的摄像装置，其特征在于，

上述摄像光学透镜及上述摄像区域的数量都是4个；

在沿着平行于上述光轴的方向观察时，上述4个摄像光学透镜的光轴配置在大致长方形的顶点上；

在入射到上述4个摄像区域中的1个中的光的光路上设有使蓝色的波段区的光透过的滤光器，在入射到另一个中的光的光路上设有使红色的波段区的光透过的滤光器，在入射到其余两个中的光的光路上设有使绿色的波段区的光透过的滤光器。

9、如权利要求8所述的复眼方式的摄像装置，其特征在于，上述4个摄像区域形成在共同的1个摄像元件上，上述大致长方形与上述摄像元件的有效像素区域的形状大致是相似形。

Images