CN101310539A

CN101310539A - 成像装置

Info

Publication number: CN101310539A
Application number: CNA2006800428253A
Authority: CN
Inventors: 大山一朗; 平泽拓; 永岛道芳; 饭岛友邦
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-11-22
Filing date: 2006-11-10
Publication date: 2008-11-19
Anticipated expiration: 2026-11-10
Also published as: US20090160997A1; CN101310539B; JP4976310B2; WO2007060847A1; JPWO2007060847A1; US7999873B2

Abstract

排列在同一平面上的多个透镜102a到102d在多个成像区域104a到104d上形成多个物体图像。在所述多个成像区域的每一个中排列像素的垂直线方向和水平线方向是在所述多个成像区域之间彼此相等的。此外，将所述多个成像区域中在垂直线(或水平线)方向上具有视差的至少一对成像区域所接收的至少一对物体图像，在水平线(或垂直线)方向上相互位移一预定量。通过在与产生视差的方向垂直的方向上进行像素位移，即使当物体距离变化时，也总是能够得到高分辨率图像。

Description

成像装置

技术领域

本发明涉及利用多个光学系统捕获图像的复眼成像装置，可用于例如移动设备、车辆、医学应用、监视应用、以及机器人的应用中。

背景技术

在近些年中，对成像装置除了具有更大数量像素之外，还要具有较小的尺寸提出了强烈的需求。在很多情况下，光学透镜的尺寸和焦距以及成像装置的尺寸妨碍了尺寸的减少。

通常，当光的波长变化时，材料的折射率就会变化，从而焦距也会变化。所以，使用单透镜在成像平面上形成包含具有全部波长的光信息的物体图像是不可能的。因此，在普通成像装置的光学系统中，沿着光轴方向排列有多个光学透镜，使得红色波长光、绿色波长光、以及蓝色波长光的图像形成在同一成像平面上。这使得光程更长，导致成像装置更厚。

因此，作为有效减少成像装置尺寸，具体地，减少厚度的技术，提出复眼成像装置，其中多个具有短焦距的单透镜被基本上排列在同一平面上(例如，参见专利文献1)。在复眼彩色成像装置中，用于形成蓝色波长光图像的透镜、用于形成绿色波长光图像的透镜、以及用于形成红色波长光图像的透镜被排列在同一平面上，并且各成像装置的成像平面被排列在各个透镜的光轴上。因为每个透镜处理的光波长范围被限定地较窄，所以通过将各个透镜的焦距制成相等，使用多个单透镜来将多个物体图像形成在多个排列在同一平面上的成像平面上将变得可能。从而，成像装置的厚度能够大幅度减小。

图16是一个透视图，示出了示例性复眼成像装置。数字500标注一个透镜阵列，其包括形成在一起的四个透镜501a、501b、501c、和501d。透镜501a用于形成红色波长光的图像，并将物体图像形成在成像装置的成像区域502a上，该区域中在成像平面上附着有红色波长分离滤光镜(滤色镜)。透镜501b和501d用于形成绿色波长光的图像，并且将物体图像形成在成像装置的成像区域502b和502d上，该区域中在成像平面上附着有绿色波长分离滤光镜(滤色镜)。透镜501c用于形成蓝色波长光的图像，并将物体图像形成在成像装置的成像区域502d上，该区域中在成像平面上附着有蓝色波长分离滤光镜(滤色镜)。成像装置将各个成像区域502a到502d上形成的物体图像的光强度转换为图像数据以便输出。将这些图像数据进行重叠并合成，从而得到彩色图像。需要注意的是，透镜的个数并不局限为四个。

尽管如上文所描述的，复眼成像装置能够实现减小厚度，但是与包含Bayer排列式滤色镜的普通单眼成像装置相比，它具有分辨率较低的问题。下面对此原因进行说明。

在具有大量像素的入射面上，单眼成像装置设置有Bayer排列式的滤色镜，这样成像装置中的每个像素能够取出预定颜色信息。换句话说，将透射绿色光的滤色镜以方格形式排列，以便与矩阵中排列的大量像素相对应，并且将透射红色光的滤色镜和透射蓝色光的滤色镜交替排列在其余像素中。以这种方式的滤色镜排列通常被称为Bayer排列。成像装置中的每个像素仅仅输出通过该滤色镜透射的光波长范围内的颜色信息，不输出不从该滤色镜透射的光波长范围内的颜色信息。然而，因为已知三种颜色的图像信息在图像的局部区域中是相关的(例如，非专利文献1)，例如，绿色图像信息能够从红色或蓝色图像信息中估计得出。利用这些特性，丢失颜色的图像信息可以内插值代替。因此，能够获得具有与成像装置中有效像素同等数量像素分辨率的彩色图像。例如，在使用具有1000000个有效像素的成像装置的情况下，500000个像素检测绿色图像信息，250000个像素检测蓝色图像信息，以及250000个像素检测红色图像信息。然而，通过上述内插值方法，能够获得对于红色、绿色和蓝色均具有1000000像素分辨率的图像信息。

另一方面，在复眼成像装置中，因为对应各个颜色的每个成像装置的成像区域获得任一红色、绿色和蓝色图像信息，所以得到具有与该图像区域中像素同等数量像素分辨率的彩色图像。例如，为了每个红色、绿色和蓝色对应成像区域都具有250000像素，成像装置需要具有总共1000000像素，但是通过叠加得到的彩色图像的分辨率相当于250000像素。

作为用于提高图像分辨率的方法，有一种被称为“像素位移(pixelshifting)”的技术，其中，通过使用传动装置随时间改变透镜和物体的相对位置来获得物体图像和成像装置中像素之间相对位置关系相互移位的多个图像，然后对该多个图像进行合成以便实现高分辨率图像(例如，专利文献2)。在像素位移技术中，最佳位移量取决于位移的方向和要获取的图像数量。例如，在合成两幅图像的情况下，当物体图像和像素之间的相对位置关系在两幅图像之间位移半个像素排列间距(下文中称为“像素间距”)时，能够得到最高分辨率图像。只要能够获得多个图像，且该多个图像的由透镜形成的物体图像和成像装置中的像素之间的相对位置关系具有相互位移，就可以应用像素位移技术，并且也能够将像素位移技术应用于复眼成像装置中。然而，尽管将透镜和物体的相对位置以时间顺序进行改变的像素位移技术对于静态物体图像是有效的，但是在非静态物体图像情况下，获得高分辨率图像是困难的，因为透镜和物体的相对位置随时间的位移延迟了捕获图像的时间。

此外，例如专利文献3提出一种用于在复眼成像装置中获得高分辨率合成图像的方法，所述复眼成像装置使用多个透镜通过根据成像装置中的像素放置所述多个透镜的光轴，来在多个成像区域中形成多个物体图像，以便实现像素位移，使得在预定距离形成物体的多个图像以便在连接各透镜光轴的方向上以预定的量对这些图像进行位移。即便在非静态物体图像情况下，只要物体和成像装置之间的距离是固定的，该方法就能够实现高分辨率图像。

专利文献1：JP 2002-204462A

专利文献2：JP 10(1998)-304235A

专利文献3：JP 2002-209226A

非专利文献1：Hiroaki KOTERA和其他两位，“利用色相关从单色图像到全色图象的表示方式”，日本电子图像工程师研究院1998年会记录20，pp.83-86(1998)

发明内容

本发明所要解决的问题

然而，在专利文献3中描述的方法具有两个问题。

第一个问题是在物体和成像装置之间的距离不是一个预定值，或者由于温度变化或其它原因多个透镜的光轴之间的距离发生改变的情况下，像素位移量发生变化，这使得不可能获得高分辨率图像。下面是对该第一个问题的具体描述。

为了确保通过像素位移技术获得高分辨率图像，物体图像和像素之间的相对位置关系必须总是在多个将被合成的图像之间改变。图17A和17B是示出物体、具有不同光轴的两个透镜、和在复眼成像装置中通过这两个透镜形成的两幅物体图像之间位置关系的视图。图17A是在包括这两个透镜光轴的平面上的横剖面视图，图17B是沿与光轴平行的方向观察成像装置之成像平面的平面视图。数字600a和600b标注透镜601a和601b的光轴，并且数字602a和602b标注光轴600a和600b与成像装置的成像区域603相交的位置。数字605a和605b标注位于光轴600a上的物体604通过透镜601a和601b形成的物体图像。在复眼成像装置中，因为多个透镜的光轴彼此不同，所以成像区域603上物体图像605b的位置根据从成像装置到物体之间的距离，沿连接透镜光轴600a和600b的方向(图中长短交替虚线610的方向)移动。这种现象被称为“视差”。当A表示透镜601a到物体604的距离(在下文中，称为“物体距离”)，d表示透镜601a和601b的光轴600a和600b之间的距离，并且f表示从透镜601a和601b到成像区域603的距离，则从透镜的光轴600b与成像区域603相交的位置602b到物体图像位置605b的位移量S表式为(公式1)。

[公式1]

S = \frac{f \times d}{A}

以这种方式，物体图像605b和成像区域603中的像素在连接透镜光轴600a和600b的长短交替虚线610方向上的相对位置关系根据物体距离A变化。因此，如专利文献3中所述，当在连接两个透镜光轴的方向上物体图像的位移量被预先设置为一预定值时，位移量S则根据从透镜到物体的距离A变化，从而取决于物体距离不可能总是获得高分辨率合成图像。同样，当透镜光轴之间的距离d由于温度改变而变化时，位移量S也同样地变化，并且从而通常不可能获得高分辨率合成图像。

第二个问题是即便光学系统被设置为能够实现像素位移的预定量，在很多情况下，由于透镜的形状误差或装配误差、物体距离，温度等其它原因，物体图像的位移量不是如图18所示出的不同成像区域之间像素间距的0.5倍(在下文中，称为“0.5像素”)。在图18中，数字502a标注用于接收红色光的成像区域，数字502b标注用于接收绿色光的成像区域，数字502c标注用于接收蓝色光的成像区域，以及数字502d标注用于接收绿色光的成像区域。数字702a、702b、702c和702d标注形成各自成像区域502a、502b、502c和502d的像素，以及数字701a、701b、701c和701d标注在各自成像区域502a、502b、502c和502d中物体图像的位置。为了获得高分辨率合成图像，水平方向排列的图像区域502c和图像区域502b之间的位移量理想为水平方向0.5像素，垂直方向0像素。然而，在图18中位移量为水平方向0.6像素，垂直方向0.1像素。此外，为了获得高分辨率合成图像，垂直方向排列的成像区域502a和成像区域502b之间的位移量理想为水平方向0像素，垂直方向0.5像素。然而，在图18中位移量为水平方向0.1像素，垂直方向0.4像素。此外，为了获得高分辨率合成图像，成像区域502d和成像区域502b之间的位移量理想为水平方向0.5像素，垂直方向0.5像素。在图18中，位移量为水平方向0.5像素，垂直方向0.5像素。对于多个成像区域中的像素和多个物体图像之间的位置关系如图18中示出的情况，使用像素位移技术通过合成从多个成像区域获得的多个图像，可获得一幅图像，通过参考图19A到19D，将给出对该图像的描述。

图19A是示出一幅物体图像的视图，该物体图像是在捕捉白色背景上沿垂直方向延伸的三条黑色线条(物体)之图像的情况下，在成像区域502b上形成的物体图像。图19B是示出一幅合成图像的视图，该合成图像是在多个成像区域中的像素和多个物体图像具有图18中示出的位置关系的情况下，使用像素位移技术通过合成从多个成像区域502a、502b、502c和502d获得的多个图像得到的合成图像。图19C是示出一幅合成图像的视图，该合成图像是在多个成像区域中的像素和多个物体图像具有理想位置位移关系的情况下，使用像素位移技术通过合成从多个成像区域502a、502b、502c和502d获得的多个图像得到的合成图像。图19D是示出一幅从成像区域502b获得的图像的视图。在图19A到19D中，通过线条密度来表示阴影，如此通过更高的线条密度来表示更深的颜色，以及更低的线条密度来表示更浅的颜色。尽管如图19B中所示的在多个物体图像相对于多个成像区域的位移量偏离理想值的情况下得到的合成图像能够容易地识别出三条黑色线条，并且与图19D中所示的多个图像合成前的图像相比提高了分辨率，但是该合成图像与图19C中所示的在多个物体图像相对于多个成像区域的位移量为理想数值的情况下得到的合成图像相比有明显的色彩偏差。

本发明的目的就是要解决上述常规问题，并提供一种通常不受物体距离影响能获得高分辨率高质量图像的薄型的复眼成像装置。

用于解决问题的方法

本发明的成像装置包括排列在同一平面的多个透镜和用于分别接收由多个透镜形成的多个物体图像的多个成像区域。各个成像区域中像素排列的垂直线方向和水平线方向在多个成像区域之间是彼此相同的。

在本发明的第一个成像装置中，将多个成像区域中在垂直线方向上具有视差的至少一对成像区域所接收的至少一对物体图像，在水平线方向上彼此位移一预定量。

在本发明的第二个成像装置中，将多个成像区域中在水平线方向上具有视差的至少一对成像区域所接收的至少一对物体图像，在垂直线方向上彼此位移一预定量。

本发明有益效果

按照本发明，能够实现一种薄型复眼成像装置，该装置能够获得高分辨率高质量图像。

附图说明

图1是示出按照本发明一个实施例的成像装置结构原理图的视图。

图2是沿图1中II-II线切割的，按照本发明一个实施例的成像装置的成像部分剖面图。

图3是用于示出按照本发明一个实施例在成像装置中产生视差的原理的视图。

图4是示出按照本发明一个实施例在成像装置中校正视差的原理的视图。

图5是示出按照本发明一个实施例在成像装置中校正视差的方法的视图。

图6A是示出按照本发明一个实施例在成像装置中合成图像的一种示例性方法的视图。

图6B是示出按照本发明一个实施例在成像装置中合成图像的另一种示例性方法的视图。

图7A是示出按照本发明一个实施例从成像装置中一个成像区域获得的具有m×n像素的图像的视图。

图7B是示出按照本发明一个实施例通过在成像装置中进行图像合成获得的具有2·m×2·n像素的高分辨率图像的视图。

图8是示出按照本发明一个实施例在成像装置中的合成彩色图像的视图。

图9是示出按照本发明一个实施例在成像装置之成像区域中的物体图像和光轴的位置的局部放大视图。

图10A是示出按照本发明一个实施例在成像装置中的一个成像区域上形成的物体图像的视图。

图10B是示出按照本发明一个实施例通过在垂直方向上反转从成像装置的一个成像区域获得的图像中的像素排列，所获得的图像的视图。

图10C是示出按照本发明一个实施例在成像装置中的高分辨率彩色合成图像的视图。

图10D是示出按照本发明一个实施例在成像装置中通过根据图像边缘的方向进行图像合成，得到的高分辨率彩色合成图像的视图。

图11是示出具有变化阴影的物体的视图。

图12是示出按照本发明另一个实施例的成像装置结构原理图的视图，该成像装置中的物体距离不变化。

图13A是示出按照本发明另一个实施例的成像装置的成像部分的结构原理图的视图。

图13B是示出按照本发明再一个实施例的成像装置的成像部分的结构原理图的视图。

图14A是示出按照本发明一个实施例的成像装置中，在两个成像区域中的两个物体图像在水平方向上位移0.5像素的情况下，在合成的图像中形成两个物体图像的像素之间在水平方向上的位置关系的视图。

图14B是示出按照本发明一个实施例的成像装置中，在两个成像区域中的两个物体图像在水平方向上位移α像素(0.5＜α＜1)的情况下，在合成的图像中形成两个物体图像的像素之间在水平方向上的示例性位置关系的视图。

图14C是示出按照本发明一个实施例的成像装置中，在两个成像区域中的两个物体图像在水平方向上位移α像素(0.5＜α＜1)的情况下，在合成的图像中形成两个物体图像的像素之间在水平方向上的另一个示例性位置关系的视图。

图15是示出按照本发明一个实施例由成像装置的图像处理部分所执行的处理流程图。

图16是示出传统复眼成像装置结构原理图的视图。

图17A是示出复眼成像装置中多个透镜、物体、和物体图像之间位置关系的横剖面视图。

图17B是示出复眼成像装置中多个透镜的光轴和物体图像之间的位置关系的平面视图。

图18是示出传统复眼成像装置中，多个透镜的光轴的位置和多个成像区域之间关系的平面视图。

图19A是示出传统复眼成像装置中，在一个成像区域上形成的物体图像的视图。

图19B是示出传统复眼成像装置中，在多个成像区域和多个物体图像之间具有图18中所示的位置关系的情况下，使用像素位移技术通过合成多个图像所获得的合成图像的视图。

图19C是示出传统复眼成像装置中，在多个成像区域和多个物体图像之间具有理想位置位移关系的情况下，使用像素位移技术通过合成多个图像所获得的合成图像的视图。

图19D是示出传统复眼成像装置中，通过一个成像区域捕获的图像的视图。

具体实施方式

在本发明的第一个成像装置中，将多个成像区域中在垂直线方向上具有视差的至少一对成像区域接收的至少一对物体图像在水平线方向上彼此位移预定量。因此，总是能够使得在水平线方向上分辨率更高，而与物体距离无关，例如，从而在垂直线方向上延伸的细线的图像能够看得更加清晰。

在本发明的第二个成像装置中，将多个成像区域中在水平线方向上具有视差的至少一对成像区域接收的至少一对物体图像在垂直线方向上彼此位移预定量。因此，总是能够使得在垂直线方向上分辨率更高，而与物体距离无关，例如，从而在水平线方向上延伸的细线的图像能够看得更加清晰。

在本发明的第一个和第二个成像装置中，所述预定量优选为多个成像区域中在位移该预定量的方向上像素间距的0.25到0.75倍范围内。因此，总是能够使得分辨率在水平线方向或者垂直线方向上更高，而与物体距离无关。应该注意，所述“位移该预定量的方向”在本发明中被称为“像素位移方向”。

在本发明的第一个和第二个成像装置中，优选地，在多个透镜和多个成像区域之间提供有多个滤色镜。因此，能够实现可以捕获彩色图像的薄型成像装置。

在这种情况下，优选地，多个滤色镜中至少两个具有相同的光谱透射特性。因此，能够利用较小厚度捕获彩色图像，并且合成具有较高精确度的物体图像。

本发明的第一个和第二个成像装置还优选包括用于处理分别从多个成像区域输出的多个图像数据的图像处理部件。在这种情况下，图像处理部件优选地包括用于合成多个图像数据的图像合成部件，以产生和输出具有分辨率高于所述多个图像数据的分辨率的合成图像数据，并且图像合成部件优选地包括边缘方向检测部件，边缘方向检测部件用于检测包括在多个图像数据的至少一个中的局部区域中的边缘方向。此外，图像合成部件优选地基于通过边缘方向检测部件确定的边缘方向来改变用于合成多个图像数据的方法。因此，即便在预定量不严格为多个成像区域中在位移该预定量的方向上像素间距的0.5倍的情况下，当预定量不小于像素间距的0.25倍并且不大于像素间距的0.75倍时，也总能够输出具有较少颜色偏差和具有平滑变化阴影的高分辨率图像。

在这种情况下，优选地，当边缘方向检测部件确定局部区域中的边缘方向与垂直线方向相同时，图像合成部件在合成图像数据的局部区域中、在垂直方向上连续地排列相同的像素信号值。因此，即便在预定量不严格为多个成像区域中在位移该预定量的方向上像素间距的0.5倍的情况下，当预定量不小于像素间距的0.25倍并且不大于像素间距的0.75倍时，也能够输出具有高分辨率和较小颜色偏差的具有沿垂直线方向延伸边缘的图像区域。

或者，优选地，当边缘方向检测部件确定局部区域中的边缘方向与垂直线方向相同时，图像合成部件在合成图像数据的局部区域中、在水平线方向上排列多个图像数据中至少两个在水平线方向上彼此位移的图像数据的像素信号值，并且在垂直线方向上的两个邻近像素之间排列这两个像素的像素信号值的内插值。因此，即便在预定量不严格为多个成像区域中在位移该预定量的方向上像素间距的0.5倍的情况下，当预定量不小于像素间距的0.25倍并且不大于像素间距的0.75倍时，也总能够输出具有高分辨率、较小颜色偏差以及平缓变化阴影的具有沿垂直线方向延伸边缘的图像区域。

此外，优选地，当边缘方向检测部件确定局部区域中的边缘方向与水平线方向相同时，图像合成部件在合成图像数据的局部区域中、在水平方向上连续地排列相同的像素信号值。因此，即便在预定量不严格为多个成像区域中在位移该预定量的方向上像素间距的0.5倍的情况下，当预定量不小于像素间距的0.25倍并且不大于像素间距的0.75倍时，也总能够输出具有高分辨率和较小颜色偏差的具有沿水平线方向延伸边缘的图像区域。

或者，优选地，当边缘方向检测部件确定局部区域中的边缘方向与水平线方向相同时，图像合成部件在合成图像数据的局部区域中、在垂直线方向上排列多个图像数据中至少两个在垂直线方向上彼此位移的图像数据的像素信号值，并且在水平线方向上的两个邻近像素之间排列这两个像素的像素信号值的内插值。因此，即便在预定量不严格为多个成像区域中在位移该预定量的方向上像素间距的0.5倍的情况下，当预定量不小于像素间距的0.25倍并且不大于像素间距的0.75倍时，也总能够输出具有高分辨率、较小颜色偏差以及平缓变化阴影的具有沿水平线方向延伸边缘的图像区域。

此外，优选地，当边缘方向检测部件确定局部区域中的边缘方向关于垂直线方向倾斜时，图像合成部件在合成图像数据的局部区域中、在边缘方向上连续地排列相同的像素信号值。因此，即便在预定量不严格为多个成像区域中在位移该预定量的方向上像素间距的0.5倍的情况下，当预定量不小于像素间距的0.25倍并且不大于像素间距的0.75倍时，也总能够输出具有高分辨率和较小颜色偏差的具有沿倾斜方向延伸边缘的图像区域。

或者，优选地，当边缘方向检测部件确定局部区域中的边缘方向关于垂直线方向倾斜时，图像合成部件在合成图像数据的局部区域中排列多个图像数据中至少两个在水平线方向或者垂直线方向上彼此位移的图像数据的像素信号值、以及在边缘方向上的两个邻近像素的像素信号值的内插值。因此，即便在预定量不严格为多个成像区域中在位移该预定量的方向上像素间距的0.5倍的情况下，当预定量不小于像素间距的0.25倍并且不大于像素间距的0.75倍时，也总能够输出具有高分辨率、较小颜色偏差以及平缓变化阴影的具有沿倾斜方向延伸边缘的图像区域。

本发明的第一个和第二个成像装置优选地还包括用于处理分别从多个成像区域输出的多个图像数据的图像处理部件。在这种情况下，所述图像处理部件优选地包括用于合成多个图像数据的图像合成部件，以产生和输出具有分辨率高于所述多个图像数据的分辨率的合成图像数据。此外，图像合成部件优选地根据多个图像区域的位移量从所述多个图像数据选择用于合成的多个图像数据。因此，即便在所述至少一对物体图像的位移预定量由于物体距离、温度或其它因素变化而改变的情况下，也总能选取适当的图像数据，以便输出合成图像数据，从而总是能够输出具有较少颜色偏差并具有平滑变化阴影的高分辨率图像。

在这种情况下，图像合成部件优选地从所述多个图像数据中选取位移量最接近预定值的图像数据。因此，即便在所述至少一对物体图像的位移预定量由于物体距离、温度或其它因素变化而改变的情况下，也总能选取适当的图像数据，以便输出合成图像数据，从而总是能够输出具有较少颜色偏差并具有平滑变化阴影的高分辨率图像。

或者，图像合成部件优选地从所述多个图像数据中选取位移量在预定范围内的图像数据。因此，即便在所述至少一对物体图像的位移预定量由于物体距离、温度或其它因素变化而改变的情况下，也总能选取适当的图像数据，以便输出合成图像数据，从而总是能够输出具有较少颜色偏差并具有平滑变化阴影的高分辨率图像。

所述预定范围优选为多个图像区域中在位移该预定量的方向上的像素间距的0.25倍到0.75倍的范围。因此，即便在所述至少一对物体图像的位移预定量由于物体距离、温度或其它因素变化而改变的情况下，也总能选取适当的图像数据，以便输出合成图像数据，从而总是能够输出具有较少颜色偏差并具有平滑变化阴影的高分辨率图像。

本发明的第一个和第二个成像装置优选地还包括用于处理分别从多个成像区域输出的多个图像数据的图像处理部件。在这种情况下，图像处理部件优选地包括：用于合成多个图像数据的图像合成部件，以产生和输出具有分辨率高于所述多个图像数据的分辨率的合成图像数据；平滑滤波器部件，用于通过基于所述合成图像数据或对所述合成图像数据进行处理后获得的图像数据中的每个像素的附近像素的像素信号值来平滑所述每个像素的像素信号值，得到并输出平滑图像数据；和边缘增强滤波器部件，用于通过基于所述平滑图像数据或对所述平滑图像数据进行处理后获得的图像数据中的每个像素的附近像素的像素信号值来对所述每个像素的像素信号值进行边缘增强，得到并输出边缘增强图像数据。因此，能够减少从图像合成部件输出的合成图像数据中的颜色偏差。

下面通过参照附图，对本发明优选实施例进行具体描述。

按照本实施例的成像装置是薄型复眼成像装置，该薄型复眼成像装置包括基本上排列在同一平面上的四个透镜，排列为对应于所述四个透镜的四个滤色镜，和用于分别接收由所述四个透镜形成的四幅物体图像的四个成像区域，并且该薄型复眼成像装置输出彩色图像和/或单色图像。四个透镜中的三个具有彼此不同的光学特性，并且余下的一个具有与所述三个透镜中任意一个相同的光学特性。所述四个成像区域每个都具有沿垂直和水平方向按矩阵排列的大量像素。在四个成像区域中，对四个成像区域中的各自像素进行排列的垂直方向和水平方向是彼此相等的。各成像区域和其上形成的各物体图像之间的相对位置关系在成像区域之间、在预定方向上位移约0.5像素。本实施例的成像装置总是能够获得具有较低颜色偏差和具有平滑变化阴影的高分辨率图像，而与物体距离或者温度变化无关。此外，能够将物体中包括的曲线表现为平滑曲线，以及减少由于利用局部区域中各个颜色的图像信息之间的相关性来合成图像所带来的颜色偏差。

图1示出按照本发明一个实施例的成像装置的结构原理图。图2是沿图1中II-II线切割的，成像部分101的横剖面视图。

首先，给出对本实施例的成像装置输出彩色图像的原理的描述，在彩色图像中透镜间的视差已经得到校正。

在图1中，数字101标注从物体侧观察的成像部分。来自物体的光入射到基本上排列在同一平面上的四个单透镜102a、102b、102c和102d，并且四个单透镜102a、102b、102c和102d经由滤色镜113a、113b、113c和113d(参见图2，滤色镜113b和113d没有示出)各自在成像装置103的成像区域104a、104b、104c和104d上形成物体图像。例如，至于成像装置103，使用具有如2000000像素的高像素数量的成像装置。然而，在图1中，为简化图形示出了具有小像素数量例如825像素的成像装置。在图1中，成像装置103中在水平方向(X轴方向)和垂直方向(Y轴方向)上以栅格形式排列的各个正方形表示像素。排列有像素的水平方向(X轴方向)被称为水平线方向，排列有像素的垂直方向(Y轴方向)被称为垂直线方向。每个正方形(像素)内更小的正方形表示光检测器部分。

如图2所示，滤色镜113a、113b、113c和113d(滤色镜113b和113d没有示出)被设置在成像装置103的物体侧。单透镜102a和102d被设计为具有适于在成像装置103的成像平面上形成绿色光束图像的焦距，单透镜102b被设计为具有适于在成像装置103的成像平面上形成红色光束图像的焦距，以及单透镜102c被设计为具有适于在成像装置103的成像平面上形成蓝色光束图像的焦距。在成像装置103的成像平面上，设置将绿光透射到与单透镜102a和102d对应的成像区域104a和104d上的滤色镜113a和113d，设置将红光透射到与单透镜102b对应的成像区域104b上的滤色镜113b，以及设置将蓝光透射到与单透镜102c对应的成像区域104c上的滤色镜113c。因此，归因于绿光成分的物体图像形成在成像区域104a和104d上，归因于红光成分的物体图像形成在成像区域104b上，以及归因于蓝光成分的物体图像形成在成像区域104c上。将各自在成像区域104a、104b、104c和104d上形成的物体图像相对于光轴105a、105b、105c和105d位移视差量S，通过(公式1)来计算S，其中A表示物体距离，d表示透镜光轴间的距离，以及f表示焦距。

由固态成像装置如CCD和CMOS形成的成像装置103通过成像装置驱动电路112来控制曝光时间、拍照时间和信号传送等。从成像部分101输出的、由每个像素接收的光量的模拟信号值，通过A/D转换器111被转换成数字信号，并且将该数字信号输入到图像处理部分106。将成像区域104a、104b、104c和104d的数字化图像数据输入到图像处理部分106中，以对其进行如白平衡校正和阴影校正的处理。

图3示出在单透镜102a的光轴105a上位于物体距离A0处的物体在成像区域104a和104d上形成的物体图像114。物体图像114形成在成像区域104a上的光轴105a处，并且形成在成像区域104d上、位于在连接光轴105a和光轴105d的直线115上与光轴105d相距Sxy的位置处。

当dx表示光轴105a和光轴105d之间在X轴方向上的距离时，在成像区域104a和成像区域104d之间在X轴方向上物体图像114的视差Sx表达式为(公式2)。

[公式2]

Sx = \frac{f \times dx}{A 0}

当dy表示光轴105a和光轴105d之间在Y轴方向上的距离时，在成像区域104a和成像区域104d之间在Y轴方向上物体图像114的视差Sy表达式为(公式3)。

[公式3]

Sy = \frac{f \times dy}{A 0}

从而，距离Sxy表达式为(公式4)

[公式4]

Sxy = \sqrt{S x^{2} + S y^{2}}

图像合成部分107利用从形成有相同颜色(绿色)物体图像的成像区域104a和成像区域104d输出的两块图像数据执行计算，来得到物体图像之间的相关性，以便计算视差Sx和Sy。尽管像素仅存在于成像装置103中的整数坐标上，也能够通过执行插值运算如线性插值来计算小数级的视差Sx和Sy。

因为光轴105a和光轴105d之间在X轴方向上的距离与光轴105a和光轴105c之间的距离基本相等，所以计算出的视差Sx用作成像区域104a和成像区域104c之间物体图像的视差量。光轴105a和光轴105d之间在X轴方向上的距离与光轴105a和光轴105c之间距离的误差，通过例如比较位于无限远处的物体(例如，黑色背景上的白点光源)在各个成像区域104a、104c和104d上形成的物体图像的位置，来得到补偿。

类似地，因为光轴105a和光轴105d之间在Y轴方向上的距离与光轴105a和光轴105b之间的距离基本相等，所以计算出的视差Sy用作成像区域104a和成像区域104b之间物体图像的视差量。光轴105a和光轴105d之间在Y轴方向上的距离与光轴105a和光轴105b之间距离的误差，通过与上述用于补偿在X轴方向上距离误差的方法类似的方法得到补偿。

使用计算出的视差Sx和Sy，图像合成部分107校正来自成像区域104b的图像和来自成像区域104c的图像相对于来自成像区域104a的图像的位移，并且合成这三幅图像，其中成像区域104b上形成有归因于红光成分的物体图像，成像区域104c上形成有归因于蓝光成分的物体图像，成像区域104a上形成有归因于绿光成分的物体图像。在这种方式中，能够过得物体图像的彩色图像。

接下来，给出图1中的成像装置总是与物体距离无关地输出高分辨率图像的原理的描述。

图4示出位于单透镜102之光轴105a上物体距离A0处的物体在成像区域104a到104d上形成的物体图像114a到114d的位置。

在成像区域104a上，物体图像114a位于光轴105a上。

成像区域104c中光轴105c的位置相对于成像区域104a中光轴105a的位置在Y轴负方向上位移约0.5像素。物体图像114c形成在X轴负方向上偏离光轴105c视差Sx的位置处，该视差Sx通过(公式2)得到。

成像区域104b中光轴105b的位置相对于成像区域104a中光轴105a的位置在X轴负方向上位移约0.5像素。物体图像114b形成在Y轴负方向上偏离光轴105b视差Sy的位置处，该视差Sy通过(公式3)得到。

尽管为了简化描述，在图4中示出了像素数量小于实际数量的成像装置，如成像装置103，但是在实际中使用的成像装置具有很大数量的像素，如2000000像素。因此，光轴105a和光轴105c之间在Y轴方向上的位移量非常小，以致于在Y轴方向上成像区域104c上物体图像114c的视差可以被忽略。类似地，光轴105a和光轴105b之间在X轴方向上的位移量非常小，以致于在X轴方向上成像区域104b上物体图像114b的视差可以被忽略。

因此，当物体距离A0变化时，物体图像114c沿X轴方向在成像区域104c中移动。这时，物体图像114c沿X轴方向移动，同时物体图像114c总是在相对于光轴105a在Y轴方向上位移约0.5像素的状态下。

此外，当物体距离A0变化时，物体图像114b沿Y轴方向在成像区域104b中移动。这时，物体图像114b沿Y轴方向移动，同时物体图像114b总是在相对于光轴105a在X轴方向上位移约0.5像素的状态下。

换句话说，成像区域104c上的物体图像114c相对于成像区域104a上的物体图像114a总是在Y轴负方向上位移约0.5像素，而与物体距离无关，并且成像区域104b上的物体图像114b相对于成像区域104a上的物体图像114a总是在X轴负方向上位移约0.5像素，而与物体距离无关。

利用计算出的视差Sx和Sy，按照下面方式来执行归因于视差的图像位移。如图5中所示，成像区域104c在X轴方向上被校正Sx。另外，成像区域104b在Y轴方向上被校正Sy。此外，成像区域104d在X轴方向上被校正Sx并在Y轴方向上被校正Sy。应该注意，因为各个成像区域的坐标值仅为整数，当校正量Sx和Sy包括小数部分时，可以执行例如舍入的处理。

成像区域104a到104d每个都具有m×n(高×宽)像素。假设成像区域104a中每个像素的坐标为a(x，y)，成像区域104b中每个像素的坐标为b(x，y)，成像区域104c中每个像素的坐标为c(x，y)，以及成像区域104d中每个像素的坐标为d(x，y)，其中x＝1，2，…，m，和y＝1，2，…，n。成像区域104c中像素c(x，y)接收位于相对于成像区域104a中像素a(x，y)在Y轴正方向上位移约0.5像素的位置上的物体图像。此外，成像区域104b中像素b(x，y)接收位于相对于成像区域104a中像素a(x，y)在X轴正方向上位移约0.5像素的位置上的物体图像。成像区域104d中像素d(x，y)所接收的物体图像相对于成像区域104a中像素a(x，y)所接收的物体图像在X轴方向和Y轴方向上的位移量随物体距离而变化。

因此，为了如图6A中所示，从分别在X轴方向和Y轴方向上位移了0.5像素的均具有m×n像素的图像中生成具有2·m×2·n(高×宽)像素的高分辨率合成图像h，将像素a(x，y)的亮度值代入合成图像的坐标h(2·x-1，2·y-1)，将像素c(x，y)的亮度值代入坐标h(2·x-1，2·y)，将像素b(x，y)的亮度值代入坐标h(2·x，2·y-1)，并且将四个邻近像素的平均亮度值代入坐标h(2·x，2·y)(x＝1，2，…，m，和y＝1，2，…，n)。这里，用来替代四个邻近像素的平均亮度值，也可以将使用邻近像素亮度值通过另一插值方法计算出的值代入坐标h(2·x，2·y)。

依据物体距离，成像区域104d中像素d(x，y)有时接收相对于成像区域104a中像素a(x，y)在X轴正方向上位移0.5像素并在Y轴正方向上位移0.5像素的物体图像114。在这种情况中，如图6B所示，将像素a(x，y)的亮度值代入合成图像的坐标h(2·x-1，2·y-1)，将像素c(x，y)的亮度值代入坐标h(2·x-1，2·y)，将像素b(x，y)的亮度值代入坐标h(2·x，2·y-1)，并且将像素d(x，y)的亮度值代入坐标h(2·x，2·y)。

如上所述，通过从成像区域104a、104b、104c和104d中得到的彼此位移的均具有m×n像素的四幅图像，能够生成具有2·m×2·n像素的合成图像h。换句话说，通过合成如图7A中所示的分别从成像区域104a、104b、104c和104d中得到的均具有m×n像素的四幅图像，能够得到如图7B所示的具有2·m×2·n像素的高分辨率图像。

在单色物体的情况下，通过上述方法能够生成高分辨率合成图像。然而，在彩色物体的情况下，会生成红色、绿色和蓝色三幅合成图像。假定具有红色信息的合成图像为hr，具有绿色信息的合成图像为hg，以及蓝色合成图像为hb。利用红色、绿色和蓝色图像信息在图像的局部区域中具有相关性的特性，能够生成合成图像hr、hg和hb。表示红色和绿色图像信息之间相关性的矩阵c_rg、表示蓝色和绿色图像信息之间相关性的矩阵c_bg、以及表示蓝色和红色图像信息之间相关性的矩阵c_br由(公式5)计算。

[公式5]

c_rg(x，y)＝b(x，y)/a(x，y)

c_bg(x，y)＝c(x，y)/a(x，y)

c_br(x，y)＝c(x，y)/b(x，y)

(x＝1，2，…，m，y＝1，2，…，n)

然后，对通过(公式5)得到的各个矩阵进行中值滤波以便去除噪声，如此计算(公式6)的median_c_rg、median_c_bg、和median_c_br矩阵。

[公式6]

median_c_rg＝median(c_rg)

median_c_bg＝median(c_bg)

median_c_br＝median(c_br)

接下来，对通过(公式6)得到的各个矩阵进行具有权重的低通滤波，如此计算(公式7)的LPF_c_rg、LPF_c_bg和LPF_c_br。

[公式7]

LPF_c_rg＝lpf(median_c_rg)

LPF_c_bg＝lpf(median_c_bg)

LPF_c_br＝lpf(median_c_br)

使用表示局部区域中各个颜色之间相关性的LPF_c_rg、LPF_c_bg和LPF_c_br，可以生成具有红色信息的合成图像hr、具有绿色信息的合成图像hg以及蓝色合成图像hb。

具有红色信息的合成图像hr使用(公式8)生成。

[公式8]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝b(x，y)

hr((2·x-1，2·y)＝c(x，y)/LPF_c_br(x，y)

hr(2·x，2·y)：四个邻近值的平均值

(x＝1，2，…，m，y＝1，2，…，n)

具有绿色信息的合成图像hg使用(公式9)生成。

[公式9]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝b(x，y)/LPF_c_rg(x，y)

hg((2·x-1，2·y)＝c(x，y)/LPF_c_bg(x，y)

hg(2·x，2·y)：四个邻近值的平均值

(x＝1，2，…，m，y＝1，2，…，n)

具有蓝色信息的合成图像hb使用(公式10)生成。

[公式10]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝b(x，y)·LPF_c_br(x，y)

hb((2·x-1，2·y)＝c(x，y)

hb(2·x，2·y)：四个邻近值的平均值

(x＝1，2，…，m，y＝1，2，…，n)

通过将计算出的红色、绿色和蓝色合成图像hr、hg和hb进行彩色合成，可以得到具有2·m×2·n像素的高分辨率彩色合成图像h_rgb。考虑到事实上成像装置103中形成的物体图像通过透镜102a到102d后发生反转，所以如图8中所示，彩色合成图像h_rgb的像素排列在Y轴方向上发生反转。

下面，将对即便是在由四个透镜投射的四个物体图像之间的位移量偏离理想位移量即0.5像素的情况下，图1中的成像装置总是能够输出具有较低颜色偏差的高分辨率图像的原理给出描述。

在很多情况中，由于透镜102a到102d的形状误差、透镜装配中的装配误差等等因素，图1中成像区域104a到104d上光轴105a到105d的位移量在各自像素位移方向上不是0.5像素的理想位移量。图9是示出在成像区域104a到104c中的物体图像114a到114c、光轴105a到105c、以及其附近像素的放大视图。图9示出在视差校正处理之后，物体图像114a到114c和光轴105a到105c之间的关系。

成像区域104c上的物体图像114c相对于成像区域104a上的物体图像114a在Y轴负方向上位移0.6像素以及在X轴负方向上位移0.1像素。当物体距离发生变化时，物体图像114c沿X轴方向移动，同时物体图像114c相对于物体图像114a在Y轴方向上的位移量基本保持在0.6像素。这时，当物体图像114c相对于物体图像114a在Y轴方向上的位移量在0.25像素到0.75像素范围内时，能够得到高分辨率合成图像。执行视差校正处理，使得成像区域104c上的物体图像114c和成像区域104a上的物体图像114a之间在X轴方向上的位移量在±0.5像素范围内。

成像区域104b上的物体图像114b相对于成像区域104a上的物体图像114a在Y轴负方向上位移0.1像素以及在X轴负方向上位移0.6像素。当物体距离发生变化时，物体图像114b沿Y轴方向移动，同时物体图像114b相对于物体图像114a在X轴方向上的位移量基本保持在0.6像素。这时，当物体图像114b相对于物体图像114a在X轴方向上的位移量在0.25像素到0.75像素范围内时，能够得到高分辨率合成图像。执行视差校正处理，使得成像区域104b上的物体图像114b和成像区域104a上的物体图像114a之间在Y轴方向上的位移量在±0.5像素范围内。

下面将给出对输出图像的描述，该输出图像是在上述各个物体图像位移量的情况下捕捉具有在垂直方向上延伸边缘的物体的图像时得到的。图10A示出在成像装置103上形成的、三条沿垂直方向延伸的粗线的物体图像，图10B示出通过沿Y轴方向反转由成像区域104a获取的图像的像素排列所得到的图像，以及图10C示出高分辨率彩色合成图像h_rgb。在图10A到10C中，通过线条密度来表现阴影，例如较深颜色通过更高线条密度来表示，以及较浅颜色通过更低线条密度来表示。

图10C中的图像与图10B中的图像相比，能够更容易识别三条粗线的物体图像，并且具有更高的分辨率。然而，由于事实上成像区域104c上的物体图像114c相对于成像区域104a上的物体图像114a在X轴方向和Y轴方向上的偏移量偏离理想位移量，即X轴方向上0像素和Y轴方向上0.5像素的，所以在图10C中的图像中存在颜色偏差。因此，检测局部区域中物体图像的边缘方向，以便根据边缘的方向，以下面方式改变用于合成具有红色信息的合成图像hr、具有绿色信息的合成图像hg和具有蓝色信息的合成图像hb的方法。

(公式11)用于计算沿Y轴方向延伸的边缘的强度，即成像区域104a中各个坐标处在X轴方向上的平均差分分量Dy(x，y)。

[公式11]

Dy(x，y)＝a(x-1，y-1)+2·a(x-1，y)+a(x-1，y+1)

-a(x+1，y-1)-2·a(x+1，y)-a(x+1，y+1)

(x＝1，2，…，m，y＝1，2，…，n)

(公式12)用于计算沿X轴方向延伸的边缘的强度，即成像区域104a中各个坐标处在Y轴方向上的平均差分分量Dx(x，y)。

[公式12]

Dx(x，y)＝a(x-1，y-1)+2·a(x，y-1)+a(x+1，y-1)

-a(x-1，y+1)-2·a(x，y+1)-a(x+1，y+1)

(x＝1，2，…，m，y＝1，2，…，n)

(公式13)用于计算沿右上倾斜方向延伸的边缘的强度，即成像区域104a中各个坐标处在左上倾斜方向上的平均差分分量Dsr(x，y)。

[公式13]

Dsr(x，y)＝a(x-1，y)+2·a(x-1，y-1)+a(x，y-1)

-a(x，y+1)-2·a(x+1，y+1)-a(x+1，y)

(x＝1，2，…，m，y＝1，2，…，n)

(公式14)用于计算沿左上倾斜方向延伸的边缘的强度，即成像区域104a中各个坐标处在右上倾斜方向上的平均差分分量Dsl(x，y)。

[公式14]

Dsl(x，y)＝a(x，y-1)+2·a(x+1，y-1)+a(x+1，y)

-a(x-1，y)-2·a(x-1，y+1)-a(x，y+1)

(x＝1，2，…，m，y＝1，2，…，n)

在所计算出的Dx(x，y)、Dy(x，y)、Dsr(x，y)和Dsl(x，y)的绝对值中，Dx(x，y)的绝对值最大的情况下，使用(公式15)生成具有红色信息的合成图像hr。

[公式15]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝hr(2·x-1，2·y-1)

hr(2·x-1，2·y)＝c(x，y)/LPF_c_br(x，y)

hr(2·x，2·y)＝hr(2·x-1，2·y)

(x＝1，2，…，m，y＝1，2，…，n)

使用(公式16)生成具有绿色信息的合成图像hg。

[公式16]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝hg(2·x-1，2·y-1)

hg(2·x-1，2·y)＝c(x，y)/LPF_c_bg(x，y)

hg(2·x，2·y)＝hg(2·x-1，2·y)

(x＝1，2，…，m，y＝1，2，…，n)

使用(公式17)生成具有蓝色信息的合成图像hb。

[公式17]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝hb(2·x-1，2·y-1)

hb(2·x-1，2·y)＝c(x，y)

hb(2·x，2·y)＝hb(2·x-1，2·y)

(x＝1，2，…，m，y＝1，2，…，n)

在Dy(x，y)的绝对值最大的情况下，使用(公式18)生成具有红色信息的合成图像hr。

[公式18]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝b(x，y)

hr(2·x-1，2·y)＝hr(2·x-1，2·y-1)

hr(2·x，2·y)＝hr(2·x，2·y-1)

(x＝1，2，…，m，y＝1，2，…，n)

使用(公式19)生成具有绿色信息的合成图像hg。

[公式19]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝b(x，y)/LPF_c_rg(x，y)

hg(2·x-1，2·y)＝hg(2·x-1，2·y-1)

hg(2·x，2·y)＝hg(2·x，2·y-1)

(x＝1，2，…，m，y＝1，2，…，n)

使用(公式20)生成具有蓝色信息的合成图像hb。

[公式20]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝b(x，y)·LPF_c_br(x，y)

hb(2·x-1，2·y)＝hb(2·x-1，2·y-1)

hb(2·x，2·y)＝hb(2·x，2·y-1)

(x＝1，2，…，m，y＝1，2，…，n)

在Dsr(x，y)的绝对值最大的情况下，使用(公式21)生成具有红色信息的合成图像hr。

[公式21]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝b(x，y)

hr(2·x-1，2·y)＝hr(2·x，2·y-1)

hr(2·x，2·y)＝hr(2·x+1，2·y-1)

(x＝1，2，…，m，y＝1，2，…，n)

使用(公式22)生成具有绿色信息的合成图像hg。

[公式22]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝b(x，y)/LPF_c_rg(x，y)

hg(2·x-1，2·y)＝hg(2·x，2·y-1)

hg(2·x，2·y)＝hg(2·x+1，2·y-1)

(x＝1，2，…，m，y＝1，2，…，n)

使用(公式23)生成具有蓝色信息的合成图像hb。

[公式23]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝b(x，y)·LPF_c_br(x，y)

hb(2·x-1，2·y)＝hb(2·x，2·y-1)

hb(2·x，2·y)＝hb(2·x+1，2·y-1)

(x＝1，2，…，m，y＝1，2，…，n)

在Dsl(x，y)的绝对值最大的情况下，使用(公式24)生成具有红色信息的合成图像hr。

[公式24]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝b(x，y)

hr(2·x-1，2·y)＝hr(2·x-2，2·y-1)

hr(2·x，2·y)＝hr(2·x-1，2·y-1)

(x＝1，2，…，m，y＝1，2，…，n)

使用(公式25)生成具有绿色信息的合成图像hg。

[公式25]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝b(x，y)/LPF_c_rg(x，y)

hg(2·x-1，2·y)＝hg(2·x-2，2·y-1)

hg(2·x，2·y)＝hg(2·x-1，2·y-1)

(x＝1，2，…，m，y＝1，2，…，n)

使用(公式26)生成具有蓝色信息的合成图像hb。

[公式26]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝b(x，y)·LPF_c_br(x，y)

hb(2·x-1，2·y)＝hb(2·x-2，2·y-1)

hb(2·x，2·y)＝hb(2·x-1，2·y-1)

(x＝1，2，…，m，y＝1，2，…，n)

由于图10A中的物体图像具有沿Y轴方向延伸的边缘，所以使用(公式18)到(公式20)来生成合成图像hr、hg和hb。通过合成所计算出的红色、绿色和蓝色合成图像hr、hg和hb，可以如图10D所示去除图10C的图像中引起的颜色偏差，得到具有2·m×2·n像素且没有颜色偏差的高分辨率彩色图像h_rgb。在图10D中，阴影通过线条密度来表示，例如较深颜色通过更高线条密度来表示，以及较浅颜色通过更低线条密度来表示。

下面是能得到如图10D中所示的颜色偏差减少的图像的原因。如图10A所示，在具有沿Y轴方向延伸边缘的局部区域中，在Y轴方向上邻近像素的亮度值之间有高相关性。如此，即便当将Y轴方向上邻近像素的亮度值设置为相等时，也几乎不会对输出图像产生影响。因此，如(公式18)到(公式20)所示，将同一值代入Y轴方向上的邻近像素中。这样重新产生在Y轴方向上延伸边缘的图像的线性关系，从而得到没有颜色偏差的图像，如图10D所示。

尽管在图中没有示出，在具有沿X轴方向延伸边缘的局部区域中，在X轴方向上邻近像素的亮度值之间有高相关性。如此，即便当将X轴方向上邻近像素的亮度值设置为相等时，也几乎不会对输出图像产生影响。因此，如(公式15)到(公式17)所示，将同一值代入X轴方向上的邻近像素中。这样重新产生在X轴方向上延伸边缘的图像的线性关系，从而得到没有颜色偏差的图像。

尽管在图中没有示出，在具有沿右上倾斜方向延伸边缘的局部区域中，在右上倾斜方向上邻近像素的亮度值之间有高相关性。如此，即便当将右上倾斜方向上邻近像素的亮度值设置为相等时，也几乎不会对输出图像产生影响。因此，如(公式21)到(公式23)所示，将同一值代入右上倾斜方向上的邻近像素中。这样重新产生在右上倾斜方向上延伸边缘的图像的线性关系，从而得到没有颜色偏差的图像。

尽管在图中没有示出，在具有沿左上倾斜方向延伸边缘的局部区域中，在左上倾斜方向上邻近像素的亮度值之间有高相关性。如此，即便当将左上倾斜方向上邻近像素的亮度值设置为相等时，也几乎不会对输出图像产生影响。因此，如(公式24)到(公式26)所示，将同一值代入左上倾斜方向上的邻近像素中。这样重新产生在左上倾斜方向上延伸边缘的图像的线性关系，从而得到没有颜色偏差的图像。

考虑到事实上在成像装置103上形成的物体图像通过透镜102a到102d后发生反转，所以如图8中所示，彩色合成图像h_rgb的像素排列在Y轴方向上反转。上述的右上倾斜方向和左上倾斜方向均是指反转后图像中的方向。

根据上述本发明的复眼成像装置，即便是在四个单透镜分别投射的四幅物体图像之间的位移量偏离理想位移量即0.5像素的情况下，总是能够输出具有低颜色偏差的高分辨率彩色图像，而与物体距离无关。

此外，如图11中所示，例如，在物体具有变化阴影的情况下，优选地，将(公式15)到(公式26)变为下面包括插值公式的(公式27)到(公式38)。在这种方式中，即便是在四个单透镜分别投射的四幅物体图像之间的位移量偏离理想位移量即0.5像素的情况下，总是能够输出具有低颜色偏差的高分辨率彩色图像，而与物体距离无关，以及能够平滑地表现变化的阴影。在图11中，阴影通过线条密度来表示，例如较深颜色通过更高线条密度来表示，以及较浅颜色通过更低线条密度来表示。

在(公式15)到(公式26)中，作为合成图像hr、hg和hb的像素的亮度值，将位于该像素在边缘方向上邻近一侧的像素的亮度值代入。另一方面，在(公式27)到(公式38)中，代入通过将位于该像素在边缘方向上邻近两侧的两个像素的亮度值经过线性插值得到的数值。应该注意，插值方法不局限于线性插值，还能够用位于邻近两侧的两个像素的亮度值采用三次插值，等等。

在所计算出的Dx(x，y)、Dy(x，y)、Dsr(x，y)和Dsl(x，y)的绝对值中，Dx(x，y)的绝对值最大的情况下，分别使用(公式27)、(公式28)和(公式29)生成合成图像hr、hg和hb。

[公式27]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝0.5·(hr(2·x-1，2·y-1)

+hr(2·x+1，2·y-1))

hr(2·x-1，2·y)＝c(x，y)/LPF_c_br(x，y)

hr(2·x，2·y)＝0.5·(hr(2·x-1，2·y)

+hr(2·x+1，2·y))

(x＝1，2，…，m，y＝1，2，…，n)

[公式28]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝0.5·(hg(2·x-1，2·y-1)

+hg(2·x+1，2·y-1))

hg(2·x-1，2·y)＝c(x，y)/LPF_c_bg(x，y)

hg(2·x，2·y)＝0.5·(hg(2·x-1，2·y)

+hg(2·x+1，2·y))

(x＝1，2，…，m，y＝1，2，…，n)

[公式29]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝0.5·(hb(2·x-1，2·y-1)

+hb(2·x+1，2·y-1))

hb(2·x-1，2·y)＝c(x，y)

hb(2·x，2·y)＝0.5·(hb(2·x-1，2·y)

+hb(2·x+1，2·y))

(x＝1，2，…，m，y＝1，2，…，n)

在Dy(x，y)的绝对值最大的情况下，分别使用(公式30)、(公式31)和(公式32)生成合成图像hr、hg和hb。

[公式30]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝b(x，y)

hr(2·x-1，2·y)＝0.5·(hr(2·x-1，2·y-1)

+hr(2·x-1，2·y+1))

hr(2·x，2·y)＝0.5·(hr(2·x，2·y-1)

+hr(2·x，2·y+1))

(x＝1，2，…，m，y＝1，2，…，n)

[公式31]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝b(x，y)/LPF_c_rg(x，y)

hg(2·x-1，2·y)＝0.5·(hg(2·x-1，2·y-1)

+hg(2·x-1，2·y+1))

hg(2·x，2·y)＝0.5·(hg(2·x，2·y-1)

+hg(2·x，2·y+1))

(x＝1，2，…，m，y＝1，2，…，n)

[公式32]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝b(x，y)·LPF_c_br(x，y)

hb(2·x-1，2·y)＝0.5·(hb(2·x-1，2·y-1)

+hb(2·x-1，2·y+1))

hb(2·x，2·y)＝0.5·(hb(2·x，2·y-1)

+hb(2·x，2·y+1))

(x＝1，2，…，m，y＝1，2，…，n)

在Dsr(x，y)的绝对值最大的情况下，分别使用(公式33)、(公式34)和(公式35)生成合成图像hr、hg和hb。

[公式33]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝b(x，y)

hr(2·x-1，2·y)＝0.5·(hr(2·x，2·y-1)

+hr(2·x-2，2·y+1))

hr(2·x，2·y)＝0.5·(hr(2·x+1，2·y-1)

+hr(2·x-1，2·y+1))

(x＝1，2，…，m，y＝1，2，…，n)

[公式34]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝b(x，y)/LPF_c_rg(x，y)

hg(2·x-1，2·y)＝0.5·(hg(2·x，2·y-1)

+hg(2·x-2，2·y+1))

hg(2·x，2·y)＝0.5·(hg(2·x+1，2·y-1)

+hg(2·x-1，2·y+1))

(x＝1，2，…，m，y＝1，2，…，n)

[公式35]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝b(x，y)·LPF_c_br(x，y)

hb(2·x-1，2·y)＝0.5·(hb(2·x，2·y-1)

+hb(2·x-2，2·y+1))

hb(2·x，2·y)＝0.5·(hb(2·x+1，2·y-1)

+hb(2·x-1，2·y+1))

(x＝1，2，…，m，y＝1，2，…，n)

在Dsl(x，y)的绝对值最大的情况下，分别使用(公式36)、(公式37)和(公式38)生成合成图像hr、hg和hb。

[公式36]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝b(x，y)

hr(2·x-1，2·y)＝0.5·(hr(2·x-2，2·y-1)

+hr(2·x，2·y+1))

hr(2·x，2·y)＝0.5·(hr(2·x-1，2·y-1)

+hr(2·x+1，2·y+1))

(x＝1，2，…，m，y＝1，2，…，n)

[公式37]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝b(x，y)/LPF_c_rg(x，y)

hg(2·x-1，2·y)＝0.5·(hg(2·x-2，2·y-1)

+hg(2·x，2·y+1))

hg(2·x，2·y)＝0.5·(hg(2·x-1，2·y-1)

+hg(2·x+1，2·y+1))

(x＝1，2，…，m，y＝1，2，…，n)

[公式38]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝b(x，y)·LPF_c_br(x，y)

hb(2·x-1，2·y)＝0.5·(hb(2·x-2，2·y-1)

+hb(2·x，2·y+1))

hb(2·x，2·y)＝0.5·(hb(2·x-1，2·y-1)

+hb(2·x+1，2·y+1))

取决于物体距离，成像区域104d中像素d(x，y)有时接收相对于成像区域104a中像素a(x，y)在X轴正方向上位移约0.5像素以及在Y轴正方向上位移约0.5像素的物体图像114。在这种情况下，优选使用(公式39)到(公式44)来代替(公式27)到(公式32)。在这种方式中，在特定物体距离下，能够改善绿色的颜色重现，使得能够获得高分辨率亮度信息，以及从而能够实现视觉上的高分辨率图像。

在所计算出的Dx(x，y)、Dy(x，y)、Dsr(x，y)和Dsl(x，y)的绝对值中，Dx(x，y)的绝对值最大的情况下，分别使用(公式39)、(公式40)和(公式41)生成合成图像hr、hg和hb。

[公式39]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝0.5·(hr(2·x-1，2·y-1)

+hr(2·x+1，2·y-1))

hr(2·x-1，2·y)＝0.5·(hr(2·x，2·y)

+hr(2·x-2，2·y))

hr(2·x，2·y)＝d(x，y)·LPF_c_rg(x，y)

(x＝1，2，…，m，y＝1，2，…，n)

[公式40]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝0.5·(hg(2·x-1，2·y-1)

+hg(2·x+1，2·y-1))

hg(2·x-1，2·y)＝0.5·(hg(2·x，2·y)

+hg(2·x-2，2·y))

hg(2·x，2·y)＝d(x，y)

(x＝1，2，…，m，y＝1，2，…，n)

[公式41]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝0.5·(hb(2·x-1，2·y-1)

+hb(2·x+1，2·y-1))

hb(2·x-1，2·y)＝0.5·(hb(2·x，2·y)

+hb(2·x-2，2·y))

hb(2·x，2·y)＝b(x，y)·LPF_c_bg(x，y)

(x＝1，2，…，m，y＝1，2，…，n)

在Dy(x，y)的绝对值最大的情况下，分别使用(公式42)、(公式43)和(公式44)生成合成图像hr、hg和hb。

[公式42]

hr(2·x-1，2·y-1)＝a(x，y)·LPF_c_rg(x，y)

hr(2·x，2·y-1)＝0.5·(hr(2·x，2·y)

+hr(2·x，2·y-2))

hr(2·x-1，2·y)＝0.5·(hr(2·x-1，2·y-1)

+hr(2·x-1，2·y+1))

hr(2·x，2·y)＝d(x，y)·LPF_c_rg(x，y)

(x＝1，2，…，m，y＝1，2，…，n)

[公式43]

hg(2·x-1，2·y-1)＝a(x，y)

hg(2·x，2·y-1)＝0.5·(hg(2·x，2·y)

+hg(2·x，2·y-2))

hg(2·x-1，2·y)＝0.5·(hg(2·x-1，2·y-1)

+hg(2·x-1，2·y+1))

hg(2·x，2·y)＝d(x，y)

(x＝1，2，…，m，y＝1，2，…，n)

[公式44]

hb(2·x-1，2·y-1)＝a(x，y)·LPF_c_bg(x，y)

hb(2·x，2·y-1)＝0.5·(hb(2·x，2·y)

+hb(2·x，2·y-2))

hb(2·x-1，2·y)＝0.5·(hb(2·x-1，2·y-1)

+hb(2·x-1，2·y+1))

hb(2·x，2·y)＝a(x，y)·LPF_c_bg(x，y)

(x＝1，2，…，m，y＝1，2，…，n)

在物体包括曲线的情况下，曲线在合成彩色图像h_rgb中有时不是平滑的。此外，由于利用局部区域中各个颜色的图像信息之间相关性的图像合成方法，有时会发生颜色偏差。在这种情况下，优选地，从通过对合成图像hr、hg和hb进行如(公式45)所示加权平滑滤波和如(公式46)所示边缘增强滤波得到的合成图像EDGE_hr、EDGE_hg和EDGE_hb，合成出彩色图像h_rgb。在这种方式中，即便是在四个单透镜分别投射的四幅物体图像之间的位移量偏离理想位移量即0.5像素的情况下，总是能够输出具有低颜色偏差的高分辨率彩色图像，而与物体距离无关。此外，能够平滑地表现变化的阴影，即便在物体包括曲线的情况下，也能够将曲线表现为平滑的曲线，以及能够降低由于利用局部区域中各个颜色的图像信息之间相关性的图像合成方法而引起的颜色偏差。

[公式45]

LPF_hr(x，y)＝(hr(x-1，y-1)+2·hr(x，y-1)

+hr(x+1，y-1)+2·hr(x-1，y)

+4·hr(x，y)+2·hr(x+1，y)

+hr(x-1，y+1)+2·hr(x，y+1)

+hr(x+1，y+1))/16

LPF_hg(x，y)＝(hg(x-1，y-1)+2·hg(x，y-1)

+hg(x+1，y-1)+2·hg(x-1，y)

+4·hg(x，y)+2·hg(x+1，y)

+hg(x-1，y+1)+2·hg(x，y+1)

+hg(x+1，y+1))/16

LPF_hb(x，y)＝(hb(x-1，y-1)+2·hb(x，y-1)

+hb(x+1，y-1)+2·hb(x-1，y)

+4·hb(x，y)+2·hb(x+1，y)

+hb(x-1，y+1)+2·hb(x，y+1)

+hb(x+1，y+1))/16

(x＝1，2，…，2·m，y＝1，2，…，2·n)

[公式46]

EDGE_hr(x，y)＝-hr(x-1，y-1)-hr(x，y-1)

-hr(x+1，y-1)-hr(x-1，y)+5·hr(x，y)

-hr(x+1，y)-hr(x-1，y+1)-hr(x，y+1)

-hr(x+1，y+1)

EDGE_hg(x，y)＝-hg(x-1，y-1)-hg(x，y-1)

-hg(x+1，y-1)-hg(x-1，y)+5·hg(x，y)

-hg(x+1，y)-hg(x-1，y+1)-hg(x，y+1)

-hg(x+1，y+1)

EDGE_hb(x，y)＝-hb(x-1，y-1)-hb(x，y-1)

-hb(x+1，y-1)-hb(x-1，y)+5·hb(x，y)

-hb(x+1，y)-hb(x-1，y+1)-hb(x，y+1)

-hb(x+1，y+1)

(x＝1，2，…，2·m，y＝1，2，…，2·n)

在图像的端部，有时无法进行加权平滑滤波或其它类似计算。在这种情况下，要执行适当处理，例如防止使用这样的滤波。

在物体距离基本等于无限远距离，以及如图12中所示，成像区域104c中光轴105c的位置相对于成像区域104a中光轴105a的位置在X轴方向上位移约0.5像素，并且成像区域104b中光轴105b的位置相对于成像区域104a中光轴105a的位置在Y轴方向上位移约0.5像素的情况下，可以根据物体的边缘方向改变用于对合成图像hr、hg和hb进行合成的方法，以及基于上述相似概念使用加权平滑滤波和边缘增强滤波。在这种方式中，即便是在四个单透镜分别投射的四幅物体图像之间的位移量偏离理想位移量即0.5像素的情况下，总是能够输出具有低颜色偏差的高分辨率彩色图像。此外，能够平滑地表现变化的阴影，即便在物体包括曲线的情况下，也能够将曲线表现为平滑的曲线，以及能够降低由于利用局部区域中各个颜色的图像信息之间相关性的图像合成方法而引起的颜色偏差。

此外，在由于视差导致成像区域104c中的物体图像的位置相对于成像区域104a中的物体图像的位置在X轴方向上位移约0.5像素，并且成像区域104b中的物体图像的位置相对于成像区域104a中的物体图像的位置在Y轴方向上位移约0.5像素的情况下，能够根据物体的边缘方向改变用于对合成图像hr、hg和hb进行合成的方法，以及能够基于上述相似概念使用加权平滑滤波和边缘增强滤波。在这种方式中，即便是在四个单透镜分别投射的四幅物体图像之间的位移量偏离理想位移量即0.5像素的情况下，总是能够输出具有低颜色偏差的高分辨率彩色图像。此外，能够平滑地表现变化的阴影，即便在物体包括曲线的情况下，也能够将曲线表现为平滑的曲线，以及能够降低由于利用局部区域中各个颜色的图像信息之间相关性的图像合成方法而引起的颜色偏差。

在图1中的四个透镜102a到102d整体形成透镜阵列的情况下，由于温度的变化，透镜光轴105a到105d的位置会发生移动。然而，因为透镜阵列各向同性的膨胀和收缩，所以当物体距离变化时，透镜光轴105a到105d的位置移动方向与由于视差导致的物体图像移动方向相同。因此，通过视差校正处理可以消除温度变化的影响。从而，根据本实施例，即便当温度变化时也总是能够输出具有较低颜色偏差的高分辨率彩色图像。此外，能够平滑地表现变化的阴影，即便在物体包括曲线的情况下，也能够将曲线表现为平滑的曲线，以及能够降低由于利用局部区域中各个颜色的图像信息之间相关性的图像合成方法而引起的颜色偏差。

上述实施例仅是示例性的，本发明并不局限于此。例如，利用不同颜色的图像信息之间相关性的图像合成方法、根据物体边缘方向对图像合成方法的选择、加权平滑滤波和边缘增强滤波的权重因子值等等，并不局限于上述实例。也可以采用能够实现上述相似效果的，基于相似概念的其它方法或数值。

在图1中的成像装置中，在四个单透镜分别投射的四幅物体图像之间的位移量偏离理想位移量即0.5像素的情况下，为了减少计算时间和存储量可以去掉边缘方向检测部分108，从而使用(公式8)到(公式10)来计算红色、绿色和蓝色的合成图像hr、hg和hb。在这种情况下，通过将合成图像hr、hg和hb经过图1中的平滑滤波部分109和边缘增强部分110的处理，能够降低由于事实上四幅物体图像之间的位移量偏离理想位移量即0.5像素而引起的颜色偏差，从而即使当物体距离变化时，也总是能够输出具有较低颜色偏差的高分辨率彩色图像。此外，还能够降低由于利用局部区域中各个颜色的图像信息之间相关性的图像合成方法而引起的颜色偏差。

在本实施例的成像装置中，可以去除滤色镜113a、113b、113c和113d。在这种情况下，下面通过改变(公式5)到(公式47)，即便是在四个单透镜分别投射的四幅物体图像之间的位移量偏离理想位移量即0.5像素的情况下，总是能够输出没有颜色偏差的高分辨率单色图像，而与物体距离或温度变化无关。此外，能够实现用于输出单色图像的薄型成像装置，能够平滑地表现变化的阴影，即便在物体包括曲线的情况下，也能够将曲线表现为平滑的曲线。

[公式47]

c_rg(x，y)＝1

c_bg(x，y)＝1

c_rg(x，y)＝1

(x＝1，2，…，m，y＝1，2，…，n)

在本实施例中，只要光轴105c与成像区域104c的相对位置关系相对于光轴105a与成像区域104a的相对位置关系在Y轴方向上相对位移约0.5像素(这里，如下面所述，“约0.5像素”是指0.25像素到0.75像素之间的范围)就足够了。图1满足这个条件。在图13A中，尽管在成像装置103中，光轴105c相对于光轴105a在Y轴方向上位移2.5像素，但是光轴105c与成像区域104c的相对位置关系相对于光轴105a与成像区域104a的相对位置关系在Y轴方向上相对位移约0.5像素。因此，能够满足上述条件。

如图1和13A所示，成像区域104a到104d不需要形成在同一个成像装置103中，可以分别形成在四个独立成像装置103a到103d中，如图13B所示。然而，在成像区域104a到104d之间，成像区域104a到104d中各自像素排列的水平方向和垂直方向必须彼此基本相同。同样在这种情况下，符合上述条件就足够了，即满足光轴105c与成像区域104c的相对位置关系相对于光轴105a与成像区域104a的相对位置关系在Y轴方向上相对位移约0.5像素。

然而，即使当满足上述条件时，光轴105c相对于光轴105a在Y轴方向上位移量过大，会在物体距离短(称为，近距离成像)的情况下带来问题。这是因为在物体距离短的情况下，由于不能忽略光轴105c相对于光轴105a在Y轴方向上的位移，在Y轴方向上会产生视差。因此，在已知物体距离的下限的情况下，优选地，光轴105c相对于光轴105a在Y轴方向上的位移量Gs满足(公式48)。这里，A1表示物体距离的下限，f表示单透镜102a到102d和成像装置103之间的距离(组合焦距)，以及p表示成像装置103的像素间距。

此外，只要光轴105b与成像区域104b的相对位置关系相对于光轴105a与成像区域104a的相对位置关系在X轴方向上相对位移约0.5像素(这里，如下面所述，“约0.5像素”是指0.25像素到0.75像素之间的范围)就足够了。图1满足这个条件。在图13A中，尽管在成像装置103中，光轴105b相对于光轴105a在X轴方向上位移1.5像素，但是光轴105b与成像区域104b的相对位置关系相对于光轴105a与成像区域104a的相对位置关系在X轴方向上相对位移约0.5像素。因此，能够满足上述条件。

如图13B所示，成像区域104a到104d可以分别形成在四个独立成像装置103a到103d中。然而，在成像区域104a到104d之间，成像区域104a到104d中各自像素排列的水平方向和垂直方向必须彼此基本相同。同样在这种情况下，符合上述条件就足够了，即满足光轴105b与成像区域104b的相对位置关系相对于光轴105a与成像区域104a的相对位置关系在X轴方向上相对位移约0.5像素。

然而，即使当满足上述条件时，光轴105b相对于光轴105a在X轴方向上的位移量过大，会在物体距离短(称为，近距离成像)的情况下带来问题。这是因为在物体距离短的情况下，由于不能忽略光轴105b相对于光轴105a在X轴方向上的位移，在X轴方向上会产生视差。因此，在已知物体距离的下限的情况下，优选地，光轴10bc相对于光轴105a在X轴方向上的位移量Gs满足(公式48)。

[公式48]

|Gs|≤A1·p/(4·f)

只要满足(公式48)，当光轴105c与成像区域104c的相对位置关系相对于光轴105a与成像区域104a的相对位置关系在Y轴方向上相对位移约0.5像素时，成像区域104c上的物体图像与成像区域104a上的物体图像之间在Y轴方向上的位移量总是大于或等于0.25像素且小于或等于0.75像素，而与物体距离无关。

此外，只要满足(公式48)，当光轴105b与成像区域104b的相对位置关系相对于光轴105a与成像区域104a的相对位置关系在X轴方向上相对位移约0.5像素时，成像区域104b上的物体图像与成像区域104a上的物体图像之间在X轴方向上的位移量总是大于或等于0.25像素且小于或等于0.75像素，而与物体距离无关。

也就是，只要满足(公式48)，即使当物体距离变化时，也能输出具有较低颜色偏差的高分辨率彩色和单色图像。此外，能够平滑地表现变化的阴影，即便在物体包括曲线的情况下，也能够将曲线表现为平滑的曲线，以及能够降低由于利用局部区域中各个颜色的图像信息之间相关性的图像合成方法而引起的颜色偏差。

在本发明中，尽管需要透镜102a到102d形成在同一平面上，但是即使当由于形状误差等，它们没有严格形成在同一平面上时，也能够实现本发明的成像装置。

在本发明中，当成像区域之间物体图像位置的位移量为约0.5像素时，通过图像合成能够得到高分辨率图像。这里，“约0.5像素”是指大于或等于0.25像素且小于或等于0.75像素。将参照图14A到14C，对此进行描述。

图14A示出合成图像中在X轴方向的一条线上，在成像区域104b中形成物体图像的像素和在成像区域104a中形成物体图像的像素之间的位置关系，所述合成图像是在成像区域104b中的物体图像和成像区域104a中的物体图像在X轴方向上位移0.5像素并在Y轴方向上位移0像素的情况下，通过合成从成像区域104b得到的图像和从成像区域104a得到的图像所得到的。每个白色圆圈代表在成像区域104a中形成物体图像的像素201，以及每个阴影线圆圈代表在成像区域104b中形成物体图像的像素202。像素201在X轴方向上的间距和像素202在X轴方向上的间距均为p。像素201和像素202之间的距离为0.5p。同样，合成图像在X轴方向上的表观像素间距为0.5p，而且表观采样率加倍，从而在X轴方向上能够实现高分辨率。

接下来，图14B和14C示出合成图像中在X轴方向的一条线上，在成像区域104b中形成物体图像的像素202和在成像区域104a中形成物体图像的像素201之间的位置关系，所述合成图像是在成像区域104b中的物体图像和成像区域104a中的物体图像在X轴方向上位移α像素(0.5＜α＜1)并在Y轴方向上位移0像素的情况下，通过合成从成像区域104b得到的图像和从成像区域104a得到的图像所得到的。像素201在X轴方向上的间距和像素202在X轴方向上的间距均为p。像素201和像素202之间的较长距离为α·p，其间的较短距离为(1-α)·p。在这种情况下，考虑到较长像素间距表观为α·p，当像素间距为p的图像的采样频率为fs时，图14B和14C中图像的表观采样频率为fs/α。本发明人通过实验证实，为了使得采样频率为fs的图像具有肉眼能辨别的更高分辨率，优选地，将采样分辨率增加到4/3·fs或更高。因此，需要α＝0.75。也就是在图14B和14C中，像素201和像素202之间的较长距离需要为0.75p，并且其间较短距离需要为0.25p。

由于上述原因，为了获得更高分辨率的合成图像，优选地，成像区域之间物体图像位置的位移量在0.25像素到0.75像素的范围内，在本发明中称为“约0.5像素”。尽管上文给出了对在X轴方向上实现更高分辨率的描述，同样适用于Y轴方向。

在大规模生产本发明成像装置时，例如，可以通过对透镜102a到102d进行精确模制，或者精确确定透镜102a到102d和成像装置103的相对位置，实现成像区域104c上的物体图像相对于成像区域104a上的物体图像在Y轴方向上位移约0.5像素，以及成像区域104b上的物体图像相对于成像区域104a上的物体图像在X轴方向上位移约0.5像素。可选地，通过调整透镜102a到102d和成像装置103围绕与透镜光轴105a到105d平行的轴的相对旋转位置，也能够实现上述像素位移。

以编程语言、HDL(硬件描述语言)等描述图1中图像处理部分106的处理，并且在图15中示出其流程图。在数字信号输入步骤301中，输入来自图1中A/D转换器111的数字信号，在边缘方向检测步骤302中，执行与图1中边缘方向检测部分108相似的处理，在图像合成步骤303中，执行与图1中图像合成部分107相似的处理，在平滑滤波步骤304中，执行与图1中平滑滤波部分109相似的处理，在边缘增强步骤305中，执行与图1中边缘增强部分110相似的处理，以及在图像输出步骤306中，将所处理的图像输出到监视器、存储器等。处理流程图不局限于图15中所示的流程，任何包括相似处理的流程图都能够实现本发明的效果。

上文描述的实施例是本发明的示例性实施例，并非限定本发明的技术范围。

通过上述实施例，本发明能够解决上述两个问题，并具有如下有益效果。

第一，即使在物体和成像装置之间的距离变化预定固定值的情况下，或者在由于温度变化等引起多个透镜之间距离产生变化的情况下，像素位移量不会变化，从而不需使用传动装置器等进行物理调整，也总能够得到高分辨率图像，而与物体距离或温度变化无关。

第二，即使在由于透镜的形状误差或装配误差、物体距离、温度等，引起不同成像区域上物体图像之间的位移量偏离理想位移量即0.5像素的情况下，能够得到没有可察觉颜色偏差的高质量图像。

利用上述第一和第二有益效果，能够得到薄型成像装置，其总是能够捕获具有大量像素的高质量图像，而与透镜的形状误差或装配误差、物体距离、温度等无关。

本发明可以在其它具体形式中实施，而不偏离本发明精神或实质特征。在本申请中公开的实施例在所有方面都被认为是示例性的，而非限定性的，本发明保护范围由所附权利要求书限定，而非由前文描述限定，在与所附权利要求等价涵义和范围内得出的变化，都包括在本发明保护范围内。

工业实用性

尽管在没有具体限定的任何领域中都能够利用根据本发明的成像装置，其在例如移动设备、车辆、医学应用、监视应用和机器人等的应用中是有用的。

Claims

1、一种成像装置，包括：

排列在同一平面上的多个透镜；和

多个成像区域，用于分别接收由所述多个透镜形成的多个物体图像；

其中，所述多个成像区域中每一个的像素排列的垂直线方向和水平线方向在所述多个成像区域之间是彼此相等的，以及

将由所述多个成像区域中在所述垂直线方向上具有视差的至少一对成像区域所接收的至少一对物体图像，在所述水平线方向上相互位移一预定量。

2、一种成像装置，包括：

排列在同一平面上的多个透镜；和

将由所述多个成像区域中在所述水平线方向上具有视差的至少一对成像区域所接收的至少一对物体图像，在所述垂直线方向上相互位移一预定量。

3、如权利要求1或2所述的成像装置，其中，所述预定量的范围是所述多个成像区域中在位移所述预定量的方向上的像素间距的0.25到0.75倍。

4、如权利要求1或2所述的成像装置，其中，在所述多个透镜和所述多个成像区域之间设置多个滤色镜。

5、如权利要求4所述的成像装置，其中，所述多个滤色镜中的至少两个具有相同的光谱透射特性。

6、如权利要求1或2所述的成像装置，还包括图像处理部件，其用于处理从所述多个成像区域分别输出的多个图像数据；

其中，所述图像处理部件包括图像合成部件，其用于合成所述多个图像数据，以生成和输出分辨率高于所述多个图像数据的分辨率的合成图像，

所述图像合成部件包括边缘方向检测部件，其用于检测在所述多个图像数据的至少一个图像数据中包含的局部区域中的边缘方向，以及

所述图像合成部件基于由所述边缘方向检测部件确定的边缘方向，改变用于合成所述多个图像数据的方法。

7、如权利要求6所述的成像装置，其中，当所述边缘方向检测部件确定所述局部区域中的边缘方向与所述垂直线方向相同时，所述图像合成部件在所合成图像数据的所述局部区域中、在垂直方向上连续排列相同的像素信号值。

8、如权利要求6所述的成像装置，其中，当所述边缘方向检测部件确定所述局部区域中的边缘方向与所述垂直线方向相同时，所述图像合成部件在所述合成图像数据的局部区域中，在所述水平线方向上排列所述多个图像数据中在所述水平线方向上相互位移的至少两个图像数据的像素信号值，以及在所述垂直线方向上的两个邻近像素之间排列这两个像素的像素信号值的内插值。

9、如权利要求6所述的成像装置，其中，当所述边缘方向检测部件确定所述局部区域中的边缘方向与所述水平线方向相同时，所述图像合成部件在所述合成图像数据的所述局部区域中、在水平方向上连续排列相同的像素信号值。

10、如权利要求6所述的成像装置，其中，当所述边缘方向检测部件确定所述局部区域中的边缘方向与所述水平线方向相同时，所述图像合成部件在所述合成图像数据的局部区域中，在所述垂直线方向上排列所述多个图像数据中在所述垂直线方向上相互位移的至少两个图像数据的像素信号值，以及在所述水平线方向上的两个邻近像素之间排列这两个像素的像素信号值的内插值。

11、如权利要求6所述的成像装置，其中，当所述边缘方向检测部件确定所述局部区域中的边缘方向关于所述垂直线方向倾斜时，所述图像合成部件在所述合成图像数据的所述局部区域中、在所述边缘方向上连续排列相同的像素信号值。

12、如权利要求6所述的成像装置，其中，当所述边缘方向检测部件确定所述局部区域中的边缘方向关于所述垂直线方向倾斜时，所述图像合成部件在所述合成图像数据的所述局部区域中，排列所述多个图像数据中在所述水平线方向上或所述垂直线方向上相互位移的至少两个图像数据的像素信号值和在所述边缘方向上的两个邻近像素的像素信号值的内插值。

13、如权利要求6所述的成像装置，还包括图像处理部件，其用于处理从所述多个成像区域分别输出的多个图像数据；

其中，所述图像处理部件包括图像合成部件，其用于合成所述多个图像数据，以生成和输出分辨率高于所述多个图像数据的分辨率的合成图像，以及

所述图像合成部件根据所述多个成像区域的位移量，从所述多个图像数据中选择用于合成的多个图像数据。

14、如权利要求13所述的成像装置，其中，所述图像合成部件从所述多个图像数据中选择这样的图像数据，该图像数据的位移量最接近预定值。

15、如权利要求13所述的成像装置，其中，所述图像合成部件从所述多个图像数据中选择这样的图像数据，该图像数据的位移量在预定范围内。

16、如权利要求15所述的成像装置，其中，所述预定范围是所述多个成像区域中在位移所述预定量的方向上的像素间距的0.25到0.75倍的范围。

17、如权利要求1或2所述的成像装置，还包括图像处理部件，其用于处理从所述多个成像区域分别输出的多个图像数据；

其中，所述图像处理部件包括：

图像合成部件，用于合成所述多个图像数据，以生成和输出分辨率高于所述多个图像数据的分辨率的合成图像；

平滑滤波部件，用于输出通过基于每个像素的附近像素的像素信号值来平滑所述每个像素的像素信号值而获得的平滑图像数据，所述每个像素指所述合成图像数据中的或通过处理所述合成图像数据而获得的图像数据中的每个像素；以及

边缘增强滤波部件，用于输出通过基于每个像素的附近像素的像素信号值来对所述每个像素的像素信号值进行边缘增强而获得的边缘增强图像数据，所述每个像素指所述平滑图像数据中的或通过处理所述平滑图像数据而获得的图像数据中的每个像素。