CN101981938A

CN101981938A - 摄像装置和光轴控制方法

Info

Publication number: CN101981938A
Application number: CN2009801114276A
Authority: CN
Inventors: 田中诚一
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2008-04-02
Filing date: 2009-04-02
Publication date: 2011-02-23
Anticipated expiration: 2029-04-02
Also published as: JP5173536B2; CN101981938B; US20110025905A1; WO2009123278A1; JP2009253413A

Abstract

本发明的摄像装置，通过具备如下部件来生成高分辨率的彩色图像：多个绿色摄像部，其对绿色分量的图像进行摄像；红色摄像部，其对红色分量的图像进行摄像；蓝色摄像部，其对蓝色分量的图像进行摄像；高画质合成处理部，其以合成在多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到绿色摄像部的光的光轴并合成多个图像来得到高分辨率的绿色图像；和颜色合成处理部，其通过调整分别入射到红色摄像部和蓝色摄像部的光的光轴并合成绿色图像、红色图像、以及蓝色图像来得到彩色图像。

Description

摄像装置和光轴控制方法

技术领域

本发明涉及摄像装置和光轴控制方法。

本申请是基于2008年4月2日在日本申请的专利申请2008-95851号主张优先权，并在此处引用其内容。

背景技术

近年，高画质的数字静像摄像机和数字摄影机(以下称为数码摄像机)正在迅速普及。而且，与此同时数码摄像机的小型化、薄型化的开发也被推进，小型且高画质的数码摄像机开始被搭载于便携式电话等中。

数码摄像机所代表的摄像装置基本上由摄像元件和透镜光学系统构成。使用CMOS(Complementary Metal Oxide Semiconductor)传感器或CCD(Charge Coupled Device)传感器等电子器件作为摄像元件。这些摄像元件对成像于摄像面的光量分布进行光电变换并记录为摄影图像。作为透镜光学系统，为了消除象差，由多数枚非球面透镜构成。并且在具有变焦功能的情况下，需要改变多个透镜和摄像元件的间隔的驱动机构(执行元件)。

另一方面，响应摄像装置的高画质化、高功能化的要求，摄像元件向着多像素化、高精细化发展，成像光学系统向着低象差、高精度化发展。与此同时，存在摄像装置变大，小型化、薄型化变得困难的课题。针对这样的课题，提出了在透镜光学系统中采用复眼构造的技术，以及由多个摄像元件与透镜光学系统构成的摄像装置。

例如，提出了由配置为平面状的固体透镜阵列和液晶透镜阵列以及摄像元件构成的摄像透镜装置(例如，参照专利文献1)。该摄像透镜装置，如图24所示，由如下部分构成：透镜系统，其具有透镜阵列2001和相同数目的可变焦型的液晶透镜阵列2002；摄像元件2003，其对通过该透镜系统成像的光学像进行摄像；运算装置2004，其对由摄像元件2003得到的多个图像进行图像处理而重构全体的图像；和液晶驱动装置2005，其从运算装置2004检测聚焦信息并驱动液晶透镜阵列2002。通过该结构可以实现缩短了焦点距离的小型薄型的摄像透镜装置。

另外，还提出了对由摄像透镜、彩色滤波器、检测器阵列构成的4个子摄像机进行组合，具有子像素分辨率的薄型彩色摄像机(例如参照专利文献2)。该薄型彩色摄像机，如图25所示，由4个透镜22a～22d、彩色滤波器25、和检测器阵列24构成。彩色滤波器25由透过红色光(R)的滤波器25a、透过绿色光(G)的滤波器25b和25c、透过蓝色光(B)的滤波器25d构成，检测器阵列对红色、绿色、蓝色的图像进行摄影。根据该结构，可以从在人的视觉系统中具有高灵敏度的绿色的两个图像形成高分辨率的合成图像，并与红色和蓝色组合得到全彩色图像。

专利文献1：JP特开2006-251613号公报

专利文献2：JP特表2007-520166号公报

另外，在多眼摄像装置中生成全彩色图像的情况下，需要解决颜色偏差的问题。在专利文献2(图25)中公开的薄型彩色摄像机因为由4个子摄像机构成，并且彩色滤波器25成为拜耳排列，所以颜色偏差的问题较少，但在具备更多的子摄像机来高分辨率化的情况下，各色子摄像机的摄影位置偏离，因此会产生红、绿、蓝的图像间的偏差(视差)。例如，即使在产品组装时严密地进行了调整，但经过时间变化等光学透镜系统和摄像元件的相对位置也会变化，因此会发生该偏差。并且，存在如下问题：因为红、绿、蓝的图像间的偏差量根据到摄影对象为止的距离(摄影距离)而变化，所以很难用唯一的调整来对应。在可以拍摄高分辨率的细致图案的多眼摄像装置中，解决全彩色合成时的颜色偏差问题的必要性很大。

发明内容

本发明鉴于这种情况而作，目的在于提供一种即使在为了提高分辨率而具备多个摄像装置的情况下，也可以生成无颜色偏差的高精细的全彩色图像的摄像装置和光轴控制方法。

本发明的特征在于，具备：多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成；蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3摄像元件上的第3光学系统构成；高画质合成处理部，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理部，其以由所述高画质合成处理部得到的所述高分辨率的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述高分辨率的绿色图像和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

本发明的特征在于，所述第1、第2以及第3光学系统具备可以使折射率分布变化的非固体透镜，通过使所述非固体透镜的折射率分布变化，来进行入射到所述摄像元件的光的光轴的调整。

本发明的特征在于，所述非固体透镜为液晶透镜。

本发明的特征在于，所述高画质合成处理部进行合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的空间频率分析，对高空间频段分量的功率是否为预先决定的高分辨率判定阈值以上进行判定，并根据该判定结果进行光轴的调整。

本发明的特征在于，所述红色摄像部和所述蓝色摄像部以夹在所述多个绿色摄像部中的方式配置。

本发明的特征在于，将所述多个绿色摄像部、所述红色摄像部以及所述蓝色摄像部排列为一列。

本发明的特征在于，具备：多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成；蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3摄像元件上的第3光学系统构成；高画质合成处理部，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理部，其以由配置于所述红色摄像部和所述蓝色摄像部之间的所述绿色摄像部得到的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述绿色图像和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

本发明的特征在于，具备：多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；红色和蓝色摄像部，其由对红色分量的图像和蓝色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成；高画质合成处理部，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理部，其以由所述高画质合成处理部得到的所述高分辨率的绿色图像和由所述红色和蓝色摄像部拍摄的红色图像的相关值和蓝色图像的相关值分别都成为规定的相关值的方式，通过调整入射到所述红色和蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

本发明是一种摄像装置中的光轴控制方法，该摄像装置具备：多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成；和蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3摄像元件上的第3光学系统构成，该光轴控制方法的特征在于，具有：高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理步骤，其以由所述高画质合成处理步骤得到的所述高分辨率的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述高分辨率的绿色图像和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

本发明是一种摄像装置中的光轴控制方法，该摄像装置具备：多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成；和蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3摄像元件上的第3光学系统构成，该光轴控制方法的特征在于，具有：高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理步骤，其以由配置于所述红色摄像部和所述蓝色摄像部之间的所述绿色摄像部得到的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述绿色图像和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述高分辨率的绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

本发明是一种摄像装置中的光轴控制方法，该摄像装置具备：多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；和红色和蓝色摄像部，其由对红色分量的图像和蓝色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成，该光轴控制方法的特征在于，具有：高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和颜色合成处理步骤，其以由所述高画质合成处理步骤得到的所述高分辨率的绿色图像和由所述红色和蓝色摄像部拍摄的红色图像的相关值和蓝色图像的相关值分别都成为规定的相关值的方式，通过调整入射到所述红色和蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

发明效果

根据本发明可以得到如下效果：可以生成无颜色偏差的高精细的全彩色图像。

附图说明

图1是表示本发明的第1实施方式中的摄像装置的外观的立体图。

图2是表示图1所示的摄像装置的结构的模块图。

图3是表示图2所示的摄像装置的动作的流程图。

图4是表示图2所示的影像处理部13R的结构的模块图。

图5是表示图2所示的分辨率变换部14R的处理动作的说明图。

图6是表示图2所示的高分辨率合成处理部15的处理动作的说明图。

图7是表示图2所示的高分辨率合成处理部15的处理动作的说明图。

图8是表示图2所示的高分辨率合成处理部15的结构的模块图。

图9是表示图8所示的分辨率判定控制部52的结构的模块图。

图10A是表示图9所示的分辨率判定图像生成部92的处理动作的说明图。

图10B是表示图9所示的分辨率判定图像生成部92的处理动作的另一说明图。

图10C是表示图9所示的分辨率判定图像生成部92的处理动作的另一说明图。

图11A是表示图9所示的高频分量比较部95在内部所具有的移动标志(shift flag)的图。

图11B是表示图9所示的高频分量比较部95的动作的流程图。

图12是表示图2所示的颜色合成处理部17的结构的模块图。

图13A是表示图12所示的相关检测控制部71R、71B在内部所具有的移动标志的图。

图13B是表示图12所示的相关检测控制部71R、71B的动作的流程图。

图14是表示图2所示的摄像部10G2的结构的模块图。

图15是表示图14所示的液晶透镜900的结构的说明图。

图16A是表示图2所示的摄像部的配置实例的立体图。

图16B是表示图2所示的摄像部的另一个配置实例的立体图。

图16C是表示图2所示的摄像部的另一个配置实例的立体图。

图17是表示本发明的第2实施方式中的摄像装置的外观的立体图。

图18是表示图17所示的摄像装置的结构的模块图。

图19是表示图18所示的摄像装置的动作的流程图。

图20是表示图18所示的摄像部10G2的结构的模块图。

图21A是表示本发明的第3实施方式中的摄像装置的外观的立体图。

图21B是表示该实施方式中的摄像装置的另一外观的立体图。

图22是表示图21A、图21B所示的摄像装置的结构的模块图。

图23是表示图22所示的摄像装置的动作的流程图。

图24是表示以往的摄像装置的结构的模块图。

图25是表示另一以往的摄像装置的结构的模块图。

符号说明：

10G1、10G2、10G3、10G4…绿色摄像部、10R…红色摄像部、10B…蓝色摄像部、11…摄像透镜、12…摄像元件、13R、13B、13G1、13G2、13G3、13G4…影像处理部、14R、14B…分辨率变换部、15…高分辨率合成处理部、160、161…光轴控制部、17…颜色合成处理部。

具体实施方式

<第一实施方式>

以下，参照附图对本发明的第1实施方式的摄像装置进行说明。图1是表示本实施方式中的摄像装置的外观的图。如图1所示，本发明的摄像装置的摄像部是将如下6个系统的摄像部固定于基板10，即：具备透过绿色光的彩色滤波器的4个系统的绿色摄像部10G1、10G2、10G3、10G4；具备透过红色光的彩色滤波器的1个系统的红色摄像部10R；和具备透过蓝色光的彩色滤波器的1个系统的蓝色摄像部10B。

图2是表示图1所示的摄像装置的详细结构的模块图。各摄像部10G1、10G2、10G3、10G4、10R、10B各自具备摄像透镜11和摄像元件12。摄像透镜11将来自摄像对象的光成像于摄像元件12上，成像的图像由摄像元件12进行光电变换，并作为电信号的影像信号而输出。摄像元件12通过应用CMOS逻辑LS1制造工序可以大量生产，使用具有低耗电量的优点的CMOS摄像元件。虽不做特别限定，但本实施方式的CMOS摄像元件的规格为：像素尺寸5.6μm×5.6μm、像素间距6μm×6μm、有效像素数640(水平)×480(垂直)。在6个系统的摄像部10G1、10G2、10G3、10G4、10R、10B中拍摄的图像的影像信号分别输入到影像处理部13G1、13G2、13G3、13G4、13R、13B。6个系统的影像处理部13G1、13G2、13G3、13G4、13R、13B分别对输入的图像施加补正处理并输出。

2个系统的分辨率变换部14R、14B分别根据输入的图像的影像信号进行分辨率的变换。高分辨率合成处理部15输入4个系统的绿色图像的影像信号，并合成该4个系统的影像信号，输出高分辨率的图像的影像信号。颜色合成处理部17输入2个系统的分辨率变换部14R、14B所输出的红色、蓝色的影像信号，和高分辨率合成处理部15所输出的绿色的影像信号，并合成这些影像信号，输出高分辨率的彩色影像信号。光轴控制部160进行调整3个系统的摄像部10G2、10G3、10G4的入射光轴的控制，以对合成了4个系统的绿色图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。光轴控制部161进行调整2个系统的摄像部10R、10B的入射光轴的控制，以对合成了3个系统(红色、蓝色、绿色)的图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。

接着，参照图3，对图2所示的摄像装置的动作进行说明。图3是表示图2所示的摄像装置的动作的流程图。首先，6个系统的摄像部10G1、10G2、10G3、10G4、10R、10B分别对摄像对象进行摄像，并将得到的影像信号(VGA640×480像素)输出(步骤S1)。该6个系统的影像信号输入到6个系统的影像处理部13G1、13G2、13G3、13G4、13R、13B。6个系统的影像处理部13G1、13G2、13G3、13G4、13R、13B分别对输入的影像信号施加影像补正处理即变形补正处理并输出(步骤S2)。

接着，2个系统的分辨率变换部14R、14B分别施加用于对输入的变形补正后的影像信号(VGA640×480像素)的分辨率进行变换的处理(步骤S3)。通过该处理，2个系统的影像信号被变换为Quad-VGA1280×960像素的影像信号。另一方面，高分辨率合成处理部15施加用于合成输入的4个系统的变形补正后的影像信号(VGA640×480像素)并进行高分辨率化的处理(步骤S4)。通过该合成处理，4个系统的影像信号被合成为Quad-VGA1280×960像素的影像信号并输出。此时，高分辨率合成处理部15对光轴控制部160输出控制信号，以进行调整3个系统的摄像部10G2、10G3、10G4的入射光轴的控制，来对合成了4个系统的绿色图像的影像信号的结果影像信号进行解析，并根据该解析结果得到高分辨率的影像信号。

接着，颜色合成处理部17输入3个系统(红色、蓝色、绿色)的影像信号(Quad-VGA1280×960像素)，并合成该3个系统的影像信号，输出RGB彩色的影像信号(Quad-VGA1280×960像素)(步骤S5)。此时，颜色合成处理部17向光轴控制部161输出控制信号，以进行调整2个系统的摄像部10R、10B的入射光轴的控制，来对合成了3个系统(红色、蓝色、绿色)的图像的影像信号的结果影像信号进行解析，并根据该解析结果得到高分辨率的影像信号。然后，颜色合成处理部17对是否得到了希望的RGB彩色影像信号进行判定，并反复处理直到得到希望的RGB彩色影像信号(步骤S6)，在得到了希望的RGB彩色影像信号的时点处理结束。

接着，参照图4，对图2所示的影像处理部13R的详细结构进行说明。因为图2所示的6个系统的影像处理部13G1、13G2、13G3、13G4、13R、13B具备同样的结构，所以在此对影像处理部13R的详细结构进行说明，而省略5个影像处理部13G1、13G2、13G3、13G4、13B的详细结构的说明。影像处理部13R由以下部分构成：影像输入处理部301，其输入影像信号；变形补正处理部302，其对输入的影像信号施加变形补正处理；和校正参数存储部303，其预先存储用于进行变形补正的校正参数。从摄像部10R输出的影像信号输入到影像输入处理部301，并施加例如拐点(knee)处理、伽马(gamma)处理、白平衡处理等。

接下来，变形补正处理部302根据保存在校正参数存储部303的校正参数，对影像输入处理部301所输出的影像信号施加图像变形的补正处理。存储于校正参数存储部303的校正参数被称为针孔摄像机模型的内部参数，其由图像中心位置信息、由像素尺寸和光学透镜的焦距的积得到的比例系数、和图像的坐标轴的变形信息构成。通过按照该校正参数进行几何学的补正处理，来补正例如摄像透镜的歪曲象差等变形。另外，校正参数可以在工厂发货时进行测定并预先保存于校正参数存储部303，也可以对图案形状为已知的方格花纹的西洋跳棋图案一边改变姿势和角度一边进行数次摄像，从其拍摄图像来算出。由该6个系统的影像处理部13G1、13G2、13G3、13G4、13R、13B分别对各摄像部10G1、10G2、10G3、10G4、10R、10B进行固有的影像变形的补正。

接着，参照图5，对图2所示的分辨率变换部14R的详细动作进行说明。因为图2所示的分辨率变换部14R、14B为同样的处理动作，所以在此对分辨率变换部14R的动作进行说明，而省略分辨率变换部14B的动作的说明。分辨率变换部14R将输入的红色影像信号从VGA图像的分辨率变换为Quad-VGA图像的分辨率。从VGA图像(640×480像素)向Quad-VGA图像(1280×960像素)变换的处理可以使用公知的处理方法。例如可以使用如图5的(A)所示的单纯地将原来的1个像素复制为4个像素的近邻取样法(Nearest Neighbor)、或如图5(B)所示的用线性插值从周围的4个像素生成四周的像素的双线性(bi-linear)法、或使用三元函数从未作图示的周围的16个像素进行插值的双三次(bi-cubic)法(未作图示)等。由该分辨率变换部14R，被施加了变形补正后的红色影像信号从VGA图像的分辨率变换为Quad-VGA图像的分辨率。同样地，由分辨率变换部14B，被施加了变形补正后的蓝色影信号从VGA图像的分辨率变换为Quad-VGA图像的分辨率。

接着，参照图6、图7，对图2所示的高分辨率合成处理部15的处理动作进行说明。高分辨率合成处理部15进行将由摄像部10G1、10G2、10G3、10G4拍摄的4个系统的影像信号合成为一个高分辨率图像的处理。对于该合成方法，使用图6、图7所示的示意图进行说明。在图6中，横轴表示空间的范围(大小)，纵轴表示光的强度。为了说明的简单化，在此对由两个摄像部10G1、10G2拍摄的两个图像的高分辨率合成处理进行说明。图6中的箭头40b和40c分别为摄像部10G1和摄像部10G2的像素，假设相对位置关系只偏离了偏移量40d。因为摄像元件12是以像素为单位对光强度进行积分的，所以对曲线图G1所示的(a)拍照对象的轮廓若用摄像元件10G1进行摄像则可以得到曲线图G2所示的光强度分布的影像信号、若用摄像元件10G2进行摄像则可以得到曲线图G3所示的光强度分布的影像信号。通过合成这两个影像可以再现曲线图G4所示的接近于实际轮廓的高分辨率的图像。

在图6中说明了两个图像的高分辨率合成处理，参照图7对使用由图2所示的4个摄像部10G1、10G2、10G3、10G4得到的VGA(640×480像素)图像进行高分辨率合成处理的动作进行说明。高分辨率合成处理部15为了将其变换为VGA(640×480像素)的4倍的像素数的Quad-VGA的像素(1280×960像素)，对相邻的4个像素分配由不同的摄像部拍摄的像素并进行合成。像这样，通过使用4个可以得到VGA(640×480像素)图像的摄像元件，可以得到高分辨率的图像。例如，将由摄像部10G1拍摄的图像的像素G15、由摄像部10G2、10G3、10G4分别拍摄的对应的像素G25、G35、G45这4个像素作为高分辨率合成处理后的相邻的周围的图像。

该高分辨率合成处理的效果很大程度地依赖于图6所示的偏移量40d。如图6的示意图所示，将偏移量40d设定为1/2像素尺寸较为理想。然而，由于摄像距离的变化、装配精度、长年劣化产生的松散等，总是维持1/2像素尺寸的偏移量是很困难的。因此，在本发明中，通过将合成的高分辨率影像的分辨率与规定的阈值比较，并根据其结果移动各摄像部的光轴，来维持理想的偏移。

接着，参照图8，对高分辨率合成处理部15进行的光轴移动控制进行说明。图8是表示图2所示的高分辨率合成处理部15的详细结构的模块图。

影像合成处理部15由以下部分构成：合成处理部51，其将在摄像部10G1、10G2、10G3、10G4中拍摄的4个影像信号合成为1个高精细图像(图7的处理动作)，并输出到颜色合成处理部17；和分辨率判定控制部52，其将用于对摄像部10G2、10G3、10G4的光轴进行移动控制的控制信号输出到光轴控制部160，使得从合成处理部51输出的合成图像成为良好的分辨率。

接着，参照图9，对图8所示的分辨率判定控制部52的详细结构进行说明。如图9所示，分辨率判定控制部52具备用于3个摄像部10G2、10G3、10G4的3个分辨率比较控制部912、913、914。各个分辨率比较控制部912、913、914分别由以下部分构成：分辨率判定图像生成部92，其生成用于从输入的两个图像判定分辨率的图像；FFT(Fast Fourier Transform：高速傅里叶变换)部93，其用FFT处理将生成的分辨率判定图像变换为空间频率分量；HPF部94(High Pass Filter：高通滤波器)，其从变换后的空间频率分量检测高空间频段的功率(电力值)；和高频分量比较部95，其将检测出的高空间频段分量的功率与阈值相比较，控制光轴移动方向以成为最佳分辨率。

由3个分辨率判定图像生成部92所生成的图像在图10A、图10B、图10C中表示。分辨率判定图像是以使用了在图7的高分辨率合成处理中的合成方法的配置，将成为基本图像的由摄像部10G1拍摄的图像，和由各摄像部10G2、10G3、10G4分别拍摄的图像组合生成的。然后，通过由FFT部93和HPF部94检测生成的各自的分辨率判定图像的高空间频段分量的功率，并根据此检测结果将用于对摄像部10G2、10G3、10G4的各自的光轴进行移动控制的控制信号输出到光轴控制部160，来控制各摄像部的摄像图像维持理想的偏移。

在此，参照图11B对高频分量比较部95进行的光轴移动控制的处理动作进行说明。在高频分量比较部95内部具有表示图11A所示的移动方向的移动标志。即，在从当前时点的位置向上方移动的情况下将移动标志设为0，在向下方移动的情况下将移动标志设为3，在向左方移动的情况下将移动标志设为1，在向右方移动的情况下将移动标志设为2。

首先，高频分量比较部95将移动标志初期化为0(步骤S1100)。接下来，在图像被输入或被更新时生成图10A、图10B、图10C所示的分辨率判定图像，并检测高空间频段分量的功率(步骤S1101)。然后，判定高空间频段分量的功率是否为规定的阈值以上，即是否为高分辨率(步骤S1103)，在为高分辨率的情况下不进行光轴移动，而是将移动标志初期化(步骤S1110)，并反复处理。

另一方面，在高空间频段分量的功率比阈值小，为低分辨率的情况下，将光轴向移动标志的方向移动规定量(步骤S1104～S1107、步骤S1111～S1114)，并对移动标志+1，即加上1(步骤S1109)。在由于移动0～3的任意光轴移动而高空间频段分量的功率成为阈值以上的情况下，以该光轴移动的状态将移动标志初期化并反复循环，而在即使0～3的光轴移动也为阈值以下的情况下，向在0～3的光轴移动中分辨率最高的方向进行规定量的移动(步骤S1108)，接着将移动标志初期化(步骤S1115)，并反复处理直到判定为控制结束为止(步骤S1102)。通过以上的处理，用于进行光轴移动的控制的控制信号被输出到光轴控制部160，以使合成图像成为阈值以上的分辨率，或者成为最高分辨率。

另外，阈值判定(步骤S1103)可以使用固定的阈值，但也可以例如与过去的判定结果联动等，相应地变更阈值。

接着，参照图12，对图2所示的颜色合成处理部17的详细结构和处理动作进行说明。颜色合成处理部17合成由2个系统的分辨率变换部14R、14B扩大为Quad-VGA的分辨率的红色影像信号和蓝色影像信号，和由高分辨率合成处理部15高分辨率合成处理为Quad-VGA的绿色影像信号，并输出全彩色的Quad-VGA图像。颜色合成处理部17具备两个相关检测控制部71R、71B，其算出输入的两个图像的相关值，并进行控制以使得两个图像成为较高的相关值。因为在同一时刻对同一拍照对象进行摄像，所以输入的红色影像信号和蓝色影像信号和绿色影像信号具有很大的相关关系。通过监视该相关关系来补正红、绿、蓝的图像的相对的偏差。在此以高分辨率处理合成后的绿色图像的影像信号为基准，补正红色图像和蓝色图像的位置。

对图像的相关值计算方法的具体实例进行说明。假设绿色图像的函数为G(x，y)，红色图像的函数为R(x，y)，对这些函数进行傅里叶变换，得到函数G(ξ，η)、函数R(ξ，η)。根据该函数，绿色图像和红色图像的相关值Cor表示为以下式子。

Cor = \frac{R (ξ, η)}{| R (ξ, η) |} \cdot \frac{G * (ξ, η)}{| G (ξ, η) |}

其中，*表示共轭关系

该相关值Cor取0～1.0的值，越接近1.0相关关系越强，若接近0则相关关系较弱。通过控制该相关值Cor使其为规定的值，例如成为0.9以上，对红色图像和绿色图像的相对位置偏差进行补正。

在此，参照图13B，对相关检测控制部71R进行的补正红色图像和绿色图像的相对位置偏差的控制处理动作进行说明。在相关检测控制部71R内部，具有表示图13所示的移动方向的移动标志。即，在从当前时点的位置向上方移动的情况下将移动标志设为0，在向下方移动的情况下将移动标志设为3，在向左方移动的情况下将移动标志设为1，在向右方移动的情况下将移动标志设为2。

首先，相关检测控制部71R对移动标志进行初期化(步骤S1300)。

接下来，在图像被输入或被更新时计算相关值Cor(步骤S1301)。对相关值Cor是否具有规定的阈值以上的高相关进行判定(步骤S1303)，在相关值Cor具有规定的阈值以上的高相关的情况下不进行光轴移动，而是将移动标志初期化并反复循环(步骤S1310)。

另一方面，在为阈值以下的低相关的情况下，将光轴向移动标志的方向移动规定量(步骤S1103～S1107、S1311～S1314)，并对移动标志+1(步骤S1309)，反复处理。在由于移动0～3的任意光轴移动而成为阈值以上的情况下，以该光轴移动的状态将移动标志初期化并反复循环，而在即使0～3的光轴移动也为阈值以下的情况下，向在0～3的光轴移动中分辨率最高的方向移动规定量(步骤S1308)，并将移动标志初期化(步骤S1315)。通过以上的处理，红色图像、绿色图像、蓝色图像的相关值成为阈值以上，即将用于进行偏差量成为最小的光轴移动控制的控制信号输出到光轴控制部161。另外，对于图12所示的相关检测控制部71B的动作也与图13A、图13B所示的动作相同。

这样，将偏差补正后的红色图像、绿色图像、蓝色图像输出到颜色补正变换部72，由颜色补正变换部72变换为1幅全彩色图像并输出。变换为全彩色图像的变换方法可以使用公知的手法。例如，可以将输入的红色图像、绿色图像、蓝色图像的各8位数据组合到3个层上，并变换为可以在显示器上显示的RGB24位(3×8位)的彩色数据。为了在该颜色补正变换处理中提高演色性，也可以施加例如使用了3×3的颜色变换矩阵或LUT(Look Up Table)的颜色补正处理。

如图9、图12所示，将来自3个高频分量比较部95和两个相关检测部71R、71B的输出分别输出到为5个摄像部10G2、10G3、10G4、10R、10B分别准备的光轴驱动部16G2、16G3、16G4、16R、16B，并控制构成各摄像部10G2、10G3、10G4、10R、10B的摄像透镜11的液晶透镜的光轴的移动量。在此，参照图14和图15，利用具体实例对该光轴移动动作进行说明。如图14所示，摄像透镜11由液晶透镜900和光学透镜902构成，在液晶透镜900中由构成光轴驱动部(若用于摄像部10G2则相当于光轴驱动部16G2)的4个电压控制部903a、903b、903c、903d施加4个系统的电压，控制光轴移动。液晶透镜900如图15的剖面图所示，从上侧(摄像物体侧)开始，由玻璃层1000、第1透明电极层1003、绝缘层1007、第2电极层1004、绝缘层1007、液晶层1006、第3透明电极层1005、玻璃层1000构成。第2电极1004具有圆形的孔1004E，并且具备可以从电压控制部903a、903b、903c、903d分别施加电压的4个电极1004a、1004b、1004c、1004d。

通过在第1透明电极1003和第3透明电极1005之间施加规定的交流电压1010，在第2电极1004和第3透明电极1005之间施加规定的交流电压1011，从而以第2电极1004的圆形的孔1004E的中心为轴形成对称的电场梯度。该电场梯度使液晶层1006的液晶分子定向，并使液晶层1006的折射率分布从孔1004E的中心向四周变化，从而液晶层1006起到了透镜的作用。在第2电极1004的电极1004a、1004b、1004c、1004d的电压相同的情况下，液晶层1006形成中心轴对称的球面透镜，但若施加不同电压进行控制，则折射率分布发生变化，形成光轴偏离的透镜。其结果，可以使入射到摄像透镜11的光轴移动。

例如，对光轴控制部16G2所进行的光轴控制的一个实例进行记述，从以在电极1003和电极1005之间施加了20Vrms的交流电压，在电极1004a、1004b、1004c、1004d上施加了相同的70Vrms的交流电压的孔1004E的中心为轴的凸透镜的状态，通过将电极1004b和1004d的施加电压变更为71Vrms，可以使光轴从孔1004E的中心移动作为1/2像素尺寸的3μm。

另外，在上述说明中，对使用液晶透镜作为光轴移动手段的实例进行了说明，但也可以使用液晶透镜以外的手段。例如，可以用如下方法实现：用执行元件使光学透镜902的全体或一部分移动，用执行元件使摄像元件12移动，具备折射板或可变顶角棱镜并用执行元件进行控制。

如同以上说明，可以实现如下的多眼彩色摄像装置：为了提高分辨率而具备6个系统的摄像部10G1、10G2、10G3、10G4、10R、10B，通过高分辨率合成处理部15和颜色合成处理部17进行光轴移动控制使得各摄像部的拍摄图像成为合适的位置关系。

另外，图2所示的6个系统的摄像部10G1、10G2、10G3、10G4、10R、10B并不限定于图1的配置，可以进行多种变形，图16A、图16B、图16C表示了几个实例。图16A将红色摄像部10R和蓝色摄像部10B配置于装置中心部。根据图16A所示的配置，绿色摄像部10G1、10G2、10G3、10G4与红色摄像部10R和蓝色摄像部10B的位置关系较近，因此可以使颜色偏差变少，并减轻颜色合成处理部17的处理负担。另外，图16B将红色摄像部10R和蓝色摄像部10B倾斜配置。在该配置中，通过以构成拜耳配置的绿色摄像部10G1、10G2和红色摄像部10R和蓝色摄像部10B为基准进行光轴移动控制，可以提高颜色偏差的削减效果。另外，也可以像图16C那样，省略图16B的两端绿色摄像部10G3、10G4，而由4个摄像部10G1、10G2、10R、10B构成摄像装置。

<第二实施方式>

接着，参照附图对本发明的第2实施方式的摄像装置进行说明。图17是表示该实施方式中的摄像装置的外观的图。如图17所示，第2实施方式中的摄像装置与第1实施方式不同，将3个绿色摄像部10G1、10G2、10G3和红色摄像部10R和蓝色摄像部10B配置为一列，因此细长的形状设计成为可能。参照图18对第2实施方式中的摄像装置的结构进行说明。

图18所示的摄像装置与图2所示的摄像装置的不同点在于，绿色摄像部变为3个这一点，和在分辨率变换部14R、14B和高分辨率合成处理部15的前段进行补正颜色偏差的相关检测控制这一点。如图17所示，绿色摄像部10G1为3个绿色摄像部的中心，并且配置于红、绿、蓝的摄像部的中心，因此即使在进行分辨率变换部14和高分辨率合成处理部15的处理之前进行颜色补正也没有问题。另外，因为是以低分辨率计算相关值，所以与第1实施方式相比可以减轻处理量。

参照图18对第2实施方式中的摄像装置的结构进行说明。各摄像部10G1、10G2、10G3、10R、10B分别具备摄像透镜11和摄像元件12，摄像透镜11将来自摄像对象的光成像于摄像元件12上，成像的图像由摄像元件12进行光电变换，并输出为影像信号。摄像元件12使用低耗电量的CMOS摄像元件。虽不做特别限定，但本实施方式的CMOS摄像元件的规格为：像素尺寸5.6μm×5.6μm、像素间距6μm×6μm、有效像素数640(水平)×480(垂直)。在5个系统的摄像部10G1、10G2、10G3、10R、10B中拍摄的图像的影像信号分别输入到影像处理部13G1、13G2、13G3、13R、13B。5个系统的影像处理部13G1、13G2、13G3、13R、13B分别对输入的图像施加补正处理并输出。

2个系统的分辨率变换部14R、14B分别根据输入的图像的影像信号进行分辨率的变换。高分辨率合成处理部15输入3个系统的绿色的图像的影像信号，并合成该3个系统的影像信号，输出高分辨率的图像的影像信号。颜色合成处理部17输入2个系统的分辨率变换部14R、14B所输出的红色、蓝色的影像信号，和高分辨率合成处理部15所输出的绿色的影像信号，并合成这些影像信号，输出高分辨率的彩色影像信号。光轴控制部162进行调整2个系统的摄像部10G2、10G3的入射光轴的控制，以对合成了2个系统的绿色图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。

相关检测控制部71输入影像处理部13R、影像处理部13B以及影像处理部13G1所输出的红色影像信号、蓝色影像信号、和绿色影像信号，计算输入的3个图像的相关值，并进行控制以使得3个图像成为高相关值。因为对同一拍照对象在同一时刻进行摄像，所以输入的红色影像信号、蓝色影像信号、和绿色影像信号具有高相关关系。通过监视该相关关系来补正红、绿、蓝的图像的相对偏差。在此以绿色图像的影像信号为基准，来补正红色图像和蓝色图像的位置。光轴控制部163进行调整2个系统的摄像部10R、10B的入射光轴的控制，以对合成了3个系统(红色、蓝色、绿色)的图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。

接着，参照图19，对图18所示的摄像装置的动作进行说明。图19是表示图18所示的摄像装置的动作的流程图。首先，5个系统的摄像部10G1、10G2、10G3、10R、10B分别对摄像对象进行摄像，并将得到的影像信号(VGA640×480像素)输出(步骤S11)。该5个系统的影像信号输入到5个系统的影像处理部13G1、13G2、13G3、13R、13B。5个系统的影像处理部13G1、13G2、13G3、13R、13B分别对输入的影像信号施加影像处理即变形补正处理并输出(步骤S12)。

接着，相关检测控制部71输入影像处理部13R、影像处理部13B以及影像处理部13G1所输出的红色影像信号、蓝色影像信号、和绿色影像信号，计算输入的3个图像的相关值，并对光轴控制部163输出控制信号以进行控制使得3个图像成为高相关值(步骤S13)。由此，进行调整两个系统的摄像部10R、10B的入射光轴的控制。

接着，2个系统的分辨率变换部14R、14B分别施加用于对输入的变形补正后的影像信号(VGA640×480像素)的分辨率进行变换的处理(步骤S14)。通过该处理，2个系统的影像信号被变换为Quad-VGA1280×960像素的影像信号。另一方面，高分辨率合成处理部15施加用于合成输入的3个系统的变形补正后的影像信号(VGA640×480像素)并进行高分辨率化的处理(步骤S15)。该合成处理与第1实施方式中使用的处理相同。通过该合成处理，3个系统的影像信号被合成为Quad-VGA1280×960像素的影像信号并输出。此时，高分辨率合成处理部15对光轴控制部162输出控制信号，以进行调整2个系统的摄像部10G2、10G3的入射光轴的控制，来对合成了3个系统的绿色图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。

接着，颜色合成处理部17输入3个系统(红色、蓝色、绿色)的影像信号(Quad-VGA1280×960像素)，并合成该3个系统的影像信号，输出RGB彩色的影像信号(Quad-VGA1280×960像素)(步骤S16)。然后，相关检测控制部71对是否得到了希望的相关值的信号进行判定，反复处理直到得到希望的相关值(步骤S17)，并在得到了希望的相关值的时点处理结束。

接着，参照图20，使用具体实例对第2实施方式中的光轴移动动作进行说明。第2实施方式中的光轴移动动作与第1实施方式不同的点在于，液晶透镜901具备两个电极，并由电压控制部903a、903b施加2个系统的电压这一点。如图20所示，摄像透镜11由液晶透镜901和光学透镜902构成，在液晶透镜901上由构成光轴驱动部16G2的两个电压控制部903a、903b施加两个系统的电压，并控制光轴移动。

液晶透镜901具有与图15的剖面图所示的结构相同的结构。但是，具有圆形的孔1004E的第2电极1004被分为上下两份，具备可以分别从电压控制部903a、903b分别施加电压的两个电极。根据如图17所示那样将5个系统的摄像部排列为一列的结构，垂直方向的偏差变小，仅通过进行仅在水平方向的光轴控制，就可以进行基于光轴移动的光轴调整。

<第3实施方式>

接着，参照附图对本发明的第3实施方式的摄像装置进行说明。图21A、图21B是表示本实施方式中的摄像装置的外观的图。如图21A、图21B所示，第3实施方式中的摄像装置与第1、第2实施方式不同，具备将红色摄像部10R和蓝色摄像部10B汇总为一个的红蓝摄像部10B/R。红蓝摄像部10B/R在摄像元件的表面将与像素尺寸的大小相同的红和蓝的彩色滤波器以方格图案进行配置，可以对红色图像和蓝色图像两者进行摄像。通过使用该红蓝摄像部10B/R，在尺寸变小的同时，因为颜色合成处理部17的光轴移动控制为1个系统，所以处理量也被减轻。

参照图22对第3实施方式中的摄像装置的结构进行说明。各摄像部10G1、10G2、10G3、10G4、10B/R分别具备摄像透镜11和摄像元件12，摄像透镜11将来自摄像对象的光成像于摄像元件12上，成像的图像由摄像元件12进行光电变换，并输出为影像信号。摄像元件12使用低耗电量的CMOS摄像元件。虽不做特别限定，但本实施方式的CMOS摄像元件的规格为：像素尺寸5.6μm×5.6μm、像素间距6μm×6μm、有效像素数640(水平)×480(垂直)。在5个系统的摄像部10G1、10G2、10G3、10G4、10B/R中摄像的图像的影像信号分别输入到影像处理部13G1、13G2、13G3、13G4、13B/R。5个系统的影像处理部13G1、13G2、13G3、13G4、13B/R分别对输入的图像施加补正处理并输出。

分辨率变换部14B/R根据输入的图像的影像信号进行分辨率的变换。高分辨率合成处理部15输入4个系统的绿色的图像的影像信号，并合成该4个系统的影像信号，输出高分辨率的图像的影像信号。颜色合成处理部17输入分辨率变换部14B/R所输出的红色、蓝色的影像信号，和高分辨率合成处理部15所输出的绿色的影像信号，并合成这些影像信号，输出高分辨率的彩色影像信号。光轴控制部160进行调整3个系统的摄像部10G2、10G3、10G4的入射光轴的控制，以对合成了4个系统的绿色图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。光轴控制部164进行调整摄像部10B/R的入射光轴的控制，以对合成了3个系统(红色、蓝色、绿色)的图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。

接着，参照图23，对图22所示的摄像装置的动作进行说明。图23是表示图22所示的摄像装置的动作的流程图。首先，5个系统的摄像部10G1、10G2、10G3、10G4、10B/R分别对摄像对象进行摄像，并将得到的影像信号(VGA640×480像素)输出(步骤S21)。该5个系统的影像信号输入到5个系统的影像处理部13G1、13G2、13G3、13G4、13B/R。5个系统的影像处理部13G1、13G2、13G3、13G4、13B/R分别对输入的影像信号施加变形补正处理并输出(步骤S22)。

接着，分辨率变换部14B/R施加用于对输入的变形补正后的影像信号(VGA640×480像素)的分辨率进行变换的处理(步骤S23)。通过该处理，红色和蓝色的影像信号被变换为Quad-VGA1280×960像素的影像信号。另一方面，高分辨率合成处理部15施加用于合成输入的4个系统的变形补正后的影像信号(VGA640×480像素)并进行高分辨率化的处理(步骤S24)。通过该合成处理，4个系统的影像信号被合成为Quad-VGA1280×960像素的影像信号并输出。此时，高分辨率合成处理部15对光轴控制部160输出控制信号，以进行调整3个系统的摄像部10G2、10G3、10G4的入射光轴的控制，来对合成了4个系统的绿色图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。

接着，颜色合成处理部17输入3个系统(红色、蓝色、绿色)的影像信号(Quad-VGA1280×960像素)，并合成该3个系统的影像信号，输出RGB彩色的影像信号(Quad-VGA1280×960像素)(步骤S25)。此时，颜色合成处理部17并对光轴控制部164输出控制信号，以进行调整摄像部10B/R的入射光轴的控制，来对合成了3个系统(红色、蓝色、绿色)的图像的影像信号的结果影像信号进行解析，根据该解析结果得到高分辨率的影像信号。

然后，颜色合成处理部17对是否得到了希望的RGB彩色影像信号进行判定，反复处理直到得到希望的RGB彩色影像信号(步骤S26)，并在得到了希望的RGB彩色影像信号的时点处理结束。

如同以上说明，由于调整光轴来取得高分辨率的绿色图像，来合成在多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率，并调整光轴来合成绿色图像、红色图像以及蓝色图像，使得该高分辨率的绿色图像和由红色摄像部拍摄的红色图像的相关值，以及绿色图像和由蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值，因此可以生成无颜色偏差的高精细的全彩色图像。

Claims

1.一种摄像装置，其特征在于，具备：

多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；

红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成；

蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3摄像元件上的第3光学系统构成；

高画质合成处理部，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和

颜色合成处理部，其以由所述高画质合成处理部得到的所述高分辨率的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述高分辨率的绿色图像和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

2.根据权利要求1所述的摄像装置，其特征在于，

所述第1、第2以及第3光学系统具备能够使折射率分布变化的非固体透镜，通过使所述非固体透镜的折射率分布变化，来进行入射到所述摄像元件的光的光轴的调整。

3.根据权利要求2所述的摄像装置，其特征在于，

所述非固体透镜为液晶透镜。

4.根据权利要求1所述的摄像装置，其特征在于，

所述高画质合成处理部进行合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的空间频率分析，对高空间频段分量的功率是否为预先决定的高分辨率判定阈值以上进行判定，并根据该判定结果进行光轴的调整。

5.根据权利要求1所述的摄像装置，其特征在于，

所述红色摄像部和所述蓝色摄像部以夹在所述多个绿色摄像部中的方式配置。

6.根据权利要求1所述的摄像装置，其特征在于，

将所述多个绿色摄像部、所述红色摄像部以及所述蓝色摄像部排列为一列。

7.一种摄像装置，其特征在于，具备：

颜色合成处理部，其以由配置于所述红色摄像部和所述蓝色摄像部之间的所述绿色摄像部得到的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述绿色图像和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

8.一种摄像装置，其特征在于，具备：

红色和蓝色摄像部，其由对红色分量的图像和蓝色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成；

颜色合成处理部，其以由所述高画质合成处理部得到的所述高分辨率的绿色图像和由所述红色和蓝色摄像部拍摄的红色图像的相关值及蓝色图像的相关值分别都成为规定的相关值的方式，通过调整入射到所述红色和蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

9.一种摄像装置中的光轴控制方法，该摄像装置具备：

红色摄像部，其由对红色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成；和

蓝色摄像部，其由对蓝色分量的图像进行摄像的第3摄像元件和使像成像于所述第3摄像元件上的第3光学系统构成，

该光轴控制方法的特征在于，具有：

高画质合成处理步骤，其以合成在所述多个绿色摄像部中拍摄的多个图像而得到的绿色图像的分辨率成为规定的分辨率的方式，通过调整入射到所述绿色摄像部的光的光轴并合成所述多个图像来得到高分辨率的绿色图像；和

颜色合成处理步骤，其以由所述高画质合成处理步骤得到的所述高分辨率的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述高分辨率的绿色图像和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

10.一种摄像装置中的光轴控制方法，该摄像装置具备：

该光轴控制方法的特征在于，具有：

颜色合成处理步骤，其以由配置于所述红色摄像部和所述蓝色摄像部之间的所述绿色摄像部得到的绿色图像和由所述红色摄像部拍摄的红色图像的相关值、以及所述绿色图像和由所述蓝色摄像部拍摄的蓝色图像的相关值分别都成为规定的相关值的方式，通过调整分别入射到所述红色摄像部和所述蓝色摄像部的光的光轴并合成所述高分辨率的绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。

11.一种摄像装置中的光轴控制方法，该摄像装置具备：

多个绿色摄像部，各绿色摄像部由对绿色分量的图像进行摄像的第1摄像元件和使像成像于所述第1摄像元件上的第1光学系统构成；和

红色和蓝色摄像部，其由对红色分量的图像和蓝色分量的图像进行摄像的第2摄像元件和使像成像于所述第2摄像元件上的第2光学系统构成，

该光轴控制方法的特征在于，具有：

颜色合成处理步骤，其以由所述高画质合成处理步骤得到的所述高分辨率的绿色图像和由所述红色和蓝色摄像部拍摄的红色图像的相关值及蓝色图像的相关值分别都成为规定的相关值的方式，通过调整入射到所述红色和蓝色摄像部的光的光轴并合成所述绿色图像、所述红色图像和所述蓝色图像来得到彩色图像。