CN101911671B

CN101911671B - 摄像装置和光轴控制方法

Info

Publication number: CN101911671B
Application number: CN2009801018029A
Authority: CN
Inventors: 伊藤宽; 北川真; 紫村智哉; 有田真一; 井上理; 片龟博和; 斋藤荣; 佐藤俊一
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2008-01-10
Filing date: 2009-01-09
Publication date: 2013-11-13
Anticipated expiration: 2029-01-09
Also published as: US8619183B2; JP2009205183A; JP2009188973A; US20100289941A1; JP4413261B2; CN101911671A

Abstract

一种用于进行光学系统和摄像元件的相对位置的调整的摄像装置，具有多个摄像元件；使像成像于各个摄像元件上的多个固体透镜；对于分别入射到摄像元件的光的光轴的方向进行控制的多个光轴控制部。

Description

摄像装置和光轴控制方法

技术领域

本发明涉及摄像装置和光轴控制方法。

本案基于2008年1月10日在日本所申请的专利申请2008-003075号，和2008年7月10日在日本所申请的专利申请2008-180689号主张优先权，在此援引其内容。

背景技术

近年来，高画质的数字静态照相机和数字视频摄录机(以下称数字摄像机)急速普及。另外，并行发展的还有数字摄像机的小型化、薄型化的开发，在移动电话终端等上搭载小型而高画质的数字摄像机。数字摄像机所代表的摄像装置，由摄像元件、成像光学系统(透镜光学系数)、图像处理机、缓冲存储器、闪速存储器(卡式存储器)、图像监视器以及对以上这些进行控制的电子电路和机械机构等构成。在摄像元件中，通常使用的是CMOS(互补金属氧化物半导体Complementary Metal OxideSemiconductor)传感器和CCD(电荷耦合器件Charge Coupled Device)传感器等的固体电子器件。在摄像元件上成像后的光量分布被进行光电转换，所得到的电信号由图像处理机和缓冲存储器进行信号处理。作为图像处理机使用DSP(数字式信号处理器Digital Signal Processor)等，另外作为缓冲存储器，使用DRAM(动态随机存取存储器Dynamic Random AccessMemory)等。所拍摄的图像由卡式存储器等记录保存，被记录保存的图像能够显示在监视器上。

使像成像于摄像元件的光学系统，通常为了除去像差而由多枚非球面透镜构成。另外，在使之具有光学变焦(zoom)功能时，则需要有使组合透镜的焦距改变、或使透镜与摄像元件的间隔改变的驱动机构(致动器)。

顺应摄像装置的高画质化、高性能化的要求，摄像元件的高像素化、高精细化，成像光学系统更低像差、高精度化，且变焦功能、自动对焦功能、防抖功能等高性能化被推进。随之而来的是出现摄像装置变大，小型化、薄型化困难这样的问题。

为了解决这一问题，提出有通过在成像光学系统中采用复眼结构、并将液晶透镜和液体透镜等非固体透镜加以组合，而使摄像装置小型化、薄型化。例如提出有一种摄像透镜装置(例如专利文献1)，其由平面状配置的固体透镜阵列、液晶透镜阵列和1个摄像元件构成。如图38所示由如下部件构成：具有固定焦距的透镜阵列2001和同等数量的可变焦距型的液晶透镜阵列2002的透镜系统；对通过该透镜系统所成像的光学图像进行拍摄的单一的摄像元件2003。根据这一构成，使等同于透镜阵列2001的数量的图像在单一的摄像元件2003上分割成像。由该摄像元件2003得到的多个图像，通过演算装置2004对其进行图像处理，再构成整体的图像。另外，由该演算装置2004检测聚焦信息，经由液晶驱动装置2005驱动液晶透镜阵列2002的各液晶透镜，进行自动对焦。如此，在专利文献1的摄像透镜装置中，通过液晶透镜和固体透镜的组合，由此能够具有自动对焦功能及变焦功能且实现小型化。

另外，还有一种由1个非固体透镜(液体透镜、液晶透镜)和固体透镜阵列以及1个摄像元件构成的摄像装置(例如专利文献2)。如图39所示，其由液晶透镜2131、复眼光学系统2120、图像合成器2115和驱动电压演算部2142构成。与专利文献1一样，在单一的摄像元件2105上使等同于透镜阵列数量的图像成像，经图像处理再构成图像。如此，在专利文献2的摄像装置中，通过1个非固体透镜(液体透镜、液晶透镜)和固体透镜阵列的组合，能够实现小型、薄型以及调焦功能。

另外，公知有以下方法，即在由作为摄像元件的检测器阵列和摄像透镜阵列构成的具有亚像素分辨率的薄型照相机中，使两个副摄像机(subcamera)上的图像的相对位置偏移变化，从而使合成图像的分辨率增大(例如专利文献3)。在该方法中，在一方的副摄像机上设置光圈，由该光圈遮断半像素部分的光，从而解决了因被摄体距离不能改善分辨率的课题。另外，专利文献3中，通过可从外部施加电压来控制焦距的液体透镜的组合，使焦距改变，而使图像的成像位置和像素的相位也同时改变，由此使合成图像的分辨率增大。如此，在专利文献3的薄型照相机中，通过使摄像透镜阵列和具有遮光机构的摄像元件加以组合，来实现合成图像的高精细化。另外，通过使摄像透镜阵列和摄像元件与液体透镜相组合，能够实现合成图像的高精细化。

专利文献1：特开2006-251613号公报

专利文献2：特开2006-217131号公报

专利文献3：特表2007-520166号公报

然而，在专利文献1～3的摄像透镜装置中，因为光学系统和摄像元件的相对位置的调整精度对图像有影响，所以组装时需要正确地进行调整的问题存在。另外，相对位置的调整以机械的精度进行调整时，就需要高精度的非固体透镜等，从而存在成本变高的问题。另外，即使装置在组装时正确地进行了调整，但随着时间推移等，光学系统和摄像元件的相对位置仍会发生变化，还是会发生画质劣化。如果再度进行位置调整，则虽然画质会变好，但存在必须进行与组装时同样的调整这样的问题。此外，在具有许多光学系统和摄像元件的装置中，应进行调整之处有很多，因此也有需要花费极大操作时间的问题。

发明内容

本发明鉴于这样的情况而做，其目的在于，为了实现高画质的摄像装置，提供一种光学系统与摄像元件的相对位置的调整不需要人工操作就能够容易地进行的摄像装置和光轴控制方法。

本发明其特征在于，具有：多个摄像元件；使像成像于各个所述摄像元件上的多个固体透镜；对于分别入射到所述摄像元件的光的光轴的方向进行控制的多个光轴控制部。

本发明其特征在于，所述光轴控制部由可以使折射率分布变化的非固体透镜构成，通过使所述非固体透镜的折射率分布变化，而使入射到所述摄像元件的光的光轴偏向。

本发明其特征在于，所述光轴控制部由折射板和使该折射板的倾斜角改变的倾斜角变更机构构成，通过由所述倾斜角变更机构改变所述折射板的倾斜角，而使入射到所述摄像元件的光的光轴偏向。

本发明其特征在于，所述光轴控制部由可变顶角棱镜构成，通过改变所述可变顶角棱镜的顶角，而使入射到所述摄像元件的光的光轴偏向。

本发明其特征在于，所述光轴控制部由使所述固体透镜移动的移动机构构成，通过使所述固体透镜移动，而使入射到所述摄像元件的光的光轴偏向。

本发明其特征在于，所述光轴控制部由使所述摄像元件移动的移动机构构成，通过使所述摄像元件移动，对入射到所述摄像元件的光的光轴进行控制。

本发明其特征在于，所述光轴控制部基于与已知的拍摄对象的相对位置关系来控制所述光轴的方向。

本发明其特征在于，所述多个摄像元件其像素的间距各不相同。

本发明其特征在于，所述多个固体透镜其焦距各不相同。

本发明其特征在于，所述多个摄像装置按照围着光轴周围分别以不同的角度旋转的方式配置。

本发明其特征在于，具有：多个摄像元件；多个固体透镜，使像成像于各个所述摄像元件上；和焦点控制部，由可以使折射率分布变化的非固体透镜构成，通过使所述非固体透镜的折射率分布变化，来改变所述固体透镜的焦距。

本发明是一种摄像装置的光轴控制方法，其特征在于，该摄像装置具有：多个摄像元件；使像成像于各个所述摄像元件上的多个固体透镜；对于分别入射到所述摄像元件的光的光轴的方向进行控制的多个光轴控制部，并且，所述光轴控制部基于已知的拍摄对象与所述光轴控制部的相对位置关系来控制所述光轴的方向。

本发明是一种摄像装置的光轴控制方法，其特征在于，该摄像装置具有：多个摄像元件；使像成像于各个所述摄像元件上的多个固体透镜；焦点控制部，由可以使折射率分布发生变化的非固体透镜构成，通过使所述非固体透镜的折射率分布变化，来改变所述固体透镜的焦距，并且，所述焦点控制部基于已知的拍摄对象与所述摄像元件的相对位置关系来控制所述固体透镜的焦距。

根据本发明，因为具有多个摄像元件、使像成像于各个所述摄像元件上的多个固体透镜、对于分别入射到所述摄像元件的光的光轴的方向进行控制的多个光轴控制部，所以光学系统和摄像元件的相对位置的调整不需要人工操作就能够容易地进行，能够取得可实现高画质的摄像装置的效果。特别是可以将入射的光的光轴按照设定在摄像元件面上的任意的位置上的方式进行控制，因此能够实现高画质的摄像装置，且该摄像装置能够简单地进行光学系统和摄像元件间的位置调整。另外，因为是基于拍摄对象和多个光轴控制部的相对位置来控制光轴的方向，所以可以在摄像元件面的任意的位置进行光轴的设定，能够实现调焦范围宽广的摄像装置。

附图说明

图1是表示本发明的第一实施方式的摄像装置的构成的方块图。

图2是图1所示的第一实施方式的摄像装置的单位摄像部的详细的结构图。

图3是液晶透镜的结构图，

图4是说明第一实施方式的摄像装置所使用的液晶透镜的功能的模式图。

图5是说明第一实施方式的摄像装置的液晶透镜的模式图。

图6是说明图1所示的第一实施方式的摄像装置的摄像元件的模式图。

图7是摄像元件的详细的模式图。

图8是表示图1所示的摄像装置1的整体构成的方块图。

图9是第一实施方式的摄像装置的映像处理部的详细的方块图。

图10是第一实施方式的摄像装置的映像处理的映像合成处理部的详细的方块图。

图11是第一实施方式的摄像装置的映像处理的控制部的详细的方块图。

图12是说明控制部的工作的一例的流程图。

图13是表示图12所示的亚像素映像合成高精细化处理的工作的说明图。

图14是说明高精细判定的一例的流程图。

图15是说明控制电压变更处理的一例的流程图。

图16是说明摄像机标定(camera calibration)的一例的流程图。

图17是说明单位摄像部的摄像机标定的模式图。

图18是说明多个单位摄像部的摄像机标定的模式图。

图19是说明多个单位摄像部的摄像机标定的另一模式图。

图20是表示摄像装置1的摄像的情况的模式图。

图21是对于高精细的亚图像进行说明的模式图。

图22是对于高精细的亚图像进行说明的另一模式图。

图23A是表示拍摄对象(被摄物体)与成像的关系的说明图。

图23B是表示拍摄对象(被摄物体)与成像的关系的另一说明图。

图23C是表示拍摄对象(被摄物体)与成像的关系的另一说明图。

图24A是说明摄像装置1的工作的模式图。

图24B是说明摄像装置1的工作的另一模式图。

图25A是由于安装误差导致摄像元件被偏移地安装时的模式图。

图25B是由于安装误差导致摄像元件被偏移地安装时的另一模式图。

图26A是表示光轴偏移控制的工作的模式图。

图26B是表示光轴偏移控制的工作的另一模式图。

图27A是表示摄像距离与光轴偏移的关系的说明图。

图27B是表示摄像距离与光轴偏移的关系的另一说明图。

图28A是表示摄像距离与光轴偏移的关系的说明图。

图28B是表示摄像距离与光轴偏移的关系的另一说明图。

图29A是表示深度和光轴偏移所造成的图像偏移效果的说明图。

图29B是表示深度和光轴偏移所造成的图像偏移效果的另一说明图。

图30是表示第二实施方式的进行光轴偏移控制的构成的结构图。

图31是表示第三实施方式的进行光轴偏移控制的构成的结构图。

图32是表示第四实施方式的进行光轴偏移控制的构成的结构图。

图33是表示第五实施方式的进行光轴偏移控制的构成的结构图。

图34A是表示第六实施方式的进行焦点位移控制的构成的结构图。

图34B是表示第六实施方式的进行焦点位移控制的构成的另一结构图。

图35是表示第六实施方式的进行焦点位移控制的构成的结构图。

图36是表示第七实施方式的摄像元件的构成的结构图。

图38是表示现有的摄像装置的构成的方块图。

图39是表示另一现有的摄像装置的构成的方块图。

符号说明

1 摄像装置

2～7 单位摄像部

8～13 摄像透镜

14～19 摄像元件

20～25 光轴

26～31 映像处理部

32～37 控制部

38 映像合成处理部

具体实施方式

以下，参照附图对于本发明的实施方式详细地进行说明。图1是表示本发明的第一实施方式的摄像装置的整体构成的功能方块图。图1所示的摄像装置1，具有6个系统的单位摄像部2～7。单位摄像部2由摄像透镜8和摄像元件14构成。同样，单位摄像部3由摄像透镜9和摄像元件15构成，单位摄像部4由摄像透镜10和摄像元件16构成，单位摄像部5由摄像透镜11和摄像元件17构成，单位摄像部6由摄像透镜12和摄像元件18构成，单位摄像部7由摄像透镜13和摄像元件19构成。各摄像透镜8～13将自拍摄对象的光分别在对应的各摄像元件14～19上成像。图1所示的符号20～25表示入射到各摄像元件14～19的光的光轴。

以下，以单位摄像部3为例，说明信号的流动。摄像透镜9所成像的像由摄像元件15进行光电转换而将光信号转换成电信号。由摄像元件15所转换的电信号根据映像处理部27所预先设定的参数而被转换成映像信号。映像处理部27将转换的映像信号输出到映像合成处理部38。映像合成处理部38还输入：将从其他单位摄像部2、4～7所输出的电信号由对应的各映像处理部26、28～31进行了转换处理的映像信号。映像合成处理部38，其一边将各单位摄像部2～7中所拍摄的6个映像信号同步地取得一边合成一个映像信号，作为高精细映像输出。另外，映像合成处理部38在合成的高分辨率映像比预定的判定值劣化时，基于该判定结果生成控制信号，并向6个控制部32～37输出。各控制部32～37基于输入的控制信号，进行所对应的各摄像透镜8～13的光轴控制。然后，映像合成处理部38再度进行高精细映像的判定。如果其判定结果良好，则输出高精细映像，如果不良，则再度重复对摄像透镜的控制的工作。

接着，参照图2说明图1所示的单位摄像部3的摄像透镜9和控制该摄像透镜9的控制部33的详细的构成。单位摄像部3由液晶透镜(非固体透镜)301和光学透镜(固体透镜)302构成。另外，控制部33由4个电压控制部33a、33b、33c、33d构成，该电压控制部对施加到液晶透镜301的电压进行控制。电压控制部33a、33b、33c、33d基于映像合成处理部38生成的控制信号，决定向液晶透镜301施加的电压，从而控制液晶透镜301。图1所示的其他单位摄像部2、4～7的摄像透镜和控制部也有同样的构成，因此这里省略详细的说明。

接下来，参照图3说明图2所示的液晶透镜301的构成。本实施方式中的液晶透镜301由如下部件构成：透明的第一电极303；第二电极304；透明的第三电极305；配置在第二电极304和第三电极305之间的液晶层306；配置在第一电极303和第二电极304之间的第一绝缘层307；配置在第二电极304和第三电极305之间的第二绝缘层308；配置在第一电极303的外侧的第三绝缘层311；配置在第三电极305的外侧的第四绝缘层312。在此，第二电极304具有圆形的孔，如图3的正视图所示，其由纵、横分割的4个电极304a、304b、304c、304d构成，能够对各自的电极独立施加电压。另外，液晶层306与第三电极305对向而使液晶分子沿一个方向定向，通过向夹持液晶层306的电极304、304、305之间施加电压来进行液晶分子的定向控制。另外，绝缘层308中为了大口径化而使用例如数百μm左右厚的透明的玻璃等。

以下，作为一个例子例示液晶透镜301的尺寸大小。第二电极304的圆形的孔的尺寸为约φ2mm，与第一电极303的间隔为70μm，第二绝缘层308的厚度为700μm。液晶层306的厚度为60μm。在本实施的方式中，第一电极303与第二电极304为不同的层，但也可以形成于同一面上。这种情况下，第一电极303的形状作为比第二电极304的圆形的孔的尺寸小的圆形而配置在第二电极304的孔位置，成为在第二电极304的分割部分设有电极取出部的构成。这时，第一电极303和构成第二电极的电极304a、304b、304c、304d分别独立地进行电压控制。通过成为这样的构成能够减少整体的厚度。

接着，说明图3所示的液晶透镜301的动作。在图3所示的液晶透镜301中，通过在透明的第三电极305和由铝薄膜等构成的第二电极304之间施加电压，同时在第一电极303和第二电极304之间也施加电压，能够形成关于具有圆形的孔的第二电极304的中心轴309为轴对称的电场梯度。通过如此形成的围着圆形电极的边缘周围的轴对称的电场梯度，液晶层306的液晶分子沿电场梯度的方向定向。其结果是，随着液晶层306的定向分布的变化，非常光线的折射率分布从圆形的电极的中心至周边发生变化，因此能够使之作为透镜发挥功能。通过向第一电极303、第二电极304施加电压的方法，能够使液晶层306的折射率分布自由地变化，可以自由地进行光学特性的控制如凸透镜和凹透镜等。

在本实施方式中，在第一电极303和第二电极304之间施加20Vrms的有效电压，另外在第二电极304和第三电极305之间施加70Vrms的有效电压，使第一电极303和第三电极305之间施加90Vrms的有效电压，从而使之作为凸透镜发挥功能。在此，液晶驱动电压(施加于各电极间的电压)为正弦波或占空比(duty ratio)50％的矩形波的交流波形。施加的电压值由有效电压(rms：root mean square value均方根值)表示。例如100Vrms的交流正弦波为具有±144V的峰值的电压波形。另外，交流电压的频率例如使用1kHz。此外，通过在构成第二电极304的电极304a、304b、304c、304d和第三电极305之间分别施加不同的电压，能够取得的效果是，使得施加同一电压时为轴对称的折射率分布相对于具有圆形的孔的第二电极中心轴309就成为轴偏离的非对称分布，入射光从直进的方向偏向(也称偏转)。这时，通过将在分割的第二电极304和第三电极305之间所施加的电压进行适宜改变，能够使入射光的偏向的方向变化。例如，通过在电极304a和电极305间、电极304c和电极305间分别施加70Vrms，在电极304b和电极305间、电极304d和电极305间分别施加71Vrms，由符号309表示的光轴位置偏移到由符号310表示的位置。其偏移量例如为3μm。

图4是说明液晶透镜301的光轴偏移功能的模式图。如前述通过将施加在构成第二电极的电极304a、304b、304c、304d和第三电极305之间的电压按各电极304a、304b、304c、304d进行控制，可以使摄像元件的中心轴与液晶透镜的折射率分布的中心轴错开。这相当于对于摄像元件面而言透镜在其xy面内偏移，因此能够使输入摄像元件的光线在其u、v面内偏向。

图5中表示图2所示的单位摄像部3的详细构成。单位摄像部3之中的光学透镜302由2个光学透镜302a、302b构成，液晶透镜301配置在光学透镜302a、302b之间。光学透镜302a、302b分别由1个或多个透镜构成。从物体面入射的光线由配置在液晶透镜301的物体面侧的光学透镜302a会聚，以光点得以缩小了的状态入射到液晶透镜301。这时，光线对液晶透镜301的入射角度相对于光轴为近乎平行的状态。从液晶透镜301出射的光线经由配置在液晶透镜301的摄像元件15侧的光学透镜302b被成像在摄像元件15面上。通过如此构成可以减小液晶透镜301的直径，可以实现向液晶透镜301施加的电压的降低和透镜效果的增大，可通过减薄第二绝缘层308的厚度来实现透镜厚度的降低。

在图1所示的摄像装置1中，其构成为相对于1个摄像元件配置1个摄像透镜，但在液晶透镜301中在同一基板上构成多个第二电极304而成为使多个液晶透镜一体化的结构也可。即，液晶透镜301其第二电极304的孔的部分相当于透镜，因此通过在1片基板上配置多个第二电极304的图案，各第二电极304的孔的部分都具有透镜效果。因此，与多个摄像元件的配置相吻合而在同一基板上配置多个第二电极304，就可以由单一的液晶透镜单元对应全部的摄像元件。

还有，在前述的说明中，液晶层的层数为1层，但是减薄1层的厚度而以多层构成，也可以在同程度的集光性得以保持的状态下改善响应性。其基于液晶层的厚度越增加而响应速度就越劣化的特征。另外，液晶层由多层构成时，通过使各液晶层间的偏振光的方向改变，能够对于入射到液晶透镜的光线在全部的偏振方向上获得透镜效果。此外，作为电极分割数的一例，例示的是四等分的类型，但根据要移动的方向也可以变更电极的分割数量。

接着，参照图6和图7，说明图1所示的摄像元件15的构成。本实施方式的摄像装置的摄像元件，作为一例，能够使用CMOS摄像元件。在图6中，摄像元件15由二维排列的像素501构成。本实施方式的CMOS摄像元件的像素尺寸为5.6μm×5.6μm，像素间距为6μm×6μm，有效像素数为640(水平)×480(垂直)。在此所谓像素，是摄像元件进行的摄像动作的最小单位。通常，一个光电转换元件(例如光电二极管)对应一个像素。在各5.6μm的像素尺寸之中，有着拥有一定面积(空间的扩展)的光接收部，像素将入射到该光接收部的光进行平均化并进行积分而成为光的强度、且转换成电信号。平均化的时间由电子式和机械式的快门等控制，其动作频率一般与摄像装置输出的视频信号的帧频一致，例如60Hz。

图7中表示摄像元件15的详细的构成。CMOS摄像元件15的像素501中经由放大器516将由光电二极管515所光电转换的信号电荷进行放大。各像素的信号经由垂直扫描电路511和水平扫描电路512，以垂直水平地址方式选择，作为电压或电流被取出。CDS(相关双采样CorrelatedDouble Sampling)518是进行相关双采样的电路，从由放大器516等发生的随机噪音之中能够抑制1/f噪音。关于像素501以外的像素也为同样的构成、功能。另外由CMOS逻辑LSI制造工序的应用中可以大量生产，因此与具有高电压模拟电路的CCD图像传感器相比更为廉价，由于元件小，所以消耗功率也少，原理上还有不会发生拖影和浮散的优点。在本实施方式中使用了单色的CMOS摄像元件15，但也能够使用在各像素中分别安装有R、G、B的滤色片的对应彩色的CMOS摄像元件。采用将R、G、G、B重复配置成棋盘状的Bayer构造，能够简易地以一个摄像元件达成彩色化。

接着，参照图8，关于摄像装置1的整体的构成进行说明。在图8中，对图1所示的相同的部分附加同一符号，省略其说明。在图8中，P001是总体控制摄像装置1的处理工作的CPU(中央处理器Central ProcessingUnit)，也有称微控制器(微处理器)的情况。P002是由非易失性存储器构成的ROM(只读存储器Read Only Memory)，存储CPU·P001的程序和各处理部所需要的设定值。P003是RAM(随机存储器Random AccessMemory)，存储CPU的临时的数据。P004是VideoRAM(视频随机存储器)，主要用于存储演算途中的映像信号、图像信号，由SDRAM(同步动态随机存储器Synchronous Dynamic RAM)等构成。

图8所示的构成是，具有RAM·P003作为CPU·P001的程序存储用，具有VideoRAM·P004作为图像存储用，但也可以是例如将2个RAM块统一于VideoRAM的构成。P005是系统总线(system bus)，连接有CPU·P001、ROM·P002、RAM·P003、VideoRAM·P004、映像处理部27、映像合成处理部38、控制部33。另外，系统总线P005还与后述的映像处理部27、映像合成处理部38、控制部33的各块的内部块连接。CPU·P001作为主机对系统总线P005进行控制，映像处理、图像处理和光轴控制所需要的设定数据双向流动。

另外，例如将映像合成处理部38的演算途中的图像保存在VideoRAM·P004中时使用该系统总线P005。高传输速度需要的图像信号用的总线也可以是与低速的数据总线不同的总线线路。在系统总线P005上，连接有未图示的USB和闪存卡这样的与外部的接口和作为取景器(viewfinder)的液晶显示器的显示驱动控制器。

接着，参照图9、图10说明映像处理部27和映像合成处理部38的处理工作。图9是表示映像处理部27的构成的方块图。在图9中，601是映像输入处理部，602是修正处理部，603是校正参数存储部。映像输入处理部601输入从单位摄像部3取入的映像信号，实施例如Knee处理和Gamma处理等信号处理，此外还实施白平衡控制。映像输入处理部601的输出被传递到修正处理部602，基于按照后述的标定步骤获得的校正参数而实施畸变的修正处理。例如，校正因摄像元件15的安装误差引起的畸变。校正参数存储部603是RAM(Random Access Memory)，存储标定值(校正值)。来自修正处理部602的输出即已修正的映像信号被输出到映像合成处理部38。校正参数存储部603所存储的数据，例如在摄像装置的电源投入时由CPU·P001更新。或者也可以将校正参数存储部603采用ROM(Read Only Memory)，按工厂发货时的标定程序确定存储数据并使之保存到ROM中。

映像输入处理部601、修正处理部602和校正参数存储部603分别与系统总线P005连接。例如映像输入处理部601的前述的Gamma处理的特性被保存到ROM·P002中。映像输入处理部601通过CPU·P001的程序，经由系统总线P005接收保存在ROM·P002中的数据。另外，修正处理部602经由系统总线P005将演算途中的图像数据写入VideoRAM·P004，或者从VideoRAM·P004读取。在本实施方式中使用的是单色的CMOS的摄像元件15，但使用彩色的CMOS摄像元件时，例如摄像元件为Bayer构造时，则由映像处理部601实施Bayer插补处理。

图10是表示映像合成处理部38的构成的方块图。合成处理部701对多个单位摄像部2～7的摄像结果进行合成处理。通过合成处理，如后述能够改善图像的分辨率。合成参数存储部702保存有例如后述的根据由标定导出的单位摄像部间的三维坐标所求得的图像偏移量的数据。合成处理部701以该偏移量为基础而使图像偏移并合成。判定部703对合成处理的结果进行例如傅里叶转换，检测映像信号的高频带成分的功率。在此，假定进行例如4个单位摄像部的合成处理的情况。摄像元件假定为宽VGA(854像×480像素)。

另外，映像合成处理部38的输出即视频信号输出假定为高清信号(1920像×1080像素)。这时，由判定部703判定的频带大约为20MHz至30MHz。宽VGA的映像信号可以再现的映像频率的频带上限大约为10MHz～15MHz。使用该宽VGA的信号，由合成处理部701进行合成处理，由此复原20MHz～30MHz的成分。在此，摄像元件为宽VGA，但主要条件是，由摄像透镜8～13构成的摄像光学系统具有不会使高清信号的频带劣化的特性。

使该合成后的视频信号的频带(前述的例中20MHz～30MHz的成分)的功率最大，如此对控制部32～控制部37进行控制。为了进行在频率轴上的判断，由判定部703进行傅里叶转换处理，且判定其结果中的相应的特定的频率以上(例如20MHz)的能量的大小。超过摄像元件的频带的映像信号频带的复原的效果，当将成像于摄像元件上的像在由像素的大小决定的范围内进行采样时，随其相位而变化。为了使其相位达到最佳状态，使用控制部32～37，控制摄像透镜8～13。具体来说，控制部33对位于摄像透镜9上的液晶透镜301进行控制。通过对施加于液晶透镜301的分割的电极304a、电极304b、电极304c、电极304d上的电压的平衡进行控制，如图4所示，摄像元件面上的图像移动。控制结果的理想的状态是，各个单位摄像部的摄像结果的采样相位相互按像素尺寸的1/2沿水平、垂直、倾斜方向偏移的状态。达到这一理想的状态时，傅里叶转换的结果的高频带成分的能量最大。即，通过进行液晶透镜的控制和相应的合成处理的判定的反馈环路(feedback loop)，可控制傅里叶转换的结果的能量达到最大。

如以上说明，该控制方法以来自映像处理部27的映像信号为基准，经由控制部33以外的控制部32、32～37来控制摄像透镜2、摄像透镜4～7。这时，摄像透镜2由控制部32控制其光轴相位。其他的摄像透镜4～7也同样地被控制光轴相位。进行比各摄像元件的像素小的尺寸小的相位的控制，可使由摄像元件所平均化的相位的偏置(offset)最佳化。即，在对于成像于摄像元件上的像以像素进行采样时的该采样的相位，为了通过光轴相位的控制进行高精细化，控制为理想的状态。其结果是可以合成高画质的映像信号。判定部703在判定合成处理结果且可合成高精细、高画质的映像信号时，维持其控制值，将高精细、高画质的映像信号进行视频输出；另一方面，如果不能合成高精细、高画质的映像信号，则再度进行摄像透镜的控制。

在此，因为摄像元件1的像素和拍摄对象的成像的相位为像素的尺寸以下，所以起名为亚像素进行定义，但分割像素的亚像素的构造在摄像元件上并不实际存在。映像合成处理部38的输出例如为视频信号，对未图示的显示器输出、或者被传递到未图示的图像记录部，由磁带和IC卡记录。合成处理部701、合成参数存储部702、判定部703分别与系统总线P005连接。合成参数存储部702由RAM构成。例如，在摄像装置的电源投入时被CPU·P001经由系统总线P005更新。另外，合成处理部701经由系统总线P005将演算途中的图像数据写入VideoRAM·P004、或者从VideoRAM·P004读取。

接着，参照图11说明控制部33的构成。在图11中，801是电压控制部，802是液晶透镜参数存储部。电压控制部801遵循来自映像合成处理部38的判定部703的控制信号，控制摄像透镜9所具有的液晶透镜301的各电极的电压。所控制的电压以从液晶透镜参数存储部802读取的参数值为标准地决定。通过这一处理，液晶透镜301的电场分布得到理想地控制，如图4所示光轴得到控制，其结果在取入相位得到修正的状态下在摄像元件15中被光电转换。通过如此控制，像素的相位得到理想地控制，其结果是视频输出信号的分辨率得到改善。如果控制部33的控制结果达到理想的状态，则判定部703的处理即傅里叶转换的结果的能量检测为最大。如这一状态，控制部33构成基于摄像透镜9、映像处理部27、像合成处理部38的反馈回路，以高频带的能量获得得大的方式控制液晶透镜。电压控制部801、液晶透镜参数存储部802分别与系统总线P005连接。液晶透镜参数存储部802例如由RAM构成，在摄像装置1的电源投入时被CPU·P001经由系统总线P005更新。

还有，图9～图11所示的校正参数存储部603、合成参数存储部702和液晶透镜参数存储部802使用同一RAM或ROM，也可以为按存储的地址分别使用的构成。另外，也可以是使用ROM·P002和RAM·P003的一部分的地址的构成。

接着，说明摄像装置1的控制动作。图12是表示摄像装置1的控制动作的流程图。在此，表示的是映像合成处理中使用映像的空间频率信息的一例。首先，若CPU·P001指示控制处理的开始，则修正处理部602从校正参数存储部603读取校正参数(步骤S901)。修正处理部602以读取的校正参数为基准，对每个单位摄像部2～7进行修正(步骤S902)。该修正是去除后述的每个单位摄像部2～7的畸变的。接着，合成处理部701从合成参数存储部702读取合成参数(步骤S903)。然后，合成处理部701以读取的合成参数为基准，实行亚像素映像合成高精细化处理(步骤S904)。如后述，根据在亚像素单位下的相位不同的信息来构筑高精细图像。

接着，判定部703实行高精细判定(步骤S905)，判定高精细与否(步骤S906)。判定部703在内部保持判定用的阈值，判定高精细的程序，其判定结果的信息分别传递到控制部32～37。各控制部32～37在高精细达成时不变更控制电压，各液晶透镜参数保持同一值(步骤S907)。另一方面，如果判定为未达成高精细，则控制部32～37变更液晶透镜301的控制电压(步骤S908)。CPU·P001对控制结束条件进行管理，判定例如装置的电源切断的条件是否成立(步骤S909)，如果不满足控制结束条件则返回步骤S903，重复处理。另一方面，如果满足控制结束条件，则结束处理。还有，就控制结束条件而言，在装置的电源投入时使预先进行高精细判定的次数为10次，按指定次数重复步骤S903～S909的处理也可。

接着，参照图13说明图12所示的亚像素映像合成高精细化处理(步骤S904)的工作。图像尺寸、倍率、回转量(也称旋转量)和偏移量为合成参数，是在合成参数读取处理(步骤S903)中从合成参数储存部702读取的参数。在此，假定是从4个单位摄像部得到1个高精细图像的情况。利用由各个单位摄像部拍摄的4个图像，使用回转量和偏移量的参数重叠到1个坐标系中。然后，利用基于4个图像和距离的加权系数进行滤波计算。例如滤波器使用三次样条(cubic)滤波器(近似三维)。从处于距离d的图像取得的加权w为下式。

w＝1-2×d²+d³(0≤d＜1)

＝4-8×d+5×d²-d³(1≤d＜2)

＝0(2≤d)

接着，参照图14，说明图12所示的判定部703进行的高精细判定处理(步骤S905)的详细工作。首先，判定部703提取定义范围的信号(步骤S1001)。例如，将帧单位的1个画面作为定义范围时另行具有未图示的帧存储块，预先存储1个画面量的信号。例如如果是VGA分辨率，则1个画面量是由640×480像素构成的二维的信息。对于该二维信息，判定部703实行傅里叶转换、且将时间轴的信息转换成频率轴的信息(步骤S1002)。接着，由HPF(高通滤波器High pass filter)提取高通信号(步骤S1003)。例如，假定情况为摄像元件9其长宽比为4∶3，60fps(帧/秒Frame Per Second)(递进)的VGA信号(640像素×480像素)，映像合成处理部的输出即视频输出信号为Quad-VGA。假定情况为VGA信号的极限分辨率约8MHz，经合成处理再生10MHz～16MHz的信号。这时，HPF具有例如使10MHz以上的成分通过的特性。判定部703将该10MHz以上的信号与阈值进行比较而进行判定(步骤S1004)。就阈值而言，在例如将傅里叶转换的结果的DC(直流)成分作为1时的10MHz以上的能量的阈值设定为0.5，而与该阈值的比较。

在前述的说明中，说明的是对于以一定分辨率的摄像结果的1帧的图像为基准进行傅里叶转换的情况，但如果定义范围由线单位(水平同步重复的单位，若为高清信号，则有效像素数为1920像素单位)进行定义，则不需要帧存储块，可以减小回路规模。这时，如果例如是高清信号，则例如以线数的1080次反复实行傅里叶转换，对线单位的1080次量的阈值比较判定加以综合，判断一个画面的高精细程度也可。另外，通过使用数帧量的画面单位的阈值比较判定结果来加以判断也可。如此，以多个判定结果为基础进行综合判定，可以去除突发性的噪音的影响等。另外，阈值判定可以使用固定的阈值，但也可以对阈值进行适应性的变更。也可以另行提取判定的图像的特征，以其结果为基础来替换阈值。例如，可以由直方图检测提取图像的特征。另外，也可以与过去的判定结果联动而变更现在的阈值。

接着，参照图15，说明图12所示的控制部32～37实行的控制电压变更处理(步骤S908)的详细工作。在此，以控制部33的处理工作(也称处理动作)为例进行说明，控制部32、34～37的处理工作均相同。首先，电压控制部801从液晶透镜参数存储部802读取现在的液晶透镜的参数值(步骤S1101)。然后，电压控制部801更新液晶透镜的参数值(步骤S1102)。在液晶透镜参数中，预先使之具有过去的记录历履，例如对于现在4个电压控制部33a、33b、33c、33d，如果正在按过去的记录历履使电压控制部33a的电压每隔5V而上升至40V、45V、50V时，根据记录历履和此刻都没有达到高精细的判断，判断为应该进一步提高电压，一边保持电压控制部33b、电压控制部33c、电压控制部33d的电压值，一边将电压控制部33a的电压更新至55V。如此，依次更新施加到4个液晶透镜的电极304a、304b、304c、304d上的电压值。另外，更新的值作为记录历履更新液晶透镜参数的值。

通过以上的处理工作，多个单位摄像部2～7的拍摄图像以亚像素单位合成，判定其高精细的程度，并使之维持高精细性能而变更控制电压，从而可以实现高画质的摄像装置。通过对分割的电极304a、304b、304c、304d施加不同的电压，可使在对于由摄像透镜8～13成像在摄像元件上的像以摄像元件的像素进行采样时的采样相位变化。这一控制的理想的状态是，各个单位摄像部的摄像结果的采样相位相互按像素尺寸的1/2沿水平、垂直、倾斜方向偏移的状态。是否达到理想的状态的判断，由判定部703进行判断。

接着，参照图16说明摄像机标定的处理工作。该处理工作是例如在摄像装置1的工厂生产时进行的处理，进行在摄像装置的电源投入时同时按压多个操作按钮等特定的操作，实行该摄像机标定。该摄像机标定处理由CPU·P001实行。首先，调整摄像装置1的操作者，准备图案间距已知的方格图案和棋盘式样的测试图，一边改变姿势和角度一边以30种姿势拍摄方格图案并取得图像(步骤S1201)。接着，CPU·P001将该拍摄图像按每个单位摄像部进行分析，导出每个单位摄像部的外部参数值、内部参数值(步骤S1202)。例如，如果是被称为针孔摄像机模型(PinholeCamera Model)这种一般的摄像机的模型，则就外部参数值而言，摄像机的姿势的三维下的旋转信息和平移信息这6个参数成为外部参数。另外同样内部参数为5个。导出这样的参数，其为校正(标定)。在一般的摄像机模型中，外部参数有合计如下6个：相对于世界坐标表示摄像机的姿势的yaw、pitch、roll的三个坐标向量，和表示平行移动成分的平移向量的三个坐标成分。另外，内部参数是如下5个：摄像机的光轴与摄像元件交叉的图像中心(u₀、v₀)，在摄像元件上假定的坐标的角度和长宽比，焦距。

接着，CPU·P001将得到的参数存储在校正参数存储部603(步骤S1203)。如前述，在单位摄像部2～7的修正处理(图12所示的步骤S902)中使用本参数，从而使单位摄像部2～7的各自的摄像机畸变得到修正。即，因为存在原本作为直线的方格图案因摄像机的畸变而被拍摄成曲线的情况，所以通过该摄像机标定处理导出用于使之回归直线的参数，进行单位摄像部2～7的修正。

接着，CPU·P001从单位摄像部2～7间的参数导出单位摄像部2～7间的外部参数(步骤S1204)，更新合成参数存储部702、液晶透镜参数存储部802所存储的参数(步骤S1205、S1206)。该值在亚像素映像合成高精细化处理S904和控制电压变更S908中被使用。

还有，在此表示的情况是使摄像装置内的CPU或微机具有摄像机标定的功能，但例如也可以成为如下构成：另行准备个人电脑，在该个人电脑上实行同样的处理，只将所得到的参数下载到摄像装置中。

接着，参照图17，关于单位摄像部2～7的摄像机标定的原理进行说明。在此，关于摄像机的投影的情况，考虑使用图17所示的针孔摄像机模型。在针孔摄像机模型中，到达图像平面的光全部通过作为透镜的中心的一点的针孔，在与图像平面交叉的位置成像。以光轴和图像平面的交点为原点、与摄像机的元件的配置轴相一致而取x轴和y轴的这样的坐标系称为图像坐标系，将以摄像机的透镜中心为原点且以光轴为Z轴并平行于x轴和y轴地取X轴和Y轴的坐标系称为摄像机坐标系。在此，在作为表示空间的坐标系的世界坐标系(Xw、Yw、Zw)上的三维坐标M＝[X、Y、Z]^T，和作为其投影的图像坐标系(x、y)上的点m＝[u、v]^T之间，有式(1)这样的关联。

[式1]

s \tilde{m} = A [\begin{matrix} R & t \end{matrix}] \tilde{M} \cdot \cdot \cdot (1)

在此，A是指内部参数矩阵，是下式(2)这样的矩阵。

[式2]

A = [\begin{matrix} α & γ & u_{0} \\ 0 & β & v_{0} \\ 0 & 0 & 1 \end{matrix}] \cdot \cdot \cdot (2)

α、β是由像素的尺寸和焦距的积构成的标度因数(scale factor)，(u₀、v₀)是图像中心，γ是表示图像的坐标轴的畸变的参数。另外，[Rt]是指外部参数矩阵，是将3×3的旋转矩阵R和平行移动向量t进行排列的4×3矩阵。

在Zhang的标定方法中，仅通过一边移动粘贴有已知的图案的平板一边拍摄图像(3次或其以上)，就能够求得内部参数、外部参数、透镜畸变参数。在该方法中，将标定平面作为世界坐标系的Zw＝0的平面而进行标定。由式(1)表示的标定平面上的点M和拍摄该平面的图像上的对应的点m的关系能够如下式(3)这样改写。

[式3]

s [\begin{matrix} u \\ v \\ 1 \end{matrix}] = A [\begin{matrix} r_{1} & r_{2} & r_{3} & t \end{matrix}] [\begin{matrix} X \\ Y \\ 0 \\ 1 \end{matrix}] = A [\begin{matrix} r_{1} & r_{2} & t \end{matrix}] [\begin{matrix} X \\ Y \\ 1 \end{matrix}] \cdot \cdot \cdot (3)

平面上的点和图像上的点的关系为3×3单应矩阵H(homographymatrix)，能够如下式(4)这样记述。

[式4]

\begin{matrix} s \tilde{m} = H \tilde{M} & H = A [\begin{matrix} r_{1} & r_{2} & t \end{matrix}] \cdot \cdot \cdot (4) \end{matrix}

若提供1个定标平面的图像，则能够得到1个单应矩阵H，若得到该单应矩阵H＝[h₁ h₂ h₃]，则由式(4)能够得到如下式(5)。

[式5]

[h₁ h₂ h₃]＝λA[r₁ r₂ t] …(5)

因为R为旋转矩阵，所以r₁和r₂直交，由此能够得到以下所示的作为涉及内部参数的2个约束式的式(6)、(7)。

[式6]

h₁ ^TA^-TA^-1h₂＝0 …(6)

[式7]

h₁ ^TA^-TA^-1h₁＝h₂ ^TA^-TA^-1h₂ …(7)

A^-TA^-1如式(8)，在3×3的对象矩阵中包含6个未知数，因为关于1个H能够建立2个算式，所以如果得到3个或3个以上的H，则能够决定参数A。在此，由于A^-TA^-1具有对象性，由此将作为式8的B的要素进行了排列的向量定义为式9。若设单应矩阵H的第i个列向量为h_i＝[h_i1 h_i2 h_i3]^T，(i＝1、2、3)，则h_i ^TBh_j表示为式10、式11。

[式8]

B = A^{- T} A^{- 1} = [\begin{matrix} B_{11} & B_{12} & B_{13} \\ B_{12} & B_{22} & B_{23} \\ B_{13} & B_{23} & B_{33} \end{matrix}] \cdot \cdot \cdot (8)

[式9]

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T …(9)

[式10]

h_{i}^{T} B h_{j} = v_{ij}^{T} b \cdot \cdot \cdot (10)

[式11]

v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T

…(11)

由此，式(6)和式(7)成为下式。

[式12]

[\begin{matrix} v_{12}^{T} \\ {(v_{11} - v_{22})}^{T} \end{matrix}] b = 0 \cdot \cdot \cdot (12)

如果能够得到n个图像，则通过累加n个上述的算式，能够得到式13。

[式13]

Vb＝0 …(13)

在此，V为2n×6的矩阵。由此，b作为V^TV的最小特征值所对应的特征向量被求得。这时，如果n≥3，则能够直接得出关于b的解，但n＝2时，内部参数中的γ＝0，通过将式[010000]b＝0加入式(13)而得到解。另外，如果n＝1则只能求得2个内部参数，因此例如仅α和β未知，其余的内部参数己知，从而得到解。如果通过求b而B被求得，则根据B＝μA^-TA摄像机的内部参数以式(14)计算。

[式14]

\begin{matrix} v_{0} = (B_{12} B_{13} - B_{11} B_{23}) / (B_{11} B_{22} - B_{12}^{2}) \\ μ = B_{33} - [B_{13}^{2} + v_{0} (B_{12} B_{13} - B_{11} B_{23})] / B_{11} \\ α = \sqrt{μ / B_{11}} \\ β = \sqrt{μ B_{11} / (B_{11} B_{22} - B_{12}^{2})} \\ γ = - B_{12} α^{2} β / μ \\ u_{0} = γ v_{0} / β - B_{13} α^{2} / μ \end{matrix}\} \cdot \cdot \cdot (14)

另外，如果内部参数A由此求得，则关于外部参数也能够由式(15)求得，根据以至此得到的参数作为初始值的非线性最小二乘法使参数最佳化，从而能够得到最佳的外部参数。0088

[式15]

\begin{matrix} r_{1} = λ A^{- 1} h_{1} \\ r_{2} = λ A^{- 1} h_{2} \\ r_{3} = r_{1} \times r_{2} \\ t = λ A^{- 1} h_{3} \\ λ = 1 / | | A^{- 1} h_{1} | | = 1 / | | A^{- 1} h_{2} | | \end{matrix}\} \cdot \cdot \cdot (15)

如上，在全部的内部参数未知的情况下，能够采用从不同的视点以固定内部参数的状态拍摄的3张或3张以上的图像进行摄像机标定。这时，一般来说图像张数越多，参数推定精度越高。另外，在用于标定的图像间的旋转小的情况下误差变大。

接着，参照图18、图19，对于如下方法进行说明，即，利用由摄像机标定求得的表示摄像机(摄像装置)的位置、姿势的摄像机参数，将各图像中相同区域所显示的区域以亚像素的精度建立对应。图18表示的情况是，以基本的摄像元件15(将其称为基本摄像机)和与之相邻的邻接的摄像元件16(将其称为邻接摄像机)，将对象物体面上的点M经由前述的液晶透镜而投影(摄影)到各摄像元件上的点m1或m2。另外，图19是将图18在使用图17所示的针孔摄像机模型的状态下进行图示。世界坐标系上的点M与图像坐标系上的点m的关系，若根据摄像机的移动性等，使用中心投影矩阵P来表示，则根据式(1)可表示为式(16)。

[式16]

m＝PM …(16)

使用计算出的P，能够记述三维空间中的点和二维图像平面上的点的对应关系。在图19所示的构成中，将基本摄像机的中心投影矩阵设为P₁，邻接摄像机的中心投影矩阵设为P₂。为了从图像平面1上的点m₁求得与该点对应的图像平面2上的点m₂而使用以下的方法。

(1)由式(16)根据m₁求得三维空间中的点M。因为中心投影矩阵P为3×4的矩阵，所以使用P的伪逆矩阵求得。

[式17]

M = {(P_{1}^{T} P_{1})}^{- 1} P_{1}^{T} m_{1} \cdot \cdot \cdot (17)

(2)由计算出的三维位置，使用邻接摄像机的中心投影矩阵P₂，求得邻接图像的对应点m₂。

[式18]

m_{2} = P_{2} ({(P_{1}^{T} P_{1})}^{- 1} P_{1}^{T} m_{1}) \cdot \cdot \cdot (18)

因为摄像机参数P具有模拟的值，所以所计算的基本图像和邻接图像的对应点m₂以亚像素单位求得。使用摄像机参数的对应点映射(matching)所具有的优点是，因为已经求出摄像机参数，所以只进行矩阵计算就能够瞬间计算出对应点。

接下来，对于透镜的畸变和摄像机标定进行说明。至此是以将透镜视为1个点的针孔摄像机模型来进行说明，但实际上透镜有有限的尺寸，因此存在针孔摄像机模型不能说明的情况。以下，对于这种情况下的畸变的修正进行说明。使用凸透镜时，会发生因入射光折射而造成的畸变。将这样的放射方向的畸变所对应的修正系数设置为k1、k2、k5。另外，透镜与摄像元件不平行配置时，会产生切线方向的畸变。将该法线方向的畸变所对应的修正系数设置为k3、k4。这些畸变称为畸变像差(distortion)。在此，畸变修正式如下。

[式19]

x_{d} = (1 + k_{1} r^{2} + k_{2} r^{4} + k_{5} r^{6}) x_{u} + 2 k_{3} x_{u} y_{u} + k_{4} (r^{2} + 2 x_{u}^{2}) \cdot \cdot \cdot (19)

[式20]

y_{d} = (1 + k_{1} r^{2} + k_{2} r^{4} + k_{5} r^{6}) y_{u} + k_{3} (r^{2} + 2 y_{u}^{2}) + 2 k_{4} x_{u} y_{u} \cdot \cdot \cdot (20)

[式21]

r^{2} = x_{u}^{2} + y_{u}^{2} \cdot \cdot \cdot (21)

在此，(x_u，y_u)是没有畸变像差的理想的透镜的摄像结果的图像坐标，(x_d，y_d)是有畸变像差的透镜的图像坐标。该坐标的坐标系双方均是前述的图像坐标系x轴、y轴。另外，r是从图像中心到(x_u，y_u)的距离。图像中心由前述的内部参数u₀、v₀确定。如果假定为以上的模型，并根据标定导出系数k1～k5和内部参数，则可以求出有无畸变所对应的成像坐标的差，修正因实物透镜引起的畸变。

图20是表示摄像装置1的摄像的情况的模式图。由摄像元件15和摄像透镜9构成的单位摄像部3对摄像范围a进行拍摄(摄像)。由摄像元件16和摄像透镜10构成的单位摄像部4对摄像范围b进行拍摄。由2个单位摄像部3、4对大体相同的摄像范围进行拍摄。例如摄像元件15、16的配置间隔为12mm，单位摄像部3、4的焦距为5mm，至摄像范围的距离为600mm，单位摄像部3、4的光轴分别平行时，摄像范围a、b不同的范围的区域大约为3％左右。如此，拍摄同一部分并以合成处理部38进行高精细化处理。

接着，参照图21、图22，关于摄像装置1的高精细化进行说明。图21的横轴表示空间的扩展。该所谓空间的扩展，表示的是作为现实的空间的情况和摄像元件上的虚拟空间扩展双方。其可借用外部参数、内部参数，相互转换、换算，因此同义。另外，观看从摄像元件依次读取的映像信号时，图21的横轴为时间轴，但即使在这种情况下，由显示器显示时，在观察者的眼中仍可确认到空间的扩展，因此映像信号的时间轴也与空间的扩展同义。图21的纵轴是振幅、强度。物体反射光的强度由摄像元件的像素进行光电转换而作为电压电平输出，由此可以视为振幅。

图21的图形G1是现实空间中的物体的轮廓。为了将该轮廓、即物体的反射光的强度以摄像元件的像素的范围进行积分，而由单位摄像部2～7以图21的图形G2的方式取入。积分作为一例使用LPF(Low Pass Filter低通滤波器)来进行。图21的箭头A2是摄像元件的像素的扩展。图21的图形G3是由不同的单位摄像部2～7摄像的结果，以图21的箭头A3的像素的扩展对光进行积分。如图21的图形G2、G3，由摄像元件的分辨率(像素的尺寸)确定的扩展以下的反射光的轮廓(外形profile)不能由摄像元件再现。

但是，本发明的特征在于，在图21的图形G2、G3中双方的相位关系有偏置。具有这样的偏置而取入光，经合成处理部进行最佳地合成，可以再现图21的图形G4所示的轮廓。由图21的图形G1～G4可知，最能够再现图21的图形G1的轮廓的是图21的G4，与图21的图形G4中的箭头的幅度所对应的摄像元件的像素的尺寸的性能等价。本实施方式使用多个由液晶透镜所代表的非固体透镜和摄像元件构成的单位摄像部，借助上述的平均化(使用LPF的积分)可以得到超过分辨率极限的视频输出。

图22是表示2个单位摄像部的相对相位关系的模式图。以后段的图像处理进行高精细化时，由摄像元件完成的取样相位的相对关系优选为等间隔。在此，所谓取样与采样同义，指的是提取出离散的位置上的模拟信号的处理。图22假定的是使用2个单位摄像部的情况，因此其相位关系如符号C1，理想的是0.5像素尺寸的相位关系。

但是，根据摄像距离和装置的组装的关系，存在图22的符号C2和C3这样的情况。这时，即使只使用被平均化之后的映像信号进行图像处理演算，已在图22的符号C2、C3这样的相位关系下被平均化了的信号也不可能复原。因此图22的符号C2、C3的相位关系必须控制为符号C4所示的相位关系。在本发明中，该控制通过图4所示的液晶透镜的光轴偏移来实现。通过以上处理，总是可保持理想的相位关系，因此可以为观察者提供最佳的图像。

在此，图22中对于一维的相位关系进行了说明。例如使用4个单位摄像部，分别进行水平、垂直、倾斜45度的各方向的一维移动，以图22所示的动作可以进行二维空间的相位控制。另外，例如使用2个单位摄像部，相对于基准而对一侧的单位摄像部二维地进行(水平、垂直、水平+垂直)相位控制，实现二维的相位控制也可。

例如，假定使用4个单位摄像部对大体相同的拍摄对象(被摄物体)进行拍摄，得到4个图像的情况。以某一图像为基准，对各个图像进行傅里叶转换，以频率轴判断特征点，计算相对于基准图像的回转量和偏移量，使用该回转量和偏移量进行内插滤波处理，从而可以得到高精细图像。例如，如果摄像元件的像素数为VGA(640×480像素)，则通过4个VGA的单位摄像部能够得到Quad-VGA(1280×960像素)的高精细图像。

前述的内插滤波处理例如使用三次样条插值(近似三维)算法。是基于至内插点的距离进行加权的处理。摄像元件的分辨率极限为VGA，而摄像透镜具有使之通过Quad-VGA的频带的能力，VGA以上的Quad-VGA的频带成分作为折叠失真(混叠aliasing)以VGA分辨率被拍摄。使用该折叠失真，经映像合成处理而复原Quad-VGA的高频带成分。

图23A～图23C是表示拍摄对象(被摄物体)与成像的关系的图。在该图中，忽视透镜畸变的针孔模型成为基础。透镜畸变小的摄像装置可以由该模型说明，仅以几何光学就可以说明。在图23A中，P1为拍摄对象，离开摄像距离H。是针孔O、O’相当于2个单位摄像部的摄像透镜、以摄像元件M、N这2个单位摄像部拍摄1个像的模式图。图23B是在摄像元件的像素上有P1像成像的情况。如此像素和所成的像的相位确定。该相位由摄像元件双方的位置关系(基线长B)、焦距f、摄像距离H决定。

即，存在由于摄像元件的安装精度而与设计值有所不同的情况，另外由于摄像距离也会造成关系变化。这时在某一组合下，如图23C，会有彼此相位一致的情况发生。图23B的光强度分布图(分布图像)模式化地表示某扩展所对应的光的强度。对于这样的光的输入，在摄像元件中，由像素的扩展的范围平均化。如图23B，由在2个单位摄像部以不同的相位取入时，相同的光强度分布由不同的相位被平均化，因此经后段的合成处理能够再现高频带成分(例如如果摄像元件为VGA分辨率，则再现VGA分辨率以上的高频带)。因为有2个单位摄像部，所以0.5像素的相移较为理想。

但是，如图23C若相位一致，则由双方的摄像元件取入的信息相同，不可能进行高析像化。因此，如图23C，通过光轴偏移将相位控制到最佳状态，从而达成高析像化。所谓最佳状态，经图14的处理实现。相位关系优选所使用的单位摄像部的相位为等间隔。本发明因为具有光轴偏移功能，所以这样的最佳状态由来自外部的电压控制可以达成。

图24A、图24B是说明摄像装置1的工作的模式图。图示的是使用由2个单位摄像部构成的摄像装置进行摄像的情况。各个摄像元件为了说明的方便而按像素单位放大记述。摄像元件的平面以u、v的二维定义，图24A相当于u轴的剖面。拍摄对象P0、P1处于同一摄像距离。P0的像分别成像于u0、u’0。u0、u’0是以各个光轴为基准的摄像元件上的距离，在图24A中，因为P0处于摄像元件M的光轴上，所以u0＝0。另外，P1的各个像的距光轴的距离为u1、u’1。在此，P0、P1成像于摄像元件M、N上的位置的与摄像元件M、N的像素相对应的相对相位左右图像偏移的性能。这一关系由摄像距离H、焦距f、摄像元件的光轴之间的距离即基线长B决定。

在图24A、图24B中，双方成像的位置，即u0和u’0偏移了像素的尺寸的一半。u0(＝0)位于摄像元件M的像素的中心。相对于此u’0成像于摄像元件N的像素的周围。即，成为偏移像素尺寸的半个像素量的关系。u1和u’1也一样，偏移了半个像素的尺寸。图24B是对各个拍摄的图像的同一图像分别进行演算而复原、生成一个图像的工作的模式图。Pu表示u方向的像素尺寸，Pv表示v方向的像素尺寸。在图24B中，成为彼此偏移像素的一半的关系，成为用于通过实施图像偏移而生成高精细图像的理想的状态。

图25A、图25B是相对于图24A、图24B，例如由于安装误差而导致摄像元件N比设计错开像素尺寸的一半而被安装的情况的模式图。这时，u1和u’1彼此的关系，相对于各个摄像元件的像素而成为相同的相位。在图25A中，双方均相对于像素而成像于靠近左侧的位置。u0(＝0)和u’0也一样。因此如图25B，双方的相位大体一致。

图26A、图26B是相对于图25A、图25B，使本发明的光轴偏移进行工作的情况的模式图。图26A中的光轴偏移这样的右方向的移动是该动作的图像。如此使用光轴偏移机构错开针孔O’，可以将拍摄对象成像的位置相对于摄像元件的像素进行控制。如图26B，可以达成理想的相位关系。

接着，参照图27A、图27B，对于摄像距离和光轴偏移的关系进行说明。图27A是说明从以摄像距离H0拍摄P0的状态、向位于距离H1的物体P1替换被摄物体的情况的模式图。在图27A中，假定P0、P1分别在摄像元件M上的光轴上，因此u0＝0，另外u1＝0。着眼于P0、P1成像于摄像元件N上时的摄像元件B的像素和P0、P1的像的关系。P0成像于摄像元件M的像素的中心。相对于此在摄像元件N中，其成像于像素的周围。因此拍摄P0时可以说是最佳的相位关系。图27B是表示被摄物体为P1时的摄像元件彼此的相位关系的模式图。如图27B将被摄物体变更成P1后，双方的相位关系大体一致。

因此，如图28A，在被摄物体P1拍摄时以光轴偏移机构来移动光轴，可以如图28B所示而控制为理想的相位关系，因此能够达成基于图像偏移的高精细化。在此，获得摄像距离的信息的方法，只要另行具有测定距离的测距机构即可。或者也可以由本发明的摄像装置测定距离。使用多个摄像机(单位摄像部)测定距离的例子在测量等中一般采用。其测距性能与摄像机间的距离即基线长和摄像机的焦距成正比，与至测距物体的距离成反比。

本发明的摄像装置例如为8眼结构，即由8个单位摄像部构成的结构。

测定距离、即至被摄物体的距离为500mm时，以8眼摄像机之中彼此的光轴间距离(基线长)短的4个摄像机进行摄像，分配给图像偏移处理，以其余的基线长度长的4个摄像机测定至被摄物体的距离。另外，至被摄物体的距离远达2000mm时，也可以为如下构成，使用8眼进行图像偏移的高析像处理，测距就通过例如分析拍摄的图像的分辨率来判定模糊量、由推定距离这样的处理进行。在前述的500mm的情况下，例如并用TOF(飞行时间Time of Flight)这样的其他测距方法，也可以提高测距的精度。

接着，参照图29A、图29B，对于深度与光轴偏移所引起的图像偏移的效果进行说明。图29A是拍摄考虑为深度Δr的P1、P2的模式。分别距光轴的距离的差(u1-u2)为式(22)。

(u1-u2)＝Δr×u1/H …(22)

在此，u1-u2是由基线长B、摄像距离H、焦距f确实的值。

在此，这些条件B、H、f可加以固定并视为常数。另外，假定通过光轴偏移机构达到理想的光轴关系。Δr和像素的位置(成像于摄像元件上的像距光轴的距离)的关系为式(23)。

Δr＝(u1-u2)×H/u1 …(23)

即，Δr相对于u1成反比例的关系。另外，图29B是作为一例假定像素尺寸6μm，摄像距离600mm，焦距5mm时，导出来自深度的影响收敛于1个像素的范围内的条件。在来自深度的影响收敛于1个像素的范围内的条件下，图像偏移的效果充分，因此如果通过例如缩小视场角等应用而灵活使用，则可以避免因深度造成的图像偏移性能劣化。

以上如所说明的，通过液晶透镜的光轴偏移控制，可以将单独的摄像装置所获得的映像信号合成为高精细的映像。

在前述的说明中，说明的是为了控制入射到摄像元件的光的光轴而使用液晶透镜的例子，但对入射到摄像元件的光的光轴进行控制的光轴偏移控制，以液晶透镜等非固体透镜以外的机构也可以达成，因此以下关于其他实施方式进行说明。

首先，参照图30说明第二实施方式。第二实施方式中的摄像装置是在多个固体透镜和多个摄像元件之间分别配置折射板的摄像装置。图30是表示如下构成的图：将入射面与出射面平行的这种折射板3001配置在固体透镜302与摄像元件15之间，以之取代图2所示的单位摄像部3的液晶透镜301，由使用了压电元件3002的致动器等倾斜机构使之倾斜，由此对光轴进行控制。如图30中的“基于折射板的倾斜的光轴偏移的原理图”所示，根据倾斜角度，折射板3001所造成的光轴偏移量变化，因此入射摄像元件15的位置发生改变，可以进行光轴偏移。但是，由于使折射板3001倾斜而发生的光轴偏移的方向只有一个轴向(图中为Y方向)，因此通过另行配置X方向光轴偏移的折射板，就可以进行两个轴向的光轴偏移，可以在摄像元件面内的任意的方向进行光轴偏移。

接着，参照图31说明第三实施方式。第三实施方式的摄像装置使用多个可变顶角棱镜和多个固体透镜以及多个摄像元件。

如图31所示，通过使用了压电元件3102的致动器等的机构使可变顶角棱镜3101的顶角变化，由此入射光偏向，因此由固体透镜302成像在摄像元件15上的位置改变，可以使光轴偏移。但是这种情况下，光轴偏移的方向如图31所示只有1个轴向，因此通过另行配置X方向光轴偏移的这种可变顶角棱镜，就可以在任意的方向移动光轴。

接着，参照图32说明第四实施方式。第四实施方式的摄像装置使用多个固体透镜和多个摄像元件，通过使用了多个压电元件的致动器等构成的移动机构使固体透镜的全体或一部分沿着与光轴大体垂直的方向移动。在图32中，摄像透镜3209由3个固体透镜3201、3202、3202构成，通过使用了在X方向可移动的压电元件的致动器3204构成的移动机构、和使用了在Y方向可移动的压电元件3205的致动器构成的移动机构，使作为摄像透镜3209一部分的固体透镜3202移动。如图32中的“基于固体透镜的移动的光轴偏移的原理图”所示，由于作为摄像透镜3209的一部分的固体透镜3202移动，入射光发生偏向，由摄像透镜3209成像在摄像元件15上的位置发生改变，可使光轴偏移。通过使其在X、Y方向进行，可以使光轴在摄像元件面上沿XY方向独立偏移。

接着，参照图33说明第五实施方式。第五实施方式的摄像装置，使用多个固体透镜和多个摄像元件，通过使用了压电元件的致动器等构成的移动机构直接使多个摄像元件移动。这时，光轴偏移量的控制不通过摄像透镜进行，而是针对摄像元件15进行。图33中表示的构成是，通过使用了压电元件的致动器等构成的移动机构，直接使图1所示的6个系统的单位摄像部2～7的摄像元件分别移动。如图33所示，通过使用了沿X方向移动的压电元件3302的致动器构成的移动机构、和使用了沿Y方向移动的压电元件3303的致动器构成的移动机构，而使摄像元件15移动，摄像元件15上的成像位置移动，因此可以在XY方向独立进行光轴偏移。

还有，在图30～图33中，作为移动机构使用压电元件作为致动器，但并不限定于此，也可以使用采用了电磁力的电磁致动器(solenoidactuator)、使用了电机和齿轮传动系统的致动器、使用了压力的致动器等的机构。另外，控制机构也并不限于电压控制。关于光轴偏移方向，记述了1轴方向、2轴方向，但并不限定于此。

如此，由于取代液晶透镜等的非固体透镜，通过其他方法进行光轴偏移控制，因此，能够增加实现光轴控制的构成的自由度。特别是，在如移动电话终端等要求轻薄短小的框体中，在不能增大透镜直径、或者不能充分确保焦距的情况下，能够根据构成移动电话终端的部件的设计使用适当的方法。

接着，参照图34A、图34B，说明第六实施方式。在前述的第一实施方式中，存在以摄像距离和摄像元件的像素间距的对应关系不能进行高分辨率化的摄影距离，但如前述所示，进行光轴偏移便能够进行高分辨率化。在此，说明在以摄像距离和摄像元件的像素间距的对应关系不能进行高分辨率化的摄影距离中，与光轴偏移同样地进行焦点位移，从而能够进行高分辨率化。

图34A是说明被摄物体从以摄像距离H0处于点P0的状态、变成处于在距离H1上的点P1的状态的情况的模式图。如图34A所示，焦距为f时，点P0成像于摄像元件M的像素Mn的中心部分，在摄像元件N中成像于像素Nn的边缘的部分，因此错开半个像素量(图34A所示的u’0)而成像。另一方面，点P1的情况下，若焦距为f，则成像位置错开一个像素量(图34A所示的u’1)，因此摄像元件M与摄像元件N的像素的相位大体一致，成为图34B所示的状态。因此，彼此的像素的相位大体一致，不能实现高分辨率。

因此如图34A所示，通过使针孔O’的焦点沿摄像元件N的方向偏移(缩短焦距f)，能够使之从图34B的上图所示的状态变成下图所示的状态，因此摄像元件M和摄像元件N的像素错开半个像素量，从而达到最佳的相位关系。但是，若缩短针孔O’的焦距f直至达到最佳的相位关系，则会发生摄像元件N上的像模糊的情况。缩短针孔O’的焦距f的目的是为了避免摄像元件M和摄像元件N的像素的相位大体一致的状态，因此在摄像元件N上的像不模糊的范围内使之移动即可。

参照图35，说明即使针孔O’沿光轴方向移动(焦距缩短、延长)而被摄物体的像也不会发生模糊的范围。针孔O’移动量(靠近摄像元件的方向)、前方景深和倍率的关系如下。

针孔O’移动量(缩短焦距)＜前景深/倍率 …(24)

针孔O’移动量(延长焦距)＜后景深/倍率 …(25)

在此，

前景深＝容许弥散圆直径×光圈值×摄像距离²/(焦距²+容许弥散圆直径×光圈值×摄像距离)

后景深＝容许弥散圆直径×光圈值×摄像距离²/(焦距²-容许弥散圆直径×光圈值×摄像距离)

倍率＝摄像距离/像点距離≒摄像距离/焦距

景深＝前景深+后景深。

例如，如果焦距5mm、摄像距离600mm、容许弥散圆直径0.006mm、光圈值2mm，则

前景深＝132.2(mm)

后景深＝242.7(mm)

倍率＝120。因此，式(24)、(25)为

针孔O’移动量(缩短焦距)＜1.1(mm)

针孔O’移动量(延长焦距)＜2.0(mm)。

通过在该移动量的范围内控制针孔O’的焦距，可以实现光轴偏移时同样的高分辨率化。

焦距的变更(焦点位移)可以由图3所示的液晶透镜301实现，通过向第一电极303、第二电极304施加电压的方法使液晶层306的折射率分布自由地变化即可。这时，图3所示的电极304a、304b、304c、304d施加相同电压。由此，液晶透镜301作为凸透镜发挥作用，可以使图2所示的光学透镜302的焦距变化。

还有，在图1所示的摄像装置中，也可以对于由各摄像元件14～19和映像处理部26～31得到的多个映像由映像合成处理部38进行图像处理，再构成整体的图像，来检测聚焦信息，经由各控制部32～37驱动各液晶透镜阵列的各液晶透镜，使自动对焦功能工作。通过控制液晶透镜301使之与自动对焦功能联动，可以拍摄活动的被摄物体的高分辨率图像。

接着，参照图36说明第七实施方式。在前述的实施方式中，其构成为全部的摄像元件使用同一规格的元件，图1所示的摄像元件14～19的像素间距相等。因此，成为图34B的上图所示的状态，彼此的像素的相位大体一致的频度变高，有不能实现高分辨率化的情况。

在第七实施方式中，关于图1所示的6个摄像元件14～19分别使用像素间距不同的摄像元件。

在图36中，实线的交点表示摄像元件M的像素，虚线的交点表示摄像元件N的像素。用于高精细化所需要的像素Puv的值，能够根据由位于像素Puv的周围的各个(像素Mi、j，Ni、j)、(像素Mi、j+1，Ni、j+1)、(像素Mi+1、j+1，Ni+1、j+1)和由与像素Puv的距离所决定的加权系数，通过进行滤波计算而求得。例如，作为滤波器如果使用三次样条滤波器(近似三维)，则从处于距离d的像素所取得的加权w为下式。

w＝1-2×d²+d³(0≤d＜1)

＝4-8×d+5×d²-d³(1≤d＜2)

＝0(2≤d)

接着，说明第七实施方式的变形例。在前述的第七实施方式中，是在6个摄像元件中分别使用像素间距不同的摄像元件，但使用相同像素间距的6个摄像元件，通过光学性地改变成像倍率，也可以改变摄像元件的像素间距。即，摄像元件N与摄像元件N的像素间距相同时，通过改变摄像元件M的摄像透镜的倍率(放大或缩小)，在摄像元件M上所形成的像变大或变小，可以避免彼此的像素的相位大体一致。

接着，参照图37说明第七实施方式的另一变形例。图37所示的摄像元件，使一方的摄像元件(摄像元件N)相对于另一方的摄像元件(摄像元件M)，以既定的位置为支点(例如摄像元件的左上角)，使之围着与光轴平行的轴周围旋转而固定配置。这时也与图36所示的情况相同，u轴、v轴向的像素位置不同，因此能够避免彼此的像素间距的相位一致。例如，使一方的摄像元件(摄像元件N)以θ在摄像元件光接收面内旋转时，若摄像元件N的u’轴向的像素间距设为p，则摄像元件M的u轴向(摄像元件N的u’轴向)的像素间距p’为下式。

p’＝p/cosθ

还有，也可以在与摄像元件N的光接收面相垂直的轴(光轴)和u’轴所构成的平面内使之旋转配置。

如此，使图1所示的6个摄像元件14～19各自的像素间距不同，能够避免彼此的像素的相位大体一致，能够防止不能实现高分辨率化。

另外，如图36、37所示，使摄像元件14～19各自的像素间距不同而配置摄像装置，并且组合前述的控制光轴的方向的操作，也可以实现高分辨率化。由此，可以容易地获得高分辨率的图像。

如以上说明的，以往由于摄像元件上的串扰(crosstalk)导致画质劣化发生，高画质化困难，但根据本发明的摄像装置，通过控制入射到摄像元件的光的光轴，能够消除串扰，能够实现可获得高画质的摄像装置。另外，在现有的摄像装置中，通过图像处理读取摄像元件上成像的图像，因此需要使摄像元件的分辨率比所必要的摄像分辨率更大，但在本发明的摄像装置中，能够进行的控制不仅有液晶透镜的光轴方向，而且还能够进行将入射到摄像元件的光的光轴设定在任意的位置上的控制，因此能够减小摄像元件的尺寸，也可以搭载在要求轻薄短小的移动终端等之上。

Claims

1.一种摄像装置，其中，具有：

多个摄像元件；

多个固体透镜，使像分别成像于所述多个摄像元件；

多个非固体透镜，使像分别成像于所述多个摄像元件，且使折射率分布分别变化；

映像合成处理部，对所述多个摄像元件所输出的摄像信号进行合成而生成映像信号；

控制部，对于所述映像信号，求取超过所述多个摄像元件的至少一个摄像元件能够再现的第二映像频率的频带上限之第一映像频率频带的能量，直至所述第一映像频率频带的能量成为最大为止，反复使所述多个非固体透镜的至少一个的折射率分布变化，且使入射到所述多个摄像元件的至少一个的光的光轴偏向。

2.根据权利要求1所述的摄像装置，其中，

所述控制部根据与已知的拍摄对象的相对位置关系来控制入射到所述多个摄像元件的至少一个的光的光轴的方向。

3.根据权利要求1所述的摄像装置，其中，

所述多个摄像元件的一个摄像元件的像素的间距与所述多个摄像元件的其他摄像元件的像素的间距不同。

4.根据权利要求1所述的摄像装置，其中，

将所述多个摄像元件的一个摄像元件与所述多个摄像元件的其他摄像元件按照围着光轴分别以不同的角度旋转的方式配置。

5.根据权利要求1所述的摄像装置，其中，

所述多个固体透镜的一个固体透镜的焦距与所述多个固体透镜的其他固体透镜的焦距不同。

6.根据权利要求1所述的摄像装置，其中，

所述控制部通过使所述非固体透镜的至少一个的折射率分布变化，而使所述多个固体透镜的外在的焦距变更。

7.一种光轴控制方法，是以下摄像装置的光轴控制方法，所述摄像装置具备：多个摄像元件；多个固体透镜，使像分别成像于所述多个摄像元件；多个非固体透镜，使像分别成像于所述多个摄像元件，且使折射率分布分别变化，其中，

对所述多个摄像元件所输出的摄像信号进行合成而生成映像信号，

对于所述映像信号，求取超过所述多个摄像元件的至少一个摄像元件能够再现的第二映像频率的频带上限之第一映像频率频带的能量，直至所述第一映像频率频带的能量成为最大为止，反复使所述多个非固体透镜的至少一个的折射率分布变化，且使入射到所述多个摄像元件的至少一个的光的光轴偏向。

8.根据权利要求7所述的光轴控制方法，其特征在于，

根据与已知的拍摄对象的相对位置关系，控制入射到所述多个摄像元件的至少一个的光的光轴的方向。

9.根据权利要求7所述的光轴控制方法，其特征在于，

通过使所述多个非固体透镜的至少一个的折射率分布变化，而使所述多个固体透镜的外在的焦距变更。