CN100477739C - 复眼摄像装置 - Google Patents

Abstract

一种复眼摄像装置，具有包括光学系统(107a、107b)和摄像元件(108a、108b)且各自的光轴不同的多个摄像系统(106a、106b)，多个摄像系统(106a、106b)包括：第一摄像系统(106b)，具有使成像在摄像元件(108b)上的图像与摄像元件(108b)的相对位置关系变化的像素偏移单元(101)；以及第二摄像系统(106a)，成像在摄像元件(108a)上的图像与摄像元件(108a)的相对位置关系在时间序列的摄影中被固定。

Description

复眼摄像装置

技术领域

本发明涉及具有像素偏移功能的复眼摄像装置。

背景技术

在使用于便携式设备的摄像装置中，需要兼顾高分辨率和小型化。摄像光学透镜的大小、焦距、摄像元件的大小，限制了摄像装置的小型化。

一般地说，由于光的折射率随波长而不同，因此不能用单透镜将包含全波长信息的景色成像在摄影面上。因此，通常的摄像装置的光学系统是将红、绿、蓝波长的光成像在同一摄像面上，所以，成为重叠了多个透镜的结构。在该结构中，摄像装置的光学系统必然变长，摄像装置变厚。因此，作为对摄像装置的小型化、特别是薄型化有效的技术，提出了使用焦距短的单透镜的复眼方式的摄像装置(例如专利文献1)。

复眼方式的彩色图像摄像装置的结构是，将摄像光学系统设置为在平面内并列了担当蓝色波长的光的透镜、担当绿色波长的光的透镜和担当红色波长的光的透镜，并且对各个透镜设置摄像区域。

该摄像区域中，不仅是将多个摄像元件并列配置，也可以将一个摄像元件划分为多个区域。在该结构中，由于限定了各透镜担当的光的波长，因此，能够利用单透镜将被摄体像成像在摄像面上，能够大幅地减小摄像装置的厚度。

图19示出现有的复眼方式摄像装置的一例的主要部分的概略立体图。1900是透镜阵列，一体地成型有3个透镜1901a、1901b、1901c。1901a是担当红色波长的光的透镜，在将红色波长分离滤波器(滤色片)粘贴在受光部上的摄像区域1902a，将成像的被摄体像转换为图像信息。同样地，1901b是担当绿色波长的光的透镜，在摄像区域1902b转换为绿色的图像信息；1901c是与蓝色波长的光相对应的透镜，在摄像区域1902c转换为蓝色的图像信息。

通过叠加合成这些图像，能够取得彩色图像。再有，透镜不需要限定为3个，也可以取得并合成多个同色的图像。

这样地，复眼方式的摄像装置能够使摄像装置的厚度变薄，但在单纯地叠加合成各色图像的情况下，根据分离为各色的图像的像素数来决定合成的图像的分辨率。因此，与锯齿状排列了绿、红、蓝滤波器的拜尔(bayer)排列的摄像装置相比，存在分辨率差的问题。

另一方面，提高摄像装置的分辨率，有叫做“像素偏移”的技术。图20是使用了像素偏移的高分辨率化的概念说明图。该图示出了摄像元件的一部分的放大部分。如图20A所示，在摄像元件中存在将接收的光转换为电信号的光电转换部2101(以下称作“光电转换部”)和不能将传送电极等的光转换为电信号的无效部分2102(以下称作“无效部分”)。在摄像元件中，组合该光电转换部2101和无效部分2102，成为1个像素。该像素通常是以某一固定的间隔(间距)非常规则地形成的。图20A中用粗线包围部分是1个像素，P指出1个间距。

以下，示出使用这样的摄像元件进行的像素偏移的概略。首先，在图20A所示的摄像元件的位置进行摄影。接着，如图20B所示，使各像素的光电转换部2101在倾斜方向(在水平方向和垂直方向上同时移动像素的1/2间距)移动，以便移动到无效部分2102进行摄影。之后，考虑摄像元件的移动量，如图20C所示地合成这2张摄影图像。

这样，从不能够作为原来信号取得的无效部分也能够取得信号。即，图20C的摄像状态与用图20A的摄像元件拍摄的1次的摄像状态相比，成为与具有2倍的光电转换部的摄像元件所拍摄的图像相同的分辨率。从而，如果进行如上所述的图像偏移，则不增加摄像元件的像素数，就能够得到与使用2倍像素数的摄像元件所拍摄的图像相同程度的图像。

再有，不限于例示的在倾斜方向偏移的情况，在水平方向和垂直方向上偏移的情况下，能够在偏移方向上提高分辨率。例如，若在纵横方向上组合偏移，就能够得到4倍的分辨率。此外，像素偏移量不需要限定于0.5像素，通过细分像素偏移来插补无效部分，能够进一步提高分辨率。

此外，在上述的例子中，通过移动摄像元件使摄像元件与入射光线的相对位置关系变化，但像素偏移的方法不限于该方法。例如，也可以取代摄像元件，使光学透镜移动。此外，作为另外的方法，提出了使用平行平板的方法等(例如专利文献1)。在专利文献1中记载的发明中，通过使平行平板倾斜，使成像在摄像元件上的像偏移。

这样地利用像素偏移能够提高分辨率，但是，在像素偏移中，以时间序列拍摄了多个图像之后，进行合成处理，生成高分辨率图像。因此，如果原来进行插补的图像发生偏移，就有分辨率变差的可能性。即，为了利用以时间序列拍摄的多个图像合成高分辨率图像，必须要除去因手抖动等在摄影中摄像装置移动而产生的抖动(以下称作“手抖动”)、和因被摄体移动等而产生的被摄体侧的抖动(以下称作“被摄体抖动”)。

因此，为了利用像素偏移技术补偿为实现小型化和薄型化而采用的复眼方式的缺点即分辨率低下，必须要除去或者补偿像素偏移中的抖动。

提出了几种尽量除去抖动的方法或者补偿抖动的先行技术。其中一个方法是，用三脚架固定摄像机进行摄影。该方法能够降低手抖动的影响。

另一个方法是，使用角速度传感器等抖动检测装置，检测手抖动进行补偿。提出了兼用进行该手抖动补偿的机构和像素偏移机构进行补偿的方法(例如，专利文献2、专利文献3)。

在专利文献2记载的发明中，使用抖动检测装置来检测抖动量，在基于其抖动量进行了像素偏移方向和像素偏移量的补偿之后，使摄像元件移动进行像素偏移。通过这样做，能够降低手抖动的影响。

此外，如上所述地，不需要限定于使摄像元件移动的方法，在专利文献3中，通过与检测到的抖动量相对应地移动光学透镜的一部分，来进行手抖动补偿和像素偏移，得到了同样的效果。作为抖动检测的方法，提出了使用振动陀螺仪等角速度传感器的方法、比较以时间序列拍摄的图像来求出动态向量的方法等多种方法。

另外，作为降低抖动的其他方法，在专利文献3中提出了比较以时间序列拍摄的多个图像，根据手抖动等，只选择图像的位置关系适当偏移而成为能够期待分辨率提高的关系的图像进行合成的方法。该方法全部以电子方式进行，不需要设置进行手抖动补偿的机械结构，能够实现摄像装置的小型化。

但是，利用上述三脚架等进行固定的方法，需要始终手持三角架行走等，极大地损害了的用户的便利性，因此是不实用的。

此外，专利文献2、3记载的利用传感器检测手抖动进行手抖动补偿和像素偏移的方法，需要新的传感器，此外，需要复杂的光学系统等，不利于小型化和薄型化。

另一方面，专利文献3记载的比较以时间序列拍摄的多个图像，仅选择适于合成的图像进行合成的方法，虽然不需要新增加传感器，但需要期待图像能够因手抖动等而偶然来到适当位置，因此，未必能确实地提高分辨率。

专利文献1：日本特开平6-261236号公报

专利文献2：日本特开平11-225284号公报

专利文献3：日本特开平10-191135号公报

发明内容

本发明解决如上所述的现有问题，其目的在于提供一种复眼摄像装置，在进行像素偏移的复眼摄像装置中，在有手抖动或者被摄体抖动的情况下，也能够防止像素偏移效果的降低。

为了达到上述目的，本发明的复眼摄像装置，具有多个包含光学系统和摄像元件且各个光轴不同的摄像系统，上述多个摄像系统包括：第一摄像系统，具有使成像在上述摄像元件上的图像与上述摄像元件的相对位置关系变化的像素偏移单元；以及第二摄像系统，其成像在上述摄像元件上的图像与上述摄像元件的相对位置关系在时间序列的摄影中被固定。

附图说明

图1是表示本发明的第一实施方式涉及的摄像装置结构的方框图。

图2是表示本发明第一实施方式涉及的摄像装置中的整体工作的流程图。

图3是表示本发明的一个实施方式涉及的比较源区域与评价区域的位置关系的图。

图4是表示在本发明的一个实施方式中手抖动引起的图像移动的图。

图5是说明在本发明的一个实施方式中的像素偏移量的调整的图。

图6是本发明的第一实施例涉及的摄像光学系统、像素偏移单元和摄像元件的结构的图。

图7是表示本发明的第二实施方式涉及的摄像装置结构的方框图。

图8是本发明的第二实施方式涉及的摄像装置的整体工作的流程图。

图9是说明本发明的一个实施方式中的视差的图。

图10是说明本发明的一个实施方式中的最佳图像选择方法的图。

图11是说明本发明的一个实施方式中的最佳图像选择方法的另外的图。

图12是表示在本发明的第二实施例中进行1次像素偏移后存储在图像存储器中的图像的图。

图13是表示在本发明的第三实施例中使用不进行存储在图像存储器中的像素偏移的第二摄像系统，以时间序列拍摄的图像的图。

图14是表示在本发明的第三实施例中拍摄的图像和利用被摄体判别单元判别的被摄体群的图。

图15是本发明的第五实施例涉及的摄像光学系统、像素偏移单元和摄像元件的结构图。

图16是本发明的一个实施方式涉及的压电微动机构的平面图。

图17是表示本发明的一个实施方式涉及的光学系统的配置一例的图。

图18是本发明的第三实施方式涉及的摄像装置中的整体工作的流程图。

图19是现有的复眼方式的摄像装置的一例的主要部分的概略立体图。

图20是现有的使用了像素偏移的高分辨率化的概念说明图。

具体实施方式

根据本发明，在利用复眼方式的光学系统的摄像装置的小型化和薄型化的同时，通过比较利用不进行像素偏移的第二摄像系统以时间序列拍摄的图像彼此，能够检测摄像装置的抖动量(手抖动量)。使用该抖动量，能够对用进行像素偏移的第一摄像系统拍摄的图像补偿手抖动。即，能够同时实现摄像装置的小型化及薄型化和高分辨率化。

最好是，在上述本发明的复眼摄像装置中，还具有：图像存储器，存储以时间序列拍摄的多帧的图像信息；抖动量导出单元，比较存储在上述图像存储器中的上述多帧的图像信息，导出抖动量；以及图像合成单元，合成存储在上述图像存储器中的上述多帧的图像。

此外，最好是，基于由上述抖动量导出单元求出的抖动量，决定利用上述像素偏移单元的上述位置关系的变化量。根据该结构，能够根据手抖动量调整像素偏移量，因此有利于分辨率提高。

此外，也可以是，由上述像素偏移单元产生的上述位置关系的变化量被固定的结构。根据该结构，不需要在摄影中导出抖动量并调整像素偏移量，能够缩短时间序列的摄影时刻间隔。这样，减少手抖动，并且，在被摄体的移动快的情况下，也能够拍摄。

另外，最好是，还具有视差量导出单元，该视差量导出单元根据用上述光轴不同的多个摄像系统拍摄的图像求出视差的大小；上述图像合成单元基于由上述视差量导出单元求出的视差量和由上述抖动量导出单元求出的抖动量，修正并合成图像。根据该结构，在修正图像时，除了抖动的补偿，还修正依赖于被摄体的距离的视差，因此，能够进一步提高合成后的图像的分辨率。即，能够防止依赖于被摄体距离的分辨率的降低。

此外，最好是，还具有最佳图像选择单元，该最佳图像选择单元基于由上述抖动量导出单元求出的抖动量和由上述视差量导出单元求出的视差量，从存储在上述图像存储器中的用上述第一摄像系统拍摄的图像信息和用上述第二摄像系统拍摄的图像信息中，选择用于上述图像合成单元的合成的图像信息。根据该结构，由于能够利用第一、第二摄像系统得到抖动前后的图像、有视差的图像和像素偏移后的图像，因此，能够不依赖于偶然性地选择适于提高分辨率的图像。

此外，最好是，还具有判别不同的被摄体的单元；上述抖动量导出单元对上述不同的每个被摄体导出抖动量；上述图像合成单元对上述不同的每个被摄体合成图像。根据该结构，通过按各个被摄体导出抖动量，即使在因被摄体移动而图像整体不均匀移动的情况下，也能够提高分辨率。

此外，最好是，还具有将图像信息分割成多个块的单元；上述抖动量导出单元对上述多个块的每个导出抖动量；上述图像合成单元对上述多个块的每个合成图像。利用该结构，也能够实现被摄体的移动量存在时的分辨率的提高。另外，不需要被摄体的检测，能够缩短处理时间。

此外，最好是，上述光轴不同的多个摄影系统包括处理红色的摄像系统、处理绿色的摄像系统和处理蓝色的摄像系统；在与上述各色对应的摄像系统中，至少与1种颜色对应的摄像系统的个数是2个以上；处理上述相同色的2个以上的摄像系统包含上述第一摄像系统和上述第二摄像系统。根据该结构，能够得到提高了分辨率的彩色图像。

以下，参照附图说明本发明的一实施方式。

(第一实施方式)

图1是表示第一实施方式涉及的摄像装置的结构的方框图。系统控制单元100是控制整个摄像装置的中央运算装置(Central Processing Unit；CPU)。系统控制单元100对像素偏移单元101、传送单元102、图像存储器103、抖动量导出单元104、图像合成单元105进行控制。

利用具有像素偏移单元101的第一摄像系统106b和不具有像素偏移功能的第二摄像系统106a拍摄进行摄影的被摄体(未图示)。利用摄像光学系统107a和摄像光学系统107b将被摄体成像在摄像元件108a、108b上，作为光的强度分布转换为图像信息。

像素偏移单元101使通过摄像光学系统107b成像在摄像元件108b上的被摄体像和摄像元件108b的相对位置关系，在摄像元件108b的面内方向上偏移。即，利用像素偏移单元101，能够使摄像元件108b与入射到摄像元件108b的入射光线的相对位置关系在时间序列的摄影中变化。

另一方面，使摄像光学系统107a与摄像元件108a的位置关系在摄像元件108a的面内方向上不偏移。从而，通过摄像光学系统107a成像在摄像元件108a上的被摄体像与摄像元件108a的相对位置关系，在时间序列的摄影中被固定。即，在第二摄像系统106a中，摄像元件108a与入射到摄像元件108a的入射光线的相对位置关系在时间序列的摄影中被固定。

传送装置102向存储图像的图像存储器103传输由摄像元件108a、108b进行了光电转换的图像信息。

第一摄像系统106b和第二摄像系统106a个别地进行驱动，依次向图像存储器103传送各自的图像并存储。如后所述，使用由第二摄像系统106a拍摄的图像，一边检测抖动量一边调整像素偏移量。因此，第二摄像系统106a能够以高速驱动。即，第二摄像系统106a能够使每个单位时间的图像取入次数增多。

抖动量导出单元104比较由第二摄像系统106a即不进行像素偏移的光学系统在不同时刻(以时间序列)拍摄的图像信息，导出抖动量。虽然在后面详细说明，但设定第一摄像系统106b的像素偏移量，以便能够补偿该抖动量，并且将像素偏移后的图像存储在图像存储器103中。

图像合成单元105用第一摄像系统106b和第二摄像系统106a进行摄影，合成存储在图像存储器103中的图像，生成高分辨率图像。

图2是表示本实施方式的摄像装置中的整体工作的流程图。根据步骤200的摄影开始指令，开始拍摄。当开始拍摄时，首先进行步骤201的摄影前处理。这是进行最佳的曝光时间计算和聚焦处理的步骤。

例如，当被摄体与摄像装置的距离改变时，就有成像距离变化、图像模糊的现象。为了修正该现象，进行摄像光学系统与摄像元件的距离调整(聚焦)。所述聚焦，可以通过使用在已聚焦时拍摄的图像的对比度为最大的特性，用聚焦用致动器(未图示)使摄像光学系统与摄像元件之间(成像距离)变化来实现。

再有，聚焦中不需要一定使用对比度，也可以利用激光、电波等测量被摄体的距离，进行聚焦。

此外，需要在考虑周边环境光等的基础上，调整最佳的曝光时间。其中，有利用照度传感器检测亮度并设定曝光时间的方法、和设置在开始摄影前取入图像的预览功能的方法等。设置预览功能的方法是，对摄影开始前取入的图像赋予灰度等级(gray scale)后，转换为亮度信息。然后，若其直方图(histogram)偏于白色(亮)，就判定为曝光过剩(曝光时间过长)，若直方图偏于黑色(暗)，就判定为曝光不足(曝光时间过短)，调整曝光时间。

此外，在具有预览功能的情况下，通过在摄影开始指令前进行该前处理，就能够缩短从摄影开始指令到开始曝光的时间。

接着，在步骤202进行利用像素偏移的摄影。该摄影中重复执行从步骤203至步骤208的各处理。

步骤203是第二摄像系统106a的曝光处理，步骤204是向图像存储器103传送由第二摄像系统106a拍摄的图像的传送处理。向图像存储器103传送由第二摄像系统106a在不同时刻拍摄的图像。

在步骤205，比较图像存储器103中存储的图像，求出抖动量(摄像装置的抖动量)。在步骤206，基于反映了在步骤205求得的抖动量后进行调整的像素偏移量，利用第一摄像系统106b进行像素偏移并进行摄影。步骤207是第一摄像系统106b的曝光处理，步骤208是向图像存储器103传送用第一摄像系统106拍摄的图像的传送处理。

这些各处理中，首先具体地说明抖动量导出。如上所述，如果在不同时刻进行摄影，由于其间的手抖动或被摄体抖动，在图像中产生抖动。为了利用像素偏移活用图像的无效部分，需要考虑该抖动来决定像素偏移量。

因此，在步骤202中，在进行像素偏移之前取入由不进行像素偏移的第二摄像系统106a在不同时刻拍摄的图像，计算出抖动量，使其反映到像素偏移量。

在步骤205的抖动量的导出处理中，如上所述地求出摄像装置的手抖动量。以下，说明其具体的方法。当有手抖动和被摄体的抖动时，在以时间序列拍摄的图像中，映有被摄体的位置就移动。

若是短的时间间隔，则被摄体的形状不改变，可以看作位置在移动。因此，将摄影时刻不同的2个图像中的一个作为比较源图像，将另一个作为比较对象图像，通过调查该比较源图像的规定区域移动到了比较对象图像的哪个部分，能够求出图像是如何移动的。

更具体地说，为了调查比较源图像内的特定区域(以下称作“比较源区域”)与比较对象图像的哪个区域相对应，在比较对象区域设定与比较源区域相同尺寸的评价区域，评价比较源区域与评价区域的相似程度。之后，依次在另外的位置设定评价区域，在各评价区域一边进行上述评价，一边搜索比较源区域的移动目的地。该情况下，与比较源区域最相似的评价区域，就成为比较源区域的移动目的地。

由于将用摄像元件拍摄的图像看作是与各个像素对应的光强度的集合，因此，若设图像的左上为原点，将朝水平方向向右的第x个、朝垂直方向向下的第y个像素的光强度设为I(x，y)，就可以将图像考虑为是该光强度I(x，y)的分布。

图3中示出比较源区域301与评价区域302的位置关系。在图3的例子中，将比较源区域设定为长方形的形状，该比较源区域的左上的像素位置是(x1，y1)，右下的像素位置是(x2，y2)。该情况下，从比较源区域向右方移动了m个像素、向下方移动了n个像素的评价区域(m，n)，就能够用左上的像素是(x1+m，y1+n)、右下的位置是(x2+m，y2+n)的区域表示。

表示该评价区域与比较源区域的相关(相似程度)的评价值R(m，n)如数学式1所示，用各像素中的光强度差分的绝对值总和表示。

[数学式1]

$R(m,n)=\underset{y=y_1}{\overset{y_2-y_1}{\mathrm{\Σ}}}\underset{x=x_1}{\overset{x_2-x_1}{\mathrm{\Σ}}}|I_1(x,y)-I_2(x+m,y+n)|$

比较源区域与评价区域越相似，两区域中相对应的两像素间的光强度之差就越小。因此，比较源区域与评价区域的光强度分布(图像)的相关越大(相似)，评价值R(m，n)就示出越小的值。

再有，由于比较区域的相关，因此，不需要m、n限于整数，根据原来的光强度I(x，y)新制作内插至各像素间的数据I’(x，y)，基于I’(x，y)利用数学式1计算出评价值R(m，n)，由此能够在整数以下(子像素)导出抖动量。作为数据的内插方法，也可以使用线性插补、非线性插补中的任一方法。

如上所述，为了导出抖动量，改变m、n的值，用子像素的精度搜索评价值与比较源区域最相似的评价区域。该情况下，由于手抖动和被摄体抖动的抖动方向不限定于特定方向，因此，包括负值(在左方向和上方向移动的区域的评价)在内需要对m、n的值进行研究。

此外，也可以改变m、n使得能够评价比较对象图像的全部范围，但是，如果因手抖动等被摄体的成像移动很多，从摄像元件的受光范围脱离，就不能合成为图像，因此，一般地，希望限定m、n在规定的范围内，缩短计算时间。这样发现的评价值R(m，n)成为最小值的m、n的组合，就成为表示与比较源区域对应的比较对象图像的区域位置的抖动量。

再有，比较源区域不必限定于长方形，可以设定任意形状。此外，评价值的计算不需要限定于光强度的差分的绝对值总和，只要是在各区域进行规格化之后求出相关等的、表示相关的函数，就也可以使用任何函数计算评价值。

使用该图像的相关进行比较的方法，也可以在求后述的视差量时使用，另外，也可以使用于像素偏移单元的校正。例如，在利用像素偏移单元进行像素偏移的前后拍摄图像，评价其图像的偏移量，由此，能够确认在周边环境(气温和经时劣化)中用于像素偏移的致动器是否正确地运动。利用这样的处理，能够可靠地进行利用致动器的像素偏移。

以下，参照图4进一步具体地说明手抖动。图4是表示本实施方式中的手抖动引起的图像移动的图。该图示出拍摄被摄体的移动少的风景图像的例子。图4A是被摄体与摄像机平行移动时的图，图4C的A图示出了该情况下的摄影时刻1与2之间的图像的变化。图4B是摄像机横向旋转时的图，图4C的B图示出了该情况下的摄影时刻1与2之间的图像变化。

如图4A所示地摄像装置平行移动的情况、和如图4B所示地旋转移动的情况，都可以看作图像在面内平行移动，但旋转后光轴抖动的情况比如图4C所示地平行移动的情况，对图像的影响更大。图4B是摄像机横向旋转的例子，但纵向旋转的情况也同样。通过这样地修正由于摄像装置的平行移动或者旋转而产生的图像的平行移动，能够进行手抖动的补偿。

再有，摄像装置旋转的情况也可以看作是图像平行移动，但严谨地说是被摄体与透镜的距离发生一部分变化，因此，图像就产生很小的失真。若单纯地重合该发生很小失真的图像，原来重合的部分就不能重合，即使利用像素偏移，高分辨率化的效果也降低。

因此，通过检测该旋转引起的图像失真并进行校正，分辨率进一步提高。此外，以特定的1处评价区域为对象求图像的抖动量，只能够求出图像的平行移动，因此，通过设定多个评价区域，求各个位置的抖动量，就能够求出各个评价区域中的手抖动量和图像失真。随着该图像的失真，使重合的图像变形，因此就能够防止图像劣化，得到高分辨率图像。

下面，具体地说明像素偏移量的调整。图5是说明像素偏移量的调整的图。该图示出了摄像元件的一部分的放大部分，示出了假想的像素偏移向量400、由抖动导出单元检测出的抖动向量401和实际进行的像素偏移向量402。

在完全没有手抖动的情况下，为了有效地活用位于光电转换部404右侧的无效部分405，需要如向量400那样在X方向偏移0.5个像素、在Y方向偏移0个像素。另一方面，向量401示出了通过手抖动在X方向偏移了1.25个像素、在Y方向偏移了1.5个像素的例子。该情况下，如果不调整像素偏移量就进行像素偏移，即如向量400那样在X方向进行0.5个像素的像素偏移，就在合成了向量400和向量401的位置403进行下一次的摄影。该情况下，拍摄与原来想活用的光电转换部404的右侧部分不同的部分。

在此，通过手抖动引起的移动，光轴稍微偏移，但非常微小。因此，向量401的X方向、Y方向的偏移量分别是整数间距(1个像素间距的整数倍)时的图像，就可以看作是与将像素的坐标以整数像素偏移的图像相同的图像。即，不进行像素偏移的第二摄像系统106a在摄影时刻2的摄影，与用不同的像素重叠并拍摄了在摄影时刻1中已经摄影的图像相同。从而，该情况下，在进行像素偏移的第一摄像系统106b中，与完全没有手抖动的情况同样地，通过如向量400那样在X方向偏移0.5个像素，就能够拍摄位于光电转换部404的右侧的无效部分405的部分，能够得到像素偏移的效果。

即，对像素偏移的效果产生影响的是，手抖动中的整数间距以下(小数点以下)的部分。

因此，若设定新的像素偏移向量，使得手抖动中的整数间距以下的部分与向量400的偏移量相同，就能够得到像素偏移的效果。在上述的例子中，抖动向量401的X方向的整数间距以下的部分是0.25个像素，Y方向的整数间距以下的部分是0.5个像素。该情况下，也可以设定新的像素偏移向量，使得X方向的整数间距以下的部分为0.5个像素，Y方向的整数间距以下的部分变为0个像素。

因此，通过如图5的向量402所示地将像素偏移向量设定为在X方向是0.25个像素、在Y方向是0.5个像素，在与手抖动向量401合成时，就成为与根据原来的像素偏移向量400进行了像素偏移的情况相同的位置关系。即，根据本实施方式，由于按照抖动向量来调整像素偏移向量，因此，就能够始终得到像素偏移的效果。

重复执行步骤202的一系列步骤，直到设定的像素偏移的次数结束，之后，在步骤209合成存储在图像存储器中的图像，在步骤210输出图像并结束摄影。以下，示出具体实施例。

(第一实施例)

图6示出了第一实施例涉及的摄像光学系统、像素偏移单元和摄像元件的结构。作为摄像光学系统，使用了2片直径2.2mm的非球面透镜601a、601b。透镜的光轴与图6中的Z轴大致平行，其间隔设为3mm。

在进行像素偏移的第一摄像系统中，在透镜601b的光轴上设置了玻璃板602。玻璃板602能够利用压电致动器和倾斜机构(未图示)相对于X轴、Y轴倾斜。本实施例的结构是，在水平方向(X轴方向)进行像素间距的1/2(1.2μm)的像素偏移，使像素数成为2倍。玻璃板602使用了宽(X轴方向)2mm、高(Y轴方向)2mm、厚(Z轴方向)500μm的光学玻璃即BK7。

作为摄像元件603，使用了相邻像素的间距为2.4μm的黑白CCD603。玻璃板602和摄像元件603的受光面与图6中的XY平面大致平行。此外，将摄像元件603划分为2个区域603a和603b，以便在各光学系统中一对一地对应。通过在摄像元件603的每个区域603a、603b设置读取电路和驱动电路，能够个别地读取各区域603a、603b的图像。

用手保持本实施例涉及的装置，在进行摄影时，在晴天中的屋外风景等、曝光时间短且被摄体移动少的环境中，分辨率提高了。

再有，在本实施例中，作为像素偏移机构使用了使玻璃板倾斜的方法，但不限于该方法。例如，也可以利用使用了压电元件的致动器和电磁致动器等使摄像元件和透镜物理地移动规定量。这样，即使使用其他装置作为像素偏移机构，图6中示出的结构除了玻璃板602以外相同。

此外，在本实施例中，将一个摄像元件划分为不同的2个区域，但也可以与各个光学系统一对一对应地使用不同的2个摄像元件，摄像元件的形式可以是多个摄像区域与各个光学系统一对一对应的任何形式。

(第二实施方式)

图7示出了第二实施方式涉及的摄像装置的结构。与第一实施方式的主要不同点在于，第二实施方式中追加了视差量导出单元700、摄像元件701成一体，在大致同一时刻进行第一摄像系统和第二摄像系统的摄影、以及追加了基于视差量和抖动量选择进行图像合成的图像的最佳图像选择单元702。关于与第一实施方式重复的部分，省略说明。

图8示出了本实施方式涉及的摄像装置的整体工作的流程图。关于步骤200的摄像开始指令和步骤201的摄影前处理，与第一实施方式相同。

在步骤800进行利用像素偏移的摄影。步骤800中重复进行步骤801的摄像元件的曝光处理、步骤802的向图像存储器103传送摄像元件的图像的传送处理、步骤803的像素偏移处理。

摄像元件701是在第一摄像系统106b和第二摄像系统106a中共用的结构，因此，在大致相同的定时进行摄影。此外，像素偏移量是与手抖动量无关的固定值，设定为在没有手抖动时能够有效地活用无效像素的像素值(例如0.5个像素)。

即，步骤800与第一实施方式的图2的步骤202相比，为了调整像素偏移量，省略了在第二摄像系统106a中取入图像、并导出抖动量的步骤(图2的步骤205)。因此，能够使不进行像素偏移就摄影的摄影时刻1和进行像素偏移后摄影的摄影时刻2的间隔变短。这样，消除了手抖动，并且，能够在比第一实施方式快的情况下拍摄被摄体的运动。

在步骤803的像素偏移的摄影结束之后，用与第一实施方式的步骤205同样的方法比较在步骤804中存储在图像存储器103中的图像中的、以时间序列拍摄的图像，求出抖动量。若存在被摄体的移动，抖动量在图像中不是完全均匀的，若一概地求抖动量进行重合，就不能正确地重合，有时分辨率不能提高。

因此，通过将图像分割为块，对各个分割后的块求抖动量，就能够在整个图像中提高分辨率。该分割不限于长方形，也可以是，另外进行被摄体的检测，按每个被摄体进行分割后检测抖动量。

接着，在步骤805中，比较用光轴不同的摄像系统在相同时刻拍摄的图像，求出视差量。在用光轴不同的摄像系统拍摄的情况下，成像的位置不仅移动透镜的中心间距离，而且根据被摄体的距离，成像在摄像元件上的被摄体像的相对位置发生变化。

将该差叫做视差。图9是说明视差的图。在图9中，为了简单，在离开距离D的位置设置了相同特性的2个摄像光学系统1301a、1301b，分别将各摄像光学系统的成像面设为1302a、1302b。

这时，在摄像光学系统1301a和1301b中，从不同的位置观察同一被摄体。因此，在成像面1302a、1302b上成像的图像之间产生视差。用下述数学式2给出视差量Δ。D是摄像光学系统1301a的光轴与摄像光学系统1301b的光轴的间隔，f是摄像光学系统1301a和1301b的焦距，A是被摄体与成像面1302a、1302b的距离。

[数学式2]

Δ＝D·f/(A-f)

在A充分大、被摄体被视为无限远的情况下，视差量Δ可以表示为D·f/A，Δ可以看作是0。该情况下，由摄像光学系统1301a和1301b拍摄的图像可以看作是相同图像。因此，如果修正透镜中心间距离D，就能够直接进行合成处理。

但是，在A小的情况下，视差量Δ成为有限值，不能忽视。即，由摄像光学系统1301a和摄像光学系统1301b拍摄的图像依赖于被摄体的距离，是根据视差有偏移的图像，不能视为相同。因此，不能直接重合并进行合成。

为了修正该视差，需要对每个被摄体求出视差。求该视差时，也可以将在相同时刻拍摄的光轴不同的图像分割为各个块，调查相对应的块移动到了哪个位置作为。通过进行比较上述图像，与求抖动量的情况同样地使用数学式1比较图像，搜索相关高的位置的处理，来实现该处理。

再有，可以根据透镜间距离计算出透镜中心间距离D，也可以在无限远设置成为标识的被摄体，将其图像成像的位置看作透镜的中心进行计算。

此外，块的分割方法不限于该方法，也可以改变像素数和形状进行分割。与抖动导出时不同，产生视差的方向不限于连结摄像元件的原点(摄像元件与各自相对应的光学系统的光轴的交点)的直线方向，也可以在检测视差时沿该方向限定数学式1中的m、n的组合即可。

接着，在步骤806中，在基于抖动量和视差量进行了合成的情况下，选择成为分辨率提高的组合的图像。如上所述，通过像素偏移使分辨率提高，也可以按使重合的像素能够活用无效部分的方式进行偏移，不仅是以时间序列进行了像素偏移的图像，而且在视差和手抖动引起偏移的情况下也能够同样地利用。

图10是最佳图像的选择方法的说明图。本图的斜线部分是在摄像元件上成像的被摄体像。在时刻1，在第二摄像系统的摄影区域1000a和第一摄像系统的摄像区域1000b成像了被摄体像1001a和1001b。设被摄体位于第二摄像系统的中心线上。这时，由于视差，在摄像区域1000b上的偏移了Δ的位置成像着被摄体像1001b。

当向图像存储器103传送各个摄像区域的图像时，作为二维数据存储。以各图像区域的左上点为原点，若用坐标示出被摄体像的位置，则被摄体像1001a的左上的坐标就成为(ax，ay)，被摄体像1001b的左上的坐标由于偏移了相当于视差Δ的量，故成为(ax+Δ，ay)。

接着，在时刻2，第二摄像区域成为1002a，第一摄像区域成为1002b，这时的被摄体像成为1003a、1003b。第一摄像系统通过像素偏移单元向右侧移动0.5个像素。摄像区域1002a上的被摄体像1003a成像在从原点偏移了(bx，by)的位置。

若假设不存在被摄体的移动，则该偏移量是由手抖动引起的偏移。将各个图像区域的图像传送到图像存储器，若用坐标表示，则被摄体像1003a的左上的坐标就成为(ax+bx，ay+by)。由于像素偏移，故摄像区域1002b的坐标原点向右侧偏移0.5个像素。因此，与第二摄像系统的摄像区域1002a相比，在第一摄像系统的摄像区域1002b中，坐标原点向被摄体像1003b接近0.5个像素。此外，与时刻1同样地，被摄体像1003b向右侧偏移相当于视差Δ的量。从而，被摄体像1003b的左上的坐标就成为(ax+bx+Δ-0.5，ay+by)。

图11是最佳图像的选择方法的另外的说明图。可以将偏移量bx和视差量Δ区分为接近于整数间距的情况和接近于在整数间距上加了0.5个像素间距的值的情况。若用整数间距以下的值表现偏移量bx和视差量Δ，则在整数间距的情况下，成为bx＝0、Δ＝0；在整数间距上加了0.5个像素间距的值的情况下，成为bx＝0.5，Δ＝0.5。

图11的bx、Δ示出了整数间距以下的值。图11中的各值是将作为基准的摄像区域1000a的X坐标的值ax作为0，计算出被摄体的各X坐标的值。图11中，用0表示的地方，表示同成为基准的摄像区域1000a的情况相比，将被摄体转换为图像的摄像元件的像素与被摄体的位置关系偏移了整数间距。在用0.5表示的地方，表示偏移了0.5个像素间距。与用0.5表示的部分相对应的图像，是能够有效活用无效部分的图像。

在此，从图11可知，无论视差量Δ、手抖动量bx成为怎样的组合，4张图像中有X坐标值的计算值成为0.5的图像。因此，在任何组合中都能得到有效利用了无效部分的图像。即，不取决于手抖动和被摄体的距离，就能够提高分辨率。

再有，手抖动量和视差量都不是以0.5个像素单位数字式变化的，实际上是连续逐渐变化的。因此，将图11中的bx、Δ的值设为0.5的部分，有时也是接近于0.5的值(例如0.3至0.7的值)。此外，设为0的部分，有时也是接近于0的值(例如小于0.3、大于0.7的值)。另一方面，需要将图像的数据配置在直角坐标系上。因此，也可以在叠加并合成图像时，进行线性修正处理等。

再有，在本实施方式中，以摄像元件的水平方向的像素间距为基准进行了最佳图像的选择，但也可以以倾斜方向的像素间距为基准。此外，也可以根据情况混合像素间距的基准。

(第二实施例)

以下，说明第二实施方式涉及的第二实施例。第二实施例的外观上的结构是与第一实施例的图6相同的结构，关于第二实施例的光学系统、像素偏移机构也与第一实施例相同，省略重复说明。

第二实施例的不同点在于，摄像元件603在大致同一时刻曝光并传送图像，并且，像素偏移机构的驱动量是固定的。

作为进行像素偏移的第一摄像系统，在透镜601b的光轴上设置厚500μm的光学玻璃BK7(图中602)，通过利用压电致动器和倾斜机构倾斜大约0.4度，在水平方向(X轴方向)上进行像素间距的1/2(1.2μm)的像素偏移，使像素数成为2倍。

图12中示出根据该结构，进行1次像素偏移后存储在图像存储器中的图像。将拍摄了第1张图像的时刻作为摄影时刻1，将进行了像素偏移(使玻璃板倾斜后)之后拍摄了第2张图像的时刻作为摄影时刻2。

在本实施例中，拍摄了被摄体的移动十分小的场面(例如风景等)。从而，在摄影时刻1拍摄的图像701和在摄影时刻2拍摄的图像703中没有被摄体抖动。存在抖动的情况是，是在不同的时刻1、2间因手抖动使整个图像移动的情况。

因此，看作是整个图像均匀地移动，比较由不进行像素偏移的第二摄像系统拍摄的摄像时刻1的图像701、和在摄影时刻2用相同摄像系统拍摄的图像703，导出了手抖动量。更具体地说，以使用了上述数学式1的图像比较方法，评价图像701的中央部分(例如100×100像素的区域)是否移动到图像703的哪个区域中，导出了手抖动量。其结果，抖动量在画面上方向是2.2个像素，在横方向是2.5个像素。

该情况下，画面上方向的抖动量2.2个像素中，整数间距以下的值by成为0.2个像素，可以看作by＝0。横方向的抖动量2.5个像素中，整数间距以下的值bx成为0.5个像素，可以看作bx＝0.5。

再有，进行比较的区域的尺寸不需要限定于长方形，也可以任意设定。

此外，通过视差量导出单元，根据摄像时刻1时的摄像图像701和摄像图像702求出了视差量。其结果，由于被摄体距离远，因此在图像的任意区域中，视差量都在0.1像素以下，可以看作Δ＝0。即，可以忽视视差量的分布，看作是整体均匀的视差。

基于这些抖动量和视差量，用最佳图像选择单元选择合成的图像。上述结果相当于图11的Δ＝0、bx＝0.5的部分。最佳图像选择单元就在图11的Δ＝0、bx＝0.5的列中选择相当于0的部分和0.5的部分的图像的组合。

该情况下，由于3张图像的值是0，因此就能选择多个组合。这样，在有多个组合的情况下，当选择在相同时刻进行组合的情况时，被摄体的抖动变小，能得到更高分辨率的图像。

再有，在上述的图11的例子中，说明了将Y轴方向的抖动量的整数间距以下的值by看作by＝0的情况，也可以是看作by＝0.5的情况。该情况下，有助于分辨率提高的图像，就成为在与光电转换部下侧的无效部分相对应的位置拍摄的图像，或者是在与光电转换部的右下部分的无效部分相对应的位置拍摄的图像。

此外，在本实施例中，作为像素偏移单元使用了使玻璃板倾斜的方法，但不限于该方法。例如，也可以利用使用了压电元件的致动器和电磁致动器等使摄像元件和透镜物理地仅移动规定量。

此外，在本实施例中，将一个摄像元件划分为不同的2个区域，但也可以与各个光学系统一对一对应地使用不同的2个摄像元件。摄像元件的形式可以是多个摄像区域与各个光学系统一对一对应的任何形式。

(第三实施例)

本实施例与第二实施例的不同点在于，存在摄影对象的被摄体的移动量(例如人、动物等)。在本实施例中，在拍摄第1张图像并将其数据存储到存储器后进行第2张的拍摄之前的期间，被摄体移动到另外的地方，在第1张的图像和第2张的图像中，拍摄被摄体的一部分像是移动到其他地方那样的场面。

基本结构与第二实施例相同，故省略重复部分的说明。在有被摄体的移动的情况下，整个图像不均匀地移动，如第二实施例那样地，不能根据图像的一部分区域的移动来推断整体的移动。

因此，在第三实施例中具有将图像分割为多个块的块分割单元，对每个块导出抖动量。由系统控制单元100控制块分割单元，将由不进行像素偏移的第二摄像系统106a拍摄的整个第1张图像分割为10×10像素的块。抖动量导出单元104对每个块调查分割后的各个图像与第2幅图像的哪个位置相对应。图像的移动量的导出中使用了数学式1。

图13示出了在本实施例中，存储在图像存储器中的、用不进行像素偏移的第二摄像系统106a以时间序列拍摄的图像。图13A是在摄影时刻1拍摄的图像，图13B是在摄影时刻2拍摄的图像。此外，图13C示出了对每个块导出的图像的移动量。

在图13C中，表示为A的块是在图13A中向右导出了10.1个像素的抖动的块，表示为B的块是在图13A中向左导出了8.8个像素的抖动的块。在该抖动量上，累积手抖动和被摄体的移动。

同样地，关于视差，也可以分割为块后，对各个块求出视差。与第二实施例同样地，从将这些抖动量和视差量合起来的图像中，选出以整数间距(或者接近于整数间距)配置的图像和以0.5个像素间距(或者接近于0.5个像素间距)配置的图像进行了合成时，就能够选出分辨率提高的图像。

这样，通过合成按各个块选出的最佳图像，即使在被摄体的移动很大的情况下，也能够在整个图像中提高分辨率。

再有，通过用户的选择，仅进行手抖动的补偿，主观地不进行被摄体抖动的补偿，通过这样的图像处理，也能够设置强调有移动的场面的跃动感的修正模式。

此外，在被摄体在移动的情况下，在以时间序列拍摄的图像中存在一部分被摄体被遮挡的部分(图13C中用“×”表示的块)。在这样的情况下，只有该部分不进行多个图像的合成，而选择在某特定时刻拍摄的图像，能够得到自然形成的图像。

此外，由于像素偏移技术是提高分辨率的技术，因此，对于摄影对象的被摄体光滑的表面、透镜分辨率以下的细微图形，不具有效果。另一方面，在进行像素偏移之后缩短摄影与摄影之间所需的时间，手抖动和被摄体抖动变小，分辨率提高。

因此，分析已分割为块的图像，是没有像素偏移效果的图像的情况下，对该块中止处理，就能够缩短摄影间隔。一般地，分辨率高的部分若进行傅立叶变换，就发现高频成分很多。因此，在取入图像并进行了块分割之后，分析图像的频率成分，如果是规定条件以下，就中止该部分的抖动量导出和视差计算即可。

此外，在摄影与摄影之间，有进行曝光的时间和从摄像元件向图像存储器传送图像的时间。曝光是整体进行的，故不能省略，但是，只对必要的块进行向图像存储器的传送，由此能够缩短处理时间。

(第四实施例)

本实施例与实施第三实施例的不同点在于，使用了判别图像中的不同被摄体的被摄体判别单元。通过使用被摄体判别单元，就容易对各个被摄体导出抖动量。因此，即使在手抖动以外还存在被摄体抖动这样的、图像中的抖动量不同的情况下，也能够正确地导出抖动量。

此外，在如第三实施例所示地将图像划分为块来导出抖动量的情况下，也能够按各个被摄体进行块划分，或者按各个被摄体来改变块的大小。此外，在进行图像合成时，也能够选择性地仅合成某特定的被摄体。

作为被摄体判别单元，有利用电波等测量与被摄体的距离并识别不同的图像区域的装置、利用图像处理进行边缘检测等判别不同的被摄体的装置、利用视差量从图像中抽出被摄体的方法等。此外，不限于这些，只要能够判别图像中的不同的被摄体，则不限定具体的装置。本实施例中的基本结构与第二实施例相同，故重复部分省略说明。

图14是表示在本实施例中拍摄的图像和利用被摄体判别单元判别的被摄体群的图。在本实施例中，将拍摄的图像划分为10×10像素的块(横11×纵9)，利用电波对各个块测量与被摄体的距离，判别了不同的被摄体。在被摄体的判别中，将在距离的测量中进入某误差范围内的被摄体判别为同一被摄体。在本实施例中，设定误差范围为5％。

图14A是在摄影时刻1用第二摄像系统106a不进行像素偏移就拍摄的图，图14B是在摄影时刻2用第二摄像系统106a不进行像素偏移就拍摄的图。此外，示出了利用电波对每个块测量的距离(单位是米)。也可以是，对于该距离，使用按每个块求出的视差Δ，利用上述数学式1按每个块计算出距离A。

在摄影时刻1拍摄之前，利用电波测量了被摄体的距离，如图14A所示，能够判别2个很大的被摄体群。一个是距离大约为5米处的被摄体群1，另一个是距离大约为2米处的被摄体群2。按照进入到上述的5％的误差范围内的距离，判别了各被摄体群。

在摄影时刻2拍摄之前，利用电波测量了被摄体的距离，如图14B所示地判别了各个被摄体群。在本实施例中，对这些被摄体的各个进行了像素偏移前后的抖动量的导出。

在利用抖动量导出单元导出了各个被摄体群的抖动量时，关于被摄体群1，在图中左方向导出了10.3个像素间距的抖动。图中将该抖动作为1个块的抖动进行表示。关于被摄体群2，由于被摄体抖动大，一部分从图像中溢出，因此，不能正确地导出被摄体整体的抖动量。

因此，在本实施例中，在摄影时刻2拍摄的图像中，只有被摄体群1进行抖动补偿并进行图像合成。利用最佳图像选择单元选择图像的方法，使用了与第二实施例同样的方法。

更具体地说，被摄体群1的10.3个像素间距的抖动中，整数间距以下的值bx成为0.3个像素，图11中的bx可以看作bx＝0.5。

再有，被摄体群1在向左方移动，因此，也可以将bx的值设为负值-0.5。该情况下，表11中的0.5变为-0.5。此外，Δ＝0、bx＝-0.5时的ax+bx+Δ-0.5的值等于-1，但这是整数间距，所以成为0，与bx＝0.5时相同。

即，bx的正负的差别是，有效活用的无效像素的位置是光电转换部的右侧还是左侧的差别，对分辨率的贡献是相同的。

通过如本实施例这样地使用被摄体判别单元判别不同的被摄体，能够按各个被摄体导出抖动量，因此，能够准确地补偿图像的抖动量。

此外，在不能识别因手抖动和被摄体抖动使图像的一部分从摄影范围内溢出的图像的情况下，也可以在该图像区域不进行利用像素偏移的高分辨率化，从拍摄的多个图像中仅选择1张即可。

(第五实施例)

图15中示出本实施例涉及的摄像系统、像素偏移单元和摄像元件的结构。作为摄像光学系统，使用了直径2mm的非球面透镜1101a～1101d。透镜的光轴与图15中的Z轴大致平行，间隔是2.5mm。在各透镜的前面(被摄体侧)设置了滤色片1102a～1102d，作为仅透过特定波长的波长分离机构。1102a、1102d是透过绿色的滤色片，1102b是透过红色的滤色片，1102c是透过蓝色的滤色片。

1103a～1103d是与各透镜一一对应的4个摄像元件，共用驱动电路，同步地工作。通过合成由各光学系统(颜色充分)拍摄的图像，能够得到彩色图像。摄像元件的像素间距在本实施例中是3μm。

此外，与图15中的X轴平行且等间隔地设置了各透镜和摄像元件，各摄像元件的受光面与图15中的XY平面大致平行。

1104是作为像素偏移单元的压电微动机构。作为进行像素偏移的第一摄像系统，摄像元件1103a～1103c安装在压电微动机构1104上，使得能够在图中X方向和Y方向被驱动。1103d成为与压电微动机构独立的、不进行像素偏移的第二摄像系统。

图16是压电微动机构1104的平面图。在中央部分的工作台1201上设置了摄像元件1103a～1103c。利用层叠型压电元件1202a、1202b使工作台1201在图中的X轴方向微动，利用层叠型压电元件1202a～1202d使工作台固定架1202在图中的Y轴方向上微动。这样，就能够使摄像元件在摄像元件的水平面内正交的2个轴方向上独立地微动。

在本实施例中，根据1次摄影指令，一边进行像素偏移一边各摄像元件进行了4张图像的拍摄。通过第1张的拍摄，得到与4个摄像元件1103a～1103d分别对应的4张图像。成为3个摄像元件1103a～1103c在X方向和Y方向上一边每次移动0.5个像素间距(1.5μm)一边进行摄影的结构。具体地说，在不进行像素偏移的状态下进行第1张的拍摄，在X方向移动了0.5个像素间距后进行第2张的拍摄，接着在保持X方向位置的状态下在Y方向上移动0.5个像素间距，进行第3张的拍摄，最后在保持Y方向位置的状态下在X方向上移动-0.5个像素间距，进行第4张的拍摄。通过合成这4张图像，就得到了高分辨率的图像。

首先，根据使用不进行像素偏移的第二摄像系统的透镜1101d以时间序列拍摄的多个图像，导出了各个摄影时刻的抖动量。此外，利用视差量导出单元，根据用安装了绿色滤色片1102a的第一摄像系统和安装了绿色滤色片1102d的第二摄像系统拍摄的第1张图像，求出了视差量。这是因为，使用同色的滤色片拍摄的图像容易进行图像比较，能够更精密地求出视差量。

接着，基于导出的抖动量和视差量，用最佳图像选择单元选择进行图像合成的图像，合成了各色的图像。为了生成彩色图像，在各像素中需要三元色的亮度数据。第一摄像系统和第二摄像系统这两者包含绿色的图像数据，所以能够提高分辨率。

另一方面，关于红色和蓝色的图像，由于没有不进行像素偏移而拍摄的图像，有时根据抖动量和视差量，得不到偏移了0.5个像素的(利用了无效部分)的图像，分辨率没有提高。

但是，通常人眼较多地接受有关绿色的信息，因此，即使蓝色和红色的分辨率比绿色差，在拍摄自然风景、人物等时也很难受到影响。此外，已知在图像的局部区域，绿色与蓝色、红色有很强的相关性，利用该特性，也能根据绿色的图像推测蓝色和红色图像的插补部分。

对于绿色、红色、蓝色的所有各色，如果具有不进行像素偏移的摄像光学系统，则在最佳图像选择单元所选择的图像中，能够确实地包含能够利用无效部分的偏移了0.5个像素的图像，确实地得到高分辨率的图像。

在本实施例中，在一条直线上配置了4个光学系统，但不必限定于该配置。图17示出了4个光学系统的配置的另外一例。图17A是在长方形的顶点配置了4个光学系统的例子。G0、G1表示绿色的波长分离机构(滤色片)，R表示红色的波长分离机构，B表示蓝色的波长分离机构。

图17B是说明在图17A的配置中导出视差量的图。视差量的导出，使用在对角线上配置的绿色的摄像系统。由于4个光学系统配置为长方形的长方形状，因此，其他的红色和蓝色的摄像系统的视差，成为绿色的摄影系统中的视差量的正交成分。

此外，在本实施例中，在透镜的前面设置滤色片进行波长分离，但也可以在透镜和摄像元件之间设置滤色片，或者在透镜上直接形成滤色片。

另外，滤色片不需要限定于R、G、B的三元色，也可以使用补色滤色片来分离波长，并利用图像处理来反转并合成彩色信息。

再者，波长分离机构不限于滤色片。例如，在利用了使用玻璃板使其倾斜的机构作为像素偏移单元的情况下，也可以使用彩色玻璃板作为该玻璃板。这样，作为波长分离机构，只要是能分离规定波长成分的机构，就不限定具体的机构。

说明比较用处理绿色的光学系统拍摄的图像并导出了视差及抖动量的例子，但不需要限于绿色，通过在第一摄像系统和第二摄像系统中配置同色的波长分离机构，能够得到同样的结果。

(第三实施方式)

图18是表示第三实施方式的摄像装置中的整体工作的流程图。上述第二实施方式是首先决定像素偏移的工作方法，然后拍摄规定次数的结构。第三实施方式是拍摄张数随拍摄的图像而不同的结构。

在图18中，步骤1500、1501、1503、1504与图8的步骤200、201、801、802相同。图18的结构中，其余的结构与图8的结构不同。在图18的流程图中，在重复进行像素偏移和拍摄的处理步骤1502中的步骤1505求抖动量，在步骤1506选择进行合成的图像。

根据抖动量和视差量，在1次的拍摄得到了合成所需的偏移了0.5个像素间距的多张图像。因此，当进行最初决定的像素偏移工作时，取入相同位置关系的图像，取入对高分辨率化没有贡献的图像。

从而，在步骤1506进行了图像选择之后，在步骤1507找出不足以合成的图像，决定抖动量使得能够得到该图像，在步骤1508执行像素偏移。

重复进行步骤1502的一系列的步骤，一直到得到合成所需的图像，结束步骤1502。之后，在步骤1509导出视差量，在步骤1510合成存储在图像存储器中的图像，在步骤1511输出图像，结束摄影。

利用这样的处理，能够减少像素偏移的次数，将手抖动和被摄体移动的影响抑制在最小程度，能够得到更高分辨率的图像。

工业上的可利用性

如上所述，根据本发明，即使在进行像素偏移时存在手抖动和被摄体抖动，也能够防止像素偏移效果的降低，能够得到高分辨率的图像。因此，本发明在例如数字静像摄像机、便携式电话机等的摄影中十分有用。

Claims (8)

1、一种复眼摄像装置，具有多个包含光学系统和摄像元件且各个光轴不同的摄像系统，其特征在于，上述多个摄像系统包括：

第一摄像系统，具有使成像在上述摄像元件上的图像与上述摄像元件的相对位置关系变化的像素偏移单元；

第二摄像系统，其成像在上述摄像元件上的图像与上述摄像元件的相对位置关系在时间序列的摄影中被固定；

图像存储器，存储以时间序列拍摄的多帧的图像信息；

抖动量导出单元，比较存储在上述图像存储器中的上述多帧的图像信息，导出抖动量；以及

图像合成单元，合成存储在上述图像存储器中的上述多帧的图像。

2、如权利要求1所述的复眼摄像装置，其特征在于，基于由上述抖动量导出单元导出的抖动量，决定由上述像素偏移单元产生的上述位置关系的变化量。

3、如权利要求1所述的复眼摄像装置，其特征在于，由上述像素偏移单元产生的上述位置关系的变化量被固定。

4、如权利要求1所述的复眼摄像装置，其特征在于，

还具有视差量导出单元，该视差量导出单元根据用上述光轴不同的多个摄像系统拍摄的图像求出视差的大小；

上述图像合成单元基于由上述视差量导出单元求出的视差量和由上述抖动量导出单元求出的抖动量，修正并合成图像。

5、如权利要求4所述的复眼摄像装置，其特征在于，

还具有最佳图像选择单元，该最佳图像选择单元基于由上述抖动量导出单元求出的抖动量和由上述视差量导出单元求出的视差量，从存储在上述图像存储器中的用上述第一摄像系统拍摄的图像信息和用上述第二摄像系统拍摄的图像信息中，选择用于上述图像合成单元的合成的图像信息。

6、如权利要求1所述的复眼摄像装置，其特征在于，

还具有判别不同的被摄体的单元；

上述抖动量导出单元对上述不同的每个被摄体导出抖动量；

上述图像合成单元对上述不同的每个被摄体合成图像。

7、如权利要求1所述的复眼摄像装置，其特征在于，

还具有将图像信息分割成多个块的单元；

上述抖动量导出单元对上述多个块的每个导出抖动量；

上述图像合成单元对上述多个块的每个合成图像。

8、如权利要求1所述的复眼摄像装置，其特征在于，

上述光轴不同的多个摄影系统包括处理红色的摄像系统、处理绿色的摄像系统和处理蓝色的摄像系统；

在与上述各色对应的摄像系统中，至少与1种颜色对应的摄像系统的个数是2个以上；

处理上述相同色的2个以上的摄像系统包含上述第一摄像系统和上述第二摄像系统。

Images