CN102362487B - 立体成像设备 - Google Patents

Abstract

与左右成像光学系统的光轴偏离量对应的图像的切出处理被应用到由左右成像单元获取的左右图像，以校正光轴偏离。在该情况下，从根据预先在存储单元中存储的聚焦位置检测的光轴偏离量获取与当前的聚焦位置对应的光轴偏离量(步骤S38)。基于获取的光轴偏离量将用于立体显示的图像的切出处理应用到左右图像(步骤S40)。结果，可以在与聚焦位置(对象距离)无关的情况下良好地校正左右成像光学系统的光轴偏离。

Description

立体成像设备

技术领域

本发明涉及立体成像设备，并且具体地涉及获得具有视差的多个图像的立体成像设备。

背景技术

立体成像设备使用具有视差的水平布置的两个成像单元从左右视点获得同一对象的图像，并且获取用于左眼的图像和用于右眼的图像。所获取的左右图像被输入到能够进行三维(3D)显示的3D显示器，并且被显示为允许左右眼分别观看图像。以这种方式，可以将图像识别为立体图像。

两个成像单元的成像光学系统通常具有相同的性能和特性，并且成像光学系统被调整和并入设备的主体，使得成像光学系统的光轴重合。

然而，两个成像光学系统具有个体差异。因此，如果进行涉及透镜移动的变焦倍率改变，则存在下述问题：两个成像光学系统的光轴根据变焦位置而偏离。很难机械地调整光轴以防止整个变焦范围的光轴偏离。

传统上，为了解决问题，提出了一种立体成像设备，该设备包括存储部件，用于存储每一个变焦位置的两个成像光学系统的光轴偏离，其中，在成像期间根据成像光学系统的变焦位置从存储部件读出对应的光轴偏离，并且，转换基于光轴偏离获得的左右图像之一的坐标以由此匹配左右图像的光轴坐标(专利文献1)。

专利文献2公开了一种立体成像设备，包括：第一透镜镜筒，其包括用于获得用于右眼的成像信息的CCD；第二透镜镜筒，其包括用于获得用于左眼的成像信息的CCD；相机检测电路，其检测第一透镜镜筒和第二透镜镜筒的焦距；ROM，其预先存储在每一个焦距处的第一透镜镜筒和第二透镜镜筒的光轴中心的偏离量，并且由EEPROM等构成；以及，CPU，其基于来自ROM的输出来控制在每一个焦距处的左右CCD对中的至少一个的图像切出区域。

引用列表

专利文献

PTL1：日本专利申请特开No.2006-162991

PTL2：日本专利申请特开No.8-317424

发明内容

技术问题

专利文献1和2公开了通过下述方式来校正由于在两个成像光学系统之间的个体差异导致的光轴偏离的技术：基于对于每一个变焦位置预先获取的光轴偏离量来转换左右眼图像之一的坐标，或者改变图像的切出范围。

然而，即使象在专利文献1和2中所述的发明中那样通过转换所获取的图像的坐标或通过调整图像的切出范围来校正两个成像光学系统的光轴偏离，也存在下述问题：如果聚焦透镜的聚焦位置改变，则两个成像光学系统的光轴偏离。

已经鉴于所述情况建立了本发明，并且本发明的目的是提供一种立体成像设备，所述立体成像设备能够与对象距离(聚焦位置)无关地很好地校正多个成像光学系统的光轴偏离，并且能够获得允许舒适的立体视觉的多个图像。

对于问题的解决方案

为了实现所述目的，本发明的第一方面提供了一种立体成像设备，包括：多个成像单元，其包括成像光学系统和成像元件，所述成像元件用于光电转换通过所述成像光学系统形成的对象图像，并且成像具有视差的多个图像；存储单元，其存储预先检测的所述成像光学系统相对于多个聚焦位置的光轴偏离量；聚焦位置检测单元，其检测所述多个成像光学系统的当前聚焦位置；光轴偏离获取单元，其基于所述成像光学系统的光轴偏离量来获取与由所述聚焦位置检测单元检测的成像光学系统的当前聚焦位置对应的光轴偏离量；成像控制单元，其从多个成像单元获取用于立体图像的多个图像；以及，图像切出单元，其基于与由光轴偏离获取单元对应于当前聚焦位置获取的光轴偏离量来执行从由成像控制单元获取的多个图像中切出用于立体显示的图像的处理。

根据本发明的第一方面，光轴偏离获取单元获取与当前聚焦位置对应的光轴偏离量，并且基于获取的光轴偏离量来向多个图像应用用于立体显示的图像的切出处理。因此，可以与聚焦位置(对象距离)无关地良好地校正多个成像光学系统的光轴偏离量，并且可以获得允许舒适的立体视觉的多个图像。

根据本发明的第二方面，在根据第一方面的立体成像设备中，存储单元根据聚焦位置来存储成像光学系统的各聚焦位置处的光轴偏离量，以作为成像光学系统的光轴偏离量，并且，光轴偏离获取单元包括读取单元，所述读取单元基于当前聚焦位置从存储单元读出对应的光轴偏离量。

根据本发明的第三方面，在根据第一方面的立体成像设备中，存储单元存储指示在两个或更多聚焦位置处的光轴偏离量的信息或用于计算在成像光学系统的聚焦位置处的光轴偏离量的公式，来作为成像光学系统的光轴偏离量，并且光轴偏离获取单元包括计算单元，所述计算单元基于在存储单元中存储的信息和当前聚焦位置来计算光轴偏离量。

根据本发明的第二方面，从存储单元读出与当前聚焦位置对应的光轴偏离量，而根据本发明的第三方面，通过计算来计算光轴偏离量。

根据本发明的第四方面，根据第一方面的立体成像设备进一步包括变焦位置检测单元，其检测多个成像光学系统的当前变焦位置，其中，存储单元进一步存储预先检测的成像光学系统相对于多个变焦位置的光轴偏离量。

除了成像光学系统的聚焦位置之外，还通过变焦位置产生多个成像光学系统的光轴偏离。因此，光轴偏离量根据聚焦位置和变焦位置被预先存储在存储单元中，并且基于在拍摄时的聚焦位置和当前变焦位置，从存储单元读出对应的光轴偏离量。结果，可以与聚焦位置(对象距离)和变焦位置(成像倍率)无关地，良好地校正多个成像光学系统的光轴偏离，并且可以获得允许舒适的立体视觉的多个图像。

根据本发明的第五方面，在根据第四方面的立体成像设备中，存储单元根据变焦位置和聚焦位置来存储成像光学系统的各聚焦位置和各变焦位置处的光轴偏离量，以作为成像光学系统的光轴偏离量，并且，光轴偏离获取单元包括读取单元，读取单元基于当前变焦位置和聚焦位置从存储单元读出对应的光轴偏离量。

根据本发明的第六方面，在根据第四方面的立体成像设备中，存储单元根据成像光学系统的变焦位置来存储指示两个或更多聚焦位置处的光轴偏离量的信息或用于计算成像光学系统的聚焦位置处的光轴偏离量的公式，以作为成像光学系统的光轴偏离量，并且光轴偏离获取单元包括计算单元，计算单元基于根据成像光学系统的当前变焦位置从存储单元读出的信息和当前聚焦来计算光轴偏离量。

根据本发明的第七方面，根据第一至第六方面中的任何一个的立体成像设备包括畸变校正单元，其基于预定的畸变校正公式来校正由成像控制单元获取的多个图像的畸变，并且光轴偏离获取单元获取基于预定的畸变校正公式的畸变校正后的光轴偏离量。

当向从多个成像单元获取的图像应用畸变校正时，通过畸变校正使光轴中心偏离。因此，获取在畸变校正后的光轴偏离量，并且，用于立体显示的图像的切出处理基于获取的光轴偏离量被应用到多个图像。结果，即使执行畸变校正，也可以在不受畸变校正的影响的情况下，校正光轴偏离。

根据本发明的第八方面，根据第七方面的立体成像设备包括畸变校正公式获取单元，其从与成像光学系统的变焦位置对应的畸变校正公式获取与当前的变焦位置对应的预定畸变校正公式。更具体地，因为畸变根据成像光学系统的变焦位置而改变，所以获取与当前的变焦位置对应的用于校正畸变的畸变校正公式。

根据本发明的第九方面，根据第八方面的立体成像设备进一步包括变焦位置检测单元，其检测多个成像光学系统的当前变焦位置，并且，畸变校正公式获取单元包括：存储单元，其根据变焦位置存储与成像光学系统的变焦位置对应的畸变校正公式；以及，读取单元，其基于当前变焦位置从存储单元读出对应的畸变校正公式。

根据本发明的第十方面，在根据第七至第九方面中的任何一个的立体成像设备中，光轴偏离获取单元包括：存储单元，其存储畸变校正之前的光轴偏离量；以及，计算单元，其向预定畸变校正公式赋值从存储单元读出的光轴偏离量，以计算畸变校正后的光轴偏离量。

根据本发明的第十一方面，根据第七至第十方面中的任何一个的立体成像设备进一步包括阴影校正单元，其校正由成像控制单元获取的多个图像的阴影，并且图像切出单元向已经由阴影校正单元进行了阴影校正的图像应用图像的切出处理。在通过阴影校正均衡多个图像的亮度后，执行图像的切出处理。因此，可以形成在切出的多个图像之间没有在亮度上的差别的图像。

根据本发明的第十二方面，在根据第七至第十一方面中的任何一个的立体成像设备中，图像切出单元向通过畸变校正单元的畸变校正后的图像应用图像的切出处理。这使得能够在与图像的切出范围无关的情况下切出在切出图像之间不具有由畸变引起的偏离的图像。

根据本发明的第十三方面，根据第十一或第十二方面的立体成像设备包括：单元，其选择连续拍摄模式，所述连续拍摄模式用于从多个成像单元获取预设数量的时间次序的图像或获取拍摄指令时间段期间的多个图像；以及，内部存储单元，其暂时存储在连续拍摄模式中拍摄的图像，其中，阴影校正单元在连续拍摄模式中的拍摄完成后读出在内部存储单元中存储的多个图像，以执行阴影校正。

根据本发明的第十四方面，根据第七至第十方面中的任何一个的立体成像设备包括：模式选择单元，其选择拍摄模式或再现模式；以及，记录单元，其在记录介质中记录由成像控制单元在由模式选择单元选择的拍摄模式期间获取的多个图像并且与多个获取的图像相关联地记录由畸变校正公式获取单元获取的畸变校正公式和由光轴偏离获取单元获取的光轴偏离量，其中，畸变校正单元和图像切出单元在由模式选择单元选择的再现模式中从记录介质读出多个图像以及与图像相关联地存储的畸变校正公式和光轴偏离量，并且基于畸变校正公式和光轴偏离量来向读出的多个图像应用畸变校正和应用图像的切出处理。不是在拍摄期间执行，而是在再现期间执行图像的畸变校正和切出处理。结果，可以减小在拍摄期间的处理量，并且特别是，在三维(3D)活动图像的拍摄中能够以高帧速率拍摄和记录高清晰度3D活动图像。

根据本发明的第十五方面，在根据第十四方面的立体成像设备中，记录单元在记录介质中记录已经在再现模式中进行了图像的畸变校正和切出处理的图像。

根据本发明的第十六方面，根据第一至第十五方面中的任何一个的立体成像设备包括视差调整单元，其调整从多个成像单元输出的多个图像之间的视差量，其中，在用于立体显示的图像的切出处理时，图像切出单元进一步应用其中基于由视差调整单元调整的视差量来调整切出位置的图像切出处理。

本发明的有益效果

根据本发明，获取预先在光轴调整时记录的并且对应于多个成像光学系统的聚焦位置(对象距离)的光轴偏离量，并且，基于光轴偏离量从图像切出用于立体视觉的图像。因此，可以在与聚焦位置(对象距离)无关的情况下，获得没有用于立体视觉的图像之间的光轴偏离的、允许舒适的立体视觉的多个图像。

附图说明

图1A是根据本发明的从前侧看的立体成像设备的外观的透视图。

图1B是根据本发明的从后侧看的立体成像设备的外观的图。

图2是示出根据本发明的立体成像设备的实施例的框图。

图3是示出根据本发明的在运输之前的光轴调整时的处理的第一实施例的流程图。

图4是示出在运输之前在光轴调整时在EEPROM中记录的表格的第一示例的图。

图5是示出根据本发明的立体成像设备的第一实施例的拍摄操作的流程图。

图6是示出在运输之前在光轴调整时在EEPROM中记录的表格的第二示例的图。

图7是示出在运输之前在光轴调整时在EEPROM中记录的表格的第三示例的图。

图8是示出在畸变校正前后的左右图像的光轴中心的偏离的图。

图9是示出在运输之前的光轴调整时的处理的第二实施例的流程图。

图10A是示出在运输之前的光轴调整时在EEPROM中记录的表格的第四示例的图。

图10B是示出在运输之前的光轴调整时在EEPROM中记录的表格的第四示例的图。

图10C是示出在运输之前的光轴调整时在EEPROM中记录的表格的第四示例的图。

图11是示出与根据本发明的立体成像设备的拍摄模式对应的拍摄操作的流程图。

图12是示出图11中所示的图像处理的第一实施例的流程图。

图13是示出在运输之前的光轴调整时的处理的第三实施例的流程图。

图14是示出基于计算的畸变校正后的光轴偏离量的计算的实施例的流程图。

图15是示出图11中的图像处理的第二实施例的流程图。

图16是示出连续拍摄中的图像处理的第一实施例的流程图。

图17是示出连续拍摄中的图像处理的第二实施例的流程图。

图18是示出连续拍摄中的图像处理的第三实施例的流程图。

图19是示出根据本发明的立体成像设备的成像处理的第一实施例的流程图。

图20是示出根据本发明的立体成像设备的再现处理的第一实施例的流程图。

图21是示出根据本发明的立体成像设备的成像处理的第二实施例的流程图。

图22是示出根据本发明的立体成像设备的再现处理的第二实施例的流程图。

图23是用于描述在图17和18中所示的成像/再现中的第二实施例的图像的切出处理的图。

具体实施方式

以下，将参考附图描述根据本发明的立体成像设备的实施例。

[立体成像设备的外观]

图1A和1B是示出根据本发明的立体成像设备的外观的图。图1A示出从前侧看的立体成像设备的透视图，并且，图1B示出后视图。

立体成像设备(复眼相机)10是数字相机，其可以记录和再现2D/3D静止图像和2D/3D活动图像。如图1A和1B中所示，在薄矩形体相机主体的上表面上布置了快门按钮11和变焦按钮12。

在相机主体的前侧上布置了镜头盖13，其具有与相机主体的水平方向上的宽度大体相同的宽度，并且，镜头盖13在相机主体的垂直方向上可移动。通过在由双点划线图示的位置和由实线图示的位置之间在垂直方向上移动镜头盖13，可以同时打开和关闭一对左右成像光学系统14-1和14-2的前侧。折射光学系统的变焦透镜被用作成像光学系统14-1和14-2。可以与通过镜头盖13的打开/关闭透镜的前侧的操作关联地接通/关断相机的电源。

如图1B中所示，在相机主体的后侧上的中心部分处布置了用于3D的液晶监视器16。液晶监视器16可以基于视差屏障将多个视差图像(用于右眼的图像和用于左眼的图像)显示为具有预定的方向性的定向图像。可以将柱状透镜用于3D的液晶监视器16，或者，可以将诸如偏振眼镜或液晶快门眼镜的特殊眼镜用来分别观看用于右眼的图像和用于左眼的图像。

在液晶监视器16的左右布置了各种操作开关。操作开关18A是用于切换静止图像拍摄和活动图像拍摄的开关。操作开关18B是视差调整开关，用于调整用于右眼的图像和用于左眼的图像之间的视差量。操作开关18C是用于切换2D拍摄和3D拍摄的开关。操作开关18D是作为菜单/OK按钮和再现按钮的翘板式键。操作开关18E是多功能十字键。操作开关18F是显示/返回键。

菜单/OK键是操作开关，其具有：菜单按钮的功能，用于指示在液晶监视器16的屏幕上的菜单的显示；以及，OK按钮的功能，用于指示选择的确认和执行等。再现按钮是用于从拍摄模式向再现模式切换的按钮。十字键是用于在垂直和水平四个方向上输入指示的开关，并且分配了微距(macro)按钮、闪光灯按钮和自拍计时按钮等。当选择了菜单时，十字键作为开关(光标移动操作单元)，用于指示从菜单屏幕的项目的选择或从每一个菜单的各种设置项目的选择。十字键的左/右键作为在再现模式中的帧前进(在正向/反向上前进)的按钮。显示/返回按键用于切换液晶监视器16的显示模式，取消菜单屏幕上的指令，或者恢复前一个操作状态。

在图1A中，附图标记15表示立体麦克风。

[立体成像设备的内部构造]

图2是示出立体成像设备10的实施例的框图。

如图2中所示，立体成像设备10主要包括多个成像单元20-1和20-2、中央处理单元(CPU)32、快门按钮11、变焦按钮12、包括各种操作开关的操作单元34、显示控制单元36、液晶监视器16、记录控制单元38、压缩/扩展处理单元42、数字信号处理单元44、AE(自动曝光)检测单元46、AF(自动聚焦)检测单元48、AWB(自动白平衡)检测单元50、VRAM 52、RAM 54、ROM 56和EEPROM 58等。虽然成像单元20-1和20-2获得两个视差图像(具有视差的用于左眼的图像和用于右眼的图像)，但是可以存在三个或更多的成像单元20。

获得用于左眼的图像的成像单元20-1包括：棱镜(未示出)；成像光学系统14-1(图1A和1B)，其包括聚焦和变焦透镜21；光学单元，其包括光圈22和机械快门23；固态成像元件(CCD)24；模拟信号处理单元25；模数转换器26；图像输入控制器27；透镜驱动单元28，其驱动光学单元；光圈驱动单元29；快门控制单元30；以及CCD控制单元31，其控制CCD 24。获得用于右眼的图像的成像单元20-2的构造与获得用于左眼的图像的成像单元20-1相同，并且将不描述具体构造。

CPU 32基于来自操作单元34的输入根据预定的控制程序来管理和控制整个相机的操作。ROM 56存储由CPU 32执行的控制程序和控制所需的各种数据。EEPROM 58存储各种信息，其指示在产品的运输之前的调整时的调整的结果，诸如CCD 24的像素缺陷信息以及校正参数和用于图像处理的表格等。下面将描述在此存储的各种信息的细节。

VRAM 52是暂时存储在液晶监视器16上显示的用于显示的图像数据的存储器。RAM 54包括CPU 32的计算操作区和图像数据的暂时存储区。

在成像光学系统中包括的聚焦和变焦透镜21被透镜驱动单元28驱动来沿着光轴前后移动。CPU 32控制透镜驱动单元28的驱动，以控制聚焦透镜的位置以调整聚焦以聚焦对象，并且根据来自操作单元34中的变焦按钮12的变焦指令来控制变焦透镜的变焦位置以改变变焦倍率。

光圈22例如由可变光圈构成，并且光圈驱动单元29驱动和操作光圈22。CPU 32通过光圈驱动单元29来控制光圈22的打开量(光圈值)，并且控制向CCD 24的入射光的量。

机械快门23打开和关闭光路，以确定在CCD 24中的曝光时间，并且防止在从CCD 24读取图像信号期间不必要的光进入CCD 24，以防止产生污点。CPU 32与对应于快门速度的曝光的结束同步地向快门控制单元30输出快门关闭信号，以控制机械快门23。

CCD 24由二维彩色CCD固态成像元件构成。多个光电二极管被二维地布置在CCD 24的光接收表面上，并且在光电二极管上布置了预定阵列的彩色滤光片。

光电二极管根据入射光的量将通过如上构造的光学单元在CCD光接收表面上形成的对象的光学图像转换为信号电荷。基于根据CPU 32的指令从CCD控制单元31提供的驱动脉冲，从CCD 24依次读出在光电二极管上累积的信号电荷作为与信号电荷对应的电压信号(图像信号)。CCD 24具有电子快门功能，并且通过控制在光电二极管上的电荷累积的时间来控制曝光时间(快门速度)。电子快门控制与快门速度对应的电荷累积开始时间，并且关闭机械快门23以控制曝光结束时间(电荷累积结束时间)。在该实施例中，虽然CCD 24被用作成像元件，但是也可以使用其他构造的成像元件，诸如CMOS传感器。

模拟信号处理单元25向从CCD 24读出的R、G、B模拟信号应用相关双采样(CDS)或放大R、G、B模拟信号，并且模数转换器26将R、G、B模拟信号转换为R、G、B数字信号。

图像输入控制器27包括具有预定容量的行缓冲器，并且暂时累积由模数转换器26进行了模数转换的R、G、B图像信号(CCDRAW数据)，以通过总线60将这些信号存储在RAM 54中。

在3D拍摄模式中，CPU 32以与获得用于左眼的图像的成像单元20-1相同的方式来控制获得用于右眼的图像的成像单元20-2。

AE检测单元46基于在快门按钮11的半按期间输入的图像信号来计算AE控制所需的对象辉度，并且向CPU 32输出指示对象辉度的信号(成像EV值)。CPU 32基于输入的成像EV值根据预定的程序图来设置多个成像单元20-1和20-2中的快门速度(曝光时间)、光圈值和成像灵敏度。

AF检测单元48积分在快门按钮11的半按期间输入的AF区域中的图像信号的高频分量的绝对值，并且向CPU 32输出积分值(AF评估值)。CPU 32将聚焦透镜从近侧向无限远侧移动，以搜索具有由AF检测单元48检测的最大AF评估值的聚焦位置，并且将聚焦透镜移动到该聚焦位置以调整对象(主对象)的聚焦。在活动图像拍摄期间，执行所谓的爬山控制，其用于移动聚焦透镜以总是将AF评估值设置为最大值。

AWB检测单元50基于在成像期间获取的R、G、B图像信号来自动地获得光源类型(场的色温)，并且从存储按光源类型预先设置的R、G、B白平衡增益(白平衡校正值)的表格读出对应的白平衡增益。

数字信号处理单元44包括：白平衡校正电路；灰度转换处理电路(例如，伽马校正电路)；同步电路，其插值与单板CCD的彩色滤光片布置相关联的R、G、B颜色信号的空间偏离以匹配颜色信号的位置；轮廓校正电路；以及，辉度/色差信号生成电路等，并且数字信号处理单元44向在RAM 54中存储的R、G、B图像信号(CCDRAW数据)应用图像处理。更具体地，数字信号处理单元44将R、G、B CCDRAW数据乘以由AWB检测单元50检测到的白平衡增益，以校正白平衡，并且执行预定处理，诸如灰度转换处理(例如，伽马校正)，以将数据转换为包括辉度信号(Y信号)和色差信号(Cr、Cb信号)的YC信号。由数字信号处理单元44处理的YC信号被存储在RAM 54中。

数字信号处理单元44还包括：畸变校正电路，其校正多个成像单元20-1和20-2的成像光学系统的透镜畸变；以及，图像切出处理电路，其从左右视点图像切出预定切出区域的图像，以校正多个成像单元20-1和20-2的成像光学系统的光轴偏离。下面将描述畸变校正电路和图像切出处理电路的处理的细节。

压缩/扩展处理单元42在向存储卡40记录期间根据来自CPU 32的指令来压缩在RAM 54中存储的YC信号，并且扩展压缩并记录在存储卡40中的压缩数据，以将数据转换为YC信号。记录控制单元38将由压缩/扩展处理单元42压缩的压缩数据转换为预定格式的图像文件(例如，用于3D静止图像的MP(多画面)格式的图像文件和用于3D活动图像的移动JPEG、H.264、MPEG4、MPEG4-MVC的活动图像文件)，以在存储卡40中记录图像文件或从存储卡40读出图像文件。

液晶监视器16被用作用于显示拍摄的图像的图像显示单元，并且在各种设置期间用作GUI(图形用户界面)。液晶监视器16还被用作电子取景器，其显示实时取景图像(以下称为“直通图像”)以在拍摄模式中查看视角。为了在液晶监视器16上显示3D图像，显示控制单元36交替地显示由VRAM 52逐个像素地存储的用于左眼的图像和用于右眼的图像。基于在液晶监视器16上布置的视差屏障，从预定距离观察图像的用户的左右眼分别观看逐个像素交替地布置的左右图像。这允许立体视觉。

虽然在图2中未示出，但是立体成像设备10还具有记录和再现由在图1A和1B中所示的立体麦克风15获取的音频信息(音频数据)的功能。

[在产品的运输之前的光轴调整的第一实施例]

接下来，将描述在产品运输之前的调整时在EEPROM 58中存储的用于光轴调整的信息。

图3是示出根据本发明的在运输之前的光轴调整时的处理的第一实施例的流程图。

如图3中所示，指示聚焦透镜的聚焦位置的变量N首先被设置为N＝Near(最近端)(步骤S10)。变量N根据指示最近端的Near(例如1)和指示无限远的Inf(例如n)之间的聚焦位置而改变。

随后，要调整的立体成像设备10和用于调整光轴的调整图被设置为形成预定的位置关系，并且，立体成像设备10的成像光学系统的聚焦透镜被调整为聚焦调整图(步骤S12)。调整图首先被设置到与最近端(Near)对应的对象距离。

随后，聚焦透镜被移动以聚焦调整图，并且在透镜位置(聚焦位置)处获取图像，以获取左右图像(步骤S14和S16)。执行对应点检测，用于从获取的左右图像检测对应的特征点(步骤S18)。例如，可以应用块匹配方法作为用于检测对应点的方法。更具体地，评估在参考(基于)来自左图像的任意像素切出的预定块大小的块和右图像的块之间的重合度，并且，将具有块之间的最大重合度的右图像中的块的参考像素确定为与左图像的任意像素对应的右图像的像素。在块匹配方法中用于评估块之间的重合度的函数的示例包括：使用块中的像素之间的辉度差的平方差的和(SSD)(SSD块匹配方法)。

当检测到对应点时，检测对应点之间的偏离量(如果检测到多个对应点，则检测多个对应点的偏离量的平均值)，并且，将检测到的偏离量设置为在两个成像光学系统之间的光轴偏离量，以与聚焦位置N相关联地在EEPROM 58中存储该量(步骤S20和S22)。

确定是否N达到Inf(n)(步骤S24)。如果“否”，则将变量N递增1(步骤26)，并且，处理进行到步骤S12。将调整图移动到与变量N对应的对象距离，并且执行处理(步骤S12至S24)。同时，如果“是”，则调整处理结束(步骤S28).

以这种方式，作为在改变聚焦透镜的聚焦位置的同时成像调整图以检测光轴偏离量的结果，在EEPROM 58中存储与每一个聚焦位置FN(N＝1，2，...，n)对应的光轴偏离量，如图4中所示。图4中所示的光轴偏离量表示在左右图像之一(例如，右图像)的光轴中心处的坐标值相对于另一个图像(左图像)的光轴中心的坐标值的在垂直(V)方向上的偏离量。

[拍摄操作的第一实施例]

接下来，将参考在图5中所示的流程图来描述根据本发明的立体成像设备10的第一实施例的拍摄操作。

在图5中，CPU 32确定拍摄指令的存在(快门按钮11的全按下(开关S2的接通))(步骤S30)。如果开关S2关断，则在液晶监视器16上显示3D直通图像(步骤S32)。

为了显示3D直通图像，对于从左右成像单元20-1和20-2以时间次序方式顺序获取的左右图像，从图4中所示的表读出与当前聚焦位置对应的左右图像中的光轴偏离量，并且从全视角的图像切出用于3D直通图像的图像，以便补偿光轴偏离量，从而在液晶监视器16上输出图像。

结果，可以在液晶监视器16上显示其中校正了两个成像光学系统的每一个聚焦位置处不同的光轴偏离的3D直通图像。

另一方面，当接通开关S2时，CPU 32开始主拍摄(步骤S34)。

当通过成像获取全视角的左右图像时(步骤S34)，获取聚焦透镜的当前聚焦位置的信息(例如，从聚焦电机(步进电机)的参考位置起的脉冲的数量)，并且，从EEPROM 48读出与所获取的当前聚焦位置(F-pos)对应的光轴偏离量(步骤S38)。

基于读出的光轴偏离量，将左右切出位置移动光轴偏离量，以执行从在切换S36中获取的左右图像的图像的切出处理(步骤S40)。例如，如果光轴偏离量是+2(像素)，则左图像的切出中心在V方向上移位+1像素以切出左图像，并且右图像的切出中心在V方向上移位-1像素以切出右图像。结果，切出图像是其中校正了光轴偏离的图像。

切出的左右图像以预定的压缩格式被压缩，并且被记录在存储卡40中建立的文件中(步骤S42)。

如果成像光学系统是单点聚焦透镜，则如图3和4中所示，基于对于聚焦位置预先存储的光轴偏离量使用与当前聚焦位置对应地读出的光轴偏离量，以切出图像。如果成像光学系统是如实施例中那样的变焦透镜，则对于变焦透镜的每一个变焦位置和聚焦位置获取光轴偏离量。

更具体地，如果变焦透镜的变焦位置包括从在广角端的变焦位置(Z1)至在远摄端的变焦位置(Z10)的10个阶段，则将变焦透镜移动到每一个变焦位置，以对于每一个变焦位置执行从图3的步骤S10至步骤S26的处理，以在EEPROM 58中存储在每一个变焦位置和聚焦位置处的光轴偏离量。

图6是存储在EEPROM 58中存储的每一个变焦位置和聚焦位置处的光轴偏离量的表格的第二示例。

在该情况下，在图5的步骤S38中获取当前变焦位置和聚焦位置，并且，从在图6中所示的表读出与获取的变焦位置和聚焦位置对应的光轴偏离量。

结果，可以切出其中校正了光轴偏离的用于立体视觉的左右图像，而与左右成像光学系统的变焦位置和聚焦位置无关。

虽然图6中所示的表存储与所有的变焦位置和聚焦位置对应的光轴偏离量，但是布置不限于此。如图7中所示，可以检测和存储仅两个聚焦位置(近侧(Near)和无限远(Inf)的聚焦位置)的光轴偏离量，并且，可以通过基于中间聚焦位置线性地插值在两个聚焦位置处的光轴量，来计算在中间聚焦位置处的光轴量。

如果变焦位置接近远摄端并且聚焦透镜的移动较大，则优选的是，检测和存储在近侧、中间和无限远三个聚焦位置处的光轴偏离量，以执行从近侧向中间或从中间向无限远的线性插值，以计算光轴偏离量。

[畸变校正]

接下来，将描述向拍摄的左右图像应用用于校正由于透镜畸变导致的图像的畸变(诸如桶形畸变和枕形畸变)的畸变校正。

存在下述问题：当畸变校正被应用到左右眼时，光轴由于畸变校正而偏离。

例如，假定具有桶形畸变的左图像的光轴中心是OL，并且右眼的光轴中心是OR，如图8中所示，则在图像的畸变校正后的光轴中心分别是OL′和OR′，并且，光轴中心在水平和垂直方向上偏离ΔH和ΔV。

通过向用于计算的高阶多项式的畸变校正公式赋予像素的坐标值来执行畸变校正。因此，有大量的计算，并且例如，如果通过在3D活动图像拍摄期间使用具有高校正精度的畸变校正公式来执行畸变校正，则存在下述问题：难以在高帧率下获得和记录高清晰度(HD)3D活动图像。

因此，在3D活动图像的情况下，不执行畸变校正，或使用低阶畸变校正公式来执行具有低校正精度的畸变校正。

同时，可以在拍摄后和在向存储卡写入前执行3D静止图像的畸变校正。因此，可以使用具有高校正精度的畸变校正公式来执行具有高校正精度的畸变校正。

如果使用具有不同的校正精度的畸变校正公式用于3D活动图像和3D静止图像，则存在下述问题：在畸变校正后的光轴中心根据使用的畸变校正公式而偏离。

在下面的实施例中，将描述即使执行具有不同的校正精度的畸变校正也可以获取没有光轴偏离的图像的方法。

[在产品运输之前的光轴调整的第二实施例]

图9是示出在运输之前的光轴调整时的处理的第二实施例的流程图。

如图9中所示，要调整的立体成像设备10和用于调整光轴的调整图被设置为形成预定的位置关系，并且立体成像设备10的成像光学系统的聚焦位置被调整为聚焦调整图(步骤S50)。

指示拍摄模式的变量M被设置为1(步骤S52)。在此，N＝1表示用于在液晶监视器16上显示3D直通图像的拍摄模式，M＝2表示用于拍摄3D活动图像的拍摄模式，并且，M＝3表示用于拍摄3D静止图像的拍摄模式。

随后，拍摄(获得)调整图，并且获取左右图像(步骤S54和S56)。

与当前拍摄模式N对应的畸变校正被应用到获取的左右图像(步骤S58)。在此用于执行畸变校正的畸变校正公式的校正精度根据拍摄模式N而不同。例如，在用于直通图像的拍摄模式(M＝1)中使用二阶多项式，在用于活动图像的拍摄模式(M＝2)中使用四阶多项式，并且在用于静止图像的拍摄模式(M＝3)中使用六阶多项式。虽然高阶的畸变校正公式可以执行高精度的畸变校正，但是计算量增加。因此，校正精度和计算量具有相互制约的关系。

在步骤S58中的畸变校正后，执行用于检测左右图像的对应特征点的对应点检测(步骤S60)。例如，可以应用块匹配方法作为对应点的检测方法。

当检测到对应点时，检测对应点之间的偏离量(如果检测到多个对应点，则检测对应点的偏离量的平均值)，并且将检测到的偏离量设置为在两个成像光学系统之间的光轴偏离量，以与拍摄模式M相关联地在EEPROM 58中存储该量(步骤S62和S64)。

确定是否M＝4(步骤S66)。如果“否”，则将变量M递增1(步骤S68)，并且处理移动到步骤S58。如果“是”，则调整处理结束(步骤S70)。

结果，对于每一个拍摄模式(M＝1，2，3)，在EEPROM 58中存储光轴偏离量(光轴的偏离量)。

虽然当在图9中未描述当改变聚焦位置和变焦位置时的光轴偏离量的检测和存储，但是对于每一个拍摄模式也检测和存储当改变变焦位置和聚焦位置时的光轴偏离量。与每一个变焦位置对应的畸变校正公式用于步骤S58中的畸变校正。

图10A-10C示出用于示出在EEPROM 58中存储的每一个拍摄模式的光轴偏离量的表的示例。

图10A至10C分别示出用于直通图像的表、用于静止图像的表和用于活动图像的表。每一个表存储对于每个变焦位置的左右图像的光轴偏离量(在V方向上的光轴偏离量)。

仅在3D图像的情况下存储在V方向上的光轴偏离量，这是因为在图像之间的V方向上的光轴偏离是立体视觉的问题。然而，布置不限于此，并且，也可以存储在水平(H)方向上的光轴偏离量。

也在EEPROM 58中存储用于每一个拍摄模式和每一个变焦位置的畸变校正公式。在该情况下，可以对于每一个变焦位置存储畸变校正公式的相同的一般公式，并且，仅每个项的系数被使得对于每一个变焦位置不同，并且被存储。替代地，可以对于每一个变焦位置存储不同的畸变校正公式。

在图10A至10C的表中未示出每一个聚焦位置的光轴偏离量。

[拍摄操作的第二实施例]

接下来，将参考在图11中所示的流程图来描述根据本发明的立体成像设备10的第二实施例的拍摄操作。

可以通过下述方式来设置用于拍摄3D活动图像的拍摄模式(以下称为“3D活动图像拍摄模式”)：通过在图1B中所示的操作开关18A将模式切换到活动图像拍摄模式，并且通过操作开关18C将模式切换到3D拍摄模式。可以通过下述方式来设置用于拍摄3D静止图像的拍摄模式(以下称为“3D静止图像拍摄模式”)：通过操作开关18A将模式切换为静止图像拍摄模式，并且通过操作开关18C将模式切换为3D拍摄模式。

在步骤S80，确定通过操作开关18A和18C将3D活动图像拍摄模式设置为拍摄模式还是将3D静止图像拍摄模式设置为拍摄模式。

如果拍摄模式被确定为3D活动图像拍摄模式，则CPU 32确定活动图像拍摄的指令的存在(快门按钮11的全按(开关S2的接通))(步骤S82)。如果开关S2关断，则在液晶监视器16上显示3D直通图像(步骤S84)。

为了显示3D直通图像，使用用于直通图像的畸变校正公式(二阶多项式)来向从左右成像单元20-1和20-2以时间次序方式顺序获取的左右图像应用畸变校正。从图10A中所示的用于直通图像的表读出与变焦透镜的当前变焦位置对应的左右图像中的光轴偏离量。从畸变校正后的图像切出用于3D直通图像的图像，以便补偿光轴偏离量，并且向液晶监视器16输出该图像。

结果，可以在液晶监视器16上显示如下3D直通图像，其中，校正了在每一个变焦位置和聚焦位置处不同的两个成像光学系统的光轴偏离。

同时，如果接通开关S2，则CPU 32开始拍摄3D活动图像(步骤S86)。

当开始3D活动图像的拍摄时，对从左右成像单元20-1和20-2以时间次序顺序获取的左右图像应用畸变校正、畸变校正、诸如图像的切出处理的成像处理和记录处理(步骤S88)。

[图像处理的第一实施例]

图12是示出在图11中的步骤S88等中的图像处理的第一实施例的流程图。

在图12中，当获取左右图像时(步骤S882)，数字信号处理单元44中的畸变校正电路使用畸变校正公式，该畸变校正公式是用于活动图像的畸变校正公式(四阶多项式)并且对应于变焦透镜的当前变焦位置，以校正获取的左右图像的畸变(步骤S884)。

随后，从图10C的用于活动图像的表读出与当前变焦位置(Z-pos)和聚焦位置对应的光轴偏离量，并且根据光轴偏离量来移动切出范围，以基于读出的光轴偏离量执行从其中校正了畸变的左右图像的图像切出处理(S886)。结果，切出图像是其中校正了光轴偏离的图像。

切出的左右图像以预定的压缩格式被压缩，并且被记录在存储卡40中建立的活动图像文件中(步骤S888)。每次结束一秒预定数量的帧(如果帧速率是60帧/秒，则为60帧)的图像处理时，执行活动图像的记录处理，并且顺序地向活动图像文件添加压缩的活动图像。由立体麦克风15获取的音频数据也每秒被压缩并且被记录在活动图像文件中。

返回图11，再一次确定是否接通了开关S2(步骤S90)。如果开关S2关断，则处理移动到步骤S88，以继续活动图像的处理。当接通开关S2时，结束3D活动图像的拍摄。

同时，如果在步骤S80中确定模式是3D静止图像拍摄模式，则CPU32确定静止图像拍摄的指令的存在(开关S2的接通)(步骤S92)。如果开关S2关断，则在液晶监视器16上显示3D直通图像(步骤S94)。如步骤S84中那样，在液晶监视器16上显示3D直通图像。

当接通开关S2时，CPU 32执行3D静止图像的拍摄(步骤S96)。关于两步行程快门按钮，显而易见的是，在全按之前的半按期间，开关S1被接通，并且执行在主拍摄之前的拍摄准备操作，诸如AE处理和AF处理。

如步骤S88中那样，在主拍摄中，向从左右成像单元20-1和20-2获取的左右图像应用畸变校正、诸如图像的切出处理的图像处理和记录处理(步骤S98)。具有高校正精度的六阶多项式的畸变校正公式用于步骤S98中的畸变校正，并且，基于从图10B的静止图像的表对应于当前变焦位置和聚焦位置读出的光轴偏离量来执行图像的切出处理。

[在产品运输之前的光轴调整的第三实施例]

图13是示出根据本发明的光轴调整时的处理的第三实施例的流程图。使用相同的步骤编号来指定与图9中所示的第二实施例共同的部分，并且将不重复详细说明。

在图13中所示的第三实施例中省略图9中所示的步骤S52、S58、S56和S68的处理。

在图9中所示的第二实施例中，对于直通图像、活动图像和静止图像的每一个拍摄模式检测光轴偏离量，并且将其存储在EEPROM 58中(参见图10A至10C)。在图13中所示的第三实施例中，检测左右图像的对应点以检测左右图像的光轴偏离量(步骤S60和S62)，而不执行在步骤S56中获取的左右图像的畸变校正，并且将检测到的光轴偏离量存储在EEPROM 48中(步骤S64)。与在图9中所示的实施例中相同的是，对于变焦透镜的每一个变焦位置和聚焦位置在EEPROM 48中存储光轴偏离量。

更具体地，在图13中所示的第三实施例中，检测和记录在畸变校正之前的左右图像的光轴偏离量，并且，不检测和存储每一个拍摄模式的光轴偏离量。

在EEPROM 48中存储的每一个变焦位置的光轴偏离量的表用于如图14中所示地计算拍摄时的畸变校正后的光轴偏离量。

在图14中，获取当前拍摄模式的信息和变焦透镜的变焦位置和聚焦位置的信息(步骤S100和S102)。

基于获取的变焦位置和聚焦位置的信息，参考在EEPROM 48中存储的表以获取与变焦位置和聚焦位置对应的光轴偏离量(步骤S104)。基于获取的当前拍摄模式和当前变焦位置，从EEPROM 48获取与当前拍摄模式和变焦位置对应的畸变校正公式(计算公式)。

在步骤S104中获取的光轴偏离量被赋值到获取的公式，以计算畸变校正后的光轴偏离量(步骤S106和S108)。

计算的光轴偏离量用于在图11中所示的步骤S84、S88和S88与在图12中所示的步骤S886中的图像的切出处理。

以这种方式，在EEPROM 48中存储畸变校正之前的光轴偏离量，并且在EEPROM 48中存储的值被应用到在实际图像的切出处理时的畸变校正的公式，以计算畸变校正后的光轴偏离量。结果，可以减小EEPROM 48的存储容量，并且，即使改变固件等(包括畸变校正中的改变)，也可以容易地改变切出位置。

虽然光轴偏离量的表如图10A至10C中所示地存储每一个变焦位置处的光轴偏离量，但是可以仅存储至少两个变焦位置(例如，广角端和远摄端)的光轴偏离量，并且，可以通过下述方式来计算除了存储的变焦位置之外的变焦位置处的光轴偏离量：根据当前变焦位置线性地插值存储的至少两个变焦位置处的光轴偏离量。

[图像处理的第二实施例]

图15是示出在图11的步骤S88等中的图像处理的第二实施例的流程图。使用相同的步骤编号来指定与图12的第一实施例共同的部分，并且，将不重复详细描述。

图15中所示的图像处理的第二实施例与第一实施例不同之处在于：与图12中所示的第一实施例相比，畸变校正的步骤S884之前增加阴影校正的步骤S883。

更具体地，在步骤S883中，基于存储与视角位置对应的阴影校正值的左右图像的表或基于根据视角位置的公式计算的阴影校正值来校正(阴影校正)在步骤S882中获取的左右图像的像素的亮度。

作为阴影校正的结果，在左右图像的亮度的均衡后执行图像的畸变校正和切出处理，并且，可以形成在切出的左右图像之间在亮度上没有差别的图像。

[在连续拍摄中的图像处理的第一实施例]

连续拍摄的图像被看作静止图像，并且，需要与用于3D静止图像的图像处理类似的图像处理。更具体地，需要基于具有高校正精度的畸变校正公式来执行畸变校正。

同时，如果连续的拍摄的成像间隔较短，则不能实时地执行具有高校正精度的畸变校正和图像的切出处理等。

图16是示出在连续拍摄中的图像处理的第一实施例的流程图。

当设置连续拍摄模式并且输入连续拍摄的指令(开关S2的接通)(步骤S110)时，CPU 32获取连续拍摄的一个帧的图像(步骤S112)，并且在RAM 54中暂时存储全视角的左右图像(步骤S114)。

随后，确定开关S2的接通/关断(S116)。如果开关S2接通，则处理移动到步骤S112。如果开关S2关断，则处理移动到步骤S118。更具体地，当开关S2接通时，执行连续拍摄，并且在RAM 54中存储全视角的左右图像。

当开关S2关断时，逐帧地读出在RAM 54中存储的时间次序的左右图像，并且，基于在连续拍摄中的变焦透镜的变焦位置和与连续拍摄模式对应的畸变校正公式来校正畸变(步骤S118)。

随后，计算或者从EEPROM 58读出与在连续拍摄中的变焦透镜的变焦位置、聚焦位置和连续拍摄模式对应的光轴偏离量，并且，从其中基于光轴偏离量校正了畸变的全视角的图像切出用于校正光轴偏离的图像(步骤S120)。

压缩处理等被应用到切出的图像，并且，将图像记录在存储卡40中(步骤S122)。

[在连续拍摄中的图像处理的第二实施例]

图17是示出在连续拍摄中的图像处理的第二实施例的流程图。使用相同的步骤编号来指定与在图16中所示的连续拍摄中的成像处理的第一实施例共同的部分，并且将不重复详细描述。

在图17中所示的连续拍摄中的图像处理的第二实施例与第一实施例不同之处在于：在步骤S116和S118之间增加了步骤S117的处理。

更具体地，在步骤S117中，与每一个视角位置对应的阴影校正被应用到在RAM 54中存储的左右图像，以均衡左右图像的亮度。结果，可以形成在左右图像之间在亮度上没有差别的图像，对于该图像将执行随后阶段的畸变校正和图像的切出处理。

[在连续拍摄中的图像处理的第三实施例]

图18是在连续拍摄中的图像处理的第三实施例的流程图。使用相同的步骤编号来指定与在图16中所示的连续拍摄中的图像处理的第一实施例公共的部分，并且将不重复详细描述。

在图18中所示的连续拍摄中的图像处理的第三实施例与第一实施例不同之处在于：在存储卡40中仅存储在多个连续的拍摄的时间次序的图像中的用户指示存储的图像。

在图18中，当关断开关S2时(步骤S116)，以拍摄的顺序来读出和再现在RAM 54中存储的时间次序的左右图像(步骤S130)。

现在，当通过连续拍摄执行了N次3D图像的拍摄时，从N＝指示拍摄顺序的1至N读出第N个左右图像，并且执行图像的畸变校正和切出(步骤S118和S120)。处理后的左右图像在液晶监视器16上显示为3D静止图像(步骤S132)。

用户在观看在液晶监视器16上显示的3D静止图像的同时确定是否在存储卡40中存储图像(步骤S134)。如果“是”(例如，当接通菜单/OK按钮时)，则在存储卡40中存储在液晶监视器16上显示的3D静止图像。

另一方面，如果“否”(例如，通过十字键的左/右键来指示帧前进)，则处理移动到S130，以从RAM 54读出接下来的左右图像，并且，执行相同的处理。

虽然在实施例中在开关S2接通的同时执行连续的拍摄，但是布置不限于此。当开关S2接通时，可以连续地拍摄预设数量的图像。

[成像/再现处理的第一实施例]

图19和20是示出根据本发明的立体成像设备10的拍摄/再现处理的第一实施例的流程图。

在图19中，当立体成像设备10被设置到拍摄模式以开始拍摄时，在存储卡40中记录的图像文件的标签中写入在拍摄时的拍摄模式(例如，3D活动图像拍摄模式或3D静止图像拍摄模式)、变焦透镜的变焦位置和光轴偏离量(步骤S140)。基于拍摄模式、变焦位置和聚焦位置来计算或者从EEPROM 48读出光轴偏离量。

在图像文件中存储拍摄的全视角的左右图像(活动图像或静止图像)(步骤S142)。

因此，在拍摄时不执行图像的畸变校正和切出处理，并且，在标签中记录校正之前的图像和校正所需的信息。

同时，如图20中所示，当立体成像设备10被设置为再现模式以开始再现时，从在存储卡40中存储的要再现的图像文件读出左右图像和标签信息(步骤S150)。

获取由在标签信息中包括的拍摄模式和变焦位置指定的畸变校正公式，并且，使用畸变校正公式来向读出的左右图像应用畸变校正(步骤S152)。

随后，基于在标签信息中包括的光轴偏离量从畸变校正后的左右图像切出用于校正光轴偏离的图像(步骤S154)。

显示切出的左右图像，使得切出中心在液晶监视器16的屏幕的中心处(步骤S156)，并且结果，显示允许没有光轴偏离的舒适的立体视觉的3D图像。

通过存储全视角的图像，当执行2D画面打印时，可以获得具有较宽视场的画面打印。当用户选择2D再现时，也可以再现切出的图像之一。结果，即使眼睛在3D再现中疲倦并且用户切换到2D再现时，也可以识别3D图像的视角的大小。

虽然在实施例中光轴偏离量被记录为标签信息，但是可以记录光轴中心的坐标或切出范围的对角的坐标来代替光轴偏离量。简而言之，可以记录任何信息，只要该信息是关于可以校正光轴偏离的图像切出的信息。

也可以在存储卡40中记录3D再现中进行了畸变校正和图像的切出处理的图像。在该情况下，可以删除原始图像文件，或可以存在两个图像文件。

[拍摄/再现处理的第二实施例]

图21和22是示出根据本发明的立体成像设备10的拍摄/再现处理的第二实施例的流程图。

在图21中，当立体成像设备10被设置为拍摄模式以开始拍摄时，向拍摄的全视角的左右图像(活动图像或静止图像)应用各种校正处理(步骤S160)。在此的图像处理是除了用于校正左右图像的光轴偏离的图像的切出处理之外的图像处理，并且，该图像处理包括白平衡校正、伽马校正、阴影校正和畸变校正等。

进行图像处理的左右图像被以预定的压缩格式压缩，并且被存储在存储卡40中(步骤S162)。

同时，如图22中所示，当立体成像设备10被设置为再现模式以开始再现时，从在存储卡40中存储的要再现的图像文件读出左右图像(步骤S170)。

随后，执行用于检测左右图像的对应特征点的对应点检测，以获取用于校正左右图像的光轴偏离的信息(步骤S172)。可以通过例如块匹配方法来检测对应点。

基于左右图像之一(例如，左图像)，通过对应点检测来获得与另一图像(右图像)的像素对应的左图像的像素。该对应点检测可以获得其中在左右图像之间可以检测到对应点的区域，并且可以获得其中不能检测到对应点的区域。可以通过下述方式来获取用于校正左右图像的光轴偏离的信息：检测由其中可以检测到左右图像的对应点的区域的四个最外侧围绕的区域。

更具体地，由四侧围绕的区域的中心是用于从整个视角的像素切出用于立体视觉的图像的切出区域，并且被四侧围绕的区域的中心是切出中心。

基于获取的切出区域从全视角的左右图像切出的左右图像被显示为切出中心在液晶监视器16的屏幕的中心处(步骤S174)。结果，显示允许没有光轴偏离的舒适的立体视觉的3D图像。

例如，如图23中所示地从全视角的左右图像切出通过对应点检测获得的由虚线示出的切出区域(由切出起点或切出中心和切出大小指定的区域)，并且，在液晶监视器16上将切出图像(左右重叠部分)显示为用于立体视觉的图像。在该情况下，左右图像的切出中心被匹配和显示。因此，校正了左右图像的光轴偏离(在V方向上的偏离)。

虽然在示例中仅显示了左右图像的重叠部分，但是布置不限于此。在下面的a)至c)中所示的显示也是可能的。

a)在左右图像中不重叠的部分被无改变地显示。结果，三维地显示重叠的部分，并且，二维地显示不重叠的部分。

b)在3D显示中在左右图像中不重叠的部分上布置了诸如画面帧的图案。

c)在3D显示中删除(变黑或变白)左右图像中不重叠的部分。

[其他]

基本上，同一对象存在于从其切出图像的左右图像的切出中心处。因此，执行左右图像的切出的中心部分的MTF(调制传递函数)测量，以计算左右图像之间的在分辨率上的差别。可以改变左右图像的图像质量设置(边缘增强和伽马校正)等，以均衡左右图像的分辨率。

立体成像设备10可以在液晶监视器16上显示3D直通图像，并且，用户在观看3D直通图像的同时操作视差调整开关18B(图1B)，以调整3D图像(活动图像或静止图像)的视差量。

更具体地，可以在+(加)方向或-(减)方向上操作视差调整开关18B，以增加或减少3D图像的视差量(视差调整值)。

可以在图像的切出处理中使用光轴偏离量和视差调整值(左右图像的H方向上的移位量)的信息来切出图像以记录和再现具有用户期望的立体效果而没有在V方向上的光轴偏离的3D图像。

用于执行具有不同的校正精度的畸变校正的多个拍摄模式不限于实施例。也可以包括不执行畸变校正的拍摄模式或诸如鱼眼拍摄模式的用于强调畸变的拍摄模式。

在实施例中，图像的切出处理被应用到畸变校正后的图像。然而，相反地，可以在图像经过用于校正光轴偏离的切出处理后，将畸变校正应用到图像。显然，考虑由于之后的畸变校正的光轴偏离来执行在该情况下的图像的切出处理。

显然，本发明不限于实施例，并且，在不偏离本发明的精神的情况下，可以进行各种改变。

附图标记列表

10...立体成像设备，11...快门按钮，12...变焦按钮，14-1、14-2...成像光学系统，16...液晶监视器，20-1、20-2...成像单元，21...聚焦透镜和变焦透镜，24...CCD，25...模拟信号处理单元，32...中央处理单元(CPU)，34...操作单元，44...数字信号处理单元，54...RAM，56...ROM，58...EEPROM

Claims (15)

1.一种立体成像设备，包括：

多个成像单元，其包括成像光学系统和成像元件，所述成像元件用于光电转换通过所述成像光学系统形成的对象图像，并且成像具有视差的多个图像；

存储单元，其存储预先检测到的所述成像光学系统相对于多个聚焦位置的光轴偏离量；

聚焦位置检测单元，其检测所述多个成像光学系统的当前聚焦位置；

光轴偏离获取单元，其基于由所述存储单元存储的、所述成像光学系统的所述光轴偏离量来获取与由所述聚焦位置检测单元检测到的所述成像光学系统的当前聚焦位置对应的光轴偏离量；

成像控制单元，其从所述多个成像单元获取用于立体图像的多个图像；

图像切出单元，其基于由所述光轴偏离获取单元对应于所述当前聚焦位置所获取的所述光轴偏离量，来执行从由所述成像控制单元获取的所述多个图像中切出用于立体显示的图像的处理；以及

畸变校正单元，所述畸变校正单元校正由所述成像控制单元获取的所述多个图像的畸变，

其中，所述光轴偏离获取单元获取所述光轴偏离量，所述光轴偏离量反映了在所述成像光学系统的光轴偏离中通过由所述畸变校正单元进行的畸变校正所引起的光轴偏离。

2.根据权利要求1所述的立体成像设备，其中

所述存储单元根据所述聚焦位置来存储所述成像光学系统的各聚焦位置处的光轴偏离量，以作为所述成像光学系统的光轴偏离量，并且，

所述光轴偏离获取单元包括读取单元，所述读取单元基于当前聚焦位置从所述存储单元读出对应的光轴偏离量。

3.根据权利要求1所述的立体成像设备，其中

所述存储单元存储指示两个或更多聚焦位置处的光轴偏离量的信息或用于计算所述成像光学系统的聚焦位置处的光轴偏离量的公式，来作为所述成像光学系统的光轴偏离量，并且

所述光轴偏离获取单元包括计算单元，所述计算单元基于在所述存储单元中存储的所述信息和所述当前聚焦位置来计算光轴偏离量。

4.根据权利要求1所述的立体成像设备，进一步包括

变焦位置检测单元，其检测所述多个成像光学系统的当前变焦位置，其中，

所述存储单元还存储预先检测到的所述成像光学系统相对于多个变焦位置的光轴偏离量。

5.根据权利要求4所述的立体成像设备，其中

所述存储单元根据变焦位置和聚焦位置来存储所述成像光学系统的各聚焦位置和各变焦位置处的光轴偏离量，以作为所述成像光学系统的光轴偏离量，并且，

所述光轴偏离获取单元包括读取单元，所述读取单元基于当前变焦位置和聚焦位置从所述存储单元读出对应的光轴偏离量。

6.根据权利要求4所述的立体成像设备，其中

所述存储单元根据所述成像光学系统的变焦位置来存储指示两个或更多聚焦位置处的光轴偏离量的信息或用于计算所述成像光学系统的聚焦位置处的光轴偏离量的公式，以作为所述成像光学系统的光轴偏离量，并且

所述光轴偏离获取单元包括计算单元，所述计算单元基于根据所述成像光学系统的当前变焦位置从所述存储单元读出的信息和当前聚焦来计算所述光轴偏离量。

7.根据权利要求4至6中的任何一项所述的立体成像设备，包括：

所述畸变校正单元，其基于预定的畸变校正公式来校正由所述成像控制单元获取的多个图像的畸变，

畸变校正公式获取单元，其从与成像光学系统的变焦位置对应的畸变校正公式中获取与当前的变焦位置对应的所述预定的畸变校正公式；其中

所述光轴偏离获取单元获取在基于所述预定的畸变校正公式的畸变校正后的光轴偏离量。

8.根据权利要求7所述的立体成像设备，进一步包括：

所述畸变校正公式获取单元包括：

存储单元，其根据变焦位置来存储与所述成像光学系统的变焦位置对应的畸变校正公式；以及，

读取单元，其基于当前变焦位置来从所述存储单元中读出对应的畸变校正公式。

9.根据权利要求7所述的立体成像设备，其中

所述光轴偏离获取单元包括：

存储单元，其存储所述畸变校正之前的光轴偏离量；以及

计算单元，其向所述预定畸变校正公式赋值从所述存储单元读出的光轴偏离量，以计算所述畸变校正后的光轴偏离量。

10.根据权利要求7所述的立体成像设备，进一步包括：

阴影校正单元，其校正由所述成像控制单元获取的多个图像的阴影，其中

所述图像切出单元向已经由所述阴影校正单元进行了阴影校正的图像应用图像的切出处理。

11.根据权利要求7所述的立体成像设备，其中

所述图像切出单元向通过所述畸变校正单元的所述畸变校正后的图像应用图像的切出处理。

12.根据权利要求10所述的立体成像设备，包括：

单元，其选择连续拍摄模式，所述连续拍摄模式用于从所述多个成像单元获取预设数量的时间次序的图像或获取拍摄指令时间段期间的多个图像；以及，

内部存储单元，其暂时存储在所述连续拍摄模式中拍摄的图像，其中，

所述阴影校正单元在所述连续拍摄模式中的拍摄完成后读出在所述内部存储单元中存储的多个图像，以执行所述阴影校正。

13.根据权利要求7所述的立体成像设备，包括：

模式选择单元，其选择拍摄模式或再现模式；以及，

记录单元，其在记录介质中记录由所述成像控制单元在由所述模式选择单元选择的拍摄模式期间获取的多个图像并且与多个获取的图像相关联地记录由所述畸变校正公式获取单元获取的畸变校正公式和由所述光轴偏离获取单元获取的光轴偏离量，其中，

所述畸变校正单元和所述图像切出单元在由所述模式选择单元选择的再现模式中从所述记录介质读出多个图像以及与所述图像相关联地存储的畸变校正公式和光轴偏离量，并且基于所述畸变校正公式和所述光轴偏离量来向读出的多个图像应用畸变校正和应用图像的切出处理。

14.根据权利要求13所述的立体成像设备，其中

所述记录单元在所述记录介质中记录已经在所述再现模式中进行了图像的畸变校正和切出处理的图像。

15.根据权利要求1至6中的任何一项所述的立体成像设备，包括：

视差调整单元，其调整从所述多个成像单元输出的多个图像之间的视差量，其中，

在用于立体显示的图像的切出处理时，所述图像切出单元进一步应用其中基于由所述视差调整单元调整的视差量来调整切出位置的图像切出处理。