CN103782234B - 立体图像捕捉设备和方法 - Google Patents

Abstract

提供了一种具有单一成像光学系统的立体图像捕捉设备，其中获取光圈的初始F值(FNo1)和成像透镜的焦距(f1)(步骤S10和S12)。此后，如果成像透镜的焦距改变为f2时，则通过规定条件表达式(FNo2=FNo1*(f2/f1)²)来计算F值(FNo2)，在该F值的情况下，在调节焦距之前和之后不改变用于从立体图像捕捉设备获取的立体观察的右和左视差图像的立体感觉(步骤S18)，并且控制光圈以达到所计算的F值(FNo2)(步骤S20)。因此，当改变成像透镜的焦距并且执行视角的调节的情况下，可以避免立体感觉改变。

Description

立体图像捕捉设备和方法

技术领域

本发明涉及立体图像捕捉设备，并且特别涉及在相应成像元件上形成经过成像光学系统的不同区域的被摄体图像并且获取通过多个视差图像形成的立体图像的技术。

背景技术

PTL1公开了一种测距设备，该测距设备通过在单眼光学系统的光瞳位置布置具有相互正交偏光轴的两个偏光元件，通过光束分离器分离经过这些偏光元件的光通量，使它们进入两个成像元件，取得两个图像，并且以与相位差AF相同的方式比较两个图像中的被摄体的相位差，来计算离焦量。

而且，PTL1包含通过取得两个图像可以进行立体图像捕捉的描述，特别包含可以通过改变光瞳遮罩的F值来调节在单眼光学系统中取得的立体图像的立体效果的描述(PTL1的段落[0047])。

而且，PTL1描述了通过光学系统的F值选择的三种光瞳遮罩，其中，每种光瞳遮罩都具有离光学系统的光轴相互不同距离的一对开口。随后，在F值小(亮)的情况下，通过使用具有离光轴最远的光瞳区域的光瞳遮罩，保持测距准确度，并且由于当F值变大(暗)时，限制来自外围的光通量，所以选择具有接近光学系统的光轴的一对开口的光瞳遮罩。而且，根据开口F值选择这些光瞳遮罩，并且在F值通过焦距改变时，通过根据焦距切换它，一直启用合适焦点检测。

PTL2描述了一种焦点检测设备，该焦点检测设备在光瞳分割型相位差检测系统中执行焦点检测。在该焦点检测设备中，可互换透镜的最大图像表面离焦量与焦距基本成比例。从而，在焦距等于或大于预定值的情况下，将光圈设置成比开口F值更暗的F值，以执行焦点检测，并且在以下情况下，光圈被设置成比开口F值更暗的F值，以禁止执行焦点检测，或者在根据焦距执行焦点检测的情况下，光圈被设置成比开口F值更暗的F值，以调节F值(PTL2的段落[0053])。

{引用列表}

{专利文献}

PTL1：日本专利申请公开No.2009-168995

PTL2：日本专利申请公开No.2008-242182

发明内容

{技术问题}

在改变成像光学系统的焦距并且调节单眼立体图像捕捉设备中的视角的情况下，存在右和左视差图像的视差(立体效果)根据焦距的改变而改变并且在调节视角时导致奇怪的感觉的问题，并且此外，存在用户不能获得具有用户的期望立体效果的视差图像的问题。

虽然PTL1包含通过改变光瞳遮罩的F值调节立体效果的描述，但是其不包含关于特定立体效果调节的描述。在此，虽然在PTL1中，从三种光瞳遮罩选择任意光瞳遮罩，但是执行该光瞳遮罩选择，以实现最佳焦点检测并且不调节立体效果。

而且，虽然在PTL2中描述的发明中调节光圈的F值，以执行充分焦点检测，但是在PTL2中描述的成像设备初始不取得立体图像。

考虑这样的状况作出本发明，并且其目标在于提供一种立体图像捕捉设备和方法，当改变成像光学系统的焦距时，该立体图像捕捉设备和方法可以防止改变用于立体视觉的视差图像的立体效果。

{问题的解决方案}

为了实现该目标，根据本发明的一方面的立体图像捕捉设备包括：单一成像光学系统，该单一成像光学系统可以调节焦距；成像元件，该成像元件形成经过成像光学系统的不同区域的光瞳分割被摄体图像，光电转换经过不同区域的被摄体图像，并且输出具有不同视差的多个视差图像；光圈，该光圈限制进入到成像元件中的光通量；以及光圈控制装置，该光圈控制装置用于基于在调节成像光学系统的焦距之前和之后的成像光学系统的焦距，控制光圈的F值，其中，当在调节成像光学系统的焦距之前和之后的焦距被假设为f1和f2，并且在调节成像光学系统的焦距之前的光圈的F值被假设为FNo1时，光圈控制装置执行控制，使得在调节成像光学系统的焦距之后的FNo2的F值变为可以根据以下等式设置的F值：

[等式1]

$\mathrm{FNo}2=\mathrm{FNo}1*{\left(\frac{f2}{f1}\right)}^2.$

根据本发明的一方面，在具有单一成像光学系统的立体图像捕捉设备中，控制光圈，从而变为可以被设置并且接近基于在调节成像光学系统的焦距之前和之后的焦距f1和f2从等式1计算的光圈的FNo2的F值的F值。上述等式1表示计算在成像光学系统的焦距从f1改变为f2的情况下不改变用于立体视觉的视差图像的立体效果的F值(FNo2)的条件等式。在成像光学系统的焦距改变并且通过根据上述等式1控制光圈的F值来调节视角的情况下，立体图像的立体效果不改变，并且不导致奇怪的感觉。而且，不管成像光学系统的焦距如何，都可以取得具有用户的期望立体效果的视差图像。

根据本发明的另一方面的立体图像捕捉设备包括：焦距检测装置，该焦距检测装置用于检测成像光学系统的焦距；或者焦距设置装置，该焦距设置装置用于通过手动操作设置成像光学系统的焦距，其中，光圈控制装置获取由焦距检测装置检测的焦距或者由焦距设置装置设置的焦距。

在根据本发明的另一方面的立体图像捕捉设备中，其中，优选的是，光圈控制装置以预定时间间隔，在调节成像光学系统的焦距期间，连续地获取包括焦距的焦距f2，并且基于在调节成像光学系统的焦距之前的焦距f1和以预定时间间隔连续获取的焦距f2，连续地控制光圈的F值。据此，可以在记录运动图像等时改变成像光学系统的焦距的同时，使得视差图像的立体效果不改变。

根据本发明的另一方面的立体图像捕捉设备进一步包括：立体显示装置；以及显示控制装置，该显示控制装置用于基于从成像元件输出的多个视差图像，在立体显示装置上显示立体图像。

根据本发明的另一方面的立体图像捕捉设备包括：亮度检测装置，该亮度检测装置用于检测被摄体亮度；以及曝光条件判定装置，该曝光条件判定装置用于基于由亮度检测装置检测的被摄体亮度，来判定曝光条件，其中，曝光条件判定装置基于由光圈控制装置控制的光圈的F值，来判定除了光圈之外的其他曝光条件。用这种方法，即使根据成像光学系统的焦距的改变控制光圈的F值，也可以使在焦距改变之前和之后取得的视差图像的亮度不改变。

根据本发明的另一方面的立体图像捕捉设备包括：亮度检测装置，该亮度检测装置用于检测被摄体亮度；以及初始F值设置装置，该初始F值设置装置用于基于由亮度检测装置检测的被摄体亮度，来设置光圈的初始F值，其中，在调节成像光学系统的焦距之前的光圈的F值是由初始F值设置装置设置的F值。

在根据本发明的另一方面的立体图像捕捉设备中，当在电源被接通之后经过特定时间段时，初始F值设置装置基于由亮度检测装置检测的被摄体亮度，设置光圈的初始F值。

在根据本发明的另一方面的立体图像捕捉设备中，当在电源被接通之后，初始改变成像光学系统的焦距时，初始F值设置装置基于由亮度检测装置检测的被摄体亮度，来设置光圈的初始F值。

在根据本发明的另一方面的立体图像捕捉设备中，当指令记录在运动图像成像模式下开始，以取得运动图像时，初始F值设置装置基于由亮度检测装置检测的被摄体亮度，来设置光圈的初始F值。

根据本发明的另一方面的立体图像捕捉设备包括：立体效果指定装置，该立体效果指定装置用于指定从成像元件输出的多个视差图像的立体效果的等级；以及初始F值设置装置，该初始F值设置装置用于基于由立体效果指定装置指定的立体效果，来设置光圈的初始F值，其中，在调节成像光学系统的焦距之前的光圈的F值是由初始F值设置装置设置的F值。通过这种方式，即使初始设置可以获取由立体效果指定装置指定的立体效果的F值并且此后改变焦距，也可以使立体效果不改变。

根据本发明的另一方面的立体图像捕捉设备包括：测距装置，该测距装置用于测量被摄体距离；以及焦距检测装置，该焦距检测装置用于检测成像光学系统的焦距，其中，初始F值设置装置设置基于由立体效果指定装置设置的立体效果、由焦距检测装置检测的焦距检测装置、以及由测距装置测量的被摄体距离来设置光圈的初始F值。由于通过成像光学系统的焦距和被摄体距离来改变用于立体视觉的视差图像的立体效果，所以基于成像光学系统的焦距和被摄体距离来设置光圈的初始F值，从而能够获取通过立体效果指定装置指定的立体效果。

在根据本发明的另一方面的立体图像捕捉设备中，当基于成像光学系统的焦距控制光圈的F值时，在超过光圈的极限F值的情况下，光圈控制装置固定极限F值。在光圈达到极限F值之后，当成像光学系统的焦距进一步改变时，由于不可以通过光圈调节立体效果，所以立体效果改变。

在根据本发明的另一方面的立体图像捕捉设备中，当基于成像光学系统的焦距控制光圈的F值时，在超过光圈的极限F值的情况下，光圈控制装置固定极限F值，并且在超过光圈的极限F值的方向上限制成像光学系统的焦距的改变。通过这种方式，虽然成像光学系统的焦距被限制，但是可以保持用于立体视觉的视差图像的立体效果。

在根据本发明的另一方面的立体图像捕捉设备中，优选进一步包括：成像场景检测装置，该成像场景检测装置用于检测成像场景中的改变；以及释放装置，该释放装置用于当成像场景检测装置检测到成像场景改变时，通过光圈控制装置基于成像光学系统的焦距释放对光圈的F值的控制。通常，虽然执行视角的调节，使得在被摄体(目标)被判定之后，被摄体变为期望尺寸，但是在成像场景改变的情况下，考虑改变被摄体并且停止视角的调节。从而，在改变成像场景的情况下，释放用于保持被摄体的立体效果的光圈的F值的控制。在此，在预定条件下再次设置初始F值，并且重新开始保持被摄体的立体效果的光圈的F值的控制。

在根据本发明的另一方面的立体图像捕捉设备中，成像元件包括用于光电转换的第一组像素和第二组像素，第一组像素和第二组像素以矩阵方式布置在成像元件的曝光区域中，第一组像素被限制在光通量的光接收方向上，从而接收仅经过成像光学系统的第一区域的被摄体图像的光，第二组像素被限制在光通量的光接收方向上，从而接收仅经过成像光学系统的第二区域的被摄体的光，并且可以从第一组像素和第二组像素读出多个视差图像。通过这样的方式，可以在一个成像元件中同时获取多个视差图像，并且该设备的尺寸不增长。

而且，本发明提供一种在立体图像捕捉设备中的立体图像捕捉方法，包括：单一成像光学系统，该单一成像光学系统可以调节焦距；成像元件，该成像元件形成经过成像光学系统的不同区域的光瞳分割被摄体图像，光电转换经过不同区域的被摄体图像，并且输出具有不同视差的多个视差图像；光圈，该光圈限制进入到成像元件中的光通量；以及光圈控制装置，该光圈控制装置用于基于在调节成像光学系统的焦距之前和之后的成像光学系统的焦距，控制光圈的F值，其中，当在调节成像光学系统的焦距之前和之后的焦距被假设为f1和f2，并且在调节成像光学系统的焦距之前的光圈的F值被假设为FNo1时，光圈控制装置执行控制，使得在调节成像光学系统的焦距之后的FNo2的F值变为可以根据上述等式设置的F值。

{发明的有益效果}

根据本发明，在单眼立体图像捕捉设备中，通过基于成像光学系统的焦距控制光圈的F值，当成像光学系统的焦距改变时，可以防止用于立体视觉的视差图像的立体效果改变。通过这种方式，在改变成像光学系统的焦距并且调节视角的情况下，可以防止在调节视角时导致的奇怪的感觉，而不改变立体图像的立体效果，并且可以取得具有用户的期望立体效果的视差图像。

附图说明

{图1}图1是图示根据本发明的立体图像捕捉设备的实施例的立体图。

{图2}图2是上述立体图像捕捉设备的后视图。

{图3}图3是图示立体图像捕捉设备的成像元件的配置实例的视图。

{图4}图4是上述成像元件的放大主要组件图。

{图5}图5是图示上述立体图像捕捉设备的实施例的框图。

{图6}图6是图示被摄体深度和聚焦深度之间的关系的视图。

{图7}图7是图示主要在连续地取得右和左视差图像的情况下的光圈控制的第一实施例的流程图。

{图8}图8是图示成像透镜的焦距、光圈的F值以及立体效果(视差)之间的关系的概念图。

{图9}图9是图示主要在连续地取得右和左视差图像的情况下的光圈控制的第二实施例的流程图。

{图10}图10是图示成像元件的另一个配置实例的视图。

{图11}图11是描述通过上述成像元件取得的立体图像的机构的视图。

具体实施方式

以下，根据附图描述根据本发明的立体图像捕捉设备的实施例。

<第一实施例>

[立体图像捕捉设备的总体配置]

图1是图示根据本发明的立体图像捕捉设备的实施例的立体图。图2是上述立体图像捕捉设备的后视图。该立体图像捕捉设备1表示通过成像元件接收经过透镜的光，并且将其转换为数字信号并且将数字信号记录在记录媒体中的数码相机。

立体图像捕捉设备1的相机主体10被形成为横向长的方盒形状，并且透镜单元12和闪光灯21等如图1中所示被布置在正面中。而且，快门按钮22和电源/模式开关24和模式旋钮26等被布置在相机主体10的上表面上。同时，如图2中所示，3D图像显示设备28、变焦按钮30、十字按钮32、菜单/OK按钮34、回放按钮36和返回按钮38等被布置在相机主体10的背面上。

在此，三脚架螺丝孔和电池插入部分以及存储器卡槽通过可打开/可闭合盖被安装在未图示的相机主体10的下表面上，并且将电池和存储器卡装载到这些电池插入部分和存储卡槽中。

透镜单元12包括可折叠变焦透镜，并且通过由电源/模式开关24将相机模式设置为成像模式，从相机主体10伸出。在此，由于透镜单元12的变焦机构和可折叠机构是已知技术，所以省略了它们的特定配置的说明。

闪光灯21将闪光照射至主被摄体。

快门按钮22被形成有通过包括所谓的“半按”和“全按”的两级行程型开关。如果立体图像捕捉设备1在成像模式下被驱动，则当该快门按钮22被“中途按压”时AE/AF操作，并且通过“全按”执行成像。而且，如果立体图像捕捉设备1在成像模式下被驱动，则通过完全按压该快门按钮22执行成像。

电源/模式开关24具有作为接通/断开立体图像捕捉设备1的电源的电源开关的功能、以及作为设置立体图像捕捉设备1的模式的模式开关的功能，并且其可滑动地布置在“关位置”、“回放位置”和“成像位置”之间。立体图像捕捉设备1通过滑动电源/模式开关24并且将其设置到“回放位置”或者“成像位置”被接通，并且通过将其设置到“关位置”被关闭。而且，通过滑动电源/模式开关24并且将其设置到“回放模式”，来设置“回放模式”，并且通过将其设置到“成像模式”，来设置“成像模式”。

模式旋钮26用作用于设置立体图像捕捉设备1的成像模式的成像模式设置装置，并且立体图像捕捉设备1的成像模式通过该模式旋钮的设置位置，被设置到多种模式。例如，其是取得平面图像的“平面图像成像模式”、取得立体图像(3D图像)的“立体图像成像模式”或者取得运动图像的“运动图像成像模式”。

3D图像显示设备28表示用于能够通过视差屏障将立体图像(左视差图像和右视差图像)显示为具有相应预定方向性的方向性图像的立体显示装置。在立体图像被输入3D图像显示设备28中的情况下，在3D图像显示设备28的视差屏障显示层上生成以预定间距交替地布置光发射部分和光屏蔽部分的图案的视差屏障，并且在其下层的图像显示表面上交替地布置示出右图像和左图像的带形图像片段。在其被用作平面图像的显示面板或者用户界面的情况下，在视差屏障显示层上不显示任何东西，并且在其下层的成像显示表面侧上显示一个图像。而且，3D图像显示设备28的模式不限于此，只要可以显示左视差图像和右视差图像从而可被识别为立体图像，使用双凸透镜的模式也是可以的，或者可以通过佩戴诸如偏光眼镜和液晶快门眼镜的专用眼镜分别观看左视差图像和右视差图像的模式是可以的。

变焦按钮30用作用于指令变焦的变焦指令装置，并且包括指令在摄远侧上的变焦的变焦摄远按钮30T和指令在广角侧上的变焦的变焦广角按钮30W。在立体图像捕捉设备1中，在成像模式时，通过操作这些变焦摄远按钮30T和变焦广角按钮30W，改变透镜单元12的焦距。而且，在回放模式时，通过操作这些变焦摄远按钮30T和变焦广角按钮30W，重新调节当前播放的图像。

十字按钮32表示输入上、下、右和左方向的四个方向的指令的操作单元，并且用作从菜单屏幕选择一项并且指令从每个菜单的多种设置项的选择的按钮(光标移动操作装置)。左/右键在回放模式时用作帧前进(向前/向后前进)按钮。

菜单/OK按钮34表示具有作为给出指令以在3D图像显示设备28的屏幕上显示菜单的菜单按钮的功能和作为指令所选内容的固定(fixation)和执行的OK按钮的功能。

回放按钮36表示切换至在3D图像显示设备28上显示成像的和记录的立体图像(3D图像)或平面图像(2D图像)的静止图像或运动图像的回放模式的按钮。

返回按钮38用作给出取消输入操作或者返回到先前操作状态的指令的按钮。

[成像光学系统和成像元件的配置实例]

透镜单元12主要由成像透镜14、光圈16、以及作为相位差图像传感器的成像元件17形成。

成像透镜14表示由包括聚焦透镜和变焦透镜的多个透镜形成的成像光学系统。例如，光圈16由五个光圈叶片形成，并且例如经受以从光圈值(F值)F1至F16的连续或定相方式的光圈控制。在成像模式时，通过成像透镜14和光圈16，在成像元件17的光接收表面上形成指示被摄体的图像光。

图3是图示成像元件17的配置实例的视图。

如图3的部分(a)中所示，成像元件17具有以矩阵方式布置的奇数行的像素(还被称为“A侧像素”的主像素)和偶数行的像素(还被称为“B侧像素”的子像素)，并且可以独立地读取在这些主像素和子像素中经受光电转换的两个区域的图像信号。

如图3的部分(b)中所示，在成像元件17的奇数行(1、3、5…)中，在具有R(红)、G(绿)、和B(蓝)滤色器的像素当中，交替地提供GRGR…的像素阵列的行和BGBG…的像素阵列的行。另一方面，如图3的部分(c)中所示，在偶数行(2、4、6…)中，类似于奇数行，交替地提供GRGR…的像素阵列的行和BGBG…的像素阵列的行，并且关于偶数行的像素，像素在行方向上相互移位1/2间距的同时被布置。

图4是用作相位差图像传感器的成像元件17的放大的主要组件重要图。

如图4的部分(a)中所示，在成像元件17的主像素的光电二极管PD的正面侧(微透镜L侧)上布置光屏蔽件17A，同时如图4的部分(b)中所示，在子像素的光电二极管PD的正面侧上布置光屏蔽件17B。微透镜L和光屏蔽件17A和17B具有作为光瞳分割装置的功能，并且如图4的部分(a)中所示，光屏蔽件17A屏蔽在主像素(光电二极管PD)的光接收表面的左半部分中的光。从而，在主像素中，仅在经过成像透镜14的出射光瞳的光通量的光轴的左侧上接收光。而且，如图4的部分(b)中所示，光屏蔽件17B屏蔽子像素元件(光电二极管PD)的光接收表面的右半部分中的光。从而，在子像素中，仅在经过成像透镜14的出射光瞳的光通量的光轴的右侧上接收光。从而，经过出射光瞳的光通量通过作为光瞳分割装置的微透镜L和光屏蔽件17A和17B被水平地分割，并且进入主像素和子像素中。

而且，在经过成像透镜14的出射光瞳的光通量中的与左半部分光通量相对应的被摄体图像和与右半部分通量相对应的被摄体图像中，虽然在与成像元件17上的位置相同的位置上形成聚焦部分，但是前聚焦或后聚焦部分进入成像元件17(相位移位)上的不同位置。通过这样的方式，与左半部分光通量相对应的被摄体图像和与右半部分光通量相对应的被摄体图像可以被获取为具有不同视差的视差图像(左视差图像和右视差图像)。

[成像设备的内部配置]

图5是图示根据本发明的立体图像捕捉设备1的实施例的框图。该立体图像捕捉设备1将所取得的图像记录在记录介质54中，并且通过中央处理单元(CPU)40整体控制整个设备的操作。

立体图像捕捉设备1包括操作单元48，诸如，快门按钮、模式旋钮、回放按钮、菜单/OK键、十字键、变焦按钮和返回键。在CPU40中输入来自该操作单元48的信号，并且CPU40基于输入信号控制立体图像捕捉设备1的每个电路，例如，执行透镜驱动控制、光圈驱动控制、成像操作控制、图像处理控制、图像数据的记录/再出现控制、或3D图像显示设备28的显示控制等。

当通过电源/模式开关24给立体图像捕捉设备1通电时，将电力从电源单元58馈送到每个块，并且开始驱动立体图像捕捉设备1。

在成像元件17上形成经过成像透镜14和光圈16等的光通量，并且在成像元件17中累积信号电荷。基于从定时生成器45添加的读取信号，累积在成像元件17中的信号电荷被读出为与信号电荷相对应的电压信号。从成像元件17读出的电压信号被添加至模拟信号处理单元60。

模拟信号处理单元60对从成像元件17输出的电压信号，执行相关性双采样处理(为了减少在成像元件的输出信号中包括的噪声(特别是热噪声)等的目的，处理以通过寻找在每成像元件的一个像素的输出信号中包括的馈通分量电平和像素信号分量电平之间的差来获取准确像素数据)，并且每个像素的R、G和B信号都经受采样保持、放大并且然后被添加至A/D转换器61。A/D转换器61将依序输入的R、G和B信号转换为数字R、G和B信号，并且将它们输出到图像输入控制器62。

数字信号处理单元63对通过图像输入控制器62输入的数字图像信号执行预定信号处理，诸如，偏移处理、包括白平衡校正和敏感度校正的增益控制处理、伽马校正处理和YC处理。在此，从成像元件17的奇数行的主像素读出的主图像数据被处理为左眼图像数据，并且从偶数行的子像素读出的子图像数据被处理为右眼图像数据。

在VRAM50中输入在数字信号处理单元63中处理的左眼图像数据和右眼图像数据(3D图像数据)。VRAM50包括记录指示一个帧的3D图像的3D图像数据的区域A和区域B。在VRAM50中，指示一个帧的3D图像的3D图像数据被交替地重写在区域A和区域B中。除了VRAM50的区域A和区域B之外，从于3D图像数据被重写的区域不同的区域读出写入的3D图像数据。

从VRAM50读出的3D图像数据在3D图像信号处理单元64中被处理为带形图像片段，在视频编码器66中被编码，被输出到用于安装在相机背面上的立体显示器的3D图像显示设备28，并且由此在3D图像显示设备28的显示屏幕上连续地显示3D被摄体图像。

当执行操作单元48的快门按钮22的第一级按压(半按压)时，CCD40开始AF操作和AE操作，通过透镜驱动单元47在光轴方向上移动聚焦透镜，并且控制聚焦透镜设置到聚焦位置。

AF处理单元42表示执行对比度AF处理或者相位差AF处理的单元。在执行对比度AF处理的情况下，通过在右和左视差图像中的至少一个的预定聚焦区域中提取视差图像的高频分量，并且结合该高频分量，计算指示聚焦状态的AF估计值。通过控制成像透镜14中的聚焦透镜，执行AF控制，使得该AF估计值变为最大值。而且，在执行相位差AF处理的情况下，检测与右和左视差图像的预定聚焦位置中的主像素和子像素相对应的视差图像之间的相位差，并且基于指示该相位差的信息来计算离焦量。通过控制成像透镜14中的聚焦透镜执行AF控制，使得该离焦量变为0。

CPU40通过透镜驱动单元47在光轴方向上对变焦透镜执行向前/向后操作，并且改变焦距。

而且，在快门按钮22的一半按压时从A/D转换器61输出的图像数据被导入到AE/AWB检测单元44中。

AE/AWB检测单元44结合整个屏幕中的G信号或者结合在中心屏幕部分和外围部分之间不同加权的G信号，并且将结合值输出到CPU40。CPU40从由AE/AWB检测单元44输入的结合值计算被摄体的亮度(成像Ev值)，基于该成像Ev值，根据预定程序图，判定成像元件17的光圈16和电子快门(快门速度)的F值，基于所判定的光圈值，通过光圈驱动单元46控制光圈16，并且基于所判定的快门速度，通过定时生成器45控制成像元件17中的电荷累积时间。

而且，虽然CPU40根据成像透镜14的焦距的改变控制光圈16的F值，但是根据F值的控制来控制快门速度或成像敏感度(增益)，使得曝光条件不改变。在此，随后描述该光圈16的F值的控制的详情。

当AE操作和AF操作结束并且执行快门按钮22的第二级按压(完全按压)时，将用于与响应于按压而从A/D转换器61输出的主像素和子像素相对应的左眼图像(主图像)和右眼图像(子图像)的两个图像的图像数据从图像输入控制器62输入到VRAM50，并且临时记录。

通过数字信号处理单元63任意地读取用于临时记录在VRAM50中的两个图像的图像数据，并且在此执行包括图像数据的亮度数据和色差数据的生成处理(YC处理)的预定信号处理。经受YC处理的图像数据(YC数据)被再次记录在VRAM50中。随后，用于两个图像的YC数据被输出到压缩/解压缩处理单元65，经受诸如JPEG(联合图像专家组)的预定压缩处理，并且此后被再次记录在VRAM50中。

通过3D图像信号处理单元64从用于记录在VRAM50中的两个图像的YC数据(压缩数据)生成多图片文件(MP文件：结合多个图像的格式的文件)，并且MP文件由媒体控制器52读出并且被记录在记录介质54中。

在此，不仅在执行快门按钮22的第一级按压(半按压)的情况下，而且在连续地取得右和左视差图像的情况下，执行AF操作。当连续地取得右和左视差图像时，例如，存在取得即时图像(直通图像)的情况和取得运动图像的情况。

立体图像捕捉设备1可以不仅取得立体图像而且取得2D图像。而且，立体图像捕捉设备1可以不仅记录和播放运动图像和静止图像，而且发出声音。扩音器57输入发射语音，麦克风56输出接收语音，并且语音输入/输出电路55对从扩音器输入的语音编码，并且解码所接收的语音。

[立体图像捕捉设备的操作的解释]

接下来，描述立体图像捕捉设备1的操作。通过CPU40控制该成像处理。使CPU40执行该成像处理的程序被记录在CPU40中的程序存储单元中。

当成像开始时，CPU40驱动成像透镜14和光圈16到初始位置。经过成像透镜14的被摄体光通过光圈16形成在成像元件17的光接收表面上。累积在成像元件17的主像素和子像素中的信号电荷通过定时生成器45，以预定帧速率，被依序地读出为与该信号电荷相对应的电压信号(图像信号)，通过模拟信号处理单元60、A/D转换器61和图像输入控制器62被依序地输入在数字信号处理单元63中，并且依序地生成右和左视差图像。所生成的右和左视差图像被依序地输入在VRAM50中并且被实时地显示在3D图像显示设备28上。

通过观看实时地显示在3D图像显示设备28上的图像(直通图像)，摄影师可以确认成像视角。而且，响应于操作单元48的变焦按钮的操作输入，CPU40使成像透镜14通过透镜驱动单元47执行变焦操作(调节焦距)。

本发明控制光圈16的F值，使得在成像透镜14变焦(焦距改变)时，实时地显示在3D图像显示设备28上的右和左视差图像(立体图像)的立体效果不改变。

[不改变立体效果的光圈16的F值的控制]

接下来，描述不改变立体效果的光圈16的F值的控制的原理。

图6是图示被摄体深度和聚焦深度之间的关系的视图。

图6假设以下。

O：物质表面

O₁：前被摄体深度的极限点

O₂：后被摄体深度的极限点

I、I₁、I₂：与O、O₁和O₂相对应的图像位置

a：从透镜系统的前主点位置H到O的距离

b：从透镜系统的后主点位置H’到I的距离

d₁：后被摄体深度

d₂：前被摄体深度

d₁’、d₂’：当假设散焦ε时的聚焦深度的长度

当光圈的F值被假设为F并且透镜的焦距被假设为f时，后被摄体深度d₁和前被摄体深度d₂可以分别由以下等式示出。

[等式2]

$d_1=\frac{a^2\mathrm{\&epsiv;F}}{f^2-\mathrm{a\&epsiv;F}},d_2=\frac{a^2\mathrm{\&epsiv;F}}{f^2+\mathrm{a\&epsiv;F}}$

当上述等式2被变换时，它们可以由以下等式表达。

[等式3]

$\mathrm{\&epsiv;}=\frac{d_1{f}^2}{F(a^2+d_1)},\mathrm{\&epsiv;}=\frac{d_2{f}^2}{F(a^2-d_1)}$

在此，当在成像透镜14的焦距改变之前的焦距是f1并且光圈16的F值是FNo1时，在成像透镜14的焦距改变为f2的情况下，如果光圈16的F值是被假设为满足等式3中所示的散焦ε在该焦距改变之前和之后均不改变的条件的FNo2，则建立以下等式。

[等式1]

$\mathrm{FNo}2=\mathrm{FNo}1*{\left(\frac{f2}{f1}\right)}^2$

顺便提及，在立体图像捕捉设备1中，由于前聚焦或后聚焦的散焦部分进入成像元件17的不同位置(相位移位)，所以通过控制光圈16的F值，使得散焦变为恒定(即，通过根据上述等式1控制光圈16的F值)，可以防止右和左视差图像的相位移位(立体效果)改变。

[光圈控制的第一实施例]

图7是图示主要在连续地取得右和左视差图像的情况下的光圈控制的第一实施例的流程图。

在图7中，首先，设置光圈16的初始F值，并且将光圈16的F值设置为初始F值(步骤S10)。关于该初始F值的设置，例如，根据从AE/AWB检测单元44输入的结合值计算被摄体亮度(成像Ev值)，并且基于该成像Ev值，根据预定程序图来判定成像元件17的光圈16和电子快门(快门速度)的F值。而且，当在立体图像捕捉设备1被通电之后经过特定时间段时判定的光圈16的F值被设置为初始F值。

而且，获取当光圈16被设置为初始F值时的成像透镜14的焦距f1(步骤S12)。该焦距f1可以通过检测成像透镜14的透镜位置被获取，或者基于变焦按钮的操作，从由CPU40输出至透镜驱动单元47的变焦指令值被获取。

随后，CPU40确定成像透镜14的焦距是否改变(步骤S14)。在焦距改变的情况下(在“是”的情况下)，其移位至步骤S16，并且在焦距不改变的情况下(在“否”的情况下)，其转移至步骤S22。

在步骤S16中，获取在成像透镜14改变之后的焦距f2。而且，基于在步骤S10中设置的初始F值(FNo1)，根据等式1的上述条件等式，计算在步骤S12中获取的焦距f1和在步骤S16中获取的焦距f2、即使焦距从f1改变为f2也不改变右和左视差图像的立体效果的光圈16的F值(FNo2)(步骤S18)。

CPU40通过光圈驱动单元46控制光圈16，从而成为在步骤S18中计算的F值(FNo2)(步骤S20)。

在步骤S22中，确定是否继续图像捕捉。例如，当在取得3D静止图像的时候取得3D静止图像时，终止图像捕捉，或者当在取得3D运动图像的时候暂时停止或终止记录时，终止图像捕捉。同时，当确定图像捕捉继续时(在“是”的情况下)，其返回到步骤S14，并且重复在上述步骤S14至S22中的处理。

如上所述，虽然根据光圈16的初始F值和成像透镜14的焦距f1来判定右和左视差图像的立体效果，但是此后，通过在观看实时地显示在3D图像显示设备28上的3D直通图像的同时使成像透镜14变焦，而调节成像视角(调节焦距)时，根据成像透镜14的焦距的改变来控制光圈16的F值，可以防止立体效果改变。

图8是图示在成像透镜14的焦距、光圈16的F值以及立体效果(视差)之间的关系的概念图。

在图8中，例如，假设在初始F值是F4并且变焦位置是Z₃的情况下，获取预定立体效果(视差P₅)。此后，当变焦位置在摄远方向上从Z₃、Z₄改变为Z₅时，F值从F4、F8改变为F16，使得视差P₅不改变。类似地，当变焦位置在广角方向上从Z₃、Z₂改变为Z₁时，F值从F4、F2改变为F1，使得视差P5不改变。

顺便提及，虽然通过初始F值和变焦位置判定右和左视差图像的立体效果(视差)，但是此后，取决于初始F值和变焦位置，存在以下情况：当变焦位置(焦距)改变时，光圈16超过可能范围(F1至F16)，并且不可能设置不改变立体效果的F值。

例如，在通过初始F值F16和变焦位置Z₃获取预定立体效果(视差P₃)的情况下，此后，当变焦位置在摄远方向上从Z₃改变时，不可能选择不改变视差P₃的F值。

作为在该情况下的响应，将光圈16的F值固定为极限(limitation)的F值。在该情况下，当变焦位置(焦距)跨过光圈16的极限改变时，F值固定，并且从而视差改变。

而且，光圈16的F值可以被固定至极限的F值，并且可以限制在超过成像透镜14的光圈16的极限的方向上的变焦位置(焦距)的改变。在该情况下，虽然可以使立体效果不改变，但是限制了成像透镜14的变焦范围。

而且，在成像透镜14如上变焦操作的情况下，优选连续地控制光圈16的F值，使得立体效果在变焦操作期间不改变。在该情况下，以预定时间间隔(例如，与帧速率相对应的1/30秒或1/60秒)连续地获取在成像透镜14的焦距改变期间的焦距f2，并且基于在成像透镜14的焦距被调节之前的焦距f1和以预定时间间隔连续获取的焦距f2，从等式1连续地计算不改变立体效果的光圈16的F值。而且，连续地控制光圈16的F值，从而变为连续计算的F值。据此，可以在显示3D直通图像的同时或者在成像透镜14的焦距在记录运动图像的时候改变的同时，可以使视差图像的立体效果不改变。

[光圈控制的第二实施例]

图9是图示主要在连续地取得右和左视差图像的情况下的光圈控制的第二实施例的流程图。在此，将相同步骤编号分配给与图7中所示的流程图共同的部分，并且省略详细解释。

图9中所示的第二实施例与图7中所示的第一实施例的不同在于，在步骤S22和步骤S24之间添加步骤30。

在步骤S30中，确定是否改变成像场景。例如，可以基于被摄体亮度跨过特定值(例如，IEV)改变的情况、被摄体距离跨过特定距离改变的情况、或者被摄体的色温或者照射被摄体的光源类型改变并且白平衡校正时的增益值改变的情况等，执行成像场景的改变的确定。而且，在相机安装GPS设备(全球定位系统)和方位传感器的情况下，可以确定来自当前位置的成像场景的改变或者成像方向的改变。

而且，在步骤S30中，当确定成像场景改变时(在“是”的情况下)，脱离从步骤S14至S22的流程线，并且转移至步骤S10。

即，被摄体在成像场景改变的情况下改变，并且由于不考虑连续地执行用于调节被摄体的视角的变焦操作，所以释放对光圈16的F值的控制以防止立体效果在变焦操作期间改变。

根据此，可以使得仅在成像目标不改变的情况下，不改变在变焦操作期间的立体效果。

[成像元件的其他配置实例]

图10是图示成像元件17’的另一个配置实例的视图。

在成像元件17’中，二维布置四个光电二极管A、B、C和D，被布置为覆盖四个光电二极管的一个微透镜ML’被假设为一个单元(四个像素和一个微透镜)，并且该单元被二维布置。该单元中的每个光电二极管可以被独立读出。

如图10中所示，在具有R(红)、G(绿)和B(蓝)滤色器的像素当中，GRGR…的像素布置行被布置在成像元件17’的奇数行(1、3、5…)中，而BGBG…的像素布置行被布置在偶数行(2、4、6…)中。

图11是图示通过成像元件17’取得立体图像的机构的视图。

在水平方向上使成像元件17’成像的情况下(正常水平成像)，每个单元的光电二极管A和C的合成是主像素，其中，仅在经过出射光瞳的光通量的光轴的左侧上接收光，并且光电二极管A和C的合成图像是左视差图像。而且，每个单元的光电二极管B和D的合成是子像素，其中，仅在经过出射光瞳的光通量的光轴的右侧上接收光，并且光电二极管B和D的合成图像是右视差图像。

在垂直方向上使成像元件17’成像的情况下(在将立体图像捕捉设备1旋转90度的同时取得图像的所谓的垂直成像)，每个单元的光电二极管A和B的合成是主像素，其中，仅在经过出射光瞳的光通量的光轴的左侧上接收光，并且光电二极管A和B的合成图像是左视差图像。而且，每个单元的光电二极管C和D的合成是子像素，其中，仅在经过出射光瞳的光通量的光轴的右侧上接收光，并且光电二极管C和D的合成图像是右视差图像。

[其他]

在该实施例中，虽然当在立体图像捕捉设备1被通电之后经过特定时间段时，由AE控制判定的光圈16的F值被设置为初始阶段F值，但是不限于此，并且如上所述设置的初始F值可以通过基于最近被摄体的亮度(成像Ev值)由AE控制判定的高度AF值更新，直到成像透镜14的焦距改变为止。即，基于当成像透镜14的焦距初始改变时的成像Ev值计算的光圈16的F值可以被设置为初始F值。

而且，在如图9中所示的改变成像场景的情况下，在成像场景改变之后，可以再次设置初始F值。

而且，在设置取得3D运动图像的运动图像成像模式的情况下，基于当记录开始按钮被按压时的成像Ev值，计算光圈16的F值，并且该所计算的F值可以被设置为初始F值。

而且，用户可以通过操作单元48指定立体效果的等级(例如，高、中、低)，并且可以基于立体效果的指定等级设置初始F值。在该情况下，优选基于立体效果的指定等级和当时成像透镜的焦距和被摄体距离来设置光圈的初始F值。

而且，在该实施例中，虽然控制光圈的F值从而变为通过等式1计算的FNo2的F值，但是包括被控制从而使可以被离散设置的F值中的最接近F值变为所计算的FNo2的F值。根据此，本发明甚至可应用至不能连续地控制F值的光圈(具有可以被设置的F值的有限级数的光圈)。

而且，可以同时获取多个视差图像的成像元件不限于在本实施例中的成像元件，并且多种成像元件可应用。

而且，本发明不限于上述实施例，并且不必说，在不脱离本发明的精神的情况下，可以作出多种改变。

{参考标号列表}

1立体图像捕捉设备

12透镜单元

14成像透镜

16光圈

17、17’成像元件

17A、17B光屏蔽件

283D图像显示设备

40CPU

46光圈驱动单元

47透镜驱动单元

48操作单元

643D图像信号处理单元

Claims (16)

1.一种立体图像捕捉设备，包括：

单一成像光学系统，所述单一成像光学系统能够调节焦距；

成像元件，所述成像元件形成经过所述成像光学系统的不同区域的光瞳分割被摄体图像，以光电方式转换经过所述不同区域的所述被摄体图像，并且输出具有不同视差的多个视差图像；

光圈，所述光圈限制进入到所述成像元件中的光通量；

操作单元，所述操作单元调节所述成像光学系统的焦距；以及

光圈控制装置，所述光圈控制装置用于基于在所述操作单元调节所述成像光学系统的焦距之前和之后的所述成像光学系统的所述焦距，来控制所述光圈的F值，

其中，当在调节所述成像光学系统的所述焦距之前和之后的焦距被假设为f1和f2，并且在调节所述成像光学系统的所述焦距之前的所述光圈的所述F值被假设为FNo1时，所述光圈控制装置执行控制，使得在调节所述成像光学系统的所述焦距之后的FNo2的F值变为能够根据以下等式设置的F值：

等式1

$\mathrm{FNo}2=\mathrm{FNo}1*{\left(\frac{f2}{f1}\right)}^2$

以及，在调节所述成像光学系统的所述焦距之前和之后，由所述成像元件输出的所述多个视差图像的立体效果没有改变。

2.根据权利要求1所述的立体图像捕捉设备，进一步包括：焦距检测装置，所述焦距检测装置用于检测所述成像光学系统的所述焦距；或者焦距设置装置，所述焦距设置装置用于通过手动操作来设置所述成像光学系统的所述焦距，

其中，所述光圈控制装置获取由所述焦距检测装置检测的所述焦距或者由所述焦距设置装置设置的所述焦距。

3.根据权利要求1所述的立体图像捕捉设备，其中，在调节所述成像光学系统的所述焦距期间，所述光圈控制装置以预定时间间隔连续地获取包括焦距的所述焦距f2，并且基于在调节所述成像光学系统的所述焦距之前的所述焦距f1和以所述预定时间间隔连续获取的所述焦距f2，来连续地控制所述光圈的所述F值。

4.根据权利要求1所述的立体图像捕捉设备，进一步包括：

立体显示装置；以及

显示控制装置，所述显示控制装置用于基于从所述成像元件输出的所述多个视差图像，在所述立体显示装置上显示立体图像。

5.根据权利要求1所述的立体图像捕捉设备，进一步包括：

亮度检测装置，所述亮度检测装置用于检测被摄体亮度；以及

曝光条件判定装置，所述曝光条件判定装置用于基于由所述亮度检测装置检测的所述被摄体亮度，来判定曝光条件，

其中，所述曝光条件判定装置基于由所述光圈控制装置控制的所述光圈的所述F值，来判定除所述光圈之外的其他曝光条件。

6.根据权利要求1所述的立体图像捕捉设备，进一步包括：

亮度检测装置，所述亮度检测装置用于检测被摄体亮度；以及

初始F值设置装置，所述初始F值设置装置用于基于由所述亮度检测装置检测的所述被摄体亮度，来设置所述光圈的初始F值，

其中，在调节所述成像光学系统的所述焦距之前的所述光圈的所述F值是由所述初始F值设置装置设置的所述F值。

7.根据权利要求6所述的立体图像捕捉设备，其中，当在电源被接通之后经过特定时间段时，所述初始F值设置装置基于由所述亮度检测装置检测的所述被摄体亮度，来设置所述光圈的所述初始F值。

8.根据权利要求6所述的立体图像捕捉设备，其中，当在电源被接通之后所述成像光学系统的所述焦距被初始改变时，所述初始F值设置装置基于由所述亮度检测装置检测的所述被摄体亮度，来设置所述光圈的所述初始F值。

9.根据权利要求6所述的立体图像捕捉设备，其中，当指令了在用于取得运动图像的运动图像成像模式下记录开始时，所述初始F值设置装置基于由所述亮度检测装置检测的所述被摄体亮度，来设置所述光圈的所述初始F值。

10.根据权利要求1所述的立体图像捕捉设备，进一步包括：

立体效果指定装置，所述立体效果指定装置用于指定从所述成像元件输出的所述多个视差图像的立体效果的等级；以及

初始F值设置装置，所述初始F值设置装置用于基于由所述立体效果指定装置指定的所述立体效果，来设置所述光圈的所述初始F值，

其中，在调节所述成像光学系统的所述焦距之前的所述光圈的所述F值是由所述初始F值设置装置设置的所述F值。

11.根据权利要求10所述的立体图像捕捉设备，进一步包括：

测距装置，所述测距装置用于测量被摄体距离；以及

焦距检测装置，所述焦距检测装置用于检测所述成像光学系统的所述焦距，

其中，所述初始F值设置装置设置基于由所述立体效果指定装置设置的所述立体效果、由所述焦距检测装置检测的所述焦距、以及由所述测距装置测量的所述被摄体距离，来设置所述光圈的所述初始F值。

12.根据权利要求1所述的立体图像捕捉设备，其中，当基于所述成像光学系统的所述焦距控制所述光圈的所述F值时，在超过所述光圈的极限F值的情况下，所述光圈控制装置固定所述极限F值。

13.根据权利要求1所述的立体图像捕捉设备，其中，当基于所述成像光学系统的所述焦距控制所述光圈的所述F值时，在超过所述光圈的极限F值的情况下，所述光圈控制装置固定所述极限F值，并且在超过所述光圈的所述极限F值的方向上限制所述成像光学系统的所述焦距的改变。

14.根据权利要求1所述的立体图像捕捉设备，进一步包括：

成像场景检测装置，所述成像场景检测装置用于检测成像场景中的改变；以及

释放装置，所述释放装置用于当所述成像场景检测装置检测到所述成像场景改变时，基于由所述光圈控制装置的所述成像光学系统的所述焦距，来释放对所述光圈的所述F值的控制。

15.根据权利要求1至14中任一项所述的立体图像捕捉设备，其中，所述成像元件包括用于光电转换的第一组像素和第二组像素，所述第一组像素和所述第二组像素以矩阵方式布置在所述成像元件的曝光区域中，所述第一组像素被限制在光通量的光接收方向上，从而仅接收经过所述成像光学系统的第一区域的被摄体图像的光，所述第二组像素被限制在所述光通量的所述光接收方向上，从而仅接收经过所述成像光学系统的第二区域的被摄体的光，并且能够从所述第一组像素和所述第二组像素读出所述多个视差图像。

16.一种立体图像捕捉设备的立体图像捕捉方法，包括：

单一成像光学系统，所述单一成像光学系统能够调节焦距；

成像元件，所述成像元件形成经过所述成像光学系统的不同区域的光瞳分割被摄体图像，以光电方式转换经过所述不同区域的所述被摄体图像，并且输出具有不同视差的多个视差图像；

光圈，所述光圈限制进入到所述成像元件中的光通量；

操作单元，所述操作单元调节所述成像光学系统的焦距；以及

光圈控制装置，所述光圈控制装置用于基于在所述操作单元调节所述成像光学系统的所述焦距之前和之后的所述成像光学系统的所述焦距，来控制所述光圈的F值，

其中，当在调节所述成像光学系统的所述焦距之前和之后的焦距被假设为f1和f2，并且在调节所述成像光学系统的所述焦距之前的所述光圈的所述F值被假设为FNo1时，所述光圈控制装置执行控制，使得在调节所述成像光学系统的所述焦距之后的FNo2的F值变为能够根据以下等式设置的F值：

等式1

$\mathrm{FNo}2=\mathrm{FNo}1*{\left(\frac{f2}{f1}\right)}^2$

以及，在调节所述成像光学系统的所述焦距之前和之后，由所述成像元件输出的所述多个视差图像的立体效果没有改变。