CN102959969B - 单眼立体摄像装置 - Google Patents

Abstract

本发明在聚焦透镜移动的情况下，也可以通过将立体显示的左眼用图像（9）及右眼用图像的视差量保持为一定而减轻拍摄者的不适感。在通过连续AF使合焦位置变化的情况下（在步骤S16中为是），视差校正量计算部（67）根据左眼用图像数据及右眼用图像数据计算视差校正量（步骤S17），视差校正部（68）基于视差校正量计算部（67）计算出的视差校正量，使左眼用图像数据及右眼用图像数据的至少一个在左右方向上移动（步骤S18）。在合焦位置未变化的情况下（在步骤S16中为否），基于之前一帧的视差校正量，使左眼用图像数据及右眼用图像数据的至少一方在左右方向上移动（步骤S19）。由此，对视差量进行校正，以使得实时显示的图像的主要被摄体的视差量一定。

Description

单眼立体摄像装置

技术领域

本发明涉及单眼立体摄像装置，特别地，涉及使通过拍摄透镜的左右方向的不同区域的被摄体像分别成像在摄像元件上，获取左眼用的图像及右眼用的图像的技术。

背景技术

在专利文献1中公开了一种视差图像输入装置，其可以使用单一的拍摄透镜及摄像元件拍摄视差图像。

在如上所述使用单一的拍摄透镜，通过将穿过单一拍摄透镜的光束分离为多条光束(光瞳分割)而拍摄视差图像(以下称为光瞳分割方式)的单眼3D照相机(单眼立体摄像装置)中，在合焦位置处视差为0，而在非合焦位置处为与散焦量相对应的视差。因此，如果聚焦透镜移动，焦点变更，则视差(以下称为视差量)对应于散焦量而变更。

专利文献1：日本特开平10－42314号公报

发明内容

通常在单眼3D照相机进行拍摄时，可以将拍摄到的左眼用的图像(以下称为左眼用图像)及右眼用的图像(以下称为右眼用图像)立体显示，确认拍摄了哪一个图像。

在光瞳分割式单眼3D照相机中，如果与位于前侧的被摄体合焦，则合焦的被摄体(位于前侧的被摄体)的视差量为0，3D再生像的位置(虚像的位置)与显示面一致。随着合焦位置向里侧偏移，视差量为0的位置向里侧移动，可以看到位于前侧的被摄体将从显示面凸出。

图20是表示焦点与视差量的关系的图，按照图20A至图20C的顺序，合焦位置向里侧偏移。图20A是与树合焦(即，将树设定为焦点)的情况，图20B是与车合焦(即，将车设定为焦点)的情况，图20C是与房子合焦(即，将房子设定为焦点)的情况。

在图20A的情况下，树的右眼用图像和左眼用图像的视差量为0，右眼用图像的车的位置相对于左眼用图像稍微位于里侧，右眼用图像的房子的位置相对于左眼用图像，以比车大的视差量位于里侧。在图20B的情况下，车的右眼用图像和左眼用图像的视差量为0，右眼用图像的树的位置相对于左眼用图像位于前侧，右眼用图像的房子的位置相对于左眼用图像位于里侧。在图20C的情况下，房子的右眼用图像和左眼用图像的视差量为0，右眼用图像的车的位置相对于左眼用图像稍微位于前侧，右眼用图像的树的位置相对于左眼用图像以比车大的视差量位于前侧。

如果如摄像元件AF或动画连续对焦动作这样，频繁地进行改变合焦位置即改变焦点的动作，则会使得被摄体的凸出量频繁地前后移动。例如，如果拍摄者关注车辆，则如图20A至20C所示，由于焦点变化，会使得车辆的视差量从前侧向里侧变化。因此，存在由于视差量变化而引起拍摄者感到不适的可能性。这是光瞳分割方式单眼3D照相机特有的现象。

但是，在专利文献1中没有关于视差量调节的记载。

另外，在日本特开2002－90921号公报中，记载了对应于被摄体距离自动控制辐辏角而对视差量进行调节的技术，在日本特开2003－107601号公报中，记载了伴随变焦而使基线长度、辐辏角变化，从而对视差量进行调节的技术。但是，这些都是至少使用2个摄像系统拍摄视差图像的大于或等于2眼的多眼3D照相机所特有的方法，不能够用于单眼3D照相机。

此外，在日本特开平8－317429号公报中，记载了通过在进行电子变焦放大时改变切出位置而对视差量进行调节的发明，但无法应对伴随聚焦透镜移动的视差量的变更。

本发明是鉴于上述情况而提出的，其目的在于提供一种单眼立体摄像装置，该单眼立体摄像装置即使在聚焦透镜移动的情况下，也可以通过将立体显示的左眼用图像及右眼用图像的视差量保持为一定而减轻拍摄者的不适感。

为了实现上述目的，本发明的单眼立体摄像装置的特征在于，具有：拍摄光学系统，其包含聚焦透镜；光瞳分割单元，其将穿过拍摄光学系统的光束分割为多条光束；摄像单元，其接受通过光瞳分割单元分割后的多条光束，分别获取左眼用图像及右眼用图像；聚焦透镜驱动单元，其使聚焦透镜的合焦位置移动；视差校正量计算单元，其在通过聚焦透镜驱动单元使聚焦透镜的合焦位置移动时，计算用于将左眼用图像及右眼用图像的主要被摄体的视差量保持为一定的视差校正量；视差校正单元，其在通过视差量计算单元计算出视差校正量的情况下，使左眼用图像及右眼用图像中的至少一个在左右方向上移动而实现所计算出的视差校正量，进行左眼用图像及右眼用图像的视差校正；显示单元，其使左眼用图像及右眼用图像可识别为立体图像而显示；以及输出单元，其输出通过摄像单元获取的左眼用图像及右眼用图像，或通过视差校正单元进行视差校正后的左眼用的图像及右眼用的图像。此外，这里所说的“主要被摄体的视差量”，例如是指图像内的主要被摄体的中心位置处的视差量，即主要被摄体的平均视差量。

根据上述单眼立体摄像装置，在通过光瞳分割拍摄左眼用图像和右眼用图像的情况下，如果聚焦透镜的合焦位置移动，则计算将左眼用图像及右眼用图像的主要被摄体的视差量保持为一定的视差校正量，使左眼用图像及右眼用图像中的至少一方在左右方向上移动而实现所计算出的视差校正量，进行视差校正。由此，即使在聚焦透镜的合焦位置移动的情况下，也可以将左眼用图像及右眼用图像的视差量保持为一定。此外，本发明中所提到的主要被摄体可以用于位于画面中央的被摄体或通过脸部检测检测到的人物等多种情况。

另外，优选本发明的单眼立体摄像装置具有显示单元，该显示单元使左眼用图像及右眼用图像可识别为立体图像而显示，输出单元将通过摄像单元获取的左眼用图像及右眼用图像、或通过视差校正单元进行视差校正后的左眼用图像及右眼用图像输出至显示单元。

根据该单眼立体摄像装置，可以立体显示视差校正后的右眼用图像、左眼用图像。由此，即使在聚焦透镜移动的情况下，也可以将立体显示的左眼用图像及右眼用图像的视差量保持为一定，减轻拍摄者的不适感。

此外，优选本发明的单眼立体摄像装置具有第1记录单元，其记录左眼用图像及右眼用图像，输出单元将通过摄像单元获取的左眼用图像及右眼用图像、或通过视差校正单元进行视差校正后的左眼用图像及右眼用图像输出至第1记录单元。

根据该单眼立体摄像装置，记录视差校正后的右眼用图像、左眼用图像。由此，可以使进行将左眼用图像及右眼用图像的视差量保持为一定的处理后的图像在之后立体显示，或在其他立体显示装置上进行浏览。

此外，在本发明的单眼立体摄像装置中，优选视差校正量计算单元计算主要被摄体的视差量始终为0的视差校正量。

根据该单眼立体摄像装置，如果聚焦透镜移动，则计算使左眼用图像及右眼用图像的主要被摄体的视差量为0的视差校正量。由此，拍摄者无需进行与通常的眼睛动作不同的动作，也可以更可靠地减轻拍摄者的不适感。

而且，在本发明的单眼立体摄像装置中，视差校正量计算单元分别从左眼用图像及右眼用图像检测主要被摄体的对应点，计算将该检测到的左眼用图像的对应点和右眼用图像的对应点的偏移量保持为一定的视差校正量。

根据该单眼立体摄像装置，分别从左眼用图像及右眼用图像检测主要被摄体的对应点，计算将左眼用图像的对应点和右眼用图像的对应点的偏移量保持为一定的视差校正量。由此，在未求出合焦位置的情况下，例如，在进行AF处理之前，也可以进行视差校正量计算。

另外，在本发明的单眼立体摄像装置中，优选还具有移动量计算单元，该移动量计算单元在通过聚焦透镜驱动单元使聚焦透镜的合焦位置移动时，计算聚焦透镜的合焦位置的移动量，视差校正量计算单元基于通过移动量计算单元计算出的聚焦透镜的合焦位置的移动量，计算视差校正量。

根据该单眼立体摄像装置，如果聚焦透镜的合焦位置移动，则计算聚焦透镜的合焦位置的移动量，基于聚焦透镜的合焦位置的移动量计算视差校正量。由此，可以可靠地计算因聚焦透镜的合焦位置移动而产生的视差校正量。

另外，在本发明的单眼立体摄像装置中，优选具有：合焦位置获取单元，其基于聚焦透镜的位置获取合焦位置；以及第2记录单元，其记录合焦位置与视差校正量的关系，视差校正量计算单元基于通过合焦位置获取单元获取的合焦位置、和记录在第2记录单元中的合焦位置与视差校正量的关系，计算视差校正量。

根据该单眼立体摄像装置，记录合焦位置与视差校正量的关系，并基于根据聚焦透镜的合焦位置计算出的合焦位置、和所记录的合焦位置与视差校正量的关系计算视差校正量。由此，可以可靠地计算因合焦位置变化(焦点变化)而产生的视差校正量。

此外，在本发明的单眼立体摄像装置中，优选具有：光圈，其调节经由拍摄光学系统入射至摄像单元的光量；以及光圈值检测单元，其检测光圈的光圈值，在第2记录单元中，对应于光圈的光圈值记录多个合焦位置与视差校正量的关系，视差校正量计算单元基于通过光圈值检测单元检测到的光圈的光圈值，从第2记录单元中记录的多个合焦位置与视差校正量的关系中，确定在视差校正量计算中使用的合焦位置与视差校正量的关系。

根据该单眼立体摄像装置，对应于光圈的光圈值记录多个合焦位置与视差校正量的关系。检测光圈的光圈值，基于检测到的光圈值，从记录多个的合焦位置和视差校正量的关系中，确定用于视差校正量计算的合焦位置与视差校正量的关系。在光瞳分割方式的单眼立体摄像装置中，被摄体越亮，拍摄边界深度越浅而越容易产生视差量，由此，可以基于光圈值改变用于视差校正量计算的合焦位置与视差校正量的关系。因此，可以对应于被摄体的亮度计算适当的视差校正量。

此外，在本发明的单眼立体摄像装置中，优选拍摄光学系统具有焦距检测单元，该焦距检测单元具有变焦透镜，根据变焦透镜的位置检测焦距，在第2记录单元中，对应于焦距记录多个合焦位置与视差校正量的关系，视差校正量计算单元基于通过焦距检测单元检测到的焦距，从在第2记录单元中记录的多个合焦位置与视差校正量的关系中，确定在视差校正量计算中使用的合焦位置与视差校正量的关系。

根据该单眼立体摄像装置，对应于焦距记录多个合焦位置与视差校正量的关系。根据变焦透镜的位置检测焦距，基于检测到的焦距，从记录有多个的合焦位置与视差校正量的关系中确定用于视差校正量计算的合焦位置与视差校正量的关系。在光瞳分割方式的单眼立体摄像装置中，变焦位置越趋向望远侧，被拍摄边界深度越浅而越容易产生视差量，由此可以基于焦距改变用于视差校正量计算的合焦位置与视差校正量的关系。因此，可以对应于焦距输出适当的视差量。

而且，在本发明的单眼立体摄像装置中，优选具有自动合焦单元，其基于通过摄像单元获取的左眼用图像及右眼用图像，经由聚焦透镜驱动单元使聚焦透镜的合焦位置移动，以使得主要被摄体合焦。摄像单元连续地获取左眼用图像及右眼用图像，自动合焦单元可以在通过摄像单元连续获取左眼用图像及右眼用图像的期间内，连续地使聚焦透镜的合焦位置移动。

根据该单眼立体摄像装置，在连续获取左眼用图像及右眼用图像的期间内，连续地使聚焦透镜的合焦位置移动，以使得主要被摄体合焦。由此，可以在实时显示在液晶监视器上的动画图像即实时取景图像或动画的拍摄中，将立体显示的左眼用图像及右眼用图像的视差量保持为一定，减轻拍摄者的不适感。

而且，在本发明的单眼立体摄像装置中，优选具有：自动合焦单元，其基于通过摄像单元获取的左眼用图像及右眼用图像，经由聚焦透镜驱动单元使聚焦透镜的合焦位置移动，以使得主要被摄体合焦；以及拍摄指令输入单元，其输入拍摄指令，如果通过拍摄指令输入单元输入拍摄指令，则摄像单元一张一张地分别获取左眼用图像及右眼用图像，在摄像单元一张一张地分别获取左眼用图像及右眼用图像之前，自动合焦单元使聚焦透镜的合焦位置移动。

根据该单眼立体摄像装置，如果通过拍摄指令输入单元输入拍摄指令，则使聚焦透镜移动以使主要被摄体合焦，然后一张一张地分别获取左眼用图像及右眼用图像。由此，可以在静止图像拍摄前的AF处理中，将立体显示的左眼用图像及右眼用图像的视差量保持为一定，减轻拍摄者的不适感。

另外，在本发明的单眼立体摄像装置中，优选如果通过聚焦透镜驱动单元使聚焦透镜向合焦位置接近的方向移动，则视差校正单元通过使左眼用图像向右侧移动、使右眼用图像向左侧移动、或者使左眼用图像向右侧移动且使右眼用图像向左侧移动而进行视差校正，如果通过聚焦透镜驱动单元使聚焦透镜向合焦位置远离的方向移动，则视差校正单元通过使左眼用图像向左侧移动、使右眼用图像向右侧移动、或者使左眼用图像向左侧移动且使右眼用图像向右侧移动而进行视差校正。

根据该单眼立体摄像装置，在聚焦透镜向合焦位置接近的方向移动的情况下，通过(1)使左眼用图像向右侧移动、或(2)使右眼用图像向左侧移动、或使左眼用图像向右侧移动且使右眼用图像向左侧移动而进行视差校正。另外，如果焦透镜向合焦位置远离的方向移动，则通过(1)使左眼用图像向左侧移动、或(2)使右眼用图像向右侧移动、或(3)使左眼用图像向左侧移动且使右眼用图像向右侧移动而进行视差校正。由此，可以使右眼用图像、左眼用图像移动而消除视差量变化。

发明的效果

根据本发明，在聚焦透镜移动的情况下，也可以通过将立体显示的左眼用图像及右眼用图像的视差量保持为一定而减轻拍摄者的不适感。

附图说明

图1是本发明的第1实施方式涉及的单眼立体摄像装置1的正面斜视图。

图2是单眼立体摄像装置1的后视图。

图3是表示单眼立体摄像装置1的相位差CCD的结构例的图。

图4是表示拍摄透镜、光圈、及相位差CCD的主、副像素的每一个像素的图。

图5是图4的局部放大图，图5A是无光瞳分割的情况，图5B及图5C分别是有光瞳分割的情况。

图6A至图6C分别是表示由焦点靠前、合焦(最佳焦距)、及焦点靠后的差异引起的在摄像元件上所成的像的分离状态的图。

图7是单眼立体摄像装置1内部的框图。

图8是单眼立体摄像装置1的实时取景图像拍摄处理的流程图。

图9是视差量保持为一定的情况下的显示例，按照图9A至9C的顺序向里侧移动。

图10是单眼立体摄像装置2的拍摄准备处理的流程图。

图11是单眼立体摄像装置2的拍摄准备处理的其他例子的流程图。

图12是单眼立体摄像装置3内部的框图。

图13是表示合焦位置与视差校正量的关系的曲线的一个例子。

图14是表示合焦位置从前侧向里侧移动时的视差量的曲线。

图15是说明如果将图13所示的曲线用于图14所示的曲线，则视差量将变为一定的图。

图16是表示合焦位置与视差校正量的关系的曲线的一个例子。

图17是表示合焦位置与视差校正量的关系的曲线的一个例子。

图18是单眼立体摄像装置3的实时取景图像拍摄处理的流程图。

图19是单眼立体摄像装置的变形例的内部的框图。

图20是表示合焦位置从前侧向里侧移动时的视差量的变化的显示例，按照图20A至图20C的顺序合焦位置向里侧移动。

具体实施方式

下面，参照附图，对本发明涉及的单眼立体摄像装置的实施方式进行说明。

<第1实施方式>

[摄像装置的整体结构]

图1是表示作为本发明涉及的第1实施方式的摄像装置的单眼立体摄像装置1的一个实施方式的斜视图。图2是表示上述单眼立体摄像装置1的一个实施方式的后视图。该单眼立体摄像装置1是数码相机，其由摄像元件接受穿过透镜的光，变换为数字信号并记录在记录介质中。

单眼立体摄像装置1的相机机体10形成为横向较长的四边箱状，如图1所示，在其正面配置透镜单元12、闪光灯21等。另外，在相机机体10的上表面配置快门按钮22、电源/模式开关24、模式旋钮26等。另一方面，如图2所示，在相机机体10的背面配置液晶监视器28、变焦按钮30、十字键32、MENU/OK按钮34、再生按钮36、BACK按钮38等。

此外，在未图示的相机机体10的下表面设有三脚架螺纹孔、具有可自由开闭的盖部的电池插入部和存储卡插槽。在电池插入部和存储卡插槽中分别装入电池和存储卡。

透镜单元12由伸缩式变焦透镜构成。另外，通过利用电源/模式开关24将照相机模式设定为拍摄模式，透镜单元12从相机机体10伸出。此外，关于透镜单元12的变焦机构或伸缩机构，由于是公知的技术，因此此处省略关于其具体结构的说明。

闪光灯21用于向主要被摄体照射闪光。

快门按钮22由所谓的“半按”和“全按”组成的2段式开关构成。单眼立体摄像装置1在拍摄模式下驱动时，通过“半按”该快门按钮22而进行AE/AF动作，通过“全按”而执行拍摄。另外，单眼立体摄像装置1在投影模式下驱动时，通过“全按”该快门按钮22而执行投影。

电源/模式开关24具有将单眼立体摄像装置1的电源接通/断开的作为电源开关的功能和设定单眼立体摄像装置1的模式的作为模式开关的功能，配置为在“OFF位置”、“再生位置”和“拍摄位置”之间自由滑动。单眼立体摄像装置1通过使电源/模式开关24滑动至“再生位置”或“拍摄位置”而将电源接通，通过滑动至“OFF位置”而将电源断开。并且，通过使电源/模式开关24滑动至“再生位置”而设定为“再生模式”，通过滑动至“拍摄模式”而设定为“拍摄模式”。

模式旋钮26作为设定单眼立体摄像装置1的拍摄模式的拍摄模式设定单元起作用，可以根据该模式旋钮的设定位置，将单眼立体摄像装置1的拍摄模式设定为多种模式。例如，进行平面图像拍摄的“平面图像拍摄模式”、进行立体观看图像(3D图像)拍摄的“立体观看图像拍摄模式”、进行动画拍摄的“动画拍摄模式”、进行全景立体拍摄的“全景立体拍摄模式”等。

液晶监视器28是立体显示单元，其可以通过视差屏障将左眼用图像及右眼用图像分别显示为具有规定指向性的立体观看图像。在立体观看图像被输入至液晶监视器28的情况下，在液晶监视器28的视差屏障显示层产生由透光部与遮光部以规定间距交互排列而成的图案组成的视差屏障，并且，表示左右图像的短栅状的图像片段交互排列而显示在其下层的图像显示面上。在平面图像或作为使用者界面显示面板使用的情况下，视差屏障显示层无任何显示，而在其下层的图像显示面上直接显示1张图像。此外，液晶监视器28的方式并不限定于此，只要是可识别地将立体观看图像显示为立体图像的结构，可以使用双凸透镜的单元，或通过配戴偏光眼镜、液晶快门眼镜等专用眼镜而单独观看左眼用图像和右眼用图像的单元。此外，也可以取代液晶监视器而使用有机EL监视器等。

变焦按钮30作为指示变焦的变焦指示单元起作用，由指示向望远侧变焦的远摄变焦按钮30T和指示向广角侧变焦的广角变焦按钮30W构成。单眼立体摄像装置1在拍摄模式时，通过对该远摄变焦按钮30T和广角变焦按钮30W进行操作，使透镜单元12的焦距变化。另外，在再生模式时，通过对该远摄变焦按钮30T和广角变焦按钮30W进行操作，将再生中的图像放大、缩小。

十字键32是输入上下左右4个方向的指示的操作部，作为从菜单画面选择项目或从各菜单指示各种设定项目选择的按钮(光标移动操作单元)起作用。左/右键作为再生模式时的场景进给(正/反方向进给)按钮起作用。

MENU/OK按钮34是操作键，兼有用于指示在液晶监视器28的画面上显示菜单的作为菜单按钮的功能、和指示选择内容确定及执行等的作为OK按钮的功能。

再生按钮36是用于切换为将拍摄记录的立体观看图像(3D图像)、平面图像(2D图像)的静止图像或动画显示在液晶监视器28上的再生模式的按钮。

BACK按钮38作为指示取消输入操作或返回前一个操作状态的按钮起作用。

[拍摄光学系统、摄像元件的结构例]

透镜单元12主要由拍摄透镜14、光圈16、作为相位差图像传感器的固体摄像元件(以下称为“相位差CCD”)17构成。

拍摄透镜14是由包含聚焦透镜、变焦透镜的多个透镜构成的摄像光学系统。光圈16例如由5片光圈叶片构成，例如，从光圈值F2.8至F11，以每1档AV为5段进行光圈控制。在拍摄模式时，表示被摄体的图像光线经由拍摄透镜14、光圈16而在相位差CCD 17的受光面上成像。

图3是表示相位差CCD 17的结构例的图。

相位差CCD 17具有分别以矩阵状排列的奇数线的像素(主像素)和偶数线的像素(副像素)，由这些主、副像素分别经过光电转换的2个面的图像信号可以独立读取。

如图3所示，在相位差CCD 17的奇数线(1、3、5、…)中，交互设置具有R(红)、G(绿)、B(青)的彩色滤光片的像素中的GRGR…像素排列的线和BGBG…像素排列的线，另一方面，偶数线(2、4、6、…)的像素与奇数线同样地，交互设置GRGR…像素排列的线和BGBG…像素排列的线，并且，相对于偶数线的像素，各像素之间在直线方向上偏离2分之1间距而配置。

图4是表示拍摄透镜14及相位差CCD 17的主、副像素的各像素的图，图5是图4的要部放大图。

在相位差CCD 17的主像素的前面侧(微透镜L侧)配置遮光部件17A，在副像素的前面侧配置遮光部件17B。遮光部件17A、17B具有作为光瞳分割部件的功能。如图5A所示，穿过射出瞳的光束，经由微透镜L无限制地入射到通常的CCD像素(光电二极管PD)上。如图5B所示，遮光部件17A遮挡主像素(光电二极管PD)的受光面的右半部分。因此，在主像素上，仅使穿过射出瞳的光束的光轴左侧受光。另外，如图5C所示，遮光部件17B遮挡副像素(光电二极管PD)的受光面的左半部分。因此，在副像素上，仅使穿过射出瞳的光束的光轴右侧受光。

对于通过按照上述方式在相位差CCD 17的主像素上仅使穿过射出瞳的光束的光轴左侧受光，而在副像素上仅使穿过射出瞳的光束的光轴右侧受光，从而利用相位差CCD 17拍摄立体观看图像的构造进行说明。

图6A至6C是表示由于聚焦透镜分别为焦点靠前、合焦(最佳焦距)及焦点靠后的差异，所引起的摄像元件上所成的像的分离状态的图。另外，在图7中，为了对由焦距引起的分离的差异进行比较而省略光圈16。

如图6B所示，光瞳分割的像中合焦的像，成像在摄像元件上的同一个位置(一致)，但如图6A及6C所示，焦点靠前及焦点靠后的像成像在摄像元件上不同的位置(分离)。

因此，通过经由相位差CCD 17获取在左右方向上进行光瞳分割的被摄体像，从而可以对应于焦点位置获取视差量不同的左眼用图像及右眼用图像(立体观看图像)。

另外，上述结构的相位差CCD 17构成为，在主像素和副像素中，由遮光部件17A、17B限制光束的区域(右半部分、左半部分)不同，但并不限定于此，也可以不设置遮光部件17A、17B，使微透镜L和光电二极管PD相对地在左右方向上偏离，根据其偏离方向限制入射到光电二极管PD上的光束，另外，也可以通过相对于2个像素(主像素和副像素)设置1个微透镜而限制入射到各像素的光束。

[摄像装置的内部结构]

图7是本发明的第1实施方式涉及的单眼立体摄像装置1的框图。该单眼立体摄像装置1将摄像得到的图像记录在记录介质54中，装置整体的动作由中央处理装置(CPU)40集中控制。

单眼立体摄像装置1设有快门按钮、模式旋钮、再生按钮、MENU/OK键、十字键、BACK键等操作部48。来自该操作部48的信号被输入CPU 40，CPU 40基于输入信号对单眼立体摄像装置1的各个电路进行控制，例如，进行透镜驱动控制、光圈驱动控制、拍摄动作控制、图像处理控制、图像数据的记录/再生控制、立体显示用的液晶监视器28的显示控制等。

如果通过电源/模式开关24将单眼立体摄像装置1的电源接通，则从电源部58向各个模块供电，开始单眼立体摄像装置1的驱动。

穿过拍摄透镜14、光圈16等的光束在相位差CCD 17上成像，在相位差CCD 17中蓄积信号电荷。蓄积在相位差CCD 17中的信号电荷基于从时序产生器45施加的读取信号，作为对应于信号电荷的电压信号被读取。从相位差CCD 17读取的电压信号被输入至模拟信号处理部60。

模拟信号处理部60对于从相位差CCD 17输出的电压信号，通过相关双采样处理(以减少摄像元件的输出信号中包含的噪声(特别是热噪声)等为目的，通过求出摄像元件的每1个像素的输出信号中包含的馈通成分电平与像素信号成分电平之差而得到正确的像素数据的处理)，对各像素的R、G、B信号进行采样保持，在放大后输出至A/D变换器61。A/D变换器61将依次输入的R、G、B信号变换为数字R、G、B信号，输出至图像输入控制器62。

数字信号处理部63对于经由图像输入控制器62输入的数字图像信号，进行补偿处理、包含白平衡校正及感光度校正的增益/控制处理、γ校正处理、YC处理等规定的信号处理。在这里，从相位差CCD 17的奇数线的主像素读取的主像素数据，作为左眼用图像数据处理，从偶数线的副像素读取的副像素数据，作为右眼用图像数据处理。

由数字信号处理部63处理后的左眼用图像数据及右眼用图像数据(3D图像数据)被输入VRAM 50。在VRAM 50中包含分别对表示1个场景的3D图像的3D图像数据进行记录的A区域和B区域。在VRAM 50中，在A区域和B区域交互地刷新用于表示1个场景的3D图像的3D图像数据。从VRAM 50的A区域及B区域中的除了进行3D图像数据刷新的一个区域之外的区域，读取所写入的3D图像数据。

从VRAM 50读取的3D图像数据，由3D图像信号处理部64加工成短栅状的图像片段，在视频编码器66中进行编码，输出至设置于照相机背面的立体显示用的液晶监视器28，由此，将3D被摄体像连续地显示在液晶监视器28的显示画面上。

如果对操作部48的快门按钮22进行第1阶段的按下(半按)，则CPU 40开始AF动作及AE动作，经由透镜驱动部47，使聚焦透镜在光轴方向上移动，控制使得聚焦透镜到达合焦位置。

AF处理部42是进行对比AF处理或相位差AF处理的部分。在进行对比度AF处理的情况下，提取左眼用图像数据及右眼用图像数据的至少一个图像数据中的规定聚焦区域内的图像数据的高频成分，通过对该高频成分进行积分，计算表示合焦状态的AF评价值。通过对拍摄透镜14内的聚焦透镜进行控制而进行AF控制，以使得该AF评价值成为极大。另外，在进行相位差AF处理的情况下，检测左眼用图像数据及右眼用图像数据中的规定聚焦区域内的主像素、副像素所对应的图像数据的相位差，基于表示该相位差的信息，求出散焦量。通过对拍摄透镜14内的聚焦透镜进行控制而进行AF控制，使得该散焦量变为0。

CPU 40对应于需要而经由透镜驱动部47使变焦透镜在光轴方向进行进退动作，从而使焦距变更。

另外，在半按快门按钮22时，从A/D变换器61输出的图像数据被输入AE/AWB检测部44。

在AE/AWB检测部44中，对图像整体的G信号进行积分，或对在画面中央和周边部进行不同加权的G信号进行积分，将该积分值输出至CPU 40。CPU 40根据从AE/AWB检测部44输入的积分值计算被摄体的亮度(拍摄Ev值)，基于该拍摄Ev值，按照规定的程序框图确定光圈16的光圈值及相位差CCD 17的电子快门(快门速度)，基于该确定的光圈值经由光圈驱动部46对光圈16进行控制，并且，基于所确定的快门速度经由时序产生器45对相位差CCD 17中的电荷蓄积时间进行控制。

如果AE动作及AF动作结束，并且进行快门按钮22的第2阶段按下(全按)，则响应该按下，从A/D变换器61输出的与主像素及副像素相对应的左眼用图像(主图像)及右眼用图像(副图像)这2张图像的图像数据，从图像输入控制器62输入至VRAM 50并暂时存储。

暂时存储在VRAM 50中的2张图像的图像数据通过数字信号处理部63适当地读取，在这里，进行包含图像数据的亮度数据及色差数据的生成处理(YC处理)的规定的信号处理。YC处理后的图像数据(YC数据)重新记录在VRAM 50中。然后，2张图像的YC数据分别被输出至压缩展开处理部65，执行JPEG(Joint PhotographicExperts Group)等规定的压缩处理，然后，重新记录在VRAM 50中。

根据记录在VRAM 50中的2张图像的YC数据(压缩数据)，在3D图像信号处理部64生成多图像文件(MP文件：多个图像相连的形式的文件)，该MP文件通过介质/控制器52读取，记录在记录介质54中。

此外，不仅是在快门按钮22第1段按下(半按)的情况下，在连续地拍摄右眼用图像数据、左眼用图像数据的情况下，也进行AF动作。所谓连续拍摄右眼用图像数据、左眼用图像数据的情况，例如，可以列举拍摄实时取景图像的情况或拍摄动画的情况。在这种情况下，AF处理部42在连续地拍摄右眼用图像数据、左眼用图像数据的期间内，始终重复进行AF评价值运算，并连续进行对聚焦透镜位置进行控制的连续AF。在这种情况下，对应于聚焦透镜位置的移动，连续显示在液晶监视器28的显示画面上的右眼用图像、左眼用图像的视差量发生变化。

视差校正量计算部67计算在连续显示在液晶监视器28的显示画面上的右眼用图像、左眼用图像及相位差AF中显示在液晶监视器28的显示画面上的右眼用图像、左眼用图像的视差量的变化。即，视差校正量计算部67求出在液晶监视器28的显示画面上显示的右眼用图像、左眼用图像的主要被摄体的视差量，计算使得该视差量成为0所需的视差校正量。在这里，所谓主要被摄体是指位于AF区域中央的被摄体、位于画面中央的被摄体、由脸部检测部(未图示)检测到的人或动物的脸部、由来自操作部48的输入指定的被摄体等。此外，由于脸部检测部对人或动物的脸部进行检测的方法是已公知的，因此省略说明。

显示在液晶监视器28的显示画面上的右眼用图像、左眼用图像的主要被摄体的视差量计算，基于右眼用图像数据与左眼用图像数据的对应点的偏移量计算出。例如，在拍摄图20所示的图像且主要被摄体为车辆的情况下，首先，视差校正量计算部67从左眼用图像或右眼用图像中的任一个图像检测主要被摄体的特征点(例如，车后端的位置)，从另一个图像检测与该特征点相对应的对应点。由此，可以从各个右眼用图像和左眼用图像检测到对应点。并且，视差校正量计算部67计算分别从右眼用图像数据和左眼用图像数据检测到的对应点(在这里是右眼用图像数据的特征点(这里是车后端的位置)和左眼用图像数据的车后端位置)的左右方向的偏移量，计算使其为0的量作为视差校正量。由视差校正量计算部67计算出的视差校正量被输出至视差校正部68。

此外，在本实施方式中，视差校正量计算部67计算出为了使主要被摄体的视差量保持为0所需的视差校正量，但为了减轻聚焦透镜移动导致的视差量变化引起不适感，也可以将主要被摄体的视差量保持为一定，而并不限定于主要被摄体的视差量为0。

但是，在主要被摄体的视差量不是0的情况下，例如，在以具有从显示面凸出的方向的视差量的状态而将主要被摄体的视差量保持为一定的情况下，拍摄者会自然地进行使双眼同时朝向内侧的眼睛动作(辐辏眼球运动)(变为对眼)。但是，实际上，由于图像显示在显示面上，因此，眼睛的注视点必须落在显示面上。即，拍摄者为了看到向前凸出的东西而使眼睛向内靠近，这与使注视点落在不向前凸出的显示面上这种要看到近处物体时的通常的眼睛动作(如果使注视点落在近处，则会使眼睛同时向内)不同。因此，即使将主要被摄体的视差量保持为一定，在主要被摄体的视差量不是0的情况下，也会给摄影者造成疲劳感。

因此，为了进一步减轻拍摄者的眼睛承受的负担，优选视差校正量计算部67计算出使主要被摄体的视差量保持为0所需的视差校正量。

视差校正部68使右眼用图像数据及左眼用图像数据中的至少1方在左右方向上移动而实现由视差校正量计算部67计算出的视差校正量。由此，变更右眼用图像的主要被摄体与左眼用图像的主要被摄体的距离，其结果，将右眼用图像的主要被摄体与左眼用图像的主要被摄体的距离保持为一定(在本实施方式中保持为0)，进行视差校正。

视差校正量不仅具有大小信息，还具有方向信息。所谓方向信息是指使右眼用图像数据和左眼用图像数据接近的方向，或右眼用图像数据与左眼用图像数据远离的方向。在这里，对于视差校正量的方向的信息与聚焦透镜的移动方向的关系、视差校正量的方向的信息、和视差校正的方法进行说明。

在使聚焦透镜移动而使合焦位置远离(向里侧偏移)的情况下，视差量为0的位置变远(向里侧偏移)。因此，被摄体朝向向前凸出的方向移动，即，右眼用图像数据的被摄体向左侧移动，左眼用图像数据的主要被摄体向右侧移动。因此，计算使右眼用图像数据向右侧、使左眼用图像数据向左侧，即，使右眼用图像数据与左眼用图像数据远离的方向的视差校正量。

在聚焦透镜移动而使合焦位置接近(向前偏移)的情况下，视差量为0的位置接近(向前偏移)。因此，被摄体朝向向里侧拉入的方向移动，即，右眼用图像数据的被摄体向左侧移动，左眼用图像数据的主要被摄体向右侧移动。因此，计算右眼用图像数据向左侧、左眼用图像数据向右侧，即，使右眼用图像数据和左眼用图像数据接近的方向的视差校正量。

在计算使右眼用图像数据和左眼用图像数据在远离的方向移动A作为视差校正量的情况下，视差校正部68以(1)使左眼用图像数据向左方移动A，(2)使右眼用图像数据向右方移动A，(3)使右眼用图像数据向右侧、使左眼用图像数据向左侧各移动A/2中的任一种方法，进行右眼用图像数据、左眼用图像数据的视差校正，使得视差量变为0。另外，在计算出使右眼用图像数据和左眼用图像数据在接近的方向上移动B作为视差校正量的情况下，视差校正部68以(1)使左眼用图像数据向右方移动B，(2)使右眼用图像数据向左方移动B，(3)使右眼用图像数据向左侧、使左眼用图像数据向右侧各移动B/2中的任一种方法，进行右眼用图像数据、左眼用图像数据的视差校正，使得视差量变为0。

单眼立体摄像装置1不仅可以实现动画、静止图像的记录再生，还可以实现声音的记录再生。传声器57输入话筒声音，扬声器56输出听筒声音，声音输入/输出电路55进行从传声器输入的声音的编码及接收到的声音的解码等。

[摄像装置的动作的说明]

下面，对于单眼立体摄像装置1的动作进行说明。该摄像处理由CPU 40控制。用于使CPU 40执行该摄像处理的程序记录在CPU40内的程序存储部中。

图8是表示实时取景图像的拍摄、显示处理流程的流程图。

如果开始拍摄，则CPU 40将拍摄透镜14、光圈16向初始位置驱动(步骤S10)，将此时的视差校正量初始设定为0(步骤S11)。

CPU 40判断是否从操作部48输入了实时取景图像的拍摄开始的指令(步骤S12)。在没有输入实时取景图像的拍摄开始的指令的情况下(在步骤S12中为否)，CPU 40将液晶监视器28关闭(步骤S13)。

在输入了实时取景图像的拍摄开始的指令的情况下(在步骤S12中为是)，穿过拍摄透镜14的被摄体光线经由光圈16而成像在相位差CCD 17的受光面上。蓄积在相位差CCD 17的主像素及副像素中的信号电荷，通过时序产生器45以规定的帧率依次读取，作为与信号电荷相对应的电压信号(图像信号)，并经由模拟信号处理部60、A/D变换器61、图像输入控制器62依次输入数字信号处理部63，依次生成左眼用图像数据及右眼用图像数据。所生成的左眼用图像数据及右眼用图像数据依次被输入VRAM 50。

CPU 40基于左眼用图像数据及右眼用图像数据，经由光圈驱动部46变更光圈16的开口量(F值)。另外，CPU 40对应于来自操作部48的输入，经由透镜驱动部47进行变焦。

CPU 40判断是否进行连续AF(步骤S14)。是否进行连续AF，经由操作部48设定，并记录在CPU 40内的记录单元中。CPU 40基于该设定信息进行判断。

在判断为不进行连续AF的情况下(在步骤S14中为否)，由于是聚焦透镜不移动的情况，因此，左眼用图像数据及右眼用图像数据的视差量始终为一定。因此，CPU 40从VRAM 50依次输出左眼用图像数据及右眼用图像数据，并向3D信号处理部64输入。由图像信号处理部64生成亮度/色差信号，该信号经由视频编码器66输出至液晶监视器28。在液晶监视器28产生视差屏障，并且，使左眼用图像数据和右眼用图像数据的短栅状的图像片段交互排列而显示在其下层的图像显示面上(步骤S22)。通过依次进行该处理，从而实时显示由相位差CCD 17的主像素、副像素摄像的图像。

在判断为进行连续AF的情况下(在步骤S14中为是)，AF处理部42基于左眼用图像数据及右眼用图像数据进行连续AF(步骤S15)。

视差校正量计算部67判断是否通过连续AF改变合焦位置(步骤S16)。

合焦位置发生变化的情况(在步骤S16中为是)是聚焦透镜移动，合焦的被摄体即焦点变化的情况。在这种情况下，视差校正量计算部67根据左眼用图像数据及右眼用图像数据计算视差校正量(步骤S17)。

视差校正部68从VRAM 50输出左眼用图像数据及右眼用图像数据，基于视差校正量计算部67计算出的视差校正量，使左眼用图像数据及右眼用图像数据中的至少一个在左右方向上移动，并向3D信号处理部64输出(步骤S18)。

合焦位置不变的情况(在步骤S16中为否)是聚焦透镜不移动的情况，即合焦的被摄体(焦点)不变的情况。在这种情况下，视差校正部68从VRAM 50输出左眼用图像数据及右眼用图像数据，基于之前一帧的视差校正量(视差校正量计算部67之前计算出的视差校正量，或是在视差校正量计算部67未计算视差校正量的情况下，在步骤S11中初始设定的视差校正量)，使左眼用图像数据及右眼用图像数据中的至少一方在左右方向上移动，并向3D图像处理部64输入(步骤S19)。此外，在视差校正量为0的情况下，其结果，左眼用图像数据及右眼用图像数据不移动。

图像信号处理部64基于通过视差校正部68在左右方向上移动后的左眼用图像数据及右眼用图像数据生成亮度/色差信号，该信号经由视频编码器66输出至液晶监视器28。液晶监视器28产生视差屏障，并且，使左眼用图像数据及右眼用图像数据的短栅状的图像片段交互排列而显示在其下层的图像显示面上(步骤S20)。

CPU 40判断是否已从操作部48输入了实时取景图像的拍摄动作的结束指令(步骤S21)。在没有输入实时取景图像的拍摄动作的结束指令的情况下(在步骤S21中为否)，重复进行步骤S15至S21的处理。在已输入了实时取景图像的拍摄动作的结束指令的情况下(在步骤S15中为是)，结束该处理。

由此，对由相位差CCD 17的主像素、副像素摄像的图像进行视差量校正，以使得主要被摄体的视差量为一定，并进行实时显示。

图9是进行视差量校正后的情况下的显示图像的一个例子，图9A是焦点位于树处的情况，图9B是焦点位于车辆处的情况，图9C是焦点位于房子处的情况。在本实施方式中，因进行视差量校正，以使得主要被摄体即车辆的视差量为0，因此，无论实际的焦点如何(在全部的图9A至9C中)，在液晶监视器28上显示车辆的视差量为0的图像。因此，可以使视差量无急剧变化，使拍摄者舒适地观看立体观看图像。

拍摄者可以通过观看实时显示在该液晶监视器28上的动画图像(实时取景图像)，确认拍摄视场角。

如果半按快门按钮，则S1ON信号被输入至CPU 40，CPU 40经由AF处理部42及AE/AWB检测部44实施AE/AF动作。在立体观看图像的拍摄处理中，AF处理部42通过相位差AF处理进行AF动作。

如果全按快门按钮，则S2ON信号被输入至CPU 40，CPU 40开始拍摄、记录处理。即，以基于测光结果确定的快门速度、光圈值使相位差CCD 17曝光。

分别从相位差CCD 17的主像素、副像素输出的2张图像数据，经由模拟信号处理部60、A/D变换器61、图像输入控制器62而输入VRAM 50，在由3D图像信号处理部64变换为亮度/色差信号后存储在VRAM 50中。存储在VRAM 50中的左眼用图像数据被输入压缩展开处理部65，在以规定的压缩格式(例如JPEG格式)压缩后，存储在VRAM 50中。

由记录在VRAM 50中的2张压缩数据生成MP文件，该MP文件经由介质/控制器52记录在记录介质54中。由此，拍摄并记录立体观看图像。

此外，在本实施方式中，以拍摄立体观看图像的情况为例进行了说明。单眼立体摄像装置1可以拍摄平面图像、立体观看图像这两种。在拍摄平面图像的情况下，可以仅使用CCD 17的主像素进行拍摄。关于拍摄处理的详细过程与拍摄立体观看图像的情况相同，因此省略说明。

如上所述，通过使用再生按钮将单眼立体摄像装置1的模式设定为再生模式，从而在液晶监视器28上对记录在记录介质54中的图像进行再生显示。

如果设定为再生模式，则CPU 40将命令输出至介质/控制器52，并读取最后存储在记录介质54中的图像文件。

所读取的图像文件的压缩图像数据被输入至压缩展开处理部65，在展开为非压缩的亮度/色差信号之后，经由视频编码器66输出至液晶监视器28。

图像的场景进给通过十字键的左右键操作而进行，如果按下十字键的右键，则从记录介质54中读取下一个图像文件，并再生显示在液晶监视器28上。另外，如果按下十字键的左键，则从记录介质54中读取前一个图像文件，并再生显示在液晶监视器28上。

根据本实施方式，即使在实时取景图像的显示中，无论聚焦透镜如何移动，都可以将右眼用图像与左眼用图像的视差量始终设为一定，从而可以减轻拍摄者的不适感。

此外，在本实施方式中，以实时取景图像的拍摄、显示为例进行了说明，但也适用于连续获取右眼用图像数据及左眼用图像数据并进行连续AF的情况，例如动画拍摄时。实时取景图像的拍摄与动画拍摄的差异仅有以下一点不同，即，在实时取景图像拍摄的情况下，不记录连续拍摄的右眼用图像数据及左眼用图像数据，相对于此，在动画拍摄的情况下，除了图8所示的处理之外，还进行将连续拍摄的右眼用图像数据及左眼用图像数据记录在记录介质54等中的处理。此外，将连续拍摄的右眼用图像数据及左眼用图像数据记录在记录介质54中的处理是已公知的，因此省略说明。由于动画记录在记录介质54等中，因此，不仅是在动画拍摄过程中，即使在动画拍摄后进行立体显示的情况下，也可以将右眼用图像与左眼用图像的视差量始终保持为一定，从而可以减轻观看者的不适感。

<第2实施方式>

本发明的第1实施方式在实时取景图像的拍摄中将视差量设为一定，但视差量发生变化的情况并不限定于实时取景图像拍摄过程中。在聚焦透镜移动的情况下，也存在视差量始终变化的可能性。

本发明的第2实施方式是在静止图像拍摄的拍摄准备阶段中的AF处理时对视差量进行调节的技术。下面，对于第2实施方式涉及的单眼立体摄像装置2进行说明。此外，摄像装置的整体结构与第1实施方式相同，因此，省略说明，而仅对与摄像装置的动作进行说明。另外，在摄像装置的动作说明中，对于与第1实施方式相同的部分标记相同的标号，省略说明。

[摄像装置的动作的说明]

下面，对于单眼立体摄像装置2的动作进行说明。该摄像处理由CPU 40控制。用于使CPU 40执行该摄像处理的程序记录在CPU40内的程序存储部中。

穿过拍摄透镜14的被摄体光线，经由光圈16而成像在相位差CCD 17的受光面上。蓄积在相位差CCD 17中的信号电荷，通过时序产生器45以规定的帧率依次读取，作为与信号电荷相对应的电压信号(图像信号)，并经由模拟信号处理部60、A/D变换器61、图像输入控制器62依次输入数字信号处理部63，依次生成左眼用图像数据及右眼用图像数据。所生成的左眼用图像数据及右眼用图像数据依次被输入VRAM 50。在这种情况下，进行直接使聚焦透镜移动至标准的合焦位置(在本实施方式中为初始位置)的所谓泛焦(panfocus)。

左眼用图像数据及右眼用图像数据依次从VRAM 50输出，由3D图像信号处理部64生成亮度/色差信号，该信号经由视频编码器66输出至液晶监视器28。在液晶监视器28中产生视差屏障，并且，使左眼用图像数据和右眼用图像数据的短栅状的图像片段交互排列而显示在其下层的图像显示面上。

依次进行该处理，实时显示由相位差CCD 17的主像素、副像素摄像的图像。拍摄中可以通过观看实时显示在该液晶监视器28上的图像，确认拍摄视场角。

图10是表示静止图像拍摄的拍摄准备处理流程的流程图。该处理在半按快门按钮并将S1ON信号输出至CPU 40之后进行。在这种情况下，也可以以规定的帧率依次读取蓄积在相位差CCD 17上的信号电荷，作为与信号电荷相对应的电压信号(图像信号)，并经由模拟信号处理部60、A/D变换器61、图像输入控制器62依次输入数字信号处理部63，依次生成左眼用图像数据及右眼用图像数据。

CPU 40将拍摄透镜41、光圈16向与实时取景图像拍摄时相同的位置驱动并使其停止(步骤S30)，将此时的视差校正量初始设定为0(步骤S31)。

CPU 40使聚焦透镜移动，进行获取合焦位置的相位差AF。视差校正量计算部67在相位差AF处理中，判断聚焦透镜是否移动(步骤S32)。

聚焦透镜移动的情况(在步骤S32中为是)是合焦的被摄体发生变化的情况。在该情况下，视差校正量计算部67根据左眼用图像数据及右眼用图像数据计算视差校正量(步骤S33)。

视差校正部68从VRAM 50输出左眼用图像数据及右眼用图像数据，基于视差校正量计算部67计算出的视差校正量，使左眼用图像数据及右眼用图像数据中的至少一方在左右方向上移动，并向3D图像信号处理部64输入(步骤S34)。

聚焦透镜未移动的情况(在步骤S32中为否)是合焦的被摄体无变化的情况。在这种情况下，视差校正部68从VRAM 50输出左眼用图像数据及右眼用图像数据，基于之前一帧的视差校正量(视差校正量计算部67之前计算出的视差校正量、或在视差校正量计算部67未计算视差校正量的情况下，在步骤S31中初始设定的视差校正量)，使左眼用图像数据及右眼用图像数据中的至少一方在左右方向上移动，并向3D图像处理部64输入(步骤S35)。此外，在视差校正量为0的情况下，其结果，左眼用图像数据及右眼用图像数据不移动。

3D图像信号处理部64基于通过视差校正部68在左右方向上移动后的左眼用图像数据及右眼用图像数据生成亮度/色差信号，该信号经由视频编码器66输出至液晶监视器28。液晶监视器28产生视差屏障，并且，使左眼用图像数据及右眼用图像数据的短栅状的图像片段交互排列而显示在其下层的图像显示面上(步骤S36)。

CPU 40判断是否利用操作部48结束了AF，即，是否已确定合焦位置(步骤S37)。在未确定合焦位置的情况下(在步骤S37中为否)，重复进行步骤S32至S36的处理。在已确定合焦位置的情况下(在步骤S37中为是)，结束该处理。

由此，在AF动作中，由相位差CCD 17的主像素、副像素摄像的图像，也以使得主要被摄体的视差量为一定的方式进行视差量校正，并实时显示。

CPU 40使聚焦透镜的合焦位置向所确定的合焦位置移动。同时，AE/AWB检测部44进行AE处理。

如果全按快门按钮，则S2ON信号被输入至CPU 40，CPU 40开始拍摄、记录处理。即，以基于测光结果确定的快门速度、光圈值使相位差CCD 17曝光。

CPU 40经由CCD驱动部33从像素A至D中的选择像素读取信号电荷。分别从相位差CCD 17的主像素中的选择像素、副像素中的选择像素输出的2张图像数据，经由模拟信号处理部60、A/D变换器61、图像输入控制器62输入VRAM 50，由3D图像信号处理部64变换为亮度/色差信号之后，存储在VRAM 50中。存储在VRAM 50中的左眼用图像数据输出至压缩展开处理部65，在按照规定的压缩格式(例如JPEG格式)压缩后存储在VRAM 50中。

由记录在VRAM 50中的2张压缩数据生成MP文件，该MP文件经由介质/控制器52记录在记录介质54中。由此，拍摄并记录立体观看图像。

根据本实施方式，在聚焦透镜移动的AF动作期间的显示中，即使在聚焦透镜移动而合焦位置、焦点发生变化的情况下，也可以使主要被摄体的右眼用图像与左眼用图像的视差量始终为一定，从而减轻拍摄者的不适感而实现舒适的立体图像观看。

另外，根据本实施方式，由于基于对应点的距离计算视差校正量，因此在未判明合焦位置的阶段(即，AF处理结束之前)，也可以计算视差校正量。

此外，在本实施方式中，将拍摄透镜14位于初始位置时的视差校正量初始设定为0(步骤S31)，但视差校正量的初始设定值并不限定于此。图11是表示将视差校正量的初始设定值设为使主要被摄体的视差量为0的值的情况下的AF处理流程的流程图。对于进行与图10相同的处理的情况标记相同的标号，省略详细说明。

CPU 40将拍摄透镜14、光圈16向与实时取景图像拍摄时相同的位置驱动并使其停止(步骤S30)。

CPU 40检测主要被摄体(在本实施方式中，是位于画面中央的被摄体)。视差校正量计算部67计算使右眼用图像数据与左眼用图像数据的主要被摄体的视差量为0的值，将计算出的视差校正量设为初始设定的视差校正量(步骤S40)。因此，在这种情况下，从聚焦透镜移动之前，进行使得主要被摄体为0的视差量校正。

CPU 40使聚焦透镜移动而进行获取合焦位置的相位差AF。视差校正量计算部67在相位差AF处理中，判断聚焦透镜是否移动(步骤S32)。

在聚焦透镜移动的情况下(在步骤S32中为是)，视差校正量计算部67根据左眼用图像数据及右眼用图像数据计算视差校正量。并且，视差校正量计算部67将计算出的视差校正量和在步骤S40中初始设定的视差校正量相加而计算最终的视差校正量(步骤S41)。

视差校正部68基于在步骤S41中由视差校正量计算部67计算出的视差校正量，使从VRAM 50获取的左眼用图像数据及右眼用图像数据中的至少一方在左右方向上移动，并向3D图像信号处理部64输入(步骤S42)。

在聚焦透镜未移动的情况下(在步骤S32中为否)，基于之前一帧的视差校正量(视差校正量计算部67之前计算出的视差校正量、或在视差校正量计算部67未计算视差校正量的情况下，在步骤S40中初始设定的视差校正量)，使左眼用图像数据及右眼用图像数据中的至少一方在左右方向上移动，并向3D图像处理部64输入(步骤S43)。

根据通过视差校正部68在左右方向上移动后的左眼用图像数据及右眼用图像数据生成亮度/色差信号，并输出至液晶监视器28。液晶监视器28产生视差屏障，并且，使左眼用图像数据和右眼用图像数据的短栅状的图像片段交互排列而显示在其下层的图像显示面上(步骤S36)。

CPU 40判断是否利用操作部48结束了AF，即，是否已确定合焦位置(步骤S37)。在未确定合焦位置的情况下(在步骤S37中为否)，重复进行步骤S32至S36的处理。在已确定合焦位置的情况下(在步骤S37中为是)，结束该处理。

由此，在AF动作前、AF动作中，均可以始终将右眼用图像与左眼用图像的视差量保持为一定。

此外，在本实施方式中，以在静止图像的拍摄准备处理中进行相位差AF的情况为例进行了说明，但也可以用于在动画(包含实时取景图像)拍摄前作为拍摄准备处理而进行相位差AF、在动画拍摄中不使聚焦透镜移动的情况。

<第3实施方式>

本发明的第1实施方式基于右眼用图像数据和左眼用图像数据的对应点的偏移量计算出右眼用图像、左眼用图像的主要被摄体的视差量，但计算右眼用图像、左眼用图像的主要被摄体的视差量的方法并不限定于此。

本发明的第3实施方式是根据聚焦透镜的移动量计算右眼用图像、左眼用图像的主要被摄体的视差量的技术。下面，对于第3实施方式涉及的单眼立体摄像装置3进行说明。此外，对于与第1实施方式相同的部分标记相同的标号，省略说明。

[摄像装置的整体结构]

图12是表示本发明第3实施方式涉及的单眼立体摄像装置3的实施方式的框图。

视差校正量计算部67A计算在连续显示在液晶监视器28的显示画面上的右眼用图像、左眼用图像及相位差AF中显示在液晶监视器28的显示画面上的右眼用图像、左眼用图像的视差量变化。作为这时的基准，是主要被摄体的视差量为0的情况。即，视差校正量计算部67A求出在液晶监视器28的显示画面上显示的右眼用图像、左眼用图像的主要被摄体的视差量，计算使该视差量为0所需的视差校正量。在这里，所谓主要被摄体是指位于AF区域中央的被摄体、由脸部检测部(未图示)检测到的人或动物的脸部、由从操作部48的输入指定的被摄体等。此外，由于脸部检测部检测人或动物脸部的方法是已公知的，因此省略说明。计算出的视差校正量被输出至视差校正部68。

显示在液晶监视器28的显示画面上的右眼用图像、左眼用图像的主要被摄体的视差量的计算，基于聚焦透镜的移动量计算出。在视差校正量计算部67A的记录区域，记录聚焦透镜从初始位置的移动量与合焦位置的变化量的关系。因此，视差校正量计算部67A可以根据聚焦透镜从初始位置的移动量计算合焦位置怎样变化及变化多少(以下称为合焦位置的变化量)。

另外，在视差校正量计算部67A的记录区域记录合焦位置与视差校正量的关系(参照图13、16、17)。视差校正量计算部67A基于根据聚焦透镜从初始位置的移动量计算出的合焦位置的变化量、和表示合焦位置与视差校正量的关系的曲线，确定视差校正量。例如，在作为合焦位置与视差校正量的关系使用图13的情况下，合焦位置向前侧移动a的情况下，视差校正量计算部67A将“向前侧b”确定为视差量。

图13是表示合焦位置与视差校正量的关系的曲线的一个例子，在焦距处于中间附近的规定范围内且F值处于作为适当的拍摄范围的规定范围内的情况下(即，图13的曲线的适用范围是焦距、F值处于以规定的值为中心的范围内的情况)的合焦位置与视差校正量的关系的曲线。合焦位置和视差校正量的关系为正比关系，随着合焦位置从前侧向里侧移动，从前侧向里侧的视差校正量以一定的斜率增加。

图13所示的曲线设定为，消除合焦位置变化引起的右眼用图像、左眼用图像的视差量。如图20A至20C所示，如果合焦位置从前侧向里侧移动，则由于视差量为0的位置向里侧偏移，因此，右眼用图像、左眼用图像的树的视差量以一定的比例向前侧移动。即，在液晶监视器28上显示的树，以一定的比例向前凸出。图14以曲线表示该关系。在图14中，无论被摄体位于何处，只要合焦位置从前侧向里侧移动，则右眼用图像、左眼用图像的主要被摄体的视差量均为使得向前的视差量以一定的比例增大。

图13所示的曲线与图14所示的曲线只是符号不同，而斜率是相同的。因此，如果将图13所示的曲线应用于图14所示的曲线，则得到图15所示的曲线。即，无论被摄体处于何处，即使合焦位置从前侧向里侧移动，右眼用图像、左眼用图像的视差量也始终为恒定。另外，位于合焦位置的被摄体、即主要被摄体的右眼用图像、左眼用图像的主要被摄体的视差量始终为0。

由此，可以计算主要被摄体的视差量始终为0的视差校正量。

在以上的说明中，为了易于理解，使用表示焦距处于中间附近的规定范围内、F值处于适当的拍摄范围的规定范围内的情况下的合焦位置与视差校正量的关系的曲线(图13)进行说明，但合焦位置与视差校正量的关系实际上会根据焦距或F值而变化。图16是表示各个焦距处的合焦位置与视差校正量的关系的曲线，图17是表示各个F值处的合焦位置与视差校正量的关系的曲线。此外，与图13同样地，对于图16、17，各曲线的适用范围是焦距、F值处于以某个值为中心的范围内的情况。

使变焦透镜移动，使得变焦透镜的位置(变焦位置)即焦距越趋向望远侧，拍摄边界深度越浅且越容易产生视差量。因此，为了对应于焦距计算适当的视差校正量，必须随着焦距趋向望远侧而使针对合焦位置变化时的变化量的视差校正量(曲线斜率)增大。因此，表示合焦位置与视差校正量的关系的曲线的斜率，随着焦距而如图16所示变化。

F值越小即被摄体越亮，拍摄边界深度越浅，越容易产生视差量。因此，为了对应于被摄体的亮度计算适当的视差校正量，必须随着F值减小而使针对合焦位置变化时的变化量的视差校正量的变化量(曲线斜率)增大。因此，表示合焦位置与视差校正量的关系的曲线的斜率随着F值而如图17所示变化。

图16或图17所示的表示合焦位置与视差校正量的关系的曲线，也记录在视差校正量计算部67A的记录区域中。此外，在图16、图17中例示了3条曲线的情况，也可以记录焦距或F值不同的更多的曲线。

视差校正量计算部67A获取焦距或被摄体的亮度，确定使用记录在记录区域中的多条曲线中的哪一条曲线作为表示合焦位置与视差校正量的关系的曲线。由此，无论被摄体的条件或光学条件等如何，都可以计算使被摄体视差量始终为0的视差校正量。

此外，作为合焦位置与视差校正量的关系，不限定于图13、16、17所示的曲线，也可以记录以一览形式表示合焦位置与视差校正量的关系的表格。

[摄像装置的动作的说明]

下面，对于单眼立体摄像装置3的动作进行说明。该摄像处理通过CPU 40进行控制。用于使CPU 40执行该摄像处理的程序记录在CPU 40内的程序存储部中。

图18是表示单眼立体摄像装置3的实时取景图像拍摄、显示处理的流程的流程图。因与单眼立体摄像装置1的实时取景图像的拍摄处理的差异只是步骤S50，因此对于步骤S50进行说明。

视差校正量计算部67判断是否通过连续AF使合焦位置变化(步骤S16)的结果，合焦位置变化的情况(在步骤S16中为是)是聚焦透镜移动、合焦被摄体即焦点变化的情况。

在这种情况下，视差校正量计算部67对于聚焦透镜的移动量也计算视差校正量(步骤S50)。下面，对于步骤S50的处理详细地进行说明。

首先，视差校正量计算部67经由CPU 40获取聚焦透镜从初始位置的移动量、焦距(其根据变焦位置计算)及F值。

然后，视差校正量计算部67基于焦距及F值，确定使用表示记录在记录区域中的多个合焦位置与视差校正量的关系的曲线中的哪一个曲线。

并且，视差校正量计算部67基于聚焦透镜从初始位置的移动量计算合焦位置的变化量。该合焦位置的变化量是进行步骤S50前的合焦位置和聚焦透镜移动后的合焦位置的变化量。基于该计算结果和所确定的表示合焦位置与视差校正量的关系的曲线，计算视差校正量。

此外，在步骤S50中，在聚焦透镜已从初始位置移动的情况下，只要求出合焦位置的变化量即可，可以计算从聚焦透镜位置的移动量，也可以计算从初始位置的移动量。

由此，由相位差CCD 17的主像素、副像素摄像的图像，对应于被摄体的条件或光学条件，以使得主要被摄体的视差量为一定的方式进行视差量校正并实时显示。

在本实施方式中，无论被摄体的条件或光学条件等如何、聚焦透镜如何移动，都可以将右眼用图像与左眼用图像的视差量始终保持为一定，从而可以减轻拍摄者的不适感。

此外，在本实施方式中，以实时取景图像拍摄、显示为例进行了说明，在与第1实施方式同样地、连续获取右眼用图像数据及左眼用图像数据并进行连续AF的情况下，例如动画拍摄时也可以使用。

另外，在本实施方式中，记录表示合焦位置与视差校正量的关系的曲线，但也可以记录表示聚焦透镜的移动量与视差校正量的关系的曲线，或根据聚焦透镜的移动量直接求出视差校正量。

另外，在本实施方式中，根据聚焦透镜的移动量求出合焦位置的变化量，根据合焦位置的变化量求出视差校正量，但只要是可以计算合焦位置的变化量，并不一定进行聚焦透镜的移动量的计算。

此外，在第1至3实施方式中，将通过视差校正部68在左右方向上移动后的左眼用图像数据及右眼用图像数据，经由3D图像信号处理部64及编码器输出至液晶监视器28，但也可以输出并记录在用于记录通过视差校正部68在左右方向上移动后的左眼用图像数据及右眼用图像数据的记录介质54、单眼立体摄像装置内部的未图示的记录单元、与单眼立体摄像装置连接的外部存储单元等中。由此，在由单眼立体摄像装置或其他显示单元立体显示的情况下，也可以不依赖于聚焦透镜的移动而将左眼用图像及右眼用图像的视差量保持为一定，从而可以减轻观看者的不适感。

另外，在第1至3实施方式中，以将CCD用作摄像元件的例子进行了说明，但并不限定于CCD。本发明也可以用于CMOS等其他图像传感器。

另外，在第1至3实施方式中，以通过设置在相位差CCD 17的微透镜L侧的遮光部件17A、17B分割光束的单眼立体摄像装置为例进行了说明，但可以用于使用含有按照图19所示的方式分割光束的中继透镜的拍摄透镜12’的单眼立体摄像装置。另外，也可以通过相对于2个像素(主像素、副像素)设置1个微透镜，限制向各个像素入射的光束。

标号的说明

1、2、3：单眼立体摄像装置

14：拍摄透镜

16：光圈

17A、17B：遮光部件

17：相位差CCD

40：CPU

45：时序产生器

46：光圈驱动部

47：透镜驱动部

54：记录介质

67、67A：视差校正量计算部

68：视差校正部

Claims (12)

1.一种单眼立体摄像装置，其特征在于，具有：

拍摄光学系统，其包含聚焦透镜；

光瞳分割单元，其将穿过所述拍摄光学系统的光束分割为多条光束；

摄像单元，其分别接受通过所述光瞳分割单元分割后的多条光束，获取左眼用的图像及右眼用的图像；

聚焦透镜驱动单元，其使所述聚焦透镜的合焦位置移动；

视差校正量计算单元，其在通过所述聚焦透镜驱动单元使聚焦透镜的合焦位置移动时，计算用于将所述左眼用的图像及所述右眼用的图像的主要被摄体的视差量保持为一定的视差校正量；

视差校正单元，其在通过所述视差校正量计算单元计算出视差校正量的情况下，使所述左眼用的图像及所述右眼用的图像中的至少一个在左右方向上移动而实现所计算出的视差校正量，进行所述左眼用的图像及所述右眼用的图像的视差校正；以及

输出单元，其输出通过所述摄像单元获取的左眼用的图像及右眼用的图像、或通过所述视差校正单元进行视差校正后的左眼用的图像及右眼用的图像。

2.根据权利要求1所述的单眼立体摄像装置，其特征在于，

具有显示单元，其使所述左眼用的图像及所述右眼用的图像可识别为立体图像而显示，

所述输出单元，将通过所述摄像单元获取的左眼用的图像及右眼用的图像、或通过所述视差校正单元进行视差校正后的左眼用的图像及右眼用的图像输出至所述显示单元。

3.根据权利要求1或2所述的单眼立体摄像装置，其特征在于，

具有第1记录单元，其记录所述左眼用的图像及所述右眼用的图像，

所述输出单元将通过所述摄像单元获取的左眼用的图像及右眼用的图像、或通过所述视差校正单元进行视差校正后的左眼用的图像及右眼用的图像输出至所述第1记录单元。

4.根据权利要求1或2所述的单眼立体摄像装置，其特征在于，

所述视差校正量计算单元计算使所述主要被摄体的视差量始终为0的视差校正量。

5.根据权利要求1或2所述的单眼立体摄像装置，其特征在于，

所述视差校正量计算单元分别从所述左眼用的图像及所述右眼用的图像检测所述主要被摄体的对应点，计算将该检测到的左眼用的图像的对应点和右眼用的图像的对应点的偏移量保持为一定的视差校正量。

6.根据权利要求1或2所述的单眼立体摄像装置，其特征在于，

还具有移动量计算单元，其在通过所述聚焦透镜驱动单元对所述聚焦透镜的合焦位置进行移动时，计算所述聚焦透镜的合焦位置的移动量，

所述视差校正量计算单元基于通过所述移动量计算单元计算出的聚焦透镜的合焦位置的移动量，计算视差校正量。

7.根据权利要求1或2所述的单眼立体摄像装置，其特征在于，具有：

合焦位置获取单元，其基于所述聚焦透镜的位置，获取合焦位置；以及

第2记录单元，其记录合焦位置与视差校正量的关系，

所述视差校正量计算单元基于通过所述合焦位置获取单元获取的合焦位置、和记录在所述第2记录单元中的合焦位置与视差校正量的关系，计算视差校正量。

8.根据权利要求7所述的单眼立体摄像装置，其特征在于，具有：

光圈，其调节经由所述拍摄光学系统入射至所述摄像单元的光量；以及

光圈值检测单元，其检测所述光圈的光圈值，

在所述第2记录单元中，对应于所述光圈的光圈值记录多个合焦位置与视差校正量的关系，

所述视差校正量计算单元基于通过所述光圈值检测单元检测到的光圈的光圈值，从在所述第2记录单元中记录的多个合焦位置与视差校正量的关系中，确定在视差校正量的计算中使用的合焦位置与视差校正量的关系。

9.根据权利要求7所述的单眼立体摄像装置，其特征在于，

所述拍摄光学系统具有变焦透镜，

该单眼立体摄像装置具有焦距检测单元，其根据所述变焦透镜的位置检测焦距，

在所述第2记录单元中，对应于焦距记录多个合焦位置与视差校正量的关系，

所述视差校正量计算单元基于通过所述焦距检测单元检测到的焦距，从在所述第2记录单元中记录的多个合焦位置与视差校正量的关系中，确定在视差校正量的计算中使用的合焦位置与视差校正量的关系。

10.根据权利要求1或2所述的单眼立体摄像装置，其特征在于，

具有自动合焦单元，其基于通过所述摄像单元获取的左眼用的图像及右眼用的图像，经由所述聚焦透镜驱动单元使所述聚焦透镜的合焦位置移动，以使得所述主要被摄体合焦，

所述摄像单元连续获取所述左眼用的图像及所述右眼用的图像，

所述自动合焦单元在通过所述摄像单元连续获取所述左眼用的图像及所述右眼用的图像的期间内，连续地使所述聚焦透镜的合焦位置移动。

11.根据权利要求6所述的单眼立体摄像装置，其特征在于，具有：

自动合焦单元，其基于通过所述摄像单元获取的左眼用的图像及右眼用的图像，经由所述聚焦透镜驱动单元使所述聚焦透镜的合焦位置移动，以使得所述主要被摄体合焦；以及

拍摄指令输入单元，其输入拍摄指令，

如果通过所述拍摄指令输入单元输入拍摄指令，则所述摄像单元一张一张地分别获取所述左眼用的图像及所述右眼用的图像，

在所述摄像单元一张一张地分别获取所述左眼用的图像及所述右眼用的图像之前，所述自动合焦单元使所述聚焦透镜的合焦位置移动。

12.根据权利要求1或2所述的单眼立体摄像装置，其特征在于，

所述视差校正单元，在通过所述聚焦透镜驱动单元使所述聚焦透镜的合焦位置向合焦位置接近的方向移动的情况下，使所述左眼用的图像向右侧移动、或使所述右眼用的图像向左侧移动、或使所述左眼用的图像向右侧移动且使所述右眼用的图像向左侧移动，进行视差校正，

在通过所述聚焦透镜驱动单元使所述聚焦透镜的合焦位置向合焦位置远离的方向移动的情况下，使所述左眼用的图像向左侧移动、或使所述右眼用的图像向右侧移动、或使所述左眼用的图像向左侧移动且使所述右眼用的图像向右侧移动，进行视差校正。