CN103563366A - 图像拾取装置、图像拾取设备、图像处理方法、光圈控制方法及程序 - Google Patents

Abstract

本发明涉及一种能够减轻立体图像画面质量劣化的图像拾取装置、图像拾取设备、以及图像处理方法。视差检测像素（230）按使用由一个单微透镜覆盖的多个光接收元件接收对象光的方式生成用于检测视差的信号。G-像素（227，228）、R-像素（226）以及B-像素（229）按接收对象光的方式生成用于生成平面图像的信号。视差检测单元（320）根据视差检测像素（230）所生成的信号检测视差。2D图像生成单元（310）根据图像生成像素所生成的信号生成平面图像。3D图像生成单元（330）根据所检测的视差调整包括在平面图像中的对象图像的相应位置，从而生成立体图像。

Description

图像拾取装置、图像拾取设备、图像处理方法、光圈控制方法及程序

技术领域

本发明涉及一种图像拾取单元，具体地讲，本发明涉及一种生成立体画面的图像拾取单元、图像拾取设备、画面处理方法、光阑控制方法，并且涉及致使计算机执行所述方法的程序。

背景技术

过去，人们已推出了诸如数字静态照相机和数字摄像机（集成了照相机的记录器）的图像拾取单元，它们能够生成用于立体画面显示的画面数据，其中，所述立体画面显示利用左右眼之间的视差提供了立体观看效果。

例如，已经推出了包括两个透镜和一个图像拾取设备，并且生成两个用于立体画面显示的画面（一个左眼画面和一个右眼画面）的图像拾取单元（例如，参见PTL1）。

引用列表

专利文献

PTL1：申请号为2004-309868的日本未经审查的专利申请发表物

发明内容

技术问题

根据以上所描述的现存技术，使用两个透镜和一个图像拾取单元生成两个画面（左眼画面和右眼画面）。然而，图像拾取单元使用了一个极化滤色器，因此，可能减少了光量。另外，可能难以接收包含特定极化的对象光（例如，来自玻璃的反射光和来自水面的反射光）。

而且，所提供的两个透镜导致了一个复杂的光系统。因此，也推出了使用一个透镜生成立体画面的图像拾取单元。然而，在这样的图像拾取单元中，通过一个透镜把对象光划分为左侧光和右侧光，于是，如果优先考虑亮度的调整，同时缩小光阑，则立体效果减弱。换句话说，为了提高立体画面的质量，需要在不减弱立体效果的情况下调整亮度。

鉴于上述情况，推出了本发明，本发明的目的在于抑制立体画面质量的劣化以及提高画面质量。

问题的解决

提供了一种解决上述问题的技术，其第一方面为一种图像拾取单元、画面处理方法、以及致使计算机执行所述方法的程序。所述图像拾取单元包括：图像拾取设备，包括视差检测像素和画面生成像素，每个视差检测像素通过由一个微透镜覆盖的多个光检测器接收对象光，以生成用于检测视差的信号，而每个画面生成像素通过逐像素覆盖有大小小于所述微透镜的微透镜的光检测器接收对象光，以生成用于生成画面的信号；以及立体画面生成部件，根据视差检测像素所生成的信号检测视差，根据画面生成像素所生成的信号生成平面画面，并且根据所检测的视差调整包括在所生成的平面画面中的每个对象图像的位置，以生成立体画面。使用这一配置，提供了这样一种功能：根据视差检测像素所生成的信号检测视差；根据画面生成像素所生成的信号生成平面画面；并且根据所检测的视差调整包括在所生成的平面画面中的每个对象图像的位置。

另外，在第一方面中，还可以包括姿态检测部件，检测图像拾取单元的姿态，视差检测像素沿图像拾取设备的行方向排列成在一条直线上，并沿图像拾取设备的列方向也排列在一条直线上，以及立体画面生成部件根据姿态检测部件所检测的姿态确定偏离图像拾取设备行方向和列方向的视差的检测方向，根据沿所确定的方向排列的视差检测像素所生成的信号生成与视差相关的信息。使用这一配置，提供了这样一种功能：根据姿态检测部件所检测的姿态确定视差的检测方向，根据沿所确定的方向排列的视差检测像素所生成的信号生成与视差相关的信息。

而且，在第一方面中，还可以包括还包含焦点确定部件，其根据视差检测像素所生成的信号对将加以聚焦的对象执行焦点确定。使用这一配置，提供了这样一种功能：根据视差检测像素所生成的信号执行对将加以聚焦的对象的焦点确定。

另外，在第一方面中，图像拾取设备中的视差检测像素沿某一具体方向彼此相邻地排列在一条直线上。使用这一配置，提供了这样一种功能：沿某一具体方向在一条直线上彼此相邻地排列视差检测像素。

而且，在第一方面中，图像拾取设备中的视差检测像素沿某一具体方向按预先确定的间隔排列在一条直线上。使用这一配置，提供了这样一种功能：按岛形排列视差检测像素。

另外，在第一方面中，还可以提供控制部件，其根据图像拾取设备和出射光瞳的大小之间的关系，沿微透镜的光轴方向移动覆盖视差检测像素中的所述多个光检测器的一个微透镜。使用这一配置，提供了这样一种功能：针对多个具有不同大小的出射光瞳，检测视差。

而且，在第一方面中，视差检测像素中的多个光检测器还可以覆盖有一个滤色器。于是，提供了这样一种功能：允许视差检测像素中的多个光检测器具有相同的光谱特征。另外，在这一情况下，视差检测像素中的多个光检测器可以覆盖有绿滤色器，所述绿滤色器遮蔽除显示绿光的波长范围内的光之外的光。使用这一配置，提供了这样一种功能：针对视差检测像素中的多个光检测器提供了一个作为滤色器的绿滤色器。

而且，在这一情况下，视差检测像素中的所述多个光检测器可以覆盖有白滤色器或者透明层，所述白滤色器和透明层允许可见光范围内的光透过。使用这一配置，提供了这样一种功能：针对视差检测像素中的多个光检测器提供了一个作为滤色器的白滤色器或者透明层。

另外，在第一方面中，画面生成像素每个像素可以包括一个光检测器。使用这一配置，提供了这样一种功能：根据每个像素包括一个光检测器的画面生成像素所生成的信号生成平面画面。

而且，在第一方面中，用于收集多个光检测器中每一个的位置上的对象光的微透镜按照所述多个光检测器为单位覆盖所述多个光检测器，所述对象光由覆盖视差检测像素中的所述多个光检测器的一个微透镜收集。使用这一配置，提供了这样一种功能：向视差检测像素提供了覆盖多个光检测器的一个微透镜，微透镜用于收集多个光检测器中每个光检测器的位置上一个微透镜所收集的对象光。

另外，在第一方面中，其每个都覆盖画面生成像素中的光检测器的一些微透镜排列在与按照多个光检测器为单位覆盖视差检测像素中多个光检测器的微透镜的光轴方向正交的一个表面上。使用这一配置，提供了这样一种功能：在同一层中提供了覆盖视差检测像素中多个光检测器中每个光检测器的微透镜和画面生成像素中的微透镜。

而且，在第一方面中，其每个都覆盖画面生成像素中的光检测器的一些微透镜排列在与覆盖视差检测像素中多个光检测器的一个微透镜的光轴正交的一个表面上。使用这一配置，提供了这样一种功能：在同一层中提供了覆盖视差检测像素中多个光检测器的一个微透镜和画面生成像素的一个微透镜。

另外，根据本发明的第二方面，提供了一种图像拾取设备，包含：视差检测像素，每个视差检测像素通过由一个微透镜覆盖的多个光检测器接收对象光，以生成用于检测视差的信号，视差用于生成立体画面；以及画面生成像素，每个画面生成像素通过逐像素覆盖有大小小于所述微透镜的微透镜的光检测器接收对象光，以生成用于生成平面画面的信号，平面画面用于利用视差生成立体画面。于是，提供了这样一种功能：允许图像拾取设备包括视差检测像素和画面生成像素，其中，每个视差检测像素包括一个微透镜所覆盖的多个光检测器，每个画面生成像素包括一个由小微透镜逐像素覆盖的光检测器。

另外，在第二方面中，视差可以为在沿视差方向调整每个对象图像的位置以生成立体画面时与平面画面中每一对象图像的位置的位移量相关的信息，视差检测像素可沿视差方向排列在一条直线上。使用这一配置，提供了这样一种功能：使用来自沿视差方向在一条直线上排列视差检测像素的信号计算平面画面中每一对象图像的位置的位移量。

而且，根据本发明的第三方面，提供了一种图像拾取单元、一种与图像拾取单元相关的光阑控制方法、以及一种致使计算机执行所述方法的程序。所述图像拾取单元包括：光阑，其形成一对用于生成立体画面的光圈；图像拾取设备，其接收透过所述光圈对中每一光圈的对象光，以生成用于生成立体画面的信号；以及控制部件，其独立地控制光圈对的形心之间的距离，并且控制透过光圈对的对象光的光量的增加和减少。使用这一配置，提供了这样一种功能：接收透过形成用于生成立体画面的一对光圈的光阑的对象光，并且生成立体画面。

另外，在第三方面中，光圈对可以形成在光阑中沿立体画面视差方向彼此相邻，以及在光圈对的外部边缘中，控制部件可以改变和控制外部边缘在视差方向与两端对应的端部分的位置以及外部边缘的与光圈对之间彼此接近的接近部分的位置。使用这一配置，提供了这样一种功能：形成沿立体画面视差方向彼此相邻的光圈对；改变和控制相应于视差方向两端的外部边缘的端部分的位置以及光圈对之间互相接近的外部边缘的接近的部分的位置。

而且，在第三方面中，当增加或者减少光量时，在形心之间的距离固定的情况下，控制部件改变外部边缘的与光圈对中一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度，以及改变外部边缘的与光圈对中另一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度。使用这一配置，提供了这样一种功能：在其中形心之间的距离固定的状态下，当增加或者减少光量时，改变相应于光圈对中一个光圈的末端的外部边缘的端部分和其外部边缘的接近的部分之间的长度，以及相应于光圈对中另一个光圈的末端的外部边缘的端部分和其外部边缘的接近的部分之间的长度。

另外，在第三方面中，外部边缘的与光圈对中一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度可以等于外部边缘的与光圈对中另一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度。使用这一配置，提供了这样一种功能：允许相应于光圈对中一个光圈的末端的外部边缘的端部分和其外部边缘的接近的部分之间的长度可以等于相应于光圈对中另一个光圈的末端的外部边缘的端部分和其外部边缘的接近的部分之间的长度。

而且，在第三方面中，当形心之间的距离改变时，在其中外部边缘的与光圈对中一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度为固定的状态下，控制部件可以改变形心之间的距离。使用这一配置，提供了这样一种功能：当改变形心之间的距离时，在其中相应于光圈对中一个光圈的末端的外部边缘的端部分和其外部边缘的接近的部分之间的长度为固定的状态下，改变形心之间的距离。

另外，在第三方面中，还提供了调整形心之间的距离的调整部件，控制部件可以控制光圈对，以允许形心之间的距离为由调整部件调整的距离。使用这一配置，提供了这样一种功能：对光圈对进行控制，以允许形心之间的距离为调整形心之间的距离的调整部件所调整的距离。

而且，在第三方面中，光阑可以包括第一构件和第二构件，其中，第一构件包括其中每个具有切口（cutout）的一对构件，第二构件包括其中每个具有突出部分的一对构件，第一构件的构件对设置为使得切口互相面对，第二构件的构件对设置为使得突出部分互相面对。使用这一配置，提供了这样一种功能：光阑由一个第一构件和一个第二构件加以配置，其中，第一构件包括分别具有一个切口的一对构件，第二构件包括分别具有一个突出部分的一对构件，把第一构件的构件对设置为允许切口互相面对，把第二构件的构件对设置为允许突出部分互相面对。

另外，在第三方面中，第一构件和第二构件可沿正交于视差方向的正交方向驱动。使用这一配置，提供了这样一种功能：沿正交于视差方向的正交方向驱动第一构件和第二构件。

而且，在第三方面中，切口呈凹形，其中，山形的顶点定位在穿过形心之间的距离的中点、并且平行于第一构件的驱动方向的直线上，以及突出部分呈凸形，其中，山形的顶点定位在穿过形心之间的距离的中点、并且平行于第二构件的驱动方向的直线上。使用这一配置，提供了这样一种功能：驱动第一构件和第二构件，第一部件具有一个呈凹形的切口，其中，把山形的一个顶点定位在穿过形心之间的距离的中点、并且平行于第一构件的驱动方向的一条直线上，第二构件具有一个呈凹形的突出部分，其中，把山形的一个顶点定位在穿过形心之间的距离的中点、并且平行于第二构件的驱动方向的一条直线上。

另外，在第三方面中，还可以包含姿态检测部件，检测图像拾取单元的姿态。而且，在第三方面中，光阑包括第一构件、在水平拍摄时遮蔽部分对象光的第二构件、以及在垂直拍摄时遮蔽部分对象光的第三构件，第一构件具有其中每个含有切口的一对构件，把第一构件的构件对设置为使得切口互相面对，第二构件具有其中每个含有突出部分的一对构件，把第二构件的构件对设置为使得突出部分互相面对，第三构件具有其中每个含有突出部分的一对构件，把第三构件的构件对设置为使得突出部分互相面对。而且，在第三方面中，第二构件的驱动方向可以正交于第三构件的驱动方向。另外，在第三方面中，控制部件可以根据所检测的姿态判断是进行水平拍摄还是进行垂直拍摄，然后控制光圈对。使用这一配置，提供了这样一种功能：在水平拍摄中和垂直拍摄中均沿视差方向形成光圈对。

而且，在第三方面中，光阑可以设置在单眼透镜系统所收集的对象光的光路径上。使用这一配置，提供了这样一种功能：把光阑设置在一个单眼透镜系统所收集的对象光的光路径上。

另外，根据本发明的第四方面，提供了一种图像拾取单元，包括：光阑，由一对每个具有一对沿立体画面视差方向彼此相邻的切口的构件构成，各构件的切口互相面对，以形成一对光圈；图像拾取设备，其接收透过所述光圈对中每个光圈的对象光，以生成用于生成立体画面的信号；以及控制部件，其沿正交于视差方向的正交方向驱动所述构件对中的每个，并且控制光阑，以使得光圈对的形心之间的距离为固定的。使用这一配置，提供了这样一种功能：接收透过光阑的一对光圈的对象光，其中，光阑由一对分别具有一对沿立体画面视差方向彼此相邻的切口的构件加以配置，以生成立体画面。

而且，根据本发明的第五方面，提供了一种图像拾取单元，包括：形成光圈的光阑，光圈的纵方向为立体画面中的视差方向；图像拾取设备，其接收透过光圈的对象光，以生成用于生成立体画面的信号；以及控制部件，其控制光阑，以使得光圈沿视差方向的长度长于光圈沿正交于视差方向的正交方向的长度。使用这一配置，提供了这样一种功能：接收透过光阑的光圈的对象光，从而生成立体画面，其中，光阑形成了其纵方向为立体画面的视差方向的光圈。

另外，在第五方面中，光阑可以包括每个具有切口的一对构件，切口互相面对，以形成光圈，以及控制部件可以沿正交方向驱动所述构件对中的每个构件，以控制光阑。使用这一配置，提供了这样一种功能：接收透过光圈的对象光，从而生成立体画面，其中，由分别具有一个切口的构件对形成所述光圈。

另外，在第五方面中，所述切口可以呈矩形形状、三角形形状、以及半圆形形状之一，其中，矩形形状的长边沿视差方向延伸，三角形形状的底边沿视差方向延伸，半圆形形状的边沿视差方向延伸。使用这一配置，提供了这样一种功能：接收透过光圈的对象光，从而生成立体画面，其中，光圈由切口形成，切口可以呈矩形形状、三角形形状、以及半圆形形状之一，其中，矩形形状具有一条沿视差方向延伸的长边，三角形形状具有一条沿视差方向延伸的底边，半圆形形状具有一条沿视差方向延伸的边。

而且，在第五方面中，光阑可以使用一对第一构件和一对第二构件形成光圈，第一构件每个具有一条平行于视差方向的边，各第一构件的边互相面对，第二构件每个具有一条平行于正交方向的边，各第二构件的边互相面对。使用这一配置，提供了这样一种功能：接收透过光圈的对象光，从而生成立体画面，其中，光圈由一对第一构件和一对第二构件形成，第一构件分别具有一条平行于视差方向的边，各第一构件的边互相面对，第二构件分别具有一条平行于正交方向的边，各第二构件的边互相面对。

本发明的优点

根据本发明，能够提供抑制立体画面质量劣化，并且提高画面质量的效果。

附图说明

图1为说明了根据本发明第一实施例的图像拾取单元100的一个功能配置实例的结构图。

图2为说明了提供在根据本发明第一实施例的图像拾取设备200中的一个像素排列实例的示意图。

图3为说明了提供在根据本发明第一实施例的图像拾取设备200中的画面生成像素和视差检测像素的一个实例的示意图。

图4为说明了根据本发明第一实施例的画面生成像素和视差检测像素的截面结构的一个实例的示意图。

图5示意性地说明了根据本发明第一实施例的视差检测像素所接收的对象光。

图6示意性地说明了根据本发明第一实施例的视差检测像素230的视差检测的原理。

图7示意性地说明了在其中使用根据本发明第一实施例的图像拾取单元100进行水平拍摄的情况下视差检测像素230视差检测的方向的一个实例。

图8示意性地说明了在其中使用根据本发明第一实施例的图像拾取单元100进行垂直拍摄的情况下视差检测像素230视差检测的方向的一个实例。

图9示意性地说明了根据本发明第一实施例的图像拾取单元100的3D画面的一个生成实例。

图10为说明了根据本发明第一实施例的图像拾取单元100捕获立体画面时图像拾取处理规程的一个实例的流程图。

图11为说明了根据本发明第一实施例的图像拾取处理规程中立体画面生成处理的处理规程（步骤S920）的一个实例的流程图。

图12为说明了根据本发明第二实施例的图像拾取单元400的功能配置的一个实例。

图13示意性地说明了使用根据本发明第一实施例的视差检测像素230中9个像素电路的像素值进行自动聚焦的构想。

图14示意性地说明了通过根据本发明第一实施例的焦点确定部件410的相位差检测进行的焦点确定。

图15为说明了根据本发明第二实施例的图像拾取单元400捕获立体画面时图像拾取处理规程的一个实例的流程图。

图16为说明了根据本发明第二实施例的图像拾取处理规程中聚焦处理的处理规程（步骤S940）的一个实例的流程图。

图17示意性地说明了作为本发明第一和第二实施例的第一修改，其中仅沿行方向、按直线排列视差检测像素的图像拾取设备的一个实例。

图18示意性地说明了作为本发明第二修改，其中沿行方向和列方向按预先确定的间隔排列（按岛形排列）视差检测像素的图像拾取设备的一个实例。

图19示意性地说明了作为本发明第一～第五修改，画面生成像素和视差检测像素的截面结构的修改。

图20说明了作为本发明第六～第九修改，视差检测像素的修改的示意图。

图21为说明了根据本发明第三实施例的图像拾取单元500的一个功能配置实例的结构图。

图22示意性地说明了根据本发明第三实施例的光阑510的一个实例。

图23示意性地说明了在其中驱动根据本发明第三实施例的光阑510，从而当基线长度固定时仅改变光圈面积的情况下第一光阑511和第二光阑515的驱动方向。

图24示意性地说明了在其中驱动根据本发明第三实施例的光阑510，从而当光圈面积固定时仅改变基线长度的情况下第一光阑511和第二光阑515的驱动方向。

图25示意性地说明了其中把根据本发明第三实施例的光阑510的光圈部分形成为适合于捕获平面画面的形状的情况。

图26示意性地说明了显示在根据本发明第三实施例的显示部件151上的将加以捕获的画面的设置屏幕和3D强度的设置屏幕。

图27示意性地说明了根据本发明第三实施例的光阑510的基线长度的变化对图像的改变。

图28示意性地说明了根据本发明第三实施例的光阑510的光圈平面和现存光阑的光圈平面之间的差别。

图29为说明了根据本发明第三实施例的图像拾取单元500捕获立体画面时图像拾取处理规程的一个实例的流程图。

图30为说明了根据本发明第四实施例的图像拾取单元600的一个功能配置实例的结构图。

图31示意性地说明了根据本发明第四实施例的光阑610的一个实例。

图32示意性地说明了根据本发明第四实施例的光阑610所形成的光圈部分的形状的一个实例。

图33示意性地说明了作为本发明第三和第四实施例的修改，具有适合于捕获3D画面的简单配置的光阑的一个实例。

具体实施方式

以下，将描述实现本发明的优选实施例（以下，将它们称为实施例）。将按下列次序进行描述。

1.第一实施例（图像拾取控制：一个其中视差检测像素检测视差，并且生成3D画面的实例）

2.第二实施例（图像拾取控制：一个其中把视差检测像素的像素值用于检测相位差的实例）

3.修改

4.第三实施例（光阑控制：一个其中在水平拍摄中独立控制亮度和基线长度的实例）

5.第四实施例（光阑控制：一个其中在水平拍摄和垂直拍摄中均独立地控制亮度和基线长度的实例）

6.修改

＜1.第一实施例＞

［图像拾取单元的功能配置实例］

图1为说明了根据本发明第一实施例的图像拾取单元100的一个功能配置实例的结构图。图像拾取单元100为一个使用单透镜生成3D画面的图像拾取单元。图像拾取单元100捕获对象的图像，以生成画面数据（所捕获的画面），并且把所生成的画面数据记录为2D画面内容或者3D画面内容（静止画面内容或者移动画面内容）。注意，在以下的描述中，将主要描述一个其中把静止画面内容（静止画面文件）记录为画面内容（画面文件）的实例。

图像拾取单元100包括透镜部件110、操作接收部件120、控制部件130、图像拾取设备200、信号处理部件300、姿态检测部件140、显示部件151、存储部件152、以及驱动部件170。

透镜部件110收集来自对象的光（对象光）。透镜部件110包括变焦透镜111、光阑112、以及聚焦透镜113。

驱动部件170驱动变焦透镜111，从而变焦透镜111可沿光轴方向移动，以改变焦距，于是调整了包括在所捕获的画面中的对象的大小。

光阑112是遮蔽组件，其改变驱动部件170驱动光圈的程度，从而可调整进入图像拾取设备200的对象光的光量。

驱动部件170驱动聚焦透镜113，从而聚焦透镜113可沿光轴方向移动，于是可调整焦距。

操作接收部件120接收来自用户的操作。例如，当按下快门按钮（未在图中加以说明）时，操作接收部件120把一个与所述按压相关的信号作为操作信号提交于控制部件130。

控制部件130控制图像拾取单元100中的每一部件的操作。注意，在图1，仅说明了主信号线。例如，当按下快门按钮以及控制部件130接收到开始静止画面记录时，控制部件130把与静止画面记录的执行相关的信号提交于信号处理部件300。

图像拾取设备200为一个执行把所接收的对象光光电转换为电信号的图像传感器。例如，图像拾取设备200由诸如互补金属氧化物半导体（CMOS）传感器、电荷耦合装置（CCD）传感器等的x-y地址型传感器加以配置。在图像拾取设备200中，排列了生成用于根据所接收的对象光生成所捕获的画面的信号的像素（画面生成像素）和检测用于生成3D画面的视差的像素（视差检测像素）。顺便提及，将参照图2描述图像拾取设备200。另外，将参照图3～图6描述画面生成像素和视差检测像素。图像拾取设备200针对每一帧（画面数据）把光电转换所生成的电信号（画面信号）提交于信号处理部件300。

信号处理部件300对从图像拾取设备200所提交的电信号进行预先确定的信号处理。例如，信号处理部件300把从图像拾取设备200所提交的电信号转换为数字电信号（像素值），然后执行黑色电平校正、缺陷校正、阴影校正、混合颜色校正等。

而且，信号处理部件300还根据经历校正的电信号生成3D画面（立体画面）。作为用于生成3D画面的功能配置，信号处理部件300包括2D画面生成部件310、视差检测部件320、以及3D画面生成部件330。注意，信号处理部件300为权利要求中所描述的立体画面生成部件的一个实例。

2D画面生成部件310根据画面生成像素的电信号（像素值）生成2D画面（平面画面）。2D画面生成部件310根据画面生成像素的电信号（像素值）插入相应于视差检测像素的位置的电信号（像素值），并且执行消除马赛克的处理，以生成平面画面。2D画面生成部件310把所生成的平面画面提交于3D画面生成部件330。

视差检测部件320根据视差检测像素的电信号（像素值）生成视差信息画面。在这一情况下，视差信息画面为一个包括与左眼画面和右眼画面之间的差（视差）相关的信息（视差信息）的画面。视差检测部件320把所生成的视差信息画面提交于3D画面生成部件330。

3D画面生成部件330根据视差信息画面和2D画面生成3D画面（立体画面）。3D画面生成部件330生成作为3D画面的左眼画面和右眼画面。例如，3D画面生成部件330根据视差信息画面所指示的视差信息、通过移动2D画面中的每个对象的所捕获的图像的位置，生成3D画面。作为立体画面内容，3D画面生成部件330把所生成的左眼画面（左眼画面数据）的数据和所生成的右眼画面（右眼画面数据）的数据作为立体画面内容存储在存储部件152中。另外，3D画面生成部件330允许显示部件151显示作为立体画面内容的左眼画面数据还右眼画面数据。

姿态检测部件140检测图像拾取单元100的姿态（倾斜度）。例如，姿态检测部件140由一个陀螺仪或者加速度传感器加以配置。姿态检测部件140把与所检测的图像拾取单元100的姿态相关的信息提交于视差检测部件320。

显示部件151根据从3D画面生成部件330所提交的立体画面内容显示画面。例如，显示部件151由一个彩色液晶面板加以配置。

存储部件152保留从3D画面生成部件330所提交的立体画面内容。例如，把包括诸如数字通用盘（DVD）的盘、诸如存储卡的半导体存储器等的可拆卸记录媒体（一或多个记录媒体）用作存储部件152。另外，也可以把这样的记录媒体并入图像拾取单元100中，或者能够从图像拾取单元100拆卸下来。

驱动部件170驱动变焦透镜111、光阑112、以及聚焦透镜113。例如，当从控制部件130提交了移动聚焦透镜113的指令时，驱动部件170根据所述指令移动聚焦透镜113。

［图像拾取设备中像素的排列实例］

图2为说明了提供在根据本发明第一实施例的图像拾取设备200中的一个像素排列实例的示意图。注意，在本发明的实施例中，在其中描述了图像拾取设备的光接收表面上的像素排列的情况下（例如，图2、图3、以及图7），为了便于描述，仅以示意性说明形式描述了从图像拾取设备的光接收表面后侧看去的排列情况。

在此图中，在对XY轴做了如此假设的情况下进行描述：其中，把纵方向称为Y轴以及把横方向称为X轴。另外，在此图中，还假设：把左下角称为XY轴的原点，把从底向上的方向称为Y轴的正侧，把从左向右的方向称为X轴的正侧。注意，在此图中，把图像拾取设备200中的某一具体方向（相应于所捕获的像素的水平方向（横方向）的方向）称为X轴方向，把正交于所述具体方向的正交方向（相应于所捕获的像素的纵方向的方向）称为Y轴方向。而且，在此图中，还把从后向前的方向称为Z轴方向。注意，Z轴为平行于光轴的轴，Z轴的正方向为来自对象的对象光向图像拾取设备传播的传播方向。另外，图像拾取设备200中信号的读取方向为X轴方向（逐行读取），图像拾取设备200的长边方向为X轴方向，其短边方向为Y轴方向。

在此图的（a）中，为了便于描述，使用了配置了图像拾取设备200的一部分像素的一个区域（区域210）描述像素排列。注意，图像拾取设备200中的像素的排列为这样一种排列：其中，把区域210中所说明的像素排列用作一个单位，并且沿X轴方向和Y轴方向重复相应于所述单位的像素排列（相应于区域210的像素排列）。注意，在此图的（b）中，示意性地说明了一个其中沿X轴方向和Y轴方向重复区域210中所说明的像素排列的区域（区域250）。

在此图的（a）中，描述了图像拾取设备200的一个部分区域（区域210）中画面生成像素和视差检测像素的像素排列。

在此图中，由一个正方形表示一个像素电路（此图（a）中最小的正方向）。顺便提及，在本发明的第一实施例中，对于画面生成像素，一个正方形表示一个画面生成像素，因为一个像素电路配置一个像素。

在图像拾取设备200中，作为画面生成像素，排列了接收允许红光透过的滤色器的红（R）光的像素（R像素）、接收允许绿光透过的滤色器的绿（G）光的像素（R像素）。另外，在图像拾取设备200中，除了R像素和G像素之外，作为画面生成像素，还排列了接收允许蓝光透过的滤色器的蓝（B）光的像素（B像素）。在区域210中，分别由有斑点的正方形、白正方形、灰正方形表示R像素、G像素、以及B像素（例如，参见区域220中的像素）。

视差检测像素230为一个用于检测生成3D画面的视差的像素。视差检测像素230由9个像素电路加以配置。视差检测像素230配有一个覆盖9个像素电路的微透镜。顺便提及，未向画面生成像素提供覆盖9个像素电路的微透镜。在视差检测像素230中，使用允许绿（G）光透过的滤色器均匀地覆盖9个像素电路。在区域210中，按这样的方式表示视差检测像素230：由粗线正方形围起9个像素电路（9个最小正方形），并且在粗线正方形中添加一个粗线圆形。换句话说，在区域210中所有像素电路行中位于中间的3行（此图的（a）中行R1）中以及在像素电路的列中位于中间的3列（此图的（c）中列C1）中排列视差检测像素230。

顺便提及，将参照图3的（a）、使用此图的（a）中的区域225描述画面生成像素。另外，将参照图3的（b）描述视差检测像素。而且，将参照图4的（b）描述画面生成像素和视差检测像素的截面结构。

在图2的（b）中，说明了一个其中沿X轴方向和Y轴方向重复此图的（a）中所说明的区域210的区域。通过沿X轴方向和Y轴方向重复此图的（a）中所说明的区域，形成图像拾取设备200中的像素排列。因此，如此图的（b）中的区域250中的粗线（视差检测像素线234）所说明的，在任意一个像素圆形中，沿行方向和列方向（在网格中）按直线排列视差检测像素230。

［画面生成像素和视差检测像素的实例］

图3为说明了提供在根据本发明第一实施例的图像拾取设备200中的画面生成像素和视差检测像素的一个实例的示意图。

在此图的（a）中，说明了图2的（a）中区域225中的9个画面生成像素。在此图的（a）中，使用符号（R、G、以及B）和格局（把R像素表示为灰色区域、把G像素表示为白色区域、以及把B像素表示为有斑点的区域）表示画面生成像素（R像素、G像素、以及B像素）。顺便提及，对于G像素，把包括R像素（R像素226）的行（直线）中的G像素表示为Gr像素227，把包括B像素（B像素229）的行（直线）中的G像素表示为Gb像素228。

另外，在此图的（a）中，由点划线圆形表示针对每一画面生成像素排列的微透镜（微透镜261）。图像拾取设备200配有用于形成两种类型微透镜的两个微透镜层，微透镜261由接近滤色器层的微透镜层形成。注意，由于将参照图4的（b）描述画面生成像素的断面图，所以此处省略了其详细的描述。

如区域225中所说明的（也参见图2的（a）），根据Bayer排列，排列画面生成像素。另外，向每个画面生成像素提供一个微透镜，并且由微透镜覆盖每个画面生成像素。

图3的（b）说明了视差检测像素（视差检测像素230）。在图3的（b）中所说明的视差检测像素230中，由具有数字1～9的正方形表示视差检测像素230中的9个像素电路（称为像素电路1～9）。使用允许绿（G）光透过的滤色器均匀地覆盖像素电路1～9。

另外，在视差检测像素230中，由点划线圆形表示针对每个像素电路所提供的微透镜（微透镜261）。视差检测像素230中的微透镜261类似于画面生成像素的微透镜（微透镜261），并且由接近滤色器层的微透镜层形成。

另外，视差检测像素230还配有一个覆盖视差检测像素230的所有9个微透镜261的大微透镜（覆盖全部像素电路1～9）。在图6的（b）中，由粗线圆形表示所述大的微透镜（视差检测使用的微透镜231）。

如此图的（b）中所说明的，在视差检测像素230中，排列了一个大的微透镜，以覆盖9个像素电路。另外，在视差检测像素230中，允许绿（G）光透过的滤色器也均匀地覆盖了9个像素电路。

［画面生成像素和视差检测像素的截面结构实例］

图4为说明了根据本发明第一实施例的画面生成像素和视差检测像素的截面结构的一个实例的示意图。

在此图的（a）中，为了描述此图的（b）中所说明的截面结构中的截面结构的位置，说明了从图像拾取设备200的光接收表面的背侧看去的3行和9列的像素电路以及此图的（b）的截面结构的位置（a-b直线）。在此图的（b）中，如此图的（a）中所说明的，将在这样的假设下进行描述：排列在3行和9列的像素电路中部的3列中的像素电路为视差检测像素。

在此图的（b）中，说明了此图的（a）中a-b直线所截的截面结构。在此图的（b）中，说明了微透镜261、R滤色器262、G滤色器263、光检测器264、导线269、视差检测像素230、视差检测使用的微透镜231、以及G滤色器232。另外，在此图的（b）中还说明了微透镜层S1和视差检测使用的微透镜层S2。

微透镜261为光检测器中收集对象光的透镜。为每个像素电路提供微透镜261。而且，把微透镜261提供在提供于图像拾取设备中的两个微透镜层（微透镜层S1和视差检测使用的微透镜层S2）中的微透镜层S1上。

光检测器264把所接收的光转换为电信号（光电转换），从而生成具有相应于所接收的光的量的强度的电信号。例如，光检测器264由光电二极管（PD）加以配置。为每个像素电路提供光检测器264。换句话说，把9个光检测器提供在由9个像素电路配置的视差检测像素230中。

R滤色器262、G滤色器263、以及G滤色器232为允许特定波长范围的光透过的滤色器。R滤色器262为允许呈红（R）的波长范围内的光透过、并且允许R像素的光检测器接收呈红色波长范围内的光的滤色器。另外，G滤色器263和G滤色器232为呈绿（G）的波长范围内的光透过的滤色器。G滤色器263允许G像素的光检测器接收呈绿色的波长范围内的光，G滤色器232允许视差检测像素230的光检测器接收呈绿色波长范围内的光。在画面生成像素中，提供了相应于画面生成像素所接收的波长范围（R、G、以及B）内的光的滤色器（R滤色器262、G滤色器263、或者B滤色器）。而且，在视差检测像素中，G滤色器263覆盖视差检测像素的全部9个像素电路。

导线269连接每个像素电路中的每个电路。例如，按这样的方式排列连接每个电路的导线：相对光轴分层布设3条导线，与图的（b）中所说明的导线269一样。另外，导线269由金属形成，于是可用作遮蔽漏入相邻像素的对象光的光遮蔽层。而且，把导线269排列在每个像素电路的一端，从而可封锁进入光检测器的光。

视差检测使用的微透镜231为一个收集对象光以检测视差的透镜。视差检测使用的微透镜231形成于一个远离两个微透镜层的光检测器的层（视差检测使用的微透镜层S2）中。换句话说，在视差检测像素230中，把视差检测使用的微透镜231提供在视差检测像素230的微透镜（微透镜261）上（在Z轴方向的负侧），以覆盖微透镜261。注意，不把微透镜提供在视差检测使用的微透镜层S2中画面生成像素的位置，表面为平的，不封锁透过光。

以下，将参照图5描述像素电路和进入视差检测像素中视差检测使用的微透镜的对象光之间的关系。

［进入视差检测像素中的对象光的实例］

图5示意性地说明了根据本发明第一实施例的视差检测像素所接收的对象光。

在此图中，此图的（b）中说明了视差检测像素230的截面结构，此图的（a）中示意性地说明了为从视差检测像素230看去的光阑的形状的出射光瞳（出射光瞳E1）。注意，出射光瞳实质上具有大体为圆形的形状，然而，在此图的（a）中，为了便于描述，仅说明了沿Y轴方向为短的出射光瞳（椭圆形状）。另外，还说明了从图像拾取设备200侧看去的出射光瞳。

顺便提及，此图的（b）中所说明的视差检测像素230的截面结构与图4的（b）中所说明的视差检测像素230的截面结构相同。另外，在图4的（b）中，把像素电路4的光检测器（参见图3的（b））表示为光检测器（4）291，把像素电路5的光检测器表示为光检测器（5）292，以及把像素电路6的光检测器表示为光检测器（6）293。

另外，在此图的（b）中，把光检测器（4）291所接收的部分对象光表示为一个具有许多斑点的区域（区域R23）。而且，把光检测器（5）292所接收的部分对象光表示为一个灰色区域（区域R22）。另外，把光检测器（6）293所接收的部分对象光表示为一个具有少数斑点的区域（区域R21）。

而且，在此图的（a）中所说明的出射光瞳E1中，把此图的（b）中表示为区域21的一个区域（其中，对象光（像素电路6所接收的对象光）透过）表示为出射光瞳E1中一个具有少数斑点的区域（区域R11）。同样，把表示为区域22的一个区域（其中，对象光（像素电路5所接收的对象光）透过）表示为出射光瞳E1中一个灰色区域（区域R12）。把表示为区域23的一个区域（其中，对象光（像素电路4所接收的对象光）透过）表示为出射光瞳E1中一个具有许多斑点的区域（区域R13）。另外，在出射光瞳E1中，由区域14～19表示其中其它像素电路所接收的光透过的区域。

现在，描述光检测器（4）291～光检测器（6）293所接收的对象光和出射光瞳E1中的区域R11～R13之间的关系。视差检测使用的微透镜231用于收集对象光，以使像素电路1～9的相应光检测器能够接收已经透过出射光瞳E1中特定区域（相应于各光检测器的区域）的对象光。因此，像素电路4的光检测器（光检测器（4）291）接收已经透过区域R13的对象光。像素电路5的光检测器（光检测器（5）292）接收已经透过区域R12的对象光。另外，像素电路6的光检测器（光检测器（6）293）接收已经透过区域R11的对象光。注意，这同样适合于未在图中加以说明的像素电路1～3和未在图中加以说明的像素电路7～9。像素电路1的光检测器接收已经透过区域19的对象光，像素电路2的光检测器接收已经透过区域18的对象光，像素电路3的光检测器接收已经透过区域17的对象光。另外，像素电路7的光检测器接收已经透过区域16的对象光，像素电路8的光检测器接收已经透过区域15的对象光，以及像素电路9的光检测器接收已经透过区域14的对象光。

［视差检测像素的视差检测原理实例］

图6示意性地说明了根据本发明第一实施例的视差检测像素230的视差检测的原理。

在此图的（a）和（c）中，示意性地描述了透过出射光瞳（出射光瞳E1）左侧的对象光（相应于用户的左眼所接收的对象光）的成像表面上的成像位置。另外，在此图的（b）和（d）中，示意性地描述了透过出射光瞳（出射光瞳E1的右侧的对象光（相应于用户的右眼所接收的对象光）的成像表面上的成像位置。

在此图的（a）和（b）中，由位于出射光瞳E1之上的（在沿Z轴方向比出射光瞳E1更负的一侧）一个黑色矩形表示聚焦于其的对象（被聚焦的对象）（被聚焦的对象271）。另外，由位于出射光瞳E1之上、并且低于被聚焦的对象271的位置的一个有斑点的圆形表示比被聚焦的对象271更接近于图像拾取单元100定位的对象（近定位对象）（近定位对象272）。注意，为了便于描述，假设：被聚焦的对象271和近定位对象272位于穿过出射光瞳E1的中心、并且平行于透镜的光轴的一条直线（此图的（a）和（b）中的链条线）上。

另外，由一条穿过出射光瞳E1并且延伸至成像表面的直线（对于被聚焦的对象271而言，为实直线（直线L1或者直线L3），对于近定位对象272而言，为点划线（直线L2或者直线L4））表示来自被聚焦的对象271和近定位对象272的光的光路径。然后，分别由黑色矩形和有斑点的圆形表示被聚焦的对象271和近定位对象272的成像表面上的成像位置，它们位于直线L1～L4和成像表面互相交叉的位置。注意，对于来自近定位对象272的光，在假设把光聚焦在近定位对象272的情况下，由位于点划线（直线L2或者直线L4）和链条线互相交叉的位置的示意性地说明了成像位置。

另外，图6的（c）和（d）示意性地说明了从后侧（与图像拾取设备200的光接收表面相反的一侧）观看此图的（a）和（b）中所说明的成像表面时的图像（画面281和282）。在画面281中，说明了黑色矩形和有斑点的圆形，并且说明了黑色矩形和有斑点的圆形之间的距离（-△X）。同样，在画面282中，说明了黑色矩形、有斑点的圆形、以及它们之间的距离（+△X）。

现在，参照此图的（a）～（d）描述透过出射光瞳E1左侧的对象光的成像位置和透过其右侧的对象光的成像位置。

首先，描述来自被聚焦的对象271的光的光路径（直线L1和直线L3），这说明了在其中调整焦点（聚焦）的情况下的光路径。在对将加以捕获的对象进行聚焦的情况下，已经透过出射光瞳E1的对象光进入（被收集于）相应于对象的位置的成像表面的位置，而不管其中对象光透过的出射光瞳E1中的位置如何。换句话说，透过出射光瞳E1左侧的、来自被聚焦的对象271的光的成像位置与透过出射光瞳E1右侧的、来自被聚焦的对象271的光的成像位置相同。

另一方面，当将加以捕获的对象位于焦点之外时，成像表面上的光进入位置随其中对象光透过的出射光瞳E1中位置的不同而不同。由于成像表面接收了最初在不同于成像表面的某一表面上收集的光（在此图的（a）和（b）中由成像表面之下的一个点划线圆形表示光收集位置），所以成像表面上的光进入位置随焦点的偏离度而偏离。如在此图的（a）和（b）中的近定位对象272、直线L2、以及直线L4所说明的，当把将加以捕获的对象定位在比前聚焦表面（被聚焦的对象271所处的表面）更接近透镜的一侧时，后聚焦表面（点划线圆形所处的表面）位于成像表面（在Z轴方向的正侧）之后。换句话说，来自近定位对象272、并且通过出射光瞳E1左侧进入成像表面的光（直线L2），进入从来自被聚焦的对象271的光进入的位置向左位移的位置的成像表面（参见此图的（a））。另外，来自近定位对象272、并且通过出射光瞳E1右侧进入成像表面的光（直线L4），进入从来自被聚焦的对象271的光进入的位置向右位移的位置的成像表面（参见此图的（b））。

在这一方式下，当将加以捕获的对象位于焦点之外时，在已经透过出射光瞳左侧的来自对象的光与已经透过出射光瞳右侧的来自对象的光之间，成像表面上的进入位置随焦点的偏离度的不同而不同。所述偏离导致散焦，从而导致根据画面生成像素的信号所生成画面模糊。另一方面，在视差检测像素230中，3行和3列像素电路（的9个）的右列中的像素电路（图3的（b）中的像素电路3、6、以及9）的光检测器接收已经透过出射光瞳左侧的光。另外，左列中的像素电路（图3的（b）中的像素电路1、4、以及6）的光检测器接收已经透过出射光瞳右侧的光。

换句话说，在视差检测像素230中，允许根据来自右列（第三列）中的像素电路的信号生成左眼图像的信息，如此图的（a）和（c）中所说明的。另外，在视差检测像素230中，允许根据来自左列（第一列）中的像素电路的信号生成右眼图像的信息，如此图的（b）和（d）中所说明的。如以上所描述的，当根据来自视差检测像素230的信号生成画面时，允许生成其中依据对象的距离位移图像的两个画面，如画面281和282中所说明的。

［水平拍摄中视差检测方向实例］

图7示意性地说明了使用根据本发明第一实施例的图像拾取单元100进行水平拍摄时视差检测像素230视差检测的方向的一个实例。

此图的（a）说明了此图中所假设的图像拾取单元100的姿态。在此图中，如此图的（a）中所说明的，假设横向（横方向相应于X轴方向，纵方向相应于Y轴方向）使用图像拾取单元100进行拍摄（水平拍摄），以使画面的长边相应于水平方向，画面的短边相应于纵方向。

注意，以下将参照图8描述其中把图像拾取单元100沿逆时针方向旋转90度，并且沿长度方向使用图像拾取单元100进行拍摄（垂直拍摄）的情况。

此图的（b）说明了在进行水平拍摄的情况下图像拾取设备200的姿态以及表示按所述姿态、沿视差方向表示所使用的视差检测像素230的直线（视差方向直线（行方向）235）。注意，在此图的（b）中，为说明图像拾取设备200中的像素的排列，照原样说明了图2的（b）中所说明的区域250。

在此图的（b）中，说明了其中长边方向（X轴方向）相应于横（水平）方向以及短边方向（Y轴方向）相应于纵方向的图像拾取设备200。另外，在图像拾取单元200中，由粗实线（视差检测像素线（行方向）235）表示其中在沿行方向和列方向、按直线排列的视差检测像素230中水平拍摄中沿视差方向所使用的视差检测像素230的直线。

如此图的（b）所说明的，在水平拍摄的情况下，把沿图像拾取设备200的行方向、按直线排列的视差检测像素230用于检测像素。于是，允许检测水平（横）方向的视差。

在此图的（c）中，说明了在水平拍摄的情况下视差检测像素230的姿态。另外，在视差检测像素230中，由具有许多斑点的矩形表示生成与右眼相关的信号的像素电路（像素电路1、4、以及7）。同样，由具有少数斑点的矩形表示生成与左眼相关的信号的像素电路（像素电路3、6、以及9）。顺便提及，在此图的（c）中，为了便于描述，省略了图3的（b）所说明的点划线圆形（微透镜261）。

如图7的（c）中所说明的，在水平拍摄的情况下，把沿图像拾取设备200的行方向排列的视差检测像素230用于检测像素。

［垂直拍摄中视差检测方向的实例］

图8示意性地说明了在其中使用根据本发明第一实施例的图像拾取单元100进行垂直拍摄的情况下视差检测像素230视差检测的方向的一个实例。

此图的（a）说明了此图中所假设的图像拾取单元100的姿态。在此图的（a）中的图像拾取单元100处于这样的姿态：其中，把图7的（a）中的图像拾取单元100沿逆时针方向旋转90度。如以上所描述的，在图8中，假设：在沿长度方向（横方向相应于Y轴方向，纵方向相应于X轴方向）使用图像拾取单元100的同时进行拍摄（垂直拍摄），如此图的（a）中所说明的。

此图的（b）说明了在进行垂直拍摄的情况下图像拾取设备200的姿态以及表示按所述姿态所使用的视差检测像素230的直线（视差方向直线（列方向）236）。

在此图的（b）中，说明了其中长边方向（X轴方向）相应于纵方向以及短边方向（Y轴方向）相应于横（水平）方向的图像拾取设备200。此图的（b）中的图像拾取设备200处于其中沿逆时针方向把图7的（b）中的图像拾取设备200旋转90度的状态。另外，在图8的（b）中的图像拾取设备200中，由粗实线（视差检测像素线（列方向）236）表示其中在沿行方向和列方向、按直线排列的视差检测像素230中垂直拍摄中沿视差方向所使用的视差检测像素230的直线。

如此图的（b）中所说明的，在垂直拍摄的情况下，把沿图像拾取设备200的列方向、按直线排列的视差检测像素230用于检测像素。于是，允许检测水平（横）方向的视差，甚至是在沿长度方向（画面的长边相应于纵向，其短边相应于横向）使用图像拾取单元100的的情况下。

在此图的（c）中，说明了在垂直拍摄的情况下视差检测像素230的姿态。另外，此图的（c）中的视差检测像素230处于其中沿逆时针方向把图7的（c）中的视差检测像素230旋转90度的状态。另外，在图8的（c）的视差检测像素230中，由具有许多斑点的矩形表示生成与右眼相关的信号的像素电路（像素电路1～3）。同样，由具有少数斑点的矩形表示生成与左眼相关的信息的像素电路（像素电路7～9）。

在这一方式下，在垂直拍摄的情况下，使用沿图像拾取设备200的列方向、按直线排列的视差检测像素230检测视差。因此，与水平拍摄的情况相类似，在其中人直立的情况下，允许生成相应于左眼和右眼的信息（水平视差信息）。

［3D画面的生成实例］

图9示意性地说明了根据本发明第一实施例的图像拾取单元100的3D画面的一个生成实例。

在此图中，说明了2D画面生成部件310、视差检测部件320、以及3D画面生成部件330根据捕获对象的图像的图像拾取设备200所生成的图像数据所生成的画面。另外，在此图中，还使用画面，依次描述了根据图像拾取设备200所生成的画面数据生成立体画面（左眼画面和右眼画面）的流程。注意，在此图中，假设根据图7中所说明的水平拍摄进行拍摄。

首先，参照此图的（a）和（b）描述2D画面生成部件310的2D画面（平面画面）的生成。

在此图的（a）中，说明了在视差检测像素的信号的插入之前，2D画面生成部件310根据图像拾取设备200中画面生成像素所生成的信号所生成的平面画面（平面画面311）。在平面画面311中，描述了作为所捕获的对象的两个人（人351和人352）。在此图中，假设：在不对人352聚焦的状态下进行拍摄，另外，在此图中，还假设：把人351定位在比人352更接近透镜的位置。换句话说，假设人351处于焦点之外。4重围起人351的点划线示意性地说明了因散焦所导致的图像的模糊。

而且，在平面画面311中，由表示平面画面311中数据（像素值）不存在的多条灰色线（像素值丢失线353）表示在其中排列了多个视差检测像素的位置处用于生成画面的信号的不存在（像素值的不存在）。

如以上所描述的，根据画面生成像素所生成的信号生成其中丢失了视差检测像素位置的像素值的画面（平面画面311）。于是，2D画面生成部件310在视差检测像素的所述位置插入像素值，以生成其中已经插入丢失像素值的平面画面。

在图9的（b）中，说明了2D画面生成部件310对此图的（a）中所说明的平面画面311进行了插值处理之后的画面（平面画面312）。2D画面生成部件310对平面画面311进行插值处理，以插入丢失的像素值（此图的（a）中的像素值丢失线353）。另外，也执行其它插值处理和消除马赛克处理，以生成与具有画面生成像素而不具有视差检测像素的图像拾取设备（典型的图像拾取设备）所捕获的画面一样的平面画面（平面画面312）。然后，把平面画面312提交于3D画面生成部件330。

以下，将参照此图的（c）和（d）描述视差检测部件320的视差信息画面的生成。

在此图的（c）中，说明了视差检测部件320根据图像拾取设备200中视差检测像素所生成的信号所生成的、并且为视差信息画面的源的两个画面（左眼信息画面321和右眼信息画面322）。

左眼信息画面321为一个根据来自视差检测像素中9个像素电路中已经接收到相应于用户左眼所接收的光的对象光的像素电路的信号所生成的画面。另外，右眼信息画面322为一个根据来自视差检测像素中9个像素电路中已经接收到相应于用户右眼所接收的光的对象光的像素电路的信号所生成的画面。

而且，在左眼信息画面321中，还分别描述了此图的（a）中所示的相应于人351和352的人361和362。同样，在右眼信息画面322中，还分别描述了此图的（a）中所示的相应于人351和352的人363和364。

现在，将描述视差检测部件320的左眼信息画面321和右眼信息画面322的生成。

视差检测部件320根据从姿态检测部件140所提交的姿态信息，确定已经生成相应于左眼信息画面321的信号的像素电路和已经生成相应于右眼信息画面322的信号的像素电路。由于在此图中通过水平拍摄捕获画面，所以视差检测部件320根据右列中的像素电路（图7的（b）中的像素电路3、6、以及9）的信号生成左眼信息画面321，如图7中所说明的。另外，视差检测部件320还根据左列中的像素电路（图7的（b）中的像素电路1、4、以及7）的信号生成右眼信息画面322。然后，视差检测部件320根据所生成的画面（左眼信息画面321和右眼信息画面322）生成视差信息画面。

在图9的（d）中，示意性地说明了根据左眼信息画面321和右眼信息画面322所生成的视差信息画面（视差信息画面323）。

在视差信息画面323中，描述了一个包括根据左眼信息画面321中的人361和右眼信息画面322中的人363所检测的视差的图像（人371）。同样，在视差信息画面323中，还描述了一个包括根据左眼信息画面321中的人362和右眼信息画面322中的人364所检测的视差的图像（人372）。

现在，主要针对视差信息画面323中所描述的两个图像（人371和人372）描述视差信息画面323。

视差信息画面323中按这样的方式描述了人371：左眼信息画面321中的人361和右眼信息画面322中的人363互相重叠（两个人的图像互相重叠，左右稍有位移）。从人371沿纵方向延伸的两条点划线之间的距离（距373）表示重叠的、并且左右稍有位移的两个图像之间的距离。在此图中，人371处于焦点之外（参见此图的（a）和（b）中的人351）。换句话说，出现了视差，如图6中所说明的，在左眼信息画面321中的人361和右眼信息画面322中的人363之间根据散焦量生成位置位移。图9的（d）中的距373示意性地说明了所述位置位移（视差）。

另一方面，视差信息画面323中还按这样的方式描述了人372：左眼信息画面321中的人362和右眼信息画面322中的人364完全相互重合（像一个人的一个图像一样）。在此图中，由于对人372所表示的对象聚焦（参见此图的（a）和（b）中的人352），所以不存在与人的图像相关的视差（视差为“0”）。具体地讲，左眼信息画面321中的人362和右眼信息画面322中的人364相互重合。换句话说，此图的（d）中说明了不存在与视差信息画面323中的人372的图像的视差相关的信息。

生成此图的（d）中所说明的视差信息画面323，然后将其提交于3D画面生成部件330。

以下，将参照此图的（e）描述3D画面生成部件330的立体画面（左眼画面和右眼画面）的生成。

在此图的（e）中，示意性地说明了3D画面生成部件330根据平面画面312和视差信息画面323所生成的左眼（L）画面（左眼画面331）和右眼（R）画面（右眼画面332）。顺便提及，作为根据平面画面和视差信息画面生成立体画面的方法，也可以考虑不同的方法，在这一情况下，把一个其中通过根据视差信息画面位移平面画面中对象的位置生成左眼画面和右眼画面的例子描述为一个实例。

左眼画面331为一个将针对观看所捕获画面的用户的左眼加以显示的画面。在左眼画面331中，在与平面画面312中人352的位置以及与视差信息画面323中人372的位置相同的位置描述人382。另外，在左眼画面331中，还在与视差信息画面323中的人371的右位置（与左眼信息画面321中的人361的位置）相同的位置描述了人381。人381为一个通过位移平面画面312中的人351所获得的图像。顺便提及，在此图的（b）中，为了示意性地说明人381的位置，描述了沿纵方向从人381的中心延伸的一条点划线（直线L11）。

右眼画面332为一个针对观看所捕获画面的用户的右眼加以显示的画面。在右眼画面332中，在与平面画面312中人352的位置以及与视差信息画面323中人372的位置相同的位置描述人384。另外，在右眼画面332中，还在与视差信息画面323中人371的左位置（与右眼信息画面322中的人363的位置）相同的位置描述了人383。人383为一个通过位移平面画面312中的人351所获得的图像。顺便提及，在此图的（b）中，为了示意性地说明人383的位置，描述了沿纵方向从383的中心延伸的一条点划线（直线L12），并且还描述了一个指示直线L11和直线L12之间的距离（距373）的箭头。换句话说，在从左眼画面331中的人381向左侧位移了大约距373的位置描述了人383。

3D画面根据平面画面312和视差信息画面323生成部件330生成一个由此图的（e）中所说明的左眼画面331和右眼画面332加以配置的立体画面（3D画面）。具体地讲，3D画面生成部件330根据视差信息画面323所指示的视差位移平面画面312中的每个对象的位置，从而生成左眼画面331和右眼画面332。由于视差信息画面323中不存在针对人372的视差信息，所以3D画面生成部件330生成左眼画面331和右眼画面332，同时把人352的位置维持在平面画面312（人382和人384）中。而且，还根据视差信息画面323中人371（人381和人383）所指示的视差位移平面画面312中的人351的位置，从而生成左眼画面331和右眼画面332。3D画面生成部件330把所生成的立体画面（左眼画面331和右眼画面332）作为立体画面内容提交于显示部件151和存储部件152。

如以上所描述的，信号处理部件300根据平面画面和视差信息画面生成立体画面。

［图像拾取单元的操作实例］

以下，将参照附图描述根据本发明第一实施例的图像拾取单元100的操作。

图10为说明了根据本发明第一实施例的图像拾取单元100捕获立体画面时图像拾取处理规程的一个实例的流程图。

首先，控制部件130判断用户是否发出了一个用于捕获立体画面的图像拾取操作的开始指令（步骤S901）。然后，当断定用户未发出用于捕获立体画面的图像拾取操作的开始指令时（步骤S901），结束图像拾取处理规程。

另一方面，当断定用户发出了用于捕获立体画面的图像拾取操作的开始指令时（步骤S901），为了确定立体画面的构成，把一个正在观察的视图画面显示在显示部件151上（步骤S902）。接下来，控制部件130判断已经确定了立体画面的构成的用户是否半按下了快门按钮（步骤S903）。然后，当断定用户没有半按下快门按钮（步骤S903）时，所述过程前进至步骤S908。

另一方面，当断定用户半按下了快门按钮（步骤S903）时，执行其中驱动聚焦透镜113对将加以聚焦的目标（将加以聚焦的对象）进行聚焦的聚焦处理（步骤S904）。接下来，控制部件130判断用户是否完全按下了快门按钮（步骤S905）。然后，当用户没有完全按下快门按钮（步骤S903）时，所述过程返回至步骤S902。

另一方面，当断定用户完全按下了快门按钮（步骤S905）时，图像拾取设备200捕获对象的图像（步骤S906）。接下来，信号处理部件300根据所捕获的图像执行用于生成立体画面（3D画面）的立体画面生成处理（步骤S920）。注意，将参照图11描述立体画面生成处理（步骤S920）。

接下来，把所生成的立体画面存储在存储部件152中（步骤S907）。然后，控制部件130判断用户是否发出了一个用于捕获立体画面的图像拾取操作的结束指令（步骤S908）。然后，当断定用户未发出用于捕获立体画面的图像拾取操作的结束指令时（步骤S908），所述规程返回至步骤S902。

另一方面，当断定用户发出了用于捕获立体画面的图像拾取操作的结束指令时（步骤S908），结束图像拾取处理规程。

图11为说明了根据本发明第一实施例的图像拾取处理规程中立体画面生成处理的处理规程（步骤S920）的一个实例的流程图。

首先，2D画面生成部件310根据从图像拾取设备200所提交的画面数据中的画面生成像素的像素值生成平面画面（2D画面）（步骤S921）。然后，2D画面生成部件310在所生成的平面画面中视差检测像素的位置插入像素值（步骤S922）。

接下来，当图像拾取设备200捕获到对象的图像时，视差检测部件320从姿态检测部件140采集与姿态相关的信息（姿态信息）（步骤S923）。然后，根据姿态信息检测横方向（水平方向），视差检测部件320确定视差检测像素中9个像素电路中生成左眼数据的像素电路和生成右眼数据的像素电路（步骤S924）。

然后，视差检测部件320根据从图像拾取设备200所提交的画面数据中的像素值中生成左眼数据的像素电路的像素值生成左眼信息画面（步骤S925）。另外，视差检测部件320还根据从图像拾取设备200所提交的画面数据中的像素值中生成右眼数据的像素电路的像素值生成右眼信息画面（步骤S926）。接下来，视差检测部件320根据所生成的左眼信息画面和右眼信息画面生成视差信息画面（步骤S927）。注意，步骤S925、S926、以及S927为权利要求中所描述的检测视差的规程的一个实例。另外，步骤S921和S922为权利要求中所描述的生成平面画面的规程的一个实例。

然后，3D画面生成部件330根据平面画面和视差信息画面生成左眼画面和右眼画面（步骤S928）。接下来，在步骤S928之后，结束立体画面生成处理。注意，步骤S928为权利要求中所描述的立体画面生成规程的一个实例。

如以上所描述的，根据本发明的第一实施例，能够通过根据视差检测像素所检测的视差移动画面生成像素所生成的画面中每个对象的位置，以高分辨率生成立体画面。特别是，根据本发明的第一实施例，能够使用视差检测像素抑制生成立体画面的图像拾取单元中有效像素数目的减少。例如，在其中图像拾取设备中的所有像素均为分别由3行和3列像素电路配置的视差检测像素的图像拾取设备中，把有效像素的数目减少至9分之一。与此相比，在根据本发明的第一实施例的图像拾取设备200中，由于以预先确定的间隔、沿行方向和列方向按直线排列视差检测像素，所以能够随直线之间间隔的增大抑制有效像素数目的减少。另外，由于在图像拾取设备200在排列了其中一个像素电路配置一个像素的画面生成像素，所以能够捕获平面画面（2D画面），从而能够根据用户的目的选择立体画面或者平面画面。

＜2.第二实施例＞

在本发明的所述第一实施例中，描述了一个其中根据配置了视差检测像素的9个像素电路所生成的像素值生成立体画面的实例。注意，由于视差检测像素中9个像素电路所生成的像素值包括与散焦相关的信息，所以相位差检测系统可以把像素值用于焦点确定。在这一情况下，相位差检测为这样一种检测焦点的方法：其中，通过瞳孔划分把透过图像拾取透镜的光加以划分，以形成一对图像，并且测量所形成的图像之间的距离（两个图像之间的位移量）（检测相位差），以检测聚焦度。

因此，在本发明的第二实施例中，将参照图12～图16描述立体画面的生成，除此之外，还将描述一个通过使用视差检测的相位差检测执行焦点确定的图像拾取单元的实例。

［图像拾取单元的功能配置实例］

图12为说明了根据本发明第二实施例的图像拾取单元400的功能配置的一个实例。除了图1中所说明的图像拾取单元100的部件之外，此图中的图像拾取单元400还配有一个焦点确定部件410。图12中除焦点确定部件410之外的其它部件类似于图1中所说明的部件。因此，将主要针对焦点确定部件410进行描述。

焦点确定部件410根据来自视差检测像素的信号判断是否调整焦点。焦点确定部件410根据从图像拾取设备200所提交的所捕获画面数据中的视差检测像素中9个像素电路的像素值，判断是否在一个用于聚焦的区域（焦点区域）中对一个对象（将加以聚焦的对象）进行聚焦。当断定对对象进行聚焦时，焦点确定部件410把指示调整焦点的信息作为焦点确定结果信息提交于驱动部件170。另外，当断定将加以聚焦的对象位于焦点之外时，焦点确定部件410计算散焦的量（散焦量），并且把指示所计算的散焦量的信息作为焦点确定结果信息提交于驱动部件170。

顺便提及，驱动部件170根据从焦点确定部件410输出的焦点确定结果信息计算聚焦透镜113的驱动量，并且根据所计算的驱动量移动聚焦透镜113。当已经调整了焦点时，驱动部件170允许把聚焦透镜113维持在当前位置。而且，当没有调整焦点时，驱动部件170根据指示散焦量的焦点确定结果信息和聚焦透镜113的位置信息计算驱动量（移动长度），并且根据驱动量移动聚焦透镜113。

［使用视差检测像素自动聚焦的构想实例］

图13示意性地说明了使用根据本发明第一实施例的视差检测像素230中9个像素电路的像素值进行自动聚焦的构想。

顺便提及，在此图中，假设：当在水平拍摄中捕获画面时，通过沿水平方向（沿此图中的横方向）生成一对图像，检测聚焦情况。

在此图的（a）中，说明了用于焦点确定的图像拾取设备200所捕获的画面数据的平面画面（所捕获平面画面440）。在所捕获平面画面440中，描述了一辆汽车（汽车441）、一个人（人443）、一棵树（树444）。另外，在所捕获平面画面440中，还描述了一条指示焦点区域（焦点区域442）的链条线矩形。顺便提及，为了示意性地说明散焦，由2重点划线围起人443，由4重点划线围起汽车441。

注意，在此图中，围起汽车441、人443、以及树444的点划线的数目表示散焦的程度，随着点划线的数目的增加，焦点的偏离越大。具体地讲，在此图中，假设在捕获所捕获平面画面440时对树444进行聚焦，而人443和汽车441处于焦点之外（汽车441比人443散焦的程度大）。

此图的（b）说明了作为相应于此图的（a）中所说明的所捕获平面画面440的一对画面示意性地说明的、针对焦点确定部件410所生成的一对图像的两个画面（左眼信息画面450和右眼信息画面460）。由于在图像拾取设备200中沿行方向和列方向按直线排列视差检测像素230（参见图2），所以实际上未生成左眼信息画面450和右眼信息画面460中所示的图像。然而，为了便于描述，在图9中，仅示意性地说明了整个所捕获的画面（所捕获平面画面440）的图像对。

左眼信息画面450根据视差检测像素230中9个像素电路中相应于左眼的像素的像素值所生成的画面。左眼信息画面450中描述了相应于图13的（a）中的汽车441的汽车451、相应于此图的（a）中的人443的人453、以及相应于此图的（a）中的树444的树454。

另外，右眼信息画面460说明了根据视差检测像素230中9个像素电路中相应于右眼的像素的像素值所生成的画面。右眼信息画面460中描述了相应于图13的（a）中的汽车441的汽车461、相应于此图的（a）中的人443的人463、以及相应于此图的（a）中的树444的树464。

在此图的（c）中，画面（对比画面470）示意性地说明了焦点确定部件410对像素对之间的距离（图像之间的位移）的测量。在对比画面470中，所说明的图像好像一个其中把此图的（b）中所说明的左眼信息画面450和右眼信息画面460重叠在一起的图像，并且描述了汽车471、人473、以及树474。把汽车471描述为一个其中黑色汽车出现在灰白色汽车左边的图像。另外，还把人473描述为一个其中黑色人出现在一个灰白色人的左边的图像。另一方面，还把树474描述为一个其中黑色树和灰白色树相互重合的图像。

如对比画面470中所说明的，焦点确定部件410把图像对（在此图中，为左眼信息画面450和右眼信息画面460）加以比较。

然后，焦点确定部件410根据将加以聚焦的对象（人473）中的图像对的位移量（边缘之间的距离）计算散焦的量（散焦量）。根据散焦量驱动聚焦透镜113，以使将加以聚焦的对象得以聚焦。

在此图的（d）中，说明了根据此图的（c）中的对比画面470驱动聚焦透镜113之后的所捕获的像素（驱动了透镜之后的所捕获平面画面490）以及一个指示根据拍摄情况所执行的焦点确定（图像比较）的画面（驱动了透镜之后的对比画面480）。

在驱动了透镜之后的对比画面480中，说明了一个示意性地说明了驱动了透镜之后根据对比画面470对图像对之间的距离进行测量的画面。在对比画面470中，描述一棵其中黑色树出现在灰白色树的右边的树484、一个其中黑色人与灰白色人重合的人483、以及一个其中黑色汽车出现在灰白色汽车左边的汽车481。

在驱动了透镜之后的所捕获平面画面490中，描述了由一条点划线围起的汽车（汽车491）、无点划线的人（人493）、由4重点划线围起的树（树494）、以及焦点区域492。如此图的（a）中所描述的，点划线示意性地指示了散焦的程度。换句话说，在驱动了透镜之后所捕获平面画面490中，对为将加以聚焦的对象的人493进行了聚焦。

如上所述，在图像拾取单元400中，聚焦透镜113被驱动使得将被聚焦的对象的图像对彼此重合，并因此进行自动对焦。

注意，在图13中，描述了使用视差检测像素230中9个像素电路的像素值进行自动聚焦的构想。以下，将主要针对焦点确定部件410所执行的焦点确定时的数据的比较进行描述。

［焦点确定部件的焦点确定实例］

图14示意性地说明了使用根据本发明第一实施例的焦点确定部件410的相位差检测进行的焦点确定。

顺便提及，描述了在图13中所说明的情况下焦点确定部件410所进行的焦点确定。注意，在此图中，为了便于描述，在假设用于形成图像对的视差检测像素230的直线的数目为1的情况下进行描述。

在此图的（a）中，在其中沿横方向（水平方向）形成图像对的情况下，在视差检测像素230中说明了与图像对之一（右眼）和另一个（左眼）相关的信号的像素电路，如图13的（b）中所示。在视差检测像素230中，由具有许多斑点的矩形表示生成与图像之一（右眼）相关的信号的像素电路（像素电路1、4、以及7），以及由具有少数斑点的矩形表示生成与另一个图像（左眼）相关的信号的像素电路（像素电路3、6、以及9）。

为了计算针对一个所设置的将加以聚焦的对象的散焦量，在图14的（b）中，说明了在焦点确定部件410（其中根据其像素值形成图像对）中使用其像素值的视差检测像素230的位置（焦点确定线421）。使用焦点确定线421上视差检测像素230中各像素电路的像素值，如此图的（a）中所说明的，于是，形成了图像对。

现在，简要描述焦点确定部件410沿其检测相位差的方向（横方向或者纵方向）的确定。

焦点确定部件410根据与从图像拾取单元200提交的画面数据的视差检测像素230相关的像素值，确定沿其检测图像对之间的位移的方向。取决于将加以聚焦的对象的形状或者格局，存在着其中通过沿横方向（水平方向）形成图像对精确地检测图像的位移的情况以及其中通过沿纵方向（重力方向）形成图像对精确地检测图像的位移的情况。因此，焦点确定部件410可以根据沿其精确地检测图像的位移的方向、按直线排列的视差检测像素230的像素值，形成一对图像。

在此图中，假设沿其精确地检测位移量的方向为横方向（水平方向）。于是，根据行方向中的视差检测像素线中按其捕获将加以聚焦的对象的直线中视差检测像素230的像素值，形成图像对。注意，如果检测到将加以聚焦的对象（人422）的边缘的位移，则允许计算散焦量。于是，可以根据位于焦点区域附近的视差检测像素（在焦点确定线421上）的像素值形成图像对。

在此图的（c）中，示意性地说明了焦点确定部件410的散焦量的计算。在此图的（c）中，如图13中所说明的，在假设将加以聚焦的对象位于更接近聚焦表面一侧的情况下进行描述。

图14的（c）中说明了在其中水平轴表示图像拾取设备200中视差检测像素230的像素位置，垂直轴表示指示输出信号的强度的输出梯度的情况下一个表示焦点确定部件410根据像素值的分布数据所生成的图像对。在此图中，说明了根据此图的（a）中所说明的像素电路1、4、以及7（相应于右眼）的像素值所生成的像素值分布数据（右眼信号分布数据431）。另外，在此图中，还说明了根据此图的（a）中所说明的像素电路3、6、以及9（相应于左眼）的像素值所生成的像素值分布数据（左眼信号分布数据431）。

焦点确定部件410根据焦点确定线421中视差检测像素230的像素值生成右眼信号分布数据431和左眼信号分布数据431。然后，焦点确定部件410根据右眼信号分布数据431的峰值（边缘）位置和左眼信号分布数据431的峰值（边缘）位置之间的距离（距离A1）计算散焦量。此后，焦点确定部件410把所计算的散焦量作为焦点确定结果信息提交于驱动部件170，并且根据相应于所述散焦量的一个量驱动聚焦透镜113。

此图的（d）说明了在其中根据此图的（c）中所说明的分布数据（图像对）驱动聚焦透镜113并且对将加以聚焦的对象进行聚焦的情况下的分布数据（右眼信号分布数据433和左眼信号分布数据434）。如此图的（d）中所说明的，当对将加以聚焦的对象进行聚焦时，右眼信号分布数据433的边缘的位置与左眼信号分布数据434的边缘的位置重合。

如以上所描述的，在图像拾取单元400中，驱动聚焦透镜113，以使所生成的图像对边缘的位置（分布数据）相互重合，如此图的（d）中所说明的，于是，可以使用视差检测像素230的像素值执行自动聚焦。换句话说，在图像拾取单元400中，可以实现相位差检测系统的焦点检测方法，从而可以实现高速、高精度的自动聚焦。

顺便提及，在此图中，尽管为了便于描述在假设焦点确定线为一条直线，然而直线的数目并不局限于此，为了提高精度，可以使用多条直线。

［图像拾取单元的操作实例］

以下，将参照附图描述根据图本发明第二实施例的图像拾取单元400的操作。

图15为说明了根据本发明第二实施例的图像拾取单元400捕获立体画面时图像拾取处理规程的一个实例的流程图。注意，此图中所说明的图像拾取处理规程的实例的流程图为图10中所说明的根据本发明第一实施例的图像拾取处理规程的实例的流程图的一个修改。两者的不同之处在于，把图10中所说明的聚焦处理（步骤S904）改变为聚焦处理（步骤S940）。因此，使用了相同的数字说明了除聚焦处理（步骤S940）之外的处理，并且省略了对它们的描述，将参照图16描述聚焦处理（步骤S940）。

图16为说明了根据本发明第二实施例的图像拾取处理规程中聚焦处理的处理规程（步骤S940）的一个实例的流程图。

首先，图像拾取设备200捕获对象的图像，并且捕获用于焦点确定的像素（步骤S941）。接下来，焦点确定部件410根据将加以聚焦的对象确定生成图像对的视差检测像素的直线的方向（行方向或者列方向）（步骤S942）。然后，根据将加以聚焦的对象的位置（焦点区域的位置）确定用于图像对之间的比较的视差检测像素的位置（图14中的焦点确定线421的焦点）（步骤S943）。

接下来，根据位于其中把图像对互相比较的所确定的位置的视差检测像素中像素电路的像素值生成图像对（步骤S944）。此后，检测所生成的图像对的边缘之间的距离，并且根据所述距离计算散焦量（步骤S945）。然后，驱动部件170根据所计算的散焦量计算聚焦透镜113的驱动量（步骤S945）。接下来，根据所计算的驱动量驱动聚焦透镜113（步骤S947），从而结束了聚焦处理规程。

如以上所描述的，根据本发明的第二实施例，允许根据配置了视差检测像素的9个像素电路的像素值执行相位差检测的焦点确定。换句话说，根据本发明的第二实施例，能够实现生成具有多像素数目的3D画面的图像拾取单元，并且能够通过相位差检测执行高速、高精度的自动聚焦。

＜3.修改＞

在根据本发明的第一和第二实施例中，描述了其中沿行方向和列方向、按直线排列视差检测像素230的图像拾取设备200的一个实例。然而，视差检测像素230的排列并不局限于此，也可以采用任何其它形式的排列，只要能够获得对象的视差即可。因此，将分别参照图17和图18描述作为第一和第二修改、不同于第一和第二实施例的视差检测像素的排列实例。

另外，在根据本发明的第一和第二实施例中，如图4的（b）中所说明的，还描述了其中提供了两个微透镜层，并且在接近滤色器（接近光检测器）的微透镜层中形成收集每个像素电路上的光的微透镜。然而，就微透镜的排列而言，本发明并不局限于此，也可以设想不同的实例。例如，可以设想其中在与视差检测使用的微透镜的层相同的层中形成收集每个像素电路上的光的微透镜的情况。另外，通过把视差检测使用的微透镜和视差检测像素的9个光检测器之间的距离设置为可变的，具有可交换图像拾取透镜的图像拾取单元（例如，单透镜反射照相机）可以操纵具有可变孔径焦距比的图像拾取透镜。因此，将参照图19描述作为第三～第五修改、不同于第一和第二实施例的排列的微透镜排列的实例。

而且，在根据本发明的第一和第二实施例中，作为实例，还描述了具有向其提供了G-滤色器的9个像素电路的视差检测像素。然而，这并非一种限制。将参照图20描述作为第六～第九实施例的、不同于第一和第二实施例的视差检测像素的视差检测像素的实例。

［图像拾取单元中像素排列的修改］

图17示意性地说明了作为本发明第一和第二实施例的第一修改，其中仅沿行方向、按直线排列视差检测像素的图像拾取设备的一个实例。

在此图的（a）中，说明了相应于图2的（b）中区域250的一个区域（区域810）。换句话说，区域810中的粗线（视差检测像素线811）表示其中排列了视差检测像素的直线。如视差检测像素线811所说明的，在所述修改中，在一个任意像素周期中，仅沿列方向、按直线排列视差检测像素。

图17的（b）为此图的（a）中所说明的区域815的一个放大的视图，并且说明了相应于图2的（a）中的区域，而且还说明了仅沿行方向、按直线排列视差检测像素的情况。

在很少用于垂直拍摄的图像拾取单元（例如，摄像放像机）中，即使沿列方向、按直线排列视差检测像素，也很少把视差检测像素用于视差检测。因此，为了增加画面生成像素的数目，通过仅沿行方向排列视差检测像素的直线减少视差检测像素的数目。于是，能够提高所捕获画面的质量，并且能够减轻在视差检测像素位置像素值插值处理的负担。

图18示意性地说明了作为本发明第二修改，其中沿行方向和列方向按预先确定的间隔排列（按岛形排列）视差检测像素的图像拾取设备的一个实例。

在此图的（a）中，说明了相应于图2的（b）中区域250的一个区域（区域820）。在区域820中，一个黑点（黑点821）表示一个其中排列了视差检测像素的位置。换句话说，如黑点821所说明的，在所述修改中，沿行方向和列方向按预先确定的间隔排列（按岛形排列）视差检测像素。

图18的（b）为此图的（a）中所说明的区域825的一个放大的视图，并且说明了相应于图2的（a）中区域210的一个区域。此图说明了在区域825中按岛形排列一个视差检测像素的情况。

如图18中所说明的，为了进一步增加画面生成像素的数目，通过按预先确定的间隔、沿行方向和列方向排列视差检测像素把视差检测像素的数目减少至低于第一修改中的视差检测像素的数目。于是，能够提高所捕获画面的质量，并且能够减轻在视差检测像素位置像素值插值处理的负担。

如以上所描述的，可以设想图像拾取设备中视差检测像素排列的不同格局。

［画面生成像素和视差检测像素的截面结构的修改］

图19示意性地说明了作为本发明第一～第五修改，画面生成像素和视差检测像素的截面结构的修改。

作为本发明的第三修改，此图的（a）说明了能够改变视差检测使用的微透镜和视差检测像素的9个像素电路之间的距离的图像拾取设备的截面结构的一个实例。注意，此图的（a）为图4的（b）中所说明的截面结构的一个修改，其不同之处在于，取代图4的（b）中的视差检测使用的微透镜S2，提供了一个可沿微透镜的光轴方向移动的微透镜层（视差检测使用的微透镜排列部件831）。因此，在图19的（a）中，使用了相同的数字指示与图4的（b）中相同的部件，并且仅描述了视差检测使用的微透镜排列部件831。

视差检测使用的微透镜排列部件831为一个能够通过沿微透镜的光轴方向移动，改变视差检测使用的微透镜231和视差检测像素中的像素电路之间的距离的微透镜层。具体地讲，一个空气层（空气层832）出现在图像拾取设备和视差检测使用的微透镜排列部件831之间。在这一方式下，由于允许视差检测使用的微透镜231和视差检测像素中的像素电路的光检测器之间的距离可变，图像拾取单元能够以不同的孔径焦距比和不同的焦距操纵可交换透镜。

作为对本发明的第四修改，图9的（b）中说明了一个其中还在视差检测使用的微透镜层中提供一个收集画面生成像素的光检测器上的对象光的微透镜的图像拾取设备的截面结构的实例。除了提供在视差检测使用的微透镜层中的用于收集画面生成像素的光检测器上的对象光的微透镜（微透镜833）之外的配置与图4的（b）中配置相同，因此图19的（b）中省略了对它们的描述。

微透镜833为一个具有与视差检测使用的微透镜的曲率不同曲率的微透镜。即使在其中优先进行根据视差检测像素的成像并且调整了焦点的情况下，也可以使用所提供的微透镜833在画面生成像素的光检测器261上适当地收集对象光。换句话说，使用所提供的微透镜833，微透镜261适当地收集光检测器上的对象光，从而能够防止画面生成像素光收集效率的劣化。因此，能够提高画面质量。

作为对本发明的第五修改，图9的（c）说明了一个不包括此图的（b）中的图像拾取设备的微透镜层S1的图像拾取设备的截面结构的实例。当仅通过视差检测使用的微透镜231检测视差并且仅由微透镜833在画面生成像素的光检测器上收集对象光时，可以省略微透镜层S1。

如以上所描述的，可以设想图像拾取设备中微透镜的不同的排列格局。

［视差检测像素实例］

图20说明了作为本发明第六～第九修改，视差检测像素的修改的示意图。

作为对本发明的第六修改，此图的（a）说明了一个其中在滤色器层中提供了允许可见光范围内的光透过的部件（例如，透明层和W滤色器）的视差检测像素（视差检测像素841）。

作为对本发明的第七修改，此图的（b）说明了一个配有R滤色器视差检测像素（视差检测像素842）。

对于视差检测像素而言，能够检测视差足以，因此仅需根据目的设置视差检测像素的滤色器。例如，如此图的（a）中所说明的，通过提供允许可见光范围内的所有光透过的部件，可以获得不太依赖颜色的视差信息。另外，当部件允许可见光范围内的所有光透过时，可以提供一个中性滤色器，以调整曝光度，因为与画面生成像素相比，光量可能很大。

另外，如此图的（b）中所说明的，可以在视差检测像素中提供除G滤色器之外的其它滤色器。

作为对本发明的第八修改，此图的（c）说明了一个由多个像素电路配置的视差检测像素（视差检测像素843）。视差检测像素843由5行和5列的像素电路（像素电路1～25）加以配置。另外，还根据Bayer排列在像素电路1～25中排列三种主色（R滤色器、G滤色器、以及B滤色器）的滤色器。

如此图的（c）中所说明的，一个视差检测像素由多个像素电路加以配置，根据Bayer排列，排列三种主色的滤色器，于是，可以获得包括颜色信息的视差信息。

作为对本发明的第九修改，此图的（d）说明了一个由2行和2列的像素电路配置的视差检测像素（视差检测像素844）。在这一方式下，视差检测像素844可以由2行和2列的像素电路配置加以配置。在这一方式下，与其中视差检测像素由3行和3列的像素电路配置加以配置的情况相比，允许减少一个像素电路中所使用的像素的数目，并且允许增加画面生成像素的数目和视差检测像素的数目。换句话说，能够通过增加画面生成像素的数目提高图像质量，并且能够通过增加视差检测像素的数目提高视差检测的精度。

＜4.第三实施例＞

在本发明的第一和第二实施例中，描述了使用图像拾取单元中按直线排列的视差检测像素生成立体画面的图像拾取单元。第一和第二实施例中所描述的图像拾取单元为一个单眼图像拾取单元。

在单眼图像拾取单元中，立体画面的立体效果取决于其中左眼光穿过的出射光瞳的区域的形心位置和其中右眼光穿过的出射光瞳的区域的形心位之间的距离（基线长度）。视差量随基线长度的变长而增加，因此，增强了立体画面的立体效果。

第一和第二实施例中所说明的视差检测像素由3行和3列的像素电路加以配置。当检测到横方向的视差时，左像素电路所接收的对象光的出射光瞳中的形心位置和右像素电路所接收的对象光的出射光瞳中的形心位置之间的距离为基线长度。换句话说，为了增加基线长度，需要提供一个具有长焦距的图像拾取透镜。孔径焦距比为一个用于设置亮度的参数，焦距为一个用于设置视角的参数。因此，不旨在仅针对基线长度随意地设置这些参数。

例如，在拍摄明亮的场景时，当在进行拍摄的同时缩小光阑，以增加孔径焦距比（减小出射光瞳的大小）时，可以获得无晕影的良好的画面，但是会缩短基线长度和削弱立体效果。另外，在拍摄明亮的场景时，当在进行拍摄的同时打开光阑，以针对基线长度减小孔径焦距比时，增加了基线长度和增强了立体效果，但是出现了劣化图像质量的晕影。

换句话说，人们希望提供一种能够随意改变基线长度和亮度的单眼图像拾取单元。因此，在本发明的第三实施例中，将参照图21～图29描述检测水平拍摄方向的视差、并且配有能够调整基线长度和亮度的单眼图像拾取单元的一个实例。

［图像拾取单元功能配置实例］

图21为说明了根据本发明第三实施例的图像拾取单元500的一个功能配置实例的结构图。

此图中所说明的图像拾取单元500包括一个取代图1中所说明的图像拾取单元100的光阑112的光阑510。另外，除了图像拾取单元100的部件之外，图像拾取单元500还包括基线长度设置部件520和光阑驱动设置部件530。而且，不向图像拾取单元500提供图像拾取单元100的姿态检测部件140。将参照图21描述光阑510、基线长度设置部件520、以及光阑驱动设置部件530。

顺便提及，假设仅在水平拍摄中使用图像拾取单元500。因此，仅沿图像拾取设备200的行方向按直线排列图像拾取单元500的图像拾取设备200中的视差检测像素，如图17的（b）中所说明的。另外，还假设图像拾取单元500的图像拾取设备200中的每个视差检测像素均由2行和2列的像素电路加以配置，如图20的（d）中所说明的。换句话说，假设视差检测像素能够把一个出射光瞳划分为一个左部分和一个右部分。

而且，第三实施例中所描述的光阑510适用于这样的图像拾取单元：其使用任何机制（例如，极化设备、快门、反射镜、光向量信息等）把一个出射光瞳划分为左部分和右部分，以生成立体画面。换句话说，第三实施例并不局限于使用本发明第一和第二实施例中所描述的视差检测像素生成立体画面的图像拾取单元。然而，在本发明第三实施例中，描述了提供在使用视差检测像素生成立体画面的图像拾取单元中的光阑510。

光阑510为一个遮蔽部件，其通过驱动部件170的驱动改变光圈的开放度，从而可调整基线长度和进入图像拾取设备200的对象光的光量。光阑510能够调整光圈的位置，以设置基线长度，并且能够按所设置的基线长度改变光圈的开放度，以调整对象光的光量。换句话说，光阑510能够独立地设置对象光的光量以及基线长度的长度的增加和减少。注意，将参照图22～图25描述光阑510。

基线长度设置部件520设置光阑510所调整的基线长度。例如，基线长度设置部件520根据用户通过操作接收部件120所指出的立体效果强度计算基线长度，并且把与所计算的基线长度相关的信息（基线长度信息）提交于光阑驱动设置部件530。

光阑驱动设置部件530设置光阑510的光阑的光圈状态。例如，光阑驱动设置部件530根据从图像拾取设备200所提交的画面数据计算相应的光量（自动曝光（AE））。然后，光阑驱动设置部件530根据从基线长度设置部件520所提交的基线长度信息和所计算的光量确定光阑510的光圈状态。换句话说，光阑驱动设置部件530设置光阑510的光圈状态，以独立地控制对象光的光量以及基线长度的长度的增加和减少。光阑驱动设置部件530把与所确定的光圈状态相关的信息（光阑状态信息）提交于驱动部件170，从而使驱动部件170能够驱动光阑510。

［光阑实例］

图22示意性地说明了根据本发明第三实施例的光阑510的一个实例。

光阑510包括第一光阑，其由两个叶片（blade）加以配置，所述两个叶片形成了光阑的光圈的外框；以及一个第二光阑，其纵向遮蔽光阑中心及其附近的光，以生成左和右光圈。在此图的（a）中，说明了处于其中由第一光阑和第二光阑形成两个光圈的状态的光阑510。另外，在此图的（b）中，为了说明第一光阑的两个叶片的形状，仅说明了第一光阑（第一光阑511）。然后，在此图的（c）中，为了说明第二光阑的两个叶片的形状，仅说明了第二光阑（第二光阑515）。

图22的（a）说明了处于其中由4个叶片（第一光阑上叶片512、第一光阑下叶片513、第二光阑上叶片516、以及第二光阑下叶片517）形成两个光圈的状态的光阑510。另外，此图的（a）还说明了处于由4个叶片形成的两个光圈的形心位置（形心P1和P2）以及两个形心之间的距离（基线长度L21）。

此图的（b）仅说明了配置了第一光阑（第一光阑511）的两个叶片（第一光阑上叶片512和第一光阑下叶片513）。把第一光阑上叶片512和第一光阑下叶片513排列为三角形凹切部分互相面对。注意，这样地形成三角形凹切部分：三角形切口的顶端位于为正交于视差方向（横方向）的直线的线上，并且穿过基线长度的停止点。如此图的（b）中所说明的，第一光阑511的叶片对（第一光阑上叶片512和第一光阑下叶片513）中的每个叶片均为一个平面光遮蔽部件，以把光阑的光圈形成为一个旋转了45度的正方形。

另外，此图的（c）仅说明了配置了第二光阑（第二光阑515）的两个叶片（第二光阑上叶片516和第二光阑下叶片517）。如此图的（c）中所说明的，第二光阑515的叶片对中的每个叶片（第二光阑上叶片516和第二光阑下叶片517）为一个从上到下突出以遮蔽光阑510中心及其附近的光的平面光遮蔽部件。把第二光阑上叶片516和第二光阑下叶片517排列为三角形（山形）凸突出部分互相面对。注意，这样地形成三角形凸突出部分：三角形切口的顶端位于为垂直（正交）于视差方向的直线的线上，并且穿过基线长度的停止点。第二光阑515的叶片对具有这样的形状：其中，光遮蔽面积从光阑510的中心朝左右两端逐渐增加，同时突出。在此图中，作为一个实例，说明了一个被旋转了45度的正方形光遮蔽部件。

如此图的（a）～（c）中所说明的，光阑510由第一光阑511的两个叶片（第一光阑上叶片512和第一光阑下叶片513）和第二光阑515的两个叶片（第二光阑上叶片516和第二光阑下叶片517）加以配置。因此，光阑510沿视差方向形成了彼此相邻的一对光圈。另外，第一光阑511沿两个光圈的视差方向形成相应于光圈对的边缘（外部边缘）两侧（两端）边缘（左光圈的边缘的左半部和右光圈的边缘的右半部）的半部。第二光阑515沿两个光圈的视差方向形成相应于光圈对的边缘内侧（其中光圈对互相靠近的侧）边缘（左光圈的边缘的右半部和右光圈的边缘的左半部）的半部。换句话说，在光圈对的外部边缘中，第一光阑511沿视差方向形成相应于两端的端部分，第二光阑515形成光圈对之间互相靠近的外部边缘的靠近的部分。注意，第一光阑511和第二光阑515的切口中的每个切口均为一个其中其顶点位于垂直（正交）于视差方向、并且穿过基线长度的停止点的直线的线上，于是，光圈对的形状互相相同。

以下，将参照图23～图25描述光阑510的第一光阑511和第二光阑515的驱动所导致的光圈形状的变化。

［使用固定基线长度改变光圈面积的实例］

图23示意性地说明了当驱动根据本发明第三实施例的光阑510，从而仅使用固定的基线长度改变光圈面积时第一光阑511和第二光阑515的驱动方向。

此图的（a）说明了驱动之前（将其称为正常状态）的光阑510。

此图的（b）中说明了以固定基线长度驱动的，从而使光圈面积减小的光阑510。如此图的（b）中所说明的，为了以固定基线长度（基线长度L31）减小光圈面积，通过缩小第一光阑（沿第一光圈操作方向551）和缩小第二光阑（沿第二光圈操作方向552）执行对光阑510的驱动。

此图的（c）说明了光阑510，其被驱动使得在固定基线长度下增加光圈面积。如此图的（c）中所说明的，通过打开第一光阑（沿第一光圈操作方向553）和打开第二光阑（沿第二光圈操作方向554）可以执行对光阑510的驱动用于在固定基线长度（基线长度L31）下增加光圈面积。

具体地讲，如此图的（b）和（c）中所说明的，当增加和减少光量而基线长度为固定时，根据第一光阑沿视差方向所形成的边缘的位置的移动，沿与第一光阑的边缘的位置的移动方向相反的方向把第二光阑沿视差方向所形成的边缘的位置移动与第一光阑的边缘的位置的移动量相同的量。因此，沿相反的方向，根据左光圈的左端的移动，把左光圈的右端和左光圈的左端移动了相同的量，并且沿相反的方向，根据右光圈的右端的移动，把右光圈的左端和右光圈的右端移动了相同的量。通过沿相同的方向驱动第一光阑和第二光阑，可以实现光圈的边缘的设置，如此图的（b）和（c）中所说明的。在这一方式下，通过设置光阑510的光圈，能够在不改变每个光圈的形心位置的情况下增加和减少光量。

［使用固定光圈面积改变基线长度的实例］

图24示意性地说明了当驱动根据本发明第三实施例的光阑510，从而使用固定基线长度仅改变光圈面积时第一光阑511和第二光阑515的驱动方向。

此图的（a）说明了正常状态下的光阑510。

此图的（b）说明了以固定光圈面积驱动的，从而使基线长度从正常状态（从基线长度L31到L32）减小的光阑510。如此图的（b）中所说明的，为了以固定光圈面积减小基线长度，通过缩小第一光阑（沿第一光圈操作方向561）和打开第二光阑（沿第二光圈操作方向562）执行对光阑510的驱动。

此图的（c）说明了以固定光圈面积驱动的，从而使基线长度从正常状态（从基线长度L31到基线长度L33）增加基线长度的光阑510。如此图的（c）中所说明的，为了以固定光圈面积增加基线长度，通过打开第一光阑（沿第一光圈操作方向563）和缩小第二光阑（沿第二光圈操作方向564）执行对光阑510的驱动。

具体地讲，如此图的（b）和（c）中所说明的，当改变基线长度而光量为固定时，根据第一光阑沿视差方向所形成的边缘的位置的移动，沿与第一光阑的边缘的位置的移动方向相同的方向把第二光阑沿视差方向所形成的边缘的位置移动与第一光阑的边缘的位置的移动量相同的量。因此，沿相同的方向，根据左光圈的左端的移动，把左光圈的右端和左光圈的左端移动了相同的量，并且沿相同的方向，根据右光圈的右端的移动，把右光圈的左端和右光圈的右端移动了相同的量。通过沿相反的方向驱动第一光阑和第二光阑，可以实现光圈的边缘的设置，如此图的（b）和（c）中所说明的。于是，允许左光圈的右端和左端之间的长度和右光圈的右端和左端之间的长度为固定的，从而允许光圈的光圈面积为固定的。在这一方式下，通过设置光阑510的光圈，能够在不改变光圈面积的情况下改变每个光圈的形心位置。

［打开第二光阑形成一个光圈的实例］

图25示意性地说明了其中把根据本发明第三实施例的光阑510的光圈形成为适合于捕获平面画面的形状的情况。

此图的（a）说明了正常状态下的光阑510。

此图的（b）中说明了驱动其旨在形成一个适合于捕获平面画面的形状的光圈的光阑510。如此图的（b）中所说明的，通过释放第二光阑（沿第二光阑驱动方向571），光阑510具有一个类似于现存光阑的光圈。

具体地讲，如图23和图24中所说明的，在光阑510中，能够通过分别移动第一光阑和第二光阑独立地设置光圈的光圈面积（孔径焦距比）和基线长度（立体效果）。例如，在拍摄一个极亮的场景的过程中，为了以固定基线长度降低亮度，既缩小第一光阑，也缩小第二光阑，如图23的（b）中所说明的。而且，为了增强立体效果同时维持亮度，打开第一光阑和缩小第二光阑，如图24的（c）中所说明的。

另外，如图25中所说明的，在不捕获立体画面而捕获平面画面的过程中，释放第二光阑，以形成一个光圈，第一光阑控制光圈面积。因此，允许像现存光阑那样使用所述光阑。

如以上所描述的，通过光阑510可以实现立体效果（3D强度）的设置。另外，根据其中在图像拾取设备200中排列视差检测像素和画面生成像素的本发明的第三实施例，允许根据画面生成像素的像素值生成2D画面（平面画面）。换句话说，在图像拾取单元中提供光阑510允许用户选择将加以捕获的画面（2D画面或者3D画面），或者设置立体效果。

因此，将参照图26描述一个当用户设置画面和3D强度时设置屏幕（用户接口）的实例。

［显示部件中设置屏幕的实例］

图26示意性地说明了显示在根据本发明第三实施例的显示部件151上的将加以捕获的画面的设置屏幕和3D强度的设置屏幕。

在此图的（a）中，说明了一个其中用户设置是捕获2D画面还是3D画面的设置屏幕（设置屏幕580）。在设置屏幕580中，说明了一个用于选择捕获3D画面的3D画面模式的射频按钮（射频按钮582）、一个用于选择捕获2D画面的2D画面模式的射频按钮（射频按钮583）。另外，还说明了一个确定选择的确定按钮（ENTER按钮584）和一个取消选择的改变的按钮（BACK按钮585）。

在设置屏幕580中，当用户选择了3D画面时，执行对适合于捕获3D画面的光阑的控制，如图23和图24中所说明的。另一方面，当用户选择了2D画面时，释放第二光阑，并且执行对适合于捕获2D画面的光阑的控制（类似于对现存光阑的控制），如图25中所说明的。

在这一方式下，图像拾取单元500允许用户把2D画面或者3D画面选择为将加以捕获的画面。

图26的（b）说明了一个其中用户设置了3D强度（3D水平）的设置屏幕（设置屏幕590）。在设置屏幕590中，说明了一个指示3D水平的滑动条（滑动条591）、一个用于确定选择的确定按钮（ENTER按钮594）、以及一个用于取消选择的改变的按钮（BACK按钮595）。另外，在滑动条591中，还说明了一个指示当前所设置的3D水平的滑动条（滑动条592）。

在设置屏幕590中，允许用户通过滑动条592选择3D水平。当减弱3D水平（把滑动条592移向滑动条519的“弱”），控制光阑510，以缩短基线长度，如图24的（b）中所说明的。另一方面，当增强3D水平（把滑动条592移向滑动条519的“强”），控制光阑510，以增加基线长度，如图24的（c）中所说明的。

如以上所描述的，图像拾取单元500允许用户选择3D水平。

［通过基线长度的改变修改3D水平］

图27示意性地说明了根据本发明第三实施例的光阑510中基线长度的变化导致的图像的改变。

此图的（a）和（b）示意性地说明了当对光阑510进行控制以增加基线长度时，成像表面上从将加以捕获的对象到将加以捕获的对象的成像位置的光路径。另外，此图的（c）和（d）示意性地说明了当对光阑510进行控制以缩短基线长度时，成像表面上从将加以捕获的对象到将加以捕获的对象的成像位置的光路径。

注意，此图的（a）和（c）相应于图6的（a），并且说明了透过相应于来自将加以捕获的对象的对象光的光阑510的左眼的光圈平面（左眼光圈平面）的对象光的光路径、以及成像表面上的成像位置。同样，图27的（b）和（d）相应于图6的（b），并且说明了透过相应于来自将加以捕获的对象的对象光的光阑510的右眼的光圈平面（右眼光圈平面）的对象光的光路径、以及成像表面上的成像位置。因此，向与图6的（a）和（b）中的部件相同的部件赋予了相同的参照数字，并且将省略对它们的描述。

图27的（a）～（d）中所说明的瞳孔21示意性地说明了当光阑510的第一光阑和第二光阑均被释放时出射光瞳的形状（即，图像拾取透镜的形状），并且相应于图6中的出射光瞳E1。图27的（a）和（b）中所说明的出射光瞳31和E32说明了当对光阑510进行控制以增加基线长度时的一对出射光瞳（出射光瞳31说明了左眼光圈平面的出射光瞳，出射光瞳32说明了右眼光圈平面的出射光瞳）。同样，此图的（c）和（d）中所说明的出射光瞳41和E42说明了当对光阑510进行控制以缩短基线长度时的一对出射光瞳（出射光瞳41说明了左眼光圈平面的出射光瞳，出射光瞳42说明了右眼光圈平面的出射光瞳）。另外，在此图的（a）～（d）中，由从各对象延伸的点划线和实线（线L51～L58）表示来自被聚焦的对象271的光的光路径和来自近定位对象272的光的光路径。

如图27的（a）和（b）中所说明的，当增加基线长度时（左光圈平面和右光圈平面互相分离）时，增加了根据散焦量所位移的成像位置的位移量，从而增强了立体效果。另一方面，如此图的（c）和（d）中所说明的，当缩短基线长度时（左光圈平面和右光圈平面互相靠近）时，减小了根据散焦量所位移的成像位置的位移量，从而削弱了立体效果。

［光阑中光圈平面的修改］

图28示意性地说明了根据本发明第三实施例的光阑510的光圈平面和现存光阑的光圈平面之间的差别。

此图的（a）说明了通过打开和关闭提供在现存图像拾取单元中的光阑（光阑190）改变光圈平面的情况。光阑190由一对叶片（光阑上叶片191和光阑下叶片192）加以配置，通过沿相反的方向移动叶片对（光遮蔽部件）调整光圈平面的面积。在现存光阑190中，当光圈面积大时，基线长度长（参见此图的（a）中所说明的基线长度L91），而当光圈面积小时，基线长度短（参见此图的（a）中所说明的基线长度L92）。

此图的（b）说明了通过打开和关闭根据本发明第三实施例的光阑510改变光圈的情况。注意，此图的（b）中所说明的图为把图23和图24加以汇集在一起的图。因此，在图28的（b）中，附加了与图23和图24中的参照数字相同的参照数字，并且省略了详细的描述。

如图28的（b）中所说明的，允许光阑510独立地控制亮度（光圈面积的大小）和基线长度（光圈对的形心之间的距离）。

［图像拾取单元的操作实例］

以下，参照附图描述根据本发明第三实施例的图像拾取单元500的操作。

图29为说明了根据本发明第三实施例的图像拾取单元500捕获立体画面时图像拾取处理规程的一个实例的流程图。注意，此图中所说明的图像拾取处理规程的实例的流程图为图10中所说明的根据本发明第一实施例的图像拾取处理规程的实例的流程图的一个修改。因此，使用了相同的数字表示与第一实施例的过程基本相同的过程，并且描述了与自动曝光相关的一个附加处理规程的实例。

当断定用户发出了立体画面的图像拾取操作的开始指令时（步骤S901），根据用户预先指出的立体效果的强度设置基线长度，并且根据是所设置的基线长度驱动光阑510（步骤S961）。然后，所述规程前进至步骤S902，并且执行实时预览（live view）显示。

另外，在执行了聚焦处理（步骤S904）之后，光阑驱动设置部件530根据聚焦处理时所捕获的画面调整曝光度，于是，执行了其中控制光阑510的自动曝光处理（步骤S962）。然后，在步骤S962之后，所述规程前进至步骤S905，并且判断是否完全按下了快门按钮。

如以上所描述的，根据本发明的第三实施例，允许独立地控制亮度（光圈面积的大小）和基线长度（光圈对的形心之间的距离）。注意，在本发明的第三实施例中，尽管是在假设第一光阑包括两个叶片（光遮蔽部件）以及第二光阑包括两个叶片的情况下给出所述描述，然而所述配置并不局限于此。可以使用任何其它类型的第一光阑，只要能够打开和关闭第一光阑，从而可以从光阑的外周边朝其中心减小光圈面积（孔径焦距比为小）即可。增加叶片的数目会把光圈的形状从旋转了45度的正方形改变为圆形形状。另外，也可以使用任何其它类型的第二光阑，只要第二光阑能够遮蔽光阑中心及其附近的光，以形成一对光圈即可，并且可以设想使用两或两个以上的叶片把光圈对中的每个光圈的形状改变为圆形形状。

＜5.第四实施例＞

在本发明的第三实施例中，描述了其中当图像拾取单元进行水平拍摄时随意设置亮度和基线长度的光阑（光阑510）。然而，当进行如本发明第一实施例中所描述的垂直拍摄时，为了通过光阑510沿水平方向采集视差，需要释放第二光阑，从而仅使用第一光阑（按与形成光阑一样的方式使用光阑）。

因此，在本发明的第四实施例中，将参照图30～图32描述其中水平拍摄和垂直拍摄过程中均允许随意设置亮度和基线长度的光阑。

［图像拾取单元的功能配置实例］

图30为说明了根据本发明第四实施例的图像拾取单元600的一个功能配置实例的结构图。

此图中所说明的图像拾取单元600包括取代图21中所说明的图像拾取单元500的光阑510的光阑610。而且，除了图像拾取单元500的部件之外，图像拾取单元600还包括图1中所说明的姿态检测部件140。注意，将参照图31和图32描述光阑610。

与图1中所说明的姿态检测部件140一样，所述姿态检测部件140检测图像拾取单元600的姿态，并且把与图像拾取单元600的所检测的姿态相关的信息（姿态信息）提交于视差检测部件320和光阑驱动设置部件530。

注意，图30中所说明的光阑驱动设置部件530根据从姿态检测部件140所提交的姿态信息检测拍摄模式为垂直拍摄还是水平拍摄（图像拾取单元600的姿态），并且根据所检测的姿态设置光阑610的驱动。

［光阑的实例］

图31示意性地说明了根据本发明第四实施例的光阑610的一个实例。

为了在顶部和底部形成一对光圈，除了与图22中所说明的光阑510的第一光阑和第二光阑一样的第一光阑和第二光阑之外，光阑610还包括一个沿横方向突出的、旨在遮蔽光阑中心及其附近的光的第三光阑。图31的（a）说明了处于其中在顶部和底部形成两个光圈的状态下的光阑610。

另外，为了说明第一光阑的两个叶片的形状，此图的（b）仅说明了第一光阑（第一光阑511），为了说明第二光阑的两个叶片的形状，此图的（c）仅说明了第二光阑（第二光阑515）。另外，为了说明第三光阑的两个叶片的形状，此图的（d）仅说明了第三光阑（第三光阑611）。

注意，此图的（b）和（c）类似于图22的（b）和（c），因此，仅描述图31的（a）和（d）。

此图的（a）说明了处于其中沿纵方向形成光圈对的状态下的光阑610。在光阑610中，这样地提供第三光阑：使第三光阑左叶片612的右端和第三光阑右叶片613的左端在光阑610的中心附近相互接触。另一方面，第二光阑上叶片516和第二光阑下叶片517处于释放状态，并且将它们排列为不遮蔽对象光。在这一方式下，第三光阑611沿横方向遮蔽光阑610中心附近的光，于是，允许沿光阑610的纵方向形成光圈对。

此图的（d）说明了配置了第三光阑（第三光阑611）的两个叶片（第三光阑左叶片612和第三光阑右叶片613）。如此图的（d）中所说明的，第三光阑611的排列方向相应于沿顺时针方向把第二光阑515的排列方向（参见此图的（c））旋转90度所获得的排列方向（它们的驱动方向互相正交）。换句话说，把第三光阑左叶片612和第三光阑右叶片613排列为它们的三角形凸突出部分互相面对。注意，这样地形成三角形凸突出部分：三角形切口的顶点位于一条为平行于视差方向，并且穿过基线长度的停止点的直线的线上。

如以上所描述的，提供了沿横方向遮蔽光阑610中心及其附近的光的第三光阑611沿纵方向形成了光圈对。

［光阑对光圈的修改］

图32示意性地说明了根据本发明第四实施例的光阑610所形成的光圈的形状的一个实例。

此图的（a）示意性地说明了在其中使用图像拾取单元600进行水平拍摄的情况下光阑610的每个叶片的位置。在进行水平拍摄的情况下，令第三光阑（第三光阑左叶片612和第三光阑右叶片613）处于如此图的（a）中所说明的释放状态。另外，如图22～图24中所说明的，缩小（关闭）第二光阑（第二光阑上叶片516和第二光阑下叶片517），以形成光圈对。然后，通过打开和关闭第二光阑和第一光阑，同时令第三光阑保持释放状态，则类似于图22～图24中所说明的光阑510，允许在水平拍摄过程中独立地控制亮度和基线长度。

图32的（b）示意性地说明了处于其中使用图像拾取单元600进行垂直拍摄的情况下光阑610的每个叶片的位置。在进行垂直拍摄的情况下，令第二光阑处于释放状态，并且缩小（关闭）第三光阑，以形成光圈对，如此图的（b）中所说明的。然后，通过打开和关闭第三光阑和第一光阑，同时令第二光阑保持释放状态，除了光圈对的方向不同之外，与此图的（a）一样地执行光阑的打开和关闭。换句话说，如此图的（b）中所说明的，通过打开和关闭第三光阑和第一光阑，同时令第二光阑保持释放状态，允许在垂直拍摄过程中独立地控制亮度和基线长度。

此图的（c）示意性地说明了在其中使用图像拾取单元600捕获2D画面的情况下光阑610的每个叶片的位置。在捕获2D画面的情况下，令第二和第三光阑处于释放状态，如此图的（c）中所说明的。另外，仅打开和关闭第一光阑。因此，能够在无需遮蔽对象光的情况下捕获2D画面。

如以上所描述的，根据本发明的第四实施例，在水平拍摄过程中以及在垂直拍摄过程中均允许独立地控制亮度和基线长度。

＜6.光阑的修改＞

在本发明的第三和第四实施例中，描述了其中形成光圈对，并且允许随意设置亮度和基线长度的光阑。注意，在第三和第四实施例中所描述的光阑中，允许随意组合亮度和基线长度。然而，简单的3D图像拾取单元可能无需具有这样的特性。在这一情况下，希望光阑具有适合于捕获3D画面的较简单的配置。

因此，将参照图33描述一种具有比第三和第四实施例中配置更简单配置的光阑。

［光阑的实例］

图33示意性地说明了作为本发明第三和第四实施例的修改，具有适合于捕获3D画面的简单配置的光阑的一个实例。

此图的（a）和（b）分别说明了一种其中允许控制亮度，同时维持基线长度的光阑。此图的（a）说明了一种光阑，其中，提供了两个叶片和一个通过视差检测方向两端的突出部分形成的、视差（横）方向为长的矩形光圈平面（形成于内部的矩形切口）。由两个其中沿视差方向分别具有长边的矩形切口互相面对的叶片形成光阑的矩形光圈平面。另外，此图的（b）说明了一种光阑，其中，提供了两个叶片和一对通过V形切口突出部分（具有两个谷（一对相邻的切口）沿视差（横）方向形成的光圈（旋转了45度的正方形）。通过沿纵方向（沿垂直于相位差检测方向的方向）打开和关闭此图的（a）和（b）中所说明的光阑，允许控制亮度同时维持基线长度。

此图的（c）和（d）分别说明了一种其中允许基线长度长于现存光阑的基线长度的光阑。此图的（c）说明了一种其中形成一个沿横方向（沿视差检测方向）为长以及沿纵方向为短的椭圆光圈的光阑。由两个其中沿视差方向分别具有一个边（长直径）的半圆切口互相面对的叶片形成光阑的椭圆光圈。另外，此图的（d）说明了一种其中形成沿横方向（视差检测方向）为长以及沿纵方向为短的菱形光圈的光阑。由两个其中分别沿视差检测方向具有一个底边的三角形切口互相面对的叶片形成光阑的菱形光圈。与具有圆形光圈的或者具有旋转了45度的正方形光圈的现存光阑相比，通过沿纵方向打开和关闭此图的（c）和（d）中所说明的光阑，允许增加基线长度。

此图的（e）说明了一种其中与本发明的第三和第四实施例一样允许独立控制亮度和基线长度的光阑。与本发明的第三和第四实施例的情况相比，能够更容易地控制光阑。在此图的（e）中，说明了沿视差检测方向（横）方向从两端（左端和右端）朝光阑的中心关闭的两个叶片以及沿纵方向从两端（上端和下端）朝光阑的中心关闭的两个叶片。注意，从左端和右端朝光阑的中心关闭的两个叶片为一对，允许平行于正交于视差方向的正交方向的各边互相面对。另外，从上端和下端朝光阑的中心关闭的两个叶片也为一对，允许平行于视差方向的各边互相面对。在此图的（e）中所说明的光阑中，当打开左右光阑时，增加了基线长度，当打开上下光阑时，增加了亮度。

在图像拾取单元中提供这样的适合于捕获3D画面的光阑，能够捕获提供良好立体效果的3D画面。

如以上所描述的，根据本发明的所述实施例，允许捕获良好的3D画面。顺便提及，在本发明的所述实施例中，尽管是在假设图像拾取单元捕获静止画面的情况下进行了描述，然而本发明也可为捕获移动画面的图像拾取单元。

注意，以上所描述的实施例旨在说明体现本发明的实例，所述实施例的主题与权利要求中发明说明主题具有对应关系。相类似，在本发明的所述实施例中，权利要求中发明说明主题与被赋予与权利要求中发明说明主题相同的名称的主题具有对应关系。顺便提及，本发明并不局限于所述实施例，也可以在不背离本发明范围情况下，通过对所述实施例进行各种修改加以体现。

另外，可以把以上所描述的实施例中所描述的处理规程视为一种具有一系列规程的方法，并且可以将其视为一种致使计算机执行所述规程系列的程序或者持有该程序的记录媒体。作为所述记录媒体，例如，可以使用紧致盘（CD）、小型盘（MD）、数字通用盘（DVD）、存储卡、蓝射线盘（注册商标）。

注意，可以将本发明配置如下。

（1）一种图像拾取单元，包含：

图像拾取设备，包括视差检测像素和画面生成像素，每个视差检测像素通过由一个微透镜覆盖的多个光检测器接收对象光，以生成用于检测视差的信号，而每个画面生成像素通过逐像素覆盖有大小小于所述微透镜的微透镜的光检测器接收对象光，以生成用于生成画面的信号；以及

立体画面生成部件，根据视差检测像素所生成的信号检测视差，根据画面生成像素所生成的信号生成平面画面，并且根据所检测的视差调整包括在所生成的平面画面中的每个对象图像的位置，以生成立体画面。

（2）根据（1）所述的图像拾取单元，还包含姿态检测部件，检测图像拾取单元的姿态，其中，

视差检测像素沿图像拾取设备的行方向排列成在一条直线上，并沿图像拾取设备的列方向也排列在一条直线上，以及

立体画面生成部件根据姿态检测部件所检测的姿态确定偏离图像拾取设备行方向和列方向的视差的检测方向，根据沿所确定的方向排列的视差检测像素所生成的信号生成与视差相关的信息。

（3）根据（1）或者（2）所述的图像拾取单元，还包含焦点确定部件，其根据视差检测像素所生成的信号对将加以聚焦的对象执行焦点确定。

（4）根据（1）～（3）任何之一所述的图像拾取单元，其中，图像拾取设备中的视差检测像素沿某一具体方向彼此相邻地排列在一条直线上。

（5）根据（1）～（3）任何之一所述的图像拾取单元，其中，图像拾取设备中的视差检测像素沿某一具体方向按预先确定的间隔排列在一条直线上。

（6）根据（1）～（5）任何之一所述的图像拾取单元，还包含控制部件，其根据图像拾取设备和出射光瞳的大小之间的关系，沿微透镜的光轴方向移动覆盖视差检测像素中的所述多个光检测器的一个微透镜。

（7）根据（1）～（6）任何之一所述的图像拾取单元，其中，视差检测像素中的多个光检测器覆盖有一个滤色器。

（8）根据（7）所述的图像拾取单元，其中，视差检测像素中的多个光检测器覆盖有绿滤色器，所述绿滤色器遮蔽除显示绿光的波长范围内的光之外的光。

（9）根据（7）所述的图像拾取单元，其中，视差检测像素中的所述多个光检测器覆盖有白滤色器或者透明层，所述白滤色器和透明层允许可见光范围内的光透过。

（10）根据（1）～（9）任何之一所述的图像拾取单元，其中，画面生成像素每个像素包括一个光检测器。

（11）根据（1）～（10）任何之一所述的图像拾取单元，其中，用于收集多个光检测器中每一个的位置上的对象光的微透镜按照所述多个光检测器为单位覆盖所述多个光检测器，所述对象光由覆盖视差检测像素中的所述多个光检测器的一个微透镜收集。

（12）根据（11）所述的图像拾取单元，其中，其每个都覆盖画面生成像素中的光检测器的一些微透镜排列在与按照多个光检测器为单位覆盖视差检测像素中多个光检测器的微透镜的光轴方向正交的一个表面上。

（13）根据（1）～（11）任何之一所述的图像拾取单元，其中，其每个都覆盖画面生成像素中的光检测器的一些微透镜排列在与覆盖视差检测像素中多个光检测器的一个微透镜的光轴正交的一个表面上。

（14）一种图像拾取设备，包含：

视差检测像素，每个视差检测像素通过由一个微透镜覆盖的多个光检测器接收对象光，以生成用于检测视差的信号，视差用于生成立体画面；以及

画面生成像素，每个画面生成像素通过逐像素覆盖有大小小于所述微透镜的微透镜的光检测器接收对象光，以生成用于生成平面画面的信号，平面画面用于利用视差生成立体画面。

（15）根据（14）所述的图像拾取设备，其中，

视差为在沿视差方向调整每个对象图像的位置以生成立体画面时与平面画面中每一对象图像的位置的位移量相关的信息，

视差检测像素沿视差方向排列在一条直线上。

（16）一种画面处理方法，包括：

根据图像拾取设备中视差检测像素所生成的信号检测视差的步骤，图像拾取设备包括视差检测像素和画面生成像素，视差检测像素生成用于通过由一个微透镜所覆盖的多个光检测器检测视差的信号，画面生成像素每个接收对象光以生成用于生成平面画面的信号；

根据图像拾取设备中画面生成像素所生成的信号生成平面画面的步骤；以及

根据所检测的视差调整平面画面中每个所捕获的对象的位置，以生成立体画面的步骤。

（17）一种致使计算机执行下列步骤的程序：

根据图像拾取设备中视差检测像素所生成的信号检测视差的步骤，图像拾取设备包括视差检测像素和画面生成像素，视差检测像素生成用于通过由一个微透镜所覆盖的多个光检测器检测视差的信号，画面生成像素每个接收对象光以生成用于生成平面画面的信号；

根据图像拾取设备中画面生成像素所生成的信号生成平面画面的步骤；以及

根据所检测的视差调整平面画面中每个所捕获的对象的位置，以生成立体画面的步骤。

（18）一种图像拾取单元，包括：

光阑，其形成一对用于生成立体画面的光圈；

图像拾取设备，其接收透过所述光圈对中每一光圈的对象光，以生成用于生成立体画面的信号；以及

控制部件，其独立地控制光圈对的形心之间的距离，并且控制透过光圈对的对象光的光量的增加和减少。

（19）根据（18）所述的图像拾取单元，其中，

光圈对形成在光阑中沿立体画面视差方向彼此相邻，以及

在光圈对的外部边缘中，控制部件改变和控制外部边缘在视差方向与两端对应的端部分的位置以及外部边缘的与光圈对之间彼此接近的接近部分的位置。

（20）根据（19）所述的图像拾取单元，其中，当增加或者减少光量时，在形心之间的距离固定的情况下，控制部件改变外部边缘的与光圈对中一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度，以及改变外部边缘的与光圈对中另一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度。

（21）根据（20）所述的图像拾取单元，其中，外部边缘的与光圈对中一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度等于外部边缘的与光圈对中另一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度。

（22）根据（19）～（21）任何之一所述的图像拾取单元，其中，当形心之间的距离改变时，在其中外部边缘的与光圈对中一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度为固定的状态下，控制部件改变形心之间的距离。

（23）根据（19）～（22）任何之一所述的图像拾取单元，还包含调整形心之间的距离的调整部件，其中，

控制部件控制光圈对，以允许形心之间的距离为由调整部件调整的距离。

（24）根据（18）～（23）任何之一所述的图像拾取单元，其中，光阑包括第一构件和第二构件，其中，第一构件包括其中每个具有切口的一对构件，第二构件包括其中每个具有突出部分的一对构件，第一构件的构件对设置为使得切口互相面对，第二构件的构件对设置为使得突出部分互相面对。

（25）根据（24）所述的图像拾取单元，其中，第一构件和第二构件沿正交于视差方向的正交方向驱动。

（26）根据（25）所述的图像拾取单元，其中，

切口呈凹形，其中，山形的顶点定位在穿过形心之间的距离的中点、并且平行于第一构件的驱动方向的直线上，以及

突出部分呈凸形，其中，山形的顶点定位在穿过形心之间的距离的中点、并且平行于第二构件的驱动方向的直线上。

（27）根据（18）～（23）任何之一所述的图像拾取单元，还包含姿态检测部件，检测图像拾取单元的姿态，其中，

光阑包括第一构件、在水平拍摄时遮蔽部分对象光的第二构件、以及在垂直拍摄时遮蔽部分对象光的第三构件，第一构件具有其中每个含有切口的一对构件，把第一构件的构件对设置为使得切口互相面对，第二构件具有其中每个含有突出部分的一对构件，把第二构件的构件对设置为使得突出部分互相面对，第三构件具有其中每个含有突出部分的一对构件，把第三构件的构件对设置为使得突出部分互相面对，

第二构件的驱动方向正交于第三构件的驱动方向，以及

控制部件根据所检测的姿态判断是进行水平拍摄还是进行垂直拍摄，然后控制光圈对。

（28）根据（18）～（27）任何之一所述的图像拾取单元，光阑设置在单眼透镜系统所收集的对象光的光路径上。

（29）一种图像拾取单元，包括：

光阑，由一对每个具有一对沿立体画面视差方向彼此相邻的切口的构件构成，各构件的切口互相面对，以形成一对光圈；

图像拾取设备，其接收透过所述光圈对中每个光圈的对象光，以生成用于生成立体画面的信号；以及

控制部件，其沿正交于视差方向的正交方向驱动所述构件对中的每个，并且控制光阑，以使得光圈对的形心之间的距离为固定的。

（30）一种图像拾取单元，包括：

形成光圈的光阑，光圈的纵方向为立体画面中的视差方向；

图像拾取设备，其接收透过光圈的对象光，以生成用于生成立体画面的信号；以及

控制部件，其控制光阑，以使得光圈沿视差方向的长度长于光圈沿正交于视差方向的正交方向的长度。

（31）根据（30）所述的图像拾取单元，其中，

光阑包括每个具有切口的一对构件，切口互相面对，以形成光圈，以及

控制部件沿正交方向驱动所述构件对中的每个构件，以控制光阑。

（32）根据（30）所述的图像拾取单元，其中，所述切口呈矩形形状、三角形形状、以及半圆形形状之一，其中，矩形形状的长边沿视差方向延伸，三角形形状的底边沿视差方向延伸，半圆形形状的边沿视差方向延伸。

（33）根据（30）所述的图像拾取单元，其中，光阑使用一对第一构件和一对第二构件形成光圈，第一构件每个具有一条平行于视差方向的边，各第一构件的边互相面对，第二构件每个具有一条平行于正交方向的边，各第二构件的边互相面对。

（34）一种光阑控制方法，包括：

第一控制步骤，控制光阑中一对光圈的形心之间的距离，光阑形成用于生成立体画面的光圈对；以及

第二控制步骤，与形心之间的距离无关地控制透过光圈对的对象光的光量的增加和减少。

（35）一种致使计算机执行下列步骤的程序：

第一控制步骤，控制光阑中一对光圈的形心之间的距离，光阑形成用于生成立体画面的光圈对；以及

第二控制步骤，与形心之间的距离无关地控制透过光圈对的对象光的光量的增加和减少。

参照符号列表

100图像拾取单元

110透镜部件

111变焦透镜

112光阑

113聚焦透镜

120操作接收部件

130控制部件

140姿态检测部件

151显示部件

152存储部件

170驱动部件

200图像拾取设备

230视差检测像素

300信号处理部件

3102D画面生成部件

320视差检测部件

3303D画面生成部件

400图像拾取单元

410焦点确定部件

500图像拾取单元

510光阑

520基线长度设置部件

530光阑驱动设置部件

Claims (35)

1.一种图像拾取单元，包含：

图像拾取设备，包括视差检测像素和画面生成像素，每个视差检测像素通过由一个微透镜覆盖的多个光检测器接收对象光，以生成用于检测视差的信号，而每个画面生成像素通过逐像素覆盖有大小小于所述微透镜的微透镜的光检测器接收对象光，以生成用于生成画面的信号；以及

立体画面生成部件，根据视差检测像素所生成的信号检测视差，根据画面生成像素所生成的信号生成平面画面，并且根据所检测的视差调整包括在所生成的平面画面中的每个对象图像的位置，以生成立体画面。

2.根据权利要求1所述的图像拾取单元，还包含姿态检测部件，检测图像拾取单元的姿态，其中，

视差检测像素沿图像拾取设备的行方向排列成在一条直线上，并沿图像拾取设备的列方向也排列在一条直线上，以及

立体画面生成部件根据姿态检测部件所检测的姿态确定偏离图像拾取设备行方向和列方向的视差的检测方向，根据沿所确定的方向排列的视差检测像素所生成的信号生成与视差相关的信息。

3.根据权利要求1所述的图像拾取单元，还包含焦点确定部件，其根据视差检测像素所生成的信号对将加以聚焦的对象执行焦点确定。

4.根据权利要求1所述的图像拾取单元，其中，图像拾取设备中的视差检测像素沿某一具体方向彼此相邻地排列在一条直线上。

5.根据权利要求1所述的图像拾取单元，其中，图像拾取设备中的视差检测像素沿某一具体方向按预先确定的间隔排列在一条直线上。

6.根据权利要求1所述的图像拾取单元，还包含控制部件，其根据图像拾取设备和出射光瞳的大小之间的关系，沿微透镜的光轴方向移动覆盖视差检测像素中的所述多个光检测器的一个微透镜。

7.根据权利要求1所述的图像拾取单元，其中，视差检测像素中的多个光检测器覆盖有一个滤色器。

8.根据权利要求7所述的图像拾取单元，其中，视差检测像素中的多个光检测器覆盖有绿滤色器，所述绿滤色器遮蔽除显示绿光的波长范围内的光之外的光。

9.根据权利要求7所述的图像拾取单元，其中，视差检测像素中的所述多个光检测器覆盖有白滤色器或者透明层，所述白滤色器和透明层允许可见光范围内的光透过。

10.根据权利要求1所述的图像拾取单元，其中，画面生成像素每个像素包括一个光检测器。

11.根据权利要求1所述的图像拾取单元，其中，用于收集多个光检测器中每一个的位置上的对象光的微透镜按照所述多个光检测器为单位覆盖所述多个光检测器，所述对象光由覆盖视差检测像素中的所述多个光检测器的一个微透镜收集。

12.根据权利要求11所述的图像拾取单元，其中，其每个都覆盖画面生成像素中的光检测器的一些微透镜排列在与按照多个光检测器为单位覆盖视差检测像素中多个光检测器的微透镜的光轴方向正交的一个表面上。

13.根据权利要求1所述的图像拾取单元，其中，其每个都覆盖画面生成像素中的光检测器的一些微透镜排列在与覆盖视差检测像素中多个光检测器的一个微透镜的光轴正交的一个表面上。

14.一种图像拾取设备，包含：

视差检测像素，每个视差检测像素通过由一个微透镜覆盖的多个光检测器接收对象光，以生成用于检测视差的信号，视差用于生成立体画面；以及

画面生成像素，每个画面生成像素通过逐像素覆盖有大小小于所述微透镜的微透镜的光检测器接收对象光，以生成用于生成平面画面的信号，平面画面用于利用视差生成立体画面。

15.根据权利要求14所述的图像拾取单元，其中，

视差为在沿视差方向调整每个对象图像的位置以生成立体画面时与平面画面中每一对象图像的位置的位移量相关的信息，

视差检测像素沿视差方向排列在一条直线上。

16.一种画面处理方法，包含：

根据图像拾取设备中视差检测像素所生成的信号检测视差的步骤，图像拾取设备包括视差检测像素和画面生成像素，视差检测像素生成用于通过由一个微透镜所覆盖的多个光检测器检测视差的信号，画面生成像素每个接收对象光以生成用于生成平面画面的信号；

根据图像拾取设备中画面生成像素所生成的信号生成平面画面的步骤；以及

根据所检测的视差调整平面画面中每个所捕获的对象的位置，以生成立体画面的步骤。

17.一种致使计算机执行下列步骤的程序：

根据图像拾取设备中视差检测像素所生成的信号检测视差的步骤，图像拾取设备包括视差检测像素和画面生成像素，视差检测像素生成用于通过由一个微透镜所覆盖的多个光检测器检测视差的信号，画面生成像素每个接收对象光以生成用于生成平面画面的信号；

根据图像拾取设备中画面生成像素所生成的信号生成平面画面的步骤；以及

根据所检测的视差调整平面画面中每个所捕获的对象的位置，以生成立体画面的步骤。

18.一种图像拾取单元，包含：

光阑，其形成一对用于生成立体画面的光圈；

图像拾取设备，其接收透过所述光圈对中每一光圈的对象光，以生成用于生成立体画面的信号；以及

控制部件，其独立地控制光圈对的形心之间的距离，并且控制透过光圈对的对象光的光量的增加和减少。

19.根据权利要求18所述的图像拾取单元，其中，

光圈对形成在光阑中沿立体画面视差方向彼此相邻，以及

在光圈对的外部边缘中，控制部件改变和控制外部边缘在视差方向与两端对应的端部分的位置以及外部边缘的与光圈对之间彼此接近的接近部分的位置。

20.根据权利要求19所述的图像拾取单元，其中，当增加或者减少光量时，在形心之间的距离固定的情况下，控制部件改变外部边缘的与光圈对中一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度，以及改变外部边缘的与光圈对中另一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度。

21.根据权利要求20所述的图像拾取单元，其中，外部边缘的与光圈对中一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度等于外部边缘的与光圈对中另一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度。

22.根据权利要求19所述的图像拾取单元，其中，当形心之间的距离改变时，在其中外部边缘的与光圈对中一个光圈的末端对应的端部分和其外部边缘的接近部分之间的长度为固定的状态下，控制部件改变形心之间的距离。

23.根据权利要求19所述的图像拾取单元，还包含调整形心之间的距离的调整部件，其中，

控制部件控制光圈对，以允许形心之间的距离为由调整部件调整的距离。

24.根据权利要求18所述的图像拾取单元，其中，光阑包括第一构件和第二构件，其中，第一构件包括其中每个具有切口的一对构件，第二构件包括其中每个具有突出部分的一对构件，第一构件的构件对设置为使得切口互相面对，第二构件的构件对设置为使得突出部分互相面对。

25.根据权利要求24所述的图像拾取单元，其中，第一构件和第二构件沿正交于视差方向的正交方向驱动。

26.根据权利要求25所述的图像拾取单元，其中，

切口呈凹形，其中，山形的顶点定位在穿过形心之间的距离的中点、并且平行于第一构件的驱动方向的直线上，以及

突出部分呈凸形，其中，山形的顶点定位在穿过形心之间的距离的中点、并且平行于第二构件的驱动方向的直线上。

27.根据权利要求18所述的图像拾取单元，还包含姿态检测部件，检测图像拾取单元的姿态，其中，

光阑包括第一构件、在水平拍摄时遮蔽部分对象光的第二构件、以及在垂直拍摄时遮蔽部分对象光的第三构件，第一构件具有其中每个含有切口的一对构件，把第一构件的构件对设置为使得切口互相面对，第二构件具有其中每个含有突出部分的一对构件，把第二构件的构件对设置为使得突出部分互相面对，第三构件具有其中每个含有突出部分的一对构件，把第三构件的构件对设置为使得突出部分互相面对，

第二构件的驱动方向正交于第三构件的驱动方向，以及

控制部件根据所检测的姿态判断是进行水平拍摄还是进行垂直拍摄，然后控制光圈对。

28.根据权利要求18所述的图像拾取单元，其中，光阑设置在单眼透镜系统所收集的对象光的光路径上。

29.一种图像拾取单元，包含：

光阑，由一对每个具有一对沿立体画面视差方向彼此相邻的切口的构件构成，各构件的切口互相面对，以形成一对光圈；

图像拾取设备，其接收透过所述光圈对中每个光圈的对象光，以生成用于生成立体画面的信号；以及

控制部件，其沿正交于视差方向的正交方向驱动所述构件对中的每个，并且控制光阑，以使得光圈对的形心之间的距离为固定的。

30.一种图像拾取单元，包含：

形成光圈的光阑，光圈的纵方向为立体画面中的视差方向；

图像拾取设备，其接收透过光圈的对象光，以生成用于生成立体画面的信号；以及

控制部件，其控制光阑，以使得光圈沿视差方向的长度长于光圈沿正交于视差方向的正交方向的长度。

31.根据权利要求30所述的图像拾取单元，其中，

光阑包括每个具有切口的一对构件，切口互相面对，以形成光圈，以及

控制部件沿正交方向驱动所述构件对中的每个构件，以控制光阑。

32.根据权利要求31所述的图像拾取单元，其中，所述切口呈矩形形状、三角形形状、以及半圆形形状之一，其中，矩形形状的长边沿视差方向延伸，三角形形状的底边沿视差方向延伸，半圆形形状的边沿视差方向延伸。

33.根据权利要求30所述的图像拾取单元，其中，光阑使用一对第一构件和一对第二构件形成光圈，第一构件每个具有一条平行于视差方向的边，各第一构件的边互相面对，第二构件每个具有一条平行于正交方向的边，各第二构件的边互相面对。

34.一种光阑控制方法，包含：

第一控制步骤，控制光阑中一对光圈的形心之间的距离，光阑形成用于生成立体画面的光圈对；以及

第二控制步骤，与形心之间的距离无关地控制透过光圈对的对象光的光量的增加和减少。

35.一种致使计算机执行下列步骤的程序：

第一控制步骤，控制光阑中一对光圈的形心之间的距离，光阑形成用于生成立体画面的光圈对；以及

第二控制步骤，与形心之间的距离无关地控制透过光圈对的对象光的光量的增加和减少。

Images