CN103444192A - 立体成像装置和立体成像方法 - Google Patents

Abstract

在具有能够通过光瞳分割输出具有不同视点的多个图像的图像感测设备的立体成像装置中，执行立体成像而不牺牲图像传感器的分辨率。在第一时间点，光圈的开放量受到控制使得在作为成像的结果输出的多个图像中获得视差，从而获取视差图像。在第二时间点，光圈受到控制，使得光圈的开放量小于在第一时间点的开放量，从而获取平面图像。基于在第一时间点获取的多个图像来计算视差信息，并且创建在第二时间点获取的平面图像。该立体成像装置创建包括视差信息和平面图像的立体图像，并且具有装备有能够通过光瞳分割输出具有不同视点的多个图像的图像传感器的图像感测设备，并且使得可以使用该图像传感器的所有光电变换器来创建具有分辨率的立体图像。

Description

立体成像装置和立体成像方法

技术领域

本发明涉及一种立体成像装置和一种立体成像方法。

背景技术

在现有技术中存在一种用于将通过经过了不同的拍摄透镜的区域而获得的被摄体图像形成在图像传感器中的相应的一个上并且获取不同的视点图像的立体成像装置。

在图14中所示的光学系统中，来自被摄体的假设为平行的光线L1和L2由镜151和161分成左右光线。在相对于被摄体的右侧上的光线L1在镜151和和152处被反射并且冲击在图像形成透镜153上。已经冲击在图像形成透镜153上的右侧光线L1在图像传感器154的光感受器表面上形成图像。在图像传感器154中获得来自右眼的视点的图像。类似地，在相对于被摄体的左侧上的光线L2在镜161和162处被反射并且冲击在图像形成透镜163上。已经冲击在图像形成透镜163上的左侧光线L2在图像传感器164的光感受器表面上形成图像。在图像传感器164中获得来自左眼的视点的图像。能够获得左右视差图像。在日本专利申请特开No.2010-81580中已经公开了用于以这种方式获得左右视差图像的图像感测装置。

此外，还存在用于从这样的视差图像创建并且存储表示深度分布的视差图的技术。根据日本专利申请特开No.2011-19084，深度信息生成单元从用于显示生成的立体图像的左眼图像和右眼图像生成与左眼图像和右眼图像中相应的一个相关的深度图。在日本专利申请特开No.2008-116309、No.2008-141666、No.2009-14445和No.2010-226500中已经公开了用于从视差图像创建视图差的成像装置和成像方法。

在日本专利申请特开No.2003-7994、No.2001-12916和No.2001-16611中已经描述了通过关于来自单个成像光学系统的光束的光瞳分割能够输出具有相差的多个图像的立体成像装置的示例。例如，日本专利申请特开No.2003-7994公开了一种固态图像传感器，其中多个像素排列在相同的成像平面上用于光电转换形成在成像平面上的被摄体的图像，由此产生图像信号。该固态图像传感器的特征在于，多个像素被划分成两个组，并且使得在每组中的像素的接收光入射角相互不同。

如在日本专利申请特开No.2003-7994、No.2001-12916和No.2001-16611中描述的，在通过关于来自单个成像光学系统的光束的光瞳分割能够输出具有相差(不同视点)的多个图像的立体成像装置中，在向左方向输出视差图像中使用图像传感器的一些像素，并且在向右方向输出图像中使用剩余的像素。如果输出左右视差的像素(在下文中被称为“相差像素”)被排列在图像传感器上，该图像传感器具有均匀地沿着列方向(水平方向)的正方像素阵列，则能够被用于左视差图像和右视差图像中的每一个的水平像素的数量将是不具有输出视差的像素的适当的像素数量的一半。也就是，在左右图像各自被单独地观看为二维图像的情况下，与从不具有相差像素的适当的图像传感器输出的二维图像相比，水平分辨率将是一半。

自然地，如果提供使用图14中所示的那种光学系统的两个图像传感器，则能够获得符合图像传感器中的每一个的像素的数量的分辨率，并且因此，将不牺牲分辨率。然而，原来不需要的准直光学系统(未示出)、镜151、152、153、154和两个图像传感器156和164变得必要。这在成本方面是不利的。

发明内容

本发明的目的是进行布置，使得能够在用于通过光瞳分割输出表示不同视点的多个图像的图像数据的立体成像装置中，在不牺牲分辨率的情况下执行立体成像。

根据本发明的立体成像装置的特征在于包括：固态电子图像感测设备，该固态电子图像感测设备用于通过光瞳分割输出表示不同视点的多个图像的图像数据；光圈，该光圈被提供在固态电子图像感测设备的光感受器表面的前面，用于调节冲击在固态电子图像感测设备的光感受器表面上的光束的光量；光圈控制单元，该光圈控制单元用于在第一时间点控制光圈从而获得开放量，以该开放量，在从固态电子图像感测设备输出的图像数据所表示的多个图像中产生视差，以及用于在第二时间点控制光圈从而获得小于在第一时间点占主导的开放量的开放量，以该开放量，通过的光量减小；视差信息计算组件(视差信息计算设备)，该视差信息计算组件用于使用表示在第一时间点从固态电子图像感测设备输出的多个图像的图像数据来计算多个图像的视差信息；平面图像数据生成组件(平面图像数据生成设备)，该平面图像数据生成组件用于从表示在第二时间点从固态电子图像感测设备输出的多个图像的图像数据来生成表示平面图像的平面图像数据；以及记录控制组件(记录控制设备)，该记录控制组件用于将由视差信息计算组件生成的视差信息和由平面图像数据生成组件生成的平面图像数据记录在记录介质上。

本发明还提供适合于上述立体成像装置的立体成像方法。具体地，该方法包括：固态电子图像感测设备通过光瞳分割输出表示不同视点的多个图像的图像数据；被提供在固态电子图像感测设备的光感受器表面的前面的光圈调节冲击在固态电子图像感测设备的光感受器表面上的光束的光量；光圈控制单元在第一时间点控制光圈从而获得开放量，以该开放量，在从固态电子图像感测设备输出的图像数据所表示的多个图像中产生视差，以及在第二时间点控制光圈从而获得小于在第一时间点占主导的开放量的开放量，以该开放量，通过的光量减小；视差信息计算组件使用表示在第一时间点从固态电子图像感测设备输出的多个图像的图像数据来计算多个图像的视差信息；平面图像数据生成组件从表示在第二时间点从固态电子图像感测设备输出的多个图像的图像数据来生成表示平面图像的平面图像数据；以及记录控制组件将由视差信息计算组件生成的视差信息和由平面图像数据生成组件生成的平面图像数据记录在记录介质上。

根据本发明，固态电子图像感测设备通过光瞳分割输出表示不同视点的多个图像的图像数据。在第一时间点，光圈受到控制从而获得其开放量，以该开放量，在从固态电子图像感测设备输出的图像数据所表示的多个图像中产生视差。使用表示在第一时间点从固态电子图像感测设备输出的多个图像的图像数据来计算多个图像的视差信息。在第二时间点，光圈受到控制从而获得小于在第一时间点占主导的开放量的开放量，以该开放量，通过的光量减少。从表示在第二时间点从固态电子图像感测设备输出的多个图像的图像数据生成表示平面图像的平面图像数据。将计算的视差信息和生成的平面图像数据记录在记录介质上。

当使得光圈的开放量大从而增加通过的光量时，在固态电子图像感测设备中获得的图像数据所表示的多个图像之间产生视差量。相反地，当使得光圈的开放量小从而减少从中通过的光量时，在固态电子图像感测设备中获得的图像数据所表示的多个图像之间的视差量减小。由于以产生视差量的方式在第一时间点控制光圈，所以能够计算在第一时间点在从固态电子图像感测设备获得的图像数据所表示的多个图像之间的视差量。由于以从中通过的光量小于在第一时间点的光量的方式在第二时间点控制光圈，所以获得大致无视差的多个图像。由于平面图像是从大致无视差的多个图像生成的，所以生成的平面图像的分辨率增加。当能够被立体地观看的立体图像从高分辨率平面图像和计算的视差信息生成时，获得高分辨率立体图像。

该装置可以进一步包括用于生成表示能够被立体地观看的立体图像的立体图像数据的立体图像数据生成组件(立体图像数据生成设备)，用于从由平面图像数据生成组件生成的平面图像数据和由视差信息生成组件计算的视差信息来生成立体图像数据。在这种情况下，举例来说，记录控制组件将由立体图像数据生成组件生成的立体图像数据而不是平面图像数据和视差信息记录在记录介质上，或者除平面图像数据和视差信息之外，还将由立体图像数据生成组件生成的立体图像数据记录在记录介质上。

立体图像数据生成组件可以具有距离信息计算组件(距离信息计算设备)，该距离信息计算组件用于根据由视差信息计算组件计算的视差信息来计算关于在平面图像数据生成组件中生成的平面图像数据所表示的平面图像的距离信息，该距离信息表示从立体成像装置到平面图像中所包含的被摄体的距离。举例来说，在这种情况下，从由距离信息计算组件计算的距离信息和由平面图像数据生成组件生成的平面图像数据能够生成立体图像数据。

立体图像数据生成组件可以具有距离信息校正组件(距离信息校正设备)，用于校正由距离信息计算组件计算的关于平面图像的距离信息。举例来说，在这种情况下，从由距离信息校正组件校正的距离信息和由平面图像数据生成组件生成的平面图像数据能够生成立体图像数据。

立体图像数据生成组件可以具有散焦处理组件(散焦处理设备)，用于对在由平面图像数据生成组件生成的平面图像中表示与焦点对准的被摄体部分隔开预定距离的被摄体部分的区域散焦。举例来说，在这种情况下，从表示已经由散焦处理组件散焦的平面图像的平面图像数据和由距离信息计算组件计算的距离信息来生成立体图像数据。

散焦处理设备例如可以执行关于平面图像中的用户指定区域的散焦处理。

举例来说，第二时间点是由用户输入平面图像成像命令的时间点，并且第一时间点是在第二时间点之前或之后的时间点。

光圈控制单元可以控制光圈的开放量，使得在第二时间点从固态电子图像感测设备输出的图像数据所表示的多个图像之间不产生视差。

附图说明

图1示出图像传感器的光感受器表面；

图2示出光冲击在光电变换器上的方式；

图3a和3b示出光冲击在光电变换器上的方式；

图4a示出表示左视点图像的光电变换器，并且图4b示出表示右视点图像的光电变换器；

图5示出光冲击在光电变换器上的方式；

图6是示出立体成像装置的电配置的框图；

图7和图8是示出由立体成像装置执行的处理的流程图；

图9a示出左视点图像，并且图9b示出右视点图像；

图10示出视差图；

图11a示出图像传感器的光感受器表面，图11b示出表示左视点图像的光电变换器，并且图11c示出右视点图像；

图12是示出距离图创建处理的流程图；

图13是示出散焦处理的流程图；并且

图14示出根据现有技术通过光瞳分割获得多个图像的方式。

具体实施方式

首先，将描述本发明的实施例的原理。

图1示出在根据该实施例的立体成像装置中利用的图像传感器13的光感受器表面的一部分。

光感受器表面被提供有在列和行方向上的多个光电变换器31和32。附图标记31已经被分配给奇数行的光电变换器，并且附图标记32已经被分配给偶数行的光电变换器。奇数行的光电变换器31和偶数行的光电变换器32由1/2光电变换器31或32沿着列方向交错。形成在光电变换器31或32的光感受器表面的开口处的是透射红光分量的红色滤光器(由附图标记R指示)、透射绿光分量的绿色滤光器(由附图标记G指示)、或透射蓝光分量的蓝色滤光器(由附图标记B指示)。绿色滤光器G和红色滤光器R沿着列方向交替地形成在第(4n+1)(其中n是0或正整数)行的光电变换器31的光感受器表面上和在第(4n+2)行的光电变换器32的光感受器表面上。蓝色滤光器B和绿色滤光器G沿着列方向交替地形成在第(4n+3)行的光电变换器31的光感受器表面上和在第(4n+4)行的光电变换器32的光感受器表面上。

光电变换器31和32的光感受器表面近似被对半划分成左右部分。奇数行的光电变换器31的光感受器表面的右侧被遮光，并且左侧被打开从而能够接收光。相反地，偶数行的光电变换器32的光感受器表面的左侧被遮光，并且右侧被打开从而能够接收光。在该实施例中，为了便于理解，形成在如上所述的开口处的绿色滤光器G由黑色填充33指示，红色滤光器R由条纹图案34指示，并且蓝色滤光器B由轮廓35指示。

图2示出从奇数行的光电变换器31提取的一个光电变换器和从偶数行的光电变换器32提取的一个光电变换器，并且示出表示被摄体的图像的光线冲击在这些光电变换器31和32上的方式。与图2相比，图3a以放大的形式示出光电变换器31的附近，并且与图2相比，图3b以放大的形式示出光电变换器32的附近。

来自被摄体的右侧的光线L1和来自被摄体的左侧的光线L2两者都经过成像透镜11和光圈12。显微透镜41放置在光电变换器31和32中的每一个的光感受器表面的前面。

参照图3a，遮蔽构件31C被提供在奇数行的光电变换器31的光感受器表面31B的右侧上，如上所述。结果，光感受器表面31B的左侧是左开口33(34、35)。来自被摄体的左侧的光线L2冲击在光电变换器31上。

参照图3b，遮蔽构件32C被提供在偶数行的光电变换器32的光感受器表面32B的左侧上，如上所述。光感受器表面32B的右侧是右开口33(34、35)。来自被摄体的右侧的光线L1冲击在光电变换器32上。

图4a示出从图像传感器13提取的奇数行的光电变换器31，并且图4b示出从图像传感器13提取的偶数行的光电变换器32。

参照图4a，奇数行的光电变换器31使得各光感受器表面的右侧被遮蔽而左侧是左开口，如上所述。相对于显微透镜41的光轴中心L0偏移预定量δ的位置，光感受器表面的一部分由上述遮蔽构件32C遮蔽。(虽然δ可能恰好等于0或为负，但到光感受器表面的光线被遮蔽是必须的。)来自被摄体的已经经过成像透镜11的出射光瞳的光线经过开口33(34、35)。从奇数行的光电变换器31获得的图像数据表示来自左眼视点的被摄体的图像。

参照图4b，偶数行的光电变换器32使得各光感受器表面的左侧被遮蔽而右侧是右开口，如上所述。从偶数行的光电变换器32获得的图像数据表示来自右眼视点的被摄体的图像。

通过光瞳分割由此获得表示来自左眼视点的被摄体的图像的图像数据和表示来自右眼视点的被摄体的图像的图像数据。

对应于图2的图5示出表示被摄体的图像的光线冲击在光电变换器31和32上的方式。

与图2所示的光圈12的开放量相比，在图5中，光圈12的开放量减小，使得通过的光量减少。

当光圈12的开放量变小时，冲击在奇数行的光电变换器31上的光量和冲击在偶数行的光电变换器32上的光量均变小。当这发生时，左眼视点的图像和右眼视点的图像之间的视差变小，并且获得大致无视差的两个图像。通过使用这两个图像创建一个平面图像获得了高分辨率平面图像。

例如，通过在将光圈12放小至最小孔径F11之后拍摄来获得大致无视差的两个图像。然而，严格来说，即使最大限度地放小光圈12，在两个图像之间仍会出现少量视差。然而，即使用这两个图像来创建平面图像，视差也会太小而使得不会出现破绽(breakdown)。

当从两个图像来创建单个平面图像时，即，当光圈12的开放量很大时获得的左视点图像和右视点图像，图像归因于大量的视差而有破绽，但是当从两个大致无视差的图像创建单个平面图像时，获得无破绽的高分辨率平面图像。

在该实施例中，通过使光圈12的开放量小，从两个图像获得高分辨率平面图像，并且通过使光圈12的开放量大，获得具有视差的左视点图像和右视点图像。更具体地，如将在稍后描述的，从具有视差的左视点图像和右视点图像创建视差图。视差图表示在构成该左视点图像的像素与构成该右视点图像的像素的对应像素之间的视差量。从所创建的视差图和高分辨率平面图像获得高分辨率立体图像。

虽然上述图像传感器13是单个图像传感器13，但是它也可以就是由具有图4a中所示的结构的图像传感器和具有图4b所示的结构的图像传感器构成的多个图像传感器。在多个图像传感器的情况下，如果图像传感器的对角长度是相同的，则能够使用具有更大数量像素的图像传感器，并且在如图4a和图4b中所示的通用拜耳阵列中，能够使用具有滤光器的图像传感器。在这种情况下，虽然光学系统需要如图14中所示的镜等，但是获得了与常规立体成像装置的分辨率相比具有更高分辨率的立体图像。

图6是示出立体成像装置1的电配置的框图。

立体成像装置1将表示通过成像所表达的图像的图像数据记录在存储器卡27上或在包括内部存储器的存储器25中。立体成像装置的整体操作受到CPU(中央处理单元)10的控制。此外，关于每个单元提供辅助控制装置，并且由这些辅助控制装置减轻CPU10上的负载。例如，图像传感器控制设备6控制图像传感器13。然而，CPU10执行整体控制而无需辅助控制装置的布置是可能的。此外，当存储器卡27包括存储器卡控制设备26的情况下，很可能存储器卡控制设备26本身将不独立存在。因此，能够适当地修改图6的布置。

立体成像装置1被提供有包括释放开关、拍摄/回放转换开关和拍摄模式改变转盘等的操作控制单元7。释放开关是用于输入拍摄开始命令的操作开关，是具有半按时接通的S1开关和全按时接通的S2开关和二阶行程类型。拍摄/回放转换开关是用于在拍摄操作与回放操作之间切换的开关，其使得显示单元20显示通过拍摄操作记录的立体图像(3D图像)或平面图像(2D图像)的静态图像或活动图像。拍摄模式改变转盘是为拍摄立体图像或平面图像的静态图像和活动图像选择各种拍摄模式的转盘。操作控制单元7包括用于向立体成像装置1输入各种指令的其它开关。举例来说，这些开关和转盘等不仅由机械开关实施而且还被实施为显示单元20的显示屏幕上的触控面板。

从操作控制单元7输出的操作信号被输入到CPU10，并且CPU10基于操作信号控制立体成像装置1的各种部分。控制程序已经被记录在存储器25中。此外，对于CPU10执行的控制所必要的各种数据、关于图像传感器13的各种信息和与立体成像装置1的操作有关的参数等已经被存储在存储器25中。存储器25不必由简单的存储器构成，而且必要时能够被实施为DRAM(动态随机访问存储器)、闪存存储器、VRAM(视频随机访问存储器)等。

成像透镜11和光圈12被提供在图像传感器13的光感受器表面的前面。光圈12具有改变光量和限制光束L的宽度的作用。光圈12包括不同光圈系统的多个光圈叶片或一组光圈孔，光圈12受到光圈控制单元4的控制。例如，光圈12从F2.8至F11的F-光圈(F值)以1AV的增量以五个级别受到控制。成像透镜11通过透镜控制单元2经受对焦控制和缩放控制等。

来自被摄体的光L在经过成像透镜11和光圈12之后在上述图像传感器13的光感受器表面上形成图像。虽然CMOS图像传感器或CCD图像传感器等充当图像传感器13，但是，图像传感器13并不限于这些形式的图像传感器。图像传感器控制设备6控制图像传感器13的驱动和读出。

当设置拍摄模式时，由图像传感器13对被摄体成像。图像传感器13输出表示被摄体的图像的视频信号。根据该实施例的图像传感器13能够捕捉具有不同视点的两个被摄体图像。表示两个被摄体图像的视频信号受到预定的模拟信号处理，诸如在模拟信号处理单元14(虽然该处理单元不是必需的，取决于图像传感器的类型)中的放大。如果图像传感器13是CCD，则也执行模拟信号处理，诸如相关双采样。在图像传感器13是CMOS图像传感器的情况下，通常，符合CMOS图像传感器的用于模拟信号处理的电路和AD转换单元15被合并在图像传感器13内。已经从模拟信号处理单元14输出的视频信号在AD(模拟/数字)转换单元15中被转换成数字图像。

从转换获得的数字图像数据被输入到AF控制单元3。在AF控制单元3中，从图像数据提取在预定的聚焦区域(屏幕的中心区域等)内的图像数据的高频分量，并且将提取的高频分量积分，据此计算指示焦点对准状态的AF评估值。通过由透镜控制单元2控制成像透镜11内的对焦透镜来执行AF控制(对比度自动对焦处理)，从而最大化AF评估值。在使用表示具有不同视点的两个被摄体图像的图像数据执行相差自动对焦处理的情况下，基于下述信息来获得散焦量，该信息指示表示来自一个视点的被摄体图像的图像数据的积分值的图形与表示来自另一个视点的被摄体图像的图像数据的积分值的图形之间的相差。成像透镜11的聚焦位置受到控制使得散焦量变成零。通过转换获得的数字图像数据也被输入到AE控制单元5。在AE控制单元5中判定图像传感器13的快门速度(所谓的“电子快门速度”)。在需要辅助光的情况下，可以提供受到辅助光控制单元控制的辅助闪光单元等，或外部辅助光设备可以受到CPU10和AE控制单元5的控制。

数字图像数据经总线29输入至显示控制单元21。通过在显示控制单元21中控制显示单元20，捕捉的被摄体的图像被显示在显示单元20的显示屏幕上。能够被利用的显示单元20是能够通过使用视差屏障将立体图像显示为具有相应的规定的方向性的方向性图像的显示单元，或是能够使用柱状透镜显示立体图像的显示单元。平面图像能够被显示在显示屏幕上，并且立体图像能够被良好显示，如稍后将描述的。

当释放开关被半按时(例如，在第一时间点)，光圈12打开。如上所提及的，获得表示具有视差和不同视点的两个被摄体图像的图像数据。这些图像数据项被输入到数字信号处理单元19并且经受预定数字信号处理，诸如各种校正处理、诸如白平衡调整的放大处理、以及伽马校正处理。从数字信号处理单元19输出的图像数据被输入至视差信息计算单元22。更具体地，如稍后将描述的，视差信息计算单元22计算构成具有不同视点的两个被摄体图像的像素的逐像素视差。表示计算的视差的信息被输入至创建视差图的视差图创建单元23。

当全按释放开关时(例如，在第二时间点)，光圈12被放小至小孔径，在该小孔径下，透射光的数量下降。获得表示大致无视差(视点近似相等)的两个被摄体图像的图像数据。这些图像数据项在数字信号处理单元19中经受预定的数字信号处理并且还被输入至平面图像创建单元16。在平面图像创建单元16中，从表示两个被摄体图像的图像数据来创建表示平面图像的图像数据，该平面图像表示被摄体图像中的一个。

表示在视差图创建单元23中创建的视差图的数据项和表示在平面图像创建单元16中创建的平面图像的图像数据被输入至立体图像创建单元17，这继续创建表示立体图像的图像数据。(这是作为将视差图添加到平面图像数据的结果的图像数据；从平面图像数据和视差图创建立体图像。)在压缩/扩展单元28中压缩表示所创建的立体图像的图像数据。(例如，基于JPEG标准压缩平面图像数据。)在存储器卡控制设备26的控制下，表示立体图像的压缩的图像数据被记录在存储器卡27上。所记录的图像数据不必被压缩；尚未被压缩的RAW图像数据也可以被记录在存储器卡27上。

根据该实施例的立体成像装置包括距离信息计算单元24和散焦处理单元18。由距离信息计算单元24从在视差图创建单元23中创建的视差图来计算距离信息。认为视差是零的部分表示在成像透镜11的焦点对准位置处被摄体的图像。原因是，通过光瞳分割获得的两个图像内的焦点对准部分在图像传感器13上的相同的位置处形成图像，或换言之，上述焦点对准部分是在具有不同视点的两个图像中一致的点。类似地，由于表示与焦点对准位置相比更接近立体成像装置1的被摄体的图像的部分具有远离图像传感器13的位置的一致点，这些部分分离并且伴随有散焦，结果是，获得具有左右分离的模糊图像。类似地，由于与焦点对准位置相比更远离装置的图像部分具有在图像传感器13的位置前方一致的点，所以这些部分分离并且伴随有散焦，并且获得分离的模糊图像通过，且相对于比焦点对准位置更接近立体成像装置1的图像具有反转的左右位置。因此，通过检测来自具有不同视点的多个图像的对应点，能够查明在图像中的对应点的位置处的部分与焦点对准位置相比是否更接近立体成像装置1，即，在焦点对准位置前方，或在焦点对准位置处，或远散焦点对准位置。换言之，能够获得相对距离信息。此外，如果从透镜控制单元2获得关于焦点对准位置的距离信息并且从光圈控制单元4获得关于光圈12的信息作为这些信息项，则还能够获得绝对位置信息。在距离信息计算单元24中计算这样的距离信息。此外，在散焦处理单元18中执行通过成像获得的图像的散焦处理。将在稍后详细地描述这些处理步骤。

左右视点图像数据和平面图像被输入至立体图像创建单元17，该立体图像创建单元17检测在左右视点图像数据和平面图像数据中的两个图像之间的对应点，并且将已经与左右视点图像数据相关联的视差信息或距离信息与平面图像数据相关联。由于已经使用左右视点图像数据执行了对应点检测，所以从平面图像数据检测已经检测到的对应点是有效的。在左视点图像数据与平面图像数据之间以及在右视点图像数据与平面图像数据之间执行对应点检测。在视点图像数据和平面图像数据的相应项之间执行该检测的理由是，平面图像数据还具有仅与左眼或右眼的视点图像数据相对应的对应点。然而，根据在左右视点图像数据与平面图像数据之间的三个图像数据项同时执行公共对应点的检测是可能的。此外，通过提供对应点检测单元(未示出)，能够同时分别单独执行对应点检测，或CPU10能够执行对应点检测处理。

当设置回放模式时，已经被记录在存储器卡27上的图像数据被读出并且被施加到显示单元20。通过将立体图像数据施加至显示单元20，使立体图像显示在显示单元20的显示屏幕上。自然地，通过将平面图像数据施加于显示单元20，使平面图像显示在显示单元20的显示屏幕上。

在上述实施例中，所创建的立体图像还能够被称为具有距离(深度)信息的平面图像。应注意的是，如上文提及的，由于左右视点图像数据和平面图像数据是不同量的数据，所以期望统一数据量(像素的数量)以便以较高的速度执行对应点检测。此外，如果对应于左右视点图像数据的视差图或距离图已经由视差图创建单元23创建，则能够使左右视点图像数据与平面图像数据之间的对应点一致，能够创建对应于平面图像数据的视差图或距离图，并且这能够被采用作为立体图像数据。

由于立体图像数据是其中已经使得距离或视差数据或距离图或视差图(在下文中被称为“补充的视差信息”)对应于平面图像数据的数据，所以它基本上是平面图像数据。由于光圈12被假设放小至例如最小孔径，所以平面图像数据是接近所谓的“全焦点图像”的图像，“全焦点图像”是指从已经使成像透镜11的焦点与其符合的被摄体前面到后面的点是焦点对准的。为了实现更加自然的立体图像数据，使用散焦处理单元18执行散焦处理。为了通过对具有大量视差或远散焦点位置的被摄体散焦而获得自然的立体图像数据，散焦处理单元18基于补充的视差信息判定散焦量，使得视差量越大或距焦点位置的距离越大，使图像数据散焦更多，并且对平面图像数据施加散焦处理。散焦处理单元18可以从图像判定散焦量，或它可以被布置成使得用户能够输入最大散焦量或相当于散焦量的F-光圈(F值)。能够使散焦量反映用户的偏好。

立体图像数据是其中距离信息(视差图)已经被添加到当大致从前面观看被摄体时获得的平面图像的数据。因此，取决于如何将视差施加到显示控制单元，可能出现闭塞的区域。这是其中不再能够看到远物体的区域，因为远物体被近物体遮挡。为了排除这点，下列方法是可用的：

如上所提及的，在对应点处平面图像数据对应于左右视点图像数据中的一个或两个。这意味着，其中存在图像数据的区域能够被显示控制单元21插入在左眼视差图像数据或右眼视差图像数据中，尽管其不存在于平面图像数据中。结果，能够防止立体图像数据的遗漏。此外，在散焦处理单元18被用来对立体图像数据内的平面图像数据施加散焦处理的情况下，散焦处理还延伸到闭塞区域，例如，对于焦点对准位置距离和对于在其两侧上每个规定的距离范围，创建散焦数据，能够使用散焦图像数据关于闭塞区域执行插值。结果，能够显示更加自然的立体图像。

如上文提及的，将被记录在存储器卡27等上的立体图像数据可以是包括平面图像、视差或距离信息、或视差图或距离信息图的图像数据，或立体图像数据可以是由显示控制单元21创建的显示图像数据(例如，具有左右视差的两个视差图像的数据)。如果这是在信号处理等中使用的数据，则包括平面图像、视差或距离信息、或视差图或距离信息图的图像数据是适当的。如果仅仅在显示应用中使用数据，则视差图像数据是适当的。此外，可以一起记录两个类型的图像数据。可以以能够具有多个图像或数据项的图像格式(例如，多图片格式)来记录所记录的图像数据，或可以以一般的图像格式来记录所记录的图像数据。

图7和图8是示出由立体成像装置1执行的处理的流程图。

响应于被设置成“立体拍摄”的拍摄模式或录入的拍摄命令，该处理开始。

在响应于开始拍摄的命令执行拍摄期间，CPU10确定是否首先执行左右视点图像的拍摄或首先执行平面图像的拍摄(步骤41)。首先执行哪一种拍摄由用户事先设置并且被记录在存储器25中。如果确定首先执行左右视点图像的拍摄(步骤41，“是”)，则在第一时间点(如上文提及的，该第一时间点可以是半按释放开关的时间点，但是不必是半按释放开关的时间点)，CPU10判定用于拍摄左右视点图像的孔径，即，最佳的f-光圈值，以便获得左右视点的视差(孔径开口量将大的f-光圈值，如图2中所示)，并且控制光圈12从而获得判定的f-光圈值(步骤42)。执行诸如AE控制和AF控制的控制，并且执行拍摄(在第一时间点的拍摄)。CPU10控制图像传感器控制设备6并且从图像传感器13读取左视点和右视点的视频信号。从这些左右视点视频信号创建左右视点图像数据(步骤43)。

接着，在第二时间点，(如上文提及的，该第二时间点可以是全按释放开关的时间点，但是不必是全按释放开关的时间点)，CPU10判定用于拍摄平面图像的孔径，即，最佳的f-光圈值，以便最大限度地减少视差(孔径开口量小的f-光圈值，如图5中所示)，并且控制光圈12从而获得判定的f-光圈值(步骤44)。执行诸如AE控制和AF控制的控制，并且执行拍摄(在第二时间点的拍摄)(步骤44)。CPU10控制图像传感器控制设备6并且从图像传感器13读取平面图像的视频信号。通过控制数字信号处理单元19等，从用于平面图像的视频信号创建平面图像数据(步骤45)。

在尚未判定执行左右视点图像拍摄的情况下(在步骤41处，“否”)，则，在第一时间点，CPU10判定用于拍摄平面图像的f-光圈值，并且设置光圈12使得获得判定的f-光圈值(步骤47)。在已经执行诸如AE控制和AF控制的控制之后，执行拍摄(在第一时间点的拍摄)。CPU10控制图像传感器控制设备6，从图像传感器13中读取用于平面图像的视频信号，并且控制数字信号处理单元19等从而创建平面图像数据(步骤48)。

接着，在第二时间点，CPU10判定用于拍摄左右视点图像的f-光圈值，并且控制光圈12从而获得判定的f-光圈值(步骤49)。CPU10控制图像传感器控制设备6，从图像传感器13读取左右视点的视频信号并且创建左右视点图像数据(步骤50)。

然后，从左右视点图像数据项中的每一个来计算视差信息(步骤46)。

图9a示出由左视点图像数据表示的左视点图像61的示例，并且图9b示出由右视点图像数据表示的右视点图像62的示例。

如上所提及的，从右视点图像62内检测对应点，对应点是与构成左视点图像61的像素中的相应的像素相对应的像素。在右视点图像62中图示的对应点被示出为在数量上少，以便于理解，然而，不言而喻，检测到更多的对应点。在构成左视点图像61的像素中的每一个与从右视点图像62检测到的它们的对应点之间的视差量被检测为视差信息，并且创建视差图(图8中的步骤51)。

图10是创建的视差图63的示例。

视差图63包括零视差的区域63A(由交叉阴影线指示)、小视差的区域63B(由阴影指示)和中等视差的区域63C(无阴影)。为了便于理解，视差图63已经被划分成不同视差量的三个区域，但是，不言而喻，逐像素计算视差信息。因此，实际上，视差信息的连续性以二维方式表达为视差图。关于在未检测到对应点的情况下的点，根据已经与附近的对应点相关联的视差信息，通过插值来创建对应于平面图像数据的视差图。

当创建视差图时，从已经与平面图像数据相关联的视差图和关于成像透镜11的焦点对准位置的焦点信息来创建距离图(图8中的步骤52)。例如，如图10中所示，创建距离图，其中，区域63A是短距离中的一个，区域63B是中等距离中的一个，并且区域63C是长距离中的一个。不言而喻，此外，关于距离图，已经与形成平面图像的像素相关联地计算了距离。

接着，从平面图像数据和距离图创建表示立体图像的立体图像数据(图8中的步骤53)。在从视差图创建距离图之后，使用距离图创建立体图像。然而，即使没有创建距离图，也能够使用视差图来创建立体图像。对此的理由是，虽然视差信息(视差图)由相对于焦点对准位置的相对值构成，但是距离信息(距离图)仅仅是差，即，绝对值。例如，为了获得立体图像，创建具有左右视差的两个图像，并且通过控制显示控制单元21和使用显示单元20，能够显示这两个图像。

在除了立体图像数据之外还存在将被记录的信息(例如，视差信息)的情况下(在步骤54处，“是”)，除立体图像数据之外还选择将被记录的信息(步骤55)。选择的信息的内容可以由用户事先选择并且被记录在存储器25中，或可以在记录时被选择。选择的信息连同立体图像数据被记录在存储器25的数据记录区域中一起，或通过存储器卡控制设备26被记录在存储器卡27上(步骤56)。如果确定除立体图像数据之外不存在将被记录的信息(在步骤54处，“否”)，则将立体图像数据记录在存储器卡27等上，而没有其他信息被记录(步骤57)。其它信息(仅平面图像和视差信息等)能够被记录，而不记录立体图像数据。

前述内容是拍摄立体静止图片的实施例，但是应用于立体运动图片也是可能的。在这种情况下，变得需要在用于左右视点图像的光圈与用于平面图像的光圈之间高速切换。然而，通过使用诸如采用PLZT的光圈而非机械光圈的光圈的实施方式是可能的。

图11a、图11b和图11c示出变型。图11a对应于图1，示出图像传感器90的光感受器表面，图11b对应于图4a，示出表示左视点图像的光电变换器，并且图11c对应于图4b，示出表示右视点图像的光电变换器。

参照图11a，多个光电变换器91被沿着列和行方向布置在图像传感器90上。在该变型中，第(4n+1)行和第(4n+2)行的光电变换器91的光感受器区域的右侧遮蔽光，并且光感受器区域的左侧保留开口。第(4n+3)行和第(4n+4)行的光电变换器91的光感受器区域的左侧遮蔽光，并且光感受器区域的右侧保留开口。形成在光电变换器91的开口处的是具有透射红光分量的特性的红色滤光器R、具有透射绿光分量的特性的绿色滤光器G、或具有透射蓝光分量的特性的蓝色滤光器B。如在上述实施例中，绿色滤光器G由黑色填充94指示，红色滤光器R由条纹图案95指示，并且蓝色滤光器B由轮廓96指示。该滤光器阵列被称为所谓的“拜耳阵列”。

第(4n+1)行和第(4n+2)行的光电变换器91的光感受器区域的右侧遮蔽光。因此，如图11b中所示，当提取第(4n+1)行和(4n+2)行的光电变换器91时，基于提取的光电变换器91而获得的图像表示左视点图像。

第(4n+3)行和第(4n+4)行的光电变换器91的光感受器区域的左侧遮蔽光。因此，如图11c中所示，当提取第(4n+3)行和(4n+4)行的光电变换器91时，基于提取的光电变换器91而获得的图像表示右视点图像。

可以进行排列以利用两个图像传感器，即，具有图11b中所示的结构的图像传感器和具有图11c中所示的结构的图像传感器。

在前述实施例中，通过遮蔽光电变换器91中的每一个的左侧或右侧获得被摄体的左视点图像和被摄体的右视点图像。然而，通过将图像传感器90布置成遮蔽或打开光电变换器91的光感受器表面，使得左侧1/4、左侧1/4至1/2、左侧1/2至3/4和右侧1/4被遮蔽或打开，来获得表示具有不同视点的四个图像的图像数据。可以以类似的形式进一步增加视点的数量。

在前述实施例中，显示透镜41的光轴与光感受器区域的中心一致，但是两者不必一致。即使显微透镜41的光轴从光感受器区域的中心偏移，冲击在光感受器区域上的光也仅需要被限制。此外，可以使用的排列是这样的排列，在该排列中，通过为两个或四个相邻的光电变换器提供单个显微透镜41，冲击在各光电变换器上的光是有限的。在这种情况下，优点是，除了显微透镜41以外，能够使用普通的图像传感器，并且在改变制造过程中的显微透镜步骤之后，能够创建图像传感器。此外，可以通过镜使光束经历光瞳分割，如图14中所例示的。在这种情况下，不必将它布置成使得光电变换器的左侧或右侧被遮蔽。在前述实施例中，应用于所有的立体成像装置是可能的，其中通过光瞳分割能够获得具有多个不同视点的被摄体像。

示出变型的图12是示出距离图创建处理(图8中步骤52的处理过程)的流程图。

在前述实施例中，由立体成像装置1创建的立体图像数据由平面图像数据和距离图构成。由于视差信息特定于成像装置，所以从视差计算的距离是在拍摄时在立体成像装置与被摄体之间的距离。在相当远的被摄体作为主被摄体被拍摄的情况下，将存在下述情形，在主被摄体与背景之间的距离上的差异小，并且由所创建的立体图像数据显示的立体图像的立体效果是不充分的。在该变型中，距离强调处理(距离校正处理)是可能的。在主被摄体与背景之间的距离上的差异小并且不包括另一个被摄体的情况下，立体图像的立体效果将是不充分的，如上所述。因此，优选的是，参照距离图并且执行处理以便强调在整体立体视觉中包含的距离上的差异(距离差异)。此外，在背景与主被摄体之间的距离短的情况下，优选的是，执行处理以便仅放大背景的距离(通过在距离上更远地移动)。此外，在期望强调在立体图像内的特定距离处的被摄体的立体效果的情况下，可以响应于由用户做出的指定来执行强调。通过组合距离上的差异的强调和距离的强调来执行距离强调。

确定是否已经做出关于距离强调处理的用户指定(步骤101)。如果存在由用户做出的指定(在步骤101处，“是”)，则确定用户是否已经做出强调距离范围的指定(步骤102)。如果用户已经指定强调距离范围(在步骤102处，“是”)，则在指定的距离范围内的距离信息被指定为强调距离区域(步骤103)。接着，确定是否已经指定距离强调的程度(步骤104)。如果已经指定了距离强调的程度(在步骤104处，“是”)，则以指定的强调程度来强调指定的距离范围，并且再次创建距离图(步骤106)。

如果不存在强调程度的用户指定(在步骤102处，“否”)，则通过参照距离图来判定强调距离范围和强调程度。例如，将从距离图计算的距离分布与标准立体图像数据的距离分布相比较，并且判定强调距离和强调程度。由判定的强调程度来强调判定的距离范围，并且再次创建距离图(步骤106)。

如果不存在强调程度的指定(在步骤104处，“否”)，则将从距离图和整体距离分布计算的强调距离范围与标准立体图像数据的距离分布相比较，并且判定强调程度。再次创建距离图，对于该距离图，已经通过判定的强调程度来强调指定的强调距离范围(步骤107)。

如果不存在由用户做出的指定(步骤101处，“否”)，则通过参照距离图来判定强调距离范围(步骤108)。由判定的强调程度l来强调判定的距离范围，并且再次创建距离图(步骤109)。由此重新创建的距离图和平面图像数据作为立体图像数据被记录在存储器卡27等上。自然地，左视点图像数据和右视点图像数据可以从重新创建的距离图和平面图像数据来被创建，并且所创建的左视点图像数据和右视点图像数据可以作为立体图像数据被记录在存储器卡27上。

示出另一个变型的图13是示出散焦处理的流程图。

在前述实施例中，由立体成像装置创建的立体图像数据是基于平面图像数据和距离图。因为当执行拍摄时光圈12被放小以便获取平面图像数据，所以由立体图像数据表示的立体图像接近所谓的“全焦点图像”并且成为从浅到深的点处于焦点对准的图像的图像数据。另一方面，当人立体地观看被摄体时，“模糊”是重要因素，并且归因于不同于已经对焦的被摄体的被摄体的模糊，而察觉到立体效果。此外，因为当由该实施例的立体成像装置1捕获左右视差图像时，在打开光圈12之后执行拍摄，所以由左右视点图像数据表示的左右视点图像使得具有大量视差的被摄体(远散焦点对准距离的被摄体)是模糊的。因为能够由该实施例的立体成像装置获取的立体图像数据所表示的立体图像接近全焦点图像，如上文提及的，所以通过以由左右视点图像数据表示的左右视点图像的方式对远散焦点对准位置的被摄体的图像施加散焦处理，来获得自然的立体图像。

图13所示的处理在图8中的步骤52与步骤53之间被执行。

首先，确定是否已经做出关于散焦处理的用户指定(步骤131)。如果存在由用户做出的指定(在步骤131处，“是”)，则确定用户是否已经做出散焦距离范围的指定(步骤132)。如果用户已经指定散焦距离范围(在步骤132处，“是”)，则对应于距离图的指定的散焦距离范围的平面图像数据的区域被指定为散焦区域(步骤133)。如果不存散焦距离范围的用户指定(在步骤132处，“否”)，则通过参照距离图来判定散焦距离区域和强调程度(步骤134)。例如，必须参照距离图，并且执行处理，诸如用于在散焦区域设定远散焦点对准的主被摄体固定距离的被摄体。

接着，确定是否已经指定散焦参数(步骤135)。如果已经指定了散焦参数(在步骤135处，“是”)，则使用指定的散焦参数使立体图像的指定的散焦距离范围经历散焦处理(步骤136)。如果尚未指定散焦参数(在步骤135处，“否”)，则通过参照指定的或判定的散焦区域的距离图来判定散焦参数(步骤137)。例如，散焦参数被判定为使得它成为散焦的强度与距离的函数成比例的散焦参数。使用指定的散焦参数使立体图像数据的指定的散焦距离范围经受散焦处理。

如果不存在由用户做出的指定(步骤131处，“否”)，则通过参照距离图来判定散焦距离范围和散焦参数(步骤138)。使用判定的散焦参数使判定的散焦距离范围经受散焦处理(步骤139)。

由此经受散焦处理的平面图像数据和距离图作为立体图像数据被记录在存储器卡27上。自然地，可以被布置成使得从散焦平面图像数据和距离图创建左视点图像数据和右视点图像数据，以及将所创建的左视点图像数据和右视点图像数据记录在存储器卡27上。

Claims (10)

1.一种立体成像装置，包括：

固态电子图像感测设备，所述固态电子图像感测设备用于通过光瞳分割来输出图像数据，所述图像数据表示不同视点的多个图像；

光圈，所述光圈被提供在所述固态电子图像感测设备的光感受器表面的前面，用于调节冲击在所述固态电子图像感测设备的所述光感受器表面上的光束的光量；

光圈控制单元，所述光圈控制单元用于在第一时间点控制所述光圈，从而获得使得在所述多个图像中产生视差的开放量，所述多个图像由从所述固态电子图像感测设备输出的所述图像数据来表示，以及所述光圈控制单元用于在第二时间点控制所述光圈，从而获得使得通过的光量减小并且比在所述第一时间点占主导的所述开放量小的开放量；

视差信息计算组件，所述视差信息计算组件用于使用图像数据来计算所述多个图像的视差信息，所述图像数据表示在所述第一时间点从所述固态电子图像感测设备输出的所述多个图像；

平面图像数据生成组件，所述平面图像数据生成组件用于从图像数据来生成表示平面图像的平面图像数据，所述图像数据表示在所述第二时间点从所述固态电子图像感测设备输出的所述多个图像；以及

记录控制组件，所述记录控制组件用于在记录介质上记录由所述视差信息计算组件生成的所述视差信息和由所述平面图像数据生成组件生成的所述平面图像数据。

2.根据权利要求1所述的立体成像装置，进一步包括立体图像数据生成组件，所述立体图像数据生成组件用于从由所述平面图像数据生成组件生成的所述平面图像数据和由所述视差信息生成组件计算的所述视差信息来生成立体图像数据，所述立体图像数据表示能够被立体观看的立体图像；

其中，所述记录控制组件在所述记录介质上记录由所述立体图像数据生成组件生成的所述立体图像数据，而不是所述平面图像数据和所述视差信息，或者，除了所述平面图像数据和所述视差信息之外，还在所述记录介质上记录由所述立体图像数据生成组件生成的所述立体图像数据。

3.根据权利要求2所述的立体成像装置，其中，所述立体图像数据生成组件具有距离信息计算组件，所述距离信息计算组件用于从由所述视差信息计算组件计算的所述视差信息，关于由在所述平面图像数据生成组件中生成的平面图像数据所表示的平面图像，来计算距离信息，所述距离信息表示从所述立体成像装置到所述平面图像中所包含的被摄体的距离；

从由所述距离信息计算组件计算的所述距离信息和由所述平面图像数据生成组件生成的所述平面图像数据，来生成立体图像数据。

4.根据权利要求3所述的立体成像装置，其中，所述立体图像数据生成组件具有距离信息校正组件，所述距离信息校正组件用于校正由所述距离信息计算组件计算的关于所述平面图像的距离信息；

从由所述距离信息校正组件校正的所述距离信息和由所述平面图像数据生成组件生成的所述平面图像数据，来生成立体图像数据。

5.根据权利要求3所述的立体成像装置，其中，所述立体图像数据生成组件具有散焦处理组件，所述散焦处理组件用于对下述区域进行散焦：该区域表示在由所述平面图像数据生成组件生成的所述平面图像中、与焦点对准的被摄体部分隔开了预定距离的被摄体部分；

从表示已经被所述散焦处理组件散焦的所述平面图像的平面图像数据和由所述距离信息计算组件计算的所述距离信息，来生成立体图像数据。

6.根据权利要求5所述的立体成像装置，其中，所述散焦处理组件关于在所述平面图像中的用户指定区域执行散焦处理。

7.根据权利要求1所述的立体成像装置，其中，所述第二时间点是由用户输入平面图像成像命令的时间点；以及

所述第一时间点是在所述第二时间点之前的时间点。

8.根据权利要求1所述的立体成像装置，其中，所述第二时间点是由用户输入平面图像成像命令的时间点；以及

所述第一时间点是在所述第二时间点之后的时间点。

9.根据权利要求1所述的立体成像装置，其中，所述光圈控制单元控制所述光圈的开放量，使得在所述第二时间点从所述固态电子图像感测设备输出的图像数据所表示的所述多个图像之间不产生视差。

10.一种立体成像方法，包括：

固态电子图像感测设备通过光瞳分割，来输出表示不同视点的多个图像的图像数据；

被提供在所述固态电子图像感测设备的光感受器表面的前面的光圈调节冲击在所述固态电子图像感测设备的所述光感受器表面上的光束的光量；

光圈控制单元在第一时间点控制所述光圈，从而获得使得在所述多个图像中产生视差的开放量，所述多个图像由从所述固态电子图像感测设备输出的所述图像数据来表示，以及所述光圈控制单元在第二时间点控制所述光圈，从而获得使得通过的光量减小并且比在所述第一时间点占主导的所述开放量小的开放量；

视差信息计算组件使用图像数据来计算所述多个图像的视差信息，所述图像数据表示在所述第一时间点从所述固态电子图像感测设备输出的所述多个图像；

平面图像数据生成组件从图像数据来生成表示平面图像的平面图像数据，所述图像数据表示在所述第二时间点从所述固态电子图像感测设备输出的所述多个图像；以及

记录控制组件在记录介质上记录由所述视差信息计算组件生成的所述视差信息和由所述平面图像数据生成组件生成的所述平面图像数据。

Images