CN102884802B - 三维成像装置和视点图像恢复方法 - Google Patents

Abstract

公开了一种三维成像装置（10），其输出通过对源自单成像光学系统（12、14）的光通量进行光瞳分割而得到的第一和第二视点图像，所述三维成像装置（10）包括：散焦图计算单元（61），其计算指示第一和第二视点图像中每个位置处的散焦量的散焦图；恢复滤波器存储单元（62），其存储与视点图像中每个位置处的散焦量和图像高度相对应的恢复滤波器，并且起去卷积滤波器的作用，该去卷积滤波器来源于指示所述成像光学系统的图像形成性能的点图像强度分布；以及恢复单元（63），其针对所述第一和第二视点图像中每个位置通过选择与视点图像中每个位置处的所述散焦量和所述图像高度相对应的恢复滤波器，并基于所选择的恢复滤波器通过对所述第一和第二视点图像中的每个位置执行去卷积，来恢复所述第一和第二视点图像。

Description

三维成像装置和视点图像恢复方法

技术领域

本发明涉及单眼成像装置，特别地涉及用于在图像传感器上分别对通过了图像拍摄透镜的不同方向上的两个区域的对象图像进行成像从而获得不同视点图像的技术。

背景技术

通常，在这种单眼三维成像装置中，具有图9所示的光学系统的单眼三维成像装置是已知的（专利文献1）。

该光学系统中，通过主透镜1和中继透镜2的在右方和左方不同的区域的对象图像使用反射镜4经历光瞳分割，并经由成像透镜5和6而在图像传感器7和8上形成图像。

图10中(A)至(C)部分是分别示出取决于前聚焦、聚焦（最佳聚焦）、后聚焦的差别而成像在图像传感器上的图像的分离的示意图。图10中，为了进行取决于聚焦的分离的差别的比较，省略了图9所示的反射镜4。

如图10中(B)部分所示，已经历光瞳分割的图像中的聚焦图像形成于图像传感器上的同一位置上（一致），然而，如图10中(A)和(C)部分所示，在前聚焦和后聚焦图像形成于图像传感器上的不同位置处（分离）。

因此，通过经由图像传感器7和8获取在右和左方向上经历了光瞳分割的对象图像，可以获取根据对象距离的在视点上不同的左视点图像和右视点图像（3D图像）。

提出了这样的一种成像装置，其能够通过使用相位板规则地分散光通量且利用数字处理进行恢复而能够进行深景深等的图像拍摄（非专利文献1）。

在传统的成像光学系统中，光线最密集地集中于最佳聚焦位置，且模糊直径随着最佳聚焦位置的分离而与散焦量近似成比例地变宽。模糊的形状由点扩散函数（PSF）表示（专利文献2）。

已知地，当经由如变焦透镜等的光学系统将目标物体作为对象成像在图像传感器的成像平面上时，由于光学系统的象差影响造成模糊，由该图像传感器拍摄的图像的图像质量相比于原始的目标物体而降低了。该阶段的图像的图像强度分布g由下面的等式表示：

g=f*h+n...(A)

其中*表示卷积积分，且原始目标的亮度分布f与代表光学系统的成像性能的点图像强度分布h的卷积与噪声n相加。当假设g、h和n已知时，原始目标物体的亮度分布f可以通过等式(A)计算。用于通过信号处理通过消除光学系统的模糊来获得理想图像的技术称为图像的“恢复”、“逆卷积”或“去卷积”。考虑到关于图像拍摄中的图像劣化的信息（例如图像拍摄条件（如曝光时间、曝光量、离对象的距离、焦距））和成像装置的特征信息（如透镜的光学特征、成像装置的识别信息），而产生了基于点图像强度分布（PSF）的恢复滤波器（专利文献3）。

由模糊引起的劣化模型可由一个函数表示。例如，以离中心像素的距离（图像高度）为参数的正太分布可以表示模糊现象（专利文献4）。

另外，光学传递函数（OTF）是到频域的PSF的二维傅里叶变换。由于PSF到OTF的变换及其反向变换都很容易，因此可以认为OTF与PSF是相同的（专利文献5）。

将下面的一种特殊的光学系统称为EDoF（扩展景深），在该系统中，散焦量未知且PSF在聚焦或散焦时都进行类似地扩散（专利文献6至8）。图11示出了与EDoF的PSF相应的去卷积滤波器的一个示例。该去卷积滤波器是与图像的每个位置处的图像高度（离图像中心的距离）相应的滤波器。图11中，示出了0至r1的图像高度、r1至r2的图像高度、以及r2以上的图像高度分别对应于滤波器a、滤波器b以及滤波器c。

专利文献9描述了视点图像输入装置的一个示例。

专利文献10描述了用于通过划分成像屏幕并针对每个划分区域进行对象聚焦检测来检测图像位移量（散焦量）的技术的一个示例。另外，由于图像位移量取决于距对象的距离，因此技术上可以认为图像位移量与对象距离是相同的。

{引用列表}

{专利文献}

{PTL 1}国际专利申请国家公开第2009-527007号

{PTL 2}日本专利申请公开第2008-211679号

{PTL 3}日本专利申请公开第2008-172321号

{PTL 4}日本专利申请公开第2000-020691号

{PTL 5}国际专利申请国家公开第2009-534722号

{PTL 6}日本专利申请公开第2009-010944号

{PTL 7}日本专利申请公开第2009-187092号

{PTL 8}日本专利申请公开第2009-188676号

{PTL 9}日本专利申请公开第10-042314号

{PTL 10}日本专利申请公开第04-073731号

{非专利文献}

{NPL 1}Edward R.Dowski,Jr,Robert H.Cormack,Scott D.Sarama,"Wavefront Coding;j ointly optimized optical and digital imagingsystems"

发明内容

{技术问题}

如图12A至图12C所示，通过单眼三维成像装置的图像拍摄透镜12的光通量通过微透镜Lm、Lc等发射到光电二极管PDma和PDmb或者PDca和PDcb上。通过使用遮光部件遮住部分发射到光电二极管上的光通量，可以得到视点图像。如图12C所示，在图像拍摄透镜12的光学轴中心I0周围的中间部分R1（其为CCD 16的光接收平面中的相邻像素组）中，光通量针对相对于显微透镜的光学轴中心的视差方向（X方向）均匀地入射，从而光电二极管PDca和光电二极管PDcb可以基于来自微透镜Lc的发射光来输出左右对称的点图像。另一方面，如图12B所示，在CCD 16的光接收平面中的外围部分R2和R3中，光通量倾斜入射，从而光电二极管PDma和光电二极管PDmb输出非对称的点图像。

也就是说，在外围部分中出现了右视点像素和左视点像素之间的入射光通量的不平衡。因此，根据CCD 16的光接收平面中的位置，这些视点图像之间的图像质量不一致，从而立体图像的质量变差。

基于上述情况做出了本发明，且本发明的目的是提供一种能够在不使用诸如EDof的特殊光学系统的情况下不管像素的位置如何都通过使各视点图像之间的图像质量一致来提高立体图像质量的技术。

{问题的解决方案}

根据本发明的第一方面，提供了一种三维成像装置，其输出通过对来自单成像光学系统的光通量进行光瞳分割得到的第一视点图像和第二视点图像，该三维成像装置包括：散焦图（map）计算单元，其计算代表所述第一视点图像和第二视点图像中每个位置处的散焦量的散焦图；恢复滤波器存储器，其存储恢复滤波器，所述恢复滤波器对应于各视点图像中每个位置处的所述散焦量和图像高度，且所述恢复滤波器是基于代表所述成像光学系统的成像性能的点图像强度分布的去卷积滤波器；以及恢复单元，其针对所述第一视点图像和第二视点图像中的每个位置选择与各视点图像中每个位置处的所述散焦量和所述图像高度对应的恢复滤波器，并通过基于所选择的恢复滤波器对所述第一视点图像和第二视点图像中的每个位置执行去卷积来恢复所述第一视点图像和第二视点图像。

根据本发明的第二方面，提供了如第一方面所述的三维成像装置，其中所述恢复滤波器存储器针对关于所述成像光学系统的每个光学特性存储恢复滤波器。

根据本发明的第三方面，提供了如第二方面所述的第三方面三维成像装置，其中所述光学特性包括焦距和/或光圈值。

根据本发明的第四方面，提供了如第一至第三方面所述的三维成像装置，其中所述恢复滤波器存储器针对所述第一视点图像和第二视点图像中沿视差方向的每个位置和所述图像高度存储恢复滤波器。

根据本发明的第五方面，提供了如第四方面所述的三维成像装置，其中所述恢复滤波器存储器存储与各小区域的图像高度的每一个相对应的恢复滤波器，所述各小区域是通过沿所述视差方向将所述第一视点图像和第二视点图像中的一个区域分成N1个区域以及沿与所述视差方向垂直的方向将所述第一视点图像和第二视点图像中的所述区域分成N2个区域而获得的，其中N2小于N1。

根据本发明的第六方面，提供了如第四和第五方面所述的三维成像装置，其中所述恢复滤波器存储器存储与所述第一视点图像和第二视点图像共用的恢复滤波器。

根据本发明的第七方面，提供了如第六方面所述的三维成像装置，其中所述恢复单元基于作为存储在所述恢复滤波器存储器中且与所述第一视点图像和所述第二视点图像中的一个视点图像相对应的恢复滤波器的参考恢复滤波器，来恢复所述一个视点图像，并且在通过对所述参考恢复滤波器执行镜像反转而获得作为与所述第一视点图像和所述第二视点图像中的另一个视点图像相对应的恢复滤波器的镜像反转恢复滤波器之后，基于所述镜像反转恢复滤波器恢复所述另一个视点图像。

根据本发明的第八方面，提供了如第四至第七方面所述的三维成像装置，其中所述恢复滤波器存储器存储与图像的每个小区域沿所述视差方向中正向和负向之一的图像高度和所述散焦量相对应的恢复滤波器。

根据本发明的第九方面，提供了如第一至第八方面所述的三维成像装置，其包括输出单元，所述输出单元基于通过所述恢复单元进行恢复而获得的所述第一视点图像和第二视点图像输出立体图像。

根据本发明的第十方面，提供了一种视点图像恢复方法，其包括：计算散焦图的步骤，所述散焦图代表通过对来自单个成像光学系统的光通量进行光瞳分割而获得的第一视点图像和第二视点图像中每个位置处的散焦量；存储恢复滤波器的步骤，所述恢复滤波器对应于各视点图像中每个位置处的所述散焦量和图像高度，并且所述恢复滤波器是基于代表所述成像光学系统的成像性能的点图像强度分布的去卷积滤波器；以及针对所述第一视点图像和第二视点图像中的每个位置选择恢复滤波器的步骤，且通过基于所选择的恢复滤波器针对所述第一视点图像和第二视点图像中的每个位置执行去卷积来恢复所述第一视点图像和第二视点图像，其中所述恢复滤波器对应于各视点图像中每个位置处的所述散焦量和所述图像高度。

根据本发明的第十一方面，提供了如第十方面所述的视点图像恢复方法，包括针对关于所述成像光学系统的每个光学特性存储恢复滤波器的步骤。

根据本发明的第十二方面，提供了如第十一方面中所述的视点图像恢复方法，其中所述光学特性包括焦距和/或光圈值。

根据本发明的第十三方面，提供了如第十至第十二方面所述的视点图像恢复方法，包括针对所述第一视点图像和第二视点图像中沿视差方向的每个位置和所述图像高度存储恢复滤波器的步骤。

根据本发明的第十四方面，提供了如第十三方面所述的视点图像恢复方法，包括存储与各小区域的每个图像高度相对应的恢复滤波器的步骤，所述各小区域是通过沿所述视差方向将所述第一视点图像和第二视点图像中的一个区域分成N1个区域以及沿与所述视差方向垂直的方向将所述第一视点图像和第二视点图像中的所述区域分成N2个区域而获得的，其中N2小于N1。

根据本发明的第十五方面，提供了如第十三或第十四方面所述的视点图像恢复方法，包括存储为所述第一视点图像和第二视点图像共用的恢复滤波器的步骤。

根据本发明的第十六方面，提供了如第十五方面所述的视点图像恢复方法，包括步骤：基于作为被存储且与存储的所述第一视点图像和所述第二视点图像中的一个视点图像相对应的恢复滤波器的参考恢复滤波器，来恢复所述一个视点图像；以及在通过对所述参考恢复滤波器执行镜像反转而获得作为与所述第一视点图像和所述第二视点图像中的另一个视点图像相对应的恢复滤波器的镜像反转恢复滤波器之后，基于所述镜像反转恢复滤波器恢复所述另一个视点图像。

根据本发明的第十七方面，提供了如第十三至第十六方面所述视点图像恢复方法，包括存储与图像的每个小区域沿所述视差方向中正向和负向之一的图像高度和所述散焦量相对应的恢复滤波器的步骤。

根据本发明的第十八方面，提供了如第十至第十七方面所述的视点图像恢复方法，包括基于恢复的所述第一视点图像和第二视点图像输出立体图像的步骤。

{发明的有益效果}

根据本发明，由于使用了根据图像高度和散焦量的恢复滤波器恢复了各视点图像对应位置处的图像质量，因而执行恢复操作使得即使在远离图像中心的外围部分中也可以使各视点图像的图像质量一致。

附图说明

图1是单眼三维成像装置的框图。

图2A是示出光瞳分割视点图像获取图像传感器CCD的示例性结构的示意图。

图2B是示出光瞳分割视点图像获取图像传感器CCD（主像素）的示例性结构的示意图。

图2A是示出光瞳分割视点图像获取图像传感器CCD（副像素）的示例性结构的示意图。

图3是示出每一个主像素和每一个副像素的示意图。

图4A是图3中主要部分的放大视图。

图4B是图3中主要部分的放大视图。

图5A是示出广角端处缩放位置的情况下每个视点图像（右）的点图像的扩散的一个示例的示意图。

图5B是示出广角端处缩放位置的情况下每个视点图像（左）的点图像的扩散的一个示例的示意图。

图6A是示出远端处缩放位置的情况下每个视点图像（右）的点图像的扩散的一个示例的示意图。

图6B是示出远端处缩放位置的情况下每个视点图像（左）的点图像的扩散的一个示例的示意图。

图7A是示例性示出对应于图像高度和视差方向的恢复滤波器的示意图。

图7B是示例性示出对应于图像高度和视差方向的恢复滤波器的示意图。

图8是恢复处理的流程图。

图9是示出传统的单眼三维成像装置的一个示例的示意图。

图10是示出成像传感器上成像的图像的分离状态的示意图。

图11是示例性示出与EDof的PSF对应的去卷积滤波器的示意图。

图12A是示出主像素和副像素之间光接收的不平衡的一个示例的示意图。

图12B是示出主像素和副像素之间光接收的不平衡的一个示例的放大图。

图12C是示出主像素和副像素之间光接收的不平衡的一个示例的放大图。

具体实施方式

在下文中，将参照附图描述根据本发明的单眼三维成像装置的实施例。

（成像装置的总体结构）

图1是示出根据本发明的单眼三维成像装置10的实施例的框图。

该单眼三维成像装置10将拍摄的图像记录在存储卡54中，且中央处理单元（CPU）40控制该装置的总体操作。

单眼三维成像装置10包括操作单元38，例如，快门按钮、模式拨盘、回放按钮、菜单/确认键、十字键和后退键。来自操作单元38的信号输出到CPU 40，CPU 40控制基于所述输入信号控制单眼成像装置10中的各电路以执行例如透镜驱动控制、光圈驱动控制、图像拍摄操作控制、图像处理控制、图像数据的记录/回放控制、用于进行三维显示的液晶监视器30的显示控制等。

所述快门按钮是用于输入一个指令以开始图像拍摄的操作按钮，而且跨门按钮是具有半按时打开的开关S1和全按时打开的开关S2的两行程开关。所述模式拨盘是选择操作部件，其用于从以下各项中选择任一项：用于拍摄静止图片的自动图像拍摄模式；手动图像拍摄模式；人像、风景、夜景等的场景位置；以及用于拍摄运动图片的运动图片模式。

所述回放按钮是用于切换到回放模式以在液晶监视器30上显示已拍摄的或已记录的立体图像（3D图像）和平面图像（2D图像）的静止图片或运动图片的按钮。所述菜单/确认键是这样的操作键：其用作用于发布命令以在液晶监视器30的屏幕上显示菜单的菜单按钮，而且还用作用于发布命令以确认和执行选择的内容的确认按钮。所述十字键是这样的操作单元：其输入关于上、下、左和右四个方向的指令，并且用作用于从所述菜单屏幕选择项目以及命令从每个菜单选择各种设置项的按钮（光标移动操作部件）。此外，所述十字键的上/下键用作图像拍摄中的缩放开关或回放模式中的回放缩放开关，左/右键在回放模式中用作页面滚动（向前/向后滚动）按钮。所述后退键用于删除期望项（如所选项）、取消指令或返回前一操作状态。

在所述图像拍摄模式中，固态图像传感器16（在下文中称作CCD（电荷耦合器件））的光接收平面上成像表示对象的图像光，CCD 16是能够通过图像拍摄透镜12和光圈14获取光瞳分割视点图像的相位差图像传感器。由CPU 40控制的透镜驱动器36驱动图像拍摄透镜12，执行聚焦控制、缩放（焦距）控制等。光圈14，例如，由五个光圈叶片组成，且由CPU 40控制的光圈驱动器33来控制，并且基于AV来按照从F2.8至F11的光圈值（F值）的5个步骤控制光圈14。

此外，CPU 40使用光圈驱动器34控制光圈14并且使用CCD控制器32控制CCD 16中的电荷积累时间（快门速度）、从CCD 16读取信号等。

（CCD的示例性结构）

图2A至图2C是示出CCD 16的示例性结构的示意图。

CCD 16具有各自按矩阵形状布置的奇数行像素（主像素）和偶数行像素（副像素），从而可以独立读出已经分别在这些主像素和副像素中进行了光电转换的两帧图像信号。对应于各像素组的多个光接收元件形成用于获得有效成像信号的有效像素区域和用于获得黑位的参考信号的光学黑区（在下文中称作“OB”）。所述OB区域实际上形成为包围所述有效像素区域的外周。

如图2A至图2C所示，对于CCD 16的奇数行（1,3,5，...），具有R（红色）、G（绿色）和B（蓝色）滤色器的像素中，交替布置具有G、R、G、R，...像素排列的行和具有B、G、B、G，...像素排列的行。另外，对于CCD 16的偶数行（2,4,6，...），类似于奇数行，具有G、R、G、R，...像素排列的行和具有B、G、B、G，...像素排列的行交替布置，并且这两行布置为使得在布置方向上相对于所述偶数行中的像素平移半间距的量。

图3是示出图像拍摄透镜12、光圈14以及CCD 16的每个主像素和每个副像素的示意图，图4A和图4B是图3中主要部分的放大图。

如图4A所示，在典型CCD（光电二极管PD）的一个像素上，通过出瞳的光通量通过微透镜L没有遮挡地入射。

相比之下，如图4B所示，遮光部件16A形成在CCD 16的主像素和副像素上。在单眼三维成像装置10的风景位置处进行图像拍摄的情况下，主像素和副像素（光电二极管PD）的光接收平面的右半部或左半部被遮光部件16A遮挡。或者，在单眼三维成像装置10的人像位置处进行图像拍摄的情况下，则所述主像素和副像素（光电二极管PD）的光接收平面的上半部或下半部由遮光部件16A遮挡。遮光部件16A的开口16B布置于在右、左、上或下方向上（例如，图4B中在光轴的左边方向）从微透镜L的光轴Z移位预定量Δ的位置处。光通量通过开口16B并到达所述光电二极管PD的光接收平面。也就是说，遮光部件16A用作光瞳分割部件。

另外，主像素和副像素在光通量被遮光部件16A遮挡的区域（左半部/右半部或者上半部/下半部）方面不同。例如，当对于主像素遮挡光通量的左半部分而对于副像素遮挡光通量的右半部分时，从所述主像素获得右视点图像而从所述副像素获得左视点图像。或者，当对于主像素遮挡光通量的上半部分而对于副像素遮挡光通量的下半部分时，从所述主像素获得下视点图像而从所述副像素获得上视点图像。具有上述结构的CCD 16配置成使得主像素和副像素在光通量被遮光部件16A遮挡的区域（左半部或右半部）方面不同，然而CCD 16的结构并不局限于此。在没有遮光部件16A的情况下，可以通过使微透镜L和光电二极管PD相对地向右或向左移动而实现的定向移动来遮挡入射到所述光电二极管PD的光通量。或者，可以通过针对两个像素（主像素和副像素）提供一个微透镜（例如，见图12A至图12C），或者通过使用反射镜进行光瞳分割（例如，见图9）来遮挡入射到每个像素上的光通量。

返回至图1，基于由CCD控制器32提供的读出信号，读出在CCD 16中积累的信号电荷以作为与所述信号电荷相对应的电压信号。从CCD 16读出的电压信号被提供给模拟信号处理单元18，在模拟信号处理单元18中，对于每个像素的R、G和B信号进行采样保持、放大，然后提供至A/D转换器20。A/D转换器20将被提供的R、G和B信号转换成数字R、G和B信号并且将其输出至图像输入控制器22。

数字信号处理单元24对通过图像输入控制器22输入的所述数字图像信号执行预定的信号处理，该处理包括偏移处理、包含白平衡校正和灵敏度校正的增益控制处理、伽马校正处理、YC处理等。

本文中，如图2B和图2C所示，从CCD 16的奇数行中的主像素读出的主像素图像数据作为左视点图像进行处理，从偶数行中的副像素读出的副像素图像数据作为右视点图像进行处理。

由数字信号处理单元24处理后的左视点图像和右视点图像（3D图像数据）输入至VRAM（视频随机存取存储器）50。VRAM 50包括A区域和B区域，其中的每个区域都存储代表一帧的3D图像的3D图像数据。在VRAM 50中，代表一帧的3D图像的3D图像数据交替重写至A区域和B区域。在VRAM 50的A区域和B区域中，从与正在重写3D图像数据的区域以外的区域中读出已重写的3D图像数据。由视频编码器28对从VRAM 50读出的所述3D图像数据进行编码，然后输出至设置在相机后面的立体液晶监视器（LCD：液晶显示器）30，由此在液晶监视器30的显示屏上显示3D对象图像。

液晶监视器30是立体显示设备，其能够显示立体图像（左视点图像和右视点图像）作为由于视差屏障造成的各自具有预定指向性的的定向图像，但并不局限于此，而是其可以包括使用双凸透镜、或者使用诸如便于各自观看左视点图像和右视点图像的偏光眼镜和液晶快门眼镜等专用眼镜。

此外，当操作单元38的快门按钮处于第一按下阶段（半按）时，CPU 40开始AF（自动对焦）操作和AE（自动曝光）操作，从而由透镜驱动器36将图像拍摄透镜12中的聚焦透镜控制在聚焦位置。此外，当快门按钮处于半按状态时，从A/D转换器20输出的图像数据被AE检测单元44接收。

AE检测单元44对整个屏幕的G信号进行积分、或者通过对屏幕的中央部分和外围部分施加不同的加权因子来对G信号进行积分，并将积分值输出至CPU 40。CPU 40根据从AE检测单元44输入的积分值计算对象的亮度（摄影Ev值），CPU 40基于该摄影Ev值而根据预定的程序图确定光圈14的光圈值和CCD 16的电子快门（快门速度），且CPU 40基于所确定的光圈值来使用光圈驱动器34来控制光圈14，并基于所确定的快门速度来使用CCD控制器32控制CCD 16中的电荷积累时间。

AF处理单元42是执行对比度AF处理或相差AF处理的部分。当执行对比度AF处理时，提取左视点图像数据和右视点图像数据中的至少一个中的预定聚焦区域中的图像数据的高频成分，并通过对该高频成分进行积分来计算代表聚焦状态的AF估计值。通过控制图像拍摄透镜12中的聚焦透镜执行AF控制，以使所述AF估计值最大化。此外，当执行相差AF处理时，检测与左视点图像数据和右视点图像数据中与预定聚焦区域的主像素和副像素相对应的图像数据之间的相差，基于代表该相差的信息计算散焦量。通过控制图像拍摄透镜12中的聚焦透镜使得该散焦量变为0来执行AF控制。

当完成AE操作和AF操作且快门按钮处在第二按下阶段（全按）时，响应于该按下，与从A/D转换器20输出的主像素和副像素相对应的左视点图像（主像素图像）和右视点图像（副像素图像）的两个图像数据从图像输入控制器22输入至存储器（SDRAM：同步动态随机存取存储器）48，且暂时存储在其中。

暂时存储在存储器48中的所述两个图像数据适当地由数字信号处理单元24读出，在数字信号处理单元24中对所述图像数据执行预定的信号处理，该处理包括亮度数据和色度数据的产生处理（YC处理）。已经历YC处理的图像数据（YC数据）再次存储在存储器48中。接着，两个YC数据输出至压缩/解压处理单元26并进行如JPEG（联合图像专家组）的预定压缩处理，然后存储在存储器48中。

根据存储在存储器48的所述两个YC数据（压缩数据）产生多图像文件（MP文件：其中连接了多个图像的格式的文件），并且所述MP文件被媒体控制器52读出并被记录在存储卡54中。

散焦图创建单元61不仅针对预定聚焦区域包含的每个小区域而且针对基本覆盖整个有效像素区域的多个小区域中的每一个来计算主像素和副像素的相差。基本覆盖整个有效像素区域的所述多个小区域，不必要完全覆盖整个有效像素区域，而是可以密集地布置或大致覆盖整个有效区域。例如，针对通过将有效像素区域分割成预定的矩阵状单位（例如，8×8像素）、或更小单位（例如，1×1像素）、或更大单位（例如，10×10像素）而获得的每个分割区域计算相差。或者，针对从有效像素区域的外沿上的原点开始的具有预定分割间隔的预定单位（例如，对应于一个分割区域、或更大区域、或更小区域）中的每个分割区域计算相差。简言之，在整个有效像素区域上计算相差，然而不必要对构成有效像素区域的所有小区域进行计算。

散焦图创建单元61基于对上述各小区域计算的相差获得与每个上述小区域相对应的散焦量。在整个有效像素区域上计算出、且与各小区域相对应的这些散焦量的集合被称为散焦图。散焦图创建单元61包括如RAM（随机存取存储器）等易失性记录介质且暂时存储所述获得的散焦图。另外，类似于专利文献10，由于散焦量相当于对象距离信息，因此散焦图相当于与各小区域相对应的对象距离信息。散焦图创建单元61可以检测各视点图像之间的特征点和对应点，并且基于这些特征点和对应点之间的位置信息的不同创建所述散焦图。

恢复滤波器存储器62由如ROM（只读存储器）的非易失性记录介质构成，且其存储恢复滤波器（第一滤波器），该恢复滤波器对应于每个视点图像中的每个小区域的图像高度（距图像中心的距离，通常是距图像拍摄透镜12的光轴中心L的距离）以及散焦量（或对象距离）。

优选地，类似于专利文献2和3，针对如焦距、F值和PSF的光学特性之间的每个关系，预先生成了该恢复滤波器。也就是说，分别针对各光学特性存储了根据图像高度和散焦量的恢复滤波器（第二滤波器）。

这是因为每个视点图像的点图像的扩散是根据焦距、图像高度、散焦量而不同的，且也与PSF相关联。

图5A和图5B示出了广角端处图像拍摄透镜12的变焦透镜的缩放位置情况下每个视点图像的点图像的扩散的一个示例，图6A和图6B示出了远端处图像拍摄透镜12的变焦透镜的缩放位置情况下每个视点图像的点图像的扩散的一个示例。

优选地，恢复滤波器存储器62存储对应于视点图像的每个小区域沿视差方向的图像高度和散焦量、并且为右视点图像和左视点图像共用的恢复滤波器（第三滤波器）。这是因为，由于视差方向以外的方向上的图像高度差造成的图像质量的差异对立体图像几乎没有影响，因此不太必要使用该与所述图像高度相对应的滤波器来进行恢复。此外，通过存储在视差方向上为右视点图像和左视点图像共用的恢复滤波器实现了内存消耗的减小。图7A和图7B示出了所述第三滤波器的一个示例。在这些当中，图7A示出了与一个视点图像（例如，右视点图像）相对应的恢复滤波器，图7B示出了与另一个视点图像（例如，左视点图像）相对应的恢复滤波器。图7A中的恢复滤波器和图7B中的恢复滤波器关于它们的图像中心（图像高度为0的位置）具有镜像反转关系。恢复滤波器存储器62存储与任何一个视点图像相对应的恢复滤波器，恢复单元63相对于该视点图像的中心对所存储的一个恢复滤波器执行镜像反转，从而获得了与另一个视点图像相对应的恢复滤波器。恢复滤波器与通过根据在视差方向（X）上距离±X1至±X3、在与视差方向垂直的方向（Y）上的距离Y0至±Y1、自图像中心的图像高度R1至R3的集合来分割视点图像而获得的每个区域相关联。沿视差方向（X）以及垂直于视差方向的方向（Y）执行上述区域分割预定次数。在图7A和图B中，作为一个示例，沿视差方向（X）执行区域分割的次数N1等于6，沿与视差方向垂直的方向（Y）执行区域分割的次数N2等于2。更为典型地，出于增强视差方向的恢复质量的目的，N1>N2，并且沿视差方向进行更精细的区域分割以及将恢复滤波器与相关区域关联起来。

更为优选地，恢复滤波器存储器62存储对应于视点图像的沿视差方向的正（右）或负（左）的一个方向上的每个小区域的图像高度和散焦量的恢复滤波器（第四滤波器）。与沿视差方向的小区域的图像高度相同的距屏幕中心的距离提供相同的对应于图像高度的光学特性。期望不管所述小区域相对中心位于正侧（右侧）还是负侧（左侧），都可以使用相同的恢复滤波器来恢复相关的小区域。因此，通过不管图像高度的方向如何都针对相同距离利用相同的恢复滤波器可以实现内存消耗的减小。

恢复单元63由诸如CPU 40的信息处理装置构成且执行下面的处理。图8是单眼三维成像装置10执行的恢复处理的流程图。另外，可以利用除单眼三维成像装置10以外的信息处理装置（如个人计算机）执行散焦图的创建、恢复滤波器的存储、使用所述恢复滤波器对视点图像进行的恢复处理、恢复后的视点图像的输出处理等。使单眼三维成像装置10或其他信息处理装置执行下面处理的程序记录在计算机可读记录介质（例如ROM、CD-ROM）中。

在步骤S1，恢复单元63配置基本覆盖实际上从CCD 16获取的每个视点图像的多个小区域。这些小区域的单位（位置和分割尺寸）与恢复滤波器存储器62中的小区域的单位相同。

在步骤S2，散焦图创建单元61创建上述的散焦图。在步骤S3，恢复单元63识别在每个视点图像中配置的每个小区域的图像高度和散焦量。可以通过计算从图像中心至每个小区域的最小距离来执行每个小区域的图像高度的识别。此外，基于散焦图创建单元61创建的散焦图，针对每个视点图像执行每个小区域的所述散焦量的识别。恢复单元63从恢复滤波器存储器62中选择与所述小区域的所述图像高度和散焦量相对应的恢复滤波器，其中针对每个视点图像识别了所述图像高度和散焦量。

在步骤S4，恢复单元63通过使用针对每个视点图像的每个小区域所选的恢复滤波器来执行相关小区域的去卷积，从而恢复视点图像中相应的小区域。当恢复滤波器存储器62的恢复滤波器为第一滤波器时，恢复单元63从恢复滤波器存储器62中选择与所述小区域的已针对每个视点图像识别的图像高度和散焦量相对应的恢复滤波器，并使用针对每个视点图像的每个小区域所选择的恢复滤波器来执行相关小区域的去卷积，从而恢复了视点图像中相应的小区域。

当恢复滤波器存储器62的恢复滤波器为第二滤波器时，恢复单元63从CPU 40、透镜驱动器36、光圈驱动器34等获得诸如焦距、F值等光学特性，从恢复滤波器存储器62选择与小区域的对应于所获取的光学特性且针对每个视点图像识别的图像高度和散焦量相对应的恢复滤波器，使用针对每个视点图像的每个小区域所选择的恢复滤波器来执行相关小区域的去卷积，以及恢复视点图像中相应的小区域。

当恢复滤波器存储器62的恢复滤波器为第三滤波器时，恢复单元63从恢复滤波器存储器62选择与小区域的沿视差方向的图像高度和散焦量相对应的共用恢复滤波器，其中所述图像高度和散焦量共同配置用于各视点图像，以及使用针对每个视点图像的每个小区域所选择的且被各视点图像共用的恢复滤波器来执行相关小区域的去卷积，并且恢复视点图像中相应的小区域。

当恢复滤波器存储器62的恢复滤波器为第四滤波器时，恢复单元63从恢复滤波器存储器62选择与小区域的沿视差方向的、被各视点图像共用的图像高度和散焦量相对应的恢复滤波器，使用针对每个视点图像的每个小区域所选择的共用恢复滤波器来执行相关小区域的去卷积，以及恢复视点图像中相应的小区域。在此阶段，如果距屏幕中心的距离与所述小区域沿视差方向的图像高度相等时，不管所述小区域在中心的正侧（右侧）还是负侧（左侧），恢复单元63都使用相同的恢复滤波器来恢复相关的小区域。

恢复单元63根据通过恢复涉及退化的各小区域而获得的视点图像生成立体图像，并将其作为恢复后的立体图像再次存储在VRAM50中。VRAM 50中的所述恢复后的立体图像被输出至液晶监视器30，卓越的3D对象图像显示在液晶监视器30的显示屏上。也就是说，执行恢复的较佳时刻是在将立体图像输出至液晶监视30之前。

然而，VRAM 50中的恢复后的立体图像不必需输出至液晶监视器30，而是可以输出至存储卡54，即，不输出至液晶监视器30而以压缩方式被记录。在其他立体图像显示器上回放记录在存储卡54中的该恢复后的立体图像，也可以实现卓越的3D对象图像的显示。

在如上使用第一至第四滤波器在恢复单元63中执行去卷积的过程中，针对各视点图像之间的相应位置处的小区域的图像质量执行利用根据图像高度和散焦量的恢复滤波器的恢复操作。因此，即使在图像中心的相邻部分或者远离图像中心的外围部分中，也可以执行恢复以使视点图像之间的图像质量一致。

此外，当恢复滤波器为第二滤波器时，即使在诸如变焦位置和F值的光学特性改变的情况下，视点图像之间的图像质量也是一致的。

此外，当恢复滤波器为第三或第四滤波器时，使用共用的恢复滤波器恢复了相应的视点图像，并且可以减少恢复滤波器存储器62中的内存消耗。

{参考符号列表}

12：图像拍摄透镜

14：光圈

16：CCD

61：散焦图创建单元

62：恢复滤波器存储器

63：恢复单元

Claims (20)

1.一种三维成像装置，其配置成输出通过对来自单成像光学系统的光通量进行光瞳分割得到的第一视点图像和第二视点图像，该三维成像装置包括：

计算单元，其配置成计算第一视点图像和第二视点图像中每个位置处的散焦量；

恢复滤波器存储器，其配置成存储与各视点图像中每个位置处的所述散焦量和图像高度相对应的恢复滤波器，所述恢复滤波器是基于代表所述成像光学系统的成像性能的点图像强度分布的去卷积滤波器；以及

恢复单元，其配置成针对所述第一视点图像和第二视点图像中的每个位置选择与各视点图像中每个位置处的散焦量和图像高度相对应的恢复滤波器，以及基于所选择的恢复滤波器通过针对所述第一视点图像和第二视点图像中的每个位置执行去卷积来恢复所述第一视点图像和第二视点图像。

2.根据权利要求1所述的三维成像装置，其中

所述恢复滤波器存储器针对关于所述成像光学系统的每个光学特性存储恢复滤波器。

3.根据权利要求2所述的三维成像装置，其中

所述光学特性包括焦距和/或光圈值。

4.根据权利要求1所述的三维成像装置，其中

所述恢复滤波器存储器针对所述第一视点图像和第二视点图像中沿视差方向的每个位置和所述图像高度存储恢复滤波器。

5.根据权利要求4所述的三维成像装置，其中

所述恢复滤波器存储器存储与各小区域的图像高度中的每一个相对应的恢复滤波器，所述各小区域是通过沿所述视差方向将所述第一视点图像和第二视点图像中的一个区域分成N1个区域、以及沿与所述视差方向垂直的方向将所述第一视点图像和第二视点图像中的所述区域分成N2个的区域而获得的，其中N2小于N1。

6.根据权利要求4所述的三维成像装置，其中

所述恢复滤波器存储器存储与所述第一视点图像和第二视点图像共用的恢复滤波器。

7.根据权利要求6所述的三维成像装置，其中

所述恢复单元基于作为存储在所述恢复滤波器存储器中且与所述第一视点图像和所述第二视点图像中的一个视点图像相对应的恢复滤波器的参考恢复滤波器，来恢复所述一个视点图像，并且在通过对所述参考恢复滤波器执行镜像反转而获得作为与所述第一视点图像和所述第二视点图像中的另一个视点图像相对应的恢复滤波器的镜像反转恢复滤波器之后，基于所述镜像反转恢复滤波器恢复所述另一个视点图像。

8.根据权利要求4至7中任一项所述的三维成像装置，其中

所述恢复滤波器存储器存储与图像的每个小区域沿所述视差方向中正向和负向之一的图像高度和所述散焦量相对应的恢复滤波器。

9.根据权利要求1所述的三维成像装置，包括：

输出单元，其配置成基于由所述恢复单元恢复的所述第一视点图像和第二视点图像输出立体图像。

10.一种三维成像装置，其配置成输出通过对来自单成像光学系统的光通量进行光瞳分割得到的第一视点图像和第二视点图像，该三维成像装置包括：

散焦图计算单元，其配置成计算代表所述第一视点图像和第二视点图像中每个位置处的散焦量的散焦图；

恢复滤波器存储器，其配置成存储与各视点图像中每个位置处的所述散焦量和图像高度相对应的恢复滤波器，所述恢复滤波器是基于代表所述成像光学系统的成像性能的点图像强度分布的去卷积滤波器；以及

恢复单元，其配置成针对所述第一视点图像和第二视点图像中的每个位置选择与各视点图像中每个位置处的散焦量和图像高度相对应的恢复滤波器，以及基于所选择的恢复滤波器通过针对所述第一视点图像和第二视点图像中的每个位置执行去卷积来恢复所述第一视点图像和第二视点图像。

11.一种视点图像恢复方法，包括：

计算通过对来自单个成像光学系统的光通量进行光瞳分割而获得的第一视点图像和第二视点图像中每个位置处的散焦量的步骤；

存储恢复滤波器的步骤，所述恢复滤波器对应于各视点图像中每个位置处的所述散焦量和图像高度，并且所述恢复滤波器是基于代表所述成像光学系统的成像性能的点图像强度分布的去卷积滤波器；以及

针对所述第一视点图像和第二视点图像中的每个位置选择恢复滤波器的步骤，且通过基于所选择的恢复滤波器针对所述第一视点图像和第二视点图像中的每个位置执行去卷积来恢复所述第一视点图像和第二视点图像，其中所述恢复滤波器对应于各视点图像中每个位置处的所述散焦量和所述图像高度。

12.根据权利要求11所述的视点图像恢复方法，包括：

针对关于所述成像光学系统的每个光学特性存储恢复滤波器的步骤。

13.根据权利要求12所述的视点图像恢复方法，其中

所述光学特性包括焦距和/或光圈值。

14.根据权利要求11所述的视点图像恢复方法，包括：

针对所述第一视点图像和第二视点图像中沿视差方向的每个位置和所述图像高度存储恢复滤波器的步骤。

15.根据权利要求14所述的视点图像恢复方法，包括：

存储与各小区域的每个图像高度相对应的恢复滤波器的步骤，所述各小区域是通过沿所述视差方向将所述第一视点图像和第二视点图像中的一个区域分成N1个区域以及沿与所述视差方向垂直的方向将所述第一视点图像和第二视点图像中的所述区域分成N2个区域而获得的，其中N2小于N1。

16.根据权利要求14所述的视点图像恢复方法，包括：

存储为所述第一视点图像和第二视点图像共用的恢复滤波器的步骤。

17.根据权利要求16所述的视点图像恢复方法，包括步骤：

基于作为被存储且与存储的所述第一视点图像和所述第二视点图像中的一个视点图像相对应的恢复滤波器的参考恢复滤波器，来恢复所述一个视点图像；以及

在通过对所述参考恢复滤波器执行镜像反转而获得作为与所述第一视点图像和所述第二视点图像中的另一个视点图像相对应的恢复滤波器的镜像反转恢复滤波器之后，基于所述镜像反转恢复滤波器恢复所述另一个视点图像。

18.根据权利要求14至17中任一项所述的视点图像恢复方法，包括：

存储与图像的每个小区域沿所述视差方向中正向和负向之一的图像高度和所述散焦量相对应的恢复滤波器的步骤。

19.根据权利要求11所述的视点图像恢复方法，包括：

基于恢复的所述第一视点图像和第二视点图像输出立体图像的步骤。

20.一种视点图像恢复方法，包括：

计算散焦图的步骤，所述散焦图代表通过对来自单个成像光学系统的光通量进行光瞳分割而获得的第一视点图像和第二视点图像中每个位置处的散焦量；

存储恢复滤波器的步骤，所述恢复滤波器对应于各视点图像中每个位置处的所述散焦量和图像高度，并且所述恢复滤波器是基于代表所述成像光学系统的成像性能的点图像强度分布的去卷积滤波器；以及

针对所述第一视点图像和第二视点图像中的每个位置选择恢复滤波器的步骤，且通过基于所选择的恢复滤波器针对所述第一视点图像和第二视点图像中的每个位置执行去卷积来恢复所述第一视点图像和第二视点图像，其中所述恢复滤波器对应于各视点图像中每个位置处的所述散焦量和所述图像高度。

Images