CN103098459B - 立体摄像装置及阴影校正方法 - Google Patents

Abstract

提高由光瞳分割方式的立体摄像装置得到的图像的品质。由本发明涉及的立体摄像装置得到的第1及第2图像，在光瞳分割方向具有对象的阴影。由此，如果将第1及第2图像合成，则产生阴影消除后的参考数据。能够基于该参考数据，确定第1及第2图像的阴影校正量，并基于所确定的阴影校正量，对第1及第2图像进行阴影校正。

Description

立体摄像装置及阴影校正方法

技术领域

本发明涉及摄像装置，特别涉及使穿过拍摄透镜的2个方向的不同区域的被摄体像分别在摄像元件上成像，获取不同的视点图像的技术。

背景技术

在专利文献1至3中示出现有光瞳分割方式的立体摄像装置的一个例子。

在专利文献1中，公示了对从不同射出瞳区域得到的A像及B像进行阴影校正，计算相位差值的立体摄像装置。此外，该阴影校正通过将A像除以B像或将A像与B像相乘而实施。

在专利文献2中，公示了一种通过使层叠在光电二极管上部的微透镜偏移而进行立体摄像的立体摄像装置。在该立体摄像时，通过在基板的受光面中央部和受光面周边部对微透镜的偏移方向和偏移量进行变更，从而进行减少阴影对画质的影响的处理。

另外，作为单眼立体摄像装置，例如，已知专利文献3公示的具有图13所示的光学系统的结构。

图13所示的光学系统利用反射镜4对穿过主透镜1及中继透镜2的左右方向的不同区域的被摄体像进行光瞳分割，经由各个成像透镜5、6而在摄像元件7、8上成像。

图14A至图14C分别是表示由焦点靠前、合焦（最佳焦距）、及焦点靠后的差异引起的在摄像元件上成像的像的分离状态的图。此外，在图14A至图14C中，为了对由聚焦引起的分离的差异进行比较，省略图13所示的反射镜4。

如图14B所示进行光瞳分割得到的像中的合焦的像，在摄像元件上的同一位置成像（一致），但如图14A及图14C所示，焦点靠前及焦点靠后的像，在摄像元件上的不同位置成像（分离）。

因此，通过经由摄像元件7、8获取在左右方向进行光瞳分割的被摄体像，从而对应于被摄体距离得到视点不同的左视点图像及右视点图像。并且，能够从所得到的左视点图像及右视点图像生成3D图像。

已知在通过变焦透镜等光学系统使作为被摄体的物体在摄像元件的摄像面上成像的情况下，通过摄像元件摄像得到的像与原物体相比，会由于光学系统的像差的影响而产生模糊，使画质恶化。由这时的像引起的图像的强度分布g，是在原物体的亮度分布f与表示光学系统成像性能的点像强度分布h的卷积（Convolution）上增加噪声n而表示，即

g＝f*h＋n（*表示卷积积分）…（A）

g、h、n已知，能够通过式（A）求出原物体的亮度分布f。由此，通过信号处理消除光学系统的模糊而得到理想像的技术，被称为像的“还原”、“反卷积”、或“解卷积（Deconvolution）”。基于点像强度分布（PSF）的还原滤波器，考虑与摄像时的图像恶化相关的信息，例如拍摄条件（曝光时间、曝光量、至被摄体的距离、焦距等）或摄像装置的特性信息（透镜的光学特性、摄像装置的识别信息等）等而生成（专利文献4）。

由模糊引起的恶化模型可以用函数表示。例如，可以利用将与中心像素的距离（像高）设为参数的正态分布表示模糊现象（专利文献5）。

专利文献6表示对于一个微透镜，分配摄像元件上的3×3＝9个像素的摄像装置的例子。

专利文献

专利文献1：日本特开2010－145544号公报

专利文献2：日本特开2007－279512号公报

专利文献3：日本特表2009－527007号公报

专利文献4：日本特开2008－172321号公报

专利文献5：日本特开2000－020691号公报

专利文献6：日本特开2009－165115号公报

发明内容

但是，由于光瞳分割方式的立体摄像装置特有的像素排列，会在各视点图像中出现产生明暗失真的阴影，使得视点图像间的明亮度不均匀，图像品质降低。另外，在全像素的平面图像记录时，不仅是变暗，还会发生分辨率降低或伪分辨率等画质降低的现象。此外，由于阴影强度还会随着透镜的光圈变化，因此需要进行与摄像条件相对应的校正。

在专利文献1中，通过分别对A像和B像实施由低通滤波器（Low Pass Filter）进行的滤波，从而进行减少随机噪声的电平校正。但是，存在电平校正的结果伴随摄像条件的变化而变化的问题。另外，在专利文献2中，由于在摄像元件的中心和周边对微透镜的偏移量进行调整，因此相位差值会随着像素的位置而改变。因此，存在需要进行与发生变化的相位差相对应的校正的问题。

本发明就是鉴于上述情况而提出的，目的在于提供一种提高由光瞳分割方式的立体摄像装置得到的图像的品质的技术。

为了实现上述目的，本发明的立体摄像装置输出通过对来自单一摄像光学系统的光束进行的光瞳分割而具有相位差的多个图像，并能够从多个图像还原出具有与相位差相对应的视差的立体观看图像，该立体摄像装置具有：合成部，其对多个图像进行合成，基于从多个图像合成得到的图像，输出阴影校正的参考数据；以及校正部，其通过对合成部输出的参考数据和多个图像分别进行比较，确定多个图像各自的阴影校正量，并基于所确定的阴影校正量，对多个图像分别进行阴影校正。

另外，本发明的立体摄像装置具有缩略部，其对多个图像分别进行像素缩略，合成部将通过缩略部进行像素缩略而得到的多个图像合成，基于从多个图像合成而成的图像，输出阴影校正的参考数据，校正部通过对参考数据进行插补以使其与多个图像各自的原始尺寸一致，并对插补后的参考数据和多个图像分别进行比较，从而确定多个图像各自的阴影校正量，并基于所确定的阴影校正量对多个图像分别进行阴影校正。

此外，本发明的立体摄像装置还具有滤波部，其由低通滤波器对参考数据、多个图像分别实施滤波并将其输出，校正部通过对滤波部输出的参考数据和多个图像分别进行比较，从而确定多个图像各自的阴影校正量，并基于所确定的阴影校正量，对多个图像分别进行阴影校正。

此外，本发明的立体摄像装置优选具有：获取部，其获取多个图像各自的拍摄时的设定信息；以及判定部，其基于获取部获取的设定信息，判定是否需要校正部执行阴影校正，在判定部判定为需要校正部执行阴影校正时，校正部对多个图像分别进行阴影校正。

这时，优选设定信息包含立体观看图像拍摄模式或平面图像拍摄模式中的任一个拍摄模式的设定信息，判定部在拍摄模式的设定信息为平面拍摄模式的情况下，判定为需要校正部执行阴影校正。

另外，优选判定部在拍摄模式的设定信息为立体观看图像拍摄模式的情况下，判定为不需要校正部执行阴影校正处理。

此外，优选设定信息包含光圈的设定信息，判定部在光圈的设定信息为与规定的光圈值相比为缩小侧的情况下，判定为需要校正部执行阴影校正。

此外，优选设定信息包含变焦位置的设定信息，判定部在透镜光圈的设定信息与规定的光圈值相比为扩大侧且变焦位置的设定信息与规定的变焦位置相比为广角侧的情况下，判定为需要校正部执行阴影校正。

而且，优选具有滤波部，其由低通滤波器对参考数据、多个图像分别实施滤波并将其输出，判定部在透镜光圈的设定信息与规定的光圈值相比为扩大侧且变焦位置的设定信息与规定的变焦位置相比为望远侧的情况下，判定为需要校正部执行阴影校正，在判定部判定为需要校正部执行阴影校正时，校正部通过对滤波部输出的参考数据和多个图像分别进行比较，从而确定多个图像各自的阴影校正量，并基于所确定的阴影校正量分别对多个图像进行阴影校正。

另外，为了实现上述目的，本发明是下述立体摄像装置执行的阴影校正方法，该立体摄像装置输出通过对来自单一摄像光学系统的光束进行光瞳分割而具有相位差的多个图像，并那个从多个图像还原出具有与相位差相对应的视差的立体观看图像，该阴影校正方法具有以下步骤：对多个图像分别进行合成，基于从所述多个图像合成得到的图像，输出阴影校正的参考数据；以及通过对合成部输出的参考数据和多个图像分别进行比较，从而确定多个图像各自的阴影校正量，并基于所确定的阴影校正量，分别对多个图像进行阴影校正。

发明的效果

由本发明涉及的立体摄像装置得到的多个图像，在光瞳分割方向上具有对称的阴影。由此，如果对该多个图像进行合成，则会产生阴影消除后的参考数据。基于该参考数据，能够确定多个图像各自的阴影校正量，并基于所确定的阴影校正量，分别对多个图像进行阴影校正。

附图说明

图1是单眼立体摄像装置的框图。

图2（A）至（C）是表示光瞳分割视差图像获取摄像元件CCD（2个视点）的结构例的图。

图3是表示主、副像素各自的一个像素的图。

图4是图3的要部放大图。

图5是表示第1实施方式涉及的校正部的详细结构的图。

图6是第1实施方式涉及的校正部执行的校正处理（2个视点）的流程图。

图7是参考数据（2个视点）的概念说明图。

图8是阴影校正（2个视点）的概念说明图。

图9是表示第2实施方式涉及的校正部的详细结构的图。

图10是第2实施方式涉及的校正部执行的校正处理的流程图。

图11是表示第3实施方式涉及的校正部的详细结构的图。

图12是第4实施方式涉及的校正部执行的校正处理的流程图。

图13是表示现有的单眼立体摄像装置的一个例子的图。

图14是表示在摄像元件上所成的像的分离状态的图。

图15是表示光瞳分割视差图像获取摄像元件CCD（4个视点）的结构例的图。

图16是第1实施方式涉及的校正部执行的校正处理（4个视点）的流程图。

图17是参考数据（4个视点）的概念说明图。

图18是阴影校正（4个视点）的概念说明图。

图19是表示光瞳分割视差图像获取摄像元件CCD（9个视点）的结构例的图。

图20是第1实施方式涉及的校正部执行的校正处理（9个视点）的流程图。

图21是参考数据（9个视点）的概念说明图。

图22是阴影校正（9个视点）的概念说明图。

具体实施方式

<第1实施方式>

下面，参考附图，对本发明涉及的单眼立体摄像装置的实施方式进行说明。

[摄像装置的整体结构]

图1是表示本发明涉及的单眼立体摄像装置10的实施方式的框图。

该单眼立体摄像装置10将摄像得到的图像记录在存储卡54中，装置整体的动作通过中央处理装置（CPU）40统一控制。

在单眼立体摄像装置10上设有快门按钮、模式旋钮、再生按钮、MENU/OK键、十字键、BACK键等操作部38。来自该操作部38的信号被输入CPU40，CPU40基于输入信号对单眼立体摄像装置10的各电路进行控制，例如，进行透镜驱动控制、光圈驱动控制、拍摄动作控制、图像处理控制、图像数据的记录/再生控制、立体显示用的液晶监视器30的显示控制等。

快门按钮是输入拍摄开始的指令的操作按钮，由两段式开关构成，具有在半按时接通的S1开关和全按时接通的S2开关。模式旋钮进行拍摄立体观看图像的立体观看图像拍摄模式、拍摄平面图像的平面图像拍摄模式的设定。立体观看图像拍摄模式及平面图像拍摄模式分为静止图像模式或动画模式，能够选择其中任一个。

再生按钮是用于切换至将拍摄记录的立体观看图像（3D图像）、平面图像（2D图像）的静止图像或动画显示在液晶监视器30上的再生模式的按钮。MENU/OK键是兼有作为菜单按钮功能和OK按钮功能的操作键，其中，菜单按钮用于进行将菜单显示在液晶监视30的画面上的指令，OK按钮用于指示选择内容的确定及执行等。十字键是输入上下方向这4个方向的指令的操作部，作为从菜单画面选择项目或指示从各菜单进行各种设定项目选择的按钮（光标移动操作单元）起作用。另外，十字键的上/下键作为拍摄时的缩放开关或再生模式时的再生缩放开关起作用，左/右键作为再生模式时的场景进给（前进/倒退）按钮起作用。BACK键在消除选择项目等希望的对象或取消指令内容，或返回前一个操作状态时等使用。

在拍摄模式时，表示被摄体的图像光线经由摄像透镜12、光圈14而在摄像部（以下称为“CCD”）16的受光面上成像，该摄像部16是能够获取光瞳分割视差图像的相位差图像传感器。摄像透镜12由通过CPU40控制的透镜驱动部36驱动，进行聚焦控制、变焦（焦距）控制等。光圈14例如由5片光圈叶片构成，由通过CPU40控制的光圈驱动部32驱动，例如，从光圈值（F值）F2.8至F11，对于1AV刻度，以5级进行光圈控制。

另外，CPU40通过光圈驱动部33对光圈14进行控制，并且通过CCD控制部32进行CCD16上的电荷蓄积时间（快门速度）或来自CCD16的图像信号读取控制等。

<CCD的结构例>

图2是表示2个视点的CCD16的结构例的图。

CCD16具有分别以矩阵状排列的奇数线的像素（主像素）和偶数线的像素（副像素），能够独立读取利用上述主、副像素进行光电变换而得到的2个面的图像信号。与各像素组相对应的多个受光元件形成用于得到有效摄像信号的有效像素区域、和用于得到黑电平基准信号的光学黑体区域（以下称为“OB区域”）。OB区域实际上以包围有效像素区域的周围的方式形成。

如图2所示，在CCD16的奇数线（1、3、5、…）中，交互设置具有R（红）、G（绿）、B（蓝）彩色滤光片的像素中的GRGR…像素排列的线和BGBG…像素排列的线，另一方面，偶数线（2、4、6、…）的像素与奇数线同样地，交互设置GRGR…像素排列的线和BGBG…像素排列的线，并且，奇数线与偶数线的像素在线方向上偏移2分之1间距而配置。

图3是表示摄像透镜12、光圈14、及CCD16的主、副像素的各1个像素的图，图4是图3的要部放大图。

如图4A所示，穿过射出瞳的光束，经由微透镜L无限制地入射到通常的CCD像素（光电二极管PD）上。

与此相对，如图4B所示，在CCD16的主像素（A面）及副像素（B面）上形成有遮光部件16A。在将单眼立体摄像装置10横向放置而进行摄像的情况下，通过该遮光部件16A而对主像素、副像素（光电二极管PD）受光面的右半部或左半部进行遮光。或者，在将单眼立体摄像装置10纵向放置而进行摄像的情况下，通过该遮光部件16A而对主像素、副像素（光电二极管PD）的受光面的上半部或下半部进行遮光。在从微透镜L的光轴Z向右、左、上或下各方向（例如在图4B中为光轴的左方）偏移规定量Δ的位置，设有遮光部件16A的开口16B。光束穿过开口16B而到达光电二极管PD的受光面。即，遮光部件16A具有作为光瞳分割部件的作用。

此外，对于主像素和副像素，由遮光部件16A对光束进行限制的区域（右半部/左半部或上半部/下半部）不同。例如，对于主像素，限制光束的左半部，而对于副像素，限制光束的右半部，由此可从主像素得到右视点图像，而从副像素得到左视点图像。或者，对于主像素限制光束的上半部，而对于副像素限制光束的下半部，由此可从主像素得到下视点图像，而从副像素得到上视点图像。上述结构的CCD16构成为，对于主像素和副像素，由遮光部件16A对光束进行限制的区域（右半部、左半部）不同，但CCD16的结构并不限定于此，也可以不设置遮光部件16A，而使微透镜L和光电二极管PD相对地在左右方向错开，通过该错开的方向对入射到光电二极管PD的光束进行限制，另外，还可以通过相对于2个像素（主像素和副像素）设置1个微透镜，从而限制入射到各像素的光束，或通过反射镜进行光瞳分割（例如图13）。

返回图1，蓄积在CCD16中的信号电荷，基于从CCD控制部32施加的读取信号而作为与信号电荷相对应的电压信号读取。从CCD16读取的电压信号向模拟信号处理部18输出，在其中对各像素的R、G、B信号进行采样保持，在放大后向A/D变换器20输出。A/D变换器20将依次输入的R、G、B信号变换为数字R、G、B信号，并输出至图像输入控制器22。

数字信号处理部24对经由图像输入控制器22输入的数字图像信号，进行补偿处理、包含白平衡校正及感光度校正在内的增益控制处理、γ校正处理、YC处理等规定的信号处理。

在这里，如图2（B）及（C）所示，从CCD16的奇数线的主像素（A面）读取的主像素数据作为左视点图像数据进行处理，从偶数线的副像素（B面）读取的副像素数据作为右视点图像数据进行处理。

由数字信号处理部24处理后的左视点图像数据及右视点图像数据（3D图像数据）被输入VRAM50。在VRAM50中包含分别对表示1个场景的3D图像的3D图像数据进行存储的A区域和B区域。在VRAM50中，在A区域和B区域交互地刷新用于表示1个场景的3D图像的3D图像数据。从VRAM50的A区域及B区域中的除了进行3D图像数据刷新的一个区域之外的区域，读取所写入的3D图像数据。从VRAM50读取的3D图像数据，在视频编码器28中进行编码，输出至设置于照相机背面的立体显示用的液晶监视器（LCD）30，由此，将3D被摄体像显示在液晶监视器30的显示画面上。

该液晶监视器30是立体显示单元，其可以通过视差屏障将立体观看图像（左视点图像及右视点图像）分别显示为具有规定指向性的指向性图像，但并不限定于此，也可以是使用双凸透镜的单元，或是能够通过配戴偏光眼镜、液晶快门眼镜等专用眼镜而单独观看左视点图像和右视点图像的单元。

另外，如果对操作部38的快门按钮进行第1阶段的按下（半按），则CPU40进行控制，开始AF动作及AE动作，经由透镜驱动部36，使摄像透镜12内的聚焦透镜到达合焦位置。另外，在半按快门按钮时，从A/D变换器20输出的图像数据被输入AE检测部44。

在AE检测部44中，对图像整体的G信号进行积分，或对在画面中央部和周边部进行不同加权的G信号进行积分，将该积分值输出至CPU40。CPU40根据从AE检测部44输入的积分值计算被摄体的明亮度（拍摄Ev值），基于该拍摄Ev值，按照规定的程序框图确定光圈14的光圈值及相位差CCD16的电子快门（快门速度），基于该确定的光圈值，经由光圈驱动部33对光圈14进行控制，并且，基于所确定的快门速度，经由CCD控制部32对CCD16中的电荷蓄积时间进行控制。

AF处理部42是进行对比度AF处理或相位差AF处理的部分。在进行对比度AF处理的情况下，提取左视点图像数据及右视点图像数据的至少一个图像数据中的规定聚焦区域内的图像数据的高频成分，通过对该高频成分进行积分，计算表示合焦状态的AF评价值。通过对摄像透镜12内的聚焦透镜进行控制而进行AF控制，以使得该AF评价值成为极大。另外，在进行相位差AF处理的情况下，检测左视点图像数据及右视点图像数据中的规定聚焦区域内的主像素、副像素所对应的图像数据的相位差，基于表示该相位差的信息，求出散焦量。通过对摄像透镜12内的聚焦透镜进行控制而进行AF控制，使得该散焦量变为0。

如果AE动作及AF动作结束，并且进行快门按钮22的第2阶段按下（全按），则响应该按下，从A/D变换器20输出的与主像素及副像素相对应的左视点图像（主图像）及右视点图像（副图像）这2张图像的图像数据，从图像输入控制器22输入至存储器（SDRAM）48并暂时存储。

暂时存储在存储器48中的2张图像的图像数据通过数字信号处理部24适当地读取，在其中进行包含图像数据的亮度数据及色差数据的生成处理（YC处理）在内的规定的信号处理。YC处理后的图像数据（YC数据）重新存储在存储器48中。然后，2张图像的YC数据分别被输出至压缩展开处理部26，执行JPEG（joint photographic experts group）等规定的压缩处理，然后，重新存储在存储器48中。

根据记录在存储器48中的2张图像的YC数据（压缩数据），生成多图像文件（MP文件：多个图像相连的形式的文件），该MP文件通过介质控制器52读取，记录在存储卡54中。

散焦映射图生成部61不仅针对在规定散焦区域中包含的各个小区域进行与主像素及副像素所对应的相位差计算，也针对实质上覆盖有效像素区域整体的多个小区域分别进行计算。所谓实质上覆盖有效像素区域整体的多个小区域，并不一定是完全覆盖有效像素区域的整体，只要在有效像素区域的整体范围内或密或疏地排列即可。例如，针对将有效像素区域以规定的单位（例如8×8像素）或者小于或等于该规定的单位（例如1×1像素）或者大于或等于该规定的单位（例如10×10像素）分割为矩阵状的各个分割区域，计算相位差。或者，以有效像素区域的外缘为起点，隔开规定间距（例如与1个分割区域相应的距离，或者大于或等于该距离，或者小于或等于该距离），对规定的单位分割区域计算相位差。总之，相位差是在有效像素区域的整体范围内进行计算的，但也不一定对构成有效像素区域的全部小区域进行计算。

散焦映射图生成部61基于针对上述各小区域计算出的相位差，求出与上述各小区域相对应的散焦量。将该在有效像素区域整体范围内求出的与各小区域相对应的散焦量的集合称为散焦映射图。散焦映射图生成部61具有RAM等易失性存储介质，暂时保存所求得的散焦映射图。此外，由于散焦量与被摄体距离信息等价，因此，散焦映射图与各小区域所对应的被摄体距离信息等价。散焦映射图生成部61也可以在各视点图像之间进行特征点及对应点检测，基于这些特征点及对应点间的位置信息的差，生成散焦映射图。

还原滤波器保存部62由ROM等非易失性存储介质构成，保存有与各视点图像中的各小区域的像高（与图像中心的距离，代表性的是与摄像透镜12的光轴中心L的距离）及散焦量（或者被摄体距离）相对应的还原滤波器。

还原部63由信息处理装置例如CPU40构成，利用针对各视点图像的小区域而选择的还原滤波器对该小区域进行解卷积，对所对应的视点图像的小区域进行还原。由此，能够向图像赋予与散焦量（模糊量）相对应的视差。

校正部64对由数字信号处理部24处理后的左视点图像数据及右视点图像数据进行规定的校正处理。并且，校正部64将校正处理后的左视点图像数据及右视点图像数据存储在VRAM50中。校正部64的校正处理也可以仅限于在满足特定条件的情况下执行。例如，在通过操作部38将拍摄模式设定为特定模式的情况下执行校正处理。作为特定模式，有平面模式、平面模式的全像素记录模式等。或者，也可以在满足某个特定拍摄条件的情况下执行校正处理。也可以在光圈值小于某个阈值（例如F值＝2.8）的情况下执行校正处理。

图5表示第1实施方式涉及的校正部64的详细结构。校正部64包含合成处理部64a（合成部）和校正处理部64b。此外，在第1实施方式中，校正部64和合成处理部64a（合成部）一体地构成，但在其他方式中，也可以使校正部64和合成处理部64a（合成部）单独构成。

图6是第1实施方式涉及的校正部64执行的校正处理的流程图。

在S1中，合成处理部64a通过对从主像素（A面）读取的左图像数据和从副像素（B面）读取的右图像数据进行合成，从而生成用于阴影校正的参考数据（C面）。所谓合成表示图像信号的相加。

图7是参考数据的概念说明图。如图7所示，A面的图像数据和B面的图像数据在光瞳分割方向上、在这里是左右两眼视差方向上具有对称的阴影。由此，如果对A面的图像数据和B面的图像数据进行合成，则会得到阴影消除后的参考数据。

返回图6，在S2中，校正处理部64b通过对参考数据和A面的图像数据、及参考数据和B面的图像数据进行比较，从而确定A面、B面的校正量，并基于该确定的校正量，对A面的图像数据和B面的图像数据进行阴影校正。如果存储器48能够同时保存A面、B面、参考数据，则将这些数据保存在存储器48中，在存储器中对参考数据与A面的图像数据、及参考数据与B面的图像数据进行比较、校正。

该阴影校正是使得A面的图像数据与B面的图像数据均成为与参考数据相同的明亮度的校正。其具体方法可以举出以下方法，但并不限定于此。

例如，校正处理部64b以多个小区域对参考数据进行分割，并且将A面的图像数据和B面的图像数据分割为与参考数据相同单位的小区域。校正处理部64b针对每个参考数据的小区域，计算浓度的平均值。校正处理部64b对于在A面的图像数据和参考数据这两者，针对相对应的每个小区域，计算浓度的平均值。校正处理部64b通过计算所对应的二者的小区域的浓度平均值的差值，从而确定每个小区域的校正量。并且，校正处理部64b在从A面的图像数据的各像素得到的图像数据上，加上与该像素所属小区域相对应的校正量（差值）。校正处理部64b对于B面的图像数据，也可以进行与A面同样的校正量确定和基于该校正量的校正处理。

例如，将参考数据的小区域Δi的浓度平均值设为Mi，将与其相对应的A面的图像数据的小区域δi的浓度平均值设为mi，则小区域Δi的浓度差di＝Mi－mi。在A面或B面的图像数据的某个像素P属于小区域δi，其浓度设为Yi的情况下，校正处理部64b计算Yi’＝Yi＋di，将Yi’设为校正后的像素P的浓度。

或者，校正处理部64b与上述同样地，对于A面的图像数据和参考数据这二者，针对每个小区域计算浓度平均值。校正处理部64b通过计算对应的二者的小区域的浓度平均值之比，从而确定每个小区域的校正量。并且，校正处理部64b在从A面的图像数据的各像素得到的图像数据上，加上与该像素所属的小区域相对应的校正量（浓度比）。校正处理部64b对于B面的图像数据也进行与A面同样的处理。

例如，将参考数据的小区域Δi的浓度平均值设为Mi，将与其相对应的A面的图像数据的小区域δi的浓度平均值设为mi，则小区域Δi的比ri＝Mi/mi。在A面或B面的图像数据的某个像素P属于小区域δi，其浓度设为Yi的情况下，校正处理部64b计算Yi’＝Yi*ri，将Yi’设为校正后的像素P的浓度。

或者，也可以在A面、B面的图像数据的高频成分中增加C面的图像数据的低频成分。

即，如图8所示，通过对存在阴影影响的A面、B面像素的浓度，补偿没有阴影影响的参考数据的浓度量，从而从左右视点图像中消除明暗失真。

在不需要针对A面、B面的各个像素分别求出校正量（浓度差di或浓度比ri）而进行校正的情况下，利用缩略部（未图示）将A面、B面的图像缩略至规定的尺寸，对缩略后的A面、B面的图像进行合成，生成尺寸减小的参考数据，基于该参考数据，求出与A面、B面的各小区域相对应的校正量。这时，由于参考数据与A面、B面的图像的小区域的尺寸不匹配，因此，为了使其一致，利用周围的像素对参考数据的各小区域的各像素进行插补，维持A面、B面的图像的小区域与参考数据的小区域的对应关系。并且，也可以基于针对该插补后的小区域而确定的校正量，对所对应的A面、B面图像的各小区域进行阴影校正。此外，生成尺寸减小后的参考数据的方法并不限定于上述方法。例如，也可以在将A面、B面的图像合成后，将其缩略至规定的尺寸。

在S3中，校正处理部64b将阴影校正后的左右视点图像数据存储在VRAM50中。该左右视点图像数据可以作为立体观看图像使用，也可以作为平面图像使用。例如，在设定平面图像记录模式的情况下，能够在将左右的视点图像数据合成并生成高分辨率的平面图像之后，将其压缩，得到全像素的平面图像，记录在存储卡54中。或者，在设定立体观看图像记录模式的情况下，能够将左右视点图像数据单独压缩，生成立体观看图像记录在存储卡54中。

<第2实施方式>

图9表示第2实施方式涉及的校正部64的详细结构。校正部64包含合成处理部64a、校正处理部64b、和滤波处理部64c（滤波部）。滤波处理部64c是低通滤波器，对图像数据的轮廓模糊进行抑制。

图10是第2实施方式涉及的校正部64执行的校正处理的流程图。

S11至S12与S1至S2相同。

在S13中，滤波处理部64c对从合成处理部64a输出的参考数据和A面、B面图像数据实施滤波，将滤波后的参考数据和A面、B面图像数据分别作为新的参考数据和A面、B面图像数据，输出至校正处理部64b。

在S14中，校正处理部64b对于从滤波处理部64c输出的参考数据、A面、B面图像数据，进行与S4同样的校正处理。

通过实施该滤波，能够消除A面、B面图像数据的相位差（散焦量、模糊量），能够有效地由合成实现阴影消除。此外，为了正确地求出校正量（浓度差di或浓度比ri），对于A面、B面的图像数据也同样地实施该滤波。

<第3实施方式>

图11是第3实施方式涉及的校正部64的详细结构。校正部64还包含处理控制部64d。处理控制部64d由CPU等信息处理装置构成，对应于拍摄条件及拍摄模式，控制是否执行校正处理部64b的校正处理。

图12是第3实施方式涉及的校正部64执行的校正处理的流程图。

S31与S1相同。

在S32中，处理控制部64d识别在A面、B面图像数据获取时（快门全按时）的定时CPU40等设定的拍摄条件和拍摄模式（设定信息）。拍摄条件包含摄像透镜12的变焦位置（焦距）、光圈14的光圈值等。拍摄模式有立体观看图像拍摄模式、平面图像拍摄模式、全像素记录模式等。

在S33中，处理控制部64d通过判定部（未图示）判断在A面、B面图像数据获取时设定的拍摄模式是立体观看图像拍摄模式或平面图像拍摄模式中的哪一种。在拍摄模式是立体模式的情况下结束处理，在平面模式的情况下进入S34。

在S34中，处理控制部64d判断在A面、B面图像数据获取时设定的光圈14的光圈值是比规定阈值（例如F值＝2.8）小（扩大侧）还是大（缩小侧）。在缩小侧的情况下进入S36，在扩大侧的情况下进入S35。

在S35中，处理控制部36判断A面、B面图像数据获取时设定的摄像透镜12的变焦位置与望远端和广角端间的变焦位置的中间点相比，是在广角侧还是望远侧。在广角侧的情况下进入S36，在望远侧的情况下进入S38。

S36至S37与S2至S3相同。

S38至S39与S12至S14相同。

通过以上的处理，例如，在立体模式的情况下，不进行校正处理。这是因为在立体观看图像中阴影的影响并不那么大，观察者注意不到。另外，在平面模式的情况下进行校正处理，但由于在光圈14扩大且摄像透镜12为望远侧的情况下阴影的影响较大，因此，要进行实施滤波的校正处理。此外，S33、S34、S35的分支条件是一个例子，也可以基于其他条件是否具备而进行分支。

如上所述，通过对应于有无阴影校正的必要、及阴影影响的强弱而进行校正处理，从而能够不进行多余的处理而得到良好的图像。

<第4实施方式>

第1实施方式中的2个视点CCD16也可以是获取4个视点或9个视点的相位差图像的CCD，第1至3实施方式的校正处理也可以应用于4个视点或9个视点的相位差图像。

图15是表示4个视点的CCD16的结构例的图。

如图15所示，在CCD16的受光面上配置有红、蓝或绿的彩色滤光片、与该彩色滤光片相对应的像素A、B、C、D这4个视点的像素组、以及与该4个像素相对的微透镜ML。由彩色滤光片、4个像素组、微透镜构成的受光单位以贝尔型排列。

贝尔排列的结构为，在以正方格子状形成于CCD16的半导体基板表面部的上述4个像素组上，排列红色（R，r）、绿色（G，g）、蓝色（B，b）三原色系的彩色滤光片时，在列方向交互设置红色与绿色的各滤光片交互排列而成的行、和绿色与蓝色的各滤光片交互排列而成的行。

在图15中，XY平面是CCD16的受光面，X是行方向，Y方向是列方向。从拍摄者观察，像素A、C位于左侧，像素B、D位于右侧。Z是透镜12的光轴方向，将朝向被摄体的方向（在该图中是从纸面正面朝向背面的方向）设为正向。以下将从像素A、B、C、D读取的图像数据分别称为A面图像数据、B面图像数据、C面图像数据、D面图像数据。

4个视点的情况下的校正处理如下。即，如图16所示，在S1中获取A面至D面的图像数据。在S2中，通过对全部的A面至D面的图像数据进行合成，从而得到没有阴影的参考数据X（参照图17）。在S3中，通过将该参考数据分别与A面至D面的图像数据进行比较，从而分别确定A面至D面的校正量，通过以该校正量分别对A面至D面进行校正，从而得到没有阴影的A面至D面的图像数据（参照图18）。

9个视点的CCD16的结构与专利文献4的图4及说明书第0033段等相同。如图19所例示，在CCD16的受光面上配置有红、蓝或绿的彩色滤光片、与该彩色滤光片相对应的9个视点的像素组即像素A、B、C、D、E、F、G、H、I、以及与该9个像素组相对的微透镜ML。由彩色滤光片、9个像素组、微透镜构成的受光单位以贝尔型排列。

9个视点的情况下的校正处理如下。即，如图20所示，通过在S1中，获取A面至I面的图像数据，在S2中，对全部的A面至I面的图像数据进行合成，从而得到没有阴影的参照数据（参照图21）。其中，由于在中央像素E处不存在阴影或即使有阴影也很小，因此通过对除了E面以外的A面至I面的全部图像数据进行合成，可以得到没有阴影的参考数据。也可以将E面本身设为参考数据。在S3中，通过将该参考数据分别与A面至I面的图像数据进行比较而分别确定A面至I面的校正量，并以该校正量分别对A面至I面进行校正，从而得到没有阴影的A面至I面的图像数据（参照图22）。在参考数据的合成中不使用E面的情况下，不需要进行E面的校正量确定和校正。另外，对于2个视点、4个视点、9个视点的任意CCD16，也可以同样利用缩略后的图像生成参考数据。

此外，第2实施方式的校正处理（图10）、第3实施方式的校正处理（图12）在2个视点、4个视点、9个视点的任意CCD16中也都同样地成立。

例如，在4个视点的CCD16的情况下，在第2实施方式的校正处理的S13中，将滤波处理的对象设为A至D面的图像数据，在S14中，将滤波处理后的A至D面的图像数据与滤波处理后的X面的图像数据进行比较，确定滤波处理后的A至D面的校正量，并以该校正量对滤波处理后的A至D面的图像数据进行校正。在9个视点的CCD16的情况下，在第2实施方式的校正处理S13中，将滤波处理的对象设为A至I面的图像数据，在S14中，将滤波处理后的A至I面的图像数据与滤波处理后的X面的图像数据进行比较，确定滤波处理后的A至I面的校正量，并以该校正量对滤波处理后的A至D面的图像数据进行校正。

另外，在第3实施方式的校正处理的S36至S40中，只要基于与从2个视点、4个视点或9个视点的CCD16获取的2个、4个或9个图像数据相对应的参考数据，进行与第1实施方式、第2实施方式、或这些实施方式所对应的上述变形例同样的阴影校正即可。

在设定了平面图像记录模式的情况下，能够在阴影校正后将2个、4个或9个图像数据进行合成而生成高分辨率的平面图像，然后，将其压缩，生成全像素的平面图像而记录在存储卡54中。或者，在设定立体观看图像记录模式的情况下，能够将2个、4个或9个图像数据单独压缩，生成立体观看图像而记录在存储卡54中。

此外，在立体观看图像记录模式的情况下，与从4个视点或9个视点CCD16得到的4个或9个图像数据相对应的3D图像的生成方式是任意的。在4个视点的情况下，通过生成A及C面的合成图像L、C及D面的合成图像R，从而能够生成左右方向具有视差的视差图像。或者，通过生成A及B面的合成图像U、C及D面的合成图像D，从而能够生成上下方向具有视差的视差图像。

在9个视点的情况下，通过生成A、D及G面的合成图像L和C、F及I面的合成图像R，从而能够生成左右方向具有视差的视差图像。或者，通过生成A、B及C面的合成图像U和G、H及I面的合成图像D，从而能够生成上下方向具有视差的视差图像。

此外，如果进行一般化，则本发明可用于通过光瞳分割而在上下或左右具有视差的n×n（n＝1、2、3、4…）视点的图像数据。

标号的说明

12：摄像透镜、14：光圈、16：CCD、61：散焦映射图生成部、62：还原滤波保存部、63：还原部、64：校正部。

Claims (7)

1.一种立体摄像装置，其输出通过对来自单一摄像光学系统的光束进行光瞳分割而具有相位差的多个图像，并能够从所述多个图像还原出具有与所述相位差相对应的视差的立体观看图像，

该立体摄像装置具有：

合成部，其对所述多个图像进行合成，基于由所述多个图像合成而成的图像，输出阴影校正的参考数据；

校正部，其通过对所述合成部输出的参考数据和所述多个图像分别进行比较，从而确定所述多个图像各自的阴影校正量，并基于所述确定的阴影校正量，对所述多个图像分别进行阴影校正；

获取部，其获取所述多个图像各自的拍摄时的设定信息；以及

判定部，其基于所述获取部获取的设定信息，判定是否需要所述校正部执行阴影校正，

所述校正部，在所述判定部判定为需要所述校正部执行阴影校正时，对所述多个图像分别进行阴影校正，

所述设定信息包含立体观看图像拍摄模式或平面图像拍摄模式中的任一个拍摄模式的设定信息，

所述判定部在所述拍摄模式的设定信息为平面图像拍摄模式的情况下，判定为需要所述校正部执行阴影校正，

所述判定部在所述拍摄模式的设定信息是立体观看图像拍摄模式的情况下，判定为不需要所述校正部执行阴影校正。

2.根据权利要求1所述的立体摄像装置，其中，

具有缩略部，其对所述多个图像分别进行像素缩略，

所述合成部对通过所述缩略部进行像素缩略而得到的多个图像进行合成，基于由所述多个图像合成而成的图像，输出阴影校正的参考数据，

所述校正部，通过对所述参考数据进行插补以使其与所述多个图像各自的原始尺寸一致，并对所述插补后的参考数据和所述多个图像分别进行比较，从而确定所述多个图像各自的阴影校正量，基于所述确定的阴影校正量对所述多个图像分别进行阴影校正。

3.根据权利要求2所述的立体摄像装置，其中，

具有滤波部，其由低通滤波器对所述参考数据、所述多个图像分别实施滤波并将其输出，

所述校正部通过对所述滤波部输出的参考数据和所述多个图像分别进行比较，从而确定所述多个图像各自的阴影校正量，并基于所述确定的阴影校正量，对所述多个图像分别进行阴影校正。

4.根据权利要求1所述的立体摄像装置，其中，

所述设定信息包含光圈的设定信息，

所述判定部在所述光圈的设定信息与规定的光圈值相比为缩小侧的情况下，判定为需要所述校正部执行阴影校正。

5.根据权利要求4所述的立体摄像装置，其中，

所述设定信息包含变焦位置的设定信息，

所述判定部在所述光圈的设定信息与规定的光圈值相比为扩大侧且所述变焦位置的设定信息与规定的变焦位置相比为广角侧的情况下，判定为需要所述校正部执行阴影校正。

6.根据权利要求5所述的立体摄像装置，其中，

具有滤波部，其由低通滤波器对所述参考数据、所述多个图像分别实施滤波并将其输出，

所述判定部在所述光圈的设定信息与规定的光圈值相比为扩大侧且所述变焦位置的设定信息与规定的变焦位置相比为望远侧的情况下，判定为需要所述校正部执行阴影校正，

所述校正部，在所述判定部判定为需要所述校正部执行阴影校正时，对所述滤波部输出的参考数据和所述多个图像分别进行比较，从而确定所述多个图像各自的阴影校正量，并基于所述确定的阴影校正量，对所述多个图像分别进行阴影校正。

7.一种阴影校正方法，其输出通过对来自单一摄像光学系统的光束进行光瞳分割而具有相位差的多个图像，并能够从所述多个图像还原出具有与所述相位差相对应的视差的立体观看图像，

该阴影校正方法具有以下步骤：

对所述多个图像进行合成，基于从所述多个图像合成的图像，输出阴影校正的参考数据的步骤；

通过对在上述步骤中输出的参考数据和所述多个图像分别进行比较，从而确定所述多个图像各自的阴影校正量，并基于所述确定的阴影校正量，对所述多个图像分别进行阴影校正的步骤；

获取所述多个图像各自的拍摄时的设定信息的步骤；以及

基于所获取的设定信息，判定是否需要执行阴影校正的步骤，

在判定为需要执行阴影校正时，对所述多个图像分别进行阴影校正，

所述设定信息包含立体观看图像拍摄模式或平面图像拍摄模式中的任一个拍摄模式的设定信息，

在所述拍摄模式的设定信息为平面图像拍摄模式的情况下，判定为需要执行阴影校正，

在所述拍摄模式的设定信息是立体观看图像拍摄模式的情况下，判定为不需要执行阴影校正。