CN103039066B - 成像装置、图像处理装置以及图像处理方法 - Google Patents

Abstract

一种根据本发明一个方面的图像处理装置，包括：视差量计算模块，计算基于来自第一成像像素组的像素信号的第一平面图像和基于来自第二成像像素组的像素信号的第二平面图像的每个部分的视差量，所述视差量是通过使用包括第一和第二成像像素组的图像拾取装置拍摄对象的图像获得的，其中每个成像像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换；确定模块，确定在第一和第二平面图像中具有大于阈值的视差量的部分为模糊部分；模糊处理模块，对第一和第二平面图像中的模糊部分执行模糊处理；高分辨率平面图像生成模块，通过在模糊处理之后将第一和第二平面图像彼此组合来生成高分辨率平面图像。

Description

成像装置、图像处理装置以及图像处理方法

技术领域

本发明涉及一种能够通过使用单个成像光学系统来生成包括多个视点的平面图像的立体图像的成像装置，并且涉及一种通过利用所述成像装置获得的多个视点的平面图像来执行图像处理的图像处理装置和图像处理方法。

背景技术

常规地，能够通过使用单个成像光学系统来生成包括多个视点的平面图像的立体图像的成像装置是公知的。

专利文献1公开了一种包括单个成像光学系统并且通过旋转光圈执行光瞳分割来生成立体图像的配置。

专利文献2公开了一种包括用微镜头阵列来分割光瞳并且控制相位差聚焦的单个成像光学系统的配置。

专利文献3公开了一种包括单个成像光学系统的成像装置以及一种布置有第一像素组和第二像素组的图像拾取装置，其中每个像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换，以生成包括通过第一像素组获得的平面图像和通过第二像素组获得的平面图像的立体图像。

专利文献4描述了：在专利文献3描述的成像装置中，第一像素的输出和第二像素的输出彼此相加。

专利文献5公开了一种图像被分割成多个区域并且仅对亮度水平低的特定区域或类似区域增加像素的配置。

引用列表

专利文献

专利文献1：国际专利申请No.2009-527007的国家公布

专利文献2：日本专利申请特许公开No.4-267211

专利文献3：日本专利申请特许公开No.10-42314

专利文献4：日本专利申请特许公开No.2008-299184

专利文献5：日本专利申请特许公开No.2007-251694

发明内容

技术问题

在能够通过使用单个成像光学系统来生成包括多个视点的平面图像的立体图像的成像装置（在下文中，称作“单眼3D成像装置”）中，当从多个视点的平面图像生成高分辨率图像时，在高分辨率平面图像内的非聚焦区域中生成噪声图。在下文中对生成这种噪声图的机制给出描述。

首先，参考图18A，对通过使用不执行光瞳分割的单眼成像装置拍摄三个对象9₁、9₂以及9₃的情况进行描述。在形成于图像拾取装置16上的三个图像9_1a、9_2a以及9_3a中，仅位于焦平面D上的对象9₂的图像9_2a聚焦于图像拾取装置16上。由于对象9₁与摄像镜头12之间的距离大于对象9₁与焦平面D之间的距离，并且由于对象9₁的聚焦图像9_1d形成在比图像拾取装置16更接近摄像镜头12的位置处，从而对象9₁的图像9_1a导致模糊的图像。由于对象9₃与摄像镜头12之间的距离小于对象9₃与焦平面D之间的距离，并且由于聚焦图像9_3d形成在比图像拾取装置16距离摄像镜头12更远的位置处，从而对象9₃的图像9_3a也导致模糊的图像。

随后，对使用光瞳分割型单眼3D成像装置拍摄三个对象9₁、9₂以及9₃的情况进行描述。在根据本示例的单眼3D成像装置中，存在两种情况：即，如图18B所示，摄像镜头12的光瞳仅限于快门9₅所摄的上方区域处的位置；以及如图18C所示，摄像镜头12的光瞳仅限于快门9₅所摄的下方区域处的位置。如上文所述，在单眼3D成像装置中，在图像拾取装置16上形成的模糊量和图像的位置与在如图18A所示的单眼成像装置中的情况不同。即，在图18B所示的状态下，与在没有光瞳分割的情况（图19A）下的对象9₁的图像9_1a相比较，在对象9₁的图像9_1b中，模糊量变小并且图像位置转向如图19B所示的附图中的下方位置。此外，在对象9₃的图像9_3b中，模糊量变小并且图像位置转向附图中的上方区域。在图18C所示的状态下，与在没有光瞳分割的情况（图19A）下的对象9₁的图像9_1a相比较，在对象9₁的图像9_1c中，模糊量变小并且图像位置转向如图19C所示的附图中的上方位置。此外，在对象9₃的图像9_3c中，模糊量变小并且图像位置转向附图中的下方区域。

在如上文所述的单眼3D成像装置中，当图19B所示的图像和图19C所示的图像彼此组合以生成高分辨率平面图像时，由于图像9_1b、图像9_1c、图像9_3b以及图像9_3c的图像位置彼此不同，从而导致阶梯状噪声图。即，具有在高分辨率平面图像中的模糊区域内生成由视差导致的噪声图的问题。

专利文献1-5没有公开确保高分辨率平面图像中的高分辨率并且保证消除由于视差引起的噪声图的任何配置。

在专利文献4中所描述的配置中，由于相邻像素简单地彼此组合，从而具有由于像素增加从而所聚焦的主要对象的分辨率降低的问题。例如，在组合两个像素的情况下，分辨率降低到1/2。专利文献5没有公开能够生成立体图像的单眼3D成像装置。此外，对能够防止由于视差引起的噪声图的配置没有给出描述。

鉴于上述问题提出了本发明。本发明的目的在于提供一种成像装置、图像处理装置以及图像处理方法，其能够确保通过组合包括视差的多个平面图像所形成的高分辨率平面图像内所聚焦的主要对象的区域中的分辨率，并且可靠地消除由于视差引起的噪声图。

技术方案

为了实现该目的，本发明的一个方面提供了一种成像装置，包括：单个成像光学系统；图像拾取装置，具有第一成像像素组和第二成像像素组，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量执行光电转换；立体图像生成部，生成立体图像，所述立体图像包括基于来自所述第一成像像素组的像素信号的第一平面图像和基于来自所述第二成像像素组的像素信号的第二平面图像；视差量计算部，计算所述第一平面图像和所述第二平面图像的每个部分中的视差量；确定部，确定在所述第一平面图像和所述第二平面图像中具有大于阈值的视差量的部分为模糊部分；模糊处理部，对所述第一平面图像和所述第二平面图像中的所述模糊部分执行模糊处理；以及高分辨率平面图像生成部，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。模糊“部分”的像素的数量不受限制。可对每个区域或像素进行模糊的确定和模糊处理。

即，对第一平面图像和第二平面图像中光通量大于阈值的部分进行模糊处理。因此，在通过将包括视差的第一平面图像和第二平面图像组合所形成的高分辨率平面图像中，确保在所聚焦的主要对象部分中的分辨率，并且可靠地消除由视差导致的噪声图。

对像素值取平均值和进行滤波处理可被用作模糊处理。可以使用另一种模糊处理。

根据本发明的另一个方面，所述视差量计算部计算所述第一平面图像和所述第二平面图像中的每个像素的视差量，所述确定部确定具有大于所述阈值的视差量的像素为模糊像素，并且所述模糊处理部拾取包括所述第一平面图像中的像素和所述第二平面图像中的像素的像素对，每个像素对作为对象与所述图像拾取装置中被布置为彼此相邻的的第一成像像素和第二成像像素相对应，并执行对包括所述模糊像素的所述像素对中的像素之间的像素值取平均值。

此外，本发明的另一方面提供了一种成像装置，包括：单个成像光学系统；图像拾取装置，具有第一成像像素组和第二成像像素组，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量执行光电转换；立体图像生成部，生成立体图像，所述立体图像包括基于来自所述第一成像像素组的像素信号的第一平面图像和基于来自所述第二成像像素组的像素信号的第二平面图像；模糊量差计算，计算所述图像拾取装置的成像像素几何布置中的共同部分之间的模糊量的差，所述模糊量的差是所述第一平面图像的每个部分与所述第二平面图像的每个部分之间的模糊量的差；模糊处理部，对所述第一平面图像和所述第二平面图像中具有大于阈值的模糊量的差的绝对值的部分执行模糊处理；以及高分辨率平面图像生成部，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。由于第一平面图像和第二平面图像中的成像元件彼此不同，从而术语“成像像素几何布置中的共同部分”并不意味着完全相同的部分，而是意味着彼此交叠或像素被布置为彼此相邻的区域。

即，对模糊量的差大于阈值的区域进行模糊处理。因此，在通过将包括视差的第一平面图像和第二平面图像组合所形成的高分辨率平面图像中，确保在所聚焦的主要对象部分中的分辨率，并且可靠地消除由视差导致的噪声图。

根据本发明的另一方面，所述模糊量差计算部计算在所述像素对中包括的像素之间的锐度差作为模糊量差。

根据本发明的另一方面，所述模糊处理对具有大于所述阈值的模糊量的差的绝对值的部分中的像素值取平均值或进行滤波处理。

根据本发明的另一方面，所述模糊量差计算部拾取与在所述图像拾取装置中被布置为彼此相邻的第一成像像素和第二成像像素相对应的每个像素对作为对象，所述对象是所述第一平面图像的像素和所述第二平面图像的像素的像素对，并计算在所述像素对中包括的像素之间的模糊量的差，并且所述模糊处理部对具有大于所述阈值的模糊量的差的绝对值的所述像素对中的像素之间的像素值取平均值。

根据本发明的另一方面，所述模糊量差计算部拾取与在所述图像拾取装置中被布置为彼此相邻的第一成像像素和第二成像像素相对应的每个像素对作为对象，所述对象是所述第一平面图像的像素和所述第二平面图像的像素的像素对，并计算在所述像素对中包括的像素之间的模糊量的差，并且所述模糊处理部仅对具有大于所述阈值的模糊量的差的绝对值的所述像素对中具有较小模糊量的像素执行所述滤波处理。即，仅对所述像素对中模糊量较小的像素进行所述滤波处理，而不对所述像素对中模糊量较大的像素进行滤波处理。因此，在可靠地消除视察所导致的噪声图的同时，防止模糊量扩展到最小值。

根据本发明的另一方面，所述模糊处理部至少基于所述模糊量差来确定滤波器系数。

根据本发明的另一方面，所述成像装置具有用于生成所述高分辨率平面图像的高分辨率平面图像成像模式、用于生成具有比所述高分辨率平面图像的分辨率低的分辨率的低分辨率平面图像的低分辨率平面图像成像模式、以及用于生成所述立体图像的立体图像成像模式，并且当设定了所述高分辨率平面图像成像模式时，生成所述高分辨率平面图像。

根据本发明的另一方面，所述成像装置具有用于生成所述高分辨率平面图像的平面图像成像模式、用于生成所述立体图像的立体图像成像模式，并且当设定了所述平面图像成像模式时，生成所述高分辨率平面图像。

根据本发明的另一方面，所述图像拾取装置的所述像素几何布置为蜂窝排列。

根据本发明的另一方面，所述图像拾取装置的所述像素几何布置为拜耳排列。

根据本发明的另一方面，提供了一种图像处理装置，包括：视差量计算部，计算基于来自第一成像像素组的像素信号的第一平面图像和基于来自第二成像像素组的像素信号的第二平面图像的每个部分的视差量，所述视差量是通过使用包括所述第一成像像素组和所述第二成像像素组的图像拾取装置拍摄对象的图像获得的，其中每个成像像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换；确定部，确定在所述第一平面图像和所述第二平面图像中具有大于阈值的视差量的部分为模糊部分；模糊处理部，对所述第一平面图像和所述第二平面图像中的所述模糊部分执行模糊处理；以及高分辨率平面图像生成部，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。

本发明的另一方面提供了一种图像处理装置，包括：模糊量差计算部，计算图像拾取装置的成像像素几何布置中的共同部分之间的模糊量的差，所述模糊量的差是基于第一成像像素组的像素信号的第一平面图像的各个部分与基于第二成像像素组的像素信号的第二平面图像的各个部分之间的模糊量的差，并且所述模糊量的差是通过使用包括所述第一成像像素组和所述第二成像像素组的图像拾取装置拍摄对象的图像获得的，其中每个成像像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换；模糊处理部，对所述第一平面图像和所述第二平面图像中具有大于阈值的模糊量的差的绝对值的部分执行模糊处理；以及高分辨率平面图像生成部，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。

此外，本发明的另一方面提供了一种图像处理方法，包括：当使用具有第一成像像素组和第二成像像素组的图像拾取装置拍摄对象的图像时，从基于所述第一成像像素组的像素信号的第一平面图像和基于所述第二成像像素组的像素信号的第二平面图像生成高分辨率平面图像的步骤，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量执行光电转换；计算所述第一平面图像和所述第二平面图像的每个部分的视差量的步骤；确定在所述第一平面图像和所述第二平面图像中具有大于阈值的视差量的部分为模糊部分的步骤；对所述第一平面图像和所述第二平面图像中的所述模糊部分执行模糊处理的模糊处理步骤；以及通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像的步骤。

此外，本发明的另一方面提供了一种图像处理方法，包括：当使用具有第一成像像素组和第二成像像素组的图像拾取装置拍摄对象的图像时，从基于所述第一成像像素组的像素信号的第一平面图像和基于所述第二成像像素组的像素信号的第二平面图像生成高分辨率平面图像的步骤，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量执行光电转换；模糊量差计算步骤，计算所述图像拾取装置的成像像素几何布置中的共同部分之间的模糊量差，该模糊量差为所述第一平面图像的每个部分与所述第二平面图像的每个部分之间的模糊量差；模糊处理步骤，对所述第一平面图像和所述第二平面图像中具有大于阈值的模糊量差的绝对值的部分执行模糊处理；以及通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像的步骤。

技术效果

根据本发明，确保在通过组合包括视差的多个平面图像形成的高分辨率平面图像中所聚焦的主要对象部分中的分辨率，并且可靠地消除了由于视差所导致的噪声图。

附图说明

{图1}图1是示出了根据本发明的成像装置的硬件配置的示例的方框图。

{图2A}图2A示出了图像拾取装置的配置的示例。

{图2B}图2B示出了图像拾取装置（主像素）的配置的示例。

{图2C}图2C示出了图像拾取装置（副像素）的配置的示例。

{图3}图3示出了成像像素。

{图4A}图4A是图3中的基本部分（普通像素）的放大图。

{图4B}图4B是图3中的基本部分（相位差像素）的放大图。

{图5}图5是根据第一实施例的成像装置的基本部件的方框图。

{图6}图6是示出了RAW图像、左图像、右图像以及视差映射的视图。

{图7}图7是示出了根据第一实施例的图像处理流程的示例的流程图。

{图8}图8是示出了视差映射生成的处理流程的流程图。

{图9}图9是示出了视差量的幅度与模糊量的大小之间的关系的视图。

{图10}图10是根据第二实施例的成像装置的基本部件的方框图。

{图11}图11是示出了根据第二实施例的图像处理流程的示例的流程图。

{图12}图12示出了拉普拉斯滤波器的滤波器几何形状的示例。

{图13}图13是根据第三实施例的成像装置的基本部件的方框图。

{图14}图14是示出了锐度的差|k|与高斯滤波器的参数α之间的关系的图表。

{图15}图15是示出了根据第三实施例的图像处理流程的示例的流程图。

{图16}图16是示出了成像模式选择处理的流程的流程图。

{图17A}图17A示意性示出了拜耳阵列的示例。

{图17B}图17B示意性示出拜耳阵列的另一示例。

{图18A}图18A是示出了不具有光瞳分割的成像系统的基本部件的视图。

{图18B}图18B是示出了具有光瞳分割的单眼3D成像系统的基本部件的视图。

{图18C}图18C是示出了具有光瞳分割的单眼3D成像系统的基本部件的视图。

{图19A}图19A示意性示出了不具有光瞳分割的成像系统的成像方式的视图。

{图19B}图19B示意性示出了具有光瞳分割的3D单眼成像系统的成像方式的视图。

{图19C}图19C示意性示出了具有光瞳分割的3D单眼成像系统的成像方式的视图。

具体实施方式

下面将参考附图来详细描述本发明的实施例。

<成像装置的整体配置>

图1是示出了根据本发明实施例的成像装置10的实施模式的方框图。

成像装置10拍摄图像并且将其该图像记录在记录媒体54上。该设备的全部操作一般由中央处理单元（CPU）40来控制。

成像装置10具有操作单元38，其包括快门按钮、模式盘、再现按钮、菜单/确认键、箭头键、返回键等。从操作单元38输出的信号被输入CPU40。CPU40基于输入信号来控制成像装置10上的每个电路。例如，CPU40执行镜头驱动控制、光圈驱动控制、成像操作控制、图像处理控制、图像数据的记录/再现控制、3D显示器的液晶显示器（LCD）30的显示控制等。

快门按钮是用于输入成像开始的指令的操作按钮。快门按钮包括两阶敲击型开关，其具有当快门按钮按下一半时打开的S1开关和当快门按钮完全按下时打开的S2开关。模式盘是用于执行选择操作以选择与本发明相关的2D成像模式、3D成像模式、自动成像模式、手动成像模式、场景位置（例如人物、风景、夜景）、微距模式、视频模式以及视差优先成像模式的操作组件。

再现按钮是用于将显示模式切换到再现模式以在液晶显示器30上显示所拍摄和记录的静态或动态立体图像（3D图像）或平面图像（2D图像）的按钮。菜单/确认键是具有作为菜单按钮（给出在液晶显示器30的屏幕上显示菜单的指令）和作为确认按钮（给出用于确定和执行所选择项的指令）的功能的操作键。箭头键是用作按钮的操作部件（用于光标移动操作的操作组件），以输入上/下、左/右四个方向的指令，用于从菜单屏幕选择用于给出从菜单选择各种设定选项的指令的选项。箭头键的上/下键在成像期间用作变焦开关或在再现模式期间用作再现变焦开关，并且左/右键在再现模式期间用作帧前进按钮（向前/向后）。返回键用于删除所期望的选项（例如所选择的选项或指令），或用于返回到一个之前的操作模式。

在成像模式中，表示对象的图像光束通过摄像镜头12（成像光学系统）和光圈14在图像拾取装置16（其为固态图像感测装置）的受光面上形成图像，所述摄像镜头12包括聚焦镜头和变焦镜头。由CPU40所控制的镜头驱动单元36来驱动摄像镜头12，以执行聚焦控制、变焦控制等。光圈14例如包括五个光圈叶片。光圈14例如被由CPU40控制的光圈驱动单元34所驱动。在F1.4-F11的光圈值范围内以1AV的间隔来六步控制光圈14。

此外，CPU40经由光圈驱动单元34来控制光圈14，经由成像控制单元32来控制图像拾取装置16的电荷积累时间（快门速度），并且控制从图像拾取装置16读取的图像信号。

<单眼3D图像拾取装置的配置的示例>

图2A-图2C的每一幅图均示出了图像拾取装置16的配置的示例。

图像拾取装置16包括被布置在奇数行中的成像像素（在下文中称作“主像素”）和被布置在偶数行中的成像像素（在下文中称作“副像素”），所述成像像素以矩阵形状排列。图像信号形成两个平面，每个平面由可被分别读取的主像素和副像素进行光电转换。

如图2B所示，在图像拾取装置16的奇数行（1,3,5…）中，在具有R（红色）、G（绿色）以及B（蓝色）的彩色滤光器的像素中，交替地形成布置有GRGR..像素的线以及布置有BGBG…像素的线。同时如图2C所示，在偶数行（2,4,6…）中的像素中，与奇数线相同地，交替地形成布置有GRGR..像素的线以及布置有BGBG…像素的线，并且在关于偶数行的像素的行方向上，每个像素布置为被部署取值的一半取值所取代。即，图像拾取装置16上的像素以蜂窝几何布置进行排列。

图3示出一个像素，其包括摄像镜头12、光圈14、图像拾取装置16上的主像素PDa以及副像素PDb。图4A和图4B的每幅图均示出图3中的基本部分。

如图4A所示，穿过出射光瞳的光通量经由微透镜L进入普通图像拾取装置的像素（光电二极管PD），而没有受到任何限制。

相反地，在图像拾取装置16的主像素PDa和副像素PDb上，形成有遮光组件16A，并且主像素PDa和副像素PDb上的受光面的左半边和右半边被遮光组件16A所遮光。即，遮光组件16A具有作为光瞳分割组件的功能。

在图像拾取装置16的配置中，主像素PDa和副像素PDb被配置为使得光通量受到遮光组件16A限制的区域（左半边、右半边）彼此不同；但是本发明不限于上述内容。例如，微透镜L和光电二极管PD（PDa、PDb）在水平方向上可以相对设置，而并不形成遮光组件16A，从而限制进入到光电二极管PD的光通量；或可以为两个像素（主像素和副像素）提供一个微透镜，从而限制进入到像素的光通量。

返回图1，读取在图像拾取装置16上积累的信号电荷，作为与基于由成像控制单元32施加的读取信号的信号电荷相对应的电压信号。从图像拾取装置16读取的电压信号被施加到模拟信号处理部18，在这里，每个像素的R、G和B信号被保持为采样并且被放大到CPU40所指定的增益（等同于ISO灵敏度）以施加至A/D转换器20。A/D转换器20将输入R、G以及B信号依序转换成数字R、G以及B信号并且将其输出到图像输出控制器22。

数字信号处理部24对经由图像输入控制器22输入的数字图像信号执行预定信号处理，例如偏移处理、白平衡校正、包括灵敏度校正的增益/控制处理、伽马校正处理、同步处理（颜色插值处理）、YC处理、对比度强化处理以及轮廓校正处理。

EEPROM（电可擦除可编程只读存储器）56是非易失性存储器，其存储用于相机控制程序、关于图像拾取装置16的缺陷的信息、图像处理等的各种参数、表格以及程序图。

如图2B和图2C所示，从图像拾取装置16上的奇数行中的主像素读取的主图像数据被处理作为左视图的平面图像（在下文中，称作“左图像”），而从偶数行中的副像素读取的副图像数据被处理作为右视图的平面图像（在下文中，称作“右图像”）。

将左图像和右图像输入VRAM（视频随机存取存储器）50，其中左图像和右图像均由数字信号处理部24进行处理。VRAM50包括A-区域和B-区域，其中每个区域存储表示一个帧的三维（3D）图像的3D图像数据。在VRAM50中，表示一个帧的3D图像的3D图像数据可选地被重写在A区域和B区域上。在VRAM50中的A区域和B区域中，从除了重写3D图像数据的区域之外的一个区域读取一条写入的3D图像数据。从VRAM50读取的3D图像数据被视频编码器28进行编码并且输出到设置在相机后侧处的3D显示器的液晶显示器30。由此，在液晶显示器30的显示屏上显示3D对象的图像。

液晶显示器30是能够显示立体图像（右图像和左图像）作为方向图像的3D显示装置，其中每个方向图像具有带有视差屏障的预定指引属性。3D显示装置不限于上述内容。例如，可以采用这样一种3D显示装置，其中使用透镜镜头或用户佩戴诸如偏振眼镜或液晶快门眼镜的专业眼镜，以分别识别左图像和右图像。

当操作单元38上的快门按钮按下到第一阶（按下快门的一半）时，图像拾取装置16开始AF（自动聚焦调节）操作和AE（自动曝光）操作，并且控制摄像镜头12中的聚焦镜头，以经由镜头驱动单元36定位在聚焦位置处。当操作单元38上的快门按钮按下一半时，由AE检测部44接收从A/D转换器20输出的图像数据。

AE检测部44对整个屏幕的G信号或在屏幕的中央区域和周边区域中具有不同的权重的G信号进行积分，并且将积分值输出到CPU40。CPU40基于从AE检测部44输入的积分值来计算对象的亮度（成像EV值），并且根据预定程序图基于成像EV值来确定光圈14的光圈值和图像拾取装置16的电子快门（快门速度）。CPU40基于所确定的光圈值经由光圈驱动单元34来控制光圈14，并且基于所确定的快门速度经由成像控制单元32来控制图像拾取装置16上的电荷积聚时间。

AF处理部42执行对比度AF处理或相位AF处理。当执行对比度AF处理时，AF处理部42提取至少左图像数据和右图像数据的至少一个图像数据中的预定焦距区域内的图像数据的高频成分，并且通过积分高频成分来计算表示聚焦状态的AF估计值。通过控制摄像镜头12内的聚焦镜头来控制AF，从而AF估计值为最大值。当执行相位AF处理时，AF处理部42检测与左图像数据和右图像数据中的预定聚焦区域内的主像素和副像素相对应的图像数据中的相位差，并且基于表示相位差的信息来计算散焦量。通过控制摄像镜头12内的聚焦透镜来进行AF控制，使得散焦量为零。

当AE操作和AF操作已经完成并且快门按钮被按下两阶（完全压下）时，响应于此压下，将两幅图像（即与从A/D转换器20输出的主像素和副像素相对应的左图像和右图像）的一条图像数据输入到来自图像输入控制器22的存储器（SDRAM：同步动态随机存取存储器）48并且临时存储在其中。

通过数字信号处理部24适当地读出临时存储在存储器48中的两幅图像的图像数据，并且该图像数据经历包括图像数据的亮度数据和色差数据生成处理（YC处理）的预定信号处理。YC处理后的图像数据（YC数据）被再次存储在存储器48中。之后，将两幅图像的YC数据分别输出到压缩-扩展处理部26，并且在该数据经历诸如JPEG（联合图像专家组）的预定压缩处理之后，将该数据再次存储在存储器48中。

从存储在存储器48中的两幅图像的YC数据（压缩数据）生成多图文件（MP文件：其中多幅图像彼此结合的文件）。经由媒体接口（媒体I/F）52读出MP文件并且将其记录在记录媒体54中。

在下文中将对根据本发明的成像装置的某些实施例进行描述。

<第一实施例>

图5是根据第一实施例的成像装置10a的基本部件的方框图。在图5中，分别对与图1示出的元件相同的元件给出相同的附图标记和文字，并且对于上文已经描述的选项，在此处将省略其描述。

具体而言，如图1所示，根据第一实施例的单眼3D成像系统17包括摄像镜头12、光圈14、图像拾取装置16、模拟信号处理部18以及A/D转换器20。即，单眼3D成像系统17包括单个摄像镜头12（成像光学系统）和具有主像素组和副像素组的图像拾取装置16，其中每个像素组对穿过摄像镜头12中的不同区域的光通量执行光电转换。

单眼3D成像系统17拍摄对象的图像并且生成RAW图像，通过从图2B示出的主像素（第一成像像素）组输出的像素信号和从图2C示出的副像素（第二成像像素）组输出的像素信号形成所述RAW图像。RAW图像中的像素（被称作“图像像素”）的几何布置与图2A所示的成像像素（光电二极管PD）的几何布置相对应。

如图1所示，DSP（数字信号处理器）60包括数字信号处理部24。在图5中，CPU40和DSP60分别示出为分离元件，但是它们也可以集成地配置。此外，DSP60的器件的一部分可以包括CPU40。

如图6所示，像素分离部61将RAW图像80分离，在RAW图像80中图2A所示的像素与对应于图2B所示的主像素组的像素几何布置的左图像80L（第一平面图像）和对应于图2C所示的副像素组的像素几何布置的右图像80R（第二平面图像）的位置相对应。

如图6所示，视差映射生成部62检测表示左图像80L和右图像80R之间的相同对象的相同点的两个像素的对应关系，计算具有对应关系的像素之间的视差量ΔX，以生成表示像素与视差量ΔX之间的对应关系的视差映射88。换言之，视差映射生成部62计算左图像80L和右图像80R的每个部分中的视差量。

例如，计算图6中的左图像80L的像素P1a与右图像80R的像素P2b之间的x方向上的坐标值的差ΔX作为视差量。根据第一实施例的第一视差映射88与左图像80L的像素几何布置相对应并且表示左图像80L中的每个像素的视差量。

模糊像素确定部63基于由视差映射生成部62所生成的视差映射88将阈值与左图像80L和右图像80R中的每个像素的视差量（绝对值）相比较，并且确定具有比阈值大的视差量（绝对值）的像素为模糊像素。即，模糊像素确定部63确定在每个像素对中是否至少一个像素模糊，所述像素对是包括左图像80L的像素和右图像80R的像素的像素对，并且与和图像拾取装置16中位置彼此相邻的主像素和副像素相对应。例如，在图6中，左图像80L的像素P1a与右图像80R的像素P1b形成像素对；并且左图像80L的像素P2a与右图像80R的像素P2b形成像素对。换言之，模糊像素确定部63确定，在左图像80L和右图像80R中，视差量比阈值大的部分为模糊部分。

模糊平均处理部64对与主像素和副像素（在图像拾取装置16中被定位成彼此相邻的对象）相对应的每个像素对执行模糊处理，以使得对于包括模糊像素的像素对来说，像素对中包括的多个像素之间的模糊量相同；同时没有对不包括任何模糊像素的像素对执行模糊处理。例如，在图6中，在左图像80L的像素P1a与右图像80R的像素P1b之间对像素值进行平均；同时在左图像80L的像素P2a与右图像80R的像素P2b之间对像素值进行平均。换言之，模糊平均处理部64对左图像80L和右图像80R中的模糊部分执行模糊处理。

高分辨率图像处理部65将左图像80L和右图像80R彼此组合，其中左图像80L和右图像80R已经经历模糊平均处理部64进行的平均处理，以生成高分辨率平面图像（在下文中，“高分辨率平面图像”）作为重组的RAW图像。在这里，高分辨率平面图像是与如图2A所示的图像拾取装置16上的所有像素的像素几何布置对应的平面图像数据。根据第一实施例，高分辨率平面图像具有为左图像（或右图像）的分辨率两倍的分辨率。

立体图像处理部66对包括并未经历模糊平均处理部64的平均处理的左图像80L和右图像80R的立体图像执行图像处理。左图像80L是一条与图2B所示的主像素PDa的像素几何布置对应的平面图像数据；而右图像80R是一条与图2C所示的副像素PDb的像素几何布置对应的平面图像数据。

YC处理部67将具有R、G以及B像素信号的图像转换成具有Y和C图像信号的图像。

如图5所示，生成具有R、G以及B像素信号的2D图像（高分辨率平面图像、2D低分辨率图像）的2D图像生成装置包括像素分离部61、视差映射生成部62、模糊像素确定部63、模糊平均处理部64以及高分辨率图像处理部65。如图5所示，生成具有R、G以及B像素信号的立体图像的3D图像生成设备包括像素分离部61和立体图像处理部66。

图7是示出了根据第一实施例的图像处理流程的流程图。在CPU40根据程序的控制下执行该处理。

首先，在步骤S1中，单眼3D成像系统17拍摄对象的图像，以获得RAW图像80。即，包括从图2A所示的图像拾取装置16上的所有像素输出的像素信号的RAW图像80被存储在存储器48中。

之后，在步骤S2中，像素分离部61将RAW图像80分离成左图像80L和右图像80R。

之后，在步骤S3中，视差映射生成部62生成视差映射88。图8为详细地示出步骤S3的流程图。选择左图像80L和右图像80R的任一个（在本实施例中，选择了左图像80L）作为参考图像；将另一图像（在本实施例中，为右图像80R）确定为追踪图像（步骤S11）。之后，从参考图像80L按序选择目标像素（步骤S12）。之后，从追踪图像80R中，检测与参考图像80L中的目标像素的特征具有相同特征的像素，并且参考图像80L的目标像素与追踪图像80R的检测像素之间的对应关系被存储在存储器48中（步骤S13）。确定参考图像80L的所有像素的选择是否已经完成（步骤S14）；如果未完成，则处理返回步骤S12，如果已经完成，则进行视差量ΔX的计算以创建视差映射88（步骤S15）。即，生成了表示左图像80L的每个像素与模糊量ΔX之间的对应关系的视差映射88。

在这里，对视差量ΔX与在RAW图像80上生成的噪声之间的关系进行描述。如图9所示，视差量为左图像80L中的像素（例如81b、82b以及83b）与右图像80R中的相应像素（例如81c、82c以及83c）之间的坐标（例如ΔX1、ΔX2以及ΔX3）上的位置差ΔX，其中所述右图像80R中的相应像素的特征与左图像80L中的像素的特征相同。当计算出的视差量ΔX较大时，如图2A所示，在图像拾取装置16上被布置为一对的主像素PDa与副像素PDb之间，图像拾取装置16的受光面上的位置基本相同（彼此相邻），但是所接收光的量（进入光的量）有很大不同。即，在RAW图像80中，在具有大视差量ΔX的区域中，可能会生成阶梯状噪声。如果包括这种噪声的RAW图像80被处理作为高分辨率平面图像，并且如果进行诸如对比度强化和/或轮廓校正的任意图像处理，则噪声似乎是显而易见地。因此，在如下步骤S4-S7中，进行图像处理以在保持高分辨率的同时消除噪声。

在步骤S4中，从参考图像（例如左图像80L）选择目标像素。

在步骤S5中，模糊像素确定部63基于与参考图像80L对应的视差映射88来确定目标像素的视差量的绝对值|ΔX|是否大于阈值S。具有比阈值S大的视差量|ΔX|的目标像素被确定为模糊像素。例如，图9所示的左图像80L中的像素8_1b和8_3b被确定为模糊像素，其|ΔX|大于阈值S。类似地，右图像80R中的像素8_1c和8_3c被确定为模糊像素。另一方面，具有比阈值S小的视差量|ΔX|的像素8_2b和8_2c被确定为不模糊像素。在|ΔX|与噪声量之间，存在较大|ΔX|按比例得到较大噪声量的关系。根据经验和/或计算获得|ΔX|与噪声量之间的对应关系，并且基于该对应关系，在EEPROM56等中预先获得并预设了阈值S。阈值S的值没有特别限制，然而该值应充分小于人眼的立体融合极限（立体融合极限的1/n或更小）。

当像素被确定为模糊像素时，在步骤S6中，模糊平均处理部64执行在参考图像80L中的模糊像素的像素值与在另一平面图像80R中的像素的像素值之间的平均处理，这两个像素被布置为图像拾取装置16的像素几何布置中的一对模糊像素。即，进行模糊处理，以均衡在像素对中所包括的像素之间的模糊量（模糊均衡处理）。

如图2A所示，由于主像素PDa和副像素PDb在图像拾取装置16上被布置为一对，从而在对应于左图像80L中的PDa的像素与对应于右图像80R中的PDb的像素之间求像素值的平均值。根据第一实施例的主像素PDa和副像素PDb是在图像拾取装置16上被布置为彼此相邻的具有相同颜色的成像像素。对左图像80L的像素和右图像80R的像素设定这两个成像像素的像素值之间的平均值。

在步骤S7中，确定是否已经完成所有像素的选择。如果未完成，处理返回步骤S4；如果已经完成，则处理进行到步骤S8。

在步骤S8中，高分辨率图像处理部65将左图像80L和右图像80R彼此组合，以生成高分辨率平面图像。

在步骤S9中，YC处理部67执行YC处理，以将包括R、G以及B像素信号的高分辨率图像转换成包括Y（亮度）信号和C（色差）信号的高分辨率图像。

根据第一实施例，在高分辨率平面图像的整个区域中，仅具有较大模糊量的部分被限制为取平均值的目标区域。因此，噪声被降低而没有降低所聚焦的主要对象的分辨率。

模糊“部分”中的像素的数量不受限制。可对每个区域或像素执行模糊的确定和模糊处理。作为模糊处理，在上文中仅描述了在像素值之间取平均值。然而，可以通过使用在下文中将要描述的滤波处理（例如高斯滤波器）进行模糊处理。

<第二实施例>

图10是示出了根据第二实施例的成像装置10b的基本部件的方框图。对与根据图5所示的第一实施例的成像装置10a中的器件相同的器件给出相同的附图标记和特征；并且对于在第一实施例中已经描述的选项，将省略其描述。

锐度比较部72（模糊量差计算部）将与在图像拾取装置16中被布置为彼此相邻的主像素PDa和副像素PDb对应的左图像中的像素与右图像中的像素之间的锐度进行比较，并且计算其间的锐度差。

像素之间的锐度差表示像素之间的模糊量差。较大锐度差意味着像素之间的模糊量的较大差。即，锐度比较部72将与在图像拾取装置16中被布置为彼此相邻的主像素PDa和副像素PDb对应的每个像素对作为目标；该像素对包括左图像的像素和右图像的像素。锐度比较部72计算在该像素对中包括的像素之间的锐度差，该锐度差表示其间的模糊量的差。换言之，锐度比较部72计算在图像拾取装置16中具有相同成像像素几何布置的部分之间的模糊量的差；该模糊量的差是在左图像80L的每个部分与右图像80R中的每个部分之间的模糊量的差。第一平面图像中的成像元件和第二平面图像中的成像元件彼此不同。因此，术语“具有相同成像像素几何布置的部分”并不意味着这些部分彼此完全等同；而是该术语表示彼此交叠的区域，或被布置为彼此相邻的像素。

根据第二实施例的模糊像素确定部73将由锐度比较部72计算的锐度差的绝对值（模糊量的差）与阈值相比较。模糊像素确定部73确定在具有比阈值大的锐度差的绝对值的像素对上，执行对该像素对中包括的像素之间的平均处理。另一方面，模糊像素确定部73确定对具有比阈值小的锐度差的绝对值的像素对不执行平均处理。换言之，模糊像素确定部73确定对在左图像80L和右图像80R中具有比阈值大的模糊量差的绝对值的部分执行模糊处理。

模糊平均处理部64基于模糊像素确定部73的确定结果，对像素对中所包括的像素之间的像素值执行平均处理。即，模糊平均处理部64将左图像和右图像中的每个像素作为目标。当锐度差的绝对值大于阈值时，对多个像素进行平均处理，其中每个像素与在图像拾取装置16中被布置为彼此相邻的主像素PDa和副像素PDb相对应。另一方面，当锐度差的绝对值小于阈值时，模糊平均处理部64不执行平均处理。即，模糊平均处理部64对具有比阈值大的模糊量差的绝对值的部分执行模糊处理。

图11是示出了根据第二实施例的图像处理流程的示例的流程图。

步骤S21和S22与在图7中示出的第一实施例中的步骤S1和S2相同。

在步骤S23中，从参考图像（例如左图像80L）选择目标像素。

在步骤S24中，锐度比较部72计算在图像拾取装置16的像素几何布置中被布置为一对的左图像80L和右图像80R的像素之间的锐度差。例如，计算左图像80L和右图像80R中的像素的锐度Sa和Sb，并且计算其间的锐度差（k=Sa-Sb)）。

用拉普拉斯滤波处理执行每个像素的锐度的计算。图12示出了拉普拉斯滤波器的滤波器几何形状的示例。通过拉普拉斯滤波处理检测边缘；并且输出值的绝对值表示锐度。具有较小模糊量的像素具有较大锐度；并且具有较大模糊量的像素具有较小锐度。拉普拉斯滤波器不限于第二实施例。可通过使用除了拉普拉斯滤波器之外的滤波器来计算锐度。

在步骤S25中，模糊像素确定部73确定锐度差的绝对值|k|是否大于阈值k_th。当|k|大于阈值k_th时，由于该对中的像素之间的模糊量的差较大，从而可能存在由于视差量导致生成噪声的可能性。

在步骤S26中，模糊平均处理部64执行对具有比阈值k_th大的锐度差的绝对值|k|的一对中的像素之间的像素值取平均值。

在步骤S27中，确定是否已经选择了所有像素。如果没有，则处理返回步骤S23；如果是，则处理进行到步骤S28。

步骤S28和S29与图7中示出的第一实施例中的步骤S8和S9相同。

根据第二实施例，仅在高分辨率平面图像的所有区域中具有较大模糊量的差的部分限于取平均值的目标区域。因此，降低了噪声而并未降低所聚焦的主对象的分辨率。

<第三实施例>

之后，将描述第三实施例。根据第三实施例，代替取平均值，应用滤波处理，以通过仅降低在像素对中具有较小模糊量的像素的锐度来降低视差所导致的噪声。即，仅对具有较小模糊量的像素进行处理，以进一步降低模糊。

图13是示出了根据第三实施例的成像装置的基本部件的配置的方框图。对与根据图10所示的第二实施例的成像装置中的器件相同的器件分别给出相同的附图标记和特征；并且对于在上文中已经描述的选项，此处将省略其描述。

根据第三实施例的模糊像素确定部73将由锐度比较部72所计算的锐度差的绝对值（模糊量的差）与阈值相比较。当锐度差的绝对值大于阈值时，模糊像素确定部73基于附着于锐度差的符号（相加或相减），确定左图像和右图像的两个像素（像素对）中哪个像素的模糊量较大，其中每幅图像与两个成像像素相对应，这两个成像像素在图像拾取装置16中被布置为彼此相邻。

模糊滤波处理部74对具有比阈值大的锐度差（模糊量的差）的绝对值的像素对进行滤波处理，以仅模糊在像素对中具有较小模糊量的像素。另一方面，模糊滤波处理部74对具有比阈值小的锐度差的绝对值的像素对不执行滤波处理。

例如使用高斯滤波器作为滤波器。在公式1中示出高斯滤波器系数f(x)。

公式1

$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}}\exp (-\frac{x^2}{2{\mathrm{\&sigma;}}^2})$

图14是示出了锐度差|k|与高斯滤波器的参数α之间的关系的图表。当|k|大于阈值k_th时，确定与|k|具有成比例关系的α、以及与α对应的高斯滤波器系数f(x)。为了从α计算f(x)，使用公式1进行计算，并且进行归一化，从而所计算的f(x)的总和为“1”。

在数字滤波器的情况下，针对目标像素周围的每个离散位置确定f(x)。例如，在五抽头滤波器的情况下，f(x)=[0.1,0.2,0.4,0.2,0.1]。一般而言，为了防止图像的亮度改变，进行归一化，从而系数的总和为“1.0”。尽管此处示出了一维滤波器系数，然而通过在水平方向和垂直方向上执行滤波处理，可以进行二位滤波处理。可以使用除了高斯滤波器之外的滤波器（例如低通滤波器）。

模糊滤波处理部74优选基于模糊量的差（在本实施例中为锐度差）、成像处的焦距以及成像的光圈值中的至少一个来确定滤波器系数。

图15是示出了根据第三实施例的图像处理的流程的流程图。

步骤S31和S32分别与图7中示出的第一实施例中的步骤S1和S2相同。

在步骤S33中，左图像被设定为参考图像。

在步骤S34中，从参考图像选择目标像素。

在步骤S35中，锐度比较部72计算左图像80L的像素与右图像80R的像素之间的锐度差，其中每个像素与在图像拾取装置16上成对布置的主像素PDa和副像素PDb相对应。（锐度差）=（右图像80R上的像素的锐度）-（左图像80L上的像素的锐度）。

在步骤S36中，模糊像素确定部73确定锐度差的绝对值|k|是否大于阈值k_th。如果|k|大于阈值k_th，由于该对中的像素之间的模糊量的差较大，从而存在生成视差量导致的噪声的可能性。

在步骤S37中，确定滤波器系数。

在步骤S38中，确定锐度差k是否为正值。当锐度差k为正值时，在步骤S39中对右图像的像素进行滤波处理。另一方面，当锐度差k不是正值时，在步骤S40中对左图像的像素进行滤波处理。即，通过对具有较高锐度的像素应用滤波处理来控制模糊量的差，以降低锐度。

在步骤S40中，确定是否已经选择了全部像素。如果没有，则处理返回步骤S34；如果是，则处理进行到步骤S41。

步骤S41和S42与根据图7中示出的第一实施例中的步骤S8和S9相同。

根据第三实施例，锐度比较部72计算图像拾取装置上的成像像素几何布置中的共同部分之间的模糊量的差，该模糊量的差为左图像的每个部分与右图像的每个部分之间的模糊量的差。并且，模糊滤波处理部74对在左图像和右图像中具有比阈值大的模糊量的差的绝对值的部分执行模糊处理。因此，防止模糊量扩展到最小值，同时可靠地消除由于视差导致的噪声图。

图16是示出了图1中的成像装置10中的成像模式选择处理的流程的流程图。该处理由图1中的CPU40执行。在从第一实施例到第三实施例的任意实施例中可以进行该处理。

当电源打开时，成像装置10进入待机状态（步骤S51）。在待机状态下，接收指令操作以通过操作单元38选择成像模式。

接收到选择指令操作后，确定指示选择的成像模式为2D成像模式或3D成像模式（步骤S52）。

当指示选择3D成像模式时，设定3D成像模式（步骤S53）。

当指示选择2D成像模式时，确定所记录的像素数量是否大于（图像拾取装置16的像素的有效数量/2）（步骤S54）。当所记录的像素数量大于（图像拾取装置16的像素的有效数量/2）时，设定2D高分辨率成像模式（步骤S55）。另一方面，当所记录的像素数量小于（图像拾取装置16的像素的有效数量/2）时，设定2D低分辨率成像模式（步骤S55）。在2D低分辨率成像模式中，例如将被记录的2D图像的分辨率设定为2D高分辨率成像模式的1/2。

在3D成像模式中，对左图像和右图像的每一个进行普通拜耳处理。

在2D低分辨率成像模式中的处理中，对所有像素进行取平均值处理，以防止生成由视差导致的图噪声。

根据第三实施例，可以使用用于生成高分辨率平面图像的2D高分辨率成像模式（高分辨率平面图像成像模式）、用于生成分辨率比高分辨率平面图像低的2D低分辨率图像的2D低分辨率成像模式（低分辨率平面图像成像模式）、以及用于生成3D图像（立体图像）的3D成像模式（立体图像成像模式）。当设定2D高分辨率成像模式时，生成高分辨率平面图像。

本发明不特定地限于图16中所示的情况。例如，可以使用用于生成高分辨率平面图像的2D图像成像模式和用于生成3D图像的3D成像模式，并且当设定2D图像成像模式时，可以生成高分辨率平面图像。

根据本发明，光瞳分割的方法不特定地限于使用图3、图4A以及图4B中示出的用于光瞳分割的遮光组件16A的模式。例如，可以采用微透镜L和光电二极管PD模式，其中使得光瞳分割依赖于微透镜L和光电二极管PD的至少任一个的几何布置或形状，或通过使用机械光圈14进行光瞳分割的模式，或其他模式。

当成像像素的几何布置为图2所示的蜂窝排列时，图像拾取装置16中的几何布置不受限制。可以采用拜耳阵列，在图17A和图17B中示意性示出其一部分。具体而言，采用双拜耳阵列，其中整个偶数行的像素几何布置（主像素排列）和整个奇数行的像素几何布置（副像素排列）两者为拜耳阵列。在图17A和图17B中，R、G以及B表示成像像素，其中每个成像像素具有红色、绿色或蓝色的滤波器。每个像素对包括彼此相邻的两个像素R-R、G-G以及B-B（即相同颜色相邻像素）。左图像的像素形成有像素对中的一个像素信号，右图像的像素形成有像素对中的另一个像素信号。

图像拾取装置16不特定限于CCD图像拾取装置。例如，可以使用CMOS（互补金属氧化物半导体）图像拾取装置。

根据第一实施例到第三实施例，例如基于监控器大小（显示屏的大小）、监控器分辨率（显示器的分辨率）、观察距离（观察显示屏的距离）或用户的立体融合极限（随着不同个体而改变）的计算条件，通过CPU40来计算用于确定的阈值。可通过用户手动设定或自动设定计算条件。当由用户进行设定时，通过操作单元38进行设定操作，并且将该设定存储在EEPROM56中。可以从监控器（图1中的LCD30）等自动获得关于监控器的大小和分辨率（显示监控器的分辨率）的一条信息。对于没有被用户设定的计算条件（或没有自动获得的计算条件），可以应用标准条件。

本发明不限于在说明书中描述的示例或在附图中示出的示例。需要说明的是，在本发明的精神的范围内，各种设计改变和/或修改是可能的。

附图标记列表

10（10a，10b,10c）成像装置

12摄像镜头

16图像拾取装置

40CPU

60DSP

62视差映射生成部

63,73模糊像素确定部

64模糊平均处理部

65高分辨率图像处理部

66立体图像处理部

72锐度比较部

74模糊滤波处理部

80RAW图像

80L左图像（第一平面图像）

80R右图像（第二平面图像）

88视差映射

Claims (16)

1.一种成像装置，包括：

单个成像光学系统；

图像拾取装置，具有第一成像像素组和第二成像像素组，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量进行光电转换；

立体图像生成模块，生成立体图像，所述立体图像包括基于来自所述第一成像像素组的像素信号的第一平面图像以及基于来自所述第二成像像素组的像素信号的第二平面图像；

视差量计算模块，计算所述第一平面图像和所述第二平面图像的每个部分中的视差量；

确定模块，确定在所述第一平面图像和所述第二平面图像中具有大于阈值的视差量的部分为模糊部分；

模糊处理模块，对所述第一平面图像和所述第二平面图像中的所述模糊部分执行模糊处理；以及

高分辨率平面图像生成模块，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。

2.根据权利要求1所述的成像装置，其中，所述模糊处理是对具有大于阈值的视差量的部分中的像素值取平均值或进行滤波处理。

3.根据权利要求1所述的成像装置，其中，

所述视差量计算模块计算所述第一平面图像和所述第二平面图像中的每个像素的所述视差量，

所述确定模块确定具有大于所述阈值的视差量的像素为模糊像素，并且

所述模糊处理模块拾取包括所述第一平面图像中的像素和所述第二平面图像中的像素的像素对，每个像素对作为对象与彼此相邻设置在所述图像拾取装置中的第一成像像素和第二成像像素相对应，并且所述模糊处理模块执行对包括所述模糊像素的所述像素对中的像素的像素值之间取平均值。

4.一种成像装置，包括：

单个成像光学系统；

图像拾取装置，具有第一成像像素组和第二成像像素组，其中每个成像像素组对已经穿过所述单个成像光学系统中的不同区域的光通量进行光电转换；

立体图像生成模块，生成立体图像，所述立体图像包括基于来自所述第一成像像素组的像素信号的第一平面图像和基于来自所述第二成像像素组的像素信号的第二平面图像；

模糊量差计算模块，计算所述图像拾取装置的成像像素几何布置中的共同部分之间的模糊量的差，所述模糊量的差是所述第一平面图像的每个部分与所述第二平面图像的每个部分之间的模糊量的差；

模糊处理模块，对所述第一平面图像和所述第二平面图像中具有大于阈值的模糊量的差的绝对值的部分执行模糊处理；以及

高分辨率平面图像生成模块，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像，

其中，所述模糊量差计算模块拾取包括所述第一平面图像中的像素和所述第二平面图像中的像素的像素对，与在所述图像拾取装置中被布置为彼此相邻的第一成像像素和第二成像像素相对应的每个像素对作为对象，并且所述模糊量差计算模块计算所述像素对中包括的像素之间的锐度差作为所述模糊量的差。

5.根据权利要求4所述的成像装置，其中，所述模糊处理对具有大于所述阈值的模糊量的差的绝对值的所述部分中的像素值取平均值或进行滤波处理。

6.根据权利要求4所述的成像装置，其中，所述模糊量差计算模块将与在所述图像拾取装置中被布置为彼此相邻的第一成像像素和第二成像像素相对应的每个像素对作为对象，所述像素对是所述第一平面图像的像素和所述第二平面图像的像素的像素对，并且所述模糊量差计算模块计算在所述像素对中包括的像素之间的模糊量的差，并且

所述模糊处理模块对所述像素对中的像素的像素值之间取平均值，所述像素对中的像素之间的所述像素值具有大于所述阈值的模糊量的差的绝对值。

7.根据权利要求4所述的成像装置，其中，所述模糊量差计算模块将与在所述图像拾取装置中被布置为彼此相邻的第一成像像素和第二成像像素相对应的每个像素对作为对象，所述像素对是所述第一平面图像的像素和所述第二平面图像的像素的像素对，并且所述模糊量差计算模块计算所述像素对中包括的像素之间的模糊量的差，并且

所述模糊处理模块仅对所述像素对中具有较小模糊量的像素执行滤波处理，所述像素对中具有较小模糊量的所述像素具有大于所述阈值的模糊量的差的绝对值。

8.根据权利要求7所述的成像装置，其中，所述模糊处理模块至少基于所述模糊量的差来确定滤波器系数。

9.根据权利要求1所述的成像装置，其中，所述成像装置具有用于生成所述高分辨率平面图像的高分辨率平面图像成像模式、用于生成具有比所述高分辨率平面图像的分辨率低的分辨率的低分辨率平面图像的低分辨率平面图像成像模式、以及用于生成所述立体图像的立体图像成像模式，并且

当所述高分辨率平面图像成像模式被设定时，生成所述高分辨率平面图像。

10.根据权利要求1所述的成像装置，其中，所述成像装置具有用于生成所述高分辨率平面图像的平面图像成像模式、和用于生成所述立体图像的立体图像成像模式，并且

当所述平面图像成像模式被设定时，生成所述高分辨率平面图像。

11.根据权利要求1所述的成像装置，其中，所述图像拾取装置的所述像素几何布置为蜂窝排列。

12.根据权利要求1-10中任一项所述的成像装置，其中，所述图像拾取装置的所述像素几何布置为拜耳排列。

13.一种图像处理装置，包括：

视差量计算模块，计算基于来自第一成像像素组的像素信号的第一平面图像和基于来自第二成像像素组的像素信号的第二平面图像的每个部分的视差量，所述视差量是通过使用包括所述第一成像像素组和所述第二成像像素组的图像拾取装置拍摄对象的图像获得的，其中每个成像像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换；

确定模块，确定所述第一平面图像和所述第二平面图像中具有大于阈值的视差量的部分为模糊部分；

模糊处理模块，对所述第一平面图像和所述第二平面图像中的所述模糊部分执行模糊处理；以及

高分辨率平面图像生成模块，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。

14.一种图像处理装置，包括：

模糊量差计算模块，计算图像拾取装置的成像像素几何布置中的共同部分之间的模糊量的差，所述模糊量的差是基于第一成像像素组的像素信号的第一平面图像与基于第二成像像素组的像素信号的第二平面图像的各自部分之间的模糊量的差，并且所述模糊量的差是通过使用包括所述第一成像像素组和所述第二成像像素组的图像拾取装置拍摄对象的图像获得的，其中每个成像像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换；

模糊处理模块，对所述第一平面图像和所述第二平面图像中具有大于阈值的模糊量的差的绝对值的部分执行模糊处理；以及

高分辨率平面图像生成模块，通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像。

15.一种图像处理方法，包括：

当使用具有第一成像像素组和第二成像像素组的图像拾取装置拍摄对象的图像时，从基于所述第一成像像素组的像素信号的第一平面图像和基于所述第二成像像素组的像素信号的第二平面图像生成高分辨率平面图像的步骤，其中每个成像像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换；

计算所述第一平面图像和所述第二平面图像的每个部分的视差量的步骤；

确定所述第一平面图像和所述第二平面图像中具有大于阈值的视差量的部分为模糊部分的步骤；

对所述第一平面图像和所述第二平面图像中的所述模糊部分执行模糊处理的模糊处理步骤；以及

通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像的步骤。

16.一种图像处理方法，包括：

当使用具有第一成像像素组和第二成像像素组的图像拾取装置拍摄对象的图像时，从基于所述第一成像像素组的像素信号的第一平面图像和基于所述第二成像像素组的像素信号的第二平面图像生成高分辨率平面图像的步骤，其中每个成像像素组对已经穿过单个成像光学系统中的不同区域的光通量执行光电转换；

计算所述图像拾取装置的成像像素几何布置中的共同部分之间的模糊量的差的模糊量差计算步骤，所述模糊量的差为所述第一平面图像的每个部分与所述第二平面图像的每个部分之间的模糊量的差；

对所述第一平面图像和所述第二平面图像中具有大于阈值的模糊量的差的绝对值的部分执行模糊处理的模糊处理步骤；以及

通过在所述模糊处理之后将所述第一平面图像和所述第二平面图像彼此组合来生成高分辨率平面图像的步骤。