CN102681192A - 成像装置、图像处理方法和程序 - Google Patents

Abstract

公开成像装置、成像处理方法和程序。成像装置包括：第一和第二偏光器，其布置在光圈附近并且使来自被摄体的光偏振，第一和第二偏光器的偏光方向彼此正交；第三和第四偏光器，其使所述光偏振并且以第三和第四偏光器在与第一方向正交的第二方向上延伸的方式沿着第二方向交替布置在成像器件的光检测面中，第一偏光器和第二偏光器沿着第一方向彼此连接，第三和第四偏光器的偏光方向分别与第一和第二偏光器的偏光方向平行；图像处理器，其处理成像器件产生的图像数据，使得将基于已穿过第一和第三偏光器的光的图像数据作为用于显示立体图像的第一图像数据处理，并将基于已穿过第二和第四偏光器的光的图像数据作为用于显示立体图像的第二图像数据处理。

Description

成像装置、图像处理方法和程序

技术领域

本公开涉及成像装置，并且具体地，涉及产生立体图像的成像装置、图像处理方法和指示计算机执行该方法的程序。

背景技术

已经提出了产生用于显示立体图像(其允许观看者借助于右眼和左眼之间的视差来体验立体视觉)的图像数据的数码相机、数码摄像机(混合式相机-记录器)和其他成像装置。

例如，已经提出了这样的成像装置，其包括两个透镜和一个成像器件，并且产生用于显示立体图像的两个图像(右视觉图像和左视觉图像)(例如参见JP-A-2004-309868)。

发明内容

根据上述现有技术的技术，两个透镜和一个成像器件可以用以产生两个图像(右视觉图像和左视觉图像)。为了记录由此产生的两个图像(右视觉图像和左视觉图像)，例如假设使用预定的记录格式。

通常基于如下的预定记录格式记录立体图像(例如，右视觉图像和左视觉图像)：要记录的图像被稀疏(thin out)或被处理，并且将生成的两个图像作为单个图像处理。为了基于预定记录格式记录立体图像，因此减小由于稀疏或其它处理引起的立体图像的质量的恶化是重要的。

由此，期望减小立体图像的质量的恶化。

本公开的一实施例针对于一种成像装置，其包括：第一偏光器和第二偏光器，其布置在光圈的附近并且使来自被摄体的光偏振，第一偏光器和第二偏光器的偏光方向彼此正交；第三偏光器和第四偏光器，其使来自被摄体的光偏振并且以第三偏光器和第四偏光器在与第一方向正交的第二方向上延伸的方式沿着第二方向交替地布置在成像器件的光检测面中，所述第一偏光器和所述第二偏光器沿着所述第一方向彼此连接，所述第三偏光器的偏光方向与所述第一偏光器的偏光方向平行并且所述第四偏光器的偏光方向与所述第二偏光器的偏光方向平行；以及图像处理器，其以如下方式处理成像器件产生的图像数据：将基于已经穿过第一偏光器和第三偏光器的光所产生的图像数据作为用于显示立体图像的第一图像数据处理，并且将基于已经穿过第二偏光器和第四偏光器的光所产生的图像数据作为用于显示立体图像的第二图像数据处理。本公开的此实施例还针对于与成像装置一起使用的图像处理方法以及指令计算机实施该方法的程序。该装置、方法和程序允许将基于已经穿过第一偏光器和第三偏光器的光所产生的图像数据用作用于显示立体图像的第一图像数据，并将基于已经穿过第二偏光器和第四偏光器的光所产生的图像数据用作用于显示立体图像的第二图像数据。

在实施例中，所述成像器件可以具有以由所述第一方向和所述第二方向标识的矩阵的方式排列的像素，并且第三偏光器和第四偏光器可以在预定排列单元的基础上交替地布置在所述成像器件中，该预定排列单元为在第二方向上延伸的一条线或多条线，线对应于第一方向上的两个像素。上述配置允许通过使用成像器件产生的图像数据来产生第一图像数据和第二图像数据，所述成像器件具有以由所述第一方向和所述第二方向标识的矩阵的方式排列的像素，并且具有在预定排列单元(该预定排列单元是在第二方向上延伸的一条或多条线，并且线对应于第一方向上的两个像素)的基础上交替布置的第三偏光器和第四偏光器。

在实施例中，所述图像处理器可以通过在预定单元的基础上重新排列成像器件产生的图像数据来产生第一图像数据和第二图像数据，该预定单元是在第二方向上延伸并且与每个第三偏光器和每个第四偏光器对应的线。上述配置允许在预定单元(该预定单元是在第二方向上延伸的并且与每一个第三偏光器和每一个第四偏光器对应的线)的基础上通过成像器件产生的图像数据来产生第一图像数据和第二图像数据。

在实施例中，所述图像处理器可以通过在预定单元(该预定单元是在第二方向上延伸并且与每个第三偏光器和每个第四偏光器对应的线)的基础上将成像器件产生的图像数据相加然后将相加后的图像数据重新排列来产生第一图像数据和第二图像数据。上述配置允许通过在预定单元的基础(该预定单元是在第二方向上延伸并且与每个第三偏光器和每个第四偏光器对应的线)上将成像器件产生的图像数据相加然后重新排列相加后的图像数据，以产生第一图像数据和第二图像数据。

在实施例中，所述图像处理器可以以将在预定单元(该预定单元是在第二方向上延伸并且与每个第三偏光器对应的线)的基础上依次读取的图像数据作为第一图像数据处理并且将在预定单元(该预定单元是在第二方向上延伸并且与每个第四偏光器对应的线)的基础上依次读取的图像数据作为第二图像数据处理的方式来处理所述成像器件产生的图像数据。上述配置允许以如下的方式来处理成像器件产生的图像数据：将在预定单元(该预定单元是在第二方向上延伸并且与每个第三偏光器对应的线)的基础上依次读取出的图像数据作为第一图像数据处理，并且将在预定单元(该预定单元是在第二方向上延伸并且与每个第四偏光器对应的线)的基础上依次读取出的图像数据作为第二图像数据处理。

在实施例中，所述图像处理器可以以如下方式处理所述成像器件产生的图像数据：将基于预定单元(该预定单元是在第二方向上延伸并且与每个第三偏光器对应的线)的图像数据相加然后将相加后的图像数据依次读取并作为所述第一图像数据处理，并且将基于预定单元(该预定单元是在第二方向上延伸并且与每个第四偏光器对应的线)的图像数据相加然后将相加后的图像数据依次读取并作为所述第二图像数据处理。上述配置允许以如下的方式处理成像器件产生的图像数据：将基于预定单元(该预定单元是在第二方向上延伸并且与每个第三偏光器对应的线)的图像数据相加然后将相加后的图像数据依次读取并作为所述第一图像数据处理，并且将基于预定单元(该预定单元是在第二方向上延伸并且与每个第四偏光器对应的线)的图像数据相加然后将相加后的图像数据依次读取并作为所述第二图像数据处理。

在实施例中，可以以原色拜尔排列的方式布置所述成像器件中的像素。上述配置允许通过使用成像器件(其具有以原色拜尔排列的方式布置的像素)产生的图像数据来产生第一图像数据和第二图像数据。

在实施例中，在采集来自被摄体的光的单个光学系统中的光圈的附近，第一偏光器和第二偏光器可以彼此相邻地布置在作为边界的第二方向的对向侧。上述配置允许通过使用在采集来自被摄体的光的单个光学系统中的光圈的附近、在作为边界的第二方向的对向侧彼此相邻地布置的第一偏光器和第二偏光器来产生第一图像数据和第二图像数据。

在实施例中，所述第一偏光器可以布置在采集来自被摄体的光的第一光学系统中的光圈的附近，并且所述第二偏光器可以布置在采集来自被摄体的光的第二光学系统中的光圈的附近。上述配置允许通过使用在采集来自被摄体的光的第一光学系统中的光圈的附近布置的第一偏光器和在采集来自被摄体的光的第二光学系统中的光圈的附近布置的第二偏光器来产生第一图像数据和第二图像数据。

在实施例中，所述图像处理器可以产生第一图像数据和第二图像数据，作为要基于预定记录格式在记录介质上记录的图像数据。上述配置允许产生第一图像数据和第二图像数据，作为要基于预定记录格式在记录介质上记录的图像数据。

在实施例中，所述图像处理器可以产生第一图像数据和第二图像数据，作为要基于使用并排机制的记录格式在记录介质上记录的图像数据。上述配置允许产生第一图像数据和第二图像数据，作为要基于使用并排机制的记录格式在记录介质上记录的图像数据。

在实施例中，所述第一方向可以是与立体图像相关联的视差的方向。上述配置允许通过将第一方向设置为与立体图像相关联的视差的方向来产生第一图像数据和第二图像数据。

本公开可以提供降低立体图像的质量的恶化的优异效果。

附图说明

图1A和1B示出本公开第一实施例中的成像装置的内部配置的示例；

图2A和2B图解地示出本公开第一实施例中的瞳孔偏光单元和成像器件偏光单元；

图3A和3B示出本公开第一实施例中形成成像器件偏光单元的第三偏光器和第四偏光器的排列的示例；

图4A～4D图解地示出本公开第一实施例中通过透镜系统、瞳孔偏光单元和成像器件偏光单元的光的流和由光产生的图像之间的关系；

图5图解地示出本公开第一实施例中的图像处理器进行的图像处理(解拼)；

图6A和6B图解地示出本公开第一实施例中的成像器件和成像器件偏光单元；

图7A和7B示意性地示出本公开第一实施例中据以形成金属线栅式(wire-grid)偏光器的半导体工艺过程；

图8A和8B图解地示出本公开第一实施例中的、在图像处理器产生要记录的图像时实施的图像处理方法的示例；

图9A～9C图解地示出本公开第一实施例中已经由图像处理器产生的要记录的图像数据和要显示的立体图像之间的关系；

图10示出本公开第一实施例中形成成像器件偏光单元的偏光器的排列的变型；

图11是示出本公开第一实施例中成像装置进行的图像处理过程的示例的流程图；

图12是示出本公开第一实施例中成像装置进行的图像处理过程的另一示例的流程图；

图13示意性地示出本公开第一实施例中金属线栅式偏光器的间距、高度和宽度；

图14A～14C示出本公开第一实施例中通过改变金属线栅式偏光器的间距、高度和占空比所获得的计算结果的示例；

图15A～15C示出本公开第一实施例中通过改变金属线栅式偏光器的长度所获得的计算结果的示例；

图16A和16B示出本公开第一实施例中经过金属线栅式偏光器的光传播的仿真；以及

图17是示出本公开第二实施例中的成像装置的内部配置的示例的透视图。

具体实施方式

下面将描述用于实施本公开的模式(下文中称为“实施例”)。将按照下列顺序进行描述。

1.第一实施例(图像处理控制：包括单透镜系统的成像装置(所谓的单反3D相机)产生立体图像的情况)

2.第二实施例(图像处理控制：包括多透镜系统的成像装置(所谓的双透镜3D相机)产生立体图像的情况)

<1.第一实施例>

[成像装置的配置的示例]

图1A和1B示出根据本公开第一实施例的成像装置100的内部配置的示例。图1A是从上面看到的透镜系统110、瞳孔偏光单元120、成像器件偏光单元130和成像器件140的示意性俯视图。图1B是示出瞳孔偏光单元120和成像器件140之间的关系的示意性透视图。

成像装置100包括透镜系统110、瞳孔偏光单元120、成像器件偏光单元130、成像器件140、操作接收器150、控制器160、图像处理器170和存储单元180。下面的描述中涉及到的方向定义如下：水平轴是X轴方向；垂直轴是Y轴方向；并且光行进的方向是Z轴方向。成像装置100例如可以是数码相机、数码摄像机(例如，混合式相机记录器(camera-recorder hybrid))或任何其它的成像装置。成像器件100例如可以是前面照射型固态成像器件或者背面照射型固态成像器件。

透镜系统110包括成像透镜111、成像透镜112和光圈113。透镜系统110例如用作聚焦透镜和变焦透镜。

成像透镜111采集从被摄体入射的光。成像透镜111包括用于聚焦的聚焦透镜和用于缩放被摄体的图像的变焦透镜。成像透镜111通常由用以校正色品(chromatic)和其它像差(aberration)的多个透镜的组合形成。

成像透镜112对已经经过瞳孔偏光单元120的光进行聚焦，并且在成像器件140上形成图像。

光圈113具有限制光以调节所采集的光的量的功能，并且例如由多个板形叶片(blade)的组合形成。进一步，使得来自被摄体上的至少单个点的光在光圈113的位置中平行。

透镜系统110可以由单焦透镜或者所谓的变焦透镜形成。可以基于透镜系统110要求的规范确定透镜系统110的配置。

瞳孔偏光单元120包括沿着垂直方向(Y轴方向)布置的第一偏光器121和第二偏光器122，并且偏振来自被摄体的光。这里使用的偏光器是指将自然光(非偏振光)或圆形偏振光转换为线性偏振光的组件。第一偏光器121和第二偏光器122中的每一个例如均可以是具有已知配置的偏光器(例如，偏光板或偏光滤波器)。

使得入射在透镜系统110上的光平行，然后聚焦在成像器件140上(在其上形成图像)，并且瞳孔偏光单元120最好处于透镜系统110中光保持平行的位置。进一步，例如，瞳孔偏光单元120最好布置在不影响光圈113的操作的位置(可能的最靠近光圈113的位置)。例如，瞳孔偏光单元120最好布置在透镜系统110中光圈113的附近。当如上所述那样布置瞳孔偏光单元120时，一般不需要重新设计透镜系统的新光学系统，而是仅需要以可以将瞳孔偏光单元120固定到其(或者可拆卸地布置在其中)的方式改变现有透镜系统的机械(物理)设计。由此可以布置瞳孔偏光单元120。

当被可拆卸地布置在透镜系统中的时候，瞳孔偏光单元120例如可以类似地配置为透镜系统中光圈的各叶片并且布置在透镜系统中。可替代地，包括瞳孔偏光单元120和孔径(aperture)的组件可以布置在透镜系统中以使得该组件围绕与透镜系统的光轴平行的旋转轴可旋转地移动。在这种情况下，当围绕旋转轴旋转时，该组件允许行进经过透镜系统的光线穿过孔径或瞳孔偏光单元120。又可替换地，包括瞳孔偏光单元120和孔径的组件可以布置在透镜系统中以使得组件可以在与透镜系统的光轴正交的方向上滑动。在此情况下，当使得组件滑动时，组件允许行进经过透镜系统的光线穿过孔径或瞳孔偏光单元120。

进一步，例如，瞳孔偏光单元120具有圆形的外形，并且第一偏光器121和第二偏光器122中的每一个均具有占据瞳孔偏光单元120的一半的半圆形外形。在此情况下，第一偏光器121和第二偏光器122之间的边界沿着垂直方向(Y轴方向)延伸。由第一偏光器121和第二偏光器122形成的瞳孔偏光单元120将入射在其上的光分为具有不同偏光状态的两个光通量。确切地，瞳孔偏光单元120由关于边界对称的偏光器(第一偏光器121和第二偏光器122)形成。瞳孔偏光单元120(确切地，竖直位置中相对于成像装置100限定的右侧和左侧的其两个部分)产生具有相互正交的偏振方向的线性偏振光通量或者具有朝向相反方向的偏振方向的圆形偏振光通量。

第一偏光器121是使得想要用右眼观看的被摄体的图像(想要由右眼接收的光)偏振的偏光器(例如，偏光滤波器)。另一方面，第二偏光器122是使得想要用左眼观看的被摄体的图像(想要由左眼接收的光)偏振的偏光器(例如，偏光滤波器)。例如，P偏光器(第一偏光器121)布置在光圈113的(附近)位置中的瞳孔的左部分，而S偏光器(第二偏光器122)布置在光圈113的(附近)位置中的瞳孔的右部分。由此可以使已经穿过第一偏光器121和第二偏光器122中每一个的光线性地偏振。P偏光器和S偏光器的位置可以颠倒。可替代地，已经经过第一偏光器121和第二偏光器122中每一个的光线可以被圆形地偏振(只要圆形偏振光通量的偏振方向朝向相反方向即可)。一般而言，仅在特定方向上振荡的横波称作偏振波，振荡方向称作偏振方向或偏振轴。光的电场的朝向与偏振方向一致。

如上所述，透镜系统110和瞳孔偏光单元120不仅具有变焦、聚焦、光限制和其它的光学功能，而且将光划分到光圈113的位置(其为瞳孔位置)中的彼此正交偏振的光通量所产生的右图像和左图像(与右眼和左眼之间的视差对应的图像)。

成像器件偏光单元130包括沿着水平方向(X轴方向)交替布置的并且在垂直方向(Y轴方向)上延伸的第三偏光器131和第四偏光器132(示出在图2B中)。将参照图2A和2B详细地描述瞳孔偏光单元120中的第一偏光器121/第二偏光器122与成像器件偏光单元130中的第三偏光器131/第四偏光器132之间的关系。

成像器件140具有以在水平和垂直方向上延伸的矩阵的方式排列的、用于产生图像信号的像素，并且具有布置在成像器件140的光入射侧的成像器件偏光单元130。即，成像器件偏光单元130和成像器件140形成偏光图像传感器。成像器件140将透镜系统110采集的光转换为电信号。即，成像器件140独立地但是同时地接收由瞳孔偏光单元120分离的左右光通量(与右视觉图像和左视觉图像对应的光通量)。由此基于来自成像器件140的转换电信号产生右视觉图像数据和左视觉图像数据。成像器件140例如可以是CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器。可替代地，成像器件140可以是CMD(电荷调制器件)传感器或者任何其它的信号放大图像传感器。在上面描述的配置中，入瞳(entrance pupil)位于成像透镜112和成像器件140之间，但是更靠近于后者。

操作接收器150接收用户发出的输入，并且将根据接收到的输入的操作信号输出至控制器160。例如，操作接收器150接收用以记录静止图像(立体图像)的指令和用以开始(或停止)记录视频图像(立体图像)的指令。

控制器160控制整个成像装置100。例如，控制器160根据用户发出的并且由操作接收器150接收到的输入进行控制。

图像处理器170对成像器件140输出的电信号进行各种图像处理，并且存储将已经经历了各种图像处理的电信号(图像数据)存储在存储单元180中。例如，图像处理器170将成像器件140输出的电信号(图像数据)转换为右视觉图像数据和左视觉图像数据(所谓的3D图像处理)。然后，图像处理器170将转换后的右视觉图像数据和左视觉图像数据作为立体图像内容存储在存储单元180中。图像处理器170进一步将转换后的右视觉图像数据和左视觉图像数据作为立体图像输出至显示器件(未示出)，并在其上显示它们。

存储单元180是存储了各种数据的记录介质。存储单元180例如可以是半导体存储器、光盘和硬盘驱动器。半导体存储器例如可以是闪速ROM(只读存储器)或DRAM(动态随机存取存储器)。光盘例如可以是BD(Blu-rayDisc，蓝光盘)、DVD(digital versatile disc，数字多功能盘)和CD(compactdisc，致密盘)。可替代地，存储单元180可以是内置在成像装置100中的存储器件或存储卡，或者可以是可加载至成像装置100或者从成像装置100卸载的任何其它的可拆卸介质(记录介质)。

[瞳孔偏光单元和成像器件偏光单元之间的关系的示例]

图2A和2B图解地示出本公开第一实施例中的瞳孔偏光单元120和成像器件偏光单元130。图2A示出了瞳孔偏光单元120中的偏光方向，图2B示出了成像器件偏光单元130中的偏光方向。图2B仅示出了成像器件偏光单元130中的第三偏光器131和第四偏光器132的一部分。图2A和2B分别是从存在成像器件140的一侧看到的瞳孔偏光单元120和成像器件偏光单元130的图解前视图。

第一偏光器121和第二偏光器122的偏光方向如图2A中所示那样彼此正交(由空白箭头指示)。即，已经穿过第一偏光器121的光(第一穿过光)的电场的朝向和已经穿过第二偏光器122的光(第二穿过光)的电场的朝向彼此正交。

现在，例如，假设瞳孔偏光单元120具有拥有半径r(＝10mm)的圆形外部形状。第一偏光器121和第二偏光器122中的每一个具有占据瞳孔偏光单元120的一半的半圆形形状。现在，基于第一偏光器121的外部形状确定出的重心称作第一偏光器121区域中的重心BC1，基于第二偏光器122的外部形状确定出的重心称作第二偏光器122区域中的重心BC2。在此情况下，重心BC1和重心BC2之间的距离(基线长度)可以确定如下：“(8r)/(3π)(＝8.5mm)”。

第三偏光器131和第四偏光器132的偏光方向如图2B中所示那样彼此正交(由空白箭头指示)。即，已经穿过第三偏光器131的光(第三穿过光)的电场的朝向和已经穿过第四偏光器132的光(第四穿过光)的电场的朝向彼此正交。第三偏光器131和第四偏光器132在预定单元的基础上交替地排列在成像器件140中，该预定单元是与水平方向上的两个像素对应的线(垂直线)。图3A和3B示出第三偏光器131和第四偏光器132的排列。

现在，例如，考虑第一穿过光的电场的朝向平行于水平方向的情况。在此情况下，第一穿过光主要具有P波(TM波)偏光分量，并且第二穿过光主要具有S波(TE波)偏光分量。第一穿过光的电场的朝向平行于第三穿过光的电场的朝向(由空白箭头指示)，第二穿过光的电场的朝向平行于第四穿过光的电场的朝向(由空白箭头指示)。每个偏光器的消光比(extinction ratio)优选地为至少为3，并且更加优选地至少为10。与第一偏光器121相关联的消光比是指已经穿过其的光中包含的两个光分量之间的比率(即，电场朝向水平方向的光分量与电场朝向垂直方向的光分量之间的比率)。类似地，与第二偏光器122相关联的消光比是指已经穿过第二偏光器122的光中包含的两个光分量之间的比率(即，电场朝向垂直方向的光分量与电场朝向水平方向的光分量之间的比率)。

已经穿过第一偏光器121的第一穿过光穿过第三偏光器131并且抵达成像器件140。类似地，已经穿过第二偏光器122的第二穿过光穿过第四偏光器132并且抵达成像器件140。图像处理器170基于已经抵达成像器件140的第一穿过光(第三穿过光)和第二穿过光(第四穿过光)产生立体图像，并且产生的立体图像具有与第一偏光器121的重心BC1和第二偏光器122的重心BC2之间距离相等的两眼视差的基线长度。

[成像器件处的偏光器的排列的示例]

图3A和3B示出了本公开第一实施例中形成成像器件偏光单元130的第三偏光器131和第四偏光器132的排列的示例。在图3A和3B中，将参照以拜尔(Bayer)排列的方式布置成像器件140中的像素的情况进行描述。图3A是成像器件140中的部分像素的放大视图，图3B示出成像器件140中的所有像素(注意，省略了部分像素)。在图3A和3B中，成像器件140上布置第三偏光器131和第四偏光器132的位置由置于图的上部的字符(“第三偏光器”和“第四偏光器”)标识。图3B示出了成像器件140具有两百万个像素的情况。

拜尔排列是周期性地布置由两个像素(水平方向上)乘以两个像素(垂直方向上)形成的基本块(像素组)的像素排列。在图3A和3B中，粗线方块表示对应于基本块的每个区域，并且虚线表示基本块中各像素之间的边界。在基本块中，沿着一个对角线布置两个G(绿)像素，并且沿着另一个对角线布置R(红)像素和B(蓝)像素。每个G像素由检测绿光的光检测器形成。每个R像素由检测红光的光检测器形成。每个B像素由检测蓝光的光检测器形成。在图3A和3B中，每个像素图解地由利用表示像素类型的字符(G、R或B)标记的方块加以表示。

第三偏光器131对应于沿着垂直方向(Y轴方向)排列的像素(水平方向上的两个像素)的列，如图3A和3B中所示。与水平方向(X轴方向)上像素列相邻地布置第四偏光器132，其对应于沿着垂直方向排列的像素(水平方向上的两个像素)的列。第三偏光器131和第四偏光器132由此沿着水平方向交替地布置。通常在垂直方向上延伸的第三偏光器131和第四偏光器132的垂直长度可以基本上等于成像器件140的垂直长度。类似地，第三偏光器131和第四偏光器132的水平长度可以基本上等于成像器件140中两个像素的水平长度。

上述配置允许沿着水平方向交替地产生在垂直方向上延伸的并且基于主要具有P波分量的光产生的图像条(右视觉图像)和在垂直方向上延伸的并且基于主要具有S波分量的光产生的图像条(左视觉图像)。

如上所述，在成像装置100中，产生在彼此正交的方向上偏振的光通量的瞳孔偏光单元120(第一偏光器121和第二偏光器122)布置在光圈113的位置中。入射在透镜系统110上的光由瞳孔偏光单元120(第一偏光器121和第二偏光器122)分割为对应于瞳孔右侧的光和对应于瞳孔左侧的光。通过将穿过瞳孔右侧和左侧的光通量(穿过图形)的区域的重心之间的距离用作两眼视差的基线长度，在成像器件140的位置中布置的成像器件偏光单元130(第三偏光器131和第四偏光器132)单独地产生右视觉图像和左视觉图像，并且成像器件140同时捕获图像。与瞳孔偏光单元120(第一偏光器121和第二偏光器122)的右/左分割轴并行地在两个像素行的基础上交替地布置成像器件140的位置中的第三偏光器131和第四偏光器132。

如上所述，第一偏光器121和第二偏光器122是布置在光圈113附近并使来自被摄体的光偏振的两个偏光器，并且偏光器的偏光方向彼此正交。现在，令第一方向(例如，与成像装置100产生的立体图像相关联的视差的方向)为第一偏光器121和第二偏光器122彼此连接的方向(水平方向(X轴方向))。在此情况下，以第三偏光器131在第二方向上延伸并且其偏光方向平行于第一偏光器121的偏光方向的方式，第三偏光器131沿着与第一方向正交的方向(第二方向(垂直方向(Y轴方向)))与第四偏光器132交替地布置在成像器件140的光检测面中。以第四偏光器132在第二方向上延伸并且其偏光方向平行于第二偏光器122的偏光方向的方式，第四偏光器132沿着第二方向与第三偏光器131交替地布置在成像器件140的光检测面中。在单个光学系统(透镜系统100)中光圈113的附近，第一偏光器121和第二偏光器122彼此相邻地布置在作为边界的第二方向的对向侧。

成像器件140具有以由第一和第二方向标识的矩阵的方式布置的像素，并且像素布置为原色拜尔排列。在此情况下，第三偏光器131和第四偏光器132例如在预定排列单元的基础上交替地布置在成像器件140中，该预定排列单元是在第二方向上延伸并且与第一方向上的两个像素对应的线。

在参考据以布置成像器件140中的像素的拜尔排列进行描述的本公开的第一实施例中，可以将其它排列用在本公开第一实施例中。例如，在本公开的第一实施例中，也可以使用线间排列、G条/RB检查器(checker)排列、G条/RB完全检查器排列、检查器补色排列、条排列、斜条排列、原色差排列和场色差顺序排列。进一步，例如，在本公开的第一实施例中，也可以使用帧色差顺序排列、MOS排列、修改的MOS排列、帧交织排列和场交织排列。

[光的流与光产生的图像之间的关系的示例]

图4A～4D图解地示出本公开第一实施例中通过透镜系统110、瞳孔偏光单元120和成像器件偏光单元130的光的流和光产生的图像之间的关系。

图4A示出穿过透镜系统110、瞳孔偏光单元120中的第一偏光器121、成像器件偏光单元130中的第三偏光器131并且抵达成像器件140的光的流。图4B示出穿过透镜系统110、瞳孔偏光单元120中的第二偏光器122、成像器件偏光单元130中的第四偏光器132并且抵达成像器件140的光的流。

图4C示出图4B所示的光在成像器件140上形成的图像(左视觉图像221)。图4D示出图4A所示的光在成像器件140上形成的图像(右视觉图像222)。

在图4A和4B中，将参照透镜系统110聚焦方块对象200并且圆形对象201位于朝向透镜系统110远离方块对象200的情况进行描述。在此情况下，方块对象200的图像被聚焦并形成在成像器件140上。相比之下，圆形对象201的图像形成在成像器件140上但未被聚焦。

确切地，圆形对象201的图像形成在成像器件140上相对于方块对象200的图像向右分离距离(+Δx)的位置中(如图4A中所示)。进一步，圆形对象201的图像形成在成像器件140上相对于方块对象200的图像向左分离距离(-Δx)的位置中(如图4B中所示)。因此，距离(2×Δx)是关于圆形对象201的深度的信息。

即，位于朝向成像装置100的方块对象200的近侧的对象(圆形对象201)的图像的模糊的量和方向不同于位于远离成像装置100的方块对象200的远侧的对象的图像的模糊的量和方向。进一步，圆形对象201的图像的模糊的量和方向根据方块对象200和圆形对象201之间的距离而改变。作为结果的立体图像具有与瞳孔偏光单元120中第一偏光器121和第二偏光器122的区域的重心之间的距离相等的两眼视差的基线距离。

基于由此产生的左视觉图像221和右视觉图像222，可以以已知的方式产生立体图像。也可以通过组合右视觉图像数据和左视觉图像数据来产生平面图像(二维图像(即，非立体图像))。

成像器件140基于已经经过第三偏光器131并且抵达成像器件140的第一穿过光产生用于产生右视觉图像数据的电信号。类似地，成像器件140基于已经经过第四偏光器132并且抵达成像器件140的第二穿过光产生用于产生左视觉图像数据的电信号。成像器件140以时间顺序同时地或交替地输出由此产生的电信号。图像处理器170对输出的电信号(从成像器件140输出的并且用以产生右视觉图像数据和左视觉图像数据的电信号)进行图像处理。图像处理器170然后将已经经历了图像处理的图像数据作为右视觉图像数据和左视觉图像数据记录在存储单元180中。

已经在水平方向上稀疏(thin out)的上述的右视觉图像和左视觉图像可能不允许适当地显示立体图像。为了产生允许适当地显示立体图像的右视觉图像数据和左视觉图像数据，图像处理器170对电信号进行解拼(demosaic)和内插(例如，基于超分辨率处理的内插)。图像处理器170可以由此产生允许适当地显示立体图像的右视觉图像数据和左视觉图像数据。图5示出了内插的示例。进一步，例如，图像处理器170可以基于右视觉图像数据和左视觉图像数据进行其它种类的图像处理。例如，可以通过使用用于基于立体声匹配产生差异图(disparity map)的视差检测技术和用于基于差异图控制视差的视差控制技术来增强和优化视差。

[解拼的示例]

图5图解地示出了本公开第一实施例中的图像处理器170进行的图像处理(解拼)。在图5中，将针对如何产生以拜尔排列的方式排列以形成成像器件140的各像素之中的、左视觉图像中G像素的信号值的示例进行描述。注意，将不针对白平衡、曝光、对比度、色度、锐度和其它种类的画质调节、色彩管理与其它种类的图像信号处理、软件处理、格式转换以及其它种类的处理(其每一个均是典型的数字图像处理)进行描述。

在典型的解拼中，例如，使用来自同一色彩的彼此靠近的像素的电信号的平均。然而，在本公开的第一实施例中，用于产生右视觉图像数据的像素组(像素列)和用于产生左视觉图像数据的像素组(像素列)交替地重复。为此原因，像典型的解拼那样使用彼此靠近的像素的值可能不利地不提供正确的图像数据。为了解决此问题，在本公开的第一实施例中，考虑来自要参照的像素的电信号与右视觉图像数据还是左视觉图像数据相关联的判断的结果来进行解拼。

在图5中，用像素的类型(G，R或B)和像素的位置(i，j)标记对应于每个像素的方块。像素的位置(i，j)由X方向上的标识数字(在图5的上部分示出)和Y轴方向上的标识数字(在图5的左部分输出)表示。此外，在图5中所示的拜尔排列中，将粗线围绕的像素250(位置(4，4))假设为R像素。例如，为了产生与像素250对应的G像素信号值g’，计算以下表达式(1)。

g′(4，4)＝(g(3，4)+g(4，5)+g(5，4)+g(4，1)×W3)/(3.0+W3) (1)

表达式(1)左手侧中的项g′(i，j)是指像素位置(i，j)中的G像素信号值。类似地，右手侧中的项g(i，j)是指像素位置(i，j)中的G像素的电信号值。进一步，右手侧中的分母“3.0”表示感兴趣的像素(像素250(位置(4，4)))和与之相邻的三个G像素(位置(3，4)，(4，5)和(5，4))之间的距离(W1)的权重。即，当到三个G像素(位置(3，4)，(4，5)和(5，4))中每一个的距离(W1)是预定值(例如，1.0)并且该距离的倒数(reciprocal)是权重时，右手侧的分母“3.0”对应于权重的总和。在图5中，与感兴趣像素相邻的三个G像素(参考像素)和远离感兴趣像素三个像素的G像素(参考像素)由虚线方块围绕。

右手侧的分母和分子中的值W3表示来自远离感兴趣像素三个像素的G像素(位置(4，1))的电信号的值的权重。在此示例中，W3是“1/3”。

现在，将表达式(1)一般化为以下的表达式(2)和(3)。表达式(2)用以计算偶数i的信号值(与R像素的位置对应的G像素信号值)。表达式(3)用以计算奇数i的信号值(与B像素的位置对应的G像素信号值)。

g′(i，j)＝(g(i-1，j)×W1+g(i，j+1)×W1+(g(i+1，j)×W1+g(i，j-3)×W3)/(W1×3.0+W3)   (2)

g′(i，j)＝(g(i-1，j)×W1+g(i，j+1)×W1+(g(i-1，j)×W1+g(i，j+3)×W3)/(W1×3.0+W3)    (3)

在上面的表达式中，例如，将W1和W3分别设定在1.0和1/3。

已经参照产生R像素的位置中的G像素信号值的情况描述了上面的示例。可以在产生其它像素信号值的情况下类似地进行解拼。

由此，解拼允许产生每个像素的位置中的像素信号值，但是如上所述那样，每个图像在此阶段已经被某种程度地稀疏。因此，需要通过使用内插(其可以是任何已知的方法，如使用靠近感兴趣像素的各像素的值的平均的方法)在没有出现像素信号值的区域中产生像素信号值。可以与解拼同时地进行内插。在垂直方向上，完美地保持画质，并且整个图像的分辨率的减小和画质的其它恶化相当低。

[成像器件和成像器件偏光单元的配置的示例]

图6A和6B图解地示出了本公开第一实施例中的成像器件140和成像器件偏光单元130。

图7A和7B示意性地示出了本公开第一实施例中据以形成金属线栅式(wire-grid)偏光器300的半导体工艺过程。

图6A是成像器件140和成像器件偏光单元130的示意性剖面视图。图6B示意性地示出了形成成像器件偏光单元130的金属线栅式偏光器300(第三偏光器131和第四偏光器132)的排列的一部分。

成像器件140包括衬底(硅半导体衬底)141、光电转换器件142、第一平坦化膜141、滤色器144和片上透镜145。第二平坦化膜146、无机绝缘原生层(primary layer)147和金属线栅式偏光器300堆叠在片上透镜145上。

光电转换器件142形成在衬底141中。第一平坦化膜143、滤色器144、片上透镜145、第二平坦化膜146、无机绝缘原生层147和金属线栅式偏光器300堆叠在光电转换器件142上。每个金属线栅式偏光器300形成第三偏光器131和第四偏光器132中的每一个。片上透镜、滤色器和金属线栅式偏光器堆叠的顺序可以适当地加以改变。

通过在片上透镜145上淀积的第二平坦化膜146将片上透镜145平坦化，并且将用于形成金属线栅式偏光器300的WGP处理停止膜(stopper film)(无机绝缘原生层147)淀积在第二平坦化膜146上。可以基于半导体步骤中的铝微加工将金属线栅式偏光器300形成在WGP处理停止膜上。图7A和7B示出了WGP形成半导体工艺的示例。

形成每个金属线栅式偏光器300的布线310例如由铝(Al)或铝合金制成。将参照图13～16A与16B详细地描述布线310之间的间隔和其占空比(布线宽度/间隔)、其高度及其它参数。

在图6B中，用实线方块表示对应于基本块(由图3A和3B中所示的两个像素(水平方向)乘以两个像素(垂直方向)形成的像素的组)的区域。用在水平或垂直方向上延伸的矩形表示布线310中的每一条。即，形成每个金属线栅式偏光器300的多条布线310平行于水平或垂直方向地延伸。

确切地，在形成每个第三偏光器131的金属线栅式偏光器301中，布线311平行于垂直方向地延伸。在形成每个第四偏光器132的金属线栅式偏光器302中，布线312平行于水平方向地延伸。布线310延伸的方向是每个金属线栅式偏光器300中的光吸收轴，与布线310延伸的方向正交的方向是每个金属线栅式偏光器300中的光透射轴。

[立体图像生成的示例]

接下来描述立体图像的记录。由于立体图像由多个图像(例如，右视觉图像和左视觉图像)形成，因此除非改变图像的尺寸，否则可能不能通过使用据以记录平面图像(所谓的2D图像)的格式(输送格式)来记录这多个图像。为了通过使用平面图像的记录格式来存储立体图像，经常通过稀疏或者压缩携带图像的图像信号来将多个图像作为单个图像处理。

已知的记录格式例如是并排机制、上下机制、逐行机制、棋盘(checkerboard)机制、帧顺序机制和L+视差机制。在上述的各记录格式之中，并排机制、上下机制、逐行机制和棋盘机制导致左右图像信号携带的一半图像信号丢失，但是可以将其尺寸转换为现有技术的图像尺寸。为此原因，这些机制广泛地用于现有技术的广播网络中。尤其是，并排机制也用于CS(通信卫星)数字广播、BS(广播卫星)数字广播和其它类型的广播。即，并排机制最广泛地用于3D视频输送。

在帧顺序机制和L+视差机制(其每一个均是面向高清晰度的机制)中，存储的图像的尺寸大于全HD(全高清)图像的尺寸。因此，期望例如在不久的将来，在可用的再现装置和显示装置之间的通信中采用这些机制。

鉴于上述情形，在本公开的第一实施例中，通过示例的方式利用并排机制记录成像器件140产生的图像数据。

图8A和8B图解地示出了本公开第一实施例中的、在图像处理器170产生要记录的图像时实施的图像处理方法的示例。

图8A示出在从RAW数据400产生要记录的图像数据410时实施的图像处理方法的示例。假设RAW数据400由矩形形成。空白矩形表示由已经穿过第一偏光器121和第三偏光器131的光产生的图像数据(与水平方向上的两个像素对应的图像数据)，而阴影的矩形表示由已经穿过第二偏光器122和第四偏光器132的光产生的图像数据(与水平方向上的两个像素对应的图像数据)。在图8A和8B中，为了便于描述，在水平方向上省略了某些线(空白矩形和阴影矩形)。

如图8A中的箭头所示，图像处理器170通过在两个像素行的基础上重新排列图像信号，将从成像器件140读出的图像信号(图像数据)转换为符合并排机制的图像数据(要记录的图像数据410)。即，通过以将穿过瞳孔右侧的图像与穿过瞳孔左侧的图像彼此分离的方式重新排列原始图像数据来产生图8B中所示的要记录的图像数据410。由于可以将每一个由此重新排列的图像作为典型的全高清图像处理，因此将不描述下面的图像处理。

图9A～9C图解地示出了本公开第一实施例中已经由图像处理器170产生的要记录的图像数据430和要显示的立体图像440之间的关系。

图9A图解地示出了成像器件140产生的RAW数据420。形成RAW数据420的矩形表示由已经穿过瞳孔偏光单元120和成像器件偏光单元130的光产生的图像数据，并且标有标识数字1～10。

图9B图解地示出通过将RAW数据420转换为符合并排机制的图像数据(要记录的图像数据430)所获得的图像数据。用于将RAW数据420转换为要记录的图像数据430的方法与图8A中所示的转换方法相同，因此将不进行其描述。

如上所述，在本公开的第一实施例中，由于仅来自垂直方向上的像素组(两个像素行)的数据重新被排列以便将RAW数据420转换为符合并排机制的图像数据(要记录的图像数据430)，因此垂直分辨率被保持。

现在考虑将成像器件偏光单元中的偏光器(水平线)交替地布置在垂直方向上或者以棋盘图案布置成像器件偏光单元中的偏光器并且基于并排机制记录图像数据的情况。在任一情况下，垂直和水平分辨率恶化了至少为2的因子。相比之下，在本公开的第一实施例中，水平分辨率恶化了2的因子，但是垂直分辨率没有恶化。因此，本公开的第一实施例防止了由于转换为符合并排机制的图像数据所产生的画质的恶化(即，水平和垂直分辨率以至少为2的因子的恶化)。

当如上所述那样记录立体图像时，相比于在垂直方向上交替地布置成像器件偏光单元(水平线)中的偏光器的情况，可以更加详细地再现被摄体。即，当成像器件偏光单元130中的第三偏光器131和第四偏光器132(垂直线)交替地布置在水平方向上的时候，垂直分辨率不会恶化，由此立体图像的质量的恶化可以得到降低。

图9C图解地示出用以显示图9B中所示的待记录图像数据430的待显示立体图像440。立体图像440由左视觉图像441和右视觉图像442形成。与虚线矩形对应的区域(未标有标识数字1～10的区域)在被再现之前经历内插或其它种类的处理。然后显示已经经历了内插的立体图像。

根据上述过程，图像处理器170以将基于已穿过第一偏光器121和第三偏光器131的光(第一穿过光)产生的图像数据作为第一图像数据(右视觉图像数据)处理并且将基于已穿过第二偏光器122和第四偏光器132的光(第二穿过光)产生的图像数据作为第二图像数据(左视觉图像数据)处理的方式来处理成像器件140产生的图像数据。第一和第二图像数据用以显示立体图像。

图像处理器170在预定单元的基础上重新排列成像器件140产生的图像数据以产生第一和第二图像数据，所述预定单元是在第二方向(垂直方向(Y轴方向))上延伸并且与第三偏光器131和第四偏光器132对应的线。

换言之，图像处理器170基于预定的记录格式(例如，并排机制)，产生作为要在存储单元180中记录的图像数据的第一和第二图像数据。

已经参照通过重新排列从成像器件140读出的图像信号来产生待记录图像数据的情况描述了上面的示例，但是可以使用其它的图像转换方法。例如，当从成像器件140读出图像信号时，可以在两个像素的基础上依次读取形成立体图像的一个图像(例如，左视觉图像)中的各条线，然后可以在两个像素的基础上依次读取另一个图像(例如，右视觉图像)中的各条线。由此读取的图像数据可以用以产生符合并排机制的图像数据。

即，图像处理器170可以按照如下那样处理成像器件140产生的图像数据：将在预定单元(该预定单元是在第二方向上延伸并且对应于第三偏光器131的线)的基础上依次读取的图像数据作为第一图像数据处理，并且将在预定单元(该预定单元是在第二方向上延伸并且对应于第四偏光器132的线)的基础上依次读取的图像数据作为第二图像数据处理。

[成像器件处的偏光器的排列的示例]

近来的成像器件(图像传感器)具有越来越多的像素数目，并且最近已经开发出的某些成像器件具有一千万个像素或更多。然而，在全高清图像中，据以形成视频图像的像素的数目大约为两百万，并且邻近的像素在当它们用以形成视频图像的许多情况下一般被加至单个像素。

为此目的，具有这种大量像素的成像器件可以根据要相加的像素的数目，提前使得每隔预定单元(该预定单元为拜尔排列中的那些预定单元乘以N(N是大于或等于1的整数))布置偏光器。图10示出该排列的示例。

图10示出本公开第一实施例中形成成像器件偏光单元130的偏光器的排列的变型。图10示出与通过添加像素值产生图像信号的成像器件800一起使用的偏光器的排列的示例。

在图10所示的示例中，在水平方向上每隔预定单元将偏光器(第三偏光器131和第四偏光器132)排列在具有大量像素的成像器件800中，该预定单位为基本块(图3A和3B中所示的、由两个像素(水平方向上)乘以两个像素(垂直方向上)形成的像素组)乘以2。如图3B中那样，图10示出了成像器件800中的所有像素(注意，省略了其一部分)。进一步，在图10中，成像器件800上布置第三偏光器131和第四偏光器132的位置由置于图10的上部的字符(“第三偏光器131”和“第四偏光器132”)标识。在图10中，通过示例的方式，成像器件800具有八百万个像素。

如图10中所示，可以沿着由水平方向上的N个像素(N＝2n(n是范围为1～5的自然数))形成的垂直线(像素组)交替地布置一个第三偏光器131和一个第四偏光器132。

即，例如在预定排列单元的基础上将第三偏光器131和第四偏光器132交替地布置在成像器件140中，该预定排列单元是在第二方向上延伸并且与第一方向上的四个像素对应的线。

图像处理器170在预定单元(该预定单元是在第二方向上延伸并且与第三偏光器131和第四偏光器132对应的线)的基础上将成像器件140产生的图像数据相加，然后重新排列相加后的图像数据。图像处理器170可以通过重新排列相加后的图像数据来产生第一图像数据和第二图像数据。可以通过图像处理器170或成像器件140进行相加。

已经参照将相加后的图像数据重新排列以使得产生待记录的图像数据的情况描述了上面的示例，但是可以使用其它的图像转换方法。例如，图像处理器170可以在预定单元(该预定单元是在第二方向上延伸并且与第三偏光器131对应的线)的基础上相加图像数据，然后将依次读取的图像数据(相加后的图像数据)作为第一图像数据处理。类似地，图像处理器170可以在预定单元(该预定单元是在第二方向上延伸并且与第四偏光器132对应的线)的基础上相加图像数据，然后将依次读取的图像数据(相加后的图像数据)作为第二图像数据处理。

[成像装置的操作的示例]

接下来将参照附图描述本公开第一实施例中的成像装置100的操作。

图11是示出了本公开第一实施例中成像装置100进行的图像处理过程的示例的流程图。在此示例中，图像处理器170从成像器件140中的所有像素获取图像数据，并且重新排列所获取的图像数据。

图像处理器170首先从成像器件140中的所有像素获取图像数据(步骤S901)。步骤S901是在所附权利要求中阐述的获取步骤的示例。

然后，图像处理器170重新排列从成像器件140获取的图像数据(步骤S902)。即，图像处理器170在预定单元(该预定单元是与第三偏光器131和第四偏光器132中每一个对应的像素的组)的基础上重新排列图像数据以产生符合并排机制的图像数据(步骤S902)。步骤S902是在所附权利要求中阐述的图像处理步骤的示例。

然后，图像处理器170对符合并排机制的图像数据进行解拼(步骤S903)。然后，图像处理器170输出符合并排机制并且已经经历了解拼的图像数据(步骤S904)。例如，图像处理器170输出符合并排机制并且已经经历了解拼的图像数据，并且将图像数据存储在存储单元180中(步骤S904)。

图12是示出了本公开第一实施例中成像装置100进行的图像处理过程的另一示例的流程图。在此示例中，在预定单元的基础上从成像器件140获取图像数据，该预定单元是形成立体图像的各图像。

首先，图像处理器170从对应于第三偏光器131的像素的组获取图像数据(步骤S911)。然后，图像处理器170从对应于第四偏光器132的像素的组获取图像数据(步骤S912)。由于在预定单元的基础上从成像器件140获取图像数据，该预定单元是如上所述那样形成立体图像的各图像，因此图像处理器170可以在无需重新排列图像数据的情况下产生符合并排机制的图像数据。步骤S911和S912是所附权利要求中阐述的获取步骤的示例。步骤S911和S912也是所附权利要求中阐述的图像处理步骤的示例。

然后，图像处理器170对符合并排机制的图像数据进行解拼(步骤S913)。然后，图像处理器170输出符合并排机制并且已经经历了解拼的图像数据(步骤S914)。例如，图像处理器170输出符合并排机制并且已经经历了解拼的图像数据，并且将图像数据存储在存储单元180中(步骤S914)。

在本公开的第一实施例中，如上所述那样使用作为最典型的3D视频输送机制的并排机制。因此在将图像数据转换为符合并排机制的视频信号时保持了成像器件140产生的图像数据的垂直分辨率，由此可以降低立体图像的质量的恶化。

进一步，可以仅通过重新排列图像数据(其是相对简单的信号处理)来产生立体图像(3D视频图像)。再者，在左右图像的重新排列之后，可以没有任何修改地使用典型的HD信号处理算法，由此可以减小电路的规模。

[金属线栅式偏光器的示例]

接下来将总结本公开的第一实施例中金属线栅式偏光器(WGP)的外部结构和操作。

例如，将金属(铝)肋(rib)形成为使得每个肋具有几十纳米的线宽度，其充分地小于光的波长，并且以一百几十纳米的间隔排列肋。已知的是，由此形成的肋用作具有极好偏光分离特性(确切地，反射与肋平行的偏光分量并且透射与肋正交的偏光分量)的反射偏光板。

[金属线栅式偏光器的形状和特性]

图13适应性地示出了本公开第一实施例中金属线栅式偏光器的间隔、高度和宽度。在图13中，令P为形成金属线栅式偏光器的布线310之间的间隔，H为布线310的高度，D为布线310的宽度(布线宽度)。在下面的示例中，通过基于图13中所示的结构单独地改变上述参数来检查指标(index)的行为。

基于串扰限制为10％的事实，计算间隔、占空比(＝布线宽度/间隔)、高度和循环重复的数目(它们对于金属线栅式偏光器取得大于或等于10的消光比是必要的)如何改变消光比。图14A～14C和15A～15C示出计算结果的示例。

图14A～14C和15A～15C示出了通过改变本公开第一实施例中金属线栅式偏光器的间隔、高度、占空比(＝布线宽度/间距)和长度所获得的计算的结果的示例。图14A～14C的左侧示出了表示消光比(垂直轴)和波长(水平轴)之间的关系的坐标曲线图，而图14A～14C的右侧示出了表示透射率(垂直轴)和波长(水平轴)之间的关系的坐标曲线图。

图14A示出通过改变间隔获得的结果。确切地，图14A示出了通过将布线310之间的间隔P从150nm改变到300nm获得的计算结果的示例。图14A中的曲线标有表示布线310之间的间隔P的值(150，175，200，250和300)。

如图14A中所示，需要将布线310之间的间隔P设在200nm或更小以便取得大于10的消光比。

图14B示出了通过改变高度获得的结果。确切地，图14B示出了通过将布线310的高度H从100nm改变到250nm获得的计算结果的示例。图14B中的曲线标有表示布线310的高度H的值(100，150，200和250)。

如图14B中所示，消光比随着布线310的高度H增大而增大，而透射率随着布线310的高度H增大而减小。即，在布线310的高度H和透射率之间存在折中。需要将布线310的高度H设在50nm或更大以便取得大于10的消光比。

图14C示出了通过改变占空比获得的结果。确切地，图14C示出通过将布线310的占空比(＝布线宽度/间隔)从0.33改变到0.5获得的计算结果的示例。图14C中的曲线标有表示布线310的占空比(＝布线宽度/间隔)的值(0.33和0.5)。

如图14C中所示，消光比随着布线310的占空比(＝布线宽度/间隔)增大而增大，而透射率随着布线310的占空比增大而减小。即，在布线310的占空比(＝布线宽度/间隔)和透射率之间存在折中。需要将布线310的占空比(＝布线宽度/间隔)设在0.33或更大以便取得大于10的消光比。

图15A和15B示意性地示出了具有包括彼此独立的两个立柱的结构的铝布线模型(格形模型)。即，图15A是具有立柱601和602的铝布线模型(格形模型)的前视图。图15B是具有立柱601和602的铝布线模型(格形模型)的侧视图(以图15A中箭头603指示的方向看到的)。

图15C示出了图15A和15B中所示的具有从1～6μm至无穷的范围的布线长度的铝布线模型(格形模型)的消光比的计算的结果。确切地，图15C示出了表示消光比(垂直轴)和波长(水平轴)(金属线栅长度＝6，5，4，3，2，1，∞(无穷)[μm])之间的关系的坐标曲线图。图15C中的曲线标有表示布线长度的值(6，5，4，3，2，1和无穷)。

如图15C中看到的，认为相比于布线数目，消光比更大地依赖于布线长度，并且认为布线长度确定可以使用布线模型的限制(limit)。当布线长度减小时，在2μm的长度处，RED侧的消光比恶化或者减小至10或更小。

因此，认为必要的布线长度为2μm或更长，并且认为布线被排列的方向上的必要总长度类似地尺寸化。基于上述假设，认为当以200nm的间隔排列布线时，布线结构中的适当周期为10或更大。

根据上述结果，当布线由铝制成时，金属线栅式偏光器优选地具有下列结构：格子配置为使得间隔为200nm或更小，占空比(布线宽度除以间隔)为1/3或更大，高度为50nm或更大，周期为10或更大。

[金属线栅式偏光器和像素之间的位置关系的示例]

如图6A中所示，由金属线栅式偏光器和成像器件形成的偏光图像传感器包括光电转换器件、滤色器、片上透镜(OCL)和金属线栅式偏光器。

如果光由于OCL上的偏光器引起的散射、衍射和其它现象而从像素泄露至相邻像素，则光泄露导致色彩污染、重影图像和噪声。为了解决这些问题，一般要求根据偏光方向已经在光圈的位置中分离的光通量(其形成左右图像)精确地由OCL上的偏光器分离并且入射在像素上。

一般而言，产生普通光线和异常光线之间的相差的作为光学组件的偏光器需要某一厚度。由树脂膜形成的商业上可用的偏光器具有几百微米的厚度，并且由方解石、云母、石英或任何其它的晶体材料制成的那些偏光器具有范围为几百到几微米的厚度。已经有报道说，例如由光子学晶体制成的具有循环结构的偏光器具有5μm的厚度。

鉴于上述事实，例如，当在具有2.5μm或更小的像素尺寸的当前CMOS图像传感器中的OCL上形成偏光器时，检测偏光方向的偏光器位于像素面以上至少5μm。因此，难以没有色彩污染地将偏振光精确地分离至硅芯片表面上的、以2.5μm的间隔排列的像素。

为了解决上述问题，在本公开的第一实施例中使用金属线栅式偏光器。例如，厚度可以为几百纳米的金属线栅式偏光器可以置于紧邻OCL上面。图16A和16B示出这样的情况：由彼此正交的布线形成的格子形成在具有3μm尺寸的每个分割区域中，并且计算在TE波或TM波入射在格子上后的偏光分离。

图16A和16B示出了本公开第一实施例中通过金属线栅式偏光器的光传播的仿真。在图16A和16B所示的示例中，以μm标记水平和垂直轴。

如图16A和16B中所示，在具有至少0.75μm的厚度的传播区域中，根据偏光方向分离的光通量在没有色彩污染、衍射或散射的情况下抵达与传播区域相邻的像素区域。

如上所述，由于在本公开的第一实施例中，在紧邻OCL上面形成偏光器，因此泄露到相邻像素中的光量(色彩污染)是小的，由此可以产生清晰的图像。进一步，通过适当地设置间隔、高度、占空比和其它参数，可以将每个金属线栅式偏光器设计为取得任意的消光比。再者，可以在典型的半导体工艺中形成的金属线栅式偏光器可以与图像传感器工艺兼容地加以形成。进一步，每个偏光器可以具有任意的偏光方向，并且可以形成在任意的像素上。

进一步，可以将小的单个面板(即，单个传感器)图像传感器用于捕获立体图像(所谓的3D成像)。再者，可以针对每个像素产生任意的偏光图像。

进一步，根据本公开的第一实施例，由于成像装置100例如由一组瞳孔偏光单元120和成像器件偏光单元130与一个透镜系统110形成，因此可以同时产生左右两个不同的分离图像。由此可以提供具有拥有少量部件的简单结构的单透镜成像装置。即，可以提供能够以低成本产生立体图像的小成像装置。

由于不需要两组的透镜和偏光滤波器，因此不会出现变焦、限制光、聚焦、会聚角和其它参数的偏移或差异。进一步，由于两眼视差的基线长度相对小，因此可以提供自然的立体感。再者，当可以可拆卸地将瞳孔偏光单元120插入在光圈113的位置时，可以容易地产生平面图像(二维图像)和立体图像(3D图像)。

相比于时分方法(即，用于按时间顺序通过在光圈的位置切换左右快门来交替地捕获左右图像的方法)，可以同时捕获左右图像，并且可以减小机械部件的数目。进一步，可以功能地集成图像传感器。再者，不会出现由于瞬时频率的增大所产生的成像效率的任何减小或与快门有关的任何损失，由此可以产生明亮的图像。

<2.第二实施例>

已经参照包括一个透镜系统的成像装置产生立体图像(所谓的单反3D相机)的情况描述了本公开的第一实施例。本公开的第一实施例也可应用于包括多个透镜系统并且能够通过使用透镜系统产生立体图像的成像装置(例如，双透镜3D相机)。将参照包括多个透镜系统的成像装置描述本公开的第二实施例。

[成像装置的配置的示例]

图17是示出了根据本公开第二实施例的成像装置500的内部配置的示例的透视图。

成像装置500包括第一透镜组511和513、第二透镜组512和514、第一偏光器521、第二偏光器522、镜子531～534、成像器件偏光单元540和成像器件550。第一偏光器521布置在采集来自被摄体的光的第一光学系统(第一透镜组511和第二透镜组512)中的光圈(未示出)的附近。第二偏光器522布置在第二光学系统(第一透镜组513和第二透镜组514)中的光圈(未示出)的附近。成像装置500由此包括两个透镜系统(第一透镜组511、513和第二透镜组512、514)和一个成像器件550。

第一偏光器521对应于图1A和1B与其它附图中所示的第一偏光器121，第二偏光器522对应于图1A和1B与其它附图中所示的第二偏光器122。成像器件偏光单元540对应于图1A和1B与其它附图中所示的成像器件偏光单元130。图像处理器和其它组件与图1A和1B与其它附图中所示的图像处理器170和其它组件基本上相同，因此将不会图示或描述。

本公开的实施例也可应用于具有允许应对各种图像(如，立体图像)的成像能力的其它装置(如，移动电话、导航系统和移动媒体播放器)。

以示例的方式给出了本公开的实施例以用于体现本公开。如本公开的实施例中明确说明的，本公开实施例中的各项涉及所附权利要求中阐述的特定的创造性的项。类似地，所附权利要求中阐述的特定的创造性的项涉及本公开实施例中具有相同名称的项。然而，注意的是，本公开不限于这些实施例，而是可以在对实施例进行的变化不脱离本公开实质的程度上，以各种变化加以体现。

本公开实施例中描述的每个过程可以用作包括过程的一系列处理的方法，或者可以用作指令计算机实施一系列处理的程序，或者记录了该程序的记录介质。记录介质的示例可包括CD(compact disc，致密盘)、MD(minidisc，迷你盘)、DVD(digital versatile disk，数字多功能盘)、存储卡和蓝光盘

。

本公开包含与2011年2月17日向日本专利局提交的日本优先权专利申请JP 2011-031486中公开的主题相关的主题，其全部内容通过引用的方式合并在此。

本领域的技术人员应当理解，依据设计要求和其它因素可出现各种修改、组合、部分组合和变更，只要其落在所附权利要求或其等同体的范围内即可。

Claims (14)

1.一种成像装置，包含：

第一偏光器和第二偏光器，其布置在光圈的附近并且使来自被摄体的光偏振，第一偏光器和第二偏光器的偏光方向彼此正交；

第三偏光器和第四偏光器，其使来自被摄体的光偏振并且以第三偏光器和第四偏光器在与第一方向正交的第二方向上延伸的方式沿着第二方向交替地布置在成像器件的光检测面中，所述第一偏光器和所述第二偏光器沿着所述第一方向彼此连接，所述第三偏光器的偏光方向与所述第一偏光器的偏光方向平行并且所述第四偏光器的偏光方向与所述第二偏光器的偏光方向平行；以及

图像处理器，其以如下方式处理成像器件产生的图像数据：将基于已经穿过第一偏光器和第三偏光器的光所产生的图像数据作为用于显示立体图像的第一图像数据处理，并且将基于已经穿过第二偏光器和第四偏光器的光所产生的图像数据作为用于显示立体图像的第二图像数据处理。

2.如权利要求1所述的成像装置，

其中，所述成像器件具有以由所述第一方向和所述第二方向标识的矩阵的方式排列的像素，以及

第三偏光器和第四偏光器在预定排列单元的基础上交替地布置在所述成像器件中，该预定排列单元为在第二方向上延伸的一条线或多条线，并且所述线对应于第一方向上的两个像素。

3.如权利要求2所述的成像装置，

其中，所述图像处理器通过在预定单元的基础上重新排列成像器件产生的图像数据来产生第一图像数据和第二图像数据，该预定单元是在第二方向上延伸并且与每个第三偏光器和每个第四偏光器对应的线。

4.如权利要求2所述的成像装置，

其中，所述图像处理器通过在预定单元的基础上将成像器件产生的图像数据相加然后将相加后的图像数据重新排列以产生第一图像数据和第二图像数据，该预定单元是在第二方向上延伸并且与每个第三偏光器和每个第四偏光器对应的线。

5.如权利要求2所述的成像装置，

其中，所述图像处理器以将在第一预定单元的基础上依次读取的图像数据作为第一图像数据处理并且将在第二预定单元的基础上依次读取的图像数据作为第二图像数据处理的方式来处理所述成像器件产生的图像数据，该第一预定单元是在第二方向上延伸并且与每个第三偏光器对应的线，该第二预定单元是在第二方向上延伸并且与每个第四偏光器对应的线。

6.如权利要求2所述的成像装置，

其中，所述图像处理器以如下方式处理所述成像器件产生的图像数据：将基于第一预定单元的图像数据相加然后将相加后的图像数据依次读取并作为所述第一图像数据处理，并且将基于第二预定单元的图像数据相加然后将相加后的图像数据依次读取并作为所述第二图像数据处理，该第一预定单元是在第二方向上延伸并且与每个第三偏光器对应的线，该第二预定单元是在第二方向上延伸并且与每个第四偏光器对应的线。

7.如权利要求2所述的成像装置，

其中，以原色拜尔排列的方式布置所述成像器件中的像素。

8.如权利要求1所述的成像装置，

其中，在采集来自被摄体的光的单个光学系统中的光圈的附近，第一偏光器和第二偏光器彼此相邻地布置在作为边界的第二方向的对向侧。

9.如权利要求1所述的成像装置，

其中，所述第一偏光器布置在采集来自被摄体的光的第一光学系统中的光圈的附近，以及

所述第二偏光器布置在采集来自被摄体的光的第二光学系统中的光圈的附近。

10.如权利要求1所述的成像装置，

其中，所述图像处理器产生第一图像数据和第二图像数据，作为要基于预定记录格式在记录介质上记录的图像数据。

11.如权利要求1所述的成像装置，

其中，所述图像处理器产生第一图像数据和第二图像数据，作为要基于使用并排机制的记录格式在记录介质上记录的图像数据。

12.如权利要求1所述的成像装置，

其中，所述第一方向是与立体图像相关联的视差的方向。

13.一种图像处理方法，包含：

获取成像器件基于入射在其上的光、经由第一偏光器和第二偏光器以及第三偏光器和第四偏光器所产生的图像数据，所述第一偏光器和所述第二偏光器布置在光圈的附近并且使来自被摄体的光偏振，所述第一偏光器和所述第二偏光器的偏光方向彼此正交；所述第一偏光器和所述第二偏光器沿着第一方向彼此连接，所述第三偏光器和所述第四偏光器使来自被摄体的光偏振并且以第三偏光器和第四偏光器在与第一方向正交的第二方向上延伸的方式沿着第二方向交替地布置在成像器件的光检测面中，所述第三偏光器的偏光方向与第一偏光器的偏光方向平行并且第四偏光器的偏光方向与第二偏光器的偏光方向平行；以及

进行如下的图像处理：将基于已经穿过第一偏光器和第三偏光器的光所产生的图像数据作为用于显示立体图像的第一图像数据处理，并且将基于已经穿过第二偏光器和第四偏光器的光所产生的图像数据作为用于显示立体图像的第二图像数据处理。

14.一种程序，其指令计算执行：

获取成像器件基于入射在其上的光、经由第一偏光器和第二偏光器以及第三偏光器和第四偏光器所产生的图像数据，所述第一偏光器和所述第二偏光器布置在光圈的附近并且使来自被摄体的光偏振，所述第一偏光器和所述第二偏光器的偏光方向彼此正交；所述第一偏光器和所述第二偏光器沿着第一方向彼此连接，所述第三偏光器和所述第四偏光器使来自被摄体的光偏振并且以第三偏光器和第四偏光器在与第一方向正交的第二方向上延伸的方式沿着第二方向交替地布置在成像器件的光检测面中，所述第三偏光器的偏光方向与第一偏光器的偏光方向平行并且第四偏光器的偏光方向与第二偏光器的偏光方向平行；以及

进行如下的图像处理：将基于已经穿过第一偏光器和第三偏光器的光所产生的图像数据作为用于显示立体图像的第一图像数据处理，并且将基于已经穿过第二偏光器和第四偏光器的光所产生的图像数据作为用于显示立体图像的第二图像数据处理。

Images