CN102823230A - 摄像装置 - Google Patents

Abstract

本发明提供一种3维摄像装置，其具备：具有透过率的波长依赖性彼此不同的m个(m为2以上的整数)的透过区域的光透过部(2)、固体摄像元件(1)、在固体摄像元件(1)的摄像面(1a)形成像的成像部(3)。固体摄像元件(1)由多个单位要素构成，各单位要素包括n个(n为m以上的整数)光感知单元以及与这些光感知单元对置的n个透过滤波器。n个透过滤波器的透过率的波长依赖性彼此不同。在波长设为λ，将透过区域(C1、C2)的透过率分别设为Tc1(λ)、Tc2(λ)，将2个透过滤波器的透过率设为Td1(λ)、Td2(λ)，将积分区间设定为可见光的整个波段时，满足：∫Tc1(λ)Td1(λ)dλ＞0、∫Tc1(λ)Td2(λ)dλ＞0、∫Tc2(λ)Td1(λ)dλ＞0、∫Tc2(λ)Td2(λ)dλ＞0、及∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλ。

Description

摄像装置

技术领域

本发明涉及获取具有视差的多个图像的单眼的3维摄像技术。

背景技术

近年来，利用了CCD、CMOS等固体摄像元件(以下，有时称为“摄像元件”)的数码相机、数码摄像机的高功能化、高性能化令人瞠目。特别随着半导体制造技术的进步，固体摄像元件中的像素构造的微细化进一步发展。其结果，正在不断谋求固体摄像元件的像素及驱动电路的高集成化。因此，在仅仅几年间摄像元件的像素数从100万像素左右显著增加至1000万像素以上。再有，通过摄像所得到的图像的质量也有飞跃的提高。另一方面，对于显示装置而言，通过基于薄型的液晶、等离子的显示器，无论场所如何，都能够进行高清晰度且高对比度的显示，实现了较高的性能。这种影像的高品质化的潮流从2维图像正扩展至3维图像。近来，尽管需要偏振眼镜，但已开始了高画质的3维显示装置的开发。

对于3维摄像技术，作为具有简单构成的代表性技术，存在使用由2个照相机构成的摄像系统分别获取右眼用的图像及左眼用的图像的技术。在这种所谓的2眼摄像方式中，由于使用2个照相机，因此摄像装置可能变大，成本也可能变高。为此，正在研究使用1个照相机来获取具有视差的多个图像(以下，有时称为“多视点图像”。)的方式(单眼摄像方式)。例如，专利文献1中公开了一种使用滤色器同时获取具有视差的2个图像的方式。图11是示意地表示基于该方式的摄像系统的图。该技术中的摄像系统具备透镜3、透镜光圈19、配置了透过波段不同的2个滤色器20a、20b的光束限制板20、感光胶片21。在此，滤色器20a、20b是例如分别使红色系统、蓝色系统的光透过的滤波器。

通过以上的构成，入射光透过透镜3、透镜光圈19及光束限制板20，并在感光胶片21上成像。此时，在光束限制板20的2个滤色器20a、20b中，分别仅使红色系统、蓝色系统的光透过。其结果是，在感光胶片21上形成由分别透过这2个滤色器的光形成的洋红色系统的颜色成分的像。在此，由于滤色器20a、20b的位置不同，因此在感光胶片21上形成的像中产生视差。在此，根据感光胶片制作照片，当使用分别按照右眼用及左眼用而粘贴了红色胶片及蓝色胶片的眼镜时，能够看到具有纵深感的图像。这样，根据专利文献1公开的技术，能够使用2个滤色器来制作多视点图像。

专利文献1中公开的技术是在感光胶片上成像来生成具有视差的多个图像的技术，但另一方面，专利文献2中公开了将具有视差的图像变换为电信号来获取的技术。图12是示意地表示该技术中的光束限制板22的图。在该技术中，在与摄像光学系统的光轴垂直的平面上使用光束限制板22，该光束限制板22设置有透过红色光的R区域22R、透过绿色光的G区域22G、透过蓝色光的B区域22B。使用具有对红色光进行检测的R像素、对绿色光进行检测的G像素、对蓝色光进行检测的B像素的彩色摄像元件来接收透过这些区域的光，由此获取由透过各区域的光形成的图像。

此外，专利文献3中也公开了使用与图12同样的结构来获取具有视差的多个图像的技术。图13是示意地表示专利文献3中公开的光束限制板23的图。在该技术中，入射光透过设置在光束限制板23上的R区域23R、G区域23G、B区域23B，由此能够制作具有视差的多个图像。

专利文献4也同样地公开了一种使用相对于光轴对称地配置的彼此颜色不同的一对滤波器来生成具有视差的多个图像的技术。作为一对滤波器而利用红色的滤波器及蓝色的滤波器，由此，检测红色光的R像素观测透过红色滤波器的光，检测蓝色光的B像素观测透过蓝色滤波器的光。由于红色滤波器和蓝色滤波器的位置不同，因此R像素接收的光的入射方向与B像素接收的光的入射方向彼此不同。其结果是，通过R像素观测的图像和通过B像素观测的图像成为彼此视点不同的图像。根据这些图像按每个像素求出对应点，由此能够计算视差量。根据所计算出的视差量和照相机的焦点距离信息，求出从照相机至被摄体的距离。

专利文献5中公开了如下的技术：根据使用安装了口径尺寸彼此不同的2个滤色器(例如红色和蓝色)的光圈、或者颜色不同的2个滤色器相对于光轴被安装在左右对称的位置处的光圈所获取的2个图像来求出被摄体的距离信息。在该技术中，当观测分别透过了口径尺寸彼此不同的红色及蓝色的滤色器的光时，按每个颜色观测的模糊的程度会不同。因此，与红色及蓝色的滤色器分别对应的2个图像成为模糊的程度因被摄体的距离而不同的图像。根据这些图像求出对应点，通过比较模糊的程度，来获得从照相机至被摄体的距离信息。另一方面，在观测分别透过了相对于光轴被安装在左右对称的位置处的颜色不同的2个滤色器之后的光时，按每个颜色观测的入射光的方向会不同。因此，与红色及蓝色的滤色器分别对应的2个图像成为具有视差的图像。根据这些图像求出对应点，通过求出对应点间的距离，可获得从照相机至被摄体的距离信息。

根据上述专利文献1～5中公开的技术，通过在光束限制板或者光圈配置RGB系统的滤色器能够生成具有视差的多个图像。但是，由于使用RGB系统的滤色器，因此入射光量大大减少。此外，为了增大视差量，要将多个滤色器配置在彼此分离的位置，且需要减小滤色器各自的面积。但是，当减小滤色器的面积时，入射光量会进一步减少。

相对于以上的现有技术，专利文献6中公开了使用配置有RGB多个滤色器的光圈能够获得具有视差的多个图像和光量方面没有问题的通常图像的技术。根据该技术，摄像元件在关闭光圈的状态下仅接收透过了RGB滤色器的光，在打开光圈的状态下RGB滤色器区域会偏离光路，因此能够接收全部的入射光。由此，能够在关闭光圈的状态下获取多视点图像，并在打开光圈的状态下获取光利用率高的通常图像。

现有技术文献

专利文献

【专利文献1】JP特开平2-171737号公报

【专利文献2】JP特开2002-344999号公报

【专利文献3】JP特开2009-276294号公报

【专利文献4】JP特开2010-38788号公报

【专利文献5】JP特开2010-79298号公报

【专利文献6】JP特开2003-134533号公报

发明要解决的技术问题

根据专利文献1～5所公开的技术，尽管能够获取多视点图像，但是由于使用原色(RGB系统)的滤色器，因此摄像元件的受光量大大减少。另一方面，根据专利文献6所公开的技术，利用通过机械性驱动使滤色器从偏离光路的机构能够获取光利用率高的通常图像。但是，在该技术中为了获得多视点图像也要使用原色的滤色器，因此无法获得光利用率高的多视点图像。此外，该技术中还存在招致装置的大型化及高成本化的这一技术问题。

在现有技术中，直接利用根据摄像元件的各像素中入射的光量所生成的光电变换信号(像素信号)来生成多视点图像，通过进行这些图像间的对应点匹配等来计算距离信息。因此，在使用具有原色型的滤色器排列的一般的摄像元件时，还需要在光束限制板或者光圈设置原色型的滤色器。在光束限制板或者光圈的滤色器为原色型的情况下，由于各滤色器仅使自身的透过波段中包含的波长的光透过，因此，当拍摄有彩色的被摄体时，透过左右的滤波器的光的量会出现差异。例如，在拍摄主要反射红色波段的光的物体时，由于从物体入射的光虽透过红色滤波器但几乎不透过蓝色滤波器，因此摄像元件中的R像素的像素信号变得大于B像素的像素信号。即，在根据R像素的像素信号生成的图像和根据B像素的像素信号生成的图像中，即便是在3维空间中表示同一点的对应点，彼此的像素信号(浓淡)也有很大差异。其结果，观察这2个图像的眼睛的不适感较强烈，此外，如果被摄体的颜色不同则对应点处的浓淡不同，因此基于匹配的距离估计也很难。这样，在使用配置了多个原滤色器的光圈或者光束限制板的现有技术中，在接近于单色光的光入射的情况下，无法获取视差信息，因此存在应用范围受限的这一技术问题。

发明内容

本发明提供一种不进行机械性驱动、即便从被摄体入射的光是单色光也能够获取多视点图像、能够获取光利用率高的多视点图像的摄像技术。

解决技术问题的技术方案

本发明的3维摄像装置具备：光透过部，其具有透过率的波长依赖性彼此不同的m个(m为2以上的整数)透过区域；固体摄像元件，其被配置成接受透过了所述光透过部的光，且具有光感知单元阵列、以及与所述光感知单元阵列对置配置的透过滤波器阵列，所述光感知单元阵列及所述透过滤波器阵列由多个单位要素构成，各单位要素包括n个(n为m以上的整数)光感知单元、及与所述n个光感知单元对置配置的透过率的波长依赖性彼此不同的n个透过滤波器；和成像部，其在所述固体摄像元件的摄像面形成像。在将波长设为λ，将表示所述m个透过区域之中的任意2个透过区域的透过率的函数设为Tc1(λ)及Tc2(λ)，将表示所述n个透过滤波器之中的任意2个透过滤波器的透过率的函数设为Td1(λ)及Td2(λ)，并将积分区间设定为可见光的整个波段时，满足：∫Tc1(λ)Td1(λ)dλ＞0、∫Tc1(λ)Td2(λ)dλ＞0、∫Tc2(λ)Td1(λ)dλ＞0、∫Tc2(λ)Td2(λ)dλ＞0、及∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλ。

在某个实施方式中，还具备图像生成部，该图像生成部利用从所述n个光感知单元之中至少m个光感知单元输出的光电变换信号来生成基于入射到所述m个透过区域中的光的m个多视点图像。

在某个实施方式中，所述图像生成部通过利用了基于各透过区域的透过率及各透过滤波器的透过率而决定的n行m列的矩阵的运算，来生成所述m个多视点图像。

在某个实施方式中，m＝2、n＝2，所述图像生成部利用将∫Tc1(λ)Td1(λ)、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、及∫Tc2(λ)Td2(λ)dλ作为所述矩阵的要素的2行2列的矩阵来生成所述多视点图像。

在某个实施方式中，所述m个透过区域的至少1个透过区域中的透过率以及所述n个透过滤波器的至少1个透过滤波器中的透过率被设计成在可见光的波段不具有波长依赖性。

在某个实施方式中，所述m个透过区域的至少1个透过区域、以及所述n个透过滤波器的至少1个透过滤波器是透明的。

发明效果

根据本发明，不必进行机械性驱动，即便从被摄体入射的光是单色光，也能够获取多视点图像。再有，根据本发明的优选的实施方式，能够获取光利用率高于以往的多视点图像。

附图说明

图1是表示实施方式1中的整体结构的框图。

图2是表示实施方式1中的透光板、光学系统、及摄像元件的概略结构的示意图。

图3是表示实施方式1中的透光板的透过区域的配置的图。

图4是表示实施方式1中的摄像元件的透过滤波器的基本构成的图。

图5是表示透光板中的透过滤波器的分光透过率的例子的图。

图6是表示摄像元件中的透过滤波器的分光透过率的例子的图。

图7是表示透光板中的透过滤波器的分光透过率的其他例子的图。

图8是表示摄像元件中的透过滤波器的分光透过率的其他例子的图。

图9是表示具有m个透过区域的透光板的一例的图。

图10是表示摄像元件的各单位要素中的n个滤色器的配置的一例的图。

图11是专利文献1中的摄像系统的构成图。

图12是专利文献2中的光束限制板的外观图。

图13是专利文献3中的光束限制板的外观图。

具体实施方式

以下，参照附图说明本发明的实施方式。在以下的说明中，对于共同或者对应的要素赋予同一符号。再者，在本说明书中，将表示图像的信号或者信息简称为“图像”。

(实施方式1)

图1是表示本发明的第1实施方式中的摄像装置的整体结构的框图。本实施方式的摄像装置是数字式的电子照相机，具备摄像部100、以及基于从摄像部100输出的信号来生成表示图像的信号(图像信号)的信号处理部200。

摄像部100具备：具有在摄像面上排列的多个光感知单元(像素)的摄像元件(图像传感器)1、具有透过率的波长依赖性(分光透过率)彼此不同的2个透过区域的透光板(光透过部)2、用于在摄像元件1的摄像面上形成像的光学透镜3、以及红外截止滤波器4。摄像部100还具备：产生用于驱动摄像元件1的基本信号并且接收来自摄像元件1的输出信号而送出至信号处理部200的信号产生/接收部5、以及基于由信号产生/接收部5产生的基本信号来驱动摄像元件1的元件驱动部6。摄像元件1典型的是CCD或者CMOS传感器，通过公知的半导体制造技术进行制造。信号产生/接收部5及元件驱动部30例如由CCD驱动器等的LSI构成。

信号处理部200具备：对从摄像部100输出的信号进行处理来生成图像信号的图像信号生成部7、保存用于图像信号生成的各种数据的存储器30、以及将所生成的图像信号送出至外部的接口(IF)部8。图像信号生成部7可通过公知的数字信号处理器(DSP)等的硬件与执行包含图像信号生成处理在内的图像处理的软件的组合来适当地实现。存储器30由DRAM等构成。存储器30记录从摄像部100得到的信号，并且暂时记录由图像信号生成部7生成的图像数据、被压缩的图像数据。这些图像数据经由接口部8被送出至未图示的记录介质、显示部等。

再者、本实施方式的摄像装置可具备电子快门、取景器、电源(电池)、闪光灯等公知的构成要素，但由于它们的说明对于本发明的理解不是特别必要，因此省略其说明。

接下来，参照图2～4更为详细地说明摄像部100的结构。

图2是示意地表示摄像部100中的透光板2、光学透镜3、及摄像元件1的配置关系的图。再者，图2中省略了除了透光板2、光学透镜3及摄像元件1以外的构成要素。透光板2具有分光透过率彼此不同的2个透过区域C1、C2，且使入射光透过。光学透镜3是公知的透镜，对透过透光板2之后的光进行聚光，成像在摄像元件1的摄像面1a上。透光板2构成为：透过区域C1、C2以外的区域由遮光性部件形成，光在透光板2的透过区域C1、C2以外不会通过。在以下的说明中，如图2所示，采用将从区域C1向C2的方向设定为x方向、将在与摄像面1a平行的平面上与x方向垂直的方向设定为y方向的坐标。再者，图2所示的各构成要素的配置关系仅仅是一例，本发明并不限定于这种的配置关系。例如，透镜3只要能够在摄像面1a形成像，则也可以较之透光板2更远离摄像元件1地进行配置。此外，透镜3和透光板2也可以构成为一体。

图3是本实施方式中的透光板2的正面图。本实施方式中的透光板2的形状与透镜3的形状同样是圆形的，但也可以是其他形状。在区域C1及C2配置：对于可见光W的波段中包含的任意的波长的光，使至少一部分透过的透过滤波器。任意的透过滤波器都是使可见光的波段中包含的任意波长的光透过，但是由于它们的分光透过率不同，因此在相同的光通过区域C1时和通过区域C2时，透过光的明亮度(亮度)彼此不同。关于各透过区域的分光透过率的详细内容在后面叙述。再者，如果各透过滤波器具有以所希望的透过率使光透过的功能，则也可以由任意部件构成。各透过滤波器例如可由玻璃、塑料、胶膜(cellophane)等构成。再者，在本实施方式中，在透过区域C1、C2配置彼此分光透过率不同的透过滤波器，但各区域如果是具有所期望的分光透过率的部件，则可以任意构成。例如，在使一个透过区域处于透明的情况下，该区域可以由空气代替。在此，所谓“透明”是指在可见光的波段中透过率无波长依赖性、不产生光的吸收或漫射的状态。

区域C1及区域C2在x方向上隔开一定的距离L进行配置。按照根据透镜3的尺寸所获取的图像具有合适的视差的方式来决定距离L。距离L可设定为例如几mm～几cm。如图3所示，优选透过区域C1、C2相对于光轴在左右(x方向)对称地配置，且具有同一面积。通过该构成，入射到左右的各区域C1、C2中的光的量大致相等。再者，透过区域C1、C2的配置并不限于图3所示的配置，可根据用途而适当决定。例如，在想要获取上下(y方向)的视差信息时，也可以将透过区域C1、C2排列在y方向上。此外，在透过区域C1、C2的透过率之差较大的情况下，由于所观测的像素值的差变大，因此所获取的2个图像的明亮度中会出现差异。因此，在透过区域C1、C2的透过率之差较大时，也可以调整区域C1、C2的面积，使得所获取的2个图像的明亮度接近。

在图2所示的摄像元件1的摄像面1a，形成2维状排列的光感知单元阵列及与光感知单元阵列对置配置的透过滤波器阵列。光感知单元阵列及透过滤波器阵列由多个单位要素构成。在本实施方式中，各单位要素包括2个光感知单元以及与它们相对置的2个透过滤波器。各光感知单元典型的是包括光电二极管，通过光电变换输出与各个受光量相应的电信号(称为“光电变换信号”或者“像素信号”)。各透过滤波器被设计成使用公知的颜料、电介质多层膜等制作，对于可见光的波段中包含的任意的波长的光使至少任意一部分透过。

图4是示意地表示本实施方式中的透过滤波器阵列的一部分的俯视图。如图示那样，在摄像面1a上多个透过滤波器110排列成矩阵状。如上所述，靠近的2个透过滤波器110以及与它们对置的2个光感知单元120包含在1个单位要素中。具有各单位要素的2个透过滤波器D1、D2都是使可见光的波段中包含的任意波长的光透过，但是透过率的波长依赖性彼此不同。对于这些透过滤波器D1、D2的透过率的设定，与透光板2的透过区域C1、C2的透过率一并在后面叙述。

再者，在图4所示的例子中，将2个光感知单元排列在横向(x方向)，但光感知单元120的排列也可以是其他的任意排列。例如，既可以按纵向(y方向)排列，也可以倾斜排列。此外，1个单位要素中包含的光感知单元120的个数并不限于2个，也可以是3个以上。再有，光感知单元120及透过滤波器110也未必沿着x方向及y方向进行排列，也可以相对于x方向及y方向倾斜地排列。

通过以上的构成，在曝光中入射至摄像装置的光通过透光板2、透镜3、红外截止滤波器4、透过滤波器110而入射至光感知单元120。各光感知单元接收分别透过了透光板2的区域C1、C2的光之中的透过了对置的透过滤波器的光，输出与接收到的光的量相应的光电变换信号。

由各光感知单元输出的光电变换信号通过信号产生/接收部5被送出至信号处理部200。信号处理部200中的图像信号生成部7基于从摄像部100送出的信号来生成多视点图像。

以下，说明从各光感知单元输出的光电变换信号。在假定透过区域C1、C2及透过滤波器D1、D2的透过率对于任意波长都为100％的情况下，由Ci1表示通过区域C1而入射到所关注的1个像素的光的强度的信号，由Ci2表示通过区域C2而入射到所关注的1个像素的光的强度的信号。此外，作为前提，假定对1个单位要素中包含的各光感知单元入射同一强度的光，所入射的光都是可见光。为了简化说明，忽略入射至区域C1、C2的光的强度的波长依赖性。即，假定被摄体不是彩色的。此外，将合并透镜3及红外截止滤波器4而得到的分光透过率设为Tw，将区域C1的分光透过率设为Tc1，将区域C2的分光透过率设为Tc2。同样，将摄像元件1中的透过滤波器D1、D2的分光透过率分别表示为Td1、Td2。

在此，由于Tw、Tc1、Tc2、Td1、Td2是依赖于入射的光的波长λ的函数，因此分别表示为Tw(λ)、Tc1(λ)、Tc2(λ)、Td1(λ)、Td2(λ)。将表示透过了透过滤波器D1、D2而被与其对置的光感知单元所接收的光的强度的信号分别表示为d1、d2。此外，使用记号∑表示可见光的波段中的分光透过率的积分运算。例如，将关于波长λ的积分运算∫Tw(λ)Tc1(λ)Td1(λ)dλ等表示为∑TwTc1Td1等。在此，假定积分在可见光的全波段进行。于是，d1与相加Ci1∑TwTc1Td1、Ci2∑TwTc2Td2之后的结果成比例。同样，d2与相加Ci1∑TwTc1Td2、Ci2∑TwTc2Td2之后的结果成比例。如果将这些关系中的比例系数设为1，则d1、d2可分别由以下的式1、2表示。

(式1)d1＝Ci1∑TwTc1Td1+Ci2∑TwTc2Td1

(式2)d2＝Ci1∑TwTc1Td2+Ci2∑TwTc2Td2

在式1、2中，将∑TwTc1Td1、∑TwTc2Td1、∑TwTc1Td2、∑TwTc2Td2分别表示为Mx11、Mx12、Mx21、Mx22。于是，式1可利用矩阵而由以下的式3表示。

【计算式1】

(式3) $\left(\begin{array}{c}d1\\ d2\end{array}\right)=\left(\begin{array}{cc}\mathrm{Mx}11& \mathrm{Mx}12\\ \mathrm{Mx}21& \mathrm{Mx}22\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\end{array}\right)$

在此，在将由式3中的要素Mx11～Mx22构成的矩阵的逆矩阵的要素设为iM11～iM22时，式3可变形为如下的式4。即，能够利用光电变换信号d1、d2示出表示入射至区域C1、C2的光的强度的信号Ci1、Ci2。

【计算式2】

(式4)

$\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\end{array}\right)=\left(\begin{array}{cc}\mathrm{iMx}11& \mathrm{iMx}12\\ \mathrm{iMx}21& \mathrm{iMx}22\end{array}\right)\left(\begin{array}{c}d1\\ d2\end{array}\right)$

通过以上的构成，能够将表示各像素的入射光量的信号d1、d2(观测像素值)变换为分别入射至透过区域C1、C2的光的强度信号Ci1、Ci2。

图1所示的图像信号生成部7执行基于式4的信号运算，按每个单位要素生成信号Ci1、Ci2。按每单位要素所生成的信号Ci1、Ci2，表示由分别入射至透过区域C1、C2的光所形成的2个图像。这2个图像具有因透过区域C1、C2的位置差异引起的视差。这样，通过基于式4的运算能够生成多视点图像。

在如以往那样透过区域C1、C2仅使特定波长的光透过的情况下(在C1、C2配置了原色的滤色器的情况等)，当区域C1、C2的至少一方的透过波段中不包含的波长的单色光从被摄体入射时，由于d1、d2的至少一方为0，因此无法求出Ci1、Ci2。为此，在本实施方式中，按照通过式4求出的Ci1及Ci2满足Ci1＞0且Ci2＞0的方式来构成透过区域C1、C2、及透过滤波器D1、D2。由此，从被摄体入射的光即便是单色光，也能够获取视差(左右的光的强度信号)。

以下，说明本实施方式的摄像装置作为对象的场景、被摄体的条件、及透过区域C1、C2、透过滤波器D1、D2的分光透过率应该满足的条件。

<条件1>：观测像素值d1、d2的条件

在本实施方式中，如上所述那样，透光板2的透过区域C1、C2的透过率、以及摄像元件1的透过滤波器D1、D2的透过率，对于可见光的波段中包含的任意波长的光具有大于0的值。由此，除了在可见光的全波段入射了光量为0的光的情况以外，观测像素值始终为正值。因此，观测像素值d1、d2都为0的情况仅限于被摄体的颜色为黑色、或者场景较暗的情况。

在观测像素值为d1＝d2＝0(被摄体或者摄影场景非常黑)的情况下，根据式4得到Ci1＝Ci2＝0，因此无法得到多视点图像。此外，在d1＝0且d2≠0的情况下，根据式4，得到Ci1＝d2iMx12、Ci2＝d2iMx22，Ci1＞0且Ci2＞0。但是，由于Ci1为Ci2的常数倍，因此，尽管存在明亮度差异，但是无法得到视差信息。对于d1≠0且d2＝0的情况也同样。

据此，在本实施方式的摄像装置作为对象的场景中，需要观测像素值为d1＞0且d2＞0。

<条件2>：从观测像素值变换为多视点图像信号的变换矩阵的条件

接下来，说明利用由透光板2的透过区域C1、C2及摄像元件1的透过滤波器D1、D2的分光透过率所规定的变换矩阵(Mx11、Mx12、Mx21、Mx22)，根据观测像素值d1、d2来求出多视点图像信号Ci1、Ci2的条件。作为求出多视点图像信号Ci1、Ci2的基本的条件，需要能够从式3变换至式4。在由式3的变量来表示式4时，得到如下的式5。

【计算式3】

(式5) $\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\end{array}\right)=\frac{1}{\mathrm{Mx}11\mathrm{Mx}22-\mathrm{Mx}12\mathrm{Mx}21}\left(\begin{array}{cc}\mathrm{Mx}22& -\mathrm{Mx}12\\ -\mathrm{Mx}21& \mathrm{Mx}11\end{array}\right)\left(\begin{array}{c}d1\\ d2\end{array}\right)$

为了使式5成立，行列式必须是0以外的值。即，需要满足以下的式6。

(式6)det＝Mx11Mx22-Mx12Mx21

           ＝∑TwTc1Td1∑TwTc2Td2-∑TwTc2Td1∑TwTc1Td2

          ≠0

<条件3>：与入射光强度信号Ci1、Ci2能取得的范围相关的条件

由于信号Ci1、Ci2是表示光的强度的信号，因此必需满足Ci1＞0且Ci2＞0。在式3中，为了求出对于任意的d1、d2而Ci1＞0且Ci2＞0的条件，要进行如下的公式变形。首先，在式5的两边，将式5右边的2x2矩阵的转置矩阵从左起相乘，由此得到如下的式7。

【计算式4】

(式7)

${\left(\begin{array}{cc}\mathrm{Mx}22& -\mathrm{Mx}12\\ -\mathrm{Mx}21& \mathrm{Mx}11\end{array}\right)}^T\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\end{array}\right)=\frac{1}{\mathrm{Mx}11\mathrm{Mx}22-\mathrm{Mx}12\mathrm{Mx}21}{\left(\begin{array}{cc}\mathrm{Mx}22& -\mathrm{Mx}12\\ -\mathrm{Mx}21& \mathrm{Mx}11\end{array}\right)}^T\left(\begin{array}{cc}\mathrm{Mx}22& -\mathrm{Mx}12\\ -\mathrm{Mx}21& \mathrm{Mx}11\end{array}\right)\left(\begin{array}{c}d1\\ d2\end{array}\right)$

当对式7的右边进行变形时，得到式8。

【计算式5】

(式8)

${\left(\begin{array}{cc}\mathrm{Mx}22& -\mathrm{Mx}12\\ -\mathrm{Mx}21& \mathrm{Mx}11\end{array}\right)}^T\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\end{array}\right)=\frac{1}{\det }\left(\begin{array}{cc}\mathrm{Mx}22\mathrm{Mx}22+\mathrm{Mx}21\mathrm{Mx}21& -\mathrm{Mx}12\mathrm{Mx}22-\mathrm{Mx}21\mathrm{Mx}11\\ -\mathrm{Mx}12\mathrm{Mx}22-\mathrm{Mx}11\mathrm{Mx}21& \mathrm{Mx}12\mathrm{Mx}12+\mathrm{Mx}11\mathrm{Mx}11\end{array}\right)\left(\begin{array}{c}d1\\ d2\end{array}\right)$

式8的右边的矩阵是实对称矩阵。如以下的式9所示，将该实对称矩阵表示为Mat。

【计算式6】

(式9)

$\mathrm{Mat}=\frac{1}{\det }\left(\begin{array}{cc}\mathrm{Mx}22\mathrm{Mx}22+\mathrm{Mx}21\mathrm{Mx}21& -\mathrm{Mx}12\mathrm{Mx}22-\mathrm{Mx}21\mathrm{Mx}11\\ -\mathrm{Mx}12\mathrm{Mx}22-\mathrm{Mx}11\mathrm{Mx}21& \mathrm{Mx}12\mathrm{Mx}12+\mathrm{Mx}11\mathrm{Mx}11\end{array}\right)$

在此，为了使得式8的两边为正，只要矩阵Mat为正值对称矩阵即可。在此，在与实对称矩阵Mat对应的二次形式x^T(Mat)x为正时(即对于任意的实数向量x，x^T(Mat)x＞0时)，将该对称矩阵Mat称为正值对称矩阵。因此，通过表示矩阵Mat的二次形式为正的条件，能够导出对于任意的d1、d2而Ci1、Ci2为正的条件。

当以二次形式表示式9的对称矩阵Mat时，根据上述条件得到如下的式10。

【计算式7】

(式10) $d^T\frac{1}{\det }\left(\begin{array}{cc}\mathrm{Mx}22\mathrm{Mx}22+\mathrm{Mx}21\mathrm{Mx}21& -\mathrm{Mx}12\mathrm{Mx}22-\mathrm{Mx}21\mathrm{Mx}11\\ -\mathrm{Mx}12\mathrm{Mx}22-\mathrm{Mx}11\mathrm{Mx}21& \mathrm{Mx}12\mathrm{Mx}12+\mathrm{Mx}11\mathrm{Mx}11\end{array}\right)d>0$

当展开式10时，得到如下的式11。

【计算式8】

(式11) $\frac{1}{\det }\{(\mathrm{Mx}22\mathrm{Mx}22+\mathrm{Mx}21\mathrm{Mx}21){d1}^2$

$-(\mathrm{Mx}12\mathrm{Mx}22+\mathrm{Mx}21\mathrm{Mx}11)d1d2+(\mathrm{Mx}11\mathrm{Mx}11+\mathrm{Mx}12\mathrm{Mx}12){d2}^2\}>0$

为了在任意的d1、d2中使式11成立，只要如下的式12成立即可。

(式12)det^-1(Mx12Mx22+Mx21Mx11)＜0

由于Mx12、Mx22、Mx21、Mx11为正值即分光透过率的积分值，因此始终为正。因此，只要求出det^-1＜0、即det＜0的条件即可。在此，由于det＝Mx11Mx22-Mx12Mx21，因此det＜0是在满足如下的式13的条件时。

(式13)Mx11Mx22＜Mx12Mx21

在此，在设定各透过滤波器的分光透过率，并决定了Mx11～Mx22之后，在不满足Mx11Mx22＜Mx12Mx21的情况下(Mx11Mx22＞Mx12Mx21时)，通过调换行，能够按照满足式13的方式来变换矩阵。即，如果det≠0，则对于任意分光透过率的滤波器，通过行列式的行的调换，能够变换为正值。

据此，为了满足信号Ci1、Ci2中Ci1＞0且Ci2＞0，只要det≠0即可。这与式6的条件相同。因此，本实施方式中的透过区域C1、C2、及透过滤波器D1、D2的分光透过率被设计成满足det≠0的值。

在此，当使用积分记号对式6进行变形时，得到以下的式14。

【计算式9】

(式14)

det＝∫Tw(λ)Tc1(λ)Td1(λ)∫Tw(λ)Tc2(λ)Td2(λ)-∫Tw(λ)Tc2(λ)Td1(λ)∫Tw(λ)Tc1(λ)Td2(λ)≠0

由于Tw(λ)是使透镜3及红外截止滤波器4合并之后的分光透过率，因此在可见光的波段中，能够认为与波长λ无关是恒定的。因此，式14能够变形为如下的式15。

【计算式10】

(式15)

∫Tc1(λ)Td1(λ)∫Tc2(λ)Td2(λ)≠∫Tc2(λ)Td1(λ)∫Tc1(λ)Td2(λ)

因此，本实施方式中的透过滤波器C1、C2、C3、C4被设计成满足式15。由此，通过基于式4的运算能够求出图像信号Ci1、Ci2。

再者，通过同样的讨论，可以代替式3中的矩阵，使用以除去了Tw之后的∫Tc1(λ)Td1(λ)dλ、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、∫Tc2(λ)Td2(λ)dλ为要素的矩阵来进行上述的运算处理。在该情况下，由于Tw是简单的常数，因此上述的结论没有变化。

简单说明具有满足以上条件的分光透过率的透过区域C1、C2、及透过滤波器D1、D2的例子。图5是表示透光板2中的透过区域C1、C2的分光透过率的例子的图。在该例中，区域C1的分光透过率Tc1由可见光的波段(约400nm～约700nm)中为100％的矩形波的这样的波形表示，区域C2的分光透过率Tc2由在可见光的波段中cos曲线这样的波形表示。另一方面，图6是表示摄像元件1的透过滤波器D1、D2的分光透过率的例子的图。在该例中，透过滤波器D1的分光透过率Td1由矩形波这样的波形表示，透过滤波器D2的分光透过率Td2由sin曲线这样的波形表示。在各分光透过率被设计成上述那样的情况下，∑Tc1Td1＞0、∑Tc1Td2＞0、∑Tc2Td1＞0及∑Tc2Td2＞0成立。再有，由于Tc1及Td1在任意波长处透过率为100％，因此没有光的衰减。这样，由于如果是在透光板2及摄像元件1中包含透过率为100％的透过区域(透过滤波器)的结构，则光利用率最佳，因此希望采用这种分光透过率，并以此为基准来设计其他的分光透过率。再者，在上述的例子中，在可见光的全部波段将Tc1、Td1设定为100％，但不需要严格的是100％，例如若具有90％以上的透过率，则能够得到十分高的特性。

各滤波器并不限于图5、图6所示的例子，只要按照如下方式进行设计即可，即：对于可见光的波段中包含的任意波长的光，使至少一部分透过，Tc1和Tc2彼此不同，Td1和Td2彼此不同。例如，如图7、图8所示，即便在Tc1、Tc2、Td1、Td2由矩形波、三角函数以外的波形表示的情况下，也能够应用本发明。

具有上述所期望的分光特性的透过滤波器由例如电介质多层膜制作。通过使用电介质多层膜，能够构成例如在450nm、550nm、650nm的波长具有透过率峰值的多带通滤波器。此外，通过重叠多个透过率高的R、G、B滤波器，能够构成：尽管波长依赖性与透明不同、但透过率高的透过滤波器。

如上所述，根据本实施方式，透光板2具有2个透过区域C1、C2，在区域C1、C2配置有透过滤波器。区域C1、C2都是使可见光的波段中包含的任意波长的光透过，但它们的透过率的波长依赖性彼此不同。此外，摄像元件1的光感知单元阵列及透过滤波器阵列由多个单位要素构成，各单位要素包括2个像素以及与其对置配置的2个透过滤波器D1、D2。对于透过滤波器D1、D2，也都是使可见光的波段中包含的任意波长的光透过，但它们的透过率的波长依赖性彼此不同。再有，透过区域C1、C2及透过滤波器D1、D2的透过率被设计成满足行列式det≠0，使得图像信号生成部7能够通过基于式4的运算来计算图像信号Ci1、Ci2。通过这样的构成，即便入射的光假设是单色光，也能够生成多视点图像。

再者，本实施方式的摄像装置根据由摄像而得到的光电变换信号并通过信号运算来生成图像信号，但也可以由独立于摄像装置的其他装置来执行基于信号运算的图像信号生成处理。例如，将由具有本实施方式中的摄像部100的摄像装置所获取的信号读入至其他装置，由该其他装置执行规定上述信号运算处理的程序，也能够获得与本实施方式同样的效果。

(实施方式2)

接下来，说明本发明的第2实施方式。

在实施方式1的摄像装置中，透光板2具有透过率的波长依赖性彼此不同的2个透过滤波器，摄像元件1的各单位要素也同样具有透过率的波长依赖性彼此不同的2个透过滤波器。但是，本发明并不限定于这种实施方式。透光板2及摄像元件1的各单位要素既可以具有3个以上的透过滤波器，它们的数目也可以不同。以下，说明使实施方式1的构成一般化的构成例，即在透光板2配置m个(m为2以上的整数)的透过滤波器、在摄像元件1的各单位要素配置n个(n为m以上的整数)的透过滤波器的构成例。除了透光板2及摄像元件1的结构、图像信号生成部7中的处理以外，本实施方式的摄像装置与实施方式1相同。在以下的说明中，主要说明与实施方式1的不同点，对于重复的部分省略其说明。

图9是示意地表示本实施方式中的透光板2的构成例的图。本实施方式中的透光板2具有m个透过区域C1、C2、…、Cm，在各透过区域配置了透过滤波器。m个透过区域C1～Cm都被设计成使可见光的波段中包含的任意波长的光透过，它们的透过率的波长依赖性彼此不同。透光板2之中的配置了除了m个透过滤波器的区域以外是不使光透过的遮光区域。再者，在图9的结构中，各透过区域是圆形，且被描绘成都具有同一面积，但是各透过区域的形状及尺寸并不限于该例。此外，各透过区域的配置也并不限于图示的例子，也可以是任意的配置。对于透光板2的形状也同样，不需要是圆形。再有，在本实施方式中具有遮光区域，但是也可以由透光性部件形成遮光区域的部分，并将该区域也作为透过区域来处理。

图10是示意地表示本实施方式中的摄像元件1的各单位要素40中包含的n个透过滤波器的配置例的图。摄像元件1的各单位要素40具有n个光感知单元以及与其相对置的n个透过滤波器。n个透过滤波器D1、D2、…、Dn都被设计成使可见光的波段中包含的任意波长的光透过，而它们的透过率的波长依赖性彼此不同。再者，图10所示的排列也仅仅是一例，单位要素40内的像素排列也可以是其他的排列。

在以上的结构中，将从摄像元件1的透过滤波器D1、D2、…、Dn输出的像素信号分别设定为d1、d2、…、dn。此外，将表示在假定透过区域C1～Cm、及透过滤波器D1～Dn的透过率为100％时从透过区域C1、C2、…、Cm入射至各光感知单元的光的强度的信号分别设定为Ci1、Ci2、…、Cim。于是，像素信号d1、d2、…、dn与图像信号Ci1、Ci2、…、Cim之间的关系由如下的式16表示。

【计算式11】

(式16)

在式16中，如果各要素为正且行列式det≠0，则能够求出从透光板2的各透过滤波器入射的光的强度。与实施方式1同样，透光板2的各透过区域及摄像元件1的各透过滤波器被设计成使可见光的波段中包含的任意波长的光透过，因此能够根据像素信号d1～dn，计算基于入射至透光板2的各透过区域的光的图像信号Ci1～Cin。

以下，说明能够求出用于获取图像信号Ci1～Cin的运算所需的逆矩阵的条件。首先，在m＞n时，由于独立式子仅为n个，因此无法求出Ci1～Cim。即，由于矩阵的秩小于m，因此无法得到式16的解。另一方面，在n≥m时，如果存在m个以上的独立式子，则可求出解。因此，如果将矩阵的秩为m的独立式子选择n′个(m≤n′≤n)，则能够通过最小二乗法求出解。

如式16中的矩阵那样在多维的矩阵中如果行列式det≠0则秩为m，因此能够判断是否可基于行列式的值来计算出解。此外，计算秩的方法还有其他的，例如通过固有值解析(主成分分析、特异值分解、QR分解等)所得到的固有值之中的值不为0的结果的个数成为秩。因此，通过矩阵的固有值解析所得到的固有值之中的值不为0的结果的个数为m，这与上述的条件(det≠0)为相同值。再者，在n＞m时，由于式16中的矩阵(将其设为A)和A的转置矩阵(A^t)的固有值相等，因此使A与A^t相乘形成为正方矩阵之后，通过进行固有值解析能够计算秩。

在此，将波长设为λ，将透光板2的m个透过滤波器之中的任意2个透过滤波器的透过率表示为Tc1(λ)、Tc2(λ)，将摄像元件1的各单位要素中包含的n个透过滤波器之中的任意2个透过滤波器的透过率表示为Td1(λ)、Td2(λ)。本实施方式中的各透过滤波器被设计成满足：∫Tc1(λ)Td1(λ)dλ＞0、∫Tc1(λ)Td2(λ)dλ＞0、∫Tc2(λ)Td1(λ)dλ＞0、∫Tc2(λ)Td2(λ)dλ＞0。进而，各透过滤波器被设计成满足以下的式17。

【计算式12】

(式17)

∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλ

其中，积分区间为可见光的整个波段。通过满足以上的条件，能够基于式14求出图像信号Ci1～Cim。

再者，本实施方式的摄像装置也可以构成为不生成全部的信号Ci1～Cim而是生成这些信号之中的至少2个信号。即便是这种的结构，也能够获得具有视差的至少2个图像数据。此外，也可以不使用n个像素信号的全部信号，而是按照矩阵的秩为m的方式选择使用m个像素信号来生成m个多视点图像。

在本实施方式中，m个透过区域的至少1个以及n个透过滤波器的至少1个可以是没有波长依赖性的滤波器。特别是从提高光利用率的这一观点出发，优选它们是透明的。

最后，说明在以上的各实施方式的摄像装置中，根据观测像素值来计算多个入射光强度时计算解的稳定性。再者，尽管以下假定为实施方式1的结构，但即便是实施方式2那样被一般化之后的结构，同样的讨论也成立。首先，在考虑噪声的情况下，再次针对式5确定公式。在此，将观测像素值d1、d2中分别被附加的噪声量设为Δd1、Δd2。除了图像的热噪声、传输路径或摄像元件的散粒噪声(shot noise)等以外，噪声中还可以包含分光透过率的测量误差等。此时，式5被变形为如下的式18、19。

(式18)Ci1＝det^-1[Mx22(d1+Δd1)-Mx12(d2+Δd2)]

(式19)Ci2＝det^-1[Mx21(d1+Δd1)-Mx11(d2+Δd2)]

在此，det为行列式，det＝Mx11Mx22-Mx12Mx21。将式18中的与原信号d1、d2相关的项移项至左边时，得到如下的式20。

(式20)Ci1-det^-1(Mx22d1-Mx12d2)＝det^-1(Mx22Δd1-Mx12Δd2)

式20表示误差，如果没有噪声则应该为0。右边的噪声量中因摄像元件1引起的噪声与信号量成比例，由分光透过率的测量误差引起的噪声为恒定偏移量。由于哪个噪声量多、依赖于摄影环境，因此这里仅仅设置为(Mx22Δd1-Mx12Δd2)＝N。于是，得到如下的式21。

(式21)Ci1-det^-1(Mx22d1-Mx12d2)＝det^-1N

根据式21可知，误差与行列式成反比例。即，行列式的绝对值越小则误差的影响越大，而行列式的绝对值越大则误差的影响越小。据此，尽管难以测量噪声量，但是按照|det|＝|Mx11Mx22-Mx12Mx21|尽量大的方式来设计各透过滤波器的分光透过率，由此能够构建在抗噪声方面出色的摄像装置。例如，在将照相机的灵敏度设定为ISO100、且在荧光灯下进行摄影时，如果行列式的绝对值为0.1以上，则经验性地判断出可稳定地获得解。在假定这种条件下使用的情况较多的摄像装置中，只要按照行列式的绝对值为0.1以上来设定Tc1、Tc2、Td1、Td2即可。另一方面，在假定在噪声较多的环境下使用的摄像装置中，优选按照行列式的绝对值进一步变大的方式来设定Tc1、Tc2、Td1、Td2即可。

这样，在噪声因摄影场景的明亮度、ISO灵敏度等的照相机设定而增减的摄影环境中，优选按照行列式的绝对值为规定的阈值以上的方式来设定各透过滤波器的分光透过率。因此，可以按照能够选择最佳的分光透过率的组的方式，在摄像装置中设置透过特性彼此不同的多种透光板。通过构成为根据基于摄影环境而假定的噪声量来手动或者自动地选择多个透光板之中的1个，能够使得行列式的绝对值始终大于规定的阈值。

产业上的可利用性

本发明的3维摄像装置在利用固体摄像元件的所有照相机中是有效的。例如，能够用于数字照相机、数字摄像机等的民用照相机、或者工业用的固体监视照相机等。

符号说明

1固体摄像元件

1a固体摄像元件的摄像面

2透光板

3光学透镜

3a透光板和光学透镜的功能被一体化的光学元件

4红外截止滤波器

5信号产生/接收部

6元件驱动部

7图像信号生成部

8接口部

19透镜光圈

20、22、23光束限制板

20a使红色系统的光透过的滤色器

20b使蓝色系统的光透过的滤色器

21感光胶片

22R、23R光束限制板的R光透过区域

22G、23G光束限制板的G光透过区域

22B、23B光束限制板的B光透过区域

30存储器

40单位要素

100摄像部

110透过滤波器

120光感知单元

200信号处理部

Claims (6)

1.一种3维摄像装置，其具备：

光透过部，其具有透过率的波长依赖性彼此不同的m个透过区域，其中m为2以上的整数；

固体摄像元件，其被配置成接受透过了所述光透过部的光，且具有光感知单元阵列、以及与所述光感知单元阵列对置配置的透过滤波器阵列，所述光感知单元阵列及所述透过滤波器阵列由多个单位要素构成，各单位要素包括n个光感知单元、及与所述n个光感知单元对置配置的透过率的波长依赖性彼此不同的n个透过滤波器，其中n为m以上的整数；和

成像部，其在所述固体摄像元件的摄像面形成像，

在将波长设为λ，将表示所述m个透过区域之中的任意2个透过区域的透过率的函数设为Tc1(λ)及Tc2(λ)，将表示所述n个透过滤波器之中的任意2个透过滤波器的透过率的函数设为Td1(λ)及Td2(λ)，并将积分区间设定为可见光的整个波段时，满足：

∫Tc1(λ)Td1(λ)dλ＞0、

∫Tc 1(λ)Td2(λ)dλ＞0、

∫Tc2(λ)Td1(λ)dλ＞0、

∫Tc2(λ)Td2(λ)dλ＞0、及

∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλ。

2.根据权利要求1所述的3维摄像装置，其中，

所述3维摄像装置还具备：图像生成部，其利用从所述n个光感知单元之中至少m个光感知单元输出的光电变换信号来生成基于入射到所述m个透过区域中的光的m个多视点图像。

3.根据权利要求2所述的3维摄像装置，其中，

所述图像生成部通过利用了基于各透过区域的透过率及各透过滤波器的透过率而决定的n行m列的矩阵的运算，来生成所述m个多视点图像。

4.根据权利要求2或3所述的3维摄像装置，其中，

m＝2、n＝2，

所述图像生成部利用将∫Tc1(λ)Td1(λ)、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、及∫Tc2(λ)Td2(λ)dλ作为所述矩阵的要素的2行2列的矩阵来生成所述多视点图像。

5.根据权利要求1～4的任一项所述的3维摄像装置，其中，

所述m个透过区域的至少1个透过区域中的透过率以及所述n个透过滤波器的至少1个透过滤波器中的透过率被设计成在可见光的波段不具有波长依赖性。

6.根据权利要求5所述的3维摄像装置，其中，

所述m个透过区域的至少1个透过区域、以及所述n个透过滤波器的至少1个透过滤波器是透明的。

Images