CN102342116A - 三维摄像装置 - Google Patents

Abstract

三维摄像装置具备：具有多个偏光区域以及非偏光区域的光透过部(2)；接受透过了光透过部(2)的光的固体摄像元件(1)；在固体摄像元件(1)的摄像面(1a)形成像的成像部(3)；和图像生成部。光透过部(2)具有使在特定的方向发生了偏振的光透过的n个(n为2以上的整数)偏光区域P(1)、P(2)、......、P(n)、和与偏振方向无关地使光透过的非偏光区域P(n+1)。n个偏光区域的透过轴的方向相互不同。固体摄像元件(1)具有被分割为分别包含(n+1)个像素的多个像素块的像素阵列、以及包含与(n+1)个像素中的n个像素分别相对地配置的、透过轴的方向相互不同的n个偏光滤光器的滤光器阵列。图像生成部基于从各像素输出的像素信号，来生成由分别入射到n个偏光区域以及非偏光区域的光所产生的图像。

Description

三维摄像装置

技术领域

本发明涉及使用1个光学系统和1个摄像元件获取具有视差的多个图像的单眼三维摄像技术。

背景技术

近年，使用了CCD和CMOS等固体摄像元件(以下，有时称为“摄像元件”)的数字照相机和数字电影的高功能化、高性能化有时会让人吃惊。特别是，由于半导体制造技术的进步，摄像元件中的像素构造的微细化得到推进。其结果，能实现摄像元件的像素以及驱动电路的高集成化。由此，仅仅经过几年，摄像元件的像素数就从100万像素左右显著增加到1000万像素以上。进一步地，由摄像得到的图像的质量也飞跃提高。一方面，关于显示装置，通过基于薄型的液晶和等离子体的显示器，不分场所就可以进行高分辨率高对比度的显示，实现高性能。这样的映像的高品质化的进行正从二维图像扩大至三维图像。最近，虽然需要偏光眼镜，但是也正在开始高品质三维显示装置的开发。

关于三维摄像技术，具有简单结构的代表性装置采用由2个照相机构成的摄像系统，分别获取右眼用的图像以及左眼用的图像。在这样的所谓双眼摄像方式中，由于使用2个照相机，所以摄像装置会变得大型化，成本也会变高。因此，正在研究利用1个照相机来获取具有视差的多个图像的方式。例如，在专利文献1中，公开有使用透过轴的方向相互正交的2片偏光板和旋转的偏光滤光器的方式。

图8是表示基于该方式的摄像系统的结构的示意图。摄像装置包括：0度偏光的偏光板11、90度偏光的偏光板12、反射镜13、半反射镜(halfmirror)14、圆形的偏光滤光器15、使圆形的偏光滤光器旋转的驱动装置16、光学透镜3、获取由光学透镜成像的像的摄像装置9。在此，半反射镜14对透过偏光板11后由反射镜13反射的光进行反射，并使透过偏光板12后的光透过。通过以上结构，分别透过了配置在相互离开的场所中的偏光板11、12的光经由半反射镜14、圆形的偏光滤光器15、以及光学透镜3入射至摄像装置9，从而获取图像。该方式的摄像的原理是，通过使圆形的偏光滤光器15旋转，在各自的时刻捕捉分别入射至2片偏光板11、12中的光，获取具有视差的2个图像。

但是，在上述方式中，由于一面旋转圆形的偏光滤光器15，一面通过时间分割来对不同位置的图像进行摄像，所以存在不能同时获取具有视差的2个图像的课题。此外，由于使用机械驱动，所以耐久性方面会有问题。此外，由于通过偏光板以及偏光滤光器来接受全部入射光，所以还有摄像装置9接受的光的量(受光量)也降低50％以上这样的课题。

相对于上述方式，专利文献2中公开了不使用机械驱动而同时获取具有视差的2个图像的方式。基于该方式的摄像装置，其利用反射镜对从2个入射区域入射的光进行聚光，并利用由2种偏光滤光器交替排列的摄像元件进行受光，由此，不使用机械驱动部就获取到具有视差的2个图像。

图9是表示该方式的摄像系统的结构的示意图。在该摄像系统中，具有：透过轴的方向相互正交的2个偏光板11、12、反射镜13、光学透镜3、和摄像元件1。摄像元件1在其摄像面上具备多个像素10、和与像素一对一对应配置的偏光滤光器17、18。偏光滤光器17、18在全部像素上交替排列。这里，偏光滤光器17、18的透过轴的方向分别与偏光板11、12的透过轴的方向一致。

通过以上结构，入射光透过偏光板11、12，由反射镜13反射后通过光学透镜3，并入射至摄像元件1的摄像面。分别透过偏光板11、12后入射至摄像元件1的光分别透过偏光滤光器17、18后被与偏光滤光器17、18相对的像素进行光电转换。这里，如果将由分别通过偏光板11、12后入射至摄像元件1的光形成的图像分别称为右眼用图像、左眼用图像，则从分别与偏光滤光器17、18相对的像素组得到右眼用图像、左眼用图像。

这样，在专利文献2中公开的方式中，取代使用专利文献1中公开的旋转的圆形的偏光滤光器，而在摄像元件的像素上交替配置透过轴的方向相互正交的2种偏光滤光器。由此，与专利文献1的方式相比，虽然分辨率降低至1/2，但是使用1个摄像元件也能够同时得到具有视差的右眼用图像和左眼用图像。

但是，在该技术中，与专利文献1的技术同样地，由于在入射光透过偏光板以及偏光滤光器时光量减少，所以摄像元件的受光量大量减少。

对于摄像元件的受光量减少这样的问题，作为另外的途径方法，在专利文献3中公开有机械地对具有视差的多个图像的摄像和通常图像的摄像进行切换的方法。图10是示意表示该方法中的摄像系统的结构的图。图10所示的摄像装置具有2个偏光透过部20、21，并且包括：仅通过这些透过部后就使来自光学透镜3的入射光透过的光通过部19；将对来自偏光透过部20、21的光进行分离的特定成分透过滤光器23以及彩色滤光器(滤色器)24组成1组后得到的受光部光学滤光器盘(filter tray)22；从光路上取下光通过部19以及特定成分透过滤光器23后将彩色滤光器24插入光路中、或者进行这个动作的逆动作的滤光器驱动部25。

根据该技术，使滤光器驱动部25工作，在具有视差的2个图像的摄像中使用光通过部19以及特定成分透过滤光器23，在通常的拍摄中，使用彩色滤光器24。在具有视差的2个图像的拍摄中，基本上，与专利文献2所示的技术相同，光利用率大大降低。另一方面，在通常的彩色图像的拍摄中，从光路中取下光通过部19，此外，取代特定成分透过滤光器23，而插入彩色滤光器24，能够得到光利用率高的彩色图像。

专利文献1：JP特开昭62-291292号公报

专利文献2：JP特开昭62-217790号公报

专利文献3：JP特开2001-016611号公报

在现有技术中，通过使用偏光板(偏光透过部)以及偏光滤光器，能够由单眼照相机对具有视差的2个图像进行摄像。在这些技术中，偏光板以及偏光滤光器都由具有0°、90°的透过轴的2种偏光器构成。由此，虽然能够由单眼照相机对具有视差的2个图像进行摄像，但是存在光利用率低且摄像灵敏度降低这样的课题。此外，为了得到在灵敏度方面没有问题的彩色图像，需要在上面所示的受光部中设置光学滤光器盘和滤光器驱动部。进一步地，如果即使假设设置了它们，在具有视差的图像的拍摄时和彩色图像的拍摄时被摄体的状态也不同，则视差图像和彩色图像不是相同状态的图像。也就是说，存在不能同时得到两种图像的课题。

发明内容

本发明鉴于上述课题，提供一种不在摄像系统中设置机械驱动部就能得到具有视差的多个图像的摄像技术。根据本发明的优选实施方式，能够同时得到具有视差的多个图像和灵敏度方面没有问题的图像。

本发明的三维摄像装置，具备：光透过部，其具有使在特定的方向上发生了偏振的光透过的n个偏光区域(n为2以上的整数)以及与偏振方向无关地使光透过的非偏光区域，所述n个偏光区域的透过轴的方向相互不同；固体摄像元件，其按照接受透过所述光透过部的光的方式来配置，具有像素阵列以及滤光器阵列，所述像素阵列被分割为多个像素块，所述多个像素块的每个包含(n+1)个像素，所述滤光器阵列包括与所述(n+1)个像素中的n个像素分别相对地配置的、透过轴的方向相互不同的n个偏光滤光器；成像部，其在所述固体摄像元件的摄像面上形成像；和图像生成部，其基于分别从所述(n+1)个像素输出的(n+1)个像素信号，来生成由分别入射到所述n个偏光区域以及所述非偏光区域的光所产生的(n+1)个图像。

在某实施方式中，所述图像生成部通过使用了基于各偏光区域的光透过率、各偏光滤光器的光透过率、以及所述非偏光区域的光透过率而决定的(n+1)行(n+1)列的矩阵的运算，来生成所述(n+1)个图像。

在某实施方式中，所述图像生成部，将透过第j个(j为1以上n以下的整数)偏光区域并透过第i个(i为1以上n以下的整数)偏光滤光器的光的透过率作为第i行第j列的要素a(i，j)，将透过所述非偏光区域并透过第i个偏光滤光器的光的透过率作为第i行第(n+1)列的要素a(i，n+1)，将透过所述第1偏光区域到第n偏光区域中的任意一者的光的透过率作为第(n+1)行第j列的要素a(n+1，j)，来生成所述矩阵，并通过使用了所述矩阵的逆矩阵和所述(n+1)个像素信号的运算，来生成所述(n+1)个图像。

在某实施方式中，各偏光区域的透过轴方向以及各偏光滤光器的透过轴方向设定为使所述矩阵的行列式不为0。

在某实施方式中，各偏光区域的透过轴方向以及各偏光滤光器的透过轴方向设定为使所述矩阵的行列式的绝对值最大。

在某实施方式中，n＝2。

在某实施方式中，在设所述n个偏光区域的一方为第1偏光区域，另一方为第2偏光区域时，相对于通过所述光透过部的中心并将所述光透过部的受光面的面积分割为2份的线段，所述第1偏光区域以及所述第2偏光区域相互配置于相反侧。

在某实施方式中，所述非偏光区域的至少一部分，位于所述第1偏光区域和所述第2偏光区域之间。

在某实施方式中，n＝2，在设所述n个偏光滤光器的一方为第1偏光滤光器，另一方为第2偏光滤光器时，各像素块包括其含有所述n个像素的8个像素，且所述8个像素排列为4行2列，与第1行第1列以及第3行第1列的像素相对地配置有使第1波长段的光透过的第1滤色器，与第2行第1列以及第4行第1列的像素相对地配置有使第2波长段的光透过的第2滤色器，与第1行第2列以及第3行第2列的像素相对地配置有使第3波长段的光透过的第3滤色器或透明部件，与第2行第2列的像素相对地配置有所述第1偏光滤光器，与第4行第2列的像素相对地配置有所述第2偏光滤光器。

在某实施方式中，n＝2，各像素块包括其含有所述n个像素的4个像素，设所述4个像素为第1像素、第2像素、第3像素、以及第4像素，在设所述n个偏光滤光器的一方为第1偏光滤光器，另一方为第2偏光滤光器时，与所述第1像素相对地配置有使第1波长段的光透过的第1滤色器，与所述第2像素相对地配置有使第2波长段的光透过的第2滤色器，与所述第3像素相对地配置有所述第1偏光滤光器以及第3波长段的光透过的第3滤色器，与所述第4像素相对地配置有所述第2偏光滤光器以及使第3波长段的光透过的第3滤色器。

在某实施方式中，所述图像生成部通过对由入射到各偏光区域的光所产生的图像的信号加上由入射到所述非偏光区域的光所产生的图像的信号，来提高由入射到各偏光区域的光所产生的图像的SN比。

本发明的三维摄像装置具备：具有n个偏光区域以及非偏光区域的光透过部、和具有配置了偏光滤光器的n个像素群以及没有配置偏光滤光器的像素群的摄像元件。因此，能够得到由入射到光透过部的n+1个区域的光所产生的图像信号和通过摄像元件能够取得的信号之间关系式。根据这些关系式能够算出由入射到光透过部的各区域的光所产生的图像。其结果，能够生成具有视差的多个图像，而且，也能够得到透过了非偏光区域的灵敏度放方面没有问题的图像。

附图说明

图1是本发明的实施方式中的摄像装置的整体结构图。

图2是表示本发明的实施方式1中的透光板、透镜、以及摄像元件的配置关系的示意图。

图3是本发明的实施方式1中的透光板的正面图。

图4是本发明的实施方式1中的固体摄像元件的摄像面上的基本像素构成图。

图5是本发明的实施方式2中的固体摄像元件的摄像面上的基本颜色构成图。

图6是本发明的实施方式2中的透光板的正面图。

图7是本发明的实施方式3中的固体摄像元件的摄像面上的基本颜色构成图。

图8是专利文献1中的摄像系统的结构图。

图9是专利文献2中的摄像系统的结构图。

图10是专利文献3中的摄像系统的结构图。

符号说明：

1    固体摄像元件

1a   摄像面

2    透光板

3    光学透镜

4    红外截止滤光器

5    信号产生以及图像信号接收部

6    元件驱动部

7     图像信号生成部

8     图像接口部

9     摄像装置

10    像素

11    0度偏光的偏光板

12    90度偏光的偏光板

13    反射镜

14    半反射镜

15    圆形的偏光滤光器

16    使偏光滤光器转动的驱动装置

17、18    偏光滤光器

19    光通过部

20、21    偏光透过部

22    受光部光学滤光器盘

23    特定成分透过滤光器

24    彩色滤光器

25    滤光器驱动部

30    存储器

100   摄像部

110   滤光器阵列

200   信号处理部

具体实施方式

以下，针对本发明的实施方式，参照附图说明本发明。对所有附图公共的要素附加相同的符号。另外，在本说明书中，有时将表示图像的信号或信息简单称为“图像”。此外，有时将具有视差的多个图像称为“多视点图像”(multi-viewpoint images)。

(实施方式1)

首先，说明本发明的第一实施方式。图1是表示本实施方式中的三维摄像装置的整体结构的框图。本实施方式的摄像装置是数字式的电子照相机，包括：摄像部100、和信号处理部200。信号处理部200基于来自摄像部100的信号，生成表示图像的信号(图像信号)。

摄像部100包括：摄像元件(图像传感器)1，其具备排列在摄像面上的多个光感测单元(像素)；透光板2，其具有偏光区域以及非偏关区域，该偏光区域使在特定方向上发生了偏振的光透过，该非偏光区域不论偏振方向如何都使光透过；光学透镜3，其用于在摄像元件1的摄像面上形成像；以及红外截止滤光器4。摄像部100还包括：信号产生/接收部5，其产生用于驱动摄像元件1的基本信号，并且接收来自摄像元件1的输出信号，并向信号处理部200送出；以及元件驱动部6，其基于由信号产生/接收部5产生的基本信号来驱动摄像元件1。摄像元件1典型地是CCD或者CMOS传感器，由公知的半导体制造技术制造。信号产生/接收部5以及元件驱动部30例如由CCD驱动器等LSI构成。

信号处理部200包括：图像信号生成部7，其对从摄像部100输出的信号进行处理并生成图像信号；存储器30，其用于保存在图像信号的生成中所使用的各种数据；以及接口(IF)部8，其将生成的图像信号送出至外部。图像信号生成部7适于由公知的数字信号处理处理器(DSP)等硬件、和执行包括图像信号生成处理在内的图像处理的软件的组合来实现。存储器30由DRAM等构成。存储器30记录从摄像部100得到的信号，并且暂时记录由图像信号生成部7生成的图像数据、和压缩后的图像数据。这些图像数据经由接口部8被送出至未图示的记录介质和显示部等。

另外，本实施方式的摄像装置包括电子快门、取景器(viewfinder)、电源(电池)、闪光灯等公知的构成要素，但是这些说明对本发明的理解来说并不是特别必需的，所以省略说明。

下面，参照图2～4，更详细地说明摄像部100的结构。

图2是示意性地表示摄像部100中的透光板2、光学透镜3、以及摄像元件1的配置关系的图。另外，在图2中，省略了透光板2、光学透镜3、以及摄像元件1以外的构成要素。透光板2具有n个(n为2以上的整数)偏光区域P(1)、P(2)、......、P(n)、以及非偏光区域(透明区域)P(n+1)，使入射光透过。在图2中，表示了4个偏光区域，但偏光区域的个数n只要为2个以上则为几个都可以。光学透镜3是公知的透镜，对透过了透光板2的光进行聚光，并在摄像元件1的摄像面1a上成像。在以下的说明中，使用图2所示的xy坐标。

图3是本实施方式中的透光板2的正面图。透光板2的形状，与光学透镜3同样地为圆形，但也可以为其他形状。透光板2具有透过轴的方向相互不同的n个偏光区域P(1)、P(2)、......、P(n)。偏光区域以外的区域，是无论偏振方向如何都使光透过的非偏光区域P(n+1)。在本实施方式中，设i＝1、2、......、n，第i个偏光区域P(i)的透过轴的方向相对于x方向(水平方向)倾斜了角度αi。各偏光区域P(1)、P(2)、......P(n)由公知的偏光板等形成。非偏光区域P(n+1)可以由任何使光以高透过率透过的部件来形成。在本实施方式中，透光板2起到本发明的光透过部的作用。另外，图3所示的透光板2的一部分也可以由遮光性部件形成。

在图2所示的摄像元件1的摄像面1a上，形成有包含排列为二维状的多个光感测单元(像素)的光感测单元阵列(像素阵列)。此外，与像素阵列相对，在光入射的一侧形成有包含多个偏光滤光器的滤光器阵列。各像素典型地包含光电二极管，通过光电转换来输出与各自所接受到的光的量(受光量)相应的电信号(称作“光电转换信号”、或“像素信号”。)。本实施方式中的像素阵列，被分割为分别包含(n+1)个像素的多个像素块。

图4是示意性地表示形成于摄像面1a的滤光器阵列110的一部分的图。各像素块所包含的(n+1)个像素，在y方向(垂直方向)上排列为1列。在与这些像素中的n个像素W1、W2、......、Wn相对的位置上，与像素1对1地配置有n个偏光滤光器。与像素W1、W2、......、Wn相对的n个偏光滤光器的透过轴的方向相互不同，相对于x方向分别倾斜了角度β1、β2、......、βn。在与第(n+1)行第1列的像素Wn+1相对的位置上没有配置偏光滤光器。

根据以上结构，摄影时入射到摄像装置中的光，通过透光板2、光学透镜3、红外截止滤光器4、滤光器阵列110而入射到像素阵列。各像素接受分别透过了透光板2的各偏光区域P(1)、P(2)、......、P(n)以及非偏光区域P(n+1)的光，并输出与接受到的光的量相应的光电转换信号。由各像素输出的光电转换信号，通过信号产生/接收部5而被送出到信号处理部200。信号处理部200中的图像信号生成部7基于从摄像部100送出的信号来生成多视点图像。

以下，对从各像素输出的光电转换信号进行说明。首先，对从没有配置偏光滤光器的像素Wn+1输出的光电转换信号进行说明。在像素Wn+1中，接受透过了透光板2、光学透镜3、红外截止滤光器4的入射光，并进行光电转换。在此，在入射光通过透光板2的偏光区域时，产生减光(假设其透过率为T1)。在此，假设入射到偏光区域P(1)、P(2)、......、P(n)和非偏光区域P(n+1)的光不被减光地由摄像元件1进行光电转换的情况下的各信号量，对该记号附加下标s来表现。即，将与入射到区域P(1)、P(2)、......、P(n+1)的光的量相当的信号表示为Ps(1)、Ps(2)、......、Ps(n+1)。此外，假设非偏光区域P(n+1)的透过率为100％，则像素Wn+1的光电转换信号Sn+1用以下的式1来表示。

【数1】

Sn+1＝T1(Ps(1)+Ps(2)+…+Ps(n))+Ps(n+1)        (式1)

接下来，对配置了偏光滤光器的像素Wj(j＝1、2、......、n)的光电转换信号进行说明。假设各偏光滤光器的特性，除了透过轴的方向之外，与各偏光区域的特性相同。在像素Wj中，由于配置了偏光滤光器，因此基本上接受对入射光量乘以T1后的量的光。与上述相同，像素Wj经由透光板2、光学透镜3、红外截止滤光器4来接受入射光，但入射光在通过透光板2的偏光区域时被减光。因此，像素Wj的光电转换量Sj用以下的式2来表示。其中，假设重合了2片透过轴的方向相同的偏光板的情况下的光透过率为T1×T2。

【数2】

Sj＝T1[T2{Ps(1)cos(α1-βj)+Ps(2)cos(α2-βj)+…+Ps(n)cos(αn-βj)}+Ps(n+1)]

                                                (式2)

在此，像素信号Sj和与透过区域P(j)并被进行光电转换的光的量相当的信号Ps(j)之间的关系，利用矩阵用以下的式3来表示。其中，假设Sj’＝Sj/T1。

【数3】

$\left(\begin{array}{cccc}T2\cos (\mathrm{\α}1-\mathrm{\β}1)& T2\cos (\mathrm{\α}2-\mathrm{\β}1)& ...& 1\\ T2\cos (\mathrm{\α}1-\mathrm{\β}2)& T2\cos (\mathrm{\α}2-\mathrm{\β}2)& ...& 1\\ .& .& & \\ .& .& ...& 1\\ .& .& & \\ T1& T1& & 1\end{array}\right)\left(\begin{array}{c}\mathrm{Ps}\left(1\right)\\ \mathrm{Ps}\left(2\right)\\ .\\ .\\ .\\ \mathrm{Ps}(n+1)\end{array}\right)=\left(\begin{array}{c}{S_1}^{\′}\\ {S_2}^{\′}\\ .\\ .\\ .\\ {S_{n+1}}^{\′}\end{array}\right)$ (式3)

根据式3，求出式中的(n+1)行(n+1)列的矩阵的逆矩阵，并将该逆矩阵从左边向两侧相乘，由此能够算出由入射到透光板2的各区域P(1)、P(2)、......P(n+1)的光所产生的图像信号Ps(1)、Ps(2)、......、Ps(n+1)。图1所示的图像信号生成部7，按照每个像素块来执行上述的矩阵运算，并按照每个像素块来算出Ps(1)、Ps(2)、......、Ps(n+1)。这样生成的信号的集合形成基于分别入射到偏光区域P(1)、P(2)、......、P(n)、以及非偏光区域P(n+1)的光的多个图像。

在本实施方式中，按照上述的(n+1)行(n+1)列的矩阵的行列式的值不为0而为最大值的方式，设定了各偏光区域的透过轴的角度αi(i＝1、2、......、n)、以及各偏光滤光器的透过轴的角度βj(j＝1、2、......、n)。因为行列式不为0，所以，能够根据上述式3算出Ps(1)、Ps(2)、......、Ps(n+1)。此外，因为行列式的值为最大值，所以，能够将计算误差抑制在最小限度。其结果，在图像信号生成部7中，能够高画质地分别得到由入射到透光板2的各区域P(i)的光所产生的图像。若从其中，将在透光板2上在水平(x)方向上距离最远的两个偏光区域的图像(例如，图3所示的P(1)以及P(3))作为右眼用图像或左眼用图像，则能够取得在x方向具有显著的视差的两个图像。此外，因为也能够得到由入射到非偏光区域P(n+1)的光所产生的图像，所以，通过使该区域大于各偏光区域，也能够得到在灵敏度上没有问题的(光利用率高)图像。虽然在本实施方式中，没有实现摄像元件1的彩色化，但通过对图4所示的像素基本排列追加彩色化像素，也能够得到灵敏度上没有问题的彩色图像。例如，通过与图4所示的像素W1、W2、......、Wn+1的一部分相对地进一步配置彩色滤光器，能够取得颜色信息，因此能够生成彩色图像。

并且，通过将入射到非偏光区域P(n+1)的光所产生的图像信号，部分相加于入射到偏光区域P(i)的光所产生的图像信号上，能够提高由输入到偏光区域P(i)的光所产生的图像的S/N比。该处理例如可以按照以下的步骤来进行。首先，改变图像上的位置来反复进行由入射到透光板2的各区域P(i)的光所产生的图像和由入射到非偏光区域P(n+1)的光所产生的图像之间的部分匹配判定。接下来，在判定为部分相同的图像的情况下，将入射到非偏光区域P(n+1)的光所产生的图像的相应部分相加于入射到区域P(i)的光所产生的图像的相同部分上。通过这种处理，能够进一步提高具有视差的多个图像的品质。

如上所述，根据本实施方式的摄像装置，将n+1行1列作为摄像元件1的像素的基本排列，并设有分别配置了透过轴的方向相互不同的n个偏光滤光器的n个像素W1、W2、......、Wn、和没有配置偏光滤光器的像素Wn+1。而且，设有具有透过轴的方向相互不同的n个偏光区域P(1)、P(2)、......、P(n)，且其他区域为非偏光区域P(n+1)的透光板2。根据这种结构，能够得到由入射到偏光板2的(n+1)个区域的光所产生的图像信号和从各像素输出的像素信号之间的关系式，因此能够根据这些关系式来算出由入射到透光板2的各区域的光所产生的图像信号。其结果，能够作成多视点图像，而且，也能够得到由入射到非偏光区域的光所产生的灵敏度上没有问题的图像。并且，通过进行由入射到透光板2的各区域P(i)的光所产生的图像和入射到非偏光区域P(n+1)的光所产生的图像之间的部分匹配判定处理以及图像加法处理，还能够提高多视点图像的品质。

另外，在本实施方式中，设固体摄像元件1的摄像面上的像素的基本构成为(n+1)行1列，但不限定于此排列。只要相对地配置了n个偏光滤光器的n个像素、和没有配置偏光滤光器的像素接近地构成1个像素块，则为怎样的排列都可以。此外，虽然使用了部分配置了n个偏光区域的透光板2，但本发明的光透过部不限于这种透光板2。例如，在透镜表面、或者光圈的光透过区域内设置多个偏光区域也没有问题。只要在入射光学系统的内部设置多个偏光区域，则能够得到同样效果。

(实施方式2)

接下来，对本发明的第2实施方式进行说明。本实施方式的摄像装置只有透光板2的结构、摄像元件1的像素构成、以及图像生成部7所进行的信号运算处理与实施方式1的摄像装置不同。以下，说明与实施方式1的不同点，省略对重复的点的说明。

图5是本实施方式中的固体摄像元件1的摄像面上的基本颜色构成图。构成本实施方式中的摄像元件1的像素阵列的多个像素块分别具有排列为4行2列的8个像素。在第1行第1列和第3行第1列，与像素相对地配置有使青色波长段(绿色以及蓝色波长段)的光透过的青色滤光器(青色要素Cy)。在第1行第2列和第3行第2列，与像素相对地配置有透明部件(透明要素W)。在第2行第1列和第4行第1列，与像素相对地配置有使黄色波长段(红色以及绿色波长段)的光透过的黄色滤光器(黄色要素Ye)。在第2行第2列，与像素相对地配置有透过轴的方向相对于x方向构成β1的角度的偏光滤光器(偏光要素Wp1)。在第4行第2列，与像素相对地配置有透过轴的方向相对于x方向构成β2的角度的偏光滤光器(偏光要素Wp2)。在以下的说明中，有时将青色要素、黄色要素、透明要素、偏光要素总称为“颜色要素”。

图6是本实施方式中的透光板2a的正面图。透光板2a的形状为圆形，具有与光学透镜3相同的有效直径。透光板2a，在图6中的左侧具有长方形的偏光区域P(1)，该偏光区域P(1)使得朝相对于x方向构成角度α1的方向进行偏光的光透过。此外，在右侧，具有相同尺寸的偏光区域P(2)，该偏光区域P(2)使得朝相对于x方向构成角度α2的方向进行偏光的光透过。透光板2a的其他区域是无论偏振方向如何都使入射光透过的非偏光区域P(3)。透光板2a的偏光区域P(1)以及偏光区域P(2)相对于通过透光板2a的中心且将受光面的面积分割为两份的线段而相互位于相反侧。此外，非偏光区域P(3)的一部分位于两个偏光区域P(1)、P(2)之间。根据这种结构，能够得到由分别入射到偏光区域P(1)、P(2)的光所产生的多视点图像，并且能够得到光利用率较高的图像。

以下，对本实施方式中的、生成多视点图像的方法进行说明。将透过Wp1要素、Wp2要素、W要素并由与各自相对的像素进行光电转换的信号分别表示为S1、S2、S3。其中，假设透光板2a的偏光区域P(1)、P(2)的偏光特性、以及摄像元件1的Wp1要素、Wp2要素的偏光特性除了偏振方向的特性之外全部相同。此外，假设透光板2a的偏光区域P(1)的光透过率为100％的情况下，将与透过该区域并通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量设为Ps(1)。同样，假设透光板2a的偏光区域P(2)的光透过率为100％的情况下，将与透过该区域并通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量设为Ps(2)。将与透过透光板2a的非偏光区域P(3)(透明区域)且通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量设为Ps(3)。实际上，透光板2a的偏光区域P(1)、P(2)的透过率不是100％，因此设其透过率为T1。此外，设重合了2片透过轴的方向相同的偏光板的情况下的光透过率为T1×T2。假设透光板2a的非偏光区域P(3)的光透过率为100％。

与透过了W要素并由其相对的像素进行光电转换的光的量相当的信号量S3，可以如下这样使用Ps(1)、Ps(2)、Ps(3)来表示。与透过了透光板2a的偏光区域P(1)、P(2)并进一步通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量用T1x(Ps(1)+Ps(2))来表示。此外，与透过了透光板2a的非偏光区域P(3)并进一步通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量用Ps(3)来表示，因此信号量S3用以下的式4来表示。

【数4】

S3＝T1(Ps(1)+Ps(2))+Ps(3)                  (式4)

对于透过了Wp1要素并由其相对的像素进行光电转换的信号量S1，也可以如下这样使用Ps(1)、Ps(2)、Ps(3)来表示。与透过了透光板2a的偏光区域P(1)并进一步通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量用T1×T2×Ps(1)cos(α1-β1)来表示。此外，与透过了透光板2a的偏光区域P(2)并进一步通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量用T1×T2×Ps(2)cos(α2-β1)来表示。并且，与透过了透光板2a的非偏光区域P(3)并进一步通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量用T1×Ps(3)来表示，结果，信号量S1用以下的式5来表示。

【数5】

S1＝T1[T2{Ps(1)cos(α1-β1)+Ps(2)cos(α2-β1)}+Ps(3)]    (式5)

对于透过Wp2要素并由其相对的像素进行光电转换的信号量S2，也可以如下这样使用Ps(1)、Ps(2)、Ps(3)来表示。首先，与透过了透光板2a的偏光区域P(1)并进一步通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量用T1×T2×Ps(1)cos(α1-β2)来表示。此外，与透过了透光板2a的偏光区域P(2)并进一步通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量用T1×T2×Ps(2)cos(α2-β2)来表示。并且，与透过了透光板2a的非偏光区域P(3)并进一步通过光学透镜3、红外截止滤光器4后进行光电转换的光的量相当的信号量用T1×Ps(3)来表示。结果，信号量S2用以下的式来表示。

【数6】

S2＝T1[T2{Ps(1)cos(α1-β2)+Ps(2)cos(α2-β2)}+Ps(3)]    (式6)

在此，设S1’＝S1/T1、S2’＝S2/T1，上述的式4～式6利用矩阵用以下的式7来表示。

【数7】

$\left(\begin{array}{ccc}T2\cos (\mathrm{\α}1-\mathrm{\β}1)& T2\cos (\mathrm{\α}2-\mathrm{\β}1)& 1\\ T2\cos (\mathrm{\α}1-\mathrm{\β}2)& T2\cos (\mathrm{\α}2-\mathrm{\β}2)& 1\\ T1& T1& 1\end{array}\right)\left(\begin{array}{c}\mathrm{Ps}\left(1\right)\\ \mathrm{Ps}\left(2\right)\\ \mathrm{Ps}\left(3\right)\end{array}\right)=\left(\begin{array}{c}{S_1}^{\′}\\ {S_2}^{\′}\\ {S_3}^{\′}\end{array}\right)$ (式7)

图1所示的图像生成部7求出式7中的3行3列的矩阵的逆矩阵，并算出分别由透过了透光板2a的区域P(1)、P(2)、P(3)的光所产生的3个图像。其中，为了求出逆矩阵，行列式的值需要不为0。此外，行列式的值越大则计算误差越小。

在本实施方式中，按照使该行列式的值最大的方式，通过模拟来决定偏振方向的角度α1、α2、β1、β2。在模拟中，设T1＝0.45、T2＝0.90、α1＝0，使α2、β1、β2从0～90度每次变化一度。模拟的结果，在α1＝0度、α2＝60度、β1＝0度、β2＝60度时行列式的值最大，因此采用了这些值。其结果，能够得到由透过了区域P(1)、P(2)的光所产生的图像，并能够制作多视点图像。

另一方面，关于图像的彩色化，可以使用表示透过青色要素并进行光电转换的光的量的信号量Scy、表示透过黄色要素并被进行光电转换的光的量的信号量Sye、以及表示透过W要素并被进行光电转换的光的量的信号量S3，如下来生成。首先，红色的颜色信息Sr可以通过(S3-Scy)的运算而得到。此外，蓝色的颜色信息Sb可以通过(S3-Sye)的运算而得到。并且可以通过(S3-Sr-Sb)得到绿色的颜色信息。通过以上的运算，能够制作RGB的彩色图像。其结果，本实施方式中的光量的降低，被抑制为仅为透光板2a的各偏光区域中的损失部分。若假设各偏光区域的光量的降低为50％，则加上透过非偏光区域的光的量，能够得到确保了入射光的75％的光量的彩色图像。

如上所述，根据本实施方式的摄像装置，将4行2列作为像素的基本构成，对应于8个像素，使用2个青色要素、2个黄色要素、2个透明要素、2个的偏光要素。在第1行第1列和第3行第1列配置青色要素(Cy)，在第1行第2列和第3行第2列配置透明要素(W)，在第2行第1列和第4行第1列配置黄色要素(Ye)，在第2行第2列配置透过轴的方向相对于x方向构成β1的角度的偏光要素(Wp1)，在第4行第2列配置透过轴的方向相对于x方向构成β2的角度的偏光要素(Wp2)。此外，透光板2a，在图6中的左侧，具有透过轴的方向相对于x方向构成α1的角度的偏光区域P(1)，在右侧也具有相同尺寸的、其透过轴的方向相对于x方向构成α2的角度的偏光区域P(2)。通过这种结构，根据使用了透明要素W的相对像素的信号、偏光要素Wp1的相对像素的信号、以及偏光要素Wp2的相对像素的信号的运算，能够作成多视点图像。由此，根据使用了青色要素Cy的相对像素、黄色要素Ye的相对像素、以及透明要素W的相对像素的信号的运算，能够作成大幅抑制了灵敏度降低的彩色图像。即，具有如下效果：不需要在以往技术中使用的机械性工作部分，仅通过图像信号间的运算，就能够同时得到多视点图像和大幅抑制了灵敏度降低的彩色图像。

另外，在本实施方式中，设透光板2a的偏光区域P(1)以及偏光区域P(2)的形状为长方形，但不限于此。此外，作为优选例，设偏光要素Wp1、Wp2、偏光区域P(1)、P(2)的透过轴的方向相对于水平(x)方向，分别为0度、60度、0度、60度，但不限于此。只要是在式7中能够求出Ps(1)～Ps(3)的结构，则分别为与上述不同的角度也没有问题。此外，在上述的实施方式中，使用了青色要素、黄色要素、透明要素、偏光要素，但只要为使用透过波长段不同的3种颜色要素的结构就能够得到彩色图像，因此不限定于这些要素。例如，也可以取代青色要素以及黄色要素，而使用使蓝色的波长段的光透过的蓝色滤光器(蓝色要素B)、以及使红色的波长段的光透过的红色滤光器(红色要素R)。此外，也可以与配置了偏光要素Wp1、Wp2的像素相对地进一步配置彩色滤光器。例如，也可以在透过偏光要素Wp1、Wp2的光的光路上配置使绿色的波长段的光透过的绿色滤光器(绿色要素G)，并且取代透明要素W而配置绿色要素G。像这样，4个颜色要素中、同色的2个要素优选为透明要素或接近人的视觉灵敏度特性的绿色要素。

作为本实施方式的变形例，例如可以为以下这种结构。(1)替换了图5所示的结构的至少1行的2个要素的结构；(2)将图5所示的Cy要素替换为红色以及蓝色要素中的一方，并将Ye要素替换为红色以及蓝色要素的另一方的结构；(3)替换了上述(2)的结构的至少1行的2个要素的结构；(4)将图5所示的Cy滤光器替换为红色以及蓝色要素的一方，将Ye要素替换为红色以及蓝色要素的另一方，将W要素替换为绿色要素，除了Wp1以及Wp2要素之外进一步配置绿色要素的结构；(5)替换了上述(4)的结构的至少1行的2个要素的结构。在这些任意一个变形例中，也能够通过同样的信号运算，得到多视点图像以及光利用率高的彩色图像。

在本实施方式中设透光板2a的偏光区域的个数为两个，但为三个以上也没有问题。例如，在偏光区域的个数为三个的情况下，只要将摄像元件1的两个透明要素W中的一个变更为偏光要素Wp3即可。在此情况下，式7表示的3行3列的矩阵成为4行4列。使该行列式成为最大的偏振方向，在透光板2a侧为0度、45度、90度，在摄像元件1侧也为0度、45度、90度。像这样，通过增加偏光区域并适当选择它们的偏振方向，能够得到多个不同的视差的图像。

(实施方式3)

接下来，对本发明的第3实施方式进行说明。图7是表示本实施方式中的固体摄像元件1的摄像面上的基本颜色构成的图。将2行2列作为基本构成，在第1行第1列配置青色要素(Cy)，在第1行第2列配置透过轴的方向相对于x方向构成β1的角度的偏光要素(Wp1)，在第2行第1列配置黄色要素(Ye)，在第2行第2列配置透过轴的方向相对于x方向构成β2的角度的偏光要素(Wp2)。固体摄像元件1的各像素，与上述颜色要素1对1地对应，并与各颜色要素相对地配置。在本实施方式中，透光板2a和实施方式2相同。以下，以与实施方式2不同的点为中心来进行说明，对于重复的点省略说明。

在本实施方式的结构中，由于没有设置W要素，因此无法进行实施方式2所示的计算。但是，在对接近无彩色的被摄体进行摄像的情况下，表示为Cy+Ye＝W+G，因此若假设RGB的受光信号比率为Kr、Kg、Kb，则通过W要素而得到的信号，可以认为是对通过Cy要素和Ye要素而得到的信号的合计乘以(Kr+Kg+Kb)/(Kr+2Kg+Kb)后的信号。因此，若通过进行这种运算，并将其结果作为表示由W要素的相对像素进行光电转换的光的量的信号，则能够通过与实施方式2中的处理相同的处理来作成视差图像。

另一方面，关于彩色图像，可以使用与透过青色要素并被进行光电转换的光的量相当的信号量Scy、与透过黄色要素并被进行光电转换的光的量相当的信号量Sye、与透过Wp1要素并被进行光电转换的光的量相当的信号S1、以及与透过Wp2要素并被进行光电转换的光的量相当的信号S2按照如下所述地来生成。首先，将S1和S2相加，将其结果作为W要素的信号量S3。于是，红色的颜色信息Sr能够通过(S3-Scy)的运算而得到。蓝色的颜色信息Sb能够通过(S3-Sye)的运算而得到。并且，通过(S3-Sr-Sb)的运算能够得到绿色的颜色信息。其结果，光量降低被抑制成仅为透光板2a的偏光区域P(1)、P(2)上的损失部分，若加上非偏光区域P(3)的光量则能够得到大幅抑制了入射光的光量降低的彩色图像。

如上所述，本实施方式的摄像装置，将2行2列作为像素的基本构成，对应于4个像素，使用Cy要素、Ye要素、两个偏光要素。在第1行第1列配置青色要素(Cy)，在第1行第2列配置透过轴的方向相对于x方向构成β1的角度的偏光要素(Wp1)，在第2行第1列配置黄色要素(Ye)，在第2行第2列配置透过轴的方向相对于x方向构成β2的角度的偏光要素(Wp2)。此外，透光板2a，在图6中的左侧，具有透过轴的方向相对于x方向构成α1的角度的偏光区域P(1)，在右侧也具有相同尺寸的、其透过轴的方向相对于x方向构成α2的角度的偏光区域P(2)。通过这种结构，根据使用了青色要素Cy的相对像素的信号、黄色要素Ye的相对像素的信号、偏光要素Wp1的相对像素的信号、以及偏光要素Wp2的相对像素的信号的运算，能够作出多视点图像和大幅抑制了灵敏度降低的彩色图像。即，与实施方式1、2相同，具有如下效果：不需要在现有技术中使用的机械性工作部分，仅通过图像信号间的运算就能够同时得到多视点图像和大幅抑制了灵敏度降低的彩色图像。

另外，在本实施方式中，不限于图7所示的颜色配置，也可以变更青色要素、黄色要素、偏光要素的位置。此外，也可以取代青色要素以及黄色要素而配置红色要素以及蓝色要素。并且，与实施方式2相同，也可以在入射到偏光要素Wp1、Wp2的光的光路上配置绿色要素或透明要素。

在以上的实施方式1～3中，摄像装置构成为获取多视点图像以及彩色图像双方，但是也可以构成为仅获取多视点图像。在以仅得到视差信息的目的而利用本发明的情况下，也可以没有图5、7中示出的Cy要素以及Ye要素。

此外，摄像装置可以通过在得到多视点图像的基础上，实施它们的差分处理，从而得到差分图像。更进一步地，可以根据多视点图像来求取表示各对应点在图像上的位置的偏差的大小的视差图像(disparity map)。通过求出差分图像或视差图像，能够得到表示被摄体的进深的信息。

在实施方式1～3中，虽然根据由摄像得到的光电转换信号通过信号运算来生成图像，但是也可以使与摄像装置独立的其他装置来执行基于信号运算的图像的生成处理。在该情况下，摄像装置可以不具备图1中示出的图像信号生成部7。例如，将通过具有实施方式1～3中的摄像部100的摄像装置获取到的信号读入其他装置，使该其他装置执行对各实施方式的信号运算处理进行规定的程序，也能够得到相同的效果。

产业上的可利用性

本发明的三维摄像装置在采用了固体摄像元件的所有照相机中是有效的。例如，可以利用于数字静态照相机、数字录像机等民用照相机、和工业用固体监视照相机等。

Claims (11)

1.一种三维摄像装置，具备：

光透过部，其具有使在特定的方向上发生了偏振的光透过的n个偏光区域、以及与偏振方向无关地使光透过的非偏光区域，所述n个偏光区域的透过轴的方向相互不同，其中，n为2以上的整数；

固体摄像元件，其按照接受透过所述光透过部的光的方式来配置，具有像素阵列以及滤光器阵列，所述像素阵列被分割为多个像素块，所述多个像素块的每个分别包含(n+1)个像素，所述滤光器阵列包括与所述(n+1)个像素中的n个像素分别相对地配置的、透过轴的方向相互不同的n个偏光滤光器；

成像部，其在所述固体摄像元件的摄像面上形成像；和

图像生成部，其基于分别从所述(n+1)个像素输出的(n+1)个像素信号，来生成由分别入射到所述n个偏光区域以及所述非偏光区域的光所产生的(n+1)个图像。

2.根据权利要求1所述的三维摄像装置，其特征在于，

所述图像生成部通过使用了(n+1)行(n+1)列的矩阵的运算，来生成所述(n+1)个图像，其中，该(n+1)行(n+1)列的矩阵是基于各偏光区域的光透过率、各偏光滤光器的光透过率、以及所述非偏光区域的光透过率而决定的。

3.根据权利要求2所述的三维摄像装置，其特征在于，

所述图像生成部，将透过第j个偏光区域并透过第i个偏光滤光器的光的透过率作为第i行第j列的要素a(i，j)，将透过所述非偏光区域并透过第i个偏光滤光器的光的透过率作为第i行第(n+1)列的要素a(i，n+1)，将透过所述第1偏光区域到第n偏光区域中的任意一者的光的透过率作为第(n+1)行第j列的要素a(n+1，j)，来生成所述矩阵，并通过使用了所述矩阵的逆矩阵和所述(n+1)个像素信号的运算，来生成所述(n+1)个图像，其中，j为1以上n以下的整数，i为1以上n以下的整数。

4.根据权利要求2或3所述的三维摄像装置，其特征在于，

按照使所述矩阵的行列式不为0的方式来设定各偏光区域的透过轴方向以及各偏光滤光器的透过轴方向。

5.根据权利要求2～4中任意一项所述的三维摄像装置，其特征在于，

按照使所述矩阵的行列式的绝对值最大的方式来设定各偏光区域的透过轴方向以及各偏光滤光器的透过轴方向。

6.根据权利要求1～5中任意一项所述的三维摄像装置，其特征在于，

n＝2。

7.根据权利要求6所述的三维摄像装置，其特征在于，

在设所述n个偏光区域的一方为第1偏光区域，另一方为第2偏光区域时，

相对于通过所述光透过部的中心并将所述光透过部的受光面的面积分割为2份的线段，所述第1偏光区域以及所述第2偏光区域相互配置于相反侧。

8.根据权利要求6或7所述的三维摄像装置，其特征在于，

所述非偏光区域的至少一部分位于所述第1偏光区域和所述第2偏光区域之间。

9.根据权利要求1～8中任意一项所述的三维摄像装置，其特征在于，

n＝2，

在设所述n个偏光滤光器的一方为第1偏光滤光器，另一方为第2偏光滤光器时，

各像素块包括含有所述n个像素的8个像素，且所述8个像素排列为4行2列，

与第1行第1列以及第3行第1列的像素相对地配置有使第1波长段的光透过的第1滤色器，

与第2行第1列以及第4行第1列的像素相对地配置有使第2波长段的光透过的第2滤色器，

与第1行第2列以及第3行第2列的像素相对地配置有使第3波长段的光透过的第3滤色器或透明部件，

与第2行第2列的像素相对地配置有所述第1偏光滤光器，

与第4行第2列的像素相对地配置有所述第2偏光滤光器。

10.根据权利要求1～8中任意一项所述的三维摄像装置，其特征在于，

n＝2，

各像素块包括含有所述n个像素的4个像素，

设所述4个像素为第1像素、第2像素、第3像素、以及第4像素，

且设所述n个偏光滤光器的一方为第1偏光滤光器，另一方为第2偏光滤光器时，

与所述第1像素相对地配置有使第1波长段的光透过的第1滤色器，

与所述第2像素相对地配置有使第2波长段的光透过的第2滤色器，

与所述第3像素相对地配置有所述第1偏光滤光器以及使第3波长段的光透过的第3滤色器，

与所述第4像素相对地配置有所述第2偏光滤光器以及使第3波长段的光透过的第3滤色器。

11.根据权利要求1～10中任意一项所述的三维摄像装置，其特征在于，

所述图像生成部通过对由入射到各偏光区域的光所产生的图像的信号加上由入射到所述非偏光区域的光所产生的图像的信号，来提高由入射到各偏光区域的光所产生的图像的SN比。

Images