CN102687514B - 三维摄像装置以及图像处理装置 - Google Patents

Abstract

一种三维摄像装置，包括：光透射部(2)，具有透射波长区域互不相同的n个(n为2以上的整数)透射区域，各透射区域使第一波长区域的光透射；固体摄像元件(1)，具有分割为多个单位块的光感测单元阵列，为了接受透射过光透射部(2)的光而配置；光学系统(3)，在固体摄像元件(1)的摄像面(1a)上形成像；信号处理部(200)，对从固体摄像元件(1)输出的信号进行处理。各单位块包括n个光感测单元，该n个光感测单元中包括输出与第一波长区域的光的量相应的光电转换信号的第一光感测单元。各光感测单元输出与互不相同的波长区域的光的量相应的光电转换信号。信号处理部(200)使用在从第一光感测单元输出的光电转换信号上乘以作为0以上且不足1的实数的第一系数后得到的信号生成至少2个具有视差的图像数据。

Description

三维摄像装置以及图像处理装置

技术领域

本发明涉及生成具有视差的多个图像的单眼三维摄像技术。

背景技术

近年来，使用CCD和CMOS等固体摄像元件(以下，有时称为“摄像元件”)的数字照相机和数字录像机的高功能化、高性能化令人感到惊奇。特别是，由于半导体制造技术的进步，推进了固体摄像元件中的像素构造的精细化。其结果是，能够实现固体摄像元件的像素以及驱动电路的高集成化。由此，仅仅几年间，摄像元件的像素数就从100万像素左右显著增加到1000万像素以上。进一步地，通过摄像而得到的图像的质量也飞跃提高。另一方面，关于显示装置，利用薄型的液晶和等离子体的显示器，能够不分场所地以高分辨率进行高对比度的显示，从而实现较高的性能。这样的影像的高品质化的发展正从二维图像扩展到三维图像。近来，虽然需要偏光眼镜，但是也正在开始开发高画质的三维显示装置。

关于三维摄像技术，作为具有简单构成的代表性技术，有使用由2个照相机构成的摄像系统，分别获取右眼用的图像以及左眼用的图像的技术。在这样的所谓2眼摄像方式中，由于使用2个照相机，所以摄像装置会大型化，成本也变高。因此，正在研究使用1个照相机获取具有视差的多个图像的方式。例如，专利文献1公开了使用滤色片来同时获取具有视差的2个图像的技术。图11是示意性地表示使用该技术的摄像系统的图。该技术的摄像系统包括透镜3、透镜光圈19、光束限制板20、感光膜21，其中，光束限制板20配置有透射波长区域不同的2个滤色片20a、20b。这里，滤色片20a、20b例如是分别透射红色系统、蓝色系统的光的滤光片。

通过以上的构成，入射光从透镜3、透镜光圈19、以及光束限制板20透射后在感光膜21上成像。此时，在光束限制板20中的2个滤色片20a、20b中，分别只有红色系统、蓝色系统的光透射。其结果，在感光膜上形成基于分别透射过这2个滤色片的光的品红色系统的颜色的像。这里，由于滤色片20a、20b的位置不同，所以在感光膜上形成的像中产生视差。这里，如果根据感光膜来制作照片，使用分别粘贴了红色滤光片以及蓝色滤光片作为右眼用以及左眼用的眼镜，则能够看到有进深感的图像。这样，根据专利文献1公开的技术，能够使用2个滤色片来制作具有视差的图像。

专利文献1中公开的技术是在感光膜上成像并制作具有视差的多个图像的技术，另一方面，专利文献2中公开了将具有视差的图像转换为电信号后获取的技术。图12是示意性表示该技术中的光束限制板的图。在该技术中，使用如下光束限制板22，该光束限制板22在与摄像光学系统的光轴垂直的平面上，设置有透射红色光的R区域22R、透射绿色光的G区域22G、透射蓝色光的B区域22B。通过由具有红色用的R像素、绿色用的G像素、蓝色用的B像素的照相机摄像元件来接受透射过这些区域的光，能够获取透射过各区域的光所形成的图像。

此外，在专利文献3中，也公开了使用与图12的构成相同的构成来获取具有视差的多个图像的技术。图13是示意性表示专利文献3所公开的光束限制板的图。该技术也能够通过使入射光透射设置在光束限制板23中的R区域23R、G区域23G、B区域23B来制作具有视差的图像。

根据上述专利文献1～3所公开的技术，通过在光束限制板配置R、G、B各色滤色片，能够生成具有视差的图像。但是，由于使用了光束限制板，所以入射光量会减少。此外，要提高视差效果就需要在相互分离的位置配置R、G、B的各色滤色片，并减小它们的面积，这样，入射光量会进一步减少。

相对于以上的技术，在专利文献4中公开有以下技术，即，能够使用配置有R、G、B的各色滤色片的光圈，来得到具有视差的多个图像和在光量方面没有问题的通常图像。在该技术中，在关闭光圈的状态下接受仅仅透射R、G、B的各色滤色片的光，在打开光圈的状态下从光路中取下RGB的滤色片区域，所以能够完全接受入射光。由此，能够在关闭光圈的状态下获取具有视差的图像，并在打开光圈的状态下获取光利用率高的通常图像。

在先技术文献

专利文献

专利文献1：JP特开平2-171737号公报

专利文献2：JP特开2002-344999号公报

专利文献3：JP特开2009-276294号公报

专利文献4：JP特开2003-134533号公报

发明要解决的课题

根据以往技术，能够获取具有视差的多个图像，但是由于在光束限制板中使用滤色片，所以摄像元件的受光量会减少。为了充分确保入射光量，需要使用通过机械驱动从光路中取下滤色片的机构来获取光利用率较高的通常图像。但是，在使用了机械驱动的技术中，存在导致装置的大型化以及高成本化的问题。

发明内容

本发明提供一种不进行机械驱动就能够生成光利用率高，且对于哪个颜色成分都具有视差的多个图像的三维摄像技术。

用于解决课题的手段

本发明的三维摄像装置包括：光透射部，其具有透射波长区域互不相同的n个(n为2以上的整数)透射区域，各透射区域使第一波长区域的光透射；固体摄像元件，该固体摄像元件具有光感测单元阵列，并且是为了接受透射过上述光透射部的光而配置的固体摄像元件，上述光感测单元阵列具有多个单位块，各单位块包括n个光感测单元，该n个光感测单元中包括输出与上述第一波长区域的光的量相应的光电转换信号的第一光感测单元，上述n个光感测单元中的每一个光感测单元输出与互不相同的波长区域的光的量相应的光电转换信号；光学系统，其在上述固体摄像元件的摄像面上形成像；以及信号处理部，其通过使用在从上述第一光感测单元输出的光电转换信号上乘以第一系数后得到的信号、和从剩余的光感测单元输出的光电转换信号，来生成表示入射到上述光透射部的各区域中的光的量的信号，从而生成至少2个具有视差的图像数据，其中，上述第一系数是0以上且不足1的实数。

在某实施方式中，n＝3，包含在上述光透射部中的上述n个透射区域中的1个透射区域为透明区域，剩余的2个透射区域是使蓝绿色的波长区域的光透射的区域、使品红色的波长区域的光透射的区域、以及使黄色的波长区域的光透射的区域之中的2个区域。

在某实施方式中，上述n个透射区域中的2个透射区域是使蓝绿色的波长区域的光透射的区域、以及使黄色的波长区域的光透射的区域，上述第一波长区域是与绿色对应的波长区域。

在某实施方式中，上述第一系数的值按每个单位块来决定。

在某实施方式中，上述第一系数的值基于从包含在各单位块中的上述第一光感测单元输出的光电转换信号、和从剩余的光感测单元输出的光电转换信号之和之间的比率来决定。

在某实施方式中，上述信号处理部使用将在从上述第一光感测单元输出的光电转换信号上乘以第二系数后得到的信号加在从上述剩余的光感测单元输出的光电转换信号中的每一个光电转换信号上后得到的信号，来生成表示入射到上述光透射部的各区域中的光的量的信号，其中，上述第二系数是比0大且1以下的实数。

在某实施方式中，上述第二系数的值基于上述第一系数的值来决定。

在某实施方式中，在设上述第一系数的值为k，设上述第二系数的值为k’时，k’＝1-k。

本发明的图像处理装置是对通过三维摄像装置获取到的信号进行处理的图像处理装置，其中，该三维摄像装置包括：光透射部，其具有透射波长区域互不相同的n个(n为2以上的整数)透射区域，各透射区域使第一波长区域的光透射；固体摄像元件，该固体摄像元件具有光感测单元阵列，并且是为了接受透射过上述光透射部的光而配置的固体摄像元件，上述光感测单元阵列具有多个单位块，各单位块包括n个光感测单元，该n个光感测单元包括输出与上述第一波长区域的光的量相应的光电转换信号的第一光感测单元，上述N个光感测单元中的每一个光感测单元输出与互不相同的波长区域的光的量相应的光电转换信号；以及光学系统，其在上述固体摄像元件的摄像面上形成像；该图像处理装置通过使用在从上述第一光感测单元输出的光电转换信号上乘以第一系数后得到的信号、和从剩余的光感测单元输出的光电转换信号，来生成表示入射到上述光透射部的各区域中的光的量的信号，从而生成至少2个具有视差的图像数据，其中，上述第一系数是0以上且不足1的实数。

发明效果

根据本发明，不进行机械驱动，使用具有滤色片的摄像元件，就能够得到光利用率高，且对于哪个颜色成分都具有视差的多个图像。

附图说明

图1是表示实施方式1的摄像装置的整体构成的框图。

图2是表示实施方式1的透光板、光学系统、以及摄像元件的概略构成的示意图。

图3是表示实施方式1的透光板的透射区域的配置的图。

图4是表示实施方式1的摄像元件的像素构成的图。

图5是表示通过实施方式1的摄像装置用第一方法生成的图像的图。

图6是表示通过实施方式1的摄像装置使G成分的量减少而生成的图像的图。

图7是表示实施方式1的图像生成部的处理的流程的图。

图8是表示通过实施方式1的摄像装置提高灵敏度而生成的图像的图。

图9是表示具有n个透射区域的光透射部的一例的图。

图10是表示各单位块中的n个光感测单元的配置的一例的图。

图11是专利文献1的摄像系统的示意图。

图12是专利文献2的光束限制板的示意图。

图13是专利文献3的光束限制板的示意图。

具体实施方式

以下，参照附图说明本发明的实施方式。在以下的说明中对于公共的要素附加相同的符号。另外，在本说明书中，有时将表示图像的信号或者信息简单称为“图像”。

(实施方式1)

图1是表示本发明的第一实施方式的三维摄像装置(以下，称为“摄像装置”)的整体构成的框图。本实施方式的摄像装置是数字式的电子照相机，包括：摄像部100、和基于来自摄像部100的信号来生成表示图像的信号(图像信号)的信号处理部200。本实施方式的摄像装置也可以具备不只拍摄静止图像还拍摄运动图像的功能。

摄像部100包括：摄像元件(图像传感器)1，其具备排列在摄像面上的多个光感测单元；透光板(光透射部)2，其具有透射波长区域互不相同的3个透射区域并使入射光透射；光学透镜3，其用于在摄像元件1的摄像面上形成像；和红外截止滤光片4。摄像部100还包括：信号产生/接收部5，其产生用于驱动摄像元件1的基本信号，并且接收来自摄像元件1的输出信号，并将其发送至信号处理部200；和元件驱动部6，其基于由信号产生/接收部5产生的基本信号来驱动摄像元件1。摄像元件1典型为CCD或CMOS传感器，通过公知的半导体制造技术来制造。信号产生/接收部5以及元件驱动部30例如由CCD驱动器等LSI构成。

信号处理部200包括：图像生成部7，其对从摄像部100输出的信号进行处理并生成图像信号；存储器30，其保存在图像信号的生成中使用的各种数据；和接口(IF)部8，其将生成的图像信号送出至外部。此外，信号处理部200包括：视差推定部40，其推定由图像生成部7生成的多个图像之间的视差；和距离信息生成部50，其基于推定出的视差来生成被摄体的距离信息。图像生成部7、视差推定部40、距离信息生成部50优选通过公知的数字信号处理处理器(DSP)等硬件和用于执行包括后述的图像信号生成处理、视差推定处理、距离信息生成处理在内的图像处理的软件的组合来实现。存储器30由DRAM等构成。存储器30记录从摄像部100得到的信号，并且暂时记录由图像生成部7生成的图像数据、和压缩后的图像数据。这些图像数据经由接口部8送出至未图示的记录介质或显示部等。

另外，本实施方式的摄像装置包括电子快门、取景器、电源(电池)、闪光灯等公知的构成要素，这些说明不是理解本发明所必需的，所以省略。

接着，参照图2～4来更详细地说明摄像部100的构成。

图2是示意性表示摄像部100中的透光板2、透镜3、以及摄像元件1的配置关系的图。另外，在图2中，省略除透光板2、透镜3、以及摄像元件1以外的构成要素。透光板2具有透射波长区域互不相同的3个透射区域C1、C2、C3，使入射光透射。透镜3是公知的透镜，对透射过透光板2的光进行集光，在摄像元件1的摄像面1a进行成像。另外，在以下的说明中，在与摄像面1a平行的平面中，设从区域C1朝向C2的方向为x方向，设与x方向垂直的方向为y方向。

图2所示的各构成要素的配置关系只是一例，本发明不限于这样的配置关系。例如，透镜3只要能在摄像面1a形成像，也可以配置为比透光板2更远离摄像元件1。此外，透镜3是由多个透镜组构成的透镜单元，可以在它们之间配置透光板2。此外，透镜3和透光板2并不必需是独立的构成要素，两者可以作为一体化的1个光学元件来构成。进一步地，透光板2和摄像元件1的摄像面不必平行配置。例如，通过在两者之间配置反射镜和棱镜等反射光的光学元件，也能够构成为透光板2和摄像元件1的摄像面位于相互交叉的平面上。

图3是本实施方式的透光板2的正面图。本实施方式的透光板2的形状与透镜3相同，是圆形，但是也可以是其他形状。在区域C1中，配置使蓝绿色(Cy)的波长区域(绿色以及蓝色的波长区域)的光透射的滤色片(Cy滤光片)。在区域C2中配置使黄色(Ye)的波长区域(红色以及绿色的波长区域)的光透射的滤色片(Ye滤光片)。

另外，本实施方式的区域C1以及C2只要是构成为分别使Cy以及Ye的波长区域的光透射，而不使其他波长区域的光透射，就不限于滤色片，可以是由任何部件构成。例如，可以是由使一部分波长区域的光透射，而反射其他波长区域的光的分色镜(dichroic mirror)等光学元件构成。这里，区域C1以及区域C2在x方向上相离而配置。区域C1和区域C2之间的距离L按照根据透镜3的尺寸使获取到的图像具有适当的视差的方式来配置。距离L例如设定为数mm～数cm。此外，透光板2的其他区域C3是由使包含在白色光(W)中的整个波长区域的可见光透射的透明部件形成的透明区域。透明部件只要是以较高的透射率使光透射的部件就可以是任意的部件。在本实施方式中设计为，区域C1以及区域C2的面积相等，区域C3的面积比区域C1、C2的面积大。

在图2所示的摄像元件1的摄像面1a中，形成按照二维形状排列多个光感测单元而形成的光感测单元阵列以及与光感测单元阵列相对配置的滤色片阵列。光感测单元阵列以及滤色片阵列分割为多个单位块，各单位块包括4个光感测单元以及与它们相对的4个滤色片。各光感测单元典型的为光电二极管，通过光电转换来输出与各个受光量相应的电信号(以下，称为“光电转换信号”或“像素信号”)。此外，各滤色片使用公知的颜料等来制作，设计为选择性地使特定的波长区域的光透射。

图4是示意性表示光感测单元阵列以及滤色片阵列的一部分的图。在摄像面1a上按照矩阵状来排列大量光感测单元120以及与它们一对一相对的滤色片110。在本实施方式中，相邻的4个光感测单元120构成1个单位块。在各单位块中，在第一行第一列配置使红色(R)的波长区域的光透射的滤色片(R滤光片)。在第一行第二列以及第二行第一列配置使绿色(G)的波长区域的光透射的滤色片(G滤光片)。在第二行二列配置使蓝色(B)的波长区域的光透射的滤色片(B滤光片)。这样，本实施方式的滤色片110的排列是以2行2列为基础的公知的Bayer(拜耳)排列。另外，光感测单元120以及滤色片110的排列不必是Bayer排列，可以是公知的任意排列。

通过以上构成，在曝光中入射到摄像装置的光通过透光板2、透镜3、红外截止滤光片4、滤色片110后入射到光感测单元120。各光感测单元120接受透射过透光板2的区域C1、C2、C3中的每一个后的光中通过相对的滤色片的光，并输出与接受到的光的量(强度)相应的光电转换信号。由各光感测单元输出的光电转换信号通过信号产生/接收部5后送出至信号处理部200。信号处理部200中的图像生成部7基于从摄像部100送出的信号来生成右眼用图像、左眼用图像、以及彩色图像。

另外，本实施方式的摄像元件1通过上述滤色片阵列来进行颜色分离，在本发明中也可以利用不使用滤色片阵列的摄像元件。例如，能够利用在特表2002-513145号公报中公开的具有三重阱构造的摄像元件。这样，只要各单位块包括用于检测红色的波长区域的光的R检测单元、用于检测绿色的波长区域的光的G检测单元、以及用于检测蓝色的波长区域的光的B检测单元就可以利用任意的摄像元件。

此外，在本实施方式中，1个光感测单元检测红色、绿色、蓝色任意一种波长区域的光，但是也可以将1个光感测单元检测的波长区域进一步进行细分。例如，也可以将红色光的波长区域λr分割为3个波长区域λr1、λr2、λr3，设置分别与λr1、λr2、λr3相对应的3个光感测单元。在该情况下，能够将3个光感测单元的像素信号的合计作为与红色光对应的信号来进行处理。

以下，说明从各光感测单元输出的光电转换信号。首先，将相当于入射到透光板2的区域C1、C2、C3的光的强度的信号分别添加下标“i”而表示为Ci1、Ci2、Ci3。此外，设将透光板2中的透明区域C3、透镜3、以及红外截止滤光片4合并后的分光透射率为Tw，设Cy滤光片的分光透射率为Tcy，设Ye滤光片的分光透射率为Tye。同样地，将R、G、B各滤色片的分光透射率分别表示为Tr、Tg、Tb。这里，Tw、Tcy、Tye、Tr、Tg、Tb是依赖于入射的光的波长λ的函数。将表示透射R、G、B滤色片后由相对的光感测单元接受的光的强度的信号分别附加下标“s”而表示为Rs、Gs、Bs。此外，用记号∑表示可见光的波长区域的分光透射率的积分运算。例如，将针对波长λ的积分运算∫TwTcyTrdλ等表示为∑TwTcyTr等。这里，积分是针对可见光的整个波长区域进行的。这样，Rs与将Ci1∑TwTcyTr、Ci2∑TwTyeTr、以及Ci3∑TwTr相加后得到的结果成比例。Gs与将Ci1∑TwTcyTg、Ci2∑TwTyeTg、以及Ci3∑TwTg相加后得到的结果成比例。Bs与将Ci1∑TwTcyTb、Ci2∑TwTyeTb、以及Ci3∑TwTb相加后得到的结果成比例。设这些关系中的比例系数为1，则Rs、Gs、Bs能够由以下式子1～3来表示。

(式1)Rs＝Ci1∑TwTcyTr+Ci2∑TwTyeTr+Ci3∑TwTr

(式2)Gs＝Ci1∑TwTcyTg+Ci2∑TwTyeTg+Ci3∑TwTg

(式3)Bs＝Ci1∑TwTcyTb+Ci2∑TwTyeTb+Ci3∑TwTb

在式子1～3中，∑TwTcyTr、∑TwTyeTr、∑TwTr分别用Mx11、Mx12、Mx13来表示，∑TwTcyTg、∑TwTyeTg、∑TwTg分别用Mx21、Mx22、Mx23来表示，∑TwTcyTb、∑TwTyeTb、∑TwTb分别用Mx31、Mx32、Mx33来表示。这样，Rs、Gs、Bs和Ci1、Ci2、Ci3的关系能够使用矩阵用以下的式子4来表示。

[数1]

(式4)

$\left(\begin{array}{c}\mathrm{Rs}\\ \mathrm{Gs}\\ \mathrm{Bs}\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)$

这里，设式子4中由要素Mx11～Mx33构成的矩阵的逆矩阵的要素分别为iM11～iM33，则式子4能够变形为下面的式子5。即，能够使用光电转换信号Rs、Gs、Bs来表示对入射到区域C1、C2、C3中的光的强度进行表示的信号。

[数2]

(式5)

$\left(\begin{array}{c}\mathrm{Cil}\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)=\left(\begin{array}{ccc}\mathrm{iM}11& \mathrm{iM}12& \mathrm{iM}13\\ \mathrm{iM}21& \mathrm{iM}22& \mathrm{iM}23\\ \mathrm{iM}31& \mathrm{iM}32& \mathrm{iM}33\end{array}\right)\left(\begin{array}{c}\mathrm{Rs}\\ \mathrm{Gs}\\ \mathrm{Bs}\end{array}\right)$

图像生成部7(图1)执行基于式子5的信号运算，按每个单位块来生成信号Ci1、Ci2、Ci3。这样按每个单位块来生成的信号Ci1、Ci2、Ci3表示由入射到区域C1、C2、C3每一个中的光形成的3个图像。特别，由信号Ci1、Ci2表示的图像相当于从位于x方向上相离开的位置的区域C1、C2观察各个被摄体时的图像，因此能够作为左眼用图像以及右眼用图像来进行处理。即，由信号Ci1、Ci2表示的2个图像具有与区域C1、C2的距离相应的视差。因此，从这些图像能够得到表示被摄体的进深的信息。

通过以上处理得到的图像信号Ci1、Ci2、Ci3虽然使用光电转换信号Rs、Gs、Bs来表示，但是这些不是彩色图像，而是相当于浓淡图像(黑白图像)。为了不得到浓淡图像而得到彩色图像，不进行上述信号运算处理，而是根据得到的各光电转换信号来进行通常的Bayer排列的彩色处理即可。此时，通过配置在透光板2上的Cy滤光片、Ye滤光片会产生入射光的损失和色温偏差，但是由于这些滤色片的光透射率较高，所以能够比现有技术减少入射光的损失。此外，即使产生整体的颜色的偏差，也能够通过白平衡的调整来应对。这样，根据本实施方式的摄像装置，能够得到光利用率较高且良好的彩色图像。

另外，在得到彩色图像时，不根据各光电转换信号来进行通常的Bayer排列的彩色处理，仅利用式子4的Ci3的项就可以得到彩色信息。即，在基于式子5，求出Ci3后，通过将Mx13×Ci3作为R的光量，将Mx23×Ci3作为G的光量，将Mx33×Ci3作为B的光量，也能够得到彩色图像。

虽然能够通过以上处理得到具有视差的2个图像，但是在来自被摄体的反射光中包含大量绿色光的情况下，存在不能正确得到视差信息的课题。在本实施方式中，在透光板2的透射区域中使用Cy滤光片、Ye滤光片、以及透明部件。这些透射区域，在Cy滤光片、Ye滤光片、以及透明部件任一个中都使绿色光(虽然也依赖于所利用的滤色片，但是一般指490～575nm附近的波长成分)透射。由此，入射到摄像元件1的绿色光成为分别透射Cy、Ye、透明的各透射区域后的绿色光的重合。因此，检测绿色光的光感测单元不能选择性地接受作为生成具有视差的多个图像的前提条件而从多个方向入射的光中的任意一种。

图5表示通过上述处理而生成的3个图像的例子。图5的上面部分按照浓淡方式来表示拍摄到的图像。图5的中间部分以及下面部分表示基于各个图像信号Ci1以及Ci2而生成的具有视差的2个图像。在各图像的背景中，配置比色图表(颜色比较表)。图5上面部分的箭头表示比色图表中的一部分的划分区是哪种颜色。将图5中间部分和下面部分相比较可知，图5中间部分的背景比图5下面部分的背景更靠左边。但是，在由箭头表示的绿色区域(反射绿色的波长区域的光的区域)中，没有视差，因此在视觉方面图5中间部分和下面部分没有差异，明亮度也相同。

因此，在本实施方式中，在对视差的计算没有帮助的信号Gs比对视差的计算有帮助的信号Rs以及Bs更大的区域中，通过减少在视差计算中利用的Gs的量，来进行具有无不适感的视差的图像的生成。具体来说，通过使得到的信号Gs为k倍(k为0以上不足1的实数)，来减少表示入射到各透射区域中的光的量的信号中所包含的绿色成分的量。这样，上述式子4、5分别替换为以下的式子6、7。

[数3]

(式6)

$\left(\begin{array}{c}\mathrm{Rs}\\ \mathrm{kGs}\\ \mathrm{Bs}\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{kMx}21& \mathrm{kMx}22& \mathrm{kMx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)$

[数4]

(式7)

$\left(\begin{array}{c}\mathrm{Cil}\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)={\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{kMx}21& \mathrm{Mx}22& \mathrm{kMx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)}^{-1}\left(\begin{array}{c}\mathrm{Rs}\\ \mathrm{kGs}\\ \mathrm{Bs}\end{array}\right)$

这里，在式子7的矩阵的右上附加的“-1”意思是逆矩阵。其中，由于在k为0时为2行3列，所以为类逆矩阵。其他的字符与式子4、式子5相同。

另外，可以按每个图像来决定系数k，也可以按每个单位块来决定系数k。在按每个图像来决定k的情况下，例如，能够求出场景中包含的绿色成分的量，将绿色光的量相对于整体的光量的比例设定为该图像中的系数k的值。此外，在按每个单位块来决定的情况下，也可以利用Rs、Gs、Bs的值来决定。例如，能够基于以下的式子8来决定系数k。

(式8)k＝((Rs+Bs)÷2)÷Gs÷Max

根据式子8，如果Gs比Rs以及Bs相对较大，则能够使k的值变小来设定。这里，Max是摄像元件能获取到的信号的最大值，例如在用8bit来表示信号的情况下，Max的值为255。

式子8不过只是决定k的一例，只要是在绿色光的量与红色光以及蓝色光的量相比相对较小时使k变大，在相对较大时使k变小这样的转换式就不特别限定转换式。

分别在图6中间部分、下面部分表示基于由式子7计算出的信号Ci1、Ci2的图像。图6上面部分是与图5上面部分相同的图像。从图6可知，能够获取表示浓淡的不适感较小的视差的2个图像。

这里，图7表示通过图像生成部7按每个单位块来执行的上述信号处理的步骤。图像生成部7首先在步骤S1中获取信号Rs、Gs、Bs。接着，在步骤S2中，将信号Gs设为k倍，生成信号kGs。接着，在步骤S3中，使用信号kGs、Rs、Bs来进行基于式子7的运算，生成信号Ci1、Ci2、Ci3。这样，也生成对于G成分具有视差的多个图像信号。

在基于式子7生成的图像中，由于Gs的利用量较少所以灵敏度下降。因此，为了提高灵敏度，如以下式子9所示，例如在Rs以及Bs上相加将Gs设为(1-k)倍(k为0以上不足1的实数)后得到的信号。

[数5]

(式9)

$\left(\begin{array}{c}\mathrm{Rs}+(1-k)\mathrm{Gs}\\ \mathrm{kGs}\\ \mathrm{Bs}+(1-k)\mathrm{Gs}\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{kMx}21& \mathrm{kMx}22& \mathrm{kMx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)$

这里，虽然在Rs、Bs的每一个上加上(1-k)Gs，但是该值不必是(1-k)Gs，可以是将Gs设为k’倍(k’为大于0且1以下的实数)后得到的值。在Rs、Bs的每一个上相加k’倍的值的情况下，式子9替换为下面的式子10。

[数6]

(式10)

$\left(\begin{array}{c}\mathrm{Rs}+k^{\′}\mathrm{Gs}\\ \mathrm{kGs}\\ \mathrm{Bs}+k^{\′}\mathrm{Gs}\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{kMx}21& \mathrm{kMx}22& \mathrm{kMx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)$

图8中间部分、下面部分分别表示基于由式子10计算出的信号Ci1、Ci2的图像。图8上面部分是与图5以及图6的上面部分相同的图像。由图8可知，能够得到不适感较少、且灵敏度得到改善的2个图像。

由于Gs是通过透光板2的整个区域的光的信号，所以不存在Rs、Bs这样的入射光的视点依赖性。因此，Gs能够认为是相对于图像整体的明亮度的偏移(offset)。其中，具有以下特征，即，如果k’较大，则图像变明亮，但是视差量减少，如果k’变小，则图像变暗，但是视差量增加。

根据以上的信号运算处理，在反射绿色的波长区域的光的被摄体较多的场景中，通过使k’减小，能够易于获得视差。另一方面，在反射绿色的波长区域的光的被摄体较少的场景中，通过使k’变大，能够获取视差量和灵敏度较高的图像。根据本实施方式的摄像装置，这样能够灵活地按照包含在场景的整体或一部分中的绿色成分的比例来设定能获取到的视差量。

本实施方式中的图像信号生成部7能够生成上述这样具有视差的2个图像、光利用率较高的浓淡图像以及彩色图像，但是不必全部生成这些图像。图像信号生成部7构成为至少生成具有视差的2个图像数据即可。

此外，在上述说明中，例示了使用由Cy滤光片、Ye滤光片、透明区域的3个区域构成的透光板2的例子，但是也可以取代Ye滤光片而使用品红色(Mg)滤光片。在使用Cy滤光片和Mg滤光片的情况下，由于不能获取Bs的视差信息，所以通过在式子7中对Gs附加权重，并减小Bs的权重，这样进行变更，能够生成具有无不适感的视差的2个图像。具体来说，如下面的式子11这样来变更式子7即可。

[数7]

(式11)

$\left(\begin{array}{c}\mathrm{Cil}\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)={\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23\\ \mathrm{kMx}31& \mathrm{kMx}32& \mathrm{kMx}33\end{array}\right)}^{-1}\left(\begin{array}{c}\mathrm{Rs}\\ \mathrm{Gs}\\ \mathrm{kBs}\end{array}\right)$

此外，也可以使用Ye滤光片以及Mg滤光片。该情况下，由于不能获取Rs的视差信息，所以通过按照减小Rs的权重的方式来变更式子7，就能够获得具有无不适感的视差的图像。具体来说，可以如下面的式子12这样来变更式子7。

[数8]

(式12)

$\left(\begin{array}{c}\mathrm{Cil}\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)={\left(\begin{array}{ccc}\mathrm{kMx}11& \mathrm{kMx}12& \mathrm{kMx}13\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)}^{-1}\left(\begin{array}{c}\mathrm{kRs}\\ \mathrm{Gs}\\ \mathrm{Bs}\end{array}\right)$

如以上，根据本实施方式的摄像装置，将透光板2分割成透射波长区域不同的3个透射区域C1、C2、C3，通过使用具有3种像素(R、G、B)的摄像元件1来进行拍摄，能够得到具有视差的2个图像。进一步地，通过对与透射透光板2的整个区域的颜色成分(波长区域)的光相对应的像素的信号附加权重，不变更硬件的构成就能够生成具有无不适感的视差的2个图像。

另外，本实施方式的摄像装置通过信号运算根据由摄像得到的光电转换信号来生成图像，但是也可以使与摄像装置相独立的图像处理装置来执行基于信号运算的图像的生成处理。例如，将通过具有本实施方式的摄像部100的摄像装置获取到的信号读入其他装置中，使该其他的装置来执行对上述信号运算处理进行规定的程序，也能够得到与上述相同的效果。

在以上的实施方式中，透光板2具备3个透射区域C1、C2、C3，包含在光感测单元阵列的各单位块中的光感测单元的种类的数目也与透射区域的数目相同，为3种(R、G、B)。但是，本发明的透射区域的数目以及光感测单元的种类的数据不限定为上述例子。例如，包含在各单位块中的光感测单元的种类的数目可以超出透射区域的数目。即使在该情况下，也能够通过基于各光感测单元的光电转换信号和入射到透射区域中的光的量之间的关系式的信号运算来求出图像信息。另外，光感测单元的种类的数目意思是由包含在1个单位块中的多个光感测单元检测到的颜色成分(波长区域)的种类的数目。

此外，透光板2(光透射部)中的透射区域的数目可以为2个，也可以多于3个。本发明的光透射部2具有透射波长区域互不相同的n个(n为2以上的整数)透射区域，各透射区域构成为使第一波长区域的光透射即可。此外，光感测单元阵列中的各单位块可以包括n个光感测单元，该n个光感测单元包括输出与第一波长区域的光的量相应的光电转换信号的第一光感测单元。这里，n个光感测单元输出与互不相同的波长区域的光的量相应的光电转换信号。典型地，与各光感测单元相对地来配置滤色片，但是也可以使用如上述JP特表2002-513145号公报中公开的未配置滤色片的摄像元件。

例如，在n＝2的情况下，可以将透光板2进行2分割，1个分割由Cy滤光片构成，另一个分割由Ye滤光片构成。在该情况下，例如，如果由检测G的波长区域的光的光感测单元以及检测Cy的波长区域的光的光感测单元这2个来构成摄像元件1的各单位像素块，则能够采用上述的方法来生成表示良好的视差的2个图像。

图9是示意性表示在n大于3的情况下被一般化的光透射部2的一例的图。在图示的例子中，光透射部2具有长方形的形状，也可以具有其他的形状。在该例子中，光透射部2具有n个透射区域C1～Cn。这里，透射区域C1～Cn的透射波长区域互不相同。在该例子中，透射区域C1～Cn-1是圆形的相同尺寸的区域，其他区域是透射区域Cn，但是各区域的形状、尺寸、位置不限于这样的例子。从光利用率的观点来看，透射区域C1～Cn优选设计为透明的、或使互补色的波长区域的光透射。

图10是表示这样一般化的情况下的光感测单元阵列的各单位块中的光感测单元的排列的一例。如图所示，各单位要素具有光感测单元D1～Dn。光感测单元D1～Dn例如构成为通过滤色片来检测互不相同的波长区域的光。另外，光感测单元的排列不限于图示的排列，可以是任意的排列。

在这样一般化的情况下，入射到光透射部2的各透射区域中的光产生的图像信号Ci1、Ci2、......、Cin和从摄像元件1的各光感测单元输出的n个光电转换信号Ds1、Ds2、......、Dsn之间的关系能够由以下的式子13来表示。

[数9]

(式13)

在基于式子13来求取图像信息Ci1～Cin的情况下，优选按照使将Mx11～Mxnn作为要素的n×n矩阵的行列式不为接近0的值的方式来构成摄像系统的光学特性。如果设式子13中的n×n矩阵的逆矩阵的要素为iM11～iMnn，则式子13能够变形为以下的式子14。

[数10]

(式14)

通过执行基于式子14的信号运算处理，能够根据光电转换信号Ds1～Dsn来生成表示入射到透射区域C1～Cn的光的量的信号Ci1～Cin。由此，能够生成具有视差的n个图像数据。

其中，在这样一般化的情况下，由于第一波长区域的光透射整个透射区域，所以会产生不能得到与第一波长区域的光相关的视差信息的问题。由此，图像生成部7取代将从上述第一光感测单元输出的光电转换信号(这里设为Ds1)，而使用Ds1乘以系数k(k为0以上不足1的实数)后得到的信号kDs1，来计算与各透射区域相对应的信号Ci1～Cin。即，取代上述式子13、14，使用以下的式子15、16。

[数11]

(式15)

[数12]

(式16)

此外，在由基于上述的式子15得到的信号Ci1～Cin产生的图像中，由于第一波长区域的光的成分减少，所以亮度降低。因此，可以在信号Ds2～Dsn上加上将Ds1设为k’倍(k’为大于0且1以下的实数)后得到的信号。该情况下，可以取代式子15、16使用以下的式子17、18即可。

[数13]

(式17)

[数14]

(式18)

如果使用由式子17、18得到的信号Ci1～Cin来生成图像，则能够生成表示亮度改善后的视差的多个图像。

这里，系数k可以针对1个图像来设定为固定的值，也可以按每个单位块来决定。只要是在第一波长区域的光的量与其他的波长区域的光的量相比相对较小时，将k设定为较小的值，在第一波长区域的光的量与其他的波长区域的光的量相比相对较大时，将k设定为较大的值，就可以任意决定。k例如可以基于从包含在各单位块中的第一光感测单元输出的光电转换信号、和从包含在该单位块中的剩余的光感测单元输出的光电转换信号之和之间的比率来决定。此外，系数k’可以与系数k相独立地来决定，也可以基于k的值来决定。系数k’例如能够如上所述设定为k’＝1-k。

另外，本发明的摄像装置可以不生成上述信号Ci1～Cin全部，而生成这些信号中至少2个信号。由于至少得到2个图像数据，所以这样的构成也能够得到视差信息。

工业可利用性

本发明的三维摄像装置在使用了固体摄像元件的所有照相机中是有效的。例如，能够在数字静态照相机、数字视频照相机等民用照相机和工业用的固体监视照相机等中进行利用。

符号说明：

1固体摄像元件

1a固体摄像元件的摄像面

2透光板(光透射部)

3光学透镜

4红外截止滤光片

5信号产生/接收部

6元件驱动部

7图像生成部

8接口部

9被摄体

19透镜光圈

20、22、23光束限制板

20a透射红色系统的光的滤色片

20b透射蓝色系统的光的滤色片

21感光膜

22R、23R光束限制板的R光透射区域

22G、23G光束限制板的G光透射区域

22B、23B光束限制板的B光透射区域

30存储器

100摄像部

110滤色片

120光感测单元

200信号处理部

Claims (9)

1.一种三维摄像装置，包括：

光透射部，其具有透射波长区域互不相同的n个透射区域，各透射区域使第一波长区域的光透射，其中，n为2以上的整数；

固体摄像元件，该固体摄像元件具有光感测单元阵列，并且是为了接受透射过上述光透射部的光而配置的固体摄像元件，上述光感测单元阵列具有多个单位块，各单位块包括n个光感测单元，该n个光感测单元中包括输出与上述第一波长区域的光的量相应的光电转换信号的第一光感测单元，上述n个光感测单元中的每一个光感测单元输出与互不相同的波长区域的光的量相应的光电转换信号；

光学系统，其在上述固体摄像元件的摄像面上形成像；以及

信号处理部，其通过使用在从上述第一光感测单元输出的光电转换信号上乘以第一系数后得到的信号、和从剩余的光感测单元输出的光电转换信号，来生成表示入射到上述光透射部的各区域中的光的量的信号，从而生成至少2个具有视差的图像数据，其中，上述第一系数是0以上且不足1的实数。

2.根据权利要求1所述的三维摄像装置，其中，

n＝3，包含在上述光透射部中的上述n个透射区域中的1个透射区域为透明区域，剩余的2个透射区域是使蓝绿色的波长区域的光透射的区域、使品红色的波长区域的光透射的区域、以及使黄色的波长区域的光透射的区域之中的2个区域。

3.根据权利要求2所述的三维摄像装置，其中，

上述n个透射区域中的2个透射区域是使蓝绿色的波长区域的光透射的区域、以及使黄色的波长区域的光透射的区域，

上述第一波长区域是与绿色对应的波长区域。

4.根据权利要求1～3中任一项所述的三维摄像装置，其中，

上述第一系数的值按每个单位块来决定。

5.根据权利要求1～3中任一项所述的三维摄像装置，其中，

上述第一系数的值基于从包含在各单位块中的上述第一光感测单元输出的光电转换信号、和从剩余的光感测单元输出的光电转换信号之和之间的比率来决定。

6.根据权利要求1～3中任一项所述的三维摄像装置，其中，

上述信号处理部使用将在从上述第一光感测单元输出的光电转换信号上乘以第二系数后得到的信号加在从上述剩余的光感测单元输出的光电转换信号中的每一个光电转换信号上后得到的信号，来生成表示入射到上述光透射部的各区域中的光的量的信号，其中，上述第二系数是比0大且1以下的实数。

7.根据权利要求6所述的三维摄像装置，其中，

上述第二系数的值基于上述第一系数的值来决定。

8.根据权利要求7所述的三维摄像装置，其中，

在设上述第一系数的值为k，设上述第二系数的值为k’时，k’＝1-k。

9.一种图像处理装置，是对通过三维摄像装置获取到的信号进行处理的图像处理装置，其中，该三维摄像装置包括：

光透射部，其具有透射波长区域互不相同的n个透射区域，各透射区域使第一波长区域的光透射，其中，n为2以上的整数；

固体摄像元件，该固体摄像元件具有光感测单元阵列，并且是为了接受透射过上述光透射部的光而配置的固体摄像元件，上述光感测单元阵列具有多个单位块，各单位块包括n个光感测单元，该n个光感测单元中包括输出与上述第一波长区域的光的量相应的光电转换信号的第一光感测单元，上述n个光感测单元中的每一个光感测单元输出与互不相同的波长区域的光的量相应的光电转换信号；以及

光学系统，其在上述固体摄像元件的摄像面上形成像，

该图像处理装置通过使用在从上述第一光感测单元输出的光电转换信号上乘以第一系数后得到的信号、和从剩余的光感测单元输出的光电转换信号，来生成表示入射到上述光透射部的各区域中的光的量的信号，从而生成至少2个具有视差的图像数据，其中，上述第一系数是0以上且不足1的实数。