CN102598682B - 三维摄像装置 - Google Patents

Abstract

三维摄像装置具备摄像部(100)和信号处理部(200)。摄像部(100)具有如下：具有透射波长范围互不相同的第一、第二和第三透射区域的光透射部(2)；以接收透过光透射部的光的方式所配置的固体摄像元件(1)；使像在固体摄像元件的摄像面上形成的光学系统(3)。信号处理部(200)具有如下：基于从固体摄像元件(1)输出的信号，生成与分别入射第一、第二和第三透射区域的光的量所相应的3个图像信号的图像生成部(7)；根据3个图像信号推定视差的视差推定部(40)。

Description

三维摄像装置

技术领域

本发明涉及生成具有视差的多个图像的单眼的三维摄像技术。

背景技术

近年来，使用了CCD和CMOS等的固体摄像元件(以下有称为“摄像元件”的情况。)的数码相机和数字电影的高功能化、高性能化引人注目。特别是由于半导体制造技术的进步，使得固体摄像元件的像素结构的微细化得到推进。其结果是，固体摄像元件的像素和驱动电路的高集成化得以实现。因此，短短几年，摄像元件的像素数就从100万像素左右显著增加到1000万像素以上。此外，通过摄像所得到的图像的质量也飞跃性地提高。另一方面，关于显示装置，利用由薄型的液晶和等离子体构成的显示器，可以不占用空间而进行高分辨率、高对比度的显示，实现了高性能。这样的映像的高品质化的流动，正在从二维图像向三维图像扩展。如今，虽然还需要偏振光眼镜，但高画质的三维显示装置开始被开发。

关于三维摄像技术，作为具有简单的构成的代表性的技术，有使用由2个摄像机构成的摄像系统、而使右眼用的图像和左眼用的图像分别得以取得这样的技术。在这样的所谓双眼摄像方式中，因为使用2个摄像机，所以摄像装置变得大型、且成本也提高。因此，使用1个摄像机取得具有视差的多个图像的方式受到研究。例如，使用滤色镜同时取得具有视差的2个图像的技术被公开在专利文献1中。图16是模式化地表示使用了该技术的摄像系统的图。该技术的摄像系统具备如下：透镜3；透镜光阑19；配置有透射波长范围不同的2个滤色镜20a、20b的光束限制板20；感光胶片21。在此，滤色镜20a、20b是例如分别使红色系、蓝色系的光透过的滤光镜。

根据以上的构成，入射光透过透镜3、透镜光阑19和光束限制板20， 在感光胶片上成像。这时，在光束限制板20的2个滤色镜20a、20b中，分别只有红色系、蓝色系的光透过。其结果是，在感光胶片上形成由分别透过这两个滤色镜的光所生成的品红系统的颜色的像。在此，因为滤色镜20a、20b的位置不同，所以在感光胶片上所形成的像中产生视差。在此，若由感光胶片制作照片、且使用贴附有分别作为右眼用和左眼用的红色滤光镜和蓝色滤光镜的眼镜，则能够观看有纵深感的图像。如此，根据专利文献1所公的技术，能够使用2个滤色镜制作具有视差的图像。

专利文献1所公开的技术，是在感光胶片上成像、制作具有视差的多个图像的技术，另一方面，使具有视差的图像转换成电信号并得以取得的技术被公开在专利文献2中。图17是这一技术的光束限制板模式化地得以表示的图。在该技术中，使用的是光束限制板22，其在与摄像光学系统的光轴垂直的平面上，设有透过红色光的R区域22R、透过绿色光的G区域22G、透过蓝色光的B区域22B。透过这些区域的光由具有红色用的R像素、绿色用的G像素、蓝色用的B像素的彩色摄像元件接收，由此取得由透过各区域的光所形成的图像。

另外，在专利文献3中，也公开有一种使用与图17的构成相同的构成，取得具有视差的多个图像的技术。图18是模式化地表示专利文献3所公开的光束限制板的图。在该技术中，也是能够通过使入射光透过设于光束限制板23上的R区域23R、G区域23G、B区域23B，从而制作具有视差的图像。

根据上述的专利文献1～3所示的技术，通过在光束限制板上配置R、G、B各色滤光镜，能够生成具有视差的图像。但是，因为使用了光束限制板，所以入射光量减少。另外，为了提高视差的效果，需要R、G、B各色滤光镜配置在彼此远离的位置、且使它们的面积减小，但若是如此，则入射光量进一步减少。

针对以上的技术，使用配置有R、G、B各色滤光镜的光阑，能够得到具有视差的多个图像和光量上没有问题的通常图像的技术被公开在专利文献4中。在该技术中，在光阑关闭的状态下，只有透过R、G、B各色滤光镜的光被接收，在光阑打开的状态下，RGB的滤色镜区域从光路脱离，入射光能够被全部接收。由此，能够在光阑关闭的状态下取得具有视差的图像，在光阑打开的状态下取得光利用率高的通常图像。

先行技术文献

专利文献

专利文献1：特开平2-171737号公报

专利文献2：特开2002-344999号公报

专利文献3：特开2009-276294号公报

专利文献4：特开2003-134533号公报

非专利文献

非专利文献1：″Color Lines：Image Specific Color Representation″，Ido Omer and Michael Werman，In Proc.CVPR，vol.2，946-953.

发明内容

根据现有技术，虽然能够取得具有视差的多个图像，但因为在光束限制板上使用滤色镜，所以摄像元件的光接收量减少。为了充分地确保入射光量而有如下方法：采用使滤色镜通过机械的驱动而脱离光路的机构，取得光利用率高的通常图像的方法；和使设于光束限制板上的滤色镜的数量达到最小的2个，从而抑制光的减少的方法。前者存在招致装置的大型化和高成本化的问题。后者的情况是，因为透过2个滤色镜的光的波长范围不同，所以得到的2个图像的浓淡不同。因此存在的课题是，基于块匹配(Block Matching)等的利用灰度值的相似度的对应点检索来进行视差计算有困难。

本发明提供一种三维摄像技术，其不用进行机械的驱动、且光利用率高、并可以生成具有视差的多个图像。

本发明的三维摄像装置具备如下：光透射部，其具有透射波长范围互不相同的第一、第二和第三透射区域；固体摄像元件，其具有光敏元件阵列，以接收透过所述光透射部的光的方式配置；光学系统，其使像在所述固体摄像元件的摄像面上形成；信号处理部，其处理从所述固体摄像元件输出的信号。所述第一、第二和第三透射区域的至少1个，由使青、黄、品红的任意一种波长范围的光透过的构件或透明构件形成。所述光敏元件阵列具有多个单位区块，各单位区块包含：R检测单元，其输出与红色波 长范围的光的量对应的第一光电转换信号；G检测单元，其输出与绿色波长范围的光的量对应的第二光电转换信号；和B检测单元，其输出与蓝色波长范围的光的量应的第三光电转换信号。所述信号处理部具有如下：图像生成部，其基于使用了所述第一、第二和第三光电转换信号的包含加减运算的处理而将与分别入射所述第一、第二和第三透射区域的光的量对应的3个混色信号生成，由此生成具有视差的3个图像；和视差推定部，其推定所述3个图像间的视差。

在有的实施方式中，所述信号处理部还具有距离信息生成部，其根据由所述视差推定部推定的所述视差，生成表示被摄物体的距离的信息。

在有的实施方式中，所述视差推定部包括如下：像素块提取部，其针对所述3个图像的各像素，从多个候选之中设定视差量的推定值，基于所述推定值从所述3个图像中将图像上的位置彼此偏移的同一尺寸的3个像素块分别提取；偏离判定部，其判定由所述3个像素块的像素值的集合所规定的三维色空间上的点集合的分布从直线偏离了多少程度；视差量决定部，其将由所述偏离判定部判定的从直线偏离的程度最小的所述推定值决定为各像素的视差量。

在有的实施方式中，所述第一透射区域由使青、黄和品红之中的一种波长范围的光透过的构件形成，所述第二的透射区域由使青、黄和品红之中的另一种波长范围的光透过的构件形成，所述第三透射区域由透明构件形成。

在有的实施方式中，所述第一、第二和第三透射区域分别由使青、黄和品红的波长范围的光透过的构件形成。

在有的实施方式中，所述光透射部具有第四透射区域，所述第四透射区域由使红、绿和蓝的任一种波长范围的光透过的构件或透明构件形成。

本发明的信号处理方法，是对于从如下摄像装置输出的信号进行处理的方法，该摄像装置具备：光透射部，其具有透射波长范围互不相同的第一、第二和第三透射区域；固体摄像元件，其具有光敏元件阵列，以接收透过所述光透射部的光的方式配置；光学系统，其使像在所述固体摄像元件的摄像面上形成。在此，所述第一、第二和第三透射区域的至少1个，由使青、黄、品红的任一种波长范围的光透过的构件或透明构件形成。所 述光敏元件阵列具有多个单位区块，各单位区块包含如下：R检测单元，其输出与红色波长范围的光的量对应的第一光电转换信号；G检测单元，其输出与绿色波长范围的光的量对应的第二光电转换信号；和B检测单元，其输出与蓝色波长范围的光的量对应的第三光电转换信号。本发明的信号处理方法包括如下步骤：基于使用了所述第一、第二和第三光电转换信号的包含加减运算的处理，生成与分别入射所述第一、第二和第三透射区域的光的量对应的3个混色信号，由此生成具有视差的3个图像的步骤；推定所述3个图像之间的视差的步骤。

本发明的信号处理方法，也可以还包括如下步骤：根据所推定的所述视差，生成表示被摄物体的距离的信息的步骤。

在有的实施方式中，推定所述视差的步骤包括如下几步：针对所述3个图像的各像素，从多个候选之中设定视差量的推定值，基于所述推定值从所述3个图像中将图像上的位置彼此偏移的同一尺寸的3个像素块分别提取的步骤；判定由所述3个像素块的像素值的集合所规定的三维色空间上的点集合的分布从直线偏离了多少程度的步骤；将判定的从直线偏离的程度最小的所述推定值决定为各像素的视差量的步骤。

根据本发明，光利用率高，并且能够生成具有视差的多个图像。此外，在拍摄色彩鲜艳的被摄物体时也能够推定视差量，因此，可以使视差量的推定和光利用率高的图像的取得并立。

附图说明

图1是表示实施方式1的摄像装置的整体构成的方块图。

图2是表示实施方式1的透光板、光学系统和摄像元件的概略结构的模式图。

图3是表示实施方式1的透光板的透射区域的配置的图。

图4是表示实施方式1的摄像元件的像素构成的图。

图5是表示实施方式1的视差量d和距离z的关系的图。

图6是表示实施方式1的彩色图像、Ci1图像、Ci2图像的示例的图。

图7为(a)是表示R、G、B色空间中的直线的示例的图，(b)是表示Cy、Ye、Mg色空间中的直线的示例的图。

图8是表示实施方式1的信号处理程序的流程图。

图9是表示实施方式1的像素块的图。

图10是(a)是表示视差推定值比较接近真实视差量时的三维色空间的点集合的分布的示例的图，(b)是表示视差推定值偏离真实视差量时的三维色空间的点集合的分布的示例的图。

图11是表示实施方式1的视差推定部的构成的方块图。

图12是表示实施方式1的视差量推定程序的流程图。

图13是表示实施方式2的透光板的透射区域的配置的图。

图14是表示实施方式3的透光板的透射区域的配置的图。

图15是表示实施方式3的透光板其他的透射区域的配置的图。

图16是专利文献1的摄像系统的模式图。

图17是专利文献2的光束限制板的模式图。

图18是专利文献3的光束限制板的模式图。

具体实施方式

以下，一边参照附图一边说明本发明的实施方式。在以下的说明中，对于共通的要素附加相同的符号。还有，在本说明书中，有将表示图像的信号或信息仅称为“图像”的情况。

(实施方式1)

图1是表示本发明的第一实施方式的三维摄像装置(以下称为“摄像装置”。)的整体构成的方块图。本实施方式的摄像装置是数字式的电子照相机，其具有摄像部100和信号处理部200，该信号处理部200基于来自摄像部100的信号而生成表示图像的信号(图像信号)。本实施方式的摄像装置不仅具有拍摄静止画面的功能，而且也可以拍摄动态画面。

摄像部100具有如下：摄像元件(图像传感器)1，其配备有在摄像面上所排列的多个光敏元件；透光板(光透射部)2，其具有透射波长范围互不相同的3个透射区域，使入射光透过；光学透镜3，其用于使像形成在摄像元件1的摄像面上；红外截止滤光片4。摄像部100还具有如下：信号发生/接收部5，其使用于驱动摄像元件1的基本信号发生，并且将来自摄像元件1的输出信号接收并送达信号处理部200；元件驱动部6，其 基于由信号发生/接收部5所发生的基本信号来驱动摄像元件1。摄像元件1代表性的是CCD或CMOS传感器，由公知的半导体制造技术制造。信号发生/接收部5和元件驱动部30，由例如CCD驱动器等的LSI构成。

信号处理部200具有如下：图像生成部7，其处理从摄像部100输出的信号并生成图像信号；存储器30，其存储在图像信号的生成所使用的各种数据；接口(IF)部8，其将生成的图像信号送达到外部。另外，信号处理部200具有如下：视差推定部40，其推定由图像生成部7生成的多个图像之间的视差；距离信息生成部50，其基于推定的视差生成被摄物体的距离信息。就图像生成部7、视差推定部40、距离信息生成部50而言，能够通过使公知的数字信号处理处理器(DSP)等的硬件和实行图像处理的软件加以组合而被适当地实现，图像处理包括后述的图像信号生成处理、视差推定处理、距离信息生成处理。存储器30由DRMA等构成。存储器30记录从摄像部100得到的信号，并且临时性地记录由图像生成部7生成的图像数据和所压缩的图像数据。这些图像数据经由接口部8被送达到未图示的记录媒体和显示部等。

还有，本实施方式的摄像装置，虽然能够配置电子快门、取景器、电源(电池)、闪光灯等的公知的构成要素，但其说明对于本发明的理解不是特需要，因此省略。

接下来，一边参照图2～4，一边更详细地说明摄像部100的构成。

图2是模式化地表示摄像部100的透光板2、透镜3和摄像元件1的配置关系的图。还有，在图2中，透光板2、透镜3和摄像元件1以外的构成要素被省略。透光板2具有透射波长范围互不相同的3个透射区域C1、C2、C3，且使入射光透过。透镜3是公知的透镜，且使透过透光板2的光会聚，并在摄像元件1的摄像面1a上成像。还有，在以下的说明中，在与摄像面1a平行的平面，从区域C1朝向C2的方向作为x方向，与x方向垂直的方向作为y方向。

图2所示的各构成要素的配置关系不过是一个例子，本发明并不限于这样的配置关系。例如，就透镜3而言，只要能够在摄像面1a上形成像，也可以配置得比透光板2更远离摄像元件1。另外，透镜3是由多个透镜群构成的透镜单元，在它们之间配置透光板2也可。另外，不需要透镜3 和透光板2是独立的构成要素，其也可以作为一体化的1个光学元件构成。此外，透光板2和摄像元件1的摄像面未必需要平行配置。例如也可以构成为，在两者之间配置反射镜和棱镜等的对光进行反射的光学元件，使透光板2和摄像元件1的摄像面位于相互交叉的平面上。

图3是本实施方式的透光板2的正面图。本实施方式的透光板2的形状，与透镜3同样是圆形，但也可以是其他形状。在区域C1中，配置有使青色(Cy)的波长范围(G和B的波长范围)的光透过的滤色镜(Cy滤光镜)。在区域C2中，配置有使黄色(Ye)的波长范围(R和G的波长范围)的光透过的滤色镜(Ye滤光镜)。

还有，就本实施方式的区域C1和C2而言，其构成只要分别使Cy和Ye的波长范围的光透过、而不透过其他波长范围的光，便不限于滤色镜，也可以由任何一种构件构成。例如，也可以由使一部分的波长范围的光透过、而反射其他的波长范围的光的分色镜等的光学元件构成。在此，区域C1和区域C2在x方向上分离地配置。区域C1和区域C2之间的距离L，按照根据透镜3的尺寸、使取得的图像具有适切的视差的方式决定。距离L例如能够设定为数mm～数cm。另外，透光板2的其他的区域C3是透明区域，由使白色光(W)所包含的全部波长范围的可视光透过的透明构件形成。透明构件只要是使光以高透射率透过的构件，则任意哪种都可以。在本实施方式中，按照区域C1和区域C2的面积相等而区域C3的面积比区域C1、C2的面积大的方式设计。

在图2所示的摄像元件1的摄像面1a上，形成有以二维状排列着多个光敏元件的光敏元件阵列和与光敏元件阵列相对配置的滤色镜阵列。光敏元件阵列和滤色镜阵列具有多个单位区块，各单位区块包含4个光敏元件和与之相对的4个滤色镜。各光敏元件其代表性的是光电二极管，通过光电转换输出与各自的光接收量相应的电信号(以下称为“光电转换信号”或“像素信号”。)。另外，各滤色镜使用公知的颜料等制作，以选择性地透射特定的波长范围的光的方式设计。

图4是模式化地表示光敏元件阵列和滤色镜阵列的一部分的图。在摄像面1a上，大量的光敏元件120和与之一一相对的滤色镜110被以矩阵状排列。在本实施方式中，接近的4个光敏元件120构成1个单位区块。 在各单位区块中，在第一行第一列配置使红色(R)的波长范围的光透过的滤色镜(R滤光片)。在第一行第二列和第二行第一列配置使绿色(G)的波长范围的光透过的滤色镜(G滤光片)。在第二行第二列配置使蓝的波长范围的光透过的滤色镜(B滤光片)。如此，本实施方式的滤色镜110的排列为，以两行两列为基本的公知的Bayer排列。还有，光敏元件120和滤色镜110的排列，不需要一定是Bayer排列，也可以是公知的任何一种排列。

根据以上的构成，在曝光中入射摄像装置的光，通过透光板2、透镜3、红外截止滤光片4、滤色镜110而入射光敏元件120。各光敏元件120接收透过透光板2的各个区域C1、C2、C3的光之中的且穿过相对的滤色镜的光，并且输出与接收到的光的量(强度)相对应的光电转换信号。由各光敏元件输出的光电转换信号，通过信号发生/接收部5被送达到信号处理部200。信号处理部200的图像生成部7基于从摄像部100送出的信号而生成右眼用图像、左眼用图像和彩色图像。

还有，本实施方式的摄像元件1利用上述的滤色镜阵列进行色分离，但也可以在本发明采用不使用滤色镜阵列的摄像元件。例如，能够使用特表2002-513145号公报所公开的具有三重阱结构的摄像元件。如此，只要各单位区块包括检测红色的波长范围的光的R检测单元、检测绿色的波长范围的光的G检测单元、和检测蓝色的波长范围的光的B检测单元，则哪一种摄像元件都可以利用。

另外，在本实施方式中，1个光敏元件检测红、绿、蓝任一种波长范围的光，但也可以使1个光敏元件检测的波长范围进一步细分化。例如，也可以将红光的波长范围λr分割成3个波长范围λr1、λr2、λr3，设置分别与λr1、λr2、λr3相对应的3个光敏元件。这种情况下，能够将3个光敏元件的像素信号的合计作为红光所对应的信号进行处理。

以下，说明从各光敏元件输出的光电转换信号。首先，对于与入射到透光板2的区域C1、C2、C3的光的强度相应的信号，分别附加下标“i”，表示为Ci1、Ci2、Ci3。另外，将透光板2的透明区域C3、透镜3和红外截止滤光片4合计的光谱透射率设为Tw，Cy滤光片的光谱透射率设为Tcy，Ye滤光片的光谱透射率设为Tye。同样，R、G、B各色滤光镜的光 谱透射率分别表示为Tr、Tg、Tb。在此，Tw、Tcy、Tye、Tr、Tg、Tb是依存于入射的光的波长λ的函数。表示透过R、G、B的滤色镜并由相对的光敏元件进行接收的光的强度的信号，分别附加下标“s”，表示为Rs、Gs、Bs。另外，可视光的波长范围中的光谱透射率的积分运算由符号∑表示。例如，关于波长λ的积分运算∫TwTcyTrdλ等，表示为∑TwTcyTr等。在此，积分是在可视光的全部波长范围所进行的。若是如此，则Rs与使Ci1∑TwTcyTr、Ci2∑TwTyeTr和Ci3∑TwTr合计的结果成比例。Gs与使Ci1∑TwTcyTg、Ci2∑TwTyeTg和Ci3∑TwTg合计的结果成比例。Bs与使Ci1∑TwTcyTb、Ci2∑TwTyeTb、Ci3∑TwTb合计的结果成比例。如果这些关系的比例系数设为1，则Rs、Gs、Bs能够由以下的式1～3表示。

(式1)Rs＝Ci1∑TwTcyTr+Ci2∑TwTyeTr+Ci3∑TwTr

(式2)Gs＝Ci1∑TwTcyTg+Ci2∑TwTyeTg+Ci3∑TwTg

(式3)Bs＝Ci1∑TwTcyTb+Ci2∑TwTyeTb+Ci3∑TwTb

在式1～3中，分别由Mx11、Mx12、Mx13表示∑TwTcyTr、∑TwTyeTr、∑TwTr，分别由Mx21、Mx22、Mx23表示∑TwTcyTg、∑TwTyeTg、∑TwTg，分别由Mx31、Mx32、Mx33表示∑TwTcyTb、∑TwTyeTb、∑TwTb。若是如此，则Rs、Gs、Bs和Ci1、Ci2、Ci3的关系能够使用矩阵，由以下的式4表示。

【算式1】

(式4) $\left(\begin{array}{c}\mathrm{Rs}\\ \mathrm{Gs}\\ \mathrm{Bs}\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)$

在此，若由式4的要素Mx11～Mx33构成的矩阵的逆矩阵的要素分别为iM11～iM33，由式4能够变形为下式5。即，表示入射区域C1、C2、C3的光的强度的信号，能够使用光电转换信号Rs、Gs、Bs来表示。

【算式2】

(式5) $\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)=\left(\begin{array}{ccc}\mathrm{iM}11& \mathrm{iM}12& \mathrm{iM}13\\ \mathrm{iM}21& \mathrm{iM}22& \mathrm{iM}23\\ \mathrm{iM}31& \mathrm{iM}32& \mathrm{iM}33\end{array}\right)\left(\begin{array}{c}\mathrm{Rs}\\ \mathrm{Gs}\\ \mathrm{Bs}\end{array}\right)$

图像生成部7(图1)基于式5实行信号运算，按每个单位区块生成信号Ci1、Ci2、Ci3。如此按每个单位区块所生成的信号Ci1、Ci2、Ci3，表示由入射到各区域C1、C2、C3的光所形成的3个图像。特别是由信号Ci1、Ci2表示的图像，相当于从在x方向上分离地定位的区域C1、C2分别观看被摄物体时的图像，因此能够作为左眼用图像和右眼用图像处理。即，由信号Ci1、Ci2表示的2个图像，具有与区域C1、C2的距离相应的视差。因此，能够从这些图像得到表示被摄物体的深度的信息。

通过以上的处理得到的图像信号Ci1、Ci2、Ci3，使用光电转换信号Rs、Gs、Bs表示，但并不是彩色图像，而是相当于灰度图像(黑白图像)。为了得到彩色图像而非灰度图像，只要不进行上述的信号运算处理，而是利用所得到的各光电转换信号，进行通常的Bayer排列中的彩色处理即可。这时，由于透光板2所配置的Cy滤光片、Ye滤光片，可导致入射光的损失和色温度偏差发生，但是，因为这些滤色镜的光透过率高，所以能够使入射光的损失比现有技术的情况小。另外，即使发生整体上的色的偏差，仍能够通过白平衡的调整来进行应对。如此，根据本实施方式的摄像装置，能够得到光利用率高的良好的彩色图像。

还有，在得到彩色图像时，也可以不利用各光电转换信号进行通常的Bayer排列的彩色处理，而是只利用式4的Ci3一项来得到彩色信息。即，基于式5求得Ci3后，使Mx13×Ci3为R的光量，Mx23×Ci3为G的光量，Mx33×Ci3为B的光量，由此也能够得到彩色图像。

在此认为，使用所得到的图像信号Ci1和Ci2，生成视差信号，进行距离信息的计算。如果能够进行距离信息的计算，则可以进行彩色图像的视差信号的生成、任意视点的图像生成、以及前景与背景的剪切等各种各样的应用。

一般为了计算距离信息，需要求得图像信号Ci1的各像素和图像信号Ci2的各像素的对应。所谓求得像素的对应，就是对映照在图像信号Ci1的特定的像素上的被摄物体的三维中的点p会映照在图像信号Ci2的哪个像素上进行探索。在图像信号Ci1中由坐标(x1、y1)表示的像素上所映照的被摄物体，映照在图像信号Ci2中由坐标(x2、y2)所表示的像素上。 这时，如果求得对应的像素间的距离(是坐标(x1、y1)和坐标(x2、y2)的距离，欧氏距离(Euclidean distance)和市街区距离等)，则能够计算照相机到被摄物体的距离。该对应的像素间的距离在本实施方式中称为“视差量”。

以下，一边参照图5，一边说明从摄像机到被摄物体的距离计测的原理。图5是表示透光板2、被摄物体9和摄像元件1的配置关系的模式图。还有在图5中，作为假设，透镜3(未图示)的中心处于透光板2的中心的位置。在图5中，将透镜3的焦距设为f，从透光板2至被摄物体9的距离设为z，照相机拍摄被摄物体9时产生的视差量设为d，区域C1、C2的中心间的距离设为L。这时，根据一般的双眼立体视沉的原理，由以下的式6求得距离z。

(式6)z＝fL/d

因为焦距f和区域C1、C2间的距离L事先被求得，所以如果知道视差量d，则可求得距离z。由此，能够求得至被摄物体的距离信息。

作为用于求得图像信号Ci1的特征点和与该特征点对应的图像信号Ci2的特征点的视差量的现存的方法，有基于灰度值的相似度而求得对应点的坐标的方法。例如，有将图像分割成多个小块，计算块之间的SAD(绝对误差)和SSD(平方误差)的方法。因为类似的由块计算的误差小，所以通过决定误差最小的块的组合，能够求得信号Ci1和信号Ci2之间的对应点。由此，能够计算视差量d。

但是，图像信号Ci1和Ci2，一般对应点之间的灰度值不同，因此若由上述的方法求视差量d，则产生误差。图像信号Ci1、Ci2、Ci3分别是表示从被摄物体入射透射区域C1、C2、C3的光的强度的信号。因此，如果求得透过了透射区域C1、C2的光的强度，则能够求得入射各区域的青光(绿光和蓝光)和黄光(红光和绿光)的强度。表示透过了透射区域C1、C2的光的强度的信号，分别由Ci1∑TwTcy和Ci2∑TwTye表示。但是，因为透射区域C1和C2其透射波长范围不同，所以被摄物体色彩鲜艳时，在具有视差的信号Ci1∑TwTcy和Ci2∑TwTye中，对应点之间的灰度值也互不相同。

图6(a)、(b)、(c)分别是表示拍摄图像(彩色图像)、由Ci1∑TwTcy 表示的图像、由Ci2∑TwTye表示的图像的图。在这些图像的背景中放置比色图表(颜色比较表)。图6(a)的箭头表示比色图表的一部分的区划是什么颜色。例如，被摄物体为蓝色时，表示透过Cy滤光片C1的光的强度的信号Ci1∑TwTcy的灰度值，比表示透过Ye滤光片C2的光的强度的信号Ci2∑TwTye的灰度值大。因此，图6(b)中的蓝色区划的部分，比图6

(c)中的蓝色的区划的部分亮。反之，图6(b)中的黄色的区划的部分，比图6(c)中的黄色的区划的部分暗。如此、被摄物体色彩鲜艳时，Ci1∑TwTcy和Ci2∑TwTye灰度值不同。因此，不能利用基于灰度值的相似度的现存的匹配方法。

在专利文献3中公开有一种方法，其是在光阑上配置R、G、B的滤色镜，使用由透过各滤色镜的光生成的具有视差的3张图像来求得视差量。在该方法中利用的性质是，在R、G、B的各成分之间没有产生视差的通常的自然图像中，局部性地使R、G、B的值的分布在(R、G、B)的三维空间(三维色空间)中成为线型。即，R图像、G图像、B图像之间没有产生视差时，(R、G、B)的三维空间中的像素值的分布成为直线状；产生视差时，分布不会成为直线状。因此，将视差量假设为d，使d的值在某一范围内变动时，通过求得表示(R、G、B)的分布从直线偏离多少的量达到最小的d的值，能够推定视差。如此，在没有由色成分产生视差的自然图像中，局部性地在三维色空间上的分布成为直线状的模型称为“线型颜色模型(color lines model)”。关于线型颜色模型的详情，例如公开在非专利文献1中。

本实施方式的摄像装置，与上述的专利文献3的方法一样，利用线型颜色模型求得图像间的视差。但是在本实施方式中，与专利文献3有所不同的是，各像素信号Rs、Gs、Bs并不是直接对应特定的透射区域，而是从多个透射区域C1、C2、C3入射的光所生成的信号成分重叠。因此，需要生成与入射C1、C2、C3的光的强度对应的3个信号且表示互不相同的色成分的3个信号。

在本实施方式中，作为透光板2的透射区域的滤色镜，使用的是Cy和Ye的两种补色滤色镜。因此，首先，在各色成分的间不产生视差时，在补色系中，与利用R、G、B的现在的方法同样，也表示在互补色(Cy、 品红(Mg)、Ye)的三维空间上，各图像的像素值(Cy、Mg、Ye)的分布成为直线状。

为了使原色系中成为线型的分布的像素值的集合、在补色系中也成为线型的分布，只要原色和互补色成为线型的关系即可。在此，原色R、G、B和互补色Cy、Mg、Ye的关系由下式7表示。

(式7)(R、G、B)＝(bit-Cy、bit-Mg、bit-Ye)

常数bit是1个像素的信号的最大值，例如如果是8比特图像，则为255。由式7可知，互补色和原色可以进行线型转换，因此局部线型性的关系在互补色的三维空间中也成立。图7表示原色系中的直线在互补色系中也成为直线的例子。图7(a)表示R、G、B的三维色空间中的直线，图7(b)表示Cy、Mg、Ye的三维色空间中的对应的直线。如此，利用了线型颜色模型的视差的推定在互补色系中也有效。

根据以上的情况，由互补色系的具有视差的3张图像，能够推定视差量。以下，说明根据在由Cy区域、Ye区域和透明区域构成的透光板2的使用下所摄像取得的RGB的像素信号，生成具有视差的Cy、Mg、Ye的3个图像信号的程序。其次，说明推定这些图像之间的视差量，计算被摄物体的距离信息的程序。

图8是表示信号处理部200的处理的概略程序的流程图。若拍摄完毕，则图像生成部7根据由拍摄所得到的像素信号Rs、Gs、Bs而生成具有视差的3个互补色图像(视差互补色图像)(S100)。其次，视差推定部40通过利用三维色空间的色线型性来推定3个视差互补色图像间的视差量(S200)。最后，距离信息生成部50基于所推定的视差量、且根据式6来计算映照在各像素上的被摄物体的距离信息(S300)。

以下，说明各处理的详情。

首先，说明根据在具有Cy区域、Ye区域、透明区域的透光板2的使用下所摄像得到的像素信号Rs、Gs、Bs而生成具有视差的3个互补色图像信号Cs、Ys、Ms的程序。图像生成部7通过式1、式2、式3分别除以Tw，得到分别由以下的式8、式9、式10表示的信号Rt、Gt、Bt。

(式8)Rt＝Rs/Tw＝Ci1∑TcyTr+Ci2∑TyeTr+Ci3∑Tr 

(式9)Gt＝Gs/Tw＝Ci1∑TcyTg+Ci2∑TyeTg+Ci3∑Tg

(式10)Bt＝Bs/Tw＝Ci1∑TcyTb+Ci2∑TyeTb+Ci3∑Tb 

Cy因为具有G和B的波长范围，所以在本实施方式中，将由以下的式11表示的Gt+Bt-Rt定义为Cy成分的图像信号Cs。

(式11)Cs＝Gt+Bt-Rt

＝Ci1(∑TcyTg+∑TcyTb-∑TcyTr)

+Ci2(∑TyeTg+∑TyeTb-∑TyeTr)

+Ci3(∑Tg+∑Tb-∑Tr)

同样，由以下的式12、13表示的信号分别定义为Mg、Ye成分的图像信号Ms、Ys。

(式12)Ms＝Rt+Bt-Gt

＝Ci1(∑TcyTr+∑TcyTb-∑TcyTg)

+Ci2(∑TyeTr+∑TyeTb-∑TyeTg)

+Ci3(∑Tr+∑Tb-∑Tg)

(式13)Ys＝Rt+Gt-Bt

＝Ci1(∑TcyTr+∑TcyTg-∑TcyTb)

+Ci2(∑TyeTr+∑TyeTg-∑TyeTb)

+Ci3(∑Tr+∑Tg-∑Tb)

在此，因为在Cy滤光片的透射波长范围几乎不包含R的波长范围，在Ye滤光片的透射波长范围几乎不包含B的波长范围，所以成为 另外，假定Cy滤光片的透射波长范围以大体相等的方式包含G的波长范围和B的波长范围，Ye滤光片的透射波长范围以大体相等的方式包含G的波长范围和R的波长范围。若是如此，则 和 成立。此外，假定与摄像元件1的各像素相对的滤色镜的光谱透射率的累计值对于全部的色成分相等。即， 成立。根据以上的假定，式11、12、13分别可改写为以下的式14、15、16。

(式14)Cs＝Gt+Bt-Rt

＝Ci1(∑TcyTg+∑TcyTb)+Ci3∑Tg 

(式15)Ms＝Rt+Bt-Gt

＝Ci3∑Tr

(式16)Ys＝Rt+Gt-Bt

＝Ci2(∑TyeTr+∑TyeTg)+Ci3∑Tg 

就式14而言，从式11除去了Ci2一项。式14的第一项表示透过Cy区域的光的量，只依存于Ci1。第二项表示透过透明区域Ci3并透过G滤光片的光的量。在此，G的波长范围的光(G光)是透过Cy区域、Ye区域、透明区域的全部区域的光。因此，就第二项而言，表示在透过全部的透射区域的G光的量上、乘以区域C3的面积对于透光板2的面积之比率后的量，所以能够认为是关于亮度的偏离量。即使有偏离量时，也只是互补色系的三维空间的分布整体地移动，所以不会影响到线型性的计算。

同样，就式15而言，从式12除去了Ci1和Ci2的成分。就式16而言，从式13除去了Ci1的成分。如此，由RGB的像素信号，通过进行式14～16所示的运算，能够得到具有视差的3个互补色图像的灰度值。

其次，说明视差量的推定方法。

首先，将Cy图像和Ye图像对于Mg图像的视差量设为d像素。若是如下，则设Cy图像的值(像素值)为Icy(x-d，y)，Ye图像的值(像素值)为Iye(x+d，y)，Mg图像的值(像素值)为Img(x，y)，这些表示真实世界上的相同的点，利用局部区域的互补色的线型性将其求得即可。

为了在某一像素(x，y)中利用局部区域的线型性求得视差量d，以如下方式进行即可。判定局部性的像素值的分布是否为直线状分布，据此求得视差量d。由下式17定义像素(x，y)的邻近区域的像素值的集合。

(式17)P＝{Icy(s-d，t)，Img(s，t)，Iye(s+d，t)|(s，t)为(x，y)周围的邻域像素}

图9是表示Cy图像、Mg图像、Ye图像各自的对应点的邻近区域的像素块60a、60b、60c的图。在此，Mg图像中的对应点的坐标为(x、y)。因为视差量为d像素，所以Cy图像与Mg图像相比对应点在水平方向上偏离-d像素。同样，Ye图像与Mg图像相比对应点在水平方向上偏离+d像素。因此，Mg图像的点(x、y)的邻域的像素块60b，对应于在Cy图像中点(x-d、y)的邻域的像素块60a，对应于在Ye图像中点(x+d、y)的邻域的像素块60c。

对由式17得到的分布进行直线拟合，使来自所拟合的直线的平方平均为来自线型颜色模型的误差Er(x，y，d)。为了求得直线，根据互补色的三维空间的分布，计算分布的扩展方向的主轴即可。为此，首先求得P的协方差矩阵S。集合P的主轴是相对于协方差矩阵的最大固有值λmax的固有矢量。分布为直线状时，Cy、Ye、Mg的各图像的局部区域内的方差的和与λmax为相等的值。即，误差Er(x，y，d)由下式18表示。

(式18)Er(x，y，d)＝S00+S11+S22-λmax

在此，S00、S11、S22是由以下的式19、式20、式21表示的值，分别是Cy、Mg、Ye的方差。

(式19)S00＝∑(Icy(s-d，t)-avg(Icy))2/N

(式20)S11＝∑(Img(s，t)-avg(Img))2/N

(式21)S22＝∑(Iye(s+d，t)-avg(Iye))2/N

在此，N是集合P所包含的像素数，avg(Icy)、avg(Img)、avg(Iye)是各成分的平均值，由下式22、式23、式24表示。

(式22)avg(Icy)＝∑Icy(s-d，t)/N

(式23)avg(Img)＝∑Img(s，t)/N

(式24)avg(Iye)＝∑Iye(s+d，t)/N

如果由式18表示的误差Er(x，y，d)大，则意味着视差量为d这样的假定有误的可能性高。

图10(a)表示误差Er比较小时的三维色空间的点集合的分布的例子。另一方面，图10(b)表示误差Er比较大时的三维色空间的点集合的分布的例子。在该图的示例中，相比图10(b)所示的分布，图10(a)所示的分布一方更接近直线l，因此图10(a)的视差量的推定值d判定为更正确的视差量。

根据以上，使视差量的推定值d在一定的范围变化(例如，使d从-20至20按1变化)，使Er(x，y，d)达到最小的d作为坐标(x，y)的视差量即可。通过对于各像素进行以上的处理，可以进行3个视差互补色图像间的视差的计算。

以下，具体地说明视差推定部40的构成和处理的程序。

图11是表示视差推定部40的构成的方块图。视差推定部40包括如 下：像素块提取部42，其从图像生成部7生成的3个视差互补色图像中，按每个像素提取像素块；偏离判定部44，其从各像素块的像素值的集合，判定相对于直线的偏离程度；视差量决定部46，其基于判定结果，决定视差量。由视差量决定部46就每个像素所决定的视差量d，被输出到距离信息生成部50。

图12是表示由视差推定部40进行的处理的程序的流程图。若由图像生成部7生成3个视差互补色图像，则在各图像中按每个像素由以下的程序推定视差量。首先在步骤S202中，像素块提取部42从多个候选之中设定视差量的推定值d，视差量的推定值d表示Cy图像和Ye图像从Mg图像偏离了多少像素。其次，在步骤S203中，根据推定的视差量d，分别从3个图像提取像素块。接着，在步骤S204中，基于式17，由3个像素块的像素值的集合求得三维色空间上的点集合。接下来，在步骤S205中，偏离判定部44基于式18，判定三维色空间上的点集合的分布从直线偏离了多少。如果针对视差量的推定值d的全部候选而判定没有完毕，则在步骤S207中，将视差推定值d变更成其他的候选值，重复步骤S203～S205。如果针对视差量的推定值d的全部候选而判定完毕，则在步骤S208中，视差量决定部46将由式18所示的误差Er(x，y，d)达到最小的d决定为坐标(x，y)的真正的视差量。视差推定部40通过对于各像素实行以上的处理，求得3个视差互补色图像间的视差。

通过以上的处理，能够得到每个像素的视差量的分布(disparity map)，能够计算距离信息。距离信息生成部50，根据由视差推定部40得到的视差信息，基于式6按每个像素计算被摄物体的距离。 

如上，根据本实施方式的摄像装置，采用由使Cy的波长范围的光透过的Cy区域、使Ye的波长范围的光透过的Ye区域、和由透明构件形成的透明区域所构成的透光板2进行摄像。其结果是，能够生成具有视差的多个图像和彩色图像。此外，如果进行上述的信号处理，则能够生成具有视差的3个互补色图像。通过由生成的3个互补色图像求得视差信息，能够得到被摄物体的距离信息。

还有，本实施方式的摄像装置，根据3个视差互补色图像生成视差信息和距离信息，但摄像装置也可以构成为只生成视差信息。另外，基于信 号运算的图像的生成处理、视差信息生成处理和距离信息生成处理的至少一部分，也可以由独立于摄像装置的其他的装置运行。例如，使通过具有本实施方式的摄像部100的摄像装置取得的信号读入其他的装置，使规定上述的信号运算处理的程序在该其他的装置中运行，也能够得到与本实施方式相同的效果。

另外，本实施方式的图像生成部7，虽然能够生成具有视差的3个视差補色图像、光利用率高的黑白图像和彩色图像，但也不是必须全部生成这些图像。图像生成部7其构成为至少生成具有视差的3个图像即可。

在以上的说明中，透光板2的透射区域通过Cy区域、Ye区域、透明区域的组合而被构成，但在本发明中，并不限于这样的组合。使用Cy、Mg的组合或Mg、Ye的组合来替代Cy、Ye的组合，通过同样的处理，也能够从像素信号转换成具有视差的互补色系的图像信号。

(实施方式2)

接着，一边参照图13，一边说明本发明的第二的实施方式。本实施方式的摄像装置，只有透光板2和3个视差互补色图像的生成方法与实施方式1不同，除此以外均与实施方式1相同。因此，在以下的说明中，只说明与实施方式1不同的点，重复的点省略说明。

图13是表示本实施方式的透光板2的构成的正面图。本实施方式的透光板2，包括透射Cy光的Cy区域C1、透射Ye光的Ye区域C2、透射Mg光的Mg区域C3。区域C1、C2、C3分别由Cy滤光片、Ye滤光片、Mg滤光片形成。另外，透光板2的区域C1～C3以外的区域由遮光性构件形成。

还有，在本实施方式中，透射区域C1、C2、C3的形状、面积、位置关系并不限于图13所示的示例，可以任意地设定。

在本实施方式中，也与实施方式1同样地表现各滤光片的光谱透射率。若Mg滤光片的光谱透射率为Tmg，则式8、式9、式10所对应的信号，在本实施方式中由下式25、式26、式27分别表示。

(式25)Rt＝Rs/Tw＝Ci1∑TcyTr+Ci2∑TyeTr+Ci3∑TmgTr

(式26)Gt＝Gs/Tw＝Ci1∑TcyTg+Ci2∑TyeTg+Ci3∑TmgTg

(式27)Bt＝Bs/Tw＝Bt＝Ci1∑TcyTb+Ci2∑TyeTb+Ci3∑TmgTb

在本实施方式中，也将由以下的式28表示的Gt+Bt-Rt定义为Cy成分的图像信号Cs。

(式28)Cs＝Gt+Bt-Rt

＝Ci1(∑TcyTg+∑TcyTb-∑TcyTr)

+Ci2(∑TyeTg+∑TyeTb-∑TyeTr)

+Ci3(∑TmgTg+∑TmgTb-∑TmgTr)

同样，将由以下的式29、30表示信号分别定义为Mg、Ye成分的图像信号Ms、Ys。

(式29)Ms＝Rt+Bt-Gt

＝Ci1(∑TcyTr+∑TcyTb-∑TcyTg)

+Ci2(∑TyeTr+∑TyeTb-∑TyeTg)

+Ci3(∑TmgTr+∑TmgTb-∑TmgTg)

(式30)Ys＝Rt+Gt-Bt

＝Ci1(∑TcyTr+∑TcyTg-∑TcyTb)

+Ci2(∑TyeTr+∑TyeTg-∑TyeTb)

+Ci3(∑TmgTr+∑TmgTg-∑TmgTb)

在此，在Cy、Ye、Mg滤光片的透射波长范围内，几乎分别不包含R、B、G的波长范围，因此 另外，假定Cy滤光片的透射波长范围以大致相等的方式包含G和B的波长范围，Ye滤光片的透射波长范围以大致相等的方式包含G和R的波长范围，Mg滤光片的透射波长范围以大致相等的方式包含R和B的波长范围。若是如此，则  成立。此外，与摄像元件1的各像素相对的滤色镜的光谱透射率的累计值在全部的色成分中假定相等。即， 成立。根据以上的假定，式28、29、30分别可改写为以下的式31、32、33。

(式31)Cs＝Gt+Bt-Rt

＝Ci1(∑TcyTg+∑TcyTb)

(式32)Ms＝Rt+Bt-Gt

＝Ci3(∑TmgTr+∑TcyTb)

(式33)Ys＝Rt+Gt-Bt

＝Ci2(∑TyeTr+∑TyeTg)

根据以上，在本实施方式中，表示3个视差互补色图像的信号Cs、Ys、Ms，分别成为与入射区域Ci1、Ci2、Ci3的光对应的信号。因为各信号中没有来自其他的区域的光的成分混入，所以在本实施方式的构成中，视差量的推定精度比实施方式1的构成有所提高。

(实施方式3)

接下来，一边参照图14，一边说明本发明的第三实施方式。本实施方式的摄像装置，只有透光板2和3个视差互补色图像的生成方法与实施方式1不同，除此以外均与实施方式1相同。因此，在以下的说明中，只说明与实施方式1不同的点，重复的点省略说明。

图14是表示本实施方式的透光板2的构成的正面图。本实施方式的透光板2包括：透射Cy光的Cy区域C1、透射Ye光的Ye区域C2、透射Mg光的Mg区域C3、和透明区域C4。区域C1、C2、C3、C4分别由Cy滤光片、Ye滤光片、Mg滤光片、透明构件形成。

在本实施方式中，将透光板分割成4个区域，利用通过各区域C1、C2、C3、C4的光所对应的信号成分Ci1、Ci2、Ci3、Ci4。关于各区域的配置，例如，如图14所示，其构成为在透光板的上部配置C1，在左下配置C2，在右下配置C3，其以外的区域作为C4。通过区域C1、C2、C3能够得到三个方向的视差。

根据以上的构成，式8、9、10所对应的信号，在本实施方式中由以下的式34、35、36分别表示。

(式34)Rt＝Rs/Tw＝Rt＝Ci1∑TcyTr+Ci2∑TyeTr+Ci3∑TmgTr+Ci4

(式35)Gt＝Gs/Tw＝Gt＝Ci1∑TcyTg+Ci2∑TyeTg+Ci3∑TmgTg+Ci4

(式36)Bt＝Bs/Tw＝Bt＝Ci1∑TcyTb+Ci2∑TyeTb+Ci3∑TmgTb+Ci4

与实施方式1、2同样，能够将式34、35、36转换成以下的式37、式38、式39。

(式37)Cs＝Gt+Bt-Rt＝Ci1(∑TcyTg+∑TcyTb)+Ci4

(式38)Ms＝Rt+Bt-Gt＝Ci3(∑TmgTr+∑TcyTb)-Ci4

(式39)Ys＝Gt+Rt+Bt＝Ci2(∑TyeTg+∑TyeTr)+Ci4

通过以上的处理，能够获得在入射到区域C1、C2、C3的光所对应的信号Ci1、Ci2、Ci3上加上或减去了通过(穿过)透明区域的信号Ci4的信号。

根据本实施方式的透光板2，能够计算从三个方向入射的光所形成的信号，因此，能够考虑到图14所示的关于横向和纵向这两方面的色偏差，得到基于色线型性的视差信息。据此，直线等难以取得特征的形状和纹理区域的视差量推定的精度提高。另外，因为是具有透明区域的透光板，所以还有能够同时得到高灵敏度的二维的彩色图像这样的优点。

还有，本实施方式虽然是在区域C4中设置透明构件，但也可以在区域C4中配置红、绿、蓝任意一种滤色镜。作为一例，图15中示出在区域C4中配置有绿色滤光片的透光板2。使用这样的透光板2，通过同样的处理，也能够得到视差信息和深度信息。

在以上的实施方式1～3中，透光板(光透射部)2的透射区域的数量为3或4个，本发明的光透射部的透射区域的数量也可以是5个以上。如果这些透射区域的透射波长范围互不相同，则通过同样的处理，能够得到视差信息。另外，根据各透射区域的位置关系，能够对于视差所取得的方向进行各种改变。根据拍摄景物的纹理和物体形状及颜色，决定最佳的配置关系，推定视差，由此视差量推定的精度提高。

另外，在以上的实施方式1～3中，在透光板2的各透射区域中配置补色滤色镜或透明构件，但也可以在各透射区域的一部分配置原色滤色镜。在本发明中，使透射区域的至少1个具有青、黄、品红、透明的任意一种的透射波长范围，如此构成即可。通过原色滤色镜和补色滤色镜的组合，能够使滤光片的变化发生各种改变而进行摄像。

产业上的可利用性

本发明的三维摄像装置，对于使用固体摄像元件的全部的照相机有效。例如，可以利用于数字静态照相机和数码摄像机等的民生用照相机，和工业用的固体监控摄像机等。

符号说明

1固体摄像元件 

1a固体摄像元件的摄像面

2透光板(光透射部)

3光学透镜

4红外截止滤光片

5信号发生/接收部

6元件驱动部

7图像生成部

8接口部

9被摄物体

19透镜光阑

20、22、23光束限制板

20a使红色系的光透过的滤色镜

20b使蓝色系的光透过的滤色镜

21感光胶片

22R、23R光束限制板的R光透射区域

22G、23G光束限制板的G光透射区域

22B、23B光束限制板的B光透射区域

30存储器

40视差推定部

42像素块提取部

44偏离判定部

46视差量决定部

50距离信息生成部

60a、60b、60c像素块

100摄像部

110滤色镜

120光敏元件

200信号处理部 

Claims (9)

1.一种三维摄像装置，其中，具备：

光透射部，其具有透射波长范围互不相同的第一、第二和第三透射区域，且所述第一、第二和第三透射区域的至少1个，由使青、黄、品红的任一种波长范围的光透过的构件或透明构件形成；

固体摄像元件，其具有光敏元件阵列，以接收透过所述光透射部的光方式配置，所述光敏元件阵列具有多个单位区块，各单位区块包括：输出与红色波长范围的光的量相应的第一光电转换信号的R检测单元、输出与绿色波长范围的光的量相应的第二光电转换信号的G检测单元、和输出与蓝色波长范围的光的量相应的第三光电转换信号的B检测单元；

光学系统，其使透过所述光透射部的光所对应的像在所述固体摄像元件的摄像面上形成；

信号处理部，其处理从所述固体摄像元件输出的信号，所述信号处理部具有图像生成部和视差推定部，并且，所述图像生成部基于使用了所述第一、第二和第三光电转换信号的包括加减运算的处理而将具有视差的表示青、黄、品红的各色的图像的信号生成，所述视差推定部推定所述青、黄、品红的各色的图像之间的视差。

2.根据权利要求1所述的三维摄像装置，其中，

所述信号处理部还具有距离信息生成部，该距离信息生成部根据由所述视差推定部推定的所述视差，生成表示被摄物体的距离的信息。

3.根据权利要求1或2所述的三维摄像装置，其中，

所述视差推定部包括：

像素块提取部，其对于所述3个图像的各像素，从多个候选之中设定视差量的推定值，基于所述推定值，从所述3个图像中将图像上的位置彼此偏离的同一尺寸的3个像素块分别提取；

偏离判定部，其判定由所述3个像素块的像素值的集合所规定的三维色空间上的点集合的分布从直线偏离了多少程度；

视差量决定部，其将由所述偏离判定部判定的从直线偏离的程度最小的所述推定值决定为各像素的视差量。

4.根据权利要求1或2所述的三维摄像装置，其中，

所述第一透射区域由使青、黄和品红之中的一种波长范围的光透过的构件形成，所述第二的透射区域由使青、黄和品红之中的另一种波长范围的光透过的构件形成，所述第三透射区域由透明构件形成。

5.根据权利要求1或2所述的三维摄像装置，其中，

所述第一、第二和第三透射区域分别由使青、黄和品红的波长范围的光透过的构件形成。

6.根据权利要求5所述的三维摄像装置，其中，

所述光透射部具有第四透射区域，所述第四透射区域由使红、绿和蓝的任一种波长范围的光透过的构件或透明构件形成。

7.一种信号处理方法，是对于从如下摄像装置输出的信号进行处理的方法，其中，

该摄像装置具备：

光透射部，其具有透射波长范围互不相同的第一、第二和第三透射区域，所述第一、第二和第三透射区域的至少1个，由使青、黄、品红的任一种波长范围的光透过的构件或透明构件形成；

固体摄像元件，其具有光敏元件阵列，以接收透过所述光透射部的光方式配置，所述光敏元件阵列具有多个单位区块，各单位区块包括：输出与红色波长范围的光的量相应的第一光电转换信号的R检测单元、输出与绿色波长范围的光的量相应的第二光电转换信号的G检测单元、和输出与蓝色波长范围的光的量相应的第三光电转换信号的B检测单元；

光学系统，其使透过所述光透射部的光所对应的像在所述固体摄像元件的摄像面上形成，

并且，所述信号处理方法包括如下步骤：基于使用了所述第一、第二和第三光电转换信号的包含加减运算的处理，生成具有视差的表示青、黄、品红的各色的图像的信号的步骤；

推定所述青、黄、品红的各色的图像之间的视差的步骤。

8.根据权利要求7所述的信号处理方法，其中，

还包括根据所推定的所述视差来生成表示被摄物体的距离的信息的步骤。

9.根据权利要求7或8所述的信号处理方法，其中，

推定所述视差的步骤包括如下几步：

针对所述青、黄、品红的各色的图像的各像素，从多个候选之中设定视差量的推定值，基于所述推定值从所述青、黄、品红的各色的图像中将图像上的位置彼此偏移的同一尺寸的3个像素块分别提取的步骤；

判定由所述3个像素块的像素值的集合所规定的三维色空间上的点集合的分布从直线偏离了多少程度的步骤；

将所判定的从直线偏离的程度最小的所述推定值决定为各像素的视差量的步骤。