CN102918355B - 三维摄像装置、图像处理装置 - Google Patents

Abstract

本发明提供一种三维摄像装置、光透过部、图像处理装置及程序。在某个实施方式中，三维摄像装置具备：光透过部(1)，其具有分光透过率特性沿着第1方向变化的透过区域(1a)；摄像元件(2a)，其被配置成接收透过了光透过部(1)的光，并输出与接收到的光相应的光电变换信号；和图像处理部，其对基于从摄像元件(2a)输出的光电变换信号所生成的图像中包含的被摄体的第1方向上的轮廓进行提取，并基于所述轮廓的附近处的背景的明度或者色相的式样来推测与所述被摄体的进深相关的信息。

Description

三维摄像装置、图像处理装置

技术领域

本申请发明涉及利用1个光学系统和1个摄像元件来制作视差图像的单眼的三维摄像技术。

背景技术

近年来，利用了CCD、CMOS等固体摄像元件(以下，有时称为“摄像元件”。)的数码相机、数码摄像机的高功能化、高性能化令人瞠目。特别是随着半导体制造技术的进步，固体摄像元件中的像素构造的微细化进一步发展。其结果，正在谋求固体摄像元件的像素及驱动电路的高集成化。因此，在仅仅几年间摄像元件的像素数从100万像素程度显著地增加至1000万像素以上。再有，通过摄像所得到的图像的质量也飞跃性提高。另一方面，对于显示装置而言，通过基于薄型的液晶、等离子的显示器，无论场地如何，都能够进行高析像度且高对比度的显示，从而可实现较高的性能。这种影像的高品质化的潮流从二维图像逐渐扩展至三维图像。近来，尽管需要偏振眼镜，但已开始了高画质的三维显示装置的开发。

对于三维摄像技术而言，作为具有简单构成的代表性方式，存在使用由2个照相机构成的摄像系统分别获取右眼用的图像及左眼用的图像这一方式。在这种所谓的2眼摄像方式中，由于使用2个照相机，因此摄像装置成为大型，成本也可能变高。为此，正在研究使用1个照相机来获取具有视差的多个图像(以下，有时称为“多视点图像”。)的方式(单眼摄像方式)。

例如，在专利文献1中公开了使用透过轴的方向彼此正交的2个偏振板和旋转的偏振滤光器的方式。图14是表示基于该方式的摄像系统的构成的示意图。摄像装置具备：偏振0度的偏振板11、偏振90度的偏振板12、反射镜13、半透反射镜(half mirror)14、圆形的偏振滤光器15、使圆形的偏振滤光器15旋转的驱动装置16、光学透镜3、获取由光学透镜所成的像的摄像装置9。在此，半透反射镜14对透过偏振板11之后被反射镜13反射的光进行反射，使透过了偏振板12的光透过。通过以上的构成，分别透过了配置在彼此分离的位置处的偏振板11、12之后的光，经由半透反射镜14、圆形的偏振滤光器15及光学透镜3而入射至摄像装置9，以获取图像。该方式中的摄像原理是：通过使圆形的偏振滤光器15旋转，由此在不同的时刻分别捕获在2个偏振板11、12各自中所入射的光，以获取具有视差的2个图像。

但是，在上述方式中，由于一边使圆形的偏振滤光器15旋转一边通过时间分割来拍摄不同位置的图像，因此存在无法同时获取具有视差的2个图像的这一课题。此外，因为采用机械式驱动，所以在耐久性方面也可能存在问题。而且，由于以偏振板11、12及偏振滤光器15来接收所有入射光，因此还存在摄像装置9接收的光的量(受光量)低于50％以上的这一课题。

针对上述方式，在专利文献2中公开了在不采用机械式驱动的情况下同时获取具有视差的2个图像的方式。基于该方式的摄像装置由反射镜对从2个入射区域入射的光进行聚光，由2种偏振滤光器被交替排列而成的摄像元件进行受光，由此在不采用机械式驱动部的情况下获取具有视差的2个图像。

图15是表示该方式中的摄像系统的构成的示意图。该摄像系统具有：透过轴的方向彼此正交的2个偏振板11、12、反射镜13、光学透镜3和摄像元件2。摄像元件2在其摄像面上具备多个像素10、与像素一一对应地配置的偏振滤光器17、18。偏振滤光器17、18在全部像素上交替地排列。在此，偏振滤光器17、18的透过轴的朝向分别与偏振板11、12的透过轴的朝向一致。

根据以上的构成，入射光透过偏振板11、12，被反射镜13反射，通过光学透镜3而入射至摄像元件1的摄像面。分别透过偏振板11、12而入射至摄像元件1的光，分别透过偏振滤光器17、18之后由与它们相对置的像素进行光电变换。在此，将由分别通过偏振板11、12而入射至摄像元件1光所形成的图像分别称为右眼用图像、左眼用图像时，右眼用图像、左眼用图像分别从与偏振滤光器17、18相对置的像素群获得。

这样，在专利文献2所公开的方式中，取代使用专利文献1所公开的旋转的圆形的偏振滤光器，而在摄像元件的像素上交替配置透过轴的方向彼此正交的2种偏振滤光器。由此，尽管与专利文献1的方式相比，析像度下降至1/2，但却能够使用1个摄像元件同时获得具有视差的右眼用图像和左眼用图像。然而，在该技术中，也与专利文献1的技术同样，由于入射光透过偏振板及偏振滤光器时光量减少，因此摄像元件的受光量大幅减少。

针对摄像元件的受光量下降的这一问题，在专利文献3中公开了能够以1个摄像元件获取具有视差的多个图像和通常图像的技术。根据该技术，通过在获取具有视差的2个图像时和获取通常图像时以机械方式切换构成要素的一部分，从而由一个摄像元件获取具有视差的2个图像和通常图像。在获取具有视差的2个图像时在光程上配置2个偏振滤光器的这一点与专利文献2所公开的技术相同。另一方面，在获取通常图像时，偏振滤光器以机械方式从光程移除。通过采用这种机构，能够获得具有视差的多个图像和光利用率高的通常图像。

在上述的专利文献1～3所公开的方式中，使用了偏振板、偏振滤光器，但作为其他的研究，还存在使用滤色器的方式。例如，在专利文献4中公开了使用滤色器同时获取具有视差的2个图像的方式。图16是示意地表示专利文献4所公开的摄像系统的图。摄像系统具备：透镜3、透镜光圈19、配置了透过波段不同的2个滤色器20a、20b的光束限制板20、感光胶片21。在此，滤色器20a、20b例如是分别使红色系统、蓝色系统的光透过的滤光器。

根据以上的构成，入射光透过透镜3、透镜光圈19及光束限制板20，并在感光胶片上成像。此时，在光束限制板20中的2个滤色器20a、20b之中，分别仅透过红色系统、蓝色系统的光。其结果，在感光胶片上形成由分别透过了这2个滤色器的光所形成的品红色系统的颜色的像。在此，由于滤色器20a、20b的位置不同，因此在感光胶片上所形成的像中产生视差。在此，在根据感光胶片制作照片，并使用红色胶片及蓝色胶片分别作为右眼用及左眼用而贴附的眼镜时，能够看到具有立体感的图像。这样，根据专利文献4所公开的技术，使用2个滤色器能够制作多视点图像。

专利文献4中公开的技术是在感光胶片上成像来制作具有视差的多个图像的技术，但另一方面，在专利文献5中公开了将具有视差的图像变换为电信号来获取的技术。图17是示意地表示该技术中的光束限制板的图。在该技术中，使用了在与摄像光学系统的光轴垂直的平面上设置有透过红色光的R区域22R、透过绿色光的G区域22G、透过蓝色光的B区域22B的光束限制板22。通过由具有红色用的R像素、绿色用的G像素、蓝色用的B像素的彩色摄像元件来接收透过这些区域之后的光，由此获取由透过各区域之后的光所形成的图像。

此外，在专利文献6中还公开了利用与专利文献5同样的构成来获取具有视差的多个图像的技术。图18是示意地表示专利文献6所公开的光束限制板的图。在该技术中，通过使入射光透过在光束限制板23所设置的R区域23R、G区域23G、B区域23B，由此也能够制作具有视差的图像。

专利文献7也同样地公开了使用相对于光轴而对称地配置的、彼此颜色不同的一对滤光器来生成具有视差的多个图像的技术。通过作为一对滤光器而利用红色滤光器及蓝色滤光器，从而检测红色光的R像素对透过了红色滤光器的光进行观测，检测蓝色光的B像素对透过了蓝色滤光器的光进行观测。由于红色滤光器和蓝色滤光器的位置不同，因此R像素所接收的光的入射方向与B像素所接收的光的入射方向彼此不同。其结果，由R像素所观测的图像和由B像素所观测的图像彼此成为视点不同的图像。按每个像素从这些图像中求出对应点，来算出视差量。根据算出的视差量与照相机的焦点距离信息来求出从照相机到被摄体的距离。

专利文献8公开了根据利用安装了口径尺寸彼此不同的2个滤色器(例如红色和蓝色)的光圈、或者颜色不同的2个滤色器相对于光轴被安装在左右对称的位置处的光圈所获取到的2个图像来求出被摄体的距离信息的技术。在该技术中，在对分别透过了口径尺寸彼此不同的红色及蓝色滤色器的光进行观测的情况下，按每个颜色被观测的模糊的程度不同。因此，与红色及蓝色滤色器分别对应的2个图像成为因被摄体的距离的不同而模糊的程度不同的图像。根据这些图像求出对应点，通过比较模糊的程度，可获得从照相机到被摄体的距离信息。另一方面，在对分别透过了相对于光轴被安装在左右对称的位置处的颜色不同的2个滤色器的光进行观测的情况下，按每个颜色被观测的入射光的方向不同。因此，与红色及蓝色滤色器分别对应的2个图像成为具有视差的图像。根据这些图像求出对应点，通过求出对应点间的距离，可获得从照相机到被摄体的距离信息。

根据上述的专利文献4～8所示的技术，能够通过在光束限制板配置RGB的滤色器来生成具有视差的图像。但是，由于使用光束限制板，因此入射光量减少。此外，为了提高视差的效果，需要将RGB的滤色器配置在彼此分离的位置并减小它们的面积，但这样一来入射光量却进一步减少。

针对以上技术，在专利文献9中公开了使用配置有RGB滤色器的光圈来获得具有视差的多个图像和光量方面没有问题的通常图像的技术。在该技术中，在使光圈关闭的状态下仅透过了RGB的滤色器的光被接收，在使光圈打开的状态下RGB的滤色器区域从光程上偏离，因此能够接收所有的入射光。由此，能够在使光圈关闭的状态下获取具有视差的图像，在使光圈打开的状态下获得光利用率高的通常图像。

现有技术文献

专利文献

专利文献1：JP特开昭62-291292号公报

专利文献2：JP特开昭62-217790号公报

专利文献3：JP特开2001-016611号公报

专利文献4：JP特开平2-171737号公报

专利文献5：JP特开2002-344999号公报

专利文献6：JP特开2009-276294号公报

专利文献7：JP特开2010-38788号公报

专利文献8：JP特开2010-79298号公报

专利文献9：JP特开2003-134533号公报

非专利文献

非专利文献1：森上雄太、高木健、石井抱：視点変換アイリスによゐ実時間単眼ステレオシステム、第27回日本口ボツト学会学術講演会講演論文集、3R2-06、2009.

发明内容

发明要解决的技术问题

根据现有技术，尽管能够生成多视点图像，但是由于使用偏振板或者滤色器，因此摄像元件中入射的光的量减少。为了确保入射光量，需要使偏振部分或者滤色器区域从光程上偏离的机构，现有技术中不使用这种机构将无法同时获得多视点图像和光利用率高的图像。

此外，在现有技术中，在根据所获得的多视点图像来推测进深信息的情况下，通常在各个图像中提取特征部分，通过进行特征部分之间的比对来推测进深信息。或者，如专利文献6中所说明的那样，基于RGB颜色空间中的线性颜色模型来算出像素偏离，由此推测进深信息。

本发明的实施方式提供一种在不使用现有的推测进深信息的方法的情况下能够同时获取光利用率高的图像和进深信息的摄像技术。

用于解决技术问题所采用的技术方案

为了解决上述技术问题，本发明的一个方式涉及的三维摄像装置具备：光透过部，其具有分光透过率特性沿着第1方向变化的透过区域；摄像元件，其被配置成接收透过了所述光透过部的光，并输出与接收到的光相应的光电变换信号；成像部，其在所述摄像元件的摄像面形成像；和图像处理部，其对基于从所述摄像元件输出的所述光电变换信号所生成的图像中包含的被摄体的所述第1方向上的轮廓进行提取，并基于所提取出的所述轮廓的附近处的背景的明度或者色相的式样来推测与所述被摄体的进深相关的信息。

上述一般的且特定的方式可利用系统、方法及计算机程序来组装，或者利用系统、方法及计算机程序的组合来实现。

发明效果

根据本发明的实施方式涉及的三维摄像装置，由于能够将与被摄体的进深相关的信息变换为图像上的明亮度或者颜色的信息，因此可以算出进深信息。此外，根据某个实施方式，通过增大光透过部的透过区域以外的区域的透过率，从而能够同时获取进深信息和高灵敏度图像。

附图说明

图1是表示例示性实施方式1中的摄像装置的整体构成的框图。

图2是表示例示性实施方式1中的透光板、光学透镜及摄像元件的概略构成的示意图。

图3是例示性实施方式1中的透光板的主视图。

图4是例示性实施方式1中的固体摄像元件的摄像部的基本色构成图。

图5是示意地表示例示性实施方式1中的摄影状况的图。

图6是表示例示性实施方式1中的图像处理流程的流程图。

图7是表示例示性实施方式1中的右摄像区域的像素信号的图。

图8是表示例示性实施方式1中的右摄像区域的像素信号的图(前景被摄体与背景的距离为1/2时)。

图9是表示例示性实施方式2中的摄像装置的整体构成的框图。

图10是表示例示性实施方式2中的透光板的旋转动作的图。

图11是例示性实施方式2中的透光板的主视图。

图12是例示性实施方式2中的带状滤色器的透过特性图。

图13(a)是表示例示性实施方式3中的信号∑Tr相对于水平距离X的变化的图，图13(b)是表示例示性实施方式3中的信号∑Tr-(1/2)X相对于水平距离X的变化的图。

图14是专利文献1中的摄像系统的构成图。

图15是专利文献2中的摄像系统的构成图。

图16是专利文献4中的摄像系统的构成图。

图17是专利文献5中的光束限制板的外观图。

图18是专利文献6中的光束限制板的外观图。

具体实施方式

本发明的例示性实施方式的概要如下所示。

(1)本发明的一个方式涉及的三维摄像装置具备：光透过部，其具有分光透过率特性沿着第1方向变化的透过区域；摄像元件，其被配置成接收透过了所述光透过部的光，并输出与接收到的光相应的光电变换信号；成像部，其在所述摄像元件的摄像面形成像；和图像处理部，其对基于从所述摄像元件输出的所述光电变换信号所生成的图像中包含的被摄体的所述第1方向上的轮廓进行提取，并基于所提取出的所述轮廓的附近处的背景的明度或者色相的式样来推测与所述被摄体的进深相关的信息。

(2)在某个方式中，所述透过区域的透过波段沿着所述第1方向变化为3种以上。

(3)在项目(1)或者(2)所记载的三维摄像装置的某个方式中，所述透过区域被设计成：在无彩色光透过了所述透过区域时，透过光的总和成为无彩色光。

(4)在项目(1)至(3)任一项所记载的三维摄像装置的某个方式中，所述三维摄像装置具有旋转驱动部，该旋转驱动部使所述透过区域在与光轴垂直的平面上旋转，所述图像处理部通过对在不同的旋转状态下获取到的多个图像进行比较，来提取所述被摄体的轮廓。

(5)在项目(1)至(4)任一项所记载的三维摄像装置的某个方式中，所述图像处理部基于在所述透过区域处于第1状态时所获取到的第1图像、与在所述透过区域处于从所述第1状态旋转了180度的第2状态时所获取到的第2图像之间的差分，来提取所述被摄体的轮廓。

(6)在项目(1)至(5)任一项所记载的三维摄像装置的某个方式中，所述透过区域的分光透过率特性沿着所述第1方向连续且周期性地变化。

(7)在项目(1)至(6)任一项所记载的三维摄像装置的某个方式中，所述透过区域具有沿着所述第1方向排列的、使蓝色、蓝绿色、绿色、黄色、红色、品红色波段的光分别透过的6种区域。

(8)在项目(1)至(7)任一项所记载的三维摄像装置的某个方式中，所述图像处理部基于预先设定的、对所述被摄体的进深与所述轮廓的周边像素处的明度或者色相的式样之间的关系进行表示的信息，来推测所述被摄体的进深。

(9)在项目(1)至(8)任一项所记载的三维摄像装置的某个方式中，所述光透过部中的所述透过区域以外的部分是透明的。

(10)在项目(1)至(9)任一项所记载的三维摄像装置的某个方式中，所述图像处理部基于对所推测出的所述进深进行表示的信息，来生成将所述进深的量作为像素值的进深图像。

(11)在项目(1)至(10)任一项所记载的三维摄像装置的某个方式中，所述图像处理部基于从所述摄像元件输出的所述光电变换信号，来生成彩色图像。

(12)本发明的一个方式涉及的光透过部可利用于项目(1)至(11)任一项所记载的三维摄像装置。

(13)本发明的一个方式涉及的图像处理装置可利用于项目(1)至(11)任一项所记载的三维摄像装置。图像处理装置具备：图像处理部，其对基于从所述摄像元件输出的所述光电变换信号所生成的图像中包含的被摄体的所述第1方向上的轮廓进行提取，并基于所提取出的所述轮廓的附近处的背景的明度或者色相的式样来推测与所述被摄体的进深相关的信息。

(14)本发明的一个方式涉及的图像处理程序可利用于项目(1)至(11)任一项所记载的三维摄像装置。该程序使计算机执行如下步骤：对基于从所述摄像元件输出的所述光电变换信号所生成的图像中包含的被摄体的所述第1方向上的轮廓进行提取，并基于所提取出的所述轮廓的附近处的背景的明度或者色相的式样来推测与所述被摄体的进深相关的信息。

以下，参照附图对本发明的实施方式进行更加具体的说明。在以下的说明中，在所有的附图中对于共同或者对应的要素赋予同一符号。再者，在本说明书中，有时将表示图像的信号或者信息简称为“图像”。

(实施方式1)

首先，说明本发明的第1实施方式的三维摄像装置(以下简称为“摄像装置”。)。图1是表示本实施方式中的摄像装置的整体构成的框图。本实施方式的摄像装置是数字式的电子照相机，具备摄像部100、和基于由摄像部100所生成的信号来生成表示图像的信号(图像信号)的信号处理部200。

摄像部100具备：彩色固体摄像元件2a(以下简称为“摄像元件”。)，其具备在摄像面上排列的多个感光单元(像素)；透光板(光透过部)1，其配置了分光透过率特性沿着特定的方向变化的带状滤色器且使入射光透过；光学透镜3，其用于在彩色固体摄像元件2a的摄像面上形成像；和红外截止滤光器4。摄像部100还具备：信号产生/接收部5，其产生用于对彩色固体摄像元件2a进行驱动的基本信号、并且接收来自彩色固体摄像元件2a的输出信号后送出至信号处理部200；和元件驱动部6，其基于由信号产生/接收部5所生成的基本信号来驱动彩色固体摄像元件2a。彩色固体摄像元件2a典型的元件为CCD或者CMOS传感器，通过公知的半导体制造技术来制造。信号产生/接收部5及元件驱动部6例如由CCD驱动器等的LSI构成。再者，在本说明书中，假定“分光透过率特性”是指可见光波段中的透过率依赖于波长的依赖性。

信号处理部200具备：图像处理部7，其对从摄像部100输出的信号进行处理来生成彩色图像及被摄体的进深信息；存储器30，其保存用于生成图像信号的各种数据；和接口(IF)部8，其将所生成的图像信号及进深信息送出至外部。图像处理部7可由公知的数字信号处理器(DSP)等的硬件和对包含图像信号生成处理在内的图像处理进行执行的软件的组合来适当实现。图像处理部7生成彩色图像，并且对图像中包含的轮廓(边沿)进行提取，根据轮廓附近的颜色信息来算出进深信息。图像处理部7还将进深信息变换为亮度信号，生成表示进深的分布的黑白图像。存储器30由DRAM等构成。存储器30记录从摄像部100获得的信号，并且暂时记录由图像处理部7所生成的图像数据、被压缩的图像数据。这些图像数据经由接口部8而被送出至未图示的记录介质、显示部等。

再者，本实施方式的摄像装置可具备电子快门、取景器、电源(电池)、闪光灯等的公知的构成要素，但它们的说明对于本实施方式的理解不是特别需要，因此省略其说明。

接下来，参照图2～4对摄像部100的构成进行更加详细的说明。在以下的说明中，利用图中所示的xy坐标。

图2是示意地表示摄像部100中的透光板1、透镜3及摄像元件2a的配置关系的图。在图2中省略了透光板1、透镜3及摄像元件2a以外的构成要素。透镜3可以是由多个透镜群构成的透镜单元，但在图2中为了简单起见，描绘成单一的透镜。透光板1具有分光透过率特性沿着水平方向变化的带状滤色器(透过区域)1a，使入射光透过。透镜3是公知的透镜，对透过透光板1的光进行聚光，在摄像元件2a的摄像面2b进行成像。再者，在本说明书中，“水平方向”是指所参照的附图中所示的x方向，未必与平行于地表面的方向一致。

图3是本实施方式中的透光板1的主视图。本实施方式中的透光板1的形状与透镜3同样为圆形。透光板1在其中央部分具有带状滤色器1a，其他的区域1b是透明的。该带状滤色器1a的特征在于，从图中左侧至右侧透过波段按红色(R)、黄色(Ye)、绿色(G)、蓝绿色(Cy)、蓝色(B)、品红色(Mg)逐渐变化，对全部颜色进行合计之后的结果成为白色。由此，在无彩色的光(白色光)透过了带状滤色器1a时，波长因所透过的部分而不同，但作为整体，透过光的总和成为无彩色的光。在本实施方式中，假定R、G、B的各滤光器部分的透过率大致相等，Ye、Cy、Mg的各滤光器部分的透过率是R、G、B的各滤光器部分的透过率的约2倍。

图4示出在摄像元件2a的摄像面2b上排列成矩阵状的多个感光单元(Photo-sensitive cell)50的一部分。各感光单元50典型的是光电二极管，通过光电变换而输出与各个受光量相应的电信号(以下，称为“光电变换信号”或者“像素信号”。)。与各感光单元50相对置地在光入射侧配置了滤色器。如图4所示，本实施方式中的滤色器排列是将3行1列作为基本构成的水平条纹(stripe)排列，第1行是红色要素(R)，第2行是绿色要素(G)，第3行是蓝色要素(B)。各要素的滤色器是使用公知的颜料等而制作的。红色要素的滤色器使红色波段的光选择性地透过，绿色要素的滤色器使绿色波段的光选择性地透过，蓝色要素的滤色器使蓝色波段的光选择性地透过。

根据以上的构成，在曝光过程中入射至摄像装置的光通过透光板1、透镜3、红外截止滤光器4而在摄像元件2a的摄像面2b上成像，由各感光单元50进行光电变换。由各感光单元50输出的光电变换信号经由信号产生/接收部5而被送出至信号处理部200。信号处理部200中的图像处理部7基于送来的信号进行图像的彩色化及进深信息的算出。进深信息根据其进深的量而被变换为亮度信号，作为黑白图像进行输出。

接下来，说明本实施方式中的摄像动作及图像处理。

图5是示意地表示经由透光板1对背景32及前景被摄体31进行摄像时的状况的图。在图示的状况下进行摄像时，摄像元件2a输出由被前景被摄体31及背景32反射的光所形成的光电变换信号。光电变换信号从摄像元件2a经由信号产生/接收部5被送至图像处理部7。在图像处理部7中利用送来的光电变换信号进行以下的2个处理，作为各自的处理结果而输出2个图像。作为第一个处理，进行规定的彩色化处理，生成彩色图像。作为第二个处理，进行图像的轮廓提取、基于轮廓附近的水平方向上的着色的进深推测、以及将进深的量作为图像的亮度值的黑白图像(以下称为“进深图像”。)的生成。以下，针对彩色图像生成及进深图像生成的处理进行更加具体的说明。

图6是表示本实施方式中的图像生成处理流程的流程图。图像处理部7首先在步骤S10中基于由摄像元件2a所生成的光电变换信号来生成彩色图像。在步骤S11中，对所生成的彩色图像中包含的被摄体的水平方向的轮廓进行提取。在步骤S12中，对轮廓附近的背景的颜色进行检测。在步骤S13中，对轮廓附近的像素的色相的式样进行检测。在步骤S14中，根据轮廓附近的像素的色相的式样来算出被摄体的进深。在步骤S15中，基于所算出的进深的量来生成进深图像。以下，详细说明各步骤。

首先，在步骤S10中，根据摄像元件2a的输出来生成彩色图像。在本实施方式中，摄像元件2a具有RGB的水平条纹排列。因此，能够将3行1列的3像素作为一个单位直接获得RGB信号(彩色信号)，并基于这些彩色信号来生成彩色图像。特别地，在本实施方式中，由于使用了图4所示的水平条纹状的颜色配置，因此能够制成在水平方向上高析像的彩色图像。在本实施方式中，由于在透光板1的中央配置了带状滤色器1a，因此由该带状滤色器1a吸收一部分的光，光量受损，但除此之外的光没有损失地进行了光电变换。此外，在本实施方式中，带状滤色器1a的配色不仅仅是原色(R、G、B)，还加入了补色(Ye、Cy、Mg)，因此较之仅使用原色滤光器的构成，光透过率高。而且，由于透过该带状滤色器1a的光的总和是白色，因此基本上被摄体的图像没有被带状滤色器1a着色。据此，通过充分减小带状滤色器1a的尺寸，能够生成在图像的灵敏度及颜色特性方面没有问题的彩色图像。

在步骤S11中，图像处理部7对通过摄像而获取到的图像(摄像图像)的水平方向上的轮廓进行提取。在图像的轮廓提取中存在几个方法，可以使用任意的方法。在本实施方式中，假设利用上述彩色图像生成处理的结果来提取轮廓。具体而言，首先，从通过上述的彩色图像生成处理而得到的彩色图像之中去除颜色成分，制作黑白图像。接下来，在该黑白图像中，进行在水平方向上相邻的2个像素间的信号差分处理，如果差分值在预先设定的水平以上，则将该位置作为水平方向上的图像的轮廓。图像处理部7针对图像整体进行这种信号差分处理，由此提取与水平方向相关的轮廓。

在步骤S12中，检测所提取出的轮廓的附近的背景的颜色。对于检测颜色的区域，在图像的左半部分的轮廓中是该轮廓的左侧区域(对应于图5所示的左摄像区域33)，在图像的右半部分的轮廓中是该轮廓的右侧区域(对应于图5所示的右摄像区域34)。其中，预先假定摄影区域的进深的范围，而左侧区域33及右侧区域34的具体的区域宽度(水平方向的像素数)被设定为与其假定的进深的范围相当的宽度。

例如，假设图5的右摄像区域34的颜色是白色，图3所示的透光板1的带状滤色器1a与其他的透明区域1b之间的面积比为1∶k。在与左摄像区域34及右摄像区域34相当的图像上的区域会受到带状滤色器1a的影响，颜色在水平方向上连续地变化。例如，从图5的右摄像区域34之中的图的左端的部分入射至摄像元件2a的光由于仅透过带状滤色器1a的右端(Mg区域)，因此相当于该部分的像素被着色为Mg。另一方面，由于透过了带状滤色器1a整体的光束从右摄像区域34之中的图的右端的部分入射至摄像元件2a，因此相当于该部分的图像上的位置没有被着色。

图7是示意地表示相当于右摄像区域34的图像上的水平方向的6个像素的信号水平的图。如图7所示，从相当于右摄像区域34的左端的像素至相当于右端的像素，信号水平增加。在图7中，假定由S(i)、S(i+1)、S(i+2)、……、S(i+6)表示在水平方向上排列的7个像素的信号，轮廓是S(i)与S(i+1)的边界。此外，将各像素信号中的W(＝R+G+B)成分表示为k(j)，假定j＝1～6、k(6)＝k。在将表示这些信号中包含的各颜色成分的强度的信号以表示该颜色成分的记号(Mg、B、Cy、G、Ye、R)来表示时，与右摄像区域34的左端对应的像素信号S(i+1)被表示为Mg+k(1)(R+G+B)。右摄像区域34的右端的像素信号S(i+6)被表示为(Mg+B+Cy+G+Ye+R)+k(6)(R+G+B)。对于其他的像素信号也同样地，S(i+2)被表示为(Mg+B)+k(2)(R+G+B)。S(i+3)被表示为(Mg+B+Cy)+k(3)(R+G+B)。S(i+4)被表示为(Mg+B+Cy+G)+k(4)(R+G+B)。S(i+5)被表示为(Mg+B+Cy+G+Ye)+k(5)(R+G+B)。其中，在此将像素单位设定为图4所示的3行1列的3像素，将这3像素统一考虑为1像素。

结果，在右摄像区域34整体中，像素信号的总和被表示为9R+9G+15B+∑k(j)(R+G+B)，RGB的信号比例为R∶G∶B＝(9+∑k(j))∶(9+∑k(j))∶(15+∑k(j))。由于k(j)是由透镜形状决定的已知的数，因此能够求出该RGB比。由于RGB比因轮廓附近的背景颜色而不同，因此如果求出RGB比，则能够确定背景的颜色。例如，在RGB比接近于R∶G∶B＝0∶(9+∑k(j))∶(15+∑k(j))的情况下，能够判定为背景色是Cy。在本实施方式中，预先准备将RGB比和对应的背景色建立关联的数据库，并记录在存储器30中。图像处理部7通过参照该数据库，根据图像上的轮廓附近的像素的RGB比，可检测该轮廓附近的背景区域中的颜色。

在步骤S13中，检测轮廓周边区域中的色相的式样。具体而言，在从轮廓周边区域的各像素信号之中去除了由步骤S12检测出的颜色成分的信号后，通过在像素间进行差分运算来算出颜色成分。例如，在图7所示的例子中，由于右摄像区域34的颜色是白色，因此从各像素信号S(i+1)、S(i+2)、……之中去除白色成分k(j)(R+G+B)。这样一来，右摄像区域34中的像素信号S(i+1)～S(i+6)分别由以下的式1～式6表示。

(式1) S(i+1)＝Mg

(式2) S(i+2)＝Mg+B

(式3) S(i+3)＝Mg+B+Cy

(式4) S(i+4)＝Mg+B+Cy+G

(式5) S(i+5)＝Mg+B+Cy+G+Ye

(式6) S(i+6)＝Mg+B+Cy+G+Ye+R

再有，当进行各像素信号间的差分运算时，获得以下的式7～式11。其中，在式7～式11中，像素差分信号Djk设为Djk＝S(i+k)-S(i+j)。

(式7) D12＝S(i+2)-S(i+1)＝B

(式8) D23＝S(i+3)-S(i+2)＝Cy

(式9) D34＝S(i+4)-S(i+3)＝G

(式10) D45＝S(i+5)-S(i+4)＝Ye

(式11) D56＝S(i+6)-S(i+5)＝R

根据这些运算的结果，通过组合D12～D56和S(i+1)，可算出与光源为白色时的带状滤色器1a的颜色对应的信号Mg～R。可以说这与下述情况相同，即：将右图像区域34或左图像区域33这种的轮廓周边区域的颜色作为光源色来算出带状滤色器的透过色。

在步骤S14中，调查轮廓周边处的颜色模样的特性，并算出与其特性相应的进深。在此，假设进深是指图5所示的被摄体31与背景32的距离。如果进深距离短，则色相的式样也受限。相反，如果进深距离长，则色相式样的范围也变宽。即，在被摄体31的进深信息与该轮廓附近处的色相式样中存在相关关系。在本实施方式中，预先准备表示其相关关系的数据，并记录在存储器30中。图像处理部7参照该相关数据，根据轮廓处的色相式样来算出进深。

例如，相对于右摄像区域34的色相的式样由式1及式7～11示出的状态、即在6像素中获得6颜色的状态而言，在前景被摄体31与背景32的距离为1/2时，如图8所示，成为在3像素中获得3颜色的状态。由此可知，在获得的色相的式样与前景被摄体31至背景32的距离之间存在相关关系。本实施方式中的图像处理部7利用该相关关系来获得进深信息。其中，如上述，进深信息不是绝对的距离信息，而是相对的信息。

在步骤S15中，将由步骤S14求出的进深信息变换为明亮度的信息(黑白图像)。具体而言，图像处理部7对摄像图像进行水平扫描，在每当检测出轮廓时算出进深。所算出的进深信息被累计相加，从而算出最大进深值。将该最大进深值作为明亮度的最大值，以决定各像素的明亮度。例如，在变换为8位的黑白图像时，被变换成最大亮度值为255的图像。

如以上，根据本实施方式的摄像装置，通过在彩色摄像系统中配置具有带状滤色器1a的透光板1，从而获得光损失少的彩色图像，并且获得被摄体的进深图像。在本实施方式中，通过从所得到的彩色图像之中提取轮廓，并调查该轮廓周边区域处的着色的色相，由此可获得能算出被摄体间的相对的进深这种优异的效果。此外，如果获得被摄体间的相对的进深信息，则通过利用该进深信息的运算，还可获得以摄像装置的位置为基准的被摄体的进深信息。

再者，在上述的说明中，带状滤色器1a的各滤光器部分构成为：仅使对应的特定波段的光透过，而不透过除此以外的光。此外，假定R、G、B的各滤光器部分的透过率大致相等，Ye、Cy、Mg的各滤光器部分的透过率是R、G、B的各滤光器部分的透过率的大致2倍。然而，带状滤色器1a不需要严格地满足这些条件。满足上述条件是理想状态，但即便带状滤色器1a的特性偏离于理想的特性，如果按照对该偏离进行补偿的方式针对上述信号处理施加修正也是没问题的。

此外，在本实施方式中，将透光板1中的带状滤色器1a的颜色配置设为红色(R)、黄色(Ye)、绿色(G)、蓝绿色(Cy)、蓝色(B)、品红色(Mg)，但并不限定于此，也可以是其他的颜色配置。再有，带状滤色器1a的颜色配置的种类并不限于7种。其中，从提高进深算出精度的观点出发，优选颜色配置的种类为3种以上。此外，从获取作为彩色图像而没问题的图像的观点出发，优选如本实施方式那样使得对带状滤色器1a的所有颜色进行合计之后的结果为白色，但也可以不是严格的白色。其中，如果使用对所有颜色进行合计之后的结果接近于白色的带状滤色器1a，则作为彩色图像不会有问题，并且能够算出进深信息。

此外，在本实施方式中，将彩色摄像元件2a的基本色构成设定为RGB的水平条纹排列，但并不限定于此，也可以使用其他的3色以上的基本颜色配置。例如，尽管进深算出精度低于水平条纹排列，但使用由红色要素、蓝色要素和2个绿色要素构成的Bayer排列也没有问题。此外，尽管假定聚光透镜3及透光板1为圆形，但即便是四边形形状等的其他形状，在效果方面也没有任何问题。此外，尽管假设透光板1中的滤色器1a为带状，但并不限定于此，即便在透光板1的整个面被配色也没有问题。例如，在使用如蒙赛尔(Munsell)色相环那样在旋转方向上色相(透过波段)变化而在半径方向上颜色的浓度(透过率)变化的滤光器的情况下，不仅仅是水平方向，还能够算出所有方向的进深。或者，也可以使用透过波段或者透过率按同心圆状变化的滤光器。对于这些的任意滤光器，优选按照透过光的总和接近于白色光的方式来设计透过率特性。

再者，图2所示的各构成要素的配置关系仅仅是一例，本发明并不限于这种配置关系。例如，只要能够在摄像面2b形成像，则透镜3也可以与透光板1相比而远离摄像元件2a来配置。此外，透镜3和透光板1也可以构成为一体。

本实施方式中的图像处理部7可同时生成彩色图像和进深图像，但也可以不生成彩色图像，而仅生成进深图像。此外，也可以构成为通过上述处理仅生成进深信息而不生成进深图像。再有，也可以使与摄像装置独立的其他装置执行本实施方式的图像处理。例如，将由具有本实施方式中的摄像部100的摄像装置所获取到的信号读入到其他的装置(图像处理装置)，通过使该图像处理装置中内置的计算机来执行规定上述信号运算处理的程序，也能够获得与本实施方式同样的效果。

(实施方式2)

接下来，说明本发明的第2实施方式。在本实施方式中，在透光板1组装旋转机构，该旋转机构使透光板1在与光轴垂直的面上旋转，由此连续地进行2次摄像。由于其他的构成与实施方式1相同，因此省略对重复事项的说明。

图9是表示本实施方式的摄像装置的整体构成的框图。本实施方式的摄像装置作为旋转机构而具备旋转驱动部40。旋转驱动部40具有用于使透光板1旋转的电动机，基于来自元件驱动部6的指令而使透光板1旋转。作为透光板1的旋转的具体方法，例如非专利文献1所记载的那样，通过在透光板1安装传动带，利用电动机使传动带旋转来实现。

以下，说明本实施方式中的摄像动作。摄像装置如图10所示那样，在将透光板1的带状滤色器1a保持为水平的状态(a)下进行一次摄像，接下来，在将透光板1旋转180度之后的状态(b)下再进行一次摄像。所拍摄的2个图像被实施差分处理，根据其差分结果，提取不同的部分作为图像数据。由此，能够确定与左摄像区域33及右摄像区域34相当的图像上的区域。

在上述的实施方式1中无法明确地确定左摄像区域33及右摄像区域34，但在本实施方式中能够明确地确定这些区域。这是因为，与左摄像区域33及右摄像区域34对应的各像素的信号水平在每次摄像时因带状滤色器1a的颜色配置的变化而变化。因此，根据两图像的差分结果能够明确地确定左摄像区域33和右摄像区域34。在确定了左摄像区域33及右摄像区域34之后的处理与实施方式1相同。这样，因为能够明确地确定左摄像区域33和右摄像区域34，因此可提高进深算出的精度。

如以上，根据本实施方式，通过使透光板1旋转180度，在旋转前后进行2次摄像，从而根据2个摄像图像的差分能够明确地确定左摄像区域33和右摄像区域34。其结果，可获得能进一步提高进深算出精度的这一效果。

再者，在本实施方式中，通过旋转驱动部40使透光板1旋转180度来进行2次摄像，但也可以改变旋转角和摄像次数。例如，也可以使透光板1按90度进行旋转，来进行4次摄像，从而生成上下左右的2对多视点图像。

(实施方式3)

接下来，说明本发明的第3实施方式。在本实施方式中，透光板1的带状滤色器1a的配置与实施方式1相同，但带状滤色器1a的分光透过率特性的变化方式不同。关于本实施方式中的带状滤色器1a，其颜色为灰色、即不具有波长选择性，其透过率沿着水平方向(x方向)周期性变化。由于滤色器1a为灰色，因此在本实施方式中使用彩色图像的亮度信号来算出进深，而不使用RGB的各像素信号。以下，说明与实施方式1的不同点，省略对共同事项的说明。

图11示出本实施方式中的透光板1的主视图。在本实施方式中，带状滤色器1a不具有波长选择性，但透过率如cos函数那样进行变化，分别具有2处透过率高的位置和低的位置。图12示出其透过率的曲线。在图12中，横轴表示滤色器1a上的坐标x，纵轴表示透过率Tr。若利用式子来表现该透过率Tr，则如以下的式12进行表示。

(式12) Tr＝(1/2)cosX+1/2

在利用具有这种透过率分布的带状滤色器1a时，与左摄像区域33及右摄像区域34对应的图像上的区域的亮度值由与带状滤色器1a的透过率的水平方向相关的积分来表示。在本实施方式中，光透过率Tr是由式12表示的周期函数，因此对其积分之后的值∑Tr如以下的式13所示那样，由周期函数项和一次函数项之和来表示。

(式13) ∑Tr＝(1/2)sinX+(1/2)X

图13(a)示出由式13示出的积分值∑Tr的曲线。由于积分前后仅第1项的周期函数的cos函数变为sin函数，因此具有作为波形没有发生变化的这一特征。因此，本实施方式中的图像处理部7在从与左摄像区域33及右摄像区域34相当的像素信号之中去除与式13所示的1次函数项相当的信号之后，对水平方向上排列的多个像素的信号的波形进行解析。图13(b)示出从式13所示的Tr之中去除1次函数项之后的函数的曲线。图像处理部7从与左摄像区域33及右摄像区域34相当的多个像素的像素信号之中，检测与图13(b)所示的周期函数同样的波形，通过对该波形进行解析来测量进深。具体而言，预先准备表示进深与该周期函数的波形(例如波长)之间关系的信息，并记录在存储器30等中。图像处理部7参照该信息，根据基于图像数据的周期函数的波形来求出进深。

如以上，根据本实施方式，使用具有带状滤色器1a的透光板1，该带状滤色器1a的颜色为灰色且其透过率沿着水平方向周期性变化。根据这种构成可获得下述效果：在与左摄像区域33及右摄像区域34相当的图像上的区域的亮度值中出现周期函数的波形，根据该波形能够算出进深。由此，在本实施方式中，基于轮廓附近处的背景的明度的式样来推测与被摄体的进深相关的信息。

再者，在本实施方式中，将透光板的带状滤色器1a的颜色设定为灰色，但并不限定于此，只要是透过率周期性变化，可以是任意颜色。此外，由于基于各像素的亮度信号来推测进深信息，因此在带状滤色器1a中可存在波长选择性。即便在带状滤色器1a的分光透过率特性的式样与上述不同的情况下，通过执行与其分光透过率特性的式样相应的信号处理，也能够获得进深信息。

此外，在本实施方式中，由于在进深信息的算出中用到亮度信号，因此摄像元件2a可以不是彩色摄像元件，而是黑白摄像元件。进而，在本实施方式中，可以与实施方式2同样地通过使透光板1旋转由此提取轮廓。

工业上的可利用性

本发明的实施方式涉及的三维摄像装置在使用固体摄像元件的所有照相机中是有效的。例如，能够利用于数码相机或数码摄像机等消费者用相机、工业用的固体监视照相机等。

符号说明

1 透光板

1a 带状滤色器

1b 透明部

2 固体摄像元件

2a 彩色固体摄像元件

2b 摄像面

3 光学透镜

4 红外截止滤光器

5 信号产生/接收部

6 元件驱动部

7 图像处理部

8 图像接口部

9 摄像装置

10 像素

11 偏振0度的偏振板

12 偏振90度的偏振板

13 反射镜

14 半透反射镜

15 圆形的偏振滤光器

16 使偏振滤光器旋转的驱动装置

17、18 偏振滤光器

19 光圈

20、22、23 光束限制板

20a 使红色系统的光透过的滤色器

20b 使蓝色系统的光透过的滤色器

21 感光胶片

22R、23R 光束限制板的R光透过区域

22G、23G 光束限制板的G光透过区域

22B、23B 光束限制板的B光透过区域

30 存储器

31 前景被摄体

32 背景

33 左摄像区域

34 右摄像区域

40 旋转驱动部

50 像素

Claims (12)

1.一种三维摄像装置，具备：

光透过部，其具有分光透过率特性沿着第1方向变化的透过区域；

摄像元件，其被配置成接收透过了所述光透过部的光，并输出与接收到的光相应的光电变换信号；

成像部，其在所述摄像元件的摄像面形成像；和

图像处理部，其对基于从所述摄像元件输出的所述光电变换信号所生成的图像中包含的被摄体的所述第1方向上的轮廓进行提取，并基于所提取出的所述轮廓的附近处的背景的色相的式样来推测与所述被摄体的进深相关的信息，

所述进深的距离越长，则所述色相的式样的范围越宽。

2.根据权利要求1所述的三维摄像装置，其中，

所述透过区域的透过波段沿着所述第1方向变化为3种以上。

3.根据权利要求1或2所述的三维摄像装置，其中，

所述透过区域被设计成：在无彩色光透过了所述透过区域时，透过光的总和成为无彩色光。

4.根据权利要求1或2所述的三维摄像装置，其中，

所述三维摄像装置具有旋转驱动部，该旋转驱动部使所述透过区域在与光轴垂直的平面上旋转，

所述图像处理部通过对在不同的旋转状态下获取到的多个图像进行比较，来提取所述被摄体的轮廓。

5.根据权利要求4所述的三维摄像装置，其中，

所述图像处理部基于在所述透过区域处于第1状态时所获取到的第1图像、与在所述透过区域处于从所述第1状态旋转了180度的第2状态时所获取到的第2图像之间的差分，来提取所述被摄体的轮廓。

6.根据权利要求1、2、5任一项所述的三维摄像装置，其中，

所述透过区域的分光透过率特性沿着所述第1方向连续且周期性地变化。

7.根据权利要求1、2、5任一项所述的三维摄像装置，其中，

所述透过区域具有沿着所述第1方向排列的、使蓝色、蓝绿色、绿色、黄色、红色、品红色波段的光分别透过的6种区域。

8.根据权利要求1、2、5任一项所述的三维摄像装置，其中，

所述图像处理部基于预先设定的、对所述被摄体的进深与所述轮廓的周边像素处的色相的式样之间的关系进行表示的信息，来推测所述被摄体的进深。

9.根据权利要求1、2、5任一项所述的三维摄像装置，其中，

所述光透过部中的所述透过区域以外的部分是透明的。

10.根据权利要求1、2、5任一项所述的三维摄像装置，其中，

所述图像处理部基于对所推测出的所述进深进行表示的信息，来生成将所述进深的量作为像素值的进深图像。

11.根据权利要求1、2、5任一项所述的三维摄像装置，其中，

所述图像处理部基于从所述摄像元件输出的所述光电变换信号，来生成彩色图像。

12.一种图像处理装置，被利用于权利要求1至11任一项所述的三维摄像装置，

所述图像处理装置具备：图像处理部，其对基于从所述摄像元件输出的所述光电变换信号所生成的图像中包含的被摄体的所述第1方向上的轮廓进行提取，并基于所提取出的所述轮廓的附近处的背景的色相的式样来推测与所述被摄体的进深相关的信息，

所述进深的距离越长，则所述色相的式样的范围越宽。