CN103119516A - 光场摄像装置和图像处理装置 - Google Patents

Abstract

一种摄像装置，其具备：包括光谱透射率特性互不相同的第一种像素和第二种像素的摄像元件(2)；与摄像元件(2)的摄像面相对而配置的光透射部(1)；至少包括有着第一焦距的第一成像区域、和有着比所述第一焦距长的第二焦距的第二成像区域的成像部(3)。光透射部(1)具有由多个彼此隔离的部分区域所构成的第一透光区域(1a)、和与第一透光区域1a的光谱透射率特性不同的第二透光区域(1b)。光透射部(1)和成像部(3)的距离等于第一焦距(f1)，摄像元件(2)的摄像面和成像部(3)的距离等于第二焦距(f2)。

Description

光场摄像装置和图像处理装置

技术领域

本申请涉及使用一个光学系统和一个摄像元件而生成多视点图像的单眼的三维摄像技术。

背景技术

近年来，使用CCD和CMOS等的固体摄像元件(以下，称为“摄像元件”。)的数码照相机和数码摄影机的高功能化、高性能化令人大开眼界。特别是随着半导体制造技术的进步，摄像元件的像素构造的微细化推进。其结果是，能够实现摄像元件的像素和驱动电路的高集成化。因此，仅仅数年，摄像元件的像素数就从100万像素左右显著增加到1000万像素以上。此外，拍摄得到的图像的质量也飞跃性地提高。另一方面，关于显示装置，利用薄型的液晶和等离子体形成的显示器，可以不占空间而进行高分辨率、高对比度的显示，从而实现高性能。这样的影像的高品质化的潮流正在从二维图像向三维图像拓展。近来，虽然还需要偏振光眼镜，但高画质的三维显示装置开始被开发。

关于三维摄像技术，作为具有单纯的构成的代表性的方式，有使用由两个照相机构成的摄像系统来分别取得右眼用的图像和左眼用的图像的方式。在这样的所谓双眼摄像方式中，因为使用两个照相机，所以摄像装置大型，成本也高。因此，使用一个照相机取得具有视差的多个图像(以下称为“多视点图像”。)的方式(单眼摄像方式)得到研究。

例如，在专利文献1、2中公开有一种方式，其通过使用透射轴的方向彼此正交的两片起偏板和旋转的偏振滤波器来取得多视点图像。另外，在专利文献3～5中公开有一种方式，其通过使用设有多个滤色镜的光圈(光束限制板)来取得多视点图像。

上述的专利文献1～5所公开的方式，在通过单眼的照相机主要生成多视点图像时被利用。另一方面，也存在使用具备多个微透镜的单眼的照相机取得深度信息、且基于此信息而能够自由变改取得后的图像的焦点位置的技术。这样的技术被称为光场摄影，采用该技术的单眼照相机称为光场照相机。在光场照相机中，摄像元件上配置有多个微透镜。各微透镜以覆盖多个像素的方式配置。摄像后，根据取得的图像信息，计算关于入射光的方向的信息，由此能够推定被摄物体的深度。这样的照相机例如在非专利文献1中被公开。

在光场照相机中，虽然能够计算深度信息，但因为由微透镜的数量决定分辨率，所以相比由摄像元件的像素数量决定的分辨率而分辨率降低这样的课题存在。针对此课题，在专利文献6中公开有一种技术，其通过使用两个摄像系统而使分辨率提高。在该技术中，将入射光二等分，且所分割的各个入射光由具有在空间上按每1/2间距错开而排列的微透镜群的摄像系统进行拍摄，其后使所取得的图像合成而使分辨率提高。然而，在该技术中，需要两个摄像系统，在尺寸和成本方面就存在课题。

针对上述的课题，使用一个摄像系统而切换通常摄像模式和基于光场摄影的模式之技术在专利文献7中被公开。根据该技术，使用的是焦距随着外加电压而变化的微透镜，微透镜的焦距在前者的模式下被设定为无限大、在后者的模式下被设定为规定的距离。根据这样的机构，能够得到分辨率高的图像和深度信息。然而，在此技术中存在的课题是，需要使微透镜的焦距变化的机构和对其进行控制的机构，而且无法同时获得高分辨率图像和深度信息。

先行技术文献

专利文献

专利文献1：特开昭62-291292号公报

专利文献2：特开昭62-217790号公报

专利文献3：特开2002-344999号公报

专利文献4：特开2009-276294号公报

专利文献5：特开2003-134533号公报

专利文献6：特开平11-98532号公报

专利文献7：特开2008-167395号公报

非专利文献

非专利文献1：Ren Ng，etal，“Light Field Photography with a Hand-heldPlenoptic Camera”，Stanford Tech Report CTSR2005-02

发明内容

通过光场照相机，虽然能够得到深度信息，但图像的分辨率降低这样的课题存在。为了解决此课题，如上述的专利文献6、7的技术这样需要光学系统的改良，但即使是假设地进行了改良，仍存在需要两个摄像系统、或者无法同时取得高分辨率图像和深度信息这样的课题。

本申请鉴于上述的课题，提供一种摄像技术，其通过使用与现有技术不同的光学系统和信号处理，能够同时取得高分辨率图像和深度信息。

为了解决上述课题，本发明的一个形态的光场摄像装置，具备：使各自含有光谱透射率特性互不相同的第一种像素和第二种像素的、多个的单位区块排列在摄像面的摄像元件；与所述摄像元件的摄像面相对而配置的光透射部，且该光透射部具有由多个彼此隔离的部分区域所构成的第一透光区域、和与所述第一透光区域的光谱透射率特性不同的第二透光区域；至少具有有着第一焦距的第一成像区域、和有着比所述第一焦距长的第二焦距的第二成像区域的成像部。所述光透射部和所述成像部的距离，等于所述第一焦距，所述摄像元件的摄像面和所述成像部的距离，等于所述第二焦距。

根据本发明的实施方式，能够在摄像元件的摄像面以焦点对准的状态进行摄像，并且，能够使分别入射两种透光区域的光所形成的图像信息分离。因此，根据这些图像信息，可以同时得到被摄物体的深度信息和高分辨率图像。

附图说明

图1是表示实施方式1～3的摄像装置的概略构成的图。

图2是表示实施方式1的光学透镜、透光板和摄像元件的配置关系的模式图。

图3是实施方式1的透光板的正视图。

图4是表示实施方式1的彩色固体摄像元件的基色构成的图。

图5是表示实施方式1的透光板的光谱透射率特性的图。

图6是表示实施方式1的光学透镜的成像状况的概要图。

图7是表示实施方式2的光学透镜的成像状况的概要图。

图8是表示实施方式2的彩色固体摄像元件的基色构成的图。

图9是表示实施方式3的光学透镜的成像状况的概要图。

具体实施方式

本发明例示的实施方式的概要如下。

(1)本发明的一个形态的光场摄像装置，具备：使各自含有光谱透射率特性互不相同的第一种像素和第二种像素的、多个的单位区块排列于摄像面的摄像元件；与所述摄像元件的摄像面相对而配置的光透射部，且该光透射部具有由多个彼此隔离的部分区域所构成的第一透光区域、和与所述第一透光区域的光谱透射率特性不同的第二透光区域的光透射部；至少具有有着第一焦距的第一成像区域、和有着比所述第一焦距长的第二焦距的第二成像区域的成像部。所述光透射部和所述成像部的距离等于所述第一焦距，所述摄像元件的摄像面和所述成像部的距离等于所述第二焦距。

(2)在项目(1)所述的光场摄像装置的有的形态中，所述第一和第二种像素的光谱透射率特性，分别与所述第一和第二透光区域的光谱透射率特性相同。

(3)在项目(1)或(2)所述的光场摄像装置的有的形态中，所述多个部分区域被所述第二透光区域包围。

(4)在项目(1)至(3)的任一项所述的光场摄像装置的有的形态中，所述多个部分区域以等间隔排列成矩阵状。

(5)在项目(1)至(4)中任一项所的光场摄像装置的有的形态中，所述多个部分区域的各自的形状为圆形。

(6)在项目(1)至(5)的任一项所述的光场摄像装置的有的形态中，在所述第一透光区域的光入射侧，配置有微透镜。

(7)在项目(1)至(6)的任一项所述的光场摄像装置的有的形态中，表示所述第一透光区域的光谱透射率特性的第一函数，和表示所述第二透光区域的光谱透射率特性的第二函数，均在可视光的波长区域具有多个极大值，且各函数取得极大值的波长互不相同。

(8)在项目(1)至(7)的任一项中所述的光场摄像装置的有的形态中，表示所述第一透光区域的光谱透射率特性的第一函数、和表示所述第二透光区域的光谱透射率特性的第二函数的至少一方，在红、绿、蓝的各波长区域中具有极大值。

(9)在项目(1)至(8)的任一项所述的光场摄像装置的有的形态中，所述第一透光区域的光谱透射率特性和所述第二透光区域的光谱透射率特性的一方，不具有波长依存性。

(10)在项目(9)所述的光场摄像装置的有的形态中，所述第一透光区域和所述第二透光区域的一方为透明。

(11)在项目(1)至(8)的任一项所述的光场摄像装置的有的形态中，所述第二透光区域由多个滤色镜的集合构成。

(12)在项目(11)所述的光场摄像装置的有的形态中，所述多个滤色镜，由品红滤色镜和绿滤色镜的组合，或红滤色镜、绿滤色镜和蓝滤色镜的组合的任意之一构成。

(13)在项目(1)至(12)的任一项所述的光场摄像装置的有的形态中，所述摄像元件的各单位区块还含有：检测互不相同的颜色的光的第三种像素和第四种像素。

(14)在项目(1)至(12)的任一项所述的光场摄像装置的有的形态中，所述第一种像素由检测红色波长区域的光的像素、检测绿色波长区域的光的像素、以及检测蓝色波长区域的光的像素构成，所述第二种像素由检测红、绿、蓝全部的波长区域的光的一个像素构成。

(15)在项目(1)至(14)的任一项所述的光场摄像装置的有的形态中，所述第一成像区域位于所述成像部的周边部，所述第二成像区域位于所述成像部的中央部。

(16)项目(1)至(15)的任一项所述的光场摄像装置，在有的形态中，还具有：在所述第一成像区域的光入射侧所配置的、具有与所述第一透光区域相同的光谱透射率特性的第一透光性构件；在所述第二成像区域的光入射侧所配置的、具有与所述第二透光区域相同的光谱透射率特性的第二透光性构件。

(17)项目(1)至(16)的任一项所述的光场摄像装置，在有的形态中，还具备图像处理部，该图像处理部基于从所述第一和第二种像素分别输出的像素信号，生成由入射到所述第一透光区域的光所形成的第一图像信息、和由入射到所述第二透光区域的光所形成的第二图像信息。

(18)在项目(17)所述的光场摄像装置的有的形态中，所述图像处理部基于所述第一图像信息，生成被摄物体的深度信息。

(19)在项目(17)或(18)所述的光场摄像装置的有的形态中，所述摄像元件的各单位区块还含有：检测互不相同的颜色的光的第三种像素和第四种像素，所述图像处理部基于从所述第三和第四种像素分别输出的像素信号和所述第二图像信息，生成彩色图像。

(20)本发明的一个形态的图像处理装置，基于从项目(1)至(19)的任一项所述的光场摄像装置输出的信号，生成由入射到所述第一透光区域的光所形成的第一图像信息、和由入射到所述第二透光区域的光所形成的第二图像信息。

以下，一边参照附图一边说明本发明的更具体的实施方式。在以下的说明，遍及多个图而对于共通或对应的要素附加同一符号。在以下的说明中，表示图像的信号或信息有仅被称为“图像”的情况。

(实施方式1)

首先，说明本发明的第一实施方式的摄像装置。图1是表示本实施方式的光场摄像装置(以下，仅称为“摄像装置”。)的概略构成的区块图。本实施方式的摄像装置是数字式的电子照相机，且具备摄像部100、和基于由摄像部100生成的信号而生成表示图像的信号(图像信号)的信号处理部200。

摄像部100具备如下：具备在摄像面上所排列的多个光敏器件的彩色固体摄像元件2(以下，仅称为“摄像元件”。)；具有透射率的波长依存性(光谱透射率特性)互不相同的两种透光区域的透光板1(光透射部)；用于在摄像元件2的摄像面2a上形成像的圆形的光学透镜3(成像部)；红外截止滤光片4。摄像部100还具备如下：发生用于驱动摄像元件2的基本信号，并且接收来自摄像元件2的输出信号并传送至信号处理部200的信号发生/接收部5；基于由信号发生/接收部5生成的基本信号而驱动摄像元件2的元件驱动部6。摄像元件2代表性的有CCD或CMOS传感器，由公知的半导体制造技术制造。信号发生/接收部5和元件驱动部6，例如由CCD驱动器等的LSI构成。

信号处理部200具备如下：处理从摄像部100输出的信号，且生成高分辨率图像和深度信息的图像处理部7；存储用于图像信号生成的各种数据的存储器30；将生成的高分辨率图像和深度信息传送到外部的图像接口(IF)部8。就图像处理部7而言，能够通过公知的数字信号处理器(DSP)等的硬件、和运行包含图像信号生成处理的图像处理的软件的组合来恰当地实现。或者，图像处理部7也可以由专用的硬件构成。存储器30能够由DRAM和SRAM等的公知的半导体存储器构成。存储器30记录从摄像部100取得的信号且临时地记录由图像处理部7生成的图像数据、和压缩的图像数据。这些图像数据经由图像接口部8而被传送至未图示的记录媒体和显示部等。

还有，本实施方式的摄像装置，虽然具备电子快门、取景器、电源(电池)、闪光灯等的公知的构成要素，但这些说明对于本实施方式的理解不是特别必要，因此省略。另外，上述的构成是一例，在本实施方式中，透光板1、摄像元件2、图像处理部7以外的构成要素，能够适宜组合公知的要素而加以使用。

根据以上的构成，入射光通过光学透镜3、红外截止滤光片4、透光板1而在摄像元件2的摄像面2a成像且被进行光电转换。经光电转换的图像信号，通过信号发生/接收部5而被送至图像处理部7。该图像信号经由图像处理部7，被分离成表示入射到透光板1的各区域的光所形成的图像的信号，生成高分辨率图像和深度信息。所生成的这些信息，经由图像接口部8被传送到外部。

图2是模式化地表示摄像部100的光学透镜3、透光板1和摄像元件2的配置关系的图。在图2中，光学透镜3、透光板1和摄像元件2以外的构成要素省略。另外，在图2中，各要素被单纯化描绘，这些要素的尺寸、形状和要素间的距离，未必反应的是实际情况。例如，光学透镜3可以是由多个透镜群构成的透镜单元，但图2中为了简单，而将其作为单一的透镜进行描绘。在图2中，虽然透光板1和摄像元件2被分离描绘，但透光板1和摄像元件2也可以一体构成。在以下的说明中，使用图中所示的xy坐标。

图3是本实施方式的透光板1的正视图。透光板1具有由多个针孔形状的微小的部分区域构成的透光区域1a、和由其他部分构成的透光区域1b，透光区域1a、1b其光谱透射率特性互不相同。在本实施方式中，透光区域1a的各部分区域为圆形，在x方向和y方向上，分别以一定的间隔排列。在本实施方式中，透光区域1a和透光区域1b的总面积比为1∶10左右，但本发明并不受这一示例所限。

就各部分区域的尺寸而言，例如设定为直径约10μm～20μm，其配置间隔能够设定为大约40μm～50μm。另外，就各部分区域的位置而言，优选为在将透光板1投影到摄像元件2的摄像面2a时、各部分区域的中心与任意的像素的中心一致。还有，透光区域1a的部分区域的数量、形状、大小、配置间隔不受该例所限。就透光区域1a而言，只要具有至少两个彼此隔离的部分区域，且透过这些区域的光在摄像元件2的摄像面2a上形成同一被摄物体的、具有视差的多个像，怎么构成都可以。如果形成这样的多个像，则如后述，进行模式匹配，通过分析各个对应点从各个图像的中心以何程度偏移，从而能够计算深度。另外，透光区域1a的各部分区域的形状不限于圆形。

图4表示在摄像元件2的摄像面2a上矩阵状排列的多个像素的一部分。在本实施方式中，将4个像素作为一个单位区块60，且将多个单位区块60排列在摄像面2a上。就一个像素而言，包含光敏器件、和与之对置地被配置在光入射侧的透射滤光片。如此，在本说明书中，将一个光敏器件和与之对置地所配置的一个透射滤光片的组合称为“像素”。各光敏器件代表性的是包含光电二极管，通过光电转换而输出各自的光接收量所对应的电信号(以下，称为“光电转换信号”或“像素信号”。)。

如图4所示，本实施方式的透射滤光片的排列，是以双行双列为基本的排列。在第一行第一列配置红色要素R，第二行第一列配置蓝色要素B，第一行第二列配置透明要素W1，第二行第二列配置透明要素W2。

在此，红色要素R和蓝色要素B，分别是使红色和蓝色波长区域的光主要透过的滤光片。在本说明书中，约400nm～约500nm定义为蓝色波长区域，约500nm～约600nm定义为绿色波长区域，约600nm～约700nm定义为红色波长区域。还有，该定义终究是为了方便，将哪种波长区域定义为哪种颜色怎么规定都可以。

就透明要素W1、W2而言，光谱透射率特性互不相同，虽然均不是完全透明，但按照使红、绿、蓝任意一种颜色成分的光都至少有一部分透过的方式设计。在本实施方式中，透明要素W1和与之对置的光敏器件相当于第一种像素，透明要素W2和与之对置的光敏器件相当于第二种像素。

摄像元件2的像素数和像素尺寸能够任意地选择。但是，若各个像素的尺寸过小，则灵敏度降低，后述的模式匹配的精度降低，因此需要选择灵敏度上没有问题的像素尺寸。在本实施方式中，作为一例，摄像面的有效面积的尺寸是6.4mm×4.8mm，像素数为150万像素。

就透光板1的透光区域1a、1b，和摄像元件2的透明要素W1、W2而言，例如能够由电介质多层膜制作。通过使用电介质多层膜，能够制成在期望的波长的光下透射率极大或极小的透射滤光片。另外，摄像元件2的红色要素R和蓝色要素B，能够使用公知的颜料等制作。

图5是表示本实施方式的透光板1的透光区域1a、1b的光谱透射率特性的标绘图。在图中，横轴表示波长λ(nm)，纵轴表示透射率Tr(％)。如图5所示，透光区域1a的光谱透射率特性，是近似于三角函数Sin的平方的特性，透光区域1b的光谱透射率特性，是近似于三角函数Cos的平方的特性。即，两者的波形相同，但相位有90度差异。在本实施方式中，使摄像元件2的透明要素W1的光谱透射率特性与透光区域1a的特性等同，透明要素W2的光谱透射率特性与透光区域1b的特性等同，如此进行设计。如此，就本实施方式中的表示透光区域1a、1b，透明要素W1、W2的光谱透射率特性的函数而言，在红、绿、蓝的各波长区域均拥有极大值。

透光板1例如能够以如下方式制作。首先，在第一透明基板上形成由折射率不同的多个电介质材料构成的薄膜的层叠构造(电介质多层膜)多个，制作第一透光区域1a。另外，在第二透明基板上，将具有与上述不同的光谱透射率特性的电介质多层膜，形成于与第一透光区域1a对应的位置以外的位置，制作第二透光区域1b。通过接合所制作的这两个结构物，制作制造透光板1。

就摄像元件2的透明要素W1、W2而言，例如能够通过将由电介质材料构成的10层左右的薄膜以图案化方式形成而得以被制作。透明要素W1和透明要素W2中，通过改变一部分的薄膜的膜厚，可以实现假定的光谱特性。

图6是表示光学透镜3的成像的状况的概要图。在本实施方式中，光学透镜3为长焦透镜，透光板1和摄像元件2的摄像面2a这两方被包含在光学透镜3的焦点范围内。更具体地说，就光学透镜3而言，其曲率部分性地不同，通过光学透镜3的周边部(第一成像区域)的光在透光板1上成像，通过比其更靠内侧的部分(第二成像区域)的光在摄像元件2的摄像面2a上成像。换言之，就是第一成像区域的焦距f1等于光学透镜3和透光板1的距离，第二成像区域的焦距f2等于光学透镜3和摄像元件2的摄像面2a的距离。如此，本实施方式的光学透镜3，既是一个透镜，又具有两个以上的焦点。还有，在本说明书中，所谓某一距离等于一个焦距，并不限于两者严密一致的情况，也包括该距离被包含在该焦距的前后15％以内的情况。在本实施方式中，光学透镜3其设计方式为，使周边部的焦距短，且中央部的焦距长，但并不限于此例，只要具有两个以上的焦距的光学系统即可。

在图6中，虚线表示在透光板1上焦点对准的光线，实线表示在后方的摄像元件2的摄像面2a上焦点对准的光线。前者的光线，形成透过了透光区域1a、所谓的针孔图像。该针孔图像是将映在透光区域1a上的图像单纯放大的图像。另一方面，后者的光线，形成分辨率最高的图像。如以上的状况所示，摄像元件2的各像素(光敏器件)，能够同时取得针孔图像和高分辨率图像。

以下，说明经由透光板1拍摄被摄物体时的动作和由图像处理部7进行的信号处理。在此，透过摄像元件2的R要素而被光电转换的光的信号由Rs表示，透过B要素而被光电转换的光的信号由Bs表示，透过W1要素而被光电转换的光形成的信号由W1s表示，透过W2要素而被光电转换的光形成的信号由W2s表示。

从被摄物体入射的光之中的、红色成分和蓝色成分，通过透光板1的透光区域1a或1b、透镜3、红外截止滤光片4、红色要素R或蓝色要素B，由摄像元件2进行光电转换，被生成信号Rs、信号Bs。同样，被摄物体的白色成分(红、绿、蓝的全部成分)，通过摄像元件2的W1要素和W2要素而被光电转换，且被生成信号W1s、W2s。信号W1s、W2s的量根据透光区域1a、1b的入射光量的差异而有所不同。其理由在于，W1要素和W2要素，光谱透射率特性互不相同，并且它们分别与透光区域1a、1b的特性相等。在假如使透光区域1a、1b的总面积比为1∶1的情况下，W1要素在相比透过透光区域1b的光下使透过透光区域1a的光更多一些透过，W2要素在相比透光区域1a透过的光下使透过透光区域1b的光更多一些透过。

以下，说明本实施方式的光电转换信号W1s、W2s。首先，说明透过透光板1的透光区域1a和W1要素被光电转换的光所形成的信号W1as、和透过透光区域1b和W1要素被光电转换的光所形成的信号W1bs。如上述，透光区域1a和W1要素的透射率近似与三角函数Sin的平方成正比，透光区域1b和W2要素的透射率近似与三角函数Cos的平方成正比。将含有该比例系数的光电转换效率设为k，透光区域1a、1b的总面积比设为1∶S。在此，假定向透光区域1a、1b入射相同强度的无彩色光(无波长依存性的光)。这种情况下，信号W1as因为与透光区域1a和W1要素的透射率的积分成正比，所以由以下的式1表示。另一方面，信号W1bs因为与透光区域1b和W1要素的透射率的积分成正比，所以由以下的式2表示。在此，积分在遍及可视光的整个波长区域(例如λ＝400nm～700nm)进行。

【算式1】

(式1)W1as＝k∫sin²[(λ-400)π/100]sin²[(λ-400)π/100]dλ

【算式2】

(式2)W1bs＝kS∫cos²[(λ-400)π/100]sin²[(λ-400)π/100]dλ

在此，为了使式1、式2的计算容易，若基于图5，使积分范围为可视光的400～700nm，将波长λ为400nm的情况置换成角度θ＝0弧度的数据，将波长λ为500nm的情况置换成角度θ＝π弧度的数据，则式1、式2分别能够改写为以下的式3、式4。

【算式3】

(式3) $W1\mathrm{as}=6k{\∫}_0^{\mathrm{\π}/2}{\sin }^2\mathrm{\θ}\×{\sin }^2\mathrm{\θd\θ}$

【算式4】

(式4) $W1\mathrm{bs}=6\mathrm{kS}{\∫}_0^{\mathrm{\π}/2}{\cos }^2\mathrm{\θ}\×{\sin }^2\mathrm{\θd\θ}$

式3、式4还可分别如以下的式5、式6这样变形。

【算式5】

(式5) $w1\mathrm{as}=6k{\∫}_0^{\mathrm{\π}/2}{\sin }^4\mathrm{\θd\θ}=6k{\∫}_0^{\mathrm{\π}/2}{\left(\frac{1-\cos 2\mathrm{\θ}}{2}\right)}^2\mathrm{d\θ}=6k{\∫}_0^{\mathrm{\π}/2}\frac{1-2\cos 2\mathrm{\θ}+{\cos }^{2}2\mathrm{\θ}}{4}\mathrm{d\θ}$

$=\frac{3k}{2}(\frac{\mathrm{\π}}{2}+{\∫}_0^{\mathrm{\π}/2}\frac{1+\cos 4\mathrm{\θ}}{2}\mathrm{d\θ})=\frac{9\mathrm{k\π}}{8}$

【算式6】

(式6) $W1\mathrm{bs}=6\mathrm{kS}{\∫}_0^{\mathrm{\π}/2}\frac{{\left(\sin 2\mathrm{\θ}\right)}^2}{4}\mathrm{d\θ}=6\mathrm{kS}{\∫}_0^{\mathrm{\π}/2}\frac{1-\cos 4\mathrm{\θ}}{8}\mathrm{d\θ}=\frac{3\mathrm{kS\π}}{8}$

同样，信号W2as因为与透光区域1a和W2要素的透射率的积分成正比，所以由以下的式7表示。另一方面，信号W2bs因为与透光区域1b和W2要素的透射率的积分成正比，所以由以下的式8表示。

【算式7】

(式7)W2as＝k∫cos²[(λ-400)π/100]sin²[(λ-400)π/100]dλ

【算式8】

(式8)W2bs＝kS∫cos²[(λ-400)π/100]cos²[(λ-400)π/100]dλ

在此，式7的右边的积分运算和式2的右边的积分运算相同，因此其积分计算结果相等。就式8而言，若与上述同样将积分变量λ变换成θ进行计算，则能够得到以下的式9所示的结果。

【算式9】

(式9)

$w2\mathrm{bs}=6\mathrm{kS}{\∫}_0^{\mathrm{\π}/2}{\cos }^4\mathrm{\θd\θ}=6\mathrm{kS}{\∫}_0^{\mathrm{\π}/2}{\left(\frac{1+\cos 2\mathrm{\θ}}{2}\right)}^2\mathrm{d\θ}=6\mathrm{kS}{\∫}_0^{\mathrm{\π}/2}\frac{1+2\cos 2\mathrm{\θ}+{\cos }^{2}2\mathrm{\θ}}{4}\mathrm{d\θ}$

$=\frac{3\mathrm{kS}}{2}(\frac{\mathrm{\π}}{2}+{\∫}_0^{\mathrm{\π}/2}\frac{1+\cos 4\mathrm{\θ}}{2}\mathrm{d\θ})=\frac{9\mathrm{kS\π}}{8}$

根据以上的结果可知，W1as∶W1bs＝1∶S/3，W2as∶W2bs＝1/3∶S。实际上，在透光区域1a、1b中并没有相同强度的光入射。因此，在透光区域1a、1b、W1要素、W2要素全部完全透明的假定情况下，将表示按透过透光区域1a、1b所注视的像素被光电转换的光的强度的信号，分别表示为IMG(a)、IMG(b)。若是如此，则它们和像素信号W1s、W2s的关系由以下的式10表示。在此，比例系数省略。

【算式10】

(式10) $\left(\begin{array}{c}W1s\\ W2s\end{array}\right)=\left(\begin{array}{cc}1& S/3\\ 1/3& S\end{array}\right)\left(\begin{array}{c}\mathrm{IMG}\left(a\right)\\ \mathrm{IMG}\left(b\right)\end{array}\right)$

此外，通过将式10的右边的双行双列的矩阵的逆矩阵在两边相乘，能够得到以下的式11。

【算式11】

(式11) $\left(\begin{array}{c}\mathrm{IMG}\left(a\right)\\ \mathrm{IMG}\left(b\right)\end{array}\right)=\frac{9}{8S}\left(\begin{array}{cc}S& -S/3\\ -1/3& 1\end{array}\right)\left(\begin{array}{c}W1s\\ W2s\end{array}\right)$

就图像处理部7而言，通过式11所示的运算，根据像素信号W1s、W2s，按单位区块求得入射到透光区域1a、1b的光所形成的信号成分。由此，能够生成由入射到各区域的光所形成的图像。另外，利用通过透光区域1a而得到的针孔图像，能够计算深度信息。具体来说，因为预知光学透镜3、针孔群(透光区域1a)、摄像元件2的几何学上的位置关系，所以基于这些位置关系、和某一针孔图像与其周边的针孔图像之间的视差量，可计算深度信息。

在此，所谓针孔图像，就是基于由透过透光区域1a的各部分区域的光在摄像面2a上所形成的像之图像。由上述的信号IMG(a)表示的图像，可以说是多个针孔图像的集合。这些针孔图像虽然是表示相同的被摄物体的图像，但具有由于部分区域的位置的差别而引起的视差。通过检测该视差，能够计算深度信息。例如，与某一针孔图像A邻接的针孔图像B存在共通的部分图像。对该部分图像经由公知的模式匹配进行检测的结果，所检测的部分图像，在针孔图像A中从其中心离开距离XA、而在针孔图像B中从其中心离开距离XB。其差|XA-XB|表示视差量。因为视差量随着被摄物体的深度而改变，所以如果预先在理论上或实验上求得视差量和深度的关系，则能够根据视差量计算深度。

另一方面，上述运算处理结果的IMG(b)作为高分辨率图像使用。但是，基于信号IMG(b)的图像不包含透过透光区域1a的光信息，因此该信息损失。因此，为了进一步提高画质，也可以将信号IMG(a)的信息的一部分或全部添加到IMG(b)的信息中。即，也可以设k′为0以上、1以下的整数，使用信号IMG(b)+k′IMG(a)替代信号IMG(b)来生成高分辨率图像。

接下来，说明高分辨率图像的彩色信号处理。由摄像元件2取得的像素信号W1s、W2s、Rs、Bs之中，经上述运算得到IMG(b)、或者IMG(a)+k′IMG(b)，被作为亮度信号处理，Rs、Bs被作为颜色信号处理。由摄像元件2得到的像素信号被送至图像处理部7，因此根据像素信号W1s、W2s，基于上述的式11，可生成两个图像信号IMG(a)、IMG(b)。图像处理部7使亮度信号YL为YL＝IMG(b)+k′×IMG(a)，且生成色差信号(Rs-YL)和(Bs-YL)。对于这些色差信号进行白平衡调整后，使其成为复合彩色图像信号。

图像处理部7通过在其后、进行以下的式12所示的矩阵运算处理，生成RGB信号。在此，生成的R信号、G信号、B信号分别由cIMG(r)、cIMG(g)、cIMG(b)表示，矩阵系数由M11～M33表示。矩阵系数M11～M33是预先通过模拟求得的已知的值。

【算式12】

(式12) $\left(\begin{array}{c}\mathrm{cIMG}\left(r\right)\\ \mathrm{cIMG}\left(g\right)\\ \mathrm{cIMG}\left(b\right)\end{array}\right)=\left(\begin{array}{ccc}M11& M12& M13\\ M21& M22& M23\\ M31& M32& M33\end{array}\right)\left(\begin{array}{c}\mathrm{YL}\\ \mathrm{Rs}-\mathrm{YL}\\ \mathrm{Bs}-\mathrm{YL}\end{array}\right)$

如上，本实施方式的摄像装置使用以下部件：长焦点的光学透镜3；具有互不相同的光谱透射率特性的两个区域且其内一个区域由针孔形状的群构成的透光板1；和具有与该透光板1同样的光学特性的两种透明要素的摄像元件2。根据这样的构成，能够计算深度信息，并且也能够得到高分辨率图像。此外，还具有可实现高分辨率图像的彩色化这样优异的效果。

还有，在本实施方式中，除透明要素W1、W2以外虽作为颜色要素使用红色要素R和蓝色要素B，但并不限定于此，只要是不同的颜色，使用什么样的颜色要素都无妨。例如，也可以使用主要使绿光透过的绿色要素G，主要使红光和绿光透过的黄色要素Ye，主要使绿光和蓝光透过的青色要素Cy，和主要使红光和蓝光透过的品红要素Mg任意一种，以其替代红色要素R和蓝色要素B。另外，不需要彩色的高清晰图像时，图像处理部7不需要进行彩色图像生成处理，在摄像元件2上也不需要设置红色要素R、蓝色要素B。此外，关于各像素的配置，不限定于图4所示的配置。

另外，透光板1的透光区域1a、1b，和摄像元件2的透明要素W1、W2的光谱透射率特性，即使没有与图5所示的三角函数近似的特性，只要是在式10所示的矩阵运算中该矩阵的逆矩阵求得的光谱透射率特性也就没有问题。换言之，如果与要素W1对置的光敏器件和与要素W2对置的光敏器件，均接收透过第一透光区域1a的光和透过第二透光区域1b的光重叠的光，并且该接收光量互不相同，则没有问题。例如，透光区域1a、1b的一方的光谱透射率特性，也可以没有波长依存性。此外，透光区域1a、1b的一方也可以透明。还有，在本说明书中，所谓透明，是指对于红、绿、蓝任意一种颜色成分都具有85％以上的透射率的特性。

此外，也可以在透光板1的透光区域1a的位置配置微透镜。在透光区域1a配置微透镜时，也能够得到与本实施方式同样的效果。还有，配置有微透镜时，具有聚光效果进一步提高的效果。由此，灵敏度提高，所取得的图像变得明亮，因此，具有由上述的图像匹配进行的深度计算的精度得以提高这样的优点。

另外，透光板1的透光区域1b的整体，不需要具有一样的光谱透射率特性，也可以具有随着部分而不同的光谱透射率特性。例如，透光区域1b也可以由多个滤色镜的集合构成。作为多个滤色镜，能够使用品红滤色镜和绿滤色镜的组合，和红滤色镜、绿滤色镜和蓝滤色镜的组合。通过这样的构成，作为透光区域1b整体，能够拥有与本实施方式同样的特性。

(实施方式2)

接着说明本发明的第二实施方式。在本实施方式中，光学透镜3和摄像元件2的基色构成与上述实施方式1不同，其以外均与实施方式1相同。以下，以与实施方式1不同的点为中心进行说明，关于相同的事项的说明省略。

图7是表示本实施方式的光学透镜3的成像状况的图。在本实施方式中，光学透镜3在周边部3a和中央部3b焦距不同。在透镜周边部3a焦距相对地短，在透镜中央部3b焦距相对地长。根据此特性，按照关于透镜周边部3a在透光板1上使被摄物体的焦点对准、关于透镜中央部3b在摄像元件2的摄像面2a上使被摄物体的焦点对准的方式，配置光学透镜3、透光板1、摄像元件2。

图8是表示本实施方式的摄像元件2的基色构成的图。其颜色构成以双行双列为基本，且第一行第一列是红色要素(R)、第二行第一列是蓝色要素(B)、第一行第二列是绿色要素(G)、第二行第二列是透明要素(W2)。透明要素W2与实施方式1的透明要素W2相同。在此，B要素的光谱透射率特性，与图5所示的透光区域1a的400～500nm的特性相同。G要素的光谱透射率特性与图5所示的透光区域1a的500～600nm的特性相同。R要素的光谱透射率特性与图5所示的透光区域1a的600～700nm的特性相同。即，使R、G、B各要素的光谱透射率特性加以合算的结果，与实施方式1的透光区域1a和透明要素W1的特性相同。另一方面，透光板1与实施方式1的透光板1相同。在本实施方式中，R要素、G要素、B要素和与它们对置的3个光敏器件相当于第一种像素，W2要素和与之对置的光敏器件相当于第二种像素。

以下，一边将本实施方式的信号处理与上述的实施方式1的处理进行对比一边进行说明。在实施方式1中，摄像元件2具有W1要素，使用此信号，但在本实施方式中，将R、G、B要素的信号合算的结果作为W1s信号对待而取代W1要素。据此，关于W1要素和W2要素的运算与实施方式1的运算完全相同。其结果是，在本实施方式中，透过透光区域1a而得到的图像信号IMG(a)和透过透光区域1b而得到的图像信号IMG(b)也由式11表示。

另外，关于图像的彩色化，也能够以与实施方式1完全相同的方法进行。即，就图像处理部7而言，首先利用信号W1s和W2s，建立信号IMG(a)、IMG(b)，生成亮度信号YL(＝IMG(b)+k′×IMG(a))、色差信号(Rs-YL)、(Bs-YL)。对于这些色差信号进行白平衡调整后，使其成为复合彩色图像信号。其后，进行基于式12的矩阵运算处理，生成RGB信号。另外，图像处理部7也可以将像素信号Rs、Gs、Bs直接作为红、绿、蓝的彩色信号进行处理，以代替上述的彩色化处理。

如上根据本实施方式，使用在周边部3a和中央部3b焦距不同的光学透镜3，按照关于透镜周边部3a在透光板1上使焦点对准、关于透镜中央部3b在摄像元件2的摄像面2a上使焦点对准的方式，配置光学透镜3、透光板1、摄像元件2。在此基础上，使摄像元件2的R要素、G要素、B要素的光谱透射率特性的合算与图5所示的透光区域1a的特性相同，由此能够得到与实施方式1同样的效果。

还有，在本实施方式中，如图8所示，摄像元件2的基色构成含有R要素、G要素、B要素和W2要素，但也可以如实施方式1这样，使用图4所示的构成。另外，图8所示的配置并不是唯一的，其配置改变也没有问题。另外，透光板1和摄像元件2的光谱透射率特性，如果是在式10所示的矩阵运算中该矩阵的逆矩阵求得的光谱透射率特性，则即使不是上述的光谱透射率特性也没有问题。但是，在式11所示的运算中运算结果为负时，通过再乘以改变矩阵要素的比率的矩阵，能够使运算结果不为负。另外，在本实施方式中，取代透光板1的透光区域1a而将微透镜配置在该位置，也能够得到同样的效果。

(实施方式3)

接下来，对于本发明的第三实施方式进行说明。在本实施方式中，在实施方式2的光学透镜3的光入射侧的面(前面)，配置着具有与透光板1的两种透光区域同样的光谱透射率特性的两种透光性构件。具体来说，如图9所示，在透镜3的周边部3a的前面，配置了具有与透光板1的透光区域1a相同的光谱透射率特性的透光性构件1aa，在透镜3的中央部3b的前面，配置了具有与透光板1的透光区域1b相同的光谱透射率特性的透光性构件1bb。其以外的构成和处理均与实施方式2相同。

根据上述的构成，在透光板1的透光区域1a，来自透镜中央部3b的入射光被削减，另一方面，在透光板1的透光区域1b，来自透镜周边部3a的入射光被削减。其结果是，透过透光区域1a的光和透过透光区域1b的光的分离性变高，深度信息的计算精度和高分辨率图像的画质提高。还有，具体的处理与上述的实施方式相同，因此省略说明。

如上，根据本实施方式，除了实施方式2的构成要素以外，此外还配置有：在光学透镜3的周边部3a的前面所配置的、具有与透光板1的透光区域1a相同的光谱透射率特性的透光性构件1aa；和在光学透镜3的中央部3b的前面所配置的、具有与透光板1的透光区域1b相同的光谱透射率特性的透光性构件1bb。根据这样的构成，能够使深度信息的计算精度和高分辨率图像的画质提高。

在以上的实施方式中，是摄像装置所内置的图像处理部7进行图像处理，但也可以使独立于摄像装置的其他装置运行该图像处理。例如，将上述的各实施方式中具有摄像部100的摄像装置所取得的信号输入其他的装置(图像处理装置)中，使规定上述的信号运算处理的程序在该图像处理装置所内置的计算机上运行，由此也能够得到同样的效果。使外部的图像处理装置运行图像处理时，摄像装置也可以不具备图像处理部。

【产业上的可利用性】

本发明的实施方式的光场摄像装置，对于使用了固体摄像元件的全部照相机有效。例如，能够利用于数码照相机和数码摄像机等的民用照相机和工业用的固体监控摄像机等。

【符号说明】

1  透光板

1a、1b  透光区域

1aa、1bb  透光性构件

2  彩色固体摄像元件

2a  摄像面

3  光学透镜

3a  透镜周边部

3b  透镜中央部

4  红外截止滤光片

5  信号发生/接收部

6  元件驱动部

7  图像处理部

8  图像接口部

30  存储器

100  摄像部

200  信号处理部

Claims (20)

1.一种光场摄像装置，其中，具备：

使各自含有光谱透射率特性互不相同的第一种像素和第二种像素的、多个的单位区块排列在摄像面的摄像元件；

与所述摄像元件的摄像面相对而配置的光透射部，且该光透射部具有由多个彼此隔离的部分区域构成的第一透光区域、和与所述第一透光区域的光谱透射率特性不同的第二透光区域；

至少具有有着第一焦距的第一成像区域、和有着比所述第一焦距长的第二焦距的第二成像区域的成像部，

所述光透射部和所述成像部的距离等于所述第一焦距，所述摄像元件的摄像面和所述成像部的距离等于所述第二焦距。

2.根据权利要求1所述的光场摄像装置，其中，

所述第一和第二种像素的光谱透射率特性，分别与所述第一和第二透光区域的光谱透射率特性相同。

3.根据权利要求1或2所述的光场摄像装置，其中，

所述多个的部分区域被所述第二透光区域包围。

4.根据权利要求1至3中任一项所述的光场摄像装置，其中，

所述多个的部分区域以等间隔排列成矩阵状。

5.根据权利要求1至4中任一项所述的光场摄像装置，其中，

所述多个的部分区域的各自的形状为圆形。

6.根据权利要求1至5中任一项所述的光场摄像装置，其中，

在所述第一透光区域的光入射侧配置有微透镜。

7.根据权利要求1至6中任一项所述的光场摄像装置，其中，

表示所述第一透光区域的光谱透射率特性的第一函数、和表示所述第二透光区域的光谱透射率特性的第二函数，均在可视光的波长区域具有多个极大值，且各函数取得极大值的波长互不相同。

8.根据权利要求1至7中任一项所述的光场摄像装置，其中，

表示所述第一透光区域的光谱透射率特性的第一函数、和表示所述第二透光区域的光谱透射率特性的第二函数的至少一方，在红、绿、蓝的各波长区域具有极大值。

9.根据权利要求1至8中任一项所述的光场摄像装置，其中，

所述第一透光区域的光谱透射率特性和所述第二透光区域的光谱透射率特性的一方不具有波长依存性。

10.根据权利要求9所述的光场摄像装置，其中，

所述第一透光区域和所述第二透光区域的一方为透明。

11.根据权利要求1至8中任一项所述的光场摄像装置，其中，

所述第二透光区域由多个滤色镜的集合构成。

12.根据权利要求11所述的光场摄像装置，其中，

所述多个滤色镜，由品红滤色镜和绿滤色镜的组合，或红滤色镜、绿滤色镜和蓝滤色镜的组合的任意之一构成。

13.根据权利要求1至12中任一项所述的光场摄像装置，其中，

所述摄像元件的各单位区块还包含：检测互不相同的颜色的光的第三种像素和第四种像素。

14.根据权利要求1至12中任一项所述的光场摄像装置，其中，

所述第一种像素由检测红色波长区域的光的像素、检测绿色波长区域的光的像素以及检测蓝色波长区域的光的像素构成，

所述第二种像素由检测红、绿、蓝全部的波长区域的光的一个像素构成。

15.根据权利要求1至14中任一项所述的光场摄像装置，其中，

所述第一成像区域位于所述成像部的周边部，所述第二成像区域位于所述成像部的中央部。

16.根据权利要求1至15中任一项所述的光场摄像装置，其中，

还具备：

在所述第一成像区域的光入射侧所配置的、具有与所述第一透光区域相同的光谱透射率特性的第一透光性构件；

在所述第二成像区域的光入射侧所配置的、具有与所述第二透光区域相同的光谱透射率特性的第二透光性构件。

17.根据权利要求1至16中任一项所述的光场摄像装置，其中，

还具备图像处理部，该图像处理部基于从所述第一和第二种像素分别输出的像素信号，生成由入射到所述第一透光区域的光所形成的第一图像信息、和由入射到所述第二透光区域的光所形成的第二图像信息。

18.根据权利要求17所述的光场摄像装置，其中，

所述图像处理部基于所述第一图像信息，生成被摄物体的深度信息。

19.根据权利要求17或18所述的光场摄像装置，其中，

所述摄像元件的各单位区块还包含：检测互不相同的颜色的光的第三种像素和第四种像素，

所述图像处理部基于从所述第三和第四种像素分别输出的像素信号和所述第二图像信息，生成彩色图像。

20.一种图像处理装置，其中，

基于从权利要求1至19中任一项所述的光场摄像装置输出的信号，生成由入射到所述第一透光区域的光所形成的第一图像信息、和由入射到所述第二透光区域的光所形成的第二图像信息。

Images