CN103168272A - 进深推定摄像装置以及摄像元件 - Google Patents

Abstract

本发明的一方式涉及的进深推定摄像装置具备：多个光感知单元(10)被排列在摄像面的摄像元件(2)、被配置成在所述摄像面聚光的光学透镜、被配置在所述摄像面上的透光性部件(1)、和处理从多个光感知单元(10)输出的信号的信号处理部。透光性部件(1)在内部具有反射至少一部分光的第1镜子(1a)，在上表面具有第2镜子(1b)，该第2镜子(1b)具有与第1镜子(1a)同一反射特性。第1镜子(1a)的反射面相对于透光性部件(1)的上表面而倾斜。第2镜子(1b)的反射面与所述上表面平行。第1镜子(1a)以及第2镜子(1b)被配置成：从被摄体的一点通过所述光学透镜入射来的光束被第1镜子(1a)反射，进而被第2镜子(1b)反射后照射所述摄像面的一部分的区域，由此被照射的所述区域根据所述被摄体的一点的进深而不同。

Description

进深推定摄像装置以及摄像元件

技术领域

本申请涉及利用一个光学系统和一个摄像元件来获取被摄体的进深信息的单眼的三维摄像技术。

背景技术

近年来，关于采用了CCD或CMOS等固体摄像元件(以下有时称为“摄像元件”。)的数码相机或数码电影的高功能化、高性能化备受瞩目。尤其随着半导体制造技术的进步，摄像元件中的像素构造的微细化得到发展。其结果，实现了摄像元件的像素以及驱动电路的高集成化。因此，在仅仅数年中摄像元件的像素数便从100万像素程度显著地增加到1000万像素以上。进而，通过摄像所得到的图像的质量也飞跃地提高。另一方面，关于显示装置，由于薄型的液晶或等离子的显示器不占地方、能够以高分辨率进行高对比度的显示，从而实现高的性能。这种影像的高品质化的潮流正在从二维图像向三维图像扩展，进而也开始开发能推定被摄体的进深的摄像装置。

关于被摄体的进深信息的获取，存在如下技术：利用具备多个微透镜的单眼相机来获取进深信息，基于该信息能够自由地改变获取后的图像的焦点位置。这种技术被称为光场摄影术(light field photolithography)，使用了该光场摄影术的单眼相机被称为光场相机。在光场相机中，在摄像元件上配置有多个微透镜。各微透镜被配置成覆盖多个像素。在摄像后，根据所获取到的图像信息来算出与入射光的方向相关的信息，由此能推定被摄体的进深。这种相机例如已经在非专利文献1中被公开。

在光场相机中，虽然能够算出进深信息，但是由于是由微透镜的个数来决定分辨率的，因此存在着分辨率比由摄像元件的像素数决定出的分辨率有所下降的课题。针对该课题，在专利文献1中已公开了利用两个摄像系统来提高分辨率的技术。在该技术中，将入射光进行2分割，由具有在空间上各错开1/2间距地排列的微透镜组的摄像系统来拍摄所分割后的各个入射光，然后将所获取到的图像进行合成，由此使分辨率提高。

另外，利用一个摄像系统来切换通常摄像模式和基于光场摄影术的模式的技术已经在专利文献2中被公开。根据该技术，用到了焦点距离根据施加电压而变化的微透镜。关于微透镜的焦点距离，在前者的模式下被设定成无限大，在后者的模式下被设定成规定的距离。根据这种机构，能够获得分辨率高的图像和进深信息。

在先技术文献

专利文献

专利文献1：日本特开平11-98532号公报

专利文献2：日本特开2008-167395号公报

非专利文献

非专利文献1：Ren Ng，et al，“Light Field Photography with a Hand-held Plenoptic Camera”，Stanford Tech Report CTSR2005-02

发明内容

发明要解决的课题

本发明的实施方式提供一种可利用具有不同于现有技术的构成的摄像元件来获取进深信息的摄像技术。

用于解决课题的技术方案

本发明的一方式的进深推定摄像装置，具备：摄像元件，其中多个光感知单元被排列在摄像面；光学透镜，被配置成在所述摄像面聚光；透光性部件，被配置在所述摄像面上，且在内部具有反射至少一部分光的第1镜子(mirror)，在上表面具有第2镜子，该第2镜子具有与所述第1镜子同一反射特性；和信号处理部，处理从所述多个光感知单元输出的光电变换信号。所述第1镜子的反射面相对于所述透光性部件的上表面而倾斜，所述第2镜子的反射面与所述上表面平行。所述第1镜子以及所述第2镜子被配置成：从被摄体的一点通过所述光学透镜入射来的光束被所述第1镜子反射，进而被所述第2镜子反射后照射所述摄像面的一部分的区域，由此被照射的所述区域根据所述被摄体的所述一点的进深而不同。

本发明的另一方式的进深推定摄像装置，具备：摄像元件，其中多个光感知单元被排列在摄像面；光学透镜，被配置成在所述摄像面聚光；透光性部件，被配置在所述摄像面上，且具有光束分割区域，该光束分割区域将从被摄体的一部分通过所述光学透镜入射来的特定的波段的光束划分成至少3个光束；和信号处理部，处理从所述多个光感知单元输出的光电变换信号。所述光束分割区域由包括上表面位于同一平面上的第1部分区域、第2部分区域、以及第3部分区域在内的至少3个部分区域构成，在所述第1部分区域的内部具有使所述特定的波段的光反射的第1镜子，在所述第2部分区域的内部具有第2镜子，在各部分区域的上表面具有第3镜子，该第2镜子具有与所述第1镜子同一反射特性，该第3镜子具有与所述第1镜子同一反射特性。所述第1以及第2镜子的反射面相对于所述光束分割区域的上表面而倾斜，所述第3镜子的反射面与所述上表面平行。所述第1镜子、所述第2镜子、以及所述第3镜子被配置成：从所述被摄体的所述一部分通过所述光学透镜而入射到所述第1部分区域内的所述特定的波段的光束的至少一部分被所述第1镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第1光感知单元组，从所述被摄体的所述一部分通过所述光学透镜而入射到所述第2部分区域内的所述特定的波段的光束的至少一部分被所述第2镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第2光感知单元组，从所述被摄体的所述一部分通过所述光学透镜而入射到所述第3部分区域内的所述特定的波段的光束的至少一部分照射所述多个光感知单元中所包含的第3光感知单元组，由此由所述第1光感知单元组、所述第2光感知单元组、以及所述第3光感知单元组探测的受光量分布彼此不同、且根据所述被摄体的所述一部分的进深而不同。

上述的一般且特定的方式，能采用系统、方法以及计算机程序来实现，或者能采用系统、方法以及计算机程序的组合来实现。

发明效果

根据本发明的实施方式，能够利用不同于现有技术的摄像元件来获得表示被摄体的进深的信息。尤其是，根据将反射红外光且使可见光透射的镜子、和红外截止滤光器组合起来的实施方式，利用红外光而能算出进深信息，利用可见光而能获得没有分辨率下降的通常的图像。即、可以由单眼相机获得进深信息和通常的图像。

附图说明

图1是例示的实施方式1中的摄像装置的构成图。

图2是例示的实施方式1中的摄像部的示意图。

图3A是例示的实施方式1中的透光板的俯视图。

图3B是例示的实施方式1中的透光板的A-A’线剖视图。

图4是例示的实施方式1中的摄像元件的俯视图。

图5A是用于说明例示的实施方式1中的摄像原理的示意图。

图5B是图5A的部分放大图。

图5C是表示例示的实施方式1中的向透光板入射的光的入射样态的概念图。

图6是表示例示的实施方式1中的拍摄动作的流程图。

图7是表示例示的实施方式1中的透光板的第1变形例的俯视图。

图8A是表示例示的实施方式1中的透光板的第2变形例的俯视图。

图8B是图4A中的B-B’线剖视图。

图9是表示例示的实施方式1中的透光板的第3变形例的剖视图。

图10是表示例示的实施方式1中的透光板的第4变形例的剖视图。

图11A是例示的实施方式2中的透光板的俯视图。

图11B是表示例示的实施方式2中的透光板的基本构成的俯视图。

图11C是例示的实施方式2中的透光板的A-A’线剖视图。

图11D是例示的实施方式2中的透光板的B-B’线剖视图。

图12是表示例示的实施方式2中的向透光板入射的光的入射样态的概念图。

图13是表示例示的实施方式2中的拍摄动作的流程图。

具体实施方式

本发明的例示的实施方式的概要如以下所述那样。

本发明的一方式涉及的进深推定摄像装置，具备：摄像元件，其中多个光感知单元被排列在摄像面；光学透镜，被配置成在所述摄像面聚光；透光性部件，被配置在所述摄像面上，且在内部具有反射至少一部分光的第1镜子，在上表面具有第2镜子，该第2镜子具有与所述第1镜子同一反射特性；和信号处理部，处理从所述多个光感知单元输出的光电变换信号。所述第1镜子的反射面相对于所述透光性部件的上表面而倾斜，所述第2镜子的反射面与所述上表面平行，所述第1镜子以及所述第2镜子被配置成：从被摄体的一点通过所述光学透镜入射来的光束被所述第1镜子反射，进而被所述第2镜子反射后照射所述摄像面的一部分的区域，由此被照射的所述区域根据所述被摄体的所述一点的进深而不同。

在某一方式中，所述信号处理部还具备进深信息生成部，该进深信息生成部基于从所述多个光感知单元输出的光电变换信号来探测由所述光束照射到的所述区域，由此生成表示所述被摄体的所述一点的进深的信息。

在某一方式中，所述进深信息生成部参照预先准备的、对由所述光束照射到的所述区域的尺寸与所述被摄体的所述一点的进深之间的对应关系进行规定的信息，由此生成表示所述进深的信息。

在某一方式中，被投影到与所述透光性部件的上表面平行的面上的所述第1镜子的形状为环状或者圆状。

在某一方式中，被投影到与所述透光性部件的上表面平行的面上的所述第2镜子位于包围被投影到所述面上的所述第1镜子的位置。

在某一方式中，所述透光性部件在内部具有第1镜子组，该第1镜子组由包括所述第1镜子且具有同一反射特性、形状以及相对于所述上表面的倾斜角的多个镜子组成，所述第1镜子组的各镜子被配置成：由各镜子反射出的光束进一步由所述第2镜子反射，照射所述摄像面的彼此不同的区域。

在某一方式中，被投影到与所述透光性部件的上表面平行的面上的所述第2镜子位于包围被投影到所述面上的所述第1镜子组的各镜子的位置。

在某一方式中，所述第1镜子以及所述第2镜子的至少一方具有光透射性。

在某一方式中，所述第1镜子以及所述第2镜子具有使特定的波段的光反射、使其他波段的可见光透射的特性。

在某一方式中，所述进深推定摄像装置还具备：光学滤光器，截止所述特定的波段的光；和滤光器驱动部，能够在从所述被摄体到所述摄像元件的光路上装卸所述光学滤光器。

在某一方式中，所述进深推定摄像装置还具备控制部，该控制部按照在所述光学滤光器被插入到所述光路上的第1状态、和所述光学滤光器从所述光路上移除的第2状态下连续地进行两次摄像的方式，控制所述滤光器驱动部以及所述摄像元件。

在某一方式中，所述信号处理部具有：图像生成部，基于在所述第1状态下从所述多个光感知单元输出的光电变换信号来生成图像；和进深信息生成部，通过包括在所述第1状态下从所述多个光感知单元输出的光电变换信号、与在所述第2状态下从所述多个光感知单元输出的光电变换信号之间的差分运算在内的处理，来探测由所述特定的波段的光照射到的所述摄像面的区域，由此生成表示所述被摄体的所述一点的进深的信息。

在某一方式中，所述特定的波段的光为红外光。

在某一方式中，所述特定的波段的下限比650nm长。

本发明的另一方式涉及的摄像元件，具备：光感知单元阵列，其中多个光感知单元被二维排列；和透光性部件，与所述光感知单元阵列对置地配置。所述透光性部件在内部具有反射至少一部分光的第1镜子，在上表面具有第2镜子，该第2镜子具有与所述第1镜子同一反射特性。所述第1镜子的反射面相对于所述透光性部件的上表面而倾斜，所述第2镜子的反射面与所述上表面平行。所述第1镜子以及所述第2镜子被配置成：从被摄体的一点入射来的光束被所述第1镜子反射，进而被所述第2镜子反射后照射所述光感知单元阵列的一部分的区域，由此被照射的所述区域根据所述被摄体的所述一点的进深而不同。

本发明的另一方式涉及的进深推定摄像装置，具备：摄像元件，其中多个光感知单元被排列在摄像面；光学透镜，被配置成在所述摄像面聚光；透光性部件，被配置在所述摄像面上，且具有光束分割区域，该光束分割区域将从被摄体的一部分通过所述光学透镜入射来的特定的波段的光束划分成至少3个光束；和信号处理部，处理从所述多个光感知单元输出的光电变换信号。所述光束分割区域由包括上表面位于同一平面上的第1部分区域、第2部分区域、以及第3部分区域在内的至少3个部分区域构成，在所述第1部分区域的内部具有使所述特定的波段的光反射的第1镜子，在所述第2部分区域的内部具有第2镜子，在各部分区域的上表面具有第3镜子，该第2镜子具有与所述第1镜子同一反射特性，该第3镜子具有与所述第1以及第2镜子同一反射特性。所述第1以及第2镜子的反射面相对于所述光束分割区域的上表面而倾斜，所述第3镜子的反射面与所述上表面平行。所述第1镜子、所述第2镜子、以及所述第3镜子被配置成：从所述被摄体的所述一部分通过所述光学透镜而入射到所述第1部分区域内的所述特定的波段的光束的至少一部分被所述第1镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第1光感知单元组，从所述被摄体的所述一部分通过所述光学透镜而入射到所述第2部分区域内的所述特定的波段的光束的至少一部分被所述第2镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第2光感知单元组，从所述被摄体的所述一部分通过所述光学透镜而入射到所述第3部分区域内的所述特定的波段的光束的至少一部分照射所述多个光感知单元中所包含的第3光感知单元组，由此由所述第1光感知单元组、所述第2光感知单元组、以及所述第3光感知单元组探测的受光量分布彼此不同、且根据所述被摄体的所述一部分的进深而不同。

在某一方式中，所述信号处理部具有进深信息生成部，该进深信息生成部基于从所述第1至第3光感知单元组输出的光电变换信号来生成表示所述被摄体的所述一部分的进深的信息。

在某一方式中，所述进深信息生成部参照预先准备的、对由所述第1至第3光感知单元组的各个光感知单元组探测的受光量的峰值或受光量分布、与所述被摄体的所述一部分的进深之间的对应关系进行规定的信息，由此生成表示所述进深的信息。

在某一方式中，所述光束分割区域由形状以及大小彼此相等的所述第1部分区域、所述第2部分区域、所述第3部分区域、以及第4部分区域构成，所述第3镜子以相同的图案被配置在所述第3以及第4部分区域的上表面。

在某一方式中，在从与所述光束分割区域的上表面垂直的方向观看时，所述第1至第4部分区域被排列成2行2列。

在某一方式中，所述第1部分区域位于第1行第2列，所述第2部分区域位于第2行第1列，所述第3部分区域位于第1行第1列，所述第4部分区域位于第2行第2列。

在某一方式中，所述第3镜子在各部分区域的上表面具有圆状或者环状的开口部。

在某一方式中，所述第3镜子在所述第1部分区域的上表面具有环状的第1开口部，在所述第2部分区域的上表面具有大小与所述第1开口部不同的环状的第2开口部，在所述第3部分区域的上表面具有圆状的开口部。

在某一方式中，所述第1镜子被配置成：反射通过所述第1开口部入射来的光束，朝向由所述第1开口部包围的所述第3镜子的部分；所述第2镜子被配置成：反射通过所述第2开口部入射来的光束，朝向由所述第2开口部包围的所述第3镜子的部分。

在某一方式中，所述特定的波段为红外光的波段。

在某一方式中，所述特定的波段的下限比650nm长。

在某一方式中，所述第1至第3镜子具有使所述特定的波段以外的可见光透射的特性。

在某一方式中，所述透光性部件具有包括所述光束分割区域的同一构造的多个光束分割区域。

在某一方式中，所述进深推定摄像装置还具备：光学滤光器，截止所述特定的波段的光；和滤光器驱动部，能够在光路上装卸所述光学滤光器。

在某一方式中，所述进深推定摄像装置还具备控制部，该控制部按照在所述光学滤光器被插入到光路上的第1状态、和所述光学滤光器从光路上移除的第2状态下连续地进行两次摄像的方式，控制所述滤光器驱动部以及所述摄像元件。

在某一方式中，所述信号处理部具有：图像生成部，基于在所述第1状态下从所述多个光感知单元输出的光电变换信号来生成图像；和进深信息生成部，通过包括在所述第1状态下从所述多个光感知单元输出的光电变换信号、与在所述第2状态下从所述多个光感知单元输出的光电变换信号之间的差分运算在内的处理，来生成表示所述被摄体的所述一部分的进深的信息。

本发明的其他方式涉及的摄像元件，具备：光感知单元阵列，其中多个光感知单元被二维排列；和透光性部件，与所述光感知单元阵列对置地配置，且具有光束分割区域，该光束分割区域将从被摄体的一部分入射来的特定的波段的光束划分成至少3个光束。所述光束分割区域由包括上表面位于同一平面上的第1部分区域、第2部分区域、以及第3部分区域在内的至少3个部分区域构成，在所述第1部分区域的内部具有使所述特定的波段的光反射的第1镜子，在所述第2部分区域的内部具有第2镜子，在各部分区域的上表面具有第3镜子，该第2镜子具有与所述第1镜子同一反射特性，该第3镜子具有与所述第1以及第2镜子同一反射特性。所述第1以及第2镜子的反射面相对于所述光束分割区域的上表面而倾斜，所述第3镜子的反射面与所述上表面平行。所述第1镜子、所述第2镜子、以及所述第3镜子被配置成：从所述被摄体的所述一部分入射到所述第1部分区域内的所述特定的波段的光束的至少一部分被所述第1镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第1光感知单元组，从所述被摄体的所述一部分入射到所述第2部分区域内的所述特定的波段的光束的至少一部分被所述第2镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第2光感知单元组，从所述被摄体的所述一部分入射到所述第3部分区域内的所述特定的波段的光束的至少一部分照射所述多个光感知单元中所包含的第3光感知单元组，由此由所述第1光感知单元组、所述第2光感知单元组、以及所述第3光感知单元组探测的受光量分布彼此不同、且根据所述被摄体的所述一部分的进深而不同。

以下，参照所附的附图，对本发明的更具体的实施方式进行说明。在以下的说明中，对于同一或对应的要素赋予同一符号。

(实施方式1)

首先，说明第1实施方式的进深推定摄像装置(以下简单称作“摄像装置”。)。在说明本实施方式的详细内容之前，首先简单地说明本实施方式的基本概念。

本实施方式的摄像装置具备：摄像元件，其中多个光感知单元被排列在摄像面；光学透镜，被配置成在摄像元件的摄像面聚光；透光性部件，被配置在摄像面上；和信号处理部，处理从多个光感知单元输出的信号。透光性部件在其内部以及上表面分别具有第1镜子和第2镜子。在此，“上表面”是指，透光性部件的表面之中的、与有摄像元件的侧相反侧的表面。第1镜子以及第2镜子被设计成：将入射光的一部分反射。这些镜子典型地具有使特定的波段的光反射、使其他波段的光透射的特性，但是也可以是如半透半反镜那样无论波段如何都将光分离的镜子。第1镜子被设置于透光性部件的内部，其反射面相对于透光性部件的上表面而倾斜。第2镜子按照其反射面与透光性部件的上表面平行的方式被配置在透光性部件上。

如果光从被摄体的一点入射到如此构成的摄像装置，则透射过光学透镜的光的一部分首先被第1镜子反射，进而被第2镜子反射，然后照射摄像元件的摄像面的一部分的区域。在此，被照射的区域依赖于该被摄体的一点的进深、即距摄像装置的距离。其原因在于，如果进深不同，则入射到透光性部件内的光的入射角不同，其结果被第1以及第2镜子反射的光的行进方向不同。

在本实施方式中，提取入射到摄像元件的摄像面并被光电变换的光之中的、由第1以及第2镜子反射并入射来的光的成分，由此检测由该成分的光照射到的区域的形状、尺寸。通过解析检测结果，从而能够获得表示被摄体的进深的信息。关于生成进深信息的具体处理将在后面叙述。

在本实施方式中，摄像装置自身具备图像处理部，用于生成表示被摄体的进深的信息(进深信息)。但是，即便在摄像装置自身不生成进深信息的情况下，将通过摄像所获取到的光电变换信号(以下有时称作“像素信号”。)送到其他装置中，由此该其他装置可以生成进深信息。在本说明书中，这种虽然自身不生成进深信息本身但却提供用于生成进深信息的信息的摄像装置，也称作“进深推定摄像装置”。

以下，对本实施方式的更具体的构成以及动作进行说明。

图1是表示本实施方式中的摄像装置的整体构成的框图。本实施方式的摄像装置为数字式电子相机，具备摄像部100、和基于由摄像部100生成的信号来生成表示图像的信号(图像信号)的信号处理部200。摄像装置也可具备不仅生成静止图像还生成运动图像的功能。

摄像部100具备：固体摄像元件2(以下简单称作“摄像元件”。)，具备由被排列在摄像面上的多个光感知单元构成的光感知单元阵列；透光板1，配置了使红外光反射的镜子(以下称作“红外反射镜”。)；光学透镜3，用于在摄像元件2的摄像面上形成像；红外截止滤光器4；和滤光器驱动部4a，在光学透镜3与透光板1之间取出放入红外截止滤光器4。此外，透光板1被安装在摄像元件2的摄像面上。在本实施方式中，透光板1作为上述的透光性部件发挥功能。摄像部100还具备：信号产生/接收部5，产生用于驱动摄像元件2的基本信号，并且接收来自摄像元件2的输出信号并向信号处理部200送出；和元件驱动部6，基于由信号产生/接收部5所生成的基本信号来驱动摄像元件2。摄像元件2典型的是CCD或CMOS传感器，利用公知的半导体制造技术而被制造。信号产生/接收部5以及元件驱动部6例如由CCD驱动器等LSI构成。此外，滤光器驱动部4a插入红外截止滤光器4的位置无需一定要在光学透镜3与透光板1之间，只要构成为按照在从被摄体到摄像元件2的光路上的任意位置能装卸的方式驱动红外截止滤光器4即可。

信号处理部200具备：图像处理部7，处理从摄像部100输出的信号来生成分辨率没有下降的通常图像以及被摄体的进深信息；存储器30，保存在图像信号的生成中用到的各种数据；和接口(IF)部8，将所生成的图像信号以及进深信息送出到外部。图像处理部7具有：图像生成部7a，生成通常图像；和进深信息生成部7b，生成进深信息。通过公知的数字信号处理器(DSP)等硬件、和执行包含图像信号生成处理的图像处理的软件的组合，可适当地实现图像处理部7。存储器30由DRAM等构成。存储器30记录从摄像部100获得到的信号，并且暂时性记录由图像处理部7所生成的图像数据、被压缩后的图像数据。这些图像数据经由接口部8而被送出到未图示的记录介质或显示部等。

此外，本实施方式的摄像装置虽然会具备电子快门、取景器、电源(电池)、闪光灯等公知的构成要素，但是由于对这些部件的说明对于本发明的理解而没有特别的必要，故省略。另外，上述的构成为一例，在本实施方式中，透光板1、摄像元件2、图像处理部7以外的构成要素能够适当地组合公知的要素来加以使用。

以下，对摄像部100的构成进行更详细地说明。在说明之中，在说明摄像区域的位置、方向时用到图中示出的xyz坐标。将摄像元件10的摄像面设为“xy平面”，对于摄像面中的水平方向而取“x轴”，对于摄像面中的垂直方向而取“y轴”，对于与摄像面垂直的方向而取“z轴”。此外，“水平方向”以及“垂直方向”意味着：与所生成的图像的横方向以及纵方向分别对应的摄像面上的方向。

图2是示意性表示摄像部100中的透镜3、红外截止滤光器4、透光板1、以及摄像元件2的配置关系的图。在摄像时，红外截止滤光器4利用滤光器驱动部4a而在x方向上被移动。在红外截止滤光器4放入到透光板1上的区域内时，向摄像元件2入射的入射光的红外光成分被去除。相反地，在从该光学系统的透光板1上的区域取出红外截止滤光器4时，入射光中包含的红外光成分未被去除，而直接入射到摄像元件2的摄像面。本实施方式的摄像装置根据在将红外截止滤光器4放入到透光板1上的区域内的状态下所获取到的像素信号来生成通常的图像。以下，将进行该动作的模式称作“通常拍摄模式”。另一方面，摄像装置根据在从透光板1上的区域中取出了红外截止滤光器的状态下所获取到的像素信号来算出被摄体的进深。以下，将进行该动作的模式称作“进深推定模式”。

透镜3可以是由多个透镜组构成的透镜单元，但是在图2中为了简便，被描绘成单独的透镜。透镜3为公知的透镜，与有无红外截止滤光器4无关地，对入射光进行聚光，并使其成像在摄像元件2的摄像面。此外，图2所示的各构成要素的配置关系终究只是一例，本发明并不限定于这种例子。例如，也可调换透镜3与红外截止滤光器4以及滤光器驱动部4a的配置关系。另外，在本实施方式中，虽然红外截止滤光器4的取出放入方向为x方向，但是只要能对入射光的红外光成分进行遮光，其方向可以为任意。即、红外截止滤光器4的可动方向可以为y方向，也可以为不同于x方向以及y方向的方向。

图3A是透光板1的俯视图。透光板1的表面的大部分被红外反射镜1b覆盖，局部具有没有被红外反射镜1b覆盖的圆形的部分(以下称作“红外反射开口部”)。在本实施方式中，透光板1由透明玻璃材质制作，且被安装在摄像元件2的光感知部上。透光板1并不限于玻璃，只要是透光性的部件，由任何材质形成均可。

图3B是图3A中的A-A’线剖视图。透光板1在其内部具有反射面已倾斜的环形的红外反射镜1a。由于该红外反射镜1a为环形，因此在其中心部分不存在反射红外光的部分，透射中心部的光直接入射到摄像元件2的光感知单元10。在本实施方式中，红外反射镜1a、1b分别作为上述的第1以及第2镜子发挥功能。

红外反射镜1a、1b都具有主要反射红外光、使其他波段的可见光透射的特性。在本说明书中，“红外光”是指，例如具有比650nm长的波长的电磁波。通过使用这种红外反射镜1a、1b，从而关于人类能视觉识别的可见光，能够不被反射而入射到摄像元件2。

包括图3B所示的红外反射镜1a、1b在内的透光板1，可利用公知的平版印刷术以及蚀刻技术执行薄膜的堆积以及图案化来制造。例如，首先在透明基板上形成多个圆锥台形的突起部。其次，堆积按照仅反射红外光、使其他可见光透射的方式设计了各层的折射率以及膜厚的电介质多层膜。通过蚀刻去除被堆积的多层膜的不用部，由此形成红外反射镜1a。在其上进一步堆积透明层，并按照上表面变为平坦的方式成形。最后，去掉红外反射镜1a上的区域来形成具有与红外反射镜1a同一反射/透射特性的电介质多层膜，由此形成红外反射镜1b。根据这种方法，能够制作透光板1。所制作出的透光板1也可与摄像元件2的摄像面接合，从而与摄像元件2一体化。因而，具备本实施方式中的透光板1的摄像元件也能被独立地制造、出售等。

图4示出由在摄像元件2的摄像部被排列成矩阵状的多个光感知单元10构成的光感知单元阵列的一部分。各光感知单元10典型地具有光电二极管，通过光电变换而将与各自的受光量相应的光电变换信号输出。

根据以上的构成，在通常拍摄模式下，在曝光之中入射到摄像装置的光，通过透镜3、红外截止滤光器4、透光板1而成像于摄像元件2的摄像面上，被各光感知单元10进行光电变换。在该模式下，由于红外截止滤光器4去除了红外光成分，因而入射光在不会受到于透光板1的表面或者内部所设的红外反射镜1a、1b影响的情况下被光电变换。

另一方面，在进深推定模式下，在曝光之中入射到摄像装置的光，通过透镜3、透光板1而成像于摄像元件2的摄像面上，被各光感知单元10进行光电变换。在该模式下，由于没有经过红外截止滤光器4，因此如在以下说明的那样，会出现入射光受到在透光板1的表面或者内部所设的红外反射镜1a、1b的影响。

由各光感知单元10输出的光电变换信号经由信号产生/接收部5而被送出到信号处理部200。信号处理部200中的图像处理部7在通常拍摄模式下，基于送来的信号来生成图像。其结果，获得了分辨率没有下降的通常的图像。另一方面，在进深推定模式下，图像处理部7根据以下所示的处理来算出进深信息。其中，通常的图像的生成是由图像处理部7内的图像生成部7a进行的，进深信息的生成是由图像处理部7内的进深信息生成部7b进行的。

以下，对进深推定模式进行详细地说明。其中，即将进入到该模式之前，摄像装置预先在通常拍摄模式下拍摄一张图像。在进深推定模式下，虽然入射光经由透镜3而直接入射到透光板1，但是入射光的红外光成分的大半却被红外反射镜1b反射。然而，入射到透光板1的红外反射开口部内的红外光成分被直接入射到光感知单元10，或者被红外反射镜1a反射、进而被红外反射镜1b反射后进入到光感知单元10。在本实施方式中，x方向以及y方向都是以约20个像素中有一个的比例来设置红外反射开口部的。在此，1像素是指，配置有一个光感知单元的区域。另外，按照被红外反射镜1a、1b反射的红外光进入到该20个像素的范围内的方式，设计透光板1的厚度和红外反射镜1a的形状以及位置。根据这种红外反射开口部的光学构造，在其中心正下方处红外光成分变多，另外由于红外反射镜1a和1b的反射，其在外周部处红外光成分也变多。在本实施方式中，将红外反射开口部正下方作为中心，调查在其周边出现的红外光成分所形成的环形图像的半径，由此能够推定从摄像装置到被摄体的距离。

以下，参照图5A～5C，对本实施方式中的距离推定原理进行说明。图5A是示意性表示来自被摄体50中的点50a的光线(实线)和来自位于比点50a更远离摄像装置的位置处的点50b的光线(虚线)被光学透镜3会聚后入射到摄像元件2的样态的概念图。在图5A中，摄像装置的构成要素之中的、光学透镜3以及摄像元件2以外的构成要素的图示被省略。图5B是图5A的摄像元件2的摄像面附近的部分放大图。在该例子中，关于从点50a入射的光线(实线)而言，在光感知单元10被排列的摄像面的位置处合焦。另一方面，关于从点50b入射的光线(虚线)而言，在较之光感知单元10、透光板1被设置的位置更靠近被摄体的位置处合焦。因此，红外反射镜1a、1b反射红外光的反射方式在两个情况下不同。这样，向透光板1入射的光的会聚状态、以及被红外反射镜1a、1b反射的反射方式因被摄体的进深而不同。

图5C是更详细地表示从被摄体的一点向透光板1入射的光的会聚状态、以及被红外反射镜1a、1b反射的反射方式因该被摄体的一点的进深不同而不同的概念图。在图5C中，用点线示出入射光通过透镜3而被限定、且成像中心位于比透光板1的表面更靠近摄像元件2侧时的光线路径。此时，光线从x1进展成x2。另外，在图5C中，用一点划线表示入射光的成像中心位于透光板1上、且视为入射光与透光板1的上表面几乎垂直地入射时的光线路径。此时，光线从y1进展成y2。进而，在图5C中，用双点划线示出入射光的成像中心位于比透光板1更靠近被摄体侧时的光线路径。此时，光线从z1进展成z2。这些光线在摄像元件2的摄像面上照射环形的区域，即便作为图像也会出现环形的图像。由这些会聚状态不同的3个种类的光束而形成的图像的形状彼此不同。

由以上可知，基于红外反射镜1a和1b的环形图像的半径根据入射光的成像状况而改变。在此，如果预先通过实验或模拟仿真调查从摄像装置到被摄体的距离、成像状况、环形图像的半径的对应关系，则能够利用该对应关系来求出被摄体的进深。对这种对应关系进行规定的信息可预先保存于存储器30等记录介质中。进深信息生成部7b根据通过摄像所获得到的图像来检测环形图像，并测量该环形图像的半径，由此能够基于所测量出的半径和表示上述对应关系的信息来算出从摄像装置到被摄体的距离。

其次，对进深推定模式下的摄像装置的动作进行说明。在以下的说明中，被摄体设为静止状态。摄像装置首先拍摄一张图像，并保存于存储器30中。将该图像设为IMGa。其中，在即将进入该模式之前预先在通常拍摄模式下拍摄到的图像IMGb也保存于存储器30中。其次，在图像处理部7中进行图像IMGa和图像IMGb的帧间差分处理。在此，在进深推定模式下的拍摄中，摄像元件2在与红外反射开口部对置的区域及其周边区域内接受可见光以及红外光，在除此之外的区域内仅接受可见光。另一方面，在通常拍摄模式下，摄像元件2在受光区域的整个区域内只接受可见光。因此，根据上述帧间差分处理，能够检测从红外反射开口部入射来的红外光所形成的图像IMGi。图像IMGi在红外反射开口部的中心部正下方处亮度变高，另外出现了以红外反射开口部的中心部为中心的环形的图像。图像处理部7中的进深信息生成部7b进行环形图像的检测及其半径的测量，参照对预先作成的环形图像的半径与从摄像装置到被摄体的距离之间的关系已进行了规定的数据库，求出到被摄体为止的距离。进而，图像处理部7中的进深信息生成部7b将各红外反射开口部的位置所对应的图像IMGb上的位置和所算出的进深信息，与图像IMGb一并经由接口部8而输出到外部。在本实施方式中，由于针对每个红外反射开口部获得环形图像，因此能够根据各环形图像的半径来求出被摄体的各点的进深。也可进深信息生成部7b通过求出该被摄体的各点的进深的分布，从而生成并输出使该分布图像化的进深图像。

如果将以上的动作进行总结的话，则由图6的流程图进行表示。首先，摄像装置在通常拍摄模式下进行拍摄，生成可见光图像IMGb(步骤S61)。其次，在进深推定模式下进行拍摄，生成可见/红外光图像IMGa(步骤S62)。然后，进深信息生成部7b在IMGa与IMGb之间进行帧间差分运算处理，由此生成红外光图像IMGi(步骤S63)。之后，进行IMGi中的环形图案的检测、以及各环形图案的半径的测量(步骤S64)。接下来，根据所测量到的半径，参照预先准备的、对半径-被摄体距离之间的关系进行了规定的数据库，求出到被摄体为止的距离(步骤S65)。最后，输出该被摄体的距离信息(S66)。

如以上那样，在本实施方式中，在红外截止滤光器4被插入到光路上的第1状态(通常拍摄模式)、和红外截止滤光器4从光路上移除的第2状态下，连续地进行两次摄像。由图1所示的信号产生/接收部5控制滤光器驱动部4a以及元件驱动部6的动作，由此实现该两次连续的摄像。本实施方式的摄像装置具有在进深信息的算出中利用红外光、在通常的图像获取中利用可见光这一特征。通过在摄像元件2的摄像面上安装其上表面的大部分被红外反射镜1b覆盖、且具有多个红外反射开口部的透光板1，由此能够根据摄像图像检测红外光所形成的图像。而且，具有基于检测到的形状、和对预先求出的形状与进深之间的对应关系进行规定的信息，能够算出到被摄体为止的进深信息这一效果。由于进深的信息量是由红外反射开口部的个数决定的，所以红外反射开口部的个数越多则进深信息越多，红外反射开口部的个数越少则进深信息也越少。在本实施方式中，还具有与进深信息一并获得分辨率没有下降的通常图像这一效果。

此外，在本实施方式中，虽然由红外反射镜1b覆盖了透光板1的大部分，但是并不限于这种构成。只要构成为基于红外反射镜1a、1b的反射光入射到所限定的范围内的光感知单元组中即可，无论是什么形式均可。例如，如图7所示那样，也可在所限定的区域内配置红外反射镜1b。在该例子中，在透光板1中没有设置红外反射镜1a、1b的区域相对于红外光而言是透明的，也可具有遮光性。另外，在本实施方式中，虽然以约20个像素中有一个的比例设置了红外反射开口部，但是这终究只是设计值的一例。如果进一步增加红外反射开口部的个数，则能够更详细地算出进深信息。另一方面，如果红外反射开口部的配置变得过密，则相邻的环形图案彼此之间会重叠，恐怕难以推定进深。因此，该设计值要根据所请求的进深信息的规格来决定。进而，在进深推定模式下，虽然将红外截止滤光器4从摄像光学系统移除，并事前拍摄一张图像，但是也可取代红外截止滤光器4而将仅使红外光透射的红外透射滤光器插入到摄像光学系统中。此时，由于直接获得图像IMGi，因此不需要事前的图像摄像及帧间差分处理。此时，红外反射镜1a、1b的一方或两方只要具有反射红外光的特性即可，也可不具有光透射性。

另外，关于透光板1而言，除了上述的实施方式的构成以外，例如也可以使用图8A以及图8B所示的透光板1。图8A是透光板1的俯视图，图8B是图8A中的B-B’线剖视图。在该例子中，红外反射开口部整个区域被红外反射镜1a覆盖，红外反射镜1a的形状为伞状。即便是这种形状，也可获得红外反射镜1a和1b的反射光所形成的环形的图像，因此能够利用同样的处理来算出进深信息。

另外，作为其他例子，也可以使用具有图9或图10所示的剖面构造的透光板1。在图9所示的例子中，始终将红外截止滤光器4插入到摄像光学系统中，利用半透半反镜1c而使半透半反镜1c的反射光在透光板1与外部的空气层的界面1d全部反射，并向光感知单元10入射。由于由半透半反镜1c反射并向光感知单元10入射的光的部分的亮度高，因此如果检测该部分，则能算出进深信息。其中，在该情况下，作为图像，由于成为受到半透半反镜1c影响的图像，因此在图像中产生模糊。为了获得没有受到该影响的图像，需要预先求出半透半反镜1c下的区域附近处的PSF(Point Spread Function)，并将使用了该PSF的图像恢复处理包含于图像处理部7的处理中。在图9所示的例子中，半透半反镜1c对应于上述的第1镜子，透光板1与空气层的界面1d对应于第2镜子。这样，本申请说明书中的“镜子”无需一定是使特定波段的光透射的光学系统。

在图10所示的例子中，按照红外反射镜1a和1b的反射光在红外反射镜1b正下方聚光的方式改变了红外反射镜1a的倾斜状态。在采用这种构造的情况下，虽然环形图像出现在红外反射镜1a正下方的内侧，但是通过进行与上述同样的处理却能够算出被摄体的进深信息。

此外，在以上的实施方式中，也可取代反射红外光的红外反射镜1a、1b而使用反射其他波段的光的光学部件。此时，只要取代红外截止滤光器4而使用截止该波段的光的光学滤光器，便能够根据同样的处理来获得进深信息。此外，在这种构成中要获得通常图像的情况下，在配置了用于去除红外光的、红外截止滤光器4的基础上，可一并配置截止该波段的光的光学滤光器。

另外，在上述的实施方式中，如果向与透光板1的上表面平行的平面投影红外反射镜1a，则成为圆状或者环状的形状，但是无需一定要是这种形状。红外反射镜1a的形状例如也可以是发生了倾斜的平板状或条纹状。进而，在将红外反射镜1a、1b投影到与透光板1的上表面平行的面上时，无需红外反射镜1b位于包围红外反射镜1a的周围的位置，只要发生基于两者的光的反射即可，采用任何配置均可。

在以上的实施方式中，虽然通过探测由被两个镜子反射的光束照射到的摄像面上的区域的半径来求出被摄体的进深，但是无需一定基于该区域的半径。也可不基于半径而基于面积或光感知单元数来求出进深。另外，在按照该区域的形状或受光量的分布与进深相关的方式构成了透光板1的情况下，只要预先调查形状与进深之间的对应关系即可，从而可以不基于该区域的尺寸而基于形状或受光量的分布来求出进深。此外，由来自被摄体的一点的光束照射到的区域，能够根据从多个光感知单元输出的光电变换信号的强度进行评价。例如，能够根据输出一定强度以上的光电变换信号的光感知单元的分布来检测照射区域的形状、尺寸。另外，能够根据信号强度的分布来获得照射区域的受光量分布。

在以上的实施方式中，虽然假设内置于摄像装置的图像处理部7进行图像处理，但是也可使与摄像装置独立的其他装置执行该图像处理。例如，将由具有上述的各实施方式中的摄像部100的摄像装置获取到的信号输入至其他装置(图像处理装置)，使内置于该图像处理装置的计算机来执行规定上述信号运算处理的程序，由此也能获得同样的效果。在使外部的图像处理装置执行图像处理的情况下，摄像装置也可不具备图像处理部。

(实施方式2)

其次，说明第2实施方式的摄像装置。在说明本实施方式的详细内容之前，首先简单地说明本实施方式的摄像装置的基本概念。

本实施方式的摄像装置具备：摄像元件，其中多个光感知单元被排列在摄像面；光学透镜，被配置成在摄像元件的摄像面聚光；透光性部件，被配置在摄像面上；和信号处理部，处理从多个光感知单元输出的信号。透光性部件具有光束分割区域，该光束分割区域将从被摄体的一部分通过光学透镜入射来的特定的波段的光束划分成至少3个光束。光束分割区域由包含第1部分区域、第2部分区域、以及第3部分区域在内的至少3个部分区域构成。光束分割区域在其内部具有第1镜子以及第2镜子，在其上表面具有第3镜子。在此，“上表面”是指，透光性部件的表面之中的、与有摄像元件的侧相反侧的表面。第1至第3镜子被设计成：具有同一反射特性，且使特定的波段的光反射。

“特定的波段”例如是下限比650nm长的红外光的波段，但是也可以是可见光的波段。

第1镜子被设置于第1部分区域内，第2镜子被设置于第2部分区域内。第1以及第2镜子的反射面相对于光束分割区域的上表面而倾斜。另一方面，第3镜子的反射面与光束分割区域的上表面平行。

从被摄体的一部分通过光学透镜而入射到如此构成的摄像装置的光束分割区域内的上述的特定波段的光束历经以下的路径。入射到光束分割区域的第1部分区域内的光束的至少一部分，首先被内部的第1镜子反射，进而被上表面的第3镜子反射，然后照射第1光感知单元组。入射到光束分割区域的第2部分区域内的光束的至少一部分，首先被内部的第2镜子反射，进而被上表面的第3镜子反射，然后照射第2光感知单元组。入射到光束分割区域的第3部分区域内的光束的至少一部分，在没有被第1以及第2镜子反射的情况下照射第3光感知单元组。在此，第1至第3光感知单元组典型的为位于第1至第3部分区域所分别对置的摄像面上的区域内的多个光感知单元。为了防止光电变换信号的重叠，优选第1至第3光感知单元组彼此不重复。

在此，第1至第3镜子被配置成：由第1至第3光感知单元组探测的受光量分布彼此不同。即、从同一被摄体的点通过光学透镜入射到一个光束分割区域内的光束，在第1部分区域、第2部分区域、第3部分区域内受到了彼此不同的反射作用，其结果光量的空间分布发生变化。这例如对于第1至第3光感知单元组而言，表现为元件数、照射区域的形状、输出的峰值、输出的平均值、输出的分散等彼此不同这一结果。

进而，由于第1至第3部分区域内的反射作用彼此不同，因此由各光感知单元组探测的受光量分布根据该被摄体的一部分的进深而变化。其原因在于，如果被摄体的该一部分的进深不同，则入射到光束分割区域内的光的入射角不同，其结果被各反射镜反射的光的行进方向也不同。这意味着：由各光感知单元组探测的受光量分布与进深之间存在相关关系。

在本实施方式中，提取入射到摄像元件的摄像面并被光电变换的光之中的、由第1至第3镜子反射并入射来的光的成分，由此检测由该成分的光照射到的各光感知单元组的受光量分布或峰值等。通过解析检测结果，从而能够获得表示被摄体的进深的信息(进深信息)。关于生成进深信息的具体处理将在后面叙述。

在本实施方式中，摄像装置自身具备图像处理部，用于生成表示被摄体的进深的信息(进深信息)。但是，即便在摄像装置自身不生成进深信息的情况下，将通过摄像所获取到的光电变换信号送到其他装置中，由此该其他装置可以生成进深信息。如上述那样，这种虽然自身不生成进深信息本身但却提供用于生成进深信息的信息的摄像装置，也称作“进深推定摄像装置”。

以下，对本实施方式中的摄像装置的具体构成以及动作进行说明。本实施方式中的摄像装置的整体构成与图1所示的构成同样。在本实施方式中，透光板1的构成以及图像处理部7的处理不同于实施方式1。以下，以不同于实施方式1的点为中心来进行说明，省略对同一事项的说明。

图11A是表示透光板1的一部分的构成的俯视图。具有透光板1的表面的大部分被红外反射镜1b覆盖、局部没有被红外反射镜1b覆盖的圆形状或者环形状的红外反射开口部。本实施方式中的透光板1是多个光束分割区域1u的集合。在以下的说明中，假定：看做大致一样的光束从被摄体的一部分通过光学透镜3入射到一个光束分割区域1u。本实施方式中的光束分割区域1u被设计成：将该光束中包含的红外的波段的光束划分成4个部分光束并分别照射到不同的光感知单元组。在本实施方式中，透光板1由透明玻璃材质制作，且被安装于摄像元件2的多个光感知单元上。透光板1不限于玻璃，只要是透光性的部件即可，由任何材质形成均可。

图11B是表示透光板1的一个光束分割区域1u的俯视图。光束分割区域1u由4个部分区域构成，这些部分区域被排列成2行2列。在图11B中，4个部分区域用点线区分表示，但是实际上这种边界并非明确地存在。在位于第1行第2列的第1部分区域1u-1内，在其上表面配置了具有环状的第1红外反射开口部的红外反射镜1b，在其内部配置了使通过了第1红外反射开口部的红外光反射的红外反射镜1a-1。在位于第2行第1列的第2部分区域1u-2内，在其上表面配置了具有大小与上述不同的环状的第2红外反射开口部的红外反射镜1b，在其内部配置了使通过了第2红外反射开口部的红外光反射的红外反射镜1a-2。位于第1行第1列的第3部分区域1u-3、和位于第2行第2列的第4部分区域1u-4具有同一图案。在第3部分区域1u-3以及第4部分区域1u-4的上表面配置了具有圆形状的红外反射开口部的红外反射镜1b。

图11C是图11B中的A-A′线剖视图。在图11C中，透光板1的右侧一半为第1部分区域1u-1，左侧一半为第3部分区域1u-3。在第1部分区域1u-1的内部，配置有反射面相对于上表面而倾斜的环状的红外反射镜1a-1。红外反射滤光器1a-1按照被反射的红外光朝向被第1红外反射开口部包围的红外反射镜1b的部分的方式，设计倾斜角以及距上表面的深度。由红外反射镜1a-1反射的红外光，进而被红外反射镜1b的该部分反射，然后入射到摄像元件2的多个光感知单元10的一部分。另一方面，在第3部分区域1u-3的内部没有设置反射镜。因此，通过了第3部分区域1u-3内的圆形的红外反射开口部的红外光，然后在不被反射的情况下照射多个光感知单元10的一部分。

图11D是图11B中的B-B′线剖视图。在图11D中，透光板1的左侧一半为第2部分区域1u-2，右侧一半为第4部分区域1u-4。在第2部分区域1u-2的内部，配置有反射面相对于上表面而倾斜的环状的红外反射镜1a-2。红外反射滤光器1a-2按照被反射的红外光朝向被第2红外反射开口部包围的红外反射镜1b的部分的方式，设计倾斜角以及距上表面的深度。由红外反射镜1a-2反射的红外光，进而被红外反射镜1b的该部分反射，然后入射到摄像元件2的多个光感知单元10的一部分。另一方面，在第4部分区域1u-4的内部没有设置反射镜。因此，通过了第4部分区域1u-4内的圆形的红外反射开口部的红外光，然后在不被反射的情况下照射多个光感知单元10的一部分。

在本实施方式中，红外反射镜1a-1、1a-2、1b分别作为上述的第1、第2、第3镜子发挥功能。如本实施方式那样，第1至第3镜子的各个镜子也可被分割成多个部分。

红外反射镜1a-1、1a-2、1b都具有主要反射红外光、使其他波段的可见光透射的特性。如上述那样，“红外光”是指，例如具有比650nm长的波长的电磁波。通过使用这种红外反射镜1a-1、1a-2、1b，从而关于人类能视觉识别的可见光，能够不被反射而入射到摄像元件2。

包括图11C以及图11D所示的红外反射镜1a-1、1a-2、1b在内的透光板1，可利用公知的平版印刷术以及蚀刻技术执行薄膜的堆积以及图案化来制造。例如，首先在透明基板上的规定的位置处以一定的图案形成2个种类的圆锥状的凹部。其次，堆积按照仅反射红外光、使其他的可见光透射的方式设计各层的折射率以及膜厚的电介质多层膜。通过蚀刻去除被堆积的多层膜的不用部，由此形成红外反射镜1a-1、1a-2。在其上进一步堆积透明层，并按照上表面变为平坦的方式成形。最后，去掉红外反射镜1a-1、1a-2上的区域来形成具有与红外反射镜1a-1、1a-2同一反射/透射特性的电介质多层膜，由此形成红外反射镜1b。根据这种方法，能够制作透光板1。所制作出的透光板1也可与摄像元件2的摄像面接合，从而与摄像元件2一体化。

根据以上的构成，在将红外截止滤光器4插入到光路上来进行拍摄的通常拍摄模式下，在曝光之中入射到摄像装置的光，通过透镜3、红外截止滤光器4、透光板1而成像于摄像元件2的摄像面上，被各光感知单元10进行光电变换。在该模式下，由于红外截止滤光器4去除了红外光成分，因此入射光在不会受到于透光板1的表面或者内部所设的红外反射镜1a-1、1a-2、1b影响的情况下被光电变换。

另一方面，在将红外截止滤光器4从光路上移除来进行拍摄的进深推定模式下，在曝光之中入射到摄像装置的光，通过透镜3、透光板1而成像于摄像元件2的摄像面上，被各光感知单元10进行光电变换。在该模式下，由于没有经过红外截止滤光器4，因此如在以下说明的那样，会出现入射光受到在透光板1的表面或者内部所设的红外反射镜1a-1、1a-2、1b的影响。

由各光感知单元10输出的光电变换信号经由信号产生/接收部5而被送出到信号处理部200。信号处理部200中的图像处理部7在通常拍摄模式下，基于送来的信号来生成图像。其结果，获得了分辨率没有下降的通常的图像。另一方面，在进深推定模式下，图像处理部7根据以下所示的处理来算出进深信息。其中，通常的图像的生成是由图像处理部7内的图像生成部7a进行的，进深信息的生成是由图像处理部7内的进深信息生成部7b进行的。

以下，对进深推定模式进行详细的说明。其中，即将进入到该模式之前，摄像装置预先在通常拍摄模式下拍摄一张图像。在进深推定模式下，虽然入射光经由透镜3而直接入射到透光板1，但是入射光的红外光成分的大半却被红外反射镜1b反射。然而，入射到透光板1的红外反射开口部内的红外光成分被直接入射到光感知单元10，或者被红外反射镜1a-1、1a-2反射、进而被红外反射镜1b反射后进入到光感知单元10。作为透光板1的基本单位的一个光束分割区域的尺寸，例如针对x、y方向的各个方向而言为约20个像素的尺寸。此外，一个光束分割区域的尺寸并不限于上述的例子，只要是透射过各部分区域的红外光照射多个光感知单元那样的尺寸即可。另外，按照被红外反射镜1a-1、1a-2、1b反射的红外光进入到该范围内的方式，设定透光板1的厚度和红外反射镜1a-1、1a-2的形状以及位置。根据这种红外反射开口部中的光学构造，在其中心正下方处检测出红外光成分较多。

在本实施方式中，一个光束分割区域的第1行第1列和第2行第2列的部分区域为相同构造，在其内部没有设置红外反射滤光器。另一方面，关于第1行第2列和第2行第1列的部分区域，在其内部具有红外反射滤光器1a-1、1a-2，且这些红外反射滤光器的形状、配置不同。如图11C所示那样，在第1行第2列的图案中，与第1行第1列的图案相比，成像点短。另一方面，如图11D所示那样，在第2行第1列的图案中，与第1行第1列的图案相比，成像点长。其结果，能够作成从上表面到成像点的距离彼此不同的3个成像状态。

一般，如果是3个成像状态不同的图像，则能够推定从它们到被摄体的距离。在成像状态不同的图像中，由于成像点越靠近于光感知单元则其信号量越大，因此从第1至第3部分区域所分别对置的第1至第3光感知单元组输出的信号量的峰值彼此不同。另外，如果被摄体的进深不同，则这些信号量的峰值之比也发生变化。因此，在本实施方式中，预先通过实验或模拟仿真来调查从各部分区域所对置的光感知单元组输出的光电变换信号的峰值、与从摄像装置到被摄体的距离之间的对应关系，并预先使表示这些关系的信息数据库化。这种数据库可保存于例如存储器30等记录介质中。由此，进深信息生成部7b能够基于光电变换信号来观测3个种类的成像状态，并按照预先求出的对应关系来推定被摄体的进深。该数据库例如是表示“来自第1光感知单元组的像素信号的峰值：来自第2光感知单元组的像素信号的峰值：来自第3光感知单元组的像素信号的峰值：进深”那样的比的信息。此外，在本实施方式中，由于第3部分区域1u-3和第4部分区域1u-4具有同一构造，因此利用位于这些部分区域所对置的摄像面上的区域内的光感知单元的信号的平均值。

在此，参照图12，说明由从被摄体的一部分通过光学透镜3入射到一个部分区域内的红外光所照射到的光感知单元组的受光量分布因被摄体的该一部分的进深而不同的情况。作为例子，假定红外光入射到第1部分区域1u-1的情况。图12是表示从被摄体的一部分向第1部分区域1u-1入射的光的会聚状态因被摄体的该一部分的进深而不同的概念图。首先，用点线示出入射光通过透镜3而被限定、且成像中心位于比透光板1更靠近摄像元件2侧时的光线路径。此时，光线从x1进展成x2。用一点划线表示入射光的成像中心位于透光板1上、且视为入射光与透光板1的上表面几乎垂直地入射时的光线路径。此时，光线从y1进展成y2。用双点划线示出入射光的成像中心位于比透光板1更靠近上部时的光线路径。此时，光线从z1进展成z2。由于这些光线在摄像元件2的摄像面上具有不同的光量分布，因此由光感知单元组检测的受光量分布也不同。如以上那样，由从被摄体的一部分通过光学透镜3入射到一个部分区域内的红外光所照射到的光感知单元组的受光量分布因被摄体的该一部分的进深而不同。

其次，对进深推定模式下的摄像装置的动作进行说明。在以下的说明中，被摄体设为静止状态。摄像装置首先拍摄一张图像，并保存于存储器30中。将该图像设为IMGa。其中，在即将进入该模式之前预先在通常拍摄模式下拍摄到的图像IMGb也保存于存储器30中。其次，在图像处理部7中进行图像IMGa和图像IMGb的帧间差分处理。在此，在进深推定模式下的拍摄中，摄像元件2在与红外反射开口部对置的区域及其周边区域内接受可见光以及红外光，在除此之外的区域内仅接受可见光。另一方面，在通常拍摄模式下，摄像元件2在受光区域的整个区域内只接受可见光。因此，根据上述帧间差分处理，能够检测从红外反射开口部入射来的红外光所形成的图像IMGi。图像处理部7中的进深信息生成部7b对各部分区域的正下方的光电变换信号进行测量，根据预先作成的、对像素信号的峰值与从摄像装置到被摄体的距离之间的关系进行表示的数据库，求出到被摄体为止的距离。进而，图像处理部7中的进深信息生成部7b将各红外反射开口部的位置所对应的图像IMGb上的位置和所算出的进深信息，与图像IMGb一并经由接口部8而输出到外部。也可进深信息生成部7b通过求出该被摄体的各点的进深的分布，从而生成并输出使该分布图像化的进深图像。

如果将以上的动作进行总结的话，则由图13的流程图进行表示。首先，摄像装置在通常拍摄模式下进行拍摄，生成可见光图像IMGb(步骤S131)。其次，在进深推定模式下进行拍摄，生成可见/红外光图像IMGa(步骤S132)。然后，进深信息生成部7b在IMGa与IMGb之间进行帧间差分运算处理，由此生成红外光图像IMGi(步骤S133)。之后，测量IMGi中的信号的峰值(步骤S134)。接下来，根据所测量到的峰值，参照预先准备的、对峰值-被摄体距离之间的关系进行了规定的数据库，求出到被摄体为止的距离(步骤S135)。最后，输出该被摄体的距离信息(S136)。

如以上那样，在本实施方式中，在红外截止滤光器4被插入到光路上的第1状态(通常拍摄模式)、和红外截止滤光器4从光路上移除的第2状态下，连续地进行两次摄像。由图1所示的信号产生/接收部5控制滤光器驱动部4a以及元件驱动部6的动作，由此实现该两次连续的摄像。本实施方式的摄像装置具有在进深信息的算出中利用红外光、在通常的图像获取中用到可见光这一特征。通过在摄像元件2的摄像面上安装其上表面的大部分被红外反射镜1b覆盖、且具有在内部配置有红外反射镜1a-1、1a-2的多个红外反射开口部的透光板1，由此能够根据摄像图像检测红外光所形成的图像。而且，具有基于由透光板1的各部分区域所对应的光感知单元组检测到的受光量分布能够算出进深信息这一效果。由于进深的信息量是由光束分割区域1u的个数决定的，所以光束分割区域1u的个数越多则进深信息越多。在本实施方式中，还具有与进深信息一并获得分辨率没有下降的通常图像这一效果。

此外，在本实施方式中，在进深推定模式下，虽然将红外截止滤光器4从摄像光学系统移除，并事前拍摄一张图像，但是也可取代红外截止滤光器4而将仅使红外光透射的红外透射滤光器插入到摄像光学系统中。此时，由于直接获得图像IMGi，因此不需要事前的图像摄像及帧间差分处理。此时，红外反射镜1a-1、1a-2、1b只要具有反射红外光的特性即可，也可不具有光透射性。

另外，也可取代反射红外光的红外反射镜1a-1、1a-2、1b而使用反射其他波段的光的光学部件。此时，只要取代红外截止滤光器4而使用截止该波段的光的光学滤光器，便能够根据同样的处理来获得进深信息。此外，在这种构成中要获得通常图像的情况下，在配置了用于去除红外光的红外截止滤光器4的基础上，可一并配置截止该波段的光的光学滤光器。

另外，在本实施方式中，虽然被投影到与透光板1的上表面平行的平面上的红外反射镜1a-1、1a-2具有环状的形状，但是无需一定要是这种形状，例如可以是平板状。进而，在将红外反射镜1a-1、1a-2、1b投影到与上表面平行的平面上时，无需红外反射镜1b位于包围红外反射镜1a-1、1a-2的周围的位置，只要发生基于这些红外反射镜的光的反射即可，采用任何配置均可。

在本实施方式中，虽然基于由光束分割区域1u的各部分区域所对应的光感知单元组而检测到的受光量的峰值之比，求出被摄体的一部分的进深信息，但是也可基于其他信息来求出进深信息。例如，在本实施方式中，由于按每个红外反射开口部获得环形图像，因此也可根据各环形图像的半径之比来求出被摄体的各点的进深。另外，也可利用由各光感知单元组检测到的受光量分布本身。例如，也可根据由各光感知单元组检测到的受光量的平均值、方差来求出进深。此时，只要预先求出对由各光感知单元组检测到的受光量分布与进深之间的对应关系进行规定的信息即可。

在本实施方式中，虽然透光板1具有被二维状排列的多个光束分割区域1u，但是透光板1只要具有最低限度为一个的光束分割区域1u即可。如果设置一个光束分割区域，则能够求出被摄体的一点的进深。另外，一个光束分割区域1u无需具有图11B所示那样的2行2列的排列，可以为任意排列。另外，无需一个光束分割区域1u被划分成4个部分区域，只要被分割成至少3个部分区域即可。

在本实施方式中，虽然假设内置于摄像装置的图像处理部7进行图像处理，但是也可使与摄像装置独立的其他装置执行该图像处理。例如，将由具有上述的各实施方式中的摄像部100的摄像装置获取到的信号输入至其他装置(图像处理装置)，使内置于该图像处理装置的计算机来执行规定上述信号运算处理的程序，由此也能获得同样的效果。在使外部的图像处理装置执行图像处理的情况下，摄像装置也可不具备图像处理部。

产业上的利用可能性

本发明的实施方式涉及的摄像装置对于采用了摄像元件的所有相机是有效的。例如，能够利用于数码相机或数码摄像机等的家庭用相机、产业用的固体监控相机等。

符号说明：

1透光板

1a、1b、1a-1、1a-2红外反射镜

1c半透半反镜

1u光束分割区域

1u-1、1u-2、1u-3、1u-4部分区域

2固体摄像元件

3透镜

4红外截止滤光器

4a滤光器驱动部

5信号产生/接收部

6元件驱动部

7图像处理部

7a图像生成部

7b进深信息生成部

8接口部

10光感知单元

30存储器

100摄像部

200信号处理部

Claims (32)

1.一种进深推定摄像装置，具备：

摄像元件，其中多个光感知单元被排列在摄像面；

光学透镜，被配置成在所述摄像面聚光；

透光性部件，被配置在所述摄像面上，且在内部具有反射至少一部分光的第1镜子，在上表面具有第2镜子，该第2镜子具有与所述第1镜子同一反射特性；和

信号处理部，处理从所述多个光感知单元输出的光电变换信号，

所述第1镜子的反射面相对于所述透光性部件的上表面而倾斜，

所述第2镜子的反射面与所述上表面平行，

所述第1镜子以及所述第2镜子被配置成：从被摄体的一点通过所述光学透镜入射来的光束被所述第1镜子反射，进而被所述第2镜子反射后照射所述摄像面的一部分的区域，由此被照射的所述区域根据所述被摄体的所述一点的进深而不同。

2.根据权利要求1所述的进深推定摄像装置，其中，

所述信号处理部还具备进深信息生成部，该进深信息生成部基于从所述多个光感知单元输出的光电变换信号来探测由所述光束照射到的所述区域，由此生成表示所述被摄体的所述一点的进深的信息。

3.根据权利要求2所述的进深推定摄像装置，其中，

所述进深信息生成部参照预先准备的、对由所述光束照射到的所述区域的尺寸与所述被摄体的所述一点的进深之间的对应关系进行规定的信息，由此生成表示所述进深的信息。

4.根据权利要求1至3任一项所述的进深推定摄像装置，其中，

被投影到与所述透光性部件的上表面平行的面上的所述第1镜子的形状为环状或者圆状。

5.根据权利要求1至4任一项所述的进深推定摄像装置，其中，

被投影到与所述透光性部件的上表面平行的面上的所述第2镜子位于包围被投影到所述面上的所述第1镜子的位置。

6.根据权利要求1至5任一项所述的进深推定摄像装置，其中，

所述透光性部件在内部具有第1镜子组，该第1镜子组由包括所述第1镜子且具有同一反射特性、形状以及相对于所述上表面的倾斜角的多个镜子组成，

所述第1镜子组的各镜子被配置成：由各镜子反射出的光束由所述第2镜子进一步反射，照射所述摄像面彼此不同的区域。

7.根据权利要求6所述的进深推定摄像装置，其中，

被投影到与所述透光性部件的上表面平行的面上的所述第2镜子位于包围被投影到所述面上的所述第1镜子组的各镜子的位置。

8.根据权利要求1至7任一项所述的进深推定摄像装置，其中，所述第1镜子以及所述第2镜子的至少一方具有光透射性。

9.根据权利要求1至8任一项所述的进深推定摄像装置，其中，

所述第1镜子以及所述第2镜子具有使特定的波段的光反射、使其他波段的可见光透射的特性。

10.根据权利要求9所述的进深推定摄像装置，其中，

所述进深推定摄像装置还具备：

光学滤光器，截止所述特定的波段的光；和

滤光器驱动部，能够在从所述被摄体到所述摄像元件的光路上装卸所述光学滤光器。

11.根据权利要求10所述的进深推定摄像装置，其中，

所述进深推定摄像装置还具备控制部，该控制部按照在所述光学滤光器被插入到所述光路上的第1状态、和所述光学滤光器从所述光路上移除的第2状态下连续地进行两次摄像的方式，控制所述滤光器驱动部以及所述摄像元件。

12.根据权利要求11所述的进深推定摄像装置，其中，

所述信号处理部具有：

图像生成部，基于在所述第1状态下从所述多个光感知单元输出的光电变换信号来生成图像；和

进深信息生成部，通过包括在所述第1状态下从所述多个光感知单元输出的光电变换信号、与在所述第2状态下从所述多个光感知单元输出的光电变换信号之间的差分运算在内的处理，来探测由所述特定的波段的光照射到的所述摄像面的区域，由此生成表示所述被摄体的所述一点的进深的信息。

13.根据权利要求9至12任一项所述的进深推定摄像装置，其中，所述特定的波段的光为红外光。

14.根据权利要求9至13任一项所述的进深推定摄像装置，其中，所述特定的波段的下限比650nm长。

15.一种摄像元件，具备：

光感知单元阵列，其中多个光感知单元被二维排列；和

透光性部件，与所述光感知单元阵列对置地配置，

所述透光性部件在内部具有反射至少一部分光的第1镜子，在上表面具有第2镜子，该第2镜子具有与所述第1镜子同一反射特性，

所述第1镜子的反射面相对于所述透光性部件的上表面而倾斜，

所述第2镜子的反射面与所述上表面平行，

所述第1镜子以及所述第2镜子被配置成：从被摄体的一点入射来的光束被所述第1镜子反射，进而被所述第2镜子反射后照射所述光感知单元阵列的一部分的区域，由此被照射的所述区域根据所述被摄体的所述一点的进深而不同。

16.一种进深推定摄像装置，具备：

摄像元件，其中多个光感知单元被排列在摄像面；

光学透镜，被配置成在所述摄像面聚光；

透光性部件，被配置在所述摄像面上，且具有光束分割区域，该光束分割区域将从被摄体的一部分通过所述光学透镜入射来的特定的波段的光束划分成至少3个光束；和

信号处理部，处理从所述多个光感知单元输出的光电变换信号，

所述光束分割区域由包括上表面位于同一平面上的第1部分区域、第2部分区域、以及第3部分区域在内的至少3个部分区域构成，在所述第1部分区域的内部具有使所述特定的波段的光反射的第1镜子，在所述第2部分区域的内部具有第2镜子，在各部分区域的上表面具有第3镜子，该第2镜子具有与所述第1镜子同一反射特性，该第3镜子具有与所述第1以及第2镜子同一反射特性，

所述第1以及第2镜子的反射面相对于所述光束分割区域的上表面而倾斜，

所述第3镜子的反射面与所述上表面平行，

所述第1镜子、所述第2镜子、以及所述第3镜子被配置成：

从所述被摄体的所述一部分通过所述光学透镜而入射到所述第1部分区域内的所述特定的波段的光束的至少一部分被所述第1镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第1光感知单元组，

从所述被摄体的所述一部分通过所述光学透镜而入射到所述第2部分区域内的所述特定的波段的光束的至少一部分被所述第2镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第2光感知单元组，

从所述被摄体的所述一部分通过所述光学透镜而入射到所述第3部分区域内的所述特定的波段的光束的至少一部分照射所述多个光感知单元中所包含的第3光感知单元组，

由此由所述第1光感知单元组、所述第2光感知单元组、以及所述第3光感知单元组探测的受光量分布彼此不同，且根据所述被摄体的所述一部分的进深而不同。

17.根据权利要求16所述的进深推定摄像装置，其中，

所述信号处理部具有进深信息生成部，该进深信息生成部基于从所述第1至第3光感知单元组输出的光电变换信号来生成表示所述被摄体的所述一部分的进深的信息。

18.根据权利要求17所述的进深推定摄像装置，其中，

所述进深信息生成部参照预先准备的、对由所述第1至第3光感知单元组的各个光感知单元组探测的受光量的峰值或受光量分布、与所述被摄体的所述一部分的进深之间的对应关系进行规定的信息，由此生成表示所述进深的信息。

19.根据权利要求16至18任一项所述的进深推定摄像装置，其中，

所述光束分割区域由形状以及大小彼此相等的所述第1部分区域、所述第2部分区域、所述第3部分区域、以及第4部分区域构成，

所述第3镜子以相同的图案被配置在所述第3以及第4部分区域的上表面。

20.根据权利要求19所述的进深推定摄像装置，其中，

在从与所述光束分割区域的上表面垂直的方向观看时，

所述第1至第4部分区域被排列成2行2列。

21.根据权利要求20所述的进深推定摄像装置，其中，

所述第1部分区域位于第1行第2列，

所述第2部分区域位于第2行第1列，

所述第3部分区域位于第1行第1列，

所述第4部分区域位于第2行第2列。

22.根据权利要求16至21任一项所述的进深推定摄像装置，其中，

所述第3镜子在各部分区域的上表面具有圆状或者环状的开口部。

23.根据权利要求22所述的进深推定摄像装置，其中，

所述第3镜子在所述第1部分区域的上表面具有环状的第1开口部，在所述第2部分区域的上表面具有大小与所述第1开口部不同的环状的第2开口部，在所述第3部分区域的上表面具有圆状的开口部。

24.根据权利要求23所述的进深推定摄像装置，其中，

所述第1镜子被配置成：反射通过所述第1开口部入射来的光束，使该光束朝向由所述第1开口部包围的所述第3镜子的部分，

所述第2镜子被配置成：反射通过所述第2开口部入射来的光束，使该光束朝向由所述第2开口部包围的所述第3镜子的部分。

25.根据权利要求16至24任一项所述的进深推定摄像装置，其中，

所述特定的波段为红外光的波段。

26.根据权利要求16至25任一项所述的进深推定摄像装置，其中，

所述特定的波段的下限比650nm长。

27.根据权利要求16至26任一项所述的进深推定摄像装置，其中，

所述第1至第3镜子具有使所述特定的波段以外的可见光透射的特性。

28.根据权利要求16至27任一项所述的进深推定摄像装置，其中，

所述透光性部件具有包括所述光束分割区域的同一构造的多个光束分割区域。

29.根据权利要求16至28任一项所述的进深推定摄像装置，其中，

所述进深推定摄像装置还具备：

光学滤光器，截止所述特定的波段的光；和

滤光器驱动部，能够在光路上装卸所述光学滤光器。

30.根据权利要求29所述的进深推定摄像装置，其中，

所述进深推定摄像装置还具备控制部，该控制部按照在所述光学滤光器被插入到光路上的第1状态、和所述光学滤光器从光路上移除的第2状态下连续地进行两次摄像的方式，控制所述滤光器驱动部以及所述摄像元件。

31.根据权利要求30所述的进深推定摄像装置，其中，

所述信号处理部具有：

图像生成部，基于在所述第1状态下从所述多个光感知单元输出的光电变换信号来生成图像；和

进深信息生成部，通过包括在所述第1状态下从所述多个光感知单元输出的光电变换信号、与在所述第2状态下从所述多个光感知单元输出的光电变换信号之间的差分运算在内的处理，来生成表示所述被摄体的所述一部分的进深的信息。

32.一种摄像元件，具备：

光感知单元阵列，其中多个光感知单元被二维排列；和

透光性部件，与所述光感知单元阵列对置地配置，且具有光束分割区域，该光束分割区域将从被摄体的一部分入射来的特定的波段的光束划分成至少3个光束，

所述光束分割区域由包括上表面位于同一平面上的第1部分区域、第2部分区域、以及第3部分区域在内的至少3个部分区域构成，在所述第1部分区域的内部具有使所述特定的波段的光反射的第1镜子，在所述第2部分区域的内部具有第2镜子，在各部分区域的上表面具有第3镜子，该第2镜子具有与所述第1镜子同一反射特性，该第3镜子具有与所述第1以及第2镜子同一反射特性，

所述第1以及第2镜子的反射面相对于所述光束分割区域的上表面而倾斜，

所述第3镜子的反射面与所述上表面平行，

所述第1镜子、所述第2镜子、以及所述第3镜子被配置成：

从所述被摄体的所述一部分入射到所述第1部分区域的所述特定的波段的光束的至少一部分被所述第1镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第1光感知单元组，

从所述被摄体的所述一部分入射到所述第2部分区域的所述特定的波段的光束的至少一部分被所述第2镜子反射，进而被所述第3镜子反射后照射所述多个光感知单元中所包含的第2光感知单元组，

从所述被摄体的所述一部分入射到所述第3部分区域的所述特定的波段的光束的至少一部分照射所述多个光感知单元中所包含的第3光感知单元组，

由此由所述第1光感知单元组、所述第2光感知单元组、以及所述第3光感知单元组探测的受光量分布彼此不同，且根据所述被摄体的所述一部分的进深而不同。

Images