CN113489926A - 成像装置、成像器件和图像处理装置 - Google Patents

Abstract

本公开涉及成像装置、成像器件和图像处理装置，使得能够在不使用成像透镜的情况下在像素之间实现多样性。由接收入射光的、具有根据来自包括被摄体的被摄体表面的入射光的入射角的不同入射角指向性的多个像素检测的检测图像被捕获，在其上形成被摄体表面的图像的恢复图像通过计算处理使用检测图像和根据到被摄体表面的距离设置的系数集合进行计算来产生。因为恢复图像通过使用相同的检测图像和对应于到被摄体表面的距离的系数集合进行计算来生成，所以使得能够在像素之间实现多样性。本公开适用于成像器件。

Description

成像装置、成像器件和图像处理装置

本申请是于2017年7月11日提交的、题为“成像装置、成像器件和图像处理装置”的国际申请号为PCT/JP2017/025255、国家申请号为201780041772.1的专利申请的分案申请。

技术领域

本公开涉及一种成像装置、成像器件和图像处理装置，具体地涉及一种使得可以改进用于实现成像功能的配置的设计的自由度的成像装置、成像器件和图像处理装置。

背景技术

作为成像装置的配置，包括成像透镜和成像器件的组合的配置以及包括针孔和成像器件的另一配置一般是众所周知的。

在所述配置之中，成像透镜和成像器件的组合的配置目前在大多数成像装置中被采用，并且因为来自被摄体的光被高效地会聚，所以等同于最终图片的图像形成在成像器件的成像面上，这是由成像器件成像的。

然而，在成像透镜和成像器件的组合的配置的成像装置中，因为成像透镜的像差的影响发生并且成像透镜是本质上必需的组件，所以对于装置配置的缩小存在限制。

另一方面，尽管针孔和成像器件的组合的配置是不包括成像透镜的配置，但是因为到达成像面的光的量少，所以有必要应用增加曝光时间段或增大增益这样的处理。因此，所述配置对于一般使用是不耐用的，并且尤其不适合于高速成像。

因此，如下的成像装置已经被提出，在该成像装置中，在不使用成像透镜的情况下通过由衍射光栅配置的滤光器和成像器件的组合的配置，来自被摄体的光被成像为通过由衍射光栅配置的滤光器获得的图案的图像，并且包括该被摄体的图形的图像被再现(参照NPL 1和PTL 1)。

[引文列表]

[非专利文献]

[NPL 1]

FlatCam:Replacing Lenses with Masks and Computation M.Salmon Asif,AliAyremlouy,Aswin Sankaranarayanan,Ashok Veeraraghavan,and Richard Baraniuk ECEDepartment,Rice University,Houston,TX ECE Department,Carnegie MellonUniversity,Pittsburgh,PA

[PTL 1]

PCT专利公开No.WO2016/123529

发明内容

[技术问题]

然而，就如NPL 1或PTL 1中的这样的配置来说，因为来自同一个点光源的光通过滤光器入射到多个相邻的像素，所以对于像素单元不能获得任意的特性。

本公开是鉴于如刚才所述的这样的情形而做出的，并且使得可以在成像透镜不被使用的情况下为单个的像素提供多样性。

[对问题的解决方案]

本公开的第一方面的成像装置是包括成像器件的成像装置，所述成像器件具有多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到像素输出单元的入射光，其中，所述多个像素输出单元中的至少两个像素输出单元的输出像素值关于来自被摄体的入射光的入射角的特性是彼此不同的。

所述特性可以是指示来自所述被摄体的入射光相对于入射角的指向性的入射角指向性。

从所述多个像素输出单元中的每个可以输出单个检测信号。

成像装置可以进一步包括图像恢复部，所述图像恢复部被配置为使用由多个检测信号配置的检测图像来恢复恢复图像，所述多个检测信号是从所述多个像素输出单元输出的。

图像恢复部可以通过选择性地使用所述多个像素输出单元中的部分像素输出单元的检测信号来恢复所述恢复图像。

图像恢复部可以选择性地执行用于通过使用所述多个像素输出单元中的部分像素输出单元的检测信号来恢复所述恢复图像的恢复处理、以及用于使用所述多个像素输出单元中的所有像素输出单元的检测信号来恢复所述恢复图像的恢复处理。

所述多个像素输出单元可以包括广角兼容像素输出单元和窄角兼容像素输出单元，所述广角兼容像素输出单元具有适合于广角图像的入射角指向性，所述窄角兼容像素输出单元窄于所述广角兼容像素输出单元，并且图像恢复部通过选择性地使用所述广角兼容像素输出单元和所述窄角兼容像素输出单元来恢复所述恢复图像。

成像装置可以不包括用于将来自所述被摄体的具有不同主光线入射角的漫射的光线引入到彼此相邻的多个像素输出单元的聚光机构。

所述多个像素输出单元可以具有能够彼此独立地分别设置针对来自所述被摄体的入射光的入射角的特性的结构。

在本公开的第一方面中，成像器件具有多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到像素输出单元的入射光，所述多个像素输出单元中的至少两个像素输出单元的输出像素值关于来自被摄体的入射光的入射角的特性是彼此不同的。

本公开的第二方面的成像器件是具有多个像素输出单元的成像器件，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到其的入射光，其中，所述多个像素输出单元中的至少两个的的输出像素值关于来自被摄体的入射光的入射角的特性是彼此不同的。

所述多个像素输出单元中的至少两个像素输出单元在指示来自被摄体的入射光相对于入射角的指向性的入射角指向性方面可以是彼此不同的。

所述多个像素输出单元中的每个可以由一个光电二极管配置，并且从所述多个像素输出单元中的每个可以输出单个检测信号。

所述至少两个像素输出单元中的每个像素输出单元可以包括遮光膜，所述遮光膜用于阻挡被摄体光的入射，所述被摄体光是从所述被摄体到所述光电二极管的入射光，并且所述被摄体光到所述两个像素输出单元的入射被所述遮光膜阻挡的范围在所述至少两个像素输出单元之间可以是彼此不同的。

所述多个像素输出单元中的每个可以由多个光电二极管配置，并且从所述多个像素输出单元中的每个可以输出单个检测信号。

所述至少两个像素输出单元在所述多个光电二极管中的对检测信号做出贡献的一个光电二极管方面可以是彼此不同的。

所述多个像素输出单元可以包括广角兼容像素输出单元和窄角兼容像素输出单元，所述广角兼容像素输出单元具有适合于广角图像的入射角指向性，所述窄角兼容像素输出单元窄于所述广角兼容像素输出单元。

成像器件可以进一步包括多个片上透镜，所述多个片上透镜分别对应于所述多个像素输出单元中的每个像素输出单元。

入射角指向性可以具有根据片上透镜的曲率的特性。

入射角指向性可以具有根据遮光区域的特性。

所述多个片上透镜的至少一部分的曲率可以不同于其他片上透镜的曲率。

在本公开的第二方面中，成像器件具有多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到其的入射光，其中，所述多个像素输出单元中的至少两个的输出像素值关于来自被摄体的入射光的入射角的特性是彼此不同的。

所述多个像素输出单元可以具有能够彼此独立地分别设置针对来自被摄体的入射光的入射角的特性的结构。

本公开的第三方面的图像处理装置是包括图像恢复部的图像处理装置，所述图像恢复部被配置为使用由多个检测信号配置的检测图像来恢复能够查看所述被摄体的恢复图像，所述多个检测信号中的每个检测信号是从具有多个像素输出单元的成像器件的多个像素输出单元中的每个像素输出单元输出的，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到像素输出单元的入射光，其中，来自被摄体的入射光相对于入射角的入射角指向性在所述多个像素输出单元中的至少两个像素输出单元的输出像素值之间是不同的。

图像恢复部可以通过选择性地使用所述多个像素输出单元中的部分像素输出单元的检测信号来恢复所述恢复图像。

图像恢复部可以选择性地执行用于通过使用所述多个像素输出单元中的部分像素输出单元的检测信号来恢复所述恢复图像的恢复处理、以及用于使用所述多个像素输出单元中的所有像素输出单元的检测信号来恢复所述恢复图像的恢复处理。

所述多个像素输出单元可以包括广角兼容像素输出单元和窄角兼容像素输出单元，所述广角兼容像素输出单元具有适合于广角图像的入射角指向性，所述窄角兼容像素输出单元窄于所述广角兼容像素输出单元，并且所述图像恢复部通过选择性地使用所述广角兼容像素输出单元和所述窄角兼容像素输出单元来恢复所述恢复图像。

在本公开的第三方面中，具有多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到其的入射光，并且由多个检测信号配置的检测图像用于恢复被摄体在其上可查看的恢复图像，所述多个检测信号是从成像器件的所述多个像素输出单元输出的，其中，来自被摄体的入射光相对于入射角的入射角指向性在所述多个像素输出单元中的至少两个的输出像素值之间是不同的。

[本发明的有益效果]

根据本公开的一方面，变得可以改进用于使图像成像的配置的设计的自由度。

附图说明

图1是例示说明成像原理的视图。

图2是例示说明由成像透镜和常规的成像器件配置的成像装置中的成像原理的视图。

图3是例示说明由针孔和常规的成像器件配置的成像装置中的成像原理的视图。

图4是例示说明仅使用常规的成像器件的成像装置中的成像原理的视图。

图5是例示说明应用本公开的技术的成像装置中的成像原理的视图。

图6是例示说明应用本公开的技术的成像装置的第一实施例的配置的例子的视图。

图7是例示说明常规的成像装置的配置的例子的视图。

图8是例示说明图7的常规的成像装置进行的常规的成像处理的流程图。

图9是例示说明常规的成像器件和本公开的指向性成像器件之间的配置差异的视图。

图10是例示说明指向性成像器件的第一配置例子的视图。

图11是例示说明指向性成像器件的第一配置例子的视图。

图12是例示说明入射角指向性的产生原理的视图。

图13是例示说明利用片上透镜的入射角指向性的改变的视图。

图14是例示说明入射角指向性的设计的视图。

图15是例示说明片上透镜和成像透镜之间的差异的视图。

图16是例示说明片上透镜和成像透镜之间的另一差异的视图。

图17是例示说明片上透镜和成像透镜之间的进一步的差异的视图。

图18是例示说明被摄体面上的区域和指向性成像器件的像素之间的关系的视图。

图19是例示说明入射光是平行光的视图。

图20是例示说明对于指向性成像器件的每个像素的入射角度的视图。

图21是例示说明垂直方向上的光接收灵敏度特性的视图。

图22是例示说明水平方向上的光接收灵敏度特性的视图。

图23是例示说明根据对于指向性成像器件的每个像素的入射角度的光接收灵敏度特性的视图。

图24是例示说明指向性成像器件的每个像素关于来自被摄体面的区域O11的光的光接收灵敏度的视图。

图25是例示说明指向性成像器件的每个像素关于来自被摄体面的区域O21的光的光接收灵敏度的视图。

图26是例示说明指向性成像器件的每个像素关于来自被摄体面的区域O31的光的光接收灵敏度的视图。

图27是例示说明指向性成像器件的每个像素关于来自被摄体面的区域O12的光的光接收灵敏度的视图。

图28是例示说明指向性成像器件的每个像素关于来自被摄体面的区域O22的光的光接收灵敏度的视图。

图29是例示说明指向性成像器件的每个像素关于来自被摄体面的区域O32的光的光接收灵敏度的视图。

图30是例示说明指向性成像器件的每个像素关于来自被摄体面的区域O13的光的光接收灵敏度的视图。

图31是例示说明指向性成像器件的每个像素关于来自被摄体面的区域O23的光的光接收灵敏度的视图。

图32是例示说明指向性成像器件的每个像素关于来自被摄体面的区域O33的光的光接收灵敏度的视图。

图33是例示说明被摄体距离和用于表示入射角指向性的系数之间的关系的视图。

图34是例示说明窄视角像素和宽视角像素之间的关系的视图。

图35是例示说明窄视角像素和宽视角像素之间的另一关系的视图。

图36是例示说明窄视角像素和宽视角像素之间的进一步的关系的视图。

图37是例示说明图6的本公开的成像装置进行的成像处理的流程图。

图38是例示说明第一修改例的视图。

图39是例示说明第二修改例的视图。

图40是例示说明第二修改例的视图。

图41是例示说明通过应用第二修改例改变视角的例子的视图。

图42是例示说明当通过应用第二修改例改变视角时不同视角的多个像素被组合的例子的视图。

图43是例示说明第三修改例的视图。

图44是例示说明为什么计算量和存储器的容量通过对遮光范围的水平方向和垂直方向提供规则而减少的原因的视图。

图45是例示说明为什么计算量和存储器的容量通过对遮光范围的水平方向和垂直方向提供规则而减少的另一原因的视图。

图46是例示说明为什么计算量和存储器的容量通过对遮光范围的水平方向和垂直方向提供规则而减少的进一步的原因的视图。

图47是例示说明为什么计算量和存储器的容量通过对遮光范围的水平方向和垂直方向提供规则而减少的更进一步的原因的视图。

图48是例示说明第四修改例的视图。

图49是例示说明第五修改例的视图。

图50是例示说明第六修改例的视图。

图51是例示说明第七修改例的视图。

图52是例示说明第八修改例的视图。

图53是例示说明应用本公开的技术的成像装置的第二实施例的配置例子的视图。

具体实施方式

在下面，参照附图来描述本公开的优选实施例。要注意的是，在本说明书和附图中具有基本上相同的功能配置的组件用相似的标号表示，并且它们的重复描述被省略。

此外，按以下次序给出描述。

1.本公开的成像装置的概述

2.第一实施例

3.第二实施例

《1.本公开的成像装置的概述》

在描述本公开的成像装置中，描述成像装置的概述。

<成像原理>

所有的被摄体都可以被认为是一组点光源，并且光在每一个方向上被发射。因此，成像原理可以通过考虑从点光源发射的光的图像将被以什么方式成像来描述。这里，假定，如图1的上段处所指示的，光线L1至L5是从点光源P发射的，并且光线L1至L5分别具有光强度a。

在成像装置的配置包括针对一个像素的成像器件D和成像透镜11并且点光源P的图像由成像器件D成像的情况下，如图1的中间段处所指示的，成像器件11如光线L1’至L5’所指示的那样会聚从点光源P发射的光线L1至L5，并且点光源P的图像形成在成像器件D上，这是由成像器件D成像的。

在这种情况下，在成像器件D中，由具有光强度5a的光配置的图形被形成，并且进入成像器件D，使得它被成像为具有足够光量的图像，光强度5a是从点光源P发射的所有的光线L1至L5的光强度的总计。

顺便提及，如上所述，一组这样的点光源P配置被摄体。因此，在被摄体的成像中，由从被摄体面上的多个点光源P发射的光线形成并且会聚的被摄体的图像被成像。

具体地说，例如，如图2的左边部分中所指示的，在被摄体面31上的被摄体由点光源PA、PB和PC配置并且具有光强度a、b和c的五个光线分别从点光源PA、PB和PC输出的情况下，类似于图1中的上段处指示的情况下那样，光强度的总计为光强度5a、5b和5c。

在这种情况下，根据图1的中间段处指示的成像原理，来自点光源PA、PB和PC的光线被成像透镜11会聚到由多个像素配置的成像器件32的成像面上的位置Pa、Pb和Pc以形成被摄体的图形从而使图像成像。

这里，当光线的检测信号电平为a、b和c时，成像器件32上的位置Pa、Pb和Pc处的像素的检测信号电平分别为如图2的右边部分中指示的位置Pa、Pb和Pc处的检测信号电平5a、5b和5c。

要注意的是，在图2的右边部分中，纵轴表示成像器件32上的位置，横轴表示在每个位置处的成像器件的检测信号电平。具体地说，包括被摄体的图形的图像被成像，其中，成像器件32上的位置Pa、Pb和Pc与被摄体面31上的点光源PA、PB和PC具有倒置的位置关系，此外，位置Pa、Pb和Pc处的检测信号电平具有从点光源PA、PB和PC发射的光线的光强度。

另一方面，在成像装置的配置是包括作为孔部分设在遮光膜12中的针孔12a和成像器件D的配置的情况下，如图1的下段处所指示的，从点光源P发射的光线L1至L5中只有通过针孔12a的光线L3形成并且成像为成像器件D上的图像。

在这种情况下，在成像器件D中，点光源P的图像仅由从点光源P发射并且具有光强度a的光线L3形成，并且进入成像器件D，结果，如图1的中间段处所指示的，与其中使用成像透镜11的图像相比，其光量为1/5的暗像被成像。

具体地说，考虑如下情况：例如，如图3的左边部分中所指示的，被摄体面31上的被摄体由点光源PA、PB和PC配置，并且从点光源发射的光线分别具有光强度a、b和c。此时，根据图1的下段处指示的成像原理，在成像器件32的成像面上的位置Pa、Pb和Pc处，被摄体的图像是通过检测信号电平a、b和c形成和成像的，检测信号电平a、b和c等于来自点光源PA、PB和PC中的每个的一个光线的检测信号电平。

这里，当位置Pa、Pb和Pc处的检测信号电平分别是a、b和c(例如，b>a>c)时，如图3的右边部分中所指示的，位置Pa、Pb和Pc处的检测信号电平分别是a、b和c。要注意的是，在图3的右边部分中，分别地，纵轴表示成像器件32上的位置，横轴表示在每个位置处的成像器件中的检测信号电平。要注意的是，因为图3的右边部分中指示的检测信号电平也是与包括被摄体的图形的图像相对应的检测信号电平，所以检测信号电平也是像素值。

具体地说，被摄体的成像的本质在于，被摄体面31上的每个点光源的照度是通过光电转换测得的，并且图3的右边部分中的点光源PA、PB和PC的光强度a、b和c被检测。

如在上文参照图1所描述的，成像透镜11的作用是，从点光源PA、PB和PC发射的光线(即，漫射的光)被引入到成像器件32。因此，与最终图片相对应的图形形成在成像器件32上，并且由检测信号形成的图像是包括该图形的成像图像。然而，因为成像装置的大小是根据成像透镜的大小确定的，所以在尺寸缩小上存在限制。

此外，因为由针孔和成像器件配置的成像装置无需使成像透镜设于其中，所以存在装置配置与由成像透镜和成像器件配置的成像装置的装置配置相比有可能可以缩小的可能性。然而，因为成像图像的亮度不足，所以本质上需要增加曝光时间段、增大增益等以使得具有一定程度的亮度的图像可以被成像，并且存在模糊可能很有可能出现在高速被摄体的成像中或者自然颜色表示可能不能实现的可能性。

因此，如图4的左边部分中所指示的，考虑在不提供成像透镜或针孔的情况下仅使用成像器件32使被摄体面31上的被摄体成像。

例如，如果假定如图4中的左边部分中所描绘的，光强度a、b和c的光线分别从点光源PA、PB和PC进入成像器件32上的位置Pa、Pb和Pc，则来自点光源PA、PB和PC的光线直接进入成像器件32上的位置Pa、Pb和Pc。

结果，如图4中的右边部分中所描绘的，因为在成像器件32上的位置Pa、Pb和Pc处没有入射角指向性，所以成像是用相同的光强度a+b+c的光线执行的，并且不管位置如何，在整个成像器件上都获得相等的检测信号电平的检测信号。要注意的是，因为图4中的右边部分中指示的检测信号电平不是与包括被摄体的图形的图像相对应的检测信号电平，所以它不指示恢复的像素值。

具体地说，不可能仅使用没有成像透镜和针孔中的任何一个、也没有特殊配置的成像器件32形成被摄体面31上的被摄体的图形的图像。因此，通过仅使用成像器件32的配置，包括被摄体的图形的图像不能被成像。

因此，在本公开的成像装置中，提供成像器件51，在成像器件51中，每个像素的检测灵敏度具有如图5中的上段处的左边部分中描绘的入射角指向性。每个像素的检测灵敏度具有入射角指向性在这里表示对于像素提供根据入射光的入射角度的光接收灵敏度特性以使得光接收灵敏度对于每个像素是不同的。然而，所有像素的光接收灵敏度特性彼此完全不同是没有必要的，一些像素可以具有相同的光接收灵敏度特性，或者一些像素可以具有不同的入射角指向性。

具体地说，在假定配置被摄体面31的光源是点光源的情况下，尽管从同一个点光源发射的相等光强度的光线入射到成像器件51的所有像素，但是它们是以对于每个像素不同的入射角度入射的。因此，因为像素具有根据入射光的入射角度不同的光接收灵敏度特性，也就是说，具有不同的入射角指向性，所以即使光线具有相等的光强度，它们被像素也是以不同的灵敏度检测的，并且对于每个像素不同的检测信号电平的检测信号被检测。

更具体地说，假定根据成像器件51的每个像素接收的入射光的入射角度的灵敏度特性(即，每个像素的根据入射角度的入射角指向性)用表示根据入射角度的光接收灵敏度的系数来表达，并且根据对于每个像素的入射光的检测信号电平是通过与根据入射光的入射角度的光接收灵敏度对应设置的系数的乘法计算的。

更具体地说，如图5中的上段处的右边部分中所指示的，位置Pa、Pb和Pc处的检测信号电平DA、DB和DC分别用以下表达式(1)至(3)来表示。

DA＝α1×a+β1×b+γ1×c…(1)

DB＝α2×a+β2×b+γ2×c…(2)

DC＝α3×a+β3×b+γ3×c…(3)

这里，α1是用于响应于来自被摄体面31上的点光源PA的光线的入射角设置的、将在成像器件51上的位置Pa处恢复的检测信号电平a的系数，换句话说，α1是用于检测信号电平的系数，用于表示位置Pa处根据来自点光源PA的光线的入射角度的入射角指向性。

同时，β1是用于响应于来自被摄体面31上的点光源PB的光线的入射角设置的、将在成像器件51上的位置Pa处恢复的检测信号电平b的系数。

此外，γ1是用于响应于来自被摄体面31上的点光源PC的光线的入射角设置的、将在成像器件51上的位置Pa处恢复的检测信号电平c的系数。

因此，检测信号电平DA中的(α1×a)指示位置Pc处来自点光源PA的光线的检测信号电平，并且是通过将位置Pc处来自点光源PA的光线的光强度a乘以系数α1而获得的，系数α1指示根据入射角的入射角指向性。

此外，检测信号电平DA中的(β1×a)指示位置Pc处来自点光源PB的光线的检测信号电平，并且是通过将位置Pc处来自点光源PB的光线的光强度b乘以系数β1而获得的，系数β1指示根据入射角的入射角指向性。

此外，检测信号电平DA中的(γ1×a)指示位置Pc处来自点光源PC的光线的检测信号电平，并且是通过将位置Pc处来自点光源PC的光线的光强度c乘以系数γ1而获得的，系数γ1指示根据入射角的入射角指向性。

因此，检测信号电平DA被表示为当位置Pa处的点光源PA、PB和PC的分量分别被乘以系数α1、β1和γ1时的乘积的合成值，系数α1、β1和γ1指示根据相应入射角的入射角指向性。系数α1、β1和γ1在下文中被统称为系数集合。

类似地，关于点光源PB的检测信号电平DB，系数集合α2、β2和γ2分别对应于关于点光源PA的检测信号电平DA的系数集合α1、β1和γ1。此外，关于点光源PC的检测信号电平DC，系数集合α3、β3和γ3分别对应于关于点光源PA的检测信号电平DA的系数集合α1、β1和γ1。

然而，位置Pa、Pb和Pc处的像素的检测信号电平是用从点光源PA、PB和PC发射的光线的光强度a、b和c与系数的乘积和表示的值。因此，因为检测信号电平是从点光源PA、PB和PC发射的光线的光强度a、b和c的混合，所以它们是不同于包括被摄体的图形的图像的那些光强度的。

具体地说，通过使用系数集合α1、β1和γ1、系数集合α2、β2和γ2、系数集合α3、β3和γ3以及检测信号电平DA、DB和DC来配置联立方程并且对光强度a、b和c进行求解，位置Pa、Pb和Pc处的像素值被如图5中的下段处的右边部分中所指示的那样计算。作为像素值集合的恢复图像从这些像素值恢复。

要注意的是，因为图5中的上段处的右边部分中指示的检测信号电平不是与包括被摄体的图形的图像相对应的检测信号电平，所以它不是像素值。此外，因为图5中的下段处的右边部分中指示的检测信号电平是与包括被摄体的图形的图像相对应的每个像素的信号值，即，恢复图像的每个像素的值，所以它是像素值。

通过如上所述这样的配置，包括在每个像素处具有入射角指向性的成像器件51作为其组件的成像装置是可能实现的，而无需成像透镜、由衍射光栅等配置的滤光器或针孔。结果，因为成像透镜、由衍射光栅等配置的滤光器、针孔等没有变为本质上必需的组件，所以成像装置的高度的减小(即，用于实现光的入射方向上的成像功能的组件的厚度的减小)可以得以实现。

《2.第一实施例》

现在，参照图6的框图来描述应用本公开的成像装置的第一实施例的配置例子。

成像装置101由指向性成像器件121、信号处理部122、去马赛克处理部123、γ校正部124、白平衡调整部125、图像输出部126、存储部127、显示部128、成像距离确定部129、操作部130和系数集合选择部131配置，并且不包括成像透镜。

指向性成像器件121对应于在上文参照图5描述的成像器件51，并且是包括具有入射角指向性的像素并输出由根据入射光的光量的检测信号电平的信号形成的检测图像的成像器件。

更具体地说，尽管指向性成像器件121在基本结构上可以类似于包括成像器件(诸如举例来说CMOS(互补金属氧化物半导体)图像传感器等)的一般器件，但是它在配置像素阵列的图像的配置上不同于一般器件。具体地说，在每个像素中，在一定范围内提供遮光膜，该范围是每个光电二极管的光接收区域(光接收面)的一部分，并且对于每个像素是相互不同的。因此，光接收灵敏度对于每个像素响应于入射光的入射角而不同(改变)，结果，在像素单元中具有入射光相对于入射角的入射角指向性的成像器件被实现。要注意的是，指向性成像器件121可以不被配置为像素阵列，而是可以被配置为例如线传感器。此外，关于遮光膜，配置不限于它们在像素单元中全部不同的情况下的配置，而是可以是它们的一部分相同的配置，或者可以是它们的一部分不同的配置。

信号处理部122使用从指向性成像器件121供应的像素的检测信号电平和存储在系数集合选择部131中的系数集合来配置联立方程，对配置的联立方程进行求解以找到配置恢复图像的像素的像素值，并且将像素值输出到去马赛克处理部123。要注意的是，指向性成像器件121的像素数量和配置恢复图像的像素的像素数量不需要一定是彼此相等的。此外，因为滤色器具有拜耳(Bayer)阵列的情况在这里被描述为例子，所以去马赛克处理部123被作为执行颜色分离处理的组件提供。然而，在滤色器例如是条纹滤色器等的情况下，去马赛克处理部123被替换为用于执行对应的颜色分离处理的配置，此外，就单色成像器件或对于每种颜色具有一个成像器件的多板成像装置来说，去马赛克处理部123被省略。

此外，滤色器可以是使除了拜耳阵列中使用的RGB(红色、绿色和蓝色)之外的颜色通过的类型，并且例如，可以是使黄色、白色等通过的类型，或者可以是使紫外线、红外线等通过的类型，并且可以是使各种波长的颜色通过的类型。

此外，因为由从图6的指向性成像器件121输出的信号形成的检测图像是从如上述图5中的上段处的右侧指示的、不形成被摄体的图形的图像的检测信号所配置的图像，所以它是在其上被摄体不能被视觉辨识的图像。具体地说，尽管由从图6的指向性成像器件121输出的检测信号形成的检测图像是像素信号集合，但是它是即使用户查看检测图像、也不能被辨识为图像的图像。在图6的成像装置101中，由被摄体的图形形成的图像(即，当用户查看时可以被辨识为图像的恢复图像)是通过对其中使用图5中的上段处的右侧指示的检测信号和系数集合组的联立方程进行求解而确定的图像，并且是从图5中的下段处的右侧指示的像素值配置的。

因此，如图5的上段处的右侧描绘的由检测信号配置并且不包括被摄体的图形的图像(即，指向性成像器件121成像的图像)在下文中被称为检测图像。

此外，图5中的下段处的右侧描绘的包括被摄体的图形的图像(即，信号处理部122从其中使用配置检测图像的像素的检测信号电平和系数集合的联立方程计算的、由包括被摄体的图形的图像的像素值配置并且当用户查看时可以被辨识为图像的图像)在下文中被称为恢复图像。然而，在指向性成像器件121仅对于除了可见波长带中的光之外的光(诸如紫外线)具有灵敏度的情况下，尽管恢复图像没有变为在其上被摄体可以被识别的图像(比如寻常图像)，但是同样地在这种情况下，该图像被称为恢复图像。

此外，作为被摄体的图形的图像被形成的状态下的图像和去马赛克处理被执行之前的图像的恢复图像被称为原始图像，并且尽管指向性成像器件121成像的检测图像是根据滤色器阵列的图像，但是它不被区分为原始图像。

去马赛克处理部123根据滤色器阵列(诸如拜尔阵列)执行用于产生缺失颜色的像素信号以产生RGB中的每个的普通图像的去马赛克处理，并且将该图像供应给γ校正部124。

γ校正部124在去马赛克处理之后对所述图像执行γ校正，并且将所得图像供应给白平衡调整部125。

白平衡调整部125对已经对其执行了γ校正的图像的白平衡进行调整，并且将所得图像输出到图像输出部126。

图像输出部126将已经对其调整了白平衡的图像转换为预定压缩格式(诸如举例来说JPEG(联合图像专家组)、TIFF(标签式图像文件格式)、GIF(图形交换格式)等)的图像。然后，图像输出部126执行以下处理中的一个：用于将转换为预定格式的图像之后的图像信号存储到存储部127中的处理、用于使图像信号显示在显示部128上的处理、以及用于将图像信号输出到成像距离确定部129的处理，存储部127由HDD(硬盘驱动器)、SSD(固态驱动器)、半导体存储器等、它们的组合等之一配置，显示部128由LCD(液晶显示器)等配置。

成像距离确定部129基于来自操作部130的操作信号来确定被摄体距离，并且将确定的被摄体距离的信息供应给系数集合选择部131，所述被摄体距离是从成像位置到被摄体的距离，操作部130包括操作转盘、操作按钮、被配置为与成像装置101分开的构件的外部遥控器。具体地说，因为恢复图像显示在显示部128上，所以未被描绘的用户将在查看贯通图像的同时操作操作部130以调整被摄体距离，所述贯通图像是显示在显示部128上的恢复图像。

系数集合选择部131已经将上述系数α1至α3、β1至β3和γ1toγ3对应的系数集合与图5中的从成像器件51到被摄体面31(对应于恢复图像的被摄体面)的距离对应的各种被摄体距离成关联关系地存储于其中。因此，系数集合选择部131基于从成像距离确定部129供应给其的被摄体距离的信息来选择系数集合。因此，信号处理部122使用选择的系数集合来从检测图像恢复恢复图像。

要注意的是，在仅一个被摄体距离处的恢复图像将被获得的这样的情况下，可以不提供成像距离确定部129。

此外，可以实现如使用成像透镜的成像装置中的自动聚焦功能。

在这种情况下，成像距离确定部129可以通过基于从图像输出部126供应的恢复图像、用类似于对比AF(自动聚焦)法的爬山法确定最佳被摄体距离来实现自动聚焦功能。

要注意的是，被摄体距离可以不基于从图像输出部126供应的恢复图像确定，而是基于去马赛克处理部123、γ校正部124和白平衡调整部125的输出确定。

此外，成像距离确定部129可以基于单独提供的距离测量传感器的输出来确定被摄体距离。

可替代地，从指向性成像器件121输出的检测图像可以在不恢复该检测图像的情况下被存储到存储部127中。在这种情况下，存储在存储部127中的检测图像被供应给信号处理部122，通过信号处理部122产生恢复图像。此外，检测图像可以在不恢复该检测图像的情况下被存储或保存到记录介质中，或者可以通过通信等输出到不同的装置以使得检测图像由该不同的装置(诸如举例来说不同于成像装置的PC(个人计算机)、再现装置等)恢复。

随即，系数集合选择部131可以基于用户选择等来选择与多个被摄体距离相关联的多个系数集合中的一个，以使得不同被摄体距离的恢复图像可以通过信号处理部122选择的系数集合切换。通过此，可以实现重新聚焦。

要注意的是，虽然图6中的配置是其中去马赛克处理部123、γ校正部124和白平衡调整部125全都提供的配置例子，但是因为它们中的任何一个都不是本质上必需的组件，所以它们可以被省略，或者可以应用除了图6的配置之外的配置次序。此外，图像输出部126可以不执行压缩、格式转换等，并且将原始图像照原样输出。此外，在去马赛克处理部123、γ校正部124和白平衡调整部125被省略并且图像输出部126不执行压缩、白平衡调整等的情况下，原始图像可以通过HDMI(注册商标)(高清晰多媒体接口)等照原样输出。

<包括光学块的成像装置的配置例子>

这里，在描述本申请的成像装置的配置例子之前，为了比较的目的，参照图7的框图来描述包括由多个成像透镜配置的光学块的成像装置的配置例子。要注意的是，在图7的包括光学块的成像装置141的配置中，与图1的成像装置101的那些组件相似的组件用相似的标号和相似的名称表示，并且它们的描述被适当地省略。

具体地说，图7的成像装置141在配置方面与图1的成像装置101的不同之处在于，成像器件151、光学块152和焦点调整部153被提供来代替指向性成像器件121、信号处理部122和系数集合选择部131。

具体地说，成像器件151是由没有入射角指向性的像素配置的成像器件，由多个成像透镜配置的光学块152由焦点调整部153响应于从成像距离确定部129供应给其的被摄体距离(即，焦距)调整，以使得入射光被会聚以在成像器件151的成像面上形成图像。成像器件151以这种方式使包括被摄体的图形的恢复图像成像，并且将恢复图像输出到去马赛克处理部123。

<图7的包括光学块的成像装置的成像处理>

现在，将参照图8的流程图来描述图7的包括光学块的成像装置141进行的成像处理。

在步骤S11，成像距离确定部129基于从操作部130供应给其的光学信号或直到那时成像的多个图像来确定离被摄体的距离，并且将确定的被摄体距离的信息供应给焦点调整部153。焦点调整部153基于被摄体距离(即，焦距)来调整光学块152。

在步骤S12，光学块152使入射光会聚，以使得与对应的被摄体距离相对应的位置处的被摄体面上的被摄体的图形的图像形成在成像器件151的成像面上。

在步骤S13，成像器件151通过光学块152使包括被摄体的图形的图像成像，并且将变为恢复图像的原始图像供应给去马赛克处理部123。

在步骤S14，去马赛克处理部123对配置恢复图像的原始图像执行去马赛克处理，并且将所得图像供应给γ校正部124。

在步骤S15，γ校正部124对已经对其执行了去马赛克处理的恢复图像执行γ校正，并且将所得图像供应给白平衡调整部125。

在步骤S16，白平衡调整部125对已经对其执行了γ校正的恢复图像的白平衡进行调整，并且将所得图像输出到图像输出部126。

在步骤S17，图像输出部126将所形成的已经对其调整了白平衡的图像转换为预定压缩格式的图像。

在步骤S18，图像输出部126执行使转换为预定压缩格式的图像之后的恢复图像存储到存储部127中、显示在显示部128上、以及供应给成像距离确定部129这样的处理中的至少一个。

恢复图像通过上述处理成像。具体地说，在包括光学块的成像装置进行的成像处理中，入射到成像器件151的光被光学块152会聚以使包括被摄体的图形的恢复图像成像。

<指向性成像器件的第一配置例子>

(使用指向性成像器件的成像装置和包括光学块的成像装置之间的差异)

相比之下，在图6的成像装置101中，检测图像由指向性成像器件121成像，指向性成像器件121接收在没有成像透镜152(图7)和针孔12(图3)中的任何一个的干预的情况下进入的入射光，恢复图像是通过信号处理部122使用从检测图像和系数集合组获得的联立方程的解而求得的。

该差异是由指向性成像器件121和成像器件151之间的结构的差异引起的。

图9的左边部分描绘了图7的包括光学块的成像装置141的成像器件151的像素阵列部的一部分的正面图，图9的右边部分描绘了图6所示的本公开的成像装置101的指向性成像器件121的像素阵列部的一部分的正面图。要注意的是，虽然图9描绘了像素阵列部被配置为使得水平方向×垂直方向上的像素数量为6个像素×6个像素的情况的例子，但是像素数量的配置不限于此。

具体地说，如图9中所描绘的，图7的包括光学块的成像装置141中使用的成像器件151被描绘为使得没有入射角指向性的成像器件151a被设置在阵列中。相比之下，指向性成像器件121被配置为使得对于每个像素121a，遮光膜121b设在其光电二极管的光接收区域的一部分处，该部分是对于每个像素121a不同的范围，并且通过使入射光相对于入射角的光接收灵敏度对于每个像素121a不同，提供相对于入射角的入射角指向性。

更具体地说，例如，像素121a-1和像素121a-2在像素被设于其上的遮光膜121b-1和遮光膜121b-2遮蔽的范围上是不同的(被遮蔽区域(位置)和被遮蔽面积中的至少一个不同)。具体地说，在像素121a-1中，遮光膜121b-1被提供为使得它遮蔽光电二极管的光接收区域中的左侧的仅具有预定宽度的一部分，在像素121a-2中，遮光膜121b-2被提供为使得它遮蔽光接收区域中的右侧的在水平方向上宽度大于遮光膜121b-1的宽度的一部分。此外在其他像素121a中，遮光膜121b被提供为使得它对于每个像素类似地遮蔽光接收区域中的不同范围，并且它们被随机地设置在像素阵列中。

要注意的是，遮光膜121b的范围优选地具有可以确保期望光量这样的程度的面积，因为随着遮光膜121b覆盖每个像素的光接收区域的比率增大，可以接收的光量减小，并且遮光膜121b可以通过应用这样的约束来配置：例如，对于其面积的上限为其中可以接收到光的整个范围的大约3/4。这使得可以确保等于或大于期望量的光量。然而，如果对每个像素提供不以具有与将被接收的光的波长相对应的宽度遮蔽的范围，则可以接收最小光量。具体地说，例如，就B像素(蓝色像素)来说，尽管波长为大约500nm，但是如果光在与波长相对应的宽度或更大宽度上没有被阻挡，则可以接收最小光量。

(指向性成像器件的第一配置例子中的侧面截面、顶面和电路配置)

现在，将参照图10来描述指向性成像器件121的第一配置例子中的侧面截面、顶面和电路配置。具体地说，图10中的上段是指向性成像器件121的第一配置例子中的侧面截面图，图10中的中间段是指向性成像器件121的第一配置例子中的顶部平面图。此外，图10的上段处的侧面截面图在图10中的中间段处变为AB截面。此外，图10中的下段描绘了指向性成像器件121的电路配置例子。

在图10的上段处的指向性成像器件121中，入射光在该图中从上面向下进入。彼此相邻的像素121a-15和121a-16是所谓的背面照射类型，该类型具有作为该图中的最下层的布线线路层Z12，并且具有设在布线线路层Z12上的光电转换层Z11。

要注意的是，在没有必要彼此区分像素121a-15和121a-16的情况下，它们中的每个都被简称为像素121a，这类似地也适用于其他组件。此外，尽管图10描绘了配置指向性成像器件121的像素阵列的两个像素的侧面图和顶部平面图，但是不用说，更多的像素121a被设置。然而，它们的图示被省略。

此外，像素121a-15和121a-16包括设在其光电转换层Z11中的光电二极管121e-15和121e-16。此外，片上透镜121c-15和121c-16以及滤色器121d-15和121d-16分别在光电二极管121e-15和121d-16上从上面配置。

片上透镜121c-15和121c-16将入射光会聚到光电二极管121e-15和121e-16。

滤色器121d-15和121d-16是使特定波长(诸如举例来说红色、绿色、蓝色、红外、白色等)的光通过的滤光器。要注意的是，就白色来说，滤色器121d-15和121d-16可以是透明的过滤器，或者可以不被提供。

在像素121a-15和121a-16的光电转换层Z11中像素之间的边界上，遮光膜121p-15至121p-17被形成，并且抑制相邻像素之间的串扰。

同时，如图10中的上段和下段处所指示的，如从上面看到的，遮光膜121b-15和121b-16在其一部分处遮蔽光接收面S。在像素121a-15和121a-16的光电二极管121e-15和121e-16的光接收面S上，不同的范围分别被遮光膜121b-15和121b-16遮蔽，并且从而对每个像素设置彼此不同的入射角指向性。然而，被遮蔽范围不限于它在指向性成像器件121的所有像素121a之间不同的情况，而是在相同范围上被遮蔽的一些像素121a可以存在于所有像素121a中。通过如图10中的上段处描绘的这样的配置，遮光膜121p-15的右端部分和遮光膜121b-15的上端部分彼此连接，并且遮光膜121b-16的左端部分和遮光膜121p-16的上端部分彼此连接，以使得如该侧面中所看到的那样形成L形。

此外，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17是由金属配置的，并且是由例如钨(W)、铝(Al)或Al和铜(Cu)的合金配置的。此外，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17可以通过与布线线路通过半导体工艺形成的处理相同的处理同时由与布线线路的金属相同的金属形成。要注意的是，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17的膜厚度可以根据位置是不相等的。

此外，如图10中的下段处所指示的，包括光电二极管161(对应于光电二极管121e)、转移晶体管162、FD(浮置扩散：浮置扩散)部163、选择晶体管164、放大晶体管165和重置晶体管166的像素121a被配置，并且通过垂直信号线167连接到电流源168。

光电二极管161被配置为使得它在其阳极电极处接地，并且在其阴极电极处通过转移晶体管162连接到放大晶体管165的栅电极。

转移晶体管162是根据转移信号TG驱动的。例如，如果供应给转移晶体管162的栅电极的转移信号TG变为高电平，则转移晶体管162导通。因此，累积在光电二极管161中的电荷通过转移晶体管162转移到FD部163。

放大晶体管165用作源极跟随器的输入部分，并且将根据FD部163中累积的电荷的电平的像素信号输出到垂直信号线23，所述源极跟随器是用于读出通过光电二极管161进行的光电转换而获得的信号的读出电路。具体地说，放大晶体管165在其漏极端子处连接到电源电压VDD，并且在其源极端子处通过选择晶体管164连接到垂直信号线167，以使得它与连接到垂直信号线167的一端的电流源168合作配置源极跟随器。

FD(浮置扩散：浮置扩散)部163是设在转移晶体管162和放大晶体管165之间的具有电容C1的浮置扩散区域，并且暂时累积通过转移晶体管162从光电二极管161转移到其的电荷。FD部163是用于将电荷转换为电压的电荷检测部，并且FD部163中累积的电荷被放大晶体管165转换为电压。

选择晶体管164是根据选择信号SEL驱动的，并且如果供应给其栅电极的选择信号SEL变为高电平，则被导通，以将放大晶体管165和垂直信号线167彼此连接。

重置晶体管166是根据重置信号RST驱动的。例如，如果供应给重置晶体管166的栅电极的重置信号RST变为高电平，则重置晶体管166被导通以将FD部163中累积的电荷释放到电源电压VDD以重置FD部163。

通过如上所述的这样的电路配置，图10中的下段处描绘的像素电路以以下方式操作。

具体地说，作为第一操作，重置晶体管166和转移晶体管162导通以将FD部163中累积的电荷释放到电源电压VDD从而重置FD部163。

作为第二操作，重置晶体管166和转移晶体管162截止，并且进入曝光时间段，在该时间段内，根据入射光的光量的电荷由光电二极管161累积。

作为第三操作，重置晶体管166导通以重置FD部163，然后重置晶体管166截止。通过该操作，FD部163被重置为参考电位。

作为第四操作，在重置状态下的FD部163的电位作为参考电位从放大晶体管165输出。

作为第五操作，转移晶体管162导通，并且光电二极管161中累积的电荷被转移到FD部163。

作为第六操作，光电二极管的电荷被转移到的FD部163的电位作为信号电位从放大晶体管165输出。

通过上述处理，从信号电位减去参考电位，并且通过CDS(相关双重采样)将所得电位作为检测信号输出。

<指向性成像器件的第二配置例子>

(指向性成像器件的第二配置例子中的侧面截面、顶面和电路配置)

图11是第二配置例子中的指向性成像器件121的描绘侧面截面、顶部平面图的视图和描绘电路配置例子的视图。具体地说，在图11中的上段，描绘了指向性成像器件121的像素121a的侧面截面图，并且在图11的中间段，描绘了像素121a的顶部平面图。此外，图11中的上段处的侧面截面图是沿着图11中的中间段的线A-B截取的截面图。此外，图11中的下段描绘了指向性成像器件121的电路配置例子。

如图11中所描绘的，指向性成像器件121具有与图10的指向性成像器件121的配置不同的配置，不同之处在于，在像素121a中，四个光电二极管121f-11s至121f-4和遮光膜121p形成在它使光电二极管121f-11至121f-4彼此隔离的区域中。具体地说，在图11的指向性成像器件121中，如从上面所看到的，遮光膜121p形成为“+”形状。要注意的是，这样的共同的组件用相似的标号表示，并且它们的详细描述被省略。

在以如图11中所描绘的这样的方式配置的指向性成像器件121中，因为光电二极管121f-1至121f-4被遮光膜121p彼此隔离，所以光电二极管121f-1至121f-4之间的电气和光学串扰可以被防止。换句话说，图11的遮光膜121p是为了类似于图10的指向性成像器件121的遮光膜121p那样防止串扰、而不是为了提供入射角指向性而提供的。

在图11的指向性成像器件121的第二配置例子中，一个FD部163由四个光电二极管121f-1至121f-4共享。图11中的下段描绘了一个FD部163由四个光电二极管121f-1至121f-4共享的电路配置例子。要注意的是，图11中的下段处的与图10中的下段处的那些组件相同的组件的描述被省略。

图11中的下段处的电路配置与图10中的下段处的电路配置的不同之处在于，代替光电二极管161(对应于图10中的上段处的光电二极管121e)和转移晶体管162，提供光电二极管161-1至161-4(对应于图11中的上段处的光电二极管121f-1至121f-4)和转移晶体管162-1至162-4以使得它们共享FD部163。

通过如上所述的这样的配置，光电二极管121f-1至121f-4中累积的电荷被转移到共用的FD部163，FD部163设在光电二极管121f-1至121f-4和放大晶体管165的栅电极之间的连接部分处。然后，根据FD部163中保持的电荷的水平的信号被作为像素输出单元的检测信号读出。

因此，可以使光电二极管121f-1至121f-4中累积的电荷选择性地以各种组合对像素输出单元的检测信号做出贡献(可以使电荷对于像素输出单元的检测信号的贡献程度彼此不同)。

具体地说，通过将光电二极管121f-1至121f-4配置为使得电荷可以被彼此独立地读出，不同的入射角指向性可以被提供给不同的像素输出单元。

例如，在图11中，如果光电二极管121f-1和光电二极管121f-3的电荷被转移到FD部163，则通过将通过读出所述电荷而获得的信号相加，可以获得左右方向的入射角指向性。类似地，如果光电二极管121f-1和光电二极管121f-2的电荷被转移到FD部163，则通过将通过FD部163读出所述电荷而获得的信号相加，可以获得上下方向的入射角指向性。

此外，在图11中，如果光电二极管121f-1和光电二极管121f-3的电荷以及光电二极管121f-1和光电二极管121f-4的电荷被转移到FD部163，则通过将通过读出所述电荷而获得的信号相加，可以获得左右方向的入射角指向性。类似地，如果光电二极管121f-1和光电二极管121f-2的电荷以及光电二极管121f-3和光电二极管121f-4的电荷被同时转移到FD部163，则FD部163可以通过将读出所述电荷而获得的信号相加来获得上下方向的入射角指向性。

此外，基于从四个光电二极管121f-1至121f-4独立地且选择性地读出的电荷而获得的信号变为与配置检测图像的一个像素相对应的单像素输出单元的检测信号。

如上所述，就图11的指向性成像器件121来说，通过改变四个光电二极管121f-1至121f-4的电荷的组合以被用于检测信号，可以获得在不同像素之间不同的入射角指向性。

在图10的指向性成像器件121中，一个光电二极管121是针对单像素输出单元提供的。通过使每个像素(像素输出单元)的遮光膜121p进行的光阻挡的状态对于每个像素单元不同，可以使入射角指向性对于每个像素不同。

在图11的指向性成像器件121中，四个光电二极管121f-1至121f-4是针对单像素输出单元提供的。通过使四个光电二极管121f-1至121f-4中的对检测信号做出贡献的光电二极管121f对于每个像素输出单元不同，可以提供对于每个像素输出单元不同的入射角指向性。贡献程度可以根据每个光电二极管121f的检测值是否将被读出到FD(浮置扩散)来实现，或者通过使用电子快门功能对在将电荷读出到FD之前光电二极管121f中累积的检测值(电荷)进行重置来实现。要注意的是，在使用电子快门功能的情况下，如果电荷紧接着光电二极管121f的电荷读出到FD中之前被重置，则光电二极管121f可以被置于它对像素输出单元没有贡献的状态，并且如果在重置和读出到FD的时间点之间提供一段时间段，则还可以使光电二极管121f部分地对像素输出单元做出贡献。

换句话说，图10的光电二极管121e和图11的光电二极管121f在由此检测的信号的使用方式上是不同的。具体地说，图10的光电二极管121e检测的信号是光电二极管121e-15和121e-16检测的信号，并且是配置检测图像的像素121a-15和121a-16的单像素输出单元的检测信号。

相比之下，图11的光电二极管121f检测的信号变为通过选择性地使用光电二极管121f-11至121f-4的四个信号配置检测图像的单像素输出单元的检测信号。

这是因为图10的像素121a被配置为针对一个像素121a提供一个光电二极管121e并且对于每个像素121a不同的范围被遮光膜121b遮蔽，以及通过使用遮光膜121b的光学调制，具有入射角指向性的检测图像的一个像素的检测信号可以用一个像素121a表示。

相比之下，就图11的像素121a来说，针对一个像素121a提供四个光电二极管121f，并且不为像素121a的光接收面形成遮光膜121b。然而，像素121a被遮光膜121p划分为多个区域，并且提供四个光电二极管121f-1至121f-4来表示具有入射角指向性的检测图像的一个像素的检测信号。换句话说，例如，光电二极管121f-1至121f-4的对输出功能没有贡献的区域类似于遮光区域，并且表示检测图像的一个像素的检测信号，其具有入射角指向性。要注意的是，在光电二极管121f-11至121f-14用于表示一个像素的检测信号的情况下，因为不使用遮光膜121b，所以检测信号不是通过光学调制获得的信号。

因此，由用于输出将从指向性成像器件121输出的检测图像的一个像素121a的检测信号的至少一个或多个光电二极管121e或121f构成的配置被称为单像素输出单元。具体地说，就图10的指向性成像器件121来说，单像素输出单元是由一个光电二极管121e配置的。同时，就图11的指向性成像器件121来说，单像素输出单元是由四个光电二极管121f-1至121f-4配置的。

要注意的是，虽然在图11的指向性成像器件121中，四个光电二极管121f-1至121f-4被形成为对于每个像素输出单元相同的形状并且被以相等的面积分开设置，但是光电二极管121f-1至121f-4可以具有使得对于每个像素输出单元在形状方面不同并且在面积方面彼此不同的划分位置。即使通过将四个光电二极管121f-1至121f-4的划分位置设置为彼此形状不同和面积不同在多个像素输出单元中类似地仅使用左上光电二极管121f-1，也可以使入射角指向性不同。此外，如果使划分数量在不同的像素输出单元之间不同，则变得可以更自由地设置入射角指向性。此外，上述内容是可以组合的。

<产生入射角指向性的原理>

指向性成像器件121中的每个像素的入射角指向性例如是通过如图12中描绘的这样的原理产生的。要注意的是，图12的左上部分和右上部分是例示说明图10的指向性成像器件121中的入射角指向性的产生原理的视图，图12的左下部分和右下部分是例示说明图11的指向性成像器件121中的入射角指向性的产生原理的视图。

此外，图12的左上部分和右上部分中的单像素输出单元中的每个是由单个光电二极管121e配置的。相比之下，图12的左下部分和右下部分中的单像素输出单元中的每个是由两个光电二极管121f配置的。要注意的是，尽管这里描述了一个像素输出单元由两个光电二极管121f配置的例子，但是这是为了便于描述，配置单像素输出单元的光电二极管121f的数量可以是任何其他数量。

具体地说，在图12的左上部分中，遮光膜121b-11被形成为使得当在图12中入射光从上向下进入时它遮蔽光电二极管121e-11的光接收面的右半。同时，在图12的右上部分中，遮光膜121b-12被形成为使得它遮蔽光电二极管121e-12的光接收面的左半。要注意的是，图12中的点划线指示光电二极管121e的光接收面在图12中的水平方向上的中心位置，并且表示相对于光接收面的垂直方向。

例如，在如图12的左上部分中这样的配置中，尽管相对于图12中的点划线具有入射角θ1的、箭头标记指示的、来自图12中的右上方向的入射光易于在未被光电二极管121e-11的遮光膜121b-11遮蔽的左半范围内被接收，但是相对于图12中的点划线具有入射角θ2的、箭头标记指示的、来自图12中的左上方向的入射光不太易于在未被光电二极管121e-11的遮光膜121b-11遮蔽的左半区域内被接收。因此，如图12的左上部分中这样的配置具有这样的入射角指向性，即，相对于来自图12中的右上方向的入射光的光接收灵敏度特性高，并且相对于来自左上方向的入射光的光接收灵敏度特性低。

另一方面，例如，在如图12的右上部分中这样的配置中，尽管相对于图12中的点划线具有入射角θ11的、箭头标记指示的、来自图12中的右上方向的入射光不太易于在被光电二极管121e-12的遮光膜121b-12遮蔽的左半范围内被接收，但是相对于图12中的点划线具有入射角θ12的、箭头标记指示的、来自图12中的左上方向的入射光易于在未被光电二极管121e-12的遮光膜121b-12遮蔽的右半区域内被接收。因此，如图12的右上部分中这样的配置具有这样的入射角指向性，即，相对于来自该图中的右上方向的入射光的光接收灵敏度特性低，并且相对于来自左上方向的入射光的光接收灵敏度特性高。

同时，就图12的左下部分来说，光电二极管121f-1和121f-2在图12中设在左边位置和右边位置处，并且通过读出它们中的一个的检测信号，在没有提供遮光膜121b的情况下提供入射角指向性。

具体地说，在两个光电二极管121f-1和121f-2被确定为像素输出单元并且配置如图12的左下部分指示的像素121a的情况下，通过读出设在图12中的左侧的光电二极管121f-1的检测信号，可以类似于图12的左上部分中的配置那样类似地提供入射角指向性。具体地说，相对于图12中的点划线限定入射角θ21的、箭头标记指示的、来自图12中的右上方向的入射光进入光电二极管121f-1，被光电二极管121f-1接收，并且被从光电二极管121f-1读出。相比之下，尽管相对于图12中的点划线限定入射角θ22的、箭头标记指示的、来自图12中的左上方向的入射光进入光电二极管121f-2，但是信号对像素输出单元没有贡献。

类似地，在包括两个光电二极管121f-11和121f-12的像素121a被确定为如图12的右下部分指示的单像素输出单元的情况下，通过使图12中的左侧提供的光电二极管121f-12的检测信号对像素输出单元做出贡献，可以类似于图12的右上部分中的配置那样提供入射角指向性。具体地说，尽管相对于图12中的点划线限定入射角θ31的、箭头标记指示的、来自图12中的右上方向的入射光进入光电二极管121f-11，但是它对像素输出单元没有贡献。相比之下，相对于该图中的点划线限定入射角θ32的、箭头标记指示的、来自图12中的左上方向的入射光进入光电二极管121f-12，并且对像素输出单元做出贡献。要注意的是，虽然描绘了垂直方向上的点划线指示光电二极管121e的光接收面在图12中的水平方向上的中心位置的例子，但是这是为了便于描述，并且垂直方向上的点划线可以指示任何其他的位置。通过使垂直方向上的点划线指示的遮光膜121b在水平方向上的位置不同，可以提供不同的入射角指向性。

<包括片上透镜的配置中的入射角指向性>

虽然前面的描述针对通过遮光膜121b的入射角指向性的产生原理以及通过多个光电二极管12f的入射角指向性的产生原理，但是这里，描述包括片上透镜121c的配置中的入射角指向性。

具体地说，指向性成像器件121中的每个像素的入射角指向性例如是除了通过上述遮光膜121b之外还通过使用片上透镜121c、以图13中描绘的这样的方式设置的。具体地说，在图13的中间段处的左边部分中，使入射光会聚的片上透镜121c-11、使预定波长的光通过的滤色器121d-11以及用于通过光电转换产生像素信号的光电二极管121e-11在图13中从来自上面的入射方向按该次序堆叠，并且在图13的中间段处的右边部分中，片上透镜121c-12、滤色器121d-12和光电二极管121e-12在该图中从来自上面的入射方向按该次序配置。

要注意的是，在没有必要区分片上透镜121c-11和121c-12、滤色器121d-11和121d-12以及光电二极管121e-11和121e-12中的每个的情况下，它们分别仅被称为片上透镜121c、滤色器121d和光电二极管121e。

在指向性成像器件121中，用于遮蔽用于接收入射光的区域的一部分的遮光膜121b-11和121b-12分别如图13中的中间段处的左边部分和中间段处的右边部分中指示的那样提供。

在这样的遮光膜121b-11如图13中的中间段处的左边部分中指示的那样遮蔽图13中的光电二极管121e-11的右侧半的情况下，光电二极管121e-11的检测信号电平响应于入射光的入射角θ变化，如图13中的上段处的实线的波形指示的那样。

具体地说，如果入射角θ(其是由入射光相对于指示光电二极管121e和片上透镜121c的中心位置并且垂直于光电二极管121e和片上透镜121c的点划线限定的角度)增大(随着入射角θ在正向上增大(随着入射角θ在图13中的向右的方向上倾斜))，则因为光被会聚到其中不提供遮光膜121b-11的范围，所以光电二极管121e-11的检测信号电平变高。相反，随着入射角θ减小(随着入射角θ在负向上增大(随着入射角θ向图13中的向左的方向倾斜))，因为光被会聚到其中提供遮光膜121b-11的区域，所以光电二极管121e-11的检测信号电平减小。

要注意的是，这里的入射角θ被限定为使得它在入射光的方向与点划线一致的情况下具有0度，并且在图13的中间段处的左侧的入射角θ21侧、入射光在图中从右上方向进入的入射角θ具有正值，而在图13中的中间段处的右侧的入射角θ22侧的入射角θ具有负值。因此，在图13中，从右上方向进入片上透镜121c的入射光具有比从左上方向进入的入射光的入射角大的入射角。具体地说，在图13中，入射角θ随着入射光的前进方向向右倾斜而增大(在正向上增大)，而随着入射光的前进方向向左倾斜而减小(在负向上增大)。

另一方面，在这样的遮光膜121b-12如图13中的中间段处的右边部分中指示的那样遮蔽图13中的光电二极管121e-12的左侧半的情况下，光电二极管121e-12的检测信号电平响应于入射光的入射角θ变化，如图13中的上段处的虚线的波形指示的那样。

具体地说，如图13中的上段处的虚线的波形所指示的，如果入射角θ(其是由入射光相对于指示光电二极管121e和片上透镜121c的中心位置并且垂直于光电二极管121e和片上透镜121c的点划线限定的角度)增大(随着入射角θ在正向上增大)，则因为光被会聚到其中提供遮光膜121b-12的范围，所以光电二极管121e-12的检测信号电平变低。相反，随着入射角θ减小(随着入射角θ在负向上增大)，因为光进入其中不提供遮光膜121b-12的范围，所以光电二极管121e-12的检测信号电平增大。

要注意的是，在图13中的上段，横轴指示入射角θ，纵轴指示光电二极管121e的检测信号电平。

因为图13中的上段处指示的、指示根据入射角θ的检测信号电平的实线和虚线所指示的波形可以响应于遮光膜121b的范围而改变，所以可以向不同的像素输出单元提供彼此不同的入射角。要注意的是，图13中的上段处的实线的波形对应于指示图13中的中间段处的左边部分和下段处的左边部分中的入射光以改变入射角θ会聚的方式的实线的箭头标记。同时，图13中的上段处的虚线的波形对应于指示图13中的中间段处的右边部分和下段处的右边部分中的入射光以改变入射角θ会聚的方式的虚线的箭头标记。

尽管入射角指向性是每个像素输出单元的检测信号电平根据入射角θ的特性(光接收灵敏度特性)，但是关于图13的中间段处的例子，它可以被认为是根据入射角θ的光阻挡值的特性。具体地说，尽管遮光膜121b高水平地阻挡特定方向上的入射光，但是它不能足够地阻挡来自除了该特定方向之外的任何其他方向的入射光。如图13中的上段处指示的那样，入射光可以被阻挡的水平的变化根据入射角θ产生这样的不同的检测信号电平。因此，如果入射光可以以对于每个像素输出单元最高的水平被阻挡的方向被定义为像素的光阻挡方向，则不同的像素输出单元具有彼此不同的入射角指向性，换句话说，像素输出单元具有彼此不同的光阻挡方向。

此外，通过采用如图13中的下段处的左边部分中所指示的、其中针对一个片上透镜121c-11提供两个光电二极管121f-1和121f-2的结构(像素输出单元由两个光电二极管121f-1和121f-2配置)，如果只有图13中的左边部分中的光电二极管121f-1的检测信号被使用，则与图13中的中间段处的左边部分中的光电二极管121e-11的右侧被遮蔽的状态下的检测信号电平等同的检测信号电平可以被确定。

具体地说，如果入射角θ(其为由入射光相对于在片上透镜121c的中心位置处垂直于指向性成像器件121的点划线限定的角度)增大(如果入射角θ在正向上增大)，则入射光被会聚到将从其读出检测信号的光电二极管121f-1的范围，结果，检测电平变高。相反，随着入射角θ减小(随着入射角θ在负向上增大)，因为光被会聚到将不从其读出检测信号的光电二极管121f-2的范围，所以检测信号电平减小。

类似地，通过采用如图13中的下段处的右边部分中所指示的、其中针对一个片上透镜121c-12提供两个光电二极管121f-11和121f-12的结构，如果只有图13中的右边部分中的光电二极管121f-12的检测信号被使用，则与图13中的中间段处的右边部分中的光电二极管121e-12的左侧被遮蔽的状态下的检测信号电平等同的像素输出单元的检测信号电平可以被确定。

具体地说，如果入射角θ(其为由入射光相对于在片上透镜121c的中心位置处垂直于片上透镜121c的点划线限定的角度)增大(如果入射角θ在正向上增大)，则因为光被会聚到其中检测信号对像素输出单元的检测信号没有贡献的光电二极管121f-11的范围，所以像素输出单元的检测信号的检测电平变低。相反，随着入射角θ减小(随着入射角θ在负向上增大)，因为光被会聚到其中检测信号对像素输出单元的检测信号做出贡献的光电二极管121f-12的范围，所以像素输出单元的检测信号的检测信号电平增大。

要注意的是，入射角指向性优选地具有高度的随机性。这是因为，例如，如果相邻像素具有相同的入射角指向性，则存在如下可能性：上文给出的表达式(1)至(3)或下文给出的表达式(14)至(16)可能变为相互相同的表达式，导致无法满足作为联立方程的解的未知数的数量和方程的数量之间的关系，并且导致可能变得不可能确定配置恢复图像的像素值的可能性。此外，在图13的上段处指示的配置中，单像素输出单元由光电二极管121e-11和121e-12中的每个配置。在图13的下段处指示的配置中，单像素输出单元由两个光电二极管121f-1和121-2以及光电二极管121f-11和121f-12配置。因此，例如，在图13的下段，光电二极管121f自己不配置单像素输出单元。

此外，在如图12的下段处所指示的单像素输出单元由多个光电二极管121f配置的情况下，可以认为像素输出单元的输出像素值是响应于入射角调制的。因此，变得可以使输出像素值的特性(入射角指向性)在不同的像素输出单元之间不同，并且单像素输出单元中的入射角指向性被设置。此外，在单像素输出单元由多个光电二极管121f配置的情况下，为了在单像素输出单元中产生入射角指向性，用于单像素输出单元的一个片上透镜121c是必要配置。

此外，在如图13中的上段所指示的一个光电二极管121e-11或一个光电二极管121e-12配置单像素输出单元的情况下，因为入射到配置单像素输出单元的一个光电二极管121e-11或光电二极管121e-12的入射光响应于入射角被调制，所以输出像素值被调制。因此，变得可以使输出像素值的特性(入射角指向性)不同，并且单像素输出单元中的入射角指向性被设置。此外，在一个光电二极管121e-11或光电二极管121e-12配置单像素输出单元的情况下，入射角指向性是由在制造时针对每个单像素输出单元提供的遮光膜121b独立设置的。

此外，在如图13中的下段所指示的单像素输出单元由多个光电二极管121f配置的情况下，用于为每个单像素输出单元设置入射角指向性的多个光电二极管121f的数量(配置单像素输出单元的光电二极管121f的划分数量)或划分数量是在制造时独立于每个单像素输出单元设置的。此外，在它们之中哪些光电二极管121f用于设置入射角指向性可以在成像时切换。

<入射角指向性的设置>

例如，如图14中的上段所指示的，遮光膜121b的设置范围就像素121a的水平方向而言被确定为从左端部分到位置A的范围，就垂直方向而言被确定为从上端部分到位置B的范围。

在这种情况下，变为根据相对于每个像素的水平方向上的中心位置的入射角θx(度)的入射角指向性的指标的、水平方向上的0至1的权重Wx被设置。更具体地说，在假定权重Wx在与位置A相对应的入射角θx＝θa下变为0.5的情况下，权重Wh被设置为使得在入射角θx<θa-α下，权重Wx变为1；在θa-α≤入射角θx≤θa+α的情况下，权重Wx变为(-(θx-θa)/2α+1/2)；并且在入射角θx>θa+α下，权重Wx变为0。要注意的是，这里还描述了权重Wh变为0、0.5和1的例子，当满足理想的条件时，权重Wh变为0、0.5或1。

类似地，变为根据相对于每个像素的垂直方向上的中心位置的入射角θy(度)的入射角指向性的指标的、垂直方向上的0至1的权重Wy被设置。更具体地说，在假定权重Wy在与位置B相对应的入射角θy＝θb下变为0.5的情况下，权重Wy被设置为使得在入射角θy<θb-α下，权重Wy变为0；在θb-α≤入射角θy≤θb+α的情况下，权重Wy变为(-(θy-θb)/2α+1/2)；并且在入射角θy>θb+α下，权重Wy变为0。

然后，通过使用以这种方式确定的权重Wx和Wy，每个像素121a的入射角指向性(即，与光接收灵敏度特性相对应的系数)可以被确定。

此外，此时，倾斜度(1/2α)可以通过在不同的焦距下使用片上透镜121c来设置，倾斜度(1/2α)指示水平方向上的权重Wx和垂直方向上的权重Wy前后改变0.5的范围内的权重变化。

具体地说，通过使用不同曲率的片上透镜121c，可以获得不同的焦距。

例如，通过使用具有不同曲率的片上透镜121c，当如图14中的下段处的实线所指示的那样光通过焦距会聚以使得焦点到达遮光膜121b时，倾斜度(1/2α)是陡峭的。具体地说，图14中的上段处的水平方向上的权重Wx和垂直方向上的权重Wy在水平方向上的入射角θx＝θa下(在该角度下，权重Wx为大约0.5)以及垂直方向上的入射角θy＝θb的边界附近突然变为0或1。

此外，通过使用具有不同曲率的片上透镜121c，当如图14中的下段处的虚线所指示的那样光通过焦距会聚以使得焦点到达光电二极管121e时，倾斜度(1/2α)是温和的。具体地说，图14中的上段处的水平方向上的权重Wx和垂直方向上的权重Wy在水平方向上的入射角θx＝θa下(在该角度下，权重Wx为大约0.5)以及垂直方向上的入射角θy＝θb的边界附近缓缓地变为0或1。

如上所述，通过使用具有不同曲率的片上透镜121c与被设置为不同焦距的片上透镜121c，可以获得不同的入射角指向性，即，不同的光接收灵敏度特性。

因此，像素121a的入射角指向性可以通过使在其内光电二极管121e被遮光膜121b遮蔽的范围和片上透镜121c的曲率不同而被设置为不同的值。要注意的是，片上透镜的曲率在指向性成像器件121中的所有像素输出单元中可以是相等的，或者可以在像素输出单元的一部分中是不同的。

<片上透镜和成像透镜之间的差异>

尽管本公开的成像装置101中的指向性成像器件121被配置为使得由成像透镜配置的光学块152不是必需的，但是有时提供片上透镜121c。要注意的是，就图11的配置来说，片上透镜121c是本质上必需的组件。片上透镜121c和成像透镜在物理作用上是不同的。

这里，在假定光学块152是成像透镜152的情况下给出描述。

如图15中所描绘的，当从点光源P101发射的光以铺展的方式进入到成像透镜152时，对于成像透镜152，图像形成在成像器件151上的像素位置P111由主光线L101指定，主光线L101通过点光源P101和成像透镜152的中心152a。

此时，成像透镜152被设计为使得从点光源P101发射的光内，以由于光的铺展与主光线L101的入射角不同的入射角进入光学块152的光可以被会聚在成像器件151上的像素位置P111处。

此外，如图16中所描绘的，例如，与像素位置P111相邻的像素位置P112由主光线L102指定，主光线L102通过不同于点光源P101的点光源P102和成像透镜152的中心位置152a。

因此，成像透镜152在成像透镜151上的彼此不同的像素位置P111和P1121处形成具有彼此不同的光线的不同点光源P101和P102的图像。

此外，如图17中所描绘的，在假定无穷远光进入的情况下，因为入射的无穷远光是平行光，所以在假定点光源P101的情况下，可以认为它是例如相对于主光线L101的平行光线L121和L122。因此，成像透镜152在成像器件151上的不同像素位置处形成其主光线入射角彼此不同的点光源的图像。

换句话说，成像透镜152具有用于允许具有不同主光线入射角的漫射光线进入彼此相邻的多个像素输出单元的聚光机构。

相比之下，如上文参照例如图10和图11所描述的，通过片上透镜121c的光仅进入配置对应单像素输出单元的光电二极管121e或光电二极管121f的光接收面。换句话说，片上透镜121c是针对每个像素输出单元提供的，并且使进入它自己的被摄体光仅会聚在对应的像素输出单元上。具体地说，片上透镜121c没有用于使从虚拟点光源发射的漫射光进入彼此相邻的多个像素输出单元的聚光机构。

<使用包括系数集合和检测信号的联立方程的像素值计算的例子>

描述由信号处理部122执行的使用包括系数集合和检测信号的联立方程的像素值的特定计算的例子。

这里，假定被摄体面31具有3个区域×3个区域，即，总共九个区域，如图18中的上段处所指示的，这些区域由区域O11至O13、O21至O23和O31至O33配置。此外，在每个区域中设置代表点(图中的圆形标记)，并且假定具有该区域的光强度的积分值的点光源存在于该代表点处。因此，在下面给出的描述中，区域O11至O13、O21至O23和O31至O33的点光源的光强度也被称为光强度O11至O13、O21至O23和O31至O33。此外，它们中的每个也被仅称为区域Oij或光强度Oij(i和j＝1,2,3)。

此外，假定如图18中的下段处所指示的，指向性成像器件121由总共3个像素×3个像素这九个像素配置，并且提供在不同像素之间不同的遮光膜121b。此外，这些像素被称为像素P11至P13、P21至P23和P31至P33，像素的检测信号电平也被称为像素P11至P13、P21至P23和P31至P33。此外，它们被仅称为像素Pij(i和j＝1,2,3)。

要注意的是，在图18和图20至图32的描述中，遮光膜121b包括在用灰色指示的像素Pij(i和j＝1,2,3)的范围内，并且遮光膜121b的标号被省略。

此外，例如，在定位在无穷远处的点光源G1至G3被如图19中描绘的那样采用的情况下，作为入射到指向性成像器件121的光，垂如从图19中的下部部分处的指向性成像器件121的光接收面的垂直方向上所看到的，来自点光源G1至G3的入射光是平行光，并且从同一个点光源发射的光可以被认为以相等的入射角进入指向性成像器件121的任何位置处的像素。因此，例如，来自点光源G2的光以0度的入射角入射到指向性成像器件121的任何位置处的像素。

<被摄体面的每个区域中对于指向性成像器件的每个像素的入射角>

此外，假定被摄体面31的每个区域Oij中对于指向性成像器件121的入射角(θx,θy)是如图20中所描绘的那样独立于指向性成像器件121的像素Pij的位置定义的。

具体地说，对于区域O11，(θx,θy)＝(-5度，+5度)；对于区域O12，(θx,θy)＝(-5度，0度)；对于区域O13，(θx,θy)＝(-5度，-5度)。类似地，对于区域O21，(θx,θy)＝(0度，+5度)；对于区域O22，(θx,θy)＝(0度，0度)；对于区域O23，(θx,θy)＝(0度，-5度)。此外，对于区域O31，(θx,θy)＝(+5度，+5度)；对于区域O32，(θx,θy)＝(+5度，0度)；对于区域O33，(θx,θy)＝(+5度，-5度)。

<垂直方向上的光接收灵敏度特性>

如图21中所描绘的，像素P11、P21和P31这3个像素、像素P12、P22和P32这3个像素以及像素P13、P23和P33这3个像素在遮光膜121b的图平面的垂直方向上的高度上是统一的。

更具体地说，在像素P11、P21和P31这三个像素中，从每个像素的上端起的高度A1的区域是被遮光膜121b遮蔽的区域，而具有高度A2的其余区域是不被遮蔽的区域。

此外，在像素P12、P22和P32这三个像素中，从每个像素的上端起的高度A11的区域是不被遮蔽的区域，而具有高度A12的其余区域是被遮光膜121b遮蔽的区域。

此外，在像素P13、P23和P33这三个像素中，从每个像素的上端起的高度A21的区域是不被遮蔽的区域，而具有高度A22的其余区域是被遮光膜121b遮蔽的区域。

因此，像素P11、P21和P31这3个像素、像素P12、P22和P32这3个像素以及像素P13、P23和P33这3个像素就垂直方向上的光接收灵敏度特性而言是统一的。

具体地说，关于像素P11、P21和P31这3个像素，如图21中的右上部分中所描绘的，在垂直方向上的入射角θy小于-6度的情况下，权重Wy被设置为0；在入射角θy为-6度至-4度的情况下，权重Wy被设置为(θy+6)/2；在入射角θy大于-4度的情况下，权重Wy被设置为1。

同时，关于像素P12、P22和P32这3个像素，如图21中的右中部分中所描绘的，在垂直方向上的入射角θy小于-1度的情况下，权重Wy被设置为1；在入射角θy被设置为-1度至+1度的情况下，权重Wy为(θy-1)/2；在入射角θy大于+1度的情况下，权重Wy被设置为0。

此外，关于像素P13、P23和P33这3个像素，如图21中的右下部分中所描绘的，在垂直方向上的入射角θy小于+3度的情况下，权重Wy被设置为1；在入射角θy为+3度至+5度的情况下，权重Wy被设置为(-(θy-5)/2)；在入射角θy大于+5度的情况下，权重Wy被设置为0。

<水平方向上的光接收灵敏度特性>

如图22中所描绘的，像素P11至P13这3个像素、像素P21至P23这3个像素以及像素P31至P33这3个像素在遮光膜121b的水平方向的宽度上是统一的。

更具体地说，在像素P11至P13这3个像素中，从每个像素的左端起的宽度B1的区域是被遮光膜121b遮蔽的区域，而具有宽度B2的其余区域是不被遮蔽的区域。

此外，在像素P21至P23这3个像素中，从每个像素的左端起的宽度B11的区域是不被遮蔽的区域，而具有宽度B12的其余区域是被遮光膜121b遮蔽的区域。

此外，在像素P31至P33这3个像素中，从每个像素的左端起的宽度B21的区域是不被遮蔽的区域，而具有宽度B22的其余区域是被遮光膜121b遮蔽的区域。

因此，像素P11至P13这3个像素、像素P21至P23这3个像素以及像素P31至P33这3个像素就水平方向上的光接收灵敏度特性而言是统一的。

具体地说，关于像素P11至P13这3个像素，如图22中的左下部分中所描绘的，在水平方向上的入射角θx小于4度的情况下，权重Wx被设置为1；在入射角θx为4度至6度的情况下，权重Wx被设置为(-(θy-6)/2)；在入射角θx大于6度的情况下，权重Wx被设置为0。

同时，关于像素P21至P23这3个像素，如图22中的中下部分中所描绘的，在水平方向上的入射角θx小于-1度的情况下，权重Wx被设置为0；在入射角θx为-1度至+1度的情况下，权重Wx被设置为(θx+1)/2；在入射角θx大于-3度的情况下，权重Wx被设置为1。

此外，关于像素P31至P33这3个像素，如图22中的右下部分中所描绘的，在水平方向上的入射角θx小于-5度的情况下，权重Wx被设置为0；在入射角θx为-5度至-3度的情况下，权重Wx被设置为(θx+5)/2；在入射角θx大于-3度的情况下，权重Wx被设置为1。

结果，指向性成像器件121的像素P11至P13、P21至P23和P31至P33的检测信号电平用像素Pij(i,j＝1,2,3)表示，它用以下表达式(4)表示。

Pij＝Σ(Wx(θxj)×Wy(θyi)×Oij)…(4)

这里，Wx(θxj)是对于指向性成像器件121的水平方向上的第j像素的入射角θx的、水平方向上的权重，Wy(θyi)是对于指向性成像器件121的垂直方向上的第i像素入射角θy的、垂直方向上的权重。此外，Oij是由被摄体面31的每个区域中的代表点配置的点光源的光强度。

具体地说，如果入射角θx和θy根据图21和图22的关系限于-5度、0度和+5度，则权重Wx和Wy对像素Pij采取如图23中描绘的这样的值。

具体地说，在像素P11、P21和P31(像素Pij(j＝1))中，在垂直方向上的入射角θy为+5度的情况下，权重Wy为1；在垂直方向上的入射角θy为0度的情况下，权重Wy为1；在垂直方向上的入射角θy为-5度的情况下，权重Wy为0.5。

在像素P12、P22和P32(像素Pij(j＝2))中，在垂直方向上的入射角θy为+5度的情况下，权重Wy为0；在垂直方向上的入射角θy为0度的情况下，权重Wy为0.5；在垂直方向上的入射角θy为-5度的情况下，权重Wy为1。

在像素P13、P23和P33(像素Pij(j＝3))中，在垂直方向上的入射角θy为+5度的情况下，权重Wy为0；在垂直方向上的入射角θy为0度的情况下，权重Wy为1；在垂直方向上的入射角θy为-5度的情况下，权重Wy为1。

在像素P11至P13(像素Pij(i＝1))中，在水平方向上的入射角θx为+5度的情况下，权重Wx为0.5；在水平方向上的入射角θx为0度的情况下，权重Wx为1；在水平方向上的入射角θx为-5度的情况下，权重Wx为1。

在像素P21至P23(像素Pij(i＝2))中，在水平方向上的入射角θx为+5度的情况下，权重Wx为1；在水平方向上的入射角θx为0度的情况下，权重Wx为0.5；在水平方向上的入射角θx为-5度的情况下，权重Wx为0。

在像素P31至P33(像素Pij(i＝3))中，在水平方向上的入射角θx为+5度的情况下，权重Wx为1；在水平方向上的入射角θx为0度的情况下，权重Wx为1；在水平方向上的入射角θx为-5度的情况下，权重Wx为0。

基于如上所述的这样的条件描述指向性成像器件121的每个像素Pij以什么检测信号电平接收来自每个区域Oij的代表点的入射光。

(区域O11)

来自区域O11中的代表点处的点光源的入射光在水平方向上以入射角θx＝-5度并且在垂直方向上以入射角θy＝+5度进入所有的像素Pij。

因此，如图24中所描绘的，在像素P11处，因为水平方向上的权重Wx为1、垂直方向上的权重Wy为1，所以Wx×Wy为1。

要注意的是，在图24至图32中，选择的权重Wx和Wy通过添加到其的框指示，并且在像素Pij中，水平方向上的选择的权重Wx和垂直方向上的选择的权重Wy被指示。

类似地，在像素P12处，因为水平方向上的权重Wx为1、垂直方向上的权重Wy为0，所以Wx×Wy为0。在像素P13处，因为水平方向上的权重Wx为1、垂直方向上的权重Wy为0，所以Wx×Wy为0。

在像素P21处，因为水平方向上的权重Wx为0、垂直方向上的权重Wy为1，所以Wx×Wy为0。在像素P22处，因为水平方向上的权重Wx为0、垂直方向上的权重Wy为0，所以Wx×Wy为0。在像素P23处，因为水平方向上的权重Wx为0、垂直方向上的权重Wy为0，所以Wx×Wy＝0。

在像素P31处，因为水平方向上的权重Wx为0、垂直方向上的权重Wy为1，所以Wx×Wy为0。在像素P32处，因为水平方向上的权重Wx为0、垂直方向上的权重Wy为0，所以Wx×Wy为0。在像素P33处，因为水平方向上的权重Wx为0、垂直方向上的权重Wy为0，所以Wx×Wy为0。

(区域O21)

来自区域O21中的代表点处的点光源的入射光在水平方向上以入射角θx＝0度并且在垂直方向上以入射角θy＝+5度进入所有的像素Pij。

因此，如图25中所描绘的，在像素P11处，权重Wx＝1，权重Wy为1，Wx×Wy＝1。在像素P12处，权重Wx＝1，垂直方向上的权重Wy＝0，Wx×Wy＝0。在像素P13处，因为权重Wx＝1、权重Wy＝0，所以Wx×Wy＝0。

在像素P21处，权重Wx＝0.5，权重Wy＝1，Wx×Wy＝0.5。在像素P22处，权重Wx＝0.5，权重Wy＝0，Wx×Wy＝0。在像素P23处，权重Wx＝0.5，权重Wy＝0，Wx×Wy＝0。

在像素P31处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P32处，权重Wx＝1，权重Wy＝0，Wx×Wy＝0。在像素P33处，权重Wx＝1，权重Wy＝0，Wx×Wy＝0。

(区域O31)

来自区域O31中的代表点处的点光源的入射光在水平方向上以入射角θx＝+5度并且在垂直方向上以入射角θy＝+5度进入所有的像素Pij。

因此，如图26中所描绘的，在像素P11处，权重Wx＝0.5，权重Wy为1，Wx×Wy＝0.5。在像素P12处，权重Wx＝0.5，权重Wy＝0，Wx×Wy为0。在像素P13处，权重Wx＝0.5，权重Wy＝0，Wx×Wy＝0。

在像素P21处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P22处，权重Wx＝1，权重Wy＝0，Wx×Wy＝0。在像素P23处，权重Wx＝1，权重Wy＝0，Wx×Wy＝0。

在像素P31处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P32处，权重Wx＝1，权重Wy＝0，Wx×Wy＝0。在像素P33处，权重Wx＝1，权重Wy＝0，Wx×Wy＝0。

(区域O12)

来自区域O12中的代表点处的点光源的入射光在水平方向上以入射角θx＝-5度并且在垂直方向上以入射角θy＝0度进入所有的像素Pij。

因此，如图27中所描绘的，在像素P11处，权重Wx＝1，权重Wy为1，Wx×Wy＝1。在像素P12处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P13处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

在像素P21处，权重Wx＝0，权重Wy＝1，Wx×Wy＝0。在像素P22处，权重Wx＝0，权重Wy＝0.5，Wx×Wy＝0。在像素P23处，权重Wx＝0，权重Wy＝1，Wx×Wy＝0。

在像素P31处，权重Wx＝0，权重Wy＝1，Wx×Wy＝0。在像素P32处，权重Wx＝0，权重Wy＝0.5，Wx×Wy＝0。在像素P33处，权重Wx＝0，权重Wy＝1，Wx×Wy＝0。

(区域O22)

来自区域O22中的代表点处的点光源的入射光在水平方向上以入射角θx＝0度并且在垂直方向上以入射角θy＝0度进入所有的像素Pij。

因此，如图28中所描绘的，在像素P11处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P12处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P13处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

在像素P21处，权重Wx＝0.5，权重Wy＝1，Wx×Wy＝0.5。在像素P22处，权重Wx＝0.5，权重Wy＝0.5，Wx×Wy＝0.25。在像素P23处，权重Wx＝0.5，权重Wy＝1，Wx×Wy＝0.5。

在像素P31处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P32处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P33处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

(区域O32)

来自区域O32中的代表点处的点光源的入射光在水平方向上以入射角θx＝+5度并且在垂直方向上以入射角θy＝0度进入所有的像素Pij。

因此，如图29中所描绘的，在像素P11处，权重Wx＝0.5，权重Wy＝1，Wx×Wy＝0.5。在像素P12处，权重Wx＝0.5，权重Wy＝0.5，Wx×Wy＝0.25。在像素P13处，权重Wx＝0.5，权重Wy＝1，Wx×Wy＝0.5。

在像素P21处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P22处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P23处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

在像素P31处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P32处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P33处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

(区域O13)

来自区域O13中的代表点处的点光源的入射光在水平方向上以入射角θx＝-5度并且在垂直方向上以入射角θy＝-5度进入所有的像素Pij。

因此，如图30中所描绘的，在像素P11处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P12处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P13处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

在像素P21处，权重Wx＝0，权重Wy＝0.5，Wx×Wy＝0.5。在像素P22处，权重Wx＝0，权重Wy＝1，Wx×Wy＝1。在像素P23处，权重Wx＝0，权重Wy＝1，Wx×Wy＝1。

在像素P31处，权重Wx＝0，权重Wy＝0.5，Wx×Wy＝0。在像素P32处，权重Wx＝0，权重Wy＝1，Wx×Wy＝0。在像素P33处，权重Wx＝0，权重Wy＝1，Wx×Wy＝0。

(区域O23)

来自区域O23中的代表点处的点光源的入射光在水平方向上以入射角θx＝0度并且在垂直方向上以入射角θy＝-5度进入所有的像素Pij。

因此，如图31中所描绘的，在像素P11处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P12处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P13处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

在像素P21处，权重Wx＝0.5，权重Wy＝0.5，Wx×Wy＝0.25。在像素P22处，权重Wx＝0.5，权重Wy＝1，Wx×Wy＝0.5。在像素P23处，权重Wx＝0.5，权重Wy＝1，Wx×Wy＝0.5。

在像素P31处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P32处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P33处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

(区域O33)

来自区域O33中的代表点处的点光源的入射光在水平方向上以入射角θx＝+5度并且在垂直方向上以入射角θy＝-5度进入所有的像素Pij。

因此，如图32中所描绘的，在像素P11处，权重Wx＝0.5，权重Wy＝0.5，Wx×Wy＝0.25。在像素P12处，权重Wx＝0.5，权重Wy＝1，Wx×Wy＝0.5。在像素P13处，权重Wx＝0.5，权重Wy＝1，Wx×Wy＝0.5。

在像素P21处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P22处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P23处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

在像素P31处，权重Wx＝1，权重Wy＝0.5，Wx×Wy＝0.5。在像素P32处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。在像素P33处，权重Wx＝1，权重Wy＝1，Wx×Wy＝1。

基于上述处理结果，信号处理部122将指向性成像器件121的检测信号电平的像素Pij确定为光强度和权重的乘积和，其中，上述被摄体面31上的每个区域Oij的代表点是点光源。

具体地说，乘积和是作为以下表达式(5)至(13)表示的九个联立方程给出的。

P11＝1×O11+1×O21+0.5×O31+1×O12+1×O22+0.5×O32+0.5×O13+0.5×O23+0.25×O33

…(5)

P12＝0×O11+0×O21+0×O31+0.5×O12+0.5×O22+0.25×O32+1×O13+1×O23+0.5×O33

…(6)

P13＝0×O11+0×O21+0×O31+1×O12+1×O22+0.5×O32+1×O13+1×O23+0.5×O33

…(7)

P21＝0×O11+0.5×O21+1×O31+0×O12+0.5×O22+1×O32+0×O13+0.25×O23+0.5×O33

…(8)

P22＝0×O11+0×O21+0×O31+0×O12+0.25×O22+0.5×O32+0×O13+0.5×O23+1×O33

…(9)

P23＝0×O11+0×O21+0×O31+0×O12+0.5×O22+1×O32+0×O13+0.5×O23+1×O33

…(10)

P31＝0×O11+1×O21+1×O31+0×O12+1×O22+1×O32+0×O13+0.5×O23+0.5×O33

…(11)

P32＝0×O11+0×O21+0×O31+0×O12+0.5×O22+0.5×O32+0×O13+1×O23+1×O33

…(12)

P33＝0×O11+0×O21+0×O31+0×O12+1×O22+1×O32+0×O13+1×O23+1×O33

…(13)

这里，像素Pij表示的值是配置如下检测图像的检测信号的信号电平，所述检测图像被指向性成像器件121成像，但是即使用户视觉地观察该检测图像，也不能被辨识为图像。

信号处理部122使用例如上述九个联立方程来确定被摄体面31上的每个区域的照度(光强度)Oij以恢复与被摄体面31相对应的恢复图像。

要注意的是，通过将上述像素Pij乘以针对像素Pij确定的水平方向上的权重Wx和垂直方向上的权重Wy而获得的值是系数集合。更具体地说，系数集合是被摄体面31上的以上表达式(1)至(3)的系数α1、β1、γ1、α2、β2、γ2、α3、β3和γ3本身。此外，水平方向上的权重Wx和垂直方向上的权重Wy根据被摄体面31的差异而不同，并且通过响应于用于指定被摄体面的恢复图像的距离或视角改变系数集合，可以恢复期望的成像面的恢复图像。然而，有必要设置入射角指向性以使得可以确保联立方程的独立性。要注意的是，确保联立方程的独立性在这里表示确保相互线性的独立性(例如，当系数集合(αs,βs,γs)和系数集合(αt,βt,γt)被考虑时)并且防止矢量(αs,βs,γs)和矢量(αt,βt,γt)中的每个变为另一个的倍数。

<被摄体面和指向性成像器件之间的距离关系>

现在，参照图33来描述被摄体面和指向性成像器件121之间的距离关系。

假定，如图33中的上段处的左边部分处所描绘的，在(例如，当图5中的上段处描绘的被摄体面31上的点光源PA、PB和PC被设置时)从指向性成像器件121(类似于图5的成像器件51)到被摄体面31的被摄体距离是d1的情况下，指向性成像器件121上的对应的位置Pa、Pb和Pc处的检测信号电平DA、DB和DC可以用与在上文给出的表达式(1)至(3)相同的表达式来表示。

DA＝α1×a+β1×b+γ1×c…(1)

DB＝α2×a+β2×b+γ2×c…(2)

DC＝α3×a+β3×b+γ3×c…(3)

相比之下，就从其到指向性成像器件121(类似于图5中的成像器件51)的被摄体距离如图33中的下段处的左边部分处指示的那样是比距离d1大d的距离d2的被摄体面31’来说，即，就如从指向性成像器件121所看到的那样被摄体面31’在比被摄体面31更深的一侧的情况下，检测信号电平如图33的上段处的中心部分和下段处的中心部分处指示的那样在检测信号电平DA、DB和DC之间是类似的。

然而，在这种情况下，来自被摄体面31’上的点光源PA’、PB’和PC’的光强度a’、b’、c’的光线被指向性成像器件121的像素接收。随即，因为指向性成像器件121接收的光强度a’、b’、c’的光线的入射角不同(变化)，所以不同的系数集合分别是必要的，并且位置Pa、Pb和Pc处的检测信号电平DA、DB和DC分别被例如如以下表达式(14)至(16)所指示的那样表示。

DA＝α11×a'+β11×b'+γ11×c'…(14)

DB＝α12×a'+β12×b'+γ12×c'…(15)

DC＝α13×a'+β13×b'+γ13×c'…(16)

这里，包括系数集合α11、β11和γ11、系数集合α12、β12和γ12以及系数集合α13、β13和γ13的系数集合组是与被摄体面31的系数集合α1、β1和γ1、系数集合α2、β2和γ2以及系数集合α3、β3和γ3相对应的被摄体面31’的系数集合组。

因此，通过使用预先设置的系数集合组α11、β11、γ11、α12、β12、γ12、α13、β13和γ13对表达式(14)至(16)进行求解，可以通过与计算图33中的上段处的右边部分处指示的、被摄体面31的情况下的点光源PA、PB和PC的光线的光强度a、b和c的技术类似的技术，来确定如图33中的下段处的右边部分中描绘的、来自点光源PA’、PB’和PC’的光线的光强度a’、b’和c’。结果，变得可以确定被摄体面31’上的被摄体的恢复图像。

具体地说，图6的成像装置101可以通过预先存储针对从指向性成像器件121到被摄体面的每个距离的系数集合组、转换系数集合组以配置联立方程并且对配置的联立方程进行求解，来基于一个检测图像获得各被摄体距离处的被摄体面的恢复图像。

简而言之，仅通过使检测图像仅成像一次，可以通过以后的处理通过响应于到被摄体面的距离转换系数集合组以确定恢复图像来产生任意距离处的恢复图像。

此外，即使在获得恢复图像之后，不对恢复图像执行图像辨识等，也可以将诸如深度学习的机械学习应用于成像器件的检测信号以使用检测信号本身来执行图像辨识。

此外，在被摄体距离或视角可以被指定的这样的情况下，可以不使用所有的像素、而是使用由具有与指定的被摄体距离或视角相对应的适合于成像面的成像的入射角指向性的像素的检测信号形成的检测图像来产生恢复图像。因为这使得可以使用与指定的被摄体距离或视角相对应的适合于被摄体面的成像的像素的检测信号来确定恢复图像，所以可以高精度地确定指定的被摄体距离或视角的恢复图像。

这里，描述可以通过使用与指定的被摄体距离或视角相对应的适合于被摄体面的成像的像素的检测信号确定恢复图像来高精度地确定恢复图像的原因。

例如，考虑如图34中的上段处指示的在离四个边中的每个的端部距离d1上被遮光膜121b遮蔽的像素121a和如图34中的下段处指示的在离四个边中的每个的端部距离d2(>d1)上被遮光膜121b遮蔽的像素121a’。

像素121a用于恢复如图35的上段处描绘的包括被摄体的这样的整个人H101的视角SQ1所对应的、图34的图像I1。相比之下，像素121a’用于恢复与视角SQ2相对应的、图34的图像I2，在该图像中，人H101的脸部的外围被放大。

这是因为，因为图34的像素121a包括在如图36中的左边部分中描绘的那样入射到指向性成像器件121的入射光的入射可能角度范围A1中，所以它可以在被摄体面31上水平方向上的被摄体宽度W1上接收入射光。

相比之下，因为如图36的左边部分中所描绘的，图34的像素121a’在比图34的像素121a宽的范围上被遮蔽，所以它包括在入射到指向性成像器件121的入射光的入射可能角度范围A2(<A1)中，因此，它在被摄体面31上水平方向上的被摄体宽度W2(<W1)上接收入射光。

具体地说，虽然图34的具有窄遮蔽范围的像素121a是适合于被摄体面31上的宽范围上的成像的广角像素，但是图34的具有宽遮蔽范围的像素121a’是适合于被摄体面31上的窄范围上的成像的窄角像素。要注意的是，这里的广角像素和窄角像素是针对图34的像素121a和121a’之间的比较的表示，并且在与其他视角的像素进行比较中，所述表示不限于它们。

要注意的是，图36描绘了被摄体面31上相对于指向性成像器件121的中心位置C1的位置和来自这些位置的入射光的入射角之间的关系。此外，虽然图36描绘了被摄体面31上的位置和水平方向上的来自被摄体面上的这些位置的入射光的入射角之间的关系，但是类似的关系也表现在垂直方向上。此外，在图36的右边部分中描绘了图34中的像素121a和121a’。

通过如上所述的这样的配置，在如图35中的下段处所描绘的、图34的预定数量的像素121a被放置到指向性成像器件121中的被虚线包围的范围ZA中、并且相等数量的像素121a’被放置在指向性成像器件121中的被点划线包围的区域ZB中以配置指向性成像器件121的情况下，当与被摄体宽度W1相对应的视角SQ1的图像将被恢复时，通过使用图34的像素121a用视角SQ1进行成像，被摄体面31的被摄体宽度W1的图像可以被适当地恢复。

类似地，当与被摄体宽度W2相对应的视角SQ2的图像将被恢复时，通过使用图34的像素121a’的检测信号用视角SQ2进行成像，被摄体宽度W2的图像可以被适当地恢复。

要注意的是，虽然图35中的下段描绘了在该图中的左侧包括预定数量的像素121a’并且在右侧包括预定数量的像素121的配置，但是该配置是作为简化描述的例子指示的，并且优选地，像素121a和像素121a’以随机混合的方式设置。

因为视角SQ2以这种方式具有比视角SQ1的视角窄的视角，所以在视角SQ2和视角SQ1的图像将用相等的预定像素数量存储的情况下，在具有较窄视角的视角SQ2的图像被恢复的情况下，可以获得比恢复视角SQ1的图像的情况下图片质量更高的恢复图像。

简而言之，在考虑使用相等的像素数量获得恢复图像的情况下，可以获得其中较窄视角的图像被恢复的更高图片质量的恢复图像。

要注意的是，在具有较宽视角的图像被作为恢复图像获得的情况下，宽视角像素的所有像素都可以被使用，或者宽视角像素的一部分可以被使用。同时，在较窄视角的图像用作恢复图像的情况下，窄视角像素的所有像素都可以被使用，或者窄视角像素的一部分可以被使用。

<本公开的图6的成像装置进行的成像处理>

现在，参照图37的流程图来描述图6的成像装置101进行的成像处理。要注意的是，因为图37的流程图中的步骤S34至S38处的处理类似于在上文参照图8的流程图描述的步骤S14至S18处的处理，所以它们的描述被适当地省略。

具体地说，在步骤S31，指向性成像器件121对于具有在不同的像素输出单元之间不同的入射角指向性的像素输出单元中的每个获取根据接收的入射光的光量的检测信号，并且将这样的检测信号作为检测图像供应给信号处理部122。

在步骤S32，成像距离确定部129确定基于来自操作部130的操作信号或自动聚焦功能确定的被摄体距离。系数集合选择部131读出基于被摄体距离以相关联的关系存储的系数集合组，并且将系数集合组供应给信号处理部122。这里读出的系统集合组例如是包括与包括在上文给出的表达式(1)至(3)或表达式(14)至(16)中的系数α1至α3、β1至β3、γ1至γ3、α11至α13、β11至β13和γ11至γ13的系数集合组相对应的多个系数的系数集合组。

在步骤S33，信号处理部122使用检测图像中的像素输出单元的检测信号和系数集合选择部131选择的系数集合组来计算解调图像的像素值。更具体地说，信号处理部122例如参照表达式(1)至(3)或表达式(14)至(16)和图18至图32来配置在上文描述的联立方程，通过对这些联立方程进行求解来确定恢复图像，并且将恢复图像输出到去马赛克处理部123。

其后，恢复图像被去马赛克处理部123进行去马赛克处理，被γ校正部124进行γ校正，被白平衡调整部125进行白平衡调整，然后被图像输出部126转换为预定压缩格式的图像。然后，根据场合需求，作为转换结果的具有预定压缩格式的恢复图像被存储到存储部127中，被显示在显示部128上，并且被输出到成像距离确定部129，或者经受这样的处理中的一个。

要注意的是，虽然前面的描述针对使用与离指向性成像器件121的被摄体距离相关联的系数集合组来从检测图像确定恢复图像的例子，但是如上面参照图34和图35所描述的，可以准备不仅与被摄体距离、而且与视角成相关联的关系设置的系数集合组，以使得选择根据被摄体距离和视角的系数集合组来从检测图像确定恢复图像。要注意的是，假定对于被摄体距离和视角的解取决于准备的系数集合的数量。

此外，虽然参照图37的流程图给出的处理的描述针对使用检测图像中包括的所有像素输出单元的检测信号的例子，但是可以使用被配置为仅包括配置指向性成像器件121的像素输出单元的检测信号之中均与指定的被摄体距离和视角对应的像素输出单元的检测信号的检测图像来确定恢复图像。因为如刚才描述那样的处理使得可以从适合于将被确定的恢复图像的被摄体距离和视角的检测图像恢复恢复图像，所以可以以更高精度恢复恢复图像。具体地说，在与指定的被摄体距离和视角相对应的图像例如是与图35中的视角SQ1相对应的图像的情况下，通过选择具有与视角SQ1相对应的入射角指向性的像素121a并且根据从像素121a获得的检测图像恢复恢复图像，可以高精度地恢复视角SQ1的图像。

通过上述处理，可以实现包括作为必要组件的指向性成像器件121的成像装置101，在指向性成像器件121中，对每个像素提供入射角指向性。

结果，因为由成像透镜、衍射光栅等或针孔配置的光学器件变得不必要，所以可以改进装置的设计的自由度，并且因为被配置作为与成像器件分开的构件并且应该与成像器件一起合并在配置成像装置的台架处的光学器件变得不必要，所以变得可以实现装置在入射光的入射方向上的尺寸缩小，并且变得可以降低制造成本。此外，等同于用于形成光学图像的成像透镜的透镜(比如聚焦透镜)变得不必要。然而，可以提供用于改变倍率的变焦透镜。

此外，只要检测图像被获取，就可以通过对通过根据被摄体距离和视角选择性地使用系数集合组以确定恢复图像而配置的联立方程进行求解来产生各被摄体距离的恢复图像。

例如，在由成像透镜和常规的成像器件配置的成像装置被使用的情况下，为了获得各焦距或各视角的图像，有必要在各式各样地改变焦距或视角的同时执行成像。然而，在本公开的成像装置101中，因为可以转换系数集合组来恢复恢复图像，所以在焦距，即被摄体距离、或视角被各式各样地改变的同时重复地执行成像这样的处理不是需要的。

此外，虽然前面的描述针对只有恢复图像被存储到存储部127中的例子，但是通过将检测图像存储到存储部127中，在再现时，可以使用不同被摄体距离的多个系数集合组来产生恢复图像。这使得可以在再现时产生任意被摄体距离下或任意视角的被摄体面上的恢复图像。

此外，因为与由用衍射光栅配置的滤光器和常规的成像器件配置的成像装置相比，可以使用在像素单元中具有入射角指向性的指向性成像器件121成像的检测图像来产生恢复图像，所以可以实现多像素化。此外，变得可以成像高分辨率和高角度分辨率的图像。

此外，因为本公开的成像装置101包括作为本质上必需的组件的指向性成像器件121，并且不需要例如由衍射光栅等配置的滤光器，所以使用环境的温度变高并且滤光器由于热量而变形这样的情形不会发生，因此，可以实现具有高环境容忍度的成像装置。

此外，因为本公开的成像装置101不需要诸如衍射光栅或成像透镜的光学器件，所以包括用于成像的功能的配置的设计自由度可以得到改进。

<第一修改例>

虽然前面的描述针对如图9中所描绘的那样指向性成像器件121的每个像素121a的遮光膜121b被配置为使得它在垂直方向上完全阻挡光并且关于水平方向上的遮光宽度或位置变化的例子，但是自然地，遮光膜121b可以以其他方式被配置为使得它在水平方向上完全阻挡光并且关于垂直方向上的宽度(高度)或位置变化以使得入射角指向性被提供给每个像素。

要注意的是，在以下描述中，在垂直方向上完全遮蔽像素121a(比如图9中的右边部分中指示的每个像素121a)并且此外在水平方向上以预定宽度遮蔽像素121a的遮光膜121b被称为水平带类型的遮光膜121b。此外，如图9中的右边部分中描绘的像素121a中的每个围绕像素121a的中心位置提供的轴线旋转90^°的情况下那样，在水平方向上完全遮蔽像素121a并且在垂直方向上以预定高度遮蔽像素121a的遮光膜121b被称为垂直带类型的遮光膜121b。

此外，如图38中的左边部分中所描绘的，垂直带类型和水平带类型的遮光膜121b可以被组合以使得提供L形遮光膜121b，例如，为拜尔阵列的像素提供L形遮光膜121b。要注意的是，在图38中，黑色范围表示遮光膜121b，并且除非另有指定，否则类似的表示也被应用于随后的附图。

每个像素具有如图38中的右边部分中指示的这样的入射角指向性。具体地说，在图38中的右边部分中，指示了每个像素的光接收灵敏度，并且横轴表示入射光的水平方向(x方向)上的入射角θx，纵轴表示垂直方向(y方向)上的入射角θy。此外，范围C4内的光接收灵敏度高于范围C4外的光接收灵敏度；范围C3中的光接收灵敏度高于范围C3外的光接收灵敏度；范围C2中的光接收灵敏度高于范围C2外的光接收灵敏度；范围C1中的光接收灵敏度高于范围C1外的光接收灵敏度。

因此，表明关于每个像素，范围C1中满足水平方向(x方向)上的入射角θx和垂直方向(y方向)上的入射角θy的条件的入射光的检测信号电平最高，并且检测信号电平按范围C2的内部、范围C3的内部、范围C4的内部和范围C4的外部的条件的次序变低。要注意的是，图38的右边部分中指示的光接收灵敏度是由被遮光膜121b遮蔽的每个像素121a的范围确定的，而不管拜耳阵列如何。

此外，在图38中的左边部分中，表明L形遮光膜121b-21至121b-24分别是针对拜耳阵列的G像素的像素121a-21和121a-24、R像素的像素121a-22和B像素的像素121a-23提供的。

要注意的是，在以下描述中，如图38中描绘的具有L形形状的L形遮光膜121b-21至121b-24，以及关于遮光膜121b-21至121b-24、具有考虑遮光膜121b-21至121b-24相对于像素121a的中心点对称设置的情况的形状的遮光膜121b被统称为L形遮光膜121b。

此外，已经描述了上面参照图38描述的第一修改例的指向性成像器件121是参照图9和图10描述的指向性成像器件121，该指向性成像器件121通过对在上文参照图10描述的一个光电二极管121e使用遮光膜121b来为每个像素输出单元设置入射角指向性。然而，第一修改例的指向性成像器件121可以是通过改变配置像素输出单元的多个光电二极管121f的划分数量和划分位置以使得对输出功能没有贡献的范围与被遮蔽区域起类似作用来设置入射角指向性的指向性成像器件121，比如在上文参照图11描述的指向性成像器件121。

<第二修改例>

尽管前面的描述针对水平带类型、垂直带类型和L形类型的阻光膜设置在像素上以使得被遮蔽范围随机变化的例子，但是可以配置遮光膜121b，该遮光膜121b在提供矩形开口的情况下，遮蔽例如如图39的指向性成像器件121’所指示的那样除了光被各个像素接收的位置附近的范围之外的区域。

具体地说，遮光膜121b可以被提供为使得在为每个像素提供矩形开口的情况下，像素具有这样的入射角指向性：在从配置预定被摄体距离处的被摄体面的点光源发射的光线之中，它仅接收通过矩形开口的光线以便使其被像素接收。

要注意的是，在图39中，例如，在水平方向上的像素阵列中，遮光膜121b在水平方向上的宽度变化，比如dx1,dx2,…,dxn，并且宽度具有dx1<dx2<…<dxn的关系。类似地，在垂直方向上的像素阵列中，遮光膜121b在垂直方向上的高度变化，比如dy1,dy2,…,dym，并且高度具有dy1<dy2<…<dym的关系。此外，遮光膜121b的水平方向上的宽度和垂直方向上的宽度的变化的距离取决于针对恢复的被摄体分辨率(角度分辨率)。

换句话说，可以考虑图39的指向性成像器件121’中的每个像素121a被配置为使得它具有改变遮光范围以便对应于指向性成像器件121’中的水平方向和垂直方向上的像素设置这样的入射角指向性。

更具体地说，图39的每个像素121a的光阻范围例如是根据参照图40中的左边部分处指示的像素121a描述的规则确定的。

要注意的是，图40的右边部分描绘了与图39的指向性成像器件相同的指向性成像器件121’的配置。同时，图40中的左边部分描绘了图40的右边部分中的指向性成像器件121’的像素121的配置。

如图40中的左边部分所描绘的，像素121a在从上侧和下侧的端部部分朝向其内侧的宽度dx1上被遮光膜121b遮蔽，并且在从左侧和右侧的端部部分朝向其内侧的深度dy1上被遮光膜121b遮蔽。要注意的是，在图40和图41中，遮光膜121b用黑色指示的范围表示。

图40中的左边部分中以这种方式形成的遮光膜121b遮蔽的范围在下文被称为像素121a的主遮光部分Z101(图40中的左边部分中的黑色部分)，除此之外的范围被称为范围Z102。

假定不被遮光膜121b遮蔽的矩形开口Z111是在像素121a的范围Z102中提供的。因此，在范围Z102中，除了矩形开口Z111之外的范围被遮光膜121b遮蔽。

在图39的指向性成像器件121’的像素阵列中，如图40(与图39相同)的右边部分中所描绘的，上端部分处的左端部分处的像素121a-1的矩形开口Z111的左侧设置在离像素121a的左侧宽度dx1的距离处，矩形开口Z111的上侧设置在离像素121a的上侧dy的距离处。

类似地，在右侧与像素121a-1相邻的像素121a-2被配置为使得矩形开口Z111的左侧设置在离像素121a的左侧宽度dx2的距离处，并且设置在离像素121a的上面高度dy1的距离处，以使得像素121a-2的除了矩形开口Z111之外的区域被遮光膜121b遮蔽。

类似地，随着在水平方向上相邻的像素121a的设置向到图中的右侧前进，矩形开口Z111的右侧从像素121a的右侧起移动宽度dx1,dx2,…,dxn。要注意的是，图40中的范围Z102中的右上部分的虚线方形部分描绘了当矩形开口Z111被设置为使得其左侧定位在离像素121a的左侧宽度dxn的距离处并且其上侧定位在离像素121a的上侧高度dy1的距离处时的状态。此外，宽度dx1,dx2,…,dxn之间的距离是当通过在水平方向上从范围Z102的宽度减去矩形开口Z111的宽度而获得的宽度被除以水平方向上的像素数量n时的值。换句话说，水平方向上的变化的距离是通过将所述值除以水平方向上的像素数量n而确定的。

此外，指向性成像器件121’的像素121a中的矩形开口Z111的水平方向上的位置在如下像素121a中(在同一列中的像素121a中)是相同的：所述像素在指向性成像器件121’中的水平方向上的位置相同。

此外，在像素121a-1的正下面相邻的像素121a-3被配置为使得矩形开口Z111被设置为使得其左侧定位在离像素121a的左侧宽度dx1的距离处并且其上侧定位在离像素121a的上侧高度dy2的距离处，以使得像素121a-3的除了矩形开口Z111之外的范围被遮光膜121b遮蔽。

类似地，随着在垂直方向上相邻的像素121a的设置朝向图40中的下侧前进，矩形开口Z111的上侧从像素121a的上侧起依次移动高度dy1,dy2,…,dym。要注意的是，图40的范围Z102中的左下部分的虚线方形部分描绘了当矩形开口Z111被设置为使得其左侧定位在离像素121a的左侧宽度dx1的距离处并且其上侧定位在离像素121a的上侧高度dym的距离处时的状态。此外，宽度dy1,dy2,…,dym之间的距离是当通过在垂直方向上从范围Z102的高度减去矩形开口Z111的高度而获得的高度被除以垂直方向上的像素数量m时的值。换句话说，垂直方向上的变化的距离是通过将所述值除以垂直方向上的像素数量m而确定的。

此外，指向性成像器件121’的像素121a中的矩形开口Z111的垂直方向上的位置在如下像素121a中(在同一行中的像素121a中)是相同的：所述像素在指向性成像器件121’中的垂直方向上的位置相同。

<视角的变化>

此外，可以通过改变配置图40(图39)中描绘的指向性成像器件121’的每个像素121a的主遮光部分Z101和矩形开口Z111来改变视角。

图41的右边部分描绘了使视角相对于图40(图39)的指向性成像器件121’更宽的情况下的指向性成像器件121’的配置。此外，图41的左边部分描绘了图41的右边部分中的指向性成像器件121’的像素121a的配置。

具体地说，如图41的左边部分中所描绘的，例如，在像素121a中，设置了具有比图40中的主遮光部分Z101的遮光范围窄的遮光范围的主遮光部分Z151(图41的左边部分中的黑色部分)，并且任何其他范围被设置为范围Z152。此外，在范围Z152中，设置了具有比矩形开口Z111的开口面积大的开口面积的矩形开口Z161。

更具体地说，如图41的左边部分所描绘的，像素121a在从上侧和下侧的端部部分朝向其内侧的宽度dx1’(<dx1)上被遮光膜121b遮蔽，并且在从左侧和右侧的端部部分朝向其内侧的深度dy1’(<dy1)上被遮光膜121b遮蔽，由此以形成矩形开口Z161。

这里，如图41中的右边部分中所描绘的，上端部分处的左端部分处的像素121a-1被配置为使得其矩形开口Z161的左侧设置在离像素121a的左侧宽度dx1’的距离处，并且矩形开口Z161的上侧设置在离像素121a的上侧高度dy1’的距离处，以使得其除了矩形开口Z161之外的范围被遮光膜121b遮蔽。

类似地，在右侧与像素121a-1相邻的像素121a-2被配置为使得矩形开口Z161的左侧设置在离像素121a的左侧宽度dx2’的距离处，并且设置在离像素121a的上面高度dy1’的距离处，以使得像素121a-2的除了矩形开口Z161之外的区域被遮光膜121b遮蔽。

类似地，随着在水平方向上相邻的像素121a的设置向图41中的右侧前进，矩形开口Z161的右侧从像素121a的右侧移动宽度dx1’,dx2’,…,dxn’。这里，宽度dx1’,dx2’,…,dxn’之间的距离是当通过从范围Z102在水平方向上的宽度减去矩形开口Z161在水平方向上的宽度而获得的宽度被除以水平方向上的像素数量n时的值。换句话说，垂直方向上的变化的距离是通过将所述值除以水平方向上的像素数量n而确定的。因此，宽度dx1’,dx2’,…,dxn’之间的变化的距离大于宽度dx1,dx2,…,dxn之间的变化的距离。

此外，图41的指向性成像器件121’的像素121a中的矩形开口Z161的水平方向上的位置在如下像素121a中(在同一列中的像素121a中)是相同的：所述像素在指向性成像器件121’中的水平方向上的位置相同。

此外，在像素121a-1的正下面相邻的像素121a-3被配置为使得矩形开口Z161被设置为其左侧定位在离像素121a的左侧宽度dx1’的距离处，并且其上侧定位在离像素121a的上侧高度dy2’的距离处，从而使得像素121a-3的除了矩形开口Z161之外的范围被遮光膜121b遮蔽。

类似地，随着在垂直方向上相邻的像素121a的设置向图41中的下侧前进，矩形开口Z161的上侧从像素121a的上侧依次移动高度dy1’,dy2’,…,dyn’。这里，宽度dy1’,dy2’,…,dym’之间的变化的距离是当通过在垂直方向上从范围Z152的高度减去矩形开口Z161的高度而获得的高度被除以垂直方向上的像素数量m时的值。换句话说，垂直方向上的变化的距离是通过将所述值除以垂直方向上的像素数量m而确定的。因此，宽度dy1’,dy2’,…,dyn’之间的变化的距离大于宽度dy1,dy2,…,dyn之间的变化的距离。

此外，图41的指向性成像器件121’的像素121a中的矩形开口Z161的垂直方向上的位置在如下像素121a中(在同一行中的像素121a中)是相同的：所述像素在指向性成像器件121’中的垂直方向上的位置相同。

通过以这种方式改变主遮蔽部分的遮蔽范围和开口的开口范围的组合，可以实现由各种视角的像素121a(具有各种入射角指向性)配置的指向性成像器件121’。

此外，不仅相同视角的像素121a、而且各种视角的像素121a可以被组合来实现指向性成像器件121。

例如，如图42中所描绘的，通过用虚线指示的包括2个像素×2个像素的四个像素形成一个单元U，每个单元U由宽视角的像素121a-W、中等视角的像素121a-M、窄视角的像素121a-N和极窄视角的像素121a-AN这四个像素配置。

在这种情况下，例如，在所有像素121a的像素数量为X个的情况下，可以使用检测图像来恢复恢复图像，所述检测图像均包括用于每四种视角的X/4个像素。随即，使用在不同视角之间不同的四种的系数集合，并且根据四个不同的联立方程来再现不同视角的恢复图像。

因此，通过使用从适合于用于恢复的视角的成像的像素获得的检测图像来恢复将被恢复的视角的恢复图像，可以根据四个视角恢复适当的恢复图像。

此外，可以通过从四个视角的图像进行插值来产生四个视角之间的中间视角的图像或这些角度左右的视角的图像，或者通过无缝地产生各种视角的图像，可以实现伪光学变焦。

注意，描述了在上文参照图39至图42描述的第二修改例的指向性成像器件121’是通过对在上文参照图9和图10描述的一个光电二极管121e使用遮光膜121b来为每个像素输出单元设置入射角指向性的指向性成像器件121。然而，第二修改例的指向性成像器件121’可以是通过改变配置像素输出单元的多个光电二极管121f的划分数量和划分位置使对输出功能没有贡献的范围与被遮蔽区域起类似作用来设置入射角指向性的指向性成像器件121，比如在上文参照图11描述的指向性成像器件121。

<第三修改例>

顺便提及，在指向性成像器件121中的像素121a的遮光膜121b的遮蔽范围具有随机性的情况下，随着遮光膜121b的遮蔽范围的差异的杂乱增大，信号处理部122进行处理时的负荷增大。因此，可以使像素121a的遮光膜121b的遮蔽范围的变化的部分是规律的以减小杂乱，从而减小处理负荷。

具体地说，信号处理部122上的处理负荷可以例如通过配置L形遮光膜121b来减小，在L形遮光膜121b中，垂直带类型和水平带类型被组合以使得对于预定列方向，具有相等宽度的水平带类型的遮光膜121b被组合，并且对于预定行方向，相等高度的垂直带类型的遮光膜121b被组合，从而减小像素的入射光指向性中的杂乱。

具体地说，例如，如图43的指向性成像器件121”所指示的，对于范围Z130指示的同一列中的像素，使用相等宽度X0的水平带类型的遮光膜121b，对于范围Z150指示的同一行中的像素，使用相等高度Y0的垂直带类型的遮光膜121b。此外，对于每行和每列指定的像素121a，设置作为它们的组合的L形类型的遮光膜121b。

类似地，对于与范围Z130相邻的范围Z131指示的同一列中的像素，使用相等宽度X1的水平带类型的遮光膜121b，对于与范围Z150相邻的范围Z151指示的同一行中的像素，使用相等高度Y1的垂直带类型的遮光膜121b。此外，对于每行和每列指定的像素121a，设置作为它们的组合的L形类型的遮光膜121b。

此外，对于与范围Z131相邻的范围Z132指示的同一列中的像素，使用相等宽度X2的水平带类型的遮光膜，对于与主遮光部分Z151相邻的范围Z152指示的同一行中的像素，使用相等高度Y2的垂直带类型的遮光膜。此外，对于每行和每列指定的像素121a，设置作为它们的组合的L形类型的遮光膜121b。

因为这使得可以在为遮光膜121b在水平方向上的宽度和位置以及遮光膜121b在垂直方向上的高度和位置提供规律性的同时在像素单元中改变遮光膜的范围，所以入射角指向性中的杂乱可以被抑制。结果，变得可以减少系数集合的样式并且减小信号处理部122上的算数操作处理的处理负荷。

更具体地说，在从如图44中的右上部分处描绘的N个像素×N个像素的检测图像Pic、从其元素是N×N行和一列的恢复图像的像素的像素值的矢量X、其元素是N×N行和一列的恢复图像的像素的像素值的矢量Y以及由系数集合配置的N×N行和N×N列的矩阵A确定N×N个像素的恢复图像的情况下，满足如图44的左边部分处描绘的这样的关系。

具体地说，在图44中，描绘了由系数集合配置的N×N行和N×N列的矩阵A与表示恢复图像的N×N行和一列的矢量X的像素的乘法结果变为表示检测图像的N×N行和一列的矢量Y，并且从该关系，例如，配置与在上文描述的表达式(5)至(13)相对应的联立方程。

要注意的是，图44描绘了矩阵A的范围Z201指示的第一列中的元素对应于矢量X的第一行的元素，矩阵A的范围Z202指示的第(N×N)列中的元素对应于矢量X的第(N×N)行的元素。

换句话说，恢复图像是通过以下方式确定的：通过基于图44中指示的矩阵对联立方程进行求解来计算矢量X的元素。此外，在使用针孔的情况下，以及在使用用于使从相同方向入射的入射光线进入彼此相邻的两个像素输出单元的聚光机构(比如成像透镜等)的情况下，因为入射到每个像素的光的位置和入射角之间的关系被唯一地确定，所以矩阵A变为对角矩阵，在该对角矩阵中，向右下倾斜的对角线上的所有元素都为1。相反，在如图6中的成像装置101中那样使用针孔和成像透镜中的任何一个的情况下，因为入射到每个像素的光的位置和入射角之间的关系不是唯一地确定的，所以矩阵A没有变为对角矩阵。

顺便提及，一般来说，图44的行列式通过从左边将其两侧乘以矩阵A的逆矩阵A-1而被如图45中描绘的那样变形，并且作为检测图像的矢量X的元素是通过从右边将检测图像的矢量Y乘以逆矩阵A-1来计算的。

然而，关于实矩阵A，由于以下原因中的一个，有时不可能对该矩阵的联立方程进行求解：它不能被准确地计算，它不能被准确地测量，它由于矩阵A的基矢量接近线性从属的情况而不能被求解，噪声包括在检测图像的元素中，或者它们的组合。

因此，考虑对于各种误差鲁棒的配置，并且采用以下使用正则化最小二乘法的构思的表达式(17)。

[数学式1]

这里，在表达式(17)中，具有应用于其顶部的“^”的x表示矢量X，A表示矩阵A，Y表示矢量Y，γ表示参数，||A||表示L2范数(平方和的平方根)。这里，第一项是当图44的两边最小化时的范数，第二项是正则化项。

如果该表达式(17)是针对x求解的，则它用以下表达式(18)来表示。

[数学式2]

然而，因为矩阵A具有非常大的大小，所以计算时间段或计算需要大容量的存储器。

因此，考虑例如如图46中所描绘的，矩阵A被分解为N行N列的矩阵AL和N行N列的另一矩阵ART，以使得当分别来自表示恢复图像的N行N列的矩阵X的前极和后极的矩阵AL和矩阵ART相乘时的结果变为表示检测图像的N行N列的矩阵Y。因为(N×N)×(N×N)的元素数量的矩阵A变为矩阵AL和ART(这两者都具有(N×N)的元素数量)，所以元素数量可以减少到1/(N×N)。结果，因为只需要使用其元素数量为(N×N)的两个矩阵AL和ART，所以计算量和存储器容量可以减小。

这里，AT是矩阵A的转置矩阵，γ是参数，I是单位矩阵。通过使用矩阵AL作为表达式(18)的圆括号中的矩阵并且使用矩阵ART作为矩阵A的转置矩阵的逆矩阵，实现图46中描绘的行列式。

以这种方式，如图47中描绘的这样的计算通过将矩阵X中的显著元素Xp乘以矩阵AL的对应列中的每个元素组Z221来计算元素组Z222。此外，通过将元素组Z222和与矩阵ART的显著元素Xp相对应的行的元素相乘，计算与显著元素Xp相对应的二维响应Z224。然后，通过将对应的二维响应Z224累积到矩阵X的所有元素来计算矩阵Y。

因此，对于与矩阵AL的每行相对应的元素组Z221，提供针对图43中描绘的指向性成像器件121的每列被设置相等宽度的水平带类型的像素121a的入射角指向性所对应的系数集合。

类似地，对于与矩阵ART的每行相对应的元素组Z223，提供针对图43中描绘的指向性成像器件121的每行被设置相等高度的垂直带类型的像素121a的入射角指向性所对应的系数集合。

结果，因为变得可以减小当基于检测图像恢复恢复图像时将使用的矩阵的大小，所以通过减少计算量，变得可以改进处理速度并且减小计算所需的功耗。此外，因为矩阵的大小可以减小，所以变得可以减小将用于计算的存储器的容量并且降低装置成本。

要注意的是，虽然在图43的例子中，描绘了在水平方向和垂直方向上提供预定规律性的同时在像素单元中改变将被遮蔽的范围(能够接收光的范围)的例子，但是在本公开的技术中，认为即使在像素单元中被以这种方式遮蔽的范围(能够接收光的范围)不是完全随机地设置的、而是以一定程度的随机性设置的，它也被随机地设置。换句话说，在本技术中，不仅在被遮蔽范围(能够接收光的范围)被设置于像素单元中的情况下，而且在范围被以一定程度的随机性设置的情况下(例如，在如下情况下：尽管所有的像素都在其一部分包括像素具有规律性的范围，但是其他范围内的像素被随机地设置)，或者在看起来不存在一定程度的规律性的另一情况下(在不能确认在所有的像素之中一些像素没有根据如在上文参照图43描述的这样的规则设置的配置的情况下)，认为范围是随机地设置的。

此外，描述了在上文参照图43至图47描述的第三修改例的指向性成像器件121”是如下指向性成像器件121，在该指向性成像器件121中，遮光膜121b用于对于一个光电二极管121e针对每个像素输出单元设置入射角指向性，如在上文参照图9和图10描述的。然而，第三修改例的指向性成像器件121”可以是通过改变配置像素输出单元的多个光电二极管121f的划分数量和划分位置以使得对输出功能没有贡献的范围与被遮蔽区域起类似作用来设置入射角指向性的指向性成像器件121，比如在上文参照图11描述的指向性成像器件121。

<第四修改例>

作为配置前面的描述中的指向性成像器件121的每个像素输出单元的遮光膜121b的形状的变化，描述图48中的最上段处的3个图案指示的水平带类型(其中，不同的入射角指向性由水平方向上的宽度和位置的差异提供)、图48中的第二最上段处的3个图案指示的垂直带类型(其中，不同的入射角指向性由垂直方向上的高度和位置的差异提供)以及图48中从上面起第三段处指示的L形类型(其是水平带类型和垂直带类型的组合)的那些遮光膜。然而，遮光膜121b的类型不限于它们中的任何一个。

例如，不同的入射角指向性可以通过如图48中从上面起第四段处的3个图案所指示的那样将遮光膜121b设置为三角形形状并且使它们的范围彼此不同来提供，或者不同的入射角指向性可以通过如图48中的最下段处的3个图案所指示的那样将遮光膜12b设置为圆形形状并且使它们的范围彼此不同来提供。要注意的是，尽管没有描绘，但是可以提供不同于上述图案的图案，例如，可以提供倾斜方向上的直线遮光膜。

要注意的是，在下面给出的描述中，图48中的第四段处的3个图案指示的遮光膜121b被称为三角类型的遮光膜121b，图48中的最下段处的3个图案指示的遮光膜121b被称为圆类型的遮光膜121b。

此外，描述了参照图48描述的第四修改例的指向性成像器件121是通过对在上文参照图9和图10描述的一个光电二极管121e使用遮光膜121b来对每个像素输出单元设置入射角指向性的指向性成像器件121。然而，第四修改例的指向性成像器件121可以是通过改变配置像素输出单元的多个光电二极管121f的划分数量和划分位置以使得对输出功能没有贡献的范围与被遮蔽区域起类似作用来设置入射角指向性的指向性成像器件121，比如在上文参照图11描述的指向性成像器件121。

<第五修改例>

虽然前面的描述针对指向性成像器件121的单像素输出单元中设置的遮光膜121b的变化，但是可以在配置由预定数量的多个像素输出单元配置的聚合体的多个像素输出单元中设置遮光膜121b的变化(图案)。作为例子，不是单色成像器件，而是彩色成像器件是可想象的。

具体地说，如图49的图案Pt1所指示的，通过使用配置包括配置拜耳阵列的总共四个像素输出单元(包括2个像素输出单元×2个像素输出单元)的聚合体的多个像素输出单元，可以按矩阵设置相等宽度的水平带类型的遮光膜121b。

同时，如图案Pt2所指示的，通过使用配置包括配置拜耳阵列的总共四个像素输出单元的聚合体的多个像素输出单元，可以按矩阵设置不同像素输出单元之间不同的宽度的水平带类型的遮光膜121b。

此外，如图案Pt3所指示的，配置包括配置拜耳阵列的总共四个像素输出单元的聚合体的多个像素输出单元可以按矩阵设置，以使得在四像素输出单元的中心位置居中的情况下用于单像素输出单元的水平带类型或垂直带类型的遮光膜121b的位置相对于对应的像素输出位置点对称地改变。

此外，在相同颜色方案的像素输出单元例如从2个像素输出单元×2个像素输出单元这四个像素输出单元设置、并且四个输出单元的相同颜色方案的聚合体在由2个聚合体×2个聚合体配置的总共四个聚合体单元(16个像素输出单元)中配置拜耳阵列的情况下，如图案Pt4所指示的，相等宽度的水平带类型的遮光膜121b可以按矩阵设置在配置包括相同颜色方案的四个像素输出单元的聚合体的四个像素输出单元中。

此外，如图案Pt5所指示的，通过使用配置由相同颜色方案的四个像素输出单元配置的聚合体的四像素输出单元，可以按矩阵设置具有对于每个单像素输出单元不同的宽度的水平带类型的遮光膜121b。

此外，如图案Pt6所指示的，通过使用配置包括相同颜色方案的四个像素输出单元的聚合体的四像素输出单元，可以按矩阵设置水平带类型和垂直带类型的遮光膜121b，其中，它们的位置被改变以使得四个像素输出单元的被遮蔽范围相对于四像素输出单元的中心位置处的中心以点对称的方式每单像素输出单元变化。

此外，在相同颜色方案的像素输出单元例如从3个像素输出单元×3个像素输出单元的九像素输出单元设置、并且拜耳阵列由九像素输出单元的相同颜色方案的聚合体单元中的2个聚合体×2个聚合体配置的总共四个聚合体单元(36个像素输出单元)配置的情况下，如图案Pt7所指示的，相等宽度的水平带类型的遮光膜121b可以按矩阵设置在配置包括相同颜色方案的九个像素输出单元的聚合体的九像素输出单元中。

此外，如图案Pt8所指示的，通过使用配置由相同颜色方案的九个像素配置的聚合体的九像素输出单元，可以按矩阵设置具有按单像素输出单元不同的宽度的水平带类型的遮光膜121b。

此外，如图案Pt9所指示的，通过使用配置由相同颜色方案的九个像素输出单元配置的聚合体的九像素输出单元，可以按矩阵设置水平带类型、垂直带类型和三角类型的遮光膜121b，其中，它们的位置被改变以使得以九像素输出单元的中心像素为中心的八个像素输出单元的被遮蔽范围在2个像素输出单元的单元中点对称地改变。

要注意的是，虽然给出了前面对于使用水平带类型、垂直带类型和三角类型的遮光膜121b的图案的描述，但是其他类型的(例如，圆类型的或类似类型的)遮光膜121b可以被使用。此外，虽然前面的描述针对使用拜耳阵列的例子，但是不同于此的颜色方案图案可以被使用。此外，尽管关于配置聚合体的相同颜色方案的像素输出单元数量，描述了单像素输出单元、四像素输出单元和九像素输出单元的例子，但是相同颜色方案的像素输出单元可以用任何其他的像素输出单元数量设置。

此外，优选的是，其中配置聚合体的每个像素中的遮光膜121b阻挡光的范围的图案的随机性高，即，配置聚合体的像素具有彼此不同的入射角指向性。

此外，尽管参照图49描述了对于包括包含配置拜耳阵列的2个像素输出单元×2个像素输出单元的四像素输出单元的一个聚合体，设置遮光膜121b的图案，或者遮光膜121b被设置为聚合体之间的图案的例子，但是遮光膜121b可以被设置在任何其他的单元中。例如，遮光膜121b可以被设置用于由多个像素输出单元配置的处理单元，所述多个像素输出单元除了颜色方案之外还考虑例如曝光时间彼此不同的、第一曝光时间段的像素输出单元和长于第一曝光时间段的第二曝光时间段的像素输出单元。

此外，描述了在上文参照图49描述的第五修改例的指向性成像器件121是通过对在上文参照图9和图10描述的一个光电二极管121e使用遮光膜121b来对每个像素输出单元设置入射角指向性的指向性成像器件121。然而，第五修改例的指向性成像器件121可以是通过改变配置像素输出单元的多个光电二极管121f的划分数量和划分位置以使得对输出功能没有贡献的范围与被遮蔽区域起类似作用来设置入射角指向性的指向性成像器件121，比如在上文参照图11描述的指向性成像器件121。

<第六修改例>

虽然前面的描述针对遮光膜121b的设置图案被设置在配置配置拜耳阵列的相同颜色方案的至少一个或多个像素输出单元的聚合体的多个像素输出单元中的例子，但是遮光膜121b的设置图案可以被设置在聚合体之间。

具体地说，指向性成像器件121的像素输出单元的遮光膜121b的设置图案可以使得，在例如如图50中的图案Pt11所指示的那样聚合体由2个像素输出单元×2个像素输出单元的拜耳阵列的四个像素输出单元配置的情况下，遮光膜121b可以被设置为使得在不同的聚合体之间，对于四个像素输出单元内的、图50中的左上部分处的G像素的像素输出单元，水平带类型的遮光膜121b被设置在像素输出单元中的左端部分处，并且遮光膜121b的宽度从图50中的左边开始在向右的方向上对于每一个聚合体被依次设置地更宽。

此外，如图50的图案Pt12所指示的，每个聚合体中的四像素输出单元内的左上部分处的G像素的像素输出单元的遮光膜121b的宽度可以被设置为随机地变化。

此外，如图50的图案Pt13所指示的，每个聚合体中的四像素输出单元内的左上部分处的G像素的像素输出单元的遮光膜121b的遮蔽范围可以被设置为在聚合体之间相对于像素输出单元的中心点对称地变化。

要注意的是，虽然前面的描述针对使用水平带类型和垂直带类型的例子，但是当然，使用L形类型、三角类型、圆类型等的遮光膜121b的图案可以被设置。

要注意的是，虽然在上文描述的第五修改例和第六修改例针对遮光膜121b的遮蔽范围的图案被设置在拜耳阵列等的聚合体中的多个像素输出单元中或者聚合体之间的例子，但是遮光膜121b的遮蔽范围的图案可以被设置在聚合体中或者均由按不同类别分类的多个像素输出单元配置的聚合体之间。

此外，描述了在上文参照图50描述的第六修改例的指向性成像器件121是通过对在上文参照图9和图10描述的一个光电二极管121e使用遮光膜121b来对每个像素输出单元设置入射角指向性的指向性成像器件121。然而，第六修改例的指向性成像器件121可以是通过改变配置像素输出单元的多个光电二极管121f的划分数量和划分位置以使得对输出功能没有贡献的范围与被遮蔽区域起类似作用来设置入射角指向性的指向性成像器件121，比如在上文参照图11描述的指向性成像器件121。

<第七修改例>

如在上文参照图11所描述的，作为多个光电二极管121f的例子，描述了像素输出单元由两个×两个光电二极管121f的设置配置、并且像素输出单元的输出像素值相对于入射角的指向性通过改变每个光电二极管121f对于像素输出单元的贡献的有无或程度而被各式各样地改变的例子，当然，配置像素输出单元的多个光电二极管121f的数量可以是任何其他的数量。

具体地说，如图51中所描绘的，可以配置像素121a-b，在该像素中，像素输出单元由光电二极管121f-111至121e-119的三个光电二极管121f×3个光电二极管121f(＝九个光电二极管121f)配置。要注意的是，配置像素输出单元的光电二极管121f的数量可以不同于在上文描述的四个和九个。

换句话说，多个光电二极管121f可以被切换和使用以使得它们形成各种像素输出单元的像素121a。

<第八修改例>

前面的描述针对像素输出单元的输出像素值的入射角指向性被多个光电二极管121f各式各样地转换的例子。顺便提及，当一个像素输出单元包括预定数量的光电二极管121f时，一个片上透镜121c对于单像素输出单元本质上是必要的。

具体地说，如图52中所描绘的，例如，针对一个片上透镜121c设置三个光电二极管121f×3个光电二极管121f(＝九个光电二极管121f)的光电二极管121f-111至121f-119这样的配置被做成像素输出单元。就如刚才描述的这样的配置来说，如果对于例如图52中描绘的光电二极管121f-111、121f-114和121f-117至121f-119这五个像素不执行读出，则光电二极管121f-111、121f-114和121f-117至121f-119的范围被置于它对检测信号没有贡献的状态，并且通过仅使用对检测信号做出贡献的信号，从光电二极管121f-112、121f-113、121f-115和121f-116的范围内，可以设置入射角指向性。

要注意的是，可以考虑该配置是应用在上文描述的图12或图13中的下部部分处的配置的配置。

与当提供遮光膜121b时的检测信号类似的检测信号可以在不以这种方式提供遮光膜121b的情况下获得，并且通过切换对检测信号没有贡献的光电二极管121f的图案，可以基本上形成在遮蔽位置和范围上不同的遮光膜121b，也就是说，可以实现等同于提供不同入射光指向性的处理。

因此，通过为一个片上透镜121c提供多个光电二极管121f以使得包括多个光电二极管121f的聚合体被作为单像素输出单元进行处理，可以通过进行切换使得在不提供遮光膜121b的情况下不执行与遮光膜121b相对应的任何光电二极管121f的读出，来使与像素121a使用遮光膜121b形成的检测图像类似的检测图像成像。简而言之，一个片上透镜是对于单像素输出单元本质上必需的组件。

《3.第二实施例》

虽然前面的描述针对指向性成像器件121、信号处理部122等被形成为彼此分开的构件的例子，但是信号处理部122可以被配置在与其上提供指向性成像器件121的基板相同的基板上，或者其上提供指向性成像器件121的基板和其上配置信号处理部122等的基板可以通过贯通电极(诸如TSV(硅通孔))等堆叠和彼此连接以使得它们被整体地配置。

图53描绘了使用集成的指向性成像器件121的成像装置101的配置例子，其中，在与其上配置指向性成像器件121的像素阵列的基板相同的基板或其上配置指向性成像器件121的像素阵列的基板的后面侧堆叠的基板上，提供成像距离确定部129、系数集合选择部131和信号处理部122。

要注意的是，因为基本功能和成像处理类似于图6的成像装置101的那些基本功能和成像处理，所以它们的描述被省略。

要注意的是，本技术也可以采用以下配置。

<1>一种成像装置，包括：

成像器件，所述成像器件具有多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到像素输出单元的入射光，其中，所述多个像素输出单元中的至少两个像素输出单元的输出像素值关于来自被摄体的入射光的入射角的特性是彼此不同的。

<2>根据<1>所述的成像装置，其中，

所述特性是指示来自所述被摄体的入射光相对于入射角的指向性的入射角指向性性。

<3>根据<2>所述的成像装置，其中，

从所述多个像素输出单元中的每个像素输出单元输出单个检测信号。

<4>根据<3>所述的成像装置，进一步包括：

图像恢复部，所述图像恢复部被配置为使用由多个检测信号配置的检测图像来恢复恢复图像，所述多个检测信号是从所述多个像素输出单元输出的。

<5>根据<4>所述的成像装置，其中，

所述图像恢复部通过选择性地使用所述多个像素输出单元中的部分像素输出单元的检测信号来恢复所述恢复图像。

<6>根据<4>所述的成像装置，其中，

所述图像恢复部选择性地执行用于通过使用所述多个像素输出单元中的部分像素输出单元的检测信号来恢复所述恢复图像的恢复处理、以及用于使用所述多个像素输出单元中的所有像素输出单元的检测信号来恢复所述恢复图像的恢复处理。

<7>根据<4>所述的成像装置，其中，

所述多个像素输出单元包括广角兼容像素输出单元和窄角兼容像素输出单元，所述广角兼容像素输出单元具有适合于广角图像的入射角指向性，所述窄角兼容像素输出单元窄于所述广角兼容像素输出单元，并且

所述图像恢复部通过选择性地使用所述广角兼容像素输出单元和所述窄角兼容像素输出单元来恢复所述恢复图像。

<8>根据<2>所述的成像装置，其中，

所述成像装置不包括用于将来自所述被摄体的具有不同主光线入射角的漫射的光线引入到彼此相邻的多个像素输出单元的聚光机构。

<9>根据<1>所述的成像装置，其中，

所述多个像素输出单元具有能够彼此独立地分别设置针对来自所述被摄体的入射光的入射角的特性的结构。

<10>一种成像器件，具有：

多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到像素输出单元的入射光，其中，所述多个像素输出单元中的至少两个像素输出单元的输出像素值关于来自被摄体的入射光的入射角的特性是彼此不同的。

<11>根据<10>所述的成像器件，其中，

所述多个像素输出单元中的至少两个像素输出单元在指示来自被摄体的入射光相对于入射角的指向性的入射角指向性方面是彼此不同的。

<12>根据<11>所述的成像器件，其中，

所述多个像素输出单元中的每个像素输出单元是由一个光电二极管配置的，并且

从所述多个像素输出单元中的每个像素输出单元输出单个检测信号。

<13>根据<12>所述的成像器件，其中，

所述至少两个像素输出单元中的每个像素输出单元包括遮光膜，所述遮光膜用于阻挡被摄体光的入射，所述被摄体光是从所述被摄体到所述光电二极管的入射光，并且

所述被摄体光到所述两个像素输出单元的入射被所述遮光膜阻挡的范围在所述至少两个像素输出单元之间是彼此不同的。

<14>根据<11>所述的成像器件，其中，

所述多个像素输出单元中的每个像素输出单元是由多个光电二极管配置的，并且从所述多个像素输出单元中的每个像素输出单元输出单个检测信号。

<15>根据<14>所述的成像器件，其中，

所述至少两个像素输出单元在所述多个光电二极管中的对检测信号做出贡献的光电二极管方面是彼此不同的。

<16>根据<11>所述的成像器件，其中，

所述多个像素输出单元包括广角兼容像素输出单元和窄角兼容像素输出单元，所述广角兼容像素输出单元具有适合于广角图像的入射角指向性，所述窄角兼容像素输出单元窄于所述广角兼容像素输出单元。

<17>根据<11>所述的成像器件，进一步包括：

多个片上透镜，所述多个片上透镜分别对应于所述多个像素输出单元中的每个像素输出单元。

<18>根据<17>所述的成像器件，其中，

所述入射角指向性具有根据所述片上透镜的曲率的特性。

<19>根据<18>所述的成像器件，其中，

所述入射角指向性具有根据遮光区域的特性。

<20>根据<18>所述的成像器件，其中，

所述多个片上透镜中的至少部分片上透镜的曲率不同于其他片上透镜的曲率。

<21>根据<10>所述的成像器件，其中，

所述多个像素输出单元具有能够彼此独立地分别设置针对来自所述被摄体的入射光的入射角的特性的结构。

<22>一种图像处理装置，包括：

图像恢复部，所述图像恢复部被配置为使用由多个检测信号配置的检测图像来恢复能够查看所述被摄体的恢复图像，所述多个检测信号中的每个检测信号是从具有多个像素输出单元的成像器件的多个像素输出单元中的每个像素输出单元输出的，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到像素输出单元的入射光，其中，来自被摄体的入射光相对于入射角的入射角指向性在所述多个像素输出单元中的至少两个像素输出单元的输出像素值之间是不同的。

<23>根据<22>所述的图像处理装置，其中，

所述图像恢复部通过选择性地使用所述多个像素输出单元中的部分像素输出单元的一个或多个检测信号来恢复所述恢复图像。

<24>根据<22>所述的图像处理装置，其中，

所述图像恢复部选择性地执行用于通过使用所述多个像素输出单元中的部分像素输出单元的检测信号来恢复所述恢复图像的恢复处理、以及用于使用所述多个像素输出单元中的所有像素输出单元的检测信号来恢复所述恢复图像的恢复处理。

<25>根据<22>所述的图像处理装置，其中，

所述多个像素输出单元包括广角兼容像素输出单元和窄角兼容像素输出单元，所述广角兼容像素输出单元具有适合于广角图像的入射角指向性，所述窄角兼容像素输出单元窄于所述广角兼容像素输出单元，并且

所述图像恢复部通过选择性地使用所述广角兼容像素输出单元和所述窄角兼容像素输出单元来恢复所述恢复图像。

<26>一种用于成像装置的成像方法，包括以下步骤：

通过成像器件使图像成像，所述成像器件具有多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到其的入射光，其中，所述多个像素输出单元中的至少两个的输出像素值关于来自被摄体的入射光的入射角的特性是彼此不同的。

<27>一种用于成像器件的成像方法，包括以下步骤：

通过成像器件使图像成像，所述成像器件具有多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到其的入射光，其中，所述多个像素输出单元中的至少两个的输出像素值关于来自被摄体的入射光的入射角的特性是彼此不同的。

<28>一种图像处理方法，包括以下步骤：

通过图像恢复部进行恢复，所述图像恢复部具有多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到其的入射光；

使用从多个检测信号配置的检测图像来恢复所述被摄体在其上可查看的恢复图像，所述多个检测信号是从成像器件的多个像素输出单元输出的，在所述成像器件中，来自被摄体的入射光相对于入射角的入射角指向性在所述多个像素输出单元中的至少两个的输出像素值之间是不同的。

[标号列表]

101 成像装置

121 指向性成像器件

121a 像素

121b 遮光膜

121c 片上透镜

121d 滤色器

121e、121f 光电二极管

122 信号处理部

123 去马赛克处理部

124 γ校正部

125 白平衡调整部

126 图像输出部

127 存储部

128 显示部

129 成像距离确定部

130 操作部

131 系数集合选择部

151 成像器件

152 光学块

153 焦点调整部

Claims (18)

1.一种成像器件，具有：

多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到像素输出单元的入射光，其中，所述多个像素输出单元中的至少两个像素输出单元的输出像素值关于来自被摄体的入射光的入射角的特性是彼此不同的。

2.根据权利要求1所述的成像器件，其中，

所述多个像素输出单元中的每一个的入射光的入射角的特性在水平方向和垂直方向中的一个上是相同的。

3.根据权利要求2所述的成像器件，其中，所述多个像素输出单元中的每一个的入射光的入射角的特性在水平方向上是相同的。

4.根据权利要求2所述的成像器件，其中，所述多个像素输出单元中的每一个的入射光的入射角的特性在垂直方向上是相同的。

5.一种成像装置，包括：

成像器件，所述成像器件具有多个像素输出单元，所述多个像素输出单元用于在没有成像透镜和针孔中的任何一个的干预的情况下接收入射到像素输出单元的入射光，其中，所述多个像素输出单元中的至少两个像素输出单元关于来自被摄体的入射光的入射角的特性是彼此不同的。

6.根据权利要求5所述的成像装置，其中，

所述成像装置进一步被配置为将机械学习应用于从所述成像器件输出的检测信号以使用检测信号执行图像辨识。

7.根据权利要求5所述的成像装置，其中，所述多个像素输出单元中的至少两个像素输出单元中的每一个包括光电二极管，光电二极管具有被遮光膜至少部分遮蔽的光接收区域，遮光膜被配置为对于所述至少两个像素输出单元的每个光电二极管提供光接收区域的不同遮蔽，以使入射角指向性对于所述至少两个像素输出单元不同，入射角指向性指示来自被摄体的入射光相对于入射角的光接收灵敏度。

8.根据权利要求7所述的成像装置，其中，遮光膜提供矩形开口。

9.根据权利要求7所述的成像装置，其中，遮光膜是水平带类型，在水平带类型中，所述至少两个像素输出单元的入射角指向性由遮光膜在水平方向上的宽度和位置的差异提供。

10.根据权利要求7所述的成像装置，其中，遮光膜是垂直带类型，在垂直带类型中，所述至少两个像素输出单元的入射角指向性由遮光膜在垂直方向上的高度和位置的差异提供。

11.根据权利要求7所述的成像装置，其中，遮光膜是作为水平带类型和垂直带类型的组合的L形类型，以及其中，在水平带类型中，所述至少两个像素输出单元的入射角指向性由遮光膜在水平方向上的宽度和位置的差异提供，以及在垂直带类型中，所述至少两个像素输出单元的入射角指向性由遮光膜在垂直方向上的高度和位置的差异提供。

12.根据权利要求5所述的成像装置，其中，

所述多个像素输出单元包括广角兼容像素输出单元和窄角兼容像素输出单元，所述广角兼容像素输出单元具有适合于广角图像的入射角指向性，所述窄角兼容像素输出单元窄于所述广角兼容像素输出单元，

来自广角兼容像素输出单元的检测信号配置广角视角下的检测图像，以及

来自窄角兼容像素输出单元的检测信号配置窄角视角下的检测图像。

13.根据权利要求9所述的成像装置，其中，通过使用配置拜尔阵列的2个像素输出单元×2个像素输出单元以矩阵形式布置相等宽度的水平带类型的遮光膜。

14.根据权利要求7所述的成像装置，其中，聚合体由配置拜尔阵列的2个像素输出单元×2个像素输出单元配置，并且在不同的聚合体之间，遮光膜的宽度和位置中的至少一个是不同的。

15.一种图像处理装置，包括：

图像恢复部，所述图像恢复部被配置为使用由多个检测信号配置的检测图像，来恢复在其上能够查看被摄体的恢复图像，所述多个检测信号中的每个检测信号是从根据权利要求5至14中任一项所述的成像装置中包括的成像器件的多个像素输出单元中的每个像素输出单元输出的。

16.根据权利要求15所述的图像处理装置，其中，

所述图像恢复部通过选择性地使用所述多个像素输出单元中的部分像素输出单元的检测信号来恢复所述恢复图像。

17.根据权利要求15所述的图像处理装置，其中，

所述图像恢复部选择性地执行用于通过使用所述多个像素输出单元中的部分像素输出单元的检测信号来恢复所述恢复图像的恢复处理、以及用于使用所述多个像素输出单元中的所有像素输出单元的检测信号来恢复所述恢复图像的恢复处理。

18.根据权利要求15所述的图像处理装置，其中，

所述多个像素输出单元包括广角兼容像素输出单元和窄角兼容像素输出单元，所述广角兼容像素输出单元具有适合于广角图像的入射角指向性，所述窄角兼容像素输出单元窄于所述广角兼容像素输出单元，并且

所述图像恢复部通过选择性地使用所述广角兼容像素输出单元和所述窄角兼容像素输出单元来恢复所述恢复图像。

Images