CN114586334A - 信息处理装置、信息处理方法、程序和信息处理系统 - Google Patents

Abstract

本技术涉及使得能够容易地获得具有适当视角的图像的信息处理装置、信息处理方法、程序和信息处理系统。信息处理装置设有：像素选择单元，该像素选择单元基于从设有多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，其中该成像元件既不经由成像镜头也不经由针孔接收从被摄体入射的入射光，并且该成像元件输出检测信号，该检测信号指示按照入射光的入射角调制的输出像素值并且对应于所述多个视角中的任意视角；和控制单元，该控制单元通过使用所选像素执行预定处理。本技术例如可以应用于车载系统。

Description

信息处理装置、信息处理方法、程序和信息处理系统

技术领域

本技术涉及信息处理装置、信息处理方法、程序和信息处理系统，特别涉及使用无镜头相机的信息处理装置、信息处理方法、程序和信息处理系统。

背景技术

以往，提出了通过基于移动体的速度、物体相对于移动体的相对距离以及变焦操作的延迟时间来计算变焦倍率，驱动变焦镜头实现计算出的变焦倍率，并将物体的位置设定在校正中心来进行模糊校正(例如，参见专利文献1)。

引文列表

专利文献

专利文献1：日本专利申请公开No.2015-195569

发明内容

本发明要解决的问题

这样，在从移动体捕捉周边环境的图像时，驱动变焦镜头(lens)需要时间。于是，为了获得具有适当视角的图像，需要考虑到移动体的速度等进行复杂的控制。

鉴于这种情况产生了本技术，并且目的是使得能够容易地获得合适视角的图像。

问题的解决方案

本技术的第一方面的信息处理装置包括：像素选择单元，所述像素选择单元被配置成基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角；和控制单元，所述控制单元被配置成通过使用选择的像素执行预定处理。

在本技术的第一方面的信息处理方法中，信息处理装置进行处理，包括：基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角；和通过使用选择的像素执行预定处理。

本技术的第一方面的程序进行处理，包括：基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角；和通过使用选择的像素执行预定处理。

本技术的第二方面的信息处理系统包括：成像元件，所述成像元件包括多个像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于多个视角中的任意视角；和信息处理装置，其中所述信息处理装置包括：像素选择单元，所述像素选择单元被配置成基于从所述检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素；和控制单元，所述控制单元被配置成通过使用选择的像素执行预定处理。

在本技术的第一方面或第二方面中，基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角，并且通过使用选择的像素执行预定处理。

附图说明

图1是图解说明应用本技术的信息处理系统的构成例子的方框图。

图2是图解说明图1的信息处理系统的成像单元的构成例子的方框图。

图3是说明图2的成像元件中的成像的原理的示图。

图4是图解说明图2的成像元件的像素阵列单元的构成例子的示图。

图5是说明图2的成像元件的第一构成例子的示图。

图6是说明图2的成像元件的第二构成例子的示图。

图7是说明入射角指向性的发生原理的示图。

图8是说明使用片上镜头对入射角指向性的变化的示图。

图9是说明窄视角像素和宽视角像素之间的关系的示图。

图10是说明窄视角像素和宽视角像素之间的关系的示图。

图11是说明窄视角像素和宽视角像素之间的关系的示图。

图12是说明窄视角像素和宽视角像素之间的图像质量差异的示图。

图13是说明窄视角像素和宽视角像素之间的图像质量差异的示图。

图14是说明组合具有多个视角的像素的例子的示图。

图15是图解说明图1中的控制单元的构成例子的方框图。

图16是说明监视处理的第一实施例的流程图。

图17是说明图像复原处理的细节的流程图。

图18是说明变焦镜头相机的光轴偏移的示图。

图19是图解说明成像元件的视角的例子的示图。

图20是图解说明成像元件的开口设定范围的例子的示图。

图21是图解说明宽视角像素的遮光图案的例子的示图。

图22是图解说明窄视角像素的遮光图案的例子的示图。

图23是图解说明像素阵列单元中的像素的排列例子的示图。

图24是图解说明像素阵列单元中的像素的排列例子的示图。

图25是说明监视处理的第一实施例的流程图。

图26是说明像素选择方法的示图。

图27是说明像素选择方法的示图。

图28是图解说明成像元件的变形例的示图。

图29是图解说明成像元件的变形例的示图。

图30是图解说明成像元件的变形例的示图。

图31是图解说明成像元件的变形例的示图。

图32是图解说明成像元件的变形例的示图。

具体实施方式

下面，将参考附图详细描述本技术的优选实施例。注意，在本说明书和附图中，具有实质相同的功能构成的组件用相同的附图标记表示，并根据需要省略重复的说明。

此外，将按照以下顺序进行描述。

1.第一实施例

2.第二实施例

3.变形例

4.其他

<<1.第一实施例>>

首先，将参考图1～18说明本技术的第一实施例。

<信息处理系统11的构成例子>

图1是图解说明应用本技术的信息处理系统11的构成例子的方框图。

信息处理系统11是设置在车辆中并进行车辆的控制等的系统。

信息处理系统11包括相机模块21、通信单元22、识别单元23、警示控制单元24、显示单元25、显示控制单元26、操作控制单元27和控制单元28。相机模块21、通信单元22、识别单元23、警示控制单元24、显示控制单元26、操作控制单元27和控制单元28经由总线B1相互连接。

注意，下面为了描述的简单起见，将省略在信息处理系统11的各个单元经由总线B1进行数据交换等的情况下的总线B1的描述。例如，在控制单元28经由总线B1向通信单元22供给数据的情况下，仅描述控制单元28向通信单元22供给数据。

相机模块21捕捉车辆前方的图像。相机模块21包括成像单元41、相机ECU 42和微控制单元(MCU)43。

如后所述，成像单元41包括不使用成像镜头或针孔的无镜头相机(LLC)。成像单元41能够以多个视角同时捕捉车辆前方的图像。成像单元41将获得的多个视角的检测图像供给到相机ECU 42。

相机ECU 42对各个视角的检测图像进行预定图像处理，并将各个视角的检测图像供给到MCU 43。

MCU 43将从相机ECU 42供给的数据(例如，检测图像)转换成用于通信的格式的数据，并输出到总线B1。此外，MCU 43将从总线B1接收到的数据转换成用于相机ECU 42的格式的数据，并供给到相机ECU 42。

通信单元22通过诸如车辆对车辆通信、车辆对行人通信或道路对车辆通信之类的各种类型的无线通信，与例如周边车辆、行人拥有的便携式终端设备、路边单元和外部服务器之间发送和接收信息。

识别单元23基于由控制单元28从检测图像复原出的复原图像，进行车辆前方的物体的识别处理。例如，识别单元23进行对于物体的位置、大小、类型、运动等的识别处理。识别单元23将指示物体的识别结果的数据输出到总线B1。

注意，如后将述，检测图像是其中没有检测到被摄体的图像、从而无法视觉识别被摄体的图像，而复原图像是从检测图像复原到被摄体可见的状态的图像。

警示控制单元24基于控制单元28对车辆前方的危险物的检测结果，进行在复原图像上叠加提示注意危险物的警告显示的处理。警示控制单元24将叠加警告显示的复原图像输出到总线B1。注意，在没有检测到危险物的情况下，警示控制单元24将复原图像原样输出到总线B1，而不叠加警告显示。

显示单元25例如包括诸如有机EL显示器或液晶显示器之类的显示器，并显示复原图像等。显示单元25例如安装在驾驶员看得见的位置，例如在车辆的仪表盘上、仪表板内等。

显示控制单元26控制显示单元25的显示处理，例如，显示控制单元26控制显示单元25对复原图像的显示。此外，例如，显示控制单元26通过控制显示单元25对叠加警告显示的复原图像的显示，来控制警告显示的显示。

操作控制单元27控制车辆的操作。例如，操作控制单元27控制车辆的速度、行进方向、制动器等，以便避开控制单元28检测到的危险物。

控制单元28例如包括各种处理器，控制信息处理系统11的各个单元，并执行各种处理。例如，控制单元28从识别单元23识别出的物体之中检测可能会与车辆碰撞或接触的危险物。此外，控制单元28基于危险物的检测结果，从相机模块21生成的各个视角的检测图像之中选择要使用的检测图像。控制单元28从选择的检测图像复原出其中形成被摄体的图像的复原图像，并将复原图像输出到总线B1。

<成像单元41的构成例子>

图2是图解说明相机模块21的成像单元41的构成例子的方框图。

成像单元41包括成像元件121、控制单元122、存储单元123和通信单元124。此外，控制单元122、存储单元123和通信单元124组成用于进行信号处理、成像单元41的控制等的信号处理控制单元111。注意，成像单元41不包括成像镜头(无成像镜头)。

此外，成像元件121、控制单元122、存储单元123和通信单元124经由总线B2相互连接，并且经由总线B2进行数据的发送、接收等。

注意，下面为了描述的简单起见，将省略在成像单元41的各个单元经由总线B2进行数据交换等的情况下的总线B2的描述，例如，在通信单元124经由总线B2向控制单元122供给数据的情况下，仅描述通信单元124向控制单元122供给数据。

成像元件121是其中各个像素的检测灵敏度具有入射角指向性的成像元件，并且成像元件121将包括指示与入射光的光量相应的检测信号电平的检测信号的图像输出到总线B2。各个像素的检测灵敏度具有入射角指向性意味着对于各个像素，使与到各个像素的入射光的入射角相应的受光灵敏度特性不同。然而，所有像素的受光灵敏度特性不必完全不同，一些像素的受光灵敏度特性可以相同。

更具体地，成像元件121可以具有与包括诸如互补金属氧化物半导体(CMOS)图像传感器之类的一般成像元件的成像元件类似的基本结构。不过，成像元件121具有与一般成像元件不同的组成像素阵列单元的各个像素的构成，并且例如如后将参考图4～6所述，具有其中赋予入射角指向性的构成。于是，成像元件121取决于每个像素的入射光的入射角而具有不同(变化)的受光灵敏度，并且具有以像素为单位就入射光的入射角而论的入射角指向性。

这里，例如，假设所有的被摄体都是点光源的集合，并且从各个点光源向所有方向发射光。例如，假设图3的左上部的被摄体的被摄体表面102包括点光源PA～PC，并且各个点光源PA～PC向周边环境发射具有光强度a～c的多个光束。此外，在下文中，假设成像元件121在位置Pa～Pc，包括具有分别不同的入射角指向性的像素(下面称为像素Pa～Pc)。

在这种情况下，如在图3的左上部图解所示，从同一点光源发射的具有相同光强度的光束入射到成像元件121的各个像素。例如，从点光源PA发射的具有光强度a的光束分别入射到成像元件121的像素Pa～Pc。然而，对于各个像素，从同一点光源发射的光束是以分别不同的入射角入射的。例如，来自点光源PA的光束以分别不同的入射角入射到像素Pa～Pc。

另一方面，由于在像素Pa～Pc中入射角指向性分别相同，因此在各个像素中以不同的灵敏度检测从同一点光源发出的光强度相同的光束。结果，对于各个像素，以不同的检测信号电平检测具有相同光强度的光束。例如，对于像素Pa～Pc，来自点光源PA的具有光强度a的光束的检测信号电平将是分别不同的值。

随后，通过将光束的光强度乘以指示相对于该光束的入射角的受光灵敏度(即，入射角指向性)的系数，获得各个像素相对于来自各个点光源的光束的受光灵敏度水平。例如，通过将点光源PA的光束的光强度a乘以指示像素Pa就该光束入射到像素Pa的入射角而论的入射角指向性的系数，获得像素Pa相对于来自点光源PA的光束的检测信号电平。

于是，像素Pc、Pb和Pa的检测信号电平DA、DB和DC分别由下式(1)～(3)表示。

DA＝α1×a+β1×b+γ1×c···(1)

DB＝α2×a+β2×b+γ2×c···(2)

DC＝α3×a+β3×b+γ3×c···(3)

其中，系数α1是指示像素Pc就从点光源PA到像素Pc的光束的入射角而论的入射角指向性的系数，是按照入射角设定的。此外，此外，α1×a指示像素Pc相对于来自点光源PA的光束的检测信号电平。

系数β1是指示像素Pc就从点光源PB到像素Pc的光束的入射角而论的入射角指向性的系数，是按照入射角设定的。此外，此外，β1×b指示像素Pc相对于来自点光源PB的光束的检测信号电平。

系数γ1是指示像素Pc就从点光源PC到像素Pc的光束的入射角而论的入射角指向性的系数，是按照入射角设定的。此外，此外，γ1×c指示像素Pc相对于来自点光源PC的光束的检测信号电平。

这样，通过像素Pc中的来自点光源PA、PB和PC的光束的各个光强度a、b和c；和指示与各个入射角相应的入射角指向性的系数α1、β1和γ1的乘积和，获得像素Pa的检测信号电平DA。

类似地，如式(2)中所示，通过像素Pb中的来自点光源PA、PB和PC的光束的各个光强度a、b和c；和指示与各个入射角相应的入射角指向性的系数α2、β2和γ2的乘积和，获得像素Pb的检测信号电平DB。此外，如式(3)中所示，通过像素Pa中的来自点光源PA、PB和PC的光束的各个光强度a、b和c；和指示与各个入射角相应的入射角指向性的系数α2、β2和γ2的乘积和，获得像素Pc的检测信号电平DC。

然而，在像素Pa、Pb和Pc的检测信号电平DA、DB和DC中，混合了分别从点光源PA、PB和PC发射的光束的光强度a、b和c，如式(1)～(3)中所示。于是，如在图3的右上部图解所示，成像元件121中的检测信号电平不同于被摄体表面102上的各个点光源的光强度。因此，通过成像元件121获得的图像不同于其上形成被摄体表面102的图像的图像。

然而，通过创建包括式(1)～(3)的联立方程式，并求解创建的联立方程式，获得各个点光源PA～PC的光束的光强度a～c。然后通过按照点光源PA～PC的布置(相对位置)，排列具有与获得的光强度a～c相应的像素值的像素，复原出其中形成被摄体表面102的图像的复原图像，如在图3的右下部图解所示。

这样，可以实现在各个像素中具有入射角指向性的成像元件121，而不需要成像镜头和针孔。

下面，将组成联立方程式的每个式子的一批系数(例如，系数α1、β1和γ1)称为系数集。下面，将与包含在联立方程式中的多个式子对应的一批多个系数集(例如，系数集α1、β1、γ1、系数集α2、β2、γ2和系数集α3、β3、γ3)称为系数集组。

这里，当从被摄体表面102到成像元件121的受光面的被摄体距离不同时，光束从被摄体表面102上的各个点光源入射到成像元件121的入射角不同。于是，对于每个被摄体距离需要不同的系数集组。

于是，在控制单元28中，通过预先为从成像元件121到被摄体表面的每个距离(被摄体距离)准备系数集组，通过对于每个被摄体距离切换系数组群来创建联立方程式，并求解创建的联立方程式，可以基于一个检测图像，获得具有各种被摄体距离的被摄体表面的复原图像。例如，通过捕捉一次检测图像并记录，然后使用记录的检测图像，并按照到被摄体表面的距离来切换系数集组以复原出所述复原图像，可以生成在任意被摄体距离的被摄体表面的复原图像。

此外，即使对于具有相同被摄体距离的被摄体表面102，如果要设定的点光源的数量和布置不同，则光束从各个点光源入射到成像元件121的入射角也不同。于是，对于具有相同被摄体距离的被摄体表面102，可能需要多个系数集组。此外，需要设定各个像素121a的入射角指向性，以便确保上述联立方程式的独立性。

此外，由于如在图3的右上部图解所示，成像元件121输出的图像是包括检测信号、并且其中没有形成被摄体图像的图像，因此无法从视觉上识别被摄体。即，包括成像元件121输出的检测信号的检测图像是像素信号的集合，不过是即使用户目视观察，其中也无法识别被摄体(被摄体不可见)的图像。

于是，在下文中，如在图3的右上部图解所示，包括检测信号、并且其中没有形成被摄体图像的图像(即，由成像元件121捕捉的图像)被称为检测图像。

注意，入射角指向性不一定必须以像素为单位都不同，并且具有相同的入射角指向性的像素可以被包括。

返回图2，控制单元122例如包括各种处理器，控制成像单元41的各个单元，并执行各种处理。

存储单元123包括诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存之类的一个或多个存储设备，并存储例如用于成像单元41的处理的程序、数据等。

通信单元124通过预定的通信方法与相机ECU 42进行通信。

<成像元件121的第一构成例子>

接下来，将参考图4和5，描述图2的成像单元41的成像元件121的第一构成例子。

图4图解说明成像元件121的像素阵列单元的一部分的正视图。注意，图4图解说明了像素阵列单元中的像素数为纵向6像素×横向6像素的情况的例子，不过像素阵列单元中的像素数不限于此。此外，图4中的像素阵列单元的构成例子用于说明成像元件121的第一构成例子，而实际的像素阵列单元的构成例子将在后面描述。

在图4的成像元件121中，对于每个像素121a设置作为调制元件之一的遮光膜121b，以便覆盖像素121a的光电二极管的受光区域(受光面)的一部分，并且按照入射角光学调制入射到各个像素121a的入射光。随后，例如，通过对于每个像素121a在不同的范围内设置遮光膜121b，对每个像素121a来说，对于入射光的入射角的受光灵敏度不同，从而各个像素121a具有不同的入射角指向性。

例如，在像素121a-1和像素121a-2中，光电二极管的受光区域中的遮光范围根据设置的遮光膜121b-1和遮光膜121b-2而不同(至少遮光区域(位置)和遮光面积中的任意项不同)。即，在像素121a-1中，设置遮光膜121b-1，以便按预定宽度在光电二极管的受光区域的左侧的一部分遮光。然而，在像素121a-2中，设置遮光膜121b-2，以便按预定宽度在受光区域的右侧的一部分遮光。注意，光电二极管的受光区域中将由遮光膜121b-1遮光的宽度和光电二极管的受光区域中将由遮光膜121b-2遮光的宽度可以不同或相同。类似地，在其他像素121a中，在像素阵列单元内随机地布置遮光膜121b，以便对于每个像素，遮挡受光区域的不同范围。

图5的上部是成像元件121的第一构成例子的侧面剖视图，而图5的中部是成像元件121的第一构成例子的顶视图。此外，图5的上部的侧面剖视图是图5的中部中的AB剖面。此外，图5的下部是成像元件121的电路构成的例子。

在图5的上部的成像元件121中，入射光从图中的上方向下方入射。相邻的像素121a-1和121a-2是所谓的背照式像素，其中布线层Z12设置在图中的底层，而光电变换层Z11设置在布线层Z12之上。

注意，在下文中，在不必区分像素121a-1和121a-2的情况下，省略附图标记末尾的数字的记载，从而附图标记简写为像素121a。下面，在本说明书中，对于其他构成，也可以类似地省略在附图标记末尾的数字和字母。

此外，图5只例示了组成成像元件121的像素阵列单元的两个像素的侧视图和顶视图，布置了大量的像素121a的情况不言而喻，不过省略了例示。

此外，像素121a-1和121a-2分别在光电变换层Z11中具备作为光电变换元件的光电二极管121e-1和121e-2。此外，在光电二极管121e-1和121e-2上，从上方起分别层叠片上镜头121c-1和121c-2以及滤色片121d-1和121d-2。

片上镜头121c-1和121c-2将入射光聚集到光电二极管121e-1和121e-2上。

滤色片121d-1和121d-2是透射诸如例如红色、绿色、蓝色、红外和白色之类的特定波长的光的滤光片。注意，在白色的情况下，滤色片121d-1和121d-2可以是透明滤色片，或者可以被省略。

在像素121a-1和121a-2的光电变换层Z11中，在像素之间的边界分别形成遮光膜121g-1～121g-3，以抑制入射光L入射到相邻像素，从而导致串扰，例如，如图5中图解所示。

此外，如在图5的上部和中部图解所示，当从上面看时，遮光膜121b-1和121b-2遮挡受光面S的一部分。在像素121a-1和121a-2的光电二极管121e-1和121e-2的受光面S上，不同的范围分别被遮光膜121b-1和121b-2遮挡，这导致对于每个像素独立地设定不同的入射角指向性。然而，遮光范围不需要对于成像元件121的所有像素121a都不同，而且可以存在其中相同的范围被遮光的一些像素121a。

注意，如在图5的上部图解所示，遮光膜121b-1和遮光膜121g-1相互连接，并且当从侧面看时形成L形。类似地，遮光膜121b-2和遮光膜121g-2相互连接，并且当从侧面看时形成L形。此外，遮光膜121b-1、遮光膜121b-2和遮光膜121g-1～121g-3包括金属，并且包括例如钨(W)、铝(Al)或者Al和铜(Cu)的合金。此外，遮光膜121b-1、遮光膜121b-2和遮光膜121g-1～121g-3可以在与半导体工艺中形成布线的工艺相同的工艺中，使用与布线相同的金属同时形成。注意，取决于位置，遮光膜121b-1、遮光膜121b-2和遮光膜121g-1～121g-3的膜厚不必相同。

此外，如在图5的下部图解所示，像素121a包括光电二极管161(对应于光电二极管121e)、转移晶体管162、浮动扩散(FD)单元163、选择晶体管164、放大晶体管165和复位晶体管166，并且经由垂直信号线167连接到电流源168。

在光电二极管161中，阳极电极接地，阴极电极经由转移晶体管162连接到放大晶体管165的栅电极。

转移晶体管162是按照转移信号TG驱动的。例如，当供给到转移晶体管162的栅电极的转移信号TG变为高电平时，转移晶体管162被导通。结果，存储在光电二极管161中的电荷经由转移晶体管162转移到FD单元163。

FD单元163是设置在转移晶体管162和放大晶体管165之间的具有电容C1的浮动扩散区域，并临时存储经由转移晶体管162从光电二极管161转移的电荷。FD单元163是配置成将电荷转换为电压的电荷检测单元，并且存储在FD单元163中的电荷由放大晶体管165转换为电压。

选择晶体管164是按照选择信号SEL驱动的，并当供给到栅电极的选择信号SEL变成高电平时被导通，从而连接放大晶体管165和垂直信号线167。

放大晶体管165充当源极跟随器的输入单元，源极跟随器是读出通过光电二极管161中的光电转换而获得的信号的读取电路，并且放大晶体管165将与存储在FD单元163中的电荷对应的电平的检测信号(像素信号)输出到垂直信号线167。即，通过将漏极端子连接到电源VDD，并且源极端子经由选择晶体管164连接到垂直信号线167，放大晶体管165与连接到垂直信号线167的一端的电流源168组成源极跟随器。该检测信号的值(输出像素值)按照来自被摄体的入射光的入射角来调制，并且取决于入射角具有不同的特性(指向性)(具有入射角指向性)。

复位晶体管166是按照复位信号RST驱动的。例如，当供给到栅电极的复位信号RST变成高电平时，复位晶体管166被导通，并将累积在FD单元163中累积的电荷放电到电源VDD，以使FD单元163复位。

注意，各个像素121a的遮光膜121b的形状不限于图4的例子，并可以设定为任意形状。例如，可以采用沿图4的水平方向延伸的形状，沿垂直方向和水平方向延伸的L形形状，设置有矩形开口的形状等。

<成像元件121的第二构成例子>

图6是图解说明成像元件121的第二构成例子的示图。图6的上部图解说明作为第二构成例子的成像元件121的像素121a的侧面剖视图，而图6的中部图解说明成像元件121的顶视图。此外，图6的上部的侧面剖视图是图6的中部中的AB剖面。此外，图6的下部是成像元件121的电路构成的例子。

图6中的成像元件121的构成与图5中图解所示的成像元件121的构成的不同之处在于在一个像素121a中形成四个光电二极管121f-1～121f-4，并且在隔开光电二极管121f-1～121f-4的区域中形成遮光膜121g。即，在图6的成像元件121中，当从上面看时，以“+”形状形成遮光膜121g。注意，这些构成中的公共构成用与图5中相同的附图标记标示，并将省略其详细描述。

在图6的成像元件121中，光电二极管121f-1～121f-4由遮光膜121g隔开，这防止了光电二极管121f-1～121f-4之间的电和光串扰的产生。即，类似于图5中的成像元件121的遮光膜121g，图6中的遮光膜121g用于防止串扰，而不是用于提供入射角指向性。

此外，在图6的成像元件121中，一个FD单元163由四个光电二极管121f-1～121f-4共享。图6的下部图解说明了其中一个FD单元163由四个光电二极管121f-1～121f-4共享的电路构成的例子。注意，在图6的下部，与图5的下部相同的构成的描述将被省略。

图6的下部与图5的下部的电路构成的差异在于代替光电二极管161(对应于图5的上部中的光电二极管121e)和转移晶体管162，设置了光电二极管161-1～161-4(对应于图6的上部中的光电二极管121f-1～121f-4)和转移晶体管162-1～162-4，并且FD单元163是共享的。

通过这种构成，累积在光电二极管121f-1～121f-4中的电荷被转移到具有预定电容、并且设置在介于放大晶体管165的栅电极和光电二极管121f-1～121f-4之间的连接部分的公共FD单元163。然后，读出与保持在FD单元163中的电荷的电平对应的信号，作为检测信号(像素信号)。

于是，可以使累积在光电二极管121f-1～121f-4中的电荷以各种组合有选择地贡献给像素121a的输出，即，检测信号。即，通过具有其中对于光电二极管121f-1～121f-4中的每一个可以独立地读出电荷的构成，并且使对输出做出贡献的光电二极管121f-1～121f-4(光电二极管121f-1～121f-4对输出的贡献程度)彼此不同，可以获得不同的入射角指向性。

例如，通过将光电二极管121f-1和光电二极管121f-3的电荷转移到FD单元163，并相加通过读取各个电荷而获得的信号，可以获得左右方向的入射角指向性。类似地，通过将光电二极管121f-1和光电二极管121f-2的电荷转移到FD单元163，并相加通过读取各个电荷而获得的信号，可以获得上下方向的入射角指向性。

此外，基于独立地从四个光电二极管121f-1～121f-4有选择地读取的电荷而获得的信号是与组成检测图像的一个像素对应的检测信号。

注意，各个光电二极管121f(的电荷)对检测信号的贡献也可以通过使用电子快门功能，在向FD单元163转移之前，使累积在光电二极管121f中的电荷复位等来实现，而不只是通过取决于是否将各个光电二极管121f的电荷(检测值)转移到FD单元163。例如，当紧接在向FD单元163转移之前，使光电二极管121f的电荷复位时，光电二极管121f对检测信号完全没有贡献。然而，通过在使光电二极管121f的电荷复位和将电荷转移到FD单元163之间给予一定时间，可使光电二极管121f进入部分贡献于检测信号的状态。

如上所述，在图6的成像元件121的情况下，通过改变四个光电二极管121f-1～121f-4的用于检测信号的组合，对于每个像素可以赋予不同的入射角指向性。此外，从图6的成像元件121的各个像素121a输出的检测信号按照来自被摄体的入射光的入射角来调制，并且取决于入射角具有不同的特性(指向性)(具有入射角指向性)。

注意，在图6的成像元件121中，由于入射光未被光学调制地入射到所有的光电二极管121f-1～121f-4上，因此检测信号不是通过光学调制获得的信号。此外，在下文中，对检测信号没有贡献的光电二极管121f也将被称为对像素或输出没有贡献的光电二极管121f。

此外，图6图解说明了其中像素(像素121a)的受光面被分割成四个相等部分、并且在各个区域中布置具有相同大小的受光面的光电二极管121f的例子，即，光电二极管被分割成四个相等部分，不过，光电二极管的分割数和分割位置可以自由设定。

例如，并不总是需要将光电二极管分成相等的部分，并且可以使光电二极管的分割位置对每个像素不同。结果，例如，即使多个像素之间在相同位置的光电二极管121f对输出做出贡献，入射角指向性在像素之间也会不同。此外，例如，通过使分割数在像素之间不同，可以更自由地设定入射角指向性。此外，例如，可以使分割数和分割位置两者在像素之间不同。

此外，图5的成像元件121和图6的成像元件121都具有其中在各个像素中可以独立地设定入射角指向性的构成。注意，在图5的成像元件121中，各个像素的入射角指向性在制造时通过遮光膜121b设定。然而，在图6的成像元件121中，各个像素的光电二极管的分割数和分割位置在制造时设定，但是各个像素的入射角指向性(对输出做出贡献的光电二极管的组合)可以在使用时(例如，在成像时)设定。注意，图5的成像元件121和图6的成像元件121都不必须具有其中所有的像素都具有入射角指向性的构成。

注意，在下文中，在图5的成像元件121中，各个像素121a的遮光膜121b的形状被称为遮光图案。此外，在下文中，在图6的成像元件121中，各个像素121a中的对输出没有贡献的光电二极管121f的区域的形状被称为遮光图案。

<关于成像元件121的基本特性等>

接下来，将参考图7～14说明成像元件121的基本特性等。

<关于引起入射角指向性的原理>

成像元件121的各个像素的入射角指向性例如是通过图7中图解所示的原理产生的。注意，图7的左上部和右上部是说明图5的成像元件121中的入射角指向性的产生原理的示图，而图7的左下部和右下部是说明图6的成像元件121中的入射角指向性的产生原理的示图。

图7的左上部和右上部的像素都包括一个光电二极管121e。另一方面，图7的左下部和右下部的像素都包括两个光电二极管121f。注意，尽管这里表示了其中一个像素包括两个光电二极管121f的例子，不过这是为了便于说明，包括在一个像素中的光电二极管121f的数量可以是其他数字。

在图7的左上部的像素中，形成遮光膜121b-11以便在光电二极管121e-11的受光面的右半部分遮光。此外，在图7的右上部的像素中，形成遮光膜121b-12以便在光电二极管121e-12的受光面的左半部分遮光。注意，图中的点划线是穿过光电二极管121e的受光面的水平方向的中心，并且垂直于受光面的辅助线。

例如，在图7的左上部的像素中，来自于右上方向并且相对于图中的点划线形成入射角θ1的入射光可能被光电二极管121e-11的未被遮光膜121b-11遮光的左半部分范围接收。另一方面，来自于左上方向并且相对于图中的点划线形成入射角θ2的入射光不大可能被光电二极管121e-11的未被遮光膜121b-11遮光的左半部分范围接收。于是，图7的左上部的像素具有对于来自图中右上方的入射光受光灵敏度高、而对于来自左上方的入射光受光灵敏度低的入射角指向性。

然而，例如，在图7的右上部的像素中，来自于右上方向并且形成入射角θ1的入射光不大可能被光电二极管121e-12的被遮光膜121b-12遮光的左半部分范围接收。另一方面，来自于左上方向并且形成入射角θ2的入射光可能被光电二极管121e-12的未被遮光膜121b-12遮光的右半部分范围接收。于是，图7的右上部的像素具有对于来自图中右上方的入射光受光灵敏度低、而对于来自左上方的入射光受光灵敏度高的入射角指向性。

此外，图7的左下部的像素在图中的左右侧设置有光电二极管121f-11和121f-12，并被配置成通过读出任意之一的检测信号，在不设置遮光膜121b的情况下具有入射角指向性。

即，在图7的左下部的像素中，通过只读出设置在图中的左侧的光电二极管121f-11的信号，可以获得与图7的左上部的像素类似的入射角指向性。即，来自于右上方向并且相对于图中的点划线形成入射角θ1的入射光入射到光电二极管121f-11，并且从光电二极管121f-11读出与接收光的光量对应的信号。于是，入射光对从该像素输出的检测信号做出贡献。另一方面，来自于左上方向并且相对于图中的点划线形成入射角θ2的入射光入射到光电二极管121f-12，但是不从光电二极管121f-12读出。于是，入射光对从该像素输出的检测信号没有贡献。

类似地，在如图7的右下部的像素中一样，设置两个光电二极管121f-13和121f-14的情况下，通过只读出设置在图中的右侧的光电二极管121f-14的信号，可以获得与图7的右上部的像素类似的入射角指向性。即，来自于右上方向并且形成入射角θ1的入射光入射到光电二极管121f-13，但是不从光电二极管121f-13读出信号。于是，入射光对从该像素输出的检测信号没有贡献。另一方面，来自于左上方向并且形成入射角θ2的入射光入射到光电二极管121f-14，并且从光电二极管121f-14读出与接收光的光量对应的信号。于是，入射光对从该像素输出的检测信号做出贡献。

注意，在图7的上部的像素中，表示了其中被遮光的范围和未被遮光的范围在像素(光电二极管121e的受光面)的水平方向的中心位置分开的例子，不过被遮光的范围和未被遮光的范围可以在其他位置分开。此外，在图7的下部的像素中，表示了其中两个光电二极管121f在像素的水平方向的中心位置分开的例子，不过两个光电二极管121f可以在其他位置分开。这样，通过改变遮光范围或光电二极管121f分开的位置，可以产生不同的入射角指向性。

<关于包括片上镜头的构成中的入射角指向性>

接下来，将参考图8说明包括片上镜头121c的构成中的入射角指向性。

图8的上部的曲线图表示了图8的中部和下部的像素的入射角指向性。注意，横轴表示入射角θ，而纵轴表示检测信号电平。注意，在入射光的方向与图8的中部左侧的点划线一致的情况下，入射角θ为0°，并且将图8的中部左侧的入射角θ21侧设定为正方向，而将图8的中部右侧的入射角θ22侧设定为负方向。于是，对于片上镜头121c，从右上方入射的入射光具有比从左上方入射的入射光大的入射角。即，入射角θ随着入射光的行进方向向左倾斜而增大(在正方向上增大)，并随着行进方向向右倾斜而减小(在负方向上增大)。

此外，图8的中部左侧的像素是通过向图7的上部左侧的像素增加聚集入射光的片上镜头121c-11和透射预定波长的光的滤色片121d-11获得的。即，在该像素中，从图中上部的光的入射方向开始依次层叠片上镜头121c-11、滤色片121d-11、遮光膜121b-11和光电二极管121e-11。

类似地，图8的中部右侧的像素、图8的下部左侧的像素和图8的下部右侧的像素是通过分别向图7的上部右侧的像素、图7的下部左侧的像素和图7的下部右侧的像素增加片上镜头121c-11和滤色片121d-11，或者片上镜头121c-12和滤色片121d-12获得的。

在图8的中部左侧的像素中，光电二极管121e-11的检测信号电平(受光灵敏度)按照入射光的入射角θ变化，如图8的上部的实线波形所示。即，随着作为入射光相对于图中的点划线形成的角度的入射角θ越大(随着入射角θ在正方向上越大(越向图中的右方倾斜))，由于光被聚集在没有设置遮光膜121b-11的范围中，光电二极管121e-11的检测信号电平变大。相反，随着入射光的入射角θ越小(入射角θ在负方向上越大(越向图中的左方倾斜))，由于光被聚集在设置遮光膜121b-11的范围中，光电二极管121e-11的检测信号电平变小。

此外，在图8的中部右侧的像素中，光电二极管121e-12的检测信号电平(受光灵敏度)按照入射光的入射角θ变化，如图8的上部的虚线波形所示。即，随着入射光的入射角θ越大(随着入射角θ在正方向上越大)，由于光被聚集在设置遮光膜121b-12的范围中，光电二极管121e-12的检测信号电平变小。相反，随着入射光的入射角θ越小(入射角θ在负方向上越大)，由于光被入射到没有设置遮光膜121b-12的范围中，光电二极管121e-12的检测信号电平变大。

在图8的上部图解所示的实线和虚线的波形可以按照遮光膜121b的范围而改变。于是，取决于遮光膜121b的范围，可以以像素为单位产生彼此不同的入射角指向性。

如上所述，入射角指向性是与入射角θ相应的各个像素的受光灵敏度的特性，不过，这也可以说是在图8的中部的像素中，与入射角θ相应的遮光值的特性。即，遮光膜121b高水平地遮挡特定方向的入射光，但是不能充分遮挡来自其他方向的入射光。遮光水平的这种变化导致如在图8的上部图解所示的与入射角θ相应的不同检测信号电平。于是，当对于每个像素，能够以最高的水平遮光的方向被定义为每个像素的遮光方向时，换句话说，以像素为单位具有彼此不同的入射角指向性意味着以像素为单位具有彼此不同的遮光方向。

此外，在图8的下部左侧的像素中，与图7的下部左侧的像素的情况类似，通过只使用图中左侧的光电二极管121f-11的信号，可以获得与图8的中部左侧的像素类似的入射角指向性。即，当入射光的入射角θ变大时(当入射角θ在正方向上变大时)，由于光被聚集在从其读取信号的光电二极管121f-11的范围中，检测信号电平变大。相反，随着入射光的入射角θ越小(入射角θ在负方向上越大)，由于光被聚集在不从其读取信号的光电二极管121f-12的范围中，检测信号电平变小。

此外，类似地，在图8的下部右侧的像素中，与图7的下部右侧的像素类似，通过只使用图中右侧的光电二极管121f-14的信号，可以获得与图8的中部右侧的像素类似的入射角指向性。即，当入射光的入射角θ变大时(当入射角θ在正方向上变大时)，由于光被聚集在对输出(检测信号)没有贡献的光电二极管121f-13的范围中，以像素为单位的检测信号电平变小。相反，随着入射光的入射角θ越小(入射角θ在负方向上越大)，由于光被聚集在对输出(检测信号)做出贡献的光电二极管121f-14的范围中，以像素为单位的检测信号电平变大。

这里，像素121a的入射角指向性的重心定义如下。

入射角指向性的重心是入射到像素121a的受光面的入射光的强度分布的重心。像素121a的受光面在图8的中部的像素121a中为光电二极管121e的受光面，在图8的下部的像素121a中为光电二极管121f的受光面。

例如，将图8的上部的曲线图的纵轴上的检测信号电平定义为a(θ)，并将通过下式(4)计算的入射角θg的光束定义为重心光束。

θg＝Σ(a(θ)×θ)/Σa(θ)···(4)

于是，重心光束与像素121a的受光面相交的点成为像素121a的入射角指向性的重心。

此外，如图8的下部的像素中一样，在其中在像素内设置多个光电二极管，并且对输出做出贡献的光电二极管可被改变的像素中，为了向各个光电二极管提供相对于入射光的入射角的指向性，并且产生以像素为单位的入射角指向性，片上镜头121c是每个像素不可或缺的构成。

注意，在以下的描述中，将主要描述其中如图5的像素121a中一样，使用通过使用遮光膜121b实现入射角指向性的像素121a的情况的例子。然而，除了遮光膜121b是不可或缺的情况以外，基本上也可以使用通过分割光电二极管来实现入射角指向性的像素121a。

<关于遮光范围和视角之间的关系>

接下来，将参考图9和14，说明像素121a的遮光范围和视角之间的关系。

例如，考虑如在图9的上部图解所示，从四条边的各个端部按宽度d1被遮光膜121b遮光的像素121a，以及如在图9的下部图解所示，从四条边的各个端部按宽度d2(>d1)被遮光膜121b遮光的像素121a'。

图10图解说明从被摄体表面102入射到成像元件121的中心位置C1的入射光的入射角的例子。注意，图10图解说明水平方向的入射光的入射角的例子，不过这基本类似地适用于垂直方向。此外，在图10的右侧，图解说明了图9中的像素121a和121a'。

例如，在图9的像素121a被布置在成像元件121的中心位置C1的情况下，从被摄体表面102到像素121a的入射光的入射角的范围将是角度A1，如在图10的左侧图解所示。于是，像素121a可以接收在被摄体表面102的水平方向上具有宽度W1的入射光。

另一方面，在图9的像素121a'被布置在成像元件121的中心位置C1的情况下，由于与像素121a相比，像素121a'具有更宽的被遮光范围，因此从被摄体表面102到像素121a'的入射光的入射角的范围将是角度A2(<A1)，如在图10的左侧图解所示。于是，像素121a'可以接收在被摄体表面102的水平方向上具有宽度W2(<W1)的入射光。

即，遮光范围窄的像素121a是适合于捕捉被摄体表面102上的宽范围的图像的宽视角像素，而遮光范围宽的像素121a′是适合于捕捉被摄体表面102上的窄范围的图像的窄视角像素。注意，这里提到的宽视角像素和窄视角像素是用于比较图9中的两个像素121a和121a′的表示，在比较具有其他视角的像素时不限于此。

于是，例如，像素121a用于复原图9的图像I1。图像I1是具有视角SQ1的图像，视角SQ1包括作为图11上部的被摄体的整个人物H101，并且对应于被摄体宽度W1。另一方面，例如，像素121a'用于复原图9的图像I2。图像I2是视角SQ2的图像，视角SQ2具有放大的图11上部的人物H101的面部边缘，并且对应于被摄体宽度W2。

此外，例如，如在图11的下部图解所示，可以想到在成像元件121中，在虚线所围绕的范围ZA中收集和布置预定数量的图9的像素121a，并在点划线所围绕的范围ZB中收集和布置预定数量的像素121a'。然后，例如，当复原具有与被摄体宽度W1对应的视角SQ1的图像时，通过使用范围ZA中的各个像素121a的检测信号，可以适当地复原具有视角SQ1的图像。反之，当复原具有与被摄体宽度W2对应的视角SQ2的图像时，通过使用范围ZB中的各个像素121a'的检测信号，可以适当地复原具有视角SQ2的图像。

注意，在利用相同的像素数复原视角SQ2和视角SQ1的图像的情况下，由于视角SQ2比视角SQ1窄，因此与复原具有视角SQ1的图像时相比，复原具有视角SQ2的图像时可以获得质量更高(分辨率更高)的复原图像。

即，在考虑通过使用相同像素数来获得复原图像的情况下，通过复原具有较窄视角的图像，可以获得图像质量更高的复原图像。

例如，图12的右侧图解说明范围ZA内的图11的成像元件121的构成例子。图12的左侧图解说明范围ZA内的像素121a的构成例子。

图12中，用黑色表示的范围是遮光膜121b，各个像素121a的遮光范围例如按照在图12的左侧所示的规则来确定。

图12的左侧的主遮光部分Z101(图12的左侧的黑色部分)是在各个像素121a中共同被遮光的范围。具体地，主遮光部分Z101具有从像素121a的左边缘和右边缘向像素121a内部宽度分别为dx1的范围，和从像素121a的上边缘和下边缘向像素121a内部高度分别为dy1的范围。然后，在各个像素121a中，在主遮光部分Z101内部的范围Z102中设置不被遮光膜121b遮光的矩形开口Z111。于是，在各个像素121a中，除开口Z111以外的范围被遮光膜121b遮光。

这里，各个像素121a的开口Z111是规则地布置的。具体地，各个像素121a中的开口Z111在水平方向的位置在垂直方向上的同一列像素121a中是相同的。此外，各个像素121a中的开口Z111在垂直方向的位置在水平方向上的同一行像素121a内是相同的。

然而，各个像素121a中的开口Z111在水平方向的位置按照像素121a在水平方向的位置移位预定间隔。即，随着像素121a的位置向右方前进，开口Z111的左边缘移动到分别从像素121a的左边缘向右方移位宽度dx1、dx2、…、dxn的位置。宽度dx1和宽度dx2之间的距离，宽度dx2和宽度dx3之间的距离，…，以及宽度dxn-1和宽度dxn之间的距离为通过将从范围Z102在水平方向的宽度减去开口Z111的宽度而获得的长度除以水平方向的像素数n-1分别获得的值。

此外，各个像素121a中的开口Z111在垂直方向的位置按照像素121a在垂直方向的位置移位预定间隔。即，随着像素121a的位置向下方前进，开口Z111的上边缘移动到分别从像素121a的上边缘向下方移位高度dy1、dy2、…、dyn的位置。高度dy1和高度dy2之间的距离，高度dy2和高度dy3之间的距离，…，以及高度dyn-1和高度dyn之间的距离为通过将从范围Z102在垂直方向的高度减去开口Z111的高度而获得的长度除以垂直方向的像素数m-1分别获得的值。

图13的右侧图解说明范围ZB内的图11的成像元件121的构成例子。图13的左侧图解说明范围ZB内的像素121a'的构成例子。

图13中，用黑色表示的范围是遮光膜121b'，各个像素121a'的遮光范围例如按照在图13的左侧所示的规则来确定。

图13的左侧的主遮光部分Z151(图13的左侧的黑色部分)是在各个像素121a'中共同被遮光的范围。具体地，主遮光部分Z151具有从像素121a'的左边缘和右边缘向像素121a'内部宽度分别为dx1'的范围，和从像素121a'的上边缘和下边缘向像素121a'内部高度分别为dy1'的范围。然后，在各个像素121a'中，在主遮光部分Z151内部的范围Z152中设置不被遮光膜121b'遮光的矩形开口Z161。于是，在各个像素121a'中，除开口Z161以外的范围被遮光膜121b'遮光。

这里，各个像素121a'的开口Z161是按照与图12的各个像素121a的开口Z111相似的方式规则地布置的。具体地，各个像素121a'中的开口Z161在水平方向的位置在垂直方向上的同一列像素121a'中是相同的。此外，各个像素121a'中的开口Z161在垂直方向的位置在水平方向上的同一行像素121a'内是相同的。

然而，各个像素121a'中的开口Z161在水平方向的位置按照像素121a'在水平方向的位置移位预定间隔。即，随着像素121a'的位置向右方前进，开口Z161的左边缘移动到分别从像素121a'的左边缘向右方移位宽度dx1'、dx2'、…、dxn'的位置。宽度dx1'和宽度dx2'之间的距离，宽度dx2'和宽度dx3'之间的距离，…，以及宽度dxn-1'和宽度dxn'之间的距离为通过将从范围Z152在水平方向的宽度减去开口Z161的宽度而获得的长度除以水平方向的像素数n-1分别获得的值。

此外，各个像素121a'中的开口Z161在垂直方向的位置按照像素121a'在垂直方向的位置移位预定间隔。即，随着像素121a'的位置向下方前进，开口Z161的上边缘移动到分别从像素121a'的上边缘向下方移位高度dy1'、dy2'、…、dyn'的位置。高度dy1'和高度dy2'之间的距离，高度dy2'和高度dy3'之间的距离，…，以及高度dyn-1'和高度dyn'之间的距离为通过将从范围Z152在垂直方向的高度减去开口Z161的高度而获得的长度除以垂直方向的像素数m-1分别获得的值。

这里，通过从图12的像素121a的范围Z102在水平方向的宽度减去开口Z111的宽度而获得的长度大于通过从图13的像素121a'的范围Z152在水平方向的宽度减去开口Z161的宽度而获得的宽度。于是，图12中的宽度dx1、dx2…dxn的变化间隔大于图13中的宽度dx1'、dx2'…dxn'的变化间隔。

此外，通过从图12的像素121a的范围Z102在垂直方向的高度减去开口Z111的高度而获得的长度大于通过从图13的像素121a'的范围Z152在垂直方向的高度减去开口Z161的高度而获得的长度。于是，图12中的高度dy1、dy2…dyn的变化间隔大于图13中的高度dy1'、dy2'…dyn'的变化间隔。

这样，图12的各个像素121a的遮光膜121b的开口Z111在水平方向和垂直方向的位置变化间隔不同于图13的各个像素121a'的遮光膜121b'的开口Z161在水平方向和垂直方向的位置变化间隔。于是，间隔的差异成为复原图像中的被摄体分辨率(角度分辨率)的差异。即，图13的各个像素121a'的遮光膜121b'的开口Z161在水平方向和垂直方向的位置变化间隔小于图12的各个像素121a的遮光膜121b的开口Z111在水平方向和垂直方向的位置变化间隔。于是，与使用图12的各个像素121a的检测信号复原的复原图像相比，使用图13的各个像素121a'的检测信号复原的复原图像具有更高的被摄体分辨率和更高的图像质量(更高的分辨率)。

这样，通过改变主遮光部分的遮光范围和开口的开口范围的组合，可以实现包括具有各种视角(具有各种入射角指向性)的像素的成像元件121。

注意，上面表示了其中像素121a和像素121a'分别布置在范围ZA和范围ZB中的例子，不过这是为了简单起见，可取的是将对应于不同视角的像素121a混合布置在同一区域中。

例如，如图14中图解所示，将包括由虚线所示的2像素×2像素的四个像素视为一个单位U，每个单位U由以下四个像素构成：宽视角像素121a-W；中等视角像素121a-M；窄视角像素121a-N；和极窄视角像素121a-AN。

这种情况下，例如，在所有像素121a的像素数为X的情况下，通过对于每四种视角使用X/4像素的检测图像，可以复原出复原图像。此时，使用对每个视角来说不同的四种系数集组，并通过四种不同的联立方程式复原具有各不相同的视角的复原图像。

于是，通过使用从适合于捕捉具有待复原的复原图像的视角的图像的像素获得的检测图像来复原出复原图像，可以获得与四种视角相应的适当复原图像。

此外，可以从四种视角的图像插值生成四种视角的中间视角和/或前后视角的图像，并且可以通过无缝地生成各种视角的图像来实现伪光学变焦。

注意，例如，在获得具有宽视角的图像作为复原图像的情况下，可以使用所有的宽视角像素，或者可以使用一些的宽视角像素。此外，例如，在获得具有窄视角的图像作为复原图像的情况下，可以使用所有的窄视角像素，或者可以使用一些的窄视角像素。

注意，在下文中，在本技术的第一实施例中，将描述其中成像元件121包括像素121a和像素121a'，并且如图11中图解所示，可以捕捉具有宽视角(例如，视角SQ1)和窄视角(例如，视角SQ2)这两种视角的检测图像的例子。此外，在下文中，像素121a被称为宽视角像素，而像素121a'被称为窄视角像素。

<控制单元28的构成例子>

图15图解说明图1的控制单元28的功能的构成例子。控制单元28包括危险物检测单元201、像素选择单元202、复原单元203和存储单元204。

危险物检测单元201基于识别单元23对车辆前方的物体的识别结果，进行危险物检测处理。

像素选择单元202基于从成像元件121的像素121a之中的各个像素121a输出的检测信号中获得的信息，选择用于监视车辆前方的像素。具体地，像素选择单元202基于危险物检测单元201的危险物检测结果等，选择宽视角像素或窄视角像素中的哪一个将用于监视车辆前方。换句话说，基于危险物检测单元201的危险物检测结果等，像素选择单元202从与宽视角像素对应的宽视角复原图像和与窄视角像素对应的窄视角复原图像中，选择哪个图像将用于监视车辆前方。

复原单元203从存储单元204获取系数集组，所述系数集组对应于上述系数α1～α3、β1～β3和γ1～γ3，并且例如对应于由像素选择单元202选择的像素和与从图3中的成像元件121到被摄体表面102(对应于复原图像的被摄体表面)的距离对应的被摄体距离。此外，复原单元203通过使用从成像元件121输出的检测图像的各个像素的检测信号电平，并使用获取的系数集组，创建由上述式(1)～(3)表示的联立方程式。然后，通过求解创建的联立方程式，复原单元203获得组成在图3的右下部图解所示的图像的各个像素的像素值，在所述图像中形成了被摄体的图像。结果，从检测图像复原出其中用户可以在视觉上识别被摄体(被摄体可见)的复原图像。

注意，在成像元件121只对除可见光波段以外的光(诸如紫外线)敏感的情况下，复原图像也不会成为像通常的图像一样能够识别被摄体的图像，不过在这种情况下，它也被称为复原图像。

此外，在下文中，作为处于形成了被摄体的图像的状态，并且在诸如去马赛克处理之类的颜色分离或同步处理之前的图像的复原图像被称为RAW图像，并且将成像元件121捕捉的检测图像区分为不是RAW图像，尽管该图像遵循滤色片的排列。

注意，成像元件121的像素数和组成复原图像的像素的像素数不一定需要相同。

此外，如果必要的话，复原单元203对复原图像进行去马赛克处理、γ(伽马)校正、白平衡调整、到预定压缩格式的变换处理等。然后，复原单元203将复原图像输出到总线B2。

存储单元204包括诸如ROM、RAM和闪存之类的一个或多个存储设备，并存储例如用于控制单元28的处理的程序和数据。例如，存储单元204与各种被摄体距离和视角关联地存储与上述系数α1～α3、β1～β3和γ1～γ3对应的系数集组。更具体地，例如，对于在各个被摄体距离的每个被摄体表面102，存储单元204存储系数集组，所述系数集组包含针对被摄体表面102上的每个视角设定的，对于每个点光源的成像元件的每个像素121a的系数。

<监视处理>

接下来，将参考图16的流程图描述信息处理系统11执行的监视处理。

该处理例如在包括信息处理系统11的车辆的电源接通时开始，并在电源断开时终止。

在步骤S1，成像元件121捕捉车辆前方的图像。结果，从具有不同的入射角指向性的成像元件121的各个像素输出检测信号，所述检测信号指示与来自被摄体的入射光的光量相应的检测信号电平，并获得包括各个宽视角像素的检测信号的宽视角检测图像和包括各个窄视角像素的检测信号的窄视角检测图像。成像元件121经由通信单元124、相机ECU42和MCU 43将宽视角检测图像和窄视角检测图像供给到控制单元28。

在步骤S2，像素选择单元202选择宽视角图像作为要使用的图像。即，像素选择单元202选择从宽视角检测图像复原的宽视角复原图像，作为将用于监视车辆前方的图像。结果，选择宽视角像素作为将用于监视的成像元件121的像素，并且选择包括从各个宽视角像素输出的检测信号的宽视角检测图像作为步骤S3的处理的复原对象。

在步骤S3，复原单元203执行图像复原处理。图像复原处理从宽视角检测图像复原宽视角复原图像，该处理的细节将在后面参考图17描述。

在步骤S4，信息处理系统11通过使用宽视角复原图像进行监视。

具体地，识别单元23对宽视角复原图像进行物体识别处理，并识别车辆前方物体的位置、大小、类型、运动等。识别单元23将宽视角复原图像和指示物体识别结果的数据供给到危险物检测单元201。

危险物检测单元201基于车辆的当前位置、速度和移动方向，以及由识别单元23识别的物体的位置、大小、类型、运动等，检测有与车辆碰撞或接触的风险的危险物。

例如，危险物检测单元201将在车辆前方与车辆之间的距离在预定范围内，并且其在接近车辆方向上的相对速度等于或大于预定阈值的物体(以等于或大于预定阈值的速度接近车辆的物体)检测为危险物。

或者，例如，危险物检测单元201将在车辆的行驶规划路线上，并且其在接近车辆方向上的相对速度等于或大于预定阈值的物体(以等于或大于预定阈值的速度接近车辆的物体)检测为危险物。

危险物检测单元201将宽视角复原图像和指示危险物检测结果的数据供给到警示控制单元24和操作控制单元27。

警示控制单元24基于车辆前方危险物的检测结果，进行在宽视角复原图像上叠加提示注意危险物的警告显示的处理。例如，为了强调宽视角复原图像内的危险物，施加诸如用框围绕之类的显示效果。警示控制单元24将叠加了警告显示的宽视角复原图像供给到显示控制单元26。

注意，在没有检测到危险物的情况下，警示控制单元24将宽视角复原图像原样供给到显示控制单元26，而不叠加警告显示。

显示单元25在显示控制单元26的控制下显示宽视角复原图像。此时，在检测到危险物的情况下，在宽视角复原图像上进行警告显示。结果，驾驶员能够迅速并且可靠地识别车辆前方的危险物的存在。

在步骤S5，危险物检测单元201基于步骤S4的处理的结果，判定是否存在危险物。在判定不存在危险物的情况下，处理返回步骤S1。

之后，重复执行步骤S1～S5的处理，直到在步骤S5判定存在危险物为止。即，在没有检测到危险物的情况下，重复执行使用宽视角复原图像的监视。

反之，当在步骤S5判定存在危险物时，处理进入步骤S6。

在步骤S6，类似于步骤S1的处理捕捉车辆前方的图像。结果，获得宽视角检测图像和窄视角检测图像。

在步骤S7，像素选择单元202选择窄视角图像作为要使用的图像。即，像素选择单元202选择从窄视角检测图像复原的窄视角复原图像，作为将用于监视车辆前方的图像。结果，选择窄视角像素作为将用于监视的成像元件121的像素，并且选择包括从各个窄视角像素输出的检测信号的窄视角检测图像作为步骤S8的处理的复原对象。

在步骤S8，复原单元203执行图像复原处理。图像复原处理从窄视角检测图像复原窄视角复原图像，而该处理的细节将在后面参考图17描述。

在步骤S9，识别单元23通过使用窄视角复原图像进行危险物识别处理。具体地，识别单元23对窄视角复原图像进行物体识别处理，并更详细地识别在步骤S4的处理中检测到的危险物的位置、大小、类型、运动等。即，窄视角复原图像具有与宽视角复原图像一致的中心，具有比宽视角复原图像窄的视角，并且具有高图像质量(高分辨率)。于是，与步骤S3的处理相比，更详细地识别危险物的位置、大小、类型、运动等。识别单元23将指示危险物识别结果的数据供给到操作控制单元27。

在步骤S10，操作控制单元27进行规避动作。具体地，操作控制单元27基于以窄视角复原图像为基础的危险物的识别结果，控制车辆的行进方向、速度、制动器等，以便不与危险物碰撞或接触。

之后，处理返回步骤S1，重复执行步骤S1-S10的处理。

<图像复原处理>

接下来，将参考图17的流程图，描述与图16的步骤S3和S8的处理对应的图像复原处理的细节。

在步骤S51，复原单元203获得要用于图像复原的系数。具体地，复原单元203设定到作为复原对象的被摄体表面102的距离，即，被摄体距离。注意，可以采用任意方法作为用于设定被摄体距离的方法。例如，复原单元203将由用户设定的被摄体距离或者由各种传感器检测到的被摄体距离设定为到作为复原对象的被摄体表面102的距离。

接下来，复原单元203从存储单元123读出与设定的被摄体距离关联的系数集组。此时，复原单元203在复原宽视角复原图像的情况下，从存储单元123读出用于宽视角检测图像的系数集组，在复原窄视角复原图像的情况下，从存储单元123读出用于窄视角检测图像的系数集组。

在步骤S52，复原单元203使用检测图像和系数来复原图像。具体地，复原单元203使用检测图像的各个像素的检测信号电平，并使用在步骤S51的处理中获取的系数集组，创建参考上述式(1)～(3)描述的联立方程式。接下来，复原单元203通过求解创建的联立方程式，计算与设定的被摄体距离对应的被摄体表面102上的各个点光源的光强度。然后，复原单元203通过按照被摄体表面102上的各个点光源的布置，排列具有与计算的光强度相应的像素值的像素，生成其中形成被摄体图像的复原图像。

在步骤S53，成像单元41对复原图像进行各种处理。例如，如果必要的话，复原单元203对复原图像进行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的变换处理等。此外，复原单元203经由通信单元124将获得的复原图像供给到相机ECU 42。

之后，图像复原处理终止。

如上所述，通过不仅使用宽视角复原图像，而且使用窄视角复原图像进行危险物识别处理，提高了危险物的识别精度。结果，可以更安全并且适当地避开危险物。

此外，在传统的变焦镜头式相机中，在捕捉具有宽视角的图像之后，在捕捉具有窄视角的图像之前需要驱动变焦镜头，这需要时间。此外，如在图18中示意图解所示，由于在宽视角F1的状态下的光轴和窄视角F2的状态下的光轴A2之间存在偏移，因此存在由于不能获得具有适当视角的图像而看不见危险物的风险。

反之，由于在成像单元41中不必驱动变焦镜头，因此可以迅速并且容易地获得具有适当视角的图像(窄视角复原图像)。此外，在成像单元41中，在宽视角复原图像和窄视角复原图像之间几乎不存在光轴的偏移。于是，即使切换要使用的图像，也会降低看不见危险物的可能性。

<<2.第二实施例>>

接下来，将参考图19-25描述本技术的第二实施例。

<成像元件121的像素阵列单元的构成例子>

首先，将参考图19-24，描述按照第二实施例的成像元件121的像素阵列单元的构成例子。

在第二实施例中，与第一实施例相比，成像元件121的各个像素121a的视角被进一步细分。

图19图解说明成像元件121的视角的例子。

成像元件121设置有与视角W和视角N1～N35中的任何一个对应的36种像素121a。

视角N1～N35是通过将预定大小的视角分割成纵向7列×横向5行的35个相等部分而获得的视角。视角N1～N7从左到右排列在第一行中。视角N8～N14从左到右排列在第二行中。视角N15～N21从左到右排列在第三行中。视角N22～N28从左到右排列在第四行中。视角N29～N35从左到右排列在第五行中。

视角W比通过组合视角N1～N35而获得的视角宽。

注意，在下文中，具有视角W的像素121a将被称为宽视角像素Pw，而具有视角N1～N35的像素121a将被分别称为窄视角像素Pn1～Pn35。在下文中，包括从各个宽视角像素Pw输出的检测信号的检测图像被称为宽视角检测图像IDw,而包括从窄视角像素Pn1～Pn35输出的检测信号的检测图像将被分别称为窄视角检测图像IDn1～IDn35。在下文中，从宽视角检测图像IDw复原的复原图像将被称为宽视角复原图像IRw，而从窄视角检测图像IDn1～IDn35复原的复原图像将被分别称为窄视角复原图像IRn1～IRn35。

此外，在下文中，在不必单独区分视角N1～N35的情况下，它被简单地称为视角N。在下文中，在不必单独地区分窄视角像素Pn1～Pn35的情况下，它们被简单地称为窄视角像素Pn。在下文中，在不必单独区分窄视角检测图像IDn1～IDn35的情况下，它们被简单地称为窄视角检测图像IDn。在下文中，在不必单独区分窄视角复原图像IRn1～IRn35的情况下，它们被简单地称为窄视角复原图像IRn。

图20～22图解说明成像元件121的像素阵列单元的遮光图案的实施例。图20图解说明宽视角像素Pw和窄视角像素Pn1～Pn35的开口设定范围Rw和开口设定范围Rn1～Rn35的例子。图21图解说明宽视角像素Pw的遮光图案的例子。图22图解说明窄视角像素Pn1的遮光图案的例子。

如图20中图解所示，开口设定范围Rw比通过组合开口设定范围Rn1～Rn35而获得的区域宽。此外，开口设定范围Rn1～Rn35的布置相对于对应的视角N1～N35的布置(图19)点对称。例如，与左上角的视角N1对应的开口设定范围Rn1布置在像素121a的右下角，并且与右下角的视角N35对应的开口设定范围Rn35布置在像素121a的左上角。

如图21中图解所示，各个宽视角像素Pw的遮光膜Sw的开口Aw设定在虚线所示的矩形开口设定范围Rw内。于是，各个宽视角像素Pw的遮光膜Sw的除开口设定范围Rw以外的区域成为遮光膜Sw的主遮光部分。

开口设定范围Rw的大小、形状和位置对各个宽视角像素Pw来说是共同的。开口设定范围Rw占据宽视角像素Pw的大部分。此外，开口设定范围Rw的重心与宽视角像素Pw的中心大致一致。

矩形开口Aw的形状和大小对各个宽视角像素Pw来说是共同的。此外，开口Aw按照与上面参考图12和13描述的规则类似的规则，布置在各个宽视角像素Pw的开口设定范围Rw内。

例如，开口Aw在布置在像素阵列单元中最靠近左上角的位置的宽视角像素Pw中，布置在开口设定范围Rw的左上角。然后，随着宽视角像素Pw的位置在像素阵列单元中向右前进，开口Aw在开口设定范围Rw内向右方移位。随着宽视角像素Pw的位置在像素阵列单元中向下前进，开口Aw在开口设定范围Rw内向下方移位。结果，开口设定范围Rw被各个宽视角像素Pw的开口Aw覆盖。即，其中重叠各个宽视角像素Pw的开口Aw的区域与开口设定范围Rw相等。

注意，开口Aw的布置模式不限于上述构成，可以使用任何布置，只要其中重叠各个开口Aw的区域与开口设定范围Rw相等即可。例如，在各个宽视角像素Pw中，开口Aw可以随机地布置在开口设定范围Rw内。

这里，各个宽视角像素Pw的入射角指向性的重心与各个宽视角像素Pw的开口Aw的重心大致一致。于是，各个宽视角像素Pw的入射角指向性的重心的平均值与宽视角像素Pw的中心大致一致，即，各个宽视角像素Pw的重心光束的入射角的平均值与像素阵列单元的受光面的法线方向大致一致。

如图22中图解所示，各个窄视角像素Pn1的遮光膜Sn1的开口An1设定在虚线所示的矩形开口设定范围Rn1内。于是，各个窄视角像素Pn1的遮光膜Sn1的除开口设定范围Rn1以外的区域成为遮光膜Sn1的主遮光部分。

开口设定范围Rn1的大小、形状和位置对各个窄视角像素Pn1来说是共同的。开口设定范围Rn1与宽视角像素Pw的开口设定范围Rw相比非常小。此外，开口设定范围Rn1偏向窄视角像素Pn1内的右斜下方。于是，开口设定范围Rn1的重心从窄视角像素Pn1的中心偏向右斜下方。

矩形开口An1的形状和大小对各个窄视角像素Pn1来说是共同的。此外，开口An1按照与上面参考图12和13描述的规则类似的规则，布置在各个窄视角像素Pn1的开口设定范围Rn1内。

例如，开口An1在布置在像素阵列单元中最靠近左上角的位置的窄视角像素Pn1中，布置在开口设定范围Rn1的左上角。然后，随着窄视角像素Pn1的位置在像素阵列单元中向右前进，开口An1在开口设定范围Rn1内向右方移位。随着窄视角像素Pn1的位置在像素阵列单元中向下前进，开口An1在开口设定范围Rn1内向下方移位。结果，开口设定范围Rn1被各个窄视角像素Pn1的开口An1覆盖。即，其中重叠各个窄视角像素Pn1的开口An1的区域与开口设定范围Rn1相等。

注意，开口An1的布置模式不限于上述构成，可以使用任何布置，只要其中重叠各个窄视角像素Pn1的开口An1的区域与开口设定范围Rn1相等即可。例如，开口An1可以随机地布置在开口设定范围Rn1内。

这里，各个窄视角像素Pn1的入射角指向性的重心与各个窄视角像素Pn1的开口An1的重心大致一致，并且从各个窄视角像素Pn1的中心偏向右斜下方。于是，各个窄视角像素Pn1的入射角指向性的重心的平均值从窄视角像素Pn1的中心偏向右斜下方。此外，各个窄视角像素Pn1的重心光束的入射角的平均值相对于像素阵列单元的受光面的法线方向向左斜上方倾斜。于中，各个窄视角像素Pn1使以图19的视角N1的成像成为可能。

注意，尽管省略了图示和详细描述，不过在各个窄视角像素Pni(i＝2～35)中，类似于各个窄视角像素Pn1，设定开口Ani(i＝2～35)来覆盖开口设定范围(i＝2～35)。

注意，在宽视角像素Pw的数量和窄视角像素Pn1～Pn35的数量分别相同的情况下，宽视角像素Pw的开口Aw被设定成大于窄视角像素Pn1～Pn35的开口An1～An35。此外，窄视角像素Pn1～Pn35的开口An1～An35都被设定成相同大小。此外，如上所述，在宽视角像素Pw和窄视角像素Pn1～Pn35的数量分别相同的情况下，与具有宽视角的宽视角复原图像IRw相比，具有窄视角的窄视角复原图像IRn1～IRn35具有更高的图像质量(更高的分辨率)。

图23和24图解说明在宽视角像素Pw的数量和窄视角像素Pn1～Pn35的数量分别相同的情况下的宽视角像素Pw和窄视角像素Pn1～Pn35的布置例子。

在图23的例子中，按预定间隔周期性地布置宽视角像素Pw和窄视角像素Pn1～Pn35。具体地，在像素阵列单元的各行中，按预定顺序重复地布置宽视角像素Pw和窄视角像素Pn1～Pn35。宽视角像素Pw布置在像素阵列单元的1+36j(j＝0,1,2,...)列中，而窄视角像素Pni(i＝1～35)布置在像素阵列单元的1+i+36j列中。

在图24的例子中，分别集中地布置宽视角像素Pw和窄视角像素Pn1～Pn35。例如，在像素阵列单元中，在左上角布置其中二维地布置宽视角像素Pw的区域，在左侧布置其中二维地布置窄视角像素Pn1的区域。以这种方式，在像素阵列单元中，纵向6行×横向6列地布置其中分别二维地布置宽视角像素Pw和窄视角像素Pn1～Pn35的36个区域。

<监视处理>

接下来，将参考图25的流程图描述信息处理系统11执行的监视处理的第二实施例。

该处理例如在包括信息处理系统11的车辆的电源接通时开始，并在电源断开时终止。

在步骤S101，成像元件121捕捉车辆前方的图像。结果，获得包括宽视角像素Pw的检测信号的宽视角复原图像IDw，和包括窄视角像素Pn1～Pn35的检测信号的窄视角检测图像IDn1～IDn35。成像元件121经由通信单元124、相机ECU 42和MCU 43将宽视角检测图像IDw和窄视角检测图像IDn1～IDn35供给到控制单元28。

在步骤S102，像素选择单元202选择宽视角图像作为要使用的图像。即，像素选择单元202选择从宽视角检测图像IDw复原的宽视角复原图像IRw，作为将用于监视车辆前方的图像。结果，选择宽视角像素Pw作为将用于监视的成像元件121的像素，并且选择包括从各个宽视角像素Pw输出的检测信号的宽视角检测图像IDw作为步骤S103的处理的复原对象。

在步骤S103，复原单元203执行上面参考图17描述的图像复原处理。结果，从宽视角检测图像IDw复原宽视角复原图像IRw。

在步骤S104，类似于图16的步骤S4的处理，通过使用宽视角复原图像IRw进行监视。

在步骤S105，类似于与图16的步骤S5的处理，判定是否存在危险物。在判定不存在危险物的情况下，处理返回步骤S101。

之后，重复执行步骤S101～S105的处理，直到在步骤S105判定存在危险物为止。即，在没有检测到危险物的情况下，重复执行使用宽视角复原图像IRw的监视。

反之，当在步骤S105判定存在危险物时，处理进入步骤S106。

在步骤S106，类似于步骤S101的处理，捕捉车辆前方的图像。结果，获得宽视角检测图像IDw和窄视角检测图像IDn1～IDn35。

在步骤S107，像素选择单元202基于危险物检测结果选择要使用的图像。例如，像素选择单元202基于在宽视角复原图像IRw中检测到的危险物的位置和大小，选择将用于监视的窄视角复原图像IRn。

例如，在只检测到一个危险物的情况下，像素选择单元202选择其中在宽视角复原图像IRw中，视角N与存在危险物的区域的至少一部分重叠的窄视角恢复图像IRn。

例如，当在图26的宽视角复原图像IRw中，在前方的车辆301-1～301-6当中，车辆301-6被检测为危险物时，视角N19～N21和视角N26～N28包括车辆301-6的至少一部分。在这种情况下，选择分别与视角N19～N21和视角N26～N28对应的窄视角复原图像IRn19～IRn21和窄视角复原图像IRn26～IRn28。

此外，例如，在检测到多个危险物的情况下，像素选择单元202可以基于所有的危险物，或者基于一些的危险物，选择将用于监视的窄视角复原图像IRn。

在前一情况下，例如，像素选择单元202选择其中在宽视角复原图像IRw中，视角N与存在任意危险物的区域的至少一部分重叠的窄视角恢复图像IRn。

例如，当在图27的宽视角复原图像IRw中，在前方的车辆301-1～301-6当中，车辆301-1和车辆301-6被检测为危险物时，视角N17～N21和视角N24～N28包括车辆301-1或车辆301-6至少之一的至少一部分。在这种情况下，选择分别与视角N17～N21和视角N24～N28对应的窄视角复原图像IRn17～IRn21和窄视角复原图像IRn24～IRn28。

在后一情况下，例如，首先，像素选择单元202基于预定条件，设定各个危险物的优先级。

例如，基于与车辆的距离来设定优先级。例如，危险物与车辆的距离越近，优先级设定得越高，而危险物与车辆的距离越远，优先级设定得越低。

例如，基于宽视角复原图像内的危险物的大小来设定优先级。例如，危险物越大，优先级设定得越高，而危险物越小，优先级设定得越低。

例如，基于危险物的类型来设定优先级。例如，在危险物是人的情况下，与危险物是诸如车辆之类的其他物体的情况相比，优先级设定得更高。

接下来，像素选择单元202基于优先级，选择一个或多个危险物作为监视对象。例如，像素选择单元202选择优先级最高的危险物，优先级较高的预定数量的危险物，或者优先级等于或高于阈值的危险物作为监视对象。

接下来，像素选择单元202选择其中在宽视角复原图像IRw中，视角N与存在被选为监视对象的危险物任意之一的区域的至少一部分重叠的窄视角恢复图像IRn。

结果，作为将用于监视的成像元件121的像素，选择对应于与其中存在成为监视对象的危险物任意之一的区域的至少一部分重叠的视角N的窄视角像素Pn。此外，作为步骤S108中的处理的复原对象，选择包括从各个所选窄视角像素Pn输出的检测信号的窄视角检测图像IDn。

在步骤S108，复原单元203执行上面参考图17描述的图像复原处理。通过该处理，从在步骤S107的处理中选择的窄视角检测图像IDn复原窄视角复原图像IRn。

在步骤S109，类似于图16的步骤S9的处理，通过使用在步骤S107的处理中选择的窄视角复原图像IRn，进行危险物识别处理。

在步骤S110，类似于图16的步骤S10的处理，进行规避动作。

之后，处理返回步骤S101，重复执行步骤S101～S110的处理。

如上所述，在第二实施例中，与第一实施例相比，用于成像的视角被进一步细分，以致可以容易地获得具有更适当的视角的图像。结果，进一步提高了危险物的识别精度，从而可以更安全且适当地避开危险物。

注意，与视角W相比，各个视角N相当窄。于是，即使分别对应于各个视角N的窄视角像素Pn的数量小于宽视角像素Pw的数量，也可以使各个窄视角复原图像PRn的图像质量高于宽视角复原图像PRw的图像质量。这样，通过减少分别对应于各个视角N的窄视角像素Pn的数量，可以减轻步骤S108中的图像复原处理。

<<3.变形例>>

下面，描述本技术的上述实施例的变形例。

<与像素选择方法相关的变形例>

在上面的描述中，表示了其中像素选择单元202基于危险物的检测结果，选择要使用的像素121a(基于来自该像素121a的检测信号的复原图像)的例子，不过，要使用的像素121a可以基于其他条件来选择。

例如，类似于危险物的情况，像素选择单元202可以基于除危险物以外的需要监视的物体来选择要使用的像素121a。作为除危险物以外的需要监视的物体，例如设想道路标志、车牌等。

此外，例如，像素选择单元202可以基于车辆周围的状况来选择要使用的像素121a。

例如，像素选择单元202在需要对车辆附近进行监视或者不太需要远距离监视的状况下，选择具有窄视角的像素121a。作为需要对车辆附近进行监视的状况，例如，设想行驶在市区的情况，行驶在十字路口附近的情况，周边区域的交通量较大的情况等。作为不太需要远距离监视的状况，例如，设想能见度因周边环境较暗、雾等而较差，从而妨碍远视的情况

反之，例如，在不太需要对车辆附近进行监视或需要远距离监视的状况下，像素选择单元202选择具有宽视角的像素121a。作为不太需要对车辆附近进行监视，或者需要远距离监视的状况，例如，设想行驶在郊外的情况，行驶在公路或高速公路的情况，周边区域的交通量较小的情况等。

此外，例如，可以基于车辆的速度来选择要使用的像素121a。例如，车辆的速度越快，像素选择单元202选择具有宽视角的像素121a，因为远距离监视的需要变得越高。反之，例如，车辆的速度越慢，像素选择单元202选择具有窄视角的像素121a，因为对车辆附近进行监视的需要变得越高。

此外，例如，表示了其中在图16的监视处理的步骤S9中，使用在步骤S4的处理中使用的宽视角复原图像的下一帧的窄视角复原图像的例子。另一方面，例如，可以省略步骤S6中的成像处理，并在步骤S9中，可以使用与宽视角复原图像同一帧的窄视角复原图像。结果，可以迅速地执行危险物的详细识别处理。

类似地，例如，表示了其中在图25的监视处理的步骤S109中，使用在步骤S104的处理中使用的宽视角复原图像IRw的下一帧的窄视角复原图像IRn的例子。另一方面，例如，可以省略步骤S106中的成像处理，并在步骤S109中，可以使用与宽视角复原图像IRw同一帧的窄视角复原图像IRn。结果，可以迅速地执行危险物的详细识别处理。

此外，在图26和27的例子中，表示了其中选择具有与危险物重叠的视角的像素121a的例子，不过，可以进一步选择具有在这样的像素121a周围的视角的像素121a。例如，可以进一步选择在视角N19～N21和视角N26～N28周围的视角N的像素Pa。

相反，可以不选择具有其中与危险物重叠的区域较小的视角的像素121a。例如，图26中的视角N19和N26与作为危险物的车辆301-6重叠的区域非常小。于是，可以不选择具有视角N19的窄视角像素Pn19和具有视角N26的窄视角像素Pn26。

<与成像元件121相关的变形例>

上述成像元件121的各个像素121a的视角的大小和类型是例子，可以进行变更。

例如，在上面的描述中，表示了其中成像元件121设置有具有两级视角的像素，即，具有宽视角的像素和具有窄视角的像素的例子，不过，可以设置具有三级或更多级视角的像素。

例如，在图19的例子中，视角N1～N35全部被设定为相同的大小，不过，它们可以被设定为不同的大小。例如，可以使其中很有可能存在与车辆发生碰撞或接触的风险高的危险物的中央区域和下方区域的视角变窄。相反，例如，在其中不大可能存在与车辆发生碰撞或接触的风险高的危险物的左上角和右上角区域中，可以使视角变宽。

此外，在上面的描述中，表示了其中成像元件121总是输出所有视角的检测图像，但是可以只输出与将用于监视的复原图像对应的检测图像的例子。例如，成像元件121可以在控制单元122的控制下，只输出具有由像素选择单元202选择的视角的像素121a的检测信号。结果，减轻了成像元件121的处理。

此外，例如，可以设置配置成独立地驱动各个视角的像素121a的驱动单元，使得可以同时地或者单独地进行通过各个视角的像素121a的成像。然后，例如，可以只有与将用于监视的复原图像对应的像素121a进行成像。结果，减轻了成像元件121的处理。

此外，在图5中，表示了其中通过使用遮光膜121b作为调制元件，或者通过改变对输出做出贡献的光电二极管的组合，向各个像素给予不同的入射角指向性的例子。不过，在本技术中，例如，如在图28中图解所示，还可以使用覆盖成像元件901的受光面的滤光片902作为调制元件，来向各个像素提供入射角指向性。

具体地，滤光片902被布置成在与成像元件901的受光面901A相隔预定距离处，覆盖受光面901A的整个表面。来自被摄体表面102的光由滤光片902调制，然后入射到成像元件901的受光面901A上。

例如，作为滤光片902，可以使用图29中图解所示的具有黑白格子图案的滤光片902BW。在滤光片902BW中，随机地布置透射光的白色图案部分和遮挡光的黑色图案部分。每个图案的尺寸是独立于成像元件901的像素的尺寸设定的。

图30图解说明在使用滤光片902BW的情况下，成像元件901对于来自被摄体表面102上的点光源PA和PB的光的受光灵敏度特性。来自点光源PA和PB的光分别由滤光片902BW调制，然后入射到成像元件901的受光面901A上。

例如，成像元件901相对于来自点光源PA的光的受光灵敏度特性如波形Sa所示。即，由于通过滤光片902BW的黑色图案部分产生阴影，因此在相对于来自点光源PA的光的受光面901A上的图像中产生浓淡图案。类似地，成像元件901相对于来自点光源PB的光的受光灵敏度特性如波形Sb所示。即，由于通过滤光片902BW的黑色图案部分产生阴影，因此在相对于来自点光源PB的光的受光面901A上的图像中产生浓淡图案。

注意，由于来自点光源PA的光和来自点光源PB的光对于滤光片902BW的各个白色图案部分具有不同的入射角，因此受光面上的浓淡图案的表现是不同的。于是，成像元件901的各个像素相对于被摄体表面102的各点光源具有入射角指向性。

例如，在M.Salman Asif及其他四人的“Flatcam:Replacing lenses with masksand computation”,“2015IEEE International Conference on Computer VisionWorkshop(ICCVW)”，2015,pp.663-666中公开了关于该方法的细节。

注意，代替滤光片902BW的黑色图案部分，可以使用图31中图解所示的滤光片902HW。滤光片902HW包括具有相同偏振方向的线性偏振元件911A和线性偏振元件911B，以及1/2波长板912。1/2波长板912夹在线偏振元件911A和线线偏振元件911B之间。代替滤光片902BW的黑色图案部分，1/2波长板912设置有由对角线指示的偏振部分，并且白色图案部分和偏振部分是随机布置的。

线性偏振元件911A只透射从点光源PA发射的几乎无偏振的光中的预定偏振方向的光。在下文中，假设线性偏振元件911A只透射偏振方向平行于图面的光。在透过线性偏振元件911A的偏振光中，透过1/2波长板912的偏振部分的偏振光由于偏振面的旋转而在偏振方向上改变为垂直于图面的方向。然而，在透过线性偏振元件911A的偏振光中，透过1/2波长板912的白色图案部分的偏振光在偏振方向上不改变，保持原样平行于图面。然后，线性偏振元件911B透射透过白色图案部分的光，而几乎不透射透过偏振部分的偏振光。于是，透过偏振部分的偏振光的光量小于透过白色图案部分的偏振光的光量。结果，在成像元件901的受光面901A上生成与使用滤光片BW的情况类似的浓淡图案。

此外，如在图32的A中图解所示，可以使用光学干涉掩模作为滤光片902LF。从被摄体表面102的点光源PA和PB发射的光经由滤光片902LF照射在成像元件901的受光面901A上。如在图32的A的下部的放大示图中图解所示，例如，滤光片902LF的光入射面设置有一定程度的波长的不规则性。此外，在滤光片902LF中，使从垂直方向照射的特定波长的光的透射达到最大。当从被摄体表面102的点光源PA和PB发射的特定波长的光相对于滤光片902LF的入射角的变化(相对于垂直方向的倾斜)变大时，光程长度发生变化。这里，当光程长度是半波长的奇数倍时，光互相减弱，而当光程长度是半波长的偶数倍时，光互相增强。即，如在图32的B中图解所示，从点光源PA和PB发射并透过滤光片902LF的特定波长的透射光的强度按照相对于滤光片902LF的入射角被调制，并入射到成像元件901的受光面901A上。于是，从成像元件901的各个像素输出的检测信号是通过针对每个像素合成各个点光源的调制光强度而获得的信号。

该方法的细节例如公开在日本专利申请公开No.2016-510910中。

<与信息处理系统11中的处理的分担相关的变形例>

可以酌情改变信息处理系统11中的处理的分担。

例如，识别单元23的处理也可以由控制单元28、成像单元41或相机ECU 42执行。

例如，警示控制单元24的处理也可以由识别单元23、控制单元28或相机ECU 42执行。

例如，危险物检测单元201的处理也可以由识别单元23、成像单元41或相机ECU 42执行。

例如，像素选择单元202的处理也可以由成像单元41或相机ECU42执行。

例如，复原单元203的处理也可以由成像单元41或相机ECU 42执行。

<其他变形例>

本技术也可以应用于对除可见光以外的诸如红外光之类波长的光成像的成像装置或成像元件。在这种情况下，复原图像不是其中用户能够在视觉上识别被摄体的图像，而是其中用户无法在视觉上识别被摄体的图像。另外在这种情况下，通过使用本技术，相对于其中能够识别被摄体的图像处理装置等，提高了复原图像的图像质量。注意，由于通常的成像镜头难以透射远红外光，因此本技术例如在对远红外光成像的情况下有效。于是，复原图像可以是远红外光的图像，并且可以是其他可见光或不可见光的图像，而不限于远红外光。

此外，例如，在检测到危险物并使用窄视角复原图像进行物体识别处理的情况下，可以在显示单元25上显示窄视角复原图像而不是宽视角复原图像。此外，例如，可以在显示单元25上显示其中在宽视角复原图像上叠加窄视角复原图像的图像。结果，驾驶员可以更详细地看到其中存在危险物的区域。

此外，例如，可以按照操作控制单元27对车辆的操作的控制来控制警告显示。例如，在操作控制单元27进行规避操作的情况下，可以进行警告显示。结果，可以向诸如驾驶员之类的乘员通知进行规避操作的原因，并且可以给乘员带来安全感。

此外，例如，通过应用诸如深度学习之类的机器学习，也可以通过使用复原前的检测图像来进行物体识别等，而不使用复原后的复原图像。另外在这种情况下，通过使用本技术，提高了使用复原前的检测图像的图像识别的精度。换句话说，提高了复原前的检测图像的图像质量。

此外，在以上的描述中，以监视车辆前方的情况为例，不过本技术也可以适用于监视车辆周围的任意方向(例如，后方、侧面等)的情况。

此外，本技术也可以应用于监视除车辆以外的移动体的周边环境的情况。作为这样的移动体，例如，设想诸如摩托车、自行车、个人机动设备、飞机、船舶、建筑机械、农业机械(拖拉机)之类的移动体。此外，本技术可以应用于的移动体例如还包括诸如无人机或机器人之类不搭乘用户地移动的移动体。

<<4.其他>>

上面描述的一系列处理可以用硬件执行，也可以用软件执行。在用软件执行所述一系列处理的情况下，构成所述软件的程序安装在计算机中。这里，所述计算机包括并入专用硬件中的计算机(例如，控制单元122等)，等等。

计算机执行的程序可以通过记录在例如作为套装介质等的记录介质上来提供。此外，程序可以经由有线或无线传输介质，诸如局域网、因特网或数字卫星广播来提供。

注意，计算机执行的程序可以是按照在本说明书中描述的顺序时序地进行处理的程序，或者可以是并行地或者在诸如进行调用时之类的必要定时进行处理的程序。

此外，本技术的实施例不限于上述实施例，可以进行各种修改，而不脱离本技术的范围。

例如，本技术可以采用其中一个功能经由网络由多个设备分担并协同处理的云计算构成。

此外，在上述流程图中描述的各个步骤可以由一个设备执行，也可以由多个设备分担执行。

此外，在一个步骤包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个设备执行，也可以由多个设备分担执行。

注意，本技术也可以具有以下构成。

(1)一种信息处理装置，包括：

像素选择单元，所述像素选择单元被配置成基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角；和

控制单元，所述控制单元被配置成通过使用所选像素执行预定处理。

(2)按照上述(1)所述的信息处理装置，其中

所述控制单元包括：

识别单元，所述识别单元被配置成通过使用基于所选像素的检测信号的检测图像，进行物体识别。

(3)按照上述(2)所述的信息处理装置，其中

所述像素选择单元基于物体识别的结果，选择要使用的像素。

(4)按照上述(3)所述的信息处理装置，其中

所述识别单元通过使用基于具有第一视角的像素的检测信号的第一检测图像，进行物体识别，并且

所述像素选择单元基于使用所述第一检测图像的物体识别的结果，选择要使用的像素。

(5)按照上述(4)所述的信息处理装置，其中

所述像素选择单元选择具有比所述第一视角窄的第二视角的像素，并且

基于具有所述第二视角的像素的检测信号的第二检测图像的分辨率高于所述第一检测图像的分辨率。

(6)按照上述(3)～(5)任意之一所述的信息处理装置，其中

所述像素选择单元基于使用在先帧的检测图像的物体识别的结果，选择要使用的像素。

(7)按照上述(3)～(6)任意之一所述的信息处理装置，其中

所述像素选择单元基于识别出的物体中的一个或多个，选择要使用的像素。

(8)按照上述(7)所述的信息处理装置，其中

所述像素选择单元选择其视角与所述物体的至少一部分重叠的像素。

(9)按照上述(7)或(8)所述的信息处理装置，其中

所述像素选择单元基于根据预定条件从识别出的物体中选择的物体，选择要使用的像素。

(10)按照上述(2)～(9)任意之一所述的信息处理装置，其中

所述控制单元还包括：

复原单元，所述复原单元被配置成从所述检测图像复原出复原图像，和

识别单元，所述识别单元通过使用所述复原图像进行物体识别。

(11)按照上述(10)所述的信息处理装置，还包括：

显示控制单元，所述显示控制单元被配置成控制所述复原图像的显示。

(12)按照上述(11)所述的信息处理装置，其中

所述显示控制单元还基于物体识别的结果，控制警告显示。

(13)按照上述(2)～(12)任意之一所述的信息处理装置，还包括：

操作控制单元，所述操作控制单元被配置成基于物体识别的结果，控制移动体的操作。

(14)按照上述(13)所述的信息处理装置，还包括：

显示控制单元，所述显示控制单元被配置成按照所述移动体的操作的控制，控制警告显示。

(15)按照上述(13)或(14)所述的信息处理装置，其中

所述像素选择单元基于所述移动体的速度和所述移动体的周边状况中的至少一个，选择要使用的像素。

(16)按照上述(1)～(15)任意之一所述的信息处理装置，其中

所述控制单元还包括：

输出控制单元，所述输出控制单元被配置成控制所选像素的检测信号从所述成像元件的输出。

(17)一种信息处理方法，其中

信息处理装置进行处理，所述处理包括：

基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角；和

通过使用所选像素执行预定处理。

(18)一种程序，所述程序用于使计算机进行处理，所述处理包括：

基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角；和

通过使用所选像素执行预定处理。

(19)一种信息处理系统，包括：

成像元件，所述成像元件包括多个像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于多个视角中的任意视角；和

信息处理装置，其中

所述信息处理装置包括：

像素选择单元，所述像素选择单元被配置成基于从所述检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素；和

控制单元，所述控制单元被配置成通过使用所选像素执行预定处理。

注意，记载在本说明书中的效果仅仅是例子，并不受限制，可能存在其他效果。

附图标记列表

11 信息处理系统

21 相机模块

23 识别单元

24 警示控制单元

25 显示单元

26 显示控制单元

27 操作控制单元

28 控制单元

41 成像单元

121 成像元件

121a 像素

122 控制单元

201 危险物检测单元

202 像素选择单元

203 复原单元

Claims (19)

1.一种信息处理装置，包括：

像素选择单元，所述像素选择单元被配置成基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角；和

控制单元，所述控制单元被配置成通过使用所选像素执行预定处理。

2.按照权利要求1所述的信息处理装置，其中

所述控制单元包括：

识别单元，所述识别单元被配置成通过使用基于所选像素的检测信号的检测图像，进行物体识别。

3.按照权利要求2所述的信息处理装置，其中

所述像素选择单元基于物体识别的结果，选择要使用的像素。

4.按照权利要求3所述的信息处理装置，其中

所述识别单元通过使用基于具有第一视角的像素的检测信号的第一检测图像，进行物体识别，并且

所述像素选择单元基于使用所述第一检测图像的物体识别的结果，选择要使用的像素。

5.按照权利要求4所述的信息处理装置，其中

所述像素选择单元选择具有比所述第一视角窄的第二视角的像素，并且

基于具有所述第二视角的像素的检测信号的第二检测图像的分辨率高于所述第一检测图像的分辨率。

6.按照权利要求3所述的信息处理装置，其中

所述像素选择单元基于使用在先帧的检测图像的物体识别的结果，选择要使用的像素。

7.按照权利要求3所述的信息处理装置，其中

所述像素选择单元基于识别出的物体中的一个或多个，选择要使用的像素。

8.按照权利要求7所述的信息处理装置，其中

所述像素选择单元选择其视角与所述物体的至少一部分重叠的像素。

9.按照权利要求7所述的信息处理装置，其中

所述像素选择单元基于根据预定条件从识别出的物体中选择的物体，选择要使用的像素。

10.按照权利要求2所述的信息处理装置，其中

所述控制单元还包括：

复原单元，所述复原单元被配置成从所述检测图像复原出复原图像，和

识别单元，所述识别单元通过使用所述复原图像进行物体识别。

11.按照权利要求10所述的信息处理装置，还包括：

显示控制单元，所述显示控制单元被配置成控制所述复原图像的显示。

12.按照权利要求11所述的信息处理装置，其中

所述显示控制单元还基于物体识别的结果，控制警告显示。

13.按照权利要求2所述的信息处理装置，还包括：

操作控制单元，所述操作控制单元被配置成基于物体识别的结果，控制移动体的操作。

14.按照权利要求13所述的信息处理装置，还包括：

显示控制单元，所述显示控制单元被配置成按照所述移动体的操作的控制，控制警告显示。

15.按照权利要求13所述的信息处理装置，其中

所述像素选择单元基于所述移动体的速度和所述移动体的周边状况中的至少一个，选择要使用的像素。

16.按照权利要求1所述的信息处理装置，其中

所述控制单元包括：

输出控制单元，所述输出控制单元被配置成控制所选像素的检测信号从所述成像元件的输出。

17.一种信息处理方法，其中

信息处理装置进行处理，所述处理包括：

基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角；和

通过使用所选像素执行预定处理。

18.一种程序，所述程序用于使计算机进行处理，所述处理包括：

基于从包括多个像素的成像元件的检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出所述检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于所述多个视角中的任意视角；和

通过使用所选像素执行预定处理。

19.一种信息处理系统，包括：

成像元件，所述成像元件包括多个像素，所述成像元件被配置成不经由成像镜头或针孔而接收从被摄体入射的入射光，并输出检测信号，所述检测信号指示按照所述入射光的入射角调制的输出像素值，并且对应于多个视角中的任意视角；和

信息处理装置，其中

所述信息处理装置包括：

像素选择单元，所述像素选择单元被配置成基于从所述检测信号获得的信息，从具有多个视角的像素之中选择要使用的像素；和

控制单元，所述控制单元被配置成通过使用所选像素执行预定处理。

Images