CN111201771B - 电子仪器 - Google Patents

Abstract

本公开涉及一种能够减小具有对用户的周围进行成像的功能的电子仪器的尺寸的电子仪器。一种用户穿戴或使用的电子仪器，其中该电子仪器包括成像单元：其被布置穿戴或使用该电子仪器的用户周围出现的位置；从被摄体接收不经由成像透镜或针孔进入的入射光；并且包括多个像素输出单元，其输出单个指示已经基于入射光的入射角调制的输出像素值的检测信号。本公开可以应用于例如可穿戴设备。

Description

电子仪器

技术领域

本发明涉及一种电子仪器，尤其涉及一种具有对用户的周围进行成像的功能的电子仪器。

背景技术

以往，已经提出了一种成像装置，其中不使用成像透镜，而是通过覆盖成像元件的受光面的格子状的光学滤光器或包括衍射光栅的光学滤光器对来自被摄体的光进行调制并进行成像，并且通过预定的运算处理，复原其上被摄体的像作为图像形成的图像(例如，参照非专利文献1和2)。

引文列表

非专利文献

非专利文献1：M.Salman Asif和其他四人，“Flatcam：用掩模和计算代替透镜”，“2015IEEE国际计算机视觉研讨会(ICCVW)”，2015，第663-666页(M.Salman Asif and fourothers,“Flatcam:Replacing lenses with masks and computation”,“2015 IEEEInternational Conference on Computer Vision Workshop(ICCVW)”,2015,pages 663-666)

专利文献

专利文献1：日本国家公开的国际专利申请号2016-510910

专利文献2：国际公开号2016/123529

发明内容

本发明要解决的问题

顺便提及，如在非专利文献1和2中公开的不使用成像透镜的成像装置由于不存在成像透镜而能够被小型化，并且预期扩展了适用范围。

本公开是鉴于这种情况而做出的，并且使得可以使具有对用户的周围进行成像的功能的电子仪器小型化。

问题的解决方案

根据本公开的方面的成像装置是一种由用户穿戴或使用的电子仪器，所述电子仪器包括：成像单元，其被布置在能够捕获穿戴或使用所述电子仪器的用户的周围的位置处，所述成像单元包括多个像素输出单位，每个像素输出单位接收不经由成像透镜或针孔入射的来自被摄体的入射光，并且输出一个指示根据所述入射光的入射角调制的输出像素值的检测信号。

在本公开的一个方面中，对穿戴或使用电子仪器的用户的周围进行成像，并且通过多个像素输出单位输出检测信号。

发明的效果

根据本公开的一个方面，可以使具有对用户的周围进行成像的功能的电子仪器小型化。

注意，这里描述的效果不必是限制性的，并且可以应用本公开中描述的任何效果。

附图说明

图1是说明在应用了本公开的技术的成像装置中的成像原理的图。

图2是示出应用了本公开的技术的成像装置的基本配置示例的框图。

图3是示出图2中的成像元件的像素阵列单元的配置示例的图。

图4是示出图2中的成像元件的第一配置示例的图。

图5是示出图2中的成像元件的第二配置示例的图。

图6是说明入射角指向性产生原理的图。

图7是说明使用片上透镜的入射角指向性的变化的图。

图8是示出遮光膜的类型的示例的图。

图9是说明示出入射角指向性的设计的图。

图10是说明片上透镜与成像透镜之间的差异的图。

图11是说明片上透镜与成像透镜之间的差异的图。

图12是说明片上透镜与成像透镜之间的差异的图。

图13是说明被摄体距离与指示入射角指向性的系数之间的关系的图。

图14是说明窄视角像素与广视角像素之间的关系的图。

图15是说明窄视角像素与广视角像素之间的关系的图。

图16是说明窄视角像素与广视角像素之间的关系的图。

图17是说明窄视角像素和广视角像素之间的画质的差异的图。

图18是说明窄视角像素和广视角像素之间的画质的差异的图。

图19是说明组合具有多个视角的像素的示例的图。

图20是说明图2中的成像装置进行的成像处理的流程图。

图21是说明减少处理负荷的方法的图。

图22是说明减少处理负荷的方法的图。

图23是说明减少处理负荷的方法的图。

图24是说明减少处理负荷的方法的图。

图25是说明减少处理负荷的方法的图。

图26是示出应用了本公开的技术的电子仪器的配置示例的框图。

图27是示出可穿戴设备中的成像元件的布置示例的图。

图28是示出成像元件的入射角指向性的示例的图。

图29是示出相机中的成像元件的布置示例的图。

图30是示出头戴式显示器中的成像元件的布置示例的图。

图31是示出PC中的成像元件的布置示例的图。

图32是说明用户成像控制处理的流程图。

图33是示出可穿戴设备中的成像元件的布置示例的图。

图34是示出相机中的成像元件的布置示例的图。

图35是示出头戴式显示器中的成像元件的布置示例的图。

图36是示出头戴式耳机中的成像元件的布置示例的图。

图37是示出头戴式耳机中的成像元件的布置示例的图。

图38是示出颈带式耳机中的成像元件的布置示例的图。

图39是说明用户周围成像控制处理的流程图。

图40是说明应对成像元件的安装位置的形状的变形的方法的图。

图41是示出应用了本公开的技术的信息处理系统的配置示例的框图。

图42是示出图5中的成像元件的变型例的图。

图43是说明像素输出单位的变型例的图。

图44是示出成像元件的变型例的图。

图45是示出成像元件的变型例的图。

图46是示出成像元件的变型例的图。

图47是示出成像元件的变型例的图。

图48是示出成像元件的变型例的图。

图49是示出内窥镜手术系统的配置的概要的示例的图。

图50是示出图49所示的相机头和CCU的功能配置的示例的框图。

图51是示出体内(in-vivo)信息获取系统的配置的概要的示例的框图。

具体实施方式

在下文中，将参考附图详细描述本公开的有利实施例。注意，在本说明书和附图中，具有基本上相同的功能配置的构成元件将由相同的附图标记表示，并且将适当地省略多余的描述。

此外，将以以下顺序给出描述。

1.本公开的成像装置的概述

2.本公开的成像装置的基本配置示例

3.第一实施例：对用户进行成像的情况

4.第二实施例：对用户的周围进行成像的情况

5.变型例

6.应用示例

7.其他

<<1.本公开的成像装置的概述>>

首先，描述根据本公开的成像装置的概述。

在根据本公开的成像装置中，如图1的左上所示，使用成像装置51，其中每个像素的检测灵敏度具有入射角指向性。这里，给每个像素的检测灵敏度提供入射角指向性旨在对于每个像素，依照入射光相对于各个像素的入射角的受光灵敏度特性是不同的。但是，所有像素的受光灵敏度特性不需要完全不同，而是一些像素的受光灵敏度特性可以相同。

这里，例如，假设所有被摄体中分别是一组点光源，并且从每个点光源沿所有方向发射光。例如，假设图1左上的被摄体的被摄体面31由点光源PA到点光源PC构成，并且点光源PA到PC各自发出分别具有光强度a到c的多条光线。此外，在以下描述中，假设成像元件51在位置Pa至Pc处包括具有不同的入射角指向性的像素(在下文中称为像素Pa至Pc)。

在这种情况下，如图1的左上方所示，从相同点光源发出的具有相同光强度的光线入射在成像元件51的各个像素上。例如，从点光源PA发出的光强度为a的光线入射在成像元件51的像素Pa到Pc中的每个上。同时，从相同点光源发出的光线对于各个像素以彼此不同的入射角入射。例如，来自点光源PA的光线以彼此不同的入射角入射在像素Pa到Pc上。

这里，由于像素Pa至Pc的入射角指向性彼此不同，因此在各个像素中以不同的灵敏度检测到从相同点光源发出的具有相同光强度的光线。结果，对于各个像素，以不同的检测信号电平检测到具有相同光强度的光线。例如，相对于来自点光源PA的光强度为a的光线的检测信号电平在像素Pa到Pc之间具有彼此不同的值。

然后，通过将光线的光强度乘以指示相对于该光线的入射角的受光灵敏度(即，入射角指向性)的系数，来获得每个像素对于来自每个点光源的光线的受光灵敏度水平。例如，通过将点光源PA的光线的光强度a乘以指示像素Pa相对于该光线入射到像素Pa的入射角的入射角指向性的系数，来获得像素Pa相对于来自点光源PA的光线的检测信号电平。

因此，像素Pc、Pb和Pa的各个检测信号电平DA、DB和DC由下面的表达式(1)至(3)表示。

DA＝α1×a+β1×b+γ1×c......(1)

DB＝α2×a+β2×b+γ2×c......(2)

DC＝α3×a+β3×b+γ3×c......(3)

这里，系数α1表示指示像素Pc相对于来自点光源PA到像素Pc的光线的入射角的入射角指向性的系数，并且根据该入射角来设置。此外，α1×a指示像素Pc的相对于来自点光源PA的光线的检测信号电平。

系数β1表示指示像素Pc相对于来自点光源PB到像素Pc的光线的入射角的入射角指向性的系数，并且根据入射角来设置。另外，β1×b指示像素Pc的相对于来自点光源PB的光线的检测信号电平。

系数γ1表示指示像素Pc相对于来自点光源PC到像素Pc的光线的入射角的入射角指向性的系数，并且根据入射角来设置。此外，γ1×c指示像素Pc的相对于来自点光源PC的光线的检测信号电平。

如上所述，通过分别来自点光源PA、PB、PC的光线在像素Pc处的光强度a、b、c与指示依照各光线的入射角的入射角指向性的系数α1、β1、γ1的乘积和，计算像素Pa的检测信号电平DA。

同样地，如表达式(2)所示，像素Pb的检测信号电平DB是通过分别来自点光源PA、PB、PC的光线在像素Pb处的光强度a、b、c与指示依照各光线的入射角的入射角指向性的系数α2、β2、γ2的乘积和来计算的。另外，如表达式(3)所示，像素Pc的检测信号电平DC是通过分别来自点光源PA、PB、PC的光线在像素Pa处的光强度a、b、c与指示依照各光线的入射角的入射角指向性的系数α2、β2、γ2的乘积和来计算的。

但是，如表达式(1)至(3)所示，在像素Pa、Pb、Pc的检测信号电平DA、DB、DC中，从各个点光源PA、PB、PC发出的光线的光强度a、b、c混合。因此，如图1的右上所示，成像元件51处的检测信号电平不同于被摄体面31上的每个点光源的光强度。因此，由成像元件51获得的图像作为不同于其上被摄体面31的像作为图像形成的图像的图像给出。

同时，通过创建包括表达式(1)至(3)的联立方程并求解所创建的联立方程，获得各个点光源PA至PC的光线的光强度a至c。然后，通过依照点光源PA到PC的布置(相对位置)来布置具有依照所获得的光强度a到c的像素值的像素，复原被摄体面31的像作为图像形成的复原图像，如图1的右下所示。

注意，以下，将为构成联立方程的每个表达式采集的系数(例如系数α1、β1、γ1)为系数集。此外，以下，将与联立方程中包含的多个表达式相对应的多个采集的系数集(例如，系数集α1、β1和γ1，系数集α2、β2和γ2以及系数集α3、β3和γ3)称为系数集组。

通过以这种方式配置，可以实现不需要专利文献1和非专利文献1(以下称为专利文献等)中公开的成像透镜、针孔和滤光器，而包括每个像素中具有入射角指向性的成像元件51作为必要组件的成像装置。结果，由于不将在专利文献等中公开的成像透镜、针孔和滤光器作为必要组件，因此允许成像装置具有低轮廓(low profile)，也就是说，减小实现成像功能的配置中相对于光的入射方向的厚度。

此外，由于必要组件仅是成像元件51，因此可以提高设计自由度。例如，尽管在使用传统成像透镜的成像装置中，需要依照成像透镜形成被摄体的像作为图像的位置，将成像元件的像素布置成二维阵列的形状，但是这在使用成像元件51的成像装置中是不必要的。因此，提高了每个像素的布置的自由度，并且例如可以在来自被摄体的光入射的范围内自由地布置像素。因此，各个像素可以布置在圆形区域中，布置在中空正方形区域中，或者分散布置在多个区域中。

然后，可以通过使用依照来自被摄体面31上的各个点光源的光线到各个像素上的入射角的系数来创建上述表达式(1)到(3)所指示的联立方程并且求解该联立方程，来获得来自每个点光源的光线的光强度，而不考虑各个像素的布置。然后，通过依照被摄体面31上的各个点光源的布置来布置具有依照获得的各个点光源的光强度的像素值的像素，可以复原其上被摄体面31伤的像作为图像形成的复原图像。

<<2.本公开的成像装置的基本配置示例>>

接下来，参考图2至25描述根据本公开的成像装置的基本配置的示例。

<成像装置101的配置示例>

图2是示出作为应用本公开的技术的基本成像装置的成像装置101的配置示例的框图。

成像装置101包括成像元件121、复原单元122、控制单元123、输入单元124、检测单元125、关联单元126、显示单元127、存储单元128、记录和回放单元129、记录介质130和通信单元131。此外，复原单元122、控制单元123、输入单元124、检测单元125、关联单元126、显示单元127、存储单元128、记录和回放单元129、记录介质130和通信单元131构成执行信号处理并控制成像装置101的信号处理控制单元111。注意，成像装置101不包括成像透镜(无成像透镜)。

此外，成像元件121、复原单元122、控制单元123、输入单元124、检测单元125、关联单元126、显示单元127、存储单元128、记录和回放单元129以及通信单元131通过总线B1彼此连接，并例如通过总线B1发送和接收数据。注意，在下文中，为了简化描述，将省略在成像装置101的每个单元例如通过总线B1发送和接收数据的情况下对总线B1的描述。例如，输入单元124通过总线B1向控制单元123提供数据的情况将被描述为输入单元124向控制单元123提供数据。

成像元件121对应于上文参照图1描述的成像元件51，并且是包括具有入射角指向性的像素的成像元件，并且向复原单元122或总线B1输出包括指示依照入射光的光量的检测信号电平的检测信号的图像。

更具体地，例如，在基本结构中，成像元件121可以类似于包括一般的成像元件(诸如CMOS(互补金属氧化物半导体)图像传感器)的成像元件。但是，在成像元件121中，构成像素阵列的每个像素的配置与一般配置不同，并且采用提供例如参照图3至图5所述的入射角指向性的配置。然后，成像元件121具有针对每个像素依赖于入射光的入射角而不同(变化)的受光灵敏度，并且具有以像素为单位相对于入射光的入射角的入射角指向性。

注意，由于由成像元件121输出的图像作为由如上文所述的图1的右上所示的没有形成被摄体的像作为图像的检测信号构成的图像给出，因此不能通过观察来识别被摄体。也就是说，包括由成像元件121输出的检测信号的检测图像是像素信号的集合，但是用户即使观察该图像也不能识别被摄体(不能视觉地识别被摄体)的图像。

因此，在以下描述中，将由如图1的右上所示的没有形成被摄体的像作为图像的检测信号构成的图像(即，由成像元件121捕获的图像)称为检测图像。

注意，成像元件121可以不必被配置为像素阵列，并且例如可以被配置为线传感器。此外，每个入射角指向性不必以像素为单位不同，而是可以包括具有相同的入射角指向性的像素。

复原单元122从存储单元128获取例如与对应于图1中从成像元件51到被摄体面31(与复原图像相对应的被摄体面)的距离的被摄体距离相对应并且与上述系数α1到α3、β1到β3和γ1到γ3相对应的系数集组。此外，复原单元122使用从成像元件121输出的检测图像的每个像素的检测信号电平和所获得的系数集组来创建如上文所述的表达式(1)至(3)所指示的联立方程。然后，复原单元122通过求解所创建的联立方程来获得构成被摄体的像作为图像形成的图1的右下部示出的图像的每个像素的像素值。因此，根据检测图像复原其中用户可以通过观察来识别被摄体(可以视觉地识别被摄体)的图像。在以下描述中，根据检测图像复原的图像被称为复原图像。但是，在成像元件121仅对诸如紫外光的可视觉识别的波长频带之外的光具有灵敏度的情况下，复原图像将不作为如同普通图像的被摄体可以被识别的图像给出，而是在这种情况下将被称为复原图像。

此外，在以下描述中，作为在形成被摄体的像作为图像的状态下的图像但是经过诸如去马赛克处理和同步处理的颜色分离之前的图像的复原图像的图像被称为RAW图像，并且由成像元件121捕获的检测图像不被区分为RAW图像之外的图像，尽管其是依照彩色滤光器阵列的图像。

注意，成像元件121的像素数量和构成复原图像的像素数量不需要相同。

此外，复原单元122根据情况对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。然后，复原单元122将复原图像输出到总线B1。

控制单元123包括例如各种处理器，并且控制成像装置101的每个单元。

输入单元124包括用于操作成像装置101、输入用于处理的数据等的输入设备(例如，按键、开关、按钮、拨号盘、触摸面板、遥控器等)。输入单元124将操作信号、输入的数据等输出到总线B1。

检测单元125包括用于检测成像装置101和被摄体的状态等的各种传感器等。例如，检测单元125包括检测成像装置101的姿态和移动的加速度传感器和陀螺仪传感器、检测成像装置101的位置的位置检测传感器(例如，全球导航卫星系统(GNSS)接收器等)、检测被摄体距离的距离测量传感器等。检测单元125将指示检测结果的信号输出到总线B1。

关联单元126将由成像元件121获得的检测图像和与检测图像对应的元数据相关联。元数据包括例如用于使用目标检测图像来对复原图像进行复原的系数集组、被摄体距离等。

注意，只要可以指定检测图像和元数据之间的对应关系，则用于将检测图像和元数据相关联的方法就不被特别限制。例如，通过将元数据添加到包括检测图像的图像数据，将相同的ID分配给检测图像和元数据，或者将检测图像和元数据记录到相同的记录介质130上，可以将检测图像和元数据相关联。

显示单元127例如由显示器构成，并且显示各种类型的信息(例如，复原图像等)。注意，允许显示单元127包括诸如扬声器的声音输出单元以输出声音。

存储单元128包括诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存的一个或多个存储装置，并且例如存储在成像装置101的处理中使用的程序、数据等。例如，存储单元128与各种被摄体距离相关联地存储与上述系数α1至α3、β1至β3和γ1至γ3对应的系数集组。更具体地，例如，对于处于每个被摄体距离的每个被摄体面31，存储单元128存储包括成像元件121的每个像素121a相对于被摄体面31上设置的每个点光源的系数的系数集组。

记录和回放单元129将数据记录在记录介质130上并且回放(读出)记录在记录介质130上的数据。例如，记录和回放单元129将复原图像记录在记录介质130上，并从记录介质130读出复原图像。此外，例如，记录和回放单元129将检测图像和对应的元数据记录在记录介质130上，并从记录介质130读出检测图像和对应的元数据。

记录介质130例如包括HDD(硬盘驱动器)、SSD(固态驱动器)、磁盘、光盘、磁光盘、半导体存储器等中的任何一个、或他们的组合等。

通信单元131通过预定的通信方案与其他装置(例如，其他成像装置、信号处理装置等)进行通信。注意，通信单元131的通信方案可以是有线的或无线的。此外，通信单元131还可以支持多种通信方案。

<成像元件121的第一配置示例>

接下来，参照图3和图4描述图2的成像装置101的成像元件121的第一配置示例。

图3示出了成像元件121的像素阵列单元的一部分的前视图。注意，尽管图3示出了像素阵列单元中的像素数量是六个纵向像素×六个横向像素的情况的示例，但是像素阵列单元中的像素数量不限于该示例。

在图3的成像元件121中，每一个像素121a都设置有作为调制元件之一的遮光膜121b，从而覆盖所述一个像素121a的光电二极管的受光区域(受光面)的一部分，并且依照入射角光学调制入射在每个像素121a上的入射光。然后，例如，通过为每个像素121a提供不同范围的遮光膜121b，相对于入射光的入射角的受光灵敏度对于每个像素121a变得不同，从而使得每个像素121a具有不同的入射角指向性。

例如，光电二极管的受光区域被所设置的遮光膜121b-1和遮光膜121b-2遮蔽的范围在像素121a-1和像素121a-2之间不同(遮光区域(位置)和遮光面积中的至少一个不同)。也就是说，在像素121a-1中，遮光膜121b-1被设置为以便以预定宽度遮蔽光电二极管的受光区域的左侧部分。同时，在像素121a-2中，遮光膜121b-2被设置为以便以预定宽度遮蔽受光区域的右侧部分。注意，遮光膜121b-1遮蔽光电二极管的受光区域的宽度与遮光膜121b-2遮蔽光电二极管的受光区域的宽度可以彼此不同或相同。类似地，在其他像素121a中，遮光膜121b被随机布置在像素阵列中，以便针对每个像素遮蔽受光区域的不同范围。

注意，随着遮光膜121b占据的每个像素的受光区域的比率增大，导致光电二极管可以接收的光的量减少的状态。因此，遮光膜121b的面积优选地具有可以确保期望光量的面积，并且例如，可以添加诸如最大为受光区域的大约3/4的限制的限制。通过以这种方式配置，可以确保光量等于或大于期望的量。但是，如果每个像素设置有具有与要接收的光的波长相对应的宽度的非遮蔽范围，则可以接收最小量的光。也就是说，例如，在蓝色像素(B像素)的情况下，波长为大约500nm，并且因此如果B像素没有遮蔽达与波长相对应的宽度或更宽，则可以接收最小量的光。

图4的上部是具有第一配置示例的成像元件121的侧面剖视图，并且图4的中部是具有第一配置示例的成像元件121的俯视图。另外，图4的上部的侧面剖视图描绘了图4的中部的AB横截面。此外，图4的下部是成像元件121的电路配置示例。

在图4的上部的成像元件121中，入射光从图中的上侧朝着图的下侧入射。相邻的像素121a-1和121a-2中的每个是所谓的背面照射型，其中布线层Z12设置在图中最下层，并且光电转换层Z11设置在布线层Z12上。

注意，在没有必要将像素121a-1和121a-2彼此区分的情况下，省略了对在附图标记末尾处的数字的描述，并且像素121a-1和121a-2将被简称为像素121a。在下文中，在描述中，对于其他组件，在一些情况下也类似地省略在附图标记末尾的数字。

此外，图4仅示出了构成成像元件121的像素阵列的两个像素的侧视图和俯视图；并且不必说，虽然未示出，但布置了等于或大于两个的数量的像素121a。

此外，像素121a-1和121a-2分别在光电转换层Z11中包括光电二极管121e-1和121e-2。此外，在光电二极管121e-1和121e-2的顶部，分别从上方堆叠片上透镜121c-1和121c-2以及彩色滤光器121d-1和121d-2。

片上透镜121c-1和121c-2将入射光会聚到光电二极管121e-1和121e-2上。

彩色滤光器121d-1和121d-2例如是透射诸如红色、绿色、蓝色、红外和白色的特定波长的光的光学滤光器。注意，在白色的情况下，彩色滤光器121d-1和121d-2可以被形成为透明滤光器或者可以被移除。

在像素121a-1和121a-2的光电转换层Z11中，在像素之间的边界处形成遮光膜121g-1至121g-3，并且例如如图4所示，抑制入射光L入射在相邻像素上，并抑制发生串扰。

此外，如图4的上部和中部所示，当从顶部观察时，遮光膜121b-1和121b-2遮蔽受光面S的一部分。在像素121a-1和121a-2的光电二极管121e-1和121e-2的受光面S中，彼此不同的范围被遮光膜121b-1和121b-2遮蔽，从而，对于每个像素独立地设置不同的入射角指向性。但是，遮光范围不必在成像元件121的所有像素121a中都不同，并且可以存在相同范围被遮蔽的像素121a。

注意，如图4的上部所示，遮光膜121b-1和遮光膜121g-1彼此连接，并且被配置为从侧面观察时的L形。类似地，遮光膜121b-2和遮光膜121g-2彼此连接，并且被配置为从侧面观察时的L形。此外，通过金属并且例如通过钨(W)、铝(Al)或者Al和铜(Cu)的合金来构成遮光膜121b-1、遮光膜121b-2以及遮光膜121g-1至121g-3。此外，可以通过与在半导体工艺中形成布线的工艺相同的工艺使用与相同处理中的布线相同的金属同时形成遮光膜121b-1、遮光膜121b-2以及遮光膜121g-1至121g-3。注意，遮光膜121b-1、遮光膜121b-2和遮光膜121g-1至121g-3的膜厚度依赖于位置可以不必具有相同的厚度。

此外，如图4的下部所示，像素121a包括光电二极管161(对应于光电二极管121e)、传输晶体管162、浮动扩散(FD)单元163、选择晶体管164、放大晶体管165和复位晶体管166，并通过垂直信号线167连接到电流源168。

光电二极管161将其阳极电极接地，并且将其阴极电极通过传输晶体管162连接到放大晶体管165的栅极电极。

根据传输信号TG驱动传输晶体管162。例如，当提供给传输晶体管162的栅极电极的传输信号TG达到高电平时，传输晶体管162导通。因此，累积在光电二极管161中的电荷通过传输晶体管162传输到FD单元163。

放大晶体管165用作作为读出由光电二极管161中的光电转换获得的信号的读出电路的源极跟随器的输入单元，并且将具有依照FD单元163中累积的电荷的电平的像素信号输出到垂直信号线167。也就是说，放大晶体管165将漏极端子连接到电源VDD，并且将源极端子通过选择晶体管164连接到垂直信号线167，从而与连接到垂直信号线167的一端的电流源168一起形成源极跟随器。

FD单元163是具有设置在传输晶体管162与放大晶体管165之间的电荷电容C1的浮动扩散区，并且临时累积经由传输晶体管162从光电二极管161传输的电荷。FD单元163是将电荷转换成电压的电荷检测单元，并且FD单元163中累积的电荷被转换成放大晶体管165中的电压。

选择晶体管164根据选择信号SEL被驱动，并且在提供给栅极电极的选择信号SEL达到高电平时被导通，以将放大晶体管165和垂直信号线167连接。

复位晶体管166根据复位信号RST被驱动。例如，复位晶体管166在提供给其栅极电极的复位信号RST达到高电平时被导通，并且将FD单元163中累积的电荷放电到电源VDD，以复位FD单元163。

例如，在图4的下部示出的像素电路如下操作。

也就是说，作为第一操作，复位晶体管166和传输晶体管162被导通，累积于FD单元163中的电荷被放电到电源VDD，并且FD单元163被复位。

作为第二操作，复位晶体管166和传输晶体管162被截止，开始曝光时段，并且通过光电二极管161累积依照入射光的光量的电荷。

作为第三操作，在导通复位晶体管166并复位FD单元163之后，截止复位晶体管166。通过此操作，FD单元163被设置为基准电位。

作为第四操作，将处于复位状态的FD单元163的电位作为基准电位从放大晶体管165输出。

作为第五操作，导通传输晶体管162并且将累积于光电二极管161中的电荷传输到FD单元163。

作为第六操作，将光电二极管中的电荷所传输到的FD单元163的电位作为信号电位从放大晶体管165输出。

然后，输出通过相关双采样(CDS)从信号电位减去基准电位获得的信号，作为像素121a的检测信号(像素信号)。该检测信号的值(输出像素值)依照来自被摄体的入射光的入射角而被调制，并且依赖于入射角而具有不同的特性(指向性)(具有入射角指向性)。

<成像元件121的第二配置示例>

图5是示出成像元件121的第二配置示例的图。图5的上部示出了作为第二配置示例的成像元件121的像素121a的侧面剖视图，并且图5的中部示出了成像元件121的俯视图。此外，图5的上部的侧视剖面图描绘了图5的中部的AB横截面。此外，图5的下部是成像元件121的电路配置示例。

图5的成像元件121与图4的成像元件121的配置的不同之处在于：四个光电二极管121f-1至121f-4形成在一个像素121a中，并且遮光膜121g形成在将光电二极管121f-1至121f-4彼此隔开的区域中。也就是说，在图5的成像元件121中，遮光膜121g被形成为从顶部观察时的“+”形状。注意，上述成像元件之间的共同的组件由与图4中相同的附图标记表示，并且省略了对它们的详细描述。

在图5的成像元件121中，通过将光电二极管121f-1至121f-4与遮光膜121g隔开，防止光电二极管121f-1至121f-4之间发生电串扰和光串扰。也就是说，与图4的成像元件121的遮光膜121g类似，图5的遮光膜121g用于防止串扰，并且不用于施加入射角指向性。

此外，在图5的成像元件121中，四个光电二极管121f-1到121f-4共享一个FD单元163。图5的下部示出了四个光电二极管121f-1至121f-4共享一个FD单元163的电路配置示例。注意，在图5的下部中，将省略对与图4的下部的组件相同的组件的描述。

在图5的下部中，与图4下部的电路配置的不同之处在于：采用分别取代光电二极管161(对应于图4上部的光电二极管121e)和传输晶体管162，设置有共享FD单元163的光电二极管161-1至161-4(对应于图5上部的光电二极管121f-1至121f-4)和传输晶体管162-1至162-4的配置。

通过这种配置，将光电二极管121f-1到121f-4中累积的电荷传输到设置在光电二极管121f-1到121f-4与放大晶体管165的栅极电极之间的连接部分处的具有预定电容的共用FD单元163。然后，依照FD单元163中保持的电荷的电平的信号作为检测信号(像素信号)被读出(但是，如上所述执行CDS处理)。

因此，可以允许在光电二极管121f-1至121f-4中累积的电荷以各种组合选择性地有助于像素121a的输出，即，检测信号。也就是说，通过采用可以针对光电二极管121f-1至121f-4中的每个独立地读出电荷的配置，并使有助于输出的光电二极管121f-1至121f-4(光电二极管121f-1至121f-4有助于输出的程度)彼此不同，可以获得不同的入射角指向性。

例如，通过将光电二极管121f-1和光电二极管121f-3的电荷传输到FD单元163并将通过读出各个电荷获得的信号相加，可以获得在左右方向上的入射角指向性。类似地，通过将光电二极管121f-1和光电二极管121f-2的电荷传输到FD单元163并将通过读出电荷获得的信号相加，可以获得上下方向上的入射角指向性。

此外，基于从四个光电二极管121f-1至121f-4独立地选择性读出的电荷而获得的信号作为与构成检测图像的一个像素对应的检测信号给出。

注意，例如不仅可以通过是否将每个光电二极管121f的电荷(检测值)传输到FD单元163，而且还可以通过使用电子快门功能在电荷传输到FD单元163之前复位光电二极管121f中累积的电荷来实现每个光电二极管121f(每个光电二极管121f的电荷)对检测信号的贡献。例如，如果光电二极管121f的电荷在即将传输到FD单元163之前复位，那么光电二极管121f被置于根本不对检测信号作出贡献的状态。另一方面，通过在光电二极管121f的电荷复位和电荷向FD单元163的传输之间设置时间，该光电二极管121f被置于部分地对检测信号做贡献的状态。

如上所述，在图5的成像元件121的情况下，通过改变四个光电二极管121f-1至121f-4中用于检测信号的光电二极管的组合，可以为每个像素提供不同的入射角指向性。此外，从图5的成像元件121的每个像素121a输出的检测信号具有依照来自被摄体的入射光的入射角而调制的值(输出像素值)，并且具有依赖于入射角而不同的特性(指向性)(具有入射角指向性)。

注意，在下文中，将输出与检测图像的一个像素相对应的检测信号的单位称为像素输出单位。像素输出单位包括至少一个或多个光电二极管，并且通常，成像元件121的每个像素121a对应于一个像素输出单位。

例如，在图4的成像元件121中，由于在每一个像素121a中设置一个光电二极管121e，因此一个像素输出单位包括一个光电二极管121e。换句话说，一个像素输出单位由一个光电二极管121e构成。

然后，通过使各个像素121a的遮光膜121b的遮光状态不同，可以使每个像素输出单位的入射角指向性不同。此外，在图4的成像元件121中，使用遮光膜121b光学调制到每个像素121a上的入射光，结果，通过从每个像素121a的光电二极管121e输出的信号，获得反映入射角指向性的检测图像的一个像素的检测信号。也就是说，图4的成像元件121包括接收不经由成像透镜或针孔入射的来自被摄体的入射光的多个像素输出单位，每个像素输出单位包括一个光电二极管121e，并且为每个像素输出单位设置相对于来自被摄体的入射光的入射角的特性(入射角指向性)。

另一方面，在图5的成像元件121中，由于一个像素121a设置有四个光电二极管121f-1至121f-4，使得每一个像素输出单位包括四个光电二极管121e。换句话说，四个光电二极管121f构成一个像素输出单位。同时，每个光电二极管121e单个并不构成单独的像素输出单位。

然后，如上所述，通过使四个光电二极管121f-1至121f-4中的对检测信号有贡献的光电二极管121f对于每个像素121a不同，使每个像素输出单位的入射角指向性变得不同。也就是说，在图5的成像元件121中，四个光电二极管121f-1至121f-4中对输出(检测信号)没有贡献的范围类似于遮光区域起作用。然后，通过从光电二极管121f-1至121f-4输出的信号的组合，获得反映入射角指向性的检测图像的一个像素的检测信号。也就是说，图5的成像元件121包括接收不经由成像透镜或针孔入射的来自被摄体的入射光的多个像素输出单位，每个像素输出单位包括多个光电二极管(例如，光电二极管121f-1至121f-4)，并且使对输出有贡献的光电二极管(光电二极管对输出的贡献的程度)不同；因此，各个像素输出单位相对于来自被摄体的入射光的入射角的特性(入射角指向性)彼此不同。

注意，在图5的成像元件121中，由于入射光未经光学调制地入射在所有的光电二极管121f-1至121f-4上，因此检测信号不是通过光学调制获得的信号。此外，在下面的描述中，对检测信号没有贡献的光电二极管121f也被称为对像素输出单位或输出没有贡献的光电二极管121f。

注意，图5示出了其中像素输出单位(像素121a)的受光面等分为四部分并且彼此具有等幅的受光面的光电二极管121f被布置在各个区域中的示例，即，光电二极管被等分为四部分的示例；但是可以任意设置光电二极管的分割数量和分割位置。

例如，光电二极管不必均等地分割，并且可以使光电二极管的分割位置对于每个像素输出单位而不同。通过该配置，例如，即使使多个像素输出单位中处于相同位置处的光电二极管121f对输出有贡献，入射角指向性在像素输出单位之间也是不同的。此外，例如，通过使分割数量在像素输出单位之间不同，可以更自由地设置入射角指向性。此外，例如，可以使分割数量和分割位置在像素输出单位之间不同。

此外，在图4的成像元件121和图5的成像元件121中，每个像素输出单位具有可以独立地设置入射角指向性的配置。另一方面，在上述非专利文献1和专利文献1和2中公开的成像装置中，成像元件的每个像素输出单位不具有可以独立地设置入射角指向性的配置。注意，在图4的成像元件121中，在制造时通过遮光膜121b设置每个像素输出单位的入射角指向性。另一方面，在图5的成像元件121中，尽管在制造时设置每个像素输出单位的光电二极管的分割数量和分割位置，但是可以在使用时(例如，在成像时)设置每个像素输出单位的入射角指向性(对输出有贡献的光电二极管的组合)。注意，在图4的成像元件121和图5的成像元件121中，所有像素输出单位不总需要包括提供入射角指向性的配置。

注意，如上所述，尽管成像元件的每个像素通常对应于一个像素输出单位；但是如后所述，存在多个像素构成一个像素输出单位的情况。在下文中，除非另有说明，否则假定成像元件的每个像素对应于一个像素输出单位来进行描述。

<关于产生入射角指向性的原理>

成像元件121的每个像素的入射角指向性例如根据图6中所示的原理产生。注意，图6的左上部和右上部是说明图4的成像元件121中的入射角指向性的产生原理的图，而图6的左下部和右下部是说明图5的成像元件121中的入射角指向性的产生原理的图。

图6的左上部和右上部的每个像素包括一个光电二极管121e。相对而言，图6的左下部和右下部的每个像素包括两个光电二极管121f。注意，尽管这里示出了一个像素包括两个光电二极管121f的示例；但是这是为了便于说明，并且在一个像素中包括的光电二极管121f的数量可以是除此之外的其他数量。

在图6的左上部分的像素中，遮光膜121b-11被形成为以便遮蔽光电二极管121e-11的受光面的右半部分。此外，在图6的右上部的像素中，遮光膜121b-12被形成为以便遮蔽光电二极管121e-12的受光面的左半部。注意，图中的点划线是在水平方向上通过光电二极管121e的受光面的中心并且垂直于受光面的辅助线。

例如，在图6的左上部的像素中，来自右上方向的相对于图中的点划线形成入射角θ1的入射光易于被光电二极管121e-11的未被遮光膜121b-11遮蔽的左半范围接收。相对而言，来自左上方向的相对于图中的点划线形成入射角θ2的入射光较不易于被光电二极管121e-11的未被遮光膜121b-11遮蔽的左半范围接收。因此，图6的左上部分的像素具有入射角指向性，其相对于来自图的右上的入射光的受光灵敏度高，但是相对于来自左上的入射光的受光灵敏度低。

另一方面，例如，在图6的右上部分的像素中，来自右上方向的形成入射角θ1的入射光较不易于被光电二极管121e-12的被遮光膜121b-12遮蔽的左半范围接收。相对而言，来自左上方向的形成入射角θ2的入射光易于被光电二极管121e-12的未被遮光膜121b-12遮蔽的右半范围接收。因此，图6的右上部分的像素具有入射角指向性，即相对于来自图的右上方的入射光的受光灵敏度低，而相对于来自左上方的入射光的受光灵敏度高。

此外，图6的左下部分的像素在图中的左侧和右侧设置有光电二极管121f-11和121f-12，并且具有在不设置遮光膜121b的情况下通过读取光电二极管121f-11和121f-12之一的检测信号具有入射角指向性的配置。

也就是说，在图6的左下部分的像素中，通过仅读出设置在图中左侧的光电二极管121f-11的信号，可以获得与图6的左上部分的像素的入射角指向性类似的入射角指向性。换句话说，由于来自右上方向的相对于图中的点划线形成入射角θ1的入射光入射在光电二极管121f-11上，并且从光电二极管121f-11读出与受光量相对应的信号；因此光电二极管121f-11对从该像素输出的检测信号有贡献。相对而言，尽管来自左上方向的相对于图中的点划线形成入射角θ2的入射光入射在光电二极管121f-12上，但是不执行从光电二极管121f-12进行读取；因此光电二极管121f-12对从该像素输出的检测信号没有贡献。

类似地，在如同图6右下部分的像素那样设置两个光电二极管121f-13和121f-14的情况下，通过仅读取设置在图中右侧的光电二极管121f-14的信号，可以获得与图6右上部分的像素的入射角指向性类似的入射角指向性。也就是说，尽管来自右上方向的形成入射角θ1的入射光入射在光电二极管121f-13上，但是不从光电二极管121f-13读出信号；因此光电二极管121f-13上对从该像素输出的检测信号没有贡献。相对而言，由于来自左上方向的形成入射角θ2的入射光入射在光电二极管121f-14上，并且从光电二极管121f-14读出与受光量相对应的信号；因此光电二极管121f-14对从该像素输出检测信号有贡献。

注意，在图6的上部的像素中，示出了遮光范围和未遮光范围在水平方向上在像素(光电二极管121e的受光面)的中心位置处分离的示例；但是像素也可以在其他位置处分离。此外，在图6的下部的像素中，示出了两个光电二极管121f在水平方向上在像素的中心位置处分离的示例；但是像素也可以在其他位置处分离。以这种方式，通过改变遮光范围或光电二极管121f分离的位置，可以产生不同的入射角指向性。

<关于包括片上透镜的配置中的入射角指向性>

接下来，参照图7描述包括片上透镜121c的配置中的入射角指向性。

图7的上部的曲线图示出了图7的中部和下部的像素的入射角指向性。注意，横坐标轴指示入射角θ，并且纵坐标轴指示检测信号电平。此外，假设入射角θ在入射光的方向与图7的中部的左侧的点划线一致情况下是0度，图7的中部的左侧的入射角θ21侧是正方向，并且图7的中部的右侧的入射角θ22侧是负方向。因此，从右上方入射在片上透镜121c上的入射光的入射角大于从左上方入射的入射光的入射角。也就是说，入射角θ随着入射光的前进方向向左倾斜而增大(沿正方向增大)，并且随着前进方向向右倾斜而减小(沿负方向增大)。

此外，通过将会聚入射光的片上透镜121c-11和透射预定波长的光的彩色滤光器121d-11添加到图6的上部的左部的像素来获得图7的中部的左部的像素。也就是说，在该像素中，片上透镜121c-11、彩色滤光器121d-11、遮光膜121b-11和光电二极管121e-11沿从图中的上侧的入射光方向顺序堆叠。

类似地，通过将片上透镜121c-11和彩色滤光器121d-11或者片上透镜121c-12和彩色滤光器121d-12分别添加到图6的上部的右部的像素、图6的下部的左部的像素和图6的下部的右部的像素来获得图7的中部的右部的像素、图7的下部的左部的像素和图7的下部的右部的像素。

在图7的中部的左部的像素中，光电二极管121e-11的检测信号电平(受光灵敏度)依照入射光的入射角θ而改变，如图7的上部中的实线波形所示。也就是说，作为由入射光相对于图中的点划线形成的角度的入射角θ越大(入射角θ在正方向上越大(入射角θ在图中沿右方向倾斜越多))，由于光被会聚在未设置遮光膜121b-11的范围中，因此光电二极管121e-11的检测信号电平越大。相反地，入射光的入射角θ越小(入射角θ在负方向上越大(入射角θ在图中沿左方向倾斜越多))，由于光被会聚在设置遮光膜121b-11的范围中，因此光电二极管121e-11的检测信号电平越小。

此外，在图7的中部的右部的像素中，光电二极管121e-12的检测信号电平(受光灵敏度)依照入射光的入射角θ而改变，如图7的上段的虚线波形所示。也就是说，入射光的入射角θ越大(入射角θ在正方向上越大)，由于光被会聚在设置遮光膜121b-12的范围中，因此光电二极管121e-12的检测信号电平越小。相反地，入射光的入射角θ越小(入射角θ在负方向上越大)，由于光入射在未设置遮光膜121b-12的范围上，因此光电二极管121e-12的检测信号电平越大。

可以依照遮光膜121b的范围改变在图7的上部示出的实线波形和虚线波形。因此，可以依赖于遮光膜121b的范围以像素为单位设置彼此不同的入射角指向性。

如上所述，入射角指向性是每个像素的依照入射角θ的受光灵敏度的特性，并且对于图7的中部的像素，这可以认为是依照入射角θ的遮光值的特性。也就是说，尽管遮光膜121b以高水平提供对特定方向上的入射光的遮蔽，但是它不能提供对来自特定方向以外的方向的入射光的充分遮蔽。可以设置遮光的水平的这种变化产生依照入射角θ而不同的检测信号电平，如图7的上部所示。因此，如果将每个像素中能够以最高水平提供遮光的方向定义为每个像素的遮光方向，则以像素为单位提供彼此不同的入射角指向性被用其他术语表示为以像素为单位提供彼此不同的遮光方向。

此外，在图7的下段的左部的像素中，与图6的下部的左部的像素类似，通过仅使用图中左部的光电二极管121f-11的信号，可以获得类似于图7的中部的左部的像素的入射角指向性。也就是说，当入射光的入射角θ增大时(当入射角θ在正方向上增大时)，检测信号电平由于光被会聚到光电二极管121f-11的从中读出信号的范围中而增大。相反地，入射光的入射角θ越小(入射角θ在负方向上越大)，由于光被会聚到光电二极管121f-12的不读出信号的范围中，因此检测信号电平越小。

此外，类似地，在图7的下部的右部分的像素中，与图6的下段的右部分的像素类似，通过仅使用图中右部分的光电二极管121f-14的信号，可以获得类似于图7的中部的右部分的像素的入射角指向性。也就是说，当入射光的入射角θ增大时(当入射角θ沿正方向增大时)，以像素为单位的检测信号的电平由于光被会聚到光电二极管121f-13的对输出(检测信号)没有贡献的范围中而减小。相对而言，入射光的入射角θ越小(入射角θ在负方向上越大)，由于光被会聚到光电二极管121f-14的对输出(检测信号)有贡献的范围中，因此以像素为单位的检测信号电平越大。

注意，如图7的下部的像素一样，在设置有多个光电二极管并且能够改变对输出有贡献的光电二极管的像素中，为了给每个光电二极管提供相对于入射光的入射角的指向性，并以像素为单位产生入射角指向性，片上透镜121c对于每个像素是必要组件。

注意，对于入射角指向性而言，期望随机性以像素为单位更高。例如，这是因为，如果相邻像素具有相同的入射角指向性，则上述表达式(1)至(3)或下文描述的表达式(4)至(6)可能是彼此相同的表达式；结果，表达式的数量相对于作为联立方程的解的未知数而言是不足的并且可能无法获得构成复原图像的像素值。

注意，在下面的描述中，将主要描述像图4的像素121a那样使用遮光膜121b实现入射角指向性的像素121a的情况的示例。但是，除了遮光膜121b必不可少的情况之外，还可以使用基本上使用通过对光电二极管进行划分以实现入射角指向性的像素121a。

<关于遮光膜的配置>

在以上描述中，如图3所示，作为成像元件121的每个像素121a的遮光膜121b的配置，示出了在垂直方向上遮蔽整个受光面并且改变水平方向上的遮光宽度和位置的示例；但是，自然地，每个像素121a可以使得相对于水平方向遮蔽整个受光面，并且改变垂直方向上的宽度(高度)和位置来设置有入射角指向性。

注意，在下面的描述中，如图3中的示例所示，相对于垂直方向遮蔽像素121a的整个受光面并相对于水平方向以预定宽度遮蔽受光面的遮光膜121b被称为横向带型的遮光膜121b。此外，相对于水平方向遮蔽像素121a的整个受光面并相对于垂直方向以预定高度遮蔽受光面的遮光膜121b被称为纵向带型的遮光膜121b。

此外，如图8的左部所示，例如，可以组合纵向带型和横向带型的遮光膜121b，以为Bayer(拜耳)阵列中的每个像素设置具有像字母“L”的形状的遮光膜121b。

注意，在图8中，黑色范围表示遮光膜121b，并且只要没有特别说明，则在随后的图中也类似地显示。此外，在图8的示例中，为构成Bayer阵列的作为绿色(G)像素的像素121a-21和121a-24、作为红色(R)像素的像素121a-22以及作为蓝色(B)像素的像素121a-23设置L型的遮光膜121B-21至121B-24。

在这种情况下，每个像素121a具有如图8的右部所示的入射角指向性。也就是说，图8的右部示出了各个像素121a的受光灵敏度的分布，其中横坐标轴表示入射光在水平方向(x方向)上的入射角θx，并且纵坐标轴表示入射光在垂直方向(y方向)上的入射角θy。然后，在范围C4内的受光灵敏度高于在范围C4外的受光灵敏度；范围C3内的受光灵敏度高于范围C3外的受光灵敏度；范围C2内的受光灵敏度高于范围C2外的受光灵敏度；并且范围C1内的受光灵敏度高于范围C1外的受光灵敏度。

因此，在每个像素121a中，相对于水平方向(x方向)上的入射角θx和垂直方向(y方向)上的入射角θy落在范围C1内的入射光的检测信号电平是最高的。然后，检测信号电平按照入射角θx和入射角θy落在范围C2内、范围C3内、范围C4内和除范围C4之外的范围内的入射光的顺序降低。注意，在图8的右部示出的受光灵敏度的强度分布根据由每个像素121a中的遮光膜121b遮蔽的范围确定，而与Bayer阵列无关。

注意，在下面的描述中，如图8的L型的遮光膜121b-21至121b-24那样，具有具有纵向带型的遮光膜和横向带型的遮光膜在其各个端部连接的形状的遮光膜121b被统称为L型类型的遮光膜121b。

<设置入射角指向性的方法>

接下来，参考图9描述设置入射角指向性的方法的示例。

例如，如图9的上部所示，将考虑其中遮光膜121b在水平方向上的遮光范围是从像素121a的左端位置到位置A的范围，而在垂直方向上的遮光范围是从像素121a的上端位置到位置B的范围的情况。

在这种情况下，设置0到1的权重Wx；权重Wx是依照从每个像素的水平方向上的中心位置的入射角θx(度)的权重，并且用作水平方向上的入射角指向性的指标。更具体地，在假设在对应于位置A的入射角θx＝θa处，权重Wx为0.5的情况下，设置权重Wx，使得在入射角θx<θa-α处权重Wx为1，在θa-α≤入射角θx≤θa+α处权重Wx为(-(θx-θa)/2α+0.5)，以及在入射角θx＞θa+α处权重Wx为0。

类似地，设置0到1的权重Wy，权重Wy是依照从每个像素的垂直方向上的中心位置的入射角θy(度)的权重，并且用作垂直方向上的入射角指向性的指标。更具体地，在假设在对应于位置B的入射角θy＝θb处，权重Wy为0.5的情况下，设置权重Wy，使得在入射角θy<θb-α处Wy为0，在θb-α≤入射角θy≤θb+α处，Wy为((θy-θb)/2α+0.5)，以及在入射角θy＞θb+α处Wy为1。

注意，在满足理想条件的情况下，权重Wx和Wy如图9的曲线图所示改变。

然后，通过使用由此获得的权重Wx和Wy，可以获得每个像素121a的入射角指向性(即与受光灵敏度特性对应的系数)。例如，通过将与来自被摄体面31上的特定点光源的入射光的入射角θx对应的权重Wx和与入射光的入射角θy对应的权重Wy相乘而获得的值被设置为该特定点光源的系数。

此外，此时，可以通过使用具有不同焦距的片上透镜121c来设置指示在水平方向上的权重Wx和垂直方向上的权重Wy为大约0.5的范围内的权重变化的倾斜度(1/2α)。

例如，如图9的下部的实线所示，在片上透镜121c的焦距匹配遮光膜121b的外表面的情况下，水平方向上的权重Wx和垂直方向上的权重Wy的倾斜度(1/2α)陡峭。也就是说，在值为0.5附近的水平方向上的入射角θx＝θa和垂直方向上的入射角θy＝θb的边界附近，权重Wx和权重Wy突然地变为0或1。

此外，例如，如图9的下部的虚线所示，在片上透镜121c的焦距匹配光电二极管121e的外表面的情况下，水平方向上的权重Wx和垂直方向上的权重Wy的倾斜度(1/2α)平缓。也就是说，在值为0.5附近的水平方向上的入射角θx＝θa和垂直方向上的入射角θy＝θb的边界附近，权重Wx和权重Wy逐步地变为0或1。

例如，片上透镜121c的焦距根据片上透镜121c的曲率而改变。因此，通过使用具有不同的曲率的片上透镜121c并改变片上透镜121c的焦距，可以获得不同的入射角指向性，即，不同的受光灵敏度特性。

因此，可以通过将光电二极管121e被遮光膜121b遮蔽的范围与片上透镜121c的曲率组合，来调整像素121a的入射角指向性。注意，片上透镜的曲率对于成像元件121的所有像素121a可以是相同的，或者对于一些像素121a可以是不同的。

例如，作为表示成像元件121的每个像素121a的入射角指向性的指标，基于每个像素121a的位置、每个像素121a的遮光膜121b的形状、位置和范围、片上透镜121c的曲率等，为每个像素121a设置如图9的曲线图中所示的权重Wx和权重Wy的特性。此外，基于在具有预定被摄体距离的被摄体面31上的特定点光源和成像元件121的特定像素121a之间的位置关系，获得从点光源到像素121a的光线的入射角。然后，基于所获得的入射角以及特定像素121a的权重Wx和权重Wy的特性，获得特定像素121a相对于特定点光源的系数。

类似地，通过针对被摄体面31上的各个点光源和成像元件121的各个像素121a的组合所述获得系数，可以获得成像元件121相对于被摄体面31的系数集组，诸如上文描述的表达式(1)至(3)中的包括系数集α1、β1和γ1、系数集α2、β2和γ2以及系数集α3、β3和γ3的系数集组。

注意，如下文参照图13所述，当从被摄体面31到成像元件121的受光面的被摄体距离不同时，由于从被摄体面31上的每个点光源到成像元件121上的光线的入射角不同，因此对于每个被摄体距离需要不同的系数集组。

此外，即使在具有相同被摄体距离的被摄体面31上，如果要设置的点光源的数量或布置不同，则从各个点光源到成像元件121的光线的入射角也不同。因此，对于具有相同被摄体距离的被摄体面31，有时需要多个系数集组。此外，需要设置每个像素121a的入射角指向性，以便确保上述联立方程的独立性。

<片上透镜和成像透镜之间的差异>

在本公开的成像装置101中，尽管成像元件121具有不需要包括成像透镜或针孔的光学块的配置，但是如上所述，设置片上透镜121c。这里，片上透镜121c和成像透镜具有不同的物理动作。

例如，如图10所示，从点光源P101发出的漫射光中入射在成像透镜152上的光被会聚在成像元件151上的像素位置P111处。也就是说，成像透镜152被设计为将从点光源P101以不同角度入射的漫射光会聚在像素位置P111处，并形成点光源P101的像作为图像。该像素位置P111由通过点光源P101和成像透镜152的中心的主光线L101指定。

此外，例如，如图11所示，从不同于点光源P101的点光源P102发出的漫射光中入射在成像透镜152上的光被会聚在成像元件151上不同于像素位置P111的像素位置P112处。也就是说，成像透镜152被设计为将从点光源P102以不同角度入射的漫射光会聚在像素位置P112处，并形成点光源P102的像作为图像。该像素位置P112由通过点光源P102和成像透镜152的中心的主光线L102指定。

以这种方式，成像透镜152分别在成像元件151上的不同的像素位置P111和P112处形成具有不同的主光线的点光源P101和P102的像的图像。

此外，如图12所示，在点光源P101存在于无限远的情况下，从点光源P101发出的漫射光的一部分作为平行于主光线L101的平行光入射在成像透镜152上。例如，包括平行于主光线L101的光线L121和L122之间的光线的平行光入射在成像透镜152上。然后，入射在成像透镜152上的平行光被会聚在成像元件151上的像素位置P111处。也就是说，成像透镜152被设计为将来自存在于无限远处的点光源P101的平行光会聚在像素位置P111处，并形成点光源P101的像作为图像。

因此，成像透镜152具有聚光功能以使例如来自具有主光线入射角θ1的点光源的漫射光被入射在像素(像素输出单位)P1上，并使来自具有不同于主光线入射角θ1的主光线入射角θ2的点光源的漫射光入射在不同于像素P1的像素(像素输出单位)P2上。也就是说，成像透镜152具有聚光功能，以用于使来自具有不同的主光线入射角的光源的漫射光入射在彼此相邻的多个像素(像素输出单位)上。但是，例如，来自彼此接近的点光源或者存在于无限远处并且基本上接近的点光源的光有时入射在相同的像素(像素输出单位)上。

相对而言，例如，如上文参照图4和图5所述，通过片上透镜121c的光仅入射在构成相应像素(像素输出单位)的光电二极管121e或光电二极管121f的受光面上。换句话说，为每个像素(像素输出单位)设置片上透镜121c，并且片上透镜121c将入射在该特定片上透镜121c上的入射光仅会聚在相应像素(像素输出单位)上。也就是说，片上透镜121c不具有用于使来自不同点光源的光入射在不同像素(像素输出单位)上的聚光功能。

注意，在使用针孔的情况下，唯一地确定每个像素(像素输出单位)的位置与光的入射角之间的关系。因此，在使用针孔和传统成像元件的配置的情况下，不能针对每个像素独立且自由地设置入射角指向性。

<被摄体面和成像元件之间的关系>

现在，将参考图13描述被摄体面和成像元件121之间的距离的关系。

注意，如图13的左上部所示，假设在成像元件121(类似于图1的成像元件51)和被摄体面31之间的被摄体距离是距离d1的情况下，成像元件121上的像素Pc、Pb和Pa处的检测信号电平DA、DB和DC由与上述表达式(1)到(3)相同的表达式表示。

DA＝α1×a+β1×b+γ1×c......(1)

DB＝α2×a+β2×b+γ2×c......(2)

DC＝α3×a+β3×b+γ3×c......(3)

此外，如图13的左下部所示，还在考虑距离成像元件121的被摄体距离是比距离d1大d的距离d2的被摄体面31'，即，从成像元件121观察时被摄体面31'比被摄体面31位于更远位置的情况下，成像元件121上的像素Pc、Pb和Pa处的检测信号电平类似于如图13的下部的中部所示的检测信号电平DA、DB和DC。

但是，在这种情况下，来自被摄体面31'上的点光源PA'、PB'和PC'的光强度为a'、b'和c'的光线被成像元件121的各个像素接收。此外，由于光强度为a'、b'和c'的光线到成像元件121的入射角不同(变化)，因此需要彼此不同的系数集组。因此，例如，通过下面的表达式(4)至(6)来分别表示像素Pa、Pb和Pc中的检测信号电平DA、DB和DC。

DA＝α11×a'+β11×b'+γ11×c'......(4)

DB＝α12×a'+β12×b'+γ12×c'......(5)

DC＝α13×a'+β13×b'+γ13×c'......(6)

这里，包括系数集α11、β11和γ11、系数集α12、β12和γ12以及系数集α13、β13和γ13的系数集组是与用于被摄体面31的系数集α1、β1和γ1、系数集α2、β2和γ2以及系数集α3、β3和γ3相对应的用于被摄体面31'的系数集组。

因此，通过使用预先设置的系数集组α11、β11、γ11、α12、β12、γ12、α13、β13和γ13求解包括表达式(4)至(6)的联立方程，可以使用与获得来自被摄体面31上的点光源PA、PB和PC的光线的光强度a、b和c的情况下类似的方式，如图13的右下部所示获得来自被摄体面31'上的点光源PA'、PB'和PC'的光线的光强度a'、b'和c'。结果，可以复原被摄体面31'的复原图像。

因此，在图2的成像装置101中，通过预先为从成像元件121到被摄体面的每个距离(被摄体距离)准备系数集组，通过针对每个被摄体距离切换系数集组来创建联立方程，并求解所创建的联立方程，可以基于一个检测图像获得在各个被摄体距离处的被摄体面的复原图像。例如，在对检测图像进行一次捕获和记录之后，依照到被摄体面的距离切换系数集组，并且使用所记录的检测图像来对复原图像进行复原，从而可以生成任意被摄体距离处的被摄体面的复原图像。

此外，在例如可以指定被摄体距离和视角的情况下，可以不是使用所有像素而是可以使用具有适合于对与所指定的被摄体距离和视角相对应的被摄体面进行成像的入射角指向性的像素的检测信号来生成复原图像。因此，可以使用适合于对与所指定的被摄体距离和视角对应的被摄体面进行成像的像素的检测信号来生成复原图像。

例如，考虑如图14的上部所示被遮光膜121b遮蔽达距离四边的各端部宽度d1的像素121a以及如图14的下部所示被遮光膜121b遮蔽达距离四边的各端部宽度d2(＞d1)的像素121a'。

图15示出了从被摄体面31到成像元件121的中心位置C1的入射光的入射角的示例。注意，在图15中，尽管示出了入射光在水平方向上的入射角的示例，但是这近似类似地应用于垂直方向。此外，在图15的右部，示出了图14中的像素121a和121a'。

例如，在图14的像素121a被布置在成像元件121的中心位置C1处的情况下，从被摄体面31到像素121a上的入射光的入射角的范围具有如图15的左部所示的角度A1。因此，像素121a可以接收被摄体面31的水平方向上的宽度W1的入射光。

相对而言，在图14的像素121a'被布置在成像元件121的中心位置C1处的情况下，由于像素121a'具有比像素121a更宽的遮光范围，因此从被摄体面31到像素121a'的入射光的入射角的范围具有如图15的左部所示的角度A2(＜A1)。因此，像素121a'可以接收被摄体面31的水平方向上的宽度W2(＜W1)的入射光。

换句话说，尽管具有窄遮光范围的像素121a是适于对被摄体面31上的宽范围进行成像的广视角像素，但具有宽遮光范围的像素121a'是适于对被摄体面31上的窄范围进行成像的窄视角像素。注意，这里提到的广视角像素和窄视角像素是用于比较图14的像素121a和121a'的表达式，并且当比较具有其他视角的像素时不受限制。

因此，例如，像素121a用于复原图14中的图像I1。图像I1是具有与完全包括图16的上部中作为被摄体的人物H101的被摄体宽度W1对应的视角SQ1的图像。相对而言，例如，像素121a'用于复原图14中的图像I2。图像I2是具有与图16的上部中的人物H101的面部周边被放大的被摄体宽度W2对应的视角SQ2的图像。

此外，例如，如图16的下部所示，可以想到收集图14中的预定数量的像素121a和像素121a'，以分别布置在成像元件121的由虚线封闭的范围ZA和成像元件121的由点划线封闭的范围ZB中。然后，例如，当复原具有与被摄体宽度W1对应的视角SQ1的图像时，可以通过使用范围ZA中的每个像素121a的检测信号来适当地复原具有视角SQ1的图像。同时，当复原具有与被摄体宽度W2对应的视角SQ2的图像时，可以通过使用范围ZB中的每个像素121a'的检测信号来适当地复原具有视角SQ2的图像。

注意，由于视角SQ2比视角SQ1窄，因此在用相同像素数复原具有视角SQ2和视角SQ1的图像的情况下，与当复原具有视角SQ1的图像时相比，当复原具有视角SQ2的图像时，可以获得具有更高画质的复原图像。

换句话说，在考虑使用相同像素数获得复原图像的情况下，当复原具有较窄视角的图像时，可以获得具有较高画质的复原图像。

例如，图17的右部示出了图16的成像元件121的范围ZA中的配置示例。图17的左部示出了范围ZA中的像素121a的配置示例。

在图17中，以黑色示出的范围表示遮光膜121b，并且例如依照图17的左部示出的规则来确定每个像素121a的遮光范围。

图17的左部的主遮光部分Z101(图17的左部的黑色部分)是每个像素121a中被共同遮蔽的范围。具体地，主遮光部分Z101具有从像素121a的左侧和右侧朝向像素121a的内侧的宽度dx1的各个范围，以及从像素121a的上侧和下侧朝向像素121a的内侧的高度dy1的各个范围。然后，在每个像素121a中，在主遮光部分Z101内侧的范围Z102中设置未被遮光膜121b遮蔽的矩形开口部分Z111。因此，在每个像素121a中，除了开口部分Z111之外的范围被遮光膜121b遮蔽。

这里，各个像素121a的开口部分Z111被规则地布置。具体地，每个像素121a中的开口部分Z111的水平方向上的位置在同一垂直方向上的列中的像素121a中是相同的。此外，每个像素121a中的开口部分Z111的垂直方向上的位置在同一水平方向的行中的像素121a中是相同的。

同时，每个像素121a中的开口部分Z111的水平方向上的位置依照像素121a的水平方向上的位置而以预定间隔移位。也就是说，随着像素121a的位置沿向右方向前进，开口部分Z111的左侧移动到从像素121a的左侧沿向右方向依次移位宽度dx1、dx2、......、dxn的位置。宽度dx1和宽度dx2之间的间隔、宽度dx2和宽度dx3之间的间隔、......、以及dxn-1和宽度dxn之间的间隔分别是通过将从范围Z102的水平方向上的宽度减去开口部分Z111的宽度得到的长度除以水平方向上的像素数n-1得到的值。

此外，每个像素121a中的开口部分Z111的垂直方向上的位置依照像素121a的垂直方向上的位置而以预定间隔移位。也就是说，随着像素121a的位置沿向下方向前进，开口部分Z111的上侧移动到从像素121a的上侧沿向下方向依次移位高度dy1、dy2、......、dyn的位置。高度dy1与高度dy2之间的间隔、高度dy2与高度dy3之间的间隔、......、以及高度dyn-1与高度dyn之间的间隔分别是通过将从范围Z102的垂直方向的高度减去开口部分Z111的高度获得的长度除以垂直方向上的像素数m-1而得到的值。

图18的右部示出了图16的成像元件121的范围ZB内的配置示例。图18的左部示出了范围ZB中的像素121a'的配置示例。

在图18中，以黑色示出的范围表示遮光膜121b'，并且例如根据在图18的左部示出的规则来确定每个像素121a'的遮光范围。

图18的左部的主遮光部分Z151(图18的左部的黑色部分)是每个像素121a'中被共同遮蔽的范围。具体地，主遮光部分Z151具有从像素121a'的左侧和右侧朝向像素121a'的内侧的宽度dx1'的各个范围，以及从像素121a'的上侧和下侧朝向像素121a'的内侧的高度dy1'的各个范围。然后，在每个像素121a'中，在主遮光部分Z151的内部的范围Z152中设置未被遮光膜121b'遮蔽的矩形开口部分Z161。因此，在每个像素121a'中，除了开口部分Z161之外的范围被遮光膜121b'遮蔽。

这里，各个像素121a'的开口部分Z161以与图17的各个像素121a的开口部分Z111类似地方式规则布置。具体地，每个像素121a'中的开口部分Z161的水平方向上的位置在同一垂直方向上的列中的像素121a'中是相同的。此外，每个像素121a'中的开口部分Z161的垂直方向上的位置在同一水平方向上的行中的像素121a'中是相同的。

同时，每个像素121a'中的开口部分Z161的水平方向上的位置依照像素121a'的水平方向上的位置而以预定间隔移位。也就是说，随着像素121a'的位置沿向右方向前进，开口部分Z161的左侧移动到从像素121a'的左侧沿向右方向依次移位宽度dx1'、dx2'、......、dzn'的位置。宽度dx1'与宽度dx2'之间的间隔、宽度dx2'与宽度dx3'之间的间隔、......、以及宽度dxn-1'与宽度dxn'之间的间隔分别是通过将从范围Z152的水平方向上的宽度减去开口部分Z161的宽度得到的长度除以水平方向上的像素数n-1而得到的值。

此外，每个像素121a'中的开口部分Z161的垂直方向上的位置根据像素121a'的垂直方向上的位置而以预定间隔移位。也就是说，随着像素121a'的位置沿向下方向前进，开口部分Z161的上侧移动到从像素121a'的上侧沿向下方向依次移位高度dy1'、dy2'、......、dyn'的位置。高度dy1'与高度dy2'之间的间隔、高度dy2'与高度dy3'之间的间隔、......、以及高度dyn-1'与高度dyn'之间的间隔分别是将从范围Z152的垂直方向上的高度减去开口部分Z161的高度得到的长度除以垂直方向上的像素数m-1而得到的值。

这里，通过从图17的像素121a的范围Z102的水平方向上的宽度减去开口部分Z111的宽度得到的长度大于通过从图18的像素121a'的范围Z152的水平方向上的宽度减去开口部分Z161的宽度得到的宽度。因此，图17中的宽度dx1、dx2、......、dxn之间的改变间隔大于图18中的宽度dx1'、dx2'、......、dxn'之间的改变间隔。

此外，通过从图17的像素121a的范围Z102的垂直方向上的高度减去开口部分Z111的高度得到的长度大于通过从图18的像素121a'的范围Z152的垂直方向上的高度减去开口部分Z161的高度得到的长度。因此，图17中的高度dy1、dy2、......、dyn之间的改变间隔大于图18中的高度dy1'、dy2'、......、dyn'之间的改变间隔。

如上所述，图17中的各个像素121a的遮光膜121b的开口部分Z111的水平方向和垂直方向上的位置改变间隔与图18中的各个像素121a'的遮光膜121b'的开口部分Z161的水平方向和垂直方向上的位置改变间隔不同。然后，该间隔的差异导致复原图像中的被摄体分辨率(角度分辨率)的差异。也就是说，图18中的各个像素121a'的遮光膜121b'的开口部分Z161之间的水平方向和垂直方向上的位置改变间隔比图17中的各个像素121a的遮光膜121b的开口部分Z111之间的水平方向和垂直方向上的位置改变间隔窄。因此，使用图18中的每个像素121a'的检测信号复原的复原图像比使用图17中的每个像素121a的检测信号复原的复原图像具有更高的被摄体分辨率和更高的画质。

以这种方式，通过改变主遮光部分的遮光范围和开口部分的开口范围的组合，可以实现包括具有各种视角(具有各种入射角指向性)的像素的成像元件121。

注意，在上文中，虽然描述了像素121a和像素121a'分离且布置于范围ZA和范围ZB中的示例；但此描述仅是为了简化说明，并且期望将对应于不同视角的像素121a混合地布置于相同的区域中。

例如，如图19所示，包括由虚线指示的两个像素×两个像素的四个像素被视为一个单位U，并且每个单位U由四个像素(即，具有广视角的像素121a-W、具有中视角的像素121a-M、具有窄视角的像素121a-N和具有极窄视角的像素121a-AN)构成。

在这种情况下，例如，在所有像素121a的像素数被假设为X的情况下，可以使用分别具有四种类型的视角的每X/4个像素的检测图像来对复原图像进行复原。此时，四种不同类型的系数集组用于每个视角，并且通过四种不同的联立方程来复原彼此具有不同的视角的复原图像。

因此，通过使用从适合于利用要复原的复原图像的视角进行成像的像素获得的检测图像来对复原图像进行复原，可以获得依照四种类型的视角的适当的复原图像。

此外，还可以从具有四种类型的视角的图像进行插值并生成具有该四种类型的视角中间的视角的图像或者具有该四种类型的视角前后的视角的图像，并且可以通过无缝地生成具有各种视角的图像来实现伪光学变焦。

注意，例如，在获得具有广视角的图像作为复原图像的情况下，可以使用所有广视角像素，或者可以使用广视角像素的一部分。此外，例如，在获得具有窄视角的图像作为复原图像的情况下，可以使用所有窄视角像素，或者可以使用窄视角像素的一部分。

<成像装置101的成像处理>

接下来，将参照图20的流程图描述图2的成像装置101的成像处理。

在步骤S1，成像元件121对被摄体进行成像。因此，从具有不同入射角指向性的成像元件121的每个像素121a输出指示依照来自被摄体的入射光的光量的检测信号电平的检测信号，并且成像元件121将包括每个像素121a的检测信号的检测图像提供给复原单元122。

在步骤S2，复原单元122获得用于图像复原的系数。具体地，复原单元122设置到要复原的被摄体面31的距离，即，被摄体距离。注意，可以采用任意方法作为设置被摄体距离的方法。例如，复原单元122将用户通过输入单元124输入的被摄体距离或检测单元125检测出的被摄体距离设置为到要复原的被摄体面31的距离。

接下来，复原单元122从存储单元128读出与所设置的被摄体距离相关联的系数集组。

在步骤S3，复原单元122使用检测图像和系数对图像进行复原。具体地，复原单元122使用检测图像的每个像素的检测信号电平和在步骤S2的处理中获得的系数集组来创建参考上述表达式(1)至(3)或表达式(4)至(6)描述的联立方程。接下来，复原单元122通过求解所创建的联立方程来计算与所设置的被摄体距离相对应的被摄体面31上的每个点光源的光强度。然后，通过依照被摄体面31上的各个点光源的布置来布置具有依照所计算的光强度的像素值的像素，复原单元122生成形成被摄体的像作为图像的复原图像。

在步骤S4，成像装置101对复原图像执行各种类型的处理。例如，复原单元122根据需要对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。此外，例如，复原单元122根据需要将复原图像提供给显示单元127以显示该复原图像或将该复原图像提供给记录和回放单元129以记录在记录介质130上，或者通过通信单元131将该复原图像输出给其他仪器。

此后，成像处理结束。

注意，在以上描述中，尽管描述了使用与成像元件121和被摄体距离相关联的系数集组根据检测图像对复原图像进行复原的示例，但是，如前所述，例如，除了被摄体距离以外还可以准备与复原图像的视角对应的系数集组，从而使得使用与被摄体距离和视角对应的系数集组来对复原图像进行复原。此外，相对于被摄体距离和视角的分辨率取决于准备的系数集组的数量。

此外，在使用图20的流程图的处理中，虽然描述了使用包括在检测图像中的所有像素的检测信号的示例；但是可以生成构成成像元件121的像素之中的包括具有与指定的被摄体距离和视角相对应的入射角指向性的像素的检测信号的检测图像，从而使得使用所生成的检测图像来对复原图像进行复原。通过这种处理，可以利用适合于要得到的复原图像的被摄体距离和视角的检测图像对复原图像进行复原，并且提高复原图像的复原精度和画质。也就是说，在与指定的被摄体距离和视角相对应的图像例如是与图16中的视角SQ1相对应的图像的情况下，可以通过选择具有与视角SQ1相对应的入射角指向性的像素121a，并利用从所选像素121a获得的检测图像对复原图像进行复原，以更高的精度复原具有视角SQ1的图像。

通过上述处理，可以实现将每个像素设置有入射角指向性的成像元件121作为必要组件的成像装置101。

结果，由于在上述专利文献等中描述的成像透镜、针孔和光学滤光器不再是必须的，因此可以增强装置设计的自由度；此外，由于与成像元件121分离地配置并且假定为在配置阶段与成像元件121安装在一起作为成像装置的光学元件不再是必须的，因此可以实现装置相对于入射光的入射方向小型化并且可以降低制造成本。此外，与诸如聚焦透镜的用于形成光学图像的成像透镜对应的透镜变得不必要。但是，可以设置改变放大率的变焦透镜。

注意，在以上描述中，尽管已经描述了在捕获检测图像之后立即复原与预定的被摄体距离对应的复原图像的处理；但是例如，也可以在不立即执行复原处理的情况下将检测图像记录在记录介质130上或者通过通信单元131将检测图像输出到其他仪器，从而使得在所期望的定时使用检测图像来对复原图像进行复原。在这种情况下，可以通过成像装置101或其他装置对复原图像进行复原。在这种情况下，例如，可以通过求解使用与任意被摄体距离或视角对应的系数集组创建的联立方程并得到复原图像来得到具有任意被摄体距离或视角的被摄体面的复原图像，并且可以实现再聚焦等。

例如，在使用包括成像透镜和传统成像元件的成像装置的情况下，为了获得具有各种焦距和视角的图像，需要在对焦距和视角进行各种改变的同时执行成像。另一方面，在成像装置101中，由于可以通过如上所述切换系数集组来复原具有任意被摄体距离和视角的复原图像，因此诸如在对焦距(即，被摄体距离)和视角进行各种改变的同时重复执行成像的处理变得不必要。

在这种情况下，例如，用户也可以在显示单元127显示在切换与不同的被摄体距离或视角相对应的系数集组的同时复原的各个复原图像的同时，获得具有期望的被摄体距离或视角的复原图像。

注意，在记录检测图像的情况下，当已知复原时的被摄体距离和视角时，复原用的元数据可以与检测图像相关联。例如，通过将元数据添加到包括检测图像的图像数据，将相同的ID分配给检测图像和元数据，或者将检测图像和元数据记录在相同的记录介质130上，将检测图像和元数据彼此相关联。

注意，在将相同的ID分配给检测图像和元数据的情况下，检测图像和元数据可以记录在不同的记录介质上，或者可以从成像装置101单独输出。

此外，元数据可以包括或者可以不包括复原用的系数集组。在后一种情况下，例如，在元数据中包括复原时的被摄体距离和视角，并且在复原时，从存储单元128等获取与被摄体距离和视角相对应的系数集组。

此外，在成像时立即对复原图像进行复原的情况下，例如，可以从检测图像和复原图像选择要记录或要输出到外部的图像。例如，可以将两个图像记录或输出到外部，或者可以仅将图像中的一个记录或输出到外部。

此外，类似的，在捕获视频的情况下，也可以选择是否在成像时对复原图像进行复原，或者选择要记录或输出到外部的图像。例如，可以在捕获视频的同时立即复原每个帧的复原图像，并且复原图像和复原前的检测图像两者或其中之一也可以被记录或输出到外部。在这种情况下，可以在成像时将每个帧的复原图像显示为实时取景图像(live viewimage)。或者，例如，可以在成像时，在不执行复原处理的情况下将每个帧的检测图像记录或输出到外部。

此外，在捕获视频时，例如，可以针对每个帧选择是否要对复原图像进行复原或者选择要记录或要输出到外部的图像。例如，可以针对每个帧切换是否要对复原图像进行复原。此外，例如，可以针对每个帧单独地切换是否要记录检测图像以及是否要记录复原图像。此外，例如，可以在将元数据分配给可能在以后使用的有用帧的检测图像的同时，记录所有帧的检测图像。

此外，还可以如使用成像透镜的成像装置中一样实现自动聚焦功能。例如，可以通过基于复原图像利用类似于对比度自动聚焦(AF)方案的登山(hill climbing)方案确定最佳被摄体距离来实现自动聚焦功能。

此外，与包括上述专利文献等中描述的光学滤光器和传统成像元件的成像装置等相比，由于可以使用由具有以像素为单位的入射角指向性的成像元件121捕获的检测图像来生成复原图像，因此可以实现像素数的扩展或者可以获得具有更高分辨率和更高角分辨率的复原图像。另一方面，在包括光学滤光器和传统成像元件的成像装置中，即使细化像素，由于细化光学滤光器是困难的，因此难以给复原图像提供更高的分辨率等。

此外，由于本公开的成像装置101将成像元件121作为必要组件并且不需要例如上述专利文献等中描述的光学滤光器等；因此诸如使用环境温度升高和光学滤光器由于热量而退化的现象不太可能发生，并且可以实现高耐环境性的成像装置。

此外，由于本公开的成像装置101不需要上述专利文献等中公开的成像透镜、针孔和光学滤光器，因此可以提高具有成像功能的配置的设计自由度。

<减少处理负荷的方法>

顺便提及，在成像元件121的每个像素121a的遮光膜121b的遮光范围(即，入射角指向性)设置有随机性的情况下，遮光范围的差异的无序越大，复原单元122的处理的负荷就越大。因此，可以通过使各个像素121a之间的遮光膜121b的遮光范围的改变的一部分有规则来减少无序，从而减少处理负荷。

例如，组合纵向带型和横向带型的L型类型的遮光膜121b被配置为使得对于预定列方向，组合具有相等宽度的横向带型的遮光膜121b，而对于预定行方向，组合具有相等高度的纵向带型的遮光膜121b。利用该配置，每个像素121a的遮光膜121b的遮光范围在列方向和行方向上具有规则性的同时以像素为单位随机变化。结果，可以减小各个像素121a之间的遮光膜121b的遮光范围的差异，即入射角指向性的差异的无序，并且可以减小复原单元122上的处理负荷。

具体地，例如，如图21的成像元件121"所示，对于由范围Z130指示的相同列中的像素，使用分别具有相等宽度X0的横向带型的遮光膜121b，而对于由范围Z150指示的相同行中的像素，使用具有相等高度Y0的纵向带型的遮光膜121b。结果，对于由行和列指定的每个像素121a，使用其中组合这些类型的遮光膜的L型类型的遮光膜121b。

类似地，对于由与范围Z130相邻的范围Z131指示的相同列中的像素，使用具有相等宽度X1的横向带型的遮光膜121b，并且对于与范围Z150相邻的范围Z151指示的相同行中的像素，使用具有相等高度Y1的纵向带型的遮光膜121b。结果，对于由行和列指定的每个像素121a，使用其中组合这些类型的遮光膜的L型类型的遮光膜121b。

此外，对于由与范围Z131相邻的范围Z132指示的相同列中的像素，使用具有相等宽度X2的横向带型的遮光膜121b，并且对于与范围Z151相邻的范围Z152指示的相同行中的像素，使用具有相等高度Y2的纵向带型的遮光膜121b。结果，对于由行和列指定的每个像素121a，使用其中组合这些类型的遮光膜的L型类型的遮光膜121b。

通过以这种方式配置，可以在给遮光膜121B的水平方向上的宽度和位置以及垂直方向上的高度和位置提供规则性的同时，以像素为单位将遮光膜的范围设置为不同的值；因此，可以抑制入射角指向性的改变的无序。结果，可以减少系数集模式，并且减少复原单元122中的运算处理的处理负荷。

更具体地，如图22的右上部所示，在从N像素×N像素的检测图像Pic得到N×N像素的复原图像的情况下，通过包含(N×N)行×1列的复原图像的各像素的像素值作为元素的向量X、包含(N×N)行×1列的检测图像的各像素的像素值作为元素的向量Y、以及包括系数集组的(N×N)行×(N×N)列的矩阵A，建立如图22的左部所示的关系。

也就是说，图22示出了将包括系数集组的(N×N)行×(N×N)列的矩阵A的各个元素乘以表示复原图像的(N×N)行×1列的向量X的结果是表示检测图像的(N×N)行×1列的向量Y。然后，例如，根据该关系，构造与上述表达式(1)至(3)或表达式(4)至(6)相对应的联立方程。

注意，图22示出了矩阵A的由范围Z201所指示的第一列的元素对应于向量X的第一行的元素，并且矩阵A的由范围Z202所指示的第(N×N)列的每个元素对应于向量X的第(N×N)行的元素。

此外，在使用针孔的情况下并且在使用成像透镜等的用于使从相同方向入射的入射光入射到两个相邻的像素输出单位的聚光功能的情况下，由于唯一地确定了每个像素的位置与光的入射角之间的关系，因此矩阵A是其中所有的向右下的对角分量都是1的对角矩阵。相反地，在如图2的成像装置101中那样不使用针孔和成像透镜的情况下，由于不唯一地确定每个像素的位置与光的入射角之间的关系，因此矩阵A不是对角矩阵。

换句话说，通过基于图22中所示的行列式求解联立方程并得到矢量X的元素来得到复原图像。

顺便提及，通常，图22中的行列式通过从左开始将两侧乘以矩阵A的逆矩阵A^-1来如图23所示进行变换，并且通过从左开始将作为检测图像的向量Y乘以逆矩阵A^-1，得到作为检测图像的向量X的每个元素。

但是，实际上，例如，不能准确地得到矩阵A，不能准确地测量矩阵A，在接近线性相关性的情况下不能求解矩阵A的基向量，以及检测图像的每个元素中包括噪声。然后，对于这些原因中的任何一个或者它们的组合，在一些情况下，可能无法求解联立方程。

因此，例如，考虑到相对于各种误差的鲁棒性配置，使用以下使用正则化最小二乘法的概念的表达式(7)。

[数学表达式1]

这里，表达式(7)中顶部有"^"的成员表示向量X，A表示矩阵A，y表示向量Y，γ表示参数，并且||A||表示L2范数(平方和的平方根)。这里，当将图22的两侧最小化时，右侧的第一项是范数，而右侧的第二项是正则化项。

当针对x求解表达式(7)时，得到以下表达式(8)。

[数学表达式2]

这里，A^t表示矩阵A的转置矩阵，并且I表示单位矩阵。

但是，由于矩阵A具有巨大的尺寸，因此计算量和所需的存储量很大。

因此，例如，如图24所示，矩阵A被分解成N行×N列的矩阵AL和N行×N列的矩阵AR^T，使得将它们与表示复原图像的N行×N列的矩阵X的前段和后段相乘得到的结果为表示检测图像的N行×N列的矩阵Y。因此，对于具有元素数(N×N)×(N×N)的矩阵A，得到具有元素数为(N×N)的矩阵AL和AR^T，并且每个矩阵中的元素数为1/(N×N)。结果，可以减少计算量和所需的存储量。

例如，通过将表达式(8)的括号中的矩阵设置为矩阵AL，并将矩阵A的转置矩阵的逆矩阵设置为矩阵AR^T，来实现图24中所示的行列式。

在图24中所示的计算中，如图25中所示，通过将矩阵X中的关注元素Xp乘以矩阵AL的对应列的元素组Z221的每个元素得到元素组Z222。另外，通过将元素组Z222乘以矩阵AR^T中的与关注元素Xp相对应的行中的元素，得到与关注元素Xp相对应的二维响应Z224。然后，通过对应于矩阵X的所有元素，对二维响应Z224进行积分得到矩阵Y。

因此，例如，对于矩阵AL的每列的元素组Z221，使用与对于图21所示的成像元件121的每列设置为相等宽度的横向带型的像素121a的入射角指向性相对应的系数。

类似地，例如，对于矩阵AR^T的每行的元素组Z223，使用与对于图21中所示的成像元件121的每行设置为具有相等高度的纵向带型的像素121a的入射角指向性相对应的系数。

结果，由于可以基于检测图像减少在对复原图像进行复原时要使用的矩阵，因此，可以减少计算量，可以提高处理速度，并且可以降低与计算相关的功耗。此外，由于可以减小矩阵，因此可以减小用于计算的存储器的容量，并且可以降低装置成本。

注意，尽管图21示出了在水平方向和垂直方向上设置预定的规则性的同时以像素为单位改变遮光范围(受光范围)的示例；但是以这种方式，在本公开中，即使不完全随机而是在某种程度上以像素为单位随机地设置遮光范围(受光范围)也被认为是随机设置的。换句话说，在本公开中，不仅以像素为单位完全随机地设置遮光范围(受光范围)的情况，而且在一定程度上随机地设置遮光范围(受光范围)的情况(例如，所有像素中的一部分像素包括设置有规则性的范围，但其他范围是随机的情况)，或者在一定程度上看起来不具有规则性的布置的情况(不是所有像素都能确认依照如上参考图21所述的规则性进行布置的布置的情况)也被认为是随机的。

<<3.第一实施例>>

接下来，将参考图26至32描述本公开的第一实施例。

如上所述，使用具有入射角指向性的像素的成像元件121不需要成像透镜、光学滤光器等，因此在布置每个像素121a方面具有更高的自由度。在本公开的第一实施例中，通过利用布置成像元件121的每个像素121a的这种自由度，成像元件121被设置在各种电子仪器中能够捕获穿戴或使用电子仪器的用户的至少一部分的位置处，并且对用户的至少一部分被成像，使得使用通过复原处理获得的复原图像来执行各种应用处理。

这里，用户的至少一部分是例如用户身体的任意部分，诸如用户的整个身体、面部、眼睛、头、躯干、手或脚。此外，例如，在医疗器械等的情况下，用户的至少一部分有时不仅包括用户外部，而且还包括用户内部(例如，在口腔、内部器官等中)。

<电子仪器301的结构例>

图26是示出根据本公开的第一实施例的电子仪器301的配置示例的框图。注意，在图26中，与图2中的成像装置101对应的部分由相同的附图标记表示，并且将适当地省略其描述。

电子仪器301例如由诸如可穿戴设备、智能手机、平板电脑、移动电话、个人计算机、可穿戴装置、游戏机、视频回放装置、音乐回放装置等用户所穿戴或携带的便携式信息终端构成。此外，例如，作为可穿戴设备，例如可以采用诸如穿戴在用户头部上的头戴式、手表式、手镯式、项链式、颈带式的各种方案。另外，头戴式的可穿戴设备例如包括眼镜式、护目镜式、头戴式、耳机式、头带(headset)式、面罩式、帽式等。注意，例如，根据可穿戴设备的形状等，存在一个可穿戴设备对应于多个方式(例如，护目镜式和头戴式)的情况。

电子仪器301包括成像单元311和信号处理控制单元312。

成像单元311包括等于或大于一的n个成像元件121-1至121-n。

各成像元件121将包括从各像素121a输出的检测信号的检测信号集提供给复原单元321，或者将检测信号集输出至总线B2。

注意，根据来各成像元件121的检测信号集生成检测图像。因此，在成像单元311仅包括一个成像元件121的情况下，根据来自一个成像元件121的一个检测信号集来生成检测图像。

此外，各成像元件121可以安装在同一壳体中，或者可以安装在不同的壳体中。

信号处理控制单元312包括复原单元321、控制单元322、输入单元323、检测单元324、关联单元325、输出单元326、存储单元327、记录和回放单元328、记录介质329和通信单元330。

复原单元321、控制单元322、输入单元323、检测单元324、关联单元325、输出单元326、存储单元327、记录和回放单元328和通信单元330经由总线B2彼此连接，并且例如经由总线B2发送和接收数据。注意，在下文中，为了简化说明，将省略对电子仪器301的各单元例如经由总线B2发送和接收数据的情况下的总线B2的描述。

复原单元321使用从每个成像元件121获取的检测信号集，通过与图2中的成像装置101的复原单元122的处理类似的处理，执行复原图像的复原处理等。复原单元321将复原图像输出到总线B2。

控制单元322包括例如用于控制电子仪器301的各单元、执行各种应用处理等的各种处理器。

输入单元323包括用于操作电子仪器301、输入用于处理的数据等的输入装置(例如，键、开关、按钮、拨盘、触摸面板、遥控器等)。输入单元323将操作信号、输入数据等输出到总线B2。

关联部325将各成像元件121的检测信号集和与各检测信号集对应的元数据相关联。

输出单元326包括例如输出图像、声音、光、振动等的输出装置(诸如显示器、扬声器、灯、蜂鸣器和振动元件)，并且输出各种类型的信息和数据。

存储单元327包括诸如ROM、RAM和闪存的一个或更多个存储装置，并且存储例如用于电子仪器301的处理的程序和数据。例如，存储单元327存储与每个成像元件121对应的系数集组。例如，为每个假定的被摄体距离和视角准备该系数集组。

记录和回放单元328将数据记录在记录介质329上，并且回放(读取)记录在记录介质329上的数据。例如，记录和回放单元328将复原图像记录在记录介质329上，或者从记录介质329读取复原图像。此外，例如，记录和回放单元328将检测信号集和对应的元数据记录在记录介质329上，或者从记录介质329读取检测信号集和对应的元数据。

记录介质329包括例如HDD、SSD、磁盘、光盘、磁光盘、半导体存储器等中的任何一个或其组合等。

通信单元330使用预定通信方案与其他仪器进行通信。注意，通信单元330的通信方案可以是有线的或无线的。此外，通信单元330还可以支持多种通信方案。

<成像元件121的配置示例>

接下来，将参考图27至31描述成像元件121的配置示例，给出电子仪器301的具体示例。

图27的A至C示意性地示出了被穿戴以覆盖用户的眼睛的眼镜型可穿戴设备401的一部分，作为电子仪器301的示例。此外，图27的A至C示出了成像元件121(成像元件121的各个像素121a)被布置在形成可穿戴设备401的目镜单元的左透镜411L和右透镜411R周围的示例。

这里，目镜单元是接近穿戴或使用电子仪器301的用户的眼睛的部分，并且包括例如目镜透镜，诸如左透镜411L和右透镜411R。在目镜单元包括接近透镜的情况下，例如，用户可以通过接近透镜观看像(例如，被摄体的像或视频等)。

具体地，在图27的A的示例中，成像元件121-1被配置在框体412的背面(即在用户穿戴可穿戴设备401的情况下与用户的面部相对的面)的左透镜411L的上方，并且成像元件121-2被配置在框体412的背面的右透镜411R的上方。

在图27的B的示例中，成像元件121被配置在框体412的背面的桥的附近。

在图27的C的示例中，成像元件121-1被配置为围绕框体412的背面的左透镜411L的周围，并且成像元件121-2被配置为围绕框体412的背面的右透镜411R的周围。

如上所述，可以在抑制尺寸的增大和设计的劣化的同时将成像元件121配置在可穿戴设备401的框体412的空置空间内。此外，成像元件121被配置在能够捕获到穿戴可穿戴设备401的用户的双眼附近的区域的位置，并且能够对该用户的双眼的周边进行成像。

注意，期望将图27的A至C中的每个成像元件121的每个像素121a的入射角指向性设置为使得当穿戴可穿戴装置401时，相对于接近左透镜411L和右透镜411R的用户的眼睛的方向的受光灵敏度更高。通过这样的设置，在每个像素121a中，提高了相对于来自作为主成像目标的用户的眼睛的方向的入射光的受光灵敏度，并且可以更清晰地对用户的眼睛进行成像。

例如，图28的A和B示意性地示出了图27的C中的成像元件121-1的入射角指向性的示例。图28的A和B示意性地示出了在穿戴可穿戴设备401的状态下的用户的左眼421L、左透镜411L和成像元件121-1之间的位置关系。图28的A示出了从内侧(面向用户眼睛的面一侧)观察的左透镜411L的图，并且图28的B示出了从侧面观察的左透镜411L的横截面图。

注意，图28中的箭头表示成像元件121-1的每个区域中的像素121a的入射角指向性的趋势。此外，在下文中，在图28的A和B中，从左透镜421L朝向左眼421的方向(图28的B中的右方向)被假定为向后方向。

成像元件121-1的上侧的区域中的像素121a具有在对角向下向后方向上设置的入射角指向性，并且使得相对于左眼421L的方向的受光灵敏度更高。成像元件121-1的左侧的区域中的像素121a具有在斜后右方向上设置的入射角指向性，并且使得相对于左眼421L的方向的受光灵敏度更高。成像元件121-1的右侧的区域中的像素121a具有在斜后左方向上设置的入射角指向性，并且使得相对于左眼421L的方向的受光灵敏度更高。成像元件121-1的下侧的区域中的像素121a具有在对角向上向后方向上设置的入射角指向性，并且使相对于左眼421L的方向的受光灵敏度更高。

通过这样的设置，在成像元件121-1中，提高了相对于来自作为主成像目标的用户左眼421L的方向的入射光的受光灵敏度，并且可以更清晰地对左眼421L进行成像。

注意，尽管省略了图示，但是在布置在右透镜411R周围的成像元件121-2中，每个像素121a的入射角指向性也被设置在作为主成像目标的用户右眼421R的方向上。通过这种设置，提高了相对于来自用户右眼421R的入射光的受光灵敏度，并且可以更清晰地对右眼421R进行成像。

注意，在图27的A至C的示例中，从复原图像的画质的观点来看，更期望如图27的C那样配置成像元件121，并且使各个像素121A的入射角指向性发生变化。这是因为，使各像素121a的入射角指向性发生变化提高了用于对复原图像进行复原的联立方程的系数集组的多样性，并且提高了复原精度。

另外，所有像素121a的入射角指向性不必被设置成使得相对于用户眼睛的方向的受光灵敏度更高。例如，只需要具有提高相对于用户眼睛的方向的受光灵敏度的入射角指向性的像素121a的数量大于具有其他入射角指向性的像素121a的数量。

图29的A至C示意性地示出作为电子仪器301的示例的相机431。注意，图29的A至C仅示出了相机431的取景器441的周边；例如，诸如显示器或触摸面板的显示单元和用户操作单元被设置在相机431的后面(与取景器441相同侧的面)上。

此外，图29的A至C示出了其中各个成像元件121(各个成像元件121的各个像素121A)被布置在作为相机431的目镜单元的取景器441周围的示例。

具体地，在图29的A的示例中，成像元件121-1被布置在取景器441的左侧的纵向长的矩形区域中，并且成像元件121-2被布置在取景器441的右侧的纵向长的矩形区域中。

在图29的B的示例中，成像元件121被布置在取景器441上方的横向长的矩形区域中。

在图29的C的示例中，成像元件121被布置在取景器441的上方和左侧的L形区域中。

在图29的D的示例中，成像元件121-1被布置在取景器441上方的横向长的矩形区域中，并且成像元件121-2被布置在取景器441下方的横向长的矩形区域中。

在图29的E的示例中，成像元件121被配置为围绕取景器441的周围。

如上所述，可以在抑制尺寸的增大和设计的劣化的同时，将成像元件121配置在相机431的取景器441周围的空置空间中。此外，成像元件121被布置在用户的眼睛的周边在该用户看向取景器441内以便使用相机431捕获图像的情况下可捕获的位置处，并且可以对该用户的眼睛的周边进行成像。

注意，期望将图29的A至E中的每个成像元件121的每个像素121a的入射角指向性设置为使得当看向取景器441内(例如，在取景器441前面)时，相对于接近取景器441的用户眼睛的方向的受光灵敏度更高。

图30的A至C示意性地示出以覆盖用户的眼睛的方式穿戴的护目镜型的头戴式显示器461的一部分，作为电子仪器301的示例。注意，图30的A到C示出了头戴式显示器461的内面，即，当用户穿戴头戴式显示器461时面向用户的面部的面，并且示出了其中各个成像元件121(各个成像元件121的各个像素121a)被布置在形成头戴式显示器461的目镜单元的左透镜471L和右透镜471R周围的示例。

具体地，在图30的A的示例中，成像元件121-1被配置在左透镜471L的左侧的矩形区域中，并且成像元件121-2被配置在右透镜471R的右侧的矩形区域中。

在图30的B的示例中，成像元件121-1被配置在左透镜471L的上方的横向长的矩形区域中，并且成像元件121-2被配置在右透镜471R的上方的横向长的矩形区域中。

在图30的C的示例中，成像元件121-1被配置在左透镜471L的下方的横向长的矩形区域中，并且成像元件121-2被配置在右透镜471R的下方的矩形区域中。

如上所述，可以在抑制尺寸的增大和设计的劣化的同时，将成像元件121配置在头戴式显示器461的左透镜471L和右透镜471R周围的空置空间中。然后，例如，可以对穿戴头戴式显示器461的用户的双眼的周边进行成像。

注意，类似于图27中的可穿戴设备401，期望图30的A至C中的每个成像元件121的每个像素121a的入射角指向性被设置为使得在头戴式显示器461被穿戴的状态下相对于用户的眼睛的方向的受光灵敏度更高。

图31的A至C示意性地示出了笔记本式个人计算机(PC)491，作为电子仪器301的示例。

在PC491中，设置有作为显示单元的显示器501的盖部和设置有作为用户操作单元的键盘503的底部通过铰链部可旋转地连接，以允许盖部打开和关闭。然后，在如图31的A至C所示的盖部打开的状态下，显示器501和键盘503暴露到外部，并且用户可以使用PC491。注意，例如，通过在显示器501上设置触摸面板，显示器501(严格地说，触摸面板)可以用作用户操作单元。

此外，图31的A至C示出了成像元件121(成像元件121的各个像素121a)被布置在显示器501周围的示例。

在图31的A的示例中，成像元件121被配置在显示器501周围的边框502的上侧。

在图31的B的示例中，成像元件121-1被配置在边框502的左侧，并且成像元件121-2被配置在边框502的右侧。

在图31的C的示例中，成像元件121被配置在边框502的四个侧面上，以便包围显示器501。

如上所述，成像元件121可以配置在边框502的空置空间中，并且可以在抑制尺寸的增大和设计的劣化的同时，实现更窄的边框。此外，成像元件121被配置在观看PC491的显示器501的同时使用键盘503的用户正前方的位置，在该位置用户的面部的周边是可捕获的，并且可以对该用户的面部的周边进行成像。

注意，期望图31的A至C中的每个成像元件121的每个像素121A的入射角指向性被设置为使得相对于在观看PC491的显示器501(例如，在显示器501前面)的同时使用键盘503的用户的面部的方向的受光灵敏度更高。

<用户成像控制处理>

接下来，将参考图32中的流程图来描述由电子仪器301执行的用户成像控制处理。

在步骤S101中，电子仪器301的各成像元件121通过与图20的步骤S1类似的处理对用户进行成像。

例如，在图27中的可穿戴设备401的情况下，对穿戴可穿戴设备401的用户的双眼的周边进行成像。

在图29中的相机431的情况下，对看向取景器441内的用户的眼睛的周围进行成像。

在图30的头戴式显示器461的情况下，对穿戴头戴式显示器461的用户的双眼的周边进行成像。

在图31中的PC491的情况下，对观看显示器501的用户的面部的周边进行成像。

每个成像元件121将包括每个像素121a的检测信号的检测信号集提供给关联单元325。

在步骤S102中，复原单元321获得用于图像复原的系数。具体地，复原单元321通过与图20的步骤S2中成像装置101的复原单元122的处理类似的处理来设置被摄体距离。然后，复原单元321从存储单元327读取与设置的被摄体距离相对应的系数集组。

在步骤S103中，复原单元321使用检测信号集和系数来对图像进行复原。也就是说，复原单元321通过与图20中的步骤S3中成像装置101的复原单元122的处理类似的处理，使用从每个成像元件121输出的检测信号集和在步骤S102的处理中获得的系数集组来对复原图像进行复原。

在步骤S104中，电子仪器301对复原图像进行各种处理。例如，复原单元321根据需要对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。此外，复原单元321根据需要例如将复原图像提供给输出单元326以进行显示，或者将复原图像提供给记录和回放单元328以记录在记录介质329上，或者经由通信单元330将复原图像输出到其他仪器。

在步骤S105中，电子仪器301使用复原图像(即，用户的图像)执行应用处理。

例如，在图27中的可穿戴设备401的情况下，控制单元322基于复原图像中的用户眼睛的图像来检测用户的视线。注意，视线检测可以使用任意方法。然后，例如，控制单元322生成与用户的视线的移动相对应的操作命令，并经由通信单元330将所生成的操作命令发送至其他电子仪器(未示出)。因此，用户可以仅通过穿戴可穿戴设备401并移动他/她的视线来操作其他电子仪器。

例如，在图29中的相机431的情况下，控制单元322基于复原图像中的用户眼睛的图像来检测用户的视线。注意，视线检测可以使用任意方法。然后，例如，控制单元322控制相机431的每个单元以根据用户的视线的移动来移动要聚焦的被摄体的位置(焦点)，或者执行相机431的各种处理。因此，用户可以例如仅通过看向取景器441内并移动他/她的视线来设置焦点并对相机431执行各种操作。

或者，例如，控制单元322基于复原图像内部执行用户识别处理或认证处理。

这里，识别处理例如是指定用户或识别用户特征的处理。同时，认证处理是例如通过将复原图像与预先登记的图像(例如，面部图像或眼睛图像)进行核对来判断用户是预先登记的用户还是合法用户等的处理。注意，识别处理和认证处理有时部分重叠而没有明确区分。此外，可以将任意方法用于用户识别处理和认证处理。例如，可以将诸如面部认证和虹膜认证的各种类型的生物认证用于识别处理。

然后，例如，控制单元322基于用户识别结果或认证结果在输出单元326的显示器上显示与被识别或认证的用户相对应的用户界面画面，或者改变相机431的设置，或者给予使用特定功能(例如，回放等)的许可。

例如，在图30中的头戴式显示器461的情况下，控制单元322基于复原图像中的用户眼睛的图像来检测用户的视线。注意，视线检测可以使用任意方法。然后，例如，控制单元322控制头戴式显示器461的每个单元以根据用户的视线的移动来执行头戴式显示器461的各种处理。因此，用户可以仅通过穿戴头戴式显示器461并移动他/她的视线来对头戴式显示器461执行各种操作。

例如，在图31中的PC491的情况下，控制单元322基于复原图像中的用户面部的图像，执行用户识别处理或认证处理。然后，例如，控制单元322基于用户识别结果或认证结果在输出单元326的显示器上显示与被识别或认证的用户相对应的用户界面画面，或者改变PC491的设置等(例如，定制设置、画质设置和家长控制设置)，或者给予登录到特定帐户、访问特定文件夹或文件、使用特定功能等的许可。

此后，用户成像控制处理结束。

注意，在上文中，已经描述了使用与成像元件121和被摄体距离相对应的系数集组从检测信号集对复原图像进行复原的示例；但是，如前所述，例如，除了与被摄体距离相对应的系数集组之外，还可以进一步准备与复原图像的视角相对应的系数集组，从而使得使用与被摄体距离和视角相对应的系数集组来对复原图像进行复原。

通过如上所述的配置，可以在抑制电子仪器301的尺寸增长和设计的劣化的同时配置成像元件121，并且可以对使用电子仪器的用户进行成像。然后，可以复原用户的图像，并且可以基于复原的图像执行各种应用处理。

<<4.第二实施例>>

接下来，将参考图33至41描述本公开的第二实施例。

在上述第一实施例中，示出了对使用电子仪器301的用户进行成像并使用通过复原处理所获得的用户的图像来执行各种应用处理的示例。同时，在第二实施例中，对使用电子仪器301的用户的周围进行成像，并使用通过复原处理获得的用户的周围的图像来执行各种应用处理。

注意，在第二实施例中，与第一实施例一样使用图26中的电子仪器301。另一方面，在第二实施例中，与第一实施例不同，成像元件121被配置在能够捕获穿戴或使用电子仪器301的用户的周围的位置。

<成像元件121的配置示例>

这里，将参考图33至40描述成像元件121的配置示例，给出电子仪器301的具体示例。

图33的A至C示意性地示出了被穿戴以覆盖用户的眼睛的眼镜型可穿戴设备601，作为电子仪器301的示例。此外，图33的A至C示出了在用户穿戴可穿戴设备601的状态下，成像元件121(成像元件121的各个像素121a)被配置在框体612的暴露于外部的前面上的示例。

具体地，在图33的A的示例中，成像元件121-1被配置在框体612的前面的左透镜611L的上方，并且成像元件121-2被配置在框体612的前面的右透镜611R的上方。

在图33的B的示例中，成像元件121-1被配置在框体612的前面的左透镜611L的右侧，并且成像元件121-2被配置在框体612的前面的右透镜611R的左侧。

在图33的C的示例中，成像元件121-1被配置为围绕框体612的前面的左透镜611L的周围，并且成像元件121-2被配置为围绕框体612的前面的右透镜611R的周围。

如上所述，在可以抑制尺寸的增大和设计的劣化的同时，将成像元件121配置在可穿戴设备601的框体612的空置空间内。然后，例如，可以对穿戴可穿戴设备601的用户前方的区域进行成像。

图34的A至C示意性地示出相机631，作为电子仪器301的示例。此外，示出了成像元件121(成像元件121的各个像素121a)被配置在相机631的壳体的前表面上的示例。

具体地，在图34的A的示例中，在相机631的主体部分的前面上，在底座641的在相机631的左端附近的左侧的纵向长矩形区域中配置成像元件121。

在图34的B的示例中，在相机631的主体部分的前面上，在底座641外侧的四个角附近的四个矩形区域中配置各个成像元件121-1至121-4。

在图34的C的示例中，在内置有相机631的闪光灯的闪光灯内置单元642的前面上配置成像元件121。

在图34的D的示例中，在沿着相机631的底座641的外周的环形的区域中配置成像元件121。

如上所述，可以在抑制尺寸的增大和设计的劣化同时，将成像元件121配置在相机631的壳体的前面上的空置空间中。然后，例如，可以对相机631的成像方向上的区域进行成像。

图35的A至D示意性地示出了被穿戴以覆盖用户的眼睛的护目镜式的头戴式显示器661，作为电子仪器301的示例。此外，图35的A至D示出了在用户穿戴头戴式显示器661的状态下，在壳体的暴露于外部的前面上配置成像元件121(成像元件121的各个像素121a)的示例。

具体地，在图35的A的示例中，成像元件121被配置在主体部分671的前面的下侧的横向长的矩形区域中。

在图35的B的示例中，成像元件121被配置在主体部分671的前面的上端处的横向长的区域中。

在图35的C的示例中，成像元件121被配置在头垫672的前面上的矩形区域中。

在图35的D的示例中，成像元件121-1和121-2被配置在主体部分671的前面的左侧和右侧的矩形区域中。

如上所述，可以在抑制尺寸的增大和设计的劣化的同时，将成像元件121配置在头戴式显示器661的框体的前面的空置空间内。然后，例如，可以对穿戴头戴式显示器661的用户前方的区域进行成像。

图36的A至图37的D示意性地示出了头戴式耳机691，作为电子仪器301的示例。图36的A和B示出从前面对角地观察时，耳机691的透视图，并且图37的C和D示出从后面对角地观察时，耳机691的透视图。

在图36的A的示例中，成像元件121-1被配置在左侧外壳701L的侧面的前中心附近，并且成像元件121-2被配置在右侧外壳701R的侧面的前中心附近。

在图36的B的示例中，成像元件121被配置在沿着头带702的前面的区域中。

在图37的C的示例中，成像元件121-1被配置在左侧外壳701L的侧面的向后中心附近，并且成像元件121-2被配置在右侧外壳701R的侧面的向后中心附近。

在图37的D中的示例中，成像元件121被配置在沿着头带702的后面的区域中。

如上所述，可以在抑制尺寸的增长和设计的劣化的同时，将成像元件121配置在用户穿戴耳机691的状态下暴露于外侧的面上的空置空间中。然后，例如，可以对穿戴耳机691的用户的前方或后方的区域进行成像。

图38的A和B示意性地示出了颈带式耳机721，作为电子仪器301的示例。

在图38的A的示例中，成像元件121-1被配置在左侧外壳731L的侧面的前部。此外，虽然省略了图示，但成像元件121-2被配置在右侧外壳731R的侧面的前部。

在图38的B的示例中，成像元件121被配置在颈带732的后部附近。

如上所述，可以在抑制尺寸的增大和设计的劣化的同时，将成像元件121配置在用户穿戴耳机721的状态下暴露于外侧的面上的空置空间中。然后，例如，可以对穿戴耳机721的用户的前方或后方的区域进行成像。

注意，在上述示例中，示出了对用户前方或后方的区域进行成像的示例；但是，各个成像元件121可以被安装为以便对用户周围的其他方向(例如，用户的侧面、上面和下面的区域)进行成像。

<用户周围成像控制处理>

接下来，将参考图39中的流程图来描述由电子仪器301执行的用户周围成像控制处理。

在步骤S201中，电子仪器301的各成像元件121通过与图20的步骤S1类似的处理对用户的周围进行成像。

例如，在图33中的可穿戴设备601的情况下，对穿戴可穿戴设备601的用户前方的区域进行成像。

在图34中的相机631的情况下，对相机631的成像方向上的区域进行成像。

在图35的头戴式显示器661的情况下，对穿戴头戴式显示器661的用户前方的区域进行成像。

在图36和37中的耳机691的情况下，对穿戴耳机691的用户的前方或后方的区域进行成像。

在图38中的耳机721的情况下，对穿戴耳机721的用户的前方或后方的区域进行成像。

每个成像元件121将包括每个像素121a的检测信号的检测信号集提供给关联单元325。

在步骤S202中，复原单元321获得用于图像复原的系数。具体地，复原单元321通过与图20的步骤S2中成像装置101的复原单元122的处理类似的处理来设置被摄体距离。然后，复原单元321从存储单元327读取与设置的被摄体距离相对应的系数集组。

注意，在成像元件121被布置在如图36和37中的耳机691的头带702和图38中的耳机721的颈带732的可变形部分中的情况下，相应像素121a之间的相对位置随着变形的发生而改变。

同时，在各个像素121a之间的相对位置不变的假设下，设置上述用于对复原图像进行复原的联立方程的系数集组。

因此，在成像元件121被布置在电子仪器301的可变形部分中的情况下，可以预先准备依照变形状态的系数集组，并且另外，可以检测变形状态，使得使用依照所检测的变形状态的系数集组。

这里，可变形部分是在例如使用或穿戴电子仪器301的情况下可以改变其形状的部分。注意，变形的类型没有特别限制，并且包括例如拉伸、收缩、弯曲、移位、扭曲、分离等。此外，可变形部分包括例如通过从外部施加的力而变形的部分，以及通过致动器等主动改变其形状的部分。

例如，可以在图36和37中所示的耳机691的头带702中设置弯曲传感器，使得使用与由弯曲传感器检测到的头带的弯曲状态相对应的系数集组。

例如，预先准备与图40的A到C中的弯曲传感器751的弯曲状态的三种模式相对应的系数集组。然后，在用户穿戴耳机691的情况下，使用与最接近弯曲传感器751的检测结果的弯曲状态相对应的系数集组来对复原图像进行复原。

在步骤S203中，与图32的步骤S103中的处理一样，使用检测信号组和系数来对图像进行复原。

在步骤S204中，与图32中的步骤S104中的处理一样，对复原图像执行各种处理。

在步骤S205中，电子仪器301使用复原图像(即，用户的周围的图像)执行应用处理。

例如，在图33中的可穿戴设备601的情况下，控制单元322基于复原图像执行针对用户周围的识别处理。注意，可以使用任意方法来进行用户周围的识别处理。然后，例如，控制单元322控制输出单元326以将通过识别处理获得的与用户周围的环境相对应的图像和信息叠加在用户经由左透镜611L和右透镜611R视觉识别的视场内的区域上，从而实现增强现实(AR)。

或者，例如，控制单元322控制记录和回放单元328将复原图像作为用户生活日志记录在记录介质329上。

例如，在图34中的相机631的情况下，控制单元322通过基于复原图像执行对用户周围的识别处理来执行被摄体跟踪、场景识别等。注意，可以使用任意方法来进行用户周围的识别处理。因此，例如，即使在经由相机631的透镜643执行成像的成像元件(未示出)的快门工作期间，也可以跟踪被摄体。此外，例如，可以通过感测比透镜643更宽的范围来执行被摄体跟踪和场景识别。

例如，在图35中的头戴式显示器661的情况下，控制单元322控制输出单元326以将复原图像的一部分或全部叠加在用户正在视觉上识别的图像上。

例如，在图36和37中的耳机691或图38中的耳机721的情况下，控制单元322基于复原图像执行对用户周围的识别处理。注意，可以使用任意方法来进行用户周围的识别处理。然后，基于识别结果，控制单元322控制输出单元326等，以例如辅助用户。例如，在检测到危险的情况下，通过振动、声音等通知诸如车辆靠近等危险，为视觉障碍者提供声音支持等，并且通过声音通知识别出的人物的姓名。

或者，例如，控制单元322控制记录和回放单元328将复原图像作为用户生活日志记录在记录介质329上。

此后，用户周围成像控制处理结束。

注意，在上文中，已经描述了使用与成像元件121和被摄体距离相对应的系数集组从检测信号集对复原图像进行复原的示例；然而，如前所述，例如，除了与被摄体距离相对应的系数集组之外，还可以进一步准备与复原图像的视角相对应的系数集组，使得使用与被摄体距离和视角相对应的系数集组来对复原图像进行复原。

通过如上所述配置，可以在抑制电子仪器301的尺寸的增长和设计的劣化的同时布置成像元件121，并且可以对使用电子仪器的用户的周围进行成像。然后，可以复原用户周围的图像，并且可以基于复原的图像执行各种应用处理。

注意，在上文中，示出了其中将复原图像记录为生活日志的示例；然而，可以记录检测信号集而不是复原图像，使得根据需要对图像进行复原。

在这种情况下，例如，由每个成像元件121获取的检测信号集与对应于每个检测信号集的元数据相关联。

注意，元数据例如可以包括或者可以不包括复原时的系数集组。在后一种情况下，例如，在复原时使用的被摄体距离、视角、关于布置成像元件121的部分的变形信息等被包括在元数据中。

此外，只要可以指定检测信号集和元数据之间的对应关系，就不特别限制用于将检测信号集和元数据相关联的方法。例如，通过将元数据添加到包括检测信号集的数据、将相同的ID赋予检测信号集和元数据、或者将检测信号集和元数据记录在相同的记录介质329上，来将检测信号集与元数据相关联。另外，元数据可以与每个检测信号组单独地相关联，或者元数据可以与检测信号集被聚集成一条的数据相关联。

<<5.变型例>>

在下文中，将描述本公开的上述实施例的变型例。

<与系统的配置示例相关的变型例>

图26示出一个电子仪器301执行对用户或用户周围的成像处理、对复原图像的复原处理和使用复原图像的应用处理的示例；然而，这些处理可以被划分并分配给两个或更多个装置。

例如，图41中的信息处理系统801包括电子仪器811和信号处理装置812。然后，电子仪器811和信号处理装置812可以通过各自共享来执行成像处理、复原处理和应用处理。

例如，电子仪器811可以进行成像处理，并且信号处理装置812可以进行复原处理和应用处理。或者，例如，电子仪器811可以执行成像处理和应用处理，并且信号处理装置812可以执行复原处理。或者，电子仪器811和信号处理装置812可以协同执行成像处理、复原处理和应用处理中的一些处理。

此外，本公开可以应用于除了上述电子仪器之外的具有对用户或用户周围进行成像的功能的电子仪器。在具有对用户进行成像的功能的电子仪器中，例如，如上述示例中那样，成像元件121被配置在目镜单元或显示单元周围。另外，在具有对用户的周围进行成像的功能的电子仪器中，例如，如上述示例中那样，在用户穿戴电子仪器的状态下暴露于外侧的面上配置成像元件121。注意，成像元件121的配置不限于上述示例，并且可以根据主成像目标等适当地改变。

此外，例如，成像元件121也可以不布置在目镜单元周围或电子仪器的显示单元周围，而是布置在目镜单元或显示单元中。例如，成像元件121可以布置在图27中的左透镜411L和右透镜411R的前面上、图29中的取景器441的前面上、图30中的左透镜471L和右透镜471R的前面上、图31中的显示器501的前面上等。

<与成像装置和成像元件相关的变型例>

此外，例如，每个像素121a的遮光膜121b的形状可以采用除了上述横向带型、纵向带型、L型或具有矩形开口部分的类型之外的形状。

此外，例如，在以上参照图5描述的成像元件121中，示出了在一个像素121a中设置2行×2列的四个光电二极管121f的示例；然而，光电二极管121f的数量和配置不限于该示例。

例如，如图42所示，可以在一个像素121a中为一个片上透镜121c设置以3行×3列放置的九个光电二极管121f-111至121f-119。也就是说，一个像素输出单位可以包括九个光电二极管121f。

然后，例如，通过不从五个像素(即光电二极管121f-111、121f-114、121f-117至121f-119)读取信号，可以获得与在光电二极管121f-111、121f-114、121f-117至121f-119的范围内设置遮光膜121b的包括L形遮光膜121b的像素121a的入射角特性基本相似的入射角特性。

通过以这种方式配置，可以在不提供遮光膜121b的情况下获得与设置遮光膜121b的情况类似的入射角特性。此外，通过切换不从其读取信号的光电二极管121f的图案，如同改变由遮光膜121b遮蔽的位置和范围的情况一样，可以改变入射角指向性。

另外，在上面的描述中，示出了一个像素输出单位由一个像素121a构成的示例；然而，一个像素输出单位也可以由多个像素121a构成。

例如，如图43所示，一个像素输出单位851B可以由以3行×3列放置的像素121a-111至121a-119构成。注意，像素121a-111至121a-119中的每一个包括例如一个光电二极管，并且不包括片上透镜。

例如，通过将来自各个像素121a的像素信号相加，生成用于检测图像的一个像素的检测信号，并且另外通过停止来自一些像素121a的像素信号的输出或者不将来自一些像素121a的像素信号相加，可以实现像素输出单位851b的入射角指向性。例如，通过将像素121a-112、121a-113和121a-115以及像素121a-116的像素信号相加以产生检测信号，可以获得与在像素121a-111、像素121a-114以及121a-117至121a-119的范围中设置L型的遮光膜121b的情况类似的入射角指向性。

另外，通过切换其像素信号被加到检测信号的像素121a的图案，如同改变由遮光膜121b遮蔽的位置和范围的情况一样，可以将入射角指向性设置为不同的值。

此外，在这种情况下，例如，可以通过改变像素121a的组合来改变像素输出单位的范围。例如，像素输出单位851S可以由包括像素121a-111、121a-112、121a-114和121a-115的2行×2列的像素121A构成。

此外，例如，可以通过记录所有像素121a的像素信号并稍后设置像素121a的组合来稍后设置像素输出单位的范围。此外，通过从所设置的像素输出单位中的像素121a中选择其像素信号要被加到检测信号的像素121a，可以稍后设置像素输出单位的入射角指向性。

另外，图4示出了通过使用遮光膜121b作为调制元件或者改变对输出有贡献的光电二极管的组合来为各像素设置不同的入射角指向性的示例；然而，在本公开中，例如，如图44所示，覆盖成像元件901的受光面的光学滤光器902也可以用作调制元件，使得每个像素设置有入射角指向性。

具体地，光学滤光器902与成像元件901的受光面901A距离预定间隔地配置，以覆盖受光面901A的整个面。来自被摄体面31的光被光学滤光器902调制，然后入射到成像元件901的受光面901A上。

例如，作为光学滤光器902，可以使用图45所示的具有栅格状黑白图案的光学滤光器902BW。在光学滤光器902BW中，随机地布置透射光的白色图案部分和提供对光的遮蔽的黑色图案部分。每个图案的尺寸独立于成像元件901的像素尺寸而设置。

图46示出在使用光学滤光器902BW的情况下，成像元件901相对于来自被摄体面31上的点光源PA和PB的受光灵敏度特性。来自点光源PA和PB的每条光线由光学滤光器902BW调制，然后入射在成像元件901的受光面901A上。

例如，成像元件901相对于来自点光源PA的光的受光灵敏度特性为波形Sa。也就是说，由于光学滤光器902BW的黑色图案部分产生阴影，因此在受光面901A上的像中对于来自点光源PA的光产生阴影图案。类似地，成像元件901相对于来自点光源PB的光的受光灵敏度特性为波形Sb。也就是说，由于光学滤光器902BW的黑色图案部分产生阴影，因此在受光面901A上的像中对于来自点光源PB的光产生的阴影图案。

注意，来自点光源PA的光和来自点光源PB的光相对于光学滤光器902BW的每个白色图案部分具有不同的入射角，从而以阴影图案如何出现在受光面上的方式产生偏移。因此，成像元件901的每个像素设置有相对于被摄体面31上的每个点光源的入射角指向性。

该方案的细节例如在上述非专利文献1中公开。

注意，可以使用图47中的光学滤光器902HW来代替光学滤光器902BW。光学滤光器902HW包括具有相同偏振方向的线性偏振元件911A和线性偏振元件911B，以及半波板912，其中半波板912夹在线性偏振元件911A和911B之间。半波板912设置有由阴影指示的偏振部分来代替光学滤波器902BW的黑色图案部分，并且随机布置白色图案部分和偏振部分。

线性偏振元件911A仅透射从点光源PA发射的近似非偏振光中预定偏振方向的光。在下文中，假设线性偏振元件911A仅透射偏振方向与图平行的光。由于偏振面旋转，因此在透过线性偏振元件911A的偏振光中，透过半波板912的偏振部分的偏振光的偏振方向在垂直于图的方向上改变。另一方面，在透过线性偏振元件911A的偏振光中，透过半波板912的白色图案部分的偏振光的偏振方向在平行于图的方向上保持不变。然后，线性偏振元件911B透射已经透过白色图案部分的偏振光，而几乎不透射已经透过偏振部分的偏振光。因此，与透过白色图案部分的偏振光相比，透过偏振部分的偏振光的光量减少。因此，在成像元件901的受光面901A上，产生与使用光学滤光器BW的情况大致类似的阴影图案。

此外，如图48的A所示，光学干涉掩模可以用作光学滤波器902LF。从被摄体面31上的点光源PA和PB发射的光经由光学滤光器902LF照射成像元件901的受光面901A。如图48的A的下侧的放大图所示，例如，光学滤波器902LF的光入射面被设置有相当于波长的程度的不规则性。另外，光学滤光器902LF使从垂直方向辐射的具有特定波长的光的透射最大化。当从被摄体面31上的点光源PA和PB发射的具有特定波长的光相对于光学滤光器902LF的入射角的变化(相对于垂直方向的倾斜)增加时，光路长度改变。这里，当光路长度是半波长的奇数倍时，光彼此减弱，而当光路长度是半波长的偶数倍时，光彼此增强。也就是说，从点光源PA、PB发生并透过光学滤光器902LF的具有特定波长的透射光的强度如图48的B所示的根据相对于光学滤光器902LF的入射角而被调制，并使其入射到成像元件901的受光面901A。因此，从成像元件901的每个像素输出单位输出的检测信号被作为通过合并每个像素输出单位的各个点光源的调制后的光强度而获得的信号而给出。

该方案的细节例如在上述专利文献1中公开。

注意，在专利文献1和非专利文献1的方案中，不能像上述使用图4中的像素121a或图5中的像素121a的成像元件121那样，在不影响相邻的像素的情况下，以像素121a为单位独立地设置入射角指向性。因此，例如，当使光学滤光器902BW的图案或光学滤光器902LF的衍射光栅的图案不同时，依次使成像元件901的至少多个相邻像素的入射角指向性彼此不同。此外，位于接近位置的像素121a具有彼此接近的入射角指向性。

另外，本公开还可以应用于对诸如红外光的可见光以外的波长的光进行成像的成像装置或成像元件。在这种情况下，不将复原图像作为用户可以通过观看识别被摄体的图像给出，而是作为用户不能视觉识别被摄体的图像给出。注意，由于普通成像透镜难以透射远红外光，因此本技术在例如对远红外光进行成像的情况下是有效的。

<其他变型例>

在以上描述中，示出了基于通过对用户的面部或眼睛进行成像而获得的图像来执行生物认证的示例；然而，本公开还可以应用于基于通过对用户的其他部分进行成像而获得的图像来执行生物认证的情况，诸如指纹认证。

此外，本公开还可以应用于检测除用户视线之外的用户眼睛的移动或状态等的情况。例如，本公开还可以应用于基于通过对用户的眼睛或面部进行成像而获得的图像来执行眨眼检测、睡眠检测等的情况。此外，例如，本公开还可以应用于检测诸如可穿戴设备的电子仪器301的穿戴等的情况。

另外，例如，通过应用诸如深度学习的机器学习，还可以在不使用复原之后的复原图像的情况下，使用复原之前的检测图像和检测信号集来执行图像识别等。

<<6.应用示例>>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以应用于诸如内窥镜手术系统或胶囊内窥镜的医疗仪器的成像单元。

图49是示出能够应用本发明的技术的内窥镜手术系统5000的配置的概要的示例的图。图49示出了一个场景，其中手术外科医生(外科医生)5067正在使用内窥镜手术系统5000对患者床5069上的患者5071进行手术。如图49所示，内窥镜手术系统5000由内窥镜5001、其他手术工具5017、支撑内窥镜5001的支撑臂装置5027、以及其中装配有用于通过内窥镜进行手术的各种装置的推车5037构成。

在内窥镜手术中，代替切开腹壁并打开腹部，将被称为套管针5025a至5025d的多个筒状的穿刺工具穿刺到腹壁中。然后，内窥镜5001的透镜镜筒5003和其他手术工具5017通过套管针5025a到5025d插入到患者5071的体腔中。在图示的示例中，气腹管5019、能量治疗仪器5021和镊子5023作为其他手术工具5017插入患者5071的体腔中。此外，能量治疗仪器5021是通过高频电流或超声波振动来进行组织的切开和剥离、血管的封闭等的治疗仪器。但是，图示的手术工具5017只不过是示例，并且例如，作为手术工具5017，可以使用通常用于经由内窥镜进行手术的各种手术工具，诸如拇指钳和牵开器。

由内窥镜5001捕获的患者5071的体腔内的手术部位的图像显示在显示装置5041上。手术外科医生5067在实时观察显示装置5041上显示的手术部位的图像的同时，例如使用能量处理仪器5021和钳子5023进行治疗，诸如切除患部。注意，尽管省略了图示，但是气腹管5019、能量治疗仪器5021和钳子5023在手术期间由手术外科医生5067或助手等支撑。

(支撑臂装置)

支撑臂装置5027包括从基部5029延伸的臂部5031。在图示的示例中，臂部5031由接头部5033a、5033b和5033c以及连杆5035a和5035b构成，并且在臂控制装置5045的控制下被驱动。内窥镜5001由臂部5031支撑，使得内窥镜5001的位置和取向被控制。通过该配置，能够以稳定的方式实现内窥镜5001的位置的固定。

(内窥镜)

内窥镜5001由从远端起的预定长度的区域插入患者5071的体腔内的透镜镜筒5003和与透镜镜筒5003的近端连接的相机头5005构成。在图示的示例中，示出了被配置为具有刚性镜筒5003的所谓的刚性内窥镜的内窥镜5001；然而，内窥镜5001可以被配置为具有柔性镜筒5003的所谓的柔性内窥镜。

在透镜镜筒5003的远端设置有供物镜嵌入的开口部。光源装置5043连接到内窥镜5001；由该光源装置5043产生的光通过在该透镜镜筒内延伸设置的导光件被引导到透镜镜筒5003的远端，并且经由物镜朝向患者5071的体腔内的待观察对象辐射。注意，内窥镜5001可以是前视内窥镜、斜视内窥镜或侧视内窥镜。

在相机头5005的内部设置有光学系统和成像元件，并且来自待观察对象的反射光(观察光)通过该光学系统会聚在该成像元件上。观察光由成像元件进行光电转换，并且生成与观察光对应的电信号，即与观察图像对应的图像信号。该图像信号作为RAW数据被发送到相机控制单元(CCU)5039。注意，相机头5005配备有通过适当地驱动其光学系统来调节放大率和焦距的功能。

另外，例如，为了应对立体观看(三维(3D)显示)等，可以在相机头5005中设置多个成像元件。在这种情况下，在透镜镜筒5003内部设置多个中继光学系统，以便将观察光引导到多个成像元件中的每一个。

(推车中配备的各种装置)

CCU5039由中央处理单元(CPU)、图形处理单元(GPU)等构成，并且综合控制内窥镜5001和显示装置5041的操作。具体地，CCU5039例如对从相机头5005接受的图像信号执行用于显示基于所接受的图像信号的图像的各种图像处理，诸如显影处理(去马赛克处理)。CCU5039将已经对其执行了这些图像处理的图像信号提供给显示装置5041。此外，CCU5039将控制信号发送到相机头5005，并且控制相机头5005的驱动。该控制信号可以包括关于诸如放大率和焦距的成像条件的信息。

显示装置5041在CCU5039的控制下，显示基于已经由CCU5039对其执行了图像处理的图像信号的图像。例如，在内窥镜5001与诸如4K拍摄(水平像素数3840×垂直像素数2160)或8K拍摄(水平像素数7680×垂直像素数4320)的高分辨率拍摄兼容和/或与3D显示兼容的情况下，能够高分辨率显示和/或能够3D显示的显示装置可以用作显示装置5041以便应对每种情况。在内窥镜5001与诸如4K或8K拍摄的高分辨率拍摄兼容的情况下，可以通过使用具有55英寸或更大尺寸的显示装置5041来获得更沉浸的感觉。此外，可以根据实际用途提供具有不同分辨率和尺寸的多个显示装置5041。

光源装置5043由诸如发光二极管(LED)等的光源构成，并且将拍摄手术部位时使用的照射光供给至内窥镜5001。

臂控制装置5045例如由诸如CPU的处理器构成，并且根据预定程序操作以根据预定控制方案控制支撑臂装置5027的臂部5031的驱动。

输入装置5047是与内窥镜手术系统5000之间的输入接口。用户可以经由输入装置5047向内窥镜手术系统5000输入各种类型的信息和输入指示。例如，用户经由输入装置5047输入关于手术的各种类型的信息，诸如患者的身体信息和关于手术的手术过程的信息。此外，例如，用户经由输入装置5047输入驱动臂部5031的指令、改变内窥镜5001的成像条件(照射光的类型、放大率、焦距等)的指令、驱动能量治疗仪器5021的指令等。

输入装置5047的类型不受限制，并且输入装置5047可以是各种已知的输入装置。例如，鼠标、键盘、触摸面板、开关、脚踏开关5057、控制杆等可以用作输入装置5047。在触摸面板用作输入装置5047的情况下，触摸面板可以设置在显示装置5041的显示面上。

或者，输入装置5047例如是用户穿戴的设备(诸如眼镜型可穿戴设备或头戴式显示器(HMD))，并且根据这些设备检测到的用户的姿势和视线进行各种输入。此外，输入装置5047包括能够检测用户的移动的相机，并且根据从相机所捕获的运动画面中检测到的用户的姿势和视线来进行各种输入。此外，输入装置5047包括能够拾取用户的语音的麦克风，并且经由麦克风通过声音进行各种输入。以这种方式，通过将输入装置5047配置为能够非接触地输入各种信息，尤其是属于清洁区域的用户(例如手术外科医生5067)能够非接触地操作属于非清洁区域的仪器。另外，由于用户可以在不从握持的手术工具释放他/她的手的情况下操作仪器，因此提高了用户的便利性。

治疗仪器控制装置5049控制能量治疗仪器5021的驱动，以进行组织的烧灼和切开、血管的封闭等。为了确保通过内窥镜5001的视野并确保用于手术外科医生的操作空间，气腹装置5051经由气腹管5019将气体输送到患者5071的体腔中，以便使体腔膨胀。记录器5053是能够记录关于手术的各种类型的信息的装置。打印机5055是能够以诸如文本、图像或图形的各种格式打印关于手术的各种类型的信息的装置。

以下，将对内窥镜手术系统5000的特别的特性配置进行更详细的说明。

(支撑臂装置)

支撑臂装置5027包括作为基座的基部5029和从基部5029延伸的臂部5031。在所示示例中，臂部5031由多个接头部5033a、5033b和5033c以及由接头部5033b耦接的多个连杆5035a和5035b构成；然而，在图49中，为了简化起见，以简化的方式示出了臂部5031的配置。实际上，可以适当地设置接头部5033a-5033c和连杆5035a和5035b的形状、数量和布置，以及接头部5033a-5033c的旋转轴线的方向等，使得臂部5031具有期望的自由度。例如，臂部5031可以被适当地配置成具有等于或大于六个自由度的自由度。这允许内窥镜5001在臂部5031的可移动范围内自由移动，使得内窥镜5001的透镜镜筒5003能够在期望的方向上插入到患者5071的体腔中。

在接头部5033a至5033c中设置有致动器，并且接头部5033a至5033c被配置为通过这些致动器的驱动而能够围绕预定的旋转轴旋转。致动器的驱动由臂控制装置5045控制，使得接头部5033a至5033c中的每一个的旋转角度被控制，并且然后控制臂部5031的驱动。利用这种配置，可以实现对内窥镜5001的位置和取向的控制。此时，臂控制装置5045可通过诸如力控制或位置控制的各种已知的控制方案来控制臂部5031的驱动。

例如，能够控制内窥镜5001的位置和取向，使得手术外科医生5067经由输入装置5047(包括脚踏开关5057)适当地进行操作输入，并且继而臂控制装置5045根据该操作输入适当地控制臂部5031的驱动。通过该控制，能够使臂部5031的远端处的内窥镜5001从任意位置移动到其他的任意位置，之后，能够在该移动后的位置处固定地支撑。注意，臂部5031可以通过所谓的主从方案来操作。在这种情况下，用户能够经由安装在远离手术室的位置处的输入装置5047来远程操作臂部5031。

此外，在应用力控制的情况下，臂控制装置5045可执行所谓的动力辅助控制，其中响应于来自用户的外力驱动相应的接头部5033a至5033c的致动器，使得臂部5031与外力成比例地平滑移动。通过该控制，当用户在直接触摸臂部5031的同时移动臂部5031时，臂部5031可以用相对轻的力移动。因此，可以更直观地以更简单的操作移动内窥镜5001，并且可以提高用户的便利性。

这里，在通过内窥镜进行的普通手术中，内窥镜5001由被称为内窥镜师(scopist)的外科医生支撑。与此相对，通过使用支撑臂装置5027，能够不通过手动操作而可靠地固定内窥镜5001的位置，从而使得能够稳定地获得手术部位的图像，并且能够顺利地进行手术。

注意，臂控制装置5045不一定设置在推车5037中。此外，臂控制装置5045不一定是一个装置。例如，臂控制装置5045可设置在支撑臂装置5027的臂部5031的接头部5033a至5033c中的每一个中，使得通过彼此协作的多个臂控制装置5045来实现臂部5031的驱动控制。

(光源装置)

光源装置5043在拍摄手术部位时向内窥镜5001供给照射光。光源装置5043例如由LED、激光光源、或者将它们组合而成的白色光源构成。此时，在通过RGB激光光源的组合来配置白色光源的情况下，可以以高精度控制每种颜色(每个波长)的输出强度和输出定时，并且因此可以在光源装置5043中调整捕获图像的白平衡。此外，在这种情况下，通过分时地用来自RGB激光光源中的每一个的激光束照射被观察对象，并且与照射定时同步地控制相机头5005的成像元件的驱动，还可以通过分时来捕获与RGB中的每一个对应的图像。根据该方法，可以在不在成像元件中设置彩色滤光器的情况下获得彩色图像。

另外，可以控制光源装置5043的驱动，以使输出的光的强度每隔规定时间而变化。通过与光的强度的改变的定时同步地控制相机头5005的成像元件的驱动以通过分时获取图像并合并这些图像，可以产生没有所谓的遮挡阴影(blocked up shadow)和高亮溢出(blown out highlight)的高动态范围的图像。

另外，光源装置5043可以被配置为使得可以从光源装置5043提供与特殊光观察对应的预定波长频带的光。在特殊光观察中，例如，通过利用身体组织中的光吸收的波长依赖性，进行所谓的窄带光观察(窄带成像)，其中，通过照射比通常观察时的照射光(换言之，白色光)窄带的光，以高对比度拍摄预定组织，诸如粘膜表层的血管。或者，在特殊光观察中，可以进行用于通过照射激发光而产生的荧光来获得图像的荧光观察。在荧光观察中，例如，可以进行其中用激发光照射身体组织并且观察来自身体组织的荧光的荧光观察(自发荧光观察)，或者其中将诸如吲哚菁绿(ICG)的试剂局部施用于身体组织并且同时用与试剂的荧光波长对应的激发光照射身体组织以获得荧光图像的荧光观察。光源装置5043能够被配置为使得可以从光源装置5043提供与这样的特殊光观察对应的窄带光和/或激发光。

(相机头和CCU)

参考图50，将更详细地描述内窥镜5001的相机头5005和CCU5039的功能。图50是示出图49所示的相机头5005和CCU5039的功能配置的示例的框图。

参考图50，相机头5005具有作为其功能的透镜单元5007、成像单元5009、驱动单元5011、通信单元5013和相机头控制单元5015。此外，CCU5039具有通信单元5059、图像处理单元5061和控制单元5063作为其功能。相机头5005和CCU5039经由传输线缆5065连接，以便能够双向通信。

首先，将描述相机头5005的功能配置。透镜单元5007是设置在与透镜镜筒5003的连接部分处的光学系统。从透镜镜筒5003的远端取入的观察光被引导到相机头5005，并入射到透镜单元5007上。透镜单元5007通过组合包括变焦透镜和聚焦透镜的多个透镜构成。透镜单元5007的光学特性被调整，以便将观察光会聚在成像单元5009的成像元件的受光面上。此外，变焦透镜和聚焦透镜被配置为使得它们在光轴上的位置可以移动，以便调整捕获图像的放大率和焦点。

成像单元5009由成像元件构成，并且被配置在透镜单元5007的后级。通过透镜单元5007的观察光被会聚在成像元件的受光面上，并且通过光电转换产生对应于观察图像的图像信号。由成像单元5009生成的图像信号被提供给通信单元5013。

例如，具有Bayer阵列的能够捕获彩色图像的互补金属氧化物半导体(CMOS)型图像传感器被用作构成成像单元5009的成像元件。注意，例如，能够处理4K或更大的高分辨率图像的捕获的成像元件可以用作成像元件。由于以高分辨率获得手术部位的图像，因此手术外科医生5067可以更详细地掌握手术部位如何，并且可以更平滑地进行手术。

此外，构成成像单元5009的成像元件被配置成使得构成成像单元5009的成像元件具有一对成像元件，用于分别获取与3D显示兼容的右眼和左眼的图像信号。由于执行了3D显示，手术外科医生5067可以更精确地掌握手术部位中的活体组织的深度。注意，在成像单元5009被配置为多板类型的情况下，透镜单元5007也被设置为与各个成像元件对应的多个系统。

此外，成像单元5009不一定设置在相机头5005中。例如，成像单元5009可以被设置在透镜镜筒5003内，直接在物镜之后。

驱动单元5011由致动器构成，并且在相机头控制单元5015的控制下使透镜单元5007的变焦透镜和聚焦透镜沿着光轴移动预定距离。利用该移动，可以适当地调整成像单元5009的捕获图像的放大率和焦点。

通信单元5013由用于向CCU5039发送各种类型的信息和从其接收各种类型的信息的通信装置构成。通信单元5013将从成像单元5009获得的图像信号作为RAW数据经由传输线缆5065发送到CCU5039。此时，为了以低延迟显示手术部位的捕获图像，优选地，通过光通信来传输图像信号。这是因为手术外科医生5067在用捕获图像观察患部的状态的同时进行手术，因此，为了更安全和可靠的手术，在手术期间需要尽可能实时地显示手术部位的运动图像。在进行光通信的情况下，在通信单元5013中设置将电信号转换成光信号的光电转换模块。图像信号被光电转换模块转换成光信号，然后经由传输线缆5065发送到CCU5039。

此外，通信单元5013从CCU5039接收用于控制相机头5005的驱动的控制信号。该控制信号包括例如关于成像条件的信息，诸如指定捕获图像的帧速率的信息、指定成像时的曝光值的信息和/或指定捕获图像的放大率和焦点的信息。通信单元5013将接收到的控制信号提供给相机头控制单元5015。注意，来自CCU5039的控制信号也可通过光通信来发送。在这种情况下，通信单元5013设置有将光信号转换成电信号的光电转换模块；控制信号通过该光电转换模块被转换成电信号，然后被提供给相机头控制单元5015。

注意，由CCU5039的控制单元5063基于所获取的图像信号自动设置上述成像条件，诸如帧速率、曝光值、放大率和焦点。换句话说，在内窥镜5001中配备了所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制单元5015基于经由通信单元5013从CCU5039接收的控制信号来控制相机头5005的驱动。例如，相机头控制单元5015基于指定捕获图像的帧速率的信息和/或指定成像时的曝光的信息来控制成像单元5009的成像元件的驱动。此外，例如，相机头控制单元5015基于指定捕获图像的放大率和焦点的信息，经由驱动单元5011适当地移动透镜单元5007的变焦透镜和聚焦透镜。相机头控制单元5015还可以包括存储用于识别透镜镜筒5003和相机头5005的信息的功能。

注意，通过将诸如透镜单元5007和成像单元5009的组件布置成具有高气密性和防水性的密封结构，相机头5005能够具有对高压灭菌处理的抵抗力。

接下来，将描述CCU5039的功能配置。通信单元5059由用于向相机头5005发送各种类型的信息和从相机头5005接收各种类型的信息的通信装置构成。通信单元5059接收经由传输线缆5065从相机头5005发送的图像信号。此时，如上所述，可以通过光通信来适当地发送图像信号。在这种情况下，在通信单元5059中设置将光信号转换成电信号的光电转换模块，以便与光通信兼容。通信单元5059将转换为电信号的图像信号提供给图像处理单元5061。

此外，通信单元5059将用于控制相机头5005的驱动的控制信号发送到相机头5005。该控制信号也可以通过光通信来发送。

图像处理单元5061对作为从相机头5005发送的RAW数据的图像信号执行各种图像处理。这些图像处理的示例包括各种已知的信号处理，诸如显影处理、高画质处理(频带增强处理、超分辨率处理、降噪(NR)处理、相机抖动校正处理等)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对图像信号执行波感测处理，以执行AE、AF和AWB。

图像处理单元5061由诸如CPU和GPU的处理器构成，并且可以由根据预定程序工作的该处理器执行上述图像处理和波感测处理。注意，在图像处理单元5061由多个GPU构成的情况下，图像处理单元5061适当地划分与图像信号有关的信息，并通过多个GPU并行地执行图像处理。

控制单元5063执行与内窥镜5001对手术部位的成像和通过成像得到的捕获图像的显示有关的各种控制。例如，控制单元5063生成用于控制相机头5005的驱动的控制信号。此时，在用户已经输入成像条件的情况下，控制单元5063基于用户的输入产生控制信号。或者，在内窥镜5001中配备AE功能、AF功能和AWB功能的情况下，控制单元5063根据图像处理单元5061的波感测处理的结果适当地计算最佳曝光值、焦距和白平衡，并产生控制信号。

此外，控制单元5063基于已由图像处理单元5061对其执行了图像处理的图像信号，在显示装置5041上显示手术部位的图像。此时，控制单元5063使用各种图像识别技术来识别手术部位的图像中的各种物体。例如，控制单元5063检测手术部位的图像中包括的物体的边缘的形状、颜色等，从而能够识别诸如钳子的手术工具、特定活体部位、出血、在使用能量治疗仪器5021时的雾等。当控制单元5063将手术部位的图像显示在显示装置5041上时，控制单元5063利用识别结果，将各种手术辅助信息重叠显示在该手术部位的图像上。由于手术辅助信息被重叠显示并提示给手术外科医生5067，因此能够更安全且可靠地进行手术。

连接相机头5005和CCU5039的传输线缆5065是与电信号的通信兼容的电信号线缆、与光通信兼容的光纤或其复合线缆。

这里，在所示的示例中，使用传输线缆5065通过进行有线通信；然而，相机头5005和CCU5039之间的通信可以无线地执行。在无线地进行相机头5005和CCU5039之间的通信的情况下，不再需要将传输线缆5065布置在手术室中，使得可以消除传输线缆5065妨碍医务人员在手术室中移动的困难。

至此已经描述了可以应用根据本公开的技术的内窥镜手术系统5000的示例。另外，尽管在此已经描述了内窥镜手术系统5000作为示例，但能够应用本公开的技术的系统并不限定于该示例。例如，根据本公开的技术可以应用于检查柔性内窥镜系统或显微手术系统。

根据本公开的技术可以适当地应用于上述配置中的成像单元5009。通过将根据本公开的技术应用于成像单元5009，成像单元5009可以被小型化。此外，由于成像元件的每个像素的布置的自由度更高，因此变得更容易获得期望位置处的手术部位的图像，并且可以更安全和可靠地执行手术。

图51是示出能够应用根据本公开的技术的体内信息获取系统5400的配置的概要的示例的图。参照图51，体内信息获取系统5400由胶囊型内窥镜5401和综合控制体内信息获取系统5400的操作的外部控制装置5423构成。在检查期间，患者吞服胶囊型内窥镜5401。胶囊型内窥镜5401具有成像功能和无线通信功能，并且通过蠕动运动等在诸如胃和肠的器官内部移动直到自发地从患者体内排出为止，同时以规定的间隔依次捕获这些器官内部的图像(以下也称为体内图像)，并将关于捕获的体内图像的信息依次无线发送到体外的外部控制装置5423。外部控制装置5423基于接收到的关于体内图像的信息，生成用于将捕获的体内图像显示在显示装置(未图示)上的图像数据。通过这样配置，在体内信息获取系统5400中，能够在从吞服胶囊型内窥镜5401到排出为止的任何时间获得对被患者的身体内部进行成像而得到的图像。

将更详细地描述胶囊型内窥镜5401和外部控制装置5423的配置和功能。如图51所示，胶囊型内窥镜5401被配置为使得光源单元5405、成像单元5407、图像处理单元5409、无线通信单元5411、馈电单元5415、电源单元5417、状态检测单元5419和控制单元5421的功能被配备在胶囊型壳体5403中。

光源单元5405由诸如发光二极管(LED)的光源构成，并且用光照射成像单元5407的成像视场。

成像单元5407由成像元件和包括设置在成像元件的前级处的多个透镜的光学系统构成。照射到待观察的身体组织上的光的反射光(以下称为观察光)由光学系统会聚，并且入射在成像元件上。成像元件接收观察光，并对所接收到的观察光进行光电转换，以生成与观察光相对应的电信号，即与观察图像相对应的图像信号。由成像单元5407生成的图像信号被提供给图像处理单元5409。注意，各种已知的成像元件(诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)可以用作成像单元5407的成像元件。

图像处理单元5409由诸如中央处理单元(CPU)或图形处理单元(GPU)的处理器构成，并且对由成像单元5407生成的图像信号执行各种信号处理。各种信号处理仅需要包括用于将图像信号发送到外部控制装置5423的最少处理(例如，图像数据压缩、帧速率转换、数据速率转换、格式转换等)。通过配置成使得图像处理单元5409仅执行最少的必要处理，可以以较小的尺寸和较低的功耗来实现图像处理单元5409，因此对于胶囊型内窥镜5401是有利的。然而，在壳体5403中的空间中存在余量和功耗的情况下，可以在图像处理单元5409中执行附加的信号处理(例如，噪声去除处理、其他高画质处理等)。图像处理单元5409将已经对其执行了信号处理的图像信号作为RAW数据提供给无线通信单元5411。注意，在由状态检测单元5419获取关于胶囊型内窥镜5401的状态(移动、取向等)的信息的情况下，图像处理单元5409可以与所获取的信息相关联地将图像信号提供给无线通信单元5411。利用该配置，可以将身体中的捕获图像的位置、图像的成像方向等与捕获图像相关联。

无线通信单元5411由能够向外部控制装置5423发送各种类型的信息和从其接收各种类型的信息的通信装置构成。该通信装置例如由天线5413、执行用于信号发送和接收的调制处理的处理电路等构成。无线通信单元5411对已经由图像处理单元5409进行了信号处理的图像信号进行诸如调制处理的预定处理，并将得到的图像信号经由天线5413发送到外部控制装置5423。此外，无线通信单元5411经由天线5413从外部控制装置5423接收与胶囊型内窥镜5401的驱动控制有关的控制信号。无线通信单元5411将接收到的控制信号提供给控制单元5421。

馈电单元5415由用于接收电力的天线线圈、从天线线圈中产生的电流再生电力的电力再生电路、升压电路等构成。在馈电单元5415中，使用所谓的非接触充电原理产生电力。具体地，当具有预定频率的磁场(电磁波)从外部施加到馈电单元5415的天线线圈时，在天线线圈中产生感应电动势。该电磁波例如可以是经由天线5425从外部控制装置5423发送的载波。通过电力再生电路从所产生的感应电动势再生电力，并且在升压电路中适当地调节再生电力的电势，由此产生用于蓄积的电力。由馈电单元5415产生的电力被蓄积在电源单元5417中。

电源单元5417由二次电池构成，并且蓄积由馈电单元5415产生的电力。在图51中，为了避免使附图复杂化，省略了指示来自电源单元5417的电力的供给目的地的箭头等的图示；然而，在电源单元5417中蓄积的电力被提供给光源单元5405、成像单元5407、图像处理单元5409、无线通信单元5411、状态检测单元5419和控制单元5421，并且可以用于驱动这些单元。

状态检测部5419由诸如加速度传感器和/或陀螺仪传感器的检测胶囊型内窥镜5401的状态的传感器构成。状态检测单元5419可以从传感器的检测结果获取关于胶囊型内窥镜5401的状态的信息。状态检测单元5419将所获取的关于胶囊型内窥镜5401的状态的信息提供给图像处理单元5409。在图像处理单元5409中，如上所述，关于胶囊型内窥镜5401的状态的该信息可以与图像信号链接。

控制单元5421由诸如CPU的处理器构成，并且通过按照预定的程序进行操作来综合控制胶囊型内窥镜5401的操作。控制单元5421根据从外部控制装置5423发送的控制信号适当地控制光源单元5405、成像单元5407、图像处理单元5409、无线通信单元5411、馈电单元5415、电源单元5417和状态检测单元5419的驱动，从而实现如上所述的每个单元中的功能。

外部控制装置5423可以是诸如CPU或GPU的处理器，或者是其中共同安装有处理器和诸如存储器的存储元件的微型计算机或控制板等。外部控制装置5423包括天线5425，并且被配置为使得各种类型的信息可以经由天线5425被发送至胶囊型内窥镜5401和从该胶囊型内窥镜接收。具体地，外部控制装置5423通过向胶囊型内窥镜5401的控制单元5421发送控制信号来控制胶囊型内窥镜5401的操作。例如，可以通过来自外部控制装置5423的控制信号来改变光源单元5405中的对待观察对象的光照射条件。此外，成像条件(例如，成像单元5407中的帧速率或曝光值)可以通过来自外部控制装置5423的控制信号而改变。另外，图像处理单元5409中的处理的内容和无线通信单元5411发送图像信号的条件(例如，发送间隔、发送图像的数量等)可以通过来自外部控制装置5423的控制信号来改变。

另外，外部控制装置5423对从胶囊型内窥镜5401发送的图像信号进行各种图像处理，并且生成用于将捕获到的体内图像显示在显示装置上的图像数据。例如，可以执行各种已知的信号处理作为这些图像处理，诸如显影处理(去马赛克处理)、高画质处理(频带增强处理、超分辨率处理、降噪(NR)处理、相机抖动校正处理等)和/或放大处理(电子变焦处理)。外部控制装置5423控制显示装置(未图示)的驱动，以显示基于所生成的图像数据捕获到的体内图像。或者，外部控制装置5423可以使记录装置(未示出)记录所生成的图像数据，或者可以使打印装置(未示出)输出并打印所生成的图像数据。

到目前为止，已经描述了可以应用根据本公开的技术的体内信息获取系统5400的示例。根据本公开的技术可以以上述配置适当地应用于成像单元5407。通过将根据本公开的技术应用于成像单元5407，可以进一步将胶囊型内窥镜5401小型化，从而可以进一步减轻患者的负担。

<<7.其他>>

上述一系列处理也可以由硬件执行，也可以由软件执行。在通过软件执行一系列处理的情况下，构成软件的程序被安装在计算机中。这里，计算机包括例如结合在专用硬件(例如，控制单元123等)中的计算机。

例如，由计算机执行的程序可以通过记录在用作封装介质等的记录介质(例如，记录介质130等)中来设置。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

注意，由计算机执行的程序可以是其中根据本说明书中描述的顺序沿着时间序列执行处理的程序，或者可替换地，可以是其中并行地或者在例如调用时的必要定时执行处理的程序。

另外，在本说明书中，系统是指多个构成元件(例如，装置和模块(部件))的集合，并且所有构成元件是否布置在同一壳体内不被认为是重要的。因此，容纳在分离的壳体中以便经由网络彼此连接的多个装置和其中多个模块容纳在一个壳体内的一个装置都被认为是系统。

此外，根据本技术的实施例不限于上述实施例，并且在不脱离本技术的范围的情况下，可以进行各种改变。

例如，本技术可以采用云计算配置，其中一个功能被划分并分配给多个装置，以便经由网络在其间协同处理。

此外，上述流程图中描述的各个步骤可以由各自共享的多个装置执行，也可以由单个装置执行。

此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由各自共享的多个装置执行，也可以由单个装置执行。

注意，本公开也可以如下所述地配置。

(1)一种由用户穿戴或使用的电子仪器，所述电子仪器包括：

成像单元，其被布置在能够捕获穿戴或使用所述电子仪器的用户的周围环境的位置处，所述成像单元包括多个像素输出单位，每个像素输出单位接收不经由成像透镜或针孔入射的来自被摄体的入射光，并且输出一个指示根据所述入射光的入射角调制的输出像素值的检测信号。

(2)根据上述(1)所述的电子仪器，其中，

在用户穿戴所述电子仪器的状态下，每个所述像素输出单位被布置在暴露于所述电子仪器外侧的面上。

(3)根据上述(2)所述的电子仪器，其中，

所述电子仪器穿戴在用户的头部上。

(4)根据上述(3)所述的电子仪器，其中，

所述电子仪器是眼镜型或护目镜型。

(5)根据上述(3)所述的电子仪器，其中，

所述电子仪器包括耳机。

(6)根据上述(1)所述的电子仪器，其中，

所述电子仪器包括相机。

(7)根据上述(1)至(6)中任一项所述的电子仪器，还包括

复原单元，其使用来自各个所述像素输出单位的多个检测信号来对复原图像进行复原。

(8)根据上述(7)所述的电子仪器，其中，

所述复原单元使用指示每个所述像素输出单位的入射角指向性的多个系数来对复原图像进行复原。

(9)根据上述(8)所述的电子仪器，其中，

至少部分所述像素输出单位被布置在所述电子仪器的能够变形的部分中，以及

所述复原单元基于所述能够变形的部分的变形状态选择用于复原图像的复原的系数。

(10)根据上述(7)或(8)所述的电子仪器，还包括

控制单元，其基于所述复原图像执行预定处理。

(11)根据上述(10)所述的电子仪器，其中，

所述控制单元基于所述复原图像执行对用户的周围环境的识别处理。

(12)根据上述(11)所述的电子仪器，还包括

记录单元，其控制所述复原图像的记录。

(13)根据上述(1)至(11)中任一项所述的电子仪器，还包括

关联单元，其将包括多个检测信号的检测信号集与在使用所述检测信号集对所述复原图像进行复原的情况下使用的元数据相关联。

(14)根据上述(1)至(13)中任一项所述的电子仪器，其中，所述成像单元包括一个或多个成像元件，以及

在所述成像元件中设置多个像素输出单位。

(15)根据上述(1)至(14)中任一项所述的电子仪器，其中，各个所述像素输出单位被布置在彼此分开的两个或更多个区域中。

(16)根据上述(1)至(15)中任一项所述的电子仪器，其中，所述多个像素输出单位具有能够独立地设置入射角指向性的配置。

(17)根据上述(16)所述的电子仪器，其中，

所述多个像素输出单位分别包括：

一个光电二极管；以及

遮光膜，该遮光膜阻挡部分入射光入射到所述光电二极管上。

(18)根据上述(16)所述的电子仪器，其中，

所述多个像素输出单位中的至少两个像素输出单位包括多个光电二极管，并且通过使对输出有贡献的光电二极管彼此不同从而具有彼此不同的入射角指向性。

(19)根据上述(1)至(18)中任一项所述的电子仪器，其中，

所述成像单元具有用于使所述多个像素输出单位中的所述至少两个像素输出单位的输出像素值的相对于入射光的入射角指向性具有彼此不同的特性的配置。

注意，本说明书中描述的效果仅用作示例，并且不应解释为是限制性的。可以有其他效果。

附图标记列表

101 成像装置

111 信号处理控制单元

121 成像元件

121a，121a' 像素

121A 受光面

121b 遮光膜

121c 片上透镜

121e，121f 光电二极管

122 复原单元

123 控制单元

125 检测单元

126 关联单元

301 电子仪器

311 成像单元

312 信号处理控制单元

321 复原单元

322 控制单元

325 关联单元

326 输出单元

328 记录和回放单元

401 可穿戴设备

411L，411R 透镜

412 框体

431 相机

441 取景器

461 头戴式显示器

471L，471R 透镜

491 PC

501 显示器

502 边框

601 可穿戴设备

611L，611R 透镜

612 框体

631 相机

641 底座

642 闪光灯内置单元

643 透镜

661 头戴式显示器

671 主体部分

672 头垫

691 耳机

701L，701R 外壳

702 头带

721 耳机

731L，731R 外壳

732 颈带

751 弯曲传感器

801 信息处理系统

811 电子仪器

812信号处理装置

901b，901s 像素输出单位

Claims (17)

1.一种被配置为由用户穿戴或使用的电子仪器，所述电子仪器包括：

成像单元，被配置为布置在能够捕获穿戴或使用所述电子仪器的用户的周围环境的位置处，所述成像单元包括多个像素输出单位，每个像素输出单位被配置为具有不同的入射角指向性，以接收不经由成像透镜或针孔入射的来自被摄体的入射光，并且输出一个指示根据所述入射光的入射角调制的输出像素值的检测信号，

其中所述多个像素输出单位具有能够独立地设置入射角指向性的配置。

2.根据权利要求1所述的电子仪器，其中，

在用户穿戴所述电子仪器的状态下，每个所述像素输出单位被布置在暴露于所述电子仪器外侧的面上。

3.根据权利要求2所述的电子仪器，其中，

所述电子仪器被配置为穿戴在用户的头部上。

4.根据权利要求3所述的电子仪器，其中，

所述电子仪器是眼镜型或护目镜型。

5.根据权利要求3所述的电子仪器，其中，

所述电子仪器包括耳机。

6.根据权利要求1所述的电子仪器，其中，

所述电子仪器包括相机。

7.根据权利要求1所述的电子仪器，还包括

复原单元，被配置为使用来自各个所述像素输出单位的多个检测信号来对复原图像进行复原。

8.根据权利要求7所述的电子仪器，其中，

所述复原单元被配置为使用指示每个所述像素输出单位的入射角指向性的多个系数来对复原图像进行复原。

9.根据权利要求7所述的电子仪器，还包括

控制单元，被配置为基于所述复原图像执行预定处理。

10.根据权利要求9所述的电子仪器，其中，

所述控制单元被配置为基于所述复原图像执行对用户的周围环境的识别处理。

11.根据权利要求10所述的电子仪器，还包括

记录单元，被配置为控制所述复原图像的记录。

12.根据权利要求7所述的电子仪器，还包括

关联单元，被配置为将包括多个检测信号的检测信号集与在使用所述检测信号集对所述复原图像进行复原的情况下使用的元数据相关联。

13.根据权利要求1所述的电子仪器，其中，

所述成像单元包括一个或多个成像元件，以及

在所述成像元件中设置多个像素输出单位。

14.根据权利要求1所述的电子仪器，其中，

各个所述像素输出单位被布置在彼此分开的两个或更多个区域中。

15.根据权利要求1所述的电子仪器，其中，

所述多个像素输出单位中的每个像素输出单位包括：

一个光电二极管；以及

遮光膜，被配置为阻挡部分入射光入射到所述光电二极管上。

16.根据权利要求1所述的电子仪器，其中，

所述多个像素输出单位中的至少两个像素输出单位包括多个光电二极管，并且通过使被配置为对输出有贡献的光电二极管彼此不同从而具有彼此不同的入射角指向性。

17.一种被配置为由用户穿戴或使用的电子仪器，所述电子仪器包括：

成像单元，被配置为布置在能够捕获穿戴或使用所述电子仪器的用户的周围环境的位置处，所述成像单元包括多个像素输出单位，每个像素输出单位被配置为具有不同的入射角指向性，以接收不经由成像透镜或针孔入射的来自被摄体的入射光，并且输出一个指示根据所述入射光的入射角调制的输出像素值的检测信号；

复原单元，被配置为使用来自各个所述像素输出单位的多个检测信号来对复原图像进行复原，其中所述复原单元被配置为使用指示每个所述像素输出单位的入射角指向性的多个系数来对复原图像进行复原；以及

能够变形的部分，其中至少部分所述像素输出单位被布置在所述电子仪器的所述能够变形的部分中，

其中所述复原单元被配置为基于所述能够变形的部分的检测到的变形状态选择用于复原图像的复原的系数。

Images