CN115136593A - 成像装置、成像方法和电子装置 - Google Patents

Abstract

本技术涉及能够提高图像质量的成像装置、成像方法和电子装置。本发明包括可以对同一对象进行成像或感测的两个或更多个成像单元。两个或更多个成像单元中的至少一个第一成像单元包括透射多个波段的第一滤光器，并且两个或更多个成像单元中不是第一成像单元的至少一个第二成像单元包括可以改变波段的第二滤光器。例如，本技术可以应用于复眼相机模块、包括复眼相机模块的成像装置以及包括成像装置并提供虚拟现实的装置等。

Description

成像装置、成像方法和电子装置

技术领域

本技术涉及成像装置、成像方法和电子装置，并且例如，涉及使用多个光谱执行成像的成像装置、成像方法和电子装置。

背景技术

已知组合了多个单眼相机模块的复眼相机模块(例如，参见专利文献1)。

引用列表

专利文献

专利文献1：日本专利申请公开第2013-106229号。

发明内容

本发明要解决的问题

期望通过使用复眼相机模块来提高图像质量或提高预定物体的检测精度。

已经鉴于这种情况做出本技术，并且本技术的目的是提高图像质量并且提高预定物体的检测精度。

问题的解决方案

根据本技术的一个方面的成像元件包括能够对同一对象进行成像或感测的两个或更多个成像单元，其中，两个或更多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且两个或更多个成像单元中的除了第一成像单元以外的至少另一第二成像单元包括能够改变波段的第二滤波器。

根据本技术的一个方面的成像装置包括：成像装置，包括能够对同一对象进行成像或感测的两个或多个成像单元，其中，两个或多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且两个或多个成像单元中的除了第一成像单元以外的至少另一第二成像单元包括能够改变波段的第二滤波器；以及处理单元，处理来自成像装置的信号。

在根据本技术的一个方面的成像方法中，成像装置包括能够对同一对象进行成像或感测的两个或更多个成像单元，其中，两个或更多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且两个或更多个成像单元中的除了第一成像单元以外的至少另一第二成像单元包括能够改变波段的第二滤波器，并且该成像方法包括：使用通过合成由第一成像单元捕获的图像和由第二成像单元捕获的图像而获得的合成图像来估计对象。

根据本技术的一个方面的成像元件包括能够对同一对象进行成像或感测的两个或更多个成像单元，其中，两个或更多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且两个或更多个成像单元中的除了第一成像单元之外的至少另一第二成像单元包括能够改变波段的第二滤波器。

根据本技术的一个方面的电子装置包括成像装置。

注意，成像装置和电子装置可以是独立的装置，或者可以是构成一个装置的内部块。

附图说明

图1是用于说明与复眼有关的配置的示图。

图2是用于说明成像装置的配置的示图。

图3是用于说明成像元件的配置的示图。

图4是用于说明滤波器的布置的示图。

图5是用于说明法布里-珀罗光谱仪的示图。

图6是用于说明法布里-珀罗光谱仪的布置的示图。

图7是用于说明将被插值的颜色的波段的示图。

图8是用于说明成像处理1的流程图。

图9是用于说明成像处理2的流程图。

图10是用于说明成像处理3的流程图。

图11是用于说明对移动对象的影响的示图。

图12是用于说明校正的示图。

图13是用于说明校正的流程图。

图14是示出像素的配置示例的示图。

图15是用于说明包括多光谱像素的颜色布置的示图。

图16是用于说明来自多光谱像素的输出的示图。

图17是示出信息处理系统的实施例的配置的示图。

图18是示出显示装置的示例的示图。

图19是示出AR-HMD的外部配置的示图。

图20是示出作为信息处理设备的AR-HMD的配置示例的框图。

图21是用于说明AR-HMD的使用示例的示图。

图22是用于说明记录介质的示图。

图23是示出内窥镜手术系统的示意性配置的示例的示图。

图24是示出摄像头和CCU的功能配置的示例的框图。

图25是示出车辆控制系统的示意性配置的示例的框图。

图26是示出车辆外部信息检测单元和成像单元的安装位置的示例的说明图。

具体实施方式

在下文中，将描述用于实现本技术的实施例(在下文中，被称为实施例)。

<复眼相机模块的配置>

本技术可以应用于包括复眼相机模块的成像装置。图1是示出应用本技术的复眼相机模块的外部配置示例的示图。

在图1中，图1的A是复眼相机模块10的立体图，并且图1的B是复眼相机模块10的主视图。

复眼相机模块10是复眼型的相机模块，并且通过具有矩形板状的连接构件22固定单眼相机模块21-1和单眼相机模块21-2来配置。

在单眼相机模块21-1中，安装诸如互补金属氧化物半导体(CMOS)图像传感器的固态成像元件、透镜单元等。

在单眼相机模块21-1中，固态成像元件包括二维地布置多个像素的像素单元、驱动像素并执行模拟/数字(A/D)转换等的外围电路单元等。在该固态成像元件中，从透镜单元中的透镜入射的光(图像光)在像素单元的光接收表面上形成图像，并且所形成的图像的光被光电转换以生成像素信号。

与单眼相机模块21-1类似，通过安装CMOS图像传感器、透镜单元等来配置单眼相机模块21-2。例如，在复眼相机模块10中，单眼相机模块21-1可以用作主相机，而单眼相机模块21-2可以用作子相机。

连接构件22具有轮廓大于当布置单眼相机模块21-1的透镜单元和单眼相机模块21-2的透镜单元时的平面方向的尺寸的矩形板形状。此外，插入单眼相机模块21-1的透镜单元的矩形插入孔部分和插入单眼相机模块21-2的透镜单元的矩形插入孔部分对称地形成为穿透连接构件22。

在复眼相机模块10中，单眼相机模块21-1的透镜单元和单眼相机模块21-2的透镜单元分别被插入并固定到形成为穿透连接构件22的两个矩形插入孔部分中。因此，复眼相机模块10被配置为包括单眼相机模块21-1和单眼相机模块21-2的复眼型的相机模块。

复眼相机模块10如上所述配置。

注意，单眼相机模块21-1和单眼相机模块21-2是通过连接构件22连接的多个单眼相机模块的示例，并且在下文中在不特别需要区分这些单眼相机模块的情况下简称为单眼相机模块21。

此外，单眼相机模块是一个固态成像元件(图像传感器)安装在其上的相机模块。然而，复眼相机模块是通过连接多个单眼相机模块安装多个固态成像元件(图像传感器)的相机模块。然而，模块可以被称为其他名称，诸如封装。

此外，这里，示出了如图1所示通过连接构件22连接单眼相机模块21-1和单眼相机模块21-2的结构，但是在不使用连接构件22的情况下简单布置单眼相机模块21-1和单眼相机模块21-2的情况也在本技术的应用范围内。

<成像装置的配置>

图2是示出包括图1所示的复眼相机模块10的成像装置100的实施例的配置的示图。

成像装置100包括成像单元110和成像单元120。虽然稍后将描述细节，但是成像单元110和成像单元120接收和处理不同波段的光。例如，在假设除了诸如红色波长和蓝色波长的频带差之外，不同的波段还包括窄带与宽带之间的差的情况下，继续描述。这里，在假设成像单元110是接收和处理具有宽带波长的光的成像单元，并且成像单元120是接收和处理具有窄带波长的光的成像单元的情况下，继续描述。

注意，这里，描述成像装置100包括成像单元110和成像单元120的情况作为示例，但是成像装置可以包括两个或更多个成像单元。

成像单元110例如对应于图1中的复眼相机模块10的单眼相机模块21-1，并且成像单元120例如对应于图1中的复眼相机模块10的单眼相机模块21-2。

成像装置100包括：处理单元131，获取并处理来自成像单元110的信号和来自成像单元120的信号；以及图像输出单元132，输出由处理单元131处理的图像。此外，成像装置100包括存储器134和通信单元135。通信单元135被配置为能够经由网络(未示出)与预定服务器151交换数据。

服务器151例如是云上的服务器。此外，代替从服务器151读取数据的配置，可以采用读取记录在预定记录介质上的数据的配置(包括驱动器的配置)。

成像单元110包括透镜111、宽带光电转换单元112、A/D转换单元113、夹持单元114、颜色特定输出单元115、缺陷校正单元116和线性矩阵单元117。

透镜111将入射光会聚在宽带光电转换单元112上。宽带光电转换单元112例如包括滤色器，接收并处理红色(R)、绿色(G)和蓝色(B)光，并且将每个信号输出至A/D转换单元113。A/D转换单元113将通过宽带光电转换单元112进行光电转换的对象的图像的模拟信号转换为数字值。

夹持单元114减去从A/D转换单元113提供的对象的图像的数字数据(图像数据)的黑电平。颜色特定输出单元115根据需要补充从夹持单元114提供的图像数据的颜色信号。缺陷校正单元116评估像素的缺陷，并且根据评估结果根据需要校正被评估为缺陷的像素。

线性矩阵单元117根据需要将线性矩阵应用于从缺陷校正单元116提供的图像数据，以提高颜色再现等。

在由线性矩阵单元117处理之后，可以设置在图像数据被供应至处理单元131之前或者在处理单元131处理之后的阶段对图像数据执行用于使亮度表达自然的伽马校正处理或者用于生成亮度信号和色度信号的处理的块。

成像单元110具有类似于称为数字相机的普通相机的功能，并且具有对对象进行成像并生成彩色图像的功能。

成像单元120包括透镜121和窄带光电转换单元1522。透镜121将入射光会聚在窄带光电转换单元1522上。窄带光电转换单元1522包括例如法布里-珀罗光谱仪，接收并处理预定波段的光，并且输出至A/D转换单元123。A/D转换单元123将通过窄带光电转换单元1522光电转换的对象的图像的模拟信号转换为数字值，并且将该数字值输出至处理单元131。

<光电转换单元的配置>

图3是示出宽带光电转换单元112和A/D转换单元113的配置的示图。如图3所示，宽带光电转换单元112包括：像素区域203，在该像素区域中，包括多个光电转换元件的像素202被规则地且二维地布置在半导体基板(例如，硅基板)上；以及外围电路区域。

像素202包括光电转换元件(例如，光电二极管(PD))和多个像素晶体管(所谓的MOS晶体管)。多个像素晶体管可以例如由传输晶体管、复位晶体管和放大晶体管中的三个晶体管配置，并且可以通过进一步添加选择晶体管来由四个晶体管配置。

此外，像素202还可以具有像素共享结构。该像素共享结构包括多个光电二极管、多个传输晶体管、一个共享浮动扩散件以及每一个共享的另一像素晶体管。光电二极管是光电转换元件。

外围电路区域包括垂直驱动电路204、列信号处理电路205、水平驱动电路206、输出电路207以及控制电路208。

控制电路208接收输入时钟和指示操作模式等的数据，并输出诸如宽带光电转换单元112的内部信息的数据。具体地，控制电路208基于垂直同步信号、水平同步信号和主时钟生成用作垂直驱动电路204、列信号处理电路205和水平驱动电路206的操作的基准的时钟信号或控制信号。然后，控制电路208将这些信号输入至垂直驱动电路204、列信号处理电路205和水平驱动电路206。

垂直驱动电路204例如由移位寄存器配置，选择像素驱动布线，将用于驱动像素202的脉冲提供至所选择的像素驱动布线，并且以行为单位驱动像素202。具体地，垂直驱动电路204以行为单位顺序地在垂直方向上选择性地扫描像素区域203中的每个像素202，并且通过垂直信号线209将基于每个像素202的光电转换元件中根据所接收的光的量生成的信号电荷的像素信号提供至列信号处理电路205。

列信号处理电路205对应于图2所示的A/D转换单元113。例如，列信号处理电路205针对像素202的每一列布置，并且针对每个像素列对从一行像素202输出的信号执行诸如噪声去除的信号处理。具体地，列信号处理电路205执行诸如用于去除像素202特有的固定图案噪声的相关双采样(CDS)、信号放大和模拟/数字(A/D)转换的信号处理。在列信号处理电路205的输出级中，水平选择开关(未示出)被连接并设置在水平信号线210之间。

水平驱动电路206例如由移位寄存器配置并且通过顺序地输出水平扫描脉冲顺序地选择列信号处理电路205中的每一个，并且使列信号处理电路205中的每一个将像素信号输出至水平信号线210。

输出电路207对通过水平信号线210从列信号处理电路205中的每一个顺序地提供的信号执行信号处理，并且输出该信号。例如，输出电路207可以仅执行缓冲，或者可以执行黑电平调整、列变化校正、各种类型的数字信号处理(由图2中的夹持单元114执行的处理)等。

输入/输出端子212被设置为外部地交换信号。

窄带光电转换单元1522和A/D转换单元123的基本配置类似于宽带光电转换单元112和A/D转换单元113的配置，并且可以是图3所示的配置。因此，这里省略其描述。在以下描述中，与窄带光电转换单元1522和A/D转换单元123相关的部分的参考标号添加用于描述的破折号。例如，窄带光电转换单元1522的像素区域203通过破折号被描述为像素区域203’。

<关于滤波器>

宽带光电转换单元112和窄带光电转换单元1522包括不同的滤波器。预定滤波器设置在像素区域203(203’)上，并且每个像素202(202’)被配置为接收透射通过每个滤波器的预定波段的光。

宽带光电转换单元112的滤波器例如可以是如在图4的A所示的RGB滤色器。图4的A示出了被称为拜耳阵列的RGB滤色器的阵列。2×2的四个像素被分配给R像素、G像素、G像素和B像素。此外，本技术还可以应用于以下情况：2×2的四个像素被分配给R像素，与R像素的右侧相邻的四个像素被分配给G像素，在R像素的下侧的四个像素被分配给G像素，并且与G像素的右侧相邻的四个像素被分配给B像素。

此外，两个G像素中的一个可以被布置为透明(白色)像素。此外，这里，以RGB为例继续进行说明，但也可以使用其他的滤波器，诸如包括青色(Cy)、品红色(Mg)、黄色(Ye)和白色(W)的各颜色的滤波器。

此外，还可以使用除滤色器之外的滤波器，例如，被称为等离子体滤波器的滤波器。虽然可以使用任何滤波器，但是宽带光电转换单元112的滤波器是接收(透射)宽带波长的光的滤波器。在宽带光电转换单元112由RGB滤色器配置的情况下，宽带光电转换单元112用作透射和处理从蓝色(B)至红色(R)波段(例如，400nm至700nm的波段)的光的光电转换单元。

窄带光电转换单元1522处理比宽带光电转换单元112处理的波段窄的范围中的波段。窄带光电转换单元1522包括透射预定范围中的波段的光的滤波器。作为滤波器，例如，可以使用被称为法布里-珀罗光谱仪(干涉仪)等的滤波器。在使用法布里-珀罗光谱仪的情况下，如图4的B所示，法布里-珀罗光谱仪251被布置在窄带光电转换单元1522的像素区域203’上，以覆盖所有像素。

将参考图5描述法布里-珀罗光谱仪251。法布里-珀罗光谱仪251可以用作透射特定波长的光的滤波器。如图4所示，法布里-珀罗光谱仪251是包括两个半透射镜252和253的光学装置，并且两个半透射镜252和253被布置为彼此相对并且彼此平行。半透射镜252和253被加工成具有高反射率和小透射率的反射面。

从法布里-珀罗光谱仪251的一侧(图中的上侧)入射的光在两个反射面之间被反射并往复多次以彼此干涉。由于光以恒定的光路差往复多次，透射通过半透射镜253的光变成具有相当长度的干涉光。因此，当将其用作光谱仪时，可以获得非常高的分辨率。

即，可以从入射光中选择期望由法布里-珀罗光谱仪251分析的波长，并且所选择的光可以由像素202’接收。

如上所述，法布里-珀罗光谱仪251被配置为使得通过使光在半透射镜252与半透射镜253之间反射并往复并且彼此干涉，透射预定波长的光。可以通过半透射镜252与半透射镜253之间的距离来设置要透射的光的波长。换句话说，通过改变半透射镜252与半透射镜253之间的距离，可以透射要透射的波长的光。

例如，可以向半透射镜252和半透射镜253施加电压，并且可以通过静电引力调节半透射镜252与半透射镜253之间的距离。能够改变要透射的光的波段的这种法布里-珀罗光谱仪被称为微机电系统(MEMS)法布里-珀罗光谱仪等。这里，作为示例，将描述能够将要透射的光的波段可变地设定为期望波段的MEMS法布里-珀罗光谱仪用作法布里-珀罗光谱仪251的情况。注意，同样在以下描述中，将继续将MEMS法布里-珀罗光谱仪简称为法布里-珀罗光谱仪251的描述。

在法布里-珀罗光谱仪251用作窄带光电转换单元1522的滤波器的情况下，如图4的B所示，可以布置覆盖像素区域203’的整个表面的法布里-珀罗光谱仪251。

此外，如图6的A所示，可以采用像素区域203’被划分为2×2四个区域，并且法布里-珀罗光谱仪251-1至251-4布置在相应区域中的配置。此外，如图6的A所示，可以采用像素区域203’在垂直方向上被划分为四个区域并且法布里-珀罗光谱仪251-1至251-4被布置在相应区域中的配置。

尽管未示出，但是可以采用像素区域203’在水平方向上被划分为四个区域并且法布里-珀罗光谱仪251-1至251-4被布置在相应区域中的配置。划分的数量可以是任意数量，并且可以采用根据划分的数量在像素区域203’中布置多个法布里-珀罗光谱仪251的配置。此外，可以采用为每个像素202’设置法布里-珀罗光谱仪251的配置。

如参考图4所描述的，在法布里-珀罗光谱仪251中，根据两个半透射镜252和253之间的距离设置要透射的光的波长，但是这两个半透射镜之间的距离不总是均匀的。例如，在法布里-珀罗光谱仪251的中心部分，半透射镜252可以松弛，并且半透射镜252与半透射镜253之间的距离可以短于半透射镜252与半透射镜253在端部部分之间的距离。

为了防止这种情况，可以布置如参考图6所描述的多个法布里-珀罗光谱仪251以便减小每个半透射镜的面积并防止中心部分松弛。此外，尽管稍后将描述细节，但是通过应用本技术，即使如图4的B所示，在像素区域203’中设置一个法布里-珀罗光谱仪251，即使法布里-珀罗光谱仪251的两个半透射镜252和253之间的距离不均匀，也可以适当地执行校正和处理。

在以下描述中，将描述如图4的B中在像素区域203’中设置一个法布里-珀罗光谱仪251的情况作为示例。

以这种方式，成像单元110包括宽带光电转换单元112，并且宽带光电转换单元112接收和处理滤色器等的宽带波长的光，并且生成彩色图像。在以下描述中，成像单元110将被适当地描述为宽带成像单元110。

成像单元120包括窄带光电转换单元1522，并且窄带光电转换单元1522接收并处理法布里-珀罗光谱仪251等的窄带波长的光，并且生成图像。在以下描述中，成像单元120将被适当地描述为窄带成像单元120。

由于成像装置100包括宽带成像单元110和窄带成像单元120，所以可以接收和处理如图7所示的波段的光。当参考图7的A至C时，宽带成像单元110接收和处理蓝色(B)波段B的光、绿色(G)波段G的光和红色(R)波段R的光。

由于窄带成像单元120可以设置期望接收和处理的波段，所以可以根据期望成像的对象或者目的设置波段。在图7的A中，设置为要透射通过法布里-珀罗光谱仪251的光的波段的波段是比蓝色更短的波长的波段F，例如，紫色(紫外线)的波段F。

此外，法布里-珀罗光谱仪251的波段F的半值宽度小于滤色器的波段的半值宽度，例如小于波段B的半值宽度。即，同样在这方面，法布里-珀罗光谱仪251可以说是透射窄带的波长的滤波器，并且是可以选择性地透射期望波长的光的滤波器。

如图7的A所示，在紫外光的波段F由窄带成像单元120成像的情况下，例如，可以在适合于人类皮肤分析的波段内执行成像。例如，人的面部上的色斑可以通过窄带成像单元120成像，并且图像可以提供给用户，其中，色斑叠加在通过宽带成像单元110成像的面部的彩色图像上。

在对诸如色斑的皮肤状况进行成像的情况下，与在可见光区域的波段(波段R、G和B)中的成像相比，在紫外线的波段中的成像可以以更高的灵敏度来执行。因此，通过由窄带成像单元120对皮肤状况进行成像，可以提高对皮肤状况的这种成像的灵敏度。

此外，本技术不仅可以应用于诸如色斑的皮肤状况的分析，而且可以应用于例如用于检测诸如防晒剂的化妆品的未应用区域的成像。例如，应用本技术的成像装置100可以安装在智能电话等上，并且可以提供用于对用户面部进行成像、检测化妆品的未应用区域并通知用户的应用。

此外，在由窄带成像单元120捕获紫外光的情况下，通过分析所捕获的图像可以测量外部光的紫外光量，并且可以根据测量值发出警报。

在图7的B所示的示例中，被设置为要透射通过法布里-珀罗光谱仪251的光的波段的波段是绿色波段G与红色波段R之间的波段F，例如，黄色波段F。

如图7的B所示，在黄色波段F由窄带成像单元120成像的情况下，可以提高颜色再现性。通过合成由包括RGB滤色器的宽带成像单元110捕获的图像和由包括法布里-珀罗光谱仪251的窄带成像单元120捕获的图像，可以提高颜色再现并且获得具有提高的图像质量的图像。

窄带成像单元120可以对在宽带成像单元110捕获的图像中颜色再现性下降的颜色进行成像。换句话说，可以通过窄带成像单元120补充颜色。在图7的B中，以窄带成像单元120补充绿色波段G与红色波段R之间的波段F的颜色的情况为例，但是可以改变波段F并且可以补充其他颜色。

例如，通过窄带成像单元120捕获并补充由宽带成像单元110捕获的图像中颜色再现性下降的颜色，可以进一步提高人类肤色的再现性，并且可以更真实地捕获人。

此外，本技术还可以应用于利用肤色辨别能力执行人识别、检测健康状况的变化等的情况。此外，本技术还可以应用于成像装置100安装在医疗智能眼镜等上以辅助医疗检查并且提高诊断系统的情况。例如，可以将通过将彩色图像和在适合于对眼睛周围的阴影、黄疸等进行成像的波段F中捕获的图像叠加而获得的图像呈现给医生。

如图7的C所示，在窄带成像单元120被适配为对红外光的波段F进行成像的情况下，例如，可以检测物体或异物。例如，可以通过分析由窄带成像单元120在红外光的波段F中捕获的图像来识别在可见光区域中难以区分的具有相同颜色的不同物体。

此外，本技术还可以应用于作为要检测的物体的纸或塑料包装中的内容量的状态、食品的损坏状态、植物的健康状况等。此外，成像装置100还可以用于智能眼镜或智能家居中，并且用于例如检测到高温物体并发出警报的情况。

<成像装置100的第一处理>

将参考图8的流程图描述成像装置100的第一处理。

在步骤S11中，窄带成像单元120执行要由法布里-珀罗光谱仪251透射的光的波段设置为预定波段(适当地描述为第一波长)的成像。与窄带成像单元120的成像同步，宽带成像单元110也执行成像(步骤S12)。

在步骤S13中，处理单元131执行分析。处理单元131执行适合于成像目的的分析。例如，在参考图7的A所描述的分析皮肤状况的情况下，执行适合于分析皮肤状况的目的的分析。适于分析皮肤状况的目的的分析包括关于是否已经在适合于对色斑进行成像的波段中执行成像的分析。

此外，在窄带成像单元120执行用于补充颜色的成像以便提高肤色的再现性的情况下，包括关于补充颜色是否适当的分析，这是关于是否设置补充颜色的波段的分析。

在执行这种分析的情况下，换句话说，在分析(确定)是否在设置为最佳波段的状态下进行成像的情况下，可以采用将所需图像提供给处理单元131的配置。

例如，可以采用仅使用来自窄带成像单元120的图像执行分析的配置。在这种配置的情况下，可以获得省略步骤S12中的宽带成像单元110中的成像处理的处理流程。

此外，例如，可以采用仅使用来自宽带成像单元110的图像执行分析的配置。在这种配置的情况下，可以获得省略步骤S11中的窄带成像单元120中的成像处理的处理流程。

此外，例如，可以采用使用来自窄带成像单元120的图像和来自宽带成像单元110的图像执行分析的配置。在这种配置的情况下，通过处理单元131执行合成来自窄带成像单元120的图像和来自宽带成像单元110的图像的处理，并且使用合成图像执行分析。

通过使用通过合成来自窄带成像单元120的图像和来自宽带成像单元110的图像而获得的合成图像来执行分析、通过仅使用来自窄带成像单元120的图像来执行分析还是通过仅使用来自宽带成像单元110的图像来执行分析仅需要被设置为使得根据分析内容使用允许最精确分析的图像。

此外，可以根据分析内容切换是使用合成图像执行分析、仅使用来自窄带成像单元120的图像执行分析、还是仅使用来自宽带成像单元110的图像执行分析。

利用步骤S13中的分析结果，执行步骤S14中的确定。在步骤S14中，确定分析结果是否良好。

例如，在分析皮肤状况的情况下，确定诸如色斑的皮肤状况是否已经被成功成像。此外，例如，在分析肤色的情况下，确定是否在肤色的再现性高的状态下成功执行了成像。换句话说，这样的确定是是否在适当的波长频带中执行了成像的确定。

在步骤S14中确定分析结果不好的情况下，换句话说，在确定未在适当的波段中进行成像的情况下，处理进行至步骤S15。

在步骤S15中，获取关于最佳波长的信息。在确定分析结果不好的情况下，处理单元131从存储在存储器134(图2)中的数据读取关于最佳波段的信息。可替换地，处理单元131控制通信单元135，访问服务器151，并且从存储在服务器151中的数据读取关于最佳波段的信息。

例如，适于对皮肤状况(是否存在色斑等)进行成像的波段和适于提高肤色的再现性的成像的波段根据种族、年龄、性别等而不同。例如，在步骤S11至S13中，通过在预先设定的第一波段中执行成像并分析在第一波段中捕获的图像，可以指定对象的种族、年龄、性别等，并且可以读取关于基于所指定的信息的最佳波长的信息。

在这种情况下，存储器134和服务器151存储对象的种族、年龄、性别和最佳波长彼此相关联的数据。这样的数据可以是通过学习获得的数据并且可以被更新。

当在步骤S15中获取关于最佳波长的信息时，基于该信息，窄带光电转换单元1522的法布里-珀罗光谱仪251的波段(适当地描述为第二波段)被设置为波段。然后，返回到步骤S11，并且在设定的第二波段中执行成像，重复进行步骤S11中和步骤S11后的处理。

然而，在步骤S14中确定分析结果良好的情况下，换句话说，在确定已经在最佳波段执行成像的情况下，处理进行至步骤S16。

在步骤S16中，处理单元131合成来自窄带成像单元120的图像和来自宽带成像单元110的图像，并且经由图像输出单元132将图像输出至显示单元、记录单元等(未示出)。

在步骤S13中执行使用合成图像的分析的情况下，可以输出也用于分析的合成图像。此外，在仅使用来自窄带成像单元120或者宽带成像单元110的图像执行分析本身的情况下，在执行生成合成图像的处理之后输出合成图像。

此外，来自窄带成像单元120的图像和来自宽带成像单元110的图像可以通过在最佳波段中利用窄带成像单元120再次执行成像并且与成像同步地利用宽带成像单元110执行成像来获取，并且可以生成并输出合成图像。

当生成合成图像时，可以执行基于分析结果的颜色校正，并且可以输出经过颜色校正的合成图像。例如，当提高肤色的再现性时，可以基于分析时的信息执行用于提高肤色的再现性的颜色校正。此外，例如，当在步骤S15中读取关于最佳波长的信息时，可以一起从存储器134或服务器151读取用于执行颜色校正的控制数据。

<成像装置100的第二处理>

将参考图9的流程图描述成像装置100的第二处理。

在步骤S31中，窄带成像单元120顺序地改变要由法布里-珀罗光谱仪251透射的光的波段并且执行多次成像。与窄带成像单元120的成像同步，宽带成像单元110也执行多次成像(步骤S32)。

在步骤S33中，估计对象。可以使用通过合成来自窄带成像单元120的图像和来自宽带成像单元110的图像获得的合成图像或者仅使用来自窄带成像单元120的图像和来自宽带成像单元110的图像中的任一个来估计对象。

利用步骤S33中的对象的估计结果执行步骤S34中的确定。即，在步骤S34中，确定对象是否已被成功估计。在步骤S34中确定对象已被成功估计的情况下，处理进行至步骤S35。

在步骤S35中，获取关于最佳波长的信息。在步骤S35中获取的信息是关于适合于对所估计的对象进行成像的波长的信息，该波长是与用于提高图像质量的要插值的颜色相对应的波长。

例如，作为分析捕获图像的结果，在分析人的面部占据图像中的大面积的情况下，从存储器134或服务器151(图2)读取关于人的肤色的波段的信息。通过比较所读取的关于波段的信息、来自窄带成像单元120的图像中的人的面部部分的颜色和来自宽带成像单元110的图像的颜色，设置要由窄带成像单元120成像的波段。

由于人的肤色根据种族、性别等而不同，因此读取多个信息。然后，由于窄带成像单元120在不同的波段执行成像，并且宽带成像单元110也与窄带成像单元120的成像同步地执行多次成像，因此从窄带成像单元120和宽带成像单元110获得多个图像。

例如，通过比较来自窄带成像单元120的图像中的人的面部部分的颜色与来自宽带成像单元110的图像的颜色，确定粗糙的肤色(确定种族)，并且选择关于适合于对肤色进行成像的波段的信息。

可以通过从云上的服务器151获取数据并使用该数据来估计对象。此外，这样的数据可以预先或者以预定定时存储在存储器134中，并且可以使用存储在存储器134中的数据。

此外，对象可以由用户设置。例如，在分析色斑的情况下，对象是人(面部)。因此，在分析皮肤状况的情况下，可以假设人(面部)被设置为对象来执行处理。此外，可以基于AI功能来执行与对象的估计有关的处理。

在步骤S36中，基于在步骤S35中的处理中获取的关于最佳波长的信息设置法布里-珀罗光谱仪251的波段，并且通过窄带成像单元120执行最佳波段中的成像。此外，还在宽带成像单元110中与该成像同步地执行成像。

在步骤S37中，合成并输出在最佳波段中捕获的来自窄带成像单元120的图像和与窄带成像单元120的成像同步地捕获的来自宽带成像单元110的图像。

然而，在步骤S34中确定对象的估计失败的情况下，处理进行至步骤S37，并且生成并输出合成图像。在这种情况下，由于在步骤S31和S32的处理中已经捕获了多个图像，因此可以生成多个合成图像。可以输出所有多个合成图像，或者可以选择并输出被确定为最佳捕获的图像。

以这种方式，当估计对象时，在最佳捕获对象的图像的要插值的颜色的波段中执行成像。

注意，例如，步骤S31至S36的处理可以重复多次。例如，通过第一次执行步骤S31至S36的处理来指定对象。在对象被指定为人的情况下，例如，在第二次的步骤S31至S36的处理中，通过在针对人的肤色的波段中改变用于成像的波段的同时执行多次成像来指定对象的肤色。然后，设定针对所指定的对象的肤色最佳的波段，并且执行最终成像。

以这种方式，通过多次重复进行处理，可以获得可以更精确地设置适合于对象的波段的处理流程。

与第一处理类似，同样在第二处理中，当生成合成图像时，可以执行基于分析结果的颜色校正，并且可以输出经受颜色校正的合成图像。例如，当提高肤色的再现性时，可以基于分析时的信息执行用于提高肤色的再现性的颜色校正。此外，例如，当在步骤S35中读取关于最佳波长的信息时，可以一起从存储器134或服务器151读取用于执行颜色校正的控制数据。

<成像装置100的第三处理>

将参考图10的流程图额外描述成像装置100的第三处理。

成像装置100的第三处理与第二处理的不同之处在于，省略了从参考图9的流程图的第二处理再次执行设置有最佳波长的成像的步骤S36的处理。其他点与第二处理中的相似，并且因此，由于其描述重叠，所以适当地省略其描述。

在步骤S51中，窄带成像单元120顺序地改变要由法布里-珀罗光谱仪251透射的光的波段并且执行多次成像。与窄带成像单元120的成像同步，宽带成像单元110也执行多次成像(步骤S52)。

在步骤S53中，估计对象。利用步骤S53中的对象的估计结果执行步骤S54中的确定。即，在步骤S54中，确定对象是否已被成功估计。在步骤S54中确定对象已被成功估计的情况下，处理进行至步骤S55。

在步骤S55中，获取关于最佳波长的信息。在步骤S55中获取的信息是关于适合于对所估计的对象进行成像的波长的信息，该波长是与用于提高图像质量的要插值的颜色相对应的波长。

在步骤S56中，基于在步骤S55的处理中获取的关于最佳波长的信息来选择在最接近最佳波段的波段中捕获的窄带成像单元120的图像。然后，当捕获所选择的图像时，所选择的图像与由宽带成像单元110捕获的图像合成并且被输出。

然而，在步骤S54中确定对象的估计失败的情况下，处理进行至步骤S56，并且生成并输出合成图像。在这种情况下，由于在步骤S51和S52的处理中已经捕获了多个图像，因此可以生成多个合成图像。可以输出所有多个合成图像，或者可以选择并输出被确定为最佳捕获的图像。

以这种方式，当估计对象时，选择在最佳捕获对象的图像的要插值的颜色的波段中捕获的图像。

与第一处理和第二处理类似，同样在第三处理中，当生成合成图像时，可以执行基于分析结果的颜色校正，并且可以输出经受颜色校正的合成图像。例如，当提高肤色的再现性时，可以基于分析时的信息执行用于提高肤色的再现性的颜色校正。此外，例如，当在步骤S55中读取关于最佳波长的信息时，可以一起从存储器134或服务器151读取用于执行颜色校正的控制数据。

<其他处理>

在上述成像装置100的处理中，窄带成像单元120和宽带成像单元110同步执行成像，并通过合成同步捕获的图像来生成合成图像。以这种方式，当窄带成像单元120和宽带成像单元110同步执行成像时，如图11所示，甚至对于移动对象可以生成合成图像而不引起位置偏离。

图11的上部部分的示图示出了时间T1的对象和时间T2的对象。在图11中，作为示例，将描述对象是人(的面部)并且对在人的面部301上具有色斑302的对象进行成像的情况。此外，将描述对在时间T1面部301朝向正面并且在时间T2面部301稍微倾斜的对象进行成像的情况。

图11的中间部分的示图示出了由窄带成像单元120捕获的图像的示例。在时间T1，窄带成像单元120在可以对面部301进行成像的波段中执行成像，并且获取图像311。假设色斑302未在该波段中成像。在时间T2，窄带成像单元120在适于对色斑302进行成像的波段中执行成像，并且获取图像312。在图像312中，色斑302被成像，并且面部301未被成像。

在仅合成由窄带成像单元120获得的图像的情况下，即，如果合成图像311和图像312，则获得图像313。在图像313中，面部301和色斑302被成像。当参考图像313时，色斑302位于眼睛上方。当参考图11中的上部部分的示图时，色斑302的实际位置位于眼睛旁边。

从时间T1到时间T2，由于面部301已经偏移到颈部倾斜的状态，所以色斑302的位置也在图像中移动。当在时间T2由窄带成像单元120成像的色斑302与在时间T1由窄带成像单元120成像的面部301合成时，存在生成如图像313中的色斑302位于眼睛上方的合成图像的可能性。

在本技术中，由于窄带成像单元120和宽带成像单元110同步执行成像，获取如图11的下部部分所示的图像。

在时间T1，面部301由宽带成像单元110成像。此外，在窄带成像单元120设置有适合于对色斑302进行成像的波段的情况下，面部301和眼睛旁边的色斑302被成像，如图像321所示。因此，作为合成图像，获取色斑302位于正确位置处的图像，如图像321所示。

如果窄带成像单元120设置有不适于对色斑302进行成像的波段，则作为合成图像，获取仅对面部301进行成像的图像(例如，彩色图像)而非诸如图像311的图像。

此外，同样在时间T2，类似地，面部301由宽带成像单元110成像，并且色斑302由窄带成像单元120成像。在时间T2，由于颈部处于倾斜的状态，因此色斑302的位置变化。然而，通过宽带成像单元110对变化之后的面部301进行成像，并且通过窄带成像单元120对变化之后的色斑302进行成像。

因此，如图像3522中所示，可以获得合成图像323，在该合成图像中，对眼睛旁边的面部301和色斑302进行成像。

如上所述，通过使窄带成像单元120和宽带成像单元110同步执行成像，即使对象移动，也可执行具有降低的移动的影响的成像。

此外，可以处理以下情况。通过顺序地改变窄带成像单元120的波段并且执行成像来获取多个图像。将考虑生成通过合成多个先前图像获得的合成图像的情况。

宽带成像单元110还与窄带成像单元120的成像同步地捕获多个图像。由宽带成像单元110捕获的图像用于检测对象的移动。

如果不考虑对象的移动，如参考图11的中间部分所描述的，在即使对象移动也忽略移动的状态下执行合成。因此，例如，存在生成在错误位置处具有色斑302的图像的可能性。

通过使用由宽带成像单元110捕获的图像检测对象的移动并且考虑移动生成合成图像，可以防止生成色斑302位于错误位置的合成图像。即，通过使用由宽带成像单元110捕获的图像检测对象的移动，例如根据移动校正图像中的色斑302的位置，并且执行合成，即使在对象移动的情况下，也可以防止生成色斑302位于错误位置处的合成图像。

例如，当通过窄带成像单元120合成在时间T1捕获的图像311和在时间T2捕获的图像312时，通过将图像312中的色斑302的位置移动至通过对象的倾斜量校正的位置来生成图像312’。然后，通过合成图像312’和图像311，例如，可以生成合成图像，在该合成图像中，如在图像321中，色斑302位于面部301的眼睛旁边。

以这种方式，可以使用由宽带成像单元110捕获的图像来检测对象的移动，并且可以使用检测结果来校正由窄带成像单元120捕获的图像。换句话说，可以使用来自宽带成像单元110的输出结果校正由窄带成像单元120捕获的帧之间的输出结果。即，根据本技术，可以通过使用从宽带成像单元110获得的输出对窄带成像单元120的结果执行移动对象校正。

<关于校正>

在上述实施例中，作为示例，已经描述了窄带成像单元120的窄带光电转换单元1522包括法布里-珀罗光谱仪251，并且法布里-珀罗光谱仪251可以改变要透射的光的波段的配置的情况。

如参考图5所描述的，法布里-珀罗光谱仪251具有以预定间隔平行布置两个半透射镜252和253的配置。半透射镜252与半透射镜253之间的间隔优选为均匀的。然而，通常，半透射镜252与半透射镜253之间的间隔趋于不均匀。

当间隔不均匀时，透射通过法布里-珀罗光谱仪251的光的波段可以是不均匀的。根据本技术，法布里-珀罗光谱仪251的非均匀性可以使用由宽带成像单元110捕获的图像进行校正，以被视为均匀的。

将参考图12进行描述。例如，宽带成像单元110和窄带成像单元120对单色壁面401进行成像。由宽带成像单元110捕获的图像被定义为图像411。此外，由窄带成像单元120捕获的图像被定义为图像412。

通过捕获单色壁面401，从宽带成像单元110获得的图像411基本上是与单色壁面401具有相同颜色的图像。然而，在法布里-珀罗光谱仪251不均匀的情况下，例如，从窄带成像单元120获得的图像412是具有如图12中的图像412所示的颜色不均匀性的图像。

当图像411被视为校正图像时，校正图像412，使得图像412变为与图像411相同的图像。例如，对每个波长执行阴影检测，并且基于该结果校正由窄带成像单元120获取的图像。

将参考图13的流程图描述由窄带成像单元120捕获的图像的校正。

在步骤S71中，窄带成像单元120通过将由法布里-珀罗光谱仪251透射的光的波段设置为预定波段来执行成像。与窄带成像单元120的成像同步，宽带成像单元110也执行成像(步骤S72)。

在步骤S73中，处理单元131将由窄带成像单元120捕获的图像(对应于图12中的图像412的图像)与由宽带成像单元110捕获的图像(对应于图12中的图像411的图像)进行比较。将由窄带成像单元120捕获的图像中的颜色均匀性与由宽带成像单元110捕获的图像中的颜色均匀性进行比较。

在步骤S74中，使用步骤S73中的比较结果来确定图像中的颜色均匀性是否不同。在步骤S74中确定图像中的颜色均匀性不同的情况下，处理进行至步骤S75。

在步骤S75中，计算校正量。通过使由窄带成像单元120捕获的图像411的颜色移位来计算校正量以便匹配由宽带成像单元110捕获的图像412的颜色均匀性。

在计算出校正量之后，处理进行至步骤S76。在步骤S76中，再次进行成像。对于成像，窄带成像单元120和宽带成像单元110可以彼此同步，并且可以由每个成像单元执行成像。此外，在步骤S72的处理中获得的图像可以在不用宽带成像单元110成像的情况下使用。

此外，窄带成像单元120在不同于在步骤S71中的处理时设置的波段的波段中执行成像。在步骤S77中校正通过在步骤S76中利用窄带成像单元120执行成像而获得的图像。该校正是使用在步骤S75中计算的校正量的校正。

当在步骤S77中生成校正图像时，处理返回至步骤S73，并且重复后续处理。在步骤S73中，将校正图像与由宽带成像单元110捕获的图像411进行比较。

以这种方式，通过在改变窄带成像单元120的波段的同时捕获多个图像并且与来自宽带成像单元110的图像进行比较来设置校正参数。

在步骤S74中，在确定作为校正的结果的图像具有与来自宽带成像单元110的图像相等的均匀性(均匀性落入预定范围内)的情况下，处理进行至步骤S78。在步骤S78中，例如，将设置的校正参数存储在存储器134(图2)中。

此后，使用存储在存储器134中的校正参数校正由窄带成像单元120捕获的图像，并且在上述各个处理中使用校正后的图像。

如上所述，由于成像装置100包括宽带成像单元110和窄带成像单元120，所以可以使用由宽带成像单元110捕获的图像来校正由窄带成像单元120捕获的图像。因此，即使法布里-珀罗光谱仪251是不均匀的，也可以被校正和处理为好像是均匀的。

根据本技术，可以使用法布里-珀罗光谱仪251获取图像，在该图像中，提高了由窄带成像单元120捕获的图像中的面内均匀性。

<关于宽带光电转换单元的另一配置>

已经作为示例描述了上述宽带光电转换单元112包括RGB滤色器的配置的情况。可以采用宽带光电转换单元112包括除滤色器之外的滤波器的配置。例如，如图14中所示，可以采用被配置为单独接收三种颜色的像素与一个像素以二维阵列布置的配置。

图14示出了宽带光电转换单元112的像素单元的截面配置示例。布置在宽带光电转换单元112的像素阵列单元中的像素520包括在同一像素(即，一个像素)中在深度方向上堆叠的有机光电转换单元539和具有两个pn结的无机光电转换单元PD₁和PD₂。更具体地，宽带光电转换单元112的像素520包括形成稍后描述的无机光电转换单元的半导体基板(硅基板)522。在基板522的背面523侧形成有光入射的光接收表面，在基板522的正面524侧形成有包括所谓的读取电路等的电路。即，像素520在基板522的背面523侧具有光接收表面525，在作为光接收表面525的相对侧的基板正面524侧具有电路形成表面526。半导体基板522由第一导电类型(例如，n型)的半导体基板构成。

在半导体基板522中，形成具有两个pn结的机光电转换单元，即第一光电二极管PD₁和第二光电二极管PD₂，以便从背面523侧在深度方向上层叠。在半导体基板522中，从背面523侧沿深度方向形成用作空穴累积层的p型半导体区域528、用作电荷累积层的n半导体区域529、p型半导体区域31、用作电荷累积层的n型半导体区域532以及p型半导体区域533。形成具有作为电荷累积层的n型半导体区529的第一光电二极管PD₁，并且形成具有作为电荷累积层的n型半导体区532的第二光电二极管PD₂。

在该示例中，第一光电二极管PD₁是蓝色的，第二光电二极管PD₂是红色的。n型半导体区域529和532中的每一个被形成为延伸使得其一部分到达基板522的正面524。相应的延伸部分529a和532a从相应的n型半导体区域529和532在彼此相对的侧上的端部延伸。此外，用作空穴累积层的P型半导体区域528连接到前表面侧上的P型半导体阱区域。此外，在第一光电二极管PD₁的n型半导体区域529和第二光电二极管PD₂的n型半导体区532中的每一个中，至少在与基板正面524相对的绝缘膜之间的界面处形成用作空穴累积层的p型半导体区域。

然而，在形成第一光电二极管PD₁和第二光电二极管PD₂的区域中的基板背面的上层，经由绝缘膜534堆叠用于第一颜色的有机光电转换单元539，其配置为使得有机光电转换单元536的上表面和下表面夹在上电极537与下电极538a之间。在该示例中，有机光电转换单元536用于绿色。例如，由诸如氧化铟锡(ITO)膜或氧化铟锌膜的透明导电膜形成上电极537和下电极538a。

在上述示例中，作为颜色的组合，已经假设有机光电转换单元539用于绿色，第一光电二极管PD₁用于蓝色，并且第二光电二极管PD₂用于红色，但是其他颜色组合也是可能的。例如，可以将有机光电转换单元539设置为红色或蓝色，并且可以将第一光电二极管PD₁和第二光电二极管PD₂设置为其他对应的颜色。在这种情况下，第一光电二极管PD₁和第二光电二极管PD₂的深度方向上的位置根据颜色设置。

作为利用绿色波长光执行光电转换的有机光电转换膜，例如，可以使用包含若丹明染料、部花青染料、喹吖啶酮等的有机光电转换材料。作为利用红色波长的光执行光电转换的有机光电转换膜，可以使用包含酞菁染料的有机光电转换材料。作为利用蓝色波长光执行光电转换的有机光电转换膜，可以使用包含香豆素染料、三-8羟基喹啉Al(Alq3)、部花青染料等的有机光电转换材料。

在有机光电转换单元539中，在绝缘膜534上形成划分为两部分的透明下电极538a和38b，并且形成用于使下电极538a和538b彼此绝缘和分离的绝缘膜541。然后，在一个下电极538a上形成有机光电转换单元536和其上的透明上电极537。形成绝缘膜542，其保护上电极537和有机光电转换单元536的图案化端面和通过蚀刻图案化的端面。在这种状态下，上电极537通过由另一导电膜形成的接触金属层543连接到另一下电极538b。

通过形成用于保护的绝缘膜，有机光电转换膜的端面被保护，并且可以防止有机光电转换膜与电极之间的接触。上电极537考虑功函数来选择电极材料。因此，当不同的电极材料与端面(即，有机光电转换膜的侧壁)接触时，在有机光电转换膜的侧壁上可能生成暗电流。此外，因为有机光电转换单元536和上电极537一致地形成，所以形成干净的界面。然而，在通过干蚀刻等图案化之后的有机光电转换单元536的侧壁不是干净的表面，并且与不同的电极材料的接触可能使界面劣化并且导致暗电流的增加。

在一个像素520中的半导体基板522中，形成穿透半导体基板522的一对导电插塞545和546。有机光电转换单元539的下电极538a连接到一个导电插塞545，并且连接到上电极537的下电极538b连接到另一导电插塞546。由于对于下电极存在一个导电插塞545就足够了，所以只要在整个像素区域中存在至少一个导电插塞即可，除非对于每个像素上电极是分离的。

例如，导电插塞545和546可由在外围具有SiO2或SiN绝缘层的W插塞、通过离子注入形成的半导体层等形成，以便抑制与Si的短路。在该示例中，由于信号电荷是电子，在通过离子注入与半导体层一起形成的情况下，导电插塞545将是n型半导体层。优选上电极是p型的，因为空穴被提取。

在该示例中，用于电荷累积的n型区域547形成在基板522的正面侧上，以便通过上电极537和导电插塞累积在由有机光电转换单元536光电转换的电子-空穴对之间作为信号电荷的电子。

作为半导体基板522的背面523上的绝缘膜534，优选使用具有负的固定电荷的膜。作为具有负的固定电荷的膜，例如可以使用氧化铪膜。即，绝缘膜534形成为通过从背面523形成氧化硅膜、氧化铪膜和氧化硅膜而获得的三层结构。因为氧化铪膜具有负的固定电荷，所以p型半导体区域(硅)528的硅与绝缘膜534之间的界面处的空穴累积状态被加强，这有利于抑制暗电流的生成。

在基板522的正面侧上的电路形成表面526上，形成单独对应于有机光电转换单元536、第一光电二极管PD₁和第二光电二极管PD₂的多个像素晶体管。作为多个像素晶体管，可以应用四晶体管配置或三晶体管配置。此外，也可以应用共享上述像素晶体管的配置。在有机光电转换单元536中，用于电荷累积的n型半导体区域547连接到用作浮动扩散单元的n型半导体区域548和具有传输栅电极549的传输晶体管Tr511。在第一光电二极管PD₁中，用作电荷累积层的n型半导体区域529的延伸部分529a连接到用作浮动扩散部分的n型半导体区551和具有传输栅电极552的传输晶体管Tr512。在第二光电二极管PD₂中，用作电荷累积层的n型半导体区域532的延伸部分532a连接到用作浮动扩散部分的n型半导体区域553并连接到具有传输栅电极554的传输晶体管Tr513。

然后，至少在面向构成第一光电二极管PD₁和第二光电二极管PD₂的n型半导体区域529a至532a中的基板正面524的与绝缘膜的界面处形成用作空穴累积层的p型半导体区域550。形成用作空穴累积层的P型半导体区550，包括P型半导体区域533与绝缘膜之间的界面。此外，在有机光电转换单元536中的面向用于电荷累积的n型半导体区域547中的基板正面524的与绝缘膜的界面处形成用作空穴累积层的p型半导体区域550。包括传输晶体管Tr511至Tr513的像素晶体管形成在基板正面侧上的p型半导体阱区域中。

注意，虽然未示出，但像素单元的像素晶体管形成在半导体基板522的正面侧上，并且诸如逻辑电路的外围电路形成在外围电路单元中。

在半导体基板522的正面，经由层间绝缘膜556形成配置有多层布线557的多层布线层558。支撑基板59粘贴到多层布线层558。

半导体基板522的背面侧，更具体地，有机光电转换单元539的上电极537的表面用作光接收表面525。然后，片上透镜562经由平坦化膜561形成在有机光电转换单元539上。在该示例中，没有形成滤色器。

在其上没有形成滤色器的这种像素520也可以用作宽带成像单元110的像素。

此外，代替颜色文件，具有图15所示的颜色布置的滤波器可以用于宽带成像单元110。此外，作为滤波器，可以使用利用等离子体共振执行光学控制的被称为等离子体滤波器的滤波器。图15是示出将G像素添加到多光谱像素的配置示例的示图。在图15中，“G”的参考表示G像素，并且“MS”的参考表示MS像素。G像素是滤色器层的颜色为绿色的像素。MS像素是多光谱像素，并且是接收预定频带的光(预定颜色)的像素。

图15示出了像素区域203中的4×4的16个像素，并且这种阵列的像素组在像素区域203中重复排列。为了区分图15所示的16个像素，单独添加数字。例如，在16个像素中，排列在左上角的像素是G1像素，排列在G1像素的右侧的像素是MS1像素。

在图15所示的颜色布置中，示出了布置相同数量的G像素和MS像素的示例。即，在16个像素中，G1至G8是G像素，并且MS1至MS8是MS像素。此外，在水平方向和垂直方向中的每一个上交替地布置G像素和MS像素。

注意，这里，将通过采用交替地布置G像素和MS像素的示例继续描述，但是布置可以不同。例如，颜色布置可以使得两个G像素和两个MS像素交替地布置，或者一个G像素和两个MS像素交替地布置。

G像素是接收绿色的光、例如500nm至550nm频带的光的像素。在图15中，G1至G8像素中的每一个是接收该频带的光的像素。

MS像素是接收要被提取的频带的光的像素。在图15中，MS1至MS8像素分别接收不同频带的光。即，在这种情况下，MS1至MS8像素是能够处理8个频带的光的传感器。

注意，这里，将继续描述假设所有MS1至MS8像素接收不同频带的光，但可以是接收同一频带的光的像素。在例如根据要处理的频带的数量处理4个频带的情况下，还可以采用如下配置：例如，MS1像素和MS2像素是接收第一频带的光的像素，MS3像素和MS4像素是接收第二频带的光的像素，MS5像素和MS6像素是接收第三频带的光的像素，并且MS7像素和MS8像素是接收第四频带的光的像素。

在假设所有MS1至MS8像素接收不同频带的光配置MS1至MS8像素的情况下，例如，从MS1至MS8像素获得如图16所示的信号。

MS1像素接收频带M1的光。类似地，MS2像素接收频带M2的光，MS3像素接收频带M3的光，MS4像素接收频带M4的光，MS5像素接收频带M5的光，MS6像素接收频带M6的光，MS7像素接收频带M7的光，MS8像素接收频带M8的光。

以这种方式，MS1至MS8像素可以是分别接收不同频带M1至M8的光的像素。此外，从G1像素至G8像素，能够使像素分别接收绿色频带G的光。

因此，在这种配置1的情况下，对于图15所示的16个像素，从G像素中获取关于绿色的信息，从MS1像素中获取关于频带M1的颜色M1的信息，从MS2像素获取关于频带M2的颜色M2的信息，从MS3像素获取关于频带M3的颜色M3的信息，从MS4像素获取关于频带M4的颜色M4的信息，从MS5像素获取关于频带M5的颜色M5的信息，从MS6像素获取关于频带M6的颜色M6的信息，从MS7像素获取关于频带M7的颜色M7的信息，以及从MS8像素获取关于频带M8的颜色M8的信息。

本技术还可应用于如下情况：使用参考图15和图16描述的等离子体滤波器作为宽带光电转换单元112的滤波器来配置多光谱传感器，并且捕获多光谱图像。

注意，多光谱传感器可通过使用等离子体滤波器之外的滤波器来实现，例如，可通过使滤色器为多色来实现。此外，除了可见光区域以外，还可以包括处理紫外区域、红外区域等的光的像素。

<应用于AR、VR等的示例>

应用本技术的成像装置100可应用于提供增强现实(AR)、虚拟现实(VR)、混合现实(MR)等的装置。这里，将作为示例描述成像装置100应用于提供AR的装置的情况。

图17是示出包括提供AR的AR-HMD 701的信息处理系统的配置示例的示图。图17中的信息处理系统通过经由诸如局域网(LAN)或因特网的网络703连接AR-HMD 701和信息处理设备702来配置。

如图17所示，AR-HMD 701是包括透射型显示单元的眼镜型可佩戴终端。AR-HMD701在经由网络703执行的信息处理设备702的控制下在显示单元上显示包括诸如人物的各种对象的视频图像。用户将看到在自身前面的风景上叠加的对象。

包括对象的视频图像的投影方法可以是虚拟图像投影方法，或者可以是图像直接形成在用户眼睛的视网膜上的视网膜投影方法。

信息处理设备702再现AR内容并将通过再现获得的视频数据传输至AR-HMD 701，使得AR内容的视频图像显示在AR-HMD 701上。信息处理设备702例如由个人计算机(PC)配置。此外，信息处理设备702可以是服务器151(图2)，并且例如，可被配置为将关于对象的估计的信息和关于适合于对象的波段的信息提供至AR-HMD 701。

代替AR-HMD 701，诸如图18的A所示的视频透射HMD的AR-HMD 701A或图18的B所示的智能电话701B的移动终端可以用作AR内容的显示装置。

在使用AR-HMD 701A作为显示装置的情况下，通过信息处理设备702再现的AR内容的视频图像被显示为叠加在通过安装在AR-HMD 701A中的相机捕获的AR-HMD 701A前面的风景的图像上。在佩戴AR-HMD 701A的用户的眼睛前面，存在显示叠加在由相机捕获的图像上的AR内容的显示器。

此外，在使用智能电话701B的情况下，由信息处理设备702再现的AR内容的视频图像被显示为叠加在由安装在智能电话701B的背面上的相机捕获的智能电话701B前面的风景的图像上。在智能电话701B的正面，设置显示各种图像的显示器。

上述成像装置100可应用于包括在AR-HMD 701、AR-HMD 701A和智能电话701B中的相机。

作为用于AR内容的显示装置，可使用将视频图像投影在存在于实际场景中的物体的前表面上的投影仪。诸如平板终端和电视接收器的各种装置可以用作用于AR内容的显示装置。

显示装置和信息处理设备702可以通过有线连接而不是经由网络703无线连接。

在以下描述中，如图19所示，具有眼镜形状的形式的可穿戴终端将被描述为应用本技术的信息处理设备的示例。

图19所示的AR-HMD 701整体上具有眼镜形状，并且包括显示单元711和7相机12。显示单元711对应于眼镜的透镜部分，并且例如全部配置为透射式显示器。因此，显示单元711在用户直接观看的真实世界中的图像(真实对象)上透射地叠加和显示注释(虚拟对象)。

相机712被设置在显示单元711的与佩戴AR-HMD 701的用户的左眼对应的端部处，并且捕获包括在用户的视野中的真实空间的图像。成像装置100(图2)可应用于相机712。

由相机712获取的图像可以显示在显示单元711上，并且注释也可以被叠加并显示在图像上。此外，虽然未示出，但是对应于AR-HMD 701中的眼镜的框架的壳体可以容纳或安装有各种传感器、按钮、扬声器等。

注意，AR-HMD 701的形状不限于图19所示的形状，并且可采取各种形状，诸如帽子形状、固定在用户头部周围的皮带形状、以及覆盖整个用户头部的头盔形状。即，根据本公开的技术通常可应用于HMD。

图20是示出AR-HMD 701的配置示例的框图。图20中的AR-HMD 701包括中央处理器单元(CPU)731、存储器732、传感器单元733、输入单元734、输出单元735和通信单元736。这些经由总线737彼此连接。

CPU 731根据存储在存储器732中的程序和数据执行用于实现AR-HMD 701的各种功能的处理。存储器732由诸如半导体存储器或硬盘的存储介质配置，并且存储用于由CPU731处理的程序和数据。

传感器单元733除了图19的相机712之外还包括诸如麦克风、陀螺仪传感器和加速度传感器的各种传感器。对于传感器单元733获取的各种传感器信息，CPU 731处理所使用的输入单元734由按钮、按键、触摸面板等配置。输出单元735由图19中的显示单元711、扬声器等配置。通信单元736被配置为调解各种类型的通信的通信接口。

在用户通过使用如图21所示的这种AR-HMD 701做出触摸显示在虚拟空间中的信息751的手势的情况下，例如，显示关于信息的信息。

例如，在虚拟空间中显示的信息751是树的情况下，窄带成像单元120的法布里-珀罗光谱仪251被设置为具有适于分析树的状态的波段，执行成像，并且将通过成像获得的图像和通过分析图像获得的信息呈现给用户。

在虚拟空间中显示的信息751可以是作为AR内容提供的信息，或者可以是由相机712成像的现实世界中的物体。例如，作为上述信息751的树可以是在真实世界中生长并且由相机712捕获的树。

此外，除了触摸信息751的手势之外，例如，传感器单元733可以检测用户朝向的方向、视线朝向的方向、头部朝向的方向等。换句话说，除了表示诸如触摸信息751的直接指令的手势之外的用户的操作也可以被包括在用于发出指令的手势的一部分中，并且可以检测这样的手势(用户的操作)。

此外，可以检测用户的移动并执行对应于检测的处理，例如，获取关于用户的视线方向上的物体的信息的处理。

AR-HMD 701可以应用于分析人类皮肤状况、通过用作医疗装置对患者的患部进行成像以及检测预定物体。此外，可以从云上的服务器等获取执行这种分析所需的信息，例如，关于适当波段的信息等。

此外，还可采用由云上的服务器执行分析，并且AR-HMD 701接收分析结果并将其呈现给用户的配置。即，可通过除了成像装置100之外的电子装置(包括在电子装置中的数据分析单元)执行上述分析，并且可经由这种电子装置执行该分析。

<关于记录介质>

上述一系列处理可以由硬件执行或者也由软件执行。在通过软件执行一系列处理的情况下，在计算机中安装配置软件的程序。这里，计算机的示例例如包括内置于专用硬件中的计算机、可以通过安装有各种程序来执行各种功能的通用个人计算机等。

图22是示出根据程序执行上述一系列处理的计算机的硬件的配置示例的框图。在计算机中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004相互连接。总线1004进一步与输入/输出接口1005连接。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接至输入/输出接口1005。

输入单元1006包括键盘、鼠标、麦克风、成像元件等。输出单元1007包括显示器、扬声器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动可移动介质1011，诸如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，例如，通过CPU 1001经由输入/输出接口1005和总线1004将记录在存储单元1008中的程序加载到RAM 1003中，并且执行上述一系列处理。

由计算机(CPU 1001)执行的程序可以通过记录在例如作为封装介质等的可移动介质1011上来提供。此外，可经由诸如局域网、因特网、或者数字卫星广播的有线或无线传输介质提供程序。

在计算机中，通过将可移动介质1011附接至驱动器1010，程序可以经由输入/输出接口1005安装在存储单元1008中。此外，程序可经由有线或无线传输介质由通信单元1009接收，并安装在存储单元1008中。此外，程序可以提前安装在ROM 1002和存储单元1008中。

注意，由计算机执行的程序可以是根据在本说明书中描述的顺序按照时间顺序执行处理的程序，或者可以是并行或在必要的定时(诸如在进行调用时)执行处理的程序。

<内窥镜手术系统的应用示例>

根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以应用于内窥镜手术系统。

图23是示出可应用根据本公开的技术(本技术)的内窥镜手术系统的示意性配置的示例的示图。

图23示出外科医生(医生)11131通过使用内窥镜手术系统11000对病床11133上的患者11132进行手术的状态。如图所示，内窥镜手术系统11000包括内窥镜11100、其他手术工具11110(诸如气腹管11111和能量治疗工具11112)、在其上支撑内窥镜11100的支撑臂装置11120、以及在其上安装用于内窥镜手术的各种设备的推车11200。

内窥镜11100包括其远端的预定长度的区域插入到患者11132的体腔中的透镜镜筒11101和连接到透镜镜筒11101的近端的摄像头11102。在所示的示例中，示出了内窥镜11100，该内窥镜11100包括具有硬性的透镜镜筒11101作为硬性镜。然而，内窥镜11100可以另外包括作为具有柔性类型的透镜镜筒11101的柔性内窥镜。

透镜镜筒11101在其远端安装物镜的开口。内窥镜11100与光源设备11203连接，并且由光源设备11203生成的光被在透镜镜筒11101内部延伸的光导引导至透镜镜筒的远端，并且通过物镜照射向患者11132的体腔中的观察目标。注意，内窥镜11100既可以是直视内窥镜，也可以是斜视内窥镜或侧视内窥镜。

光学系统和成像元件被设置在摄像头11102的内部，使得来自观察目标的反射光(观察光)通过光学系统会聚在成像元件上。通过成像元件对观察光进行光电转换，并且生成与该观察光对应的电信号，换句话说，与观察图像对应的图像信号。图像信号被作为RAW数据发送至相机控制单元(CCU)11201。

CCU 11201包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体控制内窥镜11100和显示设备11202的操作。此外，例如，CCU11201从摄像头11102接收图像信号并且对图像信号执行用于基于图像信号显示图像的各种图像处理，诸如显影处理(去马赛克处理)。

显示设备11202在CCU 11201的控制下在其上显示基于图像信号的图像，通过CCU11201对该图像信号执行了图像处理。

光源设备11203例如包括诸如发光二极管(LED)的光源，并且将对手术区域进行成像时的照射光提供给内窥镜11100。

输入装置11204是内窥镜手术系统11000的输入接口。用户能够经由输入装置11204向内窥镜手术系统11000输入各种类型的信息和输入指令。例如，用户输入用于改变内窥镜11100的成像条件(照射光的类型、放大倍数、焦距等)的指令等。

治疗工具控制设备11205控制能量治疗工具11112的驱动以进行组织的烧灼或切割、血管的密封等。为了由内窥镜11100确保视野并且确保外科医生的工作空间，注气设备11206通过该气腹管11111将气体送入患者11132的体腔中以便对体腔进行充气。记录器11207是能够记录关于手术的各种类型的信息的装置。打印机11208是能够以各种形式(诸如文本、图像或图形)打印与手术有关的各种信息的设备。

注意，在将手术区域成像至内窥镜11100时供给照射光的光源设备11203例如也可以包含包括LED、激光光源或它们的组合的白色光源。在白色光源包括红色、绿色和蓝色(RGB)激光光源的组合的情况下，由于可以针对每种颜色(每种波长)以高精度控制输出强度和输出定时，所以可以由光源设备11203执行所捕获图像的白平衡的调整。此外，在这种情况下，还可以通过以时分方式用来自RGB激光光源中的每一个的激光照射观察目标，并且与照射定时同步地控制摄像头11102的成像元件的驱动，以时分方式捕获对应于RGB的每一个的图像。根据该方法，即使不为成像元件设置滤色器，也可以获得彩色图像。

此外，可以控制光源设备11203，使得每个预定时间改变要输出的光的强度。通过与光强度改变的定时同步地控制摄像头11102的成像元件的驱动以分时获取图像并且合成图像，可产生没有曝光不足的过厚阴影和曝光过度的加亮区的高动态范围的图像。

另外，光源设备11203也可以被配置为提高准备进行特殊光观察的预定波段的光。在特殊光观察中，通过利用身体组织对光的吸收的波长依赖性来照射与通常观察时的照射光(即白色光)相比窄的频带的光，对诸如粘膜的表层部分的血管等的预定组织以高对比度进行成像的窄频带观察(窄频带成像)。可替换地，在特殊光观察中，也可以执行从通过照射激发光生成的荧光获得图像的荧光观察。在荧光观察中，可以执行用激发光照射身体组织并观察来自身体组织的荧光(自发荧光观察)、将诸如吲哚菁绿(ICG)的试剂局部注入到身体组织中并用与试剂的荧光波长对应的激发光照射身体组织以获得荧光图像等。光源设备11203可以被配置为提供如上所述的适合于特殊光观察的窄频带光和/或激发光。

图24是示出图23所示的摄像头11102和CCU 11201的功能配置的示例的框图。

摄像头11102包括透镜单元11401、成像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201具有通信单元11411、图像处理单元11412、以及控制单元11413。摄像头11102和CCU 11201通过传输电缆11400连接用于彼此通信。

透镜单元11401是设置在与透镜镜筒11101的连接位置处的光学系统。从透镜镜筒11101的远端采集的观察光被引导到摄像头11102，并且入射在透镜单元11401上。透镜单元11401包括包含变焦透镜和聚焦透镜的多个透镜的组合。

成像单元11402包括的成像元件的数量可以是一个(单板型)或多个(多板型)。在成像单元11402被配置为具有多板型的情况下，例如，各个成像元件可生成与RGB各自对应的图像信号，并且可通过合成图像信号来获得彩色图像。可替代地，成像单元11402可具有一对成像元件，用于分别获取对应于三维(3D)显示的右眼和左眼的图像信号。通过执行3D显示，使得外科医生11131能够更精确地掌握手术区域中的生物体组织的深度。应注意，在成像单元11402被配置为立体型的成像单元的情况下，对应于各个成像元件设置多个系统的透镜单元11401。

此外，成像单元11402可不必设置在摄像头11102上。例如，成像单元11402可在透镜镜筒11101的内部设置在物镜的紧后方。

驱动单元11403包括致动器，并且在摄像头控制单元11405的控制下将透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定距离。因此，可以适当地调整由成像单元11402捕获的图像的放大倍数和焦点。

通信单元11404包括用于将各种信息传输至CCU 11201和从CCU 11201接收各种信息的通信装置。通信单元11404通过传输电缆11400将从成像单元11402获取的图像信号作为RAW数据传输至CCU 11201。

此外，通信单元11404从CCU 11201接收用于控制摄像头11102的驱动的控制信号，并且将控制信号供应至摄像头控制单元11405。控制信号包括与成像条件相关的信息，例如，指定捕获图像的帧速率的信息、指定成像时的曝光值的信息和/或指定捕获图像的放大倍数和焦点的信息。

应注意，诸如上述帧速率、曝光值、放大倍数或者焦点的成像条件可以由用户指定或者可以基于所获取的图像信号通过CCU 11201的控制单元11413自动设置。在后一种情况下，自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能结合在内窥镜11100中。

摄像头控制单元11405基于通过通信单元11404从CCU 11201接收的控制信号来控制摄像头11102的驱动。

通信单元11411包括用于将各种信息传输至摄像头11102和从摄像头11102接收各种信息的通信装置。通信单元11411通过传输电缆11400接收从摄像头11102传输至其的图像信号。

此外，通信单元11411将用于控制摄像头11102的驱动的控制信号传输至摄像头11102。可以通过电通信、光通信等传输图像信号和控制信号。

图像处理单元11412对从摄像头11102传输至其的RAW数据形式的图像信号执行各种图像处理。

控制单元11413通过内窥镜11100执行与手术区域等的成像以及通过手术区域等的成像而获得的捕获图像的显示有关的各种控制。例如，控制单元11413创建用于控制摄像头11102的驱动的控制信号。

此外，控制单元11413基于由图像处理单元11412执行图像处理的图像信号控制显示设备11202显示手术区域等被成像的捕获图像。此时，控制单元11413通过使用各种图像识别技术来识别捕获图像中的各种物体。例如，通过检测包括在捕获图像中的物体的边缘的形状、颜色等，控制单元11413可使用能量治疗工具11112等识别诸如镊子的手术工具、特定活体部位、出血、雾沫。当使显示设备11202显示所捕获的图像时，控制单元11413可使用识别结果将各种类型的手术支持信息叠加并显示在外科手术区域的图像上。在手术支持信息以重叠方式显示并呈现给外科医生11131的情况下，可以减轻外科医生11131的负担，并且外科医生11131可以可靠地进行手术。

将摄像头11102和CCU11201彼此连接的传输电缆11400是准备用于电信号的通信的电信号电缆、准备用于光通信的光纤或准备用于电通信和光通信两者的复合电缆。

这里，虽然在所示示例中，通过使用传输电缆11400的有线通信执行通信，但是摄像头11102与CCU 11201之间的通信可以通过无线通信执行。

<移动体的应用示例>

根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可实现为装配在任何类型的移动体(诸如，汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动体、飞机、无人机、船舶、机器人等)上的装置。

图25是示出作为可应用根据本公开的实施例的技术的移动体控制系统的示例的车辆控制系统的示意性配置的示例的框图。

车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图25所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040和集成控制单元12050。此外，微计算机12051、声音/图像输出单元12052和车载网络接口(I/F)12053被示出为集成控制单元12050的功能配置。

驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作用于生成车辆的驱动力的驱动力生成装置(诸如内燃机、驱动电机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于生成车辆的制动力的制动装置等的控制装置。

车身系统控制单元12020根据各种程序来控制设置在车身上的各种装置的操作。例如，车身系统控制单元12020用作用于无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、制动灯、转向指示器或雾灯的各种灯的控制装置。在这种情况下，可以向车身系统控制单元2020输入从替代钥匙的便携式装置发送的各种开关的无线电波或信号。车身系统控制单元12020接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置、灯等。

车辆外部信息检测单元12030检测关于包括车辆控制系统12000的车辆的外部的信息。例如，成像单元12031连接到车辆外部信息检测单元12030。车辆外部信息检测单元12030使成像单元12031捕获车辆外部的图像，并接收所捕获的图像。车辆外部信息检测单元12030可以基于所接收的图像来执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理或执行检测到对象的距离的处理。

成像单元12031是接收光并输出与光的接收光量对应的电信号的光学传感器。成像单元12031可以将电信号作为图像输出，或者可以将电信号作为距离测量信息输出。另外，成像单元12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。

车辆内部信息检测单元12040检测关于车辆内部的信息。车辆内部信息检测单元12040例如与检测驾驶员的状态的驾驶员状态检测单元12041连接。驾驶员状态检测单元12041例如包括对驾驶员进行成像的相机。基于从驾驶员状态检测单元12041输入的检测信息，车辆内部信息检测单元12040可以计算驾驶员的疲劳度或驾驶员的集中度，或者可以确定驾驶员是否打瞌睡。

微计算机12051可以基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获得的关于车辆内部或外部的信息计算驱动力生成装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，该功能包括用于车辆的防碰撞或减震、基于跟随距离的跟随驾驶、维持驾驶的车辆速度、车辆碰撞的警告、车辆偏离车道的警报等。

此外，微计算机12051可以通过基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获得的关于车辆外部或内部的信息控制驱动力生成装置、转向机构、制动装置等，来执行用于自动驾驶的协作控制，这使得车辆不依赖于驾驶员的操作等而自动行驶。

此外，微计算机12051可以基于由车辆外部信息检测单元12030获得的关于车辆外部的信息，将控制命令输出到车身系统控制单元12030。例如，微计算机12051可以通过根据由车辆外部信息检测单元12030检测到的前面车辆或对面车辆的位置，控制前照灯以从远光光束改变为近光光束，来执行旨在防止眩光的协作控制。

声音/图像输出单元12052将声音和图像中的至少一个的输出信号传输到输出装置，该输出装置能够视觉上或听觉地将信息通知给车辆的乘员或车辆的外部。在图25的示例中，音频扬声器12061、显示单元12062和仪表面板12063被示为输出装置。显示单元12062可以例如包括车载显示器和平视显示器中的至少一个。

图26是示出成像单元12031的安装位置的示例的示图。

在图26中，成像单元12031包括成像单元12101、12102、12103、12104和12105。

成像单元12101、12102、12103、12104和12105例如设置在车辆12100的前鼻、侧视镜、后保险杠和后门上的位置以及车厢内的挡风玻璃的上部的位置处。设置在前鼻的成像单元12101和设置在车厢内的挡风玻璃的上部的成像单元12105主要获取车辆12100的前面的图像。设置在侧视镜的成像单元12102和12103主要获取车辆12100的侧面的图像。设置在后保险杠或后门的成像单元12104主要获取车辆12100的后面的图像。设置在车厢内的挡风玻璃的上部的成像单元12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

注意，图26示出了成像单元12101至12104的成像范围的示例。成像范围12111表示设置在前鼻的成像单元12101的成像范围。成像范围12112和12113分别表示设置在侧视镜的成像单元12102和12103的成像范围。成像范围12114表示设置在后保险杠或后门的成像单元12104的成像范围。例如，通过叠加由成像单元12101至12104成像的图像数据获得从上方观察的车辆12100的鸟瞰图像。

成像单元12101至12104中的至少一个可具有获得距离信息的功能。例如，成像单元12101至12104中的至少一个可以是由多个成像元件构成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。

例如，微计算机12051可以基于从成像单元12101至12104获得的距离信息确定在成像范围12111至12114内到每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)与车辆12100大致相同的方向行驶的最近三维对象作为前方车辆。另外，微计算机12051可以预先设置要确保距前方车辆的车间距离，并且执行自动制动控制(包括随动停止控制)、自动加速控制(包括随动启动控制)等。因此，可以执行不依赖于驾驶员的操作等而使车辆自动行驶的自动驾驶用的协作控制。

例如，微计算机12051可以基于从成像单元12101至12104获得的距离信息将三维对象的三维对象数据分类为二轮车、标准车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取分类的三维对象数据，并且将所提取的三维对象数据用于自动躲避障碍物。例如，微计算机12051将车辆12100周围的障碍物区分为车辆12100的驾驶员可见的障碍物和难以看见的障碍物。然后，微计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险。在碰撞风险等于或高于设定值并且因此存在碰撞可能性的情况下，微计算机12051经由音频扬声器12061或显示单元12062向驾驶员输出警报，并且经由驾驶系统控制单元12010执行强制减速或躲避转向。微计算机12051可由此辅助驾驶以避免碰撞。

成像单元12101至12104中的至少一个可以是检测红外线的红外相机。例如，微计算机12051可以通过确定在成像单元12101至12104的捕获图像中是否存在行人来识别行人。行人的这种识别通过例如提取作为红外相机的成像单元12101至12104的捕获图像中的特征点的过程和对表示对象的轮廓的一系列特征点执行图案匹配处理并确定该对象是否是行人的过程来执行。当微计算机12051确定在成像单元12101至12104的捕获图像中存在行人并识别行人时，声音/图像输出单元12052控制显示单元12062以叠加并显示用于强调所识别的行人的矩形轮廓线。此外，声音/图像输出单元12052还可控制显示单元12062，使得在期望的位置处显示表示行人的图标等。

此外，在本说明书中，系统表示包括多个装置的整个装置。

注意，本说明书中描述的效果仅是示例并且不受限制，并且还可以存在其他效果。

注意，本技术的实施例不限于上述实施例，并且在不脱离本技术的范围的情况下，可以进行各种修改。

注意，本技术还可以具有以下配置。

(1)

一种成像装置，包括：

两个或更多个成像单元，能够对同一对象进行成像或感测，其中

两个或更多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且

两个或更多个成像单元中的除了第一成像单元以外的至少另一第二成像单元包括能够改变波段的第二滤波器。

(2)

根据(1)的成像装置，其中，

第二成像单元的频带比第一成像单元窄。

(3)

根据(1)或(2)的成像装置，其中，

第二滤波器是法布里-珀罗光谱仪。

(4)

根据(3)的成像装置，其中，

法布里-珀罗光谱仪是由能够由电压驱动的微机电系统(MEMS)形成的。

(5)

根据(1)至(4)中任一项的成像装置，其中，

第一滤波器是滤色器，并且

第二滤波器的波段被设置为用于对由滤色器获取的颜色进行插值的颜色的波段。

(6)

根据(1)的成像装置，其中，

第一成像单元具有四个或更多个波段，并且

使用等离子体共振的光学控制用于四个或更多个波段。

(7)

根据(1)至(6)中任一项的成像装置，其中，

有机光电转换膜用于两个或更多个成像单元中的至少一个成像单元。

(8)

根据(1)至(7)中任一项的成像装置，其中，

通过使用由第一成像单元捕获的图像来估计对象，并且

第二滤波器的波段被设置为适合于对已估计的对象进行成像的波段。

(9)

根据(8)的成像装置，其中，

使用通过合成由第一成像单元捕获的图像和由第二成像单元捕获的图像而获得的合成图像来估计对象。

(10)

根据(1)至(9)中任一项的成像装置，其中，

利用由第二成像单元获取的颜色信息校正由第一成像单元捕获的图像。

(11)

根据(1)至(10)中任一项的成像装置，其中，

将由第二成像单元捕获的图像的颜色信息的分布与由第一成像单元捕获的图像的颜色信息的分布进行比较，并且设置用于校正由第二成像单元捕获的图像的校正量。

(12)

根据(1)至(11)中任一项的成像装置，其中，

通过使用从第一成像单元获得的输出对第二成像单元的结果执行移动对象校正。

(13)

根据(1)至(12)中任一项的成像装置，其中，

使用从两个或更多个成像单元获得的结果执行物体分析和状态分析。

(14)

根据(13)的成像装置，其中，

经由通信目的地处的另一电子装置，对从两个或更多个成像单元中的任一个成像单元获得的结果或通过合成从两个或更多个成像单元获得的结果而获得的结果执行分析。

(15)

根据(14)的成像装置，其中，

第二滤波器的波段由另一电子装置指定。

(16)

根据(1)至(15)中任一项的成像装置，其中，

第一滤波器的波段是可见光频带，并且

第二滤波器的波段是紫外光频带、可见光频带或红外光频带。

(17)

根据(1)至(16)中任一项的成像装置，其中，

成像装置包括在提供增强现实(AR)、虚拟现实(VR)和混合现实(MR)的任何装置中。

(18)

根据(1)至(17)中任一项的成像装置，其中，

第一成像单元和第二成像单元彼此同步地执行成像。

(19)

一种成像方法，其中，

成像装置包括：

两个或更多个成像单元，能够对同一对象进行成像或感测，其中，

两个或更多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且

两个或更多个成像单元中的除了第一成像单元以外的至少另一第二成像单元包括能够改变波段的第二滤波器，该成像方法包括：

通过使用通过合成由第一成像单元捕获的图像和由第二成像单元捕获的图像而获得的合成图像来估计对象。

(20)

一种电子装置，包括：

成像装置，包括：

两个或更多个成像单元，能够对同一对象进行成像或感测，其中，

两个或更多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且

两个或更多个成像单元中的除了第一成像单元以外的至少另一第二成像单元包括能够改变波段的第二滤波器；以及

处理单元，被配置为处理来自成像装置的信号。

参考标记列表

10 复眼相机模块

21 单眼相机模块

522 连接构件

100 成像装置

110 宽带成像单元

111 透镜

112 宽带光电转换单元

113 A/D转换单元

114 夹持单元

115 颜色特定输出单元

116 缺陷校正单元

117 线性矩阵单元

120 窄带成像单元

121 透镜

122 窄带光电转换单元

123 A/D转换单元

131 处理单元

132 图像输出单元

134 存储器

135 通信单元

151 服务器

202 像素

203 像素区域

204 垂直驱动电路

205 列信号处理电路

206 水平驱动电路

207 输出电路

208 控制电路

209 垂直信号线

210 水平信号线

212 输入/输出端子

251 法布里-珀罗光谱仪

252 半透射镜

253 半透射镜

311、312、313 图像

321、322 图像

323 合成图像

401 壁面

411、412 图像。

Claims (20)

1.一种成像装置，包括：

两个或更多个成像单元，能够对同一对象进行成像或感测，其中，

所述两个或更多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且

所述两个或更多个成像单元中的除了所述第一成像单元以外的至少另一第二成像单元包括能够改变波段的第二滤波器。

2.根据权利要求1所述的成像装置，其中，

所述第二成像单元的频带比所述第一成像单元窄。

3.根据权利要求1所述的成像装置，其中，

所述第二滤波器是法布里-珀罗光谱仪。

4.根据权利要求3所述的成像装置，其中，

所述法布里-珀罗光谱仪是由能够由电压驱动的微机电系统(MEMS)形成的。

5.根据权利要求1所述的成像装置，其中，

所述第一滤波器是滤色器，并且

所述第二滤波器的波段被设置为用于对由所述滤色器获取的颜色进行插值的颜色的波段。

6.根据权利要求1所述的成像装置，其中，

所述第一成像单元具有四个或更多个波段，并且

使用等离子体共振的光学控制用于所述四个或更多个波段。

7.根据权利要求1所述的成像装置，其中，

有机光电转换膜用于所述两个或更多个成像单元中的至少一个成像单元。

8.根据权利要求1所述的成像装置，其中，

通过使用由所述第一成像单元捕获的图像来估计对象，并且

所述第二滤波器的波段被设置为适合于对已估计的所述对象进行成像的波段。

9.根据权利要求8所述的成像装置，其中，

使用通过合成由所述第一成像单元捕获的图像和由所述第二成像单元捕获的图像而获得的合成图像来估计所述对象。

10.根据权利要求1所述的成像装置，其中，

利用由所述第二成像单元获取的颜色信息校正由所述第一成像单元捕获的图像。

11.根据权利要求1所述的成像装置，其中，

将由所述第二成像单元捕获的图像的颜色信息的分布与由所述第一成像单元捕获的图像的颜色信息的分布进行比较，并且设置用于校正由所述第二成像单元捕获的图像的校正量。

12.根据权利要求1所述的成像装置，其中，

通过使用从所述第一成像单元获得的输出对所述第二成像单元的结果执行移动对象校正。

13.根据权利要求1所述的成像装置，其中，

使用从所述两个或更多个成像单元获得的结果执行物体分析和状态分析。

14.根据权利要求13所述的成像装置，其中，

经由通信目的地处的另一电子装置，对从所述两个或更多个成像单元中的任一个成像单元获得的结果或通过合成从所述两个或更多个成像单元获得的结果而获得的结果执行分析。

15.根据权利要求14所述的成像装置，其中，

所述第二滤波器的波段由所述另一电子装置指定。

16.根据权利要求1所述的成像装置，其中，

所述第一滤波器的波段是可见光频带，并且

所述第二滤波器的波段是紫外光频带、可见光频带或红外光频带。

17.根据权利要求1所述的成像装置，其中，

所述成像装置包括在提供增强现实(AR)、虚拟现实(VR)和混合现实(MR)的任何装置中。

18.根据权利要求1所述的成像装置，其中，

所述第一成像单元和所述第二成像单元彼此同步地执行成像。

19.一种成像方法，其中，

成像装置包括：

两个或更多个成像单元，能够对同一对象进行成像或感测，其中，

所述两个或更多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且

所述两个或更多个成像单元中的除了所述第一成像单元以外的至少另一第二成像单元包括能够改变波段的第二滤波器，所述成像方法包括：

通过使用通过合成由所述第一成像单元捕获的图像和由所述第二成像单元捕获的图像而获得的合成图像来估计所述对象。

20.一种电子装置，包括：

成像装置，包括：

两个或更多个成像单元，能够对同一对象进行成像或感测，其中，

所述两个或更多个成像单元中的至少一个第一成像单元包括被配置为透射多个波段的第一滤波器，并且

所述两个或更多个成像单元中的除了所述第一成像单元以外的至少另一第二成像单元包括能够改变波段的第二滤波器；以及

处理单元，被配置为处理来自所述成像装置的信号。

Images