CN110998367B - 深度图像获取设备、控制方法及深度图像获取系统 - Google Patents

Abstract

其目的是促进提高获取深度图像的性能。一种深度图像获取设备包括发光二极管、TOF传感器和滤波器。所述发光二极管向检测区域照射调制光，所述检测区域成为要获取深度图像以检测距离的区域。所述TOF传感器接收入射光，从发光二极管照射的光由位于检测区域中的对象反射到入射光中，从而输出用于产生深度图像的信号。所述滤波器比具有除了入射到TOF传感器的光的预定通频带宽之外的通频带宽的波长的光通过更多具有预定通频带宽的波长的光。在这种情况下，根据所述发光二极管或TOF传感器的温度来控制发光二极管、TOF传感器或滤波器的设置中的至少一个。例如，本技术可以应用于通过使用TOF系统获取深度图像的系统。

Description

深度图像获取设备、控制方法及深度图像获取系统

技术领域

本公开涉及一种深度图像获取设备、控制方法及深度图像获取系统，更具体地，涉及一种分别能够促进提高获取深度图像的性能的深度图像获取设备、控制方法及深度图像获取系统。

背景技术

近年来，基于光飞行时间测量距离的TOF(飞行时间)系统包括直接TOF系统和间接TOF系统。在这种情况下，在直接TOF系统中，从利用脉冲波直接测量的光飞行时间开始测量距离。在间接TOF系统中，通过利用调制光的相位间接计算的光飞行时间来测量距离。

现在，当在室外测量距离时，通过利用间接TOF系统或直接TOF系统来获取深度图像的系统容易接收环境光(例如，太阳光)的影响。因此，在某些情况下，深度图像的精度降低。因此，在从光源照射的光具有给定强度的情况下，在某些情况下，由于环境光的影响，大幅减小了能够以足够的精度获取深度图像的距离(以下称为获取距离)。

例如，PTL 1提出了一种技术，其中，在用于基于从光源发射的照明光和由检测器检测的反射光之间的相位差来测量距离的距离测量设备中，照明光的波长限制在1290至1330nm的范围内，从而抑制环境光的影响。

引文列表

专利文献

PTL 1：JP 2016-35398A

发明内容

技术问题

如上述PTL 1中所公开的，提出了用于抑制环境光影响的技术。然而，期望更有效地抑制环境光的影响，并且能够获取的更高精度深度图像的获取距离变长，从而提高深度图像的获取性能。

根据这种情况构成本公开，并且能够实现提高深度图像的获取性能。

问题的解决方案

本公开的一个方面的深度图像获取设备设置有光源发射单元、传感器、滤波器单元和环境传感器。在这种情况下，光发射单元向成为要获取深度图像以检测距离的区域的检测区域照射调制光。传感器接收入射光，从发光单元照射的光由位于检测区域中的对象反射到该入射光中，并输出用于产生深度图像的信号。滤波器单元与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多。环境传感器在发光单元或传感器处获取环境信息。一些实施方式涉及一种深度图像获取设备。深度图像获取设备可以包括：发光单元，被配置为向检测区域照射调制光；传感器，被配置为被位于检测区域中的对象反射时接收调制光，并基于接收到的调制光输出信号，以生成深度信息；滤波器单元，被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多；环境传感器，被配置为在发光单元或传感器处获取环境信息；以及控制器，被配置为根据由环境传感器获取的环境信息来控制发光单元、传感器以及滤波器单元中的至少一个。

本公开的一个方面的控制方法包括，通过设置有发光单元、传感器、滤波器单元和环境传感器的深度图像获取设备，获取光源或传感器处的环境信息，并根据环境信息控制光源、传感器或滤波器单元的设置中的任一个。在这种情况下，光源向成为要获取深度图像以检测距离的区域的检测区域照射调制光。传感器接收入射光，从发光单元照射的光由位于检测区域中的对象反射到该入射光中，并输出用于产生深度图像的信号。滤波器单元与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多。一些实施方式涉及一种控制深度图像获取设备的方法，该深度图像获取设备包括：发光单元，被配置为向检测区域照射调制光，在检测区域中要获取深度图像，以检测距离，传感器，被配置为响应于接收调制光而接收由位于检测区域中的对象反射的光，并通过输出表示反射光的信号来产生深度图像；以及滤波器单元，被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多。该方法可以包括：在发光单元或传感器处获取环境信息；并且根据环境信息控制发光单元、传感器或滤波器单元中的至少一个。

本公开的一个方面的深度图像获取系统设置有结合控制部，用于根据由环境传感器获取的环境信息来控制发光单元、传感器以及滤波器设置中的至少一个。在这种情况下，接收通过滤波器入射的光，仅使具有预定通频带宽波长的更多光通过，来自光源的用于将调制光照射到成为要获取深度图像以检测距离的检测区域的光；或者接收从光源发出的由位于检测区域中的对象相对于具有除了预定通频带宽之外的波长的光反射的光。环境信息由用于获取传感器的环境信息的环境传感器获取，该传感器用于输出用于产生深度图像的信号。一些实施方式涉及一种深度图像获取系统。深度图像获取系统可以包括控制器，该控制器被配置为根据发光单元或传感器的环境信息来控制发光单元、传感器或滤波器单元中的至少一个。可以使用环境传感器获取环境信息。发光单元可以被配置为向检测区域照射调制光，在该检测区域中要获取深度图像，以检测距离。传感器可以被配置为响应于接收到调制光而接收已经穿过滤波器单元并由位于检测区域中的对象反射的光。滤波器单元可以被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多。

在本公开的方面中，调制光从光源向检测区域照射，该检测区域成为要获取深度图像以检测距离的区域。从光源照射的光被位于待入射的检测区域中的对象反射从而变成的光被传感器接收，从而输出用于再现深度图像的信号。在入射到传感器的光中，滤波器与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多。此外，根据从光源或环境传感器获取的环境信息来控制光源、传感器或滤波器的设置中的至少一个，以获取传感器的环境信息。

发明的有利效果

根据本公开的方面，可以实现提高深度图像的获取性能。

应当注意，此处描述的效果不一定受到限制，并且本公开中描述的任何效果都是可用的。

附图说明

[图1]图1是描绘应用本技术的深度图像获取设备的第一实施方式的配置示例的框图；

[图2]图2是描绘在室外观察到的光的波长和照度之间的关系的图形表示；

[图3]图3是解释在车辆中使用的深度图像获取设备使用示例的示图；

[图4]图4是描绘深度图像获取设备的第二实施方式的配置示例的框图；

[图5]图5是描绘深度图像获取设备的第三实施方式的配置示例的框图；

[图6]图6是解释光源光谱特性和温度变化之间的关系的图形表示；

[图7]图7是解释滤波器的通频带宽和两个光源的特性之间的关系的示图；

[图8]图8是描绘深度图像获取设备的第四实施方式的配置示例的框图；

[图9]图9是解释两个滤波器和光源特性之间的关系的示图；

[图10]图10是描绘深度图像获取设备的第五实施方式的配置示例的框图；

[图11]图11是描绘使用两个滤波器的配置中的设置示例的示图；

[图12]图12是描绘使用四个滤波器的配置中的设置示例的示图；

[图13]图13是描绘使用八个滤波器的配置中的设置示例的示图；

[图14]图14是解释在图13所示的设置示例中利用TOF传感器的示例的示图；

[图15]图15是描绘滤波器每预定数量的像素交替地设置的设置示例的示图；

[图16]图16是解释深度图像的恢复的示图；

[图17]图17是解释通过缩小滤波器的频带来提高SN的示图；

[图18]图18是解释用于将发光二极管的温度保持在恒定值的控制的图形表示；

[图19]图19是解释深度图像获取设备的使用示例的框图；

[图20]图20是解释深度图像获取设备的另一使用示例的框图；

[图21]图21是解释深度图像获取设备的又一使用示例的框图；

[图22]图22是解释深度图像获取设备的又一使用示例的框图；

[图23]图23是描绘TOF传感器的横截面配置的剖视图；

[图24]图24是描绘TOF传感器的配置示例的框图；

[图25]图25是描绘滤波器在像素的行方向和列方向上交替地设置的设置示例的框图；

[图26]图26是描绘滤波器在像素的列方向上交替地设置的设置示例的框图；

[图27]图27是描绘滤波器在像素的行方向上交替地设置的设置示例的框图；

[图28]图28是描绘滤波器被设置成分成左右两部分的设置示例的框图；

[图29]图29是描绘滤波器被设置成分成上下两部分的设置示例的框图；

[图30]图30是描述滤波器与拜耳阵列结合设置的设置示例的框图；

[图31]图31是描绘具有基于模块设备的配置的TOF传感器的横截面配置的剖视图；

[图32]图32是描绘应用本技术的计算机的实施方式的配置示例的框图；

[图33]图33是描绘车辆控制系统的示意性配置的示例的框图；

[图34]图34是描绘车辆外部信息检测部分和图像拾取部的安装位置的示例的说明图；

[图35]图35是描绘本公开的技术可以应用的层叠型固态图像拾取装置的配置示例的轮廓的示图；

[图36]图36是描绘层叠型固态图像拾取装置的第一结构示例的剖视图；

[图37]图37是描绘层叠型固态图像拾取装置的第二结构示例的剖视图；

[图38]图38是描绘层叠型固态图像拾取装置的第三结构示例的剖视图；

[图39]图39是描绘本公开的技术可以应用的层叠型固态图像拾取装置的另一示例的剖视图。

具体实施方式

在下文中，将参考附图详细描述应用本技术的每个具体实施方式。

<深度图像获取设备的第一配置示例>

图1是描绘应用本技术的深度图像获取设备的第一实施方式的配置示例的框图。

在图1中，深度图像获取设备11被配置为包括光调制部21、发光二极管22、光投影透镜23、光接收透镜24、滤波器25、TOF传感器26、图像存储部27、同步处理部28、距离信息计算部29和深度图像产生部30。

光调制部21向发光二极管22提供调制信号，该调制信号用于以具有例如大约10MHz的频率的高频对从发光二极管22输出的光进行调制。此外，光调制部21向TOF传感器26和同步处理部28中的每一个提供显示调制来自发光二极管22的光的时间的时间信号。

发光二极管22发射诸如红外光等的不可见光区域的光，同时根据从光调制部21向其提供的调制信号高速调制光。此外，发光二极管22向检测区域照射相关光，该检测区域成为深度图像获取设备11应该获取深度图像以检测距离的区域。应当注意，尽管在本实施方式中，用于向检测区域照射光的光源被描述为发光二极管22，但是也可以使用任何其他光源，例如，激光二极管。

此外，发光二极管22可以设置成邻近TOF传感器26，这将在后面描述。利用这种配置，当发射的光被对象反射以返回到深度图像获取设备11时，向外和返回之间的路径差变得最小，从而可以减小距离测量误差。此外，发光二极管22和TOF传感器26可以在一个底盘(chassis)中彼此一体形成。利用这种配置，当发射光被对象反射以返回到深度图像获取设备11时，可以抑制向外和返回之间的路径差的分散，从而可以减小距离测量误差。

光投射透镜23由用于以从发光二极管22照射的光具有期望照射角度的方式调整光的光分布的透镜配置而成。

光接收透镜24由用于将光从发光二极管22照射到的检测区域适配到视场中的透镜配置而成，并且将由位于检测区域中的对象反射的光成像在TOF传感器26的传感器面上。

滤波器25是仅使预定带宽的光通过的BPF(带通滤波器)，并且仅使由位于检测区域中的特定对象反射的使朝向TOF传感器26入射的光的处于光的预定带宽的光通过。例如，将滤波器25设置为通频带宽的中心波长在920nm至960nm的范围内，并且相比于波长在除了通频带宽之外的带宽中的光，使在该通频带宽中的光通过更多。具体地，滤波器25使波长在通频带宽中的光通过60％或更多，并且使波长在除了通频带宽之外的带宽中的光通过30％或更少。

此外，滤波器25使光通过的通频带宽比过去TOF系统中使用的滤波器的通频带宽窄，并且限于与从发光二极管22照射的光的波长对应的窄带宽。例如，在从发光二极管22照射的光的波长为940nm的情况下，结合该波长，采用以940nm为中心的±10nm带宽(930至950nm)作为滤波器25的通频带宽。

通过采用滤波器25的这种通频带宽，TOF传感器26可以检测照射光，同时TOF传感器26抑制太阳环境光的影响。应当注意，滤波器25的通频带宽不限于此，并且可以是以预定波长为中心的±15nm或更小的带宽。此外，能够以850nm作为波长带采用±10nm的带宽，作为中心(840nm至860nm)，其中，TOF中心26表现出最佳特性。结果，TOF传感器26可以有效地检测照射光。

TOF传感器26由具有在从发光二极管22照射的光的波长带中的灵敏度的图像拾取元件配置而成。因此，TOF传感器26通过传感器面上设置成阵列的多个像素来接收由光接收透镜24会聚以穿过滤波器25的光。如图所示，TOF传感器26可以接收检测区域中的对象反射的光，该检测区域设置在发光二极管22附近并且用来自发光二极管22的光照射。然后，TOF传感器26利用相应像素接收的光量输出像素信号，作为用于产生深度图像的像素值。例如，根据TOF传感器26的具体配置，可以应用诸如SPAD(单光子雪崩二极管)、APD雪崩光电二极管)和电流辅助光子解调器(CAPD)等各种传感器。

图像存储部27在其中存储与由从TOF传感器26输出的像素信号所构建的图像相关联的数据。例如，当检测区域中发生变化时，图像存储部27可以存储与最新图像相关联的数据，或者可以在检测区域中没有对象作为背景图像存在的状态下，存储与图像相关联的数据。

同步处理部28与从光调制部21提供的时间信号同步地执行用于反射光的时间提取像素信号的处理，该反射光是在从TOF传感器26提供的像素信号中接收到的、对应于从发光二极管22照射的调制光。结果，同步处理部28可以在从发光二极管22照射并被位于检测区域中的特定对象反射的光成为距离信息计算部29的主要成分的时间仅提供像素信号。此外，同步处理部28读出存储在图像存储部27中的与背景图像相关联的数据，并且获得背景图像和由从TOF传感器26提供的像素信号构建的图像之间的差异，从而能够产生仅与在检测区域中具有运动的对象相关联的像素信号。应当注意，同步处理部28在配置上不是必需的，因此从TOF传感器26提供的像素信号可以直接提供给距离信息计算部29。

距离信息计算部29基于从同步处理部28或从TOF传感器26提供的像素信号，执行用于获得每个像素到位于检测区域中的对象的距离的计算。距离信息计算部29将显示从该计算所获得的距离的深度信号提供给深度图像产生部30。

具体地，在间接TOF系统的情况下，距离信息计算部29基于从发光二极管22发射的光的相位和在从发光二极管22照射的光被对象反射之后入射到TOF传感器26的像素的光的相位之间的相位差，执行用于获得到位于检测区域中的对象的距离的计算。另外，在直接TOF系统的情况下，距离信息计算部29测量从发光二极管22发射光到TOF传感器26的像素的接收光的时间范围，每个像素测量多次(例如，几千次到一万次)，并且产生对应于测量时间的直方图。然后，距离信息计算部29检测直方图的峰值，从而确定从发光二极管22照射的光被对象反射以返回到原始位置的时间。然后，距离信息计算部29基于所确定的时间和光速执行用于获得到对象的距离的计算。

深度图像产生部30根据从距离信息计算部29向其提供的深度信号中的像素设置，来产生其中并排设置的到主体的距离的深度图像，并且在后续阶段将与深度图像相关联的数据输出到处理装置(未示出)。

在以这种方式配置的深度图像获取设备11中，如上所述，采用窄带宽滤波器25，其中，通频带宽响应于从发光二极管22照射的光的波长而限于窄带宽。结果，滤波器25去除了由环境光引起的噪声分量，从而使得测量所需的许多信号分量能够通过。即，在深度图像获取设备11中，与成为噪声分量的环境光相比，TOF传感器26可以接收更多的光作为测量所需的信号分量，因此可以提高获取的深度图像的SN比(信噪比)。

因此，即使在接收环境光影响的环境中，深度图像获取设备11也可以使得获取更精确深度图像的获取距离更长，并且提高深度图像的获取性能。

例如，图2描绘了在室外观察到的光的波长和照度之间的关系。通常，在室外，940nm波长附近的光的照度降低。因此，在深度图像获取设备11中，使用用于发射波长为940nm的光的发光二极管22，并且结合发光二极管22的使用，采用以940nm为中心的±10nm的通频带宽中的滤波器25，从而能够提高抑制环境光影响的效果。结果，例如，即使在如图3所示将深度图像获取设备11安装到车辆的这种应用程序中，也可以获取高精度的深度图像。

图3描绘了深度图像获取设备11在车辆中使用的使用示例。如图所示，深度图像获取设备11内置在车辆的侧镜中，并且以获取从车辆侧面向下指向的深度图像的方式安装。结果，深度图像获取设备11可以将光照射到阴影区域，并且可以检测由虚线箭头指示的距离。即使在深度图像获取设备11用于车辆中并且用于室外的情况下，深度图像获取设备11也抑制环境光的影响，并且因此能够获取深度图像，利用该深度图像能够高精度地检测到路缘或白线的距离。

<深度图像获取设备的第二配置示例>

图4是描绘应用本技术的深度图像获取设备的第二实施方式的配置示例的框图。应当注意，在图4所示的深度图像获取设备11A中，图1所示的深度图像获取设备11共有的组成元件具有相同的附图标记，并且在此处省略其详细描述。

即，与图1的深度图像获取设备11的情况类似，深度图像获取设备11A被配置为包括光调制部21、光接收透镜24、滤波器25、TOF传感器26、图像存储部27、同步处理部28、距离信息计算部29和深度图像产生部30。

此外，深度图像获取设备11A被配置为包括两个发光二极管22-1和22-2以及两个光投影透镜23-1和23-2。总之，图1的深度图像获取设备11设置有一组发光二极管22和光投影透镜23，而深度图像获取设备11A设置有两组发光二极管22和光投影透镜23。

发光二极管22-1和22-2可以发射具有不同波长的两束光。例如，发光二极管22-1发射波长为970nm的光，发光二极管22-2发射波长为945nm的光。然后，深度图像获取设备11A具有这样的配置，其中，采用发光二极管22-1和22-2中的任一个，以便结合滤波器25的通频带宽发射光。

例如，深度图像获取设备11A采用窄带宽滤波器25，以便能够抑制环境光的影响。因此，深度图像获取设备11A采用发射适合于滤波器25的通频带宽的光的发光二极管22-1和22-2中的一个，单独地，发光二极管22-1和22-2发射具有不同波长带的两束光，使得调制信号从光调制部21提供给发光二极管22-1和22-2中的一个。结果，滤波器25去除了由环境光引起的噪声分量，并且因此可以通过测量所需的许多信号分量(具有来自所采用的发光二极管22-1和22-2中的一个的波长的光)。TOF传感器26可以提高深度图像的信噪比。

因此，深度图像获取设备11A通过窄带宽滤波器25抑制环境光的影响，并且使得能够获取更高精度深度图像的获取距离变长，并且能够提高深度图像的获取性能。应当注意，本技术不限于本实施方式，并且还可以被配置为包括三个或更多个发光二极管22。在本技术设置有三个或更多个发光二极管22的情况下，三个或更多个发光二极管22分别发射具有不同波形的三束光，并且可以使用更窄带宽的滤波器25，因此可以进一步抑制环境光(例如，太阳光)的影响。

<深度图像获取设备的第三配置示例>

图5是描绘应用本技术的深度图像获取设备的第三实施方式的配置示例的框图。应当注意，在图5所示的深度图像获取设备11B中，与图4所示的深度图像获取设备11A相同的组成元件具有相同的附图标记，并且此处省略详细描述。

即，与图4的深度图像获取设备11A的情况类似，深度图像获取设备11B被配置为包括光调制部21、两个发光二极管22-1和22-2、两个光投影透镜23-1和23-2、光接收透镜24和滤波器25、TOF传感器26、图像存储部27、同步处理部28、距离信息计算部29和深度图像产生部30。

除此之外，深度图像获取设备11B被配置为包括结合控制部31。通过设置在深度图像获取设备11B外部的环境传感器41将感测周围环境而获得的传感器信息(环境信息)提供给结合控制部31。然后，如稍后将描述的，结合控制部31根据由环境传感器41获取的传感器信息来控制发光二极管22、TOF传感器26和滤波器25的设置中的至少一个。

例如，在用于检测深度图像获取设备11B的周围环境的温度的温度传感器用作环境传感器41的情况下，环境传感器41获取显示深度图像获取设备11B的周围环境的传感器信息，特别是发光二极管22或TOF传感器26的温度，并且将所得到的传感器信息提供给结合控制部31。当然，除了温度传感器之外，诸如照度传感器等各种类型的传感器中的任何一种都可以用作环境传感器41，并且也可以采用环境传感器41包含在深度图像获取设备11B中的配置。此外，也可以采用环境传感器41包含在发光二极管22-1和22-2的底盘中的配置。在采用这种配置的情况下，可以更精确地检测每个发光二极管22-1和22-2的温度。

深度图像获取设备11B以这种方式配置。结合控制部31获取从环境传感器41向其提供的传感器信息，并根据传感器信息结合滤波器25的通频带宽来执行用于选择发光二极管22-1和22-2中的一个的控制。然后，结合控制部31使得如此选择的一个发光二极管22进行光的照射，并且使得未选择的另一发光二极管22停止光的照射。

例如，每个发光二极管22-1和22-2具有如图6所示的峰值光源光谱特性。图6描绘了用于发射以855nm波长为中心的光的光源的光源光谱特性的示例。如图所示，该光源具有温度特性，使得当温度变化增加100°时，产生+10nm的波长偏移。

通过显示这样的温度特性，例如，利用仅使用一个光源的配置，为了应对由于光源的温度变化引起的波长偏移，需要选择通频带宽被设置为宽带宽(例如，940±50nm)的滤波器。结果，容易接收诸如太阳光等环境光的影响，从而信噪比变得更差，从而降低测量精度。

然后，在深度图像获取设备11B中，即使当由于温度变化而产生波长偏移时，选择发光二极管22-1和22-2中的任一个，使得在相应温度中使用的光的波长对应于滤波器25的通频带宽。

例如，在如图7所示设置滤波器25的通频带宽的情况下，使用在125°的环境中发射滤波器25的通频带宽中的光的发光二极管22-1和在25°的环境中发射滤波器25的通频带宽中的光的发光二极管22-2。总之，发光二极管22-1具有波长根据温度偏移的特性，使得发光二极管22-1在温度为125°的环境中具有滤波器25的通频带宽的波长的峰值，并且在温度为25°的环境中具有滤波器25的通频带宽的波长的峰值或更低。另一方面，发光二极管22-2具有波长根据温度偏移的特性，使得发光二极管22-2在温度为125°的环境中具有滤波器25的通频带宽的波长的峰值或更高，并且在温度为25°的环境中具有滤波器25的通频带宽的波长的峰值。因此，深度图像获取设备11B被配置为结合滤波器25的通频带宽使得发光二极管22-1在125°的环境中发光，并且使得发光二极管22-2在25°的环境中发光。

具体地，在深度图像获取设备11B中，可以使用发光二极管22-1在25°的温度下在环境中发射波长为925nm的光，并且在125°的温度下在环境中发射波长为935nm的光，并且使用发光二极管22-2在25°的温度下在环境中发射波长为945nm的光，并且在125°的温度下在环境中发射波长为955nm的光。此外，在深度图像获取设备11B中，可以使用滤波器25，该滤波器25的通频带宽限于以940nm为中心的±10nm的窄带宽(通频带宽的宽度的一半比由于发光二极管22的温度变化引起的波长偏移的波动的带(10nm)窄)。

在以这种方式配置的深度图像获取设备11B中，结合控制部31以这样的方式执行控制，即在传感器信息显示的温度为25°的情况下，选择发光二极管22-2，而在传感器信息显示的温度为125°的情况下，选择发光二极管22-1。结果，在深度图像获取设备11B中，即使当周围环境的温度从25°改变到125°时，也根据传感器信息适当地选择发光二极管22-1和22-2中的一个。结果，滤波器25去除了由于环境光引起的噪声分量，因此可以通过测量所需的许多信号分量。

因此，即使在周围环境中产生温度变化时，深度图像获取设备11B也抑制了窄带25中滤波器25对环境光的影响，并且使得能够获取更精确的深度图像的获取距离变长，并且能够提高深度图像的获取性能。

<深度图像获取设备的第四配置示例>

图8是描绘应用本技术的深度图像获取设备的第四实施方式的配置示例的框图。应当注意，在图8所示的深度图像获取设备11C中，与图1所示的深度图像获取设备11和图5所示的深度图像获取设备11B相同的组成元件具有相同的附图标记，并且在此处省略其详细描述。

即，与图1的深度图像获取设备11C的情况类似，深度图像获取设备11C被配置为包括光调制部21、发光二极管22、光投影透镜23、光接收透镜24、TOF传感器26、图像存储部27、同步处理部28、距离信息计算部29和深度图像产生部30。此外，类似于图5的深度图像获取设备11B的情况，深度图像获取设备11C被配置为包括结合控制部31，并且传感器信息从环境传感器41提供给结合控制部31。

此外，深度图像获取设备11C被配置为包括两个滤波器25-1和25-2。滤波器25-1和25-2可以通过具有不同波长带的两束光。例如，滤波器25-1的通频带宽限于以940nm为中心的±10nm的窄带宽，并且滤波器25-2的通频带宽限于以960nm为中心的±10nm的窄带宽。此外，设置有深度图像获取设备11C的发光二极管22具有如上所述的图6所示的光源光谱特性。例如，发光二极管22具有温度特性，使得发光二极管22在温度为25°的环境中发射波长为945nm的光，并且在温度为125°的环境中发射波长为955nm的光。

例如，在如图9所示设置两个滤波器25-1和25-2的通频带宽的情况下，发光二极管22具有峰值根据温度而改变的特性，使得发光二极管22在25°的环境中发射滤波器25-1的通频带宽中的光，并且在125°的环境中发射滤波器25-2的通频带宽中的光。因此，深度图像获取设备11C被配置为结合发光二极管22的特性，使得TOF传感器26在25°的环境中接收穿过滤波器25-1的光，并且使得TOF传感器26在125°的环境中接收穿过滤波器25-2的光。

深度图像获取设备11C以这种方式配置。结合控制部31以这样的方式执行控制，即根据从环境传感器41提供的传感器信息，结合从发光二极管22发射的光的波长来选择滤波器25-1和25-2中的一个。即，结合控制部31执行控制，以便在传感器信息显示的温度为25°的情况下选择滤波器25-1，并且在传感器信息显示的温度为125°的情况下选择滤波器25-2。

例如，深度图像获取设备11C以这样的方式配置，使得由结合控制部31选择的滤波器25-1和25-2中的一个设置在TOF传感器26的光接收面上，即滤波器25-1和25-2的位置可切换地设置。至于切换设置部分的方法，该设置可以由致动器(未示出)等自动切换。此外，该设置也可以通过用户的操作来切换。或者，通过施加电压，可以改变滤波器的特性，从而切换通频带宽。

结果，在深度图像获取设备11C中，即使当周围环境的温度从25°改变到125°时，根据传感器信息适当地选择滤波器25-1和25-2中的一个。结果，所选择的一个滤波器25去除了由于环境光引起的噪声分量，因此可以通过测量所需的许多信号分量。

因此，即使在周围环境中产生温度变化时，深度图像获取设备11C也通过窄带宽滤波器25-1或25-2抑制环境光的影响，并且使得能够获取更精确的深度图像的获取距离变长，并且能够提高深度图像的获取性能。应当注意，本技术不限于本实施方式，并且也可以采用深度图像获取设备设置有三个或更多滤波器25的配置。在深度图像获取设备11C设置有三个或更多个滤波器25的情况下，具有不同波长带宽的光通过的处理，从而可以使用更窄带宽的滤波器25，并且因此可以进一步抑制诸如阳光等环境光的影响。

<深度图像获取设备的第五配置示例>

图10是描绘应用本技术的深度图像获取设备的第五实施方式的配置示例的框图。应当注意，在图10所示的深度图像获取设备11D中，与图8所示的深度图像获取设备11C相同的组成元件具有相同的附图标记，并且在此处省略其详细描述。

即，与图8的深度图像获取设备11C的情况类似，深度图像获取设备11D被配置为包括光调制部21、发光二极管22、光投影透镜23、光接收透镜24、滤波器25-1和25-2、TOF传感器26、图像存储部27、同步处理部28、距离信息计算部29、深度图像产生部30和结合控制部31。此外，类似于图8的深度图像获取设备11C的情况，在深度图像获取设备11C中，传感器信息从环境传感器41提供给结合控制部31。

然后，深度图像获取设备11D与图8的深度图像获取设备11C的不同之处在于，滤波器25-1和25-2被设置成将TOF传感器26的光接收面分成多个区域。即，深度图像获取设备11D以这样的方式配置，即TOF传感器26的光接收面分成分别其中设置有滤波器25-1的分割区域和其中设置有滤波器25-2的分割区域，并且两个分割区域接收通频带宽中的对应的光。

在以这种方式配置的深度图像获取设备11D中，结合控制部31以这样的方式执行控制，即根据从环境传感器41提供的传感器信息，结合从发光二极管22发射的光的波长来选择滤波器25-1和25-2中的一个。即，在深度图像获取设备11D中，从分割区域输出的像素信号用于产生深度图像，在该分割区域中，由结合控制部31选择滤波器25-1和25-2中的一个。

例如，深度图像获取设备11D可以使用以940nm为中心的±10nm的通频带宽中的滤波器25-1，以及以960nm为中心的±10nm的通频带宽中的滤波器25-2。此外，设置有深度图像获取设备11D的发光二极管22具有如上所述的图6所示的光源光谱特性。例如，发光二极管22具有温度特性，使得发光二极管22在温度为25°的环境中发射波长为945nm的光，并且在温度为125°的环境中发射波长为955nm的光。

在以这种方式配置的深度图像获取设备11D中，结合控制部31以这样的方式执行对TOF传感器26的控制，即，在传感器信息显示的温度为25°的情况下，选择滤波器25-1，并且例如，输出来自其中设置有滤波器25-1的分割区域的像素信号。此外，结合控制部31以这样的方式执行对TOF传感器26的控制，即在传感器信息显示的温度为125°的情况下，选择滤波器25-2，并且例如输出来自其中设置有滤波器25-2的分割区域的像素信号。

结果，在深度图像获取设备11D中，即使当周围环境的温度从25°改变到125°时，根据传感器信息适当地选择滤波器25-1和25-2中的一个。结果，所选择的一个滤波器25去除了由于环境光引起的噪声分量，因此可以通过测量所需的许多信号分量，从而输出结果像素信号。

因此，即使在周围环境中产生温度变化时，深度图像获取设备11D也抑制了25-1或25-2中的窄带宽滤波器对环境光的影响，并且使得能够获取更精确的深度图像的获取距离变长，并且能够提高深度图像的获取性能。应当注意，上述配置的示例可以适当地彼此组合。例如，深度图像获取设备11D可以设置有多个发光二极管22和多个滤波器25，并且可以基于由环境传感器41获取的传感器信息以多个发光二极管22和多个滤波器25的适当组合来操作。

<滤波器的设置示例>

现在将参考图11至图17给出关于用于TOF传感器26的光接收面的滤波器25-1和25-2的设置的示例以及在相应设置中获取的深度图像的描述。

图11描绘了使用两个滤波器25-1和25-2的配置中的设置示例。例如，使用矩形滤波器25-1和25-2，将TOF传感器26的光接收面分成两部分，或左右分割区域。然后，在图中所示的设置示例中，滤波器25-1设置在TOF传感器26的光接收面左侧的分割区域中，滤波器25-2设置在TOF传感器26的光接收面右侧的分割区域中。

因此，尽管当温度为25°时，可以在TOF传感器26左侧的分割区域中获取正常深度图像，但是由于TOF传感器26右侧的分割区域中缺少信噪比，所以未获取正常深度图像。另一方面，尽管当温度为125°时，可以在TOF传感器26右侧的分割区域中获取正常深度图像，但是由于TOF传感器26左侧的分割区域中缺少信噪比，所以未获取正常深度图像。

在这种设置示例的配置中，结合控制部31应当根据从环境传感器41提供给发光二极管22的传感器信息，结合发光二极管22的温度特性来选择分割区域。即，当温度为25°时，结合控制部31以输出来自设置有滤波器25-1的分割区域的像素信号的方式来执行对TOF传感器26的控制。另一方面，当温度为125°时，结合控制部31以输出来自设置有滤波器25-2的分割区域的像素信号的方式来执行对TOF传感器26的控制。

图12描绘了四个滤波器25-1a和25-1b以及25-2a和25-2b的配置中的设置示例。例如，使用矩形滤波器25-1a和25-1b以及25-2a和25-2b，将TOF传感器26的光接收面分成四个部分或者2×2的分割区域。然后，在图中所示的设置示例中，滤波器25-1a设置在TOF传感器26的光接收面的左上侧的分割区域中。滤波器25-2a设置在TOF传感器26的光接收面的右上侧的分割区域中。此外，滤波器25-1b设置在TOF传感器26的光接收面的右下侧的分割区域中。滤波器25-2b设置在TOF传感器26的光接收面的左下侧的分割区域中。

因此，尽管当温度为25°时，可以在TOF传感器26的左上方和右下方的分割区域中获取正常深度图像，但是由于信噪比的不足，在TOF传感器26的右上方和左下方的分割区域中未获取正常深度图像。另一方面，尽管当温度为125°时，可以在TOF传感器26的右上侧和左下侧的分割区域中获取正常深度图像，但是由于信噪比的不足，在TOF传感器26的左上侧和右下侧的分割区域中未获取正常深度图像。

在这种设置示例的配置中，结合控制部31应当根据从环境传感器41提供给发光二极管22的传感器信息，结合发光二极管22的温度特性来选择分割区域。即，当温度为25°时，结合控制部31以输出来自设置有滤波器25-1a和25-1b的分割区域的像素信号的方式来执行对TOF传感器26的控制。另一方面，当温度为125°时，结合控制部31以输出来自设置有滤波器25-2a和25-2b的分割区域的像素信号的方式来执行对TOF传感器26的控制。

图13描绘了使用八个滤波器25-1a至25-1d；以及25-2a至25-2d的配置中的设置示例。例如，使用八个狭长矩形滤波器25-1a至25-1d和25-2a至25-2d或者八个等分割区域，其中，TOF传感器26等分割。八个滤波器中的每一个都具有与TOF传感器26的垂直宽度对应的垂直宽度，并且具有与八个相等分割区域中的每一个的宽度对应的宽度。然后，在图中所示的设置示例中，滤波器25-1a至25-1d以及滤波器25-2a至25-2d交替地设置在TOF传感器26的横向上。

因此，当温度为25°时，并且当温度为125°时，可以获取正常深度图像的区域交替地设置，以形成剥离图案。即，尽管当温度为25°时，可以在设置有滤波器25-1a至25-1d的分割区域中获取正常深度图像，但是由于信噪比的不足，在设置有滤波器25-2a至25-2d的分割区域中未获取正常深度图像。另一方面，尽管当温度为125°时，可以在设置有滤波器25-2a至25-2d的分割区域中获取正常深度图像，但是由于信噪比的不足，在设置有滤波器25-1a至25-1d的分割区域中未获取正常深度图像。

在这种设置示例的配置中，结合控制部31应当根据从环境传感器41提供给发光二极管22的传感器信息，结合发光二极管22的温度特性来选择分割区域。即，当温度为25°时，结合控制部31以输出来自设置有滤波器25-1a至25-1d的分割区域的像素信号的方式来执行对TOF传感器26的控制。另一方面，当温度为125°时，结合控制部31以输出来自设置有滤波器25-2a至25-2d的分割区域的像素信号的方式来执行对TOF传感器26的控制。

例如，对于上述图3所示的这种设置示例的深度图像获取设备11D，假设将深度图像获取设备11D安装到车辆的使用方法。例如，深度图像获取设备11D以深度图像获取设备11D的横向成为车辆行驶方向的方式安装到车辆，并且从车辆侧朝向下侧获取深度图像。

结果，如图14所示，深度图像获取设备11D可以获取深度图像，其中，白线被成像为垂直于滤波器25-1a至25-1d以及滤波器25-2a至25-2d的纵向。因此，当温度为25°时，深度图像获取设备11D可以获取深度图像，其中，白线在设置有滤波器25-1a至25-1d的分割区域中成像。另一方面，当温度为125°时，深度图像获取设备11D可以获取深度图像，其中，白线在设置有滤波器25-2a至25-2d的分割区域中成像。

即，即使当周围环境的温度从25°改变到125°时，深度图像获取设备11D也能够可靠地获取白线被成像的深度图像，从而能够测量到白线的距离。

图15描绘了配置中的设置示例，其中，滤波器25-1和25-2在纵向方向和横向上交替地设置，在每个分割区域中，预定数量的像素(例如，4×4的16个像素)矩形设置。例如，滤波器25-1和25-2能够以芯片上的方式设置，以便直接层叠在TOF传感器26上。

因此，尽管当温度为25°时，可以在设置滤波器25-1的分割区域中获取正常深度图像，但是由于信噪比的不足，在设置滤波器25-2的分割区域中未获取正常深度图像。另一方面，尽管当温度为125°时，可以在设置滤波器25-2的分割区域中获取正常深度图像，但是由于信噪比的不足，在设置滤波器25-1的分割区域中未获取正常深度图像。

以这种方式，在滤波器25-1和25-2沿纵向和横向交替地设置的设置示例中，如图16所示，由于信噪比不足而无法获取正常深度图像的分割区域可以在随后的阶段中恢复。例如，执行利用所谓的人工智能、深度学习等的学习处理，以补充与能够获取正常深度图像的分割区域相邻的分割区域，其中，不能通过使用与其相邻的分割区域来获取正常深度图像。结果，不能获取正常深度图像的分割区域从上部和下部以及右侧和左侧分割区域恢复，从而能够获取对应于整个TOF传感器26的深度图像。

此外，例如，在TOF传感器26的光接收面划分成依次设置滤波器25-1和25-2的多个划分区域的配置的情况下，与采用宽带宽滤波器的过去技术相比，信噪比可以提高。

即，如图17所示，在过去采用宽带宽滤波器的技术中，对于某些两个像素，在环境光较少的环境中，这些像素可以输出均具有较多信号分量的像素信号。此外，关于两个像素，在环境光较少的环境中，两个像素都输出像素信号，每个像素信号包含许多噪声分量。此时信噪比变为1.4。

另一方面，例如，在设置窄带宽滤波器25-1和25-2的情况下，其中，每个滤波器的通频带宽限于过去带宽的1/2，在环境光较少的环境中，一个像素输出包含许多信号分量的像素信号，而另一像素输出包含许多噪声分量的像素信号。此外，在环境光多的环境中，两个像素都输出像素信号，每个像素信号都包含噪声分量，该噪声分量变为过去噪声分量的1/2。此时信噪比变为2。

因此，与采用具有宽带宽作为通频带宽的滤波器的过去技术相比，在每个滤波器25-1和25-2的通频带宽比过去的窄的情况下，信噪比提高。结果，例如，当如图16所示执行恢复时，作为整体，可以获取包含较少噪声的深度图像。

<光源温度的控制>

现在将参考图18描述用于将发光二极管22的温度保持在恒定值的控制。

例如，为了实现TOF系统，采用CAPD(电流辅助光子解调器)的TOF传感器26具有消耗大电功率的特征。通过利用该特征，发光二极管22的温度可以通过利用通过消耗TOF传感器26中的电力而产生的热量来控制。总之，TOF传感器26设置在发光二极管22附近，并且TOF传感器26中产生的热量通过热传递路径被热传递到发光二极管22，从而能够调整发光二极管22的温度。

即，在TOF传感器26具有的CAPD像素中，预定数量的CAPD像素是虚拟操作的，并且在发光二极管22的温度上升到比期望温度更高的温度的情况下，虚拟操作的CAPD像素的数量减少。因此，可以减少到发光二极管22的热传递，结果，发光二极管22的温度可以降低到期望的温度。另一方面，在发光二极管22的温度降低到低于期望温度的情况下，虚拟操作的CAPD像素的数量增加。因此，可以增加到发光二极管22的热传递，结果，发光二极管22的温度可以上升到期望的温度。

因此，如图18A所示，例如，当发光二极管22的温度上升是小变化时，较少数量的CARD像素在虚拟操作中停止，以调整发光二极管22的温度，从而使得发光二极管22的温度能够保持在恒定值。另一方面，如图18B所示，例如，当发光二极管22的温度上升是大变化时，在虚拟操作中停止大量CARD像素，以调整发光二极管22的温度，从而使得发光二极管22的温度能够保持在恒定值。

以这种方式，TOF传感器26调整发光二极管22的温度，并且因此能够以发光二极管22能够保持给定的期望温度的方式执行控制，从而能够抑制由于如上所述的温度特性而产生波长偏移。因此，可以使发光二极管22发射这样的光，以通过窄带宽滤波器25，并且抑制环境光的影响，从而能够提高深度图像的获取性能。应当注意，对光源温度的控制不限于CAPD像素，并且也可以应用于SPAD像素、APD像素等。在这种情况下，可以提供类似的效果。

<深度图像获取设备的使用示例>

现在将参考图19至图21给出关于深度图像获取设备11的使用示例的描述。

如上所述，深度图像获取设备11通过使用窄带宽滤波器25使得即使在户外使用时也能够使获取距离变大，通过该获取距离可以获取更高精度的深度图像。例如，在室外获取距离大约为15米的情况下，与其他系统(例如，超声波传感器、毫米波传感器、相机等)相比，深度图像获取设备11可以通过提高像素分辨率、分辨率、视角等而具有优异的识别特性。

图19是描绘配备有用于通知外部检测到对象的通知装置的TOF系统的设置示例的框图。

如图19所示，TOF系统51被配置为包括深度图像获取设备11和声音输出装置12。应当注意，在图19所示的深度图像获取设备11中，此处省略了除发光二极管22和TOF传感器26之外的方框的图示。

深度图像获取设备11接收从发光二极管22发射并在TOF传感器26处被对象反射的光，从而使得能够获取识别该对象的深度图像，例如，即使当TOF系统51和对象之间产生雾时。然后，在例如人做出特定手势的情况下，深度图像获取设备11基于由TOF传感器26获取的深度图像向声音输出装置12输出表示检测到这个人的信号。

声音输出装置12是用于通过输出特定声音来通知正在检测对象的通知装置。应当注意，利用声音的通知仅仅是一个示例，因此声音输出装置12可以通过利用声音以外的装置来通知检测到对象。

即使在诸如夜晚或恶劣天气等环境中，使得不能从成为对象的人中识别出TOF系统51，以这种方式配置的TOF系统51也可以从系统51中识别出这个人。然后，当人通过手势等给出信号时，声音输出装置12根据从深度图像获取设备11提供的信号将声音输出到声音输出装置12。通过这种声音，可以使人识别装备有TOF系统51的设备(例如，自动驾驶车辆等)。

图20是描绘配备有用于通知外部检测到对象的通知装置的TOF系统的配置示例的框图。

如图20所示，TOF系统52被配置为包括深度图像获取设备11和振动装置13。应当注意，在图20所示的深度图像获取设备11中，此处省略了除发光二极管22和TOF传感器26之外的方框的图示。

对于TOF系统52，假设这种使用示例，即，将TOF系统52安装到能够将振动传递到用户身体的工具，例如，两轮车辆的驾驶员配备的头盔等。例如，当驾驶员在他/她注意前方时驾驶两轮车辆时，安装到头盔上的TOF系统52可以基于由深度图像获取设备11获取的深度图像来识别即使在诸如夜晚或恶劣天气等环境中也位于侧面、背面等的对象。然后，当TOF系统52检测到这样的对象成为驾驶员的危险时，TOF系统52向振动装置13提供表示检测到对象的信号。振动装置13的振动可以通知驾驶员该效果。

图21是描绘配备有用于记录检测到对象的记录装置的TOF系统的配置示例的框图。

如图21所示，TOF系统53被配置为包括深度图像获取设备11和记录装置14。应当注意，在图21所示的深度图像获取设备11中，此处省略了除发光二极管22和TOF传感器26之外的方框的图示。

对于TOF系统53，假设这种使用示例，即，将TOF系统53安装到诸如自动割草设备或作物收获设备等自动移动主体上。

例如，为了在欧洲和美国修剪宽阔的花园或维护高尔夫球场等的草坪，使用了自动割草设备。在这种情况下，安装在自动割草设备上的TOF系统53即使在包含环境光的白天也能够识别对象。此外，安装有TOF系统53的自动割草设备可以在夜间使用。在这种情况下，可以自动进行夜间未利用的草的维护，从而可以提高维护工作的效率。

然后，当TOF系统53基于由深度图像获取设备11获取的深度图像识别对象时，TOF系统53将表示识别对象的信号提供给记录装置14，记录装置14进而可以记录与对象的识别相关联的信息。结果，例如，安装有TOF系统53的自动割草设备也可以用作夜间安全设备，并且基于记录的信息抓住可疑人员等，并且可以作为风险信息进行管理。

例如，假设自动割草设备用于收获将来劳动力短缺而成为忧虑的作物。在这种情况下，安装在自动割草设备上的TOF系统53即使在包含环境光的白天也能够识别诸如进出农场的动物之类的对象。此外，安装有TOF系统53的自动割草设备可以在夜间使用。在这种情况下，在夜间进行作物的收割，从而能够提高收割工作的效率。

然后，当TOF系统53基于由深度图像获取设备11获取的深度图像识别诸如动物等对象时，TOF系统53向记录装置14提供表示识别对象的信号，记录装置14继而可以记录与对象的识别相关联的信息。结果，在进出农场的动物是有害动物的情况下，记录的信息可以在灭绝期间用作参考。另外，在TOF系统53中，例如，从发光二极管22输出的红外光用于检测收获的新鲜度，从而使得TOF系统53能够用于作物收获系统。

图22是描绘能够检测水下和陆地中的对象的TOF系统的配置示例的框图。

如图22所示，TOF系统54被配置为包括深度图像获取设备11E。例如，类似于图4的深度图像获取设备11A的情况，深度图像获取设备11E设置有两个发光二极管22-1和22-2，并且类似于图10的深度图像获取设备11D的情况，设置有设置在TOF传感器26的光接收面上的滤波器25-1和25-2。应当注意，在图22所示的深度图像获取设备11E中，此处省略了除发光二极管22-1和22-2、滤波器25-1和25-2以及TOF传感器26之外的方框的图示。

对于TOF系统54，这种使用示例将TOF系统54安装到水陆两用移动主体上，该水陆两用移动主体能够检测陆地和水下的对象，以便自主移动。

例如，TOF系统54可以使用发光二极管22-1在室外发射波长为940nm(参考图2)且照度低的光，并且使用发光二极管22-1在水下发射波长为520nm且衰减率低的光。响应于此，滤波器25-1的通频带宽限于以对应于发光二极管22-1的940nm为中心的窄带宽，并且滤波器25-2的通频带宽限于以对应于发光二极管22-2的520nm为中心的窄带宽。

因此，其上安装有TOF系统54的水陆两用移动主体执行控制，使得在陆地上选择发光二极管22-1，并且结合发光二极管22-1的选择，基于通过滤波器25-1的光来获取深度图像。结果，陆地上的对象可以被TOF传感器26检测到。另一方面，其上安装有TOF系统54的水陆两用移动主体执行控制，使得在水下选择发光二极管22-2，并且结合选择发光二极管22-2，基于通过滤波器25-2的光来获取深度图像。结果，水下对象可以被TOF传感器26检测到。

以这种方式，其上安装有TOF系统54的水陆两用移动主体选择对应于陆地和水下的发光二极管22和滤波器25，从而可以获取深度图像，通过该深度图像可以在陆地和水下的任一个中令人满意地识别对象。

顺便提及，类似于深度图像获取设备11E，设置两个发光二极管22-1和22-2并且滤波器25-1和25-2设置在TOF传感器26的光接收面上的配置可以安装到自动移动主体，如参考图21所述。利用这种配置，例如，对于白天和夜晚，切换发光二极管22-1和22-2的选择以及滤波器25-1和25-2的选择。

例如，发光二极管22-1和滤波器25-1可以设置为白天(波长：940nm)，发光二极管22-2和滤波器25-2可以设置为夜晚(波长：850nm)。因此，安装到自动移动主体的深度图像获取设备11E可以在白天使用波长为940nm的光，通过该光可以抑制环境光的影响，并且可以在晚上使用波长为850nm的光，其中，传感器的灵敏度更令人满意。结果，其上安装有深度图像获取设备11E的自动移动主体能够获取深度图像，通过该深度图像，即使在白天和夜晚，也能够令人满意地识别对象。

除此之外，假设设置有如上所述的深度图像获取设备11至11E中的任一个的TOF系统用于诸如汽车导航和驾驶记录器等各种设备中。

<TOF传感器的配置示例>

现在将参考图23至图31给出关于TOF传感器26的配置示例的描述。

图23描绘了TOF传感器26的横截面配置。

在图23所示的配置示例中，像素61以矩阵形式设置在TOF传感器26的光接收面中。TOF传感器26具有层叠结构，其中，传感器衬底63层叠在逻辑衬底62上。

信号处理电路、控制电路、存储电路等形成在逻辑衬底62上。在这种情况下，信号处理电路对从传感器衬底63输出的信号执行信号处理。控制电路对传感器衬底63的像素61执行控制。在存储电路中存储从传感器衬底63输出的信号。

传感器衬底63以片上透镜层(on-chip lens layer)65层叠在半导体层64上的方式配置。光电二极管66形成在半导体层64中的每个像素61上。滤波器25设置在半导体层64的光接收面上的每个像素61上。微透镜67设置在片上透镜层65中的每个像素61上。

在TOF传感器26中，设置有滤波器25-1的像素61-1接收波长对应于滤波器25-1的通频带宽的光。设置有滤波器25-2的像素61-2接收波长对应于滤波器25-2的通频带宽的光。

图24描绘了描绘TOF传感器26的配置示例的框图。

如图24所示，TOF传感器26被配置为包括像素区域71、垂直驱动电路72、列信号处理电路73、水平驱动电路74、输出电路75和控制电路76。

像素区域71例如是用于接收由图1的光接收透镜24聚集的光的光接收面。多个像素61以矩阵形式设置在像素区域71中。相应像素61通过水平信号线77每行连接到垂直驱动电路72，并且通过垂直信号线78每列连接到列信号处理电路73。多个像素61输出像素信号，该像素信号具有对应于通过单独设置的滤波器25的光量的相应电平。

垂直驱动电路72通过水平信号线77将用于按照设置在像素区域71中的多个像素61的每行的顺序驱动(传送、选择、复位等)像素61的驱动信号提供给像素61。列信号处理电路73对通过相应垂直信号线78从多个像素61输出的像素信号进行CDS(相关双采样)处理，从而执行像素信号的模数转换，并去除复位噪声。

水平驱动电路74按照设置在像素区域71中的多个像素61的每列的顺序，将用于输出从列信号处理电路73输出到数据输出信号线79的像素信号的驱动信号提供给列信号处理电路73。输出电路75在根据水平驱动电路74的驱动信号的时间放大从列信号处理电路73通过数据输出信号线79向其提供的像素信号，并将得到的像素信号输出到下一级的电路(例如，图1的同步处理部28)。例如，控制电路76根据TOF传感器26的方框的驱动周期产生时钟信号，并提供产生的时钟信号，从而控制方框的驱动。

然后，在TOF传感器26中，结合控制部31根据从环境传感器41输出的传感器信息或者在制造TOF传感器26时登记的特定信息来执行如上所述的控制。

例如，当环境传感器41检测发光二极管22的周围环境的温度，并将显示该温度的传感器信息提供给结合控制部31时，结合控制部31根据传感器信息显示的温度执行用于选择滤波器25-1和25-2中的一个的控制。然后，结合控制部31通知控制电路76滤波器25-1和25-2中所选择的一个。控制电路76控制像素61的驱动，使得像素信号从像素61输出，在像素61中设置有由结合控制部31选择的一个滤波器。结果，即使当存在温度变化时，也可以输出能够产生高精度深度信号的像素信号。

此外，例如，在环境传感器41可以检测周围环境的水的存在或不存在的情况下，环境传感器41可以向结合控制部31提供显示环境传感器41用于陆地还是水下的传感器信息。因此，如参考图22所述，结合控制部31根据传感器信息执行用于选择滤波器25-1和25-2中的陆地滤波器25(波长：940nm)和水下滤波器25(波长：520nm)中的一个的控制。然后，结合控制部31通知控制电路76滤波器25-1和25-2中所选择的一个。控制电路76控制像素61的驱动，使得像素信号从像素61输出，在像素61中设置有由结合控制部31选择的一个滤波器25。结果，在任何陆地和水下的情况下，可以输出基于该像素信号可以产生高精度深度信号的像素信号。

此外，例如，在环境传感器41可以检测周围环境的照度的情况下，环境传感器41可以向结合控制部31提供显示是白天还是夜晚的传感器信息。因此，结合控制部31执行控制，用于选择发光二极管22-1和滤波器25-1以及发光二极管22-2和滤波器25-2中的用于白天(波长：940nm)的发光二极管22和滤波器25和用于夜晚(波长：850nm)的发光二极管22和滤波器构成的一组。结果，在白天和夜晚的任何一天，可以输出像素信号，基于该像素信号可以产生高精度深度信号。

现在，除了传感器信号之外，结合控制部31可以根据特定于相应TOF传感器26的特定信息来执行控制。例如，显示每个像素61的视角端或中心的信息、显示制造分散的信息等可以用作特定信息。

例如，在TOF传感器26中，根据光接收透镜24的会聚角(广角或窄角)，滤波器25的合适通频带宽需要用于视角端的像素61和中心的像素61。因此，结合控制部31根据光接收透镜24的会聚角的切换，执行用于从发光二极管22-1和滤波器25-1以及发光二极管22-2和滤波器25-2中选择一组的控制，根据其视角端和中心，设置像素61。结果，即使在光接收透镜24的会聚角是广角和窄角中的任一个的情况下，TOF传感器26也可以输出像素信号，基于该像素信号可以产生高精度的深度信号。

此外，在TOF传感器26中，根据制造时的分散，需要在相应像素61中使用合适的通频带宽。因此，结合控制部31执行用于选择发光二极管22-1和滤波器25-1以及发光二极管22-2和滤波器25-2构成的一组的控制，以便在制造时校正分散。结果，TOF传感器26可以输出像素信号，基于该像素信号可以产生抑制每个像素61的分散的高精度深度图像。

图25描绘了设置的示例，其中，每个像素61提供的滤波器25-1和25-2交替地设置在像素区域71的行方向和列方向上。在这种TOF传感器26中，控制电路76可以对垂直驱动电路72和水平驱动电路74进行控制，以便驱动设置有滤波器25-1和25-2中的由结合控制部31选择的一个的像素61。

图26描绘了沿着像素61的行提供的滤波器25-1和25-2在像素区域71的列方向上交替地设置的设置示例。在这种TOF传感器26中，控制电路76可以对垂直驱动电路72进行控制，以便驱动设置有滤波器25-1和25-2中的由结合控制部31选择的一个的像素61的行。此时，不执行对对应于滤波器25-1和25-2的行中未被结合控制部31选择的像素61的行的驱动，控制电路76可以执行控制，以停止对应于相关行的垂直驱动电路72的驱动元件。以这种方式，通过停止像素信号的读取，例如，TOF传感器26可以促进低功耗和加速。

图27描绘了沿着像素61的列设置的滤波器25-1和25-2在像素区域71的行方向上交替地设置的设置示例。在这种TOF传感器26中，控制电路76可以对水平驱动电路74进行控制，以便驱动设置滤波器25-1和25-2中的由结合控制部31选择的一个的像素61的列。此时，不执行对对应于滤波器25-1和25-2的列中未被结合控制部31选择的像素61的列的驱动。因此，控制电路76可以执行这样的控制，以停止对应于列连接的列信号处理电路73的模数转换元件的驱动。以这种方式，通过停止像素信号的读取，例如，TOF传感器26可以促进低功耗和加速。

图28描绘了设置的示例，其中，滤波器25-1设置在像素区域71的左半部分的区域中，并且滤波器25-2设置在像素区域71的右半部分的区域中。在这种TOF传感器26中，控制电路76可以对水平驱动电路74进行控制，以便驱动设置有滤波器25-1和25-2中的由结合控制部31选择的一个的像素61的区域。此时，不执行对对应于滤波器25-1和25-2的区域中未被结合控制部31选择的像素61的区域的驱动。因此，控制电路76可以执行这样的控制，以停止对应于相关区域的列信号处理电路73的AD转换元件的驱动。以这种方式，通过停止像素信号的读取，例如，TOF传感器26可以促进低功耗和加速。

图29描绘了滤波器25-1设置在像素区域71的上半部分的区域中，并且滤波器25-2设置在像素区域71的下半部分的区域中的配置的示例。在这种TOF传感器26中，控制电路76可以对垂直驱动电路72进行控制，以便驱动设置滤波器25-1和25-2中由结合控制部31选择的一个的像素61的区域。此时，不执行对对应于滤波器25-1和25-2的区域中未被结合控制部31选择的像素61的区域的驱动。因此，控制电路76可以执行控制，以便停止对应于相关行的垂直驱动电路72的驱动元件。以这种方式，通过停止像素信号的读取，例如，TOF传感器26可以促进低功耗和加速。

图30描绘了滤波器25-1和25-2与拜耳阵列结合设置的设置示例。即，红色滤波器R、绿色滤波器G和蓝色滤波器B以及滤波器25-1或25-2被设置用于以2×2的形式设置的四个像素61。此外，滤波器25-1和25-2在像素区域71的行方向和列方向上交替地设置。通过这种设置示例的TOF传感器26，可以与深度图像一起获取RGB图像。

图31描绘了具有逐模块设置的配置的TOF传感器26的横截面配置示例。例如，除了如图23所示，将滤波器25-1和25-2直接层叠在TOF传感器26的半导体层64的光接收面上的这种片上设置之外，如图31所示，滤波器25-1和25-2能够以模块的形式设置。

如图所示，例如，信号可以通过接合线82从传感器衬底81输出到外部。滤波器25-1和25-2通过利用用于在其中存储传感器衬底81的存储壳体83，以外部样式的形式作为模块设置在传感器衬底81的光接收面侧。此外，通过使用透镜支架84和85，光接收透镜24固定到存储壳体83。

<计算机的配置示例>

应当注意，参考上述流程图描述的处理不一定按照流程图形式描述的顺序以时序方式执行，而是包括并行或单独执行的处理(例如，并行处理或对象处理)。此外，程序可以由单个CPU处理，或者可以由多个CPU以分布式方式处理。

此外，上述一系列处理(控制方法)可以由硬件执行或由软件执行。在由软件执行一系列处理的情况下，构成软件的程序安装在包含在专用硬件中的计算机中，或者例如安装在通用个人计算机等中，该通用个人计算机等可以通过从记录有程序的程序记录介质安装各种程序来执行各种功能。

<计算机的配置示例>

图32是描绘根据程序执行上述一系列处理的计算机的硬件配置示例的框图。

在计算机中，CPU(中央处理器)101、ROM(只读存储器)102、RAM(随机存取存储器)103和EEPROM(电可擦可编程只读存储器)104通过总线105相互连接。此外，输入/输出接口106连接到总线105，并且输入/输出接口106连接到外部。

在以这种方式配置的计算机中，例如，CPU 101通过总线105将存储在ROM 102和EEPROM 104中的程序加载到RAM 103中，并执行该程序，从而执行上述一系列处理。另外，由计算机(CPU 101)执行的程序可以预先写入ROM 102。除此之外，该程序可以通过输入/输出接口106从外部安装在EEPROM 104中，或者可以更新。

<移动主体的应用示例>

与本公开相关的技术(本技术)可以应用于各种产品。例如，与本公开相关的技术可以实现为安装到任何类型的移动主体上的设备，例如，汽车、电动车辆、混合动力汽车、两轮汽车、自行车、个人移动性、飞机、无人驾驶飞机、船舶和机器人。

图33是描绘车辆控制系统的示意性配置的示例的框图，该车辆控制系统作为可应用与本公开相关的技术的移动主体控制系统的示例。

车辆控制系统12000设置有通过通信网络12001彼此连接的多个电子控制单元。在图33所示的示例中，车辆控制系统12000设置有驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车载信息检测单元12040和集成控制单元12050。微型计算机12051、声音图像输出部12052和车载网络I/F(接口)12053被图示为集成控制单元12050的功能配置。

驱动系统控制单元12010根据各种程序控制与车辆驱动系统相关联的设备的操作。例如，驱动系统控制单元12010用作用于产生诸如内燃机或驱动马达等车辆的驱动力的驱动力产生装置的控制器、用于将驱动力传送到车轮的驱动力传送机构、用于调整车辆的转向角度的转向机构、用于产生车辆的制动力的制动设备等。

车身系统控制单元12020根据各种程序控制车身所配备的各种设备的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统和电动车窗装置的控制器或者各种灯，例如，头灯、后灯、刹车灯、闪光灯或雾灯等。在这种情况下，从便携式装置发送的电波或者来自各种开关的信号可以输入到车身系统控制单元12020。钥匙系统控制单元12020接收电波或信号的输入，从而控制车辆的门锁装置、电动车窗装置、灯等。

车辆外部信息检测单元12030检测与安装有车辆控制系统12000的车辆外部相关联的信息。例如，图像拾取部12031连接到车辆外部信息检测单元12030。车辆外部信息检测单元12030使图像拾取部12031捕捉车辆外部的图像，并接收与通过捕捉而获得的图像相关联的信号。车辆外部信息检测单元12030可以基于与如此接收的图像相关联的信号，来执行用于检测诸如人、车辆、障碍物、交通标志、路面上的字符等对象的处理或者距离检测处理。

图像拾取部12031是用于接收光并输出对应于相关光量的电信号的光学传感器。图像拾取部12031可以输出电信号，作为图像，或者可以输出电信号，作为与测量距离相关联的信息。此外，由图像拾取部12031接收的光可以是可见光，或者可以是诸如红外光等不可见光。

车载信息检测单元12040检测与车辆内部相关联的信息。例如，用于检测驾驶员状态的驾驶员状态检测部12041连接到车载信息检测单元12040。例如，驾驶员状态检测部12041包括用于对驾驶员成像的相机。车载信息检测单元12040可以计算驾驶员的疲劳程度或集中程度，或者可以基于从驾驶员状态检测部12041输入的检测信息来辨别驾驶员是否正在打瞌睡。

微型计算机12051可以基于由车辆外部信息检测电路12030或车载信息检测单元12040获取的与车辆内部或外部相关联的信息，来计算驱动力产生装置、转向机构或制动设备的控制目标值，并且可以向驱动系统控制单元12010输出控制指令。例如，微型计算机12051可以执行协作控制，以实现ADAS(高级驾驶辅助系统)的功能，包括车辆的碰撞避免或碰撞减轻、基于车间距离的后续行驶、车辆速度保持行驶、车辆的碰撞警告、车辆的车道偏离警告等。

此外，微型计算机12051可以基于由车辆外部信息检测单元12030或车载信息检测单元12040获取的与车辆圆周相关联的信息，通过控制驱动力产生装置、转向机构、制动设备等，来执行协作控制，以实现不依赖于驾驶员的操纵而自主行驶的车辆的自动驾驶。

此外，微型计算机12051可以基于由车辆外部信息检测单元12030获取的与车辆外部相关联的信息，向车身系统控制单元12030输出控制指令。例如，微型计算机12051可以执行协作控制，以实现防眩光的目的，例如，通过响应于由车辆外部信息检测单元12030检测到的前方车辆或迎面而来的车辆的位置控制前灯，来将远光切换到近光。

声音图像输出部12052将与声音或图像中的至少一个相关联的输出信号发送到输出装置，该输出装置可以视觉或听觉地向车辆的乘客或车辆外部通知该信息。在图33的示例中，音频扬声器12061、显示部12062和仪表板12063被例示为输出装置。显示部12062例如可以包括车载显示器和平视显示器中的至少一个。

图34是描绘图像拾取部12031的安装位置的示例的示图。

在图34中，车辆具有图像拾取部12101、12102、12103、12104和12105，作为图像拾取部12031。

图像拾取部12101、12102、12103、12104和12105例如设置在车辆12100的前鼻、侧镜、后保险杠、后门以及车内的前玻璃的上部等位置。设置在前鼻中的图像拾取部12101和设置在车内的前玻璃的上部中的图像拾取部12105主要获取车辆12100前方的图像。设置在侧镜中的图像拾取部12102和12103主要获取车辆12100侧面的图像。设置在后保险杠或后门中的图像拾取部12104主要获取车辆12100后侧的图像。设置在车内的前玻璃的上部的图像拾取部12105主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。

应当注意，图34描绘了由图像拾取部12101至12104拍摄的范围的示例。图像捕捉范围12111显示设置在前鼻中的图像捕捉部12101的图像捕捉范围。图像捕捉范围12112和12113显示分别设置在侧镜中的图像捕捉部12102和12103的图像捕捉范围。图像捕捉范围12114显示设置在后保险杠或后门中的图像捕捉部12104的图像捕捉范围。例如，与由图像拾取部12101至12104捕捉的图像相关联的多条数据彼此叠加，从而当从上侧观看车辆12100时获得鸟瞰图像。

图像拾取部12101至12104中的至少一个可以具有获取距离信息的功能。例如，图像拾取部12101至12104中的至少一个可以是包括多个图像拾取元件的立体相机，或者可以是具有用于检测相位差的像素的图像拾取元件。

例如，微型计算机12051基于从图像拾取部12101至12104获得的距离信息，获得到图像捕捉范围12111至12114内的三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)。结果，特别地，微型计算机12051可以提取车辆12100的行驶路径上的最近的三维对象，作为前方车辆，该车辆12100在与车辆12100大致相同的方向以预定速度(例如，0km/h或更高)行驶。此外，微型计算机12051可以设置在租赁车辆的后侧应当预先确保的车辆间距离，并且可以执行自动制动控制(也包括后续停止控制)、自动加速控制(也包括后续启动控制)等。以这种方式，微型计算机12051可以执行协作控制，用于实现自动驾驶等，通过该自动驾驶等，车辆不依赖于驾驶员的操纵而自主行驶。

例如，微型计算机12051可以基于从图像拾取部12101至12104获得的距离信息，将与三维对象相关联的三维对象数据分类成与两轮车辆、普通车辆、大型车辆、行人、电线杆等的三维对象相关联的数据片段，以提取期望的数据片段，从而用于自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物辨别为车辆12100的驾驶员能够视觉识别的障碍物以及车辆12100的驾驶员难以视觉识别的障碍物。然后，微型计算机12051确定显示与障碍物碰撞的危险程度的碰撞危险。然后，当碰撞风险等于或大于设定值，以提供存在碰撞可能性的情况时，微型计算机12051通过音频扬声器12061或显示部12062向驾驶员输出警报，或者通过驱动系统控制单元12010执行强制减速或避免转向，从而能够执行用于避免碰撞的驱动支持。

图像拾取部12101至12104中的至少一个可以是用于检测红外光的红外光相机。例如，微型计算机12051确定行人是否存在于来自图像拾取部12101至12104的捕捉图像中，从而能够识别行人。根据用于从作为红外光相机的图像拾取部12101至12104中提取捕捉图像中的特征点的过程以及用于通过对显示对象轮廓的一系列特征点执行模式匹配处理来确定对象是否是行人的过程，来执行行人的这种识别。当微型计算机12051确定行人存在于来自图像拾取部12101至12104的捕捉图像中，以识别行人时，声音图像输出部12052以显示用于强调的矩形轮廓线的方式控制显示部12062，以便叠加在如此识别的行人的图像上。另外，声音图像输出部12052可以控制显示部12062，使得显示行人的图标等显示在期望的位置。

到目前为止，已经针对可以应用与本公开相关的技术的车辆控制系统的示例给出了描述。与本公开相关的技术可以应用于迄今为止已经描述的组成元件的图像拾取部12031等。结果，可以使得能够获取更高精度深度图像的获取距离更长，并且例如可以实现更安全的自动驾驶等。此外，与本公开相关的技术也可以应用于迄今为止已经描述的组成元件的驾驶员状态检测部12041。结果，可以获得更高精度的深度图像，其中，诸如太阳光等环境光的影响减小。因此，例如，可以更准确地检测驾驶员的手势、清醒、属性信息等。

<可以应用与本公开相关的技术的层叠型固态图像拾取设备的配置示例>

图35是描绘可以应用与本公开相关的技术的层叠型固态图像拾取装置的配置示例的轮廓的示图。

图35的A示出了非层叠型固态图像拾取设备的示意性配置的示例。如图35的A所示，固态图像拾取装置23010具有一片管芯(半导体衬底)23011。管芯23011配备有像素区域23012、控制电路23013和逻辑电路23014。在这种情况下，像素在像素区域23012中设置成阵列。控制电路23013执行用于驱动像素等的各种控制。此外，逻辑电路23014包括用于执行信号处理的信号处理电路。

图35的B和C描绘了层叠固态图像拾取设备的示意性配置的示例。在固态图像拾取装置23020中，如图35的B和C所示，两片管芯：传感器管芯23021；以及逻辑管芯23024彼此层叠，并且彼此电连接，被配置为一个半导体芯片的形式。

在图35的B中，传感器管芯23021配备有像素区域23012和控制电路23013，并且逻辑管芯23024配备有包括用于执行信号处理的信号处理电路的逻辑电路23014。

在图35的C中，传感器管芯23021配备有像素区域23012，逻辑管芯23024配备有控制电路23013和逻辑电路23014。

图36是描绘层叠固态图像拾取装置23020的第一配置示例的剖视图。

在传感器管芯23021上形成构成成为像素区域23012的像素的PD(光电二极管)、FD(浮动扩散)和Tr(MOS FET)、成为控制电路23013的Tr等。此外，在传感器管芯23021上形成具有多层布线23110的布线层23101，在该示例中为三层。应当注意，(Tr变成)控制电路23013也可以配置在逻辑管芯23024中，而不是配置在传感器管芯23021中。

构成逻辑电路23014的Tr形成在逻辑管芯23024中。此外，在逻辑管芯23024中形成具有多层布线23170的布线层23161，在该示例中为三层。此外，在逻辑管芯23024中形成连接孔23171，其中，绝缘膜23172形成在其内壁表面上。连接到布线23170等的连接导体23173填充在连接孔23171中。

传感器管芯23021和逻辑管芯23024以其布线层23101和23161彼此面对的方式彼此粘合。结果，固态图像拾取装置23020被构造成传感器管芯23021和逻辑管芯23024彼此层叠。诸如保护膜等膜23191形成在传感器管芯23021和逻辑管芯23024通过其彼此粘附的表面上。

在传感器管芯23021中形成连接孔23111，该连接孔从传感器管芯23021的背面侧(光入射到PD的一侧)(上侧)完全延伸穿过传感器管芯23021，以到达逻辑管芯23024的最上层的布线23170。此外，在传感器管芯23021中形成连接孔23111，该连接孔23111与连接孔23111紧密相邻，以从传感器管芯23021的背面侧到达第一级布线23110。绝缘膜23112形成在连接孔23111的内壁表面上，绝缘膜23122形成在连接孔23121的内壁表面上。另外，连接导体23113和23123分别填充在连接孔23111和23121中。连接导体23113和连接导体23123在传感器管芯23121的背面上彼此电连接。结果，传感器管芯23021和逻辑管芯23024通过布线层23101、连接孔23121、连接孔23111和布线层23161彼此电连接。

图37是描绘层叠固态图像拾取装置23020的第二配置示例的剖视图。

在固态图像拾取装置23020的第二配置示例中，传感器管芯23021(的布线层23101的布线23110)和逻辑管芯23024(的布线层23161的布线23170)通过形成在传感器管芯23021中的一个连接孔23211彼此电连接。

即，在图37中，连接孔23211形成为从传感器管芯23021的背面侧完全延伸穿过传感器管芯23021，以到达逻辑管芯23024的最上层的布线23170，并且到达传感器管芯23021的最上层的布线23110。绝缘膜23212形成在连接孔23211的内壁表面上，并且连接导体23213填充在连接孔23211中。在上述图36中，传感器管芯23021和逻辑管芯23024通过两个连接孔23111和23121彼此电连接。然而，在图37中，传感器管芯23021和逻辑管芯23024通过一个连接孔23211彼此电连接。

图38是描绘层叠型固态图像拾取装置23020的第三配置示例的剖视图。

图38的固态图像拾取装置23020与图36的固态图像拾取装置23020的不同之处在于，诸如保护膜等膜23191没有形成在传感器管芯23021和逻辑管芯23024彼此粘附的表面上。在图36的固态图像拾取装置23020的情况下，诸如保护膜等膜23191形成在传感器管芯23021和逻辑管芯23024彼此粘附的表面上。

图38的固态图像拾取装置23020被配置为使得传感器管芯23021和逻辑管芯23024彼此堆叠，使得布线23110和23170彼此直接接触，并且布线23110和23170通过加热传感器管芯23021和逻辑管芯23024而彼此直接接合，同时向其施加必要的负载。

图39是描绘本公开的技术可以应用的层叠型固态图像拾取装置的配置的另一示例的剖视图。

在图39中，固态图像拾取装置23401具有三层层叠结构，其中，三片管芯：传感器管芯23411；逻辑管芯23412；以及存储器管芯23413彼此层叠。

例如，存储器管芯23413具有用于在其中存储在逻辑管芯23412中执行的信号处理中暂时需要的数据的存储器电路。

在图39中，逻辑管芯23412和存储器管芯23413在传感器管芯23411下面以此顺序层叠。然而，逻辑管芯23412和存储器管芯23413能够以相反的顺序层叠，即，存储器管芯23413和逻辑管芯23412可以在传感器管芯23411下面以这种顺序层叠。

应当注意，在图39中，在传感器管芯23411中形成成为像素的光电转换部分的PD、像素晶体管Tr的源极/漏区。

栅电极通过栅绝缘膜形成在PD的周围，像素Tr 23421和像素Tr 23422由与栅电极成对的源/漏区形成。

邻近PD的像素Tr 23421是传输Tr，并且配置像素Tr 23421的成对源极/漏区中的一个是FD。

此外，在传感器管芯23411中形成层间绝缘膜，并且在层间绝缘膜中形成连接孔。连接到像素Tr 23421和像素Tr 23422的连接导体23431形成在连接孔中。

此外，具有连接到连接导体23431的多层布线23432的布线层23433形成在传感器管芯23411中。

在传感器管芯23411的布线层23433的最下层中形成成为用于外部连接的电极的铝焊盘23434。即，在传感器管芯23411中，铝焊盘23434形成在比布线23432更靠近逻辑管芯23412的粘合表面23440的位置。铝焊盘23434用作与外部信号的输入/输出相关的布线端。

此外，用于与逻辑管芯23412电连接的触点23441形成在传感器管芯23411中。触点23441不仅连接到逻辑管芯23412的触点23451，还连接到传感器管芯23411的铝焊盘23442。

然后，在传感器管芯23411中形成焊盘孔23443，以便从传感器管芯23411的背面(上侧)到达铝焊盘23442。

根据本公开的技术可以应用于上述固态图像拾取设备。

<构造的组合示例>

应当注意，本技术还可以采用以下构造。

(1)一种深度图像获取设备，包括：

发光单元，被配置为向检测区域照射调制光；

传感器，被配置接收在被位于所述检测区域中的对象反射后的所述调制光，并且基于接收到的调制光输出信号，以生成深度信息；

滤波器单元，被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多；

环境传感器，被配置为在所述发光单元或所述传感器处获取环境信息；以及

控制器，被配置为根据由所述环境传感器获取的环境信息来控制所述发光单元、所述传感器以及所述滤波器单元中的至少一者。

(2)根据上述(1)所述的深度图像获取设备，其中，

所述环境传感器包括用于获取所述发光单元的温度的温度传感器。

(3)根据上述(1)所述的深度图像获取设备，其中，

所述控制器被配置为根据环境信息控制所述调制光的波长或所述滤波器单元的通频带宽。

(4)根据上述(2)所述的深度图像获取设备，其中，

所述发光单元包括用于发射光的多个光源，所述多个光源显示温度特性使得响应于温度变化而出现波长偏移，并且在不同波长处具有相应的峰值，并且

所述控制器被配置为根据温度选择多个光源中的至少一个光源。

(5)根据上述(2)所述的深度图像获取设备，其中，

所述滤波器单元包括分别具有彼此不同的通频带宽的多个滤波器，

所述发光单元显示温度特性，使得响应于温度变化而出现波长偏移，并且

所述控制器被配置为根据温度选择多个滤波器中的至少一个。

(6)根据上述(2)所述的深度图像获取设备，其中，

所述滤波器单元包括分别具有彼此不同的通频带宽的多个滤波器，

所述多个滤波器层叠在所述传感器的光接收面上，

所述发光单元具有温度特性，使得响应于温度变化而出现波长偏移，并且

所述控制器被配置为根据温度通过选择所述传感器的多个像素区域中的对应于多个滤波器中的一个滤波器的至少一个像素区域来输出信号。

(7)根据上述(6)所述的深度图像获取设备，其中，

所述多个滤波器具有预定数量的第一滤波器和预定数量的第二滤波器，所述第一滤波器具有第一通频带宽，所述第二滤波器具有第二通频带宽，

所述第一滤波器和所述第二滤波器中的每一个都具有矩形形状，并且

所述第一滤波器和所述第二滤波器交替地设置在所述传感器的光接收面的横向上。

(8)根据上述(6)所述的深度图像获取设备，其中，

所述多个滤波器具有预定数量第一滤波器和预定数量的第二滤波器，所述第一滤波器具有第一通频带宽，所述第二滤波器具有第二通频带宽，并且

所述第一滤波器和所述第二滤波器交替地设置在所述传感器的光接收面的纵向和横向上。

(9)根据上述(8)所述的深度图像获取设备，其中，

从其中设置有所述第一滤波器的第一像素生成第一深度图像，

从其中设置有所述第二滤波器的第二像素生成第二深度图像，

(i)当所述控制器选择所述第一滤波器时，通过内插所述第一深度图像来生成全深度图像，或者(ii)当所述控制器选择所述第二滤波器时，通过内插所述第二深度图像来生成全深度图像。

(10)根据上述(6)至(9)中任一项所述的深度图像获取设备，其中，

所述传感器被配置为停止驱动与所述控制器未选择的多个滤波器中的一个滤波器对应的区域中的像素。

(11)根据上述(2)至(10)中任一项所述的深度图像获取设备，其中，

所述传感器热耦合到所述发光单元，并且

传感器控制器被配置为响应于所述发光单元的温度升高而减少执行虚拟操作的传感器的像素数量，并且响应于所述发光单元的温度降低而增加执行虚拟操作的像素数量。

(12)根据上述(1)至(11)中任一项所述的深度图像获取设备，其中，

当基于来自所述传感器的深度信息检测到位于检测区域中的预定对象时，输出检测到所述预定对象的通知。

(13)根据上述(1)至(12)中任一项所述的深度图像获取设备，其中，

所述滤波器单元具有各自通频带宽彼此不同的多个滤波器，并且

所述多个滤波器设置在所述传感器的光接收面侧，并且

所述多个滤波器从所述传感器上能够拆卸。

(14)根据上述(4)至(13)中任一项所述的深度图像获取设备，其中，

所述控制器被配置为使得从所述多个光源中选择的光源进行光的照射，并且停止未从所述多个光源中选择的一个或多个光源的照射。

(15)根据上述(4)至(14)中任一项所述的深度图像获取设备，其中，

响应于100度的温度变化而在所述发光单元中产生预定变化宽度的波长偏移，并且

所述滤波器单元中的所述预定通频带宽宽度的1/2比所述预定变化宽度窄。

(16)根据上述(15)所述的深度图像获取设备，其中，

响应于100度的温度变化而在所述发光单元中产生至少10nm的波长偏移，并且

所述滤波器单元中的所述预定通频带宽宽度的1/2小于10nm。

(17)根据上述(1)至(16)中任一项所述的深度图像获取设备，其中，

所述预定通频带宽的中心波长在920nm和960nm之间。

(18)根据上述(1)至(17)中任一项所述的深度图像获取设备，其中，

所述滤波器单元被配置为使所述预定通频带宽中的光透射60％或更多，并且被配置为使除所述预定通频带宽之外的通频带宽中的光透射少于30％。

(19)一种控制深度图像获取设备的方法，包括

发光单元，被配置为向检测区域照射调制光，在所述检测区域中要获取深度图像以检测距离，

传感器，被配置为响应于接收所述调制光而接收由位于所述检测区域中的对象反射的光，并且通过输出表示反射的光的信号来生成深度图像，以及

滤波器单元，被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多；

所述控制深度图像获取设备的方法包括以下步骤：

在所述发光单元或所述传感器处获取环境信息；并且

根据所述环境信息控制所述发光单元、所述传感器以及所述滤波器单元中的至少一者。

(20)一种深度图像获取系统，包括：

控制器，被配置为根据发光单元或传感器处的环境信息来控制所述发光单元、所述传感器以及滤波器单元中的至少一者，

其中，使用环境传感器获取所述环境信息，

其中，所述发光单元被配置为向检测区域照射调制光，在所述检测区域中要获取深度图像以检测距离，

其中，所述传感器被配置为响应于接收到调制光而接收已经穿过所述滤波器单元并由位于所述检测区域中的对象反射的光，并且

其中，滤波器单元被配置为与波长在在预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多。

(21)一种深度图像获取设备，包括：

光源，被配置为向成为要获取深度图像以检测距离的区域的检测区域照射调制光；

传感器，被配置为接收从光源照射的光由位于检测区域中的对象反射到其中入射光，从而输出用于产生深度图像的信号；

滤波器，被配置为使波长在通频带宽内的朝向传感器入射的光的预定通频带宽之外的光相比，使波长在所述预定通频带宽内的光通过更多；

环境传感器，被配置为获取与光源或传感器相关联的环境信息；以及

结合控制部，被配置为根据由环境传感器获取的环境信息来控制光源、传感器以及滤波器设置中的至少一者。

(22)根据上述(21)所述的深度图像获取设备，其中，

所述环境传感器是用于获取光源温度的温度传感器。

(23)根据上述(21)所述的深度图像获取设备，其中，

所述结合控制部根据环境信息结合另一个控制从光源照射的光的波长和滤波器的通频带宽中的至少一者。

(24)根据上述(22)所述的深度图像获取设备，其中，

所述光源是用于发射具有响应于温度变化产生波长偏移的温度特性的光的多个光源，其中，并且具有彼此不同的相应波长的峰值，并且

所述结合控制部根据温度选择多个光源中的至少一个光源。

(25)根据上述(22)所述的深度图像获取设备，其中，

所述滤波器是分别具有彼此不同的通频带宽的多个滤波器，

所述光源具有其中响应于温度变化产生波长的偏移温度特性，并且

所述结合控制部根据温度选择多个滤波器中的至少一个。

(26)根据上述(22)所述的深度图像获取设备，其中，

所述滤波器是具有各自通频带宽彼此不同的多个滤波器，

所述多个滤波器被设置成层叠在传感器的光接收面上，

所述光源具有其中响应于温度变化产生波长偏移的温度特性，并且

所述结合控制部对传感器进行控制，以便根据温度选择多个滤波器设置在其中的多个区域中的至少一个，从而输出信号。

(27)根据上述(26)所述的深度图像获取设备，其中，

所述多个滤波器具有预定数量的第一滤波器和预定数量的第二滤波器，所述第一滤波器具有第一通频带宽，所述第二滤波器具有第二通频带宽，并且

所述第一和第二滤波器中的每一个都具有矩形形状，其长度对应于传感器的光接收面的垂直宽度，并且其宽度相等地将传感器的光接收面的宽度除以预定数量的两倍，并且所述第一滤波器和第二滤波器交替地设置在传感器的光接收面的横向上。

(28)根据上述(27)所述的深度图像获取设备，其中，

所述多个滤波器具有预定数量的第一滤波器和预定数量的第二滤波器，所述第一滤波器具有第一通频带宽，所述第二滤波器具有第二通频带宽，并且

所述第一滤波器和第二滤波器交替地在纵向和横向上设置在传感器的光接收面上，每个分割区域中的传感器的多个像素以矩形方式设置。

(29)根据上述(28)所述的深度图像获取设备，其中，

在对应于设置第一滤波器的分割区域的深度图像和对应于设置第二滤波器的分割区域的深度图像中，从能够正常获取的一个深度图像中恢复不能正常获取的另一深度图像。

(30)根据上述(26)至(29)中任一项所述的深度图像获取设备，其中，

所述传感器停止驱动用于从未被所述结合控制部选择的滤波器设置的区域中的像素读出信号的元件。

(31)根据上述(22)至(30)中任一项所述的深度图像获取设备，其中，

所述传感器靠近光源设置，并且在传感器具有的多个像素中，响应于光源温度的升高使得每个像素执行虚拟操作的像素数量减少，而响应于光源温度的降低使得每个像素执行虚拟操作的像素数量增加。

(32)根据上述(21)至(31)中任一项所述的深度图像获取设备，其中，

当基于从传感器输出的信号产生的深度图像检测到位于检测区域中的预定对象时，显示检测到预定对象的信号提供给通知装置，用于通知外部检测到预定对象。

(33)根据上述(21)至(32)中任一项所述的深度图像获取设备，其中，

所述滤波器单元具有各自通频带宽彼此不同的多个滤波器，并且

所述多个滤波器以外部模块的形式设置在传感器的光接收面侧。

(34)根据上述(24)至(33)中任一项所述的深度图像获取设备，其中，

所述结合控制部使得从多个光源中选择的光源进行光的照射，并且停止未从多个光源中选择的光源的照射。

(35)根据上述(24)至(34)中任一项所述的深度图像获取设备，其中，

响应于100度的温度变化而在光源中产生预定变化宽度的波长偏移，并且

所述滤波器中的预定通频带宽宽度的1/2比预定变化宽度窄。

(36)根据上述(35)所述的深度图像获取设备，其中，

响应于100度的温度变化而在光源中产生至少10nm的波长偏移，并且

所述滤波器中的预定通频带宽宽度的1/2小于10nm。

(37)根据上述(21)至(36)中任一项所述的深度图像获取设备，其中，

所述预定通频带宽的中心波长在920nm至960nm的范围内。

(38)根据上述(21)至(37)中任一项所述的深度图像获取设备，其中，

所述滤波器使预定通频带宽中的光透射60％或更多，并且使除预定通频带宽之外的通频带宽中光透射少于30％。

(39)一种控制深度图像获取设备的方法，包括

光源，被配置为向成为要获取深度图像以检测距离的区域的检测区域照射调制光；

传感器，被配置为接收入射光，从光源照射的光由位于检测区域中的对象反射到入射光中，从而输出用于产生深度图像的信号；

滤波器，被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多；

所述控制深度图像获取设备的方法包括以下步骤：

获取与光源或传感器相关联的环境信息；并且

根据环境信息来控制光源、传感器以及滤波器设置中的至少一个。

(40)一种深度图像获取系统，包括：

结合控制部，被配置为根据获取环境信息的环境传感器所获取的环境信息来控制光源、传感器以及滤波器设置中的至少一个，所述环境信息与所述光源或者所述传感器相关联，

所述光源被配置为向成为要获取深度图像以检测距离的区域的检测区域照射调制光；或者所述传感器被配置为接收通过所述滤波器入射的光，以与波长在除了从所述光源照射的光由位于所述检测区域中的对象反射的光的预定通频带宽之外的通频带宽内的光相比，通过更多具有预定通频带宽的波长的光。

应当注意，实施方式不限于上述实施方式，并且在不脱离本公开的主题的情况下可以进行各种改变。例如，采用包括设置在外部的发光二极管22、TOF传感器26等、结合控制部31、深度图像产生部30等的系统对发光二极管22执行控制并对TOF传感器26的像素信号执行处理的配置。此外，本说明书中描述的效果仅仅是示例性的，而不是限制性的，因此也可以获得其他效果。

附图标记列表

11 深度图像获取设备

12 声音输出装置

13 振动装置

14 记录装置

21 光调制部

22 发光二极管

23 光投射透镜

24 光接收透镜

25 滤波器

26 TOF传感器

27 图像存储部

28 同步处理部

29 距离信息计算部

30 深度图像产生部

31 结合控制部

41 环境传感器

51 至54TOF系统

61 像素

62 逻辑衬底

63 传感器衬底

64 半导体层

65 片上透镜层

66 光电二极管

67 微透镜

71 像素区域

72 垂直驱动电路

73 列信号处理电路

74 水平驱动电路

75 输出电路

76 控制电路

77 水平信号线

78 垂直信号线

79 数据输出信号线

81 传感器衬底

82 接合线

83 存储壳体

84和85 镜头支架。

Claims (15)

1.一种深度图像获取设备，包括：

发光单元，被配置为向检测区域照射调制光；

传感器，被配置为接收被位于所述检测区域中的对象反射后的所述调制光，并且基于接收到的调制光输出信号，以生成深度信息；

滤波器单元，被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多；

环境传感器，被配置为在所述发光单元或所述传感器处获取环境信息，所述环境传感器包括用于获取所述发光单元的温度的温度传感器；以及

控制器，被配置为根据由所述环境传感器获取的环境信息来控制所述发光单元、所述传感器以及所述滤波器单元中的至少一者，

所述发光单元包括用于发射光的多个光源，所述多个光源显示温度特性使得响应于温度变化而出现波长偏移，并且在不同波长处具有相应的峰值，并且

所述控制器被配置为根据温度选择多个光源中的至少一个光源。

2.根据权利要求1所述的深度图像获取设备，其中，

所述控制器被配置为使得从所述多个光源中选择的光源进行光的照射，并且停止未从所述多个光源中选择的一个或多个光源的照射。

3.根据权利要求1所述的深度图像获取设备，其中，

响应于100度的温度变化而在所述发光单元中产生预定变化宽度的波长偏移，并且

所述滤波器单元中的所述预定通频带宽宽度的1/2比所述预定变化宽度窄。

4.根据权利要求3所述的深度图像获取设备，其中，

响应于100度的温度变化而在所述发光单元中产生至少10nm的波长偏移，并且

所述滤波器单元中的所述预定通频带宽宽度的1/2小于10nm。

5.一种深度图像获取设备，包括：

发光单元，被配置为向检测区域照射调制光；

传感器，被配置为接收被位于所述检测区域中的对象反射后的所述调制光，并且基于接收到的调制光输出信号，以生成深度信息；

滤波器单元，被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多；

环境传感器，被配置为在所述发光单元或所述传感器处获取环境信息，所述环境传感器包括用于获取所述发光单元的温度的温度传感器；以及

控制器，被配置为根据由所述环境传感器获取的环境信息来控制所述发光单元、所述传感器以及所述滤波器单元中的至少一者，其中，

所述滤波器单元包括分别具有彼此不同的通频带宽的多个滤波器，

所述多个滤波器层叠在所述传感器的光接收面上，

所述发光单元具有温度特性，使得响应于温度变化而出现波长偏移，并且

所述控制器被配置为根据温度通过选择所述传感器的多个像素区域中的对应于多个滤波器中的一个滤波器的至少一个像素区域来输出信号。

6.根据权利要求5所述的深度图像获取设备，其中，

所述多个滤波器具有预定数量的第一滤波器和预定数量的第二滤波器，所述第一滤波器具有第一通频带宽，所述第二滤波器具有第二通频带宽，

所述第一滤波器和所述第二滤波器中的每一个都具有矩形形状，并且

所述第一滤波器和所述第二滤波器交替地设置在所述传感器的光接收面的横向上。

7.根据权利要求5所述的深度图像获取设备，其中，

所述多个滤波器具有预定数量第一滤波器和预定数量的第二滤波器，所述第一滤波器具有第一通频带宽，所述第二滤波器具有第二通频带宽，并且

所述第一滤波器和所述第二滤波器交替地设置在所述传感器的光接收面的纵向和横向上。

8.根据权利要求7所述的深度图像获取设备，其中，

从其中设置有所述第一滤波器的第一像素生成第一深度图像，

从其中设置有所述第二滤波器的第二像素生成第二深度图像，

(i)当所述控制器选择所述第一滤波器时，通过内插所述第一深度图像来生成全深度图像，或者(ii)当所述控制器选择所述第二滤波器时，通过内插所述第二深度图像来生成全深度图像。

9.根据权利要求5所述的深度图像获取设备，其中，

所述传感器被配置为停止驱动与所述控制器未选择的多个滤波器中的一个滤波器对应的区域中的像素。

10.根据权利要求1或5所述的深度图像获取设备，其中，

所述传感器热耦合到所述发光单元，并且

传感器控制器被配置为响应于所述发光单元的温度升高而减少执行虚拟操作的传感器的像素数量，并且响应于所述发光单元的温度降低而增加执行虚拟操作的像素数量。

11.根据权利要求1或5所述的深度图像获取设备，其中，

当基于来自所述传感器的深度信息检测到位于检测区域中的预定对象时，输出检测到所述预定对象的通知。

12.根据权利要求5所述的深度图像获取设备，其中，

所述多个滤波器从所述传感器上能够拆卸。

13.根据权利要求1或5所述的深度图像获取设备，其中，

所述滤波器单元被配置为使所述预定通频带宽中的光透射60％或更多，并且被配置为使除所述预定通频带宽之外的通频带宽中的光透射少于30％。

14.一种控制深度图像获取设备的方法，所述深度图像获取设备包括发光单元，被配置为向检测区域照射调制光，在所述检测区域中要获取深度图像以检测距离，所述发光单元包括用于发射光的多个光源，所述多个光源显示温度特性使得响应于温度变化而出现波长偏移，并且在不同波长处具有相应的峰值，

传感器，被配置为响应于接收所述调制光而接收由位于所述检测区域中的对象反射的光，并且通过输出表示反射的光的信号来生成深度图像，以及

滤波器单元，被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多；

所述控制深度图像获取设备的方法包括以下步骤：

在所述发光单元或所述传感器处获取环境信息；并且

根据所述环境信息控制所述发光单元、所述传感器以及所述滤波器单元中的至少一者，

根据温度选择所述多个光源中的至少一个光源。

15.一种控制深度图像获取设备的方法，所述深度图像获取设备包括：

发光单元，被配置为向检测区域照射调制光；

传感器，被配置为接收被位于所述检测区域中的对象反射后的所述调制光，并且基于接收到的调制光输出信号，以生成深度信息；

滤波器单元，被配置为与波长在除预定通频带宽之外的通频带宽内的光相比，使波长在所述预定通频带宽内的光通过更多，所述滤波器单元包括分别具有彼此不同的通频带宽的多个滤波器，所述多个滤波器层叠在所述传感器的光接收面上，

所述控制深度图像获取设备的方法包括以下步骤：

在所述发光单元或所述传感器处获取环境信息；并且根据环境信息来控制所述发光单元、所述传感器以及滤波器单元中的至少一者，

根据温度通过选择所述传感器的多个像素区域中的对应于多个滤波器中的一个滤波器的至少一个像素区域来输出信号。