CN115280180A - 距离测量装置及距离测量方法 - Google Patents

Abstract

本公开涉及一种能够以低成本使用具有不同的距离测量系统的多个传感器的组合的距离测量装置和距离测量方法。共享控制是在以下方面执行的：由用于由直接ToF系统进行距离测量的SPAD组成的像素；由普通像素或用于由间接ToF系统进行距离测量的电流辅助光子解调器(CAPD)组成的像素区域；以及发光单元。本公开可应用于距离测量装置。

Description

距离测量装置及距离测量方法

技术领域

本公开涉及一种距离测量装置和距离测量方法，并且更具体地，涉及能够以低成本组合使用采用不同的距离测量方案的多个传感器的距离测量装置和距离测量方法。

背景技术

近年来，作为引起注意的距离测量方案，使用飞行时间(ToF)方法测量距离的距离测量传感器引起注意。

距离测量传感器包括采用能够测量长距离的直接ToF方案的传感器和采用能够以高精度测量相对短距离的间接ToF方案的传感器。

例如，专利文献1公开了采用直接ToF方案的距离测量传感器。

另外，专利文献2公开了采用间接ToF方案的距离测量传感器。

引用列表

专利文献

专利文献1：国际公开第2018/074530号

专利文献2：日本专利申请公开第2011-86904号

发明内容

本发明要解决的问题

顺便提及，在距离测量装置的配置中，使用不同距离测量方案的多个距离测量传感器使得可以覆盖宽的距离测量范围。

然而，如果采用直接ToF方案的距离测量传感器和采用间接ToF方案的距离测量传感器被简单地组合，则设备规模增加和成本增加。

鉴于这种情况做出本公开，并且本公开尤其涉及使得能够以低成本组合使用采用不同的距离测量方案的多个传感器。

问题的解决方案

根据本公开的一方面的距离测量装置是一种距离测量装置，包括：发光单元，被配置为发射测距光；像素区域，该像素区域包括用于使用第一飞行时间(ToF)方案的距离测量的第一像素和用于使用第二ToF方案的距离测量的第二像素；以及控制单元，被配置为控制第一像素、第二像素和发光单元。

根据本公开的一方面的距离测量方法是一种距离测量装置的距离测量方法，该距离测量装置包括：发光单元，被配置为发射测距光；像素区域，该像素区域包括用于使用第一飞行时间(ToF)方案的距离测量的第一像素和用于使用第二ToF方案的距离测量的第二像素；以及控制单元，其控制上述第一像素、上述第二像素以及上述发光单元，上述距离测定方法包括上述控制单元控制上述第一像素、上述第二像素以及上述发光单元的步骤。

在本公开的一个方面中，被配置为发射测距光的发光单元，第一像素和第二像素在包括将被用于使用第一飞行时间(ToF)方案的距离测量的第一像素和将被用于使用第二ToF方案的距离测量的第二像素的像素区域中被控制。

附图说明

图1是示出了在距离测量装置安装在车辆上的情况下的检测范围的示例的示图。

图2是用于说明包括iToF传感器和dToF传感器的距离测量装置的配置示例的示图。

图3是用于说明包括iToF传感器和dToF传感器的距离测量装置的另一配置示例的视图。

图4是用于说明包括iToF传感器和dToF传感器的距离测量装置的控制的视图。

图5是用于说明本公开的距离测量装置的概要的视图。

图6是用于说明本公开的距离测量装置的第一实施例的配置示例的视图。

图7是用于说明使用dTOF传感器的距离测量方法的视图。

图8是用于说明使用iTOF传感器的距离测量方法的视图。

图9是示出dTOF像素区域中的像素的第一配置示例的视图。

图10是示出dTOF像素区域中的像素的第二配置示例的视图。

图11是示出dTOF像素区域中的像素的第三配置示例的视图。

图12是示出dTOF像素区域中的像素的第四配置示例的视图。

图13是示出iTOF像素区域中的像素的第一配置示例的视图。

图14是示出iTOF像素区域中的像素的第二配置示例的视图。

图15是用于说明图6中的距离测量装置的操作的时序图。

图16是用于解释从图6中的距离测量装置的距离测量结果获得的深度图像的示例的视图。

图17是用于说明发光设置的示例的示图。

图18是用于说明图6中的距离测量装置的另一操作的时序图。

图19是用于说明图6中的距离测量装置的又一操作的时序图。

图20是用于说明本公开的距离测量装置的第二实施例的配置示例的视图。

图21是用于说明通过图20中的距离测量装置的距离测量结果的第一应用示例的示图。

图22是用于说明通过图20中的距离测量装置进行的距离测量结果的第二应用示例的示图。

图23是用于说明i/d ToF传感器的变形例的图。

图24是用于解释i/d ToF传感器的变型例的示图。

图25是用于解释本公开的距离测量装置的第一应用示例的视图。

图26是用于解释本发明的距离测量装置的第二应用示例的视图。

具体实施方式

下面将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同的功能配置的部件将由相同的参考标号来表示，并且将省略冗余的描述。

此外，将按照以下顺序进行描述。

1.本公开的概述

2.第一实施例

3.第二实施例

<<1.本公开的概述>>

参照图1，将使用安装在车辆上的距离测量装置作为示例来描述本公开的距离测量装置的概要。

如图1的右侧部分所示，在距离测量装置11安装在车辆1上的情况下，例如，为了在高速行驶的情况下采取防碰撞行为，有必要使得能够测量相对于车辆1的行驶方向(在图中为上侧)距离车辆1大于预定距离的区域ZF中的物体的距离。

另外，在车辆1在例如狭小巷等中行驶的情况下，在行人相对于图中上侧的行驶方向行走的情况下，需要能够测量距车辆1的距离不到预定距离的区域ZN中的物体的距离。

在使用采用ToF方案的距离测量传感器的情况下，通常，在检测到由图1中的区域ZF表示的车辆1的远方区域的情况下，使用采用直接ToF方案的距离测量传感器，在检测到由图1中的区域ZN表示的车辆1的附近区域的情况下，使用采用间接ToF方案的距离测量传感器。

以下，将采用直接ToF方案的距离测量传感器称为dToF传感器，将采用间接ToF方案的距离测量传感器称为iToF传感器。

这里，iToF传感器是采用检测从发射测距光的定时到接收到由于物体反射的测距光生成的反射光的定时的飞行时间作为相位差并计算距物体的距离的方案的距离测量传感器，并且可以在比预定距离更近的范围内以高精度实现距离测量。

此外，dToF传感器是直接测量从发射测距光的定时到接收到由于物体反射的测距光生成的反射光的定时的飞行时间并计算距物体的距离的距离测量传感器，并且可以在距离比预定距离长的范围内实现距离测量。

因此，为了实现图1中远离车辆1的区域的区域ZF和车辆1附近区域的区域ZN中的物体的距离测量，需要至少包括iToF传感器和dToF传感器的距离测量装置11。

因此，在仅设置iToF传感器和dToF传感器两者的情况下，距离测量装置11具有如图2所示的配置。

图2中的距离测量装置11包括iToF块21和dToF块22，iToF块21包括iToF传感器31，dToF块22包括dToF传感器51。

更具体地，iToF块21包括iToF传感器31、激光驱动器(LD)32和发光单元33。

iToF传感器31包括诸如电流辅助光子解调器(CAPD)的光接收元件，并且向LD 32提供指示发光单元33发光的发光触发器。

LD 32基于发光触发器以预定的高频率连续调制包括垂直腔面发射激光LED(VCSELLED)等的发光单元33并且重复发光和熄灭。

iToF传感器31接收通过从发光单元33射出的测距光被物体反射而得到的反射光，根据该发光触发器，检测从使发光单元33发光的时间到接收到由发光单元33射出的光被物体反射而得到的反射光的时间的飞行时间，来作为发光单元33的以规定的高频闪烁调制后的光的相位差，计算与物体的距离。

此外，dToF块22包括dToF传感器51、激光驱动器(LD)52、以及发光单元53。

dToF传感器51包括诸如单光子激光二极管(SPAD)的光接收元件并且将指示发光单元53发光的发光触发器提供至LD 52。

LD 52使包括垂直腔面发射激光LED(VCSELLED)等的发光单元53发射光，例如，作为点光。

dToF传感器51接收通过从发光单元53射出的测距光被物体反射而得到的反射光，根据发光触发器来直接检测从使发光单元53发光的时间到接收到包括通过从发光单元53射出的测距光被物体反射而得到的点光的反射光的时间的飞行时间，并计算与物体之间的距离。

然而，在具有图2中的配置的距离测量装置11中，iToF块21和dToF块22中的每一个包括传感器、LD和发光单元，这增大了装置配置的尺寸并且增加了成本。

因此，可以想到通过在iToF传感器和dToF传感器之间共享LD和发光单元来简化装置配置。

更具体地，如图3所示，距离测量装置71包括iToF传感器81、dToF传感器82、LD 83和发光单元84。

应注意，iToF传感器81和dToF传感器82具有分别与图2中的iToF传感器31和dToF传感器51对应的配置并且具有相同的功能。

LD 83和发光单元84分别对应于图2中的LD 32和52以及发光单元33和53。

如果来自iToF传感器81和dToF传感器82的发光触发器被提供给LD 83，则LD 83将测距光投射到通过使发光单元84发光而执行距离测量的范围，并且测量作为测距光的发光定时与接收到由物体反射的测距光获得的反射光的定时之间的差的飞行时间，以测量到物体的距离。

但是，在iToF传感器81和dToF传感器82接收来自相同区域内的物体的反射光的情况下，在iToF传感器81中，通过接收高频连续调制光来根据相位差检测飞行时间，在dToF传感器82中，通过接收点光来直接检测飞行时间。

因此，iToF传感器81和dToF传感器82的受光频率不同，在同时投光的情况下产生干涉，需要通过时分处理在不同的定时使iToF传感器81和dToF传感器82动作。

因此，iToF传感器81和dToF传感器82通过时分处理控制LD 83，以使发光单元84发光并且在不同的定时进行距离测量。

然而，在图3的配置的情况下，从iToF传感器81提供给LD 83的发光触发器是高频信号，并且因此，存在由于在到dToF传感器51的布线中发生的反射和发光触发器的波形的变形而不能执行适当的距离测量的可能性，使得不能简单地共享LD和发光单元。

此外，如参考图2所描述的，在设置iToF块21和dToF块22并且独立地构成iToF传感器31和dToF传感器51的情况下，对彼此进行时分处理，这使得控制复杂。

例如，如图4所示，将考虑由控制设备101控制包括iToF传感器111、LD 112和发光单元113的距离测量装置102、以及独立设置两种类型的iToF传感器和dToF传感器的dToF传感器114、LD 114和发光单元115的情况。

这里，iToF传感器111、LD 112和发光单元113，以及dToF传感器114、LD 115和发光单元116具有对应于图1中的iToF传感器31、LD 32和发光单元33，以及dToF传感器51、LD 52和发光单元53的配置。

控制装置101在向iToF传感器111和dToF传感器114提供同步信号的同时，以不同的定时提供发光请求。

iToF传感器111和dToF传感器114响应于来自控制装置101的发光请求生成发光触发器，控制LD 112和115，并且使发光单元113和116发出测距光。

基于从发光单元113和116发射的测距光，iToF传感器111和dToF传感器114接收当测距光被物体反射时产生的反射光，检测从输出发光触发器的时间到接收到反射光的时间的飞行时间，并且测量距离。

或者，控制装置101向iToF传感器和dToF传感器114中的任一个提供同步信号，提供发光请求，接收到发光请求的iToF传感器111和dToF传感器中的任一个使发光单元113、116射出测距光，并接收来自物体的反射光来进行距离测量。

此时，iToF传感器111和dToF传感器114中的接收到发光要求的一方向另一方提供发光要求，iToF传感器111和dToF传感器114中的接收到发光要求的另一方使发光单元113、116发光、接收反射光、进行距离测量，并将数据输出到控制装置101。

通过任意这样的处理，iToF传感器111和dToF传感器114以时分方式获得至物体的距离。

然而，需要适当地控制iToF传感器111和dToF传感器114的操作以便彼此不重叠，这使得用于适当地控制操作的设备配置和控制复杂。

因此，在本公开中，如图5所示，包括i/d ToF传感器141(包括iToF传感器和dToF传感器两者)、LD 142和发光单元143的距离测量装置132由控制装置131控制。

i/d ToF传感器141包括iToF传感器和dToF传感器，因此，如果i/d ToF传感器141从控制装置131接收到同步信号，则i/d ToF传感器141通过iToF传感器和dToF传感器自身的切换操作定时来操作，基于发光请求向LD 142提供发光触发器，并且使发光单元143发出测距光。

其结果，控制装置101只要取得距离测量指示和数据输出即可，因此不需要在区别iToF传感器和dToF传感器的同时控制iToF传感器和dToF传感器，能够减轻与控制有关的处理负荷，提高处理速度。

另外，由于不需要在区别iToF传感器和dToF传感器的同时控制iToF传感器和dToF传感器，因此不需要在区别iToF传感器和dToF传感器的同时设置用于控制iToF传感器和dToF传感器的配线等，因此能够进一步简化装置结构并降低成本。

<<2.第一实施例>>

接下来，将参照图6描述本发明的距离测量装置的第一实施例的配置示例。

图6中的距离测量装置200包括i/d ToF传感器201、LD 202和发光单元203。

注意，图6中的距离测量装置200具有与图5中的距离测量装置132的配置相对应的配置，图6中的i/d ToF传感器201、LD 202和发光单元203具有与图5中的i/d ToF传感器141、LD 142和发光单元143的配置相对应的配置。

i/d ToF传感器201包括控制单元221、通信单元222、像素块223、发光定时控制单元224、数据处理单元225、以及输出接口(IF)226。

控制单元221控制i/d ToF传感器201的整个操作。

更具体地，控制单元221基于来自对应于图5中的控制装置131的外部控制装置的发光请求或同步信号控制通信单元222控制发光定时控制单元224，生成发光触发器并且将发光触发器提供至LD 202。

LD 202基于来自i/d ToF传感器201的发光触发器控制发光单元203以发射测距光。

此外，控制单元221控制像素块223接收通过从物体反射的从发光单元203发射的测距光获得的反射光并且将与光量相对应的信号输出到数据处理单元225。

此外，控制单元221控制数据处理单元225，以基于与从像素块223提供的并且通过从物体接收反射光而产生的光量对应的信号执行数据处理，计算到物体的距离，并且经由输出IF 226将该距离输出到对应于图5中的控制装置131的外部控制装置。

像素块223包括用作dToF传感器的dToF块231和用作iToF传感器的iToF块232。换言之，像素块223具有兼具作为dToF传感器的功能和作为iToF传感器的功能的配置。

dToF块231包括dToF像素区域241、dToF控制单元242和采样处理单元243。

dToF像素区域241具有其中包括SPAD的像素以阵列排布的配置，由dToF控制单元242控制，接收通过物体反射测距光生成的反射光，并且输出对应于接收的光量的像素信号。

采样处理单元243对从dToF像素区域241输出的像素信号执行采样处理并且将像素信号输出至数据处理单元225。

iToF块232包括iToF像素区域251、iToF控制单元252、像素调制单元253以及ADC254。

iToF像素区域251具有如下配置：包括电流辅助光子解调器(CAPD)的像素以阵列排布，由iToF控制单元252控制，接收由物体反射的测距光生成的反射光，并且累积并输出与所接收的光量对应的像素信号。

像素调制单元253调制从iToF像素区域251输出的像素信号，并将调制的像素信号输出至ADC 254。

模拟数字转换器(ADC)254将通过像素调制单元253调制的像素信号从模拟信号转换成数字信号，并且将数字信号输出至数据处理单元225。

数据处理单元225包括dToF数据处理单元261和iToF数据处理单元262。

dToF数据处理单元261基于从像素块223的dToF块231提供的像素信号的采样结果实现距离测量计算。

更具体地，dToF数据处理单元261包括直方图生成单元281和距离计算单元282。

直方图生成单元281根据从像素块223的iToF块232提供的采样结果生成直方图，并且将该直方图输出到距离计算单元282。

距离计算单元282基于从直方图生成单元281提供的直方图计算距离并且将该距离输出至输出IF 226。

换言之，如图7的上部所示，如果物体Tg反射由图中的向右箭头表示和从发光单元203发射的测距光，则产生由图中的向左箭头表示的反射光，由包括构成dToF像素区域241的SPAD的像素接收构成反射光的光子，并且对与光量对应的像素信号进行采样并提供给dToF数据处理单元261。

然后，dToF数据处理单元261的直方图生成单元281基于采样的像素信号生成如图7的下部示出的直方图Hg。

更具体地，直方图生成单元281将用于去除外部光和暗电流的影响的多个像素信号相加，并且根据通过多次重复光发射和光接收获得的积分结果生成直方图Hg。

基于直方图Hg，距离计算单元282基于周期Ds计算与像素块223中的dToF块231的检测结果对应的距离，周期Ds是作为发光定时的时间t0与峰值时间tp之间的差。

iToF数据处理单元262基于从像素块223的iToF块232提供的像素信号实现距离测量处理。

更具体地，iToF数据处理单元262包括数据处理单元291和距离测量计算单元292。

数据处理单元291基于从像素块223的iToF块232提供的像素信号对数据执行各种处理，诸如合并处理、滤波处理和误差确定处理，并且将数据输出至距离测量计算单元292。

距离测量计算单元292通过处理经受各种类型的处理并从数据处理单元291提供的数据来计算距离，并且将距离输出至输出IF 226。

换言之，如图8的上部所示，构成iToF像素区域251的每一个像素累积由被物体Tg反射的由向右箭头表示的测距光生成的向左箭头表示的反射光，作为在与预定相位差不同的第一定时获得的像素信号和在第二定时获得的像素信号，通过发光单元203以高频率重复的发光和熄灭生成测距光。

这里，对于同一像素，将在第一定时获得的像素信号称为TAPA，并且将在第二定时获得的像素信号称为TAPB。

此外，在图8的左下部分中，第一定时处的像素信号TAPA的积累结果是由从右上至左下的斜线的部分表示的像素值Q1，并且与第一定时相差预定相位差的第二定时处的像素信号的积累结果是由从左上至右下的斜线的部分表示的像素值Q2。

在这种情况下，在图8中的右下虚线框W中的发光单元203的发光定时由波形照明表示，并且发光单元203在从时间t0起的周期Tp内发光的情况下，在物体Tp反射之后，接收反射光，因此，例如，接收表示光接收定时的波形反射，该波形反射作为延迟与测距光使从发光单元203至物体Tp的距离往复运动的周期对应的周期的波形。

此外，如果像素信号TAPA在由波形示例1指示的定时接收反射光并且像素信号TAPB在由波形示例2指示的定时接收反射光，例如，对于对应于由图8的左下部分中的虚线包围的范围ZE的预定像素，像素信号TAPA的像素值Q1对应于具有从矩形波形示例1的整个区域的右上至左下的斜线的部分，像素信号TAPB的像素值Q2对应于矩形波形示例2的整个区域的具有从左上到右下的斜线的部分。

由此，在数据处理单元291对像素值Q1和Q2进行诸如合并处理、滤波处理和误差确定处理等的各种处理之后，距离测量计算单元292通过使用像素值Q1和Q2的比率来获得反射光的接收定时的延迟时间(Delay Time)，并且基于延迟时间(Delay Time)来计算与像素块223中的iToF块232的检测结果相对应的到物体Tg的距离(Distance)。

此外，如上所述，基于dToF块231和dToF数据处理单元261的距离测量(在下文中，也称为dToF距离测量)和基于iToF块232和iToF数据处理单元262的距离测量(在下文中，也称为iToF距离测量)在发光单元203的距离测量光的发光定时上彼此不同，因此，dToF距离测量和iToF距离测量不能同时进行，并且需要在不同的定时进行。

由此，控制单元221控制发光定时控制单元224以调整发光设置，使得发光单元203根据进行dToF距离测量的定时和进行iToF距离测量的定时，射出与各处理对应的测距光。

<构成dToF像素区域的像素的第一实施例>

接下来，将参考图9描述构成dToF像素区域241的像素的第一示例。

构成图9中的dToF像素区域241的像素301包括负载元件(LOAD元件)321、包括SPAD的光电转换元件322、以及反相器323。

更具体地，负载元件321的一个端子连接至电源电位Vcc，并且另一个端子连接至光电转换元件322的阴极和反相器323的输入端子。

光电转换元件322具有阴极，负载元件321的另一端子和反相器323的输入端子连接到该阴极，以及阳极，预定电源电位V_AN从外部施加到该阳极。

反相器323具有输入端子，负载元件321的另一端子和光电转换元件322的阴极连接到该输入端子。

图9中的像素301具有被称为无源恢复(无源再充电)电路的配置并且被动恢复由淬灭引起的电压降。

<构成dToF像素区域的像素的第二例>

接下来，将参考图10描述构成dToF像素区域241的像素的第二示例。

构成图10中的dToF像素区域241的像素301'包括MOSFET341和342、包括SPAD的光电转换元件343、反相器344和延迟电路345。

更具体地，MOSFET341具有连接到电源电位Vcc的源极、连接到反相器344的输入端和延迟电路345的输入端的栅极、以及连接到光电转换元件343的阴极、MOSFET342的漏极和反相器344的输入端的漏极。

MOSFET342具有连接到电源电位Vcc的源极、连接到延迟电路345的输出端子的栅极、以及连接到光电转换元件343的阴极、MOSFET341的漏极和反相器344的输入端子的漏极。

光电转换元件343具有：阴极，MOSFET341和342中的每的漏极和反相器323的输入端子连接到该阴极；以及阳极，预定电源电位V_AN从外部施加到该阳极。

反相器344具有输入端子，MOSFET341和342中的每的源极和光电转换元件322的阴极连接到该输入端子。

延迟电路345具有连接到MOSFET341的栅极和反相器的输出端的输入端，以及连接到MOSFET342的栅极的输出端。

图10中的像素301'具有称为有源恢复(有源再充电)电路的配置，并且延迟电路345基于反相器344的输出和调节信号S_延迟将延迟信号输出至MOSFET342的栅极以有源地恢复由淬灭引起的电压降。

<构成dToF像素区域的像素的第三实施例>

接下来，将参照图11描述构成dToF像素区域241的像素的第三示例。

构成图11中的dToF像素区域241的像素301”包括负载元件(LOAD元件)361、包括SPAD的光电转换元件362、MOSFET363、反相器364、以及延迟电路365。

更具体地，负载元件361具有连接到电源电位Vcc的一个端子，以及连接到光电转换元件322的阴极、MOSFET363的漏极和反相器364的输入端子的另一个端子。

光电转换元件362具有阴极和阳极，负载元件361的另一端连接到该阴极，并且该阴极连接到MOSFET363的漏极和反相器323的输入端，预定的电源电位V_AN从外部施加到该阳极。

MOSFET363具有连接到电源电位Vcc的源极、连接到延迟电路365的输出端子的栅极、以及连接到负载元件361的另一端子、光电转换元件362的阴极、以及反相器364的输入端子的漏极。

反相器364具有连接到负载元件361的另一端子、光电转换元件322的阴极和MOSFET363的漏极的输入端子，以及连接到延迟电路365的输入端子的输出端子。

延迟电路365具有连接到反相器364的输出端子的输入端子和连接到MOSFET363的栅极的输出端子。

图11中的像素301”具有称为有源恢复(有源再充电)电路的配置，并且延迟电路365基于反相器364的输出和调节信号S_延迟将延迟信号输出至MOSFET363的栅极以有源恢复由淬灭引起的电压降。

<构成dToF像素区域的像素的第四实施例>

在以上描述中，已经描述了包括无源恢复(无源再充电)电路的像素和包括主动恢复(有源再充电)电路的像素，但是两者可以在被切换的同时被组合和使用。

换言之，图12示出了构成dToF像素区域241的像素的示例，其中，组合包括无源恢复电路的像素和包括有源恢复电路的像素并且在切换的同时使用dToF像素区域241。

构成图12中的dToF像素区域241的像素301”'包括无源器件部371和有源器件部372。

无源器件部371包括光电转换元件383，光电转换元件383包括负载元件(LOAD元件)381、开关382和SPAD。

此外，有源组件部分372包括MOSFET391和392、开关393和394、反相器395、以及延迟电路396。

这里，无源组件部分371的负载元件381和光电转换元件383以及有源组件部分372的反相器395具有对应于图9中的负载元件321、光电转换元件322和反相器323的配置的配置。

此外，有源组件部分372的MOSFET391和392、反相器395、以及延迟电路396具有对应于图10中的MOSFET341和342、反相器344、以及延迟电路345的配置的配置。

然后，通过仅接通和断开开关382和开关391和392，切换是使无源组件部分371起作用还是使有源组件部分372起作用。

图12示出了有源组件部分372由于开关382断开并且开关391和392接通而起作用的状态。当然，与图12中的状态相反，由于开关382被接通并且开关391和392被断开，所以状态可以切换至无源器件部件371起作用的状态。

<构成iToF像素区域的像素的第一示例>

接着，参照图13说明构成iToF像素区域的像素的第1例。注意，构成iToF像素区域的像素被分成两个区域，并且被控制为在发生以预定时间间隔的相位差的状态下操作。此处，通过将“A”和“B”添加到参考标号来区分对应于两个区域中的每一个的配置。

图13中的像素401包括选择晶体管421A和421B、放大晶体管422A和422B、FD栅极晶体管423A和423B、传输晶体管424A和424B、重置晶体管425、光电转换元件(PD)426、附加电容器427A和427B以及浮置扩散区(FD)428A和428B。

如果提供给传输晶体管424A和424B的栅极的传输驱动信号TRG变得有效并且将累积在PD 426中的电荷传输至FD 427A和427B，则传输晶体管424A和424B变得导电。

应注意，尽管图13示出了其中提供一个传输驱动信号TRG以共享传输晶体管424A和424B的配置，但实际上，单独提供传输驱动信号TRG，并且控制导通和断开使得传输晶体管414A和424B的每一个排他地操作。

FD 428A和428B是临时存储并保持从PD 426传送的电荷的电荷存储单元。

如果提供给栅极的FD驱动信号FDG变得有效并且连接到FD 448A和448B以及附加电容器429A和429B，则FD栅极晶体管423A和423B变得导电。

应注意，虽然图13示出提供一个FD驱动信号FDG以共享FD栅极晶体管423A和423B的配置，但实际上，单独提供FD驱动信号FDG，并控制导通和断开使得FD栅极晶体管423A和423B中的每一个排他地操作。

如果提供给重置晶体管425的栅极的重置驱动信号RST变得有效，则重置晶体管425变得导电并且重置PD 426的电位。

放大晶体管422A和422B具有源电极，源电极经由晶体管421A和421B连接至垂直传送线VSLA和VSLB，从而连接至恒流源(未示出)以形成源极跟随器电路。

选择晶体管421A和421B被连接在放大晶体管422A和422B与垂直传送线VSLA和VSLB之间，并且如果供应至栅极的选择信号SEL变为激活的并且将从放大晶体管422A和422B输出的信号输出至垂直传送线VSLA和VSLB则变为导通。

应注意，虽然图13示出了提供单个选择信号SEL以共享选择晶体管421A和421B的配置，但实际上，单独提供选择信号SEL，并且控制导通和断开使得选择晶体管421A和421B中的每一个排他地操作。

接下来，将描述图13中的像素401的操作。

在接收光之前，复位所有像素401的电荷。

换言之，FD栅极晶体管423A和423B、传输晶体管424A和424B、以及重置晶体管425导通，并且PD 447、FD 448A和448B的累积电荷放电。

在放电累积的电荷之后，在所有像素401中开始光接收。

换言之，交替地驱动转移晶体管424A和424B。结果，PD 426所累积的电荷交替地分布并累积在FD 428A和428B中。

由像素401接收的反射光在从光源根据到物体的距离发射测距光的定时延迟之后被接收。

在这种情况下，如参照图8所描述的，要积累在FD 428A和428B中的电荷的分布根据延迟时间根据到物体的距离而改变，使得可以从要积累在FD 428A和428B中的电荷的分布比率获得到物体的距离。

<构成iToF像素区域的像素的第二例>

接着，参照图14说明构成iToF像素区域的像素的第2例。

图14中的像素401'包括选择晶体管441A和441B、放大晶体管442A和442B、传输晶体管443A和443B、FD栅极晶体管444A和444B、复位晶体管445A和445B、溢出栅极晶体管446、光电转换元件(PD)447以及浮置扩散区(FD)448A和448B。

如果提供至传输晶体管443A和443B的栅极的传输驱动信号TRG变得有效并且将累积在PD 447中的电荷传输至FD 448A和448B，则传输晶体管443A和443B变得导电。

应注意，虽然图14示出了提供单个传输驱动信号TRG以共享传输晶体管443A和443B的配置，但实际上，单独提供传输驱动信号TRG，并且控制导通和断开以使传输晶体管443A和443B的每一个排他地操作。

FD 448A和448B是临时存储并保持从PD 447传送的电荷的电荷存储单元。

如果提供给FD栅极晶体管444A和444B的栅极的FD驱动信号FDG变得有效并且连接到FD 448A和448B以及复位晶体管445A和445B，则FD栅极晶体管444A和444B变得导电。

应注意，虽然图14示出提供单个FD驱动信号FDG以共享FD栅极晶体管444A和444B的配置，但实际上，单独提供FD驱动信号FDG，并控制导通和断开使得FD栅极晶体管444A和444B中的每一个排他地操作。

如果提供给复位晶体管445A和445B的栅极的复位驱动信号RST变得有效，则复位晶体管445A和445B变得导电，如果FD栅极晶体管444A和444B导电，则复位晶体管445A和445B连接到FD栅极晶体管444A和444B以及FD 448A和448B的复位电位。

应注意，虽然图14示出了设置单个复位驱动信号RST以共享复位晶体管445A和445B的配置，但是实际上，单独设置复位驱动信号RST，并且控制导通和断开，使得复位晶体管445A和445B中的每一个排他地操作。

如果提供给栅极的放电驱动信号OFG变得有效并且释放累积在PD447中的电荷，则溢出栅极晶体管446变得导通。

放大晶体管442A和442B的源电极经由晶体管441A和441B连接至垂直传送线VSLA和VSLB，从而连接至恒流源(未示出)以形成源极跟随器电路。

选择晶体管441A和441B被连接在放大晶体管442A和442B与垂直传输线VSLA和VSLB之间，如果被供应至栅极的选择信号SEL变为激活的并且将从放大晶体管442A和442B输出的信号输出至垂直传输线VSLA和VSLB，则选择晶体管441A和441B变为导通。

应注意，虽然图14示出提供单个选择信号SEL以共享选择晶体管441A和441B的配置，但实际上，选择信号SEL单独地提供，并且控制导通和断开使得选择晶体管441A和441B中的每一个排他地操作。

接下来，将描述图14中的像素401'的操作。

在接收光之前，重置所有像素401'的电荷。

换言之，FD栅极晶体管444A和444B、溢出栅极晶体管446、以及复位晶体管445A和445B导通，并且PD 447、FD 448A和448B的累积电荷放电。

在放电累积的电荷之后，在所有像素401'中开始光接收。

换言之，交替地驱动传送晶体管443A和443B。因此，由PD 447累积的电荷交替地分布并且累积在FD 448A与448B中。

在从光源根据到物体的距离发射测距光的定时延迟之后，接收由像素401'接收的反射光。

在这种情况下，如参照图8所描述的，在FD 448A与448B中累积的电荷的分布根据与物体的距离根据延迟时间而改变，因此，可从在FD448A与448B中累积的电荷的分布比率中获得与物体的距离。

<图6中的i/d ToF传感器的操作>

接下来，将描述图6中的i/d ToF传感器201的操作。

(iToF传感器和dToF传感器独立的情况下的操作)

首先，在图6中的i/d ToF传感器201的操作的描述中，将参考图15的上部的时序图描述iToF传感器和dToF传感器不像图6中的i/d ToF传感器201那样集成而是像图2中的距离测量装置11那样独立的情况下的操作。

应注意，在图15的上部的时序图中，从顶部分别示出了iToF传感器的曝光定时和数据输出定时、使iToF传感器的测距光出射的发光触发器(iToF)的定时、dToF传感器的曝光定时和数据输出定时、以及使dToF传感器的测距光出射的发光触发器(dToF)的定时。

在由发光单元203射出测距光并且iToF传感器和dToF传感器在相同的范围内进行距离测量的情况下，如果在相同的定时进行距离测量，则产生干涉，使得iToF传感器和dToF传感器需要通过时分处理在不同的定时进行操作。

换言之，如图15的上部所示，在首先操作iToF传感器的情况下，通过从时间t11至t12输出用于使发光单元以预定的频率发光的触发(LD发光触发器(iToF))，以便使iToF传感器的测距光发光，以预定的频率重复发光和熄灭，并且投射测距光。

响应于此，从时间t11至t12，iToF传感器进行用于接收反射光的曝光，并且累积与所接收的光量对应的像素信号。

然后，如果在时间t12发光单元针对iToF传感器的发光和iToF传感器的曝光结束，则从时间t12至t13进行基于iToF传感器中积累的像素信号的数据处理，并且输出距离测量结果。

另一方面，iToF传感器的测距光的射出在时间t12结束，因此为了使dToF传感器的测距光射出，输出使发光单元发光的触发(LD发光触发器(dToF))，在iToF传感器的测距光的射出结束之后(时间t12后)的时间t21，射出测距光。

响应于此，从时间t21至t22，dToF传感器执行用于接收反射光的曝光，并且累积对应于所接收的光量的像素信号。

然后，如果在时间t22处关于dToF传感器的发光单元的发光和dToF传感器的曝光结束，则执行基于累积在dToF传感器中的像素信号的数据处理，并且从时间t22至t14输出距离测量结果(数据输出)。

此外，dToF传感器的测距光的发射在时间t22结束，因此，紧随其后(时间t13之后)，为了发射iToF传感器的测距光而以预定频率输出用于使发光单元发射光的触发器(LD发射触发器(iToF))，从而以预定频率重复光发射和熄灭，并且投射测距光。

响应于此，从时间t13到t14，iToF传感器进行用于接收反射光的曝光，并累积与所接收的光量对应的像素信号。

然后，如果在时间t14发光单元针对iToF传感器的发光和iToF传感器的曝光结束，则进行基于iToF传感器中蓄积的像素信号的数据处理，并且从时间t14至t24输出距离测量结果(数据输出)。

此外，iToF传感器的测距光的光发射在时间t14结束，因此，为了使dToF传感器的测距光发光，输出用于使发光单元发光的触发(LD发光触发器(dToF))，在作为iToF传感器的测距光的光发射即将结束之后(时间t14之后)的定时的时间t23投射测距光。

响应于此，从时间t23至t24，dToF传感器执行用于接收反射光的曝光，并且累积与所接收的光量对应的像素信号。

然后，如果在时间t24处针对dToF传感器的发光单元的发光和dToF传感器的曝光结束，则执行基于累积在dToF传感器中的像素信号的数据处理，并且从时间t24至t16输出距离测量结果。

这样，交替地重复向iToF传感器投射测距光和向dToF传感器投射测距光，在投射向dToF传感器的测距光的期间内对iToF传感器的像素信号进行数据处理而输出距离测量结果，在投射向iToF传感器的测距光的期间内对dToF传感器的像素信号进行数据处理而输出距离测量结果。

这里，关于dToF传感器中的测距光的发光(光投射)和曝光，如图15的右上部所示，在曝光时段内重复曝光和发光，使得采取噪声对策并生成直方图。

换言之，图15的右上部示出了在时间t31、t32、...输出发光触发器(dToF)的状态。在由点划线包围的曝光周期内以预定的时间间隔tn，以及曝光Ex1、Ex2、...从对应的定时重复执行预定时间的Exn。此外，发光触发器(dToF)的频率比发光触发器(iToF)的频率低。

(iToF传感器和dToF传感器集成在其中的本公开的i/d ToF传感器的操作)

另一方面，在应用本公开的技术的图6中的i/d ToF传感器201的情况下，操作在如图15的下部示出的时序图中示出。

注意，图15的下部所示的时序图从顶部示出与i/d ToF传感器中的曝光和数据输出有关的处理、用于使发光单元203发光的发光触发器以及发光设置的切换，即，发光单元203具有iToF块232的发光设置还是dToF块231的发光设置。

换句话说，在时间t0，控制单元221将由发光定时控制单元224控制的发光设置切换为iToF块232的发光设置。响应于此，发光定时控制单元224将指示切换到iToF块232的发光设置的LD通信输出到LD 202。LD 202基于通过LD通信通知的iToF块232的发光设置来调整发光单元203的发光状态。在此，iToF块232的发光设置例如是用于以正常水平的发光强度发光的设置。

然后，从时间t50至t51，发光定时控制单元224向LD 202输出用于使发光单元203发光的发光触发器(iToF)，使得发光单元203以iToF块232的发光设置发光。

由此，发光单元203以规定的频率反复进行正常的发光强度的发光和熄灭，向iToF块232投射测距光。

响应于此，从时间t50至t51，iToF块232进行用于接收反射光的曝光，并且将与接收的光量相对应的像素信号输出至数据处理单元225的dToF数据处理单元261。

更具体地，iToF控制单元252控制iToF像素区域251以接收由物体反射测距光所生成的反射光并且输出与所接收的光量对应的像素信号。

像素调制单元253调制从iToF像素区域251输出的像素信号，并将调制的像素信号输出至ADC 254。

模拟数字转换器(ADC)254将通过像素调制单元253调制的像素信号从模拟信号转换成数字信号，并且将数字信号输出至数据处理单元225。

然后，在时间t51，发光定时控制单元224停止向LD 202输出用于使发光单元203发光的发光触发器(iToF)。结果，发光单元203停止发光并关闭，从而停止测距光的投射。

从时间t51到时间t52，数据处理单元225的iToF数据处理单元262对从iToF块232提供的像素信号的数据执行数据处理，计算每一个像素的距离并且输出该距离。

更具体地，iToF数据处理单元262的数据处理单元291基于从像素块223的iToF块232提供的像素信号对数据执行各种处理，诸如合并处理、滤波处理和误差确定处理，并且将数据输出至距离测量计算单元292。

距离测量计算单元292对经过数据处理单元291的各种处理的数据执行参考图8描述的处理，以计算距离并且将距离输出至输出IF 226。

此外，在时间t51，控制单元221将由发光定时控制单元224控制的发光设置切换为dToF块231的发光设置。发光定时控制单元224将指示切换至dToF块231的发光设置的LD通信输出至LD 202。LD 202基于通过LD通信通知的dToF块231的发光设置调整发光单元203的发光状态。

这里，dToF块231的发光设置例如是将发光强度设置为比iToF块232的发光设置中的发光强度高的设置。

然后，在时间t61，发光定时控制单元224向LD 202输出用于使发光单元203发光的发光触发器(dToF)。

结果，例如，发光单元203以比iToF块232的发光设置中的发光强度高的发光强度发光，并且将测距光投射到dToF块231。

响应于此，从时间t61至t52，dToF块231执行用于接收反射光的曝光，并且将与接收的光量相对应的像素信号输出至数据处理单元225的dToF数据处理单元261。

更具体地，dToF控制单元242控制dToF像素区域241，以接收由物体反射测距光生成的反射光并且输出与所接收的光量对应的像素信号。

采样处理单元243对从dToF像素区域241输出的像素信号执行采样处理，并且将采样结果输出至数据处理单元225。

然后，在时间t52，发光定时控制单元224停止向LD 202输出用于使发光单元203发光的发光触发器(dToF)。结果，发光单元203停止发光并关闭，从而停止测距光的投射。

从时间t52至t53，数据处理单元225的dToF数据处理单元261处理从dToF块231提供的像素信号的数据，计算每一个像素的距离并且输出该距离。

更具体地，直方图生成单元281根据从像素块223的dToF块231提供的采样结果生成直方图，并且将直方图输出到距离计算单元271。

距离计算单元282使用参考图7所描述的方法基于从直方图生成单元281中供应的直方图计算距离并且将该距离输出至输出IF 226。

另一方面，在时间t52，由于针对dToF块231的测距光的发光结束，所以，控制单元221在即将结束之后(时间t52之后)的时间，将由发光定时控制单元224控制的发光设置切换为iToF块232的发光设置。发光定时控制单元224将指示切换到iToF块232的发光设置的LD通信输出到LD 202。LD 202基于通过LD通信通知的iToF块232的发光设置来调整发光单元203的发光状态。

然后，在时间t62，为了发出iToF块232的测距光，发光定时控制单元224输出用于使发光单元203发光以投射测距光的发光触发器(iToF)。

响应于此，从时间t62至t53，iToF块232进行用于接收反射光的曝光并且生成与接收的光的量相对应的像素信号。

然后，如果在时间t53发光单元向iToF传感器的发光和iToF传感器的曝光结束，则从时间t53至时间t54进行基于iToF块232中累积的像素信号的数据处理，并且输出距离测量结果。

此外，在时间t53，至iToF块232的测距光的光发射结束，因此，控制单元221在即将结束之后(时间t53之后)的时间，将由发光定时控制单元224控制的发光设置切换为dToF块231的发光设置。发光定时控制单元224将指示切换至dToF块231的发光设置的LD通信输出至LD 202。LD 202基于通过LD通信通知的dToF块231的发光设置调整发光单元203的发光状态。

然后，在时间t63，发光定时控制单元224输出用于使发光单元203发光的发光触发器(dToF)，以发出dToF块231的测距光，并且使发光单元203发光。

响应于此，从时间t63至t54，dToF块231执行用于接收反射光的曝光并且累积与所接收的光量对应的像素信号。

然后，如果在时间t54结束发光单元203向dToF块231的发光和dToF块231的曝光，则基于从dToF块231提供的像素信号进行数据处理，并且从时间t54至t55输出距离测量结果。

此外，由于到dToF块231的测距光的光发射在时间t54结束，所以，控制单元221在即将结束之后(时间t54之后)的时间，将由发光定时控制单元224控制的发光设置切换为iToF块232的发光设置。发光定时控制单元224将指示切换到iToF块232的发光设置的LD通信输出到LD202。LD 202基于通过LD通信通知的iToF块232的发光设置来调整发光单元203的发光状态。

响应于此，从时间t64至t55，iToF块232进行用于接收反射光的曝光并且输出与所接收的光量对应的像素信号。

然后，在时间t55，如果发光单元向iToF块232的发光和iToF块232的曝光结束，则从时间t55至t56，进行基于iToF块232中累积的像素信号的数据处理，并且输出距离测量结果。

这样，在切换各发光设置的同时，交替地重复对iToF块232的测距光的投射和对dToF块231的测距光的投射，在投射dToF块231的测距光的期间，对iToF块232的像素信号进行数据处理，从而输出距离测量结果，在投射iToF块232的测距光的期间，对dToF块231的像素信号进行数据处理，从而输出距离测量结果。

通过上述处理，通过设置能够测量长距离的dToF块231和能够高精度地测量短距离的iToF块232，能够以时分方式测量短距离和长距离。

结果，例如，在车辆存在于图像中心的前方的情况下，道路在车辆后方延伸，并且在前后方向相对靠近车辆的空间中执行距离测量，如图16中的图像P1所示，区域Z1和Z2是相对短的距离范围，如图16中的图像P2所示，使得对于包括相对长的距离范围的区域Z3，通过使用iToF块232的距离测量结果并且使用dToF块231的距离测量结果，整体可以提高距离测量精度。

此外，通过以时分方式切换dToF块231和iToF块232中的每的不同发光设置，可以共享和使用发光定时控制单元224、LD 202和发光单元203，使得可以通过减少部件数量来降低成本和控制的复杂度。

另外，由于以时分方式进行dToF块231和iToF块232的处理，因此始终仅输出一个处理结果，因此能够共用输出IF 226，能够降低设备成本。

<发光设置的变形>

在以上描述中，已经描述了在dToF块231的发光设置和iToF块232的发光设置中，如图17的示例Ex11所示设置正常发光强度，在iToF块232的发光设置中，如图像P51所示，设置正常发光强度，并且在dToF块231的发光设置中，如图像P52所示，设置高于正常发光强度的强度的示例。要注意的是，在图17的图像P51和P52中，具有要测量的物体Tg11。

然而，在dToF块231的发光设置和iToF块232的发光设置中，可以进行其他设置。

例如，如图17的示例Ex12所示，在iToF块232的发光设置中，可以如图像P61所示，设置正常发光强度，并且在dToF块231的发光设置中，可以如图像P62所示，设置为发出比预定发光强度更亮的点光SP的光。

换言之，dToF块231在长距离处发射用于距离测量的光，因此，考虑到在长距离处的扩散，通过使用具有较高发光强度的点光SP实现在较长距离处的距离测量。

点光SP的图案可以是不同于图17中的图像P62的图案。

此外，例如，如图17中的示例Ex13所示，虽然在iToF块232的发光设置中，如图像P71所示设置正常发光强度，并且在dToF块231的发光设置中，如图像P72所示设置正常发光强度，但是与iToF块232类似，可以发射光以仅照射待测量物体Tg11附近的区域。

此外，发光单元203照射测距光的区域的图案也可以是图像P72以外的图案。

此外，虽然在上述描述中，已经描述了设置一个LD 202和一个发光单元203的示例，但是可以单独设置与iToF块232和dToF块231的发光设置对应的LD 202，并且可以仅共享发光单元203。

<发光设置的切换模式的变形>

(固定模式)

在上文中，如图18的上部所示，已经描述了在dToF块231和iToF块232中交替地重复i/d ToF传感器201中的dToF块231和iToF块232中的曝光、数据输出、发光触发器和发光设置的示例。

然而，曝光、数据输出、发光触发器的输出和发光设置不必交替重复，并且可以采用其他图案，只要重复固定图案即可。

换言之，例如，可以以iToF块232、iToF块232和dToF块231的顺序的模式重复曝光、数据输出、发光触发器的输出和发光设置。

换言之，在图18的下部，可以从时间t150至t151执行iToF模块232的发光设置(针对发光设置，从时间t0开始)、输出发光触发器和曝光，可以从时间t161至t152执行iToF模块232的发光设置、输出发光触发器和曝光，并且可以从时间t162至t153执行dToF模块231的发光设置、输出发光触发器和曝光。换言之，可以使用固定图案，其中，iToF块232、iToF块232和dToF块231中的每一个的发光设置和曝光以这个顺序重复。

在此，从时间t161至t152进行iToF数据处理单元262输出的数据，从时间t162至t153进行iToF数据处理单元262输出的数据，从时间t163至t154进行dToF数据处理单元261输出的数据，之后同样地以iToF数据处理单元262、iToF数据处理单元262以及dToF数据处理单元261的顺序反复进行数据输出。

(可变图案)

此外，虽然在上文中，如图19的上部所示，已经描述了通过固定模式切换发光设置的示例，但是发光设置的切换模式可以是可变的。

例如，通常，可以执行dToF块231的发光设置以便执行远距离处的距离测量，并且可以仅在物体通过短距离的定时执行iToF块232的发光设置。

换言之，图19的下部示出了基本上通过dToF块231执行发光设置的时序图的示例，但是，例如，在发现物体通过短距离的时间，通过iToF块232执行发光设置。

换言之，在图19的下部，假定从时间t0至时间t205以及从时间t221至时间t224由iToF块232和iToF数据处理单元262输出数据。

这里，例如，在时间t205检测到物体通过相对较短距离的情况下，从时间t224到t206，对iToF块232执行发光设置、发光触发器的输出和曝光，并且从时间t206到t207，iToF数据处理单元262输出数据。

这种处理使得可以正常测量远距离处的物体的距离，并且仅在从距离测量结果识别出物体的接近的情况下，以高精度测量近距离处的物体的距离。

结果，可以实现高效的距离测量。

<<3.第二实施例>>

虽然在以上描述中，已经描述了iToF像素区域251设置在像素块223中的iToF块232中以便实现短距离的距离测量的示例，但是可以使用包括正常像素的正常像素区域来代替iToF像素区域251。

图20示出了距离测量装置200'的i/d ToF传感器201'的配置示例，其中设置正常像素区域而不是iToF像素区域251。

应注意，在图20中的i/d ToF传感器201'中，具有与图6中的i/d ToF传感器201相同的功能的组件由相同的参考标号表示，并且将适当地省略其描述。

图20中的i/d ToF传感器201'与图6中的i/d ToF传感器201的不同之处在于在iToF块232中提供正常像素区域501而不是iToF像素区域251，并且在iToF数据处理单元262中新提供图像处理单元511。

换句话说，包括正常像素的正常像素区域501可以实现与iToF像素区域251的功能相同的功能，并且还可以拍摄并输出正常图像。

正常像素区域501具有正常像素区域501用作iToF像素区域的模式和正常像素区域501用作正常像素区域的模式，并且通过时分处理切换模式来输出处理结果。

图像处理单元511使用在正常像素区域501用作正常像素区域的模式下输出的像素信号进行图像处理，并且将处理后的信号作为正常图像信号输出至输出IF 226。

利用这种配置，例如，如图21所示，在图像P11中，使用作为正常图像输出的信息识别的特征量和距离测量结果可以彼此相关联，并且例如，可以对相同距离测量结果的特征量进行分组和显示。

换言之，在图21的图像P111中，通过使用检测由十字标记表示的特征量的位置和距离测量结果，将具有相同距离测量结果的特征点聚集的区域分组并显示为帧F1至F4。

换言之，图21的图像P111表示对于包括在每一个帧F1至F4中的特征点的十字标记获得相同的距离测量结果。

此外，如图22所示，通过在诸如智能电话PH的成像装置中设置距离测量装置，可通过从图像捕捉的用户面部的图像识别以及通过距离测量结果使用用户面部的不平坦性的不平坦识别来实现具有更高认证准确度的用户认证。

<像素块的变形>

虽然在以上描述中，已经描述了dToF块231和iToF块232在像素块中垂直排列的示例，但是dToF像素区域241和iToF像素区域251可以以预定序列为单位交替排列。

图23示出了dToF像素区域241和iToF像素区域251以预定序列为单位交替排列的像素块601的配置示例。

在像素块601中，交替构成dToF像素区域623-1至623-n和iToF像素区域624-1至624-n。注意，除非另外区分，否则dToF像素区域623-1至623-n和iToF像素区域624-1至624-n将分别简称为dToF像素区域623和iToF像素区域624。

换言之，交替排列预定数量的列dToF像素区域623和预定数量的列iToF像素区域624。

此外，dToF像素区域623的列数和大小不必与iToF像素区域624的列数和大小相同。

换言之，例如，在由图23中的交替的长短虚线包围的范围内，例如，如图24的上部部分所示，在iToF像素区域624的像素Pixi的尺寸是水平方向×垂直方向＝dToF像素区域623的像素Pixd的尺寸的2×2倍的情况下，dToF像素区域623的像素Pixd的数量的两倍的iToF像素区域624的像素Pixi可沿水平方向排列以沿垂直方向交替排列。

此外，如图24的下部所示，在dToF像素区域623的像素Pixd的两倍数量的iToF像素区域624的像素Pixi沿水平方向和垂直方向的每一个排列的状态下，像素Pixi和像素Pixd可交替地排列。

应注意，iToF控制单元621、dToF控制单元622、采样处理单元645和ADC646具有分别与图6中的iToF控制单元252、dToF控制单元242、采样处理单元243和ADC 254的配置对应的配置。

<应用示例1>

以上说明了将dToF块231和dToF数据处理单元261的距离测量结果与iToF块232和iToF数据处理单元262的距离测量结果一起输出的例子。

然而，还可生成并输出深度图，可基于深度图确定不需要距离测量的范围，并且可仅在除了不需要距离测量的范围之外的范围中测量距离，并基于确定结果输出该距离作为深度图。

这里，不必要的区域例如是距离比深度图中的预定距离长的区域。换言之，图像内的其中在预定距离内不存在需要距离测量的物体并且不需要基于物体检测的处理的区域可以被设置为不必要的区域。注意，不必要的区域不限于此，并且可被定义为图像内各种距离的区域。

图25示出了距离测量装置200”的i/d ToF传感器201”的配置示例，其中，由dToF模块231和dToF数据处理单元261获得的距离测量结果和由iToF模块232和iToF数据处理单元262获得的距离测量结果一起输出，进一步生成并输出深度图，基于深度图确定不需要距离测量的范围，并且基于确定结果仅在除了不需要距离测量范围之外的范围内测量距离并且将其输出为深度图。

应注意，在图25中的i/d ToF传感器201”中，具有与图6中的i/d ToF传感器201相同的功能的组件由相同的参考标号表示，并且将适当地省略其描述。

图25中的i/d ToF传感器201”与图6中的i/d ToF传感器201的不同之处在于新设置有存储器651、深度图生成单元652和不必要区域确定单元653，执行基于来自不必要区域确定单元653的关于不必要区域的信息的处理，并且设置控制单元221”来代替控制单元221。

存储器651临时存储由dToF块231和dToF数据处理单元261获得的距离测量结果和由iToF块232和iToF数据处理单元262获得的距离测量结果。

深度图生成单元652使用存储在存储器651中的由dToF块231和dToF数据处理单元261获得的距离测量结果和由iToF块232和iToF数据处理单元262获得的距离测量结果中的比预定距离短的距离的距离测量结果，使用由iToF块232和iToF数据处理单元262获得的距离测量结果，并且将dToF模块231和dToF数据处理单元261获得的距离测量结果用于比预定距离更长的距离的距离测量结果，以生成深度映射，并且将深度映射输出到输出IF 226和不必要区域确定单元653。

不必要区域确定单元653基于深度图确定不必要区域并将确定结果输出至控制单元221”。

例如，在深度图中距离大于预定距离的区域被设置为不必要区域的情况下，不必要区域确定单元653提取关于深度图中距离大于预定距离的区域的信息作为不必要区域的信息，并且将该信息输出至控制单元221”作为确定结果。

控制单元221”基于从不必要区域确定单元653提供的有关不必要区域的信息控制像素块223，以便获得dToF块231和iToF块232中的每一个的dToF像素区域241和iToF像素区域251中不必要区域以外的区域中的距离测量结果。

利用这种配置，可以省略在不必要区域中的距离测量处理，使得可以减少不必要的处理负荷并提高处理速度。

<应用示例2>

在上文中，已经描述了dToF像素区域241和iToF像素区域251的像素排列成阵列的示例，但是例如，像素可排列成一行并且相对于作为像素的排列方向的行相对于垂直方向旋转，以实现周围环境的距离测量。

图26示出将dToF像素区域241和iToF像素区域251的像素配置成一列的i/d ToF传感器201”'的外观示例。

换句话说，如图26所示，i/d ToF传感器201”'具有圆柱形外观，并且像素块223”'设置在圆柱形外表面上，在像素块223”'中，与dToF像素区域241的像素对应的像素被排列为一行的像素区域241”'和与iToF像素区域251的像素对应的像素被排列为一行的像素区域251”'彼此相邻。

圆柱形i/d ToF传感器201”'在图中的箭头方向上旋转，使得像素块223”'旋转360度，使得可以按时间序列在360度方向上实现距离测量。

利用图26中的i/d ToF传感器201”'，像素块223”'可以仅通过以行为单位驱动像素来实现距离测量，使得可以减少用于驱动像素的功耗，并且此外，被驱动的像素的数量少，使得可以提高通过以行为单位排列的像素进行距离测量的处理速度。

在本说明书中，系统意味着一组多个部件(诸如装置和模块(零件))，并且所有部件是否在同一壳体中无关紧要。因此，存储在单独的壳体中并且经由网络连接的多个装置和多个模块存储在一个壳体中的一个装置都是系统。

应注意，本公开的实施例不限于上述实施例，并且在不背离本公开的主旨的情况下可以做出各种修改。

例如，本公开可以采用云计算的配置，其中，通过网络由多个设备协作地共享和处理一个功能。

此外，在上述流程图中描述的每一个步骤可以由一个设备执行或者可以由多个设备共享和执行。

此外，在一个步骤中包括多种处理的情况下，在一个步骤中包括的多种处理可以由一个设备执行或者可以由多个设备共享和执行。

应注意，本技术还可采用以下配置。

<1>一种距离测量装置，包括：

发光单元，被配置为发射测距光；

像素区域，包括用于使用第一飞行时间(ToF)方案的距离测量的第一像素和用于使用第二ToF方案的距离测量的第二像素；以及

控制单元，被配置为控制第一像素、第二像素以及发光单元。

<2>根据<1>所述的距离测量装置，

其中，第一ToF方案是直接ToF方案，并且第一像素包括雪崩二极管，并且

第二ToF方案是间接ToF方案，并且第二像素包括电流辅助光子解调器(CAPD)或正常像素。

<3>根据<2>所述的距离测量装置，

其中，控制单元

在第一像素被曝光的情况下，使光被发射以便以预定频率重复发光和熄灭，并且

控制发光，使得在第二像素被曝光的情况下，以高于预定频率的频率重复发光和熄灭。

<4>根据<2>所述的距离测量装置，

其中，控制单元

在第一像素被曝光的情况下，使发光单元发射具有第一发光强度的光；并且

在第二像素被曝光的情况下，使发光单元以低于第一发光强度的第二发光强度发光。

<5>根据<2>所述的距离测量装置，

其中，控制单元

在第一像素被曝光的情况下，使发光单元发射点光，并且

在第二像素被曝光的情况下，使发光单元在整个表面上发光。

<6>根据<2>所述的距离测量装置，

其中，控制单元

在第一像素被曝光的情况下，使发光单元仅在存在物体的区域中发光，并且

在第二像素被曝光的情况下，使发光单元在整个表面上发光。

<7>根据<1>至<6>中任一项所述的距离测量装置，

其中，控制单元使第一像素和第二像素中的每一个以时分方式被曝光。

<8>根据<7>所述的距离测量装置，

其中，控制单元使第一像素和第二像素中的每一个以预定间隔交替地被曝光。

<9>根据<7>所述的距离测量装置，

其中，控制单元使第一像素和第二像素中的每一个以预定顺序被曝光。

<10>根据<7>所述的距离测量装置，

其中，控制单元在满足预定条件的情况下在第一像素与第二像素之间切换曝光。

<11>根据<10>所述的距离测量装置，

其中，控制单元开始第一像素的曝光，并且基于第一像素的距离测量结果将曝光切换至第二像素的曝光。

<12>根据<2>所述的距离测量装置，

其中，像素区域包括第一像素集中排列的区域和第二像素集中排列的区域。

<13>根据<2>所述的距离测量装置，

其中，在像素区域中，第一像素排列成一行，并且第二像素排列成一行。

<14>根据<2>所述的距离测量装置，

其中，在像素区域中，排列有第一像素的行和排列有第二像素的行交替地排列。

<15>根据<2>所述的距离测量装置，

其中，在像素区域中，排列有第一像素的预定数量的行和排列有第二像素的预定数量的行交替地排列。

<16>根据<2>所述的距离测量装置，

其中，在像素区域中，排列有第一像素的行和排列有第二像素的行交替地排列，使得排列有第一像素的行的数量与排列有第二像素的行的数量不同。

<17>根据<2>所述的距离测量装置，

其中，在像素区域中，第一像素的尺寸与第二像素的尺寸不同。

<18>根据<1>所述的距离测量装置，还包括：

深度图生成单元，被配置为基于第一像素的距离测量结果和第二像素的距离测量结果生成深度图。

<19>根据<18>所述的距离测量装置，还包括：

不必要区域确定单元，被配置为基于深度图确定在借助于第一像素和第二像素的距离测量区域中的不必要区域。

<20>一种距离测量装置的距离测量方法，包括：

发光单元，被配置为发射测距光；

像素区域，包括用于使用第一飞行时间(ToF)方案的距离测量的第一像素和用于使用第二ToF方案的距离测量的第二像素；以及控制单元，被配置为控制第一像素、第二像素以及发光单元，距离测量方法包括：

控制单元控制第一像素、第二像素以及发光单元的步骤。

附图标记列表

200、200'、200” 距离测量装置

201、201'、201”、201”' i/d ToF传感器

202 LD

203 发光单元

221、221” 控制单元

222 通信单元

223、223'、223”' 像素块

224 发光定时控制单元

225 数据处理单元

226 输出IF

231 dToF块

232 iToF块

241、241”' dToF像素区域

242 dToF控制单元

243 采样处理单元

251、251”' iToF像素区域

252 iToF控制单元

253 像素调制单元

254 ADC

261 dToF数据处理单元

281 直方图生成单元

282 距离计算单元

291 数据处理单元

292 距离测量计算单元

501 正常像素区域

511 图像处理单元

621 iToF控制单元

622 dToF控制单元

623、623-1至623-n dToF像素区域

624、624-1至624-n iToF像素区域

651 存储器

652 深度图生成单元

653 不必要区域确定单元。

Claims (20)

1.一种距离测量装置，包括：

发光单元，被配置为发射测距光；

像素区域，包括用于使用第一飞行时间(ToF)方案的距离测量的第一像素和用于使用第二ToF方案的距离测量的第二像素；以及

控制单元，被配置为控制所述第一像素、所述第二像素以及所述发光单元。

2.根据权利要求1所述的距离测量装置，

其中，第一ToF方案是直接ToF方案，并且所述第一像素包括雪崩二极管，并且

所述第二ToF方案是间接ToF方案，并且所述第二像素包括电流辅助光子解调器(CAPD)或正常像素。

3.根据权利要求2所述的距离测量装置，

其中，所述控制单元

在所述第一像素被曝光的情况下，使光被发射以便以预定频率重复发光和熄灭，并且

控制发光，使得在所述第二像素被曝光的情况下，以高于所述预定频率的频率重复发光和熄灭。

4.根据权利要求2所述的距离测量装置，

其中，所述控制单元

在所述第一像素被曝光的情况下，使所述发光单元发射具有第一发光强度的光；并且

在所述第二像素被曝光的情况下，使所述发光单元以低于所述第一发光强度的第二发光强度发光。

5.根据权利要求2所述的距离测量装置，

其中，所述控制单元

在所述第一像素被曝光的情况下，使所述发光单元发射点光，并且

在所述第二像素被曝光的情况下，使所述发光单元在整个表面上发光。

6.根据权利要求2所述的距离测量装置，

其中，所述控制单元

在所述第一像素被曝光的情况下，使所述发光单元仅在存在物体的区域中发光，并且

在所述第二像素被曝光的情况下，使所述发光单元在整个表面上发光。

7.根据权利要求1所述的距离测量装置，

其中，所述控制单元使所述第一像素和所述第二像素中的每一个以时分方式被曝光。

8.根据权利要求7所述的距离测量装置，

其中，所述控制单元使所述第一像素和所述第二像素中的每一个以预定间隔交替地被曝光。

9.根据权利要求7所述的距离测量装置，

其中，所述控制单元使所述第一像素和所述第二像素中的每一个以预定顺序被曝光。

10.根据权利要求7所述的距离测量装置，

其中，所述控制单元在满足预定条件的情况下在所述第一像素与所述第二像素之间切换曝光。

11.根据权利要求10所述的距离测量装置，

其中，所述控制单元开始所述第一像素的曝光，并且基于所述第一像素的距离测量结果将曝光切换至所述第二像素的曝光。

12.根据权利要求2所述的距离测量装置，

其中，所述像素区域包括所述第一像素集中排列的区域和所述第二像素集中排列的区域。

13.根据权利要求2所述的距离测量装置，

其中，在所述像素区域中，所述第一像素排列成一行，并且所述第二像素排列成一行。

14.根据权利要求2所述的距离测量装置，

其中，在所述像素区域中，排列有所述第一像素的行和排列有所述第二像素的行交替地排列。

15.根据权利要求2所述的距离测量装置，

其中，在所述像素区域中，排列有所述第一像素的预定数量的行和排列有所述第二像素的预定数量的行交替地排列。

16.根据权利要求2所述的距离测量装置，

其中，在所述像素区域中，排列有所述第一像素的行和排列有所述第二像素的行交替地排列，使得排列有所述第一像素的行的数量与排列有所述第二像素的行的数量不同。

17.根据权利要求2所述的距离测量装置，

其中，在所述像素区域中，所述第一像素的尺寸与所述第二像素的尺寸不同。

18.根据权利要求1所述的距离测量装置，还包括：

深度图生成单元，被配置为基于所述第一像素的距离测量结果和所述第二像素的距离测量结果生成深度图。

19.根据权利要求18所述的距离测量装置，还包括：

不必要区域确定单元，被配置为基于所述深度图确定在借助于所述第一像素和所述第二像素的距离测量区域中的不必要区域。

20.一种距离测量装置的距离测量方法，包括：

发光单元，被配置为发射测距光；

像素区域，包括用于使用第一飞行时间(ToF)方案的距离测量的第一像素和用于使用第二ToF方案的距离测量的第二像素；以及

控制单元，被配置为控制所述第一像素、所述第二像素以及所述发光单元，

所述距离测量方法包括：

所述控制单元控制所述第一像素、所述第二像素以及所述发光单元的步骤。

Images