CN115201851A - 图像捕获设备 - Google Patents

Abstract

本申请涉及图像捕获设备。一种图像捕获设备可以包括：第一ToF(飞行时间)传感器，其被配置为使用照射调制光信号的参考脉冲时间与感测到从目标物体反射并入射到其上的反射调制光信号的脉冲感测时间之间的时间差来计算到目标物体的距离；第二ToF传感器，其被配置为使用调制光信号与反射调制光信号之间的相位差来计算到目标物体的距离；以及控制器，其被配置为基于第一ToF传感器感测反射调制光信号所生成的第一像素数据来启用第一ToF传感器和第二ToF传感器中的一个。

Description

图像捕获设备

技术领域

各种实施方式总体涉及包括能够基于ToF(飞行时间)方法感测到目标物体的距离的传感器的图像捕获设备。

背景技术

图像传感器是指用于捕获光学图像的光并将其转换为用于显示捕获到的图像以及用于对捕获到的图像进行进一步处理的电信号的半导体装置。包括计算机、汽车、医疗和通信行业在内的各个行业和部门的发展对在诸如智能电话、数码相机、游戏机、IoT(物联网)、机器人、安全摄像头和医疗微型相机之类的各种装置和系统中的高级图像传感器产生了各种需求。

一种常见类型的图像感测装置是电荷耦合器件(CCD)，其长期以来主导着图像传感器领域。另一种常见类型的图像感测装置是互补金属氧化物半导体(CMOS)图像感测装置。CCD图像传感器比CMOS图像传感器提供更高的图像质量和更好的噪声特性。然而，CMOS图像传感器由于超过CCD图像传感器的某些优势(包括例如，更高的帧率、快门速度和各种扫描方法)而现在被广泛使用。另外，CMOS图像传感器和信号处理电路可以集成到单个芯片中，从而可以在实现低功耗的同时使电子装置小型化。此外，使用CMOS制造技术可以降低生产成本。这些特性使CMOS图像传感器更适合于移动装置中的实现。

发明内容

所公开的技术的实施方式涉及图像捕获设备，该图像捕获设备能够用于通过改变操作模式来测量图像捕获设备与物体之间的距离。

在实施方式中，一种图像捕获设备可以包括：第一飞行时间(ToF)传感器，其被配置为包括第一感光像素以检测调制光信号并且被配置为处理来自第一感光像素的像素信号以使用调制光信号照射到目标物体的参考脉冲时间与由第一感光像素感测到从目标物体反射并入射到其上的反射调制光信号的脉冲感测时间之间的时间差来计算到目标物体的距离；第二ToF传感器，其被配置为包括第二感光像素以检测调制光信号并且被配置为处理来自第二感光像素的像素信号以使用调制光信号与反射调制光信号之间的相位差来计算到目标物体的距离；以及控制器，其联接到第一ToF传感器和第二ToF传感器，并且被配置为基于第一ToF传感器在感测到反射调制光信号时生成的第一像素数据来启用第一ToF传感器和第二ToF传感器中的一个以用于感测调制光信号。

在实施方式中，一种图像捕获设备可以包括：RBO(参考背景光偏移)储存单元，其被配置为存储基于使用太阳光作为背景光生成的像素数据而生成的参考BGL偏移；以及控制器，其被配置为使用参考BGL偏移来选择第一操作模式和第二操作模式中的一个。第一操作模式是用于使用照射到目标物体上的调制光信号与从目标物体反射并入射在图像捕获设备上的反射调制光信号之间的时间差来计算到目标物体的距离的模式。第二操作模式是使用调制光信号和反射调制光信号之间的相位差来计算到目标物体的距离的模式。

基于本实施方式，图像捕获设备可以根据图像捕获环境选择最优的ToF方法，并感测到物体的距离。

此外，可以提供通过本文档直接或间接理解的各种效果。

附图说明

图1是例示基于所公开的技术的实施方式的图像捕获设备的示例的图。

图2是例示图1所示的第一ToF传感器的示例的框图。

图3是例示第一ToF传感器如何测量图像捕获设备与目标物体之间的距离的示例的定时图。

图4是例示图1所示的第二ToF传感器的示例的框图。

图5A是例示第二ToF传感器如何测量图像捕获设备与目标物体之间的距离的示例的定时图。

图5B是例示第二ToF传感器如何测量图像捕获设备与目标物体之间的距离的示例的定时图。

图6是例示图1所示的图像捕获设备的操作方法的流程图。

图7例示了第一像素数据PD1的示例直方图。

图8例示了不同光源的光谱辐照度。

具体实施方式

在下文中，将参照附图描述各种实施方式。然而，应当理解，本公开不限于具体实施方式，而是包括实施方式的各种修改、等同和/或替代。本公开的实施方式可以提供通过本公开可以直接/间接认识到的各种效果。

图1是例示基于所公开的技术的实施方式的图像捕获设备的示例的图。

参照图1，图像捕获设备10可以指示诸如用于捕获静止图像的数码静止相机或用于捕获视频的数码视频相机之类的设备。例如，图像捕获设备10可以被实现为DLSR(数字单反)相机、无反相机或移动电话(具体地，智能电话)，但不限于此。图像捕获设备10的概念可以包括如下设备：其包括透镜和图像拾取元件，因而可以通过捕获物体的图像来生成图像。

图像捕获设备10可以包括光源模块50、第一ToF(飞行时间)传感器100、第二ToF传感器200、控制器300、图像信号处理器400和用于存储RBO(参考背景光偏移)数据的RBO储存单元500。图像捕获设备10可以通过使用ToF原理来测量到目标物体30的距离，从而基于在此期间从图像捕获设备10照射的光被目标物体30反射并入射在图像捕获设备10上的时间来计算距离。

根据启用的ToF传感器的类型，图像捕获设备10可以具有两种模式，即，第一操作模式和第二操作模式。启用第一ToF传感器100并禁用第二ToF传感器200的第一操作模式可以指示图像捕获设备10使用第一ToF传感器100测量到目标物体30的距离的模式。禁用第一ToF传感器100并且启用第二ToF传感器200的第二操作模式可以指示图像捕获设备10使用第二ToF传感器200测量到目标物体30的距离的模式。

响应于控制器300的控制信号，光源模块50可以向目标物体30照射调制光信号(MLS)。光源模块50的示例可以包括LD(激光二极管)或LED(发光二极管)、NIR(近红外激光)、点光源、单色照明源和其它激光源的组合。LD或LED发射特定波长带的光(例如，红外线或可见光)，并且通过组合白灯和单色器来配置单色照明源。例如，光源模块50可以发射具有800nm至1000nm的波长的红外光。调制光信号MLS可以是基于预定调制特性(例如，波形、波长、周期、幅度、频率、相位、占空比等)调制的光脉冲信号。此外，调制光信号MLS可以在第一操作模式和第二操作模式下分别具有不同的调制特性。例如，在第一操作模式下照射的调制光信号MLS的脉冲可以比在第二操作模式下照射的调制光信号MLS的脉冲具有更大的幅度。

第一ToF传感器100可以在控制器300的控制下使用第一ToF方法测量到目标物体30的距离。在实施方式中，第一ToF方法是直接ToF方法。根据直接ToF方法，第一ToF传感器100可以通过直接测量往复时间并对往复时间和光速进行运算来计算到目标物体30的距离，往复时间指示以预定调制特性调制的调制光信号MLS照射到目标物体30的时间点与调制光信号MLS从目标物体30反射并入射在第一ToF传感器100上的时间点之间的时间差。

第一ToF传感器100可以根据从控制器300接收的控制信号来操作。第一ToF传感器100可以向控制器300提供在计算到目标物体30的距离的过程期间生成的像素数据。此外，第一ToF传感器100可以向图像信号处理器400发送通过测量到目标物体30的距离而获得的结果。

第二ToF传感器200可以在控制器300的控制下使用第二ToF方法测量到目标物体30的距离。在实施方式中，第二ToF方法可以是间接ToF方法。根据间接ToF方法，第二ToF传感器200通过向目标物体30照射以预定调制特性调制的调制光信号MLS，感测从目标物体30反射并入射在其上的反射调制光信号MLS_R，然后计算调制光信号MLS和反射调制光信号MLS_R之间的相位差，来计算到目标物体30的距离。

第二ToF传感器200可以根据从控制器300接收的控制信号来操作。此外，第二ToF传感器200可以向图像信号处理器400发送通过测量到目标物体30的距离而获得的结果。

控制器300可以对图像捕获设备10中所包括的组件执行整体控制。具体地，控制器300可以选择第一操作模式和第二操作模式中的任何一个作为图像捕获设备10的操作模式，并启用第一ToF传感器100或第二ToF传感器200。

控制器300可以基于从第一ToF传感器100提供的像素数据和从RBO储存单元500提供的RBO来决定图像捕获设备10的操作模式，并且下面将参照图6以及后面的附图来描述该过程。

图像信号处理器400可以收集从第一ToF传感器100和第二ToF传感器200中的每一个输入的每个像素的距离数据，并且生成指示到目标物体30的距离的深度图像。此外，图像信号处理器400可以对生成的深度图像执行图像信号处理，以便去除噪声并提高图像的质量。从图像信号处理器400输出的深度图像可以自动存储在图像捕获设备10或其中安装有图像捕获设备10的装置的内部存储器或外部存储器中，或者根据用户的请求存储在图像捕获设备10或内部存储器或外部存储器中，或通过显示器进行显示。另选地，从图像信号处理器400输出的深度图像可以用于控制图像捕获设备10或其中安装有图像捕获设备10的装置的操作。

RBO储存单元500可以是用于存储与至少一种光源类型相对应的RBO的数据库。RBO可以指示由第一ToF传感器100感测与调制光信号MLS相同波长范围内的背景光而生成的像素数据，并且针对每种类型的光实验式地存储RBO。即使在未生成调制光信号MLS时，第一ToF传感器100也可以感测图像捕获设备10周围的背景光，并且生成与背景光的强度相对应的像素数据。图像捕获设备10可以在测试步骤处在改变背景光的同时生成与背景光的强度相对应的像素数据，并且RBO储存单元500可以将生成的像素数据存储为对应的背景光的RBO。例如，背景光可以是太阳光。

这样的RBO对于每种类型的背景光可以具有不同的值。因此，RBO可以用作用于识别背景光的信息。基于本实施方式的图像捕获设备10的控制器300可以将从第一ToF传感器100提供的像素数据中获取的信息与从RBO储存单元500提供的RBO进行比较，识别施加至图像捕获设备10的背景光，并确定图像捕获设备10是位于室外还是室内。当确定图像捕获设备10位于室外时，控制器300可以在第一操作模式下操作图像捕获设备10。相反，当确定图像捕获设备10位于室内时，控制器300可以在第二操作模式下操作图像捕获设备10。

在室外区域中，阳光可以充当主背景光，并且由于开放区域，图像捕获设备10和目标物体30之间的距离可以相对大。在室内区域中，室内光可以代替太阳光充当主背景光，并且由于封闭区域，图像捕获设备10和目标物体30之间的距离可以相对小。

第一ToF传感器100可以具有与太阳光的相对弱的干扰以及相对大的有效测量距离。有效测量距离可以指示可以实质上测量到的最大距离。另一方面，第二ToF传感器200可以具有与太阳光的相对强的干扰以及相对小的有效测量距离。因此，当图像捕获设备10位于室外时，图像捕获设备10可以在第一操作模式下操作以启用更适于室外区域的第一ToF传感器100。此外，当图像捕获设备10位于室内时，图像捕获设备10可以在第二操作模式下操作以启用更适于室内区域的第二ToF传感器200。

图2是例示图1所示的第一ToF传感器的示例的框图。图3是例示第一ToF传感器如何测量图像捕获设备与目标物体之间的距离的示例的定时图。

参照图2，第一ToF传感器100可以包括用于检测来自光源模块50的MLS的感光像素的第一像素阵列110、被联接以接收来自第一像素阵列110的输出的第一读出电路120、以及被联接以接收来自第一读出电路120的读出数据的第一计算单元130。

第一像素阵列110可以包括例如在列方向和行方向上以2D矩阵连续布置的多个第一像素。每个第一像素是感光像素，该感光像素可以通过对通过透镜模块(未示出)接收的反射调制光信号MLS_R进行光电转换来生成第一像素信号PS1作为与反射调制光信号MLS_R的强度相对应的电信号并且向第一读出电路120输出所生成的第一像素信号PS1。此时，第一像素信号PS1可以是不指示目标物体30的颜色而是指示与到目标物体30的距离相对应的信息的信号。

透镜模块(未示出)可以包括聚光透镜和滤光器。聚光透镜收集从目标物体30反射的反射调制光信号MLS_R，并将收集到的光会聚到第一像素阵列110上。聚光透镜可以包括具有弯曲表面或圆柱光学元件的形式的、由合适的透镜材料(例如包括玻璃、塑料或其它介电材料)形成的会聚透镜或正透镜。聚光透镜可以包括一个或更多个透镜。透镜模块中的滤光器被构造为选择性地透射与调制光信号MLS的波长范围相同的波长范围相对应的光，同时阻挡其它波长的光。因此，入射到第一像素阵列110上的光可以被限制为包括于调制光信号MLS的波长范围内的光，这使得可以抑制由调制光信号MLS的波长范围之外的光(诸如背景灯(BGL))产生噪声。TOF传感器的滤光器的该设计是用于捕获从被成像物体反射的MLS光，以测量被成像物体与成像装置之间的距离，因此不同于用于捕获入射图像中的颜色信息的图像感测像素中的滤光器的滤色设计。

在实施方式中，可以提供聚光透镜和滤光器以对应于每个第一像素，并且因此分别针对不同的第一像素以及针对成对的聚光透镜和滤光器的空间匹配阵列，提供不同对的聚光透镜和滤光器。

在实施方式中，对于直接ToF方法，每个第一像素可以是直接像素。每个第一像素可以包括被配置为生成并累积与入射光的强度相对应的光电荷的光电转换元件，以及被配置为生成与光电荷的量相对应的第一像素信号PS1的像素信号电路。

例如，每个第一像素可以是SPAD(单光子雪崩二极管)像素。根据SPAD像素的工作原理，通过向SPAD施加反向偏压来增加电场，由入射光子由于强电场而产生的电子迁移以生成电子-空穴对(碰撞电离)。具体地，在以施加高于击穿电压的反向偏压的Geiger(盖革)模式操作的SPAD中，当由入射光产生的载流子(电子或空穴)与通过碰撞电离产生的电子和空穴彼此碰撞的同时，可以产生无数的载流子。因此，尽管单个光子入射在SPAD上，但单个光子可以触发雪崩击穿以产生可测量的电流脉冲。

第一读出电路120可以通过处理从每个第一像素输出的第一像素信号PS1来生成作为与模拟的第一像素信号PS1相对应的数字数据的第一像素数据PD1。例如，第一读出电路120可以包括用于将第一像素信号PS1转换为第一像素数据PD1的模数转换器。

第一读出电路120可以将第一像素数据PD1发送给第一计算单元130和控制器300。

第一计算单元130可以通过将从控制器300提供的参考脉冲时间与通过分析第一像素数据PD1所决定的脉冲感测时间进行比较，来计算从参考脉冲时间到脉冲感测时间的飞行时间，基于计算出的飞行时间计算目标物体30与第一ToF传感器100之间的距离，并且将计算结果发送给图像信号处理器400。参考脉冲时间可以指示照射调制光信号MLS的时间点，并且脉冲感测时间可以指示感测到从目标物体30反射并且入射在第一ToF传感器100上的反射调制光信号MLS_R的时间点。

在图1中的图像捕获设备10的实现中，第一ToF传感器100和第二ToF传感器200被不同地配置并且在不同时间操作或被启用以用于MLS感测，同时光源模块50被控制以产生分别要由第一ToF传感器100和第二ToF传感器200检测的不同调制光信号。

图3是例示第一ToF传感器如何测量图像捕获设备与目标物体之间的距离的示例的定时图。在一些实现中，第一ToF传感器100可以计算图像捕获设备与目标物体之间的距离，如下文将讨论的。

参照图3、图5A和图5B所示的光调制信号，在第一ToF传感器100被启用的同时所照射的调制光信号MLS的脉冲可以比在第二ToF传感器200被启用的同时所照射的调制光信号MLS的脉冲具有更大的幅度和更小的脉冲宽度，并且生成该脉冲的时间点可以被定义并用作参考脉冲时间RPT，以确定由第一ToF传感器100接收到的反射MLS的飞行时间。第一计算单元130可以接收控制信号，控制器300施加该控制信号以控制光源模块50发出MLS并设置参考脉冲时间RPT。

第一像素阵列110和第一读出电路120可以通过感测从目标物体30反射并入射在第一ToF传感器100上的反射调制光信号MLS_R来生成第一像素数据PD1。

第一计算单元130可以分析第一像素数据PD1以确定反射MLS中的反射脉冲在称为脉冲感测时间(PST)的时间到达，脉冲感测时间是第一像素数据PD1具有等于或大于阈值数据的值以表示反射脉冲的存在的时间点。

第一计算单元130可以通过计算与参考脉冲时间RPT和脉冲感测时间PST之间的时间差相对应的飞行时间，并对计算出的飞行时间和光速执行运算以获得目标物体30与第一ToF传感器100之间的距离(例如，将光速与通过将飞行时间除以2(由于MLS光行进了往返行程)而获得的值相乘)来计算该距离。

图4是例示图1所示的第二ToF传感器的示例的框图。图5A是用于描述第二ToF传感器测量到目标物体的距离的方法的示例的图。图5B是用于描述第二ToF传感器测量到目标物体的距离的方法的另一示例的图。

参照图4，第二ToF传感器200可以包括第二像素阵列210、第二读出电路220和第二计算单元230。

第二像素阵列210可以包括例如在列方向和行方向上以2D矩阵连续布置的多个第二像素。每个第二像素可以通过将通过透镜模块(未示出)接收到的反射调制光信号MLS_R进行光电转换来生成作为与反射调制光信号MLS_R的强度相对应的电信号的第二像素信号PS2，并且向第二读出电路220输出所生成的第二像素信号PS2。此时，第二像素信号PS2可以是不指示目标物体30的颜色而是指示与到目标物体30的距离相对应的信息的信号。由于已经参照图2描述了透镜模块(未示出)，因此本文将省略重复的描述。

在实施方式中，每个第二像素可以是用于间接ToF方法的间接像素。例如，第二像素中的每一个可以是CAPD(电流辅助光子解调)像素。然而，本公开的范围不限于此。与第一TOF传感器100中的像素结构不同，第二TOF传感器200的第二像素阵列210中的每个第二像素可以包括：光电转换元件，该光电转换元件被配置为生成和累积与入射光的强度相对应的光电荷；以及两个像素信号电路(第一像素信号电路和第二像素信号电路)而不是一个像素信号电路，这两个像素信号电路被配置为分别生成与在不同定时生成的光电荷的量相对应的第二像素信号PS2。对于该操作，第一像素信号电路和第二像素信号电路可以分别接收作为用于控制感测光电荷的定时的不同信号的第一调制控制信号MCS1和第二调制控制信号MCS2。第一调制控制信号MCS1和第二调制控制信号MCS2可以被控制为在操作中相对于彼此具有不同的相位值，例如彼此完全异相(即，彼此180度的相位差)。例如，第一调制控制信号MCS1和第二调制控制信号MCS2可以分别与调制光信号MLS具有0度(即，同相)的相位差和180度的相位差。另选地，第一调制控制信号MCS1和第二调制控制信号MCS2可以分别与调制光信号MLS具有90度的相位差(即，异相90度)和270度的相位差。

如图5A中的示例所示，用于第二ToF传感器200中的每个第二像素的第一像素信号电路可以响应于第一调制控制信号MCS1而生成与在第一时段(PR1)中所生成的光电荷的量相对应的第二像素信号PS2，并且向第二读出电路220发送所生成的第二像素信号PS2。第二像素信号电路可以响应于第二调制控制信号MCS2而生成与在不同于第一时段(PR1)的第二时段(PR2)中所生成的光电荷的量相对应的第二像素信号PS2，并且向第二读出电路220发送所生成的第二像素信号PS2。

第二读出电路220可以通过处理从每个第二像素输出的第二像素信号PS2来生成作为与模拟的第二像素信号PS2相对应的数字数据的第二像素数据PD2。例如，第二读出电路220可以包括用于将第二像素信号PS2转换为第二像素数据PD2的模数转换器。

第二读出电路220可以向第二计算单元230发送第二像素数据PD2。

第二计算单元230可以通过将通过转换分别通过第一像素信号电路和第二像素信号电路生成的第二像素信号PS2而获得的第二像素数据PD2进行比较来计算调制光信号MLS和反射调制光信号MLS_R之间的相位差，基于计算出的相位差计算目标物体30与第二ToF传感器200之间的距离，并且向图像信号处理器400发送计算结果。

图5A是例示第二ToF传感器200如何通过经由MCS1和MCS2由第二像素检测MLS_R来测量图像捕获设备与目标物体之间的距离的示例的定时图。在实现中，第二ToF传感器200可以计算图像捕获设备与目标物体之间的距离，如下面所讨论的。

图5A的其中第二ToF传感器200计算距离的示例方法可以被定义为第一相位差感测方法。第一相位差感测方法可以被称为两相调制方法，原因在于它使用具有两个不同相位的调制信号。

在第二ToF传感器200被启用的同时所照射的调制光信号MLS的脉冲可以比在第一ToF传感器100被启用的同时所照射的调制光信号MLS的脉冲具有更小幅度和更大的脉冲宽度。由于在此期间调制光信号MLS从目标物体30反射并入射在第二ToF传感器200上的飞行时间，反射调制光信号MLS_R可以与调制光信号MLS具有预定相位差。

第一调制控制信号MCS1可以与调制光信号MLS同相(即，与调制光信号MLS具有0度的相位差)，并且在第一时段PR1中具有启用电压(或逻辑高电平)。可以通过具有启用电压的第一调制控制信号MCS1生成指示在第一时段PR1中生成的光电荷的量Q(0)的第二像素数据PD2。

第二调制控制信号MCS2可以与调制光信号MLS完全异相(即，与调制光信号MLS具有180度的相位差)，并且在第二时段PR2中具有启用电压(或逻辑高电平)。可以通过具有启用电压的第二调制控制信号MCS2生成指示在第二时段PR2中生成的光电荷的量Q(π)的第二像素数据PD2。

在通过控制经由MLS_R的MLS的调制和经由MCS1和MCS2由第二像素进行的检测二者的这种定时控制下，可以在第一时段PR1和第二时段PR2中，在时域中分开且单独地捕获反射调制光信号MLS_R。

第二计算单元230可以基于指示在第一时段PR1和第二时段PR2中捕获的光电荷的量Q(0)和Q(π)的第二像素数据PD2，根据下式1来计算相位差θ，并根据与相位差θ成正比的飞行时间来计算第二ToF传感器200与目标物体30之间的距离。

图5B是例示第二ToF传感器如何通过经由MCS1和MCS2由第二像素检测MLS_R来测量图像捕获设备与目标物体之间的距离的另一示例的定时图。

图5B的其中第二ToF传感器200计算距离的示例方法可以被定义为第二相位差感测方法。第二相位差感测方法可以被称为四相位调制方法，原因在于使用具有四个不同相位的调制信号。

第二ToF传感器200计算到目标物体30的距离的操作间隔可以被划分为顺序的第一感测时段SP1和第二感测时段SP2。

调制光信号MLS和反射调制光信号MLS_R是与图5A中例示的调制光信号MLS和反射调制光信号MLS_R基本上相同的信号，并且是基于调制光信号MLS和反射调制光信号MLS_R具有预定相位差θ的假设的。此外，假设调制光信号MLS与反射调制光信号MLS_R之间的相位差θ在第一感测时段SP1和第二感测时段SP2中保持恒定。

在第一感测时段SP1中，第一调制控制信号MCS1可以与调制光信号MLS完全同相(即，与调制光信号MLS具有0度的相位差)，并且在第一时段PR1中具有启用电压(或逻辑高电平)。可以通过具有启用电压的第一调制控制信号MCS1生成指示在第一时段PR1中生成的光电荷的量Q(0)的第二像素数据PD2。

在第一感测时段SP1中，第二调制控制信号MCS2可以与调制光信号MLS完全异相(即，与调制光信号MLS具有180度的相位差)，并且在第二时段PR2中具有启用电压(或逻辑高电平)。可以通过具有启用电压的第二调制控制信号MCS2生成指示在第二时段PR2中生成的光电荷的量Q(π)的第二像素数据PD2。

在第二感测时段SP2中，第一调制控制信号MCS1可以与调制光信号MLS具有90度的相位差，并且在第三时段PR3中具有启用电压(或逻辑高电平)。可以通过具有启用电压的第一调制控制信号MCS1生成指示在第三时段PR3中生成的光电荷的量Q(π/2)的第二像素数据PD2。

在第二感测时段SP2中，第二调制控制信号MCS2可以与调制光信号MLS具有270度的相位差，并且在第四时段PR4中具有启用电压(或逻辑高电平)。可以通过具有启用电压的第二调制控制信号MCS2生成指示在第四时段PR4中生成的光电荷的量Q(3π/2)的第二像素数据PD2。

也就是说，可以在第一感测时段SP1的第一时段PR1和第二时段PR2中在时域中分开且单独地捕获反射调制光信号MLS_R，并且在第二感测时段SP2的第三时段PR3和第四时段PR4中在时域中分开且单独地捕获反射调制光信号MLS_R。通过反射调制光信号MLS_R所产生的光电荷的总量可以被定义为Q(0)和Q(π)之和或Q(π/2)和Q(3π/2)之和。

Q(0)与Q(π)之差的绝对值可以定义为ΔQ(0)(＝│Q(0)-Q(π)│)，且Q(π/2)和Q(3π/2)之差的绝对值可以被定义为ΔQ(π/2)(＝│Q(π/2)-Q(3π/2)│)。用于获取Q(0)的第一调制控制信号MCS1和用于获取Q(π)的第二调制控制信号MCS2可以分别与用于获取Q(π/2)的第一调制控制信号MCS1和用于获取Q(3π/2)的第二调制控制信号MCS2具有90度的相位差。因此，ΔQ(0)和ΔQ(π/2)之和可以具有恒定值(即，总电荷)。

对于具有恒定值的ΔQ(0)和ΔQ(π/2)之和，ΔQ(0)和ΔQ(π/2)可以各自根据相位差θ的变化线性地增大/减小。也就是说，随着相位差θ的增大，ΔQ(0)可以在相位差θ从0变化到π的时段中线性地减小，而在相位差θ从π变化到2π的时段中线性地增大。此外，ΔQ(π/2)可以在相位差θ从0变化到π/2的时段中线性地增大，在相位差θ从π/2变化到3π/2的时段中线性地减小，并且在相位差θ从3π/2变化到2π的时段中线性地增大。因此，基于ΔQ(0)与ΔQ(π/2)之间的比率关系，可以计算出相位差θ。

第二计算单元230可以基于指示在第一时段PR1至第四时段PR4中捕获的光电荷的量Q(0)、Q(π)、Q(π/2)和Q(3π/2)的第二像素数据PD2计算ΔQ(0)和ΔQ(π/2)，根据下式2计算相位差θ，并根据与相位差θ成正比的飞行时间来计算第二ToF传感器200和目标物体30之间的距离。

具体而言，第二相位差感测方法(四相位调制方法)在计算相位差时可以使用诸如ΔQ(0)和ΔQ(π/2)之类的差分值。因此，第二相位差测感方法可以分别去除Q(0)、Q(π)、Q(π/2)和Q(3π/2)中包含的背景噪声分量，因而更准确地计算距离。

图6是例示图1所示的图像捕获设备的操作方法的流程图。图7是例示第一像素数据PD1的直方图的示例的图。图8是例示每个光源的光谱辐照度的曲线图。

参照图6，当图像捕获设备10的操作开始时，初始操作模式可以被设置为第一操作模式作为默认模式。因此，控制器300可以启用第一ToF传感器100，并且禁用第二ToF传感器200。在步骤S10中，被启用的第一ToF传感器100可以通过感测从目标物体30反射并入射到第一ToF传感器100上的反射调制光信号MLS_R来生成第一像素数据PD1。第一像素数据PD1可以指示通过转换第一像素阵列110中所包括的一个第一像素的第一像素信号PS1而获得的数据，但是本公开的范围不限于此。在另一实施方式中，第一像素数据PD1可以指示通过转换属于第一像素阵列110中所包括的一行的第一像素的第一像素信号PS1而获得的数据的平均值或者通过转换第一像素阵列110中所包括的全部第一像素的第一像素信号PS1而获得的数据的平均值。

在步骤S20中，控制器300可以从第一像素数据PD1获取第一像素数据PD1的直方图。可以根据预定周期周期性地生成第一像素数据PD1。第一像素数据PD1的直方图可以是指示顺序生成的第一像素数据PD1随着时间的流逝而累积的图。

图7例示了随着时间的流逝累积的第一像素数据PD1的示例直方图。

在预定累积时段CP期间顺序生成的第一像素数据PD1可以被累积。第一像素数据PD1可以被划分为具有等于或大于阈值数据TD的值的第一像素数据PD1_1和具有小于阈值数据TD的值的第一像素数据PD1_2。阈值数据TD可以被实验式地决定，以便确定第一像素数据PD1是否对应于反射调制光信号MLS_R的脉冲。也就是说，第一像素数据PD1_1可以指示反射调制光信号MLS_R的脉冲的强度，而第一像素数据PD1_2可以指示入射在图像捕获设备10上的背景光(BGL)的强度，而不是反射调制光信号MLS_R的脉冲的强度。

在步骤S30中，控制器300可以基于第一像素数据PD1的直方图计算BGL偏移。在图7中，控制器300可以计算与通过在累积时段(CP)期间感测背景光而获得的结果相对应的第一像素数据PD1_2的平均值，并且将计算出的平均值决定为BGL偏移。

在步骤S40中，控制器300可以将BGL偏移(RBO)与从RBO储存单元500提供的作为BGL的太阳光的RBO值进行比较。太阳光的RBO可以通过在太阳光充当入射到第一ToF传感器100上的背景光(BGL)的同时收集由第一ToF传感器100所生成的第一像素数据PD1来实验式地决定。

在所公开的ToF技术的一种实现中，描述了用于基于太阳光的RBO确定图像捕获设备10是位于室外还是室内的实施方式。然而，本公开的范围不限于此，而是可以通过使用作为背景光(BGL)的另一光源的RBO来确定图像捕获设备10的周围环境，来改变图像捕获设备10的操作模式。

图8例示了指示每种类型的光源的光谱辐照度的曲线图。光谱辐照度可以指示在特定波长(单位：nm)下的光输出密度并且单位为W/(m²*nm)(W：瓦特，m：米)。

图8例示了根据波长变化的太阳光谱、硫灯、氙弧灯、QTH(石英卤钨)灯和镜面白炽灯的光谱辐照度。

调制光信号MLS的波长范围(MLS波长范围)中的光谱辐照度的平均值可以具有以下关系(硫灯<氙弧灯<太阳光谱<QTH灯<镜面白炽灯)。调制光信号MLS的波长范围可以是对应于近红外线的波长范围，但本公开的范围不限于此。由于光谱辐照度可以各自指示对应的光源的光输出密度，因此相应光源的RBO可以各自与光源在调制光信号MLS的波长范围内的光谱辐照度的平均值成比例。也就是说，随着相应光源的光谱辐照度的平均值变化，相应光源的RBO可以具有不同的值，并且成为能够识别特定光源的数据。

例如，硫灯、氙弧灯、太阳光谱、QTH灯、镜面白炽灯的RBO分别为20、60、100、130、150。也就是说，当由第一ToF传感器100生成的第一像素数据PD1类似于100时，作用在第一ToF传感器100上的背景光很有可能是太阳光。因此，可以认为图像捕获设备10位于室外。相反，当由第一ToF传感器100所生成的第一像素数据PD1不类似于100时，作用在第一ToF传感器100上的背景光很有可能不是太阳光。因此，可以认为图像捕获设备10位于室内。

在步骤S50中，控制器300可以将BGL偏移与从RBO储存单元500提供的太阳光的RBO进行比较，并依据BGL偏移是否包括在太阳光的RBO(例如，100)周围的第一值(例如，85)和第二值(例如，115)之间的预定范围内来确定图像捕获设备10当前是否位于室外。第一值可以小于RBO并且第二值可以大于RBO。

当因为BGL偏移被包括在预定范围内而确定图像捕获设备10当前位于室外(步骤S50中的“是”)时，在步骤S60中，控制器300可以将图像捕获设备10保持在第一操作模式中，并且使用第一ToF传感器100测量到目标物体30的距离。这是因为，由于第一ToF传感器100感测具有相对大的幅度和小脉冲宽度的脉冲的反射调制光信号MLS_R，因此太阳光的干扰相对弱，并且有效测量距离相对大。

当因为BGL偏移不被包括在预定范围内而确定图像捕获设备10当前位于室内(步骤S50中的“否”)时，控制器300可以将图像捕获设备10的操作模式改变为第二操作模式，并使用第二ToF传感器200测量到目标物体30的距离。这是因为，由于第二ToF传感器200感测具有相对小的幅度和大脉冲宽度的脉冲的反射调制光信号MLS_R，所以太阳光的干扰相对强，并且有效测量距离相对小。

当BGL偏移不被包括在预定范围内但大于太阳光的RBO(步骤S70中的“是”)时，在步骤S80中，控制器300可以根据第二相位差感测方法操作第二ToF传感器200。这是因为，由于图像捕获设备10位于室内但具有相对高的光谱辐照度的背景光(诸如QTH灯或镜面白炽灯)可能作用于第二ToF传感器200上，因此更有利的是第二ToF传感器200根据能够使用差分值去除背景光的第二相位差感测方法来测量到目标物体30的距离。

当BGL偏移不被包括在预定范围内但小于太阳光的RBO(步骤S70中的“否”)时，在步骤S90中，控制器300可以根据第一相位差感测方法操作第二ToF传感器200。这是因为，由于图像捕获设备10位于室内且具有相对低光谱辐照度的背景光(诸如硫灯或氙弧灯)可能作用于第二ToF传感器200上，因此更有利的是第二ToF传感器200根据具有相对高操作速度的第一相位差检测方法测量到目标物体30的距离。

可以假设在因为图像捕获设备10位于室内因此使用第二ToF传感器200测量距离的同时，图像捕获设备10被移动到外部。另选地，可以假设在因为图像捕获设备10位于室外因此使用第一ToF传感器100测量距离的同时，图像捕获设备10被移动到内部。在这种情况下，图像捕获设备10可能继续在不适合图像捕获环境的操作模式下操作。为了防止这种情况，控制器300可以根据特定周期、用户的请求或者已经认识到根据第一ToF传感器100或第二ToF传感器200的计算结果无法正常地测量距离(例如，计算出的距离重复为0或有效测量距离的情况)的图像信号处理器400的请求，再次执行图6所示的过程。具体地，在当前操作模式为第二操作模式时，控制器300可以通过改变图像捕获设备10的操作模式，而在第一操作模式下操作图像捕获设备10，以便执行图6所示的过程。

在根据本实施方式的图像捕获设备10中，控制器300可以分析图像捕获设备10的背景光，并根据分析结果以最佳操作模式操作图像捕获设备10。

虽然上面已经描述了各种实施方式，但是本领域技术人员将理解所描述的实施方式仅是示例。可以基于本专利文档中描述或例示的内容做出所公开的实施方式和其它实施方式的变型和改进。

相关申请的交叉引用

本专利文档要求于2021年4月12日提交的韩国申请No.10-2021-0046976的优先权和权益，其全部内容通过引用并入本文中。

Claims (15)

1.一种图像捕获设备，该图像捕获设备包括：

第一飞行时间ToF传感器，所述第一ToF传感器包括第一感光像素以检测调制光信号并且处理来自所述第一感光像素的像素信号以使用所述调制光信号照射到目标物体的参考脉冲时间与由所述第一感光像素感测到从所述目标物体反射并入射到其上的反射调制光信号的脉冲感测时间之间的时间差来计算到所述目标物体的距离；

第二ToF传感器，所述第二ToF传感器包括第二感光像素以检测所述调制光信号并且处理来自所述第二感光像素的像素信号以使用所述调制光信号与所述反射调制光信号之间的相位差来计算到所述目标物体的距离；以及

控制器，所述控制器联接到所述第一ToF传感器和所述第二ToF传感器并且基于所述第一ToF传感器在感测所述反射调制光信号时生成的第一像素数据启用所述第一ToF传感器和所述第二ToF传感器中的一个以用于感测所述调制光信号。

2.根据权利要求1所述的图像捕获设备，其中，所述控制器基于通过累积所述第一像素数据获得的直方图来计算由所述第一ToF传感器接收到的背景光引起的并且指示所述背景光的水平的背景光BGL偏移，并且通过比较所述BGL偏移和先前存储的参考BGL偏移来启用所述第一ToF传感器和所述第二ToF传感器中的一个以用于感测所述调制光信号。

3.根据权利要求2所述的图像捕获设备，其中，所述控制器通过计算在所述直方图中具有小于阈值数据的值的所述第一像素数据的平均值来计算所述BGL偏移。

4.根据权利要求2所述的图像捕获设备，其中，所述参考BGL偏移是基于在作用于所述第一ToF传感器上的背景光是太阳光的同时生成的第一像素数据来决定的。

5.根据权利要求2所述的图像捕获设备，其中，所述参考BGL偏移与太阳光的光谱辐照度成比例。

6.根据权利要求2所述的图像捕获设备，其中，当所述BGL偏移被包括在第一值和第二值之间的预定范围内时，所述控制器启用所述第一ToF传感器，并且

其中，所述第一值小于所述参考BGL偏移并且所述第二值大于所述参考BGL偏移。

7.根据权利要求2所述的图像捕获设备，其中，当所述BGL偏移不被包括在第一值和第二值之间的预定范围内时，所述控制器启用所述第二ToF传感器，并且

其中，所述第一值小于所述参考BGL偏移并且所述第二值大于所述参考BGL偏移。

8.根据权利要求7所述的图像捕获设备，其中，当在所述BGL偏移不被包括在所述预定范围内的同时所述BGL偏移大于所述参考BGL偏移时，所述控制器使用具有四个不同相位的调制信号来操作所述第二ToF传感器。

9.根据权利要求7所述的图像捕获设备，其中，当在所述BGL偏移不被包括在所述预定范围内的同时所述BGL偏移小于所述参考BGL偏移时，所述控制器使用具有两个不同相位的调制信号来操作所述第二ToF传感器。

10.根据权利要求1所述的图像捕获设备，其中，所述第一ToF传感器包括：

第一像素阵列，所述第一像素阵列包括多个第一像素，每个所述第一像素生成作为与所述反射调制光信号的强度相对应的电信号的第一像素信号；

第一读出电路，所述第一读出电路通过将所述第一像素信号转换为数字数据来生成所述第一像素数据；以及

第一计算单元，所述第一计算单元将所述第一像素数据具有等于或大于阈值数据的值的时间点决定为所述脉冲感测时间，并且使用所述参考脉冲时间与所述脉冲感测时间之间的时间差来计算到所述目标物体的距离。

11.根据权利要求10所述的图像捕获设备，其中，所述多个第一像素各自是单光子雪崩二极管SPAD像素。

12.根据权利要求1所述的图像捕获设备，其中，所述第二ToF传感器包括：

第二像素阵列，所述第二像素阵列包括多个第二像素，每个所述第二像素响应于具有不同相位的第一调制控制信号和第二调制控制信号而生成作为与所述反射调制光信号的强度相对应的电信号的第二像素信号；

第二读出电路，所述第二读出电路通过将所述第二像素信号转换为数字数据来生成第二像素数据；以及

第二计算单元，所述第二计算单元通过将响应于所述第一调制控制信号而生成的所述第二像素数据与响应于所述第二调制控制信号而生成的所述第二像素数据进行比较来计算所述相位差，并且使用所述相位差计算到所述目标物体的距离。

13.根据权利要求12所述的图像捕获设备，其中，所述多个第二像素各自是电流辅助光子解调CAPD像素。

14.根据权利要求1所述的图像捕获设备，其中，在所述第一ToF传感器被启用以用于感测所述调制光信号的同时所照射的所述调制光信号具有比在所述第二ToF传感器被启用以用于感测所述调制光信号的同时所照射的所述调制光信号的幅度大的幅度，

其中，在所述第一ToF传感器被启用的同时所照射的所述调制光信号具有比在所述第二ToF传感器被启用以用于感测所述调制光信号的同时所照射的所述调制光信号的脉冲宽度小的脉冲宽度。

15.一种图像捕获设备，该图像捕获设备包括：

参考背景光偏移RBO储存单元，所述RBO储存单元存储基于使用太阳光作为背景光所生成的像素数据而生成的参考BGL偏移；以及

控制器，所述控制器使用所述参考BGL偏移选择第一操作模式和第二操作模式中的一个，

其中，所述第一操作模式是用于使用照射到目标物体上的调制光信号与从所述目标物体反射并入射在所述图像捕获设备上的反射调制光信号之间的时间差来计算到所述目标物体的距离的模式，并且

所述第二操作模式是用于使用所述调制光信号和所述反射调制光信号之间的相位差来计算到所述目标物体的距离的模式。

Images