CN117761723A - 一种计算飞行时间相机的系统及算法 - Google Patents

Abstract

本发明公开了一种计算飞行时间相机的系统及算法，包括系统组件和飞行时间相机，飞行时间相机包括光源、激光驱动器、传感器、镜头、带通滤波器和处理算法模块，光源为漫射源，且漫射源发出散度的光束，激光驱动器调制光源发射的光的强度，传感器收集返回光线，并输出每个像素的值，镜头将返回光线聚焦到传感器阵列上，带通滤波器与镜头共置，且滤除以光源波长为中心的窄带宽之外的光线，处理算法模块将传感器输出的原始帧转换为深度图像或点云，本发明计算飞行时间相机的系统提供了市场上较高性能的解决方案，为需要高质量3D信息的应用提供高深度精度，具有深度精度和准确度，易于使用，灵敏度较高，并将2D和3D融合，还能实施多系统操作。

Description

一种计算飞行时间相机的系统及算法

技术领域

本发明涉及飞行时间相机系统技术领域，具体涉及一种计算飞行时间相机的系统及算法。

背景技术

现在许多机器视觉应用需要高分辨率的3D深度图像来替代或增强标准的2D图成像，这类解决方案依靠3D相机来提供可靠的深度信息以保证安全性，尤其是当机器在极其贴近人附近工作的时候。

在具有挑战性的环境中工作时，例如在具有高反射性表面的大空间中和有其他移动物体的环境中工作时，相机还需要提供可靠的深度信息，许多产品使用低分辨率测距仪类型解决方案来提供深度信息，以增强2D成像，但是这种方法有很多限制，因此，亟需设计一种计算飞行时间相机的系统及算法来解决上述问题。

发明内容

本发明的目的是提供一种计算飞行时间相机的系统及算法，以解决现有技术中的上述不足之处。

为了实现上述目的，本发明提供如下技术方案：

一种计算飞行时间相机的系统，包括系统组件和飞行时间相机，所述飞行时间相机包括光源、激光驱动器、传感器、镜头、带通滤波器和处理算法模块，所述光源为漫射源，且漫射源发出散度的光束，所述激光驱动器调制光源发射的光的强度，所述传感器收集返回光线，并输出每个像素的值，所述镜头将返回光线聚焦到传感器阵列上，所述带通滤波器与镜头共置，且滤除以光源波长为中心的窄带宽之外的光线，所述处理算法模块将传感器输出的原始帧转换为深度图像或点云，所述系统组件包括飞行时间成像器、照明源、光学元件、电源管理模块和深度处理模块。

优选的，所述飞行时间成像器包括图像传感器，并且图像传感器在高调制频率时具有高解调对比度。

优选的，所述照明源由激光驱动器和PCB布局组成，所述光学元件的光源照明区域与镜头的视场角匹配，且镜头为高孔径镜头或低主射线角镜头。

优选的，所述电源管理模块包括传感器集成电路、电池、USB、与飞行时间成像器模拟电源连接的稳压器，并提供高峰功率。

优选的，所述深度处理模块包括深度处理算法，且深度处理模块低功耗，支持不同类型的输出深度信息。

一种计算飞行时间相机的算法，包括所述的一种计算飞行时间相机的系统，

所述飞行时间相机的飞行时间是计算光从相机光源行进到反射表面再返回相机所需的时间，

所述飞行时间相机通过估算发射信号与返回信号的基波之间的相移来测量这两个信号之间的时间差，

所述飞行时间相机的深度利用相移和光速来估算，

所述图像传感器输出原始像素数据，并从原始像素数据中提取相位信息，所述提取相位信息的步骤包括噪声滤波和相位展开模块。

优选的，所述相位展开模块的输出是激光器发出的光行进到场景再返回到像素的距离测量结果，被称为范围或径向距离。

优选的，所述径向距离被转换为点云信息，代表特定像素的实际坐标(X、Y、Z)信息，且最终应用仅使用Z图像映射，而不是全部点云。

优选的，所述径向距离转换为点云，依据镜头内在特性和失真参数，其中失真参数是在相机模块的几何校准期间估算。

优选的，所述深度处理模块的算法还能输出有源亮度图像、无源2D IR图像和置信度，所述深度处理模块的算法在飞行时间相机中进行，或系统中其他地方的主机处理器中进行。

在上述技术方案中，本发明提供的一种计算飞行时间相机的系统及算法，计算飞行时间相机的系统提供了市场上较高性能的解决方案，可为需要高质量3D信息的应用提供高深度精度，具有深度精度和准确度，且易于使用，灵敏度较高，并将2D和3D融合，还能实施多系统操作；系统的特性还能运用于消费者使用场景，如视频背景虚化、面部身份验证和测量应用，以及汽车使用场景，如驾驶员状态监控和自动化舱内配置；飞行时间相机的系统级组件包括成像器、照明源和光学元件等，能够提供高解调对比度、高量子效率、高调制频率，低读数噪声，良好的瞬态响应、高效率和提供高峰功率等特性，这些系统级组件对于实现最高精度3D飞行时间相机系统至关重要。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明一种计算飞行时间相机的系统及算法实施例提供的飞行时间传感器技术概要示意图。

图2为本发明一种计算飞行时间相机的系统及算法实施例提供的传感器电路控制示意图。

图3为本发明一种计算飞行时间相机的系统及算法实施例提供的光学示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

如图1-3所示，本发明实施例提供的一种计算飞行时间相机的系统，包括系统组件和飞行时间相机，飞行时间相机包括光源、激光驱动器、传感器、镜头、带通滤波器和处理算法模块，光源为漫射源，且漫射源发出散度的光束，激光驱动器调制光源发射的光的强度，传感器收集返回光线，并输出每个像素的值，镜头将返回光线聚焦到传感器阵列上，带通滤波器与镜头共置，且滤除以光源波长为中心的窄带宽之外的光线，处理算法模块将传感器输出的原始帧转换为深度图像或点云，系统组件包括飞行时间成像器、照明源、光学元件、电源管理模块和深度处理模块。

具体的，本实施例中，包括系统组件和飞行时间相机，飞行时间相机包括光源、激光驱动器、传感器、镜头、带通滤波器和处理算法模块，光源，例如垂直腔面发射激光器(VCSEL)或边缘发射激光二极管，其发射近红外域的光，光源为漫射源(泛光照明)，且漫射源发出散度的光束(即照明区或FOI)，激光驱动器调制光源发射的光的强度，传感器收集返回光线，并输出每个像素的值，且传感器是具有像素阵列的传感器，镜头将返回光线聚焦到传感器阵列上，带通滤波器与镜头共置，且滤除以光源波长为中心的窄带宽之外的光线，处理算法模块将传感器输出的原始帧转换为深度图像或点云，系统组件包括飞行时间成像器、照明源、光学元件、电源管理模块和深度处理模块。

本发明提供的另一个实施例中，飞行时间成像器包括图像传感器，并且图像传感器在高调制频率时具有高解调对比度(区分Tap A和Tap B之间光电子的能力)，当系统的平均调制频率提高时，大多数与深度估计相关的非理想因素(如偏置、深度噪声和多路径伪像)的影响会减小，传感器在近红外波长还需要具有高量子效率，从而降低在像素中产生光电子所需的光功率。最后，低读数噪声支持检测较低返回信号(远处或低反射率物体)，从而有助于提高相机的动态范围。

本发明提供的另一个实施例中，照明源由激光驱动器和PCB布局组成，还需要进行一些标定工作以找到最佳光功率和占空比设置，从而使调制波形的傅立叶变换中的基波幅度最大化。最后，光功率还需要以安全方式传输，激光驱动器和系统层面应内置一些安全机制以确保始终符合第1类眼部安全限值，激光驱动器以高调制频率调制光源(例如VCSEL)，对于给定光功率，为使像素处的有用信号量最大化，光学波形需要具有快速上升和下降时间及干净的边沿，光学元件的光源照明区域与镜头的视场角匹配，获得最佳效率，且镜头为高孔径镜头或低主射线角镜，镜头本身应具有高孔径，以获得更好的光收集效率，大孔径可能导致需要权衡其他因素，如暗角、浅景深和镜头设计复杂度等，低主射线角的镜头设计也有助于减少带通滤波器带宽，从而改善环境光抑制，提高户外性能。光学子系统还应针对所需工作波长进行优化(如防反射涂层、带通滤波器设计、镜头设计)，以使吞吐效率最大而杂散光最小。

本发明提供的另一个实施例中，电源管理模块包括传感器集成电路、电池、USB、与飞行时间成像器模拟电源连接的稳压器，并提供高峰功率，电源管理在高性能3D飞行时间相机模块设计中同样至关重要，传感器集成电路(IC)的一些特性可以帮助降低成像器的峰值功耗，在系统层面还可以应用电源管理技术来帮助降低对电源的要求(例如电池或USB)，飞行时间成像器的主要模拟电源通常需要一个具有良好瞬态响应和低噪声的稳压器。

本发明提供的另一个实施例中，深度处理模块包括深度处理算法，且深度处理模块低功耗，支持不同类型的输出深度信息。

一种计算飞行时间相机的算法，包括一种计算飞行时间相机的系统，

飞行时间相机的飞行时间是计算光从相机光源行进到反射表面再返回相机所需的时间，

飞行时间相机通过估算发射信号与返回信号的基波之间的相移来测量这两个信号之间的时间差，

飞行时间相机的深度利用相移和光速来估算，

图像传感器输出原始像素数据，并从原始像素数据中提取相位信息，提取相位信息的步骤包括噪声滤波和相位展开模块。

本发明提供的另一个实施例中，相位展开模块的输出是激光器发出的光行进到场景再返回到像素的距离测量结果，被称为范围或径向距离。

本发明提供的另一个实施例中，径向距离被转换为点云信息，代表特定像素的实际坐标(X、Y、Z)信息，且最终应用仅使用Z图像映射(景深映射)，而不是全部点云。

本发明提供的另一个实施例中，径向距离转换为点云，依据镜头内在特性和失真参数，其中失真参数是在相机模块的几何校准期间估算。

本发明提供的另一个实施例中，深度处理模块的算法还能输出有源亮度图像(返回激光信号的幅度)、无源2D IR图像和置信度，深度处理模块的算法在飞行时间相机中进行，或系统中其他地方的主机处理器中进行。

飞行时间相机通过估算发射信号与返回信号的基波之间的相移ftd来测量这两个信号之间的时间差td。深度可以利用相移/>和光速(c)来估算，传感器中的时钟产生电路控制互补像素时钟，而互补像素时钟分别控制两个电荷储存元件(Tap A和Tap B)中的光电荷的累积，以及激光驱动器的激光调制信号。返回调制光的相位可以相对于像素时钟的相位来测量(参见图2)。像素中的Tap A和Tap B之间的差分电荷与返回调制光的强度和返回调制光相对于像素时钟的相位成比例。

利用零中频检测原理，使用像素时钟和激光调制信号之间的多个相对相位进行测量。组合这些测量结果即可确定返回调制光信号中的基波相位。知道该相位即可计算光从光源行进到被观察的物体再返回到传感器像素所花的时间。在实践中，光子散粒噪声、读出电路噪声、多路径干扰等非理想因素会导致相位测量误差。高调制频率可降低这些误差对深度估算的影响。最终深度通过不同调制频率的展开相位估计值加权来估算，为较高调制频率分配较大的权重，如果为每个频率的权重选择最优值，则深度噪声与系统中选择的调制频率的均方根成反比。对于恒定深度噪声预算，提高调制频率可以减少积分时间或照明功率。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (10)

1.一种计算飞行时间相机的系统，包括系统组件和飞行时间相机，其特征在于，所述飞行时间相机包括光源、激光驱动器、传感器、镜头、带通滤波器和处理算法模块，所述光源为漫射源，且漫射源发出散度的光束，所述激光驱动器调制光源发射的光的强度，所述传感器收集返回光线，并输出每个像素的值，所述镜头将返回光线聚焦到传感器阵列上，所述带通滤波器与镜头共置，且滤除以光源波长为中心的窄带宽之外的光线，所述处理算法模块将传感器输出的原始帧转换为深度图像或点云，所述系统组件包括飞行时间成像器、照明源、光学元件、电源管理模块和深度处理模块。

2.根据权利要求1所述的一种计算飞行时间相机的系统，其特征在于，所述飞行时间成像器包括图像传感器，并且图像传感器在高调制频率时具有高解调对比度。

3.根据权利要求1所述的一种计算飞行时间相机的系统，其特征在于，所述照明源由激光驱动器和PCB布局组成，所述光学元件的光源照明区域与镜头的视场角匹配，且镜头为高孔径镜头或低主射线角镜头。

4.根据权利要求1所述的一种计算飞行时间相机的系统，其特征在于，所述电源管理模块包括传感器集成电路、电池、USB、与飞行时间成像器模拟电源连接的稳压器，并提供高峰功率。

5.根据权利要求1所述的一种计算飞行时间相机的系统，其特征在于，所述深度处理模块包括深度处理算法，且深度处理模块低功耗，支持不同类型的输出深度信息。

6.一种计算飞行时间相机的算法，包括权利要求1-5任一项所述的一种计算飞行时间相机的系统，其特征在于，

所述飞行时间相机的飞行时间是计算光从相机光源行进到反射表面再返回相机所需的时间，

所述飞行时间相机通过估算发射信号与返回信号的基波之间的相移来测量这两个信号之间的时间差，

所述飞行时间相机的深度利用相移和光速来估算，

所述图像传感器输出原始像素数据，并从原始像素数据中提取相位信息，所述提取相位信息的步骤包括噪声滤波和相位展开模块。

7.根据权利要求6所述的一种计算飞行时间相机的算法，其特征在于，所述相位展开模块的输出是激光器发出的光行进到场景再返回到像素的距离测量结果，被称为范围或径向距离。

8.根据权利要求7所述的一种计算飞行时间相机的算法，其特征在于，所述径向距离被转换为点云信息，代表特定像素的实际坐标(X、Y、Z)信息，且最终应用仅使用Z图像映射，而不是全部点云。

9.根据权利要求7所述的一种计算飞行时间相机的算法，其特征在于，所述径向距离转换为点云，依据镜头内在特性和失真参数，其中失真参数是在相机模块的几何校准期间估算。

10.根据权利要求6所述的一种计算飞行时间相机的算法，其特征在于，所述深度处理模块的算法还能输出有源亮度图像、无源2D IR图像和置信度，所述深度处理模块的算法在飞行时间相机中进行，或系统中其他地方的主机处理器中进行。