CN115599163A

CN115599163A - iToF相机去混叠方法、系统以及电子设备

Info

Publication number: CN115599163A
Application number: CN202211293165.3A
Authority: CN
Inventors: 胡波; 朱颖佳; 王昆
Original assignee: Fujian Jiemu Technology Co ltd
Current assignee: Shanghai Jieming Technology Co ltd
Priority date: 2022-10-21
Filing date: 2022-10-21
Publication date: 2023-01-13

Abstract

本发明提供一种iToF相机去混叠方法、系统以及电子设备。所述iToF相机去混叠方法，包括如下步骤：采用多相位法根据iToF相机采集的原始数据获取相位数据；通过双频测量并根据预先建立的混叠周期查找表，确定混叠周期；根据所述混叠周期以及所述相位数据获取深度数据；根据所述深度数据，控制双频功能开启以重新确定混叠周期，或控制双频功能关闭。上述技术方案，通过预先建立混叠周期查找表、根据查找参数查找混叠周期的方式，减少了双频状态下计算混叠周期的计算量，降低功耗。同时，通过深度直方图的数据分析来判断深度波动的大小，在深度波动较小时关闭双频状态，减少系统功耗。

Description

iToF相机去混叠方法、系统以及电子设备

技术领域

本发明涉及ToF测距领域，尤其涉及一种iToF相机去混叠方法、系统以及电子设备。

背景技术

间接飞行时间(Indirect time of flight，简称iToF)通过发射光和图像传感器接收的反射光的相位延时来计算物体的真实深度，在3D测量中具有广泛的应用。具体的，iToF通过连续脉冲调制，并采用多相位法根据相位解调出距离信息，具有鲁棒性好，抗干扰性强的特性。

如图1所示，iToF相机的工作原理为：通过调制模块(modulation)11控制发光模块12主动发射可调制的光信号；发射光发射到待测目标物19表面，经目标物19反射后形成的反射光信号被图像传感器(sensor)的感光像素阵列13采样；进而根据发射光和反射光的相移(Phase shift)来计算目标物的距离。发光模块12，例如VCSEL、红外发射器(IR emitter)或LED等，通常由图像传感器产生可调制的方波来驱动以向待测目标物发射调制后的脉冲光信号，然后利用图像传感器接收待测目标物反射回来的光信号，再通过计算光往返飞行时间推算待测目标物的深度信息。

iToF相机能够测量的最大距离与发射光信号的调制频率有关，距离测量依赖于测量相位的改变，当真实距离超过单个频率的最大量测范围d_max，就会发生相位混叠。降低调制频率可以提高最大测距范围，但是会降低测距的准确性。

中国专利公开文献(CN 113256539A)公开了一种通过获取深度图和亮度图，基于深度图和亮度图的变化关系，来确定是否存在混叠，并根据混叠像素进行混叠处理的方法。该方法只需要通过单个频率可以确定混叠像素，对于系统功耗方法确实有较大的降低，但是由于待测物体的反射率以及物体距离传感器距离不一样，深度和亮度之间并不是存在一个确定性的映射关系，所以该方法存在较大的局限性。

因此，提供一种提高测距性能、减少计算量、降低系统动态功耗的测距方法，是当下需要解决的问题。

发明内容

本发明所要解决的技术问题是提供一种提高测距性能、减少计算量、降低系统动态功耗的测距方法，提供一种iToF相机去混叠方法、系统以及电子设备。

为了解决上述问题，本发明提供了一种iToF相机去混叠方法，包括如下步骤：采用多相位法根据iToF相机采集的原始数据获取相位数据；通过双频测量并根据预先建立的混叠周期查找表，确定混叠周期；根据所述混叠周期以及所述相位数据获取深度数据；根据所述深度数据，控制双频功能开启以重新确定混叠周期，或控制双频功能关闭。

为了解决上述问题，本发明提供了一种iToF相机去混叠系统，包括：相位数据获取模块，用于采用多相位法根据iToF相机采集的原始数据获取相位数据；混叠周期获取模块，用于通过双频测量并根据预先建立的混叠周期查找表、确定混叠周期；深度数据获取模块，用于根据所述混叠周期以及所述相位数据获取深度数据；双频开关控制模块，用于根据所述深度数据控制双频功能开启以重新确定混叠周期或控制双频功能关闭。

为了解决上述问题，本发明提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序，其特征在于，所述处理器执行所述计算机可执行程序时实现所述的iToF相机去混叠方法的步骤。

上述技术方案，通过预先建立混叠周期查找表、根据查找参数查找混叠周期的方式，减少了双频状态下计算混叠周期的计算量，降低功耗。同时，通过深度直方图的数据分析来判断深度波动的大小，在深度波动较小时关闭双频状态，减少系统功耗。

附图说明

附图1所示为现有技术中iToF相机的工作原理示意图。

附图2所示为本发明所述iToF相机去混叠方法的具体实施方式的步骤流程图。

附图3A所示为本发明所述的将当前双频开关状态以及调制频率状态打包加载的一实施例的示意图。

附图3B所示为本发明所述iToF相机去混叠方法的具体实施方式的深度直方图。

附图4A所示为本发明所述iToF相机去混叠方法的具体实施方式的双频开启时数据流示意图。

附图4B所示为本发明所述iToF相机去混叠方法的具体实施方式的双频开关闭时数据流示意图。

附图5所示为本发明所述的iToF相机去混叠系统的一实施例的示意图。

附图6所示为本发明所述的电子设备的一实施例的示意图。

具体实施方式

下面结合附图对本发明提供的iToF相机去混叠方法、系统以及电子设备的具体实施方式做详细说明。

附图2所示为本发明所述iToF相机去混叠方法的具体实施方式的步骤流程图，包括如下步骤：步骤S21，采用多相位法根据iToF相机采集的原始数据获取相位数据；步骤S22，通过双频测量并根据预先建立的混叠周期查找表，确定混叠周期；步骤S23，根据所述混叠周期以及所述相位数据获取深度数据；以及步骤S24，根据所述深度数据，控制双频功能开启以重新确定混叠周期，或控制双频功能关闭。

参考步骤S21，采用多相位法根据iToF相机采集的原始数据获取相位数据。作为一具体实施例，所述的获取相位数据的步骤进一步包括：采用四相位法通过不同相位的原始数据计算出相位数据，并对所述相位数据进行校正；以及将当前双频功能的开关状态以及调制频率状态打包加载到原始数据包尾中。

具体的，四相位法为在相位延时为0°(即0相位)时获取原始相位数据Q1，在相位延时为90°(即90相位)时获取原始相位数据Q2，在相位延时为180°(即180相位)时获取原始相位数据Q3，在相位延时为270°(即270相位)时获取原始相位数据Q4。在本实施例中，对反射光信号进行等间隔采样，每个周期采样四次，在其他的具体实施方式中，还可以每个周期采样两次或三次。

具体的，采用四相位法计算所述深度图像的相位的计算公式为：

phase＝arctan((Q₃-Q₄)/(Q₁-Q₂))

其中，Q1为相位延时为0°时的原始相位数据，Q2为相位延时为90°时的原始相位数据，Q3为相位延时为180°时的原始相位数据，Q4为相位延时为270°时的原始相位数据。在其他的具体实施方式中，还可以采用二相位法或三相位法计算所述深度图像的相位。

由于光波形以及像素自身因素，计算相位会带有各个方面引入的误差，因此需要进行相位校正。作为一具体实施例，对相位数据进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校正、温度误差补偿，从而得到校准后的相位数据，以提高相位计算的精准度。

具体的，将当前双频功能的开关状态以及调制频率状态打包加载到原始数据包尾中，如附图3A所示。附图3A中，标号31示意原始数据(Raw Data)，标号32示意包尾(footer)，也即将当前双频功能的开关状态以及调制频率状态打包加载至的位置。

参考步骤S22，通过双频测量并根据预先建立的混叠周期查找表，确定混叠周期。作为一具体实施例，所述的确定混叠周期的步骤进一步包括如下步骤：1)预先建立查找参数lut_idx与混叠周期n₁一一对应的混叠周期查找表Lut；其中，Lut[lut_idx]＝n₁(n₁∈[0，M₁))；2)实际计算时，通过双频测量中的第一调制频率f₁与对应的第一测量相位

以及第二调制频率f₂与对应的第二测量相位

获取查找参数lut_idx；以及3)根据所述查找参数lut_idx查找所述混叠周期查找表Lut，确定混叠周期n₁。具体的，第一调制频率f₁为高频频率(频率高于预设阈值)，第二调制频率f2为低频频率(频率低于预设阈值)。

作为一具体实施例，查找参数与混叠周期的对应关系为：

lut_idx＝mod(n₁*M₂，M₁)，

其中，M₁＝f₁/(gcd(f₁，f₂))，M₂＝f₂/(gcd(f₁，f₂))，

lut_idx为查找参数，n₁为混叠周期且n₁∈[0，M₁)，f₁为第一调制频率；f₂为第二调制频率。通过预先建立混叠周期查找表、根据查找参数查找混叠周期的方式，减少了双频状态下计算混叠周期的计算量，降低功耗。

作为一具体实施例，在确定混叠周期后，进一步包括如下步骤：在双频功能开启状态下，将所述混叠周期存储为参考帧。所述参考帧存储于原始数据包中。双频关闭状态下，根据参考帧的有无判断混叠周期，即参考帧存在时，混叠周期通过缓存的前一帧的混叠周期确定混叠周期；参考帧为空时，混叠周期为0。

参考步骤S23，根据所述混叠周期以及所述相位数据获取深度数据。作为一具体实施例，所述的根据所述混叠周期以及所述相位数据获取深度数据的步骤进一步包括：

根据如下公式计算深度：

其中，n₁为第一调制频率f₁对应的混叠周期，

为第一调制频率f₁对应的测量相位，d_max1＝(c/2)*(1/f₁)。

作为一具体实施例，在双频状态开启时，计算深度通过查找表查找混叠周期。在双频功能关闭时，计算深度通过参考帧来获取混叠周期。当存在参考帧时，通过缓存的前一帧的混叠周期确定混叠周期；当参考深度为空时，混叠周期为0，直接计算深度。通过建立参考帧获取混叠周期的方式，减少了混叠周期的计算量，降低功耗。

参考步骤S24，根据所述深度数据，控制双频功能开启以重新确定混叠周期，或控制双频功能关闭。作为一具体实施例，所述的根据所述深度数据，控制双频功能开启以重新确定混叠周期，或控制双频功能关闭的步骤进一步包括：1)根据预定栈数对深度图像的最大范围进行划分、并统计所述深度图像的每一帧中每个栈所包含深度的总数值，形成深度直方图，如图3B所示，其中，横轴坐标为bin值，纵轴坐标为当前bin值所包含的深度图像的个数(个数为图示坐标值乘以10⁴)；2)计算所述深度图像的前n帧中对应的每一栈所包含深度的总数值的平均值avg₁，avg₂，……，avg_m，其中，m为所述深度的最大范围所划分处的栈数；3)计算当前帧中每个栈的总数值bin₁，bin₂，……，bin_m与所述平均值avg₁，avg₂，……，avg_m的差值diff₁，diff₂，……，diff_m；将差值求和，即sum(diff₁+diff₂+…diff_m)；以及4)若所述和大于一预设阈值，则控制双频功能开启，否则控制双频功能关闭。若所述和大于一预设阈值，表示当前帧像素深度波动较大，则控制双频功能开启，重新确定混叠周期；若所述和小于或等于预设阈值，表示当前帧像素深度波动较小，控制双频功能关闭，减少系统开销。作为一种具体实施方式，所述预设阈值默认为16，可由用户设定。

附图4A所示为本发明所述iToF相机去混叠方法的具体实施方式的双频开启时数据流示意图。图中以带箭头的黑色实线表示数据流向，带箭头的黑色虚线表示数据不流通。双频开启时，根据原始数据获取相位数据。双频相位数据分别进行高频相位校正和低频相位校正，得到校正后的高频相位和低频相位。根据正后的高频相位和低频相位查找预先建立的混叠周期查找表，确定混叠周期。通过混叠周期获取深度数据，同时将混叠周期存为参考帧。在输出深度数据的同时，根据深度数据形成深度直方图，通过直方图分析当前画面波动，并根据画面波动大小输出开关闭双频的指令。

附图4B所示为本发明所述iToF相机去混叠方法的具体实施方式的双频开关闭时数据流示意图。图中以带箭头的黑色实线表示数据流向，带箭头的黑色虚线表示数据不流通。双频关闭时，根据原始数据获取相位数据。对高频相位数据进行高频相位校正，得到校正后的高频相位。根据双频开启时存储的参考帧获取真实相位，并根据真实相位获取深度数据。在输出深度数据的同时，根据深度数据形成深度直方图，通过直方图分析当前画面波动，并根据画面波动大小输出开关闭双频的指令。

基于同一发明构思，本发明还提供了一种iToF相机去混叠系统。

附图5所示为所述iToF相机去混叠系统的一具体实施例的示意图。本实施例所述iToF相机去混叠系统50包括：相位数据获取模块51，用于采用多相位法根据iToF相机采集的原始数据获取相位数据；混叠周期获取模块52，用于通过双频测量并根据预先建立的混叠周期查找表确定混叠周期；深度数据获取模块53，用于根据所述混叠周期以及所述相位数据获取深度数据；双频开关控制模块54，用于根据所述深度数据控制双频功能开启以重新确定混叠周期或控制双频功能关闭。

作为一种具体实施方式，系统工作时，相位数据获取模块51可以根据iToF相机采集的原始数据，并根据多相位法计算相位。双频开启状态下，混叠周期获取模块52根据双频测量所得的相位，以及预建立的查找表查找确定对应的混叠周期，并将所述混叠周期作为参考帧存储到原始数据包中；双频关闭状态下，混叠周期获取模块52根据参考帧的有无判断混叠周期，即参考帧存在时，混叠周期通过缓存的前一帧的混叠周期确定混叠周期；参考帧为空时，混叠周期为0，直接计算深度。确定混叠周期后，深度数据获取模块53根据所述混叠周期以及所述相位数据获取深度数据。通过获取的深度数据进行数据分析，建立深度直方图，通过直方图的波动判断像素深度波动大小，并通过双频开关控制模块54控制双频功能开启状态。当像素深度波动大时，开启双频重新确定混叠周期，当像素深度波动小时，关闭双频，以减少系统开销。

基于同一发明构思，本发明还提供了一种电子设备。

附图6所示为本发明所述电子设备的一实施例的示意图。本实施例所述电子设备100包括存储器101、处理器102及存储在所述存储器101上并可在所述处理器102上运行的计算机可执行程序。其中所述处理器102述计算机可执行程序时实现如图2所述的iToF相机去混叠方法的步骤，详见前文描述，此处不再赘述。

需要说明的是，本发明的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含。术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，除非上下文有明确指示，应该理解这样使用的数据在适当情况下可以互换。另外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。此外，在以上说明中，省略了对公知组件和技术的描述，以避免不必要地混淆本发明的概念。上述各个实施例中，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同/相似的部分互相参见即可。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种iToF相机去混叠方法，其特征在于，包括如下步骤：

采用多相位法根据iToF相机采集的原始数据获取相位数据；

通过双频测量并根据预先建立的混叠周期查找表，确定混叠周期；

根据所述混叠周期以及所述相位数据获取深度数据；以及

根据所述深度数据，控制双频功能开启以重新确定混叠周期，或控制双频功能关闭。

2.根据权利要求1所述的方法，其特征在于，所述的获取相位数据的步骤进一步包括：

采用四相位法通过不同相位的原始数据计算出相位数据，并对所述相位数据进行校正；以及

将当前双频功能的开关状态以及调制频率状态打包加载到原始数据包尾中。

3.根据权利要求1所述的方法，其特征在于，所述的确定混叠周期的步骤进一步包括如下步骤：

预先建立查找参数与混叠周期一一对应的混叠周期查找表；

通过双频测量中的第一调制频率与对应的第一测量相位以及第二调制频率与对应的第二测量相位获取查找参数；以及

根据所述查找参数查找所述混叠周期查找表，确定混叠周期。

4.根据权利要求3所述的方法，其特征在于，查找参数与混叠周期的对应关系为：

lut_idx＝mod(n₁*M₂，M₁)，

其中，M₁＝f₁/(gcd(f₁，f₂))，M₂＝f₂/(gcd(f₁，f₂))，

lut_idx为查找参数，n₁为混叠周期且n₁∈[0，M₁)，f₁为第一调制频率；f₂为第二调制频率。

5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：在双频功能开启状态下，将所述混叠周期存储为参考帧。

6.根据权利要求1所述的方法，其特征在于，所述的根据所述混叠周期以及所述相位数据获取深度数据的步骤进一步包括：

根据如下公式计算深度：

其中，n₁为第一调制频率对应的混叠周期，

为第一调制频率对应的测量相位，d_max1＝c/2*1/f₁。

7.根据权利要求1所述的方法，其特征在于，在双频功能关闭时，当存在参考帧时，通过缓存的前一帧的混叠周期确定混叠周期；当参考帧为空时，混叠周期为0。

8.根据权利要求1所述的方法，其特征在于，所述的根据所述深度数据，控制双频功能开启以重新确定混叠周期，或控制双频功能关闭的步骤进一步包括：

根据预定栈数对深度图像的最大范围进行划分、并统计所述深度图像的每一帧中每个栈所包含深度的总数值，形成深度直方图；

计算所述深度图像的前n帧中对应的每一栈所包含深度的总数值的平均值avg₁，avg₂，……，avg_m，其中，m为所述深度的最大范围所划分处的栈数；计算当前帧中每个栈的总数值bin₁，bin₂，……，bin_m与所述平均值avg₁，avg₂，……，avg_m的差值diff₁，diff₂，……，diff_m；

将差值求和；以及

若所述和大于一预设阈值，则控制双频功能开启，否则控制双频功能关闭。

9.一种iToF相机去混叠系统，其特征在于，包括：

相位数据获取模块，用于采用多相位法根据iToF相机采集的原始数据获取相位数据；

混叠周期获取模块，用于通过双频测量并根据预先建立的混叠周期查找表、确定混叠周期；

深度数据获取模块，用于根据所述混叠周期以及所述相位数据获取深度数据；

双频开关控制模块，用于根据所述深度数据控制双频功能开启以重新确定混叠周期或控制双频功能关闭。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序，其特征在于，所述处理器执行所述计算机可执行程序时实现如权利要求1～8任一项所述的iToF相机去混叠方法的步骤。