CN113760539A - 一种tof相机深度数据处理方法、终端以及存储介质 - Google Patents

一种tof相机深度数据处理方法、终端以及存储介质 Download PDF

Info

Publication number
CN113760539A
CN113760539A CN202110866298.4A CN202110866298A CN113760539A CN 113760539 A CN113760539 A CN 113760539A CN 202110866298 A CN202110866298 A CN 202110866298A CN 113760539 A CN113760539 A CN 113760539A
Authority
CN
China
Prior art keywords
frequency
low
distance
terminal
frequency phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110866298.4A
Other languages
English (en)
Inventor
贺荣峰
廖鑫
王文熹
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Shixi Technology Co Ltd
Original Assignee
Zhuhai Shixi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Shixi Technology Co Ltd filed Critical Zhuhai Shixi Technology Co Ltd
Priority to CN202110866298.4A priority Critical patent/CN113760539A/zh
Publication of CN113760539A publication Critical patent/CN113760539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种TOF相机深度数据处理方法、终端以及存储介质，能够提升数据的处理效率。本申请方法包括：终端通过CPU控制TOF相机模组进行发射和接收信号，得到原始相位图；终端通过CPU对原始相位图进行解码，得到预设数量的高频相位图以及低频相位图；终端通过CPU将高频相位图以及低频相位图传输至NPU；终端通过NPU对高频相位图以及低频相位图进行标定补偿，得到低频相位差以及高频相位差；终端通过NPU对低频相位差以及高频相位差分别进行计算，得到低频距离以及高频距离；终端通过NPU对低频距离以及高频距离进行融合得到融合距离，并将融合距离转换为深度图输出值CPU。

Description

一种TOF相机深度数据处理方法、终端以及存储介质
技术领域
本申请涉及数据处理领域，尤其涉及一种TOF相机深度数据处理方法、终端以及存储介质。
背景技术
3D视觉信息处理是计算机视觉领域未来的发展方向，TOF是一种通过发射主动光，利用入射光信号与反射光信号之间的差异进行测距的3D相机。通过对TOF相机采集的数据进行计算得到的深度图通常含有噪声，为了消除噪声需要对深度图进行降噪滤波。这些必将带来额外的算力消耗。嵌入式处理器以其开发成本低、应用灵活、设计周期短、集成度高等特点，被应用在各行各业中，当前嵌入式处理器发展迅速，软硬件平台的性能和数据通信速度都有了很大的提升，使得嵌入式微处理器用于视觉图像处理应用越来越广泛。
嵌入式视觉系统通常将图像采集、图像传输放在嵌入式CPU中，图像处理部分放在DSP芯片中。嵌入式NPU即嵌入式神经网络处理器，作为一种主要采用ASIC技术的专用嵌入式神经网络芯片，通过特殊的硬件设计模拟神经网络，克服了CPU和GPU在深度学习中的固有缺点，大大提高了深度学习芯片的运算速度。
常见的高速TOF深度计算架构通常基于一颗集成了嵌入式CPU和DSP的SOC芯片实现，但并不是所有SOC上都集成了DSP。例如，有的SOC上只集成了嵌入式CPU和NPU，采用纯CPU计算方案在进行TOF相机深度数据的处理时效率较低，难以满足实时性的性能需求。
发明内容
为了解决上述技术问题，本申请提供了一种TOF相机深度数据处理方法、终端以及存储介质。
本申请第一方面提供了一种TOF相机深度数据处理方法，所述方法包括：
终端通过CPU控制TOF相机模组进行发射和接收信号，得到原始相位图；
所述终端通过所述CPU对所述原始相位图进行解码，得到预设数量的高频相位图以及低频相位图；
所述终端通过所述CPU将所述高频相位图以及所述低频相位图传输至NPU；
所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行标定补偿，得到低频相位差以及高频相位差；
所述终端通过所述NPU对所述低频相位差以及所述高频相位差分别进行计算，得到低频距离以及高频距离；
所述终端通过所述NPU对所述低频距离以及所述高频距离进行融合得到融合距离，并将所述融合距离转换为深度图输出值所述CPU。
可选的，所述终端通过所述NPU对所述低频距离以及所述高频距离进行融合得到融合距离包括：
所述终端分别将所述低频距离以及所述高频距离与理论建模得到的距离进行比对；
所述终端根据比对结果对所述低频距离以及所述高频距离进行修正；
所述终端计算修正后的高频距离以及修正后的低频距离的均值距离，将所述均值距离确定为融合距离。
可选的，所述终端通过所述CPU对所述原始相位图进行解码包括：
所述终端通过所述CPU通过所述TOF相机模组获取到4张原始相位图；
所述终端通过所述CPU分别将所述4张原始相位图中每一张对应的0度、90度、108度、270度的相位图提取出，得到8张高频相位图以及8张低频相位图。
可选的，在所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行标定补偿之前，所述方法还包括：
所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行固定噪声消噪处理。
可选的，所述高频相位图以及所述低频相位图中均包含有相同采样视窗下的Shuffle相位图和非Shuffle相位图，所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行固定噪声消噪处理包括：
所述终端分别将所述高频相位图以及所述低频相位图中的Shuffle相位图和非Shuffle相位图进行叠加，以进行消噪处理。
可选的，在将所述融合距离转换为深度图输出至所述CPU之后，所述方法还包括：
所述终端通过所述CPU对所述深度图进行非线性滤波，对所述深度图进行消噪处理。
可选的，所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行标定补偿包括：
所述终端通过所述NPU对所述高频相位图以及所述低频相位图分别进行调制解调补偿、FPPN补偿、相位漂移补偿。
本申请第二方面提供了一种终端，所述终端包括：
控制单元，用于通过CPU控制TOF相机模组进行发射和接收信号，得到原始相位图；
解码单元，用于通过所述CPU对所述原始相位图进行解码，得到预设数量的高频相位图以及低频相位图；
第一传输单元，用于通过所述CPU将所述高频相位图以及所述低频相位图传输至NPU；
标定补偿单元，用于通过所述NPU对所述高频相位图以及所述低频相位图进行标定补偿，得到低频相位差以及高频相位差；
计算单元，用于通过所述NPU对所述低频相位差以及所述高频相位差分别进行计算，得到低频距离以及高频距离；
融合单元，用于通过所述NPU对所述低频距离以及所述高频距离进行融合得到融合距离，并将所述融合距离转换为深度图输出值所述CPU。
本申请第三方面提供了一种终端，所述终端包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供的TOF相机深度数据处方法中，
终端通过CPU来完成原始相位图解码的过程，并通过NPU来进行标定补偿以及距离的融合过程，该方法利用了不同算子在CPU和NPU上的计算效率，采用协同计算方法最大化利用了算力，相比纯CPU计算方案本方法计算效率更高，能获得更高的实时计算性能和精度。
附图说明
为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的TOF相机深度数据处理方法一个实施例流程示意图；
图2为本申请提供的TOF相机深度数据处理方法另一个实施例流程示意图；
图3为本申请中CPU和NPU协同工作的流程示意图；
图4为本申请中ARM使用NPU的流程示意图；
图5为本申请中提供的终端的一个实施例结构示意图；
图6为本申请中提供的终端的另一个实施例结构示意图。
具体实施方式
3D视觉信息处理是计算机视觉领域未来的发展方向，TOF(time of flight)是一种通过发射主动光，利用入射光信号与反射光信号之间的差异进行测距的3D相机。虽然相比其它种类的深度相机，TOF相机拥有诸多优势，但仍会受噪声影响导致测距精度下降。这就意味着通过TOF相机采集的原始信号量计算深度时需要进行必要的标定与补偿。连续波调制TOF通过发射连续调制载波信号，根据该调制信号在待测点往返一次所形成的相移得到待测点的距离。调制信号传播一个周期的距离，接收端测得的信号相位就延迟2Ω弧度，已知光速c，因此只要测得相移
Figure BDA0003187435410000051
就可以得到被测点距离。由于调制载波信号具有周期性，所以测量系统中的任何相位测量每隔2Ω会重复一次，这种单一调制频率的相位法测距会造成距离模糊现象。目前，消除距离模糊现象一般采用对同一被测点发射多种调制频率信号，再将多频结算的距离融合得到正确的距离。计算得到的深度图通常含有噪声，为了消除噪声需要对深度图进行降噪滤波。这些必将带来额外的算力消耗。
嵌入式处理器以其开发成本低、应用灵活、设计周期短、集成度高等特点，被应用在各行各业中，当前嵌入式处理器发展迅速，软硬件平台的性能和数据通信速度都有了很大的提升，使得嵌入式微处理器用于视觉图像处理应用越来越广泛。随着信息化、智能化的发展背景下，视觉算法越来越复杂，这对单纯的嵌入式CPU处理提出了挑战。基于成本和性能的考虑，嵌入式视觉系统通常将图像采集、图像传输放在嵌入式CPU中，图像处理部分放在DSP芯片中。
随着深度学习技术的兴起和快速发展，各个应用领域对算力提出愈来愈高的要求，传统的芯片架构无法满足深度学习对算力的需求，因此能够加速计算处理的人工智能芯片应运而生，广泛应用于图像、语音、数据等各领域。嵌入式NPU即嵌入式神经网络处理器，作为一种主要采用ASIC技术的专用嵌入式神经网络芯片，通过特殊的硬件设计模拟神经网络，克服了CPU和GPU在深度学习中的固有缺点，大大提高了深度学习芯片的运算速度，但NPU的应用场景，不局限于部署神经网络。由于NPU设计之初在底层对基础算子做了硬件加速同时通过对全网络进行量化加速。在精度方面采用混合精度技术，在保持比较高精度的基础上，减少内存带宽。在工程方面，市场上多数NPU芯片支持部署Tensorflow、Caffe等机器学习框架导出的模型，仅需对模型做少量修改，这给开发人员也提供了极大的便利并降低了NPU开发的门槛。
常见的高速TOF深度计算架构通常基于一颗集成了嵌入式CPU和DSP的SOC芯片实现，但考虑成本因素并不是所有SOC上都集成了DSP。例如，有的SOC上只集成了嵌入式CPU和NPU，采用纯CPU计算方案不但无法满足高实时性的要求，也未能利用上NPU的算力。本发明通过评估NPU在某些算子上的计算优势，可以使用Tensorflow框架生成一张描述TOF相机标定补偿和深度计算流程的计算图或模型，将模型部署至嵌入式NPU上加速计算。当然不同芯片供应商提供的NPU也可能存在某些其不擅长处理的计算，如非线性运算，这与芯片供应商针对芯片的硬件软件设计有关。将这类NPU计算较低效的流程转交由CPU完成，充分利用CPU和NPU的算力完成高实时性高精度的深度计算，相对DSP方案也有低成本的优势。
需要说明的是，本申请提供的TOF相机深度数据处理方法，可以应用于终端也可以应用于系统，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。
请参阅图1、图3以及图4，图3展示了CPU与NPU协同工作的流程，图4是ARM使用NPU流程图，图1为本申请提供的TOF相机深度数据处理方法一个实施例流程示意图，该TOF相机深度数据处理方法包括：
101、终端通过CPU控制TOF相机模组进行发射和接收信号，得到原始相位图；
通过CPU对TOF相机模组的驱动和控制，采集得到原始相位图。
102、终端通过CPU对原始相位图进行解码，得到预设数量的高频相位图以及低频相位图；
终端通过CPU对原始相位进行解码，根据TOF相机模组的工作模式不同，解码得到的相位图也不同，例如：单频不带Shuffle模式输出1张相位图；单频带Shuffle模式输出2张相位图，其中包括一张不带Shuffle的相位图和一张带Shuffle的相位图；双频不带Shuffle模式输出2张相位图，其中高频和低频各1张相位图；双频带Shuffle模式输出4张相位图，其中高频和低频各2张相位图，其中包括一张不带Shuffle的相位图和一张带Shuffle的相位图。
当采用双频shuffle模式时，对原始相位图的解码方法可以是终端通过CPU通过TOF相机模组获取到4张原始相位图，终端通过CPU分别将4张原始相位图中每一张对应的0度、90度、108度、270度的相位图提取出，得到8张高频相位图以及8张低频相位图，具体例如：若TOF模组工作在双频Shuffle模式，则一共需要对接收到4张原始相位图进行解码，分别为高频Shuffle、高频NoShuffle、低频Shuffle以及低频NoShuffle。Shuffle和NoShuffle的原始相位图中一个正弦波排布分别为
Figure BDA0003187435410000071
和
Figure BDA0003187435410000072
使用ARM NEON技术快速将每张原始相位图0度、90度、108度、270度四个相位抽出，得到输入到NPU的16张解码后的相位图。
103、终端通过CPU将高频相位图以及低频相位图传输至NPU；
终端将高频相位图以及低频相位图传输至NPU进行处理，在传输之前，可以将高频相位图以及低频相位图转换为NPU可以识别的张量数据结构。
104、终端通过NPU对高频相位图以及低频相位图进行标定补偿，得到低频相位差以及高频相位差；
终端通过NPU对高频相位图以及低频相位图进行标定补偿，以进行消噪处理，其中标定补偿包括：固定噪声补偿、调制解调信号失真补偿、FPPN标定补偿以及相位漂移补偿。
终端通过NPU对高频相位图以及低频相位图进行固定噪声消噪处理的具体过程可以是，固定噪声是由环境光、复位电压等引起的固定偏差，在计算相位差过程中利用TOF相机模组在不同采样窗口下多次采样的差值并将Shuffle模式下和非Shuffle模式下的相位进行相加便可抵消掉部分固定噪声；
具体例如：将2个频率下相同采样窗口下的Shuffle相位图和不带Shuffle相位图进行相加以消除部分固定噪声：
Q1(i，j)＝NoShuffle0(i，j)+Shuffle0(i，j)
Q2(i，j)＝NoShuffle90(i，j)+Shuffle90(i，j)
Q3(i，j)＝NoShuffle180(i，j)+Shuffle180(i，j)
Q4(i，j)＝NoShuffle270(i，j)+Shuffle270(i，j)
其中i、j表示对应原点在左上角的像素坐标系中的横轴坐标与纵轴坐标。
由此计算得到8张原始相位图(高频和低频各4张)，Q1、Q2、Q3、Q4对应0°、90°、180°、270°这4个采样窗口下消除了部分固定噪声的相位。
由下式得到相位差，并将相位差归到区间[0，2π]：
Figure BDA0003187435410000081
Figure BDA0003187435410000082
其中φ表示相位差，φ0表示[0，2π]区间内的相位差。
在调制解调信号失真方面，由于环境中存在多次发射的波形，所以在解调时会受四阶谐波的影响，可通过标定方式对每个像素进行一次线性度补偿可消除这种误差；
具体例如：通过下述式子对每个频率每个像素的相位差，计算调制解调补偿(Wiggling Error)：
φ1(i，j)＝φ0(i，j)+WigglingError(i，j)
四阶谐波误差公式如下：
WigglingError＝a1·cos(2φ)+a2·sin(2φ)+a3·cos(4φ)+a4·sin(4φ)+a5
其中a1、a2、a3、a4、a5为拟合系数，φ为每个像素点对应的相位差。
FPPN(Fixed Pattern Pixel Noise)，或也有称之为Pixel Dependent Offset。因为TOF芯片上每个像素点所处的位置不一样，其次采集图像时存在快门延迟等原因，所以导致像素点计算得到的相位差有误差。同样，可通过标定方式对每个像素进行一次线性度补偿消除FPPN误差；
对每个频率每个像素的相位差，计算FPPN补偿：
φ2(i，j)＝φ1(i，j)+FPPN
相位漂移可理解为线性拟合函数中的偏移常量，直接在相位上加上此常量即可消除相位漂移。
对每个频率每个像素的相位差，补偿相位漂移，并将补偿后的相位差再次归到区间[0，2π]：
φ3(i，j)＝φ2(i，j)+offset
Figure BDA0003187435410000091
105、终端通过NPU对低频相位差以及高频相位差分别进行计算，得到低频距离以及高频距离；
NPU将补偿后的低频相位差和高频相位差分别计算出低频模式下测量出的低频距离和高频模式下测量出的高频距离，对两个频率下测量出的距离进行融合，最终NPU将融合后的融合距离转换为深度图输出到CPU。
具体例如：利用下式通过相位差计算出每个频率下的距离：
Figure BDA0003187435410000092
其中c为光速，f为调制频率，即将相位差乘以一个固定系数k可得到距离，不同频率下k的取值不同。
106、终端通过NPU对低频距离以及高频距离进行融合得到融合距离，并将融合距离转换为深度图输出值CPU。
计算融合距离的其中一个可能实现的方式是，分别将低频距离以及高频距离与理论建模得到的距离进行比对；根据比对结果对低频距离以及高频距离进行修正；计算修正后的高频距离以及修正后的低频距离的均值距离，将均值距离确定为融合距离。具体例如：根据低频和高频下测量出的距离，与理论建模得出的距离进行对比，计算出每个频率下跨越的周期数，最后距离取2个频率补正后的距离的均值。
将融合后的距离转换为深度，并将其输出：
Figure BDA0003187435410000101
其中，fx、cx、cy为相机内参，depth(i，j)对应像素深度，distance(i，j)表示对应像素距离。
终端通过CPU来完成原始相位图解码的过程，并通过NPU来进行标定补偿以及距离的融合过程，该方法利用了不同算子在CPU和NPU上的计算效率，采用协同计算方法最大化利用了算力，相比纯CPU计算方案本方法计算效率更高，能获得更高的实时计算性能和精度。
在实际应用中，终端还可以通过CPU对深度图进行非线性滤波，对深度图进行消噪处理，下面将结合附图进行说明。
请参阅图2以及图3，图3展示了CPU与NPU协同工作的流程，图2为本申请中提供的TOF相机深度数据处理方法的一个实施例流程示意图，该实施例包括：
201、终端通过CPU控制TOF相机模组进行发射和接收信号，得到原始相位图；
202、终端通过CPU对原始相位图进行解码，得到预设数量的高频相位图以及低频相位图；
203、终端通过CPU将高频相位图以及低频相位图传输至NPU；
204、终端通过NPU对高频相位图以及低频相位图进行标定补偿，得到低频相位差以及高频相位差；
205、终端通过NPU对低频相位差以及高频相位差分别进行计算，得到低频距离以及高频距离；
206、终端通过NPU对低频距离以及高频距离进行融合得到融合距离，并将融合距离转换为深度图输出值CPU；
本实施例中步骤201至步骤206与前述实施例中步骤101至步骤106类似，此处不再赘述。
207、终端通过CPU对深度图进行非线性滤波，以对深度图进行消噪处理。
本实施例中对深度图进行非线性滤波其中一个可能的实施方式如下：
首先行处理，遍历当前计算出的深度值点的行方向前3个点和后3个点的值是否大于最大距离值，小于最小距离值，统计个数，若个数超过设置阈值，则为无效点，深度值设置为0；然后列处理，方法与行处理相同，最后得到滤波后的图像。
本实施例中，终端通过CPU完成NPU不太擅长的非线性滤波，以消除图像上的噪点，能够提升处理效率。
上述实施例对本申请中提供的TOF深度数据处理方法进行了详细阐述，下面将结合附图对本申请中提供的终端以及存储介质进行阐述。
请参阅图5，图5为本申请中提供的终端的一个实施例结构示意图，该实施例包括：
控制单元501，用于通过CPU控制TOF相机模组进行发射和接收信号，得到原始相位图；
解码单元502，用于通过CPU对原始相位图进行解码，得到预设数量的高频相位图以及低频相位图；
第一传输单元503，用于通过CPU将高频相位图以及低频相位图传输至NPU；
标定补偿单元504，用于通过NPU对高频相位图以及低频相位图进行标定补偿，得到低频相位差以及高频相位差；
计算单元505，用于通过NPU对低频相位差以及高频相位差分别进行计算，得到低频距离以及高频距离；
融合单元506，用于通过NPU对低频距离以及高频距离进行融合得到融合距离，并将融合距离转换为深度图输出值CPU。
可选的，融合单元506具体用于：
分别将低频距离以及高频距离与理论建模得到的距离进行比对；
根据比对结果对低频距离以及高频距离进行修正；
计算修正后的高频距离以及修正后的低频距离的均值距离，将均值距离确定为融合距离。
可选的，解码单元502具体用于：
通过CPU通过TOF相机模组获取到4张原始相位图；
通过CPU分别将4张原始相位图中每一张对应的0度、90度、108度、270度的相位图提取出，得到8张高频相位图以及8张低频相位图。
可选的，终端还包括固定消噪单元507，固定消噪单元507用于：
通过NPU对高频相位图以及低频相位图进行固定噪声消噪处理。
可选的，高频相位图以及低频相位图中均包含有相同采样视窗下的Shuffle相位图和非Shuffle相位图，固定消噪单元507具体用于：
分别将高频相位图以及低频相位图中的Shuffle相位图和非Shuffle相位图进行叠加，以进行消噪处理。
可选的，非线性滤波单元508，非线性滤波单元508用于：
通过CPU对深度图进行非线性滤波，以对深度图进行消噪处理。
请参阅图6，图6为本申请中提供的终端的一个实施例结构示意图，该实施例包括：
处理器601、存储器602、输入输出单元603、总线604；
处理器601与存储器602、输入输出单元603以及总线604相连；
存储器602保存有程序，处理器601调用程序以执行如上任一TOF相机深度数据处理方法方法。
本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一TOF相机深度数据处理方法方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种TOF相机深度数据处理方法，其特征在于，所述方法包括：
终端通过CPU控制TOF相机模组进行发射和接收信号，得到原始相位图；
所述终端通过所述CPU对所述原始相位图进行解码，得到预设数量的高频相位图以及低频相位图；
所述终端通过所述CPU将所述高频相位图以及所述低频相位图传输至NPU；
所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行标定补偿，得到低频相位差以及高频相位差；
所述终端通过所述NPU对所述低频相位差以及所述高频相位差分别进行计算，得到低频距离以及高频距离；
所述终端通过所述NPU对所述低频距离以及所述高频距离进行融合得到融合距离，并将所述融合距离转换为深度图输出值所述CPU。
2.根据权利要求1中所述的TOF相机深度数据处理方法，其特征在于，所述终端通过所述NPU对所述低频距离以及所述高频距离进行融合得到融合距离包括：
所述终端分别将所述低频距离以及所述高频距离与理论建模得到的距离进行比对；
所述终端根据比对结果对所述低频距离以及所述高频距离进行修正；
所述终端计算修正后的高频距离以及修正后的低频距离的均值距离，将所述均值距离确定为融合距离。
3.根据权利要求1中所述的TOF相机深度数据处理方法，其特征在于，所述终端通过所述CPU对所述原始相位图进行解码包括：
所述终端通过所述CPU通过所述TOF相机模组获取到4张原始相位图；
所述终端通过所述CPU分别将所述4张原始相位图中每一张对应的0度、90度、108度、270度的相位图提取出，得到8张高频相位图以及8张低频相位图。
4.根据权利要求1中所述的TOF相机深度数据处理方法，其特征在于，在所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行标定补偿之前，所述方法还包括：
所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行固定噪声消噪处理。
5.根据权利要求4中所述的TOF相机深度数据处理方法，其特征在于，所述高频相位图以及所述低频相位图中均包含有相同采样视窗下的Shuffle相位图和非Shuffle相位图，所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行固定噪声消噪处理包括：
所述终端分别将所述高频相位图以及所述低频相位图中的Shuffle相位图和非Shuffle相位图进行叠加，以进行消噪处理。
6.根据权利要求1至5中任一项所述的TOF相机深度数据处理方法，其特征在于，在将所述融合距离转换为深度图输出至所述CPU之后，所述方法还包括：
所述终端通过所述CPU对所述深度图进行非线性滤波，以对所述深度图进行消噪处理。
7.根据权利要求1至5中任一项所述的TOF相机深度数据处理方法，其特征在于，所述终端通过所述NPU对所述高频相位图以及所述低频相位图进行标定补偿包括：
所述终端通过所述NPU对所述高频相位图以及所述低频相位图分别进行调制解调补偿、FPPN补偿以及相位漂移补偿。
8.一种终端，其特征在于，所述终端包括：
控制单元，用于通过CPU控制TOF相机模组进行发射和接收信号，得到原始相位图；
解码单元，用于通过所述CPU对所述原始相位图进行解码，得到预设数量的高频相位图以及低频相位图；
第一传输单元，用于通过所述CPU将所述高频相位图以及所述低频相位图传输至NPU；
标定补偿单元，用于通过所述NPU对所述高频相位图以及所述低频相位图进行标定补偿，得到低频相位差以及高频相位差；
计算单元，用于通过所述NPU对所述低频相位差以及所述高频相位差分别进行计算，得到低频距离以及高频距离；
融合单元，用于通过所述NPU对所述低频距离以及所述高频距离进行融合得到融合距离，并将所述融合距离转换为深度图输出值所述CPU。
9.一种终端，其特征在于，所述终端包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至7任一项所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至7中任一项所述方法。
CN202110866298.4A 2021-07-29 2021-07-29 一种tof相机深度数据处理方法、终端以及存储介质 Pending CN113760539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110866298.4A CN113760539A (zh) 2021-07-29 2021-07-29 一种tof相机深度数据处理方法、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110866298.4A CN113760539A (zh) 2021-07-29 2021-07-29 一种tof相机深度数据处理方法、终端以及存储介质

Publications (1)

Publication Number Publication Date
CN113760539A true CN113760539A (zh) 2021-12-07

Family

ID=78788190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110866298.4A Pending CN113760539A (zh) 2021-07-29 2021-07-29 一种tof相机深度数据处理方法、终端以及存储介质

Country Status (1)

Country Link
CN (1) CN113760539A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309763A (zh) * 2023-02-17 2023-06-23 珠海视熙科技有限公司 Tof相机深度的计算方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180011195A1 (en) * 2016-07-07 2018-01-11 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
CN109816735A (zh) * 2019-01-24 2019-05-28 哈工大机器人（合肥）国际创新研究院 一种快速标定及校正方法及其tof相机
CN109903241A (zh) * 2019-01-31 2019-06-18 武汉市聚芯微电子有限责任公司 一种tof相机系统的深度图像校准方法及系统
US20190208181A1 (en) * 2016-06-10 2019-07-04 Lucid VR, Inc. Digital Camera Device for 3D Imaging
CN110320528A (zh) * 2019-06-14 2019-10-11 深圳奥比中光科技有限公司 时间深度相机及多频调制解调的降低噪声的距离测量方法
CN110456331A (zh) * 2019-08-30 2019-11-15 深圳奥比中光科技有限公司 一种tof相机的标定装置和标定方法
CN111508011A (zh) * 2020-04-16 2020-08-07 北京深测科技有限公司 一种飞行时间相机的深度数据校准方法
CN111538024A (zh) * 2020-03-24 2020-08-14 深圳奥比中光科技有限公司 一种滤波ToF深度测量方法及装置
CN111708039A (zh) * 2020-05-24 2020-09-25 深圳奥比中光科技有限公司 一种深度测量装置、方法及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190208181A1 (en) * 2016-06-10 2019-07-04 Lucid VR, Inc. Digital Camera Device for 3D Imaging
US20180011195A1 (en) * 2016-07-07 2018-01-11 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
CN109816735A (zh) * 2019-01-24 2019-05-28 哈工大机器人（合肥）国际创新研究院 一种快速标定及校正方法及其tof相机
CN109903241A (zh) * 2019-01-31 2019-06-18 武汉市聚芯微电子有限责任公司 一种tof相机系统的深度图像校准方法及系统
CN110320528A (zh) * 2019-06-14 2019-10-11 深圳奥比中光科技有限公司 时间深度相机及多频调制解调的降低噪声的距离测量方法
CN110456331A (zh) * 2019-08-30 2019-11-15 深圳奥比中光科技有限公司 一种tof相机的标定装置和标定方法
CN111538024A (zh) * 2020-03-24 2020-08-14 深圳奥比中光科技有限公司 一种滤波ToF深度测量方法及装置
CN111508011A (zh) * 2020-04-16 2020-08-07 北京深测科技有限公司 一种飞行时间相机的深度数据校准方法
CN111708039A (zh) * 2020-05-24 2020-09-25 深圳奥比中光科技有限公司 一种深度测量装置、方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
天津滨海迅腾科技集团有限公司: "《走进大数据与人工智能》", 31 August 2018, 天津大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309763A (zh) * 2023-02-17 2023-06-23 珠海视熙科技有限公司 Tof相机深度的计算方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109903241A (zh) 一种tof相机系统的深度图像校准方法及系统
CN110988849B (zh) 雷达系统的标定方法、装置、电子设备及存储介质
CN102289804B (zh) 通过合并方向传感器读数和图像配准估计实现3d视频稳定的系统和方法
KR101862914B1 (ko) 거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치
US20220114744A1 (en) Depth data filtering method and apparatus, electronic device, and readable storage medium
CN109788216B (zh) 用于tof的抗干扰方法、装置及tof传感器芯片
CN113607185B (zh) 车道线信息显示方法、装置、电子设备和计算机可读介质
CN110488311B (zh) 深度距离测量方法、装置、存储介质及电子设备
CN112927306B (zh) 拍摄装置的标定方法、装置及终端设备
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
CN113327318B (zh) 图像显示方法、装置、电子设备和计算机可读介质
CN110109133A (zh) 基于飞行时间的距离补偿方法和测距方法
CN113760539A (zh) 一种tof相机深度数据处理方法、终端以及存储介质
CN113436233A (zh) 自动驾驶车辆的配准方法、装置、电子设备和车辆
CN116182878A (zh) 道路曲面信息生成方法、装置、设备和计算机可读介质
CN110796604A (zh) 一种图像校正方法及装置
CN115667989A (zh) 深度图像处理方法及设备
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN113835107B (zh) 阵列卫星导航接收机的信号处理方法、装置及智能终端
CN114782574A (zh) 图像生成方法、人脸识别方法、装置、电子设备和介质
CN113052886A (zh) 一种采用双目原理的双tof相机深度信息获取方法
CN114697521A (zh) Tof相机运动模糊检测方法、系统、设备及存储介质
US20210400217A1 (en) Time-of-flight down-up sampling using a compressed guide
CN114488005A (zh) 蓝牙和可见光的融合定位方法、装置、系统、设备和介质
CN113711273A (zh) 移动量估计装置、移动量估计方法及移动量估计程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211207

RJ01 Rejection of invention patent application after publication