CN112037295B - 一种事件型ToF相机编解码方法、装置、介质及设备 - Google Patents
一种事件型ToF相机编解码方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN112037295B CN112037295B CN202010919221.4A CN202010919221A CN112037295B CN 112037295 B CN112037295 B CN 112037295B CN 202010919221 A CN202010919221 A CN 202010919221A CN 112037295 B CN112037295 B CN 112037295B
- Authority
- CN
- China
- Prior art keywords
- depth
- event
- amplitude
- coding
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 108091026890 Coding region Proteins 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 238000011084 recovery Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 21
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 239000002609 medium Substances 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000008358 core component Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请实施例公开了一种事件型ToF相机编解码方法、装置、介质及设备。该方法包括：获取ToF相机各像素点的测量值；根据所述测量值检测确定触发事件；对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码；根据得到的编码序列恢复原始事件，以得到原始深度图。通过采用本申请所提供的技术方案，通过对所有ToF深度相机信号特点的低运算复杂度事件编解码方案，满足数据传输带宽的需求，同时保证了幅值图和深度图复原质量要求。
Description
技术领域
本申请实施例涉及深度相机技术领域，尤其涉及一种事件型ToF相机编解码方法、装置、介质及设备。
背景技术
随着科技水平的快速发展，深度相机的应用越来越广泛。ToF深度相机因为其运算量小、精度高等特点逐渐脱颖而出。但是，根据成像原理上的差异，ToF深度相机又分为IToF(IndirectTime-of-Flight，间接测量光飞时间)相机和DToF(Direct Time-of-Flight，直接测量飞行时间)相机两类。IToF相机是通过发射幅度调制的连续波信号，对接收信号和相移后的参考信号做自相关，利用多次采样计算接收信号和发射信号之间的相位差，从而间接测量飞行时间差。DToF相机是发射调制的脉冲波信号，对每一个接收到的光信号计算其飞行时间，然后对曝光时间内的所有接收到的光子的飞行时间做直方图统计，找到峰值对应的时间，直接获得光飞行时间。
DToF和IToF虽然都是利用光飞行时间来测量深度，但是两类深度相机计算光飞行时间的方式不一致。DToF直接获取的是曝光时间内所有接收光子的飞行时间统计直方图，IToF则是将曝光时间内所有接收信号进行能量积分，获得多个采样控制信号，进而计算得到相位和幅值信号，可以表示成一个复信号。IToF相机虽然可以通过检测复信号的变化形成输出事件编码输出，但是这个事件检测方案不能够应用于DToF相机中，因为DToF相机不能输出相位和幅值表示的复信号。
因此传统ToF深度相机按帧传输的形式导致在高速运动场景能力有限，以及DToF深度相机和IToF相机在捕获信息上的差异，是本领域技术人员亟待解决的技术问题。
发明内容
本申请实施例提供一种事件型ToF相机编解码方法、装置、介质及设备，通过对所有ToF深度相机信号特点的低运算复杂度事件编解码方案，满足数据传输带宽的需求，同时保证了幅值图和深度图复原质量要求。
第一方面，本申请实施例提供了一种事件型ToF相机编解码方法，该方法包括：
获取ToF相机各像素点的测量值；
根据所述测量值检测确定触发事件；
对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码；
根据得到的编码序列恢复原始事件，以得到原始深度图。
进一步的，所述获取ToF相机各像素点的测量值，包括：
识别所述ToF相机的属性信息；
若所述属性信息为IToF相机，则根据连续波调制方式测相位偏移的原理，确定像素点的深度信息和幅值信息。
进一步的，在识别所述ToF相机的属性信息之后，所述方法还包括：
若所述属性信息为DToF相机，则根据光波飞行时间，确定像素点的深度信息，以及根据光电探测雪崩二极管接收到的光子数和发射的光脉冲信号确定幅值信息。
进一步的，根据所述测量值检测确定触发事件，包括：
分别对像素点的深度信息和幅值信息进行跟踪；
若检测到深度信息在当前时刻与初始时刻的差值大于预设深度阈值，则确定存在深度信息编码触发事件；以及，若检测到幅值信息在当前时刻与初始时刻的差值大于预设幅值阈值，则确定存在幅值信息编码触发事件。
进一步的，对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码，包括：
基于给定的运行时钟，对深度信息和幅值信息按照时钟周期进行检测；
采用预设规则，对检测结果进行编码。
进一步的，根据得到的编码序列恢复原始事件，以得到原始深度图，包括：
基于预设规则，对所述编码序列进行恢复得到原始事件；
进一步的，所述预设规则为2-bit编码表规则。
第二方面，本申请实施例还提供了一种在线事件型ToF相机编解码装置，该装置包括：
测量值获取模块，用于获取ToF相机各像素点的测量值；
触发事件确定模块，用于根据所述测量值检测确定触发事件；
编码模块，用于对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码；
原始深度图解码模块，用于根据得到的编码序列恢复原始事件，以得到原始深度图。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的事件型ToF相机编解码方法。
第四方面，本申请实施例提供了一种移动设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的事件型ToF相机编解码方法。
本申请实施例所提供的技术方案，获取ToF相机各像素点的测量值；根据所述测量值检测确定触发事件；对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码；根据得到的编码序列恢复原始事件，以得到原始深度图。通过采用本申请所提供的技术方案，通过对所有ToF深度相机信号特点的低运算复杂度事件编解码方案，满足数据传输带宽的需求，同时保证了幅值图和深度图复原质量要求。
附图说明
图1是本申请实施例提供的DToF单个像素点记录的光飞行时间直方图；
图2是本申请实施例提供的IToF成像原理示意图；
图3是本申请实施例提供的连续波调制方式测相位偏移原理示意图；
图4是本申请实施例一提供的事件型ToF相机编解码方法的流程图；
图5是本申请实施例一提供的不同深度-幅值下门限示意图；
图6是本申请实施例二提供的事件型ToF相机编解码装置的结构示意图；
图7是本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
首先，ToF深度相机原理如下：
事件编码的思想不仅能够应用于2D相机，在3D相机中也能适用。目前常见的深度相机中，ToF深度相机因为其运算量小、精度高等特点逐渐脱颖而出。但是，根据成像原理上的差异，ToF深度相机又分为IToF相机和DToF相机两类。IToF相机是通过发射幅度调制的连续波信号，对接收信号和相移后的参考信号做自相关，利用多次采样计算接收信号和发射信号之间的相位差，从而间接测量飞行时间差。DToF相机是发射调制的脉冲波信号，对每一个接收到的光信号计算其飞行时间，然后对曝光时间内的所有接收到的光子的飞行时间做直方图统计，找到峰值对应的时间，直接获得光飞行时间。
DToF，全称是DirectTime-of-Flight。顾名思义，DToF直接测量飞行时间。DToF核心组件包含VCSEL、单光子雪崩二极管SPAD和时间数字转换器TDC。SinglePhotonAvalanche Diode(SPAD)是一种具有单光子探测能力的光电探测雪崩二极管，只要有微弱的光信号就能产生电流。DToF模组的VCSEL向场景中发射脉冲波，SPAD接收从目标物体反射回来的脉冲波。Time Digital Converter(TDC)能够记录每次接收到的光信号的飞行时间，也就是发射脉冲和接收脉冲之间的时间间隔。DToF会在单帧测量时间内发射和接收N次光信号，然后对记录的N次飞行时间做直方图统计，其中出现频率最高的飞行时间t用来计算待测物体的深度，
图1是本申请实施例提供的DToF单个像素点记录的光飞行时间直方图，其中，高度最高的柱对应的时间就是该像素点的最终光飞时间。
IToF的概念和DToF相对应，全称是IndirectTime-of-Flight，直译就是间接光飞时间。所谓间接，就是指IToF是通过测量相位偏移来间接测量光的飞行时间，而不是直接测量光飞行时间。
IToF向场景中发射调制后的红外光信号，再由传感器接收场景中待测物体反射回来的光信号，根据曝光(积分)时间内的累计电荷计算发射信号和接收信号之间的相位差，从而获取目标物体的深度。图2是本申请实施例提供的IToF成像原理示意图。具体如图2所示。
图3是本申请实施例提供的连续波调制方式测相位偏移原理示意图。如图3所示，IToF模组的核心组件包含VCSEL和图像传感器。VCSEL发射特定频率的调制红外光。图像传感器在曝光(积分)时间内接收反射光并进行光电转换。曝光(积分)结束后将数据读出，经过一个模拟数字转换器再传给计算单元，最终由计算单元计算每个像素的相位偏移。IToF计算深度的方式通常是采用4-sampling-bucket算法，利用4个相位延迟为0°，90°，180°和270°的采样信号计算深度。
根据上述原理图，可以得到相位偏移和幅值的计算公式，
然后，再根据相位偏移计算深度：
其中，表示相位差，f是调制信号的频率，c是光速。
本申请所要解决的技术问题：本申请针对传统ToF深度相机按帧传输的形式导致在高速运动场景能力有限，以及DToF深度相机和IToF相机在捕获信息上的差异，设计了针对所有ToF深度相机信号特点的低运算复杂度事件编解码方案，满足数据传输带宽的需求，同时保证了幅值图和深度图复原质量要求。
实施例一
图4是本申请实施例一提供的事件型ToF相机编解码方法的流程图，本实施例可适用于事件型ToF相机编解码的情况，该方法可以由本申请实施例所提供的事件型ToF相机编解码装置来执行，该装置可以由软件和/或硬件的方式来实现，并可集成于电子设备中。
如图4所示，所述事件型ToF相机编解码方法包括：
S410、获取ToF相机各像素点的测量值。
可选的，所述获取ToF相机各像素点的测量值，包括：
识别所述ToF相机的属性信息；
若所述属性信息为IToF相机，则根据连续波调制方式测相位偏移的原理，确定像素点的深度信息和幅值信息。
在识别所述ToF相机的属性信息之后，所述方法还包括：
若所述属性信息为DToF相机，则根据光波飞行时间，确定像素点的深度信息，以及根据光电探测雪崩二极管接收到的光子数和发射的光脉冲信号确定幅值信息。
S420、根据所述测量值检测确定触发事件。
可选的，根据所述测量值检测确定触发事件，包括：
分别对像素点的深度信息和幅值信息进行跟踪；
若检测到深度信息在当前时刻与初始时刻的差值大于预设深度阈值，则确定存在深度信息编码触发事件；以及，若检测到幅值信息在当前时刻与初始时刻的差值大于预设幅值阈值，则确定存在幅值信息编码触发事件。
具体的，分别跟踪前一步骤中获得的深度信号D和幅值信号A；
对于t时刻的事件检测可以利用以下公式：
ΔD(t)＝D(t)-D(t0)
ΔA(t)＝A(t)-A(t0) (4)
当检测出ΔD(t)或者ΔA(t)满足如下条件：
输出深度事件的编码和幅值事件的编码。
本步骤表示的检测方式中，深度事件和幅值事件的检测门限是一个动态门限，深度和幅值门限和当前时刻的幅值有关。图5是本申请实施例一提供的不同深度-幅值下门限示意图。如图5所示，因为对于ToF相机而言，深度测量的噪声和幅值成反比关系，幅值越大，代表着此时的深度噪声越小。所以，对于高幅值的像素而言，噪声分布的方差越小，数据分布越集中，深度门限也比较小。同样，相同的幅值变化量，高幅值的区域变化没有低幅值区域的明显，对于事件检测门限来说，低幅值场景下的幅值门限比较小，高幅值场景下的幅值门限比较大。
S430、对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码。
可选的，对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码，包括：
基于给定的运行时钟，对深度信息和幅值信息按照时钟周期进行检测；
采用预设规则，对检测结果进行编码。
结合上述步骤，本方案中，对于可以连续监测ToF传感器输出信号的系统，一旦检出式(4)所示的事件就立刻输出事件编码。
上述步骤监测到的事件只有四种， 以及/>因此可以用2-bit进行编码，如下表所示：
表1.事件的2-bit编码表
对于给定运行时钟的系统，对深度和幅值信号按给定的时钟周期进行检测。当深度或幅值处于低门限场景时，一个周期之后的变化量会很容易超过门限值。此时，2bit编码方式不能完全描述事件。
对于步骤情况，可以采用多bit编码的方式，编码输出不再是当前时刻检测到的事件，而是当前状态相比较于初始时刻的完整事件编码。
本步骤给出了两种编码方式，分别针对不同工作模式的ToF系统，其中多bit编码方式依托于2bit编码方式。两者的区别在于：2bit的编码方式只需要知道上一时刻的状态，而多bit的编码方式需要知道初始时刻的状态。
S440、根据得到的编码序列恢复原始事件，以得到原始深度图。
可选的，根据得到的编码序列恢复原始事件，以得到原始深度图，包括：
基于预设规则，对所述编码序列进行恢复得到原始事件。
可选的，所述预设规则为2-bit编码表规则。
基于上述2-bit事件编码对原始数据的恢复是很简单的，对于离散时刻{t1，t2，…，tK}输出的2-bit编码序列：{C1，C2，...，CK}，根据事件性质分成深度事件和幅值事件编码序列，分别对时刻tK的信号值D(t)和A(t)进行恢复，具体的恢复算法为：
其中，表示tK时刻的深度信号，/>表示tK时刻的幅值信号；D(t0)表示t0时刻的深度信号，A(t0)表示t0时刻的幅值信号。
上面的Ek的具体取值由事件编码决定，如下表所示：
表2.数据恢复时事件编码C对应的恢复量E的对应关系
基于上述多bit事件编码对原始数据的恢复和编码步骤类似，把tk时刻ΔD(tk)的量化编码记作Ek，对于这样的事件编码序列：{E1，E2，...，EK}，原始深度信号和幅值信号的恢复可以利下式(7)：
其中，表示tK时刻的深度信号，/>表示tK时刻的幅值信号；D(t0)表示t0时刻的深度信号，A(t0)表示t0时刻的幅值信号。
上述步骤中提到的多bit编码恢复相机信号时要求知道t0时刻的完整图像D(t0)，一种方案是每隔一定时间间隔(比如1s)，就传送一次全图帧，一方面用于从事件编码数据恢复原始深度图，另一方面能够清除恢复算法中累积的量化误差。
本申请实施例所提供的技术方案，获取ToF相机各像素点的测量值；根据所述测量值检测确定触发事件；对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码；根据得到的编码序列恢复原始事件，以得到原始深度图。通过采用本申请所提供的技术方案，可以通过对所有ToF深度相机信号特点的低运算复杂度事件编解码方案，满足数据传输带宽的需求，同时保证了幅值图和深度图复原质量要求。
实施例二
图6是本申请实施例二提供的事件型ToF相机编解码装置的结构示意图。如图6所示，所述事件型ToF相机编解码装置，包括：
测量值获取模块610，用于获取ToF相机各像素点的测量值；
触发事件确定模块620，用于根据所述测量值检测确定触发事件；
编码模块630，用于对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码；
原始深度图解码模块640，用于根据得到的编码序列恢复原始事件，以得到原始深度图。
上述产品可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例三
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种事件型ToF相机编解码方法，该方法包括：
获取ToF相机各像素点的测量值；
根据所述测量值检测确定触发事件；
对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码；
根据得到的编码序列恢复原始事件，以得到原始深度图。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的在线事件型ToF相机编解码操作，还可以执行本申请任意实施例所提供的事件型ToF相机编解码方法中的相关操作。
实施例四
本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的事件型ToF相机编解码装置。图7是本申请实施例四提供的一种电子设备的结构示意图。如图7所示，本实施例提供了一种电子设备700，其包括：一个或多个处理器720；存储装置710，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器720运行，使得所述一个或多个处理器720实现本申请实施例所提供的事件型ToF相机编解码方法，该方法包括：
获取ToF相机各像素点的测量值；
根据所述测量值检测确定触发事件；
对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码；
根据得到的编码序列恢复原始事件，以得到原始深度图。
当然，本领域技术人员可以理解，处理器720还可以实现本申请任意实施例所提供的事件型ToF相机编解码方法的技术方案。
图7显示的电子设备700仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，该电子设备700包括处理器720、存储装置710、输入装置730和输出装置740；电子设备中处理器720的数量可以是一个或多个，图7中以一个处理器720为例；电子设备中的处理器720、存储装置710、输入装置730和输出装置740可以通过总线或其他方式连接，图7中以通过总线750连接为例。
存储装置710作为一种计算机可读存储介质，可用于存储软件程序、计算机可运行程序以及模块单元，如本申请实施例中的事件型ToF相机编解码方法对应的程序指令。
存储装置710可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置710可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置710可进一步包括相对于处理器720远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏、扬声器等设备。
本申请实施例提供的电子设备，采用帧同步网络技术，能够在多通道环境下启动多台计算机上的虚拟现实内容应用程序后，确保内容交互和数据的一致性，从而使屏幕画面的拼接一致，内容逻辑一致。
上述实施例中提供的事件型ToF相机编解码装置、介质及电子设备可运行本申请任意实施例所提供的事件型ToF相机编解码方法，具备运行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的事件型ToF相机编解码方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (5)
1.一种事件型ToF相机编解码方法，其特征在于，包括：
获取ToF相机各像素点的测量值；
根据所述测量值检测确定触发事件；
对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码，其中，所述预设规则为2-bit编码表规则，采用2bit编码方式或多bit编码方式进行编码，两种编码方式分别针对不同工作模式的ToF系统，其中多bit编码方式依托于2bit编码方式，2bit编码方式只需要知道上一时刻的状态，多bit编码方式需要知道初始时刻的状态；
根据得到的编码序列恢复原始事件，以得到原始深度图，包括：
当采用2bit的编码方式时，对于离散时刻{t1,t2,…,tK}输出的2-bit编码序列：{C1,C2,…,CK}，根据事件性质分成深度事件和幅值事件编码序列，分别对时刻tK的信号值D(t)和A(t)进行恢复，具体的恢复算法为如式(1)：
当采用多bit编码方式时，把tk时刻ΔD(tk)的量化编码记作Ek，对于这样的事件编码序列：{E1,E2,…,EK}，原始深度信号和幅值信号的恢复算法如式(2)：
式(1)和式(2)中，表示tK时刻的深度信号，/>表示tK时刻的幅值信号，D(t0)表示t0时刻的深度信号，A(t0)表示t0时刻的幅值信号；
所述获取ToF相机各像素点的测量值，包括：
识别所述ToF相机的属性信息；
若所述属性信息为IToF相机，则根据连续波调制方式测相位偏移的原理，确定像素点的深度信息和幅值信息；
在识别所述ToF相机的属性信息之后，所述方法还包括：
若所述属性信息为DToF相机，则根据光波飞行时间，确定像素点的深度信息，以及根据光电探测雪崩二极管接收到的光子数和发射的光脉冲信号确定幅值信息；
根据所述测量值检测确定触发事件，包括：
分别对像素点的深度信息和幅值信息进行跟踪；
若检测到深度信息在当前时刻与初始时刻的差值大于预设深度阈值，则确定存在深度信息编码触发事件；以及，若检测到幅值信息在当前时刻与初始时刻的差值大于预设幅值阈值，则确定存在幅值信息编码触发事件。
2.根据权利要求1所述的方法，其特征在于，对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码，包括：
基于给定的运行时钟，对深度信息和幅值信息按照时钟周期进行检测；
采用预设规则，对检测结果进行编码。
3.一种事件型ToF相机编解码装置，其特征在于，包括：
测量值获取模块，用于获取ToF相机各像素点的测量值，具体用于：
识别所述ToF相机的属性信息；
若所述属性信息为IToF相机，则根据连续波调制方式测相位偏移的原理，确定像素点的深度信息和幅值信息；
若所述属性信息为DToF相机，则根据光波飞行时间，确定像素点的深度信息，以及根据光电探测雪崩二极管接收到的光子数和发射的光脉冲信号确定幅值信息；
触发事件确定模块，用于根据所述测量值检测确定触发事件，具体用于：
分别对像素点的深度信息和幅值信息进行跟踪；
若检测到深度信息在当前时刻与初始时刻的差值大于预设深度阈值，则确定存在深度信息编码触发事件；以及，若检测到幅值信息在当前时刻与初始时刻的差值大于预设幅值阈值，则确定存在幅值信息编码触发事件；
编码模块，用于对检测到的像素点的深度和/或幅值触发事件采用预设规则进行编码，其中，所述预设规则为2-bit编码表规则，采用2bit编码方式或多bit编码方式进行编码，两种编码方式分别针对不同工作模式的ToF系统，其中多bit编码方式依托于2bit编码方式，2bit编码方式只需要知道上一时刻的状态，多bit编码方式需要知道初始时刻的状态；
原始深度图解码模块，用于根据得到的编码序列恢复原始事件，以得到原始深度图，具体用于：
当采用2bit的编码方式时，对于离散时刻{t1,t2,…,tK}输出的2-bit编码序列：{C1,C2,…,CK}，根据事件性质分成深度事件和幅值事件编码序列，分别对时刻tK的信号值D(t)和A(t)进行恢复，具体的恢复算法为如式(1)：
当采用多bit编码方式时，把tk时刻ΔD(tk)的量化编码记作Ek，对于这样的事件编码序列：{E1,E2,…,EK}，原始深度信号和幅值信号的恢复算法如式(2)：
式(1)和式(2)中，表示tK时刻的深度信号，/>表示tK时刻的幅值信号，D(t0)表示t0时刻的深度信号，A(t0)表示t0时刻的幅值信号。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一所述的事件型ToF相机编解码方法。
5.一种移动设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-2中任一所述的事件型ToF相机编解码方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010919221.4A CN112037295B (zh) | 2020-09-04 | 2020-09-04 | 一种事件型ToF相机编解码方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010919221.4A CN112037295B (zh) | 2020-09-04 | 2020-09-04 | 一种事件型ToF相机编解码方法、装置、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112037295A CN112037295A (zh) | 2020-12-04 |
| CN112037295B true CN112037295B (zh) | 2024-03-08 |
Family
ID=73592097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010919221.4A Active CN112037295B (zh) | 2020-09-04 | 2020-09-04 | 一种事件型ToF相机编解码方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112037295B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487655A (zh) * | 2020-12-09 | 2021-03-12 | 上海数迹智能科技有限公司 | 针对tof相机中的相位折叠优化方法、装置、介质及设备 |
| CN112558096B (zh) * | 2020-12-11 | 2021-10-26 | 深圳市灵明光子科技有限公司 | 一种基于共享内存的测距方法、系统以及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982557A (zh) * | 2012-11-06 | 2013-03-20 | 桂林电子科技大学 | 基于深度相机的空间手势姿态指令处理方法 |
| CN109600618A (zh) * | 2018-12-19 | 2019-04-09 | 上海数迹智能科技有限公司 | 视频压缩方法、解压缩方法、装置、终端和介质 |
| CN109767467A (zh) * | 2019-01-22 | 2019-05-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110471080A (zh) * | 2019-07-12 | 2019-11-19 | 深圳奥比中光科技有限公司 | 基于tof图像传感器的深度测量装置 |
| CN110809152A (zh) * | 2019-11-06 | 2020-02-18 | Oppo广东移动通信有限公司 | 信息处理方法、编码装置、解码装置、系统及存储介质 |
| CN111308482A (zh) * | 2018-11-27 | 2020-06-19 | 英飞凌科技股份有限公司 | 基于编码调制图像的滤波连续波飞行时间测量 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2487504A1 (en) * | 2011-02-10 | 2012-08-15 | Technische Universität München | Method of enhanced depth image acquisition |
-
2020
- 2020-09-04 CN CN202010919221.4A patent/CN112037295B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982557A (zh) * | 2012-11-06 | 2013-03-20 | 桂林电子科技大学 | 基于深度相机的空间手势姿态指令处理方法 |
| CN111308482A (zh) * | 2018-11-27 | 2020-06-19 | 英飞凌科技股份有限公司 | 基于编码调制图像的滤波连续波飞行时间测量 |
| CN109600618A (zh) * | 2018-12-19 | 2019-04-09 | 上海数迹智能科技有限公司 | 视频压缩方法、解压缩方法、装置、终端和介质 |
| CN109767467A (zh) * | 2019-01-22 | 2019-05-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110471080A (zh) * | 2019-07-12 | 2019-11-19 | 深圳奥比中光科技有限公司 | 基于tof图像传感器的深度测量装置 |
| CN110809152A (zh) * | 2019-11-06 | 2020-02-18 | Oppo广东移动通信有限公司 | 信息处理方法、编码装置、解码装置、系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 时间编码结构光三维测量的提速策略和硬件方案分析;崔巍;罗玉洁;姜东怡;曾理;;内江科技(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112037295A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110596721B (zh) | 双重共享tdc电路的飞行时间距离测量系统及测量方法 | |
| CN112037295B (zh) | 一种事件型ToF相机编解码方法、装置、介质及设备 | |
| US8369575B2 (en) | 3D image processing method and apparatus for improving accuracy of depth measurement of an object in a region of interest | |
| US9930320B2 (en) | Resolving three dimensional spatial information using time-shared structured lighting that embeds digital communication | |
| CN108028887B (zh) | 一种终端的拍照对焦方法、装置及设备 | |
| WO2021051479A1 (zh) | 一种基于插值的飞行时间测量方法及测量系统 | |
| CN109903324B (zh) | 一种深度图像获取方法及装置 | |
| KR102490335B1 (ko) | 타임 오브 플라이트 데이터를 비닝하는 방법 | |
| US20190304115A1 (en) | Imaging apparatus and imaging method | |
| JP2016224062A (ja) | タイムオブフライト信号の処理における又はこれに関する改良 | |
| US20220092804A1 (en) | Three-dimensional imaging and sensing using a dynamic vision sensor and pattern projection | |
| WO2022188884A1 (zh) | 一种距离测量方法、系统及装置 | |
| WO2022241942A1 (zh) | 一种深度相机及深度计算方法 | |
| WO2022109826A1 (zh) | 距离测量方法和装置、电子设备和存储介质 | |
| CN110062894B (zh) | 设备与方法 | |
| KR20210126624A (ko) | 동적 비전 센서 및 패턴 투사를 사용하는 3차원 이미징 및 감지 | |
| CN112346076A (zh) | 电子装置的控制方法、电子装置及计算机可读存储介质 | |
| CN112307985A (zh) | 一种图像识别方法、系统、电子设备及存储介质 | |
| WO2022160622A1 (zh) | 一种距离测量方法、装置及系统 | |
| CN116520348A (zh) | 基于调制光场的深度成像系统、方法、设备及介质 | |
| CN110191279B (zh) | 深度相机、电子设备及图像获取方法 | |
| CN114814881A (zh) | 一种激光测距方法及激光测距芯片 | |
| CN114829970A (zh) | 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法 | |
| CN111953985B (zh) | 一种基于tof深度相机的图像处理方法及可存储介质 | |
| CN113673286B (zh) | 基于目标区域的深度重建方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |