CN111953985B - 一种基于tof深度相机的图像处理方法及可存储介质 - Google Patents
一种基于tof深度相机的图像处理方法及可存储介质 Download PDFInfo
- Publication number
- CN111953985B CN111953985B CN202010820799.4A CN202010820799A CN111953985B CN 111953985 B CN111953985 B CN 111953985B CN 202010820799 A CN202010820799 A CN 202010820799A CN 111953985 B CN111953985 B CN 111953985B
- Authority
- CN
- China
- Prior art keywords
- data
- reference signal
- initial
- value
- real part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 34
- 108091026890 Coding region Proteins 0.000 claims abstract description 25
- 238000011084 recovery Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 21
- 230000010354 integration Effects 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 20
- 230000008859 change Effects 0.000 description 11
- 239000002609 medium Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及一种图像处理技术领域，具体涉及一种基于TOF深度相机的图像处理方法及可存储介质，其中一种基于TOF深度相机的图像处理方法，包括：获取每个像素的初始实部数据、初始虚部数据；根据所述初始实部数据、虚部数据结合当前数据计算形成特征数据；对所述特征数据做编码处理以形成编码序列参数；对所述编码序列参数做恢复处理以形成图像基础数据。
Description
技术领域
本发明涉及一种图像处理技术领域，具体涉及一种基于TOF深度相机的图像处理方法及可存储介质。
背景技术
事件相机通过对局部变化的像素检测，并将局部变化的像素进行编码传输以形成事件效果，大大降低了数据传输带宽要求，突破数据带宽对图像更新帧率的限制。事件编码的思想同样能够应用于3D深度相机，突破数据传输带宽对快速运动物3D成像和跟踪的限制。目前常见的深度相机有双目深度相机、结构光深度相机和TOF深度相机，其中TOF相机的工作原理(如图1所示)是：由相机主动发射幅度调制的光信号到物体表面，接收反射光信号并测量其收发信号之间的相位差，进而将相位差折算成光飞行时间差，最后将时间差乘以光速得到物体距离信息。传统TOF相机以类似RGB相机的形式按帧传输完整深度图数据，受限于数据带宽，无法同时满足分辨率和帧率的要求，使得它对高速物体捕获能力受限。将基于事件编码的技术应用于TOF相机，仅传输像素变化信息，能够突破按帧传输的深度图像更新速率限制，使得TOF相机能够有效跟踪高速率运动物体，支撑其在机械加工、机器人控制等需要实时成像和高速响应的应用场合。
但是I-TOF深度相机和传统2D相机所捕获信息上有着本质差别，对事件编码算法提出了不同的要求。2D事件相机的输出基于各个像素亮度变化，当像素亮度变化超过阈值后，输出事件脉冲或者亮度增量。对于I-TOF相机虽然可以直接将距离变化作为事件检测对象并实现事件型相机，但由于I-TOF相机的测量噪声和接收光强度、距离等参数关联，深度图不同区域的测距噪声差别巨大，使用传统的事件检测门限容易造成低信噪比区域出现大量“噪声事件”。另外I-TOF深度相机虽然输出深度数据，但它底层信号是相关器输出积分信号，这一信号既不直接对应亮度也不直接对应距离，深度图数据是将它量化后经过特定数学运算获得的，因此2D事件相机的原理不能直接应用到I-TOF深度输出的深度值，需要作用在底层数据。另外在编解码方面，2D事件相机侧重图像中的特征点跟踪和边沿检测，对恢复原始图像的要求不高，而3D相机应用于物体的物理尺寸测量，需要能够从事件数据恢复原始深度图，并对恢复精度有一定要求。
发明内容
本发明所要解决的技术问题：本发明针对I-TOF深度相机按帧传输的形式导致对高速物体捕获能力受限，以及I-TOF深度相机和传统2D相机在捕获信息上的差异，设计了针对TOF深度相机信号特点的低运算复杂度事件编解码方案，同时满足数据传输带宽和深度图复原质量要求。
本发明所要解决的技术问题可以采用如下技术方案来实现：
一种基于TOF深度相机的图像处理方法，其中，包括：
获取每个像素的初始实部数据、初始虚部数据；
根据所述初始实部数据、虚部数据结合当前数据计算形成特征数据；
对所述特征数据做编码处理以形成编码序列参数；
对所述编码序列参数做恢复处理以形成图像基础数据。
优选地，上述的一种基于TOF深度相机的图像处理方法，其中，还包括：对所述基础数据做分析处理以去除残差。
优选地，上述的一种基于TOF深度相机的图像处理方法，其中，获取每个像素的初始实部数据、初始虚部数据具体包括：
获取每个像素的初始的第一参考信号、第二参考信号、第三参考信号和第四参考信号；
根据初始的所述第一参考信号、第二参考信号、第三参考信号和第四参考信号获取初始实部数据和初始虚部数据。
优选地，上述的一种基于TOF深度相机的图像处理方法，其中，根据所述初始实部数据、虚部数据结合当前数据计算形成特征数据具体包括：
获取每个像素当前的实部数据和当前的虚部数据；
根据每个像素当前的实部数据、当前的虚部数据、初始的实部数据、初始的虚部数据计算形成实部参考数据、虚部参考数据；
其中：Im(ΔD(t))为虚部参考数据；
Q4(t)为第四参考信号的当前积分值；
Q4(t0)为第四参考信号的初始积分值；
Q2(t)为第二参考信号的当前积分值；
Q2(t0)为第二参考信号的初始积分值；
Re(ΔD(t))为实部参考数据；
Q3(t)为第三参考信号的当前积分值；
Q3(t0)为第三参考信号的初始积分值；
Q1(t)为第一参考信号的当前积分值；
Q1(t0)为第一参考信号的初始积分值；
判断所述实部参考数据的绝对值、或虚部参考数据的绝对值是否不小于门限阈值，于所述实部参考数据的绝对值、或虚部参考数据的绝对值不小于门限阈值的状态下，根据该所述实部参考数据、或虚部参考数据形成特征数据；
|Re(ΔD(t))|≥θD；
|Im(ΔD(t))|≥θD；
其中θD为门限阈值。
优选地，上述的一种基于TOF深度相机的图像处理方法，其中，对所述特征数据做编码处理以形成编码序列参数具体包括：
于所述特征数据的实部数据或虚部数据匹配第一编码阈值或第二类编码阈值的状态下，对所述特征数据的实部数据或虚部数据做编码处理。
优选地，上述的一种基于TOF深度相机的图像处理方法，其中，于所述特征数据的实部数据或虚部数据匹配第一编码阈值或第二类编码阈值的状态下连续输出与该实部数据或虚部数据匹配的二进制编码数据。
优选地，上述的一种基于TOF深度相机的图像处理方法，其中，
对所述特征数据做编码处理以形成编码序列参数具体包括：
建立编码序列参数与恢复序列参数之间的对应关系；
对恢复序列参数按照预定的算法做恢复处理。
优选地，上述的一种基于TOF深度相机的图像处理方法，其中，对所述基础数据做分析处理以去除残差，具体包括：获取每个像素中基础数据和原始数据；
根据所述基础数据和所述原始数据形成误差数据；
对每个所述误差数据做持续累积处理以形成累积误差值；
判断每次累积误差值是否匹配误差阈值，于所述累积误差值匹配误差阈值的状态下，输出于累积误差值匹配的像素编码值。
另一方面，本发明再提供一种包含计算机可执行指令的存储介质，其中，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于TOF深度相机的图像处理方法，包括：
获取每个像素的初始实部数据、初始虚部数据；
根据所述初始实部数据、虚部数据结合当前数据计算形成特征数据；
对所述特征数据做编码处理以形成编码序列参数；
对所述编码序列参数做恢复处理以形成图像基础数据。
与现有技术相比，本发明的优点在于：对于事件型图像数据的发送，仅当其变化量大于阈值的状态下，输出变化的像素数据，大大降低了数据的传输带宽。同时对传输数据做去除残差处理，提高图片数据传输的准确度。
附图说明
图1为现有的TOF相机的工作原理示意图；
图2为I-TOF相机的内部积分示意图；
图3为现有的相机传输深度图；
图4为不同接收信号强度下门限阈值允许的相位变化量；
图5为本发明提供的一种基于TOF深度相机的图像处理方法的流程示意图；
图6为本发明提供的一种基于TOF深度相机的图像处理方法的流程示意图；
图7给出B、r、全图像素数量MN和带宽比值η的关系。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
如图5所示，一种基于TOF深度相机的图像处理方法，其中，包括：
步骤S110、获取每个像素的初始实部数据、初始虚部数据，具体包括，
步骤S1101、获取每个像素的初始的第一参考信号、第二参考信号、第三参考信号和第四参考信号；其中，所述第一参考信号、第二参考信号、第三参考信号和第四参考信号为0°相位参考信号、90°相位参考信号、180°相位参考信号和270°相位参考信号。具体地，I-TOF相机上的光源发射幅度调制的光信号，光信号经过物体表面反射后回到相机传感器，光的传播延迟使得接收信号和发射信号存在时间差，体现在接收信号中调制信息的相位改变。当光源和相机光心重合时，光飞行距离是相机到物体距离的2倍，光信号调制频率、收发信号的相位差和距离的关系为：
其中c为光速、f代表光信号的幅度调制频率、φ为接收信号与发射信号之间的相位差、d代表物体到相机的距离。
I-TOF相机内部通过电路计算接收到调制信号和特定参考信号的相关值，一般使用4相位的参考信号，即用与发射信号相位差分别为0°、90°、180°和270°的参考信号和接收信号进行相关积分，积分示意图如图2所示，：
步骤S1102、根据初始的所述第一参考信号、第二参考信号、第三参考信号和第四参考信号获取初始实部数据和初始虚部数据。
如上所述，4个积分值分别记作{Q1，Q2，Q3，Q4}，通过他们可以计算出相位差，Q1为初始第一参考信号的积分值、Q2为初始第二参考信号的积分值、Q2为初始第三参考信号的积分值、Q4为初始第四参考信号的积分值即：
其中，φ为接收信号与发射信号之间的相位差。
另外这4个相关积分值也能够通过计算能够得到接收光幅度a，即：
对于每个像素，可以将相位差φ和接收光幅度a看成是复数的相位和模，即：
D＝aejφ
根据上式可以得到：
其中：为初始实部数据；/>为初始虚部数据。
步骤S120、根据所述初始实部数据、虚部数据结合当前数据计算形成特征数据；具体包括：
步骤S1201、获取每个像素当前的实部数据和当前的虚部数据，每个像素初始的实部数据和初始的虚部数据；
步骤S1202、根据每个像素当前的实部数据、当前的虚部数据、初始的实部数据、初始的虚部数据计算形成实部参考数据、虚部参考数据；具体计算方法是：
其中：Im(ΔD(t))为虚部参考数据；
Q4(t)为第四参考信号的当前积分值；
Q4(t0)为第四参考信号的初始积分值；
Q2(t)为第二参考信号的当前积分值；
Q2(t0)为第二参考信号的初始积分值；
Re(ΔD(t))为实部参考数据；
Q3(t)为第三参考信号的当前积分值；
Q3(t0)为第三参考信号的初始积分值；
Q1(t)为第一参考信号的当前积分值；
Q1(t0)为第一参考信号的初始积分值。
步骤S1203、判断所述实部参考数据的绝对值、或虚部参考数据的绝对值是否不小于门限阈值，于所述实部参考数据的绝对值、或虚部参考数据的绝对值不小于门限阈值的状态下，根据该所述实部参考数据、或虚部参考数据形成特征数据；
|Re(ΔD(t))|≥θD；
|Im(ΔD(t))|≥θD；
其中θD为门限阈值。其中关于门限阈值的设置，不同事件情况下，其门限阈值不同，
相比较于传统2D事件相机通过各个像素亮度变化决定是否生成事件，深度相机虽然可以用距离变化量作为事件监测的对象，但在深度图中噪声分布是不均匀的，在接收光强度较弱的区域会有较大距离噪声，导致固定区域持续输出大量“噪声事件”。如图3所示深度图，对于给定像素距离改变事件门限0.1M，在图示区域，由于反射光较弱，测距噪声大，噪声带来的波动超过了事件门限(图中虚线方框标出的部分)，导致持续输出噪声事件。在给定光强的条件下，固定的事件门限θD对应的相位变化量门限不同的，在弱光条件下允许出现更大的相位波动而不触发事件，即：容忍较大的测距噪声，对强光条件下，由于噪声小，事件监测的灵敏度相对提升，即：很小的相位变化就会超出监测门限并输出事件。如图4示意图给出：a图是强信号情况，门限阈值允许的相位变化范围小，事件监测灵敏度高；b图是弱信号情况，门限阈值允许的相位变化范围大，事件监测灵敏度低，不易受噪声影响。
步骤S130、对所述特征数据做编码处理以形成编码序列参数；具体地，可以采用2-bit编码方式编码，2-bit编码方式编码用于系统能够连续监测TOF传感器像素输出的场合，比如使用模拟电路构成的加减运算单元，以及用比较器构成事件监测单元，这种电路连续工作，一旦获取到所述特征数据的实部数据或虚部数据匹配第一编码阈值或第二类编码阈值的状态下，可以输出相应的事件编码。具体地，
步骤S13011：于所述特征数据的实部数据或虚部数据匹配第一编码阈值或第二类编码阈值的状态下，对所述特征数据的实部数据或虚部数据做编码处理，其中，第一编码阈值为θD；所述第二编码阈值为-θD；具体编码方式为：
步骤S13012：输出每个特征数据的编码以形成一编码序列参数{C1，C2，...，CK}，C1为第一个特征数据的编码，c2为第二个特征数据的编码，以此类推，Ck为第K个特征数据的编码。
上述步骤S13011、S13012应用于连续事件监测中，而对于离散事件间隔事件监测，其采用的技术方案为：
步骤S13021、于采集间隔范围内所述特征数据的实部数据或虚部数据不小于第一编码阈值或第二类编码阈值的状态下，对所述特征数据的实部数据或虚部数据做编码处理，并全部输出。
步骤S140、对所述编码序列参数做恢复处理以形成图像基础数据。具体包括：
对于连续监测事件，具体执行步骤包括：步骤S1401、建立编码序列参数与恢复序列参数之间的对应关系；
| 编码 | 00 | 01 | 10 | 11 |
| E | θD | jθD | -θD | -jθD |
步骤S1402、对恢复序列参数按照预定的算法做恢复处理，预定的算法为：
其中恢复后的基础数据。
对于离散事件间隔事件监测，采用多bit位的编码方式，把tk时刻ΔD(tk)的量化编码记作Ek，对于这样的事件编码序列：{E1，E2，…，EK}，可以通过下面的式子恢复原始信号D(t)：
采用多bit编码恢复相机信号时要求知道t0时刻的完整图像D(t0)，一种方案是每隔一定时间间隔(比如1s)，就传送一次全图帧，一方面用于从事件编码数据恢复原始深度图，另一方面能够清除恢复算法中累积的量化误差。
对于实际的TOF深度相机，监测移动物体时，前后景过渡区像素的“多径“效应会使得物体”扫过“背景后，在背景上产生”波纹“状干扰，当“纹波“状干扰的幅度小于事件门限θD时，会被持续保留在恢复的数据中；基于此，本发明再提供一种基于TOF深度相机的图像处理方法，于上述技术方案的基础之上，还包括：步骤S150、对所述基础数据做分析处理以去除残差。
如图6所示，具体包括：
步骤S1501、获取每个像素中基础数据和原始数据；
步骤S1502、根据所述基础数据和所述原始数据形成误差数据；
其中，D(t)为所述原始数据，R(t)为所述误差数据。
步骤S1503、对每个所述误差数据做持续累积处理以形成累积误差值；
R∑←R∑+R(t)；
其中，R∑为累积误差值。
步骤S1504、判断每次累积误差值是否匹配误差阈值，于所述累积误差值匹配误差阈值的状态下，输出于累积误差值匹配的像素编码值。具体地：|R∑|＞θR，
其中，θR为误差阈值。
当误差累积至大于误差阈值的瞬间，即输出该像素的事件编码，以使得接收端清除这一残余误差。
考虑事件编码的目的是能够以更小的传输带宽实现信息传送，我们计算不同模式下传输效率的差别。对于M*N的深度图，每个像素对应的复信号用B比特表示，则每帧传输量为MNB比特。采用本发明提供的技术方案，每次像素改变超过门限就要输出改变量的编码，仍旧用B比特表示这一数据，传输时考虑需要同时传送像素位置信息，需要额外占用比特，于是每个事件对应/>比特。考虑事件监测采样间隔和传统的全帧图像传送间隔一致的条件下，使用事件编码技术对数据传输量的降低量。相邻两帧的采样时间间隔内，输出事件的像素占总像素数母的比例平均值为γ，这些事件编码需要平均传输量是：/>比特。如图7所示，相比全帧图像传送方案，每帧需要传送MNB比特数据，两者比值为：
考虑640x480的3D数据，每个像素对应32bit，两种方案的传输bit比值为：η≈r1.59375，可见只要相邻两帧时间间隔内，输出事件的像素占比小于62.7％，传输带宽需求就好于全帧传输。
实施例二
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于TOF深度相机的图像处理方法，该方法包括：
获取每个像素的初始实部数据、初始虚部数据；
根据所述初始实部数据、虚部数据结合当前数据计算形成特征数据；
对所述特征数据做编码处理以形成编码序列参数；
对所述编码序列参数做恢复处理以形成图像基础数据。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的在线设备的认证操作，还可以执行本申请任意实施例所提供的设备的认证方法中的相关操作。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种基于TOF深度相机的图像处理方法，其特征在于，包括：
获取每个像素的初始实部数据、初始虚部数据，具体包括：
获取每个像素的初始的第一参考信号、第二参考信号、第三参考信号和第四参考信号；
将初始的所述第一参考信号、第二参考信号、第三参考信号和第四参考信号通过下式得到初始实部数据和初始虚部数据：
其中：为初始实部数据；/>为初始虚部数据；Q1为初始第一参考信号的积分值；Q2为初始第二参考信号的积分值；Q3为初始第三参考信号的积分值；Q4为初始第四参考信号的积分值；
根据所述初始实部数据、虚部数据结合当前数据计算形成特征数据，具体包括：
获取每个像素当前数据，所述当前数据包括当前的实部数据和当前的虚部数据；
根据每个像素当前的实部数据、当前的虚部数据、初始的实部数据、初始的虚部数据计算形成实部参考数据、虚部参考数据；
其中：Im(ΔD(t))为虚部参考数据；
Q4(t)为第四参考信号的当前积分值；
Q4(t0)为第四参考信号的初始积分值；
Q2(t)为第二参考信号的当前积分值；
Q2(t0)为第二参考信号的初始积分值；
Re(ΔD(t))为实部参考数据；
Q3(t)为第三参考信号的当前积分值；
Q3(t0)为第三参考信号的初始积分值；
Q1(t)为第一参考信号的当前积分值；
Q1(t0)为第一参考信号的初始积分值；
判断所述实部参考数据的绝对值、或虚部参考数据的绝对值是否不小于门限阈值，于所述实部参考数据的绝对值、或虚部参考数据的绝对值不小于门限阈值的状态下，根据该所述实部参考数据、或虚部参考数据形成特征数据；
|Re(ΔD(t))|≥θD；
|Im(ΔD(t))|≥θD；
其中：θD为门限阈值；
对所述特征数据做编码处理以形成编码序列参数，具体包括：
应用于连续事件监测中，于所述特征数据的实部数据或虚部数据匹配第一编码阈值或第二类编码阈值的状态下，对所述特征数据的实部数据或虚部数据输出与该实部数据或虚部数据匹配的二进制编码数据，以形成一编码序列参数，或，
应用于离散事件间隔事件监测时，于采集间隔范围内所述特征数据的实部数据或虚部数据不小于第一编码阈值或第二类编码阈值的状态下，连续输出与该实部数据或虚部数据匹配的二进制编码数据，以形成一编码序列参数；
对所述编码序列参数做恢复处理以形成图像基础数据，具体包括：
建立编码序列参数与恢复序列参数之间的对应关系；
对恢复序列参数按照预定的算法做恢复处理，其中，预定的算法为：
其中，为恢复后的基础数据；事件编码序列为{E1，E2，…，EK}；D(t0)为t0时刻的完整图像。
2.根据权利要求1所述的一种基于TOF深度相机的图像处理方法，其特征在于，还包括：对所述基础数据做分析处理以去除残差，具体包括：
获取每个像素中基础数据和原始数据；
根据所述基础数据和所述原始数据形成误差数据；
对每个所述误差数据做持续累积处理以形成累积误差值；
判断每次累积误差值是否匹配误差阈值，于所述累积误差值匹配误差阈值的状态下，输出于累积误差值匹配的像素编码值。
3.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于TOF深度相机的图像处理方法，包括：
获取每个像素的初始实部数据、初始虚部数据，具体包括：
获取每个像素的初始的第一参考信号、第二参考信号、第三参考信号和第四参考信号；
将初始的所述第一参考信号、第二参考信号、第三参考信号和第四参考信号通过下式得到初始实部数据和初始虚部数据：
其中：为初始实部数据；/>为初始虚部数据；Q1为初始第一参考信号的积分值；Q2为初始第二参考信号的积分值；Q3为初始第三参考信号的积分值；Q4为初始第四参考信号的积分值；
根据所述初始实部数据、虚部数据结合当前数据计算形成特征数据具体包括：
获取每个像素当前数据，所述当前数据包括当前的实部数据和当前的虚部数据；
根据每个像素当前的实部数据、当前的虚部数据、初始的实部数据、初始的虚部数据计算形成实部参考数据、虚部参考数据；
其中：Im(ΔD(t))为虚部参考数据；
Q4(t)为第四参考信号的当前积分值；
Q4(t0)为第四参考信号的初始积分值；
Q2(t)为第二参考信号的当前积分值；
Q2(t0)为第二参考信号的初始积分值；
Re(ΔD(t))为实部参考数据；
Q3(t)为第三参考信号的当前积分值；
Q3(t0)为第三参考信号的初始积分值；
Q1(t)为第一参考信号的当前积分值；
Q1(t0)为第一参考信号的初始积分值；
判断所述实部参考数据的绝对值、或虚部参考数据的绝对值是否不小于门限阈值，于所述实部参考数据的绝对值、或虚部参考数据的绝对值不小于门限阈值的状态下，根据该所述实部参考数据、或虚部参考数据形成特征数据；
|Re(ΔD(t))|≥θD；
|Im(ΔD(t))|≥θD；
其中：θD为门限阈值；
对所述特征数据做编码处理以形成编码序列参数，具体包括：
应用于连续事件监测中，于所述特征数据的实部数据或虚部数据匹配第一编码阈值或第二类编码阈值的状态下，对所述特征数据的实部数据或虚部数据输出与该实部数据或虚部数据匹配的二进制编码数据，以形成一编码序列参数，或，
应用于离散事件间隔事件监测时，于采集间隔范围内所述特征数据的实部数据或虚部数据不小于第一编码阈值或第二类编码阈值的状态下，连续输出与该实部数据或虚部数据匹配的二进制编码数据，以形成一编码序列参数；
对所述编码序列参数做恢复处理以形成图像基础数据，具体包括：
建立编码序列参数与恢复序列参数之间的对应关系；
对恢复序列参数按照预定的算法做恢复处理，其中，预定的算法为：
其中，为恢复后的基础数据；事件编码序列为{E1，E2，…，EK}；D(t0)为t0时刻的完整图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820799.4A CN111953985B (zh) | 2020-08-14 | 2020-08-14 | 一种基于tof深度相机的图像处理方法及可存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820799.4A CN111953985B (zh) | 2020-08-14 | 2020-08-14 | 一种基于tof深度相机的图像处理方法及可存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111953985A CN111953985A (zh) | 2020-11-17 |
| CN111953985B true CN111953985B (zh) | 2024-04-05 |
Family
ID=73342318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010820799.4A Active CN111953985B (zh) | 2020-08-14 | 2020-08-14 | 一种基于tof深度相机的图像处理方法及可存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111953985B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102055982A (zh) * | 2011-01-13 | 2011-05-11 | 浙江大学 | 三维视频编解码方法及装置 |
| CN104521238A (zh) * | 2012-06-20 | 2015-04-15 | 诺基亚公司 | 用于3d视频编码的装置、方法和计算机程序 |
| CN105844633A (zh) * | 2016-03-21 | 2016-08-10 | 西安电子科技大学 | 基于De序列和相位编码的单帧结构光深度获取方法 |
| KR20180032989A (ko) * | 2016-09-23 | 2018-04-02 | 삼성전자주식회사 | ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법 |
-
2020
- 2020-08-14 CN CN202010820799.4A patent/CN111953985B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102055982A (zh) * | 2011-01-13 | 2011-05-11 | 浙江大学 | 三维视频编解码方法及装置 |
| CN104521238A (zh) * | 2012-06-20 | 2015-04-15 | 诺基亚公司 | 用于3d视频编码的装置、方法和计算机程序 |
| CN105844633A (zh) * | 2016-03-21 | 2016-08-10 | 西安电子科技大学 | 基于De序列和相位编码的单帧结构光深度获取方法 |
| KR20180032989A (ko) * | 2016-09-23 | 2018-04-02 | 삼성전자주식회사 | ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111953985A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10009196B2 (en) | Multiple symbol noncoherent soft output detector | |
| US11215700B2 (en) | Method and system for real-time motion artifact handling and noise removal for ToF sensor images | |
| US8243989B2 (en) | Collaborative tracking | |
| US7720277B2 (en) | Three-dimensional-information reconstructing apparatus, method and program | |
| US20230094598A1 (en) | Time of arrival estimation for bluetooth systems and devices | |
| US9723444B2 (en) | System and method of time of flight detection | |
| CN112991369A (zh) | 基于双目视觉的行驶车辆外廓尺寸检测方法 | |
| KR20190095597A (ko) | 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치 | |
| CN110992393B (zh) | 一种基于视觉的目标运动跟踪方法 | |
| CN115840238A (zh) | 基于rdss辅助的北斗授时欺骗干扰检测方法及装置 | |
| CN111953985B (zh) | 一种基于tof深度相机的图像处理方法及可存储介质 | |
| US10079991B2 (en) | Imaging apparatus and imaging method | |
| EP1672585A1 (fr) | Procédé, dispositif et système de traitement d'images par estimation de mouvement | |
| CN113256539A (zh) | 深度图像的去混叠方法、装置、设备及计算机存储介质 | |
| US10223608B2 (en) | Optical communication apparatus, optical communication system, and optical communication method | |
| US6408101B1 (en) | Apparatus and method for employing M-ary pyramids to enhance feature-based classification and motion estimation | |
| US7548277B2 (en) | Device and method for estimating the noise of a video signal | |
| JP2004096752A (ja) | 動きベクトルを近似する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するデータ記憶媒体、該方法を実行するように適合した装置、及び該装置を備える受信機 | |
| CN111524167A (zh) | 一种移动放射源定位校正与优化方法 | |
| CN114337998B (zh) | 基于星等的星地量子密钥分发的成码量估算方法及系统 | |
| CN116309775A (zh) | 一种将基于多基的深度补全网络与slam融合的方法 | |
| CN113271170B (zh) | 基于译码辅助的vlbi数据处理方法、装置及计算机存储介质 | |
| CN115967600A (zh) | 复杂信道下无人机通信信号对齐的方法、装置和设备 | |
| Sukumar et al. | A Robust Vision-based Lane Detection using RANSAC Algorithm | |
| Agrawal et al. | Performance analysis of real time object tracking system based on compressive sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |