CN107743638A - 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统 - Google Patents

用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统 Download PDF

Info

Publication number
CN107743638A
CN107743638A CN201680019856.0A CN201680019856A CN107743638A CN 107743638 A CN107743638 A CN 107743638A CN 201680019856 A CN201680019856 A CN 201680019856A CN 107743638 A CN107743638 A CN 107743638A
Authority
CN
China
Prior art keywords
msub
navigational
mrow
depth map
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680019856.0A
Other languages
English (en)
Other versions
CN107743638B (zh
Inventor
C·舍克特
F·加西亚贝切罗
B·米尔巴赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IEE International Electronics and Engineering SA
Original Assignee
IEE International Electronics and Engineering SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IEE International Electronics and Engineering SA filed Critical IEE International Electronics and Engineering SA
Publication of CN107743638A publication Critical patent/CN107743638A/zh
Application granted granted Critical
Publication of CN107743638B publication Critical patent/CN107743638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G01S7/4866—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的方法，所述ToF传感器图像对应于在发送经调制的发送信号(s(t))之后由ToF传感器接收到的接收信号(r(t))。所述方法包括：根据所述发送信号(s(t))和所述接收信号(r(t))来计算互相关函数C(T)在多个时间上间隔的位置或相位处的值，从而得到多个相应的互相关值[C(T0),C(T1),C(T2),C(T3)]；根据所述多个互相关值[C(T0),C(T1),C(T2),C(T3)]得到深度图D，所述深度图D具有代表针对每个像素的到所述发送信号(s(t))所入射到的物体的一部分的距离的值；根据所述多个互相关值[c(T0),c(Ti),c(T2),c(T‑i)]得到引导图像(I；I’)，所述引导图像(I；I’)为具有良好限定的边缘的图像，以及基于所述深度图D和所述引导图像(I；I’)来生成输出图像D’，所述输出图像D’包括深度图D的边缘保持和平滑的形式，所述边缘保持来自于引导图像(I；I’)。所述方法可以进一步包括：对所述引导图像I进行滤波以生成去噪引导图像t；以及基于所述深度图D和所述去噪引导图像f来生成输出图像D’。所述方法可以进一步包括：基于所述多个互相关值[C(T0),C(T1),C(T2),C(T3)]来生成似真图P，所述似真图P包括针对所述深度图D的每个像素的指示所述像素是否被运动或饱和状态损坏的值；以及基于所述深度图D和所述似真图P并且基于所述引导图像I或所述去噪引导图像f来生成所述输出图像D’。

Description

用于对TOF传感器图像进行实时运动伪影处理和去噪的方法 和系统
技术领域
本发明涉及图像处理，并且更具体地涉及用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的方法和系统。
背景技术
存在需要借助于ToF传感器(例如，相机)进行准确距离计算的一系列领域和应用。由相机采集到的那些场景可以是静态的或动态的，并且在后一种情况下，在运动物体边界处出现的运动伪影可能损坏图像。
涉及准确深度测量的典型应用为人机交互(其中，寻求用于手势识别的快速手分割)和汽车相关的应用(其中，执行占用分类、头部姿势估计和/或环境感知)。其它应用对于技术人员而言将是显而易见的。
基于解调锁定像素的ToF相机通过所发出的调制近红外(NIR)信号与所接收到的调制近红外(NIR)信号之间的相移来估计深度，其中需要四个顺序的相移图像，即“四次敲击”技术。
常规的ToF工作原理假设场景在该时间间隔期间为静止的。然而在实际情况下，涉及与动态场景中的物体边界一起出现的不可靠的深度测量，尤其是在快速运动时。
提出了若干方案来解决TOF相机的运动伪影负面影响。它们主要被分类为两个主要种类：(1)基于像素的校正以及(2)基于流程计算的校正。
在Hussmann,S.、Hermanski,A.、和Edeler,T.(2010)的“Real-time motionsuppression in TOF range images”(IEEE Instrumentation & MeasurementTechnology Conference Proceedings,pp.697–701,2010)中，作者介绍了一种补偿传送带上的物体线性运动的方法。在深度计算之前对线性移动进行测量并且在四个相移图像上对线性移动进行补偿。然而，其方案被限制为在相机视场的范围内的线性运动。
Schmidt,M.的“Analysis Modeling and Dynamic Optimization of 3D Time-of-Flight Imaging Systems”(PhD Thesis,Natural Sciences and for Mathematics ofthe Ruperto-Carola University of Heidelberg,Germany,2011)提出了一种通过分析突发模式中所需的N倍的四个相移图像的集合的时间关系(N为集合的大小)来检测和校正每个像素的运动。该方法受到ToF相机硬件规范的约束，其必须提供N倍的四个相移图像的集合。
最近以来，Lee,S.的“Time-of-Flight Depth Camera Motion Blur Detectionand Deblurring”(Signal Processing Letters,IEEE,21(6),663–666,2014)已经提出了新的基于像素的校正。作者开发了允许对被损坏的相移图像对的校正的若干量度。然而，该方法仅适用于积分时间被分为两个阶段(即同时记录相移图像对)的那些ToF相机。
在Hoegg,T.、Lefloch,D.、和Kolb的“A.Real-Time Motion ArtifactCompensation for PMD-ToF Images”(Lecture Notes in Computer Science,pp.273–288,2013)中，作者使用由四个相移图像生成的估计流场来补偿每个像素的线性运动。类似地，在Lindner,M.和Kolb,A.的“Compensation of Motion Artifacts for Time-of-Flight Cameras”(Lecture Notes in Computer Science,Vol.5742,pp.16–27,2009)中，光流还在连续的相移图像之间进行计算以便在深度计算之前补偿运动。因此，该方法需要三个光流计算，而这使得该方法对于实时应用是不切实际的。
在Lefloch,D.、Hoegg,T.,、Kolb,A.的“Real-time motion artifactscompensation of ToF sensors data on GPU”(Proceedings of SPIE Vol.8738,2013)中，作者通过用多项式近似法代替第三光流降低了前述方法的复杂度。然而，实时性能仍然存在问题。
技术问题
关于已知方法的问题在于解决由于场景中运动的物体而产生的运动伪影，具体而言如何实现对由于运动伪影或饱和而产生的被损坏的深度像素的鲁棒检测。
另外的问题在于如何实现实时性能，从而能够进行进一步处理，例如手势识别或头部姿势估计。
关于已知方法的另外的问题在于如何在保持边缘时实现去噪。
另外的问题在于如何选择引导图像以重新构建运动物体的边界。
关于已知方法的另外的问题在于如何实现从引导图像中去噪和去纹理。
因此，需要用于解决与ToF相机的工作原理相关的运动伪影的有效实时方案。
本发明的目的在于提供解决前述问题中的至少一些并提供用于对ToF传感器图像进行实时运动伪影处理和去噪的改进的技术的系统和方法。
发明内容
根据本发明的一方面，提供了一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的方法，ToF传感器图像对应于在发送经调制的发送信号(s(t))之后由ToF传感器接收到的接收信号(r(t))，所述方法包括：根据发送信号(s(t))和接收信号(r(t))来计算互相关函数c(τ)在多个时间上间隔的位置或相位处的值，从而得到多个相应的互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]；根据多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到深度图D，深度图D具有代表针对每个像素的到发送信号(s(t))所入射到的物体的一部分的距离的值；根据多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到引导图像(I；I’)；以及基于深度图D和引导图像(I；I’)来生成输出图像D’。优选地，引导图像(I；I’)是具有良好限定的边缘的图像。优选地，输出图像D’包括深度图D的边缘保持和平滑的形式，边缘保持来自于引导图像(I；I’)。
所述方法可以包括连续获得多个相移图像，每个相移图像对应于相应的时间上间隔的位置或相位。所述相移图像可以包括振幅图像。
每个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]可以对应于多个相移图像中的一个，并且引导图像(I；I’)由相移图像生成。
得到引导图像的步骤包括：基于一个或多个预定标准，从多个先前获得的相移图像中选择相移图像作为所述引导图像。所述预定标准可以包括：(ⅰ)相移图像具有通过运动伪影而退化的物体的最大振幅，(ⅱ)相移图像具有最大物体边缘锐度值，(ⅲ)相移图像具有最佳边缘对比度和/或图像SNR，(ⅳ)相移图像具有最大平均空间振幅或(ⅴ)未损坏的相移图像被选择为引导图像。
所述方法可以包括使用引导滤波器(GF)来将有效深度测量应用于先前标识的由于运动伪影而产生的损坏深度像素。
生成输出图像D’的步骤可以包括如下确定输出图像D’：
在一个实施例中，生成输出图像D’包括：对引导图像I进行滤波以生成去噪引导图像I’；以及基于深度图D和去噪引导图像I’来生成输出图像D’。对引导图像I进行滤波以生成去噪引导图像I’的步骤可以包括使用引导滤波器来执行所述滤波。
生成输出图像D’的步骤可以进一步包括：基于多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]来生成似真图P，所述似真图P包括针对深度图D的每个像素的指示像素是否被运动或饱和状态损坏的值；以及基于深度图D和似真图P并且基于引导图像I或去噪引导图像I’来生成输出图像D’。生成似真图P的步骤可以包括针对每个像素确定量度pi，量度pi代表与互相关函数的正弦模型的相移振幅的偏差。量度pi可以包括：
pi＝|c(τ1)-c(τ0)-c(τ2)+c(τ3)|/(α+α)
其中，α为在振幅a为低时防止pi的高值的正则化参数。似真图P可以具有值pi，对于每个像素i如下：
其中，δ为运动阈值，高于该阈值则检测到像素i处的运动。可以通过空场景或无运动场景中的ToF传感器进行采集来确定运动阈值δ。
在一个实施例中，对引导图像I进行滤波以得到去噪引导图像I’包括：将边缘保持去噪滤波器应用于引导图像I，借此引导图像I的边缘信息和降噪被转移到输出图像D’。
在一个实施例中，对引导图像I进行滤波包括使用以下等式来得到去噪引导图像I’：
其中
其中，
其中，
为wk中I的方差，
|w|为wk中像素的数量，
ε为不利于大ak的正则化参数，并且
为wk中I的平均数。
在一个实施例中，生成输出图像D’包括根据以下等式生成输出图像D’：
其中
并且
为由图P加权的wk中D的平均数，
|w|为以像素i为中心的窗wi中像素的恒定数量，
为wk中像素的数量，其中似真度为1，并且
其中，
输出图像D’可以包括深度图D的形式，替代地或另外地，运动伪影和/或噪音已经被抑制或从中去除。
互相关函数c(τ)可以如下计算：
其中，s(t)为由s(t)＝1+cos(ωt)给出的发送信号，
r(t)为由给出的接收信号，
ω＝2πfm为角度调制频率，
fm为调制频率，并且
h为背景光加上发送信号的未调制的部分
互相关值[c(τ0),C(τ1),C(τ2),C(τ3)]可以由c(τ)确定，其中，四个样本(τk),k＝0,..,3取自于调制周期T内的四个连续的时间间隔 在一个实施例中，针对深度图D的每个像素的距离测量d如下获得：
其中，
光速，
L为ToF传感器的工作范围或无模糊距离范围，并且
所述方法可以进一步包括得到由A＝[aij]m×n限定的振幅图像A，其中aij如下限定：
其中，c(τ0),C(τ1),C(τ2),C(τ3)为互相关值。
在一个实施例中，四个互相关值[c(τ0),C(τ1),C(τ2),C(τ3)]通过互相关函数c(τ)来计算。
根据本发明的另一方面，提供了一种可编程图像处理系统，其在适当地编程时用于执行根据前述权利要求中的任一项所述的方法，所述系统包括用于接收或存储所述接收信号(r(t))和发送信号(s(t))的电路，以及用于执行所述方法的处理电路。
根据本发明的另一方面，提供了一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的系统，ToF传感器图像对应于在发送经调制的发送信号(s(t))之后由ToF传感器接收到的接收信号(r(t))，所述系统包括：用于接收或存储所述接收信号(r(t))和发送信号(s(t))的电路；以及处理电路，其耦合到用于接收或存储所述接收信号(r(t))和发送信号(s(t))的所述电路，所述处理电路能够操作用于：根据发送信号(s(t))和接收信号(r(t))来计算多个时间上间隔的位置或相位处的互相关函数c(τ)的值，从而得到多个相应的互相关值[c(τ0),C(τ1),C(τ2),C(τ3)]；根据多个互相关值[c(τ0),C(τ1),C(τ2),C(τ3)]得到深度图D，深度图D具有代表针对每个像素的到发送信号(s(t))所入射到的物体的一部分的距离的值；根据多个互相关值[c(τ0),C(τ1),C(τ2),C(τ3)]得到引导图像(I；I’)，引导图像(I；I’)是具有良好限定的边缘的图像；以及基于深度图D和引导图像(I；I’)来生成输出图像D’，输出图像D’包括深度图D的边缘保持和平滑的形式，边缘保持来自于引导图像(I；I’)。
根据本发明的另一方面，提供了一种能够记录、能够写入或能够存储的介质，在其上记录或存储有限定指令或能够转换成指令的数据，所述指令用于通过处理电路执行并且至少对应于所附权利要求的权利要求1至24中的任一项所述的步骤。
根据本发明的另一方面，提供了一种服务器计算机，其包含通信设备和存储器设备并且适用于按要求传输或者以其它方式传输限定指令或能够转换成指令的数据，所述指令用于通过处理电路执行并且至少对应于所附权利要求的权利要求1至24中的任一项所述的步骤。
在以上方面和实施例中的每个中，发出/发送信号和接收信号可以包括经调制的近场红外(NIR)信号。
在某些实施例中，提供了用于标识出所产生的深度图中的那些突出(例如不可靠)的像素的鲁棒方法。继而，使用引导滤波器(GF)和由先前获得的顺序相移图像生成的准确引导图像，它们的值被最接近的可靠值代替。
如实施例中所使用的，GF呈现与替代的边缘保持滤波器(例如广泛使用的双边滤波器(BF))相比更好性能的近边缘，而主要优点为快速且非近似线性时间算法。
本发明令人满意地解决了运动影响，即使是在极端的条件下。
相比于上述现有技术运动伪影补偿方法，本文中所公开的技术仅需要未损坏的相移图像(被认为是引导图像)，而不考虑ToF相机架构和计算距离的方式。另外，在没有GPU上的并行计算的情况下实现了实时性能。
至少在实施例中，本发明的优点在于解决了来自深度图的实时运动伪影。根据考虑例如图像SNR和边缘对比度的标准，从所选择的4个相移振幅的其中之一中提取物体形状。该相移振幅被用作用于边缘保持去噪滤波器的引导图像，以便重新构建通过运动伪影而退化的物体深度。在现有技术中，
a.对每个像素执行运动校正，而不考虑深度图的空间关系，并且通常在深度被校正时创建了如噪音之类的其它伪影，或者
b.使用四个相移振幅之间的像素相关性方法由空间分析来进行运动校正，但不与实时应用兼容(基于密集光流的方法)。
至少在实施例中，另外的优点在于对深度图的边缘保持空间去噪。引导图像借助于专用边缘保持去噪滤波器来进行滤波。引导图像的降噪被转移到处于运动伪影抑制阶段中的深度图。在现有技术中，空间去噪被直接应用于深度图。深度图的空间去噪理想地需要在由边缘保持滤波器进行去噪之前从深度图中清除伪影(运动伪影、渡越的像素伪影)，以避免空间伪影传播的风险。在所提出的方法中，通过从所选择的经处理的相移振幅图像转移降噪来对深度图进行去噪。相移振幅不会经受如深度图所经受的一样的伪影，并且因此，物体边缘通常更好限定(无渡越像素)。
至少在实施例中，另外的优点在于对引导图像的选择以重新构建深度图中的运动物体的边界。引导图像被限定为4个相移振幅中的一个。根据4个相移振幅图像，使用质量标准或标准的组合、最少考虑边缘对比度和图像SNR来选择最佳引导图像。
至少在实施例中，另外的优点在于引导图像去噪和去纹理的过程。该图像需要专用的处理
a.去除可能转移到经校正的深度图的不期望的伪影，以及
b.在保持物体边界的同时降噪。
至少在实施例中，另外的优点在于通过运动或饱和状态来检测损坏的像素。量度用于测量深度图的每个像素被运动伪影或饱和状态损坏的似真度。
至少在实施例中，另外的优点在于本发明实现了增加积分时间(即采集4个相移图像的时间段)，以便增加深度准确性。这进而可能引起可由所述方法处理的运动伪影。
至少在实施例中，另外的优点在于本发明还应用于基于时间滤波而增加深度准确性的方法，即结合若干深度图以便增加深度准确性的方法。经结合的深度图之间未匹配的深度像素(由于运动物体)导致了运动伪影，所述运动伪影也可以通过使用本发明的实施例来解决。
附图说明
现在将参考附图通过示例的方式描述本发明的优选实施例，在附图中：
图1(现有技术)示出了根据ToF相机的已知工作原理的(a)物体照度和图像采集的示意图，(b)针对发送信号(s(t))和接收信号(r(t))的经调制的信号强度的曲线图，以及(c)对通过发送信号(s(t))和接收信号(r(t))计算出的互相关c(τ)函数的四个时刻进行采样；
图2示意性地示出了根据本发明的实施例的如图1所示地获得的处理信号的架构；
图3示出了(a)原始引导图像I，以及(b)使用图2的系统得到的经处理的(去噪的)引导图像I’；以及
图4示出了(a)输入深度图D，以及(b)使用图2的系统得到的经处理的(产生的)深度图D’。
具体实施方式
如本文中所使用的，“图像”或“图像信号”可以是模拟的或数字的，并且可以经受常规的模拟或数字滤波。
本文中对涉及“图像”的步骤、操作或操控等进行参考，这些在适当的情况下借助于对这种“图像”的电可处理表示(例如，视频帧信号的所采集到的静止照片、比特流视频数据、MPEG文件或视频流、PC视频或任何其它可采集的或可视数据格式)的操作来实施。
本文中对涉及“图像”“图像信号”或“图像数据”的步骤、操作或操控等进行参考，这些在适当的情况下借助于软件受控处理器操作、硬件电路或任何适合的这些的组合来实施。
虽然本发明适当地体现在计算机系统中，但其也可以被包含在以下设备中：适配器、图像处理器、或位于图像源或图像采集设备与显示设备(例如，LCD、等离子体、投影仪等)之间的或包含图像源或图像采集设备和显示设备的任何其它配件、或显示器本身。计算机系统适当地包括处理器，所述处理器耦合(例如，在适当的情况下经由DAV和ADC或其它接口)到RAM、ROM、储存设备、图像采集和/或图像储存设备、显示驱动器和显示设备、数据通信以及其它外围设备，如本领域技术人员所公知的；因此，这些将不会进一步示出或讨论。
在下文中，简要地讨论了ToF工作原理，以有助于理解本发明。
渡越时间原理
图1(a)(现有技术)示出了根据ToF相机的已知工作原理的物体照度和图像采集的示意图。
ToF相机102包括调制元件104，调制元件104生成传送或发送信号s(t)，传送或发送信号s(t)由光发射器106发出以作为经调制的NIR照明信号108。NIR照明信号108入射到所感测的场景内的物体110上，而由物体110反射的反射光信号在传感器(例如，2D CCD阵列)112处作为接收信号r(t)被接收。
同样在ToF相机102内，相位延迟元件114接收发送信号s(t)并对其施加相位延迟，从而输出相位延迟信号s(t+τ)，其中τ为相位延迟。传感器112内或耦合到传感器112的处理电路(未示出)继而基于相位延迟信号s(t+τ)和接收信号r(t)来计算互相关函数c(τ)，如以下更详细讨论的。
如图1(a)中所示，基于解调锁定像素的ToF相机102通过所发送的调制近红外(NIR)信号(s(t))与所接收到的调制近红外(NIR)信号(r(t))之间的相位差来提供距离测量。通过同步解调传感器/检测器内的接收信号(r(t))来获取输入的调制接收信号(r(t))的幅度和相位。
图1(b)(现有技术)示出了根据ToF相机的已知工作原理的针对发送信号(s(t))和接收信号(r(t))的经调制的信号强度的曲线图。进行幅度a和相位φ的接收(调制)信号r(t)与发出的调制信号s(t)之间的互相关。接收信号(r(t))的相位φ可以通过在选择性选取的时间位置或相位处测量互相关函数c(τ)来确定。信号s(t)和r(t)被假定为正弦的，并且可以如下表示：
s(t)＝1+cos(ωt)
其中，ω＝2πfm为角度调制频率，fm为调制频率，并且h为背景光加上所入射信号的未调制的部分；波长及其关系如图1(b)中所示。
互相关函数c(τ)如下进行计算：
通常需要每个调制周期T的c(τ)的三个或更多个样本以便明确地确定所入射信号的相位φ和振幅a、以及其偏移h。在本文中所公开的实施例中，使用了所谓的四次敲击技术，其中，四个样本(τk),k＝0,..,3取自于调制周期T内的间隔图1(c)(现有技术)示出了对通过发送信号(s(t))和接收信号(r(t))计算出的互相关c(τ)函数的四个时刻进行采样。如此，
在本文中所公开的实施例中，选取了四个样本而非三个，以(ⅰ)针对噪音提高鲁棒性，(ⅱ)实现传感器的高度对称的设计，(ⅲ)确保相位对检测中的二次非线性，并且(ⅳ)简化相位φ、振幅a和偏移h的公式。
基于经调制的NIR光的ToF相机102的工作原理解析了四个相移图像的距离计算。理想地，将同时获得四个相移图像，但实际上获得四个相依图像是按顺序完成。这进而可能导致由于运动而产生的在非匹配的原始相位值得那些区域中(即，沿着物体边界和在不均匀反射表面内)的错误距离计算，物体运动得越快、物体越靠近ToF相机102、以及场景暴露得越多(积分时间越高)，则错误距离计算越突出。因此，针对静态场景或具有缓慢运动的物体的场景可以设置更大的积分时间，这可以增加深度准确率，然而尽管增大了噪音，针对具有快速运动的物体的高度动态场景可以设置短积分时间以便避免运动伪影。
图1(a)中的物体110的距离测量d如下获得：
其中，光速，并且L为ToF相机102的工作范围或无模糊距离范围：
因数1/2是因为光经过相机102与感测的物体110之间的距离两次的事实。
如将由本领域技术人员意识到的，ToF相机102包含图像传感器112，其尺寸对应于相机分辨率(m x n)。因此，构成图像传感器112的每单个像素由像素位置(i,j)标识，其中i指示行并且j指示列。每个像素测量到物体110(或其相应的离散部分)的距离dij。因此，ToF相机102提供了被限定为D＝[dij]m×n距离图像或深度图D，所有元素的矩阵dij。
以相同的方式，振幅图像A被限定为A＝[aij]m×n。
图2示意性地示出了根据本发明的实施例的如图1中所示地获得的用于处理信号的架构或系统200。处理可以涉及信号生成、数学处理以及如以上针对图1所述的信号和参数表示，除了在下文中另行描述的以外。
简要地来说，根据相关函数c(τ)的值[c(τ0),C(τ1),C(τ2),C(τ3)]，由深度图模型204得到深度图D，深度图D对于其每个像素包括到所入射发送信号的物体的距离。同样基于相关函数c(τ)的值[c(τ0),C(τ1),C(τ2),C(τ3)]，引导图像I由引导图像模块206生成，并且在优选实施例中，去噪引导图像I’在引导图像去噪模块208处由引导图像I生成。(然而在优选实施例中，可以使用引导图像I)。最终，基于深度图D和引导图像I或更优选的去噪输出图像I’，由运动伪影处理模块210生成并输出了输出图像(经处理的深度图)D’。在进一步优选的实施例中，似真图生成模块212生成了似真图P；并且基于(ⅰ)深度图D、(ⅱ)似真图P以及(ⅲ)引导图像I或更优选的去噪输出图像I’，由运动伪影处理模块210生成并输出了输出图像(经处理的深度图)D’。
图2中的各个模块的处理将在下文中进一步详细讨论。
引导滤波器
在该章节中，简要地讨论了引导滤波器(GF)(本发明所采用的实施例)：这用于(1)在去噪模块208中将引导图像去噪，以及(2)对先前标识的由于运动伪影而产生的损坏深度像素设置有效深度测量值。
在优选实施例中，相比于广泛使用的双边滤波器，GF为新的边缘保持平滑滤波器，呈现了具有快速且非近似线性时间算法(O(N)时间)的主要优点的更好性能的近边缘，而不考虑内核尺寸和强度范围。
给出了深度图D和引导图像I，由I和平滑形式的D产生的边缘保持(即D’)如下表示：
其中
其中，
其中，
为假定在wk中恒定的线性参数。和分别为wk中I的平均数和方差，|w|为wk中的像素数量并且ε为不利于大ak的正则化参数。 为wk中D的平均数。
对窗大小wk的选择可以根据应用来完成：对于图像细节增强其可以是小的以便增强薄的细节，并且对于结构转移滤波是大的。平滑等级由参数ε给出。
似真图
距离计算所采集的四个相移图像的每个像素为互相关函数c(τ)在发送正弦调制信号s(t)与接收正弦调制信号r(t)之间的样本[c(τ0),C(τ1),C(τ2),C(τ3)]，如图1中所示。因此，如果运动出现在该采集时间段期间，则互相关函数c(τ)的时间依赖性将使其假定正弦本质无效。确实，每个样本将位于不同的正弦曲线上，从而消除样本之间的关系。
根据实施例，受运动影响的像素i由以下量度标识
pi＝|c(τ1)-c(τ0)-c(τ2)+c(τ3)|/(α+α)
其中，α为在振幅a为低时防止pi的高值的正则化参数。
在该实施例中，如果其似真度大于阈值δ，则检测到像素i处的运动：
其中，δ为运动阈值。可以通过由ToF相机102记录空场景或无运动场景来容易地得到或调整运动阈值δ的值。
引导图像选择和处理
需要具有良好限定且尖锐的边缘的引导图像I来调整受运动伪影影响的D中的物体边界。在图2中的引导图像模块中执行对引导图像的选择。
如果在本文中假定在每个相移图像c(τi)采集期间的运动是可忽略的，则四个相移图像中的任一个可以被认为是引导图像。然而，由于每个相移图像对应于互相关函数c(τ)在发送调制信号s(t)与接收调制信号r(t)之间的采样，具有最大强度的相移图像将具有最佳SNR，并且从而具有物体边界处的最佳对比度。因此，在实施例中，具有最大平均空间幅度的相移图像继而被选择为引导图像I。另外的步骤被优选地完成以便避免将噪音从I转移到经滤波的D。即，使用GF对引导图像I进行滤波，其中，引导图像和要滤波的图像相同，即：
其中
其中，
其中，
为wk中I的方差，|w|为wk中像素的数量，ε为不利于大ak的正则化参数，并且为wk中I的平均数。
图3示出了(a)原始引导图像I，以及(b)使用图2的系统的引导图像模块206得到的经处理的(去噪的)引导图像I’(作为示例性图像)。
深度运动伪影抑制算法
回到图2，这示出了用于运动伪影处理(具体而言，在实施例中使用运动伪影处理模块210)的方法的流程图。针对在运动伪影处理模块210处进行处理，整合似真图P并使用引导图像I’的专用GF如下限定：
其中
并且为由图P加权的wk中D的平均数，|w|为以像素i为中心的窗wi中的像素的恒定数量，为wk中像素的数量，其中，似真度为1，其中，
图4示出了(a)输入深度图D，以及(b)使用图2的系统得到的经处理的(所产生的)深度图D’(作为图3的示例性图像)。图像质量(例如，锐度、边缘清晰度、降噪)的提高显而易见。
虽然已经通过参考在其相应实施方式中具有各种部件的实施例来描述实施例，但将要意识到其它实施例利用这些和其它部件的其它组合和排列。
此外，实施例中的一些在本文中被描述为可以由计算机系统的处理器或执行功能的其它模块来实施的方法或方法要素的组合。因此，用于执行这样的方法或方法要素的必要指令的处理器形成了用于执行方法或方法要素的模块。此外，出于执行本发明的目的，装置实施例的本文中所述的要素是用于实行由元件执行的功能的模块的实施例。
在本文中所提供的描述中，阐述了多个具体细节。然而，要理解的是可以在没有这些具体细节的情况下实践本发明的实施例。在其它实例中，并未详细示出公知的方法、结构和技术以免使该描述难以理解。
因此，虽然已经描述了本发明的优选实施例所确信的内容，但本领域技术人员将认识到可以对其作出其它和另外的修改而不脱离本发明的范围，并且旨在要求保护如落在本发明的范围内的所有这样的变化和修改。例如，以上所给出的任何公式仅代表可以使用的程序。可以向方框图添加或从方框图中删除功能，并且可以在功能块当中互换操作。在本发明的范围内，可以对所述方法添加或删除步骤。

Claims (28)

1.一种方法，其用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪，所述ToF传感器图像对应于在发送经调制的发送信号(s(t))之后由ToF传感器接收到的接收信号(r(t))，所述方法包括：
根据所述发送信号(s(t))和所述接收信号(r(t))来计算互相关函数c(τ)在多个时间上间隔的位置或相位处的值，从而得到多个相应的互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]；
根据所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到深度图D，所述深度图D具有代表针对每个像素的到所述发送信号(s(t))所入射到的物体的一部分的距离的值；
根据所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到引导图像(I；I’)，所述引导图像(I；I’)为具有良好限定的边缘的图像，以及
基于所述深度图D和所述引导图像(I；I’)来生成输出图像D’，所述输出图像D’包括深度图D的边缘保持和平滑的形式，所述边缘保持来自于引导图像(I；I’)。
2.根据权利要求1所述的方法，包括连续获得多个相移图像，每个相移图像对应于相应的时间上间隔的位置或相位。
3.根据权利要求1或2所述的方法，其中，每个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]对应于多个相移图像中的一个，并且所述引导图像(I；I’)是从所述相移图像生成的。
4.根据权利要求2或3所述的方法，其中，所述相移图像包括振幅图像。
5.根据前述权利要求中的任一项所述的方法，其中，得到所述引导图像包括：基于一个或多个预定标准，从多个先前获得的相移图像中选择相移图像作为所述引导图像。
6.根据权利要求5所述的方法，其中，所述预定标准包括将具有如下特征的所述相移图像选择为所述引导图像：(ⅰ)具有通过运动伪影而退化的所述物体的最大振幅，(ⅱ)具有最大物体边缘锐度值，(ⅲ)具有最佳边缘对比度和/或图像SNR，(ⅳ)具有最大平均空间振幅或(ⅴ)未损坏。
7.根据前述权利要求中的任一项所述的方法，包括使用引导滤波器(GF)来将有效深度测量应用于先前标识的由于运动伪影而导致的损坏深度像素。
8.根据前述权利要求中的任一项所述的方法，其中，生成输出图像D’包括如下确定所述输出图像D’：
<mrow> <msub> <msup> <mi>D</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>=</mo> <msub> <mover> <mi>a</mi> <mo>&amp;OverBar;</mo> </mover> <mi>&amp;iota;</mi> </msub> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>+</mo> <mover> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>.</mo> </mrow>
9.根据前述权利要求中的任一项所述的方法，其中，生成输出图像D’包括：
对所述引导图像I进行滤波以生成去噪引导图像I’；以及
基于所述深度图D和所述去噪引导图像I’来生成输出图像D’。
10.根据权利要求9所述的方法，其中，对所述引导图像I进行滤波以生成去噪引导图像I’包括使用引导滤波器来执行所述滤波。
11.根据前述权利要求中的任一项所述的方法，其中，生成输出图像D’进一步包括：
基于所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]来生成似真图P，所述似真图P包括针对所述深度图D的每个像素的指示所述像素是否被运动或饱和状态损坏的值；以及
基于所述深度图D和所述似真图P并且基于所述引导图像I或所述去噪引导图像I’来生成所述输出图像D’。
12.根据权利要求11所述的方法，其中，生成所述似真图P包括针对每个像素确定量度pi，所述量度pi代表与所述互相关函数的正弦模型的相移振幅的偏差。
13.根据权利要求12所述的方法，其中，所述量度pi包括：
pi＝|c(τ1)-c(τ0)-c(τ2)+c(τ3)|/(α+α)
其中，α为在振幅a为低时防止pi的高值的正则化参数。
14.根据权利要求12或13所述的方法，其中，所述似真图P具有值Pi，对于每个像素i如下：
其中，δ为运动阈值，高于该阈值则在像素i处检测到运动。
15.根据权利要求14所述的方法，其中，通过由空场景或无运动场景的ToF传感器进行采集来确定δ。
16.根据权利要求9或引用权利要求9的任何权利要求所述的方法，其中，对所述引导图像I进行滤波以得到所述去噪引导图像I’包括：
将边缘保持去噪滤波器应用于引导图像I，借此所述引导图像I的边缘信息和降噪被转移到所述输出图像D’。
17.根据权利要求9或引用权利要求9的任何权利要求所述的方法，其中，对所述引导图像I进行滤波包括使用以下等式来得到去噪引导图像I’：
<mrow> <msubsup> <mi>I</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>=</mo> <msub> <mover> <mi>a</mi> <mo>&amp;OverBar;</mo> </mover> <mi>&amp;iota;</mi> </msub> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mover> <mi>b</mi> <mo>&amp;OverBar;</mo> </mover> <mi>&amp;iota;</mi> </msub> <mo>,</mo> </mrow>
其中
其中，
其中，
σk 2为wk中I的方差，
|w|为wk中像素的数量，
ε为不利于大ak的正则化参数，并且
为wk中I的平均数。
18.根据引用权利要求9和11的任一项的前述权利要求以及任一项进一步引用引用权利要求9和11的任一项的前述权利要求的权利要求所述的方法，其中，生成输出图像D’包括根据以下等式生成输出图像D’：
<mrow> <msub> <msup> <mi>D</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> <mo>=</mo> <msub> <mover> <mi>a</mi> <mo>&amp;OverBar;</mo> </mover> <mi>&amp;iota;</mi> </msub> <msubsup> <mi>I</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>+</mo> <msub> <mover> <mi>b</mi> <mo>&amp;OverBar;</mo> </mover> <mi>&amp;iota;</mi> </msub> <mo>,</mo> </mrow>
其中
<mrow> <mover> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <mi>w</mi> <mo>|</mo> </mrow> </mfrac> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>&amp;Element;</mo> <msub> <mi>w</mi> <mi>i</mi> </msub> </mrow> </msub> <mfrac> <mrow> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> </mrow> </mfrac> <msub> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> </mrow> </msub> <msubsup> <mi>I</mi> <mi>j</mi> <mo>&amp;prime;</mo> </msubsup> <msub> <mi>D</mi> <mi>j</mi> </msub> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mover> <mi>I</mi> <mo>&amp;OverBar;</mo> </mover> <mi>k</mi> </msub> <msub> <mover> <mi>D</mi> <mo>&amp;OverBar;</mo> </mover> <mi>k</mi> </msub> </mrow> <mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>k</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;epsiv;</mi> </mrow> </mfrac> <mo>,</mo> </mrow>
并且
为由所述图P加权的wk中D的平均数，
|w|为以像素i为中心的窗wi中像素的恒定数量，
为wk中像素的数量，其中似真度为1，并且
其中，
19.根据前述权利要求中的任一项所述的方法，其中，所述输出图像D’包括深度图D的形式，替代地或另外地，已经从所述深度图D的形式抑制或去除了运动伪影和/或噪音。
20.根据前述权利要求中的任一项所述的方法，其中，所述互相关函数c(τ)可以如下计算：
其中，s(t)为由s(t)＝1+cos(ωt)给出的发送信号，
r(t)为由给出的接收信号，
ω＝2πfm为角度调制频率，
fm为调制频率，并且
h为背景光加上所述发送信号的未调制的部分。
21.根据权利要求20所述的方法，其中，根据c(τ)将所述互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]确定为取自于调制周期T内的四个连续的时间间隔的四个样本(τk),k＝0,..,3。
22.根据权利要求21所述的方法，其中，针对所述深度图D的每个像素的距离测量d如下获得：
<mrow> <mi>d</mi> <mo>=</mo> <mfrac> <mi>L</mi> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> </mrow> </mfrac> <mo>.</mo> <mi>&amp;phi;</mi> </mrow>
其中，
光速，
L为ToF传感器的工作范围或无模糊距离范围，并且
23.根据权利要求4或引用权利要求4的任何权利要求所述的方法，其中，振幅图像A被限定为A＝[aij]m×n，其中，aij如下确定：
<mrow> <mi>a</mi> <mo>=</mo> <mn>1</mn> <mo>/</mo> <mn>2</mn> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>c</mi> <mo>(</mo> <msub> <mi>&amp;tau;</mi> <mn>3</mn> </msub> <mo>)</mo> <mo>-</mo> <mi>c</mi> <mo>(</mo> <msub> <mi>&amp;tau;</mi> <mn>1</mn> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>c</mi> <mo>(</mo> <msub> <mi>&amp;tau;</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>-</mo> <mi>c</mi> <mo>(</mo> <msub> <mi>&amp;tau;</mi> <mn>2</mn> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
其中，c(τ0),c(τ1),c(τ2),c(τ3)为所述互相关值。
24.根据前述权利要求中的任一项所述的方法，其中，根据所述互相关函数c(τ)来计算四个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]。
25.一种可编程图像处理系统，其在适当地编程时用于执行根据前述权利要求中的任一项所述的方法，所述系统包括用于接收或存储所述接收信号(r(t))和所述发送信号(s(t))的电路，以及用于执行所述方法的处理电路。
26.一种用于对渡越时间(ToF)传感器图像进行实时运动伪影处理和去噪的系统，所述ToF传感器图像对应于在发送经调制的发送信号(s(t))之后由ToF传感器接收到的接收信号(r(t))，所述系统包括：
用于接收或存储所述接收信号(r(t))和所述发送信号(s(t))的电路；
处理电路，其耦合到用于接收或存储所述接收信号(r(t))和所述发送信号(s(t))的所述电路，所述处理电路能够操作用于：
根据所述发送信号(s(t))和所述接收信号(r(t))来计算多个时间上间隔的位置或相位处的互相关函数c(τ)的值，从而得到多个相应的互相关值[c(τ0)，c(τ1),c(τ2),c(τ3)]；
根据所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到深度图D，所述深度图D具有代表针对每个像素的到所述发送信号(s(t))所入射到的物体的一部分的距离的值；
根据所述多个互相关值[c(τ0),c(τ1),c(τ2),c(τ3)]得到引导图像(I；I’)，所述引导图像(I；I’)是具有良好限定的边缘的图像；以及
基于所述深度图D和所述引导图像(I；I’)来生成输出图像D’，所述输出图像D’包括深度图D的边缘保持和平滑的形式，所述边缘保持来自于引导图像(I；I’)。
27.一种能够记录、能够写入或能够存储的介质，在其上记录或存储有限定指令或能够转换成指令的数据，所述指令用于通过处理电路执行并且至少对应于权利要求1至24中的任一项所述的步骤。
28.一种服务器计算机，其包含通信设备和存储器设备并且适用于按要求传输或者以其它方式传输限定指令或能够转换成指令的数据，所述指令用于通过处理电路执行并且至少对应于权利要求1至24中的任一项所述的步骤。
CN201680019856.0A 2015-04-01 2016-03-29 用于实时运动伪影处理和去噪的方法和系统 Active CN107743638B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
LU92688A LU92688B1 (en) 2015-04-01 2015-04-01 Method and system for real-time motion artifact handling and noise removal for tof sensor images
LU92688 2015-04-01
PCT/EP2016/056788 WO2016156308A1 (en) 2015-04-01 2016-03-29 Method and system for real-time motion artifact handling and noise removal for tof sensor images

Publications (2)

Publication Number Publication Date
CN107743638A true CN107743638A (zh) 2018-02-27
CN107743638B CN107743638B (zh) 2021-10-26

Family

ID=53016731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019856.0A Active CN107743638B (zh) 2015-04-01 2016-03-29 用于实时运动伪影处理和去噪的方法和系统

Country Status (5)

Country Link
US (1) US11215700B2 (zh)
CN (1) CN107743638B (zh)
DE (1) DE112016001560T5 (zh)
LU (1) LU92688B1 (zh)
WO (1) WO2016156308A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097513A (zh) * 2019-04-16 2019-08-06 北京工业大学 一种基于脉冲型ToF深度图像去噪的方法
CN110400360A (zh) * 2019-07-25 2019-11-01 北京航空航天大学 一种基于全卷积神经网络的声波渡越时间检测方法
CN110501691A (zh) * 2019-08-13 2019-11-26 Oppo广东移动通信有限公司 Tof模组的噪声滤除方法、tof模组及装置
CN111308482A (zh) * 2018-11-27 2020-06-19 英飞凌科技股份有限公司 基于编码调制图像的滤波连续波飞行时间测量
CN111710024A (zh) * 2020-03-23 2020-09-25 上海数迹智能科技有限公司 一种基于多频率多光照消除ToF相机中多径干扰的方法
CN113009508A (zh) * 2019-12-20 2021-06-22 舜宇光学（浙江）研究院有限公司 用于tof模组的多径干扰校正方法及其系统和电子设备

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024047B2 (en) * 2015-09-18 2021-06-01 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
US11796679B2 (en) 2018-05-29 2023-10-24 Sony Semiconductor Solutions Corporation Time of flight sensor and method
EP3605287A1 (en) 2018-07-31 2020-02-05 Nokia Technologies Oy An apparatus, method and computer program for adjusting output signals
EP3663801B1 (en) * 2018-12-07 2022-09-28 Infineon Technologies AG Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
DE102018222518A1 (de) * 2018-12-20 2020-06-25 Zf Friedrichshafen Ag Kamerasystem mit hoher Updaterate
US11259002B2 (en) 2019-02-15 2022-02-22 Analog Devices International Unlimited Company Time-of-flight camera and proximity detector
US11906628B2 (en) 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
WO2021252153A1 (en) 2020-06-11 2021-12-16 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
CN111782041A (zh) * 2020-06-24 2020-10-16 Oppo广东移动通信有限公司 打字方法及装置、设备、存储介质
CN112734680A (zh) * 2020-12-31 2021-04-30 合肥视涯技术有限公司 一种重影测量方法、装置、可读存储介质和计算机设备
WO2022194352A1 (en) * 2021-03-16 2022-09-22 Huawei Technologies Co., Ltd. Apparatus and method for image correlation correction
US11657523B2 (en) * 2021-03-17 2023-05-23 The Trustees Of Princeton University Microlens amplitude masks for flying pixel removal in time-of-flight imaging
US11727639B2 (en) * 2021-08-23 2023-08-15 Sony Group Corporation Shape refinement of three-dimensional (3D) mesh reconstructed from images
CN114881894B (zh) * 2022-07-07 2022-09-30 武汉市聚芯微电子有限责任公司 一种像素修复方法、装置、设备以及计算机存储介质
CN117237202A (zh) * 2022-12-26 2023-12-15 青海师范大学 基于自适应多特征融合的双重图像退化修复方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
WO2014102442A1 (en) * 2012-12-28 2014-07-03 Nokia Corporation A method and apparatus for de-noising data from a distance sensing camera
CN104025567A (zh) * 2012-10-24 2014-09-03 Lsi公司 用于消除深度伪影的图像处理方法和装置
WO2014177750A1 (en) * 2013-04-29 2014-11-06 Nokia Corporation A method and apparatus for fusing distance data from a distance sensing camera with an image
CN104395931A (zh) * 2012-11-07 2015-03-04 皇家飞利浦有限公司 图像的深度图的生成

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2018047A1 (en) * 2007-06-15 2009-01-21 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. Method for contamination detection in a TOF range camera
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
KR20120057216A (ko) * 2010-11-26 2012-06-05 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 노이즈 감소 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
LU92074B1 (en) * 2012-09-18 2014-03-19 Iee Sarl Depth image enhancement method
US10455219B2 (en) * 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
JP6587317B2 (ja) * 2013-03-22 2019-10-09 シナプティクス インコーポレイテッド ガイデットフィルタベースのディテール強調
GB2516110B (en) * 2013-07-12 2020-01-08 Barco Nv Guided image filtering for image content
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
CN104025567A (zh) * 2012-10-24 2014-09-03 Lsi公司 用于消除深度伪影的图像处理方法和装置
CN104395931A (zh) * 2012-11-07 2015-03-04 皇家飞利浦有限公司 图像的深度图的生成
WO2014102442A1 (en) * 2012-12-28 2014-07-03 Nokia Corporation A method and apparatus for de-noising data from a distance sensing camera
WO2014177750A1 (en) * 2013-04-29 2014-11-06 Nokia Corporation A method and apparatus for fusing distance data from a distance sensing camera with an image

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JI-HO CHO ET.AL: "Enhancement of Depth Maps With Alpha Channel Estimation for 3-D Video", 《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》 *
KAIMING HE ET.AL: "Guided Image Filtering", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
SEUNGHEE LEE ET.AL: "Adaptive switching filter for noise removal in highly corrupted depth maps from Time-of-Flight image sensors", 《ELECTRONIC IMAGING》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111308482A (zh) * 2018-11-27 2020-06-19 英飞凌科技股份有限公司 基于编码调制图像的滤波连续波飞行时间测量
CN111308482B (zh) * 2018-11-27 2024-05-10 英飞凌科技股份有限公司 基于编码调制图像的滤波连续波飞行时间测量
CN110097513A (zh) * 2019-04-16 2019-08-06 北京工业大学 一种基于脉冲型ToF深度图像去噪的方法
CN110400360A (zh) * 2019-07-25 2019-11-01 北京航空航天大学 一种基于全卷积神经网络的声波渡越时间检测方法
CN110501691A (zh) * 2019-08-13 2019-11-26 Oppo广东移动通信有限公司 Tof模组的噪声滤除方法、tof模组及装置
CN110501691B (zh) * 2019-08-13 2022-03-08 Oppo广东移动通信有限公司 Tof模组的噪声滤除方法、tof模组及装置
CN113009508A (zh) * 2019-12-20 2021-06-22 舜宇光学（浙江）研究院有限公司 用于tof模组的多径干扰校正方法及其系统和电子设备
CN113009508B (zh) * 2019-12-20 2023-11-07 舜宇光学（浙江）研究院有限公司 用于tof模组的多径干扰校正方法及其系统和电子设备
CN111710024A (zh) * 2020-03-23 2020-09-25 上海数迹智能科技有限公司 一种基于多频率多光照消除ToF相机中多径干扰的方法

Also Published As

Publication number Publication date
LU92688B1 (en) 2016-10-03
US11215700B2 (en) 2022-01-04
DE112016001560T5 (de) 2018-02-22
WO2016156308A1 (en) 2016-10-06
CN107743638B (zh) 2021-10-26
US20180067197A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
CN107743638A (zh) 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统
CN104104941B (zh) 三维图像获取装置以及生成深度图像的方法
US9619933B2 (en) Model and sizing information from smartphone acquired image sequences
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
CN110322419B (zh) 一种遥感图像去雾方法及系统
US8467628B2 (en) Method and system for fast dense stereoscopic ranging
Taylor et al. Multi‐modal sensor calibration using a gradient orientation measure
US9323977B2 (en) Apparatus and method for processing 3D information
CN107133627A (zh) 红外光斑中心点提取方法及装置
US20100165152A1 (en) Processing Images Having Different Focus
EP2395475B1 (en) Apparatus and method for depth unfolding based on multiple depth images
Elibol et al. A new global alignment approach for underwater optical mapping
Wu et al. Blind blur assessment for vision-based applications
Arnold et al. Map-free visual relocalization: Metric pose relative to a single image
CN105975923A (zh) 用于跟踪人体对象的方法和系统
Larsen et al. Technological innovation in the recovery and analysis of 3D forensic footwear evidence: Structure from motion (SfM) photogrammetry
Awad Toward robust segmentation results based on fusion methods for very high resolution optical image and lidar data
El Khoury et al. A spectral hazy image database
WO2019229855A1 (ja) 物体検出装置、物体検出システム、物体検出方法、およびプログラムを記録する記録媒体
US20170169576A1 (en) Crowd intelligence on flow velocity measurement
KR101824203B1 (ko) 대상 개체 계수 장치 및 대상 개체 계수 장치의 대상 개체 계수 방법
Jiang et al. Coral Detection, Ranging, and Assessment (CDRA) algorithm-based automatic estimation of coral reef coverage
Madjidi et al. On robustness and localization accuracy of optical flow computation from color imagery
Walia Uncertainty in Depth Estimation Using RGB-Gated Images
Bartels Light Sheet Depth Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant