CN112712476B - 用于tof测距的去噪方法及装置、tof相机 - Google Patents

用于tof测距的去噪方法及装置、tof相机 Download PDF

Info

Publication number
CN112712476B
CN112712476B CN202011496643.1A CN202011496643A CN112712476B CN 112712476 B CN112712476 B CN 112712476B CN 202011496643 A CN202011496643 A CN 202011496643A CN 112712476 B CN112712476 B CN 112712476B
Authority
CN
China
Prior art keywords
tof
area
ranging
range
amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011496643.1A
Other languages
English (en)
Other versions
CN112712476A (zh
Inventor
彭莎
彭杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haowei Technology Wuhan Co ltd
Original Assignee
Haowei Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haowei Technology Wuhan Co ltd filed Critical Haowei Technology Wuhan Co ltd
Priority to CN202011496643.1A priority Critical patent/CN112712476B/zh
Publication of CN112712476A publication Critical patent/CN112712476A/zh
Application granted granted Critical
Publication of CN112712476B publication Critical patent/CN112712476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种用于TOF测距的去噪方法及装置和一种TOF相机。该去噪方法和装置中，在获得存在视差的多幅光强幅值图和TOF测距图后，进行物体分割，以分别从光强幅值图和TOF测距图中的低幅值区域和高幅值区域中分割出至少一个第一区域和至少一个第二区域，且至少一个第一区域与一个第二区域的测距值差异不超过设定阈值，然后分别计算第一区域和第二区域对应的视差值并进行比较，当视差值差异在设定范围内时，判断第一区域在量程内并予以保留，当视差值差异超出设定范围，判断第一区域超出量程并将其信息排出。该去噪方法及装置可以排除TOF测距图中超出量程的区域对应的信息，有助于提高去噪效果和测量精度。所述TOF相机包括上述去噪装置。

Description

用于TOF测距的去噪方法及装置、TOF相机
技术领域
本发明涉及图像技术领域，特别涉及一种用于TOF测距的去噪方法及装置、一种TOF相机。
背景技术
3D成像技术是近年来较为热门的研究方向之一，3D相机也在许多领域得到了应用，比如手势识别、机器人等。其中，TOF(Time ofFlight，飞行时间)相机采用飞行时间法进行非接触式测距，通过给目标连续发送发射光波，然后利用传感器接收从物体返回的光(简称反射光波)，通过探测光波的飞行时间来得到目标物的距离，能够快速完成对目标的识别和追踪，深度信息可以完成对目标图像的分割、标记、识别、跟踪等应用，经过进一步深化处理，可以完成三维建模等应用，并且无需扫描设备辅助工作，因而受到广泛关注。然而，目前在采用飞行时间法进行测距获得的TOF测距图中常常存在较为明显的噪声，导致深度测量误差较大，如何降低TOF测距图中的噪声(即去噪)是TOF相机技术研究中的重要课题。
TOF测距的量程由发射光波的频率决定，并且，TOF测距图中的噪声区域与反射光波的强度有关，图1示出了不同曝光时长下的目标反射光强度和相应的测距图的关系。图1中上面一行为反射光波的光强幅值图(越暗的区域反射光幅值越低)，下面一行为与反射光波的光强幅值图一一对应的TOF测距图。图2为放大的一幅反射光波的光强幅值图。图3为与图2的反射光波的光强幅值图相对应的TOF测距图。由图1至图3可以看出，TOF测距图的噪声区域基本与光强幅值图的低幅值区域对应。
对于如何实现TOF测距图去噪的问题，一种现有方法主要利用杂点剔除(OutliersRejection)的方法来去噪(如PMD公司的Monstar以及微软公司的Kinect V2.)，图4为一曝光时长为100微秒的原始测距图。图5是对图4所示的原始测距图采用杂点剔除去噪工具去噪后的测距图。参见图4和图5，杂点剔除去噪的缺点在于，在低幅值区域，测距正确的像素也会被排除。另一种现有方法是利用多频去噪(Multi-frequency Denoising)的方法来去噪，图6是对图4所示的原始测距图采用多频去噪工具去噪后的测距图。参见图4至图6，可以看出，多频去噪相对于杂点去噪，去噪效果好，并且有效的测距值多，但是，对于多频去噪来说，存在的问题是在低幅值区域，超过量程的物体的信息无法排除。
因此，需要开发能够将超过测距量程的物体的信息排除的TOF测距去噪方案，进而提升TOF相机的性能。
发明内容
本发明提供一种用于TOF测距的去噪方法、一种用于TOF测距的去噪装置和一种TOF相机，可以将TOF测距图中超过测距量程的物体信息排除，提高TOF测距图的去噪效果以及测距精度。
本发明一方面提供一种用于TOF测距的去噪方法，所述去噪方法包括：
获得多幅反射光波的光强幅值图以及与多幅所述光强幅值图一一对应的多幅待处理的TOF测距图；其中，多幅所述TOF测距图之间存在视差，所述光强幅值图和对应的所述TOF测距图均包括低幅值区域和高幅值区域；
基于所述光强幅值图和所述TOF测距图进行物体分割，以从所述低幅值区域中分割出至少一个第一区域，并从所述高幅值区域中分割出至少一个第二区域；其中，至少一个所述第一区域与一个所述第二区域在各幅所述TOF测距图中的测距值差异不超过设定阈值；以及
分别计算测距值差异不超过设定阈值的所述第一区域和所述第二区域对应的视差值，并进行比较；其中，当所述视差值的差异在第一设定范围内时，判断相应的所述第一区域在TOF测距量程内，在所述TOF测距图内予以保留；当所述视差值的差异超出第一设定范围，判断相应的所述第一区域超出TOF测距量程，将所述TOF测距图中的所述第一区域的信息排出。
可选的，分别计算测距值差异不超过设定阈值的所述第一区域和所述第二区域对应的视差值的方法包括：
基于多个所述光强幅值图和多个所述TOF测距图进行特征点检测，获得多个特征点；以及
分别对多幅所述光强幅值图中的特征点和多幅所述TOF测距图中的特征点进行匹配，以获得位于所述第一区域上的匹配点对和位于所述第二区域上的匹配点对，利用所述匹配点对分别得到所述第一区域和所述第二区域对应的视差值。
可选的，对多个所述光强幅值图和多个所述TOF测距图进行特征点检测时，采用Harris角点、SURF、SIFT、FAST或ORB算法。
可选的，在获得多个所述特征点后，提取所述特征点的特征向量以描述所述特征点。
可选的，分别对多幅所述光强幅值图中的特征点和多幅所述TOF测距图中的特征点进行匹配时，采用暴力匹配、K-最近邻匹配或FLANN匹配算法获得多个所述匹配点对。
可选的，在基于所述光强幅值图和所述TOF测距图进行物体分割的步骤中，基于所述光强幅值图和所述TOF测距图将空间位置相邻、反射光波强度相近且测距值相近的像素归为同类，并将同类像素进行标记，以分割出至少一个所述第一区域和至少一个所述第二区域。
可选的，将所述TOF测距图中的所述第一区域的信息排除的步骤中，通过将所述低幅值区域中距离超出测距量程的第一区域对应的像素的像素值设为0，以抑制所述低幅值区域中距离超出测距量程的第一区域对应的像素。
可选的，在获得所述待处理的TOF测距图后，基于所述光强幅值图和所述TOF测距图进行所述物体分割前，对所述待处理的TOF测距图进行多频去噪处理。
本发明的用于TOF测距的去噪方法可以判断低幅值区域中第一区域(第一区域指至少部分位于低幅值区域的物体对应的信息或图像区域)是否超出测距量程，且当第一区域在测距量程内时，可以在TOF测距图中保留第一区域对应的信息(此时第一区域对应的测距值为无效测距值)，而当第一区域在测距量程外时，可以排除第一区域对应的信息(此时第一区域对应的测距值为有效测距值)，即可以保留有效测距值并排除无效测距值，有助于提高TOF测距的去噪效果以及测距精度。
本发明另一方面提供一种用于TOF测距的去噪装置，所述去噪装置包括图像获取模块、物体分割模块、计算模块和比较模块。所述图像获取模块用于获得多幅反射光波的光强幅值图以及与多幅所述光强幅值图一一对应的多幅待处理的TOF测距图；其中，多幅所述TOF测距图之间存在视差，所述光强幅值图和对应的所述TOF测距图均包括低幅值区域和高幅值区域。所述物体分割模块用于基于所述光强幅值图和所述TOF测距图进行物体分割，以从所述低幅值区域中分割出至少一个第一区域，并从所述高幅值区域中分割出至少一个第二区域；其中，至少一个所述第一区域与一个所述第二区域在各幅所述TOF测距图中的测距值差异不超过设定阈值。所述计算模块用于分别计算测距值差异不超过设定阈值的所述第一区域和所述第二区域对应的视差值。所述比较模块用于对所述第一区域和所述第二区域对应的视差值进行比较；其中，当所述视差值的差异在第一设定范围内时，判断相应的所述第一区域在TOF测距量程内，在所述TOF测距图内予以保留；当所述视差值的差异超出第一设定范围，判断相应的所述第一区域超出TOF测距量程，将所述TOF测距图中的所述第一区域的信息排出。
可选的，所述计算模块包括特征点检测单元和特征点匹配单元。所述特征点检测单元用于基于多个所述光强幅值图和多个所述TOF测距图进行特征点检测，获得多个特征点。所述特征点匹配单元用于对多幅所述光强幅值图中的特征点和多幅所述TOF测距图中的特征点进行匹配，获得位于所述第一区域上的匹配点对和位于所述第二区域上的匹配点对，利用所述匹配点对分别得到所述第一区域和所述第二区域对应的视差值。
本发明的用于TOF测距的去噪装置可以保留TOF测距图低幅值区域中在测距量程内的信息并排除超出测距量程的信息，即可以保留有效测距值并排除无效测距值，有助于提高TOF测距的去噪效果以及提高测距精度。
此外，本发明还提供一种TOF相机，所述TOF相机包括上述的用于TOF测距的去噪装置。
由于本发明的TOF相机包括上述用于TOF测距的去噪装置，且所述去噪装置可以抑制TOF测距图中超出测距量程的信息，提高TOF测距的去噪效果，从而有助于提高所述TOF相机的性能。
附图说明
图1示出了不同曝光时长下的目标反射光强度和相应的测距图的关系。
图2为放大的一幅反射光波的光强幅值图。
图3为与图2的反射光波的光强幅值图相对应的TOF测距图。
图4为一曝光时长为100微秒的原始测距图。
图5是对图4所示的原始测距图采用杂点剔除去噪工具去噪后的测距图。
图6是对图4所示的原始测距图采用多频去噪工具去噪后的测距图。
图7为本发明一实施例的用于TOF测距的去噪方法流程图。
图8为利用本发明一实施例的用于TOF测距的去噪方法获得的测距图。
图9为本发明一实施的用于TOF测距的去噪装置的示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种用于TOF测距的去噪方法、一种用于TOF测距的去噪装置和一种TOF相机作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
TOF测距方法是利用发射光波去照射场景中的多个物体，所述发射光波被物体反射后以形成反射光波，再根据发射光波在待测距离上往返一次所形成的相位差
Figure BDA0002842358700000051
得出待测距离。本实施例中，所述发射光波和反射光波可以为调制光波，例如正弦光波。所述发射光波yin及反射光波yout表达式分别为下式(1)和式(2)：
Figure BDA0002842358700000061
Figure BDA0002842358700000062
其中，A0、A1分别为发射光波yin及反射光波yout的幅值，ω为角速度，
Figure BDA0002842358700000064
为发射光波yin的初始相位，/>
Figure BDA0002842358700000065
为反射光波yout的相位，D0、D1分别为发射光波yin及反射光波yout的直流分量(即环境光干扰)。
发射光波和反射光波的相位差
Figure BDA0002842358700000066
为反射光波和入射光波的相位差，即
Figure BDA0002842358700000067
利用TOF测距法获得的测距值可以用式(3)表示，TOF测距的量程可以用式(4)表示：：
Figure BDA0002842358700000063
range＝c/2f (4)
其中f为发射光波频率，c为光速。由式(3)和式(4)可以看出，TOF测距的量程主要由发射光波的频率决定。
如图2所示，作为示例，一实验中，进行TOF测距的目标场景中包括电话机、小熊、花瓶、横条纹墙壁和左侧窗户，在TOF测距时，由于电话机是黑色物体，所以其对应的区域的反射光波幅值较低(即反射光强度较低)；此外，左侧窗户由于距离较远(超出量程)，所以其对应的区域反射光波幅值也较低。相对应的，如图3所示，测距图的噪声区域基本与反射光波的低幅值区域相对应。在利用杂点剔除(Outliers Rejection)的方法来去噪时，在低幅值区域，测距正确的像素也会被排除(例如电话机对应的像素)。但是，若是能够采用较好(或适当)的去噪算法，即使像素的幅值很小，也可以得到有效的测距值。但是，由于TOF测距的量程是由发射光波的频率决定的，如果物体的距离超过了量程，即使得到了不错的去噪结果，它也会存在一个关于2·π的模糊度，或者称为相位包裹，这个模糊度是不能通过单张TOF测距图求解的，即超出测距量程的物体对应的测距值是不准确的，为测距图中的无效测距值，这些无效测距值会影响TOF测距图的深度测量精度。
为了抑制TOF测距图中低幅值区域中超出测距量程的物体对应的像素(即排除超出测距量程的物体对应的信息)，提高TOF测距的去噪效果，本实施例提供一种用于TOF测距的去噪方法。所述去噪方法是一种基于多视角的TOF去噪方法。
图7为本发明一实施例的用于TOF测距的去噪方法流程图。如图7所示，所述去噪方法包括如下步骤S1至S3：
S1，获得多幅反射光波的光强幅值图以及与多幅所述光强幅值图一一对应的多幅待处理的TOF测距图，多幅所述TOF测距图之间存在视差，所述光强幅值图和对应的所述TOF测距图均包括低幅值区域和高幅值区域；
S2，基于所述光强幅值图和所述TOF测距图进行物体分割，以从所述低幅值区域中分割出至少一个第一区域，并从所述高幅值区域中分割出至少一个第二区域；其中，至少一个所述第一区域与一个所述第二区域在各幅所述TOF测距图中的测距值差异不超过设定阈值；以及
S3，分别计算测距值差异不超过设定阈值的所述第一区域和所述第二区域对应的视差值，并进行比较；其中，当所述视差值的差异在第一设定范围内时，判断相应的所述第一区域在TOF测距量程内，在所述TOF测距图内予以保留；当所述视差值的差异超出第一设定范围，判断相应的所述第一区域超出TOF测距量程，将所述TOF测距图中的所述第一区域的信息排出。
具体的，多幅反射光波的所述光强幅值图和多幅所述TOF测距图可以根据TOF相机发出的发射光波和接收到的反射光波计算获得。多幅所述反射光波的光强幅值图和多幅所述TOF测距图的数量可以为两幅，类似于人的左右眼看同一场景获得两幅存在视差的视图。但不限于此，所述TOF测距图的数量可以大于两幅，例如三幅或四幅等。本实施例中，所述光强幅值图采用的曝光时长不同，所述曝光时长的范围约100微秒～1900微秒，例如所述曝光时长为100微秒、400微秒、800微秒或1900微秒。
所述光强幅值图和对应的所述TOF测距图均包括低幅值区域和高幅值区域，所述光强幅值图中反射光波的强度相对较弱的区域为低幅值区域，反射光波的强度相对较强的区域为高幅值区域；所述TOF测距图中测距值方差相对较大的区域为低幅值区域(噪声区)，测距值方差相对较小的区域为高幅值区域。参考图1、图2和图3，所述TOF测距图中的低幅值区域(噪声区)与对应的光强幅值图中的低幅值区域相对应。
所述光强幅值图和所述TOF测距图中均囊括了多个物体的信息，而且在多幅所述光强幅值图和多幅所述TOF测距图中，同一物体的信息是相互对应的。所述光强幅值图和所述TOF测距图的低幅值区域和高幅值区域中均包括至少一个物体。
在获得多幅TOF测距图和多幅反射光波的光强幅值图后，基于所述光强幅值图和所述TOF测距图进行物体分割，以从所述低幅值区域中分割出至少一个第一区域，并从所述高幅值区域中分割出至少一个第二区域，其中，至少一个所述第一区域与一个所述第二区域在各幅所述TOF测距图中的测距值差异不超过设定阈值。所述第一区域指至少部分位于低幅值区域的物体对应的信息或图像区域；所述第二区域指至少部分位于高幅值区域的物体对应的信息或图像区域。
具体的，在基于所述光强幅值图和所述TOF测距图进行物体分割的步骤中，可以基于所述光强幅值图和所述TOF测距图将空间位置相邻、反射光波强度相近且测距值相近的像素归为同类，并将同类像素进行标记，以分割出至少一个所述第一区域和至少一个所述第二区域。其中，图像均是由多个像素依次排列组成，空间位置相邻的像素是指图像中排列位置相邻的像素；反射光波强度相近的像素是指像素对应的反射光波强度在某一设定范围t1内，该设定范围t1可以根据具体情况设定，例如反射光波强度差异在5％内；测距值相近的像素是指像素对应的测距值差异在某一设定范围t2内，该设定范围t2可以根据具体情况设定，例如测距值差异在5％内。
本实施例中，在对同类像素进行标记后，还可以通过对同类像素进行渲染以便在图像中区分被分割出来的各个物体。
作为示例，参考图2和图3，可以在光强幅值图和TOF测距图中分割出电话机、小熊、花瓶、横条纹墙壁和左侧窗户对应的像素，其中，小熊、花瓶和横条纹墙壁为位于高幅值区域的物体，小熊、花瓶和横条纹墙壁的信息或图像分别对应一第二区域，电话机和左侧窗户为位于低幅值区域的物体，电话机和左侧窗户的信息或图像分别对应一第一区域，且在TOF测距图中，电话机与花瓶对应的测距值差异不超过设定阈值，左侧窗户和横条纹墙对应的测距值差异不超过设定阈值，后续需要确定电话机和左侧窗户对应的测距值是否为有效测距值。
在获得所述待处理的TOF测距图后，基于所述光强幅值图和所述TOF测距图进行所述物体分割前，所述TOF测距的去噪方法还可以包括：对所述待处理的TOF测距图进行多频去噪处理，以便于提高后续进行物体分割的精度。其中，对TOF测距图进行多频去噪处理的方法可以采用本领域公开的方法进行，例如论文“Efficient Multi-Frequency PhaseUnwrapping using Kernel Density Estimation”(arXiv：1608.05209v1[cs.cv]18 Aug2016)介绍的方法。
上述步骤S3中，分别计算测距值差异不超过设定阈值的所述第一区域和所述第二区域对应的视差值的方法包括：基于多幅所述光强幅值图和多幅所述TOF测距图进行特征点检测，获得多个特征点；以及对多幅所述光强幅值图中的特征点进行匹配，以及对多幅所述TOF测距图中的特征点进行匹配，以获得位于所述第一区域上的匹配点对和位于所述第二区域上的匹配点对，利用所述匹配点对分别得到所述第一区域和所述第二区域对应的视差值。另一实施例中，还可以采用块匹配法(Block matching)或深度神经网络学习法等来获得所述第一区域和所述第二区域对应的视差值。
在图像处理中，特征点可以指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像的特征点能够反映图像的本质特征，能够标识图像中的目标物体。本实施例中，第一区域和第二区域对应的物体可以采用其对应的特征点来表征。
本实施例中，可以采用Harris角点、SURF(Speeded Up Robust Feature)、SIFT(Scale Invariant Feature Transform)、FAST(Features FromAccelerated SegmentTest)或ORB(OrientedFast and Rotated BRIE)算法进行特征点检测。其中，SIFT是DoG与SIFT的结合，DoG用于特征点检测，SIFT用于描述特征点的特征；SURF是Hessian与SURF的结合，Hessian用于特征点的检测，SURF用于描述特征点的特征；ORB是FAST和BRIEF的结合，FAST用于特征点的检测，BRIEF用于描述特征点的特征。
以FAST算法为例，进行特征点检测的步骤可以包括：首先，在图像中选择像素p，假设其灰度值为Ip；然后，设置一个阈值T，例如Ip的20％；再以像素p为圆心，选择p周围圆上的像素作为比较像素；假设选取的圆上有连续的N个像素大于(Ip+T)或者(Ip-T)(T为允许的偏差值)，那么可以认为像素p就是一个特征点。其中，N可以取9、11或12，即为FAST-9、FAST-11或FAST-12。
在检测获得多个所述特征点后，可以提取所述特征点的特征向量以描述所述特征点。例如，一实施例中，通过在以特征点p为中心的邻域内，提取获得特征点p的特征向量来描述特征点p。
上述步骤S3中，所述匹配点对中的两个特征点为不同视图中相对应的特征点，匹配点对中的两个特征点对应同一物体的同一点。在多幅光强幅值图和多幅TOF测距图中检测并匹配获得的匹配点对均可以用于计算特征点的视差值，且它们的视差值均可以用于评估所述第一区域和所述第二区域的距离。而且，由于所述光强幅值图和所述TOF测距图的性质不同，在光强幅值图中可以检测到的特征点在TOF测距图中不一定可以检测到，或是在TOF测距图中检测到的特征点在光强幅值图中不一定可以检测到，因而，利用在两类视图中获得的匹配点对对特征点以及物体的距离进行判断，可以提高距离判断的准确度。其中，对于在光强幅值图和TOF测距图中均可以检测的同一物体的同一特征点，其对应的视差值是一致的。
具体对所述特征点进行匹配时，可以利用某一特征点p1对应的特征向量与另一视图中的特征点p2对应的特征向量计算该两个特征点间的相对距离，当特征点p1和特征点p2间的相对距离小于特征点p1与另一视图中的其它特征点间的距离时，特征点p1和特征点p2为一匹配点对。本实施例中，分别对多幅所述光强幅值图中的特征点和多幅所述TOF测距图中的特征点进行匹配时，可以采用暴力(Brute-Force)匹配、K-最近邻(K-NearestNeighbor，KNN)匹配或FLANN(FastApproximate NearestNeighbor Search Library，FLANN)匹配算法等获得多个所述匹配点对。
在获得匹配点对后，可以根据所述匹配点对的两个特征点的坐标计算出两个所述特征点间的视差。作为示例，特征点p1(x1，y1)和特征点p2(x2，y2)分别为电话机(低幅值区域)在存在视差的两视图中的特征点，且p1和p2为一匹配点对，特征点p1和特征点p2间的视差d1可以为两点的横坐标之差(d1＝x2-x1)；特征点p3(x3，y3)和特征点p4(x4，y4)分别为花瓶(高幅值区域)在存在视差的两视图中的特征点，且p3和p4为一匹配点对，特征点p3和特征点p4间的视差d2可以为两点的横坐标之差(d2＝x4-x3)。
在计算获得所述第一区域和所述第二区域对应的视差值后，对所述第一区域和所述第二区域对应的视差值进行比较；其中，当所述视差值的差异在第一设定范围内时，判断相应的所述第一区域在TOF测距量程内，在所述TOF测距图内所述第一区域对应的信息予以保留；当所述视差值的差异超出第一设定范围，判断相应的所述第一区域超出TOF测距量程，将所述TOF测距图中的所述第一区域对应的信息排出。
在同一场景中，实际距离较远的两个物体以及所述两个物体的特征点对应的视差值相差较大，而实际距离较近的两个物体以及所述两个物体的特征点对应的视差值相差不大。本实施例中，认为高幅值区域的物体位于量程内，即位于高幅值区域的物体对应的测距值是有效测距值，可以用于对位于低幅值区别的物体进行距离评估。
由于低幅值区域中的第一区域与高幅值区域中的第二区域在各幅所述TOF测距图中的测距值差异不超过设定阈值，因而若仅是根据测距值，会认为第一区域和第二区域的距离相近，此时，再比较位于第一区域上的特征点对应的视差值和位于第二区域上的特征点对应的视差值，即可判断两物体是否真的是距离相近。当位于所述第一区域上的特征点和位于所述第二区域上的特征点对应的视差值差异在第一设定范围内时，可以认为位于第一区域上的特征点和位于第二区域上的特征点的距离相近，且第一区域和第二区域对应的物体可以采用其上特征点来表征，则判断第一区域和第二区域距离相近，相应的所述第一区域在TOF测距量程内，所述第一区域对应的测距值是有效测距值，故保留所述TOF测距图中所述第一区域对应的信息；当所述第一区域上的特征点和所述第二区域上的特征点对应的视差值差异在第一设定范围外时，可以认为位于第一区域上的特征点和位于第二区域上的特征点的距离较远，则判断第一区域和第二区域距离较远，相应的所述第一区域超出TOF测距量程，所述第一区域对应的测距值是无效测距值，其测距值中应该存在相位包裹，故排除所述TOF测距图中所述第一区域对应的信息。
例如，电话机和花瓶的测距值差异不超过设定阈值，电话机的特征点对应的视差值和花瓶的特征点对应的视差值的差异在第一设定范围内，则认为电话机的特征点和花瓶的特征点距离相近，电话机和花瓶的距离相近，故电话机在测距量程内，电话机对应的测距值为有效测距值，在测距图中需要保留电话机对应的信息；虽然横条纹墙壁(高幅值区域)和左侧窗户(低幅值区域)的测距值不超过设定阈值，但是横条纹墙壁的特征点对应的视差值和左侧窗户的特征点对应的视差值的差异在第一设定范围外，则认为横条纹墙壁的特征点和左侧墙壁的特征点距离较远，横条纹墙壁和左侧窗户实际距离较远，故而左侧窗户对应的测距值是不可靠的，左侧窗户所在的位置超出测距量程，左侧窗户对应的测距值为无效测距值，在测距图中需要排除左侧窗户的信息。
本实施例中，可以在经过多频去噪的TOF测距图中排出超出TOF测距量程的第一区域的信息，从而可以在多频去噪的基础上，保留低幅值区域的有效测距值(即保留低幅值区域中在测距量程内的物体对应的信息)，同时排除超出测距量程的无效测距值(即排除低幅值区域中超出测距量程的物体对应的信息)，抑制超出测距量程的物体对应的像素，有助于提高TOF测距的去噪效果，提高测距精度。
上述步骤S3中，将所述TOF测距图中的所述第一区域的信息排除可以通过将低幅值区域中距离超出测距量程的第一区域对应的像素的像素值设为0，以抑制所述低幅值区域中距离超出测距量程的第一区域对应的像素。
图8为利用本发明一实施例的用于TOF测距的去噪方法获得的测距图。如图8所示，在该测距图中，保留了电话机对应的有效测距值，而排除左侧窗户对应的无效测距值。
利用上述的用于TOF测距的去噪方法，可以判断低幅值区域中第一区域是否超出测距量程，且当第一区域在测距量程内时，可以在TOF测距图中保留第一区域对应的信息(此时第一区域对应的测距值为有效测距值)，而当第一区域在测距量程外时，可以排除第一区域对应的信息(此时第一区域对应的测距值为有效测距值)，即可以保留有效测距值并排除无效测距值，有助于提高TOF测距的去噪效果以及测距精度。
本实施例还提供一种用于TOF测距的去噪装置。图9为本发明一实施的用于TOF测距的去噪装置的示意图。如图9所示，所述用于TOF测距的去噪装置包括图像获取模块1、物体分割模块2、计算模块3和比较模块4。所述图像获取模块1用于获得多幅反射光波的光强幅值图以及与多幅所述光强幅值图一一对应的多幅待处理的TOF测距图；其中，多幅所述TOF测距图之间存在视差，所述光强幅值图和对应的所述TOF测距图均包括低幅值区域和高幅值区域。所述物体分割模块2用于基于所述光强幅值图和所述TOF测距图进行物体分割，以从所述低幅值区域中分割出至少一个第一区域，并从所述高幅值区域中分割出至少一个第二区域；其中，至少一个所述第一区域与一个所述第二区域在各幅所述TOF测距图中的测距值差异不超过设定阈值。所述计算模块3用于分别计算测距值差异不超过设定阈值的所述第一区域和所述第二区域对应的视差值。所述比较模块4用于对所述第一区域和所述第二区域对应的视差值进行比较；其中，当所述视差值的差异在第一设定范围内时，判断相应的所述第一区域在TOF测距量程内，在所述TOF测距图内予以保留；当所述视差值的差异超出第一设定范围，判断相应的所述第一区域超出TOF测距量程，将所述TOF测距图中的所述第一区域的信息排出。
具体的，所述计算模块3可以包括特征点检测单元31和特征点匹配单元32。所述特征点检测单元31用于基于多个所述光强幅值图和多个所述TOF测距图进行特征点检测，获得多个特征点。所述特征点匹配单元32用于对多幅所述光强幅值图中的特征点进行匹配和多幅所述TOF测距图中的特征点进行匹配，以获得位于所述第一区域上的匹配点对和位于所述第二区域上的匹配点对，利用所述匹配点对分别得到所述第一区域和所述第二区域对应的视差值。
图像获取模块1获得的所述TOF测距图和所述反射光波的光强幅值图的数量均可以为两幅、三幅或四幅等。
物体分割模块2可以基于所述光强幅值图和所述TOF测距图将空间位置相邻、反射光波强度相近且测距值相近的像素归为同类，并将同类像素进行标记，以分割出至少一个所述第一区域和至少一个所述第二区域。其中，图像均是由多个像素依次排列组成，空间位置相邻的像素是指图像中排列位置相邻的像素；反射光波强度相近的像素是指像素对应的反射光波强度在某一设定范围t1内，该设定范围t1可以根据具体情况设定，例如反射光波强度差异在5％内；测距值相近的像素是指像素对应的测距值差异在某一设定范围t2内，该设定范围t2可以根据具体情况设定，例如测距值差异在5％内。
特征点检测单元31可以采用Harris角点、SURF、SIFT、FAST或ORB算法来进行特征点检测并获得多个特征点。特征点检测单元31还可以提取所述特征点的特征向量以描述所述特征点。
特征点匹配单元32可以采用暴力匹配、K-最近邻匹配或FLANN匹配算法等获得多个所述匹配点对，并且可以根据所述匹配点对的两个特征点的坐标计算出两个特征点间的视差值。
所述比较模块4可以通过将所述低幅值区域中距离超出测距量程的第一区域对应的像素的像素值置设0，以抑制所述低幅值区域中距离超出测距量程的第一区域对应的像素。
所述去噪装置还可以包括多频去噪模块，所述多频去噪模块可以用于对TOF测距图进行多频去噪处理。具体的，所述多频去噪模块可以从所述图像获取模块1获得与多幅所述光强幅值图一一对应的多幅待处理的TOF测距图，并在对所述待处理的TOF测距图进行多频去噪处理后，将经过多频去噪处理后的TOF测距图传输到所述物体分割模块2和/或所述比较模块4，所述比较模块4在所述第一区域超出测距量程时，可将经过多频去噪的TOF测距图中的所述第一区域的信息排除。
本实施例的用于TOF测距的去噪装置的图像处理模块1在获得多幅反射光波的光强幅值图以及与多幅所述光强幅值图一一对应的多幅待处理的TOF测距图后，物体分割模块基于所述光强幅值图和所述TOF测距图进行物体分割，以获得至少一个第一区域和至少一个第二区域，至少一个第一区域与一个第二区域的测距值差异不超过设定阈值，计算模块3分别计算第一区域和第二区域对应的视差值，比较模块4在第一区域位于TOF测距量程内时，于TOF测距图内予以保留，在第一区域超出TOF测距量程时，将TOF测距图中的第一区域的信息排出。因此，所述用于TOF测距的去噪装置可以保留TOF测距图低幅值区域中在测距量程内的物体(一第一区域对应的物体)对应的信息并排除超出测距量程的信息(即抑制超出测距量程的物体对应的像素)，即可以保留有效测距值并排除无效测距值，有助于提高TOF测距的去噪效果以及提高测距精度。
上述实施例中的方法和/或装置的处理、执行，一般是以软件程序的方式配合装置或设备来实施，然而，他们全部(或其中一部分)也可以使用电子硬件的方式来实施。不管是以软件或者硬件方式，其个别部分是熟悉电子、软件领域人员可以进行实施的，因此，其细节就不在本说明书中赘述。
本发明实施例还提供一种TOF相机，所述TOF相机采用飞行时间法进行非接触式测距，通过给目标连续发送发射光波，然后利用传感器接收从物体返回的反射光波，通过探测光波的飞行时间来得到目标物的距离，从而获得目标物的图像。所述TOF相机包括上述用于TOF测距的去噪装置，由于所述去噪装置可以抑制TOF测距图中超出量程的物体对应的像素，提高TOF测距的去噪效果，从而有助于提高所述TOF相机的性能。
需要说明的是，本说明书中实施例采用递进的方式描述，在后描述的结构重点说明的都是与在前描述的方法的不同之处，各个部分之间的相同和相似之处互相参见即可。对于实施例公开的去噪装置而言，由于与实施例公开的去噪方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
上述描述仅是对本发明较佳实施例的描述，并非对本发明权利范围的任何限定，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种用于TOF测距的去噪方法，其特征在于，包括：
获得多幅反射光波的光强幅值图以及与多幅所述光强幅值图一一对应的多幅待处理的TOF测距图；其中，多幅所述TOF测距图之间存在视差，所述光强幅值图和对应的所述TOF测距图均包括低幅值区域和高幅值区域；
基于所述光强幅值图和所述TOF测距图进行物体分割，以从所述低幅值区域中分割出至少一个第一区域，并从所述高幅值区域中分割出至少一个第二区域；其中，至少一个所述第一区域与一个所述第二区域在各幅所述TOF测距图中的测距值差异不超过设定阈值；以及
分别计算测距值差异不超过设定阈值的所述第一区域和所述第二区域对应的视差值，并进行比较；其中，当所述视差值的差异在第一设定范围内时，判断相应的所述第一区域在TOF测距量程内，在所述TOF测距图内予以保留；当所述视差值的差异超出第一设定范围，判断相应的所述第一区域超出TOF测距量程，将所述TOF测距图中的所述第一区域的信息排除。
2.根据权利要求1所述的用于TOF测距的去噪方法，其特征在于，分别计算测距值差异不超过设定阈值的所述第一区域和所述第二区域对应的视差值的方法包括：
基于多幅所述光强幅值图和多幅所述TOF测距图进行特征点检测，获得多个特征点；以及
分别对多幅所述光强幅值图中的特征点和多幅所述TOF测距图中的特征点进行匹配，以获得位于所述第一区域上的匹配点对和位于所述第二区域上的匹配点对，利用所述匹配点对分别得到所述第一区域和所述第二区域对应的视差值。
3.根据权利要求2所述的用于TOF测距的去噪方法，其特征在于，在获得多个所述特征点后，提取所述特征点的特征向量以描述所述特征点。
4.根据权利要求2所述的TOF测距的去噪方法，其特征在于，分别对多幅所述光强幅值图中的特征点和多幅所述TOF测距图中的特征点进行匹配时，采用暴力匹配、K-最近邻匹配或FLANN匹配算法获得多个所述匹配点对。
5.根据权利要求1所述的TOF测距的去噪方法，其特征在于，在基于所述光强幅值图和所述TOF测距图进行物体分割的步骤中，基于所述光强幅值图和所述TOF测距图将空间位置相邻、反射光波强度相近且测距值相近的像素归为同类，并将同类像素进行标记，以分割出至少一个所述第一区域和至少一个所述第二区域。
6.根据权利要求1所述的用于TOF测距的去噪方法，其特征在于，将所述TOF测距图中的所述第一区域的信息排除的步骤中，通过将所述低幅值区域中距离超出测距量程的第一区域对应的像素的像素值设为0，以抑制所述低幅值区域中距离超出测距量程的第一区域对应的像素。
7.根据权利要求1所述的用于TOF测距的去噪方法，其特征在于，在获得所述待处理的TOF测距图后，基于所述光强幅值图和所述TOF测距图进行所述物体分割前，对所述待处理的TOF测距图进行多频去噪处理。
8.一种用于TOF测距的去噪装置，其特征在于，包括：
图像获取模块，用于获得多幅反射光波的光强幅值图以及与多幅所述光强幅值图一一对应的多幅待处理的TOF测距图；其中，多幅所述TOF测距图之间存在视差，所述光强幅值图和对应的所述TOF测距图均包括低幅值区域和高幅值区域；
物体分割模块，用于基于所述光强幅值图和所述TOF测距图进行物体分割，以从所述低幅值区域中分割出至少一个第一区域，并从所述高幅值区域中分割出至少一个第二区域；其中，至少一个所述第一区域与一个所述第二区域在各幅所述TOF测距图中的测距值差异不超过设定阈值；
计算模块，用于分别计算测距值差异不超过设定阈值的所述第一区域和所述第二区域对应的视差值；以及
比较模块，用于对所述第一区域和所述第二区域对应的视差值进行比较；其中，当所述视差值的差异在第一设定范围内时，判断相应的所述第一区域在TOF测距量程内，在所述TOF测距图内予以保留；当所述视差值的差异超出第一设定范围，判断相应的所述第一区域超出TOF测距量程，将所述TOF测距图中的所述第一区域的信息排除。
9.根据权利要求8所述的用于TOF测距的去噪装置，其特征在于，所述计算模块包括：
特征点检测单元，用于基于多个所述光强幅值图和多个所述TOF测距图进行特征点检测，获得多个特征点；以及
特征点匹配单元，用于分别对多幅所述光强幅值图中的特征点和多幅所述TOF测距图中的特征点进行匹配，以获得位于所述第一区域上的匹配点对和位于所述第二区域上的匹配点对，利用所述匹配点对分别得到所述第一区域和所述第二区域对应的视差值。
10.一种TOF相机，其特征在于，所述TOF相机包括如权利要求8或9所述的用于TOF测距的去噪装置。
CN202011496643.1A 2020-12-17 2020-12-17 用于tof测距的去噪方法及装置、tof相机 Active CN112712476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011496643.1A CN112712476B (zh) 2020-12-17 2020-12-17 用于tof测距的去噪方法及装置、tof相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011496643.1A CN112712476B (zh) 2020-12-17 2020-12-17 用于tof测距的去噪方法及装置、tof相机

Publications (2)

Publication Number Publication Date
CN112712476A CN112712476A (zh) 2021-04-27
CN112712476B true CN112712476B (zh) 2023-06-02

Family

ID=75544160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011496643.1A Active CN112712476B (zh) 2020-12-17 2020-12-17 用于tof测距的去噪方法及装置、tof相机

Country Status (1)

Country Link
CN (1) CN112712476B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240604B (zh) * 2021-05-20 2022-09-16 浙江大学 基于卷积神经网络的飞行时间深度图像的迭代优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859124A (zh) * 2019-01-11 2019-06-07 深圳奥比中光科技有限公司 一种深度图像降噪方法及装置
CN110333501A (zh) * 2019-07-12 2019-10-15 深圳奥比中光科技有限公司 深度测量装置及距离测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3028988B1 (fr) * 2014-11-20 2018-01-19 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees
US10242454B2 (en) * 2017-01-25 2019-03-26 Google Llc System for depth data filtering based on amplitude energy values

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859124A (zh) * 2019-01-11 2019-06-07 深圳奥比中光科技有限公司 一种深度图像降噪方法及装置
CN110333501A (zh) * 2019-07-12 2019-10-15 深圳奥比中光科技有限公司 深度测量装置及距离测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《CrossNet++: Cross-Scale Large-Parallax Warping for Reference-Based Super-Resolution》;Yang Tan等;《 IEEE Transactions on Pattern Analysis and Machine Intelligence》;全文 *
《基于Kinect的轴类零件三维重建研究》;王亚琪 等;《计算技术与自动化》;第34卷(第4期);全文 *

Also Published As

Publication number Publication date
CN112712476A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
US9576375B1 (en) Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels
US8867790B2 (en) Object detection device, object detection method, and program
Rashidi et al. Innovative stereo vision-based approach to generate dense depth map of transportation infrastructure
Nedevschi et al. High accuracy stereovision approach for obstacle detection on non-planar roads
CN105335955A (zh) 对象检测方法和对象检测装置
CN112464812B (zh) 一种基于车辆的凹陷类障碍物检测方法
Schmiedel et al. IRON: A fast interest point descriptor for robust NDT-map matching and its application to robot localization
US20120120198A1 (en) Three-dimensional size measuring system and three-dimensional size measuring method
JP2017156219A (ja) 追尾装置、追尾方法およびプログラム
EP2054835B1 (en) Target orientation
JP5548212B2 (ja) 横断歩道標示検出方法および横断歩道標示検出装置
El Bouazzaoui et al. Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization
Nedevschi Online cross-calibration of camera and lidar
CN112712476B (zh) 用于tof测距的去噪方法及装置、tof相机
JP2015059808A (ja) 物体監視装置、および物体監視システム
Portugal-Zambrano et al. Robust range finder through a laser pointer and a webcam
US7123749B2 (en) Height measurement apparatus
Chavez et al. Vision-based obstacle avoidance using SIFT features
JP2001116513A (ja) 距離画像算出装置
JP2010250651A (ja) 車両検出装置
CN110738098A (zh) 一种目标的识别定位与锁定跟踪方法
JP7152506B2 (ja) 撮像装置
Bouain et al. An extrinsic sensor calibration framework for sensor-fusion based autonomous vehicle perception
JP7461160B2 (ja) ３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant