CN118625345A - 一种tof与条纹结构光融合方法、系统、设备及存储介质 - Google Patents

Abstract

一种TOF与条纹结构光融合方法、系统、设备及存储介质，包括：步骤S1：获取深度图像，并确定TOF深度的有效范围；其中，所述深度图像由同时接收的条纹与泛光信号生成；步骤S2：计算TOF深度，并根据TOF深度对结构光条纹进行解码，确定每条条纹的编号；步骤S3：根据所述编号，使用结构光技术计算所述条纹对应的结构光深度。本发明仅需一次投射就可以获得结构光深度，具有测量速度快、重建精度高、测量范围广、资源消耗少、鲁棒性高的优点。

Description

一种TOF与条纹结构光融合方法、系统、设备及存储介质

技术领域

本发明涉及深度相机技术领域，具体地，涉及一种TOF与条纹结构光融合方法、系统、设备及存储介质。

背景技术

线结构光是一种常见的三维测量技术，通过向物体投射一条光束，并利用物体表面深度的变化以及可能的间隙对光束进行调制，使光条发生畸变和不连续。畸变的程度和深度成正比，不连续则显示出了物体表面的物理间隙。线结构光模式从畸变的光条图像信息中获取物体表面的三维信息。与点结构模式相比，线结构光模式的测量信息量大大增加，且实现复杂度没有增加，因此被广泛应用。

线结构光主要有以下几种技术：

(1)编码和解码技术：线结构光中常用的编码技术有相位编码和幅度编码。相位编码是通过改变光的相位来编码深度信息，而幅度编码则是通过改变光的强度来编码深度信息。解码则是通过测量光条的畸变程度或光条的不连续性来获取深度信息的过程。

(2)相移技术：相移技术是通过改变投射光束的相位来测量物体的深度信息。该技术需要在每个测量周期内改变相位，并测量物体表面反射的光条的相位差，从而确定深度信息。

(3)莫尔条纹技术：莫尔条纹技术是通过将两条光束投射到物体表面，并使它们的光程差保持不变，从而形成一种稳定的、可测量的莫尔条纹。通过测量莫尔条纹的变化，可以确定物体的深度信息。

(4)傅里叶变换轮廓术：傅里叶变换轮廓术是将投射到物体表面的光束进行傅里叶变换，从而获得光束的频谱。通过测量频谱的变化，可以确定物体的深度信息。

这些技术的应用需要根据具体情况选择最适合的测量场景和被测物体。

线结构光虽然是一种有效的三维测量方法，但也存在一些缺点。

(1)测量速度较慢：线结构光需要沿着水平和垂直两个方向逐点扫描，效率相对较低；

而对于相位法，也需要多张图像才能获得深度信息。

(2)精度不够高：由于扫描过程中物体表面信息的丢失，这种方法在测量复杂表面时可能产生误差。

(3)对被测物体表面形貌有要求：如果被测物体表面形貌复杂，曲率变化较大，就有可能造成相机视野范围丢失了线结构光光条信息，导致最终三维测量数据不完整。

现有技术中也出现了一些用于改善上述缺点的技术方案。

某申请提供了一种深度测量装置、方法及计算机可读存储介质，上述深度测量装置包括：投影模组，用于向目标物分别投射至少三帧相移条纹与至少一泛光光束；接收模组，包括TOF传感器，用于分别在不同的工作模式下分别采集经目标物反射的至少三帧相移条纹和泛光光束；处理模组，用于分别根据接收模组接收的所述相移条纹及泛光光束生成至少三帧相移条纹图像及至少一帧深度图像，利用至少三帧相移条纹图像计算TOF传感器中各像素的相对相位，获取至少一帧深度图像中各像素的第一深度值对对应像素的相对相位进行解相得到各像素的绝对相位，并根据各像素的绝对相位计算各像素的目标深度值。本申请可以在保证深度测量精度的基础上，提高测量速度。

但现有技术仍存在速度慢、精度不够高、对被测物体表面形貌有较高要求的缺点。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为此，本发明通过同时投射条纹与泛光，利用TOF深度值引导条纹匹配，获得结构光深度，仅需一次投射就可以获得结构光深度，实现近距离获得高精度结构光深度，远距离获得TOF深度的效果，具有测量速度快、重建精度高、测量范围广、资源消耗少、鲁棒性高的优点。

第一方面，本发明提供一种TOF与条纹结构光融合方法，其特征在于，包括：

步骤S1：获取深度图像，并确定TOF深度的有效范围；其中，所述深度图像由同时接收的条纹与泛光信号生成；

步骤S2：计算TOF深度，并根据TOF深度对结构光条纹进行解码，确定每条条纹的编号；

步骤S3：根据所述编号，使用结构光技术计算所述条纹对应的结构光深度。

可选地，所述的一种TOF与条纹结构光融合方法，其特征在于，所述步骤S3包括：

步骤S31：判断所述条纹是否失焦，如果失焦，执行步骤S32；如果未失焦，执行步骤S33；

步骤S32：计算所述条纹的中线位置，并在参考图像上确定对应的中线位置，根据视差计算得到中线位置处的结构光深度；

步骤S33：获取所述条纹的边缘位置，并在参考图像上确定对应的边缘位置，根据视差计算得到边缘位置处的结构光深度。

可选地，所述的一种TOF与条纹结构光融合方法，其特征在于，还包括：

步骤S4：对结构光深度和TOF深度进行深度融合。

可选地，所述的一种TOF与条纹结构光融合方法，其特征在于，所述步骤S4包括：

步骤S41：利用所述结构光深度校正所述TOF深度，以解决卷绕问题；

步骤S42：根据校正后的所述TOF深度对其他位置处的所述TOF深度进行校正，得到最终TOF深度；

步骤S43：根据深度值将所述最终TOF深度与所述结构光深度进行融合。

可选地，所述的一种TOF与条纹结构光融合方法，其特征在于，还包括：

步骤S5：根据所述结构光深度调节投射光的强度。

可选地，所述的一种TOF与条纹结构光融合方法，其特征在于，所述条纹为强度均匀的亮条纹。

可选地，所述的一种TOF与条纹结构光融合方法，其特征在于，不同所述深度图像上的所述条纹的强度与所述泛光的强度呈固定比例。

第二方面，本发明提供一种TOF与条纹结构光融合系统，用于实现前述任一项所述的TOF与条纹结构光融合方法，其特征在于，包括：

获取模块，用于获取深度图像，并确定TOF深度的有效范围；其中，所述深度图像由同时接收的条纹与泛光信号生成；

解码模块，用于计算TOF深度，并根据TOF深度对结构光条纹进行解码，确定每条条纹的编号；

结构光模块，用于根据所述编号，使用结构光技术计算所述条纹对应的结构光深度。

第三方面，本发明提供一种TOF与条纹结构光融合设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行前述中任意一项所述TOF与条纹结构光融合方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现前述任意一项所述TOF与条纹结构光融合方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明既可以进行远距离高精度重建，又可以进行近距离高精度重建，具有更好的测量范围，当应用于扫地机、机器人等移动设备时，不止可以满足近距离避障还可以满足远距离slam重建要求。

本发明可以同时投射多个条纹，并对多个条纹同时进行重建，比传统线结构光密度更大，深度数据更充分。

本发明采用条纹进行投射，具有比均光更强的功率，可以在投射器相同的功率下，实现更远的投射距离，可以对更远距离进行深度重建。

本发明计算量更小，slam使用的深度点云的空间角分辨率更小。同时，本发明的条纹无需设置DLP装置，结构更加简单，成本更低，具有非常好的商业前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种TOF与条纹结构光融合深度模组的结构示意图；

图2为本发明实施例中一种条纹示意图；

图3为本发明实施例中一种投射器的结构示意图；

图4为本发明实施例中另一种投射器的结构示意图；

图5为本发明实施例中再一种投射器的结构示意图；

图6为本发明实施例中一种基线与条纹关系示意图；

图7为本发明实施例中另一种基线与条纹关系示意图；

图8为本发明实施例中一种TOF与条纹结构光融合的步骤流程图；

图9为本发明实施例中另一种TOF与条纹结构光融合的步骤流程图；

图10为本发明实施例中一种权重曲线图；

图11为本发明实施例中一种计算结构光深度的步骤流程图；

图12为本发明实施例中一种结构光深度和TOF深度进行深度融合的步骤流程图；

图13为本发明实施例中再一种TOF与条纹结构光融合的步骤流程图；

图14为本发明实施例中一种TOF与条纹结构光融合系统的结构示意图；

图15为本发明实施例中一种TOF与条纹结构光融合设备的结构示意图；以及

图16为本发明实施例中计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供的一种TOF与条纹结构光融合方法的方法，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

本发明通过同时投射条纹与泛光，利用TOF深度值引导条纹匹配，获得结构光深度，仅需一次投射就可以获得结构光深度，实现近距离获得高精度结构光深度，远距离获得TOF深度的效果，具有测量速度快、重建精度高、测量范围广、资源消耗少、鲁棒性高的优点。

图1为本发明实施例中一种TOF与条纹结构光融合深度模组的结构示意图。如图1所示，本发明实施例中一种TOF与条纹结构光融合深度模组的结构包括：

投射器，用于向目标对象同时投射多个条纹与泛光。

具体地说，投射器用于周期性地投射条纹与泛光。投射器负责将特定模式的结构光投射到目标物体上，在物体表面形成由被测物体表面形状所调制的光条三维图像。这个三维图像会由处于另一位置的摄像机探测，从而获得光条二维畸变图像。

一般来说，结构光投射器的光源方式可以分为点、线、面三种。点结构光法是激光器投射一个点光束到目标上，利用传感器或PSD(Position sensitive detector)接收反射光逐点测量，但测量速度较慢。而线结构光法使用线激光，一次就可以获取一个截面内的点云。面结构光法则是采用面光源进行投射。而条纹结构光是介于线结构光与面结构光之间的一种投射方式，投射出具有一定宽度的条纹。

在现有技术中，结构光投射器的投射的模式有多种，包括正弦条纹的相移法、二进制编码的格雷码、相移法+格雷码等。与现有技术不同，如图2所示，本实施例中投射的条纹为强度均匀的亮条纹。在条纹照射的区域为亮区，相邻的区域为暗区。亮区与暗区依次排列。条纹在所述深度图像上的宽度小于10像素，可以为3像素、5像素、6像素、7像素、8像素、9像素中的任意一个，或其他未列出的任意小于10的个数。

投射器可以有多种结构组成。比如，投射器可以由一个条纹投射器与一个泛光投射器组成。条纹投射器用于生成特定形状和模式的条纹。这些条纹通常是由一排排黑色的线和白色的间隔组成的。泛光投射器是一种用于生成均匀照射的光源的设备，它包括激光光源和扩散片。此时，处理器通过控制条纹生成器和泛光投射器实现对条纹和泛光投射的控制。处理器使条纹生成器与泛光投射器同时投射，实现同时投射条纹与泛光的效果。投射器投射出的条纹可以是多种类型的，比如线条纹、波浪条纹、非规则条纹等。

TOF传感器，用于接收所述条纹和所述泛光的反射信号生成深度图像。

具体地说，TOF(Time of Flight)传感器是一种测距技术，主要用于深度图像的生成。其主要工作原理是通过发射器发射红外光或激光，这些光会从物体反弹并返回到传感器。通过探测光脉冲的飞行(往返)时间，传感器可以计算出物体与传感器之间的距离。

在具体的实现上，根据测量需求的不同，TOF传感器可采用脉冲波(Pulse)和连续调制波(CW)两种不同的工作方式。例如，基于脉冲波的方式，TOF传感器会给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。而基于连续调制波的方式，则是通过泛光照明器(固态激光器或者LED)发射近红外(850nm或940nm)的脉冲波，脉冲波遇到物体以后反射回来，被传感器收集到。

处理器，用于根据时间飞行算法得到TOF深度，根据所述TOF深度对所述条纹进行解码，以确定所述条纹的编号，从而可以根据视差计算结构光深度。

具体地说，处理器主要根据时间飞行算法(Time of Flight)来获取TOF深度，并根据这个深度对条纹进行解码，以确定条纹的编号。有了这些信息，处理器就可以根据视差原理计算出结构光深度。

在具体的实现上，处理器的核心部分是一种专门设计的电路，能够执行复杂的计算和逻辑操作。这种电路通常由许多晶体管组成，这些晶体管可以在极短的时间内开关，从而进行大量的计算。此外，处理器还需要一定的内存来存储中间结果和最终的深度图像。

在深度图像上，同时获得的是条纹与泛光的反射信号，在图像上的反映是亮度不同的相间条纹。根据亮度不同，采用局部自适应二值化方法可以获得条纹的反射区域，从而根据视差原理计算得到结构光深度。本实施例为单目结构光，在计算视差时，采用当前图像与参考图像的视差进行计算。

由于时间飞行算法计算简单高效，可以快速获得TOF深度。在深度图像上，既有条纹信息，又有泛光信息，因此，结构光数据与TOF数据天然具有一一对应关系，根据像素的对应关系，就可以将TOF数据与结构光数据对应。当TOF数据对应到结构光体系下，从而使TOF数据与结构光数据更好地进行计算。

本实施例中的条纹为均匀条纹，内部也无相应的编码设计，具有亮度高、对比度高、易识别的优点，但同时常规的条纹处理方法无法直接进行处理。在进行条纹处理时，本实施例利用TOF深度对条纹进行解码，获得条纹的编号，从而解决均匀条纹无法识别的问题，可以充分利用均匀条纹亮度高、精度高的特点，获得更加准确的结构光数据。对于本实施例而言，条纹的边缘的数据可以精确计算得到，因此条纹的宽度决定了结构光数据密度。条纹的宽度越小，获得的结构光深度的数据量越大。同时，在相同功率下，条纹的宽度越小，光强度越大，能够投射的有效距离越远，因此根据实际需要测量的范围选择条纹宽度及功率。条纹之间的间距与基线的距离成正比。当基线越长时，条纹之间的间距越大；当基线越短时，条纹之间的间距越小。本实施例中的条纹可以不是水平条纹，而只需要在视差范围内存在一个条纹即可。

本步骤通过TOF引导结构光进行条纹解码，具有更快的解码速度。由于条纹密度可以很高，不受重建范围约束，而只受TOF自身精度及重建距离约束，使得重建范围更大，数据准确度更高，适应范围更广。

在部分实施例中，还包括：第二TOF传感器，用于接收所述条纹和所述泛光的反射信号生成第二深度图像。在本实施例中，与前述实施例类似，处理器对第二深度图像计算得到TOF深度，再对条纹进行解码，确定条纹的编号，计算得到结构光深度，再利用深度图像与第二深度图像的对应关系，利用视差计算得到双目深度。相比于传统的双目计算，本实施例中的数据量小，计算更加快速。本实施例可以根据TOF深度、结构光深度和双目深度各自的误差，选择误差最小的深度值作为最终的深度值，从而可以提高测量的范围，并增加测量的鲁棒性。

在部分实施例中，条纹的强度与所述泛光的强度呈固定比例，以使所述条纹与所述泛光在深度图像上对目标对象的测量信号强度更易识别，并可以利用深度图像上的强度估值获得目标对象的表面材质信息。条纹的强度大于泛光的强度。通过反射信号的强度可以获得目标对象的表面材质信息，例如，对于金属表面，由于其反射率较高，因此产生的条纹强度也较高；而对于塑料表面，由于其反射率较低，因此产生的条纹强度也较低。通过对这些差异进行分析，可以推断出目标对象的表面材质类型。更进一步地，由于条纹的强度与泛光的强度关系已知，可以获得目标对象表面在不同强度下的反射信号，通过对目标对象表面的对比，可以进一步地确认目标对象的表面信息。目标对象上深度值相近或逐渐变化的区域为一个表面，可以通过相邻的不同强度的反射信号，可以获得表面材质、平整度信息。相比于匀光照射，本实施例可以更好地获得表面的平整度信息。

在部分实施例中，所述投射器至少可以投射两种不同强度的条纹，用于不同距离的目标对象检测。通过控制电流，使投射器可以快速改变投射出的条纹的强度，从而实现在1s、0.5s、0.1s等任意一个周期内不同强度交替投射的结合，从而实现对远距离和近距离在一个周期内的同时测量。不同强度的条纹可以帮助实现对目标对象的检测和识别。较亮的条纹可以用于远距离的目标对象检测，而较暗的条纹可以用于近距离的目标对象检测。通过测量投射出的条纹与目标对象之间的距离，可以实现对目标对象的距离测量。不同强度的条纹可以提供不同的测量精度和范围。本实施例通过控制电流，可以根据需要灵活地调整投射器投射的条纹强度，以适应不同的应用场景和要求；通过精确控制电流和其他参数，可以实现高精度的目标对象检测和距离测量；控制电流的方法相对简单，易于实现和扩展，可以根据需求进一步优化和改进投射器的性能。

在部分实施例中，所述条纹的宽度与相邻所述条纹的间距相同。由于条纹的宽度和间距相等，可以简化对条纹的分析和处理，并且可以使得投射器更加容易制造，成本更低。同时，可以更准确地确定目标对象的位置和尺寸。因为条纹之间的间隔是固定的，所以可以根据已知的间隔来确定目标对象在条纹图像中的位置。这可以提高测量的精度和准确性。可以减少其他因素对测量结果的干扰。例如，当条纹的宽度和间距不匹配时，可能会引入误差或模糊，从而影响测量结果的准确性。而当条纹的宽度和间距相同时，可以减少这种干扰，并提高测量的稳定性和可靠性。

在部分实施例中，每条所述条纹的亮度随所述条纹上的所述结构光深度变化。在进行投射器设计时，在投射器的光源部分加入可控的亮度调节装置，例如使用可调节电流的LED灯或可调节光功率的激光器。通过控制电流或光功率的大小，可以实现对投射出的条纹的亮度进行调节。根据测量到的距离信息，通过控制算法来调节投射器中光源的亮度。可以使用PID控制器或其他反馈控制算法来实现精确的亮度调节。本实施例通过根据目标对象的深度信息来调节条纹的亮度，可以实现更高的分辨率。较远的目标对象可以使用较亮的条纹，而较近的目标对象可以使用较暗的条纹，从而提高对不同深度目标对象的分辨能力。还可以增强目标对象与背景之间的对比度。较亮的目标对象会反射更多的光线，从而产生更亮的条纹；而较暗的背景则会反射较少的光线，从而产生较暗的条纹。这样可以提高目标对象与背景之间的对比度，使目标对象更容易被检测和识别。由于条纹的亮度可以根据目标对象的深度信息进行调节，因此可以适应不同的环境条件。例如，在光照较强的环境中，可以使用较亮的条纹以提高对比度；而在光照较弱的环境中，可以使用较暗的条纹以减少干扰。这样可以在不同的环境条件下实现更准确和可靠的目标对象检测和测量。

在部分实施例中，所述处理器在处理时，还利用所述结构光深度校正所述TOF深度，以解决卷绕问题，再根据深度值将所述TOF深度与所述结构光深度进行融合。由于iTOF技术的特点，TOF深度可能会存在卷绕问题。卷绕问题指的是当目标对象过近或过远时，由于接收周期混乱导致测量到的深度值出现偏差。为了解决卷绕问题，可以使用结构光深度来校正TOF深度。根据已知的结构光深度和测量到的TOF深度，可以计算出TOF深度值对应的周期数，从而将其飞行时间可以对应到相应的周期，从而得到正确周期下的TOF深度，解决卷绕问题。最后，将结构光深度和校正后的TOF深度进行融合，以得到最终的目标对象深度信息。融合方法可以是简单的加权平均、最大值选择或其他更复杂的算法。融合的目标是综合考虑两种深度信息的优点，提高测量的准确性和可靠性。

在部分实施例中，所述处理器在处理时，还利用结构光深度在中远距离对TOF深度中的多径问题进行校正。使用结构光深度与TOF深度的差值规律，识别可能存在的多径区域。使用结构光深度对TOF深度存在多径区域的位置进行深度校准。

在部分实施例中，当目标对象与深度模组的距离小于最小可测距离，导致条纹失焦时，利用TOF深度及其误差，根据失焦后的条纹宽度进行粗略深度估计，然后对条纹进行解码从而得到准确的结构光深度。条纹失焦后，根据预设的关系，利用TOF深度及其误差，根据失焦后的条纹宽度进行粗略深度估计，得到条纹的视差范围，再在参考图像上查找，获得条纹与参考图像上的对应关系，计算视差，得到准确的结构光深度。

图3为本发明实施例中一种投射器的结构示意图。如图3所示，本发明实施例中一种投射器包括：

光源，用于产生红外光线；

条纹生成器，用于生成多个条纹；

过滤片，与所述条纹生成器并列设置，用于按比例降低所述红外光线的强度，并投射出泛光。

具体地说，光源可以为ELL或垂直腔面激光发生器。光源可以为单颗光源，也可以为阵列光源。红外光线从条纹生成器或过滤片中择一穿过。当红外光线照射在条纹生成器上时，生成多个条纹。过滤片与条纹生成器并列设置，可以保证投射器的性能与被测系统的光谱波段、出瞳位置和尺寸、视场角、分辨率等各项要求相匹配。在某些更复杂的装置中，过滤片可能还具有校正投影机非线性影响的功能。过滤片可以为任意可以降低光强度的光学装置。

本实施例一方面利用泛光提高被测物体表面的照度，使得相机能够拍摄到更清晰的图像，这有助于提高深度信息的获取精度，另一方面可以保证条纹与泛光的比例，更容易实现对光强的精确控制，有利于提高精度。

图4为本发明实施例中另一种投射器的结构示意图。如图4所示，本发明实施例中另一种投射器包括：

光源，用于产生红外光线；

条纹生成器，等间距设置有多个柱体，所述多个柱体之间为空隙。

具体地说，红外光线照射在条纹生成器上。当红外光线照射在柱体上时，红外光线被汇集成亮度更大的条纹。当红外光线照射在空隙上时，红外光线呈泛光出射。本实施例结构简单，就可以保证条纹与泛光的比例，具有非常低的成本，有利于商业推广。

图5为本发明实施例中再一种投射器的结构示意图。如图5所示，本发明实施例中再一种投射器包括：

光源，用于产生红外光线；

条纹生成器，等间距设置有多个柱体，所述多个柱体之间设置有过滤片。

具体地说，红外光线照射在条纹生成器上。当红外光线照射在柱体上时，红外光线被汇集成亮度更大的条纹。当红外光线照射在过滤片上时，红外光线呈泛光出射。并且由于过滤片的过滤作用，可以更大比例地调节条纹与泛光的强度。过滤片可以为任意降低光强度的光学装置。在部分实施例中，过滤片还具有扩散功能，使得照射的红外光线呈更大角度出射，从而使得泛光更加均匀。

本实施例具有非常高的集成度，可以对条纹与泛光的光强进行更大范围的调节，能够适应更多的应用场景，并且具有体积小、易于安装的优点。

图6为本发明实施例中一种基线与条纹关系示意图。基线是投射器中心与TOF传感器中心的连线。在现有技术中，由于条纹的特点，投射器与传感器通常为上下布置，因此基线通常为垂直方向。而在本实施例中，对于基线的方向并无特别要求，基线既可以是水平的，又可以是垂直的，还可以是其他任意角度。图6示出了条纹与基线方向垂直的示例。条纹与基线方向垂直时，在基线方向上具有最多的条纹数量，可以获得最强的结构光深度数据密度。

图7为本发明实施例中另一种基线与条纹关系示意图。在图7中，条纹与基线方向呈大夹角。夹角可以为61度、65度、69度、71度、76度、78度、83度、89度或其他任意大于60度，小于90度的夹角。本实施例适用于特定的应用场景，尤其是目标对象与基线具有一定的角度时。本实施例中的模组可以任意放置，使得产品的装配更加灵活。当模组水平放置时，基线长度可以更长，结构光深度的准度也更高。

图8为本发明实施例中一种TOF与条纹结构光融合的步骤流程图。如图8所示，本发明实施例中一种TOF与条纹结构光融合的步骤包括:

步骤S1：获取深度图像，并确定TOF深度的有效范围。

在本步骤中，深度图像由同时接收的条纹与泛光信号生成。深度图像可以由前述实施例中的深度模组获得，也可以由其他硬件设备获得。TOF即时间飞行法，通过给目标发射连续的光脉冲，经过目标反射后，通过传感器接受回来的光，记录飞行的时间，从而计算出到目标的距离。因此，深度图像中的每个像素可以表示空间中一个点的三维坐标，也称为体像素(voxel)。

然而，由于各种因素的影响，例如光照变化、反射物体的特性等，可能会使得获取的深度图像存在噪声或者误差。为了提高深度图的准确性，可以通过一种针对有效深度数据提取与校正算法来进行处理。该算法首先基于核密度估计和连通域标记对测得的深度图进行自适应分割；然后使用一种改进的结构张量进行边缘检测，从而探测深度图中的无效像素和飞行像素；最后用双三次方插值或投票操作纠正或剔除这些像素，同时使用增强置信度剔除错误像素。有效范围根据深度模组的设置确定，比如5cm～10m。

步骤S2：计算TOF深度，并根据TOF深度对所述条纹进行解码，确定每条所述条纹的编号。

在本步骤中，通过时间飞行算法可以获得TOF深度。本实施例采用iTOF技术，以使得TOF深度与结构光深度具有相近的测量范围。为了确定每条条纹的编号，我们需要根据TOF深度对结构光条纹进行解码。根据TOF深度的误差范围，可以确定当前条纹在参考图像上的视差范围，从而可以查找到当前条纹在参考图像上对应的条纹，获得条纹的编号。

步骤S3：根据所述编号，使用结构光技术计算所述条纹对应的结构光深度。

在本步骤中，不同于相移法，本步骤中的条纹是均匀的。通过对条纹的识别，可以计算条纹上各个边缘点的视差，从而获得对应的深度，即结构光深度。

图9为本发明实施例中另一种TOF与条纹结构光融合的步骤流程图。如图9所示，相比于前述实施例，本发明实施例中另一种TOF与条纹结构光融合的步骤还包括：

步骤S4：对结构光深度和TOF深度进行深度融合。

在本步骤中，利用结构光近距离准度高精度高远距离准度差精度差，和TOF近距离精度和准度比结构光差，远距离比结构光高的特点，对结构光和TOF进行深度融合。如图10所示，根据距离的不同，结构光深度与TOF深度的比值w呈现出三个阶段。第一阶段，结构光精准度占主导，在进行融合时全部使用结构光深度数据。第二阶段，结构光和TOF精准度相当，将结构光深度与TOF深度做加权相互滤波处理。第三阶段，TOF精准度占主导，可以使用TOF深度。本实施例综合利用结构光深度与TOF深度的优点，使得测量更加准确，测量范围更加广，仅需一次投射就可以实现结构光与TOF深度的融合，效率高。

图11为本发明实施例中一种计算结构光深度的步骤流程图。如图11所示，本发明实施例中一种计算结构光深度的步骤包括：

步骤S31：判断所述条纹是否失焦，如果失焦，执行步骤S32；如果未失焦，执行步骤S33。

在本步骤中，当目标对象的距离过近时，会导致条纹失焦。对于这种情况，现有技术中由于无法获得清晰的条纹图像而无法进行处理。本步骤对于图像质量进行检测，判断是否失焦，进而分别采用不同的处理方案。

步骤S32：计算所述条纹的中线位置，并在参考图像上确定对应的中线位置，根据视差计算得到中线位置处的结构光深度。

在本步骤中，由于图像失焦，条纹的边缘部分无法准确识别，因此无法进行精确匹配与计算。而根据深度学习、边缘锐化处理等各种方法获得的条纹边缘与真实的数据都存在误差，难以获得准确的结构光数据。本步骤可以通过失焦后的图像获得条纹中线的位置，即使在失焦情况下，条纹中线也是可以准确获得的。这是由于条纹中线位于条纹中央，并且亮度通常最高，因此可以通过这两个方面获得准确的条纹中线位置。由于参考图像是清晰的，可以计算得到对应条纹的中线位置，进而获得当前条纹中线的视差，计算得到准确的结构光深度。

步骤S33：获取所述条纹的边缘位置，并在参考图像上确定对应的边缘位置，根据视差计算得到边缘位置处的结构光深度。

在本步骤中，分别获得条纹的两条边缘的位置，与参考图像上对应的边缘计算视差，得到边缘位置处的结构光深度。虽然条纹在发射端是规则的两条直线，但是经过目标对象的反射后，接收到的条纹的边缘是不规则的线，因此无法通过直线拟合的方式直接获得边缘的位置。本步骤以像素为单位进行匹配计算，获得每个像素点的结构光深度。

本实施例根据条纹是否失焦分别进行处理，可以在获得精确的深度图像的情况下获得最多的结构光深度数据，在失焦的情况下也可以获得准确的结构光深度数据，拓展了测量范围。

图12为本发明实施例中一种结构光深度和TOF深度进行深度融合的步骤流程图。

如图12所示，本发明实施例中一种结构光深度和TOF深度进行深度融合的步骤包括：

步骤S41：利用所述结构光深度校正所述TOF深度，以解决卷绕问题。

在本步骤中，利用结构光深度来校正TOF深度。卷绕问题(Wrap-around problem)是在使用iTOF技术进行三维重建时常见的问题。首先通过结构光技术获取物体的深度信息，然后利用这些深度信息对TOF深度进行修正。将结构光深度与TOF深度进行比较，如果发现TOF深度超出了实际的物理范围(例如，对于某个像素，其TOF深度为负数)、在结构光精度更高的范围内TOF深度值偏差超过阈值，那么就用结构光深度来对其进行修正，即将该像素点的TOF深度直接置为结构光深度。

步骤S42：根据校正后的所述TOF深度对其他位置处的所述TOF深度进行校正，得到最终TOF深度。

在本步骤中，步骤S41中校正后获得的像素点的TOF深度对相邻像素点的TOF深度进行校正。由于只在条纹边缘处有结构光深度，而其他像素点则没有结构光深度，因此本步骤需要利用校正过的像素点的TOF深度对相邻的像素点的深度值进行校正。在本步骤中可以采用多种方法进行校正。比如，针对与相邻像素点存在较大差值的情况，根据像素点与相邻两个条纹边缘线上距离最近的像素点的深度值进行加权计算，得到最终的TOF深度数据。像素点a距离最近的条纹边缘线b和c的距离分别为ab和ac。条纹边缘线b上与像素点a距离最近的像素点的深度值为B，条纹边缘线c上与像素点a距离最近的像素点的深度值为C，则像素点a校正后的TOF深度数据为

步骤S43：根据深度值将所述最终TOF深度与所述结构光深度进行融合。

在本步骤中，可以采用前述实施例中的融合方法，以获得更加准确的深度值。充分利用TOF与结构光数据的准确度，使得获得的图像上的深度值的误差最小，精度最高。

本实施例以结构光深度校正TOF深度，并利用校正后的TOF深度对相邻像素点进行校正，得到最终TOF深度，再将最终TOF深度与结构光深度进行融合，能够提高深度值的准确度。

图13为本发明实施例中再一种TOF与条纹结构光融合的步骤流程图。如图13所示，相比于前述实施例，本发明实施例中再一种TOF与条纹结构光融合的步骤还包括：

步骤S5：根据所述结构光深度调节投射光的强度。

在本步骤中，根据结构光深度，可以调节投射光的强度。例如，如果某个条纹对应的物体表面距离较远，那么可以增加该条纹的投射光强度；反之，如果某个条纹对应的物体表面距离较近，那么可以减少该条纹的投射光强度。在调节投射光的强度时，可以根据目标对象的距离整体调整条纹的强度，也可以仅调节单个条纹的光强。

本实施例根据目标对象的距离调节投射光的强度，使得目标对象的数据更加清晰，能够实现根据目标对象的自适应光强。

图14为本发明实施例中一种TOF与条纹结构光融合系统的结构示意图。如图14所示，本发明实施例中一种TOF与条纹结构光融合系统包括：

获取模块，用于获取深度图像，并确定TOF深度的有效范围；其中，所述深度图像由同时接收的条纹与泛光信号生成；

解码模块，用于计算TOF深度，并根据TOF深度对结构光条纹进行解码，确定每条条纹的编号；

结构光模块，用于根据所述编号，使用结构光技术计算所述条纹对应的结构光深度。

本实施例通过同时投射条纹与泛光，利用TOF深度值引导条纹匹配，获得结构光深度，仅需一次投射就可以获得结构光深度，实现近距离获得高精度结构光深度，远距离获得TOF深度的效果，具有测量速度快、重建精度高、测量范围广、资源消耗少、鲁棒性高的优点。

在部分实施例中，还包括：融合模块，用于对结构光深度和TOF深度进行深度融合。本实施例参见前述实施例的描述，此处不再赘述。

在部分实施例中，还包括：调节模块，用于根据所述结构光深度调节投射光的强度。本实施例参见前述实施例的描述，此处不再赘述。

本发明实施例中还提供一种TOF与条纹结构光融合设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的一种TOF与条纹结构光融合方法的步骤。

如上，本实施例通过同时投射条纹与泛光，利用TOF深度值引导条纹匹配，获得结构光深度，仅需一次投射就可以获得结构光深度，实现近距离获得高精度结构光深度，远距离获得TOF深度的效果，具有测量速度快、重建精度高、测量范围广、资源消耗少、鲁棒性高的优点。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图15是本发明实施例中的一种TOF与条纹结构光融合设备的结构示意图。下面参照图15来描述根据本发明的这种实施方式的电子设备600。图15显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图15所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述一种TOF与条纹结构光融合方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图15中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的一种TOF与条纹结构光融合方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述一种TOF与条纹结构光融合方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，本实施例通过同时投射条纹与泛光，利用TOF深度值引导条纹匹配，获得结构光深度，仅需一次投射就可以获得结构光深度，实现近距离获得高精度结构光深度，远距离获得TOF深度的效果，具有测量速度快、重建精度高、测量范围广、资源消耗少、鲁棒性高的优点。

图16是本发明实施例中的计算机可读存储介质的结构示意图。参考图16所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本实施例通过同时投射条纹与泛光，利用TOF深度值引导条纹匹配，获得结构光深度，仅需一次投射就可以获得结构光深度，实现近距离获得高精度结构光深度，远距离获得TOF深度的效果，具有测量速度快、重建精度高、测量范围广、资源消耗少、鲁棒性高的优点。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种TOF与条纹结构光融合方法，其特征在于，包括：

步骤S1：获取深度图像，并确定TOF深度的有效范围；其中，所述深度图像由同时接收的条纹与泛光信号生成；

步骤S2：计算TOF深度，并根据TOF深度对所述条纹进行解码，确定每条所述条纹的编号；

步骤S3：根据所述编号，使用结构光技术计算所述条纹对应的结构光深度。

2.根据权利要求1所述的一种TOF与条纹结构光融合方法，其特征在于，所述步骤S3包括：

步骤S31：判断所述条纹是否失焦，如果失焦，执行步骤S32；如果未失焦，执行步骤S33；

步骤S32：计算所述条纹的中线位置，并在参考图像上确定对应的中线位置，根据视差计算得到中线位置处的结构光深度；

步骤S33：获取所述条纹的边缘位置，并在参考图像上确定对应的边缘位置，根据视差计算得到边缘位置处的结构光深度。

3.根据权利要求1所述的一种TOF与条纹结构光融合方法，其特征在于，还包括：

步骤S4：对结构光深度和TOF深度进行深度融合。

4.根据权利要求3所述的一种TOF与条纹结构光融合方法，其特征在于，所述步骤S4包括：

步骤S41：利用所述结构光深度校正所述TOF深度，以解决卷绕问题；

步骤S42：根据校正后的所述TOF深度对其他位置处的所述TOF深度进行校正，得到最终TOF深度；

步骤S43：根据深度值将所述最终TOF深度与所述结构光深度进行融合。

5.根据权利要求1所述的一种TOF与条纹结构光融合方法，其特征在于，还包括：

步骤S5：根据所述结构光深度调节投射光的强度。

6.根据权利要求1所述的一种TOF与条纹结构光融合方法，其特征在于，所述条纹为强度均匀的亮条纹。

7.根据权利要求1所述的一种TOF与条纹结构光融合方法，其特征在于，不同所述深度图像上的所述条纹的强度与所述泛光的强度呈固定比例。

8.一种TOF与条纹结构光融合系统，用于实现权利要求1至7中任一项所述的TOF与条纹结构光融合方法，其特征在于，包括：

获取模块，用于获取深度图像，并确定TOF深度的有效范围；其中，所述深度图像由同时接收的条纹与泛光信号生成；

解码模块，用于计算TOF深度，并根据TOF深度对结构光条纹进行解码，确定每条条纹的编号；

结构光模块，用于根据所述编号，使用结构光技术计算所述条纹对应的结构光深度。

9.一种TOF与条纹结构光融合设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述TOF与条纹结构光融合方法的步骤。

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述TOF与条纹结构光融合方法的步骤。