CN108845332A - 基于tof模组的深度信息测量方法及装置 - Google Patents

Abstract

本发明公开一种基于TOF模组的深度信息测量方法及装置。该方法的一具体实施方式包括：使TOF模组交替出射不同光强的光脉冲信号；获取TOF模组基于各光强的光脉冲信号及与其对应的反射光信号所输出的深度信息，得到各光强的光脉冲信号对应的深度信息点云图和灰度图；根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图。该实施方式测量范围大且测量精度高。

Description

基于TOF模组的深度信息测量方法及装置

技术领域

本发明涉及。更具体地，涉及一种基于TOF模组的深度信息测量方法及装置。

背景技术

TOF(Time of flight)模组是一种双向测距模组，其工作原理是向目标连续出射光脉冲信号(通常为红外光脉冲信号)，并接收由目标反射的光脉冲信号，通过探测光脉冲信号的往返飞行时间来测量目标的距离，输出目标距离数据。TOF模组作为一种主流的3D摄像头模组，越来越受到重视。

现有TOF模组均是出射恒定光强的光脉冲信号，存在测量范围较小且测量精度较低的问题，该问题由两个因素导致，第一个因素是恒定光强的光脉冲信号的有效覆盖范围固定，第二个因素是不同目标具有不同的反光率。对于第一个因素，如图1所示，现有的TOF模组出射的光脉冲信号的光强为a1，如图2所示，该TOF模组的有效覆盖直线范围为L。具体而言，由于距离关系，在L₁位置会达到一个临界点，对于距离小于L₁的目标，由于反射的光脉冲信号光强太大，TOF模组无法进行正常的距离测量；与之类似，在距离L₂的位置会达到另一个临界点，距离大于L₂的目标，由于反射的光脉冲信号光强太小，TOF模组同样无法进行正常的距离测量。现有的TOF模组在强度为a1的的光脉冲情况下的测量范围为L。对于第二个因素，由于不同的目标具有不同的反光率，因此，传统的恒定脉冲打光方式的TOF模组，由于TOF测量系统本身的特性，相同距离的两个不同的目标，因为其自身的反光率不同，在距离相对较远，出射到两个目标的光脉冲信号相对较弱的位置，会导致测量距离的偏差，即对于两个实际距离相同的目标得到两个相差较大的测量距离。综上，以上两个因素均会导致现有TOF模组存在测量范围较小且测量精度较低的问题。

因此，需要提供一种测量范围大且测量精度高的基于TOF模组的深度信息测量方法及装置。

发明内容

本发明的目的在于提供一种测量范围大且测量精度高的基于TOF模组的深度信息测量方法及装置。

为达到上述目的，本发明采用下述技术方案：

本发明第一方面提供了一种基于TOF模组的深度信息测量方法，包括：

使TOF模组交替出射不同光强的光脉冲信号；

获取TOF模组基于各光强的光脉冲信号及与其对应的反射光信号所输出的深度信息，得到各光强的光脉冲信号对应的深度信息点云图和灰度图；

根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图。

优选地，使TOF模组以固定的时间间隔交替出射不同光强的光脉冲信号。

优选地，不同光强的光脉冲信号的持续出射时段相同。

优选地，各光强的光脉冲信号与其他光强的光脉冲信号之间的最小光强差值相等。

优选地，使TOF模组交替出射两个光强的光脉冲信号。

优选地，所述根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图进一步包括：

遍历各光强的光脉冲信号对应的深度信息点云图中每一个像素点的深度信息并计算每一个像素点的最终深度信息，对于某一个像素点：

判断各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息差值是否小于设定的误差阈值：

若是，则以各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息；

若否，则根据该像素点在各光强的光脉冲信号对应的灰度图中的灰度值与设定的过暗阈值和过曝阈值的关系确定该像素点的最终深度信息；

由每一个像素点的最终深度信息构成最终深度信息点云图。

优选地，所述根据该像素点在各光强的光脉冲信号对应的灰度图中的灰度值与设定的过暗阈值和过曝阈值的关系确定该像素点的最终深度信息进一步包括：

提取该像素点在各光强的光脉冲信号对应的灰度图中的灰度值，进行如下判断：

如果该像素点在各光强的光脉冲信号对应的灰度图中的灰度值均位于设定的过暗阈值与过曝阈值之间，则以各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息；

如果该像素点在各光强的光脉冲信号对应的灰度图中的灰度值均大于过曝阈值，则取各光强的光脉冲信号对应的深度信息点云图中该像素点的最小深度信息作为该像素点的最终深度信息；

如果该像素点在各光强的光脉冲信号对应的灰度图中的灰度值均小于过暗阈值，则取各光强的光脉冲信号对应的深度信息点云图中该像素点的最大深度信息作为该像素点的最终深度信息；

如果该像素点在部分光强的光脉冲信号对应的灰度图中的灰度值位于设定的过暗阈值与过曝阈值之间，另一部分光强的光脉冲信号对应的灰度图中的灰度值小于过暗阈值或大于过曝阈值，则以所述部分光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息。

本发明第二方面提供了一种执行本发明第一方面提供的基于TOF模组的深度信息测量方法的装置，该装置包括TOF模组和数据处理单元，

所述TOF模组，交替出射不同光强的光脉冲信号；

所述数据处理单元，获取TOF模组基于各光强的光脉冲信号及与其对应的反射光信号所输出的深度信息，得到各光强的光脉冲信号对应的深度信息点云图和灰度图；并根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图。

本发明的有益效果如下：

本发明所述技术方案的测量范围大且测量精度高。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1示出现有的TOF模组出射光脉冲信号的波形图。

图2示出现有的TOF模组的测量范围示意图。

图3示出本发明实施例提供的基于TOF模组的深度信息测量方法的流程图。

图4示出本发明实施例提供的基于TOF模组的深度信息测量方法中TOF模组出射光脉冲信号的波形图。

图5示出本发明实施例提供的基于TOF模组的深度信息测量方法中TOF模组的测量范围示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图3所示，本发明的一个实施例提供了一种基于TOF模组的深度信息测量方法，包括：

使TOF模组交替出射不同光强的光脉冲信号；

获取TOF模组基于各光强的光脉冲信号及与其对应的反射光信号所输出的深度信息，得到各光强的光脉冲信号对应的深度信息点云图和灰度图；

根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图。

本实施例提供的基于TOF模组的深度信息测量方法，由于交替出射不同光强的光脉冲信号，即交替出射至少两种不同光强的光脉冲信号，可基于多个不同光强的光脉冲信号进行深度信息测量，可大幅提升TOF模组的测量范围。另外，还可实现将多个光强的光脉冲信号对应的深度信息点云图及灰度图进行融合，采用均值等方式进行计算，可大幅提高测量精度。

在本实施例的一些可选的实现方式中，使TOF模组以固定的时间间隔交替出射不同光强的光脉冲信号。进一步，不同光强的光脉冲信号的持续出射时段相同。采用这样的方式，便于精确控制TOF模组交替出射不同光强的光脉冲信号，也可避免驱动时序精确度等因素的影响可能造成的不同光强的光脉冲信号之间相互干扰，可进一步保证深度信息测量的准确性。

在本实施例的一些可选的实现方式中，各光强的光脉冲信号与其他光强的光脉冲信号之间的最小光强差值相等。采用这样的方式，TOF模组的测量范围中各光强的光脉冲信号对应的测量范围分布均匀，可进一步保证深度信息测量的准确性。需要说明的是，具体采用几种不同光强的光脉冲信号、光强的具体设定值、TOF模组有效覆盖范围具体多大、TOF模组有效覆盖范围内不同光强的光脉冲信号的有效覆盖范围的重叠区域多大等，均可根据TOF模组性能、测量精度要求等不同的实际情况或实际需求设定。

在本实施例的一些可选的实现方式中，根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图进一步包括：

遍历各光强的光脉冲信号对应的深度信息点云图中每一个像素点的深度信息并计算每一个像素点的最终深度信息，对于某一个像素点：

判断各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息差值是否小于设定的误差阈值：

若是，则以各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息；

若否，则根据该像素点在各光强的光脉冲信号对应的灰度图中的灰度值与设定的过暗阈值和过曝阈值的关系确定该像素点的最终深度信息；

由每一个像素点的最终深度信息构成最终深度信息点云图。

需要说明的是，深度信息点云图和灰度图的像素点位置是一一对应的。上述步骤中的误差阈值、过曝阈值和过暗阈值分别可根据对计算速度要求更高还是对计算精度要求更高等不同实际需求设定。如果某个目标的像素点在对应各光强的光脉冲信号的测量范围内，则各光强的光脉冲信号对应深度信息点云图中该目标的像素点的深度信息之间的差值小于误差阈值，直接以各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息。如果某个目标不在至少一个光强的光脉冲信号的测量范围内，则通过利用灰度值判断的方式剔除该至少一个光强的光脉冲信号对应的目标的像素点的深度信息，具体为该至少一个光强的光脉冲信号对应的灰度图中该目标的像素点的灰度值小于过暗阈值或大于过曝阈值，即可通过上述步骤消除其影响。

在本实施例的一些可选的实现方式中，对于可反映某个目标不在至少一个光强的光脉冲信号的测量范围内的各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息差值大于等于设定的误差阈值，即至少有一个深度信息点云图中该像素点的深度信息与其他深度信息点云图中该像素点的深度信息差值较大的情况，根据该像素点在各光强的光脉冲信号对应的灰度图中的灰度值与设定的过暗阈值和过曝阈值的关系确定该像素点的最终深度信息进一步包括：

提取该像素点在各光强的光脉冲信号对应的灰度图中的灰度值，进行如下判断：

如果该像素点在各光强的光脉冲信号对应的灰度图中的灰度值均位于设定的过暗阈值与过曝阈值之间，则以各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息；

如果该像素点在各光强的光脉冲信号对应的灰度图中的灰度值均大于过曝阈值，则取各光强的光脉冲信号对应的深度信息点云图中该像素点的最小深度信息作为该像素点的最终深度信息；

如果该像素点在各光强的光脉冲信号对应的灰度图中的灰度值均小于过暗阈值，则取各光强的光脉冲信号对应的深度信息点云图中该像素点的最大深度信息作为该像素点的最终深度信息；

如果该像素点在部分光强的光脉冲信号对应的灰度图中的灰度值位于设定的过暗阈值与过曝阈值之间，另一部分光强的光脉冲信号对应的灰度图中的灰度值小于过暗阈值或大于过曝阈值，则以上述部分光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息。

下面以TOF模组交替出射两个光强的光脉冲信号为例进行进一步说明。

如图4所示，使TOF模组交替出射光强分别为a1和a2的光脉冲信号，如图5所示，光强为a1的光脉冲信号的有效覆盖直线范围为由临界点L₁和L₂限定的L1，光强为a2的光脉冲信号的有效覆盖直线范围为由临界点L₃和L₄限定的L2，L1+L2共同组成TOF模组的有效覆盖直线范围。

根据光强为a1和a2的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图进一步包括：

遍历光强为a1和a2的光脉冲信号对应的深度信息点云图中每一个像素点的深度信息并计算每一个像素点的最终深度信息，其中，光强为a1的光脉冲信号对应的深度信息点云图为D1，光强为a2的光脉冲信号对应的深度信息点云图为D2，光强为a1的光脉冲信号对应的灰度图为IR1，光强为a1的光脉冲信号对应的灰度图为IR2，因为是基于同一个TOF模组进行深度信息测量所输出的深度信息而得到的深度信息点云图和灰度图，因此，深度信息点云图和灰度图的像素点位置一一对应。

对于某一个像素点：

判断该像素点在深度信息点云图D1中的深度信息d1和在深度信息点云图D2中的深度信息d2之间的差值是否小于设定的误差阈值：

若是，则以d1与d2的均值作为该像素点的最终深度信息；

若否，则提取该像素点在灰度图IR1中的灰度值ir1和在灰度图IR2中的灰度值ir2，进行如下判断：

如果ir1和ir2均介于设定的过暗阈值与过曝阈值之间，则以d1与d2的均值作为该像素点的最终深度信息；

如果ir1和ir2均大于过曝阈值，则取d1与d2中较小的一个作为该像素点的最终深度信息；

如果ir1和ir2均小于过暗阈值，则取d1与d2中较大的一个作为该像素点的最终深度信息；

如果ir1和ir2中，ir1位于设定的过暗阈值与过曝阈值之间，ir2大于过曝阈值，则取d1作为该像素点的最终深度信息；同理，如果ir1和ir2中，ir2位于设定的过暗阈值与过曝阈值之间，ir1小于过暗阈值，则取d2作为该像素点的最终深度信息；

将D1和D2融合，由每一个像素点的最终深度信息构成最终深度信息点云图。

本发明的另一个实施例提供了一种执行前述实施例提供的基于TOF模组的深度信息测量方法的基于TOF模组的深度信息测量装置，该装置包括TOF模组和数据处理单元，

TOF模组，交替出射不同光强的光脉冲信号；

数据处理单元，获取TOF模组基于各光强的光脉冲信号及与其对应的反射光信号所输出的深度信息，得到各光强的光脉冲信号对应的深度信息点云图和灰度图；并根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图。

其中，数据处理单元可集成于TOF模组实现，也可通过独立设置的上位机等设备实现。

需要说明的是，本实施例提供的基于TOF模组的深度信息测量装置的原理及工作流程与前述实施例提供的基于TOF模组的深度信息测量方法相似，相关之处可以参照上述说明，在此不再赘述。

在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

还需要说明的是，在本发明的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种基于TOF模组的深度信息测量方法，其特征在于，包括：

使TOF模组交替出射不同光强的光脉冲信号；

获取TOF模组基于各光强的光脉冲信号及与其对应的反射光信号所输出的深度信息，得到各光强的光脉冲信号对应的深度信息点云图和灰度图；

根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图。

2.根据权利要求1所述的基于TOF模组的深度信息测量方法，其特征在于，使TOF模组以固定的时间间隔交替出射不同光强的光脉冲信号。

3.根据权利要求2所述的基于TOF模组的深度信息测量方法，其特征在于，不同光强的光脉冲信号的持续出射时段相同。

4.根据权利要求1所述的基于TOF模组的深度信息测量方法，其特征在于，各光强的光脉冲信号与其他光强的光脉冲信号之间的最小光强差值相等。

5.根据权利要求1所述的基于TOF模组的深度信息测量方法，其特征在于，使TOF模组交替出射两个光强的光脉冲信号。

6.根据权利要求1所述的基于TOF模组的深度信息测量方法，其特征在于，所述根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图进一步包括：

遍历各光强的光脉冲信号对应的深度信息点云图中每一个像素点的深度信息并计算每一个像素点的最终深度信息，对于某一个像素点：

判断各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息差值是否小于设定的误差阈值：

若是，则以各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息；

若否，则根据该像素点在各光强的光脉冲信号对应的灰度图中的灰度值与设定的过暗阈值和过曝阈值的关系确定该像素点的最终深度信息；

由每一个像素点的最终深度信息构成最终深度信息点云图。

7.根据权利要求6所述的基于TOF模组的深度信息测量方法，其特征在于，所述根据该像素点在各光强的光脉冲信号对应的灰度图中的灰度值与设定的过暗阈值和过曝阈值的关系确定该像素点的最终深度信息进一步包括：

提取该像素点在各光强的光脉冲信号对应的灰度图中的灰度值，进行如下判断：

如果该像素点在各光强的光脉冲信号对应的灰度图中的灰度值均位于设定的过暗阈值与过曝阈值之间，则以各光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息；

如果该像素点在各光强的光脉冲信号对应的灰度图中的灰度值均大于过曝阈值，则取各光强的光脉冲信号对应的深度信息点云图中该像素点的最小深度信息作为该像素点的最终深度信息；

如果该像素点在各光强的光脉冲信号对应的灰度图中的灰度值均小于过暗阈值，则取各光强的光脉冲信号对应的深度信息点云图中该像素点的最大深度信息作为该像素点的最终深度信息；

如果该像素点在部分光强的光脉冲信号对应的灰度图中的灰度值位于设定的过暗阈值与过曝阈值之间，另一部分光强的光脉冲信号对应的灰度图中的灰度值小于过暗阈值或大于过曝阈值，则以所述部分光强的光脉冲信号对应的深度信息点云图中该像素点的深度信息的均值作为该像素点的最终深度信息。

8.一种执行如权利要求1-7中任一项所述的基于TOF模组的深度信息测量方法的装置，其特征在于，包括TOF模组和数据处理单元，

所述TOF模组，交替出射不同光强的光脉冲信号；

所述数据处理单元，获取TOF模组基于各光强的光脉冲信号及与其对应的反射光信号所输出的深度信息，得到各光强的光脉冲信号对应的深度信息点云图和灰度图；并根据各光强的光脉冲信号对应的深度信息点云图和灰度图，计算得到作为深度信息测量结果的最终深度信息点云图。