CN112842180A

CN112842180A - 扫地机器人及其测距避障方法、装置及可读存储介质

Info

Publication number: CN112842180A
Application number: CN202011645269.7A
Authority: CN
Inventors: 杨勇; 宫海涛; 罗志康
Original assignee: Shenzhen 3irobotix Co Ltd
Current assignee: Shenzhen 3irobotix Co Ltd
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2021-05-28
Also published as: WO2022143285A1

Abstract

本申请公开了一种扫地机器人及其测距避障方法、装置及可读存储介质，方法包括：在扫地机器人执行清扫任务时，基于所述双TOF相机获取障碍物的深度信息；基于所述深度信息执行双目立体匹配操作得到目标深度信息；通过所述目标深度信息计算得到所述障碍物与扫地机器人之间的距离。解决了无法精确且准确地计算扫地机器人与障碍物之间的距离的技术问题，提高计算扫地机器人与障碍物之间的距离时的准确度和精度。

Description

扫地机器人及其测距避障方法、装置及可读存储介质

技术领域

本申请涉及视觉匹配技术领域，尤其涉及一种扫地机器人及其测距方法、装置以及计算机可读存储介质。

背景技术

随着科技的发展，越来越多智能设备出现在人们的生活中，例如扫地机器人。在扫地机器人执行清洁任务的过程中需要通过获取清洁环境中的物体信息来控制其行走路径，确保扫地机器人在清扫时不会发生碰撞等问题。

现有技术中通常采用双RGB摄像头和可选的照明系统匹配，或者TOF相机的方法实现扫地机器人确定与障碍物之间存在的距离，但TOF相机存在分辨率相对较低，系统误差及随机误差对结果影响明显，近距离测量距离不精确等问题，但优势在于不受光照变化和物体纹理影响，能实时计算深度信息。而双目相机存在需要很高的计算资源，计算复杂，实时性差，受光照、物体纹理性质的影响，但优势在于近距离精度精确。即，现有技术中仍无法准确且精确地确定扫地机器人与障碍物之间的距离。

发明内容

本申请实施例通过提供一种扫地机器人及其测距方法、装置以及计算机可读存储介质，旨在解决现有技术中的扫地机器人无法精确且准确地识别扫地机器人与障碍物之间的距离的问题。

为实现上述目的，本申请一方面提供一种扫地机器人的测距避障方法，包括：

在扫地机器人执行清扫任务时，基于所述双TOF相机获取障碍物的深度信息；

基于所述深度信息执行双目立体匹配操作得到目标深度信息；

通过所述目标深度信息计算得到所述障碍物与扫地机器人之间的距离。

可选地，所述深度信息包括基于第一TOF相机获取到第一深度图中的第一深度信息和基于第二TOF相机获取到第二深度图中的第二深度信息，所述基于所述深度信息执行双目立体匹配操作得到目标深度信息的步骤，包括：

基于匹配代价对所述第一深度信息和所述第二深度信息进行匹配，获取匹配过程中得到的每一代价矩阵；

建立所述第一深度信息之间的联系，对代价矩阵进行优化，得到每一深度信息的聚合代价矩阵；

根据所述聚合代价矩阵中根据最小代价值确定各第一深度信息的深度值的深度差；

深度优化所述深度差得到目标深度图；

根据所述目标深度图得到所述目标深度信息。

可选地，所述基于所述匹配代价对所述第一深度信息和所述第二深度信息进行匹配，获取匹配过程中得到的每一匹配代价矩阵的步骤，包括：

根据确定的第一深度信息在第二深度图中获取预设范围的第二深度信息；

将所述第二深度信息进行差值运算得到所述匹配代价矩阵。

可选地，所述根据确定的第一深度信息在第二深度图中获取预设范围的第二深度信息的步骤，包括：

获取所述第一深度信息的坐标，在所述第二深度图中获取与所述坐标的横坐标相邻的深度信息作为待确定深度信息；

基于第一深度信息的纵坐标在所述待确定深度信息中获取目标数量的深度信息作为所述第二深度信息。

可选地，所述深度优化所述深度差得到目标深度图的步骤之后，包括：

在所述目标深度图中获取多个第一目标深度差值；

连接所述多个目标深度信息，形成目标深度面积；

根据所述目标深度面积与所述第一深度图的面积的比例确定所述障碍物的类型。

可选地，所述根据所述目标深度面积与所述第一深度图的面积的比例确定所述障碍物的类型的步骤之后，包括：

根据所述障碍物的类型和所述距离确定扫地机器人的前进路径。

可选地，所述根据所述面积与所述第一图像的比例确定所述障碍物的类型的步骤之后，所述方法还包括：

当确定所述障碍物为大型障碍物时，采用阈值控制方法确定所述障碍物的物理体积；

当确定所述障碍物为大型障碍物时，采用深度信息进行拟合的方法确定所述障碍物的物理体积。

此外，为实现上述实施例，本申请还提供一种扫地机器人，所述扫地机器人包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的扫地机器人的测距避障程序，所述扫地机器人的测距避障程序被所述处理器执行时实现如上任一项扫地机器人的测距避障方法的步骤。

此外，为实现上述实施例，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有扫地机器人的测距避障程序，所述扫地机器人的测距避障程序被处理器执行时实现如上中任一项扫地机器人的测距避障方法的步骤。

在本实施例中，当扫地机器人执行清扫任务时，基于所述双TOF相机获取障碍物的深度信息，进而深度信息执行双目立体匹配操作得到目标深度信息，通过目标深度信息即可确定所述障碍物与扫地机器人之间的距离。实现了通过双TOF相机获取扫地机器人在执行清洁任务前进方向的障碍物的信息，利用双目立体匹配操作得到相机与障碍物之间的距离，能够解决双目RGB在曝光情况下无法实现准确确定扫地机器人与障碍物之间的距离，以及单TOF在近距离计算扫地机器人与障碍物之间的距离时存在较大误差的问题，通过双TOF相机对障碍物信息进行提高了计算扫地机器人与障碍物之间距离的精度和准确性。

附图说明

图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本申请扫地机器人的测距避障方法一实施例的流程示意图；

图3为本申请扫地机器人的测距避障方法又一实施例的流程示意图；

图4为本申请扫地机器人的测距避障方法另一实施例的流程示意图；

图5为本申请扫地机器人的测距避障方法的功能模块示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：在扫地机器人执行清扫任务时，基于所述双TOF相机获取障碍物的深度信息；基于所述深度信息执行双目立体匹配操作得到目标深度信息；通过所述目标深度信息计算得到所述障碍物与扫地机器人之间的距离。

在现有技术中，通常在计算扫地机器人与障碍物之间的距离时，一般是通过双RGB摄像头、一般结构光或者TOF相机。但是TOF相机存在分辨率相对较低，很难提高，系统误差及随机误差对结果影响明显，近距离测量距离不精确等问题，但优势在于不受光照变化和物体纹理影响，能实时计算深度信息。而双目相机存在需要很高的计算资源，计算复杂，实时性差，受光照，物体纹理性质影响，但优势在于近距离精度精确。可见，现有技术中在计算扫地机器人与障碍物之间的距离时无法实现精确且准确地计算。

如图1所示，图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、遥控器、音频电路、WiFi模块、检测器等等。当然，终端还可配置陀螺仪、气压计、湿度计、温度传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及家电设备的控制程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的家电设备的控制程序，并执行以下操作：

参考图2，图2为本申请扫地机器人的测距避障方法第一实施例的流程示意图。

本申请实施例提供了扫地机器人的测距避障方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

扫地机器人的测距避障方法包括：

步骤S10，在扫地机器人执行清扫任务时，基于所述双TOF相机获取障碍物的深度信息；

在本申请中扫地机器人基于面向执行清洁任务方向上安装有两个TOF相机，所述TOF相机包括传感器和光源。在扫地机器人执行清洁任务的过程中光源发出光照射前方的物体，并通过传感器获取在照射到物体后折射回来的折射光，根据折射的时间形成深度信息。可以理解的是，根据TOF相机原理，可根据从TOF相机发出光源至接收到经过物体折射的折射光的时间差距计算得到深度信息，即所述深度信息可反映障碍物与扫地机器人的距离。

步骤S20，基于所述深度信息执行双目立体匹配操作得到目标深度信息；

通过传感器获取到折射光后，将其转换成深度信息，进而通过深度信息执行双目立体匹配操作得到目标深度信息。

在现有技术中，通常在计算扫地机器人与障碍物之间的距离时，一般是通过双RGB摄像头、一般结构光或者TOF相机。但是TOF相机存在分辨率相对较低，很难提高，系统误差及随机误差对结果影响明显，近距离测量距离不精确等问题，但优势在于不受光照变化和物体纹理影响，能实时计算深度信息。而双目相机存在需要很高的计算资源，计算复杂，实时性差，受光照，物体纹理性质影响，但优势在于近距离精度精确。

在本申请中基于现有技术中双RGB摄像头利用双目匹配的原理，使用双TOF相机和双目立体匹配操作得到目标深度信息。

所述双目立体匹配包括匹配代价计算和代价聚合计算，所述深度信息包括基于第一TOF相机获取到第一深度图中的第一深度信息和基于第二TOF相机获取到第二深度图中的第二深度信息，所述基于所述深度信息执行双目立体匹配操作得到深度差值的步骤，包括：

步骤S21，基于匹配代价计算对所述第一深度信息和所述第二深度信息进行匹配，获取匹配过程中得到的每一代价矩阵；

所述第一深度信息为第一深度图中各深度点的信息，其包括深度值以及坐标。

匹配代价计算的目的是衡量待匹配深度信息与候选深度信息之间的相关性。两个深度信息无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。

步骤S22，建立所述第一深度信息之间的联系，对代价矩阵进行优化，得到每一深度信息的聚合代价矩阵；

代价聚合的根本目的是让通过代价匹配得到的代价值能够准确的反映深度信息之间的相关性。匹配代价计算往往只会考虑局部信息，通过两个深度信息邻域内一定大小的窗口内的深度信息信息来计算代价值，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确的反映深度信息之间的相关性，直接表现就是真实同名点的代价值非最小。

而代价聚合是通过建立邻接深度信息之间的联系，以一定的准则，如相邻深度信息应该具有连续的视差值，来对代价矩阵进行优化，每个深度信息在某个视差下的新代价值都会根据其相邻深度信息在同一视差值或者附近视差值下的代价值来重新计算，得到新的DSI，用矩阵S来表示。

步骤S23，根据所述聚合代价矩阵中根据最小代价值确定每个深度值的深度差；

步骤S24，深度优化所述深度差得到目标深度图；

步骤S25，根据所述目标深度图得到所述目标深度信息。

即通过代价聚合之后的代价矩阵S来确定每个深度值的深度差，通常使用赢家通吃算法(WTA，Winner-Takes-All)来计算。

采用左右一致性检查(Left-Right Check)算法剔除因为遮挡和噪声而导致的错误深度差，采用剔除小连通区域算法来剔除孤立异常点，采用中值滤波(Median Filter)、双边滤波(Bilateral Filter)等平滑算法对目标深度图进行平滑，最后得到目标深度信息。

在本实施例中，基于双TOF相机获取到的深度信息进行双目立体匹配操作，优化得到目标深度图，最后根据目标深度图得到目标深度信息，提高了目标深度信息获取的准确度。

步骤S30，通过所述目标深度信息计算得到所述障碍物与扫地机器人之间的距离。

进一步地，将所述目标深度信息进行计算确定所述障碍物与扫地机器人之间的距离。

参照图3，图3为本申请的又一实施例流程示意图。所述基于所述匹配代价对所述第一深度信息和所述第二深度信息进行匹配，获取匹配过程中得到的每一匹配代价矩阵的步骤，包括：

步骤S211，根据确定的第一深度信息在第二深度图中获取预设范围的第二深度信息；

在本实施例中通过局部匹配的方法匹配得到第二深度信息。所述根据确定的第一深度信息在第二深度图中获取预设范围的第二深度信息的步骤，包括：

步骤S2111，获取所述第一深度信息的坐标，在所述第二深度图中获取与所述坐标的横坐标相邻的深度信息作为待确定深度信息；

步骤S2112，基于第一深度信息的纵坐标在所述待确定深度信息中获取目标数量的深度信息作为所述第二深度信息。

所述第一深度信息为双TOF相机中做TOF相机拍摄的第一深度图中的深度信息，所述第二深度信息为双TOF相机中右TOF相机拍摄的第二深度图中的深度信息。

横坐标相邻的深度信息为在第二深度图中查找与第一深度信息的横坐标为参照物，查找与其相邻的横坐标坐标的深度信息。例如，当第一深度信息在第一深度图中的坐标为(2,3)，则在第二深度图中查找横坐标为2和3的深度信息为待确定深度信息。

在本申请中以第一深度信息的坐标，在第二深度图中获取横坐标与第一深度信息坐标的横坐标相邻的深度信息作为待确定深度信息，可以理解的是，在第二深度图中所述第二深度信息存在多个，获取预设范围的第二深度信息进行计算，得到匹配代价矩阵。例如，在得到待确定深度信息后，确定与第一深度信息纵坐标为基准，左右3个待确定深度信息作为第二深度信息，以实现获取与第一深度信息匹配的第二深度信息。

步骤S212，将所述第二深度信息进行差值运算得到所述匹配代价矩阵。

所述预设范围即为控制第二深度图中与第一深度信息的横坐标相等的第二深度信息的取值范围。

在本实施例中基于在第一深度图中的第一深度信息，在第二深度图中获取预设范围内的第二深度信息。避免了单一匹配第二深度信息时由于匹配不准确导致双目立体匹配结果存在较大误差的问题。

参照图4，图4为本申请的又一实施例流程示意图。所述深度优化所述深度差得到目标深度图的步骤之后，包括：

步骤26，在所述目标深度图中获取多个第一目标深度信息；

步骤27，连接所述多个第一目标深度信息，形成目标深度面积；

步骤28，根据所述目标深度面积与所述第一深度图的面积的比例确定所述障碍物的类型。

所述第一深度图为双目TOF相机中左相机拍摄的图像。

所述第一深度信息为在目标深度图中获得的深度信息。

在目标深度图中获取多个第一目标深度信息，连接多个第一目标深度信息形成目标深度面积，进而根据目标深度面积与第一深度图的面积进行比对，获取两者之间的比例，确定所述障碍物的类型。

可以理解的是，在确定障碍物的类型是，可以将预设比例的大小确定类型，所述障碍物的类型包括大型障碍物和小型障碍物。例如，当目标深度面积与第一深度图的面积的比例大于50％，则确定所述障碍物的类型为大型障碍物，反之，则判断其为小型障碍物。通过判断障碍物的大小为扫地机器人进行障碍物避让提供了判断基础。

具体地，其还可结合扫地机器人所在的环境不同来确定障碍物的类型。

所述根据所述目标深度面积与所述第一深度图的面积的比例确定所述障碍物的类型的步骤之后，包括：

步骤29，根据所述障碍物的类型和所述距离确定扫地机器人的前进路径。

在本申请中能够基于使用双目TOF相机获取到的深度信息，并根据深度信息得到扫地机器人在执行清洁任务时前方障碍物的类型，合理作出避让障碍物的规划路径。例如，对于大型障碍物扫地机器人可在通过采用减速前进的清扫方式，避免触碰到大型障碍物的边缘。确保扫地机器人在执行清洁时不会触碰到障碍物，导致发生损坏，造成损失。

根据所述目标深度面积与所述第一深度图的面积的比例确定所述障碍物的类型的步骤之后，所述方法还包括：

步骤S30，当确定所述障碍物为大型障碍物时，采用阈值控制方法确定所述障碍物的物理体积；

步骤S31，当确定所述障碍物为大型障碍物时，采用深度信息进行拟合的方法确定所述障碍物的物理体积。

在本实施例中，对于小型障碍物，例如如细线等，可在两个TOF计算出来的深度值数据拟合，使用深度变化不大的深度值进行拟合，对于对于小型障碍物，例如，冰箱，床等，进行边缘的深度进行阈值控制，目标大的物体边缘深度变化剧烈，采取阈值控制，可减少算法计算量和快速确定障碍物的物理体积，使扫地机器人合理作出路径规划。

此外，参照图5，图5为本申请的模块示意图。为实现上述实施例，本申请还提供一种扫地机器人装置，包括：

获取模块10，用于在扫地机器人执行清扫任务时，基于所述双TOF相机获取障碍物的深度图；

匹配模块20，用于基于所述深度图中的深度信息进行双目立体匹配得到目标深度信息；

确定模块30，用于通过所述目标深度信息计算得到所述障碍物与扫地机器人之间的距离。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本申请的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种扫地机器人的测距避障方法，其特征在于，所述扫地机器人安装有双TOF相机，所述扫地机器人的测距避障方法包括：

2.如权利要求1所述的扫地机器人的测距避障方法，其特征在于，所述深度信息包括基于第一TOF相机获取到第一深度图中的第一深度信息和基于第二TOF相机获取到第二深度图中的第二深度信息，所述基于所述深度信息执行双目立体匹配操作得到目标深度信息的步骤，包括：

深度优化所述深度差得到目标深度图；

根据所述目标深度图得到所述目标深度信息。

3.如权利要求2所述的扫地机器人的测距避障方法，其特征在于，所述基于所述匹配代价对所述第一深度信息和所述第二深度信息进行匹配，获取匹配过程中得到的每一匹配代价矩阵的步骤，包括：

将所述第二深度信息进行差值运算得到所述匹配代价矩阵。

4.如权利要求3所述的扫地机器人的测距避障方法，其特征在于，所述根据确定的第一深度信息在第二深度图中获取预设范围的第二深度信息的步骤，包括：

5.如权利要求2所述的扫地机器人的测距避障方法，其特征在于，所述深度优化所述深度差得到目标深度图的步骤之后，包括：

在所述目标深度图中获取多个第一目标深度信息；

连接所述多个第一目标深度信息，形成目标深度面积；

6.如权利要求5所述的扫地机器人的测距避障方法，其特征在于，所述根据所述目标深度面积与所述第一深度图的面积的比例确定所述障碍物的类型的步骤之后，包括：

7.如权利要求5所述的扫地机器人的测距避障方法，其特征在于，所述根据所述目标深度面积与所述第一深度图的面积的比例确定所述障碍物的类型的步骤之后，所述方法还包括：

8.一种扫地机器人装置，其特征在于，包括：

获取模块，用于在扫地机器人执行清扫任务时，基于所述双TOF相机获取障碍物的深度图；

匹配模块，用于基于所述深度图中的深度信息进行双目立体匹配得到目标深度信息；

确定模块，用于通过所述目标深度信息计算得到所述障碍物与扫地机器人之间的距离。

9.一种扫地机器人，其特征在于，所述扫地机器人包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的扫地机器人的测距避障程序，所述扫地机器人的测距避障程序被所述处理器执行时实现如权利要求1-7任一项扫地机器人的测距避障方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有扫地机器人的测距避障程序，所述扫地机器人的测距避障程序被处理器执行时实现如权利要求1至7中任一项扫地机器人的测距避障方法的步骤。