CN111358360B - 机器人避免线缠绕的方法、装置和芯片及扫地机器人 - Google Patents

Abstract

本发明涉及一种机器人避免线缠绕的方法、装置和芯片及扫地机器人，属于智能机器人领域。所述机器人的前端装配有两个图像采集装置，用于采集所述机器人前进方向的前下方区域，所述方法包括控制所述两个图像采集装置以预设频率采集前下方区域的多帧图像；获取所述两个图像采集装置在同一时刻采集的第一图像和第二图像，生成所述前下方区域的深度图像，识别所述柔性线状障碍物的外部轮廓，确定所述外部轮廓对应的多个点云，以所述多个点云为基础建立虚拟墙壁；在所述机器人运行过程中实时检测与该虚拟墙壁的距离，当与所述虚拟墙壁的距离小于或等于预设阈值时，控制所述机器人避开所述虚拟墙壁。通过上述技术方案，可以提高避障效果。

Description

机器人避免线缠绕的方法、装置和芯片及扫地机器人

技术领域

本发明涉及智能机器人领域，具体地涉及一种机器人避免线缠绕的方法、装置和芯片及扫地机器人。

背景技术

扫地机器人又叫懒人扫地机，是一种能对地面进行自动吸尘的智能家用电器。因为它能对房间大小、家具摆放、地面清洁度等因素进行检测，并依靠内置的程序，制定合理的清洁路线，具备一定的智能，所以被人称之为扫地机器人。扫地机器人的智能化程度并不如想像中的那么先进，但它作为智能家居新概念的领跑者，将为机器人最终走进千家万户，注入前进的动力。目前扫地机器人会自动的识别出障碍物，然而这种识别障碍物并避障的方法还是仅仅能够用于桌子、椅子、床、沙发等的避障，对于绳子、电线等仍难以避开。

发明内容

为至少部分地解决现有技术中存在的上述问题，本发明提供了一种机器人避免线缠绕的方法、装置和芯片及扫地机器人。具体技术方案如下：

一种机器人避免线缠绕的方法，所述机器人的前端装配有两个图像采集装置，所述两个图像采集装置平行地装配在前向下方向，用于采集所述机器人前进方向的前下方区域，所述方法包括：在所述机器人作业过程中，控制所述两个图像采集装置以预设频率采集前下方区域的多帧图像；获取所述两个图像采集装置在同一时刻采集的第一图像和第二图像，通过第一图像和第二图像生成所述前下方区域的深度图像，通过所述深度图像获取多个点云数据的深度值，通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物；识别所述柔性线状障碍物的外部轮廓，确定所述外部轮廓对应的多个点云，以所述多个点云为基础建立虚拟墙壁；在所述机器人运行过程中实时检测与该虚拟墙壁的距离，当与所述虚拟墙壁的距离小于或等于预设阈值时，控制所述机器人避开所述虚拟墙壁。

进一步地，所述的以所述多个点云为基础建立虚拟墙壁具体包括如下步骤：获取所述外部轮廓对应的多个点云的三维信息，所述三维信息用于表征所述点云的位置信息；获取每个点云的深度值；将每个点云都确定为基础点云，在每个点云的位置上向上叠加预设数量个点云，该预设数量个点云的深度值为其对应的基础点云的深度值。

进一步地，所述的识别所述柔性线状障碍物的外部轮廓包括：通过边缘检测算法检测所述图像中的边缘信息，以确定所述柔性线状障碍物的轮廓信息。

进一步地，所述的通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物还包括：确定所述点云的深度值，计算点云与点云之间的线性关系；确定所述深度图像中呈非线性关系的点云为柔性线状障碍物。

一种机器人避免线缠绕的装置，所述机器人的前端装配有两个图像采集装置，所述两个图像采集装置平行地装配在前向下方向，用于采集所述机器人前进方向的前下方区域，所述装置包括：采集模块，所述采集模块用于在所述机器人作业过程中，控制所述两个图像采集装置以预设频率采集前下方区域的多帧图像；获取模块，所述获取模块用于获取所述两个图像采集装置在同一时刻采集的第一图像和第二图像，通过第一图像和第二图像生成所述前下方区域的深度图像，通过所述深度图像获取多个点云数据的深度值，通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物；识别模块，所述识别模块用于识别所述柔性线状障碍物的外部轮廓，确定所述外部轮廓对应的多个点云，以所述多个点云为基础建立虚拟墙壁；控制模块，所述控制模块用于在所述机器人运行过程中实时检测与该虚拟墙壁的距离，当与所述虚拟墙壁的距离小于或等于预设阈值时，控制所述机器人避开所述虚拟墙壁。

进一步地，所述识别模块还用于获取所述外部轮廓对应的多个点云的三维信息，所述三维信息用于表征所述点云的位置信息；获取每个点云的深度值；将每个点云都确定为基础点云，在每个点云的位置上向上叠加预设数量个点云，该预设数量个点云的深度值为其对应的基础点云的深度值。

进一步地，所述识别模块用于通过边缘检测算法检测所述图像中的边缘信息，以确定所述柔性线状障碍物的轮廓信息。

进一步地，所述获取模块还用于确定所述点云的深度值，计算点云与点云之间的线性关系；确定所述深度图像中呈非线性关系的点云为柔性线状障碍物。

一种芯片，存储有计算机程序，所述计算机程序用于控制机器人执行上述的机器人避免线缠绕的方法。

一种扫地机器人，所述扫地机器人包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的机器人避免线缠绕的方法。

本发明的有益效果在于：所述机器人的前端装配有两个图像采集装置，所述两个图像采集装置平行地装配在前向下方向，用于采集所述机器人前进方向的前下方区域，通过这种装配方式可以有针对性的获取前下方区域的图像数据，从而将那些不影响运动的物体的干扰直接滤除；通过在所述机器人作业过程中，控制所述两个图像采集装置以预设频率采集前下方区域的多帧图像可以实时获取前下方区域的精准数据，保持实时监测；获取所述两个图像采集装置在同一时刻采集的第一图像和第二图像，通过第一图像和第二图像生成所述前下方区域的深度图像，可以得到精度更高的三维图像；通过所述深度图像获取多个点云数据的深度值，通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物，可以直接通过深度值确定柔性线状物体，当识别出所述柔性线状障碍物的外部轮廓，确定所述外部轮廓对应的多个点云，以所述多个点云为基础建立虚拟墙壁，建立的虚拟墙壁可以将柔性线状物体虚拟为从地面上立起来的墙壁，从而防止机器人碰到柔性线状物体，通过该方法能够达到有效避开柔性线状障碍物的技术效果，防止机器人与柔性线状障碍物缠绕，无法继续工作。

附图说明

附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：

图1示例性地示出了本发明一种实施方式提供的机器人避免线缠绕的方法的流程示意图；

图2 示例性地示出了本发明一种实施方式提供的机器人避免线缠绕的装置的结构示意框图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。

在本发明中，所述机器人的前端装配有两个图像采集装置，所述两个图像采集装置平行地装配在前向下方向，用于采集所述机器人前进方向的前下方区域。

图1是本发明一种实施方式提供的机器人避障方法的流程图。如图1所示，本发明实施方式的第一方面提供一种机器人避障方法，所述机器人可以是清洁机器人、安防机器人、陪伴机器人等家用服务机器人。所述方法包括：

步骤S101，在所述机器人作业过程中，控制所述两个图像采集装置以预设频率采集前下方区域的多帧图像。

步骤S102, 获取所述两个图像采集装置在同一时刻采集的第一图像和第二图像，通过第一图像和第二图像生成所述前下方区域的深度图像，通过所述深度图像获取多个点云数据的深度值，通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物。

通过图像识别算法识别出当前图像中的线状物体，通过直线检测算法筛除所述线状物体中的直线线状物体，以确定非直线线状物体为预选线状物体，根据所述预选线性物体在所述深度图像中的深度值确定其是否属于凸起于地面，以确定凸起于地面上的预选线状物体为柔性线状障碍物，其中，所述图像识别算法至少包括边缘检测算法。

所述的边缘识别算法例如canny边缘检测算法，sobel边缘检测算法，通过边缘检测算法可以将图像中的线识别出来，同时，在进行边缘检测之前还可以对图像进行图像灰度变换、二值化处理和锐化处理等。

通过霍夫算法检测所述图像中的直线。每个像素坐标点经过变换都变成都直线特质有贡献的统一度量，例如：一条直线在图像中是一系列离散点的集合，通过一个直线的离散极坐标公式，可以表达出直线的离散点几何等式如下：X *cos(theta) + y * sin(theta)= r 其中角度theta指r与X轴之间的夹角，r为到直线几何垂直距离。任何在直线上点，x, y都可以表达，其中 r， theta是常量。在实现的图像处理领域，图像的像素坐标P(x,y)是已知的，而r, theta则是要寻找的变量。如果我们能绘制每个(r, theta)值根据像素点坐标P(x, y)值的话，那么就从图像笛卡尔坐标系统转换到极坐标霍夫空间系统，这种从点到曲线的变换称为直线的霍夫变换。变换通过量化霍夫参数空间为有限个值间隔等分或者累加格子。当霍夫变换算法开始，每个像素坐标点P(x, y)被转换到(r, theta)的曲线点上面，累加到对应的格子数据点，当一个波峰出现时候，说明有直线存在。

步骤S103, 识别所述柔性线状障碍物的外部轮廓，确定所述外部轮廓对应的多个点云，以所述多个点云为基础建立虚拟墙壁。

优选的，所述的以所述多个点云为基础建立虚拟墙壁具体包括如下步骤：步骤S201, 获取所述外部轮廓对应的多个点云的三维信息，所述三维信息用于表征所述点云的位置信息。步骤S202, 获取每个点云的深度值。步骤S203, 将每个点云都确定为基础点云，在每个点云的位置上向上叠加预设数量个点云，该预设数量个点云的深度值为其对应的基础点云的深度值。步骤S104, 在所述机器人运行过程中实时检测与该虚拟墙壁的距离，当与所述虚拟墙壁的距离小于或等于预设阈值时，控制所述机器人避开所述虚拟墙壁。

优选的，所述的识别所述柔性线状障碍物的外部轮廓包括：通过边缘检测算法检测所述图像中的边缘信息，以确定所述柔性线状障碍物的轮廓信息。

优选的，所述的通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物还包括：确定所述点云的深度值，计算点云与点云之间的线性关系；确定所述深度图像中呈非线性关系的点云为柔性线状障碍物。

一种机器人避免线缠绕的装置，所述机器人的前端装配有两个图像采集装置，所述两个图像采集装置平行地装配在前向下方向，用于采集所述机器人前进方向的前下方区域，如图2所示，所述装置包括：采集模块31，所述采集模块31用于在所述机器人作业过程中，控制所述两个图像采集装置以预设频率采集前下方区域的多帧图像。获取模块32，所述获取模块32用于获取所述两个图像采集装置在同一时刻采集的第一图像和第二图像，通过第一图像和第二图像生成所述前下方区域的深度图像，通过所述深度图像获取多个点云数据的深度值，通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物；通过图像识别算法识别出当前图像中的线状物体，通过直线检测算法筛除所述线状物体中的直线线状物体，以确定非直线线状物体为预选线状物体，根据所述预选线性物体在所述深度图像中的深度值确定其是否属于凸起于地面，以确定凸起于地面上的预选线状物体为柔性线状障碍物，其中，所述图像识别算法至少包括边缘检测算法。所述的边缘识别算法例如canny边缘检测算法，sobel边缘检测算法，通过边缘检测算法可以将图像中的线识别出来，同时，在进行边缘检测之前还可以对图像进行图像灰度变换、二值化处理和锐化处理等。通过霍夫算法检测所述图像中的直线。每个像素坐标点经过变换都变成都直线特质有贡献的统一度量，例如：一条直线在图像中是一系列离散点的集合，通过一个直线的离散极坐标公式，可以表达出直线的离散点几何等式如下：X *cos(theta) + y * sin(theta)= r 其中角度theta指r与X轴之间的夹角，r为到直线几何垂直距离。任何在直线上点，x, y都可以表达，其中 r， theta是常量。在实现的图像处理领域，图像的像素坐标P(x, y)是已知的，而r, theta则是要寻找的变量。如果我们能绘制每个(r, theta)值根据像素点坐标P(x, y)值的话，那么就从图像笛卡尔坐标系统转换到极坐标霍夫空间系统，这种从点到曲线的变换称为直线的霍夫变换。变换通过量化霍夫参数空间为有限个值间隔等分或者累加格子。当霍夫变换算法开始，每个像素坐标点P(x, y)被转换到(r, theta)的曲线点上面，累加到对应的格子数据点，当一个波峰出现时候，说明有直线存在。识别模块33，所述识别模块33用于识别所述柔性线状障碍物的外部轮廓，确定所述外部轮廓对应的多个点云，以所述多个点云为基础建立虚拟墙壁。控制模块34，所述控制模块34用于在所述机器人运行过程中实时检测与该虚拟墙壁的距离，当与所述虚拟墙壁的距离小于或等于预设阈值时，控制所述机器人避开所述虚拟墙壁。

优选的，所述识别模块33还用于获取所述外部轮廓对应的多个点云的三维信息，所述三维信息用于表征所述点云的位置信息；获取每个点云的深度值；将每个点云都确定为基础点云，在每个点云的位置上向上叠加预设数量个点云，该预设数量个点云的深度值为其对应的基础点云的深度值。

优选的，所述识别模块33用于通过边缘检测算法检测所述图像中的边缘信息，以确定所述柔性线状障碍物的轮廓信息。

优选的，所述获取模块32还用于确定所述点云的深度值，计算点云与点云之间的线性关系；确定所述深度图像中呈非线性关系的点云为柔性线状障碍物。

一种芯片，存储有计算机程序，所述计算机程序用于控制机器人执行上述的机器人避免线缠绕的方法。

一种扫地机器人，所述扫地机器人包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的机器人避免线缠绕的方法。

所述机器人的前端装配有两个图像采集装置，所述两个图像采集装置平行地装配在前向下方向，用于采集所述机器人前进方向的前下方区域，通过这种装配方式可以有针对性的获取前下方区域的图像数据，从而将那些不影响运动的物体的干扰直接滤除；通过在所述机器人作业过程中，控制所述两个图像采集装置以预设频率采集前下方区域的多帧图像可以实时获取前下方区域的精准数据，保持实时监测；获取所述两个图像采集装置在同一时刻采集的第一图像和第二图像，通过第一图像和第二图像生成所述前下方区域的深度图像，可以得到精度更高的三维图像；通过所述深度图像获取多个点云数据的深度值，通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物，可以直接通过深度值确定柔性线状物体，当识别出所述柔性线状障碍物的外部轮廓，确定所述外部轮廓对应的多个点云，以所述多个点云为基础建立虚拟墙壁，建立的虚拟墙壁可以将柔性线状物体虚拟为地面上的墙壁，从而防止机器人碰到柔性线状物体，通过该方法能够达到有效避开柔性线状障碍物的技术效果，防止机器人与柔性线状障碍物缠绕。

以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

Claims (10)

1.一种机器人避免线缠绕的方法，其特征在于，所述机器人的前端装配有两个图像采集装置，所述两个图像采集装置平行地装配在前向下方向，用于采集所述机器人前进方向的前下方区域，所述方法包括：

在所述机器人作业过程中，控制所述两个图像采集装置以预设频率采集前下方区域的多帧图像；

获取所述两个图像采集装置在同一时刻采集的第一图像和第二图像，通过第一图像和第二图像生成所述前下方区域的深度图像，通过所述深度图像获取多个点云数据的深度值，通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物；

识别所述柔性线状障碍物的外部轮廓，确定所述外部轮廓对应的多个点云，以所述多个点云为基础建立虚拟墙壁；

在所述机器人运行过程中实时检测与该虚拟墙壁的距离，当与所述虚拟墙壁的距离小于或等于预设阈值时，控制所述机器人避开所述虚拟墙壁。

2.根据权利要求1所述的方法，其特征在于，所述的以所述多个点云为基础建立虚拟墙壁具体包括如下步骤：

获取所述外部轮廓对应的多个点云的三维信息，所述三维信息用于表征所述点云的位置信息；

获取每个点云的深度值；

将每个点云都确定为基础点云，在每个点云的位置上向上叠加预设数量个点云，该预设数量个点云的深度值为其对应的基础点云的深度值。

3.根据权利要求1所述的方法，其特征在于，所述的识别所述柔性线状障碍物的外部轮廓包括：

通过边缘检测算法检测所述图像中的边缘信息，以确定所述柔性线状障碍物的轮廓信息。

4.根据权利要求1所述的方法，其特征在于，所述的通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物还包括：

确定所述点云的深度值，计算点云与点云之间的线性关系；

确定所述深度图像中呈非线性关系的点云为柔性线状障碍物。

5.一种机器人避免线缠绕的装置，所述机器人的前端装配有两个图像采集装置，所述两个图像采集装置平行地装配在前向下方向，用于采集所述机器人前进方向的前下方区域，其特征在于，所述装置包括：

采集模块，所述采集模块用于在所述机器人作业过程中，控制所述两个图像采集装置以预设频率采集前下方区域的多帧图像；

获取模块，所述获取模块用于获取所述两个图像采集装置在同一时刻采集的第一图像和第二图像，通过第一图像和第二图像生成所述前下方区域的深度图像，通过所述深度图像获取多个点云数据的深度值，通过多个点云数据的深度值确定所述深度图像中的柔性线状障碍物；

识别模块，所述识别模块用于识别所述柔性线状障碍物的外部轮廓，确定所述外部轮廓对应的多个点云，以所述多个点云为基础建立虚拟墙壁；

控制模块，所述控制模块用于在所述机器人运行过程中实时检测与该虚拟墙壁的距离，当与所述虚拟墙壁的距离小于或等于预设阈值时，控制所述机器人避开所述虚拟墙壁。

6.根据权利要求5所述的装置，其特征在于，所述识别模块还用于获取所述外部轮廓对应的多个点云的三维信息，所述三维信息用于表征所述点云的位置信息；获取每个点云的深度值；将每个点云都确定为基础点云，在每个点云的位置上向上叠加预设数量个点云，该预设数量个点云的深度值为其对应的基础点云的深度值。

7.根据权利要求5所述的装置，其特征在于，所述识别模块用于通过边缘检测算法检测所述图像中的边缘信息，以确定所述柔性线状障碍物的轮廓信息。

8.根据权利要求5所述的装置，其特征在于，所述获取模块还用于确定所述点云的深度值，计算点云与点云之间的线性关系；确定所述深度图像中呈非线性关系的点云为柔性线状障碍物。

9.一种芯片，存储有计算机程序，其特征在于，所述计算机程序用于控制机器人执行权利要求1-4中任一项所述的机器人避免线缠绕的方法。

10.一种扫地机器人，其特征在于，所述扫地机器人包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的机器人避免线缠绕的方法。

Images