CN112561941A

CN112561941A - 一种悬崖检测方法、装置和机器人

Info

Publication number: CN112561941A
Application number: CN202011437744.1A
Authority: CN
Inventors: 程宏威; 闫瑞君; 雷力
Original assignee: Shenzhen Silver Star Intelligent Technology Co Ltd
Current assignee: Shenzhen Silver Star Intelligent Technology Co Ltd
Priority date: 2020-12-07
Filing date: 2020-12-07
Publication date: 2021-03-26
Anticipated expiration: 2040-12-07
Also published as: CN112561941B

Abstract

本发明实施例涉及一种悬崖检测方法、装置和机器人，所述方法包括：获取所述机器人前方的实时点云数据；对所述实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云；对所述地面点云进行边界提取，得到地面边界点云；根据所述障碍物点云和可视区域边界点云，剔除所述地面边界点云中多余的点，得到悬崖边缘点云，所述可视区域边界点云与所述机器人视场角度相对应。本发明实施例能够提前识别前方悬崖环境，从而有效保障机器人的安全问题。

Description

一种悬崖检测方法、装置和机器人

技术领域

本发明实施例涉及人工智能技术领域，特别涉及一种悬崖检测方法、装置和机器人。

背景技术

目前，家用移动机器人慢慢走进广大用户家庭里，移动机器人，如扫地机器人，用户除了关注扫地机器人的清扫效率以外，首要关注的还是机器人的安全性问题。在家用机器人设计中，要考虑杜绝各种危险情况的发生，尤其是跌落。

市面上的机器人在防止跌落时，通常是采用安装红外传感器来识别悬崖，然而，该识别方式无法提前识别悬崖，只能在机器人到达悬崖的时候采取紧急刹车的方式防止跌落，但是，不是每次到达悬崖时都可以百分之百不跌落，尤其是一些悬崖边的形状是方形等非线性形状，很容易造成机器人从后方跌落。

发明内容

本发明实施例的目的是提供一种悬崖检测方法、装置和设备，能够提前识别前方悬崖环境，从而有效保障机器人的安全问题。

第一方面，本发明实施例提供了一种悬崖检测方法，应用于机器人；所述方法包括：

获取所述机器人前方的实时点云数据；

对所述实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云；

对所述地面点云进行边界提取，得到地面边界点云；

根据所述障碍物点云和可视区域边界点云，剔除所述地面边界点云中多余的点，得到悬崖边缘点云，所述可视区域边界点云与所述机器人视场角度相对应。

在一些实施例中，在所述获取所述机器人前方的实时点云数据之后，所述方法还包括：

确定所述实时点云数据是否倾斜；

在确定所述实时点云数据倾斜时，对所述实时点云数据进行水平矫正。

在一些实施例中，所述确定所述实时点云数据是否倾斜，包括：

使用平面模型对所述实时点云数据进行随机采样一致性平面拟合，得到当前地面的法向量；

根据预设平面的法向量和所述当前地面的法向量，确定所述实时点云数据是否倾斜。

在一些实施例中所述在确定所述实时点云数据倾斜时，对所述实时点云数据进行水平矫正，包括：

在所述预设平面的法向量和所述当前地面的法向量不一致时，确定所述实时点云数据倾斜；

根据预设平面的法向量和所述当前地面的法向量，确定旋转矩阵；

通过所述旋转矩阵，对所述实时点云数据进行转换，完成对所述实时点云数据的水平矫正。

在一些实施例中，所述方法还包括：

获取搜索数量值和预设角度；

选取所述实时点云数据中任意一点作为起点，与搜索数量值对应的搜索点为终点，组成与搜索数量值对应的向量；

确定每相邻两个向量之间的角度，且对所述角度进行排序处理，得到所述相邻向量之间的最大角度；

若所述最大角度大于所述预设角度，则判定所述起点为可视区域边界点；

根据点云数据采集设备的预设检测距离，对所述可视区域边界点进行裁剪，得到所述可视区域边界点云。

在一些实施例中，所述对所述实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云，包括：

根据预设障碍物高度，对所述实时点云数据进行裁剪，得到初始点云数据；

对所述初始点云数据进行均匀降采样处理，得到稀疏点云数据；

对所述稀疏点云数据进行拟合平面处理，得到地面点云和障碍物点云。

在一些实施例中，在所述得到悬崖边缘点云之后，所述方法还包括：

获取预设悬崖检测距离；

若所述悬崖边缘点云中的点到所述点云数据采集设备的距离大于所述预设悬崖检测距离，则去除所述悬崖边缘点云中距离大于所述预设悬崖检测距离的点，得到悬崖边界点云。

在一些实施例中，在所述得到悬崖边界点云之后，所述方法还包括：

根据所述悬崖边界点云进行提前减速或路径规划。

第二方面，本发明实施例提供了一种悬崖检测装置；所述装置包括：

实时点云数据获取模块，用于获取所述机器人前方的实时点云数据；

分割模块，用于对所述实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云；

地面边界点云提取模块，用于对所述地面点云进行边界提取，得到地面边界点云；

剔除模块，用于根据所述障碍物点云和可视区域边界点云，剔除所述边界点云中多余的点，得到悬崖边缘点云，所述可视区域边界点云与所述机器人视场角度相对应。

第三方面，本发明实施例提供了一种机器人，所述机器人包括：

至少一个处理器，以及

存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8任一项所述的方法。

第四方面，本发明实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被机器人执行时，使所述机器人执行如上所述的方法。

本发明实施例的悬崖检测方法、装置和机器人，首先，获取机器人前方的实时点云数据，然后，对实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云，对地面点云进行边界提取，得到地面边界点云，并且，根据障碍物点云和可视区域边界点云，剔除地面边界点云中多余的点，从而得到悬崖边缘点云，在得到悬崖边缘点云后，可以提前动态规划路径，以有效避免悬崖跌落的问题，既安全又智能。通过利用三维点云数据的立体视觉和前瞻性，实时判断前方的环境，可以提前识别前方环境，及时识别出悬崖位置和边缘，从而有效保障机器人的安全。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例悬崖检测方法和装置的一个应用场景示意图；

图2是本发明悬崖检测方法的一个实施例的流程示意图；

图3是本发明悬崖检测方法的一个实施例的未矫正前的实时点云数据图；

图4是本发明悬崖检测方法的一个实施例的水平矫正后的实时点云数据图；

图5是本发明悬崖检测方法的一个实施例的边界点云搜索示意图；

图6是本发明悬崖检测方法的一个实施例的可视区域边界点云B提取示意图；

图7是本发明悬崖检测方法的一个实施例的初始点云数据C示意图；

图8是本发明悬崖检测方法的一个实施例的稀疏点云数据示意图；

图9是本发明悬崖检测方法的一个实施例的地面点云D和障碍物点云E示意图；

图10是本发明悬崖检测方法的一个实施例的地面边界点云F示意图；

图11是本发明悬崖检测方法的一个实施例的悬崖边缘点云G示意图；

图12是本发明悬崖检测方法的一个实施例的悬崖边界点云H示意图；

图13是本发明悬崖检测装置的一个实施例的结构示意图；

图14是本发明悬崖检测装置的一个实施例的结构示意图；

图15是本发明机器人的一个实施例中控制器的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的悬崖检测方法和装置可以应用于图1所示意的应用场景。所述应用场景包括机器人10。其中，机器人10可以为人工智能中的各种可移动的设备，例如扫地机器人、巡检机器人、无人采样机器人、无人叉车等等。

可以理解的是，各个机器人10中，均设置有控制器，作为主控中心，机器人10能够提前识别前方悬崖环境，有效保障机器人的安全问题。

请参阅图2，图2为本发明实施例提供的悬崖检测方法的流程示意图，所述方法可以由机器人10中的处理器13执行，如图2所示，所述方法包括：

101：获取所述机器人前方的实时点云数据。

以扫地机器人为例，可以在扫地机器人上安装视觉传感器，通过视觉传感器采集机器人前方的实时点云数据，也可以安装多线的激光雷达，实现对机器人前方的实时点云数据采集。当然，不局限于视觉传感器或激光雷达的方式采集实时点云数据。

可以理解的是，采集到的实时点云数据为三维点云数据。

在其中一些实施例中，在所述获取所述机器人前方的实时点云数据之后，所述方法还包括：

确定所述实时点云数据是否倾斜；

具体地，由于视觉传感器在安装时，可能无法保证相对地面完全水平安装，所以，可能会导致采集到的实时点云数据发生倾斜的情况。所述确定所述实时点云数据是否倾斜，包括：

具体地，在三维坐标系方程Ax+By+Cz+D＝0中，法向量为(A，B，C)，对实时点云数据进行随机采样一致性平面拟合，得到当前地面对应的法向量Ng(A，B，C)。

随机采样一致性RANSAC是一种常用的稳健估计的方法，主要解决样本中的外点问题。随机采样一致性的思想在于：通过反复选择数据中的一组随机子集来达成目标。

上述采用的是现有技术的随机采样一致性的方式，进行平面拟合，得到当前地面的法向量Ng。

然后，根据预设平面的法向量和所述当前地面的法向量，确定所述实时点云数据是否倾斜。

具体地，预设平面的法向量为理想地平面的法向量，通过预设平面的法向量与当前地面的法向量的对比，确定实时点云数据是否倾斜。

在所述预设平面的法向量和所述当前地面的法向量不一致时，确定所述实时点云数据倾斜，此时，需要对实时点云数据进行水平矫正，如图3所示，得到的是倾斜的实时点云数据。

在确定所述实时点云数据倾斜时，根据预设平面的法向量和所述当前地面的法向量，确定旋转矩阵；通过所述旋转矩阵，对所述实时点云数据进行转换，完成对所述实时点云数据的水平矫正。

具体地，在确定所述实时点云数据倾斜时，根据预设平面的法向量和所述当前地面的法向量之间的相对角度关系，确定旋转矩阵R，通过旋转矩阵R，对实时点云数据进行坐标转换，完成对实时点云数据的水平矫正。

例如，可以使用的是类似于OpenGL中定义的右手坐标系，同时旋转角度的正负也遵循右手坐标系的约定。以绕X轴的旋转为例，在三维场景中，当一个点P(x,y,z)绕x轴旋转θ角得到点P’(x’，y’，z’)。由于是绕x轴进行的旋转，因此x坐标保持不变，y和z组成的yoz(o是坐标原点)平面上进行的是一个二维的旋转，得到：

x′＝x；

y′＝ycosθ-zsinθ；

z′＝ysinθ+zcosθ；

写成(4x4)矩阵的形式，为如下公式1：

其中，

表示旋转后的实时点云数据A的矩阵形式，

表示旋转前的实时点云数据的矩阵形式，θ表示预设平面的法向量和当前地面的法向量之间的相对角度关系。

请参阅图4，在将图3的实时点云进行坐标转换后，得到图4的实时点云数据。

对应地，在所述预设平面的法向量和所述当前地面的法向量一致时，确定所述实时点云数据不倾斜，那么，不需要进行水平矫正。

在获取机器人前方的实时点云数据后，根据实时点云数据，确定是否需要进行水平矫正，以便于提高后续点云数据的准确性。

在其中一些实施例中，由于视觉传感器有固定的最远可视区域/范围(FOV)，所以，可以提前提取可视区域边界点，所述方法还可以包括：

获取搜索数量值和预设角度；

具体地，在确定实时点云数据不倾斜或矫正完成后，可以设定一个搜索数量值K和预设角度α，搜索数量值K为搜索的点的数量为K个；然后，可以选取实时点云数据中任意一点作为起点，如图5所示，选取A1作为起点，假设K为10，那么终点有10个，分别与起点组合，得到10个向量；统计每相邻两个向量之间的角度，得到α1、α2……α10，任何，对角度进行排序处理，可以按照从小到大的顺序排列，从而得到最大的角度；若最大角度α1大于预设角度α，那么，可以判定该起点为可视区域边界点，例如预设角度α为90度，得到的最大角度α1明显大于90度，那么，将该起点A1作为可视区域边界点。

重复上述确定可视区域边界点的步骤，从而提取出所有的可视区域边界点，在获取所有的可视区域边界点后，根据点云数据采集设备(如视觉传感器)的预设检测距离，对可视区域边界点进行裁剪，比如，安装在机器人上的视觉传感器的预设检测距离为2米，那么，将2米以外的可视区域边界点去掉，从而得到可视区域边界点云。

如图6所示，对实时点云数据A进行边界点搜索及裁剪后，得到可视区域边界点云B。

102：对所述实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云。

在其中一些实施例中，对所述实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云，可以包括：

具体地，可以设置预设障碍物高度h＝10mm，根据预设障碍物高度h对实时点云数据进行裁剪，高于大于预设障碍物高度h的点都丢弃，得到初始点云数据C，如图7所示。

然后，对初始点云数据C进行均匀降采样处理，即对初始点云数据C进行稀疏处理，得到稀疏点云数据，如图8所示，并且，参考上述实施例的拟合平面方式，如随机采样一致性平面拟合，对拟合得到的平面进行分割处理，得到地面点云D和障碍物点云E，如图9所示。

103：对所述地面点云进行边界提取，得到地面边界点云。

可以参考上述可视区域边界点云的提取方式，对地面点云进行边界提取，从而得到地面边界点云F，如图10所示。

104：根据所述障碍物点云和可视区域边界点云，剔除所述地面边界点云中多余的点，得到悬崖边缘点云，所述可视区域边界点云与所述机器人视场角度相对应。

可视区域边界点云B为视觉传感器的可视区域边界点云B，而视觉传感器安装在机器人上，因此，机器人视场角度为视觉传感器的视场角度，可视区域边界点云B与所述机器人视场角度相对应。

在得到障碍物点云E和可视区域边界点云B以后，将障碍物点云E和可视区域边界点云B作为种子点，对地面边界点云F进行搜索数量值K进行邻近搜索，从而剔除掉地面边界点云F中多余的点，得到如图11所示的悬崖边缘点云G。

在其中一些实施例中，在所述得到悬崖边缘点云之后，所述方法还可以包括：

获取预设悬崖检测距离；

具体地，比如，预设悬崖检测距离d为1米，获取该预设悬崖检测距离，然后，判断悬崖边缘点云G中的点到点云数据采集设备的距离是否大于预设悬崖检测距离d，如图12所示，若大于，那么，将大于的点去除，则最后剩下的点便是在预测范围以内的悬崖边界点云H，因此，若在预设范围内，不存在悬崖边界点云，说明大于预设悬崖检测距离d的点明显距离机器人较远距离，因此，可以说明当前机器人是较为安全的状态。

若在预设范围内存在点的距离小于预设悬崖距离d，则说明此时机器人距离悬崖较为接近，处于不安全状态，此时，在所述得到悬崖边界点云之后，所述方法还包括：

根据所述悬崖边界点云进行提前减速或路径规划。

当确定机器人处于不安全状态时，机器人提前减速，或者是重新规划路径，以避开危险区域，从而有效避免机器人跌落悬崖。

本发明实施例，首先，获取机器人前方的实时点云数据，然后，对实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云，对地面点云进行边界提取，得到地面边界点云，并且，根据障碍物点云和可视区域边界点云，剔除地面边界点云中多余的点，从而得到悬崖边缘点云，在得到悬崖边缘点云后，可以提前动态规划路径，以有效避免悬崖跌落的问题，既安全又智能。通过利用三维点云数据的立体视觉和前瞻性，实时判断前方的环境，可以提前识别前方环境，及时识别出悬崖位置和边缘，从而有效保障机器人的安全。

相应的，如图13所示，本发明实施例还提供了一种悬崖检测装置，可以用于图1所示的机器人10，悬崖检测装置700包括：

实时点云数据获取模块701，用于获取所述机器人前方的实时点云数据；

分割模块702，用于对所述实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云；

地面边界点云提取模块703，用于对所述地面点云进行边界提取，得到地面边界点云；

剔除模块704，用于根据所述障碍物点云和可视区域边界点云，剔除所述边界点云中多余的点，得到悬崖边缘点云，所述可视区域边界点云与所述机器人视场角度相对应。

在其他实施例中，如图14所示，悬崖检测装置700还包括倾斜判断模块705，用于：

确定所述实时点云数据是否倾斜；

在其他实施例中，倾斜判断模块705，还用于：

在其他实施例中，如图14所示，悬崖检测装置700还包括边界点云确定模块706，还用于：

获取搜索数量值和预设角度；

在其他实施例中，所述分割模块702，还用于：

对所述初始点云数据进行均匀降采样处理，得到稀疏点云数据；对所述稀疏点云数据进行拟合平面处理，得到地面点云和障碍物点云。

在其他实施例中，如图14所示，悬崖检测装置700还包括裁剪模块707，还用于：

获取预设悬崖检测距离；

在其他实施例中，如图14所示，悬崖检测装置700还包括规划模块708，还用于：

根据所述悬崖边界点云进行提前减速或路径规划。

需要说明的是，上述装置可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

图15为机器人10的一个实施例中控制器的硬件结构示意图，如图15所示，控制器13包括：

一个或多个处理器131、存储器132。图15中以一个处理器131、一个存储器132为例。

处理器131、存储器132可以通过总线或者其他方式连接，图15中以通过总线连接为例。

存储器132作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的悬崖检测方法对应的程序指令/模块(例如，附图13-14所示的实时点云数据获取模块701、分割模块702、地面边界点云提取模块703、剔除模块704、倾斜判断模块705、边界点云确定模块706、裁剪模块707、规划模块708)。处理器131通过运行存储在存储器132中的非易失性软件程序、指令以及模块，从而执行控制器的各种功能应用以及数据处理，即实现上述方法实施例的悬崖检测方法。

存储器132可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据悬崖检测装置的使用所创建的数据等。此外，存储器132可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器132可选包括相对于处理器131远程设置的存储器，这些远程存储器可以通过网络连接至机器人。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器132中，当被所述一个或者多个处理器131执行时，执行上述任意方法实施例中的悬崖检测方法，例如，执行以上描述的图2中的方法步骤101至步骤104；实现图13中的模块701-704、图14中模块701-708的功能。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图15中的一个处理器131，可使得上述一个或多个处理器可执行上述任意方法实施例中的悬崖检测方法，例如，执行以上描述的图2中的方法步骤101至步骤104的方法步骤；实现图13中的模块701-704、图14中模块701-708的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种悬崖检测方法，其特征在于，应用于机器人，所述方法包括：

获取所述机器人前方的实时点云数据；

对所述地面点云进行边界提取，得到地面边界点云；

2.根据权利要求1所述的方法，其特征在于，在所述获取所述机器人前方的实时点云数据之后，所述方法还包括：

确定所述实时点云数据是否倾斜；

3.根据权利要求2所述的方法，其特征在于，所述确定所述实时点云数据是否倾斜，包括：

4.根据权利要求3所述的方法，其特征在于，所述在确定所述实时点云数据倾斜时，对所述实时点云数据进行水平矫正，包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取搜索数量值和预设角度；

6.根据权利要求1所述的方法，其特征在于，所述对所述实时点云数据进行裁剪及拟合平面处理，得到地面点云和障碍物点云，包括：

7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述得到悬崖边缘点云之后，所述方法还包括：

获取预设悬崖检测距离；

8.根据权利要求7所述的方法，其特征在于，在所述得到悬崖边界点云之后，所述方法还包括：

根据所述悬崖边界点云进行提前减速或路径规划。

9.一种悬崖检测装置，其特征在于，所述装置包括：

10.一种机器人，其特征在于，所述机器人包括：

至少一个处理器，以及

11.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被机器人执行时，使所述机器人执行如权利要求1-8任一项所述的方法。