CN110603571B

CN110603571B - 用于操作机器人的机器人系统和方法

Info

Publication number: CN110603571B
Application number: CN201880028000.9A
Authority: CN
Inventors: C.马拉托; 张飚; C.马丁内斯
Original assignee: ABB Schweiz AG
Current assignee: ABB Schweiz AG
Priority date: 2017-04-26
Filing date: 2018-04-26
Publication date: 2023-11-03
Anticipated expiration: 2038-04-26
Also published as: CN110603571A; CA3061021A1; EP3616163A1; AU2018259061B2; EP3444783A1; AU2018259061A1; EP3616163B1; WO2018197601A1; PL3616163T3; CL2019003048A1

Abstract

一种用于操作机器人的方法包括检测结构中的多个洞室。结构中的多个洞室的检测包括：操作3D传感器以得到结构的3D点云数据；在较低维度分析3D点云数据以消除不规则性；在较低维度执行3D点云数据的边界检测；以及执行3D点云数据的多洞室检测以检测多个洞室。机器人可被引导到多个洞室的洞室。可使用机器人对该洞室来执行机器人操作。

Description

用于操作机器人的机器人系统和方法

技术领域

本申请一般涉及机器人，以及更特别地，但是非排他地涉及用于操作机器人的机器人系统和方法。

背景技术

用于操作机器人的机器人系统和方法仍然是感兴趣领域。一些现有方法系统相对于某些应用具有各种缺点、缺陷和不利条件。例如，在一些方法和系统中，检测结构中的特征可能是低效的。相应地，仍然存在对这个技术领域中的另外的贡献的需要。

发明内容

本发明的一个实施例是一种用于操作机器人的独特方法。另一个实施例是一种独特机器人系统。其他实施例包括用于机器人和机器人视觉的设备、系统、装置、硬件、方法和组合。通过由此提供的描述和附图，本申请的另外的实施例、形式、特征、方面、益处和优点应当变得显而易见。

附图说明

本文的描述参照附图，其中，遍及若干视图，相似附图标记指相似部件，并且其中：

图1示出按照本发明的实施例、设法由机器人采用爆炸材料所填充的矿场壁中具有洞室(例如钻孔)的矿场中的场景的非限制性示例的一些方面，其中该场景在洞室的检测之前是对机器人未知的。

图2示出较高和较低维度空间两者中的两个不一致点以及连接它们的测地线的非限制性示例的一些方面。

图3示出按照本发明的实施例的所检测边界点的非限制性示例的一些方面，其中所检测边界点在图3的彩色版本中以红色示出，并且通过“+”符号所指示。

图4示出在与采矿壁或矿场壁有关的较低维度的规范空间的非限制性示例的一些方面。

图5示出按照本发明的实施例、正被检测的矿场壁中的若干洞室和质心的非限制性示例的一些方面。

图6示出按照本发明的实施例、包括点云中的洞室的同时检测的矿场壁中的多洞室检测的非限制性示例的一些方面。

具体实施方式

为了促进对本发明的原理的了解的目的，现在将参照附图所示的实施例，并且特定语言将用来对其进行描述。然而将会理解，并非由此意在对本发明的范围的限制。所述实施例中的任何变更和另外的修改以及如本文所述的本发明的原理的任何另外的应用被认为是本发明所涉及领域的技术人员将通常会想到的。

现在将详细参照各种实施例，所述实施例的一个或多个示例在每个附图中示出。每个示例作为解释来提供，并且不是意味着作为限制。例如，作为一个实施例的部分所示或所述的特征能够对任何其他实施例使用或者与任何其他实施例结合使用，以产生又一另外的实施例。预计本公开包括这类修改和变更。

在附图的以下描述内，相同附图标记指相同或相似组件。一般来说，仅描述相对单独实施例的差异。除非另加说明，否则一个实施例中的一部分或方面的描述也适用于另一个实施例中的对应部分或方面。

本发明的一些方面涉及3D扫描中的无监督多洞室检测(例如用于采矿壁(矿场壁)中的机器人装料过程的洞室的自动检测)。

采矿应用中的装料过程可包括若干步骤：采用雷管包来组装引爆线；将雷管包从火药库支架传送到洞室(矿场壁中的钻孔)，并且将雷管包插入洞室中；以及将爆炸材料泵入洞室中。如果装料过程将要由机器人执行，则这要求洞室的鲁棒检测和识别，以便准确定位机器人工具提示并且将泵软管定位到洞室中。

虽然也许有可能的是，人类执行人工软管插入(人机回圈)，例如之后接着爆炸材料到洞室中的机器人泵送，但是这种方式对这类人类操作员造成非期望风险。在另一个潜在方式中，也许有可能采用基于2D无源照相装置的洞室检测(例如2D视觉伺服控制)，以允许机器人识别洞室并且将爆炸材料泵入或注入洞室中。这种方式将使用2D摄像机特别地从2D视频数据来生成或提取环境的3D表示。但是，诸如2D摄像机之类的无源照相装置通常要求具有恒定照明的环境，以便检测深度信息，即用来准确定位3D欧几里德空间中的洞室的信息。采矿环境通常不能提供这种环境。此外，采矿壁表面通常是不规则的，从而使洞室的自动化检测是困难的。

由于采矿壁中的昏暗环境和不平坦表面，图像帧中的洞室位置的提取能够极为困难。由于这个有挑战的环境，集中于单洞室的检测可被认为是期望的。但是，这种方式使过程极慢并且仍然是不准确的。无源照相装置具有噪声主导测量，并且因此不能保证精度。另外，单洞室检测因如下事实而将是缓慢的：传感器必须围绕洞室盘旋，以便检测洞室，从而增加扫描时间。增量扫描和洞室检测方式不是可缩放解决方案，因为在一些应用中，可存在必须处理的许多洞室，并且因为洞室的数量以指数方式增加计算洞室位置所要求的时间。另外，在这种方式中，由于一旦扫描传感器开始移动时则发生的扫描漂移，一旦洞室成一整体，则可得到所检测洞室的不准确位置。

为了得到采矿壁的3D表示，本发明的一些实施例采用一个或多个3D传感器(诸如RGB-D照相装置，又称作3D照相装置)来得到壁的3D点云数据。在其他实施例中，可采用其他3D传感器类型。点云然后被投射到拓扑约束规范空间。多个规范空间检测深度差，并且消除大多数不规则性，从而创建能够通过图像处理算法来处理的洞室候选的集合。

本发明的一些实施例描述如下方法：如何能够对3D点云分析其独立较低维流形表示，以便特别地识别表示洞室的壁中的不规则性、岩石中的周围不规则性以及可能还有洞室中的直径的变化。

一旦识别这些较低维流形，相对于属于其他规范空间的点云的其他不相关组分来比较点云的不相关组分，从而允许3D点云中存在的全部洞室的无监督检测。

在一个方面，洞室检测与扫描源分离。在另一方面，提供一种可缩放解决方案，即，处理时间线性增加到点云数据的大小，并且特别地没有与采矿壁中出现的洞室的数量成比例。在另一方面，一些实施例可减少总检测时间。在另一方面，洞室检测在一些实施例中可并行化。在另一方面，检测表示整个壁的点云中的一个洞室或者N个洞室的计算成本和时间在一些实施例中可减少或者最小化。在另一方面，一些实施例可改进洞室检测鲁棒性。在另一方面，若干规范空间的统计分析可用来对洞室检测结果进行分级。在另一方面，在一些实施例中，洞室检测是点云密度不可知的—在一些实施例中采用的算法不要求高度准确点云数据以便执行洞室位置的鲁棒预测。在另一方面，一些实施例可改进机器人定位的洞室检测精度。在另一方面，一些实施例可使装料应用中的机器人泵软管插入更快并且在一些实施例中更可靠。

接下来描述本发明的一般方面。其中只为了说明而使用附图的附图标记。但是，该方面并不局限于任何特定实施例。而是，本文所述的任何方面能够与本文所述的任何其他(一个或多个)方面或实施例相组合，除非另加说明。

参照图1，在一个方面，本发明的一些实施例描述一种用于采矿中的机器人装料应用的不平坦表面中的洞室的无监督检测的方法。该方法是关于如下方面的描述：如何能够对3D点云分析其独立较低维流形表示，以便识别表示洞室的壁中的不规则性、岩石中的周围不规则性以及可能还有洞室中的直径的变化。

维度减少(DR)算法根据少量变量或坐标来解释高维度的给定数据集。大多数DR算法在使一些差错测量最小化的同时将数据映射到表示给定数据的给定维度的坐标系。

按照实施例，例如由一个或多个3D传感器来得到点云数据。

一旦得到点云数据，则假定点云属于流形M，其被嵌入高维欧几里德空间R^M中。假定流形M具有低本征维m(m＜＜M)，即，它具有通过平滑双射映射φ：Cc R^m→M所表示的R^m的子集C中的参数化。被定义为M上的最短路径(称作测地线)的长度的测地距δ：M×M→R表示数据的本征结构。

低成本和快速3D照相装置(例如Microsoft Kinect)使得有可能以适当精度准实时地获取点云。为了准确、可靠和鲁棒地检测洞室，壁的3D点云数据必须经过3D传感器来收集，其中点云的密度和质量是参数而不是要求。按照本文所述的实施例，能够由一个或多个3D传感器来得到点云数据。

在一些实施例中，同时检测N洞室的算法是无监督算法。因此，不需要关于由点云所表示的采矿壁的结构的先前知识。在一些实施例中，根据3D点云数据的无监督多洞室检测可包括下列步骤的一个或多个：第一步骤是针对消除或者用于通过在拓扑约束流形分析的较低维度分析数据以消除不规则性的拓扑约束流形分析。第二步骤是针对标记或者用于将所选点标记为更受控规范空间中的可能边界的较低维度边界检测。第三步骤是通过应用图像处理技术对于来自先前步骤的边界进行分析和评分的多洞室检测。在本公开的上下文中，“更受控规范空间”能够被理解为更易于从其中提取特性的规范空间。例如，更受控规范空间可以是2D分布或归一化空间，可以是可访问以用于映射特征向量的，和/或可通过拉普拉斯变换来传递的。

关于第一步骤(拓扑约束流形分析)，这个步骤的目标是在给定M的情况下在R^m中恢复参数化。通常假定本征维m是先验已知的。数据样本通过ζ；，/ε/(M上的点)来表示，其中/是连续索引的集合。参见图2。

按照本文所述的实施例，该方法可包括下列步骤的一个或多个：

1.计算测地距Δ＝(δ_ij)的N×N矩阵

2.检测点云数据流形的边界点dM。

3.按照下列标准来检测一致距离的子集，

P₂＝{(i，j):(z_i，z_j)≤(z_j，dM)+d(Z_i，dM)}

其中d(z_j，dM)＝inf_z′∈dMd(z，z′)表示从z到边界的距离。

4.使加权应力最小化，

其中对于全部(i，j)εP，w_ij＝1，并且否则为零。

所得点是R^m中的M的预期表示。

步骤1：点云数据的拓扑约束流形分析

一些实施例包括一种方式，该方式允许操纵任意拓扑的点云数据流形，并且仍然提供不一致性的检测和消除。参见图2。

关于第二步骤(边界检测)，一些实施例采用例如基于研究使用典型规范空间映射从局部距离所重构的每个点的最靠近邻居的坐标的性质的边界检测方法。

步骤2：较低维流形中的边界检测(参见图3)。

一些实施例的方法假定点及其两个相对邻居是沿边界的曲线的一部分。它然后设法找到放置在其两侧上的这个边界外部的点，从而违反推测。(参见图3)。

关于第三步骤(多洞室检测)，在步骤1(拓扑约束流形分析)和步骤2(边界检测)之后，在具有标签边界的较低维流形的点云表示是允许洞室的更鲁棒检测的几乎无噪声表示(参见图4)。

一旦数据(分级较低维流形和边界)是可用的，下一个任务是自动数据处理，其中主要目标是检测洞室。自动方法可用来帮助检测现在通过1d流形中的空心圆所表示的洞室，区域生长。在一些实施例中，除了别的以外可采用Hough变换和随机取样一致(RANSAC)范例。在一些实施例中，该方法使用Hough变换和RANSAC的组合。例如，在一些状况中，Hough变换可对分割参数值极为敏感。因此，在一些实施例中，RANSAC算法被利用，并且通过Hough变换的添加来扩展到超出其限制。

在一些实施例中，这个扩展(Hough+RANSAC)允许采用圆的几何形状来调和算法的数学方面。甚至在很弱点云密度的情况下并且对于采矿壁复杂度的不同等级，这个扩展方式已经提供极令人满意的结果。

参照图5，示出按照本发明的实施例、正被检测的若干洞室和质心的非限制性示例的一些方面。

参照图6，示出按照本发明的实施例、包括点云中的洞室的同时检测的多洞室检测的非限制性示例的一些方面。

本发明的实施例包括一种用于操作机器人的方法，包括：检测结构中的多个洞室，包括：操作3D传感器以得到结构的3D点云数据；在较低维度分析3D点云数据以消除不规则性；在较低维度执行3D点云数据的边界检测；以及执行3D点云数据的多洞室检测以检测多个洞室；将机器人引导到多个洞室的洞室；以及使用机器人对该洞室执行机器人动作。

在细化中，机器人包括机器人工具，还包括将洞室与机器人工具相接合。

在另一个细化中，该方法还包括机器人将材料泵入洞室中。

在又一个细化中，该结构是矿场壁；以及多个洞室是矿场壁中的多个钻孔。

在又一个细化中，多个洞室在多洞室检测中表示为1D流形中的空心圆。

在又一个细化中，3D点云数据的边界检测基于3D点云中的至少一些点的最靠近邻居的坐标的性质来执行。

在另外的细化中，多洞室检测使用Hough变换和随机取样一致(RANSAC)两者来执行。

本发明的实施例包括一种机器人系统，包括：机器人；3D传感器；以及与传感器进行通信的控制器，其中控制器操作以检测结构中的多个洞室，包括：操作3D传感器以得到结构的3D点云数据；在较低维度分析3D点云数据以消除不规则性；在较低维度执行3D点云数据的边界检测；以及执行3D点云数据的多洞室检测以检测多个洞室，其中机器人操作以对多个洞室的至少一个洞室执行机器人操作。

按照一方面，机器人系统还可包括用于将装置连接到数据网络(特别是全球数据网络)的网络接口。数据网络可以是TCP/IP网络，例如因特网。机器人系统可操作地连接到网络接口，以用于执行从数据网络所接收的命令。命令可包括用于控制装置来执行任务(例如执行机器人操作)的控制命令。在这种情况下，机器人系统适合于响应于控制命令而执行任务。命令可包括状态请求。响应于状态请求或者在没有先前状态请求的情况下，机器人系统可适合于向网络接口发送状态信息，以及网络接口则适合于通过网络发送状态信息。命令可包括更新命令，该更新命令包括更新数据。在这种情况下，机器人系统适合于响应于更新命令并且使用更新数据来发起更新。

数据网络可以是使用TCP/IP的以太网网络，例如LAN、WAN或因特网。数据网络可包括分布式存储单元，例如云。取决于应用，云能够采取公共、私有、混合或社区云的形式。

按照另外的方面，机器人系统还可包括用于将信号转换为数字信号(或者处理信号...)的处理单元。

按照另外的方面，机器人系统还可包括用于将机器人系统连接到网络的网络接口，其中网络接口配置成收发机器人系统与数据网络之间的数字信号/数据，其中数字信号/数据包括操作命令和/或与装置或网络有关的信息。

虽然在附图和以上描述中已经详细示出和描述了本发明，但是本发明在性质上要被理解为说明性而不是限制性的，要理解，仅已经示出和描述了优选实施例，并且预期保护落入本发明的精神之内的全部变更和修改。应当理解，虽然以上描述中利用的诸如优选的、优选地、优选或更优选之类的词语的使用指示这样描述的特征可以是更期望的，然而它可以不是必要的，并且没有所述特征的实施例可被预期为处于本发明的范围之内，该范围通过以下权利要求书所限定。在阅读权利要求书中，预计当使用诸如“一(a、an)”、“至少一个”或者“至少一部分”之类的词语时，不是意在将权利要求限制到仅一项，除非权利要求中特别地相反说明。当使用语言“至少一部分”和/或“一部分”时，该项能够包括一部分和/或整个项，除非特别地相反说明。

除非另加说明或限制，否则术语“安装”、“连接”、“支持”和“耦合”及其变化被广义地使用，并且包含直接和间接安装、连接、支持和耦合两者。此外，“连接”和“耦合”并不局限于物理或机械连接或耦合。

Claims

1.一种用于操作机器人的方法，包括：

检测结构中的多个洞室，包括：

操作3D传感器，以得到所述结构的3D点云数据；

在较低维度分析所述3D点云数据，以消除不规则性；

在所述较低维度执行所述3D点云数据的边界检测以用于将所选点标记为可能的边界；以及

在所述较低维度执行所述3D点云数据的多洞室检测，以检测所述多个洞室，所述多洞室检测包括对所述边界进行分析和评分；将所述机器人引导到所述多个洞室的洞室；以及

使用所述机器人对所述洞室执行机器人操作。

2.如权利要求1所述的方法，其中所述机器人包括机器人工具，还包括将所述洞室与所述机器人工具相接合。

3.如权利要求2所述的方法，还包括所述机器人将材料泵入所述洞室中。

4.如权利要求1所述的方法，其中所述结构是矿场壁；并且其中所述多个洞室是所述矿场壁中的多个钻孔。

5.如权利要求1所述的方法，其中所述多个洞室在所述多洞室检测中表示为1D流形中的空心圆。

6.如权利要求1所述的方法，其中所述3D点云数据的所述边界检测基于所述3D点云中的至少一些点的最靠近邻居的坐标的性质来执行。

7.如权利要求1所述的方法，其中所述多洞室检测使用Hough变换和随机取样一致(RANSAC)来执行。

8.一种机器人系统，包括：

机器人；

3D传感器；以及

与所述传感器进行通信的控制器，其中所述控制器操作以检测结构中的多个洞室，包括：操作所述3D传感器以得到所述结构的3D点云数据；在较低维度分析所述3D点云数据以消除不规则性；在所述较低维度执行所述3D点云数据的边界检测以用于将所选点标记为可能的边界；以及在所述较低维度执行所述3D点云数据的多洞室检测以检测所述多个洞室，所述多洞室检测包括对所述边界进行分析和评分，

其中所述机器人操作以对所述多个洞室的至少一个洞室执行机器人操作。