CN101430207B - 使用结构光产生三维地图的设备和方法 - Google Patents

Abstract

一种使用结构光产生三维地图的设备和方法。所述用于使用结构光产生三维地图的设备包括：测距仪，检测移动机器人的姿态；距离测量传感器，包括用于向上发射光的光源模块和用于捕获由从障碍物反射的光形成的图像的相机模块，使用捕获的图像测量到障碍物的距离。所述设备在改变移动机器人的姿态的同时，使用距离测量传感器测量到障碍物的距离，从而产生三维地图。

Description

使用结构光产生三维地图的设备和方法

本申请要求于2007年11月9日提交到韩国知识产权局的第10-2007-0114322号韩国专利申请的优先权，该申请的公开通过引用全部包含于此。

技术领域

本发明的一个或多个实施例涉及一种用于产生三维地图的设备和方法，更具体地讲，涉及一种使用向上朝天花板发射的结构光产生三维地图的设备和方法。

背景技术

通常，已开发机器人以提高工厂的自动化。近年来，与工业机器人一样，可用于家庭和办公室使用的机器人已经被实际使用。可用于家庭和办公室使用的机器人的示例包括清洁机器人、向导机器人和安全机器人。

对于移动机器人(例如，清洁机器人)，通常必须创建被机器人识别的地图，以指定机器人的行进路径或机器人的工作区域。为了创建地图，已使用各种方法(例如，使用视觉传感器、超声波传感器和接触传感器的方法)来控制机器人在自动导航的同时创建地图。然而，由于使用结构光和相机的方法需要的计算量小并且可在亮度变化大的地方使用，因此使用结构光和相机的方法非常有效。

在该方法中，如图1所示，主动光源(active light source)10(例如，激光器)被用于将预定激光束发射到障碍物30，传感器20(例如，相机)捕获通过从该障碍物反射的激光束形成的图像。然后，可基于通过相机20捕获的图像的坐标、光的辐射角以及相机20和激光发射点之间的距离，通过使用三角形法来计算激光发射点和作为反射点的障碍物30之间的距离。

在现有技术中，由于沿移动机器人运动的向前方向发射光，因此由于有限的信息导致移动机器人仅可产生二维地图。

在图1中，光源10和相机传感器20之间的距离d被称为基线。该距离越长，范围分辨率(range resolution)越高。在很多情况下，当有限高度的机器人(例如，清洁机器人)向前发射光时，基线较短。在此情况下，在长距离处的范围分辨率降低，这使得难以产生地图。

发明内容

本发明的一方面在于提供一种通过向上照射结构光并累积移动机器人的姿态信息和在每个姿态获得的距离数据来产生三维地图的设备和方法。

将在接下来的描述中部分阐述另外的方面和/或优点，并且在描述中部分将是清楚的，或者可以经过本发明的实施而得知。

根据本发明的一方面，提供一种三维地图产生设备。所述设备包括：测距仪，检测移动机器人的姿态；距离测量传感器，包括用于相对于移动机器人的移动方向向上发射光的光源模块和用于捕获由从障碍物反射的光形成的图像的相机模块，使用捕获的图像测量移动机器人到障碍物的距离；地图产生单元，在改变移动机器人的姿态的同时，使用距离测量传感器测量的距离产生三维地图。

根据本发明的另一方面，提供一种三维地图产生方法。所述方法包括：检测移动机器人的姿态；使用包括光源模块和相机模块的距离测量传感器测量移动机器人到障碍物的距离，使用所述相机模块捕获的图像测量到障碍物的距离，其中，所述光源模块用于相对于移动机器人的移动方向向上发射光，所述相机模块用于捕获由从障碍物反射的光形成的图像；在改变移动机器人的姿态的同时，通过测量所述距离产生三维地图。

附图说明

通过参照附图对本发明的优选实施例进行的详细描述，本发明的上述和其它特征和优点将会变得清楚，其中：

图1是示出使用结构光测量距离的设备的示图；

图2是示出为了捕获结构光图像将光发射到障碍物的示图；

图3是示出通过图2示出的相机传感器捕获的相机图像的示图；

图4是示出根据本发明实施例的使用结构光的三维地图产生设备的框图；

图5是示出根据本发明实施例的使用结构光的三维地图产生设备的距离测量传感器的结构的示图；

图6是示出根据本发明实施例的利用使用结构光的三维地图产生设备将激光束照射到天花板和墙壁上以获得距离数据的处理的示图；

图7和图8是示出在使根据本发明实施例的使用结构光的三维地图产生设备移动和旋转以改变其姿态的同时，获得用于产生三维地图的距离数据的处理的示图；

图9A和图9B是示出当分别从天花板和墙壁观看时，通过根据本发明实施例的使用结构光的三维地图产生设备获得的三维地图的示图；

图10是示出根据本发明实施例的使用结构光产生三维地图的方法的流程图；

图11是示出使用根据本发明实施例产生的三维地图检测移动机器人的位置的处理的流程图；

图12是示出使移动机器人平行于墙壁移动的方法的流程图；

图13示出将移动机器人定位为平行于墙壁的处理的示图。

具体实施方式

现在，将详细参照实施例，实施例的示例在附图中示出，其中，相同的标号始终代表相同的部件。为此，可以以多种不同的方式实现本发明的实施例，并且不应被解释为限于在此阐述的实施例。因此，下面仅通过参照附图来描述实施例，以解释本发明的多个方面。

以下，将参照框图或流程图来描述本发明的示例性实施例。将理解，可通过计算机可读代码/指令实现流程图中的每个块以及流程图中的块的组合。计算机可读代码可被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，从而经计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现在(例如)一个流程图块或多个流程图块中指定的操作的部件。

因此，可通过介质(例如，计算机可读介质)中/上的计算机可读代码/指令实现本发明的实施例，以控制至少一个处理部件实现上述任意实施例。介质可对应于允许存储和/或传输计算机可读代码的任何介质。

可以以不同的方式在介质上记录/传送计算机可读代码，所述介质的实例包括：记录介质，如磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM或DVD)；以及传输介质，例如，诸如携带或控制载波的介质和互联网的部件。因此，介质可以是这样定义和可测量的携带或控制信号或信息的结构，例如，根据本发明实施例的携带比特流的装置。介质还可以是分布式网络，从而可以以分布式的方式存储/传送和执行计算机可读代码。此外，仅作为示例，处理部件可包括处理器或计算机处理器，并且处理部件可被分布和/或包括在单个装置中。

以下，将首先讨论根据本发明实施例的使用结构光测量距离的原理。

图1是示出使用结构光的距离测量设备的侧视图，图2是示出为了获得结构光图像将光发射到障碍物的示图，图3是示出通过图2示出的相机传感器捕获的图像的示图。这里，术语设备应被认为与术语系统同义，并且不限于在所有实施例中的单个附件或各个附件的单个中实现的所有描述的部件，相反，基于实施例，术语设备被开放为通过不同部件(例如，各个设备/系统可以是单个处理部件或通过分布式网络被实现)在不同附件和/或位置一同或单独被实现。注意，另外的和可替换的实施例是等同可用的。

主动光源10(例如，激光器)用于向障碍物30发射光，相机传感器20获取从障碍物30反射的图像信息。在此情况下，相机传感器20位于光源10之上离开光源10恒定距离d，并且获取图像信息。光源10可以是近红外线激光器。近红外激光束可使得在没有光的暗的地方获取图像信息。

参照图2，在俯视图中，光源10以恒定视角α向障碍物30发射激光束。图3示出通过相机模块20捕获的线轮廓形式的相机图像40。从图2所示的障碍物30的点a和b反射的光分量被示出为图3所示的相机图像40的点a和b，并且在Y轴方向的值与相机传感器20和障碍物30之间的距离成比例。

基于从相机图像40上的坐标获得的相机模块20和障碍物30之间的距离、相机传感器20相对于障碍物30的角度θ以及相机模块20和光源10之间的距离d，通过三角形法来计算光源10和障碍物30之间的距离数据。

以下，将描述根据本发明实施例的使用结构光的三维地图产生设备。

图4是示出根据本发明实施例的使用结构光的三维地图产生设备的框图。图5是示出根据本发明实施例的使用结构光的三维地图产生设备的距离测量传感器的结构的示图。图6是示出根据本发明实施例的利用使用结构光的三维地图产生设备将激光束照射到天花板和墙壁上来测量距离数据的示图。

根据本发明实施例的使用结构光的三维地图产生设备可包括测距仪(odometer)110和具有光源模块122和相机模块124的距离测量传感器120。三维地图产生设备还可包括：平面提取单元210、特征地图产生单元220以及位置检测单元230。

设置在移动机器人中的测距仪10用于检测移动机器人的相对姿态。术语“姿态”是指移动机器人的位置和方向角。当移动机器人从姿态A移动到姿态B时，测距仪110可检测移动机器人相对于姿态A的姿态变化。例如，编码器或陀螺仪可用作测距仪110。编码器结合移动机器人的距离和方向，以得知移动机器人的当前姿态。

距离测量传感器120包括：光源模块122，发射光；和相机模块124，使用从障碍物反射的光捕获障碍物的图像，并测量到障碍物的距离。在本实施例中，线激光器(line laser)被用作光源。当线激光器沿水平方向以预定角度发射光时，相机模块在光的发射范围内捕获由从障碍物反射的光形成的图像，从而获得距离数据。如上所述，可通过三角形法计算距离数据。

如图5所示，根据本发明实施例的距离测量传感器120被设置在移动机器人的上部，向天花板(即，沿向上方向)发射光，并测量到天花板上的障碍物的距离。

具体地说，最好将清洁机器人设计得薄。然而，如上所述，在现有技术中，当移动机器人向前发射光时，基线变短，并且在远距离处的分辨率降低，这导致难以产生地图。然而，在本实施例中，如图5所示，光源模块122和相机模块124被设置在移动机器人的上部以增长基线d，这样可解决分辨率降低的问题。

此外，在本实施例中，由于使用激光束，因此可在暗的环境中执行地图的产生以及定位。

图6示出在存在天花板和墙壁的实际环境中通过向上照射激光束来获得距离数据的处理。如图6所示，可获得移动机器人与激光束的照射范围内的天花板或墙壁之间的距离数据。当以较大角度照射激光束时，可在较宽的范围内获得距离数据。或者，可设置具有预定角度范围的两对光源模块和相机模块，以在移动机器人的上表面的整个范围(即，在移动机器人的上表面的180度的角度)内获得距离数据。

根据本发明实施例的使用结构光的三维地图产生设备在改变移动机器人的姿态的同时，使用分别从测距仪110和距离测量传感器120获得的姿态信息和距离数据信息来产生三维地图。

以下，将参照图7和图8描述使用姿态信息和距离数据信息产生三维地图的原理。

图7和图8是示出通过使根据本发明实施例的使用结构光的三维地图产生设备移动和旋转以改变其姿态，来获得用于产生三维地图的距离数据的处理的示图。

图7是示出在沿直线移动的同时使用距离测量传感器120测量距离的移动机器人的操作的示图。当移动机器人位于与实线相应的位置时，在天花板和墙壁上绘制的实线表示线激光器获取的距离信息。然后，移动机器人的姿态被改变以测量距离。即，在图7中，移动机器人的位置被改变以测量距离。在图7中，假设移动机器人与两边墙壁平行地移动到对应于虚线的位置以测量距离，则在与实线对应的位置通过距离测量传感器120获得的距离数据与在与虚线相应的位置通过距离测量传感器120获得的距离数据相同。即，在与实线和虚线相应的位置仅获得二维距离数据。然而，可通过从测距仪110获取表示移动机器人从对应于实线的位置沿直线移动距离d的信息，并将该获取的信息反映到在对应于虚线的位置获得的距离数据，来获得三维距离数据。

图8是示出在沿逆时针方向在固定位置旋转的同时使用距离测量传感器120测量距离的移动机器人的操作的示图。

类似于图7，当移动机器人位于对应于实线的位置时，在天花板和墙壁上绘制的实线表示通过线激光器获取的距离信息。然后，移动机器人的姿态被改变以测量距离。即，在图8中，移动机器人沿逆时针方向在固定位置被旋转以测量距离。如上所述，在该位置通过距离测量传感器120获得的距离数据是二维数据。然而，可通过从测距仪110获取表示移动机器人从对应于实线的位置沿逆时针方向旋转角度θ的信息，并将该获取的信息反映到在对应于虚线的位置获得的距离数据，来获得三维距离数据。

即，如上所述，可通过将从测距仪110获得的相对姿态信息反映到从距离测量传感器120获得的二维距离数据来获得当前姿态的三维距离数据。此外，可通过累积通过改变移动机器人的姿态获得的三维距离数据来产生三维地图。

图9A和图9B是示出当分别从天花板和墙壁观看时，通过根据本发明实施例的使用结构光的三维地图产生设备获得的三维地图的示图。

图9A和图9B示出基于通过移动机器人在固定位置处的旋转获得的距离数据产生的三维地图。在图9A中，没有距离信息的空心310形成在地图的中心，移动机器人位于空心310的中心。由于光源模块122被布置在移动机器人的边缘而非中心(如图5所示)，因此没有距离信息的空心310形成在到移动机器人的位置预定距离范围内。

如图9A和图9B所示，可通过累积三维距离数据来产生三维地图。可从三维地图找到天花板与墙壁之间的边缘以及两个边缘相交形成的天花板的顶点，并且可从三维地图获取关于天花板、形成在天花板上的通风孔以及设置在天花板上的荧光灯的信息。

平面提取单元210从三维地图提取平面。如图9A和图9B所示，可提取天花板与墙壁之间的边缘以及两个边缘之间相交形成的顶点，因此平面提取单元210可从提取的边缘和顶点提取平面(例如，天花板)。

特征地图产生单元220从提取的平面提取特征点(例如，顶点)，并基于特征点产生特征地图。

位置检测单元230将从当前位置的地图提取的特征点与预先存储的特征地图的特征点进行比较，以检测移动机器人的位置。下面，将参照图10描述检测移动机器人的位置的处理。

图10是示出根据本发明实施例的使用结构光产生三维地图的方法的流程图。

首先，改变移动机器人的姿态(S410)。然后，测距仪110检测相对姿态信息(S420)。术语“相对姿态信息”是指先前姿态和当前姿态之间移动机器人的位置和方向角的改变。

然后，线激光器被用于捕获当前位置的范围信息(range information)(S430)。术语“范围信息”是指通过在预定角度范围内从线激光器照射激光束获得的距离数据。姿态信息被反映到获取的范围信息，以产生三维距离数据(S440)，从而更新三维地图。在此情况下，重复这些处理直到范围信息项的数量大于阈值(S450)，以更新三维地图。所述阈值可以是移动机器人的姿态被改变的预定次数，或者获取特定信息所需的任意数量。所述获取特定信息所需的任意数量可以是测量天花板的整个区域所需的范围信息项的数量。即，重复这些处理直到获取关于天花板的整个区域的信息。当获取了关于天花板的整个区域的信息时，可结束三维地图的产生。

在产生三维地图之后，平面提取单元210可从三维地图提取平面(S460)。如图9A和图9B所示，可提取天花板与墙壁之间的边缘以及两个边缘之间相交形成的顶点，因此平面提取单元210可从提取的边缘和顶点提取平面(例如，天花板)。

然后，特征地图产生单元220可从提取的平面提取特征点，并产生特征地图(S470)。产生的特征地图可被用于检测移动机器人的位置，将在下面对其进行描述。

可使用根据本发明实施例产生的三维地图来检测移动机器人的当前位置。

图11是示出使用根据本发明实施例产生的三维地图检测移动机器人的位置的处理的流程图。

首先，在移动机器人旋转的同时，在移动机器人的当前位置产生三维地图(S510)。已经参照图9A和图9B描述了通过移动机器人在固定位置处的旋转来产生三维地图。然后，从在当前位置产生的三维地图提取特征点，例如，顶点(S520)。将提取的特征点与预先存储的地图的特征点进行比较，以计算在整个地图上的机器人位置概率(S530)。当产生三维地图时，由于例如线激光器的照射角度和墙壁的限制，可能被分割。在此情况下，当如图9所示通过移动机器人在固定位置处的旋转产生三维地图时，难以产生包括天花板的整个区域或地图的所有区域的三维地图，而是仅形成局部区域的三维地图。因此，在当前位置产生的三维地图可能是整个三维地图的部分。从在当前位置产生的三维地图提取的特征点也可能是形成整个特征地图的所有特征点中的某些特征点。因此，可通过将从在当前位置产生的三维地图提取的特征点的分布与形成整个特征地图的特征点的分布进行比较，来计算整个地图上的机器人位置概率。例如，可使用蒙特卡罗(Monte Carlo)方法计算机器人位置概率。蒙特卡罗方法用于根据重复的统计采样实验来计算期望数值的概率分布，将省略对其的详细描述。当计算的机器人位置概率小于预定参考值时，没有检测到机器人，机器人位于另一位置(S550)。重复上述处理以再次检测移动机器人的位置。相反，当机器人位置概率大于预定参照值时，可确定具有该概率值的位置作为移动机器人的当前位置。

作为根据本发明实施例的三维地图产生设备和方法的应用，移动机器人可平行于墙壁行进。

图12是示出使移动机器人平行于墙壁移动的方法的流程图，图13示出将移动机器人定位为平行于墙壁的处理的示图。

移动机器人在当前位置照射激光束以测量到墙壁的距离d1(S610)。所述到墙壁的距离是指移动机器人的发射激光束的表面与墙壁之间的最短距离，而非移动机器人与墙壁之间的最短距离。当在特定照射角度到墙壁的距离已知时，可使用该角度和距离利用三角形法计算移动机器人和墙壁之间在水平方向的最短距离。如图13所示，当沿垂直于移动机器人的正面的方向向上照射激光束时，移动机器人与墙壁之间的距离为d1。

然后，沿特定方向旋转移动机器人(S620)。从图13可以看到，沿顺时针方向旋转移动机器人。在沿顺时针方向旋转之后，由虚线表示移动机器人的正面与墙壁之间的距离。

如图13所示，沿顺时针方向将移动机器人旋转预定角度，然后通过上述方法测量移动机器人和墙壁之间的距离d2(S630)。

然后，比较距离d1和距离d2(S640)。当距离d2小于距离d1时，由于移动机器人的旋转导致移动机器人与墙壁之间的距离减小，这意味着随着移动机器人的旋转，移动机器人与墙壁平行。这是因为当移动机器人与墙壁平行时，移动机器人与墙壁之间的距离最小。因此，当满足d1>d2时，将d2设置为d1(S650)，并且将移动机器人沿上述相同的方向旋转预定角度(S620)。在旋转之后，测量移动机器人与墙壁之间的距离d2，并比较距离d2和距离d1。当距离d2大于距离d1时，移动机器人从平行于墙壁的位置旋转到不平行于墙壁的位置。因此，移动机器人被旋转至与距离d1相应的位置(S660)。在此情况下，假设移动机器人位于平行于墙壁的位置。移动机器人被布置得平行于墙壁，然后向前移动以与前面的墙壁相遇(S670)，从而使移动机器人平行于墙壁移动。

具体地说，清洁机器人的清洁效率很大程度上取决于该机器人的行进路径。因此，与现有的随机方法相比，如上所述，当清洁机器人平行于墙壁移动时，可提高清洁机器人的清洁效率。

尽管已经参照本发明的不同实施例具体显示和描述了本发明的多方面，但是应该理解，这些示例性实施例应被解释为描述目的，而非限制目的。每个实施例中的特征或方面的描述通常应被理解为可用于其他实施例的其他类似特征或方面。

因此，尽管已经示出和描述了一些实施例，但是本领域的技术人员应该理解，在不脱离本发明的原理和精神的情况下，可以对这些实施例进行改变，本发明的范围由权利要求及其等同物限定。

Claims (16)

1.一种三维地图产生设备，包括：

测距仪，检测移动机器人的姿态；

距离测量传感器，包括用于相对于移动机器人的移动方向向上发射光的光源模块和用于捕获由从障碍物反射的光形成的图像的相机模块，该距离测量传感器使用捕获的图像测量移动机器人到障碍物的距离；

地图产生单元，在改变移动机器人的姿态的同时，使用距离测量传感器测量的距离产生三维地图，

其中，光源模块和相机模块朝向天花板，

其中，光源模块被置于移动机器人的上表面的边缘，相机模块与光源模块相距特定距离被置于移动机器人的上表面。

2.如权利要求1所述的三维地图产生设备，其中，光源模块是激光器。

3.如权利要求1所述的三维地图产生设备，其中，地图产生单元累积三维数据，从而产生三维地图，其中，在改变移动机器人的姿态的同时，通过将移动机器人的姿态反映到测量的二维距离数据来获得所述三维数据。

4.如权利要求1所述的三维地图产生设备，其中，移动机器人的姿态包括移动机器人的位置和方向角。

5.如权利要求1所述的三维地图产生设备，其中，测距仪是编码器或陀螺仪。

6.如权利要求1所述的三维地图产生设备，还包括：

平面提取单元，从产生的三维地图提取平面。

7.如权利要求6所述的三维地图产生设备，还包括：

特征地图产生单元，从提取的平面提取特征点，以产生特征地图。

8.如权利要求7所述的三维地图产生设备，还包括：

位置检测单元，将从当前位置的移动机器人的地图提取的特征点与预先存储的特征地图上的特征点进行比较，以检测移动机器人的位置。

9.一种三维地图产生方法，包括：

检测移动机器人的姿态；

使用包括光源模块和相机模块的距离测量传感器测量移动机器人到障碍物的距离，使用所述相机模块捕获的图像测量到障碍物的距离，其中，所述光源模块用于相对于移动机器人的移动方向向上发射光，所述相机模块用于捕获由从障碍物反射的光形成的图像；

在改变移动机器人的姿态的同时，通过测量所述距离产生三维地图，

其中，光源模块和相机模块朝向天花板，

其中，光源模块被置于移动机器人的上表面的边缘，相机模块与光源模块相距特定距离被置于移动机器人的上表面。

10.如权利要求9所述的三维地图产生方法，其中，光源模块是激光器。

11.如权利要求9所述的三维地图产生方法，其中，通过累积三维数据来产生三维地图，其中，在改变移动机器人的姿态的同时，通过将移动机器人的姿态反映到测量的二维距离数据来获得所述三维数据。

12.如权利要求9所述的三维地图产生方法，其中，移动机器人的姿态包括移动机器人的位置和方向角。

13.如权利要求9所述的三维地图产生方法，其中，测距仪是编码器或陀螺仪。

14.如权利要求9所述的三维地图产生方法，还包括：

从产生的三维地图提取平面。

15.如权利要求14所述的三维地图产生方法，还包括：

从提取的平面提取特征点，以产生特征地图。

16.如权利要求15所述的三维地图产生方法，还包括：

将从当前位置的移动机器人的地图提取的特征点与预先存储的特征地图上的特征点进行比较，以检测移动机器人的位置。