CN102596517A - 移动机器人定位和导航控制方法及使用该方法的移动机器人 - Google Patents

Abstract

本发明涉及用于移动机器人的定位和导航的控制方法以及使用该方法的移动机器人。更具体地，使用惯性传感器和图像控制移动机器人的定位和导航，其中，采用局部方向描述符，根据移动机器人的条件改变移动机器人的驱动模式，并且可以使定位中的误差最小。

Description

移动机器人定位和导航控制方法及使用该方法的移动机器人

技术领域

本发明涉及用于移动机器人的定位和导航的控制方法以及使用该方法的移动机器人。更具体地，本发明涉及用于移动机器人的定位和导航的控制方法以及使用该方法的移动机器人，当使用惯性传感器和图像控制移动机器人的定位和导航时，其可以使用局部方向描述符，根据移动机器人的条件改变移动机器人的驱动模式，以及使定位中的误差最小化。

背景技术

近年来，由于机器人技术的进步，已经可以使用通过自身设置路径和移动的移动机器人。移动机器人的代表实例包括清洁房间或建筑物的清洁机器人以及帮助寻找位置的接待(receptionist)机器人。特别地，清洁机器人包括各种传感器和驱动单元以在移动的同时使用设置在其中的真空清洁单元来清洁室内地板。目前，我们已经能够使用各种清洁机器人。

为了有效地判断位置并使移动机器人移动，需要移动机器人生成机器人正在移动的空间的地图并识别空间中的位置。同时定位和映射(SLAM)是指移动机器人识别周围空间中的位置并生成地图。

在SLAM技术中，基于SLAM的图像使用从图像中提取的视觉特征点生成关于周围环境的地图，并估计机器人的姿势。通常，使用设置在驱动电机中的陀螺仪和编码器通过航位推算(dead reckoning)法驱动移动机器人。此外，移动机器人使用设置在上部的相机来分析图像并生成地图。在这种情况下，如果在通过陀螺仪和编码器生成的驱动信息中存在误差，则通过使用从相机获得的图像信息来校正积累的误差。

迄今为止，即使提出了关于移动机器人驱动方法以及使用该方法的移动机器人的各种现有技术，但以下问题还没有解决。

即使各种方法被用作从图像提取的特征点的描述符，但在照明或图像的改变比较显著的情况下不能实现良好的性能。此外，当控制移动机器人的驱动时，如果不能使用输入图像或者在移动机器人的驱动控制中发生误差，则不建议自适应驱动控制方法。此外，在特征点匹配中，错误的特征点被识别为相同的特征点。

发明内容

为了解决上述问题，本发明的目的在于提供用于移动机器人的定位和导航的控制方法以及使用该方法的移动机器人，当使用惯性传感器和图像控制移动机器人的定位和导航时，其可以使用局部方向描述符，并根据移动机器人的条件改变移动机器人的驱动模式以使定位期间的误差最小。

为了实现上述目的，本发明的示例性实施例提供了一种移动机器人，包括：图像获取单元，被配置为获得图像；传感器单元，被配置为获取至少包括移动机器人的驱动方向和驱动距离的驱动信息；图像处理单元，被配置为处理通过图像获取单元所获取的图像以提取特征点，并生成用于特征点的描述符；以及主控制器，被配置为基于特征点和驱动信息在驱动范围中生成空间地图并控制移动机器人的定位和导航。当执行移动机器人的定位和导航时，根据所获取的图像和基准图像的匹配程度，主控制器选择性地应用同时使用图像和感测信息的第一驱动模式和仅使用图像信息的第二驱动模式。

移动机器人还可以包括：存储单元，被配置为存储包括通过传感器单元获取的驱动方向和驱动距离的驱动信息以及包括通过图像处理单元中的图像处理和描述符信息获取的特征点的图像信息。

图像处理单元可包括：图像失真校正单元，被配置为校正通过图像获取单元所获取的图像的失真；图像质量检查单元，被配置为确定图像是否可用；特征点提取单元，被配置为从图像中提取特征点；以及描述符生成单元，被配置为生成用于特征点的描述符。

图像质量检查单元可以通过比较所获取图像的亮度和基准图像的亮度来确定所获取图像的可用性。

当图像获取单元以第一驱动模式获取异常图像且获取异常图像的时间超过预定时间时，图像质量检查单元可以确定移动机器人被阻挡在阻挡区域中。

如果确定移动机器人被阻挡在阻挡区域中，则主控制器可以将移动机器人返回至阻挡区域的进入点。

图像质量检查单元可以参照移动机器人的移动方向将所获取的图像划分为四个部分，并基于所划分部分中的亮度平均，基于所获取图像的平均和变化来确定移动机器人是否被阻挡。

描述符生成单元可以针对从所获取图像中划分的nXn子区域生成亮度和方向信息的改变。

描述符生成单元可以选择nXn子区域中不同的两个子区域的方向信息以生成成对组合，从而描述局部方向信息中的角度差。

主控制器可包括：驱动模式选择单元，被配置为选择第一驱动模式和第二驱动模式；特征点管理单元，被配置为管理从图像中提取的特征点并与注册特征点相匹配；地图管理单元，被配置为生成并更新地图；以及驱动控制单元，被配置为控制移动机器人的定位和导航。

当移动机器人在以第一驱动模式进行驱动的同时被绑架(kidnap)或者在预定图像帧期间没有建立度量地图或没有定位时，驱动模式选择单元可以将驱动模式切换至第二驱动模式，以根据拓扑地图恢复位置。

本发明的另一示例性实施例提供了移动机器人的定位和导航的控制方法，包括：(a)使移动机器人获取目标区域的图像信息和驱动信息；(b)通过将所获取的图像信息的质量与基准值进行比较来确定所获取的图像是否可用；以及(c)如果确定图像可用，则从所获取的图像信息中提取特征点并生成所提取特征点的描述符以创建驱动地图并在目标区域中驱动。当执行移动机器人的定位和导航时，根据所获取图像和基准图像的匹配程度，目标区域中的驱动包括：选择同时使用图像和传感信息的第一驱动模式和仅使用图像信息的第二驱动模式。

在(b)之前，控制方法可进一步包括：校正所获取图像信息的失真。

描述符的生成可包括：生成至少包括用于特征点的方向信息和亮度的描述符；如果特征点被确定为新特征点，则注册特征点；当特征点为表示预定区域的特征的关键区域特征点时，生成用于关键区域特征点的描述符；以及如果关键区域特征点被确定为新关键区域特征点时，注册关键区域特征点。

对关键区域特征点生成描述符，关键区域特征点可以被空间且非均匀地在所获取图像中生成，并且设置在根据一帧中的图像计算的边角响应函数的值的总和大于基准值的区域中。

对关键区域特征点生成描述符，移动机器人可以校正通过关键区域中获取的图像的特征点与关键区域特征点的图像匹配所累积的位置误差和方向角误差。

在驱动模式的选择中，当通过第一驱动模式的移动机器人获取的图像的亮度低于基准且获取基准之下的图像的时间超过预定时间时，可以确定移动机器人被阻挡在阻挡区域中。

在驱动模式的选择中，如果确定移动机器人被阻挡在阻挡区域中，则移动机器人可以返回至阻挡区域的进入点。

在驱动模式的选择中，可以基于通过参照移动机器人的移动方向将所获取的图像划分为四个部分所划分的部分中的亮度平均，基于所获取图像的平均和变化来确定移动机器人是否被阻挡。

目标区域的驱动可以包括在第一驱动模式下：测量所获取图像的总亮度的平均并将平均与基准图像的亮度平均进行比较以估计照明环境；测量被划分为四个部分的图像的亮度平均和变化并将亮度平均与基准图像的变化进行比较以感测照明的变化；以及基于估计的照明环境和照明的感测变化来调整移动机器人的速度。

在第一驱动模式中，可以生成从所获取图像划分的nXn子区域的亮度和方向信息的变化。

在第一驱动模式中，可以选择nXn子区域中两个不同的子区域的方向信息以生成成对组合，从而描述局部方向信息中的角度差。

当移动机器人在以第一驱动模式进行驱动的同时被绑架或者在预定图像帧期间没有建立度量地图或没有定位时，驱动模式的选择可以将驱动模式切换至第二驱动模式，以根据拓扑地图恢复位置。

当从惯性传感器获取的驱动信息由于移动机器人的条件而不能有效使用时，可以仅通过图像匹配来控制移动机器人的定位和导航，以允许根据情况的自适应移动机器人控制。

根据由本发明建议的生成用于图像特征点的描述符的方法，减少了计算量并减少了错误识别率。此外，该方法在旋转改变中较强。

此外，根据本发明，可以通过比较移动机器人的驱动信息与从图像特征点中提取的方向信息来提高特征点识别率。

附图说明

图1是示出根据本发明示例性实施例的移动机器人的结构的框图。

图2是示出根据本发明示例性实施例的在移动机器人中生成局部方向描述符的处理的示图。

图3是示出用于计算图像梯度的窗的示图。

图4A是示出图像碎片的实例的示图，以及图4B是示出用于图像碎片的子区域的局部方向信息的实例的示图。

图5是示出根据本发明示例性实施例的用于移动机器人的定位和导航的控制方法中的提取特征点并生成标识符的处理的流程图。

图6是示出根据本发明示例性实施例的用于移动机器人的定位和导航的控制方法中的驱动模式选择和驱动控制方法的流程图。

图7是示出根据本发明示例性实施例的移动机器人的驱动方向与移动机器人的第一位置中的图像碎片的主方向的关系的示图。

图8是示出根据本发明示例性实施例的移动机器人的驱动方向与移动机器人的第二位置中的图像碎片的主方向的关系的示图。

图9是示出移动机器人的驱动方向的变化与图像碎片的主方向的变化之间的关系的示图。

具体实施方式

以下，将参照附图描述本发明的示例性实施例。在附图中，参考标号是指多幅图中本发明的相同或等效部件。此外，在本发明的描述中，如果确定现有技术的结构或功能的详细描述不是必须源于本发明的精神，则省略现有技术的详细描述。以下，将描述本发明的优选实施例。然而，技术构思不限于此，而是可以通过本领域的技术人员进行修改。

图1是示出根据本发明示例性实施例的移动机器人的结构的框图。

根据本发明示例性实施例的移动机器人10包括：图像获取单元12，被配置为获得图像；图像处理单元20，被配置为处理通过图像获取单元12所获取的图像，提取图像中的特征点，并生成用于特征点的描述符；传感器单元42，被配置为感测移动机器人10的驱动方向信息和移动距离；主控制器30，被配置为基于所获取的图像生成用于移动机器人移动的空间的地图，以及基于从所获取信息中提取的特征点的信息和从传感器单元42获取的驱动信息来控制移动机器人的操作；以及移动机器人驱动单元40，被配置为根据主控制器30的控制来驱动机器人。

图像获取单元12获取定位有移动机器人的周围环境的图像。图像获取单元12可包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器。在本发明中，图像获取单元12可以朝向向上的方向进行设置以获取天花板图像。更具体地，图像获取单元12包括诸如鱼眼透镜的广角透镜，从而以宽取景范围获取天花板图像。

图像处理单元20包括图像失真校正单元22、图像质量检查单元24、特征点提取单元26、和描述符生成单元28。

图像失真校正单元22被配置为校正通过图像获取单元12所获取的图像的失真。当图像获取单元12包括鱼眼透镜或广角透镜时，通过图像获取单元12所获取的图像包括径向失真。因此，图像获取单元12使用预先获得的相机参数来去除图像的失真。

图像质量检查单元24被配置为确定所获取图像的可用性。当直射光被照射到图像获取单元12上或者图像获取单元12被诸如板的障碍物阻挡时，通过图像获取单元12获取的图像可能不能用于定位移动机器人。因此，图像质量检查单元24检查所获取的图像，如果所获取的图像无用，则排除所获取的图像。例如，如果所获取的图像的亮度太亮或太暗，则图像质量检查单元24将该图像处理为不适合的图像。当所获取的图像被排除时，主控制器30基于从陀螺仪(gyroscope)44或编码器46获取的驱动记录信息来控制移动机器人的移动。

在比较两个图像的立体匹配中，如果图像之间的差异为d，焦距为F，与眼睛的距离为z，且基线为B，则通过以下等式1来表示关系。

$d=\mathrm{BF}\frac{1}{z}$ [等式1]

在其一般化的图像序列中，短基线被定义为图像之间的差异不是很大且图像之间的特征点在确定范围内匹配的情况。相反，宽基线被定义为图像之间的视点差较大或者包含几何变形或照明变化以使图像之间的特征点不匹配的情况。

图像质量检查单元24具有被配置为检测通过图像获取单元12获取的图像的亮度变化以检测移动机器人10在诸如板的障碍物下方移动的附加功能。例如，所获取图像的平均亮度或变化被用于检测移动机器人10的图像获取单元12被障碍物所阻挡。

如果移动机器人10进入到板的下方，图像帧的亮度平均逐渐降低，使得亮度的变化增加然后降低。作为减少计算量的方法，通过图像获取单元12获取的图像参照移动机器人10的移动方向被划分为四个部分，并且所划分部分的亮度平均被用于获取整个图像中亮度的平均和变化以确定移动机器人10是否被阻挡。

如果图像获取单元12被障碍物所阻挡，则难以基于图像来控制移动机器人10的位置。因此，主控制器30基于诸如陀螺仪的惯性传感器44或编码器46的信息来控制移动机器人10的移动。

特征点提取单元26从通过图像获取单元12获取的空间的图像中提取特征点。特征点的实例包括天花板的边角、安装在天花板上的斜面、或者设置在空间中的门。然而，如果斜面或门被用于提取特征点，则计算量增加。因此，天花板的边角优选被用作特征点。然而，本发明中通过特征点提取单元26提取的特征点不限于边角，并且上述特征点和空间中存在的各种目标可以被用作特征点。

以下将描述提取边角作为特征点的技术。

边角提取技术的实例为Harris边角检测方法。Chris Harris和MikeStephens在“Combined Corner and Edge Detector(Proceedings of The FourthAlvey Vision Conference，Manchester，PP 147-151，1998)”中提出了从图像中提取边角的方法。Harris的方法考虑到沿着图像边缘的偏移具有小差异但是垂直于边缘的移动具有大差异且边角处所有方向上的移动都具有大差异。

如果图像的强度为I且图像中的移动(x，y)所引起的变化为E，则通过以下等式2表示E。

$E_{x,y}=\underset{u,v}{\mathrm{\Σ}}{w}_{u,v}{|I_{x+u,y+v}-I_{u,v}|}^2$ [等式2]

在等式2中，w是指图像窗。等式2可以通过等式3来表示，并且等式3中的矩阵M是指图像强度的梯度且通过等式4来计算。

$E(x,y)=[x,y]M\left[\begin{array}{c}x\\ y\end{array}\right]$ [等式3]

$M=\left[\begin{array}{cc}{\left(\frac{\∂I}{\∂x}\right)}^2& \left(\frac{\∂I}{\∂x}\right)\left(\frac{\∂y}{\∂x}\right)\\ \left(\frac{\∂I}{\∂x}\right)\left(\frac{\∂y}{\∂x}\right)& {\left(\frac{\∂I}{\∂y}\right)}^2\end{array}\right]$ [等式4]

当计算矩阵M的特征值且该值大于预定值并且相对比率小于预定值时，确定图像强度的变化在所有方向上比较显著，这通过边角的响应函数来定义且通过等式5来表示。

R＝detM-k(trace M)²[等式5]

在等式5中，R大于0且R为局部最大的点被确定为边角，“trace”表痕量。

描述符生成单元28生成用于通过特征点提取单元26提取的特征点的描述符。作为特征点的描述符，利用尺度不变特征转换(SIFT)或加速鲁棒性特征(SURF)。SIFT描述符表示使用特征点周围图像亮度的变化分布来表示特征。SURF描述符由Herbert Bay等人在2006年提出，并具有与SIFT相比描述符的尺寸减小以提高速度的特性，并且应用Haar Wavelet使得描述符强于简单梯度。

本发明最新建议利用局部方向描述符，其与SIFT或SURF相比具有较低误识率和较短执行时间且在旋转变化方面较强。以下将描述局部方向描述符。

主控制器30包括驱动模式选择单元32、特征点管理单元34、地图管理单元36、和驱动控制单元38。

驱动模式选择单元32被配置为选择第一驱动模式和第二驱动模式中的任意一个，其中，第一驱动模式为使用从特征点提取单元26提取的特征点和从惯性传感器44或编码器46获取的驱动记录信息来控制移动机器人的姿势和位置，第二驱动模式为通过图像匹配控制驱动以控制移动机器人的驱动。以下将详细描述第一驱动模式和第二驱动模式的细节。

特征点管理单元34在特征数据库(未示出)中注册关于新获取的特征点的信息，并使从所获取图像中提取的特征点与已经在特征点数据库中注册的特征点相匹配，以检测匹配的特征点。通过计算表示特征点的描述符之间的Euclidian距离来确定特征点管理单元34中执行的特征点匹配。

地图管理单元36被配置为生成和更新用于基于通过移动机器人10的图像获取单元12所获取的图像、诸如移动机器人10的移动方向和距离的驱动信息、和特征点的位置所定位的移动机器人10的空间的地图。在一些情况下，预先向移动机器人10提供用于空间的地图。在这种情况下，地图管理单元36基于空间中定位的障碍物的信息和特征点信息来持续更新地图。

驱动控制单元38被配置为基于移动机器人10的当前位置和驱动信息来控制移动机器人10的驱动。在用于驱动移动机器人10的实例中，移动机器人10可以包括左轮(未示出)和右轮(未示出)以及作为用于驱动左轮和右轮的机器人驱动单元40的左轮驱动电机(未示出)和右轮驱动电机(未示出)。驱动控制单元38控制左轮驱动电机和右轮驱动电机的旋转以使得移动机器人例如向前、向后、向左、和向右驱动。在这种情况下，左轮驱动电机和右轮驱动电机包括编码器46，分别获取左轮驱动电机和右轮驱动电机的驱动信息。

同时，驱动控制单元38被配置为通过利用扩展卡尔曼滤波(EKF)基于特征点的当前位置和移动机器人的当前位置来估计特征点的位置和未来的移动机器人的位置，以控制移动机器人10的驱动。

在上述结构中，惯性传感器44感测惯性以确定移动机器人10的头顶方向。惯性传感器44的感测信息和编码器46的感测信息构成移动机器人10的驱动信息(测距，odometry)。如果惯性传感器44和编码器46的感测信息正确，则移动机器人可以优选地仅通过从它们获取的驱动信息来控制。然而，在实际情况下，移动机器人10的实际位置会由于驱动轮的滑动或传感器信息的误差而不同于基于驱动信息所计算的位置。可以通过使用由图像获取单元12获取的图像来校正这些误差。

如上所述，根据本发明的移动机器人10的描述符生成单元28生成用于图像的特征点的描述符。本发明提出了局部方向描述符作为特征点的描述符。

局部方向描述符通过特征点的周围环境的梯度演绎局部定向，并且是基于局部定向之间的关系而生成的。

图2是示出根据本发明示例性实施例的移动机器人中的生成局部方向描述符的处理的示图。

输入从图像获取单元12所获取的图像(S50)，并且计算图像的对应像素的梯度(S52)。计算梯度，使得图3所示的窗被应用于图像中的对应像素，以计算水平梯度dx和垂直梯度dy。水平梯度dx被计算作为通过将像素的强度值乘以水平窗的对应值所获取的和，以及垂直梯度dy被计算作为通过将像素的强度值乘以垂直窗的对应值所获取的和。

输入通过特征点提取单元26所提取的特征点(优选为边角)的坐标(S54)，设置具有作为中心的特征点的图像碎片(S56)。当设置图像碎片时，例如，可以指定9X9像素。然而，图像碎片的大小实际上不限于此，而是可以根据输入图像或所应用环境来变化。

使用图像碎片中对应像素的梯度，计算对应像素中的梯度的相位(phase)和幅度(magnitude)(S58)。通过等式6计算相位，以及通过等式7计算幅度。在等式6和7中，dx表示用于特定像素的水平梯度，dy表示用于特定像素的垂直梯度。

$\mathrm{phase}=\arctan \left(\frac{\mathrm{dy}}{\mathrm{dx}}\right)$ [等式6]

$\mathrm{magnitude}=\sqrt{{\mathrm{dx}}^2+{\mathrm{dy}}^2}$ [等式7]

接下来，图像碎片被再次划分为更小的部分以生成多个子区域(S60)。在示例性实施例中，9X9图像碎片被划分为3X3子区域，达到9个子区域。

对于各个子区域，创建用于子区域的各个像素的相位的直方图(histogram)以表示对应于峰值的相位作为对应子区域中的局部方向(S62)。图4A示出了图像碎片的实例，以及图4B示出了用于图像碎片的子区域的局部方向信息。如图4B所示，确认总共提取了9个局部方向信息。

子区域中每两个所提取的局部方向信息组对以创建成对组合，并且各个组合的局部定向信息的角度的差被记录为描述符(S64)。如果提取9个局部定向，则总共创建36个成对组合(1-2、1-3、1-4、...、8-9)，并且可以通过36个值表示特定特征点的描述符。然而，在根据本发明的描述符中，应该理解，作为成对组合创建的9个局部方向信息为用于生成局部方向信息的关系的实例。然而，局部方向信息可以用作描述符自身或对应于另一组合的描述符。

与现有技术相比，上述局部方向描述符的优点是减小了误识率、要求较少时间用于特征点匹配、以及局部方向描述符在旋转变化中较强。

接下来，将描述驱动模式选择单元32的功能以及移动机器人10响应于驱动模式选择单元32的驱动模式选择的驱动控制。

该关系如下被用于移动机器人10的驱动控制。

移动机器人10基于惯性传感器44和编码器46的驱动信息估计位置并实时生成地图。驱动控制单元38利用EKF，以使用从移动机器人10的移动方向和移动距离估计的匹配范围来使通过图像获取单元12顺序获取的图像之间的特征点相匹配，这被定义为“短基线驱动模式”。

在短基线驱动模式中，在通过驱动控制单元38的EKF估计的范围内控制移动机器人10的位置和驱动。处理通过图像获取单元12所获取的图像来提取特征点，生成用于特征点的描述符，以及使用所生成的描述符来匹配特征点，从而根据驱动信息(测距)估计移动机器人10的正确位置以校正移动机器人10的位置。

如果在通过移动机器人10从惯性传感器44和编码器46中获取的驱动信息中存在严重误差，则对于驱动控制单元38来说难以使用EKF估计移动机器人10的位置来通过从图像中提取特征点校正位置。例如，如果在移动机器人10的移动期间障碍物阻挡了移动机器人10，则即使机器人驱动单元40的驱动电机旋转，移动机器人10的位置也没有改变。然而，由于编码器46感测驱动电机的旋转，所以驱动控制单元38确定移动机器人10正在移动。在这种情况下，难以估计移动机器人10的位置。另外，即使当移动机器人10的驱动轮滑动但没有被驱动或者在不期望的方向上旋转时，也不会发生通过移动机器人10的位置估计得到的误差。在这种情况下，控制移动机器人10以宽基线驱动方式而不是短基线驱动方式来驱动。

在宽基线驱动模式中，不使用惯性传感器44和编码器46的驱动信息，但是确定移动机器人10的位置并且其驱动通过匹配图像获取单元12所获取的图像来控制。

然而，在短基线驱动模式中，由于利用基于移动机器人10的驱动信息和估计位置从图像提取的特征点，所以通常特征点的精度不是很高。因此，不同位置中的特征点会被错误地识别为相同。相反，在宽基线驱动模式中，通过仅利用图像匹配来估计移动机器人10的位置。因此，精度不需要很高。

特征点提取单元26提取强度高于预定值(第一基准值)的特征点作为特征点，并且描述符生成单元28生成用于该特征点的描述符，其在短基线驱动模式中使用。由于在宽基线驱动模式中要求更加精确的特征点，所以在特征点提取单元26所提取的特征点中，通过特征点管理单元34将强度高于第二基准值(＞第一基准值)的特征点管理作为关键区域特征点。如果图像的边角被用作特征点，则可以根据等式4基于边角响应函数值来提取特征点。如果边角响应函数值大于第二基准值，则边角响应函数值可以被设置为关键区域特征点。

优选地，关键区域特征点被设置为与利用预定距离操作移动机器人10的空间隔开，这用于防止关键区域特征点与指定区域重叠。因此，如果提取关键区域特征点的目标以与指定区域重叠，则可以选择它们中的任意一个。

同时，使用所提取边角周围的图像来生成用于关键区域特征点的局部方向描述符以将整个图像表示为kd树(kd-tree)类型。在宽基线驱动模式中，从图像获取单元12获取的图像中提取作为kd树类型的特征点以确定与注册关键区域特征点的相似度。在这种情况下，为了加速计算速度，应用最优节点优先(BBF)算法，并且随机采样一致性(RANSAC)算法被用于降低误差率。

驱动模式选择单元32进行选择以在基本情况下以短基线驱动模式(第一驱动模式)来控制移动机器人10的驱动，以及进行选择以在上述指定情况下以宽基线驱动模式(第二驱动模式)来控制移动机器人10的驱动。当以宽基线驱动模式来控制移动机器人10的驱动时，主控制器30从图像获取单元12获取的图像中提取关键区域特征点，并使关键区域特征点与已经存储的关键区域特征点相匹配以控制移动机器人10的驱动。当地图上移动机器人10的位置被恢复时，模式变为短基线驱动模式。

即，边角提取方式基本上与Harris边角方法相同。然而，在清洁机器人的方法中，图像之间的差异太大以至于难以直接应用KLT算法。相反，在使用表示宽基线驱动模式的SIFT算法来匹配图像的情况下，占用太多的时间来匹配图像，这对于实时应用来说不合适。

如上所述，本发明建立了用于使移动机器人在目标区域中被驱动的两个地图，例如，在短基线驱动模式中生成的度量地图和基于上部图像的拓扑地图，以在宽基线驱动模式下恢复位置。

度量地图选择如KLT跟踪仪容易跟踪的边角，根据边角响应功能对准边角，然后局部均匀地分布边角以参照测距信息使用EKF来生成地图界标。在本发明中，在度量地图中使用分别在边角周围的方向描述符来表示界标(landmark)。

此外，拓扑地图提取更多边角(诸如目标识别)并针对在度量地图中提取的边角的响应函数的总和大于预定阈值的图像去除局部最大的限制，这不同于度量地图。生成提取的边角周围的局部方向描述符以将整体表示为kd树。稍后，其用于估计图像之间的姿势以恢复移动机器人的位置。

因此，在本发明中，移动机器人开始以第一驱动模式开始驱动，然后在移动机器人没有注意绑架(使用底部IR传感器或陀螺测距)的情况下或者在独立地图匹配不能用于预定帧或更多帧的情况下，将模式切换为第二驱动模式。在第二驱动模式中，当地图匹配时，使用存储为kd树的图像以及BBF和RANSAX算法在拓扑地图中试图进行位置恢复。

以下将描述用于上述移动机器人10的导航的控制方法。

图5是示出根据本发明示例性实施例的在用于移动机器人的定位和导航的控制方法中提取特征点并生成标识符的处理的流程图。

图像获取单元12获取移动机器人10的周围环境的图像(S70)。图像失真校正单元22校正所获取图像的失真(S72)。图像质量检查单元24检查图像的质量(S74)。仅在图像的质量适合于提取特征点时，可以执行接下来的序列。

特征点提取单元26从输入图像中提取特征点(S76)，描述符生成单元生成用于特征点的描述符(S78)，然后如果生成的特征点是新的，则特征点管理单元34注册并管理所生成的特征点(S80)。

同时，如果确定通过特征点提取单元26提取的特征点对应于关键区域特征点(S82)，则生成用于关键区域特征点的描述符(S84)，并且如果关键区域特征点是新的，则特征点管理单元34注册并管理关键区域特征点(S86)。

图6是示出根据本发明示例性实施例的用于移动机器人的定位和导航的驱动模式选择和控制方法的流程图。

驱动模式选择单元32根据移动机器人10的驱动状态选择驱动模式(S90)。

通常，驱动模式选择单元32选择第一驱动模式(短基线驱动模式)以基于从惯性传感器44和编码器46获取的驱动信息以及输入图像的特征点来控制定位和导航。

当选择第一驱动模式时，提取用于图像获取单元12所获取的输入图像的特征点并生成特征点的描述符(S94)。接下来，针对输入图像生成的描述符被用于使输入图像的特征点与注册特征点相匹配(S96)。

同时，主控制器30从惯性传感器44和编码器46接收移动机器人10的驱动信息。

驱动控制单元38基于移动机器人10的驱动信息估计移动机器人的位置，并基于输入图像校正移动机器人的位置以控制移动机器人的驱动(S100)。

然而，如果移动机器人被障碍物阻挡或滑动，则驱动模式选择单元32选择第二驱动模式(宽基线驱动模式)(S102)。

当选择第二驱动模式时，从图像获取单元12获取的输入图像中提取关键区域特征点并生成用于关键区域特征点的描述符(S104)。

特征点管理单元34使输入图像的关键区域特征点与注册关键区域特征点相匹配，以确认移动机器人10的实际位置(S106)。

驱动控制单元38根据关键区域特征点基于图像匹配识别移动机器人10的位置以控制其驱动(S108)。

如果在S102中选择第二模式，则优选向后移动移动机器人10或者在随机方向上移动，以从图像获取单元12获取的图像到可以通过特征点提取单元26提取关键区域特征点的区域对移动机器人进行移动。

特征点管理单元34使从最近通过图像获取单元12获取的图像中提取的特征点与注册特征点相匹配以确定特征点是否相互匹配。在这种情况下，经常发生特征点的错误识别。为了防止特征点的错误识别，本发明提出了利用上述局部方向信息和使用惯性传感器44的移动机器人10的驱动方向(头部)信息的方法。

图7是示出根据本发明示例性实施例的移动机器人的驱动方向与移动机器人的第一位置中的图像碎片的主方向的关系的示图。图8是示出根据本发明示例性实施例的移动机器人的驱动方向与移动机器人的第二位置中的图像碎片的主方向的关系的示图。

为了方便描述，图7中的图像碎片是指第一图像碎片110，以及图8中的图像碎片是指第二图像碎片112。

如上所述，通过参照特征点在预定范围中划分图像来获取图像碎片。设置图像碎片的主方向114和116以创建用于图像碎片的对应像素的相位信息的直方图并对应于峰值。

移动机器人10的驱动方向表明移动机器人10被驱动的方向，并基于初始驱动方向进行相对计算。

假设在图7的第一位置中，移动机器人10的驱动方向为α₁且通过移动机器人10的图像获取单元12获取的第一图像碎片110的主方向114为θ₁。

进一步假设在图8的第二位置中，移动机器人10的驱动方向为α₂且通过移动机器人10的图像获取单元12获取的第二图像碎片112的主方向116为θ₂。

如果第一图像碎片110和第二图像碎片112用于相同的特征点，则理论上，与第一图像碎片110的主方向114相比，通过改变移动机器人10的驱动方向的角度来相对改变第二图像碎片112的主方向116。这是因为图像获取单元12被固定至移动机器人10。这通过等式8来表示。图9是示出移动机器人的驱动方向的改变与图像碎片的主方向的改变之间的关系的示图。

α₂-α₁＝θ₂-θ₁[等式8]

然而，在实际相对于特征点计算图像碎片的主方向以及获取移动机器人的驱动信息的过程中可能存在误差。因此，不能满足等式8。因此，如果如等式9所表示的根据移动机器人10的驱动方向改变的图像碎片的主方向的改变在预定范围内(例如，45°)，则可以确定第一位置中的特征点与第二位置中的特征点相同。

阈值[等式9]

第一位置和第二位置中的图像碎片的主方向的差异以及移动机器人10的驱动方向的改变是否满足上述条件可以被利用作为以下两种方法。

首先，如果确定第一位置中的特征点与第二位置中的特征点匹配并且还满足上述条件，则确定特征点相同。第二，如果仅满足上述条件，则执行第一位置中的特征点与第二位置中的特征点的匹配。

在上面的任一情况下，都可以提高特征点匹配的精度，以防止特征点的错误识别。

上面的描述仅仅是为了解释本发明的精神，本领域的技术人员可以理解在不背离本发明的主要特征的情况下可以进行各种修改、变化和替换。因此，本发明中公开的实施例和附图不用于限制而是用于描述本发明的精神，并且本发明的范围不限于实施例和附图。本发明的保护范围必须通过所附权利要求来分析并且可以分析其范围等效物内的的所有精神都包括在本发明的权利要求中。

Claims (24)

1.一种移动机器人，包括：

图像获取单元，被配置为获得图像；

传感器单元，被配置为获取至少包括所述移动机器人的驱动方向和驱动距离的驱动信息；

图像处理单元，被配置为处理通过所述图像获取单元所获取的图像以提取特征点，并生成用于所述特征点的描述符；以及

主控制器，被配置为基于所述特征点和所述驱动信息在驱动范围中生成空间地图并控制所述移动机器人的定位和导航，

其中，当执行所述移动机器人的定位和导航时，根据所获取的图像和基准图像的匹配程度，所述主控制器选择性地应用同时使用图像和感测信息的第一驱动模式和仅使用图像信息的第二驱动模式。

2.根据权利要求1所述的移动机器人，进一步包括：

存储单元，被配置为存储包括通过所述传感器单元获取的所述移动机器人的驱动方向和驱动距离的所述驱动信息以及包括通过所述图像处理单元中的图像处理和描述符信息获取的所述特征点的图像信息。

3.根据权利要求1所述的移动机器人，其中，所述图像处理单元包括：

图像失真校正单元，被配置为校正通过所述图像获取单元所获取的图像的失真；

图像质量检查单元，被配置为确定图像是否可用；

特征点提取单元，被配置为从图像中提取所述特征点；以及

描述符生成单元，被配置为生成用于所述特征点的描述符。

4.根据权利要求3所述的移动机器人，其中，所述图像质量检查单元通过对所获取的图像的亮度和所述基准图像的亮度进行比较来确定所获取的图像的可用性。

5.根据权利要求4所述的移动机器人，其中，当所述图像获取单元以所述第一驱动模式获取异常图像且获取所述异常图像的时间超过预定时间时，所述图像质量检查单元确定所述移动机器人被阻挡在阻挡区域中。

6.根据权利要求5所述的移动机器人，其中，基于所获取的图像的亮度的平均和变化，所述图像质量检查单元确定所述图像获取单元是否被阻挡。

7.根据权利要求4或5所述的移动机器人，其中，如果确定所述移动机器人被阻挡在阻挡区域中，则所述主控制器将所述移动机器人返回至所述阻挡区域的进入点。

8.根据权利要求3所述的移动机器人，其中，所述图像质量检查单元参照所述移动机器人的移动方向将所获取的图像划分为四个部分，并基于所划分的部分中的亮度平均，基于所获取的图像的平均和变化，来确定所述移动机器人是否被阻挡。

9.根据权利要求3所述的移动机器人，其中，所述描述符生成单元针对从所获取的图像中划分出的nXn子区域生成亮度和方向信息的改变。

10.根据权利要求9所述的移动机器人，其中，所述描述符生成单元选择所述nXn子区域中不同的两个子区域的方向信息以生成成对组合，从而描述局部方向信息中的角度差。

11.根据权利要求1所述的移动机器人，其中，所述主控制器包括：

驱动模式选择单元，被配置为选择所述第一驱动模式和所述第二驱动模式；

特征点管理单元，被配置为管理从图像中提取的所述特征点并与所注册的特征点相匹配；

地图管理单元，被配置为生成并更新地图；以及

驱动控制单元，被配置为控制所述移动机器人的定位和导航。

12.根据权利要求11所述的移动机器人，其中，当所述移动机器人在以所述第一驱动模式进行驱动时被绑架或者在预定图像帧期间没有建立度量地图或没有定位时，所述驱动模式选择单元将驱动模式切换至所述第二驱动模式，以根据拓扑地图恢复位置。

13.一种移动机器人的定位和导航的控制方法，包括：

(a)使所述移动机器人获取目标区域的图像信息和驱动信息；

(b)通过将所获取的图像信息的质量与基准值进行比较来确定所获取的图像是否可用；以及

(c)如果确定图像可用，则从所获取的图像信息中提取特征点并生成所提取的特征点的描述符，以创建驱动地图并在所述目标区域中驱动；

其中，当执行所述移动机器人的定位和导航时，根据所获取的图像和基准图像的匹配程度，所述目标区域中的驱动包括：选择同时使用图像和感测信息的第一驱动模式和仅使用图像信息的第二驱动模式。

14.根据权利要求13所述的控制方法，在步骤(b)之前，进一步包括：

校正所获取的图像信息的失真。

15.根据权利要求13所述的控制方法，其中，所述描述符的生成包括：

生成至少包括用于所述特征点的方向信息和亮度信息的描述符；

如果所述特征点被确定为新特征点，则注册所述特征点；

当所述特征点为表示预定区域的特征的关键区域特征点时，生成用于所述关键区域特征点的描述符；以及

如果所述关键区域特征点被确定为新关键区域特征点时，则注册所述关键区域特征点。

16.根据权利要求15所述的控制方法，其中，空间非均匀地在所获取的图像中生成所述关键区域特征点，并且设置在根据一帧中的图像计算的边角响应函数的值的总和大于基准值的区域中。

17.根据权利要求15所述的控制方法，其中，所述移动机器人校正通过关键区域中获取的图像的特征点与所述关键区域特征点的图像匹配所累积的位置误差和方向角误差。

18.根据权利要求13所述的控制方法，其中，当通过所述第一驱动模式的所述移动机器人获取的图像的亮度低于基准且获取所述基准之下的图像的时间超过预定时间时，确定所述移动机器人被阻挡在阻挡区域中。

19.根据权利要求18所述的控制方法，其中，如果确定所述移动机器人被阻挡在所述阻挡区域中，则所述移动机器人返回至所述阻挡区域的进入点。

20.根据权利要求18所述的控制方法，其中，基于通过参照所述移动机器人的移动方向将所获取的图像划分为四个部分而划分的部分中的亮度平均，基于所获取的图像的平均和变化来确定所述移动机器人是否被阻挡。

21.根据权利要求20所述的控制方法，其中，所述目标区域中的驱动包括在所述第一驱动模式下：

测量所获取的图像的总亮度的平均并将所述平均与所述基准图像的亮度平均进行比较，以估计照明环境；

测量被划分为四个部分的图像的亮度平均和变化并将所述亮度平均与所述基准图像的变化进行比较，以感测照明的变化；以及

基于所估计的照明环境和照明的感测变化来调整所述移动机器人的速度。

22.根据权利要求13所述的控制方法，其中，在所述第一驱动模式中，生成从所获取的图像划分的nXn子区域的亮度和方向信息的变化。

23.根据权利要求22所述的控制方法，其中，在所述第一驱动模式中，选择所述nXn子区域中不同的两个子区域的方向信息以生成成对组合，从而描述局部方向信息中的角度差。

24.根据权利要求13所述的控制方法，其中，当所述移动机器人在以所述第一驱动模式进行驱动时被绑架或者在预定图像帧期间没有建立度量地图或没有定位时，所述驱动模式的选择将驱动模式切换至所述第二驱动模式，以根据拓扑地图恢复位置。

Images