CN106574836A - 用于在定位平面中定位机器人的方法 - Google Patents

用于在定位平面中定位机器人的方法 Download PDF

Info

Publication number
CN106574836A
CN106574836A CN201580019722.4A CN201580019722A CN106574836A CN 106574836 A CN106574836 A CN 106574836A CN 201580019722 A CN201580019722 A CN 201580019722A CN 106574836 A CN106574836 A CN 106574836A
Authority
CN
China
Prior art keywords
robot
estimation
orientation
glob
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580019722.4A
Other languages
English (en)
Inventor
E·维贝尔
A·德拉福尔泰利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Association pour la Recherche et le Developpement des Methodes et Processus Industriels
Aldebaran SAS
Original Assignee
Association pour la Recherche et le Developpement des Methodes et Processus Industriels
SoftBank Robotics Europe SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Association pour la Recherche et le Developpement des Methodes et Processus Industriels, SoftBank Robotics Europe SAS filed Critical Association pour la Recherche et le Developpement des Methodes et Processus Industriels
Publication of CN106574836A publication Critical patent/CN106574836A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉一种用于在与具有x和y两个轴的二维参考相关联的定位平面中定位机器人的方法，所述方法包括以下步骤：通过测距来确定(200)机器人的坐标x1和y1的估计以及机器人的取向Θ1的估计；通过使用虚拟罗盘来确定(202)机器人的取向的估计Θ2；通过使参考全景的部分与查询全景的部分相关来确定(204)机器人的取向的估计Θ3；通过使用迭代最近点技术来确定(206)机器人位置的估计x4、y4；确定前述估计的标准偏差σ_x1、σ_x2、σ_θ1、σ_θ2、σ_θ3、σ_x4、σ_y4；使用所述标准偏差来确定(220)每种可用的估计的概率分布G(x1)、G(y1)、G(Θ1)、G(Θ2)、G(Θ3)、G(x4)和G(y4)；确定(221)三个全局分布GLOB(x)、GLOB(y)和GLOB(Θ)并且通过将最大似然应用于全局分布来确定定位平面中的机器人的坐标的全局估计xg、yg以及机器人的取向的全局估计Θg。

Description

用于在定位平面中定位机器人的方法
技术领域
本发明涉及用于在定位平面中定位机器人的方法，并且特别但不唯一地适用于导航技术或机器人学。
背景技术
导航和定位是机器人学的关键性问题，由于其是人与机器人之间合作的实质方面。在诸如公寓之类的人类居住的环境下，由于附加的复杂性，挑战更高。
人形机器人由于它们的方面和可能性特别适应于人类环境。然而，它们存在特定的约束：行走使它们比例如轮式机器人前进更加缓慢、更加难以预测。
它们能够通过执行对于标准机器人更难的动作(例如，扭头向四周看、跨越障碍物等)来弥补一些它们的限制。
若干方法已经存在用于给机器人提供导航系统。在法国专利申请号1353295中，已经提出了一种用于测量并改正机器人在航向角方面的漂移的方法。这允许机器人在直线上行走或执行比开环行走准确度高得多的旋转。此处的目的在于给绝对定位的解决方案提供至少定性或部分度量的信息。
机器人最丰富的传感器是单眼彩色相机。直接执行度量视觉同步定位与地图构建(SLAM)不是好主意：测距不够可靠，并且由于行走期间的运动模糊、有限的相机视场以及机器人的高度而使得准确追踪关键点非常困难。这暗示了如果我们不想用关于环境的大量假设(例如，预先构建的3D图)来弥补这些缺点，那么拓扑结构的定性表示更加适合。
发明内容
本发明涉及用于在与具有x和y两个轴的二维参考相关联的定位平面中定位机器人的方法，其包括以下步骤：
-通过测距来确定定位平面中的机器人的坐标x1和y1的估计以及机器人相对于参考方向的取向θ1的估计；
-通过使用识别感兴趣的至少两对点的虚拟罗盘来确定机器人的取向的估计θ2。在参考全景中识别每对的第一点并且在查询全景中识别每对的第二点，该步骤用θ1进行初始化；
-通过使参考全景的部分与查询全景的部分相关并且通过识别何时此相关最大化来确定机器人的取向的估计θ3，该步骤用取向的先前估计的其中之一进行初始化；
-通过使用迭代最近点技术来确定定位地点中的机器人位置的估计x4、y4，该步骤用x1和y1进行初始化；
-确定前述估计的标准偏差σ_x1、σ_x2、σ_θ1、σ_θ2、σ_θ3、σ_x4、σ_y4；
-使用所述标准偏差来确定每种可用的估计的概率分布G(x1)、G(y1)、G(θ1)、G(θ2)、G(θ3)、G(x4)、和G(y4)；
-通过结合所述高斯概率分布来分别为沿着x和y轴的坐标以及机器人的取向θ确定三个全局分布GLOB(x)、GLOB(y)和GLOB(θ)，并且通过将最大似然的方法应用于全局分布来确定定位平面中的机器人的坐标的全局估计xg、yg以及其取向的全局估计θg。
作为示例，只在由给定步骤提供的估计被认为是可靠的情况下才由后续步骤来使用由所述给定步骤提供的估计。
作为示例，当估计的标准偏差比预定阈值低时，估计被认为是可靠的。
作为示例，概率分布G(x1)、G(y1)、G(θ1)、G(θ2)、G(θ3)、G(x4)和G(y4)是高斯概率分布。
作为示例，如下获得全局概率分布：
GLOB(x)＝G(x1)×G(x4)
GLOB(y)＝G(y1)×G(y4)
GLOB(θ)＝G(θ1)×G(θ2)×G(θ3)
作为示例，基于在图像的两个金字塔结构上执行的图像模板匹配来估计θ3的值，通过使用若干缩放步骤缩减单一参考图像的比例来由单一参考图像生成图像的第一金字塔结构，通过使用若干缩放步骤缩减单一查询图像的比例来由单一查询图像生成图像的第二金字塔结构。
本发明还涉及人形机器人，其至少包括：
-至少一个图像提取器；
-适于实施根据所附权利要求中的一项所述的方法的处理能力。
作为示例，人形机器人包括2D RGB相机以便于构造包括至少一个参考图像的查询全景。
作为示例，人形机器人包括3D传感器，3D传感器用于计算点云以便于实施迭代最近点技术。
本发明还涉及存储在计算机可读介质上的计算机程序产品，计算机程序产品包括用于使计算机实施上述方法的代码模块。
附图说明
根据结合附图的以下具体实施方式，可以得到对本发明的实施例的更好的理解，在附图中：
-图1给出了参考全景的示例，所述参考全景可以用作根据本发明的方法的输入；
-图2是用于定位机器人的方法的图示；
-图3示出了分别属于参考图像和查询图像的两个模板的示例；
-图4给出了图像的两个金字塔结构的示例；
-图5显示了本发明的多个实施例中的人形机器人的物理架构。
具体实施方式
图1给出了参考全景的示例，所述参考全景可以用作根据本发明的方法的输入。
如已经提到的，本发明涉及用于定位移动元件(例如机器人)的方法。该方法至少与参考全景100进行比较来定位机器人，参考全景100由多个RGB(红-绿-蓝)图像和/或3D图像组成。
机器人104由于两个轴参考101、102而位于水平平面中。该参考的原点O对应于参考全景的中心。另外，可以与参考方向103进行比较从而估计机器人的取向θ。
至少还有查询全景用于定位过程并且查询全景可以由较小组的图像组成。查询全景由在定位过程的时间所采集到的至少一个图像组成。
图2是根据本发明的方法的图示。该方法使用与步骤200、202、204、206相对应的一组基本定位技术。
本发明的关键方面在于分等级地组织对这些定位技术的使用。这意味着首先应用较不复杂且较不可靠的定位技术200。后续的定位步骤202、204、206继而是更加复杂且可靠的步骤。
该分等级的组织允许降低整体运算复杂度以及误报率(false positiverate)。出于此目的，由每个步骤提供的估计的定位信息被用于供给接下来的步骤并且被用作初步假设。
继而使用基于概率表示的一般方法来结合由每个步骤提供的估计的定位数据。
更确切地说，第一估计步骤200基于测距来实施定位。该技术基于机器人位置传感器，机器人位置传感器整合机器人的位移以便于估计其位置。在单独使用时，该技术可能遭受高估计漂移。这主要是因为测距传感器不会考虑到诸如湿滑的地面或凸块之类的缺省。
该估计200的结果为：
·x1：x定位坐标的估计；
·y1：y定位坐标的估计；
·θ1：角度θ的估计。
当这些中间结果可供使用时，估计201它们的不确定性。出于此目的，可以使用x1、y1和θ1估计的标准偏差σ_x1、σ_y1、σ_θ1。在优选实施例中，在估计的标准偏差低于预定阈值时，估计被认为是可靠的。
作为示例，如果漂移(实验评估的)等于百分之五并且机器人沿着x轴行走了一米，那么沿着x轴的标准偏差σ_x1将等于五厘米。如果预定阈值等于6厘米，那么x1估计被认为是可靠的。
在一个实施例中，仅在x1、y1和θ1被认为是可靠时发送x1、y1和θ1以供步骤202、204、206使用。
步骤202实施了虚拟罗盘，虚拟罗盘提供机器人的取向的估计θ2。出于此目的，使用了嵌入在机器人上的2D RGB相机。
在法国专利申请号1353295中描述了该技术。出于此目的，将一个或多个图像与一组参考图像(即，参考全景)进行比较以便于计算出机器人的theta取向。该技术允许估计相对于参考方向的角度偏差，即theta角。出于此目的，使用了代表参考方向的参考图像。继而，加载代表机器人的当前取向的当前图像。
继而在这两个图像中识别多个感兴趣的点。继而识别了至少两对感兴趣的点。通过在当前图像中搜索所识别的第一感兴趣的点并且通过在其对应的参考图像中搜索第二感兴趣的点来得到这样的一对点。最后，使用至少两对点来估计移动元件的当前方向与参考方向之间的角度偏差θ2。
有利地，如果步骤202应用了已经由步骤200生成的初步假设，那么步骤202可以使用参考图像中减少的搜索范围，这降低了估计的复杂度。另一个优点是还可以更快地找到正确的匹配。
另外，降低了感兴趣的点之间的错误匹配的风险。搜索从所述假设开始执行。
可以根据可靠匹配的百分比来获得203由步骤202的估计引入的不确定性。出于此目的，当所识别的感兴趣的点的对的数量超过预定阈值时，由步骤202提供的估计的质量被认为是足够的。如果是这种情况，那么估计质量被认为是足够的并且θ2将被用作步骤204的应用的初步假设。
替代地，θ2的标准偏差σ_θ2可以用于检查203该估计的可靠性。如已经解释的，在估计的标准偏差低于预定阈值时，估计可以被认为是可靠的。
在一个实施例中，仅在θ2被认为是可靠时发送θ2以供步骤204、206使用。
在步骤204中，基于在图像的两个金字塔结构上执行的图像模板匹配来估计θ3的值。模板匹配基于与以下文章中所讨论的等式相同的等式：Matsumoto,Y.、Inaba,M.、Inoue,H.的题为“Visual navigation using view-sequenced route representation”的文章(IEEE International Conference on Robotics and Automation,vol.1,pp.83,88,22-28 Apr 1996)。然而，这篇特别的文章致力于用可比较的比例对图像的序列进行比较，然而以下描述并没有做出关于图像相对比例与它们之间的距离的假设。
为了使两个图像匹配，第一模板301由属于参考全景的参考图像300制成。继而，计算出所述第一模板与查询图像302中的第二模板303之间的交叉相关。峰值对应于查询与参考之间的最佳相关。图3示出了分别属于参考图像300和查询图像302的两个模板301、303的示例。在该示例中，已经匹配了模板300、302，因为它们相对应的相关值是已经通过相关过程得到的峰值。
在一个实施例中，在缩放图像的金字塔结构上执行参考图像与查询图像之间的前述比较。这在面对比例变化时提高了步骤204的鲁棒性。
图4给出了图像的两个金字塔结构的示例。通过使用若干缩放步骤缩减图像的比例来由单一参考图像420生成图像的第一金字塔结构401，并且将图像420-428中的每个图像与原始查询图像410进行比较。如果实际上与原始查询图像相比缩减了查询图像410的比例，那么在金字塔结构中的相对应的步骤将存在高相关峰值。
对称地，缩减查询图像410的比例(410-418)以便于得到图像400的第二金字塔结构。继而将每个图像410-418与参考图像420进行比较。如果与参考图像420相比放大了查询图像410，那么将存在对应于缩减比例的图像421-428中的一个图像的相关峰值。
选择图像对，对于所述图像对相关值被最大化。
步骤204的输出是查询图像与参考相比的相对取向θ3并且是这两者之间最佳比例因数。
步骤204使用参考全景100的部分作为模板。如果由步骤200和/或步骤202提供初步假设，那么模板的尺寸局限在假设左右，否则模板被当作整个全景。这减少了与模板的面积成比例的运算时间，并且降低了与相似但不正确的区域相关的风险。
使用最佳相关值确定205由步骤204的应用提供的估计的不确定性。相关值可以被限制在-1与1之间。如果该最大相关值小于或等于预定值Ct，那么由步骤204的应用提供的估计被认为是不可靠的。如果最大相关值大于该预定值Ct，那么由步骤204的应用提供的估计被认为是可靠的。
替代地，θ3的标准偏差σ_θ3可以用于检查205该估计的可靠性。如已经解释的，在估计的标准偏差低于预定阈值时，估计可以被认为是可靠的。
继而，步骤206通过使用ICP方法(迭代最近点)执行机器人坐标x4、y4的估计。在例如以下文章中描述了该方法：Qi-Zhi Zhang和Ya-Li Zhou 的题为“A hierarchicaliterative closest point algorithm for simultaneous localization and mappingof mobile robot”的文章(10th World Congress on Intelligent Control andAutomation(WCICA),pp.3652,3656,6-8 July 2012)。
出于此目的，3D传感器计算点云。继而，提取来自于3D点云的线以便于简化过程。这些线在下文中将被引用作为“扫描”并且对应于3D点云的水平切面。
通过使用迭代最近点方法来估计当前的机器人位置。ICP方法是在机器人学领域中广泛使用的经典方法。该方法包括从起始点移动查询扫描以便于使其与参考扫描对齐。
可以根据参考扫描与最终复位查询扫描的倒角距离(Champfer distance)来获得不确定性(这取决于每个查询扫描点与最近参考扫描点的距离)。
x4、y4的标准偏差σ_x4、σ_y4可以用于检查207该估计的可靠性。如已经解释的，在估计的标准偏差低于预定阈值时，估计可以被认为是可靠的。
ICP的鲁棒性和收敛时间高度取决于起始点。如果已经具有可靠的初步假设，那么算法将快速且可靠地收敛。如果不具有可靠的初步假设，那么将给出错误的对齐。如果不存在可用的假设，那么元件试图通过在查询中匹配来自于参考扫描的可识别的形状来构造一个假设，以便于得到第一近似值。该近似值继而被用作假设。根据本发明的方法实施ICP步骤206作为其最后的估计步骤。换言之，之前执行的估计200、202、以及204具有在步骤206的输入处提供可靠假设的效果并且因此极大地减少了其运算需求。
独立采取的步骤200、202、204以及206具有它们本身的缺点和弱点。一些步骤需要先前的假设以便于提高它们的收敛率，或倾向于误报。大多数步骤仅提供了部分信息。作为示例，步骤202仅提供了机器人的取向的估计θ2。
在本发明中，以预定的顺序对估计步骤进行排序。预定的顺序被设计为使得对给定步骤的估计将有益于随后应用的估计步骤。继而，结合由前述步骤提供的部分估计以生成全局估计。
对于等级结构中的每个步骤，估计被提供为下一个步骤的初步假设。例如，由步骤200估计的x1、y1和θ1被提供为步骤202、204和206的初步假设。
通过从最简单且鲁棒的200到最复杂且容易出错的206一个接一个地应用步骤200、202、204和206，提高了全局运算时间以及估计的鲁棒性。
安排步骤200、202、204和206的方式是本发明的实质方面。确实，该等级结构(即如何安排步骤)已经被选择为使运算时间最小化并且提高每个步骤的成功率。然而，在一个实施例中，如果估计被认为是不可靠的，则不发送(230、231、232)估计。
测距200是最不复杂的过程并且只要还未推动或移动机器人太多就可以提供可靠的输出。罗盘202是缓慢的，但提供了相当快速且可靠的机器人的取向运算并且受益于具有由测距200提供的起始点。相关步骤204在运算方面是繁重的并且如果在错误的方向上执行搜索则容易出错。然而，在该技术使用关于取向的假设并且如果成功的话比罗盘202更加准确时，该技术具有更高的成功率。最后，如果收敛成功，那么ICP 206提供了可靠的x-y估计，这是其具有初步假设(尤其是在取向方面)时的情况。
步骤200、202、204、206以估计的形式给出了它们的输出。这些估计可以被转换为概率的分布，继而结合所述概率的分布以便于得到全局概率分布。
出于此目的，标准偏差σ_x1、σ_y1、σ_θ1、σ_θ2、σ_θ3、σ_x4和σ_y4用于生成概率分布G(x1)、G(y1)、G(θ1)、G(θ2)、G(θ3)、G(x4)和G(y4)。
可以使用以下原理来生成220这些概率分布：G(x1)是标准偏差等于σ_x1的高斯分布。可以使用相同的原理来生成G(y1)、G(θ1)、G(θ2)、G(θ3)、G(x4)和G(y4)。
继而，生成了全局概率分布。出于此目的，假设所有的步骤200、202、204、206是独立的。这在实践中是真实的，因为可靠的输出仅被当作初步假设，然而最终的结果可能是显著不同的。另外，x、y和θ也可以被认为是独立的。使用这些假设，可以如下计算221三个全局分布GLOB(x)、GLOB(y)和GLOB(θ)：
GLOB(x)＝G(x1)×G(x4)
GLOB(y)＝G(y1)×G(y4)
GLOB(θ)＝G(θ1)×G(θ2)×G(θ3)
该分布的最大似然对应于位置的最终估计209。另外，还可以通过查看全局分布的累积分布函数来获得确定性的程度。
图5显示了本发明的多个实施例中的人形机器人的物理架构。
当机器人具有某些人的外观属性：头部、躯干、双臂、双手等时，机器人就有资格作为人形。然而，人形机器人可能或多或少有些复杂。人形机器人的四肢可以具有更多或更少数量的关节。这可以控制其自身的静态和动态平衡并且用下肢行走，可能是以三维的形式行走或仅是滚动底座。人形机器人可以从环境中提取信号(“听”、“看”、“触摸”、“感应”等等)并且根据或多或少有些复杂的行为作出反应，并且通过谈话或手势与其它机器人或人进行交互。
图上的特定的机器人500仅被当作本发明可以实施的人形机器人的示例。图上的机器人的下肢没有行走的功能，但可以用它的底座540在任何方向上移动，底座540在其放置的表面上滚动。本发明可以容易地实施在适于行走的机器人中。通过示例的方式，该机器人具有高度510(高度510可以为120cm左右)、深度520(65cm左右)以及宽度530(40cm左右)。在具体实施例中，本发明的机器人具有平板电脑550，利用平板电脑550机器人可以向其周围环境传达消息(音频、视频、网页)，或通过平板电脑的触觉界面接收来自用户的输入。除了平板电脑的处理器以外，本发明的机器人还使用其自身母板的处理器，该处理器可以例如是来自IntelTM的ATOMTM Z530。在本发明的具体实施例中，该机器人还可以有利地包括专用于处理母板与尤其是容纳磁性旋转编码器(MRE)和传感器的板之间的数据流的处理器，所述传感器控制肢体中关节的发动机以及被机器人用作轮子的球体。根据明确的关节所需的最大转矩的大小，发动机可以是不同的类型。例如，可以使用来自e-minebeaTM的有刷DC无核发动机(例如SE24P2CTCA)，或来自MaxonTM的无刷DC发动机(例如EC45_70W)。MRE是具有12位或14位准确度的使用霍尔效应的优选类型。在本发明的实施例中，图1上显示的机器人还包括各种种类的传感器。这些传感器中的一些传感器用于控制机器人的位置和移动。这是例如位于机器人的躯干中的惯性单元的情况，所述惯性单元包括3轴陀螺仪和3轴加速度计。机器人还可以包括位于片上系统(SOC)类型的机器人前额上(顶部和底部)的两个2D彩色RGB相机，例如来自深圳V-Vsion技术有限公司TM的相机(OV5640)，其具有以每秒5帧的5百万像素分辨率以及约57°水平和44°垂直的视场(FOV)。在机器人眼睛的后方还可以包括一个3D传感器，例如具有以每秒20帧的0,3百万像素的分辨率的ASUS XTIONTM SOC传感器，其具有大约与2D相机相同的视场。本发明的机器人还可以配备有激光线发生器，例如在头部中有三个并且在底座中有三个，从而能够在机器人的周围环境中感测到其相对于对象/人的位置。本发明的机器人还可以包括能够感测其周围环境中的声音的麦克风。在实施例中，具有以1kHz和300Hz到12kHz(-10dB相对于1kHz)的频率范围的300mv/Pa+/-3dB的灵敏度的四个麦克风可以植入在机器人的头部上。本发明的机器人还可以包括可能位于其底座的正面和背面的两个声纳传感器，这两个声纳传感器用于测量到机器人周围环境中的对象/人的距离。机器人还可以包括位于其头部和手上的触觉传感器，该触觉传感器用于允许与人的交互。机器人还可以包括位于其底座上的缓冲器以感测在机器人的路线上机器人遇到的障碍物。
为了解释机器人的情感并且在其周围环境中与人进行沟通，本发明的机器人还可以包括：
-LED，例如在机器人的眼中、耳中和机器人的肩膀上；
-扬声器，例如位于机器人耳中的两个。
机器人可以通过以太网RJ45或WiFi 802.11连接与基站进行或者其它机器人进行通信。
可以通过具有大约400Wh的能量的磷酸铁锂电池来对机器人进行供电。机器人可以接入适于其包括的电池类型的充电站。
鉴于传感器的测量结果，使用激活由每个肢体限定的链和在每个肢体的端部处限定的效应器的算法，由机器人的发动机来控制机器人的位置/移动。
如上所述以及附图中的装置、方法和构造仅是为了便于描述而并非有意将装置或方法限制为使用中的特定布置或过程。本发明已经对人形机器人进行了描述，但本领域技术人员将意识到该人形机器人可以适用于诸如汽车之类的任何移动元件。

Claims (10)

1.一种用于在与具有x和y两个轴的二维参考相关联的定位平面中定位机器人的方法，所述方法包括以下步骤：
-通过测距来确定(200)所述定位平面中的所述机器人的坐标x1和y1的估计以及所述机器人相对于参考方向的取向θ1的估计；
-通过使用识别感兴趣的至少两对点的虚拟罗盘来确定(202)所述机器人的取向的估计θ2，在参考全景中识别每对的第一点并且在查询全景中识别每对的第二点，该步骤用θ1进行初始化；
-通过使所述参考全景的部分与所述查询全景的部分相关并且通过识别何时此相关最大化来确定(204)所述机器人的取向的估计θ3，该步骤用所述取向的先前估计的其中之一进行初始化；
-通过使用迭代最近点技术来确定(206)定位地点中的机器人位置的估计x4、y4，该步骤用x1和y1进行初始化；
-确定前述估计的标准偏差σ_x1、σ_x2、σ_θ1、σ_θ2、σ_θ3、σ_x4、σ_y4；
-使用所述标准偏差来确定(220)每一可用的估计的概率分布G(x1)、G(y1)、G(θ1)、G(θ2)、G(θ3)、G(x4)和G(y4)；
-通过结合所述高斯概率分布来分别为沿着x轴和y轴的坐标以及所述机器人的取向θ确定(221)三个全局分布GLOB(x)、GLOB(y)和GLOB(θ)，并且通过将最大似然的方法应用于所述全局分布来确定所述定位平面中的所述机器人的坐标的全局估计xg、yg以及所述机器人的取向的全局估计θg。
2.根据权利要求1所述的方法，其中，只在由给定步骤提供的估计被认为是可靠的情况下(201、203、205、207)才由后续步骤来使用由所述给定步骤提供的估计。
3.根据权利要求2所述的方法，其中，当估计的标准偏差比预定阈值低时，所述估计被认为是可靠的。
4.根据前述权利要求中的一项所述的方法，其中，所述概率分布G(x1)、G(y1)、G(θ1)、G(θ2)、G(θ3)、G(x4)和G(y4)是高斯概率分布。
5.根据前述权利要求中的一项所述的方法，其中，如下获得所述全局概率分布：
GLOB(x)＝G(x1)×G(x4)
GLOB(y)＝G(y1)×G(y4)
GLOB(θ)＝G(θ1)×G(θ2)×G(θ3)
6.根据前述权利要求中的一项所述的方法，其中，基于在图像的两个金字塔结构上执行的图像模板匹配来估计(204)θ3的值，通过使用若干缩放步骤缩减单一参考图像(420)的比例来由所述单一参考图像(420)生成图像的第一金字塔结构(401)，通过使用若干缩放步骤缩减单一查询图像(410)的比例来由所述单一查询图像(410)生成图像的第二金字塔结构(400)。
7.一种人形机器人(510)，所述人形机器人至少包括：
-至少一个图像提取器；
-适于实施根据前述权利要求中的一项所述的方法的处理能力。
8.根据权利要求7所述的人形机器人，所述人形机器人包括2D RGB相机以便于构造包括至少一个参考图像的查询全景。
9.根据权利要求7或8中的一项所述的人形机器人，其中，3D传感器用于计算点云以便于实施迭代最近点技术(206)。
10.一种存储在计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于使计算机实施根据权利要求1至6中的任一项所述的方法的代码模块。
CN201580019722.4A 2014-04-14 2015-04-14 用于在定位平面中定位机器人的方法 Pending CN106574836A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305543.2 2014-04-14
EP14305543.2A EP2933604B1 (en) 2014-04-14 2014-04-14 A method for localizing a robot in a localization plane
PCT/EP2015/058011 WO2015158682A1 (en) 2014-04-14 2015-04-14 A method for localizing a robot in a localization plane

Publications (1)

Publication Number Publication Date
CN106574836A true CN106574836A (zh) 2017-04-19

Family

ID=51178823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580019722.4A Pending CN106574836A (zh) 2014-04-14 2015-04-14 用于在定位平面中定位机器人的方法

Country Status (14)

Country Link
US (1) US10197399B2 (zh)
EP (1) EP2933604B1 (zh)
JP (1) JP6374984B2 (zh)
KR (1) KR101901042B1 (zh)
CN (1) CN106574836A (zh)
AU (1) AU2015248967B2 (zh)
CA (1) CA2945860C (zh)
DK (1) DK2933604T3 (zh)
ES (1) ES2617307T3 (zh)
MX (1) MX2016013023A (zh)
NZ (1) NZ725015A (zh)
RU (1) RU2662913C2 (zh)
SG (1) SG11201608198PA (zh)
WO (1) WO2015158682A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109916431A (zh) * 2019-04-12 2019-06-21 成都天富若博特科技有限责任公司 一种针对四轮移动机器人的车轮编码器标定算法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2952993B1 (en) 2014-06-05 2018-04-25 Softbank Robotics Europe Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot
US10596811B2 (en) * 2015-04-21 2020-03-24 Shibaura Mechatronics Corporation Tablet printing apparatus and tablet printing method
FR3051383B1 (fr) * 2016-05-23 2020-02-14 Softbank Robotics Europe Robot mobile maitre motorise
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
CN109141437B (zh) * 2018-09-30 2021-11-26 中国科学院合肥物质科学研究院 一种机器人全局重定位方法
US11747825B2 (en) * 2018-10-12 2023-09-05 Boston Dynamics, Inc. Autonomous map traversal with waypoint matching
JP7502409B2 (ja) 2019-08-06 2024-06-18 ボストン ダイナミクス，インコーポレイテッド 中間ウェイポイント生成器
US11577395B2 (en) 2020-02-17 2023-02-14 Toyota Research Institute, Inc. Systems for determining location using robots with deformable sensors
CN112004183B (zh) * 2020-07-08 2022-05-31 武汉科技大学 一种基于卷积神经网络融合IMU和WiFi信息的机器人自主定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004059900A2 (en) * 2002-12-17 2004-07-15 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
CN1628274A (zh) * 2002-05-31 2005-06-15 富士通株式会社 远程操作机器人及机器人自己位置识别方法
US20090024251A1 (en) * 2007-07-18 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for estimating pose of mobile robot using particle filter
CN101630162A (zh) * 2008-07-16 2010-01-20 中国科学院自动化研究所 多移动机器人局部跟随控制方法
JP2011008320A (ja) * 2009-06-23 2011-01-13 Toyota Motor Corp 自律移動体、自己位置推定装置、およびプログラム
CN102359784A (zh) * 2011-08-01 2012-02-22 东北大学 一种室内移动机器人自主导航避障系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1353295A (fr) 1962-04-04 1964-02-21 Parnall & Sons Ltd Appareil fournisseur pour machines à trier des documents
JPH0953939A (ja) * 1995-08-18 1997-02-25 Fujitsu Ltd 自走車の自己位置測定装置および自己位置測定方法
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
JP2008084135A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 移動制御方法、移動ロボットおよび移動制御プログラム
JP2009187204A (ja) * 2008-02-05 2009-08-20 Toyota Motor Corp 画像処理装置
US9599461B2 (en) * 2010-11-16 2017-03-21 Ectoscan Systems, Llc Surface data acquisition, storage, and assessment system
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors
US9420265B2 (en) * 2012-06-29 2016-08-16 Mitsubishi Electric Research Laboratories, Inc. Tracking poses of 3D camera using points and planes
FR3004570B1 (fr) 2013-04-11 2016-09-02 Aldebaran Robotics Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1628274A (zh) * 2002-05-31 2005-06-15 富士通株式会社 远程操作机器人及机器人自己位置识别方法
WO2004059900A2 (en) * 2002-12-17 2004-07-15 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
US20090024251A1 (en) * 2007-07-18 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for estimating pose of mobile robot using particle filter
CN101630162A (zh) * 2008-07-16 2010-01-20 中国科学院自动化研究所 多移动机器人局部跟随控制方法
JP2011008320A (ja) * 2009-06-23 2011-01-13 Toyota Motor Corp 自律移動体、自己位置推定装置、およびプログラム
CN102359784A (zh) * 2011-08-01 2012-02-22 东北大学 一种室内移动机器人自主导航避障系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109916431A (zh) * 2019-04-12 2019-06-21 成都天富若博特科技有限责任公司 一种针对四轮移动机器人的车轮编码器标定算法

Also Published As

Publication number Publication date
RU2016143549A (ru) 2018-05-14
AU2015248967A1 (en) 2016-10-27
NZ725015A (en) 2017-11-24
RU2016143549A3 (zh) 2018-05-14
CA2945860C (en) 2018-01-23
JP2017514124A (ja) 2017-06-01
US20170131102A1 (en) 2017-05-11
ES2617307T3 (es) 2017-06-16
EP2933604A1 (en) 2015-10-21
KR101901042B1 (ko) 2018-09-20
JP6374984B2 (ja) 2018-08-15
AU2015248967B2 (en) 2018-03-29
SG11201608198PA (en) 2016-10-28
CA2945860A1 (en) 2015-10-22
DK2933604T3 (en) 2017-03-13
MX2016013023A (es) 2017-05-30
US10197399B2 (en) 2019-02-05
RU2662913C2 (ru) 2018-07-31
EP2933604B1 (en) 2016-11-30
KR20170023782A (ko) 2017-03-06
WO2015158682A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
CN106574836A (zh) 用于在定位平面中定位机器人的方法
Zhou et al. Ground-plane-based absolute scale estimation for monocular visual odometry
Wang et al. A simple and parallel algorithm for real-time robot localization by fusing monocular vision and odometry/AHRS sensors
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN105953796A (zh) 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN107193279A (zh) 基于单目视觉和imu信息的机器人定位与地图构建系统
CN112734841B (zh) 一种用轮式里程计-imu和单目相机实现定位的方法
Voigt et al. Robust embedded egomotion estimation
WO2020114214A1 (zh) 导盲方法和装置，存储介质和电子设备
Struckmeier et al. Vita-slam: A bio-inspired visuo-tactile slam for navigation while interacting with aliased environments
Huai et al. Real-time large scale 3D reconstruction by fusing Kinect and IMU data
Sartipi et al. Decentralized visual-inertial localization and mapping on mobile devices for augmented reality
Liu et al. Slam for robotic navigation by fusing rgb-d and inertial data in recurrent and convolutional neural networks
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及系统
Kessler et al. Multi-Sensor indoor pedestrian navigation system with vision aiding
US10977810B2 (en) Camera motion estimation
Mostofi et al. Indoor localization and mapping using camera and inertial measurement unit (IMU)
Artemciukas et al. Kalman filter for hybrid tracking technique in augmented reality
Koch et al. Body-relative navigation guidance using uncalibrated cameras
Xu et al. A localization system for autonomous driving: global and local location matching based on Mono-SLAM
Sun et al. Research on combination positioning based on natural features and gyroscopes for AR on mobile phones
Kaneko et al. Stata Center Frame: A Novel World Assumption for Self-Localization
Ye et al. Low-Drift RGB-D SLAM with Room Reconstruction Using Scene Understanding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1232589

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1232589

Country of ref document: HK