CN109313417A - 帮助机器人定位 - Google Patents

帮助机器人定位 Download PDF

Info

Publication number
CN109313417A
CN109313417A CN201680079119.XA CN201680079119A CN109313417A CN 109313417 A CN109313417 A CN 109313417A CN 201680079119 A CN201680079119 A CN 201680079119A CN 109313417 A CN109313417 A CN 109313417A
Authority
CN
China
Prior art keywords
robot
posture
instruction
camera system
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680079119.XA
Other languages
English (en)
Other versions
CN109313417B (zh
Inventor
汪建军
张飚
C·马蒂内兹
C·W·莫拉托
R·博卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Technology AG
Original Assignee
ABB Technology AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Technology AG filed Critical ABB Technology AG
Publication of CN109313417A publication Critical patent/CN109313417A/zh
Application granted granted Critical
Publication of CN109313417B publication Critical patent/CN109313417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21C—MINING OR QUARRYING
    • E21C35/00—Details of, or accessories for, machines for slitting or completely freeing the mineral from the seam, not provided for in groups E21C25/00 - E21C33/00, E21C37/00 or E21C39/00
    • E21C35/08—Guiding the machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

通过以下方式帮助机器人定位：对于第一采样时间表的每个时间，获得机器人的相机系统的姿态相对于参考坐标系的相应指示，该相机系统的姿态的相应指示基于环境场景的多个三维图像的比较，该获得提供相机系统的姿态的多个指示；对于第二采样时间表的每个时间，获得机器人姿态的相应指示，该获得提供机器人姿态的多个指示；以及使用相机系统的姿态的多个指示和机器人姿态的多个指示，来确定参考坐标系的指示和相机系统的参考点相对于机器人姿态的指示。

Description

帮助机器人定位
背景技术
当前的机器人扫描和定位系统使用测量的机器人位置或图像配准方法来估计相对相机视图位置，以便配准(通常称为“拼接”)各个相机视图。每种方法都有优点和缺点，但是一些问题对于两者是共同的。例如，两种方法都需要校准相机到机器人的关系，并且由于机器人标称运动学的使用而具有精确度问题。
发明内容
提供通过如下一种方法而克服现有技术的缺点并且提供附加的优点，该方法包括：对于第一采样时间表的多个时间的每个时间，获得机器人的相机系统的姿态相对于参考坐标系的相应指示，该相机系统的姿态的相应指示基于环境场景的多个三维图像的比较，该获得提供相机系统的姿态的多个指示；对于第二采样时间表的多个时间的每个时间，获得机器人姿态的相应指示，该获得提供机器人姿态的多个指示；以及使用相机系统的姿态的多个指示和机器人姿态的多个指示，来确定参考坐标系的指示和相机系统的参考点相对于机器人姿态的指示。
此外，公开一种被配置为执行方法的计算机系统，该方法包括：对于第一采样时间表的多个时间的每个时间，获得机器人的相机系统的姿态相对于参考坐标系的相应指示，该相机系统的姿态的相应指示基于环境场景的多个三维图像的比较，该获得提供相机系统的姿态的多个指示；对于第二采样时间表的多个时间的每个时间，获得机器人姿态的相应指示，该获得提供机器人姿态的多个指示；以及使用相机系统的姿态的多个指示和机器人姿态的多个指示，来确定参考坐标系的指示和相机系统的参考点相对于机器人姿态的指示。
此外，还提供一种用于执行方法的计算机程序产品，该计算机程序产品包括可由处理器读取的并存储用于由处理器执行的指令的计算机可读存储介质，该方法包括：对于第一采样时间表的多个时间的每个时间，获得机器人的相机系统的姿态相对于参考坐标系的相应指示，该相机系统的姿态的相应指示基于环境场景的多个三维图像的比较，该获得提供相机系统的姿态的多个指示；对于第二采样时间表的多个时间的每个时间，获得机器人姿态的相应指示，该获得提供机器人姿态的多个指示；以及使用相机系统的姿态的多个指示和机器人姿态的多个指示，来确定参考坐标系的指示和相机系统的参考点相对于机器人姿态的指示。
附加的特征和优点通过本文描述的概念来实现。
附图说明
本发明的各方面被特别指出并在权利要求中清楚地作为示例被要求保护，权利要求随附在说明书中。通过以下结合附图的详细描述，本发明的前述和其他目的、特征和优点是显而易见的，其中：
图1描绘了机器人在未知特征的壁上执行工作的示例环境；
图2描绘了根据本文描述的方面的跨多个扫描区域的示例性分段扫描路径；
图3描绘了根据本文描述的方面的帮助机器人定位的示例过程；
图4描绘了合并和使用本文描述的方面的系统的示例；
图5描绘了合并和使用本文描述的方面的计算机系统的示例；以及
图6描绘了计算机程序产品的一个实施例。
具体实施方式
本文描述的方面一般地涉及机器人三维扫描和机器人定位，例如，与工业机器人系统一起被使用，该工业机器人系统使用机器人安装的三维相机来扫描环境中的场景，然后将机器人定位到/于扫描的场景中的特征以执行预期的操作。更具体地，用于帮助精确机器人定位的方法被公开。作为示例，提供一种传感器融合方法，其将机器人位置测量(“机器人测距法”)与图像配准方法(“视觉测距法”)相结合，其可以被用来自动执行相机到机器人校准并提高机器人定位的精确度。这对于对象的位置或特征特性是未知的区域中的机器人应用特别有用。
一种这样的应用通过示例而非限制在图1中被描绘，其具体描述了机器人在未知特征的壁上进行工作的示例环境。在环境100中，机器人102包括经由机器人臂106a、106b和106c被联接到机器人安装法兰108的机器人基座104。机器人安装法兰108具有被安装在其上的工具，即相机110和夹具112。机器人102与壁114相邻。机器人102对壁114的特征上工作。在该示例中，壁114是岩石壁，其特征是岩石中的孔116，并且机器人的任务是用爆炸性材料填充每个孔116。该工作的一个应用是在采矿作业中，由于结构风险、光照条件差和其他原因，其中工作环境极其危险。
低成本和快速三维(3D)相机的出现，诸如由美国华盛顿州雷蒙德市的微软公司(KINECT是其商标)提供的系列产品，使得可以以合理的精确度实时扫描未知场景。通常以点云或网格模型的形式表示的场景的扫描的模型，可以容易地被导入计算机辅助设计(CAD)环境或其他类型的计算机程序中以供进一步处理。对于工业应用，该处理可以是感兴趣的特征的识别和局部化，使得机器人可以移动到特征以执行特殊操作。附加地或备选地，处理可以是生成运动路径，机器人可以沿着运动路径执行操作，例如涂漆或涂胶。
三维扫描是指多个相机视图(图像)的拼接以覆盖整个场景。拼接使用视图之间的相对相机位置的测量，其可以由诸如GPS和编码器的运动传感器提供，或者由视觉数据本身提供。
本文描述的方面克服了用于机器人扫描和定位的当前方法中的问题。当前设置使用测量的机器人位置(“机器人测距法”)或图像配准方法(“视觉测距法”)来估计相对相机视图位置，以便配准/拼接各个相机视图。测距法指的是相对于已知方位的位置跟踪，通常是起始位置。示例机器人测距法可以基于从编码器接收的数据来确定，该编码器指示机器人或其组件中的一些移动。示例视觉测距法是图像配准，其中连续的相机图像被分析以跟踪位置和距离。
这两种方法都依赖于相机到机器人关系的校准，并且由于机器人标称运动学的使用，每种方法都存在精确度问题。另一方面，每种测距法都有其优点和缺点。
扫描系统使用里程表来估计相对视图位置，以便例如将各个相机视图拼接在一起。传统上，视觉即时定位与地图构建(SLAM)的3D扫描系统仅依赖于所获取的视觉数据(视觉测距法)以使用高级配准方法来构建模型。由微软公司开发的Kinect Fusion就是视觉SLAM的一个这样的例子。视觉测距法使用先进的计算机算法，诸如ICP(迭代最近点)或SURF(加速稳健特征)，结合RANSAC(随机抽样和共识)来对齐相机视图上的重叠特征，以便确定相机的相对位置。视觉测距法在配准特征丰富的视图时可以很好地运行。然而，当扫描无特征或特征稀疏场景时，视觉测距法具有精确度问题。附加地，因为它是基于相对测量的，所以如果扫描路径没有返回到先前访问的方位，则它会受到距离漂移的影响。距离漂移是指相对长距程扫描中的误差累积。
对于包括机器人安装的3D相机的扫描系统，机器人本身是位置传感器并且可以用作针对该扫描的里程表。在该设置中，相机工具中心点(TCP)被精确地校准，以在机器人空间中获得正确的相机位置。低成本的3D相机往往噪声大。因此，实现精确的相机TCP校准可能具有挑战性。对于实时快速扫描应用，如果相机图像获取和机器人位置读取之间的时间同步以高精度被确保，则是有帮助的。然而，机器人位置读取和相机图像获取之间的实时同步并不简单并且需要调谐。如果对于相机和对于机器人控制器没有内置的时间同步设施，这不是一项简单的任务。即使时间完全被同步并且相机TCP精确已知，大型场景的拼接仍然具有挑战性，因为机器人在利用标称运动学计算的3D空间中不精确。结果，扫描的模型上的特征可能会失真并变得难以检测。
因此，虽然基于机器人测距法或视觉测距法的机器人扫描和定位系统与彼此比较具有各自的优点和缺点，但它们存在共同的问题。
本文描述的方面可以自动执行校准步骤并且在移动到扫描的三维模型上的特征时增加机器人定位精确度。基于机器人的测距法和视觉测距法均可以被用来自动执行机器人到相机的校准。如下面详细解释的，来自图像配准的相机位置坐标和来自机器人控制器的机器人位置坐标与其时间戳一起，以快速采样率被记录并在扫描过程中被存储。场景可以主要利用图像配准方法来拼接，但是当无特征区域被遇到时，基于机器人的测距法可以被使用。在这方面，并且作为示例，图像配准方法可以输出一个索引，显示配准方法的工作情况，该索引告知场景是特征丰富还是特征贫乏。3D扫描的模型上的特征位置可以在场景空间中被检测。当机器人被需要移动到该特征时，基于记录的、相机位置坐标和机器人位置坐标的密集对(dense pair)，场景空间中的特征坐标可以被转换到机器人空间。这可以通过估计相机TCP和场景的工作对象来完成。
附加地，相机获取和机器人位置读取之间的时间延迟还可以使用记录的时间戳信息来估计。对于提高准确度的另一种可能性是在不同扫描区域上估计和使用不同的相机TCP和场景工作对象。
通过具体示例，并且参考图1，任务是找到壁114中的孔116的位置，然后将机器人102驱动到每个孔116，使得机器人安装的夹具112可以被插入孔116中。3D相机110与夹具工具112一样被安装在机器人安装法兰108上。存在与机器人基座104、机器人安装法兰108、夹具112、相机110和壁114中的每一个相关联的相应坐标系。
对象的“姿态”是指相对于一些坐标系的位置和取向。姿态可以具有许多不同但相当的数学表示。例如，六分量矢量[x，y，z，翻滚，俯仰，偏航]可以表示x、y、z中的平移以及翻滚、俯仰、偏航中的取向。在本文描述的示例中，为了简单起见，4乘4(4×4)矩阵仅通过特定示例被使用，但是任何适当的姿态表示都是合适的。
通常，机器人的姿态被表达为其安装法兰(TO)的姿态，并且可以从其关节测量θ被计算为：
ΤO＝K(6,Μ) (1),
其中M是机器人运动学模型参数，包括臂(106)链接长度、初始关节位置和其他因素。
如果M的标称值被使用，则方程(1)提供“标称运动学”。否则，如果因素的值被精确地测量或识别，则等式(1)提供绝对精确的运动学。标称运动学在确定机器人姿态时具有较低精确度。在示例中，关节测量θ和机器人位置TO可以以非常快的采样率直接从机器人控制器读取，例如每4ms左右，取决于系统能力。
一旦机器人TO的姿态(例如，如由安装法兰的姿态所指示的)已知，相机和夹具的姿态可以使用其TCP值来确定为：
TC＝T0*TCPC
Tg＝T0*TCPg (2),
其中，Tc和Tg分别是相机110和夹具112相对于机器人基座104的姿态。所谓的TCP或工具中心点定义了对象相对于机器人安装法兰的相对姿态。这里，相机的工具中心点，即相机系统相对于机器人安装法兰的参考点，由TCPc表示，并且夹具的工具中心点，即夹具相对于机器人安装法兰的参考点，由TCPg表示。
为了能够获得工具姿态，首先工具的TCP被校准。对于机械工具，诸如夹具，其TCP可以使用通常已知的四点法来校准，其中工具尖端被移动以从四个不同角度触摸固定点。对于相机，相机坐标系被定义为针对其获取的图像的参考坐标系，并且通常是不可见的。用于校准的常用方法是手动校准或自动的“手眼”校准。
因此，图像空间中任何特征的位置可以使用以下方程式被转换到机器人空间：
Hr＝Tc*Hc＝T0*TCPc*Hc(3),
其中，Hc是相机空间中的特征姿态(相对于相机坐标系)，并且Hr是机器人空间中的特征姿态(相对于机器人基座)。以上的方程式(3)是用于手动校准的基础，其中在机器人空间中具有已知位置的特征图案被放置在相机的视图中并且图像空间中的特征被检测。
一旦机器人空间中的特征姿态已知，用于达到该特征的工具(例如夹具)的机器人位置T0'可以使用方程式(2)来找到：
T0'*TCPg＝Hr (4)。
使用3D相机进行扫描需要拍摄多张图像并将它们合并到一个场景中。该场景具有参考坐标系W，其相对于机器人基座坐标系的姿态被称为场景的“工作对象”。它通常被定义为在第一摄像(shot)处相机坐标系相对于机器人基座坐标系的姿态。对摄像的拼接依赖于这些摄像的相对相机姿态。图像配准可以使用先进视觉算法产生这些相对姿态，而相反，基于机器人的测距法(测量的机器人位置)通过使用方程式(2)来提供这些相对姿态。假设相机系统的姿态Tv(t)是在时刻t参考W(例如第一相机姿态)由视觉测距法生成的相对相机姿态。以这种方式，相机系统相对于参考坐标系W的姿态基于环境场景的多个三维图像的比较来确定。注意到，姿态可以在缺乏场景特征的特性(诸如这些特征之间的距离)的已有知识的情况下被确定，并且因此不同于其中已知特性的测试配置或校准图案是被扫描的项的情况。
图像配准与测量的机器人位置之间的关系可以被写为：
Tc(t)＝W*Tv(t)＝T0(t)*TCPC (5)
图2描绘了根据本文描述的方面的跨多个扫描区域的示例分段扫描路径。相机的扫描路径被分成段218a、218b、218c，并且是相机坐标系的原点相对于壁的轨迹。当相机移动时，它以帧速率获得壁的三维图像，该图像是特征216的图像。这些3D图像将如图所示重叠。在时间t1获得的图像220与在时间t2获得的图像222重叠以定义重叠区域224。该示例中的扫描路径由三个段218a、218b、218c组成。为了提高精确度，对于根据本文描述的方面的每个段，相应的相机TCP和壁工作对象W被确定。
如果图像获取和机器人位置读取以相同的采样率ts被同步，那么当机器人移动时，一系列Tv(k*ts)和T0(k*ts)被获得，其中k＝1..n。方程式(5)然后变成方程集：
W*Tv(k)＝T0(k)*TCPC,k＝l..n (6),
并且如前所述，以上每个术语可以被表示为4x4矩阵，并且'*'运算符指的是乘法。Tv(k)是Tv(k*ts)的简写，而T0(k)是T0(k*ts)的简写。
以上的方程式(6)产生n个方程(k＝1,…,n)。这n个方程可以例如使用最小二乘算法被有效地求解，以确定W和TCPC。一旦W已知，机器人空间中相对于机器人基座坐标系的特征(例如孔)的位置可以通过下式来找到：
Hr＝W*Hw (7),
其中Hw是场景空间中的特征位置(相对于场景帧W)，通常通过使用先进视觉算法来获得。
再次，利用机器人空间中的已知特征位置，方程(4)可用于确定适合于利用工具针对特征(例如，将夹具112插入孔116中)的机器人位置aT’O。
在实际情况中，图像获取和机器人位置读取可能在不同的计算设备上运行并使用不同的采样率。因此，它们的获取定时不太可能同步(即，Tv和To将对于共同时间t被确定)。因此，将指示为Tv的时刻，并且将指示为T0的时刻。从扫描中，我们获得对应于不同采样时间表的时间戳数据：
以及
假设图像获取和机器人读取之间的延迟已知为d。则：
通常，机器人位置可以比图像获取快得多地被读取。这为机器人位置创建了比为视觉测距法更密集的数据点(m＞＞n)。对于每个我们可以在时间内插T0。通过上面的方程式(5)，我们现在有n个方程来求解W和TCPC(例如，再次使用最小二乘法)：
其中～指示该值是被内插的。
如果时间延迟d未知，则在对方程(10)执行最小二乘拟合之前，它被首先校准。校准此时间延迟的一种方法是对于网络测量和控制系统实施用于精确时钟同步协议的IEEE-1588标准。
备选地，d可以与W和TCPC同时被求解。非线性优化算法，诸如由(由美国马萨诸塞州内蒂克的MathWorks公司开发，其中MATLAB是商标)提供的一种算法，可以被应用于这种目标。
为了提高精确度，在一些实施例中，在不同场景区域期间，多个TCP和W可以被确定并被用于相机。方程式(10)因此可以对于不同扫描区域被求解。例如，如图2所示，场景被分成三个区域，每个区域由相应的段218a、218b、218c来定义。以下方程式对于每个扫描区域可以被构建：
区域1:
区域2:
区域3:
附加地或备选地，精确度可以进一步被提高，通过将方程式(1)插入方程式(10)来添加M作为方程式(10)中的另一组未知数，
在方程式(12)中，关节测量被用于代替机器人法兰位置。该方程现在具有四组未知参数(W,TCPC,d,M)，其可以使用例如非线性优化算法来求解。
从本文描述的方面，组合图像配准方法和机器人位置可以消除对相机TCP和场景工作对象执行单独和离散校准步骤的需要。如果扫描的场景具有足够的特征以提供足够的图像配准，则相机TCP和场景工作对象作为扫描过程的副产品被自动获取。
附加地或备选地，本文描述的方面可以与无特征场景一起被使用(或者那些缺少使得图像配准有效的足够特征的场景)。在这种情况下，本文描述的方面可以被用作校准相机TCP的校准步骤，其中出于校准的目的，特征丰富的场景作为单独的人工场景可以被提供，或者初始无特征场景通过有目的地添加特征来改变。
更进一步，本文描述的方面可以被用于具有特征丰富区域和特征贫乏区域的混合的场景。扫描可以最初在特征丰富区域上被执行，以确定相机TCP和场景工作对象，作为该区域扫描的副产品。当机器人扫描特征贫乏区域时，它可以切换到基于机器人的测距法以进行拼接，因为现在相机TCP已知。在特征贫乏区域被首先扫描的情况下，缓冲器可以被用来保存图像和相应的机器人位置测量，直到相机TCP基于扫描特征丰富区域在稍后阶段被找到。在相机TCP被找到之后，对于特征贫乏区域，拼接可以在缓冲器上重新开始。
相应地，本文描述的方面可以自动执行校准步骤，否则该校准步骤被执行以确定相机TCP和场景工作对象。在扫描之前，不需要无关的相机到机器人校准步骤。附加地，本文描述的方面可以通过在不同的场景区域使用多个场景工作对象和相机TCP来提高机器人定位精确度。
除了上述之外，先前在整个场景上严格顺序被执行的动作现在可以一起被执行。更具体地，代替扫描、局部化、然后对于整个场景以逐步方式定位，系统可以针对场景的不同区域混合扫描、局部化和定位操作。在这种混合操作的一个示例中，机器人系统扫描区域、搜索当前扫描区域(或当前相机坐标系)中的特征、局部化特征、然后移动到特征以执行操作。当对当前扫描区域中的特征的工作被完成时，机器人移动到下一个扫描区域并开始扫描、局部化和定位该区域。另一示例是机器人扫描第一扫描区域并局部化特征。然后它移动到第二扫描区域并局部化特征。此后，它执行针对两个扫描区域的定位操作。又一示例是，其特别适用于两个或更多个机器人被使用的情况，一个机器人在一个扫描区域中执行扫描和局部化，并且另一个机器人，可选地同时在另一个扫描区域中并行地执行定位。在这种情况下，第一机器人可以携带相机，而第二机器人可以携带夹具/工具。可以理解，对于混合操作有许多不同的变化。以上示例不以任何方式限制适用的使用场景。
图3描绘了根据本文描述的方面的帮助机器人定位的示例过程。该过程开始于机器人获得环境场景的图像(302)。基于获得图像，对于第一采样时间表的多个时间的每个时间，机器人相机系统姿态(Tv(t))相对于参考坐标系(W)的指示被获得(304)。获得相机系统的姿态的指示提供了相机系统的姿态的多个指示(即，对于每个t＝ti,...,tn的Tv(t))。相机系统的姿态的指示可以基于环境场景的多个三维图像的比较。在缺乏场景特征之间的距离(即，在未知场景上，而不是例如用于校准的测试或预先定义的场景)的知识的情况下，比较可以被执行。作为具体示例，场景可以包括未知特性的特征。
该过程通过获得对于第二采样时间表的多个时间的每个时间机器人的姿态(To(t'))的指示(306)而继续，该获得提供机器人姿态的多个指示。获得机器人的姿态的指示提供了机器人的姿态的多个指示(即，对于每个t'＝ti',...,tn'的To(t'))。机器人的姿态可以由机器人的安装法兰的姿态、由机器人的联合测量或任何其他期望的表示来表示。使用相机系统的姿态的多个指示和机器人的姿态的多个指示，场景的参考坐标系的指示被确定，以及相机系统的参考点(TCPC)相对于机器人的姿态的指示被确定(308)。通过该确定，所确定的相机系统的参考点的指示用作针对相机系统的参考点的自动校准。
在一些示例中，使用相机系统的姿态的多个指示和机器人姿态的多个指示包括，构建将跨第一采样时间表的相机系统的多个姿态与跨第二采样时间表的机器人的多个姿态相关联的多个方程。该关联可以是场景的参考坐标系和相机系统相对于机器人姿态的参考点的函数(例如，方程式6)。在这种情况下，确定场景的参考坐标系的指示和相机系统的参考点的指示包括，找到多个方程的解，以确定场景的参考坐标系的指示和相机系统的参考点的指示。
在构建多个方程的具体示例中，对于相机系统的多个姿态指示中的相机系统的姿态的每个指示，机器人的相应对应姿态被识别，并且基于所获得的机器人姿态的多个指示的机器人姿态的一个或多个指示。第一采样时间表和第二采样时间表可以相差时间偏移(d)。因此，对于相机系统的姿态的指示，所识别的机器人的相应对应姿态可以包括机器人的内插的姿态，基于机器人姿态的一个或多个指示被内插，其中机器人的内插的姿态是在一个时间的机器人的姿态，该时间与获得机器人姿态的多个指示中的一个的时间相差等于时间偏移的时间量。换言之，并且作为示例，假设时间t(Tv(t)的)和时间t'(T0(t')的)之间的时间偏移是3ms(即t＝t'+d)。机器人的内插的姿态可以基于在时间t'获得的To(t')以及可能的其他获得的To值来内插。机器人的内插的姿态将是用于时间t(与Tv(t)配对)，并且因此，机器人的内插的姿态用于时间(t)，其与t'(获得T0(t')的时间)相差时间偏移d。
时间偏移最初可能是未知的。在这种情况下，找到多个方程的解可以包括：利用找到针对多个方程的解以确定场景的参考坐标系的指示和相机系统的参考点的指示来找到针对时间偏移的解；或者首先找到针对时间偏移的解，然后使用该针对时间偏移的解，以找到针对多个方程的解。
在任何情况下，返回图3，该过程然后使用图像配准方法和/或使用测量的机器人位置和所确定的相机系统参考点的指示将环境的至少一部分场景的图像拼接在一起(310)。
基于识别由机器人(312)成像的场景的场景空间中的特征的位置，(i)所确定的参考坐标系(W)的指示以及(ii)所确定的参考坐标系的指示与所识别的场景空间中的特征的位置(Hw)之间的关系被用来识别机器人空间(Hr)中的特征的位置(314)。机器人空间中的特征的被识别的位置然后可以被提供以通知机器人的定位(316)，例如，指示一个方位，机器人将移动到该方位以在特征处、在特征上、对特征等执行期望任务。
在一些示例中，图3的方面对于多个扫描区域被执行，例如以提高机器人定位的整体精确度。因此，获得相机系统的多个姿态指示(304)和获得机器人姿态的多个指示(306)，可以与机器人运动和机器人操作的环境的第一扫描区域的成像相关联。该确定(308)因此确定参考坐标系的指示和用于第一扫描区域的相机系统的参考点的指示。该过程可以对于其他扫描区域重复(318)此过程。因此，该过程可以循环(图3中未示出)回去以重复(i)获得相机系统姿态的多个指示，和(ii)与机器人运动和环境的至少一个其他扫描区域的成像相关联地获得机器人姿态的多个指示，然后重复(iii)确定以为至少一个其他扫描区域确定参考坐标系的指示和相机系统的参考点的指示。扫描被完成后，流程结束。
图3的过程可以由一个或多个计算机系统执行，并且一些方面可以由一组计算机系统执行，而其他方面可以由另一组计算机系统执行，可能在稍后的时间。例如，一个计算机系统可以执行获得场景的图像(302)，并且另一计算机系统可以执行获得(304)、获得(306)和确定(308)。在一些示例中，该确定的结果可以由相同的计算机系统使用或者被传递到另一个计算机系统以执行拼接(310)。此外，一个或多个前述计算机系统或其他计算机系统可以执行识别(312、314)和提供(316)。
图4描绘了合并和使用本文描述的方面的示例系统。系统400包括机器人402、机器人控制器450、操作员计算机系统470和后端计算机系统460，它们都经由通信链路440a-440d被耦合。这些组件相对于彼此的物理方位可以变化。例如，它们可以如隔几英尺地靠近在一起或者如数千英里或更多地相距很远。
组件之间的通信链路440a-440d可以通过各种无线和/或有线技术(例如，不同类型的数据协议和数据协议层上的光纤/无线电/电缆)中的任何一种来实现。在一些实施例中，一个或多个这样的通信链路包括现有的基础结构，诸如在一个或多个局域网或广域网上运行的现有以太网装置。附加通信链路技术的非限制性列表包括无线LAN(WLAN)、蓝牙、ZigBee、近场、或其他无线链路、点对点无线电系统或激光光学系统以及卫星通信链路，作为示例。
机器人402可以是任何类型的机器人，诸如由美国密歇根州奥本山的ABB公司提供的工业机器人，作为示例。示例机器人具有几个(通常为4、5、6或7)自由度，使得它们能够执行通常以对象的移动和/或操纵为特征的任何各种任务。在这方面，机器人在其最广泛的意义上指的是具有多个自由度的组件。
机器人功能由不同的且通常是专用的组件提供，其中一些组件被描绘为图4的示例机器人402的一部分。应当理解，为了方便起见，机器人402包括从图4中被省略的附加组件，并且进一步，合并/使用本文描述的方面的机器人不一定包括图4中描绘的每个组件。
相机系统404提供成像功能，使得机器人能够“看到”其环境中的物理对象。相机系统404可以通过提供二维、三维和/或深度感测成像能力的专有和/或专用成像设备或商业现货(COTS)产品来实现。COTS产品的示例是由微软公司提供的运动控制器。视觉辅助系统406是另一种类型的传感器系统，其为机器人提供视觉能力。它还可以包括用于成像环境对象的成像设备，以辅助接近或其他空间确定。在一些实施例中，相机系统404被安装在机器人上在其“头部”处或其“头部”附近，提供机器人活动的大致第一人称视角，而视觉辅助系统406包括安装在机器人402周围并对机器人402及其周围环境成像的多个相机，以提供机器人活动相对于周围对象的第三人称视角。
其他传感器/传感器设备408被包括，以提供附加的感测能力。特定的附加传感器可以取决于机器人在操作时将执行的任务的类型。附加传感器的非限制性列表是传声器、位置传感器、接近传感器和力/压力传感器，作为示例。一些传感器设备可以包括数据处理能力。所谓的智能传感器通常(但不总是)经由通信链路被直接连接到机器人控制器450。缺少处理捕获的数据的机载数据处理能力的其他类型的传感器，可以向单独的数据处理设备提供数据(诸如机器人控制器450、后端计算机系统460、操作员计算机系统470和/或另一个未被示出的计算机系统)，以处理传感器设备输出。
一些传感器可以在机器人402或机器人控制器450的本地或远程。远程传感器设备可以向机器人控制器450提供输入信号，机器人控制器450使用该输入信号来控制机器人402执行本文所述的工作。
一些被安装在机器人402上或其他方位的传感器，可以检测或提供处理以检测进入机器人402的工作空间或以其他方式出现在机器人402的工作空间中的障碍物的数据。针对位置和其他几何信息，包括关于检测到的障碍物的数据的传感器信息可以由机器人控制器450处理和使用。关于智能传感器，其数据处理能力可以完全或部分地处理传感器信息，并且仅将关于障碍物的相关数据传送到机器人控制器450。在缺乏数据处理能力的其他类型的传感器中，传感器信息可以由如上所述的另一数据处理设备处理并提供给机器人控制器450。
机器人402还可以包括被合并到机器人402中、被安装到机器人402或紧邻机器人402的致动器或其他设备(被统称为致动设备410)，以提供用于操纵或移动对象的对象操纵能力。示例致动设备410包括夹具、爪、固定装置、抽吸设备、传送器、扭转机构、软管和/或丝供给器机构、以及专用装备，例如医疗工具、焊枪或喷枪。许多致动设备通常被称为机器人“末端执行器”。
机器人控制器450向机器人402提供运动数据以控制其动作。运动数据包括作为示例的命令，其被发送到机器人的组件并由机器人的组件接收，这些命令使组件驱动机器人动作，移动到其他方位以及其他活动。相应地，机器人控制器450可以是具有程序(即指令，程序代码)的计算机系统，其执行以向机器人402提供运动数据以控制机器人402执行工作的运动。例如，机器人402可以保持被用于在静止或移动的工件(也未示出)上执行工作的工具(未示出)，或者可以保持工件以由适当的工具对其执行工作，作为示例。作为进一步的示例，机器人402可以包括供给器组件，以将软管或其他对象供给到孔或其他空间中以完成诸如放置爆炸性材料的任务。供给器组件可以包括扭转机构，该扭转机构被配置成扭转软管或其他对象，以便更可靠地到达期望的位置。
直接或间接地被提供给机器人控制器450(诸如经由数据处理组件来处理传感器数据)的传感器信息，可以被用来生成机器人402可以在其中工作的安全区。当障碍物基于重新定位障碍物或机器人而进入机器人402的工作空间时，地图可以被构建以通知机器人控制器450安全区。附加地，来自传感器或其它组件的信息，诸如组件404、406和/或408，可以被机器人控制器使用来构建距离图和/或2/3维地图。在一些示例中，原始传感器信息被处理以构建地图。
机器人控制器450与被用于控制和/或观察机器人行为的操作员计算机系统470通信。操作员计算机系统470可以在其显示器上显示关于机器人运动和附加过程的实际数据，例如，相机图像、声学反馈和传感器值。附加地，操作员计算机系统470可以充当用于传感器信息的数据处理设备，并且可以在两个方向上处理数据(即，到/来自传感器的数据)。操作员计算机系统470可以由所需的任何计算机系统实现，例如，诸如工业个人计算机或可编程逻辑控制器之类的。
一些实施例可以以由操作员计算机系统470对机器人402的至少部分控制为特征。操作员计算机系统470可以在向机器人402和/或机器人控制器450口述、选择、构建和/或提供命令或其他信号中起作用，以使得机器人402执行动作。在一些示例中，操作员计算机系统470具有至少一个遥操作输入设备，诸如操纵杆或触控笔型设备，操作员可以使用它们来产生连续的运动信号(位置和/或速度信号)，连续运动信号可以直接或经由机器人控制器450被提供给机器人402。一些遥操作输入设备可以基于例如来自机器人402的传感器的输入向操作员提供反馈。反馈可以是可以由操作员感知的任何类型的反馈。一个示例是触觉反馈或力反馈，其导致操纵杆或触控笔中的振动。
操作员计算机系统还可以包括安全使能设备，诸如三位开关，以为操作者提供对机器人402和/或系统400的其他组件启用或禁用电源的能力。
后端计算机系统460可以提供附加的本地或远程计算资源以支持机器人控制器、操作员计算机系统470和/或机器人402。在这方面，机器人402的控制和/或支持机器人任务的其他过程可能比可以由前端系统处理的要求更高。本地或远程后端设施可以由后端计算机系统460提供，并且前端组件可以将工作卸载到后端计算机系统460。通过具体示例，图像数据的处理，特别是3维图像数据，可能对机器人402、其传感器和/或机器人控制器450造成很大的负担。图像数据可以部分或全部被提供给后端计算机系统460以进行处理，并且结果可以被提供回机器人控制器450或另一个组件以用于机器人过程。
如前所述，系统400的组件不需要彼此相邻。后端计算机系统460可以位于现场或非现场，例如作为提供基于网络的数据处理解决方案的基于远程云的计算设施。
系统400的一个或多个前述组件可以被前述组件中的一个或多个其他组件包含，或者被包括在前述组件中的一个或多个其他组件中。类似地，给定组件的以上所述功能可以被合并到前述组件的不同组件中。由后端计算机系统460提供的后端计算资源，例如可以被包括在机器人控制器450或操作员计算机系统470中，反之亦然。在一些实施例中，机器人控制器450和/或操作员计算机系统460的功能被合并到后端计算机系统460中。
本文描述的过程可以由一个或多个计算机系统或其他处理设备执行。参考图5，合并和使用本文描述的方面的示例计算机系统被描绘和描述。计算机系统500包括一个或多个处理器502、存储器504和一个或多个I/O设备506，它们可以通过总线和其他电子硬件元件(未被示出)彼此耦合。处理器502包括能够实现功能的任何适当的硬件组件，例如执行从存储器504获取的指令(有时备选地被称为代码、固件和/或软件)。指令的执行使计算机系统500执行诸如本文所述的支持机器人的控制和/或操作的过程、功能等。
在一些示例中，本文描述的方面由被协调以共同执行过程、功能等的多个同构或异构计算机系统执行，诸如本文描述的那些支持机器人的控制和/或操作的过程、功能等。
存储器504包括用于存储数据(诸如用于执行的指令程序和其他数据)的硬件组件或其他存储设备。存储设备可以是磁性的，光学的和/或基于电的，作为示例。硬盘驱动器、现场可编程门阵列(FPGA)、磁介质、光盘(CD)、数字通用盘(DVD)和闪存是示例存储设备。相应地，存储器504可以是易失性的，非易失性的或两者的组合。作为特定示例，存储器504包括一个或多个硬盘驱动器和一个或多个随机存取存储器(RAM)设备，分别用于非易失性和易失性数据存储。由存储器存储的示例程序包括在操作系统上运行的操作系统和应用程序，诸如执行本文描述的功能的专用应用程序。
I/O设备506包括支持向/从计算机系统500输入和输出数据的硬件和/或软件组件。I/O设备506包括物理或无线连接到计算机系统和/或集成到计算机系统中的物理组件，诸如键盘、鼠标、显示设备、操纵杆、相机设备、光盘、拇指驱动器、打印机、全球定位系统(GPS)设备、陀螺仪、磁力计、光传感器、接近传感器、传声器、扬声器或加速度计，作为示例。I/O设备506还包括但不限于I/O控制器以及支持与前述组件(诸如网络、图形和/或音频控制器)的数据通信的硬件和软件。示例I/O设备506是用于在计算机系统500和另一个组件之间进行数据通信的网络适配器，诸如跨越通信链路的另一个计算机系统。示例包括以太网、电缆和/或基于光纤的通信链路，在计算机系统500和跨越一个或多个网络(诸如因特网)的其他系统之间传递数据分组。其他示例I/O设备506包括通用串行总线(USB)、外围组件互连(PCI)、以及被配置为耦合到它们各自类型的设备的串行适配器/接口。
示例计算机系统的非限制性列表包括：个人计算机(PC)、笔记本电脑、工作站、服务器、大型机、网络设备、虚拟化设备、计算终端、个人数字助理、蜂窝电话和智能手机、可穿戴设备(“可穿戴设备”)、平板计算机以及传感器(诸如相机或相机系统)。
相应地，本文描述的方面可以采用一个或多个系统、方法/过程和/或计算机程序产品的形式。计算机程序产品可以是存储指令的计算机可读、有形存储介质或设备。在一些实施例中，计算机程序产品是非暂时性计算机可读存储介质。参考图6，示例计算机程序产品600被描绘，其包括例如一个或多个计算机可读存储介质602，以在其上存储计算机可读程序代码部件、逻辑和/或指令604以提供和帮助本文描述的一个或多个实施例。
作为示例，计算机可读存储介质可以是电子的，磁性的，电磁的，光学的和/或基于半导体的。示例包括但不限于：随机存取存储器、只读存储器、计算机磁盘、闪存以及诸如压缩盘(CD)或数字通用盘(DVD)的光学存储介质。如本文具体使用的，计算机可读存储介质本身不包括暂时信号，诸如无线电波或其他传播信号。
被包含或存储在计算机可读存储介质中/上的程序代码可以由计算机系统(计算机、处理系统、数据处理系统等，包括其组件)和/或其他设备获得并执行，以使得计算机系统，其组件和/或其他设备以特定方式运转/运行。程序代码可以使用任何适当的介质来传送，包括(但不限于)无线、有线、光纤和/或射频。用于执行操作(该操作执行、实现或帮助本文描述的方面)的程序代码可以用一种或多种编程语言来编写。在一些实施例中，编程语言包括面向对象和/或过程编程语言，如C、C++、C#、Java等。程序代码可以完全或部分地在计算机系统，远程计算机系统或部分地在计算机系统上和部分在远程计算机系统上的组合上执行。
程序代码可以包括由处理器执行而获得的程序指令。计算机程序指令可以被提供给例如计算机系统的处理器以生产机器，以便程序指令在由处理器执行时，执行、实现或帮助本文描述的方面，诸如本文描述的流程图和/或框图中描述的动作、过程或功能。因此，本文描绘和描述的流程图图示和/或框图的每个框或框的组合，在一些实施例中，可以通过计算机程序指令来实现。由一个或多个框指定或执行的行为/功能可以以与所描绘的和/或所描述的不同的顺序发生，或者可以与一个或多个其他框同时发生，或者与一个或多个其他框部分/完全同时发生。
本文所使用的术语仅用于描述特定实施例的目的，而不是对本发明的限制。如本文所用，单数形式“一”，“一个”和“该”也包括复数形式，除非上下文另有明确说明。进一步将理解，术语“包括”(以及任何形式的包括，诸如“包括”和“包括”)、“具有”(以及任何形式的具有，诸如“具有”和“具有”)、“包括”(以及任何形式的包括，例如“包括”和“包括”)和“包含”(以及任何形式包含，例如“包含”和“包含”)是开放式的连接动词。结果，“包含”、“具有”、“包括”或“包含”一个或多个步骤或元素的方法或设备拥有那些一个或多个步骤或元素，但不仅限于拥有那些一个或多个步骤或元素。同样地，“包括”、“具有”、“包括”或“包含”一个或多个特征的设备的方法或元素的步骤拥有那些一个或多个特征，但不限于仅拥有那些一个或多个特征。此外，以某种方式被配置的设备或结构至少以这种方式被配置，但是也可以以未被呈现的方式被配置。
以下权利要求中的所有部件或步骤加功能元件的相应结构、材料、动作和等同物(如果有的话)旨在包括用于执行该功能的任何结构、材料或动作以及具体要求保护的其他要求保护的元素。一个或多个实施例的描述已经出于说明和描述的目的被给出，但是并不旨在穷举或限制于所公开的形式。许多修改和变化对于本领域普通技术人员来说是显而易见的。该实施例被选择并描述，以便最好地解释各个方面和实际应用，并且使得本领域普通技术人员能够理解适合于预期的特定用途的各种修改的各种实施例。

Claims (20)

1.一种方法，包括：
对于第一采样时间表的多个时间的每个时间，获得机器人的相机系统的姿态相对于参考坐标系的相应指示，所述相机系统的姿态的相应指示基于环境的场景的多个三维图像的比较，所述获得提供所述相机系统的姿态的多个指示；
对于第二采样时间表的多个时间的每个时间，获得所述机器人的姿态的相应指示，所述获得提供所述机器人的姿态的多个指示；以及
使用所述相机系统的姿态的所述多个指示和所述机器人的姿态的所述多个指示，确定所述参考坐标系的指示和所述相机系统的参考点相对于所述机器人的姿态的指示。
2.根据权利要求1所述的方法，其中使用所述相机系统的姿态的所述多个指示和所述机器人的姿态的所述多个指示包括：构建将跨越所述第一采样时间表的所述相机系统的多个姿态与跨越所述第二采样时间表的所述机器人的多个姿态相关联的多个方程，所述关联是所述参考坐标系和所述相机系统相对于所述机器人的姿态的所述参考点的函数；并且其中所述确定包括：找到对于所述多个方程的解，以确定所述参考坐标系的指示和所述相机系统的所述参考点的指示。
3.根据权利要求2所述的方法，其中构建所述多个方程包括：对于所述相机系统的姿态的多个指示中的所述相机系统的姿态的每个指示，识别所述机器人的相应对应姿态，所述机器人的所述相应对应姿态基于所述机器人的姿态的所述多个指示的所述机器人的姿态的一个或多个指示。
4.根据权利要求3所述的方法，其中所述第一采样时间表和所述第二采样时间表相差一个时间偏差，并且对于所述相机系统的所述姿态的指示，所识别的所述机器人的相应对应姿态包括基于所述机器人的姿态的所述一个或多个指示对所述机器人内插的内插姿态，所述机器人的内插姿态是在如下时间的所述机器人的姿态，即，所述时间与获得所述机器人的姿态的所述多个指示中的一个指示时间相差等于时间偏移的时间量。
5.根据权利要求4所述的方法，其中所述时间偏移最初是未知的，并且其中找到对于所述多个方程的所述解包括：利用找到对于所述多个方程的所述解以确定所述参考坐标系的指示和所述相机系统的所述参考点的指示来找到用于所述时间偏移的解；或者首先找到对于所述时间偏移的解，然后使用对于所述时间偏移的解以找到对于所述多个方程的解。
6.根据权利要求1所述的方法，其中所述机器人的姿态由所述机器人的安装法兰的姿态表示。
7.根据权利要求1所述的方法，其中所述机器人的姿态由所述机器人的关节测量表示。
8.根据权利要求1所述的方法，其中所获得的所述相机系统的姿态的多个指示和所获得的所述机器人的姿态的多个指示基于所述机器人获得环境场景的图像而被获得，并且其中所述方法进一步包括：使用图像配准方法将所述环境的至少部分场景的图像拼接在一起。
9.根据权利要求1所述的方法，其中所述比较在缺乏所述场景的特征之间的距离的知识的情况下被执行。
10.根据权利要求1所述的方法，其中所述场景包括未知特性的特征。
11.根据权利要求1所述的方法，其中所确定的所述相机系统的参考点的指示用作针对所述相机系统的参考点的自动校准，并且其中所述方法进一步包括：使用测量的机器人位置和所确定的所述相机系统的参考点的指示，将由所述机器人获得的环境的至少部分场景的图像拼接在一起。
12.根据权利要求1所述的方法，进一步包括：
识别由所述机器人成像的场景的场景空间中的特征的位置；
使用所确定的所述参考坐标系的指示、以及所确定的所述参考坐标系的指示与所识别的所述场景空间中的所述特征的位置之间的关系，以识别所述特征在机器人空间中的位置；以及
提供所识别的所述特征在机器人空间中的位置，以通知所述机器人的定位。
13.根据权利要求1所述的方法，其中获得所述相机系统的姿态的多个指示和获得所述机器人的姿态的多个指示与机器人运动和机器人操作的环境的第一扫描区域的成像相关联，并且所述确定确定所述参考坐标系的指示和针对所述第一扫描区域的所述相机系统的参考点的所述指示，并且其中所述方法进一步包括：
与机器人运动和所述环境的至少一个其它扫描区域的成像相关联地、重复获得所述相机系统的姿态的多个指示和获得所述机器人的姿态的多个指示；以及
重复所述确定，以确定参考坐标系的指示和针对所述至少一个其它扫描区域的所述相机系统的参考点的指示。
14.一种被配置为执行方法的计算机系统，所述方法包括：
对于第一采样时间表的多个时间的每个时间，获得机器人的相机系统的姿态相对于参考坐标系的相应指示，所述相机系统的姿态的相应指示基于环境的场景的多个三维图像的比较，所述获得提供所述相机系统的姿态的多个指示；
对于第二采样时间表的多个时间的每个时间，获得所述机器人的姿态的相应指示，所述获得提供所述机器人的姿态的多个指示；以及
使用所述相机系统的姿态的多个指示和所述机器人的姿态的多个指示，确定所述参考坐标系的指示和所述相机系统的参考点相对于所述机器人的姿态的指示。
15.根据权利要求14所述的计算机系统，其中使用所述相机系统的姿态的多个指示和所述机器人的姿态的多个指示包括：构建将跨越所述第一采样时间表的所述相机系统的多个姿态与跨越所述第二采样时间表的所述机器人的多个姿态相关联的多个方程，所述关联是所述参考坐标系和所述相机系统相对于所述机器人姿态的所述参考点的函数；并且其中所述确定包括：找到对于所述多个方程的解，以确定所述参考坐标系的指示和所述相机系统的所述参考点的指示。
16.根据权利要求14所述的计算机系统，其中所述场景包括未知特性的特征。
17.根据权利要求14所述的计算机系统，其中所述方法进一步包括：
识别由所述机器人成像的场景的场景空间中的特征的位置；
使用所确定的所述参考坐标系的指示、以及所确定的所述参考坐标系的指示与所识别的所述场景空间中的所述特征的位置之间的关系，以识别所述特征在机器人空间中的位置；以及
提供所识别的所述特征在机器人空间中的位置，以通知所述机器人的定位。
18.一种计算机程序产品，包括：
计算机可读存储介质，能由处理器读取并且存储用于由所述处理器执行的指令，以用于执行方法，所述方法包括：
对于第一采样时间表的多个时间的每个时间，获得机器人的相机系统的姿态相对于参考坐标系的相应指示，所述相机系统的姿态的相应指示基于环境的场景的多个三维图像的比较，所述获得提供所述相机系统的姿态的多个指示；
对于第二采样时间表的多个时间的每个时间，获得所述机器人的姿态的相应指示，所述获得提供所述机器人的姿态的多个指示；以及
使用所述相机系统的姿态的多个指示和所述机器人的姿态的多个指示，确定所述参考坐标系的指示和所述相机系统的参考点相对于所述机器人的姿态的指示。
19.根据权利要求18所述的计算机程序产品，其中使用所述相机系统的姿态的多个指示和所述机器人的姿态的多个指示包括：构建将跨越所述第一采样时间表的所述相机系统的多个姿态与跨越所述第二采样时间表的所述机器人的多个姿态相关联的多个方程，所述关联是所述参考坐标系和所述相机系统相对于所述机器人姿态的所述参考点的函数；并且其中所述确定包括：找到对于所述多个方程的解，以确定所述参考坐标系的指示和所述相机系统的所述参考点的指示。
20.根据权利要求18所述的计算机程序产品，其中所述场景包括未知特性的特征。
CN201680079119.XA 2015-11-16 2016-11-15 帮助机器人定位 Active CN109313417B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/941,823 US10173324B2 (en) 2015-11-16 2015-11-16 Facilitating robot positioning
US14/941,823 2015-11-16
PCT/US2016/062059 WO2017087398A1 (en) 2015-11-16 2016-11-15 Facilitating robot positioning

Publications (2)

Publication Number Publication Date
CN109313417A true CN109313417A (zh) 2019-02-05
CN109313417B CN109313417B (zh) 2021-09-24

Family

ID=58691170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680079119.XA Active CN109313417B (zh) 2015-11-16 2016-11-15 帮助机器人定位

Country Status (4)

Country Link
US (1) US10173324B2 (zh)
EP (1) EP3377948B1 (zh)
CN (1) CN109313417B (zh)
WO (1) WO2017087398A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109900207A (zh) * 2019-03-12 2019-06-18 精诚工科汽车系统有限公司 机器人视觉工具的工具中心点标定方法及系统
CN110347162A (zh) * 2019-07-29 2019-10-18 南京市晨枭软件技术有限公司 一种工业机器人路径自动修正的方法及系统
CN111319041A (zh) * 2020-01-17 2020-06-23 深圳市优必选科技股份有限公司 一种机器人位姿确定方法、装置、可读存储介质及机器人
CN113597362A (zh) * 2019-03-25 2021-11-02 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
DE102016212695B4 (de) * 2016-05-31 2019-02-21 Siemens Aktiengesellschaft Industrieroboter
JP6420296B2 (ja) * 2016-12-01 2018-11-07 ファナック株式会社 ロボットの干渉領域を自動で設定するロボット制御装置
US10435179B2 (en) * 2017-04-18 2019-10-08 Electroimpact, Inc. Camera assisted robotic system for locating the end of a fastener extending through an aircraft part during manufacture thereof
JP7003454B2 (ja) * 2017-06-15 2022-01-20 オムロン株式会社 制御装置、位置制御システム、位置制御方法、および、位置制御プログラム
EP3422501B1 (en) * 2017-06-28 2021-04-28 ABB Schweiz AG Robot for unmanned operation and maintenance in an indoor medium or high voltage switchgear station
TWI672207B (zh) * 2017-11-03 2019-09-21 財團法人工業技術研究院 機械設備之定位系統及其方法
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
JP6888580B2 (ja) * 2018-04-05 2021-06-16 オムロン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7064586B2 (ja) * 2018-06-05 2022-05-10 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
EP3818341A4 (en) * 2018-07-06 2022-03-16 Brain Corporation SYSTEMS, METHODS AND DEVICES FOR CALIBRATION OF DEVICE MOUNTED SENSORS
WO2020051923A1 (en) * 2018-09-15 2020-03-19 Qualcomm Incorporated Systems And Methods For VSLAM Scale Estimation Using Optical Flow Sensor On A Robotic Device
WO2020140164A1 (en) 2019-01-03 2020-07-09 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating a high-definition map
JP7190919B2 (ja) 2019-01-25 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント 画像解析システム
JP7309371B2 (ja) * 2019-01-25 2023-07-18 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
EP3930964A1 (en) * 2019-02-27 2022-01-05 ABB Schweiz AG Method and system for robotic assembly
KR102615685B1 (ko) * 2019-05-30 2023-12-18 엘지전자 주식회사 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN110480631A (zh) * 2019-07-19 2019-11-22 五邑大学 一种应用于搬运机器人的目标搬运方法及其搬运机器人
EP4093578A4 (en) * 2020-01-22 2023-10-18 Abb Schweiz Ag ROBOT ACTUATING SYSTEM AND METHOD, ELECTRONIC DEVICE AND COMPUTER READABLE MEDIUM
EP4094050A4 (en) * 2020-01-22 2023-10-25 Abb Schweiz Ag METHOD AND ELECTRONIC DEVICE, SYSTEM AND COMPUTER READABLE MEDIUM FOR TIME CALIBRATION
US11282233B1 (en) * 2020-09-08 2022-03-22 Weta Digital Limited Motion capture calibration
US11232595B1 (en) 2020-09-08 2022-01-25 Weta Digital Limited Three-dimensional assembly for motion capture calibration
CN112329530B (zh) * 2020-09-30 2023-03-21 北京航空航天大学 支架的安装状态检测方法、设备及系统
CN112269386B (zh) * 2020-10-28 2024-04-02 深圳拓邦股份有限公司 对称环境重定位方法、装置及机器人
US12115685B2 (en) * 2021-07-12 2024-10-15 Midea Group Co., Ltd. Fast and robust initialization method for feature-based monocular visual SLAM using inertial odometry assistance
CN113676279B (zh) * 2021-08-23 2024-09-06 追觅创新科技(苏州)有限公司 时间同步方法、设备、存储介质及系统
CN114700962B (zh) * 2022-03-22 2023-09-29 南京航空航天大学 一种用于长臂展高空作业复合机器人的末端位姿精度补偿方法
US11717974B1 (en) * 2022-06-10 2023-08-08 Sanctuary Cognitive Systems Corporation Haptic photogrammetry in robots and methods for operating the same

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044308A (en) * 1997-06-13 2000-03-28 Huissoon; Jan Paul Method and device for robot tool frame calibration
US20090234502A1 (en) * 2008-03-12 2009-09-17 Denso Wave Incorporated Apparatus for determining pickup pose of robot arm with camera
JP2012133753A (ja) * 2010-11-19 2012-07-12 Mitsubishi Electric Research Laboratories Inc 物体の姿勢を求める方法及びシステム
CN102612423A (zh) * 2009-11-12 2012-07-25 株式会社安川电机 机器人及其控制装置
CN102896630A (zh) * 2011-07-25 2013-01-30 索尼公司 机器人装置及其控制方法、计算机程序以及机器人系统
CN103085084A (zh) * 2013-01-29 2013-05-08 山东电力集团公司电力科学研究院 一种用于高压带电作业机器人的视觉系统及工作方法
CN103153553A (zh) * 2010-08-27 2013-06-12 Abb研究有限公司 视觉引导对准系统和方法
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
US20140002597A1 (en) * 2012-06-29 2014-01-02 Mitsubishi Electric Research Laboratories, Inc. Tracking Poses of 3D Camera Using Points and Planes
WO2014161603A1 (en) * 2013-04-05 2014-10-09 Abb Technology Ltd A robot system and method for calibration
JP2014237188A (ja) * 2013-06-07 2014-12-18 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
US20150120057A1 (en) * 2012-02-29 2015-04-30 Irobot Corporation Mobile Robot
US20150201180A1 (en) * 2013-07-23 2015-07-16 The Regents Of The University Of California 3-d motion estimation and online temporal calibration for camera-imu systems
CN104835173A (zh) * 2015-05-21 2015-08-12 东南大学 一种基于机器视觉的定位方法
EP2917001A2 (en) * 2012-11-09 2015-09-16 Harris Corporation Hybrid gesture control haptic system
CN105014667A (zh) * 2015-08-06 2015-11-04 浙江大学 一种基于像素空间优化的相机与机器人相对位姿标定方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10345743A1 (de) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
WO2008036354A1 (en) * 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
DE102009041734B4 (de) * 2009-09-16 2023-11-02 Kuka Roboter Gmbh Vermessung eines Manipulators
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US9132551B2 (en) * 2012-11-30 2015-09-15 Abb Technology Ag Teleoperated industrial robots

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044308A (en) * 1997-06-13 2000-03-28 Huissoon; Jan Paul Method and device for robot tool frame calibration
US20090234502A1 (en) * 2008-03-12 2009-09-17 Denso Wave Incorporated Apparatus for determining pickup pose of robot arm with camera
CN102612423A (zh) * 2009-11-12 2012-07-25 株式会社安川电机 机器人及其控制装置
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN103153553A (zh) * 2010-08-27 2013-06-12 Abb研究有限公司 视觉引导对准系统和方法
JP2012133753A (ja) * 2010-11-19 2012-07-12 Mitsubishi Electric Research Laboratories Inc 物体の姿勢を求める方法及びシステム
CN102896630A (zh) * 2011-07-25 2013-01-30 索尼公司 机器人装置及其控制方法、计算机程序以及机器人系统
US20150120057A1 (en) * 2012-02-29 2015-04-30 Irobot Corporation Mobile Robot
US20140002597A1 (en) * 2012-06-29 2014-01-02 Mitsubishi Electric Research Laboratories, Inc. Tracking Poses of 3D Camera Using Points and Planes
EP2917001A2 (en) * 2012-11-09 2015-09-16 Harris Corporation Hybrid gesture control haptic system
CN103085084A (zh) * 2013-01-29 2013-05-08 山东电力集团公司电力科学研究院 一种用于高压带电作业机器人的视觉系统及工作方法
WO2014161603A1 (en) * 2013-04-05 2014-10-09 Abb Technology Ltd A robot system and method for calibration
JP2014237188A (ja) * 2013-06-07 2014-12-18 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
US20150201180A1 (en) * 2013-07-23 2015-07-16 The Regents Of The University Of California 3-d motion estimation and online temporal calibration for camera-imu systems
CN104835173A (zh) * 2015-05-21 2015-08-12 东南大学 一种基于机器视觉的定位方法
CN105014667A (zh) * 2015-08-06 2015-11-04 浙江大学 一种基于像素空间优化的相机与机器人相对位姿标定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BIAO ZHANG，CARLOS MARTINEZ，JIANJUN WANG等: "The Challenges of Integrating an Industrial Robot on a Mobile", 《IEEE》 *
BIAO ZHANG,CARLOS MARTINEZ等: "Vision-guided Robotic Assembly", 《IEEE》 *
BIAO ZHANG,JIANJUN WANG，CARLOS MARTINEZ等: "Vision-guided Robot Alignment for Scalable,Flexible Assembly", 《IEEE》 *
BIAO ZHANG,JIANJUN WANG等: "Semiautonomous Industrial Mobile Manipulation for Industrial", 《IEEE》 *
JÜRGEN MICHAEL HESS: "Efficient Approaches to Cleaning", 《TECHNISCHE FAKULTÄT ALBERT-LUDWIGS-UNIVERSITÄT FREIBURG IM BREISGAU》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109900207A (zh) * 2019-03-12 2019-06-18 精诚工科汽车系统有限公司 机器人视觉工具的工具中心点标定方法及系统
CN113597362A (zh) * 2019-03-25 2021-11-02 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
CN113597362B (zh) * 2019-03-25 2024-05-24 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
US12036663B2 (en) 2019-03-25 2024-07-16 Abb Schweiz Ag Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
CN110347162A (zh) * 2019-07-29 2019-10-18 南京市晨枭软件技术有限公司 一种工业机器人路径自动修正的方法及系统
CN111319041A (zh) * 2020-01-17 2020-06-23 深圳市优必选科技股份有限公司 一种机器人位姿确定方法、装置、可读存储介质及机器人

Also Published As

Publication number Publication date
EP3377948A1 (en) 2018-09-26
WO2017087398A1 (en) 2017-05-26
EP3377948B1 (en) 2021-01-06
CN109313417B (zh) 2021-09-24
US10173324B2 (en) 2019-01-08
US20170136626A1 (en) 2017-05-18
EP3377948A4 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
CN109313417A (zh) 帮助机器人定位
US11127203B2 (en) Leveraging crowdsourced data for localization and mapping within an environment
EP4015984A1 (en) Selective tracking of a head-mounted display
CN108627153B (zh) 一种基于惯性传感器的刚体运动追踪系统及其工作方法
JP5897624B2 (ja) ワークの取出工程をシミュレーションするロボットシミュレーション装置
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
JP5920352B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20150062123A1 (en) Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
US9378559B2 (en) System and method for motion estimation
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
CN108846857A (zh) 视觉里程计的测量方法及视觉里程计
JP2015199155A (ja) 情報処理装置および情報処理方法、プログラム
JP2017134617A (ja) 位置推定装置、プログラム、位置推定方法
CN109186596B (zh) Imu测量数据生成方法、系统、计算机装置及可读存储介质
EP2933604A1 (en) A method for localizing a robot in a localization plane
Gratal et al. Visual servoing on unknown objects
CN109767470A (zh) 一种跟踪系统初始化方法及终端设备
Huai et al. Real-time large scale 3D reconstruction by fusing Kinect and IMU data
KR102456872B1 (ko) 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법
Fang et al. A motion tracking method by combining the IMU and camera in mobile devices
CN103903253A (zh) 一种可移动终端定位方法及系统
TWI822423B (zh) 運算裝置及模型產生方法
JPWO2021111613A1 (ja) ３次元地図作成装置、３次元地図作成方法、及び３次元地図作成プログラム
Nabipour et al. Visual servoing in a cable robot using Microsoft Kinect v2 sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant