CN104602869A - 基于具有摄像机的远程移动装置的视觉追踪的机器人控制 - Google Patents

Abstract

移动装置的以视觉为基础的追踪用以远程控制机器人。例如，由移动装置俘获的图像，例如在视频流中，用于所述移动装置相对于成像环境的姿态的以视觉为基础的追踪。所述移动装置的所述姿态(即，所述移动装置的轨迹)的改变经确定且转换到远离所述移动装置的机器人的所要的运动。接着控制所述机器人随所述所要的运动而移动。使用通过倒转手-眼睛校准变换产生的变换将所述移动装置的所述轨迹转换到所述机器人的所述所要的运动。

Description

基于具有摄像机的远程移动装置的视觉追踪的机器人控制

对相关申请案的交叉参考

本申请案主张2012年9月5日申请且题为“机器人控制信息”的美国申请案第13/604,470号的优先权，所述申请案转让给本受让人且被以引用的方式并入本文中。

技术领域

本文中描述的标的物的实施例大体与机械臂有关，且更明确地说，与控制机械臂的运动有关。

背景技术

机械臂有时用以(例如)按高度准确方式但重复方式移动物件。控制机械臂(例如，指定所要的运动或轨迹)可能困难且耗时。例如，可通过将机械臂人工移动到各种所要的位置来对机械臂编程。然而，机械臂的所得运动可能为不希望的。通过实例，可能需要机械臂模仿典型的手动作。人工移动机械臂不大可能产生在手运动中发现的自然移动。

发明内容

移动装置的以视觉为基础的追踪用以远程控制机器人。例如，由移动装置俘获的图像(例如，在视频流中)用于移动装置相对于成像环境的姿态的以视觉为基础的追踪。移动装置的姿态(即，移动装置的轨迹)的改变经确定且转换到远离移动装置的机器人的所要的运动。接着控制机器人随所要的运动而移动。使用通过倒转手-眼睛校准变换产生的变换将移动装置的轨迹转换到机器人的所要的运动。

在一个实施方案中，一种方法包含：随对于远离移动装置的机器人的所要的运动而移动所述移动装置，所述移动装置具有摄像机；使用由所述摄像机俘获的图像确定所述移动装置的轨迹；将所述移动装置的所述轨迹转换成所述机器人的所述所要的运动；以及控制所述机器人随所述所要的运动而移动。

在一个实施方案中，一种移动装置包含：摄像机，其用于在移动所述移动装置时俘获环境的图像；无线接口，其用于与远程机器人控制器通信；以及处理器，其经耦合以接收所述俘获的图像且耦合到所述无线接口，所述处理器经配置以使用所述俘获的图像确定所述移动装置的轨迹，将所述移动装置的所述轨迹转换成远程机器人的所要的运动，和使所述无线接口将所述远程机器人的所述所要的运动传输到所述远程机器人控制器。

在一个实施方案中，一种用于控制机器人的控制器，所述控制器包含：外部接口，其用于与远程移动装置通信，所述远程移动装置具有用于俘获在随对于所述机器人的所要的运动而移动时的环境的图像的摄像机；机器人接口，其用于通信且控制机器人；以及处理器，其耦合到所述外部接口和所述机器人接口，所述处理器经配置以将使用所述俘获的图像确定所述远程移动装置的轨迹转换到所述机器人的所要的运动，和通过所述机器人接口控制所述机器人随所述所要的运动而移动。

在一个实施方案中，一种系统包含：用于使用在随对于远离移动装置的机器人的所要的运动而移动所述移动装置时由所述移动装置俘获的图像确定移动装置的轨迹的装置；用于将所述移动装置的所述轨迹转换成所述机器人的所述所要的运动的装置；以及用于控制所述机器人随所述所要的运动而移动的装置。

在一个实施方案中，一种存储媒体包含存储于其上的程序代码，包含使用在随对于远离移动装置的机器人的所要的运动而移动所述移动装置时由所述移动装置俘获的图像确定所述移动装置的轨迹的程序代码；将所述移动装置的所述轨迹转换成所述机器人的所述所要的运动的程序代码；以及控制所述机器人随所述所要的运动而移动的程序代码。

附图说明

图1说明包含可用以控制远程机器人的运动的具有摄像机的移动装置的系统。

图2说明用以产生用于将移动装置的轨迹转换到机器人的所要的运动的变换的手-眼睛校准过程。

图3为说明基于以视觉为基础的追踪使用远程移动装置控制机器人的方法的流程图。

图4为说明校准移动装置的轨迹到机器人的所要的运动的变换的方法的流程图。

图5为能够以视觉为基础的追踪和通信以对远程机器人控制或编程的移动装置的框图。

图6为能够基于由远程移动装置无线提供的以视觉为基础的追踪信息控制机器人的控制器的框图。

具体实施方式

图1说明包含可用以控制远程机器人120的运动的具有摄像机102的移动装置100的系统。移动装置100包含以视觉为基础的追踪模块101，其使用常在例如扩增实境的应用中使用的以视觉为基础的追踪来追踪移动装置100相对于环境物件106的姿态。如图1中所说明，移动装置100通过无线网络115与用于机械臂120的控制器130通信，且移动装置100的姿态(即，移动装置100的轨迹)的改变被转换成指令以控制机械臂120。

因此，使用移动装置100，机器人(例如，机械臂120)可经编程或控制以当将移动装置100保持在用户的手中时使用以视觉为基础的追踪重复移动装置100的运动。可控制机器人(例如)以移动在臂的末端的夹具，或移动机器人的其它方面，包含所述整个机器人。使用移动装置100控制或编程机械臂120可在测试中以及在需要自动化的情形(例如，指导性目的、游戏间等)中发现有用途。在远程操作中，机器人可实时地模仿如由以视觉为基础的追踪模块在移动装置(例如，供扩增实境使用的移动装置)上测量的手运动。在游戏间中，机器人可重复玩家的轨迹。在测试环境中，在移动装置100中使用以视觉为基础的追踪模块编程或控制机械臂的运动可替代程序设计机器人轨迹的耗时常规过程。另外，可远程实时控制机器人以用于(例如)灾难管理。机器人可在手移动时实时地或通过将手运动保存在文件中使得机器人可因此在稍后时间移动而离线模仿手运动或其它所要的运动。

如本文中所使用，移动装置指任何便携式电子装置，例如，蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)或其它合适的移动装置。移动装置可能能够接收无线通信且可能能够有线通信。术语“移动装置”也希望包含(例如)通过短程无线、红外线、缆线连接或其它连接与个人导航装置(PND)通信的装置，而不管在装置处或在PND处是否发生卫星信号接收、辅助数据接收和/或位置相关处理。并且，“移动装置”希望包含能够俘获其环境的图像(或视频)的所有电子装置，包含无线通信装置、计算机、膝上型计算机、平板计算机等。

移动装置100使用以视觉为基础的追踪来追踪相对于环境的姿态。例如，移动装置100俘获环境物件106的在显示器104中说明的图像，从所述图像确定移动装置100相对于物件106的当前姿态。移动装置100相对于物件106的姿态(即，轨迹)的改变(如由箭头108说明)可由此(例如)由移动装置100或控制器130确定。移动装置100的轨迹(例如)由移动装置100或控制器130使用变换转换到机械臂120的运动的指令。例如，可将移动装置100的轨迹转换到以用于机器人的内部坐标系统表达的用于机器人的所要的运动。控制器130可接着基于移动装置100的轨迹控制机械臂120移动，如由箭头122所说明。如果需要，移动装置100可用以实时地控制机械臂120或可用以编程机械臂120的移动，在此之后，在无来自移动装置100的进一步输入的情况下，机械臂120移动。

移动装置100的当前姿态、移动装置的轨迹和移动装置的轨迹到用于机械臂120的移动的指令的变换中的一些或所有可由移动装置100或控制器130确定。例如，移动装置100可经由网络115将俘获的图像数据(例如，俘获的图像或从图像提取的特征)提供到控制器130，且控制器130可使用以视觉为基础的追踪以及轨迹和轨迹的变换确定移动装置100的当前姿态。替代地，移动装置100可确定当前姿态且经由网络将当前姿态提供到控制器130，在所述情况下，控制器130接着确定移动装置100的轨迹和轨迹的变换。移动装置100可确定当前姿态和轨迹且经由网络115将轨迹提供到控制器130，在所述情况下，控制器130确定轨迹的变换。移动装置100可确定当前姿态、轨迹和轨迹的变换，且经由网络115将轨迹的变换提供到控制器130。

可使用使用熟知手-眼睛校准过程产生的变换来执行移动装置100的轨迹到机械臂120的移动的变换。图2通过实例说明手-眼睛校准过程，其中移动装置100由机械臂120固持。通过按预定运动(如由箭头124说明)将移动装置100与机械臂120一起移动，确定移动装置100的训练轨迹。基于预定运动和训练轨迹，产生手-眼睛校准，其充当校准变换。通过倒转手-眼睛校准来产生将移动装置100的轨迹转换到用于机械臂120的移动的指令的变换。可通过将训练轨迹从移动装置100提供到机械臂控制器130(例如，经由无线网络115)来产生校准变换，其中控制器130确定且倒转手-眼睛校准。替代地，可通过经由无线网络115将机械臂120的预定运动提供到移动装置100来产生校准变换，且移动装置100确定校准变换，且如果需要，倒转校准变换。

图3为说明通过以视觉为基础的追踪使用移动装置控制机器人(例如，机械臂或其它适当类型的机器人)的方法的流程图。如可看出，校准将移动装置的轨迹转换到机器人的所要的运动的变换(202)。使具有摄像机的移动装置随对于远离移动装置的机器人的所要的运动而移动(204)。使用由摄像机俘获的图像(例如，视频流)确定移动装置的轨迹(206)。可(例如)通过检测移动装置与成像的物件之间的姿态的改变来确定轨迹。将移动装置的轨迹转换成机器人的所要的运动(208)。例如，可将移动装置100的轨迹转换到以用于机器人的内部坐标系统表达的对于机器人的所要的运动。可产生控制信息以用于机器人随所要的运动而移动(210)。产生控制信息可包含控制机器人(例如)移动在臂的末端的夹具，或移动机器人的其它方面，包含移动整个机器人。用于机器人随所要的运动而移动的产生的控制信息可用以用所要的运动编程机器人或实时或离线地控制机器人。

图4为说明在图3的步骤202中论述的校准变换以将移动装置的轨迹转换到机器人的所要的运动的方法的流程图。如可在图3中看出，移动装置耦合到机器人(252)。例如，机械臂可固持移动装置或移动装置可以其它方式临时附接到机器人。在确定移动装置的训练轨迹时移动机器人(254)。例如，在移动机器人时，移动装置俘获环境中的物件的图像，从所述图像确定移动装置相对于物件的姿态，接着确定姿态的轨迹或改变。使用机器人的运动和移动装置的训练轨迹，产生机器人的运动到移动装置的训练轨迹的校准变换(256)。因此，例如，可产生校准变换，以用于以用于机器人的内部坐标系统表达的机器人到移动装置100的训练轨迹的运动。倒转校准变换以产生移动装置的轨迹到机器人的所要的运动的变换(258)，将其存储在存储器中(260)。

图5为能够以视觉为基础的追踪和通信以对远程机器人控制或编程的移动装置100的框图。移动装置100包含用于俘获图像(例如，在视频流中)的摄像机102。移动装置100进一步包含无线接口103，其用以经由图1中展示的网络115与机器人通信，例如，经由控制器130。如上文所论述，移动装置100可经由无线接口103传输图像数据，例如，图像或从图像提取的特征，其中控制器130使用图像数据追踪移动装置100且相应地控制机器人。替代地，移动装置100可追踪其姿态且经由无线接口103传输姿态数据(即，当前姿态或轨迹)，其中控制器130使用姿态数据相应地控制机器人。另外，移动装置100可追踪其姿态且将姿态数据变换到用于控制机器人的指令，可经由无线接口103来传输指令。

无线接口103可用于各种无线通信网络中，例如，无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等等。术语“网络”与“系统”常可互换地使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如，cdma2000、宽带CDMA(W-CDMA)等等。cdma2000包含IS-95、IS-2000和IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字先进移动电话系统(D-AMPS)或某一其它RAT。GSM和W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中。cdma2000描述于来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中。3GPP和3GPP2文献可公开获得。WLAN可为IEEE 802.11x网络，且WPAN可为网络、IEEE 802.15x或某一其它类型的网络。此外，可使用WWAN、WLAN和/或WPAN的任何组合。

移动装置100可进一步包含用户接口107，其包含显示器104、小键盘或其它输入装置，通过所述输入装置，用户可将信息输入到移动装置100内。如果需要，可通过将虚拟小键盘集成到具有触摸传感器的显示器104内来消除小键盘。用户接口107还可包含麦克风和扬声器，例如，如果移动装置100为蜂窝式电话或类似者。当然，移动装置100可包含与本发明不相关的其它元件。

移动装置100也包含连接到摄像机102和无线接口103且与摄像机102和无线接口103通信的控制模块105。控制模块105接受且处理来自摄像机102的图像，且经由网络115将数据提供到无线接口103供传输。控制模块105可由总线105b、处理器105p和相关联的存储器105m、硬件105h、固件105f和软件105s提供。进一步将控制模块105说明为包含以视觉为基础的追踪模块101，其使用由摄像机102提供的图像的以视觉为基础的追踪来追踪移动装置100相对于环境的姿态。移动装置100可使用任一已知类型的以视觉为基础的追踪。以视觉为基础的追踪模块101提供被变换成用于控制机器人的指令的姿态数据。例如，由以视觉为基础的追踪模块101提供的姿态数据可为移动装置的轨迹(即，移动装置的姿态的改变)或仅为移动装置100的当前姿态，可将当前姿态提供到控制器130，在所述情况下，控制器130确定移动装置100的轨迹。另外，如图5中所说明，移动装置100可进一步包含变换模块109，其将姿态数据变换成机器人的所要的运动，所要的运动可由无线接口103传输。

为了清楚起见，以视觉为基础的追踪模块101和变换模块109被相互且与处理器105p分开来说明，但可为处理器105p的部分或基于在处理器105p中运行的软件105s中的指令实施于处理器中。如本文中所使用，应理解，处理器105p可但不是必须包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)和类似者。术语处理器希望描述由系统而非具体硬件所实施的功能。此外，如本文中所使用，术语“存储器”指任何类型的计算机存储媒体，包含长期存储器、短期存储器或与移动装置相关联的其它存储器，且不应限于任何特定类型的存储器或特定数目的存储器，或其上存储有存储器的特定类型的媒体。

取决于应用，可由各种装置来实施本文中所描述的方法。例如，这些方法可以在硬件105h、固件113f、软件105s或其任何组合中实施。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元或其组合内。

对于固件和/或软件实施方案，可用执行本文中所描述的功能的模块(例如，程序、函数等等)实施方法。在实施本文中所描述的方法过程中，可使用任何有形地体现指令的机器可读媒体。例如，软件代码可存储在存储器105m中且由处理器105p执行。存储器105m可在处理器105p内或外部实施。如果在固件和/或软件中实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读的存储媒体上，其中所述存储媒体不包含暂时性传播信号。实例包含编码有数据结构的存储媒体和编码有计算机程序的存储装置。存储媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制，此类存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何其它可用以存储呈指令或数据结构的形式的所要的程序代码并且可由计算机存取的媒体；如本文中所使用，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上的组合也应包含在存储媒体的范围内。

图6为能够基于由远程移动装置100无线提供的以视觉为基础的追踪信息控制机器人的控制器130的框图。控制器130包含外部接口132，其用以经由网络115接收图像数据(例如，图像特征从由移动装置100俘获的图像提取的特征)或姿态数据(例如，移动装置100的轨迹或当前姿态)。

外部接口132可为到路由器(未图示)的有线接口，或在例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等等的任何各种无线通信网络中使用的无线接口。术语“网络”与“系统”常可互换地使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如，cdma2000、宽带CDMA(W-CDMA)等等。cdma2000包含IS-95、IS-2000和IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字先进移动电话系统(D-AMPS)或某一其它RAT。GSM和W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中。cdma2000描述于来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中。3GPP和3GPP2文献可公开获得。WLAN可为IEEE 802.11x网络，且WPAN可为网络、IEEE 802.15x或某一其它类型的网络。此外，可使用WWAN、WLAN和/或WPAN的任何组合。

控制器130进一步包含机器人接口134，控制器130可通过所述机器人接口控制机器人。机器人接口可为任何有线或无线接口。控制器130可进一步包含用户接口136，其可包含(例如)显示器以及小键盘或其它输入装置，用户可通过输入装置将信息输入到控制器130内。

控制器130还包含控制模块140，其连接到外部接口132和机器人接口134且与外部接口132和机器人接口134通信。控制模块140接受且处理经由外部接口132从移动装置100接收的姿态数据或图像数据，且作为回应，经由机器人接口134控制机器人。控制模块140可由总线140b、处理器140p和相关联的存储器140m、硬件140h、固件140f和软件140s提供。控制模块140可进一步包含以视觉为基础的追踪模块141以在图像数据由移动装置100提供的情况下使用以视觉为基础的追踪来追踪移动装置100相对于环境的姿态。控制器130可使用任一已知类型的以视觉为基础的追踪。以视觉为基础的追踪模块141提供被变换成用于控制机器人的指令的轨迹。控制器130包含变换模块143，其将经由外部接口132从移动装置100或从以视觉为基础的追踪模块141接收的姿态数据变换成机器人的所要的运动，经由机器人接口134将所要的运动传输到机器人。

为了清楚起见，以视觉为基础的追踪模块141和变换模块143被相互且与处理器140p分开来说明，但可为处理器140p的部分或基于在处理器140p中运行的软件140s中的指令实施于处理器中。如本文中所使用，应理解，处理器140p可但不是必须包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)和类似者。术语处理器希望描述由系统而非具体硬件所实施的功能。此外，如本文中所使用，术语“存储器”指任何类型的计算机存储媒体，包含长期存储器、短期存储器或与移动装置相关联的其它存储器，且不应限于任何特定类型的存储器或特定数目的存储器，或其上存储有存储器的特定类型的媒体。

取决于应用，可由各种装置来实施本文中所描述的方法。例如，这些方法可以在硬件140h、固件140f、软件140s或其任何组合中实施。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元或其组合内。

对于固件和/或软件实施方案，可用执行本文中所描述的功能的模块(例如，程序、函数等等)实施方法。在实施本文中所描述的方法过程中，可使用任何有形地体现指令的机器可读媒体。例如，软件代码可存储在存储器140m中且由处理器140p执行。存储器140m可在处理器140p内或外部实施。如果在固件和/或软件中实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读的存储媒体上，其中所述存储媒体不包含暂时性传播信号。实例包含编码有数据结构的存储媒体和编码有计算机程序的存储装置。存储媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制，此类存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何其它可用以存储呈指令或数据结构的形式的所要的程序代码并且可由计算机存取的媒体；如本文中所使用，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上的组合也应包含在存储媒体的范围内。

因此，系统包含用于使用在随对于远离移动装置的机器人的所要的运动而移动所述移动装置时由所述移动装置俘获的图像确定移动装置的轨迹的装置，其可为(例如)以视觉为基础的追踪模组101、141，或执行从软件104s、140s接收的指令的处理器105p、140p。用于将移动装置的轨迹转换成机器人的所要的运动的装置可为(例如)变换模组109、143，或执行从软件104s、140s接收的指令的处理器105p、140p。用于控制机器人随所要的运动而移动的装置可为(例如)使无线接口103经由网络115将所要的运动提供到控制器130的处理器105p或使机器人接口134将适当控制信号提供到机器人的处理器140p。另外，系统可进一步包含用于校准移动装置的轨迹到机器人的所要的运动的变换的装置，其可为(例如)变换模组109、143，或执行从软件104s、140s接收的指令的处理器105p、140p。

尽管出于指导性目的，结合具体实施例来说明本发明，但本发明不限于此。在不脱离本发明的范围的情况下可作出各种改编和修改。因此，不应将所附权利要求书的精神和范围限于前述描述。

Claims (33)

1.一种方法，其包括：

随对于远离移动装置的机器人的所要的运动而移动所述移动装置，所述移动装置具有摄像机；

使用由所述摄像机俘获的图像确定所述移动装置的轨迹；

将所述移动装置的所述轨迹转换成所述机器人的所述所要的运动；以及

产生控制信息以用于所述机器人随所述所要的运动而移动。

2.根据权利要求1所述的方法，其进一步包括校准将所述移动装置的所述轨迹转换到所述机器人的所述所要的运动的变换，其中将所述移动装置的所述轨迹转换成所述机器人的所述所要的运动包括使用所述变换。

3.根据权利要求2所述的方法，其中校准所述变换包括：

将所述移动装置耦合到所述机器人；

在确定所述移动装置的训练轨迹时移动所述机器人；

使用所述机器人的所述移动和所述移动装置的所述训练轨迹产生所述机器人的所述移动到所述移动装置的所述训练轨迹的校准变换；以及

倒转所述校准变换以产生所述移动装置的所述轨迹到所述机器人的所述所要的运动的所述变换。

4.根据权利要求1所述的方法，其中产生控制信息以用于所述机器人随所述所要的运动而移动包括用所述所要的运动编程所述机器人。

5.根据权利要求1所述的方法，其中产生控制信息以用于所述机器人随所述所要的运动而移动包括实时或离线地控制所述机器人。

6.根据权利要求1所述的方法，其中使用由所述摄像机俘获的所述图像确定所述移动装置的所述轨迹包括检测所述移动装置与成像的物件之间的姿态的改变。

7.根据权利要求1所述的方法，其中所述机器人为机械臂。

8.根据权利要求1所述的方法，其中所述移动装置的所述轨迹经转换成用于所述机器人的内部坐标系统。

9.一种移动装置，其包括：

摄像机，其用于在移动所述移动装置时俘获环境的图像；

无线接口，其用于与远程机器人控制器通信；以及

处理器，其经耦合以接收所述俘获的图像且耦合到所述无线接口，所述处理器经配置以使用所述俘获的图像确定所述移动装置的轨迹，将所述移动装置的所述轨迹转换成远程机器人的所要的运动，和使所述无线接口将所述远程机器人的所述所要的运动传输到所述远程机器人控制器。

10.根据权利要求9所述的移动装置，所述处理器经进一步配置以校准将所述移动装置的所述轨迹转换到所述远程机器人的所述所要的运动的变换，其中所述处理器经配置以使用所述变换将所述移动装置的所述轨迹转换成所述远程机器人的所述所要的运动。

11.根据权利要求10所述的移动装置，其中所述处理器经配置以通过经配置以进行以下操作校准将所述移动装置的所述轨迹转换到所述远程机器人的所述所要的运动的所述变换：

在所述远程机器人固持所述移动装置时和在所述远程机器人的移动期间，确定所述移动装置的训练轨迹；

使用所述远程机器人的所述移动和所述训练轨迹产生所述远程机器人的所述移动到所述移动装置的所述训练轨迹的校准变换；以及

倒转所述校准变换以产生所述移动装置的所述轨迹到所述远程机器人的所述所要的运动的所述变换。

12.根据权利要求9所述的移动装置，其中所述处理器经配置以通过经配置以检测所述移动装置与成像的物件之间的姿态的改变使用所述俘获的图像确定所述移动装置的所述轨迹。

13.一种用于控制机器人的控制器，所述控制器包括：

外部接口，其用于与远程移动装置通信，所述远程移动装置具有用于在随对于所述机器人的所要的运动而移动时俘获环境的图像的摄像机；

机器人接口，其用于通信和控制所述机器人；以及

处理器，其耦合到所述外部接口和所述机器人接口，所述处理器经配置以将使用所述俘获的图像确定的所述远程移动装置的轨迹转换到所述机器人的所述所要的运动，和通过所述机器人接口控制所述机器人随所述所要的运动而移动。

14.根据权利要求13所述的控制器，其中所述处理器通过所述外部接口从所述远程移动装置接收所述轨迹。

15.根据权利要求13所述的控制器，其中所述处理器通过所述外部接口从所述远程移动装置接收姿态数据，所述处理器经进一步配置以使用所述姿态数据确定所述远程移动装置的所述轨迹。

16.根据权利要求13所述的控制器，其中所述处理器通过所述外部接口从所述远程移动装置接收图像数据，所述处理器经进一步配置以使用所述图像数据确定所述远程移动装置的所述轨迹。

17.根据权利要求16所述的控制器，其中所述处理器经配置以通过经配置以检测所述远程移动装置与成像的物件之间的姿态的改变使用所述图像数据确定所述远程移动装置的所述轨迹。

18.根据权利要求13所述的控制器，其中所述处理器经进一步配置以校准将所述远程移动装置的所述轨迹转换到所述机器人的所述所要的运动的变换，其中所述处理器经配置以使用所述变换将所述远程移动装置的所述轨迹转换成所述机器人的所述所要的运动。

19.根据权利要求18所述的控制器，其中所述处理器经配置以通过经配置以进行以下操作校准将所述远程移动装置的所述轨迹转换到所述机器人的所述所要的运动的所述变换：

当所述机器人固持所述远程移动装置时引起所述机器人的移动；

使用所述机器人的所述移动和从当固持所述远程移动装置时的所述机器人的所述移动确定的所述远程移动装置的训练轨迹产生所述机器人的所述移动到所述远程移动装置的所述训练轨迹的校准变换；以及

倒转所述校准变换以产生所述远程移动装置的所述轨迹到所述远程机器人的所述所要的运动的所述变换。

20.根据权利要求13所述的控制器，其中所述处理器经配置以通过经配置以用所述所要的运动编程所述机器人来控制所述机器人随所述所要的运动而移动。

21.根据权利要求13所述的控制器，其中所述处理器经配置以通过经配置以实时或离线地控制所述机器人来控制所述机器人随所述所要的运动而移动。

22.根据权利要求13所述的控制器，其中所述机器人为机械臂。

23.根据权利要求13所述的控制器，其中所述移动装置的所述轨迹经转换成用于所述机器人的内部坐标系统。

24.一种系统，其包括：

用于使用在随对于远离移动装置的机器人的所要的运动而移动所述移动装置时由所述移动装置俘获的图像确定所述移动装置的轨迹的装置；

用于将所述移动装置的所述轨迹转换成所述机器人的所述所要的运动的装置；以及

用于产生控制信息以用于所述机器人随所述所要的运动而移动的装置。

25.根据权利要求24所述的系统，其进一步包括用于校准将所述移动装置的所述轨迹转换到所述机器人的所述所要的运动的变换的装置，其中用于将所述移动装置的所述轨迹转换成所述机器人的所述所要的运动的所述装置使用所述变换。

26.根据权利要求25所述的系统，其中用于校准所述变换的所述装置确定在所述机器人固持所述移动装置时和在所述机器人的移动期间所述移动装置的训练轨迹，使用所述机器人的所述移动和所述训练轨迹产生所述机器人的所述移动到所述移动装置的所述训练轨迹的校准变换；以及倒转所述校准变换以产生所述移动装置的所述轨迹到所述机器人的所述所要的运动的所述变换。

27.根据权利要求24所述的系统，其中用于产生用于所述机器人的控制信息的所述装置用所述所要的运动编程所述机器人。

28.根据权利要求24所述的系统，其中用于产生用于所述机器人的控制信息的所述装置实时或离线地控制所述机器人。

29.根据权利要求24所述的系统，其中用于使用由所述移动装置俘获的所述图像确定所述移动装置的所述轨迹的所述装置检测所述移动装置与成像的物件之间的姿态的改变。

30.根据权利要求24所述的系统，其中所述移动装置的所述轨迹经转换成用于所述机器人的内部坐标系统。

31.一种包含存储于其上的程序代码的存储媒体，其包括：

使用在随对于远离移动装置的机器人的所要的运动而移动所述移动装置时由所述移动装置俘获的图像确定所述移动装置的轨迹的程序代码；

将所述移动装置的所述轨迹转换成所述机器人的所述所要的运动的程序代码；以及

产生控制信息以用于所述机器人随所述所要的运动而移动的程序代码。

32.根据权利要求31所述的存储媒体，其进一步包括校准将所述移动装置的所述轨迹转换到所述机器人的所述所要的运动的变换的程序代码，其中将所述移动装置的所述轨迹转换成所述机器人的所述所要的运动的所述程序代码使用所述变换。

33.根据权利要求32所述的存储媒体，校准所述变换的所述程序代码包括：

在所述机器人固持所述移动装置时和在所述机器人的移动期间确定所述移动装置的训练轨迹的程序代码；

使用所述机器人的所述移动和所述训练轨迹产生所述机器人的所述移动到所述移动装置的所述训练轨迹的校准变换的程序代码；以及

倒转所述校准变换以产生所述移动装置的所述轨迹到所述机器人的所述所要的运动的所述变换的程序代码。