CN116782849A

CN116782849A - 用于识别目标的多臂机器人系统

Info

Publication number: CN116782849A
Application number: CN202280012672.7A
Authority: CN
Inventors: I·朱克; Y·什马亚胡; Y·乌什皮津; E·策哈维; D·朱尼奥
Original assignee: Mazor Robotics Ltd
Current assignee: Mazor Robotics Ltd
Priority date: 2021-02-01
Filing date: 2022-01-30
Publication date: 2023-09-19

Abstract

本发明提供了用于跟踪目标的姿态和/或跟踪该目标的系统和方法。第一机器人臂可被配置成定向第一成像装置并且第二机器人臂可被配置成定向第二成像装置。该第一机器人臂和该第二机器人臂可在共享或公共坐标空间中操作。可从该第一成像装置接收第一图像并且可从该第二成像装置接收第二图像。该第一图像和该第二图像可描绘至少一个目标。可基于该第一图像、对应的第一姿态、该第二图像和对应的第二姿态来确定该至少一个目标在该坐标空间中的姿态。

Description

用于识别目标的多臂机器人系统

技术领域

本技术整体涉及识别目标，并且更具体地涉及使用多臂机器人系统识别目标的位置和/或跟踪该目标。

背景技术

外科手术机器人可用于在外科手术期间固持一个或多个工具或装置，并且可自主地(例如，在手术期间不具有任何人类输入)、半自主地(例如，在手术期间具有一些人类输入)或非自主地(例如，仅在人类输入的指导下)操作。

发明内容

本公开的示例性方面包括：

一种根据本公开的至少一个实施方案的用于跟踪目标的姿态的系统包括：第一机器人臂，该第一机器人臂被配置成定向第一成像装置；第二机器人臂，该第二机器人臂被配置成定向第二成像装置，其中该第一机器人臂和该第二机器人臂在共享坐标空间中操作；至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，该指令在被执行时使该至少一个处理器：从该第一成像装置接收第一图像，该第一图像描绘至少一个目标；从该第二成像装置接收第二图像，该第二图像描绘该至少一个目标；接收对应于该第一成像装置在该坐标空间中的第一姿态的第一姿态信息和对应于该第二成像装置在该坐标空间中的第二姿态的第二姿态信息；以及基于该第一图像、该第一姿态、该第二图像和该第二姿态来确定该至少一个目标在该坐标空间中的姿态。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：基于该第一图像、该第二图像、该第一姿态和该第二姿态来计算该至少一个目标的三维体积。

本文的方面中的任一方面，其中该第一机器人臂被配置成除了该第一成像装置之外还定向工具。

本文的方面中的任一方面，其中该至少一个目标是切口，并且其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：使该第二成像装置跟踪在患者上形成的该切口。

本文的方面中的任一方面，其中该第一机器人臂被配置成定向工具，并且其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：在该第二成像装置检测到该切口的移动时更新该第一机器人臂的路径。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：使该第二成像装置获得该至少一个目标的三维扫描。

本文的方面中的任一方面，其中使该第二成像装置获得该三维扫描包括：计算多个姿态以获得该三维扫描并且使该第二机器人臂以该多个姿态中的每个姿态定向该第二成像装置。

本文的方面中的任一方面，其中该第二成像装置包括被配置成生成三维图像的一对立体相机。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：计算该第一成像装置的第一组姿态和该第二成像装置的第二组姿态；使该第一机器人臂以该第一组姿态中的每个姿态定向该第一成像装置以产生第一组图像并且使该第二机器人臂以该第二组姿态中的每个姿态定向该第二成像装置以产生第二组图像，该第一组图像和该第二组图像中的每组图像描绘该至少一个目标；以及基于该第一组图像、该第一组姿态、该第二组图像和该第二组姿态来更新该至少一个目标的姿态确定。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：从该第一成像装置接收姿态图像，该姿态图像描绘该第二机器人臂；当获得该姿态图像时，接收对应于该第一成像装置的姿态的姿态信息；以及基于该姿态图像和该姿态信息来确定该第二机器人臂在该坐标空间中的姿态。

一种根据本公开的至少一个实施方案的用于确定机器人臂的姿态的系统包括：第一机器人臂；第一成像装置，该第一成像装置固定到该第一机器人臂；参考标记，该参考标记设置在该第一机器人臂上；第二机器人臂，其中该第一机器人臂和该第二机器人臂在公共坐标空间中操作；第二成像装置，该第二成像装置固定到该第二机器人臂；至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，该指令在被执行时使该至少一个处理器：从该第一成像装置接收第一图像，该第一图像描绘该参考标记；从该第二成像装置接收第二图像，该第二图像描绘该第一机器人臂；接收对应于该第一成像装置的第一姿态的第一姿态信息和对应于该第二成像装置的第二姿态的第二姿态信息；以及基于该第一图像、该第一姿态、该第二图像和该第二姿态来确定该第二机器人臂的姿态。

本文的方面中的任一方面，其中该至少一个存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：在该公共坐标空间中控制该第一机器人臂和该第二机器人臂以避免该第一机器人臂和该第二机器人臂之间的碰撞。

本文的方面中的任一方面，其中该第一机器人臂被配置成定向工具。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：使用该第一组图像和该第二组图像生成该至少一个目标的三维图像。

一种根据本公开的至少一个实施方案的用于跟踪目标的系统包括：第一机器人臂，该第一机器人臂被配置成支撑和操作工具；第二机器人臂，其中该第一机器人臂和该第二机器人臂被配置成在相同坐标空间中操作；成像装置，该成像装置固定到该第二机器人臂；至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，该指令在被执行时使该至少一个处理器：使该成像装置识别目标的移动；使该第一机器人臂沿着工具路径定向该工具；以及在该成像装置识别到该目标的移动时更新该工具路径。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：从该成像装置接收至少一个图像，该至少一个图像描绘该目标；接收对应于该成像装置的至少一个姿态的姿态信息；以及基于该至少一个图像和该姿态信息来确定该目标的姿态。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：从该成像装置接收多个图像，该多个图像描绘该目标；接收对应于该成像装置的多个姿态的姿态信息，该多个姿态中的每个姿态对应于该多个图像中的一个图像；以及基于该多个图像和该姿态信息来确定该目标的姿态。

本文的方面中的任一方面，其中该成像装置是第二成像装置，并且该系统还包括：第一成像装置，该第一成像装置固定到该第一机器人臂。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：从该第一成像装置接收至少一个第一图像并且从该第二成像装置接收至少一个第二图像；接收对应于该第一成像装置的至少一个第一姿态的第一姿态信息和对应于该第二成像装置的至少一个第二姿态的第二姿态信息；以及基于该至少一个第一图像、该至少一个第一姿态、该至少一个第二图像和该至少一个第二姿态来确定该目标的姿态。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：接收包括对应于目标的姿态的信息的外科手术计划。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：使该成像装置获得该目标的三维扫描。

本文的方面中的任一方面，根据权利要求16所述的系统，其中该成像装置是被配置成当该目标在患者内部时对该目标进行成像的超声装置或X射线装置中的至少一者。

本文的方面中的任一方面，其中该成像装置是被配置成当该目标在患者外部时对该目标进行成像的光学相机或红外相机中的至少一者。

本文的方面中的任一方面，其中该目标是切口端口、切口、销钉、螺钉或参考标记中的至少一者。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：使该第二机器人臂重新定向该成像装置以将该目标保持在该成像装置的视场中。

一种根据本公开的至少一个实施方案的用于跟踪目标的系统包括：第一机器人臂，该第一机器人臂被配置成支撑和操作工具；第二机器人臂，其中该第一机器人臂和该第二机器人臂在公共坐标空间中是可控制的；成像装置，该成像装置固定到该第二机器人臂；至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，该指令在被执行时使该至少一个处理器：接收具有关于该目标的初始姿态的信息的外科手术计划；从该成像装置接收至少一个图像，该至少一个图像描绘该目标；接收对应于该成像装置的至少一个姿态的姿态信息；以及基于该至少一个图像和该至少一个姿态来更新该目标的该初始姿态以产生该目标的经更新的姿态。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：基于该至少一个图像和该至少一个姿态来确定该目标的边界。

本文的方面中的任一方面，其中该存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：使该成像装置识别该目标的移动；使该第一机器人臂沿着路径移动该工具；以及在该成像装置识别到该目标的移动时更新该路径。

本文的方面中的任一方面，其中该至少一个存储器存储用于由该至少一个处理器执行的附加指令，该附加指令在被执行时进一步使该至少一个处理器：控制该第一机器人臂以避开该目标。

本文的方面中的任一方面，其中该成像装置包括被配置成生成三维图像的一对立体相机。

任何方面与任一个或多个其他方面组合。

本文所公开特征中的任一个或多个特征。

本文大体上公开特征中的任一个或多个特征。

本文大体上公开的特征中的任一个或多个特征与本文大体上公开的任一个或多个其他特征组合。

方面/特征/实施方案中的任一个与任一个或多个其他方面/特征/实施方案组合。

使用本文所公开的方面或特征中的任一个或多个方面或特征。

应当了解，本文所述的任何特征可与如本文所述的任何其他特征组合来要求保护，而不管特征是否来自同一描述的实施方案。

本公开的一个或多个方面的细节在以下附图和描述中阐述。根据说明书和附图以及权利要求书，本公开中描述的技术的其他特征、目的和优点将是显而易见的。

短语“至少一个”、“一个或多个”以及“和/或”是在操作中具有连接性和分离性两者的开放式表述。例如，表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”中一者意指仅A、仅B、仅C、A和B一起、A和C一起、B和C一起，或A、B和C一起。当上述表述中的A、B和C中的每一者都指诸如X、Y和Z的一个元素或诸如X₁-X_n、Y₁-Y_m和Z₁-Z_o的一类元素时，短语意图指选自X、Y和Z的单个元素、选自同一类的元素(例如，X₁和X₂)的组合以及选自两类或更多类的元素(例如，Y₁和Z_o)的组合。

术语“一个(a/an)”实体是指一个或多个该实体。因此，术语“一个(a/an)”、“一个或多个”和“至少一个”在本文中可以可互换地使用。还应当注意，术语“包括(comprising/including)”、和“具有”可以可互换地使用。

前述内容是本公开的简化概述以提供对本公开的一些方面的理解。本发明内容既不是对本公开及其各个方面、实施方案和配置的广泛性概述也不是详尽性概述。其既不意图确定本公开的关键或重要元素，也不意图划定本公开的范围，而是以简化形式呈现本公开的选定概念，作为对下文呈现的更详细描述的介绍。如应当了解的，本公开的其他方面、实施方案和配置可能单独或组合地利用上文所阐述或下文所详细描述的特征中的一个或多个。

在考虑下文提供的实施方案描述之后，本发明的许多附加特征和优点对于本领域技术人员将变得显而易见。

附图说明

附图并入并形成本说明书的一部分以示出本公开的几个示例。这些附图连同描述一起解释本公开的原理。附图仅示出如何实施和使用本公开的优选和替代示例，并且这些示例不应解释为仅将本公开限制于所示出和所描述的示例。另外的特征和优点将根据以下对本公开的各个方面、实施方案和配置的更详细的描述变得显而易见，如通过以下参考的附图所示出。

图1是根据本公开的至少一个实施方案的系统的框图；

图2A是根据本公开的至少一个实施方案的系统的图；

图2B是根据本公开的至少一个实施方案的系统的图；

图3是根据本公开的至少一个实施方案的方法的流程图；

图4是根据本公开的至少一个实施方案的方法的流程图；

图5是根据本公开的至少一个实施方案的方法的流程图；并且

图6是根据本公开的至少一个实施方案的方法的流程图。

具体实施方式

应当理解，本文所公开的各个方面可以与说明书和附图中具体呈现的组合不同的组合进行组合。还应当理解，取决于示例或实施方案，本文所述的任何过程或方法的某些动作或事件可以不同的顺序执行，和/或可添加、合并或完全省略(例如，根据本公开的不同实施方案，实施所公开技术可能不需要所有描述的动作或事件)。此外，虽然为了清楚起见，本公开的某些方面被描述为由单个模块或单元执行，但应当理解，本公开的技术可由与例如计算装置和/或医疗装置相关联的单元或模块的组合执行。

在一个或多个示例中，所描述的方法、过程和技术可在硬件、软件、固件或它们的任何组合中实施。如果在软件中实施，则功能可作为一个或多个指令或代码存储在计算机可读介质上并且由基于硬件的处理单元执行。计算机可读介质可包括非暂时性计算机可读介质，其对应于有形介质，诸如数据存储介质(例如，RAM、ROM、EEPROM、闪存存储器，或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。

指令可由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器(例如，Intel Core i3、i5、i7或i9处理器；Intel Celeron处理器；Intel Xeon处理器；Intel Pentium处理器；AMD Ryzen处理器；AMD Athlon处理器；AMD Phenom处理器；Apple A10或10X Fusion处理器；Apple A11、A12、A12X、A12Z或A13 Bionic处理器；或任何其他通用微处理器)、图形处理单元(例如，Nvidia GeForce RTX 2000系列处理器、NvidiaGeForce RTX 3000系列处理器、AMD Radeon RX 5000系列处理器、AMD Radeon RX 6000系列处理器或任何其他图形处理单元)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路系统。因此，如本文所用的术语“处理器”可指前述结构或适合于实施所描述的技术的任何其他物理结构中的任一种。另外，本技术可在一个或多个电路或逻辑元件中完全实施。

在详细地解释本公开的任何实施方案之前，应当理解，本公开在其应用方面不限于以下描述中阐述或附图中示出的构造细节和部件布置。本公开能够具有其他实施方案并且能够以各种方式实践或实施。另外，应当理解，本文所用的措词和术语是出于描述的目的，而不应被视为是限制性的。本文中使用“包括(including/comprising)”、或“具有”及其变化形式意在涵盖其后列出的项目及其等效物，以及附加项目。此外，本公开可使用示例来示出其一个或多个方面。除非另有明确说明，否则使用或列出一个或多个示例(其可由“例如(for example)”、“借助于示例”、“例如(e.g.)”、“诸如”或类似语言指示)不意图且并不限制本公开的范围。

在机器人或导航的外科手术中，诸如导航系统和/或机器人系统的支持系统的准确性可影响外科手术或外科手术规程的成功。在使用导航系统的外科手术规程中，导航系统可通过用一个或多个参考标记维持视线来维持一个或多个部件的位置的准确性。在使用机器人系统的外科手术规程中，机器人系统可对患者组织执行一个或多个动作，该患者组织在一个或多个动作的执行期间(由于施加到组织上的力)可能移动。因此，需要跟踪和校正任何所识别的移动。

本公开的实施方案提供了包含两个或更多个机器人臂的机器人系统。每个机器人臂可安装有相机或以其他方式支撑相机。两个或更多个机器人臂可用于协同地定位工具和/或识别目标。每个相机的位置是已知的(因为相机安装在机器人臂上并且每个机器人臂的位置是已知的)，并且这两个已知的相机位置的组合可提供定位工具和/或识别目标的增加的准确性。在一些实施方案中，两个图像(无论是来自每个相机还是来自单个相机)的组合可用于计算所识别的目标的三维体积。在一些实施方案中，机器人臂中的一个或两个机器人臂可利用围绕特定区域的相机执行扫描运动，以获得目标的更多观察角度或视角。在此类扫描期间获得的图像可提高一个或多个所识别的工具和/或目标位置的准确性。在一些实施方案中，机器人臂可自动地改变其“围绕”目标的位置，以获得更多的角度并提高所识别的目标位置的准确性。

在一些实施方案中，机器人臂可支撑工具并利用该工具执行动作，并且一个或多个不同机器人臂可利用一个或多个相机跟踪该动作。在一些实施方案中，机器人臂可使用相机来跟踪参考标记或患者解剖结构上的记号。在一些实施方案中，安装到机器人臂的相机可从多于一个方向扫描参考标记或记号，以提高参考标记或记号的所识别的位置的准确性。在一些实施方案中，机器人臂可将标记留在患者解剖结构中或将其插入到患者解剖结构中，该标记然后可用于跟踪患者解剖结构的位置的变化。在此类实施方案中，安装到留下或插入标记的相同机器人臂或以其他方式由该相同机器人臂支撑的相机，或安装到不同机器人臂或以其他方式由该不同机器人臂支撑的相机可跟踪该标记。

在一些实施方案中，机器人臂可在患者解剖结构上制作切口或执行任何其他动作，并且然后跟踪该切口的位置或动作的结果。例如，机器人臂可支撑工具并且使用该工具来在患者的皮肤上制作切口和/或利用该工具穿透到患者的解剖结构中，然后取出或移除该工具。相同和/或不同机器人臂可使用一个或多个相机来识别和辨识该切口的位置，并且然后可基于如使用相机识别的切口或其他端口的位置来将相同或不同工具引导到该切口或其他端口并插入其中。在一些实施方案中，切口将由环或端口标记，该环或端口将保持切口打开并促进其容易辨识。

在一些实施方案中，一个机器人臂(或多于一个机器人臂)可用于辨识或识别不同机器人臂的位置和配置(例如，取向)。所识别的位置和配置可用于将不同机器人臂准确地定位和/或放置在空间中。在一些实施方案中，机器人臂将辨识由不同机器人臂支撑的工具的位置并校正不同机器人臂的定位。

本公开的实施方案提供了对以下问题的技术解决方案：(1)确定目标的姿态、位置或取向；(2)跟踪目标的移动；(3)基于所跟踪的目标的移动来调整工具、器械或植入物的路径；(4)增加目标(无论是工具、器械、植入物、机器人臂或任何其他对象)的姿态、位置或取向的准确性；(5)增加机器人辅助或机器人外科手术期间的患者安全性。

首先转向图1，示出了根据本公开的至少一个实施方案的系统100的框图。系统100可用于例如：确定目标的姿态；识别目标的移动；基于所识别的移动来调整工具路径；确定机器人臂的姿态；在公共坐标空间中控制第一机器人臂和第二机器人臂；执行本文所公开的方法中的一种或多种方法的一个或多个方面；用于导航目的；使用多个机器人执行完全自主的和/或机器人辅助的外科手术；或用于任何其他有用的目的。

系统100包括计算装置102、成像装置132、机器人136、导航系统156、数据库160和云164。尽管前述内容，但根据本公开的其他实施方案的系统可省略计算装置102、导航系统156、数据库160和/或云164中的任何一者或多者。另外，根据本公开的其他实施方案的系统可不同地布置系统100的一个或多个部件(例如，成像装置132、机器人136和/或导航系统156中的一者或多者可包括图1中作为计算装置102的部分示出的部件中的一个或多个部件)。更进一步地，根据本公开的其他实施方案的系统可包括本文所述的部件中的任何部件中的两个或更多个部件，包括例如成像装置132、机器人136和/或数据库160。

计算装置102包括至少一个处理器104、至少一个通信接口108、至少一个用户接口112和至少一个存储器116。根据本公开的其他实施方案的计算装置可省略通信接口108和用户接口112中的一者或两者。

计算装置102的至少一个处理器104可以是本文所识别或描述的任何处理器或任何类似处理器。至少一个处理器104可被配置成执行存储在至少一个存储器116中的指令124，该指令124可使至少一个处理器104利用或基于例如从成像装置132、机器人136、导航系统156、数据库160和/或云164接收的数据来实施一个或多个计算步骤。

计算装置102还可包括至少一个通信接口108。至少一个通信接口108可用于从外部源(诸如，成像装置132、机器人136、导航系统156、数据库160、云164和/或便携式存储介质(例如，USB驱动器、DVD、CD))接收图像数据或其他信息，和/或用于将指令、图像或其他信息从至少一个处理器104和/或计算装置102更一般地传输到外部系统或装置(例如，另一计算装置102、成像装置132、机器人136、导航系统156、数据库160、云164和/或便携式存储介质(例如，USB驱动器、DVD、CD))。至少一个通信接口108可包括一个或多个有线接口(例如，USB端口、以太网端口、火线端口)和/或一个或多个无线接口(被配置成例如经由诸如802.11a/b/g/n、蓝牙、低功耗蓝牙、NFC、ZigBee等等的一个或多个无线通信协议来传输信息)。在一些实施方案中，至少一个通信接口108可用于使得计算装置102能够与一个或多个其他处理器104或计算装置102通信，无论是为了减少完成计算密集型任务所需的时间还是出于任何其他原因。

至少一个用户接口112可以是或包括键盘、鼠标、轨迹球、监测器、电视、触摸屏、按钮、操纵杆、开关、杠杆、头戴式耳机、眼镜、可穿戴装置和/或用于从用户接收信息和/或用于将信息提供到计算装置102的用户的任何其他装置。至少一个用户接口112可用于例如：接收与本文所述的任何方法的任何步骤相关的用户选择或其他用户输入；接收关于计算装置102、成像装置132、机器人136和/或系统100的另一部件的一个或多个可配置设置的用户选择或其他用户输入；接收关于如何存储和/或传送由计算装置102接收、修改和/或生成的数据和/或将该数据存储和/或传送到何处的用户选择或其他用户输入；和/或基于由计算装置102接收、修改和/或生成的数据而向用户显示信息(例如，文本、图像)和/或播放声音。尽管在系统100中包括至少一个用户接口112，但系统100可自动地(例如，在不具有经由至少一个用户接口112的任何输入的情况下或以其他方式)实施本文所述的任何方法的步骤中的一个或多个步骤或所有步骤。

虽然至少一个用户接口112示出为计算装置102的部分，但在一些实施方案中，计算装置102可利用与计算装置102的一个或多个其余部件分开容纳的用户接口112。在一些实施方案中，用户接口112可被定位为接近计算装置102的一个或多个其他部件，而在其他实施方案中，用户接口112可被定位为远离计算机装置102的一个或多个其他部件。

至少一个存储器116可以是或包括RAM、DRAM、SDRAM、其他固态存储器、本文所述的任何存储器或用于存储计算机可读数据和/或指令的任何其他有形非暂态存储器。至少一个存储器116可存储可用于完成例如本文所述的方法300、400、500和/或600的任何步骤的信息或数据。至少一个存储器116可存储例如关于一个或多个坐标系122的信息(例如，关于对应于机器人136的机器人坐标系或空间的信息、关于导航坐标系或空间的信息、关于患者坐标系或空间的信息)；用于由至少一个处理器104执行，例如以使至少一个处理器104实施方法300、400、500和/或600的步骤中的一个或多个步骤的指令124；和/或用于由处理器用来实施完成方法300、400、500和/或600的步骤中的一个或多个步骤所需的任何计算(例如，以确定目标的姿态等等)或用于任何其他计算的一种或多种算法128。在一些实施方案中，此类指令124和/或算法128可被组织成一个或多个应用程序、模块、包、层或引擎，并且可使至少一个处理器104操纵存储在至少一个存储器116中和/或从系统100的另一部件或经由该另一部件接收的数据。至少一个存储器116还可存储一个或多个外科手术计划120。

成像装置132可操作以对解剖特征(例如，骨、静脉、组织等)和/或患者解剖结构的其他方面、目标、跟踪标记和/或成像装置132的视场内的任何外科手术器械或工具进行成像，以产生图像数据(例如，描绘或对应于骨、静脉、组织、植入物、工具等的图像数据)。成像装置132可以能够拍摄二维(“2D”)图像或三维(“3D”)图像以产生图像数据。如本文所使用的“图像数据”是指由成像装置132生成或捕获的包括呈机器可读形式、图形/视觉形式和呈任何其他形式的数据。在不同示例中，图像数据可包括与患者的解剖特征或其一部分相对应的数据。成像装置132可以是或包括例如超声扫描仪(其可包括例如物理上分离的换能器和接收器，或单个超声收发器)、雷达系统(其可包括例如传输器、接收器、处理器和一个或多个天线)、O型臂、C型臂、G型臂或利用基于X射线的成像的任何其他装置(例如，荧光镜、CT扫描仪或其他X射线机)、磁共振成像(MRI)扫描仪、光学相干断层扫描扫描仪、内窥镜、显微镜、热成像相机(例如，红外相机)、立体相机或适合于获得患者的解剖特征的图像的任何其他成像装置132。成像装置132还可包括具有至少两个透镜的相机，并且来自每个透镜的图像可用于形成3D图像。

在一些实施方案中，成像装置132可包括多于一个成像装置132。例如，第一成像装置可以提供第一图像数据和/或第一图像，并且第二成像装置可以提供第二图像数据和/或第二图像。在其他实施方案中，同一成像装置可用于提供第一图像数据和第二图像数据两者和/或本文所描述的任何其他图像数据。在另一示例中，两个成像装置132可支撑在单个机器人臂148上以同时从不同角度捕获图像(该图像可用于形成3D图像)。成像装置132可用于生成图像数据流。例如，成像装置132可被配置成利用打开的快门来操作，或利用在打开与关闭之间连续交替的快门来操作以便捕获连续图像。

机器人136可以是任何外科手术机器人或外科手术机器人系统。机器人136可以是或包括例如Mazor X^TM隐形版机器人引导系统。机器人136可包括支撑机器人臂148的基座140。机器人136可包括一个或多个机器人臂148(例如，一些机器人136可包括两个机器人臂148、三个机器人臂148、四个机器人臂148或另一数量的机器人臂148)。在一些实施方案中，每个机器人臂148可辅助外科手术规程(例如，通过支撑一个或多个成像装置132、一个或多个工具和/或一个或多个器械)和/或自动地实施外科手术规程。

每个机器人臂148可具有三个、四个、五个、六个或更多个自由度。

机器人136还包括一个或多个传感器144。传感器144可以是被配置成检测施加(例如，无论是经由机器人臂148的端部执行器、由机器人臂148的端部执行器固持的工具，还是以其他方式)在机器人臂148上的力的力传感器。传感器144可以是惯性测量单元传感器、位置传感器、接近传感器、磁力计或加速度计。在一些实施方案中，传感器144可以是线性编码器、旋转编码器或增量编码器。在其他实施方案中，传感器144可以是成像传感器。其他类型的传感器也可用作传感器144。一个或多个传感器144可定位在例如机器人臂148上或其他地方。

来自一个或多个传感器144的数据可被提供给机器人136的处理器、计算装置102的处理器104和/或导航系统156。该数据可用于计算机器人臂148、机器人臂148的端部执行器和/或附接到(无论是经由端部执行器还是以其他方式)机器人臂148的工具或其他装置的姿态。计算不仅可基于从传感器144接收的数据，还可基于关于例如机器人136或其一部分或者任何其他相关对象的数据或信息(诸如例如，物理尺寸)，该数据或信息可被存储在例如计算装置102的存储器116或任何其他存储器中。该数据还可用于检测由机器人臂148接收的力(其可以是由机器人臂148支撑的工具接收的力)是否超过预定阈值。

一个或多个跟踪标记152可牢固地固定到或定位在机器人136上，无论是在基座140、机器人臂148上和/或其他地方。在一些实施方案中，一个或多个跟踪标记152可附加地或另选地附连到系统100的一个或多个其他部件。在其他实施方案中，一个或多个跟踪标记152可被固定到患者(例如，以标记切口)。跟踪标记152可用于使得导航系统156能够确定和/或跟踪机器人136(或一个或多个跟踪标记152所固定到的任何其他部件)的位置。在一些实施方案中，一个或多个跟踪标记152(或类似跟踪标记)可被附连到经受外科手术规程的患者，以便使得成像装置132、导航系统156或另一系统或装置能够跟踪患者的位置。

系统100的导航系统156可在手术期间为外科医生和/或机器人136提供导航。导航系统156可以是任何现在已知的或将来开发的导航系统，包括例如美敦力(Medtronic)StealthStation^TMS8外科手术导航系统。导航系统156可包括相机或用于检测和/或跟踪一个或多个参考标记、导航跟踪标记或手术室或进行外科手术规程的其他房间内的其他目标的其他传感器。在各个实施方案中，导航系统156可用于跟踪每个机器人136的机器人臂148(或更具体地，附接到机器人臂148的一个或多个跟踪标记152)的位置。导航系统156可用于跟踪一个或多个参考系、标记或阵列或其他结构的位置，该参考系、标记或阵列或其他结构用于由导航系统156的相机或其他传感器检测。导航系统156可用于例如检测安装到患者的参考系的位置和/或一个或多个机器人臂148的位置。导航系统156可包括用于显示来自外部源(例如，计算装置102、成像装置132、数据库160、云164或另一源)的一个或多个图像或来自导航系统156的相机或其他传感器的视频流的显示器。在一些实施方案中，系统100可在不使用导航系统156的情况下操作。

数据库160可存储将一个坐标系122关联到另一坐标系(例如，将一个或多个机器人坐标系关联到患者坐标系和/或导航坐标系)的信息。数据库160可附加地或另选地存储：例如，关于或对应于跟踪标记152的一个或多个特性的信息；一个或多个外科手术计划120(包括例如关于目标的姿态信息和/或关于在外科手术部位处和/或接近外科手术部位的患者的解剖结构的图像信息，以供机器人136、导航系统156和/或计算装置102或系统100的用户使用)；结合由系统100的一个或多个其他部件完成的或在这些部件的协助下完成的外科手术的一个或多个有用的图像；和/或任何其他有用的信息。数据库160可被配置为将任何此类信息提供到计算装置102或提供到系统100的任何其他装置或系统100外部的任何其他装置，无论直接地或经由云164。在一些实施方案中，数据库160可以是或包括医院图像存储系统的部分，诸如图片存档与通信系统(PACS)、健康信息系统(HIS)和/或用于收集、存储、管理和/或传输包括图像数据的电子医疗记录的另一系统。

云164可以是或表示互联网或任何其他广域网。计算装置102可经由通信接口108使用有线连接、无线连接或两者连接到云164。在一些实施方案中，计算装置102可经由云164与数据库160和/或外部装置(例如，计算装置)通信。

转向图2A和图2B，示出了根据本公开的至少一个实施方案的系统200的两个不同实施方案的框图。图2A或图2B中的系统200包括计算装置202(其可与上文所述的计算装置102相同或类似)、导航系统256(其可与上文所述的导航系统156相同或类似)和机器人236(其可与上文所述的机器人136相同或类似)。根据本公开的其他实施方案的系统可包括比系统200更多或更少的部件。例如，系统200可以不包括导航系统256。

如图所示，机器人214包括第一机器人臂247(其可包括由一个或多个关节247B连接的一个或多个构件247A)和第二机器人臂248(其可包括由一个或多个关节248B连接的一个或多个构件248A)，每个机器人臂从基座240延伸。在其他实施方案中，机器人236可包括一个机器人臂或者两个或更多个机器人臂。基座240可以是固定式的或可移动的。第一机器人臂247和第二机器人臂248在共享或公共坐标空间中操作。通过在公共坐标空间中操作，第一机器人臂247和第二机器人臂248避免在使用期间彼此碰撞，因为每个机器人臂247、248的位置是彼此已知的。换句话讲，由于第一机器人臂247和第二机器人臂248中的每个机器人臂在相同公共坐标空间中具有已知位置，因此可自动地避免碰撞，因为第一机器人臂247和第二机器人臂248的控制器知道这两个机器人臂的位置。

在一些实施方案中，一个或多个成像装置232(其可与上文所述的成像装置132相同或类似)可设置或支撑在第一机器人臂247和/或第二机器人臂248的端部上。在其他实施方案中，成像装置232可设置或固定到第一机器人臂247和/或第二机器人臂248的任何部分。在其他实施方案中，一个或多个工具202或器械可设置在第一机器人臂247和第二机器人臂248中的每个机器人臂的端部上，但工具或器械可设置在第一机器人臂247和/或第二机器人臂248的任何部分上。在另外的实施方案中，工具212和成像装置232两者可被支撑在同一机器人臂247上。在其他实施方案中，任何一个或多个工具、器械或成像装置可由机器人臂支撑、固定到该机器人臂或设置在该机器人臂上。第一机器人臂247和/或第二机器人臂248可操作以自主地和/或基于来自外科医生或用户的输入来执行一个或多个计划的移动和/或规程。

如图2A中所示，第一成像装置232A由第一机器人臂247支撑并且第二成像装置232B由第二机器人臂248支撑。成像装置232A和232B可与成像装置132或本文所述的任何其他成像装置相同或类似。如下文将更详细描述，第一成像装置232A和第二成像装置232B可各自获得目标204的一个或多个图像。在例示的示例中，目标204是用于在患者210的表面208上形成的切口206的端口。在其他实施方案中，目标204可以是对象、切口、解剖元件、工具、器械、机器人臂、系统的任何部件等。目标204可在患者外部或患者内部。在一些实施方案中，与第一成像装置232A和第二成像装置232B中的每个成像装置的姿态信息相结合的一个或多个图像可用于确定目标204的姿态。在其他实施方案中，一个或多个图像可用于计算目标204的体积。在另外的实施方案中，一个或多个图像可用于生成目标204的3D模型。

目标204的附加图像可由第一成像装置232A或第二成像装置232B或两者从不同角度拍摄，以确定目标204的边界和/或更新对象或目标204的姿态(无论是由于目标204已移动而更新姿态还是增加所确定的姿态的准确性)。

在一些实施方案中，第一成像装置232A和/或第二成像装置232B可用于跟踪目标204的移动，如下文将进一步描述。

如图2B中所示，工具212由第一机器人臂247支撑并且成像装置232由第二机器人臂248支撑。成像装置232可与成像装置132或本文所述的任何其他成像装置相同或类似。工具212可用于对患者210执行动作或规程，无论是基于来自外科医生的指令和/或依照外科手术计划，诸如外科手术计划120。例如，工具212可用于形成切口206。在使用期间，成像装置232可用于跟踪工具212。在至少一个实施方案中，当工具212形成切口206时，成像装置232可跟踪工具212。成像装置232然后可跟踪切口206(或切口206的端口)，无论是为了确认切口206的姿态还是检测切口206的移动。通过跟踪切口206，切口206的姿态信息可用于控制第一机器人臂重新插入工具212或将不同工具插入到切口206中。

成像装置232还可用于跟踪和检测目标204的移动。可更新或调整工具212的路径，或者可控制第一机器人臂247以在检测到移动时进行补偿(例如，施加反作用力)。例如，成像装置232可跟踪切口的移动。当检测到切口的移动时，工具212(其在切口外部)的路径可经移位以到达移动之后的切口的位置。

现在转向图3，确定和跟踪目标的姿态的方法300可例如由至少一个处理器实施或以其他方式执行。至少一个处理器可以与上文所述计算装置102或202的一个或多个处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人136或236)的部分或导航系统(诸如导航系统156或256)的部分。除了本文所述的任何处理器之外的处理器也可用于执行方法300。至少一个处理器可通过执行存储在存储器中的指令(诸如存储器116的指令124)来执行方法300。指令可对应于下文所述的方法300的一个或多个步骤。这些指令可使处理器执行一种或多种算法，诸如算法128。例如，可使用一个或多个此类算法128来确定目标的姿态、计算目标的体积、计算第一组姿态和第二组姿态和/或更新目标的姿态确定。

方法300包括从第一成像装置接收第一图像(步骤302)。第一成像装置可与成像装置132、232A相同或类似，该第一成像装置可以是任何成像装置，诸如相机、基于X射线的成像装置、立体相机或超声成像装置。第一成像装置可由第一机器人臂(诸如机器人臂148或247)定向。

图像可包括一个或多个2D图像、一个或多个3D图像或一个或多个2D图像与一个或多个3D图像的组合。在其他实施方案中，图像可经由用户接口(诸如用户接口112)和/或经由通信接口(诸如计算装置(诸如计算装置102或202)的通信接口108)来接收，并且可被存储在存储器(诸如存储器116)中。图像还可由系统100或200的任何其他部件生成和/或上传到该任何其他部件。在一些实施方案中，图像可以通过系统的任何其他部件或该系统所连接网络的节点间接接收。

第一图像可描绘至少一个目标。该至少一个目标可以是参考标记、患者解剖结构上的记号、解剖元件、切口、工具、器械、植入物或任何其他对象。该至少一个目标还可以已经被插入到患者解剖结构中(无论是通过机器人臂还是用户)并且留在原位以被跟踪。例如，可将端口插入到切口中，然后可跟踪该端口。

可使用算法(诸如算法128)来处理第一图像，以处理图像并识别第一图像中的至少一个目标。在一些实施方案中，特征辨识可用于识别至少一个目标的特征。例如，可在第一图像中识别螺钉、端口、工具、边缘、器械或解剖元件的轮廓。在其他实施方案中，图像处理算法可基于人工智能或机器学习。在此类实施方案中，可向处理器提供多个训练图像，并且每个训练图像可被注释为包括关于图像中的目标的识别信息。执行存储在存储器(诸如存储器116)或另一存储器中的指令的处理器可使用机器学习算法来分析图像，并且基于该分析生成用于识别图像中的目标的一个或多个图像处理算法。此类图像处理算法然后可如上文所述应用于在步骤302中接收的图像。

方法300还包括从第二成像装置接收第二图像(步骤304)。步骤304可与上文关于接收第二图像所描述的方法300的步骤302相同或类似。

另外，第二成像装置可与成像装置132、232B相同或类似。在一些实施方案中，第二成像装置包括被配置成生成3D图像的一个、两个或多于两个立体相机。在其他实施方案中，第二成像装置是相机、基于X射线的成像装置或基于超声的成像装置。第二成像装置可与第一成像装置相同或者可以是不同的成像装置。第二成像装置也可以是与第一成像装置不同类型的成像装置，或者是与第一成像装置相同类型的成像装置。第二图像可描绘至少一个目标。可从与第一图像不同的角度拍摄第二图像。换句话讲，当分别获得第二图像和第一图像中的每个图像时，第二成像装置可处于与第一成像装置不同的姿态。

第二成像装置可由第二机器人臂(诸如机器人臂148或248)定向。第一机器人臂和第二机器人臂在共享坐标空间中操作。如先前所描述，通过在公共坐标空间中操作，可控制第一机器人臂和第二机器人臂以避免在使用期间彼此碰撞，因为每个机器人臂的位置对于其控制器是已知的。换句话讲，由于第一机器人臂和第二机器人臂中的每个机器人臂在相同公共坐标空间中具有已知位置，因此可自动地控制臂以避免它们之间的碰撞。

方法300还包括接收对应于第一成像装置在坐标空间中的第一姿态的第一姿态信息和对应于第二成像装置在坐标空间中的第二姿态的第二姿态信息(步骤306)。在一些实施方案中，可从设置在第一机器人臂和第二机器人臂中的每个机器人臂上的传感器(诸如传感器144)接收第一姿态信息和第二姿态信息。传感器可以是编码器。在其他实施方案中，可使用导航系统(诸如导航系统156或256)来获得或验证第一姿态信息和第二姿态信息。例如，跟踪标记(诸如跟踪标记152)可被设置在第一机器人臂和第二机器人臂中的每个机器人臂上，并且跟踪标记152可由导航系统的相机来跟踪。第一姿态信息和第二姿态信息然后可由导航系统来确定。

第一姿态和第二姿态中的每个姿态分别包括第一成像装置和第二成像装置的位置和取向。第一姿态和第二姿态可分别对应于第一成像装置和第二成像装置在获得第一图像和第二图像的时刻的姿态。在其中使用传感器数据来确定第一姿态和第二姿态的实施方案中，传感器(诸如传感器144)可设置在第一成像装置、第二成像装置、第一机器人臂和/或第二机器人臂上。当传感器设置在第一机器人臂和第二机器人臂上时，传感器数据可关联到第一机器人臂和/或第二机器人臂的区段、关节或任何部分的位置。第一成像装置的第一姿态和第二成像装置的第二姿态然后可分别从第一机器人臂和第二机器人臂的部分的位置来确定。例如，基于机器人的尺寸(其可在外科手术计划(诸如外科手术计划120)中经由用户接口(诸如用户接口112)通过用户输入接收，或者其可被测量)，可确定从传感器所定位到的机器人臂的部分到成像装置的偏移，并且将该偏移应用于传感器数据。然后可基于所施加的偏移来确定成像装置的姿态。

方法300还包括确定至少一个目标在坐标空间中的姿态(步骤308)。确定姿态可基于在步骤302中获得的第一图像、在步骤304中获得的第二图像、在步骤306中获得的第一姿态和在步骤306中获得的第二姿态。更具体地，基于第一图像中所识别的目标和对应的第一姿态以及第二图像中所识别的目标和对应的第二姿态，可确定至少一个目标的姿态。至少一个目标的姿态可被映射到第一机器人臂和第二机器人臂的公共坐标空间，使得该目标可在公共坐标空间中被参考。通过确定至少一个目标的姿态，可跟踪至少一个目标并且/或者可控制第一机器人臂和/或第二机器人臂以执行涉及至少一个目标的规程和/或避免与至少一个目标碰撞。

方法300还包括计算至少一个目标的体积(步骤310)。可使用算法(诸如算法128)来计算体积。计算体积可基于在步骤302中获得的第一图像、在步骤304中获得的第二图像、在步骤306中获得的第一姿态和在步骤306中获得的第二姿态。类似于步骤308，基于第一图像中所识别的目标和对应的第一姿态以及第二图像中所识别的目标和对应的第二姿态，可计算目标的体积。在一些实施方案中，体积可例如通过使用第一图像和对应的第一姿态以及第二图像和对应的姿态来识别限定目标的每个表面以及那些表面的姿态来计算。然后可计算由那些表面包围的体积。可拍摄附加图像(诸如在步骤314和316中所描述的)以计算体积和/或增加所计算的体积的准确性。

方法300还包括使第二成像装置获得至少一个目标的3D扫描(步骤312)。3D扫描可包括来自多个角度的一个或多个图像。在一些实施方案中，第二机器人臂可自动地改变第二成像装置的姿态、位置或取向以获得更多角度以提高扫描的准确性。在一些实施方案中，第二成像装置可以是被配置成同时从不同视角获得多个图像以形成3D扫描的立体相机。在其他实施方案中，使第二成像装置获得3D扫描可包括：计算多个姿态并使第二机器人臂以多个姿态中的每个姿态定向第二成像装置。第二成像装置可获得每个姿态处的一个或多个图像以获得3D扫描。3D扫描可用于生成至少一个目标的3D模型。3D扫描还可用于提高至少一个目标的所确定的姿态的准确性。

方法300还包括计算第一组姿态和/或第二组姿态(步骤314)。可使用算法(诸如算法128)来计算第一组姿态和/或第二组姿态。在一些实施方案中，计算第一组姿态和第二组姿态两者。在其他实施方案中，可计算第一组姿态或第二组姿态中的仅一组姿态。

在一些实施方案中，第一组姿态和第二组姿态可基于至少一个目标的所期望的附加信息或缺失信息来计算。例如，可期望确定工具可能与之碰撞的目标的特征(例如，突起部)的边界或尺寸。在另一示例中，可期望在步骤312中获得的用于3D扫描的附加图像。在其他实施方案中，可计算第一组姿态和/或第二组姿态以提高在步骤308中确定的姿态的准确性。例如，附加图像可提供更多的信息，可从该信息确认或调整至少一个目标的姿态。在另外的实施方案中，可计算第一组姿态和/或第二组姿态以更新至少一个目标的姿态。例如，至少一个目标可以移动，因此改变了姿态。

在其他实施方案中，算法可被配置成基于来自外科医生或用户的输入或反馈来计算第一组姿态和/或第二组姿态。例如，外科医生或用户可能希望从某个角度或多个角度获得至少一个目标的图像。在另一示例中，外科医生或用户可能希望非侵入性地定位第一成像装置和/或第二成像装置，而在其他示例中，外科医生可能希望侵入性地定位第一成像装置和/或第二成像装置。

应当理解，可出于任何原因计算第一组姿态和/或第二组姿态。

方法300还包括以第一组姿态中的每个姿态定向第一成像装置，并且以第二组姿态中的每个姿态定向第二成像装置(步骤316)。可生成指令(诸如指令124)并将其传输到第一机器人臂以使第一机器人臂以第一组姿态中的每个姿态定向第一成像装置和/或使第二机器人臂以第二组姿态中的每个姿态定向第二成像装置。指令还可经由用户接口(诸如用户接口112)传达给用户，以引导用户(手动地或机器人辅助地)定向第一成像装置和/或第二成像装置。第一成像装置可获得每个姿态处的一个或多个图像以形成第一图像组，并且第二成像装置可获得每个姿态处的一个或多个图像以形成第二图像组。第一图像组和第二图像组中的每个图像组可描绘至少一个目标。

方法300还包括更新在步骤308中获得的至少一个目标的姿态确定(步骤318)。更新姿态确定可使用在步骤316中获得的第一图像组和/或第二图像组的一个或多个图像。更新姿态确定可包括更新至少一个目标在公共坐标空间中的姿态。在一些实施方案中，更新姿态可包括调整所计算的姿态以更准确地反映至少一个目标的实际姿态。例如，来自步骤308的所确定的姿态可从至少一个目标的真实姿态偏移小增量(例如，1％)，而经更新的姿态可偏移更小增量(例如，0.8％)。如此，经更新的姿态的偏移低于所确定的姿态的偏移，因此增加所确定的姿态的准确性。(尽管前述示例，但目标的真实姿态可能未知。)在一些实施方案中，更新姿态还可包括在至少一个目标已移动之后调整至少一个目标的所计算或所确定的姿态。

本公开涵盖方法300的实施方案，该实施方案包括比上文所述的步骤更多或更少的步骤，和/或与上文所述的步骤不同的一个或多个步骤。

现在转向图4，确定机器人臂的姿态的方法400可例如由至少一个处理器实施或以其他方式执行。至少一个处理器可以与上文所述计算装置102或202的一个或多个处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人136或236)的部分或导航系统(诸如导航系统156或256)的部分。除了本文所述的任何处理器之外的处理器也可用于执行方法400。至少一个处理器可通过执行存储在存储器中的指令(诸如存储器116的指令124)来执行方法400。指令可对应于下文所述的方法400的一个或多个步骤。这些指令可使处理器执行一种或多种算法，诸如算法128。例如，可使用一个或多个此类算法128来确定机器人臂的姿态。

方法400包括从第一成像装置接收第一图像(步骤402)。步骤402可与上文所述的方法300的步骤302相同或类似。另外，第一成像装置可由第一机器人臂(诸如机器人臂148或247)固持。第一图像可描绘跟踪标记，诸如跟踪标记152。

方法400还包括从第二成像装置接收第二图像(步骤404)。步骤404可与上文所述的方法300的步骤304相同或类似。另外，第二成像装置可由第二机器人臂(诸如机器人臂148或248)固持。第二图像可描绘第一机器人臂。

方法400还包括接收对应于第一成像装置的第一姿态的第一姿态信息和对应于第二成像装置的第二姿态的第二姿态信息(步骤406)。步骤406可与上文所述的方法300的步骤306相同或类似。

方法400还包括确定第二机器人臂的姿态(步骤408)。确定姿态可基于在步骤402中获得的第一图像、在步骤404中获得的第二图像、在步骤406中获得的第一姿态和在步骤406中获得的第二姿态。在其中第二机器人臂不具有与第一机器人臂相同的坐标空间(和/或第一机器人臂和第二机器人臂的第一坐标空间和第二坐标空间中的一个坐标空间分别需要被配准到第一坐标空间和第二坐标空间中的另一坐标空间)的实施方案中，可确定第二机器人臂相对于第一机器人臂(和第一坐标空间)的姿态。更具体地，基于第一图像中的跟踪标记和对应的第一姿态以及第二图像中的第一机器人臂和对应的第二姿态，可确定第二臂在第一坐标空间中的姿态。第二臂的姿态可被映射到第一坐标空间。在一些实施方案中，第二臂可支撑工具(诸如工具212)，并且确定第二机器人臂的姿态可进一步包括确定工具的姿态。可例如在第一坐标空间中确定工具的姿态。确定工具的姿态可基于机器人臂和/或工具的已知尺寸(无论是从外科手术计划(诸如外科手术计划120)获得的，作为来自用户的输入获得的，还是测量的)，该已知尺寸可用于从第二机器人臂的所确定的姿态计算偏移。

在其中第二机器人臂和第一机器人臂已经在相同坐标空间中(并且因此，第二机器人臂的姿态是已知的)的实施方案中，然后可通过所确定的姿态来确认或更新机器人臂的已知姿态以增加第二机器人臂的已知姿态的准确性。所确定的姿态还可用于确认或增加由第二机器人臂支撑的工具的准确性。附加地或另选地，来自步骤402的第一图像可用于将机器人臂的坐标空间配准到第一图像中描绘的跟踪标记所附连到的患者或其他对象的坐标空间。

方法400还包括在公共坐标空间中控制第一机器人臂和第二机器人臂(步骤410)。通过在公共坐标空间中操作，可控制第一机器人臂和第二机器人臂以避免在使用期间彼此碰撞，因为每个机器人臂在公共坐标空间中(并且因此相对于另一机器人臂)的位置是已知的。换句话讲，由于第一机器人臂和第二机器人臂中的每个机器人臂在相同公共坐标空间中具有已知位置，因此可通过第一机器人臂和第二机器人臂的知道两个臂的位置的控制器来自动地避免碰撞。

本公开涵盖方法400的实施方案，该实施方案包括比上文所述的步骤更多或更少的步骤，和/或与上文所述的步骤不同的一个或多个步骤。

现在转向图5，跟踪目标的方法500可例如由至少一个处理器实施或以其他方式执行。至少一个处理器可以与上文所述计算装置102或202的一个或多个处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人136或236)的部分或导航系统(诸如导航系统156或256)的部分。除了本文所述的任何处理器之外的处理器也可用于执行方法500。至少一个处理器可通过执行存储在存储器中的指令(诸如存储器116的指令124)来进行方法500。指令可对应于下文所述的方法500的一个或多个步骤。这些指令可使处理器执行一种或多种算法，诸如算法128。例如，可使用一个或多个此类算法128来更新工具路径和/或确定目标的姿态。

方法500包括使用成像装置来识别目标的移动(步骤502)。目标可以是参考标记、患者解剖结构上的记号、解剖元件、切口、工具、器械、植入物或任何其他对象。目标还可以已经被插入到患者解剖结构中(例如，通过机器人臂或用户)并且留在原位以被跟踪。例如，端口可被插入到切口中，并且然后由成像装置跟踪。

在一些实施方案中，成像装置可以是被配置成当目标(例如，脊柱螺钉、杆、另一植入物等)在患者内部时对目标进行成像的超声装置或X射线装置。在其他实施方案中，成像装置可以是被配置成当目标(例如，参考标记、端口等)在患者外部时对目标进行成像的光学相机、红外相机或X射线。

处理器可检测由成像装置提供的一个或多个图像(或图像流)中的移动。类似地，处理器可被配置成使用特征辨识或以其他方式识别由成像装置生成的图像中的目标。在其他实施方案中，在外科手术计划(诸如外科手术计划120)或经由用户接口从用户接收的输入中识别目标。

处理器还可通过在外科手术规程开始时确定目标的姿态并且在整个外科手术规程中确认目标的姿态来识别一个或多个图像(或图像流)中的移动，如在下文将关于步骤510至514描述的。

方法500还包括使第一机器人臂沿着工具路径定向工具，诸如工具212(步骤504)。在一些实施方案中，可使第一机器人臂沿着工具路径、插入路径或任何其他预定路径定向器械或植入物。可生成指令(诸如指令124)并且/或者将其传输到第一机器人臂以使第一机器人臂沿着工具路径自动地定向工具。该指令还可显示在用户接口(诸如用户接口112)上，以指示用户沿着工具路径引导工具(无论是手动地还是机器人辅助地)。工具路径可从外科手术计划(诸如外科手术计划120)获得，可由用户经由用户接口输入，并且/或者可在外科手术规程之前或期间计算。

方法500还包括基于目标的所识别的移动来更新工具路径(步骤506)。可更新工具沿着路径的任何部分的持续时间、角度、方向、取向和/或位置。在一些实施方案中，可重新计算或更新整个工具路径以适应目标的移动。在其他实施方案中，可更新工具路径的一部分。例如，对于当检测到移动时已经完成一半工具路径的工具，可更新剩余的一半工具路径。在另外的实施方案中，可更新工具路径的任何部分。在一些实施方案中，可通过向路径添加偏移来更新工具路径。例如，如果目标在特定方向上移动了0.5cm，则路径可在相同方向上移位0.5cm。在其他实施方案中，在要避开目标的情况下，可更新靠近目标的工具路径的一部分以适应目标的移动。

方法500还包括使第二机器人臂重新定向成像装置以将目标保持在成像装置的视场中(步骤508)。可生成指令(诸如指令124)并且/或者将其传输到第二机器人臂以使第二机器人臂自动地重新定向成像装置。指令还可显示在用户接口(诸如用户接口112)上，以指示用户重新定向成像装置(无论是手动地还是机器人辅助地)。重新定向成像装置可包括调整成像装置的姿态、位置或取向。成像装置可被重新定向以将整个目标或目标的一部分保持在视场中。例如，外科医生可能希望将螺钉的头部保持在视场中。重新定向成像装置有利地提供了当外科手术规程进行时对目标的连续跟踪，即使在目标在外科手术规程期间移动的情况下。

方法500还包括从成像装置接收至少一个图像(步骤510)。步骤510可与上文所述的方法300的步骤302相同或类似。第一图像可描绘附连到目标的参考标记。在一些实施方案中，接收至少一个图像可包括从成像装置接收多个图像。每个图像可从相同成像装置或不同成像装置接收。

方法500还包括接收对应于成像装置的至少一个姿态的姿态信息(步骤512)。步骤512可与上文所述的方法300的步骤306相同或类似。在一些实施方案中，姿态信息对应于成像装置的多个姿态。

方法500还包括确定目标的姿态(步骤514)。确定目标的姿态可基于在步骤510中获得的至少一个图像(或多个图像)和在步骤512中获得的姿态信息(或多个姿态)。确定目标的姿态对于跟踪目标而言可为有用的。(在一些实施方案中，步骤510至514可在步骤502之前执行，不管是为了促进步骤502的执行还是其他)。在一些实施方案中，可在整个外科手术规程中重复步骤510至514以确定目标的姿态是否已经改变。然后，当在步骤510至514的后续迭代中已经确定目标的姿态已发生改变时，然后可检测到目标的移动。

本公开涵盖方法500的实施方案，这些实施方案包括比上文所述的步骤更多或更少的步骤，和/或与上文所述的步骤不同的一个或多个步骤。

现在转到图6，跟踪目标的方法600可例如由至少一个处理器实施或以其他方式执行。该至少一个处理器可与上文所述的计算装置102或202的处理器104相同或类似。至少一个处理器可以是机器人(诸如机器人136或236)的部分或导航系统(诸如导航系统156或256)的部分。除了本文所述的任何处理器之外的处理器也可用于执行方法600。至少一个处理器可通过执行存储在存储器中的指令(诸如存储器116的指令124)来执行方法600。指令可对应于下文所述的方法600的一个或多个步骤。这些指令可使处理器执行一种或多种算法，诸如算法128。例如，可使用一个或多个此类算法128来更新目标的初始姿态和/或确定目标的边界。

方法600包括接收具有关于目标的初始姿态的信息的外科手术计划(步骤602)。外科手术计划可经由用户接口(诸如用户接口112)和/或通信接口(诸如计算装置(诸如计算装置102或202)的通信接口108)来接收，并且可被存储在存储器(诸如计算装置的存储器106)中。

关于目标的初始姿态的信息可对应于目标(诸如目标204)的姿态。目标可以是参考标记、患者解剖结构上的记号、解剖元件、切口、工具、器械、植入物或任何其他对象。目标还可以已经被插入到患者解剖结构中并且留在原位以被跟踪。例如，可将端口插入到切口中，然后可跟踪该端口。目标的姿态可位于第一机器人臂(诸如机器人臂148或247)和第二机器人臂(诸如机器人臂148或248)所共有的公共或共享坐标空间中。在此类实施方案中，第一机器人臂可支撑和定向工具并且第二机器人臂可支撑和定向成像装置。

通过协同地使用第一机器人臂和第二机器人臂，处理器(例如，处理器106)可检测由第二机器人臂固持的成像装置捕获的图像中的目标的移动。处理器然后可基于检测到的移动来控制第一机器人臂。此外，在一些实施方案中，当操作工具时，第一机器人臂上的成像装置可能不具有到目标的视线(例如，当第一机器人臂移动以定向工具时，定位在第一机器人臂上的相机的视线可能被阻挡)。在这种情况下，第二机器人臂可定向附连到其的成像装置以维持目标上的恒定视线，使得来自附连到第二机器人臂的成像装置的信息可用于控制第一机器人臂并将第一机器人臂(包括例如由此固持的工具)引导到目标。尽管在一些实施方案中，来自第一机器人臂和第二机器人臂上的成像装置的图像可改善对目标的跟踪，即使来自附连到第一机器人臂的成像装置的图像(描绘目标)可用时。

方法600还包括接收描绘目标的至少一个图像(步骤604)。步骤604可与上文所述的方法300的步骤302相同或类似。然而，在一些实施方案中，方法600可包括从附连到第一机器人臂的成像装置和附连到第二机器人臂的成像装置中的每个成像装置接收描绘目标的至少一个图像。在此类实施方案中，步骤604可与上文所述的方法300的经组合步骤302和304相同或类似。至少一个图像中的每个图像可描绘该目标。

方法600还包括接收姿态信息(步骤606)。步骤606可与上文所述的方法300的步骤306相同或类似。当获得至少一个图像时，姿态信息可对应于成像装置的至少一个姿态。在至少一个图像由两个成像装置获得的情况下，当使用相应的成像装置获得至少一个图像时，姿态信息可对应于两个成像装置中的每个成像装置的至少一个姿态。

方法600还包括更新目标的初始姿态(步骤608)。步骤608可与上文所述的方法300的步骤318相同或类似。

方法600还包括确定目标的边界(步骤610)。确定边界可基于在步骤604中接收的至少一个图像和在步骤606中接收的姿态信息。更具体地，基于在至少一个图像中的每个图像中识别的目标和每个图像由成像装置获得时成像装置的对应姿态，可确定目标的边界。目标的边界可被映射到第一机器人臂和第二机器人臂的公共坐标空间，使得目标的边界可在公共坐标空间中被参考。在一些实施方案中，可基于在由图像(例如，其中至少一个图像包括多个图像)和对应姿态确定的目标的不同部分之间内插表面来确定边界。在其他实施方案中，可通过执行如上文方法300的步骤312中描述的扫描运动来确定边界。

方法600还包括控制第一机器人臂以避开目标(步骤612)。可自动生成指令(诸如指令124)并且/或者将其传输到第一机器人臂以使第一机器人臂避开目标。指令还可显示在用户接口(诸如用户接口112)上，以指示用户引导工具避开目标(无论是手动地还是机器人辅助地)。可控制第一机器人臂以调整工具(诸如工具212)的工具路径以避开目标。避开目标可基于在步骤610中确定的目标的边界。换句话讲，处理器可知道目标在公共坐标空间中的边界并且可调整工具路径以避开目标的边界。处理器还可应用安全因子以使第一机器人臂避开目标预定距离。在一些实施方案中，当初始工具路径可能与目标相交时，可生成通知并将其传达给用户。通知可获得来自用户的批准，可获得来自用户的输入，或者可简单地警告用户由于干扰而引起的工具路径的改变。

本公开涵盖方法600的实施方案，该实施方案包括比上文所述的步骤更多或更少的步骤，和/或与上文所述的步骤不同的一个或多个步骤。

为了清楚起见，本文所述的方法可利用在公共或共享坐标空间中操作的第一机器人臂和第二机器人臂来实施。该方法还可使用多于两个机器人臂来实施，其中每个机器人臂在公共或共享坐标空间中操作。该方法可进一步使用多于两个机器人臂来实施，并且至少两个机器人臂可在公共或共享坐标空间中操作，但其他机器人臂可在不同坐标空间中操作。此外，任何组合或数量的工具、成像装置和/或器械可被支撑在机器人臂上。

如基于前述公开内容可理解的，本公开涵盖具有比在图3、图4、图5和图6中识别的所有步骤更少的步骤的方法(以及方法300、400、500和600的对应描述)，以及包括除了图3、图4、图5和图6中识别的那些步骤之外的附加步骤的方法(以及方法300、400、500和600的对应描述)。本文所述的方法的一个或多个步骤可以除了本文描述这些步骤的次序之外的次序执行。

已经出于说明和描述的目的呈现了前述讨论。前述内容并不意图将本公开限于本文所公开的一种或多种形式。在前述的具体实施方式中，例如，出于简化本公开的目的，将本公开的各种特征一起分组在一个或多个方面、实施方案和/或配置中。本公开的方面、实施方案和/或配置的特征可组合在除了上文所论述的那些之外的替代方面、实施方案和/或配置中。本公开的方法不应被解释为反映以下意图：权利要求需要比每项权利要求中明确叙述的特征更多的特征。相反，如以下权利要求书所反映，本发明方面在于少于单个前述公开的方面、实施方案和/或配置的全部特征。因此，以下权利要求特此并入这个具体实施方式中，其中每项权利要求作为本公开的单独的优选实施方案而独立存在。

此外，尽管描述已经包括对一个或多个方面、实施方案和/或配置以及某些变化和修改的描述，但在理解本公开后，其他变化、组合和修改也在本公开的范围内，例如，如可在本领域技术人员的技能和知识内。意图在准许的范围内获得包括替代方面、实施方案和/或配置的权利，包括所要求保护的那些的替代、可互换和/或等效的结构、功能、范围或步骤，而不管这些替代、可互换和/或等效的结构、功能、范围或步骤是否在本文中公开，而且不意图公开用于任何可获专利的主题。

Claims

1.一种用于跟踪目标的姿态的系统，所述系统包括：

第一机器人臂，所述第一机器人臂被配置成定向第一成像装置；

第二机器人臂，所述第二机器人臂被配置成定向第二成像装置，其中所述第一机器人臂和所述第二机器人臂在共享坐标空间中操作；

至少一个处理器；和

至少一个存储器，所述至少一个存储器存储用于由所述至少一个处理器执行的指令，所述指令在被执行时使所述至少一个处理器：

从所述第一成像装置接收第一图像，所述第一图像描绘至少一个目标；

从所述第二成像装置接收第二图像，所述第二图像描绘所述至少一个目标；

接收对应于所述第一成像装置在所述坐标空间中的第一姿态的第一姿态信息和对应于所述第二成像装置在所述坐标空间中的第二姿态的第二姿态信息；以及

基于所述第一图像、所述第一姿态、所述第二图像和所述第二姿态来确定所述至少一个目标在所述坐标空间中的姿态。

2.根据权利要求1所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

基于所述第一图像、所述第二图像、所述第一姿态和所述第二姿态来计算所述至少一个目标的三维体积。

3.根据权利要求1所述的系统，其中所述第一机器人臂被配置成除了所述第一成像装置之外还定向工具。

4.根据权利要求1所述的系统，其中所述至少一个目标是切口，并且其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

使所述第二成像装置跟踪在患者上形成的所述切口。

5.根据权利要求4所述的系统，其中所述第一机器人臂被配置成定向工具，并且其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

在所述第二成像装置检测到所述切口的移动时更新所述第一机器人臂的路径。

6.根据权利要求1所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

使所述第二成像装置获得所述至少一个目标的三维扫描。

7.根据权利要求6所述的系统，其中使所述第二成像装置获得所述三维扫描包括：计算多个姿态以获得所述三维扫描并且使所述第二机器人臂以所述多个姿态中的每个姿态定向所述第二成像装置。

8.根据权利要求1所述的系统，其中所述第二成像装置包括被配置成生成三维图像的一对立体相机。

9.根据权利要求1所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

计算所述第一成像装置的第一组姿态和所述第二成像装置的第二组姿态；

使所述第一机器人臂以所述第一组姿态中的每个姿态定向所述第一成像装置以产生第一组图像并且使所述第二机器人臂以所述第二组姿态中的每个姿态定向所述第二成像装置以产生第二组图像，所述第一组图像和所述第二组图像中的每组图像描绘所述至少一个目标；以及

基于所述第一组图像、所述第一组姿态、所述第二组图像和所述第二组姿态来更新所述至少一个目标的姿态确定。

10.根据权利要求1所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

从所述第一成像装置接收姿态图像，所述姿态图像描绘所述第二机器人臂；

当获得所述姿态图像时，接收对应于所述第一成像装置的姿态的姿态信息；以及

基于所述姿态图像和所述姿态信息来确定所述第二机器人臂在所述坐标空间中的姿态。

11.一种用于确定机器人臂的姿态的系统，所述系统包括：

第一机器人臂；

第一成像装置，所述第一成像装置固定到所述第一机器人臂；

参考标记，所述参考标记设置在所述第一机器人臂上；

第二机器人臂，其中所述第一机器人臂和所述第二机器人臂在公共坐标空间中操作；

第二成像装置，所述第二成像装置固定到所述第二机器人臂；

至少一个处理器；和

从所述第一成像装置接收第一图像，所述第一图像描绘所述参考标记；

从所述第二成像装置接收第二图像，所述第二图像描绘所述第一机器人臂；

接收对应于所述第一成像装置的第一姿态的第一姿态信息和对应于所述第二成像装置的第二姿态的第二姿态信息；以及

基于所述第一图像、所述第一姿态、所述第二图像和所述第二姿态来确定所述第二机器人臂的姿态。

12.根据权利要求11所述的系统，其中所述至少一个存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

在所述公共坐标空间中控制所述第一机器人臂和所述第二机器人臂以避免所述第一机器人臂和所述第二机器人臂之间的碰撞。

13.根据权利要求11所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

使所述第二成像装置获得所述至少一个目标的三维扫描。

14.根据权利要求13所述的系统，其中所述第一机器人臂被配置成定向工具。

15.根据权利要求14所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

使用所述第一组图像和所述第二组图像生成所述至少一个目标的三维图像。

16.一种用于跟踪目标的系统，所述系统包括：

第一机器人臂，所述第一机器人臂被配置成支撑和操作工具；

第二机器人臂，其中所述第一机器人臂和所述第二机器人臂被配置成在相同坐标空间中操作；

成像装置，所述成像装置固定到所述第二机器人臂；

至少一个处理器；和

使所述成像装置识别目标的移动；

使所述第一机器人臂沿着工具路径定向所述工具；以及

在所述成像装置识别到所述目标的移动时更新所述工具路径。

17.根据权利要求16所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

从所述成像装置接收至少一个图像，所述至少一个图像描绘所述目标；

接收对应于所述成像装置的至少一个姿态的姿态信息；以及

基于所述至少一个图像和所述姿态信息来确定所述目标的姿态。

18.根据权利要求16所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

从所述成像装置接收多个图像，所述多个图像描绘所述目标；

接收对应于所述成像装置的多个姿态的姿态信息，所述多个姿态中的每个姿态对应于所述多个图像中的一个图像；以及

基于所述多个图像和所述姿态信息来确定所述目标的姿态。

19.根据权利要求16所述的系统，其中所述成像装置是第二成像装置，并且所述系统还包括：

第一成像装置，所述第一成像装置固定到所述第一机器人臂。

20.根据权利要求19所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

从所述第一成像装置接收至少一个第一图像并且从所述第二成像装置接收至少一个第二图像；

接收对应于所述第一成像装置的至少一个第一姿态的第一姿态信息和对应于所述第二成像装置的至少一个第二姿态的第二姿态信息；以及

基于所述至少一个第一图像、所述至少一个第一姿态、所述至少一个第二图像和所述至少一个第二姿态来确定所述目标的姿态。

21.根据权利要求16所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

接收包括对应于目标的姿态的信息的外科手术计划。

22.根据权利要求16所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

使所述成像装置获得所述目标的三维扫描。

23.根据权利要求16所述的系统，其中所述成像装置是被配置成当所述目标在患者内部时对所述目标进行成像的超声装置或X射线装置中的至少一者。

24.根据权利要求16所述的系统，其中所述成像装置是被配置成当所述目标在患者外部时对所述目标进行成像的光学相机或红外相机中的至少一者。

25.根据权利要求16所述的系统，其中所述目标是切口端口、切口、销钉、螺钉或参考标记中的至少一者。

26.根据权利要求16所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

使所述第二机器人臂重新定向所述成像装置以将所述目标保持在所述成像装置的视场中。

27.一种用于跟踪目标的系统，所述系统包括：

第二机器人臂，其中所述第一机器人臂和所述第二机器人臂在公共坐标空间中是可控制的；

成像装置，所述成像装置固定到所述第二机器人臂；

至少一个处理器；和

接收具有关于所述目标的初始姿态的信息的外科手术计划；

接收对应于所述成像装置的至少一个姿态的姿态信息；以及

基于所述至少一个图像和所述至少一个姿态来更新所述目标的所述初始姿态以产生所述目标的经更新的姿态。

28.根据权利要求27所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

基于所述至少一个图像和所述至少一个姿态来确定所述目标的边界。

29.根据权利要求27所述的系统，其中所述存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

使所述成像装置识别所述目标的移动；

使所述第一机器人臂沿着路径移动所述工具；以及

在所述成像装置识别到所述目标的移动时更新所述路径。

30.根据权利要求27所述的系统，其中所述至少一个存储器存储用于由所述至少一个处理器执行的附加指令，所述附加指令在被执行时进一步使所述至少一个处理器：

控制所述第一机器人臂以避开所述目标。

31.根据权利要求27所述的系统，其中所述成像装置包括被配置成生成三维图像的一对立体相机。