CN110709024A - 用于直观运动的主/工具配准和控制的系统和方法 - Google Patents

Abstract

一种机器人系统包括显示器，显示器可由操作者观察。相对于显示器或观察显示器的操作者定义操作者参考坐标系。机器人系统也包括输入设备，输入设备可由操作者移动；以及处理单元。处理单元被配置为在显示器中呈现由成像设备捕获的第一工具的第一图像；从操作者接收输入设备的第一轴线与第一图像中的第一工具的对应的轴线对准的第一指示；以及响应于第一指示，基于操作者参考坐标系和输入设备之间的第二对准关系，确定成像设备和第一工具之间的第一对准关系。

Description

用于直观运动的主/工具配准和控制的系统和方法

相关申请的交叉引用

本申请要求2017年11月21日提交的美国临时申请62/588,964的权益，该临时申请全文以引用方式并入本文。

技术领域

本公开涉及用于实行机器人规程的系统和方法，并且更特别地涉及在控制工具的移动中使用的用于确定主至工具变换的系统和方法。

背景技术

机器人操纵器组件包括机器人操纵器，机器人操纵器可被操作以控制在工作空间中工具的运动。例如，此类机器人操纵器可用于实行非医疗和医疗规程。作为具体示例，遥控操作的外科手术操纵器可用于实行微创医疗技术。

在医疗技术中期望减少在医疗规程期间损伤的组织的量，从而减少患者恢复时间、不舒适和有害副作用。例如，可通过患者解剖结构中的自然孔口或通过一个或多个切口实行微创技术。通过这些自然孔口或切口，临床医生可插入医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗工具、诊断工具和外科手术工具的工具。微创医疗工具也可包括成像工具，诸如内窥镜工具，内窥镜工具向用户提供患者解剖结构内的视野。

机器人操纵器可为遥控操作的或以其他方式计算机协助的。为了在手术部位(例如，患者内的外科手术部位)实行和观察机器人规程，两个或更多个从操纵器可用于夹持和操纵工具，工具包括例如外科手术器械工具和成像工具。为了操纵这些工具，操作者的控制台经常包括主控制设备和从操纵器，主控制设备可选择性地与工具相关联，从操纵器夹持工具以操纵工具。在这样的机器人系统中，响应于主控制设备的操作者操纵的工具的控制可具有多个可定义参考坐标系和对应的坐标系变换，以将一个坐标系中的点映射到另一个坐标系中的对应的点。然而，当坐标系和/或坐标系变换的位置和取向中的一个或多个是未知的时，工具的精确控制可很难实现。在此类情况下，可减少规程的成功率或准确性。在医疗机器人上下文中，可危害在由机器人医疗系统治疗的患者的安全性、以及对患者实行的规程的成功完成。

发明内容

由以下权利要求书概括本发明的实施例。

在一个例示性实施例中，一种机器人系统包括：显示器，显示器可由操作者观察。相对于显示器或观察显示器的操作者定义操作者参考坐标系。机器人系统还包括输入设备，输入设备可由操作者移动；以及处理单元，处理单元包括一个或多个处理器。处理单元被配置为在显示器中呈现由成像设备捕获的第一工具的第一图像。处理单元也被配置为从操作者接收输入设备的第一轴线与第一图像中的第一工具的对应的轴线对准的第一指示。处理单元也被配置为响应于第一指示，基于操作者参考坐标系和输入设备之间的第二对准关系，确定成像设备和第一工具之间的第一对准关系。

在另一个例示性实施例中，一种方法包括：在可由操作者观察的显示器中，呈现由成像设备捕获的第一工具的第一图像。从操作者接收可由操作者移动的输入设备的第一轴线与第一图像中的第一工具的对应的轴线对准的第一指示。响应于第一指示，基于操作者参考坐标系和输入设备之间的第二对准关系，确定成像设备和第一工具之间的第一对准关系。相对于显示器或观察显示器的操作者定义操作者参考坐标系。

在另一个例示性实施例中，一种非暂时机器可读介质包括多个机器可读指令，多个机器可读指令当由一个或多个处理器执行时，适于引起一个或多个处理器实行方法。方法包括在可由操作者观察的显示器中，呈现由成像设备捕获的第一工具的第一图像。从操作者接收可由操作者移动的输入设备的第一轴线与第一图像中的第一工具的对应的轴线对准的第一指示。响应于第一指示，基于操作者参考坐标系和输入设备之间的第二对准关系，确定成像设备和第一工具之间的第一对准关系。相对于显示器或观察显示器的操作者定义操作者参考坐标系。

应当理解，前述总体描述和以下详细描述在本质上是示例性的和说明性的，并且旨在提供本公开的理解，而不限制本公开的范围。在这一点上，从以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。

附图说明

当结合附图阅读时，从以下详细描述最佳地理解本公开的方面。需要强调的是，根据行业中的标准实践，没有按比例绘制各种特征。事实上，为了讨论的清楚，可任意增加或减少各种特征的尺寸。此外，本公开可在各种示例中重复附图标记和/或字符。该重复用于简单和清楚的目的，并且本身不规定所公开的各种实施例和/或配置之间的关系。

图1A是根据本公开的实施例的机器人医疗系统的示意图。

图1B是根据本公开的实施例的操纵器组件的透视图。

图1C是根据本公开的实施例的用于机器人医疗系统的操作者的控制台的透视图。

图2是根据本公开的实施例的操作者的输入控制器的透视图。

图3A是根据本公开的实施例的用于机器人医疗系统的操作者的控制台的透视图。

图3B是示出根据本公开的实施例的相对于操作者的控制台的显示器的与机器人医疗系统的操作者相关联的操作者参考坐标系的示意图。

图4是根据本公开的实施例的机器人医疗系统的两个操纵器组件的透视图。

图5示出根据本公开的实施例的在操作者实行对准步骤之前通过操作者的控制台的显示器的成像视图。

图6示出根据本公开的实施例的在操作者实行对准步骤之后通过操作者的控制台的显示器的成像视图。

图7示出根据本公开的各种实施例的在操作者实行对准步骤之前通过操作者的控制台的显示器的成像视图。

图8示出根据本公开的各种实施例的在操作者实行对准步骤之后通过操作者的控制台的显示器的成像视图。

图9A是示出根据本公开的实施例的工具相对于成像设备的观察端部的位置的示意图。

图9B示出根据本公开的各种实施例的通过包括图9A的成像设备的视野的操作者的控制台的显示器的成像视图。

图10A是示出根据本公开的实施例的工具相对于成像设备的观察端部的位置的示意图。

图10B示出根据本公开的各种实施例的通过包括图10A的成像设备的视野的操作者的控制台的显示器的成像视图。

图11A是示出根据本公开的实施例的工具相对于成像设备的观察端部的位置的示意图。

图11B示出根据本公开的实施例的通过包括图11A的成像设备的视野的操作者的控制台的显示器的成像视图。

图12示出根据本公开的实施例的工具轴轴线取向误差相对于工具轴轴线光学平面外角度的曲线图。

图13示出根据本公开的实施例的机器人医疗系统的工具和成像设备的示意图。

图14示出根据本公开的实施例的机器人医疗系统的工具和成像设备的示意图。

图15示出根据本公开的实施例的在操作者实行对准步骤之前通过操作者的控制台的显示器的成像视图。

图16示出根据本公开的实施例的在操作者实行对准步骤之后通过操作者的控制台的显示器的成像视图。

图17是提供根据本公开的实施例的用于实行用于主-工具配准的操作者引导的配准过程的方法的流程图。

具体实施方式

为了促进本公开的原理的理解的目的，现在将参考附图中示出的实施例，并且具体语言将用于描述该实施例。虽然如此，将理解，不旨在限制本公开的范围。在本发明的方面的以下详细描述中，阐述多个具体细节，以便提供所公开的实施例的透彻理解。然而，对于本领域技术人员将是明显的，可在不具有这些具体细节的情况下实践本公开的实施例。在其它实例中，尚未详细描述众所周知的方法、规程、部件和电路，以便不会不必要地混淆本发明的实施例的方面。

如本公开涉及的领域的技术人员平常将想到的，对所描述的设备、工具、方法的任何变更和另外的修改和本公开的原理的任何另外的应用是完全预期的。特别地，完全预期到关于一个实施例描述的特征、部件和/或步骤可与关于本公开的其它实施例描述的特征、部件和/或步骤组合。此外，本文提供的尺寸用于具体示例，并且预期不同大小、尺寸和/或比率可用于实施本公开的概念。为了避免不需要的描述性重复，根据来自其它例示性实施例的适用性，可使用或省略根据一个例示性实施例描述的一个或多个部件或动作。为了简洁起见，将不单独描述这些组合的多个迭代。为了简单，在一些实例中，贯穿附图使用相同的参考标号以指相同或相似部分。

虽然本文描述的示例中的一些经常指外科手术规程或工具、或医疗规程或工具，但是所公开的技术也适用于非医疗规程和非医疗工具。例如，本文描述的工具、系统和方法可用于非医疗目的，包括工业用途、通用机器人用途、以及非组织工件的感测或操纵。其它示例应用涉及外科手术或非外科手术美容改善、来自人类或动物解剖结构的数据的成像或从人类或动物解剖结构采集数据、训练医疗或非医疗人员、对从人类或动物解剖结构移除(而不返回到人类或动物解剖结构)的组织实行规程、以及对人类或动物尸体实行规程。

下面的实施例将依据工具在三维空间中的状态描述各种工具和工具的部分。如本文使用的，术语“位置”指对象或对象的一部分在三维空间中的方位(例如，可使用笛卡尔X、Y、Z坐标中的变化以描述三个平移自由度，诸如沿笛卡尔X、Y、Z轴线的平移自由度)。如本文使用的，术语“取向”指对象或对象的一部分的旋转放置(三个旋转自由度-例如，可使用滚转、俯仰和偏转描述三个旋转自由度)。如本文使用的，术语“姿势”指对象或对象的一部分在至少一个平移自由度中的位置，并且指该对象或该对象的该部分在至少一个旋转自由度中的取向。对于三维空间中的不对称刚体，可用六个自由度中的六个参数描述完整姿势。

参考附图的图1A，示出示例机器人系统。具体地，在图1A中，计算机辅助的机器人医疗系统由附图标记10总体指示，计算机辅助的机器人医疗系统可为遥控操作的且在例如医疗规程(包括诊断、治疗或外科手术规程)中使用。如将描述的，本公开的遥控操作系统在操作者的遥控操作控制下。在一些实施例中，机器人系统的操纵器或其它部分可通过与操纵器(或其它部分)本身手动交互直接控制。因此，如在本申请中使用的“遥控操作操纵器”包括可仅通过遥控操作控制的操纵器、以及可通过遥控操作和通过直接手动控制来控制的操纵器。另外，在一些实施例中，非遥控操作或机器人医疗系统可在被编程以实行规程或子规程的计算机的部分控制下。在其它另选实施例中，在被编程以实行规程或子规程的计算机的完全控制下，全自动的医疗系统可用于实行规程或子规程。

如图1A所示，机器人医疗系统10一般包括安装到手术台O或在手术台O附近的操纵器组件12，患者P被定位在手术台O上。虽然本文描述的操纵器组件经常包括一个或多个机器人操纵器和安装在其上的工具，但是术语“操纵器组件”也涵盖不具有安装在其上的工具的操纵器。在该示例中，操纵器组件12可被称为患者侧推车，因为操纵器组件12包括推车且被设计成紧挨着患者使用。医疗工具14(也称为工具14)和医疗工具15可操作地耦接到操纵器组件12。在本公开内，医疗工具15包括成像设备，并且也被称为成像工具15。成像工具15可包括使用光学成像技术的内窥镜成像系统，或者包括使用其它技术(例如，超声、荧光镜等)的另一种类型的成像系统。操作者输入系统16允许操作者(诸如外科医生或其它类型的临床医生S)观察手术部位的或表示手术部位的图像，并且控制医疗工具14和/或成像工具15的操作。

用于机器人医疗系统10的操作者输入系统16可通过用连杆机构连接到基座(诸如连接到操作者的控制台)而被“机械接地”，或者操作者输入系统16可“机械未接地”，并且因此没有被连接。如图1A所示，操作者输入系统16连接到操作者的控制台38，在外科手术规程期间控制台38往往位于与手术台O相同的房间中。然而，应当理解，操作者S可位于与患者P不同的房间中或完全不同的建筑物中。操作者输入系统16一般包括用于控制医疗工具14的一个或多个控制设备。操作者输入系统16在本文中也被称为“主操纵器”、“主控制设备”、“主输入设备”和“输入设备”。一个或多个控制设备可包括任何数量的多个输入设备中的一个或多个，诸如手柄、操纵杆、轨迹球、数据手套、触发枪、脚踏板、手操作的控制器、语音辨识设备、触摸屏、身体运动或存在传感器等。在一些实施例中，一个或多个控制设备将设置有与机器人组件的医疗工具相同的自由度，以向操作者提供远程呈现；也就是说，操作者被提供有以下感知：一个或多个控制设备与工具集成，使得操作者具有直接控制工具的感觉，就好像存在于手术部位处一样。在其它实施例中，一个或多个控制设备可具有比相关联的医疗工具更多或更少的自由度，并且仍然向操作者提供远程呈现。在一些实施例中，一个或多个控制设备是手动输入设备，手动输入设备随着六个自由度移动，并且也可包括用于致动医疗工具(例如，用于闭合抓握夹爪端部执行器、将电势施加到电极、捕获图像、递送药物治疗等)的可致动把手。

当操作者S通过操作者的控制台观察手术部位时，操纵器组件12支撑且操纵医疗工具14。可通过医疗工具15(诸如经由包括单视场或立体内窥镜的成像系统)获得手术部位的图像，该成像系统可由操纵器组件12操纵，以对医疗工具15进行取向。电子推车可用于处理手术部位的图像，用于通过操作者的控制台后续显示给操作者S。一次使用的医疗工具14的数量一般将取决于医疗诊断或治疗(例如，外科手术)规程、以及手术室内的空间约束以及其它因素。操纵器组件12可包括一个或多个非伺服受控连杆(例如，可手动定位和锁定在适当地方的一个或多个连杆)和机器人操纵器的运动学结构。操纵器组件12包括驱动医疗工具14上的输入的多个马达。这些马达响应于来自控制系统(例如，控制系统20)的命令移动。马达包括驱动系统，驱动系统耦接到医疗工具14时可将医疗器械推进到自然或外科手术产生的解剖孔口中。其它马达驱动系统可使医疗器械的远侧端部在多个自由度上移动，多个自由度可包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔轴线的旋转)。附加地，马达可用于致动工具的可铰接端部执行器，用于将组织抓握在活检设备等的夹爪中。医疗工具14可包括端部执行器，该端部执行器具有单个工作构件，诸如解剖刀、钝刀片、针、成像传感器、光纤、电极等。其它端部执行器可包括多个工作构件，并且示例包括医用镊子、抓握器、剪刀、施夹器、吻合器、双极电烙术器械等。

机器人医疗系统10也包括控制系统20。控制系统20包括至少一个存储器24和至少一个处理器22(且通常是多个处理器)，用于在医疗工具14、操作者输入系统16和其它辅助系统26之间达到控制的目的，其它辅助系统26可包括例如成像系统、音频系统、流体递送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。控制系统20也包括编程指令(例如，计算机可读介质存储的指令)，以实施根据本文公开的方面描述的方法中的一些或所有。虽然控制系统20被示为图1A的简化示意图中的单个框，但是系统可包括两个或更多个数据处理电路，其中可选地，在操纵器组件12上或与操纵器组件12相邻实行处理的一个部分，在操作者输入系统16处实行处理的另一个部分等。可采用多种多样的集中式或分布式数据处理架构中的任一种。类似地，编程的指令可被实施为多个单独程序或子例程，或者编程的指令可集成到本文中描述的遥控操作系统的多个其它方面。在一个实施例中，控制系统20支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。

在一些实施例中，控制系统20可包括一个或多个伺服控制器，一个或多个伺服控制器从医疗工具14或从操纵器组件12接收力和/或转矩反馈。响应于反馈，伺服控制器将信号传输到操作者输入系统16。一个或多个伺服控制器也可传输指导操纵器组件12移动一个或多个医疗工具14和/或15的信号，一个或多个医疗工具14和/或15经由身体中的开口延伸到患者身体内的内部手术部位中。可使用任何合适的常规或专业控制器。控制器可与操纵器组件12分离或与操纵器组件12集成。在一些实施例中，控制器和操纵器组件被提供作为集成系统的一部分，诸如在医疗规程期间被定位成接近患者的身体的遥控操作臂推车。

控制系统20可耦接到医疗工具15，并且可包括处理器以处理捕获的图像以便后续显示，诸如显示给使用操作者的控制台或佩戴头戴式显示系统的操作者，在控制系统附近的一个或多个静止或可移动监测器上显示或在位于本地和/或远程的另一个合适的显示器上显示。例如，在使用立体内窥镜的情况下，控制系统20可处理捕获的图像，以向操作者呈现手术部位的协调的立体图像。此类协调可包括立体图像之间的对准，并且可包括调整立体内窥镜的立体工作距离。

在另选实施例中，机器人系统可包括多于一个操纵器组件和/或多于一个操作者输入系统。操纵器组件的确切数量将取决于外科手术规程和手术室内的空间约束、以及其它因素。操作者输入系统可被并置，或者操作者输入系统可为定位在单独的方位。多个操作者输入系统允许多于一个操作者以各种组合控制一个或多个操纵器组件。

图1B是操纵器组件12的一个实施例的透视图，操纵器组件12以在医疗规程期间位于患者附近的推车的形式配置。因此，图1B的该操纵器组件也可被称为患者侧推车。所示的操纵器组件12提供三个医疗工具30a、30b、30c(例如，医疗工具14)和医疗工具28的操纵，医疗工具28包括成像设备(例如，医疗工具15)，诸如用于捕获工件或手术部位(也叫作“工作部位”)的图像的立体内窥镜。医疗工具28可经过电缆56将信号传输到控制系统20。通过具有多个关节的机器人操纵器提供操纵。医疗工具28和外科手术工具30a-c可通过患者中的切口或患者的自然孔口定位和操纵，使得运动学远程中心维持在切口或自然孔口处。当外科手术工具30a-c的远侧端部被定位在医疗工具28的成像设备的视野内时，工作部位的图像可包括外科手术工具30a-c的远侧端部的图像。

操纵器组件12包括可移动、可锁定和可驱动基座58。基座58连接到伸缩柱57，伸缩柱57允许调整臂54(也叫作“操纵器54”)的高度。臂54可包括旋转关节55，旋转关节55旋转和平行于伸缩柱57平移。臂54可连接到取向平台53。取向平台53可能够旋转360度。操纵器组件12也可包括伸缩水平悬臂52，用于在水平方向上移动取向平台53。

在本示例中，臂54中的每个包括操纵器臂部分51。操纵器臂部分51可直接连接到医疗工具14。操纵器臂部分51可为遥控操作的。在一些示例中，连接到取向平台的臂54不是遥控操作的。相反，此类臂54在操作者S开始用遥控操作部件操作之前根据需要定位。

可以多种配置(包括具有刚性或柔性结构的配置)提供内窥镜和其它成像系统(例如，医疗工具15)。刚性内窥镜包括容纳用于将图像从远侧端部传输到内窥镜的近侧端部的中继透镜系统的刚性管。柔性内窥镜使用一个或多个柔性光纤传输图像。基于数字图像的内窥镜可具有“尖端上的芯片”设计，其中远侧数字传感器(诸如一个或多个电荷耦接设备(CCD)或互补金属氧化物半导体(CMOS)设备)存储图像数据。内窥镜成像系统也可利用其它成像技术，诸如超声、红外和荧光镜技术。内窥镜成像系统可向观察者提供二维或三维图像。二维图像可提供有限深度感知。三维立体内窥镜图像可向观察者提供更准确的深度感知。立体内窥镜工具采用立体相机以捕获患者解剖结构的立体图像。内窥镜工具可为完全可消毒组件，其中内窥镜电缆、把手和轴都牢固地耦接且被气密密封。

图1C是操作者的控制台38的透视图。操作者的控制台38包括左眼显示器32和右眼显示器34，用于向操作者S呈现使得能够进行深度感知的外科手术环境的协调的立体视图。操作者的控制台38的操作者输入系统16包括一个或多个输入控制设备36，进而，一个或多个输入控制设备36引起操纵器组件12操纵一个或多个医疗工具14和/或15。输入控制设备36可用于例如闭合抓握夹爪端部执行器、将电势施加到电极、递送药物治疗等。在各种另选方案中，输入控制设备36可附加地或另选地包括操纵杆设备、轨迹球、数据手套、触发枪、手操作的控制器、语音辨识设备、触摸屏、身体运动或存在传感器等。在一些实施例中且对于一些相关联的医疗工具14，输入控制设备36将提供与其相关联的医疗工具14相同的自由度，以向操作者S提供远程呈现、或以下感知：输入控制设备36与工具14集成，使得操作者S具有直接控制工具14的感觉。在其它实施例中，输入控制设备36可具有比相关联的医疗工具更多或更少的自由度，并且仍然向操作者S提供远程呈现。为此，可采用位置、力和触觉反馈传感器，以通过输入控制设备36将位置、力和触觉感受从工具14传输回到操作者S的手。操作者的控制台38的操作者输入系统16也可包括输入控制设备37，输入控制设备37是从用户的脚接收输入的脚踏板。

如图2所示，在一些实施例中，输入控制设备36可包括任何数量的多种输入设备中的一个或多个，诸如手柄输入206和触发开关208。如图2的示例中所示，提供被指称为m1的与输入控制设备36相关联的主参考坐标系202。主参考坐标系202的z轴线平行于输入控制设备36的对称轴线204。主参考坐标系202的X轴线和Y轴线从对称轴线204垂直延伸。

参考图3A和图3B，这些图示出被指称为e1的操作者参考坐标系302。在各种实施例中，操作者参考坐标系302可对应于操作环境的任何适当部分、或对应于操作环境本身。例如，操作者参考坐标系302的原点、取向、或原点和取向两者可对应于操作者S的一部分、或机器人系统的一部分。作为具体示例，操作者参考坐标系302可具有基于操作者S的一部分或所有(包括例如操作者的头部、躯干、整个身体或另一个身体部分)的位置的原点、以及基于操作者S的一部分或所有(包括例如操作者的头部、躯干、整个身体或另一个身体部分)的取向的取向。作为另外的示例，操作者参考坐标系302可基于夹持或以其它方式附接到操作者的某物(诸如头戴式显示器、一个或多个手持输入设备、附接到操作者S的跟踪标记或传感器等)的位置。作为另外的示例，操作者参考坐标系302可与用于显示工作空间的图像的显示屏、用于检测操作者S的传感器系统(或附接到传感器S的物品)一致。这样的传感器系统可放置在操作者S或显示屏附近，诸如在操作者或显示屏的顶部上、下面或紧挨着操作者或显示屏。在实施例中，操作者参考坐标系302对应于系统的观察者的方位和取向，操作者通过该方位和取向看到工作部位。

在图3A和图3B的示例中，当操作者S在操作者的控制台38的显示器308上观察外科手术部位时，操作者参考坐标系302被定义具有对应于操作者S的眼睛的常用或预期位置和取向的原点和取向。如此，该操作者参考坐标系302有时称为眼睛参考坐标系。在图3A和图3B示例中，当通过显示器308观察外科手术部位时，操作者参考坐标系302的Z轴线沿操作者S的视线306延伸。操作者参考坐标系302的X轴线和Y轴线在操作者参考坐标系302的原点304处从Z轴线垂直延伸。正向或反向运动学计算用于在主参考坐标系202m1和操作者参考坐标系302e1之间变换。从操作者参考坐标系302到主参考坐标系202m1的变换被指称为^e1R_m1。

参考图4的示例，所示的是包括分别在单独的基座406和422上的两个操纵器组件402和404的机器人系统(例如，图1A的机器人医疗系统10)。操纵器组件402包括基座406、结构支撑件408和操纵器410。在图4的示例中，成像工具15安装在操纵器410上，并且因此操纵器组件402可被认为还包括安装的成像工具15。成像工具15包括轴412和成像设备414。成像设备414可包括例如光学成像器、超声成像器、电磁成像器(诸如荧光镜成像器)、热成像器、热声成像器和任何其它合适的成像器。成像设备414具有视野416。

如图4所示，基座406具有参考坐标系418，参考坐标系418也被称为相机基座参考坐标系418且指称为b1。成像设备414具有参考坐标系420，参考坐标系420也被称为相机参考坐标系420且指称为c。从基座参考坐标系418到相机参考坐标系420的变换被指称为^b1R_c，可基于操纵器组件402的正向运动学确定^b1R_c。

如图4所示，机器人系统也包括操纵器组件404。操纵器组件404包括与操纵器组件402的基座406物理分离且独立于操纵器组件402的基座406的基座422。操纵器组件404包括结构支撑件424和操纵器426。在图4的示例中，工具14安装在操纵器426上，并且因此操纵器组件404可被认为还包括安装的工具14。工具14包括轴428、耦接到轴428的远侧端部的腕部430、以及耦接到腕部430的端部执行器432。基座422具有参考坐标系434，参考坐标系434也被称为工具基座参考坐标系434且指称为b2。工具14的轴428具有参考坐标系436，参考坐标系436也被称为轴参考坐标系436且指称为s。从工具基座参考坐标系434到轴参考坐标系436的变换被指称为^b2R_s。变换^b2R_s可基于操纵器组件404的正向运动学确定。

在各种实施例中，基座406和基座422的相对位置和取向是未知的。如此，从相机基座参考坐标系418b1到工具基座参考坐标系434b2的变换^b1R_b2是未知的。在一些实施例中，如图4所示，基座406和基座422共面或在平行平面上，诸如位于水平且平坦表面(本文中叫作平面438)上。在那些实施例中，可使用表示围绕垂直于平面(例如，平面438)的Z轴线旋转的单个旋转参数描述从相机基座参考坐标系418到工具基座参考坐标系434的变换^b1R_b2，因为相机基座参考坐标系418和工具基座参考坐标系434不沿定义平面(例如，平面438)的X轴线和Y轴线相对于彼此旋转。另选地，在一些实施例中，基座406和基座422不是共面的，诸如位于不是平坦的地面上。在那些实施例中，可使用表示围绕X、Y和/或Z轴线的旋转的多个旋转参数描述变换^b1R_b2。

基座406和基座422之间的这样的未知对准关系可使通过主控制设备对从工具/端部执行器进行直观控制很困难。为了在主控制设备及其从工具/端部执行器之间提供有效控制关系(也称为主-工具对准)，需要主控制设备和工具/端部执行器之间的空间对准。这样的空间对准在操作者感知的主控制设备运动(例如，本体感觉)与操作者感知的所得的工具运动(例如，视觉感觉)之间提供合理的准确关系，工具包括轴和端部执行器。例如，如果操作者将抓握主控制设备的手移动到左边，则操作者预期感知相关联的从工具/端部执行器也移动到左边。如果感知的空间运动匹配，则操作者可容易地通过移动主控制设备以控制从工具的移动。但是如果感知的空间运动不匹配(例如，主控制设备移动到左边导致从移动产生且移动到右边)，则操作者很难通过移动主控制设备控制从工具的移动。如下面详细描述的，操作者引导的配准过程可用于确定基座406和基座422之间的未知对准关系(例如，^b1R_b2)，然后，该未知对准关系可用于确定主-工具对准和主-工具变换。操作者引导的配准过程可使用由操作者引导的配准过程提供的配准信息以及远程外科手术系统中的已知的运动学关系和参考坐标系变换确定主-工具对准。下面以笛卡尔术语描述这些关系，但是可使用其它三维坐标系统。

在操作者引导的配准过程期间，操作者S可移动主控制设备，以使主控制设备(例如，输入控制设备36)与操纵器组件404的对准目标对准。对准目标可为操纵器426、轴428、腕部430、部分或整个端部执行器432、操纵器组件404的另一个部分、和/或其组合。在示例中，工具14的一部分(例如，轴428、端部执行器432)可在操作者引导的配准过程中用作对准目标，以增加用于相机参考坐标系420和与端部执行器432相关联的端部执行器参考坐标系之间的变换的准确性。

在确定操纵器组件404的对准目标之后，从相机参考坐标系420(指称为c)到与对准目标相关联的对准目标参考坐标系(被指称为目标)的变换^cR_目标满足以下等式：

^cR_目标＝^cR_b1*^b1R_b2*^b2R_目标 (1)

其中^cR_b1和^b2R_目标是已知变换，该已知变换可分别基于操纵器组件402和404的正向和反向运动学确定。

当主控制设备与在操作者的控制台的显示器(例如，图3A和图3B的操作者的控制台38的显示器308)中示出的操纵器组件404的对准目标对准时，满足以下相等条件：

^cR_目标＝^e1R_m1 (2)

基于等式(1)和(2)，我们具有以下：

^e1R_m1＝^cR_b1*^b1R_b2*^b2R_目标 (3)

如此，可根据等式(3)确定未知基座变换^b1R_b2，因为变换^e1R_m1、^cR_b1和^b2R_目标都是已知的。例如，从眼睛参考坐标系302到主参考坐标系202的变换^e1R_m1可基于主控制设备的正向运动学确定。

对于另外的示例，可根据^cR_b1＝(^b1R_c)^-1确定变换^cR_b1，其中^b1R_c是从基座406到成像设备414的变换，并且可使用操纵器组件402的正向运动学确定。在操纵器组件402中，由于包括成像工具15的操纵器组件402的所有机械连杆的物理尺寸是已知的，并且由于可(使用直接旋转传感器、马达位置传感器、传感器等)确定这些机械连杆之间的所有关节角度，所以可使用已知运动学计算确定相机基座参考坐标系418和相机参考坐标系420(或在操纵器组件402中的任何其它连杆的参考坐标系)之间的运动学关系。

同样地，可使用操纵器组件404的正向运动学确定变换^b2R_目标。在操纵器组件404中，由于包括工具14的操纵器组件404的所有机械连杆的物理尺寸是已知的，并且由于可(使用直接旋转传感器、马达位置传感器、传感器等)确定这些机械连杆之间的所有关节角度，所以可使用已知运动学计算确定工具基座参考坐标系434和目标参考坐标系(例如，轴参考坐标系436或在操纵器组件404中的任何其它部分的参考坐标系)之间的运动学关系。

在一些实施例中，可使用六自由度中的六个参数描述基座变换^b1R_b2，六个参数包括三个旋转参数(例如，表示围绕Z轴线旋转的偏转(方位)角度α、表示围绕Y轴线旋转的俯仰角度β、以及表示围绕X轴线旋转的滚转角度γ)和三个平移参数(例如，分别沿X、Y和Z轴线的距离x、y和z)。可如下提供变换^b1R_b2：

^b1R_b2＝[R(x，γ)][R(y，β)][R(z，α)] (4)

在操作者S将主控制设备与显示器中的对准目标对准之后，我们基于等式(3)和(4)具有以下的等式：

^e1R_m1＝^cR_b1*[R(x，γ)][R(y，β)][R(z，α)]*^b2R_目标 (5)

可基于等式(5)计算相机基座参考坐标系418和工具基座参考坐标系434之间的旋转和/或平移参数。变换^e1R_m1、^cR_b1和^b2R_目标可包括描述两个参考坐标系的位置和取向关系的旋转矩阵、和/或描述两个参考坐标系的位置和取向关系的变换矩阵(例如，齐次变换矩阵H)。

在一些实施例中，在不知道这些参考坐标系的相对位置的情况下，相机基座参考坐标系418和工具基座参考坐标系434的相对取向可足以使得能够进行由操作者使用主控制设备控制的直观的正确的工具操作。也就是说，即使没有关于相机基座参考坐标系418和工具基座参考坐标系434的相对位置的信息，在主控制设备处的平移和旋转可导致在工具14处的感到直观正确的对应的平移和旋转，因为相对取向与眼睛参考坐标系302和主参考坐标系202之间的第一对准关系(例如，^e1R_m1)一致以及与相机参考坐标系420和与端部执行器432相关联的端部执行器参考坐标系之间的第二对准关系(例如，^cR_{端部执行器})一致。如此，在那些实施例中，操作者引导的配准过程可确定仅涉及旋转参数α、β和γ(没有任何平移参数)的变换^b1R_b2以进行具有直观正确的工具操作的主-工具控制。

在一些实施例中，如图4的示例中所示，相机基座406和工具基座422在水平且平坦平面438上。如此，旋转参数β和γ是零。在那些实施例中，操作者引导的配准过程可确定仅涉及旋转参数α(没有任何平移参数或旋转参数β和γ)的变换^b1R_b2以进行具有直观正确的工具操作的主-工具控制。在那些实施例中，变换^b1R_b2可被描述为在基座坐标系b1和b2之间的具有偏转角度α(也称为方位角度α)的Z轴线旋转。可如下根据等式(4)确定使用单个旋转参数(方位角度α)的变换^b1R_b2：

在控制系统(例如，基于正向和反向运动学)确定

和的示例中，可如下用等式(6)重写用于Z轴线变换的等式(3)：

于是，获得如下具有一个未知参数(方位角度α)的三个等式：

(bl-ap)sin(α)+(al+bp)cos(α)＝P-cs (7)

(el-dp)sin(α)+(dl+ep)cos(α)＝Q-fs (8)

(hl-gp)sin(α)+(gl+hp)cos(α)＝R-is (9)

在一些实施例中，使用三个等式(7)、(8)和(9)中的任两个(例如，等式(7)和(8)、等式(8)和(9)或等式(7)和(9))计算sin(α)和cos(α)。例如，可如下使用等式(7)和(8)计算cos(α)：

类似地，可如下使用等式(7)和(8)计算sin(α)：

基于等式(10)和(11)，可基于sin(α)和cos(α)使用反正切函数确定方位角度α。为了基于等式(10)和(11)计算sin(α)和cos(α)，那些等式的分母可不是零。换句话讲，在等式(10)和(11)的分母等于零的一些实施例中，可不计算方位角度α。

在一些实施例中，可使用三个等式(7)、(8)和(9)计算sin(α)和cos(α)。例如，可如下重写等式(7)、(8)和(9)：

可将奇异值分解(SVD)算法应用于等式(12)的左手侧，用于确定sin(α)和cos(α)。然后，可基于sin(α)和cos(α)使用反正切函数确定方位角度α。

参考图5至图17，描述了用于实行操作者引导的配准过程的各种系统和方法。如上面讨论的，为了满足等式(2)，主控制设备需要与操作者的控制台的显示器中所示的操纵器组件404的对准目标对准。在各种实施例中，当未对准的量在基于所需的运动准确性确定的公差内时，认为实现对准。在操作者引导的配准过程中，操作者可实行对准步骤，以移动主控制设备，并且在操作者确定主控制设备与操作者的控制台的显示器中所示的操纵器组件404的对准目标对准之后，向控制系统提供指示。在一些实施例中，控制系统指导操作者实行对准步骤，而不在显示器上提供标记来协助操作者的对准。另选地，如图5至图16所示，可在显示器上提供与主控制设备相关联的标记，以在对准步骤中协助操作者。图17示出用于实行操作者引导的配准过程的方法的流程图，其中可提供可选标记。这样的操作者引导的配准过程可使用很少或不使用成像处理，这实现具有时效性的配准过程。如此，可在操作(例如，医疗手术操作)之前和期间使用操作者引导的配准过程，而不引起对操作的长时间中断。

在一些实施例中，如图5至图14所示，操作者引导的配准过程可映射单个旋转参数以用于在相机基座参考坐标系和工具基座参考坐标系之间的基座变换。在图5至图14的那些示例中，对准目标是工具14的轴428。另选地，在如图15和图16所示的一些实施例中，操作者引导的配准过程可映射多个参数(平移和/或旋转参数)以用于在相机基座参考坐标系和工具基座参考坐标系之间的基座变换。在图15和图16的那些示例中，对准目标包括工具14的轴428、腕部430和端部执行器432。应当注意，虽然图5至图16中，具体示例用于描述对准目标，但是对准目标可包括操纵器组件404的任何部分。

参考图5、图6、图7和图8，在一些实施例中，在显示器500(例如，显示器308)上示出标记，以协助操作者移动主控制设备，并且确定主控制设备与对准目标(例如，轴428)对准。如下面详细讨论的，根据操作者引导的配准过程的配置(例如，用于映射单个旋转参数或映射基座变换^b1R_b2的多于一个平移和/或旋转参数、对准目标的特性(例如，形状、颜色、纹理))，标记可具有各种呈现特性，包括例如形状、颜色、大小、透明度、表面图案、文本、任何其它呈现特性、和/或其组合。标记的此类呈现特性可用于指示方向(例如，前面或后面)和取向(表示围绕X轴线旋转的滚转角度)。在示例中，标记(例如，圆柱体)可不指示方向或取向。在另一个示例中，标记可使用各种呈现特性，例如，特定形状(例如，圆锥体)、颜色改变、图案、符号、文本和/或其组合，以指示与标记相关联的方向和/或取向。

在图5、图6、图7和图8的示例中，操作者引导的配准过程被配置为映射用于在相机基座参考坐标系和工具基座参考坐标系之间的基座变换(例如，^b1R_b2)的单个旋转参数(例如，围绕Z轴线的方位角度α)。在那些示例中，与该单个旋转参数相关联的单个参数标记可用于在对准步骤中协助操作者S。单个参数标记可具有形状(例如，线、圆锥体、圆柱体)，形状(例如，线、圆锥体、圆柱体)具有与将被映射的该单个参数相关联的轴线(例如，对称轴线)。操作者S可通过移动主控制设备将单个参数标记与操纵器组件404的对准目的对准，使得单个参数标记的轴线与对准目标的对应的轴线对准。

可使用具有各种形状的标记。例如，标记可具有一维形状(例如，直线)、二维形状(例如，三角形、正方形、矩形、圆形、椭圆形)和/或三维形状(例如，圆柱体、棱锥、棱柱、立方体、矩形棱柱)。在各种实施例中，控制系统可基于所需的对准准确性确定标记的形状。在图5和图6的示例中，控制系统在显示器中提供具有圆锥体形状的标记502。在图7和图8的示例中，控制系统提供具有与轴428的形状相同的形状(例如，圆柱体)的标记，该标记可提供比图5和图6的标记更好的对准准确性。

参考图5，本文示出的是在操作者实行操作者引导的配准过程的对准步骤之前的显示器500(例如，图3B的显示器308)。显示器500示出在成像设备414的视野16中的工具14的一部分。工具14的一部分包括一部分轴428、腕部430和端部执行器432。显示器500也包括具有第一位置508的圆锥体标记502。标记502具有对应于主控制设备的主参考坐标系202的Z轴线的轴线504。

在各种实施例中，可指导操作者S移动主控制设备，以改变显示器500中的标记502的位置和/或取向，使得标记502与显示器500中的对准目标(例如，轴428)对准。在示例中，在标记502的轴线504平行于显示器500中的轴428的对称轴线506之后，标记502与显示器500中的轴428对准。可使用显示器500上的文本消息或通过由操作者S佩戴的扬声器或耳机提供的音频消息将指令提供到操作者S，使得操作者S可在观察显示器500时接收指令。在示例中，指令可包括对操作者S的对准目标(例如，轴428、端部执行器432、轴428的对称轴线、端部执行器32的对称轴线)的识别。在图5的特定示例中，将轴428识别为对准目标的指令提供到操作者S。

参考示例图6，本文示出的是在以下操作之后的显示器500：操作者S已经实行对准步骤以将在位置508处的图5的标记502移动到位置604，使得图6的标记502具有使得标记502与显示器中的轴428对准的取向。在图6的示例中，标记502的位置被移动，使得其轴线504与轴428的对称轴线506共线。在替换示例中，图6的标记502可保持在与图5的标记502相同的位置处，但是具有不同的取向，使得其轴线504平行于轴428的对称轴线506。在示例中，通过使标记502的轴线504和工具14的轴428的对应的轴线506对准，实现沿主参考坐标系202和轴参考坐标系436的Z轴线的对准。

在一些实施例中，在操作者S确定标记502与图6的显示器500中的轴428对准之后，操作者S使用主控制设备(例如，使用手柄、按钮、滑块、脚踏板、语音辨识设备等)将指示提供到控制系统，该指示表示操作者引导的配准过程的对准步骤完成了。控制系统可根据等式(10)和(11)或(12)实行配准步骤以计算将映射的参数(例如，围绕Z轴线的方位角度α)。然后，控制系统可根据等式(6)使用方位角度α计算基座变换^b1R_b2，如上面讨论的。

参考图7和图8，在一些实施例中，标记可基于对准目标呈现在显示器上，使得操作者可在主控制设备和对准目标之间提供更准确的对准。例如，标记可具有基于对准目标确定的形状、颜色、大小、透明度、任何其它呈现特性和/或其组合。

在图7的示例中，在操作者实行对准步骤之前，显示器500包括在成像设备414的视野416中的工具14的一部分。工具14的一部分包括轴428、耦接到轴428的远侧端部的腕部430、以及耦接到腕部430的端部执行器430。在图7的示例中，轴428具有对应于轴参考坐标系436的Z轴线的轴线708。显示器500也包括在位置704处的标记702。标记702具有对应于主参考坐标系202的Z轴线的轴线706。在图7的示例中，标记702是实体(即，不是透明/半透明的)圆柱体。在另一个示例中，标记702是轴428的部分透明或半透明图像。在又一示例中，标记702是轴428的接线图图像。在图7的示例中，操作者S可通过移动主控制设备使标记702与轴428重叠，这可帮助操作者S实现更好的对准准确性。

参考图8的示例，所示的是在操作者已经实行对准步骤以移动图7的标记702之后的显示器500。如图8所示，通过使标记702与轴428重叠，操作者可实现更好的对准准确性。

参考图9A至图14，操作者引导的配准过程可包括两个步骤(对准步骤和配准步骤)。关于工具14和/或成像设备414的位置和取向，对准步骤和配准步骤中的每个具有其自己的最佳和最差的情况。图9A至图12示出在对准步骤中的对准误差灵敏度中的最佳和最差的情况。图13和图14示出在配准步骤中的最佳和最差的情况。在一些实施例中，在操作者引导的配准过程的对准步骤和配准步骤之前，操纵器组件402和/或404可被配置(例如，通过操作者手动或使用主控制设备控制)为使得其不具有对应于最差的情况的配置。在一些实施例中，控制系统可在其确定操纵器组件402和404具有用于对准和/或配准步骤的最差的情况配置之后，禁用其用于实行操作者引导的配准过程的操作者引导的配准模式，并且在操纵器组件402和404摆脱最差的情况配置之后，启用操作者引导的配准模式。在图9A至图14的示例中，对准目标是工具14的轴428。然而，在其它示例中，对准目标可为控制工具14的操纵器组件404的任何部分。

参考图9A和图9B，本文示出的是在操作者引导的配准过程的对准步骤中的最佳的情况配置。图9A示出轴428和成像设备414的相对位置和取向。如图9A所示，工具14的轴428具有对准目标轴线902。成像工具15包括具有光学轴线904的成像设备414。工具14和成像工具15被定位成使得光学轴线904垂直于对准目标轴线902。换句话讲，工具14的轴428(对准目标)整个安置在垂直于成像设备414的光学轴线904且平行于成像设备414的光学平面906的平面中。在图9A的示例中，轴428的整个长度L投影到光学平面906上。

图9B示出显示器500，显示器500包括由图9A的成像工具15捕获的工具14的图像。如图9B所示，因为轴428的整个长度L投影到光学平面906上，所以最容易对标记进行取向且使标记对准到显示器500中所示的对准目标轴线902。如此，如图9A所示的工具14和成像工具15的相对位置的这样的配置与最佳对准误差灵敏度相关联。

参考图10A和图10B，本文所示的是在操作者引导的配准过程的对准步骤中的最差的情况配置。如图10A所示，工具14的轴428具有对准目标轴线902。成像工具15包括具有光学轴线904的成像设备414。工具14和成像工具15被定位成使得光学轴线904平行于对准目标轴线902。换句话讲，工具14的轴428的轴线整个安置在平行于成像设备414的光学轴线904的平面中。对准目标轴线902垂直于成像设备414的光学平面906，并且相对于光学平面906具有90度的平面外角度θ。这是奇异(singularity)配置，其中轴428在成像设备414的视野中减少为圆形，并且其对准目标轴线902被投影为光学平面906上的点。

图10示出显示器500，显示器500示出由图10A的成像工具15捕获的工具14的图像。如图10B所示，虽然端部执行器432的尖端在显示器500上是可见的，但是轴428不是可见的。在这样的配置中，操作者S可以不对标记进行取向且使标记对准到轴428。如此，如图10A所示的工具14和成像工具15的相对位置的这样的配置与最差对准误差灵敏度相关联。

参考图11A和图11B，即使有小于90度的平面外角度θ，因为平面外角度θ靠近90度，所以操作者S很难使标记与轴428对准。如图11A的示例所示，轴428和成像设备414具有相对位置和取向，使得轴428的对准目标轴线902和成像设备414的光学平面906之间的平面外角度θ大于零但小于90度。轴428在光学平面906上的投影长度1102随着平面外角度θ从零增加到90度而减小。例如，可使用L*cos(θ)计算投影长度1102，其中L是轴428的长度。随着投影长度1102减小，操作者S使标记与轴428对准变得更困难。对于相同的平移误差，具有较短长度的投影轴导致较大的角度误差。如此，对准误差灵敏度随着平面外角度θ从零增加到90度而减小。

在示例中，提供阈值平面外角度θ1(例如，75度)，阈值平面外角度θ1指示在阈值平面外角度θ1处，操作者S使标记与轴428对准变得困难。可识别误差区域1104。在该示例中，刀转角圆锥体可被识别为误差区域1104，其中平面外角度θ在平面外角度θ1和90度之间。这样的误差区域可识别轴428的位置/取向的界限，其中操作者很难使标记与轴428对准，或者考虑到特定操作者指定的对准，系统很难实现足够准确的配准。在示例中，控制系统可在确定轴428处于误差区域1104中之后，禁用其用于实行操作者引导的配准模式的操作者引导的配准模式。在另一个示例中，控制系统可将误差区域消息提供给操作者，通知操作者此类最差情况配置。在又一示例中，控制系统可在确定轴428在误差区域1104之外之后，启用其操作者引导的配准模式。

参考图12，曲线1202示出关于对准目标轴线902和成像设备414的光学平面906之间的平面外角度θ的对准目标轴线取向误差。如曲线1202中所示，在平面外角度θ是零的配置(例如，图9A和图9B的配置)中，对准目标轴线取向误差具有值1204(例如，约3度)，这可由轴位置误差(例如，约5％)引起。随着平面外角度θ从零增加到90度，对准目标轴线对准误差增加。在平面外角度θ是90度的配置(例如，图10A和图10B的配置)中，对准目标轴线对准误差是无穷大。

在一些实施例中，控制系统包括用于对准目标轴线取向误差的预先确定的误差阈值1206(例如，10度)。如图12所示，预先确定的对准目标轴线取向误差阈值1206对应于平面外角度θ1(例如，73度)。在此类实施例中，可识别误差区域(例如，图11A的刀转角圆锥体型误差区域1104)的界限，其中平面外角度θ在θ1和90度之间。在轴428位于这样的误差区域内的配置中，操作者S使标记与轴428对准很困难，并且可能导致大于预先确定的误差阈值1206的取向误差。如此，在操作者引导的配准过程之前，成像设备414和轴428可被配置(例如，由操作者手动或使用主控制设备控制)为使得轴428没有位于误差区域中。在示例中，控制系统可在确定轴428处于误差区域中之后，禁用其用于实行操作者引导的配准模式的操作者引导的配准模式。在另一个示例中，控制系统可将误差区域消息提供到操作者，通知操作者此类最差情况配置。在又一示例中，控制系统可在确定轴428在误差区域之外之后，启用其操作者引导的配准模式。

参考图13和图14，本文示出的是用于操作者引导的配准过程的配准步骤的最佳和最差情况配置，其中配准步骤使用由操作者引导的配准过程的对准步骤提供的对准信息。图13示出用于操作者引导的配准过程的配准步骤的最佳情况配置，该最佳情况配置提供用于配准的最多对准信息。图14示出用于操作者引导的配准过程的配准步骤的最差情况配置，该最差情况配置提供用于配准的最少对准信息。

参考图13，本文示出的是用于操作者引导的配准过程的配准步骤的最佳情况配置，其中成像设备414的光学轴线(例如，光学轴线904)与和用于配准的内容(例如，围绕相机基座参考坐标系418和工具基座参考坐标系434的Z轴线的相对方位角度α)相关联的轴线(例如，相机基座坐标系418b1和工具基座坐标系434b2的Z轴线)对准。在图13的示例中，用于成像工具15的相机基座(例如，图4的基座406)和工具基座(例如，图4的基座422)位于相同水平平面438上。如此，相机基座参考坐标系418和工具基座参考坐标系434的Z轴线是垂直的。成像工具15的成像设备414具有的位置/取向使得其光学轴线904平行于相机基座参考坐标系418和工具基座参考坐标系434的Z轴线。轴428具有的位置/取向使得其对准目标轴线902垂直于光学轴线904。这样的配置提供用于配准的最大对准信息(例如，与相对方位角度α相关联的)。在完成对准步骤之后，标记和对准目标轴线902之间的角度失配(例如，主控制设备坐标系和轴坐标系的Z轴线之间的角度)与相机基座参考坐标系418和工具基座参考坐标系434之间的相对方位角度α相同。

参考图14，本文示出的是用于操作者引导的配准过程的配准步骤的最差情况配置，其中成像设备414的光学轴线(例如，光学轴线904)垂直于与用于配准的内容(例如，相对方位角度α)相关联的轴线(例如，相机基座参考坐标系418和工具基座参考坐标系434的Z轴线)。在图14的示例中，用于成像工具15的相机基座(例如，图4的基座406)和工具基座(例如，图4的基座422)位于相同水平平面438上。如此，相机基座参考坐标系418和工具基座参考坐标系434的Z轴线是竖直的。成像工具15的成像设备414具有的位置/取向使得其光学轴线904垂直于相机基座参考坐标系418和工具基座参考坐标系434的Z轴线。这样的配置不提供用于配准的对准信息内容(例如，在图4的基座406和422之间的相对方位角度α)。在这样的配置中，甚至在对准步骤期间的标记和轴428的最佳对准也不可提供关于用于配准的内容(例如，基座406和422之间的相对方位角度α)的任何相关信息。换句话讲，在该配置中，改变轴428的位置不能改善用于配准的相关信息内容。

如图13和图14所示，关于用于配准的内容的相关对准信息可随着成像设备414的光学轴线904远离与用于配准的内容(例如，方位角度α)相关联的轴线(例如，相机基座参考坐标系418和工具基座参考坐标系434的Z轴线)移动而减少。当成像设备414的光学轴线904垂直于相机基座参考坐标系418和工具基座参考坐标系434的Z轴线时，此类相关对准信息达到零。如此，在一些实施例中，为了避免配准步骤中的最坏情况配置，在操作者引导的配准过程之前，成像设备414可被移动(例如，由操作者手动地)到基于用于配准的内容的位置/取向。在用于配准的内容包括与基座的Z轴线旋转相关联的方位角度α的示例中，在操作者引导的配准过程之前，成像设备414被移动到其光学轴线不垂直于基座的Z轴线的位置。在用于配准的内容包括与相机基座参考坐标系418和工具基座参考坐标系434的X、Y和Z轴线相关联的附加平移参数和旋转参数的另一个示例中，在操作者引导的配准过程之前，成像设备414被移动到其光学轴线不垂直于相关联的X、Y和Z轴线中的任一个的位置/取向。

参考图15和图16，在一些实施例中，操作者引导的配准过程可映射在相机基座参考坐标系和工具基座参考坐标系之间的基座变换^b1R_b2的多于一个参数(平移和/或旋转参数)。在一些示例中，基座406和422可在与水平平面成角度的倾斜地板上和/或在不平坦的地板上。在那些示例中，除表示围绕Z轴线旋转的方位角度α之外，操作者引导的配准过程还确定旋转参数(例如，表示围绕Y轴线旋转的俯仰角度β和表示围绕X轴线旋转的滚转角度γ)。在一些示例中，操作者引导的配准过程可确定基座变换^b1R_b2的平移参数(例如，沿X、Y和Z轴线的距离)，这可改善主工具变换准确性，从而改善在使用主控制设备控制工具中的操作直观性。

参考图15的示例，示出的是显示器500，显示器500包括在操作者S实行对准步骤之前由成像工具15捕获的工具14的图像和标记1502。可使用工具14的二维(2D)或三维(3D)模型提供标记1502，并且因此标记1502可表示工具14的实际实体模型。可使用例如计算机辅助设计(CAD)数据或表示工具14(例如，图4的工具14)的其它2D或3D实体建模数据提供工具14的模型。在图15的示例中，标记1502是工具14的虚拟表示，并且包括虚拟轴1504、虚拟腕部1506和虚拟端部执行器1508。当标记1502处于工具的虚拟表示中时，标记1502在本文中也被称为虚拟工具1502。如显示器500中所示的虚拟工具1502及其位置、取向和大小可通过主控制设备的姿势以及主控制设备和显示器500之间的对准关系确定。在实施例中，虚拟工具1502可由主控制设备在每个关节处(例如，在虚拟腕部1506处)进行操纵，使得可在对准步骤中操作者S使用主控制设备通过虚拟工具1502模仿工具14的姿势。在图15的示例中，虚拟工具1502的大小小于实际工具14。虚拟工具1502可以多种不同方式表示。在示例中，虚拟工具1502是工具14的部分透明或半透明图像。在另一个示例中，虚拟工具1502是工具14的接线图图像。在又一示例中，虚拟工具1502是看起来实体的(例如，不是透明/半透明)图像，但是这样的实体虚拟工具1502可使在显示器500中观察实际工具14变得困难。

参考图16的示例，示出的是在操作者S已经实行对准步骤以移动主控制设备以使虚拟工具1502与实际工具14重叠之后的显示器500。虚拟工具1502已经基于主控制设备和显示器之间的对准关系的改变移动。换句话讲，如图16的显示器500中所述的虚拟工具1502的位置、取向和大小对应于在操作者S实行对准步骤之后主控制设备的新姿势、以及主控制设备和显示器之间的新对准关系。

在一些实施例中，在操作者S确定虚拟工具1502与图16的显示器500中的对准目标(例如，工具14)对准(例如，完全重叠)之后，操作者S将指示完成操作者引导的配准过程的对准步骤的指示提供到控制系统。在一些实施例中，通过使虚拟工具1502与工具14完全重叠，与所有自由度相关联的对准信息被提供用于配准步骤。如此，控制系统可根据等式(5)计算一个或多个参数(例如，在三维空间中的总共六个自由度中的六个参数中的一个或多个)。在示例中，等式(5)中的变换^b2R_目标是工具基座参考坐标系434与端部执行器432的端部执行器参考坐标系之间的变换。

虽然在图15和图16的示例中，作为工具14的虚拟表示的标记1502用于多参数(例如，两个基座参考坐标系之间的三个取向参数和三个平移参数)映射，但是标记1502可使用各种视觉指示符(例如，标记、纹理、颜色、形状、文本)用于此类多参数映射。在示例中，标记1502可包括对应于工具14的特定特征(例如，凸缘、凹陷、突起)的视觉指示符。在该示例中，操作者S可通过使标记1502与显示器中的工具14的图像匹配，使标记1502和工具14在位置和取向上对准。如此，可实现多参数映射。

图17示出用于实行操作者引导的配准过程的方法1700。方法1700在图17中被示出为一组操作或过程1702至1718。不是所有示出的过程1702至1718都可在方法1700的所有实施例中实行。附加地，可在过程1702至1718之前、之后、之间包括在图17中没有清楚示出的一个或多个过程，或者在图17中没有清楚示出的一个或多个过程可被包括作为过程1702至1718的一部分。在一些实施例中，可至少部分地以存储在非暂态有形机器可读介质上的可执行代码的形式实施过程中的一个或多个，可执行代码当由一个或多个处理器(例如，控制系统(诸如控制系统20)的处理器)运行时，引起一个或多个处理器实行过程中的一个或多个。如方法1700中所示，这样的操作者引导的配准过程需要很少或不需要图像处理。因而，操作者引导的配准过程可比使用计算昂贵的图像处理的配准过程花费更少的时间，并且可在外科手术操作期间实行。还有，除操纵器中的联合编码器之外，操作者引导的配准过程可在不使用附加传感器或其它硬件的情况下实行，并且可不遭受传感器相关制约诸如视线、磁干扰等。

方法1700开始于过程1702，其中机器人医疗系统的控制系统切换到操作者引导的配准模式。在过程1702处，控制系统可确定在主控制设备和工具之间是否存在控制环路，并且如果有的话，中断该控制环路。换句话讲，在操作者引导的配准模式中，工具不被主控制设备控制。在示例中，在操作者引导的配准模式中，控制系统可保持工具和/或成像设备静止。在一些实施例中，在过程1702处，控制系统可在确定机器人医疗系统的成像设备和工具具有对应于对准步骤和/或配准步骤中的最差情况配置之后，禁用操作者引导的配准模式和/或将警告消息提供到操作者，如上面参考图9A至图14讨论的。

方法1700可前进到过程1704，其中由机器人医疗系统的成像设备捕获的工具的图像通过操作者控制台的显示器提供到操作者。在图4的示例中，在过程1704处，工具14的图像由机器人医疗系统的成像设备414捕获。在图5的示例中，包括成像设备414的视野的图像通过操作者控制台的显示器500提供到操作者S。所显示的图像可包括工具14的部分，包括例如轴428、腕部430和端部执行器432。

在一些实施例中，然后，方法1700可前进到过程1706，其中操作者S被指导使主控制设备与在显示器中提供的工具14的对准目标对准，而无需显示器中标记的协助。

另选地，在一些实施例中，方法1700可前进到过程1710，其中标记通过显示器500提供到操作者S，以协助操作者S实行对准步骤。在此类实施例中，控制系统可基于将由操作者引导的配准过程确定的参数，确定标记的类型(例如，单参数标记、多参数标记)。

在一些实施例中，如图5、图6、图7和图8的示例中所示，操作者引导的配准过程被配置为确定从相机基座参考坐标系418到工具基座参考坐标系434的基座变换^b1R_b2的单个参数(例如，描述围绕Z轴线旋转的方位角度α)。在那些实施例中，与该单个参数(例如，具有与对应的轴线相关联的轴线)相关联的单参数标记(例如，图5的标记502、图7的标记702)可用于协助操作者S实行对准步骤。单参数标记可具有形状(例如，线、圆锥体、圆柱体)，该形状(例如，线、圆锥体、圆柱体)具有与将确定的单个参数相关联的轴线(例如，图5的轴线504、图7的轴线706)。在后续过程中，操作者S可通过移动主控制设备使单参数标记与工具的对准目标对准，使得单参数标记的轴线与对准目标的对应的对准轴线对准。

在一些实施例中，如图15的示例中所示，操作者引导的配准过程被配置为确定多个参数，多个参数包括与基座变换^b1R_b2相关联的旋转参数(例如，描述围绕X、Y和Z轴线旋转)和/或平移参数(例如，描述沿X、Y和Z轴线位移)。在那些实施例中，与那些多个参数相关联的多参数标记(例如，图15的虚拟工具1502)可用于在对准步骤中协助操作者S。多参数标记可具有与将确定的那些多个参数相关联的形状(例如，工具14的虚拟表示)。在后续过程中，操作者S可使多参数标记与工具对准，使得多参数标记和工具通过移动主控制设备在显示器中完全重叠。

在过程1710处，在确定标记类型之后，在显示器中示出该确定的标记类型的标记。可基于主控制设备和显示器之间的对准关系以及主控制设备的姿势，确定在显示器上标记的初始位置和取向。

然后，方法1700可前进到过程1712，其中操作者S被指导使标记与显示器中提供的工具的对准目标对准。在将确定单个参数的实施例中，操作者S可被指导沿单个轴线使标记与工具的对准目标对准。在图5的示例中，操作者S可被指导使用主控制设备控制标记502的位置和取向，使得标记502沿轴线504和506与工具14的轴428对准。在图7的示例中，操作者S可被指导使用主控制设备控制标记702的位置和取向，使得标记702与显示器500中的轴428重叠。在图15的示例中，操作者S可被指导使用主控制设备控制虚拟工具1502的位置和取向，使得虚拟工具1502和工具14在显示器500中重叠。

然后，方法1700可前进到过程1714，其中控制系统从操作者S接收指示主控制设备与对准目标对准的对准完成指示。可由操作者S使用主控制设备(例如，使用手柄、脚踏板、语音辨识设备等)提供对准完成指示。在图6的示例中，当标记502的轴线504平行于显示器500中的工具14的轴428或与显示器500中的工具14的轴428共线时，操作者S可提供这样的对准完成指示。在图8的示例中，标记702具有与轴428的形状相同的形状(例如，圆柱体)。在该示例中，操作者S可在标记702与工具14的轴428重叠之后，提供这样的对准完成指示。在图16的示例中，操作者S可在虚拟工具1502(包括其虚拟轴1504、虚拟腕部1506和虚拟端部执行器1508)与工具14(包括其轴428、腕部430和端部执行器432)重叠之后，提供这样的对准完成指示。

然后，方法1700前进到过程1716，其中控制系统确定机器人医疗系统的基座变换^b1R_b2。在图5、图6、图7和图8的示例中，可根据等式(10)、(11)和(12)计算单个参数(例如，方位角度α)。在那些示例中，然后，可根据等式(6)使用该单个参数确定基座变换^b1R_b2。在图15和图16的示例中，可根据等式(5)计算多个参数(例如，旋转参数和平移参数)。在那些示例中，然后，可根据等式(4)使用那些多个参数确定基座变换^b1R_b2。

然后，方法1700可前进到过程1718，其中控制系统切换到工具控制模式，并且重新连接在主控制设备和工具之间的控制环路。当在工具控制模式下操作时，控制系统可响应于与工具相关联的主控制设备的移动，控制工具相对于相机坐标系的移动。为了在相机坐标系中有效移动工具，控制系统使用基座变换(例如，在过程1716处确定的^b1R_b2)确定相机参考坐标系和端部执行器参考坐标系之间的对准关系。例如，控制系统可如下计算从相机坐标系c到端部执行器参考坐标系的变换^cR_{端部执行器}：

^cR_{端部执行器}＝^cR_b1*^b1R_b2*^b2R_{端部执行器} (13)

其中^cR_b1是从相机参考坐标系420到相机基座参考坐标系418的变换，^b2R_{端部执行器}是从工具基座参考坐标系434到端部执行器参考坐标系的变换。^cR_b1和^b2R_{端部执行器}是可分别基于操纵器组件402和404的正向和反向运动学确定的变换，并且先前已经在过程1718处通过操作者引导的配准过程确定^b1R_b2。

在一些实施例中，在过程1718处，控制系统可响应于由成像系统提供的状态变量信号，导出主-工具变换，使得在显示器中的工具的图像看起来基本上连接到主控制设备。这些状态变量一般指示如由支撑成像设备的操纵器供应的成像设备的视野的笛卡尔位置。控制系统可使用由操作者引导的配准过程确定的基座变换^b1R_b2导出主-工具变换，使得控制系统可响应于主控制设备的移动，恰当控制工具14相对于相机坐标系的移动。

在各种实施例中，可在操作(例如，医疗操作)之前或期间实行操作者引导的配准过程。在医疗示例中，可在患者外或患者内的医疗操作之前(例如，在设置期间)实行操作者引导的配准过程。在另一个示例中，可在医疗操作期间实行操作者引导的配准过程。在又一示例中，操作者引导的配准过程可作为备份和/或校准检查配准方法实行，其中另一个配准过程(例如，使用基座上的传感器的配准过程或使用图像处理的配准过程)是主要配准过程。在又一示例中，可在相同基座上具有操纵器的机器人系统中使用操作者引导的配准过程，以检查和确认那些操纵器与其相应工具的配准。

本发明的实施例中的一个或多个元件可以软件实施，以在计算机系统的处理器(诸如控制处理系统)上执行。当以软件实施时，本发明的实施例的元件实质上是用于实行必要任务的代码段。程序或代码段可被存储在处理器可读存储介质或设备中，程序或代码段可经过传输介质或通信链路用体现在载波中的计算机数据信号的方式下载。处理器可读存储设备可包括可存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储设备示例包括电子电路；半导体设备、半导体存储器设备、只读存储器(ROM)、闪速存储器、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其它存储设备。代码段可经由计算机网络诸如以太网、内联网等下载。

注意，呈现的过程和显示可不固有地与任何特定计算机或其它装置有关。各种通用系统可根据本文的教导内容与程序一起使用，或者可证明构造更专业的装置以实行描述的操作是方便的。用于多种这些系统所需的结构将作为权利要求书中的元件出现。此外，没有参考任何特定编程语言描述本发明的实施例。将了解，多种编程语言可用于实施如本文所述的本发明的教导内容。

虽然已经在附图中描述和示出本发明的某些示例性实施例，但是应当理解，此类实施例仅仅为广义发明的说明，并且不是对广义发明的制约，并且本发明的实施例不限于所示和描述的具体构造和布置，因为本领域普通技术人员可想出各种其它修改。

Claims (23)

1.一种机器人系统，包括：

显示器，所述显示器可由操作者观察，其中相对于所述显示器或观察所述显示器的所述操作者定义操作者参考坐标系；

输入设备，所述输入设备可由所述操作者移动；

处理单元，所述处理单元包括一个或多个处理器，所述处理单元被配置为：

在所述显示器中呈现由成像设备捕获的第一工具的第一图像；

从所述操作者接收所述输入设备的第一轴线与所述第一图像中的所述第一工具的对应的轴线对准的第一指示；以及

响应于所述第一指示，基于所述操作者参考坐标系和所述输入设备之间的第二对准关系，确定所述成像设备和所述第一工具之间的第一对准关系。

2.根据权利要求1所述的机器人系统，其中所述处理单元还被配置为：

在所述显示器中呈现由所述输入设备基于所述第二对准关系控制的标记以协助所述操作者提供所述第一指示。

3.根据权利要求2所述的机器人系统，其中所述标记包括所述第一工具的合成呈现，用于所述操作者使所述标记与所述第一图像中的所述第一工具的轴和端部执行器重叠。

4.根据权利要求2所述的机器人系统，其中所述标记具有细长形状，用于所述操作者使所述标记与所述第一图像中的所述第一工具的轴匹配。

5.根据权利要求1、2、3或4所述的机器人系统，还包括：

第一基座，所述第一基座具有用于耦接到所述成像设备的第一操纵器；以及

第二基座，所述第二基座与所述第一基座物理分离，所述第二基座具有用于耦接到所述第一工具的第二操纵器；

其中，为了确定所述第一对准关系，所述处理单元被配置为：

使用所述操作者参考坐标系和所述输入设备之间的所述第二对准关系确定所述第一基座和所述第二基座之间的基座对准关系；以及

使用所述基座对准关系确定所述第一对准关系。

6.根据权利要求5所述的机器人系统，其中用第一旋转参数确定所述基座对准关系。

7.根据权利要求5所述的机器人系统，其中用第一平移参数确定所述基座对准关系。

8.根据权利要求5所述的机器人系统，其中，为了确定所述第一对准关系，所述处理单元被配置为：

确定从所述成像设备的成像设备参考坐标系到与所述第一基座相关联的第一基座坐标系的成像坐标系变换；

确定从与所述第二基座相关联的第二基座坐标系到与所述第一工具相关联的工具参考坐标系的工具坐标系变换；以及

使用所述成像坐标系变换、所述基座对准关系和所述工具坐标系变换确定所述第一对准关系。

9.根据权利要求8所述的机器人系统，其中使用沿从所述第一基座延伸到所述成像设备的第一运动链定位的一个或多个传感器确定所述成像坐标系变换。

10.根据权利要求8所述的机器人系统，其中使用沿从所述第二基座延伸到所述第一工具的第二运动链定位的一个或多个传感器确定所述工具坐标系变换。

11.根据权利要求1、2、3或4所述的机器人系统，还包括：

第一基座，所述第一基座具有第一操纵器和第二操纵器，

其中所述第一操纵器被配置为耦接到所述成像设备，并且

其中所述第二操纵器被配置为耦接到所述第一工具。

12.一种方法，包括：

在可由操作者观察的显示器中，呈现由成像设备捕获的第一工具的第一图像；

从所述操作者接收可由所述操作者移动的输入设备的第一轴线与所述第一图像中的所述第一工具的对应的轴线对准的第一指示；以及

响应于所述第一指示，基于操作者参考坐标系和所述输入设备之间的第二对准关系，确定所述成像设备和所述第一工具之间的第一对准关系，

其中相对于所述显示器或观察所述显示器的所述操作者定义所述操作者参考坐标系。

13.根据权利要求12所述的方法，还包括：

在所述显示器中呈现由所述输入设备基于所述第二对准关系控制的标记，以协助所述操作者提供所述第一指示。

14.根据权利要求13所述的方法，其中所述标记包括所述第一工具的合成呈现，用于所述操作者使所述标记与所述第一图像中的所述第一工具的轴和端部执行器重叠。

15.根据权利要求13所述的方法，其中所述标记具有细长形状，用于所述操作者使所述标记与所述第一图像中的所述第一工具的轴匹配。

16.根据权利要求12、13、14或15所述的方法，其中所述确定所述第一对准关系包括：

使用所述操作者参考坐标系和所述输入设备之间的所述第二对准关系确定第一基座和第二基座之间的基座对准关系，

其中所述第一基座具有用于耦接到所述成像设备的第一操纵器，并且

其中所述第二基座与所述第一基座物理分离，并且具有用于耦接到所述第一工具的第二操纵器。

17.根据权利要求16所述的方法，其中用第一旋转参数确定所述基座对准关系。

18.根据权利要求16所述的方法，其中用第一平移参数确定所述基座对准关系。

19.根据权利要求16所述的方法，其中所述确定所述第一对准关系包括：

确定从所述成像设备的成像设备参考坐标系到与所述第一基座相关联的第一基座坐标系的成像坐标系变换；

确定从与所述第二基座相关联的第二基座坐标系到与所述第一工具相关联的工具参考坐标系的工具坐标系变换；以及

使用所述成像坐标系变换、所述基座对准关系和所述工具坐标系变换确定所述第一对准关系。

20.根据权利要求19所述的方法，其中使用沿从所述第一基座延伸到所述成像设备的第一运动链定位的一个或多个传感器确定所述成像坐标系变换。

21.根据权利要求19所述的方法，其中使用沿从所述第二基座延伸到所述第一工具的第二运动链定位的一个或多个传感器确定所述工具坐标系变换。

22.根据权利要求12、13、14或15所述的方法，其中第一基座上的第一操纵器被配置为耦接到所述成像设备，并且

其中在所述第一基座上的第二操纵器被配置为耦接到所述第一工具。

23.一种非暂态机器可读介质，包括多个机器可读指令，所述多个机器可读指令当由一个或多个处理器执行时，适于引起所述一个或多个处理器实行包括以下的方法：

在可由操作者观察的显示器中，呈现由成像设备捕获的第一工具的第一图像；

从所述操作者接收可由所述操作者移动的输入设备的第一轴线与所述第一图像中的所述第一工具的对应的轴线对准的第一指示；以及

响应于所述第一指示，基于操作者参考坐标系和所述输入设备之间的第二对准关系，确定所述成像设备和所述第一工具之间的第一对准关系，

其中相对于所述显示器或观察所述显示器的所述操作者定义所述操作者参考坐标系。

Images