CN117770979A - 图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免 - Google Patents

Abstract

本申请涉及图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免。运动控制的系统和方法包括偶联至计算机辅助外科装置的控制器，该计算机辅助外科装置具有偶联至具有工作端的可操纵装置的第一活动臂、和偶联至图像采集装置的第二活动臂。控制器被配置以接收第一活动臂的第一构型；接收第二活动臂的第二构型；从图像采集装置接收工作端的多个图像；确定工作端的位置和定向；确定第一活动臂位置和第一活动臂轨迹；确定第二活动臂位置和第二活动臂轨迹；确定活动臂的动作是否会导致活动臂之间不期望的关系；和发送运动命令至第一或第二活动臂，以避免不期望的关系。

Description

图像采集装置和可操纵装置活动臂受控运动过程中的碰撞 避免

本申请是分案申请，原申请的申请日为2013年12月10日，申请号为2013800645344(针对的分案申请的申请号为2019103179355)，发明名称为“图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免”。

相关申请的交叉引用

本申请要求享有2012年12月10日提交的美国临时申请号61/735,170和2013年12月10提交的美国非临时申请号14/101,769的优先权，其全部内容被引入本文作为参考。

技术领域

本发明总体上涉及机器人系统，并且具体地涉及图像采集装置和可操纵装置机器人臂受控运动过程中的碰撞避免。

背景技术

机器人系统和计算机辅助装置通常包括操纵器械以在工作位点执行任务的机器人或活动臂、和支撑采集工作位点图像的图像采集装置的至少一个机器人或活动臂。当机器人臂相互紧紧靠近操作时，存在这样的可能性：臂可能相互碰撞，并且由此导致臂损坏。当机器人臂一同操作时，可直接防止这种碰撞。然而，当机器人臂独立操作时，碰撞避免可远更具挑战性。

机器人臂包括通过一个或多个主动控制接头偶联在一起的多个连杆。在多种实施方式中，可提供多个主动控制接头。机器人臂还可包括一个或多个被动接头，其不被主动控制，但依从主动控制接头的运动。这种主动和被动接头可以是旋转或棱柱接头。可通过接头位置和连杆结构和偶联知识确定机器人臂的构型。

为避免机器人臂之间的碰撞，拥有臂构型信息和其各自在共同坐标系统中的位置信息是非常有用的。通过这种信息，控制其中一个机器人臂的运动的控制器可采取行动以避免与另一机器人臂碰撞。

控制器可采取以避免碰撞的一个行动是向指挥机器人臂的操作人员警示即将与另一机器人臂碰撞。作为这种警示系统的一个实例，U.S.2009/0192524Al，名为"SyntheticRepresentation of a Surgical Robot"——其被引入本文作为参考，描述了安置了多个机器人臂的患者侧推车。作为这种警示系统的另一实例，U.S.2009/0326553，名为"MedicalRobotic System Providing an Auxiliary View of Articulatable InstrumentsExtending out of a Distal End of an Entry Guide"——其被引入本文作为参考，描述了具有延伸到进入引导件(entry guide)外的多种铰接器械的医疗机器人系统。作为这种警示系统的再一实例，U.S.2009/0234444Al，名为"Method and Apparatus forConducting an Interventional Procedure Involving Heart Valves using a Robot-based X-ray Device"——其被引入本文作为参考，描述了这样的医疗机器人系统：其中X射线源和检测器安置在C-臂的相对端，从而可在利用导管控制机器人执行医疗程序期间采集患者解剖结构的X射线图像。

碰撞避免还可通过控制一个或多个机器人臂的运动的控制器自动进行。作为这种自动碰撞避免系统的实例，U.S.8,004,229，名为"Software center and highlyconfigurable robotic systems for surgery and other uses"——其被引入本文作为参考，描述了一种医疗机器人系统，其被配置以避免其机器人臂之间的碰撞。该机器人臂具有多余度，使得每个臂可有多种构型以实现其支持器械的预期位置和定向。每个控制器命令其相关机器人臂运动服从于二次约束，导致排除会导致与另一机器人臂碰撞的可能臂构型。

然而，当多个机器人臂被多个控制器控制时，如果多个控制器中多于一个试图避免碰撞，则可能造成混乱和无意的后果。这个问题在控制器之间没有或仅有有限的信息交流时加剧，如可以是机器人系统采用独立地操作的机器人臂时的情况。为避免机器人臂碰撞问题，可相继使用独立地操作的机器人臂，而非在工作位点同时使用。然而，在工作位点执行程序或任务期间同时使用机器人臂可以是有利的。

发明内容

因此，本发明的一个或多个方面的一个目的是其中实施的自动进行机器人臂碰撞避免的机器人系统和方法。

本发明的一个或多个方面的另一目的是其中实施的自动进行独立操作型机器人臂的碰撞避免的机器人系统和方法。

本发明的一个或多个方面的另一目的是其中实施的在不阻止任何机器人臂执行其目的任务的情况下自动进行机器人臂碰撞避免的机器人系统和方法。

这些和另外的目的通过本发明多种方面来实现，其中简而言之，一方面是机器人系统，包括：第一机器人臂，其支持可操纵装置，该可操纵装置具有工作端；和控制器，其被配置以控制第一机器人臂和第二机器人臂中至少一个的运动，同时避免第一和第二机器人臂之间的碰撞，其中第二机器人臂支持图像采集装置，该图像采集装置用于采集可操纵装置的工作端的多个图像，由此可生成可操纵装置的工作端的三维计算机模型；其中控制器被配置以避免第一和第二机器人臂之间的碰撞：通过利用可操纵装置的工作端的多个图像中的至少一个图像来确定可操纵装置的工作端相对于图像采集装置坐标系统的位置和定向，其中图像采集装置的坐标系统相应于采集图像的透视图；通过利用可操纵装置的工作端相对于图像采集装置坐标系统的确定的位置和定向来确定第一和第二机器人臂其中一个相对于共同坐标系统的构型和位置；和通过利用接收到的第一和第二机器人臂其中另一个的接头位置信息来确定第一和第二机器人臂其中另一个相对于共同坐标系统的构型和位置；通过利用第一和第二机器人臂相对于共同坐标系统的确定构型和位置来确定第一和第二机器人臂之间的即将的碰撞；和通过命令第一和第二机器人臂其中一个采取行动以避免即将的碰撞。

另一方面是机器人系统中实施的避免第一和第二机器人臂之间碰撞的方法，其中第一机器人臂支持可操纵装置，该可操纵装置具有工作端，其中第二机器人臂支持图像采集装置，以采集可操纵装置的工作端的多个图像，由此可生成可操纵装置的工作端的三维计算机模型，并且其中方法包括：利用可操纵装置的工作端的多个图像中的至少一个图像来确定可操纵装置的工作端相对于图像采集装置坐标系统的位置和定向，其中图像采集装置的坐标系统相应于采集图像的透视图；通过利用可操纵装置的工作端相对于图像采集装置坐标系统的确定位置和定向来确定第一和第二机器人臂其中一个相对于共同坐标系统的构型和位置；通过利用接收到的第一和第二机器人臂其中另一个的接头位置信息来确定第一和第二机器人臂其中另一个相对于共同坐标系统的构型和位置；利用第一和第二机器人臂相对于共同坐标系统的确定构型和位置来确定第一和第二机器人臂之间即将的碰撞；和命令第一和第二机器人臂其中一个采取行动以避免即将的碰撞。

另一方面是机器人系统，包括：第一机器人臂，其支持可操纵装置，该可操纵装置具有工作端；和处理器，其被编程以将第一机器人臂定位至第二机器人臂，该第二机器人臂支持图像采集装置，其中处理器通过如下进行定位：利用第一和第二机器人臂中至少一个的外部跟踪数据和运动学数据，在第一和第二机器人臂的初始位置处进行第一和第二机器人臂的低精度定位；利用由至少部分第一机器人臂的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第一设置位置的中精度定位，其中第一设置位置包括指示低精度定位的第一安全界限；和利用由可操纵装置的工作端的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第二设置位置的高精度定位，其中第二设置位置包括指示中精度定位的第二安全界限。

另一方面是通过定位第一和第二机器人臂的处理器实施的方法。第一机器人臂支持可操纵装置，该可操纵装置具有工作端。第二机器人臂支持图像采集装置。方法包括利用第一和第二机器人臂中至少一个的外部跟踪数据和运动学数据，在第一和第二机器人臂的初始位置处进行第一和第二机器人臂的低精度定位；利用由至少部分第一机器人臂的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第一设置位置的中精度定位，其中第一设置位置包括指示低精度定位的第一安全界限；和利用由可操纵装置的工作端的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第二设置位置的高精度定位，其中第二设置位置包括指示中精度定位的第二安全界限。

根据一些实施方式，运动控制系统包括控制器。控制器包括一个或多个处理器和偶联至一个或多个处理器的存储器。控制器偶联至计算机辅助外科装置，该计算机辅助外科装置具有第一活动臂，该第一活动臂偶联至可操纵装置，该可操纵装置具有工作端。控制器进一步偶联至第二活动臂，该第二活动臂偶联至图像采集装置，该图像采集装置独立于计算机辅助外科装置。控制器被配置以接收第一活动臂的一个或多个第一构型；接收第二活动臂的一个或多个第二构型；从图像采集装置接收工作端的第一多个图像；基于第一多个图像中的至少一个，确定工作端在共同坐标系统中的位置和定向；基于第一构型，确定第一活动臂在共同坐标系统中的第一活动臂位置和第一活动臂轨迹；基于第二构型，确定第二活动臂在共同坐标系统中的第二活动臂位置和第二活动臂轨迹；基于第一活动臂位置、第一活动臂轨迹、第二活动臂位置、和第二活动臂轨迹，确定第一活动臂动作、第二活动臂动作、或第一和第二活动臂一起动作是否会导致第一和第二活动臂之间不期望的关系；和发送第一运动命令至第一活动臂或第二活动臂以避免不期望的关系。

在一些实例中，共同坐标系统是图像采集装置的坐标系统，并且控制器进一步被配置以进一步基于工作端在共同坐标系统中的位置和定向来确定共同坐标系统中的第一活动臂位置。在一些实例中，共同坐标系统是计算机辅助外科装置的坐标系统，并且控制器进一步被配置以确定图像采集装置坐标系统中的第二活动臂位置，确定工作端在图像采集装置坐标系统中的位置和定向，和将第二活动臂位置和工作端的位置和定向从图像采集装置坐标系统变换至共同坐标系统。

在一些实例中，第一多个图像是来自图像采集装置的多个二维图像，并且控制器进一步被配置以根据二维图像确定工作端的位置和定向——甚至在可操纵装置的工作端被布置在图像采集装置和可操纵装置工作端之间的一个或多个对象阻挡时。在一些实例中，系统进一步包括查看器，其适于显示可操纵装置的工作端的工作空间的第二多个图像；和输入单元，其被配置以接收查看器上正在显示的图像内的用户指定目标区域的信息。控制器进一步被配置以发送第二运动命令至第二活动臂，使得图像采集装置采集用户指定目标区域的图像。

在一些实例中，输入单元包括视点跟踪单元，其被配置以跟踪用户在查看器显示屏上的视点，并且视点跟踪单元包括指示器，其可被用户操作以通过利用用户在显示屏上的当前凝视点来指示目标区域。在一些实例中，输入单元包括telestrator单元，其被配置以接收第二多个图像其中一个和在telestrator的显示屏上显示第二多个图像中的接收到的第二图像，并且telestrator单元包括标记单元，其可被用户操作以在第二多个图像中的显示图像上指示目标区域。

在一些实例中，系统进一步包括照相机，并且通过照相机采集第二多个图像。在一些实例中，系统进一步包括超声探头，并且通过超声探头采集第二多个图像。在一些实例中，第一活动臂具有多余自由度，使得针对可操纵装置工作端的每个可控位置和定向，第一活动臂具有第一多种可能的位置和定向；第二活动臂具有多余自由度，使得针对图像采集装置的每个可控位置和定向，第二活动臂具有第二多种可能的位置和定向；并且，发送至第一活动臂或第二活动臂的第一运动命令指挥第一活动臂移动至第一多种可能的位置和定向中的一种，或指挥第二活动臂移动至第二多种可能的位置和定向中的一种，避免不期望关系。

在一些实例中，控制器进一步被配置以基于第一活动臂位置和第一多种可能的位置和定向之间的差异和第二活动臂位置和第二多种可能的位置和定向之间的差异，确定发送第一运动命令至第一活动臂和第二活动臂中的哪一个，并且进行这种确定以最小化成本函数。

在一些实例中，第一运动命令指挥第一活动臂从第一活动臂位置移动至第一多种可能的位置和定向中的第一选定的一种位置和定向，或指挥第二活动臂从第二活动臂位置移动至第二多种可能的位置和定向中的第二选定的一种位置和定向——基于第一多种可能的位置和定向中的第一选定的一种位置和定向和第二多种可能的位置和定向中的第二选定的一种位置和定向之中哪个最小化成本函数。在一些实例中，不期望的关系选自第一活动臂和第二活动臂之间碰撞、第一活动臂和第二活动臂之间过于接近、和图像采集装置的目标区域被第一活动臂阻挡。

根据一些实施方式，控制医疗系统的运动的方法包括接收计算机辅助外科装置的第一活动臂的一个或多个第一构型，第一活动臂偶联至可操纵装置，该可操纵装置具有工作端；接收第二活动臂的一个或多个第二构型，第二活动臂偶联至图像采集装置，该图像采集装置独立于计算机辅助外科装置；从图像采集装置接收工作端的第一多个图像；基于第一多个图像中的至少一个，确定工作端在共同坐标系统中的位置和定向；基于第一构型，确定第一活动臂在共同坐标系统中的第一活动臂位置和第一活动臂轨迹；基于第二构型，确定第二活动臂在共同坐标系统中的第二活动臂位置和第二活动臂轨迹；基于第一活动臂位置、第一活动臂轨迹、第二活动臂位置、和第二活动臂轨迹，确定第一活动臂动作、第二活动臂动作、或第一和第二活动臂一起动作是否会导致第一和第二活动臂之间不期望的关系；和发送第一运动命令至第一活动臂或第二活动臂以避免不期望的关系。

在一些实例中，共同坐标系统是图像采集装置的坐标系统，并且方法进一步包括进一步基于工作端在共同坐标系统中的位置和定向来确定共同坐标系统中的第一活动臂位置。在一些实例中，共同坐标系统是计算机辅助外科装置的坐标系统，并且方法进一步包括确定图像采集装置坐标系统中的第二活动臂位置，确定工作端在图像采集装置坐标系统中的位置和定向，和将第二活动臂位置和工作端的位置和定向从图像采集装置坐标系统变换至共同坐标系统。

在一些实例中，第一多个图像是来自图像采集装置的多个二维图像，并且方法进一步包括根据二维图像确定工作端的位置和定向——甚至在可操纵装置的工作端被布置在图像采集装置和可操纵装置工作端之间的一个或多个对象阻挡时。在一些实例中，方法进一步包括确定第一运动命令从而最小化成本函数。

根据一些实施方式，运动控制系统包括跟踪系统和偶联至跟踪系统的控制器。控制器包括一个或多个处理器和偶联至一个或多个处理器的存储器。控制器偶联至计算机辅助外科装置，该计算机辅助外科装置具有第一活动臂，该第一活动臂偶联至可操纵装置，该可操纵装置具有工作端。控制器进一步偶联至第二活动臂，该第二活动臂偶联至图像采集装置，该图像采集装置独立于计算机辅助外科装置。控制器被配置以接收第一活动臂的第一运动学数据；接收第二活动臂的第二运动学数据；从跟踪系统接收第一活动臂的第一跟踪数据；从跟踪系统接收第二活动臂的第二跟踪数据；基于第一运动学数据和第一跟踪数据，确定第一活动臂的第一方位；基于第二运动学数据和第二跟踪数据，确定第二活动臂的第二方位；发送第一运动命令至第二活动臂，指挥第二活动臂移动到第一设置位置，采集至少部分可操纵装置的图像，同时在第一活动臂和第二活动臂之间保持第一安全界限，第一运动命令基于第一方位和第二方位；接收第一活动臂的第三运动学数据；接收第二活动臂的第四运动学数据；从图像采集装置接收一个或多个第一图像，该一个或多个第一图像采集至少部分可操纵装置；基于第三运动学数据和一个或多个第一图像，确定第一活动臂的第三方位；基于第四运动学数据和一个或多个第一图像，确定第二活动臂的第四方位；和发送第二运动命令至第二活动臂，指挥第二活动臂移动到不同于第一设置位置的第二设置位置，采集目标区域的图像，同时在第一活动臂和第二活动臂之间保持第二安全界限，第二运动命令基于第三方位和第四方位。

在一些实例中，控制器进一步被配置以接收第一活动臂的第五运动学数据；接收第二活动臂的第六运动学数据；从图像采集装置接收一个或多个第二图像，该一个或多个第二图像采集至少部分工作端；基于第五运动学数据和一个或多个第二图像，确定第一活动臂的第五方位；基于第六运动学数据和一个或多个第二图像，确定第二活动臂的第六方位；和发送第三运动命令至第二活动臂，指挥第二活动臂移动到不同于第一设置位置和第二设置位置的第三设置位置，采集工作端的图像，同时在第一活动臂和第二活动臂之间保持第三安全界限，第三运动命令基于第五方位和第六方位。

在一些实例中，第二安全界限是小于第一安全界限的数量级。在一些实例中，保持第一安全界限使第一活动臂和第二活动臂之间保持至少10厘米间隔，保持第二安全界限使第一活动臂和第二活动臂之间保持至少1厘米间隔。在一些实例中，第三安全界限是小于第二安全界限的数量级。在一些实例中，保持第二安全界限使第一活动臂和第二活动臂之间保持至少1厘米间隔，保持第三安全界限使第一活动臂和第二活动臂之间保持至少1毫米间隔。

在一些实例中，第一图像是来自图像采集装置的二维图像，并且控制器进一步被配置以根据二维图像确定可操纵装置的位置和定向——甚至在可操纵装置被布置在图像采集装置和可操纵装置工作端之间的一个或多个对象阻挡时。在一些实例中，第二图像是来自图像采集装置的二维图像，并且控制器进一步被配置以根据二维图像确定工作端的位置和定向——甚至在可操纵装置的工作端被布置在图像采集装置和可操纵装置工作端之间的一个或多个对象阻挡时。在一些实例中，系统进一步包括查看器，其适于显示从图像采集装置接收的一个或多个第二图像；和输入单元，其被配置以接收第二图像内的目标区域的信息。

在一些实例中，输入单元包括视点跟踪单元，其被配置以跟踪用户在查看器的显示屏上的视点，并且视点跟踪单元包括指示器，其可被用户操作以利用用户在显示屏上的当前凝视点来指示目标区域。在一些实例中，输入单元包括telestrator单元，其被配置以接收第二图像中的一个和在telestrator的显示屏上显示接收到的那个第二图像，并且telestrator单元包括标记单元，其可被用户操作以在显示的那个第二图像上指示目标区域。在一些实例中，系统进一步包括照相机，并且由照相机采集第二图像。在一些实例中，系统进一步包括超声探头，并且由超声探头采集第二图像。在一些实例中，第一运动命令最小化成本函数。

在一些实例中，第二活动臂具有多余自由度，使得针对图像采集装置的每个可控位置和定向，第二活动臂具有多种可能的位置和定向，发送至第二活动臂的第一运动命令指挥第二活动臂移动至多种可能的位置和定向中保持第一安全界限的一种位置和定向，发送至第二活动臂的第二运动命令指挥第二活动臂移动至多种可能的位置和定向中保持第二安全界限的一种位置和定向，和发送至第二活动臂的第三运动命令指挥第二活动臂移动至多种可能的位置和定向中保持第三安全界限的一种位置和定向。

根据一些实施方式，控制医疗系统的运动的方法包括接收计算机辅助外科装置的第一活动臂的第一运动学数据，第一活动臂偶联至可操纵装置，该可操纵装置具有工作端；接收第二活动臂的第二运动学数据，第二活动臂偶联至图像采集装置，图像采集装置独立于计算机辅助外科装置；从跟踪系统接收第一活动臂的第一跟踪数据；从跟踪系统接收第二活动臂的第二跟踪数据；基于第一运动学数据和第一跟踪数据，确定第一活动臂的第一方位；基于第二运动学数据和第二跟踪数据，确定第二活动臂的第二方位；发送第一运动命令至第二活动臂，指挥第二活动臂移动到第一设置位置，采集至少部分可操纵装置的图像，同时在第一活动臂和第二活动臂之间保持第一安全界限，第一运动命令基于第一方位和第二方位；接收第一活动臂的第三运动学数据；接收第二活动臂的第四运动学数据；从图像采集装置接收一个或多个第一图像，该一个或多个第一图像采集至少部分可操纵装置；基于第三运动学数据和一个或多个第一图像，确定第一活动臂的第三方位；基于第四运动学数据和一个或多个第一图像，确定第二活动臂的第四方位；和发送第二运动命令至第二活动臂，指挥第二活动臂移动到不同于第一设置位置的第二设置位置，采集目标区域的图像，同时在第一活动臂和第二活动臂之间保持第二安全界限，第二运动命令基于第三方位和第四方位。

在一些实例中，方法进一步包括接收第一活动臂的第五运动学数据；接收第二活动臂的第六运动学数据；从图像采集装置接收一个或多个第二图像，该一个或多个第二图像采集至少部分工作端；基于第五运动学数据和一个或多个第二图像，确定第一活动臂的第五方位；基于第六运动学数据和一个或多个第二图像，确定第二活动臂的第六方位；和发送第三运动命令至第二活动臂，指挥第二活动臂移动到不同于第一设置位置和第二设置位置的第三设置位置，采集工作端的图像，同时在第一活动臂和第二活动臂之间保持第三安全界限，第三运动命令基于第五方位和第六方位。

在一些实例中，方法进一步包括确定第三运动命令，以最小化成本函数。在一些实例中，第一图像是来自图像采集装置的二维图像，并且方法进一步包括根据二维图像确定可操纵装置的位置和定向——甚至在可操纵装置被布置在图像采集装置和可操纵装置工作端之间的一个或多个对象阻挡时。在一些实例中，第二图像是来自图像采集装置的二维图像，并且方法进一步包括根据二维图像确定工作端的位置和定向——甚至在可操纵装置的工作端被布置在图像采集装置和可操纵装置工作端之间的一个或多个对象阻挡时。

根据一些实施方式，机器人系统包括第一机器人臂，其支持可操纵装置，该可操纵装置具有工作端；和控制器，其被配置以控制第一机器人臂和第二机器人臂中至少一个的运动，同时避免第一和第二机器人臂之间碰撞。第二机器人臂支持图像采集装置，用于采集可操纵装置的工作端的多个图像，由此可生成可操纵装置的工作端的三维计算机模型。控制器被配置以通过如下避免第一和第二机器人臂之间碰撞：利用可操纵装置的工作端的多个图像中的至少一个图像来确定可操纵装置的工作端相对于图像采集装置坐标系统的位置和定向，其中图像采集装置的坐标系统相应于采集图像的透视图；利用可操纵装置的工作端相对于图像采集装置坐标系统的确定位置和定向来确定第一和第二机器人臂其中一个相对于共同坐标系统的构型和位置；和利用接收到的第一和第二机器人臂其中另一个的接头位置信息来确定第一和第二机器人臂其中另一个相对于共同坐标系统的构型和位置；利用第一和第二机器人臂相对于共同坐标系统的确定构型和位置来确定第一和第二机器人臂之间即将的碰撞；和命令第一和第二机器人臂其中一个采取行动以避免即将的碰撞。

在一些实例中，图像采集装置包括断层图像采集装置，用于采集多个二维图像，由此可辨别可操纵装置的工作端——甚至在可操纵装置的工作端被布置在图像采集装置和可操纵装置工作端之间的一个或多个对象阻挡时。在一些实例中，控制器被配置以通过利用第一机器人臂的构造和几何信息和可操纵装置工作端相对于图像采集装置坐标系统的确定位置和定向，确定第一机器人臂相对于图像采集装置坐标系统的构型和位置。

在一些实例中，控制器被配置以利用变换将图像采集装置坐标系统中的点转换至可操纵装置坐标系统，来确定第二机器人臂相对于可操纵装置坐标系统的构型和位置。利用可操纵装置的工作端相对于图像采集装置坐标系统的确定位置和定向，已确定变换。可操纵装置的坐标系统是共同坐标系统。在一些实例中，系统进一步包括查看器，其适于显示从可操纵装置工作端工作空间的采集图像衍生的图像；和输入单元，其被配置以接收查看器正在显示的图像内的用户指定目标区域的信息。控制器被配置以命令和控制第二机器人臂的运动，使得图像采集装置采集可操纵装置工作端的多个图像中的用户指定目标区域的图像。

在一些实例中，输入单元包括视点跟踪单元，其被配置以跟踪用户在查看器的显示屏上的视点。视点跟踪单元包括指示器，其可被用户操作以通过利用用户在显示屏上的当前凝视点来指示目标区域。在一些实例中，输入单元包括telestrator单元，其被配置以接收查看器上正在显示的图像和在telestrator的显示屏上显示接收到的图像。telestrator单元包括标记单元，其可被用户操作以在telestrator单元的显示屏正在显示的图像上指示目标区域。

在一些实例中，系统进一步包括照相机，并且由照相机采集可操纵装置工作端工作空间的采集图像。在一些实例中，系统进一步包括超声探头，并且由超声探头采集可操纵装置工作端工作空间的采集图像。在一些实例中，控制器与第一机器人臂关联以控制第一机器人臂的运动，同时避免与第二机器人臂碰撞，并且可操纵装置的坐标系统是共同坐标系统。在一些实例中，控制器与第二机器人臂关联以控制第二机器人臂的运动，同时避免与第一机器人臂碰撞，并且图像采集装置的坐标系统是共同坐标系统。

在一些实例中，第一机器人臂包括第一多个接头和第一多个连杆，其偶联在一起以提供第一机器人臂的多余自由度运动，使得针对可操纵装置工作端的每个可控位置和定向，第一机器人臂具有多种可能构型。控制器被配置以根据可操纵装置工作端的预期位置和定向和根据避免第一和第二机器人臂之间碰撞的二次约束，通过命令第一机器人臂配置成第一机器人臂多种可能构型中的一种，控制第一机器人臂的运动。

在一些实例中，第二机器人臂包括第二多个接头和第二多个连杆，其偶联在一起以提供第二机器人臂的多余自由度运动，使得针对图像采集装置的每个可控位置和定向，第二机器人臂具有多种可能构型。控制器被配置以根据图像采集装置的预期位置和定向和根据避免第一和第二机器人臂之间碰撞的二次约束，通过命令第二机器人臂配置成第二机器人臂多种可能构型中的一种，控制第二机器人臂的运动。

在一些实例中，第一机器人臂包括第一多个接头和第一多个连杆，其偶联在一起以提供第一机器人臂的多余自由度运动，使得针对可操纵装置工作端的每个可控位置和定向，第一机器人臂具有多种可能构型。第二机器人臂包括第二多个接头和第二多个连杆，其偶联在一起以提供第二机器人臂的多余自由度运动，使得针对图像采集装置的每个可控位置和定向，第二机器人臂具有多种可能构型。控制器被配置以控制第一和第二机器人臂其中一个的运动，该第一和第二机器人臂其中一个被配置成其多种可能构型中避免与第一和第二机器人臂其中另一个碰撞的一种。

在一些实例中，控制器被配置以通过处理第一和第二机器人臂的当前构型和其各自多种可能构型之间的差异以最小化成本函数，确定第一和第二机器人臂其中哪一个被配置成其多种可能构型中避免与第一和第二机器人臂其中另一个碰撞的构型。在一些实例中，控制器被配置以通过处理第一和第二机器人系统的所需接头运动以从其当前构型移动至其各自多种可能构型中的其他构型以最小化成本函数，确定第一和第二机器人臂其中哪一个被配置成其多种可能构型中避免与第一和第二机器人臂其中另一个碰撞的构型。

根据一些实施方式是避免第一和第二机器人臂之间碰撞的方法。第一机器人臂支持可操纵装置，该可操纵装置具有工作端。第二机器人臂支持图像采集装置，该图像采集装置用于采集可操纵装置工作端的多个图像，由此可生成可操纵装置工作端的三维计算机模型。方法包括：通过利用可操纵装置的工作端的多个图像中的至少一个图像，确定可操纵装置工作端相对于图像采集装置坐标系统的位置和定向，其中图像采集装置的坐标系统相应于采集图像的透视图；通过利用可操纵装置的工作端相对于图像采集装置坐标系统的确定位置和定向来确定第一和第二机器人臂其中一个相对于共同坐标系统的构型和位置；通过利用接收到的第一和第二机器人臂其中另一个的接头位置信息来确定第一和第二机器人臂其中另一个相对于共同坐标系统的构型和位置；利用第一和第二机器人臂相对于共同坐标系统的确定构型和位置来确定第一和第二机器人臂之间即将的碰撞；和命令第一和第二机器人臂其中一个采取行动以避免即将的碰撞。

根据一些实施方式，机器人系统包括支持可操纵装置的第一机器人臂，该可操纵装置具有工作端，和处理器，该处理器被编码以将第一机器人臂相对于支持图像采集装置的第二机器人臂定位。处理器如下进行定位：利用第一和第二机器人臂中至少一个的外部跟踪数据和运动学数据，在第一和第二机器人臂的初始位置处进行第一和第二机器人臂的低精度定位；利用由至少部分第一机器人臂的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第一设置位置的中精度定位，其中第一设置位置包括指示低精度定位的第一安全界限；和利用由可操纵装置的工作端的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第二设置位置的高精度定位，其中第二设置位置包括指示中精度定位的第二安全界限。

根据一些实施方式是通过处理器实施的定位第一和第二机器人臂的方法。第一机器人臂支持可操纵装置，该可操纵装置具有工作端。第二机器人臂支持图像采集装置。方法包括利用第一和第二机器人臂中至少一个的外部跟踪数据和运动学数据，在第一和第二机器人臂的初始位置处进行第一和第二机器人臂的低精度定位；利用由至少部分第一机器人臂的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第一设置位置的中精度定位，其中第一设置位置包括指示低精度定位的第一安全界限；和利用由可操纵装置的工作端的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第二设置位置的高精度定位，其中第二设置位置包括指示中精度定位的第二安全界限。

本发明不同方面的其他目的、特征和优势将通过下文对其优选实施方式的描述而显而易见，其描述应结合附图理解。

附图说明

图1示例应用本发明方面的机器人系统的框图。

图2示例在应用本发明方面的机器人系统中实施的、用于在图像采集装置机器人臂相对于可操纵装置机器人臂移动时进行图像采集装置机器人臂和可操纵装置机器人臂的多精度定位的方法的流程图。

图3示例在应用本发明方面的机器人系统中实施的、用于通过图像采集装置坐标系统的透视图自动避免独立地操作的机器人臂之间碰撞的方法的流程图。

图4示例在应用本发明方面的机器人系统中实施的、用于通过可操纵装置坐标系统的透视图自动避免独立地操作的机器人臂之间碰撞的方法的流程图。

图5示例在应用本发明方面的机器人系统中实施的、用于控制图像采集装置机器人臂以使其图像采集装置采集用户选定目标区域的图像同时避免与另一机器人臂碰撞的方法的流程图。

图6示例在应用本发明方面的机器人系统中实施的、用于根据动作计划控制图像采集装置机器人臂的运动同时避免与另一机器人臂碰撞的方法的流程图。

图7示例应用本发明方面的机器人系统中的用于避免以偶联-控制模式操作的两机器人臂碰撞的部分的框图。

图8示例利用本发明方面可用的多孔医疗机器人系统的操作室的透视图。

图9示例本发明方面可用的多孔医疗机器人系统的患者侧推车的前视图。

图10示例本发明方面可用的多孔医疗机器人系统中可用的器械的透视图。

图11示例应用本发明方面的机器人系统的控制台的前视图。

图12示例应用本发明方面的机器人系统中可用的图像采集系统的透视图。

图13示例本发明方面可用的单孔医疗机器人系统的患者侧推车的透视图。

图14示例本发明方面可用的单孔医疗机器人系统中所用的、带有延伸至其外的铰接器械的进入引导件的远端的透视图。

图15示例本发明方面可用的单孔医疗机器人系统中所用的进入引导件的剖视图。

具体实施方式

作为实例，图1示例机器人或计算机辅助系统1000的不同部件的框图，其中实施用于自动避免两个或更多个机器人或活动臂之间碰撞的方法2000、2500、和4000。图2描述定位机器人或活动臂的多步法。图3、4的提供描述了方法2000、2500，其一般可用于独立地操作的机器人或活动臂。图5-7的提供描述了方法4000，其一般可用于通过控制可操纵装置机器人或活动臂的控制器来控制图像采集装置机器人或活动臂的运动。方法2000、2500、和4000可用的机器人系统1000的实例参考图8-15来描述。图8-12的提供利用带有多个机器人或活动臂的患者侧推车3010描述了机器人或计算机辅助系统3000，该机器人或活动臂适于执行多孔进入至工作位点的程序。图13-15的提供描述了机器人系统3000的可选的患者侧推车4010，其中患者侧推车4010具有单个机器人或活动臂，其适于执行单孔进入至工作位点的程序。

在描述图1-7示例的方法2000、2500、4000的详细内容之前，先描述机器人或计算机辅助系统3000，以提供关于机器人或计算机辅助系统1000的实施的背景和另外的细节。虽然本文描述医疗机器人或计算机辅助外科系统作为机器人或计算机辅助系统1000的实例，但要理解在此请求保护的本发明的不同方面不限于这种类型的机器人或计算机辅助系统。

参考图8，示例操作室的透视图，其中向外科医生提供医疗机器人系统3000，以对患者执行医疗程序。这种情况下的医疗机器人系统是微创机器人外科(MIRS)系统，包括患者侧推车3010、图像采集系统3020、和控制台3030。

患者侧推车3010，参考图9详细描述，具有多个机器人臂以支持和操纵多个装置，如器械和至少一个内窥镜。在使用患者侧推车3010时，被多个机器人或活动臂支持的装置中每一个通过其专属的进入孔被引入患者。

控制台3030，参考图11详细描述，包括输入装置，用于指挥患者侧推车3010的多个机器人臂中的相关机器人臂的运动和其各自的支持装置的操作。控制台3030和患者侧推车3010通过线缆3031通信。

图像采集系统3020，参考图12详细描述，采集多个图像，如患者体内工作位点指定目标区域内的一个或多个对象的一系列二维图像投影。然后可在无需提前知道一个或多个对象的三维形状的情况下利用多个图像，以常规方式如计算机断层扫描中所用的方式，生成一个或多个对象的三维计算机模型。

控制单元3021可被提供在铰接操作台3040的下方或侧方，使得辅助人员可利用控制单元3021上提供的操纵杆或其他控制输入来手动控制图像采集系统3020的图像采集装置的运动。控制单元3021和图像采集系统3020通过线缆3022或利用无线技术通信。可选地，控制单元3021可被提供在另一地点，并以有线或无线移动实体与图像采集系统3020通信。控制单元3021可包括至少一个处理单元和存储器。在一些实例中，处理单元可控制控制单元3021中硬件和/或软件的操作和/或运行。处理单元可包括一个或多个中央处理单元(CPU)、多核处理器、微处理器、微控制器、数字信号处理器、现场可编程门阵列(FPGAs)、定制处理器/专用集成电路(ASIC)、和/或类似物。存储器可用于存储一个或多个软件和/或固件应用以及控制单元3021要用的各种数据结构。存储器还可包括一种或多种类型的机器可读介质。机器可读介质的一些常见形式可包括软盘、柔性盘(flexible disk)、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、打孔卡、纸带、任何其他带有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒、和/或适于处理器或计算机读取的任何其他介质。

可选地，图像采集系统3020的图像采集装置的运动可由操作根据本发明方面的控制台3030的输入装置中的相关输入装置的外科医生来控制。可选地，图像采集系统3020的图像采集装置的运动可通过控制台3030的处理器被自动控制，使得图像采集装置自动采集工作位点的用户指定目标区域的多个图像，同时避免与根据本发明方面的患者侧推车3010的机器人臂碰撞。控制台3030和图像采集系统3020通过线缆3050通信。

作为实例，图9示例患者侧推车3010的前视图。在一般应用中，机器人臂34、36支持器械33、35，机器人臂38支持立体内窥镜37。第四机器人臂32可被利用，使得另一器械31可连同器械33、35和内窥镜37被引入工作位点。可选地，第四机器人臂32可用于将第二内窥镜或另一图像采集装置如超声换能器引至工作位点。

每一个机器人或活动臂通常由偶联在一起并且通过可致动接头操纵的连杆构成。每一个机器人臂包括设置臂和装置操纵器。设置臂定位其支持的装置，使得枢转点位于其进入患者的进入孔处。然后装置操纵器可操纵其支持的装置，使得其可围绕枢转点枢转、插入和撤出进入孔、和围绕其轴线旋转。在此实例中，机器人臂被安置在患者侧推车3010的可移动底座3015上。可选地，机器人臂可附接至操作台一侧的滑块，操作室墙壁上的滑块或操作室房顶上的滑块。

作为实例，图10示例器械100，其可用于器械33、35或31。器械100包括接口机座(interface housing)108、轴104、工作端102、和包括一个或多个腕接头的腕机构106。接口机座108可拆卸地附接至机器人臂，从而机械地偶联于所附接的机器人臂的器械操纵器中的致动器(如马达)。线缆或杆——偶联于器械操纵器的致动器并且从接口机座108穿过轴104延伸至腕机构106的一个或多个腕接头和器械末端执行器102的夹钳——以常规方式致动腕接头和夹钳。器械操纵器还可操纵器械在进入孔处的围绕其枢转点的俯仰和偏转角旋转，操纵器械的围绕器械的轴线的翻滚角旋转，和根据处理器43命令，沿机器人臂上的轨迹插入和撤回器械。

作为实例，图11示例控制台3030的前视图。控制台3030具有左侧和右侧输入装置41、42，用户可分别用他/她的左手和右手抓握，来操纵患者侧推车3010的多种机器人或活动臂所支持的相关装置，优选地以六个自由度("DOF")操纵。带有脚趾和脚跟控制的脚踏板44被提供在控制台3030上，因此用户可控制与脚踏板关联的装置的运动和/或致动。处理器43被提供在控制台中，用于控制和其他目的。立体视觉显示器45也被提供在控制台中，使得用户可通过内窥镜37的立体照相机采集的图像在立体视觉下观看工作位点。左右目镜46和47，被提供在立体视觉显示器45中，使得用户可分别通过用户的左眼和右眼来观看显示器45中的左和右二维("2D")显示屏。

处理器43执行医疗机器人系统的不同功能。其执行的一个重要功能是转换和传递输入装置41、42的机械动作，以指挥其相关装置操纵器中的致动器致动其各自的接头，使得外科医生可有效操纵当时与输入装置41、42关联的装置，如工具器械31、33、35和内窥镜37。处理器43的另一功能是实施本文描述的方法、交叉偶联控制逻辑、和控制器。

虽然是以处理器进行描述，但要理解处理器43可通过硬件、软件和固件的任意组合来实施。而且，其如本文描述的功能可由一个单元来执行，或拆分到多个子单元，其中每一个可进而通过硬件、软件和固件的任意组合来实施。进一步，虽然是作为控制台一部分来显示或物理上邻近于控制台，但处理器43还可作为子单元遍及系统3000分布。

美国专利号6,659,939B2，名为"Cooperative MinimallyInvasive TelesurgicalSystem"——其被引入本文作为参考，提供了关于如本文描述的多孔医疗机器人系统的其他细节。

作为实例，图12示例图像采集系统3020，其具有安置于底座1106的机器人或活动臂1101。机器人臂1101包括转盘1107、第一连杆1102、第二连杆1103、腕机构1104、和C-臂1105。转盘1107可利用转盘接头1108相对于底座1106旋转(如箭头“a”所示)。第一连杆1102可利用肩式接头1109相对于转盘1107旋转(如箭头“b”所示)。第二连杆1103可利用肘式接头1110相对于第一连杆1102旋转(如箭头“c”所示)。腕机构1104可利用翻滚接头1111相对于第二连杆1103旋转(如箭头“d”所示)。C-臂1105可利用俯仰接头1112相对于腕机构1104旋转(如箭头"e"所示)，并且可利用偏转接头1121相对于腕机构1104旋转(如箭头“j”所示)。

C-臂1105包括第一分支1113、第二分支1114、和中央部分1115。第一和第二分支1113、1114可利用延伸接头1120远离或朝向中央元件1115延伸(如箭头"f"所示)。第一分支1113具有布置在其远端的X射线检测器1116，第二分支1114具有布置在其远端的X射线源1117。X射线检测器1116可相对于第一分支1113的远端旋转(如箭头“g”所示)。X射线源1117可相对于第二分支1114的远端旋转(如箭头“h”所示)。在这种安排下，X射线源和X射线检测器被布置在C-臂1105的的相对端，从而形成图像采集装置。通过致动转盘接头1108、肩式接头1109、肘式接头1110、翻滚接头1111、俯仰接头1112、偏转接头1121、和延伸接头1120，C-臂1105可被相对于患者定位，使得C-臂1105可移动，从而图像采集装置(包括X射线源1117和X射线检测器1116)可采集患者体内工作位点的指定目标区域内的一个或多个对象的一系列二维投影。然后可以锥束计算机断层扫描的常规方式利用该系列二维投影生成一个或多个对象的三维计算机模型。

前文引入作为参考的美国公开申请2009/0234444Al提供了关于这种图像采集系统以及其在对患者执行医疗程序过程中的应用的其他细节。

作为实例，图13示例可选的患者侧推车4010，其可用于机器人系统3000，通过进入引导件200将多种铰接器械通过患者的单个进入孔引至工作位点。孔可以是微创切口或天然身体孔口。进入引导件200是被机器人臂4011支持和操纵的圆柱形结构，机器人臂4011安置在底座4015上并且包括设置臂4012和进入引导件操纵器4013。设置臂4012包括多个连杆和接头，用于在孔处定位进入引导件200。如该图所示，设置臂4012包括棱柱接头，用于调节设置臂4012的高度(如箭头“A”所示)；和多个旋转接头，用于调节设置臂4012的水平位置(如箭头“B”和“C”所示)。进入引导件操纵器4013用于分别使进入引导件200(和同时布置在其中的铰接器械)在围绕枢转点偏转、俯仰和翻滚角旋转方面自动地枢转，如箭头D、E和F所示。铰接器械操纵器(未显示)位于机座4014中。

如图14所示，进入引导件200具有延伸到其远端外的铰接器械如铰接外科器械231、241和铰接立体摄像器械211(或其他图像采集装置器械)。摄像器械211具有位于其末端的一对立体图像采集元件311、312和光纤线缆313(其近端偶联于光源)。外科器械231、241具有工作端331、341。虽然仅显示两个器械231、241，但进入引导件200可引导在患者的工作位点执行医疗程序所需的另外的器械。例如，如图15中的进入引导件200的剖视图所示，通道351可用于穿过进入引导件200并且穿出其远端延伸另一铰接外科工具。通道431、441分别为铰接外科工具器械231、241所用，通道321为铰接摄像器械211所用。

当患者侧推车4010用于机器人系统3000时，控制台3030的立体视觉显示器45显示由铰接摄像器械211采集的立体图像获得的立体图像。而且，控制台3030的处理器43转换和传递输入装置41、42的机械动作，以致动装置如进入引导件200、铰接外科器械231、241、和铰接摄像器械211的接头，此时该接头与输入装置41、42关联。

每个铰接器械包括多个可致动接头和偶联于接头的多个连杆。作为实例，如图14所示，第二铰接器械241包括第一、第二、和第三连杆322、324、326，第一和第二接头323、325，和腕组件327。第一接头323偶联第一和第二连杆322、324，第二接头325偶联第二和第三连杆324、326，使得第二连杆324可围绕第一接头323以俯仰和偏转枢转，同时第一和第三连杆322、326保持相互平行。第一铰接器械231和照相机铰接器械211可类似的构造和操作。

美国专利号7,725,214，名为"Minimally Invasive Surgical System"——其被引入本文作为参考，提供关于本文描述的单孔医疗机器人系统的其他细节。

现再参考图1，示例机器人系统1000的部件的框图来描述本发明的多个方面。在此实例中，机器人系统1000具有第一可操纵装置1001、第一图像采集装置1002和照相机1003。第一可操纵装置1001可以是被患者侧推车3010的机器人臂支持和操纵的器械如器械33、35中的一个。可选地，第一可操纵装置1001可以是进入铰接器械延伸穿过的进入引导件，如进入被患者侧推车4010的机器人臂支持和操纵的进入引导件200。还显示了第二可操纵装置1004，其可以是如第一可操纵装置1001的另一装置。还显示了第二图像采集装置1005，其可提供不同于第一图像采集装置1002的成像模式。虽然基于示例目的显示了两个可操纵装置和两个图像采集装置，但要理解实际上机器人系统1000可包括更多或更少个每一种这样的装置，以对工作位点的对象执行任务或程序。还可包括另外的照相机。

装置控制器1021控制机器人臂1011的运动，以响应输入单元1031的命令来定位和定向第一可操纵装置1001的工作端。输入单元1031可以是用户操作的输入装置，如控制台3030的输入装置41、42中的一种或脚踏板44。可选地，输入单元1031可以是执行已存储的程序指令的处理器，如控制台3030的处理器43。可选地，输入单元1031可是通过总线1040与控制器1022、1023、1024、1025和/或输入单元1032、1033、1034、1035中的一个或多个通信的偶联控制逻辑，该控制器和/或输入单元与第一图像采集装置1002、照相机1003、第二可操纵装置1004、和第二图像采集装置1005关联。

同样，装置控制器1024控制机器人臂1014的运动，以响应输入单元1034的命令来定位和定向第二可操纵装置1004的工作端。输入单元1034可以是用户操作的输入装置，如控制台3030的输入装置41、42中的一个或脚踏板44。可选地，输入单元1034可以是执行已存储的程序指令的处理器，如控制台3030的处理器43。可选地，输入单元1034可是通过总线1040与控制器1021、1022、1023、1025和/或输入单元1031、1032、1033、1035中的一个或多个通信的偶联控制逻辑，该控制器和/或输入单元与第一可操纵装置1001、第一图像采集装置1002、照相机1003、和第二图像采集装置1005关联。

第一图像采集装置1002可被其机器人臂1012(或其他电动机构)操纵以采集处于工作位点的对象的多个二维图像层面或投影，由此可在不提前知道该对象形状的情况下利用成像模式如超声波、X射线荧光透视、计算机断层扫描(CT)、和磁共振成像(MRI)计算机生成该对象的三维模型。控制器1022控制机器人臂1012的运动，以响应输入单元1032的命令来定位和定向第一图像采集装置1002。输入单元1032可以是用户操作的输入装置，如控制台3030的输入装置41、42中的一种。可选地，输入单元1032可以是执行已存储的程序指令的处理器，如控制台3030处理器43。可选地，输入单元1032可以是通过总线1040与控制器1021、1023、1024、1025和/或输入单元1031、1033、1034、1035中的一个或多个通信的偶联控制逻辑，该控制器和/或输入单元与第一可操纵装置1001、照相机1003、第二可操纵装置1004、和第二图像采集装置1005关联。第一图像采集装置1002和其机器人臂1012可组合形成图像采集系统，如图像采集系统3020。

第二图像采集装置1005可与第一图像采集装置1002相似地构造和操作，采集处于工作位点的对象的多个二维图像投影，由此可在不提前知道该对象形状的情况下利用成像模式如超声波、X射线荧光透视、计算机断层扫描(CT)、和磁共振成像(MRI)计算机生成该对象的三维模型。一般，第一和第二图像采集装置1002、1005提供不同的成像模式。当与第一图像采集装置1002相似地构造时，控制器1025控制机器人臂1015的运动，以响应输入单元1035的命令来定位和定向第二图像采集装置1005。输入单元1035可以是用户操作的输入装置，如控制台3030的输入装置41、42中的一种。可选地，输入单元1035可以是执行已存储的程序指令的处理器，如控制台3030的处理器43。可选地，输入单元1035可是通过总线1040与控制器1021、1022、1023、1024和/或输入单元1031、1032、1033、1034中的一个或多个通信的偶联控制逻辑，该控制器和/或输入单元与第一可操纵装置1001、第一图像采集装置1002、照相机1003、和第二可操纵装置1004关联。第二图像采集装置1005和其机器人臂1015可组合形成图像采集系统，如图像采集系统3020。

可选地，第二图像采集装置1005可不同于第一图像采集装置1002构造。例如，第二图像采集装置1005可被第一和第二可操纵装置1001、1004中的一个支持、定位、和定向，而非具有其专属的机器人臂、控制器、和输入单元。这种第二图像采集装置的实例包括插入式(drop-in)超声探头或光学相干断层扫描探头。关于这种超声探头的详细内容，参见例如U.S.2007/0021738Al，名为"Laparoscopic Ultrasound Robotic Surgical System"——其被引入本文作为参考。

照相机1003可被机器人臂1013支持和操纵，采集工作位点的立体图像，如图9的内窥镜37。作为可选的实例，照相机1003可以是图14的铰接摄像器械211。控制器1023控制机器人臂1013(或铰接摄像器械211的接头)的运动，以响应输入单元1033的命令来定位和定向照相机1003的图像采集元件。输入单元1033可以是用户操作的输入装置，如控制台3030的输入装置41、42中的一种。可选地，输入单元1033可以是执行已存储的程序指令的处理器，如控制台3030的处理器43。可选地，输入单元1033可是通过总线1040与控制器1021、1022、1024、1025和/或输入单元1031、1032、1034、1035中的一个或多个通信的偶联控制逻辑，该控制器和/或输入单元与第一可操纵装置1001、图像采集装置1002、第二可操纵装置1004、和第二图像采集装置1005关联。

可选地，照相机1003可被第一和第二可操纵装置1001、1004中的一个支持、定位和定向，而非具有其专属的机器人臂、控制器、和输入单元。例如，照相机可以是栓系式照相机，其可通过可操纵装置拉动拴绳(一个或多个)来定向。在这种情况下，照相机不具有其专属的机器人臂、控制器、和输入单元。这种栓系式照相机的实例被描述于美国专利申请公开号2012/02900134，名为"Estimation of aPosition and Orientation of a Frame Usedin Controlling Movement of a Tool"——其被引入本文作为参考。

机器人臂1011、1012、1013、1014、1015中的每一个均包括多个连杆和多个可致动接头，其位置和/或速度被多个接头传感器感应。来自每个机器人臂1011、1012、1013、1014、1015的多个接头传感器的信息基于控制目的被提供给其各自的控制器1021、1022、1023、1024、1025，并且可基于碰撞避免目的经总线1040被提供给其他控制器中的一个或多个，因为这种接头信息指示机器人臂1011、1012、1013、1014、1015的构型信息。

控制单元1021-1025中的每一个均可包括至少一个处理单元和存储器。在一些实例中，处理单元可控制各自的控制单元1021-1025的硬件和/或软件的操作和/或运行。每个处理单元可包括一个或多个中央处理单元(CPU)、多核处理器、微处理器、微控制器、数字信号处理器、现场可编程门阵列(FPGA)、定制处理器/专用集成电路(ASIC)、和/或类似物。存储器可用于存储将被各个控制单元1021-1025使用的一个或多个软件和/或固件应用以及不同的数据结构。存储器还可包括一种或多种类型的机器可读介质。机器可读介质的一些常见形式可包括软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、打孔卡、纸带、任何其他带有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒、和/或适于处理器或计算机读取的任何其他介质。

机器人系统1000还包括立体查看器或显示器1051，用于显示通过图像处理器1050由立体照相机1003采集的图像生成的立体图像和/或通过图像处理器1050由第一图像采集装置1002和/或第二图像采集装置1005采集的一个或多个对象的多个二维图像层面生成的一个或多个对象的三维计算机模型。在显示器1051上同时显示从照相机1003以及第一和第二图像采集装置1002、1005的一者或两者获得的图像之前，图像处理器1050定位图像，使得一个或多个对象的三维计算机模型被适当叠加在从立体照相机1003采集的图像获得的立体图像中的一个或多个对象的图像上，并相对于其定位。

作为实例，图3、4分别示例可在机器人系统1000中实施的、避免独立操作的图像采集装置和可操纵装置机器人臂之间碰撞的方法2000、2500的流程图。虽然基于说明目的显示为两种不同的方法，但要理解方法2000、2500是取自不同角度的基本上相同的方法。具体地，方法2000来自图像采集装置坐标系统的角度，并且可通过图像采集装置控制器进行，而方法2500来自可操纵装置坐标系统的角度，并且可通过可操纵装置控制器进行。

虽然本文描述方法时仅述及一个可操纵装置，但要理解在图像采集装置的视野中可看到多于一个装置的工作端时，那些装置中的每一个均根据该方法如所述可操纵装置处理，从而可避免其机器人臂和图像采集装置机器人臂之间的碰撞。例如，当机器人系统1000是图8的医疗机器人系统3000并且其包括图9的患者侧推车3010时，图像采集装置3020采集的图像中可见的可操纵装置31、33、35、37中的每一个均执行两种方法2000、2500的相关框。另一方面，当机器人系统1000是图8的医疗机器人系统3000并且其包括图13的患者侧推车4010时，进入引导件操纵器4013执行方法2000、2500的相关框，而延伸到进入引导件200外的铰接器械的工作端如进入引导件200的工作端处理。

为避免混乱和无意的结果，仅执行方法2000、2500中的一个来避免机器人臂之间碰撞。而且，优选装置控制器中仅一个执行碰撞避免方法。可预先确立、用户选择、或通过特定标准选择进行这种行动的控制器。

作为用户说明的实例，当机器人系统1000是图8的医疗机器人系统3000并且其包括图9的患者侧推车3010时，外科医生可与立体查看器45上显示的菜单互动，以选择控制单元3021执行方法2000或处理器43执行方法2500。如前所述，控制单元3021控制机器人臂1101的运动，机器人臂1101支持和操纵图像采集系统3020的图像采集装置1116、1117。另一方面，处理器43实施控制机器人臂34的运动的控制器，机器人臂34支持和操纵器械33，器械33可以是基于此实例目的的可操纵装置。

当机器人系统1000是图8的医疗机器人系统3000并且其包括图13的患者侧推车4010时，则方法2000、2500所述的可操纵装置是进入引导件200，而非铰接器械211、231、241中的一个。在这种情况下，其是进入引导件操纵器4013，其有与图像采集系统3020的机器人臂1101碰撞或被机器人臂1101撞击的风险。铰接器械211、231、241不具有任何机器人臂在患者身体外延伸的显著部分。其仅具有操纵器，该操纵器的运动总体上限制在进入引导件操纵器4013的机座区域4014内，如图13所示。显然，图像采集系统3020的机器人臂1101和进入引导件操纵器4013之间的碰撞避免可比图像采集系统3020的机器人臂1101和患者侧推车3010的机器人臂32、34、36、38之间的碰撞避免简单。这不仅因为患者侧推车3010有更多机器人臂32、34、36、38会与图像采集系统3020的机器人臂1101碰撞，而且因为患者侧推车3010的机器人臂32、34、36、38可比患者侧推车4010进入引导件机器人操纵器4013移动更频繁。

作为实例，图2示例在机器人系统1000中实施的、用于定位图像采集装置机器人臂和可操纵装置机器人臂的方法9000的流程图。利用此方法，在图像采集装置机器人臂移动接近可操纵装置机器人臂时进行较高精度定位。这种多步法以安全的方式提供高精度定位。

在框9001中，方法利用外部跟踪系统和机器人臂运动学数据，进行图像采集装置机器人臂和可操纵装置机器人臂在其初始位置处相对于共同坐标系统的低精度定位(例如，在数十厘米的精度范围内)。作为实例，外部跟踪系统可以是发送器/接收器类型，其通常利用策略地布置在图像采集装置和可操纵装置的机器人臂的已知方位上的发送器、和布置在发送器的传输距离内的一个或多个接收器。作为另一实例，外部跟踪系统可以是光学类型，其通常利用策略地布置在图像采集装置和可操纵装置的机器人臂的已知方位上的光学可辨目标、和经布置具有目标无阻挡视界的一个或多个光学检测器。可提供运动学数据——例如，通过布置以感应图像采集装置机器人臂和可操纵装置机器人臂的接头位置的编码器。然后可利用机器人臂构造、形状、和尺寸知识以常规方式组合接头位置，估测机器人臂的构型。

在框9002中，图像采集装置移向可操纵装置机器人臂以取得低风险设置位置，该低风险设置位置足够接近以使图像采集装置被图像采集装置机器人臂支持以采集至少部分可操纵装置机器人臂的图像，同时足够远离可操纵装置机器人臂以确保图像采集装置机器人臂不与可操纵装置机器人臂碰撞。在确定低风险设置位置时，方法还通过确保图像采集装置机器人臂和可操纵装置机器人臂之间不发生碰撞的第一安全界限考虑当前低精度水平的定位。例如，第一安全界限可保持图像采集装置机器人臂和可操纵装置机器人臂之间至少10厘米的距离，造成在确定这两个机器人臂的相对位置时的当前低精度。图像采集装置机器人臂的运动可如下进行：例如，通过操作人员在机器人臂控制器的协助下通过机器人臂控制器命令这种运动，来阻止不安全的运动。例如，机器人臂控制器可通过触觉装置如操纵杆向操作人员提供力反馈，从而提供抵抗不安全运动的阻力。可选地，其可通过机器人臂控制器以直接模式或交叉偶联模式自动进行。

在框9003中，方法利用至少部分可操纵装置机器人臂的一个或多个采集图像和机器人臂的运动学数据，进行图像采集装置机器人臂和可操纵装置机器人臂在其当前位置处相对于共同坐标系统的中精度定位(例如，在厘米精度范围内)。

在框9004中，方法然后等待操作人员的命令来启动图像采集装置机器人臂的运动以采集用户指定目标区域的图像。

在框9005中，图像采集装置移向可操纵装置机器人臂以取得图像采集设置位置，该图像采集设置位置足够接近以使图像采集装置被图像采集装置机器人臂支持以采集用户指定目标区域的图像，同时足够远离可操纵装置机器人臂以确保图像采集装置机器人臂不与可操纵装置机器人臂碰撞。在确定图像采集设置位置时，方法通过确保图像采集装置机器人臂和可操纵装置机器人臂之间不发生碰撞的第二安全界限考虑当前中精度水平的定位。例如，第二安全界限可保持图像采集装置机器人臂和可操纵装置机器人臂之间至少1厘米的距离，造成在确定这两个机器人臂的相对位置时的当前中精度。图像采集装置机器人臂的运动可如下进行——例如，通过操作人员在机器人臂控制器的协助下通过机器人臂控制器命令这种运动，来阻止不安全的运动。例如，机器人臂控制器可通过触觉装置如操纵杆向操作人员提供力反馈，从而提供抵抗不安全运动的阻力。可选地，该运动可直接通过图像采集装置控制器或通过与可操纵装置控制器偶联的控制模式来自动进行。

在框9006中，方法命令图像采集装置机器人臂相对于目标区域移动和命令被图像采集装置机器人臂支持的图像采集装置在这种运动过程中采集目标区域的图像，同时避免图像采集装置机器人臂和可操纵装置机器人臂碰撞。除采集目标区域的图像外，图像采集装置还至少采集被可操纵装置机器人臂支持的可操纵装置的工作端的图像。在这种情况下，可操纵装置的工作端接近目标区域，从而处于图像采集装置的视野内。在图像采集过程中，方法利用可操纵装置工作端的采集图像中的一个或多个和机器人臂的运动学数据，进行图像采集装置机器人臂和可操纵装置机器人臂在其当前位置相对于共同坐标系统的至少一个高精度定位(例如，在毫米精度范围内)。

描述框9006的方面的另外的细节如下参考图3、4来描述，描述框9005、9006的方面的另外的细节如下参考图5来描述。

现参考图3的方法2000，在框2001中，方法(优选通过图像采集装置控制器1022进行)接收支持和操纵图像采集装置的机器人臂的构型信息。当机器人臂包括通过多个接头偶联在一起的多个连杆时，机器人臂构型可由接头的感应位置和构成机器人臂的连杆和其他结构的已知几何确定。如前参考图1所述，这种机器人臂构型信息可由图像采集装置机器人臂中的多个传感器提供，如偶联于接头致动器的编码器。可选地，其可以是图像采集装置控制器1022响应输入装置1032的命令而命令的接头位置。

在框2002中，方法确定是否是时候进行图像采集装置相对于可操纵装置的定位。这种定位可在方法开始时进行一次，或其可定期进行以纠正可随时产生的任何定位误差。如果框2002中的确定是“是”，则方法通过进行框2003、2004而进行定位。另一方面，如果框2002中的确定是“否”，则方法越过定位，跳至框2005。

在框2003中，方法接收图像采集装置采集的可操纵装置工作端的图像。总体上，接收的图像是图像采集装置的图像采集锥面(image capturing cone)内的可操纵装置工作端和任何其他对象的二维层面或投影。

在框2004中，方法确定可操纵装置工作端相对于图像采集装置坐标系统的位置和定向(即，姿态)，其相应于图像采集装置的图像采集锥面或视野的位置和定向。为此，方法通常利用工作端的在接收的图像中可辨别的人为和/或天然特征。在这种情况下，人为特征包括诸如特别布置在工作端以协助确定其姿态(即，位置和定向)的标记或结构的事物。天然特征包括诸如可操纵装置工作端结构的形状和已知几何的事物。即使工作端可能被部分阻挡，工作端的姿态也是可确定的。例如，工作端可被部分患者解剖结构、可操纵装置的其他部分、部分图像采集装置、其他医疗器械、和/或类似物阻挡。患者解剖结构可包括软组织、骨骼、牙齿、和/或类似物。为协助确定，图像采集装置采集的和方法经过框2001-2009循环时接收的图像的顺序可用于精细化姿态的确定。而且，可利用协助和用于进一步精细化可操纵装置工作端姿态的确定的常规工具跟踪技术。关于这种姿态确定技术和设计的另外细节，参见美国专利号8,108,072，名为"Methods and systems for robotic instrumenttool tracking with adaptive fusion of kinematics information and imageinformation"——其被引入本文作为参考，和美国公开号2010/0168763Al，名为"Configuration marker design and detection for instrument tracking"——其被引入本文作为参考。

在框2005中，方法接收支持和操纵可操纵装置的机器人臂的构型信息。在机器人臂包括通过多个接头偶联在一起的多个连杆时，机器人臂构型可由接头的感应位置和构成机器人臂的连杆和其他结构的已知几何来确定。如前参考图1所述，这种机器人臂构型信息可由可操纵装置机器人臂的多个传感器提供，如偶联于接头致动器的编码器。可选地，其可以是可操纵装置控制器1021响应输入装置1031的命令而命令的接头位置。可选地，其可以是通过跟踪内窥镜图像中的器械工作端而提供的一些接头位置，其与编码器测量相比可提供更佳的精度。

如果可操纵装置机器人臂是多余自由度(DOF)臂，则机器人臂的构型信息优选包括可操纵装置机器人臂的感应接头位置或命令接头位置。另一方面，如果仅有一个机器人臂构型可相应于其支持的可操纵装置的工作端的姿态，则该机器人臂构型理论上可由可操纵装置工作端的确定的姿态、可操纵装置和其机器人臂的已知构造和几何(例如，尺寸和形状)、和可操纵装置机器人臂的底座位置来确定。在这种情况下，可不必在框2005中接收感应或命令的接头位置的信息，仅需要可操纵装置机器人臂的底座位置。当可操纵装置机器人臂被安置于不移动的底座时，则底座位置是固定的，并且仅需确定一次和存储在存储器中。当可操纵装置机器人臂被安置于可移动底座时，则底座位置可通过如下确定：例如，通过外部传感器如策略地布置在地板上的压力传感器。作为另一实例，底座位置可通过发送器/接收器系统确定，其中一个或多个发送器布置在底座上，并且一个或多个接收器布置在固定方位。作为另一实例，底座位置(以及机器人臂构型)可通过光学跟踪系统或通过任何其他公知的位置感应手段来确定。

在框2006中，方法确定可操纵装置机器人臂在图像采集装置坐标系统中的构型和位置。由于可操纵装置工作端相对于图像采集装置坐标系统的姿态已在框2004被确定，在这种情况下，通过利用可操纵装置和其机器人臂的已知构造和几何连同在框2005接收的可操纵装置机器人臂构型信息，来确定其机器人臂在图像采集装置坐标系统中的构型和位置的确定。

在框2007中，方法确定图像采集装置机器人臂在图像采集装置坐标系统中的构型和位置。由于图像采集装置坐标系统由图像采集装置机器人臂远端的姿态限定，利用图像采集装置和其机器人臂的已知构造和几何连同在框2001接收的图像采集装置机器人臂构型信息来确定图像采集装置机器人臂在图像采集装置坐标系统中的构型和位置是简单的事情。

在框2008中，方法确定是否有图像采集装置机器人臂和可操纵装置机器人臂之间即将碰撞的威胁。优选地，利用在当前工序循环和在前工序循环的框2001-2007接收或确定的信息来进行确定。通过利用时间顺序信息，不仅可预期两个臂的轨迹，而且可估测其移动速率。通过此信息，可进行碰撞预期。当预期碰撞在指定时期内时，则认为碰撞即将发生，需要立即行动。碰撞预期可利用图像采集装置机器人臂和可操纵装置机器人臂之间的最小距离。在确定最小值时，基于安全目的，方法优选将机器人臂连杆近似于尺寸略大于实际连杆的几何形状。由于此时图像采集装置机器人臂的几何形状和操纵装置机器人臂的几何形状相对于彼此处于已知的位置和定向，直接计算确定代表图像采集装置机器人臂的几何形状和代表操纵装置机器人臂的几何形状之间的最小距离。

本领域技术人员还将理解，框2008的确定可用于检测操纵装置机器人臂和图像采集装置机器人臂之间的除即将碰撞之外的其他不期望的关系。在一些实施方式中，框2008可用于检测操纵装置机器人臂和图像采集装置机器人臂何时彼此过于接近，即使不即将发生碰撞。在一些实施方式中，框2008可用于检测操纵装置机器人臂阻挡图像采集装置要采集其图像的目标区域。

如果确定框2008是“否”，则方法跳回框2001，进行下一个工序循环的框2001-2008。另一方面，如果确定是“是”，则在框2009中，方法命令图像采集装置机器人臂采取行动以避免与可操纵装置机器人臂碰撞。命令的行动可以是暂停图像采集装置机器人臂的运动，直到可操纵装置机器人臂已移至碰撞安全位置。可选地，不中止图像采集装置机器人臂的全部运动，取而代之可调节其运动速度以避免与可操纵装置机器人臂碰撞。可选地，如果图像采集装置机器人臂是多余DOF臂，则可命令可选的臂构型以避免与可操纵装置机器人臂碰撞。可选地，可中止图像采集装置机器人臂的运动，并且可忽略可操纵装置控制器的碰撞避免任务来进行图4的方法2500。

在进行框2009后，然后方法循环回到框2001，处理下一个工序循环的信息。

现参考图4的方法2500，在框2501中，方法(优选通过可操纵装置控制器1021进行)接收支持和操纵可操纵装置的机器人臂的构型信息。在机器人臂包括通过多个接头偶联在一起的多个连杆时，机器人臂构型可由接头的感应位置和构成机器人臂的连杆和其他结构的已知几何来确定。如前参考图1所述，这种机器人臂构型信息可由图像采集装置机器人臂中的多个传感器提供，如偶联于接头致动器的编码器。可选地，其可以是可操纵装置控制器1021响应输入装置1031的命令而命令的接头位置。可选地，其可以是通过跟踪内窥镜图像中的器械工作端提供的一些接头位置，其可提供与编码器测量相比更佳的精度。

在框2502中，方法确定是否是时候进行图像采集装置相对于可操纵装置的定位。这种定位可在方法开始时进行一次，或其可定期进行以纠正可随时产生的任何定位误差。如果在框2502的确定是“是”，则方法通过进行框2503、2504来进行定位。另一方面，如果在框2502的确定是“否”，则方法越过定位，跳至框2505。

在框2503，方法接收图像采集装置采集的可操纵装置工作端的图像。总体上，接收的图像是图像采集装置的图像采集锥面或视野内的可操纵装置工作端和任何其他对象的二维层面或投影。作为实例，可操纵装置控制器1021可从第一图像采集装置1002或包括第一图像采集装置1002的图像采集系统中的处理器通过总线1040(或图8的线缆3050)接收图像。

在框2504，方法以与参考图3的框2004所述相同的方式确定可操纵装置工作端相对于图像采集装置坐标系统的位置和定向(即，姿态)。

在框2505，方法接收支持和操纵图像采集装置的机器人臂的构型信息。在机器人臂包括通过多个接头偶联在一起的多个连杆时，机器人臂构型可由接头的感应位置和构成机器人臂的连杆和其他结构的已知几何来确定。如前参考图1所述，这种机器人臂构型信息可由可操纵装置机器人臂的多个传感器提供，如偶联于接头致动器的编码器。可选地，其可以是图像采集装置控制器1022响应输入装置1032的命令而命令的接头位置。

在框2506，方法确定可操纵装置机器人臂在可操纵装置坐标系统中的构型和位置。由于可操纵装置坐标系统由可操纵装置机器人臂的远端姿态限定，利用在框2501接收的信息和可操纵装置和其机器人臂的已知构造和几何来确定可操纵装置机器人臂在可操纵装置坐标系统中的构型和位置是简单的事情。

在框2507，方法确定图像采集装置机器人臂在可操纵装置坐标系统中的构型和位置。一种这样做的方式是先确定图像采集装置机器人臂在图像采集装置坐标系统中的构型和位置，如在图3的框2007确定，然后利用下列变换方程将图像采集装置机器人臂的点从图像采集装置坐标系统转换至可操纵装置坐标系统：

其中^MP是在可操纵装置坐标系统“M”中的点，是图像采集装置坐标系统“I”至可操纵装置坐标系统“M"”的变换式，和^IP是在图像采集装置坐标系统"I"中的点。

方法可通过如下确定变换式比较可操纵装置工作端在图像坐标系统中的点(利用在框2504确定的其姿态信息)与可操纵装置工作端在可操纵装置坐标系统中的相应点(利用由在框2501接收的可操纵装置机器人臂构型的信息和可操纵装置的在前已知的尺寸、形状、和构造信息确定的其姿态信息)。关于这种坐标系统变换的另外细节，参见之前引入作为参考的美国专利申请公开号2012/02900134，名为"Estimation of a Position andOrientation of a Frame Used in Controlling Movement of a Tool"。

在框2508中，方法以与参考图3的框2008所述相似的方式确定是否有图像采集装置机器人臂和可操纵装置机器人臂之间即将碰撞的威胁。本领域技术人员还将理解，类似于框2008的确定，框2508也可用于检测除即将碰撞之外的操纵装置机器人臂和图像采集装置机器人臂之间的其他不期望的关系。

如果确定框2508是“否”，则方法跳回至框2501，进行下一个工序循环的框2501-2509。另一方面，如果确定是“是”，则在框2509，方法可通过图像采集装置控制器1022命令可操纵装置机器人臂或图像采集装置机器人臂采取碰撞避免行动。进行碰撞避免行动和采取的具体碰撞避免行动的实体可根据系统因素采用不同的形式。一个因素是图像采集装置和可操纵装置当时进行的任务的性质。另一因素是机器人臂的类型或结构或其在检测到即将碰撞时的相应速度和加速度。

作为图像采集装置和可操纵装置当时进行的任务的性质的实例，如果机器人系统1000是医疗机器人系统3000并且可操纵装置是对患者进行精细手术时所用的器械33、35中的一个，则期望不干扰支持器械的机器人臂。因此，在这种情况下，可优选通过改变图像采集装置机器人臂1101的轨迹来采取行动，以避免碰撞。为避免这种碰撞，图像采集装置机器人臂1101的运动可暂停，直到可操纵装置机器人臂已移至碰撞安全位置。可选地，不中止图像采集装置机器人臂1101的全部运动，取而代之可调节其运动的速度和/或方向，以避免与可操纵装置机器人臂碰撞。

作为机器人臂的类型或结构的实例，如果图像采集装置和可操纵装置机器人臂中的一者或两者具有多余自由度(DOF)，则具有这种多余DOF的机器人臂中的一者可以可选的构型配置，而不影响其支持的装置的姿态。具体地，如果可操纵装置机器人臂具有多余DOF，则不必改变图像采集装置的轨迹，因为可取而代之将可操纵装置机器人臂配置成可选的构型，而不显著影响其支持的可操纵装置的操纵。当图像采集装置和可操纵装置机器人臂都具有多余DOF时，则选择第一和第二机器人臂其中一个，利用可选的构型来避免即将的碰撞——通过处理第一和第二机器人臂的当前构型和其各自的多种可能构型之间的差异，以最小化成本函数。可选地，选择可通过如下进行：处理第一和第二机器人系统的所需接头运动以从其当前构型移动至其各自多种可能构型中的其他构型，以最小化成本函数。

通过选择可选的构型可最小化数种可能的成本函数中的任一种。一种可能的成本函数可基于第一和第二机器人臂之间最小距离的负二次方。第二种可能的成本函数可基于第一和第二机器人臂连杆之间距离的负二次方的加权平均值，其中各连杆与被动或主动自由度相关。第三种可能的成本函数可基于第二成本函数，但仅可解释阈值(如预期安全界限数量级内的阈值)以下的距离。第四种可能的成本函数可基于第二成本函数的修改版本，其中测量第一和第二机器人臂的连杆周围的虚拟对象或缓冲区域之间的距离。第五种可能的成本函数可包括第四成本函数的缓冲区域和第三成本函数的距离阈值。第六种可能的成本函数可基于第一和第二机器人臂的限制操纵性指数，其中操纵性指数估测第一或第二机器人臂在可选的构型周围以任意方向移动的能力。第七种可能的成本函数可基于施加于第一和第二机器人臂的连杆和/或接头的虚拟势场。作为实例，第一和第二机器人臂的各连杆和/或接头可具有分配于其的虚拟电荷，并且可整合第一和第二机器人臂之间引起的虚拟推斥力，以确定第七种成本函数。

在进行框2509后，然后方法循环回到框2501，处理下一个工序循环的信息。

在进行方法2000、2500期间或之后，可进行工作位点对象的初始定位变换式的更新或再校准。例如，如果机器人系统1000是医疗机器人系统3000，则惯例是相对于公共(world)坐标系统定位每个工作位点对象。在这种情况下，工作位点对象包括器械31、33、35、内窥镜37、图像采集系统3020的图像采集装置1116、1117、和患者解剖结构。然而，在程序进行期间，定位误差可积累或另外以一定方式发生。因此，利用图像采集系统3020采集的器械31、33、35和内窥镜37的工作端的图像来更新其相对于固定坐标系统的初始定位变换式可能是有益的。

在图2、3的方法2000、2500中，图像采集装置和可操纵装置一般由不同的人独立地操作。例如，当机器人系统1000是医疗机器人系统3000时，站在操作台3040旁的辅助人员可操作控制单元3021来控制图像采集系统3020的运动，而外科医生可操作控制台3030的输入装置41、42来控制可操纵装置33、35的运动。然而，外科医生有时可需要在医疗程序进行期间也控制图像采集系统3020的运动。例如，当解剖结构的外视图的内窥镜图像显示在控制台3030的立体查看器45上时，外科医生可能想用解剖结构的内视图的三维X射线图像补充那些图像。然而，由于外科医生从事医疗程序的进行，自动控制图像采集系统3020以提供外科医生需要的目标区域视图的方法是有用的。

作为实例，图5示例在机器人系统1000中实施的、用于自动控制图像采集装置的运动以采集用户指定目标区域的图像、同时避免其机器人臂和另一机器人臂之间碰撞的方法4000。

在框4001中，方法接收工作位点处用户指定目标区域的信息。当用户观看显示器1051上的工作位点时，目标区域相对于当时显示在显示器1051上的工作位点的图像被指定。显示在显示器1051上的图像可由照相机1003如立体内窥镜采集的图像获得。可选地，其可由第二图像采集装置1005如超声探头采集的图像获得。可选地，显示在显示器1051上的图像可通过定位和叠加图像，既包括由照相机1003采集的那些图像获得的图像，又包括由第二图像采集装置1005采集的那些图像获得的图像。

作为用户相对于当时显示的图像指定目标区域的一种方式的实例是利用telestrator围绕telestration屏上的目标区域绘制闭合曲线，该telestration屏正在显示与当时在显示器1051上显示的图像相同的图像。关于这种telestrator的细节，参见美国公开申请号2007/0167702Al，名为"Medical robotic system providing three-dimensional telestration"——其被引入本文作为参考。作为另一实例，用户可通过仅利用输入装置如鼠标控制显示器1051上光标的运动以使光标的路径限定目标区域来指定目标区域。作为用户指定目标区域的方式的另一实例，用户可利用视点跟踪器和用户控制的开关来指示显示器1051上的用户当前凝视点何时指定目标区域中心。在这种情况下，目标区域的形状可以是预定的，或其可通过用户当前注视的对象的形状来确定。作为用户指定目标区域的方式的再一实例，用户可远程控制可操纵装置工作端的运动，使得其触碰处于工作位点的对象，以指示目标区域应当是已被触碰的对象。

在框4002中，方法接收图像采集装置机器人臂和可操纵装置机器人臂的初始臂构型和底座位置的信息。初始臂构型的信息可通过从机器人臂的多个传感器接收的其构造信息和其接头位置信息来提供。公共坐标系统中的底座位置信息可通过提供这种信息的外部传感器来提供。这种外部传感器的一个实例是用于光学跟踪系统的光学传感器。另一实例是压力换能器，即策略地布置在工作位点地板上的已知位置的压力换能器阵列中的一个。

在框4003中，方法确定图像采集装置的设置位置，使得其适当地定位置以采集用户指定目标区域的所需图像。为此，方法首先利用在前确定的变换式和在框4002接收的信息，将目标区域从显示器坐标系统转换至图像采集装置坐标系统。然后，其利用在前确定的变换式和在框4002接收的信息，将目标区域从图像采集装置坐标系统转换至公共坐标系统。随着目标区域在公共坐标系统中已知，方法然后确定图像采集装置可采集用户指定目标区域的所需图像而不与可操纵装置机器人臂在公共坐标系统中的初始位置碰撞的设置位置。

在框4004中，方法确定图像采集装置采集用户指定目标区域的所需图像的动作计划。当图像采集装置是图12的图像采集装置3020时，动作计划可包括连杆1102、1103、腕机构1104和C-臂1105的计划运动。

在框4005中，方法命令图像采集装置运动至其设置位置——在接收到来自用户的这样做的命令后。当图像采集装置是图12的图像采集系统3020的图像采集装置1116、1117时，命令的运动一般需要旋转转盘接头1108以使机器人臂1101面向目标区域，和旋转肩式接头1109、肘式接头1110、翻滚接头1111、俯仰接头1112、和偏转接头1121以使X射线源1117和X射线检测器1116(即，图像采集装置)适当定位，从而开始采集用户指定目标区域的所需图像。

在框4006中，方法命令图像采集装置按照动作计划增量运动，同时避免图像采集装置机器人臂和可操纵装置机器人臂之间碰撞。方法在框4006进行的任务的另外细节参考图6描述。

在框4007中，方法确定动作计划是否完成。如果在框4007的确定是“否”，则方法跳回至框4006，命令图像采集装置按照动作计划的另一增量运动，同时避免图像采集装置机器人臂和可操纵装置机器人臂之间碰撞。

另一方面，如果在框4007的确定是“是”，则在框4008中，方法命令图像采集装置移回至其初始位置或预定停放位置——在接收到来自用户的这样做的命令后，以使其让路并且不再具有与可操纵装置机器人臂碰撞的风险。

作为实例，图6示例进行方法4000的框4006的方法的流程图。为补充描述，图7示例机器人系统中用于两个独立地操作的机器人臂之间碰撞避免的部分的框图。在图7示例的实例中，可操纵装置机器人臂模拟器6003、即将碰撞检测器6021、图像采集装置机器人臂模拟器6013、和增量动作生成器6004优选通过执行程序代码的处理器以常规方式实施。

在框4201中，方法接收可操纵装置机器人臂的运动命令。例如，参考图7，可操纵装置控制器6011的输出提供可操纵装置机器人臂致动器6012的接头命令。

在框4202中，方法确定可操纵装置机器人臂的位置和构型。例如，参考图7，可操纵装置机器人臂模拟器单元6003利用来自可操纵装置控制器6011的接头命令和可操纵装置机器人臂构造的已有知识，生成可操纵装置机器人臂的位置和构型信息。

在框4203中，方法确定图像采集装置的预期增量运动。例如，参考图7，增量动作生成器6004利用在图5的框4004确定的和存储器6005中存储的动作计划信息，生成图像采集装置的预期增量运动。在这种情况下，预期增量运动取决于图像采集装置的预期运动速度和经过图5的框4006-4007循环的工序循环时间。

在框4204中，方法确定图像采集装置机器人臂的位置和构型。例如，参考图7，图像采集装置机器人臂模拟器单元6013利用增量动作生成器6004提供的预期增量动作命令、图像采集装置机器人臂的当前位置和构型知识、和图像采集装置机器人臂构造的已有知识，生成图像采集装置机器人臂的位置和构型信息。

在框4205中，方法以与图3的框2008进行相似的方式确定是否有图像采集装置机器人臂和可操纵装置机器人臂之间即将碰撞的威胁。例如，参考图7，即将碰撞检测器6021利用机器人臂模拟器6003、6013提供的当前工序循环和在前工序循环的信息，确定两个臂之间的碰撞是否即将发生。通过利用时间顺序信息，不仅可预期两个机器人臂的轨迹，而且可估测其移动速率。通过这个信息，可进行碰撞预期。当预期碰撞在指定时期之内时，则认为碰撞即将发生，需要立即行动。

如果在框4205的确定是“否”，则在框4206中，方法命令图像采集装置机器人臂按照预期增量运动来移动。另一方面，如果在框4205的确定是“是”，则在框4207中，方法修改增量运动命令以避免即将碰撞——利用参考图3的框2009描述的行动中的一种作为实例。例如，在即将碰撞检测器6021已经确定图像采集装置机器人臂和可操纵装置机器人臂之间的碰撞即将发生后，其发送这样的指示至可操纵装置控制器6011，该可操纵装置控制器6011进而传达指示至图像采集装置控制器6001，以使其可采取矫正行动以避免碰撞。

控制单元1021-1025和/或3021的一些实施方式可包括非临时的有形的机器可读介质，其包括可执行代码，该可执行代码在被一个或多个处理器运行时可致使一个或多个处理器(例如，控制单元1021-1025和/或3021的处理单元)如上所述进行方法2000、2500、4000、和/或9000的工序。可包括方法2000、2500、4000、和/或9000的工序的机器可读介质的一些常见形式是，例如，软盘、柔性盘、硬盘、磁带，任何其他磁介质、CD-ROM、任何其他光学介质、打孔卡、纸带、任何其他带有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒、和/或适于处理器或计算机读取的任何其他介质。

虽然已关于优选实施方式对本发明的不同方面进行了描述，但要理解本发明覆盖所附权利要求的全部范围内的全部保护。

Claims (31)

1.计算机辅助系统，其包括：

第一活动臂，所述第一活动臂配置以支持具有工作端的可操纵装置；和

控制器，所述控制器配置以控制至少一个臂的运动，所述至少一个臂包括选自：所述第一活动臂和第二活动臂的臂；

其中所述第二活动臂被配置以支持图像采集装置，以采集所述工作端的多个图像；

和其中所述控制器被配置以：

利用所述工作端的多个图像中的至少一个图像确定所述工作端相对于所述图像采集装置的坐标系统的位置和定向，

相对于共同坐标系统，通过利用所确定的所述工作端相对于所述图像采集装置的坐标系统的所述位置和定向,确定所述第一活动臂或所述第

二活动臂中的一个的构型和位置；

相对于所述共同坐标系统，通过利用接收到的所述第一活动臂或所述第二活动臂中的另一个的接头位置信息，确定所述第一活动臂或所述第二活动臂中的另一个的构型和位置；

利用所确定的所述第一活动臂和第二活动臂相对于所述共同坐标系统的构型和位置，确定所述第一活动臂和第二活动臂之间的即将的碰撞；和

命令由所述第一活动臂、或由所述第二活动臂、或由所述第一活动臂和第二活动臂两者采取的行动，以避免所述即将的碰撞。

2.根据权利要求1所述的计算机辅助系统，其中所述图像采集装置包括断层图像采集装置，所述断层图像采集装置用于采集多个二维图像，由此甚至在所述工作端被布置在所述图像采集装置和所述工作端之间的一个或多个对象阻挡时，所述工作端是可辨别的。

3.根据权利要求1所述的计算机辅助系统，其中所述控制器被进一步配置以：

通过利用所述第一活动臂的构造和几何信息和所确定的所述工作端相对于所述图像采集装置的坐标系统的位置和定向，确定所述第一活动臂相对于所述图像采集装置的坐标系统的构型和位置。

4.根据权利要求1所述的计算机辅助系统，其中所述图像采集装置包括照相机或超声探头。

5.根据权利要求1至4中任一项所述的计算机辅助系统，

其中所述控制器被进一步配置以：通过利用变换将所述图像采集装置的坐标系统中的点转换至所述可操纵装置的坐标系统，确定所述第二活动臂相对于所述可操纵装置的坐标系统的所述构型和位置；和

其中通过利用所确定的所述工作端相对于所述图像采集装置的坐标系统的位置和定向确定所述变换。

6.根据权利要求1至4中任一项所述的计算机辅助系统，

其中所述控制器被进一步配置以：通过利用变换将所述图像采集装置的坐标系统中的点转换至所述可操纵装置的坐标系统，确定所述第二活动臂相对于所述可操纵装置的坐标系统的所述构型和位置；和

其中所述可操纵装置的坐标系统是所述共同坐标系统。

7.根据权利要求1至4中任一项所述的计算机辅助系统，其进一步包括：

查看器，所述查看器适于显示从所述工作端的工作空间的采集图像衍生的图像；和

输入单元，所述输入单元配置以接收所述查看器上正在显示的所述图像内的用户指定目标区域的信息。

8.根据权利要求7所述的计算机辅助系统，其中所述控制器被进一步配置以：

控制所述第二活动臂的运动使得所述多个图像中的图像包括所述用户指定目标区域。

9.根据权利要求1至4中任一项所述的计算机辅助系统，其中：

所述控制器与所述第一活动臂关联以控制所述第一活动臂的运动，同时避免与所述第二活动臂碰撞，以及所述可操纵装置的坐标系统是所述共同坐标系统；或

所述控制器与所述第二活动臂关联以控制所述第二活动臂的运动，同时避免与所述第一活动臂碰撞，以及所述图像采集装置的坐标系统是所述共同坐标系统。

10.根据权利要求1至4中任一项所述的计算机辅助系统，其中：

所述第一活动臂包括多个接头和多个连杆，所述多个连杆偶联在一起以提供所述第一活动臂的多余自由度运动；和

所述控制器被进一步配置以：根据所述工作端的预期位置和定向和根据避免所述第一活动臂和第二活动臂之间的碰撞的二次约束，通过命令所述第一活动臂以所述第一活动臂的多种可能构型中的一种进行配置，控制所述第一活动臂的运动。

11.根据权利要求1至4中任一项所述的计算机辅助系统，其中：

所述第二活动臂包括多个接头和多个连杆，所述多个连杆偶联在一起以提供所述第二活动臂的多余自由度运动；和

所述控制器被进一步配置以根据所述图像采集装置的预期位置和定向和根据避免所述第一活动臂和第二活动臂之间的碰撞的二次约束，通过命令所述第二活动臂以所述第二活动臂的多种可能构型中的一种进行配置，控制所述第二活动臂的运动。

12.根据权利要求1至4中任一项所述的计算机辅助系统，其中：

所述第一活动臂包括第一多个接头和第一多个连杆，所述第一多个连杆偶联在一起以提供所述第一活动臂的多余自由度运动；

所述第二活动臂包括第二多个接头和第二多个连杆，所述第二多个连杆偶联在一起以提供所述第二活动臂的多余自由度运动；和

命令由所述第一活动臂、或由所述第二活动臂、或由所述第一活动臂和第二活动臂两者采取的所述行动包括：通过最小化成本函数确定所述第一活动臂和第二活动臂中的哪个被重新配置以避免所述即将的碰撞。

13.碰撞避免方法，所述方法包括：

通过控制器并且利用由图像采集装置采集的可操纵装置的工作端的多个图像中的至少一个图像，确定所述工作端相对于图像采集装置的坐标系统的位置和定向，所述可操纵装置被偶联至第一活动臂，以及所述图像采集装置被偶联至第二活动臂：

通过所述控制器并且相对于共同坐标系统，通过利用所确定的所述工作端相对于所述图像采集装置的坐标系统的所述位置和定向，确定所述第一活动臂或所述第二活动臂中的一个的构型和位置；

通过所述控制器并且相对于所述共同坐标系统，通过利用所接收的所述第一活动臂或所述第二活动臂中另一个的接头位置信息，确定所述第一活动臂或所述第二活动臂中的另一个的构型和位置；

通过所述控制器，利用所确定的所述第一活动臂和第二活动臂相对于所述共同坐标系统的构型和位置，确定所述第一活动臂和第二活动臂之间的即将的碰撞；和

通过所述控制器，命令由所述第一活动臂、或由所述第二活动臂、或由所述第一活动臂和第二活动臂两者采取的行动，以避免所述即将的碰撞。

14.根据权利要求13所述的方法，进一步包括：

通过所述控制器，通过利用变换将所述图像采集装置的坐标系统中的点转换至所述可操纵装置的坐标系统，确定所述第二活动臂相对于所述可操纵装置的坐标系统的所述构型和位置，其中通过利用所确定的所述工作端相对于所述图像采集装置的坐标系统的位置和定向确定所述变换。

15.根据权利要求13所述的方法，进一步包括：

通过利用变换将所述图像采集装置的坐标系统中的点转换至所述可操纵装置的坐标系统，确定所述第二活动臂相对于所述可操纵装置的坐标系统的所述构型和位置，其中所述可操纵装置的坐标系统是所述共同坐标系统。

16.根据权利要求13所述的方法，其中：

所述第一活动臂包括第一多个接头和第一多个连杆，所述第一多个连杆偶联在一起以提供所述第一活动臂的多余自由度运动；

所述第二活动臂包括第二多个接头和第二多个连杆，所述第二多个连杆偶联在一起以提供所述第二活动臂的多余自由度运动；和

通过所述控制器，命令由所述第一活动臂、或由所述第二活动臂、或由所述第一活动臂和第二活动臂两者采取的行动，以避免所述即将的碰撞包括：

通过所述控制器并且通过最小化成本函数，确定所述第一活动臂和第二活动臂中的哪个被重新配置以避免所述即将的碰撞。

17.运动控制系统，其包括：

控制器，所述控制器包括：

一个或多个处理器，以及

偶联至所述一个或多个处理器的存储器；

其中所述控制器被配置以偶联至机器人装置和第二活动臂，所述机器人装置包括第一活动臂，所述第一活动臂配置以偶联至具有工作端的可操纵装置，以及所述第二活动臂配置以偶联至独立于所述机器人装置的图像采集装置；和

其中所述控制器被配置以：

基于从所述图像采集装置接收的所述工作端的至少一个图像，确定所述工作端在所述图像采集装置的坐标系统中的位置和定向，

在所述机器人装置的坐标系统中，基于所述第一活动臂的一个或多个已知几何和接头的一个或多个感应位置，确定所述第一活动臂的第一活动臂位置和第一活动臂轨迹，

在所述图像采集装置的坐标系统中，基于所述第二活动臂的一个或多个已知几何和接头的一个或多个感应位置，确定所述第二活动臂的第二活动臂位置和第二活动臂轨迹，

基于所述工作端的位置和所述工作端的定向，确定所述图像采集装置的坐标系统和所述机器人装置的所述坐标系统之间的变换，

利用共同坐标系统并且基于所述第一活动臂位置、所述第一活动臂轨迹、所述第二活动臂位置、所述第二活动臂轨迹以及所述变换，确定所述第一活动臂的动作、所述第二活动臂的动作、或所述第一活动臂和第二活动臂一起的动作是否将导致所述第一活动臂和所述第二活动臂之间的不期望的关系，和

发送第一运动命令至选自所述第一活动臂和所述第二活动臂的臂，

以避免所述不期望的关系。

18.根据权利要求17所述的运动控制系统，其中：

所述共同坐标系统是所述图像采集装置的坐标系统；和

所述控制器被配置以基于所述工作端在所述图像采集装置的坐标系统中的所述位置和定向，确定所述图像采集装置的坐标系统中的所述第一活动臂位置。

19.根据权利要求17所述的运动控制系统，其中：

所述共同坐标系统是所述机器人装置的所述坐标系统；和

所述控制器被进一步配置以：利用所述变换，确定从所述图像采集装置的坐标系统至所述机器人装置的所述坐标系统的所述第二活动臂位置和所述工作端的所述位置和定向。

20.根据权利要求17至19中任一项所述的运动控制系统，其中：

所述工作端的所述至少一个图像包括来自所述图像采集装置的多个二维图像；和

所述控制器被进一步配置以：甚至在所述可操纵装置的所述工作端被布置在所述图像采集装置和所述可操纵装置的所述工作端之间的一个或多个对象阻挡时，利用运动学信息和图像信息的结合，从所述多个二维图像确定所述工作端的所述位置和定向。

21.根据权利要求17至19中任一项所述的运动控制系统，进一步包括：

查看器，所述查看器适于显示所述可操纵装置的所述工作端的工作空间的第二图像；和

输入单元，所述输入单元配置以接收所述查看器上正在显示的所述第二图像内的用户指定目标区域的信息，

其中所述控制器被进一步配置以：发送第二运动命令至所述第二活动臂，使得所述图像采集装置采集所述用户指定目标区域的图像。

22.根据权利要求17至19中任一项所述的运动控制系统，其中：

所述第一活动臂具有多余自由度；

所述第二活动臂具有多余自由度；和

所述第一运动命令指挥所述选自所述第一活动臂和所述第二活动臂的臂移动以避免所述不期望的关系。

23.根据权利要求22所述的运动控制系统，其中所述控制器被进一步配置以：

基于所述第一活动臂位置和所述第一活动臂的第一多个可能的位置和定向之间的不同以及所述第二活动臂位置和所述第二活动臂的第二多个可能的位置和定向之间的不同，确定选自所述第一活动臂和所述第二活动臂中的哪个臂将被发送所述第一运动命令；

其中选自所述第一活动臂和所述第二活动臂中的哪个臂将被发送所述第一运动命令的确定被进行以最小化成本函数。

24.根据权利要求23所述的运动控制系统，其中所述成本函数基于：

所述第一活动臂和所述第二活动臂之间的最小距离的负二次方；或

所述第一活动臂的连杆和所述第二活动臂的连杆之间的距离的负二次方的平均值；或

施加至所述第一活动臂的第一连杆和第一接头和所述第二活动臂的第二连杆和第二接头的虚拟势场。

25.根据权利要求17至19中任一项所述的运动控制系统，其中所述不期望的关系包括选自以下的关系：所述第一活动臂和所述第二活动臂之间的碰撞、所述第一活动臂和所述第二活动臂之间过于接近、和所述图像采集装置的目标区域被所述第一活动臂阻挡。

26.控制系统中的运动的方法，所述方法包括：

通过控制器，基于偶联至机器人装置的第一活动臂的可操纵装置的工作端的至少一个图像，确定所述工作端在图像采集装置的坐标系统中的位置和定向，所述图像采集装置独立于所述机器人装置；

通过所述机器人装置的坐标系统中的所述控制器以及基于所述第一活动臂的一个或多个已知几何和接头的一个或多个感应位置，确定所述第一活动臂的第一臂位置和第一臂轨迹；

通过所述图像采集装置的坐标系统中的所述控制器以及基于所述第一活动臂的一个或多个已知几何和接头的一个或多个感应位置，确定所述图像采集装置的第二活动臂的第二臂位置和第二臂轨迹；

基于所述工作端的位置和所述工作端的定向，确定所述图像采集装置的坐标系统和所述机器人装置的所述坐标系统之间的变换；

通过所述控制器，基于所述第一臂位置、所述第一臂轨迹、所述第二臂位置、所述第二臂轨迹、和所述变换，并且利用共同坐标系统，确定所述第一活动臂的动作、所述第二活动臂的动作，或所述第一活动臂和第二活动臂一起的动作是否将导致所述第一活动臂和所述第二活动臂之间的不期望的关系；和

通过所述控制器，发送第一运动命令至选自所述第一活动臂和所述第二活动臂的臂，以避免所述不期望的关系。

27.根据权利要求26所述的方法，其中：

所述共同坐标系统是所述图像采集装置的坐标系统；和

确定所述图像采集装置的坐标系统中的所述第一臂位置包括：利用所述共同坐标系统中的所述工作端的所述位置和定向。

28.根据权利要求26所述的方法，其中：

所述共同坐标系统是所述机器人装置的所述坐标系统；和

所述方法进一步包括通过所述控制器，利用所述变换，将所述第二臂位置和所述工作端的所述位置和定向从所述图像采集装置的坐标系统变换至所述机器人装置的所述坐标系统。

29.根据权利要求26所述的方法，其中：

所述工作端的所述至少一个图像包括来自所述图像采集装置的多个二维图像；和

所述方法进一步包括甚至在所述可操纵装置的所述工作端被布置在所述图像采集装置和所述可操纵装置的所述工作端之间的一个或多个对象阻挡时，利用运动学信息和图像信息的结合，通过所述控制器，从所述二维图像确定所述工作端的所述位置和定向。

30.根据权利要求26所述的方法，进一步包括：

基于所述第一臂位置和所述第一活动臂的第一多个可能的位置和定向之间的不同以及所述第二臂位置和所述第二活动臂的第二多个可能的位置和定向之间的不同，通过所述控制器，确定选自所述第一活动臂和所述第二活动臂中的哪个臂将被发送所述第一运动命令；

其中选自所述第一活动臂和所述第二活动臂中的哪个臂将被发送所述第一运动命令的确定被进行以最小化成本函数。

31.非临时的机器可读介质，其包括可执行代码，所述可执行代码在被控制器的一个或多个处理器运行时可致使所述一个或多个处理器执行权利要求13至16或26至30中任一项所述的方法。