CN102665588A - 用于微创手术系统中的手存在性探测的方法和系统 - Google Patents

Abstract

在一种微创手术系统中，一个手追踪系统追踪安装在人手的一个部分上的一个传感器元件的方位。基于人手的该部分的方位产生了一个系统控制参数。该微创手术系统的操作是使用该系统控制参数来控制的。因此，该微创手术系统包括一个手追踪系统。该手追踪系统追踪人手的一个部分的方位。连接至该手追踪系统的一个控制器将这个方位转换成一个系统控制参数，并且基于该系统控制参数向该微创手术系统中注入一个命令。

Description

用于微创手术系统中的手存在性探测的方法和系统

技术领域

本发明的各方面涉及对微创手术系统的控制，并且更具体地涉及使用外科医生的手运动来控制微创手术系统。

背景技术

用于追踪手的位置和手势的方法和技术是已知的。例如，一些视频游戏控制器利用了手追踪输入。例如，Nintendo

游戏平台支持无线位置和取向感测远程控件。（Wii是美国华盛顿州雷德蒙市的任天堂美国分公司（Nintendo of America Inc）的注册商标）手势以及其他物理运动（像摆动球棒或挥动魔法杖）的使用为这个平台提供了基本的游戏要素。Sony Playstation Move具有与Nintendo

游戏平台相似的特征。

来自CyberGlove Systems的无线运动捕获数据手套包括十八个数据传感器，其中具有在每个手指上的两个弯曲传感器、四个外展传感器以及测量拇指交叉、手指拱起、腕部弯曲以及腕部外展的传感器。（

是加拿大圣何塞的CyberGlove Systems公司的注册商标。）当对于该

运动捕获数据手套使用三维追踪系统时，可获得手的x、y、z、偏航、俯仰、滚动位置以及取向信息。用于该

运动捕获数据手套的运动捕获系统已经用于数字原型评估、虚拟现实生物力学以及动画制作。

带有四十个传感器的另一个数据手套是Measurand Inc.公司的ShapeHand数据手套。Measurand Inc.公司的ShapeClaw便携式轻质的手运动捕获系统包括柔性条带系统，这些柔性条带捕获了食指和拇指运动以及手和前臂在空间上的位置和取向。

在In-Cheol Kim和Sung-Il Chien“使用基于冲程的复合隐马尔可夫模型进行3D手轨迹手势的分析（Analysis of 3D Hand Trajectory GesturesUsing Stroke-Based Composite Hidden Markov Model）”《应用智能（Applied Intelligence）》第15卷第2期第131-143页（2001年9月至10月）中，Kim和Chien探索了将三维轨迹输入用于Polhemus传感器进行手势辨识。Kim和Chien提出这种输入形式是因为三维轨迹提供了比二维手势更大的辨别能力，而在基于视频的途径中主要使用二维手势。对于他们的试验，Kim和Chien利用了附接在Fakespace PinchGlove背面的一个Polhemus磁性位置追踪传感器。该PinchGlove提供了供使用者用信号报告一个手势的开始和结束的手段，且同时该Polhemus捕获使用者的手的三维轨迹。

在Elena Sanchez-Nielsen等人的“用于人机交互的手势辨识（HandGesture Recognition for Human-Machine Interaction）”Journal of WSCG第12卷1-3期ISSN 1213-6972,WSCG′2004（2003年2月2-6日，PlzenCzech Republic）中，提出了一种实时视觉系统用于视觉交互环境中，其中通过使用通用目的的硬件和低成本传感器（像个人计算机和网络摄影机）来进行手势辨识。在Pragati Garg等人“基于视觉的手势辨识（Vision Based Hand Gesture Recognition）”49，世界科学院工程技术（World Academy of Science,Engineering and Technology），972-977（2009）中，记载了基于视觉的手势辨识的综述。提出的一个结论是大多数方法是依赖于可能在受控实验室设定中适合但不能推广至任意设定的几个基本假设。作者论述到：“用于手势界面的计算机视觉方法必须在稳健性和速度方面优于现有性能以便实现交互和可用性”。在医学领域，手势辨识已经被认为是放射学图像的无菌浏览。参见JuanP.Wachs等人的“用于放射学图像的无菌浏览的基于手势的工具（AGesture-based Tool for Sterile Browsing of Radiology Images）”美国医学信息学会志（Journal of the American Medical Informatics Association）（2008；15:321-323，DOI 10.1197/jamia.M24）。

发明内容

在一个方面，一种微创手术系统中的手追踪系统追踪一部分人手的方位。基于人手的这个部分的方位产生微创手术系统的系统控制参数。使用该系统控制参数来控制该微创手术系统的操作。

在一个方面，追踪了被安装在人手的一个部分上的多个传感器元件以获得人手的该部分的方位。基于该方位产生了一个控制点的位置和取向。基于该控制点的位置和取向来控制微创手术系统中的一个装置的遥控操作。在一个方面，该装置是一个遥控操作的从手术器械/辅助手术器械。在另一方面，该装置是在手术部位的视频图像中呈现的虚拟代理。虚拟代理的例子包括虚拟从手术器械、虚拟手以及虚拟的远程图显（telestration）装置。

在一个另外的方面，除了该控制点的位置和取向之外还产生了一个抓握闭合参数。基于该抓握闭合参数来控制该遥控操作的从手术器械的一个末端执行器的抓握。

在另一方面，该系统控制参数是用于遥控操作该从手术器械的一个控制点的位置和取向。在又一个方面，该系统控制参数由两只手确定。该系统控制参数是这两只手中一只的一个控制点的位置和取向并且是这两只手中另一只的一个控制点的位置和取向。这些控制点是用于遥控操作在微创手术系统中一个内窥镜相机操纵器。

在又一个方面，除了在该人手的一个部分上的这些传感器元件之外还追踪安装在第二人手的一个部分上的多个传感器元件。基于该第二人手的一个部分的方位产生第二控制点的位置和取向。在这个方面，所述控制点和第二控制点均被用于遥控操作的控制中。

在又一个方面，追踪了安装在人手指头上的多个传感器。确定这些指头之间的运动，并且基于这种运动来控制微创手术系统中的遥控操作的从手术器械的取向。

当该运动是第一运动时，控制包括使从手术器械腕部的尖端围绕其指向方向滚动。当该运动是不同于该第一运动的第二运动时，控制包括该从手术器械腕部的偏航运动。

一种微创手术系统包括手追踪系统以及连接到该手追踪系统的控制器。该手追踪系统追踪安装在人手的一个部分上的多个传感器元件的方位。该控制器将这些方位转换成一个控制点的位置和取向。该控制器基于该控制点发出一个命令来移动该微创手术系统中的一个装置。而且在一个方面，该装置是一个遥控操作的从手术器械，而在另一方面，该装置是在手术部位的视频图像中呈现的一个虚拟代理。

在一个方面，该系统还包括一个主要手指追踪装置，该装置包括多个追踪传感器。该主要手指追踪装置进一步包括一个可压缩本体、固定到该可压缩本体的第一指环以及固定到该可压缩本体的第二指环。所述多个追踪传感器中的第一追踪传感器被附接到该第一指环。所述多个追踪传感器中的第二追踪传感器被附接到该第二指环。

因此在一个方面，微创手术系统包括一个主要手指追踪装置。该主要手指追踪装置包括一个可压缩本体、固定到该可压缩本体的第一指环以及固定到该可压缩本体的第二指环。第一追踪传感器被附接到该第一指环。第二追踪传感器被附接到该第二指环。

该可压缩本体包括第一末端、第二末端以及外部外表面。该外部外表面包括：在该第一与第二末端之间延伸的第一部分以及与该第一部分相反并从其去除、在该第一与第二末端之间延伸的第二部分。

该可压缩本体还具有一个长度。这个长度被选择成限制人手的第一指头与第二指头之间的间隔。

该第一指环在该第一末端附近被固定到该可压缩本体并且围绕该外部外表面的第一部分延伸。在将该第一指环放置在人手的第一指头上之后，该外部外表面的第一部分的第一分段接触到该第一指头。

该第二指环在该第二末端附近被固定到该可压缩本体并且围绕该外部外表面的第一部分延伸。在将该第二指环放置在人手的第二指头上之后，该外部外表面的第一部分的第二分段接触到该第二指头。在该第一和第二指头朝彼此移动之后，该可压缩本体被定位在这两个指头之间以致该可压缩本体提供了对这种移动的阻力。

该可压缩本体的厚度被选择为使得在该第一指头的尖端刚接触到该第二指头的尖端时，该可压缩本体不被完全压缩。该可压缩本体被配置为提供与一个遥控操作的从手术器械的末端执行器的抓握力相对应的触觉反馈。

在一个方面，该第一和第二追踪传感器是无源电磁传感器/被动电磁传感器。在另一个方面，每个无源电磁追踪传感器具有六个自由度。

使用该主要手指追踪装置的方法包括追踪安装在人手的第一指头上的传感器的第一方位以及安装在第二指头上的另一个传感器的第二方位。每个方位均具有N个自由度，其中N是大于零的整数。将该第一方位和第二方位映射到一个控制点方位。这个控制点方位具有六个自由度。这六个自由度小于或等于2*N个自由度。该第一方位和第二方位还被映射到具有单个自由度的一个参数。基于该控制点方位和该参数来控制一个微创手术系统中的一个从手术器械的遥控操作。

在第一方面，该参数是抓握闭合距离。在第二方面，该参数包括一个取向。在另一个方面，N是六，而在一个不同的方面，N是五。

在又一个方面，追踪安装在人手的一个部分上的多个传感器元件以获得该人手部分的多个方位。基于这多个方位来选择来自多个已知手势中的一个手势。基于这个手势来控制一个微创手术系统的操作。

这个手势可以是手势姿态、手势轨迹或手势姿态与手势轨迹的组合中的任何一种。当该手势是一种手势姿态并且多个已知手势包括多个已知的手势姿态时，该微创手术系统的用户界面是基于这个手势姿态来控制的。

此外在一个方面，当该手势是手势姿态，该手势的选择包括从所追踪的多个方位中产生一个观测的特征集合。将这个观测的特征集合与所述多个已知手势姿态的特征集合进行比较。这些已知手势中的一个被选择成手势姿态。将选定的已知手势姿态映射到一个系统命令，并在该微创手术系统中触发这个系统命令。

在又一个方面，当该手势包括手势轨迹时，该微创手术系统的用户界面是基于该手势轨迹来进行控制的。

在具有这些手追踪系统和该控制器的这种微创手术系统中，该控制器将这些方位转换为一种手势。该控制器基于该手势而发出一个命令来修改该微创手术系统中的操作模式。

在又一个方面，追踪了安装在人的一个部分上的一个传感器元件以获得该人手部分的方位。基于这个方位，该方法确定该人手部分的位置距微创手术系统的一个主要工具夹具的位置是否处于一个距离阈值之内。基于这种判定的结果来控制该微创手术系统的操作。在一个方面，基于这种判定的结果来控制连接到该主要工具夹具的一个遥控操作的从手术器械的遥控操作。在另一个方面，基于这种判定的结果来控制一个用户界面的显示或一个代理视觉的显示。

在一个方面，该人手部分的位置由一个控制点位置指定。在另一个方面，该人手部分的位置是食指位置。

一种微创手术系统包括一个手追踪系统。该手追踪系统追踪人手的一个部分的方位。一个控制器使用这个方位来确定外科医生的手是否足够靠近一个主要工具夹具以便允许该微创手术系统的具体操作。

一种微创手术系统还包括连接至该手追踪系统的一个控制器。该控制器将这个方位转换成一个系统控制参数并且基于该系统控制参数向该微创手术系统中注入一个命令。

附图说明

图1是包括一个手追踪系统的一种遥控操作微创手术系统的高级图解视图。

图2A至图2G是用来控制图1的遥控操作微创手术系统的遥控操作从手术器械的一个手追踪主要工具夹具的不同构型的示例。

图3A至图3D是用来控制图1的遥控操作微创手术系统的系统模式的手势姿态的示例。

图4A至图4C是也用来控制图1的遥控操作微创手术系统的系统模式的手势轨迹的示例。

图5是用于在基于相机的追踪系统中进行手追踪的基准标记的布局展示。

图6A和图6B是图1的外科医生控制台的详图，并且包括在手追踪中由图1的遥控操作微创手术系统使用的坐标系的示例。

图7是对于一种套手式主要工具夹具以及在手追踪中由图1的遥控操作微创手术系统使用的方位和坐标系的更详细展示。

图8是一个过程的流程图，这个过程用在追踪系统中用于追踪手的指头并且用于产生数据以用于图1的遥控操作微创手术系统中的从手术器械的遥控操作。

图9是图8的“将方位数据映射到控制点和抓握参数”过程的更详细的流程图。

图10是在该追踪系统中用于辨识手势姿态和手势轨迹的一个过程的流程图。

图11是在该追踪系统中用于手的存在性探测的一个过程的流程图。

图12是一个主要手指追踪装置的一个例子的展示。

图13是呈现在一个显示装置上的视频图像的展示，包括一个代理视像（在本示例中包括一个虚拟幻影器械）以及一个遥控操作的从手术器械。

图14是呈现在一个显示装置上的视频图像的展示，包括多个代理视像（在本示例中包括一双虚拟的手）以及多个遥控操作的从手术器械。

图15是呈现在一个显示装置上的视频图像的展示，包括多个代理视像（在本示例中包括一个虚拟的远程图显装置和一个虚拟幻影器械）以及多个遥控操作的从手术器械。

在这些图中，三个数字附图标记中的第一个数字代表具有这个附图标记的要素初次出现在其中的图的图号，并且四个数字附图标记中的前两个数字代表具有这个附图标记的要素首次出现在其中的图的图号。

具体实施方式

如在此使用的，方位代表位置和取向。

如在此使用的，手势（有时也称为姿势）包括手势姿态、手势轨迹、以及手势姿态与手势轨迹的组合。

本发明的多个方面通过利用手的方位信息来控制微创手术系统从而强化了微创手术系统（例如由加利福尼亚州森尼维耳市直观外科手术公司（Intuitive Surgical,Inc.）商售的da

遥控操作微创手术系统）的控制能力。使用手的一个或多个指头的被测方位来确定一个系统控制参数，进而使用这个参数来触发该手术系统中的一个命令。这些系统命令取决于其手方位被追踪的这个人的方位，即，这个人是否在外科医生控制台处。

当被测方位是针对一个不在外科医生控制台处的人的手指头时，这些系统命令包括基于一只手的两个指头的手取向与相对运动的组合来改变一个遥控操作从手术器械的一个部分的取向的一个命令，以及移动一个遥控操作从手术器械的尖端以使得该尖端的运动跟随该手的一个部分的运动的一个命令。当被测方位是针对在外科医生控制台处的一个人的手指头时，这些系统命令包括允许或阻止一个从手术器械继续运动以跟随着一个主要工具夹具的运动的多个命令。当被测方位是针对不在外科医生控制台处的一个人的手指头或针对在外科医生控制台处的一个人的手指头时，这些系统命令包括命令该系统或该系统的一个部分基于一个手势姿态采取行动，并且命令该系统或该系统的一个部分基于一个手势轨迹采取行动。

图1是包括一个手追踪系统的一种遥控操作微创手术系统100（例如da

手术系统）的高级图解视图。存在与该da

手术系统相关联的其他部件、缆线等等，但这些在图1中没有展示出以避免从披露内容中减去。关于微创手术系统的进一步信息可以例如在美国专利申请号11/762,165（2007年6月13日提交，披露了“微创手术系统”）以及美国专利号6,331,181（于2001年12月18日授权，披露了“SurgicalRobotic Tools,Data Architecture,and Use（手术机器人工具、数据结构以及用途）”）中找到，通过引用将它们两者结合在此。还参见例如美国专利号7,155,315（2005年12月12日提交，披露了“Camera ReferencedControl In A Minimally Invasive Surgical Apparatus（微创手术设备中关于相机的控制）”）以及7,574,250（2003年2月4日提交，披露了“ImageShifting Apparatus And Method For A Telerobotic System（用于遥机器人系统的图像偏移设备和方法）”），通过引用将它们两者结合在此。

在这个示例中，系统100包括一个推车110，该推车110带有多个操纵器。每个操纵器和该操纵器所控制的遥控操作从手术器械能够被连接到外科医生控制台185上的多个主要工具操纵器上并且能够与其脱离连接，并且此外它们能够被连接到机械未接地的未通电的主要手指追踪夹具170（有时称为主要手指追踪夹具170）并且能够与其脱离连接。

安装在操纵器113上的一个立体内窥镜112提供了病人111体内的手术部位103的图像，这个图像显示在显示器187以及外科医生控制台185内的显示器上。这个图像包括在立体内窥镜112的视场内的任意从手术装置的图像。外科医生控制台185上的主要工具操纵器、从手术装置以及立体内窥镜112之间的交互与公知系统中的相同并且因此是本领域技术人员已知的。

在一个方面，外科医生181移动该外科医生的手的至少一个指头，这进而致使主要手指追踪夹具170中的一个传感器改变方位。手追踪发射器175提供了一个场，使得这个指头的新的位置和取向被该主要手指追踪夹具170感测到。新的被感测位置和取向被提供给手追踪控制器130。

在一个方面，如下面更全面地解释的，手追踪控制器130将被感测的位置和取向映射到外科医生181的眼睛坐标系中的一个控制点位置和一个控制点取向。手追踪控制器130将这个方位信息发送给系统控制器140，该系统控制器140进而对连接到主要手指追踪夹具170的遥控操作从手术器械发送一个系统命令。如下面更全面地解释的，通过使用主要手指追踪夹具170，外科医生181能够例如控制该遥控操作从手术器械的一个末端执行器的抓握以及连接至该末端执行器的一个腕部的滚动和偏航。

在另一方面，对于外科医生181的手的至少一部分或外科医生180的手的追踪被手追踪控制器130用来确定该外科医生是否做出了一个手势姿态或者该外科医生是否做出了一种手势姿态与手势轨迹的组合。每个手势姿态以及每个与手势姿态组合的轨迹被映射到一个不同的系统命令。这些系统命令控制了例如系统模式的改变并且控制微创手术系统100的其他方面。

例如，代替使用如已知微创手术系统中所用的脚蹬和开关，使用手势（手势姿态或手势轨迹）来(i)开始在该主要工具夹具以及相关联的遥控操作从手术器械的运动之间的跟随；(ii)用于主要抓取激活（这断开了该从器械的主要件控制）；(iii)用于内窥镜相机的控制（这允许主要件来控制内窥镜的运动或特征，如焦点或电子变焦）；(iv)用于机器人臂的交换（使得特定的主要件控制在两个从器械之间进行交换）；并且(v)用于TILEPRO^TM交换（这切换了外科医生显示器上的辅助视频窗口的显示）。（TILEPRO是美国加利福尼亚州森尼维耳市直观外科手术公司的商标。）

当在系统100中只存在两个主要工具夹具并且外科医生180想要控制除了连接到这两个主要工具夹具上的两个遥控操作从手术器械之外的一个从手术器械的运动，则该外科医生可以使用第一手势来将这两个遥控操作从手术器械之一或二者锁定就位。然后外科医生通过使用一种不同的手势将这些主要工具夹具之一或二者与其他的操纵器臂所保持的其他从手术器械相关联，该不同的手势在这个实现方式中提供了该主要工具夹具与另一个遥控操作从手术器械的交换关联。当在系统100中只存在两个主要手指追踪夹具时，外科医生181进行一个等同的程序。

在又一个方面，安装在外科医生控制台185中的一个手追踪单元186追踪外科医生180的手的至少一个部分并将被感测的方位信息发送给手追踪控制器130。手追踪控制器130确定外科医生的手何时足够接近主要工具夹具从而允许系统跟随例如该从手术器械跟随该主要工具夹具的运动。如下面更全面地解释的，在一个方面，手追踪控制器130确定该外科医生的手的位置以及相应的主要工具夹具的位置。如果这两个位置之间的差在一个预定距离之内，例如小于一个阈值间隔，则允许跟随，否则将禁止跟随。因此，使用距离作为该外科医生的手相对于外科医生控制台185上的主要工具夹具的存在性的一种衡量。在另一方面，当外科医生的手的位置相对于该主要工具夹具的位置小于该阈值间隔时，禁止显示器上显示用户界面，例如在显示装置上关闭用户界面的显示。相反，当外科医生的手的位置相对于该主要工具夹具的位置大于该阈值间隔时，用户界面被显示在显示装置上，例如被开启。

外科医生的手的存在性探测已经是一个长期存在的问题。已经多次使用不同的接触感测技术（如电容开关、压力传感器以及机械开关）来尝试存在性探测。然而，这些方法都存在固有问题，因为外科医生在如何以及在何处保持该主要工具夹具方面有不同的优先倾向。使用距离作为存在性的一种衡量是有利的，因为这种类型的存在性探测允许外科医生轻触该主要工具夹具并接着立刻断开物理接触来调节该主要工具夹具，但它并不限制外科医生如何用他/她的手指来保持该主要工具夹具。

经由手追踪的手术器械控制

在图2A至图2D中以不同的构型展示了一种机械未接地的未通电的主要手指追踪夹具270（有时称为主要手指追踪夹具270）的一种示例，这些构型在下面更全面地进行说明。主要手指追踪夹具270包括安装于指头的传感器211、212（有时称为安装于手指和拇指的传感器211、212），这些传感器独立地追踪食指292B的尖端和拇指292A的尖端中每个的方位（在一个示例中是位置和取向），即，追踪外科医生的手的两个指头的方位。因此，与在已知的微创手术系统中追踪主要工具夹具的方位不同，追踪的是手本身的方位。

在一个方面，这些传感器对于安装了传感器的手的每个指头提供了六个自由度的追踪（三个平移和三个旋转）。在另一个方面，这些传感器对于安装了传感器的手的每个指头提供了五个自由度的追踪（三个平移和两个旋转）。

在又一个方面，这些传感器对于安装了传感器的手的每个指头提供了三个自由度的追踪（三个平移）。当两个指头各自以三个自由度来追踪时，总共六个平移自由度足够控制一种不包括腕部机构的从手术器械。

一个垫塞的泡沫连接件210连接在安装了传感器211、212的手指与拇指之间。连接件210将拇指292A和食指292B（即手291R的指头）限制在一个固定距离之内，即，在安装了主要手指追踪夹具270的手291R的指头之间有一个最大间隔距离。在拇指292A和食指292B从该最大间隔（图2A）移动至完全闭合构型（图2D）时，这种垫塞提供了正反馈来帮助外科医生181控制连接到主要手指追踪夹具170上的遥控操作的从手术器械的一个末端执行器的抓握力。

对于图2A展示的位置（其中拇指292A和食指292B分隔了该主要手指追踪夹具270所允许的最大距离），该抓握力为最小值。相反，在图2D展示的位置（其中拇指292A和食指292如连接件210所允许的那样接近，即分隔了该主要手指追踪夹具270所允许的最小距离），该抓握力为最大值。图2B和图2C展示了被映射到中间抓握力的位置。

如下面更全面地解释的，图2A至图2D中的拇指292A和食指292B的方位（位置和取向）被映射到一个抓握闭合参数，例如一个标准化的抓握闭合值，这个值被用来控制连接到主要手指追踪夹具270上的遥控操作的从手术器械的抓握。具体而言，拇指292A和食指292B的感测方位被手追踪控制器130映射到抓握闭合参数。

因此，追踪了外科医生181的手的一个部分的方位。基于所追踪到的方位，手追踪控制器130产生了微创手术系统100的一个系统控制参数，即抓握闭合参数，并且该参数被供应至系统控制器140。系统控制器140使用该抓握闭合参数产生一个系统命令，该系统命令被发送给该遥控操作的从手术器械。该系统命令指示该遥控操作的手术器械将一个末端执行器配置为呈现与该抓握闭合参数相对应的一个抓握闭合。因此，微创手术系统100使用该抓握闭合参数来控制微创手术系统100的这个遥控操作的从手术器械的操作。

而且，图2A至图2D中的拇指292A和食指292B的方位（位置和取向）被手追踪控制器130映射到一个控制点位置和一个控制点取向。该控制点位置和控制点取向被映射到外科医生181的眼睛坐标系中并且接着通过一个命令信号被提供给系统控制器140。该眼睛坐标系中的控制点位置和控制点取向被系统控制器140用于连接至主要手指追踪夹具170上的从手术器械的遥控操作。

此外，追踪了外科医生181的手的一个部分的方位。基于所追踪到的方位，手追踪控制器130产生了微创手术系统100的另一个系统控制参数，即控制点位置和取向。手追踪控制器130向系统控制器140发出一个带有该控制点位置和取向的命令信号。系统控制器140使用该控制点位置和取向来产生一个系统命令，该系统命令被发送给该遥控操作的从手术器械。该系统命令指示该遥控操作的手术器械基于该控制点位置和取向来定位该遥控操作的手术器械。因此，微创手术系统100使用该控制点位置和取向来控制微创手术系统100的这个遥控操作的从手术器械的操作。

除了基于传感器211、212的位置来确定抓握闭合之外，使用食指292B与拇指292A之间的其他相对运动来控制该从手术器械的偏航运动和滚动运动。将手指292B和拇指292A交叉地一起摩擦，就像旋转纺锤（由图2E中的箭头表示、围绕一个假想的纺锤293）一样，产生了从手术器械尖端的滚动，而将食指和拇指沿着彼此来回纵向滑动（由图2F中的箭头表示，沿着箭头295表示的指向方向上的一个轴线），产生了沿该从手术器械的X轴的偏航运动。这是通过将食指尖端与拇指尖端位置之间的向量进行映射以限定控制点取向的X轴线而实现的。该控制点的位置保持相对静止，因为该手指与拇指各自沿轴线295以对称的方式滑动。虽然该手指与拇指的运动不是完全对称的运动，但该位置仍然保持足够静止不变，以致于使用者可以容易地改正可能发生的任何干扰。

此外，追踪了外科医生181的手的一个部分的方位。基于所追踪到的方位，该手追踪控制器130产生了又一个系统控制参数，即，外科医生的手291R的两个指头之间的相对运动。

手追踪控制器130将这种相对运动转化为连接到主要手指追踪夹具170上的遥控操作的从手术器械的取向。手追踪控制器130向系统控制器140发出一个带有该取向的命令信号。虽然这种取向是一个绝对取向映射，但在一个方面，系统控制器140以与来自任何其他被动万向节主要工具夹具的取向输入相同的情况来在遥控操作过程中使用这种具有棘轮效应的输入。棘轮效应的一个例子描述于共同指定的美国专利申请号12/495,213（2009年6月30日提交，披露了“Ratcheting For MasterAlignment Of A Teleoperated Surgical Instrument（遥控操作的手术器械的主要对准的棘轮效应）”）中，将其通过引用以其整体结合在此。

系统控制器140使用这个取向来产生一个系统命令，该系统命令被发送给该遥控操作的从手术器械。该系统命令指示该遥控操作的手术器械基于这个取向来旋转该遥控操作的手术器械。因此，微创手术系统100使用这两个指头之间的运动来控制微创手术系统100的这个遥控操作的从手术器械的操作。

当这种运动是一种第一运动时，例如手指292B和拇指292A交叉摩擦就像转动一个纺锤，则取向是滚动，并且系统命令导致了从手术器械腕部沿着其指向方向的尖端滚动。当这种运动是一种不同于该第一运动的第二运动时，例如食指和拇指沿彼此来回纵向滑动（图2F），则取向是偏航，并且系统命令导致了该从手术器械的偏航运动。

在又一个方面，当外科医生将系统操作模式改变至手势辨识模式时，两只手均被追踪并且在一方面基于安装在这两只手上的传感器的被感测位置和取向而产生了两只手的控制点和取向。例如，如图2G中展示的，每只手的拇指和食指的尖端碰触在一起从而形成环状形状。手追踪控制器130将每只手的被感测位置映射到一对控制点位置。这对控制点随相机控制系统事件被发送至系统控制器140。

因此，在这个方面，追踪了外科医生181的每只手的一个部分的方位。基于追踪到的方位，手追踪控制器130产生了微创手术系统100的另一个系统控制参数，即所述一对控制点位置。手追踪控制器130将这对控制点位置随一个相机控制系统事件发送至系统控制器140。

响应于该相机控制系统事件，系统控制器140基于这对控制点位置产生了一个相机控制系统命令。该相机控制系统命令被发送给微创手术系统100中的一个遥控操作的内窥镜相机操纵器。因此，微创手术系统100使用这对控制点位置来控制微创手术系统100的这个遥控操作的内窥镜相机操纵器的操作。

经由手势姿态和手势轨迹的系统控制

在这个方面，在被置于手势探测操作模式中之后，手追踪控制器130探测手势姿态或者手势姿态和手势轨迹。控制器130将手势姿态映射到某些系统模式控制命令，并且类似地控制器130将手势轨迹映射到其他的系统模式控制命令。注意姿态与轨迹的映射是独立的，并且因此这与例如手动信号语言追踪不相同。产生系统命令并使用手势姿态和手势轨迹代替操纵多个开关、大量脚蹬等（如在已知的微创手术系统中的）来控制系统100的能力对外科医生使用系统100提供了更大的方便。

当外科医生站立时，使用手势姿态和手势轨迹来控制系统100使得该外科医生在他想要改变系统模式时不必将他的视线离开病人和/或查看屏幕并寻找脚蹬或开关。最后，各种开关和脚蹬的省略减小了遥控操作的微创手术系统所要求的地面空间。

用来控制微创手术系统100的手势姿态和手势轨迹的特定集合不是关键的，只要每个手势姿态和手势轨迹是清楚的即可。确切地说，一个手势姿态不应该能被手追踪控制器130解释为姿态集合中的一个或多个其他的手势姿态，并且一个手势轨迹不应该被解释为轨迹集合中多于一个的手势轨迹。因此，下面讨论的手势姿态和手势轨迹是示意性的并且不旨在进行限制。

图3A至图3D分别是手势姿态300A至300D的示例。图4A至图4C是手势轨迹的示例。注意，例如图2A中的构型似乎与图3A中的类似，但是在使用这两种构型时微创手术系统100的操作模式是不相同的。

在图2A中，遥控操作的微创从手术器械联接至主要手指追踪夹具170，并且系统100处于跟随模式，以致该遥控操作的微创从手术器械的运动跟随外科医生的手的被跟踪运动。在图3A至图3D和图4A至图4C中，外科医生将系统100置于手势辨识模式、并且然后做出所示手势姿态或手势轨迹中的一种。手势姿态和手势轨迹被用于控制系统模式并且不用于操作的跟随模式。例如，这些用手势姿态控制的系统模式将能够使能、禁用视觉显示以及在视觉显示之间循环，从而抓取视觉显示和且绘制/擦除远程图示。

在手势姿态300A（图3A）中，拇指292A与食指292之间分隔超过了主要抓取阈值，例如，手291R的这两个指头之间的跨度大于115mm。食指292B伸展且拇指292A卷曲的手势姿态300B（图3B）被用来对手追踪控制器130报告信号，即外科医生正在追踪一个手势轨迹（见图4A和图4B）。拇指292A向上并且食指292B卷曲的手势姿态300C（图3C）被用来打开一个用户界面并在用户界面的模式之间循环。拇指292A向下并且食指292B卷曲的手势姿态300D（图3D）被用来关断用户界面。其他手势姿态可以包括“OK”手势姿态、L形手势姿态等等。

在一个方面，手追踪控制器130使用多维特征向量来辨识并识别一种手势姿态。最初，规定了多个手势姿态。接着，规定包括多个特征的一个特征集合。将这个特征集合设计成用于唯一地识别多个姿态中的每个手势姿态。

使用一个训练数据库（training database）来训练一个手势姿态辨识过程。这个训练数据库包括每个手势姿态的多个例子。这多个例子包括大量不同的人所作出的姿态的特征向量。针对该训练数据库中的每个例子产生一个特征集合。这些特征集合被用于训练一个多维的贝叶斯分类器，如下面更全面地解释的。

当外科医生180想要进入手势操作模式时，该外科医生启动一个开关，例如压下一个脚蹬，并且然后用至少一只手做出一个手势姿态。注意，虽然这个示例需要单个脚蹬，它允许省略已知微创手术系统的脚踏板中的其他脚蹬并且因此仍具有以上描述的益处。手追踪单元186将代表外科医生的一只手或两只手的拇指和食指的被感测位置和取向的信号发送给手追踪控制器130。

使用外科医生的手指头的追踪数据，手追踪控制器130产生了一个观测的特征集合。然后，手追踪控制器130使用被训练的多维贝叶斯分类器和一个马哈拉诺比斯距离来确定所观测的特征集合是所述多个姿态中的一个手势姿态的特征集合的可能性（即，概率）。针对所述多个手势中的每个手势姿态进行这样的过程。

在所述多个手势中被手追踪控制器130选定为观测的手势姿态的这个手势姿态是具有最小马哈拉诺比斯距离的一个手势，如果该马哈拉诺比斯距离小于这个手势姿态的训练数据库中的最大马哈拉诺比斯距离距离的话。将选定的手势姿态映射到一个系统事件。手追踪控制器130将这个系统事件注入系统控制器140。

系统控制器140处理该系统事件并发布一个系统命令。例如，如果探测到手势姿态300C（图3C），则系统控制器140对显示控制器150发送一个系统命令来打开用户界面。响应于此，显示控制器150在处理器151上执行用户界面模块155的至少一个部分以便在外科医生控制台185的显示器上产生一个用户界面。

因此，在这个方面，微创手术系统100追踪一只人手的一部分的方位。基于追踪到的方位，产生一个系统控制参数，例如，选择一个手势姿态。该手势姿态被用来控制微创手术系统100的用户界面，例如将该用户界面显示在外科医生控制台185的显示器上。

用户界面控制仅是示意性的并且不旨在进行限制。能够使用一个手势来在已知的微创手术系统中进行任意的模式改变，例如，主要件抓取（master clutch）、相机控制、相机聚焦、操纵器臂的交换等等。

如果该手势姿态辨识过程确定观测到的手势姿态是一个手势轨迹的手势姿态，则手追踪控制器130并不基于这个姿态的辨识而注入一个系统事件。而是开始一个手势轨迹辨识过程。

在这个示例中，手势姿态300B（图3B）是用来产生一个手势轨迹的姿态。图4A和图4B是使用手势姿态300B做出的手势轨迹400A和400B的二维示例。图4C呈现了可以使用的手势轨迹的其他二维示例。

在一个方面，该手势轨迹辨识过程使用了一种隐马尔可夫模型Λ。为了产生隐马尔可夫模型Λ的概率分布，需要一个训练数据库。在获得该训练数据库之前，指定手势轨迹的一个集合。在一个方面，选择图4C的十六种手势轨迹。

在一个方面，选择多个测试主体来做出这些手势轨迹中的每个。在一个示例中，每个测试主体将每个轨迹实现了预定的次数。每个主体针对每个轨迹实现的位置和取向数据被保存在该训练数据库中。在一个方面，如下面更全面地解释的，该训练数据库被用来用迭代的波氏演算法（Baum-Welch method）来训练一个离散的左-右隐马尔可夫模型。

当外科医生做出一个轨迹时，则手追踪控制器130将这个数据转换为一个观测序列O。利用观测序列O和隐马尔可夫模型Λ，手追踪控制器130确定哪个手势轨迹对应于该观测的符号序列。在一个方面，手追踪控制器130使用向前递归算法与隐马尔可夫模型Λ来产生该观测的符号序列的总概率。选择具有最高概率的手势轨迹，如果该概率高于阈值概率的话。如果该最高概率小于该阈值概率，则不选择手势轨迹，并且进程结束。

将选定的手势轨迹映射到一个系统事件。手追踪控制器130将这个系统事件注入系统控制器140。

系统控制器140处理该系统事件并发布一个系统命令。例如，如果选定的手势轨迹被映射到改变手术部位上的照明水平的一个事件，则系统控制器140对照明器中的控制器发送一个系统事件来改变照明水平。

经由手追踪的存在性探测

在一个方面，如以上指出的，追踪了外科医生的手291R、291L（图6A）的位置以便确定是否允许遥控操作微创手术系统100并在某些方面来确定是否向外科医生显示一个用户界面。此外，手追踪控制器130追踪外科医生180B的一只手的至少一个部分（图6A）。手追踪控制器130产生了一个主要工具夹具（例如，图6B的主要工具夹具621，代表了图6A的主要工具夹具621L、621R）的方位以及这个手的这个部分的方位。手追踪控制器130将这两个方位映射到一个公共坐标系中并然后确定在这个公共坐标系中这两个方位之间的距离。这个距离是一个微创手术系统的、基于外科医生的手的该部分的所追踪方位的一个系统控制参数。

如果这个距离小于一个安全阈值，即，小于手的该部分与主要工具夹具之间的最大允许间隔，则微创手术系统100的遥控操作被允许，否则遥控操作被禁止。类似地，在使用存在性探测来控制一个用户界面的显示的方面，如果这个距离小于安全阈值，即，小于手的该部分与主要工具夹具之间的最大允许间隔，则在微创手术系统100的显示器上用户界面的显示被允许，否则用户界面的显示被禁止。

因此，这个距离被用于控制微创手术系统100的遥控操作。确切地说，手追踪控制器130向系统控制器140发送了一个系统事件以指示是否允许遥控操作。响应于这个系统事件，系统控制器140将系统100配置为要么允许要么禁止遥控操作。

手方位的追踪技术

在更详细地考虑以上描述的手追踪的不同方面之前，对一种追踪技术的一个示例进行说明。这个示例仅是示意性的并且就以下说明而言，可以使用任何提供必须的手或手指方位信息的追踪技术。

在一个方面，用安装在一只手的两个指头（例如，拇指和食指）上的传感器来进行脉冲式DC电磁追踪，如图2A至图2D和图7所示。每个传感器测量六个自由度并且在一个方面具有八毫米乘两毫米乘一点五毫米（8mm×2mm×1.5mm）的尺寸。该追踪系统具有0.8m的半球体灵活工作空间以及0.5mm和0.1度的位置感测分辨率。更新速率为160赫兹并且具有四毫秒的感测延迟时间。当整合到一个系统中时，可能由于通信和额外的滤波而遭受额外的延迟。已经发现最高达30毫秒的有效命令延迟时间是可接受的。

在这个方面，一种追踪系统包括一个电磁的手追踪控制器、用于主要手指追踪夹具中的多个传感器以及一个手追踪发射器。用于本发明的一个实施方案中的追踪系统可从美国佛蒙特州伯灵顿的AscensionTechnology Corporation作为带有Mid-Range Transmitter的3D guidancetrakSTAR^TM系统获得。（trakSTAR^TM是Ascension TechnologyCorporation的商标。）该发射器产生了脉冲式DC磁场以用于在中值范围内进行高精度追踪，该范围被限定为78厘米（31英寸）。这个系统针对每个传感器提供了240至420次更新/秒的动态追踪。这些小型无源传感器的输出不受电力线噪声源的影响。不要求该发射器与这些传感器之间的清晰视线。存在全角度追踪并且没有惯性漂移或光线干扰。有高的金属抗扰性并且没有来自非磁性金属的扭曲。

虽然在此使用了带有指套的电磁追踪系统，但这仅是示意性的并且不旨在进行限制。例如，外科医生可以持有一个笔状装置。该笔状装置是在该装置的外表面上带有三个或更多个非共线的基准标记/框标的指状物。典型地，为了使至少三个基准标记在任何视点可见，由于自遮挡的原因而使用更多个基准标记。这些基准标记足以确定该指状物的六个自由度（三个平移和三个旋转）的运动并因此确定持有该笔状装置的手的六个自由度（三个平移和三个旋转）的运动。在一个方面，该笔状装置还感测了抓握作用。

具有已知参数的两个或更多个相机来查看该笔状装置以便以三个维度来定位这些基准标记并且推断出该指状物的三维姿态。这些基准标记例如可以实施为1)具有靠近相机的照明的回归反射球；2)具有靠近相机的照明的凹形或凸形半球；或3)有源标记，如（闪光的）LED。在一个方面，使用了该指状物的近红外照明，并且使用滤光器来在相机处阻挡可见光谱以便将来自背景杂波的干扰最小化。

在另一方面，使用了一个数据手套501（图5）或裸手502，并且将基准标记511附接到外科医生正要戴的手套501的拇指和食指（和/或该手套的其他指头）上和/或直接附接到手502的皮肤上。此外，可以使用冗余的标记来包容自遮挡。还可以将基准标记布置在其他手指上以便通过明确限定的手势来获得更多的用户界面特征。

这些基准标记的三维方位由具有公共视场的多个相机的三角测量来计算。使用基准标记的三维方位来推断这只手的三维姿态（平移和取向）以及抓握的尺寸。

这些标记的方位需要在使用前被校准。例如，外科医生可以将处于不同姿态的具有标记的手显示给相机。然后在校准中使用这些不同的姿态。

在又一个方面，使用少标记的手追踪。通过使用从一个或多个相机观察的图像并且通过经由执行计算机软件来处理这些图像从而可以追踪手的关节运动。执行计算机软件并不需要追踪将使用的手的所有自由度。执行软件仅需要追踪与一只手的将用于控制如此处说明的手术工具的这两个指头相关的部分。

在基于相机的追踪中，测量结果的精确度取决于这些标记在图像中的定位精确度；由于相机几何形状造成的三维重构精确度；以及，例如多于一个最小数目（例如三个）基准标记、多于一个最小数目（一个或两个）相机以及临时的平均化和过滤的冗余数据。

这个三维重构精确度很大程度依赖于相机校准的精确度。可以使用附接在外科医生控制台上的已知方位的一些基准标记来确定多个相机相对于外科医生控制台的外在参数（旋转和平移）。这个过程可以自动进行。可以使用有源基准标记来校准基准标记，因为这样的标记仅在校准过程中并且在这个程序之前被通电。在这个程序过程中，将校准用基准标记断电以避免与用来定位外科医生的手的基准标记混淆。这些相对的外在参数也可以通过在这些相机的公共视场中观察一个运动的标记来计算。

适合使用的其他追踪技术包括但不限于：惯性追踪、深度相机追踪以及纤维弯曲传感。

如在此使用的，一个传感器元件（有时称为追踪传感器）可以是用于以上描述的任何手追踪技术的传感器，例如无源电磁传感器、基准标记或用于任何其他技术的传感器。

坐标系

在进一步详细地考虑以上描述的不同方法之前，考虑外科医生控制台185B（图6A）的一个示例，并且限定了不同的坐标系来用于以下示例中。外科医生控制台185B是外科医生控制台185的一个示例。外科医生控制台185B包括一个三维查看器610（有时称为查看器610）；带有主要工具夹具621L、621R的主要工具操纵器620L、620R；以及一个底座630。主要工具夹具621（图6B）是主要工具夹具621L、621R的更详细图解。

外科医生180B使用食指和拇指来夹持主要工具操纵器620L、620R的主要工具夹具621L、621R，以致寻靶和抓握涉及直观的指向和捏紧运动。主要工具操纵器620L、620R和主要工具夹具621L、621R结合使用来以与已知的遥控操作微创手术系统中的已知主要工具操纵器相同的方式来控制遥控操作的从手术器械、遥控操作的内窥镜等等。而且，主要工具操纵器620L、620R和主要工具夹具621L、621R的位置坐标从控制从手术器械中使用的运动学中已知。

在正常的查看操作模式中，查看器610显示了来自立体内窥镜112的手术部位103的三维图像。查看器610位于控制台185B（图6B）上在外科医生的双手附近，以致查看器610中看到的手术部位的图像被取向成使得外科医生180B感觉他或她实质上正在直接注视着手术部位103。该图像中的手术器械似乎基本上位于外科医生的双手所在之处并且被取向成基本上使得外科医生180B基于其双手的位置所期望的那样。然而，在查看该查看器610中显示的手术部位图像时，外科医生180B不能看到他的或她的双手、也不能看到主要工具夹具621L、621R的位置或取向。

在一个方面，主要工具操纵器620L、620R在外科医生180B前面并且在查看器610下面直接移去，以致它们被定位在底座630上方，并且因此它们不再位于查看器610下面，即这些主要工具操纵器被放在不挡手势的道。这在查看器610下面提供了一个不被阻挡的体积，其中外科医生180B可以做出手势，即手势姿态或手势轨迹之一或二者。

在图6A的方面中，相对于外科医生控制台185B限定了三个坐标系：一个查看坐标系660、一个世界坐标系/全局坐标系670以及一个追踪器坐标系650。注意对外科医生181（图1）限定了同样的坐标系，以致下面更全面描述的映射也可以用于从主要手指追踪夹具170或从主要工具夹具621L、621R来追踪数据。例如，参见美国专利申请号12/617,937（2009年11月13日提交，标题为“Patient-Side Surgeon Interface For aMinimally Invasive Teleoperated Surgical Instrument（用于微创遥控操作的手术器械的病人侧外科医生界面）”），其全部内容通过引用结合在此。

在查看坐标系660中，外科医生180B正看向Z轴线Z_查看。Y轴线Y_查看在显示器中指向上。X轴线X_查看在显示器中指向左。在世界坐标系670中，Z轴线Z_世界是竖直轴线。世界X轴线X_世界和世界Y轴线Y_世界位于与Z轴线Z_世界垂直的平面内。

图6B是主要工具夹具621和主要工具操纵器620的更详细图解。下面关于图11的方法1100更全面地讨论坐标系680、690。

经由手追踪的手术器械控制的过程

图7是安装在食指292B上的传感器212（在追踪坐标系750中具有方位713）以及安装在拇指292A上的传感器211（在追踪坐标系750中具有方位711）的图示。传感器211和212是以上描述的电磁追踪系统的一部分。拇指292A和食指292B是右手291R的指头的例子。如之前提到的，人手的一个部分包括这只手的至少一个指头。如本领域技术人员已知的，这只手的手指（有时称为指头或指骨）为拇指（第一个指头）、食指（第二个指头、次指）、中指（第三个指头）、无名指（第四个指头）以及小指（第五个指头）。

在此，以拇指和食指作为人手的两个指头的例子。这仅是示意性的并且不旨在进行限制。例如，可以用拇指和中指来代替拇指和食指。此处的说明也可直接应用于中指的使用。而且，使用右手也只是示意性的。当在左手上戴上类似的传感器时，此处的说明也可直接应用于左手。

缆线741、742将主要手指追踪夹具270的传感器211、212连接到手追踪控制器130。在一个方面，缆线741、742将来自传感器211、212的位置和取向信息带给手追踪控制器130。

使用缆线来将所感测的位置和取向数据传送给手追踪控制器130仅是示意性的并且不旨在限制于这个具体的方面。鉴于本披露，本领域技术人员可以选择一个机构来将所感测的位置和取向数据从这个或这些主要手指追踪夹具传送至手追踪控制器130（即，通过使用无线连接）。

缆线741、742没有禁止主要手指追踪夹具270的运动。因为主要手指追踪夹具270机械未接地，所以每个主要手指追踪夹具对于外科医生可达到的工作空间和该手追踪发射器的工作空间之内的位置和取向运动而言均不受限制（例如，笛卡尔坐标系中的左右、上下、内外、滚动、偏航和俯仰）。

在一个方面，如以上描述的，主要手指追踪夹具270上的每个传感器211、212感测到三个平移自由度和三个旋转自由度，即，六个自由度。因此，来自这两个传感器的感测数据代表了十二个自由度。在另一个方面，主要手指追踪夹具270上的每个传感器211、212感测到三个平移自由度和两个旋转自由度（偏航和俯仰），即，五个自由度。因此，来自这两个传感器的感测数据代表了十个自由度。

使用基于所追踪方位的一个控制点位置和控制点取向来控制一个遥控操作的从手术器械，需要六个自由度（三个平移和三个取向），如下面更全面地说明的。因此，在每个传感器具有五个或六个自由度的这些方面，传感器211、212提供了冗余的自由度。如以上说明的以及下面更全面地说明的，这些冗余的自由度被映射成为多个参数以用于控制该遥控操作的从手术器械的除位置和取向之外的方面。

在又一个方面，每个传感器211、212仅感测三个平移自由度并且因此一起表示了六个自由度。这足够控制不包括腕部机构的一个从手术器械的三个平移自由度、滚动以及抓握闭合。以下说明是用于使用这六个自由度来产生控制点方位。将控制点取向当做该从手术器械的取向。如下面说明的，使用控制点方位和控制点取向来确定抓握闭合参数。如上面说明的使用拇指和食指的相对运动来确定滚动。

在传感器感测六个自由度或传感器感测五个自由度的方面，食指传感器212产生了一个代表追踪坐标系750中的食指位置p_食指和食指取向R_食指的信号。拇指传感器211产生了一个代表追踪坐标系750中的拇指位置p_拇指和拇指取向R_拇指的信号。在一个方面，位置p_食指和p_拇指被看作是与使用者食指指甲在食指292B上的中心以及使用者拇指指甲在拇指292A上的中心对齐。

在这个示例中，位置p_食指和p_拇指各自被表示为追踪坐标系750中的一个三乘一阶向量。位置p_食指和p_拇指位于追踪器坐标中。

取向R_食指和R_拇指各自被表示为追踪坐标系750中的一个三乘三阶矩阵，即

一个控制点位置p_cp居中在食指292B与拇指292A之间。控制点位置p_cp位于控制点坐标系790中，但被指定成追踪器坐标。控制点坐标系790中的Z轴线在其指向方向上延伸穿过控制点位置p_cp，如下面更全面地说明的。

而且，如下面所解释的，食指292B和拇指292A被映射到从手术器械的夹爪，但这两个指头比器械夹爪更灵巧。控制点坐标系790的Y轴线对应于用于器械夹爪闭合的销。因此，控制点坐标系790的Y轴线垂直于食指292B和拇指292A之间的一个向量，如下面说明的。

控制点位置p_cp以追踪坐标系750中的追踪器坐标被表示为一个三乘一阶向量。控制点取向R_cp以追踪器坐标被表示为一个三乘三阶矩阵，即

$R_{\mathrm{cp}}=\left[\begin{array}{ccc}{R}_{\mathrm{cp}11}& R_{\mathrm{cp}12}& R_{\mathrm{cp}13}\\ R_{\mathrm{cp}21}& R_{\mathrm{cp}22}& R_{\mathrm{cp}23}\\ R_{\mathrm{cp}31}& R_{\mathrm{cp}31}& R_{\mathrm{cp}33}\end{array}\right]$

图8是一个流程图，用于将一只手的一部分的方位映射到一个抓握闭合参数，该参数被用来控制一个从手术器械（例如，图1的遥控操作的从手术器械之一）的抓握。这种映射还将这个方位的临时改变映射到一个新的抓握闭合参数以及一个从器械尖端的对应访问和移动至该方位的速度。

最初，在进入过程800时，“接收手方位数据”过程810接收食指的位置和取向(p_食指,R_食指)以及拇指的位置和取向(p_拇指,R_拇指)，这些在本示例中被储存为数据811。食指的位置和取向(p_食指,R_食指)以及拇指的位置和取向(p_拇指,R_拇指)是基于来自追踪系统的数据。过程810转至“将方位数据映射到控制点和抓握参数”过程820。

“将方位数据映射到控制点和抓握参数”过程820使用食指的位置和取向(p_食指,R_食指)以及拇指的位置和取向(p_拇指,R_拇指)产生了一个控制点位置p_cp、一个控制点取向R_cp以及一个抓握闭合参数g_抓握。控制点位置p_cp、控制点取向R_cp以及抓握闭合参数g_抓握被储存为数据821。

在一个方面，在过程820中进行的控制点映射被限定成对已知的主要工具操纵器控制点布局的关键特性进行仿真。因此，对拇指和食指运动的响应对于具有类似于外科医生控制台180B（图6A）的一个外科医生控制台的已知遥控操作的微创手术系统的使用者而言是熟悉且直观的。

图9是“将方位数据映射到控制点和抓握参数”过程820的一个方面的更详细的流程图。首先，在过程820中，“将手位置数据映射到控制点”过程910由食指位置p_食指和拇指位置p_拇指产生控制点位置p_cp的一个方位，即

p_cp＝0.5*(p_拇指+p_食指)

控制点位置p_cp是食指位置p_食指和拇指位置p_拇指的平均值。“将手位置数据映射到控制点”过程910转而进行至“产生控制点取向”过程920。

如以上指出的，控制点取向的Z轴线对齐于指向方向。在“产生控制点取向”过程920的这个方面，使用Rodriquez轴线/角度公式来将该控制点取向的Z轴线指向向量

定义为食指指向向量与拇指指向向量之间的半旋度。根据拇指取向R_拇指，拇指指向向量

为：

类似地，根据食指取向R_食指，食指指向向量

为：

向量ω是与食指指向向量和拇指指向向量

垂直的一个向量。向量ω被定义为食指指向向量和拇指指向向量

的向量积，即

角度θ是食指指向向量

与拇指指向向量

之间的角度的幅值。角度θ被定义为：

已知轴线ω和角度θ，Z轴线指向向量

为：

因此，过程910已经产生控制点位置p_cp并且过程920的初始部分已经产生控制点坐标系790中Z轴线的近似指向。可以开始内插食指和拇指取向向量以便以类似方式产生控制点单位向量轴线和

并接着将它们再次正交以产生一个控制点取向矩阵。

然而，通过使用以下映射可以由所追踪的指头方位来实现更大的遥控操作灵巧度。这种映射使用食指和拇指的相对位置来有效地使该控制点滚动和偏航就好像操纵这些手指之间的小的万向节一样。如下进行过程920的剩余部分以产生正交的控制点单位向量轴线

和

的完整集合。

${\hat{z}}_{\mathrm{cp}}={\hat{x}}_{\mathrm{cp}}\×{\hat{y}}_{\mathrm{cp}}$

根据这些向量，控制点取向R_cp为：

$R_{\mathrm{cp}}=\left[\begin{array}{ccc}{\hat{x}}_{\mathrm{cp}}& {\hat{y}}_{\mathrm{cp}}& {\hat{z}}_{\mathrm{cp}}\end{array}\right]=\left[\begin{array}{ccc}{R}_{\mathrm{cp}11}& R_{\mathrm{cp}12}& R_{\mathrm{cp}13}\\ R_{\mathrm{cp}21}& R_{\mathrm{cp}22}& R_{\mathrm{cp}23}\\ R_{\mathrm{cp}31}& R_{\mathrm{cp}31}& R_{\mathrm{cp}33}\end{array}\right]$

现在关于过程910和920，过程820已经将食指和拇指的位置和取向(p_食指,R_食指)、(pt_拇指,R_拇指)映射到控制点位置和取向(p_cp,R_cp)。过程820必须还产生抓握闭合参数g_抓握。因此，“产生控制点取向”过程920转而进行至“产生抓握闭合参数”过程930。

在过程930中，抓握闭合由食指位置p_食指和拇指位置p_拇指距控制点位置p_cp和Z轴线方向

所限定的中线轴线的距离来决定。这允许抓握闭合在拇指和食指碰触时对于滑动是不变的。

因此，食指位置p_食指和拇指位置p_拇指被映射到坐标系790中的Z轴线上。位置p_{食指_投影}是食指位置p_食指在坐标系790的Z轴线上的投影，而位置p_{拇指_投影}是拇指位置p_拇指在坐标系790的Z轴线上的投影。

位置p_{食指_投影}和位置p_{拇指_投影}被用来估计一个估计抓握闭合距离d_估，即

d_估＝||p_食指-p_{食指_投影}||+||p_拇指-p_{拇指_投影}||

在此，这些双平行线是2-范数欧几里德距离的公知表示。估计抓握闭合距离d_估由一个最大距离阈值d_最大和一个最小距离阈值d_最小界定。如图7中展示的，传感器211、212之间的垫塞的泡沫连接件210将这些指头限制在一个固定的间隔之内，即，在一个最大距离阈值d_最大和一个最小距离阈值d_最小之间。另外，一个中位距离d₀对应于这两个指头刚碰触时的间隔距离。

对于多个传感器与一个连接件的特定集合，最大距离阈值d_最大、最小距离阈值d_最小以及中位距离d₀是以经验确定的。在一个方面，对于小手、平均的手以及大手提供了多个传感器与一个连接件的三种不同组合。每种组合均具有其自身的最大距离阈值d_最大、最小距离阈值d_最小以及中位距离d₀，因为连接件210的长度在各组合中是不同的。

过程930将距离d_估与最小距离阈值d_最小进行比较。如果比较发现距离d_估小于最小距离阈值d_最小，则将抓握闭合距离d设定为最小距离阈值d_最小。否则，过程930将距离d_估与最大距离阈值d_最大进行比较。如果比较发现距离d_估大于最大距离阈值d_最大，则将抓握闭合距离d设定为最大距离阈值d_最大。否则，将抓握闭合距离d设定为距离d_估。

为确定抓握闭合距离d而对距离d估进行的测试被概述为：

接着在过程930中，产生了抓握闭合参数g_抓握：

因此，在最大距离阈值d_最大与距离d₀之间的抓握闭合距离d被映射到零与一之间的一个值。在最小距离阈值d_最小与距离d₀之间的抓握闭合距离d被映射到负一与零之间的一个值。

在食指292B和拇指292A分隔了连接件210所允许的最大程度时（图2A）获得抓握闭合参数g_抓握为一的这个值。在食指292B的尖端与拇指292A的尖端刚刚碰触时（图2C）获得抓握闭合参数g_抓握为零的这个值。在零与一的范围内的值控制了一个从手术器械的末端执行器的夹爪的打开/关闭。在食指292B和拇指292A相碰触并且连接件210被弯曲压缩在食指292B和拇指292A之间时（图2D）获得抓握闭合参数g_抓握为负一的这个值。在零与负一的范围内的值控制了该末端执行器的闭合夹爪的夹紧力。连接件210对夹爪的闭合提供了一种被动的触觉提示。

这个将抓握闭合距离d映射到两个范围之一内的一个值的例子仅是示意性的并且不旨在进行限制。这个示例展示了当抓握闭合距离d大于中位距离d₀时，将抓握闭合距离d映射到在抓握闭合参数g_抓握的第一范围内的一个值，以便控制从手术器械的末端执行器的夹爪的打开/闭合。在此“打开/闭合”是指这些夹爪的打开和闭合。当抓握闭合距离d小于中位距离d₀时，该抓握闭合距离d被映射到在该抓握闭合参数g_抓握的第二范围内的一个值，以便控制该末端执行器的这些闭合夹爪的夹紧力。

因此，过程820已经将食指位置和取向(p_食指,R_食指)以及拇指位置和取向(p_t拇指,R_拇指)映射到一个控制点位置和取向(p_cp,R_cp)以及抓握闭合参数g_抓握，这被储存为数据821。过程820进行至“映射至世界坐标”过程830（图8）。

“映射至世界坐标”过程830接收数据821并将数据821映射至世界坐标系。（参见世界坐标系670（图6A）。）确切地说，使用一个四乘四阶齐次变换矩阵^wcT_tc将控制点位置和取向(p_cp,R_cp)和抓握闭合参数g_抓握映射到世界坐标的控制点位置和取向(p_{cp_wc},R_{cp_wc})，其中该矩阵将追踪器坐标系750（图7B）中的坐标映射到世界坐标系670中的坐标，例如

$T_{\mathrm{tc}}^{\mathrm{wc}}=\left[\begin{array}{cc}R_{\mathrm{tc}}^{\mathrm{wc}}& t_{\mathrm{tc}}^{\mathrm{wc}}\\ 0& 1\end{array}\right]$

其中

^wcR_tc将追踪器坐标tc的取向映射到世界坐标wc的取向，并且

^wct_tc将追踪器坐标tc的位置变换为世界坐标wc的位置。

这种映射不改变抓握闭合参数g_抓握。世界坐标wc中的数据被储存为数据831。过程830进行至“映射至眼睛坐标”过程840。

“映射至眼睛坐标”过程840接收世界坐标wc中的数据831并将数据831映射至眼睛坐标系（参见眼睛坐标系660（图6A））。确切地说，使用一个四乘四阶齐次变换矩阵^ecT_wc将世界坐标的控制点位置和取向(p_{cp_ec},R_{cp_ec})以及抓握闭合参数g_抓握映射到眼睛坐标的控制点位置和取向(p_{cp_wc},R_{cp_wc})，其中该矩阵将世界坐标系670（图6A）中的坐标映射到眼睛坐标系660中的坐标，例如

$T_{\mathrm{wc}}^{\mathrm{ec}}=\left[\begin{array}{cc}R_{\mathrm{wc}}^{\mathrm{ec}}& t_{\mathrm{wc}}^{\mathrm{ec}}\\ 0& 1\end{array}\right]$

其中

^ecR_wc将世界坐标wc中的取向映射到眼睛坐标ec中的取向，并且

^ect_wc是世界坐标wc中的位置到眼睛坐标ec中的位置的变换。

同样，这种映射不改变抓握闭合参数g_抓握。眼睛坐标中的数据被储存为数据841。过程840进行至“产生速度”过程850。

在过程800中，仅仅为便于示意，将映射过程830和840描述为两个不同的过程。在一个方面，映射过程830和840被结合成使得使用一个四乘四阶齐次变换矩阵^ecT_tc将追踪器坐标tc中的控制点数据直接映射到眼睛坐标ec中的数据，其中该矩阵将追踪器坐标系650（图6A）中的坐标映射到眼睛坐标系660中的坐标，例如

$T_{\mathrm{tc}}^{\mathrm{ec}}=\left[\begin{array}{cc}R_{\mathrm{wc}}^{\mathrm{ec}}R_{\mathrm{tc}}^{\mathrm{wc}}& (R_{\mathrm{wc}}^{\mathrm{ec}}t_{\mathrm{tc}}^{\mathrm{wc}}+t_{\mathrm{wc}}^{\mathrm{ec}})\\ 0& 1\end{array}\right]$

在这个方面，眼睛坐标中的控制点位置p_{cp_ec}为：

p_{cp_ec}＝^ecT_tcp_{cp_tc}，

并且，眼睛坐标中的控制点取向R_{cp_ec}为：

R_{cp_ec}＝^ecR_wc ^wcR_tcR_{cp_tc}

在有些方面，可以省去这种世界坐标映射。在此情况下，在不利用世界坐标系的情况下将控制点数据从追踪坐标系直接映射到眼睛坐标系中。

对于遥控操作，需要位置、取向和速度。因此，“产生速度”过程850产生了所需速度。这些速度能以多种方式产生。某些实现方式（如惯性传感器和陀螺仪传感器）可以直接测量差分信号而产生控制点的线速度和角速度。如果这些速度不能被直接测量，则在一个方面，过程850由眼睛坐标系中的方位测量结果来估计这些速度。

可以使用眼睛坐标系中在抽样间隔上的有限差分来估计这些速度。例如，线速度v_{cp_ec}估算为：

$v_{\mathrm{ep}\_\mathrm{ec}}=\frac{p_{\mathrm{cp}\_\mathrm{ec}}\left(t1\right)-p_{\mathrm{cp}\_\mathrm{ec}}\left(t0\right)}{\mathrm{\Δt}}$

且角速度ω_{cp_ec}估算为：

R_Δ=R_{cp_ec}(t0)’＊R_{cp_ec}(t1)

${\mathrm{\ω}}_{\mathrm{\Δ}}=0.5*\left[\begin{array}{c}{R}_{\mathrm{\Δ}32}-R_{\mathrm{\Δ}23}\\ R_{\mathrm{\Δ}13}-R_{\mathrm{\Δ}31}\\ R_{\mathrm{\Δ}21}-R_{\mathrm{\Δ}12}\end{array}\right]$

${\mathrm{\ω}}_{\mathrm{cp}\_\mathrm{ec}}=\frac{\mathrm{Rcp}\_\mathrm{ec}\left(t0\right)*{\mathrm{\ω}}_{\mathrm{\Δ}}}{\mathrm{\Δt}}$

在“产生速度”过程850的另一方面，以追踪器坐标系750（图7）的追踪器坐标来感测控制点线速度v_{cp_tc}和控制点角速度ω_{cp_tc}。在这个方面，使用一个旋度^ecR_tc将直接感测的控制点线速度v_{cp_tc}和直接感测的控制点角速度ω_{cp_tc}从追踪器坐标系750旋转至眼睛坐标系600。确切地说，使用如以上定义的旋转映射，

^ecR_tc＝^ecR_wc ^wcR_tc

v_{cp_ec}＝^ecR_tcv_{cp_tc}

ω_{cp_ec}＝^ecR_tcω_{cp_tc}

“产生速度”过程850进行至“发送控制命令”过程860。过程860基于作为数据851储存的位置、取向、速度和抓握闭合参数而将一个适当的系统控制命令发送给从手术器械。

在一个方面，过程810至850是通过手追踪控制器130（图1）实现的。控制器130在处理器131上执行手指追踪模块135来实现过程810至850。在这个方面，手指追踪模块135被储存在存储器132中。过程850向系统控制器140发送一个系统事件，该控制器进而进行过程860。

应了解的是，手追踪控制器130和系统控制器140在实践中可以通过硬件、处理器上执行的软件以及固件的任何组合来实施，而且，如在此描述的，这些控制器的功能可以通过一个单元来进行或被分割到不同部件，这些部件中的每个都进而可以通过硬件、处理器上执行的软件以及固件的任何组合来实施。当被分割到不同部件时，这些部件可以被集中在一个方位或者被分布在系统100上以用于分布式处理的目的。

手势姿态和手势轨迹控制的过程

图10是系统100的手势姿态和手势轨迹控制的过程1000的一个流程图。在以上描述的一个方面，手势姿态辨识过程1050使用了一个多维的贝叶斯分类器，并且手势轨迹辨识过程1060使用了一个离散的隐马尔可夫模型Λ。

如以上说明的，图3A至图3D是手势姿态的例子。为了训练该手势姿态辨识过程1050，指定了多个手势姿态。所使用的这多个手势姿态受到定义多个可以被辨识过程1050明确识别的唯一手势的能力所限制并且受到外科医生记住且可靠地再现这些不同的手势姿态中每个的能力所限制。

除了定义手势姿态之外，定义了包括多个特征f_i的一个特征集合，其中i的范围从1至n。数目n是所使用的特征的数目。特征的数目和类型被选择成使得许用姿态的集合中的每个手势姿态都可以被准确地识别出。在一个方面，数目n为六。

以下是具有n个特征的一个特征集合的示例。

f₂＝||p_拇指-p_食指||

特征f₁是食指292B的指向方向

与拇指292A的指向方向的点积。特征f₂是食指292B与拇指292A之间的距离。特征f₃是拇指292A投影在食指292B的指向方向

上的距离。特征f₄是拇指292A距离沿食指292B的指向方向的轴线的距离。特征f₅是拇指292A的指向方向

的Z分量。特征f_n是拇指292A的拇指法向量

与食指292B的指向方向

的点积。

在使用方法1000之前，必须建立手势姿态的一个训练数据库。多个不同的使用者针对每个手势姿态产生至少一个，并且每个使用者的每个手势姿态的位置和取向都使用追踪系统被测量。例如，一组人中的每个人都做出这些许用手势姿态中的每一个。针对这个组中的每个人的每个手势姿态，均将食指和拇指的位置和取向(p_食指,R_食指)、(p_t拇指,R_拇指)保存在训练数据库中。

使用该训练数据库，针对每个使用者的每个手势姿态都产生一个特征集合{f_i}。然后，每个手势姿态的训练特征向量集合被用来计算一个平均值和一个协方差Σ_fi。

因此，使用该训练数据库来针对每个训练的手势获得一个特征向量平均值和协方差。此外，对于每个手势姿态，针对每个训练员产生一个马哈拉诺比斯距离d(f_i)（参见下面的讨论），并且将每个手势姿态的最大马哈拉诺比斯距离d(f_i)保存为这个手势姿态的阈值。

还可以使用这种马哈拉诺比斯距离测量来验证所有训练的手势对于所使用的给定特征集合而言是充分不同的并且清楚的。这可以通过测试给定手势的特征向量平均值

和所有其他许用手势姿态的特征向量平均值的马哈拉诺比斯距离而完成。这个测试距离应该远大于用于该给定手势的最大训练距离阈值。

如本领域技术人员已知的，规定一种隐马尔可夫模型要求规定两个模型参数N、M以及三个概率测度A、B、π。隐马尔可夫模型Λ表示为：

Λ=(A,B,π)

模型参数N是该模型中的状态数目，并且模型参数M是每种状态的观测符号的数目。这三个概率测度是状态转移概率分布A、观测手势概率分布B以及初始状态分布π。

在离散隐马尔可夫模型的一个方面，转移概率分布A是一个N×N阶矩阵。观测手势概率分布B是一个N×M阶矩阵，并且初始状态分布π是一个N×1阶矩阵。

如下面更全面地说明的，在给定了观测序列O和隐马尔可夫模型Λ的情况下，在过程1000中估算了给定隐马尔可夫模型Λ的观测序列O的概率，即P(O|Λ)。

要产生隐马尔可夫模型Λ的概率分布，需要一个训练数据库。在获得该训练数据库之前，指定手势轨迹的一个集合。

多个测试对象j被选择来做出这些手势轨迹中的每个。虽然在图4C中，以二维投影形式呈现了十六个手势轨迹，但在进行各种手势轨迹时，测试对象不受限制，这允许出现一些三维的变化。在一个方面，每个对象将每个手势轨迹进行k次，这样就针对每个手势轨迹产生了j*k个训练序列。

在一个方面，使用一种离散的左-右隐马尔可夫模型。隐马尔可夫模型Λ被选择成使得使用迭代的波氏演算法使概率P(O|Λ)局部最大化。例如参见Lawrence R.Rabiner“A Tutorial on Hidden Markov Models andSelected Applications in Speech Recognition（隐马尔可夫模型及其在语音识别中的选择性应用的教程）”，Proceedings of the IEEE（电气与电子工程师协会会报），第77卷第2期第257-286页（1989年2月），将其通过引用结合在此，作为对这些模型的技术人员的隐马尔可夫模型的知识展示。在一个方面，当针对三个依次迭代，该模型收敛在百分之0.1内则停止该迭代法。

对初始状态概率π进行设定，使得该模型总是以状态一开始。使用随机入口来初始化转移概率矩阵A，这些随机入口在逐行基础上按降序储存。为了强制获得这种从左到右的结构，将转移概率矩阵A的下部对角区内的所有入口设定为零。此外，通过将入口设定为零（其中所有行i和列j为(i–j)>2）而不允许大于两个状态的转移。在结束时在逐行基础上来标准化转移概率矩阵A。

对所观测的概率矩阵B的初始化基于所希望的状态数目均匀地划分该观测序列。因此，每种状态可以基于局部频率计数而初始地以一个概率观测一个或多个符号。这个矩阵也在逐行基础上被标准化。参见例如N.Liu,R.I.A.Davis,B.C.Lovell,P.J.Kootsookos，“Effect of Initial HMMChoices in Multiple Sequence Training for Gesture Recognition（初始HMM选择在手势辨识的多序列训练中的作用）”，International Conference onInformation Technology（信息技术国际会议），5-7，拉斯韦加斯，第608-613页（2004年4月），通过引用结合在此，作为对本领域技术人员已知的隐马尔可夫模型的初始化程序的展示。对各个手势轨迹建立了一个隐马尔可夫模型。

回到方法1000，“手势模式被使能”检查过程1001确定外科医生是否使能系统100的手势辨识操作模式。在一个方面，为了使能手势辨识模式，外科医生将外科医生控制台185上的脚蹬压下（图1A）。如果使能手势辨识模式，检查过程1001转向“接收手方位数据”过程1010，否则就通过“返回”1002而返回。

“接收手方位数据”过程1010接收了外科医生正在做出的手势的食指位置和取向(p_食指,R_食指)以及拇指位置和取向(p_拇指,R_拇指)。如以上指出的，食指位置和取向(p_食指,R_食指)以及拇指位置和取向(p_拇指,R_拇指)是基于来自该追踪系统的数据。过程1010转至“产生特征过程”1011。

在“产生特征”过程1011中，食指位置和取向(p_食指,R_食指)以及拇指位置和取向(p_拇指,R_拇指)被用来产生在观测的特征向量f_{i_o}中的每个特征f_{1_o}至f_{n_o}。“产生特征”过程1011转至“将特征与已知姿态进行比较”过程1012。

“将特征与已知姿态进行比较”过程1012针对每个姿态将所观测的特征向量f_{i_o}与训练的特征集合{f_i}进行比较。这个过程确定了对于具体的手势姿态而言，观测的特征向量被包括在一个训练数据库特征集合{f_i}中（即，对应于训练数据集合）的可能性。这可以表示为

P(f_{i_o}|Ω)

其中训练数据集合特征集合{f_i}是来自对象类别Ω。

在这个示例中，概率P(f_{i_o}|Ω)为：

$p\left(f_{i\_o}\right|\mathrm{\Ω})=\frac{\exp [-\frac{1}{2}{(f_{i\_o}-{\stackrel{\‾}{f}}_i)}^T{\mathrm{\Σ}}_{\mathrm{fi}}^{-1}(f_{i\_o}-{\stackrel{\‾}{f}}_i)]}{{\left(2\mathrm{\π}\right)}^{N/2}{\left|{\mathrm{\Σ}}_{\mathrm{fi}}\right|}^{1/2}}$

其中N是该特征向量的维数，例如以上示例中的n。

用来表征这种可能性的统计量是马哈拉诺比斯距离d(f_{i_o})，其被定义为：

$d\left(f_{i\_o}\right)={\tilde{f}}_{i\_o}^T{\mathrm{\Σ}}_{\mathrm{fi}}^{-1}{\tilde{f}}_{i\_o}$

其中

马哈拉诺比斯距离是本领域技术人员已知的。参见例如，Moghadam,Babackh和Pentland,Alex,“Probabilistic VisualLearning for Object Representation（用于目标表示的概率视觉学习）”，IEEE Transactions On Pattern Analysis and Machine Intelligence（IEEE模式分析与机器智能汇刊），第19卷第7期第696至710页（1997年7月），将其通过引用结合在此。

通过使用协方差∑_fi的本征向量Φ和本征值Λ，以对角形式使用

这样马哈拉诺比斯距离d(f_{i_o})为：

$d\left(f_{i\_o}\right)={\tilde{f}}_{i\_o}^T\left[\mathrm{\Φ}{\mathrm{\Λ}}^{-1}{\mathrm{\Φ}}^T\right]{\tilde{f}}_{i\_o}$

$=y^T{\mathrm{\Λ}}^{-1}y$

其中

这种对角形式允许将马哈拉诺比斯距离d(f_{i_o})表示为和的形式：

$d\left(f_{i\_o}\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{y_j^2}{{\mathrm{\λ}}_j}$

在这个示例中，这是为了确定马哈拉诺比斯距离d(f_{i_o})而估计的一种表示。因此，过程1011产生了马哈拉诺比斯距离d(f_{i_o})。完成之后，过程1012转向“选择姿态”过程1013。

在“选择姿态”过程1013中，选择具有最小马哈拉诺比斯距离d(f_{i_o})的手势姿态，如果马哈拉诺比斯距离d(f_{i_o})小于训练数据库中该手势姿态的最大马哈拉诺比斯距离的话。如果马哈拉诺比斯距离d(f_{i_o})大于训练数据库中该手势姿态的最大马哈拉诺比斯距离，则不选择手势姿态。“选择姿态”过程1012转向“临时过滤过程”1014。

“临时过滤”过程1014确定过程1013的结果是否已经将同样的结果连续地提供了预定的次数。如果过程1013已经将同样的结果连续地提供了预定的次数，则“临时过滤”过程1014转向“手势姿态”检查过程1015，否则返回。这个预定次数被选择成使得“临时过滤”过程1014阻止在手势姿态之间切换时的振荡或瞬时探测。

“手势姿态”检查过程1015确定所选择的手势姿态是否是在手势轨迹中使用的手势姿态。如果所选择的手势姿态是在手势轨迹中使用的手势姿态，则“手势姿态”检查过程1015转而进行至“产生速度序列”过程1020，否则的话就转而进行至“姿态改变”检查过程1016。

“姿态改变”检查过程1016确定该手势姿态是否在上次经过方法1000时改变。如果所选择的手势姿态与前一个临时过滤的手势姿态结果相同，则“姿态改变”检查过程1016经“返回”1003返回，否则就转向“映射到系统事件”过程1030。

“映射到系统事件”过程1030将所选择的手势姿态映射到一个系统事件，例如查找被指定给该手势姿态的系统事件。在找到系统事件之后，“映射到系统事件”过程1030转而进行至“注入系统事件”过程1031。

在一个方面，“注入系统事件”过程1031将该系统事件发送给系统控制器140中的一个事件处理程序/事件处理器（图1）。响应于这个系统事件，系统控制器140对系统100中的多个控制器和/或其他设备发送一个适当的系统命令。例如，如果该手势姿态被指定给一个接通用户界面的事件，则系统控制器140对显示控制器150发送一个命令来接通用户界面。显示控制器150在处理器150上执行为接通该用户界面所需的用户界面模块155的一部分。

当该手势姿态是在做出轨迹时使用的手势姿态时，方法1000中的处理从“手势姿态”检查过程1015转向“产生速度序列”过程1020。在一个方面，用于手势轨迹辨识的主要特征是一个单位速度向量。这个单位速度向量对于手势的起始位置是无变化的。此外，一个标准化的速度向量考虑了手势的尺寸或速度的改变。因此，在过程1020中，这些控制点样品被转换为标准化的控制点速度序列，即转换为单位速度向量的序列。

v_{cp_ec}(t)＝x_{cp_ec}(t)-x_{cp_ec}(t-1)＝[Δx_{cp_ec},Δy_{cp_ec},Δz_{cp_ec}]′

对于t=1,2,...,N-1

在完成“产生速度序列”过程1020之后，过程1020转而进行至“将速度序列转换为符号序列”过程1021。如以上指出的，离散隐马尔可夫模型Λ要求离散符号的一个序列作为输入。在过程1021中，这些离散符号是由这些标准化的控制点速度序列通过向量量化而产生的。

在一个方面，向量量化是使用修改过的K-均值聚类算法进行的，且条件为当聚类分配值停止改变时这个过程停止。在使用K-均值聚类算法时，这个过程利用了这些特征都为单位向量这个事实。在此情况下，在方向上类似的向量被聚类。这是通过使用每个单位特征向量与标准化的聚类中心向量之间的点积作为相似度度量而进行的。

这种聚类通过将向量随机分配给三十二个类而初始化并且整个过程被迭代多次，其中基于最大的总的类“之内”成本度量来选择最好的聚类结果。注意在此情况下，类“之内”成本是基于对相似度的测量。对所得的每个类指派了一个唯一索引，其用作隐马尔可夫模型的符号。然而一个输入向量被映射到其最接近的聚类平均值并且使用这个类的对应索引作为符号。以此方式，单位速度向量的一个序列可以转换为索引或符号的一个序列。

在一个方面，基于一种固定的八向二维的向量量化编码法，给这些被聚类的向量指派一个符号。因此，过程1020产生了一个观测的符号序列并且转向“产生手势概率”过程1023。

在一个方面，为了确定该手势是否对应于所感测的符号序列，“产生手势概率”过程1023对隐马尔可夫模型使用向前递归算法来找到每个手势与观测的符号序列匹配的概率。向前递归算法在Rainer的“ATutorial on Hidden Markov Models and Selected Applications in SpeechRecognition（隐马尔可夫模型及其在语音识别中的选择性应用的教程）”中进行了描述，之前已通过引用结合在此。完成“产生手势概率”过程1023之后，进程转向了“选择轨迹”过程1024。

在“选择轨迹”过程1024，具有最高概率的手势轨迹在这些许用隐马尔可夫模型轨迹手势模式之中。这个概率还必须大于要接受的给定阈值。如果该最高概率不大于该阈值概率，则不选择手势轨迹。应该对这个阈值进行调谐以最大化辨识准确度并同时避免错误的辨识。

完成之后，“选择轨迹”过程1024转而进行至“轨迹被发现”检查过程1025。如果“选择轨迹”过程1024选择了一个手势轨迹，“轨迹被发现”检查过程1025转而进行至“映射到系统事件”过程1030，否则通过“返回”1004返回。

“映射到系统事件”过程1030将选定的手势轨迹映射到一个系统事件，例如查找指定给该手势轨迹的系统事件。在找到该系统事件之后，“映射到系统事件”过程1030转而进行至“注入系统事件”过程1031。

在一个方面，“注入系统事件”过程1031将该系统事件发送给系统控制器140中的一个事件处理器（图1）。响应于这个系统事件，系统控制器140对这个或这些适当的控制器或设备发送一个适当的系统命令。例如，如果该系统事件被指派到用户界面中的一个动作，则系统控制器140向显示控制器150发送一个命令来进行用户界面中的这个动作，例如改变手术部位的查看模式。

存在性探测的过程

在又一个方面，如以上说明的，外科医生180B的手的至少一个部分的追踪到的位置被用来判断这只手是否存在于一个主操纵器末端执行器621上。图11是在一个方面由系统100中的手追踪控制器130进行的存在性探测的过程1100的一个方面的流程图。在一个方面，过程1100对于外科医生的每只手单独进行。

在“获得接合角度”过程1110中，测量了主要工具操纵器620的接合角度（图6B）。“获得接合角度”过程1110转而进行至“产生前向运动学”过程1111。

因为主要工具操纵器620中各种连接件的长度是已知的并且主要工具操纵器620的底座629的位置是已知的，所以使用几何关系来产生主要工具夹具621在主要工作空间坐标系680中的方位。因此，“产生前向运动学”过程1111使用来自过程1110的角度产生了主要工具夹具621在主要工作空间坐标系680中的位置p_mtm。“产生前向运动学”过程1111转而进行至“映射到世界坐标”过程1112。

“映射到世界坐标”过程1112将主要工作空间坐标系680中的位置p_mtm映射到世界坐标系670中的位置p_{mtm_wc}（图6A）。确切地说，

p_{mtm_wc}=^wcT_ws*p_mtm

其中^wcT_ws是一个四乘四阶的齐次刚性变换矩阵，该矩阵将工作空间坐标系680中的坐标映射到世界坐标系670中的坐标。

完成后，“映射到世界坐标”过程1112转而进行至“产生手至末端执行器的间隔”过程1130。

返回“接收手方位数据”过程1120，“接收手方位数据”过程1120接收（重新获得）食指的位置和取向(p_食指,R_食指)以及拇指的位置和取向(p_拇指,R_拇指)。食指的位置和取向(p_食指,R_食指)以及拇指的位置和取向(p_拇指,R_拇指)是基于来自该追踪系统的数据。“接收手方位数据”过程1120转而进行至“产生手位置”过程1121。

“产生手位置”过程1121将食指的位置和取向(p_食指,R_食指)以及拇指的位置和取向(p_拇指,R_拇指)映射到追踪坐标系中的一个控制点的位置和取向，如以上说明的并且这个说明通过引用结合在此。位置P_手是以追踪坐标表示的控制点的位置。“产生手位置”过程1121转而进行至“映射到世界坐标”过程1122。

在存在性探测中使用控制点位置仅是示意性的并且不旨在进行限制。鉴于本披露，存在性探测可以例如使用食指尖端的位置并且使用拇指尖端的位置，或者使用这些位置中的仅仅一个来进行。下面描述的过程对于与一只人手的一个部分相关联的这些不同位置中的每个都是相同的。

“映射到世界坐标”过程1122将以追踪坐标表示的位置p_手映射到世界坐标系670中的位置p_{手_wc}（图6A）。确切地说，

P_{手_wc}=^wcT_tc*p_手

其中^wcT_tc是一个四乘四阶的齐次刚性变换矩阵，该矩阵将追踪坐标系650中的坐标映射到世界坐标系670中的坐标。

完成后，“映射到世界坐标”过程1122转而进行至“产生手至末端执行器的间隔”过程1130。

“产生手至末端执行器的间隔”过程1130产生了世界坐标系670中的位置p_{mtm_wc}与世界坐标系670中的位置p_{手_wc}之间的一个间隔距离d_sep。在一个方面，间隔距离d_sep为：

d_sep＝||p_{mtm_wc}-p_{手_wc}||

完成后，“产生手至末端执行器的间隔”过程1130转而进行至“距离安全性”检查过程1131。

“距离安全”检查过程1131将间隔距离d_sep与一个安全距离阈值进行比较。这个阈值应该足够小到是保守的/稳健的（conservative）同时仍允许外科医生改变抓握或操纵该末端执行器的最远端。如果间隔距离d_sep小于该安全距离阈值，则“距离安全”检查过程1131转向“手存在”过程1140。相反，如果间隔距离d_sep大于该安全距离阈值，则检查过程1131转向“手不存在”过程1150。

“手存在”过程1140确定系统100是否处于遥控操作中。如果系统100是处于遥控操作中，则不要求任何动作并且允许遥控操作继续，并且因此过程1140转向开始过程1100。如果系统100不是处于遥控操作中，则“手存在”过程1140向“注入系统事件”过程发送一个手存在事件，该过程进而将该手存在事件发送给系统控制器140。

“手不存在”过程1150确定系统100是否处于遥控操作中。如果系统100不是处于遥控操作中，则不要求任何动作并且因此过程1150转向重头开始过程1100。如果系统100是处于遥控操作中，则“手不存在”过程1150向“注入系统事件”过程1160发送一个手不存在事件，该过程进而将该手存在事件发送给系统控制器140。

系统控制器140确定该手存在事件或手不存在事件是否要求对系统操作模式的任何改变并且发出一个适当的命令。在一个方面，系统控制器140响应于一个手存在事件而使能遥控操作，例如允许遥控操作，并且响应于一个手不存在事件而禁用遥控操作，即使一个遥控操作的微创手术器械联接至主要工具夹具。如本领域技术人员已知的，一个遥控操作的微创手术器械可联接至一个主要工具夹具以及可与之断开联接。

在其他方面，系统控制器140将该手存在事件和手不存在事件与其他事件结合使用以判断是否允许遥控操作。例如，可以将对于外科医生的头的存在性探测与对外科医生的一只手或双手的存在性探测结合起来用于判断是否允许遥控操作。

类似地，如以上说明的，系统控制器140使用该手存在事件和手不存在事件来控制一个用户界面在微创手术系统的显示器上的显示。当系统控制器140接收到手不存在事件时，如果用户界面没有接通，则系统控制器140向显示控制器150发送一个命令来接通该用户界面。显示控制器150在处理器150上执行为接通该用户界面所需的用户界面模块155的一个部分。当系统控制器140接收到该手存在事件时，如果用户界面被接通，则系统控制器140对显示控制器150发送一个命令来切断该用户界面。显示控制器150在处理器150上执行为切断该用户界面所需的用户界面模块155的一个部分。

系统控制器140可以将该手存在事件和手不存在事件与其他事件结合使用以判断是否显示用户界面。因此，用户界面显示控制和遥控操作控制是使用存在性探测进行系统模式控制的例子并且不旨在限制于这两种具体的系统控制模式。

例如，存在性探测可以用于控制一个代理视像，如下面更全面地说明的。而且，这些不同模式（例如遥控操作与直观显示）的组合可以由系统控制器140基于该手存在事件和手不存在事件来进行控制。

而且，手的存在性探测可用于省去主要工具夹具621L、621R的两用性，例如按下一个脚蹬并接着使用主要工具夹具621L、621R来控制在外科医生控制台185B中显示的用户界面。当这些主要工具夹具被两用，例如被用于控制手术器械和用户界面二者时，外科医生通常必须压下脚蹬来切换为用户界面操作模式。如果出于某种原因，外科医生不能压下脚蹬，但认为系统已经切换为用户界面操作模式，则主要工具夹具的移动会导致手术器械的不希望的运动。使用存在性探测过程1100来防止这个问题并省去主要工具夹具的两用性。

关于存在性探测过程1100，在一个示例中，当系统控制器140接收到手不存在事件时，系统控制器140发送一个系统命令来将主要工具操纵器620L、620R（图6A）锁定就位，并且向显示控制器150发送一个系统命令来将用户界面呈现在外科医生控制台185B的显示器上。外科医生的手的运动被追踪并且被用于控制用户界面中的要素，例如移动一个滑动开关、改变显示等等。如以上指出的，控制点被映射到眼睛坐标系中并因此可以与用户界面中的一个要素的方位相关联。该控制点的运动被用来操纵这个要素。这可以在外科医生不必启动脚蹬的情况下完成并且使得外科医生不会意外地移动手术器械。因此，这消除了与使用主要工具夹具来控制手术器械和用户界面二者有关的问题。

在以上示例中，世界坐标系是一种公共坐标系的例子。使用世界坐标系作为公共坐标系仅是展示性的并且不旨在进行限制。

主要手指追踪夹具

图12是一个主要手指追踪夹具1270的一个例子的展示。主要手指追踪夹具1270是主要手指追踪夹具170、270的一个例子。

主要手指追踪夹具1270包括一个可压缩本体1210以及两个指环1220、1230。可压缩本体1210具有第一末端1213和第二末端1214。一个本体区段1215在第一末端1213与第二末端1214之间延伸。

可压缩本体1210具有外部外表面。该外部外表面包括第一部分1216和第二部分1217。第一部分1216（例如上部部分）在第一末端1213与第二末端1214之间延伸。第二部分1217（例如底部部分）在第一末端1213与第二末端1214之间延伸。第二部分1217与第一部分1216相反并且被从第一部分1216去除。

在一个方面，该外部外表面是一个织物外壳的表面。该织物适合用于手术室中。该织物外壳包绕了可压缩泡沫。该泡沫被选择成提供抵抗压缩以及压缩被释放时的膨胀。在一个方面，在该织物外壳中包括若干个泡沫条带。该泡沫还必须能够弯折，使得在第一指头的尖端朝第二指头的尖端移动时第一部分1216被定位在一只人手的第一和第二指头之间。

本体区段1215具有在指环1220与指环1230之间的一个长度L。如以上解释的，长度L被选择成限制环1220中的第一指头与环1230中的第二指头之间的间隔（参见图2A）。

在一个方面，本体区段1215具有一个厚度T。如图2C中所示，厚度T被选择成使得当主要手指追踪夹具1270被配置为使得外部外表面的第二部分1217上与末端1214相邻的区域1236以及第二部分1217上与末端1213相邻的区域1226刚碰触时，第二部分1217沿长度L不与自身完全接触。

第一指环1220在第一末端1213附近被固定到可压缩本体1210。环1220围绕可压缩本体1210的外部外表面的第一部分1216的一个区域1225延伸。在将该第一指环1220放置在人手的第一指头上之后，区域1225接触到该第一指头，例如该外部外表面的第一部分1216的第一分段接触到拇指。

在这个例子中，指环1220具有两个末端：第一织物末端1221A和第二织物末端1221B。末端1221A和末端1221B是固定在本体1210内的一个织物条带的两端。一个环形织物件1222B附接到末端1221B的内表面，而一个环形织物件1222A附接到末端1221A的外表面。钩状织物和环形织物的例子是由两个尼龙织物条带组成的一种尼龙紧固带，其中一个条带具有很少的钩状螺纹而另一个具有粗糙表面。这两个条带在压到一起时形成一种强力的结合。可商购的紧固带的一个例子是

紧固带。（是维克洛工业公司（Velcro Industries B.V.）的注册商标）。

第二指环1230在第二末端1214附近被固定到可压缩本体1210。环1230围绕可压缩本体1210的外部外表面的第一部分1216的一个区域1235延伸。在将该第二指环1230放置在人手的第二指头上之后，区域1235接触到该第二指头，例如该外部外表面的第一部分1216的第二分段接触到食指。第一部分的第二分段1235与第一部分的第一分段1225相反并且被从第一部分的第一分段1225去除。

在这个例子中，指环1230也具有两个末端：第一织物末端1231A和第二织物末端1231B。末端1231A和末端1231B是固定到本体1210的一个织物条带的两端。环形织物件1232B附接到末端1231B的内表面，而环形织物件1232A附接到末端1231A的外表面。

第一方位追踪传感器1211被附接到该第一指环1220。第二方位追踪传感器1212被附接到该第二指环1230。这些方位追踪传感器可以是以上说明的传感器元件中的任何一个。在一个例子中，方位追踪传感器1211、1212是无源电磁传感器。

代理视像系统

在一个方面，使用手追踪控制系统来控制外科医生可用来代理另一个外科医生的多个代理视像中的任何一个。例如，当外科医生181使用主要手指追踪夹具170来代理/监导（proctor）外科医生180（图1A）时，外科医生181使用主要手指追踪夹具170来控制一个手术器械的代理视像，而外科医生180使用该主要工具夹具来控制一个遥控操作的从手术器械。

替代的，外科医生181可以在显示器中远程图显或可以控制在显示器中的一只虚拟的手。而且，外科医生181可以通过操纵主要工具夹具621被呈现在显示器上的虚像从而在外科医生控制台上演示如何操纵该主要工具夹具。代理视像的这些例子仅是示意性的并且不旨在进行限制。

此外，不在外科医生控制台旁使用主要手指追踪夹具170仅是示意性的并且不旨在进行限制。例如，利用以上说明的存在性探测系统，在外科医生控制台旁的外科医生可以从一个主要工具夹具移开一只手，并且接着这只手被手追踪系统追踪时使用这只手来代理另一个外科医生。

为了协助代理，在一个方面将一个代理视像模块（未显示）被处理为一个视觉处理子系统的一个部分。在这个方面，执行模块接收了代理的手的控制点的位置和取向并且生成立体图像，这些图像与内窥镜橡机图像进行实时复合并且显示在外科医生控制台185、辅助显示器以及病人侧外科医生界面显示器187的任何组合上。

当外科医生181开始通过采取一个预定的动作（例如一个手势姿态）而进行代理时，启动了一个代理视像系统回路，例如，在一个处理器模块上执行代理视像模块。这个用作预定动作的具体动作（例如手势姿态）不是关键的，只要系统控制器140（图1）被配置为辨识出这个动作即可。

在一个方面，代理视像是由主要手指追踪夹具170控制的一个虚拟的幻影器械1311（图13），而遥控操作的从手术器械1310由外科医生控制台185的这些主要工具操纵器之一来控制。外科医生181在显示装置187中看见了器械1310和1311二者，而外科医生180在外科医生控制台185的立体显示器中看见了器械1310和1311二者。使用虚拟的幻影器械1311作为代理视像仅是示意性的并且不旨在限制于这个具体的图像。鉴于本披露，针对代理视像可以使用其他图像，这有助于在代表代理视像的图像与该遥控操作的从手术器械的实际末端执行器的图像之间进行区分。

虚拟的幻影器械1311似乎与实际器械1310类似，除了虚拟的幻影器械1311的显示方式清楚地将虚拟的幻影器械1311与实际器械1310区分开（例如，透明的或半透明的幻影状图像、颜色清楚的图像等等）。虚拟的幻影器械1311的控制和操作与以上对于实际的遥控操作的手术器械所描述的相同。因此，外科医生181可以使用主要手指追踪夹具170来操纵虚拟的幻影器械1311从而演示遥控操作的从手术器械1310的正确使用。外科医生180可以用器械1310来模仿虚拟的幻影器械1311的运动。

虚拟的幻影器械更全面地描述于共同指定的美国专利申请公开号US 2009/0192523 A1（2009年3月31日提交，披露了“SyntheticRepresentation of a Surgical Instrument（手术器械的综合表现）”）中，将其通过引用以其整体结合在此。还参见美国专利申请号12/485,503（2009年6月16日提交，披露了“Virtural Measurement Tool for MinimallyInvasive Surgery（用于微创手术的虚拟测量工具）”）；美国专利申请号12/485,545（2009年6月16日提交，披露了“Virtual Measurement Tool forMinimally Invasive Surgery（用于微创手术的虚拟测量工具）”）；美国专利申请公开号US 2009/0036902 A1（2008年8月11日提交，披露了“Interactive User Interfaces for Robotic Minimally Invasive Surgical Systems（用于机器人微创手术系统的交互式用户界面）”）；美国专利申请公开号US 2007/0167702 A1（2005年12月30日提交，披露了“Medical RoboticSystem Providing Three-Dimensional Telestration（提供三维远程图显的医用机器人系统）”）；美国专利申请公开号US 2007/0156017 A1（2005年12月30日提交，披露了“Stereo Telestration for Robotic Surgery（用于机器人手术的立体远程图显）”）以及美国专利申请公开号US2010/0164950 A1（2009年5月13日提交，披露了“Efficient 3-DTelestration for Local Robotic Proctoring（用于现场机器人代理的有效3D远程图显）”），各自通过引用以其全文结合在此。

在另一个方面，代理视像是由主要手指追踪夹具170及第二主要手指追踪夹具（在图1中不可见）控制的一双虚拟的手1410、1411（图14）。遥控操作的从手术器械1420、1421由外科医生控制台185的主要工具操纵器控制。外科医生181在显示装置187中看见了视频图像1400，而外科医生180也在外科医生控制台185的立体显示器中看见了视频图像1400。虚拟的手1410、1411的显示方式清楚地将它们与视频图像1400中的其他物体区分开。

使用抓握闭合参数g_抓握来控制一只虚拟的手的拇指和食指的打开和闭合（如以上描述的）。这只虚拟的手的位置和取向由控制点的位置和取向来控制（如以上描述的），它们被映射到眼睛坐标空间中，这也是以上描述过的。

因此，随着外科医生181在三维上移动外科医生的右手，虚拟的手1411在视频图像1400中跟随这种移动。外科医生181可以滚动虚拟的手1411来指示外科医生180去滚动该遥控操作的从手术器械1421。外科医生181可以将虚拟的手1410移动到一个特定方位并接着用拇指和食指的移动来指示外科医生180将遥控操作的从手术器械1420移动至这个方位并抓握组织。当外科医生180用器械1420抓握组织时，外科医生181可以使用虚拟的手1410告诉外科医生180如何移动该组织。这全都实时发生并且虚拟的手1410、1411在立体内窥镜图像中是重叠的。然而，这些代理视像也可以用于单像系统中。

在另一方面，外科医生181使用一个手势姿态来改变显示模式，使得代理视像是一个虚拟的幻影器械1510和一个虚拟的远程图显装置1511，这些被呈现在视频图像1500中（图15）。远程图显装置1511由主要手指追踪夹具170控制，而第二主要手指追踪夹具（在图1中不可见）控制虚拟的幻影器械1511。

遥控操作的从手术器械1520、1521由外科医生控制台185的主要工具操纵器控制。外科医生181在显示装置187中看见了视频图像1500，而外科医生180也在外科医生控制台185的立体显示器中看见了视频图像1500。虚拟的远程图显装置1511和虚拟的幻影器械1411的显示方式清楚地将它们与视频图像1500中的其他物体区分开。

为了用虚拟的远程图显装置1511进行远程图显，外科医生181将拇指和食指放置为就好像抓握一个假想的钢笔或铅笔并且接着以这个位置的拇指和食指来移动右手以便在显示的视频图像中进行远程图显。在视频图像1500中，外科医生181如此放置拇指和食指并且做出标记1512，以展示使用手术器械1521来切割哪里的组织。在做出标记1512之后，外科医生1810分开拇指和食指并将虚拟的远程图显装置1511移动至视频图像1500中显示的位置。

使用抓握闭合参数g_抓握来控制虚拟的远程图显装置1511的做标记能力（这是以上说明过的）。如以上指出的，当拇指和食指刚好碰触时，抓握闭合参数g_抓握被映射到在第二范围内的一个初始值，并且因此当抓握闭合参数g_抓握位于该第二范围内时，针对远程图显装置1511使能/激活远程图显。控制点的位置和取向在被映射到眼睛坐标系中之后被用来控制虚拟的远程图显装置1511的运动。

以上这些展示了本发明的多个发明和实施方案的说明和附图不应被认为是限制性的，权利要求书限定了受保护的发明。可以进行各种机械的、组成的、结构的、电气的以及操作的改变，而不偏离被说明书和权利要求书的精神和范围。在一些情况下，为了避免使本发明不清楚，没有对熟知的电路、结构以及技术进行详细地显示或说明。

另外，本说明的术语不旨在限制本发明。例如，空间相关术语，例如“之下”、“以下”、“下部”、“之上”、“上面”、“近侧”、“远侧”等，可以用于描述如在这些图中展示的一个元件或特征与另一个元件或特征的关系。这些空间相关术语旨在包括除了图中所示的位置和取向之外，使用或操作中设备的不同位置（即，方位）以及取向（即，旋转布局）。例如，如果这些图中一个设备被翻转，描述为在其他元件或特征“以下”或“之下”的元件则应当在这些其他元件或特征以上或之上。因此，示例性术语“之下”可以包括之上和之下的位置和取向两者。另外地一个设备可以被其他方式定向（旋转90度或以其他方向）并且因此用在此使用的空间相关描述语进行解释。类似地，沿着并且环绕各个轴线移动的说明包括各种特定的设备位置和取向。

单数形式“一”、“一个”和“该”也旨在包括复数形式，除非在上下文中另外地指出。术语“包括”、“包括了”、“包含”等限定了所述特征、步骤、操作、元件和/或部件的存在但不排除一种或多种其他特征、步骤、操作、元件、部件和/或组的存在或加入。描述为联接的部件可以是电性地或机械地直接联接，或它们可以是通过一个或多个中间部件的间接联接。

存储器是指易失性存储器、非易失存储器或这两者的任何组合。一个处理器连接在一个含有该处理器所执行的指令的存储器上。这可以在一个计算机系统内或者替代地通过调制解调器和模拟线而连接到另一个计算机上或者通过数字接口以及数字进位线来实现连接。

在此，一个计算机程序产品包括如下介质：被配置来储存这些关于手追踪而描述的过程的任何一种或任何组合所需要的计算机可读代码或者在其中储存了这些关于手追踪而描述的过程的任何一种或任何组合所需要的计算机可读代码。计算机程序产品的一些例子有CD-ROM磁盘、DVD磁盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器以及网络上发送的代表计算机可读程序代码的信号。一个非瞬时的实体计算机程序产品包括如下的非瞬时的实体介质：被配置来储存这些关于不同控制器而描述的过程的任何一种或任何组合所需要的计算机可读代码或者在其中储存了这些关于不同控制器而描述的过程的任何一种或任何组合所需要的计算机可读代码。非瞬时的实体计算机程序产品有CD-ROM磁盘、DVD磁盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器以及其他非瞬时的实体储存介质。

鉴于本披露，在关于手追踪而描述的过程的任何一种或任何组合中使用的指令可以在多种多样的计算机系统配置中使用一个使用者感兴趣的操作系统和计算机程序语言来实施。

图1中不同存储器和处理器的使用仅是展示性的并且不旨在进行限制。在一些方面，可以使用单个硬件处理器并且在其他方面可以使用多个处理器。

而且，对于每个图示，这些不同的过程分布在一个手追踪控制器与一个系统控制器之间。这也仅是展示性的并且不旨在进行限制。这些不同的过程可以分布在多个控制器上或结合在一个控制器中而不改变该手追踪过程的操作原理。

所有例子和展示的参考文献都是非限制性的并且不应该被用来将权利要求限制为在此说明的具体的实现方式和实施方案以及它们的等效物。这些标题仅用于格式化并且不应该被用来以任何方式限制其主题，因为一个标题下的文本可以交叉引用或应用于一个或多个标题下的文本。最后，鉴于本披露，关于一个方面或实施方案所说明的具体特征可以应用于本发明的其他披露的方面或实施方案，即使它们并未在附图中明确显示出或以文本形式进行说明。

Claims (18)

1.一种方法，包括：

追踪被安装在人手的一部分上的一个传感器元件以获得该人手的该部分的方位；

判定该人手的该部分的位置距离微创手术系统的一个主要工具夹具的位置是否位于一个阈值距离之内；并且

基于这种判定的结果来控制该微创手术系统的操作。

2.如权利要求1所述的方法，其中该控制包括：

当该距离小于阈值时，允许遥控操作被联接到该主要工具夹具的一个遥控操作的从手术器械；并且

当该距离大于该阈值时，停止遥控操作该遥控操作的从手术器械。

3.如权利要求1所述的方法，其中该控制包括：

当该距离小于阈值时，切断该微创手术系统的一个显示器上的用户界面；并且

当该距离大于该阈值时，接通该微创手术系统的该显示器上的该用户界面。

4.如权利要求1所述的方法，该人手的该部分的位置包括一个控制点位置。

5.如权利要求1所述的方法，其中，该人手的该部分的位置包括一个食指位置。

6.如权利要求2所述的方法，其中，该人手的该部分的方位包括一个追踪到的位置，并且其中该判定进一步包括：

将该追踪到的位置映射为在公共坐标系内的第一位置；并且

将该主要工具夹具的位置映射为在该公共坐标系内的第二位置。

7.如权利要求6所述的方法，其中该判定进一步包括：

在该公共坐标系内产生该第一位置与该第二位置之间的距离；并且

将该距离与该阈值距离进行比较。

8.如权利要求1所述的系统，其中被安装在该人手的该部分上的该传感器元件包括多个基准标记。

9.如权利要求1所述的系统，其中被安装在该人手的该部分上的该传感器元件包括一个无源电磁传感器。

10.一种微创手术系统，包括：

具有第一方位的一个主要工具夹具；

一个手追踪系统，其中该手追踪系统追踪被安装在人手的一部分上的一个传感器元件的第二方位；以及

被联接到该手追踪系统的一个控制器，其中该控制器判定该人手的该部分的位置与该主要工具夹具的位置之间的距离是否位于阈值距离内，并且基于该判定的结果将系统事件注入到该微创手术系统中。

11.如权利要求10所述的系统，其中，当该距离大于该阈值距离时，该事件是手不存在事件。

12.如权利要求10所述的系统，其中，当该距离小于该阈值距离时，该事件是手存在事件。

13.如权利要求10所述的系统，其中，该人手的该部分的位置包括在该第二方位中的一个食指位置。

14.如权利要求10所述的系统，其中，该人手的该部分的位置包括由该第二方位确定的一个控制点位置。

15.如权利要求10所述的系统，其中被安装在该人手的该部分上的该传感器元件包括多个基准标记。

16.如权利要求10所述的系统，其中被安装在该人手的该部分上的该传感器元件包括一个无源电磁传感器。

17.如权利要求10所述的系统，进一步包括：

一个处理单元；

被配置为接收该系统事件的一个系统控制器；

由执行该处理器单元的一个模块产生的一个用户界面；以及

一个显示装置，

其中当该系统事件是手不存在事件时，该系统控制器接通该用户界面在该显示装置上的显示；并且

其中当该系统事件是手存在事件时，该系统控制器切断该用户界面在该显示装置上的显示。

18.如权利要求10所述的系统，进一步包括：

可联接到该主要工具夹具并可与之断开联接的一个遥控操作的微创手术器械；以及

被配置为接收该系统事件的一个系统控制器；

其中当该系统事件是手存在事件并且该遥控操作的手术器械被联接到该主要工具夹具时，该系统控制器允许遥控操作该遥控操作的微创手术器械；并且

其中当该系统事件是手不存在事件时，该系统控制器停止遥控操作该遥控操作的微创手术器械。

Images