CN110236693A - 用于遥控操作医疗系统中的器械的屏外指示的系统和方法 - Google Patents

Abstract

本申请涉及用于遥控操作医疗系统中的器械的屏外指示的系统和方法。一种医疗成像系统，其包含遥控操作的组件和处理单元，遥控操作的组件被配置为控制包括器械尖端的医疗器械的移动，并且处理单元包括一个或多个处理器。处理单元被配置为确定器械尖端方位以及确定与器械尖端方位相关的方位误差。该处理单元还被配置为基于方位误差确定至少一个器械尖端包围盒，以及确定器械尖端是否在成像器械的视野内。

Description

用于遥控操作医疗系统中的器械的屏外指示的系统和方法

本申请是于2015年3月17日提交的名称为“用于遥控操作医疗系统中的器械的屏外指示的系统和方法”的中国专利申请201580025502.2(PCT/US2015/021109)的分案申请。

优先权

本专利申请要求2014年3月17日提交的名为“Systems and Methods forOffscreen Indication of Instruments in a Teleoperational Medical System”的美国临时专利申请US 61/954,442的申请日的优先权和利益，其全部内容通过引用合并于此。

技术领域

本公开涉及用于执行遥控操作的医疗程序的系统和方法，并且更具体地涉及用于提供位于内窥镜的视野外的遥控操作器械的位置的指示的系统和方法。

背景技术

微创医疗技术试图减少在侵入性医疗程序期间被损坏的组织的量，由此减少患者的康复时间、不适性以及有害的副作用。这种微创技术可以通过患者身体中的自然孔口或通过一个或多个手术切口而被执行。通过这些自然孔口或切口，临床医生可以插入医疗工具以到达目标组织位置。微创医疗工具包括像治疗器械、诊断器械和手术器械的此类器械。微创医疗工具还可以包括如内窥镜器械的成像器械。成像器械为使用者提供患者身体结构内的视野。一些微创医疗工具和成像器械可以是遥控操作的或否则是计算机辅助的。在遥控操作的医疗系统中，器械可以在由成像器械提供的视野中对使用者不可见的情况下而被控制。视野外器械的不经意的移动会造成安全风险。另外，临床医生可能丢失位于视野外的器械的轨迹。需要系统和方法来为临床医生提供视野外的器械的位置的指示，同时最小化错误指示的情况。

发明内容

本发明的实施例由随后的权利要求来概括。

在一个实施例中，一种医疗成像系统包含遥控操作的组件和处理单元，遥控操作的组件被配置为控制包括器械尖端的医疗器械的移动，处理单元包括一个或多个处理器。该处理单元被配置为确定器械尖端方位并且确定与该器械尖端方位相关的方位误差。该处理单元还被配置为基于该方位误差确定至少一个器械尖端包围盒(bounding volume)并且确定器械尖端是否在成像器械的视野内。

在另一个实施例中，一种成像的方法包含确定受遥控操作的组件控制的医疗器械的器械尖端方位并且确定与器械尖端方位相关的方位误差。该方法进一步包含基于该方位误差确定至少一个器械尖端包围盒并且确定器械尖端是否在成像器械的视野内。

附图说明

通过结合附图阅读下面的具体实施方式，将最好地理解本公开的各方面。强调的是，根据本行业的标准实践，各种特征都未按比例绘制。实际上，为了讨论清楚起见，可以任意地增大或减小各种特征部的尺度。此外，本公开在各种示例中可重复附图标号和/或字母。这种重复是为了简化和清楚起见，而其本身并不表示所讨论的各种实施例和/或配置之间的关系。

图1A是根据本公开的实施例的遥控操作的医疗系统的示意图。

图1B是根据许多实施例的用于遥控操作的医疗系统的外科医生的控制台的透视图。

图1C是根据许多实施例的遥控操作的医疗系统电子装置推车的透视图。

图1D是根据本文描述的原理的一个示例的患者侧推车的透视图。

图2A图示说明在第一取向中的离轴内窥镜成像器械。

图2B图示说明在第二取向中的图2A的离轴内窥镜成像器械。

图2C图示说明图2A的离轴内窥镜成像器械的远端。

图3图示说明成像器械视野周围的手术工作区。

图4A图示说明手术工作区的视野，其中在该视野中具有两个器械。

图4B-4D图示说明图4A的手术工作区的其他视野，其中一个器械在视野外。

图4E图示说明图4A的手术工作区的另一个视野，其中两个器械都在视野外。

图4F图示说明图4的手术工作区的另一个视野，其中一个器械位于该视野的边界附近。

图5图示说明了手术工作区，其环绕成像器械视野并且包括具有误差包围盒的器械。

图6是用于确定器械是否在视野外的方法。

图7是用于评估器械尖端方位的方法。

图8是用于估计在成像器械坐标空间中的器械尖端方位误差的方法。

图9是用于确定在屏幕坐标空间中的器械尖端包围盒的方法。

图10是用于确定器械尖端是否在成像器械视野外的方法。

图11是用于图6的方法中的偏差曲线。

图12-15图示说明在确定器械尖端是否在成像器械视野外时距离成像器械的器械尖端距离的影响。

具体实施方式

为了促进对本公开的原理的理解，现在参考附图中图示说明的实施例，并且特定语言将被用于所述实施例。虽然如此，将会理解的是不意图限制本公开的范围。在本发明的各个方面的以下详细说明中，为了提供公开的实施例的全面理解，许多特定细节被提出。然而，本领域的技术人员将明白本公开的实施例可以在没有这些特定细节的情况下实施。在其他情况下众所周知的方法、程序、部件和电路不用被详细地描述，以便不会使本发明的实施例的多个方面不必要地难以理解。

对所述装置、器械、方法的任何改变和进一步的修改，以及本公开原理的任何进一步的应用被完全地设想为本公开所属技术领域内的技术人员通常是可以想到的。特别地，可以完全设想针对一个实施例描述的特征、部件和/或步骤可以与针对本公开的其他实施例描述的特征、部件和/或步骤组合。另外，本文提供的尺度是用于特定示例，并且可设想不同的尺寸、尺度和/或比例可以被使用以实施本公开的概念。为了避免不必要的重复，参照一个说明性实施例描述的一个或多个部件或动作当适用于其他说明性实施例时能够被使用或被省略。为了简洁，这些组合的反复重复将不被分别描述。为了简单起见，在一些实例中，相同的参考数字在整个附图中被用来指相同或相似的零件。

下面的实施例将根据各种器械以及器械的部分在三维空间中的状态来描述它们。如本文所使用的，术语“方位”指的是对象或对象的部分在三维空间(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)中的位置。如本文所使用的，术语“取向”指的是对象或对象的部分的旋转布置(三个旋转自由度—例如，滚转、俯仰和横摆)。如本文所使用的，术语“姿态”指的是对象或对象的部分在至少一个平移自由度中的方位并且指的是对象或对象的部分在至少一个旋转自由度中的取向(多达六个自由度)。如本文所使用的，术语“形状”指的是沿对象测量的一组姿态、方位或取向。

参考附图的图1A，例如，用于包括诊断、治疗或手术程序的医疗程序的遥控操作的医疗系统总体由参考数字10表示。如将描述的，本公开的遥控操作的医疗系统受外科医生的遥控操作的控制。在可替换的实施例中，遥控操作的医疗系统可以受计算机部分控制，该计算机被编程以执行程序或子程序。在其他可替换的实施例中，在被编程以执行程序或子程序的计算机的完全控制下，全自动医疗系统可以被用于执行程序或子程序。如图1A所示，遥控操作的医疗系统10总体包括安装到手术台O上或其附近的遥控操作的组件12，其中患者P被放置在手术台O上。遥控操作的组件12可以被称为患者侧推车。医疗器械系统14和内窥镜成像系统15被可操作地耦接到遥控操作的组件12。操作者输入系统16允许外科医生或其他临床医生S观察手术部位的图像或表示手术部位的图像并且控制医疗器械系统14和/或内窥镜成像系统15的操作。

操作者输入系统16可以位于外科医生的控制台处，外科医生的控制台通常与手术台O位于相同的房间内。然而，应当明白的是，外科医生S可以与患者P处于不同的房间内或与患者P处于完全不同的建筑内。操作者输入系统16总体包括用于控制医疗器械系统14的一个或多个控制装置。控制装置可以包括任何数量的各种输入装置中的一个或多个(诸如，手持夹具、操纵杆、轨迹球、数据手套、触发枪、手动控制器、声音识别装置、触摸屏、身体动作或存在传感器等)。在一些实施例中，控制装置将被提供与遥控操作的组件的医疗器械相同的自由度以向外科医生提供远程呈现(telepresence)，这种控制装置与器械为一体的感知，以便于外科医生具有直接控制器械的强烈感觉，就如同在手术部位处一样。在其他实施例中，控制装置可以具有比相关联的医疗器械更多或更少的自由度，并且仍向外科医生提供远程呈现。在一些实施例中，控制装置是手动输入装置，其具有六个自由度的移动，并且还包括用于致动器械的可致动手柄(例如，用于闭合抓取钳口、将电位施加到电极、递送药物治疗等)。

当外科医生S通过控制台16观察手术部位时，遥控操作的组件12支撑并操纵医疗器械系统14。通过内窥镜成像系统15(诸如，立体成像内窥镜)能够获得手术部位的图像，其中内窥镜成像系统15能够被遥控操作的组件12操纵以定向内窥镜15。电子装置推车18能够被用于处理手术部位的图像以便随后通过外科医生的控制台16显示给外科医生S。同时使用的医疗器械系统14的数量通常取决于诊断程序或手术程序和手术室内的空间限制等其他因素。遥控操作的组件12可以包括一个或多个非伺服控制的连杆的运动结构(例如，可以被手动定位且锁定在适当位置的一个或多个连杆，通常被称为装配结构)和遥控操作的操纵器。遥控操作的组件12包括多个马达，这些马达驱动医疗器械系统14上的输入端。这些马达响应于来自控制系统(例如，控制系统20)的命令移动。马达包括驱动系统，当驱动系统耦接到医疗器械系统14时，驱动系统可以推动医疗器械进入自然或通过手术形成的解剖孔口。其他机动的驱动系统可以沿多个自由度移动医疗器械的远端，所述多个自由度可以包括线性运动的三个维度(例如，沿X，Y，Z笛卡尔坐标轴的线性运动)和旋转运动的三个维度(例如，围绕X，Y，Z笛卡尔坐标轴的旋转)。另外，马达可以被用于致动器械的铰接的末端效应器用于抓取活组织检查装置等的钳口中的组织。

遥控操作的医疗系统10还包括控制系统20。控制系统20包括至少一个存储器和至少一个处理器(未被示出)，并且通常是多个处理器，所述处理器用于影响医疗器械系统14、操作者输入系统16，和电子系统18之间的控制。控制系统20还包括编程指令(例如，计算机可读介质储存的指令)以实施依照本文公开的各个方面描述的一些或所有方法。虽然在图1A的简化示图中控制系统20被示出为单个方框，但是该系统可以包括两个或更多个数据处理电路，其中该处理电路的一部分在遥控操作的组件12上或在其附近可选地被执行，该处理电路的另一部分在操作者输入系统16等处被执行。可以应用各种各样的中心式或分布式数据处理架构中的任一种。同样地，编程指令可以被实施为若干个单独的程序或子例程，或者它们可以被集成到本文描述的遥控操作的系统的若干个其他方面。在一个实施例中，控制系统20支持无线通信协议，诸如蓝牙、红外线数据协议(IrDA)、无线射频(HomeRF)、IEEE802.11、DECT和无线遥测。

在一些实施例中，控制系统20可以包括一个或多个伺服控制器，该一个或多个伺服控制器接收来自医疗器械系统14的力和/或扭矩反馈。响应于该反馈，该伺服控制器将信号传输到操作者输入系统16。(一个或多个)伺服控制器也可以传输信号，该信号指令遥控操作的组件12移动医疗器械系统(多个)14和/或内窥镜成像系统15经由身体中的开口延伸到患者身体内的内部手术部位。可以使用任意适合的常规的或专用的伺服控制器。伺服控制器可以与遥控操作的组件12分开或与其是一体的。在一些实施例中，伺服控制器和遥控操作的组件可以作为位于患者身体附近的遥控操作的臂推车的一部分被提供。

遥控操作的医疗系统10可以进一步包括可选的操作系统和支持系统(未被示出)，诸如照明系统、操纵控制系统、冲洗系统和/或抽吸系统。在可替换的实施例中，遥控操作的系统可以包括多于一个的遥控操作的组件和/或多于一个操作者输入系统。操纵器组件的准确数目将基于手术程序和手术室内的空间限制以及其他因素。操作者输入系统可以被搭配，或它们可以被定位在分开的位置。多重操作者输入系统允许多于一个操作者以各种组合控制一个或多个操纵器组件。

图1B是外科医生的控制台16的透视图。外科医生的控制台16包括用于向外科医生S展示手术部位的经协调的立体视图的左眼显示器32和右眼显示器34，其中手术部位的经协调的立体视图能够实现深度感知。控制台16进一步包括一个或多个输入控制装置36，这些控制装置进而使遥控操作的组件12操纵一个或多个器械或内窥镜成像系统。输入控制装置36能够提供与其相关的器械14相同的自由度，以向外科医生S提供远程呈现或该输入控制装置36与器械14为一体以便于外科医生具有直接控制器械14的强烈感觉的感知。鉴于此，可以应用方位、力和触觉反馈传感器(未被示出)，以将方位、力和触觉感觉从器械14通过输入控制装置36传输回外科医生的手。

图1C是电子装置推车18的透视图。电子装置推车18可以与内窥镜15耦接并且可以包括处理器以处理捕获的图像用于随后显示，诸如显示给在外科医生控制台处的外科医生或显示给在位于本地和/或远程的另一个适合的显示器处的外科医生。例如，当立体成像内窥镜被使用时，电子装置推车18可以处理捕获的图像以向外科医生展示手术部位的经协调的立体图像。这种协调可以包括相对图像之间的对准并且可以包括调节立体成像内窥镜的立体工作距离。作为另一个示例，图像处理可以包括使用预先确定的相机校准参数，以补偿图像捕获装置的成像误差(例如，光学像差)。电子装置推车18还可以包括显示监视器和控制系统20的部件。

图1D是遥控操作的组件12的一个实施例的透视图，所述遥控操作的组件可以被称为患者侧推车。所示的患者侧推车12提供了三个手术工具26(例如，器械系统14)和成像装置28(例如，内窥镜成像系统15)的操纵，所述成像装置诸如是被用于捕获手术部位的图像的立体成像内窥镜。该成像装置可以将信号通过电缆56传输到电子装置推车18。操纵由具有多个关节的遥控操作机构提供。成像装置28和手术工具26可以被定位并且被操纵穿过患者内的切口，以便于运动远程中心被保持在切口处，以最小化该切口的尺寸。当手术工具26的远端被定位在成像装置28的视野内时，手术部位的图像可以包括手术工具26的远端的图像。

患者侧推车22包括可驱动的底座58。该可驱动的底座58被连接到可伸缩套筒柱57，该可伸缩套筒柱允许调整臂54的高度。臂54可以包括旋转关节55，该旋转关节55既可旋转也可向上和向下移动。每个臂54可以被连接到定向平台53。定向平台53可以能够360度旋转。患者侧推车22还可以包括可伸缩水平悬臂52，用于在水平方向上移动定向平台53。

在本示例中，每个臂54连接到操纵器臂51。操纵器臂51可以经由操纵器梁59直接连接到医疗器械26。操纵器臂51可以遥控操作。在一些示例中，连接到定向平台的臂54不可遥控操作。更确切地说，在外科医生18用遥控操作的部件开始手术之前根据需要定位这种臂54。

内窥镜成像系统(例如，系统15、28)可以被提供多个配置，所述配置包括刚性或柔性内窥镜。刚性内窥镜包括容纳中继透镜系统的刚性管，该中继透镜系统用于将图像从内窥镜的远端传输到近端。柔性内窥镜使用一个或多个柔性光纤传输图像。内窥镜可以装配有不同的视角，这些视角包括用于向前轴向观察的0°视角或向前倾斜观察的0°-90°之间的视角。以数字图像为基础的内窥镜具有“芯片在尖端”设计，其中远端数字传感器诸如一个或多个电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)装置储存图像数据。内窥镜成像系统可以为观察者提供二维或三维图像。二维图像可以提供有限的深度感知。三维立体内窥镜图像可为观察者提供更精确的深度感知。立体内窥镜器械应用立体摄像机来捕获患者解剖结构的立体图片。图2A图示说明刚性离轴立体内窥镜成像器械100，其包括手柄102和刚性耦接到手柄的轴104。滚转适配器106可旋转地耦接到轴104和/或手柄102。轴包括远端108和近端110并且容纳远端图像储存装置、透镜系统、光纤或其他立体图像捕获和传输部件(未被示出)。轴104沿光学轴线OA延伸。如图2C所示，器械100具有视角112和锥形光学视野114。在这个实施例中，该视角大约30°，但是可以是适于相对于光学轴线OA倾斜角度观察的任意角度。响应于手动控制或遥控操作的控制，该遥控操作的组件(例如，组件12)可以被操作以围绕光学轴线OA旋转成像器械100，其中包括旋转器械主体102和轴104。图2A图示说明成像器械100相对于光学轴线OA具有-30°角度或向下角度。图2B图示说明被旋转180°的成像器械100，其相对于光学轴线OA具有+30°角度或向上角度。术语“上面”、“下面”、“向上”、“向下”只被用于说明的目的以标注大致相反的方向并且不旨在进行限制。

图3图示说明了围绕成像器械204(例如，成像器械15、100)的成像器械视野202的手术工作区200。成像器械204具有远端205。两个手术器械206、208(例如，器械14)在工作区200内可操作。在这个实施例中，视野202具有三维椎体的平截头体形状。如果成像器械204是具有两个成像装置的立体成像器械，那么成像器械的视野是成像器械的每个成像装置的三维锥体的平截头体的组合体(combined volume)。在可替换的实施例中，成像器械或成像装置的三维视野可以是锥形平截头体形状。医疗器械206包括远端器械尖端210，在这个实施例中，远端器械尖端是双指可致动的尖端，该双指可致动的尖端包括近端尖端部分212、第一远端尖端部分214和第二远端尖端部分216。同样地，医疗器械208包括远端器械尖端218，在这个实施例中，该远端器械尖端218是双指可致动的尖端，该双指可致动的尖端包括近端尖端部分220、第一远端尖端部分222和第二远端尖端部分224。

在图3的配置中，医疗器械206、208在成像器械204的视野外。器械206、208在成像器械204的视野内还是视野外的确定可以基于器械远端尖端210、218的计算后的位置，如图7进一步详细描述。图3的手术工作区具有用于世界空间的世界坐标系统(X_W、Y_W、Z_W)，并且成像器械的远端具有用于内窥镜空间的成像或内窥镜坐标系统(X_I、Y_I、Z_I)。

图4A图示说明了手术工作区200内成像器械204的视野231的经显示的图像230。器械206、208在显示的图像230中是可见的。在这个配置中，器械206、208被认为“在屏幕上”，也就是说，在显示图像230的显示屏幕上。视野231具有边界232。显示的图像具有用于显示器或屏幕空间的显示器或屏幕坐标系统(X_S、Y_S、Z_S)。在立体影像成像系统中，具有用于左屏幕和右屏幕的每个的分离的屏幕坐标系统。

图4B图示说明了在手术工作区200内的成像器械204的视野241的经显示的图像240。视野241具有边界242。器械204的视野可以被改变，例如放大、缩小、以俯仰运动移动、以横摆运动移动或在向上的视角和向下的视角之间滚转。器械206保持在视野241内，并且因此在显示的图像240中是可见的。因此，器械206被认为在屏幕上。器械208不在视野241内，并且因此在显示的图像240中是不可见的。因此，器械208被认为在屏幕外。

因为器械206、208可以在视野中对临床医生是不可见的情况下被遥控操作控制，所以器械在视野外的不经意的移动会造成安全风险。另外，临床医生可能丢失位于视野外的器械的轨迹。为了降低这些风险，视野外器械指示符可以在视觉上或听觉上展现出来，以增加临床医生对在视野内不可视的器械的位置的意识。例如，如图4B所示，视野外器械指示符244沿视野241的边界242被提供以便指示大致在该指示符的方向上指示器械208位于视野外。在这个实施例中，指示符244是图形条，但是在其他实施例中，指示符可以是一连串的点或图标、字母-数字指示符。除了视觉指示符244之外或作为视觉指示符244的替换，诸如警笛声或基于语言的指令的可听得见的视野外指示符可以警示临床医生器械208在视野外。这种可听见的提示可以在外科医生的控制台的左侧扬声器与右侧扬声器之间盘旋(pan)以加强器械相对于视野的方位。可替换地，可听见的提示可以从与左手控件或右手控件对应的左侧扬声器或右侧扬声器发出，其中左手控件或右手控件与器械相关联。除了视觉指示符244之外或作为视觉指示符244的替换，与视野外器械相关联的文本信息246可以被提供以警示临床医生和/或以提供关于器械的识别信息或使器械显现的指令。

在各个实施例中，视野外指示符的使用可以被限制，以避免使临床医生分散注意力。视野外指示符的使用可以是环境敏感的，以便于视野外指示符可以仅在遥控操作的系统的某些操作模式期间被显示。例如，视野外指示符可以在系统的某种模式期间被显示，在这种模式下操作者控制成像系统的移动，这种模式可以被称为摄像机控制模式。作为另一个示例，视野外指示符可以在系统等待来自操作者的为控制相关联的器械的输入时被显示。作为另一个示例，视野外指示符可以在操作者控制器械的移动的系统模式开始之后被显示持续几秒钟，这种模式是已知的跟随模式。在其他可替换的实施例中，视野外指示符可被禁用，或者当临床医生想要了解视野外器械的位置时，视野外指示符可以被选择性启用。在一些实施例中，在视野外器械的操作被启用之前，临床医生必须提供器械尖端在视野外的确认。附加的警告或确认可以被用于能量释放装置、锋利装置或如果在不可视的情况下使用会使患者风险增加的装置。在一些实施例中，视野外指示符可以被提供用于在视野内但是由于闭塞的组织或其他结构而不可见的器械。

图4C图示说明在将成像器械204从图4B中的位置或取向移动之后在手术工作区200中成像器械204的视野251的显示的图像250。视野251具有边界252。器械206保持在视野251内，并且因此在显示的图像250中是可见的。器械208在视野251外，并且因此在显示的图像250中是不可见的。视野外指示符244已经沿边界252被重新定位到不同的位置以在成像器械已经移动之后反映视野外的器械的位置。在一些实施例中，当成像器械移动时，指示符244的总长度可以保持相同。在可替换的实施例中，指示符可以用刻度指示视野外器械距离视野的距离。

图4D图示说明在将成像器械204从图4C中的位置或取向移动之后在手术工作区200中成像器械204的视野261的显示的图像260。该视野261具有边界262。器械206保持在视野261内，并且因此在显示的图像260中是可见的。器械208在视野261外，并且因此在显示的图像260中是不可见的。视野外指示符244沿边界262进一步被重新定位以在成像器械已经移动之后反映视野外的器械的位置。

图4E图示说明在将成像器械204从图4A中的视角向上配置滚转到视角向下配置之后手术工作区200中成像器械204的视野271的显示的图像270。视野271具有边界272。器械206和208两者都在视野271外，并且因此在显示的图像270中不可见。视野外指示符244指示视野外的器械208的大致方向，并且视野外指示符274指示视野外的器械210的大致方向。

图4F图示说明手术工作区200中成像器械204的视野281的显示的图像280。视野271具有边界282。器械206和208两者都在视野281内，并且因此在显示的图像280中是可见的。可以提供警示指示符284来指示器械尖端218正靠近边界282。在这个实施例中，警示指示符284是环，但是在可替换的实施例中，可以是另一类型的图形符号或听觉指示符。该指示符可以随着尖端218的移动越是靠近边界282而变化(例如，闪烁)。当任一器械尖端在距边界282预先限定的距离内(例如，1cm)移动时，该警示指示符284可以出现在显示的图像280中。

如上所述，器械206、208在成像器械204的视野内还是在所述视野外的确定可以基于器械远端尖端210、218的计算位置。因为与遥控操作的系统、器械和/或成像系统相关的小的误差因子，器械远端尖端210、218相对于成像器械204的位置的确定具有相关的累积误差因子。为了避免为临床医生提供误报视野外指示符，器械尖端是否在成像系统视野外的确定可能因估计远端尖端的可能的位置范围并且在远端尖端的任一或指定百分比的可能估计位置在视野内的情况下，抑制视野外指示符而有偏差。根据临床医生对误报视野外指示符的容忍度，该偏差的灵敏度可以被调节。

图5图示说明围绕成像器械204的成像器械视野202的手术工作区200。在这个图示中，显示了与医疗器械206、208的器械尖端210、218相关的方位误差。一组误差包围盒与每个器械尖端210、218相关。误差包围盒可以表示在高确定度(诸如90-99％)内的尖端部分的远端和近端的预计位置。误差包围盒290表示器械尖端210的近端尖端部分212的预计位置。误差包围盒292表示器械尖端210的远端尖端部分214、216的预计位置。在这个配置中，远端尖端部分214、216以闭合夹具配置布置(例如，尖端部分之间的角度大约为零)，在这种配置中，远端尖端部分闭合在一起。因此，单包围盒292可以被用于近似估计远端尖端部分214、216。如果远端尖端部分214、216以打开夹具配置布置(例如，尖端部分之间的角度比零大得多)，则分开的包围盒可以被用于近似估计每个远端尖端部分的位置。误差包围盒294表示器械尖端218的近端尖端部分220的预计位置。误差包围盒296表示器械尖端218的远端尖端部分222、224的预计位置。包围盒可以被用作用于确定是否向临床医生显示视野外指示符的偏差。例如，两个包围盒290、292都在视野202外，并且因此对器械206生成视野外指示符。包围盒294、296中的至少一个在视野202内，并且因此将不对器械208生成视野外指示符。在可替换的实施例中，认识到与视野的边界相关的误差后，也可以为视野提供包围盒。同样地，如果视野的包围盒与器械的包围盒相交，则视野外指示符将不向临床医生显示。

图6图示说明了用于确定器械是否在视野外的方法300。在过程302处，方法300包括评估在内窥镜尖端坐标空间中的器械尖端方位，如在图7中进一步详细地描述。在过程304处，方法300包括估计相对于内窥镜的远端尖端的器械尖端方位误差，如在图8中进一步详细地描述。在过程306处，方法300包括确定在屏幕坐标空间中的器械尖端包围盒，如在图9中进一步详细地描述。在过程308处，方法300包括确定器械尖端是否在内窥镜视野外，如图10中进一步详细地描述。虽然成像器械在图6-10中被称为内窥镜，但是也可以使用其他成像器械。

图7图示说明用于评估在内窥镜尖端坐标空间中的器械尖端方位的方法310。在方法310中，遥控操作的系统和医疗器械的正向运动被评估，以确定器械尖端(诸如近端和远端尖端部分)上的标志在内窥镜坐标系统内的方位。该评估使用正向运动和刚体变换。过程312包括评估操纵器(例如，操纵器51)和器械(例如，器械206、208)在世界坐标空间中的正向运动方位数据。过程314包括评估操纵器和内窥镜(例如，成像器械204)在世界坐标空间中的正向运动位置数据。过程316包括将器械尖端方位数据转换到内窥镜尖端坐标空间。过程320包括为远端尖端部分确定夹具角度(例如，在远端尖端部分214、216之间的角度)。过程322包括确定器械尖端的长度(例如，在近端尖端部分212和远端尖端部分214、216之间的长度)。在过程318处，夹具角度和器械尖端长度被用于评估近端器械尖端点和远端器械尖端点的方位。在过程324处，确定在内窥镜尖端坐标空间中的近端尖端部分方位。在过程326处，确定在内窥镜尖端坐标空间中的第一远端尖端部分(例如，部分214)方位。在过程328处，确定在内窥镜尖端坐标空间中的第二远端尖端部分(例如，部分216)方位。

图8图示说明了用于估计相对于内窥镜的器械尖端方位误差的方法330。因为遥控操作的系统的运动链中的大量连杆和操纵器姿态的可变性，所以器械尖端方位误差能够高度地取决于具有多种范围的配置，例如，从0.5cm到2.0cm。对于所有配置，可以假设误差的整体上界，但是总体上，与特定配置的估计相比，这种方式很可能过高估计误差。在方法330中，尖端方位误差被建模为由运动链的主要构成零件所贡献的误差的总和。例如，当器械靠近远程中心工作时(例如，小的插入深度)，尖端方位误差的主要部分可能由装配关节贡献，同时很小的误差由操纵器贡献。

方法330包括用于确定器械操纵器臂远程中心方位误差的过程332和用于确定内窥镜操纵器臂远程中心方位误差的过程334。操纵器臂的远程中心方位由其装配关节传感器和在遥控操作的组件的运动链的连杆之间的固定的机构偏移来确定。端对端运动校准程序可以被执行以消除制造和装配中的可变性。由此产生的方位误差可以是由于装配关节传感器的非线性、传感器的解析度和在校准期间组件的挠度造成的。操纵器臂的远程中心方位与该臂是否安装医疗器械或成像器械无关。操纵器臂远程中心方位误差在两个臂之间是相对的，两个臂中的一个具有器械，而另一个具有成像器械。

方法330进一步包括用于确定器械操纵器臂取向误差的过程336和用于确定器械操纵器臂取向误差的过程342。臂取向误差与操纵器梁的指向方向的误差有关，操纵器梁的指向方向受到操纵器的外部俯仰关节和横摆关节的准确度以及在操纵器到遥控操作的组件的装配结构的安装过程中的任何未对准的影响。在过程338处，器械臂取向误差与插入深度结合。在340处，内窥镜臂取向误差与内窥镜插入深度结合。在过程344处，确定器械臂不可观察误差，并且在过程346处，确定内窥镜臂不可观察误差。该不可观察误差导致从关节方位传感器不能观察到的误差。由于在患者体壁处受到载荷，主要误差是装配关节的挠度。这直接影响远程中心的方位。可以导致器械轴的挠度的另一个误差因子是柔度(compliance)，该柔度可以是插入深度的函数。在过程348处，在过程332-346中确定的所有误差因子被结合以确定相对于内窥镜的近端部分尖端误差。该方法进一步包括用于确定器械腕部误差的过程350和用于确定器械尖端长度的过程352。在过程354处，来自过程350和352的误差因子与来自过程348的近端部分尖端误差结合，以确定相对于内窥镜的远端器械尖端误差。

图9图示说明用于确定在屏幕坐标空间中的器械尖端包围盒的方法360。该方法360将来自方法310的器械尖端方位与来自方法330的估计方位误差结合。在方法360中，方位误差被映射到屏幕并且用作视野测试的偏差的误差的量被确定。该方位误差是用于确定针对在视野测试内/外的偏差的基础。因此，该方位误差能够人为地增大或缩减器械尖端部分的包围盒，以当检测器械尖端在成像器械视野内或外时影响误报误差与漏报误差之间的平衡。

方法360包括在内窥镜尖端空间中检索器械尖端部分方位的过程362、检索校准立体相机模型的过程364和在内窥镜尖端坐标空间中检索估计的器械尖端方位误差的过程366。在过程370处，尖端方位误差被投影到屏幕空间(例如，从立体相机模型)坐标系统方位误差。在过程372处，投射的方位误差被映射到偏差。当该偏差为0时，该系统将报告误报(即，不恰当地报告视野外指示符)和漏报(即，当视野外指示符应当被显示出来时没有被显示出)误差的混合。当偏差大的时候(例如，100％偏差)，当器械明显地在视野外时，该系统将只检测器械在视野外。将估计的方位误差映射到偏差的过程允许在无偏差与全偏差之间的权衡被调整。最小化明显的误报误差是重要的，因为当器械尖端在视野中是清晰可见的时候，如果视野外指示符出现，则能够分散注意力且混淆器械尖端是否在视野中。太多的误报误差可以使临床医生对这种警示不敏感，以至于临床医生变得忽略之后实报检测。当器械尖端靠近内窥镜尖端时(即，器械尖端占据大部分视野)，尖端方位误差的尺寸接近视窗体的横截面尺度。在这个配置中，在不使用偏差的情况下，将有高的误报检测率。图11-15更详细地图示说明偏差的使用。

在过程368处，器械尖端的插入深度被确定。在过程374，包围盒(例如，290、292、294、296、522、524)在器械尖端点附近产生。在过程376处，在屏幕空间坐标系统中确定器械尖端包围盒。通常，包围盒对使用者不显示，但是可选地它们可以被显示。

图10是用于确定器械尖端是否在成像器械视野外的方法。在过程382处，针对左眼屏幕坐标空间检索器械尖端包围盒，而在过程384处，针对右眼屏幕坐标空间检索器械尖端包围盒。在过程386处，进行测试以确定包围盒在左视野内还是左视野外。在过程388处，进行测试以确定包围盒是在右眼视野内还是在右眼视野外。在过程390处，如果所有包围盒都在视野外，则视野外指示符将对临床医生显示。

图11图示说明用于将投射的方位误差映射到偏差因子的偏差曲线400，以确定有多少方位误差用于对工具视野外指示符形成偏差。当方位误差的显示尺寸大时(例如，当方位误差尺寸是屏幕尺寸的20％或更大时)，偏差曲线400应用全偏差(偏差因子＝1)。这通常发生在器械尖端非常靠近内窥镜尖端时。当误差的显示尺寸小时(例如，当方位误差尺寸小于屏幕尺寸的20％时)，偏差曲线减小偏差(例如，偏差因子<1)。这通常发生在器械尖端远离内窥镜时。该映射方法提供了基于感知的误差来调整视野外检测过程的直接方式，并且可以独立于对器械深度的假设。

图12-15图示说明偏差曲线400的使用。图12图示说明器械尖端210的近侧尖端部分212的方位误差500。方位误差502被示出用于远端尖端部分214，而方位误差504被示出用于远端尖端部分216。方位误差环500、502、504表示尖端部分的器械方位误差的上界的估计。误差半径506也被认定。尺度508是屏幕尺寸的10％，而尺度510是屏幕尺寸的20％。点512、514、516分别对应于点212、214和216，并且表示器械尖端位置相对于内窥镜尖端的系统的绝对意义上的覆盖。在这种配置中，其中器械尖端离内窥镜尖端相当远，误差半径506小于屏幕尺寸的10％。基于偏差曲线400，无偏差被应用到尖端方位512-516，并且改为使用方位512-516。连接段本身被用作包围盒来确定器械尖端在视野内还是在视野外。

图13图示说明在距内窥镜尖端中间距离处的器械尖端210。在这个配置中，方位误差的误差半径520在10％的尺度508和20％的尺度510之间。基于偏差曲线400，包围盒522被确定为全方位误差的百分数(在0％与100％之间)。这个包围盒522被用于确定器械尖端在视野内还是在视野外。

图14图示说明离内窥镜尖端近距离处的器械尖端210。在这个配置中，误差半径大于尺度510的20％。基于偏差曲线400，包围盒524被确定为全方位误差。这个包围盒524被用于确定器械尖端在视野内还是在视野外。如图15所示，如果点512、514、516被用于确定器械尖端在视野外还是在视野内，那么系统将错误地报告视野外指示符，因为点512、514、516在视野外。当包围盒524被用于测试内/外视野时，该系统确定包围盒524在视野内并且因此不报告视野外指示符。

本发明的实施例中的一个或多个元件可以被实施在软件中以在计算机系统(控制处理系统)的处理器上执行。当被实施在软件中时，本发明的实施例的元件本质上是执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或装置上，这些程序或代码段可以借助体现在载波中的计算机数据信号经由传输介质或通信链路被下载。处理器可读存储装置可以包括能够存储信息的任何介质，包括光学介质、半导体介质以及磁介质。处理器可读存储装置示例包括电子电路；半导体装置、半导体存储装置、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储装置。代码段可以经由计算机网络(例如，因特网、内部网等)下载。

注意到，所呈现的过程和显示可以并非固有地与任何特定计算机或其他设备相关。各种一般用途的系统可以与按照本文所教导的程序一起使用，或可以方便地构造更专业的设备来执行所描述的操作。各种这些系统所要求的结构将表现为权利要求中的元件。此外，本发明的实施例并非参考任何特定的编程语言进行描述。应当理解，各种编程语言可以被用于实施本文所描述的发明的教导。

虽然本发明的某些示例实施例已经被描述并且在附图中示出，但是应理解，这种实施例仅是说明性的，并不限制本广度发明，并且本发明的这些实施例不限于所示并且描述的具体构造和布置，因为本领域技术人员可以想到各种其他修改。

Claims (10)

1.一种医疗成像系统，包含：

遥控操作的组件，其被配置为控制包括器械尖端的医疗器械的移动；以及

处理单元，其包括一个或多个处理器，其中所述处理单元被配置为：

确定器械尖端方位；

确定与所述器械尖端方位相关的方位误差；

基于所述方位误差确定至少一个器械尖端包围盒；以及

基于所述至少一个器械尖端包围盒指示何时所述器械尖端在成像器械的视野外。

2.根据权利要求1所述的系统，其中指示何时所述器械尖端在视野外包括生成与所述视野的图像一起显示的视野外器械指示符。

3.根据权利要求2所述的系统，其中所述视野外器械指示符包括沿所述视野的所述图像的至少一个边缘延伸的图形条。

4.根据权利要求2所述的系统，其中所述视野外器械指示符包括与所述医疗器械相关的文本显示。

5.根据权利要求1所述的系统，其中指示何时所述器械尖端在视野外包括生成可听得见的视野外器械指示。

6.根据权利要求1所述的系统，其中所述成像器械的所述视野是立体成像器械的立体视野。

7.根据权利要求1所述的系统，其中所述处理单元进一步被配置为：

如果所述器械尖端被确定不在所述成像器械的所述视野内，则识别用于所述视野外指示符的持久或短暂显示的环境。

8.根据权利要求1所述的系统，其中与所述器械尖端相关的所述方位误差从所述遥控操作的组件中的运动可变性被确定。

9.根据权利要求1所述的系统，其中与所述器械尖端相关的所述方位误差从所述医疗器械的运动可变性被确定。

10.根据权利要求1所述的系统，其中所述至少一个器械尖端包围盒进一步基于所述器械尖端离所述成像器械的远端的距离。