CN110494095A - 用于约束虚拟现实手术系统的系统和方法 - Google Patents

Abstract

本申请公开一种操作手术控制系统的方法，该方法包括在显示系统上显示来自成像器械的视场的手术环境的图像。显示系统被配置为安装到用户的头部。该方法还包括检测来自用户的成像控制输入，并且响应于成像控制输入的检测，启用手术控制系统的成像控制模式。该方法还包括检测用户头部的移动。当手术控制系统处于成像控制模式并且响应于用户的头部移动时，显示来自成像器械的改变的视场的手术环境的图像。改变的视场对应于检测到的用户头部的移动。

Description

用于约束虚拟现实手术系统的系统和方法

相关申请的交叉引用

本申请要求2017年4月20日提交的美国临时申请62/487,833的权益，该美国临时申请通过引用以其整体并入本文。

技术领域

本公开涉及用于使用虚拟现实显示系统执行医疗程序或医疗程序的训练的系统和方法，并且更具体地涉及用于在使用虚拟现实显示系统时在手术系统或手术训练系统内提供约束的系统和方法。

背景技术

微创医疗技术旨在减少在侵入性医疗程序期间受损的组织的量，从而减少患者恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖结构中的天然孔口或通过一个或多个手术切口来执行。通过这些天然孔口或切口，临床医生可以插入医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和手术器械的器械。微创医疗工具还可以包括诸如内窥镜器械的成像器械，该成像器械为用户提供患者解剖结构内的视场。一些微创医疗工具和成像器械可以是远程操作的或以其他方式计算机辅助的。当执行远程操作程序或为远程操作程序提供训练模拟时，头戴式显示系统可以被用于为临床医生提供沉浸式/拟真(immersive)增强现实或虚拟现实体验。当使用沉浸式显示系统时，需要系统控制来提供远程操作系统的安全可靠操作。

发明内容

通过随附的权利要求概述了本发明的实施例。

应当理解，前面的一般性描述和以下的详细描述本质上都是示例性的和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。在这方面，从以下的详细描述中，本公开的其他方面、特征和优点对于本领域技术人员而言将是显而易见的。

在一个实施例中，操作手术控制系统的方法包括在显示系统上显示来自成像器械的视场的手术环境的图像。显示系统被配置为安装到用户的头部。该方法还包括检测来自用户的成像控制输入，并且响应于成像控制输入的检测，启用手术控制系统的成像控制模式。该方法还包括检测用户头部的移动。当手术控制系统处于成像控制模式并且响应于用户头部的移动时，显示来自成像器械的改变的视场的手术环境的图像。改变的视场对应于检测到的用户头部的移动。

在另一实施例中，操作手术控制系统的方法包括生成来自具有视场的成像工具的视点的手术环境的图像。手术器械被定位在手术环境内。该方法还包括在显示系统上显示手术环境的图像。显示系统被配置为安装到用户的头部。该方法还包括检测用户头部的移动并且确定用户头部的移动是否在与成像工具视场对应的边界内。如果用户头部的移动在边界内，则通过生成在成像工具视场中的与检测到的用户头部的移动对应的改变的视点来改变显示系统上的手术环境的图像。

在另一实施例中，一种操作手术控制系统的方法，该方法包括生成手术环境的图像。手术器械被定位在手术环境内并且耦连到具有一定运动范围的操纵器臂。该方法还包括在显示系统上显示手术环境的图像。显示系统被配置为安装到用户的头部。该方法还包括检测来自用户的操纵器臂输入运动并且确定操纵器臂输入运动是否对应于操纵器臂在运动范围内的移动。如果操纵器臂输入运动的移动对应于操纵器臂的运动范围之外的移动，则生成手术器械的重影图像(ghost image)，其中重影图像对应于操纵器臂输入运动而移动。

附图说明

当结合附图阅读时，从以下的详细描述中可以最好地理解本公开的各方面。需要强调的是，根据工业上的标准实践，各种特征未按比例绘制。实际上，为了清楚讨论，可以任意增加或减少各种特征的尺寸。另外，本公开可以在各种示例中重复参考数字和/或字母。这种重复是为了简单和清楚的目的，并且本身并不表示所讨论的各种实施例和/或配置之间的关系。

图1a提供包括远程操作手术系统的手术环境的视图，该远程操作手术系统包括沉浸式显示系统。

图1b提供包括远程操作手术系统的模拟手术环境的视图，该远程操作手术系统包括沉浸式显示系统。

图2提供来自成像器械的视场图像。

图3示出远程操作手术系统的手动控制器。

图4是提供用于进入和退出远程操作手术系统的虚拟探索模式的方法的流程图。

图5至图8示出手术环境、外部环境以及沉浸式显示系统上的显示图像。

图9是提供用于操作在远程操作手术系统的成像控制模式内的方法的流程图。

图10示出手术环境、外部环境以及沉浸式显示系统上的显示图像。

图11示出用于进入和操作在远程操作系统的虚拟操纵器臂模式内的方法。

具体实施方式

为了促进对本公开的原理的理解，现在将参考附图中示出的实施例，并且将使用特定语言来描述这些实施例。然而，应当理解的是，不旨在限制本公开的范围。在以下对本发明各方面的详细描述中，阐述了许多具体细节以便提供对所公开实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述公知的方法、程序、部件和电路，以免不必要地模糊本发明的实施例的各方面。

如本公开涉及的本领域技术人员通常会想到的，对所描述的装置、器械、方法以及本公开的原理的任何进一步应用的任何改变和进一步修改都是充分考虑的。特别地，充分预期到，关于一个实施例所描述的特征、部件和/或步骤可以与关于本公开的其他实施例所描述的特征、部件和/或步骤组合。另外，本文提供的尺寸是针对特定示例，并且可以预期到不同的大小、尺寸和/或比率可以被用来实现本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以在适用时从其他说明性实施例使用或省略。为简洁起见，将不单独描述这些组合的多次迭代。为简单起见，在某些情况下，在所有附图中使用相同的附图标记来表示相同或相似的部分。

以下实施例将根据各种器械和器械的部分在三维空间中的状态来对其进行描述。如本文所使用的，术语“方位”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏转)。如本文所使用的，术语“姿态”是指对象或对象的一部分在至少一个平移自由度中的方位以及对象或对象的一部分在至少一个旋转自由度中的取向(总共多达六个自由度)。

参考附图中的图1a，手术环境10包括在例如包括诊断程序、治疗程序或手术程序的医疗程序中使用的远程操作医疗系统11。远程操作医疗系统通常包括安装在手术台O上或附近的远程操作组件，患者P定位在手术台O上。远程操作组件可以包括一个或多个模块化操纵器臂12。医疗器械系统14或成像系统15可以可操作地耦连到远程操作组件的远程操作操纵器(例如，臂)。成像系统可以是例如立体内窥镜成像系统。操作者输入系统16允许外科医生S或其他类型的临床医生控制医疗器械系统14和/或成像系统15的操作。一个或多个助理外科医生、麻醉师或支持人员也可以在手术环境中存在。

远程操作医疗系统还包括显示系统17，显示系统17可以呈现由成像系统15捕获的图像、手术导航和引导图像和/或字母数字或符号信息，以帮助外科医生或助手进行手术程序。显示系统可以是例如外科医生S佩戴的沉浸式显示系统。更具体地，沉浸式显示系统可以是头戴式显示系统，该头戴式显示系统用于呈现来自成像系统15的内部解剖环境的图像、来自内部解剖环境的增强或虚拟图像、来自患者解剖结构外部的图像、交互式用户界面或者给外科医生S的其他基于图像的、图形的或文本信息的图像。头戴式显示系统可以作为遮住用户眼睛的一副眼镜或护目镜被佩戴。图2示出来自定位在患者P的内部解剖结构内的成像器械15的视场图像30。图像30可以被显示在显示系统17上。利用立体图像数据，可以在成像器械保持在静止方位时从视场立体图像数据生成多个视点。因此，利用沉浸式显示系统，当用户的头部移动显示系统时，视场可以呈现略微不同的视点图像。这可以在观看视场时为用户提供更加身临其境的体验。

远程操作医疗系统还包括与操作者输入系统16、远程操作组件和显示系统17通信的控制系统20，如下所述。

在该实施例中，操作者输入系统16包括用于控制一个或多个医疗器械系统14或内窥镜成像系统15的一个或一组操作者手动控制器18(图3)。输入系统还可以包括其他类型的用户输入，包括踏板输入、注视跟踪、语音命令识别、头部姿势识别。在各种替代方案中，操作者手动控制器18可以通过电力电缆和/或信号传输电缆被系缚或者可以是不受约束的/无线的。如图3所示，操作者控制器18可以包括任何数量的各种输入装置(诸如抓握输入设备22和触发开关24)中的一个或多个。输入装置可以用于例如移动患者P内的内窥镜成像系统的远端、闭合抓取夹爪末端执行器、向电极施加电势、递送药物治疗或诸如此类。在各种替代方案中，操作者输入系统可以附加地或可替代地包括操纵杆、轨迹球、数据手套、触发枪、手或脚操作的控制器、语音识别与控制装置、触摸屏、身体运动或存在传感器和诸如此类。在一些实施例中，手动控制器18将被提供有与远程操作组件的医疗器械相同的自由度，以向外科医生提供远程呈现/临场感，即(一个或多个)控制装置与器械是一体的感知，以便外科医生具有就像在手术部位处直接控制器械的强烈感觉。在其他实施例中，手动控制器18可以具有比相关联的医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。

当外科医生S从患者侧或手术环境内的另一位置进行程序时，操纵器臂12支持和操纵医疗器械系统14和/或成像系统15。一次使用的医疗器械系统14的数量通常取决于诊断程序或手术程序和手术室内的空间限制以及其他因素。远程操作组件的每个臂12可以包括一个或多个伺服或非伺服控制连杆的运动学结构。远程操作臂12还可以包括驱动医疗器械系统14或成像系统15上的输入设备的多个马达。这些马达响应于来自控制系统20的命令而移动。马达包括驱动系统，当耦连到医疗器械系统14或成像系统15时，驱动系统可以将系统移入或移出天然或手术创建的解剖孔口。其他电动驱动系统可以以多个自由度移动系统的远端，该多个自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，绕X、Y、Z笛卡尔坐标轴线旋转)。另外，马达可以用于致动用于抓取活检装置或类似装置的夹爪中的组织的器械的可铰接的末端执行器。器械14可以包括具有单个工作构件(诸如手术刀、钝刀片、光纤或电极)的末端执行器。其他末端执行器可以包括例如镊子、抓取器、剪刀或施夹器。

控制系统20包括至少一个存储器和至少一个处理器，并且该至少一个处理器通常是用于实现医疗器械系统、成像系统15、操作者输入系统16、显示系统17和其他辅助系统之间的控制的多个处理器，其他辅助系统可以包括例如附加的成像系统、音频系统、流体输送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。控制系统28还包括编程指令(例如，存储指令的计算机可读介质)以实现根据本文公开的各方面描述的一些或所有方法。虽然控制系统20在图1a的简化示意图中示为单个块，但该系统可以包括两个或更多个数据处理电路，其中一部分处理可选地在远程操作组件上或邻近远程操作组件执行，另一部分处理在操作者输入系统16和类似物处执行。控制系统20可以采用各种集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以实现为多个单独的程序或子例程，或者编程指令可以集成到本文描述的远程操作系统的许多其他方面中。在一个实施例中，控制系统20支持诸如蓝牙、IrDA(红外数据通信)、HomeRF(家用无线连接协议)、IEEE802.11、DECT(数位加强式无线通信)和无线遥测的无线通信协议。

在一些实施例中，控制系统20可以包括一个或多个伺服控制器，该一个或多个伺服控制器接收来自医疗器械系统或成像系统的力和/或扭矩反馈。响应于反馈，伺服控制器将信号传送到操作者输入系统16。(一个或多个)伺服控制器还可以传送指示远程操作组件的信号，以移动(一个或多个)医疗器械系统14和/或内窥镜成像系统15，医疗器械系统14和/或内窥镜成像系统15经由身体中的开口延伸到患者体内的内部手术部位。可以使用任何合适的传统或专用伺服控制器。伺服控制器可以与远程操作组件分离或集成。在一些实施例中，伺服控制器和远程操作组件作为邻近患者身体定位的远程操作臂的一部分被提供。

控制系统20可以与成像系统15通信地耦连，并且可以包括处理器以处理捕获的图像用于后续显示，诸如显示给外科医生控制台上的外科医生，或者在本地和/或远程定位的另一合适的显示器上显示。例如，在使用立体内窥镜的情况下，控制系统20可以处理捕获的图像以向外科医生呈现手术部位的协调立体图像。这种协调可以包括相对图像之间的对准，并且可以包括调整立体内窥镜的立体工作距离。

如图1b所示，控制系统20、操作者输入系统16和沉浸式显示系统17也可以用于利用模拟手术环境40进行程序。模拟手术环境40可以由用户S在沉浸式显示系统17上观察。在一个实施例中，模拟手术环境是表示可以用于设计和提供临床医生训练的手术环境的三维虚拟现实环境。模拟成像系统的视场可以看起来类似于实时视场图像30。模拟手术环境可以是患者解剖环境的预先记录的图像、患者解剖环境的计算机生成的图示、或两者的混合。在模拟器环境中，可以使用手动控制器18来操作视场图像中的虚拟器械。同样地，手动控制器可以用于通过移动模拟成像系统(例如，虚拟内窥镜)来调整模拟的视场。在各种实施例中，模拟手术环境可以是完整的虚拟现实环境，其中用户S的移动(诸如头部移动或输入到输入系统16的输入)被绑定到虚拟现实环境中的虚拟部件(例如，虚拟器械、虚拟成像系统)的参数。在这些完全虚拟的模拟环境中，用户移动不被绑定到物理手术环境中的物理部件。在一些实施例中，可以通过跟踪注视或头部运动来提供用户输入，而无需使用手动控制器。

在替代实施例中，模拟手术环境可以是物理的人工手术环境，该手术环境被设计成模仿自然解剖结构或提供专门的程序训练。在这些替换实施例中，用户输入可以被绑定到人工环境中活动的物理部件。在其他替代实施例中，模拟手术环境可以是包括虚拟现实元素和物理部件两者的混合环境。

沉浸式显示系统允许用户体验现场或模拟手术环境，就像用户在环境中一样。头戴式沉浸式显示系统在物理上允许用户具有全范围的平移和旋转运动，该全范围的平移和旋转运动可以不对应于由远程操作系统的运动学特征和安全特征施加的物理约束。当在现场或模拟手术环境中使用沉浸式显示系统时，可以实现下面描述的系统和方法以对用户的体验施加约束或增强用户的体验。

在传统的远程操作手术系统中，用户定位在固定的操作者控制台上，当传感器检测到用户的头部定位在取景器中并且用户能够经由成像系统捕获的图像可视化取景器中所显示的手术环境时，系统进入接合模式(也称为“导入(head-in)”模式)。远程操作医疗系统的“跟随模式”是系统操作状态，在该状态中操作者输入系统(诸如手动控制器)的移动影响定位在患者解剖结构中的器械的移动。通常，在远程操作医疗系统可以进入跟随模式以执行手术程序之前，系统必须首先处于接合模式。为了利用传统系统安全地执行远程操作程序，当操作者看向别处或以其他方式退出接合模式时，可以暂停患者解剖结构内的器械的移动，指示显示系统对操作者不可见。

当显示系统不在操作者控制台内的固定方位时，如操作者安装的沉浸式显示系统的情况，可以约束或增强远程操作系统以提供在进入器械跟随模式之前指示操作者能够可视化沉浸式显示器中的手术环境的虚拟接合模式。图4是提供用于进入和退出远程操作手术系统的虚拟接合模式和虚拟探索模式的方法100的流程图。远程操作手术系统可以是例如用于现场手术环境10或模拟器环境40的远程操作手术系统11。方法100在图4中示出为一组操作或过程102至114。并非所有示出的过程102至114都在方法100的所有实施例中执行。另外，图4中未明确示出的一个或多个过程可以在过程102至114之前、之后、之间或作为过程102至114的一部分被包括。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式实现，当由一个或多个处理器(例如，控制系统的处理器)运行时，可执行代码可以使一个或多个处理器执行一个或多个过程。

在过程102处，显示在成像器械的视场中可见的手术环境的图像。图像被显示在用户安装的沉浸式显示系统上。参考图5，利用具有当前视场206和潜在视场208的成像器械204可以看到手术环境202(例如，活体患者的内部解剖结构或模拟手术环境)。潜在视场可以由成像器械204的运动范围限定。环境214在手术环境202的外部。佩戴头戴式沉浸式显示系统203(例如，显示系统17)的用户201(例如，外科医生S)具有朝向当前视场206的观察方向210。可见图像212被呈现在显示系统203上。在该方位中，用户可以处于虚拟接合模式。在虚拟接合模式中，用户可视化当前视场。从虚拟接合模式，可以进入器械跟随模式，在器械跟随模式中视场中的器械可以在操作者输入系统的控制下移动。

在过程104处，检测用户头部的移动。在过程106处，确定用户的头部(或头部的一部分，诸如眼睛)是否在对应于视场并且允许用户观看视场的边界内。可以评估用户头部的方位和观察方向以确定当前视场是否对用户可见。

在过程108处，如果头部移动尚未超过边界和/或用户头部保持指向当前视场，则显示系统上的图像仍然是视场206的图像。如果图像数据是三维的(例如来自立体内窥镜器械)，则可以从与检测到的用户头部的移动对应的略微不同的视点呈现视场的图像。如图6所示，用户201的头部已经移动，但是用户眼睛的观察方向210指向当前视场206，并且用户的头部和眼睛在对应于视场206的边界205内。因此，可见图像212是来自与用户头部的移动对应的略微偏移的视点的视场206的图像。

在过程110处，如果头部移动已经超过边界和/或用户的头部没有指向当前视场，则显示系统上的图像改变以通知用户视场在显示系统上不可见。例如，在可选过程110处，远程操作系统可以进入虚拟探索模式。在可选过程112处的另一示例中，远程操作系统可以提供警报。在图7和图8的示例实施例中，用户头部的移动使得用户的眼睛现在在边界205之外，并且观察方向210不再指向当前视场206。可选地，可以在显示系统203上显示消息212b，以警告用户，他已经移动到当前视场之外。该消息可以包括文本、图形或其他图像以警告用户或将用户的头部引导回视场。远程操作系统可以暂停跟随模式，使得手动控制器的移动不会移动手术环境中的手术器械。

可选地，远程操作系统可以进入虚拟探索模式，其中显示系统上的图像212a是虚拟用户界面，该虚拟用户界面可以包括手术环境外部的环境214(诸如患者周围的外部环境或与成像器械的视点分离的另一远程视点)的图像。可替代地，虚拟用户界面可以允许用户访问例如用于控制远程操作系统的特征的交互式控制菜单、关于患者或远程操作系统的部件的状态信息、或者用户的头前面的环境的透视图像。

在过程114处，可以提供指导以引导用户将他的眼睛移回边界内，使得视场206再次可见。例如，指导可以是以下形式：提供头部移动的口头指令的音频记录、随着头部的移动改变而改变的声音、一组文本指令、图形移动图、视觉归位信标，或者随着观察方向朝向视场移动而改变颜色或焦点的视场场景。

当用户的头部与最后的视场方向匹配时，远程操作系统可以退出虚拟探索模式并且返回到跟随模式或接合模式。音频、视觉或战术指示可以警告用户已经退出虚拟探索模式。

可替代地，用户可以退出虚拟探索模式并且在新校准的头部方位处重新进入接合模式、跟随模式或成像控制模式。用户可以提供用户正在从新的方位工作的指示，或者系统可以接收到已经检测到大的平移移动(超过阈值移动值并且指示用户正在从新的方位工作)的指示。基于该指示，系统可以为用户的新位置建立新的方位、取向和头部边界集。从该新位置，可以评估用户头部的方位和观察方向以确定用户的当前视场。例如，如果用户开始站在患者的一侧，然后移动到桌子的相对侧，则当用户的头部移动超出边界时，系统将首先进入虚拟探索模式。系统可以退出虚拟探索模式并且在桌子的相对侧时重新进入诸如跟随模式或成像控制模式的模式。在检测到新的头部方位和取向时，向用户显示的成像系统视图是基于用户的新方位和取向的。

远程操作系统可以被约束以提供虚拟成像控制模式，该虚拟成像控制模式在手术环境内移动实际的或模拟的成像器械之前请求用户输入。图9是提供用于进入和操作在远程操作手术系统的虚拟成像控制模式内的方法的流程图300。远程操作手术系统可以是例如用于现场手术环境10或模拟器环境40的远程操作手术系统11。方法300在图9中示出为一组操作或过程302至312。并非所有示出的过程302至312都在方法300的所有实施例中执行。另外，图9中未明确示出的一个或多个过程可以在过程302至312之前、之后、之间或作为过程302至312的一部分被包括。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式实现，当由一个或多个处理器(例如，控制系统的处理器)运行时，可执行代码可以使一个或多个处理器执行一个或多个过程。

在过程302处，在成像器械的视场中可见的手术环境的图像被显示。图像被显示在用户安装的沉浸式显示系统上。参考图10，用户201可以想要改变由成像系统204的运动范围限定的潜在视场208内的当前视场206。

在过程304处，检测成像控制输入。成像控制输入可以是离合输入(clutchinginput)，其将远程操作系统转换为接合模式或跟随模式。例如，图像控制输入可以是手动控制器18处的输入，诸如按下按钮24。其他类型的用户输入(包括开关、手势、踏板移动或其他类型的有意的用户输入)可以是用于启动图像控制模式的合适的图像控制输入。

在过程306处，响应于成像控制输入的检测，远程操作系统进入成像控制模式。在成像控制模式中，可以通过在器械的运动范围内移动成像器械来改变成像器械的视场。在成像控制模式中，手术器械被锁定就位，并且操作者输入系统的移动不会引起手术器械的对应运动。在成像控制模式中，成像器械可以响应于用户运动(诸如用户头部的移动或操作者输入系统的移动)而移动。

在过程308处，检测用户头部的移动。可替代地，可以检测另一种类型的用户输入(诸如手动控制器18的移动)。例如，参考图10，可以检测头部201的移动211。观察方向210随着用户头部的移动而改变。

在过程310处，成像器械的视场从视场206改变为视场207。视场207是成像系统204在与检测到的头部移动211相对应地移动之后的视场。

在过程312处，在显示系统上显示来自改变的视场的手术环境的图像。例如，参考图10，显示系统203上的视场206的图像215a被改变为视场207的图像215b。

当远程操作系统处于成像控制模式时，手动控制器18的移动可以引起器械204在运动范围内的移动，并且因此可以改变器械204的视场。可替代地，手动控制器18的移动可以使视场中的手术器械的重影图像根据控制器的移动而移动。

如果检测到的用户头部的运动不对应于成像器械的运动范围内的移动，则远程操作系统可以进入虚拟探索模式并且提供其他环境的图像、用户界面或信息及先前所描述的。如前所述，可以通过将用户的头部与成像系统的最后方位和取向匹配来退出虚拟探索模式。

当检测到附加成像控制输入(例如，按下控制器18上的按钮)时，可以退出成像控制模式。在各种替代实施例中，成像控制模式可以请求连续激活成像控制输入(例如，连续按下控制器18上的按钮)，使得中断控制输入将远程操作系统从成像控制模式转换为接合模式或跟随模式。

远程操作系统可以被约束以提供虚拟操纵器臂模式，该虚拟操纵器臂模式指示用户的手臂运动何时与操纵器臂(例如，臂12)的可允许运动范围对应的运动范围之外。图11是提供用于进入和操作在远程操作系统的虚拟操纵器臂模式内的方法的流程图400。远程操作手术系统可以是例如用于现场手术环境10或模拟器环境40的远程操作手术系统11。方法400在图11中示出为一组操作或过程402至408。并非所有示出的过程402至408都在方法400的所有实施例中执行。另外，图11中未明确示出的一个或多个过程可以在过程402至408之前、之后、之间或作为过程402至408的一部分被包括。在一些实施例中，一个或多个过程可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式实现，当由一个或多个处理器(例如，控制系统的处理器)运行时，可执行代码可以使一个或多个处理器执行一个或多个过程。

在过程402处，显示手术环境的图像。图像被显示在用户安装的沉浸式显示系统上。手术环境图像可以包括手术器械的图像和/或器械耦连到的操纵器臂的部分的图像。

在过程404处，检测操纵器臂输入运动。例如，可以将用户的手臂或手的移动检测为操纵器臂输入运动。在过程406处，远程操作系统确定操纵器臂输入运动是否对应于物理操纵器臂(例如臂12)运动范围之外的移动。如果输入运动对应于操纵器臂运动范围之外的移动，则远程操作系统进入虚拟操纵器臂模式。在虚拟操纵器臂模式中，用户的手臂的移动不会引起物理操纵器臂的对应运动，并且示出了手术器械的重影图像或操纵器臂的重影图像在显示系统上移动，其中运动对应于操纵器臂输入运动。为了退出虚拟操纵器臂模式，可以将用户引导回到手术器械或操纵器臂的最后可允许方位。返回到匹配方位的指导可以类似于提供给用户以退出虚拟探索模式的指导，如前所述。

虽然已经在附图中描述和示出本发明的某些示例性实施例，但是应当理解，这些实施例仅仅是对本发明的说明而非限制。另外，应当理解，因为本领域普通技术人员可以想到各种其他修改，所以本发明的实施例不限于所示和所述的具体结构和布置。

此外，在本发明实施例的详细描述中，已经阐述了许多具体细节，以便提供对所公开实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在某些情况下，没有详细描述公知的方法、程序和部件，以免不必要地模糊本发明实施例的各方面。

Claims (28)

1.一种操作手术控制系统的方法，所述方法包括：

在显示系统上显示来自成像视场的手术环境的图像，所述显示系统被配置为与用户的头部一起移动；

进入所述手术控制系统的成像控制模式；以及

检测所述用户的头部的移动；

当所述手术控制系统处于所述成像控制模式并且响应于所述用户的头部的移动时，显示来自改变的成像视场的所述手术环境的图像，所述改变的成像视场对应于检测到的所述用户的头部的移动。

2.根据权利要求1所述的方法，其中进入所述成像控制模式包括检测来自所述用户的成像控制输入，所述成像控制输入在通信地耦连到所述手术控制系统的手动控制器上被接收。

3.根据权利要求1所述的方法，进一步包括：

当所述手术控制系统处于所述成像控制模式时，禁止所述手术环境中的所述手术器械的操作。

4.根据权利要求1所述的方法，其中进入所述成像控制模式包括检测来自所述用户的成像控制输入，并且其中所述成像控制输入是连续输入。

5.根据权利要求1所述的方法，进一步包括：

确定所述用户的头部的移动是否在与具有所述成像视场的成像器械的运动范围对应的边界内；并且

如果所述用户的头部的移动不在与所述成像器械的运动范围对应的所述边界内，则启用所述手术控制系统的虚拟探索模式。

6.根据权利要求5所述的方法，进一步包括：

当所述手术控制系统处于所述虚拟探索模式并且响应于所述用户的头部的移动时，显示患者解剖结构外部的环境的图像。

7.根据权利要求5所述的方法，进一步包括：

当所述手术控制系统处于所述虚拟探索模式并且响应于所述用户头部的移动时，显示交互式虚拟用户界面。

8.根据权利要求5所述的方法，进一步包括：

提供用于退出所述虚拟探索模式的指导，其中所述指导将所述用户的头部移动引导到与所述成像视场匹配的方向。

9.根据权利要求8的方法，其中所述指导是可听指导。

10.根据权利要求8的方法，其中所述指导是在所述显示系统上呈现的视觉图像。

11.根据权利要求8所述的方法，进一步包括：

向所述用户提供所述手术控制系统已经退出所述虚拟探索模式的指示。

12.根据权利要求1所述的方法，其中所述手术环境是模拟手术环境，并且所述图像来自模拟器成像工具。

13.根据权利要求1所述的方法，进一步包括：

在所述成像控制模式下，检测通信地耦连到所述手术控制系统的手动控制器的移动，并且

当所述手术控制系统处于所述成像控制模式并且响应于检测到的所述手动控制器的移动时，显示来自改变的图像视场的所述手术环境的图像，所述改变的图像视场对应于检测到的所述手动控制器的移动。

14.根据权利要求1所述的方法，进一步包括：

在所述成像控制模式下，检测通信地耦连到所述手术控制系统的手动控制器的移动，并且

当所述手术控制系统处于所述成像控制模式并且响应于检测到的所述手动控制器的移动时，生成所述手术环境中的手术器械的重影图像，其中所述重影图像与所述手动控制器的移动对应地移动。

15.根据权利要求1所述的方法，其中所述显示系统被配置为安装到所述用户的头部。

16.根据权利要求1所述的方法，其中所述成像视场包括用于虚拟内窥镜的建模视场。

17.根据权利要求1所述的方法，其中所述成像视场包括内窥镜的视场。

18.一种操作手术控制系统的方法，所述方法包括：

生成来自具有成像工具视场的成像工具的视点的手术环境的图像；

在显示系统上显示手术环境的图像，所述显示系统被配置为安装到用户的头部；

检测所述用户的头部的移动；

确定所述用户的头部的移动是否在与所述成像工具视场对应的边界内；并且

如果所述用户的头部的移动在所述边界内，则通过生成在所述成像工具视场中的与检测到的所述用户的头部的移动对应的改变的视点来改变所述显示系统上的所述手术环境的图像。

19.根据权利要求18所述的方法，进一步包括：

如果所述用户的头部的移动超过所述边界，则锁定所述手术环境的图像。

20.根据权利要求18所述的方法，进一步包括：

如果所述用户的头部的移动确实超过所述边界，则启用所述手术控制系统的虚拟探索模式。

21.根据权利要求20所述的方法，进一步包括：

当所述手术控制系统处于所述虚拟探索模式并且响应于所述用户的头部的移动时，在所述显示系统上显示来自与所述成像工具的视点分离的远程视点的所述手术环境的图像。

22.根据权利要求20所述的方法，进一步包括：

当所述手术控制系统处于所述虚拟探索模式并且响应于所述用户的头部的移动时，显示交互式虚拟用户界面。

23.根据权利要求20所述的方法，进一步包括：

提供用于退出虚拟探索模式的指导，其中所述指导将所述用户的头部移动引导到与所述成像工具的视点匹配的方向。

24.根据权利要求23所述的方法，其中所述指导是可听指导。

25.根据权利要求23所述的方法，其中所述指导是在所述显示系统上呈现的视觉图像。

26.根据权利要求23所述的方法，向所述用户提供所述手术控制系统已经退出所述虚拟探索模式的指示。

27.根据权利要求18所述的方法，其中所述手术环境是模拟手术环境，并且所述图像来自具有虚拟运动范围的虚拟成像工具。

28.一种用于执行权利要求1-27中任一项所述的方法的系统。