CN116568219A - 自动导航数字手术显微镜 - Google Patents

Abstract

公开了用于集成的手术导航和可视化系统中的自动导航的新颖且创新的系统和方法。一种示例系统包括：单个推车，其提供运动性；立体数字手术显微镜，其包括手术可视化相机和定位器；一个或多个计算设备(例如由单个电源连接供电的单个计算设备)，其容纳并共同执行手术导航模块和手术可视化模块，其中，定位器与手术导航模块相关联，并且其中，手术可视化相机与手术可视化模块相关联；单个统一显示器；处理器；以及存储器。系统可以生成与患者相关联的患者数据到手术可视化相机的变换；校准手术可视化相机和定位器；经由单个统一显示器提供手术部位的可视化；以及响应于用户输入提供手术部位的导航。

Description

自动导航数字手术显微镜

交叉引用

本申请要求于2020年10月1日提交且标题为“AUTO-NAVIGATING DIGITALSURGICAL MICROSCOPE”的美国临时申请第63/086,310号的权益，该美国临时申请的公开内容以引用的方式全文并入本文。本申请还要求于2021年9月13日提交且标题为“INTEGRATEDSURGICAL NAVIGATION AND VISUALIZATION SYSTEM,AND METHODS THEREOF”的美国临时申请第63/243,659号的权益，该美国临时申请的公开内容以引用的方式全文并入本文。

技术领域

本公开的某些方面总体涉及手术系统，具体涉及用于集成的手术导航和可视化的自动导航的系统和方法。

背景技术

通过使用来自计算机断层摄影(Computed Tomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)和弥散张量成像(Diffusion Tensor Imaging，DTI)模态的容积患者数据引导外科医生朝向并通过目标手术部位，手术导航可以获得更好的患者结果。手术导航系统可以将实体患者配准到容积患者数据，从而允许在给定手术工具(诸如导航指针)位于实时患者上或中时显示所述工具在患者数据中的当前位置。

目前在行业中存在各种导航设备。在示例常规设计中，导航设备向场景投射近红外(Near Infrared，NIR)光脉冲的图案，该图案通常与立体导航相机的帧曝光同步。NIR光被安装在假想参考系中的已知位置处的多个后向反射器反射回来，或者，替代地，在目标中使用NIR LED，其经由硬连线或者通过使用光电检测器“看到”来自定位器的闪光并触发NIRLED的立即发射来与导航相机帧曝光同步。

利用手术显微镜的手术可视化可以用在许多手术中，诸如神经手术、整形手术和重建手术，其中，需要对小结构的可视化。手术可视化系统可以包括由数字手术显微镜提供的相机。然而，期望将手术可视化系统与手术导航系统更紧密地集成，包括期望更紧密地对准可视化和导航设备。

当今的手术导航系统(例如MEDTRONIC的STEALTH和BRAINLAB的CURVE)通常与手术可视化系统(例如ZEISS的KINEVO和LEICA的OH SERIES)分离和分立。手术导航与手术可视化之间的任何集成通常是有限的。例如，一些系统通过包括显微镜视图的导航作为工具以示出显微镜焦点的位置来组合导航和可视化的功能。一些系统在容积患者数据上显示显微镜视场，或者经由眼睛图像注入将容积患者数据视图配准到显微镜的视场上，在外部监视器中显示所得到的视图。例如，导航系统(诸如MEDTRONIC的STEALTH和BRAINLAB的CURVE)可以可选地与某些显微镜(例如ZEISS的KINEVO和LEICA的OH SERIES)集成。一些制造商(例如STRYKER和SYNAPTIVE)可以形成商业协议，其中，单独的导航和显微镜系统被封装为一个产品，但是保持为单独的设备。

这种配对系统(例如手术导航系统和手术可视化系统)的各个部件的分立性质可能导致设置和使用上的困难。这些困难经常导致这些系统的停用或利用不足。这些困难包括但不限于：对于具有有限空间的手术室而言有太多的物理设备(“太多家具”)；将配对系统的各个部件彼此连接和连接到电源所需的过多电缆；在通信地和功能地连接配对系统的各个部件方面的技术困难；以及在校准手术和可视化部件以实现统一功能方面的挑战。

此外，期望在集成的手术导航和可视化系统中提供自动导航能力。

本公开的各种实施例解决了上面提出的一个或多个缺点。

发明内容

本公开提供了用于集成的手术导航和可视化系统中的自动导航的新颖且创新的系统和方法。自动导航的集成手术导航和可视化系统利用机器人定位提供了手术规划、患者配准、手术导航和可视化，所有这些操作都在单个基于推车的手术室器械中，该器械仅占用现有解决方案所需的宝贵占地面积的60％。扩展具有导航能力的现有数字手术机器人显微镜(例如手术可视化设备)具有优于传统手术导航的许多优点，包括：一次点击自动患者配准；准确度更好；易用性增加；降低外科医生的精神负担；手术室占用面积显著更小；减少由于视线问题的停机时间；以及实现更少的侵入性过程、总体上减少的患者暴露时间和更好的患者结果。

在一个示例中，公开了一种自动导航的集成手术导航和可视化系统。该系统包括：单个推车，其提供运动性；立体数字手术显微镜；一个或多个计算设备(例如包括单个计算设备)，其容纳并共同执行手术导航模块和手术可视化模块，并且由单个电源连接供电，由此减少手术室占用面积；单个统一显示器；处理器；以及存储器。系统还可以包括：定位器(例如导航相机或设备)，其与手术导航模块相关联；以及手术可视化相机，其固定到立体数字手术显微镜并且与手术可视化模块相关联。此外，系统可以提供从立体数字手术显微镜扩展到N相机数字手术显微镜的基础，其中，N为2或更大。

在一些方面，手术导航模块(例如导航设备)可以集成到立体数字手术显微镜的数字手术显微镜(DSM)头部中。DSM头部和/或立体数字手术显微镜可以安装在机器人臂上。单个推车可以支撑机器人臂以及单个统一显示器(例如悬臂安装式3D立体显示器)。而且或替代地，单个推车可以支撑用于用户输入的桅杆安装式触摸屏。也可以可选地连接另外的显示器。手术导航模块(例如导航设备)可以提供DSM头部相对于在场景中通过手术导航模块可见的某个参考或目标的6个自由度(6DoF)的位置和取向信息。集成手术导航和可视化系统的其余部分可以在放大率范围(例如1倍-9倍)和工作距离范围(例如200mm-450mm)内提供立体可视化

手术导航和/或可视化的目的可以涉及在手术过程期间围绕患者的解剖结构引导外科医生，使得外科医生可以以最有效、最少损害的方式完成手术过程。

患者的解剖结构通常在设备(诸如计算机断层摄影(CT)机或磁共振成像(MRI)机)中被扫描，并且结果以诸如解剖结构的图像“切片”的堆的格式存储，从该堆可以重建和探查3D解剖结构。

由此，可以通过提供患者数据与各种对象(诸如导航探针和/或数字手术显微镜的光轴)之间的各种级别的相对位置和取向信息的一个或多个视图来实现手术导航的目的。

存储器存储计算机可执行指令，当由处理器执行时，计算机可执行指令使系统执行一个或多个步骤。例如，系统可以生成与患者相关联的患者数据到手术可视化相机的变换；校准手术可视化相机和定位器；响应于用户输入提供手术部位的导航；以及经由单个统一显示器提供手术部位的可视化。

在一些方面，生成与患者相关联的患者数据到手术可视化相机的变换可以包括以下步骤中的一个或多个：对于与手术可视化相机和定位器中的每一个相关联的各个相机眼，针对单个变焦和工作距离生成定位器到手术可视化相机的第一变换(例如camEye_T_localizer)；对于与手术可视化相机和定位器中的每一个相关联的各个相机眼，针对一系列变焦和工作距离生成定位器到手术可视化相机的第二变换(例如camEye_T_localizer)；使用定位器到手术可视化相机的第一变换和定位器到手术可视化相机的第二变换执行患者的患者配准，以确定患者数据到患者目标位置的变换(例如患者的相关患者解剖结构相对于患者目标位置的姿态(例如patientTarget_T_patientData))；使用患者数据到患者目标位置的变换生成患者目标位置到定位器的变换(例如localizer_T_patientTarget)；或者基于目标位置到定位器的变换，生成与患者相关联的患者数据到手术可视化相机的变换(例如camEye_T_patientData)。

系统还可以执行手术导航模块和数字手术显微镜的启动。此外，系统可以实时地将手术部位的可视化与手术部位的导航同步。例如，系统可以经由统一显示器提供集成的导航信息和显微镜手术部位可视化。而且或替代地，系统可以提供覆盖所有视图的同一焦平面处的立体视图中的实时手术视图的导航信息。

在至少一个方面，系统可以利用给定的参考(例如光轴)来控制立体数字手术显微镜的位置。例如，数字手术显微镜的给定参考与NICO端口或脊柱扩张器工具的中心轴线准连续地准实时对准。而且或替代地，系统可以接收与用于手术部位导航的预先规划的轨迹相关联的用户输入；并且系统可以通过将数字手术显微镜的给定参考与预先规划的轨迹对准来控制立体数字手术显微镜的位置。

在至少一个实施例中，系统可以通过使用数字手术显微镜的焦点而不是导航探针来提供(例如患者的)非接触式配准，以用于患者配准的基准匹配、界标匹配和跟踪方法中。例如，系统可以提示患者的非接触式配准；并且接收与患者的非接触式配准相关联的用户输入。系统可以经由摄影测量或立体摄影测量接收与非接触式配准相关联的用户输入。

而且，系统可以赋予若干优点，包括但不限于：减少通信延迟和连接风险(例如通过在计算系统中容纳并共同执行手术导航模块和手术可视化模块)；消除或减少连接两个系统(例如用于导航和可视化)的需要，使得两个系统的工作流程正确并且同步地工作，消除或减少将两个系统彼此连接所需的任何工作流程步骤；消除或减少两个系统之间的物理电缆连接或其它通信连接要求；与两个分立系统相比降低电力电缆要求；以及缓解视线问题。

在一个示例中，一种由具有一个或多个处理器的计算设备执行的方法可以包括：执行计算系统的启动，从而引起手术导航模块和手术可视化模块的启动，其中，手术导航模块和手术可视化模块被共同容纳在计算系统中并由其执行；生成手术部位处与患者相关联的患者数据到与手术可视化模块相关联的手术可视化相机的变换；校准手术可视化相机和与手术导航模块相关联的定位器；响应于用户输入提供手术部位的导航；以及经由单个统一显示器提供手术部位的可视化。

该方法可以包括：利用给定参考来控制立体数字手术显微镜的位置。该方法还可以包括：由计算系统接收与用于由立体数字显微镜导航手术部位的预先规划的轨迹相关联的用户输入；以及将数字手术显微镜的给定参考与预先规划的轨迹对准。

在一个示例中，公开了一种用于计算机系统上的非瞬态计算机可读介质。非瞬态计算机可读介质可以包含计算机可执行编程指令，其可以使处理器执行本文所述的一个或多个步骤或方法。

所公开的方法和装置的另外特征和优点在以下具体实施方式和附图中被进行描述并且根据这些具体实施方式和附图将变得显而易见。本文所述的特征和优点不是包括一切的，并且特别地，鉴于附图和描述，许多另外的特征和优点对于本领域普通技术人员来说将是显而易见的。而且，应当注意，在说明书中使用的语言主要是出于可读性和指导性的目的而选择的，而不是为了限制本发明主题的范围。

附图说明

图1A是示出了根据本公开的示例实施例的单独且不同的导航和可视化系统的图。

图1B是示出了根据本公开的示例实施例的具有自动导航的集成手术导航和可视化系统的示例手术环境的图。

图1C是示出了根据本公开的示例实施例的用于确定对象和患者解剖结构的相对姿态(例如在集成的手术导航和可视化系统中)的示例过程的流程图。

图1D是示出了根据本公开的非限制性实施例的示例针孔相机垂直视场角度的图。

图2是示出了根据本公开的示例实施例的用于集成手术导航和可视化系统的示例流水线的流程图。

图3是示出了根据本公开的示例实施例的用于启动集成导航和可视化系统的示例过程的流程图。

图4是示出了根据本公开的示例实施例的针对集成手术导航和可视化系统执行的示例工作流程的流程图。

图5A是例示了根据本公开的示例实施例的设置原点和轴的示例校准参考系的图。

图5B是例示了根据本公开的示例实施例的可应用于集成手术导航和可视化系统的校准对象的图。

图6是示出了根据本公开的示例实施例的可应用于集成手术导航和可视化系统的视角的图。

图7是示出了根据本公开的示例实施例的可应用于集成手术导航和可视化系统的用于聚焦参考系校准的示例方法的流程图。

图8是示出了根据本公开的示例实施例的可应用于集成手术导航和可视化系统的示例轨迹规划的图。

具体实施方式

本公开总体涉及在手术部位中使用的集成手术导航和可视化系统中的自动导航。如前所述，期望更好地将手术可视化系统与手术导航系统集成，诸如集成导航设备(例如定位器)的手术可视化设备(例如数字手术显微镜相机)。例如，安装在显微镜头部中并在观察场景中的简单图案(诸如April标签、Aruco图案、国际跳棋棋盘/国际象棋棋盘、偏距圆图案)的可见光谱中操作的立体相机可以提供比立体定位器显著更好的准确度。当在通过将可视化相机和导航相机两者集成到显微镜头部中提供的较近范围将立体相机与适当的光学器件安装在一起时，准确度也得到提高，如本文所述的各种实施例中讨论的。安装在显微镜头部中并在可见光谱中操作的单视场相机可以提供几乎相同的信息，但是与立体相机相比，制造成本和计算要求降低。在近红外中操作这种相机(利用光学器件、灯光和反射器或发射器来匹配)可以以更复杂且昂贵的设备为代价来提高性能度量，诸如对场景灯光的鲁棒性。此外，手术导航相机(例如定位器)与导航目标之间的较小距离以及手术导航相机(例如定位器)与手术可视化相机眼之间的较小距离和/或角度可以进一步减少误差(例如与导航与可视化之间的同步有关)。此外，将可以包括手术导航设备(例如定位器)和可视化设备两者的显微镜头部放置得更靠近患者可以进一步减少误差。

在一些实施例中，手术导航系统(例如定位器)可以经由其他设备集成到手术可视化系统(例如立体数字手术显微镜)中，其他设备辅助导航设备满足能够被集成到数字手术显微镜(DSM)头部中的要求(例如尺寸、重量和光学参数，诸如工作距离和视场)。这些其它设备也可以提供相对于场景中的某个参考的6DoF位置和取向信息。示例包括深度相机(诸如Intel RealSense)或者结构化灯(诸如投影仪(TI picoDLP))和图像传感器(标准CMOS单视场相机)。

美国专利第10,299,880号公开了一种具有导航能力的数字手术机器人显微镜头部，该美国专利的全部内容以引用的方式并入本文。其中公开的示例立体可视化相机包括用于显微手术应用的具有全范围、独立于操作者的取向的数字立体可视化平台。扩展美国专利第10,299,880号中公开的具有导航能力的数字手术机器人显微镜具有优于传统手术导航的许多优点，包括：一次点击自动患者配准；准确度更好；易用性增加；降低外科医生的精神负担；手术室占用面积显著更小；减少由于视线问题的停机时间；以及实现更少的侵入性过程、总体上减少的患者暴露时间和更好的患者结果。

至少一个实施例包括提供手术导航设备和通用数字手术显微镜的多种功能的单个医疗设备。使用单个医疗设备有助于减少手术室(OR)占用面积。这种减少在大多数手术室中是重要的，这些手术室由于大多数手术所需的许多医疗设备而已经很拥挤。

在至少一个实施例中，集成手术导航和可视化系统被无缝地呈现为准备好以供使用。例如，集成系统可以由单个电源线无缝供电。一旦集成系统插上电源并开启，集成系统就可以准备好使用。无缝启动过程可以消除：用繁重的电缆连接两个分立系统的需要；用易出现问题的无线通信连接两个分立系统的需要；将两个分立系统彼此连接所需的任何工作流程有关步骤；连接两个分立系统使得两个系统的工作流程正确且同步地工作的需要；以及升级多部件系统中的一个元件将破坏组合系统的功能的风险。

在至少一个实施例中，集成手术导航和可视化系统可包括单个和/或集中式计算机系统。例如，可视化和手术导航软件模块可以驻留在同一计算机内并在同一计算机内部执行，从而减少通信延迟和连接风险。这种布置可以消除在可能具有有限空间的手术室中放置多个设备的需要。更紧凑的占用面积和远程和/或单独的定位器模块的消除可以缓解视线问题。

在至少一个实施例中，集成手术导航和可视化系统可以消除将单独的导航目标添加到显微镜的头部(例如“显微镜头部”)的需要。由于这种导航目标通常由专门从事手术导航的制造商制造，而不是由专门从事手术可视化的制造商(例如显微镜公司)制造，因此消除这种需要有助于产生更高效的制造和组装。消除这种需要有助于减少从导航相机到显微镜导航目标的视线问题，有助于在统一显示区域上提供集成的导航信息和手术部位可视化。

此外，集成手术导航和可视化系统可以帮助提供覆盖所有视图的同一焦平面处的立体视图中的实时手术视图的导航信息。这种布置可以减轻外科医生在从实时手术部位观看以进行覆盖时必须重新聚焦他们的眼睛的问题。

此外，集成手术导航和可视化系统可以消除导航红外(IR)光源与荧光光源的干扰。显微镜荧光和导航光通常可以使用相同或类似的光波长，这限制了荧光的可用性和功效。

此外，集成手术导航和可视化系统可以绘制用户规划的虚拟切口和/或其他入路图案和/或路径，其可选地在用户的控制下在手术入路的整个时间内持续，而不是像患者皮肤上的物理标记那样被去除(并且由此变得无用)。例如，集成手术导航和可视化系统可以绘制用户规划的虚拟开颅方案，其可以可选地在用户的控制下在手术入路的整个时间内持续，而不是随着开颅进行而被去除。作为另一个示例，集成手术导航和可视化系统可以绘制用户规划的轨迹方案，其可以可选地在用户的控制下在手术入路的整个时间内持续。这种引导还可以是可更新的，例如，以随着手术过程进行而校正任何误差。

此外，集成手术导航和可视化系统可以允许用户向患者数据添加规划路径点，该患者数据指定数字手术显微镜在手术过程中的各个点的期望姿态。

另外，集成手术导航和可视化系统可以将机器人空间连接到患者空间。这种连接提供了另外的新颖且非显而易见的特征的集合，包括但不限于：用户选择下的数字手术显微镜的光轴与定位在空间中的导航矢量(诸如NICO端口的中心轴线或脊柱扩张器工具的中心轴线)的准连续、准实时的对准；用户选择下的数字手术显微镜的光轴与预先规划的轨迹的对准；和/或用户选择下的数字手术显微镜的光轴与工具或工具几何结构的一部分的连续或大致连续的对准。

此外，集成手术导航和可视化系统可以提供用于将双相机立体数字手术显微镜的概念扩展到N相机数字手术显微镜的基础，其中，N为2或更大。

在一些实施例中，集成手术导航和可视化系统可包括集成到可视化设备中的导航设备。例如，数字手术显微镜头部可以包括导航设备和可视化设备两者。

在另外的实施例中，集成手术导航和可视化系统可以为数字手术显微镜提供自动导航。可以通过将与患者相关联的患者数据变换到固定到数字手术显微镜的可视化相机，来促进自动导航。

I.手术环境

图1A是示出了例如在传统手术环境100A中使用的单独且不同的导航和可视化系统的图。相反，图1B是示出了根据本公开的示例实施例的集成手术导航和可视化系统的示例手术环境100B的图。如图1A和图1B所示，本公开的示例手术环境100B包括集成手术导航和可视化系统101C，而传统环境100A通常包括与手术可视化系统101B分离且不同的手术导航系统101A。在一些方面，分离的手术导航系统101A和手术可视化系统101B可以经由电缆166通信地连接，从而在手术期间提供用于增强现实的有限选择。图1B的集成手术导航和可视化系统101C和/或图1A的传统手术可视化系统101B可以包括安装在机器人臂120上的数字手术显微镜(DSM)头部110。为了增强机器人臂的可及范围，机器人臂120可以安装在延伸平台(“跳板”)130上。为了扩展可以使用集成手术导航和可视化系统的取向范围，DSM头部110可以安装在“万向”联接器140上，该万向联接器可以提供超出机器人臂的端部的一个或多个另外的自由度。

在本公开的一些实施例中，力-扭矩传感器150可以被并入到(例如集成手术导航和可视化系统101C的)机器人臂-DSM头部组合中。力-扭矩传感器150可以允许用户使用物理动作(例如如传统显微镜)随意地摆放DSM头部的姿态。例如，用户可以物理地抓取DSM头部或者附接或以其他方式联接到机器人臂的手柄的某个或某些部分，并且可以将头部指向期望的姿态。力-扭矩传感器150可检测物理输入。软件控制模块可以将力-扭矩传感器的输出转换成姿态的预期变化。同一或另外的控制模块可以将这样的用户意图转换成机器人姿态变化的集合，其可以被流传输到机器人以实现变化。

集成手术导航和可视化系统101和/或传统手术可视化系统101B还可以包括推车154。推车154可以为机器人臂和跳板提供支撑结构。此外，推车154可以包括嵌入式处理单元(EPU)160和具有不间断电源的电力管理单元(PMU/UPS)162。EPU 160可以与DSM头部进行通信，从而发送命令和接收命令响应以及图像和状态数据。PMU/UPS 162可以管理系统101的电源。不间断电源(UPS)162可以向用户提供在需要的情况下短时间拔掉推车的电源插头以重新定位的选项。PMU/UPS 162还可以向外科医生提供在医院电源故障时在短时间内过渡到备用设备的选项。

图像可以由数字手术显微镜的光学器件和图像传感器电子器件(未示出)捕获，发送到EPU，处理并发送到三维(3D)立体显示器170。3D立体显示器170可安装在铰接式显示器安装臂180上，并且其姿态可由显示器姿态调整手柄182来控制，例如以允许用户摆放显示器的姿态以便获得最佳观看质量和舒适度。

外科医生190可以佩戴3D眼镜192来观看3D立体显示器。3D眼镜192可以使外科医生观看手术部位194的3D立体视图。数字手术显微镜中的变焦和聚焦光学器件可以由用户控制，并且可以在一系列工作距离(例如200毫米(mm)-450mm)和放大率(例如3倍-11倍)内提供手术部位的3D立体聚焦视图。在一些实施例中，3D眼镜是无源的，其中，眼镜左边和右边的每个相应镜片上的偏振膜分别与施加到显示器上的每隔一行的偏振膜共轭(例如左镜片使显示器的偶数行通过并阻挡奇数行，反之亦然)。在一些实施例中，3D眼镜是与显示器同步的有源快门类型，使得左眼使例如每隔一个的示出在显示器上的时序帧通过并阻挡其余部分，右眼表现互补。在一些实施例中，3D显示器可以是“无眼镜的”并且可以在不需要3D眼镜的情况下向用户提供3D显示。

如本文所用的，“工作距离”和“焦点”可以互换使用。此外，集成系统101C的用户界面可以将工作距离称为可变参数。当改变期望的工作距离时，光学器件移动，使得焦距变化。由此，显微镜与焦面之间的距离可以变化，并且该距离通常可以被认为是工作距离。

集成手术导航和可视化系统101C和/或传统手术导航系统101A可包括导航相机(“导航定位器”或“定位器”)200。例如，在图1A所示的传统手术导航系统101A中，导航定位器200可以安装在铰接式定位器安装臂202上。导航定位器200可由用户通过定位器姿态调整手柄204摆放姿态。

导航可跟踪患者参考目标230可以刚性地安装到患者夹具(例如“Mayfield”夹具)240。患者夹具240可以安装在患者250所在的手术床242附近。患者夹具240可避免患者解剖结构的区域相对于患者参考阵列移动。

数字手术显微镜通过添加DSM导航目标(例如从“壳(shell)”和“头盔(helmet)”导出的“壳状头盔(shellmet)”)210可以呈现为与定位器兼容(例如通过呈现为可由定位器跟踪)。各种样式的导航目标可以与系统一起使用，诸如在图中示意性示出的后向反射球体或在本文的其他地方描述的基于图像的拐角目标。

定位器可以检测在其观察空间中的兼容设备(即，可跟踪设备、导航目标)的某个参考系中的姿态。定位器可以以准实时的方式响应于对这种信息的请求(例如在“轮询”方法中每秒15次)或者甚至在不需要时以恒定速率(“广播”方法)将该信息提供给EPU。通常，报告姿态的参考系可以是定位器的参考系。然而，在一些实施方式中，可执行预先计算以便报告来自不同参考系的姿态。

诸如颅骨的相关刚性患者解剖结构可以安装到夹具240或可经由其接近。本文所述的系统和方法可以引导用户通过患者解剖结构配准过程，作为准备工作流程的一部分。该配准过程可以确定患者数据270相对于导航目标的姿态，该导航目标被直接或间接刚性地固定到相关患者解剖结构。

在一些方面，集成手术导航和可视化系统101可以包括集成到DSM头部102中的导航系统，其可以安装在机器人臂120上。推车154可以支撑机器人臂120以及悬臂安装式3D立体显示器(例如3D立体显示器170)和用于用户输入的桅杆安装式触摸屏171。也可以可选地连接另外的显示器。

集成手术导航和可视化系统101可以提供头部相对于在场景中通过导航设备可见的某个参考或目标的6个自由度(6DoF)的位置和取向信息。数字手术显微镜可以在放大率范围(通常为1倍-9倍)和工作距离范围(通常为200mm-450mm)内提供立体可视化。

手术导航的目的可以包括在手术过程期间围绕患者的解剖结构引导外科医生，使得外科医生可以以最有效、最少损害的方式完成手术过程。患者的解剖结构通常在设备(诸如计算机断层摄影(CT)机或磁共振成像(MRI)机)中被扫描，并且结果可以以诸如解剖结构的图像“切片”堆的格式存储，从该堆可以重建和探查3D解剖结构。由此，可以通过提供患者数据与各种对象(诸如导航探针和/或数字手术显微镜的光轴)之间的各种级别的相对位置和取向信息的一个或多个视图来实现上述目的。

II.导航复杂度等级

手术导航可能存在各种复杂度等级，各个等级具有增加的成本和益处。各个复杂度等级可能涉及相机校准的增加的复杂度，同时各个复杂度等级提供更多的导航信息(或更容易使用的这样的信息)。

导航的简单形式可以是在这种视图中提供患者数据中单个点(诸如导航探针的尖端)的位置。下一复杂度等级可以涉及在数据中示出矢量，其中，矢量可以表示导航探针的轴线所沿着的线。下一复杂度等级可以包括示出探针关于该矢量的正确取向。

在较高的复杂度等级下，手术导航可以与可视化集成。

例如，下一复杂度等级可以是为数字手术显微镜提供具有取向的矢量，其中探针矢量变为显微镜的光轴。探针尖端可以成为显微镜的焦点，并且取向信息可以与显微镜的屏幕上显示的“上”方向(例如显微镜显示的垂直维度)有关。在该复杂度等级下，与数字手术显微镜的屏幕上实时视图非常相似的患者3D数据的给定二维“切片”的视图是可能的。

在本文所述的各种实施例中实现的导航的较高复杂度等级是将患者扫描数据的这种二维“切片”的呈现覆盖在实时显微镜图像上，并且使呈现的可见特征以一定的准确度水平与其在实时视图中的对应特征对准，并且使“切片”能够沿着光轴移动，以便实现查看患者解剖结构的当前物理表面下方的结构的“X射线视觉”。在本文所述的各种实施例中也实现的导航的更高复杂度等级是在实时视图上提供患者扫描数据的三维呈现(虽然是二维显示)，并且使对应的特征对准。

III.确定对象和患者解剖结构的相对姿态

手术导航的各个复杂度等级可以涉及确定一个对象相对于另一个对象的相对位置和/或取向。在一个实施例中，本文所述的手术导航复杂度的最高等级可以包括所有所述的复杂度等级。因此，为了便于解释，描述了最高等级(例如经由图1C)。

图1C是示出了根据本公开的示例实施例的用于确定对象和患者解剖结构的相对姿态(例如在集成的手术导航和可视化系统中(例如高复杂度等级))的示例过程100C的流程图。在一个实施例中，过程100C可以从将导航设备集成到数字手术显微镜头部中(102C)开始。此外，导航设备和数字手术显微镜相机可以各自或共同地被校准(分别为步骤104C和106C)。然而，由于本文描述了已经集成了手术导航和可视化的系统，所以步骤102C至106C可以是可选的(例如如标记107C所示)。对于集成手术导航和可视化系统，过程100C可以开始于图1C所示的后续步骤。

例如，过程100C可以从集成手术导航和可视化系统的导航部件确定导航部件参考系与数字手术显微镜相机的参考系之间的相对位置和取向信息(也称为“姿态”信息)(步骤108C)开始。该步骤可以可选地与先前描述的校准步骤组合。

可以将患者定位到固定的刚性结构(诸如夹具)中(步骤110C)。夹具上的目标可以设置有姿态，使得目标可以通过集成手术导航和可视化系统以及相关联的方法实时或接近实时地检测。

可以确定相对于固定刚性结构(例如夹具)上的目标参考系的术前、围术期和/或术中(通常为3D)患者数据扫描中的患者解剖结构的姿态(步骤112C)。通过包括刚性地固定到患者夹具的校准目标，该步骤可以可选地与导航设备参考系与数字手术显微镜相机的参考系之间的相对姿态的确定相组合。而且或替代地，步骤112C可以与数字手术显微镜相机的校准相组合。校准目标可以用作导航目标。

在步骤114C，可以确定DSM相机相对于导航目标的姿态(例如实时或接近实时)。例如，集成手术导航和可视化系统的导航部件可以用于实时或接近实时地观察夹具上的目标，以提供数字手术显微镜相机相对于导航目标的最新姿态。由此，使用在先前步骤中收集的数据，可以计算数字手术显微镜相机相对于患者数据的姿态。

在步骤116C，可以利用先前描述的变化的手术导航复杂度等级与实时手术视图并排地或覆盖到实时手术视图上来呈现供外科医生使用的患者数据。

IV.导航设备

导航设备可以提供头部相对于在场景中通过导航设备可见的某个参考或目标的6个自由度(6DoF)的位置和取向信息。导航设备可使用诸如USB网络相机的标准成像设备来实现。该单视场相机可以用于观察场景并将数字形式的场景图像提供给主信息处理器模块，该模块使用标准图像处理技术来检测场景中存在的所有导航目标。可以使用另外的标准图像处理技术来计算给定导航目标相对于相机参考系的6DoF位置和取向信息。

导航设备中使用的相机的分辨率可能影响准确度。例如，与较低分辨率的相机相比，较高分辨率的相机可以提供针对给定测量空间的较高分辨率的位置和取向测量。测量空间可以在较高的空间频率下测量。例如，使用在水平方向上具有1920个像素的图像传感器测量1.92米(1920mm)宽的空间的相机将以1920个像素/1920mm＝1个像素/mm对该空间进行采样。具有在水平方向上具有3840个像素的传感器的相机将以3840个像素/1920mm＝2个像素/mm对该空间进行采样。当光学器件被正确地设计成匹配传感器像素尺寸时，该空间采样分辨率与相机中使用的传感器的分辨率成正比地增加。

子像素分辨率技术(诸如在OpenCV::cornerSubPix()中使用的)可显著地提高较低分辨率相机和已知(或算法友好)目标图案的该分辨率，但也可用于较高分辨率相机，从而保留较高分辨率相机的优点。

这里使用的导航相机的视场是指相机在水平和垂直方向上都可观察的角跨度。该三维区域内的可用区域涉及相机光学器件的景深，其中，物品足够聚焦以便可使用；我们可以使用术语“景深”来定义可用区域，其可能与传统成像稍有不同，因为目标检测计算机视觉算法通常可以成功地使用比人类观察者可能认为可用的图像更模糊的图像。

视场可能需要足够大以适应设备的所有用途；可能需要导航目标一直在视野内。另外，工作流程要求规定系统支持使用通常在没有显微镜观察的情况下使用的工具，诸如导航探针。在患者配准到导航系统之后，在患者开刀之前，使用这种探针来确定最佳手术入路。一些系统需要使用探针来执行配准步骤。本申请的导航系统提供了优于将探针用于配准的改进。

对用于相机校准的光学系统进行建模的流行且最直接的方法是针孔模型，其中，相机被建模为简单的针孔相机。然而，这并不完全匹配实际系统，因为针孔相机具有无限的景深。即，场景中的每个对象总是聚焦的，而不管其距相机的距离如何。在真实的相机中，在视场中存在其中对象充分聚焦的可用区域；在该范围之外的对象对于使用而言过于模糊。

图1C是示出了根据本公开的非限制性实施例的示例针孔相机垂直视场角度的图。如图1C所示，垂直视场角度包括与景深有关的可用区域。

构建交易空间以确定应用的视场、景深和相机分辨率的最优值。各个因素影响系统的可用性以及目标位置和取向的测量准确度，并且相机分辨率直接影响商品成本和计算负荷。

为了增加系统的鲁棒性，可选地将诸如脉冲LED的光源添加到导航相机设备。灯光面向场景，并且仅在其从场景中的物品(特别是导航目标)反射时才被导航相机看到。在相机透镜的前面(并且可选地在LED的前面)可选地添加滤光器，该滤光器与所使用的灯光的波长相匹配，使得期望光谱之外的光被拒绝。

另外，灯光可选地以与导航相机传感器同步的模式脉动，使得相机可以拒绝虚假背景灯光。例如，LED在导航相机的偶数帧(帧0、帧2、帧4等)的曝光时间内关闭，并且在奇数帧(帧1、帧3等)内关闭，然后从其最近的打开帧(例如之前刚刚到达的打开帧)减去关闭帧…这种“经由光同步方法的背景抑制”抑制背景灯光，并且主要仅显示LED光源的反射。

该方法存在LED光源从导航目标以外的对象反射的问题。然而，利用从所得到的导航相机图像中检测先验已知的目标图案的图像处理，该方法仍然充分地可行。

通过可选地使用在受到来自光谱的不同区域的能量激励时在电磁光谱的一个区域中发荧光的目标来实现进一步的鲁棒性。光源和用于光源的任何所需的光学器件和滤光器被设计为生成光谱的激励区域并将其投影到场景；目标被设计为吸收该激励并发射光谱的发射区域；并且相机前面的滤光器被设计为仅通过光谱的发射区域。当与上述“经由光同步方法的背景抑制”一起使用时，所得到的导航相机图像主要仅包含导航目标的图像；来自导航目标以外的对象的导航LED光激励的反射被显著抑制。

V.系统流水线

图2是示出了根据本公开的示例实施例的用于集成手术导航和可视化系统的示例流水线400的流程图。此外，流水线400描述了如何在集成手术导航和可视化系统101中生成、捕获、处理和显示手术可视化和导航信息的一个或多个示例。应当理解，虽然与流水线400相关联的过程被示出为近似线性的，但是一个或多个过程可以同时发生和/或以与这里所呈现的顺序不同的顺序发生。

流水线400可以从手术部位的图像获取(方框402)开始(例如作为图像数据流的一部分)。手术部位图像获取可以发生在手术部位图像获取模块处或由手术部位图像获取模块执行。在美国专利10,299,880和10,334,225中进一步描述了全功能立体数字手术显微镜的示例图像获取模块，其包括光源、变焦和聚焦光学器件、图像传感器以及所有支持电子器件、软件、固件和硬件，上述美国专利的全部内容以引用的方式并入本文。该图像获取模块可以生成手术部位图像数据流410，其可以被传送到显微镜处理单元420和相关联的手术部位图像处理模块430。图像可以以高到足以被用户感知为视频的帧速率(例如60帧每秒(fps))来捕获和处理。由此，图像可以被认为是“图像数据流”。应当理解，在描述双相机立体数字手术显微镜的情况下，该概念可以扩展到N相机数字手术显微镜，其中，N为2或更大。

手术部位图像处理器可以处理从手术部位图像获取模块接收的图像数据410，并且可以产生经处理的图像数据流440。经处理的图像数据流440可以被发送到呈现器模块450，并且更具体地发送到绘制、布置和混合模块460。呈现器模块450还可接收可在离线过程中生成的相机校准信息464。在美国专利第9,552,660号和美国专利第10,019,819号中进一步描述了用于产生相机校准信息的方法和系统，上述美国专利的全部内容以引用的方式并入本文。可以为立体数字手术显微镜的各个”眼“生成相机校准信息。相机校准可以向呈现器模块提供设置其虚拟相机的选项，使得呈现的覆盖对象与要描述的适当导航数据一起以与由手术部位图像获取模块捕获的对象类似的视角、尺寸(放大率)和姿态出现。例如，患者颅骨和皮肤的一部分的呈现覆盖图可以以与通过数字手术显微镜对相同部分的实时视图类似的视角和姿态出现。

这种组合可以在绘制、布置和混合模块460中继续，其中，手术部位经处理的图像数据流440可以与患者数据覆盖图470、具有可选工具姿态的多平面重建(MPR)视图480、以及分割信息490组合成原始立体呈现图像流492。原始立体呈现图像流492可以被发送到立体/单视场显示准备模块500。立体/单视场显示准备模块500可以根据需要将原始立体呈现图像流492变换成立体显示器520所需的最终立体显示输出数据流510。不同的立体显示器可能需要不同的最终立体数据格式，显示准备模块可以提供这些数据格式。而且或替代地，可以存在一个或多个单视场显示器540。与单视场显示器540相关联的各种数据格式530也可以经由显示准备模块的配置来提供。

前面的几个段落讨论了实时手术部位图像流的获取、其处理以及与导航模块输出的组合及其显示。导航模块输出如下形成。

定位器550可以包括具有对其视场可见的特定场景的感测设备。场景可取决于设备的设计和设备的姿态。在一些实施例中，定位器550可以向一个或多个导航工具发送通信查询560。可能存在于场景中的导航工具可以包括例如第一导航工具570、第二导航工具580和/或多达一定数量的这种工具590。在一些实施例中，这种通信查询可以涉及以恒定水平或以已知的脉冲速率和/或序列朝向场景引导红外光。在另一些实施例中，查询可以具有被动性质，诸如依赖于环境可见光来照亮在导航目标上形成的高对比度图案。对该红外光的控制(例如通过接通和断开或通过选择特定波长)可以帮助避免对数字手术显微镜荧光能力的照明干扰。

通信查询可作为响应600从各个相应的导航工具发回。响应可由定位器接收，并且可作为各个导航工具的工具信息和姿态信息610发送。定位器可以以实时或接近实时的速率(诸如15赫兹(Hz)到30Hz)作为发送/接收周期运行这些查询和/或响应。各个工具的姿态信息可在所有工具的公共空间中确定。例如，相对于定位器的刚性特征的座标参考系原点和取向可以是所使用的公共空间。工具和姿态信息630可由工具姿态计算模块620接收。

在离线过程中，可以使用患者数据获取设备(CT、MRI等)640来扫描患者250的相关解剖结构以生成获取的患者数据650。所获取的患者数据可以可选地存储在患者数据中央储存装置660中。患者数据可以被发送(例如从中央储存装置670)到导航处理器680。替代地，患者数据可以作为患者数据672直接从获取设备640发送到所述处理器。

应当理解，各个导航处理器、显微镜处理单元和所有其他主要部件的物理位置可以随实施方式而变化。通常，显微镜处理单元420和导航处理器680可驻留在嵌入式处理单元160中，但这不是必需的。例如，导航处理器可以物理地位于与导航相机相同的壳体内部，远离可以容纳嵌入式处理单元的推车。

患者数据处理模块690可以将患者数据处理成系统其余部分中的各种模块所需的格式，作为经处理的患者数据700。

与该流水线相关联的处理的相对定时将参考图4进一步描述。如下面将描述的，用户710可以经由用户规划、分割和配准输入720来引导软件执行这些相应的工作流程步骤。患者配准模块730可以引导用户并接受用户输入以生成患者配准信息740。配准信息740可以描述经处理的患者数据700与患者参考导航目标230之间的姿态关系。

当多平面重建视图生成器750生成多平面视图780时，可以继续使用经处理的患者数据700。多平面视图780可以辅助用户使用规划模块760来生成开口、入路和目标图案和轨迹(作为手术导航系统中的标准特征)。在一些实施例中，3D视图生成器还可以例如通过生成患者数据的3D表示来尽力辅助用户。3D表示的视图可基于期望的姿态和/或尺度来调整。

多平面视图780和/或患者数据的任何3D表示可以辅助用户使用分割模块770来生成分割的几何形状790。例如，如果患者病理是位于患者脑部的某个特定位置的肿瘤，则分割模块770向用户提供在患者数据中隔离肿瘤使得分割的几何形状在尺寸、形状和姿态上表示肿瘤的选项。

可以将相机校准信息464、工具姿态信息630、多平面重建视图780、患者数据的3D表示、和分割的几何形状790中的一个或多个提供给虚拟场景管理器800。虚拟场景管理器800可以生成可由绘制、布置和混合模块460以用户配置的各种方式使用的患者数据覆盖图470、具有可选工具姿态的多平面重建视图480、以及分割信息490的表示。

例如，覆盖图可以被显示在沿着数字手术显微镜的光轴的一定距离处，其中开/关选项可用。而且或替代地，沿着光轴的所述距离可以由用户控制，从而允许在患者解剖结构的某个部分下方的患者数据的“X射线视觉”。

在将覆盖图注入到传统的光学显微镜中的现有的常规系统中，覆盖图显示器的焦平面明显地是单个平面，而场景的视图是许多焦距的模拟集合。在这种常规系统中，当在观看实时手术部位与观看覆盖图之间切换时，用户经常被迫重新聚焦他们的眼睛。进一步地，该单个覆盖图显示平面的感知位置通常位于显著远离一般手术部位场景的位置，例如在该部位上方几厘米。然而，本文所述的系统和方法可以允许覆盖图信息呈现在与实时手术部位的立体视图相同的显示焦平面上。

虽然可能存在实时手术部位的立体视图的单个显示焦平面(例如立体显示器的平面)，但是由于人类视觉系统的好奇，用户可能仍然感知许多焦距的完全或感知上完全的模拟集合。

进一步关于该示例，三个多平面重建视图中的一个或多个(或全部)加上3D表示可以可选地显示在主显示屏幕的侧面，从而在一个显示器中将实时手术视图与导航信息集成在一起。这种集成是优于现有多设备系统的又一益处，现有多设备系统通常迫使用户在可视化系统与导航系统之间来回查看，从而在心理上承受着系统之间的大信息负荷。

VI.系统准备

图3是示出了根据本公开的示例实施例的用于启动集成导航和可视化系统的示例过程300的流程图。例如，可以训练集成导航和可视化系统的用户遵循如过程300所示的系统准备步骤。在步骤850，用户可以将集成导航和可视化系统插入医院主电源(例如通过插入墙壁插座)。在步骤860，用户可以使系统通电(例如通过打开“接通”开关)。在步骤870，用户可以开始使用系统。下面将参考图4进一步描述打开系统之后的工作流程步骤。

如图3例示，启动集成导航和可视化系统的相对容易性赋予了集成手术导航和可视化系统优于用于导航和可视化的常规多部件系统的主要优点，因为集成手术导航和可视化系统消除或排除了执行各种设置步骤或启动过程的需要。例如，如图3所示，可能需要单个电源插头连接到医院电源，而常规的多部件系统通常可能需要至少两个这样的连接。此外，用户不需要在导航系统与可视化系统之间进行物理连接。相反，常规的多部件系统通常可能需要单独的导航系统与可视化系统之间的某种形式的连接。此外，不需要在导航系统与可视化系统之间进行工作流程同步。相反，常规的多部件系统可能需要某种形式的这种工作流程同步。

VII.系统工作流程

图4是示出了根据本公开的示例实施例的针对集成手术导航和可视化系统执行的示例工作流程的流程图。集成手术导航和可视化系统上的软件应用可以执行流水线的软件部分，并且可以提供工作流程以供用户遵循。工作流程的各个部分可以在工作流程命令和控制模块中实施，而其它部分可以在软件外部和系统外部执行。可以呈现这样的部分以便提供系统使用的完整画面。

为了清楚起见，工作流程命令和控制模块未在数据获取、处理和显示流水线400中示出。本文中描述了所实施的工作流程。应当理解，虽然以近似线性的样式描述了该工作流程，但是一些过程可以同时发生和/或以与这里所呈现的顺序不同的顺序发生。

工作流程可以从手术室的设置(“手术室设置”)900开始，其中，设备、工具和附件可以被带入手术室中。这样的设备、工具和附件可以包括但不限于集成手术导航和可视化系统、患者夹具、导航工具、手术器械和麻醉设备。被认为是患者设置工作流程步骤902的一组工作流程步骤可以由手术室工作人员进行。这些步骤可以从910中的擦洗开始，其中，进入无菌区的工作人员执行其预清洁并穿上无菌衣。另外，此时可以执行一些初步的患者擦洗。

在步骤920，患者可以被清醒地带入手术室。然后，步骤930可包括患者准备930，其可包括在手术部位附近的毛发去除和附近区域的进一步消毒。在步骤940，可以将患者移动到手术位置，并且在步骤950，麻醉师可以麻醉患者。

在步骤960中可以执行与患者相关联的导航设置的部分。在一些方面，患者的相关解剖结构可以相对于导航参考目标刚性地固定。例如，在神经手术中，患者的颅骨可以刚性地固定到Mayfield夹具中，并且导航参考目标刚性地固定到夹具。附件(诸如导航探针)可以在此时例如通过以下方式而变得可用：将其从其消毒套件中去除并将其放置在外科医生可用的无菌台上。

工作流程可以进行到本文中称为规划和手术室设置962的步骤集合。在与规划和手术室设置962相关联的步骤中，步骤964通常可以发生在手术室的非无菌区域中，例如，利用不需要被消毒的设备。

用户可以进行到在步骤970使用集成手术导航和可视化系统上的软件应用从患者数据中央储存装置导入患者信息和患者图像数据。在一些方面，患者数据中央储存装置可以包括图片存档与通信系统(PACS)、医院信息系统(HIS)或放射信息系统(RIS)(统称为PACS/HIS/RIS 980)中的一个或多个。患者信息和患者图像数据可以通过诸如医院以太网的通信接口提供为格式化的患者数据990。患者信息和/或患者图像数据可以使用一个或多个选项(例如医学数字成像通信(DICOM)、健康水平(HL7)等)来格式化。

在步骤1000，可以导入外科医生简档。替代地，例如如果不存在，则可以创建外科医生简档。在判定步骤1010，如果存在导航方案，则在步骤1020，用户可以从本地储存装置1030加载现有患者方案(分割的解剖结构和轨迹信息)。然而，如果不存在导航方案，则用户可以在判定步骤1040确定是否需要现场规划。如果导航方案不存在和/或如果不需要现场规划，则可以在步骤1050加载参考图像。如果需要或期望导航规划，则在步骤1060，可以执行导航规划。用于导航规划的另外步骤可以包括例如图像模态配准或融合(例如用于配准MRI到CT)、感兴趣区域(ROI)指定、一个或多个区域的分割、开颅(在颅神经手术的情况下)或其他入路指定、以及轨迹规划。在步骤1070，可例如由主导外科医生验证导航规划。

在步骤1080，可以确定手术室布局。手术室布局可以涉及集成手术和导航可视化系统的定位和/或取向以及在手术过程期间在各个阶段如何摆放各件手术室设备的姿态。

在步骤1090，可将集成手术导航和可视化系统带到患者所在的手术室工作台附近。目前，数字手术显微镜头部可以保持远离无菌区。可以摆放定位器的姿态，使得其可以“看到”(例如在其视野内接收)在当前工作流程步骤期间所需的相关导航工具。例如，在配准期间，定位器可能需要看到导航的手探针和导航的患者参考目标。

在步骤1100，用户可以验证患者准备好配准。在步骤1110，用户可以验证定位器正在跟踪配准所需的工具。在一些实施例中，这些工具可以包括导航的手探针，并且跟踪可以涉及定位导航的患者参考目标。在其他实施例中，跟踪可以涉及定位数字手术显微镜上的导航目标和导航的患者参考目标。

在步骤1120，可以执行患者配准。各种形式的配准可用于手术导航可视化系统中。所选配准可以是若干变量的函数，变量包括但不限于手术类型、患者位置和/或患者状况。可用的患者配准形式可以包括例如基准匹配、界标匹配和跟踪。

在基准匹配时，在执行容积扫描(例如通过CT或MRI)之前，可以将基准添加到患者(例如通过固定)。基准可以保持在患者上。然后，可以将实时物理基准的位置与容积扫描中的位置相匹配。在一些实施例中，可以使用导航探针的尖端来执行实时患者上基准的位置的指定，并且在其他实施例中，可以使用数字手术显微镜的焦点来执行实时患者上基准的位置的指定。

在界标匹配中，可以将实时患者上的物理界标(例如眼角)与容积扫描数据中的对应界标匹配。类似于基准位置，在一些实施例中，可以使用导航探针的尖端来执行实时患者上界标的位置的指定，并且在其他实施例中，可以使用数字手术显微镜的焦点来执行实时患者上界标的位置的指定。

在跟踪中，软件可以指示用户使用导航探针在用户解剖结构的独特形状部分(例如鼻梁的鞍部，包括眼睛下方的一些区域)上跟踪。而且或替代地，数字手术显微镜的焦点可以与机器人在该区域周围移动结合使用，其中自动聚焦机构提供停留在患者解剖结构的表面上的手段。

患者配准的其他形式可以包括使用激光的非接触式配准以及使用摄影测量/立体摄影测量的非接触式配准。

在步骤1130，外科医生可以审查患者数据并且可以验证配准。如果配准不够准确(例如不满足相似性阈值)，则判定步骤1140提供用于返回到步骤1120以重复配准步骤的逻辑。如果或在配准足够准确(例如满足相似性阈值)之后，工作流程进行到步骤1142，其在大多数情况下发生在手术室的无菌区域。

为了使患者和数字手术显微镜准备好在无菌区中使用，步骤1150包括将患者和数字手术显微镜覆盖在一个或多个无菌盖布中。可以根据需要为数字手术显微镜对准适当的开口。例如，透镜窗口可以与数字手术显微镜的光学器件主入口对准。患者的要进行手术进入的区域可以通过患者盖布暴露。患者的皮肤可以用抗菌溶液消毒。

先前在步骤1120中描述的较早的患者配准可能已经发生在具有未被盖布覆盖的患者和夹具以及可能的非无菌导航探针的非无菌区中。由于夹具未被盖布覆盖并且是非无菌的，所以患者参考导航目标可以被认为是非无菌的。由此，在步骤1160，可以用无菌等同物替换该目标和/或导航探针(例如如果使用的话)。

参考图4的工作流程，关于1160之后的步骤，手术的主要部分可以开始。在步骤1170，使用规划，可以在患者身上标记或以其他方式指示切口点和/或路径。集成手术导航和可视化系统的优点在于，作为对物理地标记患者的替代方案，这些切口点和/或路径可以被虚拟地绘制为在实时视图上的覆盖图。这是非常有用的，因为这样的点和/或路径可以在整个入路中持续，而物理标记被立即去除，因为它们在入路期间首先被剥离或以其他方式移出位置(并且不可见)的皮肤最外层上。

开口和入路可以在步骤1180从患者切口开始。该工作流程中的一些步骤可以是颅神经手术所特有的，但是也可以应用于许多普通手术。在步骤1180，开颅开始。集成手术导航和可视化系统的另一个优点可以包括以下能力：预先规划开颅形状并且将其虚拟地绘制为在实时图像上的覆盖图，使得外科医生仅仅需要“按数字切割”并且如屏幕上绘制地利用切割工具来遵循路径。在入路的整个时间期间，该覆盖图可选地在用户的控制下持续。

在步骤1190(例如作为颅神经手术的一部分)，可以打开硬脑膜。在步骤1200，可以将数字手术显微镜头部移动到患者身上的手术部位所在的位置。在一些方面，该步骤可以在图4所示的工作流程中较早地发生，例如，以提供用于皮肤切口和开颅步骤的虚拟覆盖图。

在步骤1210，可以执行大部分手术。集成手术系统的更多优点变得显而易见。例如，可以响应于用户请求在多平面重建视图上绘制规划轨迹。可以在用户请求下命令机器人臂移动数字手术显微镜的光轴以与预先规划的轨迹对准。而且或替代地，这种对准可以用于准连续、准实时地将数字手术显微镜的光轴对准某矢量，诸如NICO端口的轴线或脊柱扩张器工具的轴线。由此，外科医生可以不必手动地定位显微镜以沿这样的轴线向下保持有用视图，这种轴线可能在整个手术中改变姿态。

而且或替代地，在步骤1210，可以使用导航覆盖图来允许外科医生“知道他们在患者解剖结构内的位置”。此外，导航覆盖图可以用于通过从患者解剖结构的患者容积数据部分绘制而允许外科医生具有“X射线视觉”，这些容积数据部分可能保留在患者身上尚未被去除的物理结构下方。

当分割例如用于指定肿瘤的3D形状和姿态时，这样的3D形状可以在用户控制下以正确的视角、姿态和尺度绘制到一定准确度内，并且可以与实时图像流混合。本说明书可以允许外科医生识别尚未切除的组织的哪些部分可能是“肿瘤”或“非肿瘤”。

在完成手术的主要部分(例如肿瘤切除或动脉瘤夹)之后，在步骤1220中，可以闭合硬脑膜并且可以缝合头皮。在步骤1230，可以移开数字手术显微镜头部和推车。手术可以在步骤1240完成。

在步骤1250，可以存储(例如在本地、在图片存档与通信系统(PACS)1260、在用于在手术期间记录的图像和/或视频的本地储存装置1270)在手术期间记录的图像和/或视频。

VII.相机校准

为了确定导航相机的视场中的目标的位置和取向信息(也称为“姿态”信息)，可能需要校准导航相机。为了在实时视场上提供对象的准确呈现，可以校准数字手术显微镜相机。

对于单视场相机，目标的几何信息也可能是已知的；立体相机可以执行绝对测量而无需进一步的输入。用于单视场和立体相机的校准过程在其核心可以至少几乎相同，其中立体相机需要另外的几个额外步骤。

至少一个用于校准的高级过程可以涉及：获取图像；求解相机参数；以及可选地求解场景中的对象的3D模型。

通过在图像中为导航相机和数字手术显微镜相机的各个校准添加特殊的校准目标，可以确定场景的尺度并且可以以提高准确度的方式将两个相机空间联系在一起。

a.获取图像

在一个实施例中，校准可以从拍摄大量(即N个)快照(例如N＝50)开始，各个快照具有场景中的某个对象的略微不同的姿态。姿态变化可以通过控制机器人以将数字手术显微镜头部围绕对象移动到N个不同的姿态并且在各个姿态拍摄快照来实现。

快照(例如图像)可以各自标记有时间戳，该时间戳的分辨率足够精细以使各个快照的文件名称是唯一的。这样的识别信息可以可选地嵌入在各个图像的元数据中。

对如上所述成像的场景中的对象的要求可以随所使用的相机校准方法的类型而变化。

b.求解相机参数

求解相机参数可以涉及一个或多个方法，诸如：摄影测量；以及传统的校准对象方法。

在至少一个实施例中，可以使用摄影测量来求解相机参数。对于摄影测量，对象可以是在图像获取过程中保持其形状(我们将称为“刚性”)并且具有最小数量的算法友好“特征”的任何对象，算法友好特征分散在对象的表面上，算法可以在最小数量的图像中检测这些特征。然而，场景的尺度不能必然地从随机对象确定。可能需要手动地或通过在场景中插入尺度对象来以自动方式设置尺度。

快照姿态可以是重叠的，使得可以在多于一个图像中找到最小数量的特征，并且各个图像可以具有最小数量的这种特征(但不必在所有图像中都具有相同的特征)。可以使用若干特征检测模型(例如SIFT(尺度不变特征变换))中的任何一个来检测各个图像中的特征。这样检测到的特征可以各自使用特征“描述符”来表征，该特征“描述符”允许在多个图像中检测到相同的特征并且允许算法知道该特征是相同的特征。

可以将各个这样的特征在关联图像中的像素位置与特征描述符一起记录。该像素位置可以被用于相机校准中，以辅助确定场景中的特征如何经由相机结构投影到传感器平面，该传感器平面将所观察的场景转换成由此获取的图像。

假设对象在图像获取时间内是“刚性的”，由此，该算法被提供有来自给定的非移动特征集合的多个姿态的视图。这可以在所获取的图像的集合上针对不同的特征集合(通常是连续变化的这种集合)重复。该信息可以用于求解相机模型中的参数。为了简单起见，上述用于获取图像和求解相机参数的步骤在本文中可以被称为“相机校准”。

还可以计算由此捕获的场景的3D模型。由于使用任何对象(对比已知结构的校准对象)的能力，在使用摄影测量的相机校准中，此时世界场景的尺度是未知的。通过在获取期间捕获的至少一些图像中包括已知尺寸的对象来设置尺度。然后可以在3D模型和对应的模型点中手动或自动地找到对象。

校准参考系的原点和轴以类似的方式设置，例如，通过包括具有用于定义X和Y轴的线性正交特征的平面对象；Z轴使用X和Y轴的矢量叉积被隐含地定义，按照惯例在右手坐标系中，如图像中所示。在图5A中提供了设置原点和轴的示例校准参考系。

传统校准对象方法

当使用已知结构的校准对象并且通过处理算法可以检测构成该结构的特征时，在所获取的图像之间可能不需要图像的重叠，并且可以使用传统的校准对象方法，诸如OpenCV::calibrateCamera。其余的处理可以与摄影测量非常类似。

图5B是例示了根据本公开的示例实施例的可应用于集成手术导航和可视化系统的校准对象的图。

使用标准相机校准方法，诸如OpenCV cv::calibrateCamera，可以为立体数字手术显微镜的两个相机眼中的每一个确定以下内部相机参数：主点(cx,cy)；以及焦距(fx,fy)。

cv::calibrateCamera过程可通过在相应相机眼相对于校准目标的多个姿态拍摄校准目标的快照图像来实现，该目标含有计算机视觉可检测子对象。在一些实施方式中，子对象可以是相对于彼此唯一的，并且由此可以知道各个单独的子对象相对于整个校准目标的位置。

在一些方面，cv::calibrateCamera可以使用同时求解过程来确定在相机的各个姿态的内部相机参数以及外部相机参数。所述外部参数由相应的相机眼相对于校准目标的预定参考系的三维平移和三维旋转组成：

Tx、Ty、Tz(例如从原点沿着校准参考系的各个轴的平移)；以及

Rx、Ry、Rz(例如围绕校准参考系的各个轴的旋转)

对于用于生成快照图像以供在校准过程中使用的多个姿态中的每个姿态，外部参数对于相应相机眼相对于校准目标参考系的各个唯一姿态而言可以是唯一的。相反，可以约束内部参数以在所有这样的图像上保持恒定。

该概念可以扩展到N相机数字手术显微镜，其中，N是2或更大。

可以创建导航校准对象1300，其包括可由导航相机200跟踪的导航目标1310以及在已知位置和旋转(即，已知姿态)中布置在导航目标的参考系中的计算机视觉可检测子对象1320。

可由导航相机跟踪的导航目标210可以刚性地固定到相机的相应光学系统所共有的某物理框架。在一些实施例中，一个或多个另外的这种目标可以围绕框架不同地放置，使得定位器(即导航相机)可以在任何时间在数字手术显微镜头部相对于定位器的大范围的姿态上“看到”至少一个目标。

导航校准对象可以放置在立体数字手术显微镜的视野内。

立体数字手术显微镜可以被设置到给定的变焦和焦距。此外，可以使立体数字手术显微镜相对于导航校准对象移动N个姿态，将导航校准对象保持在视场中，并且记录各个相机眼在各个姿态的图像。

立体数字手术显微镜中的视差可以针对给定的屏幕上的点或区域被定义为针对屏幕上的点处的场景的给定点、区域或特征的左右相机眼之间的分离的像素数量。例如，屏幕的中心可被选择为测量视差的点，并且左相机眼的屏幕上的中心可观看场景特征，诸如不规则形状的三角形的左下角。

可以确定(例如经由用户输入或自动地经由计算机视觉模式匹配，诸如OpenCVcv::matchTemplate())相同的特征出现在右相机眼的屏幕上中心的右边5个像素处。在这种情况下，视差可以是“+5个像素”。关于屏幕的中心轴线的哪个方向是正号还是负号的确定可以是任意的和预定的。

可以校准立体数字手术显微镜，使得在变焦和工作距离的整个操作范围内，当系统处于“通常良好的聚焦”时，各个相机眼的屏幕中心处的视差处于或接近零像素。在一些实施例中，可以使用屏幕上的其他点和/或其他视差值。

在校准中使用的N个姿态的图像获取期间，导航校准对象的视图可以可选地经由机器人移动保持通常良好的聚焦，直到“聚焦”度量被优化，诸如最小化的视差。机器人移动可以经由反馈回路来控制。反馈回路可以连续地监测测量的参数视差并且可以使用测量结果来驱动机器人臂，使得立体数字手术显微镜沿着显微镜的估计光轴移动靠近或远离导航校准对象，从而调整测量的视差。

导航相机200(也称为”定位器“)可以在其视图中连续地对导航目标(也称为”工具“)成像。导航处理器680随后可以计算各个这种工具在某个参考系中的姿态，并且可以将所述工具姿态信息报告给嵌入式处理单元。所使用的参考系可以被称为“定位器参考系”，并且通常可以在定位器相机上方便且可感测的位置(诸如在使用立体定位器相机时在连结相机的两只眼的线的中点处)摆姿态。例如，参考系的一个轴可以与所述线对准，另一个轴可以从定位器相机的前表面正交地向外指向，并且第三轴可以被定向为满足右手笛卡尔坐标系。

在记录校准快照图像的机器人(以及因此立体数字手术显微镜)的各个姿态处，用于导航校准对象和数字手术显微镜上的导航目标中的每一个的工具姿态信息也可以被记录并被索引到校准快照图像以供稍后使用。

这些姿态可被表示为齐次变换矩阵，并且能够将一个参考系变换为另一个参考系。可以选择这种矩阵的命名以允许多个矩阵的“链接”，其中，一连串矩阵的乘法的最终结果可能导致最右边列出的参考系到最左边列出的参考系的变换，并且内部名称可能需要匹配。该命名和表示允许快速的就地验证，例如，以确保数学运算是正确的。

从空间“B”到空间“A”的变换可以被“反向”写为A_T_B，并且被读作“从空间B到空间A的变换是A_T_B:B至A”。

这一命名可以通过排列空间名称的“内部”对来允许容易地对变换进行“链接”。最终的变换可以是空间名称的“外部”对。

矩阵A_T_B的逆矩阵可以写为B_T_A。例如：

calPattern_T_calRefFrame＝calRefFrame_T_calPattern.inverse()(1.1)

在相机校准中，相机可以被建模为具有参考系的针孔，参考系的原点可以是针孔。可以放置相机，使得场景出现在针孔的一侧，而传感器出现在针孔的另一侧。为了数学运算简化，传感器可以概念性地移动到与场景相同的一侧。针孔可以被不同地称为“视点”、“相机眼”或“投影中心”。

导航校准对象在定位器参考系中的姿态可以表示为：localizer_T_calTarget(2.1)

当在数字手术显微镜上使用多个目标时(例如为了改善在一系列可能的相机姿态上的可见性)，可以以与当使用单个导航目标时相同的方式报告数字手术显微镜上的多个导航目标的姿态。例如，定位器参考系中的单个代表性姿态可以被报告为：localizer_T_camTarget (2.2)

这种报告不一定仅仅是标记方便。当在数字手术显微镜上使用多个导航目标时，一个目标可以被选择为主要目标，并且其它目标的位置可以相对于该主要目标而被确定。由此，导航处理器可计算并报告工具姿态信息流中的单个这样的工具姿态。

在相机校准过程中使用的各个快照可以提供相机眼相对于校准对象的某个预定参考系的姿态，该预定参考系通常是在校准对象中使用的某个校准图案的一部分。由此，相机眼的姿态(即，外部参数)可以相对于该校准图案来确定，并且可以表示为：

calPattern_T_camEye (2.3)，其中，“camEye”表示对于双相机立体数字手术显微镜的给定单个相机而言，整个光学系统的理想化针孔相机模型的投影中心和坐标系的参考系的位置和取向(即，“姿态”)。

为了简单起见，校准对象参考系可以被认为与安装到校准对象的导航目标的参考系一致。校准图案相对于安装到校准对象的导航目标(的参考系)的姿态由此可以表示为：

calTarget_T_calPattern (2.4)

在一些实施例中，如1330中，这通过使校准图案的参考系与安装在校准对象上的导航目标的参考系一致来使得相同。

对于具有相对于校准图案的相关联的相应相机眼姿态的给定单个校准图像，可以如先前描述的那样计算给定相机眼相对于数字手术显微镜上的单个代表性导航目标的姿态(例如逆符号、矩阵“链接”方法等)：

方程3：

camTarget_T_camEye＝camTarget_T_localizer*localizer_T_calTarget*calTarget_T_calPattern*calPattern_T_camEye

由于可能存在N个这样的校准图像和相关联的相应相机眼姿态，因此可能存在计算出的camTarget_T_camEye的N次出现。为了减少测量噪声和系统误差的影响，可以对出现N次的camTarget_T_camEye求平均，以为各个相机眼找到最终的camTarget_T_camEye。

在一些实施例中，可以通过设计为单位矩阵来得到calTarget_T_calPattern，从而简化方程。

Tx、Ty、Tz平移各自以线性方式求平均。

例如，可通过将角集合转换成四元数、检查没有极性相反并使用例如Markely型方法求解来实现对旋转Rx、Ry、Rz求平均。

在完成上述步骤之后，可以认为系统校准完成。

在典型的离线过程中，可以对患者进行容积扫描，从而在某个参考系(例如扫描设备的参考系)中产生相关患者解剖结构的三维采样。

安装到患者夹具的导航目标也可以被称为“患者参考目标”。患者参考目标在系统的运行时使用期间起到与安装到校准对象的导航目标在校准过程期间所起的作用类似的作用。

可以执行患者配准过程，从而得到相关患者解剖结构相对于患者参考目标的姿态的知识，并且表示为：

patientTarget_T_patientData (2.5)

在患者数据中找到相机眼观察哪里

上述信息的组合可以用于在系统的运行时使用期间在患者数据中确定立体数字手术显微镜的各个相应相机眼观察哪里。在现代计算机图形系统中，可以计算这种构造的逆。由此，患者数据在立体数字手术显微镜的各个相应相机眼中的姿态被确定为：

方程4：

camEye_T_patientData＝camEye_T_camTarget*camTarget_T_localizer*localizer_T_patientTarget*patientTarget_T_patientData

上述方程可以是设置计算机图形呈现器的“模型视图”部分；该方程描述了如何查看模型(例如患者数据)。

计算机图形系统的投影矩阵可用于描述场景中的点如何投影到显示屏上。相机校准过程可类似于确定场景中的点如何投影到相机的图像传感器上。由相机校准产生的相机内部信息可以直接用于创建投影矩阵。

在一些计算机图形系统(例如OpenGL)中，最终投影过程还可包括到过渡空间(例如归一化设备坐标空间)的映射。这可以通过采用刚刚描述的投影矩阵并与另一矩阵进行预先相乘来实现。结果也可以称为投影矩阵，并且可以提供直接操纵视场的机会，如接下来描述的。为了简单起见，结果可以被称为组合投影矩阵。

与图像传感器宽度和高度比相关联，被称为“焦距”的相机内部参数可以描述相机的视角，并且可以直接用于投影矩阵中。

可选的显式视场校准改善了这一点，并且可以在一些实施例中使用。可选的显式视场校准可能需要另外的焦距校准，如本文将描述的。

诸如具有刻度的标尺的校准测量工具可以放置在场景中，使得其图像可以与屏幕的相关尺寸(例如屏幕的水平宽度)对准，并且因此测量屏幕的相关尺寸。

可以将相机设置为某个变焦和工作距离设置。通过机械地移动相机头部，可以使标尺聚焦。屏幕宽度(例如在焦面处的水平视场)可以直接从标尺读取。

该过程可以在多个光学设置(例如跨越各个相应范围的六个变焦和六个工作距离，总共三十六个测量结果)上重复。结果可以在如本文所述的参数化过程中拟合到相应曲线，由此提供(在该示例中)在整个变焦和工作距离范围内的水平视场的准确测量结果。

为了辅助使该过程自动化，可以使用图案作为测量工具。图案可以通过计算机视觉过程检测和测量。例如，平板可以装饰有大部分对称的国际跳棋棋盘图像。国际跳棋棋盘图像的各个特征的尺寸可以通过设计和/或测量而得知。可以添加一些不对称性或其它特征来辅助计算机视觉过程以及机器人控制，使得平板可以保持名义上在相机视图中居中。

可以可选地使用不同尺寸的多个图案来提供宽变焦范围内的准确校准。

传统的相机校准还可以提供在执行校准过程的光学参数设置下的系统的光学失真的测量。可以找到失真系数集合，并且在一些实施例中可以使用该失真系数集合来校正这种光学失真。在一些实施例中，这种失真校正可以用于改进视场校准方法。此外，在一些实施例中，这种失真校正可以用于提高覆盖图的准确度(例如其如何匹配实时视图)。

在可以使用显式视场校准过程来改进计算机图形呈现器的投影矩阵的视场确定的实施例中，可能需要计算到立体数字手术显微镜的各个相机眼的焦面的距离。本文中将参考图7C讨论对于各个相机眼的该距离的确定。

图6是示出了根据本公开的示例实施例的可应用于集成手术导航和可视化系统的视角的图。利用焦距，可以计算视角。可能需要该角度以计算投影矩阵中的项，并且该角度可以通过三角学方法得到，如图6所示。

例如，半角2600可通过测量沿着光轴2640从相机投影中心(也称为相机“眼点”)2620到焦面2630的焦距2610来得到。另外的视场校准可以提供对焦面处的视场(例如水平宽度)的测量。这种距离的一半被示出为标记2650。半角2600的正切为距离2650除以距离2640。反正切函数然后可以用于计算“半视场角度”。半视场角度可以用于直接计算组合投影矩阵的某些矩阵元素为：

矩阵元素(0,0)＝1.0/tan(halfHorizontalFieldOfViewAngle)，并且

矩阵元素(1,1)＝1.0/tan(halfVerticalFieldOfViewAngle)，其中，应当注意，水平和垂直视场与传感器(或者等同地为相机校准中使用的图像)的宽度和高度比有关。

先前描述的camEye_T_patientData结合利用先前确定的相机内部信息的投影矩阵，提供了来自在数字手术显微镜的视场和焦深内的实时患者的相关患者解剖结构的任何部分的(通常为容积的)患者数据的复制表示的忠实呈现。进一步地，该呈现在数字手术显微镜的各个相应眼中是有效的，从而使得能够立体地呈现这种表示。

该呈现可以在正确的位置、取向和尺度上在各自的某个公差内配准到立体数字手术显微镜上的实时患者视图。进一步地，三维呈现的视角也在一定公差内匹配实时视图。

这些特征与适当的用户界面控制一起使得用户能够“看到”患者内部，甚至无需做任何切口。这些特征类似地允许用户“预见”他们当前在哪里，例如如果他们已经做了切口并且在提供对病理的治疗的途中执行到所述病理的手术入路。

进一步地，这些特征允许这些能力中的每一个被用户立体地观看，这可以极大地增强空间感知并且是更直观的。

进一步地，这些特征允许在与实时手术部位视图相同的显示器上利用(通常是容积的)患者数据，从而减少当在导航设备与手术可视化设备之间转变时必须记住复杂三维视图的认知负担。目前描述的集成手术导航和可视化系统合并了这两种设备，将它们集成为更大的整体。

IX.找到数字手术显微镜相机参考系

在相机校准期间，数字手术显微镜相机参考系可以被定义为其原点在针孔相机模型的“针孔”处。该位置也可以称为相机的“投影中心”。知道数字手术显微镜相机的光学中心的参考系相对于导航设备的参考系的姿态对于能够求解数字手术显微镜相对于患者数据的姿态(其是手术导航的主要目的)而言可能是重要的。

当以良好的准确度已知这样的姿态并且相机光学参数被足够好地建模时，可以提供本文所述的最高等级的手术导航。本文所述的系统和方法公开了最高等级的手术导航。

导航所提供的一个基本功能是回答问题，“我在哪里，我去哪里，附近有什么？”。这可以等同于确定数字手术显微镜相机相对于患者数据的姿态(同时还知道相机内部参数)。该部分集中于确定相机与患者数据之间的外部关系，即，两者之间的姿态。

计算数字手术显微镜(DSM)相机与患者数据之间的姿态所需的数学运算使用4×4齐次变换矩阵来计算给定的一对参考系之间的相对姿态，并且对于整个系统，通过这样的参考系的链来计算。在本文中，术语“变换”、“变换矩阵”、“4×4齐次变换矩阵”、“矩阵”、“姿态”和“相对位置和取向”可互换使用。

这里用于这种4×4齐次变换矩阵的术语是：取参考系A中的点并将其变换到参考系B的4×4齐次变换矩阵被写为B_T_A，并被“反向”读取，使得其被读作“A至B”。

例如，矩阵dsmCam_T_patientData被“反向”读取为“患者数据到DSM相机”(当缩写被说出全名时)，由此患者数据空间中的点可以与该矩阵预先相乘以给出DSM相机空间中的相同点的位置：

P|DSM＝dsmCam_T_patientData*P|PATIENT DATA

还应注意，从参考系A到参考系B的4×4齐次变换矩阵是从参考系B到参考系A的变换的逆矩阵，反之亦然。由此：

dsmCam_T_patientData＝patientData_T_dsmCam.inverse()，并且

patientData_T_dsmCam＝dsmCam_T_patientData.inverse()

为了从一个参考系变换到另一个，可以通过中间参考系进行变换，类似于在两个物理位置之间存在多个不同的路线。这例如被写成如下：

dsmCam_T_navCam＝dsmCam_T_navTarget*navTarget_T_navCam

也就是说，“从navCam参考系到dsmCam参考系的变换(方程的左手侧)等于从navCam参考系到navTarget参考系的变换自左乘从navTarget参考系到dsmCam参考系的变换。

注意内部名称(navTarget)在方程的右手侧如何匹配，并且最外面的名称(dsmCam和navCam)是左手侧的最终结果，按照它们出现在右手侧的顺序。这是关键的，并且这是为何我们“反向”写变换名称的原因。

以这种方式写名称使得写和读方程非常容易，并且知道它是我们需要的。只要内部名称匹配，链就可以无限地扩展，诸如：

F_T_A＝F_T_E*E_T_D*D_T_C*C_T_B*B_T_A

a.头部上导航相机数学运算

为了确定数字手术显微镜相机与患者数据之间的相对姿态，头部上导航相机方法可以涉及：

(1)数字手术显微镜相机与导航相机之间的相对姿态的(可选地离线的)确定。这在这里被称为“相机配准”。图7A中示出了数字手术显微镜相机与导航相机之间的相对姿态的示例示意性模型和计算。

(2)对患者数据与导航目标之间的相对姿态的围术期确定。为了简单起见，这在本文中可以被称为“患者配准”。

(3)刚性地固定到患者(通常经由骨骼结构直接或间接地固定)的场景中的导航目标之间的相对姿态的运行时确定。图7B中示出了场景中的导航目标在患者上的相对姿态的示例性示意性模型和计算。

如图7A所示，数字手术显微镜相机与导航相机之间的相对姿态的计算可以涉及离线步骤700A，其被指示为导航相机<->DSM相机变换计算(离线)。步骤700A是相机配准步骤，并且确定数字手术显微镜相机与导航相机之间的相对姿态。导航相机<->DSM相机变换计算(离线)的步骤700A可以计算为：

dsmCam_T_navCam＝dsmCam_T_navTarget*navTarget_T_navCam其中，dsmCam_T_navCam是描述数字手术显微镜相机的参考系相对于导航相机的参考系的位置的相机配准结果；dsmCam_T_navTarget是数字手术显微镜相机相对于导航目标的姿态，并且在相机配准期间经由相机校准和/或摄影测量来确定；以及navTarget_T_navCam是导航相机所看到的导航目标的姿态，并且使用诸如OpenCV::findChessboardCorners的算法每帧求解，以与OpenCV::solvePnP一致地在每个帧(或帧的子集，取决于可用的计算能力)中找到导航目标的关键特征，从而取得这些图像位置且连同导航相机校准信息一起确定导航目标的姿态信息。

如图7B所示，场景中的导航目标在患者上的相对姿态的计算可以涉及步骤700B，其被指示为“患者数据<->DSM相机变换计算(运行时)”。步骤700B涉及计算数字手术显微镜相机与患者数据之间的相对姿态，并且可以是从数字手术显微镜相机相对于实时患者的相同取向和位置呈现患者数据的表示所需的最终单个矩阵结果。这实现手术的增强现实。

对于立体数字手术显微镜相机，找到另外的微小变换并将其用在方程中以考虑相机眼分离。为了可选地呈现患者数据的其它区域(例如比我们当前观看的更深的切片)，找到另外的简单变换(诸如沿着Z轴的平移)并将其用于方程中。

由此，步骤700B，“患者数据<->DSM相机变换计算(运行时)”可以通过以下变换执行：

dsmCam_T_patientData＝

dsmCam_T_navCam*navCam_T_navTarget*navTarget_T_patientData其中，dsmCam_T_patientData是如刚才所述呈现患者数据所需的最终单个矩阵；dsmCam_T_navCam是“导航相机到DSM相机”的变换，并且经由在本文中别处描述的相机配准步骤得到；navCam_T_navTarget是如本文中别处描述的导航相机所看到的导航目标的姿态；以及navTarget_T_patientData是描述相对于导航目标的患者解剖结构姿态的变换输出，并且在本文中别处描述的患者配准步骤期间确定。

b.传统导航相机数学运算

在本文公开的系统和方法中计算数字手术显微镜相机的姿态所需的方法是对在传统实时应用中使用的传统数学方法的改进，这至少因为本文公开的改进的方法使用较少的项。每一项都增加不准确度。本公开中所公开的方法在右手侧仅有三个项。传统数学运算在右手侧有四个项：

dsmCam_T_patientData＝

dsmCam_T_dsmTarget*dsmTarget_T_localizer*localizer_T_patientRefFrm*patientRefFrm_T_patientData

其中，dsmCam_T_patientData是如前所述呈现患者数据所需的最终单个矩阵；dsmCam_T_dsmTarget是从安装在数字手术显微镜头部上的IR目标到数字手术显微镜相机的变换，并且使用如本公开中别处描述的导航校准板和过程来得到；dsmTarget_T_localizer是localizer_T_dsmTarget的逆，localizer_T_dsmTarget是显微镜头部上的IR目标在导航定位器相机空间中的姿态；localizer_T_patientRefFrm是患者参考系IR目标(例如安装在夹具上)在导航定位器相机空间中的姿态；patientRefFrm_T_patientData是描述相对于安装在将患者解剖结构保持在适当位置的夹具(或类似物)上的导航目标的患者解剖结构姿态的变换输出，并且在本公开中别处描述的患者配准步骤期间确定。

X.准确度提高

a.通过减少系统中设备的数量来提高准确度

导航设备可以集成到显微镜头部中，由此可以随头部刚性地移动。因此，不需要目标来确定头部的移动。这可以减少导航计算路径中的设备的数量，由此通过去除由这些额外设备引入的不准确度来提高准确度。

例如，示出了示例传统手术导航系统的图1A基于三个设备：具有红外目标(“鹿角”)的光学显微镜、远程定位器和患者参考系(3个设备)。相反，示出了自动导航的集成手术导航和可视化系统的图1B仅包括两个设备：扩展有导航设备的数字手术显微镜以及患者参考系。

计算数字手术显微镜相机相对于患者数据的实时姿态所需的数学运算示出了为什么相对于传统解决方案应用有准确度的提高：在矩阵乘法中少了一项。这意味着，由该项描述的物理或虚拟机制所呈现的不准确度被去除。这降低了不准确度，也就是说，其提高了准确度或者替代地其改进了准确度。

b.通过大大减少校准与手术过程之间的时间来提高准确度

另外，在本公开中讨论的校准导航相机、校准数字手术显微镜相机以及计算dsmCam_T_navCam的方法可以在手术过程时执行，从而消除由于传统导航设备的最近服务中校准而在手术过程之前经过的时间内可能渐渐产生的不准确度。

然而，应当注意，自动导航的集成手术导航和可视化系统还允许在期望时在服务时间进行这种校准和计算，而不是在手术过程时进行。这在手术过程时在系统设置期间节省了一些计算时间。

c.患者配准

配准步骤执行patientRefFrm_T_patientData的计算。摄取和管理患者的术前数据，准备患者，并且应用和扫描校准/导航目标以获得表面数据，然后将该表面数据与术前数据对准。

d.患者扫描数据

i.数据摄取和重建

将来自患者扫描的数据摄取到系统中，并且在3D数据的情况下，将数据置于便于数据的2D呈现以及3D(容积)呈现的数据格式。

ii.从3D扫描数据提取表面

从3D扫描数据中提取通常对应于患者皮肤的表面。该表面用于与从实时患者数据中提取的类似表面对准。

iii.不同模态的配准

诸如CT和MRI的不同模态用于生成患者扫描数据。至此描述的配准将来自实时患者扫描的数据和来自一种模态扫描(通常为CT)的数据对准。为了使用另外的模态，该模态可能还需要被配准到实时患者数据。配准步骤包括可选地使用模态对准模块，其将其他模态直接对准到实时患者数据或者通过配准到已经对准的模态来对准到实时患者数据。

e.患者准备

患者定位和夹紧(其可以被描述为“固定到适当的位置”)通常在患者被麻醉之后如在传统手术导航中那样进行。将患者适当地定位以进行手术过程，并且尽可能地将相关的解剖结构固定到适当的位置。然后，将校准/导航目标固定到患者解剖结构，典型地经由附接到骨骼结构的夹具固定到这些结构(诸如在颅手术的情况下固定到夹具(诸如将患者的颅骨保持在适当位置的Mayfield夹具)，或者在脊柱手术的情况下固定到患者的椎骨)。

f.实时患者数据的围术期扫描

在患者准备之后，使用数字手术显微镜相机和导航相机来收集实时患者数据以使得能够进行患者配准和导航。

g.图像获取

通过以下方式来捕获实时患者的表面：以许多姿态在患者周围移动机器人，在各个姿态下拍摄快照，同时针对各个快照将患者解剖结构的相关部分保持在数字手术显微镜相机的视场中。将患者的解剖结构保持在视场中通过以下手段中的一个或者它们中的一些或全部的组合来实现：

·在图像获取期间由操作者在获取空间周围手动“驱动”机器人。

·使用软件来指示操作者将显微镜近似地定位和定向在相对于患者(并且适合于患者位置和手术过程)的已知起始配置中，然后经由软件控制机器人移动通过预先规定的预定义路径，以在球形范围内捕获患者的非常大百分比的相关解剖结构。

·计算球体的中心点，并在该球体周围移动显微镜头部，同时保持显微镜的焦点与球体的中心在一定公差(例如“锁定至目标”的公差)内一致。

·使用深度学习从在获取期间捕获的图像提取患者解剖结构特征并控制机器人位置和取向以实现足够的覆盖。

h.校准目标

将一个或多个校准目标刚性地安装到患者解剖结构，通常间接地通过例如安装在夹具上。该校准目标可能需要出现在至少少量快照中。校准目标也可选地用作导航目标。

i.摄影测量

将在患者配准图像获取期间捕获的图像发送到摄影测量模块，该摄影测量模块通常以这个或类似的顺序执行以下步骤，但是一些步骤可以以不同的顺序或与其他步骤并行地执行：

·使用诸如SIFT的特征描述机制进行的各个图像中的特征检测。

·在图像获取期间从显微镜头部相对于患者的“附近”姿态拍摄的图像中的特征的相关。与图像中的多个像素相比，这是相对稀疏的点集。

ο一种替代解决方案是使用校准的立体数字手术显微镜相机来提取每个匹配的立体像素对的表面点，其是更加密集的数据集；随后将在一个姿态下拍摄的每个立体快照这样提取的表面与从在其他姿态下拍摄的立体快照提取的表面缝合成单个更大的整体。

·针对获取中的各个图像的相机外部模型的基于求解器的求解。

·可选地在此时：对在所有图像上统一的单个相机内部模型的基于求解器的求解。

ο对此工作良好的要求是对于整个图像获取将数字手术显微镜相机保持在恒定的变焦和工作距离设置。

ο该步骤可以可选地在手术过程之前的某一时间(甚至数天、数周、数月、数年)离线进行。

·尺度和参考系原点和取向指定。

ο经由容易检测的已知尺寸的特征(诸如彼此相距已知距离放置的两个April标签)来找到尺度。

ο经由校准目标找到参考系原点和取向；沿着两条正交线的特征的定向集合使得能够确定两个轴；在右手坐标系(可以替代地使用左手坐标系)中使用前两个轴的叉积确定第三个轴。

ο将患者参考系原点和取向指定为与刚刚找到的参考系一致。

ο如果使用不同于校准目标的导航目标，则可能需要由数字手术显微镜相机或导航相机(如果我们此时重新校准导航相机的话)捕获存在于两者中的足够特征，使得可以根据摄影测量结果计算两个参考系(校准目标和导航目标)之间的变换。

·针对由特征提取步骤表示的相对稀疏的数据集的患者解剖结构3D模型生成。这是用于实时患者数据的表面提取步骤。

ο当使用立体像素匹配方法时，模型生成明显更准确。

ο对于稀疏模型，采取随后的“致密化”模型网格的步骤。

·到主应用的数据导出，包括相机校准信息和患者解剖结构3D模型。

·对于立体数字手术显微镜的左眼和右眼，以相同的方式进行该过程，其中可选地添加另外的眼分离值。

·该过程在单个变焦和工作距离设置(例如中间范围变焦设置)下执行。为了在变焦和工作距离的整个范围内起作用，使用两种方法中的一种：

ο“蛮力”方法，其中，变焦和工作距离空间被分成有限数量的值组合和在各个可能的值组合处执行的校准。然后，数字手术显微镜光学器件被限制为仅在这些值下操作。

ο“计算和插值”方法，其中，选择单个变焦(例如中间范围变焦值)并且针对工作距离范围内的工作距离的采样重复校准。这些被插值用于中间工作距离。通过改变相机主点周围的视场(基本上缩放图像)来并入变焦值。通过将视场映射到变焦马达计数的单独的校准步骤来确定尺度的量。

注意，导航相机此时也可选地成像，使得可以在非常接近该手术的这个时间而不是过去的数天、数周、数月、数年(在该时间内校准和/或计算可能已劣化)重新校准和/或(重新)计算矩阵dsmCam_T_navCam。

j.使用探针进行配准

如在传统导航中，使用导航探针来跟踪患者表面是用于提取患者表面以便配准的可选手段。在别处解释的校准和验证步骤期间找到相对于探针安装的导航目标的探针尖端，并且在特定“跟踪”时间期间并且在如由软件向用户指示的患者上的预定的一般感兴趣区域上跟踪尖端。

可以按如下速率对由导航模块报告的探针的位置进行采样，该速率使得足以按对于表面特征提取而言足够高的分辨率对表面路径进行采样。

k.对准表面

在该步骤中，将所有或一些捕获的实时患者数据的表面部分与术前数据中的所有或一些捕获的患者表面部分匹配(也称为配准或对准)。该过程产生变换patientRefFrm_T_patientData。

这两个表面通常不共用公共坐标系，这也不可行。由此，可以确定两个坐标系之间的变换。

通过首先可选地使用软件可视化模块将各个数据集的相应呈现操纵为“彼此接近”来实现确定两个坐标系之间的变换。记录在该操作期间使用的任何变换，并且这些变换成为最终变换的一部分。

下一步是使用若干公知的对准算法和/或技术(诸如“迭代最近点”(ICP))中的一种，其计算两个数据集之间的变换，该变换在某种误差最小化意义上是最佳的。

变换搜索算法通常被限制为仅搜索平移和旋转，而忽略缩放尺度，但是由于生成两个数据集所涉及的各种设备的校准的差异，在小范围的缩放尺度上的搜索有时是有用的。

输出是描述患者数据相对于校准目标的姿态的变换矩阵。如果使用不同于校准目标的导航目标，则在计算该输出时包括两个目标之间的姿态。

由此，当使得系统的其余部分能够确定数字手术显微镜相机相对于导航目标的位置和取向并且相机内部参数对于其当前变焦和工作距离是已知的时，使得系统能够在患者的实时视图内呈现患者数据的视图。这是手术的增强现实。

l.术中患者数据更新

使用将患者扫描数据配准到相对于导航目标的实时患者姿态的相同过程来配准新的或更新的数据，诸如可能在手术过程期间生成的术中MRI。

m.导航

在之前描述的设置步骤之后，系统准备好向用户提供手术导航。将自动导航数字手术显微镜放置为使得导航设备能够观察刚性地安装到患者解剖结构的一个或多个导航目标XX，并且使得数字手术显微镜相机能够观察与手术过程相关的患者解剖结构的区域。将导航设备数据输出以原始形式或经处理的形式传送到主信息处理器模块。如果是原始形式，则在主信息处理器模块中执行处理。感兴趣的数据是具有实时或接近实时更新的变换navCam_T_navTarget的值。

除了之前在运行时数学运算中需要的所述信息之外，利用该输入以及来自数字手术显微镜相机的关于所述相机的当前变焦和工作距离设置的输入，使得系统能够提供用于手术的增强现实。

n.工具使用

导航工具是外科医生工具箱的重要部分。导航探针是最常用的这种工具，并且其通常由钝尖的金属杆构成，导航相机可以检测到的导航目标被固定到该金属杆。导航探针用于快速确定“什么在哪里”。

使用校准步骤来确定相对于探针的导航目标的探针尖端位置；该步骤通常还执行验证步骤的功能：在第一次校准之后，系统可以简单地识别工具的目标，并验证其尖端在系统认为其应当在公差内的哪里。当使用探针时，通常不使用显微镜，至少不是立即同时使用。

o.定位显微镜用于工具使用

导航相机可能需要能够一直观察工具的导航目标。在探测期间外科医生不需要显微镜的情况下，用户为机器人臂选择预设位置，该预设位置将显微镜头部定位在手术区之外，但是足够靠近并且处于使得导航相机仍然能够观察工具上的导航目标以及固定到患者解剖结构的导航目标的取向。

DSM机器人臂和头部可以移出到手术区的一侧，倾斜使得导航相机仍然可以观察所有必要的导航目标。

p.校准工具

校准工具(有时称为验证工具)是相对于工具的导航目标定位工具尖端的任务。这通过提供相对于导航目标(或校准目标)的已知位置并指示用户将工具尖端放置在该已知位置来实现。导航设备不断地更新其在场景中看到的各个目标的姿态，由此目标之间的相对姿态的平移分量表示工具尖端相对于其导航目标的偏移。

为了便于工具尖端的放置，“已知位置”被使得为物理“草皮”的底部，工具尖端可以装配到该草皮中并且名义上保持在相同的位置，同时允许工具绕其尖端枢转。软件指示用户以指示用户何时将工具尖端放置在草皮中，例如通过要求手动点击按钮。

对手动点击方法的改进是在软件中连续地监测工具导航目标与用于验证的目标之间的平移偏移大小。如果在验证过程期间该大小在某一容差内保持不变达给定时间量，则可以假定用户将尖端保持在“草皮”中。然而，静止在草皮外部的工具的姿态也具有相对于校准目标不变的平移大小。

作为对该过程的进一步改进，指示用户将工具(以及由此其导航目标)枢转通过某些角度范围，同时将工具尖端放置在“草皮”中；这导致相对姿态的角度改变，而平移的大小保持相对不变。这是确定用户是否试图验证工具的更鲁棒的方式。

刚刚描述的过程仅提供工具尖端与工具导航目标的平移偏移。如果知道工具取向是重要的，则提供相对于验证设备导航目标强制工具导航目标取向的结构。

该数据可以存储在工具定义文件中，以便以后工具使用，而不需要工具校准步骤，但是由于工具可能由于使用或处理而变形，因此通常在每次使用开始之前(例如在手术过程开始时)需要验证步骤。用户可以可选地在手术过程期间的任何时间重新验证工具。

q.作为探针的相机

如本文中的步骤所描述的，数字手术显微镜相机的位置和取向相对于患者数据是已知的。这意味着显微镜可以可选地用于提供与导航探针相同的精确功能：在导航数据中示出“我在看哪里？”。

r.用于手术的增强现实

在如所述启用手术导航的情况下，系统准备好以先前提及的手术导航复杂度的所有等级为手术提供增强现实。用于呈现这种增强的机制根据手术过程、外科医生偏好、数据可用性和质量以及配准结果而变化。

s.系统显示器上的患者数据

患者数据基于外科医生偏好以各种方式显示：

·与手术部位的实时视图共享主可视化显示器。

·在外科医生视场附近的其自己的显示器上。

·覆盖到手术部位的实时视图上，具有供用户指定开/关和不透明度的选项。

所示的增强和在这些数据表示中使用的方法包括但不限于：

i.数据中的尖端和矢量

当在软件中选择“显示尖端和矢量”选项时，在导航相机的视野中的各个经校准和验证的工具(包括数字手术显微镜相机)的尖端在患者空间中由诸如点的唯一着色标注表示。可选地包括词汇表以将点照原样“连接”到工具类型。

替代地，在该点附近绘制小文本标注，并提供关于工具的相关信息。也可选地绘制工具的主要线性特征(例如数字手术显微镜相机的光轴)所沿着的线，其一端在尖端处。

ii.工具取向

对于某些工具，工具取向相对于导航目标是已知的。这使得能够在患者数据中绘制并入了取向的标注，并且绘制在屏幕上定向为确定工具如何“看到”患者解剖结构的数据。对于数字手术显微镜，使该取向与实时视图相对应，从而降低了外科医生获得回答问题“我在哪里？”的心理图片所需的复杂度。这减少了外科医生在导航使用期间的精神负担。

iii.路径投影

工具的主要线性特征所沿着的线可选地在当前工具尖端前面延伸，以为工具预见前面的路径。例如，当在脊柱手术期间插入椎弓根螺钉时，示出螺钉尖端的当前位置以及当其被进一步插入时的投影路径。这是确保螺钉被椎弓根完全捕获并且不穿透到例如脊柱中所必需的关键信息。

iv.覆盖图

由于在校准期间找到数字手术显微镜相机的光学参数并且相对于患者数据的姿态是已知的，因此可选地在实时视图上呈现患者数据的(可选地立体的)3D呈现。

另外，可以控制用于选择要呈现的数据的参数以优化对外科医生的值。例如，可以(可选地立体地)3D呈现预先规划的入路通道，使得仅示出入路的当前可见部分加上接下来的几毫米。作为另一个示例，可以沿着光轴相对于焦点以各个等级呈现2D切片，使得外科医生可以清楚地看到患者体内的内容。

这给本文所述的自动导航的集成手术导航和可视化系统增加了高价值；其基本上是“X射线”视觉，从而使得外科医生即使在不存在切口或外科医生尚未暴露的情况下也能够看到患者体内。

XI.校准视觉相关参考系相对于数字手术显微镜上的代表性导航目标的姿态

可以执行单独的校准以确定视觉相关参考系相对于数字手术显微镜上的代表性导航目标的姿态。例如，该视觉相关参考系可以是立体数字手术显微镜的各只眼的屏幕中心。

校准可以通过设置显微镜光学参数使得由各个相机眼捕获的相应图像处于或靠近所述屏幕中心处的最佳光学焦点来执行。光学器件可以被设计和调整为使得在给定的工作距离设置下，光学器件聚焦在距离显微镜一定距离的空间点上。

进一步地，光学器件可以被设计和调整为使得立体数字手术显微镜的眼的屏幕中心在给定的显微镜光学参数集合下“聚焦”时在一定公差内对空间中的相同点成像。

场景中被投影到各个相机眼的相应屏幕中心的点被称为显微镜的“焦点”。由此，这种单独的校准部分地确定了相机的焦点相对于数字手术显微镜上的代表性导航目标的位置。

可以存在焦面，可以向该焦面分配原点和坐标系以定义“聚焦参考系”。这可以重新定义焦点以及“上”和“右”矢量，其可以允许屏幕上的相机图像的取向。

虽然在物理上焦面可能不是完全平面的(例如它可能稍微弯曲)，但是为了简单和便于解释，焦面可以被认为是二维平面。在一些实施例中，聚焦参考系的原点可以被认为是校准的相机的屏幕中心的位置，并且聚焦参考系的姿态使得其被定向为在显微镜的给定光学设置下与光轴正交，其中其X轴沿着图像传感器的水平方向指向，正向向右行进，并且其Y轴沿着图像传感器的垂直方向指向，正向向下行进。实际上，可能存在轴方向的另外“翻转”和原点位置的偏移以符合优选的图形系统、系统要求、用户偏好等。

由此，这种单独的校准可以确定显微镜的“聚焦参考系”相对于数字手术显微镜上的代表性导航目标的姿态。

由于立体数字手术显微镜的焦点可以被使得对于其组成个体相机中的每一个(即，各个“眼”)是相同的，并且屏幕上的轴可以是一致或几乎一致的，因此可能不需要执行每只眼的单独的聚焦参考系校准。在这样的实施例中，可以仅存在针对作为整体的立体数字手术显微镜执行的一个校准。

图7C是示出了根据本公开的示例实施例的可应用于集成手术导航和可视化系统的用于聚焦参考系校准的示例方法的流程图。

在步骤2000，可以将导航的校准对象设置到场景中。校准对象可以包括一个或多个结构(例如十字准线)，以辅助显微镜的视觉相关参考系与导航校准对象的参考系的对准(例如经由导航校准对象上的十字准线或其他对准辅助件)。而且或替代地，屏幕上中心和轴可以由图形模块绘制在屏幕上，以辅助操作者将屏幕上中心对准到校准对象对准结构。

在步骤2010，可以将导航目标固定到相机物理框架。在步骤2020，可以将显微镜设置为期望的变焦放大率和工作距离设置。在步骤2030可以开始定位器跟踪。定位器可以检测在其可视场景中的各个可跟踪导航目标的存在，并且确定在其可视场景中的各个可跟踪导航目标在定位器空间中的姿态。在一些方面，这些目标可以包括导航校准对象和数字手术显微镜上的代表性导航目标。

在步骤2040，可以开始显微镜可视化。在步骤2050，可以相对于导航校准目标摆放显微镜的姿态(或反之亦然)。

在2060，可以将显微镜聚焦在校准对象对准结构上。例如，该结构可以包括十字准线。为了简化和减少矩阵计算中的误差，十字准线可以位于校准对象的导航目标的原点，并且其X和Y轴可以分别与所述目标的X和Y轴一致。十字准线可以是二维的；所想象的Z轴也可以被认为与校准对象的导航目标的对应轴一致。

在步骤2070，可以可选地定向显微镜以将屏幕上十字准线与校准目标的十字准线对准。例如，如果聚焦参考系提供了比所需更多的信息，则该步骤可以是可选的。在一些实施例中，仅确定相对于数字手术显微镜上的代表性导航目标的焦点位置并且还不确定整个聚焦参考系相对于所述目标的取向可能是足够的。

由于改变显微镜的取向可以改变其最佳焦点，所以如果适当的话，可以在步骤2080执行迭代以优化焦点以及屏幕上十字准线与校准目标十字准线的相对位置(即，对准)和取向。

在步骤2090，可记录定位器读数localizer_T_camTarget和localizer_T_calTarget。作为噪声降低和系统误差降低实践，可能期望在步骤2100重复在显微镜相对于导航校准目标的多个(例如N＝25个)不同姿态下的总体测量。

在步骤2110，函数camTarget_T_focalRefFrame可被求解为：

camTarget_T_focalRefFrame＝

camTarget_T_localizer*localizer_T_calTarget*calTarget_T_focalRefFrame，

其中，在一些实施例中，calTarget_T_focalRefFrame通过设计是单位矩阵，以简化和减少矩阵乘法中的误差。简化的方程由此变为：

camTarget_T_focalRefFrame＝

camTarget_T_localizer*localizer_T_focalRefFrame

可以使用如本文中别处描述的矩阵平均来对这N个解求平均，以确定camTarget_T_focalRefFrame的最终值。

为了更完整的校准，可以在步骤2120处以多个变焦和工作距离设置跨各个这样的参数的操作范围重复该过程。可以为各个相关输出参数集拟合曲线，作为输入参数的函数。这个过程可以被称为参数化。输出参数集可以是相对于数字手术显微镜上的代表性导航目标的焦点姿态。输入参数可以包括来自相机控制模块的变焦和工作距离设置。

使用先前描述的camTarget_T_camEye和camTarget_T_focalRefFrame函数，可以通过下式来确定相对于立体数字手术显微镜的各个相应相机眼的聚焦参考系姿态：

camEye_T_focalRefFrame＝

camEye_T_camTarget*camTarget_T_localizer*localizer_T_calTarget*calTarget_T_calCoordSys*calCoordSys_T_focalRefFrame,

其中，calTarget_T_calCoordSys可以允许校准对象的导航目标与任意坐标系之间的变换，而calCoordSys_T_focalRefFrame可以允许该坐标系与聚焦参考系之间的变换。这两个矩阵通过设计可以是单位矩阵。由此，方程可以简化为：

camEye_T_focalRefFrame＝

camEye_T_camTarget*camTarget_T_localizer*localizer_T_focalRefFrame。

XII.显微镜光轴到给定矢量的机器人对准

在一些实施例中，数字手术显微镜头部110可以安装在机器人臂120上。机器人臂120可以由显微镜处理单元420中的机器人控制模块820控制。对于所有或大多数机器人关节，计算机器人末端执行器相对于机器人基座的姿态所需的机器人关节的物理特性(诸如关节角度)可以通过设计和/或校准和/或在运行时期间实时测量而已知。用于计算机器人末端执行器相对于机器人基座的姿态的另外物理特性(诸如在负载下和在连接关节的连杆的姿态变化下的标称长度和挠曲)可以通过设计和/或通过校准和/或通过实时测量而已知。由此，机器人末端执行器(机器人自身的最远端活动关节或链接)的姿态可以相对于机器人基座实时连续地已知并且可以表示为：

robotBase_T_robotEEff

所有延伸件(诸如联接器140和力-扭矩传感器150)的物理特性也通过设计和/或校准和/或测量而已知，使得例如150的远端“控制点”的姿态相对于机器人末端执行器是已知的，并且由下式表示：

EEff_T_controlPt

进一步地，数字手术显微镜头部上的代表性导航目标210的姿态通过相对于参考系上的安装基准152进行设计和/或测量而已知，安装基准被设计为与机器人组件上的在相机头部之前的最远端参考系的参考系(诸如150)一致地配合。对所述姿态的了解的进一步改进可以可选地通过测量来进行。

由此，数字手术显微镜上的代表性导航目标210相对于控制点150的姿态可以是已知的并且可以由下式表示：

controlPt_T_camTarget

利用先前描述的这些和先前的变换，可以如下计算各个相应的相机眼相对于机器人基座的姿态：

robotBase_T_camEye＝

robotBase_T_robotEEff*robotEEff_T_controlPoint*controlPt_T_camTarget*camTarget_T_camEye

robotEEff_T_camEye关系有时可以被称为“手眼”姿态关系。而且或替代地，这种手眼姿态关系可以使用已知的校准技术来发现，诸如OpenCV的cv::calibrateHandEye方法，并且上述数学运算可以被修订为：

robotBase_T_camEye＝

robotBase_T_robotEEff*robotEEff_T_camEye

使用先前描述的camEye_T_focalRefFrame函数来得到聚焦参考系相对于机器人基座的姿态：

方程8：robotBase_T_focalRefFrame＝

robotBase_T_camEye*camEye_T_focalRefFrame

机器人基座在定位器空间中的姿态

机器人基座在定位器空间中的姿态可以使用以下函数来得到：

localizer_T_robotBase＝

localizer_T_camTarget*camTarget_T_controlPoint*

controlPoint_T_robotEEff*robotEEff_T_robotBase

在规划阶段1060期间，可以将有用的特征添加到患者数据空间以辅助外科医生执行手术过程。这些特征包括但不限于手术开口“按数字切割”模式、入路矢量(例如轨迹规划)以及可以重复地摆放数字手术显微镜的姿态以建立和评估进展的入路路径点。

颅手术中的手术开口可以被称为开颅。在规划阶段1060期间，用户可选地可以指定期望开口的轮廓。关键地，在传统的手术中，这种入路使用手术标记笔在实时用户皮肤上指定，因此当第一层皮肤被去除时(这在手术过程中的最先的步骤当中)被破坏。

目前描述的集成系统使得用户能够在患者数据中虚拟地绘制这种开口规划。然后，在用户控制下可以显示该开口规划，以用于整个开口阶段，例如皮肤去除之后。此外，开口规划可以应对为患者开刀的三维性质。例如，代替简单的线条图，该规划可以是多层的和/或三维的，以向外科医生示出如何切入三维表面。

图8是示出了根据本公开的示例实施例的可应用于集成手术导航和可视化系统的示例轨迹规划的图。可以在患者数据空间270中可选地添加轨迹规划。轨迹可以包括患者数据空间中的路径，用户期望手术沿着该路径进行。例如，颅神经外科医生可能规划朝向动脉瘤的轨迹，其避开脑的关键部分并且偏向于更容易穿过的区域。如果轨迹是复杂的，则其可以被分成更容易表示和实现的分离的较小轨迹(例如线性分段)。而且或替代地，用户可以在患者数据空间中添加路径点，其示出相对于患者的期望相机姿态。利用在本文所述的系统和方法中允许的机器人空间、相机空间和患者空间的连接，可以在手术过程期间的任何时间访问这样的路径点。此外，这种开口、轨迹和路径点规划可以在手术过程期间的任何时间更新和/或增强。

目前描述的集成系统的优点在于，其向用户提供调整可视化的选项，使得其沿着轨迹聚焦并且可选地在轨迹中的“下一步”时聚焦。该调整后的可视化向外科医生示出了行进的路径，并且实际摆放显微镜的姿态以正确地观察到这样做的位置。用于提供这种能力的至少一个示例描述如下。

轨迹规划可以表示为患者数据空间中的变换：patientData_T_trajPlan(2.9)

轨迹规划可以主要表示矢量2500，轨迹可以沿着该矢量在手术过程中的“下一”步骤处进行。将轨迹表示为完整的参考系使得还指定关于主矢量2500的取向可能是有利的(但是可选的)。该取向可以被表示为两个其他轴2510和2520。这使得用户能够将患者、外科医生和显微镜定位并入到轨迹规划中。在没有这种规范的情况下，控制算法仅需要在合理的取向进行“最佳猜测”以便解决移动。例如，为了确保显微镜头部相对于轨迹规划的正确取向，可以选择惯例，使得有利于患者几何形状的排除。可以添加另外约束，诸如最小移动、机器人关节限制和“向外看”取向。

前面的描述可以允许机器人控制模块820摆放数字手术显微镜头部的姿态，使得其沿着轨迹规划路径进行观察，并且进一步地，其聚焦于沿着该路径进行的“下一步骤”。首先，如下确定定位器空间中的轨迹规划：

localizer_T_trajPlan＝

localizer_T_patientTarget*patientTarget_T_patientData*patientData_T_trajPlan，

其中，右侧的各个矩阵如前所述。然后，可以按如下等式得到轨迹规划相对于机器人基座的姿态：

robotBase_T_trajPlan＝

robotBase_T_localizer*localizer_T_trajPlan

进一步地，轨迹规划可以由定义患者数据空间中的姿态的其他手段来代替，并且机器人被命令匹配或跟踪所述姿态。由于本文所述的各种实施例提供了相机空间、定位器空间和机器人空间的连接，因此这样的姿态定义可以通过多种手段来实现，包括但不限于：摆放导航工具(诸如工具252)的姿态；可以在这种工具的导航目标空间内任意地定义执行对准的轴；或者用户头部的姿态，从而当导航目标直接或间接地连接到用户头部(例如3D眼镜192)时实现头部跟踪。相机的这种姿态控制可以相对于用户头部的某个开始位置(例如在按下按钮或语音命令说“头部跟踪打开”的某个启动动作时初始化)。

此外，例如安装在手术工具上的计算机视觉可跟踪图案的姿态也可用于实现姿态定义。类似于刚才描述的头部跟踪，利用一些用户启动功能，通过改变可跟踪图案的姿态来控制相机头部的姿态，其中根据在用户启动时测量的一些开始姿态来计算相机的姿态的变化。根据启动功能，这可以提供对显微镜姿态的免提控制。而且或替代地，在脊柱手术期间可跟踪安装到患者解剖结构的局部(诸如单个椎骨)的导航相机可跟踪目标的姿态。通过跟踪椎骨的移动，系统为外科医生提供相对于椎骨的一致视图。当在手术中执行引起所讨论的解剖结构的显著移动的步骤时，这是特别有用的。例如，当椎骨移动时，相机姿态可以被更新以总是在外科医生执行椎板切除的相同位置和相同取向上成像。

其它导航工具的姿态也可用于实现姿态定义。例如，可以连续地摆放相机的姿态以向用户提供手术部位的清晰视图，其示出例如主工具的远端和/或避免对所述工具的轴进行成像，对轴进行成像通常会阻挡可视化。

聚焦参考系可以与轨迹规划参考系匹配。为了驱动机器人使得数字手术显微镜的光轴沿着轨迹规划主轴线查看并且可选地聚焦在轨迹规划原点上，轨迹规划在机器人基座的空间中的姿态可以被设置为等于数字手术显微镜的焦点参考空间相对于机器人基座的姿态，为：

robotBase_T_focalRefFrame＝robotBase_T_trajPlan

其以替代方式使用下式得到：

robotBase_T_trajPlan＝robotBase_T_focalRefFrame＝

robotBase_T_robotEEff*robotEEff_T_controlPoint*

controlPoint_T_camTarget*camTarget_T_camEye*

camEye_T_focalRefFrame

根据上述方程，可能需要机器人姿态robotBase_T_robotEEff匹配使用标准矩阵数学运算计算的轨迹规划，以在方程的左手侧隔离robotBase_T_robotEEff函数，如下：

robotBase_T_robotEEff＝

robotBase_T_trajPlan*trajPlan_T_camEye*camEye_T_camTarget*camTarget_T_controlPoint*controlPoint_T_robotEEff

进一步地，由于期望聚焦参考系与轨迹规划相匹配，例如，

robotBase_T_trajPlan＝robotBase_T_focalRefFrame

因此得到：

robotBase_T_robotEEff＝

robotBase_T_focalRefFrame*focalRefFrame_T_camEye*camEye_T_camTarget*camTarget_T_controlPoint*controlPoint_T_robotEEff

上述方程可以提供机器人的姿态，以在给定轨迹规划的情况下匹配轨迹规划以及数字手术显微镜和患者参考系的当前姿态。

执行逆运动学例程以确定满足上述方程的关节姿态集合，并且所述关节姿态集合可被发送到机器人控制模块820，其然后可以以逐步的方式朝向所述姿态集合进行。

由于一些参数可能在机器人朝向期望姿态集合(该期望姿态集合是使聚焦参考系朝向与轨迹规划参考系一致的方向移动所需的)移动期间变化，因此可以计算对robotBase_T_robotEEff及其基本使能方程的计算的周期性更新，并且可以计算机器人控制模块的移动“目标”。

这种更新可以提供例如任意参考系(诸如附接到手术工具或其他可跟踪工具的导航目标)的动态跟踪。例如，诸如Medtronic MetRx的脊柱扩张器可能具有安装到其的导航目标，并且机器人可以跟踪MetRx工具组的轴的中心，从而提供显微镜以连续地“沿着管向下”成像，而不需要来自用户的任何直接输入。

由于轨迹在其核心是路径，因此轨迹规划可以表示许多事情，诸如：期望的手术方法；分路安装路径；期望的椎弓根螺钉取向和/或用于脊柱手术的安装路径。

本文所述的各种实施例允许在用户控制下在屏幕上绘制轨迹，由于系统的仔细校准过程而出现在相对于实时手术视图的正确位置、取向、尺寸和视角。

例如，可以使用该技术来校正轨迹。在“最佳患者配准”时，可以用真实和虚拟标记来标记患者。可以通过视觉上重新对准真实和虚拟标记来校正患者相对于患者导航目标的未来移动(从而降低配准准确度)。由此应用的校正也可以应用于轨迹规划，从而校正所述规划。

例如，当患者的大脑由于压力变化和重力而移位时，也可以使用该技术来校正轨迹。可以由用户手动地或在自动脑移位校正算法下向方案应用校正。然后，如通常针对轨迹规划所描述的，系统可以使用该校正。

应当理解，本文所述的所有公开的方法和过程可以使用一个或多个计算机程序或部件来实施。这些部件可以作为任何常规计算机可读介质或机器可读介质上的一系列计算机指令来提供，常规计算机可读介质或机器可读介质包括易失性或非易失性存储器，诸如RAM、ROM、闪存、磁盘或光盘、光存储器或其他存储介质。指令可以作为软件或固件来提供，和/或可以全部或部分地在诸如ASIC、FPGA、DSP或任何其它类似设备的硬件部件中实施。指令可以被配置为由一个或多个处理器执行，当执行一系列计算机指令时，该一个或多个处理器执行或促进所公开的方法和过程的全部或部分的执行。

应当理解，对本文所述的示例实施例的各种改变和修改对于本领域技术人员将是显而易见的。这样的改变和修改可以在不背离本主题的精神和范围并且不减少其预期优点的情况下进行。因此，预期的是这些改变和修改被所附权利要求覆盖。

Claims (20)

1.一种集成手术导航和可视化系统，包括：

单个推车，提供运动性；

立体数字手术显微镜，包括手术可视化相机和定位器；

一个或多个计算设备，容纳并共同执行手术导航模块和手术可视化模块，其中，所述定位器与所述手术导航模块相关联，其中，所述手术可视化相机与所述手术可视化模块相关联，并且其中，所述一个或多个计算设备由单个电源连接供电，由此减少手术室占用面积；

单个统一显示器；

处理器；以及

存储器，存储计算机可执行指令，所述计算机可执行指令在由所述处理器执行时使得所述系统：

生成与患者相关联的患者数据到所述手术可视化相机的变换；

校准所述手术可视化相机和所述定位器；

经由所述单个统一显示器提供手术部位的可视化；以及

响应于用户输入提供所述手术部位的导航。

2.根据权利要求1所述的集成手术导航和可视化系统，其中，所述指令在由所述处理器执行时使得所述系统通过以下方式来生成与所述患者相关联的患者数据到所述手术可视化相机的变换：

对于与所述手术可视化相机和所述定位器中的每一个相关联的各个相机眼，针对单个变焦和工作距离生成所述定位器到所述手术可视化相机的第一变换，其中，相应的相机眼在所述集成手术导航和可视化系统的运行时使用期间观察所述患者的目标位置；以及

对于与所述手术可视化相机和所述定位器中的每一个相关联的各个相机眼，针对一系列变焦和工作距离生成所述定位器到所述手术可视化相机的第二变换，其中，相应的相机眼在所述运行时使用期间观察所述患者的所述目标位置。

3.根据权利要求2所述的集成手术导航和可视化系统，其中，所述指令在由所述处理器执行时还使得所述系统：

使用所述定位器到所述手术可视化相机的所述第一变换和所述定位器到所述手术可视化相机的所述第二变换来执行所述患者的患者配准，以确定所述患者的相关患者解剖结构相对于所述患者的所述目标位置的姿态。

4.根据权利要求3所述的集成手术导航和可视化系统，其中，所述患者配准包括与所述患者相关联的所述患者数据到所述患者的所述目标位置的变换。

5.根据权利要求4所述的集成手术导航和可视化系统，其中，所述指令在由所述处理器执行时还使得所述系统：

使用所述患者数据到所述患者的所述目标位置的所述变换生成所述患者的所述目标位置到所述定位器的变换；以及

基于所述目标位置到所述定位器的所述变换生成与所述患者相关联的所述患者数据到所述手术可视化相机的变换。

6.根据权利要求1所述的集成手术导航和可视化系统，其中，所述手术导航模块和所述手术可视化模块的所述容纳以及所述共同执行降低通信延迟和连接风险。

7.根据权利要求1所述的集成手术导航和可视化系统，其中，所述指令在由所述处理器执行时还使得所述系统：

通过经由所述统一显示器提供集成导航信息和显微镜手术部位可视化来实时地将所述手术部位的可视化与所述手术部位的导航同步。

8.根据权利要求1所述的集成手术导航和可视化系统，其中，所述指令在由所述处理器执行时使得所述系统：

在所有视图的同一焦平面处提供导航信息，所述导航信息上覆于所述手术部位的可视化。

9.根据权利要求1所述的集成手术导航和可视化系统，其中，所述指令在由所述处理器执行时使得所述系统：

利用给定参考来控制所述立体数字手术显微镜的位置。

10.根据权利要求9所述的集成手术导航和可视化系统，其中，所述指令在由所述处理器执行时使得所述系统通过以下方式来控制所述立体数字手术显微镜的位置：

接收与用于所述手术部位的导航的预先规划的轨迹相关联的用户输入；以及

将所述数字手术显微镜的所述给定参考与所述预先规划的轨迹对准。

11.根据权利要求9所述的集成手术导航和可视化系统，其中，所述数字手术显微镜的所述给定参考与NICO端口或脊柱扩张器工具的中心轴线准连续地准实时对准。

12.根据权利要求1所述的集成手术导航和可视化系统，还包括：

取向调整手柄；以及

所述定位器中的导航目标照明设备。

13.根据权利要求1所述的集成手术导航和可视化系统，其中，所述指令在由所述处理器执行时使得所述系统：

提示用户通过使用所述立体数字手术显微镜的焦点来引起所述患者的所述患者配准；以及

接收与所述立体数字手术显微镜的所述焦点的所述使用相关联的用户输入，以引起所述患者的所述患者配准，其中，所述用户输入是非接触式的。

14.根据权利要求13所述的集成手术导航和可视化系统，其中，所述指令在由所述处理器执行时使得所述系统经由摄影测量或立体摄影测量接收与所述焦点的所述使用相关联的所述用户输入。

15.一种用于在具有一个或多个处理器的计算系统中集成手术导航和手术可视化的方法，所述方法包括：

执行所述计算系统的启动，从而引起手术导航模块和手术可视化模块的启动，其中，所述手术导航模块和所述手术可视化模块被共同容纳在所述计算系统中并由所述计算系统执行；

生成手术部位处与患者相关联的患者数据到与所述手术可视化模块相关联的手术可视化相机的变换；

校准所述手术可视化相机和与所述手术导航模块相关联的定位器；

响应于用户输入提供所述手术部位的导航；以及

经由单个统一显示器提供所述手术部位的可视化。

16.根据权利要求15所述的方法，其中，所述生成所述患者数据到所述手术可视化相机的变换包括：

对于与所述手术可视化相机和所述定位器中的每一个相关联的各个相机眼，针对单个变焦和工作距离生成所述定位器到所述手术可视化相机的第一变换，其中，相应的相机眼在所述集成手术导航和可视化系统的运行时使用期间观察所述患者的目标位置；以及

对于与所述手术可视化相机和所述定位器中的每一个相关联的各个相机眼，针对一系列变焦和工作距离生成所述定位器到所述手术可视化相机的第二变换，其中，相应的相机眼在所述运行时使用期间观察所述患者的所述目标位置。

17.根据权利要求16所述的方法，其中，所述生成所述患者数据到所述手术可视化相机的所述变换还包括：

使用所述定位器到所述手术可视化相机的所述第一变换和所述定位器到所述手术可视化相机的所述第二变换来执行所述患者的患者配准，以确定所述患者的相关患者解剖结构相对于所述患者的所述目标位置的姿态；

使用所述患者数据到所述患者的所述目标位置的变换生成所述患者的所述目标位置到所述定位器的变换；以及

基于所述目标位置到所述定位器的所述变换生成与所述患者相关联的所述患者数据到所述手术可视化相机的变换。

18.根据权利要求15所述的方法，还包括：

通过以下方式利用给定参考来控制立体数字手术显微镜的位置：

由所述计算系统接收与用于由立体数字显微镜进行的手术部位的导航的预先规划的轨迹相关联的用户输入；以及

将所述数字手术显微镜的所述给定参考与所述预先规划的轨迹对准。

19.一种用于在计算设备上使用的非瞬态计算机可读介质，所述计算机可读介质包含用于集成手术导航和手术可视化的计算机可执行编程指令，所述指令包括：

执行计算系统的启动，从而引起手术导航模块和手术可视化模块的启动，其中，所述手术导航模块和所述手术可视化模块被共同容纳在所述计算系统中并由所述计算系统执行；

生成手术部位处与患者相关联的患者数据到与所述手术可视化模块相关联的手术可视化相机的变换；

校准所述手术可视化相机和与所述手术导航模块相关联的定位器；

响应于用户输入提供所述手术部位的导航；以及

经由单个统一显示器提供所述手术部位的可视化。

20.根据权利要求19所述的非瞬态计算机可读介质，其中，所述生成所述患者数据到所述手术可视化相机的变换包括：

对于与所述手术可视化相机和所述定位器中的每一个相关联的各个相机眼，针对单个变焦和工作距离生成所述定位器到所述手术可视化相机的第一变换，其中，相应的相机眼在所述集成手术导航和可视化系统的运行时使用期间观察所述患者的目标位置；

对于与所述手术可视化相机和所述定位器中的每一个相关联的各个相机眼，针对一系列变焦和工作距离生成所述定位器到所述手术可视化相机的第二变换，其中，所述相应的相机眼在所述运行时使用期间观察所述患者的所述目标位置；

使用所述定位器到所述手术可视化相机的所述第一变换和所述定位器到所述手术可视化相机的所述第二变换来执行所述患者的患者配准，以确定所述患者的相关患者解剖结构相对于所述患者的所述目标位置的姿态；

使用所述患者数据到所述患者的所述目标位置的变换生成所述患者的所述目标位置到所述定位器的变换；以及

基于所述目标位置到所述定位器的所述变换生成与所述患者相关联的所述患者数据到所述手术可视化相机的变换。