CN113259584A

CN113259584A - 摄像机跟踪系统

Info

Publication number: CN113259584A
Application number: CN202110181009.7A
Authority: CN
Inventors: Z·瓦索尔; T·卡洛韦
Original assignee: Globus Medical Inc
Current assignee: Globus Medical Inc
Priority date: 2020-02-10
Filing date: 2021-02-09
Publication date: 2021-08-13
Anticipated expiration: 2041-02-09
Also published as: US20220304755A1; JP7478106B2; CN113259584B; JP2021126519A; US20210244479A1; US11382699B2; EP3861957B1; EP3861957A1

Abstract

公开了一种摄像机跟踪系统，其被配置成获得定义一组跟踪摄像机相对于所述一组跟踪摄像机的姿势的跟踪体积的模型，并且从所述一组跟踪摄像机接收指示扩展现实(XR)头戴式受话器相对于所述一组跟踪摄像机的姿势的跟踪信息。所述摄像机跟踪系统进一步被配置成基于由所述跟踪信息指示的所述XR头戴式受话器的所述姿势并且基于定义所述一组跟踪摄像机的所述跟踪体积的所述模型，从所述XR头戴式受话器的视角生成所述跟踪体积的图形表示，并且向所述XR头戴式受话器提供所述跟踪体积的所述图形表示以显示给用户。

Description

摄像机跟踪系统

技术领域

本公开涉及医疗装置和系统，并且更具体地，涉及手术期间计算机辅助导航的摄像机跟踪系统。

背景技术

手术中的计算机辅助导航为外科医生提供关于患者的解剖的放射照相图像的手术仪器的增强可视化。导航手术通常包含用于通过使用单个立体摄像机系统的盘或球体阵列来跟踪手术仪器的方位和定向的组件。在这种场景下，有三个参数共同竞争优化：(1)精度、(2)稳健性和(3)人体工程学。

当被跟踪的对象被移动到摄像机系统的跟踪区域之外或者由于介入人员和/或器械而被阻碍不能从摄像机查看时，使用现有导航系统的导航手术程序易于发生触发间歇暂停的事件。需要改进导航系统的跟踪性能。

发明内容

本文所公开的各个实施例涉及计算机辅助导航在手术期间的改进。操作扩展现实(XR)头戴式受话器以可视地绘示一组跟踪摄像机的跟踪体积，使得用户可以优化跟踪摄像机相对于手术部位的放置，并且可以在手术程序期间动态地监视被跟踪的工具或其它对象相对于跟踪体积的边界的位置。

在一个实施例中，摄像机跟踪系统被配置成获得定义一组跟踪摄像机相对于所述一组跟踪摄像机的姿势的跟踪体积的模型，并且从所述一组跟踪摄像机接收指示XR头戴式受话器相对于所述一组跟踪摄像机的姿势的跟踪信息。摄像机跟踪系统进一步被配置成基于由跟踪信息指示的XR头戴式受话器的姿势并且基于定义所述一组跟踪摄像机的跟踪体积的模型从XR头戴式受话器的视角生成跟踪体积的图形表示，并向XR头戴式受话器提供跟踪体积的图形表示以显示给用户。

公开了摄像机跟踪系统的相关方法和相关计算机程序产品。

在审阅以下附图和详细描述之后，根据实施例的其它摄像机跟踪系统、方法和计算机程序产品对于本领域技术人员来说将是显而易见的。所有此类摄像机跟踪系统、方法和计算机程序产品旨在包含在本说明书中、在本公开的范围之内并且受所附权利要求的保护。此外，本文中公开的所有实施例旨在可以以任何方式和/或组合来单独实施或组合。

附图说明

附图展示了发明概念的某些非限制性实施例，所述附图被包含在内以提供对本公开的进一步理解，并且结合在本申请内并构成本申请的一部分。在附图中：

图1展示了根据本公开的一些实施例的手术系统的实施例；

图2展示了根据本公开的一些实施例的图1的手术系统的手术机器人组件；

图3A展示了根据本公开的一些实施例的图1的手术系统的摄像机跟踪系统组件；

图3B和3C展示了根据本公开的一些实施例的可以与图1的手术系统一起使用的另一个摄像机跟踪系统组件的正视图和等距视图；

图4展示了可连接到机器人臂并且根据本公开的一些实施例配置的末端执行器的实施例；

图5绘示了医疗操作，其中手术机器人和摄像机系统被安置在患者周围；

图6绘示了用于医疗操作的图5的手术系统的组件的框图视图；

图7绘示了在使用手术系统的导航功能时可以在图5和图6的显示器上显示的各种显示屏；

图8展示了根据本公开的一些实施例的手术机器人的一些电组件的框图；

图9展示了根据本公开的一些实施例的手术系统的组件的框图，所述手术系统包含连接到可以可操作地连接到摄像机跟踪系统和/或手术机器人的计算机平台的成像装置；

图10展示了根据本公开的一些实施例的可以与手术机器人组合使用的C形臂成像装置的实施例；

图11绘示了根据本公开的一些实施例的可以与手术机器人组合使用的O形臂成像装置的实施例；

图12绘示了包含根据本公开的一些实施例进行操作的一对XR头戴式受话器和辅助跟踪棒的手术系统的组件的框图视图；

图13绘示了根据本公开的一些实施例配置的XR头戴式受话器；

图14绘示了根据本公开的一些实施例的可以可操作地连接到计算机平台、成像装置和/或手术机器人的XR头戴式受话器的电组件；

图15绘示了根据本公开的一些实施例的绘示XR头戴式受话器的光学组件的布置的框图。

图16绘示了根据本公开的一些实施例的通过用于在医疗程序期间提供导航辅助以操纵手术工具的XR头戴式受话器的显示屏的示例性视图；

图17绘示了根据本公开的一些实施例配置的具有两对立体摄像机的辅助跟踪棒的示例性配置；

图18绘示了包含根据本公开的一些实施例共同操作的在一对XR头戴式受话器和在辅助跟踪棒中的包含跟踪摄像机的手术系统的组件的框图视图；

图19绘示了根据本公开的一些实施例的一对XR头戴式受话器，所述一对XR头戴式受话器与摄像机跟踪系统一起操作以协同地跟踪不能由任一XR头戴式受话器完全直接观察到的动态参考阵列基准的姿势；

图20绘示了根据本公开的一些实施例操作的手术系统的各个组件之间的信息流的框图；

图21是根据本公开的一些实施例的可以由摄像机跟踪系统执行的姿势链操作的流程图。

图22A绘示了具有辅助跟踪棒的手术设置，所述辅助跟踪棒具有一组摄像机，所述一组摄像机被布置成在手术程序期间查看和跟踪手术场景中的各种对象；

图22B绘示了根据本公开的一些实施例的可由XR头戴式受话器显示的所述一组摄像机的跟踪体积的图形表示；

图23A和图23B分别绘示根据本公开的一些实施例的可由XR头戴式受话器显示的所述一组摄像机的跟踪体积的图形表示的侧视图和顶视图；

图24A和图24B绘示了在手术程序期间，当辅助跟踪棒移动时，例如当被人员撞击时，辅助跟踪棒相对于手术工具和患者的前后布置；

图25A和图25B进一步绘示了当辅助跟踪棒分别如图24A和图24B所示移动时，辅助跟踪棒上的摄像机之一相对于手术工具和患者的前后布置；

图26绘示了根据本公开的一些实施例的线框表面，所述线框表面通过XR头戴式受话器被显示为手术场景上的覆盖图以可视地为用户绘示所述一组摄像机的跟踪体积；

图27A绘示了根据本公开的一些实施例的线框表面，所述线框表面通过XR头戴式受话器显示为手术场景上的覆盖图，以可视地绘示在如图24B和图25B所示的辅助跟踪棒被撞击之后所述一组摄像机的跟踪体积；

图27B绘示了根据本公开的一些实施例的另一个线框表面，所述另一个线框表面通过XR头戴式受话器显示以在手术工具变得接近跟踪体积的边界时提供边界警告通知；

图28A绘示了根据本公开的一些实施例的从佩戴XR头戴式受话器的用户的视角看到的图27A的线框表面的另一视图；

图28B绘示了根据本公开的一些实施例的从佩戴XR头戴式受话器的用户的视角看到的图27B的线框表面的另一视图；以及

图29至图32绘示了根据本公开的一些实施例的操作，所述操作可由摄像机跟踪系统的计算机平台执行以生成用于通过一个或多个XR头戴式受话器查看的一组或多组跟踪摄像机的跟踪体积的图形表示。

具体实施方式

现将参考附图在下文中更全面地描述发明概念，在附图中绘示了发明概念的实施例的示例。发明概念可以以许多不同的形式实施，并且不应该被解释为限于本文列出的实施例。而是这些实施例被提供为使得本公开更完全和完整，并且将各个本发明概念的范围完全地转达给所属领域技术人员。还应当注意，这些实施例并不相互排斥。一个实施例中的组件可以被默认为存在于或用于另一个实施例。

本文所公开的各个实施例涉及计算机辅助导航在手术期间的改进。一种扩展现实(XR)头戴式受话器可操作地连接到手术系统并且被配置成提供外科医生、助理和/或其它人员可以通过其查看患者图像并且在其中进行选择、查看计算机生成的手术导航信息并在其中进行选择和/或控制手术室中的手术器械的交互式环境。如下所述，XR头戴式受话器可以被配置成利用计算机生成的XR图像来增强真实世界场景。XR头戴式受话器可以被配置成通过在透视显示屏上显示计算机生成的XR图像来提供增强真实(AR)查看环境，所述透视显示屏允许来自真实世界场景的光穿过其中以供用户组合查看。可替换地，XR头戴式受话器可以被配置成通过在用户查看显示屏上的计算机生成的AR图像时防止或基本上防止来自真实世界场景的光被用户直接查看、来提供虚拟真实(VR)查看环境。XR头戴式受话器可被配置成提供AR和VR查看环境。在一个实施例中，AR和VR查看环境都由布置在透视显示屏和真实世界场景之间的不透明度基本上不同的横向带提供，从而为与高不透明度带对准的XR图像提供VR查看环境，并且为与低不透明度带对准的XR图像提供AR查看环境。在另一个实施例中，AR和VR查看环境都由计算机可调节的不透明度滤光器的控制来提供，所述不透明度滤光器可变地约束来自真实世界场景的多少光穿过透视显示屏以便与用户查看的XR图像组合。因此，XR头戴式受话器也可以被称为AR头戴式受话器或VR头戴式受话器。

图1绘示了根据本公开的一些实施例的手术系统2的实施例。在执行矫形或其它手术程序之前，可以使用例如图10的C形臂成像装置104或图11的O形臂成像装置106，或从如计算机断层扫描(CT)图像或MRI的另一个医学成像装置、对患者的有计划的手术区进行三维(“3D”)图像扫描。可以在术前(例如，最常见的在程序前几周)或术中进行这种扫描。然而，可以根据手术系统2的各个实施例来使用任何已知的3D或2D图像扫描。图像扫描发送到与手术系统2通信的计算机平台，如手术系统900的计算机平台910(图9)，所述手术系统900可以包含摄像机跟踪系统组件6、手术机器人4(例如，图1中的机器人2)、成像装置(例如，C形臂104、O形臂106等)以及用于存储患者的图像扫描的图像数据库950。查看计算机平台910(图9)的显示装置上的一个或多个图像扫描的外科医生生成定义在对患者的解剖结构进行的手术程序期间使用的手术工具的对象姿势的手术计划。示例性手术工具，也称为工具，可包含但不限于钻孔器、螺丝刀、牵开器和如螺钉、间隔器、体内融合装置、板、杆等的植入物。在一些实施例中，在显示装置上显示的3D图像扫描上计划定义对象平面的手术计划。

如本文所使用的，术语“姿势”是指一个对象(例如，动态参考阵列、末端执行器、手术工具、解剖结构等)相对于另一个对象和/或定义的坐标系的方位和/或旋转角度。因此，姿势可以仅基于一个对象相对于另一个对象和/或定义的坐标系的多维方位、仅基于所述对象相对于另一个对象和/或定义的坐标系的多维旋转角度或结合多维方位和多维旋转角度来定义。因此，术语“姿势”用于指方位、旋转角度或其组合。

图1的手术系统2可以在医疗程序期间通过例如供使用的保持工具、对齐工具、使用工具、引导工具和/或定位工具来辅助外科医生。在一些实施例中，手术系统2包含手术机器人4和摄像机跟踪系统组件6。将手术机器人4和摄像机跟踪系统组件6机械联接的能力可以允许手术系统2作为单个单元来操纵并移动，并且允许手术系统2在区域中具有小的占用空间，允许更容易地移动通过狭窄的通道和绕过转弯，并且允许存储在较小的区域之内。

手术程序可以开始于手术系统2从医疗存储室移动到医疗程序室。可以通过门道、大厅和电梯操纵手术系统2以到达医疗程序室。在所述医疗程序室内，手术系统2可以在物理上分成两个单独且不同的系统(手术机器人4和摄像机跟踪系统组件6)。手术机器人4可以定位成在任何合适的位置邻近患者，以适当地辅助医务人员。摄像机跟踪系统组件6可以定位在患者的底部、在患者肩部或任何其它适合于跟踪手术机器人4和患者的跟踪部分的当前姿势和姿势移动的位置。手术机器人4和摄像机跟踪系统组件6可以由机载电源供电和/或插入到外墙插座中。

手术机器人4可以用于通过在医疗程序期间保持和/或使用工具来帮助外科医生。为了适当地利用并保持工具，手术机器人4可以依靠多个马达、计算机和/或致动器来适当地起作用。如图1所展示的，机器人主体8可以充当其中多个马达、计算机和/或致动器可以固定在手术机器人4内的结构。机器人主体8还可以为机器人伸缩式支撑臂16提供支撑。机器人主体8的大小可以提供支撑附接组件的稳固平台，并且可以容纳、隐藏并保护可以操作附接组件的多个马达、计算机和/或致动器。

机器人底座10可以充当手术机器人4的下部支撑。在一些实施例中，机器人底座10可以支撑机器人主体8，并且可以将机器人主体8附接到多个驱动轮12。这种与轮的附接可以允许机器人主体8在空间中有效地移动。机器人底座10可以沿机器人主体8的长度和宽度运行。机器人底座10可以是约两英寸到约10英寸高。机器人底座10可以覆盖、保护并支撑驱动轮12。

在一些实施例中，如图1所展示的，至少一个驱动轮12可以附接到机器人底座10。驱动轮12可以在任何位置附接到机器人底座10。每个单独的驱动轮12可以在任何方向上绕竖直轴线旋转。马达可以安置在驱动轮12的上方、之内或邻近其安置。这种马达可以允许手术系统2操纵到任何位置，并且稳定和/或调平手术系统2。可以通过马达将位于驱动轮12之内或邻近其的杆压入表面中。未绘示的杆可以由任何合适的金属制成，以提升手术系统2。所述杆可以提升驱动轮10，这可以将手术系统2提升到调平或以其它方式固定手术系统2相对于患者的定向所需的任何高度。手术系统2的重量通过每个轮上的杆的小接触区域支撑，防止手术系统2在医疗程序期间移动。此刚性定位可以防止对象和/或人意外地移动手术系统2。

可以使用机器人轨道14促进移动手术系统2。机器人轨道14给人提供了在未抓住机器人主体8的情况下移动手术系统2的能力。如图1所展示的，机器人轨道14的长度可以和机器人主体8一样长、比机器人主体8短，和/或可以比机器人主体8更长。机器人轨道14可以进一步向机器人主体8提供保护，从而防止对象和/或医务人员接触、撞击或撞到机器人主体8。

机器人主体8可以为选择顺应性铰接式机器人臂提供支撑，在下文中被称为“SCARA”。由于机械臂的可重复性和紧凑性，在手术系统2内使用SCARA 24可能是有利的。SCARA的紧凑性可以在医疗程序内提供另外的空间，这可以允许医疗专业人员在没有过多杂乱和限制区域的情况下执行医疗程序。SCARA 24可以包括机器人伸缩式支撑件16、机器人支撑臂18和/或机器人臂20。机器人伸缩式支撑件16可以沿机器人主体8安置。如图1所展示的，机器人伸缩式支撑件16可以为SCARA 24和显示器34提供支撑。在一些实施例中，机器人伸缩式支撑件16可以在竖直方向上延伸并收缩。机器人伸缩式支撑件16的主体可以是被配置成支撑放在其上的应力和重量的任何宽度和/或高度。

在一些实施例中，医务人员可以通过由医务人员提交的命令来移动SCARA 24。如将在下面进一步详细解释的，命令可以源自在显示器34、平板电脑和/或XR头戴式受话器(例如，图9中的头戴式受话器920)上接收到的输入。XR头戴式受话器可以消除医务人员参考如显示器34或平板电脑等任何其它显示器的需要，这使得能够在没有显示器34和/或平板电脑的情况下配置SCARA 24。如将在下面进一步详细解释的，命令可以通过按压开关和/或按压多个开关来生成，和/或可以基于由XR头戴式受话器感测到的手势命令和/或语音命令来生成。

如图5中所绘示的，激活组合件60可以包含开关和/或多个开关。激活组合件60可以是可操作的以向SCARA 24传输移动命令，从而允许操作者手动操纵SCARA 24。当按压开关或多个开关时，医务人员可以具有通过所应用的手部移动来移动SCARA 24的能力。可替代地或另外地，如将在下面进一步详细解释的，操作者可以通过由XR头戴式受话器感测到的手势命令和/或语音命令来控制SCARA 24的移动。另外地，当SCARA 24未接收到移动的命令时，SCARA24可以锁定在适当的位置以防止由医务人员和/或其它对象意外移动。通过锁定在适当的位置，SCARA 24提供了稳固平台，通过所述稳固平台，末端执行器26可以在医疗程序期间引导手术工具。

机器人支撑臂18可以通过各种机构连接到机器人伸缩式支撑件16。在一些实施例中，最佳参考图1和2，机器人支撑臂18相对于机器人伸缩式支撑件16在任何方向上旋转。机器人支撑臂18可以围绕机器人伸缩式支撑件16旋转三百六十度。机器人臂20可以在任何合适的位置并通过使得能够相对于机器人支撑臂18在任何方向上旋转的各种机构连接到机器人支撑臂18。在一个实施例中，机器人臂20可相对于机器人支撑臂18旋转三百六十度。这种自由旋转允许操作者根据手术计划对机器人臂20进行定位。

图4和5中的末端执行器26以在任何合适的位置附接到机器人臂20。末端执行器26被配置成附接到由手术机器人4定位的机器人臂20的末端执行器联接器22。示例末端执行器26包含引导插入式手术工具相对于要对其执行手术程序的解剖结构的移动的管状引导件。

在一些实施例中，动态参考阵列52附接到末端执行器26。动态参考阵列(在本文中也被称为“DRA”)是可以安置在患者的解剖结构(例如，骨骼)上的刚性主体、由手术室中的人员佩戴的一个或多个XR头戴式受话器、末端执行器、手术机器人、导航手术程序中的手术工具。计算机平台910与摄像机跟踪系统组件6或其它3D定位系统组合被配置成实时跟踪DRA的姿势(例如，方位和旋转定向)。DRA可以包含基准，如球的所绘示布置。对DRA的3D坐标的这种跟踪可以允许手术系统2确定DRA在相对于图5中的患者50的对象解剖结构的任何多维空间中的姿势。

如图1所展示的，光指示器28可以定位于SCARA 24的顶部。光指示器28可以作为任何类型的光点亮，以指示其中手术系统2当前操作的“状况”。在一些实施例中，光可以由LED灯产生，所述灯可以围绕光指示器28形成环。光指示器28可以包括可以让光透过整个光指示器28的完全可渗透材料。光指示器28可以附接到下部显示器支撑件30。如图2所展示的，下部显示器支撑件30可以允许操作者操纵显示器34到任何合适的位置。下部显示器支撑件30可以通过任何合适的机构附接到光指示器28。在一些实施例中，下部显示器支撑件30可以绕光指示器28旋转或刚性附接到所述光指示器。上部显示器支撑件32可以通过任何合适的机构附接到下部显示器支撑件30。

在一些实施例中，平板电脑可以与显示器34结合使用和/或在没有显示器34的情况下使用。平板电脑可以安置在上部显示器支撑件32上以代替显示器34，并且可以能够在医疗操作期间从上部显示器支撑件32移除。另外，平板电脑可以与显示器34通信。平板电脑能够通过任何合适的无线和/或有线连接连接到手术机器人4。在一些实施例中，平板电脑能够在医疗操作期间对手术系统2进行编程和/或控制。当用平板电脑控制手术系统2时，所有输入和输出命令都可以在显示器34上复制。使用平板电脑可以允许操作者操纵手术机器人4，而不必围绕患者50和/或手术机器人4移动。

如下面将解释的，在一些实施例中，外科医生和/或其它人员可以佩戴可以与显示器34和/或平板电脑结合使用的XR头戴式受话器，或者XR头戴式受话器可以消除使用显示器34和/或平板电脑的需要。

如图3A和图5所绘示的，摄像机跟踪系统组件6通过有线或无线通信网络与手术机器人4组合工作。参考图1、图3和图5，摄像机跟踪系统组件6可以包含与手术机器人4类似的一些组件。例如，摄像机主体36可以提供在机器人主体8中发现的功能。机器人主体8可提供其上安装有摄像机46的辅助跟踪棒。机器人主体8内的结构还可以为用于操作摄像机跟踪系统组件6的电子设备、通信装置和电源提供支撑。摄像机主体36可以由与机器人主体8相同的材料制成。摄像机跟踪系统组件6可以通过无线和/或有线网络与XR头戴式受话器、平板电脑和/或显示器34直接通信，以使得XR头戴式受话器、平板电脑和/或显示器34能够控制摄像机跟踪系统组件6的功能。

摄像机主体36由摄像机底座38支撑。摄像机底座38可以用作机器人底座10。在图1的实施例中，摄像机底座38可以比机器人底座10宽。摄像机底座38的宽度可以允许摄像机跟踪系统组件6与手术机器人4连接。如图1所绘示的，摄像机底座38的宽度可以足够大以适合机器人底座10的外部。当摄像机跟踪系统组件6与手术机器人4连接时，摄像机底座38的另外的宽度可以允许手术系统2为手术系统2提供另外的可操作性和支撑。

如同机器人底座10，多个驱动轮12可以附接到摄像机底座38。类似于机器人底座10和驱动轮12的操作，驱动轮12可以允许摄像机跟踪系统组件6相对于患者50稳定和调平或设置固定定向。这种稳定可以防止摄像机跟踪系统组件6在医疗程序期间移动，并且可以防止辅助跟踪棒上的摄像机46失去对连接到XR头戴式受话器和/或手术机器人4的DRA的跟踪、失去对连接到如图3A和图5所绘示的指定区域56内的解剖结构54和/或工具58的一个或多个DRA 52的跟踪。跟踪的这种稳定性和维护增强了手术机器人4与摄像机跟踪系统组件6一起有效操作的能力。另外地，宽摄像机底座38可以为摄像机跟踪系统组件6提供另外的支撑。具体地，如图3A和图5所绘示的，当摄像机46安置在患者之上时，宽摄像机底座38可以防止摄像机跟踪系统组件6倾翻。

摄像机伸缩式支撑件40可以支撑辅助跟踪棒上的摄像机46。在一些实施例中，伸缩式支撑件40可以在竖直方向上将摄像机46向更高或更低处移动。摄像机手柄48可以在任何合适的位置附接到摄像机伸缩式支撑件40，并且被配置成允许操作者在医疗操作之前将摄像机跟踪系统组件6移动到有计划的方位。在一些实施例中，摄像机手柄48可以用于降低和升高摄像机伸缩式支撑件40。摄像机手柄48可以通过按压按钮、开关、杠杆和/或其任何组合来执行摄像机伸缩式支撑件40的升高和降低。

下部摄像机支撑臂42可以在任何合适的位置附接到摄像机伸缩式支撑件40，在实施例中，如图1所绘示的，下部摄像机支撑臂42可以围绕伸缩式支撑件40旋转三百六十度。这种自由旋转可以允许操作者将摄像机46定位在任何合适的位置。下部摄像机支撑臂42可以通过任何合适的机构连接到伸缩式支撑件40。下部摄像机支撑臂42可以用于为摄像机46提供支撑。摄像机46可以通过任何合适的机构附接到下部摄像机支撑臂42。摄像机46可以在摄像机46与下部摄像机支撑臂42之间的附接区域在任何方向上枢转。在实施例中，弯曲轨道44可以安置在下部摄像机支撑臂42上。

弯曲轨道44可以安置在下部摄像机支撑臂42上的任何合适的位置。如图3A所展示的，弯曲轨道44可以通过任何合适的机构附接到下部摄像机支撑臂42。弯曲轨道44可以是任何合适的形状，合适的形状可以是新月形、圆形、扁形、椭圆形和/或其任何组合。摄像机46可以沿弯曲轨道44可移动地安置。摄像机46可以通过例如辊、支架、支具、马达和/或其任何组合附接到弯曲轨道44。未绘示的马达和辊可以用于沿弯曲轨道44移动摄像机46。如图3A所绘示的，在医疗程序期间，如果对象阻止摄像机46观察所跟踪的一个或多个DRA，则马达可以响应地沿弯曲轨道44移动摄像机46。这种机动化移动可以允许摄像机46在没有移动摄像机跟踪系统组件6的情况下移动到不再被对象阻碍的新方位。当阻碍到摄像机46查看一个或多个所跟踪的DRA时，摄像机跟踪系统组件6可以向手术机器人4、XR头戴式受话器、显示器34和/或平板电脑发送停止信号。停止信号可以阻止SCARA 24移动，直到摄像机46已经重新获取所跟踪的DRA 52和/或可以警告操作者佩戴XR头戴式受话器和/或查看显示器34和/或平板电脑为止。这个SCARA 24可以被配置成通过停止底座和/或末端执行器联接器22的进一步移动直到所述摄像机跟踪系统可以重新开始对DRA的跟踪为止来对停止信号的接收作出响应。

图3B和图3C绘示了可以与图1的手术系统一起使用或可以独立于手术机器人使用的另一个摄像机摄像机跟踪系统组件6'的正视图和等距视图。例如，摄像机跟踪系统组件6'可以用于在不使用机器人引导的情况下提供导航手术。图3B和图3C的摄像机跟踪系统组件6'与图3A的摄像机跟踪系统组件6之间的区别之一是图3B和图3C的摄像机跟踪系统组件6'包含用于运输计算机平台910的壳体。计算机平台910可以被配置成：执行摄像机跟踪操作以跟踪DRA；执行向显示装置(例如，XR头戴式受话器和/或其它显示装置)提供手术导航信息的导航手术操作；并且执行本文所公开的其它计算操作。因此，计算机平台910可以包含导航计算机，例如图14的一个或多个导航计算机。

图6绘示了用于医疗操作的图5的手术系统的组件的框图视图。参考图6，辅助跟踪棒上的跟踪摄像机46具有在其中对附接到患者的参考阵列602、附接到手术仪器的参考阵列604和机器人臂20的姿势(例如，方位和定向)进行跟踪的导航视场600。跟踪摄像机46可以是包含被配置成执行下面描述的操作的计算机平台910的图3B和图3C的摄像机跟踪系统组件6'的一部分。参考阵列通过以已知模式反射光来实现跟踪，所述已知模式被手术机器人4的跟踪子系统解码以确定所述参考阵列的相应姿势。如果患者参考阵列602与辅助跟踪棒上的跟踪摄像机46之间的视线被阻挡(例如，由医务人员、仪器等)，则可能无法对手术仪器进行进一步导航，并且响应式通知可以暂时停止机器人臂20和手术机器人4的进一步移动、在显示器34上显示警告，和/或向医务人员提供听觉警告。显示器34可供外科医生610和助理612使用，但是查看需要将头转动远离患者并将眼焦点改变到不同的距离和位置。导航软件可以由技术人员614基于来自外科医生的声音指令来控制。

图7展示了在使用手术系统2的导航功能时可以通过手术机器人4在图5和6的显示器34上显示的各种显示屏。显示屏可以包含但不限于具有基于开发的手术计划和/或基于所跟踪的参考阵列的姿势相对于解剖结构定位在显示屏中的仪器模型的覆盖图形表示的患者射线照片、用于控制手术程序的不同阶段以及虚拟投影的植入物的尺寸参数(例如，长度、宽度和/或直径)的各种用户可选择菜单。

对于导航手术，提供了下面描述的使得能够对手术程序(例如，植入物放置)进行术前计划以及将计划电子传递到计算机平台910以在有计划的手术程序期间向一个或多个用户提供导航信息的各种处理组件(例如，计算机平台910)和相关联软件。

对于机器人导航，提供了下面描述的使得能够对手术程序(例如，植入物放置)进行术前计划以及将计划电子传递到手术机器人4的各种处理组件(例如，计算机平台910)和相关联软件。手术机器人4使用计划来引导机器人臂20和连接的末端执行器26，以针对有计划的手术程序的步骤提供手术工具相对于患者解剖结构的对象姿势。

下面的各个实施例涉及使用可以由外科医生610、助理612和/或其它医务人员佩戴的一个或多个XR头戴式受话器以提供用于从手术机器人、摄像机跟踪系统组件6/6'和/或手术室中的其它医疗器械接收信息和/或向其提供控制命令的改进的用户界面。

图8绘示了根据本公开的一些实施例的手术机器人4的一些电组件的框图。参考图8，测力传感器(load cell，未绘示)可以被配置成跟踪施加到末端执行器联接器22的力。在一些实施例中，测力传感器可以与多个马达850、851、852、853和/或854通信。当测力传感器感测到力时，关于所施加的力的量的信息可以从开关阵列和/或多个开关阵列分布到控制器846。控制器846可以从测力传感器获取力信息，并且用开关算法对其进行处理。控制器846使用开关算法来控制马达驱动器842。马达驱动器842控制一个或多个马达850、851、852、853和/或854的操作。马达驱动器842可以指导特定马达产生例如由测力传感器通过马达测得的等量的力。在一些实施例中，如控制器846所指示的，所产生的力可以来自多个马达，例如850-854。另外地，马达驱动器842可以接收来自控制器846的输入。控制器846可以从测力传感器接收关于由测力传感器感测到的力的方向的信息。控制器846可以使用运动控制器算法来处理这个信息。所述算法可以用于向特定马达驱动器842提供信息。为了复制力的方向，控制器846可以激活和/或去激活某些马达驱动器842。控制器846可以控制一个或多个马达，例如850-854中的一个或多个，以诱导末端执行器26在由测力传感器感测的力的方向上的运动。这种力控制的运动可以允许操作者毫不费力地和/或以非常小的阻力移动SCARA 24和末端执行器26。可以执行末端执行器26的移动，以将末端执行器26以任何合适的姿势定位(即，相对于限定的三维(3D)正交参考轴线的位置和角度定向)，以供医务人员使用。

图5最佳展示的，激活组合件60可以缠绕末端执行器联接器22的手镯的形式。激活组合件60可以定位于SCARA 24的任何部分、末端执行器联接器22的任何部分上，可以由医务人员佩戴(并且无线通信)，和/或其任何组合。激活组合件60可以包括主按钮和次按钮。

按压主按钮可以允许操作者移动SCARA 24和末端执行器联接器22。根据一个实施例，一旦设置在适当位置，SCARA 24和末端执行器联接器22可以不移动直到操作者对手术机器人4进行编程以移动SCARA 24和末端执行器联接器22为止，或使用主按钮来移动。在一些示例中，可能需要在SCARA 24和末端执行器联接器22将对操作者命令作出响应之前按压至少两个不相邻的主激活开关。按压至少两个主激活开关可以防止SCARA 24和末端执行器联接器22在医疗程序期间的意外移动。

由主按钮激活，测力传感器可以测量由操作者(即，医务人员)施加在末端执行器联接器22上的力的量值和/或方向。这个信息可以传递到SCARA 24内的可以用于移动SCARA24和末端执行器联接器22的一个或多个马达，例如850-854中的一个或多个。关于由测力传感器测得的力的量值和方向的信息可以使一个或多个马达(例如，850-854中的一个或多个)在与由测力传感器感测到的同一方向上移动SCARA 24和末端执行器联接器22。这种力控制的移动可以允许操作者容易地移动SCARA 24和末端执行器联接器22，并且由于在操作者移动SCARA 24和末端执行器联接器22的同时马达移动SCARA 24和末端执行器联接器22，所以不需要大量的努力。

在一些示例中，操作者可以将次按钮用作“选择”装置。在医疗操作期间，手术机器人4可以通过XR头戴式受话器920、显示器34和/或光指示器28通知医务人员某些情况。XR头戴式受话器920各自被配置成将图像显示于透视显示屏上，以形成覆盖在通过透视显示屏可查看的真实世界对象上的扩展现实图像。手术机器人4可以提示医务人员选择功能、模式和/或评估手术系统2的情况。按压次按钮单次可以激活某些功能、模式和/或确认通过XR头戴式受话器920、显示器34和/或光指示器28传送给医务人员的信息。另外地，快速连续地按压次按钮多次可以激活另外的功能、模式和/或选择通过XR头戴式受话器920、显示器34和/或光指示器28传送给医务人员的信息。

进一步参考图8，手术机器人4的电组件包含平台子系统802、计算机子系统820、运动控制子系统840和跟踪子系统830。平台子系统802包含电池806、配电模块804、连接器面板808和充电站810。计算机子系统820包含计算机822、显示器824和扬声器826。运动控制子系统840包含驱动电路842、电机850、851、852、853、854、稳定器855、856、857、858、末端执行器连接器844和控制器846。跟踪子系统830包含方位传感器832和摄像机转换器834。手术机器人4还可以包含可移除脚踏板880和可移除平板电脑890。

输入功率通过可以提供给配电模块804的电源供应给手术机器人4。配电模块804接收输入功率，并且被配置成生成提供给手术机器人4的其它模块、组件和子系统的不同的电源电压。配电模块804可以被配置成向连接器面板808提供不同的电压供应，所述电压供应可以提供给其它组件(如计算机822、显示器824、扬声器826、驱动器842)以例如给马达850-854和末端执行器联接器844供电，并且提供给摄像机转换器834和用于手术机器人4的其它组件。配电模块804还可以连接到电池806，所述电池在配电模块804未从输入电源接收电力的情况下充当临时电源。在其它时间，配电模块804可以用于给电池806充电。

连接器面板808可以用于将不同的装置和组件连接到手术机器人4和/或相关联组件和模块。连接器面板808可以含有接收来自不同组件的线路或连接件的一个或多个端口。例如，连接器面板808可以具有将手术机器人4接地到其它设备的接地端端口、用于连接脚踏板880的端口、用于连接到跟踪子系统830的端口，所述跟踪子系统可以包含方位传感器832、摄像机转换器834和DRA跟踪摄像机870。连接器面板808还可以包含其它端口，以允许与其它组件(如计算机822)的USB、以太网、HDMI通信。根据一些实施例，连接器面板808可以包含有线和/或无线接口以用于将XR头戴式受话器920可操作地连接到跟踪子系统830和/或计算机子系统820。

控制面板816可以提供控制手术机器人4的操作和/或提供来自手术机器人4的信息以供操作者观察的各种按钮或指示器。例如，控制面板816可以包含用于打开或关闭手术机器人4、提升或降低竖直柱16以及提升或降低稳定器855-858的按钮，所述稳定器可以被设计成接合脚轮12以锁定手术机器人4而不物理上移动。其它按钮可以在发生紧急情况时停止手术机器人4，这可以移除所有马达功率并应用机械制动器来停止所有运动发生。控制面板816还可以具有通知操作者某些系统情况(如线路功率指示器)或电池806的充电状态的指示器。根据一些实施例，一个或多个XR头戴式受话器920可以例如通过连接器面板808通信，以控制手术机器人4的操作和/或接收并显示由手术机器人4生成的信息以供佩戴XR头戴式受话器920的人员观察。

计算机子系统820的计算机822包含用于操作手术机器人4的指定功能的操作系统和软件。计算机822可以接收并处理来自其它组件(例如，跟踪子系统830、平台子系统802和/或运动控制子系统840)的信息，以便向操作者显示信息。进一步地，计算机子系统820可以通过扬声器826为操作者提供输出。扬声器可以是所述手术机器人的一部分、XR头戴式受话器920的一部分，或在手术系统2的另一个组件内。显示器824可以对应于图1和图2所绘示的显示器34。

跟踪子系统830可以包含方位传感器832和摄像机转换器834。跟踪子系统830可以对应于图3的摄像机跟踪系统组件6。DRA跟踪摄像机870与方位传感器832一起操作，以确定DRA 52的姿势。可以以与本公开一致的方式进行这种跟踪，所述跟踪包含使用分别跟踪DRA52的有源元件或无源元件的位置的红外光或可见光技术，如LED或反射标记。

跟踪子系统830和计算机子系统820的功能操作可以包含在可以由图3A和图3B的摄像机跟踪系统组件6'来运输的计算机平台910中。跟踪子系统830可以被配置成确定姿势，例如所跟踪的DRA的位置和角度定向。计算机平台910还可以包含导航控制器，所述导航控制器被配置成使用所确定的姿势来向用户提供引导它们在有计划的手术程序期间相对于方位配准的患者图像和/或所跟踪的解剖结构移动所跟踪的工具的导航信息。计算机平台910可以在图3B和图3C的显示器上和/或向一个或多个XR头戴式受话器920显示信息。当与手术机器人一起使用时，计算机平台910可以被配置成与计算机子系统820和图8的其它子系统通信以控制末端执行器26的移动。例如，如将在下面解释的，计算机平台910可以生成患者的解剖结构、手术工具、用户的手等的图形表示，其具有基于一个或多个所跟踪的DRA的所确定的姿势进行控制的所显示的大小、形状、颜色和/或姿势，并且所显示的图形表示可以被动态修改以跟踪所确定的姿势随时间的变化。

运动控制子系统840可以被配置成物理地移动竖直柱16、上部臂18、下部臂20，或旋转末端执行器联接器22。可以通过使用一个或多个马达850-854来进行物理移动。例如，马达850可以被配置成竖直提升或降低竖直柱16。如图2所绘示的，马达851可以被配置成围绕与竖直柱16的接合点侧向移动上部臂18。如图2所绘示的，马达852可以被配置成围绕与上部臂18的接合点侧向移动下部臂20。马达853和854可以被配置成移动末端执行器联接器22，以提供沿三维轴线的平移移动和围绕其的旋转。图9所绘示的计算机平台910可以向控制器846提供引导末端执行器联接器22的移动的控制输入，以相对于在有计划的手术程序期间要对其进行操作的解剖结构以有计划的姿势(即，相对于限定的3D正交参考轴线的位置和角度定向)定位连接到其的被动末端执行器。运动控制子系统840可以被配置成使用集成的方位传感器(例如，编码器)来测量末端执行器联接器22和/或末端执行器26的方位。

图9绘示了根据本公开的一些实施例的手术系统的组件的框图，所述手术系统包含连接到可以可操作地连接到摄像机跟踪系统组件6(图3A)或6'(图3B、图3C)和/或手术机器人4的计算机平台910的成像装置(例如，C形臂104、O形臂106等)。可替代地，本文所公开的由计算机平台910执行的至少一些操作可以另外地或可替代地由手术系统的组件来执行。

参考图9，计算机平台910包含显示器912、至少一个处理器电路914(为简洁起见也被称为处理器)、含有计算机可读程序代码918的至少一个存储器电路916(为简洁起见也被称为存储器)和至少一个网络接口902(为简洁起见也被称为网络接口)。显示器912可以是根据本公开的一些实施例的XR头戴式受话器920的一部分。网络接口902可以被配置成连接到图10中的C形臂成像装置104、图11中的O形臂成像装置106、另一个医学成像装置、含有患者医学图像的图像数据库950、手术机器人4的组件和/或其它电子设备。

当与手术机器人4一起使用时，显示器912可以对应于图2的显示器34和/或图8的平板电脑890和/或可操作地连接到手术机器人4的XR头戴式受话器920，网络接口902可以对应于图8的平台网络接口812，并且处理器914可以对应于图8的计算机822。XR头戴式受话器920的网络接口902可以被配置成根据一种或多种无线通信协议(例如，WLAN、3GPP4G和/或5G(新无线电)蜂窝通信标准等)通过有线网络(例如，细线以太网)和/或通过无线RF收发器链路通信。

处理器914可以包含一个或多个数据处理电路，如通用和/或专用处理器，例如微处理器和/或数字信号处理器。处理器914被配置成执行存储器916中的计算机可读程序代码918以执行操作，所述操作可以包含本文中描述为针对手术计划、导航手术和/或机器人手术执行的操作中的一些或所有操作。

计算机平台910可以被配置成提供手术计划功能。处理器914可以操作以在显示装置912上和/或XR头戴式受话器920上显示通过网络接口920从成像装置104和106之一和/或从图像数据库950接收的解剖结构(例如，椎骨)的图像。处理器914接收操作者对在一个或多个图像中绘示的解剖结构要进行手术程序(例如，螺钉放置)的位置的定义，如通过操作者触摸选择显示器912上用于有计划的手术程序的位置或使用基于鼠标的光标来定义用于有计划的手术程序的位置。如将在下面进一步详细解释的，当在XR头戴式受话器920中显示图像时，所述XR头戴式受话器可以被配置成感测由佩戴者形成的基于手势的命令和/或感测由佩戴者说出的基于语音的命令，所述命令可以用于控制菜单项之间的选择和/或控制如何在XR头戴式受话器920上显示对象。

计算机平台910可以被配置成能够进行对膝关节手术可能特别有用的解剖测量，类似于对确定臀部中心、角度中心、天然标志(例如，股骨通髁线(transepicondylarline)、白侧线(Whitesides line)、股骨后髁线(posterior condylar line)等)等的各个角度的测量。一些测量可以是自动的，但是其它的一些测量可能涉及人为输入或辅助。计算机平台910可以被配置成允许操作者输入对患者来说正确的植入物的选择，包含大小和对齐的选择。计算机平台910可以被配置成对CT图像或其它医学图像进行自动或半自动(涉及人为输入)分割(图像处理)。患者的手术计划可以存储在可以对应于数据库950的基于云的服务器中，以供手术机器人4检索。

例如，在矫形手术期间，外科医生可以通过例如XR头戴式受话器920使用计算机屏幕(例如，触摸屏)或扩展现实(XR)交互(例如，基于手势的命令和/或基于语音的命令)来选择要进行切割的部位(例如，后股骨、胫骨近端等)。计算机平台910可以生成向外科医生提供视觉引导以执行手术程序的导航信息。当与手术机器人4一起使用时，计算机平台910可以提供允许手术机器人4自动将末端执行器26移动到对象姿势使得手术工具与对象位置对齐以对解剖结构进行手术程序的引导。

在一些实施例中，手术系统900可以使用两个DRA来跟踪患者解剖方位，如连接到患者胫骨的DRA和连接到患者股骨的DRA。系统900可以使用标准导航仪器以进行配准和检查(例如，类似于Globus ExcelsiusGPS系统中用于进行脊柱手术的指针的指针)。

导航手术中的特别具有挑战性的任务是如何计划植入物在脊柱、膝盖和其它解剖结构中的方位，在所述方位处，外科医生努力在计算机屏幕上执行所述任务，其是3D解剖结构的2D表示。系统900可以通过使用XR头戴式受话器920来显示解剖结构和候选植入装置的三维(3D)计算机生成的表示来解决这个问题。在计算机平台910的引导下，计算机生成的表示相对于彼此在显示屏上缩放并摆姿势，并且可以由外科医生在通过XR头戴式受话器920进行查看时对其进行操纵。外科医生可以例如使用由XR头戴式受话器920感测到的基于手势的命令和/或基于语音的命令来操纵解剖结构、植入物、手术工具等的所显示的计算机生成的表示。

例如，外科医生可以查看虚拟植入物上的所显示的虚拟手柄，并且可以操纵(例如，抓握和移动)虚拟手柄以将虚拟植入物移动到期望的姿势并且相对于解剖结构的图形表示调整有计划的植入物放置。之后，在手术期间，计算机平台910可以通过XR头戴式受话器920显示有助于外科医生更加准确地遵循手术计划来插入植入物和/或对解剖结构进行另一个手术程序的能力的导航信息。当手术程序涉及骨骼移除时，骨骼移除的进展(例如，切割深度)可以通过XR头戴式受话器920实时显示。可以通过XR头戴式受话器920显示的其它特征可以包含但不限于沿关节运动范围的间隙或韧带平衡、植入物上的沿关节运动范围的接触线、通过颜色或其它图形渲染的韧带张力和/或松弛度等。

在一些实施例中，计算机平台910可以允许计划标准手术工具和/或植入物的使用，例如后稳定型植入物和十字状保留型植入物、骨水泥型和非骨水泥型植入物、用于与例如全膝关节或部分膝关节和/或髋关节置换和/或创伤相关的手术的修正系统。

自动成像系统可以与计算机平台910结合使用，以获取解剖结构的术前、术中、术后和/或实时图像数据。图10和11展示了示例自动成像系统。在一些实施例中，自动成像系统是C形臂104(图10)成像装置或O

106(图11)。(O

由美敦力导航公司(Medtronic Navigation，Inc.)获得版权，所述公司营业地位于美国科罗拉多州路易斯维尔)。可能需要从多个不同位置拍摄患者的x射线，而不需要x射线系统中可能需要的患者的频繁手动重新定位。C形臂104x射线诊断设备可以解决频繁手动重新定位的问题，并且在手术和其它介入程序的医学领域中是众所周知的。如图10所展示的，C形臂包含终止于“C”形的相对远端112的细长C形构件。C形构件附接到x射线源114和图像接收器116。臂的C形臂104内的空间为医生照顾患者提供了基本上不受x射线支撑结构的干扰空间。

将C形臂安装成使得臂能够在两个自由度上旋转移动(即，在球形运动中围绕两个垂直轴线)。C形臂可滑动地安装到x射线支撑结构上，这允许C形臂围绕其曲率中心进行轨道旋转移动，这可以允许x射线源114和图像接收器116选择性的竖直和/或水平定向。C形臂还可以是侧向上可旋转的(即，在相对于轨道运行方向的垂直方向上，以使得能够相对于患者的宽度和长度选择性地调整x射线源114和图像接收器116的定位)。C形臂设备的球形旋转方面允许医生以相对于被成像的特定解剖条件确定的最佳角度对患者进行x射线检查。

图11中展示的O

106包含台架壳体124，其可以包围未展示的图像捕获部分。图像捕获部分包含x射线源部分和/或x射线发射部分以及x射线接收部分和/或图像接收部分，所述部分可以彼此相距约一百八十度安置，并且相对于图像捕获部分的轨道安装在转子(未绘示)上。图像捕获部分可以在图像采集期间可操作地旋转三百六十度。图像捕获部分可以绕中心点或轴线旋转，从而允许从多个方向或在多个平面中获取患者的图像数据。

带有台架壳体124的O

106具有用于围绕要成像的对象定位的中心开口、可围绕台架壳体124的内部旋转的辐射源，所述辐射源可以适于从多个不同的投影角度投影辐射。检测器系统适于检测每个投影角度下的辐射，从而以准同时的方式从多个投影平面获取对象图像。台架可以以悬臂方式附接到支撑结构O

支撑结构，如带有轮子的轮式移动推车。定位单元优选地在计算机化运动控制系统的控制下将台架平移和/或倾斜到有计划的方位和定向。台架可以包含在台架上彼此相对安置的源和检测器。可以将源和检测器固定到机动转子上，所述机动转子可以使源和检测器围绕台架的内部彼此组合旋转。可以在部分和/或完整的三百六十度旋转中在多个方位和定向上对源进行脉冲化，以对定位于台架内部的对象对象进行多平面成像。台架可以进一步包括用于在转子旋转时引导转子的轨道和轴承系统，所述轨道和轴承系统可以承载源和检测器。O

106和C形臂104两者和/或其中之一可以用作自动成像系统，以扫描患者并将信息发送到手术系统2。

由成像系统捕获到的图像可以显示于XR头戴式受话器920和/或手术系统900的计算机平台910、手术机器人4和/或另一个组件的另一个显示装置上。XR头戴式受话器920可以例如通过计算机平台910连接到成像装置104和/或106中的一个或多个成像装置和/或图像数据库950，以从其中显示图像。用户可以通过XR头戴式受话器920提供控制输入(例如，基于手势和/或语音的命令)以控制成像装置104和/或106中的一个或多个成像装置和/或图像数据库950的操作。

图12绘示了包含一对XR头戴式受话器1200和1210(头戴式显示器HMD1和HMD2)的手术系统的组件的框图视图，所述XR头戴式受话器可以对应于图13中所绘示的XR头戴式受话器920并且根据本公开的一些实施例进行操作。

参考图12的示例性场景，助理612和外科医生610两者分别佩戴XR头戴式受话器1210和1210。助理612佩戴XR头戴式受话器1210是任选的。如将在下面进一步描述，XR头戴式受话器1200和1210被配置成提供佩戴者可以通过其查看与手术程序有关的信息并与所述信息交互的交互式环境。这种基于交互式XR的环境可以消除对在手术室中存在技术员614的需要，并且可以消除对使用图6所绘示的显示器34的需要。每个XR头戴式受话器1200和1210可以包含被配置成提供跟踪DRA或附接到仪器、解剖结构、末端执行器26和/或其它器械的其它参考阵列的另外的源的一个或多个摄像机。在图12的示例中，XR头戴式受话器1200具有用于跟踪DRA和其它对象的视场(FOV)1202，XR头戴式受话器1210具有用于跟踪DRA和其它对象的与FOV 1202部分重叠的FOV 1212，并且跟踪摄像机46具有用于跟踪DRA和其它对象的与FOV 1202和1212部分重叠的另一个FOV 600。

如果阻碍一个或多个摄像机查看附接到被跟踪对象(例如，手术仪器)的DRA，但是DRA在一个或多个其它摄像机的视图中，则跟踪子系统830和/或导航控制器828可以继续无缝地跟踪对象，而不会失去导航。另外地，如果从一台摄像机的角度来看DRA被部分遮挡，但是整个DRA通过多个摄像机源是可见的，则可以合并摄像机的跟踪输入以继续对DRA进行导航。XR头戴式受话器中的一个和/或跟踪摄像机46可以查看和跟踪XR头戴式受话器中的另一个上的DRA以使得计算机平台910(图9和图14)、跟踪子系统830和/或另一计算组件能够确定DRA相对于例如XR头戴式受话器1200/1210，跟踪摄像机46和/或为患者、桌子和/或房间定义的另一坐标系的一个或多个定义的坐标系的姿势。

XR头戴式受话器1200和1210可以可操作地连接以查看从手术室接收的视频、图片和/或其它信息和/或提供控制手术室中的各种器械(包含但不限于神经监测、显微镜、摄像机和麻醉系统)的命令。可以在头戴式受话器内处理和显示来自各种器械的数据，例如显示患者的生命体征或显微镜馈送。

示例性XR头戴式受话器组件和与导航手术、手术机器人和其它器械的集成

图13绘示了根据本公开的一些实施例配置的XR头戴式受话器920。XR头戴式受话器包含被配置成将XR头戴式受话器固定到佩戴者头部的头带1306、由头带1306支撑的电子组件外壳1304，以及从电子组件外壳1304横向延伸并向下的显示屏1302。显示屏1302可以是透视LCD显示装置或将由显示装置投影的图像朝向佩戴者的眼睛反射的半反射透镜。一组DRA基准例如点，以间隔开的已知方式被绘制或附接到头戴式受话器的一侧或两侧。头戴式受话器上的DRA使辅助跟踪棒上的跟踪摄像机能够跟踪头戴式受话器920的姿势和/或使另一XR头戴式受话器能够跟踪头戴式受话器920的姿势。

显示屏1302作为将来自显示装置的显示面板的光朝向用户的眼睛反射的透视显示屏(也被称为组合器)进行操作。显示面板可以定位于电组件外壳与用户的头部之间，并且成一定角度以将虚拟内容朝向显示屏1302投影以朝向用户的眼睛反射。显示屏1302是半透明和半反射的，从而允许用户看到覆盖在真实世界场景的用户视图上的所反射的虚拟内容。显示屏1302可以具有不同的不透明度区域，例如所绘示的上部侧带具有比下部侧带更高的不透明度。可以电子地控制显示屏1302的不透明度，以调节来自真实世界场景的多少光穿过用户的眼睛。显示屏1302的高不透明度配置使得高对比度虚拟图像覆盖在真实世界场景的昏暗视图上。显示屏1302的低不透明度配置可以使得更模糊的虚拟图像覆盖在真实世界场景的较清楚视图上。不透明度可以通过在显示屏1302的表面上施加不透明材料来控制。

根据一些实施例，手术系统包含XR头戴式受话器920和XR头戴式受话器控制器，例如图14中的控制器1430或图15中的控制器1430。XR头戴式受话器920被配置成在手术程序期间由用户佩戴并且具有透视显示屏1302，所述透视显示屏被配置成显示XR图像并且允许真实世界场景的至少一部分穿过其中以供用户查看。XR头戴式受话器920还包含不透明度滤光器，所述不透明度滤光器在透视显示屏1302供用户查看时定位于用户的眼睛中的至少一只眼睛与真实世界场景之间。所述不透明性滤光器被配置成向来自所述真实世界场景的光提供不透明度。所述XR头戴式受话器控制器被配置成与导航控制器(例如，图14中的一个或多个控制器828A、828B和/或828C)通信以接收来自导航控制器的在对解剖结构进行的手术程序期间向所述用户提供引导的导航信息，并且进一步被配置成基于导航信息生成XR图像以在透视显示屏1302上显示。

显示屏1302的不透明度可以被配置成随着距离从显示屏1302的顶部向下而具有更连续变化的不透明度的梯度。梯度的最暗点可以位于显示屏1302的顶部部分处，并在显示屏1302上进一步向下逐渐变得较不透明，直到不透明度透明或不存在于为止。在另外的示例性实施例中，梯度可以大约在显示屏1302的中眼水平处从约90％不透明度改变成完全透明。在正确校准并放置头戴式受话器的情况下，中眼水平可以对应于用户将会直视的点，并且梯度的末端将定位于眼睛的“水平”线。梯度的较暗部分将允许虚拟内容的清晰明确的视觉并且有助于阻挡高架手术室灯的侵入亮度。

以这种方式使用不透明度滤光器使得XR头戴式受话器920能够通过基本上或完全阻挡来自真实世界场景的光沿显示屏1302的上部部分来提供虚拟真实(VR)功能并沿着显示屏1302的中间或下部部分提供AR功能。这允许用户在有需要并且在程序期间允许对患者解剖使用明确光学器件的位置具有半透明的AR。将不透明度滤光器1302配置为梯度而不是更恒定的不透明度带可以使佩戴者在更VR类型的视图与更AR类型的视图之间体验更自然的过渡，而不会体验真实世界场景的亮度以及可以如在上下视图之间进行更快速的移位期间以其它方式使眼睛疲劳的景深的突变。

显示面板和显示屏1302可以被配置成提供宽视场透视XR显示系统。在一个示例性配置中，它们为用户提供了80°对角线视场(FOV)和55°竖直覆盖范围以供用户查看虚拟内容。其它对角线FOV角度和竖直覆盖范围角可以通过不同大小的显示面板、不同曲率的透镜和/或显示面板与弯曲的显示屏1302之间的不同距离和角度定向来提供。

图14绘示了根据本公开的一些实施例的XR头戴式受话器920的电组件，所述XR头戴式受话器可以可操作地连接到计算机平台910、成像装置中的一个或多个成像装置(如C形臂成像装置104、O形臂成像装置106)和/图像数据库950和/或手术机器人800。

XR头戴式受话器920提供用于执行导航手术程序的改进的人机界面。XR头戴式受话器920可以被配置成例如经由计算机平台910提供功能，所述功能包含但不限于以下任何一个或多个：基于手势的命令和/或基于语音的命令的识别，在显示装置1450上显示XR图形对象。显示装置1450可以是将所显示的XR图形对象投影到显示屏1302上的视频投影仪、平板显示器等。用户可以将XR图形对象作为锚定到通过显示屏1302查看的特定真实世界对象的覆盖图(图13)。XR头戴式受话器920可以另外地或可替代地配置为在显示屏1450上显示来自安装到一个或多个XR头戴式受话器920和其它摄像机的摄像机的视频馈送。

XR头戴式受话器920的电组件可以包含多个摄像机1440、麦克风1442、手势传感器1444、姿势传感器(例如，惯性测量单元(IMU))1446、包含显示装置1450的显示模块1448，和无线/有线通信接口1452。如下所述，XR头戴式受话器的摄像机1440可以是可见光捕获摄像机、近红外捕获摄像机或两者的组合。

摄像机1440可以被配置成通过捕获用于识别在摄像机1440的视场内执行的用户手势来作为手势传感器1444进行操作。可替代地，手势传感器1444可以是感测接近手势传感器1444执行的手势和/或感测物理接触(例如，轻敲传感器或外壳1304)的接近度传感器和/或触摸传感器。姿势传感器1446(例如，IMU)可以包含多轴加速度计、倾斜传感器和/或可以感测XR头戴式受话器920沿一个或多个定义的坐标轴的旋转和/或加速度的另一个传感器。这些电组件中的一些或全部电组件可以含有在组件外壳1304中或可以含有在被配置成在其它地方(如在臀部或肩膀上)佩戴的另一个外壳中。

如上所述，手术系统2包含可以是计算机平台910的一部分的摄像机跟踪系统组件6/6'和跟踪子系统830。手术系统可包含成像装置(例如C形臂104，O形臂106和/或图像数据库950)和/或手术机器人4。跟踪子系统830被配置成确定附接到解剖结构、末端执行器、手术工具等的DRA的姿势。导航控制器828被配置成基于手术计划确定手术工具相对于解剖结构的对象姿势，例如，根据由图9的计算机平台910执行的手术计划功能，基于由跟踪子系统830确定的解剖结构的姿势、定义在解剖结构上使用手术工具执行手术程序的位置。导航控制器828可以进一步被配置成基于手术工具的对象姿势、解剖结构的姿势以及手术工具和/或末端执行器的姿势来生成转向信息，其中转向信息指示手术机器人的手术工具和/或末端执行器应当被移动到何处以执行手术计划。

XR头戴式受话器920的电组件可以通过有线/无线接口1452可操作地连接到计算机平台910的电组件。XR头戴式受话器920的电组件可以例如通过计算机平台910可操作地连接或通过有线/无线接口1452直接连接到各种成像装置(例如，C形臂成像装置104、I/O形臂成像装置106)、图像数据库950和/或其它医疗器械。

手术系统2进一步包含至少一个XR头戴式受话器控制器1430(为简洁起见也称为“XR头戴式受话器控制器”)，所述XR头戴式受话器控制器1430可以驻留在XR头戴式受话器920、计算机平台910和/或经由有线电缆和/或无线通信链路连接的另一系统组件中。各种功能由XR头戴式受话器控制器1430执行的软件提供。XR头戴式受话器控制器1430被配置成接收来自导航控制器828的在对解剖结构进行的手术程序期间向用户提供引导的导航信息，并且被配置成基于在显示装置1450上显示的导航信息生成XR图像，以在透视显示屏1302上投影。

显示装置1450相对于显示屏(也称为“透视显示屏”)1302的配置被配置成以这样的方式显示XR图像：使得当佩戴XR头戴式受话器920的用户透过显示屏1302查看时，XR图像看起来在真实世界中。显示屏1302可以通过头带1306定位在用户眼睛的前面。

XR头戴式受话器控制器1430可以在被配置成在查看显示屏1302时佩戴在用户头部或用户身体上的其它部位上的壳体内，或可以在通信连接到显示屏1302时远离查看显示屏1302的用户定位。XR头戴式受话器控制器1430可以被配置成可操作地处理来自摄像机1440、麦克风142和/或姿势传感器1446的信令，并且例如通过显示模块1302连接以在显示屏1450上显示XR图像。因此，被绘示为XR头戴式受话器920内的电路块的XR头戴式受话器控制器1430、被理解为可操作地连接到XR头戴式受话器920的其它所绘示组件，但不一定驻留在公共壳体(例如，图1304的电组件外壳13)内或以其它方式可由用户携带。例如，AR头戴式受话器控制器1430可以驻留在计算机平台910内，所述计算机平台进而可以驻留在图3B和图3C所绘示的计算机跟踪系统6'的壳体内。

示例性XR头戴式受话器组件光学布置

图15绘示了根据本公开的一些实施例的展示XR头戴式受话器920的光学组件的布置的框图。参考图15，显示装置1450被配置成显示由XR头戴式受话器控制器1430生成的XR图像，来自所述XR图像的光作为XR图像1450被投影到显示屏1302。显示屏1302被配置成将XR图像1450的光和来自真实世界场景1502的光组合成组合的增强视图1504，所述增强视图1504被引导到用户的眼睛1510。以这种方式配置的组合器1302作为透视显示屏进行操作。XR头戴式受话器920可以包含任何多个跟踪摄像机1440。摄像机1440可以是可见光捕获摄像机、近红外捕获摄像机或两者的组合。

通过XR头戴式受话器的示例性用户视图

XR头戴式受话器操作可以在显示屏1302上显示2D图像和3D模型。2D图像可以优选地在显示屏1302(上部带)的较不透明的带中显示，并且3D模型可以更优选地在以其它方式被称为环境区域(底部带)的显示屏1302的较透明的带中显示。在显示屏1302结束处的下部带下方，佩戴者可以无阻碍地看到手术室。注意，在显示屏1302上显示的XR内容可以是流体。3D内容可能会取决于头戴式受话器相对于内容的方位而移动到不透明带，并且2D内容可以被放置在透明带中并相对于真实世界稳定。另外地，整个显示屏1302在电控制下可以变暗，以将头戴式受话器转换成用于手术计划的虚拟真实或在医疗程序期间完全透明。如上文所解释的，XR头戴式受话器920和相关联操作不仅支持导航程序，而且可以与机器人辅助程序结合执行。

图16绘示了根据本公开的一些实施例的、通过XR头戴式受话器920的显示屏1302的示例性视图，所述视图用于向在医疗程序期间操纵手术工具1602的用户提供导航辅助。参考图16，当将手术工具1602带到所跟踪的解剖结构附近使得连接到手术工具1602的参考阵列1630和1632在摄像机1440(图15)和46(图6)的视场内时，工具的图形表示1600可以相对于解剖结构的图形表示1610以2D和/或3D图像显示。用户可以使用所查看的图形表示来调整手术工具1602的轨迹1620，所述轨迹1620可以绘示为从工具的图形表示2000延伸通过解剖结构的图形表示1610。XR头戴式受话器920还可以显示文本信息和其它对象1640。在所查看的显示屏上延伸的虚线1650表示不同不透明度水平上部带和下部带之间的示例性划分。

可以在显示屏1302上显示的其它类型的XR图像(虚拟内容)可以包含但不限于以下的任何一个或多个：

I)患者解剖的2D轴向、矢状和/或冠状视图；

2)有计划的工具和手术植入物位置对当前跟踪的工具和手术植入物位置的覆盖图；

3)术前图像库；

4)来自显微镜和其它类似系统的视频馈送或远程视频会议；

5)选项和配置设置以及按钮。

6)具有手术计划信息的患者解剖的浮动3D模型；

7)相对于浮动患者解剖的手术仪器的实时跟踪；

8)具有指令和引导的患者解剖的增强覆盖图；以及

9)手术器械的增强覆盖图。

用于跟踪系统组件的摄像机的示例性配置

图17绘示了根据本公开的一些实施例配置的具有两对立体跟踪摄像机的辅助跟踪棒46的示例性配置；辅助跟踪棒46是图3A、图3B和图3C的摄像机跟踪系统组件的一部分。根据一个实施例，立体跟踪摄像机包含一对立体的间隔开的可见光捕获摄像机和另一对立体的间隔开的近红外捕获摄像机。可替换地，在辅助跟踪棒46中可以只使用一对可见光捕获摄像机或者只使用一对近红外捕获摄像机。可以使用任何多个近红外和/或可见光摄像机。

姿势测量链

如上所述，导航手术可以包含计算机视觉跟踪和确定外科器械的姿势(例如，在六自由度坐标系中的方位和定向)，例如通过确定包含以已知方式布置的间隔开的基准，例如盘或球体的附接的DRA的姿势。计算机视觉使用被配置成捕获近红外和/或可见光的间隔开的跟踪摄像机，例如立体摄像机。在这种场景下，有三个参数共同竞争优化：(1)精度、(2)稳健性和(3)手术程序期间的用户人机工程学。

本公开的一些进一步的方面涉及计算机操作，所述计算机操作通过结合安装到一个或多个XR头戴式受话器的附加跟踪摄像机，以能够改善上述三个参数中的一个或多个的优化的方式组合(链)测量姿势。如图17所示，根据本公开的一些实施例，可以将一对立体可见光跟踪摄像机和另一对立体近红外跟踪跟踪摄像机附接到摄像机跟踪系统组件的辅助跟踪棒。公开了操作算法，其分析被完全观察或部分观察的DRA的姿势(例如，当通过一对立体摄像机观察不到DRA的所有基准时)，并且以能够在导航手术期间提高精度、稳健性和/或人体工程学的方式组合观察到的姿势或部分姿势。

如上所述，XR头戴式受话器可以被配置成利用计算机生成的XR图像来增强真实世界场景。XR头戴式受话器可以被配置成通过在透视显示屏上显示计算机生成的XR图像来提供XR查看环境，所述透视显示屏允许来自真实世界场景的光穿过其中以供用户组合查看。可替代地，XR头戴式受话器可以被配置成通过防止或基本上防止来自真实世界场景的光被用户沿着所显示的XR图像的查看路径直接查看来提供VR查看环境。XR头戴式受话器可以被配置成提供AR和VR查看环境。在一个实施例中，AR和VR查看环境都由布置在透视显示屏和真实世界场景之间的不透明度基本上不同的横向带提供，从而为与高不透明度带对准的XR图像提供VR查看环境，并且为与低不透明度带对准的XR图像提供AR查看环境。在另一个实施例中，AR和VR查看环境都由计算机可调节的不透明度滤光器的控制来提供，所述不透明度滤光器可变地约束来自真实世界场景的多少光穿过透视显示屏以便与用户查看的XR图像组合。因此，XR头戴式受话器也可以被称为AR头戴式受话器或VR头戴式受话器。

同样如上所述，XR头戴式受话器可以包含近红外跟踪摄像机和/或可见光跟踪摄像机，所述近红外跟踪摄像机和/或可见光跟踪摄像机被配置成跟踪连接到手术仪器、患者解剖结构、其它XR头戴式受话器和/或机器人末端执行器的DRA的基准。在XR头戴式受话器上使用近红外跟踪和/或可见光跟踪提供了超出单个辅助跟踪棒上的摄像机所能提供的附加的跟踪体积覆盖。将近红外跟踪摄像机添加到现有的辅助跟踪棒允许比在可见光中更稳健但更不准确地跟踪头戴式受话器位置。机械校准可见和近红外跟踪坐标系使得坐标系能够充分对准，以使用立体匹配来执行3D DRA基准三角测量操作，从而共同识别可见和近红外跟踪坐标系之间的DRA基准的姿势。使用可见和近红外跟踪坐标系可以启用以下任何一个或多个：(a)识别使用单一坐标系无法识别的工具；(b)提高姿势跟踪精度；(c)在不失去对手术仪器、患者解剖结构和/或机器人末端执行器的跟踪的情况下实现更宽范围的运动；以及(d)在与被导航的手术仪器相同的坐标系中自然地跟踪XR头戴式受话器。

图18绘示了手术系统的组件的框图，所述手术系统包含一对XR头戴式受话器1200和1210中的跟踪摄像机(头戴式显示器HMD1和HMD2)和容纳计算机平台910的摄像机跟踪系统组件6'中的摄像机跟踪棒中的跟踪摄像机。计算机平台910可包含跟踪子系统830、导航控制器828和XR头戴式受话器控制器1430，如先前在图14中所示。

参考图18的手术系统，外科医生和助理都分别佩戴XR头戴式受话器HMD1 1200和HMD2 1210，每个头戴式受话器包含可以如图13所示配置的跟踪摄像机。助理佩戴XR头戴式受话器HMD2 1210是任选的。

XR头戴式受话器HMD1 1200和HMD2 1210与辅助跟踪棒上的跟踪摄像机46的组合可在与计算机平台910一起操作时更稳健地跟踪患者参考阵列(R)、机器人末端执行器(E)和手术工具(T)或仪器的示例性对象。由XR头戴式受话器HMD1 1200和HMD2 1210以及辅助跟踪棒上的跟踪摄像机46提供的来自不同视角的重叠视图在图12中绘示。

图18中标记的项目中的每一个表示唯一的坐标系。坐标系标签的说明如下：

A＝第二头戴式受话器HMD2 1210的可见光坐标系；

N3＝第二头戴式受话器HMD2 1210的NIR坐标系；

S＝主头戴式受话器HMD1 1200的可见光坐标系；

N2＝主头戴式受话器HMD1的NIR坐标系1200；

N＝辅助导航棒46的NIR坐标系；

V＝辅助导航棒46的可见光坐标系；

R＝患者参考基准阵列602的NIR坐标系；

T＝所跟踪的工具604的NIR坐标系；

E＝机器人臂20上的所跟踪的机器人末端执行器的NIR坐标系；以及

W＝具有稳定重力向量的惯性导航世界坐标系。

在制造过程中，当器械安装在手术室中时，和/或在要执行手术程序之前，可以测量和校准这些标记对象中的一些的空间关系(并且通过扩展、坐标系)。在公开的系统中，校准以下坐标系：

其中，术语“T”被定义为两个所示坐标系之间的六自由度(6DOF)齐次变换。因此，例如，项目

是主头戴式受话器HMD1 1200的可见光坐标系与主头戴式受话器HMD1 1200的NIR坐标系之间的6DOF齐次变换。

在一个实施例中，XR头戴式受话器HMD1 1200和HMD2 1210具有描绘或以其它方式附接到其上的无源可见光标记物(坐标系S和A)，例如DRA基准1310，如图13所示。跟踪摄像机被空间校准到这些无源基准(坐标系N2和N3)。

如上所述，XR头戴式受话器HMD1 1200和HMD2 1210上的摄像机和辅助跟踪棒上的跟踪摄像机46具有部分重叠的视场。如果XR头戴式受话器HMD1 1200上的一个或多个摄像机被阻挡而不能查看附接到被跟踪对象，例如被跟踪工具(T)的DRA，但是DRA在另一XR头戴式受话器HMD2 1210的摄像机和/或辅助跟踪棒上的跟踪摄像机46的视野内，则计算机平台910可以继续无缝地跟踪DRA而不丢失导航。另外，如果从XR头戴式受话器HMD11200上的摄像机的角度来看存在DRA的部分遮挡，但是整个DRA经由另一XR头戴式受话器HMD2 1210的摄像机和/或辅助跟踪棒上的跟踪摄像机46可见，则可以合并摄像机的跟踪输入以继续DRA的导航。

更具体地，通过独立观察由XR头戴式受话器HMD1 1200和HMD2 1210提供的各种摄像机系统和辅助跟踪棒上的跟踪摄像机46，各种坐标系可以链接在一起。例如，XR头戴式受话器HMD1 1200和HMD2 1210中的每一个可能需要机器人末端执行器(E)的虚拟增强。虽然一个XR头戴式受话器HMD1 1200(N2)和辅助跟踪棒(N)上的跟踪摄像机46能够看见(E)，但是可能另一个XR头戴式受话器HMD2 1210(N3)不能看见。(E)相对于(N3)的位置仍然可以通过几种不同的操作方法之一来计算。根据一个实施例的操作执行来自患者参考(R)的姿势的链接。如果患者参考(R)由(N3)和(N)或(N2)中的任一个看到，则(E)相对于(N3)的姿势可直接由以下两个方程中的任一个求解：

-或-

对这种姿势链的关键是推断每个链末端的帧之间的关系(在下面画圈并传送)。这些链可以是任意长的，并且通过具有一个以上的立体摄像机系统(例如，N、N2、N3)来实现。

图21是根据一些实施例的可由摄像机跟踪系统执行的对应操作的流程图。参考图21，摄像机跟踪系统可以被配置成在手术程序期间从第一跟踪摄像机(例如，N3)和第二跟踪摄像机(例如，N2)接收2100与被跟踪对象相关的跟踪信息。摄像机跟踪系统可以基于来自第一跟踪摄像机(例如，N3)的指示第一对象(例如，R)的姿势的第一对象跟踪信息来确定2102第一对象(例如，R)坐标系和第一跟踪摄像机(例如，N3)坐标系之间的第一姿势变换(例如,

)。摄像机跟踪系统可以基于来自第二跟踪摄像机(例如，N2)的指示第一对象(例如，R)的姿势的第一对象跟踪信息来确定2104例如

第一对象(例如，R)坐标系与第二跟踪摄像机(例如，N2)坐标系之间的第二姿势变换。摄像机跟踪系统可以基于来自第二跟踪摄像机(例如，N2)的指示第二对象(例如，E)的姿势的第二对象跟踪信息来确定2106例如

第二对象(例如，E)坐标系和第二跟踪摄像机(例如，N2)坐标系之间的第三姿势变换。摄像机跟踪系统可以基于组合第一、第二和第三姿势变换来确定2108(例如,

)第二对象(例如，E)坐标系和第一跟踪摄像机(例如，N3)坐标系之间的第四姿势变换。

在一些进一步的实施例中，摄像机系统可以进一步基于通过第四姿势变换处理跟踪信息来确定2110第二对象(例如，E)和第一跟踪摄像机系统(例如，N3)坐标系的姿势。

由于各种摄像机系统的重叠视场，当第一摄像机被阻挡而看不到第二对象(例如，E)时，摄像机跟踪系统能够确定第二对象(例如，E)相对于第一跟踪摄像机(例如，N3)的姿势。例如，在一些实施例中，摄像机跟踪系统进一步被配置成确定第二对象(例如，E)坐标系和第一跟踪摄像机(例如，N3)坐标系之间的第四姿势变换(例如,

)，而不使用来自第一跟踪摄像机(例如，N3)的指示第二对象(例如E)的姿势的任何跟踪信息。

摄像机跟踪系统可以进一步被配置成基于通过第四姿势变换对来自第一跟踪摄像机(例如，N3)的指示第一对象(例如，R)的姿势的跟踪信息的处理、基于通过第四姿势变换(例如，

)对来自第二跟踪摄像机(例如，N2)的指示第一对象(例如，R)的姿势的跟踪信息的处理，以及基于通过第四姿势变换对来自第二跟踪摄像机(例如，N2)的指示第二对象(例如，E)的姿势的跟踪信息的处理，确定第一跟踪摄像机(例如，N3)坐标系中的第二对象(例如，E)的姿势。

摄像机跟踪系统可以通过合并来自多个摄像机系统的同步图像来实现较高的跟踪精度。例如，摄像机跟踪系统可以通过合并来自多个视角(第一和第二跟踪摄像机)的第二对象(例如，E)的同步图像来确定第二对象(例如，E)相对于第一跟踪摄像机(例如，N3)的姿势，并且可以使用可以基于各个摄像机的精度规格确定的加权。更具体地，摄像机跟踪系统可以进一步被配置成基于来自第一跟踪摄像机(例如，N3)的指示第二对象(例如，E)的姿势的第二对象跟踪信息并且进一步基于第一、第二和第三姿势变换的组合结果来确定第二对象(，例如，E)坐标系和第一跟踪摄像机(例如，N3)坐标系之间的第四姿势变换(例如，

)。

跟踪系统可以进一步被配置成基于将第一权重应用于来自第一跟踪摄像机(例如，N3)的第一和第二对象跟踪信息，将第二权重应用于来自第二跟踪摄像机的第一和第二对象跟踪信息(例如，N2)，以及通过第四姿势变换(例如,

)处理来自第一跟踪摄像机的第一加权的第一和第二对象跟踪信息以及来自第二跟踪摄像机的第二加权的第一和第二对象跟踪信息、来确定第二对象的姿势(例如，E)。第一权重的值表示第一跟踪摄像机(例如，N3)的姿势确定精度，并且第二权重的值表示第二跟踪摄像机(例如，N2)的姿势确定精度。

摄像机跟踪系统可以进一步被配置成响应于在摄像机跟踪系统的操作期间所确定的第一跟踪摄像机(例如，N3)的姿势确定精度的变化而随时间调整第一权重的值，并且响应于在摄像机跟踪系统的操作期间所确定的第二跟踪摄像机(例如，N2)的姿势确定精度的变化而随时间调整第二权重的值。

摄像机跟踪系统可以被配置成：基于确定第一跟踪摄像机(例如，N3)的姿势确定精度已经降低来降低第一权重的值；并且基于确定第一跟踪摄像机(例如，N3)的姿势确定精度已经增加来增加第一权重的值。

摄像机跟踪系统可以进一步被配置成响应于在摄像机跟踪系统的操作期间第一跟踪摄像机(例如，N3)的姿势确定精度相对于第二跟踪摄像机(例如，N2)的姿势确定精度的所确定的变化，随时间调整第一和第二权重中的至少一个的值。

手术系统可以被配置成在XR头戴式受话器的透视显示屏上显示具有基于第四姿势变换确定的姿势的XR图像。摄像机跟踪系统可以进一步被配置成基于对来自第一和第二跟踪摄像机的第一对象跟踪信息和来自第二跟踪摄像机的第二对象跟踪信息进行第四姿势变换的处理，生成作为在透视显示屏上摆姿势的第二对象(例如，E)的图形表示的XR图像。

如上所述，摄像机跟踪系统可以包含导航控制器828，所述导航控制器828通信地连接到第一跟踪摄像机(例如，N3)和第二跟踪摄像机(例如，N2)以接收跟踪信息，并且被配置成执行第一、第二、第三和第四姿势变换的确定。

图19展示了另一种场景，其中遮挡防止两个XR头戴式受话器上的摄像机直接看到附接到末端执行器(E)的所有DRA基准，以及可以被执行以完全解析末端执行器(E)相对于另一个被跟踪的DRA(例如，R)的姿势的相关姿势链操作。即使导航仪器(例如，T)或末端执行器(E)未被任何XR头戴式受话器的摄像机看见或识别，导航仪器(例如，T)或末端执行器(E)仍可通过融合从相对于一个关节坐标系(例如，R)的多个视角跟踪可观察的DRA基准获得的位置信息来识别和定位。

当XR头戴式受话器不能完全识别近红外或可见光中的任何对象时(这取决于摄像机配置)，但是确实看到一个或多个偏离DRA基准，跟踪光系统(V、S或A)可以用于粗略地知道在哪里期望定位一个或多个偏离DRA基准它们各自的图像。利用此添加的跟踪信息，可以识别各个DRA基准并在小的感兴趣区域(ROI)内适当地标记。然后可以以现在可以识别先前不可识别的DRA的方式组合和关联从不同角度捕获的各个偏离DRA基准信息。

参考图19中的示例性情况，XR头戴式受话器1200(坐标系N2)可以观察患者参考DRA(R)的所有基准，并且可以部分地观察末端执行器(E)DRA基准(a)和(b)，但是由于中间闭合表面1900而不能观察基准(c)和(d)。另一个XR头戴式受话器1210(坐标系N3)也可以观察患者参考DRA(R)的所有基准，并且可以部分地观察末端执行器(E)DRA基准(c)和(d)，但是由于中间闭合表面1900而不能观察基准(a)和(b)。

通过使用(R)将数据链接到相同的参考系中，可以从跟踪摄像机(N2)和(N3)实现对末端执行器(E)的姿势的识别和求解。即使头戴式受话器摄像机系统(N2)或(N3)都没有察觉到足够的DRA基准来识别末端执行器(E)，由于姿势链，组成末端执行器(E)的四个单独的DRA基准(a、b、c、d)相对于彼此以及相对于参考(R)是已知的。末端执行器(E)在手术中被有效地导航所需的是末端执行器(E)和患者参考(R)之间的关系。可从任一摄像机系统如下独立地计算所述信息：

-或-

姿势链确定

和

为了从摄像机(N2和N3)检测和求解末端执行器(E)的姿势，将点(a、b、c、d)放入相同的坐标系中。对于找到的每个偏离DRA基准可以执行以下平移矢量操作。这提供了相对于相同患者参考(R)的每个DRA基准：：

p_aR＝p_aN2+p_N2R

p_bR＝p_bN2+p_N2R

p_cR＝p_cN3+p_N3R

p_dR＝p_dN3+p_N3R

一旦已知所有偏离的DRA基准相对于患者参考的位置(p_aR,p_bR,p_cR,p_dR)，就可以执行常规的3D“指向对象”检测和姿势恢复算法，以确定机器人末端执行器(E)相对于患者参考对象(R)的方位和定向。检测和姿势恢复算法的操作可包含：获得DRA基准图案的预定义模型，包含基准之间的限定段长度；测量基准中摄像机观察的基准之间的段长度；以及根据DRA基准图案的预定义模型，搜索并比较观察到的相对片段长度与预定义的相对片段长度。

下面解释根据一些实施例的可由摄像机跟踪系统执行的各种对应的操作。如上所述，每个DRA可以包含间隔开的基准，所述基准附接到第一对象(例如，R)、第二对象(例如，E)、第一跟踪摄像机(例如，N3)和第二跟踪摄像机(例如，N2)中的每一个。摄像机跟踪系统进一步被配置成，当附接到第二对象(例如，E)上的动态参考阵列的第一部分隐藏基准(例如，a)可以被第二跟踪摄像机(例如，N2)看到但不能被第一跟踪摄像机(例如，N3)看到时，基于所确定的第一部分隐藏基准(例如，a)相对于附接到第二跟踪摄像机(例如，N2)的基准的姿势和所确定的附接到第二跟踪摄像机(例如，N2)的基准相对于附接到第一对象(例如，R)的基准的姿势的组合，确定第一部分隐藏基准相对于附接到第一对象(例如，R)的姿势。

摄像机跟踪系统可以进一步被配置成，当附接到第二对象(例如，E)的动态参考阵列的第二部分隐藏基准(例如，b)可以被第二跟踪摄像机(例如，N2)看到但不能被第一跟踪摄像机(例如，N3)看到时，基于所确定的第二部分隐藏基准(例如，b)相对于附接到第二跟踪摄像机(例如，N2)的基准的姿势和所确定的附接到第二跟踪摄像机(例如，N2)的基准相对于附接到第一对象(例如，R)的基准的姿势的组合，确定第二部分隐藏基准(例如，b)相对于附接到第一对象(例如，E)的基准的姿势。

摄像机跟踪系统可以进一步被配置成，当附接到第二对象(例如，E)的动态参考阵列的第三部分隐藏基准(例如，c)不能被第二跟踪摄像机(例如，N2)看到，但是可以被第一跟踪摄像机(例如，N3)看到时，基于所确定的第三部分隐藏基准(例如，c)相对于附接到第一跟踪摄像机(例如，N3)的基准的姿势和所确定的附接到第一跟踪摄像机(例如，N3)的基准相对于附接到第一对象(例如，R)的基准的姿势的组合，确定第三部分隐藏基准(例如，c)相对于附接到第一对象(例如，E)的基准的姿势。

摄像机跟踪系统可以进一步被配置成处理所确定的第一部分隐藏基准相对于附接到第一对象(例如，R)的基准的姿势，并通过姿势恢复操作处理所确定的第三部分隐藏基准(例如，c)相对于附接到第一对象(例如，R)的基准的姿势，以确定第二对象(例如，E)相对于第一对象(例如，R)的姿势。

摄像机跟踪系统可以进一步被配置成，当附接到第二对象(例如，E)的动态参考阵列的第四部分隐藏基准(例如，d)不能被第二跟踪摄像机(例如，N2)看到但可以被第一跟踪摄像机(例如，N3)看到时，基于所确定的第四部分隐藏基准(例如，d)相对于附接到第一跟踪摄像机(例如，N3)的基准的姿势和所确定的附接到第一跟踪摄像机(例如，N3)的基准相对于附接到第一对象(例如，R)的基准的确定姿势的组合，确定第四部分隐藏基准(例如，d)相对于附接到第一对象(例如，E)的基准的姿势。

可以由在此公开的各种实施例提供的潜在优点可以包含以下各项中的一个或多个：在某些场景下先前不能跟踪的工具现在可以通过共享相同坐标系中的部分受阻视图来稳健地跟踪；通过从多个角度合并同步成像，提高了头部和仪器跟踪的精度；支持更宽范围的运动(方位和定向)，而不会由于整个跟踪体积的扩大而失去对仪器和机器人末端执行器的跟踪；可以在与导航仪器相同的坐标系中自然地跟踪XR头戴式受话器，而不需要任何附加设置；由于内置的跟踪冗余允许可靠地识别未校准或有缺陷的立体摄像机，所以手术安全性和结果得到改善。

图20绘示了根据本公开的一些实施例操作的手术系统的各个组件之间的信息流的框图。参照图20，对象跟踪信息从XR头戴式受话器1200和1200流向姿势变换链模块2000，并且从辅助跟踪棒上的跟踪摄像机46流向姿势变换链模块2000。姿势变换链模块2000被配置成根据上面解释的各种实施例来执行姿势链。XR头戴式受话器控制器1430使用由姿势变换链模块2000确定的对象姿势来产生XR图像，所述XR图像可以被提供给XR头戴式受话器1200和1200用于显示。XR头戴式受话器控制器1430可以基于XR头戴式受话器1200的当前姿势来生成用于在XR头戴式受话器1200上显示的XR图像，并且类似地可以基于XR头戴式受话器1210的当前姿势来生成用于在XR头戴式受话器1210上显示的XR图像。例如，如图16所示，可以向XR头戴式受话器1200提供工具1602的计算机生成的图形表示1600，所述图形表示1600被缩放和摆好姿势以便在透视显示屏上显示，因此用户可以在相对于解剖结构的另一图形表示1610观察图形表示1600的同时精确地操纵工具1602，所述解剖结构在手术程序期间使用所述工具操作。

一组或多组跟踪摄像机的跟踪体积的XR头戴式受话器可视化

本文所公开的各个实施例涉及计算机辅助导航在手术期间的改进。光学工具导航系统使用被布置成观察对象的一个或多个跟踪摄像机来跟踪对象的姿势，例如相对于6自由度坐标系的方位和定向。因此，对于要跟踪的对象，必须通过一个或多个跟踪摄像机可观察到，而且，为了以足够的精度进行跟踪，应该通过两个或更多个跟踪摄像机从不同角度同时可观察到。跟踪摄像机可以观察对象并提供令人满意的精度以能够确定姿势的空间体积被称为跟踪体积。

根据各种实施例，操作XR头戴式受话器以可视地绘示一组跟踪摄像机的跟踪体积，使得用户可以优化跟踪摄像机的放置以观察手术部位，并且可以在执行手术程序时动态地监控被跟踪对象例如手术工具相对于跟踪体积的边界的姿势。可以生成跟踪体积的图形表示，以可视地指示所述一组跟踪摄像机将根据对象在跟踪体积内的位置来跟踪对象的精度。可替代地或另外地，可以生成跟踪体积的图形表示以可视地指示被跟踪对象与跟踪体积的边缘边界的接近度。下面参考图22至图32描述这些和其它实施例。

图22A绘示了具有辅助跟踪棒46的手术设置，所述辅助跟踪棒具有一组跟踪摄像机46，所述跟踪摄像机被设置为在手术程序期间观察和跟踪手术场景中的各种对象的姿势，例如手术工具2220，由手术台2210支撑的患者2220的解剖结构，以及由用户2230(外科医生等)佩戴的XR头戴式受话器。用户应当知道所述一组跟踪摄像机46相对于患者2220的解剖结构的跟踪体积的形状和位置，以便用户可以在执行手术程序时将手术工具2200维持在跟踪体积内。不能将手术工具2200维持在跟踪体积内可导致所述一组跟踪摄像机46变得不能跟踪手术工具2200的姿势和/或以显著降低的精度提供此类跟踪。

当手术工具2200移动时，其姿势需要由所述一组摄像机46连续跟踪，因此导航系统例如计算机平台910的导航控制器828，可以向用户2230提供导航引导，以使得能够在患者2220的解剖结构上更优化地执行计划的手术程序。因此，重要的是手术工具2200在由用户2230和/或由手术机器人4的末端执行器26移动时通过限制手术工具2200的移动范围和/或通过重新定位所述一组摄像机46以调节跟踪体积而保持在跟踪体积内。

图22B绘示了根据本公开的一些实施例的所述一组摄像机46的跟踪体积2240的图形表示，所述图形表示可以由另一用户(例如，手术技术人员)佩戴的XR头戴式受话器显示，所述另一用户在更远的位置以查看用户2230(例如，外科医生)、所述一组摄像机46和患者2220。参考图22B，例如，另一用户(例如，手术技术人员)可能已经从工作台2210后退，以通过XR头戴式受话器获得整个跟踪体积2240的增加的视场，并且确定是否应当重新定位所述一组跟踪摄像机46，以确保在计划的手术程序期间手术工具2200将完全保持在跟踪体积2240内。当存在手术工具2200将基于用户对跟踪体积2240的观察和对手术程序期间可能的工具移动的了解而潜在地退出跟踪体积2240的风险时，所述一组跟踪摄像机46可以被重新定位以根据需要调节跟踪体积。

图23A和图23B分别绘示了根据本公开的一些实施例的跟踪体积2240的所述一组摄像机46的另一视图的图形表示的侧视图和俯视图，所述另一视图可以由XR头戴式受话器显示。在图23A中，通过坐标系变换来计算跟踪体积2240的图形表示，所述坐标系变换将从面向用户2230的XR头戴式受话器的透视图来绘示。在图23b中，跟踪体积2240的图形表示已经通过坐标系变换来计算，所述坐标系变换从XR头戴式受话器的透视图来绘示，所述XR头戴式受话器俯视手术台2210和患者2220。

图26绘示了线框表面，所述线框表面图形地表示所述一组摄像机46的跟踪体积2240，并且已经通过坐标系变换来计算，所述坐标系变换将从用户2230佩戴的XR头戴式受话器的透视图在图22A至图22B和图23A至图23B中绘示。使用例如笼的线框表面来绘示跟踪体积2240使得用户能够查看跟踪体积2240的边界，同时还避免了对用户观察手术工具2200和患者2220上的手术部位的过度阻碍。

显示跟踪体积2240的图形表示，例如所绘示的线框表面，使得用户能够实时地看到手术工具2200相对于跟踪体积2240位于何处，而无需远离患者2220上的手术部位看。这使得用户能够直观地控制手术工具2200的移动以停留在跟踪体积2240的范围内和/或观察何时以及如何重新定位跟踪摄像机46以使得能够在当前跟踪体积2240之外的位置跟踪手术工具2200。

尽管本文在将手术工具2200相对于跟踪体积2240定位的上下文中描述了各种实施例，但是这些和其它实施例也可用于定位跟踪摄像机46，使得手术机器人手术机器人4对末端执行器22的移动在执行计划的手术程序时将保持在跟踪摄像机46的跟踪体积内。在一些实施例中，当确定手术工具2200位于靠近当前跟踪体积2240的边界附近时，摄像机跟踪系统可以启动跟踪摄像机46的自动移动，例如通过沿着辅助棒机动滑动，以将跟踪体积的边界从手术工具2200移开。

图29至图32绘示了根据本公开的一些实施例的操作，所述操作可由摄像机跟踪系统的计算机平台例如平台910执行，以生成用于通过一个或多个XR头戴式受话器查看的一组或多组跟踪摄像机的跟踪体积的图形表示。

根据一些实施例，用于生成跟踪体积的图形表示的操作最初在图29的上下文中描述。参考图29，操作获得2900定义所述一组跟踪摄像机46相对于所述一组跟踪摄像机46的姿势的跟踪体积的模型。操作接收2902来自所述一组跟踪摄像机46的指示XR头戴式受话器相对于所述一组跟踪摄像机46的姿势的跟踪信息。操作基于由跟踪信息指示的XR头戴式受话器的姿势并且基于定义所述一组跟踪摄像机46的跟踪体积的模型，从XR头戴式受话器的视角生成2904跟踪体积的图形表示。然后，操作向XR头戴式受话器提供2906跟踪体积的图形表示以显示给用户。

如上所述，线框表面可用于图形表示跟踪体积。操作可以进一步被配置成基于从XR头戴式受话器的视角确定跟踪体积的边缘边界的位置来生成跟踪体积的图形表示，并且从XR头戴式受话器的视角将图形表示呈现2905为形成线框表面的线，所述线在跟踪体积的边缘边界的位置之间延伸。

为了避免用户的XR头戴式受话器之外的手术环境的视图被遮挡，线框表面的段可以被呈现为具有可变的表观厚度和/或不透明度。例如，可以改变厚度和/或不透明度，以将线框表面的段呈现为基于与手术工具2200的接近度而看起来更加显著。当手术工具2200正好在跟踪体积的边界内时，图形表示跟踪体积可被呈现为可视地看起来相对柔和且不显眼。相反，手术工具2200变得靠近跟踪体积的边界，最近的边界线段可被更显着地呈现以向用户可视地提供接近度通知。

对应的操作可以包含摄像机跟踪系统处理来自所述一组跟踪摄像机的跟踪信息，所述跟踪信息进一步指示被跟踪对象相对于所述一组跟踪摄像机的姿势。摄像机跟踪系统进一步被配置成基于跟踪信息确定被跟踪对象的姿势，并且基于被跟踪对象的姿势与跟踪体积的边缘边界中的至少一个的接近度来控制形成线框表面的线的宽度。

摄像机跟踪系统可以进一步被配置成响应于确定被跟踪对象的姿势与线框表面的区域之间的距离满足接近度通知规则，通过增大形成线框表面的区域的线段的宽度来控制形成线框表面的线的宽度。

摄像机跟踪系统的替代的或另外的操作可以基于跟踪信息来确定被跟踪对象的姿势，并且当在XR头戴式受话器的透视显示屏上显示时，基于被跟踪对象的姿势与跟踪体积的边缘边界中的至少一个的接近度来控制形成线框表面的线的不透明度。

摄像机跟踪系统可以进一步被配置成响应于确定被跟踪对象的姿势与线框表面的区域之间的距离满足接近度通知规则，通过增大形成线框表面的区域的线段的不透明度来控制形成线框表面的线的不透明度。

图30是可由摄像机跟踪系统执行的对应操作的流程图。参考图30，操作基于从跟踪摄像机48接收的跟踪信息来确定3000被跟踪对象(例如手术工具2200和/或机器人末端执行器)的姿势。操作基于被跟踪对象的姿势与跟踪体积的边缘边界中的至少一个的接近度来控制3002形成跟踪体积(例如所绘示的线框表面)的图形表示的线的宽度和/或不透明度。

控制线段不透明度的操作可以被配置成控制线段的颜色、暗度、阴影、闪烁(例如，控制关-开占空比)、动画移动(例如，循环左右移动、抖动)等中的任何一个或多个。

跟踪体积的图形表示可以被设计成使得提供用户可能感兴趣的其它信息的可视指示。例如，虽然可以用图形绘示跟踪摄像机46的跟踪体积以展示摄像机跟踪系统可以在何处跟踪对象，但是可以被确定的对象姿势的精度通常在整个跟踪区域内变化。在一些实施例中，跟踪体积的图形表示被设计成传达摄像机跟踪系统能够多精确地跟踪诸如手术工具、机器人末端执行器等对象的指示。

图31是可由摄像机跟踪系统执行以用图形绘示跟踪精度的对应操作的流程图。参考图31，操作获得3100跟踪精度信息，所述跟踪精度信息表征所述一组跟踪摄像机46将根据跟踪体积内间隔开的位置来跟踪对象的精度。当对象在跟踪体积内的间隔开的位置之间移动时，跟踪精度信息可以通过实验通过测量跟踪精度来确定。可替代地或另外地，可以通过使用跟踪摄像机46的跟踪算法和光学参数的模拟来确定跟踪精度信息。生成跟踪体积的图形表示以可视地指示所述一组跟踪摄像机将跟踪对象的特征化精度。

可以通过控制形成跟踪体积的图形表示的线的宽度来可视地指示跟踪精度。例如，操作可以基于从XR头戴式受话器的视角确定跟踪体积的边缘边界的位置来生成跟踪体积的图形表示，并且从XR头戴式受话器的视角将图形表示呈现为形成线框表面的线，所述线在跟踪体积的边缘边界的位置之间延伸。这些操作可以改变形成线框表面的线的宽度，来为跟踪体积内至少一些间隔开的位置可视地指示所述一组跟踪摄像机将跟踪对象的特征化精度的对应变化。

可替代地或另外地，可以通过控制形成跟踪体积的图形表示的线或其它表面的对比度来可视地指示跟踪精度。例如，生成跟踪体积的图形表示来为间隔开的位置可视地指示所述一组跟踪摄像机将跟踪对象的特征化精度可以包含改变跟踪体积的图形表示的对比度，以便为跟踪体积内的至少一些间隔开的位置可视地指示所述一组跟踪摄像机将跟踪对象的特征化精度的对应变化。如上所述，控制不透明度的操作可以被配置成控制线段的颜色、暗度、阴影、闪烁(例如，控制关-开占空比)、动画移动(例如，循环左右移动、抖动)等中的任何一个或多个。

一些其它实施例针对显示两个或更多个跟踪体积，其中，例如，显示跟踪体积之一展示最大跟踪体积，在所述最大跟踪体积中摄像机跟踪系统可以跟踪对象，而显示跟踪体积中的另一个展示最大跟踪体积内的子体积，在所述最大跟踪体积中摄像机跟踪系统可以利用至少最小操作阈值来跟踪对象。因此，用户可以使用所显示的子体积的视觉反馈来定位跟踪摄像机46，使得较高精度的子体积在手术程序期间相对于手术部位、用户和被跟踪对象(例如，手术工具2200)的预期移动范围以期望的方式定向。

图32是可由摄像机跟踪系统执行以可视地绘示两个或更多个跟踪体积的对应操作的流程图。参考图32，操作获得3200跟踪精度信息，所述跟踪精度信息表征所述一组跟踪摄像机将根据跟踪体积内间隔开的位置来跟踪对象的精度。操作确定3202所述一组跟踪摄像机的跟踪体积的子体积，所述子体积被约束为含有跟踪体积内的位置，所述位置由跟踪精度信息指示以对应于满足最小精度阈值的精度。操作基于由跟踪信息指示的XR头戴式受话器的姿势从XR头戴式受话器的视角生成3204跟踪体积的子体积的图形表示。操作向XR头戴式受话器提供3206跟踪体积的子体积的图形表示以显示给用户。

这些操作可以被配置成生成3205跟踪体积的子体积的图形表示，以便可视地与跟踪体积的图形表示区分开，同时向XR头戴式受话器同时提供跟踪体积的子体积的图形表示和跟踪体积的图形表示以显示给用户。例如，可以生成跟踪体积的子体积的图形表示，以便基于颜色、暗度、阴影、闪烁(例如，控制关-开工作循环)和/或动画移动(例如，循环左右移动、抖动)可视地与跟踪体积的图形表示区分开。

图27A绘示了根据本公开的一些实施例的图形线框表面2240，所述线框表面通过XR头戴式受话器显示为手术场景上的覆盖图，以可视地绘示在如图24B和图25B所示的辅助跟踪棒被撞击之后所述一组摄像机46的跟踪体积。图28A绘示了根据本公开的一些实施例的从佩戴XR头戴式受话器的用户的视角看到的图27A的线框表面2240的另一视图。因此，用户能够可视地确认所述一组摄像机46是否需要被重新定位以使得手术工具能够在手术程序期间执行计划的移动的同时保持在跟踪体积内。

图27B绘示了根据本公开的一些实施例的另一个线框表面2710，所述另一个线框表面通过XR头戴式受话器显示以在手术工具2200变得接近跟踪体积的边界时提供边界警告通知。图28B绘示了根据本公开的一些实施例的从佩戴XR头戴式受话器的用户的视角看到的图27B的线框表面2710的另一视图。因此可视地警告用户工具接近度和可能失去跟踪能力，并且用户可以决定如何进一步移动工具以维持跟踪和/或如何移动所述一组摄像机46以维持跟踪。

尽管在使用辅助跟踪棒上的一组跟踪摄像机46的上下文中描述了各种实施例，但是这些和其它实施例可以与另一组跟踪摄像机一起使用，例如XR头戴式受话器上的一组跟踪摄像机，和/或使用多组跟踪摄像机的组合，例如辅助跟踪棒上的一组跟踪摄像机46和XR头戴式受话器上的另一组跟踪摄像机。在此公开的用于姿势链的各种操作可用于跟踪对象并计算一组跟踪摄像机中的每一个的跟踪体积，用于通过任何XR头戴式受话器的视图透视显示为组合图形表示。

因此，在一些实施例中，当摄像机跟踪系统正从所述一组跟踪摄像机接收跟踪信息时，所述一组跟踪摄像机与XR头戴式受话器分离并间隔开。摄像机跟踪系统的操作可以进一步被配置成获得XR头戴式受话器跟踪模型，所述XR头戴式受话器跟踪模型定义附接到XR头戴式受话器的另一组跟踪摄像机的XR头戴式受话器跟踪体积。所述操作基于XR头戴式受话器跟踪模型从XR头戴式受话器的视角生成XR头戴式受话器跟踪体积的图形表示，并向XR头戴式受话器提供XR头戴式受话器跟踪体积的图形表示以显示给用户。

所述操作可以进一步被配置成基于从XR头戴式受话器的视角确定跟踪体积的边缘边界的位置来生成所述一组跟踪摄像机的跟踪体积的图形表示，并且从XR头戴式受话器的视角将跟踪体积的图形表示呈现为形成线框表面的线，所述线在跟踪体积的边缘边界的位置之间延伸。所述操作可以基于从XR头戴式受话器的视角确定XR头戴式受话器跟踪体积的边缘边界的位置来生成XR头戴式受话器跟踪体积的图形表示，并且从XR头戴式受话器的视角将XR头戴式受话器跟踪体积的图形表示呈现为形成另一线框表面的线，所述线在XR头戴式受话器跟踪体积的边缘边界的位置之间延伸。

可以生成所述一组跟踪摄像机的跟踪体积的图形表示，以便基于颜色、暗度，阴影、闪烁(例如，控制关-开工作循环)、动画移动(例如，循环左右移动、抖动)方面的差异可视地与XR头戴式受话器跟踪体积的图形表示区分开。

所述操作使得摄像机跟踪精度的用户可视化作为不同组跟踪摄像机的多个跟踪体积的可视化的一部分。摄像机跟踪系统的操作可以进一步被配置成获得其它跟踪精度信息，所述其它跟踪精度信息表征附接到XR头戴式受话器的另一组跟踪摄像机将根据XR头戴式受话器跟踪体积内间隔开的位置来跟踪对象的精度。进一步生成XR头戴式受话器跟踪体积的图形表示，来为XR头戴式受话器跟踪体积内至少一些间隔开的位置可视地指示附接到XR头戴式受话器的另一组跟踪摄像机将跟踪对象的对应特征化精度。

可以由这些实施例中的一个或多个提供的潜在优点包含用户不需要尝试在存储器中保留一组跟踪摄像机的跟踪体积的一般形状，然后尝试在心智上将所述形状的跟踪体积投影到可视地观察的手术场景上。此外，用户随后不需要尝试估计被跟踪对象是否靠近跟踪体积的心智图像的边界。相反，看到覆盖在物理空间中的操作区域上的跟踪体积的图形表示的用户可由用户的三维空间感知能力直观地理解，这允许关于如何相对于操作区域定位跟踪摄像机以及如何定位一个或多个对象以保持其精确跟踪作出更快且更有见识的决定。用户还可以近似实时地可视地理解一组摄像机的位置的改变和/或摄像机的相对定向的改变(例如，相对于彼此移动)对所述一组摄像机的所得跟踪体积具有什么影响。当使用可移动的一组移动摄像机时，例如当将一组移动摄像机固定到人(例如，固定到XR头戴式受话器)时，跟踪体积可以连续移动和改变形状。再次，向用户提供跟踪体积的相关变化的近似实时的可视绘示。此外，当对对象的跟踪由于对象移动超过跟踪体积的边界而丢失时，用户将能够可视地观察对象需要如何移动以实现进一步的跟踪。相反，当对对象的跟踪由于除了离开跟踪体积之外的原因而丢失时，用户不需要考虑跟踪体积的位置，而是可以聚焦于什么可能导致跟踪摄像机丢失对象的视觉跟踪(例如，阻碍臂或其它对象)。此外，在移动对象之前，用户可以可视地评估对于计划的移动是否期望保持跟踪，并且可以调节计划的移动和/或移动跟踪摄像机以避免丢失跟踪。

另外的定义和实施例：

在本发明概念的各个实施例的以上描述中，应当理解，本文使用的术语仅出于描述特定实施例的目的，而不旨在是限制本发明概念的。除非另外限定，否则本文中所使用的所有术语(包含技术术语和科技术语)具有本发明概念所属领域的技术人员通常所理解的相同含义。应进一步理解的是，如常用词典中所定义的术语应被解释为具有与其在本说明书的背景下和相关领域中的含义一致的含义，并且本文中明确地如此定义，将不会在理想化的或过度正式的意义上进行解释。

当元件被称为“连接到”或“联接到”“响应于”另一个元件或其变体时，其可以直接连接到、联接到或响应于另一元件，或者可以存在中间元件。相反，当一个元件被称为与另一个元件“直接地连接”、“直接地联接”、“直接响应于”另一个元件或其变体时，不存在中间元件。贯穿全文以相似的数字指代相似的要素。此外，如本文中使用的“联接”、“连接”、“响应”或其变体可以包含无线联接、连接或响应。除非上下文另外清楚地说明，否则如本文所使用的，单数形式“一个/一种(a、an)”和“所述(the)”旨在包含复数形式。为了简洁和/或清楚，可能不会详细描述众所周知的功能或构造。术语“和/或”包含相关联的所列项中的一或多个项的任何和所有组合。

应当理解，尽管本文中可以使用术语第一、第二、第三等来描述各种元件/操作，但是这些元件/操作不应受这些术语的限制。这些术语仅是用来将一个元件/操作与另一个元件/操作进行区分。因此，在不脱离本发明概念的教导的情况下，一些实施例中的第一元件/操作可以在其它实施例中被称为第二元件/操作。在整个本说明书中，相同的附图标记或相同的附图指示符表示相同或类似的元件。

如本文所使用的，术语“包括(comprise/comprising/comprises)”、“包含(include/including/includes)”、“具有(have/has/having)”或其变体是开放式的，并且包含一个或多个陈述的特征、整数、元件、步骤、组件或功能，但是不排除一个或多个其它特征、整数、元件、步骤、组件、功能或其组合的存在或添加。此外，如本文所使用的，源自拉丁短语“exempli gratia”的通用缩写“例如”可以用于介绍或指定先前提及的项目的一个或多个一般示例，并且不旨在限制这种项目。源自拉丁短语“id est”的通用缩写“即”可以用于从更一般的陈述中指定特定项目。

本文中参考计算机实施的方法、设备(系统和/或装置)和/或计算机程序产品的框图和/或流程展示描述了示例实施例。应当理解的是，可以通过由一个或多个计算机电路执行的计算机程序指令来实现框图和/或流程展示的框以及框图和/或流程展示中框的组合。这些计算机程序指令可以被提供给通用计算机电路、专用计算机电路和/或其它可编程数据处理电路的处理器电路，以产生机器，使得经由计算机和/或其它可编程数据处理设备的处理器执行的指令转换并控制晶体管、存储在存储器位置中的值以及这种电路系统内的其它硬件组件，以实现框图和/或一个或多个流程图框中指定的功能/动作，并且由此创建用于实现框图和/或一个或多个流程图框中指定的功能/动作的装置(功能)和/或结构。

这些有形计算机程序指令也可以存储在可以指导计算机或其它可编程数据处理设备以特定方式运行的计算机可读介质中，使得存储在计算机可读介质中的指令产生包含实施在框图或一个或多个流程图框中指定的功能/动作的指令的制品。因此，本发明概念的实施例可以体现在硬件和/或软件(包含固件、常驻软件、微代码等)中，其在如数字信号处理器等处理器上运行，所述数字信号处理器可以被统称为“电路系统”、“模块”或其变体。

还应该注意的是，在一些替代性实现方案中，框中标注的功能/动作可以不按流程图中标注的顺序发生。例如，根据所涉及的功能/动作，连续绘示的两个框实际上可以基本上同时执行，或者所述框有时可以按相反顺序执行。此外，可以将流程图和/或框图的给定框的功能分成多个框，和/或流程图和/或框图的两个或更多个框的功能可以至少部分地集成。最后，在不脱离本发明概念的范围的情况下，可以在所展示的框之间添加/插入其它框，和/或可以省略框/操作。此外，尽管所述图中的一些图包含通信路径上的箭头以绘示通信的主要方向，但是应当理解的是，通信可以在与所描绘的箭头相反的方向上发生。

在不实质脱离本发明概念的原理的情况下，可以对实施例进行许多变化和修改。所有的此种变体以及改变都旨在被包含在本文中本发明概念的范围内。因此，上文所公开的主题应视为说明性而非限制性的，并且所附实施例的示例旨在覆盖落入本发明概念的精神和范围内的所有这种修改、增强以及其它实施例。因此，为了被法律最大程度地允许，本发明概念的范围将由本公开的最广泛允许的解读来确定，所述解读包含以下实施例及其等效物的示例，并且不应受限于或局限于前述具体详细描述。

Claims

1.一种摄像机跟踪系统，其被配置成：

获得定义一组跟踪摄像机相对于所述一组跟踪摄像机的姿势的跟踪体积的模型；

从所述一组跟踪摄像机接收指示扩展现实(XR)头戴式受话器相对于所述一组跟踪摄像机的姿势的跟踪信息；

基于由所述跟踪信息指示的所述XR头戴式受话器的所述姿势并且基于定义所述一组跟踪摄像机的所述跟踪体积的所述模型，从所述XR头戴式受话器的视角生成所述跟踪体积的图形表示；并且

向所述XR头戴式受话器提供所述跟踪体积的所述图形表示以显示给用户。

2.根据权利要求1所述的摄像机跟踪系统，其进一步被配置成基于从所述XR头戴式受话器的所述视角确定所述跟踪体积的边缘边界的位置来生成所述跟踪体积的所述图形表示，并且从所述XR头戴式受话器的所述视角将所述图形表示呈现为形成线框表面的线，所述线在所述跟踪体积的所述边缘边界的所述位置之间延伸。

3.根据权利要求2所述的摄像机跟踪系统，其中来自所述一组跟踪摄像机的所述跟踪信息进一步指示被跟踪对象相对于所述一组跟踪摄像机的姿势，并且所述摄像机跟踪系统进一步被配置成：

基于所述跟踪信息确定所述被跟踪对象的所述姿势；并且

基于所述跟踪对象的所述姿势与所述跟踪体积的所述边缘边界中的至少一个的接近度来控制形成所述线框表面的所述线的宽度。

4.根据权利要求3所述的摄像机跟踪系统，其进一步被配置成响应于确定所述被跟踪对象的所述姿势与所述线框表面的区域之间的距离满足接近度通知规则，通过增大形成所述线框表面的所述区域的线段的宽度来控制形成所述线框表面的所述线的宽度。

5.根据权利要求2所述的摄像机跟踪系统，其中来自所述一组跟踪摄像机的所述跟踪信息进一步指示被跟踪对象相对于所述一组跟踪摄像机的姿势，并且所述摄像机跟踪系统进一步被配置成：

基于所述跟踪信息确定所述被跟踪对象的所述姿势；并且

当在所述XR头戴式受话器的透视显示屏上显示时，基于所述被跟踪对象的所述姿势与所述跟踪体积的所述边缘边界中的至少一个的接近度来控制形成所述线框表面的所述线的不透明度。

6.根据权利要求5所述的摄像机跟踪系统，其进一步被配置成响应于确定所述被跟踪对象的所述姿势与所述线框表面的区域之间的距离满足接近度通知规则，通过增大形成所述线框表面的所述区域的所述线段的不透明度来控制形成所述线框表面的所述线的不透明度。

7.根据权利要求1所述的摄像机跟踪系统，其进一步被配置成：

获得跟踪精度信息，所述跟踪精度信息表征所述一组跟踪摄像机将根据所述跟踪体积内间隔开的位置来跟踪对象的精度，

其中，进一步生成所述跟踪体积的所述图形表示，以可视地指示所述一组跟踪摄像机将跟踪所述对象的特征化精度。

8.根据权利要求7所述的摄像机跟踪系统，其进一步被配置成：

基于从所述XR头戴式受话器的所述视角确定所述跟踪体积的边缘边界的位置来生成所述跟踪体积的所述图形表示；并且

从所述XR头戴式受话器的所述视角将所述图形表示呈现为形成线框表面的线，所述线在所述跟踪体积的所述边缘边界的所述位置之间延伸，

其中，改变形成所述线框表面的所述线的宽度，来为所述跟踪体积内至少一些所述间隔开的位置可视地指示所述一组跟踪摄像机将跟踪所述对象的所述特征化精度的对应变化。

9.根据权利要求7所述的摄像机跟踪系统，其中生成所述跟踪体积的所述图形表示来为所述间隔开的位置可视地指示所述一组跟踪摄像机将跟踪所述对象的所述特征化精度可以包括改变所述跟踪体积的所述图形表示的对比度，来为所述跟踪体积内至少一些所述间隔开的位置可视地指示所述一组跟踪摄像机将跟踪所述对象的所述特征化精度的对应变化。

10.根据权利要求1所述的摄像机跟踪系统，其进一步被配置成：

获得跟踪精度信息，所述跟踪精度信息表征所述一组跟踪摄像机将根据所述跟踪体积内间隔开的位置来跟踪对象的精度；

确定所述一组跟踪摄像机的所述跟踪体积的子体积，所述子体积被约束为含有所述跟踪体积内的位置，所述位置由所述跟踪精度信息指示以对应于满足最小精度阈值的所述精度；

基于由所述跟踪信息指示的所述XR头戴式受话器的所述姿势从所述XR头戴式受话器的所述视角生成所述跟踪体积的所述子体积的图形表示，并且

向所述XR头戴式受话器提供所述跟踪体积的所述子体积的所述图形表示以显示给所述用户。