CN113243990A - 手术系统 - Google Patents

手术系统 Download PDF

Info

Publication number
CN113243990A
CN113243990A CN202110119440.9A CN202110119440A CN113243990A CN 113243990 A CN113243990 A CN 113243990A CN 202110119440 A CN202110119440 A CN 202110119440A CN 113243990 A CN113243990 A CN 113243990A
Authority
CN
China
Prior art keywords
tracking
camera
pose
surgical
headset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110119440.9A
Other languages
English (en)
Inventor
T·卡洛韦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Globus Medical Inc
Original Assignee
Globus Medical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Globus Medical Inc filed Critical Globus Medical Inc
Publication of CN113243990A publication Critical patent/CN113243990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Manipulator (AREA)

Abstract

一种手术系统包含摄像机跟踪系统，所述摄像机跟踪系统基于来自第一跟踪摄像机的指示第一对象的姿势的第一对象跟踪信息，确定第一对象坐标系和第一跟踪摄像机坐标系之间的第一姿势变换。所述摄像机跟踪系统基于来自第二跟踪摄像机的指示所述第一对象的姿势的第一对象跟踪信息来确定所述第一对象坐标系和第二跟踪摄像机坐标系之间的第二姿势变换，并且基于来自所述第二跟踪摄像机的指示第二对象的姿势的第二对象跟踪信息来确定第二对象坐标系和所述第二跟踪摄像机坐标系之间的第三姿势变换。摄像机跟踪系统基于组合所述第一姿势变换、所述第二姿势变换和所述第三姿势变换来确定所述第二对象坐标系和所述第一跟踪摄像机坐标系之间的第四姿势变换。

Description

手术系统
技术领域
本公开涉及医疗装置和系统，并且更具体地，涉及手术中的计算机辅助导航。
背景技术
手术中的计算机辅助导航提供关于患者的解剖的放射照相图像的手术仪器的增强可视化。导航手术通常包含用于通过使用单个近红外(NIR)立体摄像机设置的盘或球体阵列来跟踪手术仪器的方位和定向的组件。在这种场景下，有三个参数共同竞争优化：(1)精度、(2)稳健性和(3)人体工程学。
当人员和/或对象阻碍跟踪组件跟踪患者、机器人和手术仪器的姿势的能力时，使用现有导航系统的导航手术程序易于发生触发间歇暂停的事件。需要改进导航系统的跟踪性能。
发明内容
本文所公开的各个实施例涉及计算机辅助导航在手术期间的改进。一个或多个扩展现实(XR)头戴式受话器可配备有跟踪摄像机，所述跟踪摄像机向摄像机跟踪系统提供跟踪信息以与来自其它跟踪摄像机的跟踪信息组合，所述其它跟踪摄像机可以是另一XR头戴式受话器的一部分、辅助跟踪棒或其它器械。通过在此公开的各种姿势链操作，摄像机跟踪系统能够以更大的稳健性并通过大范围的运动来跟踪工具和其它对象。
在一个实施例中，手术系统包含摄像机跟踪系统，所述摄像机跟踪系统被配置成在手术程序期间从第一跟踪摄像机和第二跟踪摄像机接收与被跟踪对象相关的跟踪信息。摄像机跟踪系统被配置成基于来自第一跟踪摄像机的指示第一对象的姿势的第一对象跟踪信息来确定第一对象坐标系和第一跟踪摄像机坐标系之间的第一姿势变换。摄像机跟踪系统被配置成基于来自第二跟踪摄像机的指示第一对象的姿势的第一对象跟踪信息来确定第一对象坐标系和第二跟踪摄像机坐标系之间的第二姿势变换，并且被配置成基于来自第二跟踪摄像机的指示第二对象的姿势的第二对象跟踪信息来确定第二对象坐标系和第二跟踪摄像机坐标系之间的第三姿势变换。摄像机跟踪系统被配置成基于组合第一姿势变换、第二姿势变换和第三姿势变换来确定第二对象坐标系和第一跟踪摄像机坐标系之间的第四姿势变换。
公开了摄像机跟踪系统的相关方法和相关计算机程序产品。
在审阅以下附图和详细描述之后，根据实施例的其它手术系统、方法和计算机程序产品对于本领域技术人员来说将是显而易见的。所有此类手术系统、方法和计算机程序产品旨在包含在本说明书中、在本公开的范围之内并且受所附权利要求的保护。此外，本文中公开的所有实施例旨在可以以任何方式和/或组合来单独实施或组合。
附图说明
附图绘示了发明概念的某些非限制性实施例，所述附图被包含在内以提供对本公开的进一步理解，并且结合在本申请内并构成本申请的一部分。在附图中：
图1绘示了根据本公开的一些实施例的手术系统的实施例；
图2绘示了根据本公开的一些实施例的图1的手术系统的手术机器人组件；
图3A绘示了根据本公开的一些实施例的图1的手术系统的摄像机跟踪系统组件；
图3B和图3C绘示了根据本公开的一些实施例的可以与图1的手术系统一起使用的另一摄像机跟踪系统组件的正视图和等距视图；
图4绘示了可连接到机器人臂并且根据本公开的一些实施例配置的末端执行器的实施例；
图5绘示了医疗操作，其中手术机器人和摄像机系统被安置在患者周围；
图6绘示了用于医疗操作的图5的手术系统的组件的框图视图；
图7绘示了在使用手术系统的导航功能时可以在图5和图6的显示器上显示的各种显示屏；
图8绘示了根据本公开的一些实施例的手术机器人的一些电组件的框图；
图9绘示了根据本公开的一些实施例的手术系统的组件的框图，所述手术系统包含连接到可以操作性地连接到摄像机跟踪系统和/或手术机器人的计算机平台的成像装置；
图10绘示了根据本公开的一些实施例的可以与手术机器人组合使用的C形臂成像装置的实施例；
图11绘示了根据本公开的一些实施例的可以与手术机器人组合使用的O形臂成像装置的实施例；
图12绘示了包含根据本公开的一些实施例进行操作的一对XR头戴式受话器和辅助跟踪棒的手术系统的组件的框图视图；
图13绘示了根据本公开的一些实施例配置的XR头戴式受话器；
图14绘示了根据本公开的一些实施例的可以可操作地连接到计算机平台、成像装置和/或手术机器人的XR头戴式受话器的电组件；
图15绘示了根据本公开的一些实施例的展示XR头戴式受话器的光学组件的布置的框图。
图16绘示了根据本公开的一些实施例的通过用于在医疗程序期间提供导航辅助以操纵手术工具的XR头戴式受话器的显示屏的示例性视图；
图17绘示了根据本公开的一些实施例配置的具有两对立体摄像机的辅助跟踪棒的示例性配置；
图18绘示了包含根据本公开的一些实施例共同操作的在一对XR头戴式受话器和在辅助跟踪棒中的导航摄像机的组件的框图视图；
图19绘示了根据本公开的一些实施例的一对XR头戴式受话器，所述一对XR头戴式受话器与摄像机跟踪系统一起操作以协同地跟踪不能由任一XR头戴式受话器完全直接观察到的动态参考阵列基准的姿势；
图20绘示了在根据本公开的一些实施例操作的手术系统的各种组件之间的信息流动的框图。
图21是根据本公开的一些实施例的可以由摄像机跟踪系统执行的姿势链操作的流程图。
具体实施方式
现将参考附图在下文中更全面地描述发明概念，在附图中示出了发明概念的实施例的实例。但是发明概念可以以许多不同的形式呈现，并且不应该被解释为限于本文列出的实施例。而是这些实施例被提供以使得本公开更完全和完整，并且将各个本发明概念的范围完全地转达给所属领域技术人员。还应当注意，这些实施例并不相互排斥。一个实施例中的组件可以被默认为存在于或用于另一个实施例。
本文所公开的各个实施例涉及计算机辅助导航在手术期间的改进。一种扩展现实(XR)头戴式受话器可操作地连接到手术系统并且被配置成提供外科医生、助理和/或其它人员可以通过其观看患者图像并且在其中进行选择、观看计算机生成的手术导航信息并在其中进行选择和/或控制手术室中的手术器械的交互式环境。如下所述，XR头戴式受话器可以被配置成利用计算机生成的XR图像来增强真实世界场景。XR头戴式受话器可以被配置成通过在透视显示屏上显示计算机生成的XR图像来提供增强现实(AR)观看环境，所述透视显示屏允许来自真实世界场景的光从其中穿过以由用户进行组合观看。可替换地，XR头戴式受话器可以被配置成通过在用户观看显示屏上的计算机生成的AR图像时防止或基本上防止来自真实世界场景的光被用户直接观看、来提供虚拟现实(VR)观看环境。XR头戴式受话器可被配置成提供AR和VR观看环境。在一个实施例中，AR和VR观看环境都由布置在透视显示屏和真实世界场景之间的不透明度基本上不同的横向带提供，从而为与高不透明度带对准的XR图像提供VR观看环境，并且为与低不透明度带对准的XR图像提供AR观看环境。在另一个实施例中，AR和VR观看环境都由计算机可调节的不透明度滤光器的控制来提供，所述不透明度滤光器可变地约束来自真实世界场景的多少光穿过透视显示屏以便与用户观看的XR图像组合。因此，XR头戴式受话器也可以被称为AR头戴式受话器或VR头戴式受话器。
图1绘示了根据本公开的一些实施例的手术系统2的实施例。在执行矫形或其它手术程序之前，可以使用例如图10的C形臂成像装置104或图11的O形臂成像装置106，或从如计算机断层扫描(CT)图像或MRI的另一个医学成像装置、对患者的有计划的手术区进行三维(“3D”)图像扫描。可以在术前(例如，最常见的在程序前几周)或术中进行这种扫描。然而，可以根据手术系统2的各个实施例来使用任何已知的3D或2D图像扫描。图像扫描发送到与手术系统2通信的计算机平台，如手术系统900的计算机平台910(图9)，所述手术系统900可以包含摄像机跟踪系统组件6、手术机器人4(例如，图1中的机器人2)、成像装置(例如，C形臂104、O形臂106等)以及用于存储患者的图像扫描的图像数据库950。查看计算机平台910(图9)的显示装置上的图像扫描的外科医生生成限定在对患者的解剖结构进行手术程序的期间使用的手术工具的目标姿势的手术计划。示例性手术工具，也称为工具，可包含但不限于钻孔器、螺丝刀、牵开器和如螺钉、间隔器、体内融合装置、板、杆等的植入物。在一些实施例中，在显示装置上显示的3D图像扫描上规划限定目标平面的手术计划。
如本文所使用的，术语“姿势”是指一个对象(例如，动态参考阵列、末端执行器、手术工具、解剖结构等)相对于另一个对象和/或定义的坐标系的方位和/或旋转角度。因此，姿势可以仅基于一个对象相对于另一个对象和/或定义的坐标系的多维方位、仅基于所述对象相对于另一个对象和/或基定义的坐标系的多维旋转角度或基于结合多维方位和多维旋转角度来定义。因此，术语“姿势”用于指方位、旋转角度或其组合。
图1的手术系统2可以在医疗程序期间通过例如供使用的保持工具、对齐工具、使用工具、引导工具和/或定位工具来辅助外科医生。在一些实施例中，手术系统2包含手术机器人4和摄像机跟踪系统组件6。将手术机器人4和摄像机跟踪系统组件6机械联接的能力可以允许手术系统2作为单个单元来操纵并移动，并且允许手术系统2在区域中具有小的占用空间，允许更容易地移动通过狭窄的通道和绕过转弯，并且允许存储在较小的区域之内。
手术程序可以从手术系统2开始，从医疗存储室移动到医疗程序室。可以通过门道、大厅和电梯来操纵手术系统2以到达医疗程序室。在所述医疗程序室内，手术系统2可以在物理上分成两个单独且不同的系统(手术机器人4和摄像机跟踪系统组件6)。手术机器人4可以定位成在任何合适的位置邻近患者，以适当地辅助医务人员。摄像机跟踪系统组件6可以定位在患者的底部、在患者肩部或任何其它适合于跟踪手术机器人4和患者的跟踪部分的当前姿势和姿势移动的位置。手术机器人4和摄像机跟踪系统组件6可以由机载电源供电和/或插入到外墙插座中。
手术机器人4可以用于通过在医疗程序期间保持和/或使用工具来辅助外科医生。为了适当地利用并保持工具，手术机器人4可以依靠多个马达、计算机和/或致动器来适当地发挥功能。如图1所绘示的，机器人主体8可以充当其中多个马达、计算机和/或致动器可以固定在手术机器人4内的结构。机器人主体8还可以为机器人伸缩式支撑臂16提供支撑。机器人主体8的大小可以提供支撑附接组件的稳固平台，并且可以容纳、隐藏并保护可以操作附接组件的多个马达、计算机和/或致动器。
机器人底座10可以充当手术机器人4的下部支撑。在一些实施例中，机器人底座10可以支撑机器人主体8，并且可以将机器人主体8附接到多个驱动轮12。这种与轮的附接可以允许机器人主体8在空间中有效地移动。机器人底座10可以沿机器人主体8的长度和宽度运行。机器人底座10可以是约两英寸到约10英寸高。机器人底座10可以覆盖、保护并支撑驱动轮12。
在一些实施例中，如图1所绘示的，至少一个驱动轮12可以附接到机器人底座10。驱动轮12可以在任何方位附接到机器人底座10。每个单独的驱动轮12可以在任何方向上绕竖直轴线旋转。马达可以安置在驱动轮12的上方、之内或邻近其安置。这种马达可以允许手术系统2操纵到任何位置，并且稳定和/或调平手术系统2。可以通过马达将位于驱动轮12之内或邻近驱动轮12的杆压入表面中。未示出的杆可以由任何合适的金属制成，以提升手术系统2。所述杆可以提升驱动轮10，这可以将手术系统2提升到调平或以其它方式固定手术系统2相对于患者的定向所需的任何高度。手术系统2的重量通过每个轮上的杆的小接触区域支撑，防止手术系统2在医疗程序期间移动。此刚性定位可以防止对象和/或人意外地移动手术系统2。
可以使用机器人轨道14促进移动手术系统2。机器人轨道14给人提供了在未抓住机器人主体8的情况下移动手术系统2的能力。如图1所绘示的，机器人轨道14的长度可以和机器人主体8一样长、比机器人主体8短，和/或可以比机器人主体8更长。机器人轨道14可以进一步向机器人主体8提供保护，从而防止对象和/或医务人员接触、撞击或撞到机器人主体8。
机器人主体8可以为选择顺应性关节机器人臂(在下文中被称为“SCARA”)提供支撑。由于机械臂的可重复性和紧凑性，在手术系统2内使用SCARA 24可能是有利的。SCARA的紧凑性可以在医疗程序内提供另外的空间，这可以允许医疗专业人员在没有过多杂乱和限制区域的情况下执行医疗程序。SCARA 24可以包括机器人伸缩式支撑件16、机器人支撑臂18和/或机器人臂20。机器人伸缩式支撑件16可以沿机器人主体8安置。如图1所绘示的，机器人伸缩式支撑件16可以为SCARA 24和显示器34提供支撑。在一些实施例中，机器人伸缩式支撑件16可以在竖直方向上延伸并收缩。机器人伸缩式支撑件16的主体可以是被配置成支撑放在其上的应力和重量的任何宽度和/或高度。
在一些实施例中，医务人员可以通过由医务人员提交的命令来移动SCARA 24。如将在下面进一步详细解释的，命令可以源自在显示器34、平板电脑和/或XR头戴式受话器(例如，图9中的头戴式受话器920)上接收到的输入。XR头戴式受话器可以消除医务人员参考如显示器34或平板电脑等任何其它显示器的需要，这使得能够在没有显示器34和/或平板电脑的情况下配置SCARA 24。如将在下面进一步详细解释的，命令可以通过按压开关和/或按压多个开关来生成，和/或可以基于由XR头戴式受话器感测到的手势命令和/或语音命令来生成。
如图5中所示出的，激活组合件60可以包含开关和/或多个开关。激活组合件60可以是能够操作以向SCARA 24传输移动命令，从而允许操作者手动操纵SCARA 24。当按压开关或多个开关时，医务人员可以具有通过所应用的手部移动来移动SCARA 24的能力。可替代地或另外地，如将在下面进一步详细解释的，操作者可以通过由XR头戴式受话器感测到的手势命令和/或语音命令来控制SCARA 24的移动。另外地，当SCARA 24未接收到移动的命令时，SCARA 24可以锁定在适当的位置以防止由医务人员和/或其它对象引起的意外移动。通过锁定在适当的位置，SCARA 24提供了稳固平台，通过所述稳固平台，末端执行器26可以在医疗程序期间引导手术工具。
机器人支撑臂18可以通过各种机构连接到机器人伸缩式支撑件16。在一些实施例中，最佳参见图1和图2，机器人支撑臂18相对于机器人伸缩式支撑件16在任何方向上旋转。机器人支撑臂18可以围绕机器人伸缩式支撑件16旋转三百六十度。机器人臂20可以在任何合适的位置并通过使得能够相对于机器人支撑臂18在任何方向上旋转的各种机构连接到机器人支撑臂18。在一个实施例中，机器人臂20可相对于机器人支撑臂18旋转三百六十度。这种自由旋转允许操作者根据手术计划对机器人臂20进行定位。
图4和图5中的末端执行器26可以在任何合适的位置附接到机器人臂20。末端执行器26可以被配置成附接到由手术机器人4定位的机器人臂20的末端执行器联接器22。示例性末端执行器26包含引导插入式手术工具相对于要对其执行手术程序的解剖结构的移动的管状引导件。
在一些实施例中，动态参考阵列52附接到末端执行器26。动态参考阵列(在本文中也被称为“DRA”)是可以安置在患者的解剖结构(例如，骨骼)上的刚性主体、由手术室中的人员佩戴的一个或多个XR头戴式受话器、末端执行器、手术机器人、导航手术程序中的手术工具。计算机平台910与摄像机跟踪系统组件6或其它3D定位系统组合被配置成实时跟踪DRA的姿势(例如，方位和旋转定向)。DRA可以包含基准，如球的所绘示布置。对DRA的3D坐标的这种跟踪可以允许手术系统2确定DRA在相对于图5中的患者50的目标解剖结构的在任何多维空间中的姿势。
如图1所绘示的，光指示器28可以定位于SCARA 24的顶部。光指示器28可以作为任何类型的光点亮，以指示其中手术系统2当前操作的“状况”。在一些实施例中，光可以由LED灯产生，所述LED灯可以围绕光指示器28形成环。光指示器28可以包括可以让光透过整个光指示器28的完全可渗透材料。光指示器28可以附接到下部显示器支撑件30。如图2所绘示的，下部显示器支撑件30可以允许操作者操纵显示器34到任何合适的位置。下部显示器支撑件30可以通过任何合适的机构附接到光指示器28。在一些实施例中，下部显示器支撑件30可以绕光指示器28旋转或刚性附接到所述光指示器28。上部显示器支撑件32可以通过任何合适的机构附接到下部显示器支撑件30。
在一些实施例中，平板电脑可以与显示器34结合使用和/或在没有显示器34的情况下使用。平板电脑可以安置在上部显示器支撑件32上以代替显示器34，并且可以在医疗操作期间能够从上部显示器支撑件32移除。另外，平板电脑可以与显示器34通信。平板电脑能够通过任何合适的无线和/或有线连接连接到手术机器人4。在一些实施例中，平板电脑能够在医疗操作期间对手术系统2进行编程和/或控制。当用平板电脑控制手术系统2时，所有输入和输出命令都可以在显示器34上复制。使用平板电脑可以允许操作者操纵手术机器人4，而不必围绕患者50移动和/或移动到手术机器人4。
如下面将解释的，在一些实施例中，外科医生和/或其它人员可以佩戴可以与显示器34和/或平板电脑结合使用的XR头戴式受话器，或者X R头戴式受话器可以消除使用显示器34和/或平板电脑的需要。
如图3A和图5所绘示的，摄像机跟踪系统组件6通过有线或无线通信网络与手术机器人4组合工作。参考图1、图3和图5，摄像机跟踪系统组件6可以包含与手术机器人4类似的一些组件。例如，摄像机主体36可以提供在机器人主体8中发现的功能。机器人主体8可提供其上安装有摄像机46的辅助跟踪棒。机器人主体8内的结构还可以为用于操作摄像机跟踪系统组件6的电子设备、通信装置和电源提供支撑。摄像机主体36可以由与机器人主体8相同的材料制成。摄像机跟踪系统组件6可以通过无线和/或有线网络与XR头戴式受话器、平板电脑和/或显示器34直接通信，以使得XR头戴式受话器、平板电脑和/或显示器34能够控制摄像机跟踪系统组件6的功能。
摄像机主体36由摄像机底座38支撑。摄像机底座38可以用作机器人底座10。在图1的实施例中，摄像机底座38可以比机器人底座10宽。摄像机底座38的宽度可以允许摄像机跟踪系统组件6与手术机器人4连接。如图1所绘示的，摄像机底座38的宽度可以足够大以适合机器人底座10的外部。当摄像机跟踪系统组件6与手术机器人4连接时，摄像机底座38的另外的宽度可以允许手术系统2为手术系统2提供另外的可操作性和支撑。
如同机器人底座10，多个驱动轮12可以附接到摄像机底座38。类似于机器人底座10和驱动轮12的操作，驱动轮12可以允许摄像机跟踪系统组件6相对于患者50稳定和调平或设置固定定向。这种稳定可以防止摄像机跟踪系统组件6在医疗程序期间移动，并且可以防止辅助跟踪棒上的摄像机46失去对连接到XR头戴式受话器和/或手术机器人4的DRA的跟踪、失去对连接到如图3A和图5所示出的指定区域56内的解剖结构54和/或工具58的一个或多个DRA 52的跟踪。跟踪的这种稳定性和维护增强了手术机器人4与摄像机跟踪系统组件6一起有效操作的能力。另外地，宽摄像机底座38可以为摄像机跟踪系统组件6提供另外的支撑。具体地，如图3A和图5所绘示的，当摄像机46安置在患者之上时，宽摄像机底座38可以防止摄像机跟踪系统组件6倾翻。
摄像机伸缩式支撑件40可以支撑辅助跟踪棒上的摄像机46。在一些实施例中，伸缩式支撑件40可以在竖直方向上将摄像机46向更高或更低处移动。摄像机手柄48可以在任何合适的位置附接到摄像机伸缩式支撑件40，并且被配置成允许操作者在医疗操作之前将摄像机跟踪系统组件6移动到有计划的方位。在一些实施例中，摄像机手柄48可以用于降低和升高摄像机伸缩式支撑件40。摄像机手柄48可以通过按压按钮、开关、杠杆和/或其任何组合来执行摄像机伸缩式支撑件40的升高和降低。
下部摄像机支撑臂42可以在任何合适的位置附接到摄像机伸缩式支撑件40，在实施例中，如图1所绘示的，下部摄像机支撑臂42可以围绕伸缩式支撑件40旋转三百六十度。这种自由旋转可以允许操作者将摄像机46定位在任何合适的位置。下部摄像机支撑臂42可以通过任何合适的机构连接到伸缩式支撑件40。下部摄像机支撑臂42可以用于为摄像机46提供支撑。摄像机46可以通过任何合适的机构附接到下部摄像机支撑臂42。摄像机46可以在摄像机46与下部摄像机支撑臂42之间的附接区域在任何方向上枢转。在实施例中，弯曲轨道44可以安置在下部摄像机支撑臂42上。
弯曲轨道44可以安置在下部摄像机支撑臂42上的任何合适的位置。如图3A所绘示的，弯曲轨道44可以通过任何合适的机构附接到下部摄像机支撑臂42。弯曲轨道44可以是任何合适的形状，合适的形状可以是新月形、圆形、扁形、椭圆形和/或其任何组合。摄像机46可以沿弯曲轨道44可移动地安置。摄像机46可以通过例如辊、支架、支具、马达和/或其任何组合附接到弯曲轨道44。未绘示的马达和辊可以用于沿弯曲轨道44移动摄像机46。如图3A所绘示的，在医疗程序期间，如果对象阻止摄像机46观察所跟踪的一个或多个DRA，则马达可以响应地沿弯曲轨道44移动摄像机46。这种机动化移动可以允许摄像机46在没有移动摄像机跟踪系统组件6的情况下移动到不再被对象阻碍的新方位。当阻碍到摄像机46观看一个或多个所跟踪的DRA时，摄像机跟踪系统组件6可以向手术机器人4、XR头戴式受话器、显示器34和/或平板电脑发送停止信号。停止信号可以阻止SCARA 24移动，直到摄像机46已经重新获取所跟踪的DRA 52和/或可以警告操作者佩戴XR头戴式受话器和/或观看显示器34和/或平板电脑为止。这个SCARA 24可以被配置成通过停止底座和/或末端执行器联接器22的进一步移动直到所述摄像机跟踪系统可以重新开始对DRA的跟踪为止、来对停止信号的接收作出响应。
图3B和图3C绘示了可以与图1的手术系统一起使用或可以独立于手术机器人使用的另一个摄像机跟踪系统组件6'的正视图和等距视图。例如，摄像机跟踪系统组件6'可以用于在不使用机器人引导的情况下提供导航手术。图3B和图3C的摄像机跟踪系统组件6'与图3A的摄像机跟踪系统组件6之间的区别之一是图3B和图3C的摄像机跟踪系统组件6'包含用于运输计算机平台910的壳体。计算机平台910可以被配置成：执行摄像机跟踪操作以跟踪DRA；执行向显示装置(例如，XR头戴式受话器和/或其它显示装置)提供手术导航信息的导航手术操作；并且执行本文所公开的其它计算操作。因此，计算机平台910可以包含导航计算机，例如图14的一个或多个导航计算机。
图6绘示了用于医疗操作的图5的手术系统的组件的框图视图。参考图6，辅助跟踪棒上的导航摄像机46具有在其中对附接到患者的参考阵列602、附接到手术仪器的参考阵列604和机器人臂20的姿势(例如，方位和定向)进行跟踪的导航视场600。导航摄像机46可以是包含被配置成执行下面描述的操作的计算机平台910的图3B和图3C的摄像机跟踪系统组件6'的一部分。参考阵列通过以已知模式反射光来实现跟踪，所述已知模式由手术机器人4的跟踪子系统进行解码以确定所述参考阵列的相应姿势。如果患者参考阵列602与辅助跟踪棒上的导航摄像机46之间的视线被阻挡(例如，由医务人员、仪器等)，则可能无法对手术仪器进行进一步导航，并且响应式通知可以暂时停止机器人臂20和手术机器人4的进一步移动、在显示器34上显示警告，和/或向医务人员提供听觉警告。显示器34可供外科医生610和助理612使用，但是观看需要将头转动远离患者并将眼焦点改变到不同的距离和位置。导航软件可以由技术人员614基于来自外科医生的声音指令来控制。
图7绘示了在使用手术系统2的导航功能时可以通过手术机器人4在图5和图6的显示器34上显示的各种显示屏。显示屏可以包含但不限于具有基于开发的手术计划和/或基于所跟踪的参考阵列的姿势相对于解剖结构定位在显示屏中的仪器模型的覆盖图形表示的患者射线照片、用于控制手术程序的不同阶段以及虚拟投射的植入物的尺寸参数(例如，长度、宽度和/或直径)的各种用户可选择菜单。
对于导航手术，提供了下面描述的使得能够对手术程序(例如，植入物放置)进行术前计划以及将计划电子传递到计算机平台910以在有计划的手术程序期间向一个或多个用户提供导航信息的各种处理组件(例如，计算机平台910)和相关联软件。
对于机器人导航，提供了下面描述的使得能够对手术程序(例如，植入物放置)进行术前计划以及将计划电子传递到手术机器人4的各种处理组件(例如，计算机平台910)和相关联软件。手术机器人4使用计划来引导机器人臂20和连接的末端执行器26，以针对有计划的手术程序的步骤提供手术工具相对于患者解剖结构的目标姿势。
下面的各个实施例涉及使用可以由外科医生610、助理612和/或其它医务人员佩戴的一个或多个XR头戴式受话器以提供用于从手术机器人、摄像机跟踪系统组件6/6'和/或手术室中的其它医疗器械接收信息和/或向其提供控制命令的改进的用户界面。
图8绘示了根据本公开的一些实施例的手术机器人4的一些电组件的框图。参考图8，测力传感器(load cell，未示出)可以被配置成跟踪施加到末端执行器联接器22的力。在一些实施例中，测力传感器可以与多个马达850、851、852、853和/或854通信。当测力传感器感测到力时，关于所施加的力的量的信息可以从开关阵列和/或多个开关阵列分布到控制器846。控制器846可以从测力传感器获取力信息，并且用开关算法对所述力信息进行处理。控制器846使用开关算法来控制马达驱动器842。马达驱动器842控制一个或多个马达850、851、852、853和/或854的操作。马达驱动器842可以指导特定马达产生例如由测力传感器通过马达测得的等量的力。在一些实施例中，如控制器846所指导的，所产生的力可以来自多个马达，例如850至854。另外地，马达驱动器842可以接收来自控制器846的输入。控制器846可以从测力传感器接收关于由测力传感器感测到的力的方向的信息。控制器846可以使用运动控制器算法来处理这个信息。所述算法可以用于向特定马达驱动器842提供信息。为了复制力的方向，控制器846可以激活和/或去激活某些马达驱动器842。控制器846可以控制一个或多个马达，例如850至854中的一个或多个，以诱导末端执行器26在由测力传感器感测的力的方向上的运动。这种力控制的运动可以允许操作者毫不费力地和/或以非常小的阻力移动SCARA 24和末端执行器26。可以执行末端执行器26的移动，以将末端执行器26以任何合适的姿势定位(即，相对于限定的三维(3D)正交参考轴线的位置和角度定向)，以供医务人员使用。
图5最佳绘示的，激活组合件60可以是缠绕末端执行器联接器22的手镯的形式。激活组合件60可以定位于SCARA 24的任何部分、末端执行器联接器22的任何部分上，可以由医务人员佩戴(并且无线通信)，和/或其任何组合。激活组合件60可以包括主按钮和次按钮。
按压主按钮可以允许操作者移动SCARA 24和末端执行器联接器22。根据一个实施例，一旦设置在适当位置，SCARA 24和末端执行器联接器22可以不移动直到操作者对手术机器人4进行编程以移动SCARA 24和末端执行器联接器22为止，或使用主按钮来移动。在一些实例中，可能需要在SCARA 24和末端执行器联接器22将对操作者命令作出响应之前按压至少两个不相邻的主激活开关。按压至少两个主激活开关可以防止SCARA 24和末端执行器联接器22在医疗程序期间的意外移动。
由主按钮激活，测力传感器可以测量由操作者(即，医务人员)施加在末端执行器联接器22上的力的量值和/或方向。这个信息可以传递到SCARA 24内的可以用于移动SCARA24和末端执行器联接器22的一个或多个马达，例如850至854中的一个或多个。关于由测力传感器测得的力的量值和方向的信息可以使一个或多个马达(例如，850至854中的一个或多个)在与由测力传感器感测到的同一方向上移动SCARA 24和末端执行器联接器22。这种力控制的移动可以允许操作者容易地移动SCARA 24和末端执行器联接器22，并且由于在操作者移动SCARA 24和末端执行器联接器22的同时马达移动SCARA 24和末端执行器联接器22，所以不需要大量的努力。
在一些实例中，操作者可以将次按钮用作“选择”装置。在医疗操作期间，手术机器人4可以通过XR头戴式受话器920、显示器34和/或光指示器28通知医务人员某些情况。XR头戴式受话器920各自被配置成将图像显示于透视显示屏上，以形成覆盖在通过透视显示屏可观看的真实世界对象上的扩展现实图像。手术机器人4可以提示医务人员选择功能、模式和/或评估手术系统2的情况。按压次按钮单次可以激活某些功能、模式和/或确认通过XR头戴式受话器920、显示器34和/或光指示器28传送给医务人员的信息。另外地，快速连续地按压次按钮多次可以激活另外的功能、模式和/或选择通过XR头戴式受话器920、显示器34和/或光指示器28传送给医务人员的信息。
进一步参考图8，手术机器人4的电组件包含平台子系统802、计算机子系统820、运动控制子系统840和跟踪子系统830。平台子系统802包含电池806、配电模块804、连接器面板808和充电站810。计算机子系统820包含计算机822、显示器824和扬声器826。运动控制子系统840包含驱动电路842、电机850、851、852、853、854、稳定器855、856、857、858、末端执行器连接器844和控制器846。跟踪子系统830包含方位传感器832和摄像机转换器834。手术机器人4还可以包含可移除脚踏板880和可移除平板电脑890。
输入功率通过可以提供给配电模块804的电源供应给手术机器人4。配电模块804接收输入功率，并且被配置成生成提供给手术机器人4的其它模块、组件和子系统的不同的电源电压。配电模块804可以被配置成向连接器面板808提供不同的电压供应，所述电压供应可以提供给其它组件(如计算机822、显示器824、扬声器826、驱动器842)以例如给马达850至854和末端执行器联接器844供电，并且提供给摄像机转换器834和用于手术机器人4的其它组件。配电模块804还可以连接到电池806，所述电池806在配电模块804未从输入电源接收电力的情况下充当临时电源。在其它时间，配电模块804可以用于给电池806充电。
连接器面板808可以用于将不同的装置和组件连接到手术机器人4和/或相关联组件和模块。连接器面板808可以含有接收来自不同组件的线路或连接件的一个或多个端口。例如，连接器面板808可以具有将手术机器人4接地到其它设备的接地端端口、用于连接脚踏板880的端口、用于连接到跟踪子系统830的端口，所述跟踪子系统可以包含方位传感器832、摄像机转换器834和DRA跟踪摄像机870。连接器面板808还可以包含其它端口，以允许与其它组件(如计算机822)的USB、以太网、HDMI通信。根据一些实施例，连接器面板808可以包含有线和/或无线接口以用于将XR头戴式受话器920可操作地连接到跟踪子系统830和/或计算机子系统820。
控制面板816可以提供控制手术机器人4的操作和/或提供来自手术机器人4的信息以供操作者观察的各种按钮或指示器。例如，控制面板816可以包含用于打开或关闭手术机器人4、提升或降低竖直柱16以及提升或降低稳定器855至858的按钮，所述稳定器855至858可以被设计成接合脚轮12以锁定手术机器人4而不物理上移动。其它按钮可以在发生紧急情况时停止手术机器人4，这可以移除所有马达功率并应用机械制动器来停止所有运动发生。控制面板816还可以具有通知操作者某些系统情况(如线路功率指示器)或电池806的充电状态的指示器。根据一些实施例，一个或多个XR头戴式受话器920可以例如通过连接器面板808通信，以控制手术机器人4的操作和/或接收并显示由手术机器人4生成的信息以供佩戴XR头戴式受话器920的人员观察。
计算机子系统820的计算机822包含用于操作手术机器人4的指定功能的操作系统和软件。计算机822可以接收并处理来自其它组件(例如，跟踪子系统830、平台子系统802和/或运动控制子系统840)的信息，以便向操作者显示信息。进一步地，计算机子系统820可以通过扬声器826为操作者提供输出。扬声器可以是所述手术机器人的一部分、XR头戴式受话器920的一部分，或在手术系统2的另一个组件内。显示器824可以对应于图1和图2所示出的显示器34。
跟踪子系统830可以包含方位传感器832和摄像机转换器834。跟踪子系统830可以对应于图3的摄像机跟踪系统组件6。DRA跟踪摄像机870与方位传感器832一起操作，以确定DRA 52的姿势。可以以与本公开一致的方式进行这种跟踪，所述跟踪包含使用分别跟踪DRA52的有源元件或无源元件的位置的红外光或可见光技术，如LED或反射标记。
跟踪子系统830和计算机子系统820的功能操作可以包含在可以由图3A和图3B的摄像机跟踪系统组件6'来运输的计算机平台910中。跟踪子系统830可以被配置成确定所跟踪的DRA的姿势，例如位置和角度定向。计算机平台910还可以包含导航控制器，所述导航控制器被配置成使用所确定的姿势来向用户提供引导它们在有计划的手术程序期间相对于方位配准的患者图像和/或所跟踪的解剖结构移动所跟踪的工具的导航信息。计算机平台910可以在图3B和图3C的显示器上和/或向一个或多个XR头戴式受话器920显示信息。当与手术机器人一起使用时，计算机平台910可以被配置成与计算机子系统820和图8的其它子系统通信以控制末端执行器26的移动。例如，如将在下面解释的，计算机平台910可以生成患者的解剖结构、手术工具、用户的手等的图形表示，所述图形表示具有基于一个或多个所跟踪的DRA的所确定的姿势进行控制的所显示的大小、形状、颜色和/或姿势，并且所显示的图形表示可以被动态修改以跟踪所确定的姿势随时间的变化。
运动控制子系统840可以被配置成物理地移动竖直柱16、上部臂18、下部臂20，或旋转末端执行器联接器22。可以通过使用一个或多个马达850至854来进行物理移动。例如，马达850可以被配置成竖直提升或降低竖直柱16。如图2所示出的，马达851可以被配置成围绕与竖直柱16的接合点侧向移动上部臂18。如图2所示出的，马达852可以被配置成围绕与上部臂18的接合点侧向移动下部臂20。马达853和854可以被配置成移动末端执行器联接器22，以提供沿三维轴线的平移移动和围绕其的旋转。图9所示出的计算机平台910可以向控制器846提供引导末端执行器联接器22的移动的控制输入，以相对于在有计划的手术程序期间要对其进行操作的解剖结构以有计划的姿势(即，相对于限定的3D正交参考轴线的位置和角度定向)定位连接到其的被动末端执行器。运动控制子系统840可以被配置成使用集成的方位传感器(例如，编码器)来测量末端执行器联接器22和/或末端执行器26的方位。
图9绘示了根据本公开的一些实施例的手术系统的组件的框图，所述手术系统包含连接到可以可操作地连接到摄像机跟踪系统组件6(图3A)或6'(图3B、3C)和/或手术机器人4的计算机平台910的成像装置(例如，C形臂104、O形臂106等)。可替代地，本文所公开的由计算机平台910执行的至少一些操作可以另外地或可替代地由手术系统的组件来执行。
参考图9，计算机平台910包含显示器912、至少一个处理器电路914(为简洁起见也被称为处理器)、含有计算机可读程序代码918的至少一个存储器电路916(为简洁起见也被称为存储器)和至少一个网络接口902(为简洁起见也被称为网络接口)。显示器912可以是根据本公开的一些实施例的XR头戴式受话器920的一部分。网络接口902可以被配置成连接到图10中的C形臂成像装置104、图11中的O形臂成像装置106、另一个医学成像装置、含有患者医学图像的图像数据库950、手术机器人4的组件和/或其它电子器械。
当与手术机器人4一起使用时，显示器912可以对应于图2的显示器34和/或图8的平板电脑890和/或可操作地连接到手术机器人4的XR头戴式受话器920，网络接口902可以对应于图8的平台网络接口812，并且处理器914可以对应于图8的计算机822。XR头戴式受话器920的网络接口902可以被配置成根据一种或多种无线通信协议(例如，WLAN、3GPP4G和/或5G(新无线电)蜂窝通信标准等)通过有线网络(例如，细线以太网)和/或通过无线RF收发器链路通信。
处理器914可以包含一个或多个数据处理电路，如通用和/或专用处理器，例如微处理器和/或数字信号处理器。处理器914被配置成执行存储器916中的计算机可读程序代码918以执行操作，所述操作可以包含本文中描述为针对手术计划、导航手术和/或机器人手术执行的操作中的一些或所有操作。
计算机平台910可以被配置成提供手术计划功能。处理器914可以操作以在显示装置912上和/或XR头戴式受话器920上显示通过网络接口920从成像装置104和106之一和/或从图像数据库950接收的解剖结构(例如，椎骨)的图像。处理器914接收操作者对在一个或多个图像中示出的解剖结构要进行手术程序(例如，螺钉放置)的位置的限定，如通过操作者触摸选择显示器912上用于有计划的手术程序的位置或使用基于鼠标的光标来限定用于有计划的手术程序的位置。如将在下面进一步详细解释的，当在XR头戴式受话器920中显示图像时，所述XR头戴式受话器可以被配置成感测由佩戴者形成的基于手势的命令和/或感测由佩戴者说出的基于语音的命令，所述命令可以用于控制菜单项之间的选择和/或控制如何在XR头戴式受话器920上显示对象。
计算机平台910可以被配置成能够进行对膝关节手术可能特别有用的解剖测量，类似于对确定臀部中心、角度中心、天然标志(例如，股骨通髁线(transepicondylarline)、白侧线(Whitesides line)、股骨后髁线(posteriorcondylar line)等)等的各个角度的测量。计算机平台910可以被配置成允许操作者输入对患者来说正确的植入物的选择，包含大小和对齐的选择。计算机平台910可以被配置成对CT图像或其它医学图像执行自动或半自动(涉及人为输入)分割(图像处理)。患者的手术计划可以存储在可以对应于数据库950的基于云的服务器中，以供手术机器人4检索。
例如，在矫形手术期间，外科医生可以通过例如XR头戴式受话器920使用计算机屏幕(例如，触摸屏)或扩展现实(XR)交互(例如，基于手势的命令和/或基于语音的命令)来选择要进行切割的部位(例如，后股骨、胫骨近端等)。计算机平台910可以生成向外科医生提供视觉引导以执行手术程序的导航信息。当与手术机器人4一起使用时，计算机平台910可以提供允许手术机器人4自动将末端执行器26移动到目标姿势使得手术工具与目标位置对齐以对解剖结构执行手术程序的引导。
在一些实施例中，手术系统900可以使用两个DRA来跟踪患者解剖方位，如连接到患者胫骨的DRA和连接到患者股骨的DRA。系统900可以使用标准导航仪器以进行配准和检查(例如，类似于Globus ExcelsiusGPS系统中用于进行脊柱手术的指针的指针)。
导航手术中的特别具有挑战性的任务是如何计划植入物在脊柱、膝盖和其它解剖结构中的方位，在所述方位处，外科医生努力在计算机屏幕上执行所述任务，所述任务是3D解剖结构的2D表示。系统900可以通过使用XR头戴式受话器920来显示解剖结构和候选植入装置的三维(3D)计算机生成的表示来解决这个问题。在计算机平台910的引导下，计算机生成的表示相对于彼此在显示屏上缩放并摆姿势，并且可以由外科医生在通过XR头戴式受话器920进行观看时对其进行操纵。外科医生可以例如使用由XR头戴式受话器920感测到的基于手势的命令和/或基于语音的命令来操纵解剖结构、植入物、手术工具等的所显示的计算机生成的表示。
例如，外科医生可以观看虚拟植入物上的所显示的虚拟手柄，并且可以操纵(例如，抓握和移动)虚拟手柄以将虚拟植入物移动到期望的姿势并且相对于解剖结构的图形表示调整有计划的植入物放置。之后，在手术期间，计算机平台910可以通过XR头戴式受话器920显示有助于外科医生更加准确地遵循手术计划来插入植入物和/或对解剖结构进行另一个手术程序的能力的导航信息。当手术程序涉及骨骼移除时，骨骼移除的进展(例如，切割深度)可以通过XR头戴式受话器920实时显示。可以通过XR头戴式受话器920显示的其它特征可以包含但不限于沿关节运动范围的间隙或韧带平衡、植入物上的沿关节运动范围的接触线、通过颜色或其它图形渲染的韧带张力和/或松弛度等。
在一些实施例中，计算机平台910可以允许计划标准手术工具和/或植入物的使用，例如后稳定型植入物和十字状保留型植入物、骨水泥型和非骨水泥型植入物、用于与例如全膝关节或部分膝关节和/或髋关节置换和/或创伤相关的手术的修正系统。
自动成像系统可以与计算机平台910结合使用，以获取解剖结构的术前、术中、术后和/或实时图像数据。图10和图11绘示了示例性动成像系统。在一些实施例中，自动成像系统是C形臂104(图10)成像装置或
Figure BDA0002921932280000161
106(图11)。(
Figure BDA0002921932280000162
由MedtronicNavigation，Inc.获得版权，该公司在美国Colo的Louisville有营业地)。可能需要从多个不同位置拍摄患者的X射线，而不需要X射线系统中可能需要的患者的频繁手动重新定位。C形臂104X射线诊断器械可以解决频繁手动重新定位的问题，并且在手术和其它介入手术的医学领域中是众所周知的。如图10所绘示的，C形臂包含终止于“C”形的相对远端112的细长C形部件。C形部件附接到X射线源114和图像接收器116。臂的C形臂104内的空间为医生照顾患者提供了基本上不受X射线支撑结构的干扰空间。
将C形臂安装成使得臂能够在两个自由度上旋转移动(即，在球形运动中围绕两个垂直轴线)。C形臂可滑动地安装到X射线支撑结构上，这允许C形臂围绕其曲率中心进行轨道旋转移动，这可以允许X射线源114和图像接收器116选择性的竖直和/或水平定向。C形臂还可以是侧向上可旋转的(即，在相对于轨道运行方向的垂直方向上，以使得能够相对于患者的宽度和长度选择性地调整X射线源114和图像接收器116的定位)。C形臂设备的球形旋转方面允许医生以相对于被成像的特定解剖条件确定的最佳角度对患者进行X射线检查。
图11中绘示的
Figure BDA0002921932280000171
106包含台架壳体124，所述台架壳体124可以包围未绘示的图像捕获部分。图像捕获部分包含X射线源部分和/或X射线发射部分以及X射线接收部分和/或图像接收部分，所述部分可以彼此相距约一百八十度安置，并且相对于图像捕获部分的轨道安装在转子(未示出)上。图像捕获部分能够操作以在图像采集期间旋转三百六十度。图像捕获部分可以绕中心点或轴线旋转，从而允许从多个方向或在多个平面中获取患者的图像数据。
带有台架壳体124的
Figure BDA0002921932280000172
106具有用于围绕要成像的对象定位的中心开口、可围绕台架壳体124的内部旋转的辐射源，所述辐射源可以适于从多个不同的投射角度投射辐射。检测器系统适于检测每个投射角度下的辐射，从而以准同时的方式从多个投射平面获取对象图像。台架可以以悬臂方式附接到支撑结构
Figure BDA0002921932280000173
支撑结构，如带有轮子的轮式移动推车。定位单元优选地在计算机化运动控制系统的控制下将台架平移和/或倾斜到有计划的方位和定向。台架可以包含在台架上彼此相对安置的源和检测器。可以将源和检测器固定到机动转子上，所述机动转子可以使源和检测器围绕台架的内部彼此组合旋转。可以在部分和/或完整的三百六十度旋转中在多个方位和定向上对源进行脉冲化，以对定位于台架内部的目标对象进行多平面成像。台架可以进一步包括用于在转子旋转时引导转子的轨道和轴承系统，所述轨道和轴承系统可以承载源和检测器。
Figure BDA0002921932280000174
106和C形臂104两者和/或其中之一可以用作自动成像系统，以扫描患者并将信息发送到手术系统2。
由成像系统捕获到的图像可以显示于XR头戴式受话器920和/或手术系统900的计算机平台910、手术机器人4和/或另一个组件的另一个显示装置上。XR头戴式受话器920可以例如通过计算机平台910连接到成像装置104和/或106中的一个或多个成像装置和/或图像数据库950，以从其中显示图像。用户可以通过XR头戴式受话器920提供控制输入(例如，基于手势和/或语音的命令)以控制成像装置104和/或106中的一个或多个成像装置和/或图像数据库950的操作。
图12绘示了包含一对XR头戴式受话器1200和1210(头戴式显示器HMD1和HMD2)的手术系统的组件的框图视图，所述XR头戴式受话器可以对应于图13中所示出的XR头戴式受话器920并且根据本公开的一些实施例进行操作。
参考图12的示例性场景，助理612和外科医生610两者分别佩戴XR头戴式受话器1210和1210。助理612佩戴XR头戴式受话器1210是任选的。如将在下面进一步描述，XR头戴式受话器1200和1210被配置成提供佩戴者可以通过其观看与手术程序有关的信息并与所述信息交互的交互式环境。这种基于交互式XR的环境可以消除对在手术室中存在技术员614的需要，并且可以消除对使用图6所示出的显示器34的需要。每个XR头戴式受话器1200和1210可以包含被配置成提供跟踪DRA或附接到仪器、解剖结构、末端执行器26和/或其它器械的其它参考阵列的另外的源的一个或多个摄像机。在图12的实例中，XR头戴式受话器1200具有用于跟踪DRA和其它对象的视场(FOV)1202，XR头戴式受话器1210具有用于跟踪DRA和其它对象的与FOV 1202部分重叠的FOV 1212，并且导航摄像机46具有用于跟踪DRA和其它对象的与FOV 1202和1212部分重叠的另一个FOV 600。
如果阻碍一个或多个摄像机观看附接到所跟踪的对象(例如，手术仪器)的DRA，但是DRA在一个或多个其它摄像机的视图中，则跟踪子系统830和/或导航控制器828可以继续无缝地跟踪对象，而不会失去导航。另外地，如果从一台摄像机的角度来看DRA被部分遮挡，但是整个DRA通过多个摄像机源是可见的，则可以合并摄像机的跟踪输入以继续对DRA进行导航。XR头戴式受话器中的一个和/或导航摄像机46可以查看和跟踪XR头戴式受话器中的另一个上的DRA以使得计算机平台910(图9和14)、跟踪子系统830和/或另一计算组件能够确定DRA相对于例如XR头戴式受话器1200/1210，导航摄像机46和/或为患者、桌子和/或房间定义的另一坐标系的一个或多个定义的坐标系的姿势。
XR头戴式受话器1200和1210可以可操作地连接以观看从手术室接收的视频、图片和/或其它信息和/或提供控制手术室中的各种器械(包含但不限于神经监测、显微镜、摄像机和麻醉系统)的命令。可以在头戴式受话器内处理和显示来自各种器械的数据，例如显示患者的生命体征或显微镜馈送。
示例性XR头戴式受话器组件和与导航手术、手术机器人和其它器械的集成
图13绘示了根据本公开的一些实施例配置的XR头戴式受话器920。XR头戴式受话器包含被配置成将XR头戴式受话器固定到佩戴者头部的头带1306、由头带1306支撑的电组件外壳1304，以及从电组件外壳1304横向延伸并向下的显示屏1302。显示屏1302可以是透视LCD显示装置或将由显示装置投射的图像朝向佩戴者的眼睛反射的半反射透镜。一组DRA基准例如点，以间隔开的已知方式被绘制或附着在头戴式受话器的一侧或两侧。头戴式受话器上的DRA使辅助跟踪棒上的导航摄像机能够跟踪头戴式受话器920的姿势和/或使另一XR头戴式受话器能够跟踪头戴式受话器920的姿势。
显示屏1302作为将来自显示装置的显示面板的光朝向用户的眼睛反射的透视显示屏(也被称为组合器)进行操作。显示面板可以定位于电组件外壳与用户的头部之间，并且成一定角度以将虚拟内容朝向显示屏1302投射以朝向用户的眼睛反射。显示屏1302是半透明和半反射的，从而允许用户看到覆盖在真实世界场景的用户视图上的所反射的虚拟内容。显示屏1302可以具有不同的不透明度区域，例如所绘示的上部侧带具有比下部侧带更高的不透明度。可以电子地控制显示屏1302的不透明度，以调节来自真实世界场景的多少光穿过用户的眼睛。显示屏1302的高不透明度配置使得高对比度虚拟图像覆盖在真实世界场景的昏暗视图上。显示屏1302的低不透明度配置可以使得更模糊的虚拟图像覆盖在真实世界场景的较清楚视图上。不透明度可以通过在显示屏1302的表面上施加不透明材料来控制。
根据一些实施例，手术系统包含XR头戴式受话器920和XR头戴式受话器控制器，例如图14中的控制器1430或图15中的控制器1430。XR头戴式受话器920被配置成在手术程序期间由用户佩戴并且具有透视显示屏1302，所述透视显示屏被配置成显示AR图像并且允许真实世界场景的至少一部分从其中穿过以由用户进行观看。XR头戴式受话器920还包含不透明度滤光器，所述不透明度滤光器在透视显示屏1302由用户进行观看时定位于用户的眼睛中的至少一只眼睛与真实世界场景之间。所述不透明度滤光器被配置成向来自所述真实世界场景的光提供不透明性。所述XR头戴式受话器控制器被配置成与导航控制器(例如，图14中的一个或多个控制器828A、828B和/或828C)通信以接收来自导航控制器的在对解剖结构进行的手术程序期间向所述用户提供引导的导航信息，并且被进一步配置成基于导航信息生成XR图像以在透视显示屏1302上显示。
显示屏1302的不透明度可以被配置成随着距离从显示屏1302的顶部向下而具有更连续变化的不透明度的梯度。梯度的最暗点可以位于显示屏1302的顶部部分处，并在显示屏1302上进一步向下逐渐变得较不透明，直到不透明度透明或不存在于为止。在另外的示例性实施例中，梯度可以大约在显示屏1302的中眼水平处从约90％不透明度改变成完全透明。在正确校准并放置头戴式受话器的情况下，中眼水平可以对应于用户将会直视的点，并且梯度的末端将定位于眼睛的“水平”线。梯度的较暗部分将允许虚拟内容的清晰明确的视觉并且有助于阻挡高架手术室灯的侵入亮度。
以这种方式使用不透明度滤光器使得XR头戴式受话器920能够通过基本上或完全阻挡来自真实世界场景的光沿显示屏1302的上部部分来提供虚拟现实(VR)功能并沿着显示屏1302的中间或下部部分提供AR功能。这允许用户在有需要并且在程序期间允许对患者解剖使用明确光学器件的位置具有半透明的AR。将不透明度滤光器1302配置成梯度而不是更恒定的不透明度带可以使佩戴者在更VR类型的视图与更AR类型的视图之间体验更自然的过渡，而不会体验真实世界场景的亮度以及可以如在上下视图之间进行更快速的移位期间以其它方式使眼睛疲劳的景深的突变。
显示面板和显示屏1302可以被配置成提供宽视场透视XR显示系统。在一个示例性配置中，它们为用户提供了80°对角线视场(FOV)和55°竖直覆盖范围以供用户观看虚拟内容。其它对角线FOV角度和竖直覆盖范围角可以通过不同大小的显示面板、不同曲率的透镜和/或显示面板与弯曲的显示屏1302之间的不同距离和角度定向来提供。
图14绘示了根据本公开的一些实施例的XR头戴式受话器920的电组件，所述XR头戴式受话器可以可操作地连接到计算机平台910、成像装置中的一个或多个成像装置(如C形臂成像装置104、O形臂成像装置106)和/图像数据库950和/或手术机器人800。
XR头戴式受话器920提供用于执行导航手术程序的改进的人机界面。XR头戴式受话器920可以被配置成例如经由计算机平台910提供功能，所述功能包含但不限于以下任何一个或多个：基于手势的命令和/或基于语音的命令的识别，在显示装置1450上显示XR图形对象。显示装置1450可以是将所显示的XR图形对象投射到显示屏1302上的视频投影仪、平板显示器等。用户可以将XR图形对象作为锚定到通过显示屏1302观看的特定真实世界对象的覆盖图(图13)。XR头戴式受话器920可以另外地或可替代地配置成在显示屏1450上显示来自安装到一个或多个XR头戴式受话器920和其它摄像机的摄像机的视频馈送。
XR头戴式受话器920的电组件可以包含多个摄像机1440、麦克风1442、手势传感器1444、姿势传感器(例如，惯性测量单元(IMU))1446、包含显示装置1450的显示模块1448，和无线/有线通信接口1452。如下所述，XR头戴式受话器的摄像机1440可以是可见光捕获摄像机、近红外捕获摄像机或两者的组合。
摄像机1440可以被配置成通过捕获用于识别在摄像机1440的视场内执行的用户手势来作为手势传感器1444进行操作。可替代地，手势传感器1444可以是感测接近手势传感器1444执行的手势和/或感测物理接触(例如，轻敲传感器或外壳1304)的接近度传感器和/或触摸传感器。姿势传感器1446(例如，IMU)可以包含多轴加速度计、倾斜传感器和/或可以感测XR头戴式受话器920沿一个或多个定义的坐标轴的旋转和/或加速度的另一个传感器。这些电组件中的一些或全部电组件可以含有在组件外壳1304中或可以含有在被配置成在其它地方(如在臀部或肩膀上)佩戴的另一个外壳中。
如上所述，手术系统2包含可以是计算机平台910的一部分的摄像机跟踪系统组件6/6'和跟踪子系统830。手术系统可包含成像装置(例如C形臂104，O形臂106和/或图像数据库950)和/或手术机器人4。跟踪子系统830被配置成确定附接到解剖结构、末端执行器、手术工具等的DRA的姿势。导航控制器828被配置成基于手术计划确定手术工具相对于解剖结构的目标姿势，例如，根据由图9的计算机平台910执行的手术计划功能，基于由跟踪子系统830确定的解剖结构的姿势、限定在解剖结构上使用手术工具执行手术程序的位置。导航控制器828可以被进一步配置成基于手术工具的目标姿势、解剖结构的姿势以及手术工具和/或末端执行器的姿势来生成转向信息，其中转向信息指示手术机器人的手术工具和/或末端执行器应当被移动到何处以执行手术计划。
XR头戴式受话器920的电组件可以通过有线/无线接口1452可操作地连接到计算机平台910的电组件。XR头戴式受话器920的电组件可以例如通过计算机平台910可操作地连接或通过有线/无线接口1452直接连接到各种成像装置(例如，C形臂成像装置104、I/O形臂成像装置106)、图像数据库950和/或其它医疗器械。
手术系统2进一步包含至少一个XR头戴式受话器控制器1430(为简洁起见也称为“XR头戴式受话器控制器”)，所述XR头戴式受话器控制器1430可以驻留在XR头戴式受话器920、计算机平台910和/或经由有线电缆和/或无线通信链路连接的另一系统组件中。各种功能由XR头戴式受话器控制器1430执行的软件提供。XR头戴式受话器控制器1430被配置成接收来自导航控制器828的在对解剖结构进行的手术程序期间向用户提供引导的导航信息，并且被配置成基于在显示装置1450上显示的导航信息生成XR图像，以在透视显示屏1302上投射。
显示装置1450相对于显示屏(也称为“透视显示屏”)1302的配置被配置成以这样的方式显示XR图像：使得当佩戴XR头戴式受话器920的用户透过显示屏1302观看时，XR图像看起来在现实世界中。显示屏1302可以通过头带1306定位在用户眼睛的前面。
XR头戴式受话器控制器1430可以在被配置成在观看显示屏1302时佩戴在用户头部或用户身体上的其它部位上的壳体内，或可以在通信连接到显示屏1302时远离观看显示屏1302的用户定位。XR头戴式受话器控制器1430可以被配置成可操作地处理来自摄像机1440、麦克风142和/或姿势传感器1446的信令，并且例如通过显示模块1302连接以在显示屏1450上显示XR图像。因此，被绘示为XR头戴式受话器920内的电路块的XR头戴式受话器控制器1430、被理解为可操作地连接到XR头戴式受话器920的其它所绘示组件，但不一定驻留在公共壳体(例如，图1304的电组件外壳13)内或以其它方式可由用户携带。例如，XR头戴式受话器控制器1430可以驻留在计算机平台910内，所述计算机平台910进而可以驻留在图3B和图3C所示出的计算机跟踪系统6'的壳体内。
示例性XR头戴式受话器组件光学布置
图15绘示了根据本公开的一些实施例的展示XR头戴式受话器920的光学组件的布置的框图。参见图15，显示装置1450被配置成显示由XR头戴式受话器控制器1430生成的XR图像1500，来自所述XR图像的光作为XR图像1450被投射到显示屏1302。显示屏1302被配置成将XR图像1450的光和来自真实世界场景1502的光组合成组合的增强视图1504，所述增强视图1504被引导到用户的眼睛1510。以这种方式配置的组合器1302作为透视显示屏进行操作。XR头戴式受话器920可以包含任何多个导航摄像机1440。摄像机1440可以是可见光捕获摄像机、近红外捕获摄像机或两者的组合。
通过XR头戴式受话器的示例性用户视图
XR头戴式受话器操作可以在显示屏1302上显示2D图像和3D模型。2D图像可以优选地在显示屏1302(上部带)的较不透明的带中显示，并且3D模型可以更优选地在以其它方式被称为环境区域(底部带)的显示屏1302的较透明的带中显示。在显示屏1302结束处的下部带下方，佩戴者可以无障碍地看到手术室。注意，在显示屏1302上显示的XR内容可以是流体。3D内容可能会取决于头戴式受话器相对于内容的方位而移动到不透明带，并且2D内容可以被放置在透明带中并相对于真实世界稳定。另外地，整个显示屏1302在电控制下可以变暗，以将头戴式受话器转换成用于手术计划的虚拟现实或在医疗程序期间完全透明。如上文所解释的，XR头戴式受话器920和相关联操作不仅支持导航程序，而且可以与机器人辅助程序结合执行。
图16示出了根据本公开的一些实施例的、通过XR头戴式耳机920的显示屏1302的示例性视图，所述视图用于向在医疗程序期间操纵手术工具1602的用户提供导航辅助。参考图16，当将手术工具1602带到所跟踪的解剖结构附近使得连接到手术工具1602的参考阵列1630和1632在摄像机1440(图15)和46(图6)的视场内时，工具的图形表示1600可以相对于解剖结构的图形表示1610以2D和/或3D图像显示。用户可以使用所观看的图形表示来调整轨迹1602，所述轨迹1602可以绘示为从工具的图形表示2000延伸通过解剖结构的图形表示1610。XR头戴式受话器920还可以显示文本信息和其它对象1640。在所观看的显示屏上延伸的虚线1650表示不同不透明度水平上部带和下部带之间的示例性划分。
可以在显示屏1302上显示的其它类型的XR图像(虚拟内容)可以包含但不限于以下的任何一个或多个：
I)患者解剖的2D轴向、矢状和/或冠状视图；
2)有计划的工具和手术植入物位置对当前跟踪的工具和手术植入物位置的覆盖图；
3)术前图像库；
4)来自显微镜和其它类似系统的视频馈送或远程视频会议；
5)选项和配置设置以及按钮。
6)具有手术计划信息的患者解剖的浮动3D模型；
7)相对于浮动患者解剖的手术仪器的实时跟踪；
8)具有指令和引导的患者解剖的增强覆盖图；以及
9)手术器械的增强覆盖图。
用于跟踪系统组件的摄像机的示例性配置
图17绘示了根据本公开的一些实施例配置的具有两对立体导航摄像机的辅助跟踪棒46的示例性配置；辅助跟踪棒46是图3A、图3B和图3C的摄像机跟踪系统组件的一部分。根据一个实施例，立体导航摄像机包含一对立体的间隔开的可见光捕获摄像机1702和另一对立体的间隔开的近红外捕获摄像机1704。可替换地，在辅助跟踪棒46中可以只使用一对可见光捕获摄像机1702或者只使用一对近红外捕获摄像机1704。可以使用任何多个近红外和/或可见光摄像机。
姿势测量链
如上所述，导航手术可以包含计算机视觉跟踪和确定外科器械的姿势(例如，在六自由度坐标系中的方位和定向)，例如通过确定包含以已知方式布置的间隔开的基准，例如盘或球体的附接的DRA的姿势。计算机视觉使用被配置成捕获近红外和/或可见光的间隔开的导航摄像机，例如立体摄像机。在这种场景下，有三个参数共同竞争优化：(1)精度、(2)稳健性和(3)手术程序期间的用户人机工程学。
本公开的一些进一步的方面涉及计算机操作，所述计算机操作通过结合安装到一个或多个XR头戴式受话器的附加导航摄像机，以能够改善上述三个参数中的一个或多个的优化的方式组合(链)测量姿势。如图17所示，根据本公开的一些实施例，可以将一对立体可见光跟踪摄像机和另一对立体近红外跟踪导航摄像机附接到摄像机跟踪系统组件的辅助跟踪棒。公开了操作算法，其分析被完全观察或部分观察的DRA的姿势(例如，当通过一对立体摄像机观察不到DRA的所有基准时)，并且以能够在导航手术期间提高精度、稳健性和/或人体工程学的方式组合观察到的姿势或部分姿势。
如上所述，XR头戴式受话器可以被配置成利用计算机生成的XR图像来增强真实世界场景。XR头戴式受话器可以被配置成通过在透视显示屏上显示计算机生成的XR图像来提供XR观看环境，所述透视显示屏允许来自真实世界场景的光从其中穿过以由用户进行组合观看。可替代地，XR头戴式受话器可以被配置成通过防止或基本上防止来自真实世界场景的光被用户沿着所显示的XR图像的观看路径直接观看来提供VR观看环境。XR头戴式受话器可以被配置成提供AR和VR观看环境。在一个实施例中，AR和VR观看环境都由布置在透视显示屏和真实世界场景之间的不透明度基本上不同的横向带提供，从而为与高不透明度带对准的XR图像提供VR观看环境，并且为与低不透明度带对准的XR图像提供AR观看环境。在另一个实施例中，AR和VR观看环境都由计算机可调节的不透明度滤光器的控制来提供，所述不透明度滤光器可变地约束来自真实世界场景的多少光穿过透视显示屏以便与用户观看的XR图像组合。因此，XR头戴式受话器也可以被称为AR头戴式受话器或VR头戴式受话器。
同样如上所述，XR头戴式受话器可以包含近红外跟踪摄像机和/或可见光跟踪摄像机，所述近红外跟踪摄像机和/或可见光跟踪摄像机被配置成跟踪连接到外科仪器、患者解剖结构、其它XR头戴式受话器和/或机器人末端执行器的DRA的基准。在XR头戴式受话器上使用近红外跟踪和/或可见光跟踪提供了超出单个辅助跟踪棒上的摄像机所能提供的附加的跟踪体积覆盖。将近红外跟踪摄像机添加到现有的辅助跟踪棒允许比在可见光中更稳健但更不准确地跟踪头戴式受话器位置。机械校准可见和近红外跟踪坐标系使得坐标系能够充分对准，以使用立体匹配来执行3D DRA基准三角测量操作，从而共同识别可见和近红外跟踪坐标系之间的DRA基准的姿势。使用可见和近红外跟踪坐标系可以启用以下任何一个或多个：(a)识别使用单一坐标系无法识别的工具；(b)提高姿势跟踪精度；(c)在不失去对手术仪器、患者解剖结构和/或机器人末端执行器的跟踪的情况下实现更宽范围的运动；以及(d)在与被导航的手术仪器相同的坐标系中自然地跟踪XR头戴式受话器。
图18绘示了手术系统的组件的框图，所述手术系统包含一对XR头戴式受话器1200和1210中的导航摄像机(头戴式显示器HMD1和HMD2)和容纳计算机平台910的摄像机跟踪系统组件6'中的摄像机跟踪棒中的导航摄像机。计算机平台910可包含跟踪子系统830、导航控制器828和XR头戴式受话器控制器1430，如先前在图14中所示。
参考图18的手术系统，外科医生和助理都分别佩戴XR头戴式受话器HMD1 1200和HMD2 1210，每个头戴式受话器包含可以如图13所示配置的导航摄像机。助理佩戴XR头戴式受话器HMD2 1210是任选的。
XR头戴式受话器HMD1 1200和HMD2 1210与辅助跟踪棒上的导航摄像机46的组合可在与计算机平台910一起操作时更稳健地跟踪患者参考阵列(R)、机器人末端执行器(E)和手术工具(T)或仪器的示例性对象。由XR头戴式受话器HMD1 1200和HMD2 1210以及辅助跟踪棒上的导航摄像机46提供的来自不同视角的重叠视图在图12中示出。
图18中标记的项目中的每一个表示唯一的坐标系。坐标系标签的说明如下：
A＝第二头戴式受话器HMD2 1210的可见光坐标系；
N3＝第二头戴式受话器HMD2 1210的NIR坐标系；
S＝主头戴式受话器HMD1 1200的可见光坐标系；
N2＝主头戴式受话器HMD1的NIR坐标系1200；
N＝辅助导航栏46的NIR坐标系；
V＝辅助导航栏46的可见光坐标系；
R＝患者参考基准阵列602的NIR坐标系；
T＝所跟踪的工具604的NIR坐标系；
E＝机器人臂20上的所跟踪的机器人末端执行器的NIR坐标系；以及
W＝具有稳定重力向量的惯性导航世界坐标系。
在制造过程中，当器械安装在手术室中时，和/或在要执行手术程序之前，可以测量和校准这些标记对象中的一些的空间关系(并且通过扩展、坐标系)。在公开的系统中，校准以下坐标系：
Figure BDA0002921932280000251
其中术语“T”被定义为两个所示坐标系之间的六自由度(6DOF)齐次变换。因此，例如，项目
Figure BDA0002921932280000252
是主头戴式受话器HMD1 1200的可见光坐标系与主头戴式受话器HMD1 1200的NIR坐标系之间的6DOF齐次变换。
在一个实施例中，XR头戴式受话器HMD1 1200和HMD2 1210具有描绘或以其它方式附接到其上的无源可见光标记物(坐标系S和A)，例如DRA基准1310，如图13所示。导航摄像机被空间校准到这些无源基准(坐标系N2和N3)。
如上所述，XR头戴式受话器HMD1 1200和HMD2 1210上的摄像机和辅助跟踪棒上的导航摄像机46具有部分重叠的视场。如果XR头戴式受话器HMD1 1200上的一个或多个摄像机被阻挡而不能观看附接到被跟踪对象，例如被跟踪工具(T)的DRA，但是DRA在另一XR头戴式受话器HMD2 1210的摄像机和/或辅助跟踪棒上的导航摄像机46的视野内，则计算机平台910可以继续无缝地跟踪DRA而不丢失导航。另外，如果从XR头戴式受话器HMD1 1200上的摄像机的角度来看存在DRA的部分遮挡，但是整个DRA经由另一XR头戴式受话器HMD2 1210的摄像机和/或辅助跟踪棒上的导航摄像机46可见，则可以合并摄像机的跟踪输入以继续DRA的导航。
更具体地，通过独立观察由XR头戴式受话器HMD1 1200和HMD2 1210提供的各种摄像机系统和辅助跟踪棒上的导航摄像机46，各种坐标系可以链接在一起。例如，XR头戴式受话器HMD1 1200和HMD2 1210中的每一个可能需要机器人末端执行器(E)的虚拟增强。虽然一个XR头戴式受话器HMD1 1200(N2)和辅助跟踪棒(N)上的导航摄像机46能够看见(E)，但是可能另一个XR头戴式受话器HMD2 1210(N3)不能看见。(E)相对于(N3)的位置仍然可以通过几种不同的操作方法之一来计算。根据一个实施例的操作执行来自患者参考(R)的姿势的链接。如果患者参考(R)由(N3)和(N)或(N2)中的任一个看到，则(E)相对于(N3)的姿势可直接由以下两个方程中的任一个求解：
Figure BDA0002921932280000261
或者
Figure BDA0002921932280000262
对这种姿势链的关键是推断每个链末端的帧之间的关系(在下面画圈并传送)。这些链可以是任意长的，并且通过具有一个以上的立体摄像机系统(例如，N、N2、N3)来实现。
图21是根据一些实施例的可由摄像机跟踪系统执行的对应操作的流程图。参考图21，摄像机跟踪系统可以被配置成在手术程序期间从第一跟踪摄像机(例如，N3)和第二跟踪摄像机(例如，N2)接收2100与被跟踪对象相关的跟踪信息。摄像机跟踪系统可以基于来自第一跟踪摄像机(例如，N3)的指示第一对象(例如，R)的姿势的第一对象跟踪信息来确定2102第一对象(例如，R)坐标系和第一跟踪摄像机(例如，N3)坐标系之间的第一姿势变换(例如，
Figure BDA0002921932280000263
)。摄像机跟踪系统可以基于来自第二跟踪摄像机(例如，N2)的指示第一对象(例如，R)的姿势的第一对象跟踪信息来确定2104(例如，
Figure BDA0002921932280000264
)第一对象(例如，R)坐标系和第二跟踪摄像机(例如，N2)坐标系之间的第二姿势变换。摄像机跟踪系统可以基于来自第二跟踪摄像机(例如，N2)的指示第二对象(例如，E)的姿势的第二对象跟踪信息来确定2106(例如，
Figure BDA0002921932280000271
)第二对象(例如，E)坐标系和第二跟踪摄像机(例如，N2)坐标系之间的第三姿势变换。摄像机跟踪系统可以基于组合第一姿势变换、第二姿势变换和第三姿势变换来确定2108(例如，
Figure BDA0002921932280000272
)第二对象(例如，E)坐标系和第一跟踪摄像机(例如，N3)坐标系之间的第四姿势变换。
在一些进一步的实施例中，摄像机系统可以进一步基于通过第四姿势变换对跟踪信息的处理来确定2110第二对象(例如，E)和第一跟踪摄像机系统(例如，N3)坐标系的姿势。
由于各种摄像机系统的重叠视场，当第一摄像机被阻挡而看不到第二对象(例如，E)时，摄像机跟踪系统能够确定第二对象(例如，E)相对于第一跟踪摄像机(例如，N3)的姿势。例如，在一些实施例中，摄像机跟踪系统进一步被配置成确定第二对象(例如，E)坐标系和第一跟踪摄像机(例如，N3)坐标系之间的第四姿势变换(例如，
Figure BDA0002921932280000273
)，而不使用来自第一跟踪摄像机(例如，N3)的指示第二对象(例如E)的姿势的任何跟踪信息。
摄像机跟踪系统可以被进一步配置成基于通过第四姿势变换对来自第一跟踪摄像机(例如，N3)的指示第一对象(例如，R)的姿势的跟踪信息的处理、基于通过第四姿势变换(例如，
Figure BDA0002921932280000274
)对来自第二跟踪摄像机(例如，N2)的指示第一对象(例如，R)的姿势的跟踪信息的处理，以及基于通过第四姿势变换对来自第二跟踪摄像机(例如，N2)的指示第二对象(例如，E)的姿势的跟踪信息的处理，确定第一跟踪摄像机(例如，N3)坐标系中的第二对象(例如，E)的姿势。
摄像机跟踪系统可以通过合并来自多个摄像机系统的同步图像来实现较高的跟踪精度。例如，摄像机跟踪系统可以通过合并来自多个视角(第一和第二跟踪摄像机)的第二对象(例如，E)的同步图像来确定第二对象(例如，E)相对于第一跟踪摄像机(例如，N3)的姿势，并且可以使用可以基于各个摄像机的精度规格确定的加权。更具体地，摄像机跟踪系统可以被进一步配置成基于来自第一跟踪摄像机(例如，N3)的指示第二对象(例如，E)的姿势的第二对象跟踪信息并且进一步基于第一姿势变换、第二姿势变换和第三姿势变换的组合结果来确定第二对象(例如，E)坐标系和第一跟踪摄像机(例如，N3)坐标系之间的第四姿势变换(例如，
Figure BDA0002921932280000275
)。
跟踪系统可以被进一步配置成基于将第一权重应用于来自第一跟踪摄像机(例如，N3)的第一对象跟踪信息和第二对象跟踪信息，将第二权重应用于来自第二跟踪摄像机的第一对象跟踪信息和第二对象跟踪信息(例如，N2)，以及通过第四姿势变换(例如，
Figure BDA0002921932280000276
)处理来自第一跟踪摄像机的第一加权的第一对象跟踪信息和第二对象跟踪信息以及来自第二跟踪摄像机的第二加权的第一对象跟踪信息和第二对象跟踪信息来确定第二对象的姿势(例如，E)。第一权重的值表示第一跟踪摄像机(例如，N3)的姿势确定精度，并且第二权重的值表示第二跟踪摄像机(例如，N2)的姿势确定精度。
摄像机跟踪系统可以被进一步配置成响应于在摄像机跟踪系统的操作期间所确定的第一跟踪摄像机(例如，N3)的姿势确定精度的变化而随时间调整第一权重的值，并且响应于在摄像机跟踪系统的操作期间所确定的第二跟踪摄像机(例如，N2)的姿势确定精度的变化而随时间调整第二权重的值。
摄像机跟踪系统可以被配置成：基于确定第一跟踪摄像机(例如，N3)的姿势确定精度已经降低来降低第一权重的值；并且基于确定第一跟踪摄像机(例如，N3)的姿势确定精度已经增加来增加第一权重的值。
摄像机跟踪系统可以被进一步配置成响应于在摄像机跟踪系统的操作期间第一跟踪摄像机(例如，N3)的姿势确定精度相对于第二跟踪摄像机(例如，N2)的姿势确定精度的所确定的变化，随时间调整第一权重和第二权重中的至少一个的值。
手术系统可以被配置成在XR头戴式受话器的透视显示屏上显示具有基于第四姿势变换确定的姿势的XR图像。摄像机跟踪系统可以被进一步配置成基于通过第四姿势变换对来自第一和第二跟踪摄像机的第一对象跟踪信息和来自第二跟踪摄像机的第二对象跟踪信息的处理，生成作为在透视显示屏上摆姿势的第二对象(例如，E)的图形表示的XR图像。
如上所述，摄像机跟踪系统可以包含导航控制器828，所述导航控制器828通信地连接到第一跟踪摄像机(例如，N3)和第二跟踪摄像机(例如，N2)以接收跟踪信息，并且被配置成执行第一姿势变换、第二姿势变换、第三姿势变换和第四姿势变换的确定。
图19示出了另一种场景，其中遮挡防止两个XR头戴式受话器上的摄像机直接看到附着到末端执行器(E)的所有DRA基准，以及可以被执行以完全解析末端执行器(E)相对于另一个被跟踪的DRA(例如，R)的姿势的相关姿势链操作。即使导航仪器(例如，T)或末端执行器(E)未被任何XR头戴式受话器的摄像机看见或认出，导航仪器(例如，T)或末端执行器(E)仍可通过融合从相对于一个关节坐标系(例如，R)的多个视角跟踪可观察的DRA基准获得的位置信息来识别和定位。
当XR头戴式受话器不能完全识别近红外或可见光中的任何任何对象时(取决于摄像机配置)，但是确实看到一个或多个偏离DRA基准时，跟踪光系统(V、S或A)可以用于粗略地知道在哪里期望定位一个或多个偏离DRA基准它们各自的图像。利用该添加的跟踪信息，可以识别各个DRA基准并在小的感兴趣区域(ROI)内适当地标记。然后可以以现在可以识别先前不可识别的DRA的方式组合和关联从不同角度捕获的各个偏离DRA基准信息。
参考图19中的示例性场景，XR头戴式受话器1200(坐标系N2)可以观察患者参考DRA(R)的所有基准，并且可以部分地观察末端执行器(E)DRA基准(a)和(b)，但是由于中间闭合表面1900而不能观察基准(c)和(d)。另一个XR头戴式受话器1210(坐标系N3)也可以观察患者参考DRA(R)的所有基准，并且可以部分地观察末端执行器(E)DRA基准(c)和(d)，但是由于中间闭合表面1900而不能观察基准(a)和(b)。
通过使用(R)将数据链接到相同的参考系中，可以从跟踪摄像机(N2)和(N3)实现对末端执行器(E)的姿势的识别和求解。即使头戴式摄像机系统(N2)或(N3)都没有察觉到足够的DRA基准来识别末端执行器(E)，由于姿势链，组成末端执行器(E)的四个单独的DRA基准(a、b、c、d)相对于彼此以及相对于参考(R)是已知的。末端执行器(E)在手术中被有效地导航所需的是末端执行器(E)和患者参考(R)之间的关系。可从任一摄像机系统如下独立地计算所述信息：
Figure BDA0002921932280000291
或者
Figure BDA0002921932280000292
姿势链确定
Figure BDA0002921932280000293
和
Figure BDA0002921932280000294
为了从摄像机(N2和N3)检测和求解末端执行器(E)的姿势，将点(a、b、c、d)放入相同的坐标系中。对于找到的每个偏离DRA基准可以执行以下平移矢量操作。这提供了相对于相同患者参考(R)的每个DRA基准：
paR＝paN2+pN2R
pbR＝pbN2+pN2R
pcR＝pcN3+pN3R
pdR＝pdN3+pN3R
一旦已知所有偏离的DRA基准相对于患者参考的位置(paR、pbR、pcR、pdR)，就可以执行传统的3D“指向对象”检测和姿势恢复算法以确定机器人末端执行器(E)相对于患者参考对象(R)的方位和定向。检测和姿势恢复算法的操作可包含：获得DRA基准图案的预定义模型，包含基准之间的限定段长度；测量基准中摄像机观察的基准之间的段长度；以及根据DRA基准图案的预定义模型，搜索并比较观察到的相对片段长度与预定义的相对片段长度。
下面解释根据一些实施例的可由摄像机跟踪系统执行的各种对应的操作。如上所述，每个DRA可以包含间隔开的基准，所述基准附接到第一对象(例如，R)、第二对象(例如，E)、第一跟踪摄像机(例如，N3)和第二跟踪摄像机(例如，N2)中的每一个。摄像机跟踪系统被进一步配置成，当附接到第二对象(例如，E)上的动态参考阵列的第一部分隐藏基准(例如，a)可以被第二跟踪摄像机(例如，N2)看到但不能被第一跟踪摄像机(例如，N3)看到时，基于所确定的第一部分隐藏基准(例如，a)相对于附接到第二跟踪摄像机(例如，N2)的基准的姿势和所确定的附接到第二跟踪摄像机(例如，N2)的基准相对于附接到第一对象(例如，R)的基准的姿势的组合，确定第一部分隐藏基准相对于附接到第一对象(例如，R)的基准的姿势。
摄像机跟踪系统可以被进一步配置成，当附接到第二对象(例如，E)的动态参考阵列的第二部分隐藏基准(例如，b)可以被第二跟踪摄像机(例如，N2)看到但不能被第一跟踪摄像机(例如，N3)看到时，基于所确定的第二部分隐藏基准(例如，b)相对于附接到第二跟踪摄像机(例如，N2)的基准的姿势和所确定的附接到第二跟踪摄像机(例如，N2)的基准相对于附接到第一对象(例如，R)的基准的姿势的组合，确定第二部分隐藏基准(例如，b)相对于附接到第一对象(例如，E)的基准的姿势。
摄像机跟踪系统可以被进一步配置成，当附接到第二对象(例如，E)的动态参考阵列的第三部分隐藏基准(例如，c)不能被第二跟踪摄像机(例如，N2)看到，但是可以被第一跟踪摄像机(例如，N3)看到时，基于所确定的第三部分隐藏基准(例如，c)相对于附接到第一跟踪摄像机(例如，N3)的基准的姿势和所确定的附接到第一跟踪摄像机(例如，N3)的基准相对于附接到第一对象(例如，R)的基准的姿势的组合，确定第三部分隐藏基准(例如，c)相对于附接到第一对象(例如，E)的基准的姿势。
摄像机跟踪系统可以被进一步配置成处理所确定的第一部分隐藏基准相对于附接到第一对象(例如，R)的基准的姿势，并通过姿势恢复操作处理所确定的第三部分隐藏基准(例如，c)相对于附接到第一对象(例如，R)的基准的姿势，以确定第二对象(例如，E)相对于第一对象(例如，R)的姿势。
摄像机跟踪系统可以被进一步配置成，当附接到第二对象(例如，E)的动态参考阵列的第四部分隐藏基准(例如，d)不能被第二跟踪摄像机(例如，N2)看到但可以被第一跟踪摄像机(例如，N3)看到时，基于所确定的第四部分隐藏基准(例如，d)相对于附接到第一跟踪摄像机(例如，N3)的基准的姿势和所确定的附接到第一跟踪摄像机(例如，N3)的基准相对于附接到第一对象(例如，R)的基准的确定姿势的组合，确定第四部分隐藏基准(例如，d)相对于附接到第一对象(例如，E)的基准的姿势。
可以由在此公开的各种实施例提供的潜在优点可以包含以下各项中的一个或多个：在某些场景下先前不能跟踪的工具现在可以通过共享相同坐标系中的部分受阻视图来稳健地跟踪；通过从多个角度合并同步成像，提高了头部和仪器跟踪的精度；支持更宽范围的运动(方位和定向)，而不会由于整个跟踪体积的扩大而失去对仪器和机器人末端执行器的跟踪；可以在与导航仪器相同的坐标系中自然地跟踪XR头戴式受话器，而不需要任何附加设置；由于内置的跟踪冗余允许可靠地识别未校准或有缺陷的立体摄像机，所以手术安全性和结果得到改善。
图20绘示了根据本公开的一些实施例操作的手术系统的各个组件之间的信息流的框图。参照图20，对象跟踪信息从XR头戴式受话器1200和1200流向姿势变换链模块2000，并且从辅助跟踪棒上的导航摄像机46流向姿势变换链模块2000。姿势变换链模块2000被配置成根据上面解释的各种实施例来执行姿势链。XR头戴式受话器控制器1430使用由姿势变换链模块2000确定的目标姿势来产生XR图像，所述XR图像可以被提供给XR头戴式受话器1200和1200用于显示。XR头戴式受话器控制器1430可以基于XR头戴式受话器1200的当前姿势来生成用于在XR头戴式受话器1200上显示的XR图像，并且类似地可以基于XR头戴式受话器1210的当前姿势来生成用于在XR头戴式受话器1210上显示的XR图像。例如，如图16所示，可以向XR头戴式受话器1200提供工具1602的计算机生成的图形表示1600，所述图形表示1600被缩放和摆好姿势以便在透视显示屏上显示，因此用户可以在相对于解剖结构的另一图形表示1610观察图形表示1600的同时精确地操纵工具1602，所述解剖结构在手术程序期间使用所述工具操作。
另外的限定和实施例：
在本发明概念的各个实施例的以上描述中，应当理解，本文使用的术语仅出于描述特定实施例的目的，而不旨在是限制本发明概念的。除非另外限定，否则本文中所使用的所有术语(包含技术术语和科技术语)具有本发明概念所属领域的技术人员通常所理解的相同含义。应进一步理解的是，如常用词典中所定义的术语应被解释为具有与其在本说明书的背景下和相关领域中的含义一致的含义，并且本文中明确地如此定义，将不会在理想化的或过度正式的意义上进行解释。
当元件被称为“连接到”或“联接到”“响应于”另一个元件或其变体时，其可以直接连接到、联接到或响应于另一元件，或者可以存在中间元件。相反，当一个元件被称为与另一个元件“直接地连接”、“直接地联接”、“直接响应于”另一个元件或其变体时，不存在中间元件。贯穿全文以相似的数字指代相似的要素。此外，如本文中使用的“联接”、“连接”、“响应”或其变体可以包含无线联接、连接或响应。除非上下文另外清楚地说明，否则如本文所使用的，单数形式“一个/一种(a、an)”和“所述(the)”旨在包含复数形式。为了简洁和/或清楚，可能不会详细描述众所周知的功能或构造。术语“和/或”包含相关联的所列项中的一个或多个的任何和所有组合。
应当理解，尽管本文中可以使用术语第一、第二、第三等来描述各种元件/操作，但是这些元件/操作不应受这些术语的限制。这些术语仅是用来将一个元件/操作与另一个元件/操作进行区分。因此，在不脱离本发明概念的教导的情况下，一些实施例中的第一元件/操作可以在其它实施例中被称为第二元件/操作。在整个本说明书中，相同的附图标记或相同的附图指示符表示相同或类似的元件。
如本文所使用的，术语“包括(comprise/comprising/comprises)”、“包含(include/including/includes)”、“具有(have/has/having)”或其变体是开放式的，并且包含一个或多个陈述的特征、整数、元件、步骤、组件或功能，但是不排除一个或多个其它特征、整数、元件、步骤、组件、功能或其组合的存在或添加。此外，如本文所使用的，源自拉丁短语“exempli gratia”的通用缩写“例如”可以用于介绍或指定先前提及的项目的一个或多个一般实例，并且不旨在限制这种项目。源自拉丁短语“id est”的通用缩写“即”可以用于从更一般的陈述中指定特定项目。
本文中参考计算机实施的方法、设备(系统和/或装置)和/或计算机程序产品的框图和/或流程绘示描述了示例性实施例。应当理解的是，可以通过由一个或多个计算机电路执行的计算机程序指令来实现框图和/或流程绘示的框以及框图和/或流程绘示中框的组合。这些计算机程序指令可以被提供给通用计算机电路、专用计算机电路和/或其它可编程数据处理电路的处理器电路，以产生机器，使得经由计算机和/或其它可编程数据处理设备的处理器执行的指令转换并控制晶体管、存储在存储器位置中的值以及这种电路系统内的其它硬件组件，以实现框图和/或一个或多个流程图框中指定的功能/动作，并且由此创建用于实现框图和/或一个或多个流程图框中指定的功能/动作的装置(功能)和/或结构。
这些有形计算机程序指令也可以存储在可以指导计算机或其它可编程数据处理设备以特定方式运行的计算机可读介质中，使得存储在计算机可读介质中的指令产生包含实施在框图或一个或多个流程图框中指定的功能/动作的指令的制品。因此，本发明概念的实施例可以体现在硬件和/或软件(包含固件、常驻软件、微代码等)中，其在如数字信号处理器等处理器上运行，所述数字信号处理器可以被统称为“电路系统”、“模块”或其变体。
还应该注意的是，在一些替代性实施方案中，框中标注的功能/动作可以不按流程图中标注的顺序发生。例如，根据所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者所述框有时可以按相反顺序执行。此外，可以将流程图和/或框图的给定框的功能分成多个框，和/或流程图和/或框图的两个或更多个框的功能可以至少部分地集成。最后，在不脱离本发明概念的范围的情况下，可以在所绘示的框之间添加/插入其它框，和/或可以省略框/操作。此外，尽管所述图中的一些图包含通信路径上的箭头以示出通信的主要方向，但是应当理解的是，通信可以在与所描绘的箭头相反的方向上发生。
在不实质脱离本发明概念的原理的情况下，可以对实施例进行许多变化和修改。所有的此种变体以及改变都旨在被包含在本文中本发明概念的范围内。因此，上文所公开的主题应视为说明性而非限制性的，并且所附实施例的实施旨在覆盖落入本发明概念的精神和范围内的所有这种修改、增强以及其它实施例。因此，为了被法律最大程度地允许，本发明概念的范围将由本公开的最广泛允许的解读来确定，所述解读包含以下实施例及其等效物的实例，并且不应受限于或局限于前述具体详细描述。

Claims (10)

1.一种手术系统，其包括：
摄像机跟踪系统，所述摄像机跟踪系统被配置成：
在手术程序期间从第一跟踪摄像机和第二跟踪摄像机接收与被跟踪对象相关的跟踪信息，
基于来自所述第一跟踪摄像机的指示第一对象的姿势的第一对象跟踪信息，确定第一对象坐标系和第一跟踪摄像机坐标系之间的第一姿势变换，
基于来自所述第二跟踪摄像机的指示所述第一对象的姿势的第一对象跟踪信息，确定所述第一对象坐标系和第二跟踪摄像机坐标系之间的第二姿势变换，
基于来自所述第二跟踪摄像机的指示第二对象的姿势的第二对象跟踪信息，确定第二对象坐标系和所述第二跟踪摄像机坐标系之间的第三姿势变换，以及
基于组合所述第一姿势变换、所述第二姿势变换和所述第三姿势变换，确定所述第二对象坐标系和所述第一跟踪摄像机坐标系之间的第四姿势变换。
2.根据权利要求1所述的手术系统，其中所述摄像机跟踪系统被进一步配置成确定所述第二对象坐标系和所述第一跟踪摄像机坐标系之间的所述第四姿势变换，而不使用来自所述第一跟踪摄像机的指示所述第二对象的姿势的任何跟踪信息。
3.根据权利要求1所述的手术系统，其中所述摄像机跟踪系统被进一步配置成基于通过所述第四姿势变换对来自所述第一跟踪摄像机的指示所述第一对象的姿势的所述跟踪信息的处理，基于通过所述第四姿势变换对来自所述第二跟踪摄像机的指示所述第一对象的姿势的所述跟踪信息的处理，以及基于通过第四姿势变换对来自所述第二跟踪摄像机的指示所述第二对象的姿势的所述跟踪信息的处理，确定所述第二对象在所述第一跟踪摄像机坐标系中的姿势。
4.根据权利要求1所述的手术系统，其中所述摄像机跟踪系统被进一步配置成基于来自所述第一跟踪摄像机的指示所述第二对象的姿势的第二对象跟踪信息，并且进一步基于所述组合所述第一姿势变换、所述第二姿势变换和所述第三姿势变换的结果，来确定所述第二对象坐标系和所述第一跟踪摄像机坐标系之间的所述第四姿势变换。
5.根据权利要求4所述的手术系统，其中所述摄像机跟踪系统被进一步配置成基于将第一权重应用于来自所述第一跟踪摄像机的所述第一对象跟踪信息和所述第二对象跟踪信息、将第二权重应用于来自所述第二跟踪摄像机的所述第一对象跟踪信息和所述第二对象跟踪信息，以及通过所述第四姿势变换对来自所述第一跟踪摄像机的第一加权的所述第一对象跟踪信息和所述第二对象跟踪信息以及来自所述第二跟踪摄像机的第二加权的所述第一对象跟踪信息和所述第二对象跟踪信息的处理，确定所述第二对象的姿势，其中所述第一权重的值指示所述第一跟踪摄像机的姿势确定精度，其中所述第二权重的值指示所述第二跟踪摄像机的姿势确定精度。
6.根据权利要求5所述的手术系统，其中所述摄像机跟踪系统被进一步配置成响应于在所述摄像机跟踪系统的操作期间所确定的所述第一跟踪摄像机的姿势确定精度的变化而随时间调整所述第一权重的所述值，并且响应于在所述摄像机跟踪系统的操作期间所确定的所述第二跟踪摄像机的姿势确定精度的变化而随时间调整所述第二权重的所述值。
7.根据权利要求6所述的手术系统，其中所述摄像机跟踪系统被配置成：
基于确定所述第一跟踪摄像机的所述姿势确定精度已经降低来降低所述第一权重的所述值；以及
基于确定所述第一跟踪摄像机的所述姿势确定精度已经增加来增加所述第一权重的所述值。
8.根据权利要求5所述的手术系统，其中所述摄像机跟踪系统被进一步配置成响应于在所述摄像机跟踪系统的操作期间所述第一跟踪摄像机的姿势确定精度相对于所述第二跟踪摄像机的姿势确定精度的所确定的变化，随时间调整所述第一权重和所述第二权重中的至少一个的所述值。
9.根据权利要求1所述的手术系统，其进一步包括扩展现实(XR)头戴式受话器，所述头戴式受话器包含所述第一跟踪摄像机和透视显示屏，所述XR头戴式受话器被配置成在所述手术程序期间由用户佩戴，所述摄像机跟踪系统被进一步配置成：
在所述XR头戴式受话器的所述透视显示屏上显示具有基于所述第四姿势变换确定的姿势的XR图像。
10.根据权利要求9所述的手术系统，其中所述摄像机跟踪系统被进一步配置成：
基于通过所述第四姿势变换对来自所述第一跟踪摄像机和所述第二跟踪摄像机的所述第一对象跟踪信息和来自所述第二跟踪摄像机的所述第二对象跟踪信息的处理，生成作为在所述透视显示屏上摆姿势的所述第二对象的图形表示的所述XR图像。
CN202110119440.9A 2020-01-28 2021-01-28 手术系统 Pending CN113243990A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/774,799 US11464581B2 (en) 2020-01-28 2020-01-28 Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US16/774,799 2020-01-28

Publications (1)

Publication Number Publication Date
CN113243990A true CN113243990A (zh) 2021-08-13

Family

ID=74347000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110119440.9A Pending CN113243990A (zh) 2020-01-28 2021-01-28 手术系统

Country Status (4)

Country Link
US (3) US11464581B2 (zh)
EP (1) EP3858281A1 (zh)
JP (1) JP7135128B2 (zh)
CN (1) CN113243990A (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11696790B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Adaptably connectable and reassignable system accessories for modular energy system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) * 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11452492B2 (en) * 2020-04-21 2022-09-27 Mazor Robotics Ltd. System and method for positioning an imaging device
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US12004824B2 (en) 2021-03-30 2024-06-11 Cilag Gmbh International Architecture for modular energy system
US20220335604A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Anticipation of interactive utilization of common data overlays by different users
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6006126A (en) * 1991-01-28 1999-12-21 Cosman; Eric R. System and method for stereotactic registration of image scan data
US7774044B2 (en) * 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
US20190029765A1 (en) * 2012-06-21 2019-01-31 Globus Medical, Inc. Surgical robotic systems providing transfer of registration and related methods and computer program products
US20190038362A1 (en) * 2017-08-02 2019-02-07 Medtech S.A. Surgical field camera system
CN110621253A (zh) * 2017-03-17 2019-12-27 智能联合外科公司 用于导航手术中的增强现实显示的系统和方法

Family Cites Families (518)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2614083B2 (de) 1976-04-01 1979-02-08 Siemens Ag, 1000 Berlin Und 8000 Muenchen Röntgenschichtgerät zur Herstellung von Transversalschichtbildern
US4722056A (en) 1986-02-18 1988-01-26 Trustees Of Dartmouth College Reference display systems for superimposing a tomagraphic image onto the focal plane of an operating microscope
US5246010A (en) 1990-12-11 1993-09-21 Biotrine Corporation Method and apparatus for exhalation analysis
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
EP0646263B1 (en) 1993-04-20 2000-05-31 General Electric Company Computer graphic and live video system for enhancing visualisation of body structures during surgery
US5961456A (en) 1993-05-12 1999-10-05 Gildenberg; Philip L. System and method for displaying concurrent video and reconstructed surgical views
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
JP3378401B2 (ja) 1994-08-30 2003-02-17 株式会社日立メディコ Ｘ線装置
US5622187A (en) * 1994-09-30 1997-04-22 Nomos Corporation Method and apparatus for patient positioning for radiation therapy
US5772594A (en) 1995-10-17 1998-06-30 Barrick; Earl F. Fluoroscopic image guided orthopaedic surgery system with intraoperative registration
US6167296A (en) 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US6226548B1 (en) 1997-09-24 2001-05-01 Surgical Navigation Technologies, Inc. Percutaneous registration apparatus and method for use in computer-assisted surgical navigation
US5987960A (en) 1997-09-26 1999-11-23 Picker International, Inc. Tool calibrator
WO1999023524A1 (en) 1997-10-30 1999-05-14 The Microoptical Corporation Eyeglass interface system
US6031888A (en) 1997-11-26 2000-02-29 Picker International, Inc. Fluoro-assist feature for a diagnostic imaging device
US6477400B1 (en) 1998-08-20 2002-11-05 Sofamor Danek Holdings, Inc. Fluoroscopic image guided orthopaedic surgery system with intraoperative registration
DE19839825C1 (de) 1998-09-01 1999-10-07 Siemens Ag Röntgendiagnostikgerät mit an einer bogenförmigen Halterung einander gegenüberliegend gelagertem Strahlensender und Strahlenempfänger
DE19842798C1 (de) 1998-09-18 2000-05-04 Howmedica Leibinger Gmbh & Co Kalibriervorrichtung
US7016457B1 (en) 1998-12-31 2006-03-21 General Electric Company Multimode imaging system for generating high quality images
DE19905974A1 (de) 1999-02-12 2000-09-07 Siemens Ag Verfahren zur Abtastung eines Untersuchungsobjekts mittels eines CT-Geräts
US6778850B1 (en) 1999-03-16 2004-08-17 Accuray, Inc. Frameless radiosurgery treatment system and method
US6144875A (en) 1999-03-16 2000-11-07 Accuray Incorporated Apparatus and method for compensating for respiratory and patient motion during treatment
US6501981B1 (en) 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US6470207B1 (en) 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
JP2000271110A (ja) 1999-03-26 2000-10-03 Hitachi Medical Corp 医用ｘ線装置
US6301495B1 (en) 1999-04-27 2001-10-09 International Business Machines Corporation System and method for intra-operative, image-based, interactive verification of a pre-operative surgical plan
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6139544A (en) 1999-05-26 2000-10-31 Endocare, Inc. Computer guided cryosurgery
DE19927953A1 (de) 1999-06-18 2001-01-11 Siemens Ag Röntgendiagnostikgerät
US6314311B1 (en) 1999-07-28 2001-11-06 Picker International, Inc. Movable mirror laser registration system
US8004229B2 (en) 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US6379302B1 (en) 1999-10-28 2002-04-30 Surgical Navigation Technologies Inc. Navigation information overlay onto ultrasound imagery
US20010036302A1 (en) 1999-12-10 2001-11-01 Miller Michael I. Method and apparatus for cross modality image registration
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US6725080B2 (en) 2000-03-01 2004-04-20 Surgical Navigation Technologies, Inc. Multiple cannula image guided tool for image guided procedures
EP1265547A1 (en) 2000-03-15 2002-12-18 Orthosoft Inc. Automatic calibration system for computer-aided surgical instruments
US6535756B1 (en) 2000-04-07 2003-03-18 Surgical Navigation Technologies, Inc. Trajectory storage apparatus and method for surgical navigation system
US6856826B2 (en) 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6856827B2 (en) 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6490475B1 (en) 2000-04-28 2002-12-03 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6614453B1 (en) 2000-05-05 2003-09-02 Koninklijke Philips Electronics, N.V. Method and apparatus for medical image display for surgical tool planning and navigation in clinical environments
US6782287B2 (en) 2000-06-27 2004-08-24 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for tracking a medical instrument based on image registration
US6823207B1 (en) 2000-08-26 2004-11-23 Ge Medical Systems Global Technology Company, Llc Integrated fluoroscopic surgical navigation and imaging workstation with command protocol
AU2001294718A1 (en) 2000-09-25 2002-05-06 Z-Kat, Inc Fluoroscopic registration artifact with optical and/or magnetic markers
US7953470B2 (en) 2000-10-23 2011-05-31 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method, device and navigation aid for navigation during medical interventions
US6666579B2 (en) 2000-12-28 2003-12-23 Ge Medical Systems Global Technology Company, Llc Method and apparatus for obtaining and displaying computed tomography images using a fluoroscopy imaging system
EP1364183B1 (en) 2001-01-30 2013-11-06 Mako Surgical Corp. Tool calibrator and tracker system
US7176936B2 (en) 2001-03-27 2007-02-13 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with modulated guiding graphics
US6856324B2 (en) 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
US7605826B2 (en) 2001-03-27 2009-10-20 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with depth determining graphics
US6919867B2 (en) 2001-03-29 2005-07-19 Siemens Corporate Research, Inc. Method and apparatus for augmented reality visualization
JP2005500096A (ja) 2001-06-13 2005-01-06 ヴォリューム・インタラクションズ・プライヴェート・リミテッド ガイドシステム
US20040254454A1 (en) 2001-06-13 2004-12-16 Kockro Ralf Alfons Guide system and a probe therefor
US6584339B2 (en) 2001-06-27 2003-06-24 Vanderbilt University Method and apparatus for collecting and processing physical space data for use while performing image-guided surgery
US7063705B2 (en) 2001-06-29 2006-06-20 Sdgi Holdings, Inc. Fluoroscopic locator and registration device
US6619840B2 (en) 2001-10-15 2003-09-16 Koninklijke Philips Electronics N.V. Interventional volume scanner
DE50100535D1 (de) 2001-12-18 2003-09-25 Brainlab Ag Projektion von Patientenbilddaten aus Durchleuchtungs bzw. Schichtbilderfassungsverfahren auf Oberflächenvideobilder
US20030210812A1 (en) 2002-02-26 2003-11-13 Ali Khamene Apparatus and method for surgical navigation
US6947786B2 (en) 2002-02-28 2005-09-20 Surgical Navigation Technologies, Inc. Method and apparatus for perspective inversion
US8996169B2 (en) 2011-12-29 2015-03-31 Mako Surgical Corp. Neural monitor-based dynamic haptics
US7831292B2 (en) 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
US20030179308A1 (en) 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
JP2005527800A (ja) 2002-03-19 2005-09-15 ブレークアウェイ・イメージング・エルエルシー 大視野の対象物を画像化するシステムおよび方法
US7099428B2 (en) 2002-06-25 2006-08-29 The Regents Of The University Of Michigan High spatial resolution X-ray computed tomography (CT) system
AU2003264048A1 (en) 2002-08-09 2004-02-25 Intersense, Inc. Motion tracking system and method
US7231063B2 (en) 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
US6867753B2 (en) 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US8814793B2 (en) 2002-12-03 2014-08-26 Neorad As Respiration monitor
US7945021B2 (en) 2002-12-18 2011-05-17 Varian Medical Systems, Inc. Multi-mode cone beam CT radiotherapy simulator and treatment machine with a flat panel imager
US7542791B2 (en) 2003-01-30 2009-06-02 Medtronic Navigation, Inc. Method and apparatus for preplanning a surgical procedure
US6988009B2 (en) 2003-02-04 2006-01-17 Zimmer Technology, Inc. Implant registration device for surgical navigation system
US7570791B2 (en) 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
JP4163991B2 (ja) 2003-04-30 2008-10-08 株式会社モリタ製作所 Ｘ線ｃｔ撮影装置及び撮影方法
US7194120B2 (en) 2003-05-29 2007-03-20 Board Of Regents, The University Of Texas System Methods and systems for image-guided placement of implants
US7171257B2 (en) 2003-06-11 2007-01-30 Accuray Incorporated Apparatus and method for radiosurgery
US20050054910A1 (en) 2003-07-14 2005-03-10 Sunnybrook And Women's College Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging applications
WO2005004722A2 (en) 2003-07-15 2005-01-20 Koninklijke Philips Electronics N.V. Computed tomography scanner with large gantry bore
US7313430B2 (en) 2003-08-28 2007-12-25 Medtronic Navigation, Inc. Method and apparatus for performing stereotactic surgery
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
US9393039B2 (en) 2003-12-17 2016-07-19 Brainlab Ag Universal instrument or instrument set for computer guided surgery
EP1720479B1 (en) 2004-03-05 2014-04-23 Depuy International Limited Registration methods and apparatus
US20080269596A1 (en) 2004-03-10 2008-10-30 Ian Revie Orthpaedic Monitoring Systems, Methods, Implants and Instruments
CN1957373A (zh) 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
US9681925B2 (en) 2004-04-21 2017-06-20 Siemens Medical Solutions Usa, Inc. Method for augmented reality instrument placement using an image based navigation system
US7327865B2 (en) 2004-06-30 2008-02-05 Accuray, Inc. Fiducial-less tracking with non-rigid image registration
GB2422759B (en) 2004-08-05 2008-07-16 Elekta Ab Rotatable X-ray scan apparatus with cone beam offset
US7702379B2 (en) 2004-08-25 2010-04-20 General Electric Company System and method for hybrid tracking in surgical navigation
DE102004042489B4 (de) 2004-08-31 2012-03-29 Siemens Ag Medizinische Untersuchungs- oder Behandlungseinrichtung mit dazugehörigem Verfahren
AU2004323338B2 (en) 2004-09-15 2011-01-20 Ao Technology Ag Calibrating device
CN101035464A (zh) 2004-10-06 2007-09-12 皇家飞利浦电子股份有限公司 计算层析成像方法
US7831294B2 (en) 2004-10-07 2010-11-09 Stereotaxis, Inc. System and method of surgical imagining with anatomical overlay for navigation of surgical devices
EP1681028B1 (de) * 2005-01-12 2014-03-26 Brainlab AG Video-tracking und -Registrierung
WO2006075331A2 (en) 2005-01-13 2006-07-20 Mazor Surgical Technologies Ltd. Image-guided robotic system for keyhole neurosurgery
US7062006B1 (en) 2005-01-19 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Computed tomography with increased field of view
US20060184396A1 (en) 2005-01-28 2006-08-17 Dennis Charles L System and method for surgical navigation
WO2006086223A2 (en) 2005-02-08 2006-08-17 Blue Belt Technologies, Inc. Augmented reality device and method
US7231014B2 (en) 2005-02-14 2007-06-12 Varian Medical Systems Technologies, Inc. Multiple mode flat panel X-ray imaging system
EP1854303A1 (en) 2005-02-17 2007-11-14 Koninklijke Philips Electronics N.V. Autostereoscopic display
CN101528122B (zh) 2005-03-07 2011-09-07 赫克托·O·帕切科 一种用于插入到椎弓根中的套管
WO2006095027A1 (en) 2005-03-11 2006-09-14 Bracco Imaging S.P.A. Methods and apparati for surgical navigation and visualization with microscope
US7480402B2 (en) 2005-04-20 2009-01-20 Visionsense Ltd. System and method for producing an augmented image of an organ of a patient
EP1887961B1 (en) 2005-06-06 2012-01-11 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
JP2007000406A (ja) 2005-06-24 2007-01-11 Ge Medical Systems Global Technology Co Llc Ｘ線ｃｔ撮影方法およびｘ線ｃｔ装置
US7840256B2 (en) 2005-06-27 2010-11-23 Biomet Manufacturing Corporation Image guided tracking array and method
US20070038059A1 (en) 2005-07-07 2007-02-15 Garrett Sheffer Implant and instrument morphing
WO2007022081A2 (en) 2005-08-11 2007-02-22 The Brigham And Women's Hospital, Inc. System and method for performing single photon emission computed tomography (spect) with a focal-length cone-beam collimation
US7643862B2 (en) 2005-09-15 2010-01-05 Biomet Manufacturing Corporation Virtual mouse for use in surgical navigation
US20070073133A1 (en) 2005-09-15 2007-03-29 Schoenefeld Ryan J Virtual mouse for use in surgical navigation
US7835784B2 (en) 2005-09-21 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for positioning a reference frame
EP1946243A2 (en) 2005-10-04 2008-07-23 Intersense, Inc. Tracking objects with markers
US20070167702A1 (en) 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
EP1966767A2 (en) 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20070236514A1 (en) 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
EP2004071B1 (en) 2006-03-30 2013-05-15 Koninklijke Philips Electronics N.V. Targeting device, computer readable medium and program element
WO2007115826A2 (en) 2006-04-12 2007-10-18 Nassir Navab Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
EP2010058B1 (en) 2006-04-14 2017-05-17 William Beaumont Hospital Computed Tomography System and Method
US8021310B2 (en) 2006-04-21 2011-09-20 Nellcor Puritan Bennett Llc Work of breathing display for a ventilation system
US7940999B2 (en) 2006-04-24 2011-05-10 Siemens Medical Solutions Usa, Inc. System and method for learning-based 2D/3D rigid registration for image-guided surgery using Jensen-Shannon divergence
EP2012698B8 (en) 2006-05-04 2011-06-22 NAVAB, Nassir Interactive virtual mirror device for visualizing virtual objects in endoscopic applications
US20080004523A1 (en) 2006-06-29 2008-01-03 General Electric Company Surgical tool guide
DE102006032127B4 (de) 2006-07-05 2008-04-30 Aesculap Ag & Co. Kg Kalibrierverfahren und Kalibriervorrichtung für eine chirurgische Referenzierungseinheit
US20080013809A1 (en) 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
EP2053972B1 (en) 2006-08-17 2013-09-11 Koninklijke Philips Electronics N.V. Computed tomography image acquisition
DE102006041033B4 (de) 2006-09-01 2017-01-19 Siemens Healthcare Gmbh Verfahren zur Rekonstruktion eines dreidimensionalen Bildvolumens
WO2008031077A2 (en) 2006-09-08 2008-03-13 Hansen Medical, Inc. Robotic surgical system with forward-oriented field of view guide instrument navigation
US8532741B2 (en) 2006-09-08 2013-09-10 Medtronic, Inc. Method and apparatus to optimize electrode placement for neurological stimulation
US20080123910A1 (en) 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
WO2008038283A2 (en) 2006-09-25 2008-04-03 Mazor Surgical Technologies Ltd. C-arm computerized tomography system
US8660635B2 (en) 2006-09-29 2014-02-25 Medtronic, Inc. Method and apparatus for optimizing a computer assisted surgical procedure
US8052688B2 (en) 2006-10-06 2011-11-08 Wolf Ii Erich Electromagnetic apparatus and method for nerve localization during spinal surgery
US20080144906A1 (en) 2006-10-09 2008-06-19 General Electric Company System and method for video capture for fluoroscopy and navigation
US20080108991A1 (en) 2006-11-08 2008-05-08 General Electric Company Method and apparatus for performing pedicle screw fusion surgery
US8358818B2 (en) 2006-11-16 2013-01-22 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US8727618B2 (en) 2006-11-22 2014-05-20 Siemens Aktiengesellschaft Robotic device and method for trauma patient diagnosis and therapy
US7683331B2 (en) 2006-12-08 2010-03-23 Rush University Medical Center Single photon emission computed tomography (SPECT) system for cardiac imaging
US7683332B2 (en) 2006-12-08 2010-03-23 Rush University Medical Center Integrated single photon emission computed tomography (SPECT)/transmission computed tomography (TCT) system for cardiac imaging
DE102006061178A1 (de) 2006-12-22 2008-06-26 Siemens Ag System zur Durchführung und Überwachung minimal-invasiver Eingriffe
US20080161680A1 (en) 2006-12-29 2008-07-03 General Electric Company System and method for surgical navigation of motion preservation prosthesis
US20080183074A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Method and apparatus for coordinated display of anatomical and neuromonitoring information
US20080183188A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Surgical Navigational and Neuromonitoring System
US7987001B2 (en) 2007-01-25 2011-07-26 Warsaw Orthopedic, Inc. Surgical navigational and neuromonitoring instrument
US8374673B2 (en) 2007-01-25 2013-02-12 Warsaw Orthopedic, Inc. Integrated surgical navigational and neuromonitoring system having automated surgical assistance and control
US20080183068A1 (en) 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
WO2008095166A1 (en) 2007-02-01 2008-08-07 Interactive Neuroscience Center, Llc Surgical navigation
WO2008103383A1 (en) 2007-02-20 2008-08-28 Gildenberg Philip L Videotactic and audiotactic assisted surgical methods and procedures
DE102007009017B3 (de) 2007-02-23 2008-09-25 Siemens Ag Anordnung zur Unterstützung eines perkutanen Eingriffs
US8098914B2 (en) 2007-03-05 2012-01-17 Siemens Aktiengesellschaft Registration of CT volumes with fluoroscopic images
US8821511B2 (en) 2007-03-15 2014-09-02 General Electric Company Instrument guide for use with a surgical navigation system
US20080235052A1 (en) 2007-03-19 2008-09-25 General Electric Company System and method for sharing medical information between image-guided surgery systems
US8150494B2 (en) 2007-03-29 2012-04-03 Medtronic Navigation, Inc. Apparatus for registering a physical space to image space
US8560118B2 (en) 2007-04-16 2013-10-15 Neuroarm Surgical Ltd. Methods, devices, and systems for non-mechanically restricting and/or programming movement of a tool of a manipulator along a single axis
US8311611B2 (en) 2007-04-24 2012-11-13 Medtronic, Inc. Method for performing multiple registrations in a navigated procedure
US8934961B2 (en) 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use
US20080300477A1 (en) 2007-05-30 2008-12-04 General Electric Company System and method for correction of automated image registration
FR2917598B1 (fr) 2007-06-19 2010-04-02 Medtech Plateforme robotisee multi-applicative pour la neurochirurgie et procede de recalage
US9468412B2 (en) 2007-06-22 2016-10-18 General Electric Company System and method for accuracy verification for image based surgical navigation
GB0712690D0 (en) 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
US8100950B2 (en) 2007-07-27 2012-01-24 The Cleveland Clinic Foundation Oblique lumbar interbody fusion
US8462911B2 (en) 2007-11-06 2013-06-11 Koninklijke Philips Electronics N.V. Nuclear medicine SPECT-CT machine with integrated asymmetric flat panel cone-beam CT and SPECT system
BRPI0821007A8 (pt) 2007-12-21 2015-11-10 Koninklijke Philips Electronics Nv Sistemas para rastrear um instrumento médico durante um procedimento intervencional e para minimizar a dose de radiação durante rastreamento de um instrumento médico, e, método para rastrear um instrumento médico
US20090198121A1 (en) 2008-02-01 2009-08-06 Martin Hoheisel Method and apparatus for coordinating contrast agent injection and image acquisition in c-arm computed tomography
US8696458B2 (en) 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US9002076B2 (en) 2008-04-15 2015-04-07 Medtronic, Inc. Method and apparatus for optimal trajectory planning
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8167793B2 (en) 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
TW201004607A (en) 2008-07-25 2010-02-01 Been-Der Yang Image guided navigation system and method thereof
US20100030061A1 (en) 2008-07-31 2010-02-04 Canfield Monte R Navigation system for cardiac therapies using gating
JP2010035984A (ja) 2008-08-08 2010-02-18 Canon Inc Ｘ線撮影装置
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
US7900524B2 (en) 2008-09-09 2011-03-08 Intersense, Inc. Monitoring tools
WO2010041193A2 (en) 2008-10-10 2010-04-15 Koninklijke Philips Electronics N.V. Method and apparatus to improve ct image acquisition using a displaced geometry
WO2010044852A2 (en) 2008-10-14 2010-04-22 University Of Florida Research Foundation, Inc. Imaging platform to provide integrated navigation capabilities for surgical guidance
WO2010048160A2 (en) 2008-10-20 2010-04-29 The Johns Hopkins University Environment property estimation and graphical display
TWI435705B (zh) 2008-11-20 2014-05-01 Been Der Yang 手術用定位裝置及應用其之影像導航系統
JP5384521B2 (ja) 2008-11-27 2014-01-08 株式会社日立メディコ 放射線撮像装置
CN102300512B (zh) 2008-12-01 2016-01-20 马佐尔机器人有限公司 机器人引导的倾斜脊柱稳定化
WO2010084389A1 (en) 2009-01-21 2010-07-29 Koninklijke Philips Electronics N.V. Method and apparatus for large field of view imaging and detection and compensation of motion artifacts
US8611985B2 (en) 2009-01-29 2013-12-17 Imactis Method and device for navigation of a surgical tool
WO2010100596A1 (en) 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Medical viewing system for displaying a region of interest on medical images
US9737235B2 (en) 2009-03-09 2017-08-22 Medtronic Navigation, Inc. System and method for image-guided navigation
CN107510506A (zh) 2009-03-24 2017-12-26 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
CN101897593B (zh) 2009-05-26 2014-08-13 清华大学 一种计算机层析成像设备和方法
US9980698B2 (en) 2009-05-28 2018-05-29 Koninklijke Philips N.V. Re-calibration of pre-recorded images during interventions using a needle device
US8121249B2 (en) 2009-06-04 2012-02-21 Virginia Tech Intellectual Properties, Inc. Multi-parameter X-ray computed tomography
DE102009025077A1 (de) 2009-06-10 2010-12-16 Karl Storz Gmbh & Co. Kg System zur Orientierungsunterstützung und Darstellung eines Instruments im Inneren eines Untersuchungsobjektes insbesondere im menschlichen Körper
WO2011013164A1 (ja) 2009-07-27 2011-02-03 株式会社島津製作所 放射線撮影装置
WO2011015957A1 (en) 2009-08-06 2011-02-10 Koninklijke Philips Electronics N.V. Method and apparatus for generating computed tomography images with offset detector geometries
EP2467798B1 (en) 2009-08-17 2020-04-15 Mazor Robotics Ltd. Device for improving the accuracy of manual operations
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US8784443B2 (en) 2009-10-20 2014-07-22 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for astigmatism correction
US20110098553A1 (en) 2009-10-28 2011-04-28 Steven Robbins Automatic registration of images for image guided surgery
US20120059378A1 (en) 2009-11-25 2012-03-08 James David Farrell Efficient Sculpting System
US9750465B2 (en) 2009-12-10 2017-09-05 Koninklijke Philips N.V. Scanning system for differential phase contrast imaging
US8938301B2 (en) 2010-01-06 2015-01-20 Evoke Neuroscience, Inc. Headgear with displaceable sensors for electrophysiology measurement and training
CN102711650B (zh) 2010-01-13 2015-04-01 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
US9381045B2 (en) 2010-01-13 2016-07-05 Jcbd, Llc Sacroiliac joint implant and sacroiliac joint instrument for fusing a sacroiliac joint
US9030444B2 (en) 2010-01-14 2015-05-12 Brainlab Ag Controlling and/or operating a medical device by means of a light pointer
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US8842893B2 (en) 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
JP2013530028A (ja) 2010-05-04 2013-07-25 パスファインダー セラピューティクス，インコーポレイテッド 擬似特徴を使用する腹部表面マッチングのためのシステムおよび方法
US8738115B2 (en) 2010-05-11 2014-05-27 Siemens Aktiengesellschaft Method and apparatus for selective internal radiation therapy planning and implementation
DE102010020284A1 (de) 2010-05-12 2011-11-17 Siemens Aktiengesellschaft Bestimmung von 3D-Positionen und -Orientierungen von chirurgischen Objekten aus 2D-Röntgenbildern
US8945140B2 (en) 2010-06-18 2015-02-03 Vantage Surgical Systems, Inc. Surgical procedures using instrument to boundary spacing information extracted from real-time diagnostic scan data
DE102010026674B4 (de) 2010-07-09 2012-09-27 Siemens Aktiengesellschaft Bildgebungsvorrichtung und Strahlentherapiegerät
EP2593922A1 (en) 2010-07-14 2013-05-22 BrainLAB AG Method and system for determining an imaging direction and calibration of an imaging apparatus
US20120035507A1 (en) 2010-07-22 2012-02-09 Ivan George Device and method for measuring anatomic geometries
US8740882B2 (en) 2010-07-30 2014-06-03 Lg Electronics Inc. Medical robotic system and method of controlling the same
JP2012045278A (ja) 2010-08-30 2012-03-08 Fujifilm Corp Ｘ線画像撮影装置およびｘ線画像撮影方法
US8526700B2 (en) 2010-10-06 2013-09-03 Robert E. Isaacs Imaging system and method for surgical and interventional medical procedures
US8718346B2 (en) 2011-10-05 2014-05-06 Saferay Spine Llc Imaging system and method for use in surgical and interventional medical procedures
US10456209B2 (en) 2010-10-13 2019-10-29 Gholam A. Peyman Remote laser treatment system with dynamic imaging
US8325873B2 (en) 2010-10-20 2012-12-04 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
EP2452649A1 (en) 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
US9439556B2 (en) 2010-12-10 2016-09-13 Wayne State University Intelligent autonomous camera control for robotics with medical, military, and space applications
EP3649937A1 (en) 2010-12-13 2020-05-13 Statera Spine, Inc. Methods, systems and devices for clinical data reporting and surgical navigation
EP3266381B1 (en) 2010-12-22 2022-01-05 ViewRay Technologies, Inc. System and method for image guidance during medical procedures
WO2012095755A1 (en) 2011-01-13 2012-07-19 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
WO2012106310A1 (en) 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
JP6092124B2 (ja) 2011-02-07 2017-03-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管介入手順において介入装置の正確な位置決めを支援する画像描写を提供する医用撮像装置
US20140044333A1 (en) 2011-02-17 2014-02-13 Dartmouth College System and method for providing registration between breast shapes before and during surgery
US20120226145A1 (en) 2011-03-03 2012-09-06 National University Of Singapore Transcutaneous robot-assisted ablation-device insertion navigation system
US9308050B2 (en) 2011-04-01 2016-04-12 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system and method for spinal and other surgeries
WO2012139031A1 (en) 2011-04-06 2012-10-11 The Trustees Of Columbia University In The City Of New York System, method and computer-accessible medium for providing a panoramic cone beam computed tomography (cbct)
WO2012149548A2 (en) 2011-04-29 2012-11-01 The Johns Hopkins University System and method for tracking and navigation
US9265468B2 (en) 2011-05-11 2016-02-23 Broncus Medical, Inc. Fluoroscopy-based surgical device tracking method
EP2719353A4 (en) 2011-06-06 2015-04-22 Nozomu Matsumoto METHOD FOR MANUFACTURING RECORDING MATRIX
US8818105B2 (en) 2011-07-14 2014-08-26 Accuray Incorporated Image registration for image-guided surgery
DE102011079561B4 (de) 2011-07-21 2018-10-18 Siemens Healthcare Gmbh Verfahren und Röntgengerät zum zeitlich aktuellen Darstellen eines bewegten Abschnitts eines Körpers, Computerprogramm und Datenträger
CN103717136B (zh) 2011-07-29 2017-03-29 皇家飞利浦有限公司 X射线上对软组织运动的准确可视化
US9554866B2 (en) 2011-08-09 2017-01-31 Covidien Lp Apparatus and method for using a remote control system in surgical procedures
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
EP2744419B1 (en) 2011-08-21 2019-10-02 M.S.T. Medical Surgery Technologies Ltd. Device for asissting laparoscopic surgery - rule based approach
US9795282B2 (en) 2011-09-20 2017-10-24 M.S.T. Medical Surgery Technologies Ltd Device and method for maneuvering endoscope
DE102011054910B4 (de) 2011-10-28 2013-10-10 Ovesco Endoscopy Ag Magnetischer Endeffektor und Einrichtung zur Führung und Positionierung desselben
FR2983059B1 (fr) 2011-11-30 2014-11-28 Medtech Procede assiste par robotique de positionnement d'instrument chirurgical par rapport au corps d'un patient et dispositif de mise en oeuvre.
CA2856549A1 (en) 2011-12-01 2013-06-06 Neochord, Inc. Surgical navigation for repair of heart valve leaflets
CN104010560A (zh) 2011-12-21 2014-08-27 皇家飞利浦有限公司 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿
FR2985167A1 (fr) 2011-12-30 2013-07-05 Medtech Procede medical robotise de surveillance de la respiration d'un patient et de correction de la trajectoire robotisee.
US8891847B2 (en) 2012-01-23 2014-11-18 Medtronic Navigation, Inc. Automatic implant detection from image artifacts
US20130211232A1 (en) 2012-02-01 2013-08-15 The Johns Hopkins University Arthroscopic Surgical Planning and Execution with 3D Imaging
US9451915B1 (en) 2012-02-29 2016-09-27 Google Inc. Performance of a diagnostic procedure using a wearable computing device
WO2013134782A1 (en) 2012-03-09 2013-09-12 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
US11207132B2 (en) 2012-03-12 2021-12-28 Nuvasive, Inc. Systems and methods for performing spinal surgery
US8888821B2 (en) 2012-04-05 2014-11-18 Warsaw Orthopedic, Inc. Spinal implant measuring system and method
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
JP2015523102A (ja) 2012-04-16 2015-08-13 チルドレンズ ナショナル メディカル センターＣｈｉｌｄｒｅｎ’Ｓ Ｎａｔｉｏｎａｌ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ 手術及び介入処置での追跡及び制御の為のデュアルモードステレオイメージングシステム
RU2668490C2 (ru) 2012-04-19 2018-10-01 Конинклейке Филипс Н.В. Инструменты наведения для ручного управления эндоскопом с помощью 3d-изображений, полученных до операции и во время операции
US10383765B2 (en) 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
WO2013163800A2 (zh) 2012-05-02 2013-11-07 医百科技股份有限公司 口腔内手术中辅助导引的方法
WO2013165408A1 (en) 2012-05-02 2013-11-07 Empire Technology Development Llc Four dimensional image registration using dynamical model for augmented reality in medical applications
US9125556B2 (en) 2012-05-14 2015-09-08 Mazor Robotics Ltd. Robotic guided endoscope
WO2013173666A1 (en) 2012-05-18 2013-11-21 Carestream Health, Inc. Cone beam computed tomography volumetric imaging system
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
KR101427730B1 (ko) 2012-05-25 2014-09-23 주식회사 고영테크놀러지 수술용 내비게이션 시스템의 증강현실을 위한 카메라 레지스트레이션 방법
CN107595392B (zh) 2012-06-01 2020-11-27 直观外科手术操作公司 使用零空间回避操纵器臂与患者碰撞
US20130345757A1 (en) 2012-06-22 2013-12-26 Shawn D. Stad Image Guided Intra-Operative Contouring Aid
US20150146946A1 (en) 2012-06-28 2015-05-28 Koninklijke Pjilips N.V. Overlay and registration of preoperative data on live video using a portable device
US11278182B2 (en) 2012-06-28 2022-03-22 Koninklijke Philips N.V. Enhanced visualization of blood vessels using a robotically steered endoscope
US10610172B2 (en) 2012-07-17 2020-04-07 Koninklijke Philips N.V. Imaging system and method for enabling instrument guidance
US20140022283A1 (en) 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
US20120302875A1 (en) 2012-08-08 2012-11-29 Gregory Allen Kohring System and method for inserting intracranial catheters
US10110785B2 (en) 2012-08-10 2018-10-23 Karl Storz Imaging, Inc. Deployable imaging system equipped with solid state imager
KR102109594B1 (ko) 2012-08-15 2020-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영-공간을 이용하여 조인트 운동을 상쇄하기 위한 시스템 및 방법
US9855103B2 (en) 2012-08-27 2018-01-02 University Of Houston System Robotic device and system software, hardware and methods of use for image-guided and robot-assisted surgery
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US20140080086A1 (en) 2012-09-20 2014-03-20 Roger Chen Image Navigation Integrated Dental Implant System
US9563266B2 (en) 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US20150238276A1 (en) 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
EP2732761A1 (en) 2012-11-14 2014-05-21 Hill-Rom Services, Inc. Augmented reality system in the patient care environment
US20140130810A1 (en) 2012-11-14 2014-05-15 Intuitive Surgical Operations, Inc. Smart drapes for collision avoidance
US9001962B2 (en) 2012-12-20 2015-04-07 Triple Ring Technologies, Inc. Method and apparatus for multiple X-ray imaging applications
US8948935B1 (en) 2013-01-02 2015-02-03 Google Inc. Providing a medical support device via an unmanned aerial vehicle
CN103969269B (zh) 2013-01-31 2018-09-18 Ge医疗系统环球技术有限公司 用于几何校准ct扫描仪的方法和装置
US20140221819A1 (en) 2013-02-01 2014-08-07 David SARMENT Apparatus, system and method for surgical navigation
US10736497B2 (en) 2013-03-11 2020-08-11 Institut Hospitalo-Universitaire De Chirurgie Mini-Invasive Guidee Par L'image Anatomical site relocalisation using dual data synchronisation
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
WO2014165805A2 (en) 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
US20150084990A1 (en) 2013-04-07 2015-03-26 Laor Consulting Llc Augmented reality medical procedure aid
US9414859B2 (en) 2013-04-19 2016-08-16 Warsaw Orthopedic, Inc. Surgical rod measuring system and method
US8964934B2 (en) 2013-04-25 2015-02-24 Moshe Ein-Gal Cone beam CT scanning
KR102171873B1 (ko) 2013-05-08 2020-10-29 삼성전자주식회사 햅틱 글로브 및 수술로봇 시스템
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
JP6252004B2 (ja) 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
DE102013012397B4 (de) 2013-07-26 2018-05-24 Rg Mechatronics Gmbh OP-Robotersystem
US10786283B2 (en) 2013-08-01 2020-09-29 Musc Foundation For Research Development Skeletal bone fixation mechanism
KR101536115B1 (ko) 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
EP3046518A4 (en) 2013-09-18 2017-07-05 Richard Awdeh Surgical navigation system and method
US20150085970A1 (en) 2013-09-23 2015-03-26 General Electric Company Systems and methods for hybrid scanning
WO2015052719A1 (en) 2013-10-07 2015-04-16 Technion Research & Development Foundation Ltd. Needle steering by shaft manipulation
US9848922B2 (en) 2013-10-09 2017-12-26 Nuvasive, Inc. Systems and methods for performing spine surgery
CN110123448A (zh) 2013-10-09 2019-08-16 纽文思公司 在手术脊椎程序期间术中设计并评定脊椎畸形矫正的方法
ITBO20130599A1 (it) 2013-10-31 2015-05-01 Cefla Coop Metodo e apparato per aumentare il campo di vista in una acquisizione tomografica computerizzata con tecnica cone-beam
EP3062876A1 (en) 2013-10-31 2016-09-07 Boston Scientific Neuromodulation Corporation System to incorporate lead information from image
US9949637B1 (en) 2013-11-25 2018-04-24 Verily Life Sciences Llc Fluorescent imaging on a head-mountable device
US20150146847A1 (en) 2013-11-26 2015-05-28 General Electric Company Systems and methods for providing an x-ray imaging system with nearly continuous zooming capability
EP3542725B1 (en) 2013-12-20 2021-10-13 Koninklijke Philips N.V. System for tracking a penetrating instrument
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
WO2015110859A1 (en) 2014-01-21 2015-07-30 Trophy Method for implant surgery using augmented visualization
JP6725423B2 (ja) 2014-02-11 2020-07-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 解剖学的標的を視覚化するシステム
DE102014203097A1 (de) 2014-02-20 2015-08-20 Siemens Aktiengesellschaft Verfahren zum Unterstützen einer Navigation einer endoskopischen Vorrichtung
EP4383272A2 (en) 2014-02-21 2024-06-12 The University of Akron Imaging and display system for guiding medical interventions
JP6264087B2 (ja) 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
US10152796B2 (en) 2014-02-24 2018-12-11 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US9280825B2 (en) 2014-03-10 2016-03-08 Sony Corporation Image processing system with registration mechanism and method of operation thereof
DE102014204702A1 (de) 2014-03-13 2015-09-17 Siemens Aktiengesellschaft Navigationshilfe für das Einbringen eines länglichen medizinischen Penetrationselements in einen Patienten
US10567660B2 (en) 2014-03-14 2020-02-18 Brainlab Ag Overlay of anatomical information in a microscope image
CN111839737A (zh) 2014-03-17 2020-10-30 直观外科手术操作公司 用于铰接臂中的分离式离合的系统和方法
WO2015145395A1 (en) 2014-03-28 2015-10-01 Alma Mater Studiorum - Universita' Di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
DE102014206004A1 (de) 2014-03-31 2015-10-01 Siemens Aktiengesellschaft Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
US11547499B2 (en) 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
KR101570857B1 (ko) 2014-04-29 2015-11-24 큐렉소 주식회사 로봇 수술 계획 조정 장치
ES2964307T3 (es) 2014-05-05 2024-04-05 Vicarious Surgical Inc Dispositivo quirúrgico de realidad virtual
JP2017523817A (ja) 2014-05-09 2017-08-24 ザ・チルドレンズ・ホスピタル・オブ・フィラデルフィアＴｈｅ Ｃｈｉｌｄｒｅｎ’Ｓ Ｈｏｓｐｉｔａｌ Ｏｆ Ｐｈｉｌａｄｅｌｐｈｉａ 可搬型外科手術の方法、システムおよび装置
GB201408582D0 (en) 2014-05-14 2014-06-25 Ucl Business Plc A system and method for computer-assisted planning of a trajectory for a surgical insertion into a skull
US9835862B1 (en) 2014-05-15 2017-12-05 Google Llc Graphic interface for real-time vision enhancement
WO2015179446A1 (en) 2014-05-20 2015-11-26 BROWND, Samuel, R. Systems and methods for mediated-reality surgical visualization
US20170202624A1 (en) 2014-06-08 2017-07-20 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery utilizing a touch screen
EP3157425A4 (en) 2014-06-17 2017-11-15 Nuvasive, Inc. Systems and methods for planning, performing, and assessing spinal correction during surgery
US20150366628A1 (en) 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
EP3157446B1 (en) 2014-06-19 2018-08-15 KB Medical SA Systems for performing minimally invasive surgery
US10799302B2 (en) 2014-07-10 2020-10-13 Transenterix Europe S.A.R.L. Interface for laparoscopic surgeries—movement gestures
US20160015469A1 (en) 2014-07-17 2016-01-21 Kyphon Sarl Surgical tissue recognition and navigation apparatus and method
CN106535805B (zh) 2014-07-25 2019-06-18 柯惠Lp公司 用于机器人手术系统的增强手术现实环境
US10152789B2 (en) 2014-07-25 2018-12-11 Covidien Lp Augmented surgical reality environment
US9707400B2 (en) 2014-08-15 2017-07-18 Medtronic, Inc. Systems, methods, and interfaces for configuring cardiac therapy
US9547940B1 (en) 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
JP6574939B2 (ja) 2014-09-16 2019-09-18 ソニー株式会社 表示制御装置、表示制御方法、表示制御システムおよび頭部装着ディスプレイ
EP3193768A4 (en) 2014-09-17 2018-05-09 Intuitive Surgical Operations, Inc. Systems and methods for utilizing augmented jacobian to control manipulator joint movement
US20160086380A1 (en) 2014-09-22 2016-03-24 Invuity, Inc Hyperspectral imager
JP6480694B2 (ja) 2014-09-30 2019-03-13 京セラ株式会社 手術支援装置およびプログラム
US9486128B1 (en) 2014-10-03 2016-11-08 Verily Life Sciences Llc Sensing and avoiding surgical equipment
US9833254B1 (en) 2014-10-03 2017-12-05 Verily Life Sciences Llc Controlled dissection of biological tissue
EP3009097A1 (en) 2014-10-17 2016-04-20 Imactis Method for navigating a surgical instrument
CA3000759A1 (en) 2014-10-23 2016-04-28 Orpyx Medical Technologies Inc. Foot gesture-based control device
US10499992B2 (en) 2014-10-30 2019-12-10 Edda Technology, Inc. Method and system for estimating a deflated lung shape for video assisted thoracic surgery in augmented and mixed reality
GB201501157D0 (en) 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
CN107004044A (zh) 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导系统和方法、使用
US10383654B2 (en) 2014-11-20 2019-08-20 Ohio State Innovation Foundation Methods and systems for performing navigation-assisted medical procedures
US9839365B1 (en) 2014-11-24 2017-12-12 Verily Life Sciences Llc Applications of vasculature mapping using laser speckle imaging
US10631907B2 (en) 2014-12-04 2020-04-28 Mazor Robotics Ltd. Shaper for vertebral fixation rods
US20160166329A1 (en) 2014-12-15 2016-06-16 General Electric Company Tomographic imaging for interventional tool guidance
US9298884B1 (en) 2014-12-17 2016-03-29 Vitaax Llc Remote instruction and monitoring of health care
US9645379B2 (en) 2014-12-29 2017-05-09 Novartis Ag Magnification in ophthalmic procedures and associated devices, systems, and methods
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9538962B1 (en) 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US9931040B2 (en) 2015-01-14 2018-04-03 Verily Life Sciences Llc Applications of hyperspectral laser speckle imaging
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
JP6336929B2 (ja) 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
US10908681B2 (en) 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
EP3265011A1 (en) 2015-03-01 2018-01-10 Aris MD, Inc. Reality-augmented morphological procedure
EP4194880A1 (en) 2015-03-05 2023-06-14 Atracsys Sàrl Redundant reciprocal tracking system
KR101734094B1 (ko) 2015-03-09 2017-05-11 국립암센터 증강현실영상 투영 시스템
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3274967A4 (en) 2015-03-25 2018-12-12 Zaxis Labs System and method for medical procedure planning
US10499996B2 (en) 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US20160287337A1 (en) 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
EP3280344A2 (en) 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
CN113081009A (zh) 2015-04-15 2021-07-09 莫比乌斯成像公司 集成式医学成像与外科手术机器人系统
US9436993B1 (en) 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement
US9788756B2 (en) 2015-04-20 2017-10-17 Medtronic, Inc. Systems, devices, methods, and computer-readable storage facilitating locating an implantable medical device within a body
GB201506842D0 (en) 2015-04-22 2015-06-03 Ucl Business Plc And Schooling Steven Locally rigid vessel based registration for laparoscopic liver surgery
US10180404B2 (en) 2015-04-30 2019-01-15 Shimadzu Corporation X-ray analysis device
US10235737B2 (en) 2015-05-11 2019-03-19 Elwha Llc Interactive surgical drape, system, and related methods
US10197816B2 (en) 2015-05-26 2019-02-05 Lumenis Ltd. Laser safety glasses with an improved imaging system
US9970955B1 (en) 2015-05-26 2018-05-15 Verily Life Sciences Llc Methods for depth estimation in laser speckle imaging
CA2984438A1 (en) 2015-06-26 2016-12-29 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
US10543045B2 (en) 2015-07-13 2020-01-28 Synaptive Medical (Barbados) Inc. System and method for providing a contour video with a 3D surface in a medical navigation system
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
CA2976516C (en) 2015-07-27 2022-11-22 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
DE102015215587A1 (de) 2015-08-14 2017-02-16 Nt-Trading Gmbh & Co. Kg Verfahren zum Herstellen eines Knochenersatzstücks
US10973587B2 (en) 2015-08-19 2021-04-13 Brainlab Ag Reference array holder
US10105187B2 (en) 2015-08-27 2018-10-23 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating surgical procedures utilizing augmented reality
US10888389B2 (en) 2015-09-10 2021-01-12 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
US10092361B2 (en) 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
GB2558479B (en) 2015-09-24 2021-07-28 Synaptive Medical Inc Motorized full field adaptive microscope
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
EP3361979A4 (en) 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
JP6712453B2 (ja) 2015-10-16 2020-06-24 富士フイルム株式会社 拡張現実提供システム及び方法、情報処理装置、並びにプログラム
US10195076B2 (en) 2015-10-23 2019-02-05 Eye Labs, LLC Head-mounted device providing diagnosis and treatment and multisensory experience
EP3364907B1 (en) 2015-10-23 2021-06-02 Covidien LP Surgical system for detecting gradual changes in perfusion
JP6985262B2 (ja) 2015-10-28 2021-12-22 エンドチョイス インコーポレイテッドEndochoice, Inc. 患者の体内における内視鏡の位置を追跡するための装置及び方法
CN108352195A (zh) 2015-10-29 2018-07-31 皇家飞利浦有限公司 具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统
US10828125B2 (en) 2015-11-03 2020-11-10 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
US20170119471A1 (en) 2015-11-04 2017-05-04 Illusio, Inc. Augmented Reality Imaging System for Cosmetic Surgical Procedures
JP2019502419A (ja) 2015-11-05 2019-01-31 コヴィディエン リミテッド パートナーシップ 表層下血液の検出のためのシステムと方法
WO2017079732A1 (en) 2015-11-07 2017-05-11 Ji-Xin Cheng An intraoperative optoacoustic guide apparatus and method
DE102015222782A1 (de) 2015-11-18 2017-05-18 Sirona Dental Systems Gmbh Verfahren zur Visualisierung einer Zahnsituation
ITUB20155830A1 (it) 2015-11-23 2017-05-23 R A W Srl "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
US20170143284A1 (en) 2015-11-25 2017-05-25 Carestream Health, Inc. Method to detect a retained surgical object
US10070939B2 (en) 2015-12-04 2018-09-11 Zaki G. Ibrahim Methods for performing minimally invasive transforaminal lumbar interbody fusion using guidance
US10052170B2 (en) 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
DE102015226669B4 (de) 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
CN108475436A (zh) 2015-12-29 2018-08-31 皇家飞利浦有限公司 使用轮廓标志的外科手术图像采集设备的配准
US10646289B2 (en) 2015-12-29 2020-05-12 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
WO2017117517A1 (en) 2015-12-30 2017-07-06 The Johns Hopkins University System and method for medical imaging
US10426339B2 (en) 2016-01-13 2019-10-01 Novartis Ag Apparatuses and methods for parameter adjustment in surgical procedures
US9925013B2 (en) 2016-01-14 2018-03-27 Synaptive Medical (Barbados) Inc. System and method for configuring positions in a surgical positioning system
WO2017127838A1 (en) 2016-01-22 2017-07-27 Nuvasive, Inc. Systems and methods for facilitating spine surgery
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
WO2017144934A1 (en) 2016-02-26 2017-08-31 Trophy Guided surgery apparatus and method
CN112370159A (zh) 2016-02-26 2021-02-19 思想外科有限公司 用于指导用户定位机器人的系统
WO2017151752A1 (en) 2016-03-01 2017-09-08 Mirus Llc Augmented visualization during surgery
WO2017151778A1 (en) 2016-03-01 2017-09-08 ARIS MD, Inc. Systems and methods for rendering immersive environments
US20190090955A1 (en) 2016-03-01 2019-03-28 Mirus Llc Systems and methods for position and orientation tracking of anatomy and surgical instruments
US20170256095A1 (en) 2016-03-02 2017-09-07 Siemens Medical Solutions Usa, Inc. Blocking screen in Augmented Reality
US20190088162A1 (en) 2016-03-04 2019-03-21 Covidien Lp Virtual and/or augmented reality to provide physical interaction training with a surgical robot
US9962133B2 (en) 2016-03-09 2018-05-08 Medtronic Navigation, Inc. Transformable imaging system
CN111329551A (zh) 2016-03-12 2020-06-26 P·K·朗 用于脊柱和关节手术的增强现实引导
EP3821842A1 (en) 2016-03-14 2021-05-19 Mohamed R. Mahfouz Method of creating a virtual model of a normal anatomy of a pathological knee joint
CN114903591A (zh) 2016-03-21 2022-08-16 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
WO2017173518A1 (en) 2016-04-05 2017-10-12 Synaptive Medical (Barbados) Inc. Multi-metric surgery simulator and methods
WO2017179350A1 (ja) 2016-04-11 2017-10-19 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
US20170296292A1 (en) 2016-04-16 2017-10-19 Eitezaz MAHMOOD Systems and Methods for Surgical Imaging
US20190117190A1 (en) 2016-04-19 2019-04-25 Koninklijke Philips N.V. Ultrasound imaging probe positioning
US10194990B2 (en) 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10191615B2 (en) 2016-04-28 2019-01-29 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
WO2017192781A1 (en) 2016-05-03 2017-11-09 Affera, Inc. Anatomical model displaying
AU2017260192B2 (en) 2016-05-05 2022-11-10 James R. Watson Surgical stereoscopic visualization system with movable head mounted display
US10433915B2 (en) 2016-05-16 2019-10-08 TrackX Technology, LLC System and method for image localization of effecters during a medical procedure
CN106296805B (zh) 2016-06-06 2019-02-26 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置
WO2017220165A1 (en) 2016-06-24 2017-12-28 Rwe International Se Augmented reality system
EP3525173A4 (en) 2016-07-11 2020-07-08 Taiwan Main Orthopaedic Biotechnology Co., Ltd. IMAGE REALITY EXTENSION PROCESS AND SURGICAL GUIDE TO APPLY THIS TO WEARABLE GLASSES
US10610318B2 (en) 2016-07-25 2020-04-07 General Electric Company Augmented reality catheter interface
US10398514B2 (en) 2016-08-16 2019-09-03 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
GB2568426B (en) 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system
DE202017104953U1 (de) 2016-08-18 2017-12-04 Google Inc. Verarbeiten von Fundusbildern unter Verwendung von Maschinenlernmodellen
US11666407B2 (en) 2016-09-07 2023-06-06 Intellijoint Surgical Inc. Systems and methods for surgical navigation, including image-guided navigation of a patient's head
EP3512452A1 (en) 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
KR101687821B1 (ko) 2016-09-22 2016-12-20 장원석 증강현실을 이용한 치과 수술 방법
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
JP6756040B2 (ja) 2016-10-03 2020-09-16 バーブ サージカル インコーポレイテッドＶｅｒｂ Ｓｕｒｇｉｃａｌ Ｉｎｃ． ロボット手術のための没入型三次元表示
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
US20180116732A1 (en) 2016-10-18 2018-05-03 The Board Of Trustees Of The Leland Stanford Junior University Real-time Three Dimensional Display of Flexible Needles Using Augmented Reality
KR101837301B1 (ko) 2016-10-28 2018-03-12 경북대학교 산학협력단 수술 항법 시스템
US10231784B2 (en) 2016-10-28 2019-03-19 Medtronic Ardian Luxembourg S.A.R.L. Methods and systems for optimizing perivascular neuromodulation therapy using computational fluid dynamics
US10275927B2 (en) 2016-11-16 2019-04-30 Terarecon, Inc. System and method for three-dimensional printing, holographic and virtual reality rendering from medical image processing
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US10412377B2 (en) 2017-01-11 2019-09-10 Koninklijke Philips N.V. Augmented display device for use in a medical imaging laboratory
AU2018212779A1 (en) 2017-01-30 2019-07-04 Alcon Inc. Systems and method for augmented reality ophthalmic surgical microscope projection
US10643360B2 (en) 2017-02-10 2020-05-05 Arizona Board Of Regents On Behalf Of Arizona State University Real-time medical image visualization systems and related methods
CA2958163C (en) 2017-02-15 2019-02-12 Synaptive Medical (Barbados) Inc. Digitally enhanced surgical instruments
US11158415B2 (en) 2017-02-16 2021-10-26 Mako Surgical Corporation Surgical procedure planning system with multiple feedback loops
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
KR101891704B1 (ko) 2017-02-28 2018-08-24 메디컬아이피 주식회사 3차원 의료영상 제어 방법 및 그 장치
WO2018164909A1 (en) 2017-03-10 2018-09-13 Biomet Manufacturing, Llc Augmented reality supported knee surgery
US20180263727A1 (en) 2017-03-15 2018-09-20 Coredent Advancements, LLC Surgical Guide and Associated Process for Dental Implants
TWI634870B (zh) 2017-03-20 2018-09-11 承鋆生醫股份有限公司 影像定位及擴增實境系統及其擴增實境方法
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US20180289983A1 (en) 2017-04-05 2018-10-11 Sensus Healthcare Llc Augmented reality glasses to help doctors visualize radiation patterns and overall tumor shape/size
EP3609424A1 (en) 2017-04-14 2020-02-19 Stryker Corporation Surgical systems and methods for facilitating ad-hoc intraoperative planning of surgical procedures
DE102017108235A1 (de) 2017-04-18 2018-10-18 Bredent Medical Gmbh & Co. Kg Brille mit wenigstens einem teiltransparenten Bildschirm und Verfahren zum Betrieb einer Brille
EP3612126A1 (en) 2017-04-20 2020-02-26 The Cleveland Clinic Foundation System and method for holographic image-guided non-vascular percutaneous procedures
US10716643B2 (en) 2017-05-05 2020-07-21 OrbisMV LLC Surgical projection system and method
US10667869B2 (en) 2017-05-17 2020-06-02 General Electric Company Guidance system for needle procedures
US10874327B2 (en) 2017-05-19 2020-12-29 Covidien Lp Systems and methods for tracking and imaging a treatment probe having an integrated sensor
US10432913B2 (en) 2017-05-31 2019-10-01 Proximie, Inc. Systems and methods for determining three dimensional measurements in telemedicine application
US10610179B2 (en) 2017-06-05 2020-04-07 Biosense Webster (Israel) Ltd. Augmented reality goggles having X-ray protection
EP3412242A1 (de) 2017-06-09 2018-12-12 Siemens Healthcare GmbH Ausgabe von positionsinformationen eines medizintechnischen instruments
US10242292B2 (en) 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US10390891B2 (en) 2017-06-13 2019-08-27 Biosense Webster (Israel) Ltd. Hologram lens for positioning an orthopedic implant
US20180360655A1 (en) 2017-06-16 2018-12-20 Michael S. Berlin Methods and systems for oct guided glaucoma surgery
US11229496B2 (en) 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure
US11589933B2 (en) 2017-06-29 2023-02-28 Ix Innovation Llc Guiding a robotic surgical system to perform a surgical procedure
US11071593B2 (en) 2017-07-14 2021-07-27 Synaptive Medical Inc. Methods and systems for providing visuospatial information
US11166764B2 (en) 2017-07-27 2021-11-09 Carlsmed, Inc. Systems and methods for assisting and augmenting surgical procedures
WO2019021236A1 (en) 2017-07-28 2019-01-31 Edda Technology, Inc. METHOD AND SYSTEM FOR SURGICAL PLANNING IN A MIXED REALITY ENVIRONMENT
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
ES2945711T3 (es) 2017-08-15 2023-07-06 Holo Surgical Inc Sistema de navegación quirúrgica para proporcionar una imagen de realidad aumentada durante la operación
EP3336848B1 (en) 2017-08-15 2023-09-27 Siemens Healthcare GmbH Method for operating a medical imaging device and medical imaging device
US11432879B2 (en) 2017-08-18 2022-09-06 Siemens Healthcare Gmbh Method and apparatus for wide area multi-body 6D pose tracking system
US10987016B2 (en) 2017-08-23 2021-04-27 The Boeing Company Visualization system for deep brain stimulation
US10607420B2 (en) 2017-08-30 2020-03-31 Dermagenesis, Llc Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging
EP3449830B1 (de) 2017-08-31 2020-01-29 Siemens Healthcare GmbH Steuerung eines medizintechnischen bildgebenden systems
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
US10265138B2 (en) 2017-09-18 2019-04-23 MediVis, Inc. Methods and systems for generating and using 3D images in surgical settings
US10874460B2 (en) 2017-09-29 2020-12-29 K2M, Inc. Systems and methods for modeling spines and treating spines based on spine models
AU2018345760A1 (en) 2017-10-02 2020-01-30 Mcginley Engineered Solutions, Llc Surgical instrument with real time navigation assistance
EP3467785A1 (en) 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for encoding a point cloud representing three-dimensional objects
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11272985B2 (en) 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
US11103314B2 (en) 2017-11-24 2021-08-31 Synaptive Medical Inc. Methods and devices for tracking objects by surgical navigation systems
US11617492B2 (en) 2017-11-27 2023-04-04 Optecks, Llc Medical three-dimensional (3D) scanning and mapping system
EP3720349A4 (en) 2017-12-04 2021-01-20 Bard Access Systems, Inc. SYSTEMS AND METHODS FOR VISUALIZATION OF ANATOMY, LOCATION OF MEDICAL DEVICES, OR POSITIONING OF MEDICAL DEVICES
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
US20190192230A1 (en) 2017-12-12 2019-06-27 Holo Surgical Inc. Method for patient registration, calibration, and real-time augmented reality image display during surgery
US10413363B2 (en) 2017-12-15 2019-09-17 Medtronic, Inc. Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools
US11179200B2 (en) 2017-12-15 2021-11-23 Medtronic, Inc. Augmented reality solution to disrupt, transform and enhance cardiovascular surgical and/or procedural mapping navigation and diagnostics
US11058497B2 (en) 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US10621733B2 (en) 2017-12-31 2020-04-14 Google Llc Enhanced visualization of breathing or heartbeat of an infant or other monitored subject
EP3509013A1 (en) 2018-01-04 2019-07-10 Holo Surgical Inc. Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
US10535427B2 (en) 2018-01-10 2020-01-14 Medtronic, Inc. System for planning implantation of a cranially mounted medical device
US11547481B2 (en) 2018-01-11 2023-01-10 Covidien Lp Systems and methods for laparoscopic planning and navigation
EP3743791A1 (en) 2018-01-25 2020-12-02 Neurosteer Inc. Systems and methods for analyzing brain activity and applications pertaining to augmented reality
US20190239850A1 (en) 2018-02-06 2019-08-08 Steven Philip Dalvin Augmented/mixed reality system and method for the guidance of a medical exam
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP3540494B1 (en) 2018-03-16 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Augmented reality surgical microscope and microscopy method
EP3773232A1 (en) 2018-04-06 2021-02-17 Medtronic, Inc. Image-based navigation system and method of using same
US11253181B2 (en) * 2018-08-03 2022-02-22 From Zero, LLC Method for objectively tracking and analyzing the social and emotional activity of a patient
CN110368090B (zh) * 2019-08-09 2024-04-12 扬州大学 一种截骨导航机器人末端标定装置及标定方法
US11464581B2 (en) * 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6006126A (en) * 1991-01-28 1999-12-21 Cosman; Eric R. System and method for stereotactic registration of image scan data
US7774044B2 (en) * 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
US20190029765A1 (en) * 2012-06-21 2019-01-31 Globus Medical, Inc. Surgical robotic systems providing transfer of registration and related methods and computer program products
CN110621253A (zh) * 2017-03-17 2019-12-27 智能联合外科公司 用于导航手术中的增强现实显示的系统和方法
US20190038362A1 (en) * 2017-08-02 2019-02-07 Medtech S.A. Surgical field camera system

Also Published As

Publication number Publication date
US11464581B2 (en) 2022-10-11
JP7135128B2 (ja) 2022-09-12
US11883117B2 (en) 2024-01-30
JP2021115483A (ja) 2021-08-10
US20210228281A1 (en) 2021-07-29
US20240206986A1 (en) 2024-06-27
EP3858281A1 (en) 2021-08-04
US20230040292A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US11839435B2 (en) Extended reality headset tool tracking and control
CN113259584B (zh) 摄像机跟踪系统
US11883117B2 (en) Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11510750B2 (en) Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US20210169581A1 (en) Extended reality instrument interaction zone for navigated robotic surgery
US11690697B2 (en) Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11382713B2 (en) Navigated surgical system with eye to XR headset display calibration
JP7376533B2 (ja) 外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー
JP7216764B2 (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
JP7282816B2 (ja) ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン
CN113768621A (zh) 用于手术期间的计算机辅助导航的摄像机跟踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination