CN110650703A - 手术导航系统 - Google Patents

手术导航系统 Download PDF

Info

Publication number
CN110650703A
CN110650703A CN201880029762.0A CN201880029762A CN110650703A CN 110650703 A CN110650703 A CN 110650703A CN 201880029762 A CN201880029762 A CN 201880029762A CN 110650703 A CN110650703 A CN 110650703A
Authority
CN
China
Prior art keywords
axis
augmented reality
visualization
angle
target trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880029762.0A
Other languages
English (en)
Other versions
CN110650703B (zh
Inventor
C·厄兹贝克
C·温内
B·科斯梅基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker European Operations Ltd
Original Assignee
Skopis Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Skopis Ltd filed Critical Skopis Ltd
Priority to CN202310302207.3A priority Critical patent/CN116236282A/zh
Publication of CN110650703A publication Critical patent/CN110650703A/zh
Application granted granted Critical
Publication of CN110650703B publication Critical patent/CN110650703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Abstract

本公开涉及一种用于对准手术器械的手术导航系统及其使用方法，其中所述手术导航系统可以包括包含透镜的头戴式显示器。手术导航系统可以进一步包括跟踪单元，其中，该跟踪单元可以被配置为跟踪患者跟踪器和/或手术器械。患者数据可以被注册到患者跟踪器。手术器械可以限定器械轴线。手术导航系统可以被配置为基于患者数据来计划一个或多个轨迹。头戴式显示器可以被配置为在头戴式显示器的透镜上显示增强现实可视化，包括与手术器械有关的增强现实位置对准可视化和/或增强现实角度对准可视化。

Description

手术导航系统
相关申请
本申请要求于2017年5月5日提交的欧洲专利申请No.EP17169700.6的优先权和权益，其全部内容通过引用方式合并于此。
技术领域
本公开总体上涉及用于支持手术干预的手术导航系统。更具体地，但非排他性地，本公开总体上涉及一种全息手术导航系统。
背景技术
在医学领域，计算机辅助手术，包括手术导航系统，具有日益增长的趋势。在手术干预期间，可以利用手术导航系统与术前图像和/或患者数据相结合来支持外科医生执行医疗程序。为此，图像引导手术导航系统用于开放式和微创手术干预，例如脊柱、关节和/或神经外科手术。这种手术导航系统的目的是确定外科医生使用的手术器械的位置，该位置可以在对应于患者解剖结构的术前图像和/或患者数据中示出或可视化。连续检测患者和/或手术器械的位置和/或取向(即姿态)(所谓的导航数据)对于提供手术器械相对于患者的准确空间表示是必要的。
手术导航系统还可以向外科医生可视化医疗设备或植入物的位置和/或对准，例如在脊柱手术情景中用于多椎骨固定的椎弓根螺钉的位置和对准。在操作期间，手术导航系统可以向外科医生提供可视化，允许外科医生看到准确地投影在患者的图像或可视化上的手术器械和/或医疗设备/植入物的位置的叠加。
考虑到现有的解决方案，要注意的是，已知的手术导航解决方案不能充分解决手术导航系统的引导和手术器械的对准。现有解决方案的另一个缺点是可视化与手术部位分离，迫使外科医生注意力分散。
因此，需要解决这些缺点的新型手术导航系统。
发明内容
在手术导航系统的示例性配置和对准手术器械的方法中，手术导航系统可以被配置为在医学干预期间提供增强现实可视化。总体上，手术导航系统可以包括跟踪单元。跟踪单元可以包括一个或多个位置传感器。手术导航系统可以进一步包括头戴式显示器、患者跟踪器和手术器械，它们中的每一个可以包括被配置为被跟踪单元的所述一个或多个位置传感器检测的一个或多个跟踪构件或标记。跟踪单元可以被配置为连续地跟踪头戴式显示器、患者跟踪器和手术器械在局部坐标系或公共坐标系中的位置和/或定向(姿态)。手术导航系统可以进一步配置为将头戴式显示器、患者跟踪器和手术器械的位置和/或取向与患者数据进行注册，以在头戴式显示器的透镜或屏幕上生成并显示增强现实可视化。增强现实可视化可以包括叠加在患者数据上的手术器械和/或目标轨迹轴线，其中患者数据可以包括患者的解剖结构和/或目标对象的术前图像。目标对象可以包括计划的手术路径、用于植入物或医疗装置的计划的位置和/或患者的解剖特征。
增强现实可视化可以包括位置对准可视化和/或角度对准可视化。导航系统可以被配置为在头戴式显示器上显示位置对准可视化和/或角度对准可视化，使得从外科医生的角度将可视化叠加在真实的患者上以创建3-D或全息可视化。
在增强现实系统的另一示例配置中，增强现实系统可包括手术导航系统、可被所述手术导航系统跟踪的患者跟踪器、以及可被所述手术导航系统跟踪的手术器械。增强现实系统可以进一步包括头戴式显示器，该头戴式显示器包括透镜和控制器，控制器被配置为在所述透镜上将增强现实位置对准可视化显示为两个被轴对准的偏差矢量，该两个被轴对准的偏差矢量包括从目标轨迹轴线上的目标点至手术器械的距离矢量的分解。
在增强现实系统的又一示例配置中，增强现实系统可以包括包含透镜的头戴式显示器。增强现实系统还可以包括手术导航系统，该手术导航系统包括跟踪单元，该跟踪单元被配置为跟踪定位于限定范围或坐标系(例如手术范围)内的多个对象。增强现实系统还可包括被注册到患者数据并可被所述手术导航系统跟踪的患者跟踪器，以及具有可被所述手术导航系统跟踪的器械跟踪器的手术器械。器械跟踪器可以被配置为限定手术器械的器械轴线。增强现实系统还可以包括控制器，该控制器被配置为生成增强现实位置对准可视化为两个被轴对准的偏差矢量，而显示在所述头戴式显示器的所述透镜上，所述两个被轴对准的偏差矢量包括从目标轨迹轴线上的目标点到手术器械上的点的距离矢量的分解。
在增强现实系统的又一示例配置中，手术导航系统可以包括患者跟踪器和手术器械跟踪器。手术导航系统可以被配置为基于患者数据来计划目标轨迹轴线，并且用于使手术器械的尖端与目标轨迹轴线对准。手术导航系统可以进一步包括头戴式显示器，该头戴式显示器包括头戴式显示器跟踪器，其中该头戴式显示器被配置为显示包括两个被轴对准的偏差矢量的增强现实位置对准可视化，所述两个被轴对准的偏差矢量包括从目标轨迹轴线上的点到手术器械的尖端的距离矢量的分解。头戴式显示器可以进一步被配置为显示包括偏差角度的增强现实角度对准可视化，所述偏差角度表示代表器械轴线的第一方向矢量和目标轨迹轴线的第二方向矢量之间的角度。
显示手术导航信息的示例性方法可以包括头戴式显示器，手术导航系统包括具有尖端的手术器械，鉴于包括目标轨迹轴线的手术计划。该方法可以包括以下步骤：在头戴式显示器上显示包括两个被轴对准的偏差矢量的增强现实位置对准可视化，所述两个被轴对准的偏差矢量包括第一矢量和第二矢量，其中第一矢量和第二矢量代表从目标轨迹轴线上的点到手术器械的尖端的距离矢量的分解。该方法还可包括以下步骤：更新在头戴式显示器上显示的增强现实位置对准可视化，以从头戴式显示器的角度指示手术器械相对于目标轨迹轴线的相对位置。
对准手术器械的另一示例性方法可以包括手术导航系统，其中，手术导航系统包括被配置为跟踪头戴式显示器、患者跟踪器、和手术器械跟踪器的位置的跟踪单元。手术导航系统可以进一步被配置为基于注册到患者跟踪器的患者数据来计划目标轨迹轴线。对准手术器械的方法可以包括以下步骤：在头戴式显示器上显示增强现实位置对准可视化为两个被轴对准的偏差矢量，所述两个被轴对准的偏差矢量包括从目标轨迹轴线上的点到手术器械的尖端的距离矢量的分解。该方法可以进一步包括以下步骤：在头戴式显示器上显示包括偏差角度的增强现实角度对准可视化，该偏差角度示出了手术器械的轴线的第一方向矢量与目标轨迹轴线的第二方向矢量之间的角度。该方法可以进一步包括以下步骤：基于跟踪单元连续更新在头戴式显示器上显示的增强现实位置对准可视化和/或增强现实角度对准可视化，以从头戴式显示器的角度指示手术器械相对于目标轨迹轴线的相对位置。
所提出的设备和方法的优点是使医疗干预更有效、更安全和更精确。
附图说明
当结合附图参考以下详细描述时，本公开的优点将容易被理解，图中：
图1A是外科医生使用包括头戴式显示器和手术跟踪单元的手术导航系统的第一配置的透视图。
图1B是用于图1A的手术导航系统的控制系统的示意图。
图2是图1A的手术跟踪单元的患者跟踪器的透视图，该患者跟踪器在感兴趣区域附近耦合至患者。
图3是投影在图1A的头戴式显示器的透镜上的增强现实可视化的第一配置的示意图，被投影在透镜上的增强现实可视化包括叠加在以虚线示意的实况特征上的虚拟图像。
图4是投影在图1A的头戴式显示器的透镜上的增强现实可视化的第二配置的示意图，被投影在透镜上的增强现实可视化包括叠加在以虚线示意的实况特征上的虚拟图像。
图5是在包括手术工具的外科手术过程中如头戴式显示器上所描绘的示例性增强现实可视化的强化图。
图6是在外科手术过程中用户在头戴式显示器上观察到的第二示例性增强现实可视化的强化图，该外科手术包括患者跟踪器和术前图像切片。
图7是投影在图1A的头戴式显示器的透镜上的增强现实可视化的第三配置的示意图，被投影在透镜上的增强现实可视化包括在显示器窗口中示出的术前数据的虚拟图像。
图8是投影在图1A的头戴式显示器的透镜上的增强现实可视化的第四配置的示意图，被投影在透镜上的增强现实可视化包括术前数据的虚拟图像。
具体实施方式
图1A和1B示出了手术导航系统20的示例性配置，其可以包括跟踪单元10和头戴式显示器30。外科医生可以利用手术导航系统20来协助外科医生执行医疗程序，例如插入椎弓根螺钉作为多椎骨固定术的一部分或去除脑瘤。
手术导航系统20可以包括导航界面，该导航界面包括一个或多个用户输入装置I和一个或多个显示器22。用户输入装置I可以被配置为允许外科医生输入或键入患者数据。患者数据可以包括患者图像，例如患者解剖结构的术前图像。这些图像可以基于患者解剖结构的MRI扫描、放射学扫描或计算机断层(CT)扫描。患者数据还可以包括与所执行的医疗程序类型、患者的解剖特征、患者的特定医学状况和/或手术导航设置的操作设置有关的其它信息。例如，在执行脊柱手术过程中，外科医生可以经由用户输入装置I输入与正在进行医疗程序的特定椎骨有关的信息。外科医生还可以输入与椎骨有关的各种解剖学尺寸和/或在医疗程序中要插入的医疗装置或植入物的尺寸和形状。
手术导航系统20的显示器22可以被配置用于显示各种提示或数据输入框。例如，显示器22可以被配置用于显示允许外科医生手动输入或选择要执行的外科手术类型的文本框或提示。显示器22还可被配置用于显示患者数据，例如术前图像或扫描。如上所述，术前图像可以基于患者的解剖结构的MRI扫描、放射学扫描或计算机断层(CT)扫描。可以将术前图像上传到手术导航系统并显示在显示器22上。显示器22可以进一步被配置为显示叠加(overlay)在患者数据或图像上的用于医疗程序的手术计划。手术计划可以包括用于执行医疗程序的手术路径或在医疗程序期间医疗器械的计划轨迹或取向。手术计划还可包括将在医疗程序期间将要插入的植入物或医疗装置的位置和/或取向叠加在患者数据或图像上。
手术导航系统20可以进一步包括导航控制器80。导航控制器80可以是个人计算机或膝上型计算机。导航控制器80可以与用户输入装置I、显示器22、中央处理单元(CPU)和/或其他处理器、存储器(未示出)、和存储装置(未示出)通信。导航控制器80可以进一步包括与手术导航系统20的操作有关的软件和/或操作指令。该软件和/或操作指令可以包括计划系统，该计划系统被配置为找到手术器械50相对于患者60的准确位置和/或角度对准。导航控制器80可以与头戴式显示器进行有线或无线通信。因此，头戴式显示器30可以包括无线或有线收发器。
手术导航系统20可以进一步包括跟踪单元10。跟踪单元10也可以被称为跟踪系统或相机单元。跟踪单元10可以包括壳体12，该壳体12包括容纳一个或多个位置传感器14的外壳。位置传感器可以包括相机，例如电荷耦合器件(CCD)相机、CMOS相机和/或光学图像相机，电磁传感器，磁阻传感器，射频传感器，或任何其他适于充分感测导航标记的位置的传感器。在一些配置中，可以采用至少两个位置传感器14，优选地三个或四个。例如，位置传感器14可以是分离的CCD。在一种配置中，采用三个一维CCD。也可以采用二维或三维传感器。应当理解，在其他配置中，还可以在手术室周围布置单独的跟踪单元10，每个跟踪单元10具有单独的CCD，或者两个或更多个CCD。CCD检测光信号，例如红外(IR)信号。
跟踪单元10的壳体12可以安装在可调节的支架或臂上，以允许重新定位位置传感器14。例如，可调节的支架或臂可以被配置为允许位置传感器14的重新定位，以理想地提供没有障碍物的手术视野的最佳视图。
跟踪单元10可以包括传感器控制器(未示出)，其与位置传感器14(诸如光学传感器14)通信，并且被配置为从光学传感器14接收信号。传感器控制器可以通过有线和/或无线连接与导航控制器80通信。一种这样的连接可以是RS-232通信标准或IEEE 1394接口，它们都是用于高速通信和同步实时数据传输的串行总线接口标准。该连接还可以使用公司特定的协议或网络协议，例如UDP或TCP。在其他实施例中，光学传感器14可以被配置为直接与导航控制器80通信。
经由导航控制器80与手术导航系统20通信的跟踪单元10可以用于确定头戴式显示器30、手术器械50和患者60或感兴趣区域62的相对位置。利用头戴式显示器30、一个或多个手术器械50和患者60的相对位置，手术导航系统20的导航控制器80，与患者60和头戴式显示器30注册在一起，能够计算可以在头戴式显示器30中显示的增强现实(AR)可视化。
手术器械50可包括一个或多个器械标记52，其被配置为可由跟踪单元10的位置传感器14检测。手术器械50可以被配置为包括无源跟踪元件或器械标记52(例如，反射器)，用于将光信号传输(例如，反射从跟踪单元10发射的光)到位置传感器14。替代地，器械标记52可以包括被位置传感器14识别和跟踪的不透射线的材料。在其他配置中，可以采用有源跟踪标记。有源跟踪标记可以是例如发光二极管发射的光，例如红外光。有源和无源的结构都是可能的。器械标记52可以被布置在相对于其他器械标记52限定的或已知的位置和取向中，以允许手术导航系统20确定手术器械50的位置和取向(姿态)。例如，器械标记器52可被注册(register)到手术器械50，以允许手术导航系统20确定手术器械50的尖端54或工具部分在所限定的空间、例如手术范围内的位置和/或取向。
手术导航系统20可以进一步包括患者跟踪器40，其中患者跟踪器40可以被配置为将患者60定位在诸如手术范围的空间中。患者跟踪器40可以包括被配置用于将患者跟踪器40固定到患者60的附接构件44。附接构件44可包括夹具、粘合剂、带、带螺纹的紧固件或其他类似的附接装置。例如，附接构件44可以包括被配置为固定到患者60的夹具。这可以包括利用夹具将患者跟踪器40固定到邻近感兴趣区域62的患者60椎骨上。这可以允许跟踪单元10在脊柱手术期间确定患者的脊柱的位置和/或取向。可替代地，附件44可以包括带，其中带被配置成环绕患者跟踪器并将其固定到患者的头部。这可以允许跟踪系统在神经外科手术期间确定患者头部的位置和/或方向。
患者跟踪器40可以进一步包括一个或多个患者标记42，其被配置为可由跟踪单元10的位置传感器14检测到。患者跟踪器40可以被配置为包括无源跟踪元件或患者标记42(例如，反射器)，用于将光信号传输(例如，反射从跟踪单元10发射的光)到位置传感器14。可选地，患者标记42可以包括能够被位置传感器14识别和跟踪的不透射线的材料。患者标记42可以布置在相对于其他患者标记42限定的或已知的位置和取向，以便允许手术导航系统20确定患者60和/或感兴趣区域62的位置和取向(姿态)。在其他配置中，可以采用有源跟踪标记。有源标记可以是例如发光二极管发的光，诸如红外光。有源和无源的结构都是可能的。患者标记42可以布置在相对于其他患者标记42限定的或已知的位置和取向，以便允许手术导航系统20确定患者60和/或感兴趣区域62的位置和取向(姿态)。
参照图1A和图1B，作为一个或多个显示器22的附加或替代，可以采用头戴式显示器(HMD)30来在手术之前、期间和/或之后增强可视化。HMD 30可用于可视化与在显示器22上可视化的对象相同的对象，并且还可用于可视化其他对象、特征、指令、警告等。HMD 30可用于帮助定位和/或可视化与医疗程序有关的目标对象。HMD 30还可以用于可视化指令和/或警告，以及其他用途，如下文进一步所述的。
HMD 30可以是由Microsoft Corporation提供的
Figure BDA0002260420890000081
由于其将增强现实可视化或计算机生成的图像叠加在现实世界上，因此被称为混合或增强现实HMD。应当理解，对增强现实的任何引用都包括混合现实。因此，在本文所述的配置中，HMD 30提供了计算全息显示。也可以使用其他类型的混合/增强现实HMD，例如将计算机生成的图像叠加到现实世界的视频图像上的那些。HMD 30可以包括阴极射线管显示器、液晶显示器、硅上液晶显示器或有机发光二极管显示器。HMD 30可以包括类似于本文所述的透视技术，包括衍射波导、全息波导、偏振波导、反射波导或可切换波导。
HMD 30包括头戴式结构32，其可以是眼镜的形式，并且可以包括附加的头带38或支撑件，以将HMD 30保持在用户的头部上。在其他实施例中，HMD 30可被集成到头盔中或戴在用户的头部、颈部和/或肩膀上的其他结构中。
HMD 30具有护罩32和透镜/波导36结构。当将HMD 30置于用户的头部上时，透镜/波导36结构被配置为定位于用户的眼睛前面。波导将增强现实可视化或图像(也称为计算机生成的图像、虚拟图像或全息图像)传输到用户的眼睛，同时，可以通过透镜/波导36(它是透明的)看到真实的图像，以便用户看到包括真实对象和虚拟对象两者的混合或增强现实。
参照图1B，HMD 30还可以包括头戴式显示器控制器(HMD控制器)180，其被配置为与手术导航系统20的导航控制器80通信。HMD控制器180可以包括图像生成器，该图像生成器可以被配置为生成增强现实可视化并且通过透镜/波导36结构将那些可视化发送给用户。HMD控制器180可以控制增强现实可视化到HMD 30的透镜/波导36结构的传输。HMD控制器180可以是远离HMD 30定位的单独的计算机。替代地，HMD控制器180可以被集成到HMD 30的可头戴结构32中。HMD控制器180可以是具有存储器、一个或多个处理器(例如多核处理器)、输入装置I、输出装置(除HMD 30之外的固定显示器)、存储能力设备等的膝上型计算机、台式计算机、微控制器等。
HMD 30包括一个或多个头戴式显示器标记或HMD标记34，其被配置为可由跟踪单元10的位置传感器14检测。HMD 30可以被配置为包括无源跟踪元件或HMD标记34(例如，反射器)，用于将光信号传输(例如，反射从跟踪单元10发射的光)到位置传感器14。替代地，HMD标记34可以包括能够被位置传感器14检测和跟踪的不透射线的材料。在其他配置中，可以采用有源跟踪标记。有源标记可以是例如发光二极管发的光，诸如红外光。有源和无源的结构都是可能的。HMD标记34可以布置在相对于其他HMD标记34限定的或已知的位置和取向中，以允许手术导航系统20确定HMD 30在限定的区域、例如手术范围内的位置和取向(姿态)。
HMD 30还可包括与HMD控制器180通信的照片和/或视频相机170。相机170可用于通过HMD 30获得照片或视频图像，这对于识别对象或附着在对象上的标记是有用的，这将在下面进一步描述。
HMD 30可以进一步包括与HMD控制器180通信的惯性测量单元(IMU)176。IMU 176可以包括一个或多个3-D加速度计、3-D陀螺仪和其他传感器，以帮助确定HMD 30在HMD坐标系中的位置和/或取向或者帮助相对于其他坐标系的跟踪。HMD 30还可包括红外运动传感器178，以识别来自用户的手势命令。还可以考虑其他类型的手势传感器。红外运动传感器178可以被布置成将红外光或其他光投射在HMD 30的前面，从而红外运动传感器178能够感测用户的手、手指或其他对象，用于确定用户的手势命令和相应地控制HMD 30、HMD控制器180和/或导航控制器80的目的。
尽管图1A仅包括戴有HMD 30的单一个体或外科医生，但是还可以预期可以将多个HMD 30配置为与手术导航系统20通信。例如，可以整个外科手术团队都佩戴HMD 30。在一些配置中，例如其中视频相机170被集成到HMD 30中以提供视点(POV)视频，通过POV视频流分析或更简单的情景感知机制(例如，基于感官的反馈，基于来自孤立的传感器的输入的启发等)，基于计算机的手术环境模型可以提供特定于参与者的混合/增强现实辅助，以便于当前任务由该单体参与者执行或者帮助他们准备对该手术或医疗程序的进一步贡献。
在一种配置中，两个或更多个参与者以及他们的HMD 30可以被链接到一起，与医疗程序的情景信息相结合。参与者们可以通过共享他们当前的POV或者以更固有的方式通过共享任何参与者在任何给定时间点正在解决的感兴趣对象来链接。在该配置中，当第一参与者将他/她的个人POV导向(direct)到第二参与者的POV时，该第一参与者能够通过混合/增强现实辅助的显示来增强他或她对第二参与者的情况的个人评估。当第一参与者意识到优化或更改所计划的医疗程序的机会时，便会与不同的参与者或手术环境发生适当的相互作用。该交互可以由第一参与者直接执行，或者可以通过混合/增强现实辅助或其他计算机辅助工具来促进，而所述辅助可以由第一参与者自动生成或创建来支持第二参与者的行动过程。
参照图2，示出了用户通过HMD 30的透镜36感知到的感兴趣区域62的增强现实可视化的示例表示。如图2所示，患者跟踪器40可以通过附接构件44连接或固定到患者60。这允许跟踪单元10识别患者60和/或感兴趣区域62相对于HMD 30的位置和/或取向，以便在透镜36上生成和定向适当的增强现实可视化，从而使得当通过透镜36观看时图像的虚拟部分可以正确地叠加在患者60的真实部分上。尽管在图1A和2中仅显示了单一患者跟踪器40，但还设想可以将其他患者跟踪器40连接到或附接到患者60。使用其它患者跟踪器40可以允许跟踪患者60和/或感兴趣区域62的多个部分的位置和/或运动。多个患者跟踪器40的使用还可以提高跟踪患者60和/或感兴趣区域62的位置和/或运动的准确性。
感兴趣区域62的增强现实可视化可以包括增强现实边界可视化和/或带有增强现实文本标签的组合边界两者。例如，如图2所示，增强现实边界可视化被显示为在投影或显示在HMD 30的透镜36上时是包围单个椎骨的立方体，如用户在通过透镜36观察患者60的实际脊柱时所看到的。增强现实边界可视化还可以通过诸如L1的增强现实文本标签在HMD 30的透镜36上被识别给用户。例如，如图2所示，“L1”被包括于投射在HMD 30的透镜36上的增强现实可视化中，用于识别被增强现实边界可视化包围的特定椎骨。尽管在图2中仅示出了单一增强现实文本标签，但是应该理解，作为增强现实可视化的一部分，可以包括多个其它的增强现实文本标签，用于向HMD 30的用户标记和/或识别其它的特征或对象。
参照图3，示出了用户通过HMD 30的透镜36感知到的增强现实可视化的附加配置。在图3所示的示例配置中，用户正在通过HMD 30的透镜36查看患者60头部的一部分。例如，图3可以表示如执行神经外科手术(例如切除肿瘤)的外科医生所看到的增强现实可视化。在透镜36内，虚幻示出的项目，即使用虚线表示的项目，表示用户可以看到的真实特征。这可以包括患者60的头部的一部分，以及切口部位或感兴趣区域62。用户可能还能够通过HMD30的透镜36看到患者跟踪器40、附接构件44和/或患者标记42的一部分。
HMD 30的用户还可以观察到许多增强现实可视化，其在图3的透镜36内使用实线示出。一种这样的增强现实可视化可以包括代表与医疗程序相关的单一点状标志的目标对象。例如，如图3所示，目标对象130可以代表将要在医疗程序中进行操作的患者60体内的项目，例如肿瘤或器官。可替代地，目标对象230可以代表在医疗程序期间要插入患者60体内的医疗装置或植入物，这将在下面详细讨论。
增强现实可视化还可以包括目标轨迹轴线210。目标轨迹轴线210可以代表计划的或预期的手术路径。例如，目标轨迹轴线210可以代表在执行医疗程序期间用于对准和/或插入手术器械50的最佳或优选的角度或方向。目标轨迹轴线210可以由连接目标对象130、230和邻近感兴趣区域62的进入点或插入点的实线或断续线限定。
增强现实可视化还可以包括增强现实窗口、指示器或文本框310。增强现实窗口310可以包括在HMD 30的透镜36上显示的窗口。增强现实窗口310可以被配置为显示患者数据，诸如术前图像或扫描。增强现实窗口310还可被配置为显示计划的手术过程的图像，包括在执行医疗程序时识别用户可能想要了解的任何关键项目，例如神经、器官或类似元素。例如，当在患者60的椎骨中插入螺钉时，该图像可能包括要避开的神经末梢。增强现实窗口310还可包括与医疗程序有关的文本或标记。例如，增强现实窗口310可以包括与医疗程序有关的注释，诸如特定于患者60的医疗状况的事实。可选地，增强现实窗口310还可包括与手术器械50距患者60、感兴趣区域62、目标对象130、230和/或目标轨迹轴线210的距离有关的信息文本。
增强现实可视化还可包括将显示在HMD 30的透镜36上的一个或多个控制按钮320、322、324。所述一个或多个控制按钮320、322、324可以被配置为允许用户操作在透镜36上显示的增强现实可视化。例如，如上所述，用户可以使用手和/或面部姿态或动作来选择或激活控制按钮320、322、324之一。控制按钮320、322、324可以被配置为调节透镜36上的增强现实可视化的对比度、透明度和/或颜色。控制按钮320、322、324还可以用于操作或增强在透镜36上显示的信息。例如，控制按钮320、322、324可以被配置为放大和/或缩小在增强现实窗口310中显示的患者数据。这可以包括放大患者60的术前图像或扫描以允许用户更好地可视化靠近目标对象130、230的区域。控制按钮320、322、324还可被配置为旋转或移动患者数据的图像。这可以包括移动增强现实窗口310在透镜36上显示的位置和/或地点，以避免阻挡或干扰用户对患者60上的增强现实可视化的观看。
图4包括用户通过HMD 30的透镜36感知到的增强现实可视化的另一种配置，包括手术器械50。类似于上述示例，增强现实可视化可以包括目标轨迹轴线210、目标对象130、增强现实窗口310和/或控制按钮320、322、324。然而，增强现实可视化还可以包括器械轴线240。器械轴线240可以由起始于手术器械50的尖端54并且沿着手术器械50的法线轴线(normal axis)从尖端54延伸的线限定，其中该法线轴线大体上将手术器械50一分为二。例如，如图4所示，器械轴线240由下述线定义：该线始于手术器械50的尖端54并且大致平行于将手术器械50一分为二的纵向轴线延伸。器械轴线54也可以突伸出手术器械50的端部或尖端54。
图4所示的增强现实可视化还包括增强现实位置对准可视化220。增强现实位置对准可视化220包括两个被轴对准(axis-aligned)的偏差矢量222、224，所述两个被轴对准的偏差矢量包括从目标轨迹轴线210上的点至手术器械50的尖端54或手术器械50上的其他部分的距离矢量的分解。被轴对准可以表示代表偏差矢量222、224的线被取向为平行于参考坐标系的三个主轴之一。通常，第一偏差矢量222可被取向为平行于参考坐标系的第一轴，第二偏差矢量224可被取向为平行于参考坐标系的第二轴。例如，两个被轴对准的偏差矢量222、224可以表示代表第一偏差矢量222的线被取向为与x轴平行，而代表第二偏差矢量224的线被取向为与参考坐标系的y轴平行。参考坐标系可以相对于HMD 30、患者跟踪器40、手术器械50、跟踪单元10、用户的视线、或手术范围(surgical field)内的某一其他点来定义。
代表第一偏差矢量222和第二偏差矢量224的线可以被配置为在原点相交，其中第一偏差矢量222和第二偏差矢量224被定位成大体上彼此垂直。第一偏差矢量222和第二偏差矢量224的原点可以被定位和/或设置在目标轨迹轴线210上或沿着目标轨迹轴线210设置。可选地，第一偏差矢量222和第二偏差矢量224的原点可以被定位和/或设置成靠近手术器械50的尖端54。在又一配置中，第一偏差矢量222和第二偏差矢量224的原点可以被定位和/或设置于增强现实窗口310内或在头戴式显示器30的透镜36上浮动。
第一偏差矢量222可以通过手术器械50的尖端54相对于目标轨迹轴线210和/或目标对象130的侧向和/或水平位置限定。第二偏差矢量224可以通过手术器械50的尖端54相对于目标轨迹轴线210和/或目标对象130的纵向和/或垂直位置限定。第一偏差矢量222和/或第二偏差矢量224的大小和/或长度可以指示手术器械50相对于目标轨迹轴线210在相应偏差矢量222或224的方向上的距离或偏差。例如，代表第一偏差矢量222或第二偏差矢量224的线越长，则手术器械50可能距目标轨迹轴线210定位得越远。可替代地，代表第一偏差矢量222或第二偏差矢量224的线越短，手术器械50被定位得距目标轨迹轴线210越近。还可以设想，缺少表示第一偏差矢量222或第二偏差矢量224的线表示手术器械50被正确地定位和/或对准在与缺少的偏差矢量222、224相对应的方向上。所述两个被轴对准的偏差矢量222、224可以帮助用户相对于目标轨迹轴线210和/或目标对象130正确地定位和/或对准手术器械50。例如，包括增强现实位置对准可视化220的所述两个被轴对准的偏差矢量222、224被配置为通知用户手术器械50相对于目标轨迹轴线210的相对位置。
在增强现实可视化的各种配置中的每一种配置中，可以对增强现实可视化进行比例缩放(scale)以允许用户看到其他细节。此比例缩放还可以允许用户看到较小的偏差。参照图4，增强现实位置对准可视化220的所述两个被轴对准的偏差矢量222、224可以被定尺寸和/或比例缩放以允许用户看到较小的偏差。例如，第一偏差矢量222和/或第二偏差矢量224的长度可以被比例缩放K倍，其中目标轨迹轴线210与手术器械50的尖端54之间的两毫米的小偏差可以用代表显示于透镜36上的第一偏差矢量222和/或第二矢量224的一英寸长的线来表示。
在另一个示例中，如图4中所示的、将距离矢量分解为所述两个被轴对准的偏差矢量222、224可以基于从下述得到的两个本征矢量(eigenvector)进行：三个主要患者轴线中与目标轨迹轴线210成最大角度的两个主要患者轴线，或被投影到下述平面上的视准轴线：该平面垂直于目标轨迹轴线210并附着到目标轨迹轴线210上距手术器械54的尖端54最近的点，以及与被投影的视准轴线在同一平面中的垂直矢量。将距离矢量分解为包括增强现实位置对准可视化220的所述两个被轴对准的偏差矢量可以基于两个本征矢量来计算。例如，这两个本征矢量可以基于患者坐标系的三个主要患者轴线中与目标轨迹轴线210成最大角度的两个主要患者轴线。患者坐标系的主要患者轴线可以从患者数据导出，例如先前已注册到患者跟踪器40的3D图像数据集。可替代地，这两个本征矢量可以基于由用户的视线定义的参考坐标系，对于外科医生来说意于增加作为增强现实位置对准可视化220的一部分的第一偏差矢量222和/或第二偏差矢量224的可区分性。如果用户的观看方向大致垂直于目标轨迹轴线210，这可能会有所帮助。参考坐标系可以从垂直于目标轨迹轴线210并被附接到目标轨迹轴线210上距手术器械50的尖端54最近的点的平面、以及外科医生的视线导出。还可以想到这两个本征矢量可以基于患者坐标系的主要患者轴线和由用户的视线定义的参考坐标系两者的组合。
在一种配置中，手术器械50与目标轨迹轴线210之间的距离基于手术器械50的尖端54至选自由以下构成的组中的至少一个位置的距离来计算：连接目标对象130、230和目标轨迹轴线210的进入点的线段，连接目标对象130、230和目标轨迹轴线210的进入点的线，以及目标对象130、230或目标轨迹轴线210的进入点。
参照图5，示出了从用户透过HMD 30的透镜36观看的角度的增强现实可视化的另一种配置。如上所述，关于图4，增强现实可视化可以包括增强现实位置对准可视化220。增强现实可视化还可以包括增强现实角度对准可视化200。增强现实角度对准可视化200可以包括偏差角度206，该偏差角度206表示代表从器械轴线240轴偏移并且平行于器械轴线240的第一角度矢量204与代表目标轨迹轴线210的第二角度矢量202之间的角度。例如，增强现实角度对准可视化200被示出为代表相对于手术器械50的器械轴线54被偏移并且与其平行的轴线的第一角度矢量204和代表目标轨迹轴线210的第二角度矢量202。第一角度矢量204和第二角度矢量202可以通过代表第一角度矢量204和第二角度矢量202之间的偏差角度206的弧连接。这可以表示目标轨迹轴线210和器械轴线54之间的偏差角度206。如上所述，目标轨迹轴线210可以由连接目标对象130、230和靠近感兴趣区域62的进入点或插入点的线限定。例如，如图5所示，目标对象230可以包括在计划位置上叠加在患者身上的螺钉图像。这可以包括螺钉230在其将被插入患者60的椎骨中的位置的叠加图像。如上所述，增强现实可视化还可以包括增强现实窗口310，其中，增强现实窗口310包括用于标识第一角度矢量204和第二角度矢量202之间的偏差角度206的标签、文本或类似标记。例如，增强现实窗口310可以被定位成靠近增强现实角度对准可视化200，并且被配置为显示识别偏差角度206的文本标签。在增强现实窗口310中显示的文本标签可以包括“30度”，“1弧度”或类似的角度度量。
在另一个示例中，偏差角度206的可视化包括：器械轴线240、目标轨迹轴线210和连接器械轴线240和目标轨迹轴线210两者的近端的弧的位置校正的增强现实可视化，或者位置校正的增强现实可视化的轴量(axonometry)。轴量是属于画法性几何的图解过程，该过程生成三维对象的平面图像。术语“轴量”可以定义为“沿轴进行测量”，并且可以指示坐标轴的尺寸和比例缩放很重要。轴量过程的结果是对象的均匀比例缩放的平行投影。
在图5所示的示例配置中，目标对象230包括将要插入患者60的椎骨中的螺钉的计划位置的增强现实可视化，并且第二角度矢量202表示用于将该螺钉插入被识别位置中的目标轨迹轴线210的取向。在真实的手术目标被隐藏在外科医生的视线之外的情况下，目标对象230的增强现实可视化提高了空间意识。此外，代表偏差角度206的弧线连接代表手术器械50的器械轴线240相对于目标对象230的第一角度矢量204和代表目标轨迹轴线210的第二角度矢量202，向使用者提供了用于校正第一角度矢量204和第二角度矢量202之间的角度偏差206的近似值的视觉提示。
增强现实角度对准可视化200也可以按比例缩放以允许用户更容易地看到偏差角度206的较小偏差。例如，如图5所示，可以将表示第一角度矢量204的线的长度和/或表示第二角度矢量202的线的长度缩放K倍，以放大表示第一角度矢量204和第二角度矢量202的线的长度，允许用户更容易地看到由弧表示的偏差角度206的较小偏差。表示第一角度矢量204的线的长度和/或表示第二角度矢量202的线的长度的比例缩放通常被选择为使得第一角度矢量204的可视化长度和/或表示第二角度矢量202的线的长度对应于几厘米。在诸如椎弓根螺钉的目标对象130、230的附加可视化的情况下，表示第一角度矢量204和/或第二角度矢量202的线的长度也可以取决于该目标对象130、230的长度/大小。比例缩放还可以包括缩放表示第一角度矢量204的线和/或表示第二角度矢量202的线，以增大表示第一角度矢量204的线和/或表示第二角度矢量202的线的长度。可选地，这还可以包括缩放表示第一角度矢量204的线和/或表示第二角度矢量202的线以减小表示第一角度矢量204的线和/或表示第二角度矢量202的线的长度，从而减小透镜36上的增强现实角度对准可视化200的大小。这可以防止增强现实角度对准可视化200阻碍或干扰用户的观察。
在另一示例中，偏差角度206的分解可以相对于由下述得出的两个本征矢量进行比例缩放：三个主要患者轴线中与目标轨迹轴线210成最大角度的两个主要患者轴线，或被投影到下述平面上的视准轴线：该平面垂直于目标轨迹轴线210并附着到目标轨迹轴线210上距手术器械54的尖端54最近的点，以及与被投影的视准轴线在同一平面中的垂直矢量。如上所述，这两个本征矢量可以基于患者坐标系的三个主要患者轴线中与目标轨迹轴线210成最大角度的两个主要患者轴线。可替代地，这两个本征矢量可以基于由用户的视线定义的参考坐标系，对于外科医生来说意于增加作为增强现实位置对准可视化220的一部分的第一偏差矢量222和/或第二偏差矢量224的可区分性。如果用户的观看方向大致垂直于目标轨迹轴线210，则这可能会有所帮助。
此外，应当理解，上述增强现实可视化的各种配置可以包括突出显示和/或颜色方案，以允许用户区分不同类型的增强现实可视化。例如，增强现实位置对准可视化220可以以第一颜色显示在HMD 30的透镜36上，并且增强现实角度对准可视化200可以以第二颜色显示在HMD 30的透镜36上。第一颜色和第二颜色可以进行选择以彼此区分开。用于增强现实可视化的各种特征或元素的可区分的和/或不同的颜色可以通过将交替的颜色等距布置在白点周围的色度空间中并通过外推法选择其主波长来从轨迹的基础颜色中进行选择。这些颜色可以从下述中选择：选自由黄色、粉红色、绿色和青色构成的组的高亮度互补色。再次参考图5，在非限制性示例中，增强现实位置对准可视化220的第一偏差矢量222和第二偏差矢量224可以在HMD 30的透镜36上显示为紫色线。相比之下，增强现实角度对准可视化200的第一角度矢量204和第二角度矢量202可以在HMD 30的透镜36上显示为蓝色或青色线。类似地，可以使用不同的颜色来区分目标轨迹轴线210和其他可视化。例如，目标轨迹轴线210可以在HMD 30的透镜36上显示为黄色线。应当理解，设想可以将颜色的任何组合用于各种增强现实可视化中的每一个，以将它们彼此区分开。
如上所述的增强现实可视化还可以通过改变每个增强现实可视化的透明度和/或不透明度来区分，如在HMD 30的透镜36上显示的那样。例如，增强现实可视化可以被配置成使得增强现实位置对准可视化220可以用不透明线显示在HMD 30的透镜36上，并且增强现实角度对准可视化200可以在HMD 30的透镜36上显示为至少部分透明的线或完全不可见的线。在另一示例中，其中增强现实可视化包括多个轨迹和/或轴，除了距手术器械50的器械轴线240和/或尖端54最小距离的那个之外的所有轨迹和/或轴都可以以增加的透明度显示。从用户的角度来看，这消除了不必要或不太重要的增强现实可视化。
类似地，线的类型可以用于区分上述各种增强现实可视化。再次参考
图5，在非限制性示例中，增强现实位置对准可视化220的第一偏差矢量222和第二偏差矢量224可以在HMD 30的透镜36上显示为具有限定的线宽的实线。相比之下，增强现实角度对准可视化200的第一角度矢量204和第二角度矢量202可以在HMD 30的透镜36上显示为线宽不同于增强现实位置对准可视化220的线宽的实线。类似地，可以使用不同的线类型来区分目标轨迹轴线210和其他可视化区。例如，目标轨迹轴线210可以在HMD 30的透镜36上显示为虚线、点划线或类似不同的线型。应当理解，可以将线类型的任何组合用于各种增强现实可视化中的每一个，以将它们彼此区分开。
图6示出了仅包括用户通过HMD 30的透镜36感知到的虚拟图像的增强现实可视化的示例配置。如图6所示，增强现实可视化可以包括患者图像数据的切片的虚拟图像，在通过透镜36观看时，在固定位置浮动框300中其被显示在真实的手术部位或感兴趣区域62上方。与上述示例类似，用户仍可以通过HMD 30的透镜36查看患者60的真实特征，例如患者60的脊柱。然而，附加信息或图像、例如患者数据可以显示在透镜36上的浮动框300中。例如，如图6所示，增强现实可视化可以包括患者数据的切片图像，诸如特定椎骨的二维图像。轴或坐标系可以叠加在浮动框300中描绘的患者数据切片上。轴或坐标系可以被配置为表示手术器械50相对于在浮动框300中描绘的患者数据的位置和/或取向。
参照图7，在增强现实可视化的另一示例配置中，增强现实可视化可以包括在HMD30的透镜36上、显示窗口330中显示的虚拟图像。与上述增强现实可视化的一些现有示例配置不同，图7所示的增强现实可视化是仅包括在透镜36上显示的虚拟图像的增强现实可视化的示例。例如，增强现实可视化不要求HMD 30的用户在患者60和/或关注区域62的视线范围内。该增强现实可视化可以显示在透镜36上，以允许用户查看叠加在患者260的虚拟图像或模型上的手术计划的图像或描绘。类似于上述浮动框300，显示窗口330可以被配置为描绘患者数据，诸如图像或患者扫描。显示窗口330可以进一步被配置为描绘叠加在患者数据上的目标轨迹轴线210、器械轴线240和/或目标对象130。如上述类似示例中，用户可以使用控制按钮320、322、324来操作该增强现实可视化的显示窗口330。例如，用户可以使用手势选择控制按钮320、322、324中的一个或多个进行放大或缩小，以获得目标轨迹轴线210、器械轴线240和/或目标对象130的更好视觉效果。
图8示出了增强现实可视化的另一替代配置，其包括如在HMD 30的透镜36上显示的患者260的一部分的虚拟图像和/或患者数据。在透镜260上显示的患者260的那部分和/或患者数据作为增强现实可视化可以包括目标轨迹轴线210、感兴趣区域262和/或目标对象130。增强现实可视化还可以包括叠加在患者260和/或患者数据上的其他解剖特征和/或计划的手术路径的描绘。例如，增强现实可视化可以包括显示在透镜36上的患者260的虚拟3D图像。与不得不将他们的注意力转移到另一外部显示器上不同，这可以允许用户在HMD30的透镜36上可视化所述附加的解剖特征和/或计划的手术路径。增强现实可视化还可以包括附加的控制按钮326、328，其中控制按钮326、328被配置为操作显示在透镜36上的增强现实可视化。例如，控制按钮326、328之一可以被配置为放大和/或缩小。另外，控制按钮326、328之一可以被配置为旋转增强现实可视化以允许用户从不同的角度或视角观察或观看增强现实可视化。当增强现实可视化是患者260的虚拟3-D图像时，控制按钮326、328可以被配置为旋转患者260的虚拟3-D模型以允许用户从多个角度查看手术计划和/或目标轨迹轴线210。
使用包括上述头戴式显示器30的手术导航系统20来对准手术器械50的方法可以包括基于注册到患者跟踪器40的患者数据来计划目标轨迹轴线210。该方法可以进一步包括以下步骤：在头戴式显示器30上将增强现实位置对准可视化220显示为两个被轴对准的偏差矢量222、224，其包括从目标轨迹轴线210上的点到手术器械50的尖端54的距离矢量的分解。例如，该方法可以包括在头戴式显示器30的透镜36上显示第一偏差矢量222和第二偏差矢量224。第一偏差矢量222和/或第二偏差矢量224可以显示为实线和/或虚线。第一偏差矢量222和第二偏差矢量224也可以显示为箭头。
该方法可以进一步包括以下步骤：在头戴式显示器30上显示包括偏差角度206的增强现实角度对准可视化200，该偏差角度206示出了代表手术器械50的器械轴线240的第一角度矢量204与目标轨迹轴线210的第二角度矢量202之间的角度。例如，该方法可以包括将第一角度矢量204和第二角度矢量202显示为由表示第一角度矢量204和第二角度矢量202之间的偏差角度206的弧连接的线。
该方法还可以包括以下步骤：基于跟踪单元10的测量数据来更新在头戴式显示器30上显示的增强现实位置对准可视化220和/或增强现实角度对准可视化200，以从头戴式显示器30的角度指示手术器械50至目标轨迹轴线210相对位置。目标轨迹轴线210可以由连接目标对象130、230和进入点的线限定。该更新可以是连续的。
对准手术器械50的方法可以进一步包括显示手术器械50的器械轴线240的增强现实可视化。器械轴线240可以显示为手术器械50的线或轮廓。显示在头戴式显示器30的透镜36上的器械轴线240的增强现实可视化可以指示手术器械50相对于患者60、感兴趣区域62、目标轨迹轴线210和/或目标对象130、230的位置。
对准手术器械50的方法可以进一步包括使用不同的颜色来显示增强现实位置对准可视化220和/或增强现实角度对准可视化200，使得用户可以区分相应的对准可视化。可以通过将交替的颜色等距布置在白点周围的色度空间中并通过外推法选择其主波长来从轨迹的基础颜色中选择用于增强现实可视化的不同颜色。例如，这些颜色可以从下述中选择：选自由黄色、粉红色、绿色和青色构成的组中的高亮度互补色。
该方法还可包括基于手术器械50到目标轨迹轴线210的距离向用户突出显示增强现实位置对准可视化220和/或增强现实角度对准可视化200。例如，表示增强现实位置对准可视化220的线的颜色和/或线宽可以与表示增强现实角度对准可视化200的线的颜色和/或线宽不同。如上所述，这可以用于允许用户在头戴式显示器30的透镜36上显示的增强现实位置对准可视化220和/或增强现实角度对准可视化200之间进行区分。
突出显示目标轨迹轴线210的步骤可以进一步包括向用户隐藏除具有最小距离的那条轨迹之外的所有其他轨迹的步骤。突出显示目标轨迹轴线210的步骤还可以包括以增加的透明度显示除具有最小距离的那个轨迹之外的所有其他轨迹。例如，当手术器械50与对应于增强现实位置对准可视化220的第一偏差矢量222的方向和取向正确对准时，第一偏差矢量222可以在头戴式显示器30的透镜36上被隐藏或显示为透明。相反，如果手术器械50未与对应于增强现实位置对准可视化220的第一偏差矢量222的方向和取向对准，则第一偏差矢量222可以在头戴式显示器30的透镜36上突出显示，以向用户发送需要基于目标轨迹轴线210校正该对准的信号。
对准手术器械50的方法可以进一步包括以下步骤：在头戴式显示器30上将增强现实位置对准可视化220显示为两个被轴对准的偏差矢量222、224，其中，手术器械50与目标轨迹轴线210之间的距离基于手术器械50的尖端54到从由下述构成的组中选择的至少一个之间的距离计算：连接目标对象130、230和目标轨迹轴线210的进入点的线段，连接目标对象130、230和目标轨迹轴线210的进入点的线，以及目标对象130、230或目标轨迹轴线210的进入点。
对准手术器械50的方法，其中，将距离矢量分解为两个被轴对准的偏差矢量222、224是相对于从下述得出的两个本征矢量的：三个主要患者轴线中与目标轨迹轴线210成最大角度的两个主要患者轴线，或被投影到下述平面上的视准轴线：该平面垂直于目标轨迹轴线210并附着到目标轨迹轴线210上距手术器械54的尖端54最近的点，以及与被投影的视准轴线在同一平面中的垂直矢量。
对准手术器械50的方法可以进一步包括比例缩放增强现实位置对准可视化220的步骤，以允许用户更容易地观察到手术器械50相对于目标轨迹轴线210的位置和/或对准的小偏差。例如，第一偏差矢量222和/或第二偏差矢量224的长度可以放大以允许用户更容易地观察到小的偏差。可选地，第一偏差矢量222和/或第二偏差矢量224的长度可以被缩小以允许增强现实可视化适配于头戴式显示器30的透镜36上。距离矢量的分解的比例缩放可以被限制于绝对最大可视长度和相对于头戴式显示器30的视场的最大可视长度。
对准手术器械50的方法，其中，偏差角度206的分解是相对于从下述得出的两个本征矢量的：三个主要患者轴线中与目标轨迹轴线成最大角度的两个，或被投影到下述平面上的视准轴线：该平面垂直于目标轨迹轴线并附着到目标轨迹轴线上距手术器械54的尖端54最近的点，以及与被投影的视准轴线在同一平面中的垂直矢量。
对准手术器械50的方法，其中，偏差角度206的可视化包括：器械轴线240、目标轨迹轴线210、以及表示连接代表器械轴线240的第一角度矢量204和代表目标轨迹轴线210的第二角度矢量202两者的近端的偏差角度206的弧的位置校正增强现实可视化，或该位置校正增强现实可视化的轴量。
对准手术器械50的方法可以进一步包括以下步骤：显示用于描述从手术器械50的尖端54到目标轨迹轴线210的距离的第一增强现实文本标签310，以及显示被定位于该角度可视化中或附近的、用于以度为单位描述器械轴线240与目标轨迹轴线210之间的偏差角度206的第二增强现实文本标签310。
对准手术器械50的方法可以进一步包括以下步骤：显示将要在目标轨迹轴线210的目标点处放置或移除的目标对象130、230的增强现实可视化。
对准手术器械50的方法可以进一步包括以下步骤：显示将要在目标轨迹轴线210的目标点处放置或移除的目标对象130、230的增强现实可视化，其中目标对象130、230的增强现实可视化被定位在该目标位置处或手术器械50的当前位置处。
对准手术器械50的方法可以进一步包括显示患者图像数据切片的增强现实可视化的步骤。该步骤可以包括用户将增强现实可视化位置选择为下述之一：空间中的固定框，跟随头部运动的浮动框300，患者图像数据切片的位置处的原位，或从用户位置偏移用户定义的固定空间矢量。用户可以使用显示在头戴式显示器30的透镜36上的控制按钮320、322、324、326、328来操作患者图像数据的切片。用户可以使用手势和/或面部姿态来选择显示在透镜36上的控制按钮320、322、324、326、328。该步骤可以进一步包括从患者图像数据颜色信息到包括阿尔法透明目标范围的增强现实可视化颜色信息的颜色映射。该步骤可以进一步包括用户交互，通过该用户交互，用户可以使用语音、鼠标、键盘、注视或手术器械中的任何一种来选择和重新定位增强现实可视化位置并选择患者图像数据切片。
对准手术器械50的方法可以进一步包括显示感兴趣区域指示器。感兴趣区域指示器可以包括在感兴趣区域62的附近显示的增强现实文本标签310或划界感兴趣区域62的增强现实边界可视化。感兴趣区域指示器可以进一步包括颜色映射方法，该颜色映射方法基于手术器械50到感兴趣区域62的距离向用户突出显示增强现实文本标签310和增强现实边界可视化。
上面描述了增强现实可视化的几种配置，例如增强现实位置对准可视化220和/或增强现实角度对准可视化200。尽管增强现实可视化的许多配置是关于显示在头戴式显示器30的透镜36上和/或头戴式显示器30上进行描述的，但应当理解，还可以想到任何不同配置的增强现实可视化也可以显示在显示器22上。显示器22可以包括阴极射线管显示器(CRT)，发光二极管显示器(LED)，电致发光显示器(ELD)，液晶显示器(LCD)，有机发光二极管显示器(OLED)，数字光处理显示器(DLP)，投影监视器，或类似设备。
在前面的描述中已经讨论了手术导航系统20和/或增强现实可视化的几种配置。然而，本文讨论的配置并非旨在穷举或将本公开限制到任何特定的形式。已经使用的术语旨在具有描述性词语的性质，而不是限制性的。鉴于以上教导，许多修改和变化是可能的，并且可以以不同于具体描述的方式实践本公开。
用于附加配置的条款(原始EP权利要求)
I.一种用于手术器械的对准的引导系统，包括：立体头戴式显示器，其至少包括HMD跟踪器，具有跟踪系统的手术导航系统，被注册到可被跟踪系统跟踪的患者跟踪器的患者数据，用于在患者数据上计划一个或多个轨迹的计划系统，被跟踪系统跟踪的被导航器械，AR位置对准可视化，AR角度对准可视化。
Ia.条款I的引导系统可以被配置为显示用于位置对准可视化的两个被轴对准的偏差矢量，所述两个被轴对准的偏差矢量是从被导航器械的尖端的轨迹轴线上的到被导航器械的尖端最近的点的距离矢量的分解，并且通过比例缩放功能对长度进行比例缩放以允许用户在立体头戴式显示器上看到小偏差。
Ib.条款I或Ia的引导系统可以进一步配置为显示由一个或两个偏差角度组成的角度对准可视化，所述偏差角度显示了器械轴线的方向矢量与轨迹轴的方向矢量之间的角度或者将所述角度分解成两个偏差角度，每个偏差角度可以通过比例缩放功能进行开放角度的比例缩放，以允许用户看到小偏差。
Ic.条款I，Ia和Ib中任一项的引导系统可进一步配置为基于跟踪系统连续地更新可视化，以从立体头戴式显示器的双眼的角度显示被导航器械与患者数据的相对位置。
Id.条款I，Ia，Ib和Ic中任一项的引导系统可以进一步配置为对可视化使用不同颜色，使得用户能够区分相应的对准可视化并且根据被导航器械到每个轨迹的距离向用户突出显示可视化。
II.一种使用条款I的引导系统对准手术器械的方法，该方法包括以下步骤：基于跟踪系统连续更新可视化，以从立体HMD的双眼的角度显示被导航器械与患者数据的相对位置；对可视化使用不同颜色，以便用户能够区分相应的对准可视化；以及根据被导航器械到每个轨迹的距离向用户突出显示可视化。
II-a.根据条款II的方法可以进一步包括使用和/或显示用于位置对准可视化的两个被轴对准的偏差矢量，所述两个被轴对准的偏差矢量是从被导航器械的尖端的轨迹轴线上的到被导航器械的尖端最近的点的距离矢量的分解，并且通过比例缩放功能对长度进行比例缩放以允许用户看到小偏差。
Il-b.根据条款II或II-a的方法可以进一步包括使用和/或显示由一个或两个偏差角度组成的角度对准可视化，所述偏差角度显示了器械轴线的方向矢量与轨迹轴的方向矢量之间的角度或者将所述角度分解成两个偏差角度，每个偏差角度可以通过比例缩放功能进行开放角度的比例缩放，以允许用户看到小偏差。
II-c.根据条款II，II-a和II-b中任一项所述的方法，其特征在于，被导航器械与轨迹之间的距离基于被导航器械的尖端到选自由下述构成的组中的至少一个的距离来计算：连接目标和轨迹的进入点的线段，连接轨迹的目标和进入点的线，以及目标或轨迹的进入点。
II-d.根据条款II，II-a和II-b中任一项所述的方法，其特征在于，所述被导航器械与所述轨迹之间的角度偏差基于被导航器械的轴线的法线与连接目标和轨迹的进入点的线的法线之间的角度来计算。
II-e.根据条款II，II-a和II-b中任一项所述的方法，其特征在于，轨迹的突出显示向用户隐藏除具有最小距离的那个轨迹之外的所有轨迹，并且以增加的透明度显示除具有最小距离的那个轨迹之外的所有轨迹。
II-f.根据条款II，II-a和II-b中任一项所述的方法，其特征在于，将距离矢量分解为两个被轴对准的偏差矢量是相对于从下述得到的两个本征矢量而言的：三个主要患者轴线中与轨迹轴线成最大角度的两个主要患者轴线，或者被投影到下述平面上的视准轴线：该平面垂直于轨迹轴线并附着到轨迹轴线上距被导航器械的尖端最近的点，以及与被投影的视准轴线在同一平面中的垂直矢量。
II-g.根据条款II，II-a和II-b中任一项所述的方法，其特征在于，距离矢量的分解的比例缩放被限制于绝对最大可视长度和相对于头戴式显示器的视场的最大可视长度。
II-h.根据条款II，II-a和Il-b中任一项所述的方法，其特征在于，两个偏差角度的分解是相对于从下述得到的两个本征矢量而言的：三个主要患者轴线中与轨迹轴线成最大角度的两个主要患者轴线，或者被投影到下述平面上的视准轴线：该平面垂直于轨迹轴线并附着到轨迹轴线上距被导航器械的尖端的5个最近点，以及与被投影的视准轴线在同一平面中的垂直矢量。
II-i.根据条款II，II-a和Il-b中任一项所述的方法，其特征在于，偏差角度的可视化包括：对下述的位置校正增强现实可视化：当前法线轴线、目标法线轴线、和连接当前法线轴线和目标法线轴线两者的近端的弧，或所述位置校正增强现实可视化的轴量。
II-j.根据条款II，II-a和Il-b中任一项所述的方法，进一步使用用于描述从器械尖端至轨迹目标的距离的AR文本标签，和被定于角度可视化中或附近的、用于以度数描述器械轴线和轨迹轴线之间的角度偏差的AR文本标签
II-k.根据条款II，II-a和Il-b中任一项所述的方法，进一步使用轨迹的AR可视化。
II-l.根据条款II，II-a和Il-b中任一项所述的方法，进一步使用将要在轨迹的目标点处放置或移除的目标对象的AR可视化，其特征在于，所述目标对象的AR可视化被定位于目标位置处或被导航工具的当前位置处。
II-m.根据条款II，II-a和Il-b中任一项所述的方法，还包括将要在轨迹的目标点处放置或移除的目标对象的AR可视化的步骤。
II-n.根据条款II，II-a和Il-b中任一项所述的方法，其特征在于，通过将交替的颜色等距布置在围绕白点的色度空间中并通过外推法选择它们的主波长来从轨迹的基础颜色中选择用于可视化的不同颜色，或者所述颜色选自下述：从包括黄色、粉红色、绿色和青色的组中选择的高亮度互补色。
II-o.根据条款II，II-a和Il-b中任一项所述的方法，还包括对患者图像数据切片进行AR可视化的步骤，该步骤包括以下步骤：由外科医生将AR可视化位置选择为下述中的一个：空间中的固定框、跟随头部移动的浮动框、在患者图像数据切片的位置处的原位、或从患者位置偏移用户定义的固定空间矢量；从患者图像数据颜色信息颜色映射至包括阿尔法透明度目标范围的AR可视化颜色信息；和用户交互，通过所述用户交互，用户能够使用语音、鼠标、键盘、注视或被导航手术器械中的任一种来选择和重新定位AR可视化位置并选择患者图像数据切片。
II-p.根据条款II，II-a和Il-b中任一项所述的方法，进一步包括使用感兴趣区域指示器，所述感兴趣区域指示器包括：在所述感兴趣区域的附近示出的AR文本标签或划界所述感兴趣区域的AR边界可视化，和颜色映射方法，其根据被导航器械至所述感兴趣区域的距离向用户突出显示所述AR文本标签和AR边界可视化。

Claims (45)

1.一种手术导航系统，包括：
包括透镜的头戴式显示器；
包括跟踪单元的手术导航系统；
被注册到患者数据并且能够被所述手术导航系统跟踪的患者跟踪器；
手术器械，其具有能够被所述手术导航系统跟踪的器械跟踪器，所述器械限定出器械轴线；和
控制器，其被配置用于生成增强现实位置对准可视化为两个被轴对准的偏差矢量而显示在所述头戴式显示器的透镜上，所述两个被轴对准的偏差矢量包括从目标轨迹轴线上的目标点至手术器械上的点的距离矢量的分解。
2.根据权利要求1所述的手术导航系统，其中，所述控制器被配置用于比例缩放在所述透镜上显示的两个被轴对准的偏差矢量。
3.根据权利要求1所述的手术导航系统，其中，所述控制器被配置用于生成增强现实角度对准可视化以显示在所述透镜上。
4.根据权利要求3所述的手术导航系统，其中，所述增强现实角度对准可视化包括偏差角度，所述偏差角度表示代表与所述器械轴线平行的轴线的第一角度矢量与代表所述目标轨迹轴线的第二角度矢量之间的角度。
5.根据权利要求4所述的手术导航系统，其中，所述控制器被配置用于比例缩放代表所述偏差角度的第一线和第二线的长度，以允许用户看到所述偏差角度的小偏差。
6.根据权利要求3所述的手术导航系统，其中，所述增强现实角度对准可视化包括将代表所述器械轴线的第一角度矢量和代表所述目标轨迹轴线的第二角度矢量之间的角度分解为两个偏差角度。
7.根据权利要求6所述的手术导航系统，其中，代表所述两个偏差角度的线的长度被配置为进行比例缩放以允许用户看到所述两个偏差角度的小偏差。
8.根据权利要求3至7中任一项所述的手术导航系统，其中，所述增强现实位置对准可视化包括第一颜色，并且所述增强现实角度对准可视化包括能够与所述第一颜色区分开的不同颜色。
9.一种与手术导航系统、能够被所述手术导航系统跟踪的患者跟踪器、和能够被所述手术导航系统跟踪的手术器械一起使用的头戴式显示系统，所述头戴式显示器包括：
透镜；和
控制器，其被配置用于在所述透镜上将增强现实位置对准可视化显示为两个被轴对准的偏差矢量，所述两个被轴对准的偏差矢量包括从目标轨迹轴线上的目标点至所述手术器械的距离矢量的分解。
10.根据权利要求9所述的头戴式显示系统，其中，所述控制器被配置用于在所述透镜上生成增强现实角度对准可视化。
11.根据权利要求10所述的头戴式显示系统，其中，所述增强现实角度对准可视化包括偏差角度，所述偏差角度表示代表所述器械轴线的第一角度矢量与代表所述目标轨迹轴线的第二角度矢量之间的角度，代表所述偏差角度的第一线和第二线的长度被配置为进行比例缩放以允许用户看到小偏差。
12.根据权利要求10所述的头戴式显示系统，其中，所述增强现实角度对准可视化包括将代表所述器械轴线的第一角度矢量和代表所述角度的目标轨迹轴线的第二角度矢量之间的角度分解为两个偏差角度，代表所述两个偏差角度的线的长度被配置为进行比例缩放以允许用户看到小偏差。
13.根据权利要求10至12中任一项所述的头戴式显示系统，其中，所述增强现实位置对准可视化包括第一颜色，并且所述增强现实角度对准可视化包括能够与所述第一颜色区分开的不同颜色。
14.一种鉴于包括目标轨迹轴线的外科计划、使用头戴式显示系统来显示手术导航信息的方法，所述头戴式显示系统包括手术导航系统和手术器械，所述手术器械具有尖端并且至少部分地限定出器械轴线，所述方法包括：
在头戴式显示器上显示包括两个被轴对准的偏差矢量的增强现实位置对准可视化，所述两个被轴对准的偏差矢量包括第一偏差矢量和第二偏差矢量，其中所述第一偏差矢量和第二偏差矢量表示从所述目标轨迹轴线上的点至所述手术器械的尖端的距离矢量的分解；并且
更新显示于头戴式显示器上的增强现实位置对准可视化，以从头戴式显示器的角度指示所述手术器械相对于所述目标轨迹轴线的相对位置。
15.根据权利要求14所述的方法，其中，将所述距离矢量分解为两个被轴对准的偏差矢量是相对于从下述得出的两个本征矢量而言的：
从患者的取向得出的三个主要患者轴线中与所述目标轨迹轴线成最大角度的两个主要患者轴线。
16.根据权利要求14所述的方法，其中，将所述距离矢量分解为两个被轴对准的偏差矢量是相对于从下述得出的两个本征矢量而言的：
被投影到下述平面上的视准轴线：该平面垂直于目标轨迹轴线并附着到目标轨迹轴线上距手术器械的尖端最近的点，以及与被投影的视准轴线在同一平面中的垂直矢量。
17.根据权利要求14所述的方法，进一步包括显示包括偏差角度的增强现实角度对准可视化，所述偏差角度示出了代表所述手术器械的轴线的第一角度矢量和代表所述目标轨迹轴线的第二角度矢量之间的角度。
18.根据权利要求17所述的方法，进一步包括更新所述增强现实角度对准，以从所述头戴式显示器的角度指示所述手术器械的轴线相对于所述目标轨迹轴线的角度。
19.根据权利要求17或18所述的方法，进一步包括使用第一颜色来显示所述增强现实位置对准可视化或所述增强现实角度对准可视化，和使用不同的颜色来显示所述增强现实位置对准可视化或所述增强现实角度对准可视化中的另一个。
20.根据权利要求17或18所述的方法，进一步包括根据所述手术器械至所述目标轨迹轴线的距离向用户突出显示所述增强现实位置对准可视化和/或所述增强现实角度对准可视化。
21.根据权利要求14所述的方法，其中，基于所述手术器械的尖端至选自由下述构成的组中的至少一个基础的距离来计算所述手术器械与所述目标轨迹轴线之间的距离：连接目标对象和目标轨迹轴线的进入点的线段，连接目标对象和目标轨迹轴线的进入点的线，以及目标对象或所述轨迹的进入点。
22.一种与包括患者跟踪器和手术器械跟踪器的手术导航系统一起使用的头戴式显示器，所述手术导航系统被配置用于基于患者数据来计划目标轨迹轴线以及使至少部分地通过手术器械的尖端限定的器械轴线与所述目标轨迹轴线对准，所述头戴式显示器包括：
透镜；
其中所述头戴式显示器被配置用于显示包括两个被轴对准的偏差矢量的增强现实位置对准可视化，所述两个被轴对准的偏差矢量包括从所述目标轨迹轴线上的点至所述手术器械的尖端的距离矢量的分解；和/或
其中所述头戴式显示器进一步被配置用于显示包括偏差角度的增强现实角度对准可视化，所述偏差角度表示代表所述器械轴线的第一角度矢量与代表所述目标轨迹轴线的第二角度矢量之间的角度。
23.根据权利要求22所述的系统，其中，所述两个被轴对准的偏差矢量被配置为进行长度的比例缩放，以允许用户看到从所述手术器械轴线至所述目标轨迹轴线的距离的小偏差。
24.根据权利要求22所述的系统，其中，所述偏差角度被配置为进行比例缩放以允许用户看到所述第一角度矢量和所述第二角度矢量之间的角度的小偏差。
25.根据权利要求22所述的系统，其中，所述增强现实角度对准可视化包括将代表所述器械轴线的第一角度矢量和代表所述角度的目标轨迹轴线的第二角度矢量之间的角度分解为两个偏差角度。
26.根据权利要求22所述的系统，其中，所述增强现实位置对准可视化包括第一颜色，并且所述增强现实角度对准可视化包括第二颜色；并且
其中，所述第一颜色能够与第二颜色区分开来。
27.一种使用手术导航系统对准手术器械的方法，所述手术导航系统包括被配置用于跟踪头戴式显示器的位置的跟踪单元，患者跟踪器，以及被耦合至手术器械的手术器械跟踪器，所述手术器械具有尖端并且限定出器械轴线，其中所述手术导航系统被配置用于基于被注册到所述患者跟踪器的患者数据来计划目标轨迹轴线，所述方法包括以下步骤：
在所述头戴式显示器上将增强现实位置对准可视化显示为两个被轴对准的偏差矢量，所述两个被轴对准的偏差矢量包括从所述目标轨迹轴线上的点至所述手术器械的尖端的距离矢量的分解，和/或
在所述头戴式显示器上显示包括偏差角度的增强现实角度对准可视化，所述偏差角度显示代表所述手术器械轴线的第一角度矢量与代表所述目标轨迹轴线的第二角度矢量之间的角度；并且
基于所述跟踪单元连续更新显示于所述头戴式显示器上的增强现实位置对准可视化和/或增强现实角度对准可视化，以从所述头戴式显示器的角度指示所述手术器械轴线相对于所述目标轨迹轴线的位置。
28.根据权利要求27所述的方法，其中，所述目标轨迹轴线通过连接目标对象和进入点的线定义。
29.根据权利要求27或28所述的方法，进一步包括在所述头戴式显示器上显示所述手术器械的器械轴线的增强现实可视化。
30.根据权利要求27所述的方法，进一步包括使用不同的颜色来显示所述增强现实位置对准可视化和/或所述增强现实角度对准可视化，以便用户能够区分开相应的对准可视化；并且
基于所述手术器械至所述目标轨迹轴线的距离，向用户突出显示所述增强现实位置对准可视化和/或增强现实角度对准可视化。
31.根据权利要求27所述的方法，其中，基于所述手术器械的尖端至选自由下述构成的组中的至少一个的距离来计算所述手术器械与所述目标轨迹轴线之间的距离：连接目标对象和目标轨迹轴线的进入点的线段，连接目标对象和目标轨迹轴线的进入点的线，目标对象，和所述轨迹的进入点。
32.根据权利要求30所述的方法，其中，所述目标轨迹轴线的突出显示包括向用户隐藏除了具有最小距离的那条轨迹之外的所有其他轨迹。
33.根据权利要求30所述的方法，以增加的透明度显示除了具有最小距离的那条轨迹以外的所有其他轨迹。
34.根据权利要求27所述的方法，其中，将所述距离矢量分解为两个被轴对准的偏差矢量是相对于从下述得出的两个本征矢量而言的：
三个主要患者轴线中与所述目标轨迹轴线成最大角度的两个主要患者轴线，和
被投影到下述平面上的视准轴线：该平面垂直于目标轨迹轴线并附着到目标轨迹轴线上距手术器械的尖端最近的点，以及与被投影的视准轴线在同一平面中的垂直矢量。
35.根据权利要求27所述的方法，进一步包括比例缩放所述增强现实位置对准可视化；
其中，所述距离矢量的分解的比例缩放被限制于绝对最大可视长度和相对于所述头戴式显示器的视场的最大可视长度。
36.根据权利要求27所述的方法，其中，所述两个偏差角度的分解是相对于从下述得出的两个本征矢量而言的：
三个主要患者轴线中与所述目标轨迹轴线成最大角度的两个主要患者轴线，和
被投影到下述平面上的视准轴线：该平面垂直于目标轨迹轴线并附着到目标轨迹轴线上距手术器械的尖端最近的点，以及与被投影的视准轴线在同一平面中的垂直矢量。
37.根据权利要求30所述的方法，其中，所述偏差角度的可视化包括：
对下述的位置校正增强现实可视化：所述器械轴线、所述目标轨迹轴线、以及连接所述器械轴线和所述目标轨迹轴线两者的近端的弧。
38.根据权利要求30所述的方法，其中，所述偏差角度的可视化包括：
所述器械轴线的位置校正增强现实可视化的轴量。
39.根据权利要求29所述的方法，进一步包括显示：用于描述从所述手术器械的尖端至所述目标轨迹轴线的距离的第一增强现实文本标签，和被定于角度可视化中或附近的、用于以度数描述所述器械轴线和目标轨迹轴线之间的偏差角度的第二增强现实文本标签。
40.根据权利要求27所述的方法，进一步包括显示将要在所述目标轨迹轴线的目标点处放置或移除的目标对象的增强现实可视化，其中，所述目标对象的增强现实可视化被定位于所述目标位置处或所述手术器械的当前位置处。
41.根据权利要求27所述的方法，进一步包括将要在所述目标轨迹轴线的目标点处放置或移除的目标对象的增强现实可视化的步骤。
42.根据权利要求28所述的方法，其中，通过将交替的颜色等距布置在围绕白点的色度空间中并通过外推法选择其主波长来从轨迹的基础颜色中选择用于增强现实可视化的不同颜色；和/或
其中所述颜色选自下述：从由黄色、粉红色、绿色和青色构成的组中选择的高亮度互补色。
43.根据权利要求27所述的方法，进一步包括显示患者图像数据切片的增强现实可视化的步骤，该步骤包括以下步骤：
由外科医生将增强现实可视化位置选择为下述中的一个：空间中的固定框、跟随头部移动的浮动框、在患者图像数据切片的位置处的原位、或从患者位置偏移用户定义的固定空间矢量；
从患者图像数据颜色信息颜色映射至包括阿尔法透明度目标范围的增强现实可视化颜色信息；和
用户交互，通过所述用户交互，用户能够使用语音、鼠标、键盘、注视或手术器械中的任一种来选择和重新定位增强现实可视化位置并选择患者图像数据切片。
44.根据权利要求27所述的方法，还包括显示感兴趣区域指示器，所述感兴趣区域指示器包括：
在所述感兴趣区域的附近示出的增强现实文本标签或划界所述感兴趣区域的增强现实边界可视化；和
颜色映射方法，其根据被导航的器械至所述感兴趣区域的距离向用户突出显示所述增强现实文本标签和增强现实边界可视化。
45.一种手术导航系统，能够被所述手术导航系统跟踪的患者跟踪器，和能够被所述手术导航系统跟踪的手术器械，所述手术器械引导系统包括：
显示器；
控制器，其被配置用于在所述显示器上显示增强现实位置对准可视化为两个被轴对准的偏差矢量，所述两个被轴对准的偏差矢量包括从目标轨迹轴线上的目标点至手术器械的距离矢量的分解；和/或
其中所述控制器被进一步配置用于在显示器上显示包括偏差角度的增强现实角度对准可视化，所述偏差角度表示代表所述器械轴线的第一角度矢量与代表所述目标轨迹轴线的第二角度矢量之间的角度。
CN201880029762.0A 2017-05-05 2018-05-04 手术导航系统 Active CN110650703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310302207.3A CN116236282A (zh) 2017-05-05 2018-05-04 手术导航系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17169700 2017-05-05
EP17169700.6 2017-05-05
PCT/IB2018/053130 WO2018203304A1 (en) 2017-05-05 2018-05-04 Surgical navigation system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310302207.3A Division CN116236282A (zh) 2017-05-05 2018-05-04 手术导航系统

Publications (2)

Publication Number Publication Date
CN110650703A true CN110650703A (zh) 2020-01-03
CN110650703B CN110650703B (zh) 2023-05-12

Family

ID=58672440

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880029762.0A Active CN110650703B (zh) 2017-05-05 2018-05-04 手术导航系统
CN202310302207.3A Pending CN116236282A (zh) 2017-05-05 2018-05-04 手术导航系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310302207.3A Pending CN116236282A (zh) 2017-05-05 2018-05-04 手术导航系统

Country Status (6)

Country Link
US (2) US11589927B2 (zh)
EP (1) EP3618748B1 (zh)
JP (1) JP7189939B2 (zh)
CN (2) CN110650703B (zh)
AU (1) AU2018262533B2 (zh)
WO (1) WO2018203304A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111407406A (zh) * 2020-03-31 2020-07-14 武汉联影智融医疗科技有限公司 头部位置标识装置、术中控制系统及控制方法
CN111658065A (zh) * 2020-05-12 2020-09-15 北京航空航天大学 一种下颌骨切削手术的数字化引导系统
CN113143460A (zh) * 2020-01-13 2021-07-23 史赛克欧洲运营有限公司 控制指示立即改变的推荐入口点的导航视图的显示的方法
CN113456220A (zh) * 2021-06-30 2021-10-01 上海微创医疗机器人（集团）股份有限公司 对准方法、手术机器人及计算机存储介质
CN114587584A (zh) * 2022-03-04 2022-06-07 杭州湖西云百生科技有限公司 提高骨科植钉操作安全性的导航系统可视化方法及系统
WO2022206408A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备
TWI790447B (zh) * 2020-06-10 2023-01-21 長庚大學 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
CN116919599A (zh) * 2023-09-19 2023-10-24 中南大学 一种基于增强现实的触觉可视化手术导航系统

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
WO2019245849A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Mixed-reality enhanced surgical planning system
TWI741196B (zh) * 2018-06-26 2021-10-01 華宇藥品股份有限公司 整合擴增實境之手術導航方法及系統
WO2020018064A1 (en) * 2018-07-16 2020-01-23 Hewlett-Packard Development Company, L.P. Physical controls for mixing views
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US20220015982A1 (en) * 2018-11-30 2022-01-20 University Of Southern California Double-blinded, randomized trial of augmented reality low-vision mobility and grasp aid
CN109758230B (zh) * 2019-02-26 2021-04-13 中国电子科技集团公司信息科学研究院 一种基于增强现实技术的神经外科手术导航方法和系统
WO2020243483A1 (en) * 2019-05-29 2020-12-03 Surgical Planning Associates Inc. Systems and methods for utilizing augmented reality in surgery
EP3760150A1 (en) 2019-07-04 2021-01-06 Scopis GmbH Tracker for a head-mounted display
EP3760157A1 (en) 2019-07-04 2021-01-06 Scopis GmbH Technique for calibrating a registration of an augmented reality device
WO2021044522A1 (ja) * 2019-09-03 2021-03-11 株式会社インキュビット 手術支援装置
US20210121238A1 (en) * 2019-10-24 2021-04-29 Acclarent, Inc. Visualization system and method for ent procedures
WO2021084484A2 (en) 2019-10-29 2021-05-06 Stryker European Operations Limited Surgical navigation tracker, system, and method
DE102019130368A1 (de) * 2019-11-11 2021-05-12 Timo Krüger Verfahren und System zum Wiedergeben eines Einstichpunktes für ein medizinisches Instrument
US20210169578A1 (en) * 2019-12-10 2021-06-10 Globus Medical, Inc. Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
WO2021180331A1 (en) * 2020-03-12 2021-09-16 Brainlab Ag Method for registering a virtual representation of a patient anatomy with a coordinate system of a physical patient anatomy
US11950968B2 (en) 2020-03-13 2024-04-09 Trumpf Medizin Systeme Gmbh + Co. Kg Surgical augmented reality
US20210346093A1 (en) * 2020-05-06 2021-11-11 Warsaw Orthopedic, Inc. Spinal surgery system and methods of use
US20230186574A1 (en) * 2020-05-11 2023-06-15 Intuitive Surgical Operations, Inc. Systems and methods for region-based presentation of augmented content
US11389252B2 (en) * 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11481931B2 (en) * 2020-07-07 2022-10-25 Qualcomm Incorporated Virtual private space for extended reality
US11164391B1 (en) 2021-02-12 2021-11-02 Optum Technology, Inc. Mixed reality object detection
US11210793B1 (en) 2021-02-12 2021-12-28 Optum Technology, Inc. Mixed reality object detection
US11478327B2 (en) 2021-02-18 2022-10-25 Xenco Medical, Inc. Surgical display
US11273003B1 (en) * 2021-02-18 2022-03-15 Xenco Medical, Inc. Surgical display
CN113509265A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 一种动态位置识别提示系统及其方法
WO2023021450A1 (en) * 2021-08-18 2023-02-23 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
WO2023039032A1 (en) * 2021-09-08 2023-03-16 Arthrex, Inc. Surgical systems and methods for positioning objects using augmented reality navigation
AU2022370478A1 (en) 2021-10-18 2024-05-02 Stryker European Operations Limited Attachment and system for tracking a surgical instrument
EP4197475B1 (en) * 2021-12-16 2023-11-01 Stryker European Operations Limited Technique of determining a scan region to be imaged by a medical image acquisition device
WO2024006578A2 (en) 2022-07-01 2024-01-04 Stryker Corporation Methods and systems for zone and implant planning for a surgical procedure
CN115624384B (zh) * 2022-10-18 2024-03-22 方田医创(成都)科技有限公司 基于混合现实技术的手术辅助导航系统、方法和存储介质
CN116919596B (zh) * 2023-09-14 2024-01-09 武汉联影智融医疗科技有限公司 器械导航方法、系统、装置、设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
AU2002230901A1 (en) * 2000-12-14 2002-08-29 Gen-Probe Incorporated Method and kit for enhancing the association rates of polynucleotides
EP1844726A2 (en) * 2003-01-30 2007-10-17 Surgical Navigation Technologies, Inc. A display, a navigation system and a method for guiding a medical device to a target
WO2010067267A1 (en) * 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback
WO2016154557A1 (en) * 2015-03-26 2016-09-29 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
CN106109015A (zh) * 2016-08-18 2016-11-16 秦春晖 一种头戴式医疗系统及其操作方法
WO2016207628A1 (en) * 2015-06-22 2016-12-29 Ec Medica Ltd Augmented reality imaging system, apparatus and method
WO2017015738A1 (en) * 2015-07-27 2017-02-02 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
US20170099479A1 (en) * 2014-05-20 2017-04-06 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638819A (en) 1995-08-29 1997-06-17 Manwaring; Kim H. Method and apparatus for guiding an instrument to a target
US6671538B1 (en) * 1999-11-26 2003-12-30 Koninklijke Philips Electronics, N.V. Interface system for use with imaging devices to facilitate visualization of image-guided interventional procedure planning
WO2002048404A2 (en) 2000-12-14 2002-06-20 Gen-Probe Incorporated Method and kit for enhancing the association rates of polynucleotides
AU2003245758A1 (en) 2002-06-21 2004-01-06 Cedara Software Corp. Computer assisted system and method for minimal invasive hip, uni knee and total knee replacement
US20080154120A1 (en) 2006-12-22 2008-06-26 General Electric Company Systems and methods for intraoperative measurements on navigated placements of implants
CN103501721B (zh) * 2011-04-28 2017-04-26 皇家飞利浦有限公司 人工瓣膜的引导递送
US9629523B2 (en) 2012-06-27 2017-04-25 Camplex, Inc. Binocular viewing assembly for a surgical visualization system
CN105451802B (zh) * 2013-08-15 2019-04-19 直观外科手术操作公司 用于导管定位和插入的图形用户界面
US9538962B1 (en) 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
EP4327769A2 (en) 2016-03-12 2024-02-28 Philipp K. Lang Devices and methods for surgery
KR20230133940A (ko) 2016-07-25 2023-09-19 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
AU2002230901A1 (en) * 2000-12-14 2002-08-29 Gen-Probe Incorporated Method and kit for enhancing the association rates of polynucleotides
EP1844726A2 (en) * 2003-01-30 2007-10-17 Surgical Navigation Technologies, Inc. A display, a navigation system and a method for guiding a medical device to a target
WO2010067267A1 (en) * 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback
US20170099479A1 (en) * 2014-05-20 2017-04-06 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
WO2016154557A1 (en) * 2015-03-26 2016-09-29 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
WO2016207628A1 (en) * 2015-06-22 2016-12-29 Ec Medica Ltd Augmented reality imaging system, apparatus and method
WO2017015738A1 (en) * 2015-07-27 2017-02-02 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
CN106109015A (zh) * 2016-08-18 2016-11-16 秦春晖 一种头戴式医疗系统及其操作方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113143460A (zh) * 2020-01-13 2021-07-23 史赛克欧洲运营有限公司 控制指示立即改变的推荐入口点的导航视图的显示的方法
CN111407406A (zh) * 2020-03-31 2020-07-14 武汉联影智融医疗科技有限公司 头部位置标识装置、术中控制系统及控制方法
CN111407406B (zh) * 2020-03-31 2022-04-26 武汉联影智融医疗科技有限公司 头部位置标识系统、术中控制系统及控制方法
CN111658065A (zh) * 2020-05-12 2020-09-15 北京航空航天大学 一种下颌骨切削手术的数字化引导系统
TWI790447B (zh) * 2020-06-10 2023-01-21 長庚大學 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
US11806088B2 (en) 2020-06-10 2023-11-07 Chang Gung University Method, system, computer program product and application-specific integrated circuit for guiding surgical instrument
WO2022206408A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备
CN113456220A (zh) * 2021-06-30 2021-10-01 上海微创医疗机器人（集团）股份有限公司 对准方法、手术机器人及计算机存储介质
WO2023274099A1 (zh) * 2021-06-30 2023-01-05 上海微创医疗机器人（集团）股份有限公司 对准方法、手术机器人及计算机存储介质
CN113456220B (zh) * 2021-06-30 2023-02-28 上海微创医疗机器人（集团）股份有限公司 对准方法、手术机器人及计算机存储介质
CN114587584B (zh) * 2022-03-04 2023-10-03 杭州湖西云百生科技有限公司 提高骨科置钉操作安全性的导航系统可视化方法及系统
CN114587584A (zh) * 2022-03-04 2022-06-07 杭州湖西云百生科技有限公司 提高骨科植钉操作安全性的导航系统可视化方法及系统
CN116919599A (zh) * 2023-09-19 2023-10-24 中南大学 一种基于增强现实的触觉可视化手术导航系统
CN116919599B (zh) * 2023-09-19 2024-01-09 中南大学 一种基于增强现实的触觉可视化手术导航系统

Also Published As

Publication number Publication date
CN116236282A (zh) 2023-06-09
EP3618748B1 (en) 2023-10-25
JP2020518423A (ja) 2020-06-25
JP7189939B2 (ja) 2022-12-14
EP3618748A1 (en) 2020-03-11
US20230131515A1 (en) 2023-04-27
CN110650703B (zh) 2023-05-12
US11589927B2 (en) 2023-02-28
US20200085511A1 (en) 2020-03-19
AU2018262533B2 (en) 2024-01-18
AU2018262533A1 (en) 2019-11-21
WO2018203304A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
CN110650703B (zh) 手术导航系统
EP3533409B1 (en) Augmented reality navigation systems for use with robotic surgical systems
US11707330B2 (en) Systems and methods for surgical navigation
US20220346889A1 (en) Graphical user interface for use in a surgical navigation system with a robot arm
EP3443923B1 (en) Surgical navigation system for providing an augmented reality image during operation
US10580217B2 (en) Surgeon head-mounted display apparatuses
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
EP2001390B1 (en) System for 3-d tracking of surgical instrument in relation to patient body
TW572748B (en) A guide system and a probe therefor
US20210121238A1 (en) Visualization system and method for ent procedures
US11094283B2 (en) Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system
WO2012062872A1 (en) Image presentation method, and apparatus therefor
US20230165640A1 (en) Extended reality systems with three-dimensional visualizations of medical image scan slices
EP3871193B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US20230127963A1 (en) Technique For Providing Guidance To A User On Where To Arrange An Object Of Interest In An Operating Room
Falcão Surgical Navigation using an Optical See-Through Head Mounted Display
Eng et al. STEREO AUGMENTED REALITY IN A NAVIGATED SURGICAL MICROSCOPE

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220304

Address after: The Irish Village

Applicant after: Stryker Europe Operations Ltd.

Address before: Berlin, Germany

Applicant before: Skopis Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant