CN115361916A - 用于在医疗程序中感觉增强的系统和方法 - Google Patents

用于在医疗程序中感觉增强的系统和方法 Download PDF

Info

Publication number
CN115361916A
CN115361916A CN202180026672.8A CN202180026672A CN115361916A CN 115361916 A CN115361916 A CN 115361916A CN 202180026672 A CN202180026672 A CN 202180026672A CN 115361916 A CN115361916 A CN 115361916A
Authority
CN
China
Prior art keywords
marker
user
guide
display device
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180026672.8A
Other languages
English (en)
Inventor
M·W·瑞安
A·P·哈特曼
N·范德沃特
J·K·尼尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Medical Systems
Original Assignee
Vision Medical Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/786,938 external-priority patent/US11071596B2/en
Application filed by Vision Medical Systems filed Critical Vision Medical Systems
Publication of CN115361916A publication Critical patent/CN115361916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A61B17/154—Guides therefor for preparing bone for knee prosthesis
    • A61B17/155—Cutting femur
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
    • A61B2090/3916—Bone tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Transplantation (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Surgical Instruments (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本文描述了自含式外科手术导航系统，其包括将由用户在外科手术期间佩戴的头戴式显示装置。所述系统包括：显示生成器，所述显示生成器用于在所述显示装置上生成视觉显示；以及传感器套件，所述传感器套件具有至少一个跟踪相机。所述系统进一步包括支撑模块，所述支撑模块包括：用户可更换的模块化电池，所述用户可更换的模块化电池可以可移除地插入所述支撑模块的外壳中；以及处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向。所述支撑模块电耦合到所述头戴式显示装置以向所述头戴式显示装置提供电力和数据。所述显示装置和所述支撑模块一起包含所述系统的整个感测和计算能力，而不需要外部传感器、相机、计算机或其它电气设备。

Description

用于在医疗程序中感觉增强的系统和方法
相关申请的交叉引用
本申请要求2020年2月10日提交的美国专利申请序列号16/786,938的优先权；该申请是2018年2月15日提交的专利合作条约申请号PCT/US2018/18330的部分继续申请；其为2017年8月11日提交的美国申请第15/674,749号和2017年8月11日提交的专利合作条约申请第PCT/US2017/046438号的部分继续申请，两者均要求2016年8月16日提交的美国临时申请序列号62/375,483的优先权权益；出于所有目的，其每一者的内容以全文引用的方式并入。
技术领域
本发明涉及用于医疗程序期间的定位、本地化和态势感知的新型可视化和感觉增强装置、系统、方法和设备，所述医疗程序包括但不限于外科手术程序、诊断程序、治疗程序和麻醉程序。
背景技术
当前的医疗程序通常由外科医生或医学专业人员在所需工具之外很少或没有辅助的情况下执行，以实现患者的变化。例如，整形外科医生可以具有一些测量工具(例如标尺或类似工具)和切割工具(例如锯或钻)，但是不辅助外科医生进行视觉、听觉和/或触觉输入。换言之，外科医生只看到他或她正在操作的内容，只听到来自手术室中的其它参与者的正常通信，并且在来自程序中感兴趣的抓取工具或其它物品的正常反馈之外什么也感觉不到。可替代地，使用大控制台型导航或机器人系统，其中显示器和相机位于远离外科医生的无菌区域之外。这些要求外科医生将他或她的目光在手术部位与二维显示器之间反复移动。此外，当消毒盖布、人员和/或仪器妨碍相机对无菌区域中标记的观察时，相机的远程定位会引起视线问题，并且相机的有利位置不允许其自身在伤口内成像。通常使用带有标记的触针进行解剖配准，以标记对于相机可见的这种方式进行探测。
发明内容
本发明提供将程序所需的反馈以视觉方式投射到用户的视场中，而不需要用户头部的不自然运动或转动来查看外部屏幕。增强或虚拟显示对用户表现为用户视觉感知的自然延伸或加强。进一步地，位于用户的头盔中的传感器和相机具有与用户相同的有利位置，这使得与外部相机相关联的视线遮蔽问题最小化。与当前的触针点云方法相比，用本发明对解剖表面和特征进行3D映射并将其与来自术前扫描的模型相匹配更快，并且代表在外科手术期间以对解剖结构进行配准的更准确的方式。
本发明包含一种新颖的感觉增强装置或设备，其通常由针对用户视觉、听觉或触觉的至少一个增强组成，所述增强有助于进行医疗程序。视觉辅助可以增强现实的形式以实时视觉覆盖在用户的视场上的形式提供，或者作为虚拟现实形式的视觉场景的替代。可以以简单的嘟嘟声和音调或更复杂的声音如语音和指令的形式提供听觉辅助。触觉辅助可以以简单的警告触觉反馈或更复杂的触觉生成形式提供，目的是引导用户。在优选实施例中，视觉(增强或虚拟)辅助将由音频反馈或触觉反馈或音频反馈和触觉反馈两者来补充。
本发明提供了一种混合现实外科手术导航系统，其包含：头戴式显示装置(例如，头戴设备等)，所述头戴式显示装置将由用户(例如，外科医生)在外科手术期间佩戴，所述头戴式显示装置包含处理器单元、显示生成器、具有至少一个跟踪相机的传感器套件；以及至少一个视觉标记，所述至少一个视觉标记可由相机跟踪并且固定附接到外科手术工具上；其中所述处理单元用从所述传感器套件接收的数据映射感兴趣的解剖对象的部分暴露表面的三维表面；所述处理单元通过将所述三维表面与所述解剖对象的三维模型进行匹配来为所述解剖对象建立参考系；所述处理单元用从所述传感器套件接收的数据跟踪所述外科手术工具的六自由度姿态(包含定位和取向)；所述处理单元与所述显示器通信以提供混合现实用户界面，所述混合现实用户界面包含所述外科手术工具的期望特征和所述解剖对象的期望特征在所述用户的视场中的立体虚拟图像。
本发明进一步提供了一种将混合现实外科手术导航系统用于医疗程序的方法，其包含：(a)提供一种混合现实外科手术导航系统，所述混合现实外科手术导航系统包含：(i)头戴式显示装置，所述头戴式显示装置包含处理器单元、显示器、具有至少一个跟踪相机的传感器套件；以及(ii)至少一个视觉标记，所述至少一个视觉标记可由所述相机跟踪；(b)将所述显示装置附接到用户的头部；(c)提供具有所述标记的外科手术工具；(d)用所述传感器套件扫描感兴趣的解剖对象，以获得所述解剖对象的期望特征的三维表面的数据；(e)将所述三维表面的所述数据传输到所述处理器单元，用于对所述解剖对象的所述期望特征的虚拟三维模型进行配准；(f)用所述传感器套件跟踪具有六自由度姿态的所述外科手术工具以获得用于传输到所述处理器单元的数据；以及(g)显示混合现实用户界面，所述混合现实用户界面包含所述外科手术工具的所述特征和所述解剖对象的所述特征在所述用户的视场中的立体虚拟图像。
本发明进一步提供了一种用于外科手术导航系统的混合现实用户界面，其包含：由混合现实外科手术导航系统提供的外科手术工具的期望特征和感兴趣的解剖对象的期望特征在用户的视场中的立体虚拟图像，所述混合现实外科手术导航系统包含：(i)头戴式显示装置，所述头戴式显示装置包含处理器单元、显示器、具有至少一个跟踪相机的传感器套件；以及(ii)至少一个视觉标记，所述至少一个视觉标记可由所述相机跟踪；其中所述混合现实用户界面通过以下过程获得：(a)将所述头戴式显示装置附接到用户的头部；(b)提供具有所述标记的外科手术工具；(c)用所述传感器套件扫描期望的解剖对象以获得所述解剖对象的部分暴露表面的三维表面的数据；(d)将所述三维表面的数据传输到所述处理器单元，用于对所述解剖对象的所述特征的虚拟三维模型进行配准；(e)用所述传感器套件跟踪具有六自由度姿态的所述外科手术工具以获得用于传输到所述处理器单元的数据；以及(f)显示混合现实用户界面，所述混合现实用户界面包含所述外科手术工具的所述特征和所述解剖对象的所述特征在所述用户的视场中的立体虚拟图像。
本发明进一步提供一种用于在外科手术程序中跟踪探针的方法。例如，所述方法可以包括：使用超声换能器接收患者的内部解剖结构的二维图像；跟踪所述超声换能器的位置和取向；跟踪患者的位置和取向；将所述患者的二维图像与所述超声换能器相对于患者的位置和取向进行组合；使用所述超声换能器的位置和取向以及所述患者的位置和取向在公共参考系中重构所述二维图像，以产生所述患者的内部解剖结构的三维图像；跟踪探针的位置和取向；显示所述控针的尖端相对于所述患者的内部解剖结构的三维图像的轴和定位；以及基于相对于患者的内部解剖结构的定位将探针的尖端推进到期望位置。所述方法可以进一步包括使用一个或多个立体相机或跟踪相机或超声换能器接收患者的外部解剖结构或外表面的二维图像；以及显示具有重构的三维图像的外部解剖结构的二维图像。所述方法可用于监测销、针、螺钉、注射设备、探针等的位置、前进、缩回等。所述方法可以由本文别处描述的任何头戴式显示装置和/或混合现实外科手术系统执行。
本公开的一个方面涉及自含式头戴式外科手术导航系统。在一些实施例中，所述系统包括：显示生成器，用于在所述显示装置上生成视觉显示；传感器套件，所述传感器套件具有至少一个跟踪相机，以及处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且通过以下方式计算至少两个标记的位置和取向：确定所述至少两个标记中的第一标记在所述至少一个跟踪相机的视场内的位置，在所述显示装置上向所述用户显示虚拟导向器，以便将所述用户引导到所述至少两个标记中的第二标记相对于所述第一标记的位置，以及基于来自所述虚拟导向器的方向用所述至少一个跟踪相机来确定所述第二标记的所述位置。
本公开的另一方面涉及一种自含式外科手术导航系统。在一些实施例中，所述系统包括：头戴式显示装置，所述头戴式显示装置将由用户在外科手术期间佩戴，所述头戴式显示装置包括：显示生成器，用于在所述显示装置上生成视觉显示，以及传感器套件，所述传感器套件具有至少一个跟踪相机。所述系统包括支撑模块，所述支撑模块包括：用户可更换的模块化电池，所述模块化电池可以可移除地插入所述支撑模块的外壳中；以及处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向。
在任一前述实施例中，所述系统进一步包括以下中的一个或多个：面罩和头盔，使得所述显示装置安装到所述面罩或头盔。
在任一前述实施例中，所述系统进一步包括至少一个标记，所述至少一个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象。在一些此类实施例中，所述至少一个标记在所述至少一个跟踪相机的视场外，使得所述处理器单元进一步被配置成：使用所述传感器套件的一个或多个传感器跟踪所述用户的所述头部的角度；当所述至少一个标记被定位在所述至少一个跟踪相机的所述视场中时，基于所述至少一个标记的最后已知位置来计算所述至少一个标记的相对位置，其中所述最后已知位置是相对于所述头部的所述角度；并且在所述显示装置上向所述用户显示虚拟导向器，以将所述用户引导到所述至少一个标记的位置。
在任一前述实施例中，所述支撑模块电耦合到所述头戴式显示装置以向所述头戴式显示装置提供电力和数据。
在任一前述实施例中，所述支撑模块被佩戴在所述用户的身体上除所述用户的头部以外的定位上
在任一前述实施例中，所述显示装置和所述支撑模块一起包含所述系统的整个感测和计算能力，而不需要外部传感器、相机、计算机或其它电气设备。
在任一前述实施例中，所述系统进一步包括：至少两个标记，所述至少两个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象。第一标记在所述至少一个跟踪相机的视场内，并且第二标记在所述至少一个跟踪相机的所述视场外在一些此类实施例中，所述处理器单元进一步被配置成：确定所述第一标记在所述至少一个跟踪相机的所述视场内的位置，在所述显示装置上向所述用户显示虚拟导向器，以便将所述用户引导到所述第二标记相对于所述第一标记的位置，并且基于来自所述虚拟导向器的方向用所述至少一个跟踪相机来确定所述第二标记的所述位置。
在任一前述实施例中，所述系统进一步包括获取所述第一标记和所述第二标记的初始位置；以及当所述第二标记不在所述至少一个跟踪相机的所述视场中时，基于所获取的初始位置估计所述第二标记相对于所述第一标记的所述位置。
在任一前述实施例中，所述系统进一步包括获取所述第一标记和所述第二标记相对于已知解剖标志的初始位置；计算所述已知解剖标志之间的距离；以及当所述第二标记不在所述至少一个跟踪相机的所述视场中时，基于所计算的距离估计所述第二标记相对于所述第一标记的所述位置。
在任一前述实施例中，所述系统进一步包括使用所述传感器套件中的一个或多个传感器跟踪所述用户的所述头部的移动；以及当所述第二标记在所述至少一个跟踪相机的所述视场内时，基于所述第二标记的最后已知位置来计算所述第二标记的所述位置。
在任一前述实施例中，所述系统进一步包括：至少两个标记，所述至少两个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象在一些此类实施例中，所述至少两个标记中的一个或两个在所述至少一个跟踪相机的所述视场外，使得所述处理器单元进一步被配置成：显示所述至少两个标记之间的虚拟控件；显示用户输入控件，所述用户输入控件被配置成基于用户输入与所述虚拟控件对准；当所述用户转动其头部以将所述用户输入控件与所述虚拟控件对准时，调整所述虚拟控件的位置；并且当所述至少两个标记都在所述至少一个跟踪相机的所述视场中时，在所述至少一个跟踪相机的所述视场中跟踪所述至少两个标记。
在任一前述实施例中，所述头戴式显示装置进一步包含红外光。
在任一前述实施例中，所述系统进一步包括可见光和红外光滤光器，所述红外光滤光器耦合到所述可见光，使得当所述红外光滤光器耦合到所述可见光时所述可见光被阻止发射红外光。
在任一前述实施例中，所述系统进一步包括护罩，所述护罩包含多个侧壁，所述侧壁围绕所述红外光布置并且限定孔口，来自所述红外光的光穿过所述孔口被发射。
在任一前述实施例中，当所述头戴式显示装置被附接到头盔时，所述至少一个跟踪相机、所述可见光和所述红外光被定位在面罩后面。
在任一前述实施例中，当所述头戴式显示装置被附接到所述头盔时，所述多个侧壁与所述面罩接触，使得由所述红外光发射的光被阻止反射到所述至少一个跟踪相机中并且仅穿过所述面罩。
在任一前述实施例中，所述系统进一步包括所述面罩和所述头盔。
在任一前述实施例中，所述支撑模块的所述外壳进一步包括基座，所述基座包含被布置成用于将电力从所述电池引导到所述处理器单元和所述头戴式显示装置的电路板。
在任一前述实施例中，所述支撑模块的所述外壳进一步包含支架，所述支架被配置成当所述电池和所述处理器单元定位在所述支架中时，牢固地且可移除地约束所述电池和所述处理器单元。
本公开的另一方面涉及一种自含式外科手术导航系统，其被配置成与头盔和面罩一起使用。在一些实施例中，所述系统包括头戴式显示装置，所述头戴式显示装置将由用户在外科手术期间佩戴，所述头戴式显示装置包含：显示生成器，用于在所述显示装置上生成视觉显示；传感器套件，所述传感器套件具有至少一个跟踪相机；可见光；红外光；以及处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向，
在任一前述实施例中，所述系统进一步包括护罩，所述护罩包含多个侧壁，所述侧壁围绕所述红外光布置并且限定孔口，来自所述红外光的光穿过所述孔口被发射。
在任一前述实施例中，当所述头戴式显示装置被附接到头盔时，所述至少一个跟踪相机、所述可见光和所述红外光被定位在面罩后面。
在任一前述实施例中，当所述头戴式显示装置被附接到所述头盔时，所述多个侧壁与所述面罩接触，使得由所述红外光发射的光被阻止反射到所述至少一个跟踪相机中并且仅穿过所述面罩。
在任一前述实施例中，所述系统进一步包括红外光滤光器，所述红外光滤光器耦合到所述可见光，使得当所述红外光滤光器耦合到所述可见光时所述可见光被阻止发射红外光。
在任一前述实施例中，所述系统进一步包括至少两个标记，所述至少两个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象，其中第一标记在所述至少一个跟踪相机的视场内，并且第二标记在所述至少一个跟踪相机的所述视场外。在一些此类实施例中，所述处理器单元进一步被配置成：确定所述第一标记在所述至少一个跟踪相机的所述视场内的位置，在所述显示装置上向所述用户显示虚拟导向器，以便将所述用户引导到所述第二标记相对于所述第一标记的位置，并且基于来自所述虚拟导向器的方向用所述至少一个跟踪相机来确定所述第二标记的所述位置。
在任一前述实施例中，所述系统进一步包括支撑模块，所述支撑模块包含：用户可更换的模块化电池，所述模块化电池可以可移除地插入所述支撑模块的外壳中；以及处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向。
在任一前述实施例中，所述支撑模块电耦合到所述头戴式显示装置以向所述头戴式显示装置提供电力和数据。
在任一前述实施例中，所述支撑模块被佩戴在所述用户的身体上除所述用户的头部以外的定位上
在任一前述实施例中，所述显示装置和所述支撑模块一起包含所述系统的整个感测和计算能力，而不需要外部传感器、相机、计算机或其它电气设备。
在任一前述实施例中，护罩具有整体构造。
在任一前述实施例中，联接到所述多个侧壁的前表面与所述面罩接触，并具有与所述面罩的曲率半径匹配的曲率半径。
在任一前述实施例中，联接到所述多个侧壁的前表面与所述面罩接触，并具有与所述面罩的曲率半径大致匹配的曲率半径。
在任一前述实施例中，所述多个侧壁中的一个或多个相对于所述红外光的中心轴倾斜10度到20度。
本公开的另一方面涉及一种自含式外科手术导航系统，其被配置成与头盔和面罩一起使用。在一些实施例中，所述系统包括头戴式显示装置，所述头戴式显示装置将由用户在外科手术期间佩戴，所述头戴式显示装置包含：显示生成器，用于在所述显示装置上生成视觉显示，其中所述显示装置被安装到以下中的一个或多个：外科手术头盔和面罩；以及传感器套件，所述传感器套件具有至少一个跟踪相机。
在任一前述实施例中，所述系统进一步包括支撑模块，所述支撑模块包含：用户可更换的模块化电池，所述模块化电池可以可移除地插入所述支撑模块的外壳中；以及处理器单元。
在任一前述实施例中，所述支撑模块电耦合到所述头戴式显示装置以向所述头戴式显示装置提供电力和数据。
在任一前述实施例中，所述支撑模块被佩戴在所述用户的身体上除所述用户的头部以外的定位上
在任一前述实施例中，所述显示装置和所述支撑模块一起包含所述系统的整个感测和计算能力，而不需要外部传感器、相机、计算机或其它电气设备。
在任一前述实施例中，所述处理器单元被配置成从所述传感器套件接收数据并且通过以下方式计算至少两个标记的位置和取向：确定所述至少两个标记中的第一标记在所述至少一个跟踪相机的视场内的位置，在所述显示装置上向所述用户显示虚拟导向器，以便将所述用户引导到所述至少两个标记中的第二标记相对于所述第一标记的位置，以及基于来自所述虚拟导向器的方向用所述至少一个跟踪相机来确定所述第二标记的所述位置。
本公开的另一方面涉及一种用于确定关节中心的头戴式外科手术导航系统。本文所述的任何头戴式外科手术系统可用于确定关节中心。所述系统可以包括：显示生成器，用于在所述显示装置上生成视觉显示；传感器套件，所述传感器套件具有至少一个跟踪相机；至少一个参考标记，所述至少一个参考标记附连到骨骼以用于跟踪所述骨骼，其中所述骨骼被定位成使得所述骨骼在关节处或相对于所述关节枢转；至少一个静止参考标记，所述至少一个静止参考标记被定位成使得所述至少一个静止参考标记相对于所述关节基本上固定；以及处理器单元。所述处理器单元可以被配置成：在参考坐标系中对所述骨骼上的点进行配准；基于配准的点创建骨骼坐标系；从所述参考坐标系变换到所述骨骼坐标系；使用所述至少一个跟踪相机获取参考系中的所述至少一个静止标记的点，使得在获取期间，所述视觉显示的至少一部分的位置与所述头戴式外科手术导航系统的移动同步地移动；并且确定所述骨骼坐标系中的关节中心。
在任一前述实施例中，确定包含计算所述关节中心在所述骨骼坐标系中的定位；通过最优估计滤波器基本上连续地进行处理以确定所述关节中心；确定包含在获取所有点之后进行批处理以确定所述关节中心；或其组合。
在任一前述实施例中，所述骨骼是以下中的一个：股骨、胫骨、肱骨、桡骨或椎体。
在任一前述实施例中，所述关节是以下中的一个：髋关节、膝关节、肩关节、肘关节、踝关节或椎体。
在任一前述实施例中，静止进一步包含固定在惯性空间中。
本公开的另一方面涉及一种用于确定髋关节中心的头戴式外科手术导航系统。可使用本文所述的任何头戴式外科手术导航系统。该系统可以包括：显示生成器，用于在所述显示装置上生成视觉显示；传感器套件，所述传感器套件具有至少一个跟踪相机；至少一个参考标记，所述至少一个参考标记附连到股骨以用于跟踪所述股骨，其中所述股骨被定位成使得所述股骨在髋关节处或相对于所述髋关节枢转；至少一个静止参考标记，所述至少一个静止参考标记被定位成使得所述至少一个静止参考标记相对于所述髋关节基本上固定；以及处理器单元。所述处理器单元被配置成在参考坐标系中对所述股骨上的点进行配准；基于配准的点创建股骨坐标系；从所述参考坐标系变换到所述股骨坐标系；使用所述至少一个跟踪相机获取参考系中的所述至少一个静止标记的点，其中，在获取期间，所述视觉显示的至少一部分的位置与所述头戴式外科手术导航系统的移动同步地移动；并且确定所述股骨坐标系中的髋关节中心。
在任一前述实施例中，确定进一步包含计算所述髋关节中心在所述股骨坐标系中的定位；通过最优估计滤波器基本上连续地进行处理以确定所述髋关节中心；在获取所有点之后进行批处理以确定髋关节中心；或其组合。
在任一前述实施例中，静止进一步包含固定在惯性空间中。
本公开的另一方面涉及一种在设定切除角度之前对髁表面进行配准的方法，使得所述方法由本文所述的任何头戴式外科手术导航系统执行。所述方法由处理器单元执行并且包含：在所述头戴式外科手术导航系统的显示器上显示包含一个或多个区域的目标；在所述显示器上实时提供表示从髁导向器接收的一个或多个角度的可移动图标；接收一个或多个用户输入以调整所述可移动图标相对于所述目标中的所述一个或多个区域的位置；以及在所述显示器上输出所述可移动图标在所述可移动图标的所述位置的调整期间与之交互的所述目标的所述一个或多个区域中的任一个上的视觉标记，使得视觉标记的区域指示所捕获的且有效的深度参考点。
在任一前述实施例中，所述方法进一步包括限制所述可移动图标的移动以防止记录先前捕获的有效的深度参考点。
在任一前述实施例中，所述方法进一步包括形成数据库，在所述数据库中存储有所述所捕获的且有效的深度参考点。
在任一前述实施例中，所述目标是网格或靶心。
在任一前述实施例中，所述一个或多个区域中的每一个被顺序地突出显示，使得所述方法包括在所述显示器上向所述用户输出指令以使所述髁导向器相对于髁移动，直到所述可移动图标与突出显示的区域至少部分地重叠。
在任一前述实施例中，所述一个或多个区域中的任一个被突出显示，使得所述方法包括在所述显示器上向所述用户输出指令以使所述髁导向器相对于所述髁移动，直到所述可移动图标与突出显示的区域至少部分地重叠。
在任一前述实施例中，所述方法进一步包括在使所述突出显示的区域与所述可移动图标至少部分地重叠后，就停用所述突出显示的区域并突出显示所述一个或多个区域中的第二区域。
在任一前述实施例中，所述方法进一步包括提示用户移除所述髁导向器并附接切割导向器。
在任一前述实施例中，所述方法进一步包括基于从由所述切割导向器限定的当前切除平面到对应于深度参考平面的所述有效的深度参考点中的一个的距离来计算切除深度。
在任一前述实施例中，所述方法进一步包括提供髁导向器，所述髁导向器包含：主体，所述主体具有第一端和第二端；至少一个平坦表面，所述至少一个平坦表面从所述第一端的至少一部分的侧区域延伸，使得所述平坦表面被配置成搁置在一个或多个股骨髁上并且构造用于计算切除深度的零深度平面；至少一个跟踪器，所述至少一个跟踪器被定位在所述至少一个平坦表面上以用于跟踪所述髁导向器的姿态；以及连接器，所述连接器从所述主体的所述第二端延伸并且被配置成联接到切割导向器上。
在任一前述实施例中，所述髁导向器包括细长手柄，所述细长手柄从所述主体的所述第一端延伸。
在任一前述实施例中，所述髁导向器的所述主体进一步限定孔口，所述孔口被配置成接收穿过其中的销以插入骨骼中。
在任一前述实施例中，所述孔口的直径的大小被设计成使得当销穿过所述孔口插入时，所述孔口允许所述髁导向器倾斜。
在任一前述实施例中，所述髁导向器进一步包括释放机构，所述释放机构沿与所述连接器相反的方向从所述主体的所述第二端延伸。在任一前述实施例中，所述释放机构被配置成在将所述切割导向器钉到所述骨骼之前将所述髁导向器联接到所述骨骼。
在任一前述实施例中，所述髁导向器的所述主体的所述第二端的至少一部分限定狭槽，所述狭槽被配置成接收滑动件，所述连接器和所述释放机构在所述滑动件的相对侧上插入到所述狭槽中。
在任一前述实施例中，所述髁导向器的所述至少一个平坦表面被配置成模拟与股骨髁相切的平面。
在任一前述实施例中，所述方法进一步包括使用定位在所述至少一个平坦表面上的所述至少一个跟踪器来跟踪所述髁导向器，以确定一个或多个有效的深度参考点。
在任一前述实施例中，所述方法进一步包括仅在使用联接到所述切割导向器的所述髁导向器来确定所述一个或多个有效的深度参考点之后才钉住所述切割导向器。
在任一前述实施例中，所述髁导向器的所述连接器是可移除的。
本公开的另一方面涉及一种在设定切除角度之前对髁表面进行配准的方法，使得所述方法由本文所述的任何头戴式外科手术导航系统执行。所述方法由处理器单元执行并且包含：在所述头戴式外科手术导航系统的显示器上显示包含一个或多个区域的目标；接收并在所述显示器上实时显示从髁导向器接收的一个或多个角度；接收一个或多个用户输入以相对于所述目标中的所述一个或多个区域调整所述髁导向器；以及在所述显示器上输出所述目标的所述一个或多个区域中的任一个上的视觉标记，其中视觉标记的区域指示所捕获的且有效的深度参考点。
在任一前述实施例中，所述方法进一步包括限制对先前捕获的有效的深度参考点的记录。
在任一前述实施例中，所述方法进一步包括形成数据库，在所述数据库中存储有所述所捕获的且有效的深度参考点。
在任一前述实施例中，所述目标是网格或靶心。
在任一前述实施例中，所述一个或多个区域中的每一个被顺序地突出显示，使得所述方法包括在所述显示器上向所述用户输出指令以使所述髁导向器相对于髁移动，直到所述髁导向器的角度与突出显示的区域至少部分地重叠。
在任一前述实施例中，所述方法进一步包括所述一个或多个区域中的任一个被突出显示，使得所述方法包括在所述显示器上向所述用户输出指令以使所述髁导向器相对于髁移动，直到所述髁导向器的角度与突出显示的区域至少部分地重叠。
在任一前述实施例中，所述方法进一步包括在使所述突出显示的区域与所述髁导向器的所述角度至少部分地重叠后，就停用所述突出显示的区域并突出显示所述一个或多个区域中的第二区域。
在任一前述实施例中，所述方法进一步包括提示用户移除所述髁导向器并附接切割导向器。
在任一前述实施例中，所述方法进一步包括基于从由所述切割导向器限定的当前切除平面到对应于深度参考平面的所述有效的深度参考点中的一个的距离来计算切除深度。
在任一前述实施例中，所述方法进一步包括提供髁导向器，所述髁导向器包含：主体，所述主体具有第一端和第二端；至少一个平坦表面，所述至少一个平坦表面从所述第一端的至少一部分的侧区域延伸，使得所述平坦表面被配置成搁置在一个或多个股骨髁上并且构造用于计算切除深度的零深度平面；至少一个跟踪器，所述至少一个跟踪器被定位在所述至少一个平坦表面上以用于跟踪所述髁导向器的姿态；以及连接器，所述连接器从所述主体的所述第二端延伸并且被配置成联接到切割导向器上。
在任一前述实施例中，所述髁导向器包括细长手柄，所述细长手柄从所述主体的所述第一端延伸。
在任一前述实施例中，所述髁导向器的所述主体进一步限定孔口，所述孔口被配置成接收穿过其中的销以插入骨骼中。
在任一前述实施例中，由所述主体限定的所述孔口的直径的大小被设计成使得当销穿过所述孔口插入时，所述孔口允许所述髁导向器倾斜。
在任一前述实施例中，所述髁导向器包括释放机构，所述释放机构沿与所述连接器相反的方向从所述主体的所述第二端延伸，使得所述释放机构被配置成在将所述切割导向器钉到所述骨骼之前将所述髁导向器联接到所述骨骼。
在任一前述实施例中，所述主体的所述第二端的至少一部分限定狭槽，所述狭槽被配置成接收滑动件，所述连接器和所述释放机构在所述滑动件的相对侧上插入到所述狭槽中。
在任一前述实施例中，所述至少一个平坦表面被配置成模拟与股骨髁相切的平面。
在任一前述实施例中，所述方法进一步包括使用定位在所述至少一个平坦表面上的所述至少一个跟踪器来跟踪所述髁导向器，以确定一个或多个有效的深度参考点。
在任一前述实施例中，所述方法进一步包括仅在使用联接到所述切割导向器的所述髁导向器来确定所述一个或多个有效的深度参考点之后才钉住所述切割导向器。
附图说明
本发明的一些实施例作为实例示出并且不受附图的限制，其中相同的附图标记可以指示相似的元件，并且其中：
图1是根据本发明的原理的增强系统的图解性描绘。
图2A示出了图1的系统的显示装置的图解性描绘的前透视图。
图2B示出了图2A的显示装置的后透视图。
图3是图1的系统的显示装置的另一实施例的图解性描绘。
图4是图1的系统的电气硬件配置的示意图。
图5是图1的系统的标记和相机的图解性描绘。
图6是在髋关节置换程序中髋臼壳定位期间由图1的系统提供的混合现实用户界面图像(“MXUI”)的图解性描绘，示出了虚拟骨盆。
图7是在髋关节置换程序中髋臼壳定位期间由图1的系统提供的MXUI的图解性描绘，示出了虚拟骨盆和虚拟髋臼撞击器。
图8是示出了在医疗程序期间图1的系统的操作过程的流程图。
图9是示出了根据本发明的原理使用图1的系统执行髋关节置换程序的方法的流程图。
图10是示出了根据本发明的原理使用图1的系统来执行一般医疗程序的方法的流程图。
图11示出了包括髋臼壳和光学标记的髋关节撞击器组合件的图解性描绘的透视图。
图12示出了图11中所示的髋关节撞击器组合件的分解图。
图13A示出了可选地包括在图1的系统中的解剖标记组合件的图解性描绘的透视图。
图13B示出了图13A中所示的解剖标记的夹具组合件的透视图。
图14示出了图13A中所示的解剖标记组合件的分解图。
图15示出了任选地包括在图1的系统中的校准组合件的图解性描绘的透视图。
图16示出了图15中所示的校准组合件的分解前视图。
图17示出了图16中所示的校准组合件的分解后视图。
图18示出了在各种校准步骤期间由图1的系统提供的MXUI的图解性描绘。
图19是在髋关节置换程序的骨盆配准步骤期间由图1的系统提供的MXUI的图解性描绘。
图20是在髋关节置换程序的将销插入到骨盆中期间由图1的系统提供的MXUI的图解性描绘。
图21是在髋关节置换程序的骨盆配准步骤期间由图1的系统提供的MXUI的图解性描绘。
图22是在髋关节置换程序的股骨配准步骤期间由图1的系统提供的MXUI的图解性描绘。
图23是在髋关节置换程序中切除股骨颈期间由图1的系统提供的MXUI的图解性描绘。
图24是在髋关节置换程序中定位髋臼壳期间由图1的系统提供的MXUI的图解性描绘。
图25是在髋关节置换程序中定位髋臼壳期间由图1的系统提供的MXUI的图解性描绘。
图26是在髋关节置换程序中重新定位股骨期间由图1的系统提供的MXUI的图解性描绘。
图27是在髋关节置换程序期间由图1的系统使用C型臂提供的MXUI的图解性描绘。
图28是示出了根据本发明的原理可如何在外科手术程序中将图1的系统与C型臂结合使用的流程图。
图29示出了任选地包括在图1的系统中的设备标识和跟踪标签的图解性描绘的前视图。
图30是根据本发明的原理使用图1的系统对医疗设备进行配准、共享和/或跟踪的方法的流程图。
图31是脊柱融合程序中用超声换能器对脊柱进行配准期间由图1的系统提供的MXUI的图解性描绘。
图32是在开放式脊柱融合程序中用触针对脊柱进行配准期间由图1的系统提供的MXUI的图解性描绘。
图33是图32的手术暴露部分的特写前视图。
图34是在脊柱融合程序中的椎弓根钻孔期间由图1的系统提供的MXUI的图解性描绘。
图35是图34的虚拟钻和目标部分的特写视图。
图36A示出了用户佩戴图1的系统的AR头戴设备的图解性描绘的前透视图。
图36B示出了用户佩戴图1的系统的具有防护面罩的AR头戴设备的图解性描绘的后透视图。
图37A是用户佩戴图1的系统的具有外科手术头盔的AR头戴设备的图解性描绘的前透视图。
图37B是图37A中所示的物品的后透视图。
图38A是图1的系统的各种组件的示意性描绘的前透视图。
图38B是图37A中所示的外科手术头盔的后透视图。
图39示出了图36A中所示的AR头戴设备的前透视图。
图40是图37A中所示的外科手术头盔的分解图。
图41A是图40中所示的机电联接板的底部透视图。
图41B是图40中所示的机电联接板的顶部透视图。
图42是用于膝关节置换程序的图37A中所示的系统的组件的前透视图。
图43是在膝关节置换程序中的远端股骨配准期间由图1的系统提供的MXUI的示意性描绘。
图44是在膝关节置换程序中的切除平面规划期间由图1的系统提供的MXUI的示意性描绘。
图45是在膝关节置换程序中将销放置用于对切割块进行定位期间由图1的系统提供的MXUI的示意性描绘。
图46是在膝关节置换程序中的胫骨切除期间由图1的系统提供的MXUI的示意性描绘。
图47是在膝关节置换程序期间使用的膝关节平衡装置的示意性描绘的前透视图，所述膝关节平衡装置任选地包括在图1的系统中。
图48是在膝关节置换程序中的平衡评估期间由图1的系统提供的MXUI的示意性描绘。
图49是图47中所示的膝关节平衡装置的前透视图。
图50A是处于参考位置的髋臼和股骨近端的暴露表面的示意性描绘。
图50B是处于移位位置的髋臼和股骨近端的暴露表面的示意性描绘。
图51是髋关节和腿关节的示意性描绘，示出了用于计算股骨倒转的参考轴和参考平面。
图52是具有植入组件的髋关节的示意性描绘。
图53是髋关节撞击器和壳体的示意性描绘，示出了映射在撞击器上的表面。
图54是示出了根据本发明的原理可如何使用图1的系统来分析髋关节运动学的流程图。
图55是示出了对膝关节置换程序进行导航的示范性方法的流程图。
图56是具有单髁植入物的膝关节的图解性描绘。
图57是具有单髁植入物的胫骨的图解性描绘。
图58A是膝关节的图解性描绘，其示出了用于参考位置中的表面映射的示范性区域。
图58B是膝关节的示意图，其示出了用于移位位置中的表面映射的示范性区域。
图58C是膝关节的图解性描绘，示出了用于表面映射的示范性区域。
图59是示出了对髋关节置换程序进行导航的示范性方法的流程图。
图60是具有支架的目镜的图解性描绘。
图61示出了图60中所示的目镜的分解图。
图62示出了支撑模块的分解图。
图63A是支撑模块电路板6212的电气硬件配置的示意图。
图63B示出了用于支撑模块的一个实施例的电路板的示意图。
图64是MXUI的示意图，其示出了帮助用户定位相机FOV以包含所需标记的特征。
图65是示出了优化外科手术参数的示范性方法的流程图。
图66示出了在膝关节外科手术中测量切除深度的系统的组件。
图67是示出了测量股骨上的切除深度的示范性方法的流程图。
图68A示出了可调节切割块的图解性描绘。
图68B示出了图68A中所示的切割块的分解图。
图69示出了图60中所示的目镜和支架的分解图。
图70示出了图60中所示的目镜和支架的侧视图。
图71示出了图60中所示的安装在外科手术头盔中的目镜和支架。
图72A示出了图60中所示的相对于外科手术面罩安装的目镜的顶视图。
图72B示出了图60中所示的相对于外科手术面罩安装的目镜的侧视图。
图73A示出了图72A至72B的护罩的放大视图。
图73B示出了图72A至72B的护罩的放大前视图。
图73C示出了图72A至72B的护罩的放大顶视图。
图74示出了引导用户调整髁导向器的方法的一个实施例。
图75示出了引导用户调整髁导向器的方法的另一实施例。
图76示出了引导用户调整髁导向器的方法的另一实施例。
图77示出了在髁表面映射期间在数据库中存储和评估参考深度的方法的一个实施例。
图78示出了在髁表面映射期间从数据库检索参考深度的方法的一个实施例。
图79A示出了髁导向器的一个实施例。
图79B示出了由图79A的髁导向器的主体限定的孔口的放大视图。
图80示出了切割导向器的一个实施例。
图81示出了确定外科手术程序的关节中心的方法的一个实施例。
图82示出了确定标记在惯性空间中的取向的方法的一个实施例。
图83示出了将IMU校准到头戴式显示视觉系统的方法的一个实施例。
图84示出了凝视控制方法的一个实施例。
图85示出语音识别和/或凝视控制方法的一个实施例。
图86A示出用于校准头戴式导航系统的固定装置的一个实施例的透视图。
图86B示出了图86A的固定装置的前视图。
具体实施方式
本文所使用的术语仅用于描述特定实施例的目的，而不旨在限制本发明。如本文所使用的，术语“和/或”包括一个或多个相关联的所列物品的任何和所有组合。如本文所使用，单数形式“一个”、“一种”和“所述”旨在包括复数形式以及单数形式，除非上下文另外明确指出。还应当理解，当在本说明书中使用时，术语“包含(comprises和/或comprising)”指定所述特征、步骤、操作、元件和/或组件和/或其组的存在。
除非另外定义，否则本文中所使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。应进一步理解，如在常用词典中限定的那些术语等术语应被解释为具有与其在相关领域和本公开的背景下的含义一致的含义，并且除非本文中明确地如此定义，否则将不会在理想化的或过度正式的意义上进行解释。
在描述本发明时，应当理解，公开了许多技术和步骤。这些技术和步骤中的每一种技术和步骤都具有单独的益处，并且每一种技术和步骤也可以与其它公开技术中的一种或多种，或者在一些情况下全部结合使用。因此，为了清楚起见，本说明书将避免以不必要的方式重复各个步骤的每种可能的组合。然而，说明书和权利要求书应被理解为此类组合完全在本发明和权利要求书的范围内。
本文讨论了用于提供数据以辅助医疗程序的新的感觉增强装置、设备和方法。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，对于本领域的技术人员来说，显然可以在没有具体细节的情况下实践本发明。
此外，本领域技术人员还应当理解，本文描述的任何实施例可以与任何其它实施例组合。例如，本文考虑面罩、头盔、显示装置等的任何组合。此外，任何处理器单元可执行的方法可以用本文所描述的或本领域通常可用的面罩、头盔、显示装置等的任何组合来实践。
I.感觉增强系统
参考图1、2A-B和3，提供了本发明的感觉增强系统10用于医疗程序。系统10包括一个或多个视觉标记(100，108，110)；处理单元102；传感器套件210，所述传感器套件具有一个或多个跟踪相机206；以及显示装置104，所述显示装置具有显示生成器204，所述显示生成器在显示装置104上生成视觉显示，以供用户106查看。显示装置104附接到用户106，使得显示装置104可以增强其视觉输入。在一个实施例中，显示装置104附接到用户106的头部。可替代地，显示装置104与用户106分开定位，同时仍然增强视觉场景。在一个实施例中，标记(100，108和110)中的每一个是独特的并且彼此在视觉上不同，使得所述标记可以由一个或多个相机206单独地跟踪。
参考图2A至2B，显示装置104的另一示范性实施例包括具有光学器件202的护目镜外壳(visor housing)200，所述光学器件允许将显示生成器204的视频显示聚焦到用户106的眼睛上。传感器套件210附接到显示装置104或成为显示装置的一部分。护目镜外壳200包括附接机构208，所述附接机构允许附接到用户106的头部或面部，使得显示装置104与用户106的视觉路径的对准一致且可重复。
参考图3，显示装置104的另一示范性实施例包括透明面罩300，所述透明面罩允许从显示生成器302投射到覆盖用户106眼睛的视觉路径内的数据和图像的罩300上。传感器套件306附接到显示装置或成为显示装置的一部分，这里示出为面罩300。面罩300进一步包括附接机构304。传感器套件306和附接机构304起到与上述传感器套件210和附接机构208相同的功能。
参考图4，其示出了系统10的电子硬件配置，传感器套件(210，306)不仅包括一个或多个跟踪相机402、404、406(与206相同)，还可以可选地包括惯性测量单元(“IMU”)408；无线电410，用于与其它传感器或控制单元通信；麦克风416，用于语音激活不同的显示模式，包括但不限于去除所有显示的物品以获得清晰的视场；一个或多个扬声器418，用于可听警报和其它目的；以及触觉反馈420，所述触觉反馈呈触觉马达、压电蜂鸣器或其它实施例形式。IMU 408为不是基于视觉的对象提供添加的取向和定位数据。IMU 408可以用于但不限于根据相机跟踪数据和IMU 408的数据生成同时定位和映射(“SLAM”)数据，以确定辅助定位和生成感兴趣的对象的表面图的非标记特定的房间特征。此外，传感器套件(400，210和306)包括由有线存储器、无线电存储器或所存储的存储器中继的外部数据414。外部数据414任选地可以是荧光透视图像、计算机化轴向断层摄影(“CAT或CT”)扫描、正电子发射断层摄影(“PET”)扫描和/或磁共振成像(“MRI”)数据等的形式。此类数据可以与由传感器套件(400，210和306)收集的其它数据组合以创建增强图像。
在系统10的操作期间，显示生成器412(也示出为204和302)和处理单元401(也示出为102)与用于传感器套件(210，306)的上述组件电子通信。处理单元401是控制显示管理和算法执行的中央处理单元(“CPU”)。参考图4，系统10可以任选地包括一个或多个远程传感器套件422。这些远程传感器套件422物理上远离显示装置104。这些远程传感器套件422中的每一个包括传感器套件(210，306)的上述组件中的一些或全部，例如相机425、IMU427、无线电429和缆线431(例如，用于与系统400共享数据)。所述远程传感器套件还可以任选地包括单独的远程处理单元423。远程传感器套件422将数据提供给外部数据414，所述外部数据在需要时可以由处理单元401进一步处理。在另一实施例中，系统10使用远程套件422不仅跟踪位于能视域中的标记，而且跟踪附接到用户106佩戴的显示单元104的任何标记，以便相对于用户106定位能视域中的对象。
在一个示范性实施例中，系统10使用传感器套件(422，210，306)来创建表示工作空间中的对象的三维点数据云。这些数据可用于创建或匹配到已建模的对象，以用于在稍后的时间进行后续跟踪、可视化或回放。
此外，系统10可以任选地使用本领域公开的手段来覆盖图像和掩模，从而使视场中的对象模糊，以帮助突出显示感兴趣的区域、物品或区域，所述对象包括但不限于曝光周围的不是程序的对象的牵开器或软组织。在一个实施例中，可以在增强现实(“AR”)模式中用覆盖来投射外部图像。在另一实施例中，可以忽略外部图像，并且在虚拟现实(“VR”)模式中，可以仅使用计算机生成的图形来向用户106显示数据。如果使显示装置104或其一部分不透明以阻挡外部视觉数据，或者如果使用一些其它方法来向用户106强调应当集中在图像上而不是外部图像上，则支持VR模式。
显示装置104的其它替代实施例将包括但不限于全息或伪全息显示投射到用户106的能视域中。此外，显示装置可以任选地提供本领域所公开的眼睛跟踪装置，其允许确定相对于用户106的视觉视场的最佳显示图像。
系统10可以任选地使用算法来区分视场中的物品，以标识什么构成了感兴趣的对象，而什么构成了对手头的任务不重要的对象。这可包括但不限于标识髋臼上的骨骼标志以用于与术前扫描进行比较和合并，尽管软组织和工具在同一能视域中是可见的。
参考图5，传感器套件(400，422，210和306)的一个或多个相机500、506和一个或多个视觉标记502、504用于视觉跟踪独特的对象(例如，外科手术工具、解剖对象内的期望定位等)并确定相对于用户106的高度、定位、取向和/或位置。在一个实施例中，一个或多个标记中的每一个是独特的并且彼此在视觉上不同。独立对象识别和机器视觉技术可用于标记识别。可替代地，本发明还提供了使用IMU 408对一个或多个感兴趣的对象进行辅助跟踪，所述一个或多个感兴趣的对象包括但不限于标记502、504。请注意，一个或多个相机500、506可远离用户106定位并提供附加数据用于跟踪和定位。
任选地使用最优过滤算法来组合来自所有可用源的数据，以便提供能视域中的物品的最准确的位置和取向数据。该滤波器方案将能够适应包括但不限于相机视场的阻塞、期望的感兴趣的区域的血液、组织或其它器官的临时阻塞、将相机视场从感兴趣的区域移开的头部移动或其它相机移动、数据丢失和电池/电源耗尽或其它设备丢失的事件。
参考图36A-B、37A-B、38A-B和39-41A-B，显示装置104的另一示范性实施例是自含式AR头戴设备3600。先前可用的系统遭受若干技术问题或限制。例如，先前可用的系统(1)需要外部传感器、相机、计算机和/或电源来完全操作用户佩戴的显示装置；(2)程序期间由于电源限制而限制了其使用寿命(例如，程序期间电源不容易或不能快速更换而不经历数据丢失)；和/或(3)自含式系统不适用于各种头盔、面罩或头罩。本文描述的自含式AR头戴设备用技术方案克服了这些技术问题。如将在本文别处更详细地描述的，本公开的自含式AR头戴设备包括(1)完全执行外科手术程序的所有需要的传感器、相机、计算机和/或电源(即，不需要外部电气设备)；(2)用户可更换的电源或电池或模块化电池(即，不内置到支撑模块中，而是可容易地从支撑模块移除和分离)，使得电池在外科手术程序中可容易地更换，而无需工具、操纵闩锁或数据丢失，使得程序可无延迟地进行；和(3)易于适用于各种外科手术头盔、头罩和面罩。现在将更详细地描述这种自含式AR头戴设备的各种实施例。
AR头戴设备3600用于各种无菌外科手术程序(例如脊柱融合、髋关节和膝关节成形术等)。通过转动拇指轮3606调整头带3604，将AR头戴设备3600夹在外科医生3602(即用户106)的头部。通过附接到维可牢(Velcro)条带3610将透明保护面罩3608任选地附接到装置3600。可替代地，附接可以是通过粘合剂、磁性物、钩或其它本领域公开的附接手段。存在联接特征3612，用于将外科手术头盔3700机械地和电气地附接到AR头戴设备3600。外科手术头盔3700任选地连接到为外科医生3602提供全身覆盖的外科手术罩(未示出)。全身覆盖可用于某些外科手术程序，例如髋关节和膝关节成形术等。如果要将外科手术头盔3700附接到外科手术罩，则风扇通过外科手术罩将空气吸入空气入口3702，并在外科手术罩和头盔下循环，以使外科医生3602凉爽并防止光学组件起雾。下颚片3704将头盔3700(以及如果适用的话，所附接的外科手术罩)与外科医生3602的面部隔开。外科手术头盔3700相对于AR头戴设备3600的定位被设计成允许外科医生3602和所有相机和传感器无阻碍地观察外科手术部位。外科手术头盔3700包括附接到外科手术罩并与手术头罩界接的必要特征。软线3706将AR头戴设备3600连接到支撑模块3708，所述支撑模块可以佩戴在外科医生3602的皮带上或者外科医生除头部以外的任何其它定位。例如，支撑模块可以穿戴在臀部上、下背部上、上背部上、肩部上(例如，使用带子)、胸部上、大腿上、手腕上、二头肌上等。可更换的电池3800插入到支撑模块3708中。
参考图39，AR头戴设备3600包括显示区段3900，所述显示区段具有用于视觉增强的一对透视光学显示器3902和用于执行包括二维和三维数字变焦功能的跟踪和立体成像功能的一个或多个跟踪相机3904。深度传感器3906和结构化光投影仪3908包括在显示区段3900中。优选地，深度传感器3906和投影仪3908位于显示区段3900的中间。外科手术头灯3909任选地安装到显示区段3900，并且可以电连接到AR头戴设备3600，以允许其亮度由AR头戴设备3600的软件控制，包括由语音命令控制。例如，当处于混合现实模式时，可以采用该特征来调暗或关闭外科手术头灯，以允许相对于明亮背景使虚拟内容更好地可视化。该特征还可以被调整以优化光学跟踪，所述光学跟踪有时会被目标的高对比度照明或低环境照明所削弱。在另一示范性实施例中，出于相同的原因，手术室灯可以由AR头戴设备3600的软件无线地控制。
参考图39至40，AR头戴设备3600的后部区段3910可以任选地包含电路的发热组件和其它组件，例如微处理器和内部电池。AR头戴设备3600的弓形桥接区段3912和头带3604将后部区段3910机械地连接到显示区段3900。桥接区段3912的一部分是柔性的以适应大小调整。桥接区段3912可以包括布线电路板或柔性电路板，以提供显示区段3900和后部区段3910之间的电连接。桥接区段3912包括联接特征3612，所述联接特征是具有多个定位孔3914的铁磁板，定位孔限定孔口3918，提供了到两个电触点3916的通路，用于为外科手术头盔3700的风扇供电。在替代性实施例中，联接特征3612可以是其它本领域所公开的装置，例如维可牢、闩锁或螺纹紧固件等。联接特征3612可以任选地包括振动隔离安装件，以最小化从外科手术头盔3700的风扇到AR头戴设备3600的机械噪声的传输，该传输可能不利于跟踪性能。风扇4004可以是软件控制的，允许其减速或关闭以最小化机械噪声的生成。风扇还可以由外科医生3602使用语音命令来控制。软线3706将后部区段3910连接到支撑模块3708，如图38A所示。
参考图40，外科手术头盔3700包括中空壳体4002，风扇4004将空气吸入该中空壳体中，该空气通过壳体中的各个通风口排出，以为外科医生提供冷却空气。帽沿通风口4006在手术罩的护目镜上提供气流，并且后部通风口4008向后部提供冷却空气，包括向AR头戴设备3600的后部区段3910提供冷却空气。
参考图41A-B，联接板3802包括用于使用孔3914定位在AR头戴设备3600中的多个凸台4102。联接板3802还包括弹簧加载的电触点4104，所述弹簧加载的电触点与AR头戴设备3600的电触点3916连接以向风扇4004供电。联接板3802进一步包括磁体4106，所述磁体在联接板3802与联接特征3612之间提供机械保持力。
参考图60，显示装置的另一示范性实施例在目镜6002中，所述目镜包括模块化支架6004，所述模块化支架被配置成适应头带或其它支撑结构，例如外科手术头盔3700。多个支架6004可以互换以将目镜6002安装到不同类型的头盔装置上。聚焦的聚光灯或可见光6006被整合以提供对手术部位的照明，并且被安装在支架上，允许其相对于目镜上下枢转，从而目镜显示器和聚光灯或可见光可以彼此独立地被调整到每个用户的正确角度。在该实施例中，集成了手柄6008，以允许用户即使在戴在外科手术罩下面时也能容易地调整显示装置的位置。
为了使显示器聚焦，必须将其以距用户眼睛的正确距离和角度来定位。由于用户与用户之间的解剖学变化，为每个用户提供调整目镜6002的位置和角度的装置是有益的。参考图69，示出了目镜6002和支架6004的一些附加特征，所述附加特征能够进行这种调整。使用一个或多个安装特征6902(例如螺钉)将支架6004安装到目镜6002。支架6004包含通过锁定旋钮6904连接的下支架6912和上支架6910。上支架6910进一步包括夹具6908，所述夹具被配置成用于将其刚性地连接到支撑结构上，例如头带或外科手术头盔。在这个实施例中，夹具6908被配置成将支架6904安装到Stryker Flyte外科手术头盔上。下支架6912刚性地联接到目镜6002。上支架6910包含与锁定旋钮6904界接的狭槽6906，并且当锁定旋钮6904松开时允许下支架6912和目镜6002向前和向后滑动。下支架6912可另外围绕锁定旋钮6904枢转以调整目镜6002的角度。当佩戴在外科手术罩(未示出)下时，目镜6002可能难以到达和操作，因为它位于半刚性透明面罩后面。在该实施例中，手柄6008结合到下支架6912中，以使用户在戴在罩下时能够调整目镜6002的位置和角度。
参考图71，目镜6002和支架6004示出为安装在Flyte外科手术头盔中。头盔包括由支具7106连接的头带7102和管道7104。支架6910和夹具6908完全包围支具7106并且紧密地配合在其侧、顶部和底部，以防止支架组件(6908，6910)和支具7106之间的角运动。在该实施例中，夹具6908接触管道7104和头带7102，以防止支架相对于头盔向前或向后移动。支架6910和夹具6908被两个螺钉紧紧地拉在一起。
参考图61，目镜6002的一个实施例的组件包括模块化透明护目镜6102和外壳组件6114、6116和6118以保护光学显示器3902。护目镜6102可以在没有工具的情况下被移除和更换，以允许在损坏或磨损的情况下容易地更换。弹簧凸片6120与底部外壳6114接合以保持护目镜6102。为了附接护目镜，用户将其推到抵靠底部外壳的位置。可以通过提升凸片6120并拉开护目镜来从底部外壳6114移除护目镜61002。考虑到处方眼镜的使用、解剖学变异和偏好，各种大小和形状的多个任选护目镜6102允许对每个用户的最佳适配。在一个实施例中，护目镜6102被配置成最小程度地阻挡向外看并且允许用户106在不主动观看光学显示器3902中的信息时在护目镜6102下方观看。这可以另外通过将目镜6002安装在用户106的视线中的高处来实现。进一步参考图61，目镜6002的该实施例包括诸如英特尔实感D435的立体相机模块6106。在一个实施例中，立体相机模块6106利用红外相机，并且相机的观看轴7002与显示器的中立视角7004成20至30度的角度，如图70中的角度α所示。在该实施例中，相机模块6106位于其它内部电气组件的前面，以允许冷却空气通过下面的外壳组件6114和上面的外壳组件6118中的通风口围绕相机模块通过。将相机模块6106定位在显示模块的前面还使相机模块移动得更靠近面罩3608(如图36B所示)，并减小光线从面罩3608反射的影响。目镜6002进一步包括红外光6108以为立体相机模块6106提供照明，从而允许独立于环境室内照明或程序照明来控制场景照明。在一个实施例中，红外光6108使用一个或多个圆顶LED组件，例如Lumileds L1I0-0850090000000。一个实施例包括护罩6104，所述护罩包含限定孔口7316的多个侧壁7320，来自红外光6108的光通过所述孔口发射，且然后通过面罩照射。在一些实施例中，多个侧壁7320类似于单个侧壁，使得护罩6104包含圆锥形或连续的侧壁。护罩6104被配置成紧密地配合到面罩3608，以最小化从红外光6108到相机模块6106的光反射。护罩6104可由联接到边界7310的前表面7204形成或包含所述前表面，并且可包含模块化构造，使得护罩6104可容易地更换或移除。护罩6104可包含整体结构。可替代地，边界7310和前表面7204可以联接、粘合或以其它方式固定在一起以形成护罩6104。护罩6104进一步被配置成避免延伸到相机模块6106的视场中，例如基于以下中的一个或多个：护罩的高度、护罩的形状(例如，圆锥形、椭圆形、圆形等)或护罩如何位于或定位在一个或两个跟踪相机的FOV中。在一个实施例中，护罩6104可以不用工具而被移除和更换，使得用户106能够从多个护罩6104中进行选择以优化与面罩3608的接触，从而考虑到不同用户视力和解剖结构的目镜6002位置的变化。在一个实施例中，聚光灯或可见光6006包括红外光滤光器，以防止来自聚光灯的红外光或防止可见光到达相机模块6106。照射手术部位并反射回相机模块6106的红外光也可以通过将红外滤光器应用于聚光灯6006来进行限制，从而确保其输出仅限于可见波长。电路板6110协调相机模块6106和光学显示器3902与位于支撑模块3708中的计算机的通信。
参考图72A和72B，其示出了目镜6002相对于面罩3608的安装位置(为清楚起见示出为透明的)，示出了护罩的一些特征。图72A示出了系统的顶视图，而图72B示出了该系统的侧视图。因为在图61中示出的红外光6108和立体相机模块6106两者作为目镜6002的组件位于面罩3608的后面，所以红外光6108可以从面罩3608反射到相机模块3608中，从而中断标记的跟踪。通过包括围绕红外光6108延伸到面罩3608的护罩6104减轻了该挑战。在一些实施例中，孔口7316接触面罩3608；在其它实施例中，联接到和/或包围护罩6104的多个侧壁7320的外周边7324的前表面7204接触面罩3608，紧邻(例如，0mm至5mm、0mm至1mm、0mm至2mm、0mm至3mm、0mm至4mm、0mm至6mm等)面罩3608，或以其它方式邻近面罩，使得由红外光发射的光仅通过面罩逸出并且不干扰相机模块。护罩6104的任何一个或多个部分与面罩3608之间的接触或接近防止了红外光逸出，除非通过由护罩6104的多个侧壁7320限定的孔口7316并且因此通过面罩3608。离开面罩3608的红外光6108的任何反射也包含在护罩6104内并防止到达相机模块6106。护罩6104的多个侧壁7320可以由对于相机模块6106可辨别的波长中的红外光具有低反射率的材料(例如尼龙PA12或Cerakote陶瓷涂层)构造，可整合所述材料，可涂覆有所述材料，或以其它方式包括所述材料。当面罩3608相对于用户的头部处于固定定位时，目镜6002可以向前或向后调整以考虑视力和解剖结构的差异，这也减小或增加从护罩6104到面罩3608的距离。为了使护罩与面罩之间的间隙最小，如图73C所示，可以提供具有变化长度L6104的多个护罩6104，从而允许用户针对目镜6002的给定位置选择装配在面罩后面的最长护罩。护罩6104由与目镜外壳上的特征配合的一个或多个柔性弹簧凸片7202保持就位。护罩6104卡入适当位置，并可在没有工具的情况下通过抬起弹簧凸片释放而取出。为了符合具有最小间隙的面罩3608的弯曲表面，护罩6104具有前表面7204，所述前表面具有与面罩的曲率半径大致相同的曲率半径，如图72A所示。换句话说，护罩6014的前表面7204的曲率半径与面罩的曲率半径的曲率半径匹配。在其它实施例中(没有前表面7204)，孔口7316具有与面罩的曲率半径大致相同的曲率半径。换句话说，护罩6104的孔口7316的曲率半径与面罩的曲率半径匹配或大致匹配。面罩的半径可以是大约零(平坦)、大约0cm到大约4cm、大约0cm到大约8cm、大约0cm到大约10cm等。
图73A至73C分别示出了护罩6104的透视图、前视图和侧视图。如图73A至73C所示，护罩6104包括限定一个或多个孔口的多个侧壁。例如，多个侧壁7320限定容纳或包围红外光6108的孔口7316。附加地或可替代地，第二多个侧壁7322可以限定容纳第二红外光、相机模块、光投影仪或其它组件7330的第二孔口7314。在包含孔7314、7316的实施例中，第一孔口7314和第二孔口7316通过联接到边框7310的前表面7204组合成模块化组件。前表面7204与面罩界接。在其它实施例中，护罩6104不包括前表面7204，使得第一多个侧壁7322和第二多个侧壁7320分别限定孔口7314、7316。此外，多个侧壁7320中的一个或多个可以具有如从红外光6108的中心轴或由红外光6108发射的光锥(例如，锥体可以是基本上或约90度)的中心轴测量的角度α6104。角α6104可以是大约或基本上：0至50度、0至40度、0至30度、0至20度、0至10度、0至5度、5至10度、10至20度、5至20度、5至25度等。在一个实施例中，角α6104基本上或大约是12度至约16度。在另一实施例中，角α6104基本上是或约10度至约18度。在一些实施例中，多个侧壁中的每一个以相同或基本相同的角度倾斜。在其它实施例中，相对的侧壁具有相同或相似的角度。在其它实施例中，多个侧壁中的每一个以与其它侧壁不同的角度倾斜。
参见图62，其示出了支撑模块3708的实施例的分解图，所有电子组件被包含在或安装到外壳中，所述外壳包含：底座6202，所述底座被配置成接收电路板6212；联接器6204，所述联接器被配置成将外壳联接到衣服、皮带、腰皮等上；以及支架6206，所述支架被配置成牢固地且可拆卸地约束电池3800和处理器单元6210。电池3800可以以固定取向被接收在外壳中；在其它实施例中，电池3800被配置成以多于一个取向装配到外壳中。可更换的电池3800为计算机模块或处理器单元6210和AR目镜6002或头戴式显示装置供电。支架6206被配置成允许助手在不使用工具或操纵机械闩锁的情况下更换电池6800。电路板6212被配置成将电力从电池3800引导到计算机模块或处理器单元6210和AR目镜6002。在一个实施例中，功率和数据通过USB连接在支撑模块3708与AR目镜6002或头戴式显示装置之间流动。在一个实施例中，计算机模块或处理器单元6210是具有单个USB连接器的移动电话。在一个实施例中，计算机模块或处理器单元6210通过无线充电器6208接收来自电池3800的电力，从而使得计算机模块或处理器单元6210的USB连接器能够充当全时电源，并且降低其充当电力“耗散器”的可能性。
参考图63A，其中示出了用于支撑模块电路板6212的电气示意图，电池连接器6302从可更换的电池3800接收电力，并且DC/DC降压电路6304将电压降低到标称系统电压。DC/DC LDO调节器6310确保电压处于所需电平并将电力传递到CPU/无线电6308。电力按照CPU/无线电6308的引导通过负载开关6314流向无线充电器6312。功率通过N-P FET开关6316流到电话USB连接器6306和头戴设备USB连接器6318。CPU/无线电6308监测电池3800的充电水平并且使用无线电传输将该水平报告给计算机模块6210。
参考图63B，其中示出了用于支撑模块电路板6212的电气示意图，当头戴设备插入USB连接器6320时，USB连接器6320用作头戴设备的电源和通信来源。从电话6322传递到头戴设备的电力由12V电池6324补充。在这种情况下，从头戴设备到电话的负载开关6326可以由CPU 6328禁用。在另一实施例中，CPU 6328检测到12V电池6324不存在，并启用从头戴设备6320到电话6322的负载开关6326。在此实施例中，外部USB充电器可附接到USB连接器6320且用于给电话6322电池再充电，如同装置直接彼此连接一样。
在示范性实施例中，AR头戴设备3600任选地用作用于报告装置投诉或设计特征请求的系统。用户界面可具有菜单选项或语音命令以在报告出现时启动报告。这将激活语音和视频相机的记录，从而允许用户106在问题发生时捕捉和叙述3D的投诉。用户106通过语音或选择选项来终止投诉。投诉记录被压缩并通过互联网传输给公司，以无线方式向投诉处理人员提供优良的数据，以便能够“重现”第一手情况，以便进行更好的诊断。可以使用人工智能来解析和汇总投诉材料以建立图案并进行统计分析。除了数据流被实时传输之外，相同的序列可以用于在程序期间连接到现场技术支持。
II.术前程序
本发明可用于术前任务和外科手术程序。例如，现在描述包括可能的术前活动的替代性通用外科手术程序。首先，获得患者感兴趣的区域的扫描，例如CT或MRI。如果可能，应以接近外科手术期间定位的方式对患者进行定位。第二，执行扫描数据的分割以便将其转换成感兴趣的物品的三维模型，包括但不限于：牙齿和骨骼结构、感兴趣的静脉和动脉、神经、腺体、肿瘤或肿块、植入物和皮肤表面。模型被分离，使得它们随后可以被独立地显示、标记或操纵。这些模型将被称为术前模型。第三，使用模型执行术前计划(任选地使用VR进行模型的可视化和操作)，以标识物品，包括但不限于：解剖参考系、切除平面的目标、待切除的体积、切除的平面和水平、待使用的植入物的大小和最佳定位、进入靶组织的路径和轨迹、导丝、钻、销、螺钉或仪器的轨迹和深度。第四，在外科手术之前或外科手术时，将模型和手术前计划数据上传到显示装置104的存储器中。该上传过程将通过无线电以无线方式最方便地执行。
第五，使患者为外科手术做准备并进行定位。在外科手术期间，手术部位理想地以使皮肤表面的可视化最大化的方式被覆盖以用于随后的配准目的。这可以通过自由使用Ioban来实现。这对使用像Ioban的膜将是有益的，当被特定的LED或可见光发射器以宽照明的点状图案或投射图案瞄准时，所述膜以不同方式发出荧光或反射。该膜还可以具有光学特征、标记或图案，这允许通过头盔的光学相机容易地识别。
第六，在患者已经为外科手术做好准备并且定位之后，系统10(例如，通过AR头戴设备3600)扫描当前皮肤包络以建立其当前轮廓并创建可供用户106在显示装置104上看到的术前3D模型。优选的方法是在红外(“IR”)波段投射网格图案或棋盘图案，所述网格图案或棋盘图案允许根据已知图像的计算出的翘曲/歪斜/缩放来确定皮肤包络。替代性方法是沿着暴露的皮肤来回移动带有标记的触针类型的对象，从而允许对触针的位置和取向进行跟踪以及随后产生皮肤包络。任选地，将皮肤模型显示给用户106，然后所述用户概述已被扫描的暴露皮肤的大体区域。计算术前皮肤模型的最佳位置和取向以匹配当前皮肤表面。适当的手术前模型通过显示装置104以3D显示给用户106。任选地，用户106然后可以将光学标记插入到患者的骨骼中以用于精确跟踪。可以通过其术前模型的可视化来通知该标记的放置。可以通过包括但不限于超声的替代性探测或成像来进一步细化术前模型的位置和取向。
第七，在外科手术期间，使用具有显示装置104的系统10的用户106可以看到术前计划信息，并且可以跟踪仪器和植入物，并提供各种术中测量，包括但不限于钻或螺钉相对于解剖结构的深度、仪器的角度、骨骼切割的角度等。
参考图8，示出了在使用系统10的程序期间的操作流程的示范性实施例。在该实施例中，CPU 401启动(800)并初始化一个或多个相机402、404、406(802)。当在相机402、404、406的视场中时，对第一标记100进行定位和标识(804)，随后对后续标记108、110进行定位和标识(806)。对这些标记100、108、110的跟踪提供了相对于彼此的位置和取向以及主相机的定位(808)。来自如IMU的传感器和来自远程传感器套件422的相机的替代性传感器数据(810)可以任选地并入数据集。此外，可以任选地并入关于患者、目标、工具或环境的其它部分的外部辅助数据(812)，用于在算法中使用。本发明中使用的算法是针对特定的程序和所收集的数据而定制的。算法输出(814)期望的辅助数据，用于在显示装置中使用(816)。
III.髋关节置换程序
在本发明的一个示范性实施例中并且参考图6，系统10用于髋关节置换外科手术，其中第一标记600通过固定装置602附接到骨盆604，并且第二标记606附接到撞击器608。用户106可以通过显示装置104看到图6所示的混合现实用户界面图像(“MXUI”)。MXUI在髋关节置换程序期间提供骨盆604和撞击器604在用户的视场中的立体虚拟图像。
这些物理对象上的标记(600，606)的组合与先前的处理和特定算法组合允许对用户106感兴趣的量度进行计算，以用于髋臼壳体612的精确放置，所述量度包括撞击器608相对于骨盆604的实时倒转角度和倾斜角度。此外，可以呈现从术前状态到术后状态的物理参数的测量，包括但不限于整个腿部长度的变化。数据的呈现可以是可读形式610或包括但不限于工具的3D表示或其它引导形式的图像形式。
图7描绘了先前在图6中示出的MXUI的替代性视图，其中虚拟目标700和虚拟工具702被呈现给用户106，以便容易地用于实现期望的倒转和倾斜。在该实施例中，通过使虚拟目标700具有完全可见的实际工具702或使虚拟工具(未示出)具有完全可见的虚拟目标，使用虚拟现实的进一步组合来优化用户的自然感觉体验。可以任选地提供现实图像和虚拟图像的其它组合。数据的呈现可以是可读形式704或包括但不限于工具的3D表示或其它引导形式的图像形式。
参考图9，本发明进一步提供了一种使用系统10来执行髋关节置换程序(900)的方法，其中髋骨具有铰出的臼并且插入置换杯以与患者的腿部一起使用。在该实施例中，第一标记(例如，100，108或110等)相对于所述标记安装在已知尺寸的固定装置上，并且该固定装置安装在患者的髋骨上(902)。第二不同标记(例如，100，108或110等)相对于第一标记安装在已知尺寸的指向装置上(904)。使用光学标记和髋关节与指针之间的位置/取向差异来对骨骼标志或其它解剖标志相对于髋关节固定装置的位置和取向进行配准(906)。这些点用于确定局部坐标系(908)。指针用于在股骨脱位之前确定股骨的位置和取向，并且对髋骨的髋臼进行铰孔以便为置换壳体留出空间(910)。其上安装有置换壳体的撞击器具有安装有已知尺寸的撞击器的第三不同标记(912)。根据先前描述的关于髋关节标记的算法来跟踪带壳体的撞击器(914)。髋关节标记与撞击器之间的相对位置和取向用于根据患者的医疗要求，通过AR或VR显示器引导将壳体以期望的位置和角度用外科手术方式放置到臼中(916)。此时，在程序中，还可以使用经置换的股骨的标记位置和取向来计算腿部长度的变化(918)。另一实施例用术前CT数据增强此程序以确定组件定位。另一实施例使用AR或VR方式的显示输出来确定股骨头切割。另一实施例使用数据将螺钉放置在髋臼中。
在一些实施方案中，患者所躺的台面或支架的坐标参考系是期望的。如下可以实现台面相对于地面、特别是相对于重力的对准。IMU(来自传感器套件中的每一个传感器套件，例如位于AR头戴设备3600内的传感器套件)提供显示装置104在任何给定时刻相对于重力的俯仰取向和滚动取向。可替代地，假设大多数壁和特与其相关联的征被构造成平行于重力矢量，则SLAM或类似的环境跟踪算法将提供显示装置104相对于重力的俯仰取向和滚动取向。与显示装置104与重力之间的关系分开，可以通过使用触针确定台面取向，将三(3)个独立点在台面上进行配准。通过在显示装置104坐标系中选择这三个点，然后也可以确定台面相对于重力的滚动角度和俯仰角度。可替代地，可以使用机器视觉算法来标识和识别台面以确定相对于重力的取向。现在已知患者脊柱相对于显示装置104的对准，并且因此已知如由髋关节标记所定义的俯仰和滚动的任何其它目标坐标系。为了提供偏转参考，触针可以与髋关节标记结合使用以限定患者头部位于何处，这提供了脊柱相对于其的方向。可替代地，患者头部的图像识别可用于自动确定。最后，现在在显示装置104和所有相关联的坐标系中完全定义台面和/或患者脊柱的滚动、俯仰和偏转。
参考图11至12中，系统10可任选地包括用于髋关节成形程序的髋关节撞击器组合件1100。所述组合件包括髋臼壳体1102和组装到髋臼撞击器1106上的光学标记1104(与上述的100、108、110、502、504、600、606、804、806、904、912相同)。图12描绘了组合件1100的分解图，示出了通过将分度柱1200插入分度孔1202中如何以可再现的方式将光学标记1104附接到撞击器1106。髋臼壳体1102通过旋拧到撞击器的螺纹远端1204上并安置在肩部1206上而与撞击器1106可再现地组装在一起。标记1104包括第一基准1108、第二基准1110和第三基准物1112；每个基准具有相邻的黑白区域，其中它们的边界形成相交的直线。AR头戴设备3600中的算法用于处理来自立体相机(3904)的图像，以计算每个基准(1108，1110，1112)的交点，并由此确定标记1104的六自由度姿态。为了本说明书的目的，“姿态”被定义为对象的位置和取向的组合。基准(1108，1110和1112)可以通过在自粘标签上印刷、通过将黑色区域激光蚀刻到白色塑料材料的表面上，或替代性方法来产生。壳体包含固定孔1114，螺钉任选地用于通过所述固定孔将壳体1102固定到髋臼的骨骼上。
在另一示范性实施例中并且参考13A-B和14，系统10任选地包括解剖标记组合件1300，所述解剖标记组合件包含夹具组合件1302和光学标记1304。夹具组合件1302包括基座1400，所述基座限定第一泪珠形孔1402和第二泪珠形孔1404。已经固定到骨骼上的固定销(未示出)可以通过泪珠形孔(1402，1404)插入并夹在夹爪1406与主体1400之间，从而将夹具组合件1302固定到销上，并因此固定到骨骼上。夹紧螺钉1408接合夹爪中的螺纹并用于将组合件1302紧固到销上。六边形孔1410允许使用六角驱动器来紧固组合件1302。第一保持销1412和第二保持销1414防止夹具组合件1302的拆卸。标记主体1416具有第一定位柱1418、第二定位柱1420和第三定位柱1422，所述定位柱通过将两个定位柱与基座中的定位孔1424和定位狭槽1426接合来提供对基座1400的定位。该设计提供了标记1304的两种可能的旋转位置，这允许标记1304相对于显示装置104(例如，AR头戴设备3600)中的相机(例如，3904)被定向，以便于进行最佳跟踪。标记主体1416包封磁体(未示出)，所述磁体向基座1400提供足够的保持力。
参考图15至17，系统10可以任选地包括校准组合件1500，所述校准组合件包含板1502和标记1504，所述板和标记具有用于将板1502和标记器1504联接在一起的榫槽组合件特征。榫槽组合件特征对于将金属部件精确地组装到塑料组件是特别有用的，塑料组件具有与金属部件不同的热膨胀率。板1502具有多个孔1506，所述孔具有多个螺纹类型以接纳各种撞击器类型。标记1504具有凹窝1508，触针的尖端可以插入所述凹窝中用于进行配准。标记1504具有多个基准1510。
图18描绘了通过显示装置104(例如，AR头戴设备3600)向用户106示出的MXUI的示范性实施例，其示出了用于各个校准步骤的校准组合件1500。首先，髋关节撞击器组合件1100可拧入板1502的适当孔中，使得肩部1206在没有游隙的情况下方形地坐靠在板1502的表面上。然后，AR头戴设备3600的相机3904可以捕获由算法处理的图像，以确定撞击器的髋臼壳体将坐落在其上的肩部与髋关节撞击器组合件1100的标记1104之间的关系。示出了包含用于跟踪的多个基准1802的触针1800。触针1800的尖端1804可以插入板1502的凹窝1508中，从而允许确定尖端1804相对于触针1800的标记的坐标。示出了虚拟导向器点1806，其在相对于标记1504的特定定位处被投射到用户106的视场中。用户106根据用户106的深度感知将实际触针1800的尖端1804放置在虚拟导向器点1806所在的位置，从而将其实际视图与由虚拟导向器点表示的虚拟视图连接起来。然后，算法应用校正因子来解释如用户106的眼内距离的变量。如果在混合现实状态下依赖于用户的深度感知来对工具或植入物进行精确定位，则这是有益的。
图19描绘了在髋关节置换程序开始时通过患者1900的显示装置104向用户106示出的MXUI的示范性实施例。具有用于跟踪的多个基准1904的股骨标记1902用如Ioban等胶带附接到患者1900大腿的皮肤。可替代地，可通过使用如图13B所描绘的销和夹具组合件将股骨标记1902直接固定到股骨的骨骼上。用户106使用触针1800的尖端1804对骨盆的前部标志进行配准，以确定骨盆在股骨标记1902的参考系中的定位，从而建立临时骨盆参考系。在另一实施例中，该配准可以在由患者的可见表面的SLAM扫描限定的主体参考系中。在另一实施例中，可以通过用SLAM生成表面图，并且通过将虚拟点1910依次通过其头部的运动定位在每个标志上使用户106标识每个点，来对骨盆的前部标志进行配准。在另一实施例中，单个基准1906可以被放置在待配准的定位处。虚拟圆1908可用于限定其位置由用户106的凝视控制的遮罩。机器视觉算法仅在虚拟圆1908内寻找单个基准1906。配准步骤可以由用户106用如“配准点”等语音命令触发。用户106还可以对表示股骨远端的点进行配准，例如髌骨或内侧和外侧上髁的中心。当每个点被配准时，如小球体的虚拟标记可以被定位并保持在配准时和之后的尖端的定位处，以向用户106提供对用户106的视觉确认并检查配准的质量。
图20描绘了在髋关节置换程序期间通过虚拟骨盆2000和虚拟股骨2002的显示装置104向用户106示出的MXUI的示范性实施例。如果患者特定的模型已经被上传到显示装置104中，则这些模型的虚拟模型将与如神经血管结构的任何其它感兴趣的虚拟特征一起显示。如果未上传，则虚拟骨盆和虚拟股骨可以是性别特定的模型，所述模型已经被缩放以最佳地匹配配准的标志的间距。显示两个固定销的每一个的第一虚拟轨迹2004和第二虚拟轨迹2006。在其它实施例中，这些轨迹可以是管状的或锥形的。示出了钻2008，所述钻包括限定多个表面上的标记的多个基准2010，这允许从各种有利点跟踪所述钻的姿态。可以通过在钻未被跟踪的情况下将实际销2012与虚拟轨迹2004对准或者通过在钻被跟踪的情况下将虚拟销(未示出)与虚拟轨迹对准来引导插入每个销。如果钻被跟踪，则钻相对于骨盆参考系的角度以数字方式显示以用于额外的增强。虚拟文本2014位于实际钻的表面2016上，并随着钻移动，使得用户直观地看到与虚拟文本所表示的角度相关联的对象。
图21描绘了在髋关节置换程序期间通过显示装置104向用户106示出的MXUI的示范性实施例，其中解剖标记1300通过夹紧到插入到髂嵴中的销2106上而附接到患者的骨盆。此时，将与跟踪骨盆相关的参考系从前一参考系转移到解剖标记1300的参考系。如果需要，可以将骨盆重新配准以增加精确度。然后，用户106使用虚拟骨盆2102、虚拟股骨2104和虚拟神经血管结构(未示出)作为切口定位和肌肉和关节囊的解剖的引导来制作切口并暴露股骨，以暴露髋关节和股骨颈。在这一点上，用户106将腿部放置在相对于骨盆具有大致中性外展、弯曲和旋转的参考位置。
图22描绘了在髋关节置换程序的股骨配准期间通过显示装置104向用户106示出的MXUI的示范性实施例。触针1800的尖端位于股骨近端上的参考点2200上。此时，确定并记录由标记1902与1300之间的关系限定的股骨相对于骨盆的基线取向。此外，记录参考点2200在骨盆参考系中的坐标。参考点2200可以通过用外科手术笔来进行标记、在骨骼中钻小孔或插入小钉来增强。为了提高配准的精度，如图22所示，显示以触针尖端为中心的放大的立体图像2202。为了帮助用户106稍后在程序中找到参考点，可以在配准时记录基线图像或触针的点周围的区域的图像。这些图像可以是立体图像。然后用户106使用触针1800的尖端1804将点配准在股骨颈切割的期望定位上。这个点通常是股骨颈的最上/横向点。计算最佳切除平面，其以适当的外展角度和变形角度穿过该点。
图23描绘了在使用虚拟切除导向器2300切除髋关节置换程序的股骨颈期间通过显示装置104向用户106示出的MXUI的示范性实施例。矢状锯2302示出为具有限定标记的多个基准2304，允许跟踪矢状锯2302的姿态。可以通过在钻未被跟踪的情况下将实际锯片2306与虚拟切除导向器2300对准或者在钻2302被跟踪的情况下将虚拟锯片(未示出)与虚拟切除导向器2300对准来引导切除股骨颈。与图20所示的跟踪钻一样，如果锯2302被跟踪，则锯2302的角度可以以数字方式显示。这些角度可以相对于骨盆参考系或股骨参考系显示。
图24描绘了在髋关节置换程序的髋臼壳体定位期间通过显示装置104向用户106示出的MXUI的示范性实施例，其中示出了用于髋臼撞击器组合件1100的虚拟目标2400和虚拟壳体2402。通过操纵髋臼撞击器组合件1100以与虚拟目标2400对准来引导所述髋臼撞击器组合件的放置。虚拟目标的壳体部分的后/侧象限可以以不同的颜色显示，或者以其它方式与壳体2402的其余部分在视觉上区分开，以向用户106标定目标以用于将螺钉安全地放置到髋臼中。髋臼撞击器的数字角度和相对于铰孔或未铰孔髋臼的插入深度以数字方式显示为虚拟文本2404。可以显示类似于以撞击器尖端为中心的2202的放大的立体图像(未示出)，示出了虚拟壳体如何与虚拟骨盆2102的髋臼界接。
图25描绘了在髋关节置换程序的髋臼壳体定位期间通过显示装置104向用户106示出的MXUI的示范性实施例，其中示出了髋臼撞击器的虚拟轴2500和虚拟目标2400。通过操纵髋臼撞击器以使虚拟轴2500与虚拟目标2400对准来引导髋臼撞击器的放置。
图26描绘了在髋关节置换程序的股骨的重新定位和配准期间通过显示装置104向用户106示出的MXUI的示范性实施例。示出了虚拟股骨目标2600，其表示在基线股骨配准期间股骨相对于骨盆的术前取向。将该虚拟股骨目标的上顶点置于股骨近端上的参考点附近。示出了虚拟股骨框架2602，其表示股骨的当前取向。当股骨移动时，虚拟股骨框架2602围绕虚拟股骨目标2600的上顶点旋转。通过操纵股骨以使虚拟股骨框架2602在外展、弯曲和旋转中与虚拟股骨目标2600对准来实现将股骨重新定位到基线取向。随着股骨重新定位在基线取向，用户然后使用触针1800的尖端1804对股骨近端上的参考点进行重新配准，以确定腿部长度的变化和从基线测量的横向偏移。可以显示在基线股骨配准期间较早记录的基线图像2604以帮助精确地对相同的参考点进行重新配准。
IV.跟踪及相关方法
在一些应用中，使用具有相对小的视场的相机来有效地减小可用像素的大小以便最大化跟踪精度可能是有利的。结果，对于用户来说，定位相机变得更加困难，因此所有所需的标记落在视场内，尤其是因为对于用户来说哪些标记在视场内或不在视场内，或者相机应当指向哪个方向以捕获所有需要的标记可能是不明显的。图64描绘了MXUI的示范性实施例，该MXUI具有被设计成帮助用户定位相机的视场以包含所有所需标记的特征。在该实施例中，两个标记6402和6408需要由相机跟踪以对点进行配准或计算导航输出。一个标记6402位于相机的视场6404内。第二标记6408在相机的视场6404之外。虚拟导向器6410(例如，如本文别处所述的头部固定对象)在显示装置104中显示给用户106，指示可能发现缺失标记6408的方向。虚拟导向器6410可以是如箭头之类的符号或指示方向的文本。在一个实施例中，标记6408的预期定位是基于标记6402和6408的相对位置，这些相对位置是先前在两个标记都可见时记录的，或者是由系统基于典型的标记放置来估计的。对于许多应用，一旦为特定程序设置了标记，就可以合理地预期标记仅移动小的距离。例如，在髋关节置换外科手术期间安装在骨盆和大腿上的两个标记将在整个外科手术期间保持在大致相同的相对位置。在这种情况下，一旦同时检测到两个标记(例如，它们是惯性固定的对象，如本文别处所述)并测量它们的相对定位，如果任一标记在相机视场6404中，则系统可以向用户指示缺失标记的方向。类似地，典型解剖结构的知识告知系统标记的可能位置。例如，由用户放置在骨盆上的髂嵴上和髋关节置换患者的大腿前侧上的标记将总是在大致相同的方向上相隔大致相同的距离。在简单的实例中，第二标记6408将大致沿着第一标记6402的正x轴定位的假设将使得系统能够生成有用的虚拟导向器6410，所述虚拟导向器沿该轴移动相机视场6404。在另一实施例中，例如在相机视场中没有标记的情况下，传感器套件中的惯性传感器用于跟踪用户头部的移动(例如，头部角度)，并且当标记落在相机视场6404内时，基于标记的最后已知位置(例如，根据当前头部位置和/或角度)来计算标记6408的相对位置。在另一实施例中，当标记6408在视场6404中并被成功跟踪时，系统计算所述标记的3D位置和取向值。系统可以使用视觉惯性测程(VIO)、SLAM或其它类似方法来跟踪用户在房间中的位置。所述系统还跟踪用户头部的方向，且因此跟踪视场6404。如果标记离开视场6404，则可以基于用户位置和显示视场6404的取向来传播标记6408的最后已知位置，以产生估计定位(但是仍然在视场外)。如果用户想要使标记6408在视场6404中，则估计位置和当前测量的显示视场6404用于向用户呈现指示转向哪个方向的指示符。该方法可用于表示多个跟踪器的多个指示符，不限于单个标记情况。在一个实施例中，通过安装在用户头部上的显示装置向用户示出虚拟控件6406(例如，如本文别处所述的惯性固定对象)。用户必须通过移动他或她的头部来激活虚拟控件6406(例如，以对点进行配准)，以将固定的分划板或光标或用户输入控件6412(例如，如本文别处所述的头部固定对象)与虚拟控件6406对准。在该实施例中，系统相对于标记6402定位虚拟控件6406以使其在两个所需标记6402与6408之间居中，并且当用户转动他/她的头部以将用户输入控件6412与虚拟控件6406对准时，调整虚拟控件6406的位置，直到它们对准为止。当用户转动他的头部以将用户输入控件6412与虚拟控件6406对准时，相机视场6404移动或调整以包含标记6402和6408两者，由此允许在相机视场中跟踪至少两个标记。
在本文别处描述的任何系统和装置的另一实施例中，系统呈现锁定到惯性空间(即，惯性固定)中的位置和/或取向的信息屏幕或显示内容。换句话说，当用户的头部移动或旋转时，内容将停留在惯性空间中的适当位置，这可能导致内容离开用户的视场并且通过头戴式显示器不再可见。为了减少工作流改变并允许外科医生更容易地使用，提出了多种方法来允许为用户自动重新定位所显示的内容。
例如，当用户以预定方式使他/她的头部倾斜时，系统可以使所显示的内容在偏航方向上重定位。例如，将头部(和头戴设备)向下倾斜到约-10度(+/-约5度)的俯仰角度将触发所显示内容的重定位。进一步地，例如，将头部(和头戴设备)向左或向右倾斜大约3度(+/-大约5度)，就像用户正使他的耳朵接触到他的肩膀一样，将触发所显示内容的重定位。进一步地，例如，在组合手势中将头部向上倾斜约10度(+/-约5度)并向左或向右倾斜约3度(+/-约5度)将触发所显示内容的重定位。该头部倾斜不限于俯仰，并且不只限于角度。可以由头戴设备中的惯性测量系统分辨的任何头部姿态都可以用于触发该重定位活动。
进一步地，例如，当跟踪标记已经被跟踪系统标识并且在跟踪系统的FOV中时，系统可以使显示器在偏航方向上重定位。在一些实施例中，偏航位置可以与标记对准或偏离标记。
参考图82，本文进一步提供了使用头戴式显示和导航系统来确定惯性空间中的标记的方法。例如，一些程序(例如，报告被调整以适应惯性空间中的取向的髋臼杯放置)需要测量标记与惯性空间的关系(即，使标记坐标系与惯性系相关)。利用惯性测量单元(IMU)来测量附接到患者髋关节的参考标记相对于重力的取向的确定，所述惯性测量单元不位于患者或标记上，而是位于本文别处描述的头戴式显示和导航系统中的任一个上。为了实现这一点，系统可以执行以下方法：在框S8200处，从IMU接收来自头戴式显示和导航系统的惯性数据(例如，加速度数据、速率数据等)；在框S8210处，使用姿态估计器确定头戴式显示器IMU参考系中的重力矢量的定位；在框S8220处，使用一个或多个跟踪相机获取参考标记相对于相机参考系在三维空间中的取向；在框S8230处，生成从相机参考系到IMU参考系的静态变换矩阵，所述静态变换矩阵可以任选地包括中间系变换；以及在框S8240处，将由IMU测量并由姿态估计形成的惯性空间的Z方向上的单位矢量从IMU参考系变换到标记参考系。
如本文所使用的，“姿态估计器”使用卡尔曼滤波器、互补滤波器或其它技术来组合加速度计和速率传感器数据，以产生可以是任何输出形式(例如，欧拉角、四元数或类似形式)的头戴设备的3D取向。
在一些实施例中，生成静态变换矩阵的步骤基于头戴式显示器的机械构造、IMU和相机校准程序。
在一些实施例中，变换单位矢量的步骤包括：
Figure BDA0003874749660000351
合成矢量表示在标记参考系中表示的重力矢量。例如，该矢量允许实时确定惯性系中的髋臼杯取向，但也可用于确定惯性系中的任何主体部分、工具、骨骼或其它部分的实时取向。
参考图50至52中，系统10可以任选地包括用于跟踪解剖学结构而无需将外部基准固定到解剖结构的装置。图50A-B描绘了示范性实施例，其中股骨5002脱位，允许系统10使用传感器套件210创建小转子5010的暴露表面的参考3维表面图5014。小转子的表面在整个程序中保持不变，并且可以由系统10用于在没有附加基准的情况下跟踪股骨。参考3维表面图5014的边界可以任选地由用户通过使用光标或指向装置跟踪曲线来指示，所述光标或指向装置可以通过跟踪用户的凝视来操作。系统10可以将参考3维图5014作为点云、作为数学表面或通过其它方式存储。系统10可以创建相对于传感器套件210的参考系5016，并将表面图5014的初始姿态记录在参考系5016中。用户106可以在如股骨头5006、股骨颈5008和髋臼5012等同一骨骼或刚性体上对另外的参考点或结构进行配准。系统可以分别为股骨头、股骨颈和髋臼创建附加的3维表面图5020、5022、5024，系统10记录所述表面图相对于参考系5016的姿态。系统10使用传感器套件210连续地重新扫描小转子5010并生成解剖结构的移位的3维表面图5018。然后将移位的3维表面图5018与为同一表面创建的参考3维表面图5014进行比较，系统10确定为了最佳拟合而将移位的表面图5018与参考表面图5014对准所需的几何旋转和平移。系统10然后将相同的旋转和平移应用于股骨5002的刚性体上的所有存储的参考点和结构，计算所有这些点和结构相对于传感器套件210的参考系的当前姿态。系统10可计算股骨头5006或髋臼5012的直径，并将其作为选择髋臼扩孔钻大小的引导显示给用户106。系统10可以计算股骨头5006相对于参考表面图5014的中心。系统10还可以计算髋臼5012的中心相对于骨盆5004的位置。然后，用户106将连接有基准5104的拉刀或扩孔器5102插入股骨的管中，从而标识股骨轴5106。系统10计算股骨头5006与股骨轴5106之间的股骨颈轴5118。在膝关节5110弯曲到大约90°的情况下，相机206扫描小腿5112，标识其近似中心轴5114，所述近似中心轴与股骨轴5106一起使用以限定参考平面5116，根据所述参考平面计算原生股骨颈轴5118的倒转角度。在程序过程中，原生股骨头5006和髋臼5012分别用股骨植入物5202和髋臼植入物5204替换。系统10可以检测植入的髋臼壳体5204和股骨头5208的中心，允许系统10计算和显示从股骨轴5106到股骨头5208的距离的变化(股骨偏移)，或髋臼5208的中心位置在每个结构的相应的固有条件与植入条件之间的变化。在股骨头5006置换之后，但是在髋臼5012置换之前，系统10可以使用置换的股骨头5208基于股骨颈轴5206的新计算来计算和显示股骨倒转。系统10可计算和显示髋臼植入物5204中所需的附加前倾，以实现股骨植入物5202和髋臼植入物5204的组合前倾的目标。系统10可以计算和显示由于程序而引起的股骨5002与骨盆5004之间的距离的变化。
图53描绘了髋关节撞击器5300的示范性实施例，所述髋关节撞击器通过其暴露表面5302的一部分的3维图而不是借助于补充基准来跟踪。通过使用相机206同时扫描髋臼壳体5304和撞击器表面，系统10可以将髋臼壳体5304配准到该表面。
图59描绘了示出了系统10及其传感器套件210可如何用于髋关节置换程序中进行导航的流程图。传感器套件210可以扫描小转子5010(5902)。根据该扫描，可以存储参考3维表面图5014(5904)。然后，系统10可以建立股骨5002相对于传感器套件210的参考系5016(5906)。然后，重复扫描暴露的小转子5010，系统10为每次扫描生成移位的3维表面图5018(5908)。对于每次连续扫描，系统可以将移位的表面图5018与小转子5010上的同一区域的参考表面图5014进行比较。基于该比较，系统10可通过确定使移位表面图5018与参考表面图5014最佳拟合所需的平移和旋转来跟踪股骨5002相对于传感器套件210的姿势(5910)。
图54描绘了示出了系统10及其传感器套件210可如何用于分析髋关节运动学的流程图。传感器套件210可以扫描患者的解剖结构的暴露表面，所述解剖结构包括原生股骨头5006和髋臼5012(5400)。根据这些表面，可以存储每个结构的3维图5020、5024(5402)。然后，系统10可以使表面旋转到站立患者中期望的取向，并使其在体重方向上一起平移(5404)。系统10然后可以计算两个表面之间的接触点或接触面，所述接触点或接触面可以是比近似球形表面的中心更适当的旋转中心(5406)。在用股骨植入物5202和髋臼植入物5204置换天然解剖结构之后，系统10可类似地标识植入物的接触点(5408)。使用植入物的几何形状，系统10可以扰动髋关节角度以计算在植入物之间或植入物与骨骼之间发生撞击之前在每个方向上允许的运动的角度范围(5410)。可以在显示装置104中突出显示限制运动范围的第一撞击的定位(5412)。例如，股骨颈5008可撞击髋臼5012的暴露边缘，或撞击髋臼植入物5204。如果撞击表面中的至少一个在原生骨骼上，则用户106可以选择修整骨骼以增加运动范围。如果撞击表面中的至少一个在植入物上，则用户106可选择调整植入物的位置或角度。
参考图83，在一些实施例中，为了在需要惯性数据和光学跟踪的组合时提供所需的精度，例如在外科手术使用期间，需要进行通过惯性和视觉系统的惯性到标记的端到端校准。例如，在膝关节程序中确定髋关节中心是这样一种情况，其中惯性测量和光学跟踪可用于向外科医生提供数据。进一步地，例如，在髋关节髋臼杯放置期间在惯性空间中确定髋关节倾斜角度是另一实例，其中惯性测量和光学跟踪可用于向外科医生提供数据。如图83所示，组合惯性数据和光学跟踪的方法包括：根据机械设计确定相机到目镜的旋转矩阵(如框S8300处示为
Figure BDA0003874749660000371
)；在方框S8310处，根据机械设计(示为
Figure BDA0003874749660000372
)确定目镜到IMU的旋转矩阵；以及在框S8320处将标记校准到相机旋转矩阵(示为
Figure BDA0003874749660000373
)。
如本文所使用的，“机械设计”指的是示出了如何构建相机和/或目镜的附图，使得可以确定相机与目镜/头戴设备外壳之间的角度。
在一些实施例中，校准包括使用精密固定装置。进一步地，在一些实施例中，校准包括在所述固定装置上以已知坐标系定位参考标记；将目镜定位在固定装置上，其中参考标记在视场(FOV)内；以及例如使用跟踪来获取从参考标记到相机的旋转矩阵
Figure BDA0003874749660000374
例如，跟踪包括使用头戴式显示和导航系统来跟踪标记和接收每个标记的位置信息和取向信息。在一些实施例中，使用跟踪来获取标记到相机旋转的矩阵。
在一些实施例中，图83的方法进一步包括使用精密固定装置校准IMU。例如，所述方法可以包括将头戴式系统定位在固定装置中，所述固定装置允许在所有三个正交位置、两个方向(总共6个位置)上的精确定位；将固定装置定位在水平表面上，系统位于其中，使得头戴式系统的目镜Z轴与公差内的局部重力矢量对准(即，“眼睛向前”位置)；从IMU输出的所有三个轴获取加速度计数据(A1)；从所述IMU输出的所有三个轴获取速率传感器数据(G1)；对所有剩余的5个位置进行重复(即获取A2、A3、A4、A5、A6以及G2、G3、G4、G5、G6，对应于“眼睛向下”、“眼睛向后”、“眼睛向上”、“右耳向下”、“左耳向下”)；以及使用以下等式中的一个或多个或者可替代地或附加地使用最小平方或其它方法来计算IMU的偏置和比例因子：
加速度计偏差X＝(A2.x+A4.x)/2
加速度计比例因子X＝(A2.x－A4.x)/2
加速度计偏差Y＝(A5.y+A6.y)/2
加速度计比例因子Y＝(A5.y－A6.y)/2
加速度计偏差Z＝(A1.z+A3.z)/2
加速度计比例因子Z＝(A1.z－A3.z)/2
所述方法可以进一步包括使用以下等式对速率传感器数据求平均以获得速率传感器中的每一个的速率传感器偏差值：
速率偏差X＝(G1.x+G2.x+G3.x+G4.x+G5.x+G6.x)/6
速率偏差Y＝(G1.y+G2.y+G3.y+G4.y+G5.y+G6.y)/6
速率偏差Z＝(G1.z+G2.z+G3.z+G4.z+G5.z+G6.z)/6
所述方法可以进一步包括使用校准的IMU数据形成姿态估计，其提供从IMU到惯性的旋转(示为
Figure BDA0003874749660000381
)。
这些物品的校准允许在将数据从惯性秒变换到参考标记系时减小误差，反之亦然。对惯性变换(示为
Figure BDA0003874749660000382
)的参考标记是从乘法运算中找到的组合变换矩阵：
Figure BDA0003874749660000383
Figure BDA0003874749660000384
惯性到参考标记变换是
Figure BDA0003874749660000385
或
Figure BDA0003874749660000386
的逆。
如在图83中所使用的，“公差”指的是来自绝对重力矢量的俯仰和/或滚动的度数的阈值水平。在一些实施例中，所述公差可以是约1度；约0.5度至约3度；约1度至约2度；约0.75度至约5度；约2度至约4度；等等。
参考图86A至86B，用于校准头戴式显示和导航系统8610的固定装置8600的实施例。固定装置8600用于固定头戴式显示和导航系统8610，从而可以校准所述系统。固定装置包括多个侧壁8620，每个侧壁与相邻的侧壁正交。在一个实施例中，固定装置8600包括6个侧壁8620a、8620b、8620c、8620d、8620e、8620f；然而，本文还构想了其它侧壁数目：1、2、3、4、5、6、7、8、9、10。当系统定位在系统8610中时，固定装置8600固定地连接到所述系统，使得固定装置8600可在校准方法期间移动以搁置在侧壁8620中的每一者上。固定装置8600的一个或多个侧壁8620(例如侧壁8620e、8620b和/或8620f)可以限定切口8630，使得缆线8650可以连接到系统8610上，但当它搁置在其侧壁8620中的任一个上时不干扰固定装置8600在表面上水平搁置。侧壁8620中的任何一个或多个可以另外限定孔口8660、8670，当系统8610定位在固定装置8600中时，所述系统通过所述孔口是可见的和/或可触及的(例如，用于与组件、用户输入元件等相互作用)。
V.系统与C型臂系统结合使用
图27描绘了在用C型臂对患者进行成像期间通过显示装置104向用户106示出的MXUI的示范性实施例。示出了C型臂成像系统2700，其具有X射线源2702、成像单元2704和显示单元2706。可跟踪标签2708已经附接到C型臂2700。示出了虚拟髋部对准导向器2710和虚拟骨盆对准导向器2712。这些导向器垂直于前骨盆平面并分别以髋关节和耻骨联合为中心。通过调整成像单元2704的表面以与适当的虚拟对准导向器对准来引导C型臂2700的放置。如果C型臂2700是可跟踪的，则可以显示虚拟C型臂对准导向器2714。在这种情况下，通过调整虚拟C型臂对准导向器2714以与适当的虚拟对准导向器2710或2712对准来引导C型臂2700的放置。相对于目标的位置未对准和角度未对准也可以以数字形式显示为虚拟文本2718。
图28描绘了示出了系统10及其显示装置104(例如，AR头戴设备3600)可如何在外科手术程序中与C型臂2700结合使用的流程图。并入在AR头戴设备3600中的相机3904(例如，高清晰度相机等)可用于捕捉显示在C型臂监视器上的图像(2800)。可以将图像调整成“摆正”，使得如果相机3904已经完全位于监测器上的图像的中心并且与所述图像垂直，则图像与将看到的图像相匹配(2802)。成像器和源相对于正在成像的解剖结构的位置的知识可用于针对由于来自源的X射线束的发散而引起的放大和视差失真来校正图像(2804)。然后可以在AR头戴设备3600中显示经校正的图像(2806)。然后，这可用于允许用户106进行与如髋臼杯放置或腿部长度等程序相关的测量(2808)。可以同时显示、覆盖、镜像或以其它方式操纵其它图像以允许用户106进行比较，至少例如在图28的框2810中所示。
在另一实施例中，图像捕获也可以通过C型臂2700与AR头戴设备3600之间的无线通信来实现，例如通过DICOM格式的文件传输。可替代地，可采用结合机器视觉的算法来自动进行如髋臼壳体的倾斜度和倒转等的测量。边缘检测可用于跟踪壳体的轮廓。可以确定与轮廓最佳匹配的椭圆的参数，并将其用于根据最佳椭圆的短轴和长轴的长度之比来计算壳体的前倾。例如，可以通过放置与耻骨支的最下侧相切的线并且计算壳体的椭圆的长轴和切线之间的角度来计算倾斜度。类似地，通过识别股骨头的旋转中心或壳体的球形区段的中心并且围绕该点执行虚拟旋转以匹配外展角度，可确定股骨的对比腿部长度和横向偏移，并且可针对股骨外展的变化或差异进行校正。这种类型的计算可以几乎瞬时地执行并且节省时间或需要拍摄附加的射线图像。此外并且在另一实施例中，通过执行虚拟旋转以匹配表示闭孔的射线可透过区域的宽度和纵横比，算法可以校正骨盆的错位对壳体的明显倾斜和前倾的影响。
在又一实施例中，C型臂成像可用于对解剖结构(例如骨盆)的位置进行配准。为此，解剖标记1300将已知几何形状的不透射线特征并入已知图案中。基于已知的标记特征来捕捉和缩放C型臂图像，并将其显示在AR头戴设备3600中。解剖结构的由先前CT扫描生成的虚拟模型被显示给用户106。用户106可以操纵虚拟模型来以其轮廓匹配C型臂图像的方式对所述虚拟模型进行定位。该操纵优选地通过使用SLAM跟踪用户106的手的位置和运动来执行。可替代地，用户106可以操纵物理对象，所述物理对象将标记与随物理对象移动的虚拟模型相结合。当虚拟模型与C型臂图像正确对准时，可以计算患者的解剖结构与解剖标记1300之间的关系。这些步骤和操纵也可以由软件通过使用边缘检测并将其与从CT生成的模型的轮廓的投射相匹配而以计算方式执行。
由于可用C型臂的大小有限，用户难以或不可能以对整个感兴趣的解剖结构成像的方式定位C型臂。例如，用户可能想要捕获14英寸宽的骨盆的图像，但是只能接近能够对10英寸直径的视场成像的C型臂。这个问题由于C型臂图像的边缘附近的失真而复杂化，从而有效地减小了可用的图像大小。尽管存在基于标识和对准每个图像中的共享特征来将多个图像拼接在一起的算法，但是这些技术依赖于图像之间的重叠来创建用于配准的共享特征。例如，具有10英寸C型臂的用户将需要获取至少四个(并且很可能更多)重叠的图像以创建示出在其正确的解剖学对准中相隔36英寸的两个解剖学特征的图像。在本发明的另一实施例中，系统可用于以数字方式拼接来自C型臂2700的多个图像，以创建患者2716的较大部分的图像，而图像之间没有重叠。对于由C型臂2700捕获的每个图像，AR头戴设备3600使用如标签2708的跟踪器来测量C型臂2700相对于患者2716的对应位置。然后，系统在显示器2706或AR头戴设备3600上显示所收集的图像，其中每个图像处于其相对于公共参考系的正确位置和对准，从而允许用户106查看并测量包括患者2716的比单个图像中可能适合的更大的部分的虚拟图像，如用图像大小小于完整骨盆的范围的C型臂2700对完整骨盆成像，或在解剖学对准中观察髋关节的单个图像和踝部的单个图像。该特征可用于评估肢体、脊柱等的对准和/或长度，同时最小化来自成像系统的辐射。
VI.脊柱程序
图31描绘了在用超声对脊柱进行配准期间通过显示装置104向用户106示出的MXUI的示范性实施例。将解剖标记1300固定到邻近手术部位的椎骨。提供了包括限定标记的多个基准3106的超声换能器3104。在一个实施例中，超声换能器3104是电池操作的、无绳的，并且可以通过无线电与AR头戴设备3600通信。软件具有能够相对于标记1300的位置对2D超声图像进行定位和缩放所需的几何信息和其它信息。超声换能器3104在患者3100的表面上移动，以扫描感兴趣的区域。软件将2D图像数据与超声换能器3104相对于解剖标记1300的六自由度姿态信息组合，以生成表示感兴趣的椎骨的表面的虚拟模型3108。超声换能器3104可以相对于感兴趣的解剖结构旋转以获得更完整的3D图像。棘突和左右侧乳头状突起的后部轮廓可与椎骨的CT生成的3D模型的相同特征匹配，以在混合现实视图中对椎骨的虚拟模型进行配准和随后定位。可替代地，可以利用在超声扫描中可见的任何适当特征，或者虚拟模型的位置可以相对于如通过SLAM所确定的患者的表面。后者适用于其中感兴趣的患者解剖结构在程序期间是静止的并且标记的附接将不必是侵入性或负担时的程序。超声可以类似地以此方式使用，以生成感兴趣的解剖结构的模型，例如但不限于骨结构、神经和血管。可以实现任何解剖结构的配准。例如，可以使用超声建立骨盆参考框架，以定位左右ASIS和耻骨的近端顶点。可使用相同的方法经皮跟踪工具或植入物的位置。
图32描绘了在用触针1800对脊柱进行配准期间通过显示装置104向用户106示出的MXUI的示范性实施例。将解剖标记1300固定到邻近手术部位的椎骨。显示由术前成像生成的患者的椎骨的虚拟模型3200。该虚拟模型包括第一标志3202、第二标志3204和第三标志3206。图33描绘了图32中所示的暴露的解剖结构的特写视图。已充分切开患者的软组织以暴露包含三个标志的第一骨突3300、第二骨突3302和第三骨突3304。用户106通过将触针尖端1804放置在与虚拟模型上所示的标志的定位最佳匹配的实际椎骨上的点处来对三个标志进行配准。然后，软件在用户视图中重新定位虚拟模型3200，以使这些点最佳地对准。用户106通过将虚拟模型与椎骨的实际暴露区域进行比较，从视觉上验证配准的质量。如果需要，用户106可以通过使用触针1800的尖端1804进行调整，以重新定位虚拟模型。在替代性实施例中，标志是在每个突的最后侧跟踪的弧。在另一实施例中，利用SLAM建立所暴露的突的轮廓，并且软件对虚拟模型的位置执行最佳拟合以匹配这些轮廓。
图34描绘了在脊柱融合程序期间通过显示装置104显示给用户106的MXUI的示范性实施例。示出了钻头的虚拟目标3400和虚拟钻头3402。示出了相对于虚拟目标3400和虚拟钻头3402呈现为透明的虚拟椎骨3404。钻头的数字角度和穿透深度或从钻头尖端到最大安全插入深度的距离以数字方式显示为虚拟文本3406。图35描绘了图34所示的虚拟目标3400和虚拟钻头3402的特写视图。虚拟目标3400被示出为具有近端十字准线3502和远端十字准线3504的杆3500的形式。为了将实际钻头保持在安全目标轨迹中，用户必须保持虚拟钻头3402穿过虚拟目标3400的两个十字准线的环的位置。当虚拟钻头3402穿过两个十字准线的中心时，实现了理想轨迹。如果实际钻头移动到安全目标轨迹之外，则虚拟目标3400的颜色发生变化以警告用户并且发出可听警告。远端十字准线3504位于骨骼的表面上的计划起始点。虚拟目标3400和虚拟钻头3402的轴向长度被缩放，使得当钻达到其最大计划深度时，所述虚拟目标和所述虚拟钻头的近端重合。当虚拟钻头3402远离虚拟目标3400时，所述虚拟钻头的位移运动的缩放比例是1:1，但是当更近时，所述缩放比例扩大到更高的放大率以获得更大的精度，从而允许更大的精度。
虽然这是在用钻头钻孔的背景下描述的，但该混合现实视图可用于多个步骤，包括对椎弓根进行攻丝或在椎弓根螺钉中驱动或使用可跟踪锥子来找到椎弓根螺钉的管。当钻、丝锥或螺钉被换出时，作为重新校准钻、丝锥或螺钉的尖端的轴向定位的快速手段，用户将尖端放置在标记的凹窝中。植入物可以以侵入性较少的方式通过AR引导引入，例如可在PLIF、XLIF或TLIF程序期间对椎间融合器进行定位。
在另一实施例中，可以配备外科手术钻以与头戴设备进行无线通信，从而提供双向通信。这可以促进各种安全性和可用性增强特征，包括例如以下：如果钻不在安全目标轨迹内或达到最大安全深度，则自动停止或阻止操作；和/或提供方便的用户界面以为扭矩限制应用指定适当的扭矩设置参数。例如，给定大小的椎弓根螺钉的最大插入扭矩或椎弓根螺钉的固定螺钉的固定扭矩。所使用的实际值可以记录在患者记录中以用于文档或研究目的，例如，钻孔期间的扭矩曲线、椎弓根螺钉或固定螺钉的最终座合扭矩、椎弓根螺钉或所使用的特定植入物的植入位置。
在另一实施例中，AR头戴设备3600可以无线地连接到神经监测/神经定位系统，以向用户106(例如，脊柱外科医生)提供其视场内的实时警告和测量，特别是在如XLIF的微创程序期间。进一步地，当与其中患者的实际神经已被成像并重建为3D模型的术前成像结合使用时，如果系统检测到刺激探针已经刺激或正在靠近特定神经，则可以向用户106突出显示表示该神经结构的全息图，以使得更容易避免接触或损伤神经结构。
VII.膝关节置换程序
在本发明的另一示范性实施例中并且参考图42，系统10用于膝关节置换程序。图42中示出了膝关节置换患者的骨盆4202、股骨4204和胫骨4206，外科医生4208(即，用户106)被示出为佩戴AR头戴设备3600。股骨标记4210和胫骨标记4212分别用销固定到股骨和胫骨。使股骨在运动的范围内移动，以确定旋转中心作为股骨标记4210的参考系中髋关节中心的代表。
在一些实施例中，本文所描述的头戴式显示装置中的任一者给予用户移动的能力，使得可避免对导航系统的阻碍。相对于静态导航系统，例如在手术室中使用固定相机，这允许股骨在膝关节置换程序中的更大和/或不同的运动范围。为了确定关节中心(例如，髋关节中心)，可以执行旋转中心最小二乘拟合(或类似的)，其需要一个或多个固定在惯性空间中的跟踪器和一个或多个附接到骨骼(例如，股骨)的跟踪器。在一个实例中，如图81所示，一种用于使用头戴式显示和导航装置来确定关节中心的方法包括：任选地(用虚线示出)在框S8100处将一个或多个参考跟踪器附接到骨骼和相对于关节固定的静止标记；在框S8110处，在参考坐标系中对骨骼上的点进行配准；在框S8120处，基于配准的点创建骨骼坐标系(例如，股骨坐标系)；在框S8130处，从参考坐标系变换到骨骼坐标系；在框S8140处，使用头部固定头戴式显示和导航系统获取静止跟踪器在参考系中的点；以及在框S8150处，确定骨骼坐标系中的关节中心。头戴式显示系统或导航系统中的任一者可在此用于图81的方法。
在一些实施例中，如果新点与先前点分开某个标称距离或其它度量以限制点的数目或限制重复点的数目，则仅获取新点。例如，导航系统输出每个点的三维定位，使得系统被配置成确定点与任何其它点的距离。
在所述方法的一些实施例中，头戴式显示和导航系统可以在获取期间移动，以允许在更大的运动范围上跟踪参考跟踪器，因为用户可以通过移动他或她的头部来调整系统的视场。
在一些实施例中，可以将点变换到股骨坐标系中，用于计算髋关节中心在股骨坐标系中的定位，通过实时最优估计滤波器基本上连续地进行处理以确定髋关节中心，和/或在最终获取所有点之后作为批处理来进行处理以确定髋关节中心。例如，通过实时估计滤波器的基本上连续的处理可以向如外科医生等用户提供他正接近有效解的反馈。在一些实施例中，批处理发生在收集和尝试多个点之后，并且如果处理不充分，则提示用户再次尝试。
然后，使膝关节在运动的范围内弯曲，以确定膝关节的基线、术前屈曲轴。外科医生4208然后做出切口以使膝关节暴露。触针1800用于基于如滑车沟的最远端点等标志对股骨远端中心进行配准。胫骨近端中心通过对ACL的轨迹与触针尖端进行配准来定义。对于某些微创程序，可以通过将触针通过一个端口插入关节囊并使用通过第二端口插入的关节镜4214将其可视化，以在关节镜下对骨性标志进行配准。进一步地，可以将来自关节内窥镜的关节内窥镜图像4216无线地传送到AR头戴设备3600并且使其作为MRUI的一部分显示。在替代性实施例中，触针尖端可以并入可跟踪的关节内窥镜中，以允许通过单个端口执行标志配准。然后，触针1800可用于对内踝和外踝进行配准，并且通过内插这些点来确定踝关节在胫骨标记4212的参考系中的中心。在这一点上，建立股骨参考系，所述股骨参考系的原点在股骨远端的中心，第一轴朝向髋关节的中心延伸，第二轴由膝关节的弯曲轴限定，并且第三轴限定成垂直于第一轴和第二轴。胫骨基准框架被限定为其原点在胫骨近端的中心，第一轴朝向踝关节的中心延伸，第二轴由膝关节的弯曲轴限定，并且第三轴被限定成垂直于第一轴和第二轴。这些参考系可以作为MRUI中的虚拟图像来呈现。
图43示出了在膝关节暴露的膝关节置换程序期间通过AR头戴设备3600向外科医生4208示出的MXUI的示范性实施例。股骨髁4302和胫骨坪4304的形貌图可以通过用AR头戴设备3600中的深度传感器3906进行扫描或通过使用立体相机3904和SLAM来生成。可以使膝关节在运动的范围内弯曲，并且外科医生4208将调整其有利位置以允许髁尽可能地可视化。外科医生4208使用视场中心的圆4306在配准过程中“绘制”髁，并将其用作映射算法的掩模。该圆可以与用于提高映射的速度和精度的结构化光投影仪的投影场重合。当映射表面时，可将映射区域的虚拟3D网格4308投射到关节表面上以引导外科医生4208并且提供对表面配准质量的视觉确认。然后使用算法确定股骨远端和胫骨近端的关节表面上的最低点，以确定股骨远端切除和胫骨近端切除的深度。理想的植入物大小可根据形貌图确定。
在另一个示范性实施例中，系统10可以使用股骨4204和胫骨4206的形貌图来跟踪相应骨骼(4204，4206)的姿势，而不是将基准标记附接到骨骼(4204，4206)。在一个实施例中，用户106可以选择当膝关节弯曲和伸展时将保持可见的骨骼的区域(4204，4206)。参考图58A-C，用户106可以选择映射胫骨5808的前内侧或股骨远端5806的前内侧，分别创建参考3维表面图5802和5804。这些区域通过典型的皮肤切口是可见的。可以使用常规的牵开仪器和技术来保持可见性。系统10可以将参考3维图5802和5804作为点云、数学表面或通过其它方式存储。系统10可以创建相对于传感器套件210的胫骨参考系5812和股骨参考系5810，并且将表面图5802和5804的初始姿态分别记录在参考系5812和5810中。用户106可以在相同的骨骼或刚性体上对附加的参考点或结构进行配准，系统10记录其相对于参考系5812或参考系5810的姿势。系统10使用传感器套件210连续地重新扫描解剖结构的相同区段，并分别为胫骨和股骨创建移位的3维表面图5816和5814。然后，将每个移位的表面图5816、5814与为同一表面创建的对应参考表面图5802、5804进行比较，系统10确定为了最佳拟合而对准移位的表面图和参考表面图所需的几何旋转和平移。系统10然后将相同的旋转和平移应用于股骨4204或胫骨4206的刚性体上的所有存储的参考点和结构，以计算所有这些点和结构相对于传感器套件210的参考系的当前姿势。
图55描绘了示出了用于使用系统对膝关节置换程序进行导航的示范性方法的流程图。用户(106)首先使膝关节暴露以使骨骼解剖结构(5500)可视化。然后，传感器套件210扫描股骨远端5806的前内侧和胫骨近端5808的前内侧(5502)。根据这些表面，存储参考3维表面图5802、5804(5504)。系统可以任选地扫描和映射股骨髁5818、滑车5820、胫骨坪5822、后髁5824或上髁5826的较大区域。分别根据这些扩展的表面图5828、5830、5832、5834、5836，并且任选地使用外部解剖学数据，系统10标识股骨远端4204的中心和胫骨近端4206的中心(5506)。在扫描股骨远端5806的同时，股骨在运动的范围内移动，以确定股骨围绕髋关节的旋转中心，作为髋关节中心相对于映射的股骨远端解剖结构5804的代表(5508)。然后，用户106通过将小腿5112布置成大致垂直于股骨4204而将膝关节定位成90°变曲。在膝关节弯曲的情况下，系统10使用其传感器套件210来扫描远端股骨5806和小腿5112，从而标识其近似中心轴5114。可替代地，在膝关节在90度运动范围内弯曲时，系统10使用其传感器套件210扫描股骨远端5806和胫骨近端5808，以标识膝关节的平均弯曲轴。然后，系统10建立相对于传感器套件210的股骨4204的参考系5810，其原点在股骨远端的中心，第一轴朝向髋关节的中心延伸，第二轴平行于下肢5114的轴，并且第三轴被限定成垂直于第一轴和第二轴(5510)。可替代地，该系统建立股骨4204相对于传感器套件210的参考系5810，其原点在股骨远端的中心，第一轴朝向髋关节的中心延伸，第二轴平行于膝关节的弯曲轴，并且第三轴被限定成垂直于第一轴和第二轴。记录后髁相对于胫骨的定位，并且在它们之间构造轴。系统10生成脚背面的区段的表面图，用于跟踪其姿势。在替代性实施例中，可以通过附连到皮肤或覆盖的帷帘、包裹物或靴子的标记来跟踪脚。脚在运动的范围内移动，以确定其旋转中心，作为踝关节相对于映射的胫骨近端解剖结构的中心的代表(5512)。然后在胫骨近端与踝关节中心之间构造胫骨的机械轴，并建立胫骨4206的相对于传感器套件210的参考系5812，其原点在胫骨近端的中心，第一轴朝向髋关节的中心延伸，第二轴平行于下肢的轴5114，并且第三轴被限定成垂直于第一轴和第二轴(5514)。可替代地，该系统建立胫骨4206相对于传感器套件210的参考系5812，其原点在胫骨近端的中心，第一轴朝向踝关节的中心延伸，第二轴平行于膝关节的弯曲轴，并且第三轴被限定成垂直于第一轴和第二轴。然后，重复扫描暴露的股骨远端5806和胫骨近端5808，系统10为每次扫描生成移位的表面图5814和5816(5516)。对于每次连续扫描，系统可以针对股骨远端5806和胫骨近端5808上的对应区域将移位的表面图5814和5816分别与原始表面图5804和5802进行比较。基于该比较，系统10可以通过确定将移位的表面图5814和5816与参考表面图5804和5802对准所需的平移和旋转来跟踪股骨4204和胫骨4206相对于传感器套件210的姿势(5518)。然后，系统10通过同时跟踪相应的映射的解剖表面和切割工具或导向器来计算和显示股骨远端和胫骨近端的切除角度和切除深度(5520)。然后，系统10可以显示虚拟导向器，以帮助用户106将切割工具或导向器与用户限定的目标角度或深度对准(5522)。系统10可基于外部植入物数据向用户106建议植入物的大小(5524)。在放置植入物或试验植入物之后，系统10可在整个弯曲范围内跟踪股骨和胫骨，并且测量股骨和胫骨绕一个或多个轴的相对旋转，例如表示轴向旋转或内翻/外翻旋转(5526)。
任选地，系统10可以使用映射的形貌图来自动确定股骨远端5804(例如，通过标识滑车上的最远点或通过髁的最宽部分的线的中心)或胫骨近端5802(例如，通过计算坪的质心)的相应中心。任选地，中心点的标识可以通过如已经对中心进行标识的解剖形貌图的库等外部数据来补充，从而允许系统10在解剖结构被部分遮蔽的情况下计算中心点，以防止整个表面的映射。
图56描绘了具有植入的单髁组件的膝关节。股骨5602和胫骨5604中的每一个的一个隔室已经被切除。已植入股骨植入物5606和胫骨植入物5608。在一个示范性实施例中，系统10跟踪和记录原生股骨5602和胫骨5604的相对运动。然后，使用相机206对植入物的表面进行扫描和映射(5606，5608)，系统10可以遵循所记录的胫股运动计算植入物表面的路径。系统10还可以对剩余的暴露骨骼5610进行映射并检测植入物(5606，5608)和骨骼5610之间的撞击。可以计算表示干扰体之间的重叠的体积，并将其重叠为显示装置104中的虚拟模型。系统10还可以突出显示显示装置104中的撞击部位。例如，股骨植入物5606可撞击在邻近矢状切除平面5610的胫骨脊上，或者该脊可撞击在邻近股骨植入物5606的股骨上。如果至少一个接触表面是骨骼，则用户106可以选择修整骨骼以改变接触点。如果至少一个接触表面在植入物上，则用户106可选择调整植入物的位置以减少撞击。
参考图57，记录了原生胫股运动学的系统10可以向用户106显示植入物间的接触点5702的轨迹和投射到植入物表面上的预定义安全区5704。
参考图44，可以在通过AR头戴设备3600向外科医生4208示出的MXUI中显示虚拟胫骨植入物4402和虚拟股骨植入物4404。外科医生4208可以切换大小并调整这些虚拟模型的位置直至满意。在另一实施例中，可以在胫骨准备用于拉削期间显示虚拟胫骨植入物以提供用于胫骨组件的旋转对准的导向器。
参考图45，在通过AR头戴设备3600向外科医生4208示出的MXUI中显示用于对胫骨切割块的销进行定位的虚拟导向器4502。显示用于对股骨远端切割块的销进行定位的虚拟导向器4504。显示了用于对4合1切割块的销进行定位的虚拟导向器4506。通过将实际销与虚拟导向器4502、4504或4506对准来引导实际销的放置。然后可以通过将切割块放置在这些销上而切除股骨4508和胫骨4510。
图46描绘了图45中所示的MXUI的替代性实施例，其中虚拟导向器4602用于显示理想的切除平面，并且外科医生4208可以通过将实际锯片与虚拟导向器4602对准来直接切除骨骼。可替代地，在跟踪的锯4604的情况下，外科医生4208可以通过将虚拟锯片4606与虚拟导向器4602对准来切除骨骼。显示每次切除的内翻/外翻角度、弯曲角度和深度的虚拟文本4608在相关时可以数字形式显示。
图47和49描绘了膝关节平衡装置4700，所述膝关节平衡装置可以任选地包括在系统10中，所述系统具有底座元件4702、弹簧4902、髁元件4904和髁板4906。基座元件4702包括手柄4908、目标4714和胫骨板4910。髁元件4904包括手柄4912和圆柱形轴承孔4914。髁板4906包括圆柱形支承轴4916、目标4716和两个桨叶4706和4707。髁板4906绕圆柱形轴承4916枢转，这允许髁板4906相对于基板4910的内侧/外侧倾斜。在替代性实施例中，轴承4916可以是允许髁板4906的内侧/外侧倾斜和弯曲/延伸倾斜的球型。在另一实施例中，髁板4906可以是波状的，以匹配胫骨植入物的支承表面的形貌。在另一实施例中，该设计可以包括两个完全独立的髁元件，每个髁元件具有刚性集成的牵引桨和标记。
参考图47，胫骨板4910坐落在切除的胫骨4704上，并且牵引桨4706和4707分别与内侧股骨髁4708和外侧股骨髁4712保持接触。牵引桨4706和4707由弹簧4902推动并围绕前后轴枢转，以在每个股骨髁(4708，4712)和胫骨4704之间提供几乎相等且恒定的牵引力。基座元件4702和牵引桨(4706，4704)包括光学标记(4714，4716)，所述光学标记允许软件测量每个股骨髁(4708，4712)的索引程度。
当膝关节在运动范围内弯曲时，每个目标的位置被跟踪，胫骨和股骨的姿势也被跟踪。该数据用于生成作为弯曲角度的函数的内侧和外侧松弛度的图。该信息用于计算股骨远端切割块定位销的理想定位，以实现膝关节的运动范围内的平衡，或引导用户去除骨赘或执行软组织释放，从而使膝关节在其运动范围内平衡。该图可以显示在如图48所示的MXUI中，其中第一三维弧4802表示膝关节运动范围内的内侧松弛，并且第二三维弧4804表示在膝关节的运动范围内的外侧松弛。实际膝关节的当前弯曲角度处的数值可以显示为虚拟文本4806。
图66A和66B描绘了用于在膝关节外科手术中测量切除深度的系统10的一个实施例。股骨远端6602包含髁6604和6606，以及机械轴6614。标记6608和6610分别刚性地固定到股骨6602和髁导向器6612。标记6620刚性地固定到切割导向器6616。
测量切除深度的挑战在于，用作深度基准的股骨髁形状不规则，使得它们最突出的点根据切除平面的角度而变化。常见的解决方案是通过在表面上对许多点进行配准来映射髁表面，这很耗时，但允许计算机通过计算沿着垂直路径到最突出点的距离来计算特定角度处的深度。图67描绘了示出了在膝关节外科手术中使用系统10对股骨远端的解剖结构进行配准并测量深度而不绘制髁表面的方法的流程图。用户106将髁导向器6612搁置在髁6604、6606上(框6700)。在系统10的引导之后，用户106将髁导向器6612的角度调整到目标切除角度，同时保持髁导向器6612与髁6604、6606中的至少一个之间的接触(框6702)。系统10使用传感器套件210来跟踪标记6608和6610，测量髁导向器6612相对于股骨6602的姿势，并记录深度参考平面6618，所述深度参考平面与髁导向器6612的与一个或多个髁6604和6606接触的表面一致(框6704)。然后，系统10在机械轴6614和深度参考平面6618的交点处构造并记录深度参考点6622(框6706)。任选地，系统10可以指导用户106将髁导向器6612调整到多个取向，仍然保持髁导向器6612与髁6604或6606中的至少一个接触，以记录附加的深度参考平面6618和深度参考点6622(框6708)。
在一些实施例中，存在用于将用户引导到不同取向以用于深度参考点捕捉的额外或替代性方法。在一个实施例中，如图74所示，呈现了例如包含一个或多个区域7410的目标7400(例如，靶心)，其示出了可移动图标7412，所述可移动图标表示相对于髁导向器的一个或多个角度。尽管示出了圆形目标，但是本领域技术人员将理解，本文包括任何样式或形状(例如，正方形、矩形、二维、三维等)。在该实施例中，系统向用户输出指令以相对于髁使导向器移动，并使用可移动图标7412虚拟地绘制或标记或突出显示7414目标7400以捕捉有效的深度参考点。在记录有效的深度参考点的角度处，系统在目标上显示或输出指示符或标记(由着色区域7414示出)以通知用户他们不必再次在该区域中使可移动图标移动，因为已经为所指示的区域获取了有效的深度参考点。在其它实施例中，系统限制用户虚拟地绘制先前捕获的有效的深度参考点。在导向器在髁上的移动期间，根据所获取的用于切割步骤的有效的深度参考点的全部或子集形成数据库。
在另一实施例中，如图75所示，呈现包含一个或多个区域7510的网格7500，其示出了可移动图标7512，所述可移动图标表示相对于髁导向器的角度。在该实施例中，系统向用户显示输出指令以相对于髁使导向器移动并使用可移动图标7512虚拟地绘制7514目标7500。在记录有效的深度参考点的角度处，系统在目标7500上输出或显示指示符或标记(由着色区域7514示出)以通知用户他们不必再次在该区域中使可移动图标移动，因为已经为所指示的区域获取了有效的深度参考点数据。在导向器在髁上的移动期间，根据所获取的用于切割步骤的有效的深度参考点的全部或子集形成数据库。
在又一实施例中，如图76所示，显示包括一个或多个区域7602、7604、7606、7608的目标7600。例如，一个或多个区域可以被定位在目标7600的周边7610附近、邻近或接近所述目标的周边。这些外部区域之一(例如区域7606)被突出显示(例如，改变颜色、被激活、被点亮、闪烁或眨眼、可听见地发出嘟嘟声、摇动等)，而其它区域(例如区域7608)被停用(例如，变灰)。呈现表示相对于髁导向器的角度的可移动图标7612。在该实施例中，系统向用户输出或显示指令以使导向器相对于髁移动，直到可移动图标至少部分地重叠或至少部分地位于突出显示的区域7606的顶部。当这被实现时，当前突出显示的区域7606被停用，并且下一个、随后的或相邻的区域(例如区域7604)被突出显示。这对所有区域7604、7606、7608重复，并且然后系统向用户输出或显示指令以使可移动图标移动到目标7600中心的区域7602。在该活动期间，在背景中获取深度参考点。在导向器在髁上的移动期间，根据所获取的用于切割步骤的所有点形成数据库。
在又一实施例中，系统向用户显示或呈现移动目标，并向用户输出或显示指令以使导向器相对于髁移动，直到可移动图标至少部分地重叠或位于由系统突出显示的目标的顶部。移动目标的速度和模式可以由软件改变，其目的是获取优先于装置的精度的区域中的数据。在导向器相对于髁的移动期间，根据所获取的用于切割步骤的所有点形成数据库。
然后，用户106从股骨移除髁导向器6612并附接切割导向器6616，所述切割导向器被配置成允许用户106调整其在股骨6602上的角度和深度(框6710)。当调整切割导向器6616时，系统10分别通过跟踪标记6620和6608测量切割导向器6616相对于股骨6602的位置。瞬时切除深度被计算为从由切割导向器6616限定的当前切除平面到对应于深度参考平面6618的深度参考点6622的法线距离，所述深度参考平面与切割导向器6616的角度最接近平行(框6712)。在另一实施例中，如果切割导向器的当前取向不是在髁导航期间记录的取向，则可以通过参考平面和/或在不同取向获取的其它深度参考点的内插或外推来确定对应于深度参考平面6618的深度参考点6622。用户106遵循来自系统10的反馈将切割导向器6616调整到期望的切除角度和切除深度(框6714)。由于髁的不规则形状和标识髁表面上最突出点的不确定性，深度测量精度随着相对于深度参考平面的角度增加而降低。为了最小化由于未对准引起的深度误差，如果切割导向器6616距最接近平行的深度参考平面6618大于指定的角度极限(例如，1度)，则系统10不显示深度测量值。一旦切割导向器6616处于期望的角度和深度，用户106通过锯开狭槽或抵靠切割导向器6616的面来切除股骨(框6716)。可以基于期望的分辨率来选择角度限制。例如，一度角度限制可导致大约或大致1mm的误差。
在一些实施例中，系统需要在背景中的多个点处存储参考深度点(即，三维点)，而不强迫用户手动选择许多点。为了解决该技术问题，在数据库中存储、排列和关联一个或多个参考深度。参考深度点是数据库中解决技术问题所需的最小信息量。数据库的一个示范性非限制性实施例包括作为网格的矩阵(例如，在两个轴上以约0.5的间隔从约-3到约+3)，该矩阵具有表示覆盖在其上的例如分别为2.4、1.7的VV角度、FE角度的参考深度点的测量值的指示符。数据库将被配置成确定或示出数据库中与测量值最接近的索引或已知值是2.5、1.5，并且将该距离(计算为sqrt((2.5–2.4)^2+(1.5-1.7)^2或均方根(RSS)距离)表示为该参考深度点的品质因数(FOM)。换言之，RSS距离是该参考深度点的FOM。当参考深度点和相关联的FOM被存储在数据库中时，标志或其它指示符将数据库索引标记为已知值或最接近的索引，在该实例中为2.5、1.5。如果为新测量的参考深度点计算新的较低FOM，则新的较低FOM和新测量的深度点将覆盖数据库中的先前条目。如果为新测量的参考深度点计算新的、相等或更高的FOM，则新的相等或更高的FOM不被记录在数据库中。
图77示出了一个示范性实施例。由本文所述的任何系统执行的图77的方法包括：在框S7700处创建包括N×M个条目的数据库。在使用髁导向器之前，系统创建空数据库或二维矩阵。该数据库包含N×M个条目，其中N是要获取的内翻/外翻(VV)角度的数量，并且M是要获取的弯曲/延伸(FE)角度的数量。确定N和M的一种方法是从最大期望目标角度中减去最小期望目标角度并除以精度所需的分辨率，同时保持阵列中的最大点。内翻/外翻的实例是最小约-3度，最大约+3度，分辨率为约0.5度。进一步地，例如，最小约-3.5度、最大约+2度的VV具有约0.25度的分辨率，导致24的N值，包括最大端点和最小端点。这将提供为14的N值，包括最大端点和最小端点。
该方法进一步包括，在框S7710处，使用以下对数据库进行初始化：目标VV角度、目标FE角度、测得的VV角度的任何值(例如，可以是任意值，没有特定单位)、测得的FE角度的任何值(例如，可以是任意值，没有特定单位)、人为的大品质因数(FOM)、(0，0，0)的参考点深度矢量，以及指示已经输入的参考深度已经被设置为假值的参考深度有效标志(即，假值意味着在2D阵列或矩阵中的该点处没有数据被存储)。框S7710可以基于使用本文别处描述的任何方法由用户将髁导向器调整到目标髁角度。如图74至75所示，虚拟着色区域7414、7514间接地显示存储在系统中的有效标志。
转到框S7720，该方法包括输出以目标髁角度定位的导向器的当前VV角度或当前FE角度中的一个或两个。
在一些实施例中，该方法包括，在框S7730处，确定与数据库中的目标VV角度和/或目标FE角度最接近的位置。例如，系统可以计算品质因数(FOM)，所述品质因数表示在框S7700处计算的当前VV和FE角度到目标角度的均方根(RSS)距离。在一些实施例中，该计算可以通过二进制搜索或线性方法来执行。FOM等于SQRT((VV_current–VV_i)^2+(FE_current–FE_j)^2)，其中i和j被改变以计算数据库中每个点的FOM。最小FOM表示数据库或2D阵列或矩阵中参考深度点应存储在的最近点。数据库中的i和j索引被存储用于后续步骤。
该方法进一步包括，在框S7740处，当参考深度先前未被记录在该数据库中时，计算：FOM、当前VV角度、当前FE角度和深度参考点以存储在数据库中的这些索引处，并将参考深度有效标志设置为真值。该标志指示2D阵列或矩阵中用于该点的数据已被成功存储。
可替代地，在框S7750处，当参考深度先前被记录在数据库中时，将当前VV角度的FOM或当前FE角度的FOM中的一个或两个与数据库中的FOM进行比较，并且当前FOM小于先前记录的参考深度时，重写数据库中的参考深度。如果当前FOM大于所存储的FOM，则参考深度不被重写。
当切割导向器已经被附接并且深度计算需要参考深度点时，使用如图78所示的方法来检索参考深度点。如图78所示，该方法包括，在框S7800处，确定以期望深度或期望角度中的一个或两个定位的切割导向器的当前VV角度或当前FE角度中的一个或两个。例如，这可以基于切割导向器相对于股骨的用户调整。
图78的方法进一步包括，在框S7810处，确定与数据库中的目标VV角度或目标FE角度中的一个或两个最接近的位置，如上面在图77中所述。框S7810可以包括计算表示当前VV和FE角度与数据库中的目标角度的均方根(RSS)距离的FOM。在一些实施例中，这可以通过二进制搜索或线性方法来执行。FOM等于SQRT((VV_current–VV_i)^2+(FE_current–Fe_j)^2)，其中i和j被改变以针对数据库中的每个点计算FOM。最小FOM表示数据库阵列中参考深度点应存储在的最近点。数据库中的i和j索引被存储用于后续步骤。
在一些实施例中，所述方法进一步包括，在框S7820处，当有效参考深度点没有被记录在数据库中或者有效参考深度点不能被内插(例如，使用数据库中的位置附近的局部参考点)时，输出没有参考点可用的指示符。
可替代地，如框S7830所示，当有效参考深度点被记录在数据库中或被内插时，输出有效参考点可用的指示符。框S7820和S7830的指示符可以是视觉指示符(例如，显示在头戴式显示器的显示器上，闪烁信号、发光指示符、文本指示符、弹窗等)、听觉指示符(例如，嘟嘟声、特定音调、特定声音等)或触觉指示符(例如，在头戴式显示器、支撑模块、头盔等中的触觉或反馈)。
图79A至79B描绘了髁导向器6612的一个实施例。髁导向器6612包含具有第一端7918和第二端7916的主体7914。细长手柄7902从主体7914的第一端7918延伸。用户106握住手柄7902以控制髁导向器6612的位置。手柄7902被制成适当长度，以允许用户106进行精确的角度调整并抵抗施加到髁导向器6612上的外力例如将切割导向器6616钉到股骨6602上。髁导向器6612进一步包括从第一端7918的至少一部分的侧区域7920延伸的至少一个平坦表面7904(但在一些实施例中为多于一个)。平坦表面7904被配置成搁置在一个或多个股骨髁6604、6606上并且构造用于计算切除深度的零深度平面。在一些实施例中，平面表面被配置成模拟与股骨髁相切的平面。髁导向器7914包括定位在平面表面7904上的至少一个跟踪器，用于跟踪髁导向器6614的姿势。跟踪器标记7906被直接制作在髁导向器6612上，以允许系统10跟踪髁导向器6612的姿势。在另一实施例中，跟踪器标记7906被制作在刚性附接到髁导向器6612的单独组件上。位于平坦表面或单独组件上的跟踪器用于确定一个或多个有效的深度参考点。
髁导向器6612进一步包括从主体7914的第二端7916延伸的连接器7908，并且被配置成联接到切割导向器6616，如图80所示。在一些实施例中，连接器是可移除的。
在一些实施例中，主体7914进一步限定孔口7912，所述孔口被配置成用于接收穿过其中的销7922以便插入到骨骼(例如股骨)中。孔口7912被配置成孔口7912的直径D2、D3的大小被设计成使得当销7922穿过孔口7912插入时允许髁导向器6612倾斜，如图79B所示。孔口7912的尺寸过大，以允许髁导向器6612在销7922就位的情况下倾斜。可以改变尺寸过大的量以允许导向器6612围绕销轴的或多或少的角度倾斜。例如，孔口7912在第一位置处的直径D1可以基本上等于销7922的直径。孔口7912分别在第二位置和第三位置处的直径D2、D3可以大于销7922的直径，以允许导向器6612围绕销轴7924角倾斜约+/-15度；约+/-10度；约+/-5度；约+/-2度；等等。
在一些实施例中，髁导向器6612包括释放机构7910，所述释放机构沿与连接器7908相反的方向从主体7914的第二端7916延伸。释放机构7910被配置成在将切割导向器6616钉到骨骼上之前将髁导向器6612联接到骨骼上，并且在切割导向器6612已经被钉到股骨6602上之后移除髁导向器6612。
在一些实施例中，髁导向器6612的主体7914的第二端7916的至少一部分限定狭槽7926，所述狭槽被配置成接收滑动件7922，连接器7908和释放机构7910在滑动件7922的相对侧上插入到所述狭槽中。滑动件7922允许切割块在用户已将导向器6612移动到正确角度之后向股骨后方(向后)滑动，以在钉固之前接触股骨。与股骨的接触在钉固期间支撑切割导向器6616，并且使其被推离期望角度的趋势最小化。
在一些实施例中，将切割导向器6616钉住仅在使用联接到切割导向器6616的髁导向器6612来确定一个或多个有效的深度参考点之后发生。
图68A和68B描绘了切割导向器6616的一个实施例，所述切割导向器被配置成在安装到骨骼上之后是可调整的。固定基座6806被刚性地附接到骨骼上。可移动切割头6802包括切割狭槽6804。可以转动两个外翻调整螺钉6808来调整切割头6802在前平面中的角度，而可以转动弯曲调整螺钉6810来调整切割头6802在垂直平面中的角度。外翻调整螺钉6808通过相互啮合的螺纹分别致动左右调整柱6814和6816。这些调整柱6814或6816中的一个的轴向运动又使外翻块6812和切割头6802绕其中一个外翻销6818旋转。在一个实施例中，外翻销6818与股骨髁6604和6606间隔大约相同的距离，从而允许切割头6802围绕与一个髁对准的轴旋转，使得当用户106调整切割头6802的角度时，从切割狭槽6804到该髁的距离保持恒定。这解决了现有切割导向器的普通问题，其中调整导向器在前平面中的角度也改变从一个或两个髁测量的切除深度。进一步地，参见图68B，切割头6802被配置成当转动弯曲调整螺钉6810时在矢状平面中相对于外翻块6812围绕弯曲销6820枢转，从而通过并入其中的相互啮合的螺纹6822致动切割头6802。
图80描绘了刚性地安装到髁导向器6612的切割导向器6616的视图。近端表面7904示出为与股骨6602接触。切割导向器6616和髁导向器6612被配置成使得近侧表面7904与切割狭槽6804之间的距离8002与对应于预期股骨植入物的切除深度(例如大约9mm)匹配。虽然9mm是典型的，但是可以使用大约7mm到大约12mm的切除深度。在深度机械固定的情况下，用户106仅需要调整组装的切割导向器6616和髁导向器6612的角度，同时将近侧表面7904搁置在股骨6602上。当达到目标角度时，一个或多个销8004穿过切割导向器6616插入并进入股骨6602，同时用户106握住手柄7902以防止髁导向器6612的角度在钉固期间改变。然后移除髁导向器6612。切割导向器6616相对于股骨6602的角度和深度仍然可以由系统10通过仍然刚性地安装在切割导向器6616上的跟踪标记6620来进行测量和报告。如果切割导向器6616的位置仍然是可接受的，那么用户106移除标记6620并且通过狭槽6804切除股骨6602。如果切割导向器6616在钉固期间已经移动，则可以在切除之前调整其角度和/或深度。
VIII.其它医疗程序
参考图10，本发明进一步提供了一种使用系统10执行其它外科手术程序的方法(下面提供了具体实例)。所述方法包括数据收集(1000)，所述数据收集包括但不限于跟踪和识别视觉标记和IMU。该数据用于确定多个物品在工作视图中的相对和/或绝对取向和位置(1002)。将外部数据(1004)引入算法。算法用于处理特定用例的数据(1006)并确定所需的输出(1008)。在增强现实AR或虚拟现实VR输出显示器(1010)中使用该数据以辅助医学专业人员。
例如，这些方法可用于全髋关节成形术。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)以及髋关节和外科手术工具的位置和取向的确定(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于用于翻修设置的组件定位、股骨头切割、髋臼定位、螺钉放置、腿部长度确定以及在髋臼中对良好的骨骼进行定位。
这些方法还可用于全膝关节成形术。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)以及膝关节、胫骨和外科手术工具的位置和取向的确定(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于胫骨切割的定位、角度和斜率；导向器的放置和微调；避免髓内引导；和/或股骨切割的改善。
这些方法可用于桡骨远端骨折的畸形愈合的矫正截骨术。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描数据组合以确定畸形愈合和外科手术工具的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于截骨的定位、截骨角度和结果评估。
这些方法可用于臂骨的畸形愈合的矫正截骨术，所述臂骨包括肱骨、肱骨远端、桡骨和尺骨骨折，所述骨折复杂且涉及角度矫正和旋转矫正。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描数据组合以确定畸形愈合和外科手术工具的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于截骨部位的定位、截骨角度、矫正程度和结果评估。
这些方法可用于股骨远端截骨术和胫骨近端截骨术，以矫正早期骨关节炎和错位。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与手术前CT扫描数据或长腿X射线图像结合，用于确定截骨术定位和比例以及外科手术工具的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于截骨部位的定位、截骨角度、矫正程度和结果评估。
这些方法可用于髋臼发育不良的髋臼周围截骨术。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描数据组合以确定截骨术定位和外科手术工具的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于截骨部位的定位、测角、矫正程度和结果评估。
这些方法可用于类似于前述实施例的儿科矫形截骨术。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描数据组合以确定截骨术定位和外科手术工具的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于截骨部位的定位、截骨角度、矫正程度和结果评估。
这些方法可用于肘部韧带重建，所述肘部韧带重建包括但不限于桡侧副韧带重建(RCL)和UCL重建(Tommy-John)。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定韧带重建和外科手术工具的等距点的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于隧道放置的精确定位和结果评估。
这些方法可用于膝关节韧带重建，所述膝关节韧带重建包括但不限于MCL、LCL、ACL、PCL和后外侧角的重建。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定韧带重建和外科手术工具的等距点的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于隧道放置的精确定位、隧道深度、隧道角度、移植物放置和结果评估。
这些方法可用于踝关节韧带重建，所述踝关节韧带重建包括但不限于矫正不稳定的重建。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定韧带重建和外科手术工具的等距点的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于隧道放置的精确定位、隧道深度、隧道角度和结果评估。
这些方法可用于肩部肩锁(AC)关节重建外科手术程序，所述肩部肩锁关节重建外科手术程序包括但不限于在锁骨中放置隧道。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定韧带重建和外科手术工具的等距点的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于隧道放置的精确定位、隧道深度、隧道角度和结果评估。
这些方法可用于解剖型和反向全肩关节置换(TSA和RSA)外科手术程序，包括翻修TSA/RSA。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定肱骨头、相关标志和外科手术工具的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于肱骨头切割的精确定位和关节盂骨放置、基板和螺钉，以及用于关节盂矫正的扩孔角度和导向器放置以及结果评估。
这些方法可用于全踝关节成形术外科手术程序。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定胫骨、腓骨、距骨、舟骨和其它相关标志和外科手术工具的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于胫骨头切割的精确定位、解剖轴确定和结果评估。
这些方法可用于骨盆骨折、胫骨坪、髋臼和骨盆(但不限于这些区域)的经皮螺钉放置。用于解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定解剖标志和其它相关标志和包括螺钉的外科手术工具的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于接收螺钉的骨骼的精确定位、要避免的周围解剖结构和软组织特征、螺钉的定位、插入角度(例如，注射的角度)、插入深度(例如，注射的深度)和结果评估。
这些方法可用于对包括但不限于踝关节、膝关节、髋关节、肩部和脊柱的区域进行室内注射。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定相关标志和外科手术工具的位置和取向(1002)。算法(1006)用于确定包括但不限于注射定位的精确定位、测角和深度的解决方案，以便最大化效果并最小化与内部器官和解剖结构的相互作用。
这些方法可用于脊柱融合程序的椎弓根螺钉放置，包括腰椎和胸椎，但不限于这些区域。用于解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定解剖标志和其它相关标志和包括螺钉的外科手术工具的位置和取向(1002)。算法(1006)用于确定解决方案，所述解决方案包括但不限于接收螺钉的骨骼的精确定位、皮质的打开、颅尾测角或类似测角、内外侧倾斜、螺钉插入轨迹、插入深度和结果评估。
这些方法可用于使交替光谱成像可视化，包括但不限于红外线、紫外线、踝关节、膝关节、髋关节、肩部和脊柱。
解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以包括但不限于具有交替光谱灵敏度的双色相机和/或用于突出显示患者特征的注射染料，用于确定相关标志和外科手术工具的位置和取向(1002)以及在包括神经、肿瘤、软组织和动脉的交替光谱中更容易可见的解剖特征的位置、定位和类型。算法(1006)用于确定解决方案，所述解决方案包括但不限于可以用该技术增强的神经、肿瘤、感兴趣的软组织、动脉和感兴趣的其它特征的精确定位。
这些方法可用于肿瘤诊断程序、分期程序和治疗性外科手术程序。解剖标志和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合，用于确定肿瘤定位和外科手术工具的位置和取向(1002)。可替代地，在诊断性外科手术期间，可以执行肿瘤相对于解剖标志的定位。算法(1006)用于确定解决方案，所述解决方案包括但不限于肿瘤部位的定位和大小范围、切除指导和结果评估。
这些方法可用于将可见或不可见但相机可见的光点投射到能视域中的感兴趣的对象上，所述感兴趣的对象包括但不限于骨骼标志、神经、肿瘤和其它器官和非器官对象。标记(例如，100，108，110等)用于扩充或取代解剖学数据的外部数据集，并且可用于代替物理指针或工具，如前所述。可以从用户的头部显示器或其它定位显示光点。光点还可以表现为光的图案或其它阵列。这些光突出显示患者身上的特征，用于确定相关标志和外科手术工具的位置和取向(1002)，以及数据集的扩充，所述数据集包括但不限于荧光透视、CT扫描和MRI数据。算法(1006)用于确定先前描述的但具有替代或添加的选择项的解决方案。
这些方法可用于植入物的微创定位和经皮插入锁定螺钉。标记(例如，100，108或110等)安装在髓内钉的近端上。另一标记(例如100，108或110等)安装在横向螺钉插入工具上。显示钉的虚拟模型，包括锁定横向螺钉的目标轨迹。外科医生能够通过将虚拟横向螺钉与目标轨迹对准来插入横向螺钉。在另一实施例中，相同的方法可以应用于外部固定板。在这种情况下，将显示具有多个锁定螺钉轨迹的虚拟锁定板，每个孔一个锁定螺钉轨迹。
这些方法可用于超声成像数据的可视化。在一种应用中，该系统可以在如注射麻醉药等医疗程序中帮助引导针。超声成像可以有助于针的可视化，但是直到针进入组织内的超声视场时，针的轨迹已经建立并且不能在不给患者带来疼痛的情况下进行调整。本发明的系统可以帮助用户在插入之前和之后跟踪针。参考图10和31，基准3106安装在超声换能器3104上。当用户106使用超声换能器收集患者的内部解剖结构的2D图像时，系统10同时跟踪超声换能器3104的位置和取向并且接收2D超声图像1004。系统10可以任选地和/或附加地跟踪患者1900。然后，系统10将患者的2D图像与超声换能器3104相对于患者的位置和取向组合；使用获取的超声换能器和患者位置和取向数据，在公共参考坐标系中重建2D图像；并且在AR头戴设备3600中将重建的图像或3D图像显示给用户106。系统10可以进一步使用图像分析算法1006来生成和显示从成像数据中识别的解剖学结构创建的表面或实体模型1008。系统10可以任选地基于如针的一个或多个物理工具的跟踪位置来显示叠加在3D成像数据上的虚拟工具。由于3D重建的精度受到如由于声音在各种组织中的速度而引起的放大率差异之类的误差的影响，因此虚拟工具的相对位置可能不完美。然而，一旦针进入超声视场，其位置精度通过针在图像中的直接可视化而提高。在此阶段，针的3D重建对于确定针尖的定位很有价值的，这在标准2D图像中难以与随机横截面区分开。知道针尖的定位，而不仅仅是其轴，有助于用户将针插入到所需的深度而不会对相邻组织造成伤害。系统10继续跟踪探针(例如，针、注射、销、螺钉等)的位置和取向，并且显示轴(例如，沿着探针的轴向长度)和/或探针尖端相对于患者内部解剖结构的3D图像的定位。该轴可以是例如探针的虚拟轴或探针的图形表示。然后基于相对于患者的内部解剖结构的定位将探针的尖端推进到期望的位置。任选地，如图31所示，使用立体相机来映射患者的外表面，并且与患者的内部解剖结构的3D图像和/或超声换能器3104一起显示。
IX.可跟踪仪器和设备的数据库
本发明任选地包括构造仪器和设备的电子数据库，以便允许AR头戴设备3600标识在外科手术区域或手术室区域中存在什么仪器。参考图29，序列化的跟踪标签2900任选地包括在系统中以便于这种数据库的构造。序列化的跟踪标签2900包括机器可读序列号代码2902、人类可读序列号2904和一组便于六自由度光学姿态跟踪的光学特征，例如多个基准2906。在一个实施例中，机器可读数字代码2902图案可以通过AR头戴设备3600的一个或多个相机3904成像并且单独用于使用机器视觉算法来确定医疗仪器的姿势和位置。在另一实施例中，序列号图像2904可通过相机3904成像，并单独用于使用机器视觉算法来确定医疗仪器的姿势和位置。在又一实施例中，跟踪标签2900的整个物理模型可通过相机3904成像，并单独用于使用机器视觉算法来确定医疗仪器的姿势和位置。在另一实施例中，跟踪标签2900可以包含或含有无线RFID标签，所述无线RFID标签用于套件中的设备的非光学识别，所述套件然后可以使用光学识别来自动验证。
参考图30，提供了示出了系统的流程图，所述系统用于使用增强现实头戴设备对设备的物品类型和物理参数进行配准并存储和共享该数据以用于外科手术。在该示范性实施例中，序列化的可跟踪标签被预先印刷在耐用的自粘材料上。在外科手术程序中或在程序的准备工作(即后台操作)中最有利地进行观察的定位中，标签被附接(3002)到设备(3000)的物品上，所述物品可以是但不限于C型臂、撞击器、指针或在程序中使用的任何其它设备。然后，通过用相机3904查看、标识标签，并启动与该序列号相关联的数据库记录来对标签进行配准(3004)。还可以相对于可跟踪贴纸对与设备的物品有关的感兴趣的几何形状进行配准(3006)和存储。例如，在C型臂的情况下，可以使用配准触针来对成像器的面的周边周围的三个点和表示X射线束源的原点的点进行配准。这提供了X射线束源相对于AR头戴设备3600坐标系的坐标系、取向(姿势)数据和位置数据，以供AR头戴设备3600算法使用。在一个替代性实施例中，相机3904是立体相机，并且用于通过识别关键特征(例如成像器的圆柱形或矩形表面)来扫描和识别C型臂的几何形状。设备的物品的附加相关规格(3008)可以输入到记录中，并且所述规格包括但不限于设备类型和型号、校准到期日、电子接口参数和无线连接密码。用相机3904捕获3010装置的图像。捕获所述装置的设备标签(3012)的图像。所有这些物品被添加到完成的记录(3014)中，所述记录当前在AR头戴设备3600本地。然后记录被加上时间戳并且与中央数据库共享(3016)。这可以位于医院系统内的本地服务器上，或者位于包括通过因特网的任何基于云的存储的任何远程服务器中。数据库的上传可以通过Wi-Fi公共网络协议或其它本领域公开的手段来完成。上述动作可以由公司代表、医院雇用的技术人员或任何其它受过训练的个人来执行。为了防止配准不良的设备进入数据库，可能需要管理员权限来捕获记录。
当在外科手术中使用设备的物品时，利用相机3904将标签识别为设备的可跟踪物品并读取序列号(3018)。然后AR头戴设备3600可以连接(3020)到数据库并下载设备记录(3022)。因此，可以在外科手术期间以六自由度可跟踪的方式使用设备(3024)。如果适用，对于具有数据标签的设备，记录(3026)还可以用特定于设备本身的数据来更新，例如，上传在外科手术期间由设备捕获的图像或在日志中捕获在外科手术期间的设备活动的日志。可以将描述设备在外科手术中的使用的日志条目添加到数据库和示出设备的利用情况的患者记录中。出于各种原因，例如检索缺陷设备的使用，可以挖掘因此生成的数据库。
该系统还可用于识别手术仪器和外科手术期间遇到的植入物。在存储器中保存仪器和设备的用于缩放的CAD模型的数据库。在程序期间，SLAM或类似的机器视觉算法可以捕获物品在场景中的形貌并且与仪器和设备上的数据库进行比较。如果找到匹配，则系统可以采取适当的行动，例如跟踪仪器相对于患者和手术中使用的其它仪器的位置和取向，或者进入与该仪器的使用相关的模式。例如，在髋关节置换程序中，如果检测到髋臼撞击器，则进入杯放置导航模式。
系统还可以使用其当前软件工作流程步骤的知识来向OR工作人员(例如器械护士(scrub tech))提供适用的指令。可以在远程监视器或与外科医生的系统联网的第二AR头戴设备3600上显示指令。例如，系统可以显示关于工作流程中的下一步骤的信息，并指示器械护士或助手准备哪些仪器，任选地包括用于定位、识别或组装所需仪器的图片、视频或音频指令。系统的相机可用于识别特定的仪器或仪器组，并通过AR头戴设备显示器向助手指示所需的仪器。外科医生或其它有经验的用户可以任选地输入定制指令，以针对外科手术工作流程中的每个步骤显示给助手或工作人员。
系统还可用于基于结局数据或常规实践优化植入物选择和/或放置。图65描绘了示出了用于使用系统来辅助外科手术决策的示范性方法的流程图。系统首先使用传感器套件210扫描和映射原生解剖结构(框6502)。任选地，解剖学数据可以通过如CT或MRI的术前成像来扩充或替换。然后，将解剖结构与数据库进行比较并标识具有相似解剖结构的病例，系统输出植入物类型、对准和组件定位(框6504)。可替代地或附加地，系统基于一个或多个形状匹配算法输出植入物类型，所述算法将解剖结构的一个或多个特征与已知植入物的数据库内的最佳拟合相匹配。与术前成像扫描相反，用于一个或多个形状匹配算法的解剖结构的一个或多个特征可以基于术中成像扫描。当系统10记录实际对准和定位数据时，用户106继续导航并完成外科手术(框6506)。系统10通过传感器套件210的自动扫描或手动输入来记录用户10选择的植入物类型和大小(框6508)。将外科手术数据上传到数据库，包括外科手术结果(如果可用)(框6510)。在框6504处，更新的数据库用于通知下一病例。建议可以基于期望的外科手术结果(如果在数据库中可用)，或者基于同一用户106或其它用户在类似情况下的共同实践。可在术中收集其它数据，包括关于程序时间和仪器使用的数据。传感器套件2010可以使用机器视觉算法来在外科手术期间自动识别仪器并记录在每次程序中使用哪些仪器以及何时使用仪器。医院可以使用该信息来有效地包装仪器组以容纳最常用的仪器，或者在需要程序特定仪器时对工作人员进行培训或指导。尽管本文已经参考优选实施例及其特定实例说明和描述了本发明，但是对于本领域的普通技术人员来说显而易见的是，其它实施例和实例可以执行类似的功能和/或实现类似的结果。所有这此类等同的实施例和实例均在本发明的精神和范围内，因此被考虑，并且旨在由所附权利要求覆盖。
X.本文的系统和方法中的语音和/或凝视使用
如图84所示，在一些实施例中，本文描述的装置或系统中的任何一个或多个可以实施凝视控制。如本文所使用的，‘凝视’是指其中增强现实虚拟对象被定位并固定在惯性空间中(即，惯性固定对象8400)但也可由用户交互的过程。用户可以转动他们的头部或围绕房间移动，并且一个或多个惯性固定对象8400在局部环境中或惯性空间中保持固定。在一些实施例中，分划板8410显示在目镜显示器的中心或中心区域中。如果用户移动使得该分划板8410在视觉上与虚拟对象8420中的一个成一直线，则头戴式显示和导航系统被配置成激活虚拟对象8420。例如，系统为虚拟对象呈现例如其上具有灯泡的按钮。虚拟对象被固定在局部环境或用户周围的环境中的惯性空间中。系统可以提示用户定向他的视图，使得灯泡对象与目镜中心的分划板成一直线。检测分划板与虚拟对象之间的交互，使得虚拟对象被激活，例如基于来自用户的该控制输入(将分划板与虚拟对象对准)来开启(或关闭)前照灯。
该凝视控制可用于许多交互，所述交互包括但不限于用户输入选择(例如，按钮选择、开或关控制、滑动件控制等)、字母数字输入(例如，通过虚拟小键盘上的选择)等。
然而，有时更有利的是具有总是显示内容而不管头部位置的头部固定显示器。这被称为“头部固定”对象，虚拟对象与头戴式显示器的移动同步地移动。图84所示的分划板是头部固定对象，而图84所示的虚拟对象8400、8420是惯性固定的对象。
可对头部固定对象与惯性固定对象进行管理以在外科手术程序中同时使用。具体地，惯性屏幕用于信息数据和使用凝视控制的系统控制。然而，当跟踪目标时，除了惯性屏幕之外，还显示了示出导航相机跟踪场景的‘头部固定’视频屏幕。惯性屏幕可以放置成使得控件非常靠近手术部位。当外科医生观察手术部位时，显示了示出跟踪内容的头部固定屏幕。由于凝视控制惯性地位于相同的视场中，外科医生可以用最小的头部运动来控制系统。
此外，如图85所示，在一些实施例中，本文描述的装置或系统中的任何一个或多个可以实施语音识别。如本文所使用的，‘语音识别’是获取可听语音并对其进行处理以识别话语的过程。这可以包括像“开始(go)”或“停止(stop)”之类的词。同时使用凝视控制和语音识别减少了外科医生对凝视控制的依赖(并导致在外科手术中的某些时间不期望的头部运动)。启用语音识别和凝视控制两者有效降低了仅使用一个或另一个将导致外科医生互动不良的风险(即，语音识别不能确定他的命令，或者凝视控制对于长时间的外科手术很费力)。
例如，在一个实施例中，系统可以提示用户(例如外科医生)使用凝视控制来选择用户输入元件或虚拟对象8420(例如'向前'按钮)，使用分划板或虚拟控件8410。系统被配置成接受来自用户的基于凝视控制的输入并且显示屏幕、窗口或提示用户说‘开始’，说‘停止’，或凝视按钮以开始跟踪等的其它指示符8430。在一些实施例中，虚拟对象8420(例如按钮)还可包括标签8440(例如说‘开始’的文本)。系统提示用户注视虚拟对象8420以激活跟踪或大声说出词“开始”。当跟踪开始时，虚拟对象标签8440被改变为“停止”或另一指示符，例如红色。然后，系统可提示用户凝视虚拟对象8420以停用跟踪或说出词“停止”。
除非另有说明，本文描绘的各种结构的尺寸和几何形状不旨在限制本发明，并且其它尺寸或几何形状也是可能的。多个结构组件可以由单个集成结构提供。可替代地，可以将单个集成结构分成单独的多个组件。此外，虽然本发明的特征可能仅在所说明的实施例中的一个的上下文中描述，但对于任何给定应用，此特征可与其它实施例的一个或多个其它特征组合。从上面还可以理解，本文的独特结构的制造及其操作还构成了根据本发明的方法。
优选实施例及其变体的系统和方法可以至少部分地体现和/或实施为被配置成接收存储计算机可读指令的计算机可读介质的机器。所述指令优选地由计算机可执行组件执行，所述计算机可执行组件优选地与系统和支撑模块和/或计算装置中的处理器的一个或多个部分集成。计算机可读介质可以存储在任何合适的计算机可读介质上，例如RAM、ROM、闪存、EEPROM、光学装置(例如CD或DVD)、硬盘驱动器、软盘驱动器或任何合适的装置。计算机可执行组件优选地是通用或专用处理器，但是任何合适的专用硬件或硬件/固件组合可以替代地或附加地执行指令。
如在说明书和权利要求书中使用的，除非上下文另外明确指出，单数形式“一(a/an)”和“所述”包括单数和复数指代。例如，术语“传感器”可以包括，并且被考虑为包括多个传感器。有时，权利要求和公开内容可以包括如“多个”、“一个或多个”或“至少一个”的术语；然而，不存在此类术语并不旨在表示，也不应该被解释为表示不设想多个。
术语“约”或“大约”，当在数字命名或范围(例如，定义长度或压力)之前使用时，表示可以变化(+)或(－)5％、1％或0.1％的近似值。本文提供的所有数值范围包括所述的起始数字和结束数字。术语“基本上”表示大部分(即大于50％)或基本上全部的装置、物质或组合物。
如本文所使用的，术语“包含(comprising/comprises)”旨在表示装置、系统和方法包括所列举的要素，并且还可以包括任何其它要素。“基本上由…组成”是指装置、系统和方法包括所列举的要素，并排除对用于所述目的的组合具有实质意义的其它要素。因此，基本上由本文所定义的要素组成的系统或方法将不排除不会对所要求保护的公开内容的基本和新颖特征产生实质影响的其它材料、特征或步骤。“由…组成”是指装置、系统和方法包括所列举的要素，并且排除除了微不足道或无关紧要的要素或步骤之外的任何内容。由这些过渡术语中的每一个定义的实施例在本发明的范围内。
本文所包括的实例和说明以说明而非限制的方式示出其中可实践主题的特定实施例。可以利用和从中导出其它实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。如果实际上公开了一个以上的发明或发明概念，则本发明主题的此类实施例在此可以单独地或共同地由术语“发明”来指代，这仅是为了方便并且不旨在自愿地将本申请的范围限制到任何单个发明或发明概念。因此，尽管本文中已说明和描述了特定实施例，但是被计算以实现相同目的的任何布置可以代替所示的特定实施例。本公开旨在覆盖各种实施例的任何和所有修改或变化。在阅读以上描述后，以上实施例的组合和本文中未具体描述的其它实施例对于本领域的技术人员将是显而易见的。

Claims (90)

1.一种自含式外科手术导航系统，其被配置成与头盔和面罩一起使用，所述自含式外科手术导航系统包含：
头戴式显示装置，所述头戴式显示装置将由用户在外科手术期间佩戴，所述头戴式显示装置包含：
显示生成器，所述显示生成器用于在所述显示装置上生成视觉显示，
传感器套件，所述传感器套件具有至少一个跟踪相机，
可见光，
红外光，以及
处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向；以及
护罩，所述护罩包含多个侧壁，所述多个侧壁围绕所述红外光布置并且限定孔口，来自所述红外光的光穿过所述孔口被发射，
其中当所述头戴式显示装置被附接到头盔时，所述至少一个跟踪相机、所述可见光和所述红外光被定位在面罩后面，并且
其中当所述头戴式显示装置被附接到所述头盔时，所述多个侧壁与所述面罩接触，使得由所述红外光发射的光被阻止反射到所述至少一个跟踪相机中并且仅穿过所述面罩。
2.根据权利要求1所述的系统，其进一步包含红外光滤光器，所述红外光滤光器耦合到所述可见光，使得当所述红外光滤光器耦合到所述可见光时所述可见光被阻止发射红外光。
3.根据前述权利要求中任一项所述的系统，其进一步包含：
至少两个标记，所述至少两个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象，其中第一标记在所述至少一个跟踪相机的视场内，并且第二标记在所述至少一个跟踪相机的所述视场外，
其中所述处理器单元进一步被配置成：
确定所述第一标记在所述至少一个跟踪相机的所述视场内的位置，
在所述显示装置上向所述用户显示虚拟导向器，以便将所述用户引导到所述第二标记相对于所述第一标记的位置，并且
基于来自所述虚拟导向器的方向用所述至少一个跟踪相机来确定所述第二标记的所述位置。
4.根据前述权利要求中任一项所述的系统，其进一步包含支撑模块，所述支撑模块包含：
用户可更换的模块化电池，所述用户可更换的模块化电池能够可移除地插入所述支撑模块的外壳中，以及
处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向，
其中所述支撑模块电耦合到所述头戴式显示装置以向所述头戴式显示装置提供电力和数据，且其中所述支撑模块被佩戴在所述用户的身体上除所述用户的头部以外的定位上，并且
其中所述显示装置和所述支撑模块一起包含所述系统的整个感测和计算能力，而不需要外部传感器、相机、计算机或其它电气设备。
5.根据前述权利要求中任一项所述的系统，其中联接到所述多个侧壁的前表面紧邻所述面罩，并且具有与所述面罩的曲率半径大致匹配的曲率半径。
6.根据前述权利要求中任一项所述的系统，其中所述多个侧壁中的一个或多个相对于所述红外光的中心轴倾斜约10度到约20度。
7.一种自含式外科手术导航系统，其包含：
头戴式显示装置，所述头戴式显示装置将由用户在外科手术期间佩戴，所述头戴式显示装置包含：
显示生成器，所述显示生成器用于在所述显示装置上生成视觉显示，以及
传感器套件，所述传感器套件具有至少一个跟踪相机；以及
支撑模块，所述支撑模块包含：
用户可更换的模块化电池，所述用户可更换的模块化电池能够可移除地插入所述支撑模块的外壳中，以及
处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向，
其中所述支撑模块电耦合到所述头戴式显示装置以向所述头戴式显示装置提供电力和数据，且其中所述支撑模块被佩戴在所述用户的身体上除所述用户的头部以外的定位上，并且
其中所述显示装置和所述支撑模块一起包含所述系统的整个感测和计算能力，而不需要外部传感器、相机、计算机或其它电气设备。
8.根据权利要求7所述的系统，其进一步包含以下中的一个或多个：面罩和头盔，其中所述显示装置安装到所述面罩或头盔。
9.根据权利要求7至8中任一项所述的系统，其中所述头戴式显示装置进一步包含红外光。
10.根据权利要求7至9中任一项所述的系统，其中所述头戴式显示装置进一步包含可见光和红外光滤光器，所述红外光滤光器耦合到所述可见光，使得当所述红外光滤光器耦合到所述可见光时所述可见光被阻止发射红外光。
11.根据权利要求7至9中任一项所述的系统，其进一步包含护罩，所述护罩包含多个侧壁，所述多个侧壁围绕所述红外光布置并且限定孔口，来自所述红外光的光穿过所述孔口被发射，
其中当所述头戴式显示装置被附接到头盔时，所述至少一个跟踪相机和所述红外光被定位在面罩后面，并且
其中当所述头戴式显示装置被附接到所述头盔时，所述多个侧壁紧邻所述面罩，使得由所述红外光发射的光被阻止反射到所述至少一个跟踪相机中并且仅穿过所述面罩。
12.根据权利要求7至11中任一项所述的系统，其进一步包含：
所述至少一个标记，所述至少一个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象，其中所述至少一个标记在所述至少一个跟踪相机的视场外，其中所述处理器单元进一步被配置成：
使用所述传感器套件的一个或多个传感器跟踪所述用户的所述头部的角度；
当所述至少一个标记被定位在所述至少一个跟踪相机的所述视场中时，基于所述至少一个标记的最后已知位置来计算所述至少一个标记的相对位置，其中所述最后已知位置是相对于所述头部的所述角度；并且
在所述显示装置上向所述用户显示虚拟导向器，以将所述用户引导到所述至少一个标记的位置。
13.根据权利要求7至12中任一项所述的系统，其进一步包含：
至少两个标记，所述至少两个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象，其中第一标记在所述至少一个跟踪相机的视场内，并且第二标记在所述至少一个跟踪相机的所述视场外，
其中所述处理器单元进一步被配置成：
确定所述第一标记在所述至少一个跟踪相机的所述视场内的位置，
在所述显示装置上向所述用户显示虚拟导向器，以便将所述用户引导到所述第二标记相对于所述第一标记的位置，并且
基于来自所述虚拟导向器的方向用所述至少一个跟踪相机来确定所述第二标记的所述位置。
14.根据权利要求7至13中任一项所述的系统，其进一步包含：
获取所述第一标记和所述第二标记的初始位置；以及
当所述第二标记不在所述至少一个跟踪相机的所述视场中时，基于所获取的初始位置估计所述第二标记相对于所述第一标记的所述位置。
15.根据权利要求7至14中任一项所述的系统，其进一步包含：
获取所述第一标记和所述第二标记相对于已知解剖标志的初始位置；
计算所述已知解剖标志之间的距离；以及
当所述第二标记不在所述至少一个跟踪相机的所述视场中时，基于所计算的距离估计所述第二标记相对于所述第一标记的所述位置。
16.根据权利要求7至15中任一项所述的系统，其进一步包含：
使用所述传感器套件中的一个或多个传感器跟踪所述用户的所述头部的移动；以及
当所述第二标记在所述至少一个跟踪相机的所述视场内时，基于所述第二标记的最后已知位置来计算所述第二标记的所述位置。
17.根据权利要求7至16中任一项所述的系统，其中所述支撑模块的所述外壳进一步包含基座，所述基座包含被布置成用于将电力从所述电池引导到所述处理器单元和所述头戴式显示装置的电路板。
18.根据权利要求7至17中任一项所述的系统，其中所述支撑模块的所述外壳进一步包含支架，所述支架被配置成当所述电池和所述处理器单元定位在所述支架中时，牢固地且可移除地约束所述电池和所述处理器单元。
19.根据权利要求7至18中任一项所述的系统，其进一步包含：
至少两个标记，所述至少两个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象，其中所述至少两个标记中的一个或两个在所述至少一个跟踪相机的所述视场外，
其中所述处理器单元进一步被配置成：
显示所述至少两个标记之间的虚拟控件；
显示用户输入控件，所述用户输入控件被配置成基于用户输入与所述虚拟控件对准；
当所述用户转动其头部以将所述用户输入控件与所述虚拟控件对准时，调整所述虚拟控件的位置；并且
当所述至少两个标记都在所述至少一个跟踪相机的所述视场中时，在所述至少一个跟踪相机的所述视场中跟踪所述至少两个标记。
20.一种自含式头戴式外科手术导航系统，其包含：
显示生成器，所述显示生成器用于在显示装置上生成视觉显示，
传感器套件，所述传感器套件具有至少一个跟踪相机，以及
处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且通过以下方式计算至少两个标记的位置和取向：
确定所述至少两个标记中的第一标记在所述至少一个跟踪相机的视场内的位置，
在所述显示装置上向用户显示虚拟导向器，以便将所述用户引导到所述至少两个标记中的第二标记相对于所述第一标记的位置，以及
基于来自所述虚拟导向器的方向用所述至少一个跟踪相机来确定所述第二标记的所述位置。
21.一种自含式外科手术导航系统，其被配置成与头盔和面罩一起使用，所述自含式外科手术导航系统包含：
头戴式显示装置，所述头戴式显示装置将由用户在外科手术期间佩戴，所述头戴式显示装置包含：
显示生成器，所述显示生成器用于在所述显示装置上生成视觉显示，
传感器套件，所述传感器套件具有至少一个跟踪相机，
可见光源，
红外光源，以及
处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向；以及
护罩，所述护罩包含围绕所述红外光源布置的多个侧壁，其中所述多个侧壁限定孔口，来自所述红外光源的光穿过所述孔口被发射，
其中当所述头戴式显示装置被附接到头盔时，所述护罩、所述至少一个跟踪相机、所述可见光源和所述红外光源被定位在面罩后面，并且
其中当所述头戴式显示装置被附接到所述头盔时，所述多个侧壁与所述面罩接触，使得由所述红外光源发射的光被阻止反射到所述至少一个跟踪相机中并且仅穿过所述面罩。
22.根据权利要求21所述的系统，其进一步包含红外光滤光器，所述红外光滤光器耦合到所述可见光源，使得当所述红外光滤光器耦合到所述可见光源时所述可见光源被阻止发射红外光。
23.根据权利要求21至22中任一项所述的系统，其进一步包含：
至少两个标记，所述至少两个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象，其中第一标记在所述至少一个跟踪相机的视场内，并且第二标记在所述至少一个跟踪相机的所述视场外，
其中所述处理器单元进一步被配置成：
确定所述第一标记在所述至少一个跟踪相机的所述视场内的位置，
在所述显示装置上向所述用户显示虚拟导向器，以便将所述用户引导到所述第二标记相对于所述第一标记的位置，并且
基于来自所述虚拟导向器的方向用所述至少一个跟踪相机来确定所述第二标记的所述位置。
24.根据权利要求21至23中任一项所述的系统，其进一步包含支撑模块，所述支撑模块包含：
用户可更换的模块化电池，所述用户可更换的模块化电池能够可移除地插入所述支撑模块的外壳中，以及
处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向，
其中所述支撑模块电耦合到所述头戴式显示装置以向所述头戴式显示装置提供电力和数据，且其中所述支撑模块被佩戴在所述用户的身体上除所述用户的头部以外的定位上，并且
其中所述显示装置和所述支撑模块一起包含所述系统的整个感测和计算能力，而不需要外部传感器、相机、计算机或其它电气设备。
25.根据权利要求21至24中任一项所述的系统，其中联接到所述多个侧壁的前表面紧邻所述面罩，并且具有与所述面罩的曲率半径大致匹配的曲率半径。
26.根据权利要求21至25中任一项所述的系统，其中所述多个侧壁中的一个或多个相对于所述红外光源的中心轴倾斜约10度到约20度。
27.一种自含式外科手术导航系统，其包含：
头戴式显示装置，所述头戴式显示装置将由用户在外科手术期间佩戴，所述头戴式显示装置包含：
显示生成器，所述显示生成器用于在所述显示装置上生成视觉显示，以及
传感器套件，所述传感器套件具有至少一个跟踪相机；以及
支撑模块，所述支撑模块包含：
用户可更换的模块化电池，所述用户可更换的模块化电池能够可移除地插入所述支撑模块的外壳中，以及
处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且计算至少一个标记的位置和取向，
其中所述支撑模块电耦合到所述头戴式显示装置以向所述头戴式显示装置提供电力和数据，且其中所述支撑模块被佩戴在所述用户的身体上除所述用户的头部以外的定位上，并且
其中所述显示装置和所述支撑模块一起包含所述系统的整个感测和计算能力，而不需要外部传感器、相机、计算机或其它电气设备。
28.根据权利要求27所述的系统，其进一步包含以下中的一个或多个：面罩和头盔，其中所述显示装置安装到所述面罩或头盔。
29.根据权利要求27至28中任一项所述的系统，其中所述头戴式显示装置进一步包含红外光源。
30.根据权利要求27至29中任一项所述的系统，其中所述头戴式显示装置进一步包含可见光源和红外光滤光器，所述红外光滤光器耦合到所述可见光源，使得当所述红外光滤光器耦合到所述可见光源时所述可见光源被阻止发射红外光。
31.根据权利要求27至30中任一项所述的系统，其进一步包含护罩，所述护罩包含多个侧壁，所述多个侧壁围绕所述红外光源布置并限定孔口，来自所述红外光源的光穿过所述孔口被发射，
其中当所述头戴式显示装置被附接到头盔时，所述护罩、所述至少一个跟踪相机和所述红外光源被定位在面罩后面，并且
其中当所述头戴式显示装置被附接到所述头盔时，所述多个侧壁紧邻所述面罩，使得由所述红外光源发射的光被阻止反射到所述至少一个跟踪相机中并且仅穿过所述面罩。
32.根据权利要求27至31中任一项所述的系统，其进一步包含：
所述至少一个标记，所述至少一个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象，其中所述至少一个标记在所述至少一个跟踪相机的视场外，其中所述处理器单元进一步被配置成：
使用所述传感器套件的一个或多个传感器跟踪所述用户的所述头部的角度；
当所述至少一个标记被定位在所述至少一个跟踪相机的所述视场中时，基于所述至少一个标记的最后已知位置来计算所述至少一个标记的相对位置，其中所述最后已知位置是相对于所述头部的所述角度；并且
在所述显示装置上向所述用户显示虚拟导向器，以将所述用户引导到所述至少一个标记的位置。
33.根据权利要求27至32中任一项所述的系统，其进一步包含：
至少两个标记，所述至少两个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象，其中第一标记在所述至少一个跟踪相机的视场内，并且第二标记在所述至少一个跟踪相机的所述视场外，
其中所述处理器单元进一步被配置成：
确定所述第一标记在所述至少一个跟踪相机的所述视场内的位置，
在所述显示装置上向所述用户显示虚拟导向器，以便将所述用户引导到所述第二标记相对于所述第一标记的位置，并且
基于来自所述虚拟导向器的方向用所述至少一个跟踪相机来确定所述第二标记的所述位置。
34.根据权利要求27至33中任一项所述的系统，其进一步包含：
获取所述第一标记和所述第二标记的初始位置；以及
当所述第二标记不在所述至少一个跟踪相机的所述视场中时，基于所获取的初始位置估计所述第二标记相对于所述第一标记的所述位置。
35.根据权利要求27至34中任一项所述的系统，其进一步包含：
获取所述第一标记和所述第二标记相对于已知解剖标志的初始位置；
计算所述已知解剖标志之间的距离；以及
当所述第二标记不在所述至少一个跟踪相机的所述视场中时，基于所计算的距离估计所述第二标记相对于所述第一标记的所述位置。
36.根据权利要求27至35中任一项所述的系统，其进一步包含：
使用所述传感器套件中的一个或多个传感器跟踪所述用户的所述头部的移动；以及
当所述第二标记在所述至少一个跟踪相机的所述视场内时，基于所述第二标记的最后已知位置来计算所述第二标记的所述位置。
37.根据权利要求27至36中任一项所述的系统，其中所述支撑模块的所述外壳进一步包含基座，所述基座包含被布置成用于将电力从所述电池引导到所述处理器单元和所述头戴式显示装置的电路板。
38.根据权利要求27至37中任一项所述的系统，其中所述支撑模块的所述外壳进一步包含支架，所述支架被配置成当所述电池和所述处理器单元定位在所述支架中时，牢固地且可移除地约束所述电池和所述处理器单元。
39.根据权利要求27至38中任一项所述的系统，其进一步包含：
至少两个标记，所述至少两个标记附连到感兴趣的对象以用于跟踪所述感兴趣的对象，其中所述至少两个标记中的一个或两个在所述至少一个跟踪相机的所述视场外，
其中所述处理器单元进一步被配置成：
显示所述至少两个标记之间的虚拟控件；
显示用户输入控件，所述用户输入控件被配置成基于用户输入与所述虚拟控件对准；
当所述用户转动其头部以将所述用户输入控件与所述虚拟控件对准时，调整所述虚拟控件的位置；并且
当所述至少两个标记都在所述至少一个跟踪相机的所述视场中时，在所述至少一个跟踪相机的所述视场中跟踪所述至少两个标记。
40.一种自含式头戴式外科手术导航系统，其包含：
显示生成器，所述显示生成器用于在显示装置上生成视觉显示；
传感器套件，所述传感器套件具有至少一个跟踪相机；以及
处理器单元，所述处理器单元被配置成从所述传感器套件接收数据并且通过以下方式计算至少两个标记的位置和取向：
在所述显示装置上向用户显示虚拟导向器，以将所述用户引导到所述至少两个标记位于所述至少一个跟踪相机的视场内的位置，其中所述虚拟导向器在相对于至少一个标记的特定定位处被投射到所述用户的视场中，并且其中所述虚拟导向器指示一个或两个标记被定位的方向，以及
用所述至少一个跟踪相机确定所述至少两个标记的所述位置。
41.一种自含式头戴式外科手术导航系统，其包含：
显示生成器，所述显示生成器用于在显示装置上生成视觉显示；
传感器套件，所述传感器套件具有至少一个跟踪相机；
至少两个标记，所述至少两个标记附连到一个或多个感兴趣的对象以用于跟踪所述一个或多个感兴趣的对象；以及
处理器单元，所述处理器单元被配置成：
从所述传感器套件接收数据，并通过以下方式计算所述至少两个标记的位置：
将虚拟控件在相对于至少一个标记的特定定位处投射到用户的视场中，
显示用户输入控件，所述用户输入控件被配置成基于用户输入与所述虚拟控件对准，
设定所述虚拟控件的位置，使得当所述用户转动其头部以将所述用户输入控件与所述虚拟控件对准时，所述至少两个标记位于所述至少一个跟踪相机的视场中，
通过将所述用户输入控件与所述虚拟控件对准来激活所述虚拟控件，并且
在所述至少一个跟踪相机的所述视场中跟踪所述至少两个标记。
42.一种用于确定关节中心的头戴式外科手术导航系统，其包含：
显示生成器，所述显示生成器用于在显示装置上生成视觉显示；
传感器套件，所述传感器套件具有至少一个跟踪相机；
至少一个参考标记，所述至少一个参考标记附连到骨骼以用于跟踪所述骨骼，其中所述骨骼被定位成使得所述骨骼在关节处或相对于所述关节枢转；
至少一个静止参考标记，所述至少一个静止参考标记被定位成使得所述至少一个静止参考标记相对于所述关节基本上固定；以及
处理器单元，所述处理器单元被配置成：
在参考坐标系中对所述骨骼上的点进行配准；
基于配准的点创建骨骼坐标系；从所述参考坐标系变换到所述骨骼坐标系；
使用所述至少一个跟踪相机获取所述参考系中的所述至少一个静止标记的点，其中，在获取期间，所述视觉显示的至少一部分的位置与所述头戴式外科手术导航系统的移动同步地移动；并且
确定所述骨骼坐标系中的关节中心。
43.根据权利要求42所述的系统，其中确定包含计算所述关节中心在所述骨骼坐标系中的定位。
44.根据权利要求42所述的系统，其中确定包含通过最优估计滤波器基本上连续地进行处理以确定所述关节中心。
45.根据权利要求42所述的系统，其中确定包含在获取所有点之后进行批处理以确定所述关节中心。
46.根据权利要求42至45中任一项所述的系统，其中所述骨骼是以下中的一个：股骨、胫骨、肱骨、桡骨或椎体。
47.根据权利要求42至46中任一项所述的系统，其中所述关节是以下中的一个：髋关节、膝关节、肩关节、肘关节、踝关节或椎体。
48.根据权利要求42至47中任一项所述的系统，其中静止进一步包含固定在惯性空间中。
49.一种在设定切除角度之前对髁表面进行配准的方法，其中所述方法由头戴式外科手术导航系统执行，所述方法由处理器单元执行并且包含：
在所述头戴式外科手术导航系统的显示器上显示包含一个或多个区域的目标；
在所述显示器上实时提供表示从髁导向器接收的一个或多个角度的可移动图标；
接收一个或多个用户输入以调整所述可移动图标相对于所述目标中的所述一个或多个区域的位置；以及
在所述显示器上输出所述可移动图标在所述可移动图标的所述位置的所述调整期间与之交互的所述目标的所述一个或多个区域中的任一个上的视觉标记，其中视觉标记的区域指示所捕获的且有效的深度参考点。
50.根据权利要求49所述的方法，其进一步包含限制所述可移动图标的移动以防止记录先前捕获的有效的深度参考点。
51.根据权利要求49至50中任一项所述的方法，其进一步包含形成数据库，在所述数据库中存储有所述所捕获的且有效的深度参考点。
52.根据权利要求49至51中任一项所述的方法，其中所述目标是网格或靶心。
53.根据权利要求49至52中任一项所述的方法，其中所述一个或多个区域中的每一个被顺序地突出显示，使得所述方法包括在所述显示器上向用户输出指令以使所述髁导向器相对于髁移动，直到所述可移动图标与突出显示的区域至少部分地重叠。
54.根据权利要求49至53中任一项所述的方法，其中所述一个或多个区域中的任一个被突出显示，使得所述方法包括在所述显示器上向所述用户输出指令以使所述髁导向器相对于所述髁移动，直到所述可移动图标与突出显示的区域至少部分地重叠。
55.根据权利要求53或54中任一项所述的方法，其进一步包含在使所述突出显示的区域与所述可移动图标至少部分地重叠后，就停用所述突出显示的区域并突出显示所述一个或多个区域中的第二区域。
56.根据权利要求49至55中任一项所述的方法，其包含提示用户移除所述髁导向器并附接切割导向器。
57.根据权利要求56所述的方法，其进一步包含基于从由所述切割导向器限定的当前切除平面到对应于深度参考平面的所述有效的深度参考点中的一个的距离来计算切除深度。
58.根据权利要求49至57中任一项所述的方法，其进一步包含提供髁导向器，所述髁导向器包含：
主体，所述主体具有第一端和第二端；
至少一个平坦表面，所述至少一个平坦表面从所述第一端的至少一部分的侧区域延伸，其中所述平坦表面被配置成搁置在一个或多个股骨髁上并且构造用于计算切除深度的零深度平面；
至少一个跟踪器，所述至少一个跟踪器被定位在所述至少一个平坦表面上以用于跟踪所述髁导向器的姿态；以及
连接器，所述连接器从所述主体的所述第二端延伸并且被配置成联接到切割导向器上。
59.根据权利要求58所述的方法，其中所述髁导向器进一步包含细长手柄，所述细长手柄从所述主体的所述第一端延伸。
60.根据权利要求58至59中任一项所述的方法，其中所述主体进一步限定孔口，所述孔口被配置成接收穿过其中的销以插入骨骼中。
61.根据权利要求60所述的方法，其中所述孔口的直径的大小被设计成使得当销穿过所述孔口插入时，所述孔口允许所述髁导向器倾斜。
62.根据权利要求58至61中任一项所述的方法，其进一步包含释放机构，所述释放机构沿与所述连接器相反的方向从所述主体的所述第二端延伸，其中所述释放机构被配置成在将所述切割导向器钉到所述骨骼之前将所述髁导向器联接到所述骨骼。
63.根据权利要求58至62中任一项所述的方法，其中所述主体的所述第二端的至少一部分限定狭槽，所述狭槽被配置成接收滑动件，所述连接器和所述释放机构在所述滑动件的相对侧上插入到所述狭槽中。
64.根据权利要求58至63中任一项所述的方法，其中所述至少一个平坦表面被配置成模拟与股骨髁相切的平面。
65.根据权利要求49至64中任一项所述的方法，其进一步包含使用定位在所述至少一个平坦表面上的所述至少一个跟踪器来跟踪所述髁导向器，以确定一个或多个有效的深度参考点。
66.根据权利要求49至65中任一项所述的方法，其进一步包含仅在使用联接到所述切割导向器的所述髁导向器来确定所述一个或多个有效的深度参考点之后才钉住所述切割导向器。
67.根据权利要求58所述的方法，其中所述连接器是可移除的。
68.一种在设定切除角度之前对髁表面进行配准的方法，其中所述方法由头戴式外科手术导航系统执行，所述方法由处理器执行并且包含：
在所述头戴式外科手术导航系统的显示器上显示包含一个或多个区域的目标；
接收并在所述显示器上实时显示从髁导向器接收的一个或多个角度；
接收一个或多个用户输入以相对于所述目标中的所述一个或多个区域调整所述髁导向器；以及
在所述显示器上输出所述目标的所述一个或多个区域中的任一个上的视觉标记，其中视觉标记的区域指示所捕获的且有效的深度参考点。
69.根据权利要求68所述的方法，其进一步包含限制对先前捕获的有效的深度参考点的记录。
70.根据权利要求68至69中任一项所述的方法，其进一步包含形成数据库，在所述数据库中存储有所述所捕获的且有效的深度参考点。
71.根据权利要求68至70中任一项所述的方法，其中所述目标是网格或靶心。
72.根据权利要求68至71中任一项所述的方法，其中所述一个或多个区域中的每一个被顺序地突出显示，使得所述方法包括在所述显示器上向用户输出指令以使所述髁导向器相对于髁移动，直到所述髁导向器的角度与突出显示的区域至少部分地重叠。
73.根据权利要求68至72中任一项所述的方法，其中所述一个或多个区域中的任一个被突出显示，使得所述方法包括在所述显示器上向所述用户输出指令以使所述髁导向器相对于所述髁移动，直到所述髁导向器的角度与突出显示的区域至少部分地重叠。
74.根据权利要求68至73中任一项所述的方法，其进一步包含在使所述突出显示的区域与所述髁导向器的所述角度至少部分地重叠后，就停用所述突出显示的区域并突出显示所述一个或多个区域中的第二区域。
75.根据权利要求68至74中任一项所述的方法，其包含提示用户移除所述髁导向器并附接切割导向器。
76.根据权利要求68至75中任一项所述的方法，其进一步包含基于从由所述切割导向器限定的当前切除平面到对应于深度参考平面的所述有效的深度参考点中的一个的距离来计算切除深度。
77.根据权利要求68至76中任一项所述的方法，其进一步包含提供髁导向器，所述髁导向器包含：
主体，所述主体具有第一端和第二端；
至少一个平坦表面，所述至少一个平坦表面从所述第一端的至少一部分的侧区域延伸，其中所述平坦表面被配置成搁置在一个或多个股骨髁上并且构造用于计算切除深度的零深度平面；
至少一个跟踪器，所述至少一个跟踪器被定位在所述至少一个平坦表面上以用于跟踪所述髁导向器的姿态；以及
连接器，所述连接器从所述主体的所述第二端延伸并且被配置成联接到切割导向器上。
78.根据权利要求77所述的方法，其中所述髁导向器进一步包含细长手柄，所述细长手柄从所述主体的所述第一端延伸。
79.根据权利要求77至78中任一项所述的方法，其中所述主体进一步限定孔口，所述孔口被配置成接收穿过其中的销以插入骨骼中。
80.根据权利要求78所述的方法，其中所述孔口的直径的大小被设计成使得当销穿过所述孔口插入时，所述孔口允许所述髁导向器倾斜。
81.根据权利要求77至79中任一项所述的方法，其进一步包含释放机构，所述释放机构沿与所述连接器相反的方向从所述主体的所述第二端延伸，其中所述释放机构被配置成在将所述切割导向器钉到所述骨骼之前将所述髁导向器联接到所述骨骼。
82.根据权利要求77至80中任一项所述的方法，其中所述主体的所述第二端的至少一部分限定狭槽，所述狭槽被配置成接收滑动件，所述连接器和所述释放机构在所述滑动件的相对侧上插入到所述狭槽中。
83.根据权利要求77至81中任一项所述的方法，其中所述至少一个平坦表面被配置成模拟与股骨髁相切的平面。
84.根据权利要求77至82中任一项所述的方法，其进一步包含使用定位在所述至少一个平坦表面上的所述至少一个跟踪器来跟踪所述髁导向器，以确定一个或多个有效的深度参考点。
85.根据权利要求77至83中任一项所述的方法，其进一步包含仅在使用联接到所述切割导向器的所述髁导向器来确定所述一个或多个有效的深度参考点之后才钉住所述切割导向器。
86.一种用于确定髋关节中心的头戴式外科手术导航系统，其包含：
显示生成器，所述显示生成器用于在显示装置上生成视觉显示；
传感器套件，所述传感器套件具有至少一个跟踪相机；
至少一个参考标记，所述至少一个参考标记附连到股骨以用于跟踪所述股骨，其中所述股骨被定位成使得所述股骨在髋关节处或相对于所述髋关节枢转；
至少一个静止参考标记，所述至少一个静止参考标记被定位成使得所述至少一个静止参考标记相对于所述髋关节基本上固定；以及
处理器单元，所述处理器单元被配置成：
在参考坐标系中对所述股骨上的点进行配准；
根据配准的点创建股骨坐标系；从所述参考坐标系变换到所述股骨坐标系；
使用所述至少一个跟踪相机获取所述参考系中的所述至少一个静止标记的点，其中，在获取期间，所述视觉显示的至少一部分的位置与所述头戴式外科手术导航系统的移动同步地移动；并且
确定所述股骨坐标系中的髋关节中心。
87.根据权利要求85所述的系统，其中确定包含计算所述髋关节中心在所述股骨坐标系中的定位。
88.根据权利要求85所述的系统，其中确定包含通过最优估计滤波器基本上连续地进行处理以确定所述髋关节中心。
89.根据权利要求85所述的系统，其中确定包含在获取所有点之后进行批处理以确定所述髋关节中心。
90.根据权利要求85至88中任一项所述的系统，其中静止进一步包含固定在惯性空间中。
CN202180026672.8A 2020-02-10 2021-02-09 用于在医疗程序中感觉增强的系统和方法 Pending CN115361916A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/786,938 US11071596B2 (en) 2016-08-16 2020-02-10 Systems and methods for sensory augmentation in medical procedures
US16/786,938 2020-02-10
PCT/US2021/017222 WO2021163039A1 (en) 2020-02-10 2021-02-09 Systems and methods for sensory augmentation in medical procedures

Publications (1)

Publication Number Publication Date
CN115361916A true CN115361916A (zh) 2022-11-18

Family

ID=77291896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180026672.8A Pending CN115361916A (zh) 2020-02-10 2021-02-09 用于在医疗程序中感觉增强的系统和方法

Country Status (6)

Country Link
EP (1) EP4103088A4 (zh)
JP (1) JP2023513692A (zh)
KR (1) KR20220141308A (zh)
CN (1) CN115361916A (zh)
AU (1) AU2021220161A1 (zh)
WO (1) WO2021163039A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230293238A1 (en) * 2022-03-18 2023-09-21 DePuy Synthes Products, Inc. Surgical systems, methods, and devices employing augmented reality (ar) for planning
DE102022107688A1 (de) * 2022-03-31 2023-10-05 Aesculap Ag Tag für Tracking und Navigation eines Medizinprodukts
EP4331664A1 (en) * 2022-08-31 2024-03-06 Vision RT Limited A system for monitoring position of a patient
CN117687221B (zh) * 2024-02-04 2024-04-12 中国民用航空飞行学院 一种基于飞行模拟检查使用的vr眼镜

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7192151B2 (en) * 2004-12-21 2007-03-20 Depuy Products, Inc. Light array for a surgical helmet
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
WO2010067267A1 (en) * 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11071596B2 (en) * 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US20180049622A1 (en) * 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
CN116649967A (zh) * 2016-09-22 2023-08-29 奇跃公司 可穿戴光谱检查系统

Also Published As

Publication number Publication date
EP4103088A4 (en) 2024-03-20
WO2021163039A1 (en) 2021-08-19
JP2023513692A (ja) 2023-04-03
EP4103088A1 (en) 2022-12-21
AU2021220161A1 (en) 2022-08-18
KR20220141308A (ko) 2022-10-19

Similar Documents

Publication Publication Date Title
US20220168051A1 (en) Augmented Reality Assisted Navigation of Knee Replacement
AU2018316092B2 (en) Systems and methods for sensory augmentation in medical procedures
US10398514B2 (en) Systems and methods for sensory augmentation in medical procedures
US11172990B2 (en) Systems for augmented reality guidance for aligning physical tools and instruments for arthroplasty component placement, including robotics
CN107995855B (zh) 用于使用运动捕获数据来规划和执行关节置换流程的方法和系统
JP2020511239A (ja) ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法
JP4754215B2 (ja) コンピュータ支援膝関節形成術の器具類、システム、および方法
CN115361916A (zh) 用于在医疗程序中感觉增强的系统和方法
CN111345896B (zh) 截骨执行系统及定位、控制和模拟执行方法与电子设备
JP2007518540A (ja) 患者に対して取り付けられた外科手術ナビゲーションセンサを提供するための方法およびシステムおよび装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination