CN110430809B - 用于外科、医疗和牙科手术的光学引导 - Google Patents

用于外科、医疗和牙科手术的光学引导 Download PDF

Info

Publication number
CN110430809B
CN110430809B CN201880017817.6A CN201880017817A CN110430809B CN 110430809 B CN110430809 B CN 110430809B CN 201880017817 A CN201880017817 A CN 201880017817A CN 110430809 B CN110430809 B CN 110430809B
Authority
CN
China
Prior art keywords
virtual
surgical
patient
physical
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880017817.6A
Other languages
English (en)
Other versions
CN110430809A (zh
Inventor
P·K·朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
P KLang
Original Assignee
P KLang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by P KLang filed Critical P KLang
Publication of CN110430809A publication Critical patent/CN110430809A/zh
Application granted granted Critical
Publication of CN110430809B publication Critical patent/CN110430809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A61B17/154—Guides therefor for preparing bone for knee prosthesis
    • A61B17/155—Cutting femur
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1662—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body
    • A61B17/1664—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body for the hip
    • A61B17/1666—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body for the hip for the acetabulum
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A61B17/154—Guides therefor for preparing bone for knee prosthesis
    • A61B17/157—Cutting tibia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1742—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the hip
    • A61B17/1746—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the hip for the acetabulum
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Abstract

本发明的各方面涉及通过使用光学头戴式显示器进行视觉引导来执行外科手术步骤或外科手术治疗的系统、装置和方法。

Description

用于外科、医疗和牙科手术的光学引导
发明人：Philipp K.Lang
相关申请的交叉引用
本申请要求2017年1月16日提交的美国临时申请序列号62/446,724、2017年2月1日提交的美国临时申请序列号62/453,484、2017年4月28日提交的美国临时申请序列号62/491,510、2017年8月9日提交的美国临时申请序列号62/543,185、2017年8月28日提交的美国临时申请序列号62/551,166以及2017年9月11日提交的美国临时申请序列号62/556,867的权益和优先权，每个所述专利的全部内容通过引用整体纳入本申请。
技术领域
本发明的各方面涉及通过使用光学头戴式显示器进行视觉引导来执行外科手术步骤或外科手术治疗的装置和方法。
背景技术
利用计算机辅助手术(比如，手术导航或机器人)，可使用患者的术前影像学检查。影像学检查可以在手术室(OR)中的外部计算机监视器上显示，并且患者解剖结构(比如，标志)可以与监视器上显示的信息配准。由于手术部位位于不同的位置，并且外科医生目之所视与外部计算机监视器的视图坐标系统迥异，因此，手眼协调对于外科医生来说具有挑战性。
发明内容
本发明的各方面涉及用于对准、配合、选择虚拟植入体的系统、装置和方法。
本发明的各方面涉及包括透视光学头戴式显示器和一个或多个处理器的系统。在一些实施方案中，所述一个或多个处理器被配置为将虚拟植入体显示在手术部位的表面上，被配置为接收来自第一用户接口的输入以促进所述虚拟植入体的移动，并且接收来自第二用户接口的输入以基于所述手术部位处或周围或与所述手术部位相关联的两个或更多个参数来促进所述虚拟植入体的表面的至少一部分与所述手术部位的表面的至少一部分的配合。在一些实施方案中，所述一个或多个处理器被配置为将虚拟植入体显示在手术部位的表面上，接收来自第一用户接口的输入以促进所述虚拟植入体的移动，并且接收来自第二用户接口的输入以基于所述手术部位处或周围或与所述手术部位相关联的两个或更多个参数来促进所述虚拟植入体的表面的至少一部分与所述手术部位的表面的至少一部分对准。在一些实施方案中，所述虚拟植入体是对应于物理植入体组件的至少一部分、所述物理植入体组件的置位指示物或其组合的三维数字表示。
在一些实施方案中，所述系统包括透视光学头戴式显示器、和处理器，其中所述处理器被配置为将虚拟植入体显示在手术部位的表面上，其中所述处理器被配置为接收来自第一用户接口的输入以促进所述虚拟植入体的移动，其中所述处理器被配置成接收来自第二用户接口的输入，以基于所述手术部位处或周围或与所述手术部位相关联的两个或更多个参数来促进所述虚拟植入体的表面的至少一部分与所述手术部位的表面的至少一部分的配合，并且其中，所述虚拟植入体是对应于物理植入体组件的至少一部分、所述物理植入体组件的置位指示物或其组合的三维数字表示。
在一些实施方案中，所述系统包括透视光学头戴式显示器、和处理器，其中所述处理器被配置为将虚拟植入体显示在手术部位的表面上，其中所述处理器被配置为接收来自第一用户接口的输入以促进所述虚拟植入体的移动，其中所述处理器被配置成接收来自第二用户接口的输入，以基于所述手术部位处或周围或与所述手术部位相关联的两个或更多个参数来促进所述虚拟植入体的表面的至少一部分与所述手术部位的表面的至少一部分的对准，并且其中，所述虚拟植入体是对应于物理植入体组件的至少一部分、所述物理植入体组件的置位指示物或其组合的三维数字表示。在一些实施方案中，所述处理器可以被配置成接收来自第三用户接口的输入，以基于所述手术部位处或周围或与所述手术部位相关联的两个或更多个参数来促进所述虚拟植入体的表面的至少一部分与所述手术部位的表面的至少一部分的配合。
根据一些实施方案，所述一个或多个处理器被配置成将所述虚拟植入体显示在能够直接通过所述透视光学头戴式显示器看到的所述手术部位的表面上，以便于将所述虚拟植入体叠加在所述手术部位的表面上。
所述手术部位可以是手术改变之前或之后的目标解剖组织或目标病理组织。手术改变之前或之后的所述目标解剖组织或目标病理组织可以是切除骨、切割骨、切除软骨、切割软骨、未切除骨、未切除软骨、未切除组织、部分切除组织、或切除组织。
根据一些实施方案，所述系统还包括一个或多个摄像头。在一些实施方案中，所述第一用户接口和所述第二用户接口可以是同一用户接口或不同的用户接口。所述用户接口可以是图形用户接口、计算机接口、声学接口、虚拟接口、键盘接口或虚拟键盘接口中的一种或多种。在一些实施方案中，所述虚拟接口使用手势识别。在一些实施方案中，所述声学接口使用语音识别。
在一些实施方案中，所述对准、所述配合或所述虚拟植入体的所述对准和所述配合包括与以下各项的至少一部分相切、靠近、平行、成角度、正交或相交中的一种或多种：解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织、周围结构、所述手术部位附近的组织、所述手术部位附近的结构、与所述手术部位相对的组织、与所述手术部位相对的结构、与所述手术部位相互作用的组织、与所述手术部位相互作用的结构、已经放置在所述手术部位处或附接或植入在所述手术部位附近的一个或多个物理植入体、已经放置在所述手术部位处或附接或植入在所述手术部位附近的一个或多个物理植入体组件、已经放置在所述手术部位处或附接或植入在所述预期手术部位附近的一个或多个物理医疗装置、一个或多个虚拟植入体、一个或多个虚拟植入体组件、或一个或多个虚拟医疗装置。
在一些实施方案中，所述两个或更多个参数选自解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织、周围结构、所述手术部位附近的组织、所述手术部位附近的结构、与所述手术部位相对的组织、与所述手术部位相对的结构、与所述手术部位相互作用的组织、与所述手术部位相互作用的结构、放置在所述手术部位处的一个或多个物理植入体、附接或植入在所述手术部位附近的一个或多个物理植入体、放置在所述手术部位处的一个或多个物理植入体组件、附接或植入在所述手术部位附近的一个或多个物理植入体、放置在所述手术部位处的一个或多个物理医疗装置、附接或植入在所述手术部位附近的一个或多个物理医疗装置、一个或多个虚拟植入体、一个或多个虚拟植入体组件、一个或多个虚拟医疗装置。在一些实施方案中，所述两个或更多个参数包括所述手术部位的解剖标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度或深度中的一种或多种。在一些实施方案中，所述手术部位包括边界、周边、边缘、周长、前后位、内外侧(mediolateral)、倾斜尺寸、直径、半径、曲率、几何结构、或形状中的一种或多种。在一些实施方案中，所述手术部位包括皮质或关节表面的至少一部分。在一些实施方案中，所述关节表面由正常、患病或受损的软骨或软骨下骨中的一种或多种构成。
根据本发明的一些方面，所述一个或多个处理器被配置成便于显示从虚拟医疗植入体库中选择的一个或多个虚拟植入体，并且所述处理器被配置成接收来自用户接口的输入，以便于选择所述虚拟医疗植入体。在一些实施方案中，所述处理器被配置成便于同时或顺序显示具有不同大小或形状的两个或更多个虚拟植入体组件，并且所述处理器被配置成接收来自用户接口的输入，以便于评估所述两个或更多个虚拟植入体与所述患者的所述手术部位的配合。
本发明的各方面涉及方法，包括：使用第一处理器配准患者体内的手术部位的一个或多个术中坐标；通过包括透视光学头戴式显示器和第二处理器的系统来生成虚拟植入体，其中所述虚拟植入体是对应于物理植入体的至少一部分、所述物理植入体的置位指示物或其组合的三维数字表示；以及使用所述系统，将所述虚拟植入体显示在能够直接通过所述透视光学头戴式显示器看到的所述手术部位的表面上，以便将所述虚拟植入体叠加在所述手术部位的表面上，并且便于所述手术部位处或周围或与所述手术部位相关联的两个或更多个参数的使用，以促进所述虚拟植入体的表面的至少一部分相对于所述手术部位的表面的至少一部分的移动和对准。
本发明的各方面涉及方法，包括：使用第一处理器配准患者体内的手术部位的一个或多个术中坐标；通过包括透视光学头戴式显示器和第二处理器的系统来生成虚拟植入体，其中所述虚拟植入体是对应于物理植入体的至少一部分、所述物理植入体的置位指示物或其组合的三维数字表示；以及使用所述系统，将所述虚拟植入体显示在能够直接通过所述透视光学头戴式显示器看到的所述手术部位的表面上，以便将所述虚拟植入体叠加在所述手术部位的表面上，并且便于所述手术部位处或周围或与所述手术部位相关联的两个或更多个参数的使用，以促进所述虚拟植入体的表面的至少一部分与所述手术部位的表面的至少一部分的配合。
根据一些实施方案，在所述虚拟植入体的表面的至少一部分相对于所述手术部位的表面的至少一部分对准之后，能够通过所述透视光学头戴式显示器看到所述虚拟植入体与所述手术部位的配合。
在一些实施方案中，所述系统包括第三处理器，所述第三处理器被配置为接收来自第一用户接口的输入以促进所述虚拟植入体的移动。
在一些实施方案中，所述系统包括第四处理器，所述第四处理器被配置为接收来自第二用户接口的输入，以基于所述手术部位处或周围或与所述手术部位相关联的所述两个或更多个参数来促进所述虚拟植入体的表面的至少一部分与所述手术部位的表面的至少一部分的配合。
在一些实施方案中，所述第一和第二处理器是同一处理器。在一些实施方案中，所述第一处理器与所述第二、第三或第四处理器相同或不同。在一些实施方案中，所述第二处理器与所述第一、第三或第四处理器相同或不同。在一些实施方案中，所述第三处理器与所述第一、第二或第四处理器相同或不同。在一些实施方案中，所述第四处理器与所述第一、第二或第三处理器相同或不同。
在一些实施方案中，通过所述系统对所述虚拟植入体的显示有助于从虚拟植入体库中选择所述虚拟植入体。
在一些实施方案中，所述第一、第二、第三或第四处理器被配置成便于显示从虚拟医疗植入体库中选择的一个或多个虚拟植入体，并且所述第一、第二、第三或第四处理器被配置成接收来自用户接口的输入，以便于选择对应于待植入的物理医疗植入体的虚拟医疗植入体。
在一些实施方案中，所述第一、第二、第三或第四处理器被配置成便于同时或顺序显示具有不同大小或形状的两个或更多个虚拟植入体组件，并且所述第一、第二、第三或第四处理器被配置成接收来自用户接口的输入，以便于评估所述两个或更多个虚拟植入体与所述患者的所述手术部位的配合。
在一些实施方案中，所述方法还包括在所述对准之后或配合之后，使用所述第一处理器或不同的处理器在所述坐标系中配准所述虚拟植入体的一个或多个坐标。
在一些实施方案中，来自所述虚拟植入体的所述一个或多个坐标便于确定或修改手术计划。在一些实施方案中，来自所述虚拟植入体的所述一个或多个坐标便于确定骨移除的定位、定向或对准或坐标中的一项或多项。在一些实施方案中，所述骨移除是骨切割、去毛刺、钻孔、钉扎、扩孔或撞击中的一种或多种。
在一些实施方案中，从所述手术计划中得出一个或多个手术器械的定位、位置、定向、对准、轨迹、平面、起点、或终点中的一种或多种。在一些实施方案中，从所述虚拟植入体组件的所述一个或多个坐标得出一个或多个手术器械的定位、位置、定向、对准、轨迹、平面、起点、或终点中的一种或多种。
附图说明
根据以下结合附图的详细说明将更清楚地理解说明性的非限制性示例的实施方案。
图1示出根据本公开的某些实施方案的用于多位观察者，比如，主要外科医生、第二外科医生、手术助手和/或护士的多个光学头戴式显示器的使用。
图2示出了根据本公开的一些实施方案的用于分割和选择后续步骤的工作流程。
图3说明了根据本公开的某些实施方案，为初始外科手术步骤配准数字全息图，执行外科手术步骤并重新配准一个或多个数字全息图以用于后续外科手术步骤的示例。
图4A、4B和4C是根据本公开的某些实施方案，在髋部和股骨颈切割平面中的任意虚拟平面的说明性示例。
图5是说明根据本公开的某些实施方案，在膝关节中延伸通过内侧和外侧关节空间的任意虚拟平面的说明性示例。
图6是根据本公开的某些实施方案，解决由外科手术步骤引起的变化与患者虚拟数据的预期，预计或预定变化之间的误差的不同方法的说明性流程图。
图7A-H描绘了根据本公开的某些实施方案，股骨颈切割和矫正股骨颈切割技术的说明性示例。
图7A-H描绘了根据本公开的某些实施方案，股骨颈切割和矫正股骨颈切割技术的说明性示例。
图8A-H描绘了根据本公开的某些实施方案，远端股骨切割和用于矫正远端股骨切割的技术的说明性示例。
图9A-G描绘了根据本公开的某些实施方案，远端股骨切割和用于矫正远端股骨切割的技术的说明性示例。
图10A-G描绘了根据本公开的某些实施方案，远端股骨切割和近端胫骨切割以及用于校正所述切割的技术的说明性示例。
图11是根据本公开的某些实施方案，如何使用例如术中测值(intra-operativemeasurement)等术中数据生成虚拟手术计划的说明性示例，所述术中测值比如为利用集成到、附接到或分离于光学头戴式显示器的一个或多个摄像头、图像捕获系统或视频捕获系统和/或三维扫描仪获得的测值。
图12是根据本公开的某些实施方案，用于生成虚拟手术计划的示例性工作流程。
图13示出了根据本公开的某些实施方案如何使用术中数据，比如术中测值，修改虚拟手术计划的示例。
图14示出了根据本公开的某些实施方案，在外科手术期间如何例如由第一外科医生、第二外科医生、手术助手和/或一个或多个护士使用多个光学头戴式显示器，以及如何在使用多个光学头戴式显示器的手术期间修改和显示外科手术计划，同时，为各手术者保留虚拟数据和相应实时数据的正确透视图的说明性示例。
图15是如何使用或应用二维到三维变形数据的示例。
图16A和B是概述根据本公开的某些实施方案，用于例如，由主要外科医生、第二外科医生、手术助理护士或其他人使用的一个或多个光学头戴式显示器的模型生成，配准和视图投影的流程图。
图17A-D是根据本公开的某些实施方案，用于在混合现实环境中执行脊柱手术时选择方案和方法的说明性流程图。
图18A-F是根据本公开的某些实施方案，使用一个或多个光学头戴式显示器显示虚拟髋臼扩孔轴线以及将物理髋臼扩孔器(physical acetabular reamer)与虚拟扩孔轴线对准，以便以预定杯角、偏移、内侧或外侧位置和/或前倾角放置髋臼杯的说明性示例。
图19A-D提供了根据本公开的某些实施方案，使用虚拟手术导引物(guide)(比如，由光学头戴式显示器显示的远端股骨切割块)和物理手术导引物(比如，用于膝关节置换的物理远端股骨切割块)的说明性非限制性示例。
图20A-C提供了根据本公开的某些实施方案，使用虚拟手术导引物(比如，由光学头戴式显示器显示的正位(AP)股骨切割块)和物理手术导引物(比如，用于膝关节置换的物理正位切割块(AP cut block))的说明性非限制性示例。
图21A-F提供了根据本公开的某些实施方案使用虚拟手术导引物(比如，由光学头戴式显示器显示的虚拟近端胫骨切割导引物)和物理手术导引物(比如，的物理近端胫骨切割导引物)的说明性非限制性示例。
图22A和B示出了说明包括前内侧和后外侧纤维的示例性正常前交叉韧带(ACL)的正位和侧视图。
图22C和D示出了说明股骨侧和胫骨侧上的示例性前交叉韧带隧道(直实线)的正位和侧视图。
图22E和F示出了说明根据本公开的某些实施方案，股骨侧和胫骨侧(直虚线)上的示例性虚拟前交叉韧带隧道的正位和侧视图。
图22G和H示出了说明根据本公开的某些实施方案，在股骨侧和胫骨侧上延伸穿过股骨和胫骨之间的关节间空间(直实线)的示例性虚拟前交叉韧带移植物的正位和侧视图。
图23为描述根据本公开的某些实施方案，用于规划一个或多个股骨或胫骨隧道的定位，位置，定向，对准和/或方向(比如，用于单束或双束技术)或用于放置前交叉韧带移植物的不同方法的说明性非限制性流程图。
图24示出了具有25个正方形和四个4.0×4.0厘米光学标记的木板。
图25示出了使用光学头戴式显示器的图像捕获系统相对于四个光学标记配准四个立方体的说明性非限制性示例。
图26示出了光学标记的说明性非限制性示例。
图27示出了使用光学头戴式显示器的图像捕获系统检测光学标记的说明性非限制性示例。
图28示出了使用集成到光学头戴式显示器中的摄像机来检测光学标记的准确性的说明性非限制性示例。
图29示出了使用光学头戴式显示器的图像捕获或摄像机系统在移动期间检测光学标记的说明性非限制性示例。
图30示出了具有不同尺寸和不同几何图案的各种光学标记的说明性非限制性示例。
图31A-E示出了使用虚拟接口放置椎弓根螺钉的预期路径的说明性非限制性示例。
图32示出了附接有用于追踪该手术器械的多个光学标记的手术器械的说明性非限制性示例。
图33示出了带有附接的光学标记的髋臼放置器械或工具的说明性非限制性示例。
图34示出了将髋关节置换的尺寸和模板信息包括并叠加在患者的实时外科手术部位上的患者髋关节的正位射线照片(AP radiograph)的说明性非限制性示例。
图35是描述了用于使用可选地具有光学头戴式显示器引导或手术导航功能的标准骨移除工具或使用机器人在膝关节置换中虚拟地对准股骨和/或胫骨组件并确定期望的对准校正和相关的骨切割或骨移除的方法的说明性非限制性流程图。
图36A-D是虚拟切割块的增强现实OHMD显示的说明性非限制性示例，该虚拟切割块与患者的实时物理肱骨配准并叠加在其上，以对准物理切割块。
图37A-D是虚拟关节盂模板的说明性非限制性示例，该虚拟关节盂模板通过光学头戴式显示器与患者的实时物理关节盂配准并叠加在其上，以对准物理关节盂模板。
图38A-C是通过一个或多个光学头戴式显示器对虚拟扩孔轴线进行的投影的说明性非限制性示例。
图39是用于髋关节置换的光学头戴式显示器引导手术的过程流程的说明性非限制性示例。
图40是用于膝关节置换的光学头戴式显示器引导手术的过程流程的说明性非限制性示例，例如使用股骨优先或胫骨优先技术、测量切除或韧带平衡。
图41A-M提供了用于牙科手术或牙科植入体放置的一个或多个增强现实OHMD显示的说明性非限制性示例，所述显示包括对用于对准物理牙科工具和器械(例如钻头)和/或物理牙科植入体的虚拟手术导引物(例如虚拟轴线)的显示。
图42A-J提供了用于牙科手术或牙科植入体放置的一个或多个增强现实OHMD显示的其他说明性非限制性示例，所述显示包括对用于对准物理牙科工具和器械(例如钻头)和/或物理牙科植入体的虚拟手术导引物(例如虚拟轴线)的显示。
具体实施方式
本发明的各方面主要旨在通过光学头戴式显示器(optical head mounteddisplay，OHMD)实现患者实时数据与虚拟数据的数字表示(比如，包括切割块或钻头导引物的虚拟切割和/或虚拟手术导引物)的同时可视化。在一些实施方案中，包括患者实时数据的手术部位、光学头戴式显示器和虚拟数据都在共同坐标系中配准。在一些实施方案中，虚拟数据被叠加到患者实时数据上并与之对准。与混合实时数据的虚拟现实头戴系统不同，光学头戴式显示器允许外科医生查看患者实时数据(比如，手术野)，同时使用光学头戴式显示器单元的显示器查看具有预定位置和/或定向的患者和/或虚拟手术器械或植入体的虚拟数据。
本发明的各方面描述了使用光学头戴式显示器通过可视化引导执行外科手术步骤或外科手术治疗的新颖装置，所述可视化引导为例如通过显示以下一项或多项的虚拟表示：虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。
本发明的各方面涉及包括至少一台光学头戴式显示器的一种装置，该装置配置为可产生虚拟手术导引物。在一些实施方案中，虚拟手术导引物是数字格式的三维表示，其对应于物理手术导引物的一部分、物理手术导引物的置位指示物或其组合中至少一种。在一些实施方案中，所述至少一个光学头戴式显示器配置成显示至少部分地基于虚拟手术导引物的预定位置坐标叠加在物理关节上的虚拟手术导引物，虚拟手术导引物配置成将物理手术导引物或物理锯片与虚拟手术导引物对准以引导关节的骨切割。
在一些实施方案中，该装置包括一个，两个，三个或更多个光学头戴式显示器。
在一些实施方案中，虚拟手术导引物配置成在膝关节置换，髋关节置换，肩关节置换或踝关节置换中引导骨切割。
在一些实施方案中，虚拟手术导引物包括用于虚拟或物理锯片的虚拟槽。
在一些实施方案中，虚拟手术导引物包括用于对准虚拟或物理锯片的平面区域。
在一些实施方案中，虚拟手术导引物包括用于对准两个或更多个物理钻头或钉的两个或更多个虚拟导引孔或路径。
在一些实施方案中，虚拟手术导引物的预定位置包括关节的解剖信息和/或对准信息。比如，关节的解剖和/或对准信息可以基于关节坐标、关节的解剖轴线、关节的生物力学轴线、机械轴线或其组合中的至少一者。
在一些实施方案中，至少一个光学头戴式显示器被配置为基于预定肢体对准(predetermined limb alignment)来对准虚拟手术导引物。比如，预定肢体对准可以是腿的正常机械轴线对准。
在一些实施方案中，至少一个光学头戴式显示器被配置为基于预定股骨或胫骨组件旋转(femoral or tibial component rotation)来对准虚拟手术导引物。在一些实施方案中，所述至少一个光学头戴式显示器被配置为基于股骨组件的预定屈曲或胫骨组件的预定斜度来对准虚拟手术导引物。
在一些实施方案中，虚拟手术导引物被配置为基于预定的腿长度引导近端股骨切割。
在一些实施方案中，虚拟手术导引物被配置为在踝关节置换中引导远端胫骨或距骨的骨切割，并且至少一个光学头戴式显示器被配置为基于预定的脚踝对准、植入体组件旋转或其组合来对准虚拟手术导引物，其中预定脚踝对准包括冠状面植入体组件对准(coronal plane implant component alignment)、矢状面植入体组件对准、轴向平面组件对准(axial plane component alignment)。
在一些实施方案中，虚拟手术导引物被配置为在肩关节置换中引导近端肱骨(proximal humerus)的骨切割，并且至少一个光学头戴式显示器被配置为基于预定的肱骨植入体组件对准、植入体组件旋转或其组合来对准虚拟手术导引物，其中，肱骨植入体组件对准包括冠状面植入体组件对准，矢状面植入体组件对准，轴向平面组件对准。
在一些实施方案中，手术导引物的预定位置基于术前或术中影像学检查、一个或多个术中测值、术中数据或其组合。
本发明的各方面涉及一种包括用于两个或更多用户的两个或更多个光学头戴式显示器的装置，其中该装置被配置为生成虚拟手术导引物，其中虚拟手术导引物是数字格式的三维表示，三维表示对应于物理手术导引物的一部分、物理手术导引物的置位指示物或其组合中的至少一者，其中光学头戴式显示器被配置为显示至少部分地基于虚拟手术导引物的预定位置的坐标叠加到物理关节的虚拟手术导引物，虚拟手术导引物配置成用于对准物理手术导引物或锯片以引导关节的骨切割。
本发明的各方面涉及包括至少一个光学头戴式显示器的装置和虚拟骨切割平面，其中虚拟骨切割平面被配置为引导关节的骨切割，其中虚拟骨切割平面对应于骨切割平面的至少一部分，并且其中光学头戴式显示器被配置为显示至少部分地基于虚拟骨切割平面的预定位置的坐标叠加在物理关节上的虚拟骨切割平面。在一些实施方案中，虚拟骨切割平面被配置成以预定的内翻或外翻定向或预定胫骨斜度(predetermined tibial slope)或植入体组件的预定股骨屈曲或预定腿长度引导骨切割。
本发明的各方面涉及一种准备用于患者体内的假体的关节的方法。在一些实施方案中，该方法包括将外科医生或手术助手佩戴的一个或多个光学头戴式显示器在坐标系中配准，从患者的物理关节获得一个或多个术中测值以确定一个或多个术中坐标，将来自患者的物理关节的所述一个或多个术中坐标在坐标系中配准，生成虚拟手术导引物，基于一个或多个术中测值确定虚拟手术导引物的预定位置和/或定向，使用一个或多个光学头戴式显示器，至少部分基于虚拟手术导引物的预定位置的坐标将虚拟手术导引物显示和叠加到物理关节上，并将物理手术导引物或物理锯片对准虚拟手术导引物，用于引导关节的骨切割。
在一些实施方案中，一个或多个光学头戴式显示器被在共同坐标系中配准。在一些实施方案中，该共同坐标系是共享的坐标系。
在一些实施方案中，虚拟手术导引物用于引导膝关节置换，髋关节置换，肩关节置换或踝关节置换中的骨切割。
在一些实施方案中，虚拟手术导引物的预定位置确定用于在膝关节置换中植入一个或多个胫骨植入体组件的胫骨斜度。在一些实施方案中，虚拟手术导引物的预定位置确定膝关节置换中的股骨和/或胫骨组件的内翻或外翻矫正角度。
在一些实施方案中，虚拟手术导引物对应于物理远端股骨导引物或切割块，虚拟手术导引物的预定位置确定股骨组件屈曲。
在一些实施方案中，虚拟手术导引物对应于物理前部或后部股骨外科手术导引物或切割块，虚拟手术导引物的预定位置确定股骨组件旋转。
在一些实施方案中，虚拟手术导引物对应于物理倒角股骨导引物(physicalchamfer femoral guide)或切割块。
在一些实施方案中，虚拟手术导引物对应于物理多切割股骨导引物(physicalmulti-cut femoral guide)或切割块，虚拟手术导引物的预定位置确定前部切割，后部切割，倒角切割和股骨组件旋转中的一者或多者。
在一些实施方案中，虚拟手术导引物用于髋关节置换，虚拟手术导引物的预定位置确定植入后的腿长度。
在一些实施方案中，虚拟手术导引物是用于对准物理锯片以引导关节骨切割的虚拟平面。
在一些实施方案中，一个或多个术中测值包括检测附接到患者关节、手术台、手术室中的固定结构或其组合的一个或多个光学标记。在一些实施方案中，包括在光学头戴式显示器中的一者或多者摄像头或图像捕获或视频捕获系统和/或三维扫描仪检测一个或多个光学标记，包括检测所述一个或多个光学标记的坐标(x，y，z)和所述一个或多个光学标记的位置、定向、对准、移动方向或移动速度中的至少一者或多者。
在一些实施方案中，可以使用空间映射技术来执行一个或多个光学头戴式显示器、手术部位、关节、脊柱、外科手术器械或植入体组件的配准。
在一些实施方案中，可以使用深度传感器来执行一个或多个光学头戴式显示器、手术部位、关节、脊柱、手术器械或植入体组件的配准。
在一些实施方案中，虚拟手术导引物用于在踝关节置换中引导远端胫骨或距骨的骨切割，所述一个或多个光学头戴式显示器用于基于预定胫骨或距骨植入体组件对准、植入体组件的植入体组件旋转或其组合来对准虚拟手术导引物，其中预定胫骨或距骨植入体组件对准包括植入体组件的冠状面植入体组件对准，矢状面植入体组件对准，轴向平面组件对准。
在一些实施方案中，虚拟手术导引物用于在肩关节置换中引导近端肱骨的骨切割，其中所述一个或多个光学头戴式显示器用于基于预定的肱骨植入体组件对准、肱骨植入体组件旋转或其组合来对准虚拟手术导引物，其中肱骨植入体组件对准包括冠状面植入体组件对准，矢状面植入体组件对准，轴向平面组件对准。
本发明的各方面涉及一种系统，其包括至少一个光学头戴式显示器和植入体虚拟库，其中植入体虚拟库包括至少一个虚拟植入体组件，其中虚拟植入体组件的至少一个尺寸对应于植入体组件尺寸或其尺寸与植入体组件的尺寸基本相同，其中至少一个光学头戴式显示器被配置成显示与旨在用于植入体组件的放置的组织基本对准的虚拟植入体组件，其中虚拟植入体组件的放置旨在实现预定植入体组件位置和/或定向。
本发明的方面涉及在患者物理关节的手术部位中三维选择假体的方法。在一些实施方案中，该方法包括在坐标系中配准用户佩戴的一个或多个光学头戴式显示器。在一些实施方案中，光学头戴式显示器是透视光学头戴式显示器。在一些实施方案中，该方法包括从患者的物理关节获得一个或多个术中测值，以确定一个或多个术中坐标。在一些实施方案中，该方法包括在坐标系中配准来自患者的物理关节的一个或多个术中坐标。在一些实施方案中，该方法包括使用一个或多个光学头戴式显示器显示投影在物理关节上的第一假体的三维图形表示。在一些实施方案中，第一假体的三维图形表示来自物理假体的三维图形表示库。在一些实施方案中，三维图形表示对应于物理假体的至少一部分。在一些实施方案中，该方法包括移动第一假体的三维图形表示，以与物理关节的一个或多个结构的内部或外部边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、直径、半径、曲率、几何结构、形状或表面中的一者或多者对准或接近或相交。在一些实施方案中，该方法包括视觉评估第一假体的三维图形表示与物理关节的所述一个或多个结构的内部或外部边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、直径、半径、曲率、几何结构、形状或表面中的一者或多者之间的配合或对准。在一些实施方案中，该方法包括对显示、可选地移动和视觉评估与一个或多个附加物理假体的一个或多个三维图形表示的配合或对准的步骤的重复，其中所述一个或多个附加物理假体具有与第一和随后评估的假体不同的尺寸、大小、直径、半径、曲率、几何形状或表面中的一者或多者。在一些实施方案中，该方法包括从物理假体的三维图形表示库中选择相对于物理关节的一个或多个结构具有满意配合的假体的三维图形表示。
在一些实施方案中，该方法包括从患者的物理关节获得一个或多个术中测值，以确定一个或多个术中坐标，并将来自患者的物理关节的一个或多个术中坐标在坐标系中配准。
在一些实施方案中，视觉评估配合包括将第一或后续假体的图形表示的半径、曲率、几何结构、形状或表面中的一者或多者与关节的关节半径、曲率、形状或几何结构中的一者或多者进行比较。在一些实施方案中，第一或后续假体的图形表示被移动以改善第一或后续假体的图形表示的半径、曲率、几何结构、形状或表面中的一者或多者与关节的关节半径、曲率、形状或几何结构中的一者或多者之间的配合。在一些实施方案中，假体的选定图形表示的大小、定位、位置和定向及其最终坐标中的一者或多者被用于制定或修改假体植入的外科手术计划。在一些实施方案中，所选图形表示的定位、位置或定向中的一者或多者用于确定用于假体植入的一次或多次骨切除。在一些实施方案中，物理关节的一个或多个结构的内部或外部边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、直径、半径、曲率、几何结构、形状或表面中的一者或多者没有被手术改变。在其他实施方案中，物理关节的一个或多个结构的内部或外部边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、直径、半径、曲率、几何结构、形状或表面中的一者或多者已经被手术改变。例如，手术改变可以包括骨或软骨的移除。在一些实施方案中，骨移除可以是骨切割。
在一些实施方案中，光学头戴式显示器是虚拟现实型光学头戴式显示器，并且使用一个或多个摄像头对患者的关节成像，并且图像由光学头戴式显示器显示。
在一些实施方案中，满意的配合包括假体的选定图形表示与物理关节的一个或多个结构的内部或外部边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、半径、曲率、几何结构、形状或表面中的一者或多者的至少一部分之间的在1、2、3、4或5毫米距离内的配合。
在一些实施方案中，物理关节的一个或多个结构包括一个或多个解剖标志。在一些实施方案中，所述一个或多个解剖标志定义一个或多个解剖或生物力学轴线。
在一些实施方案中，移动和视觉评估假体图形表示的配合的步骤包括评估假体的图形表示相对于所述一个或多个解剖轴线或生物力学轴线的对准。在一些实施方案中，以一个、两个、三个、四个、五个或六个自由度来执行移动假体的三维图形表示的步骤。在一些实施方案中，移动假体的三维图形表示的步骤包括假体的三维图形表示的平移或旋转中的一者或多者。
在一些实施方案中，视觉评估第一或后续假体的三维图形表示与物理关节之间的配合或对准的步骤包括将一个或多个假体组件的前后或内外侧尺寸中的一者或多者与关节的远端股骨或近端胫骨的前后或内外侧尺寸中的一者或多者进行比较。在一些实施方案中，视觉评估第一或后续假体的三维图形表示与物理关节之间的配合或对准的步骤包括将假体的至少部分的尺寸、大小、半径、曲率、几何形状或表面中的一者或多者与关节的内侧髁或外侧髁的至少部分的尺寸、大小、半径、曲率、几何形状或表面中的一者或多者进行比较。
在一些实施方案中，关节是膝关节，假体包括膝关节置换装置的一个或多个组件。在一些实施方案中，关节是髋关节，假体包括髋关节置换装置的一个或多个组件。在一些实施方案中，关节是肩关节，假体包括肩关节置换装置的一个或多个组件。在一些实施方案中，关节是脚踝，假体包括脚踝替代装置的一个或多个组件。
在一些实施方案中，物理假体的三维图形表示库包括对称和不对称假体组件。在一些实施方案中，对称或非对称假体组件包括对称和非对称股骨组件以及对称和非对称胫骨组件中的至少一者。
本发明的方面涉及在患者的被选择用于植入的身体部位中三维选择医疗装置的方法。在一些实施方案中，该方法包括在坐标系中配准用户佩戴的一个或多个光学头戴式显示器。在一些实施方案中，该方法包括从患者的身体部位获得一个或多个测值，以确定一个或多个坐标。在一些实施方案中，该方法包括在坐标系中配准来自患者身体部位的一个或多个坐标。在一些实施方案中，该方法包括使用一个或多个光学头戴式显示器来显示投影在身体部位上的第一医疗装置的三维图形表示。在一些实施方案中，第一医疗装置的三维图形表示来自物理医疗装置的三维图形表示库，并且所述三维图形表示对应于物理第一医疗装置的至少一部分。
在一些实施方案中，该方法包括移动第一医疗装置的三维图形表示，以与身体部位处的一个或多个结构的内部或外部边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、直径、半径、曲率、几何结构、形状或表面中的一者或多者对准或接近或相交。在一些实施方案中，该方法包括视觉评估第一医疗装置的三维图形表示与身体部位处的一个或多个结构的内部或外部边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、直径、半径、曲率、几何结构、形状或表面中的一者或多者之间的配合或对准。在一些实施方案中，该方法包括重复显示、可选地移动和视觉评估与一个或多个附加物理医疗装置的一个或多个三维图形表示的配合或对准的步骤，其中所述一个或多个附加物理医疗装置具有与第一和随后评估的医疗装置不同的尺寸、大小、直径、半径、曲率、几何形状或表面中的一者或多者。在一些实施方案中，该方法包括从物理医疗装置的三维图形表示库中选择相对于身体部位处的一个或多个结构具有满意配合的医疗装置的三维图形表示。
在一些实施方案中，身体部位处的所述一个或多个结构包括用于植入的解剖或病理组织。在一些实施方案中，身体部位处的所述一个或多个结构包括围绕或邻近预期植入部位或位于预期植入部位下方的解剖或病理组织。在一些实施方案中，身体部位处的所述一个或多个结构包括植入部位附近或与计划植入的医疗装置邻近、或在其下方或与其相对或铰接或待连接的预先存在的医疗装置。在一些实施方案中，身体部位处的所述一个或多个结构包括组织、器官或血管表面、直径、尺寸、半径、曲率、几何结构、形状或体积中的一者或多者。
在一些实施方案中，所述一个或多个光学头戴式显示器将术前或术中的影像学检查、患者的二维或三维图像、一个或多个医疗装置的图形表示、一个或多个医疗装置的CAD(计算机辅助设计)文件中的一者或多者显示为配准并叠加在身体部位上。
在一些实施方案中，来自身体部位处的一个或多个结构以及来自术前或术中影像学检查、患者的二维或三维图像、一个或多个医疗装置的图形表示、一个或多个医疗装置的CAD文件中的一者或多者的信息被用于选择锚定或附接机构或固定构件中的一者或多者。
在一些实施方案中，来自身体部位处的一个或多个结构以及来自术前或术中影像学检查、患者的二维或三维图像、一个或多个医疗装置的图形表示、一个或多个医疗装置的CAD文件中的一者或多者的信息用于指导锚定或附接机构或固定构件中的一者或多者。
在一些实施方案中，医疗装置是植入体、植入体组件、器械、关节置换植入体、支架、线、导管、螺钉、耳成形假体、牙科植入体、牙科植入体组件、假体盘、导管、导丝、线圈、动脉瘤夹中的一者或多者。
本发明的方面涉及在患者关节中对准假体的方法。在一些实施方案中，该方法包括在坐标系中配准用户佩戴的一个或多个光学头戴式显示器。在一些实施方案中，该方法包括从患者的物理关节获得一个或多个术中测值，以确定物理关节的一个或多个坐标。在一些实施方案中，该方法包括在坐标系中配准患者身体关节的一个或多个坐标。在一些实施方案中，该方法包括使用一个或多个光学头戴式显示器来显示假体或假体组件的投影在物理关节上的三维图形表示，其中三维图形表示对应于物理假体的至少一部分。在一些实施方案中，该方法包括移动假体的三维图形表示，以与物理关节的一个或多个结构的内部或外部边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、直径、半径、曲率、几何结构、形状或表面中的一者或多者对准或接近或相交。在一些实施方案中，该方法包括在移动和对准之后，在坐标系中配准来自假体的图形表示的一个或多个坐标。
在一些实施方案中，假体的三维图形表示的移动是使用计算机接口、可选地包括语音识别的声学接口、可选地包括手势识别的虚拟接口中的一者或多者来执行的。在一些实施方案中，在移动和对准之后，来自坐标系中假体的图形表示的一个或多个坐标用于导出或修改手术计划。在一些实施方案中，在移动和对准之后，来自坐标系中假体的图形表示的一个或多个坐标用于确定用于放置假体的骨移除的定位、定向或对准或坐标中的一者或多者。在一些实施方案中，所述骨移除是骨切割、去毛刺、钻孔、钉扎、扩孔或撞击中的一种或多种。在一些实施方案中，手术计划用于导出一个或多个手术器械的定位、位置、定向、对准、轨迹、平面、起点或终点中的一者或多者。在一些实施方案中，骨移除的定位、定向或对准或坐标中的一者或多者用于导出一个或多个手术器械的定位、位置、定向、对准、轨迹、平面、起点或终点中的一者或多者。在一些实施方案中，所述一个或多个光学头戴式显示器可视化投影到物理关节上并与之配准的一个或多个手术器械的定位、位置、定向、对准、轨迹、平面、起点或终点中的一者或多者。在一些实施方案中，假体是髋关节置换的髋臼杯，并且其中髋臼杯的图形表示与患者的物理髋臼缘的至少一部分对准。在一些实施方案中，假体是髋关节置换的股骨组件，并且其中股骨组件的图形表示与患者的物理骨内膜骨或皮质骨的至少一部分对准。在一些实施方案中，对准意味着将股骨组件定位在前与后骨内膜或皮质骨或内侧与外侧骨内膜骨或皮质骨中的一者或多者的至少一部分之间的基本等距的位置。在一些实施方案中，股骨组件包括股骨颈。在一些实施方案中，在移动和对准之后，坐标系中来自股骨组件的一个或多个坐标用于确定股骨组件柄位置、股骨组件柄定向、股骨组件颈角、股骨组件偏移和股骨组件颈前倾中的至少一者。在一些实施方案中，假体是肩关节置换的关节盂组件，其中关节盂组件的图形表示与患者的物理关节盂缘的至少一部分对准。在一些实施方案中，假体是肩部置换的肱骨组件，并且其中肱骨组件的图形表示与患者的物理骨内膜骨或皮质骨的至少一部分对准。在一些实施方案中，对准意味着将肱骨组件定位在前与后骨内膜或皮质骨或内侧与外侧骨内膜骨或皮质骨中的一者或多者的至少一部分之间的基本等距的位置。在一些实施方案中，肱骨组件包括肱骨颈。在一些实施方案中，在移动和对准之后，坐标系中来自肱骨组件的一个或多个坐标用于确定肱骨组件柄位置、肱骨组件柄定向、肱骨组件颈角、肱骨组件偏移和肱骨组件颈前倾中的至少一者。在一些实施方案中，物理关节的一个或多个结构的边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、直径、半径、曲率、几何结构、形状或表面中的一者或多者包括软骨、正常软骨、受损或患病软骨、软骨下骨或骨赘中的一者或多者。在一些实施方案中，物理关节的一个或多个结构的边界、周边、边缘、周长、前后位、内外侧、倾斜尺寸、直径、半径、曲率、几何结构、形状或表面中的一者或多者不包括软骨、正常软骨、受损或患病软骨、软骨下骨或骨赘中的一者或多者。在一些实施方案中，所述一个或多个光学头戴式显示器将术前或术中的影像学检查、患者的二维或三维图像、一个或多个医疗装置的图形表示、一个或多个医疗装置的CAD(计算机辅助设计)文件中的一者或多者显示为配准并叠加在物理关节上，其中所述显示有助于假体的图形表示的三维图形表示的移动和对准。在一些实施方案中，假体是膝关节置换系统的股骨组件或胫骨组件，其中在移动和对准之后，来自坐标系中假体的图形表示的一个或多个坐标包括股骨组件的图形表示的中心或胫骨组件的图形表示的中心。在一些实施方案中，移动或对准包括在远端股骨上对准股骨组件。在一些实施方案中，对准包括将股骨组件对准为与内侧股骨髁的内侧边缘和外侧股骨髁的外侧边缘基本等距。在一些实施方案中，对准包括在膝关节屈曲5度、10度、15度、20度、25度、30度、40度或45度的远端承重区或承重区中的至少一者中，将股骨组件与内侧髁和外侧髁中的至少一者的关节表面相切对准。在一些实施方案中，移动或对准包括在近端胫骨上对准胫骨组件。在一些实施方案中，对准包括将胫骨组件对准为与胫骨内侧坪的内侧边缘和胫骨外侧坪的外侧边缘和/或前胫骨坪的前边缘和后胫骨坪的后边缘基本等距，或者在胫骨脊上居中。在一些实施方案中，对准包括将胫骨组件与胫骨内侧坪和胫骨外侧坪中至少一个的关节表面的至少部分相切对准。
在一些实施方案中，对准后股骨组件的图形表示的中心和髋关节的中心用于确定股骨机械轴线。在一些实施方案中，对准后胫骨组件的图形表示的中心和踝关节的中心用于确定胫骨机械轴线。在一些实施方案中，股骨和胫骨机械轴线用于确定相对于腿的机械轴线的期望腿轴线校正。在一些实施方案中，腿轴线校正是对正常机械轴线的完全校正、对正常机械轴线的部分校正或对正常机械轴线的不校正中的一者。在一些实施方案中，腿轴线校正用于确定骨移除或骨切割的坐标和/或对准。在一些实施方案中，完全校正正常机械轴线或部分校正正常机械轴线或不校正正常机械轴线的骨移除或骨切割用于调整股骨和/或胫骨假体坐标。在一些实施方案中，使用机器人引导、手术导航系统和利用一个或多个光学头戴式显示器的视觉引导中的至少一种来执行骨移除或骨切割。在一些实施方案中，一个或多个光学头戴式显示器投影与物理关节配准并叠加在物理关节上的切割块、切割平面或钻孔路径中的一者或多者的图形表示，用于对准物理切割导引物、锯片或钻头中的一者或多者。
在下文中将参考附图更全面地描述各种示例方案，附图中说明了一些示例方案。然而，本发明构思可以以许多不同的形式实施，并且不应该被解释为限于这里阐述的示例方案。相反，提供这些示例方案是为了使本公开彻底和完整，并且将本发明构思的范围完全传达给本领域技术人员。在附图中，为了清楚起见，可放大各层和各区域的尺寸和相对尺寸。相同标记始终表示相同要素。
如本文所用术语“患者实时数据”包括外科医生或观察者的眼睛看到的患者的手术部位、解剖、解剖结构或组织和/或病理学、病理结构或组织，没有来自虚拟数据、虚拟数据的立体视图或影像学检查的信息。术语“患者实时数据”不包括只能在计算机监视器或光学头戴式显示器的帮助下才能看到的内部或表面下的组织或结构或隐藏的组织或结构。
术语“真实手术器械”，“实际手术器械”，“物理手术器械”和“手术器械”在整个申请中可互换使用；术语“真实手术器械”，“实际手术器械”，“物理手术器械”和“手术器械”不包括虚拟手术器械。比如，物理手术器械可以是由制造商或供货商提供的用于脊柱外科手术，椎弓根螺钉固定，前路脊柱融合术，膝关节置换术，髋关节置换术，踝关节置换术和/或肩部置换术的手术器械；比如，物理手术器械可以是切块，导向杆，锥子，扩孔器，撞击器，髓针。物理手术器械可以是可重复所用或一次性所用或其组合。物理手术器械可以是患者特定的。术语“虚拟手术器械”不包括真实手术器械，实际手术器械，物理手术器械和手术器械。
真实手术工具，实际手术工具，物理手术工具和手术工具等术语在整个申请中可互换使用；真实手术工具，实际手术工具，物理手术工具和手术工具等术语不包括虚拟手术工具。物理手术工具可以是制造商或供货商提供的手术工具。比如，物理手术工具可以是钉、钻、锯片、牵开器、用于分离组织的框架以及用于整形外科、神经外科、泌尿外科或心血管外科手术的其他工具。术语虚拟手术工具不包括真实手术工具，实际手术工具，物理手术工具和手术工具。
真实植入体或植入体组件，实际植入体或植入体组件，物理植入体或植入体组件以及植入体或植入体组件等术语在整个申请中可互换使用；真实植入体或植入体组件，实际植入体或植入体组件，物理植入体或植入体组件以及植入体或植入体组件等术语不包括虚拟植入体或植入体组件。物理植入体或植入体组件可以是制造商或供货商提供的植入体或植入体组件。比如，物理外科植入体可以是椎弓根螺钉，脊柱固定杆，脊柱融合器，膝关节置换中的股骨或胫骨组件，髋关节置换中的髋臼杯或股骨柄和头。术语“虚拟植入体”或“植入体组件”不包括真实植入体或植入体组件，实际植入体或植入体组件，物理植入体或植入体组件以及植入体或植入体组件。
术语“图像捕获系统”、“视频捕获系统”、“图像或视频捕获系统”、“图像和/或视频捕获系统和/或光学成像系统”可以互换使用。在一些实施方案中，单个或多个(例如两个或三个或更多个)图像捕获系统、视频捕获系统、图像或视频捕获系统、图像和/或视频捕获系统、和/或光学成像系统可以在一个或多个位置(例如在一个、两个、三个或更多个位置)使用，可以例如集成到、附接到或分离于光学头戴式显示器，附接到手术台，附接到手术室中的固定结构，集成到或附接到或分离于器械，集成到或附接到或分离于关节镜，集成到或附接到或分离于内窥镜，患者皮肤内部，手术部位内部，目标组织内部，器官内部，腔体内部(例如腹腔或膀胱腔或液腔或脑脊液空间，或血管腔内部)，血管分叉内部，肠内部，小肠内部，胃内部，胆道结构内部，尿道和/或输尿管内部，肾盂内部，患者皮肤外部，手术部位外部，目标组织外部，器官外部，腔体外部(例如腹腔或膀胱腔或液腔或脑脊液空间，或血管腔外部)，血管分叉外部，肠外部，小肠外部，胃外部，胆道结构外部，尿道和/或输尿管外部，和/或肾盂外部。在一些实施方案中，一个或多个图像捕获系统、视频捕获系统、图像或视频捕获系统、图像和/或视频捕获系统和/或光学成像系统的位置和/或定向和/或坐标可以使用说明书中描述的任何配准和/或追踪方法来追踪，例如，使用光学成像系统和/或三维扫描仪在说明书中描述的或本领域已知的任何前述定位和/或组织和/或器官以及任何其他定位和/或组织和/或器官中的直接追踪。例如，在一个或多个三维扫描仪被集成到或附接到器械、关节镜、内窥镜中的情况下，和/或在它们位于任何结构内部，例如在关节或腔体或内腔内部的情况下，对一个或多个图像捕获系统、视频捕获系统、图像或视频捕获系统、图像和/或视频捕获系统、和/或光学成像系统的追踪会是有利的。
在一些实施方案中，单个或多于一个(例如两个或三个或更多个)三维扫描仪可以存在于一个或多个位置(例如一个、两个、三个或更多个位置)，例如集成到、附接到或分离于光学头戴式显示器，附接到手术台，附接到手术室中的固定结构，集成到或附接到或分离于器械，集成到或附接到或分离于关节镜，集成到或附接到或分离于内窥镜、患者皮肤内部、手术部位内部、目标组织内部、器官内部、腔体内部(例如腹腔或膀胱腔或液腔或脑脊液空间，和/或血管腔内部)、血管分叉内部、肠内部、小肠内部、胃内部、胆道结构内部、尿道和/或输尿管内部、肾盂内部、患者皮肤外部、手术部位外部、目标组织外部、器官外部、腔体外部(例如腹腔或膀胱腔或液腔或脑脊液空间，和/或血管腔外部)、血管分叉外部、肠外部、小肠外部、胃外部、胆管结构外部、尿道和/或输尿管外部和/或肾盂外部。在一些实施方案中，可以使用说明书中描述的任何配准和/或追踪方法来追踪一个或多个三维扫描仪的位置和/或定向和/或坐标，所述方法为例如，使用光学成像系统和/或三维扫描仪在说明书中提到的或本领域已知的任何前述定位和/或组织和/或器官以及任何其他定位和/或组织和/或器官中的直接追踪。例如，在一个或多个三维扫描仪集成到或附接到器械、关节镜、内窥镜中的情况下，和/或在它们位于任何结构内部时，例如在关节或腔体或内腔内部的情况下，一个或多个三维扫描仪的追踪会是有利的。
在一些实施方案中，一个或多个图像捕获系统、视频捕获系统、图像或视频捕获系统、图像和/或视频捕获系统和/或光学成像系统可以与一个或多个三维扫描仪结合例如，在说明书中描述的或本领域已知的任何前述定位和/或组织和/或器官以及任何其他定位和/或组织和/或器官中使用。
利用手术导航，可以在计算机监视器上显示第一虚拟器械，该第一虚拟器械是通过例如为红外或射频标记的导航标记追踪的物理器械的图像，并且，第一虚拟器械的位置和/或方向可以与虚拟手术计划中生成的相应第二虚拟器械的位置和/或方向进行比较。因此，通过手术导航，比较第一和第二虚拟器械的位置和/或定向。
本发明的各方面涉及使用头戴式显示设备在混合现实环境中定位虚拟路径、虚拟平面、虚拟工具、虚拟手术器械或虚拟植入体组件的装置、系统和方法，头戴式显示设备可选地耦合到一个或多个处理单元。
通过在混合现实环境中的引导，可以将虚拟手术导引物、工具、器械或植入体叠加到物理关节、脊柱或手术部位上。此外，物理导引物、工具、器械或植入体可对准光学头戴式显示器显示或投射的虚拟手术导引物、工具、器械或植入体。因此，混合现实环境下的引导不需要使用导引物、工具、器械或植入体的多个虚拟图像，并且不需要比较虚拟导引物、工具、器械或植入体的多个虚拟图像的位置和/或定向。
在各种实施方案中，光学头戴式显示器可以显示以下一项或多项：虚拟手术工具、包括虚拟手术导引物或虚拟切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置等的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的估计或预计非可视化部分、和/或一种或多种预定组织变化或改变。
可以使用例如术前影像学检查、术前数据、术前测值、术中影像学检查、术中数据和/或术中测值来预定虚拟的和/或物理的手术器械或工具的位置、定位、定向、对准、方向、移动速度、施加的力。
可以使用诸如术前影像学检查、术前数据、术前测值、术中影像学检查、术中数据和/或术中测值预先确定任何位置、定位、定向、对准、矢状平面对准、冠状面对准、轴向平面对准、旋转、植入斜度、植入角度、植入体组件的屈曲、偏移、前倾、后倾(retroversion)；相对于一个或多个解剖标志的位置、定位、定向、对准；相对于一个或多个解剖学平面的位置、定位、定向、对准；相对于一个或多个解剖轴线的位置、定位、定向、对准；相对于一个或多个生物力学轴线的位置、定位、定向、对准；相对于试验植入体、植入体组件或植入体(虚拟和/或物理的)的机械轴线的位置、定位、定向、对准。术中测值可包括比如，关节、脊柱、手术部位、骨骼、软骨、光学头戴式显示器、手术工具或器械、试验植入体、植入体组件或植入体的用于配准目的的测值。
在一些实施方案中，可以使用多个坐标系代替共同或共享坐标系。在该情况下，可以从一个坐标系至另一个坐标系进行坐标转换，比如，用于配准光学头戴式显示器、包括手术部位的患者实时数据、虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
光学头戴式显示器
在本发明的一些实施方案中，使用一副眼镜。眼镜可包括光学头戴式显示器。光学头戴式显示器(OHMD)可以是可穿戴显示器，其具有反射投影图像以及使用户能够透视的能力。可以使用各种类型的光学头戴式显示器来实施本发明。这些包括曲面镜或曲面组合器光学头戴式显示器以及波导光学头戴式显示器或光导光学头戴式显示器。光学头戴式显示器可以选择使用衍射光学，全息光学，偏振光学和反射光学。
可与光学头戴式显示器一起使用的传统输入装置包括但不限于触摸板或按钮、智能手机控制器、语音识别和手势识别。可有高级接口，比如，脑机接口。
可选的，计算机或服务器或工作站可以将数据发送到光学头戴式显示器。数据传输可以通过电缆，蓝牙，WiFi，光信号和本领域已知的数据传输的任何其他方法或模式进行。光学头戴式显示器可以显示非压缩形式或压缩形式的比如，患者虚拟数据之类的虚拟数据。当传输到光学头戴式显示器或由光学头戴式显示器显示时，患者虚拟数据的分辨率可以被选择性地降低。
当虚拟数据传输到光学头戴式显示器时，所述虚拟数据可以在传输期间以压缩形式存在。然后，光学头戴式显示器可以选择性地对其进行解压缩，以便光学头戴式显示器显示未压缩的虚拟数据。
或者，当虚拟数据被发送到光学头戴式显示器时，所述虚拟数据在传输期间可以具有降低的分辨率，比如，通过在传输之前增加图像数据的层厚。然后，光学头戴式显示器可以选择性地增大分辨率，比如，通过重新插值到图像数据的原始层厚或甚至更薄层厚，使得由光学头戴式显示器显示的虚拟数据所具有的分辨率等于或大于原始虚拟数据的分辨率或者至少大于传输的数据的分辨率。
在一些实施方案中，光学头戴式显示器可以将数据发送回计算机，服务器或工作站。此类数据可包括但不限于：
-有关光学头戴式显示器的或佩戴光学头戴式显示器的操作者或外科医生的位置、定位或方向信息
-光学头戴式显示器的位置、定向或方向的变化
-由一个或多个惯性测量单元(IMU)生成的数据
-由附接到光学头戴式显示器、与光学头戴式显示器集成或耦合到光学头戴式显示器的标记(射频，光学，光，其他)生成的数据
-由附接到光学头戴式显示器、与光学头戴式显示器集成或耦合到光学头戴式显示器的手术导航系统生成的数据
-由附接到光学头戴式显示器、与光学头戴式显示器集成或耦合到光学头戴式显示器的图像和/或视频捕获系统生成的数据
-比如，使用附接到光学头戴式显示器、与光学头戴式显示器集成或耦合到光学头戴式显示器的两个或更多个图像和/或视频捕获系统生成的视差数据，比如，所述两个或更多个图像和/或视频捕获系统中的第一个图像和/或视频捕获系统位于左眼上方或下方或附近，第二个位于右眼上方或下方或附近
-距离数据，比如，由两个或更多个图像和/或视频捕获系统评估评估光学头戴式显示器与手术野或对象之间的距离变化而生成的视差数据
-运动视差数据
-与校准或配准体模相关的数据(参见本说明书的其他章节)
-由包括附接、集成或耦合到光学头戴式显示器的图像和/或视频捕获系统的光学头戴式显示器捕获的患者的任何类型的实时数据
○比如，对活体手术部位的改变
○比如，由图像和/或视频捕获系统检测到的某些手术器械的使用
○比如，由图像和/或视频捕获系统检测到的某些医疗装置或试验植入体的使用
-对手术计划的任何类型的修改
○对实时手术计划的部分或多方面的修改
○对虚拟手术计划的部分或多方面的修改
在整个实施方案中所用射频标签可以是有源或无源类型的、可具有或不具有电池。
示例性光学头戴式显示器包括来自ODG(Osterhout Group，San Francisco，CA)的ODG R-7，R-8和R-8智能眼镜、NVIDIA 942 3-D视觉无线眼镜(NVIDIA，Santa Clara，CA)和微软全息眼镜(微软,Redmond,WI)。
微软全息眼镜(Microsoft HoloLens)由微软制造。它是一副增强型现实智能眼镜。微软全息眼镜可以使用Windows 10操作系统。微软全息眼镜的前部包括传感器、相关硬件、几个摄像头和处理器。面罩包括一对透明的合束透镜，用于显示投影图像。可以使用识别手势的集成程序调整微软全息眼镜的瞳距(IPD)。还集成了一对扬声器。扬声器不排除外部声音并使用户能够听到虚拟声音。集成有一个USB 2.0micro-B插座。还有一个3.5毫米音频插孔。
微软全息眼镜有一个带有加速度计、陀螺仪和磁力计的惯性测量单元(IMU)、四个环境测绘传感器/摄像头(每侧两个)、一个具有120°×120°视角的深度摄像机、一个240万像素照相摄像机、一个四麦克风阵列和一个环境光传感器。
微软全息眼镜有一个包含中央处理单元(CPU)和图形处理单元(GPU)的英特尔Cherry Trail片上系统(SoC)。微软全息眼镜还包括一个定制的微软全息处理单元(HPU)。SoC和HPU各有1GB LPDDR3并共享8MB静态随机存储器(SRAM)，SoC还控制64GB eMMC并运行Windows 10操作系统。HPU处理和集成来自传感器的数据，并处理诸如空间映射、手势识别、语音识别等任务。微软全息眼镜包括IEEE802.11ac Wi-Fi和蓝牙4.1低能耗(LE)无线连接。耳机使用Bluetooth LE，可以连接到Clicker，Clicker为手指操作输入装置，可用于选择菜单和功能。
许多应用程序可用于微软全息眼镜，比如，全息图目录，HoloStudio，通过微软的具有三维打印功能的三维建模应用程序，Autodesk Maya三维创建应用程序的FreeForm，其集成了微软全息眼镜与基于云的三维开发应用程序Autodesk Fusion 360，及其他。
使用HPU的微软全息眼镜可以使用感性和自然的接口命令——语音、手势、和姿态。凝视命令，比如，头部追踪，可让用户促使应用程序关注用户感知的任何内容。可以使用类似于点击虚拟计算机鼠标的空中敲击方法选择任何虚拟应用程序或按钮。可以保持敲击进行模拟拖动以移动显示器。也可以使用语音命令。
微软全息眼镜壳采用了Windows桌面环境中的许多组件或概念。用于打开主菜单的绽放手势(bloom gesture)通过打开人的手使手掌朝上且手指伸展来实现。Windows可以拖动到特定位置、锁定和/或重设大小。虚拟窗口或菜单可以固定在多处位置或多个物理对象上。虚拟窗口或菜单可以与用户一起移动，或者可以与用户关联固定。或者，可以在用户移动时跟随用户。
开发人员可以使用Windows 10PC和Windows 10Mobi le设备的微软全息眼镜应用，来运行应用程序，并从微软全息眼镜用户的角度查看实时流，以及捕获增强后的现实照片和视频。
几乎所有通用Windows平台应用程序都可以在微软全息眼镜上运行。这些应用程序可以二维投影。微软全息眼镜目前支持选择Windows10APIs。微软全息眼镜应用程序也可以在Windows 10PC上开发。全息应用程序可以使用Windows全息应用程序接口(API)。Unity(美国加利福尼亚州旧金山市的Unity Technologies)和Vuforia(马萨诸塞州尼达姆的PTC公司)是一些可以利用的应用程序。也可以使用DirectX和Windows API's开发应用程序。
计算机图像观察途径
在本发明的一些实施方案中，光学头戴式显示器使用包括以下步骤的计算机图像查看途径以显示位于三维空间中的三维对象或二维对象或其他计算机生成的对象和模型。图16B：
1.配准
2.查看投影
配准：
光学头戴式显示器计算机图像系统要显示的不同对象(比如，虚拟解剖模型，器械虚拟模型，几何和外科参照和导引物)最初都在各自独立的模型坐标系中定义。在配准过程中，定义不同对象之间的空间关系，并将每一对象从其各自模型坐标系转换为通用全局坐标系统。如下所述的不同技术可以应用于配准过程。
对于将计算机生成的对象与物理环境的实时视图叠加的增强现实光学头戴式显示器，全局坐标系统由环境定义。如下所述的称为空间映射的过程创建允许与计算机生成的对象合并和配准的环境的计算机图像，从而定义计算机生成的对象与物理环境之间的空间关系。
查看投影：
一旦要显示的所有对象都已被配准并转换成同一全局坐标系，通过将显示对象的坐标从全局坐标系转换为视图坐标系，并随后将它们投影到显示平面上来而使其准备好可以在显示器上查看。此视图投影步骤使用视点和视图方向来定义此步骤中应用的转换。对于诸如光学头戴式显示器的立体显示器，可以使用两个不同的视图投影，一个用于左眼，另一个用于右眼。对于增强现实光学头戴式显示器，可以知道相对于物理环境的视点的位置和视图方向，以便将计算机生成的对象与物理环境正确地叠加。当视点和视图方向比如由于头部移动而改变时，视图投影被更新使得计算机生成的显示器跟随新视图变化。
位置追踪系统
在本发明的某些实施方案中，可以追踪光学头戴式显示器的位置和/或定向。例如，为了如前一节所述计算和更新计算机图像观察途径的视图投影，并在光学头戴式显示器中显示计算机生成的覆盖图像，需要知道视图位置和方向。
可以使用不同的方法来追踪光学头戴式显示器。例如，光学头戴式显示器可以使用外向内追踪(outside-in tracking)进行追踪。对于外向内追踪，一个或多个外部传感器或摄像头可以安装在固定位置，例如天花板、墙壁或支架上。传感器或摄像头例如通过形状检测或附接在光学头戴式显示器或用户头部的标记捕获光学头戴式显示器的运动。传感器数据或摄像头图像通常在一个或多个传感器或摄像头连接的中央计算机上处理。然后，在中央计算机上获得的追踪信息被用于计算视图投影。视图投影可以在中央计算机或光学头戴式显示器上计算。
在本发明的另一个实施方案中，采用了内向外追踪(inside-out tracking)方法。光学头戴式显示器或用户的头部附接有或光学头戴式显示器集成有一个或多个传感器或摄像头。传感器或摄像头可以专用于追踪功能。在其他实施方案中，由传感器或摄像头收集的数据用于位置追踪以及其他目的，例如图像记录或空间映射。传感器和/或摄像头收集的信息用于确定光学头戴式显示器在三维空间中的位置和定向。这可以通过例如检测附接至外部环境的光学、红外或电磁标记来实现。标记的相对于传感器或摄像头的位置变化用于连续确定光学头戴式显示器的位置和定向。传感器和摄像头信息的数据处理通常由附接到光学头戴式显示器或与光学头戴式显示器集成的移动处理单元来执行，这与外向内追踪相比，增大了光学头戴式显示器用户的移动能力。或者，数据可以传输到中央计算机并在中央计算机上处理。
内向外追踪还可以利用无标记技术。例如，由光学头戴式显示器传感器获取的空间映射数据可以与环境的虚拟模型对准，从而确定光学头戴式显示器在三维环境中的位置和定向。可选地或附加地，可以使用来自惯性测量单元的信息。内向外追踪的潜在优势包括对于光学头戴式显示器用户的更大移动能力、不受固定相机视角限制的更大视野以及减少或消除标记遮挡的问题。
眼球追踪系统
本发明提供了使用人眼执行计算机命令的方法，所述使用人眼包括使用眼睛运动和眼睑运动以及由眼眶周围肌肉引起的运动。本发明还提供了通过面部运动和头部运动来执行计算机命令的方法。
由眼球运动和眼睑运动以及由眼眶周围肌肉引起的运动、面部运动和头部运动引起的命令执行在操作者无法用手敲击键盘或执行触摸板或其他手持计算机接口上的命令的环境中最有优势。这些情况包括但不限于包括汽车和飞机制造、芯片制造的工业应用、医疗或外科手术以及许多其他潜在应用。
在一些实施方案中，光学头戴式显示器可以包括眼球追踪系统。可以使用不同类型的眼球追踪系统。以下提供的实施方案决不会被认为是对本发明的限制。可以使用当前本领域已知的任何眼球追踪系统。
眼睛运动可以分为固视和扫视-即分别为当眼睛暂时注视某个位置时，以及当它移动到另一个位置时。得到的一系列固视和扫视可以定义为扫描路径。视角的中心一度或两度提供大部分视觉信息；来自外围的输入信息量较少。因此，沿扫描路径的固视位置说明了在眼球追踪会话期间处理的信息位置，比如，在外科手术期间。
眼球追踪器可以以多种方式测量眼睛的转动或移动，比如，通过测量附着到眼睛的对象(比如，隐形眼镜的形式)的运动，不直接接触眼睛的光学追踪，以及利用放置在眼睛周围电极测量电势。
如果使用眼睛附着物，则可以是诸如具有嵌入式镜子或磁场传感器的特殊隐形眼镜。假设眼睛旋转时附着物不会明显滑动，则可以测量该附着物的运动。测量紧密配戴的隐形眼镜可以提供非常准确的眼球运动测值。另外，可以利用能够测量眼睛的在水平、竖向和扭转等方向的运动的磁探察线圈。
或者，可以使用测量眼睛运动的非接触光学方法。通过这种技术，可以从眼睛反射光，可选红外线，并且反射的光可以通过光学传感器或摄像机来感测。然后，对该信息进行测量以从反射的变化中提取眼睛的转动和/或移动。光学传感器或基于视频的眼球追踪器可以可选地在一段时间内使用角膜反射(所谓的第一浦肯野(Purkinje)图像)和瞳孔中心作为追踪特征。一种更敏感的眼动仪，双浦肯野眼动仪，使用来自角膜前部(第一浦肯野图像)和晶状体背面(第四浦肯野图像)的反射作为追踪特征。一种甚至更敏感的追踪方法是对来自眼睛内部的特征(如视网膜血管)进行成像，并在眼睛旋转和/或移动时追踪这些特征。可以使用光学方法，特别是基于光学传感器或视频记录的方法进行凝视追踪。
在一些实施方案中，可以使用基于光学或视频的眼球追踪器。当观察者执行诸如外科手术的功能时，摄像头聚焦在一只或两只眼睛上并追踪它们的运动。眼动仪可以利用瞳孔的中心进行追踪。可以利用红外或近红外非准直光来产生角膜反射。瞳孔中心和角膜反射之间的向量可用于计算表面或凝视方向上的关注点。可选在眼球追踪开始时执行校准程序。
可以采用亮瞳孔和暗瞳孔追踪。它们的区别在于照明源相对于光学器件的位置。如果光照相对于光路是同轴的，则眼睛的作用是逆向反射的，因为光从视网膜反射，产生类似于红眼的明亮瞳孔效果。如果光照源偏离光路，则瞳孔看起来很暗，因为来自视网膜的后向反射远离光学传感器或摄像头指向。
亮瞳孔追踪可以有利地获得更大的虹膜/瞳孔对比度，用全部虹膜色素沉着追踪眼睛更可靠。还可以减少睫毛造成的干扰。其使得能够在黑暗和非常明亮的照明条件下进行追踪。
如上所述，光学追踪方法可以包括追踪瞳孔在内的眼球运动。光学追踪方法还可以包括追踪眼睑以及眶周和面部肌肉的运动。
在一些实施方案中，眼睛追踪设备集成在光学头戴式显示器中。在一些实施方案中，可以例如使用形成惯性测量单元(见下文)的加速度计和陀螺仪的组合同时追踪头部运动。
在一些实施方案中，可以利用放置在眼睛周围的电极来测量电势。眼睛产生电势场，该电势场在眼睛闭合闭合的情况下也能检测到。可以将电势场建模为由在角膜处具有正极并且在视网膜处具有负极的偶极子产生。电势场可以通过在眼睛周围的皮肤上放置两个电极来测量。以这种方式测量的电势称为眼电图。
如果眼睛从中心位置向外围移动，则视网膜接近一个电极，而角膜接近相对电极。偶极子的方向变化和随之的电势场变化会导致测量眼电信号的变化。通过分析这些变化可以评估眼球运动。可以识别两个单独的移动方向，水平和竖向。如果使用后颅骨电极，则可以测量径向方向上的眼电图(EOG)分量。这通常为参考后颅骨电极的眼电图通道的平均值。径向眼电图通道可以测量在眼跳开始时源自眼外肌肉的扫视峰电势。
可以将眼电图限于测量慢眼运动和检测凝视方向。然而，眼电图非常适合测量与凝视移位相关的快速或扫视眼球运动和检测眨眼。与基于光学或视频的眼动仪不同，眼电图在即使眼睛闭着的情况下也可以配准眼球运动。与光学或视频追踪器相比，眼电图的主要缺点是其相对较差的注视方向精度。可选地，光学或视频追踪和眼电图两种方法可以在本发明的选定实施方案中结合使用。
可以使用15、20、25、30、50、60、100、120、240、250、500、1000Hz或更高频率的采样速率。任何采样频率都是可以的。在许多实施方案中，采样速率优选大于30Hz。
测量定位、定向、加速度
人体头部、人体各部位(比如，手、手臂、腿或脚)以及患者身体各部位(比如，患者的头部或四肢，包括髋部、膝部、踝部、足部、肩部、肘部、手部或手腕)以及任何其他身体部位的定位、定向和加速度可以通过结合使用陀螺仪和加速度计来测量。在所选应用中，也可以使用磁力计。利用这些组件构中的任何一者的这种测量系统可以被定义为惯性测量单元(IMU)。
如这里所使用的，术语“惯性测量单元”涉及一种电子装置，该电子装置可以使用加速度计和陀螺仪以及可选的磁力计的组合来测量和传输关于身体的特定力、角速度以及可选的身体周围的磁场的信息。惯性测量单元或其组件可以比如，通过在共享坐标系内配准身体或身体各部位而与导航系统或机器人耦合或配准。可选地，惯性测量单元可以是无线的，比如，使用WiFi网络或蓝牙网络。
可以使用在空间区域上扩展的成对加速度计检测与这些点相关联的参照系的适当加速度的差异(梯度)。
可以使用单轴和多轴加速度计模型检测作为向量的加速度的大小和方向，并可以用其感测方向(因为重量方向变化)、坐标加速度(只要它产生重力或重力的变化)、振动、冲击。在一些实施方案中，可以利用微机械加速度计来检测装置或操作者头部的位置。
压电，压阻和电容器件可用于将机械运动转换为电信号。压电加速度计依赖于压电陶瓷，或也可以使用单晶压阻加速度计。电容式加速度计通常使用硅微机械传感元件。
在一些实施方案中使用的加速度计可以包括小型微机电系统(MEMS)，例如，其仅由具有检测质量的悬臂梁组成。
可选地，加速度计可以集成在光学头戴式装置中，并且来自眼睛追踪系统和加速度计的输出都可以用于命令执行。
利用惯性测量单元，可以捕获关于操作者和患者以及包括运动关节的相应身体部分的以下示例性信息：速度、速率、加速度、空间位置、位置变化、角度定向、角度定向变化、对准、定向和/或移动方向和/或移动速度(例如通过顺序测量)。可通过惯性测量单元传输的关于操作者和/或患者身体部位的信息包括但不限于：头、胸、躯干、肩、肘、手腕、手、手指、手臂、髋、膝、脚踝、脚、脚趾、腿、内部器官，例如脑、心、肺、肝、脾、肠、膀胱等。
可以将任意数量的惯性测量单元放置在光学头戴式显示器、操作者和/或患者上，并且可选地，这些惯性测量单元可以在单个或多个坐标系统中相互参照，或者，可选地，它们可以关联光学头戴式显示器、第二和第三或更多光学头戴式显示器，导航系统或机器人以及由这种导航系统和/或机器人所用一个或多个坐标系统相互参照。导航系统可以与光学头戴式显示器结合使用而无需使用惯性测量单元。比如，包括红外标记、逆向反射标记、射频标记的导航标记可以附接到光学头戴式显示器，并且可选地，附接到患者或患者解剖结构的各部位或部段。光学头戴式显示器和患者或患者的解剖结构可以在导航系统和光学头戴式显示器的运动所用的一个或多个坐标系中以这种方式互相参照或者配准，或者佩戴头戴式显示器的操作者可在这些一个或多个坐标系内关联患者进行配准。一旦患者和光学头戴式显示器的虚拟数据和实时数据在同一坐标系中比如，使用惯性测量单元、光学标记、包括红外标记、逆向反射标记、射频标记的导航标记以及说明书中描述的或本领域已知的任何其他配准方法被配准，以这种方式测量的关联患者的光学头戴式显示器的任何位置变化，可以用于改变与患者实时数据相关联的患者的虚拟数据，从而通过光学头戴式显示器看到的患者虚拟数据的视觉图像和患者实时数据，不论光学头戴式显示器和/或操作者的头部和/或佩戴光学头戴式显示器的操作者如何移动，都始终对准。同样的，当使用多个光学头戴式显示器时，比如，一个用于主要外科医生和另外几个，比如两个、三个、四个或更多个用于其他外科医生、助理、住院医师、同事、护士和/或访客，其他工作人员而非主要外科医生佩戴的光学头戴式显示器也将显示通过光学头戴式显示器看到的与患者的相应实时数据对准的患者虚拟数据的虚拟图像，其中具有患者和/或手术部位的虚拟数据的透视图用于为使用光学头戴式显示器的观察者和各观察者眼睛的定位、位置和/或定向。由于放置在操作者和/或患者身上的惯性测量单元、光学标记、射频标记、红外标记和/或导航标记以及任何空间定位点，都可以在与主要光学头戴式显示器和任何附加的光学头戴式显示器所在的坐标系相同的坐标系中配准，因而可以实现前述实施方案。可以单独监测每个附加的光学头戴式显示器相对于患者和/或手术部位的位置、定向、对准以及位置、定向和对准的变化，从而能够保持对于每个附加的光学头戴式显示器的叠加患者的实时数据与患者的虚拟数据中的对应结构的对准和/或叠加，而不论所述附加的光学头戴式显示器相对于患者和/或手术部位的位置、定向和/或对准如何。
参考图1，图1中示出了用于多位观察者使用多个光学头戴式显示器11、12、13、14的系统10，所述多位观察者为比如，主要外科医生、第二外科医生、手术助手和/或护士。所述多个光学头戴式显示器可以使用解剖结构、解剖标志、校准体模(phantom)、参考体模、光学标记、导航标记和/或比如像微软全息眼镜所用空间定位点之类的空间定位点在共同坐标系统15中配准。患者的术前数据16也可以在共同坐标系15中配准。例如来自比如脊柱(可选具有微创口的)、髋关节切开术部位、膝关节切开术部位、骨切割、改变表面之类的手术部位的患者的实时数据18可通过例如使用一个或多个惯性测量单元、光学标记、导航标记、图像或视频捕获系统和/或空间锚点测量。患者的实时数据18可以在共同坐标系15中配准。可以在共同坐标系15中配准术中影像学检查结果20。或者可以使用比如光学标记惯性测量单元、导航标记或空间映射22在共同坐标系15中配准例如手术台或房间固定装置之类的参照物。可以使用术前数据16或包括术中测值的实时数据18或其组合来产生、生成或修改虚拟手术计划24。可以在共同坐标系15中配准虚拟手术计划24。光学头戴式显示器11、12、13、14可以使用每个与用户的左眼26的视图位置和定向将虚拟数据或虚拟数据的数字全息图投影到左眼视图中，并且可以使用每个用户的右眼28的视图位置和定向将虚拟数据或虚拟数据的数字全息图投影到右眼视图中，从而产生共享的数字全息体验30。使用虚拟或其他接口，佩戴光学头戴式显示器1的外科医生11可以执行命令32，比如显示来自例如虚拟手术计划的下一预定的骨切割、或影像学检查或术中测值，这可以触发光学头戴式显示器11、12、13、14将下一手术步骤34的叠加到手术部位上并与手术部位对准的数字全息图投影到预定位置/或方向。
通过在公共的共享坐标系统中配准比如，手术野之类的患者的实时数据、患者的虚拟数据以及每个单个的光学头戴式显示器，利用用于每个单个的观察者的各自的视角或角度的每个单个的光学头戴式显示器，可以对于每个单个的观察者而言将患者的虚拟数据投影叠加到患者实时数据上。因此，包括虚拟手术计划各方面的患者虚拟数据可以保持与患者实时数据叠加和/或对准，而不管观察者的视角或角度如何，并且当观察者移动头或身体时，可以保持对准和/或叠加。
新颖的用户接口
本发明的一个主题是提供一种新颖的用户接口，其中人眼，包括眼球运动和包括由眼眶和眼眶周围和选定颅骨肌肉引起的运动的眼睑运动由眼球追踪系统检测并被处理以执行预定义、可操作的计算机命令。
表1中提供了可由系统检测的眼球运动和眼睑运动的示例性列表。
表1：由眼球追踪软件检测到的眼球运动和眼睑运动的示例性列表
○1次眨眼
○2次眨眼
○3次眨眼
○快速眨眼，比如，小于0.5秒
○慢速眨眼，比如，超过1.0秒
○快速时间间隔的2次或更多次眨眼，比如，不到1秒
○长时间间隔的2次或更多次眨眼，比如，超过2秒(通常选择小于眨眼之间的自然时间间隔)
○只眨左眼
○只眨右眼
○同时眨左眼和右眼
○首先眨左眼，然后在短时间间隔内(比如，小于1秒)，眨右眼
○首先眨右眼，然后在短时间间隔内(比如，小于1秒)，眨左眼
○首先眨左眼，然后在长时间间隔内(比如，超过2秒)，眨右眼
○首先眨右眼，然后在长时间间隔内(比如，超过2秒)，眨左眼
○眼球快速向左移动
○眼球快速向右移动
○眼球快速向上移动
○眼球快速向下移动
○睁大眼睛，保持短时间间隔，比如，不到1秒
○睁大眼睛，保持很长时间间隔，比如，超过2秒
○闭合双眼1秒钟
○闭合双眼2秒钟或更长时间
○闭合双眼，保持，然后打开并快速眨眼
○闭合左眼仅1秒、2秒等
○闭合右眼仅1秒、2秒等
○闭合左眼，然后闭合右眼
○闭合右眼，然后闭合左眼
○眨左眼，然后眨右眼
○眨右眼，然后眨左眼
○盯着视野，虚拟按钮1秒、2秒、3秒或更长时间；启动功能，比如，放大或缩小
眨眼、眼球运动、顺序和时间间隔的任何组合都可用于编码各种类型的命令。这些命令，比如，可以是能够指导或操纵例如手术器械或机器人的计算机命令。
本发明还提供了通过面部运动和头部运动来执行命令的方法。
表2中提供了可由系统检测的面部运动和头部运动的示例性列表。(这个列表只是一个范例，绝不是详尽无遗的；任何数量或组合的运动都是可能的)。
表2：检测到的面部运动和头部运动的示例性列表：
○将头快速向右移动并保持
○将头快速向左移动并保持
○将头快速向下移动并保持
○将头快速向下移动并保持
○将头快速向右和向后移动
○将头快速向左和向后移动
○将头快速向下和向后移动
○将头快速向下和向后移动
○将头向左倾斜并保持
○将头向右倾斜并保持
○将头向左和向后倾斜
○将头向右和向后倾斜
○张开嘴并保持
○张开嘴并闭合
○拧鼻子一次
○拧鼻子两次
表3中列出了使用眼睛运动、眼睑运动、面部运动和头部运动执行的示例性命令。
表3：可以通过追踪眼睛运动、眼睑运动、面部运动和头部运动来执行的示例性命令行表(该列表仅是示例，并且绝不意味着穷举；任何数量或组合的命令都是可能的；特殊用途的命令可以也以这种方式执行)。
○点击
○指向
○移动指针
■慢
■快
○滚动，比如，通过图像
■快速滚动
■慢速滚动
○向上滚动
○向下滚动
○向左滚动
○向右滚动
○拖动
○旋动
○配准
○二维和三维切换
○切换影像学检查
○覆盖图像
○融合图像
○配准图像
○剪切
○粘帖
○复制
○撤销
○重做
○删除
○采购
○提供信用卡信息
○授权
○转至购物卡
○光学头戴式显示器打开
○光学头戴式显示器关闭
○眼球追踪开启
○眼球追踪关闭
○执行眼睛命令开启
○执行眼睛命令关闭
○执行面部命令开启
○执行面部命令关闭
○开启手术器械(比如，摆锯、激光等)
○关闭手术器械
○增加手术器械的强度、速度、能量
○降低手术器械的强度、速度、能量
○改变手术器械的方向
○改变手术器械的定向
○改变任何类型的设置手术器械
在本发明的一些实施方案中，眼睛运动、眼睑运动、面部运动、头部运动的单独或组合可用作信号数字代码或数字序列或机器操作序列。比如，这种数字序列可用于执行某些机器操作序列。
头部运动控制手术器械的运动
在本发明的一些实施方案中，头部运动可用于控制手术器械。比如，在具有机器人触觉回馈功能的机器人辅助程序中，外科医生可以用手来控制手术器械的方向。外科医生可以向前移动头部。该前向运动由惯性测量单元捕获并且被转换成沿着手术器械的方向保持手术器械的机械臂的向前运动。头部向后移动可以由惯性测量单元捕获并且转换为沿着手术器械的方向保持手术器械的机械臂的向后运动。
在本发明的一些实施方案中，眼睛运动，眼睑运动，面部运动，头部运动单独或其组合可用于发出摩尔斯电码信号。国际摩尔斯电码使用一小组标点符号和程序信号作为称为点和线的短信号和长信号的标准化序列，对拉丁字母进行编码。每一字符(字母或数字)由单一序列的点和线表示。线的持续时间是点持续时间的三倍。每一点或线后面都是短暂的静音，等于点持续时间。单词字母由等于三个点(一条线)的空格分隔，并且单词由等于七个点的空格分隔。
使用眼睛命令执行摩尔斯电码的示例提供如下；这绝不意味着限制。许多不同的实现是可能的。比如，可以使用双眼的快速眨眼(通常小于1秒)来执行点，而可以通过仅闭合右眼(比如，1秒钟)来执行线。穆尔斯电码中的字母A是一个点后跟一条线。使用摩尔斯电码的这种编码，字母A可以用双眼快速眨眼(点)执行，然后仅闭合右眼一秒钟(线)。字母B(线，三个点)可以通过仅闭合右眼一秒钟(线)然后双眼三次快速眨眼(三个点)等来执行。比如，可以通过在眼睛命令之间保持两秒或更长的间隔来分离字母。或者，在另一示例中，通过仅闭合左眼大约一秒钟可以分离字母。
二进制代码也可以选择使用眼睛命令执行。比如，双眼的快速眨眼可以表示数字0，而仅右眼闭合约1秒可以表示数字1。或者，仅闭合右眼约一秒可以代表数字0，而仅闭合左眼约一秒可以代表数字1。许多不同类型的编码都是可能的。其他数字也可以使用比如，表1和2中所示的一些眼睛、眼睑、面部和/或头部等运动来执行。
可以以这种方式执行许多不同语言。这些语言可选地还包括计算机语言，比如，Fortran、Pascal、C、C++、C--、Basic和本领域已知的许多其他计算机语言。
在本发明的一些实施方案中，眼睛、眼睑、面部和头部等运动命令可以与语音命令、手部命令、手势命令、键盘命令、追踪板命令、鼠标命令、图形用户接口命令和本领域已知的任何其他命令输入装置成对或结合使用。光学头戴式显示器还可选地包括一个或多个触敏传感器。
在选择环境中，眼睛命令的另一裨益是能够在导航屏幕或执行命令的同时保持命令的隐私性或机密性。比如，在医院环境中，与附近的其他患者或访客一起，可以利用眼睛命令来查看患者病例或安排实验室测试或其他诊断测试，而旁观者不会知道正在审查这些记录或安排这些测试。
在会议中，光学头戴式显示器的佩戴者可利用眼睛命令打开视频或音频录制功能或传输到远程网站或远程会议室，而不会暴露录制功能已被启动。这与手动启动录制功能完全不同，在手动启动录制功能时，用户会比如按下光学头戴式显示器上的按钮或触敏传感器以启动录制功能。
在一些实施方案中，用户可以利用眼球运动、面部运动或头部运动来引导数码摄像头拍摄照片或视频。命令可以包括但不限于放大、缩小、左右上下移动关注区域、拍照、拍摄照片系列、打开/关闭闪光开始视频录制、停止视频录制、更改分辨率、增加分辨率、降低分辨率。
可以使用基于眼睛运动、面部运动或头部运动的命令以这种方式执行本领域中已知的任何其他摄像头命令。通过利用这种类型的一个或多个命令，用户可以在获得关于周围环境的图像信息的同时保持隐私。
眼睛命令对于外科医生或手术室人员来说非常有用，以在不用手的情况下执行命令，藉此能够保持无菌状态。
将物理世界与患者的成像和其他数据融合在一起
在一些实施方案中，诸如外科医生等操作者可以通过光学头戴式显示器观察患者的物理数据或信息，比如，手术部位或在手术部位上引起的变化，同时，预先存在的患者数据被叠加到活体患者的物理视觉图像上。在国际专利申请号PCT/US2018/012459中描述了用于提高叠加在患者的实时数据上的虚拟数据的显示精度的系统、方法和技术，该专利申请通过引用整体并入本文。
患者预先存在的数据可以是影像学检查或图像数据或含有代谢信息或功能信息的其他类型的数据。
可以在与外科手术时间不同的时间获得包括一个或多个影像学检查或含有有代谢或功能信息的其他类型的数据的预先存在的患者数据。比如，可以在外科手术之前一天，两天，三天或更多天或几周获得预先存在的患者数据。
当与实时患者或实时患者的手术部位的位置或对象坐标系相比时，包括一个或多个影像学检查或含有代谢或功能信息的其他类型的数据的预先存在的患者数据通常以患者或手术部位位于与预先存在的数据不同的位置或对象坐标系中的状态获得。因此，患者或手术部位的预先存在的数据通常位于第一对象坐标系中，并且患者或手术部位的实时数据通常位于第二对象坐标系中；第一和第二目标坐标系通常彼此不同。具有预先存在的数据的第一对象坐标系需要与具有包括比如活体手术部位的患者实时数据的第二对象坐标系配准。
扫描技术
以下是可以使用或应用于本发明各方面的扫描和成像技术的示例性列表；这份列表并非详尽无遗，只是示范性的。本领域的任何技术人员都可以识别可用于实践本发明的其他扫描或成像技术：X光成像、二维、三维、仰卧、直立或其他身体姿势和姿态，包括模拟和数字X光成像；数字断层合成；锥束计算机断层扫描(CT)；超声；多普勒超声；弹性成像，比如，使用超声波或磁共振；计算机断层扫描；磁共振成像，例如包括功能性磁共振、扩散成像、中风成像，具有造影剂的磁共振；功能性磁共振(fMRI)，比如，用于脑成像和功能性脑图；磁共振波谱学；正电子放射断层造影术(PET)；单光子发射断层扫描-计算机断层扫描(SPECT-CT)；正电子放射断层造影术-计算机断层扫描(PET-CT)；正电子放射断层造影术-磁共振(PET-MRI)；使用任何前述模式(包括X光成像、超声波等)可选地在多个平面或三维中进行直立扫描；造影剂(例如，用于X光和计算机断层扫描的碘化造影剂，或磁共振造影剂；造影剂可包括用于特异靶向性细胞或组织的抗原或抗体；其他目标技术，比如，使用脂质体，也可以应用；分子成像，例如为了突出大脑中的代谢异常并将手术器械对准代谢异常区域；本领域已知的任何造影剂都可以与本发明结合使用)；包括激光扫描的三维光学成像，；、例如包括使用单束或多束光纤的共焦成像、例如包括使用单束或多束光纤的共焦显微术，光学相干断层摄影，摄影测量，立体视觉(主动或被动)，三角测量(主动或被动)，干涉测量，相移成像，主动波前采样，结构光成像，获取三维表面信息的其他光学技术，成像数据的组合，例如光学成像、波前成像、干涉测量、光学相干断层摄影和/或共焦激光成像或扫描，不同成像模式的图像融合或共同显示，例如在二维或三维中，可选地配准，可选地组合、融合或共同显示两种以上的模式，例如光学成像，例如直接可视化或通过关节镜，和/或激光扫描数据，例如直接可视化或通过关节镜，和/或虚拟数据，例如关节内、关节外、骨内、隐藏、不直接可见和/或皮肤外部，和/或共焦成像或显微镜图像/数据，例如直接可视化或通过关节镜。关于示意性扫描和成像技术的详细描述，参见比如，Bushberg等人的医学影像的基本物理学，第3版，Wolters，Kluwer，Lippincott，2012。
在实施方案中，三维扫描可用于在手术室中和/或在患者和/或手术野上对患者和/或手术部位和/或解剖标志和/或病理结构和/或组织(例如受损或患病的软骨或暴露的软骨下骨)和/或外科医生的手和/或手指和/或手术台和/或参考区域或点和/或标记(例如光学标记)进行成像。三维扫描可以用多种不同的模式及其组合完成，所述模式为例如光学成像，例如使用集成到、附接到一个或多个光学头戴式显示器或者与其分离的视频或图像捕获系统、激光扫描、共焦成像、光学相干层析成像、摄影测量、主动和被动立体视觉和三角测量、干涉测量和相移原理和/或成像、波前采样和/或成像。一个或多个光学成像系统或三维扫描仪可以例如用于成像和/或监测以下各项的例如坐标、位置、定向、对准、移动方向、移动速度：
-解剖标志、患者表面、器官表面、组织表面、病理组织和/或表面，例如为了配准的目的，例如患者和/或手术部位，例如一个或多个骨骼或软骨，和/或一个或多个光学头戴式显示器，例如在共同坐标系中
-外科医生的手和/或手指，例如用于监测外科手术中的步骤。
○选择手和/或手指的运动可以与相应的手术步骤相关联。当三维扫描仪系统检测到特定的手和/或手指运动时，它可以触发相应的手术步骤或下一个手术步骤的显示，例如通过显示预定的虚拟轴线，例如扩孔、拉削或钻孔轴线、虚拟切割平面、虚拟器械、虚拟植入体组件等。
○执行虚拟命令，例如使用手势识别或虚拟接口，例如虚拟触摸板
-一个或多个光学头戴式显示器，例如与例如手术部位和/或外科医生的手和/或手指配准在共同坐标系中
当需要无标记配准，例如不使用例如具有几何图案和/或惯性测量单元和/或发光二极管和/或导航标记的光学标记进行配准时，使用光学成像系统和/或三维扫描仪来配准例如手术部位和/或一个或多个光学头戴式显示器是有帮助的。用于配准的光学成像系统和/或三维扫描仪的使用也可以与一个或多个例如具有几何图案和/或惯性测量单元和/或发光二极管和/或导航标记的光学标记的使用相结合。
在实施方案中，光学成像系统和/或三维扫描仪生成的一个或多个三维模型和/或三维表面可以与例如为计算机断层扫描、磁共振扫描、正电子放射断层扫描、其他扫描或其组合的另一影像学检查生成的一个或多个三维模型和/或三维表面和/或如在说明书中描述的或本领域中已知的例如使用骨变形技术从X光片或多个X光片生成或导出的三维模型和/或三维表面配准、叠加和/或对准。
利用光学成像系统或三维扫描仪，虚拟三维模型可以通过后处理例如从单个视角获取的单个图像来重建。在这种情况下，重建不能用连续的数据捕获来实时执行。光学成像系统或三维扫描仪也可以实时生成真实的三维数据。
例如，利用使用例如主动三角测量技术的共焦显微镜，投影仪可以将变化的光图案(例如蓝光)投射到手术野，例如通过关节镜暴露的关节表面或骨骼或软组织，例如使用可以具有透射率随机分布并且可以由包含透明和不透明结构的子区域形成的投影栅格。通过使用用于改变光路长度的元件，对于每个获取的轮廓，可以规定光的特性与图像平面离成像光学器件的光学距离之间的特定关系。光源可以产生照明光束，该照明光束可以聚焦到手术野的表面，例如关节表面。图像传感器可以接收由目标对象表面反射的观察光束。聚焦系统可以将观察光束聚焦到图像传感器上。光源可以分成多个可以根据光强独立调节的区域。因此，由每个传感器元件检测的光强可以是扫描头与目标对象上相应点之间距离的直接测值。
平行共焦成像可以例如通过将入射激光束阵列(例如穿过聚焦光学器件和探测面)照射在手术野(例如关节表面、骨骼或软组织)上来执行。聚焦光学器件可以在一个或多个位置限定一个或多个朝向探针面的焦平面，这些位置可以例如通过马达或其他机构改变。激光束可以在手术野上产生被照亮的点或图案，并且返回光线的强度可以在焦平面的不同位置处测量，确定产生反射光束的最大强度的点特定位置。可以生成表示手术野的三维结构的拓扑的数据，该手术野为例如在关节镜检查期间暴露和/或可见和/或可接近的例如关节表面、骨骼或软组织。通过从两个或更多个不同的角度位置确定为例如相邻关节表面或骨或软组织的相邻部分或组织的表面拓扑，然后组合这些表面拓扑，可以获得整个手术野的完整三维表示。可选地，采集单元本身中可以包括色轮。在这个示例中，为例如关节表面、骨骼或软组织的手术野的三维结构的二维(2D)彩色图像也可以相对于该结构以相同的角度和定向拍摄。因此，二维图像上具有唯一坐标的每个点可以对应于三维扫描上具有相同x和y坐标的相似点。成像过程可以基于用三个不同颜色的照明光束(例如红色、绿色或蓝色光)照射目标表面，这三个照明光束可组合以提供白光，由此，例如，捕获对应于每个照明辐射的为例如关节表面、骨骼、软骨或软组织的手术野的目标部分的单色图像。单色图像可以选择性地组合以创建全色图像。三个不同颜色的照明光束可以通过一个与滤色器光学耦合的白色光源来提供。
对于使用例如共焦传感器的光学相干断层摄影(OCT)，激光数字化仪可以包括激光源，该激光源可例如耦合到光纤电缆、耦合器和检测器。耦合器可以将光源发出的光分成两路。第一路径可以通向成像光学器件，该成像光学器件可以将光束聚焦到扫描镜上，该扫描镜可以将光引导到手术野的表面，例如关节表面，例如在关节镜检查期间可以看到或接近的关节表面、软骨、骨和/或软组织。来自光源的第二光路可以通过耦合器耦合到光学延迟线和反射器。第二光路，例如参光路，可以具有受控且已知的路径长度，如由光学延迟线的参数配置的。光可以从为例如关节表面、软骨、骨和/或软组织的手术野的表面反射，通过扫描镜返回，并通过耦合器与来自光学延迟线的参考路径光组合。组合光可以通过光缆耦合到成像系统和成像光学器件。通过利用低相干光源并通过已知的变化改变参考路径，激光数字化仪可以提供光学相干断层扫描(OCT)传感器或低相干反射测量传感器。聚焦光学器件可以放置在定位装置上，以便改变激光束的聚焦位置，并作为共焦传感器工作。来自单个样品/组织位置的对象上的一系列成像激光段可以交错在来自基本相同的样本/组织位置的样本/组织的两个或更多个三维图之间。操作者在每个子帧之间的运动可以通过参考点进行数学追踪。操作者的运动可以被可选地移除。
主动波前采样和/或成像可以使用结构光投影来执行。扫描系统可以包括主动三维成像系统，其可以包括例如放置在照明路径或成像路径中的离轴旋转光圈元件。对象点的平面外坐标可以通过例如利用离轴旋转光圈元件对光学波前进行采样并测量散焦模糊直径来测量。该系统可以包括透镜、旋转光圈元件和图像平面。单个光圈可以帮助避免来自不同对象区域的图像重叠，并且可以帮助提高空间分辨率。旋转光圈可以允许在几个光圈位置拍摄图像。光圈的移动可以使将在不同光圈位置的单个曝光图像记录在电荷耦合器件(CCD)上成为可能。为了处理图像，可以应用局部互相关来揭示图像帧之间的图像差异。
在另一个实施方案中，扫描仪可以使用偏振复用器。扫描仪可以将激光片光投射到手术部位，例如在关节镜检查期间暴露或可访问的例如关节表面、软骨，受损的、患病的或正常的软骨，软骨下骨，皮质骨等，并且然后可以利用偏振多路复用器光学地组合由激光片光照射的轮廓的多个视图。扫描仪头可以使用激光二极管来产生激光束，该激光束可以穿过准直透镜，随后是片光发生器透镜，该片光发生器透镜可以将激光束转换成激光片光。激光片光可以被折叠式反射镜反射，并且可以照亮手术野的表面。像这样的系统可以选择性地使用被动或主动三角测量将来自两个视角的光组合到单个摄像头上。像这样的系统的系统可以被配置成实现横向分辨率和景深的独立性。为了实现这种独立性，成像系统可以被物理定向，以满足舍普弗罗格原理(Scheimpflug principle)。舍普弗罗格原理是描述光学系统聚焦平面方向的几何规则，其中透镜平面不平行于图像平面。这使得基于片光的三角测量系统能够保持要求高精度(例如配准精度)的应用所需的高横向分辨率，同时提供大的聚焦深度。
三维扫描仪探针可以用片光扫过一个或多个组织表面，其中该片光投影仪和扫描仪探针内的成像光圈可以沿着整个扫描路径的全部或部分快速来回移动，并且可以例如近乎实时地显示被扫描组织表面的数字三维模型的实时三维预览。三维预览显示可以提供关于探针如何相对于目标组织表面定位和定向的反馈。
在其他实施方案中，可以采用具有结构光投影的主动立体摄影测量原理。手术野可以由结构化照明点的二维阵列照明。可以通过将结构化照明的存储图像三角定位于诸如平面的参考表面上而从单个图像中获得三维模型。可以使用单个或多个摄像头。为了获得z方向的信息，手术部位可以由从相对于手术部位的第一角度投影的结构化照明的二维图像照明。然后，摄像头可以以相对于手术部位的第二角度定位，以产生包含在第二角度观察的x和y方向上的二维信息的正像。从摄影幻灯片投影的结构化照明可以在手术部位上叠加二维图案阵列，并且可以出现在捕获的图像中。然后，通过参考投影在参考平面(该参考平面也可以从第一角度被照明)上的结构化照明的图像对图像上的阵列中的每个图案执行三角测量，从结构化照明下的手术部位的相机图像中恢复z方向上的信息。为了明确匹配手术部位图像和存储图像中的对应点，可以用二维随机图案对结构化照明的点进行空间调制，该二维随机图案可以被生成并存储在可投影介质中。随机图案是可再现的，因此投影到要成像的手术部位上的图案与保存的图像中的相应图案相同。
云纹干涉测量法(Accordion fringe interferometry，AFI)可以使用来自两个点光源的光来照明具有干涉条纹图案的对象。可以使用高精度数码相机记录条纹的曲率。表观条纹弯曲度加上摄像头和激光源之间的已知几何结构使得AFI算法能够数字化被扫描对象的表面。与其他扫描仪相比，AFI具有以下优势：对环境光变化和噪声的敏感度较低，精度高，投影仪景深大，扫描软骨等光亮半透明表面的能力增强，以及无需目标和摄影测量系统即可扫描的能力。可以使用光栅和透镜。或者，电磁辐射的相干点源也可以在没有光栅和透镜的情况下产生。例如，电磁辐射可从一对或多对光纤发射，光纤可用于用干涉条纹照射目标对象。因此，可以避免需要几毫秒或更长时间来实现相移的宏观光栅的移动。基于光纤的移相器可用于在几微秒或更短的时间内改变从两根光纤的出口端发射的电磁辐射的相对相位。探测器阵列可以接收从被照明对象的表面和表面下区域散射的光辐射。可以由探测器阵列响应于接收到的电磁辐射而产生电信号。处理器接收电信号，并基于发射的光辐射和接收的由表面散射的光辐射的相对相位的变化来计算组织表面的三维位置信息。可以使用波长在大约350纳米和500纳米之间的光辐射源；具有其他波长的光辐射源也可以使用。
其他光学成像系统和/或三维扫描仪可以使用人类立体视觉的原理和线性投影的原理：如果直线被投影到对象上，则直线将围绕对象弯曲。线的这种变形允许对表面轮廓得出结论。
当光学成像和/或三维扫描在关节镜手术的环境中执行时，光学成像和/或三维扫描设备可以集成到内窥镜中，包括通过共享相同的光纤或使用单独的光纤，例如在相同的外壳或单独的外壳中。关节镜光学成像和/或三维扫描探针可以通过与用于关节镜的入口相同的入口插入，包括当集成到关节镜中或与关节镜一起在共同外壳中时，或者可以通过第二单独的入口插入。可以通过可选地利用集成到、附接到或分离于一个或多个光学头戴式显示器的一个或多个摄像头或视频系统，使用光学标记(例如具有一个或多个几何图案，例如二维的或三维的，或发光二极管)追踪位置、定位、方向、对准和/或移动方向来追踪用于关节镜手术过程的光学成像和/或三维扫描探针。摄像头或视频系统可以以离散的、限定的角度布置，从而利用包括视差信息的角度信息来追踪附接于探针(例如关节镜和/或光学成像和/或三维扫描探针)的光学标记的距离、角度、定向或对准。用于关节镜手术的光学成像和/或三维扫描探针和/或关节镜可以可选地通过使用导航标记(例如红外或射频标记)和手术导航系统追踪位置、定位、定向、对准和/或移动方向来追踪。用于关节镜手术的光学成像和/或三维扫描探针和/或关节镜可以可选地通过利用集成到、附接到或分离于一个或多个光学头戴式显示器的一个或多个摄像头或视频系统直接追踪位置、定位、定向、对准和/或移动方向来追踪，其中处理信息的计算机系统和软件可以使用图像处理和模式识别来识别一个或多个探针的已知几何结构及其在坐标系内的例如相对于患者、手术部位和/或手术台定位。
利用任何光学成像和/或三维扫描仪技术，如果在采集和/或扫描和/或三维表面中有孔，可以执行重复扫描来填充孔。还可以将扫描的表面与手术部位(例如关节表面、软骨、受损或患病或正常的软骨、软骨下骨、骨和/或软组织)的三维表面或三维模型进行比较，所述三维表面或三维模型是从影像学检查(例如超声波、计算机断层扫描或磁共振成像扫描)获得的，或者是通过如说明书的其他部分中所述的从X光进行骨变形而获得的。可以确定通过光学成像系统和/或三维扫描仪生成的三维模型或三维表面与从影像学检查或X光骨变形获得的三维表面或三维模型之间的表面几何形状上的差异；类似地，可以确定表面或三维模型是否显示足够的共同性，以允许利用光学成像系统和/或三维扫描仪获得的术中三维表面或三维模型与从术前影像学检查或X光骨变形获得的三维表面或三维模型的配准。如果没有足够的共同性，可以使用光学成像和/或三维扫描仪技术执行额外的扫描，例如以便增加扫描数据的空间分辨率、扫描数据的精度和/或填充模型或表面中的任何孔。可以利用本领域中已知的任何表面匹配算法来配准重叠的表面区域，从而将所有表面部分变换到相同的坐标空间中，例如Besl等人的一种三维形状配准方法(A Method forRegistration of 3-D Shapes)；1992年；IEEE Trans PAMI 14(2)：239-255中描述的迭代最近点方法(Iterative Closest Point method)。
可选地，对于任何前述实施方案，光学成像系统或三维扫描仪可以具有附接到其上的引导或稳定装置的形式，该引导或稳定装置可以例如靠在为例如关节表面、骨骼或软组织的目标组织上并在其上移动。引导或稳定装置可以帮助保持扫描仪与目标组织之间的恒定距离。引导或稳定装置也可以帮助保持扫描仪与目标组织之间的恒定角度。例如，引导或稳定装置可以与关节镜检查期间使用的光学成像系统或扫描仪一起使用，保持例如与关节表面或关节内韧带、软骨、骨或其他结构(例如股骨凹陷或胫骨脊或髋关节中的三辐射软骨区域或骨头凹)的恒定距离。
多维成像，重建和可视化
本发明的各种实施方案可以在一个、两个、三个或更多个维度上实施。以下是可以应用的潜在尺寸、视图、投影、角度或重建的示例性列表；这份列表并非详尽无遗，只是示范性的。本领域技术人员可以识别用于实现本发明的附加尺寸、视图、投影、角度或重建。示例性尺寸列于表4中。
表4：可通过光学头戴式显示器利用虚拟图像可选地以立体的方式显示的潜在尺寸、视图、投影、角度或重建的示例性列表
第1维：上下，比如，患者的物理数据
第2维：内外侧，比如，患者的物理数据
第3维：前后位，比如，患者的物理数据
第4至第6维：1、2或3维的头部运动(以及与其一起的眼镜运动/光学头戴式显示器)
第7至第9维：1、2或3维的器械运动，比如，与手术野、器官或头部有关，包括头部运动
第10至第13维：1、2或3维的手臂或手部运动，比如，与手术野、器官或包括头部运动的头部有关
第14至第16维：患者的虚拟三维数据，比如，从扫描或术中测值获得
第17至第19维：1、2或3维血管流；，比如，与手术野(surgical field)，器官或包括头部运动的头部有关
第20至第22维：温度图(包括由低温或高温引起的变化)，热成像，在1、2或3维中，比如，与手术野有关
第25至第28维：代谢图(比如，使用MRS，正电子放射断层造影术-计算机断层扫描，单光子发射断层扫描-计算机断层扫描)，在1、2或3维中，比如，与手术野有关
第29至第32维：功能图(比如，使用功能性磁共振、正电子放射断层造影术-计算机断层扫描、单光子发射断层扫描-计算机断层扫描、正电子放射断层造影术、运动成像)，在1、2或3维中，比如，与手术野或患者有关
第33至第35维：1、2或3维的共焦成像数据和/或显微镜数据，例如与手术野或患者相关的数据，例如通过内窥镜或关节镜或牙科扫描仪或暴露表面的直接可视化/成像获得
第36至第38维：1、2或3维的光学成像数据，例如与手术野或患者相关的数据，例如通过内窥镜或关节镜或牙科扫描仪或暴露表面的直接可视化/成像获得
第39至第40维：1、2或3维的激光扫描数据，例如与手术野或患者相关的数据，例如通过内窥镜或关节镜或牙科扫描仪或暴露表面的直接可视化/成像获得
任何斜面都是可能的。任何透视投影都是可能的。任何倾斜角度都是可能的。任何曲面都是可能的。任何弯曲透视投影都是可能的。可以在不同类型的数据之间进行一维，二维和三维数据的任意组合。
通过光学头戴式显示器配准实时数据和虚拟数据
在一些实施方案中，患者虚拟数据可以叠加到通过光学头戴式显示器看到的实时数据上。虚拟数据可以是未处理形式的原始数据，比如，患者的术前图像，或者可以是处理过的数据，比如，过滤数据或分割数据。
数据分割
当患者图像叠加到通过光学头戴式显示器看到的实时数据上时，在许多实施方案中，可能需要图像分割。本领域中的任何已知算法可用于此目的，比如，阈值处理、种子点技术、火线、可变形模型、统计模型、活动形状模型、水平集方法、行进立方体算法、人工神经网络、深度学习技术或其组合等。许多这些算法都是开源或商业库的一部分，比如，洞悉分割和配准工具包(Insight Segmentation and Registration Toolkit，ITK)、开源计算机视觉库OpenCV、G'MIC(GREYC's Magic for Image Computing，GREYC的图像计算魔法)、Caffe，或者MATLAB(MathWorks,Natick,Mass.)。图2中提供了用于分割和后续的代表性工作流程。可以获得可选的术前影像学检查40。可以获得可选的术中影像学检查41。可以对术前40或术中41影像学检查进行分割42，提取比如表面、体积或关键特征。可以生成可选的三维重建或三维渲染43。术前40或术中41影像学检查和任何三维重建或三维渲染43可以在共同坐标系44中配准。术前40或术中41影像学检查和任何三维重建或三维渲染43可用于生成虚拟手术计划45。虚拟手术计划45可以在共同坐标系44中配准。手术部位46可以在共同坐标系44中配准。可以获得术中测量47，并且可以将其用于生成虚拟手术计划45。光学头戴式显示器48可以投影或显示叠加在手术部位上并与手术部位对准的虚拟数据或虚拟数据49的数字全息图。光学头戴式显示器48被配置为使用内置摄像头或图像捕获或视频捕获系统50来可选地检测和/或测量可用于坐标测量52的一个或多个光学标记51的位置和/或定向和/或对准，并且坐标测量可以是术中测量47的一部分。
配准软件和算法
可以使用本领域中已知的各种技术来执行实时数据和虚拟数据的配准。这些包括但不限于，表面配准算法(比如，迭代最近点算法)、统计模型、主动形状模型(Active ShapeModels)、基于交互信息或其他体积配准算法、对象识别、模式识别或计算机视觉技术、深度学习或其他人工智能方法。处理的数据，比如，可以由网格数据、参数表面数据、点云数据、体数据或其组合组成。这些方法在本领域中是已知的，并且已经在公共和/或商业可用的代码库和应用程序编程接口(API's)中实现，诸如Insight Segmentation and RegistrationToolkit(ITK)、开源计算机视觉库OpenCV、Elastix、Plastimatch或医学图像配准工具包(MIRTK)。
通过光学头戴式显示器叠加虚拟数据和实时数据
在一些实施方案中，分割数据或原始数据可以叠加在通过光学头戴式显示器看到的患者实时数据上。这种叠加可以以未配准的形式发生，即，患者虚拟数据可能不与通过光学头戴式显示器看到的实时数据对准。在该情况下，佩戴光学头戴式显示器的操作者可以在可叠加虚拟数据和患者实时数据的相应特征的方向上移动头部。外科医生或操作者还可以与外科医生/操作者头部运动无关地使用其他方式移动和重新定向虚拟数据，比如，光学头戴式显示器中显示的追踪球或虚拟显示接口。操作者可以调整实时数据的放大倍率，使得虚拟数据的某些特征的大小、形状、长度、厚度在对象/患者的给定距离内与实际数据的大小、形状、长度、厚度匹配。
比如，在脑外科手术期间，外科医生可以在直观显示实时数据时，观察患者脑部的暴露脑回和脑沟。光学头戴式显示器可以显示患者的脑回和脑沟的虚拟三维模型。外科医生可以选择性地调整三维模型的放大倍率，以使模型匹配实时数据中相应的脑回和脑沟的大小或宽度或长度。外科医生可以选择调整光学头戴式显示器中显示的虚拟数据的透明度或不透明度。通过光学头戴式显示器传输的虚拟数据与实时数据的比率可以是1:10、1:9、1:8、1:5、1:2、1:1、2:1、3:1、5:1、8:1、10:1以及其分数或倍数。虚拟数据和实时数据的透明度或不透明度的任何组合都是可能的。外科医生可以在叠加比如，患者的脑回和脑沟的虚拟特征和患者实时数据的方向或取向上移动其头部。
一旦数据被叠加，外科医生就可以选择将虚拟数据与实时数据配准。配准可以是如上所述的那样简单，比如，外科医生视觉确认虚拟数据和实时数据基本上匹配或基本上叠加。此时，外科医生可以可选地将实时数据和/或实时数据的坐标系参考虚拟数据和/或虚拟数据的坐标系(2、3维或更多维)。一旦数据被配准，外科医生就可以将其头部移动到任何期望的位置或方向，比如，以便从不同视角观察患者的大脑或病变和邻近的比如敏感性的解剖结构。光学头戴式显示器的惯性测量单元将配准头部运动、头部运动的方向、最新头部位置和头部定向。外科医生头部的位置和定向的变化可以同时或者，如果需要，可以非同时地应用于虚拟数据，该虚拟数据现在可以与所得到的新位置和定向有关的实时数据叠加。另外，当外科医生移动其头部或身体进一步远离目标解剖结构时，惯性测量单元可以测量位置的变化和距目标解剖结构的距离的加大。根据与惯性测量单元的距离，可以对虚拟数据应用放大或缩小系数，使得在一些实施方案中，虚拟数据的大小、形状和尺寸将接近或匹配实时数据的大小、形状和尺寸，无论外科医生头部的距离、定位和定向如何。
出于配准虚拟数据和实时数据的目的，光学头戴式显示器可选地放置在固定位置，比如，安装在支架上或三脚架上。当光学头戴式显示器被放置在固定位置时，外科医生可以查看实时数据，并且实时数据可以可选地用摄像记录和/或显示在监视器上。然后可以叠加虚拟数据，并且可以执行虚拟数据和实时数据的匹配和配准。此时，外科医生或操作者可以从固定位置移除光学头戴式显示器，并且外科医生可以在手术过程中佩戴光学头戴式显示器。
可选地使用不同的颜色显示虚拟数据，比如，红色、绿色、黄色等。可选地仅显示虚拟数据的选择特征的轮廓。比如，这些特征可以是患者大脑的脑沟(比如，黑色线条或黑色或其他颜色的线条)，不对这些脑沟边缘的脑回进行可视化。或者，比如，仅显示一处病变，比如，在脑的示例中的肿瘤，成胶质细胞瘤。或者，可以综合显示正常组织和病理组织的虚拟数据。
虚拟数据可以与通过光学头戴式显示器看到的实时数据进行配准。可以使用本领域已知的任何方法进行配准，以便在2,3或更多维度上配准或互相参照虚拟数据和实时数据。
在一些实施方案中，整个外科手术期间要保持虚拟数据和实时数据的配准。在一些实施方案中，虚拟数据和实时数据的配准将在外科手术或外科手术计划的各选择部分期间保持，其可以是或可以包括虚拟手术计划，比如，术前生成的手术计划。
在本发明的一些实施方案中，光学头戴式显示器叠加虚拟数据和实时数据同时发生。在一些实施方案中，光学头戴式显示器对虚拟数据和实时数据的叠加不是同时的。比如，可以间歇地叠加虚拟数据。
虚拟数据可以是透明的、半透明的或不透明的。如果虚拟数据是不透明的，则可以间歇地显示它们，以便操作者或外科医生可以看到它们如何与患者实时数据相关联地投射。
如果虚拟数据的组合与实时数据同时显示，则可以用不同颜色显示不同类型的虚拟数据。下面提供虚拟和实时数据的代表性组合。以下仅是说明性的，决不意味着限制本发明：
实时数据：患者的大脑；手术暴露的脑回和脑沟。
实时数据：手术器械，比如，活检针或切割工具。
虚拟数据：具有脑回和脑沟的患者脑部，导自为比如计算机断层扫描或磁共振扫描的成像模式以及可选地从成像模式分割。
虚拟数据：脑部深处的脑肿瘤。
虚拟数据：与外科医生当前所用的相同的手术器械，在器械的虚拟图像中，虚拟数据指示手术器械的期望的定向，定位或方向。
任何前述虚拟数据可以以二维或三维显示。如说明书的其他部分中概述的多维显示器也可行。
比如，患者的正常组织，比如，正常的脑组织，可选地以二维显示，比如，使用灰度图像，同时，患者的畸形组织，比如，中风、出血或肿瘤，可以三维显示。光学头戴式显示器可以显示二维、三维和多维图像的任何组合；光学头戴式显示器可以将任何二维、三维和多维图像的组合叠加在患者实时数据上。
虚拟二维、三维和多维数据可以通过不同的数据采集技术生成或获取，比如，不同的影像学检查等。
锁定或移动虚拟数据
在本发明的一些实施方案中，虚拟数据可以与外科医生或操作者相关地被锁定，或与患者或患者体内的某个目标解剖结构相关地被锁定。这意味着，即使外科医生移动其头部或身体或部分患者解剖结构正在移动，虚拟数据也不会在OHMD显示器中移动。比如，一旦配准，光学头戴式显示器可以显示目标组织或相邻组织的虚像。目标组织或相邻组织的虚像可以是，比如，穿过肿瘤或其他类型的病理组织的图像。当外科医生或操作者在外科手术过程中移动其头部或身体时，虚拟数据将不会移动，而是显示在相同位置内。
在本发明的一些实施方案中，虚拟数据可以与外科医生或操作者关联移动，或与患者或患者体内的某个目标解剖结构关联移动。这意味着，如果外科医生移动其头部或身体或患者的解剖结构的部分正在移动时，则虚拟数据将在OHMD显示器中移动。比如，一旦配准，光学头戴式显示器可以显示目标组织或相邻组织的虚像。目标组织或相邻组织的虚像可以是，比如，穿过肿瘤或其他类型的病理组织的图像。当外科医生或操作者在外科手术过程中移动其头部或身体时，虚拟数据将以与外科医生移动其头部或身体的方式相同的方式移动并改变其位置和定向，通常反映外科医生通过移动其头部或身体获得的视点或视角上的变化。
可选地，虚拟数据的移动比外科医生的头部或身体的移动，有更大的虚拟距离或更大的角度，或更小的虚拟距离或更小的角度。
提高移动或重新定向虚拟数据的准确性
一旦虚拟数据和物理数据之间完成配准，跟随的虚拟数据的移动或重新定向，比如，外科医生的头部运动或身体运动或操作手臂或手的运动，或患者的或患者的某些身体部位的运动可以比如通过使用光学头戴式显示器的惯性测量单元监测外科医生头部的移动和位置和/或方向的变化来实现。
在一些实施方案中，本领域已知的光学或射频追踪器(RF tracker)或其他追踪装置可以应用于光学头戴式显示器和/或患者，包括患者的选择身体部位或目标组织，比如，患者的膝关节。使用本领域已知的标准手术导航技术，可以记录光学或射频追踪器的空间位置，比如，用于起始姿势或位置或定位。追踪器的移动，比如，由外科医生的头部或身体的运动或者通过患者的至少一部分的运动引起的，可以使用导航系统追踪。然后，使用有关外科医生头部或患者或两者的位置变化，定向变化或移动方向的信息来相应地更新虚拟数据，或者相应地更新光学头戴式显示器中虚拟数据的显示，或两者都更新。以这种方式，虚拟数据和实时数据可以由光学头戴式显示器叠加，通常以精确的方式。
可选地，由惯性测量单元生成的位置、定向、方向数据等可以与由手术导航系统生成的此类数据结合使用。数据的组合可以有益于更精确地测量外科医生的头部、身体、操作臂、手或患者的位置或方向的变化。
在2维或更多维度中使用虚拟数据
在本发明的一些实施方案中，光学头戴式显示器可以显示患者的二维虚拟图像。图像可以是透射型图像，比如，X光或计算机断层扫描追踪扫描(CT scout scan)。图像可以是患者的选择解剖结构的横截面图像。图像可以是原始图像或患者的复位格式，重建或分割或部分分割的图像。
在本发明的一些实施方案中，外科医生将通过光学头戴式显示器查看患者实时数据，比如，具有患者的脑回和脑沟的暴露的大脑表面。外科医生可以将比如患者大脑的磁共振扫描之类的患者虚拟数据相对于患者实时数据配准。配准可以在2维、3维或更多维度进行。虚拟数据相对于实时数据的配准可以包括配准不同类型的虚拟数据，比如，不同类型的正常或患病组织，对于不同类型的正常或患病组织使用的不同的成像模式和使用的不同维度等。可以同时显示多个二维扫描平面。这些二维扫描平面可以是平行或非平行平面，正交或可变角度的非正交平面。
滚动、移动叠加到实时数据上的虚拟数据
在本发明的一些实施方案中，外科医生或操作者可选地滚动浏览一组连续或非连续的虚拟二维图像数据以及正被叠加到患者实时数据——通常为来自相同解剖部位，比如，大脑、脊柱、髋关节、膝关节等的实时数据——上的三维图像数据。可以通过本领域已知的任何类型的用户接口引导滚动。比如，外科医生可以使用由光学头戴式显示器投射的虚拟接口，其中他或她可以向上或向下或向左或向右移动虚拟箭头，以向后或向前滚动图像，或者比如，旋转图像，或以不同的多平面角度显示图像或改变视角或投影角度。
外科医生可选地通过头部前后移动来滚动虚拟图像数据或移动虚拟图像数据，比如，用于在虚拟图像卷中向后或向前滚动。比如，外科医生可以向左或向右移动其头部以旋转图像，或以不同的多平面角度显示图像或者改变三维图像的视角或投影角度。
外科医生可选地通过前后移动其手或手指或任何其他身体部位来滚动虚拟图像数据，比如，用于在虚拟图像卷中向后或向前滚动。比如，外科医生可以前后左右移动其手或手指或任何其他身体部位，以旋转图像或以不同的多平面角度显示图像或改变视角或投影角度。外科医生可以在旋转或转动运动中移动其手或手指，以旋转或转动虚拟数据。可使用头或手或眼和其他身体信号的任何组合改变虚拟数据的显示。
可选地，虚拟数据的这些显示变化可以使用与用于触发屏幕变化的由外科医生的身体部位进行的有关定位、位置、定向、角度、方向和运动的变化相同的变化在光学头戴式显示器中执行。或者，可以使用与外科医生身体部位的定位、位置、定向、角度、方向和运动的变化相关的放大系数或缩小系数来执行虚拟数据的定位、位置、定向、角度、方向和运动等相关变化中的任何一个。这些放大系数或缩小系数可以是线性的或非线性的，比如，指数或对数。在一些实施方案中，控制OHMD显示器中的虚拟数据的移动的外科医生身体部位越移动远离其原始位置，对光学头戴式显示器中的虚拟数据的移动引起的变化越大。在一些实施方案中，控制OHMD显示器中的虚拟数据的移动的外科医生身体部位越远离其原始位置，对光学头戴式显示器中的虚拟数据的移动引起的变化越小。
三维或更多维虚拟数据的使用
在本发明的一些实施方案中，光学头戴式显示器可以显示患者的三维虚拟图像。患者的三维图像可以包括比如，在预期手术区域或手术部位中的不同类型的解剖结构的三维显示。
可以在术前、术中和/或术后生成患者的图像数据或其他数据的三维重建。虚拟三维图像可以包括整个解剖区域或选定组织或解剖区域的选定组织。比如，不同组织可以由光学头戴式显示器使用例如不同颜色在三维中虚拟地显示。可以以这种方式显示正常组织和病理组织。
比如，正常组织可以包括脑组织、心脏组织、肺组织、肝组织、血管结构、骨、软骨、脊柱组织、椎间盘、神经根。光学头戴式显示器可以使任何组织虚拟地可视化。
比如，在手术部位配准患者虚拟数据和实时数据
在本发明的一些实施方案中，由光学头戴式显示器显示的患者虚拟数据和通过光学头戴式显示器看到的患者实时数据在空间上相互关联配准，比如在共同坐标系中，例如用同一坐标系中的一个或多个光学头戴式显示器。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。空间共同配准具有以下优势：当外科医生移动其头部或身体时，当光学头戴式显示器移动或患者移动时，患者的虚拟和实时数据的同时显示不受影响或受影响较小。因此，外科医生的眼睛通过光学头戴式显示器看到的患者实时数据的视角——比如，实时手术野——可以保持与外科医生的眼睛通过光学头戴式显示器单元的显示器看到的患者虚拟数据的视角——比如，投影到外科医生的眼睛中的虚拟手术野、虚拟手术平面、虚拟路径、虚拟切割路径或平面——相同，即使外科医生移动其头部或身体的情况下也是如此。以这种方式，外科医生不需要重新思考或调整他的手眼协调，因为通过外科医生的眼睛看到的患者实时数据和通过OHMD显示器看到的患者虚拟数据被叠加，这与诸如下述手术导航方法之类的其他方法根本不同，该手术导航方法在手术室中采用单独的计算机监视器，该监视器具有的用于外科医生的视角不同于该外科医生对患者和手术野的实时数据的视角。此外，利用手术导航，可以在计算机监视器上显示第一虚拟器械，该第一虚拟器械是用比如，红外或射频标记之类的导航标记追踪的物理器械的图像，并且，第一虚拟器械的位置和/或定向可以与虚拟手术计划中生成的相应第二虚拟器械的位置和/或定向进行比较。因此，通过手术导航，比较第一和第二虚拟器械的位置和/或定向。
通过例如借助于类似电子全息环境的立体显示器的混合现实环境中的引导，虚拟手术导引物、工具、器械或植入体可以叠加在关节、脊柱或手术部位上。此外，物理导引物、工具、器械或植入体可对准虚拟手术导引物、工具、器械或植入体的二维或三维图像。因此，混合现实环境中的引导不需要使用导引物，工具，器械或植入体的多个虚拟图像，并且不需要比较虚拟导引物、工具、器械或植入体的多个虚拟图像的位置和/或定向。
在一些实施方案中，虚拟数据可以与外科医生或操作者关联移动，或与患者或患者体内的某个目标解剖结构关联移动。这意味着，如果外科医生移动其头部或身体或患者的解剖结构的部分正在移动时，则虚拟数据将在OHMD显示器中移动。比如，一旦光学头戴式显示器、患者虚拟数据和患者实时数据在共同坐标系中完成配准，则光学头戴式显示器就可以显示目标组织或相邻组织的虚拟图像。目标组织或相邻组织的虚像可以是，比如，肿瘤或其他类型的病理组织或脊柱或脊椎椎弓根的或穿过其的图像。当外科医生或操作者在外科手术过程中移动其头部或身体时，虚拟数据将以与外科医生移动其头部或身体的方式相同的方式移动并改变其位置和定向，通常反映外科医生通过移动其头部或身体获得的视点或视角上的变化。虚拟数据可以包括外科手术工具或器械的三维图像，比如，用于椎体后凸成形术或椎体成形术的针，其中针的虚拟图像显示其相对于脊柱和/或椎弓根的预期定位、定向或路径。虚拟数据还可以包括医疗装置，比如，椎弓根螺钉，其中椎弓根螺钉的虚拟数据显示其相对于脊柱，和/或椎弓根，和/或椎体的预期定位、定向或路径。
在一些实施方案中，利用可以叠加或融合到用于虚拟数据和实时数据的公共对象坐标系统中的至少三个或更多个点来执行配准。还可以使用存在于患者虚拟数据和实时数据中的解剖结构的表面或三维形状来执行配准。在该情况下，可以移动虚拟表面，直到基本上匹配患者的实时表面，或者可以移动虚拟形状，直到基本上匹配患者的实时形状。
可以使用不同的手段来实现患者虚拟数据和患者实时数据的配准。以下内容决不是为了限制本发明，而仅仅本质上是示例性的。
使用直接或间接连接的对象坐标系统配准患者虚拟数据和患者实时数据
如果虚拟数据(比如，患者的图像数据)是通过位于第一对象坐标系中的患者获取的，且实时数据(比如，在手术期间)是通过位于第二目标坐标系中的患者观察或获取的，其中第一和第二目标坐标系可以直接连接(比如，物理方式)，或间接连接(比如，非物理方式)，那么，可以执行患者虚拟数据和实时数据的配准。第一和第二对象坐标系的直接连接可以是，比如，第一和第二对象坐标系之间的物理连接。比如，患者可以被沿着卷尺的长度从第一对象坐标系移动到第二对象坐标系。或者，可以在比如，计算机断层扫描仪或磁共振扫描仪之类的扫描仪内侧扫描患者，随后将扫描仪台移出扫描仪，以便在患者仍位于扫描仪台上的情况下进行外科手术。在该情况下，扫描仪台可以是第一对象坐标系与第二对象坐标系之间的物理连接形式，扫描位置与扫描仪位置外部之间的台移动的长度(用于实时数据，比如，外科手术)可以定义从第一对象坐标系到第二对象坐标系的坐标变换。
可以建立第一(虚拟数据)对象与第二(实时数据)对象之间的间接连接，但其条件是患者在获取虚拟数据(比如，使用影像学检查)与实时数据(比如，当执行外科手术时)之间沿着限定路径移动，其中路径的方向和角度是已知的，使得第一和第二对象坐标系可以互相参照，并且可以使用定义路径的已知信息进行对象坐标转换，患者的虚拟数据、患者的实时数据和光学头戴式显示器可以在共同坐标系中配准)中配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
患者虚拟数据和患者实时数据的配准也可以在无直接或间接连接的对象坐标系统的情况下使用将在以下段落和专栏中解释的其他手段和方法进行，比如，当患者进行一个或多个未知方向、长度或大小的运动时。本说明书中描述的所有不同配准方法的组合是可能的，比如，为了提高配准的准确性的用于同时使用多种配准方法或用于在手术期间切换配准的方法。
使用空间映射配准
例如使用空间映射过程可以获取或配准例如患者实时数据、物理器械的位置和/或定向、植入体组件的位置和/或定向、一个或多个光学头戴式显示器的位置和/或定向之类的实时数据。该过程使用比如，但不限于，深度传感器、激光扫描仪、结构光传感器、飞行时间传感器、红外传感器或追踪探针来创建描述一个或多个对象的表面或环境结构的三维网格。这些装置可以通过收集例如三维坐标信息或一个或多个对象或环境结构上的一个或多个表面点的传感器的距离信息来生成三维表面数据。然后，可以将三维表面点连接到三维表面网格，从而产生实时数据的三维表面图像。然后，可以使用说明书中描述的任何配准技术将表面网格与虚拟数据合并。
实时数据可以是静态的，或者更优选的是，实时数据用附加信息连续更新，以结合一个或多个对象或环境结构的位置或表面的变化。附加信息可以通过深度传感器、激光扫描仪、结构光传感器、飞行时间传感器、红外传感器或追踪探针获取。
对于初始空间映射和映射数据的更新，可以使用通常可用的软件代码库。比如，此功能可以由微软HoloToolkit或Google Project Tango平台提供。已经说明了用于空间映射和追踪的各种技术，包括在US 9,582,717中描述的那些技术，其通过引用明确地并入本文。
使用视觉解剖学特征配准患者虚拟数据和患者实时数据
a)外科医生或操作者将患者虚拟数据相对于患者实时数据进行视觉配准
在一些实施方案中，外科医生或操作者可以将患者虚拟数据与患者实时数据视觉上对准或匹配。患者虚拟数据与患者实时数据的这种视觉上的对准或匹配可以通过例如移动光学头戴式显示器来执行，比如，通过佩戴光学头戴式显示器的操作者的头部移动来执行。在该示例中，患者虚拟数据以固定方式显示，在操作者移动光学头戴式显示器时不改变视角。操作者将移动光学头戴式显示器，直到将患者实时数据对准或叠加到患者虚拟数据的固定投影上。一旦实现了患者实时数据与患者虚拟数据的令人满意的对准、匹配或叠加，外科医生就可以执行配准命令，比如，通过语音命令或键盘命令。现在对患者虚拟数据和患者实时数据进行配准。此时，当配准完成时，患者虚拟数据将对应于光学头戴式显示器的移动而移动，比如，如通过集成惯性测量单元的移动、图像和视野追踪测量到的；所述图像和视野追踪比如，利用图像和视野中的定位点使用图像和/或视频捕获系统、和/或使用带有可以附接到患者、手术部位、骨骼或患者的任何其他组织、外科医生、外科医生的手臂、外科医生的头部或外科医生佩戴的光学头戴式显示器的光学或射频或其他追踪器的附接导航系统进行。
因此，一旦实现了令人满意的对准或匹配，外科医生就可以执行指示成功配准的命令。配准可以包括虚拟数据和实时数据的位置、定向和放大倍率中的至少一者的改变，以便实现对准或匹配。应用于虚拟数据的放大倍率可以指示从光学头戴式显示器或外科医生的头部到匹配组织的距离。作为最大化配准精度的手段，光学头戴式显示器与目标组织或皮肤表面或其他参考组织之间的估计距离可以通过可选的距离物理测量来确认，特别是，在光学头戴式显示器是在固定的位置，比如，在支架或三脚架上的情况下，这种测量可在初始配准期间任选使用。在成功对准或匹配之后，外科医生命令可以在相同的共同坐标系中配准，比如，患者虚拟数据和患者实时数据或光学头戴式显示器。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
在本发明的一些实施方案中，视觉解剖学数据可以是例如大脑的脑回或在比如肝脏或大脑表面上的骨赘或骨刺或病理性骨变形或肿瘤结节或结节。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的方法配准患者虚拟数据和患者实时数据。在该情况下，患者实时数据中的手术改变的组织或组织表面或组织轮廓或形状，诸如，铣削或扩孔后的骨的形状，或组织周长，比如，骨切割或组织体积或其他组织特征可以与比如，在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配，叠加和/或配准，使得外科医生的眼睛通过光学头戴式显示器单元显示器看到患者虚拟数据与外科医生的眼睛通过光学头戴式显示器单元看到的患者实时数据的视角基本相同。在手术组织改变之后匹配，叠加和/或配准患者实时数据和患者虚拟数据，可以使用与前述中描述的方法相同的方法或本说明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。参考图3，图3的示例说明了为初始外科手术步骤配准数字全息图或虚拟数据，执行外科手术步骤并重新配准一个或多个全息图以用于后续外科手术步骤的示例。光学头戴式显示器可以投影或显示患者的虚拟数据或虚拟数据的数字全息图55。数字全息图可选地固定到光学头戴式显示器，以使其随着光学头戴式显示器的移动而移动56。操作者可以移动光学头戴式显示器，直到患者的虚拟数据的数字全息图或虚拟数据叠加到患者实时数据，并与患者实时数据(比如，手术部位)对准57。然后，可以使用与叠加数字全息图的实时数据的坐标相同或相似的坐标来配准虚拟数据或虚拟数据的数字全息图58。然后，外科医生可以执行一个或多个预定的手术步骤，比如，骨切割59。在利用实时数据进行手术改变之后可以可选地配准或重新配准虚拟数据或虚拟数据的数字全息图60。手术改变之后的虚拟数据或虚拟数据的数字全息图可选地由光学头戴式显示器显示61。手术改变之后的虚拟数据或虚拟数据的数字全息图可选地相对于光学头戴式显示器固定，使它随着光学头戴式显示器的移动而移动62。操作者可以移动光学头戴式显示器，直到手术改变之后的患者虚拟数据或虚拟数据的数字全息图叠加到和对准手术改变之后的患者实时数据63。然后，可以使用与叠加数字全息图的手术改变之后的实时数据的坐标相同或相似的坐标来配准虚拟数据或虚拟数据的数字全息图64。然后，外科医生可以执行一个或多个预定的后续手术步骤，比如，骨切割、磨铣或钻孔65。可选地重复前述步骤，直到外科手术完成66。可以使用虚拟手术计划67。可选地，可以由光学头戴式显示器显示患者的原生解剖结构，或包括在第一次手术改变之后的解剖结构68。光学头戴式显示器可选地显示后续手术步骤的数字全息图69。
b)使用图像处理和/或模式识别和匹配技术自动或半自动地相对于患者实时数据配准患者虚拟数据
c)在本发明的一些实施方案中，图像处理技术、模式识别技术或基于深度学习/人工神经网络的技术可用于匹配患者虚拟数据和患者实时数据。可选地，图像处理和/或模式识别算法可用于识别某些特征，比如，患者虚拟数据的脑表面上的脑回或脑沟。包括独特形状的耳朵也可用于匹配患者虚拟数据和患者实时数据。
比如，脑外科手术时，患者可以被放在手术台上。可选择将清洁液或消毒液涂到剃毛的颅骨上，比如，使用聚维酮碘。光学头戴式显示器可以放置在患者身上，或者放在三脚架上或者由操作者佩戴，比如，使患者的头部侧转放在活体患者的耳朵和侧颅骨上。光学头戴式显示器将被放置在活体患者的包括要显示患者虚拟数据的部位上。
患者虚拟数据可以显示在光学头戴式显示器中。患者虚拟数据可以包括，例如患者皮肤，耳朵或鼻子的可视化或其他数据，比如，来自术前磁共振数据。患者皮肤或其他结构，比如，患者的耳朵或鼻子的虚拟数据可以与患者实时数据同时显示。然后，可以移动、重新定向、重新对准并且可选地放大或缩小患者的虚拟数据，直到实现满意的对准，匹配或叠加为止。也可选地在此过程中移动光学头戴式显示器，在患者虚拟数据和患者实时数据之间实现令人满意的大小匹配，可选地在不放大或缩小患者虚拟数据的情况下。
一旦在患者虚拟数据和实时数据之间实现了令人满意的对准、匹配或叠加，操作者就可以执行表示成功配准的命令。可以使用例如如通过集成惯性测量单元、图像和视野追踪(例如，利用图像或视野中的定位点使用图像和/或视频捕获系统、和/或附接到光学头戴式显示器的导航系统)所测量的光学头戴式显示器的位置、定向或方向的变化来使患者虚拟数据随着患者实时数据通过光学头戴式显示器的视图而移动，使得患者虚拟数据与患者实时数据的对象坐标基本相同，由此在手术过程期间保持配准而不受光学头戴式显示器的例如因佩戴光学头戴式显示器的操作者进行头部移动之类的因素所引起的任何运动的影响，并确保当投影到外科医生的视野中时患者虚拟数据与患者实时数据正确叠加。
在将患者虚拟数据成功配准到患者皮肤或诸如耳朵或鼻子等的其他结构之后，操作者或助手可以将标记或校准或配准体模或装置施加在患者身上，比如，靠近开颅手术的预期部位。标记或校准或配准体模或装置不能被随后放置的任何盖布或手术罩覆盖。然后，通过使用放置在患者身上的实时标记或校准或配准体模或装置并通过将这些与患者皮肤或诸如耳朵或鼻子等其他结构的实时数据互相参照，将患者虚拟数据配准到患者实时数据，从而能够将患者虚拟数据与患者实时数据二次配准。这可以通过例如在与放置在患者身上的标记或校准或配准体模或装置同一坐标系中，配准患者的皮肤或诸如耳朵或鼻子等其他结构来实现，比如，通过将患者皮肤或诸如耳朵或鼻子或骨赘或骨刺或其他骨解剖结构或骨畸形等其他结构的患者虚拟数据与标记或校准或配准体模或装置的实时数据共同配准。患者皮肤或诸如耳朵或鼻子或骨赘或骨刺或其他骨骼解剖结构或骨畸形等其他结构与附接于患者的标记或校准或配准体模或装置之间在坐标上的距离、偏移、角度偏移或总体差异可以测量并可用于将患者虚拟数据与来自患者皮肤或诸如耳朵或鼻子等其他结构的患者实时数据的配准切换为与标记或校准或配准体模或装置的实时数据的配准。可选地，能够既保持与患者皮肤或诸如耳朵或鼻子等其他结构的实时数据的配准又保持与标记或校准或配准体模或装置的实时数据的配准。可选地，系统可以评估是配准到患者皮肤或诸如耳朵或鼻子等其他结构的实时数据还是配准到标记或校准或配准体模或装置的实时数据更准确，系统可以在两种配准之间来回切换。比如，如果从光学头戴式显示器到患者的皮肤或诸如耳朵或鼻子等其他结构的距离增加或减少，超过一定程度，比如，可以可选地预定义的阈值，或者它们中的一些被盖布部分覆盖，则系统可以切换到与标记或校准或配准体模或装置的实时数据的配准。如果从光学头戴式显示器到标记或校准或配准体模或装置的距离增加或减少，超过一定程度，比如，可以可选地预定义的阈值，或者它们中的一些被盖布部分覆盖，则系统可以切换到与患者的皮肤或诸如耳朵或鼻子等其他结构的实时数据的配准。或者，如果患者的皮肤或诸如耳朵或鼻子等或骨赘或骨刺或其他骨骼解剖结构或骨畸形等其他结构与光学头戴式显示器的角度增大或减小超过一定水平，比如，可以可选地预定义的阈值，则系统可以切换到与标记或校准或配准体模或装置的实时数据的配准。如果标记或校准或配准体模或装置与光学头戴式显示器的角度增大或减小超过一定水平，比如，可以可选地预定义的阈值，则系统可以切换到与患者的皮肤或诸如耳朵或鼻子等或骨赘或骨刺或其他骨骼解剖结构或骨畸形等其他结构的实时数据的配准。
然后，操作者或助手可以在该部位上放置无菌盖布或手术覆盖物，但是，最好不覆盖标记或校准或配准体模或装置。可以通过或附接于患者(比如，在开颅部位附近或内部)的标记或校准或配准体模或装置的实时数据来保持配准。
然后，可以通过光学头戴式显示器，对患者实时数据进行图像处理和/或模式识别，例如，使用内置图像捕获设备和/或三维扫描仪来捕获患者的实时数据或使用附接到光学头戴式显示器、与光学头戴式显示器集成或耦合到光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪。
然后，可以匹配虚拟和实时的数据特征或模式。叠加该匹配可以包括虚拟数据的移动和/或重新定向和/或放大和/或缩小，以便与患者实时数据成功地配准以及将患者虚拟数据与患者实时数据成功地叠加。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖结构或骨畸形。
(a)和(b)的组合(例如具有手动调整选项的自动配准功能)，比如，通过在图像处理软件和/或模式识别软件和/或匹配软件识别出潜在匹配或执行初始匹配之后，相对于实时图像数据移动虚拟图像数据，然后，进行基于手动/操作者的调整。或者，可以首先执行基于手动/操作者的匹配和配准，然后，通过基于软件或算法(图像处理、模式识别等)匹配和配准进行微调。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖结构或骨畸形。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的方法对患者虚拟数据和患者实时数据进行的配准。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后叠加患者实时数据与患者虚拟数据的匹配、叠加和/或配准可以使用前述中描述的相同方法或本说明书中描述的任何其他配准方法或本领域已知的任何其他配准方法执行。
使用解剖标志配准患者虚拟数据和患者实时数据
在一些实施方案中，外科医生可以识别患者虚拟数据(比如，患者的电子术前计划，)的选择解剖标志以及患者实时数据中的解剖标志。比如，外科医生可以通过将解剖标志上的游标或标记防止在患者虚拟数据的电子图像上并且通过一旦游标或标记处于期望的位置时就点击解剖标志来识别解剖标志。在脊柱中，这样的标志可以是，比如，棘突的后尖端、脊椎椎板、患者左侧的下关节面、患者左侧的上关节面、患者右侧的下关节面、患者右侧的上关节面、小关节的尖端、骨刺、骨赘等。在髋部，这样的标志可以是髋臼的最前部点，比如，以下各部位的骨赘：在髋臼缘上、在髋臼内、邻近髋臼、在股骨头上、在股骨颈或颈轴交界处、在二维或三维图像中的股骨头的中心、在股骨头最前点、髂前上棘、髂前下棘、耻骨联合、大转子、小转子等。在膝关节中，这样的标志可以是股骨髁、股骨凹陷、髁间隙、内侧或外侧上髁、股骨轴、上髁轴、滑车轴、机械轴、滑车槽、股骨骨赘、边缘股骨骨赘、中央股骨骨赘、髌骨圆顶、髌骨或股骨或股骨关节面的上缘、内缘、外缘、下缘、髌骨骨赘、前胫骨、胫骨脊、胫骨的内缘、外缘、前缘、后缘、胫骨骨赘、边缘胫骨骨赘、中央胫骨骨赘。然后，外科医生可以识别患者体内的相同标志。比如，当外科医生通过光学头戴式显示器观察时，外科医生可以用手指或用指示装置指向实时数据中的相应解剖标志。指针的尖端或手指的尖端可选地包括，在空间中定位指针或手指的尖端的追踪器。这种定位也可以使用图像和/或视频捕获器和/或三维扫描仪视觉地进行比如，通过光学头戴式显示器以立体方式视觉地进行，以更准确地确定指针或手指相对于光学头戴式显示器的距离和位置。图像和/或视频捕获系统和/或三维扫描仪也可以附接到、集成到或耦合到光学头戴式显示器。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖结构或骨畸形。
可用于配准患者的虚拟和实时数据的代表性解剖标志可包括(但不限于)：
棘突：一部分或整个棘突；一部分或整个脊椎板；一部分或整个脊柱关节突；一部分或整个小关节；一部分或整个横突；一部分或整个椎弓根；一部分或整个椎体；一部分或整个椎间盘；一部分或整个脊柱骨赘；一部分或整个脊柱骨刺；一部分或整个脊柱骨折；一部分或整个椎体骨折，或前述的任何组合
髋：一部分或整个髋臼；髋臼的一部分或整个边缘；髋臼边缘的多个部分；髂壁的一部分；耻骨的一部分；坐骨的一部分；髂前上棘；髂前下棘；耻骨联合；大转子的一部分或整个大转子；小转子的一部分或整个小转子；股骨干的一部分或整个股骨干；股骨颈的一部分或整个股骨颈；股骨头的一部分或整个股骨头；骨头凹；髋臼横韧带；丘脑后结节；韧带；上唇；一个或多个股骨和/或髋臼骨赘或上述任意组合
膝：部分或整个股骨内侧髁；部分或整个股骨外侧髁；部分或整个股骨凹陷；部分或整个滑车；股骨前部皮质的一部分；股骨前部皮质的与滑车的部分相邻的部分；股骨前部皮质的与滑车和骨赘(若存在)的部分相邻的部分；一个或多个股骨和/或胫骨骨赘；一个或多个股骨和/或胫骨骨刺；上髁隆起；一部分或整个胫骨内侧坪；一部分或整个胫骨外侧坪；部分或整个内侧胫骨脊；部分或整个外侧胫骨脊；胫骨前部皮质的一部分；胫骨前部皮质的一部分和胫骨坪的一部分，内侧或外侧或两者；胫骨前部皮质的一部分和胫骨坪的一部分，内侧或外侧或两者和骨赘(若存在)；一部分或整个髌骨；髌骨的内侧边缘；髌骨的外侧边缘；髌骨上极；髌骨下极；髌骨骨赘；前十字韧带；后十字韧带；内侧副韧带；外侧副韧带；一部分或整个内侧半月板；一部分或整个外侧半月板或前述的任何组合
肩：一部分或整个关节盂；一部分或整个喙突；一部分或整个肩峰；锁骨的一部分；一部分或整个肱骨头；一部分或整个肱骨颈；肱骨干的一部分；一个或多个肱骨骨赘；一个或多个关节盂骨赘；一部分或整个关节盂唇；肩部韧带的一部分或全部，例如喙肩韧带、盂肱上韧带、盂肱中韧带或盂肱下韧带；肩胛骨的一部分，或前述的任何组合
头骨和大脑：颅骨的一部分；枕骨部的一部分；颞骨的一部分；枕骨的一部分；顶骨的一部分；额骨的一部分；面部骨骼的一部分；面部结构的一部分；颅骨内部的一部分或整个骨骼结构；部分或全部选择脑回；部分或全部选择脑沟；窦的一部分；静脉窦的一部分；脉管的一部分；耳朵的一部分；外耳道的一部分或上述任何一种的组合。
器官：器官的一部分，如肾的上极或下极；肝、脾、肺的边缘或边界；肝叶的一部分；脉管的一部分；裂孔的一部分，例如在肝脏或脾脏中；子宫的一部分。
本领域技术人员可以识别硬组织，软组织和/或包括脑在内的器官的其他解剖标志，其可以用于在共同坐标系中配准患者的虚拟数据(包括可选的虚拟手术计划)和实时数据和光学头戴式显示器。虚拟和物理手术器械和植入体组件也可以在该共同坐标系中配准。
在本发明的一些实施方案中，光学头戴式显示器可以在手术野上显示任意虚拟平面(arbitrary virtual plane)。该任意虚拟平面可以使用虚拟接口或其他接口移动。比如，任意虚拟平面可以包括“接触区域”，其中可以使用手势识别软件——比如，微软提供的与微软全息眼镜一起使用的软件包括例如用于全息图的集成虚拟“拖动功能”——移动该任意虚拟平面。比如，集成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于接触区域的移动；使用手势追踪软件，然后，可以通过在期望的方向上将手指推向接触区域来移动虚拟平面。
光学头戴式显示器最初可以在任何位置显示任意虚拟平面，比如，投射到手术野或之外的位置，诸如髋关节，膝关节，肩关节，踝关节或脊柱等。光学头戴式显示器可选地以限定角度显示任意虚拟平面，比如，相对于手术室中的固定结构正交或平行，虚拟平面可以使用集成到光学头戴式显示器中的一个或多个摄像头，图像捕获或视频捕获系统和/或三维扫描仪以及诸如微软提供的与微软全息眼镜一起使用的空间识别软件来识别，或者可以使用一个或多个附接的光学标记或导航标记(包括红外或射频标记)识别。比如，一个或多个光学标记可以附接到手术台的延伸部分。光学头戴式显示器可以检测这些一个或多个光学标记并确定它们的坐标，并由此确定手术台的水平面。然后，可以相对于手术台垂直或以另一角度显示该任意虚拟平面。
比如，在髋关节置换术中，光学头戴式显示器可以在手术部位上显示虚拟任意平面。该虚拟任意平面可以垂直于手术台，或者相对于手术台成另一个预定义的或预先确定的角度。使用虚拟接口，比如，在虚拟手术平面上的接触区域和手势追踪，光学头戴式显示器可以检测外科医生如何移动该虚拟任意平面。可选地，在外科医生移动和/或重新定向该虚拟任意平面时，该平面可以保持其相对于手术台的垂直(或所需的其他角度)方向；当外科医生打算进行垂直的股骨颈切割时，可能需要垂直方向。当外科医生打算用另一种方向进行股骨颈切割时，可能需要不同的角度。
然后，使用接触区域或其他虚拟接口，外科医生可以将该任意虚拟平面移动到期望的位置、定向和/或对准。任意虚拟平面的移动可以包括，使用任何期望的角度或向量在任何期望的方向上平移和旋转或其组合。外科医生可以移动该任意虚拟平面以与选择的解剖标志相交或者与选择的解剖学轴线或生物力学轴线相交。外科医生可以将该任意虚拟平面移动为与选择的解剖标志或选择的解剖学或生物力学轴线相切。
比如，在髋关节置换术中，外科医生可以将该任意虚拟平面移动到与大转子的最上面和小转子的最上面相切。图4A的示例说明了虚拟平面70，其中主要外科医生已经将其移动并对准以与大转子71的最上面和小转子72的最上面相切。图4B的示例说明了相同的虚拟平面70，其中主要外科医生已经将其移动并对准以与大转子71的最上面和小转子72的最上面相切，当前视图来自比如，在手术台(OR table)的另一侧的第二外科医生或手术助手的光学头戴式显示器。
可选地，比如，通过带有附加光学标记或附加导航标记的指针，或者通过使用集成到光学头戴式显示器中的图像或视频捕获系统，以及诸如由微软在微软全息眼镜中提供的之类的手势识别软件来检测他的手指，或者通过使手指带有附加的光学标记或导航标记，外科医生可以指向并识别龈沟点，例如，大转子和股骨颈之间的最低点，上述这些可以是附加的参照物。然后，可以在髋关节的术前或术中正位射线照片上确定连接大转子的最上面和小转子的最上面的线；可选地，还可以在正位射线照片上检测龈沟点。正位射线照片可以包括外科医生用于选择和确定尺寸的模板，比如，股骨和髋臼组件，以及衬垫和/或股骨头。射线照相模板可包括股骨颈切割指示。可以确定连接大转子的最上方面与小转子的最上面的线和股骨颈切割指示之间的角度。图4C的例证说明第二虚拟平面73(虚拟股骨颈切割平面73)然后可由光学头戴式显示器投影或显示，其与任意虚拟平面70一样也垂直于手术台，后者与大转子71的最上面和小转子72的最上面相切，并且股骨颈切割平面73与该任意虚拟平面的角度和/或距离和大转子最上面和小转子最上面的连接线与射线照片上的股骨颈切割指示之间的角度和距离相同。以这种方式，可以使用基于术中放置的由操作者移动为与大转子最上方和小转子最上面相切的虚拟平面规定或预定的第二虚拟平面来定义股骨颈切割平面。以这种方式规定和投影或显示的虚拟股骨颈切割平面也可以是虚拟导引物，比如，投影用于引导物理锯的虚拟槽的虚拟切割块。虚拟导引物或虚拟切割块可以具有与物理导引物或切割块相同的一个或多个维度，使得物理导引物或切割块可以与虚拟导引物或切割块对准。虚拟导引物或切割块可以是物理导引物或切割块的二维或三维的部分轮廓或完整轮廓，具有一个或多个相同的尺寸，使得外科医生可以将物理导引物或切割块与虚拟导引物或切割块对准。虚拟导引物或切割块可包括物理导引物或切割块的放置标记。
如果射线照相放大倍率(radiographic magnification)是基于例如为与一个或多个解剖标志或一个或多个解剖学轴线或生物力学轴线相切或以包括在术前射线照片中或从术前射线照片导出的角度交叉的平面的第一虚拟平面规定为例如虚拟切割平面的第二虚拟平面的关注点，则能够可选地结合测量距离和应用校正放大倍率。比如，与虚拟平面相切或与虚拟平面相交的一个或多个解剖标志之间的距离，可以在患者实时数据中测量，并且可以在射线照片上测量。如果射线照相距离大于或小于活体患者的距离，则可以应用放大倍率校正，比如，诸如与一个或多个解剖标志或一个或多个解剖学轴线或生物力学轴线相切或相交的平面之类的第一虚拟平面与诸如虚拟切割平面之类的第二虚拟平面之间的距离可以基于射线照相放大倍率系数来校正。
除了虚拟平面之外，外科医生可以放置一个或多个虚拟点，例如通过带有附加光学标记或附加导航标记的指针，或者通过用集成在光学头戴式显示器中的图像或视频捕获系统和例如微软提供给微软全息眼镜的软件之类的手势识别软件检测他或她的手指，或者通过使他或她的手指带有附加光学标记或导航标记。外科医生可以使用任何前述方法和/或装置指向并识别解剖标志，例如膝关节的内上髁或近端股骨或内踝的沟点。可选地，外科医生然后可以例如使用螺钉或销将光学标记固定到虚拟点和下面的或相应的解剖标志上。通过标识两个或更多个虚拟点，外科医生可以定义虚拟轴线或向量。例如，通过例如使用应用于解剖标志的一个或多个光学标记来识别膝关节的内上髁和膝关节的外侧上髁，可以在患者体内确定经皮髁轴线。通过标识三个或更多个虚拟点，外科医生可以定义虚拟平面。例如，通过例如使用应用于解剖标志的一个或多个光学标记来识别左髂前上棘、右髂前上棘和耻骨联合，该系统可以确定患者的前骨盆平面。
在另一示例中，可以在膝关节置换中将任意虚拟平面投影或显示在手术野之外或之上。可选地，任意虚拟平面至少最初垂直于手术台或者与手术台成一限定的角度。如果腿部的机械轴线已经在前面的步骤中使用术中测值确定，比如，通过用于使用集成到、附接到或分离于光学头戴式显示器的图像捕获或视频捕获系统和/或三维扫描仪确定髋关节的旋转中心和踝关节的中心的贴于大腿的光学标记和贴于踝关节的一个或多个光学标记，则虚拟平面可以被配置为垂直于腿的机械轴线。使用诸如接触区域的虚拟接口，以及集成或附接到光学头戴式显示器的图像或视频捕获系统和可选的手势追踪软件，外科医生可以移动和/或重新对准该任意虚拟平面，比如，使其与暴露膝关节的内侧和外侧关节空间相交，比如，在伸展的情况下或出于5、10、15、20、30、45度的屈曲度或更大屈曲度的情况下。图5的示例是膝关节中的任意虚拟平面74，其在膝关节处于伸展的情况下与内侧76和外侧75关节空间相交。
然后，可选地投射一个或多个附加的任意虚拟平面，比如，与手术台垂直或以另一角度投射，或者使用期望的股骨组件弯曲角度或期望的胫骨斜度。外科医生可选地移动这些一个或多个任意虚拟平面以与一个或多个解剖轴线重合，比如，在实时患者体内的解剖学股骨干轴线或解剖学胫骨干轴线。外科医生还可以移动虚拟任意平面以在股骨凹陷的中心放置和定向，虚拟平面平行于凹陷壁并且在内侧和外侧股骨干皮质之间居中延伸，可作为估计解剖学股骨干轴线的手段。
一旦确定或估计了解剖股骨轴线和/或胫骨轴线，就设计了包含股骨和胫骨切除(femoral and tibial resection)的虚拟手术计划，以实现期望的股骨机械轴线矫正，比如，从患者的机械轴线对准矫正，比如，5、10、15度的内翻或外翻，到正常的机械轴线对准或任何所需残差，比如，可以形成或产生先天性内翻或外翻。植入体尺寸和所需的聚乙烯厚度可以计入虚拟手术计划中。然后，光学头戴式显示器可以基于虚拟手术计划和/或术中测值、期望的内翻和/或外翻矫正、期望的斜度和/或期望的植入体旋转来投射虚拟手术切割平面。然后，外科医生可以将物理锯片与投影或显示的虚拟锯片或切割平面对准。或者，光学头戴式显示器可以显示虚拟导引物或虚拟切割块，其具有与物理导引物或物理切割块相同的至少一个或多个维度，并且外科医生可以将物理切割导引物或切割块与虚拟导引物或切割块对准，在物理导引物或切割块中，将锯片插入物理导引物或切割块并执行一个或多个块。
投射任意虚拟平面和将它们与一个或多个解剖标志、解剖轴线或生物力学或机械轴线对准的前述概念可应用于任何关节以及脊柱。类似地，这些概念可以应用于脑外科手术，其中一个或多个虚拟平面可以被投影或显示并移动以与一个或多个解剖标志相切或相交，比如脑回、脑桥、小脑等。类似地，这些概念可以应用于器官手术，其中一个或多个虚拟平面可以被投影或显示并移动以与一个或多个解剖标志相切或相交，比如，肝门和前肝边缘、一个或多个心脏瓣膜等。
虚拟器械和/或虚拟植入体组件的其他任意二维和/或三维虚拟形状或轮廓或表面，例如立方体、长方体、棱柱、圆锥体、圆柱体、球体、椭球衍生的三维形状、不规则形状、二维和/或三维虚拟形状或轮廓或表面，可以虚拟地投影或显示并自动地或使用虚拟或其他用户接口移动、定向或对准以与以下各项重合、相切、相交、偏离、部分地或完全地叠加：患者的任何器官、软组织或硬组织的内部、皮下或隐藏的患者解剖结构，内部、皮下或隐藏的病理，内部、皮下或隐藏的解剖轴线，内部、皮下或隐藏的生物力学轴线(包括机械轴线)，内部、皮下或隐藏的解剖平面，内部、皮下或隐藏的三维形状，内部、皮下或隐藏的三维和/或三维几何结构，内部、皮下或隐藏的三维表面，和/或内部、皮下或隐藏的三维体积。虚拟器械和/或虚拟植入体组件的任意二维和/或三维虚拟形状或轮廓或表面，例如立方体、长方体、棱柱、圆锥体、圆柱体、球体、椭球衍生的三维形状、不规则形状、二维和/或三维虚拟形状或轮廓或表面可以虚拟地投影或显示以及自动地或使用虚拟或其他用户接口移动、定向或对准以与以下各项重合、相切、相交、偏离、部分地或完全地叠加：患者任何器官、软组织或硬组织的外部患者解剖结构、外部病理、外部解剖轴线、包括机械轴线在内的外部生物力学轴线、外部解剖平面、外部三维形状、外部二维和/或三维几何结构、外部三维表面和/或外部三维体积。虚拟器械和/或虚拟植入体组件的任意二维和/或三维虚拟形状或轮廓或表面，例如立方体、长方体、棱柱、圆锥体、圆柱体、球体、椭球衍生的三维形状、不规则形状、二维和/或三维虚拟形状或轮廓或表面可以虚拟地投影或显示以及自动地或使用虚拟或其他用户接口移动、定向或对准以与以下各项重合、相切、相交、偏离、部分地或完全地叠加：患者任何器官、软组织或硬组织的操作者眼睛可直接(例如不使用OHMD显示器)看到的患者解剖结构、操作者眼睛可直接(例如不使用OHMD显示器)看到的病理、操作者眼睛可直接(例如不使用OHMD显示器)看到的解剖轴线、操作者眼睛可直接(例如不使用OHMD显示器)看到的生物力学(包括机械轴线)轴线、操作者眼睛可直接(例如不使用OHMD显示器)看到的解剖平面、操作者眼睛可直接(例如不使用OHMD显示器)看到的三维形状、操作者眼睛可直接(例如不使用OHMD显示器)看到的二维和/或三维几何结构、操作者眼睛可直接(例如不使用OHMD显示器)看到的三维表面和/或操作者眼睛可直接(例如不使用OHMD显示器)看到的三维体积。患者解剖结构可以包括植入部位、用于植入医疗装置的骨、用于植入医疗装置的软组织、邻近植入部位的解剖结构，例如牙科医生可以虚拟对准虚拟植入体组件的邻近牙齿。
在移动、定向或对准之后，然后可以测量二维和/或三维虚拟形状或轮廓或表面的坐标信息。可选择，基于坐标信息，可以执行额外的术中测量，和/或，可选地，可以使用该信息制定或修改虚拟手术计划。
在国际申请号PCT/US17/21859和美国申请公开号US 2017-0258526中描述了用于叠加和/或对准虚拟手术导引物(例如虚拟轴线或虚拟平面(例如用于对准锯))、虚拟工具、虚拟器械和/或虚拟试验植入体中的一项或多项的系统、方法和技术，其全部内容通过引用并入本文。
在任何实施方案中，例如以下中的一项或多项的虚拟数据的OHMD显示：虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(，例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分，和/或一种或多种预定组织变化或改变，可以与正常的、受损的和/或患病的软骨、软骨表面、和/或软骨形状、和/或软骨下骨、软骨下骨表面和/或软骨下骨形状和/或皮质骨、皮质骨表面和/或皮质骨形状相关和/或以预定定位、定向和/或对准来执行。预定定位、定向和/或对准可以在正常、受损和/或患病软骨、软骨表面和/或软骨形状和/或软骨下骨、软骨下骨表面和/或软骨下骨形状和/或皮质骨、皮质骨表面和/或皮质骨形状的外部和/或内部。预定定位、定向和/或对准可以与正常的、受损的和/或患病的软骨、软骨表面和/或软骨形状和/或软骨下骨、软骨下骨表面和/或软骨下骨形状和/或皮质骨、皮质骨表面和/或皮质骨形状相切和/或相交。相交可以成一个或多个预定角度。预定定位、定向和/或对准可以偏离正常的、受损的和/或患病的软骨、软骨表面和/或软骨形状，和/或软骨下骨、软骨下骨表面和/或软骨下骨形状，和/或皮质骨、皮质骨表面和/或皮质骨形状，例如相对于正常的、受损的和/或患病的软骨、软骨表面和/或软骨形状、和/或软骨下骨、软骨下骨表面和/或软骨下骨形状，和/或皮质骨、皮质骨表面和/或皮质骨形状，在x、y和/或z方向的0.5、1.0、1.5、2.0、3.0、4.0、5.0、7.0、10.0、15.0、20.0毫米的偏移，或者从0.1到50毫米的范围的偏移。例如，虚拟手术导引物和/或用于物理手术导引物的任何虚拟置位指示物可以由一个或多个光学头戴式显示器投影，使得虚拟手术导引物和/或虚拟置位指示物的至少部分与患者的正常的、受损的和/或患病的软骨、软骨表面和/或软骨形状，和/或软骨下骨、软骨下骨表面和/或软骨下骨形状，和/或皮质骨、皮质骨表面和/或皮质骨形状，相切、相交和/或偏离。
在实施方案中，例如以下中的一项或多项的虚拟数据的OHMD显示，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变，可以叠加到相应的解剖结构上和/或与相应的解剖结构对准，所述解剖结构例如是目标组织或暴露的关节表面，例如直接通过透视光学头戴式显示器看到(正如外科医生不用佩戴光学头戴式显示器就可以看到的那样)的暴露的关节表面。然后，外科医生可以例如移动物理器械、手术导引物、外科手术工具、植入体、植入体组件、装置以与虚拟投影对准。
相对于解剖结构和/或表面定向、对准、投影和/或叠加虚拟数据在实施方案中，例如以下中的一项或多项的虚拟数据的OHMD显示，虚拟手术工具、虚拟手术器械、虚拟手术导引物(虚拟手术导引物可以是虚拟平面、虚拟轴线或虚拟切割块中的一者或多者)、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、虚拟预定起始点、虚拟预定起始位置、虚拟预定起始定向或对准、虚拟预定中间点、虚拟预定中间位置、虚拟预定中间定向或对准、虚拟预定终点、虚拟预定结束位置、虚拟预定结束定向或对准、虚拟预定路径、虚拟预定平面、虚拟预定切割平面、虚拟预定外形或轮廓或横截面或表面特征或形状或投影、虚拟预定深度标记或深度计、虚拟预定止挡、虚拟预定角度或定向或旋转标记、虚拟预定轴线(例如旋转轴线、弯曲轴线、延伸轴线)、虚拟手术工具的虚拟预定轴线、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种虚拟预定组织变化或改变，可以投影到和/或叠加到直接通过透视光学头戴式显示器看到的(正如外科医生不用佩戴光学头戴式显示器就可以看到的那样)解剖结构的表面上和/或相对于所述解剖结构的表面对准和/或定向。以下一项或多项，虚拟手术工具、虚拟手术器械、虚拟手术导引物(虚拟手术导引物可以是虚拟平面、虚拟轴线或虚拟切割块中的一者或多者)、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、虚拟预定起始点、虚拟预定起始位置、虚拟预定起始定向或对准、虚拟预定中间点、虚拟预定中间位置、虚拟预定中间定向或对准、虚拟预定终点、虚拟预定结束位置、虚拟预定结束定向或对准、虚拟预定路径、虚拟预定平面、虚拟预定切割平面、虚拟预定外形或轮廓或横截面或表面特征或形状或投影、虚拟预定深度标记或深度计、虚拟预定止挡、虚拟预定角度或定向或旋转标记、虚拟预定轴线(例如旋转轴线、弯曲轴线、延伸轴线)、虚拟手术工具的虚拟预定轴线、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种虚拟预定组织变化或改变，可以投影到解剖结构的表面上和/或叠加到解剖结构的表面上和/或相对于解剖结构的表面对准和/或定向，使得它们的至少一部分与解剖结构的表面相切、相交、正交、成限定的角度、和/或偏移，例如以预定的距离或角度偏移。
解剖结构的表面可以是以下一项或多项的至少一部分：软骨、受损或患病软骨、软骨下骨、皮质骨以及软骨、受损或患病软骨、软骨下骨或皮质骨的任意组合、关节表面、关节表面的承重区、关节表面的非承重区、骨膜、软组织、筋膜、肌肉、腱、韧带、半月板、唇缘、椎间盘、皮肤、皮下组织(例如切口中)、皮下脂肪(例如切口中)、粘膜或粘膜表面(例如口腔、鼻窦、鼻子、鼻咽区域、咽、喉、肠、小肠或大肠、结肠、直肠、肠、胃、食道、胆管、胰管、胆囊、胆囊管或膀胱)、粘膜皱襞、牙龈、牙龈皱襞、边缘牙龈、附接牙龈、齿间牙龈、牙釉质、牙齿、上皮或上皮表面(例如在内腔中)、滑膜(例如在暴露的关节中)、腹膜或腹膜表面(例如在腹腔或骨盆中、例如衬在肠系膜或内部器官或肝脏表面或脾脏中)、囊(例如肝脏或肾囊的格利森氏囊、肾上腺囊、甲状腺囊或甲状旁腺囊)、隔膜、胸膜、心包、脑膜(例如硬脑膜、蛛网膜、软脑膜)、窦(例如海绵窦或乙状窦或其他窦)、颅盖、面部结构(例如鼻子、耳朵、耳垂)、眼睛表面(例如角膜、晶状体、巩膜)、眼睑。
这些一个或多个解剖结构的表面可以在手术期间暴露，例如使用切口或组织移除，并且以下一项或多项，虚拟手术工具、虚拟手术器械、虚拟手术导引物(虚拟手术导引物可以是虚拟平面、虚拟轴线或虚拟切割块)、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、虚拟预定起始点、虚拟预定起始位置、虚拟预定起始定向或对准、虚拟预定中间点、虚拟预定中间位置、虚拟预定中间定向或对准、虚拟预定终点、虚拟预定结束位置、虚拟预定结束定向或对准、虚拟预定路径、虚拟预定平面、虚拟预定切割平面、虚拟预定外形或轮廓或横截面或表面特征或形状或投影、虚拟预定深度标记或深度计、虚拟预定止挡、虚拟预定角度或定向或旋转标记、虚拟预定轴线(例如旋转轴线、弯曲轴线、延伸轴线)、虚拟手术工具的虚拟预定轴线、和/或一种或多种虚拟预定组织变化或改变，可以由一个或多个光学头戴式显示器投影、对准和/或叠加到一个或多个解剖结构的表面上，使得虚拟数据和/或虚拟显示的至少一部分与一个或多个解剖结构的表面相切、相交、正交、成限定的角度、和/或偏移(例如以预定的距离或角度)。一旦解剖表面被暴露，以下一项或多项，虚拟手术工具、虚拟手术器械、虚拟手术导引物(虚拟手术导引物可以是虚拟平面、虚拟轴线或虚拟切割块)、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、虚拟预定起始点、虚拟预定起始位置、虚拟预定起始定向或对准、虚拟预定中间点、虚拟预定中间位置、虚拟预定中间定向或对准、虚拟预定终点、虚拟预定结束位置、虚拟预定结束定向或对准、虚拟预定路径、虚拟预定平面、虚拟预定切割平面、虚拟预定外形或轮廓或横截面或表面特征或形状或投影、虚拟预定深度标记或深度计、虚拟预定止挡、虚拟预定角度或定向或旋转标记、虚拟预定轴线(例如旋转轴线、弯曲轴线、延伸轴线)、虚拟手术工具的虚拟预定轴线、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种虚拟预定组织变化或改变，可以由一个或多个光学头戴式显示器投影、对准和/或叠加到一个或多个解剖结构的表面上，然后外科医生或机器人可以例如移动和/或对准和/或叠加物理工具、物理器械、物理手术导引物、物理植入体组件、物理植入体和/或物理装置，以将其与虚拟投影对准和/或叠加。
相对于空隙和组织空隙定向、对准、投影和/或叠加虚拟数据
在实施方案中，例如以下中的一项或多项的虚拟数据的OHMD显示，虚拟手术工具、虚拟手术器械、虚拟手术导引物(虚拟手术导引物可以是虚拟平面、虚拟轴线或虚拟切割块中的一者或多者)、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、虚拟预定起始点、虚拟预定起始位置、虚拟预定起始定向或对准、虚拟预定中间点、虚拟预定中间位置、虚拟预定中间定向或对准、虚拟预定终点、虚拟预定结束位置、虚拟预定结束定向或对准、虚拟预定路径、虚拟预定平面、虚拟预定切割平面、虚拟预定外形或轮廓或横截面或表面特征或形状或投影、虚拟预定深度标记或深度计、虚拟预定止挡、虚拟预定角度或定向或旋转标记、虚拟预定轴线(例如旋转轴线、弯曲轴线、延伸轴线)、虚拟手术工具的虚拟预定轴线、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种虚拟预定组织变化或改变，可以投影和/或叠加到直接通过透视光学头戴式显示器看到的(正如外科医生不用佩戴光学头戴式显示器就可以看到的那样)空隙或组织空隙上或中，和/或相对于所述空隙或组织空隙对准和/或定向。以下一项或多项，虚拟手术工具、虚拟手术器械、虚拟手术导引物(虚拟手术导引物可以是虚拟平面、虚拟轴线或虚拟切割块中的一者或多者)、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、虚拟预定起始点、虚拟预定起始位置、虚拟预定起始定向或对准、虚拟预定中间点、虚拟预定中间位置、虚拟预定中间定向或对准、虚拟预定终点、虚拟预定结束位置、虚拟预定结束定向或对准、虚拟预定路径、虚拟预定平面、虚拟预定切割平面、虚拟预定外形或轮廓或横截面或表面特征或形状或投影、虚拟预定深度标记或深度计、虚拟预定止挡、虚拟预定角度或定向或旋转标记、虚拟预定轴线(例如旋转轴线、弯曲轴线、延伸轴线)、虚拟手术工具的虚拟预定轴线、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种虚拟预定组织变化或改变，可以投影到和/或叠加到空隙或组织空隙上或中和/或相对于空隙或组织空隙对准和/或定向成使得它们的至少一部分与空隙或组织空隙相切、相交、正交、成限定的角度和/或偏移，例如以预定的距离或角度，例如相对于空隙或组织空隙的中心或空隙或组织空隙的周边或边界或边缘。术语空隙或组织空隙在整个说明书中可以互换使用。
该空隙或组织空隙可以是先前丢失或缺失或通过手术移除的组织、脑、脑组织、器官、器官组织和/或解剖结构的区域或体积的至少一部分。空隙或组织空隙可以是缺陷，例如组织或器官中的缺陷，例如关节表面中的缺陷，或骨骼中的缺陷，或组织中的缺陷，或器官中的缺陷，或脑物质中的缺陷。缺陷可以是组织或细胞的丢失。这种缺陷可能是由疾病引起的。这种缺陷可能是由组织坏死引起的。这种缺陷可能是手术移除的结果。空隙或组织空隙可以是例如通过组织切除或移除(例如在大脑、器官或关节或脊柱中)而丢失或移除的组织的区域或体积。空隙或组织空隙可以是组织、部分器官、骨或软骨移除或切除的结果，例如脑切除、肿瘤移除或切除、楔形切除。空隙或组织空隙可以是器官切除的结果，例如脾切除或肺叶切除。空隙或组织空隙可以是手术部位或植入部位内未被解剖结构填充的空间，例如牙齿或口腔或腹部或大脑结构。该空隙或组织空隙也可以是手术部位或植入部位内的空间，例如通过组织切除(例如骨切除)而产生的空间。该空隙或组织空隙可以是两个植入体或植入体组件之间的空间。空隙或组织空隙可以是脑脊液(CSF)空间，例如脑中的脑脊液空间，例如脑室内，或者脊柱中的脑脊液空间，例如囊壁内。空隙或组织空隙可以是例如血管、血管结构、肠、小肠或大肠、结肠、直肠、肠、胃、食管、胆管、胰管、胆囊、胆囊管、膀胱或输尿管或尿道中的内腔。空隙或组织空隙可以是肾盂内部的空间。空隙或组织空隙可以是口腔。空隙或组织空隙可以是咽腔。空隙或组织空隙可以是鼻咽空间。空隙或组织空隙可以是窦腔。空隙或组织空隙可以是先前丢失或缺失或拔出的牙齿的区域或体积。空隙或组织空隙可以是体腔。该空隙或组织空隙可以是凹陷，例如在两个组织褶皱或两个组织层之间。空隙或组织空隙可以具有边、边界、边缘、周长、尺寸、几何结构和/或形状。空隙或组织空隙的边、边界、边缘、周长、尺寸、几何结构和/或形状可以例如通过使用相邻的正常或病理组织，例如没有丢失的组织，或者通过使用相邻的器官或相邻的解剖结构来确定或限定。空隙或组织空隙的边、边界、边缘、周界、尺寸、几何结构和/或形状可以例如使用关于切除、移除或丢失组织的边、边界、边缘、周界、尺寸、几何结构和/或形状的信息来确定或定义。
空隙或组织空隙可以在手术过程中暴露，例如使用切口或组织移除，并且以下一项或多项，虚拟手术工具、虚拟手术器械、虚拟手术导引物(虚拟手术导引物可以是虚拟平面、虚拟轴线或虚拟切割块)、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、虚拟预定起始点、虚拟预定起始位置、虚拟预定起始定向或对准、虚拟预定中间点、虚拟预定中间位置、虚拟预定中间定向或对准、虚拟预定终点、虚拟预定结束位置、虚拟预定结束定向或对准、虚拟预定路径、虚拟预定平面、虚拟预定切割平面、虚拟预定外形或轮廓或横截面或表面特征或形状或投影、虚拟预定深度标记或深度计、虚拟预定止挡、虚拟预定角度或定向或旋转标记、虚拟预定轴线(例如旋转轴线、弯曲轴线、延伸轴线)、虚拟手术工具的虚拟预定轴线、和/或一种或多种虚拟预定组织变化或改变，可以由一个或多个光学头戴式显示器投影、对准和/或叠加到一个或多个空隙或组织空隙上或中，使得虚拟数据和/或虚拟显示的至少一部分与一个或多个空隙或组织空隙的表面相切、相交、正交、成限定的角度、和/或偏移，例如以预定的距离或角度。一旦空隙或组织空隙被暴露，以下一项或多项，虚拟手术工具、虚拟手术器械、虚拟手术导引物(虚拟手术导引物可以是虚拟平面、虚拟轴线或虚拟切割块)、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、虚拟预定起始点、虚拟预定起始位置、虚拟预定起始定向或对准、虚拟预定中间点、虚拟预定中间位置、虚拟预定中间定向或对准、虚拟预定终点、虚拟预定结束位置、虚拟预定结束定向或对准、虚拟预定路径、虚拟预定平面、虚拟预定切割平面、虚拟预定外形或轮廓或横截面或表面特征或形状或投影、虚拟预定深度标记或深度计、虚拟预定止挡、虚拟预定角度或定向或旋转标记、虚拟预定轴线(例如旋转轴线、弯曲轴线、延伸轴线)、虚拟手术工具的虚拟预定轴线、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种虚拟预定组织变化或改变，可以由一个或多个光学头戴式显示器投影、对准和/或叠加到一个或多个空隙或组织空隙上或中，然后外科医生或机器人可以例如移动和/或对准和/或叠加物理工具、物理器械、物理手术导引物、物理植入体组件、物理植入体和/或物理装置，以将其与虚拟投影对准和/或叠加。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的方法(包括解剖标志)来配准患者虚拟数据和患者实时数据。在该情况下，实时患者数据中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据可以使用前述中描述的相同方法或本说明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。可选地，不同的解剖标志也可以用于第一次配准和任何后续配准。或者，相同的解剖标志可以用于第一次配准和任何后续配准。
使用光源来引用实时解剖标志
追踪器或指示装置也可以是光源，其可以例如在患者组织上产生由激光产生的红点或绿点，突出显示用于配准的解剖标志。可以选择具有强度和/或颜色的光源，其将容易地将其与患者的活组织区分开。
激光器或其他光源可选地集成到光学头戴式显示器中或附接到光学头戴式显示器，比如，激光器或光源可以集成到或附接到连接光学头戴式显示器的左眼和右眼部分之间的框架件的桥接件，比如，在鼻区上。
例如集成到或附接到或耦合到光学头戴式显示器的图像和/或视频捕获和/或三维扫描仪可用于识别光在患者组织或患者解剖标志上的位置。一旦光被引导到患者实时数据上的期望位置，具体地，患者的实时解剖标志，就可以通过执行配准命令来执行配准，将患者实时数据和虚拟数据配准，比如，激光或其他光线反射的实时解剖标志和患者的相应虚拟解剖标志。可以针对不同的解剖标志重复该过程，比如，通过将光源指向患者的下一个实时解剖标志，确认光的准确位置或指向，比如，可以通过图像和/或视频捕获装置和/或三维扫描仪捕获从实时患者解剖标志反射的红色或绿色激光点，并且可以将下一个解剖学实时解剖标志与患者的相应虚拟解剖标志配准。虚拟数据和实时数据可包括骨赘或骨刺或其他骨解剖结构或骨畸形。以这种方式，光学头戴式显示器、患者实时数据和患者虚拟数据可以在共同坐标系中配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
在一些实施方案中，将使用患者的一个以上的实时和虚拟解剖标志，比如，两个，三个或更多。
在本发明的一些实施方案中，超声波或射频发射器可用于精确定位某些实时解剖标志。比如，超声波发射器或射频发射器可以合成到点装置中，比如，指示装置的尖端。当尖端接触期望的实时解剖标志时，发射器可以发射可在接收站点捕获的超声波信号或射频信号，可选地，将信号集成到光学头戴式显示器中。可选地，比如，作为提高实时数据配准的准确性的手段，可以在空间上不同的位置使用多个接收站点。虚拟数据和实时数据可包括骨赘或骨刺或其他骨解剖结构或骨畸形。
在本发明的一些实施方案中，指针的尺寸先前已被扫描并与光学头戴式显示器配准。连接到光学头戴式显示器，与光学头戴式显示器集成或耦合到光学头戴式显示器的图像和/或视频捕获系统可以识别实时数据中的指针并且可以识别指针的尖端。当指针的尖端触碰患者身上与虚拟数据中的解剖标志对应的实时解剖标志时，外科医生可以点击以指示已成功互相参照。然后，可选地将两个数据点叠加在共同坐标系中融合或叠加。虚拟和实时数据和数据点可以包括骨赘或骨刺或其他骨骼解剖结构或骨畸形，或可以从骨赘或骨刺或其他骨骼解剖结构或骨畸形中产生。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
解剖标志可以包括未改变的表面形状，比如，皮肤，诸如鼻尖、双眼之间的距离、耳朵的位置、耳朵的形状等面部特征。
解剖标志也可以是骨性解剖标志，比如，内踝或外踝、胫骨结节、内侧或外侧上髁、滑车凹陷、棘突等。虚拟和实时数据以及虚拟和实时解剖标志可以包括骨赘或骨刺或其他骨骼解剖结构或骨畸形。
可选地，实时解剖表面可用于配准目的。在该实施方案中，可以在手术期间例如使用光扫描、红外扫描或超声技术或超声扫描技术来导出实时解剖表面。以这种方式检测和生成的患者实时表面可以与患者虚拟表面匹配或对准，比如，使用诸如X光成像、超声、计算机断层扫描或磁共振或本领域已知的任何其他技术的影像学检查在术前获得。虚拟和实时数据和解剖学表面可包括骨赘或骨刺或其他骨骼解剖机构或骨畸形。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的方法配准患者虚拟数据和患者实时数据。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据可以使用前述中描述的相同方法或本说明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。
使用植入式或附接式标记或校准或配准体模或包括光学标记的装置配准患者虚拟数据和患者实时数据。
在本发明的一些实施方案中，外科医生可选地使用植入式或附接式标记配准患者实时数据和虚拟数据。比如，如果手术范围非常广泛并且导致手术部位中的组织被移除，则该实施方案是有用的，脑外科手术符合这种情况，比如，去除脑肿瘤，还有诸如切除肝肿瘤等肝脏手术，关节置换手术和许多其他类型的手术。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖结构或骨畸形。
植入式标记、附接式标记、皮肤标记、软组织标记、校准或配准体模或装置，以及在整个申请中所用图像捕获标记等术语包括光学标记，比如，具有不同几何形状或图案的光学标记，带二维码(QR code)、条形码、字母数字代码的光学标记。可以在实际手术之前植入植入式或附接式标记或校准或配准体模或装置，并且可以将其包括在术前、术中和/或术后图像中。植入式或附接式标记或校准或配准体模或装置可植入或附于骨赘或骨刺或其他骨骼解剖结构或畸形。
如果虚拟图像数据中存在植入式或附接式标记或校准或配准体模或装置，因为外科医生可以接触目标组织和放置在靶组织旁边或靶组织内的植入式标记，则外科医生可以可选地在切割后识别植入式或附接式标记或校准或配准体模或装置。这种植入式或附接式标记或校准或配准体模或装置，可以包括辐射甜菜(radiation beets)或金属甜菜(metallic beets)，比如，也用于立体成像或配准。
或者，可植入或可附接的标记或校准或配准体模或装置可以在手术期间放置，并且例如使用附接到、集成到或耦合到光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，可以确定可植入或可附接的标记或校准或配准体模或装置的位置。然后，可以将患者实体数据中的植入式或附接式标记或校准或配准体模或装置的位置与患者虚拟数据中的附接有植入式或附接式标记或校准或配准体模或装置的解剖结构的位置匹配。比如，虚拟和实时数据中的解剖结构可包括骨赘或骨刺或其他骨骼解剖结构或骨畸形。在一些实施方案中，指针或指示装置可以可选地包括可植入的或可附接的标记或校准或配准体模或装置或光学标记，随后通过光学头戴式显示器或附接到、集成到或耦合到光学头戴式显示器的其他图像和/或视频捕获装置和/或三维扫描仪进行图像捕获，并配准指针的尖端。以这种方式，光学头戴式显示器、包括光学标记的植入式或附接式标记或校准或配准体模或装置，以及通过使用包括光学标记的植入式或附接式标记或校准或配准体模或装置，包括光学标记的一个或多个植入式或附接式标记或校准或配准体模或装置所附接至的解剖结构、病理结构、器械、植入体组件和任何其他对象以及患者虚拟数据，可以在共同坐标系中配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
植入式或附接式标记或校准或配准体模或装置可包括刚性或固定的配准标记。当手术野改变时，这种刚性或固定的配准标记可用于保持配准。刚性或固定的配准标记可以是例如螺钉或钉。虚拟数据和实时数据可包括骨赘或骨刺或其他骨解剖结构或骨畸形。刚性或固定配准标记可以附接于骨赘或骨刺或其他骨解剖结构或骨畸形。在一些实施方案中，正在植入的医疗装置或该医疗装置的已经暂时或永久地附接于患者组织(例如骨赘或骨刺或骨解剖结构或骨畸形或解剖部位或手术部位)的组件在手术期间，比如，在完成手术的后续步骤期间可用作植入式或附接式标记或校准或配准体模或装置。这些后续步骤可以包括植入医疗装置的附加组件。比如，在脊柱融合手术中，可以植入第一椎弓根螺钉。可以配准第一椎弓根螺钉的实时数据和虚拟数据。通过使用配准的第一椎弓根螺钉保持实时数据和虚拟数据之间的配准，可以在光学头戴式显示器中虚拟显示随后的椎弓根螺钉或其他组件，包括它们的预期路径，位置，定位或定向。任何其他刚性或固定的配准标记或植入式装置可以这种方式用于人体的不同类型的外科手术。
一个或多个植入式或附接式标记或校准或配准体模或装置附接到骨、软骨、软组织、器官或病理组织，比如，骨赘或骨刺或其他骨解剖结构或变形等。
一个或多个植入式或附接式标记或校准或配准体模或装置可选地包括光学标记、逆向反射标记、红外标记或射频标记或本领域中描述的任何其他标记装置。
光学标记是可以反射可见光谱内光线的标记，即人眼可见的电磁波谱部分，波长约为390至700nm或频带约为430-770THz。光学标记还可以反射包括可见光谱内的不同波长的混合光。光学标记反射的光，可以由集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统来检测。通过使用集成到、附接到或分离于光学头戴式显示器的可进行相关图像处理的图像和/或视频捕获系统以及可选的模式识别软件和系统，可以检测光学标记的定位、位置、定向、对准和/或移动方向和/或移动速度。光学标记可包括图像和/或视频捕获系统(比如，集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的)可识别的具有选定几何图案和/或几何形状的标记，比如，使用图像处理和/或模式识别技术识别。光学标记可以包括集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统，比如，使用图像处理和/或模式识别技术，可以识别的选择的字母代码或图案和/或数字代码或图案和/或字母数字代码或图案或其他代码或图案组成的标记，诸如条形码或二维码。二维码或快速响应代码包括含条形码在内的任何当前或下一代矩阵代码。条形码和二维码是机器可读光学卷标，其上信息包括，比如，带有患者标识符、患者状况、手术类型的患者信息，手术部位信息，如果进行脊柱手术则手术的脊柱节段信息、患者手术侧信息、一个或多个手术器械信息、一个或多个试验植入体信息、一个或多个植入体组件信息、包括所用植入体类型和/或植入体尺寸、聚乙烯类型、在预期更换髋关节的情况下髋臼衬垫类型(比如，标准、唇形、偏移、其他)。二维码可以使用不同的标准化编码模式，比如数字、字母数字、字节/二进制和/或汉字来存储数据等。可以使用其他编码模式。可以使用任何当前和/或未来版本的二维码。可以使用单色或多色编码的二维码。其他图形标记，比如，Vuforia(PTC,Needham,Mass)增强现实平台支持的图形标记也可以使用。
条形码、二维码或其他图形标记可以是光学标记。条形码、二维码或其他图形标记可以是光学标记的一部分或者可以集成到光学标记中。可以包含相同的二维码或条形码或其他图形标记
-与患者和/或手术部位有关的信息，比如，患者标识符、年龄、性别、BMI、病史、危险因素、过敏、要手术的部位和侧面(左、右)、要手术的脊柱节段
-与库存管理有关的信息，比如，包括手术器械和/或植入体或植入体组件，比如，左右组件、选定的组件大小(与虚拟手术计划和/或模板和/或大小匹配)
并且可用于获得关于手术部位、手术改变组织、一个或多个手术器械和一个或多个试验植入体和/或植入体组件的定位、位置、定向、对准和/或移动方向和/或移动速度(如果适用)等信息。
包括在一个或多个光学标记中或其一部分中的几何图案、几何形状、字母、数字、字母数字以及其它代码或包括条形码和二维码的图案可以被预定义，并且，可选地存储在可通过图像和/或视频捕获系统及相关图像处理软件和模式识别软件访问的数据库中。包括在一个或多个光学标记中或其一部分中的几何图案、几何形状、字母、数字、字母数字以及其它代码或包括条形码和二维码的图案可以是二维图像，而一些是三维图像。比如，可以在选择的实施方案中使用一个或多个平面或二维图案。或者，可以使用选择的三维几何形状，比如，立方体、长方体、棱柱、圆锥体、圆柱体、球体。可以使用任何三维形状，包括不规则形状和/或不对称形状。三维几何形状可以包括二维几何图案和/或字母、数字、字母数字以及包括一个或多个表面上的条形码和二维码的其他代码或图案。比如，如果将长方体或其他三维形状用于光学标记，则相同或不同的几何图案和/或字母、数字、字母数字和其他代码或包括条形码和二维码的图案可以包括在、附加到或集成到其表面或面中的一个或多个表面，诸如比如，垂直地定向的两个相邻的表面或两个相对的表面。二维几何图案和/或字母、数字、字母数字和其他代码或图案(包括条形码和二维码)包括在、固定到或集成到三维几何形状的一个或多个表面或面，可用于确定几何形状的包括光学标记在内的选择的表面或面的取向，以及表面的方向和/或对准，以及几何形状，比如，与手术部位和与手术改变的关系，具体包括切割骨表面或扩孔骨表面，手术器械和/或包括试验植入体的一个或多个植入体组件。以这种方式，在实施方案中可以追踪肢体或手术部位的运动。例如，具有三维形状的光学标记可以附接到滑车或胫骨前部。光学标记可以拥有具有第一几何图案的第一表面。光学标记可以拥有具有第二几何图案的第二表面。具有第一几何图案的第一表面可以例如面向前方。具有第二几何图案的第二表面可以例如面向内侧或外侧。当操作者通过光学头戴式显示器(可选地具有集成到、附接到或分离于光学头戴式显示器的一个或多个视频系统)在光学标记处观察时，并且在该示例中，视频系统主要检测第一表面，该信息可以用于指示膝关节处于正面，例如非旋转位置；如果视频系统检测到第一表面与第二表面的不同比率是可见的或可检测的，例如第二表面的较大部分是可见的或可检测的，则该信息可用于指示膝关节处于某种程度或更多的旋转位置。类似地，具有第三几何图案的第三表面可以是上表面或下表面。如果视频检测到第三表面的更大部分是可见或可检测的，则该信息可以指示膝关节处于更弯曲的位置。任何组合都是可能的。
三维光学标记可选地可以不具有具有不同几何图案的不同表面，但是可以包括沿着其一个或多个三维表面的相同或可选地变化的几何图案的连续体。沿着三维表面的几何图案的变化的不同部分的定位和/或位置和/或定向和/或坐标可以是已知的，例如在追踪手术部位、手术器械、植入体、医疗装置或肢体或骨骼之前，例如在运动期间。集成到、附接到或分离于光学头戴式显示器的视频系统可以检测几何图案的一个或多个不同部分的定位和/或位置和/或定向和/或坐标，并且可以例如在运动期间使用该信息来追踪手术部位、手术器械、植入体、医疗装置或肢体或骨骼。
具有几何图案的一个或多个表面或几何图案的一个或多个部分的检测，例如在二维光学标记或三维光学标记上的检测，可以用于触发一个或多个计算机需求。类似地，具有各几何图案或各几何图案的一个或多个部分或整个几何图案的一个或多个表面的消失可以用于触发一个或多个计算机需求。这种计算机命令可以例如包括激活运动追踪模式、去激活运动追踪模式、激活OHMD显示、去激活OHMD显示、显示外科手术步骤(例如下一个外科手术步骤或前一个外科手术步骤)、显示外科手术步骤的建议校正、启动警报、终止警报、显示外科手术器械、追踪外科手术器械、显示下一个外科手术器械、显示植入体组件、显示医疗装置、追踪任何前述命令、终止任何前述命令。本领域技术人员可以认识到可以以这种方式启动或执行的其他命令。这种命令也可以用于例如由机器人启动动作，例如激活骨锯、引导机器人或用机器人执行骨切割或骨移除。
在本发明的另一个实施方案中，集成到、附接到或分离于光学头戴式显示器的一个或多个视频系统或摄像头可以检测二维或三维光学标记和/或几何图案和/或前述一个或多个的部分的角度定向的变化；以这种方式检测到的角度方向的变化也可以用于触发或执行一个或多个命令。
几何图案和/或几何形状、字母、数字、字母数字和包括条形码和二维码的其他代码或图案可以是彩色的或黑白的。几何图案和/或几何形状和/或字母、数字、字母数字和包括条形码和二维码的其他代码或图案可包括含有彩色区段和黑白区段的部分、仅包括彩色的部分和仅为黑白的部分。几何形状可以包括包括彩色和黑白的面或表面，仅包括黑白的面或表面，以及仅包括彩色的面或表面。不同颜色和不同颜色的代码可用于光学标记的几何形状部分的不同面或表面。不同颜色和不同颜色的代码可用于不同的几何图案和/或几何形状和/或字母、数字、字母数字和包括条形码和二维码的其他代码或图案。不同颜色和不同颜色的代码可用于不同的光学标记。不同的颜色，比如，红色、蓝色、绿色、橙色、青色等，可用于不同的几何图案和/或几何形状和/或字母、数字、字母数字和其他代码或图案，包括条形码和二维码。不同的颜色，比如，红色、蓝色、绿色、橙色、黄色、粉红色、青色等，可用于不同的光学标记。不同的光学标记可以任选与不同的手术步骤和/或不同的手术器械和/或不同的植入体组件相关联；可以通过集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统使用标准图像处理和/或模式识别软件来识别特定标记的使用，所述标准图像处理和/或模式识别软件可选地包括图案数据库，比如，与特定手术步骤和/或手术器械关联的图像数据库。由于图像和/或视频捕获系统识别视场中的特定光学标记，比如，基于使用的特定几何图案和/或几何形状和/或字母、数字、字母数字和包括条形码和二维码的其他代码或图案，于是，它可以选择性地显示与该光学标记相关的相应手术步骤和/或手术器械和/或植入体组件。
包括在、附加或集成到三维几何形状的一个或多个表面中的二维几何图案、字母、数字、字母数字和包括条形码和二维码的其他代码或图案或其组合，可选地具有彩色和/或黑白编码，可以用来确定几何形状的选择表面的方向和/或几何形状的选择表面的对准，通过此，可以确定几何形状和/或光学标记的方向和/或对准，比如，比照解剖标志、手术部位、手术交替、具体包括：切割骨表面或扩孔骨表面、手术器械和/或包括试验植入体的一个或多个植入体组件等。包括在，附加或集成到光学标记的一个或多个二维几何图案、字母、数字、字母数字和包括条形码和二维码的其他代码或图案，可选地彩色和/或黑白编码，可以用来确定固定到或集成到解剖标志、手术部位、手术交替的光学标记的方向和/或对准，比如，切割骨表面或扩孔骨表面、手术器械和/或包括试验植入体的一个或多个植入体组件等。光学标记可以固定到解剖标志、手术部位、手术改变，比如，切割骨表面或扩孔骨表面、或患者钻孔，并且相应的解剖标志、手术部位或手术改变可以在患者虚拟数据中识别从而能够在同一坐标系中配准患者的虚拟数据和实时数据。
使用光学标记执行命令:可以隐藏或移除光学标记。光学标记的隐藏或移除可以用来触发计算机命令。例如，集成到、附接到或分离于光学头戴式显示器的摄像头可以监测光学标记的存在。如果光学标记被隐藏，例如通过在它上面放置盖布或者通过用外科医生或手术助手的手覆盖它，或者被移除，隐藏或移除可以触发命令。该命令可以例如是启动不同的显示、放大或缩小显示，突出显示某些结构或虚拟特征、显示不同的手术步骤、显示不同的虚拟手术器械或植入体组件、放大或缩小和植入体组件、修改手术步骤、改变对准和/或旋转，例如改变以1、2、3、4、5度或其他角度。取消隐藏光学标记可用于撤销命令，例如返回到光学头戴式显示器的先前显示状态或显示类型。取消隐藏光学标记还可以用于前进到不同的显示器、放大或缩小显示器、突出某些结构或虚拟特征、显示不同的手术步骤、显示不同的虚拟手术器械或植入体组件、放大或缩小植入体组件、修改手术步骤、改变对准和/或旋转、例如改变以1、2、3、4、5度或其他角度。隐藏或移除可以包括仅隐藏或移除光学标记的一部分。例如，当光学标记具有三维形状时，例如具有选择的二维部分和二维几何图案或连续的、可选地改变的三维几何图案，可以可选地隐藏或移除一个或多个二维部分或二维几何图案，例如通过手动或通过其他方式从光学标记的三维形状移除二维部分或二维几何图案或连续的、可选地改变的三维几何图案；这是可行的，例如，当二维部分或二维几何图案附接或插入光学标记时，附接或插入机构提供移除二维部分或二维几何图案的能力。或者，光学标记的三维形状的三维部分可以被移除或隐藏。这种移除或隐藏还可以触发如前述实施方案中所述的一个或多个命令，例如启动不同的显示器、打开或关闭显示器、放大或缩小显示器、突出某些结构或虚拟特征、显示不同的手术步骤、显示不同的虚拟手术器械或植入体组件、放大或缩小植入体组件、修改手术步骤、改变对准和/或旋转，例如改变以1、2、3、4、5度或其他角度。
可以添加或重新显示光学标记。光学标记的添加或重新显示可用于触发计算机命令。例如，集成到、附接到或分离于光学头戴式显示器的摄像头可以监测光学标记的存在。如果光学标记被重新显示，例如通过从其上移除盖布，或者通过移除外科医生或手术助手的手来揭开，或者被添加，则所述添加或重新显示可以触发命令。例如，该命令可以是启动不同的显示、打开或关闭显示、放大或缩小显示、突出显示某些结构或虚拟特征、显示不同的手术步骤、显示不同的虚拟手术器械或植入体组件、放大或缩小植入体组件、修改手术步骤、改变对准和/或旋转，例如改变以1、2、3、4、5度或其他角度。隐藏或移除光学标记可用于撤销命令，例如返回到光学头戴式显示器的先前显示状态或显示类型。再次显示或添加光学标记，然后再次可用于前进到不同的显示、放大或缩小显示、突出某些结构或虚拟特征、显示不同的手术步骤、显示不同的虚拟手术器械或植入体组件、放大或缩小和植入体组件、修改手术步骤、改变对准和/或旋转，例如改变以1、2、3、4、5度或其他角度。添加或重新显示可以包括仅添加或重新显示光学标记的一部分。例如，当光学标记具有三维形状时，例如具有选择的二维部分和二维几何图案或三维几何图案，可以可选地添加或重新显示一个或多个二维部分或二维几何图案或三维几何图案，例如通过手动或通过将二维部分或二维几何图案或三维几何图案添加到光学标记的三维形状的其他方式；这是可行的，例如，当二维部分或二维几何图案或三维几何图案可以通过提供了添加或重新显示二维部分或二维几何图案或三维几何图案的能力的附接或插入机构附接或插入光学标记时。或者，可以添加或重新显示光学标记的三维形状的三维部分。这种添加或重新显示还可以触发如前述实施方案中所述的一个或多个命令，例如启动不同的显示、打开或关闭显示、放大或缩小显示、突出某些结构或虚拟特征、显示不同的手术步骤、显示不同的虚拟手术器械或植入体组件、放大或缩小植入体组件、修改手术步骤、改变对准和/或旋转，例如改变以1、2、3、4、5度或其他角度。
类似地，一个或多个发光二极管的激活(例如打开)或一个或多个发光二极管的去激活(例如关闭)可以由集成到、附接到或分离于光学头戴式显示器的一个或多个摄像头系统检测，并且可以用于触发或反转一个或多个命令，例如启动不同的显示、放大或缩小显示、突出某些结构或虚拟特征、显示不同的手术步骤、显示不同的虚拟手术器械或植入体组件、放大或缩小植入体组件、修改手术步骤、改变对准和/或旋转，例如改变以1、2、3、4、5度或其他角度。
光学头戴式显示器上的光学标记：如果在手术期间使用多个光学头戴式显示器，则光学标记也可以附接到光学头戴式显示器，包括多个光学头戴式显示器。选择性，光学标记(比如，使用二维码)，可以用于将第一光学头戴式显示器与第二、第三、第四和/或更多光学头戴式显示器区分开。可选地，一个或多个光学标记可以附接到手术台，并且它们可以在坐标系中配准，比如，在所述一个或多个光学头戴式显示器、患者和手术部位的部分可以在其中配准的同一坐标系中。一个或多个光学标记可以选择性连接到手术室中的其他结构，包括固定结构(比如，墙壁)和可移动结构(比如，手术室灯)，它们可以在坐标系中配准，比如，在所述一个或多个光学头戴式显示器、患者和手术部位的部分可以在其中配准的同一坐标系中。在该示例中，光学标记也可以安装到可选地移动式的比如，具有已知的尺寸、方向、长度和角度扶手或延伸件上的固定结构上。
附接到诸如手术室壁(OR walls)的固定结构的光学标记可用于增强房间识别和空间映射的准确性，特别是当不同光学标记之间的坐标和/或角度和/或距离已知时。连接到固定结构(比如，手术室壁)的光学标记也可用于增强一个或多个光学头戴式显示器的位置和姿势以及位置或姿势的变化或坐标和坐标的变化的确定，这可以帮助增加虚拟数据显示的准确性，以及在相应实时数据上叠加的准确性。
附接到可移动结构的光学标记可用于追踪它们在手术室中的位置。连接到手术室灯的光学标记可用于估计手术室或房间中光的方向以及阴影的方向和/或轨迹。如果已知手术室或房间中的阴影的方向和/或轨迹，则具有相同或相似方向或轨迹的虚拟阴影可应用于光学头戴式显示器的虚拟数据显示。
可以使用不同的坐标系。例如，全局坐标系，可以包括股骨坐标系、胫骨坐标系、踝关节坐标系、髋关节坐标系、髋臼坐标系、肱骨坐标系、关节盂坐标系、脊椎坐标系等中的一者或多者。本领域技术人员可以容易地识别全局坐标系中的其他子坐标系。
在一个示例中，包括一个或多个几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码的其他代码或图案或其组合的一个或多个光学标记，可以附接到内侧股骨上髁，比如，使用钉或螺钉或粘合剂。集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可用于监视光学标记相对于图像/或视频捕获系统和/或坐标系统(例如股骨坐标系统、胫骨坐标系统或全局坐标系统或其组合)的位置和/或定向和/或对准和/或移动方向和/或移动速度；当远端股骨移动时，图像和/或视频捕获系统可以检测标记(比如，基于其预程序设计的几何形状、几何图案、字母、数字、字母数字以及包括条形码和二维码的其他代码或图案)，并且可以监测和可选地记录运动。如果在同一示例中，将包括一个或多个几何形状、几何图案、字母、数字、字母数字和其他代码或图案(包括条形码和二维码或其组合)的第二光学标记附接到外侧股骨髁，则图像和/或视频捕获系统还可以监视和可选地记录第二光学标记相对于图像和/或视频捕获系统和/或坐标系统(例如股骨坐标系统、胫骨坐标系统或全局坐标系统或其组合)的位置和/或定向和/或对准和/或移动方向和/或移动速度；通过监测第一光学标记在内侧股骨上髁上的位置和/或定向和/或对准和/或移动方向和/或移动速度以及第二光学标记在股骨外上髁上的位置和/或定向和/或对准和/或移动方向和/或移动速度，图像和/或视频捕获系统以及相关的图像处理和模式识别软件还可以监测和可选地记录股骨上髁轴的移动，例如移动方向或移动速度(比如，在膝关节的屈曲和伸展期间)。包括一个或多个几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或其组合的其他代码或图案的一个或多个光学标记可以附接到近端胫骨，比如，胫骨前缘、内侧和/或外侧胫骨脊、内侧平台的最低点和/或胫骨外侧坪的最高点，比如，在同一示例中。集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可用于监测附接到胫骨的光学标记相对于图像和/或视频捕获系统以及相对于一个或多个股骨光学标记和/或坐标系(例如股骨坐标系、胫骨坐标系或全局坐标系或其组合)的位置、和/或定向和/或对准和/或移动方向和/或移动速度，从而监测和可选地记录胫骨股骨运动，例如在手术期间。包括一个或多个几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或其组合的其他代码或图案的一个或多个光学标记可以附接到髌骨(比如，在同一示例中的最上面、最下面、最侧面和/或最内侧)。集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可用于监测附接到髌骨的光学标记相对于图像和/或视频捕获系统以及相对于一个或多个股骨光学标记和/或坐标系(例如股骨坐标系、胫骨坐标系、髌骨坐标系或全局坐标系或其组合)的位置、和/或定向和/或对准和/或移动方向和/或移动速度，从而监测和可选地记录髌骨的运动，例如在手术期间。集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可用于监视附接到髌骨的光学标记相对于一个或多个胫骨光学标记的位置和/或定向和/或对准和/或移动方向和/或移动速度，从而监测并且可选地记录与胫骨相关的髌骨运动，比如，在胫骨内收或外展期间。
在本发明的一些实施方案中，例如具有一个或多个特定几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或其组合的其他代码或图案的光学标记，可以指定给虚拟手术步骤。标记可以包括例如定义外科手术步骤或对应于外科手术步骤的书面文本，其可以是比如，在虚拟手术计划中的紧接在前的外科手术步骤或下一手术步骤。在一些实施方案中，文本可以是数字(比如，对应于特定手术步骤的数字)，比如，1-用于远端股骨切割、2-用于股骨前切割、3-用于后股骨切割、4-用于第一倒角切割、5-用于第二倒角切割。该数字可以由图像和/或视频捕获系统识别，然后，图像和/或视频捕获系统可以显示相应外科手术步骤的虚拟视图，比如，1-用于远端股骨切割的切割平面或相应物理远端股骨切割块的虚拟轮廓。可以使用数字和文本的组合，并且图像和/或视频捕获系统以及相关软件和可选模式识别软件和系统可以识别数字和文本并触发命令以显示相应虚拟手术步骤的对应虚拟视图，比如，1F-远端股骨切割，2F-股骨前切口，1T-近端胫骨切割，2T-胫骨龙骨冲孔等。
在另一示例中，具有一个或多个特定几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或其组合的其他代码或图案的光学标记可以被分配给患者全膝关节置换虚拟手术计划中的“远端股骨切割”步骤；光学标记可包括文本“远端股骨切割”。比如，外科医生可以将标记固定到远端股骨的切割骨表面或与其相邻的某处。集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪可以检测具有分配给“远端股骨切口”的一个或多个特定几何图案和/或特定几何形状的光学标记，指示远端股骨切口已经完成；当外科医生准备进行下一次切割时，例如本例中的前股骨切割时，图像捕获信号和/或三维扫描仪信号然后可以向光学头戴式显示器发出命令，以显示下一个外科手术步骤，例如前切割平面或前切割块或切割导引物的轮廓。
在一些实施方案中，例如具有一个或多个特定几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或其组合的其他代码或图案的光学标记，可以被集成到，包括在，或者附接在用于虚拟手术计划中的手术步骤的手术器械上。比如，光学标记可以包括在、集成到或附接到外科切割块或切割工具中，比如，用于近端胫骨切割的外科切割块或切割工具中。可选地，标记可以包括定义外科手术步骤或对应于外科手术步骤的书面文本，比如，在虚拟手术计划中。在前面的示例中，具有一个或多个特定几何形状、几何图案、字母、数字、字母数字和其他代码或图案(包括条形码和二维码或其组合)的光学标记可以被分配给在患者全膝关节置换的虚拟手术计划中的“近端胫骨切割”步骤；光学标记可包括外科医生可读取的文本“近端胫骨切割”，并确保正确的标记用于他或她正在考虑的下一外科手术步骤，在该示例中为近端胫骨切割。
当光学标记进入外科医生的视野时，集成到或连接到外科医生头部上的光学头戴式显示器的图像和/或视频捕获系统可以检测光学标记并显示下一个虚拟手术步骤，比如，对应于物理近端胫骨切割块的虚拟近端胫骨切割块的轮廓，使得外科医生可以将物理手术切割块或器械对准或叠加到虚拟手术切割块或器械的轮廓上。或者，当光学标记进入外科医生的视野时，集成到或连接到外科医生头部上的光学头戴式显示器的图像和/或视频捕获系统可以检测光学标记并显示下一个虚拟手术步骤，比如，具有预定切除水平、内翻或外翻角和/或斜度的虚拟切割平面，使得外科医生可以将物理手术切割块和/或物理手术锯与虚拟切割平面对准或叠加。一旦外科手术步骤完成，比如，近端胫骨切割，并且外科医生从手术野和/或图像和/或视频捕获系统的视野中移除具有集成的、包括的或附接的光学标记的物理手术器械，图像和/或视频捕获系统可以检测到光学标记不再存在于视野中，并且软件可以生成关闭光学头戴式显示器的显示(例如，作为保存光学头戴式显示器中电池电量的手段)或完成的虚拟手术步骤的显示的命令。可选地，此时可以生成命令，可选地自动生成命令，以显示下一手术步骤(比如，胫骨龙骨冲头)，比如，设定胫骨旋转。或者，随着带有用于下一手术步骤的相应光学标记的下一手术器械进入视野，比如，在外科医生的手中，光学头戴式显示器单元的显示器可以显示下一手术器械的下一手术步骤。
在类似的示例中，光学标记可以附接到用于髋关节置换的髋臼扩孔器。集成到或连接到光学头戴式显示器的图像和/或视频捕获系统可以在光学标记进入外科医生的视野时检测光学标记，触发命令以显示扩孔轴线或具有扩孔步骤的预期对准或方向的扩孔器的虚拟显示；当外科手术器械的光学标记器离开外科医生的视野时，图像和/或视频捕获系统可以检测到它触发命令以停止扩孔轴线的显示或扩孔器的虚拟显示，可选地切换到下一外科手术步骤。
在一些实施方案中，一个或多个光学标记可以包括在、集成到或附接到用于切割块或导引物的插入件中。插入件可以配置成配合到切割块或导引物内的一个或多个槽或导引物中，以引导锯片。代表性切割块或导引物是，比如，用于膝关节置换、肩部置换、髋关节置换和踝部置换的切割块或导引物。这些切割块或导引物比如用于移除关节表面处的骨，以使患者的骨骼配合植入体或植入体组件的面向骨的侧面。插入件可以设计成部分或基本上填充整个槽或导引物，比如，根据切割块或导引物的形状和/或设计，在X和Y方向上或X和Z方向上或Y和z方向上。如果插入件在X和Y方向上部分地填充或基本上填充槽或导引物，则插入件可以配置成在Z方向上延伸超过槽或导引物。如果插入件在X和Z方向上部分地填充或基本上填充槽或导引物，则插入件可以配置成在Y方向上延伸超过槽或导引物。如果插入件在Y和Z方向上部分地填充或基本上填充槽或导引物，则插入件可以配置成在X方向上延伸超过槽或导引物。根据切割块或导引物的配置以及相关槽或导引物的配置，任何方向都是可能的，包括倾斜方向、正交方向和非正交方向。比如，斜槽可用于全膝关节置换中的倒角切除或全踝置换中的倾斜距骨切割。
插入件的延伸超出狭槽或导引物的部分可以例如包括一个或多个集成或附接的光学标记。如果使用一个以上光学标记，则光学标记可以以预定角度和位置排列，比如，90度或小于90度或大于90度。插入件可具有与用于切割块或导引物的代表性锯片相似的尺寸。插入件可以指示随后将被插入的锯片的定位、位置、定向、对准和行进方向。外科医生可以将插入件放置在物理切割块或导引物的狭槽或导引物内，并使插入件对准由光学头戴式显示器投射到手术部位的插入件或切割块或导引物的虚拟切割平面或虚拟轮廓，该手术部位比如为全膝关节置换术中的远端股骨或全髋关节置换术中的近端股骨。一旦插入件与插入件或切割块或导引物的虚拟切割平面、虚拟轮廓基本对准和/或叠加后，外科医生就可以将物理切割块或导引物固定到骨骼上，从而将切割块或导引物固定到骨骼上，在固定位置，虚拟手术计划，比如，插入件或切割块或导引物的虚拟切割平面或虚拟轮廓，基本上与物理切割平面和/或物理插入件或切割块或导引物对准。然后，外科医生可以插入物理锯片并进行物理切割。插入件可以配置成具有与物理锯片基本相似的形状，用作假锯片。
或者，外科医生可以将物理锯片(physical saw)放置在物理切割块或导引物的槽或导引物内，并且外科医生可以将物理锯片与例如由光学头戴式显示器投射到手术部位的锯片或切割块或导引物的虚拟切割平面或虚拟轮廓对准，该手术部位为比如，全膝关节置换术中的远端股骨或全髋关节置换术中的近端股骨。一旦物理锯片基本上与锯片或切割块或导引物的虚拟切割平面、虚拟轮廓对准和/或叠加，外科医生就可以将物理切割块(physical cutting block)或导引物钉在骨头上，从而将切割块或导引物固定到骨骼上，在固定位置，虚拟手术计划，比如，锯片或切割块或导引物的虚拟切割平面或虚拟轮廓，基本上与物理切割平面(physical cut plane)和/或物理锯片或切割块或导引物对准。然后，外科医生可以推进物理锯片并进行物理切割。
光学标记可包括在、集成到或附接到切割块或导引物或插入件中，比如，假锯片。光学标记也可以附接或固定在锯片上。光学标记可以包括用于外科医生的文本或字母数字代码，其指定特定的外科手术步骤，比如，1F-远端股骨切割，2F-股骨前切割，1T-近端胫骨切割，2T-胫骨龙骨冲孔等。光学标记还可以包括一个或多个特定几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或其组合的其他代码或图案。一个或多个特定几何形状、几何图案、字母、数字、字母数字和其他代码或图案(包括条形码和二维码或其组合)可以特定于外科手术步骤，比如，对应于向外科医生指示手术步骤的字母或字母数字代码。当光学标记进入视场时，集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可以检测一个或多个特定几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或组合的其他代码或图案；该特定的几何形状、几何图案、字母、数字、字母数字和其他代码或图案可以使用图像处理和/或模式识别软件来识别，通过该软件触发比如，命令用于在光学头戴式显示器中显示在使外科医生视角与手术野或目标解剖或骨切割一致的情况下叠加到手术野上的相应的虚拟手术步骤叠加。当去除切割块或导引物、插入件(比如，假锯片)、或带有光学标记的物理锯片时，图像和/或视频捕获系统可以检测到光学标记不再存在于视野中，触发比如命令用于关闭光学头戴式显示器显示(例如，作为保存电池电量的手段)或完成手术步骤的显示或切换到下一手术步骤的显示和相应的虚拟显示。
在本发明的一些实施方案中，一种或多种光学标记(其选择角度，比如，90度或更小或更大或平行于轴线或在轴线上)，可以包括在切割块或导引物中，集成到切割块或导引物中或者附接到切割块或导引物。
在一些实施方案中，一种或多种光学标记可以与脊柱外科手术结合使用，比如，椎体成形术、椎体后凸成形术、后脊柱融合术、前脊柱融合术、侧向脊柱融合术和/或椎间盘置换术。比如，一个或多个光学标记可以包括在、集成到或附接到针、钉、锥、探针、球形手柄探针、直探针、弯曲探针、丝锥、棘轮、螺钉刀、杆模板、杆式插入器、杆式夹具、折弯机、插头启动器、压缩机、牵引器、断路器、闭孔器、反扭矩、快速连接器、驱动器、牵开器、缩回框架、植入体定位器、卡钳、板保持器、弯板器、镊子等。前述列表仅是示例性的，不应解释为限制本发明。一个或多个光学标记可用于指定患者左侧和患者右侧，和/或指定患者的脊柱节段，比如，使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统检测的，并且使用图像处理和/或模式识别来识别的一个或多个几何形状、几何图案、字母、数字、字母数字和其他代码或图案。
可以利用集成到光学头戴式显示器中、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，使用一个或多个光学标记来确定针、钉、锥、探针、球柄探针、直探针、弯曲探针、丝锥、棘轮、螺钉刀、杆模板、杆式插入器、杆式夹具、折弯机、插头启动器、压缩机、牵引器、断路器、闭孔器、反扭矩、快速连接器、驱动器、牵开器、缩回框架、植入体定位器、卡钳、板保持器、弯板器、镊子、铣刀、锯、扩孔器、拉刀、撞击器、切割或钻孔块以及/或其他手术器械和/或试验植入体和/或植入体组件的位置、定位、定向、对准和/或方向。比如，初始配准或后续配准患者、手术部位、光学头戴式显示器、可选地集成、附加或分离于光学头戴式显示器的图像和/或视频捕获系统、病患的虚拟数据和/或实时数据之后，图像和/或视频捕获系统可以检测包括在手术器械中，集成到手术器械中和/或附接到手术器械的光学标记。由于光学标记在手术器械上的定位、位置、对准和/或定向是已知的，并且手术器械的尺寸(比如，各尺寸中的至少一个)或几何结构是已知的，因此，图像和/或视频捕获系统可以追踪光学标记和手术器械的定位、位置、定向、对准和/或移动方向。
在另一示例中，两个或更多个光学标记可以被集成到或附接到不同的、可选地沿着针、钉、锥、探针、球柄探针、直探针、弯曲探针、丝锥、棘轮、螺钉刀、杆模板、杆式插入器、杆式夹具、折弯机、插头启动器、压缩机、牵引器、断路器、闭孔器、反扭矩、快速连接器、驱动器、牵开器、缩回框架、植入体定位器、卡钳、板保持器、折弯机、镊子、铣刀、锯、扩孔器、拉刀、撞击器、切割或钻孔块、和/或其他手术器械和/或试验植入体和/或植入体组件的长轴线限定的位置，比如，膝关节置换或髋关节置换中的器械或试验植入体或植入体组件。图像和/或视频捕获系统可以检测两个或更多个光学标记，并且可以确定它们各自的位置。通过定位图像和/或视频捕获系统捕获和定义的两个或更多个光学标记，可以确定针、钉、锥、探针、丝锥、铣刀、锯、扩孔器、拉刀、撞击器和/或其他手术器械和/或试验植入体和/或植入体组件的长轴线；除了长轴线之外或者代替长轴线，可以确定其他轴线。随着光学标记在针、钉、锥、探针、丝锥、铣刀、锯、扩孔器、拉刀、撞击器和/或其他手术器械和/或试验植入体和/或植入体组件上的位置已知，针、锥、探针、丝锥、磨、锯、扩孔器、拉刀、撞击器和/或其他手术器械和/或试验植入体和/或植入体组件的长轴线或其他轴线已知，以及针、钉、锥、探针、丝锥、铣刀、锯、扩孔器、拉刀、撞击器和/或其他手术器械和/或试验植入体和/或植入体组件的尺寸已知，除了虚拟或预期的路径或投影路径或虚拟手术计划的任何其他方面之外，针、钉、锥、探针、丝锥、铣刀、锯、扩孔器、拉刀、撞击器和/或其他手术器械和/或试验植入体和/或植入体组件的任何被组织隐藏，比如，在皮肤下方和/或肌肉或软骨或骨骼内部的部分也可以由光学头戴式显示器估计和可选地显示。不是在前述实施方案中使用两个或更多个光学标记，而是，还可以使用足够长或足够宽或足够深的光学标记以限定针、钉、锥、探针、丝锥、铣刀、锯、扩孔器、拉刀、撞击器和/或其他手术器械和/或试验植入体和/或植入体组件的一个或多个轴线。
可选地，当使用包括在手术器械中、集成到手术器械中或附接到手术器械的两个或更多个光学标记时，光学标记可以以相同的角度布置，比如，平行或在相同的轴线上、或以不同的角度，比如，正交角度或非正交角度。类似地，在确定关节的轴线(例如上髁轴线)时，光学标记(例如附接到股骨内上髁或外侧上髁的光学标记)可以以相同的角度(例如平行或在相同的轴线上)布置，或者以不同的角度(例如正交角度或非正交角度)布置。当光学标记包括几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或其组合的其他代码或图案中的一者或多者时，这可能特别有用。通过以这种方式布置光学标记和任何相关的几何形状、几何图案、字母、数字、字母数字和其他代码或图案(包括条形码和二维码或其组合)，确定手术器械或轴线的角度方向更准确。比如，自集成到或附接到光学头戴式显示器的图像和/或视频捕获系统的某些视角处选择手术器械或解剖标志上第一光学标记的几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或其组合的其他代码或图案，由于角度方向，仅部分可视化或根本不可见；当第二光学标记在同一手术器械或解剖标志上以不同的角度、定位和/或方向定向时，从集成到或附接到光学头戴式显示器的图像和/或视频捕获系统到第二光学标记的视角，可以允许完整或更完整地显示所述一个或多个几何形状、几何图案、字母、数字、字母数字和包括条形码和二维码或其组合的其他代码或图案，从而允许更准确地确定第二光学标记的角度定向，并由此确定手术器械的角度定向。另外，由图像和/或视频捕获系统测量的第一光学标记和/或第二光学标记的相应投影，当使用两个或更多个摄像头(比如，一个位于左眼附近，另一个位于右眼附近)时可选地与任何视差信息配对，可用于更准确地确定它们的相对位置和手术器械的位置。
与光学头戴式显示器集成、连接或分离的图像和/或视频捕获系统能够检测包含在，集成到或附接至下述物品的光学标记：针、钉、锥、探针、球柄探针、直探针、弯曲探针、丝锥、棘轮、螺钉刀、杆模板、杆式插入器、杆式夹具、折弯机、插头启动器、压缩机、牵引器、断路器、闭孔器、反扭矩、快速连接器、驱动器、牵开器、缩回框架、植入体定位器、卡钳、板保持器、弯板器、镊子、铣刀、锯、扩孔器、拉刀、撞击器、切割或钻孔块、以及/或其他手术器械和/或试验植入体和/或植入体组件，当光学标记进入外科医生的视野时，触发命令以显示针、钉、锥、探针、球柄探针、直探针、弯曲探针、螺钉、棘轮、螺钉刀、杆模板、杆式插入器、杆式夹具、折弯机、插头启动器、压缩机、牵引器、断路器、闭孔器、反扭矩、快速连接器、驱动器、牵开器、缩回框架、植入体定位器、卡钳、板保持器、弯板器、镊子、铣刀、锯、扩孔器、拉刀、撞击器、切割或钻孔块、以及/或其他手术器械和/或试验植入体和/或植入体组件的预定路径或平面，或虚拟手术计划的其他显示模式或类型，例如，具有用于预期手术步骤的预期位置、定位和/或对准和/或方向；当手术器械的光学标记器离开外科医生的视野时，图像和/或视频捕获系统可以检测到它，触发命令以停止显示手术器械的预定的路径或虚拟显示或虚拟手术计划的其他方面，可选地切换到下一个手术步骤和相应的虚拟显示。在脊柱手术以及选择的其他手术中，下一手术步骤可以涉及患者的同一侧或患者相同脊柱节段的相对侧，其中对于给定节段和侧面的用于下一手术步骤的虚拟显示可以由OHMD显示器启动。下一手术步骤可涉及患者相邻或不同脊柱节段的同一侧或相对侧，其中对于给定节段和侧面的下一手术步骤的相应虚拟显示可由光学头戴式显示器显示启动。
光学标记可包括一个或多个二维码。二维码可以是光学标记中包括的几何图案或几何形状的一部分或可以嵌入其中。光学标记可以是二维码。
如果光学标记附接到手术器械，则附接可以发生在限定的定位和/或位置和/或对准，比如，在手术器械的末端。附件可以包括具有止挡件的开口，从而限定光学标记在手术器械上的定位和/或位置和/或对准。比如，光学标记器设有带止挡件的开口，该开口足够大，以便容纳钉或钻头的面向外科医生的端部，比如，插入棘突或小关节或椎弓根的一部分。通过这种类型的附件和其他附件将标记固定在手术器械上的限定定位、位置和/或定向上，图像和/或视频捕获系统可以检测光学标记及其定位、位置和/或定向，据此可以用于确定手术器械的定位、位置和/或定向，比如，针，包括其在患者体内的尖端或前部，由于标记和手术器械的限定的空间关系和手术器械的已知几何结构。
在本发明的一些实施方案中，光学标记可用于确定或识别手术改变的位置、定位、方向、对准(alignment)、尺寸、一个或多个轴线、一个或多个平面。比如，如果在外科手术步骤中进行了骨切割，则可以将一个或多个光学标记附接到切割骨上，以确定其位置、定位、定向、对准、尺寸、形状、几何结构、一个或多个轴线、一个或多个平面中的一者或多者。比如，一个，两个或更多个光学标记可以放置为靠近或附接至切割骨或手术改变的周边或边缘；集成到、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以检测光学标记的定位、位置和/或定向，并且可以使用软件来，比如，分析光学标记的定位、位置和/或定向信息，以获得关于切割骨或手术改变的周边和/或边缘和/或形状的信息。一个、两个或更多个光学标记可以放置为靠近或附接至切割骨或手术改变；集成到、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以检测光学标记的定位、位置和/或定向，并且可以使用软件来，比如，分析光学标记的定位、位置和/或定向信息，以获得关于切割骨或手术改变的的形状或几何结构信息。如果骨切割是平面的，则可以保持具有面向平面骨的表面的一个或多个光学标记或者附接到具有面向平面骨的表面的载体或器械(比如，塑料片)的一个或多个光学标记，抵靠、固定或者附接在切割骨表面；然后，可以使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统来检测一个或多个光学标记，并且可以使用软件来，比如，分析所述一个或多个光学标记的定位、位置和/或定向信息，获得关于骨切割平面的包括相对于其他解剖标志和/或其他光学标记的定位和/或位置和/或定向和/或对准的信息。用于光学标记的载体或器械可以是透明的或半透明的，以便外科医生可以在确定或确认之前检查或确认载体或器械和附接的光学标记与骨切割是否齐平，比如，骨切割平面。一旦以这种方式确定或确认了骨切割平面，附接到切割骨和/或骨切割的确定平面的光学标记可用于计划下一次手术改变，比如，下一次骨切割或手术改变，比如，在膝关节置换术中远端股骨切割后的前股骨切割或后股骨切割，或在膝关节置换术中前和后股骨切割后的倒角切割，或在相对关节表面上的切割。通过以这种方式确定、确认和/或参照先前的外科手术改变，比如，骨切割，可以改善后续手术步骤的准确性，从而最终提高外科手术的整体准确性。
机械轴线评估：在本发明的一些实施方案中，可以确定下肢的机械轴线。例如，可以通过估计髋关节中心(例如股骨头中心)的位置，并通过估计踝关节的中心或可选的外侧三分之一或内侧三分之一或踝关节的其他解剖标志来确定机械轴线。
在一个实施方案中，可以用超声波装置对髋关节、脚踝以及可选的膝关节成像。类似地，可以获得一张或多张射线照片来成像髋关节、膝关节和/或踝关节，例如仰卧或站立位置。可以获得站立的腿部全长X光，例如在正位投影或侧向投影和/或可选的一个或多个倾斜位置。或者，可以使用计算机断层扫描对髋关节、膝关节和脚踝进行成像。或者，二维或三维图像或数据可以通过髋关节、膝关节和/或脚踝使用计算机断层扫描或磁共振成像获得，例如使用标准或螺旋计算机断层扫描采集，或使用2DFT或3DFT磁共振成像采集和图像或直立X光成像，例如使用由法国巴黎75011EOS成像制造的系统。髋关节和踝关节所需的解剖中心可以从二维或三维仰卧或直立图像或扫描数据中识别或导出。在一个实施方案中，直立扫描可能是优选的。在另一个实施方案中，仰卧扫描和直立扫描之间膝关节对准的差异可用于修改虚拟手术计划，例如通过引入或多或少的变形校正，例如机械轴线或旋转变形的校正。
例如，如果已经获得股骨头的二维或体积图像或扫描，则可以使用本领域已知的标准几何方法，例如在二维或三维中，导出股骨头的质心。类似地，踝关节的中心或其他位置，例如外侧或内侧三分之一，可以使用本领域已知的标准几何方法来确定，例如在二维或三维中。如果连接髋关节和踝关节中所选标志的线从内侧穿过膝关节中心，则存在内翻畸形；如果线从外侧穿过膝关节中心或股骨远端中心，则存在外翻畸形。
可选地，患者的机械轴线信息可以用于虚拟手术计划中，并且可选地，例如由光学头戴式显示器在手术期间显示。例如，用于部分或全部膝关节置换或围绕膝关节的其他手术过程的虚拟手术计划可以包括内翻或外翻畸形的部分或完全矫正，例如将内翻或外翻畸形虚拟矫正到中性机械轴线对准。在本发明的另一个实施方案中，例如，如果患者仅具有轻微的内翻或外翻畸形，或者被认为具有固有的或先天性的外翻或外翻畸形，则外科医生可以选择不在虚拟手术计划中执行机械轴线畸形校正，或者外科医生可以选择在虚拟手术计划中仅执行部分机械轴线畸形校正，例如从术前的10度内翻或外翻到手术后的5、4、或3度或虚拟手术计划中的任何其他期望值，例如，由光学头戴式显示器在手术期间显示的，并且最终显示在活体患者的实际手术中(同样参见图35)。
在本发明的一些实施方案中，一个或多个光学标记和/或发光二极管可以附接或固定到患者的大腿或远端股骨。比如，一个或多个光学标记和/或发光二极管可以附接到远端大腿的皮肤，比如，膝关节空间上方。可以使用例如将一个或多个光学标记和/或发光二极管附接到患者皮肤上的粘合剂来进行附接。所述一个或多个光学标记和/或发光二极管可以可选地是无菌的。所述一个或多个光学标记和/或发光二极管可以可选地是磁性的。在该示例中，磁性基座可选地附接到患者的皮肤，比如，使用粘合剂。然后，可以将透明、半透明或不透明的手术盖布放置在磁性基座上，然后，将磁性光学标记附接到附接于患者皮肤的磁性基座上。可选地，磁性基底可以是不透射线的，从而允许使用电离辐射识别射线照相图像或其他图像中的光学标记的定位和/或位置和/或定向和/或坐标。或者，一旦形成皮肤切口，一个或多个光学标记和/或发光二极管可以刚性地附接到一个或多个骨骼，比如，远端股骨和/或近端胫骨。可以使用钉或螺钉或其他附接机构来完成刚性附接。
集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可以配准一个或多个光学标记和/或发光二极管的定位和/或位置和/或定向和/或对准，比如，当腿处于中性位置(neutral position)和/或伸展位置和/或任何其他位置，包括任意位置或由外科医生和/或操作者选择的位置的时候。然后，外科医生和/或操作者可以将腿和大腿移动到多个不同的位置和/或定向和/或对准，和/或外科医生和/或操作者可以以圆形方式或半圆形方式移动腿和大腿。集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可以为在不同的圆形或半圆形运动期间腿或大腿的这些多个不同的位置和/或定向和/或对准配准一个或多个光学标记和/或发光二极管的定位和/或位置和/或定向和/或对准。得到的信息可用于确定旋转中心，在该示例中，旋转中心可以是髋关节的中心。使用这种或类似的方法，例如具有不同的运动模式，例如椭圆形、正弦形等，可以确定任何关节的旋转中心。类似地，弯曲或旋转的中心可以针对例如在腰椎中的脊柱节段来确定。
在一些实施方案中，踝夹可以应用于患者腿部的踝部。踝夹可包括一个或多个光学标记和/或发光二极管，例如包括一个或多个二维码。踝夹和/或光学标记和/或发光二极管可以是一次性的。踝夹和集成的或附接的光学标记和/或发光二极管可以用于利用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统确定内踝和外踝的位置，并且通过该位置确定比如，踝关节的踝部之间的中心或1/3或2/3距离点或中间点。或者，可以将一个或多个光学标记和/或发光二极管应用于内踝和/或外踝。在本发明的一些实施方案中，磁性基座可以固定到内踝和外踝上。然后，可以用无菌技术准备和遮盖脚踝，并且可以将一个或多个无菌的磁性光学标记和/或发光二极管施加在盖布或外科手术罩上，用内置的盖布或外科手术罩将一个或多个光学标记和/或发光二极管固定到磁性基座上。然后，可以使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统来识别内踝和外踝上的光学标记和/或发光二极管以及踝关节的中心、1/3或2/3距离点。
通过使用大腿或远端股骨处的一个或多个光学标记和/或发光二极管确定的髋关节的中心，以及使用踝夹和/或一个或多个光学标记和/或发光二极管确定的踝关节的中心或1/3或2/3距离点，系统可以获得患者的机械轴，并且可以计划外科手术干预，比如，用相应的股骨和/或胫骨和/或距骨切割矫正内翻或外翻畸形可使用光学头戴式显示器进行计划并随后投影。
在本发明的一个实施方案中，光学头戴式显示器可以显示患者的固有机械轴线，例如通过彩色或虚线或平面。光学头戴式显示器还可以显示预期的机械轴线校正，例如在虚拟手术计划中定义的。预期的机械轴线校正可以用彩色或虚线或平面显示，可选地不同于患者的原生机械轴线(如果也显示)。然后，外科医生可以引导骨锯或去毛刺器或其他手术器械，使得骨锯、去毛刺器或其他手术器械将基本上执行股骨远端或胫骨近端坪部分的移除，以通过预期机械轴线校正实现植入体的放置。
在本发明的另一个实施方案中，光学头戴式显示器可以显示通过股骨远端和/或胫骨近端的预期机械轴线校正，可选地使用线或平面，例如垂直于预期机械轴线，以指示一个或多个预期股骨远端和/或胫骨近端骨切口的定位。或者，光学头戴式显示器不显示预期的机械轴线校正，而是仅显示将产生预期机械轴线校正的预期股骨远端和/或胫骨近端骨切割，例如，如虚拟手术计划中所定义的。然后，外科医生可以可选地将实际的股骨远端切割块或实际的胫骨近端切割块与预期的股骨远端和/或胫骨近端切割对准，使得锯的实际切割块表面或实际槽与预期的虚拟股骨近端切割和/或胫骨近端切割基本对准。外科医生可以沿着实际切割块表面或实际槽引导锯片、去毛刺器或其他手术器械，以在活体患者体内执行预期的虚拟手术计划。可选地，外科医生可以对照预期的虚拟切口检查锯片或去毛刺器或其他手术器械的对准和/或方向，并且外科医生可以在实时手术期间使用虚拟数据和/或虚拟手术计划来调整锯片或去毛刺器或其他手术器械的对准和/或方向。
在本发明的一些实施方案中，一个或多个光学标记和/或发光二极管可以附接或固定到患者的手臂上。所述一个或多个光学标记和/或发光二极管可以例如附接到上臂的皮肤，比如，肘部上方。可以使用例如将一个或多个光学标记和/或发光二极管附接到患者皮肤上的粘合剂来进行附接。所述一个或多个光学标记和/或发光二极管可以可选地是无菌的。所述一个或多个光学标记和/或发光二极管可以可选地是磁性的。在该示例中，磁性基座可选地附接到患者的皮肤，比如，使用粘合剂。然后，可以将透明、半透明或不透明的手术盖布放置在磁性基座上，然后，将磁性光学标记附接到附接于患者皮肤的磁性基座上。或者，一旦形成皮肤切口，一个或多个光学标记和/或发光二极管可以刚性地附接到一个或多个骨骼，比如，近端肱骨。可以使用钉或螺钉或其他附接机构来完成刚性附接。
集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可以配准一个或多个光学标记和/或发光二极管的定位和/或位置和/或定向和/或对准，比如，当手臂处于中性位置和/或伸展位置和/或外展位置和/或任何其他位置，包括，任意位置或由外科医生和/或操作者选择的位置。然后，外科医生和/或操作者可以将手臂移动到多个不同的位置和/或定向和/或对准，和/或外科医生和/或操作者可以以圆形方式或半圆形方式或其他方式移动手臂。集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可以为在不同的圆形或半圆形运动期间手臂的这些多个不同的位置和/或定向和/或对准配准所述多个光学标记和/或发光二极管的定位和/或位置和/或定向和/或对准。得到的信息可用于确定旋转中心，在该示例中，旋转中心可以是肩关节的旋转中心。
使用具有几何图案的光学标记测量运动学：在本发明的一个实施方案中，操作者，例如护士、外科医生助理、物理治疗师或外科医生可选地触诊膝关节的关节空间，例如在内侧或外侧。可以由护士、外科医生助理、物理治疗师或外科医生通过一系列运动移动患者的关节来帮助识别关节空间。护士、外科助理、理疗师或外科医生也可以通过触诊选择性地识别髌骨。可选地，关节空间可以通过操作者使用的影像学检查来识别，例如基于办公室的超声波。
惯性测量单元：一个、两个、三个或更多个惯性测量单元，包括例如陀螺仪、加速度计、磁力计，由操作者(例如物理治疗师)放置在患者股骨远端，靠近内侧关节空间。如果使用了一个以上的惯性测量单元，惯性测量单元被放置在前后方向上，优选地沿着如通过触诊或成像识别的远端内侧股骨/股骨髁的轮廓。
可选地，一个、两个、三个或更多个惯性测量单元，包括例如陀螺仪、加速度计、磁力计，由操作者(例如物理治疗师)放置在患者股骨远端，靠近外侧关节空间。如果使用一个以上的惯性测量单元，惯性测量单元被放置在前后方向上，优选地沿着通过触诊或成像识别的远端外侧股骨/股骨髁的轮廓。
一个、两个、三个或更多个惯性测量单元，包括例如陀螺仪、加速度计、磁力计，由操作者(例如物理治疗师)放置在患者胫骨近端，内侧关节空间的远端。如果使用一个以上的惯性测量单元，惯性测量单元被放置在前后方向上，优选地沿着通过触诊或成像识别的胫骨近端内侧/胫骨坪的轮廓。
可选地，一个、两个、三个或更多个惯性测量单元，包括例如陀螺仪、加速度计、磁力计，由操作者(例如物理治疗师)放置在患者胫骨近端，外侧关节空间的远端。如果使用一个以上的惯性测量单元，惯性测量单元被放置在前后方向上，优选地沿着通过触诊或成像识别的胫骨近端外侧/胫骨坪的轮廓。
导航：在本发明的另一个实施方案中，与手术导航系统结合使用的标记，例如射频或逆向反射标记，以类似的方式应用于关节：一个、两个、三个或更多个导航标记由操作者(例如物理治疗师)放置在患者股骨远端，靠近内侧关节空间。如果使用一个以上的导航标记，则导航标记被放置在前后方向上，优选地沿着通过触诊或成像识别的远端内侧股骨/股骨髁的轮廓。
可选地，一个、两个、三个或更多导航标记由操作者(例如物理治疗师)放置在患者的股骨远端，靠近外侧关节空间。如果使用一个以上的导航标记，则导航标记被放置在前后方向上，优选地沿着通过触诊或成像识别的远端外侧股骨/股骨髁的轮廓。
一个、两个、三个或更多个导航标记由操作者(例如物理治疗师)放置在患者胫骨近端，内侧关节空间的远端。如果使用一个以上的导航标记，导航标记被放置在前后方向上，优选地沿着通过触诊或成像识别的胫骨近端内侧/胫骨坪的轮廓。
可选地，一个、两个、三个或更多导航标记由操作者(例如物理治疗师)放置在患者的胫骨近端、外侧关节空间的远端。如果使用一个以上的导航标记，则导航标记被放置在前后方向上，优选地沿着通过触诊或成像识别的胫骨近端外侧/胫骨坪的轮廓。
图像捕获：在本发明的另一个实施方案中，可以与可选地集成或附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统一起使用的标记，例如发光二极管标记、反射标记和任何其他适于基于图像和/或视频捕获的追踪的标记，以类似的方式应用于关节或相关骨骼、软组织或皮肤。这种标记可以包括具有几何图案的光学标记。图像和/或视频捕获系统可以包括一个、两个、三个或更多个集成到、附接到或分离于光学头戴式显示器的摄像头。摄像头可以被布置在定义的定位、位置、定向和/或角度，例如在佩戴光学头戴式显示器的用户的左眼和右眼上方，例如，以近似或模拟用户的左眼和右眼视差。因此，图像和/或视频捕获系统可以获得例如以下数据：
-由附接到光学头戴式显示器，与光学头戴式显示器集成或耦合到光学头戴式显示器的图像和/或视频捕获系统生成的数据
-视差数据，例如使用集成到、附接到或分离于一个或多个光学头戴式显示器的两个或更多个图像和/或视频捕获系统生成的数据，例如一个系统位于左眼上方或下方或附近的，第二个系统位于右眼上方或下方或附近
-距离数据，比如，由两个或更多个图像和/或视频捕获系统生成的视差数据，评估光学头戴式显示器与手术野或对象(例如患者的关节)之间的距离变化。距离数据可以使用一个或多个光学标记的已知几何结构来确定距离，例如手术野和光学头戴式显示器之间的距离，例如通过将具有几何图案的光学标记放置或附接到手术野的一部分，例如暴露或切割的骨的一部分，其中尺寸和距离(例如几何图案(例如线)的边缘坐标或其他坐标之间的距离)可以是已知的，并且可以用于例如计算或确定外科医生和/或光学头戴式显示器到光学标记和/或手术野的距离或者与关节运动相关的距离变化。
-几何数据，例如由一个、两个或更多个图像和/或视频捕获系统生成的数据，评估光学头戴式显示器和手术野或对象(例如患者关节)之间的几何变化；几何数据也可以使用视差数据生成。几何数据可以使用一个或多个光学标记的已知几何结构来确定距离和/或角度，例如手术野和光学头戴式显示器之间的距离和/或角度，例如通过将具有几何图案的光学标记放置或附接到手术野的一部分，例如暴露或切割的骨的一部分，其中尺寸、角度和距离(例如几何图案(例如线)的边缘坐标或其他坐标之间的距离和/或角度)可以是已知的，并且可以用于例如计算或确定外科医生和/或光学头戴式显示器到光学标记和/或手术野的距离和/或角度，或者与关节运动相关的距离和/或角度的变化。
-角度数据，例如由一个、两个或更多个图像和/或视频捕获系统生成的数据，评估光学头戴式显示器与手术野或对象(例如患者关节)之间的角度变化。角度数据可以使用一个或多个光学标记的已知几何结构来确定角度，例如手术野和光学头戴式显示器之间的角度，例如通过将具有几何图案的光学标记放置或附接到手术野的一部分，例如暴露或切割的骨的一部分，其中尺寸和角度(例如几何图案(例如线)的边缘坐标或其他坐标之间的角度)可以是已知的，并且可以用于例如计算或确定外科医生和/或光学头戴式显示器到光学标记和/或手术野的角度或者与关节运动相关的角度变化。
-运动数据，例如在关节运动和/或负重和/或承重或非承重条件下从关节和/或其周围组织(包括软组织、肌肉、皮肤或骨骼)和/或邻近组织或关节获得的数据。运动数据可以使用一个或多个光学标记的已知几何结构来确定距离和/或角度，例如手术野和光学头戴式显示器之间的距离和/或角度，例如通过将具有几何图案的光学标记放置或附接到手术野的一部分，例如暴露或切割的骨的一部分，其中尺寸、角度和距离(例如几何图案(例如线)的边缘坐标或其他坐标之间的距离和/或角度)可以是已知的，并且可以用于例如计算或确定外科医生和/或光学头戴式显示器到光学标记和/或手术野的距离和/或角度，或者与关节运动相关的距离和/或角度的变化。单位时间距离的变化可以用来计算移动速度。一个或多个光学标记的坐标变化可用于计算移动方向。
使用发光二极管和一个或多个图像和/或视频捕获系统可以产生类似的数据。两个或更多个发光二极管可以可选地布置成具有已知的几何结构，例如距离和/或角度，例如在二维或三维中，从而允许捕获视差数据、距离数据、几何数据、角度数据、和/或运动数据。
使用用于图像和/或视频捕获系统的标记，例如发光二极管标记或具有几何图案的光学标记的对准和/或运动学测量的精度可以通过使用具有不同视角的多个相机来提高。例如，在其中一个摄像头的视线被遮挡的情况下，精度可以提高；在该示例中，具有清晰视线的另一摄像头仍然可以捕获一个或多个标记的位置、定位、定向、对准和/或移动、移动方向和/或移动速度。
此外，使用用于图像和/或视频捕获系统的标记的对准和/或运动学测量的精度可以通过使用从多个相机(例如集成到或附接到或分离于同一光学头戴式显示器，或者集成到或附接到或分离于多个光学头戴式显示器)获得的视差信息来提高。例如，通过使用集成在一个或多个光学头戴式显示器中、附接到一个或多个光学头戴式显示器或与一个或多个光学头戴式显示器分离的多个相机测量距离、几何数据、角度数据、运动数据，包括例如移动方向和/或移动速度、加速度或减速度，例如关于关节弯曲或伸展的，可以在关节运动期间提高测量的准确性和/或再现性。数据平均策略可用于提高测量的准确性和/或再现性。可以采用本领域已知的用于使用多个数据输入源来提高测量数据的准确性和/或再现性的任何统计方法。
可以可选地通过使用两个或更多个摄像头的图像和/或视频捕获系统增强图像采集和三维体积、三维表面和/或三维形状的重建的准确性，其可以用于生成视差信息和/或立体视觉信息，视差和/或立体信息可用于增强重建的准确性。或者，可以通过平均三维坐标或检测到的表面点或其他几何结构(比如，平面或曲面)来合并来自两个或更多个摄像头的信息。
可选地，可以使用来自不同视角的具有多个摄像头、图像捕获或视频系统的多个光学头戴式显示器来执行视差测量。每个光学头戴式显示器可以有一个、两个或更多个摄像头。从来自第一光学头戴式显示器的一个或多个摄像头收集的信息可以与来自第二、第三、第四等光学头戴式显示器的一个或多个摄像头的信息组合。一些光学头戴式显示器可以只包括一个摄像头，而其他光学头戴式显示器可以包括多个摄像头。
一个、两个、三个或更多个图像捕获标记，例如光学标记，可以由操作者(例如物理治疗师)放置在患者股骨远端，靠近内侧关节空间。如果使用一个以上的图像捕获标记，图像捕获标记可以前后方向放置，例如沿着通过触诊或成像识别的远端内侧股骨/股骨髁的轮廓放置。
可选地，一个、两个、三个或更多个图像捕获标记可以由操作者(例如物理治疗师)放置在患者股骨远端，靠近外侧关节空间。如果使用一个以上的图像捕获标记，图像捕获标记可以沿前后方向放置，例如沿着通过触诊或成像识别的远端外侧股骨/股骨髁的轮廓放置。
一个、两个、三个或更多个图像捕获标记可以由操作者(例如物理治疗师)放置在患者胫骨近端，内侧关节空间的远端。如果使用一个以上的图像捕获标记，图像捕获标记可以前后方向放置，例如沿着通过触诊或成像识别的近端胫骨内侧/胫骨坪的轮廓放置。
可选地，一个、两个、三个或更多图像捕获标记可以由操作者(例如物理治疗师)放置在患者的胫骨近端，外侧关节空间的远端。如果使用一个以上的图像捕获标记，图像捕获标记可以前后方向放置，例如沿着通过触诊或成像识别的近端外侧胫骨/胫骨坪的轮廓放置。
髌骨，其他区域：在本发明的一个实施方案中，一个、两个、三个或更多个包括例如陀螺仪、加速度计、磁力计的惯性测量单元可以由操作者(例如物理治疗师)放置在患者的髌骨上，例如髌骨的中心、髌骨的上极、髌骨的下极和/或髌骨的内侧和/或外侧边缘上。
可选地，一个、两个、三个或更多个包括例如陀螺仪、加速度计、磁力计的惯性测量单元可以由操作者(例如物理治疗师)放置在胫骨结节、髌腱、四头肌腱上，或者放置在选定的肌肉和肌腹上，例如股内侧肌、股外侧肌、股直肌等。一个、两个、三个或更多的惯性测量单元可以应用于膝关节周围的任何肌肉或影响膝关节的运动的肌肉。可选地，一个、两个或三个惯性测量单元也可以应用于髋关节周围的皮肤和/或踝关节。
在本发明的另一个实施方案中，一个、两个、三个或更多个导航标记可以由操作者(例如物理治疗师)放置在患者的髌骨上，例如髌骨的中心、髌骨的上极、髌骨的下极和/或髌骨的内侧和/或外侧边缘上。
可选地，一个、两个、三个或更多导航标记可以由操作者(例如物理治疗师)放置在胫骨结节、髌腱、四头肌腱上，或者放置在选定的肌肉和肌腹上，例如股内侧肌、股外侧肌、股直肌等。一个、两个、三个或更多的导航标记可以应用于膝关节周围的任何肌肉或影响膝关节的运动的肌肉。可选地，一个、两个或三个导航标记也可以应用于髋关节周围的皮肤和/或踝关节。
在本发明的另一个实施方案中，一个、两个、三个或更多个图像捕获标记可以由操作者(例如物理治疗师)放置在患者的髌骨上，例如髌骨的中心、髌骨的上极、髌骨的下极和/或髌骨的内侧和/或外侧边缘上。可选地，一个、两个、三个或更多图像捕获标记可以由操作者(例如物理治疗师)放置在胫骨结节、髌腱、四头肌腱上，或者放置在选定的肌肉和肌腹上，例如股内侧肌、股外侧肌、股直肌等。一个、两个、三个或更多的图像捕获标记可以应用于膝关节周围的任何肌肉或影响膝关节的运动的肌肉。可选地，一个、两个或三个图像捕获标记也可以应用于髋关节周围的皮肤和/或踝关节。
在本发明的另一个实施方案中，惯性测量单元和导航标记、惯性测量单元和图像捕获标记、导航和图像捕获标记或惯性测量单元、导航和图像捕获标记(包括例如发光二极管和/或光学标记的图像捕获标记)，例如具有几何图案，例如二维或三维的，例如在立方体、球体上，可以彼此结合使用，并且可以放置在膝关节的内侧和/或外侧关节空间的近端和/或远端和/或髌股关节周围和/或膝关节、髋关节和/或踝关节周围的任何其他位置的任意组合中。可选地，两个或更多个惯性测量单元和/或导航标记和/或图像捕获标记可以放置在同一外壳中，然后可以在接近和/或远离膝关节内侧和/或外侧关节空间的一个或多个定位处将其施加到膝关节周围的皮肤上。可选地，在视线模糊的情况下，射频导航标记可以与红外或逆反射导航标记组合或结合使用，例如彼此附接或彼此分离。可选地，在视线模糊的情况下，射频导航标记可以与图像捕获标记(例如，具有几何图案的光学标记和/或发光二极管)组合或结合使用，例如彼此附接或彼此分离。可选地，在视线模糊的情况下，惯性测量单元可以与红外或逆反射导航标记组合或结合使用，例如彼此附接或彼此分离。可选地，在视线模糊的情况下，惯性测量单元可以与图像捕获标记(例如具有几何图案的光学标记和/或发光二极管)组合或结合使用，例如彼此附接或彼此分离。
在本发明的另一个实施方案中，当使用两个或更多个惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管)时，例如应用于股骨远端和/或胫骨近端，可选地在内侧或外侧，或者围绕髌股关节或围绕膝关节、髋关节和/或踝关节的任何其他位置，惯性测量单元和/或导航标记和/或图像捕获标记或其组合可以可选地附接到保持装置或支架的形式，使得应用到股骨远端和/或胫骨近端或其他位置可以仅在单个步骤或一个或两个或三个步骤中发生。保持装置或支架可以例如具有用于股骨的曲线布置或形状，其被设计成遵循远端股骨髁的矢状轮廓。保持装置或支架可以例如具有用于胫骨的更线性或更直的布置或形状，该布置或形状被设计成遵循胫骨近端和/或胫骨坪的矢状轮廓。保持装置或支架可以是柔性的或半柔性的，例如使用软塑料，使得它可以应用于股骨远端和/或胫骨近端的皮肤。保持装置或支架可以包括用于皮肤的带子或粘合剂。保持装置可以保持单排惯性测量单元和/或导航标记和/或图像捕获标记，例如在股骨远端或胫骨近端或髌骨上。保持装置可以保持多行惯性测量单元和/或导航标记和/或图像捕获标记，例如在股骨远端或胫骨近端或髌骨上。保持装置可以保持惯性测量单元和/或导航标记和/或图像捕获标记的阵列，例如在股骨远端或胫骨近端或髌骨上。保持装置可以是弹性或柔软的支撑，其可以环绕或缠绕膝关节，可选地使用Velcro带。在一个实施方案中，可以将弹性或软支撑套在脚和小腿上拉到患者的膝关节上。弹性或软支撑可以可选地包括内侧和外侧铰接机构，以允许膝关节弯曲或伸展。在本发明的另一个实施方案中，弹性或软支撑具有足够的弹性，不会干扰患者膝关节的自然运动。弹性或软支撑可以包括多行惯性测量单元和/或导航标记和/或图像捕获标记，例如具有几何图案的光学标记和/或发光二极管，例如位于股骨远端或胫骨近端或髌骨上方。在一个实施方案中，弹性或软支撑可以保持惯性测量单元和/或导航标记和/或图像捕获标记的阵列，例如在股骨远端或胫骨近端或髌骨上。可选地，包括一个或多个惯性测量单元和/或导航标记和/或图像捕获标记的保持装置，例如弹性或软支撑，可以附接到髋关节和踝关节和/或脚的区域或定位在髋关节和踝关节和/或脚的区域上方。
手术室中固定结构上的光学标记：在本发明的一些实施方案中，一个或多个光学标记和/或发光二极管可以附接到手术室(OR)台上。如果光学标记与手术台平行，则单个标记足以确定手术台的主平面，比如，水平面，其可以是患者所在的平面，比如，以仰卧、俯卧、横向或倾斜或本领域已知的其他姿势。这可以通过使用光学标记和/或发光二极管来辅助，所述光学标记包括与手术台平行或垂直或成限定角度的表面或平面，并且足够大以便被集成到、附接到或与光学头戴式显示器分开的摄像机、图像或视频捕获系统检测到。比如，光学标记的这种平面可以测量1×1厘米、2×2厘米、2×3厘米、4×4厘米、4×6厘米等。或者，可以使用多个(比如，两个，三个或更多)光学标记和/或发光二极管来确定平面，具体通过对应于手术台的主平面、或平行于手术台的主平面的平面、或者比如垂直于手术台的平面、或者比如与手术台成一定角度的平面的标记确定平面。如果手术台被手术盖布覆盖，则可以在放置手术盖布之前将一个或多个磁性或附接式的基座附接到手术台。在放置盖布之后，一个或多个磁性或附接式的光学标记和/或发光二极管可以用插入的手术盖布固定到磁性基座或附接机构上。磁性基座可以是不透射线的，这有助于使用电离辐射在射线照相图像或其他图像中识别光学标记的定位、定向和/或坐标。或者，可以将一个或多个已知几何结构的扶手或延伸件附接到手术台上，并且一个或多个光学标记和/或发光二极管可以附接到或可以集成到扶手或延伸件上。然后，集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可以识别一个或多个光学标记和/或发光二极管的定位、位置、定向和/或对准。结果信息可用于确定患者躺在其上的手术台的主平面。一个或多个光学头戴式显示器可以使用例如图像和/或视频捕获系统来参考，该图像和/或视频捕获系统相对于手术台和/或所附的光学标记和/或发光二极管集成到或附接到光学头戴式显示器。一旦在系统中确定了手术台的主平面，就可以在患者的虚拟手术计划中计划相对于手术台主平面的虚拟手术步骤。比如，可以垂直于手术台的主平面计划和/或执行一个或多个骨切割，比如，使患者处于仰卧姿势或俯卧姿势或任何其他期望姿势。可以相对于手术台的水平面以90度以外的限定角度计划和/或执行一个或多个骨切割，比如，使患者处于仰卧或俯卧姿势或任何其他期望姿势。可以在相对于手术台的主平面或水平面的非正交平面或方向上计划和/或执行一个或多个骨切割，比如，使患者处于仰卧或俯卧姿势或任何其他期望姿势，可选地参考垂直于手术台的由光学头戴式显示器显示的平面。手术台的主平面可以以这种方式用作参考，包括用于比较或参考患者虚拟数据和患者实时数据，以及包括用于比较或参考虚拟手术计划。可以使用一个或多个虚拟手术导引物或切割块和/或一个或多个物理手术导引物或切割块执行正交角度或非正交角度(比如，相对于手术台或相对于患者的解剖结构、解剖标志、解剖轴线或生物力学轴线)的骨切割。虚拟手术导引物或切割块可包括对应于物理手术导引物或切割块的一个或多个尺寸。一个或多个解剖轴线或生物力学轴线或其组合也可以以这种方式参考手术台，例如手术台的主平面、平行于手术台的平面、垂直于手术台的平面、倾斜于手术台的平面或其组合。
附接或引连手术台的一个或多个光学标记和/或发光二极管也可以在外科手术过程中用作一个或多个光学头戴式显示器的固定参考。比如，当患者和/或肢体和/或手术部位在手术期间移动时，这可能是有用的。对手术台的固定参考可以帮助维持一个或多个光学头戴式显示器和虚拟手术计划以及患者实时数据和/或手术室的配准。
在本发明的一些实施方案中，一个或多个光学标记和/或发光二极管可以在手术野的区域和/或远离手术野的区域中放置在患者上或附接于患者。集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统可用于识别一个或多个光学标记和/或发光二极管，并确定它们的定位、位置、定向和/或对准。图像和/或视频捕获系统还可选地确定附接到或参考手术台的一个或多个光学标记和/或发光二极管的定位、位置、定向和/或对准。该系统可以参考在手术野的区域中和/或远离手术野的区域中附接到患者的一个或多个光学标记和/或发光二极管与附接到或参考手术台的一个或多个光学标记和/或发光二极管的坐标和/或空间关系。以这种方式，如果患者的身体在手术期间移动，比如，在髋关节置换时的近端股骨拉削或髋臼扩孔期间，或者在膝关节置换时撞击股骨或胫骨组件期间，或者在钉住或切割骨头期间，或者在放置脊柱装置(比如，融合器或椎弓根螺钉)期间，则可以检测在外科手术野的区域中和/或远离外科手术野的区域中附接到患者的一个或多个光学标记和/或发光二极管与附接到或参考手术台的一个或多个光学标记和/或发光二极管之间的移动以及在手术野的区域中和/或远离手术野的区域中附接到患者的一个或多个光学标记和/或发光二极管的坐标变化，并且可以确定移动量、移动方向和移动幅度；比如，所得到的信息可用于针对患者的移动来更新或调整或修改虚拟手术计划或更新或调整或修改虚拟手术计划或虚拟手术步骤或虚拟显示器的显示，例如包括，通过使用新的患者坐标或手术野的新坐标来更新、移动或调整虚拟手术计划的一个或多个方面和/或部分，包括以下一项或多项：虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。
不透射线的光学标记：在本发明的一些实施方案中，光学标记的部分或整个光学标记可以是不透射线的，使得光学标记也可以在射线照片或利用电离辐射的其他影像学检查中可见，包括荧光透视，数字断层合成，锥形束计算机断层扫描和/或计算机断层扫描。不同水平或程度的射线不透性可以存在于光学标记的不同部分或区域中。可以利用不同水平或程度的射线不透性来编码信息。比如，不同水平的射线不透性可用于编码以光学可读的字母数字代码、条形码或二维码或其他代码保存的信息。不同水平的射线不透性可选地像厚度分布条一样布置，其可选地镜像条形码中包含的部分或全部信息。不同水平的射线不透性可选地像厚度分布一样以点或方格排列，其可选地镜像包含在二维码中的部分信息。通过改变金属(比如，铅)的厚度可以获得不同的射线不透性。以这种方式编码信息的不透射线光学标记和/或发光二极管可以使用三维金属打印机制造。它们也可以是数控机床(CNC)加工的，比如，自杆料或铸坯。光学标记可以包括不透射线的部分和非不透射线的部分。不透射线的部分可以包括不透射线的元件，例如不透射线的支柱、圆盘、球体和/或其他形状。可以使用本领域已知的任何其他形状。光学标记可以附接到不透射线的元件和/或不透射线的部分。光学标记可以集成到不透射线的元件和/或不透射线的部分中。光学标记可以与不透射线的元件和/或不透射线的部分分离，例如以限定的或已知的距离、限定的或已知的角度和/或限定的或已知的几何和/或空间布置。
光学标记的不透射线部分可包括侧向性信息，比如，左侧的左和右侧的右，在射线照片上可见，比如，通过不同的材料厚度，比如，铅；相同的信息可以包含在附加的字母数字代码或文本，条形码或二维码中，可以通过条形码或二维码阅读器或集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统读取。光学标记的不透射线部分可包括解剖部位信息，比如，L5或L4、T1或T2、C3或C7、膝关节、髋关节，在射线照片上可见，比如，通过不同的材料厚度，比如，铅；相同的信息可以包含在附加的字母数字代码或文本、条形码或二维码中，可以通过条形码或二维码阅读器或集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统读取。图像处理技术和/或软件可以应用于包括光学标记的射线照相信息和诸如横向性和/或位置的射线照相编码信息，并且可以将包括在射线照片中的信息与包括在光学扫描上的信息进行比较。如果检测到任何差异，则可以触发警报，比如，可以在光学头戴式显示器中显示警报。
可以使用多个部分或完全不透射线的光学标记。不透射线的光学标记可以应用在手术部位周围的不同位置和不同平面中。在脊柱外科手术中，比如，可以将一个、两个、三个或更多个不透射线的光学标记应用于脊柱节段周围的皮肤以进行预期的手术；一个、两个、三个或更多个不透射线的光学标记可以附接到插入棘突和/或椎弓根或其他脊柱元素的钉、钻或螺钉上；一个、两个、三个或更多不透射线的光学标记可以应用于患者的侧腹或腹部。在髋关节置换手术中，可以将一个、两个、三个或更多个不透射线的光学标记应用于患者的预期手术侧上的髂前上棘，比如，用粘合剂粘合到皮肤上或附接于骨上的钉或钻；一个、两个、三个或更多个不透射线的光学标记可以应用于患者对侧的髂前上棘，比如，用粘合剂粘合到皮肤上或附于骨上的钉或钻；可以将一个、两个、三个或更多个不透射线的光学标记附于耻骨联合处，比如，用粘合剂粘合到皮肤上或附于骨上的钉或钻上；一个、两个、三个或更多个不透射线的光学标记可以应用于附于患者的预期手术侧的髋臼，比如，附接到骨上的钉或钻上。一个、两个、三个或更多个不透射线的光学标记可以应用于附于患者的预期手术侧的大转子，比如，附接到骨上的钉或钻上。通过在手术部位周围的多个不同位置和不同平面中使用多个不透射线的光学标记，可以提高光学标记在不同模式(例如射线照相、图像捕获)中的任何三维空间配准和交叉参考的精度，例如通过获得不同角度(例如正位、横向和/或倾斜的)的多个X光片，和/或通过使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统从多个视角对不透射线的光学标记成像，或者通过使用集成到、附接到或分离于光学头戴式显示器的多个图像和/或视频捕获系统从多个视角对不透射线的光学标记成像，利用来自多个视角的信息或利用视差信息。通过在手术部位周围的多个不同位置和不同平面中使用多个光学标记，可以增加光学标记的三维空间配准的精度，比如，通过使用集成到光学头戴式显示器中、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统从多个视角对光学标记扫描成像。另外，当视角或射线照相角度改变，比如在外科手术过程中或由于患者移动时，可以更好地保持配准的准确性。
在本发明的一些实施方案中，可以测试系统性能。比如，系统性能测试可以在已知定位、位置、定向和/或对准处测量包括两个或更多个光学标记的体模。通过已知的两个或更多个光学标记的坐标以及标记之间的距离和角度，使用集成到光学头戴式显示器中、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，可以确定执行距离测量和/或角度测量和/或面积测量和/或体积测量的准确度。此外，通过重复测量，使用集成到光学头戴式显示器中、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，可以确定执行距离测量和/或角度测量和/或面积测量和/或体积测量的再现性和/或精度。使用集成到光学头戴式显示器中、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，可以确定执行距离测量和/或角度测量和/或面积测量和/或体积测量在静态和动态条件下的准确度和/或再现性和/或精度。静态条件可以是患者、脊柱、四肢、关节和/或骨骼不移动的情况。动态条件可以是在图像捕获期间患者、脊柱、四肢、关节和/或骨骼移动的条件。比如，动态条件可用于确定关节的旋转中心。静态条件和动态条件的测量可以针对集成到光学头戴式显示器中、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统的不同视角和距离来执行。可以使用集成到、附接到或分离于光学头戴式显示器的多于一个的图像和/或视频捕获系统，从而利用来自多个视角的信息或利用视差信息。静态条件和动态条件的测量可以在光学头戴式显示器静止而非移动时进行。静态条件和动态条件的测量可以在光学头戴式显示器不静止而移动时进行，比如，在光学头戴式显示器随操作者的头部移动时进行。
表5说明了在可以确定测量的准确度和再现性和/或精度的测试条件和测试参数的各种组合的情况下的示例性测试。任何组合都是可能的。可以测量其他参数，比如，色温的再现性(比如，以开尔文为单位)。可以应用其他统计测试。可以评估在静态、动态、光学头戴式显示器不动和光学头戴式显示器移动的条件下(包括以图像和/或视频捕获系统对于目标解剖结构和/或测试设备和/或体模的不同角度和距离)的所有测量和所有统计测定和参数。
一旦使用集成到、附接到或分离于光学头戴式显示器的一个或多个图像和/或视频捕获系统，确定了执行距离测量和/或角度测量和/或面积测量和/或体积测量和/或坐标测量的准确度和/或再现性和/或精度，便可以定义指示系统何时在临床上可接受的性能范围之外工作的阈值。可以使用本领域已知的标准统计方法确定阈值。比如，当集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统的视角和/或距离或移动速度指示测值落在包括整体系统性能的系统性能的两个标准偏差之外时，可以触发警告向外科医生告知虚拟数据的显示，比如，虚拟手术计划的部分，虚拟投影路径或虚拟平面(比如，虚拟切割平面)，可能不准确。二进制(比如，是，否)系统可用于触发图像和/或视频捕获系统和/或OHMD显示器在临床上可接受的性能范围之外操作的警报，比如，超过某些视角、超过或低于到目标解剖结构的某些距离或超过可接受的移动速度。或者，随着系统逐渐进入临床上可接受的性能范围之外的范围，可以使用滑动标度。滑动标度可以是例如从绿色到红色、中间为混合色的色标。滑动标度可以是声学信号，该声学信号在系统越越远离临床可接受范围之外操作时强度或频率越会增大。滑动标度可以是振动信号，该振动信号在系统越远离临床可接受范围之外操作时强度或频率越会增大。在本发明的一些实施方案中，当一个或多个测试数据指示系统在其临床可接受的性能范围之外运行时，光学头戴式显示器可以可选地关闭患者的任何虚拟数据的显示，例如虚拟计划信息、虚拟手术导引物或切割块或虚拟平面或预期路径，或者一个或多个期望的或预定的对准轴线、解剖轴线、生物力学轴线和/或旋转轴线。当测试数据表明系统在临床可接受的性能范围内再次运行时，OHMD显示器可以重新打开。包括精确度测试和再现性测试的系统测试可以间歇地进行，比如，每3秒、5秒、10秒、20秒、30秒、1分钟、2分钟等。系统测试可以连续进行。系统测试可以间歇或连续执行，但仅限于光学头戴式显示器显示虚拟数据的时间。系统测试可以间歇或连续进行，但仅限于需要高精度或可重复性的手术步骤正在执行时的时间。需要高精度或高再现性的这些步骤可以由外科医生例如通过语音命令或其他命令来识别，或者它们可以在虚拟手术计划中被识别，比如，自动识别或通过外科医生的选择。
在本发明的一些实施方案中，不透射线的和非不透射线的光学标记可选地附接或施加到扩展器上，扩展器增加光学标记与患者皮肤的距离。比如，这种扩展器可以通过钉、钻或螺钉锚固在棘突、椎弓根或其他脊柱元素或股骨髁或胫骨结节中。使用具有附接的射线照相光学标记的扩展器可以增加射线照相数据和图像捕获数据之间的配准精度，比如，当使用正位和侧位射线照片时。在使用图像捕获时，使用带有附加光学标记的扩展器可以有助于定义解剖轴线或器械轴线以及其他信息。当两个或更多个标记与扩展器一起使用并且标记分开的距离大于图像和/或视频捕获系统的空间分辨率时，比如，随着扩展器的长度和标记之间的距离增大可以增大确定例如两个标记之间的轴线的准确度。
光学标记可以用其他成像模式可见，比如，磁共振、核素显像(nuclearscintigraphy)、单光子发射断层扫描或正电子放射断层造影术。比如，光学标记可以掺杂有磁共振造影剂，比如，钆-DTPA(Gadolinium-DTPA)，使得它们以磁共振显现。光学标记可以掺杂有同位素或正电子发射体，使得它们以单光子发射断层扫描或正电子放射断层造影术显现。
当光学标记包括二维码或当二维码用作光学标记时，它还可以解决在手术之前、期间和之后的库存管理问题和质量问题。患者手术侧的错误是与手术相关的常见质量问题，可能对患者造成破坏性后果。类似地，在脊柱外科手术中，操作错误的脊柱节段会导致患者严重受伤。用于确定患者、肢体、关节、手术部位、手术器械、试验植入体和/或植入体组件的定位(location)、位置、定向、对准和/或行进方向的光学标记还可以包括使用比如，包含在光学标记中集成到光学标记中或附加到光学标记中的条形码或二维码的信息的以下任何信息：
-患者标识符；
-患者人口统计资料，比如，年龄、性别、身高、体重指数(BMI)；
-患者病历；
-患者风险因素；
-患者过敏；
-要手术的体侧，比如，左侧与右侧；
-要手术的部位，比如，膝关节与髋关节，脊柱节段L1与L2等；
-要手术的脊柱节段；
-虚拟手术计划的部分，例如：切除量；给定手术步骤的切除水平；骨切口的位置和/或定向；胫骨切口的斜度；植入体旋转(例如股骨组件旋转、胫骨组件旋转)；植入体弯曲(例如股骨组件弯曲)；去毛刺的预期深度、定位、位置、定向、方向、坐标；扩孔的预期深度、定位、位置、定向、方向、坐标；铣削的预期深度、定位、位置、定向、方向、坐标；股骨颈切口的角度；髋臼角；髋臼前倾；股骨前倾；偏移；股骨干轴线；股骨颈轴线；股骨颈角度；股骨颈前倾/后倾；关节盂前倾/后倾；肱骨前倾/后倾；偏移；肱骨干轴；肱骨颈轴；肱骨颈角；预期的植入体组件轴/对准；预期的聚乙烯成分、厚度(比如，髋关节髋臼衬垫、膝关节胫骨插入件、肩关节盂插入件)
-模板或尺寸的相关信息
○所选植入体组件的尺寸，比如，膝关节股骨、胫骨或髌骨组件、髋臼外壳、髋臼衬垫、股骨柄、股骨头、具有可移动轴承组件的股骨颈部分的尺寸
○植入体组件的一侧，左侧与右侧
-库存管理信息，例如所用器械的版本、类型、型号；所用器械的批号；所用器械的制造地点；所用器械的制造日期；所用器械的首次灭菌日期；应用于所用器械的灭菌周期数；所用器械的上一次灭菌日期；使用的消毒中心；使用的灭菌方法；推荐的灭菌方法；推荐的灭菌方法和使用的灭菌方法之间的差异，可选地带有警告，例如使用光学头戴式显示器进行光学传输；器械交付到医院或手术中心的日期；所用植入体组件的版本、类型、型号；所用植入体组件的批号；所用植入体组件的制造地点；所用植入体组件的制造日期；所用植入体组件的灭菌日期；所用植入体组件的灭菌类型；植入体组件的允许保存期，例如给定的包装和/或灭菌方法；植入体组件交付到医院或手术中心的日期；任何其他与库存管理相关的信息。
可选地，包括这些信息中的一些二维码也可以与光学标记分开。在本发明的一些实施方案中，可以在手术之前、期间和/或之后使用单独的条形码和/或二维码读取器来读取条形码和/或二维码上包含的信息。在本发明的一些实施方案中，集成到光学头戴式显示器中或附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于读取条形码和/或二维码上包含的信息。然后，比如，可以将从条形码和/或二维码读取的信息与虚拟手术计划的部分和/或准备用于手术的患者体侧(比如，左侧与右侧，)、准备用于手术的患者身体部位，比如，脊柱节段L4对L5(比如，如在射线照片上所见)、执行的物理手术、选择的物理器械、选择的物理植入体试验、选择的物理植入体组件进行比较。
当钉或螺钉放置在包括关节和/或骨头的手术部位中时，比如，在脊柱节段的棘突或椎弓根，具有带有二维码的集成式或附接式光学标记，或者当具有带有二维码的集成式或附接式光学标记的器械、试验植入体和/或植入体组件进入条形码和/或二维码阅读器和/或集成或附接到光学头戴式显示器的图像和/或视频捕获系统的视野时，或进入手术野或手术改变组织的附近时，物理钉或螺钉、物理器械、物理试验植入体和/或物理植入体组件上的条形码或二维码的信息可以被读取且可以与预期的手术部位信息和/或预期的侧向性信息和/或虚拟手术计划和/或预期的尺寸信息和/或预期的模板信息进行比较。在脊柱节段的示例中，条形码和/或二维码读取器和/或集成或附接到光学头戴式显示器的图像和/或视频捕获系统可以读取识别用于钉或椎弓根螺钉或其他装置的预期脊柱节段和侧面(左侧或右侧)上的二维码。可以将所述信息与患者的虚拟手术计划和/或X光信息进行比较。比如，系统可以使用术中X光来自动或半自动或用户操作识别脊柱节段(比如，从骶骨向上计数)，比如，通过检测骶骨终板和相对的终板和/或椎弓根。如果系统检测到从钉、螺钉或装置和集成或附加的光学标记和条形码或二维码读取的信息与虚拟手术计划和/或放射照相信息之间存在脊柱节段或侧向性的差异，则可触发检查装置、检查手术计划和/或重新确认脊柱节段和/或侧面的警报。上述示例不限于射线照相信息；本领域已知的其他影像学检查，比如，计算机断层扫描、磁共振等可用于确定或识别解剖部位和侧面，包括应用于脊柱节段。
如果二维码的读取表明二维码中嵌入的任何信息(比如，虚拟手术计划的部位、侧向性、节段、多部分或多方面、尺寸或模板信息)，与手术期间的物理实时数据(比如，插入的钉或螺钉、所用物理器械、所用物理试验植入体和/或所用物理植入体组件的物理位置或脊柱节段或侧向性，)相比较存在差异，则可以触发警报，比如，在光学头戴式显示器中或在用于计划、显示或修改虚拟手术计划的计算机监视器。警报可以是视觉的，比如，显示的红色警告标志或停止标志或警报标志，或声音，或振动，或其组合。可以使用本领域已知的任何其他警报。
比如，当外科医生在患者上操作以更换患者的左膝时，一个或多个植入体组件或附接的保持器或包装标签或无菌包装可包括有包括二维码的光学标记。二维码可以指示侧向性，比如，左股骨组件与右股骨组件。如果手术技术员意外地将右侧股骨组件递给外科医生用于移植到患者的左膝中，则外科医生佩戴的光学头戴式显示器集成或附接的图像和/或视频捕获系统可以在外科医生取股骨组件时以及在具有附接式光学标记和二维码的股骨组件进入外科医生的视野时或进入手术野附近时，读取二维码。图像和/或视频捕获系统和相关系统软件可以读取二维码识别植入体组件是否用于右膝；然后，系统软件可以将该信息与能够指示原计划是左膝的患者的虚拟手术计划或模板和/或尺寸信息进行比较，然后，触发不正确的股骨组件已进入外科医生的视野或者已经进入手术野(比如，由另一个光学标记定界)的附近的警报。警报可以辅助外科医生通过切换到正确侧的组件来纠正错误。
在无菌屏障内指示医疗装置的使用的光学标记的布置：在另一示例中，当外科医生在患者上操作以更换患者的左膝时，一个或多个植入体组件或附接的保持器或包装标签或无菌包装可包括有包括二维码的光学标记。可选地，光学标记，例如包括二维码、条形码或其他库存管理码，可以包括在无菌包装内。在一些实施方案中，无菌包装可以包括第一和第二无菌屏障。二维码、条形码或其他库存管理码可以包含在第一无菌屏障内。二维码、条形码或其他库存管理码可以包含在第二无菌屏障内。二维码、条形码或其他库存管理码可以包含在第一和第二无菌屏障内。可选地，当第一和/或第二无菌屏障打开时，可以使用二维码、条形码或其他库存管理码读取器来读取代码。二维码、条形码或其他库存管理码被有意地放置和/或布置在无菌屏障内，使得它们仅在第一和/或第二无菌屏障打开后才能被读取或检测，例如通过从包装上移除盖子或封条、指示和/或确认医疗装置的使用，这可以例如触发例如账单费用或发票。二维码、条形码或其他库存管理码在无菌屏障内不可见、可以隐藏和/或可以模糊，使得它们仅随着无菌包装的打开而暴露，并且使得它们仅在第一和/或第二无菌屏障打开时才能被读取或检测，例如通过从包装上移除盖子或密封件、指示和/或确认医疗装置的使用，这可以例如触发账单费用或发票。二维码、条形码或其他库存管理码在无菌屏障内可以是故意不可见的、可以是故意隐藏的和/或可以是故意模糊的，使得它们仅随着无菌包装的打开而暴露，并且使得它们仅在第一和/或第二无菌屏障打开时才可以被读取或检测，例如通过从包装上移除盖子或密封件、指示和/或确认医疗装置的使用，这可以例如触发账单费用或发票。集成到、附接到或分离于光学头戴式显示器的摄像头或图像捕获系统和/或三维扫描仪可以检测和/或读取二维码、条形码或其他库存管理码。因此，例如当护士、手术助手或外科医生打开第一无菌屏障时，二维码、条形码或其他库存管理码读取器(包括例如集成到、连接到或分离于光学头戴式显示器(例如护士、手术助手或外科医生佩戴的光学头戴式显示器)的摄像头或图像和/或视频捕获系统和/或三维扫描仪)可以读取二维码、条形码或其他库存管理码，发送植入体组件的第一无菌屏障已经打开的信号。当护士、手术助手或外科医生打开第二无菌屏障时，二维码、条形码或其他库存管理码读取器(包括例如集成到、附接到或分离于光学头戴式显示器(例如护士、手术助手或外科医生佩戴的光学头戴式显示器)的摄像头或图像和/或视频捕获系统和/或三维扫描仪)可以读取二维码、条形码或其他库存管理码，发送植入体组件的第二无菌屏障已经打开的信号。第一和/或第二无菌屏障的打开可以触发信号或命令，该信号或命令指示植入体组件已经在手术期间使用；该信号或命令可以被传送到医院管理系统或制造商，例如传送到它们各自的库存管理系统，触发一个或多个附加命令，例如补充用过的植入体组件的库存和/或支付制造商用过的植入体组件的费用和/或生成订购单和/或给医院的发票。
二维码可以指示植入体组件的尺寸，比如，尺寸5或6或其他股骨组件，或尺寸5或6或其他胫骨组件，或尺寸2或3或其他髌骨组件。如果手术技术员意外地将用于植入到患者的尺寸为4的股骨组件(模板化为尺寸为6的股骨组件)递给外科医生，则外科医生佩戴的光学头戴式显示器所集成或附接的图像和/或视频捕获系统可以在外科医生取股骨组件时以及在具有该附接的光学标记和二维码的股骨组件进入外科医生的视野时或进入手术野附近时，读取二维码。图像和/或视频捕获系统和相关系统软件可以读取识别植入体组件尺寸为4的二维码；然后，系统软件可以将该信息与可以指示已规划了尺寸为6的股骨组件的患者的虚拟手术计划或模板和/或尺寸信息进行比较，然后触发不正确的股骨组件已进入外科医生的视图或已进入手术野(比如，由另一光学标记定界)附近的警报。警报可以辅助外科医生通过切换到正确尺寸的组件来纠正错误。
集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统和/或条形码和/或二维码读取器也可用于读取关于虚拟手术器械和/或植入体组件的嵌入信息，以用于库存管理和计费和开发票的目的。比如，图像和/或视频捕获系统和/或条形码和/或二维码读取器可以检测使用了哪些器械、监视其使用频率，以及当达到某个推荐的使用频率时，系统可以触发警报以发送器械进行维修。在一些实施方案中，图像和/或视频捕获系统和/或条形码和/或二维码读取器可以检测使用哪些器械，并触发警报以将器械送去消毒。在一些实施方案中，图像和/或视频捕获系统和/或条形码和/或二维码读取器可以检测使用哪些一次性器械，并触发系统警报补充供应，发送新的、另外的一次性器械替换已用器械。在一些实施方案中，图像和/或视频捕获系统和/或条形码和/或二维码读取器可以检测使用了哪些植入体组件和其他应支付组件，并在系统中触发警报补充供应，并发送新的、另外的植入体来取代已用植入体；警报还可以触发命令以生成医院和/或手术中心的发票，并监测支付。
任何前述实施方案可以被应用于任何类型的手术期间的任何手术步骤和任何手术器械或任何植入体组件，比如，在膝关节置换、髋关节置换、肩关节置换、包括前交叉韧带修复的韧带修复、脊柱手术、脊柱融合(比如，前路和后部)、椎体成形术和/或椎体后凸成形术期间。
在本发明的一些实施方案中，钉或其他植入式或附接式标记或校准或配准体模或包括光学标记的装置可以最初放置在，比如，骨或骨赘或骨刺或其他骨解剖结构或畸形中。可以执行虚拟图像数据与患者实时数据的配准，比如，使用针已被物理地放置在的解剖标志或位置或骨赘或骨刺或其他骨解剖结构或畸形，并且可选地在电子图像上标记所述针。然后可以选择性移除钉，比如，如果它们会干扰外科手术的步骤。在执行外科手术的步骤(比如，骨切割)之后，可选地将钉重新插入留在骨切割下方的残留骨中的钉孔中，并且钉可以用于配准患者虚拟数据与患者实时数据，即使手术部位和解剖结构已经通过外科手术改变。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与(例如在为患者制定的虚拟手术计划中的)患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配，叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术执行。
使用患者特异性标记(specific marker)或模板配准患者虚拟数据和患者实时数据
已经描述了使用患者特异性标记或模板，包括WO 9325157A1中描述的那些技术，将患者虚拟数据与患者实时数据配准的各种技术，这些技术通过引用明确地并入本文。
在本发明的一些实施方案中，执行术前成像以获取患者的三维数据。术前成像比如需要超声、计算机断层扫描或磁共振，任何如前所述的成像技术，可选注射造影剂。
术前成像可包括单个区域或部位，比如，腰椎或腰椎的一部分或一个或多个脊柱节段，或单个关节(比如，膝关节、髋关节、踝关节、肩关节、肘关节或腕关节)。或者，术前成像可包括扫描一个或多个相邻关节的部分或全部。当需要关于肢体长度或轴线对准或旋转对准的信息时，该方法可能是有益的。比如，在计划髋关节置换手术时，具有可及的通过远端股骨和可选的膝关节和/或踝关节的图像信息来确定例如腿长度会是有益地。在计划膝关节置换手术时，具有通过髋关节和踝关节的图像信息会是有益的。比如，以这种方式，可以例如确定髋关节中心和踝关节中心。该信息可用于确定患者的机械轴线对准，并且可选地，用于计划任何机械轴线矫正。
术前成像还可以在一个或多个姿势下进行成像，比如，俯卧、仰卧、直立、屈曲、伸展、侧向弯曲等。从对患者在不同姿势下扫描获得的数据，可以任选组合或融合。比如，可以使用直立的承重部分或全腿X光来确定腿的机械轴线对准。比如，来自计算机断层扫描或磁共振的膝关节三维数据可用于获得关于关节的详细解剖信息，比如，以获得表面形状信息并设计患者特异性标记或模板。来自直立扫描的信息可用于将患者特异性标记或模板或其各方面相对于机械轴线对准。来自三维膝关节扫描的信息可用于导出一个或多个适合患者的独特形状的患者特异性表面。
在患有脊柱症状的患者体内，脊柱的三维数据可以通过计算机断层扫描或磁共振扫描或旋转荧光透视或C臂扫描获得。比如，在屈曲和伸展中的直立成像可用于确定脊柱不稳定的存在和程度，比如，在具有椎弓根螺钉和/或融合器的预期脊柱融合手术之前。可以确定不稳定程度或滑动程度并用于确定预期矫正的程度(如果有的话)或所需的椎间孔切开术的程度，两者都可以可选地在三维数据上计划。可选地使用侧向弯曲视图来确定部分椎骨椎体切除术的程度和角度以及椎间椎弓根的期望位置和/或高度。因此，来自直立影像学检查的数据可以与来自仰卧或俯卧影像学检查的数据组合或选择性融合。来自二维影像学检查的数据可以与来自三维影像学检查的数据组合或融合。三维数据可用于导出适合于患者的独特形状的一个或多个患者特定表面，比如，适合于一个或多个患者棘突、一个或多个患者横突，一个或多个患者椎板，一个或多个患者关节突，一个或多个患者椎体的独特形状。
患者特异性标记或模板可包括一个或多个被设计和制造成适合患者的相应表面的表面，通常类似于凹形或基本上为凹形。可对表面进行可选的修匀。或者，可以有意地“粗糙化”表面以包括比患者的目标解剖结构的区段三维表面更多的表面特征。这样的表面特征可以包括例如尖钉或针状结构，以使患者特异性标记或模板在患者组织表面上的固定增强。
可以从计算机断层扫描、磁共振或超声扫描以及X光成像制定患者特异性标记或模板。原则上，任何多平面二维或三维成像模式都是适用的，特别是当它提供关于表面形状的信息或提供信息以得出解剖区域的表面形状的估计时。患者特异性标记或模板可以包括设计或制造成适合患者的任何关节或脊柱或其他解剖位置的一个或多个表面，如适合患者的相应软骨表面；患者的软骨下骨表面；患者的皮质骨表面；患者的骨赘或骨刺；患者的骨缺损；患者的赘骨形成；患者的软骨下囊肿；
软组织形状，例如大腿或小腿或下背部、胸部、颈部、脚或脚踝或肩部的形状；不同身体姿势或位置的软组织形状，例如俯卧位、仰卧位或侧卧位；患者的韧带；患者的唇缘；患者的半月板；患者的器官形状；患者的器官边缘，如肝缘或脾缘。
对于给定组织，不同的影像学检查尤其适合。比如，如果患者特异性标记或模板被设计成适合患者的软骨形状，则磁共振和超声波或计算机断层扫描关节造影术最适合于提供表面信息。如果患者特异性标记或模板旨在适合软骨下骨形状或皮质骨形状，则可以使用计算机断层扫描，尽管磁共振和超声也可以提供关于骨形状的信息。
患者特异性标记或模板可使用不同材料制造，比如，ABS或尼龙或不同类型的塑料或金属。它们可以例如从坯料加工，其中CAD/CAM加工系统将患者特定的形状信息传送到铣床中。它们也可以使用本领域已知的立体平版印刷术或三维打印技术生产。如果使用三维打印，可以使用空气清洁操作和/或水浴除去残留粉末。可以使用基于粉末或基于液体树脂的方法来执行三维打印，包括但不限于，连续液态界面生产。
患者特异性标记或模板可包括或结合光学标记，比如，具有不同几何形状或图案、二维码、条形码、字母数字代码的光学标记。可选地可以打印几何形状或图案，二维码，条形码，字母数字代码，比如，当三维打印用于制造患者特异性标记或模板时。三维打印可以用软件执行，比如，Materialize Magics(Materialise，Leuven，Belgium)和本领域已知的硬件，比如，3D Systems、Rock Hill、SC或Concept Laser、Lichtenfels、Germany的3D打印机。
患者特异性标记或模板可以制造为具有不同的材料特性。比如，它们可以是非弹性的、半弹性的或弹性的。可能很坚硬。可以是实心的，或包括空心空间或开口。可以是不透明的。患者特异性标记或模板可以是半透明的。患者特异性标记可以是透明的。在一些实施方案中，患者特异性标记或模板可以是半不透明或半透明的。然而，当患者特异性标记或模板与患者接触并且标记或模板的患者特异性表面与患者的相应表面良好匹配时，由于在患者的相应表面上有组织水分，因而使得患者特异性标记或模板变得透明。
可以在关节的第一表面上使用一种或多种患者特异性标记或模板。可以在关节的第二表面上使用一种或多种患者特异性标记。第一和第二表面可以位于关节的相同承重侧。第一和第二表面可位于关节的相对侧。关节的第一表面上的一个或多个患者特异性标记或模板不能连接到关节的第二表面上的一个或多个患者特异性标记或模板。在一些实施方案中，关节的第一表面上的一个或多个患者特异性标记或模板可以可选地连接或连接到关节的第二表面。因此，可以可选地互相参照一种或多种患者特异性标记或模板。
可以针对任何关节、脊柱的任何部分以及人体的任何组织设计患者特异性标记或模板。患者特异性标记或模板通常包括设计成适合患者的相应表面或形状的一个或多个表面或形状。患者特异性标记或模板可以设计和/或安装所针对的患者表面的代表性非限制性示例包括：
脊柱：
-一部分或整个棘突
-一部分或整个脊椎板
-一部分或整个脊柱关节突
-一部分或整个小关节
-一部分或整个横突
-一部分或整个椎弓根
-一部分或整个椎体
-一部分或整个椎间盘
-一部分或整个脊柱骨赘
-一部分或整个脊柱骨刺
-一部分或整个脊柱骨折
-一部分或整个椎体骨折
-前述的任何组合
髋部：
-一部分或整个髋臼
-髋臼的一部分或整个边缘
-髋臼边缘的多个部分
-髂壁的一部分
-耻骨的一部分
-坐骨的一部分
-大转子的一部分或整个大转子
-小转子的一部分或整个小转子
-股骨干的一部分或整个股骨干
-一部分或全部股骨颈
-一部分或全部股骨头
-骨头凹
-横向髋臼韧带
-丘脑后结节
-韧带
-上唇
-一个或多个骨赘，股骨和/或髋臼
-前述的任何组合
膝关节：
-部分或整个股骨内侧髁
-部分或整个股骨外侧髁
-部分或整个股骨凹陷
-部分或整个滑车
-股骨前部皮质的一部分
-股骨前部皮质的与滑车的各部分相邻的部分
-股骨前部皮质的与滑车和骨赘(当存在时)的各部分相邻的部分
-一个或多个骨赘股骨和/或胫骨
-一个或多个骨刺股骨和/或胫骨
-上髁隆起
-一部分或整个胫骨内侧坪
-一部分或整个胫骨外侧坪
-部分或整个胫骨内侧棘
-部分或整个胫骨外侧棘
-胫骨前部皮质的一部分
-胫骨前部皮质的一部分和胫骨坪的一部分，内侧或外侧或两者
-胫骨前部皮质的一部分和胫骨坪的一部分，内侧或侧面或两者和骨赘(若存在)
-一部分或整个髌骨
-髌骨的内侧边缘
-髌骨的外侧边缘
-髌骨上极
-髌骨下极
-髌骨骨赘
-前十字韧带
-后十字韧带
-内侧副韧带
-外侧副韧带
-一部分或整个内侧半月板
-一部分或整个外侧半月板
-前述的任何组合
肩部：
-部分或整个关节盂
-一部分或整个喙突
-一部分或整个肩峰
-锁骨的一部分
-一部分或整个肱骨头
-一部分或整个肱骨颈
-肱骨干的一部分
-一个或多个肱骨骨赘
-一个或多个关节盂骨赘
-一部分或整个关节盂唇
-一部分或整个肩部韧带，比如，喙肩韧带，上、中或下盂肱韧带
-肩胛骨的一部分
-前述的任何组合
头骨和大脑：
-颅骨的一部分
-枕骨部的一部分
-颞骨的一部分
-枕骨的一部分
-顶骨的一部分
-额骨的一部分
-面部骨骼的一部分
-颅骨内部的一部分或整个骨骼结构
-部分或全部选择脑回
-部分或全部选择脑沟
-窦的一部分
-静脉窦的一部分
-脉管的一部分
器官：
-器官的一部分，比如，肾的上极或下极
-肝脏、脾脏、肺脏的边缘或边界
-肝叶的一部分
-脉管的一部分
-裂缝的一部分，比如，在肝脏或脾脏
-子宫的一部分
如果适用于特定解剖区域，比如，软骨、软骨下骨、皮质骨、骨赘等，则可以将患者特异性标记或模板设计或适合于任何前述组织。患者特异性标记或模板可以仅设计或适合于正常组织。患者特异性标记或模板可以仅设计或适合于异常或患病组织。可以将患者特异性标记或模板设计或适合于正常组织和异常组织或患病组织的组合。比如，患者特异性标记可以设计为正常软骨、或患病软骨、或正常和患病软骨的组合，比如，在相同或相对的关节表面上。患者特异性标记可用于在共同坐标系中配准一个或多个正常或病理组织或结构，比如，用患者的一个或多个光学头戴式显示器和虚拟数据。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
可以使用患者虚拟数据来设计患者特异性标记或模板，比如，来自诸如计算机断层扫描、磁共振扫描或超声扫描的术前影像学检查。患者特异性标记或模板包括一个或多个表面，设计和/或制造所述表面以实现与患者的相应表面的紧密配合。
在本发明的一些实施方案中，外科医生或操作者可以将患者特异性标记或模板应用于患者的相应组织。一旦实现了令人满意的配合并且两个相应的表面基本上接触，则患者特异性标记或模板可用于将患者虚拟数据和可选的虚拟手术计划与患者实时数据配准。通过将患者特异性标记或模板应用于患者的相应表面，外科医生可有效识别虚拟数据中的相应结构或表面以及患者实时数据。
然后可以确定患者特异性标记或模板相对于光学头戴式显示器的位置、定位和/或定向。本文描述的任何实施方案可以应用于确定患者特异性标记或模板相对于光学头戴式显示器的位置、定位和/或定向。比如，患者特异性标记或模板的与患者特定表面相对的侧面可以包括能够易于被集成到或附接到或耦合到光学头戴式显示器的图像和/或视频捕获系统识别的某些标准化的几何特征，比如，矩形、三角形、圆形等。在替代实施方案中，患者特异性标记或模板可包括一个或多个惯性测量单元，包括例如加速度计、磁力计和陀螺仪，类似于例如光学头戴式显示器。在一些实施方案中，患者特异性标记或模板可包括一个或多个射频标签或标记或逆向反射标记，并且其位置、定位和/或定向可由手术导航系统捕获。射频标签可以是主动的也可以是被动的。可选地，光学头戴式显示器也可以包括一个或多个射频标签或标记或逆向反射标记，其位置、定位和/或定向也可以由手术导航系统捕获并且与患者特异性标记或模板互相参照。患者特异性标记或模板还可包括光源，比如，激光或发光二极管(LED)。比如，可以将激光投影到墙壁或天花板上，并且光学头戴式显示器可以与其相对引用。附接或集成到患者特异性标记或模板中的发光二极管可以被识别，比如，通过集成到或附接到或耦合到光学头戴式显示器的图像和/或视频捕获系统。
在另外的实施方案中，在外科手术期间所用一个或多个外科手术器械和/或一个或多个植入式装置可以包括通过集成到或附接到光学头戴式显示器或耦合到光学头戴式显示器的图像和/或视频捕获系统容易识别的某些标准化几何特征，比如，矩形、三角形、圆形等。在替代实施方案中，在外科手术期间所用一个或多个外科手术器械和/或一个或多个植入式装置可包括一个或多个惯性测量单元，包括例如加速度计、磁力计和陀螺仪，类似于例如光学头戴式显示器。在一些实施方案中，在外科手术期间所用一个或多个手术器械和/或一个或多个植入式装置可包括一个或多个射频标签或标记或逆向反射标记，并且其位置、定位和/或定向可由手术导航系统捕获。可选地，光学头戴式显示器也可以包括一个或多个射频标签或标记或逆向反射标记，其位置、定位和/或定向也可以由手术导航系统捕获，并且与患者特异性标记或模板和/或手术期间使用的一个或多个手术器械和/或一个或多个植入式装置互相参照。在手术期间所用一个或多个手术器械和/或一个或多个植入式装置还可以包括光源，比如，激光器或发光二极管。比如，可以将激光投影在墙壁或天花板上，并且可以相对于激光参照光学头戴式显示器和患者。可以比如，通过集成到或连接到光学头戴式显示器或耦合到光学头戴式显示器的图像和/或视频捕获系统识别附接到或集成到在手术期间使用的一个或多个手术器械和/或一个或多个植入式装置的发光二极管。可选地使用多个发光二极管。可选地，所述多个发光二极管中的两个或更多个发光二极管具有不同波长或颜色。两个或更多个发光二极管可以位于空间限定的位置和方向中，比如，以预定义或固定距离并且以一个或多个预定义或固定角度定位。以这种方式，所述两个或更多个发光二极管可以通过集成到光学头戴式显示器中、附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统定位，并且它们的如通过图像和/或视频捕获系统看到的测量距离和/或角度能够例如用于确定操作者到目标解剖结构的距离和/或方向，例如，当图像和/或视频捕获系统靠近操作者的眼睛时。通过使用具有不同波长或颜色的发光二极管，图像和/或视频捕获系统可以区分不同的发光二极管；当发光二极管以已知的空间方向排列时，该信息可有助于提高配准的准确度和/或用于获得精确的距离、角度、方向和/或速度测量。如上所述的具有不同波长和颜色、测值或配准的两个或更多个发光二极管的使用适用于贯穿说明书包含发光二极管使用或适合使用发光二极管的所有实施方案。
可选地，患者特异性标记或模板以及可选地手术期间使用的一个或多个手术器械和/或一个或多个植入式装置还可以包括颜色标记，可选地具有不同的几何形状或定位于或定向于不同的已知位置和不同的已知角度，这些位置和角度比如可以被集成到或附接到或耦合到光学头戴式显示器的图像和/或视频捕获系统使用来识别这样的图案和，比如，估计比如，从手术部位到光学头戴式显示器的距离和角度，或两个标记、两个手术器械或医疗装置组件之间的距离和角度。
可选地，患者特异性标记或模板以及可选地手术期间所用一个或多个手术器械和/或一个或多个植入式装置还可以包括刻度(比如，公制距离、英寸)或角度，这些刻度或角度比如可以被集成到或附接到或耦合到光学头戴式显示器的图像和/或视频捕获系统使用来识别这样的刻度或角度，并且例如估计比如，从手术部位到光学头戴式显示器的距离和角度，或两个手术器械或医疗装置组件之间的距离和角度。
在本发明的一些实施方案中，患者特异性标记或模板可以附接到患者的相应表面或附接到患者的相邻表面，比如，使用组织胶(如纤维蛋白胶)或针或钉。
在一些实施方案中，患者特异性标记或模板可包括开口或导引物，比如，用于接受手术器械或工具，比如，去毛刺器、锯、扩孔器、钉、螺钉和任何本领域已知的其他器械或工具。
通过使用患者特异性标记或模板以及可选地在手术期间所用的一个或多个选择性手术器械和/或一个或多个植入式装置和光学头戴式显示器来互相参照患者虚拟数据和患者实时数据，现在可以在手术期间获得并使用患者虚拟数据中包含的任何坐标信息、距离信息、轴线信息、功能信息。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术执行。
使用术中成像配准患者虚拟数据和患者实时数据
在本发明的一些实施方案中，可以执行术中成像，比如，使用X光成像或计算机断层扫描成像和/或超声成像。使用术中成像在术中获得的患者虚拟数据可用于配准比如，使用术前X光、超声、计算机断层扫描或磁共振成像，在术前获得的患者虚拟数据。可以将患者的术前和术中虚拟数据以及患者实时数据与一个或多个光学头戴式显示器在共同坐标系中进行配准，例如通过识别和选择性地标记对应的解剖标志、表面、对象形状，比如，患者的术前虚拟数据中、患者的术中虚拟数据中(比如，上述中的一者或多者的电子二维或三维图像)以及患者实时数据中的手术部位或目标组织的。虚拟术前、虚拟术中和实时数据可包括骨赘或骨刺或其他骨解剖结构或骨畸形。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
当通过术中成像获得的信息量，例如在解剖学上或以其他方式比术前成像可获得的信息量更受限制时，该实施方案可以是有利的，反之亦然。
比如，术中成像可以使用X光成像来执行，其通常本质上仅是二维的。可以通过一个以上平面中的图像采集来增强X光成像，比如，正交平面或由限定角度分开的一个或多个平面。术中X光图像可用于识别某些标志或形状，然后，可在手术期间将其配准到患者的术前成像和/或实时数据。术前成像可以选择性包括三维图像数据，比如，通过计算机断层扫描或磁共振获得。在多个平面中获取术中图像可以有助于更准确地定义用于术前虚拟数据、术中虚拟数据和患者实时数据的配准的某些解剖标志、轮廓或形状的位置。患者的术中虚拟数据可以是二维或三维的患者术中图像，以兹澄清。
比如，在诸如椎体成形术、椎体后凸成形术、椎弓根螺钉放置或包括人造椎间盘或支撑器的前脊柱装置的放置的脊柱手术中，术中X光成像可用于识别例如针对手术的脊柱节段，在正位投影中的某些标志或轮廓，比如，棘突的尖端、小关节、小关节的上或下尖端、椎板的皮质边缘、上部或下部终板或骨赘或骨刺或其他骨解剖结构或骨畸形。可选地，X光管与患者之间的距离导致X光放大可以被考虑到任何配准中，以便提高患者虚拟术前数据和患者虚拟术中数据或患者实时数据的配准准确性。然后，可以配准术中X光图像，并且可选择通过光学头戴式显示器将其在投影中叠加到患者术前数据或患者实时数据中。患者的术中虚拟数据，比如，棘突尖端、小关节、小关节的上或下尖端、椎板的皮质边缘、上部或下部终板，可以配准到患者实时数据，比如，通过接触带指向装置或穿过皮肤插入的针或钉的相应解剖标志，并通过实时数据指示装置的尖端的位置和患者术中虚拟数据互相参照。以这种方式，可以共同配准患者的术前虚拟数据、患者的术中虚拟数据和患者实时数据及其组合中的任何一个。可以在光学头戴式显示器中选择性看到数据集、患者的术前虚拟数据、患者的术中虚拟数据和患者实时数据中的两者或三者。然而，在许多实施方案中，术中成像可以仅用于增强患者的术前虚拟数据和患者实时数据的配准准确性，并且比如，患者的术前虚拟数据和/或预期放置在手术部位的医疗装置将与患者或手术部位的实时数据的视图一起由光学头戴式显示器显示。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后使用本文描述的技术重复配准患者虚拟数据和患者实时数据，并且可选地重复术中成像。在该情况下，实时患者或患者的术中重复图像数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征可以匹配、叠加到和/或配准到比如在为患者制定的虚拟手术计划中的患者的虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术执行。
使用皮肤标记或软组织标记配准患者虚拟数据和患者实时数据
在本发明的一些实施方案中，皮肤标记和软组织标记、校准或配准体模或装置可用于通过一个或多个光学头戴式显示器在共同坐标系中配准术前虚拟数据、可选地术中虚拟数据，比如，从术中X光成像获得的数据，以及通过光学头戴式显示器看到的实时数据。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。比如，术前虚拟数据和患者实时数据之间的初始配准可以在程序开始时发生。比如，可以使用相应的解剖标志、表面或形状，或使用产生术中虚拟数据的术中成像或本发明中描述的任何其他实施方案执行。该配准可用于，比如，将虚拟数据和实时数据以及光学头戴式显示器放置到共同坐标系中。然后，可以应用皮肤标记、校准或配准体模或装置。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。可选地，或另外，可以应用软组织标记、校准或配准体模或装置。通常，应用多于一个，比如，两个、三个、四个或更多个皮肤标记和软组织标记、校准或配准体模或装置。为清楚起见，本应用所用术语植入式标记、附接式标记、皮肤标记、软组织标记、校准或配准体模或装置可包括光学标记，比如，带有不同几何形状或图案、带有二维码、带有条形码、带有字母数字代码的光学标记。皮肤标记和软组织标记、校准或配准体模或装置可以，例如，以使用组织兼容性粘合剂(包括纤维蛋白胶等)的形式，施用于皮肤或软组织。在一些实施方案中，一个、两个、三个、四个或更多个皮肤标记和软组织标记、校准或配准体模或装置可包括在手术前施用于皮肤的手术盖布或敷料或透明膜中。然后，可以将皮肤标记和软组织标记、校准或配准体模或装置在实时数据中配准，并与虚拟数据互相参照。随后可以比如，在手术部位被改变并且用于虚拟和实时数据的初始配准的解剖标志、表面或形状已经被改变或移除，不能使用或不能可靠地用于保持虚拟数据与实时数据之间的配准时，使用所述皮肤标记和软组织标记、校准或配准体模或装置。虚拟术前数据、虚拟术中数据和实时数据可包括骨赘或骨刺或其他骨解剖结构或骨畸形。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术执行。
如果标记或体模仍然在位，则可以在执行一个或多个外科手术步骤之后使用相同的皮肤标记或软组织标记或校准体模或配准体模。或者，可以在一个或多个外科手术步骤或外科手术改变之后执行患者实时数据和患者虚拟数据的重新配准。在重新配准之后，可以应用一个或多个新的皮肤标记或软组织标记或校准体模或配准体模，并在手术步骤或改变之后互相参照重新配准的实时和虚拟数据。然后，可以将皮肤标记或软组织标记或校准体模或配准体模用于患者实时数据和患者虚拟数据的后续匹配、叠加、移动和配准。
使用限定尺寸或形状的校准或配准体模来配准患者虚拟数据和患者实时数据。
在本发明的一些实施方案中，具有限定尺寸或形状的校准或配准体模可用于执行患者虚拟数据和患者实时数据的配准。校准或配准体模可以主要具有二维或三维特性。比如，校准或配准体模可以主要布置或定位在单个平面中。其他校准体模可以位于多个平面中，从而创建使用多个平面进行配准的机会。为清楚起见，贯穿本应用所使用的术语校准或配准体模、植入式标记、附接式标记、皮肤标记、软组织标记或装置可包括光学标记，比如，带有不同几何形状或图案、带有二维码、带有条形码、带有字母数字代码的光学标记。
这种校准或配准体模可以例如附接在患者的皮肤上。校准或配准体模可以集成或附接到手术盖布上。校准或配准体模可以附接在患者的组织上。校准或配准体模可以是医疗装置的零件或其组件。医疗装置的该零件或组件通常具有已知的尺寸。通过使用校准或配准体模以及其他标记，患者实时数据和患者虚拟数据可以在共同坐标系中配准，比如，通过一个或多个光学头戴式显示器。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
在一些实施方案中，校准或配准体模包括已知的尺寸、角度或几何二维或三维形状。比如，校准或配准体模可以包括以下结构：
-圆形、卵形、椭圆、正方形、矩形、复杂的二维几何、具有一个或多个定义距离的二维几何、具有一个或多个定义角度的二维几何结构
-球体、蛋形结构、圆柱体、立方体、长方体、复杂的三维几何结构或形状、具有一个或多个定义距离的三维几何体、具有一个或多个定义角度的三维几何体、具有一个或多个定义表面的三维几何体
可选的，如果使用具有电离辐射的成像模式执行术前或术中成像，则校准或配准体模可以是不透射线的，比如，X光成像、二维或三维透视，计算机断层扫描，锥形束计算机断层扫描等。
在一些实施方案中，校准或配准体模可以是磁共振可见或核素显像或单光子发射断层扫描可见或正电子放射断层造影术可见，比如，通过在体模中包括含有掺有钆-DTPA或掺有放射性核素或正电子放射断层造影术(PET)同位素射水(isotope emitting water)的部分或容器。可以以这种方式使用本领域已知的任何造影剂或磁共振或核素显像术或单光子发射断层扫描或正电子放射断层造影术可见试剂。
在一些实施方案中，校准或配准体模包括有助于图像和/或视频捕获系统的检测的特征或逆向反射标记。校准或配准体模也可以通过选择颜色而相对于包括血液的患者的组织以及手术盖布突出显示，比如，选择亮绿色、亮蓝色、亮黄色、亮粉色等。颜色组合是可能的。可以使用本领域已知的任何颜色或颜色组合。
校准或配准体模可以选择性地包括发光二极管，可选地由电池供电。可以使用多个发光二极管。发光二极管可以发出已知颜色、色调和强度的光，优选选择为可由用于检测发光二极管的定位、位置和/或定向的任何分割技术或算法和图像和/或视频捕获系统容易识别的光。
发光二极管可以以空间限定的方式布置，其中两个或更多个发光二极管以限定的一个或多个距离和限定的一个或多个角度布置在基本相同的平面或不同的平面中。如果发光二极管布置在不同的平面中，则各平面的空间方向例如是已知的和限定的。
当使用两个或更多个发光二极管时，所述两个或更多个发光二极管可以利用不同的波长、颜色、强度以及还可选地眨眼频率发光。以这种方式，集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以基于它们的不同波长、颜色、强度和/或眨眼频率中的一者或多者来识别每一不同的发光二极管。当发光二极管以空间定义和已知的方式布置时，比如，在同一平面内或不同平面内使用已知距离或角度，每一单独发光二极管的识别以及由图像和/或视频捕获系统测量的距离和角度的变化可用于确定光学头戴式显示器和/或操作者头部的位置、定位和/或定向(比如，如果图像和/或视频捕获系统集成到光学头戴式显示器或附接到光学头戴式显示器)，或者在某些应用中，用于确定校准或配准体模和发光二极管所附接的患者或身体部位的运动。
整个说明书中所用发光二极管可以重复使用。整个说明书中所用发光二极管也可以是一次性的，可选择具有集成的一次性电池单元/电池。发光二极管可以利用导线操作，比如，连接到电源和/或连接到有线用户接口或控制单元。发光二极管可以是无线的，比如，没有连接电源(比如，电池供电)和/或连接到无线(比如，WiFi，蓝牙)控制单元。
发光二极管可以在LIF网络中连接和/或组织。比如，可以使用一个或多个LIF网络从一个或多个光学头戴式显示器到控制单元或计算机来回传输或接收数据或信息，可选择具有用户接口的LIF网络。在该示例中，参与或连接在一个或多个LIF网络中的发光二极管可以集成到光学头戴式显示器中或附接到光学头戴式显示器。参与或连接在一个或多个LIF网络中的发光二极管可以附接到或在适用时集成到外科医生、手术室工作人员、患者、手术部位、一个或多个光学头戴式显示器、一个或多个导航系统、一个或多个导航标记，比如，逆向反射标记、红外标记、射频标记；一个或多个光学标记、校准或配准体模等的任何位置或部位。
LIF网络还可用于发送或接收关于各个发光二极管的空间位置、定向、移动方向、移动速度等的数据或信息。相同的发光二极管的比如，使用图像和/或视频捕获系统测量的例如相对于外科医生或患者或手术部位的相对位置、定向、移动方向、移动速度可以用于传输或接收LIF网络中数据，可选地取决于被传输的数据类型使用不同的波长、颜色、频率、眨眼模式。信息可以是关于各个发光二极管的位置、定向、移动方向、移动速度等。该信息也可以是光学头戴式显示器正在传输或接收的数据。该信息可以是由光学头戴式显示器正在显示的信息或数据。信息可以是由导航标记、射频标记生成或接收的信息。该信息可以是由一个或多个图像和/或视频捕获系统或摄像头捕获的信息。
1、2、3、4或更多个发光二极管可以连接或附接到患者、目标解剖结构、手术部位、比如，使用虚拟手术计划执行第一次、第二次或更多次手术改变之后的手术部位、光学头戴式显示器，第二、第三和/或另外的光学头戴式显示器，比如，由第二外科医生，器械护士，其他手术室人员、外科医生/操作者的手、前臂、上臂和/或其他身体部位佩戴的。
可以比如，在一个或多个发光二极管利用不同的波长、颜色、强度以及同样可选择的眨眼频率发光时确定每一发光二极管的相对位置、定向、移动、移动方向、移动速度(例如，使用比如集成到、附接到或分离于一个或多个光学头戴式显示器的一个或多个图像和/或视频捕获系统)。
校准或配准体模可选择包括一个或多个激光器，可选择由电池供电。可以使用多个激光器。激光器可以发出已知颜色、色调和强度的光，比如，选择为可由图像和/或视频捕获系统容易识别的光以及用于检测激光的定位、位置和/或定向的任何分割技术或算法。
激光器可以以空间限定的方式布置，使得两个或更多个激光器以限定的一个或多个距离和限定的一个或多个角度布置在基本相同的平面或不同的平面内。如果激光器布置在不同的平面中，则可以知道并限定平面的空间方向。
校准或配准体模可选择包括射频(RF)发射器，可选择由电池供电。可以使用多个射频发射器。射频发射器可以发射一个或多个信号，这些信号被选择为易于由用于检测射频发射器的定位、位置和/或定向的射频接收器系统识别。一个或多个射频发射器可以发射具有不同频率和强度的信号，从而允许射频接收器系统区分不同的射频发射器。
射频发射器可以以空间限定的方式布置，其中两个或更多个射频发射器以限定的一个或多个距离和限定的一个或多个角度布置在基本相同或不同的平面中。如果射频发射器布置在不同的平面中，则可以知道并定义平面的空间方向。
校准或配准体模可选地包括超声(US)发射器，可选择由电池供电。可以使用多个US发射器。US发射器可以发送一个或多个信号，这些信号选择为易于由用于检测US发射器的定位、位置和/或定向的US接收器或换能器系统识别。一个或多个US发射器可以以不同的频率和强度发射信号，从而允许US接收器或换能器系统区分不同的US发射器。
超声发射器可以以空间限定的方式布置，其中两个或更多个超声发射器以限定的一个或多个距离、限定的一个或多个角度布置在基本相同的平面或不同的平面中。如果超声发射器布置在不同的平面中，则可以知道并定义平面的空间方向。
校准体模或配准体模可用于术前成像和/或用于术中成像和/或实时数据的图像捕获，比如，使用附接到或集成到光学头戴式显示器或耦合到光学头戴式显示器或与光学头戴式显示器分开的图像和/或视频捕获系统。虚拟术前、虚拟术中和实时数据可包括骨赘或骨刺或其他骨解剖结构或骨畸形。
如果相同的校准或配准体模用于术前成像和术中成像，则可选择使用相同的成像模式(比如，X光成像)执行成像，比如，使用患者的相对于X光源和检测器系统的相同方向以及，例如使用患者的相对于X光源和检测器系统的相同距离。使用这种方法，可以将术前成像和术中成像上可视化的解剖结构叠加和配准叠加，可选择在同一坐标系中进行。
在该情况下，校准或配准体模定位在患者身上的不同位置，用于术前成像和术中成像数据采集，可以使用在术前成像和术中成像中可视化的解剖数据的共同配准来确定定位或位置或坐标的差异。可以执行对从术前数据到术中数据的体模位置差异的调整；这种调整可选择定义为术前和术中数据之间的体模偏移。虚拟术前，虚拟术中和实时数据可包括骨赘或骨刺或其他骨解剖结构或骨畸形。
作为在术前成像和术中成像中可视化的解剖结构的解剖配准的替代，通过光学头戴式显示器或附加、集成的或单独的图像和/或视频捕获系统可视化的术前成像数据与术中实时数据之间的配准现在可以替代性地使用如在手术期间可视化或光学识别的校准或配准体模，例如使用术前和术中数据之间的体模偏移来执行。
通常，使用本文描述的任何技术(比如，使用解剖学特征、解剖标志、术中成像等)，可以初始配准虚拟数据和实时数据。然后，可以执行校准或配准体模的共同配准，比如，在同一坐标系中。如果在外科手术过程中初始配准失败，则可以使用校准或配准体模保持配准。为此目的，将使用图像和/或视频捕获系统连续或间歇地监视校准或配准体模的位置、定位、定向和/或对准，该图像和/或视频捕获系统可以集成到光学头戴式显示器中或附接到光学头戴式显示器或耦合到光学头戴式显示器或与光学头戴式显示器分离。
在本发明的一些实施方案中，术前成像需要横截面成像模式，比如，计算机断层摄影，其可以可选地生成患者的三维数据，比如，以螺旋计算机断层扫描的形式，以及可选地三维重建的形式。可以将患者的三维数据(比如，螺旋或螺旋计算机断层扫描或三维重建)重新投影为二维图像，从而创建患者的X光状透射图像，比如，患者的骨结构，包括但不限于，骨赘或骨刺或其他骨解剖结构或骨畸形。可选地，三维数据(比如，计算机断层扫描数据)的这种二维重新投影可以使用相同的平面或投影或视角和例如与随后在手术期间在术中X-射线影像学检查中使用的相同或相似的放大倍率来执行。在重新投射术前三维数据时，可以知道用于术中成像部分的X光系统的焦片距和可选物距，从给定术中焦片距和可选物距得到患者或解剖数据的放大倍率，将与重新投影的术前数据匹配或在重新投影的术前数据中反映。如果在重新投影术前三维数据时不知道用于术中成像部分的X光系统的焦片距和可选物距，则重新投影数据的放大倍率可以在它们被可视化并且可选地叠加到患者的二维术中图像数据或解剖学数据上时进行调整，从而得到给定的术中焦片距和可选物距，以便重新投射数据和术中图像数据的放大倍率得到匹配或者基本相似。比如，通过将术前重新投影数据中的某些特征或解剖标志或病理组织(包括骨赘或骨刺或其他骨解剖结构或骨畸形)与术中数据对准并调整放大倍率直至特征或解剖标志基本上叠加或基本匹配，可以实现放大倍率的匹配叠加。利用这种方法，术前图像数据可以利用三维数据的优点，包括更精确的植入体组件的三维放置，比如，脊柱组件或用于关节置换或骨折修复的组件。类似地，可以检测某些解剖标志或特征并将其用于三维数据集中的手术计划。当将三维数据重新投影到二维重新投影或视图中时，解剖标志、特征或数据或病理数据可以容易地与术中二维影像学检查(比如，术中X光)相应部分中的相应解剖标志、特征或数据或病理数据进行匹配或对准。因此，虽然可以使用不同的三维术前和二维术中成像模式，但二维重新投影允许互相参照，并且可选择二维和三维数据集的共同配准。可以以这种方式使用本领域中已知的任何二维和三维成像模式。
在另外的实施方案中，可以使用校准/配准体模
1.)估计光学头戴式显示器与患者的距离、位置、定向，用于主要或备用配准，比如，与集成到，附接到或耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统结合使用。
2.)估计患者皮肤下方的目标组织或手术部位的距离、位置、定向，比如，在与术前和/或术中图像数据交叉配准之后
3.)估计手术器械的路径或估计医疗装置或植入体或移植物的期望植入部位的位置
4.)更新手术计划
校准或配准体模可以在物理时间模式中使用，使用物理时间配准，比如，使用集成到，连接到，耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，其可选择以物理时间模式操作。比如，物理时间模式可以是指以超过5帧/秒、10帧/秒、15帧/秒、20帧/秒、30帧/秒等执行图像捕获。
如果利用图像和/或视频捕获系统生成的图像被分割或者，比如，执行图像处理或模式识别，则可选择对利用图像和/或视频捕获系统生成的每一帧执行该操作。或者，可以对利用图像和/或视频捕获系统捕获的图像帧的子集执行分割或图像处理或模式识别。可以在各帧之间平均分割、图像处理或模式识别数据。前述实施方案适用于本说明书中利用图像捕获的所有实施方案。
可以执行图像处理以包括来自一个或多个骨赘或骨刺或其他骨骼解剖结构或畸形的数据。一个或多个骨赘或骨刺或其他骨解剖结构或骨畸形可用于配准虚拟和实时数据，包括，虚拟术前和虚拟术中成像数据或虚拟功能数据。还可以执行图像处理以排除来自一个或多个骨赘或骨刺或其他骨骼解剖结构或畸形的数据。可以从用于配准虚拟和实时数据的任何数据中排除或省略一个或多个骨赘或骨刺或其他骨解剖结构或骨畸形，包括虚拟术前和虚拟术中成像数据或虚拟功能数据。可以基于解剖部位、手术部位和/或虚拟数据和实时数据的分割或配准的所需准确度选择，包含或排除一个或多个骨赘或骨刺或其他骨解剖结构或骨畸形。
校准或配准体模可以以非物理时间模式(比如，间歇模式)使用，比如，使用集成到、连接到、耦合到光学头戴式显示器或与光学头戴式显示器分离的能够可选地以间歇模式操作的图像和/或视频捕获系统。可以通过使用定时器或定时装置来进行校准或配准体模的间歇模式的使用，其中每10秒、8秒、5秒、3秒、2秒、1秒等执行图像捕获和配准。
在一些实施方案中，将选择或设计使用校准或配准体模的实时和间歇配准，使得所生成的数据不超过图像和/或视频捕获系统的时间分辨率和/或用于配准的分割或图像处理或模式识别的时间分辨率。
在任何前述实施方案中，可以通过使用多个配准点、图案、平面或表面来可选地提高配准精度。通常，随着配准点、图案、平面或表面的数量增加，配准的准确性将提高。在一些实施方案中，这些可以不超过图像和/或视频捕获系统的空间分辨率。在一些实施方案中，这些可能超过图像和/或视频捕获系统的空间分辨率。在那种情况下，可选择执行数据的下采样，比如，通过降低一个，两个或三个平面中的有效空间分辨率，或者通过降低通过光学头戴式显示器看到的或者在虚拟数据中可视化的视野的选定区域中的空间分辨率。虚拟术前、虚拟术中和实时数据可包括骨赘或骨刺或其他骨解剖结构或骨畸形。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术执行。
在执行一个或多个外科手术步骤之后如果标记或体模仍然存在，则可以使用相同的皮肤标记或软组织标记或校准体模或配准体模。或者，可以在一个或多个外科手术步骤或外科手术改变之后执行患者实时数据和患者虚拟数据的重新配准。在重新配准之后，可以应用一个或多个新的皮肤标记或软组织标记或校准体模或配准体模，并互相参照在手术步骤或改变之后的重新配准的实时和虚拟数据。然后，可以将皮肤标记或软组织标记或校准体模或配准体模用于患者实时数据和患者虚拟数据的后续匹配、叠加、移动和配准。
估计患者与光学头戴式显示器的距离、位置、定向
如果使用本说明书中描述的任何技术配准患者虚拟数据和患者实时数据已经发生，并且如果校准或配准体模也与患者实时数据相关地进行了配准，则校准或配准体模可用于保持配准，比如，在间歇或实时的基础上，包括在外科医生或操作者移动其头部或身体时。比如，校准或配准体模可以在手术期间不移动。如果需要移动校准或配准体模，则可以可选地与任何患者实时数据、患者虚拟数据、术前数据和术中数据重新配准。
在该实施方案和相关实施方案中，将使用图像和/或视频捕获系统以及可选择使用分割技术、图像处理技术或模式识别技术和本领域已知的用于识别图像数据中对象的任何其他技术来识别校准或配准体模的定位、位置、定向、对准、表面或形状。图像和/或视频捕获系统可以集成到光学头戴式显示器或附加到光学头戴式显示器。图像和/或视频捕获系统可以耦合到光学头戴式显示器或与光学头戴式显示器分离。图像和/或视频捕获系统将用于确定校准或配准体模相对于患者、操作者和/或光学头戴式显示器的定位、位置、定向、对准、表面或形状。
本领域已知的、包括如本说明书中所述的可用于确定校准或配准体模的相对于患、操作者和/或光学头戴式显示器的定位、位置、定向、对准、表面或形状的任何其他技术可以用于，包括但不限于，包括光学或射频追踪的手术导航、基于激光的距离测量等。
校准或配准体模可用于主要或备份配准。可选择使用同步配准，其中，比如，同时使用多于一种的配准技术来维持患者虚拟数据与患者实时数据之间的配准，比如，通过使用一个或者多个校准或配准体模来同时保持患者虚拟数据与患者实时数据之间的配准，并结合使用患者虚拟数据与患者实时数据之间的相应解剖标志或表面来保持配准。如果使用同步配准，则可选择应用规则来解决用于配准患者虚拟和实时数据的第一和第二配准技术之间的潜在冲突。
比如，利用集成到光学头戴式显示器中或连接到光学头戴式显示器或耦合到光学头戴式显示器的图像和/或视频捕获系统，外科医生或操作者头部或身体的位置、定位或定向的任何变化都将导致校准或配准体模的观察视角和可视化尺寸和/或形状的变化。可以测量校准或配准体模的观察视角以及可视化尺寸和/或形状的变化，用于确定外科医生或操作者的头部或身体的位置、定位或定向的变化，然后，将其用于保持患者虚拟数据与患者实时数据之间的配准，通过将患者虚拟数据移动到即使在外科医生或操作者的头部或身体处在新位置或定位或定向的情况下也能确保配准被维持并且患者虚拟数据和患者实时数据，比如在需要时，基本上叠加或匹配的位置、定位、定向和/或对准叠加。同样，当使用多个于一个的光学头戴式显示器时，比如，一个用于主要外科医生，第二个用于助理，第三个用于住院医师，第四个用于手术器械护士和第五个用于访客，利用集成到或附接到每一不同的光学头戴式显示器或耦合到每一不同的光学头戴式显示器的图像和/或视频捕获系统，用户或观察者的头部或身体的位置、定位或定向的任何改变都将导致校准或配准体模的观察视角和可视化尺寸和/或形状的变化。可以测量校准或配准体模的观察视角以及可视化尺寸和/或形状的变化，用于确定用户或观察者的头部或身体的位置、定位或定向的变化，然后，将其用于通过将患者虚拟数据移动到下述的定位、位置、定向和/或对准来保持患者虚拟数据和患者实时数据之间的配准，该定位、位置、定向和/或对准可确保即使用户或观察者的头部或身体处在新位置、定位或定向，仍能保持配准，并且虚拟和患者实时数据，比如，在需要时，基本上叠加或对准或匹配，观察者的左眼通过光学头戴式显示器单元屏幕看到的患者虚拟数据和观察者的左眼通过光学头戴式显示器单元屏幕看到的患者实时数据的视角基本相同；观察者的右眼通过光学头戴式显示器单元屏幕看到的患者虚拟数据和观察者的右眼通过光学头戴式显示器单元屏幕看到的患者实时数据的视角基本相同。
在本发明的一些实施方案中，校准或配准体模可用于检查集成或附接或耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统的准确度。
在本发明的另一实施方案中，校准或配准体模可用于校准集成或附接或耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统。
在一些实施方案中，校准或配准体模可用于校准惯性测量单元，比如，用于距离、运动、与对象的距离的测量，因为校准或配准体模包括已知的几何结构，比如，已知的距离或角度。
用于组织变形的患者虚拟数据和患者实时数据配准的配准
在本发明的一些实施方案中，可以在虚拟数据中模拟由手术或手术器械引起的组织变形、组织形状改变或组织移除。然后，可以在活体患者的组织的变形、改变形状或移除之前和/或之后，将得到的模拟虚拟数据与患者实时数据相关联地配准。由手术或手术器械引起的组织变形、形状改变或移除可包括一个或多个骨赘或骨刺或其他骨解剖结构或畸形的形状改变或移除。患者虚拟数据和患者实时数据可以在共同坐标系中配准，比如，与一个或多个光学头戴式显示器一起配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术进行。如果手术改变或手术步骤导致一些组织变形，则重新配准患者实时数据和患者虚拟数据可能特别有用。比如，可以通过匹配、叠加和/或配准尚未通过外科手术步骤或外科手术改变执行的组织来执行重新配准。或者，可以通过匹配、叠加和/或配准变形的患者实时数据(比如，来自手术变形的组织)和在虚拟手术步骤(比如，骨赘或组织去除)之后模拟相同的组织变形的患者虚拟数据，执行重新配准。
在多个时间点配准患者虚拟数据和患者实时数据，比如，在外科手术的不同阶段
在本发明的一些实施方案中，患者虚拟数据和患者实时数据的配准可以在多个时间点发生，比如，在组织移除或植入医疗装置的不同阶段期间。对于选择或每一时间点，比如，对于外科手术的选择或所有阶段，患者实时数据和患者虚拟数据可以在共同坐标系中配准，比如，使用一个或多个光学头戴式显示器。虚拟和物理手术器械也可以在共同坐标系中配准。
比如，在膝关节置换手术或髋关节置换手术中，可以在切除任何组织之前，使用例如股骨或胫骨或髋臼表面形状或使用股骨或胫骨或髋臼标志，来执行患者虚拟数据和患者实时数据的配准。可选择将钉或其他刚性固定标记放置在，比如，在至少一部分外科手术期间，不会通过外科手术切除的区域。在移除组织后，比如，在已经发生关节表面的去毛刺之后或者在进行骨切割之后或者在已经进行扩孔之后，或者在一个或多个骨赘或骨刺或其他骨解剖结构或骨畸形已被移除后，可以使用不同的配准部位、表面或解剖标志来重复患者虚拟数据和患者实时数据的配准。现在，可以对由外科手术新创建的解剖标志，或者比如，由外科手术新创建的表面进行配准。这种新创建的表面可以是，比如，由骨切割产生的残余股骨或胫骨上的平面表面。植入的针或刚性固定标记可选择用于辅助配准手术改变后的虚拟数据和通过手术改变的患者实时数据。因此，本发明允许患者虚拟数据和患者实时数据的多时间点配准，比如，通过在手术改变之前和在一次或多次手术改变之后配准患者虚拟数据和患者实时数据。以这种方式，可以随着手术野改变而多次重新配准。
可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术进行的患者虚拟数据和患者实时数据的配准。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配，叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术进行。
使用CAD文件或数据或(比如，医疗装置的)三维文件或数据配准患者虚拟数据和患者实时数据
在本发明的一些实施方案中，医疗装置的CAD文件或CAD数据可以由光学头戴式显示器显示并叠加在患者实时数据上。CAD文件或CAD数据可以是在外科手术过程中使用或植入的医疗装置。叠加医疗装置，手术器械或植入式装置的任何类型的CAD文件或CAD数据、或任何类型的三维文件或三维数据可以例如通过一个或多个光学头戴式显示器相对于共同坐标系中的患者实时数据叠加和配准，患者实时数据包括正常解剖结构或病理组织，比如，一个或多个骨赘或骨刺或其他骨解剖结构或骨畸形或软组织或肿瘤组织或畸形组织。物理手术器械和植入体组件也可以在共同坐标系中配准。
医疗装置可以包括非生物制品以及生物装置，比如，可以植入人体的组织支架、细胞、细胞基质等。
在本发明的一些实施方案中，可以将多个虚拟数据的三维文件和/或CAD文件叠加到患者实时数据上。比如，CAD文件可以是具有不同尺寸或形状的医疗装置的CAD文件。比如，从术前影像学检查获得的患者的虚拟二维或三维数据可以叠加到患者实时数据上，比如，手术部位。然后，外科医生可选择通过光学头戴式显示器将医疗装置的三维CAD文件引入显示器中。外科医生可以相对于患者的虚拟二维或三维数据和/或患者实时数据检查医疗装置的尺寸或形状。如果外科医生对医疗装置的投影尺寸或形状相对于患者的虚拟二维或三维数据和/或患者实时数据而言不满意，则外科医生可以选择不同尺寸和/或形状的医疗装置的不同CAD文件，可选地将CAD文件投影到光学头戴式显示器中的患者的虚拟二维或三维数据以及患者实时数据上，并根据需要重复该过程多次，直到外科医生对所选医疗装置的最终尺寸或形状相对于患者的虚拟二维或三维数据和/或患者实时数据而言感到满意为止。
可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术对患者虚拟数据和患者实时数据的配准。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术执行。比如，模拟虚拟手术步骤或患者虚拟数据中的手术改变的CAD文件可以在活体患者的物理手术步骤或手术改变之后与患者实时数据匹配、叠加或配准。以这种方式，可以在外科手术步骤或手术改变之后重新配准实时数据和虚拟数据。
使用非解剖数据配准患者虚拟数据和患者实时数据
可以使用除解剖结构或病理结构之外的数据来执行患者虚拟数据和患者实时数据的配准。比如，可以基于运动数据、运动学数据来执行配准(比如，来确定实时数据中关节的旋转中心，然后可以将该确定的旋转中心配准到患者虚拟数据中的估计或模拟的旋转中心)。可以使用代谢数据进行配准，比如，使用正电子放射断层造影术扫描或正电子放射断层造影术-磁共振或正电子放射断层造影术计算机断层扫描中的高18FDG-正电子放射断层造影术摄取区域，该区域可以与目标外科手术部位中体温升高的区域匹配。可以使用功能数据进行配准，比如，使用功能性磁共振检查。患者虚拟数据和实时数据可以在共同坐标系中配准，比如，与一个或多个光学头戴式显示器一起配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
可选地，不同类型的数据，比如，解剖学、运动、运动学、代谢性、功能性、温度和/或血管流动等数据可以单独使用或组合使用，用于患者的虚拟数据和实时数据的配准。
可以在已经执行一个或多个外科手术步骤之后利用非解剖学数据重复使用本文描述的技术对患者虚拟数据和患者实时数据的配准。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以可选地使用非解剖学数据，与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术进行。
在对组织或手术部位进行一次或多次外科手术改变后，配准患者虚拟数据和患者实时数据
在本发明的一些实施方案中，在已经执行一个或多个外科手术步骤之后可以重复使用本文描述的技术对患者虚拟数据和患者实时数据的配准并且患者虚拟数据和实时数据可以在选择的步骤或每一手术步骤或组织改变之后在公共坐标中配准，比如，通过一个或多个光学头戴式显示器的系统。在选择的步骤或每一手术步骤或组织改变之后，虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与例如在为患者制定的虚拟手术计划中的患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术执行。
在手术组织改变之后，利用关于手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征的信息进行的患者实时数据和患者虚拟数据的匹配、叠加和/或配准可以是手动、半自动或自动的。比如，可以使用集成到光学头戴式显示器中、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来执行自动重新配准，该图像和/或视频捕获系统可以在手术改变之后捕获患者实时数据中关于手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征的信息，并将该信息与患者虚拟数据中的信息进行比较，比如，与在虚拟手术计划中在执行可比较步骤之后的虚拟数据进行比较。
手术改变或手术步骤可包括但不限于，表6中的程序：
表6：应用于各种患者组织的示例性外科改变或步骤，比如，应用于骨、软骨、韧带、腱、关节囊、皮肤、脂肪、器官组织(比如，肝、脾、肾、肠、胆囊、肺、心脏、甲状腺、脑等)。
切除，比如，骨切割
锯切，比如，用锯锯骨头
铣削，比如，用铣刀铣削骨头
扩孔，比如，用扩孔器在骨头上扩孔
撞击，比如，用撞击器撞击骨头
钻孔，比如，用钻头钻孔
固定，比如，用钉固定骨头
射频消融
热消融
冷冻消融
烧灼
组织切除
组织移除
肿瘤切除
骨折固定
创伤修复
创伤重建
软组织修复
软组织重建
组织移植
将配准标记或校准体模放置在组织表面或组织内部
放置手术器械，比如，针或锯
医疗植入体或其组件的放置，比如，活检针、椎弓根针、椎弓根螺钉、脊柱固定杆、膝关节置换系统组件、髋关节置换系统组件、肩部置换系统组件、踝关节置换系统组件
骨水泥或其他物质的植入/注射、硬化或非硬化
放置试验植入体
放置组织移植物
放置组织基质
放置移植物
放置导管，比如，留置导管
放置或注射细胞，比如，干细胞
注射药物
可选地，在执行外科手术步骤之后重复本文所述的配准程序。可选地，在多个手术步骤之后重复本文所述的配准程序。可选地，在每一手术步骤之后重复本文所述的配准程序。可选地，在主要手术步骤之后重复本文所描述的配准程序。可选地，当外科医生想要实现高手术准确度时，重复本文所描述的配准程序。可选地，当外科医生担心在外科手术步骤或手术改变之前执行的初始配准不准确或不再准确或受外科手术步骤或手术改变影响时，执行或重复本文所描述的配准程序。
在本发明的一些实施方案中，可以知道或估计由手术改变或手术步骤引起的对患者组织的改变，比如，作为使用患者虚拟数据的虚拟手术计划的一部分。应用于患者组织的手术改变和/或手术步骤可以包括表6中的示例中列出的手术改变和/或手术步骤中的任何一者，尽管也可以包括本领域已知的对患者组织的任何改变。比如，可以在患者的虚拟手术计划和/或患者虚拟数据中估计通过手术改变或手术步骤在患者组织上引起的改变和/或变化。通过手术改变或手术步骤在患者组织上引起的示例性变化列于表7中，表7仅是示例性说明，决不意味着限制本发明：
表7：通过手术改变或手术步骤在患者组织上引起的示例性变化。这些变化可以在实时患者体内引起。这些变化也可以被计划/预期或模拟，比如，用于由一个或多个光学头戴式显示器进行投影，比如，在虚拟手术计划中。
组织表面积的变化
组织体积的变化
组织表面形状的变化
组织表面形貌的变化
组织周长的变化(比如，从未切割表面到切割表面，或从切割表面1到切割表面2)
组织表面粗糙度的变化
组织表面纹理的变化
组织表面颜色的变化
组织表面反射性的变化(比如，反射光或超声波)
具有不同的颜色的组织表面区域的变化(比如，由手术改变引起的颜色变化)
组织表面周长的变化，比如，切割的组织表面与未切割的组织表面
组织温度的变化
组织弹性的变化
组织成分的变化，比如，脂肪含量(比如，切割骨表面的骨髓脂肪)
任何前述变化可包括所有组织或仅包括组织的一部分。本发明的实施方案可以针对全部组织或仅部分组织或组织的各部分。
在使用说明书中描述的或本领域已知的任何技术初始配准患者实时数据和患者虚拟数据之后，可以执行第一或任何后续手术改变或手术步骤，来引起患者的组织改变。手术改变或手术步骤可以借助于通过OHMD显示的可选引导进行，例如，通过显示下述中的一项或多项：虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。
一旦在实时患者体内的患者组织上进行或引入了手术改变或手术步骤，就可以在患者的实时数据/活体患者体内确定引起的物理变化或由此导致的组织外观和/或组织特性/特征。可以使用本领域已知的用于评估组织外观、组织特性和/或特征(包括，比如，面积、体积、形状、形貌、粗糙度、纹理、颜色、反射性、具有不同颜色的区域、周长、温度、弹性和/或组成)的任何技术，在患者/实时患者实时数据中确定引起的物理变化或所得组织外观和/或组织特性/特征。比如，集成到光学头戴式显示器中、附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于评估手术改变组织的区域、形状、形貌、粗糙度、纹理、颜色、反射性、不同颜色的区域、周长、温度、弹性和/或组成中的一者或更多者。组织探针，比如，温度探、弹性探针，可用于评估手术改变的组织的特征和/或特性。机械探针，比如，具有一个或多个附接的光学标记、发光二极管、红外标记、逆向反射标记、射频标记、导航标记和/或惯性测量单元，可用于接触组织表面或周边，比如，以围绕手术改变的组织的周边或追踪并评估组织形貌。
手术改变的组织的物理外观、性质和/或特征可以使用任何前述技术或说明书中描述的或本领域已知的任何技术来评估。手术改变的组织的物理外观、性质和/或特征可选地与估计的或预期的改变或变化后的外观相比较，比如，与例如，虚拟手术计划中的患者虚拟数据中的组织的表面积、体积、形状、形貌、性质和/或特征。如果物理手术改变的组织的物理变化与虚拟手术改变的组织的虚拟预期变化之间存在差异，或者物理手术改变的组织与比如在患者虚拟数据和/或虚拟手术计划中的虚拟改变的组织在外观、性质和/或特征方面存在差异，则可以评估差异的大小：如果差异被认为是无关紧要的，比如，如果它们低于可选地预定义的距离或角度偏差阈值，则外科手术过程和随后的手术步骤可以如，比如，在虚拟手术计划中的原始计划的那样继续。如果差异被认为是显著的，比如，如果在距离或角度偏差的可选地预定义的阈值之上，则外科医生或操作者可以具有若干选项。该过程和选项也在图6中以图示的说明形式示出：外科医生可以执行手术步骤80。然后，外科医生可以评估在实时患者体内引起的实际变化81。外科医生可以将在实时患者体内引起的实际变化与比如，在虚拟手术计划或虚拟三维图像中的患者虚拟数据中的预定变化进行比较82。可以确定实际变化与预定变化之间的差异的大小83。如果是可接受的84，则外科医生可以执行下一个手术步骤85。可选地85，对于下一外科手术步骤可以重复步骤81、82、83。如果实际变化与预定变化之间的差异不可接受86，外科医生有几种方法来解决所述差异，修改上一个手术步骤87，修改下一个手术步骤88，修改虚拟手术计划89，修改患者的虚拟数据相对于患者的实时数据的配准90，或者应用配准校正91。在修改上一个手术步骤之后87，可选地92，对于下一手术步骤可以重复步骤81、82、83。
A).修改上一手术步骤以便修改后实时患者体内的手术改变的组织的物理外观、物理特性和/或物理特征(包括例如形状和尺寸、切割平面、切割平面/组织平面的周长、钻孔深度、角度、旋转、植入部位等)更类似于，并且可选地，更接近地复制比如，患者的虚拟手术计划中的患者虚拟数据中的预期虚拟外观、虚拟属性和/或虚拟特征。如果操作者或外科医生认为上一外科手术步骤存在错误，比如，因颤动或偏离锯片或未对准的针或未对准的扩孔器或撞击器或其他问题，并且应该更正该错误，则可以例如选择该选项。一旦修改完成，外科医生或操作者可以再次评估手术改变的组织的物理变化、物理外观、物理特性和/或物理特征，并将其与比如，虚拟手术计划中的患者虚拟数据中的组织的估计的或预期的虚拟变化、虚拟外观、虚拟特性和/或虚拟特征进行比较。根据评估结果，外科医生或操作者可以选择重复选项A、或回转至选项B或C
B).修改接下来的手术步骤以便在后续手术步骤中的修改之后，实时患者体内的手术改变的物理外观、物理特性和/或物理特征(包括例如形状和尺寸、切割平面、切割平面/组织平面的周长、钻孔深度、角度、旋转、植入部位等)更加类似于并且可选地更接近地复制比如在接下来的虚拟手术步骤中的虚拟修改之后的患者的虚拟手术计划中的患者虚拟数据中的预期虚拟外观、虚拟属性和/或虚拟特征。如果操作者或外科医生认为上一外科手术步骤存在错误，比如，因颤动或偏离锯片或未对准的针或未对准的扩孔器或撞击器或其他问题，并且他或她应当在接下来的手术步骤中纠正该错误，则可以例如选择该选项。一旦通过接下来的手术步骤完成了修改，外科医生或操作者可以再次评估手术改变的组织的物理变化、物理外观、物理特性和/或物理特征，并将其与比如，虚拟手术计划中的患者虚拟数据中的组织的估计的或预期的虚拟变化、虚拟外观、虚拟特性和/或虚拟特征进行比较。根据评估结果，外科医生或操作者可以选择重复选项A和/或B和/或回转至选项C和/或D和/或E.
C).修改患者的虚拟手术计划以便在修改后的患者虚拟数据中手术改变的组织的虚拟外观、虚拟属性和/或虚拟特征(包括例如形状、体积和尺寸、切割平面、切割平面/组织平面的周长、钻孔深度、角度、旋转、植入部位等)更类似于，并且可选择，更接近地复制经过物理手术改变之后患者的物理实时数据中的物理外观、物理属性和/或物理特征。比如，如果操作者或外科医生认为上一手术步骤是准确的或者考虑到了虚拟手术计划中未考虑的组织状况的意外变化，则可以例如选择该选项。如比如，在膝关节置换手术或髋关节置换手术或其他关节置换手术中可以观察到的，组织状况的这种意外变化可以是，比如，韧带松弛或紧绷。如果经修改的手术计划是以这种方式修改的，则可以使所有后续的虚拟手术步骤关联于上一个或之前的物理手术步骤，从而保持手术的连续性。然后，光学头戴式显示器可用于对所有或一些后续虚拟手术步骤投影，比如，通过投影下述中的一项或多项：虚拟手术工具、虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。随后的虚拟手术步骤被修改为使得手术步骤的完成以及可选地植入体或植入体组件或装置或移植片或移植物的放置考虑了一个或多个修改的先前物理手术步骤。可选地，修改的后续虚拟手术步骤可以基于虚拟或物理修改之后的局部组织状况/特征进一步修改，在比如，后续手术步骤落入组织空隙中或会导致对植入体组件放置的损害的情况下。
D).修改患者虚拟数据相对于患者实时数据的配准。患者在进行物理手术改变之后，操作者或外科医生可选择使用说明书中描述的或本领域已知的任何技术重复配准程序，以将包括比如，虚拟手术计划的患者虚拟数据相对于患者实时数据配准。一旦手术改变后重新配准了患者虚拟数据和患者实时数据，光学头戴式显示器显示的所有后续虚拟手术步骤和任何相关的虚拟手术计划都可以参考患者虚拟数据和实时数据的重新配准。例如，光学头戴式显示器然后可以在重新配准之后用于投影所有后续虚拟手术步骤，例如通过投射下述中的一项或多项：虚拟手术工具、虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。
E).应用配准校正如果物理手术改变的组织的物理变化与虚拟地手术改变的组织的虚拟预期变化之间存在差异，或者物理手术改变的组织和比如，在患者虚拟数据和/或虚拟手术计划中的虚拟改变的组织的外观、性质和/或特征存在差异，则差异的大小可以评估并且可以用于患者虚拟数据配准的坐标校正、坐标调整或坐标转换，所述患者虚拟数据可选地包括，虚拟手术计划以及患者实时数据，比如，用于任何后续手术步骤或外科手术的。例如，光学头戴式显示器然后可以使用坐标校正或调整或转移来投影/显示所有随后的虚拟手术步骤，例如通过使用坐标校正、调整和/或转移来投影下述中的一项或多项：虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。
上述选项A、B、C、D和/或E的任何组合都是可能的。
如果使用图像和/或视频捕获系统来测量/捕获物理变化，比如，切割表面或以其他方式修改或改变的表面的表面/表面积、周长、周边形状和/或形状的变化，则由图像和/或视频捕获系统捕获的数据/图像可以针对任何角度失真或投影进行校正，比如，在摄像头相对于切割表面或者以其他方式修改或改变的表面以不同于90度的角度定位的情况下。类似地，由图像和/或视频捕获系统测量的物理变化，比如，切割表面或以其他方式修改或改变的表面的表面的大小/表面积、周长、周边形状和/或形状可以以摄像头或图像和/或视频捕获系统离改变了表面大小/表面积、周长、周边形状和/或形状的切割表面或以其他方式修改或改变的表面的距离进行校正或者调整。可以评估图像和/或视频捕获系统与物理变化的角度和/或距离，比如，切割表面或以其他方式修改或改变的表面的表面大小/表面积、周长、周边形状和/或形状，比如，使用一个或多个射频标记、光学标记、导航标记，包括但不限于，附接在图像和/或视频捕获系统和/或光学头戴式显示器、和/或患者、和/或切割、修改或改变的表面上的红外标记、逆向反射标记、射频标记、发光二极管和/或惯性测量单元。
比如，在膝关节置换、髋关节置换或肩关节置换手术中，选择性地通过光学头戴式显示器使用骨锯的虚拟导引物，可对远端股骨、近端胫骨、近端股骨或近端肱骨施加骨切割。骨切割的位置、对准和/或定向，可选地包括切割表面的表面/表面积，周长，周长形状和/或形状然后可以在实时患者体内进行评估，比如，使用集成到、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统、或使用一个或多个探针，可选地具有一个或多个附接的光学标记、导航标记(包括但不限于红外标记、逆向反射标记、射频标记、发光二极管或惯性测量单元)。
如果切割表面的物理位置、对准、定向、表面、表面积、周长、周边形状和/或形状不同于切割表面的虚拟预期/投影位置、对准、定向、表面、表面积、周长、周边形状和/或形状，软件可以选择性确定切割表面的虚拟修改的位置、对准、定向、表面、表面积、周长、周边形状和/或形状，其将更接近切割表面的物理位置、对准、定向，表面、表面积、周长、周边形状和/或形状。然后，切割表面的虚拟修改的位置、对准、定向、表面、表面积、周长、周边形状和/或形状、与切割表面的物理位置、对准、定向、表面、表面积、周长、周边形状和/或形状之间的坐标差异可以用于确定随后的虚拟手术步骤的任何坐标校正、调整或转移。然后，坐标校正、调整或转移可以应用于OHMD显示，例如当光学头戴式显示器在任何后续手术步骤中使用坐标校正、调整和/或转移来显示以下一项或多项，虚拟手术工具、虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置(所有这些可选地选自虚拟库)、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。
以下是图7A-H中的说明性示例中所示的髋关节置换过程的一部分的示例性说明，外科医生在进行该程序的后续步骤之前选择矫正近端股骨切割。该实施方案决不是限制性的，而仅是对本发明某些方面的说明。
图7A显示了预定的股骨颈95切割或虚拟手术计划的视图，其可选地用光学头戴式显示器以二维或三维、立体或非立体形式显示，包括使用具有诸如微软全息眼镜(Hololens)(微软，雷德蒙德，华盛顿州)系统的数字全息图像。在该示例中，光学头戴式显示器可以显示用于锯片的虚拟预定路径或平面(虚线)96，所述锯片在本示例中被选择用于进行近端股骨切割。光学头戴式显示器还可以显示虚拟股骨颈切割的数字全息图。用于物理锯片进行近端股骨颈切割和虚拟股骨颈切割的虚拟投影路径可以是相同的；它们也可以是不同的，比如，考虑了锯片厚度。比如，如果锯片厚度为2.0毫米，则可以将预定路径，比如在用于近端髋关节置换的近端股骨中移动1.00毫米或更多以考虑从锯除中失去的骨从而虚拟股骨切割考虑了因锯除而失去的骨。
预定路径的显示可以是二维或三维、立体或非立体。外科医生可以将物理锯片与预定路径对准，然后，外科医生可以推进锯片，同时保持锯片基本上与光学头戴式显示器所示的预定路径对准。除了显示预定路径，光学头戴式显示器还可以显示对准的以进行虚拟骨切割(可选择考虑从切割或锯切中失去的骨)的虚拟骨锯，并且外科医生可以将物理骨锯与虚拟骨锯对准，然后进行切割。
图7B是示出预期的虚拟股骨颈切割(虚线轮廓)97的横截面图或俯视图，比如，在虚拟手术计划中拟定的。虚拟切割的股骨的周长和/或横截面和/或表面积和/或形状，比如，使用来自患者的术前影像学检查(比如，计算机断层扫描或磁共振)的数据模拟而成的，在该示例中为相对圆形，在内外侧方向上具有稍大的直径。
图7C示出了对实时患者进行的物理股骨颈切割98(直实线)。物理股骨颈切割与锯片的虚拟投射或预期路径没有对准，也未与虚拟股骨颈切割对准，比如，在该示例的虚拟手术计划中。这可能由于实际手术中的各种原因而发生，比如，导致锯片偏离的预料之外的骨质硬化区域。对于外科医生来说，在手术中很难检测到虚拟预期的骨切割与物理股骨切割之间的对准差异，比如，在手术野小且深藏、模糊或隐藏或者光线有限或者只是露出切割骨的很小部分的情况下。
图7D示出了物理股骨颈切割(实线轮廓)99的俯视图或横截面。物理股骨颈切割的周长和/或横截面和/或表面积和/或形状不同于虚拟计划的切割股骨的周长和/或横截面和/或表面积和/或形状。它在内外侧方向上更趋椭圆形或长圆形。物理切割的近端股骨的周长和/或横截面和/或表面积和/或形状可以例如使用下述来检测，集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，或者使用机械或光学探针或指示器，例如具有一个或多个附接的光学标记、发光二极管、惯性测量单元和/或导航标记。然后，可以将其与虚拟切割表面的周长和/或横截面和/或表面积和/或形状进行比较。
在图7E中，一旦物理切割的近端股骨的周长和/或横截面和/或表面积和/或形状已经被检测到，例如使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，或者使用机械或光学探针或指示器，例如具有一个或多个集成或附接的光学标记、发光二极管、惯性测量单元和/或导航标记，物理切割的近端股骨的相应周长和/或横截面和/或表面积和/或形状可以在患者的虚拟数据(虚线轮廓)100中识别，例如使用本领域已知的图像处理算法
如图7F所示，一旦在患者虚拟数据中识别出相应的周长和/或横截面和/或表面积和/或形状(图7E)，则可以在患者虚拟数据中识别近似于预期股骨切割的新的虚拟股骨切割替代101。可以确定原始计划的或预定的虚拟股骨切割与新的虚拟股骨切割替代之间在位置、定位、定向、冠状、矢状，轴向角/角度的差异。根据原始计划的或预定的虚拟股骨切割96与对应于对患者执行的物理股骨切割98的新的虚拟股骨切割替代101之间的差异的严重性和/或临床意义的情况，外科医生然后可以决定或选择任何前述选项A-E或者组合任何前述选项A-E，比如，修改上一手术步骤、修改接下来的手术步骤、修改患者的虚拟手术计划、修改患者虚拟数据相对于患者实时数据的配准、和/或应用配准更正或其组合。
如图7G所示，外科医生可以选择修改上一手术步骤并通过沿锯片的对准和方向进行校正来调整近端股骨切割。然后，所得到的校正后的物理近端股骨切割102可以接近原始预期的、虚拟计划的、投影的近端股骨切割97。
图7H示出了经校正的物理近端股骨切割103的周长和/或横截面和/或表面积和/或形状近似于最初虚拟计划的近端股骨骨切割的周长和/或横截面和/或表面积和/或形状。
在膝关节置换的示例中，远端股骨切割没有落到其预期位置并不罕见。比如，关节炎区域下方的致密硬化骨可导致锯片偏转，从而改变远端股骨切割的角度。一旦远端股骨切割完成，可以评估物理切割的远端股骨的周长和/或截面和/或表面积和/或形状，例如使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或使用三维扫描仪和/或使用一个或多个探针或指针，其可以可选地通过一个或多个附接的光学标记、发光二极管、包括但不限于红外标记、逆向反射标记、射频标记和/或惯性测量单元的导航标记，接触和/或跟随切割股骨。然后，可以将活体患者的物理远端股骨切割的周长和/或横截面和/或表面积和/或形状与比如患者的虚拟手术计划中的虚拟远端股骨切割的周长和/或横截面和/或表面积和/或形状进行比较。物理远端股骨切割的周长和/或横截面和/或表面积和/或形状可用于识别虚拟远端股骨的相应的周长和/或横截面和/或表面区域和/或形状或患者虚拟数据中的其能够产生与虚拟远端股骨的周长和/或横截面和/或表面积和/或形状相类似的周长和/或横截面和/或表面积和/或形状的相应虚拟切割平面。
如果物理远端股骨切割与虚拟远端股骨切割之间的差异低于某一阈值，比如，距离远端股骨表面切割深度为1、2、3毫米或更多，和/或角度为1度、2度、3度或更大时，手术可按原计划进行。如果物理远端股骨切割与虚拟远端股骨切割之间的差异高于某一阈值，比如，距离远端股骨表面切割深度为1、2、3毫米或更多，和/或角度为1度、2度、3度或更大时，外科医生或操作者可以在前面的选项A-E之间决定或选择，比如，修改上一手术步骤，比如，重新进行远端股骨切割，选择性使用更厚的胫骨插入件以补偿更大的骨损失或减少胫骨切割深度；修改接下来的手术步骤之一，比如，切割胫骨以解决更大或更小的股骨损失和/或不同的股骨组件角度(比如，在矢状平面或冠状平面中，(比如，具有不同的股骨机械轴线对准)可选择在具有不同的胫骨机械轴线对准的胫骨侧上校正)；修改患者的虚拟手术计划，修改患者虚拟数据相对于患者实时数据的配准；和/或应用配准更正或其组合。
图8A示出了预定的远端股骨切割，比如，作为虚拟手术计划的视图的一部分，可选择由光学头戴式显示器以二维或三维、非立体或立体显示。在该示例中，光学头戴式显示器可以显示物理锯片的在本示例中选择用于进行远端股骨切割的虚拟预期路径或平面110。用于物理锯片进行远端股骨切割和虚拟远端股骨切割的虚拟/投影路径或平面可以重合；它们也可以是不同的，比如，考虑锯片的厚度。比如，如果锯片厚度为2.0毫米，则可以在例如用于近端膝关节置换的远端股骨中移动预定路径1.00毫米或更多以考虑从锯除中损失的骨从而使虚拟股骨切割考虑了因锯除而损失的骨。
预定路径的显示可以是二维或三维、立体或非立体。外科医生可以将物理锯片与预定路径对准，然后，外科医生可以推进锯片，同时保持锯片基本上与光学头戴式显示器所示的预定路径或平面对准。光学头戴式显示器不只显示预定路径或平面，还能够显示对准以进行虚拟骨切除(可选地考虑因切割或锯除引起的骨损失)的虚拟骨锯，并且外科医生可以将物理骨锯与虚拟骨锯对准，然后进行切割。
图8B示出了如比如在虚拟手术计划中形成的预期的虚拟远端股骨切割111的横截面或视图。示出了虚拟切割的股骨的周长和/或横截面和/或表面积和/或形状，比如，使用来自患者的术前影像学检查的数据(比如，计算机断层扫描或磁共振或超声或X光)模拟的。
图8C示出了对实时患者进行的物理远端股骨切割112。物理远端股骨切割不与锯片的虚拟预定路径对准，并且在本示例中它不与虚拟手术计划中的虚拟远端股骨切割对准。这可能由于实时手术中的各种原因而发生，比如，导致锯片偏离的意料之外的骨质硬化区域。对于外科医生来说，在手术中实际上很难检测到虚拟预期的骨切割与物理股骨切割之间的对准差异。
图8D是说明物理远端股骨切割113的视图或横截面。物理远端股骨切割的周长和/或横截面和/或表面积和/或形状不同于虚拟计划的切割股骨的周长和/或横截面和/或表面积和/或形状。物理切割远端股骨切割的周长和/或横截面和/或表面积和/或形状可以被检测，可选地使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，或者使用机械或光学探针，例如使用射频、光学、导航和/或其他标记和/或惯性测量单元。然后，可以将检测结果与虚拟切割表面的周长和/或横截面和/或表面积和/或形状进行比较。
图8E一旦检测到物理远端股骨切割的周长和/或横截面和/或表面积和/或形状，比如，使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪或者使用三维扫描仪或使用机械或光学探针，可选地，使用射频、光学、导航等标记和/或其他标记和/或惯性测量单元，则可在患者虚拟数据中识别物理远端股骨切割的相应周长和/或横截面和/或表面积和/或形状114，比如，使用本领域已知的图像处理算法。
图8F一旦在患者虚拟数据中识别出相应的周长和/或横截面和/或表面区域和/或形状(图8E)，则可以在患者虚拟数据中识别近似于物理股骨切割的新的虚拟股骨切割替代115。可以确定原始计划/预定的虚拟股骨切割与新的虚拟股骨切割替代之间的位置、定位、定向、冠状、矢状、轴向角/角度的差异。具体根据原始计划的或预定的虚拟股骨切割和，对患者执行的物理股骨切割，之间的差异的严重性和/或临床意义的情况，外科医生然后可以决定或选择任何前述选项A-E或者组合任何前述选项A-E，比如，修改上一手术步骤、修改接下来的手术步骤、修改患者的虚拟手术计划、修改患者虚拟数据相对于患者实时数据的配准和/或应用配准更正或其组合。
图8G外科医生可以选择修改上一手术步骤，并沿锯片的对准和方向校正远端股骨切割，该校正可以是例如矢状平面(如本例所示)或，如果物理切口在冠状面上未对准，则为冠状面。然后，所矫正的物理远端股骨切割116最接近原始预期的，虚拟计划的，预计的远端股骨切割。
图8H示出了经校正的物理远端股骨切割117的周长和/或横截面和/或表面积和/或形状接近于最初虚拟计划的远端股骨切割的周长和/或横截面和/或表面积和/或形状。
比如，如果比较物理远端股骨切割的周长和/或横截面和/或表面积和/或形状和虚拟计划的远端股骨切割的周长和/或横截面和/或表面积和/或形状，比如，在虚拟数据中对应于物理远端股骨切割的新虚拟切割平面的可选识别显示，虚拟远端股骨切割和物理股骨切割的定位、位置、定向和/或角度之间的差异超过阈值，比如，屈曲方向角度增加3度多和/或切割深度增加2毫米(即更多骨骼移除)，然后，外科医生可以通过将对应的虚拟切割平面与物理切割平面配准来修改患者实时数据(比如，物理远端股骨切割的周长和/或横截面和/或表面积和/或形状)与患者虚拟数据的配准，并且外科医生或者软件可以修改虚拟手术计划。在该示例中，对虚拟手术计划的修改可以包括，改变前股骨切割、后股骨切割和倒角切割的角度以与股骨植入组件的组件平面的尺寸和角度一致的远端股骨切割对准，以避免植入体与骨骼或者物理切割骨骼剩余区域之前出现间隙太宽，这可能导致骨骼在选择区域中过宽，比植入体尺寸宽，从而不能接受植入体。如果使用股骨优先技术，则虚拟手术计划的修改还可以包括调整近端胫骨切割的高度或深度以及近端胫骨切割的角度，比如，通过减少胫骨切割和通过改变切口的斜度，以考虑更加弯曲的股骨组件，并在考虑不同的物理远端股骨切割的情况下保持更好的软组织/韧带平衡。这些对虚拟手术计划的调整可选择由光学头戴式显示器显示，比如，通过显示一个或多个经虚拟校正或调整的前、后、倒角切割，和/或通过显示具有经矫正或调整的切割高度/深度和/或经矫正或调整的胫骨斜度和/或经矫正或调整的胫骨内翻或外翻角度的一个或多个校正或调整的近端胫骨切割。光学头戴式显示器可显示锯片或手术器械的虚拟校正或调整的预期/投射路径、虚拟校正或调整的预期/投影切割平面、或锯片和/或电动工具的虚拟校正或调整的预期/投影轴线。
下面示例中，外科医生无意中误导了股骨切割，在光学头戴式显示器的帮助下，集成或附加或分离的图像和/或视频捕获系统和/或三维扫描仪检测到股骨误切，然后决定在胫骨侧的后续手术步骤中进行必要的矫正。
图9A示出了预定的远端股骨切割和近端胫骨切割，比如，作为虚拟手术计划的视图的一部分，可选择由光学头戴式显示器以二维或三维、非立体或立体显示。在该示例中，光学头戴式显示器可以显示被选择进行远端股骨切割120和近端胫骨切割121的物理锯片的虚拟预定路径。光学头戴式显示器还可以显示虚拟远端股骨和/或近端胫骨切割。切割位置可以根据锯片的厚度进行调整。
预定路径的显示可以是二维或三维，非立体或立体。外科医生可以将物理锯片与预定路径对准，然后，外科医生可以推进锯片，同时保持锯片基本上与光学头戴式显示器所示的预定路径对准。光学头戴式显示器不只显示预定路径，还显示对准以进行虚拟骨切割(可选择考虑了从切割或锯切中损失的骨)的虚拟骨锯，并且外科医生可以将物理骨锯与虚拟骨锯对准，然后进行切割。
图9B示出了比如，在虚拟手术计划中形成的预期的虚拟远端股骨切割122的横截面或视图。使用来自患者的术前影像学检查(比如，计算机断层扫描或磁共振或超声)的数据模拟的虚拟切割的股骨的周长和/或横截面和/或表面积和/或形状是可见的。
图9C示出了对实时患者实施的物理远端股骨切割123。物理远端股骨切割123未与锯片的虚拟预定路径对准，并且在该示例中，它未与虚拟手术计划中的虚拟远端股骨切割120对准。这可能由于实时手术中的各种原因而发生，比如，导致锯片偏离的预料之外的骨质硬化区域。对于外科医生来说，在手术中很难检测到虚拟预期的骨切割和物理股骨切割之间的对准差异。虚线表示基于虚拟手术计划的预定胫骨切割。
图9D示出了物理远端股骨切割124的视图或横截面。物理远端股骨切割的周长和/或横截面和/或表面积和/或形状不同于虚拟计划的切割股骨122的周长和/或横截面和/或表面积和/或形状。可以检测物理远端股骨切割的周长和/或横截面和/或表面积和/或形状，比如，使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪或者使用机械或光学探针，可选地使用射频、光学、导航等标记和其他标记和/或惯性测量单元。然后，可以将检测结果与虚拟切割表面的周长和/或横截面和/或表面积和/或形状进行比较。
在图9E中，一旦检测到物理远端股骨切割的周长和/或横截面和/或表面积和/或形状，可选地，使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪或者使用三维扫描仪或使用机械或光学探针，可选地，使用射、光学、导航等标记和/或其他标记和/或惯性测量单元，可在患者虚拟数据125中识别物理远端股骨切割的相应周长和/或横截面和/或表面积和/或形状，比如，使用本领域已知的图像处理算法。
如图9F所示，一旦在患者虚拟数据中识别出相应的周长和/或横截面和/或表面积和/或形状(图9E)，则可以选择在患者虚拟数据中识别新的虚拟股骨切割替代126。可以确定原始计划的或预定的虚拟股骨切割120与新的替代股骨切割126之间在定位、位置、定向、冠状、矢状、轴向角/角度上的差异。具体根据原始计划的或预定的虚拟股骨切割与物理股骨切割之间的差异的严重性和/或临床意义的情况，外科医生可以决定或选择任何前述选项A-E或者组合任何前述选项A-E，比如，修改上一手术步骤、修改下一手术步骤、修改患者的虚拟手术计划、修改患者虚拟数据相对于患者实时数据的配准，和/或应用配准更正或其组合。在该示例中，外科医生选择通过将虚拟胫骨切割的角度从其原始方向121改变为能够可选地至少部分地校正股骨误切的整体对准的新方向127来修改下一外科手术步骤。
如图9G所示，外科医生可以选择修改下一外科手术步骤，并且在该示例中，沿锯片的对准和方向应用校正来改变近端胫骨切割，以在新的、虚拟修改的胫骨切割上执行。可以定位修改的虚拟和合成的物理近端胫骨切割128，以至少部分地校正股骨误切。
如果比较物理远端股骨切割的周长和/或横截面和/或表面积和/或形状和虚拟计划的远端股骨切割的周长和/或横截面和/或表面积和/或形状，比如，在虚拟数据中对应于物理远端股骨切割的新虚拟切割平面的可选识别显示，物理远端股骨切割表面比如光学头戴式显示器所示的虚拟手术计划预订的和/或比虚拟切割的远端股骨表面沿冠状方向更倾斜，比如3度或更大，然后，外科医生可以通过重新远端股骨切割来修正上一手术步骤，以纠正冠状面平面角度的误差，并且避免任何内翻/外翻错位。锯片的虚拟预定切割平面或虚拟预定路径或用于校正上一手术步骤而对准/定向的锯片和/或电动器械和/或虚拟锯片和/或电动器械的虚拟预定轴线可以可选地由光学头戴式显示器显示。或者，外科医生可以选择校正一个或多个后续外科手术步骤，比如，在该示例中，通过改变胫骨坪的预期切割来校正股骨切割冠状平面角度错误。在任一示例中，外科医生可以将物理锯片或手术器械与锯片的虚拟预定切割平面或虚拟预定路径，或锯片和/或电动器械和/或虚拟锯片和/或电动器械的虚拟预定轴线中的一者或多者对准。
图10A示出了预定的远端股骨切割和近端胫骨切割，比如，作为虚拟手术计划的视图的一部分，可选择由光学头戴式显示器以二维或三维、非立体或立体显示。光学头戴式显示器可以显示膝关节的机械轴线130或解剖轴线，比如，股骨轴或胫骨轴，以及各种其他运动或生物力学轴，包括膝关节的旋转轴线。虚拟手术计划可以包括股骨131和/或胫骨132切割的计划，其可以被选择以校正任何潜在的机械轴线畸形，比如，内翻或外翻畸形。比如，可以选择这些骨切割中的一者或多者垂直于患者的股骨或胫骨机械轴线。或者，可以选择其他对准并且可以将其结合到虚拟手术计划中。比如，内侧股骨髁表面、外侧股骨髁表面和内侧胫骨表面和外侧胫骨表面可选择与患者的软骨和/或软骨下骨或软骨下骨对准，并且附加了考虑软骨损失后的偏移。在该示例中，光学头戴式显示器可以显示被选择用于进行股骨切割和/或胫骨切割的物理锯片的一个或多个虚拟预定路径(断开的水平线)。光学头戴式显示器还可以显示虚拟股骨和/或胫骨切割。用于物理锯片进行股骨和/或胫骨切割以及虚拟股骨和/或胫骨切割的虚拟/投影路径可以是相同的；也可以是不同的，比如，考虑锯片厚度。光学头戴式显示器除了提供虚拟显示预定路径或平面之外，还能够显示对准以进行虚拟骨切割(可选地考虑了从切割或锯切中损失的骨骼)的虚拟骨锯或其二维或三维轮廓的的虚拟图像，并且外科医生可以将物理骨锯与虚拟骨锯或其二维或三维轮廓对准，然后进行切割。
图10B示出了，比如在虚拟手术计划中形成的，预期的虚拟股骨切割133的横截面或视图。在该示例中，外侧髁(左)和内侧髁(右)的虚拟切割的股骨的周长和/或横截面和/或表面积和/或形状，比如，使用来自患者的术前影像学检查(比如，计算机断层扫描或磁共振或超声)的数据模拟的，是相对圆形的。
图10C示出了对实时患者进行的物理远端股骨切割134。物理股骨切割不与锯片的虚拟预定路径对准，并且在该示例中它不与虚拟手术计划中的虚拟股骨切割对准。这可能由于实时手术中的各种原因而发生，比如，骨骼或软骨或骨质疏松骨的意外硬化区域导致锯片偏离。
图10D示出了物理股骨切割135的视图或横截面。物理股骨切割的周长和/或横截面和/或表面积和/或形状不同于虚拟计划的股骨切割的周长和/或横截面和/或表面积和/或形状。可以检测物理远端股骨切割的周长和/或横截面和/或表面积和/或形状，比如，使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪或者激光扫描仪和/或三维扫描仪或者使用机械或光学探针，可选地使用射频、光学、导航等标记和/或其他标记和/或惯性测量单元。然后，可以将其与虚拟切割表面的周长和/或横截面和/或表面积和/或形状进行比较。
在图10E中，一旦检测到物理远端股骨切割的周长和/或横截面和/或表面积和/或形状，比如，使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪和/或使用机械或光学探针，可选地，使用射频、光学、导航等标记和其他标记和/或惯性测量单元，可在患者虚拟数据中识别物理远端股骨切割136的相应周长和/或横截面和/或表面积和/或形状，比如，使用本领域已知的图像处理算法。
如图10F所示，一旦在患者虚拟数据中识别出相应的周长和/或横截面和/或表面区域和/或形状(图10E)，可以在患者虚拟数据中识别近似于物理股骨切割的虚拟股骨切割137。可以确定原始计划的或预定的虚拟股骨切割131与新的虚拟股骨切割和物理骨切割之间在定位、位置、定向、冠状、矢状、轴向角/角度上的差异。根据它们之间的差异的严重性和/或临床意义，外科医生然后可以决定或选择任何前述选项A-E或组合任何前述选项A-E，比如，修改上一手术步骤(比如，重新切割股骨)、修改接下来的手术步骤(比如，以不同于最初计划的冠状角度切割胫骨以解决股骨误切，并且可选地，实现复合对准，比如，仍然在正常范围(180度)内机械轴线对准)，修改患者的虚拟手术计划、修改患者虚拟数据相对于患者实时数据的配准和/或应用配准校正或其组合。
如图10G所示，外科医生可以选择修改下一外科手术步骤，并且在该示例中，修改近端胫骨切割，如两个示例中所示，一个具有直点划线139，另一个具有直虚线138。在一些实施方案中，外科医生可以以与原始计划不同的冠状角度切割胫骨以解决股骨误切，并且可选择实现复合对准，比如，仍然在正常范围(180度)内机械轴线对准。
在另一示例中，光学头戴式显示器可用于引导股骨钉或钻头的放置，所述骨钉或钻头可用于设定股骨组件旋转，如通常在全膝关节置换手术中进行的那样。这种股骨钉或钻头可以，比如，通过股骨切割块或钉或钻块中的开口放置。在该示例中，光学头戴式显示器可以通过投影虚拟股骨切割块或钉或钻块来引导物理股骨切割块或钉或钻块的放置，外科医生可以通过投影物来对准物理股骨切割块或钻头或钉块，然后放置物理钉或钻头。或者，光学头戴式显示器可以通过投射虚拟钉或钻头或通过投射虚拟钉或钻孔路径来引导物理钉或钻头的放置，然后，放置物理钉或钻头。
集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪、或可选地附有光学标记、发光二极管、包括但不限于红外标记、逆向反射标记、射频标记的导航标记和/或惯性测量单元的光学或机械探针、附接到钻头或者钉的光学标记、发光二极管、包括但不限于红外标记、逆向反射标记、射频标记的导航标记和/或惯性测量单元，可用于评估一个或多个物理钉或钻头或所得物理钉或钻孔的位置和/或定向和/或对准，并将评估结果与比如，在患者的虚拟手术计划中的一个或多个虚拟钉或钻头或虚拟钉孔或钻孔的位置和/或定向和/或对准进行比较，使用例如现有的配准或使用手术改变或修改的表面的实时数据和虚拟数据的新配准。如果检测到物理和虚拟钉或钻头或钉孔或钻孔之间的位置和/或定向和/或对准存在差异并且发现其具有临床意义，则外科医生可以决定或选择或合并先前的选项A-E，比如，修改前面的手术步骤(比如，重复/修改一个或多个针放置)，修改接下来的手术步骤(比如，将股骨旋转改变为与一个或多个钉或钻头或者针孔或钻孔所指示的有异)，修改患者的虚拟手术计划、修改患者虚拟数据相对于患者实时数据的配准，和/或应用配准校正或其组合。
在另一示例中，光学头戴式显示器可以用于引导胫骨钉或钻头的放置，胫骨钉或钻头可以用于设置胫骨组件旋转，如通常在全膝关节置换手术中进行的那样。这种胫骨钉或钻头，比如，可以被放置穿过胫骨切割块或钉或钻块中的开口。在该示例中，光学头戴式显示器可以通过投影虚拟胫骨切割块或钉或钻块来引导物理胫骨切割块或针或钻块的放置，外科医生可以使用该投影来对准物理胫骨切割块或钻或针块，然后放置物理钉或钻头。或者，光学头戴式显示器可以通过投射虚拟钉或钻头或通过投射虚拟钉或钻孔路径来引导物理钉或钻头的放置，然后，放置物理钉或钻头。
集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，或可选地附有射频标记、光学标记、发光二极管、包括但不限于红外标记、逆向反射标记、射频标记的导航标记、和/或惯性测量单元的光学或机械探针，或附接到钻头或者钉的光学标记、发光二极管、包括但不限于红外标记、逆向反射标记、射频标记的导航标记、和/或惯性测量单元，可用于评估一个或多个物理钉或钻头或所得物理钉或钻孔的位置和/或定向和/或对准，并将评估结果与，比如在患者的虚拟手术计划中的，一个或多个虚拟钉或钻头或虚拟钉或钻孔的位置和/或定向和/或对准进行比较，使用例如现有的配准或使用手术改变或修改的表面的实时数据和虚拟数据的新配准。如果检测到物理和虚拟钉或钻头或钉孔或钻孔之间的位置和/或定向和/或对准存在差异并且发现其具有临床意义，则外科医生可以决定或选择或合并先前的选项A-E，比如，修改前面的手术步骤(比如，重复/修改一个或多个针放置)、修改接下来的手术步骤(比如，将胫骨旋转改变为与一个或多个钉或钻头或者针孔或钻孔所指示的有异)、修改患者的虚拟手术计划、修改患者虚拟数据相对于患者实时数据的配准、和/或应用配准校正或其组合。
类似地，如果外科医生错误切割，比如，过度切割胫骨，则光学头戴式显示器可以对股骨切割进行可选的修改，比如，移动虚拟股骨切割以及由此导致的物理股骨切割向更远侧以考虑到胫骨过度切割。
前述示例决不意味着对本发明进行限制，而仅是本发明的示例性示例。本领域技术人员可以容易地认识到这些示例如何可以应用于其他类型的外科手术，例如踝关节置换、肩关节置换、肘关节置换、韧带修复和/或重建或置换、诸如椎体成形术、椎体后凸成形术、脊柱融合术和/或椎弓根螺钉和杆放置之类的脊柱手术。
基于钉的配准，在骨切割、扩孔、铣削等之后的配准
如果正在钻组织或在组织中放置钉或钻头，比如为了放置有钉的椎弓根螺钉或钻穿部分或全部椎弓根或用于在部分或全部膝关节置换中放置切割块或者为了规划股骨切割或髋臼扩孔用于髋关节置换术或用于肩关节成形术或用于各种类型的手术比如颅脑手术，可以在放置钉或钻头之后或在钻孔发生之后重复配准过程。比如，可以使用术中X光(比如，脊柱，膝关节或髋部)进行初始配准，比如，患者处于俯卧位或仰卧位。术中X光可以包括下述各项中的一项或多项：正位投影、后前位投影、侧向投影例如从左侧和/或从右侧进行的侧向投影、倾斜视图、以及使用例如旋转C臂系统上的旋转X光采集的计算机断层扫描视图。一个或多个术中X光投影可以与患者的术前图像数据或患者虚拟数据匹配，可选地包括虚拟手术计划，使用比如模式识别算法、图像处理算法、或外科医生或操作者的手动/视觉匹配；为了使所有所用数据具有相似或相同的放大倍率，可选择通过对给定的胶片/检测器焦距进行放大倍率调整、通过对患者的术中X光数据、术前数据、虚拟数据(可以选择包括虚拟外科手术计划)进行放大或缩小。
在脊柱外科手术的示例中，一旦进行了初始配准，就可以将钉或钻头放置在第一椎弓根中，比如颈椎、胸椎或腰椎中。然后可以将第二钉或钻头和/或另外的钉或钻头放置在第二椎弓根中，可选择在相同或不同的脊柱节段，选择在脊柱的同一侧(比如，左或右)或交替从左脊柱节段到右脊柱节段。类似地，可以针对膝关节置换手术、髋关节置换手术、肩关节置换手术、前交叉韧带修复或重建和/或各种运动相关手术和/或颅/脑手术的各个方面放置和配准钉或钻头。
可以配准一个或多个钉或钻头的位置，比如使用可对一个或多个钉或钻头进行检测且集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统或者使用三维扫描仪。可以使用附接的或集成的光学标记或导航标记来配准一个或多个钉或钻头的位置，包括但不限于红外标记、逆向反射标记、射频标记，比如可选择利用导航系统或惯性测量单元。钻头或钉的位置可以使用触摸探针或指示器来检测，其中触摸探针可以使用集成到、附接到或分离于光学头戴式显示器的图像或视频捕获系统和/或三维扫描仪来直接追踪，和/或可选地包括附接或集成的惯性测量单元、光学标记、导航标记，包括但不限于红外标记、逆反射标记、射频标记等，例如用于图像和/或视频捕获系统和/或三维扫描仪或导航系统。如果沿着钉或钻头的轨迹放置一个以上的标记，或者如果使用图像捕获，则使用图像捕获的两个或更多个标记或者钉或钻头的可视化部分的轨迹可以是用于估计钉或钻头的轨迹，并估计钉或钻头前进时的预计路径。如果已知针的长度和厚度，则不仅可以确定患者组织外的终点，而且即使在脊柱手术、膝关节置换、髋关节置换、肩关节置换、脑外科手术和其他各种手术中，将其置于患者组织深处，也可以估计针尖的位置。
可以使用说明书中描述的任何技术相对于患者和/或光学头戴式显示器配准钉或钻头的位置。一个或多个光学标记可以是逆向反射的或者可以包括发光二极管。可以使用光学和射频标记的组合。
在本发明的一些实施方案中，配准第一钻头或钉，可选择随后配准第二或更多钉和钻头。一个或多个钉或钻头的位置和/或定向可用于在手术期间保持配准，比如放置椎弓根螺钉和相关装置(比如，杆)、或膝关节置换，其中在股骨和/或胫骨或髋关节置换中放置一个或多个钉或钻头，在髋臼或近端股骨放置一个或多个钉或钻头。由于一个或多个钉或钻头固定到骨骼上，因此即使在初次配准之后存在患者移动，如果在初始配准之后使用钉或钻头进行配准，也可以保持准确的配准。可选择将钉或钻针放置并与钉或钻头配准之后，可以一起使用初始配准和随后对改变的手术表面/部位的配准。在该情况下，可以应用统计技术来协调初始配准和配准到包括一个或多个钉或钻头的改变的手术表面或部位之间的微小差异。比如，不同配准的平均值或中值可用于任何后续手术步骤。
在本发明的一些实施方案中，可以在患者的虚拟数据之间执行初始配准，比如术前成像，包括可选择用于患者的虚拟手术计划，以及手术期间的患者实时数据。比如，初始配准可以使用术中成像来执行，该术中成像可以参考患者实时数据并与其配准。在说明书中描述的或本领域已知的任何其他配准技术可用于初始配准。可以使用患者虚拟数据的初始配准和患者实时数据来放置第一钉或钻头或第一组钉或钻头。
在放置第一钉或钻头或第一组钉或钻头之后，可以重复术中成像。在本发明的一些实施方案中，术中成像用于初始配准，并且在放置第一钉或钻或第一组钉或钻之后，使用相同的术中成像模式和技术或类似的术中成像模式或技术。替代性地，在放置第一钉或钻头或第一组钉或钻头之后使用不同的术中成像模式。术中成像模式可包括X光(比如，正位、后前位、侧向和倾斜视图)、C臂采集，可选择具有计算机断层扫描能力、计算机断层扫描或超声扫描或磁共振扫描或任何其他本领域已知的成像技术。
在本发明的一些实施方案中，在放置第一钉或钻头或第一组钉或钻头之后，可评估放置的准确性。可以使用比如以下任何一种来评估放置的准确性：
-术中成像，比如如果在不使用术中成像的情况下进行的初始配准
-使用相同或不同的成像模式进行初次配准的术中成像(如果适用)
-图像捕获钉或钻头的可见部分，其中可选择投影/估计患者组织内任何非可视化部分的定位和/或定向
-光学标记，导航标记包括但不限于红外标记、逆向反射标记、射频标记、惯性测量单元(IMU)、以及本领域已知的任何其他电子或光学或磁性标记，其中，具有可选的投影/估计患者组织内的任何非可视化部分的位置和/或定向的物理位置的任何偏差，包括钉或钻头的物理位置和/或物理定向，与钉或钻头的预期位置和/或预期定向相比较，可以以这种方式测量虚拟手术计划。如果一个或多个钉在物理与预期的虚拟位置和/或定向上显示偏差，则可以确定坐标的差异，并且可以对使用一个或多个放在患者组织内的钉或钻头的任何后续配准应用坐标转换或坐标校正。可以全局应用坐标转换或坐标校正，比如对于使用相同值放置的所有钉或钻头。替代性地，可以对每一钉或钻头单独地应用坐标转换或坐标校正，以考虑它们与物理与预期虚拟放置/位置和/或定向的特定偏差。前一种方法更加节省时间。对于任何后续配准，后一种方法更准确。当手术期间一个或多个脊柱节段可以彼此相关地移动时，比如倘若外科医生必须调整患者在手术台上的位置，分别使用物理放置/位置和/或定向相比于基于虚拟手术计划的预期虚拟放置/位置和/或定向的坐标偏差值/差值的数据且应用于每一钉或钻的坐标转换或坐标校正，在脊柱手术中特别有用。在该情况下，一个或多个钉或钻头可以选择放置在一个以上的脊柱节段上，比如在初始配准之后涉及手术的所有脊柱节段，并且可以使用前述技术评估放置的准确性。然后，可选择对一个以上的脊柱节段应用坐标转换或坐标校正，比如手术中涉及的所有脊柱节段，其中通过使用一个或多个钉或钻头，用于已应用坐标转换或坐标校正的每一脊柱节段的后续手术步骤，钉或钻的物理与预期虚拟放置/位置和/或定向的差异可以用于提高后续配准的准确性。
在脊柱外科手术的示例中，可以在相同的脊柱节段或不同的脊柱节段放置一个或多个椎弓根螺钉。可选择对比使用前述技术的虚拟手术计划中的预期虚拟放置/位置和/或定向，对每一椎弓根螺钉的物理放置/位置和/或定向的准确性进行评估。可选择基于椎弓根螺钉的物理和预期虚拟放置之间的偏差来确定坐标转换或坐标校正，并且椎弓根螺钉可以用于在任何后续手术步骤期间对患者、脊柱和/或光学头戴式显示器进行配准，所述后续手续步骤比如为将额外的椎弓根螺钉比如放置在相同或其他脊柱节段处或者放置一个或多个连接器或杆等。
在放置椎弓根螺钉期间，可以通过参考放置在椎弓根中相同或相邻脊柱节段的一个或多个钉或钻头或椎弓根螺钉来保持对准。
类似地，在其他外科手术中，比如膝关节置换、髋关节置换、肩关节置换、前交叉韧带修复和重建、颅骨、颌面和脑外科手术中，通过使用说明书中描述任何技术以及物理和预期虚拟放置/位置/和/或方向之间的偏差值或差值，可以确定出钻头、针、器械、植入体、装置或装置部件等的物理位置。现在使用一个或多个钻头、针、器械、植入体、装置或装置部件作为配准参考或标记，所测量的差值可用于确定后续手术步骤的任何后续配准的坐标转换或坐标校正。
通过参考固定在骨骼或硬组织内的钉或钻头(在第一次手术改变之后)，可以比如在椎弓根螺钉放置、膝关节置换、髋关节置换、前交叉韧带修复和/或重建、颌面外科、颅脑和/或脑外科手术等期间保持准确的配准。
在该情况下，活体患者的钉扎或钻孔组织或其部分可以与虚拟手术计划中的相应钉扎或钻孔组织匹配或叠加和/或配准。一旦获得了实时和虚拟切割钉扎或钻孔区域的适当匹配，可选择重复配准。在本发明的一些实施方案中，由任何钉扎或钻孔产生的骨空隙或孔可用于任何后续配准。可选择将钉或钻头临时放回骨空隙或孔中，用于任何后续配准和随后的手术步骤。如果使用其他手术器械，比如除了钻头或针头之外的其他手术器械，比如为去毛刺器(burr)或刀片，则其他合成的骨质空隙也可选地用于任何后续的配准。
可选地，对比如使用诸如X光或超声的术中成像、由任何手术器械产生的骨空隙或孔的位置、方位和/或取向和/或尺寸和/或形状进行评估，可以对任何骨空隙或孔的物理和预期的虚拟位置、方位和/或取向和/或尺寸和/或形状之间的差异进行评估。骨空隙或孔的物理和预期虚拟位置、方位和/或取向和/或尺寸和/或形状之间的差值或偏差可用于确定坐标差异或坐标转换或坐标校正，使得骨空隙或孔可用于任何后续配准和随后的手术步骤。任何随后的配准可以通过选择引入部分或完整的骨空隙填充物(比如，钉或钻头)和对准骨空隙填充物来进行。任何后续配准也可以通过直接配准骨空隙或孔来进行，比如通过术中成像来进行。任何后续配准也可以通过将一个或多个惯性测量单元、光学标记和/或导航标记放置在骨空隙内或附近来执行，所述惯性测量单元、光学标记和/或导航标记包括但不限于红外标记、逆向反射标记、射频标记，并且使用说明书中描述的任何技术来对惯性测量单元、光学标记、发光二极管和/或导航标记中的一项或多项进行配准，所述惯性测量单元、光学标记、发光二极管和/或导航标记包括但不限于红外标记、逆向反射标记、射频标记。此外，任何随后的配准也可以通过用颜色比如甲苯胺蓝来标记部分或全部骨空隙或孔来进行，以及通过比如使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来配准骨空隙或孔的标记和/或染色部分而进行。
如果比如用解剖刀或锯进行组织切割，则可以在组织切割已经放置之后重复配准过程。在该情况下，活体患者的切割组织表面或其部分、或者活体患者的切割组织表面的周边或其部分、或者活体患者的切割组织表面的表面区域或其部分、或者活体患者的移除的组织的体积或其部分可以与虚拟手术计划中的虚拟数据的相应切割组织表面或其部分、或者虚拟数据的切割组织表面的周边或其部分、或者虚拟数据的切割组织表面的表面区域或其部分、或者虚拟数据的移除的组织的体积或其部分相匹配或叠加和/或配准。一旦获得了实际和虚拟切割表面的适当匹配，就可选择性地重复配准。
如果进行组织切割，则可以在组织切割已经完成之后重复配准过程。在该情况下，活体患者的切割组织表面或其部分，或者活体患者的切割组织表面的周边或其部分可以与虚拟手术计划中的相应的切割组织表面或其部分或者虚拟手术计划中的切割组织表面的周边或其部分相匹配或叠加和/或配准。一旦获得了实际和虚拟切割表面的适当匹配，就可选择性地重复配准。
如果，例如用锯进行骨切割，则可以在已经放置骨切割之后重复配准过程。在该情况下，活体患者的切割骨表面或其部分、或者活体患者的切割骨表面的周边或其部分、或者活体患者的切割的骨表面的表面区域或其部分、或者活体患者的移除的骨的体积或其部分可以与虚拟手术计划中的虚拟数据的相应的切割的骨表面或其部分、或者虚拟数据的切割的骨表面的周边或其部分、或者虚拟数据的切割的骨表面的表面区域或其部分、或者虚拟数据的移除的骨的体积或其部分相匹配或叠加和/或配准。一旦获得了实际和虚拟切割表面的适当匹配，就可选择性地重复配准。
如果比如使用扩孔器、铣刀或撞击器进行铣削、扩孔或撞击过程，则可以在已经进行铣削、扩孔或撞击之后重复配准过程。在该情况下，活体患者的铣削的、扩孔的或撞击的骨表面或其部分、或者活体患者的铣削的、扩孔的或撞击的骨表面的周边或其部分、或者活体患者的铣削的、扩孔的或撞击的骨表面的表面区域或其部分、或者活体患者的移除的骨的体积或其部分可以与虚拟手术计划中的虚拟数据的铣削的、扩孔的或撞击的相应的骨表面或其部分、或者虚拟数据的铣削的、扩孔的或撞击的骨表面的周边或其部分、或者虚拟数据的铣削的、扩孔的或撞击的骨表面的表面积或其部分、或者虚拟数据的移除的骨的体积或其部分相匹配或叠加和/或配准。一旦获得了实际和虚拟切割表面的适当匹配，就可选择性地重复配准。
如果比如使用钻头或钉或K线执行钻孔过程，则可以在已经放置钻头或钉或K线之后重复配准。在该情况下，活体患者的钻孔表面或其部分、或者活体患者的钻孔表面的周边或其部分、或者活体患者的钻孔表面的表面区域或其部分、或者活体患者的移除的骨的体积或其部分、或者钻孔的位置或钻孔的取向、或者钻孔的尺寸、或者插入钻孔中的诸如钻头、钉或K线或墨水之类的标记可以与虚拟手术计划中的虚拟数据的相应钻孔表面或其部分、或者虚拟数据的钻孔表面的周边或其部分、或者虚拟数据的钻孔表面的表面区域或其部分、或者虚拟数据的移除的骨的体积或其部分、或者虚拟数据中的钻孔的位置、或者虚拟数据中钻孔的取向、或者虚拟数据中钻孔的尺寸、或者虚拟数据中的插入钻孔中的诸如钻头、钉或K线或墨水之类的标记进行匹配或叠加和/或配准，可选地在虚拟外科手术计划中进行匹配或叠加和/或配准。一旦获得了实际和虚拟切割表面的适当匹配，就可选择性地重复配准。
如果执行钻孔过程，则钻孔可以可选地在活体患者体内用印度墨水或其他颜色标记。可以使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来识别颜色标记。然后，在已经执行了组织的一个或多个外科手术改变之后，可选择使用活体患者体内的颜色标记来将患者的实时数据与虚拟数据重新配准。颜色标记可以与图像和/或视频捕获系统和/或三维扫描仪一起使用，以在患者实时数据中检测颜色标记并将颜色标记与患者虚拟数据一起配准。替代性地，比如在已经执行一个或多个外科手术改变或外科手术步骤之后，外科医生可以使用颜色标记来可视地识别先前放置的钻孔。然后，可选地可以将钻头、钉、K线、螺钉或其他手术器械放置在钻孔内，并且可以通过将钻头、钉、K线、螺钉或其他手术器械与虚拟手术计划中的相应的虚拟钻头、钉、K线、螺钉或其他手术器械或相应钻孔进行匹配、叠加和/或配准，来执行实时数据和虚拟数据的配准。
比如，在膝关节置换手术中，可以在执行远端股骨切割和骨移除之前，将钻头导引物应用于远端股骨和/或远端股骨髁。钻头导引物可以集成到远端股骨切割块中。通常，可以放置两个或更多个钻孔，比如其中一个或多个钻孔位于股骨内侧髁或内侧股骨中而一个或多个钻孔位于外侧股骨髁或外侧股骨中。内侧和外侧钻孔的位置以及两个钻孔之间的交点可以用于限定股骨部件的旋转轴线。
光学头戴式显示器可以显示用于实现期望的机械轴线校正的远端股骨切割块的期望位置并显示用于对股骨植入体部件的期望旋转轴线进行设定的钻孔的期望位置。钻孔可以在进行切割之前钻出，并且可以在进行远端股骨切割之前选择用墨水标记。然后，可以进行远端股骨切割。然后，可以在切割表面上识别钻孔中的墨水。在实时患者数据中看到的墨水可以使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来配准，并且可以相对于虚拟手术计划中定义的虚拟钻孔来配准。替代性地，外科医生可以选择将钻头、钉、K线、螺钉或其他手术器械插入到实时患者数据中的钻孔中，可以使用集成到、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统和/或三维扫描仪对钻头、钉、K线、螺钉或其他手术器械进行配准，并且可以与虚拟钻头、钉、K线、螺钉或其他可选择引入虚拟手术计划的手术器械进行配准。
以这种方式，在已经执行远端股骨切割之后，可以重新配准实时患者数据和虚拟患者数据。外科医生还可以使用重新配准来检查初始配准的准确性，并且根据检测到的任何差异来执行对物理手术计划或虚拟手术计划进行调整。
前述实施方案可以应用于任何类型的关节置换或关节保留手术，包括关节镜检查。
整个说明书中使用的术语墨水可以包括荧光墨水。在实施方案中，具有离散波长和/或强度的光或者包括离散波长和/或强度范围的光可以照射在手术部位和/或暴露的组织上。那些已经吸收荧光墨水或包括荧光墨水的组织例如通过注射或通过表面施用可以显示荧光效果，这可以使用光学头戴式显示器来检测或通过光学头戴式显示器来观察。
如果进行射频消融、热消融、冷冻消融或烧灼，则可以在已经进行射频消融、热消融、冷冻消融或烧灼之后重复配准过程。在该情况下，活体患者的消融或烧灼的组织表面或其部分、或者活体患者的消融或烧灼的组织表面的周边或其部分、或者活体患者的消融或烧灼的组织表面的表面区域或其部分、或者活体患者的移除的组织的体积或其部分可以与虚拟手术计划中的虚拟数据的相应消融或烧灼的组织表面或其部分、或者虚拟数据的消融或烧灼的组织表面的周边或其部分、或者虚拟数据的消融或烧灼的组织表面的表面区域或其部分、或者虚拟数据的移除的组织的体积或其部分相匹配或叠加和/或配准。一旦获得了实时和虚拟的消融或烧灼表面的适当匹配，就可以可选地重复配准过程。
如果进行了医疗植入体部件、试验植入体、组织移植物、组织基质、移植物、导管、手术器械的放置或者细胞或药物的注射，则可在已经进行了手术步骤或手术改变之后重复配准过程。在该情况下，活体患者的改变的组织或其部分、或者活体患者的改变的组织表面或其部分、或者活体患者的改变的组织表面的周边或其部分、或者活体患者的改变的组织表面的表面区域或其部分、或者活体患者的移除的组织的体积或其部分可以与虚拟手术计划中的虚拟数据的改变的组织或其部分、或者虚拟数据的相应的改变的组织表面或其部分、或者虚拟数据的改变的组织表面的周边或其部分、或者虚拟数据的改变的组织表面的表面区域或其部分、或者虚拟数据的移除的组织的体积或其部分相匹配或叠加和/或配准。一旦实现了实时和虚拟改变组织的适当匹配，就可以可选地重复配准。
手术器械库
在一些方面，该系统包括用于不同外科手术的手术器械库。虚拟手术计划中使用并且在实时手术期间由光学头戴式显示器可选地显示的手术器械的虚拟库的概念，比如根据虚拟和/或预期的外科手术计划叠加到物理手术器械上以提供物理手术器械的位置、取向或方向指导，适用于任何外科手术，所述任何外科手术比如为心血管手术、胸部或肺部手术、神经手术、泌尿手术、妇科手术、肝脏或其他内脏器官手术、肠道手术和/或肌肉骨骼手术。虚拟和物理手术器械和植入体部件可以比如利用患者的一个或多个光学头戴式显示器和实时数据而在共同坐标系中配准，光学头戴式显示器可以投影或显示虚拟手术器械的虚拟表示。
在一些实施方案中，手术器械的虚拟库可以对应于手术期间的手术器械的物理库。可选地，仅有少数选择的手术器械可以包括在手术器械的虚拟库中。这些少数选择的手术器械可以是例如用于主要的、关键的手术步骤或者用于选择的子步骤的手术器械。替代性地，在实时手术期间所用的所有手术器械可以包括在虚拟手术器械的虚拟库中。
虚拟手术器械的虚拟库可以包括各种文件格式的这些器械。在一些实施方案中，可以使用CAD文件格式。通常，任何类型的表面表示、二维或三维形状表示、三维体积表示、三维显示和不同文件格式可以在虚拟手术计划中使用，随后在手术期间由光学头戴式显示器可选择显示。
下面提供了可用于椎弓根螺钉放置或脊柱杆放置、人工椎间盘置换、髋关节置换和膝关节置换的手术器械库的示例。在任何其他外科手术中所使用的其他手术器械可以在虚拟手术计划中使用和/或可以由光学头戴式显示器显示。
椎弓根螺钉和脊柱杆放置
用于椎弓根螺钉器械和/或脊柱杆放置的手术器械的虚拟和/或物理库例如可以包括：
对于椎弓根的制备：锥子比如圆锥；单端探针；双端探针；探测探头/触探探头；胸球手柄探头；腰球手柄探头；直探头比如腰椎直探头、胸椎直探头、颈椎直探头；弯曲探头比如腰椎弯曲探头、胸椎弯曲探头、颈椎弯曲探头；棘轮手柄；不同直径/尺寸的丝锥
对于螺钉插入：螺丝刀，例如多轴螺丝刀、自保持螺丝刀；杆模板；杆插入器；杆夹持器；折弯机，比如法国折弯机；单端插头启动器；双端插头启动器；临时驱动器
对于杆还原：压缩机比如并联压缩机；牵张器比如平行牵引器。
对于收紧：断开驱动器比如自保持断开驱动器；闭塞器；反扭矩
其他器械：插头启动器比如非中断插头启动器；快速连接器；扭矩限制驱动器；组织牵开器；用于保持组织牵开器的框架；夹具。
板式器械：植入定位器；螺钉刀比如扭矩限制或非扭矩限制的螺丝刀；测量卡尺；信用卡计量；反扭矩；板保持器比如成直线；弯板机；镊子板保持器；拆卸驱动器比如六角头轴式拆卸驱动器。
上述用于椎弓根螺钉器械和/或脊柱杆放置的手术器械列表仅是一个示例。决不意味着对本发明进行限制。用于椎弓根螺钉器械和/或脊柱杆放置的任何当前和未来的手术器械可以用于椎弓根螺钉器械和/或脊柱杆放置的虚拟手术计划和实时手术计划。
所有上述手术器械可以比如基于所使用的物理植入体、植入体部件和/或医疗装置的大小或尺寸而以不同的尺寸和/或直径和/或宽度和/或长度和/或形状和/或尺寸提供。
医疗装置、植入体、植入体部件的库
椎弓根螺钉和脊柱杆放置
用于椎弓根螺钉器械和/或脊柱杆放置的虚拟和物理植入体、植入体部件和/或医疗装置的库可以包括比如螺钉，所述螺钉包括但不限于螺钉头、螺纹部分、多轴螺钉、单轴螺钉、固定螺钉、所有前述的不同尺寸和/或直径的螺钉(可选地在光学头戴式显示器显示期间进行颜色编码)；板，所述板包括但不限于固定板、交联板、多跨板、所有前述的不同尺寸和/或直径的板(在光学头戴式显示器显示期间可选地进行颜色编码)；杆，所述杆包括但不限于直杆、成型杆、所有前述的不同尺寸和/或直径的杆(在光学头戴式显示器显示期间可选地进行颜色编码)。所有上述装置、装置部件、植入体和植入体部件可以以不同的直径、宽度、长度、尺寸、形状或大小提供。
膝关节置换术
用于部分和全部膝关节置换的虚拟和物理植入体、植入体部件和/或医疗装置的库可以例如包括不同尺寸和形状的左股骨部件和右股骨部件，所述尺寸例如为1、2、3、4、…、17、18、19、20，所述形状为例如没有或具有远端内侧-外侧股骨偏移例如偏移1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm或更大mm、没有或具有后内侧-外侧股骨髁偏移例如偏移1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm或更大mm；不同尺寸的金属背衬或全部为聚乙烯的、以及不同形状的左胫骨部件和右胫骨部件，所述尺寸例如为1、2、3、4、…、17、18、19、20，所述形状例如为对称的、不对称的、可选地具有不同程度的不对称；不同尺寸和形状的左胫骨垫片和右胫骨垫片，所述尺寸例如为1、2、3、4、…、17、18、19、20，所述形状例如为对称的、不对称的、可选地具有不同程度的不对称；不同尺寸和形状的左髌骨部件和右髌骨部件，所述尺寸例如为1、2、3、4、…、17、18、19、20，所述形状例如为对称的、不对称的。
髋关节置换术
用于髋关节置换的虚拟和物理植入体、植入体部件和/或医疗装置的库可以包括比如左和右标准偏移、高偏移、髋内翻偏移的股骨部件，股骨部件为环式或非环式的、胶接或无胶接的、具有不同的多孔向内生长选择、具有不同的尺寸、茎长、偏移、颈部长度、颈轴角度；股骨部件为不同尺寸的具有正负头的陶瓷或金属股骨头；为不同尺寸的髋臼杯，其与不同的多孔向内生长选择物接合或不接合；为不同的髋臼衬垫，其包括不同尺寸的唇形和不对称衬垫。
前述列表仅是说明性和示例性的，不应被解释为限制本发明。本领域已知的任何植入体部件可以包括在一个或多个虚拟和物理植入体库中。
虚拟放置、良好或最佳配合装置的虚拟配合/选择、优选虚拟取向的确定、优选虚拟对准的确定、优选虚拟锚定/附接/固定构件在患者的活体物理手术部位中的确定和/或选择
光学头戴式显示器可以显示或投影一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械的虚拟表示、立体或非立体表示，无论是否使用术前或术中成像。外科医生可以使用透视光学头戴式显示器来观察手术野，或者当使用虚拟现实类型的光学头戴式显示器时，通过用一个或多个摄像头或视频系统对手术野成像(可选地集成到、附接到或分离于光学头戴式显示器)，并且通过用光学头戴式显示器对视频流或选择图像或间歇图像进行投影来观察手术野。通过显示投影在手术野上的虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和/或虚拟器械，虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和/或虚拟器械可以被放置到期望位置中，例如放置成与以下各项相关或基于以下各项：一个或多个解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的虚拟放置或置位可以基于单个参数或多个参数，即可以是例如通过使用前述示例性各项中的任意一项或多项来进行评估、评价、考虑的单参数或多参数：所述各项为解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近放置、附接或植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。
在国际申请号PCT/US17/21859和美国申请公开号US2017-0258526中描述了用于放置或置位、尺寸确定、配合、对准和/或选择虚拟植入体或虚拟植入体部件的系统、方法、技术和装置，这些申请的全部内容通过参引并入本文。
在整个说明书中，虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的放置或置位、尺寸确定、配合、对准、选择(包括基于形状和/或功能的选择以及优选锚或附件的选择)可以基于单个参数或多个参数，即可以是例如通过使用示例性各项中的任意一项或多项来评估、评定、考虑的单参数或多参数：所述各项为解剖标志、解剖尺寸、解剖形状、期望的形状校正、例如通过切割、扩孔、铣削、钻孔或组织去除而进行的组织改变或组织手术改变的尺寸或形状、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、与植入部位或手术部位相邻的组织和/或结构、与植入部位或手术部位相对的组织和/或结构、与植入部位或手术部位相互作用的组织和/或结构和/或一个或多个物理植入体、物理植入体部件和/或物理医疗装置已经放置、附接或植入在预期植入部位或手术部位附近、和/或也预期植入在预期植入部位或手术部位附近的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置、和/或一个或多个功能例如运动学、测量和/或虚拟手术计划信息和/或虚拟数据，虚拟数据包括说明书中提到的或本领域中已知的术前或术中成像数据。例如，一个或多个解剖参数，例如解剖结构(例如牙齿或骨或软骨)的边界或边缘或表面的位置、定位、定向、坐标，或者解剖结构的尺寸或几何结构或形状可以与一个或多个轴线参数一起使用，例如解剖轴线或生物力学轴线或钻孔轴线，例如来自虚拟手术计划或术前或术中影像学检查、或者器械轴线，例如用于为组织锚或其组合准备位置。来自第一组织(例如皮质骨)的一个或多个解剖参数可以与来自第二组织(例如软骨或软骨下骨)的一个或多个参数一起使用。来自第一组织(例如牙齿珐琅质)的一个或多个解剖参数可以与来自第二组织(例如牙根或下颌骨或上颌骨)的一个或多个参数一起使用。来自关节的第一关节表面的一个或多个参数(例如解剖轴线或生物力学轴线，例如旋转轴线)可以与来自关节的第二关节表面的参数一起使用(例如解剖轴线或生物力学轴线，例如旋转轴线)。来自第一关节表面的一个或多个解剖参数可以与来自关节的第二关节表面的一个或多个轴线参数(例如解剖参数或生物力学参数，包括运动学参数)一起使用。来自牙齿的一个或多个解剖学参数可以与来自下颌骨或上颌骨的一个或多个解剖学参数结合使用，所述牙齿例如是打算拔掉的牙齿或与打算拔掉的牙齿相邻的牙齿或牙齿空隙，例如牙齿的边缘、脊、坐标或者牙龈，所述解剖学参数例如是下颌骨或上颌骨内的牙根位置、或者用于下颌骨或上颌内的假牙的钛或其他杆或锚的钻孔轴线或预定植入轴线，例如根据虚拟手术计划确定的，例如基于术前或术中的影像学检查。任何前述参数的任何组合或说明书中提到的任何其他解剖学、生物力学、功能、运动学或其他参数的任何组合可以用于使用来自相同组织或器官或在相同组织或器官内和/或来自不同组织或器官或在不同组织或器官之间的参数对虚拟植入体、虚拟植入体部件和/或虚拟医疗装置进行放置或置位、尺寸确定、配合、对准、选择(包括基于形状和/或功能的选择以及优选锚或附件的选择)。任何前述参数的任何组合或说明书中提到的任何其他解剖学、生物力学、功能、运动学或其他参数的任何组合可用于使用来自相同关节表面或在相同关节表面内和/或来自不同关节表面或在不同关节表面之间的参数对虚拟植入体、虚拟植入体部件和/或虚拟医疗装置进行放置或置位、尺寸确定、配合、对准、选择(包括基于形状和/或功能的选择以及优选锚或附件的选择)。任何前述参数的任何组合或说明书中提到的任何其他解剖学、生物力学、功能、运动学或其他参数的任何组合可用于使用来自相同关节或在相同关节内和/或来自不同关节和不同关节(例如髋关节、膝关节和/或踝关节)之间的参数对虚拟植入体、虚拟植入体部件和/或虚拟医疗装置进行放置或置位、尺寸确定、配合、对准、选择(包括基于形状和/或功能的选择以及优选锚或附件的选择)。
虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的任何移动、放置或置位、尺寸确定、配合、对准、选择(包括基于形状和/或功能的选择以及优选锚或附件的选择)可以是顺序的。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的任何移动、放置或置位、尺寸确定、配合、对准、选择(包括基于形状和/或功能的选择以及优选锚或附件的选择)可以是同时进行的。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的任何移动、放置或置位、尺寸确定、配合、对准、选择(包括基于形状和/或功能的选择以及优选锚或附件的选择)可以是顺序的和/或同时进行的。任何组合都是可能的。例如，放置或置位和对准可以是同时进行的，而配合和尺寸确定可以一起进行，但是与放置或置位顺序进行，并且可以随后进行更多的对准，紧接着进行额外的配合和尺寸确定，额外的配合和尺寸确定可以与选择同时进行或者随后进行选择。放置或置位、对准和配合可以同时进行，紧接着是尺寸确定和选择，紧接着是对准。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的同时和/或顺序移动、放置或置位、尺寸确定、配合、对准、选择(包括基于形状和/或功能的选择以及优选锚或附件的选择)的任何组合都是可能的。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的重复移动、放置或置位、尺寸确定、配合、对准、选择(包括基于形状和/或功能的选择以及优选锚或附件的选择)是可能的，例如以对所选择的不同植入体与关节边界、边缘、尺寸、几何结构、形状、表面的配合进行评价。
在一些实施方案中，第一计算机处理器可用于便于促进放置虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件，例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件。第二计算机处理器可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的移动。第三计算机处理器可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的定向。第四计算机处理器可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的对准。第五计算机处理器可用于促进虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的配合。第六计算机处理器可用于促进虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的尺寸确定。第七计算机处理器可用于促进虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的选择。
第一处理器可以与第二处理器、第三处理器、第四处理器、第五处理器、第六处理器或第七处理器相同或不同；第二处理器可以与第一处理器、第三处理器、第四处理器、第五处理器、第六处理器或第七处理器相同或不同；第三处理器可以与第一处理器、第二处理器、第四处理器、第五处理器、第六处理器和第七处理器相同或不同；第四处理器可以与第一处理器、第二处理器、第三处理器、第五处理器、第六处理器或第七处理器相同或不同；第五处理器可以与第一处理器、第二处理器、第三处理器、第四处理器、第六处理器或第七处理器相同或不同；第六处理器可以与第一处理器、第二处理器、第三处理器、第四处理器、第五处理器或第七处理器相同或不同；第七处理器可以与第一处理器、第二处理器、第三处理器、第四处理器、第五处理器或第六处理器相同或不同。
在一些实施方案中，处理器可以被配置成便于同时或顺序地显示具有不同尺寸或形状的两个或更多个虚拟植入体部件，并且处理器可以被配置成接收来自用户接口的输入，以便于对两个或更多个虚拟植入体与患者手术部位的配合和/或对准进行评估。
在一些实施方案中，第一用户接口可用于促进放置虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件，例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件。第二用户接口可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的移动。第三用户接口可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的定向。第四用户接口可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的对准。第五用户接口可用于促进虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的配合。第六用户接口可用于促进虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的尺寸确定。第七用户接口可用于促进虚拟植入体或植入体部件(例如膝关节、髋关节、脚踝、肩膀、脊柱、牙齿植入体部件或其他植入体部件)的选择。
第一用户接口可以与第二用户接口、第三用户接口、第四用户接口、第五用户接口、第六用户接口或第七用户接口相同或不同；第二用户接口可以与第一用户接口、第三用户接口、第四用户接口、第五用户接口、第六用户接口或第七用户接口相同或不同；第三用户接口可以与第一用户接口、第二用户接口、第四用户接口、第五用户接口、第六用户接口和第七用户接口相同或不同；第四用户接口可以与第一用户接口、第二用户接口、第三用户接口、第五用户接口、第六用户接口或第七用户接口相同或不同；第五用户接口可以与第一用户接口、第二用户接口、第三用户接口、第四用户接口、第六用户接口或第七用户接口相同或不同；第六用户接口可以与第一用户接口、第二用户接口、第三用户接口、第四用户接口、第五用户接口或第七用户接口相同或不同；第七用户接口可以与第一用户接口、第二用户接口、第三用户接口、第四用户接口、第五用户接口或第六用户接口相同或不同。
外科医生可以评估虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和/或虚拟器械的配合，并且外科医生可以可视地选择与下述各项有关或基于下述各项的良好或最佳配合的虚拟植入体、虚拟植入体部件和/或虚拟医疗装置，所述各项为：一个或多个解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构；与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。对良好或最佳配合的虚拟植入体、虚拟植入体部件和/或虚拟医疗装置进行虚拟配合和/或选择可以基于单个参数或多个参数，即可以是例如通过使用前述示例性各项中的一项或多项来评估、评价、考虑的单参数或多参数：所述各项为解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近放置、附接、植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。
外科医生可以评估虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和/或虚拟器械的形状，并且外科医生可以关于其形状可视地选择与下述各项有关或基于下述各项的虚拟植入体、虚拟植入体部件和/或虚拟医疗装置：所述各项为一个或多个解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的形状的虚拟评估可以基于单个参数或多个参数，即可以是例如通过使用前述示例性各项中的一项或多项来评估、评价、考虑的单参数或多参数：所述格各项为解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近放置、附接、植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。
外科医生还可以通过使用光学头戴式显示器引导来确定虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和/或虚拟器械在与下述各项有关或基于下述各项的活体物理手术部位中的优选位置和/或定向和/或对准：所述各项为一个或多个解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的优选位置和/或定向和/或对准的虚拟确定可以基于单个参数或多个参数，即可以是例如通过使用前述示例性各项中的任意一项或多项来评估、评价、考虑的单参数或多参数：所述格各项为解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经放置、附接或植入到预期植入部位附近的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算植入到预期植入部位附近的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。
外科医生可以通过使用光学头戴式显示器引导来确定虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和/或虚拟器械在与下述各项有关或基于下述各项的活体物理手术部位中的优选对准：所述各项为一个或多个解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的虚拟对准和/或对准的虚拟评估可以基于单个参数或多个参数，即可以是例如通过使用前述示例性各项中的任意一项或多项来评估、评价、考虑的单参数或多参数：所述各项为解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近放置、附接、植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。
外科医生可以确定虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和/或虚拟器械在与下述各项有关或基于下述各项的活体物理手术部位中的优选功能：所述各项为一个或多个解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构、和/或已经在预期植入部位附近植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置、和/或一个或多个功能测试，所述一个或多个功能测试可以包括这些参数中的任意参数以及虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的优选功能的虚拟确定可以基于单个参数或多个参数，即可以是例如通过使用前述示例性各项中的任意一项或多项来评估、评价、考虑的单参数或多参数：所述各项为解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近放置、附接、植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置、和/或一个或多个功能测试，所述一个或多个功能测试可以包括这些参数中的任意参数以及虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械。
外科医生可以例如当同时投影患者的配准和叠加的影像学检查——例如X光、超声波、计算机断层扫描、磁共振成像或正电子发射断层扫描——例如用于显示下面的组织比如骨和骨原质时使用光学头戴式显示器引导而对与下述各项有关或基于下述各项的用于虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械的优选虚拟锚、附接或固定构件进行确定和/或选择叠加：所述各项为一个或多个解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构和/或已经在预期植入部位附近植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。虚拟植入体、虚拟植入体部件和/或虚拟医疗装置的优选虚拟锚、附接或固定构件的虚拟确定和/或虚拟选择可以基于单个或多个参数，即可以是例如通过使用前述示例性各项中的一项或多项来评估、评价、考虑的单参数或多参数：所述各项为解剖标志、解剖尺寸、解剖形状、期望的形状校正、骨原质、病理、病理区域、解剖轴线、生物力学轴线、周围组织和/或结构、邻近植入部位的组织和/或结构、与植入部位相对的组织和/或结构、与植入部位相互作用的组织和/或结构、和/或已经在预期植入部位附近放置、附接、植入的一个或多个物理植入体、物理植入体部件和/或物理医疗装置、和/或也打算在预期植入部位附近植入的一个或多个虚拟植入体、虚拟植入体部件和/或虚拟医疗装置。表15示出了适合虚拟放置、虚拟配合/选择良好或最佳配合装置、确定优选虚拟定向、确定优选虚拟对准、确定和/或选择优选虚拟锚/附接/固定构件中的一项或多项的选定医疗装置的非限制性示例。
表15：适用于以下一项或多项的选定医疗装置的非限制性示例：所述一项或多项为虚拟置位、良好或最佳配合装置的虚拟配合/选择、通过选择具有优选形状的装置来评估虚拟形状、通过选择具有优选功能的装置来评估虚拟功能、确定优选虚拟取向、确定优选虚拟对准、确定和/或选择优选虚拟锚/附接/固定构件
/>
/>
/>
/>
/>
/>
/>
1虚拟装置的虚拟置位包括例如使用例如基于计算机(例如，PC机)的接口、声学接口和/或虚拟接口(例如，手势识别)、其他接口来虚拟放置一个或多个虚拟装置；比方说例如在一个旋转方向接着另一旋转方向上具有可选地交替的1个、2个、3个、4个、5个、6个自由度；例如，使用实时数据(通过透视光学头戴式显示器可见或用摄像头/扫描仪成像并由光学头戴式显示器显示)，例如用于放置/对准/附接的目标解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径范围半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴；包括相同或不同的组织)和/或周围/相邻/下方解剖/病理结构(例如，使用内部和/或外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径范围/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴的其他部分；包括相同或不同的组织)和/或相邻或下方或相对或铰接或连接的医疗装置(包括比方说例如它们的相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准)、和/或虚拟数据，例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件、叠加和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。
2评估虚拟配合，选择良好或最佳配合装置，例如从虚拟装置库、预先存在的计算机辅助设计文件、STL文件等中选择，例如具有不同的大小、尺寸、几何结构、形状、功能、锚/附接机构、锚/附接大小、尺寸、几何结构、形状；可选地，前述和/或以下各项的不同组件、组件组合；例如通过下述方式来选择良好或最佳的配合装置：所述方式为通过将虚拟装置/装置部件叠加/投影到实时数据上(通过透视光学头戴式显示器可见或用摄像头/扫描仪成像并由光学头戴式显示器显示)，使用例如用于放置/对准/附接的目标解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴；包括相同或不同的组织)和/或周围/相邻/下方解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴的其他部分；包括相同或不同的组织)和/或相邻或下方或相对或铰接或连接的医疗装置(包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准)、和/或虚拟数据，例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件、叠加和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。
3评估虚拟形状，选择具有优选形状的装置，例如从虚拟装置库、预先存在的计算机辅助设计文件、STL文件等中选择，例如具有不同的大小、尺寸、几何结构、形状、功能、锚/附接机构、锚/附接大小、尺寸、几何结构、形状；可选地，前述和/或以下各项的不同组件、组件组合；例如通过下述方式来选择具有优选形状的装置：所述方式为通过将虚拟装置/装置部件叠加/投影在实时数据上叠加(通过透视光学头戴式显示器可见或用摄像头/扫描仪成像并由光学头戴式显示器显示)，使用例如用于放置/对准/附接的目标解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/体积、解剖和/或生物力学轴线/轴；包括相同或不同的组织)和/或周围/相邻/下方解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴的其他部分；包括相同或不同的组织)和/或相邻或下方或相对或铰接或连接的医疗装置(包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准)、和/或虚拟数据、例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。
4评估虚拟功能，选择具有优选功能的装置，例如从虚拟装置库、预先存在的计算机辅助设计文件、STL文件等中选择，例如具有不同的大小、尺寸、几何结构、形状、功能、锚/附接机构、锚/附接大小、尺寸、几何结构、形状、功能；可选地，前述和/或以下各项的不同组件、组件组合；例如通过下述方式来选择具有优选功能的装置：所述方式为将虚拟装置/装置部件叠加/投影到实时数据上(通过透视光学头戴式显示器可见或用摄像头/扫描仪成像并由光学头戴式显示器显示)，使用例如用于放置/对准/附接的目标解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴、功能；包括相同或不同的组织)和/或周围/相邻/下方解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积/功能或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴、功能的其他部分；包括相同或不同的组织)和/或相邻或下方或相对或铰接或连接的医疗装置(包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准、功能)、和/或虚拟数据、例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件、叠加和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。
5确定优选的虚拟位置，例如使用实时数据(通过透视光学头戴式显示器可见或用摄像头/扫描仪成像并由光学头戴式显示器显示)例如用于放置/对准/附接的目标解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴；包括相同或不同的组织)和/或周围/相邻/下方解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴的其他部分；包括相同或不同的组织)和/或相邻或下方或相对或铰接或连接的医疗装置(包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准)、和/或虚拟数据例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。
6确定优选的虚拟定向，例如使用实时数据(通过透视光学头戴式显示器可见或用摄像头/扫描仪成像并由光学头戴式显示器显示)，例如用于放置/对准/附接的目标解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴；包括相同或不同的组织)和/或周围/相邻/下方解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴的其他部分；包括相同或不同的组织)和/或相邻或下方或相对或铰接或连接的医疗装置(包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、曲率、几何结构、形状、放置位置、定向和/或对准)、和/或虚拟数据例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。
7确定优选的虚拟对准，例如使用实时数据(通过透视光学头戴式显示器可见或用摄像头/扫描仪成像并由光学头戴式显示器显示)，例如用于放置/对准/附接的目标解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴；包括相同或不同的组织)和/或周围/相邻/下方解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴的其他部分；包括相同或不同的组织)和/或相邻或下方或相对或铰接或连接的医疗装置(包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准)、和/或虚拟数据例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。
8确定和/或选择优选的虚拟锚/附接/固定构件(长度、宽度、直径、大小、尺寸、半径范围、半径、几何结构、形状、定位、位置、取向、对准、功能)(整体式或模块化的，例如可附接的)和/或置位是例如通过使用实时数据(通过透视光学头戴式显示器可见或用摄像头/扫描仪成像并由光学头戴式显示器显示)进行的，所述实时数据例如为用于放置/对准/附接的目标解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴；包括相同或不同的组织)和/或周围/相邻/下方解剖/病理结构(例如，使用内部和/或外部：边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴的其他部分；包括相同或不同的组织)和/或相邻或下方或相对或铰接或连接的医疗装置(包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准)、和/或虚拟数据例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据
注：上面的数字参考号用于与标题相关的交叉引用文本的目的。数字引用并不意味着暗示特定的顺序。本发明的不同方面可以以可变的次序或顺序同时或顺序实施。在一些装置的一些实施方案中，可以应用所有虚拟置位、评估虚拟配合、选择良好或最佳配合的植入体、评估虚拟形状、选择具有优选形状的植入体、评估虚拟功能、选择具有优选功能的植入体、确定虚拟位置、虚拟定向、虚拟对准和确定和/或选择优选锚/附接/固定构件。在一些装置的一些实施方案中，可以仅应用虚拟置位、评估虚拟配合、选择良好或最佳配合的植入体、评估虚拟形状、选择具有优选形状的植入体、评估虚拟功能、选择具有优选功能的植入体、确定虚拟位置、虚拟定向、虚拟对准和确定和/或选择优选锚/附接/固定构件中的一个或多个而不是全部。
注：表示可以使用或应用。
表15仅仅是示例性的，并不意味着限制本发明。
虚拟装置和/或植入体部件和/或器械的虚拟置位可以包括例如使用例如基于计算机(例如，PC机)的接口、声学接口和/或虚拟接口(例如，使用手势识别)和/或其他接口来虚拟放置一个或多个虚拟装置和/或植入体部件和/或器械；比方说例如在一个旋转方向接着另一旋转方向上具有可选地交替的1个、2个、3个、4个、5个、6个自由度；例如，使用实时数据，例如通过透视光学头戴式显示器可见或者用摄像头或扫描仪(例如三维激光扫描仪)或共焦成像系统成像并由光学头戴式显示器显示，并且可选地例如使用下述各项而使与用于放置和/或对准和/或叠加和/或附接的一个或多个目标解剖和/或病理结构有关的叠加虚拟装置和/或植入体部件和/或器械虚拟地移动、对准和/或叠加叠加：所述各项为一个或多个组织的外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/体积、解剖和/或生物力学轴线。这些可以是相同或不同的组织。
虚拟置位可以包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或植入体部件和/或器械虚拟地移动、对准、叠加和/或附接：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴的其他部分；包括相同或不同的组织。
虚拟置位可以包括使与相邻或下方或相对或铰接或连接的医疗装置和/或植入体部件和/或器械的一个或多个外部特征有关的虚拟装置和/或植入体部件和/或器械虚拟地移动、对准、叠加和/或附接，所述一个或多个外部特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准中的一项或多项。
虚拟装置和/或植入体部件和/或器械的虚拟置位可以包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或植入体部件和/或器械虚拟地移动、对准、叠加和/或附接进而进行置位和/或对准和/或附接：所述各项为一个或多个组织的内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴。这些可以是相同或不同的组织。
虚拟置位可以包括例如使用下述各项而使与一个或多个周围和/或邻近和/或下方的解剖和/或病理结构有关的虚拟装置和/或植入体部件和/或器械虚拟地移动、对准、叠加和/或附接：所述各项为内部的、可选隐藏的或不可直接访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴的其他部分，相对于一个或多个周围和/或邻近和/或下方的解剖和/或病理结构虚拟地移动、对准、叠加和/或附接虚拟装置和/或植入体部件和/或器械；包括相同或不同的组织。
虚拟置位可以包括使与相邻或下方或相对或铰接或连接的医疗装置和/或植入体部件和/或器械的一个或多个内部、可选隐藏或不可直接访问的特征有关的虚拟装置和/或植入体部件和/或器械虚拟地移动、对准、和/或叠加：所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准中的一项或多项。
虚拟置位可以包括使与一个或多个虚拟数据有关的虚拟装置和/或植入体部件和/或器械虚拟地移动、对准、和/或叠加：所述一个或多个虚拟数据例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。可以组合用于虚拟置位的任何前述实施方案。
评估虚拟配合和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械可以包括从虚拟装置和/或植入体部件和/或器械的库中选择装置和/或植入体部件和/或器械，所述选择包括例如使用装置和/或植入体部件和/或器械的预先存在的计算机辅助设计文件和/或STL文件和/或其他文件进行选择，所选择的装置和/或植入体部件和/或器械例如具有不同的大小和/或尺寸和/或几何结构和/或形状和/或功能和/或锚/附接机构和/或锚/附接大小、尺寸、几何结构和/或形状。前述和/或以下实施方案可以应用于不同的组件和/或组件组合。
评估和/或选择良好的配合或最佳的配合装置和/或植入体部件和/或器械可以例如包括使与实时数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接，所述实时数据例如通过透视光学头戴式显示器可见、例如不用光学头戴式显示器用裸眼可见、和/或用摄像头和/或扫描仪成像并由光学头戴式显示器显示。
评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械叠加移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接：所述各项为一个或多个组织的外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴；这可以包括相同或不同的组织。
评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、和/或解剖和/或生物力学轴线/轴的其他部分；这可以包括相同或不同的组织。
评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个外部特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述一个或多个外部特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线的尺寸、半径、曲率、几何结构、形状、放置位置、定向和/或对准。
评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接叠加：所述各项为一个或多个组织的内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/体积、解剖和/或生物力学轴线/轴；这可以包括相同或不同的组织。
评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积和/或解剖和/或生物力学轴线/轴的其他部分；这可以包括相同或不同的组织。
评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个内部、可选隐藏的或非直接可访问的特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准。
评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械可以例如包括使与一个或多个虚拟数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述一个或多个虚拟数据例如可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。可以组合用于评估和/或选择良好配合或最佳配合装置和/或植入体部件和/或器械的任何前述实施方案。
评估虚拟形状和/或选择具有优选形状的装置和/或植入体部件和/或器械可以包括从虚拟装置和/或植入体部件和/或器械的库中选择装置和/或植入体部件和/或器械，所述选择包括例如使用装置和/或植入体部件和/或器械的预先存在的计算机辅助设计文件和/或STL文件和/或其他文件进行选择，所选择的装置和/或植入体部件和/或器械例如具有不同的大小和/或尺寸和/或几何结构和/或形状和/或功能和/或锚/附接机构和/或锚/附接大小、尺寸、几何结构和/或形状。前述和/或以下实施方案可以应用于不同的组件和/或组件组合。
评估和/或选择具有优选形状的装置和/或植入体部件和/或器械可以例如包括使与实时数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接，所述实时数据例如通过透视光学头戴式显示器可见、例如不用光学头戴式显示器用裸眼可见、和/或用摄像头和/或扫描仪成像并由光学头戴式显示器显示。
评估和/或选择具有优选形状的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接叠加：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴；这可以包括相同或不同的组织。
评估和/或选择具有优选形状的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、和/或解剖和/或生物力学轴线/轴的其他部分；这可以包括相同或不同的组织。
评估和/或选择具有优选形状的装置和/或植入体部件和/或器械可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个外部特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述一个或多个外部特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准。
评估和/或选择具有优选形状的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械叠加移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/体积、解剖和/或生物力学轴线/轴；这可以包括相同或不同的组织。
评估和/或选择具有优选形状的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、和/或解剖和/或生物力学轴线/轴的其他部分；这可以包括相同或不同的组织。
评估和/或选择具有优选形状的装置和/或植入体部件和/或器械可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个内部、可选隐藏的或非直接可访问的特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准。
评估和/或选择具有优选形状的装置和/或植入体部件和/或器械可以例如包括使与一个或多个虚拟数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述一个或多个虚拟数据例如为可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。可以组合用于评估和/或选择具有优选形状的装置和/或植入体部件和/或器械的任何前述实施方案。
评估虚拟功能和/或选择具有优选功能的装置和/或植入体部件和/或器械可以包括从虚拟装置和/或植入体部件和/或器械的库中选择装置和/或植入体部件和/或器械，所述选择包括例如使用装置和/或植入体部件和/或器械的预先存在的计算机辅助设计文件和/或STL文件和/或其他文件进行的选择，所选择的装置和/或植入体部件和/或器械例如具有不同的大小和/或尺寸和/或几何结构和/或形状和/或功能和/或锚/附接机构和/或锚/附接大小、尺寸、几何结构、形状和/或功能。前述和/或以下实施方案可以应用于不同的组件和/或组件组合。
评估和/或选择具有优选功能的装置和/或植入体部件和/或器械可以例如包括使与实时数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述实时数据例如通过透视光学头戴式显示器可见、例如不用光学头戴式显示器用裸眼可见、和/或用摄像头和/或扫描仪成像并由光学头戴式显示器显示。
评估和/或选择具有优选功能的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接叠加：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积、解剖和/或生物力学轴线和/或功能；这可以包括相同或不同的组织。
评估和/或选择具有优选功能的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积/功能、和/或解剖和/或生物力学轴线/轴、功能的其他部分；这可以包括相同或不同的组织。
评估和/或选择具有优选功能的装置和/或植入体部件和/或器械可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个外部特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述一个或多个外部特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线、功能的尺寸、半径范围、半径、曲率、几何结构、形状、功能、放置位置、定向和/或对准。
评估和/或选择具有优选功能的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接叠加叠加：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状、功能/体积、解剖和/或生物力学轴线和/或功能；这可以包括相同或不同的组织。
评估和/或选择具有优选功能的装置和/或植入体部件和/或器械可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积、和/或解剖和/或生物力学轴线和/或功能的其他部分；这可以包括相同或不同的组织。
评估和/或选择具有优选功能的装置和/或植入体部件和/或器械可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个内部、可选隐藏的或非直接可访问的特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线和/或功能的尺寸、半径范围、半径、曲率、几何结构、形状、功能、放置位置、定向和/或对准。
评估和/或选择具有优选功能的装置和/或植入体部件和/或器械可以例如包括使与一个或多个虚拟数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述一个或多个虚拟数据例如是可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。可以组合用于评估和/或选择具有优选功能的装置和/或植入体部件和/或器械的任何前述实施方案。
确定装置和/或植入体部件和/或器械的优选位置可以例如包括使与实时数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加、投影和/或附接：所述实时数据例如通过透视光学头戴式显示器可见、例如不用光学头戴式显示器用裸眼可见、和/或用摄像头和/或扫描仪成像并由光学头戴式显示器显示。
确定装置和/或植入体部件和/或器械的优选位置可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接的叠加：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积、解剖和/或生物力学轴线和/或功能；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选位置可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积/功能、和/或解剖和/或生物力学轴线、功能的其他部分；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选位置可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个外部特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述一个或多个外部特征例如包括它们的例如相对于标志和/或解剖或生物力学轴线、功能的尺寸、半径、曲率、几何结构、形状、功能、放置位置、定向和/或对准。
确定装置和/或植入体部件和/或器械的优选位置可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接叠加：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状、功能/体积、解剖和/或生物力学轴线和/或功能；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选位置可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、功能，关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积、和/或解剖和/或生物力学轴线和/或功能的其他部分；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选位置可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个内部、可选隐藏的或非直接可访问的特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线和/或功能的尺寸、半径范围、半径、曲率、几何结构、形状、功能、放置位置、定向和/或对准。
确定装置和/或植入体部件和/或器械的优选位置可以例如包括使与一个或多个虚拟数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接，所述虚拟数据例如是可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。用于确定装置和/或植入体部件和/或器械的优选位置的任何前述实施方案可以被组合。
确定装置和/或植入体部件和/或器械的优选定向可以例如包括使与实时数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加、投影和/或附接：所述实时数据例如通过透视光学头戴式显示器可见、例如不用光学头戴式显示器用裸眼可见、和/或用摄像头和/或扫描仪成像并由光学头戴式显示器显示。
确定装置和/或植入体部件和/或器械的优选定向可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接叠加：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积、解剖和/或生物力学轴线/轴和/或功能；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选定向可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积/功能、和/或解剖和/或生物力学轴线/轴、功能的其他部分；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选定向可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个外部特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述一个或多个外部特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线、功能的尺寸、半径范围、半径、曲率、几何结构、形状、功能、放置位置、定向和/或对准。
确定装置和/或植入体部件和/或器械的优选定向可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行对准和/或叠加和/或附接叠加：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状、功能/体积、解剖和/或生物力学轴线/轴和/或功能；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选定向可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积、和/或解剖和/或生物力学轴线/轴和/或功能的其他部分；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选定向可以例如包括例如使用下述各项而使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个内部、可选隐藏的或非直接可访问的特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线和/或功能的尺寸、半径范围、半径、曲率、几何结构、形状、功能、放置位置、定向和/或对准。
确定装置和/或植入体部件和/或器械的优选定向可以例如包括使与一个或多个虚拟数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述虚拟数据例如是可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。用于确定装置和/或植入体部件和/或器械的优选定向的任何前述实施方案都可以被组合。
确定装置和/或植入体部件和/或器械的优选对准可以例如包括使与实时数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加、投影和/或附接：所述实时数据例如通过透视光学头戴式显示器可见、例如不用光学头戴式显示器用裸眼可见、和/或用摄像头和/或扫描仪成像并由光学头戴式显示器显示。
确定装置和/或植入体部件和/或器械的优选对准可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接叠加：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积、解剖和/或生物力学轴线/轴和/或功能；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选对准可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积/功能、和/或解剖和/或生物力学轴线/轴、功能的其他部分；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选对准可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个外部特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述一个或多个外部特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴、功能的尺寸、半径、曲率、几何结构、形状、功能、放置位置、定向和/或对准。
确定装置和/或植入体部件和/或器械的优选对准可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接叠加：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状、功能/体积、解剖和/或生物力学轴线/轴和/或功能；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选对准可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、功能，关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/功能/体积、和/或解剖和/或生物力学轴线/轴和/或功能的其他部分；这可以包括相同或不同的组织。
确定装置和/或植入体部件和/或器械的优选对准可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个内部、可选隐藏的或非直接可访问的特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴和/或功能的尺寸、半径范围、半径、曲率、几何结构、形状、功能、放置位置、定向和/或对准。
确定装置和/或植入体部件和/或器械的优选对准可以例如包括使与一个或多个虚拟数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述虚拟数据例如是可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。用于确定装置和/或植入体部件和/或器械的优选对准的任何前述实施方案可以被组合。
例如在整体或模块(例如可附接的)配置中例如关于长度、宽度、直径、大小、尺寸、半径范围、半径、几何结构、形状、表面属性、定位、位置、定向、对准和/或功能中的一项或多项对优选的虚拟锚和/或附接和/或固定构件进行确定和/或选择可以包括从虚拟装置和/或植入体部件和/或虚拟锚和/或附接和/或固定构件库中选择虚拟锚和/或附接和/或固定构件，所述选择包括例如使用装置和/或植入体部件和/或虚拟锚和/或附接和/或固定构件的预先存在的计算机辅助设计文件和/或STL文件和/或其他文件进行的选择，所选择的虚拟锚和/或附接和/或固定构件例如具有不同的大小和/或尺寸和/或几何结构和/或形状和/或功能和/或锚/附接机构和/或锚/附接大小、尺寸、几何结构和/或形状。前述和/或以下实施方案可以应用于不同的组件和/或组件和/或锚和/或附接和/或固定构件组合。
确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以例如包括使与实时数据有关的叠加虚拟装置和/或装置部件和/或植入体部件和/或虚拟锚和/或附接和/或固定构件移动、对准、叠加和/或投影和/或附接：所述实时数据例如通过透视光学头戴式显示器可见、例如不用光学头戴式显示器用裸眼可见、和/或用摄像头和/或扫描仪成像并由光学头戴式显示器显示。
确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或虚拟锚和/或附接和/或固定构件移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接叠加：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、解剖和/或生物力学轴线/轴；这可以包括相同或不同的组织。
确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或虚拟锚和/或附接和/或固定构件移动、对准、叠加和/或投影和/或附接：所述各项为外部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、和/或解剖和/或生物力学轴线/轴的其他部分；这可以包括相同或不同的组织。
确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个外部特征有关的虚拟装置和/或装置部件和/或植入体部件和/或虚拟锚和/或附接和/或固定构件移动、对准、叠加和/或投影和/或附接：所述一个或多个外部特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线的尺寸、半径、曲率、几何结构、形状、放置位置、定向和/或对准。
确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以例如包括例如使用下述各项而使与一个或多个目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或虚拟锚和/或附接和/或固定构件移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接的叠加：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/体积、解剖和/或生物力学轴线/轴；这可以包括相同或不同的组织。
确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或虚拟锚和/或附接和/或固定构件移动、对准、叠加和/或投影和/或附接：所述各项为内部、可选隐藏的或非直接可访问的边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、和/或解剖和/或生物力学轴线的其他部分；这可以包括相同或不同的组织。
确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以例如包括与相邻和/或下方和/或相对和/或铰接和/或连接的医疗装置和/或植入体部件和/或器械的一个或多个内部、可选隐藏的或非直接可访问的特征有关的虚拟装置和/或装置部件和/或植入体部件和/或虚拟锚和/或附接和/或固定构件移动、对准、叠加和/或投影和/或附接：所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径、曲率、几何结构、形状、放置位置、定向和/或对准。
确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以例如包括使与一个或多个虚拟数据有关的虚拟装置和/或装置部件和/或植入体部件和/或虚拟锚和/或附接和/或固定构件移动、对准、叠加和/或投影和/或附接：所述虚拟数据例如是可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。用于确定和/或选择优选虚拟锚和/或附接和/或固定构件的任何前述实施方案可以被组合。
虚拟放置装置和/或植入体部件和/或器械、虚拟评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械、评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体部件和/或器械、评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体部件和/或器械、虚拟确定装置和/或植入体部件和/或器械的优选位置、虚拟确定装置和/或植入体部件和/或器械的优选定向、虚拟确定装置和/或植入体部件和/或器械的优选对准、和/或虚拟确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以例如包括使与实时数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接，所述实时数据例如为外部数据且例如通过透视光学头戴式显示器可见、例如不用光学头戴式显示器裸眼可见、和/或用摄像头和/或扫描仪成像并由光学头戴式显示器显示，所述实时数据例如为内部数据且例如通过透视光学头戴式显示器不可见、例如没有光学头戴式显示器时裸眼不可见例如隐藏在组织内部或关节内部；并且/或者可以例如包括例如使用下述各项而使与一个或多个外部或内部目标解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接进而进行置位和/或对准和/或叠加和/或附接的叠加：所述各项为外部或内部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/体积、解剖和/或生物力学轴线/轴；并且/或者可以例如包括例如使用下述各项而使与一个或多个周围和/或相邻和/或下方和/或相对的外部或内部解剖和/或病理结构有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述各项为外部或内部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状，关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、和/或解剖和/或生物力学轴线的其他部分；并且/或者可以例如包括使与相邻和/或下方和/或相对和/或铰接和/或连接的外部或内部医疗装置和/或植入体部件和/或器械的一个或多个外部或内部特征有关的虚拟装置和/或装置部件和/或植入体部件和/或器械移动、对准、叠加和/或投影和/或附接：所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线的尺寸、半径范围、半径、曲率、几何结构、形状、放置位置、定向和/或对准；并且/或者可以例如包括与一个或多个外部投影的和/或内部投影的虚拟数据有关的虚拟装置和/或装置部件和/或植入体部件和/或器械的移动、对准、叠加和/或投影和/或附接：所述虚拟数据例如是可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件叠加、和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据和/或前述各项的任意组合，并且可以基于单个或多个参数，即可以是例如通过使用外部或内部目标解剖和/或病理结构中的任何一项或多项来确定、评估、评定、考虑的例如前述的任何一项或多项：所述外部或内部目标解剖和/或病理结构为例如外部或内部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径范围、半径、曲率、几何结构、形状、关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/体积、解剖和/或生物力学轴线、和/或周围和/或邻近和/或下面和/或相对的外部或内部解剖和/或病理结构，例如外部或内部边界、外围、边缘、正位、上外下内、内外侧位和/或倾斜尺寸、半径、曲率、几何结构、形状，关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积或相对的关节/组织/器官/血管表面/尺寸/半径/曲率/几何结构/形状/体积、和/或解剖和/或生物力学轴线的其他部分、和/或相邻和/或下方和/或相对和/或铰接和/或连接的外部或内部医疗装置和/或植入体部件和/或器械的外部或内部特征，所述特征包括例如它们的例如相对于标志和/或解剖或生物力学轴线/轴的尺寸、半径、曲率、几何结构、形状、放置位置、定向和/或对准、和/或外部投影的和/或内部投影的虚拟数据，所述虚拟数据例如为可选地配准、可选地叠加的术前或术中的影像学检查、二维图像、三维图像、图形表示、计算机辅助设计文件、叠加和/或可选地配准、可选地叠加的其他术前或术中数据叠加例如压力测量值、流量测量值、飞行时间研究、代谢数据、功能数据。
在膝关节置换、髋关节置换、肩关节置换、踝关节置换以及膝关节、髋关节、肩关节、踝关节、任何其他关节和脊柱中涉及植入医疗装置(例如，椎弓根螺钉、椎间盘置换、锚和/或移植物)的任何手术中，可以使用OHMD显示和/或引导来使用两个或更多个参数，以用于虚拟地放置装置和/或植入体部件和/或器械，从而虚拟地评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械、评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体部件和/或器械、评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体部件和/或器械、虚拟地确定装置和/或植入体部件和/或器械的优选位置、虚拟地确定装置和/或植入体部件和/或器械的优选定向、虚拟地确定装置和/或植入体部件和/或器械的优选对准、和/或虚拟地确定和/或选择优选的虚拟锚和/或附接和/或固定构件。
在膝关节置换或膝关节手术例如前交叉韧带重建中，所述多参数的虚拟地放置装置和/或植入体部件和/或器械、虚拟地评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械、评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体部件和/或器械、评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体部件和/或器械、虚拟地确定装置和/或植入体部件和/或器械的优选位置、虚拟地确定装置和/或植入体部件和/或器械的优选定向、虚拟地确定装置和/或植入体部件和/或器械的优选对准、和/或虚拟地确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以使用例如股骨和/或胫骨远端的例如正位尺寸、内外侧位尺寸、上外下内尺寸，滑车高度、滑车角度、滑车沟线、滑车沟深度、髁偏移、胫骨偏移、胫骨高度(例如内侧或外侧)、内侧关节线、外侧关节线、矢状曲率(例如在股骨和/或胫骨和/或髌骨上)、髌骨宽度和/或高度和/或厚度、一个或多个骨赘、皮质骨表面和/或形状、软骨下骨表面和/或形状、例如股骨远端和/或胫骨和/或髌骨的软骨表面和/或形状(例如正常的、受损的和/或患病的)、任何解剖位、标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度，表11、表12和表16中列出的与患者的膝关节和/或相邻关节(例如髋关节或踝关节)相关的特征、一个或多个解剖和/或生物力学轴线、一个或多个运动学测量、一个或多个术前影像学检查。前述内容本质上仅是说明性的而并非意味着是限制性的。本领域技术人员可以识别出可以以这种方式使用的其他标志、部位、形状、病理等。
在髋关节置换或其他髋关节手术例如髋关节镜检查中，所述单参数或多参数的虚拟地放置装置和/或植入体部件和/或器械、虚拟地评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械、评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体部件和/或器械、评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体部件和/或器械、虚拟地确定装置和/或植入体部件和/或器械的优选位置、虚拟地确定装置和/或植入体部件和/或器械的优选定向、虚拟地确定装置和/或植入体部件和/或器械的优选对准、和/或虚拟地确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以使用例如髋臼的一部分或全部、髋臼的一部分边缘或全部边缘、髋臼的边缘的多个部分、髋臼壁的一部分或全部、髋臼半径、髋臼曲率、髂骨壁的一部分、耻骨的一部分、坐骨的一部分、髂前上棘、髂前下棘、耻骨联合、大转子的一部分或全部、小转子的一部分或全部、股骨干的一部分或全部、股骨颈的一部分或全部股骨颈、股骨头的一部分或全部股骨头、股骨头半径、股骨头曲率、中央凹、髋臼横韧带、枕叶、唇骨、一种或多种骨赘、皮质骨表面和/或形状、软骨下骨表面和/或形状、软骨表面和/或形状(例如正常的、受损的和/或患病的)、正位尺寸、内外侧位尺寸、上外下内尺寸、髋臼前倾角、股骨前倾角、股骨颈角，股骨颈偏移、股骨颈长度、股骨干长度、髋臼骨宽度或骨原质、患者的髂骨原质、患者的任何解剖位置、标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度、表16中列出的与髋关节和/或相邻关节(例如膝关节)相关的特征、一个或多个解剖和/或生物力学轴线、一个或多个运动学测量、一个或多个术前影像学检查。例如，虚拟股骨头组件可以通过将它虚拟地放置在患者的原生股骨头内例如放置在软骨和/或软骨下骨包膜内来虚拟地配合和/或确定尺寸和/或对准，可以是原位的即在患者体内未切除的或者是离体的即例如在手术台上切除的。虚拟股骨组件例如股骨颈组件、股骨干组件、单块股骨颈和骨干组件可以通过虚拟地将其放置在患者未切除的股骨颈和/或骨干内来配合、确定尺寸和/或对准。虚拟髋臼组件可以通过例如在扩孔之前或之后虚拟地将其放置在患者的原生髋臼内例如软骨和/或软骨下骨包膜内来进行配合、确定尺寸和/或对准。前述内容本质上仅是说明性的而并非意味着是限制性的。本领域技术人员可以识别出可以以这种方式使用的其他标志、部位、形状、病理等。
在肩关节置换或其他肩关节手术中，所述单参数或多参数的虚拟地放置装置和/或植入体部件和/或器械、虚拟地评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械、评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体部件和/或器械、评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体部件和/或器械、虚拟地确定装置和/或植入体部件和/或器械的优选位置、虚拟地确定装置和/或植入体部件和/或器械的优选定向、虚拟地确定装置和/或植入体部件和/或器械的优选对准、和/或虚拟地确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以使用例如关节盂的一部分或全部、关节盂的一部分边缘或全部边缘、关节盂边缘的多个部分、关节盂半径、喙突和/或肩峰的一部分、大结节的一部分或全部、小结节的一部分或全部、肱骨干的一部分或全部、肱骨颈的一部分或全部、肱骨头的一部分或全部、盂唇、一个或多个骨赘、正位尺寸、内外侧位尺寸、上外下内尺寸、关节盂前倾、肱骨前倾、肱骨颈角度、肱骨颈偏移、肱骨颈长度、肱骨轴长度、关节盂骨骼原质、一个或多个骨赘、皮质骨表面和/或形状、软骨下骨表面和/或形状、软骨表面和/或形状(例如盂、肩胛骨和/或肱骨的正常、受损和/或患病的软骨表面和/或形状)、任何解剖位置、标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度、表16中列出的特征涉及患者的肩关节和/或相邻关节例如肘关节、一个或多个解剖学和/或生物力学轴、一个或多个运动学测量、一个或多个术前影像学检查。例如，虚拟肱骨头组件可以被虚拟地配合和/或确定尺寸和/或通过将其虚拟地放置在患者的原生肱骨头内例如放置在软骨和/或软骨下骨包膜内或者原位地、不在患者体内地或者离体地例如在手术台上切除。虚拟肱骨组件例如肱骨颈组件、肱骨轴组件、单块肱骨颈和肱骨干组件可以通过虚拟地将其放置在患者的未切除的肱骨颈和/或肱骨干内来配合、确定尺寸和/或对准。虚拟关节盂组件可以通过例如在扩孔之前或之后将其虚拟地放置在患者的原生关节盂内来配合、确定尺寸和/或对准。前述内容本质上仅是说明性的而并非意味着是限制性的。本领域技术人员可以识别出可以以这种方式使用的其他标志、部位、形状、病理等。
在脚踝置换或其他脚踝手术中，所述单参数或多参数的虚拟地放置装置和/或植入体部件和/或器械、虚拟地评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械、评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体部件和/或器械、评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体部件和/或器械、虚拟地确定装置和/或植入体部件和/或器械的优选位置、虚拟地确定装置和/或植入体部件和/或器械的优选定向、虚拟地确定装置和/或植入体部件和/或器械的优选对准、和/或虚拟地确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以使用例如患者的距骨的一部分或全部距骨、跟骨的一部分或全部跟骨、胫骨远端的一部分、一个或多个骨赘、正位尺寸、内外侧位尺寸、上外下内尺寸、曲率、任何骨骼的骨原质。前述内容本质上仅是说明性的而并非意味着是限制性的。本领域技术人员可以识别出可以以这种方式使用的其他标志、部位、形状、病理等。
在脊柱融合或其他脊柱外科手术中，所述单参数或多参数的虚拟地放置装置和/或植入体部件和/或器械、虚拟地评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械、评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体部件和/或器械、评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体部件和/或器械、虚拟地确定装置和/或植入体部件和/或器械的优选位置、虚拟地确定装置和/或植入体部件和/或器械的优选定向、虚拟地确定装置和/或植入体部件和/或器械的优选对准、和/或虚拟地确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以使用例如髂骨、髂骨嵴、耻骨联合、骶骨部分、一个或多个骨赘、皮质骨表面和/或形状、软骨下骨表面和/或形状(例如正常的、受损的和/或患病的软骨表面和/或形状)、椎间盘形状、正位尺寸、内外侧位尺寸、上外下内尺寸、椎弓根宽度、椎弓根长度、椎弓根高度、椎弓根尺寸、椎弓根形状、椎弓根角度、椎体宽度、椎体长度、椎体高度、椎体尺寸、椎体形状、椎体角度、椎间盘宽度、椎间盘长度、椎间盘高度、椎间盘尺寸、椎间盘形状、椎间盘角度、终板宽度、终板长度、终板高度、终板尺寸、终板形状、终板角度、任何解剖位置、标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度、表16中列出的与患者脊柱相关的特征、一个或多个解剖和/或生物力学轴、一个或多个运动学测量、一个或多个术前影像学检查。例如，虚拟椎弓根螺钉可以通过虚拟地将其放置在患者的椎弓根内来配合、确定尺寸和/或对准；椎弓根解剖结构可以由光学头戴式显示器例如使用术前或术中的计算机断层扫描或O臂扫描同时投影，术前或术中的计算机断层扫描或O臂扫描与患者的脊柱和一个/或多个光学头戴式显示器在共同的坐标系中配准。例如，虚拟脊柱融合器可以通过虚拟地将其放置在患者的两个椎骨终板之间来配合、确定尺寸和/或对准；光学头戴式显示器可以例如使用术前或术中的计算机断层扫描或O臂扫描同时投影脊椎解剖结构，该术前或术中的计算机断层扫描或O臂扫描与患者的脊椎和一个/或多个光学头戴式显示器在共同的坐标系中配准。前述内容本质上仅是说明性的而并非意味着是限制性的。本领域技术人员可以识别出可以以这种方式使用的其他标志、部位、形状、病理等。
对于牙科植入体、牙科植入体部件和所有其他牙科装置和相关程序，所述单参数或多参数的虚拟地放置装置和/或植入体部件和/或器械、虚拟地评估和/或选择良好配合或最佳配合的装置和/或植入体部件和/或器械、评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体部件和/或器械、评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体部件和/或器械、虚拟地确定装置和/或植入体部件和/或器械的优选位置、虚拟地确定装置和/或植入体部件和/或器械的优选定向、虚拟地确定装置和/或植入体部件和/或器械的优选对准、和/或虚拟地确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以使用例如一种或多种牙齿或口腔结构用于牙科医生打算替换或修复或增补的牙齿，所述一种或多种牙齿或口腔结构包括牙冠例如直接可见的牙釉质、例如直接可见的牙质、例如直接可见的牙髓、例如隐藏在牙齿内的牙骨质、牙骨质结、牙周韧带、牙龈组织、牙槽骨、隐藏在牙槽骨内的牙根、牙根管、根尖孔、扣带、边缘脊、纵向脊、斜脊、尖脊、二级槽、辅助槽、解剖槽、尖、牙尖端、卡氏尖、坑、窝、咬合台、牙龈隆起、重叠区、临床牙冠、解剖牙冠、中切牙、侧切牙、尖牙、第1前臼齿、第2前臼齿、第1臼齿、第2臼齿、第3臼齿、牙齿的前表面、牙齿的后表面、牙齿的内表面、牙齿的外表面、牙齿的内边界或边缘、牙齿的外边界或边缘、牙齿的咬合面、牙齿的牙脊或牙顶、现有牙齿(例如牙科医生打算替换或修复或增补的牙齿或者例如在相对的下颌骨或上颌中的一个或多个相邻或相对的牙齿)的特征和/或结构例如一颗或多颗现有牙齿的尺寸、曲线、曲率、边缘、平台、边界、脊、尖端、凹槽和/或形状和/或颜色，所述现有牙齿包括选择用于修复、表面重修或替换的牙齿、在相对的下颌骨或上颌骨上的一颗或多颗相邻牙齿和/或一颗或多颗相对牙齿及其组合、骨形状或骨原质(例如包括下颌骨或上颌骨的前部、后部、下部和/或上部形状和/或曲率的骨形状和/或下颌骨或上颌骨的骨原质)、骨密度或骨质(例如下颌骨或上颌骨中预定植入部位处或附近的骨密度和/或骨质)、由先前已经丢失或拔出的牙齿产生的空隙、或有关留在空隙中的组织(例如牙龈组织、牙槽骨、残余牙根或牙根腔等)、现有的牙植入体、牙植入体部件和/或任何其他的包括一个或多个基牙的牙科装置(例如标准基牙或定制基牙、牙冠、固定装置或植入体及其任意组合)、一个或多个现有植入体、植入体部件、基牙、牙冠、固定装置或植入体及其组合的尺寸、曲率、曲线、边缘、平台、边缘、脊、尖端、凹槽和/或形状、患者的虚拟数据(例如来自扫描的虚拟数据，和/或可选地例如在手术部位或预期植入部位与患者的实时数据组合的虚拟数据)。可以通过透视光学头戴式显示器或不可透视光学头戴式显示器(例如虚拟现实显示器)例如使用一个或多个对准牙齿的摄像头来对患者的实时数据进行成像而看到手术部位或预期植入部位，该实时数据可以可选地与患者的虚拟数据叠加或对准。术语手术部位和植入部位或预期的植入部位在整个说明书中可以互换使用。
例如，虚拟牙科植入体可以通过虚拟地将其放置成与患者的牙齿(例如打算拔牙的牙齿)相切，例如至少部分地相切或在患者的牙齿内相切来配合、确定尺寸和/或对准。虚拟牙科植入体可以通过虚拟地将其放置成与患者牙齿的前表面的至少一部分相切来配合、确定尺寸和/或对准，所述前表面例如是打算拔除的牙齿、牙齿的牙脊、牙齿的内侧或外侧边缘、牙齿的后表面或牙齿的其他结构方面。虚拟牙齿植入体可以通过虚拟地放置在患者的牙齿空隙中和/或两个相邻牙齿之间例如放置在空隙的左侧和/或右侧来配合、确定尺寸和/或对准。前述内容本质上仅是说明性的而并非意味着是限制性的。本领域技术人员可以识别出可以以这种方式使用的其他标志、部位、形状、病理等。
在任何前述和以下实施方案中，目标解剖或目标病理组织可包括例如在手术改变之前或之后的手术部位和/或预期植入部位，例如在前交叉韧带修复或重建之前或之后的切除骨、切割骨、切除软骨、切割软骨、未切除骨、未切除软骨、未切除组织、部分切除组织、切除组织、远端股骨或近端胫骨。例如，在膝关节置换中，目标组织可以是切开或切除的股骨远端或胫骨近端骨骼。在牙科手术中，目标组织可以是例如在移除之前或之后的牙齿、腔体、来自先前拔出或丢失的牙齿的空隙等。
在本发明的一些实施方案中，光学头戴式显示器可以在手术野上显示任意虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械。投影可以是类似于射线照相模板且可选地从射线照相模板中导出的二维轮廓，或者是三维图像例如虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械的三维计算机辅助设计文件。任意虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械可以是例如从尺寸范围或形状范围或功能范围的中间选择的虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械。可以基于外科医生的偏好选择任意虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械。任意虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械可以是特定患者群体中使用的最常见尺寸。任意虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械可以使用例如计算机(例如基于PC机)、虚拟、声学或其他接口来移动。例如，任意虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械的虚拟表示可以包括“触摸区域”，其中，手势识别软件例如由微软提供的具有微软全息眼镜且包括例如全息图的集成虚拟“拖动功能”的软件可以用于移动任意虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械。比如，集成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于触摸区域的移动；使用手势追踪软件，然后可以通过使手指朝向期望方向上的触摸区域前进来移动任意虚拟植入体、虚拟植入体部件、和/或虚拟医疗装置和虚拟器械。外科医生还可以例如通过闭合触摸区域上的两个手指例如拇指和食指来“握住”任意虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械，然后在期望的方向上移动手指，从而将任意虚拟植入体、虚拟植入体部件和/或虚拟医疗装置和虚拟器械移动到患者关节上的期望位置和/或方向。可以以6个自由度进行运动。例如，虚拟关节置换植入体例如膝关节或髋关节置换植入体可以包括位于内侧边缘和外侧边缘或上边缘或下边缘或左区域和右区域上的触摸区域——前述和/或以下的任何组合都是可能的——并且外科医生可以用拇指和食指接近相应的触摸区域。当拇指和食指到达虚拟触摸区域并在触摸区域上闭合时，手势识别系统可以识别出拇指和食指在触摸区域中的位置，触发外科医生可以通过以1个、2个、3个、4个、5个或6个自由度移动拇指和食指来移动虚拟植入体的命令。当外科医生打开拇指和食指例如加宽拇指与食指之间的距离使得一个或两个手指不再与它们各自的触摸区域对准时，手势识别系统可以可选地识别拇指和食指的这种打开，从而触发命令例如以利用最后位置和/或定向的坐标将虚拟植入体固定在其最后位置和/或定向。最后的位置和/或定向可以是例如植入体部件与关节的外部边缘或外围或边缘的至少一部分相切和/或植入体部件与关节表面的至少一部分相切的位置和/或定向。手指和手势的任何组合都是可能的，并且不同的手指和手势可以用来执行不同的命令。
在实施方案中，可以使用一个或多个辅助工具来使叠加一个或多个虚拟医疗装置、虚拟植入体、虚拟植入体部件、虚拟植入体部分、虚拟锚、附接或固定构件和/或虚拟器械和/或虚拟手术工具移动、对准、叠加、投影或附接。这种辅助工具可以例如包括手持装置。可以使用说明书中描述的任何追踪装置来追踪一个或多个辅助工具，所述任何追踪装置包括其组合但不限于例如具有一个或多个几何图案的光学标记、和/或例如使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统或摄像头系统来追踪的发光二极管、例如利用导航系统、惯性测量单元、校准体模和/或参考体模来追踪的导航标记例如红外或射频标记。也可以使用固有的追踪方法来追踪一个或多个辅助工具。一个或多个辅助工具也可以由集成到、附接到或分离于光学头戴式显示器的一个或多个图像捕获系统或视频系统和/或三维扫描仪直接识别，其中直接识别和追踪允许在一个或多个坐标系(例如共同坐标系)中追踪一个或多个辅助工具。在实施方案中，手持装置可以具有棒状、棍状、杆状、销钉状形状，手持装置可以例如使用一个或多个图像捕获或视频捕获系统和/或三维扫描仪或者可选地通过附接至第一端以及可选地第二端的一个或多个光学标记、发光二极管、导航标记、惯性测量单元、幻像等而被直接追踪。外科医生可以将棒状、棍状、杆状或销钉状的手持装置例如保持在拇指和食指或其他手指之间。外科医生可以执行命令例如虚拟命令或语音命令以启动对棒状、棍状、杆状或销钉状的手持装置直接追踪或追踪，或者停止对棒状、棍状、杆状或销钉状的手持装置的追踪。一个或多个辅助工具也可以附接到外科医生例如附接到外科医生的手腕或手臂。当外科医生的手腕或手臂移动时，可以对位置、定向、对准、移动方向和/或移动速度进行追踪。当系统例如在共同坐标系或任何坐标系中对位置和/或定向、和/或对准和/或移动方向和/或移动速度进行追踪时，位置和/或定向、和/或对准和/或移动方向和/或移动速度可以被转换成相应的位置和/或定向、和/或对准和/或移动方向和/或移动速度或位置和/或定向的相应变化、和/或一个或多个投影的虚拟医疗装置、虚拟植入体或植入体部件、虚拟锚、附接或固定构件和/或虚拟器械和/或虚拟工具的对准和/或移动方向和/或移动速度。因此，在该示例中，通过使手持装置或辅助工具移动，外科医生可以实现虚拟医疗装置、虚拟植入体或植入体部件、虚拟锚定、附接或固定构件和/或由光学头戴式显示器显示的虚拟器械和/或虚拟工具的移动，并且外科医生可以将叠加虚拟医疗装置、虚拟植入体或植入体部件、虚拟锚、附接或固定构件、和/或虚拟器械虚拟地定位、定向、对准、叠加或投影到患者的物理解剖或病理、物理手术部位、切除的组织、切除的骨或软骨、隐藏的组织、组织内部例如骨内部深处的区域、存在于患者组织和/或任何周围、邻近或下方组织中的物理医疗装置上。当外科医生使一个或多个辅助工具移动并且移动的位置、定向、对准、方向和/或速度被追踪时，虚拟医疗装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件和/或虚拟器械的位置、定向、对准、方向和/或移动速度和/或坐标的相应变化可以相同或更少或更多。例如，辅助工具的位置、定向、对准、移动方向和/或移动速度和/或坐标的变化可以可选地转换成虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的位置、定向、对准、移动方向和/或速度和/或坐标的相应变化，其具有1.5:1、2:1、3:1、4:1、5:1或任何其他比率。在该示例中，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械和/或虚拟手术工具的运动小于辅助工具的运动，这可以帮助外科医生将虚拟装置、虚拟植入体、虚拟植入体部件、虚拟器械和/或虚拟手术工具高精度地放置在预期区域例如植入部位上。在另一示例中，辅助工具的位置、定向、对准、移动方向和/或速度和/或坐标的变化可以可选地转换成虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的位置、定向、对准、移动方向和/或速度和/或坐标的相应变化，其具有1:1.5、1:2、1:3、1:4、1:5或任何其他比率。在该示例中，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械和/或虚拟手术工具的移动大于辅助工具的移动，这可以帮助外科医生将虚拟装置、虚拟植入体、虚拟植入体部件、虚拟器械和/或虚拟手术工具以高的速度放置在预期区域例如植入部位上。外科医生或操作者可以选择改变这些比率。可以应用非线性比率。例如，在虚拟置位或对准或配合或选择的开始，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的移动可以有意地大于辅助工具的移动，以便于快速和时间有效的放置、对准和/或评估或便于任何前述步骤，所述前述步骤包括表15中列出的步骤。随着手术的进行，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的运动可以有意小于辅助工具的运动，以便于精确和可再现的放置、对准和/或评估或便于任何前述步骤，所述前述步骤包括表15中列出的步骤。
可选地，当辅助工具和/或虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具处于手术野或外科医生的视野的外围时，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的移动可以大于辅助工具的移动，以便于将虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具朝向手术野或外科医生的视野的中心或在手术野或外科医生的视野的中心快速和时间有效地放置或移动。随着辅助工具和/或虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具接近手术野或外科医生的视野的中心，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的移动可以小于辅助工具的移动，以便于虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的精确和可再现的放置或移动。坐标变化的比率、幅度和速度可以例如基于辅助工具或虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的位置且例如从手术野和/或外科医生的视野的外围到中心以步进方式或连续方式变化。该改变可以例如基于辅助工具或虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、与手术野和/或光学头戴式显示器有关的虚拟器械或虚拟手术工具而是自动的、伴有用户交互的半自动的、或是仅伴有用户交互的手动的。可以使用说明书中描述的任何接口例如PC基接口、鼠标基接口、语音基接口、手势识别基接口等来执行用户交互。
在使用直接追踪例如使用集成到、附接到或分离于光学头戴式显示器的一个或多个图像捕获或视频捕获系统和/或三维扫描仪的实施方案中，外科医生可以使用手指、手或手臂的运动来实现由光学头戴式显示器显示的虚拟医疗装置、虚拟植入体或植入体部件、虚拟锚、附接或固定构件和/或虚拟器械的运动，所述手指、手或手臂的运动由一个或多个图像捕获或视频捕获系统和/或三维扫描仪直接追踪，并且外科医生可以将虚拟医疗装置、虚拟植入体或植入体部件、虚拟锚、附接或固定构件和/或虚拟器械虚拟地定位、定向、对准、叠加或投影到患者的物理解剖结构或病理、物理手术部位、切除组织、切除骨或软骨、隐藏组织、组织内部例如骨内部深处的区域、存在于患者组织和/或任何周围、邻近或下方组织中的物理医疗装置上。针对辅助工具所描述的任何前述实施方案也可以应用于直接追踪。外科医生的手指、手或臂的位置、定向、对准、方向和/或移动速度和/或坐标的变化可以可选地转换成虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的位置、定向、对准、方向和/或移动速度和/或坐标的相应变化，其比例为1.5:1、2:1、3:1、4:1、5:1或任何其他比例。在该示例中，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械和/或虚拟手术工具的运动小于外科医生的手指、手或手臂的运动，这可以帮助外科医生将虚拟装置、虚拟植入体、虚拟植入体部件、虚拟器械和/或虚拟手术工具高精度地放置在预期区域(例如植入部位)上。在另一示例中，外科医生的手指、手或臂的位置、定向、对准、移动方向和/或移动速度和/或坐标的变化可以可选地转换成虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的位置、定向、对准、移动方向和/或速度和/或坐标的相应变化，其比例为1:1.5、1:2、1:3、1:4、1:5或任何其他比例。在该示例中，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械和/或虚拟手术工具的运动大于外科医生的手指、手或手臂的运动，这可以帮助外科医生将虚拟装置、虚拟植入体、虚拟植入体部件、虚拟器械和/或虚拟手术工具以高的速度放置在预期区域例如植入部位上。外科医生或操作者可以选择改变这些比率。可以应用非线性比率。例如，在虚拟置位或对准或配合或选择的开始，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的移动可以有意大于外科医生的手指、手或手臂的移动，以便于快速和时间有效的放置、对准和/或评估或任何前述步骤，所述前述步骤包括表15中列出的步骤。随着手术的进行，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的运动可以有意小于外科医生的手指、手或手臂的运动，以便于精确和可再现的放置、对准和/或评估或任何前述步骤，所述前述步骤包括表15中列出的步骤。
可选地，当外科医生的手指、手或臂和/或虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚定、附接或固定构件、虚拟器械或虚拟手术工具处于手术野或外科医生的视野的外围时，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的运动可以大于外科医生手指的运动，以便于将虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具朝向手术野或外科医生的视野或在手术野或外科医生的视野的中心快速和时间有效地放置或移动。当外科医生的手指、手或臂和/或虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具接近手术野或外科医生的视野的中心时，虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的移动可以小于辅助工具的移动，以便于虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟手术工具的精确和可再现的放置或移动。坐标变化的比率、幅度和速度可以，例如基于外科医生的手指、手或臂和/或虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、虚拟器械或虚拟外科工具的位置且例如从手术野和/或外科医生的视野的外围到中心以步进方式或连续方式变化。该改变可以例如基于外科医生的手指、手或臂和/或虚拟装置、虚拟植入体、虚拟植入体部件、虚拟锚、附接或固定构件、与手术野和/或光学头戴式显示器有关的虚拟器械或虚拟手术工具而是自动的、伴有用户交互的半自动的、或是仅伴有用户交互的手动的。可以使用说明书中所描述的任何接口例如PC基接口、鼠标基接口、语音基接口、手势识别基接口等来执行用户交互。
示例性的非限制性牙科应用
对于如例如表15中所列的牙科植入体、牙科植入体部件和所有其他牙科装置，虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和所有其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、优选虚拟定向的确定、优选虚拟对准的确定、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可以关于以下一项或多项进行：牙冠例如直接可见的牙釉质、例如直接可见的牙质、例如直接可见的牙髓、例如隐藏在牙齿内的牙骨质、牙骨质结、牙周韧带、牙龈组织、牙槽骨、例如隐藏在牙槽骨牙根、牙根管、根尖孔、扣带、边缘脊、纵向脊、斜脊、尖脊、二级槽、辅助槽、解剖槽、尖、牙尖端、卡氏尖、坑、窝、咬合台、牙龈隆起、重叠区、临床牙冠、解剖牙冠、中切牙、侧切牙、尖牙、第1前臼齿、第2前臼齿、第1臼齿、第2臼齿、第3臼齿、牙齿的前表面、牙齿的后表面、牙齿的内表面、牙齿的外表面、牙齿的内边界或边缘、牙齿的外边界或边缘、牙齿的咬合面、牙齿的脊或牙顶、现有牙齿(例如牙科医生打算替换或修复或增补的牙齿，或者例如在相对的下颌骨或上颌中与牙科医生打算替换或修复或增补的牙齿相邻或相对的一颗或多颗牙齿)的特征和/或结构例如一颗或多颗现有牙齿的尺寸、曲线、曲率、边缘、平台、边界、脊、尖端、凹槽和/或形状和/或颜色，所述现有牙齿包括选择用于修复、表面重修或替换的牙齿、在相对的下颌骨或上颌骨上的一颗或多颗相邻牙齿和/或一颗或多颗相对牙齿及其组合、骨形状或骨原质(例如包括下颌骨或上颌骨的前部、后部、下部和/或上部形状和/或曲率的骨形状和/或下颌骨或上颌骨的骨原质)、骨密度或骨质(例如下颌骨或上颌骨中预定植入部位处或附近的骨密度和/或骨质)、由先前已经丢失或拔出的牙齿产生的空隙、或有关留在空隙中的组织(例如牙龈组织、牙槽骨、残余牙根或牙根腔等)、现有的牙植入体、牙植入体部件和/或任何其他的包括一个或多个基牙的牙科装置(例如标准基牙或定制基牙、牙冠、固定装置或植入体及其任意组合)、一个或多个现有植入体、植入体部件、基牙、牙冠、固定装置或植入体及其组合的尺寸、曲率、曲线、边缘、平台、边界、脊、尖端、凹槽和/或形状、患者的和/或可选地与患者实时数据组合的虚拟数据(例如如通过透视光学头戴式显示器或不可透视光学头戴式显示器(例如虚拟现实显示器)且例如使用指向牙齿且用于对患者实时数据进行成像的一个或多个摄像头而看到的手术部位或预期植入部位)。
虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、确定优选虚拟定向、确定优选虚拟对准、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可能与现有牙齿(例如牙医打算替换或修复或增补的牙齿，或者例如在相对的下颌骨或上颌中的与牙医打算替换或修复或增补的牙齿相邻或相对的一颗或多颗牙齿)有关。虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、确定优选虚拟定向、确定优选虚拟对准、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可以与一颗或多颗现有牙齿(包括选择用于修复、表面重修或替换的牙齿、下颌骨或上颌上的一颗或多颗相邻牙齿和/或一颗或多颗相对牙齿、及其组合)的尺寸、曲线、曲率、边缘、坪、边界、脊、尖端、凹槽和/或形状中的任一项有关。放置和/或对准可以是关于说明书中提到的任何解剖结构或特征而言的，所述任何解剖结构或特征例如为牙龈组织、牙龈隆起、牙齿的前表面、牙齿的后表面、牙齿的内侧表面、牙齿的外侧表面、牙齿的内侧边界或边缘、牙齿的外侧边界或边缘、牙齿的咬合表面、牙齿的脊或牙顶。
虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、确定优选虚拟定向、确定优选虚拟对准、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可以与骨形状或骨原质(例如包括下颌骨或上颌骨的前、后、下和/或上形状和/或曲率的骨形状和/或下颌骨或上颌骨的骨原质)有关。当牙医或牙科医生检查口腔和/或预期的植入部位时，可以使用一个或多个光学头戴式显示器来显示骨形状。类似地，可以使用一个或多个光学头戴式显示器来显示骨原质。使用一个或多个光学头戴式显示器显示骨原质可以帮助外科医生选择具有一定尺寸和/或形状和/或固定机构的合适的锚，进而选择出最适合患者的个体形状的锚。光学头戴式显示器可以使用例如一个或多个术前或术中扫描(例如，计算机断层扫描或锥形束计算机断层扫描)来显示骨形状或几何结构或骨原质。一个或多个术前或术中扫描可以例如使用说明书中描述的任何配准技术而与患者的实时数据进行配准。例如，可以基于术前扫描例如计算机断层扫描或锥形束计算机断层扫描来生成患者特异性标记，并且患者特异性标记可以应用于一颗或多颗牙齿。如果患者特异性标记包括一个或多个光学标记或发光二极管标记或其他标记，则可以例如使用图像捕获系统来确定施加到一个或多个牙齿上的患者特异性标记的坐标，或者如果患者特异性标记包括一个或多个导航标记例如红外或射频标记，则可以例如使用导航系统来确定施加到一个或多个牙齿上的患者特异性标记的坐标。通过患者的实时数据和患者的术前扫描数据中已知的患者特异性标记的坐标，基于此患者特异性标记的表面和形状被导出并产生患者特异性标记，患者的实时数据和术前扫描数据(例如牙齿、下颌骨或上颌骨或其他口腔结构的数据)可以在共同坐标系中配准。一个或多个光学头戴式显示器随后可以显示叠加到一个或多个牙齿结构上和/或与一个或多个牙齿结构对准的术前扫描数据或术中扫描数据，所述牙齿结构例如是牙齿、牙根、下颌骨或上颌骨。以这种方式配准到牙齿结构或牙齿解剖结构的术前或术中扫描数据可以包括在牙齿应用中使用的任何成像模式例如X光、全景、超声波、锥形束断层扫描、计算机断层扫描、磁共振成像、三维扫描、激光扫描等。
虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、优选虚拟定向的确定、优选虚拟对准的确定、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可与骨密度或骨质有关，例如患者的下颌骨或上颌骨中预定植入部位处或附近的骨密度和/或骨质。骨密度或骨质可以由光学头戴式显示器例如使用在可选的共同显示扫描中突出显示的感兴趣区域例如计算机断层扫描或X光或全景扫描来显示。骨密度或骨质可以由光学头戴式显示器使用数值方法显示。骨密度或骨质可以使用颜色编码来显示，例如使用指定给正常骨密度或骨质的特定颜色、指定给具有相对于参考群体为-1的T分数和/或z分数的骨密度或骨质的不同颜色、以及再有指定给具有相对于参考人群的-2、-2.5、-3.0、-3.5等的T分数或z分数的骨密度或骨质的其他颜色来显示。颜色编码可以例如从计算机断层扫描或全景扫描叠加到患者的灰度图像上。本领域技术人员将很容易认识到骨密度或骨质的其他显示装置或显示组合。骨密度或骨质的OHMD显示可以在与底层骨有关的一个或多个固定装置或植入体的放置、选择、配合、对准、定向方面对牙科医生有用。该信息可以与关于骨形状和骨原质的信息相结合。
虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、优选虚拟定向的确定、优选虚拟对准的确定、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可以与先前已经丢失或拔出的牙齿所产生的空隙有关、或者与留在空隙中的组织例如牙龈组织、牙槽骨、残余牙根或牙根腔等有关。
虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、优选虚拟定向的确定、优选虚拟对准的确定、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可以与现有的牙植入体、牙植入体部件和/或任何其他牙科装置有关。例如，牙医可以虚拟地放置、配合和/或选择牙科植入体，以与相邻的正常牙齿对准，并且可选地与另一侧的相邻的现有的牙科植入体对准。放置和/或对准可以是关于说明书中提到的任何解剖结构或特征而言的，所述任何解剖结构或特征例如为牙龈组织、牙龈隆起、牙齿的前表面、牙齿的后表面、牙齿的内侧表面、牙齿的外侧表面、牙齿的内侧边界或边缘、牙齿的外侧边界或边缘、牙齿的咬合表面、牙齿的脊或牙顶。
虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、优选虚拟定向的确定、优选虚拟对准的确定、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可以与现有的牙植入体、牙植入体部件和/或任何其他牙科装置有关，所述牙科装置包括一个或多个基牙(例如标准基牙或定制基牙)、冠、固定装置或植入体及其任意组合。虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、优选虚拟定向的确定、优选虚拟对准的确定、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可以与一个或多个现有植入体、植入体部件、基牙、牙冠、固定装置或植入体及其组合的任何尺寸、曲率、曲线、边缘、坪、边界、脊、尖端、凹槽和/或形状有关；它也可以与现有的牙齿、软组织和骨骼包括其尺寸、边缘、坪、边界、脊、尖、槽和/或形状相结合。
虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、优选虚拟定向的确定、优选虚拟对准的确定、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可以与患者的虚拟数据相关和/或可选地与患者的实时数据相结合，所述数据例如为如通过透视光学头戴式显示器所看到的手术部位或预期植入部位。患者的这种虚拟数据可以是术前或术中的光学扫描、共焦成像扫描、其组合、牙科X光、全景视图、锥形束计算机断层扫描、计算机断层扫描、超声波扫描、和本领域已知的任何其他扫描以及扫描的任何组合。虚拟数据可以可选地使用说明书中描述的或本领域已知的任何方法来配准。
如果虚拟数据是二维性质的，例如牙科X光或全景，即全景牙科X光视图，则二维图像可以与选择的解剖标志配准，并且例如相对于这些标志在定义的坐标和/或定义的位置和/或定向和/或角度例如90度或任何其他角度和/或相切和/或相交或其组合处被定向和投影。例如，如果虚拟数据包括牙齿X光片，则一个或多个牙齿X光片可以可选地被校正放大，并且可以与物理牙齿(例如被识别用于潜在修复或拔出的牙齿或相邻牙齿)的边缘、表面或任何其他标志对准。然后，牙齿X光片可以与解剖标志(例如物理牙齿的边缘或表面和/或牙齿空隙或其组合)配准，并且可以在显示器中对准和/或叠加以例如以相切或近似相切或相交的方式延伸穿过或“接触”牙齿或相邻牙齿，例如穿过牙齿的中心或牙齿的上边缘或下边缘例如咬合边缘而相交，和/或例如在牙齿前面的平面中平行于牙齿例如平行于牙齿的前表面；在与牙齿中心相交的平面中例如平行于牙齿的前表面或后表面或牙齿的前表面和后表面的平均值；或者在牙齿后面的平面中例如在牙齿后表面的后面的平面中平行于牙齿。
通过透视光学头戴式显示器的牙齿X光片的虚拟显示可以与其他解剖结构对准或延伸通过其他解剖结构，所述其他解剖结构包括例如下颌骨的牙槽嵴、下颌骨或上颌骨的本体、延伸通过下颌骨或上颌骨的本体的中心线或平面例如曲线或平面、连接或延伸通过下颌骨或上颌骨的多个牙齿的基部的线或平面例如弯曲平面或多个平坦平面，例如一个线或平面穿过每个牙齿或一个线或平面穿过每个其他牙齿，连接或延伸穿过下颌骨或上颌骨的多个牙齿的根部的线或平面、连接下颌骨或上颌骨的多个牙齿的线或平面、上颌骨的牙槽突、以及本领域技术人员可以认识到的任何其他解剖结构或结构的组合。
如果虚拟数据包括全景X光片，则一个或多个全景X光片可以可选地被放大校正并且可以与一个或多个物理牙齿(例如为被识别用于潜在修复或拔出的牙齿和/或相邻牙齿)的边缘、或牙齿的任何表面或平面、或与实施方案中提到的牙齿相关的表面或平面(例如平行于一个或多个牙齿的一个或多个平面，以及比方说例如以多平面或弯曲的方式在一个或多个牙齿之前、之后或与一个或多个平面相交的一个或多个平面)对准。全景X光可以与其他解剖结构对准或延伸穿过其他解剖结构，包括例如下颌骨的牙槽嵴、下颌骨或上颌骨的本体、延伸穿过下颌骨或上颌骨的本体的中心线或平面(例如弯曲的或多平面的)、连接或延伸穿过下颌骨或上颌骨的多个牙齿的基部的线或平面(例如弯曲的或多平面的)、连接或延伸穿过下颌骨或上颌骨的多颗牙齿的根部的线或平面(例如弯曲的或多平面的)、连接下颌骨或上颌骨的多颗牙齿的线或平面(例如弯曲的或多平面的)、上颌骨的牙槽突、以及本领域技术人员可以认识到的任何其他解剖结构或结构的组合。然后，全景X光可以与解剖标志(例如，一个或多个物理牙齿的边缘或牙齿空隙或其组合)配准，并且可以在显示器中对准以叠加到牙齿或相邻牙齿上或例如以相切或近似相切或相交的方式延伸穿过牙齿或相邻牙齿，例如穿过牙齿的中心或牙齿的上边缘或下边缘、咬合边缘而相交，和/或例如在与牙齿或牙齿后面的同一平面中平行于牙齿前面的牙齿。全景X光可以以限定的角度例如90度或任何其他角度或相切或相交或其组合来对准、与下述各项中的一项或多项对准或延伸穿过下述各项中的一项或多项：所述各项为下颌骨的一个或多个牙槽嵴、下颌骨或上颌骨的本体、延伸穿过下颌骨或上颌骨的本体的中心线或平面(例如弯曲的或多平面的)、连接或延伸穿过下颌骨或上颌骨的多颗牙齿的基部的线或平面(例如弯曲或多平面的)、连接或延伸穿过下颌骨或上颌骨的多颗牙齿的根部的线或平面、连接下颌骨或上颌骨的多颗牙齿的线或平面(例如弯曲或多平面的)、上颌骨的牙槽突、以及本领域技术人员能够认识到的任何其他解剖结构或结构的组合。以这种方式，二维图像可以与患者的物理实时解剖对准、叠加和显示。牙医或牙科医生可以使用该信息来将与虚拟图像和/或数据以及患者的实时物理解剖例如一颗或多颗牙齿、牙齿空隙、骨骼等有关的牙齿植入体、牙齿植入体部件和/或任何其他牙齿装置中的一项或多项进行放置、定向或对准。
例如，光学扫描和/或共焦成像扫描或其组合或锥形束计算机断层扫描或计算机断层扫描可用于例如从一颗或多颗牙齿和/或牙龈或牙龈产生一个或多个表面，并且产生一个、两个或更多个患者特异性标记，所述标记可放置在一颗或多颗牙齿、牙龈、牙科植入体和/或用于将虚拟数据与患者的术中实时手术野配准的其他标志上。一个或多个光学头戴式显示器可以与实时手术野和患者的虚拟数据配准在同一坐标系中。
一个或多个光学标记例如具有一个或多个几何图案的光学标记可以附接至一个或多个牙齿和/或下颌骨和/或上颌骨。光学标记可以可选地附接至已知的标志例如附接在一个或多个现有牙齿和/或牙齿植入体的尺寸、曲率、曲线、边缘、坪、边界、脊、尖端、凹槽和/或形状处或沿着它们附接。可选地，在附接一个或多个光学标记之后，可以相对于光学标记来对一个或多个标志的位置和/或定向和/或坐标(例如一个或多个现有牙齿和/或牙齿植入体的尺寸、曲率、曲线、边缘、坪、边界、脊、尖端、凹槽和/或形状)进行定义，并且可以在共同坐标系中对标志、光学标记和一个或多个光学头戴式显示器进行配准。
可选地，光学标记可以被包括在具有成像探针的扫描中，例如像由加利福尼亚州的圣何塞Align Technologies公司提供的iTero系统，从而允许用一个或多个光学标记引用一个或多个解剖标志，并且将与解剖标志有关的一个或多个光学标记进行配准。然后，一个或多个光学头戴式显示器可以相对于一个或多个光学标记进行配准，例如用于显示虚拟手术计划例如在术中或术前定义的虚拟手术计划。成像探针可以是光学成像系统，也可以是共焦成像系统或其组合。除了将一个或多个光学头戴式显示器相对于光学标记配准之外，还可以在同一坐标系中对一个或多个术前或术中扫描，可选地与虚拟手术计划信息、数据或显示配对的一个或多个术前或术中扫描进行配准，以例如由一个或多个光学头戴式显示器显示。
可选地，具有几何图案的光学标记可以包括一个或多个不透射线的元件并且/或者可以参考相同位置/坐标处或不同位置/坐标处的一个或多个不透射线的标记或元件。光学标记和一个或多个不透射线的元件可以可选地包括在术前或术中的扫描中，例如牙科X光、全景扫描、计算机断层扫描或锥形束计算机断层扫描。由于通过在术前或术中扫描中包括光学标记和不透射线的元件且基于扫描或成像数据与一个或多个不透射线的元件有关以及于牙齿或底层骨有关的一个或多个光学标记的空间坐标是已知的，因此包括实时数据的术前和术中数据例如预期的植入部位可以在同一坐标系中被参考和配准。该配准可以包括任何虚拟手术计划方面和/或数据，包括由一个或多个光学头戴式显示器显示的一个或多个虚拟手术计划数据。本领域技术人员将认识到，可以使用其他标记例如导航标记即射频或红外标记、发光二极管可选地与集成或附接的不透射线元件一起使用，使得可以在包括电离辐射的影像学检查中检测到标记。
可选地，光学标记和/或其他标记例如导航标记可以附接到患者坐着和/或躺着的牙科座椅或头靠上，并且牙科座椅和/或头靠可以在同一坐标系中配准。一个或多个光学头戴式显示器的移动可以相对于牙科座椅和/或头靠以及坐标系来测量，并且光学头戴式显示器的显示可以调节成使得其相对于手术部位和/或预期植入部位保持静止，使得例如与预期植入部位对准和/或叠加在预期植入部位上，即使牙医或牙科医生正在移动他或她的头部和光学头戴式显示器亦是如此。
可以使用说明书中描述的任何配准技术，包括但不限于使用附接到牙齿或口腔解剖结构的导航标记例如射频或红外标记、使用导航系统例如与集成到、附接到或分离于光学头戴式显示器的成像系统结合使用的发光二极管标记、通过集成到、附接到或分离于一个或多个光学头戴式显示器的一个或多个成像系统的空间映射、激光扫描、共焦成像、和/或惯性测量单元。利用任何一种配准技术，一个或多个光学头戴式显示器也可以与预期手术部位或植入部位在坐标系中配准。
在实施方案中，术前和/或术中扫描例如对患者牙齿和牙龈以及周围组织的光学扫描和/或共焦成像扫描和/或计算机断层扫描和/或锥形束计算机断层扫描和/或全景和/或牙科X光和/或其组合可以用于确定虚拟手术计划。虚拟手术计划可以使用或基于说明书中列出的任何牙齿或口腔结构。虚拟手术计划可以包括确定和/或定义一个或多个虚拟轴线例如钻孔轴线、和/或牙科植入体、牙科植入体部件和/或任何其他牙科装置的一个或多个预定的虚拟定向和/或虚拟对准，例如与下述各项中的一项或多项有关：所述各项为选择用于修复或替换的现有牙齿、先前丢失或拔出的牙齿区域中的空隙或空腔、相邻牙齿、相对牙齿、被选择用于修复或替换的牙齿区域中的牙龈和其他软组织、先前丢失或拔出的牙齿区域中的空隙或空腔区域中的牙龈和其他软组织、在相邻或相对牙齿区域中的牙龈和其他软组织、例如在被选择用于修复或替换的牙齿的区域中、或者在先前丢失或拔出的牙齿的区域中、和/或在相邻牙齿或相对牙齿的区域中底层骨。底层骨可以例如位于下颌骨或上颌骨。虚拟手术计划可以包括计划和放置虚拟骨移植物和相关附件，随后对与虚拟骨移植物和底层骨相关的牙科植入体、牙科植入体部件和/或任何其他牙科装置进行放置和/或对准。
虚拟手术计划可以包括确定和/或定义例如与下述各项中的一项或多项有关的牙科植入体、牙科植入体部件和/或任何其他牙科装置的放置深度：所述各项为被选择用于修复或替换的现有牙齿、先前丢失或拔出的牙齿区域中的空隙或空腔、相邻牙齿、相对牙齿、被选择用于修复或替换的牙齿区域中的牙龈和其他软组织、先前丢失或拔出的牙齿区域中的空隙或空腔区域中的牙龈和其他软组织、相邻或相对牙齿区域中的牙龈和其他软组织、例如在被选择用于修复或替换的牙齿区域中、或者在先前丢失或拔出的牙齿区域中、和/或在相邻牙齿或相对牙齿的区域中的底层骨。可以基于任何前述信息来规划放置深度，包括例如底层骨骼，包括宽度、深度、尺寸、厚度；骨原质；骨密度和/或骨质。期望的放置深度和说明书中的任何其他前述和以下信息可用于从锚、固定系统或植入体库中选择锚或固定系统或植入体。可选地与一些其他信息(例如一个或多个现有牙齿和/或植入体的尺寸、曲率、曲线、边缘、坪、边界、脊、尖端、凹槽和/或形状)配对的期望的放置深度可以用于选择冠部、基牙、固定装置或植入体的组合。
虚拟手术计划可以包括确定和/或选择与下述各项中的一项或多项有关的牙科植入体、牙科植入体部件和/或任何其他牙科装置的尺寸和/或形状：所述各项为被选择用于修复或替换的现有牙齿、先前丢失或拔出的牙齿区域中的空隙或空腔、相邻牙齿、相对牙齿、被选择用于修复或替换的牙齿区域中的牙龈和其他软组织、先前丢失或拔出的牙齿区域中的空隙或空腔区域中的牙龈和其他软组织、相邻或相对牙齿区域中的牙龈和其他软组织、例如在被选择用于修复或替换的牙齿的区域中或者在先前丢失或拔出的牙齿的区域中和/或在相邻牙齿或相对牙齿的区域中的底层骨。牙科植入体、牙科植入体部件和/或任何其他牙科装置的尺寸和/或形状的确定和/或选择可以基于前述和/或以下信息中的任何信息来规划：所述信息包括例如底层骨，包括例如从扫描数据或成像数据中导出的骨形状和几何结构、骨原质、骨密度和/或骨质。
牙科植入体、牙科植入体部件和/或任何其他牙科装置的尺寸和/或形状的确定和/或选择可以利用与例如打算用于修复或拔出的一个或多个现有牙齿、相邻牙齿或相对牙齿的尺寸、曲率、曲线、边缘、坪、边界、脊、尖点、凹槽和/或形状有关的任何信息，所述信息例如从一个或多个扫描数据或成像数据中导出。
牙科植入体、牙科植入体部件和/或任何其他牙科装置的尺寸和/或形状的确定和/或选择可以利用与一个或多个现有植入体、植入体部件、基牙、牙冠、固定装置或植入体及其组合的尺寸、曲率、曲线、边缘、坪、边界、脊、尖端、凹槽和/或形状有关的任何信息，所述信息例如从扫描数据或成像数据中导出。
牙科植入体、牙科植入体部件和/或任何其他牙科装置的尺寸和/或形状的确定和/或选择可以利用包括尺寸、形状、几何结构的信息和来自说明书中提到的任何牙科或口腔结构的任何其他信息。牙科植入体、牙科植入体部件和/或任何其他牙科装置的尺寸和/或形状的确定和/或选择可以利用与一个或多个现有植入体、植入体部件、基牙、牙冠、固定装置或植入体及其组合的形状、尺寸、曲率、曲线、边缘、坪、边界、脊、尖端、凹槽有关的信息的任意组合、和/或与底层的或相对的骨骼相关的信息和/或与现有牙齿和/或空隙和/或软组织相关的信息，所述现有牙齿和/或空隙和/或软组织包括用于修复或拔除的牙齿区域、牙齿空隙或间隙区域和/或相邻或相对牙齿区域中的牙龈，所述信息例如从扫描数据或成像数据中导出。
确定和/或选择牙科植入体、牙科植入体部件和/或任何其他牙科装置的尺寸和/或形状可以包括从锚、固定系统或植入体库中选择锚或固定系统或植入体。确定和/或选择牙科植入体、牙科植入体部件和/或任何其他牙科装置的尺寸和/或形状可以包括从牙冠、基牙、固定系统或植入体的库中选择牙冠、基牙、固定系统或植入体。确定和/或选择牙齿植入体、牙齿植入体部件和/或任何其他牙齿装置的可选地与一些其他信息配对的尺寸和/或形状可以包括基于一些信息来选择牙冠、基牙、固定装置或植入体的组合，所述一些其他信息例如为一个或多个现有牙齿和/或植入体的尺寸、曲率、曲线、边缘、坪、边界、脊、尖端、凹槽和/或形状。
在一些实施方案中，虚拟数据可以具有与患者的实时数据(例如手术部位或预期植入部位)相同的放大倍率。在一些实施方案中，虚拟数据可以具有比患者的实时数据(例如，手术部位或预期植入部位)小的放大率或高的放大率(例如，大于患者的实时数据的放大率)。虚拟数据可以例如是预定轴线，例如预期或预定的植入轴线或钻孔轴线。虚拟数据可以是例如预定深度指示器，例如指示出对于给定患者、患者解剖结构、骨尺寸或形状、骨原质和/或植入体尺寸而言钻孔应该在哪里停止。虚拟数据可以包括虚拟放置或对准的植入体。当虚拟数据被放大时，可选地患者的术前或术中成像数据也可以被放大。这种成像数据可以包括光学扫描、共焦成像扫描、X光、全景、计算机断层扫描和/或锥形束计算机断层扫描、超声波和/或其他数据。可选地，患者的实时数据也可以使用例如图像捕获或视频捕获系统或三维扫描仪或激光扫描仪来成像。不同类型的虚拟数据和/或成像数据的放大倍率可以相同。不同类型的虚拟数据和/或成像数据的放大倍率可以不同。当使用放大时，放大可以是线性的或非线性的，并且可以发生在放大点的选择中心和/或放大轴线的选择中心周围，放大轴线可以是例如预期的钻孔轴线或预定的植入轴线。可选地，当使用虚拟数据(例如虚拟钻孔或植入轴线和/或虚拟影像学检查)放大时，可选地通过透视光学头戴式显示器看到的实时数据可以例如通过电子或其他过滤器被混合。当实时数据混合在一起时，它们可以可选地用活体患者的图像(例如手术野或预期的植入部位)来代替，该图像由一个或多个摄像头、图像捕获或视频系统、光学扫描仪、共焦扫描仪、三维激光扫描仪和其他成像装置获取；活体患者的这种图像数据例如手术野或预期植入部位可以可选地以与虚拟数据(例如虚拟预定植入轴线或虚拟预定钻孔轴线)相同的放大倍率来显示。说明书中关于放大、缩小、放大和/或缩小显示的任何实施方案可以应用于牙科数据的显示，所述牙科数据包括牙科植入体、牙科植入体部件和/或任何其他牙科装置。
在实施方案中，牙医、牙科医生或牙科助手可以在术前或术中在预期的植入部位将一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置放置、对准、定向、配合、选定。移动、放置、定向、对准、配合和/或选择可以使用基于个人计算机的接口和说明书中描述的或本领域已知的任何其他接口(例如使用手势识别和/或辅助工具)来执行，所述接口包括例如语音识别和/或语音命令、虚拟接口。例如，在患者的术前或术期间，牙医、牙科医生或牙科助手可以例如通过使一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置移动和/或将其与先前丢失或拔出的牙齿产生的空隙对准而虚拟地移动、放置、对准、定向、配合和/或选择一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置；牙医、牙科医生或牙科助手可以例如通过使一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置移动和/或将其与打算修复或替换的牙齿对准而虚拟地移动、放置、对准、定向、配合和/或选择一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置；牙医、牙科医生或牙科助手可以例如通过使一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置移动和/或将其与邻近预期植入部位或手术部位或与预期植入部位或手术部位相对的一个或多个牙齿对准而虚拟地移动、放置、对准、定向、配合和/或选择一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置。可选地，牙医、牙科医生和/或牙科助手可以移动、放置、定向、对准、配合和/或选择一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置，以使其与说明书中提到的任何牙或口腔结构相切或正交或与其成一限定角度或与其相交。可选地，牙医、牙科医生和/或牙科助手可以移动、放置、定向、对准、配合和/或选择一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置，以使其与一个或多个下述各项相切或正交或与其成一限定角度或与其相交：所述各项为一个或多个现有牙齿(例如，打算用于修复或替换的牙齿或者与预期植入部位相邻或相对的牙齿)和/或现有植入体、植入体部件、基牙、牙冠、固定装置或植入体的一个或多个尺寸、曲率、曲线、边缘、坪、边界、脊、尖点、凹槽和/或形状、和/或软组织特征或形状(例如齿龈形状)及其组合。可选地，在一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或其他虚拟牙科装置的放置、定向、对准、配合和/或选择期间，可以共同显示虚拟数据例如术前扫描或术中扫描。一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置的虚拟移动、放置、配合、尺寸调整、对准可以例如利用一个或多个内置处理器、存储器、一个或多个监视器或者使用一个或多个光学头戴式显示器(可选地连接至PC机或服务器)而在PC机或服务器上执行，所述一个或多个光学头戴式显示器也可以包括一个或多个处理器。对于不同的功能，可以使用一个或多个用户接口例如第一接口、第二接口、第三接口和第四接口或更多个接口来执行虚拟移动、放置、配合、尺寸调整、对准。一些接口可以选择性地处理多种功能例如配合和尺寸调整或者移动和对准等。
一旦牙医、牙科医生或牙科助手对放置、定向、对准、配合和/或选择满意，一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置的坐标可以被保存，并且可以被输入虚拟手术计划和/或可以被用于导出或修改虚拟手术计划。虚拟手术计划、其组件、方面和步骤随后可以在手术或牙科过程中由一个或多个光学头戴式显示器显示，所述一个或多个光学头戴式显示器例如与手术野和/或预期植入部位和/或骨和/或其他牙齿配准、对准、叠加在手术野和/或预期植入部位上，并且外科医生可以将物理器械和/或植入体部件与虚拟手术计划的方面对准。例如，外科医生可以用预定坐标例如放大的预定坐标或未放大的预定坐标将物理钻孔与光学头戴式显示器在预期植入部位上显示的预定虚拟钻孔轴线或虚拟植入轴线对准。虚拟手术计划可以例如包括虚拟手术导引物，虚拟手术导引物可以是物理手术导引物的三维表示或物理手术导引物的置位指示物或其组合。虚拟手术导引物可以是虚拟切割平面。虚拟手术导引物可以是虚拟轴线例如钻孔轴线。虚拟手术计划还可以包括虚拟工具或虚拟器械，例如至少在某些方面对应于物理工具或物理器械的特征尺寸或形状。虚拟手术计划还可以包括虚拟植入体和植入体部件，例如在至少一些方面如特征、尺寸或形状上对应于物理植入体和植入体部件。物理植入体和植入体部件例如牙冠、螺钉、基牙和固定装置可以例如在物理植入体和植入体部件库中在限定的尺寸和形状范围内获得。与物理植入体和植入体部件相对应的虚拟植入体和植入体部件的库可由光学头戴式显示器显示。虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件可以在牙科或口腔手术过程中由一个或多个光学头戴式显示器显示，所述一个或多个光学头戴式显示器例如叠加在手术部位上并且可选地在共同坐标系中与手术部位配准。通过将虚拟手术计划和/或虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件与手术部位配准，在该示例中，手术部位可以包括说明书中提到的任何牙齿或口腔结构，可以对叠加到手术部位上且包括说明书中提到的任何牙齿或口腔结构的虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件叠加的显示进行保持，其中牙齿被咬合和/或可选地，嘴张开并且牙齿未咬合。
光学头戴式显示器可以是透视光学头戴式显示器或非透视光学头戴式显示器，可选地具有集成或附接至光学头戴式显示器的一个或多个摄像机以用于对患者的实况数据成像，或者可选地具有集成或附接至光学头戴式显示器的一个或多个三维扫描仪以用于对患者的实况数据成像。
在本发明的实施方案中，牙科医生、牙科外科医生和/或牙科助手可以在预期植入部位在患者口腔中进行放置、对准、定向、配合、选择一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置，其中嘴张开且牙齿未咬合。使用说明书中所描述的配准技术，例如与预定牙科或口腔或外科介入的部位(例如下颌骨或上颌骨)配准，或者例如使用下颌骨和上颌骨两者的配准来放置、对准、定向、配合、选择一个或多个虚拟牙科植入体，可以使用一个或多个光学头戴式显示器——其中，牙齿未被咬合和/或咬合——的显示来视觉评估预定植入部位处患者的口腔中的虚拟牙齿植入体部件和/或任何其他虚拟牙齿装置，从而允许在牙齿的开放和咬合位置处将一个或多个虚拟牙齿植入体、虚拟牙齿植入体部件和/或任何其他虚拟牙齿装置放置、对准、定向、配合、选定。该类型的功能评估可以有助于对在患者咬合的预期植入位置处且在患者口腔中的一个或多个虚拟牙齿植入体、虚拟牙齿植入体部件和/或任何其他虚拟牙齿装置的放置、对准、定向、配合进行优化，并且可以有助于例如通过下述方式优化由此产生的开放牙齿位置和咬合：所述方式为在开放和咬合位置且在预期植入部位且在患者的口腔中使用虚拟手术计划放置的物理牙科植入体部件或物理牙科装置和/或使用一个或多个虚拟牙科植入体、虚拟牙科植入体部件和/或任何其他虚拟牙科装置的放置、对准、定向、配合、选择而制定、导出或修改的数据。
虚拟手术计划、虚拟置位、虚拟配合和/或选择良好或最佳配合的牙科植入体、牙科植入体部件和/或任何其他牙科装置、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选形状的牙科装置来评估虚拟形状、通过选择牙科植入体、牙科植入体部件和/或任何其他具有优选功能的牙科装置来评估虚拟功能、确定优选虚拟定向、确定优选虚拟对准、优选虚拟锚和/或附接和/或固定构件的确定和/或选择可以使用说明书中的任何实施方案以及实施方案的任何组合来执行，例如使用OHMD显示技术、放大技术、配准技术、内向外追踪、空间映射、具有几何图案的光学标记等来执行。
图41A至图41M提供了用于牙科手术或牙科植入体放置的一个或多个增强现实OHMD显示的非限制性说明示例，包括对用于使物理牙科工具和器械(例如钻头)和/或物理牙科植入体对准的虚拟手术导引物(例如虚拟轴线)的显示。图41A示出了处于咬合位置的下颌牙齿800和上颌牙齿802。在牙龈组织804的底部可以看到褶皱。图41B示出了上颌牙齿800，其中颌骨处于打开的、未咬合的位置。图41C示出了施加在两颗牙齿上的两个光学标记806和808。光学标记806和808具有不同的几何图案。代替光学标记，可以使用其他标记例如导航标记或发光二极管。光学标记和/或导航标记、发光二极管或其他标记可以可选地包括不透射线的元件，以用于使用借助于电离辐射的一次或多次扫描(例如，X光、全景、计算机断层扫描、锥形束计算机断层扫描)进行识别，并且光学标记和/或导航标记、发光二极管或其他标记可以在术前或术中扫描和/或在针对牙齿或其他牙齿或口腔结构的牙齿或口腔外科手术过程中应用，从而允许术前或术中扫描与患者的实时数据配准，所述实时数据例如为通过透视光学头戴式显示器可见的牙齿或口腔结构或者为使用一个或多个摄像机实时成像的牙齿或口腔结构，例如集成到、附接到或分离于一个或多个光学头戴式显示器，用于通过非透视光学头戴式显示器进行实时显示。通过例如使用图像捕获或视频捕获系统和/或导航系统将一个或多个光学标记和/或导航标记、发光二极管或其他标记配准在患者的实时数据中并且通过将一个或多个光学头戴式显示器以及术前或术中扫描数据配准在共同坐标系中，包括一个或多个标记的术前或术中扫描数据可以叠加到相应的标记或标记元件和/或解剖结构中和/或与相应的标记或标记元件和/或解剖结构对准；此外，表面下结构例如根、下颌骨或上颌骨也可以可视化地叠加在患者的实时数据上或实时数据内，例如显示其位于牙龈下面或牙齿下面的相应的解剖位置。因此，来自不同组织(例如釉质和牙龈、牙骨质、牙根、下颌骨或上颌)的信息可以例如通过透视或非透视的光学头戴式显示器而被同时看到。例如，牙釉质和牙龈、拔牙或缺失牙齿和/或相邻牙齿区域中的牙齿空隙可以通过透视光学头戴式显示器直接可见，而下颌骨或上颌骨以及与其相关的任何图形表示例如钻孔轴线可以通过一个或多个光学头戴式显示器虚拟地显示，叠加到相应的物理牙齿、牙釉质、牙龈或牙齿或口腔结构上和/或与相应的物理牙齿、牙釉质、牙龈或牙齿或口腔结构对准。
图41D示出了上颌牙齿800，其中颌骨打开且处于未闭合位置。还可以看到光学标记806和808。通过将牙齿、牙龈、牙龈、牙齿或口腔结构与术前或术中的扫描数据和/或一个或多个光学头戴式显示器在共同坐标系中配准，任何虚拟数据例如虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体和植入体部件的显示可以保持在它们相应的物理结构上，其中牙齿处于咬合或非咬合位置。因此，虚拟数据例如虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟牙科植入体和牙科植入体部件可以被投影到牙齿、牙龈和/或其他牙或口腔结构的表面上，并且可以在牙齿处于咬合或非咬合位置的情况下保持在其位置中。
虚拟数据例如虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟牙科植入体和牙科植入体部件可以投影到和/或叠加到和/或对准和/或定向成使得它们的至少一部分与牙齿表面相切、相交、正交、成一限定角度和/或偏移，例如偏移预定的距离或角度、或预定的取向或预定的对准，所述牙齿表面例如是相邻牙齿、牙龈、边缘牙龈、附着牙龈、齿间牙龈和/或其他牙齿或口腔结构，并且虚拟数据例如虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟牙科植入体和牙科植入体部件可以保持在它们的位置和/或取向和/或对准和/或坐标中，其中牙齿处于咬合或非咬合位置。
另外，虚拟数据例如虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体和植入体部件可以通过一个或多个计算机处理器并通过虚拟数据的一个或多个OHMD显示器投影到牙齿和/或牙龈(例如边缘牙龈、附接牙龈和/或齿间牙龈和/或其他牙齿或口腔结构)的表面上，并且虚拟数据可以在物理导引物、物理工具、物理器械、物理植入体或植入体部件例如移动到使用者的视野中时保持在它们的位置上。此外，一个或多个计算机处理器和一个或多个OHMD显示器可以显示虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体和植入体部件，可选地与例如来自与虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体和植入体部件以及一个或多个光学头戴式显示器在共同坐标系中配准的术前或术中影像学检查的任何虚拟扫描数据一起显示。
图41E示出了处于咬合位置的上颌牙齿800和下颌牙齿802。还示出了光学标记806和808。可以使用其他标记例如导航标记、发光二极管等来代替光学标记。虚拟手术导引物810，即在本该示例中为虚拟轴线810用于使一个或多个物理牙科工具、物理钻头、物理器械对准，或者一个或多个牙齿植入体部件也示出为投影到打算拔除的牙齿上并叠加在其上并与之对准。虚拟轴线810的位置、定位、定向、坐标、深度和/或长度可以使用例如患者实时数据中的信息来确定，例如通过将虚拟轴线810相对于牙齿的左边缘和/或右边缘定向，例如将虚拟轴线810相对于边缘居中或者相对于一个或多个边缘或相对于长轴线和/或打算用于拔除牙齿812的前表面和/或后表面处于限定的距离处。虚拟轴线810的位置、定位、定向、坐标、深度和/或长度可以使用例如患者的实时数据中的一些牙齿或口腔结构来确定，例如牙冠、釉质、牙本质、牙骨质(例如，如果可见的话)、牙骨质结(例如，如果可见的话)、牙龈组织、边缘牙龈、附接牙龈、齿间牙龈、扣带、边缘脊、纵向脊、斜脊、尖脊、第二凹槽窝、咬合台、牙龈隆起、重叠区域、临床牙冠、解剖牙冠、中切牙、侧切牙、尖牙、第1前臼齿、第2前臼齿、第1臼齿、第2臼齿、第3臼齿、牙齿的前表面、牙齿的后表面、牙齿的内表面、牙齿的外表面、牙齿的内边缘或边缘、牙齿的外边缘或边缘、牙齿的咬合面、牙齿的脊或牙顶、现有牙齿(例如，牙医打算替换、修复或增补的牙齿，或者例如在相对的下颌骨或上颌骨中的相对于牙医打算替换、修复或增补的牙齿的一颗或多颗相邻或相对的牙齿)的特征和/或结构，所述特征和/或结构例如为一颗或多颗现有牙齿的尺寸、曲线、曲率、边缘、平台、边缘、脊、尖端、凹槽和/或形状和/或颜色，所述现有牙齿包括选择用于修复、表面重修或替换的牙齿、相对的下颌骨或上颌骨上的一颗或多颗相邻牙齿和/或一颗或多颗相对牙齿、及其组合。虚拟手术导引物810例如虚拟轴线也可以使用与下述各项中的一项或多项有关的信息来放置、定位、定向、对准：所述各项为先前已经丢失或取出的牙齿所产生的一个或多个空隙、或者关于留在空隙中的组织例如牙龈组织(例如边缘牙龈、附接牙龈、齿间牙龈、可见骨、可见残余牙根或牙根腔等)、现有牙科植入体、牙科植入体部件和/或任何其他牙科装置(包括一个或多个基牙，例如标准基牙或定制基牙、冠、固定装置或植入体及其任意组合)、一个或多个现有植入体、植入体部件、基牙、冠、固定装置或植入体及其组合的尺寸、曲率、曲线、边缘、坪、边界、脊、尖端、凹槽和/或形状。虚拟手术导引物(例如虚拟轴线)的位置、定位、定向、坐标、深度和/或长度可以使用这些数据中的一些数据并且使用PC机或服务器(例如具有图形用户接口和显示器，例如显示患者的实时数据的视频图像)来确定。可选地，使用显示器显示的患者的实时数据可以使用用户接口放大，并且用户或计算机处理器可以确定虚拟手术导引物(例如虚拟轴线)的位置、定位、定向、坐标、深度和/或长度。
在一些实施方案中，虚拟手术导引物(例如虚拟轴线)的位置、定位、定向、坐标、深度和/或长度可以在患者的实时数据中确定，例如如通过透视光学头戴式显示器看到的。使用用户接口例如手势识别、语音识别、图形用户接口、声学接口、虚拟接口(例如虚拟键盘)，用户可以使用例如说明书中提到的用于实时数据的牙齿或口腔结构中的一些牙齿或口腔结构而放置、定向和/或对准叠加在患者的实时数据上的虚拟手术导引物例如虚拟轴线，所述牙齿或口腔结构例如为牙冠、珐琅质、牙本质、牙骨质(例如如果可见的话)、牙骨质连接(例如如果可见的话)、牙龈组织(包括边缘牙龈、附着牙龈、牙间牙龈)、扣带、边缘脊、纵向脊、斜脊、尖脊、二级槽、辅助槽、解剖槽、尖、牙尖端、卡氏尖、坑、窝、咬合台、牙龈隆起、重叠区、临床牙冠、解剖牙冠、中切牙、侧切牙、尖牙、第1前臼齿、第2前臼齿、第1臼齿、第2臼齿、第3臼齿、牙齿的前表面、牙齿的后表面、牙齿的内表面、牙齿的外表面、牙齿的内边缘或边缘、牙齿的外边缘或边缘、牙齿的咬合面、牙齿的脊或牙顶、现有牙齿(例如牙科医生打算替换或修复或增补的牙齿、或者例如在相对的下颌骨或上颌骨中的相对于牙科医生打算替换或修复或增补的牙齿而言的相邻或相对的一颗或多颗牙齿)的特征和/或结构，所述特征和/或结构例如为一颗或多颗现有牙齿的尺寸、曲线、曲率、边缘、平台、边缘、脊、尖端、凹槽和/或形状和/或颜色，所述现有牙齿包括选择用于修复、表面重修或替换的牙齿、相对的下颌骨或上颌骨上的一颗或多颗相邻牙齿和/或一颗或多颗相对牙齿、及其组合。虚拟手术导引物810例如虚拟轴线也可以使用下述各项中的一项或多项来放置、定位、定向、对准：所述各项为先前已经丢失或取出的牙齿所产生的空隙、或者关于留在空隙中的组织例如牙龈组织(包括边缘牙龈、附接牙龈、齿间牙龈、可见牙槽骨、可见残余牙根或牙根腔等)、现有牙科植入体、牙科植入体部件和/或任何其他牙科装置(包括一个或多个基牙，例如标准基牙或定制基牙、冠、固定装置或植入体及其任意组合)、一个或多个现有植入体、植入体部件、基牙、冠、固定装置或植入体及其组合的尺寸、曲率、曲线、边缘、坪、边界、脊、尖端、凹槽和/或形状，使用计算机处理器便于例如借助于声学或手势识别或其他接口将叠加到患者的实时数据上的虚拟手术导引物放置、移动、定向且叠加与一个或多个光学头戴式显示器对准。
在一些实施方案中，虚拟手术导引物(例如虚拟轴线)和/或虚拟植入体的位置、定位、定向、坐标、深度和/或长度可以在患者的术前或术中扫描数据(例如X光、全景图像、超声图像、锥形束断层扫描、断层扫描数据、磁共振成像数据)中确定。用户或计算机处理器可以通过使用图像数据并使用例如说明书中提到的一些牙齿或口腔结构来确定虚拟手术导引物例如虚拟轴线和/或虚拟植入体的位置、定位、定向、坐标、深度和/或长度，所述牙齿或口腔结构例如为牙冠、牙釉质、牙本质、牙髓、牙骨质、牙骨质结、牙周韧带、牙龈组织、例如边缘牙龈、附着牙龈、齿间牙龈、牙槽骨、骨、根、根管、根尖孔、扣带、边缘脊、纵向脊、斜脊、尖脊、二级槽、辅助槽、解剖槽、尖、牙尖端、卡氏尖、坑、窝、咬合台、牙龈隆起、重叠区、临床牙冠、解剖牙冠、中切牙、侧切牙、尖牙、第1前臼齿、第2前臼齿、第1臼齿、第2臼齿、第3臼齿、牙齿的前表面、牙齿的后表面、牙齿的内表面、牙齿的外表面、牙齿的内边缘或边缘、牙齿的外边缘或边缘、牙齿的咬合面、牙齿的牙脊或牙顶、现有牙齿(例如牙科医生打算替换或修复或增补的牙齿、或者在例如相对的下颌骨或上颌中的相对于牙科医生打算替换或修复或增补的牙齿而言的一颗或多颗相邻牙齿或相对牙齿)的特征和/或结构例如一颗或多颗现有牙齿的曲线、曲率、边缘、平台、边缘、脊、尖端、凹槽和/或形状和/或颜色，所述现有牙齿包括选择用于修复、表面重修或替换的牙齿、相对的下颌骨或上颌骨上的一颗或多颗相邻牙齿和/或一颗或多颗相对牙齿、及其组合、骨形状或骨原质(例如包括下颌骨或上颌骨的前部、后部、下部和/或上部形状和/或曲率的骨形状、和/或下颌骨或上颌骨的骨原质)、骨密度或骨质量(例如下颌骨或上颌骨中预定植入部位处或附近的骨密度和/或骨质量)、由先前已经丢失或拔出的牙齿产生的空隙、或有关留在空隙中的组织(例如牙龈组织、牙槽骨、残余牙根或牙根腔等)、现有的牙植入体、牙植入体部件和/或任何其他的包括一个或多个基牙的牙科装置(例如标准基牙或定制基牙、牙冠、固定装置或植入体及其任意组合)、一个或多个现有植入体、植入体部件、基牙、牙冠、固定装置或植入体及其组合的尺寸、曲率、曲线、边缘、平台、边缘、脊、尖端、凹槽和/或形状。通过例如在也可以包括一个或多个光学头戴式显示器的共同坐标系中将扫描数据与患者的实时数据进行配准，可以使用OHMD显示将患者的虚拟数据(例如扫描数据)和/或虚拟手术导引物(例如虚拟轴线)与患者的实时数据叠加并对准。如果使用透视光学头戴式显示器，用户可以通过OHMD显示直接看到实时数据，而包括例如扫描数据和/或虚拟手术导引物(例如虚拟轴线)的虚拟数据使用计算机处理器和OHMD显示器显示。虚拟数据，例如虚拟手术导引物(例如虚拟轴线)、虚拟工具、虚拟器械、虚拟牙科植入体或植入体部件可以叠加到和/或对准以下一项或多项：牙冠、珐琅质、牙质、牙髓、牙骨质、牙骨质连接处、牙周韧带、牙龈组织，例如边缘牙龈、附着牙龈、齿间牙龈、牙槽骨、骨、牙根、根管、根尖孔、扣带、边缘脊、纵向脊、斜脊、尖脊、二级槽、辅助槽、解剖槽、尖、牙尖端、卡氏尖、坑、窝、咬合台、牙龈隆起、重叠区、临床牙冠、解剖牙冠、中切牙、侧切牙、尖牙、第1前臼齿、第2前臼齿、第1臼齿、第2臼齿、第3臼齿、牙齿的前表面、牙齿的后表面、牙齿的内表面、牙齿的外表面、牙齿的内边缘或边缘、牙齿的外边缘或边缘、牙齿的咬合面、牙齿的脊或牙顶、现有牙齿(例如牙科医生打算替换或修复或增补的牙齿、或者例如在相对的下颌骨或上颌中相对于牙科医生打算替换或修复或增补的牙齿而言的一颗或多颗相邻牙齿或相对牙齿)的特征和/或结构，所述特征和/结构例如为一颗或多颗现有牙齿的尺寸、曲线、曲率、边缘、平台、边缘、脊、尖端、凹槽和/或形状和/或颜色，所述现有牙齿包括选择用于修复、表面重修或替换的牙齿、相对的下颌骨或上颌骨上的一颗或多颗相邻牙齿和/或一颗或多颗相对牙齿、及其组合、骨形状或骨原质，(例如包括下颌骨或上颌骨的前部、后部、下部和/或上部形状和/或曲率的骨形状、和/或下颌骨或上颌骨的骨原质)、骨密度或骨质量(例如下颌骨或上颌骨中预定植入部位处或附近的骨密度和/或骨质量)、由先前已经丢失或拔出的牙齿产生的空隙、或有关留在空隙中的组织(例如牙龈组织、牙槽骨、残余牙根或牙根腔等)、现有的牙植入体、牙植入体部件和/或任何其他的包括一个或多个基牙的牙科装置(例如标准基牙或定制基牙、牙冠、固定装置或植入体及其任意组合)、一个或多个现有植入体、植入体部件、基牙、牙冠、固定装置或植入体及其组合的尺寸、曲率、曲线、边缘、平台、边缘、脊、尖端、凹槽和/或形状。
在一些实施方案中，技术的组合可以用于确定虚拟数据的位置、定位、定向、坐标、深度和/或长度和/或尺寸和/或几何结构和/或形状，所述虚拟数据例如为虚拟手术导引物(例如虚拟轴线)、虚拟工具、虚拟器械、虚拟牙科植入体或植入体部件。例如，虚拟手术导引物例如虚拟轴线可以在术前或术中扫描数据中确定并且可以使用患者的实时数据的视频图像和例如在PC机或服务器上托管的可选图形用户接口来确定。虚拟手术导引物例如虚拟轴线可以在术前或术中扫描数据中确定并且可以使用例如由透视光学头戴式显示器显示的虚拟接口来确定，其中，计算机处理器——其例如集成在光学头戴式显示器中或驻留在单独的服务器上——便于将虚拟手术导引物例如虚拟轴线相对于患者的实时数据(例如说明书中提到的一些牙齿或口腔结构)放置、移动、定向和对准并且叠加到患者的实时数据上。也可以使用相同或不同的第二计算机处理器以便于放置、移动、定向、对准、尺寸确定和/或配合叠加到患者的实时数据中的一个或多个牙齿植入体或牙齿植入体部件，所述实时数据例如为说明书中提到的一个或多个牙齿或口腔结构且例如如直接通过透视光学头戴式显示器所看到的。
在一些实施方案中，虚拟手术导引物(例如虚拟轴线)的位置、定向、对准和/或坐标可以通过使用术前或术中扫描数据来确定，并且可以通过使用计算机处理器由一个或多个光学头戴式显示器来显示，所述一个或多个光学头戴式显示器与患者的相应解剖结构配准并叠加到患者的实时数据上，例如投影到一个或多个牙齿、牙龈、珐琅质的表面上和/或叠加到其上和/或与之对准；虚拟手术导引物(例如虚拟轴线)的位置、定向、对准和/或坐标然后可以可选地使用虚拟接口来调整并且例如由透视光学头戴式显示器显示，其中，计算机处理器(例如集成在光学头戴式显示器中或驻留在单独的服务器上)有助于将虚拟手术导引物(例如虚拟轴线)相对于患者的实时数据进行放置、移动、定向、对准调整并且叠加到患者的实时数据上。
在一些实施方案中，虚拟植入体部件(例如牙齿植入体部件)的位置、定向、对准和/或坐标可以使用术前或术中的扫描数据来确定，并且可以通过使用计算机处理器由一个或多个光学头戴式显示器来显示，例如作为虚拟植入体部件或二维或三维置位指示物或其组合，所述一个或多个光学头戴式显示器与患者的相应解剖结构配准并叠加到患者的实时数据上例如投影到例如一颗或多颗牙齿、牙龈、釉质的解剖表面上和/或叠加到解剖表面上和/或与该解剖表面对准；虚拟植入体部件(例如牙科植入体部件)的位置、定向、对准和/或坐标随后可以可选地使用虚拟接口来调整并且例如由透视光学头戴式显示器显示，其中计算机处理器(例如集成在光学头戴式显示器中或驻留在单独的服务器上)有助于将虚拟植入体部件(例如牙科植入体部件)相对于患者的实时数据进行放置、移动、定向、对准调整并叠加到患者的实时数据上。在一些实施方案中，第一计算机处理器可用于便于放置虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件例如牙科植入体部件或其他植入体部件。第二计算机处理器可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的移动。第三计算机处理器可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的定向。第四计算机处理器可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如，牙科植入体部件或其他植入体部件)的对准。第五计算机处理器可用于促进虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的配合。第六计算机处理器可用于帮助确定虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的尺寸。第七计算机处理器可用于促进虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的选择。第一处理器可以与第二处理器、第三处理器、第四处理器、第五处理器、第六处理器或第七处理器相同或不同；第二处理器可以与第一处理器、第三处理器、第四处理器、第五处理器、第六处理器或第七处理器相同或不同；第三处理器可以与第一处理器、第二处理器、第四处理器、第五处理器、第六处理器和第七处理器相同或不同；第四处理器可以与第一处理器、第二处理器、第三处理器、第五处理器、第六处理器或第七处理器相同或不同；第五处理器可以与第一处理器、第二处理器、第三处理器、第四处理器、第六处理器或第七处理器相同或不同；第六处理器可以与第一处理器、第二处理器、第三处理器、第四处理器、第五处理器或第七处理器相同或不同；第七处理器可以与第一处理器、第二处理器、第三处理器、第四处理器、第五处理器或第六处理器相同或不同。
在一些实施方案中，第一用户接口可用于便于放置虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件例如牙科植入体部件或其他植入体部件。第二用户接口可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的移动。第三用户接口可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的定向。第四用户接口可用于促进虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体或植入体部件(例如，牙科植入体部件或其他植入体部件)的对准。第五用户接口可用于促进虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的配合。第六用户接口可用于帮助确定虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的尺寸。第七用户接口可用于促进虚拟植入体或植入体部件(例如牙科植入体部件或其他植入体部件)的选择。第一用户接口可以与第二用户接口、第三用户接口、第四用户接口、第五用户接口、第六用户接口或第七用户接口相同或不同；第二用户接口可以与第一用户接口、第三用户接口、第四用户接口、第五用户接口、第六用户接口或第七用户接口相同或不同；第三用户接口可以与第一用户接口、第二用户接口、第四用户接口、第五用户接口、第六用户接口和第七用户接口相同或不同；第四用户接口可以与第一用户接口、第二用户接口、第三用户接口、第五用户接口、第六用户接口或第七用户接口相同或不同；第五用户接口可以与第一用户接口、第二用户接口、第三用户接口、第四用户接口、第六用户接口或第七用户接口相同或不同；第六用户接口可以与第一用户接口、第二用户接口、第三用户接口、第四用户接口、第五用户接口或第七用户接口相同或不同；第七用户接口可以与第一用户接口、第二用户接口、第三用户接口、第四用户接口、第五用户接口或第六用户接口相同或不同。
类似地，在其他实施方案中，虚拟工具或虚拟器械的位置、定向、对准和/或坐标可以在术前或术中扫描数据中确定，并且可以通过使用计算机处理器由一个或多个光学头戴式显示器显示，所述一个或多个光学头戴式显示器与患者的相应解剖结构配准并叠加到患者的实时数据上；然后，虚拟工具或虚拟器械的位置、定向、对准和/或坐标可以可选地使用虚拟接口(例如由透视光学头戴式显示器显示)或任何其他接口来调整，其中计算机处理器(例如集成在光学头戴式显示器中或驻留在单独的服务器上)有助于将虚拟工具或虚拟器械相对于患者的实时数据进行放置、移动、定向、对准和调整并叠加到患者的实时数据上。
在一些实施方案中，虚拟植入体和/或虚拟植入体部件的位置、定向、对准和/或坐标和/或尺寸和/或配合和/或选择可以在术前或术中的扫描数据中确定并且可以通过使用计算机处理器由一个或多个光学头戴式显示器显示，光学头戴式显示器与患者的相应解剖结构配准并叠加到患者的实时数据上；虚拟植入体和/或虚拟植入体部件的位置、定向、对准和/或坐标和/或尺寸和/或配合和/或选择然后可以可选地使用虚拟接口来调整，例如由透视光学头戴式显示器或者任何其他接口显示，其中，计算机处理器(例如集成在光学头戴式显示器中或者驻留在单独的服务器上)有助于将虚拟植入体和/或虚拟植入体部件相对于患者的实时数据进行放置、移动、定向、对准、尺寸调整、配合、选择和调整并叠加在患者的实时数据上。
虚拟手术导引物、虚拟工具、虚拟器械和/或虚拟植入体和植入体部件可以通过一个或多个计算机处理器和一个或多个OHMD显示器投影到牙齿、牙龈(例如边缘牙龈、附接牙龈、齿间牙龈)和/或其他牙齿或口腔结构的表面上，并且可以在物理导引物、物理工具、物理器械、物理植入体或植入体部件移动到例如用户的视野中时保持在它们的位置。
图41F示出了上颌牙齿800，其中颌骨打开且处于未咬合位置。还可以看到光学标记806和808。还示出了虚拟手术导引物810，在该示例中为用于使一个或多个物理牙科工具、物理钻头、物理器械或一个或多个牙科植入体部件对准的虚拟轴线810。虚拟手术导引物810被保持在其位置、定向中并且/或者对准叠加在患者的实时数据例如指定拔除的牙齿812上，其中牙齿处于咬合的和张开未咬合的位置。
图41G示出了拔牙之后的上颌牙齿800，其中颌骨打开且处于未咬合位置。还可以看到光学标记806和808。还示出了虚拟手术导引物810，在该示例中为用于使一个或多个物理牙科工具、物理钻头、物理器械或一个或多个牙科植入体部件对准的虚拟轴线810。虚拟手术导引物810保持在其位置、定向中并且/或者对准叠加在患者实时数据例如通过拔牙所产生的空隙814上。由于虚拟数据和实时数据使用一个或多个光学标记806和808或其他标记或者例如对患者的牙齿和实时数据的视频扫描或三维扫描进行配准，因此虚拟手术导引物810可以保持在其位置、定向和/或对准中。
图41H示出了钻道816用于促进牙齿植入体部件在上颌骨中的放置。可以通过将物理钻头(未示出)与虚拟轴线810对准并叠加以及通过推进物理钻头同时保持与虚拟轴线810对准并叠加来创建钻道。可选地，在钻道816已经被创建之后，钻头可以保留在钻道中，并且一个或多个标记例如光学标记可以被附接至钻头以及钻头的长轴线，并且利用它，可以例如使用图像捕获或视频捕获系统和一个或多个计算机处理器来确定钻道816的长轴线，并且可选地，钻道816的长轴线可以存储在例如虚拟数据中。
图41I示出了钻道816的长轴线818。钻道816的长轴线818可以被确定为如例如上面在图41H的书面描述中所解释的那样。钻道816的长轴线818也可以使用例如术前或术中扫描来确定；钻道816的长轴线818可以是使用例如术前或术中扫描制定的虚拟手术计划的一部分。钻道816的长轴线818可以是用于例如通过将物理植入体部件与钻道816的虚拟长轴线818叠加和/或对准而放置一个或多个物理植入体部件的虚拟导引物叠加。
图41J示出了拔牙之后的上颌牙齿800，其中颌骨打开且处于未咬合位置。还可以看到光学标记806和808。还示出了虚拟手术导引物810，在该示例中为用于使一个或多个物理牙科工具、物理钻头、物理器械或一个或多个牙科植入体部件对准的虚拟轴线810。虚拟手术导引物810保持在其位置、定向和/或对准叠加在患者的包括由拔牙产生的空隙814的实时数据上。示出了放置在空隙814中的物理牙科植入体820。在该示例中，牙科植入体具有三个组件，即，柱822例如带螺纹的钛柱、基牙824和冠部826。柱822旨在推进到钻道816中。可选地，如果患者的实时数据例如牙齿或口腔结构例如空隙和相邻牙齿通过图像或视频捕获系统进行成像或捕获，则牙齿或口腔结构的实时数据的电子图像可以由一个或多个光学头戴式显示器(可选地透视或非透视)显示，其中，叠加虚拟数据例如虚拟轴线810被叠加。可选地，患者的实时数据的电子图像或视频馈送——在本例中为牙齿或口腔结构——可以放大显示，例如放大1.5倍、2.0倍、2.5倍、3.0倍。包括负放大倍率在内的任何其他放大倍率也是可能的。虚拟数据例如虚拟手术导引物例如虚拟轴线、虚拟工具、虚拟器械、虚拟植入体部件和/或虚拟植入体可以叠加到实时数据的电子图像上并且也可以被放大，可选地具有与实时数据的电子图像相同或不同的放大倍率。本领域技术人员将认识到，该实施方案可以应用于身体的其他部分例如膝关节(例如用于膝关节置换或前交叉韧带重建或关节镜手术)、髋关节(例如用于髋关节置换或关节镜手术)、肩关节(例如用于肩关节置换或关节镜手术例如肩袖修复或盂唇撕裂修复)、脚踝(例如用于踝关节置换)、脊柱(例如用于例如使用椎弓根螺钉器械和/或融合器的脊柱融合)。
图41K示出了物理牙科植入体820如何推进到空隙814中。物理牙科植入体820可以定向成与虚拟手术导引物810(例如虚拟轴线810)对准，虚拟手术导引物由一个或多个光学头戴式显示器显示和/或叠加到牙或口腔结构(例如牙齿或牙龈(未示出))的表面上。虚拟手术导引物810例如虚拟轴线810或虚拟平面可以由一个或多个光学头戴式显示器显示在没有由解剖结构(例如牙齿或口腔结构)填充的空隙814中，或者可以投影到牙龈表面(例如边缘牙龈、附接牙龈、齿间牙龈)上。物理牙科植入体820或物理工具或物理器械可以与虚拟手术导引物810对准并叠加在虚拟手术导引物上，虚拟手术导引物810在该示例中为虚拟轴线810。如果使用透视光学头戴式显示器，则物理牙科植入体820或物理工具或物理器械可以通过透视光学头戴式显示器直接可见，而物理牙科植入体820或物理工具或物理器械可以与虚拟手术导引物810例如虚拟轴线810对准和/或叠加在虚拟手术导引物上。虚拟手术导引物810例如虚拟轴线810可以显示在空隙814中，并且可以保持其在空隙814内的位置、定向和/或对准，例如其中牙齿处于咬合和非咬合位置，或者其中颌骨打开或闭合。虚拟手术导引物810例如虚拟轴线810可以投射到牙龈表面上和/或叠加到牙龈表面上，并且可以保持其在牙龈的表面上的位置、定向和/或对准，例如其中牙齿处于咬合和非咬合位置，或者其中颌骨打开或闭合。在一些实施方案中，例如在关节例如膝关节或髋关节中，虚拟手术导引物、虚拟工具、虚拟器械、虚拟植入体或植入体部件可以显示在空隙中，并且可以在运动期间(例如在相邻解剖结构的运动期间、例如关节的运动例如弯曲、伸展、旋转、外展、内收等期间、或物理工具、物理器械和/或物理植入体或植入体部件的运动期间)保持其在空隙中的位置、定向和/或对准。空隙814可以是例如在牙科应用中例如外伤(牙齿先前脱落或拔牙)的结果。空隙可以是先前丢失或缺失或拔出的牙齿的区域或体积。该空隙可以是手术部位或植入部位内未被解剖结构(例如牙齿或口腔结构)填充的空间。空隙可以是缺陷，例如组织或器官中的缺陷、例如关节表面中的缺陷、或组织表面中的缺陷、或器官表面中的缺陷。该空隙可以是例如通过组织切除(例如在器官、关节或脊柱中)丢失或移除的组织的区域或体积。空隙可能是骨切除或软骨切除的结果。该空隙也可以是手术部位或植入部位内的空间，例如通过组织切除(例如骨切除)而产生的空间。该空隙可以是两个植入体或植入体部件之间的空间。空隙可以是体腔。该空隙可以是例如在两个组织褶皱或两个组织层之间的凹陷。
虚拟手术导引物810例如虚拟轴线810可以显示在空隙814中或者叠加或投影到牙龈的表面上，并且可以在下述情况下保持其在空隙814内的位置、定向和/或对准或者维持其在牙龈的表面上的位置、定向和/或对准：所述情况为一个或多个物理工具、物理器械、物理植入体部件或物理植入体820在用户观看空隙时在用户的视野中移动例如移动到空隙中。虚拟手术导引物810例如虚拟轴线810可以显示在空隙814中或者叠加或投影到牙龈的表面上，并且可以在一个或多个物理工具、物理器械、物理植入体部件或物理植入体820与虚拟手术导引物810(例如虚拟轴线810)叠加和/或对准时保持其在空隙814内的位置、定向和/或对准或者叠加维持其在牙龈的表面上的位置、定向和/或对准。
在一些实施方案中，虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体可以由一个或多个光学头戴式显示器显示在未被解剖结构例如牙齿或口腔结构填充的空隙中。物理工具、物理器械、物理植入体部件或物理植入体可以与虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体对准并叠加在其上。如果使用透视光学头戴式显示器，物理工具、物理器械、物理植入体部件或物理植入可以通过透视光学头戴式显示器直接可见，而物理工具、物理器械、物理植入体部件或物理植入可以与虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入对准和/或叠加在虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入上。虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体可以显示在空隙中并且可以保持其在空隙内的位置、定向和/或对准，例如其中牙齿处于咬合和非咬合位置，或者其中颌骨打开或闭合。在一些实施方案中，例如在关节例如在膝关节或髋关节中，虚拟手术导引物、虚拟工具、虚拟器械、虚拟植入体或植入体部件可以显示在空隙内并且可以在运动期间(例如在相邻解剖结构的运动期间例如关节的运动例如弯曲、伸展、旋转、外展、内收等期间、或者物理工具、物理器械和/或物理植入体或植入体部件的运动期间)维持其在空隙中的位置、定向和/或对准。该空隙可以是例如在牙科应用中例如外伤(先前牙齿脱落或拔牙)的结果。空隙也可以是手术部位或植入部位内未被解剖结构(例如牙齿或口腔结构)填充的空间、或关节表面中的缺陷、或组织表面中的缺陷、或器官表面中的缺陷、或例如在器官或关节或脊柱中由组织切除产生的空隙。空隙可能是骨切除或软骨切除的结果。该空隙也可以是手术部位或植入部位内的空间，例如通过组织切除(例如骨切除)而产生的空间。该空隙可以是两个植入体或植入体部件之间的空间。空隙可以是体腔。该空隙可以是例如在两个组织褶皱或两个组织层之间的凹陷。虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体可以显示在空隙中，并且可以在下述情况下维持其在空隙内的位置、定向和/或对准：所述情况为一个或多个物理工具、物理器械、物理植入体部件或物理植入体在用户观看空隙时在用户的视野中移动例如移动到空隙中。虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体可以显示在空隙中，并且可以在一个或多个物理工具、物理器械、物理植入体部件或物理植入体与虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体重叠和/或对准的同时维持其在空隙内的位置、定向和/或对准。
在一些实施方案中，虚拟手术导引物810例如虚拟轴线810，可以由一个或多个光学头戴式显示器显示在解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈)的表面上，并且可以叠加到解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈)的表面上例如叠加到解剖结构的相应部分上。
在一些实施方案中，虚拟手术导引物810例如虚拟轴线810，可以由一个或多个光学头戴式显示器显示和/或叠加到解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈)的表面上，并且可以维持其在解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈，例如其中牙齿处于咬合和非咬合位置或者其中颌骨打开或闭合)的表面上的位置、定向和/或对准。
在一些实施方案中，虚拟手术导引物810例如虚拟轴线810可以由一个或多个光学头戴式显示器显示和/或叠加到解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈)的表面上，并且可以在下述情况下维持其在解剖结构(例如牙齿或口腔结构)的表面上的位置、定向和/或对准：所述情况为一个或多个物理工具、物理器械、物理植入体部件或物理植入体820在用户观看解剖结构的表面时在用户的视野中移动例如移动以放置植入体。
在一些实施方案中，虚拟手术导引物810例如虚拟轴线810可以由一个或多个光学头戴式显示器显示和/或叠加到解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈)的表面上，并且可以在下述情况下维持其在解剖结构(例如牙齿或口腔结构)的表面上的位置、定向和/或对准：所述情况为一个或多个物理工具、物理器械、物理植入体部件或物理植入体820与虚拟手术导引物810(例如虚拟轴线810)叠加和/或对准。
在一些实施方案中，虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体可以由一个或多个光学头戴式显示器显示在解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈)的表面上，并且可以叠加在解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈)的表面上例如叠加在解剖结构的相应部分上。
在一些实施方案中，虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体可以由一个或多个光学头戴式显示器显示和/或叠加到解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈)的表面上，并且可以维持其在解剖结构(例如牙齿或口腔结构例如牙齿或牙龈，例如其中牙齿处于咬合和非咬合位置或者其中颌骨打开或闭合)的表面上的位置、定向和/或对准。
在一些实施方案中，虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体可以由一个或多个光学头戴式显示器显示和/或叠加到解剖结构(例如牙齿或口腔结构，例如牙齿或牙龈)的表面上，并且可以在下述情况下维持其在解剖结构(例如牙齿或口腔结构)表面上的位置、定向和/或对准：所述情况为一个或多个物理工具、物理器械、物理植入体部件或物理植入体在用户观看解剖结构的表面时在用户的视野中移动例如移动以放置植入体。
在一些实施方案中，虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体可以由一个或多个光学头戴式显示器显示和/或叠加到解剖结构(例如牙齿或牙龈)的表面上，并且可以在一个或多个物理工具、物理器械、物理植入体部件或物理植入体与虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体叠加和/或对准时维持其在解剖结构(例如牙齿或口腔结构)的表面上的位置、定向和/或对准叠加。
图41L示出了物理牙科植入体820，物理牙科植入体820可以包括标记828，以用于例如在运动期间追踪物理牙科植入体的位置、定向和/或对准和/或坐标。标记可以是光学标记、导航标记、发光二极管或说明书中描述的或本领域中已知的任何其他标记。标记可以是惯性测量单元。标记可以是可附接的和/或可拆卸的。不是使用标记来追踪，而是可以使用例如图像捕获和/或视频捕获系统和/或三维扫描仪来执行物理牙科植入体820的直接追踪。由于植入体的几何结构和标记在物理植入体上的位置是已知的，因此物理植入体的中心轴线830可以由计算机处理器确定。在物理牙科植入体820的移动和追踪期间，物理植入体的中心轴线830或虚拟二维或三维轮廓可以由一个或多个光学头戴式显示器显示，以用于将其与虚拟手术导引物810(例如虚拟轴线810)叠加和/或对准。
图41M示出了物理牙科植入体820，物理牙科植入体820可以包括标记828，以用于例如在运动期间追踪物理牙科植入体的位置、定向和/或对准和/或坐标。物理牙科植入体820已经被移动和对准成使得其中心轴线830与虚拟手术导引物810(例如，在本例中为虚拟轴线810)对准。通过将物理牙科植入体820(包括其中心轴线830)与虚拟手术导引物810(例如虚拟轴线810)对准，物理牙科植入体820可以以精确的方式放置在预定位置、定向、对准和/或坐标，例如在虚拟手术计划中制定的和/或使用术前或术中成像来确定的。
可选地，患者的实时数据(例如一个或多个解剖结构比方说例如用摄像头或视频系统捕获并由OHMD显示在电子图像或视频流中的牙齿或口腔结构)和/或虚拟数据(例如虚拟手术导引物810例如虚拟轴线、或虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体、和虚拟追踪数据例如在中心轴线830中看到的虚拟追踪数据、以及被追踪的物理工具、物理器械、物理植入体或物理植入体部件的虚拟显示、或其任意组合)可以在物理工具、物理器械、物理植入体部件或物理植入体(在本例中为物理牙科植入体820)的移动、对准、定向和放置期间被OHMD显示放大。
可选地，仅虚拟数据(例如虚拟手术导引物810例如虚拟轴线、或虚拟工具、虚拟器械、虚拟植入体部件或虚拟植入体、和虚拟追踪数据例如在中心轴线830中看到的虚拟追踪数据、以及被追踪的物理工具、物理器械、物理植入体或物理植入体部件的虚拟显示)可以在物理工具、物理器械、物理植入体部件或物理植入体(在该示例中为物理牙科植入体820)的移动、对准、定向和放置期间被OHMD显示放大。
在一些实施方案中，前述系统、方法和装置可以例如使用X光、全景视图、超声波、锥形束断层扫描、断层扫描或磁共振成像扫描或任何其他适用于牙齿或口腔成像的成像模式而与一个或多个牙齿或口腔结构的术前或术中成像相结合。术前或术中的图像可以与患者的实时数据例如解剖结构(例如牙齿或口腔结构)配准。例如，解剖结构(例如包括患者的实时数据中的结构的尺寸、边缘、边界、曲率和/或形状的牙齿或口腔结构)可以与相应的解剖结构(例如包括患者术前或术中成像数据中结构的尺寸、边缘、边界、曲率和/或形状的牙齿或口腔结构)进行配准。可以使用说明书中描述的或本领域已知的任何配准技术。
图42A示出了患者的配准的实时数据的示例性非限制性示例例如一颗或多颗牙齿800、组织褶皱804或任何其他通过透视光学头戴式显示器直接可见的数据，其中，一个或多个结构隐藏在可见表面之下例如仅影像学检查例如牙齿的牙根832(虚线)是可见的。通过一个或多个光学头戴式显示器在影像学检查(例如牙根832)上可见的结构的显示可以促进一个或多个虚拟或物理工具、虚拟或物理器械、虚拟或物理植入体和/或虚拟或物理植入体部件相对于手术部位或植入部位的移动、放置、对准、配合、尺寸调整和/或选择，所述手术部位或植入部位可以包括隐藏在通过光学头戴式显示器直接可见的表面下的组织。因此，一个或多个虚拟或物理工具、虚拟或物理器械、虚拟或物理植入体和/或虚拟或物理植入体部件可以定向成与一个或多个解剖结构(例如牙釉质、牙齿、牙龈)和/或一个或多个直接通过透视光学头戴式显示器可见的空隙定向有关与之对准。一个或多个虚拟或物理工具、虚拟或物理器械、虚拟或物理植入体和/或虚拟或物理植入体部件可以定向成与仅在影像学检查中可见的一个或多个解剖结构有关并与之对准并且由光学头戴式显示器叠加到实时数据上例如患者的解剖结构。一个或多个虚拟或物理工具、虚拟或物理器械、虚拟或物理植入体和/或虚拟或物理植入体部件可以定向成与一个或多个解剖结构(例如牙釉质、牙齿、牙龈)和/或一个或多个直接通过透视光学头戴式显示器可见的空隙有关并与之对准，并且可以定向成与仅在影像学检查中可见的一个或多个解剖结构有关并与之对准并且由光学头戴式显示器叠加到实时数据(例如患者的解剖结构)上。可以使用一个或多个标记例如光学标记806和808、或者导航标记或其他标记来执行配准，导航标记或其他标记可以可选地包括用于利用电离辐射进行影像学检查的检测的不透射线的元件。还可以使用例如摄像机或三维扫描仪来执行直接追踪以进行配准，例如用于追踪患者的实时数据和/或物理工具、物理器械、物理植入体部件和/或物理植入体或装置。摄像机或三维扫描仪可以可选地附接到成像设备例如X光机、全景机、超声波机、锥形束断层扫描机或断层扫描机，可选地在摄像机或三维扫描仪与成像设备之间具有已知的几何布置。以这种方式，患者的实时数据和物理工具、物理器械、物理植入体部件和/或物理植入体或装置的实时数据可以与来自成像设备(例如X光机、全景机、超声波机、锥形束断层扫描仪或断层扫描仪)的数据同时或接近同时或顺序地获得，并且可以使用摄像机或三维扫描仪和成像设备之间的已知几何布置进行配准。
图42A示出了处于咬合位置的牙齿，其中颌骨闭合。在一些实施方案中，虚拟手术导引物810例如虚拟轴线810可以定向成与一个或多个解剖结构(例如牙齿、牙釉质或牙龈)和/或一个或多个直接通过透视光学头戴式显示器可见的空隙有关并与之对准。在一些实施方案中，虚拟手术导引物810例如虚拟轴线810可以定向成与一个或多个仅在影像学检查中可见的解剖结构有关并与之对准并且由光学头戴式显示器叠加到实时数据例如患者的解剖结构上。在一些实施方案中，虚拟手术导引物810例如虚拟轴线810可以定向成与一个或多个解剖结构和/或一个或多个空隙有关并与之对准，所述一个或多个空隙直接通过透视光学头戴式显示器可见，并且/或者虚拟手术导引物810例如虚拟轴线810可以定向成与仅在影像学检查中可见的一个或多个解剖结构有关并与其对准并且由光学头戴式显示器叠加到实时数据(例如患者的解剖结构)上。
可以使用一个或多个标记准例如光学标记806和808、或者导航标记或其他标记来执行配，导航标记或其他标记可以可选地包括用于利用电离辐射进行影像学检查的检测的不透射线的元件。还可以使用例如摄像机或三维扫描仪来执行直接追踪以进行配准，所述摄像机或三维扫描仪可选地附接到成像设备例如X光机、全景机、超声波机、锥形束断层扫描机或断层扫描机，可选地在摄像机或三维扫描仪与成像设备之间具有已知的几何布置。图42A示出了处于咬合位置的牙齿，其中颌骨闭合。
图42B是其中牙齿处于非咬合打开位置的非限制性说明示例。影像学检查的显示或从影像学检查中提取的一个或多个结构或图形表示例如牙根832可以由计算机处理器和一个或多个光学头戴式显示器保持叠加在骨骼中的相应位置和/或坐标例如上颌或下颌上，而与牙齿或颌骨或上颌骨的运动无关。类似地，虚拟手术导引物810(例如虚拟轴线810)或虚拟工具、虚拟器械、虚拟植入体部件和/或虚拟植入体的显示可以通过计算机处理器和一个或多个光学头戴式显示器保持叠加在相应解剖结构(例如牙齿或口腔结构)的表面上或者骨骼(例如下颌或上颌)上，而与牙齿或颌骨或上颌骨的运动无关。例如，这例如通过将一个或多个标记例如光学标记806和808或导航标记附接至口腔侧例如上颌侧或下颌侧——选择用于外科手术和/或用于放置牙科植入体或其他牙科装置——是可能的。通过将一个或多个标记(例如光学标记806和808)或导航标记或一个或多个患者特异性标记或其他标记放置在侧面例如上颌骨或下颌骨——选择用于外科手术和/或用于放置牙科植入体或其他牙科装置——上，影像学检查的配准和虚拟数据的配准可以与患者的实时数据(例如一个或多个解剖结构，例如牙齿或口腔结构)保持一致，而与下颌骨或上颌骨的运动无关；因此，影像学检查和/或虚拟数据的显示可以维持与解剖结构保持例如牙齿或口腔结构(例如牙齿或牙龈)和/或手术部位或植入部位有关，而与下颌骨或上颌骨的运动无关。
图42C是示出了拔牙之后的手术部位的示例。虚拟手术导引物810例如虚拟轴线810可以由空隙814中的一个或多个光学头戴式显示器显示，和/或叠加到牙龈上或与牙龈对准；虚拟轴线810可以延伸或可以包括在虚拟成像数据例如由一个或多个光学头戴式显示器显示的术前或术中成像数据(例如牙根832)中。虚拟手术导引物810(例如虚拟轴线810)的位置、定位、定向、对准和/或坐标可以使用选择用于拔牙的牙齿、相邻牙齿或组织、相对牙齿或组织、空隙、影像学检查(例如下面的牙根和/或其他结构的可视化)或其任意组合中的一项或多项来确定。
图42D示出了具有缺失齿和空隙814的非限制性说明示例。牙齿处于咬合位置，其中颌骨闭合。影像学检查可以通过叠加在相应解剖结构上的一个或多个光学头戴式显示器来共同配准和显示。例如，可以显示邻近缺失牙齿区域的牙根例如在患者的左侧834和右侧836上。缺失牙齿832的牙根或牙根所在的空隙也可以在影像学检查中看到，并且可以投影到患者的物理骨骼(例如上颌骨或下颌骨)的相应坐标上显示。虚拟手术导引物810例如虚拟轴线810，可以例如基于来自仅在影像学检查中可见的相邻牙齿的可见部分或相邻牙齿的部分的信息或其组合来导出。这样的部分可以是相邻齿的中心轴线838和840。
图42E是类似的非限制性示例，其中牙齿处于非咬合位置例如颌骨打开。虚拟手术导引物810例如虚拟轴线810、成像数据例如在影像学检查中可见的一个或多个牙根832、834、836、以及任何其他虚拟数据例如一个或多个牙齿的一个或多个中心轴线838、840以及一个或多个虚拟工具、虚拟器械、虚拟植入体部件和/或虚拟植入体可以相对于解剖结构例如牙齿或口腔结构(例如牙齿、珐琅质或牙龈)的表面和/或相对于底层骨骼和结构(例如仅在影像学检查中可见)的表面维持在它们的位置，而与颌骨运动、咬合或非咬合和/或下颌骨或上颌运动无关。图42E是如何基于来自空隙814的信息(例如通过延伸穿过空隙的最深点或区域)以及基于来自相邻牙齿的信息(例如通过平行于一个或多个相邻牙齿的中心轴线838)来导出虚拟手术导引物810(例如虚拟轴线810)的示例。
图42F是如何基于来自相邻牙齿的信息(例如通过近似居中或位于两个相邻牙齿的中心轴线838和840之间)来导出虚拟手术导引物810(例如虚拟轴线810)的示例。
图42G是被选择用于植入空隙814中的物理牙科植入体820的示例。牙科植入体820可以通过下述方式来放置、定向、对准和/或推进：所述方式为使用牙科或口腔结构的表面上可见的信息，例如通过将物理牙科植入体820与投影到牙科或口腔结构(例如牙齿、牙釉质或牙龈)的表面上或者投影或显示在空隙814中的虚拟轴线810对准、以及/或者使用来自成像数据的信息，所述成像数据例如由一个或多个光学头戴式显示器显示，光学头戴式显示器与相应的解剖结构例如一个或多个根832、834、836或下颌骨或上颌骨或其部分对准和/或叠加在相应的解剖结构上例如一个或多个根832、834、836或下颌骨或上颌骨或其部分。
图42H是物理牙科植入体820在其正朝向预期或预定的植入部位移动和/或行进时的一个示例。物理牙科植入体820可以定向成与虚拟外科手术导引物810(例如虚拟轴线810)对准并叠加在其上，虚拟外科手术导引物可由一个或多个光学头戴式显示器显示和/或叠加在牙或口腔结构(例如牙齿、牙釉质、牙龈)的表面上，并且/或者可由一个或多个光学头戴式显示器叠加在牙根832或上颌骨上、由来自影像学检查的光学头戴式显示器叠加或者通过将影像学检查与光学头戴式显示器叠加。
图42I示出了物理牙科植入体820，物理牙科植入体820可以包括标记828，以用于例如在运动期间追踪物理牙科植入体的位置、定向和/或对准和/或坐标。标记可以是光学标记、导航标记、发光二极管或任何说明书中描述的或本领域已知的其他标记。标记可以是惯性测量单元。标记可以是可附接的和/或可拆卸的。不是使用标记来追踪，而是可以使用例如图像捕获和/或视频捕获系统和/或三维扫描仪来执行物理牙科植入体820的直接追踪。由于植入体的几何结构和标记在物理植入体上的位置是已知的，因此物理植入体的中心轴线830可以由计算机处理器确定。物理植入体的中心轴线830或虚拟二维或三维轮廓可以在物理牙科植入体820的移动和追踪期间由一个或多个光学头戴式显示器显示，以用于将其与虚拟手术导引物810(例如虚拟轴线810)叠加和/或对准。
图42J示出了物理牙科植入体820，物理牙科植入体820可以包括标记828，以用于例如在运动期间追踪物理牙科植入体的位置、定向和/或对准和/或坐标。物理牙科植入体820已经被移动和对准成使得其中心轴线830与虚拟手术导引物810(例如，在本例中为虚拟轴线810)对准。通过将物理牙科植入体820(包括其中心轴线830)与虚拟手术导引物810(例如虚拟轴线810)对准，物理牙科植入体820可以以精确的方式放置处于预定位置、定向、对准和/或坐标，例如在虚拟手术计划中制定的和/或通过使用术前或术中成像来确定的。
光学头戴式显示器可以在最初的任何位置显示虚拟植入体部件，比如投射到手术野上或手术野外部比如髋关节、膝关节、肩关节、踝关节或脊柱。光学头戴式显示器可以选择性地以相对于手术室中的固定结构成一限定角度(比如，正交或平行)来显示虚拟植入体部件，其可以使用集成到光学头戴式显示器和空间识别软件(比如，由Microsoft提供的具有Microsoft Hololens的软件)中的一个或多个摄像头、图像捕获或视频捕获系统和/或三维扫描仪来来识别，或者其可以使用一个或多个附加的光学标记或导航标记(包括但不限于红外或射频标记)识别。比如，一个或多个光学标记可以附接到手术台的延伸部分。光学头戴式显示器可以检测这些一个或多个光学标记并确定它们的坐标，并由此确定手术台的水平面。虚拟植入体部件然后可以以相对于手术台垂直或以另一角度例如预定角度来显示。当膝关节置换或髋关节置换被预期时，例如当膝关节置换或髋关节置换被先前确定时，虚拟植入体部件可以以相对于一个或多个解剖或生物力学轴线例如机械和/或解剖和/或旋转轴线成一限定角度例如成预定角度来显示。虚拟植入体部件可以显示或投影为与一个或多个解剖标志或者关节的关节表面(包括相对的关节表面)相切。虚拟植入体部件可以显示为与一个或多个解剖标志或者关节的关节表面(包括相对的关节表面)相交。
外科医生可以移动虚拟植入体组件以使其在植入部位上的期望位置和/或定向上对准。然后，外科医生可以通过评估叠加在预期植入部位上的植入体组件的虚拟图像的尺寸和适合性，评估虚拟植入体组件的尺寸和虚拟植入体组件的适合性。外科医生可以移动和对准虚拟植入体组件，使得例如其外表面与预期植入部位的外表面(包括例如关节表面或相对的关节表面)位于同一位置，例如具有相似或基本相同的坐标。外科医生可以评估植入体在不同尺寸区域中的突出或尺寸过小，例如滑车、中心或远端承重区域中的内侧和外侧髁、在其他承重区域，在高屈曲区域，并且外科医生可以移动例如平移、弯曲或旋转植入体组件以优化覆盖并最小化潜在悬伸。光学头戴式显示器可以显示在植入部位外表面下方突出的虚拟植入体组件的其他部分，包括用于骨固定的任何骨切口或其他植入特征，例如面向有毛刺的骨表面的表面，例如用于手动去毛刺或用机器人去毛刺，或者用于固定的钉或支柱或龙骨。如果虚拟植入体组件对于植入部位而言太大，例如导致植入体悬伸在患者的骨骼上，则外科医生可以取消所显示的特定尺寸的虚拟植入体组件的虚拟显示，并且外科医生可以从虚拟和物理植入体组件库中选择较小的虚拟植入体组件。如果虚拟植入体组件对于植入部位而言太小，例如导致不能良好覆盖患者的骨骼，则外科医生可以取消所显示的特定尺寸的虚拟植入体组件的虚拟显示，并且外科医生可以从虚拟和物理植入体组件库中选择较大的虚拟植入体组件。如果植入体具有与患者形状不太相似的形状，例如在关节表面区域，外科医生可以取消显示的虚拟植入体组件的虚拟显示，并且外科医生可以从虚拟和物理植入体组件库中选择具有不同形状的虚拟植入体组件。这种不同的形状可以是例如不同的远端和/或后髁偏移、不同的内侧和外侧髁宽度、不同的内侧和外侧胫骨形状，例如在关节表面和/或胫骨组件周边上、不同的内侧和外侧聚乙烯厚度、不同的滑车凸缘形状和/或高度、不同的髌骨形状和/或大小。以这种方式，外科医生可以优化植入体尺寸和并在实际手术部位中以三维方式配合，而不是使用，比如，二维X光或三维影像学检查(比如，计算机断层扫描和磁共振)恢复到术前尺寸和配合度。如果植入部位的特征在于一个或多个不对称性，比如，在膝关节或肿瘤或内部器官中，则外科医生可以为植入部位选择确定一个或多个不对称植入体组件的尺寸和配合度，可选地具有不同的不对称性和几何结构。例如，在膝关节置换中，外科医生可以通过光学头戴式显示器观察内侧和外侧股骨髁之间的偏移，并且例如使用在内侧髁软骨(例如正常受损或患病的)和/或软骨下骨表面与外侧髁软骨(例如正常受损或患病的)和/或软骨下骨表面之间观察到的偏移，以类似于患者原生髁偏移的偏移虚拟地配合一个或多个植入体组件。
外科医生可移动虚拟植入体组件，以将其放置和/或对准和/或定向在给定患者的植入部位上的期望定位、位置和/或定向。由于在患者的活体植入部位上执行移动和对准，外科医生可以优化植入体的定位、位置和/或定向。外科医生可以进一步修改和/或优化虚拟植入体组件的定位、位置和/或定向，通过此，可以修改物理植入体组件，使其在植入部位中用于期望功能，比如，期望的弯曲角度、旋转角度、运动范围、韧带松弛、所需运动。外科医生可以将虚拟植入体组件的至少一部分外表面与植入部位的至少一部分外表面对准，包括正常软骨、受损或患病软骨、软骨下骨、皮质骨、关节表面的一部分、整个关节表面、相对关节表面的一部分、整个相对关节表面中的一者或多者。在外科医生将虚拟植入体组件放置、对准和/或定向叠加在所需位置和/或定向，在活体植入部位上方或与活体植入部位对准后，比如，在其中光学头戴式显示器和植入部位也可以配准的共同坐标系中保存虚拟植入体组件的坐标。所保存的虚拟植入体组件的坐标可选择包含在虚拟手术计划中，该虚拟手术计划也可选择在共同坐标系中配准。光学头戴式显示器随后可以显示一个或多个虚拟手术器械和/或虚拟植入体组件的一个或多个数字全息图，其中一个或多个虚拟手术器械或虚拟植入体组件的一个或多个数字全息图的定位、位置和/或定向是从虚拟植入体组件的保存坐标导出或考虑的。
比如，在髋关节置换术中，可以在手术部位附近显示虚拟髋臼杯，其包括，暴露的患者髋臼。外科医生可以使用虚拟或其他接口移动虚拟髋臼杯，并将其叠加到暴露的患者髋臼上。外科医生可以评估虚拟髋臼杯的尺寸和配合度。外科医生可以通过选择更小或更大的虚拟髋臼杯来扩大或缩小虚拟髋臼杯的尺寸，直到外科医生对髋臼杯的虚拟图像与患者暴露的髋臼的配合感到满意为止。外科医生可选择将虚拟髋臼杯居中于患者暴露的髋臼中心上方，与虚拟髋臼杯的外缘相匹配，与暴露的患者髋臼缘的上、下、内侧和外侧相一致或相等。然后，可以保存虚拟髋臼杯的坐标，比如，在其中手术部位、髋臼和/或近端股骨、和光学头戴式显示器配准的同一坐标系中。以这种方式识别的虚拟髋臼杯的坐标可用于设定期望的髋臼前倾，比如，在髋臼杯的扩孔或撞击期间。可选的，外科医生安装和放置的虚拟髋臼杯的虚拟图像可以在碰撞物理髋臼杯之前由光学头戴式显示器显示。然后，外科医生可以将物理髋臼杯与髋臼杯的虚拟投影对准；一旦实现了期望的对准，外科医生就可以开始挤入物理髋臼杯，同时可选择间歇地将其位置和/或定向(包括偏移和前倾)与虚拟髋臼杯的虚拟显示进行比较。
在一些实施方案中，在髋关节置换中，可以在包括患者的暴露的近端股骨的手术部位附近显示虚拟股骨组件，可选择包括头部组件。外科医生可以使用虚拟或其他接口移动虚拟股骨组件，可选择包括头部组件，并且可选择在股骨颈切割之前和/或之后将虚拟股骨组件叠加到患者的暴露的近端股骨上。外科医生可以评估虚拟股骨组件的尺寸和配合，可选择包括头部组件；光学头戴式显示器可选择显示与手术部位在共同坐标系中配准的患者的一个或多个术前或术中X光图像或其他影像学检查，比如，计算机断层扫描或核磁共振，例如，与手术部位处或附近的相应解剖标志配准；影像学检查可以叠加到近端股骨的相应部分上，比如，在X光或影像学检查中具有大转子的活体患者的大转子，在X光或图像研究中具有较小转子的活体患者的小转子。外科医生可以通过选择更小或更大的虚拟股骨组件来扩大或缩小虚拟股骨组件的尺寸，直到外科医生对髋臼杯的虚拟图像与患者的暴露的近端股骨的适合性、或者股骨组件和/或股骨头的虚拟图像以及患者的投影或显示的X光或影像学检查(包括骨髓腔和/或骨内膜接口)的适合性，感到满意。外科医生可选择将虚拟股骨组件居中于暴露的近端股骨上，可选在股骨颈切割之前和/或之后，也在切割的股骨颈表面居中位置，使虚拟股骨组件和/或虚拟股骨头与相应的解剖结构或患者成像数据对准。外科医生可以任选地配合或选择虚拟组件，使得虚拟股骨组件的股骨头旋转中心类似于或重合于患者的原生股骨头的旋转中心。然后，可以保存虚拟股骨组件和/或虚拟股骨头的坐标，比如，在其中手术部位，髋臼和/或近端股骨，和光学头戴式显示器配准的同一坐标系中。以这种方式识别的虚拟股骨组件和/或虚拟股骨头的坐标可用于设定期望的股骨前倾和/或偏移，比如，在股骨组件的扩孔或拉削期间。可选择，外科医生配合和放置的虚拟股骨组件和/或股骨头的虚拟图像可以在挤入物理股骨组件之前由光学头戴式显示器显示。然后，外科医生可以将物理虚拟股骨组件和/或股骨头与股骨组件和/或股骨头的虚拟投影对准；一旦实现了期望的对准，外科医生就可以开始撞击物理股骨组件，同时可选择间歇地将其位置和/或定向(包括偏移和前倾(anteversion))与虚拟股骨组件的虚拟显示进行比较。在股骨优先技术中，外科医生可以将包括前倾的最终股骨组件位置与包括前倾的预期股骨组件位置进行比较，例如通过显示叠加在植入的物理股骨组件上的虚拟股骨组件。如果显示器指示位置和/或定向的差异，包括植入的物理股骨组件相对于虚拟股骨组件的前倾，则可以测量该差异，并且可以用于修改髋臼杯的放置。例如，如果虚拟股骨组件的显示显示虚拟显示的股骨组件与物理股骨组件之间的前倾差异，则该前倾差异可用于修改髋臼杯的前倾，使得组合前倾与术前患者的原生组合前倾相似或相同。
在一些实施方案中，在膝关节置换中，可以在包括患者的暴露的远端股骨的手术部位附近显示虚拟股骨组件。外科医生可以使用虚拟或其他接口移动虚拟股骨组件，比如，虚拟股骨组件的虚拟图像上的“接触区域”与外科医生的手和/或手指的图像或视频捕获和/或三维扫描和/或手势追踪，并且选择性在任何骨切割之前和/或之后，将该虚拟股骨组件叠加到患者暴露的远端股骨上。外科医生可以评估虚拟股骨组件的尺寸和配合度。外科医生可以评估三维配合度，向前、向后、在内侧髁的内侧面、在内侧髁的外侧面、在外侧髁的内侧面、在外侧髁的外侧面、在髁间凹陷中、在内侧和外侧滑车区域，相对于一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面和/或形状和/或一个或多个皮质骨表面和/或形状。外科医生可以针对不同程度的股骨组件弯曲和/或伸展以及不同程度的股骨组件旋转(例如外部旋转)来评估虚拟股骨组件的尺寸、配合和形状或几何结构，所述股骨组件旋转相对于患者的物理远侧股骨包括关节表面(例如软骨、正常的、受损的或患病的)和软骨下骨。外科医生可以通过从虚拟库中选择更小或更大的虚拟股骨组件或不同的形状来扩大或缩小虚拟股骨组件，直到外科医生对股骨组件相对于并叠加在患者暴露的远端股骨上的虚拟表示的配合和/或形状感到满意，例如相对于内侧和/或外侧髁的内侧和/或外侧缘或边缘，和/或表16中列出的任何标志、特征、尺寸、形状、测值、几何结构，例如，与膝关节相关的。如果虚拟股骨植入体组件对于植入部位而言太大，则外科医生可以取消或删除所显示的特定尺寸的虚拟股骨组件的虚拟显示，并且外科医生可以从虚拟和物理股骨组件库中选择较小的虚拟股骨组件。如果股骨植入体组件对于植入部位而言太小，则外科医生可以取消或删除所显示的特定尺寸的虚拟股骨组件的虚拟显示，并且外科医生可以从虚拟和物理股骨组件库中选择更大的虚拟股骨组件。如果植入体具有与患者形状相似的形状，例如在关节表面区域，外科医生可以取消显示的虚拟植入体组件的虚拟显示，并且外科医生可以从虚拟和物理植入体组件库中选择具有不同形状的虚拟植入体组件。外科医生还可以评估虚拟股骨组件的位置和/或定向，以确定相对于患者远端股骨的物理前皮质的可能切割，并且虚拟地选择避免刻痕的虚拟股骨组件。外科医生可以虚拟地放置虚拟股骨组件，使得其前凸缘能够远离远端股骨的前皮质；虚拟股骨组件的最终位置和/或定向和/或对准和/或坐标可以被保存、存储和/或集成到虚拟手术计划中。例如，它们可以用于制定、调整或修改虚拟手术计划。
外科医生可以评估虚拟股骨组件的形状，并将其与患者远端股骨的形状进行比较，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面和/或形状，例如在内侧股骨髁和/或外侧股骨髁和/或滑车区域。外科医生可以任选地将虚拟股骨组件的至少部分外表面与患者关节表面的至少部分对准，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面和/或形状，例如在内侧股骨髁、外侧股骨髁和/或滑车关节表面上。外科医生可以从植入体的虚拟库中选择不同形状的虚拟股骨组件，比如，股骨组件，其具有内侧远端股骨髁和外侧远端股骨髁之间的一个或多个偏移，和/或内侧后股骨髁与外侧后股骨髁之间的一个或多个相同或不同的偏移。偏移可以是股骨髁的内侧远侧和/或后侧以及外侧远侧和/或后侧的不同半径的反映，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或髁的一个或多个软骨下骨表面和/或形状。比如，外科医生可以将虚拟股骨组件的内侧髁的外表面或凸起的至少一部分与患者的物理内侧髁的至少部分外表面对准；如果虚拟股骨组件的外侧髁的外表面或凸起相对于患者的物理外侧髁的外表面是隆起的，即延伸超出患者的物理外侧髁的外表面，则外科医生可以丢弃虚拟股骨组件的数字全息图，并从虚拟库中选择不同的虚拟股骨组件；比如，外科医生可以选择具有比内侧髁半径更小的外侧髁半径的虚拟股骨组件和/或具有相比于内侧髁的外侧髁的远端和/或后侧偏移。
如果股骨髁因骨关节炎或类风湿性关节炎而显著变形，或者股骨髁发育不良，外科医生可以选择一个或多个半径不同于变形或发育不良的股骨髁的股骨组件。可以选择虚拟股骨组件，使得所选择的虚拟股骨组件产生更正常的形状，例如类似于患者的正常健康髁。例如，可以选择虚拟股骨组件，使得其关节表面相对于骨关节炎中变形或发育不良的股骨髁的平坦、变形或发育不良的关节表面的一部分或全部是凸出的。例如，可以选择虚拟胫骨组件，使得其关节表面相对于骨关节炎中变形胫骨坪的平坦变形关节表面的一部分或全部是凸出的。
在实施方案中，虚拟股骨、胫骨和/或髌骨组件可以被虚拟地确定尺寸和/或选择和/或放置和/或对准，使得其关节表面的一个或多个部分延伸超过患者的物理股骨、胫骨或髌骨的一个或多个关节表面的至少一部分的外表面，例如一个或多个软骨表面和/或形状，例如正常、受损或患病的，和/或一个或多个软骨下骨表面和/或一个或两个髁、胫骨内侧坪、胫骨外侧坪和/或滑车和/或髌骨的形状。
在实施方案中，虚拟股骨、胫骨和/或髌骨组件可以被虚拟地确定尺寸和/或选择和/或放置和/或对准，使得其关节表面的一个或多个部分保持在患者的物理股骨、胫骨或髌骨的一个或多个关节表面的至少一部分的外表面的内部，例如一个或多个软骨表面和/或形状，例如正常的、损坏的或患病的，和/或一个或多个软骨下骨表面和/或一个或两个髁、胫骨内侧坪、胫骨外侧坪和/或滑车和/或髌骨的形状。
在实施方案中，虚拟股骨、胫骨和/或髌骨组件可以被虚拟地确定尺寸和/或选择和/或放置和/或对准，使得其关节表面的一个或多个部分与患者的物理股骨、胫骨或髌骨的一个或多个关节表面的至少一部分的外表面对准和/或叠加，例如一个或多个软骨表面和/或形状，例如正常、受损或患病的、和/或一个或多个软骨下骨表面和/或一个或两个髁、胫骨内侧坪、胫骨外侧坪和/或滑车和/或髌骨的形状。
在实施方案中，虚拟股骨、胫骨和/或髌骨组件可以被虚拟地确定尺寸和/或选择和/或放置和/或对准，使得其关节表面的一个或多个部分可以与患者的物理股骨、胫骨或髌骨的一个或多个关节表面的至少一部分的外表面对准和/或叠加和/或可以延伸超过其和/或保持在其内部，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面和/或一个或两个髁、胫骨内侧坪、胫骨外侧坪和/或滑车和/或髌骨的形状。外科医生可以根据一个或多个前述实施方案虚拟地放置虚拟组件；虚拟组件的最终位置和/或定向和/或对准和/或坐标可以被保存、存储和/或集成到虚拟手术计划中。例如，它们可以用于制定、调整或修改虚拟手术计划。
一个或多个虚拟植入体组件相对于患者关节表面或整个关节表面的一个或多个部分的前述虚拟尺寸、选择、放置和/或对准，例如相对于一个或多个物理软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个物理软骨下骨表面和/或形状，其中虚拟植入体组件的关节表面的部分或全部延伸超过患者关节表面的至少部分、保持在患者关节表面的至少部分内部和/或与患者关节表面的至少部分对准和/或叠加，可以应用于所有关节，例如用于髋关节置换中的股骨或髋臼组件、肩关节置换中的肱骨或关节盂组件，还使用例如表16中列出的髋关节和肩部、胫骨组件或踝关节置换中的距骨组件等的关节表面特征和/或形状和/或几何结构。
外科医生可以突出、移动、对准多个不同的虚拟股骨组件形状，例如与内侧和/或外侧股骨髁的外表面，例如以多个不同的偏移，直到外科医生已经识别出产生期望形状的虚拟股骨组件，通常类似于患者远端股骨的形状，并且在胫骨组件的情况下，为患者的近端胫骨，例如内侧胫骨坪、外侧胫骨坪和/或两者，例如使用一个或多个物理软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个物理软骨下骨表面和/或形状。如果选择具有内侧和外侧股骨组件之间的偏移的虚拟股骨组件，则可以可选地为胫骨聚乙烯选择匹配的偏移，其中胫骨插入件的外侧部分可以比对应于虚拟股骨组件的外侧股骨髁的较小半径的胫骨插入件的内侧部分厚1、2、3、4、5、6、7、8毫米或更多毫米或在0.1毫米到10毫米的范围。可以保存虚拟股骨组件的最终位置的坐标，并且可选择将其结合到虚拟手术计划中。如果虚拟手术计划指示虚拟股骨组件的相对于虚拟手术计划的位置、定向、对准、旋转、植入体屈曲的变化，则外科医生可以调整虚拟股骨组件的位置以更接近虚拟手术计划的预期的位置、定向、对准、旋转、植入体屈曲，或复制它。或者，可以基于虚拟股骨组件的位置、定向、对准、旋转、植入体屈曲来修改虚拟手术计划。
在一些实施方案中，在膝关节置换中，可以在手术部位附近显示虚拟胫骨组件，包括患者的暴露的近端胫骨。外科医生可以使用虚拟或其他接口移动虚拟胫骨组件，比如，虚拟胫骨组件的虚拟图像上的“接触区域”与外科医生的手和/或手指的图像或视频捕获和/或手势追踪，并且可选择在任何骨切割之前和/或之后，将虚拟胫骨组件叠加到患者的暴露的近端胫骨上。外科医生可以评估虚拟胫骨组件的尺寸和配合度，例如相对于胫骨内侧和/或外侧坪上的一个或多个物理软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个物理软骨下骨表面和/或形状。外科医生可以评估三维，前，后，胫骨内侧坪的内侧面，胫骨外侧坪的外侧面，的配合度。外科医生可以评估虚拟胫骨组件的尺寸和配合度，用于不同水平的胫骨切割和不同的胫骨斜度以及不同程度的胫骨组件旋转，比如，外旋。例如，外科医生可以评估对于不同切除水平和/或不同胫骨斜度的胫骨覆盖的大小和配合度以及量。这对于植入体的选择很重要，因为胫骨的周长和/或表面积由于正常胫骨从近端到远端逐渐变细的形状而随着胫骨切除的进行而改变，例如减小。此外，胫骨的周长和/或表面积可以随着切除斜度的增加或减小而改变；例如，随着斜度的增加，切除的胫骨表面的周长和形状可以延长。因此，外科医生可以虚拟地放置和/或对准虚拟胫骨组件，包括例如虚拟金属背衬组件和/或虚拟聚乙烯，模拟例如虚拟切除水平，例如对于期望的和/或预定的切除水平和/或对于给定的内侧和/或外侧和/或内侧和外侧胫骨组件厚度，包括例如金属和聚乙烯和/或其他组件的复合厚度，和/或对于期望的关节表面压力，例如内侧和/或外侧，和/或期望的韧带张力。外科医生可以虚拟地放置和/或对准虚拟胫骨组件，包括例如虚拟金属背衬组件和/或虚拟聚乙烯，用于期望的例如预定的胫骨斜度，例如0、1、2、3、4、5或更多度，或者从0到10度的范围中选择，例如使用固定斜度，或者患者的原生内侧和/或外侧斜度。然后，外科医生可以针对期望的和/或预定的胫骨切除水平和/或胫骨斜度评估配合度和/或前、后、内侧和/或外侧骨覆盖，并且外科医生可以选择优化前、后、内侧和/或外侧骨覆盖的胫骨植入体组件；此外，对于期望的和/或预定的胫骨切除水平和/或胫骨斜度，外科医生可以选择最小化植入体悬伸和潜在的软组织撞击的胫骨组件。外科医生可以使用例如单参数或多参数优化和/或选择和/或配合和/或对准来选择胫骨植入体组件，该胫骨植入体组件优化前、后、内侧和/或外侧骨覆盖，并且对于期望的和/或预定的胫骨切除水平和/或胫骨斜度最小化植入体悬伸和潜在的软组织撞击。可选地，光学头戴式显示器可以显示数值和/或测值，例如对于各种胫骨切除水平的胫骨斜度和/或胫骨斜度，指示例如对于给定的虚拟胫骨植入体组件位置和/或对准，与未切除关节表面的距离和/或胫骨斜度。
可选地，外科医生可以基于预定组件厚度、关节内压力或力测量中的一者或多者来虚拟地放置和/或对准虚拟植入体组件，例如使用具有电子压力传感器的Tekscan(Tekscan,Inc.,South Boston,MA)类装置或具有电子压力传感器的股骨或胫骨试验组件，和/或期望的和/或预定的胫骨切除水平和/或期望的和/或预定的胫骨斜度；这些参数中的任何一个可以相对于彼此进行优化，并且可以相应地制定和/或修改和/或更新虚拟胫骨组件的虚拟置位和/或对准和相关虚拟手术计划。
这种压力或力的测量，例如在内侧和/或外侧隔室中的压力或力的测量，也可以用于优化虚拟股骨组件的虚拟置位、对准、配合和/或尺寸，以及虚拟手术计划的相关可选制定、修改、调整。
外科医生可以相对于患者的活体或物理胫骨(包括切开的胫骨)旋转虚拟胫骨组件，和/或任何运动学测量，例如，在膝关节弯曲和伸展期间使用追踪光学标记移动，使用虚拟或其他接口。外科医生可以通过从虚拟库中选择更小或更大的虚拟胫骨组件来扩大或缩小虚拟胫骨组件，直到外科医生对胫骨组件的虚拟表示和患者暴露的近侧胫骨(包括切开的胫骨)的配合感到满意，例如通过评估胫骨骨覆盖的量和/或百分比，例如<60％、<70％、<80％、<90％、<95％或从60％到99％的范围。可选地，光学头戴式显示器可以指示对于给定的或预定的虚拟胫骨植入体组件放置和/或对准以及给定的或预定的虚拟胫骨植入体组件尺寸和/或形状，例如从库中选择的，以及给定的或预定的胫骨切除水平和/或斜度，虚拟切除的胫骨表面的估计覆盖范围的数值。该百分比可以例如基于胫骨的三维模型来估计，可选地通过光学头戴式显示器叠加到患者的物理胫骨上，并且通过在三维模型中模拟胫骨切除来估计。
类似地，外科医生可以例如通过评估胫骨植入体悬伸相对于估计的切除骨表面的量和/或百分比，例如1、2、3、4、5或更多毫米，或者对于一个或多个区域的范围从0到15毫米，来评估切除骨上可能导致潜在的软组织撞击的植入体悬伸的量。可选地，光学头戴式显示器可以指示对于给定的或预定的虚拟胫骨植入体组件放置和/或对准以及给定的或预定的虚拟胫骨植入体组件尺寸和/或形状，例如从库中选择的，以及给定的或预定的胫骨切除水平和/或斜度，虚拟切除的胫骨表面的估计悬伸量的数值。悬伸量可以例如基于胫骨的三维模型来估计，可选地通过光学头戴式显示器叠加到患者的物理胫骨上，并且通过在三维模型中模拟胫骨切除来估计。
也可以对股骨组件进行一些骨覆盖和/或植入体组件悬伸分析。外科医生可以通过从虚拟库中选择更小或更大的虚拟胫骨组件来扩大或缩小虚拟股骨组件，直到外科医生对股骨组件的虚拟表示和患者暴露的远端股骨(包括切开的股骨)的配合感到满意，例如通过评估股骨覆盖的量和/或百分比，例如<60％、<70％、<80％、<90％、<95％或从60％到99％的范围。可选地，光学头戴式显示器可以指示对于给定的或预定的虚拟股骨植入体组件放置和/或对准以及给定的或预定的虚拟股骨植入体组件尺寸和/或形状(例如从库中选择的)以及给定的或预定的股骨组件弯曲和/或旋转，虚拟切除的股骨表面的估计覆盖范围的数值。该百分比可以例如基于股骨的三维模型来估计，可选地通过光学头戴式显示器叠加到患者的物理远端股骨上，并且通过在三维模型中模拟股骨切除来估计。
类似地，对于一个或多个内侧和/或外侧和/或前部和/或后部区域，外科医生可以例如通过评估股骨植入体悬伸相对于估计的切除骨表面的量和/或百分比，例如1、2、3、4、5或更多毫米或0-15毫米的范围，来评估切除股骨上的植入体悬伸的量，这可能导致潜在的软组织撞击。可选地，光学头戴式显示器可以指示对于给定的或预定的虚拟股骨植入体组件放置和/或对准以及给定的或预定的虚拟股骨植入体组件尺寸和/或形状，例如从库中选择的，以及给定的或预定的股骨组件弯曲和/或旋转，虚拟切除的股骨表面的估计悬伸量的数值。悬伸量可以例如基于股骨的三维模型来估计，任选地通过光学头戴式显示器叠加到患者的物理远端股骨上，并且通过在三维模型中模拟股骨切除来估计。
如果虚拟胫骨植入体组件对于植入部位而言太大，则外科医生可以取消所显示的特定尺寸的虚拟胫骨组件的虚拟显示，并且外科医生可以从虚拟和物理胫骨组件库中选择较小的虚拟胫骨组件。如果胫骨植入体组件对于植入部位而言太小，则外科医生可以取消所显示的特定尺寸的虚拟胫骨组件的虚拟显示，并且外科医生可以从虚拟和物理胫骨组件库中选择更大的虚拟胫骨组件。外科医生还可以评估虚拟胫骨组件的位置和/或定向，以确定是否存在交叉韧带保留植入体的可能的后交叉韧带撞击，或者是否存在双褶保留、交叉韧带保留、后交叉韧带替代和双交叉韧带替代植入体的髌腱撞击。
外科医生可以评估虚拟胫骨组件的形状，并将其与患者近端胫骨的形状进行比较。外科医生可选择从来自胫骨组件的虚拟库的可选的各种不同的不对称胫骨形状中选择不对称的虚拟胫骨组件。外科医生可以可选地从可选的各种不同的内侧和外侧胫骨高度中选择虚拟胫骨组件，并从胫骨组件的虚拟库中选择聚乙烯厚度。
外科医生可以任选地将虚拟胫骨组件的外表面的至少一部分，例如一个或多个聚乙烯插入件的上表面，与患者胫骨关节表面的至少一部分对准，例如在胫骨内侧坪、胫骨外侧坪，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面。通过将虚拟胫骨组件的外表面的至少一部分，比如，一个或多个聚乙烯插入件的上表面，与患者的胫骨关节表面的至少一部分对准，比如，在胫骨内侧坪、胫骨外侧坪上，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面，外科医生可以确定胫骨切割的期望斜度，比如，如果外科医生打算切割胫骨并安装具有类似于患者固有斜度的胫骨组件。通过将虚拟胫骨组件的外表面的至少一部分，例如一个或多个聚乙烯插入件的上表面与患者胫骨关节表面的至少一部分对准，例如在胫骨内侧坪、胫骨外侧坪，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面，外科医生可以确定胫骨聚乙烯的任何期望的内侧到外侧偏移。
例如，外科医生可以将包括内侧聚乙烯的虚拟胫骨组件的内侧部分的外上表面或投影的至少部分与患者的物理胫骨内侧坪的外表面的至少部分对准，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面；如果虚拟胫骨组件的胫骨聚乙烯外侧部分的外上表面的外表面或突起相对于患者的物理胫骨外侧坪的外表面位于下面、下方，即保持在患者的物理胫骨外侧坪的外表面之下，例如一个或多个软骨表面和/或形状，例如正常的、损坏的或患病的，和/或一个或多个软骨下骨表面，外科医生可以丢弃虚拟胫骨组件的数字全息图，并从虚拟库中选择不同的虚拟胫骨组件；例如，外科医生可以选择包括聚乙烯的虚拟胫骨组件，该聚乙烯具有比内侧插入部分更厚的外侧插入部分。外科医生可以重复该过程，直到获得期望的内侧和/或外侧关节线位置和/或高度、对准、匹配或配合。虚拟胫骨组件的数字全息图的外部轮廓、形状或表面在内侧和/或外侧与患者胫骨坪的对准，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面，可以采用任何期望的内翻或外翻矫正和/或斜度和/或胫骨切除和/或胫骨复合植入体厚度，和/或内侧和/或侧面隔室压力和/或力，例如用电子传感器测量，例如通过基于期望的内翻或外翻校正和/或斜度或任何其他参数调整选定的内侧或外侧聚乙烯厚度或形状。可以保存虚拟胫骨组件的最终位置的坐标，并且可选择将其结合到虚拟手术计划中。如果虚拟手术计划指示虚拟胫骨组件相对于虚拟手术计划的位置，定向，对准或斜度的变化，则外科医生可以调整虚拟胫骨组件的位置以更接近预期位置，定向，对准，和/或虚拟手术计划的斜度或复制它。可选地，虚拟手术计划可以基于虚拟胫骨组件的位置、定向、对准、旋转和/或斜度来修改，并且类似地基于股骨组件和/或髌骨组件的位置、定向、对准、弯曲和/或旋转来修改。
在实施方案中，光学头戴式显示器可以将关节(例如远端股骨、近端胫骨和/或髌骨)的三维解剖模型投影到患者的关节上，即对应的骨，例如患者的远端股骨、近端胫骨和/或髌骨。三维解剖模型例如可以是“标准关节”，例如具有从群体样本平均的形状，或者例如从诸如可视人类项目的数据获得的形状。外科医生可以将三维模型投影、移动、对准和/或叠加到患者的关节上，例如相对于包括股骨内侧和/或外侧髁的远端股骨的外表面，或者包括胫骨内侧和/或外侧坪的近端胫骨坪的外表面，或者髌骨的外表面。突出、移动和/或对准可以相对于患者软骨进行，例如正常、患病或受损的软骨、软骨下骨和/或皮质骨。外科医生然后可以使用说明书中描述的任何接口(包括例如虚拟接口，例如通过手势识别)来使三维模型变形。三维模型的变形可以被执行以改善关于内外侧位、正位、上外下内尺寸、关节曲率、关节几何结构、关节偏移、关节形状、软骨曲率或形状(例如正常的、患病的或受损的)、软骨下骨或形状、皮质骨曲率或形状、关节表面曲率和/或形状中的一者或多者的配合和/或对准，并且改善关于例如表11、12、16中列出的任何示例性参数、标志、几何结构、形状和/或特征的配合或对准。一旦外科医生已经完成三维模型的变形，以实现三维模型与患者关节的三维形状的改进的配合和/或对准，软件可以为例如表11、12、16中列出的任何前述参数和/或任何示例性参数、标志、几何结构、形状和/或特征选择最接近变形的三维模型形状的植入体和/或植入体组件的虚拟三维模型。使膝关节的三维模型变形以改善与患者关节的配合和/或对准的概念可以以这种方式用于植入体的配合、对准、尺寸确定和/或选择，例如在膝关节置换、髋关节置换、肩关节置换、脚踝置换、肘部置换和小关节置换中。它也可以应用于脊柱装置，例如脊柱融合器和运动保持植入体。
在另一个实施方案中，一个或多个光学头戴式显示器可以将具有例如球体或圆柱体的形状的三维模型投影到关节上。外科医生可以将三维模型移动和/或对准关节的一部分。例如，光学头戴式显示器可以将圆柱体投影到远端股骨上，并且外科医生可以使用虚拟投影和接口(例如虚拟接口)移动圆柱体，以将其叠加和/或将其与内侧和/或外侧髁对准。光学头戴式显示器可以将球体或椭球体体积/表面投影到近端胫骨上，并且外科医生可以使用虚拟投影和接口(例如虚拟接口)移动球体或椭球体，以将其叠加和/或将其与胫骨内侧和/或外侧坪对准。然后，外科医生可以评估三维模型的配合，例如与一个或多个关节表面半径、曲率和/或形状的关系，例如与正常、受损或患病的软骨或软骨下骨的关系，或者与旋转或平移轴线的关系，并且外科医生可以选择最接近一个或多个关节表面半径、曲率和/或形状的三维模型，例如球体、圆柱体、椭球体，例如相对于患者的正常、受损或患病的软骨或软骨下骨、或者一个或多个轴线。可选地，外科医生可以使三维模型变形，例如球体、圆柱体、椭球体，使得其近似一个或多个关节表面半径、曲率和/或形状，例如相对于正常、受损或患病的软骨或软骨下骨，或者其与一个或多个轴线对准。一旦外科医生选择了三维模型，例如球体、圆柱体或椭球体，或者完成了三维模型的变形，例如球体、圆柱体、椭球体，以实现三维模型与患者关节的三维形状的改进的配合和/或对准，该软件可以选择植入体和/或植入体组件的虚拟三维模型，该模型对于例如表11、12、16中列出的任何前述参数和/或任何示例性参数、标志、几何结构、形状和/或特征来说最接近变形三维模型的形状。例如，外科医生安装和/或对准内侧和/或外侧股骨髁的选定或变形的圆柱体可用于从库中选择具有所需髁半径的股骨组件。例如，外科医生配合和/或对准到内侧和/或胫骨外侧坪的选定或变形球体或椭圆可用于从库中选择具有所需胫骨关节表面承载几何结构(例如半径或曲率)的胫骨组件。变形预先存在的形状(例如圆柱体、球体或椭球体)的三维模型的概念可以以这种方式用于植入体的配合、对准、尺寸确定和/或选择，例如在膝关节置换、髋关节置换、肩关节置换、脚踝置换、肘关节置换和小关节置换中。它也可以应用于脊柱装置，例如脊柱融合器和运动保持植入体。
在实施方案中，光学头戴式显示器可以将植入体组件(例如远端股骨组件、近端胫骨组件和/或髌骨组件)的三维模型投影到患者的关节上，即投影到相应的骨骼上，例如患者的远端股骨、近端胫骨和/或髌骨上。三维植入体组件模型可以是例如“标准植入体组件模型”，例如具有从植入体尺寸和/或形状范围平均的形状。外科医生可以将三维模型投影、移动、对准、叠加到患者的关节上，例如相对于包括股骨内侧和/或外侧髁的远端股骨的外表面，或者包括胫骨内侧和/或外侧坪的近端胫骨坪的外表面，或者髌骨的外表面。突出、移动和/或对准可以相对于患者软骨进行，例如正常、患病或受损的软骨、软骨下骨和/或皮质骨。外科医生然后可以使用说明书中描述的任何接口(包括例如虚拟接口，例如通过手势识别)来使三维模型变形。三维模型的变形可以被执行以改善关于内外侧位、正位、上外下内尺寸、关节曲率、关节几何结构、关节偏移、关节形状、软骨曲率或形状(例如正常的、患病的或受损的)、软骨下骨或形状、皮质骨曲率或形状、关节表面曲率和/或形状中的一者或多者的配合和/或对准，并且改善三维植入体模型关于例如所列的任何示例性参数、标志、几何结构、形状和/或特征的配合或对准。一旦外科医生已经完成三维植入体组件模型的变形，以实现三维植入体组件模型与患者关节的三维形状的改进的配合和/或对准，软件可以选择植入体和/或植入体组件的虚拟三维模型，该虚拟三维模型对于例如表11、12、16中列出的任何前述参数和/或任何示例性参数、标志、几何结构、形状和/或特征来说最接近变形的三维植入体组件模型的形状。变形植入体组件的三维模型以改善与患者关节的配合和/或对准的概念可以以这种方式用于植入体的配合、对准、尺寸确定和/或选择，例如，在膝关节置换、髋关节置换、肩关节置换、踝关节置换、肘部置换和小关节置换中。它也可以应用于脊柱装置，例如脊柱融合器和运动保持植入体。
当外科医生移动，定向或对准虚拟股骨组件、虚拟胫骨组件和/或虚拟髌骨组件时，光学头戴式显示器可以显示对准标准。所得到的股骨和/或胫骨组件的内翻/外翻矫正或对准、外/内旋转、股骨组件的弯曲和/或胫骨组件的斜度、Q角和轴线可以数值或图形显示，并且可选地，基于虚拟手术计划与例如期望的内翻/外翻矫正或对准、股骨和/或胫骨组件的外/内旋转、股骨组件的弯曲和/或胫骨组件的斜度、Q角和轴线进行比较。外科医生可以选择应用不同的对准标准，例如解剖对准，其中外科医生可以例如将一个或多个虚拟和物理植入体表面与患者的一个或多个关节表面更紧密地匹配或近似，例如一个或多个软骨表面和/或形状，例如正常的、受损的或患病的，和/或一个或多个软骨下骨表面，例如一个或两个股骨髁、内侧和/或胫骨外侧坪、滑车和/或髌骨。
图35是一个说明性非限制性示例，说明如何在膝关节置换中使用将植入体组件与患者的实时物理关节(包括例如关节表面)虚拟对准的概念。髋关节的旋转中心可以确定520。例如，这可以通过使用从膝关节延伸到髋关节中心的标准对准杆来实现520。这也可以通过使用本领域已知的手术导航技术来实现，例如通过执行股骨远端的圆周运动，同时通过旋转中心的推导来追踪导航标记的移动520。可选地，光学标记可以应用于远端股骨，例如患者的骨骼或皮肤或其他组织，并且远端股骨可以以圆形方式移动，其中光学标记的移动可以使用集成到、附接到或分离于光学头戴式显示器520的摄像头系统来追踪，并且旋转中心可以例如使用枢转技术来确定，如示例中所述。外科医生可以使用虚拟或标准接口放置一个或多个虚拟股骨组件522。外科医生可以最初评估虚拟股骨组件相对于患者的实时、物理股骨的配合和形状，并且可选地选择不同的虚拟股骨组件，直到已经识别出具有适合患者远端股骨几何结构的最佳尺寸、配合和形状的虚拟股骨组件。外科医生然后可以使用虚拟或其他接口放置例如移动、旋转、平移、屈曲由光学头戴式显示器投影的虚拟股骨组件，使得其位于患者的物理远侧股骨的中心，例如使得组件的内侧边缘和组件的外侧边缘与患者的原生远侧股骨的内侧边缘和外侧边缘等距，和/或使得例如，滑车凸缘和组件的后髁与患者的原生、物理滑车和后髁等距，和/或使得髁或具有PS设计的盒之间的中心区域位于患者的原生未操作滑车的中心，和/或使得股骨植入体组件的内侧和/或外侧关节表面在伸展和/或10、15、20、25、30、35、40、45等屈曲度处与患者的内侧和/或外侧关节表面(例如软骨和/或软骨下骨)相切522。一旦外科医生确定虚拟股骨组件已经位于患者股骨远端的中心，股骨组件的中心或中心点可以被确定524，其可以是内侧髁和外侧髁之间的中心，例如在髁的0度弯曲、15度弯曲、20度弯曲或25度弯曲位置，或者可以是PS盒的中心524，和/或其可以是前凸缘和后骨切口之间的中心和/或它可以是滑车关节表面和后髁关节表面之间的中心，和/或其可以是前凸缘和后切口表面之间具有最短距离的线或滑车关节表面和后髁关节表面之间具有最短距离的线与通过切口区域和/或髁的中心的冠状平面的交点，例如在零度屈曲时。本领域技术人员可以认识到确定股骨组件的中心或中心点的其他方法。虚拟放置的股骨组件的中心或中心点可以是患者原生的、未手术的物理远端股骨的中心或中心点的近似值或估计值。一旦虚拟放置的股骨组件的中心被确定524，股骨机械轴线可以被确定为例如从股骨组件的中心(或患者远端原生远端股骨的中心)延伸到髋关节旋转中心的线526。可选地，股骨角度，即股骨机械轴线和竖直线之间的角度，可以被确定528。
踝关节的中心可以确定530。例如，这可以通过使用从膝关节延伸到脚踝的标准对准杆530来实现。这也可以通过使用本领域已知的手术导航技术来实现。光学标记可以应用于脚踝，例如内踝和外踝，例如患者的骨骼或皮肤或其他组织，或者应用于任选接触内踝和外踝的踝夹。光学标记的位置可以使用集成到、附接到或分离于光学头戴式显示器520的摄像头系统来确定，并且例如，在踝夹的尺寸已知的情况下，可以确定踝关节的中心。外科医生可以使用虚拟或标准接口532放置一个或多个虚拟胫骨组件。外科医生可以最初评估虚拟胫骨组件相对于患者的实时、物理胫骨的配合和形状，并且可选地选择不同的虚拟胫骨组件，直到已经识别出具有适合患者近端胫骨几何结构的最佳尺寸、配合和形状的虚拟胫骨组件。外科医生然后可以使用虚拟或其他接口放置例如移动、旋转、平移、弯曲由光学头戴式显示器投影的虚拟胫骨组件，使得其位于患者的物理近端胫骨的中心532，例如使得组件的内侧边缘和组件的外侧边缘与患者近端胫骨的内侧边缘和外侧边缘等距，和/或使得组件的前部和后部与患者的物理近端胫骨等距(除非考虑旋转调整)和/或使得胫骨组件的中心区域位于患者的原生未手术胫骨脊上的中心，和/或使得胫骨植入体组件的内侧和/或外侧关节表面与患者的内侧和/或外侧关节表面相切，例如软骨(正常、受损和/或患病)和/或软骨下骨532。与内侧和/或外侧关节表面相切的虚拟胫骨组件的放置也可以用于确定患者的原生胫骨斜度，例如通过将其与冠状和/或矢状平面进行比较，冠状和/或矢状平面可以基于手术台来估计，例如患者所在手术台的主平面。一旦外科医生确定虚拟胫骨组件已经在患者的近端胫骨上居中，胫骨组件的中心或中心点可以被确定534，其可以是植入体的内侧和外侧以及前侧和后侧边缘之间的中心534。虚拟放置的胫骨组件的中心或中心点可以是患者原生的、未操作的物理近端胫骨的中心或中心点的近似值或估计值。一旦虚拟放置的胫骨组件的中心被确定534，胫骨机械轴线可以被确定为例如从胫骨组件的中心(或者患者的原生近端胫骨的中心)延伸到踝关节的中心的线536。可选地，胫骨角度，即胫骨机械轴线和竖直线之间的角度，可以被确定538。
利用已知的髋关节旋转中心520和踝关节中心530，可以确定腿部的机械轴线540。利用已知的股骨机械轴线526和已知的胫骨机械轴线536，可以任选地确定髋关节-膝关节角度，即股骨机械轴线和胫骨机械轴线之间的角度542。基于528、538和542中的角度和/或526和536中的轴线，可以确定潜在的内翻/外翻畸形和期望的内翻/外翻矫正544。
然后，外科医生可以决定是用中性的，即180度，机械轴线对准完全矫正下面的内翻或外翻畸形546，还是用一些残余的内翻或外翻部分矫正潜在的畸形，例如对应于患者膝关节的先天性内翻或外翻，548是优选的。外科医生也可以选择不对下面的和内翻的外翻畸形进行校正550，从而保持在虚拟置位552期间放置的植入体组件的对准，例如与股骨和/或胫骨关节表面相切，例如一个或多个软骨表面和/或形状，例如正常的、损坏的或患病的，和/或一个或多个软骨下骨表面，例如一个或多个弯曲角度。然后，可以针对实际确定的植入体位置以及股骨和胫骨植入体组件的几何结构来确定股骨和/或胫骨切割或骨移除554。
通过将内翻或外翻畸形完全校正到正常的机械轴线546，以及将内翻或外翻畸形部分校正548，可以针对给定的植入体和/或植入体组件几何结构来确定股骨和/或胫骨切口，例如它们的角度、定向和/或位置，或者骨移除，以实现期望的机械轴线矫正556。利用内翻或外翻畸形和机械轴线的全部546和部分548矫正，股骨和/或胫骨植入体组件的位置随后可以针对实现轴线校正所需的骨切割或骨移除进行调整558，考虑了所选植入体和/或植入体组件的几何结构。
可选地，可以获得膝关节的术中运动学测量，以确定患者的胫股和髌股运动模式和/或运动，包括运动范围、屈曲、伸展、旋转、平移、不稳定性560。例如，可以通过使用手术导航系统追踪附连到股骨、胫骨和/或髌骨的导航标记的移动，通过测量来自附连到股骨、胫骨和/或髌骨的一个或多个惯性测量单元的信号，通过使用集成到、附连到或分离于光学头戴式显示器的相机系统和/或三维扫描仪的运动捕获的运动分析，或者通过使用集成到、附连到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来监测附连到股骨、胫骨和/或髌骨的光学标记的移动，来执行这种术中运动学测量560。可选地，所测量的运动模式或运动可以被校正，例如移除潜在的不稳定性562，或者增加更多后倾或更少后倾，或者增加更多旋转或更少旋转，或者增加更多弯曲或更少弯曲，或者增加更多伸展或更少伸展。使用运动学测量560和/或运动学和运动模式的任何矫正562，可以修改植入位置和/或定向，以获得与测量或矫正的患者的运动学或运动模式相似的植入后性能564。植入位置和/或定向的这种改变可以例如在步骤558或552和554中实现。
骨切割或骨移除的坐标可被输入到股骨、胫骨和/或髌骨的虚拟手术计划中，其可用于将虚拟手术工具、虚拟器械、虚拟植入体和/或虚拟切割平面或虚拟骨移除与光学头戴式显示器对准，或者可用于引导机器人执行骨切割或骨移除，或者可用于手术导航系统以引导切割块或器械的放置。骨切割或骨去除然后可以例如使用包括一次性切割块或器械(例如骨锯或去毛刺器)的标准来实现，具有可选的光学头戴式显示器引导，例如将物理切割块或切割工具与虚拟显示的切割块或切割工具对准，或者切割平面的虚拟投影来对准物理锯片566。骨切割或骨移除也可以使用机器人来执行，该机器人可以例如引导骨锯或去毛刺器，例如用于表面重修植入体568。骨切割或骨移除也可以使用手术导航来执行，例如使用切割块、骨锯或一个或多个去毛刺器570。
在另一个实施方案中，该方法或技术包括图35第1和第2部分的步骤，其中步骤522“虚拟放置股骨组件，例如与内侧髁的内侧边缘和外侧髁的外侧边缘等距，和/或与内侧和外侧髁关节表面相切，例如远端承重区，或在股骨弯曲承重区域15度、30度、45度处”被替换为“确定远端股骨的几何形状和/或形状，例如内侧和/或外侧髁，例如软骨、软骨下骨、内侧、外侧髁边缘/壁、滑车形状，例如使用指针或指示装置，例如使用导航系统跟踪的指示器或指示装置、导航标记(例如红外线、射频)、光学标记(例如具有几何图案)、发光二极管(例如使用图像或视频捕获系统跟踪的发光二极管)、惯性测量单元，例如具有股骨几何结构和/或形状的可选“绘制”(如说明书的其他部分所述)和/或使用光学成像系统和/或三维扫描仪(如说明书的其他部分所述)”。因此，在该实施方案中，股骨的几何结构和/或形状或其部分可以使用指针或指示装置来确定，该指针或指示装置可以使用导航系统和导航标记(例如红外、射频)来追踪，或者可以使用光学标记(例如具有几何图案)来追踪，或者可以使用发光二极管(例如使用图像或视频捕获系统来追踪)，或者可以使用惯性测量单元或其组合来追踪。所生成的点和点云可以例如用于“绘制”股骨几何结构和/或形状，并生成股骨远端或其部分的三维模型，例如如说明书的其他部分所述。或者，光学成像系统和/或三维扫描仪可用于对远端股骨成像，并生成患者远端股骨或其部分的三维模型，如说明书的其他部分所述。
在另一个实施方案中，该方法或技术包括图35第1部分和第2部分的步骤，其中步骤524“确定虚拟放置的股骨组件的中心，例如两个髁之间的中心点，例如在0、15、20、25或其他屈曲度”被替换为“确定远端股骨的三维模型的中心或中心点”。因此，在该实施方案中，使用三维模型来确定患者远端股骨的中心或中心点，所述三维模型使用所描述的任何技术生成，用于“确定远端股骨的几何结构和/或形状，例如内侧和/或外侧髁，例如软骨、软骨下骨、内侧、外侧髁边缘/壁、滑车形状，例如使用指针或指示装置，例如使用导航系统追踪、导航标记(例如红外、射频)、光学标记，例如几何图案、发光二极管，例如使用图像或视频捕获系统追踪，惯性测量单元例如使用股骨几何结构和/或形状的可选‘绘制’(如说明书的其他部分所述)和/或使用光学成像系统和/或三维扫描仪(如说明书的其他部分所述)”，即替代步骤522。可选地，远端股骨的中心可以使用各种几何方法从三维模型中确定，例如通过定义矢状面和/或冠状面和/或轴向面和/或线的交点，例如平行于内侧髁和外侧髁的一个或两个壁放置并在内侧髁和外侧髁之间等距放置的矢状面，放置在距远端关节表面限定距离处的轴向面，以及冠状平面，该冠状平面等距放置在远端股骨干的前皮质和后皮质之间，或者等距放置在滑车的最前点和后髁的最后点之间。本领域技术人员将认识到用于限定远端股骨中心的其他技术，这些技术也可以应用于不同的屈曲度，例如0度、15度、20度、25度或其他屈曲度。
在另一个实施方案中，该方法或技术包括图35第1和第2部分的步骤，其中步骤532“虚拟放置胫骨组件，例如，与胫骨内侧坪的内侧边缘和胫骨外侧坪的外侧边缘等距，或者在胫骨脊上居中放置，和/或与胫骨内侧和/或外侧关节表面相切”替换为“确定胫骨近端的几何形状和/或形状，例如胫骨内侧和/或外侧平台，例如软骨、软骨下骨、胫骨内侧、外侧、前部、后部平台边缘/壁、皮质骨，例如使用指针或指示装置，例如使用导航系统跟踪、导航标记(例如红外线、射频)、光学标记(例如具有几何图案)、发光二极管(例如使用图像或视频捕获系统跟踪)、惯性测量单元，例如通过胫骨近端几何结构和/或形状的可选‘绘制’(如说明书的其他部分所述)和/或使用光学成像系统和/或三维扫描仪(如说明书的其他部分所述)”。因此，在该实施方案中，胫骨近端的几何结构和/或形状或其部分可以使用指针或指示装置来确定，该指针或指示装置可以使用导航系统和导航标记(例如红外、射频)来追踪，或者可以使用光学标记(例如具有几何图案)来追踪，或者可以使用发光二极管(例如使用图像或视频捕获系统来追踪)，或者可以使用惯性测量单元或其组合来追踪。所生成的点和点云可以例如用于“绘制”胫骨近端几何结构和/或形状，并生成胫骨近端或其部分的三维模型，例如如说明书的其他部分所述。可选地，光学成像系统和/或三维扫描仪可用于对近端胫骨成像，并生成患者近端胫骨或其部分的三维模型，如说明书的其他部分所述。
在另一个实施方案中，该方法或技术包括图35第1部分和第2部分的步骤，其中步骤534“确定虚拟放置的胫骨组件的中心，例如内侧和外侧、前侧和后侧边缘之间的中心点相交”被替换为“确定近端胫骨的三维模型的中心或中心点”。因此，在该实施方案中，使用三维模型来确定患者的近端胫骨的中心或中心点，所述三维模型使用任何所描述技术生成，用于“确定近端胫骨的几何结构和/或形状，例如内侧和/或胫骨外侧坪，例如软骨、软骨下骨、内侧、外侧、前侧、后侧胫骨坪边缘/壁、皮质骨，例如使用指针或指示装置，例如使用导航系统追踪，导航标记(例如红外、射频)，光学标记，例如具有几何图案，发光二极管，例如使用图像或视频捕获系统追踪，惯性测量单元，例如使用胫骨近端几何结构和/或形状的可选“绘制”(如说明书的其他部分所述)和/或使用光学成像系统和/或三维扫描仪(如说明书的其他部分所述)”，即替代步骤532。可选地，近端比提的中心可以使用各种几何方法从三维模型中确定，例如通过定义矢状和/或冠状和/或轴向平面和/或线的交点，例如连接胫骨前边缘上最前面的点和胫骨后边缘上最后面的点的第一线和连接胫骨内边缘上最内侧的点和胫骨外侧边缘上最外侧的点的第二线的交点，和/或通过找到胫骨内侧和外侧脊柱之间的中点。本领域技术人员将认识到用于限定胫骨近端中心的其他技术。
因此，可以使用指示器和/或指示装置和/或光学成像系统和/或三维扫描仪来生成远端股骨、近端胫骨和/或髌骨的三维模型。合成的几何信息以及例如远端股骨的中心和近端胫骨的中心可以用于图35第1和第2部分中的所有后续步骤。在一个实施方案中，步骤552“在虚拟置位期间保持放置的植入体组件的对准，除非进行运动学的调整”可以可选地被删除。在一个实施方案中，步骤552“保持植入体组件在虚拟置位期间放置的对准，除非运进行动学调整”可以被替换为“保持使用三维模型确定的植入体组件的对准，除非进行运动学调整”。在该实施方案中，使用指针和/或指示装置以及相关联的点云和表面生成的三维模型和/或使用光学成像系统和/或三维扫描仪生成的三维模型可以用于例如在计算机监视器上对准和/或定向虚拟植入体组件，使得例如其内侧股骨关节支承面的一部分与患者内侧股骨髁关节面的一部分对齐，和/或其外侧股骨关节支承面的一部分与患者外侧股骨髁关节面的一部分对齐，和/或其内侧胫骨关节支承面的一部分与患者内侧胫骨关节面的一部分对齐，和/或其胫骨外侧关节支承面的一部分与患者胫骨外侧关节面的一部分对齐，例如在一个或多个屈曲角度，例如-5度(过伸)、0度、5度、10度、15度、20度或其他屈曲角度下的前述任意角度。
例如，使用这些步骤中的一者或多者，可以实现对正常机械轴线的完全矫正546、机械轴线对准的部分矫正548和/或不矫正内翻或外翻对准550。例如，机械轴线对准的部分矫正548和/或内翻或外翻对准的不矫正550可以通过将一个或多个植入体组件关节表面，例如植入体的内侧和/或外侧股骨髁和/或内侧和/或胫骨外侧坪，与一个或多个股骨和/或胫骨关节表面，例如内侧股骨髁关节表面、外侧股骨髁关节表面、胫骨内侧坪关节表面患者的胫骨外侧坪关节表面，例如正常的、受损的或患病的软骨和/或软骨下骨，例如在0、5、10、15、20、25度或其他膝关节屈曲，例如在三维膝关节模型中，例如远端股骨三维模型和/或近端胫骨三维模型中，并导出相关联的骨切割和/或骨移除556或554，并使用标准切割块或器械执行骨切割或骨移除，例如通过锯、去毛刺器和可选的光学头戴式显示器引导566，利用机器人执行骨切割或骨去除，例如利用锯或去毛刺器568，或者通过手术导航570利用标准切割块或器械(例如锯、去毛刺器)执行骨切割或骨去除。任何前述步骤可以使用说明书中描述的和/或本领域已知的任何配准技术来实现，例如用于将一个或多个三维模型配准到患者的远端股骨和/或患者的近端胫骨，和/或用于追踪一个或多个器械和/或机器人工具和装置。
本领域技术人员可以认识到，前述实施方案可以被修改并应用于髌骨置换、髌骨表面置换、髋关节置换、肩部置换和/或踝关节置换。
虚拟数据的显示，例如虚拟手术计划、虚拟平面、虚拟置位指示物、投影路径的各方面，虚拟显示装置和/或植入体组件和/或器械，包括例如虚拟手术导引物，虚拟置位装置和/或植入体组件和/或器械，虚拟评估和/或选择良好配合或最佳配合的装置和/或植入体组件和/或器械，评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体组件和/或器械，评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体组件和/或器械，虚拟确定装置和/或植入体组件和/或器械的优选位置，虚拟确定装置和/或植入体组件和/或器械的优选定向，虚拟确定装置和/或植入体组件和/或器械的优选对准，和/或虚拟地确定和/或选择优选的虚拟锚和/或附接和/或固定构件可以在任何实施方案中与正常的、受损的和/或患病的软骨、软骨表面和/或软骨形状和/或软骨下骨、软骨下骨表面和/或软骨下骨形状和/或皮质骨、皮质骨表面和/或皮质骨形状相关和/或与预定的定位、定向和/或对准来执行。预定定位、定向和/或对准可以在正常、受损和/或患病软骨、软骨表面和/或软骨形状和/或软骨下骨、软骨下骨表面和/或软骨下骨形状和/或皮质骨、皮质骨表面和/或皮质骨形状的外部和/或内部。预定定位、定向和/或对准可以与正常的、受损的和/或患病的软骨、软骨表面和/或软骨形状和/或软骨下骨、软骨下骨表面和/或软骨下骨形状和/或皮质骨、皮质骨表面和/或皮质骨形状相切和/或相交。相交可以成一个或多个预定角度。预定定位、取向和/或对准可以偏离正常的、受损的和/或患病的软骨、软骨表面和/或软骨形状，和/或软骨下骨、软骨下骨表面和/或软骨下骨形状，和/或皮质骨、皮质骨表面和/或皮质骨形状，例如相对于正常的、受损的和/或患病的软骨、软骨表面和/或软骨形状，和/或软骨下骨、软骨下骨表面和/或软骨下骨形状，和/或皮质骨、皮质骨表面和/或皮质骨形状，在x、y和/或z方向的0.5、1.0、1.5、2.0、3.0、4.0、5.0、7.0、10.0、15.0、20.0毫米的偏移。
在本发明的一些实施方案中，可以例如使用脊柱外科手术中的O形臂系统执行术中二维或三维影像学检查，比如一个或多个X光或计算机断层扫描。术中影像学检查可以在共同坐标系中与手术部位(比如，脊柱)和一个或多个光学头戴式显示器(例如由第一外科医生、外科住院医师和医师助理或护士佩戴的光学头戴式显示器)配准。光学头戴式显示器可以显示患者的被覆盖的皮肤、软组织和/或骨骼隐藏或遮挡的表面下解剖结构的一个或多个数位全息图。光学头戴式显示器可以在手术野上显示任意虚拟椎弓根螺钉。比如，任意虚拟椎弓根螺钉可以是从尺寸范围或形状范围的中间选择的椎弓根螺钉。可以基于外科医生的偏好来选择任意虚拟椎弓根螺钉。任意虚拟椎弓根螺钉可以是特定患者群体中所使用的最常见尺寸。任意虚拟椎弓根螺钉可以使用虚拟或其他接口移动。比如，任意虚拟椎弓根螺钉的虚拟图像可以包括“接触区域”，其中手势识别软件比如由微软提供的具有微软全息眼镜——包括例如用于全息图的集成虚拟“拖动功能”——的手势识别软件可用于使任意虚拟椎弓根螺钉移动。比如，集成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于接触区域的移动；使用手势追踪软件，然后可以通过使手指朝向期望方向上的接触区域前进来使任意虚拟椎弓根螺钉移动。比如，外科医生还可以通过在接触区域上闭合两个手指(比如，拇指和食指)然后使手指沿所需方向移动来“保持”任意虚拟椎弓根螺钉，从而使任意虚拟椎弓根螺钉移动到患者脊柱中的期望位置和/或定向，比如在目标椎弓根中朝向内侧椎弓根壁、朝向外侧椎弓根壁、朝向上部椎弓根壁和/或朝向下部椎弓根壁、向前和可选地向后居中。作为使虚拟椎弓根螺钉虚拟移动或对准的替代方案，椎弓根螺钉或椎体成形术或椎体后凸成形术针的虚拟预定路径也可以比如使用虚拟接口或其他接口而虚拟地移动或对准。
光学头戴式显示器可以显示最初在任何位置——比如投射到手术野比如腰椎、胸椎或颈椎上或外，——的虚拟椎弓根螺钉。光学头戴式显示器可以可选地以相对于手术室中的固定结构的限定角度——比如正交或平行的角度——显示虚拟椎弓根螺钉，其可以使用集成到光学头戴式显示器中的一个或多个摄像头、图像捕获或视频捕获系统和/或三维扫描仪以及诸如由微软提供的具有微软全息眼镜之类的空间识别软件来识别，或者其可以使用一个或多个附加的光学标记或导航标记(包括红外或射频标记)识别。然后，虚拟椎弓根螺钉可以以相对于手术室工作台垂直或成另一角度来显示。虚拟椎弓根螺钉可以以相对于一个或多个解剖学或生物力学轴线成一定角度来显示。
外科医生可以移动虚拟椎弓根螺钉以使其在椎弓根和/或椎体中的期望位置和/或取向对准。然后，外科医生可以通过对叠加在椎弓根和椎体中的预期植入部位上的虚拟椎弓根螺钉的虚拟图像的尺寸和配合度进行评估来评估虚拟椎弓根螺钉的尺寸和配合度。外科医生可以移动并对准虚拟椎弓根螺钉。如果虚拟椎弓根螺钉对于患者的椎弓根而言太大，则外科医生可以取消所显示的特定尺寸的虚拟椎弓根螺钉的虚拟显示，并且外科医生可以从虚拟和物理椎弓根螺钉库中选择较小的虚拟椎弓根螺钉。如果虚拟椎弓根螺钉对于患者的椎弓根而言太小，则外科医生可以取消所显示的特定尺寸的虚拟椎弓根螺钉的虚拟显示，并且外科医生可以从虚拟和物理椎弓根螺钉库中选择更大的虚拟椎弓根螺钉。以这种方式，外科医生可以优化椎弓根螺钉尺寸并且在实际手术部位中以三维方式逐级地配合。
虚拟手术计划
虚拟和物理手术器械和植入体组件可以在共同坐标系中例如与一个或多个光学头戴式显示器以及患者的实时数据配准。当术前影像学检查、术中影像学检查或术中测值在共同坐标系中例如使用下述各项与一个或多个光学头戴式显示器配准时：所述各项为解剖学特征、解剖标志、植入式和附接式标记、包括光学标记的校准和配准体模、带有图像捕获的发光二极管、导航标记、红外标记、射频标记、惯性测量单元或空间锚点和空间识别，器械或植入体的位置、取向、对准中的一项或多项可以使用术前和术后影像学检查和/或术中测值来预先确定。
在本发明的一些实施方案中，外科医生或操作者可以拟定虚拟手术计划。虚拟手术计划可以包括选择组织(例如骨或软骨或软组织)的虚拟切除，比如以用于安装或植入医疗装置。虚拟手术计划可包括肿瘤或其他组织的切除。虚拟手术计划可包括放置假体或移植物。可以在虚拟外科手术计划比如包括前部和后部的脊柱融合中使用保留活动度方法(motion preservation approach)的椎间盘置换、髋关节置换、膝关节置换、踝关节置换、肩部置换、交叉韧带修复或重建，韧带重建来模拟本领域已知的任何外科手术。
可以使用术中的数据或测值来制定虚拟手术计划，术中的数据或测值包括使用一个或多个光学标记获得的测值，所述光学标记例如可以使用集成到、附接到或分离于光学头戴式显示器的一个或多个摄像头、图像捕获系统、视频捕获系统和/或三维扫描仪来检测。集成到、附接到或分离于光学头戴式显示器的一个或多个摄像头、图像捕获系统、视频捕获系统和/或三维扫描仪可以例如检测以下各项的坐标：所述各项为附接到手术部位(例如骨或软骨)的一个或多个光学标记、改变的手术部位(例如骨切口)、手术台、手术台的延伸部、和/或手术室中的固定结构(例如壁)。集成到、附接到或分离于光学头戴式显示器的一个或多个摄像头、图像捕获系统、视频捕获系统和/或三维扫描仪可以检测在静态位置和/或动态移动位置中的一个或多个光学标记。可以在静态和动态条件下测量光学标记的坐标(x，y，z)。
在说明书中描述的任何其他传感器比如惯性测量单元、导航标记(比如红外标记和/或射频标记)、发光二极管可以用于获得术中测值并且可以与比如光学标记测值组合以用于导出术中测值且用于生成和/或拟定虚拟手术计划。
当期望从外科医生的视角获得测值时或者当从手术助手或第二外科医生的视角使用多个光学头戴式显示器时，使用集成到或附接到光学头戴式显示器的一个或多个摄像头、图像捕获系统、视频捕获系统和/或三维扫描仪的术中测量可能是有益的。当期望从外科医生以外的视角获得测值时或者从手术助手或第二外科医生之外的视角使用多个光学头戴式显示器时，使用与光学头戴式显示器分离的一个或多个摄像头、图像捕获系统、视频捕获系统和/或三维扫描仪的术中测量可能是有利的。
术前数据例如患者的术前影像学检查或运动学研究——例如其中关节或脊柱是在运动中测量或成像的——也可以结合到虚拟手术计划中。仅术前数据可用于制定虚拟手术计划。
可以使用计算机或计算机工作站以及本地或远端计算机或计算机网络来拟定虚拟手术计划。计算机或计算机工作站可包括一个或多个显示器、键盘、鼠标、轨迹球、鼠标垫、操纵杆、人类输入装置、处理器、图形处理器、内存芯片、存储介质、磁盘和软件，比如，用于三维重建、表面显示器、音量显示或CAD设计和显示、以及可选的CAM输出。该软件可以包括用于CAD设计的一个或多个接口，以用于显示患者的解剖结构、用于显示虚拟手术器械、以及用于显示虚拟植入体、植入体组件、医疗装置和/或医疗装置组件。
不同的解剖和病理结构以及不同的虚拟器械比如包括钻导子或切割块的虚拟手术导引物、虚拟植入体、植入体组件、医疗装置和/或医疗装置组件可以可选地同时显示在同一屏幕或屏幕部分上或不同时显示在例如不同屏幕上、不同时间的同一屏幕上、或者在不同的屏幕部分上。不同的解剖和病理结构包括隐藏和/或模糊或部分隐藏和/或模糊的解剖和病理结构以及不同的虚拟仪器比如包括钻孔导引物或切割块的虚拟手术导引物、虚拟植入体、植入体组件、医疗器械和/或医疗装置组件可选择使用不同颜色或不同阴影显示。一些不同的解剖和病理结构以及不同的虚拟器械比如包括钻孔导引物或切割块的虚拟手术导引物、虚拟植入体、入体组件、医疗装置和/或医疗装置组件可选择以轮廓模式或图案模式显示，其中仅解剖和病理结构以及虚拟器械比如包括钻孔导引物或切割块的虚拟手术导引物、不同的虚拟植入体，植入体组件、医疗装置和/或正在显示的医疗装置组件的轮廓或选择特征或模式例如以实线、点线或虚线或几何图案显示。
图11示出了如何可以使用术中数据比如术中测值140拟制虚拟手术计划141，所述术中测值比如为使用集成到、附接到或分离于光学头戴式显示器的一个或多个摄像头、图像捕获系统或视频捕获系统和/或三维扫描仪获得的测值。术中测值140可用于拟制虚拟手术计划141，其可以在共同坐标系142中配准。术中测值140也可以直接在共同坐标系142中配准。可以生成术前和/或术中扫描数据143，并且术前和/或术中扫描数据143可以可选地在光学头戴式显示器145中以二维或三维显示144。术前和/或术中扫描数据143可以选择性地结合146在虚拟手术计划141中。光学标记147可以存在于患者、手术野、手术器械或植入体上，并且可以测量它们的定位、位置、取向、移动方向和/或速度148。光学头戴式显示器145可以显示虚拟平面或路径或轴线149，并且使用虚拟接口150，外科医生可以移动平面或路径或轴线以及可选的虚拟植入体或器械。可选择，光学头戴式显示器145可以显示隐藏的或内部结构151，比如在术前或术中影像学检查或两者的组合上可视化，并且外科医生或软件可以使平面、轴或路径、以及可选择的虚拟植入体或器械相对于隐藏的或内部结构149对准。平面、轴或路径或虚拟手术器械或虚拟植入体可以移动以与解剖标志和/或解剖轴和/或生物力学轴152相切或相交，比如用于对准目的或者用以实现器械或植入体的预定位置和/或取向。光学头戴式显示器可以通过显示电子全息图来投影左眼和右眼的立体视图，其中虚拟数据使用左眼位置和取向将虚拟数据叠加到左眼的实时数据叠加上153并且使用右眼位置和取向将虚拟数据叠加到右眼的实时数据叠加上154。153和154中的投影虚拟数据可用于相对于患者的实时数据将一个或多个手术器械、植入体组件和植入体定位、定向、对准、引导或放置在比如预定位置、取向、对准方向或位置155。手术器械、植入体组件和植入体中的一项或多项的位置、定向、对准方向或位置可以可选地使用虚拟接口150与隐藏的解剖结构或内部结构151对准。本领域技术人员可以认识到，可以使用多个坐标系代替共同坐标系。在该情况下，坐标转移可以从一个坐标系应用到另一坐标系比如用于配准光学头戴式显示器、患者的实时数据包括手术部位，虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
图12是用于生成虚拟手术计划的另一示例性工作流程。比如，在远离手术室的位置获取患者的图像数据290。图像数据可以例如通过诸如ftp或因特网之类的电子数据传输例程传输到计算机或工作站291。患者的成像数据可以在三维中重建292。成像数据可以二维或三维显示在计算机显示器或光学头戴式显示器上293。
图13示出了如何使用术中数据(比如，术中测值140)来修改虚拟手术计划157的示例。可以使用患者143的术前和术中图像数据来拟定虚拟手术计划157。虚拟手术计划157可以配准在共同坐标系142中。可以生成术前和/或术中扫描数据143，并且术前和/或术中扫描数据143可以可选地在光学头戴式显示器145中以二维或三维显示144。术前和/或术中扫描数据143可用于拟定虚拟手术计划157，其可由光学头戴式显示器145选择性显示158。光学标记147可以存在于患者、手术野、手术器械或植入体上，并且可以测量它们的定位、位置、取向、移动方向和/或速度148。光学头戴式显示器145可以显示虚拟平面或路径或轴线149，并且使用虚拟接口150，外科医生可以移动平面或路径或轴线以及可选的虚拟植入体或器械。可选地，光学头戴式显示器145可以显示隐藏的或内部结构151，比如在术前或术中影像学检查或两者的组合上可视化，并且外科医生可以使平面、轴或路径、以及可选择的虚拟植入体或器械相对于隐藏的或内部结构149对准。平面、轴或路径或虚拟手术器械或虚拟植入体可以移动以与解剖标志和/或解剖轴和/或生物力学轴152相切或相交，比如用于对准目的或者用以实现器械或植入体的预定位置和/或取向。光学头戴式显示器可以通过显示电子全息图来投影左眼和右眼的立体视图，其中虚拟数据使用左眼位置和取向将虚拟数据叠加到左眼的实时数据叠加上并且使用右眼位置和取向将虚拟数据叠加到右眼的实时数据叠加上154。153和154中的投影虚拟数据可用于相对于患者的实时数据将一个或多个手术器械、植入体组件和植入体定位、定向、对准、引导或放置在预定位置、取向、对准方向或位置155。手术器械、植入体组件和植入体中的一项或多项的位置、定向、对准方向或位置可以可选地使用虚拟接口150与隐藏的解剖结构或内部结构151对准。术中测值140可用于生成或修改虚拟手术计划157。虚拟手术计划157和/或修改的虚拟手术计划162可选地叠加在患者159的术前和术中图像数据上。虚拟手术计划157和/或修改的虚拟手术计划162可选地叠加在患者159的术前和术中图像数据上。可以基于视觉或光学回馈或输入161进一步修改已修改的虚拟手术计划162，并且已修改的虚拟手术计划162可以用于将一个或多个虚拟或物理器械、植入体组件和/或植入体定位、定向、对准、引导、放置在预定位置155。本领域技术人员可以认识到，可以使用多个坐标系代替共同坐标系。在该情况下，坐标转移可以从一个坐标系应用到另一坐标系比如用于配准光学头戴式显示器、患者的实时数据包括手术部位，虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
在本发明的一些实施方案中，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置中的一项或多项、以及预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分中的一项或多项、和/或一种或多种预定组织变化或改变可以由外科医生使用虚拟或其他接口来移动、重新定向和/或重新对准。例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置中的一项或多项的虚拟表示、以及预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变中的一项或多项的虚拟表示可以包括“接触区域”，其中图像或视频捕获系统和/或三维扫描仪和手势识别软件，比如，微软提供的具有微软全息眼镜的手势识别软件(例如包括用于全息图的集成虚拟“拖动功能”)可用于移动虚拟数据。比如，集成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于接触区域的移动；使用手势追踪软件随后可以通过使手指沿期望的方向推向接触区域来移动全息图。比如，外科医生还可以通过在接触区域上闭合两个手指(比如，拇指和食指)然后沿期望方向移动手指来“保持”全息图。
放置规则、选择规则、设计规则
虚拟手术计划可选地包括用于手术器械和/或医疗装置、植入体或植入体组件的放置规则。这些放置规则可以基于标准手术规则或标准手术技术比如膝关节成形术，髋关节成形术或椎弓根螺钉的放置规则。用于虚拟手术计划的放置规则或选择规则或设计规则可以基于患者的解剖结构、期望的植入体、假体或医疗装置定位、位置、定向、旋转或对准、一个或多个解剖轴线、一个或多个生物力学轴线、膝关节或下肢的机械轴线、一个或多个旋转轴线、植入体、植入体组件或医疗装置的期望功能。比如，可以使用外科手术计划的放置规则或选择规则或设计规则来选择植入体。放置规则或选择规则或设计规则可包括植入体、植入体组件或医疗器械尺寸或形状。放置规则或选择规则或设计规则可包括避免某些软组织、血管或神经结构以及其他敏感组织或结构比如旨在保留的韧带。比如，在单室关节成形术中，放置规则可以包括竖向胫骨切割保留内侧胫骨脊柱。在十字韧带保留全膝关节置换术中，放置规则可包括比如通过以避免后十字韧带的方式设计骨切割在胫骨切割期间保留后十字韧带。虚拟手术计划的放置规则、选择规则或设计规则可以包括患者的人口统计信息比如体重、身高、年龄、性别、其他信息比如骨矿物质密度或结构、临床病史、既往骨折史或功能信息比如关节的运动、或代谢信息比如某些器官或病理组织。比如基于使用用于虚拟手术计划的放置规则、选择规则或设计规则的解剖标准、病理标准或功能标准，可以自动放置虚拟医疗装置、装置组件或植入体。使用放置规则、选择规则或设计规则放置虚拟医疗装置可以是手动的、半自动或自动的。手动的、半自动或自动的放置规则通常需要软件和用户接口。
比如，在脊柱外科手术中，椎弓根螺钉在虚拟手术计划中的放置可以基于：
-椎弓根螺钉或相关骨空隙之间的距离，以将椎弓根螺钉接纳到部分或全部椎弓根中的内侧表面、外侧表面、上部表面和/或下部表面或皮质表面。
-椎弓根螺钉或相关骨空隙之间的面积或体积，以将椎弓根螺钉接纳到部分或全部椎弓根的内侧表面、外侧表面、上部表面和/或下部表面或皮质表面。
关于距离或面积的前述信息也可用于选择椎弓根螺钉的尺寸、宽度、直径或长度。
在脊柱外科手术中，在虚拟手术计划中椎弓根螺钉的放置也可以基于：
-椎弓根螺钉的位置，包括其梢端在椎体中的位置。
-椎弓根螺钉的位置，包括其梢端与脊柱/椎体骨折的关系。
-椎弓根螺钉的位置，包括其梢端与上终板的关系。
-椎弓根螺钉的位置，包括其梢端与下终板的关系。
-椎弓根螺钉的位置，包括其梢端与前椎骨皮质的关系。
-椎弓根螺钉的位置，包括其梢端与血管的关系。
-椎弓根螺钉的位置，包括其梢端与主动脉的关系。
-椎弓根螺钉的位置，包括其梢端与下腔静脉的关系。
-椎弓根螺钉的位置，包括其梢端与神经结构、耳囊、神经根和/或脊髓的关系。
-椎弓根螺钉之间的距离、面积或体积，包括其梢端至脊柱/椎体骨折的距离、面积或体积。
-椎弓根螺钉之间的距离、面积或体积，包括其梢端至上终板的距离、面积或体积。
-椎弓根螺钉之间的距离、面积或体积，包括其梢端至下终板的距离、面积或体积。
-椎弓根螺钉之间的距离、面积或体积，包括其梢端至前椎骨皮质的距离、面积或体积。
-椎弓根螺钉(包括其尖端与血管)之间的距离、面积或体积。
-椎弓根螺钉(包括其尖端到主动脉)之间的距离、面积或体积。
-椎弓根螺钉(包括其尖端至下腔静脉)之间的距离、面积或体积。
-椎弓根螺钉(包括其尖端与神经结构、骶骨囊、神经根和/或脊髓)之间的距离、面积或体积。
关于位置或距离或面积或体积的前述信息也可用于选择椎弓根螺钉的尺寸、宽度、直径或长度。
脊柱外科手术中椎弓根螺钉的放置和选择可基于前述任何一种，包括其任何组合。
外科医生可以接收患者的二维或三维或多维信息。可以例如使用显示屏比如与光学头戴式显示器分离的计算机屏幕来显示信息。外科医生可以使用患者的二维或三维或多维信息在计算机屏幕上标记解剖结构或病理结构。可以可选地比如使用本领域中已知的图像处理技术对信息进行分割或者可以对其进行修改。可以使用光学头戴式显示器单元的显示器比如使用虚拟用户接口来执行标记。
外科医生还可以标记外科医生想要在手术期间保存或保护的敏感组织比如神经、脑结构、血管等。当虚拟手术计划和相关的解剖学数据或病理组织信息被传输至光学头戴式显示器或由光学头戴式显示器显示时，可以比如使用不同的颜色来突出显示这种敏感结构。手术计划可以被设计、调整或修改成使得避免敏感结构或仅最小程度地干扰敏感结构。比如，如果虚拟手术计划会导致手术器械(比如，手术刀、锯、钻头或钻头)与敏感结构(比如，血管或神经)之间的干扰，则可以通过使虚拟手术器械的位置、定位、定向和/或方向移动来调整或修改虚拟手术计划，以避免敏感结构与手术器械的任何干扰或接触。可以使用光学头戴式显示器单元的显示器比如使用虚拟用户接口来执行标记。比如，外科医生可以可选地用手指指向或圈出活体手术部位上的敏感结构，包括通过可选地接触敏感组织。集成到、附接到或分离于光学头戴式显示器的一个或多个摄像头、图像或视频捕获系统和/或三维扫描仪可以检测手指运动并且可以突出显示外科医生手指指出或圈出的敏感区域。
在本发明的一些实施方案中，如果不能避免手术器械与一个或多个敏感结构之间的干扰或接触(在虚拟数据和/或实时或物理手术中)，则可以调整或修改虚拟手术计划以比如使用组织牵开器而通常至少部分地移动敏感结构，进而使手术器械与敏感结构的任何干扰或接触减至最小或减少。
在本发明的一些实施方案中，如果不能(在虚拟数据和/或实时或物理手术中)避免手术器械与一个或多个敏感结构之间的干扰或接触，则可以调整或修改虚拟手术计划以比如使用虚拟和实时患者物理金属或塑料护罩来至少部分地保护敏感结构，进而使手术器械与敏感结构的任何干扰或接触减至最小或减少，其中金属或塑料护罩可选地插置在敏感结构与手术器械之间。
外科医生可以标记假体、移植物或植入体或其组件的期望定位、位置、定向和/或对准。植入材料可包括有机和无机物质。植入材料可包括生物和非生物物质。
比如在髋关节置换手术中，外科医生可以指示髋臼组件或股骨组件的期望定位、位置、定向、对准、前倾或偏移。利用股骨组件，外科医生还可以指示期望的股骨颈切除水平和股管中的组件的期望位置，包括进入切割股骨颈的期望入口点比如内侧、外侧、前侧或后侧以及期望的进入角度。利用髋臼组件，外科医生还可以指示期望的扩孔深度和任何期望的内侧化或侧向化。
通过植入任意医疗装置，外科医生可以指示医疗装置的期望定位、位置、定向、对准。因此，虚拟手术计划可以显示医疗装置的期望定位、位置、定向或对准。虚拟手术计划还可以显示医疗装置相对于相邻组织的期望定位、位置、定向或对准。相邻组织可以是相同器官或关节的组织。相邻组织也可以是相邻敏感结构的组织，比如血管、神经、其他器官等。
外科医生可选择模拟医疗装置的不同定位、位置、定向或对准。当医疗装置需要如同下述情况的一个以上部件时，模拟医疗装置的不同定位、位置、定向或对准可能是特别有用的，比如
-椎弓根螺钉、连接器和脊柱固定杆
-人造椎间盘例如金属终板和超高分子量聚乙烯活动滑动芯
-膝关节置换组件，包括胫骨托、聚乙烯衬垫、股骨组件、移动轴承
-髋关节置换组件，包括髋臼杯、髋臼衬垫、股骨头、可选模块化股骨颈、股骨柄或单块股骨颈和髋关节
利用这些多组件装置，外科医生可以规划虚拟手术计划中各个组件的放置，并且外科医生可选地评估各个组件相对于彼此的定位、位置、定向或对准。然后，外科医生可以对虚拟计划中以及可选地稍后实时手术中的一个或多个部件的放置(比如，定位、位置、定向、旋转或对准)进行调整。
可选地，外科医生也可以测试这些组件彼此相关的功能。比如，在用于人工椎间盘的外科手术计划中，软件可以允许外科医生利用虚拟外科手术计划或运动模拟中包括的一个或多个医疗装置组件虚拟地模拟左侧和右侧的脊柱弯曲或伸展或侧向弯曲。外科医生可以重复虚拟手术计划或模拟，使其具有向左和向右的不同程度的屈曲或伸展或侧向弯曲和/或具有不同尺寸或形状的医疗装置或医疗装置组件。如果不同尺寸和形状之间的零件或组件或医疗装置可互换，则外科医生可以选择使用不同尺寸的组件比如使用大尺寸的聚乙烯插入件或具有中等尺寸金属背衬的间隔件来重复虚拟手术计划或模拟，反之亦然。
外科医生可选择将具有不同尺寸和/或形状的医疗装置组件叠加在信息上，并且选择最适合患者或最匹配患者的装置组件。
在本发明的一些实施方案中，当使用术前数据(比如，术前图像数据)拟定虚拟手术计划时，信息将从外科医生或操作者的办公室(比如，放射学办公室)发送至中央网站，比如用于图像处理或用于生成促成处理数据或信息的初始手术计划草案。处理后的信息可以传回给外科医生或操作者。外科医生或操作者可以查看手术计划草案。外科医生或操作者可以接受手术计划草案。外科医生或操作者可选择修改手术计划草案。可以选择将接受或修改的手术计划草案传送回中央网站。中央网站可以比如生成指令以运送外科医生已经接受或选择的具有接受或修改的外科手术计划的某些医疗装置组件。
当使用术中数据来拟定虚拟手术计划时，外科医生可以比如使用他或她办公室中的计算机、标准硬件组件、显示器和软件、手术室中的计算机、标准硬件组件、显示器和软件、或比如使用虚拟接口的光学头戴式显示器、或其组合来自己拟制部分或整个虚拟手术计划。包括光学头戴式显示器的不同计算机可以通过网络比如WiFi或LiFi网络来连接。
外科医生可选地将术前数据结合到虚拟手术计划中。比如，在膝关节置换中，外科医生可以使用比如光学标记来执行术中测值以确定腿的机械轴线且定义股骨和/或胫骨和/或髌骨解剖标志，并将它们配准在公共坐标中系统，并且可以用于虚拟手术计划，该虚拟手术计划也可以在共同坐标系统中配准。然后，外科医生可以合并或输入来自一个或多个术前和/或术中膝关节X光的数据，比如股骨、胫骨或髌骨组件尺寸和/或期望的内翻或外翻矫正和/或期望的股骨和/或胫骨组件旋转和/或期望的股骨组件弯曲和/或期望的胫骨斜度、和/或期望的股骨、胫骨和/或髌骨组件位置和/或定向和/或对准到虚拟手术计划中。标准数据比如固定的胫骨斜度——比如0度、3度或5度——也可以结合到虚拟手术计划中。任何前述内容都可以在共同坐标系中配准，并且可选择由光学头戴式显示器虚拟显示。
在髋关节置换中，外科医生可以使用比如光学标记比如通过使用带有一个或多个附接的光学标记的指针指向它们来执行术中测值以确定髋关节的旋转中心的位置，进而限定股骨和髋臼标志比如大转子的顶部、龈沟点比如大转子与股骨颈之间的最低点、以及较小的转子、髋臼缘和/或髋臼的中心；这些术中测值和其他术中测值可以配准在共同坐标系中，并且可以用于虚拟手术计划，其也可以在共同坐标系中配准。然后，外科医生可以合并或输入来自一个或多个术前和/或术中髋部X光和/或骨盆X光的数据，比如股骨和髋臼组件尺寸、期望的衬垫包括唇形和偏移衬垫、期望的股骨头尺寸包括正负头部尺寸、和/或期望腿部长度、和/或期望的旋转中心、和/或期望的股骨颈长度、和/或期望的股骨颈角度、和/或期望的股骨和/或髋臼分量前倾和/或偏移包括组合前倾。标准数据比如固定的股骨、髋臼或组合前倾、固定的股骨颈角、髋臼安全区的角度范围也可以结合到虚拟手术计划中。任何前述内容都可以在共同坐标系中配准，并且可选择由光学头戴式显示器虚拟显示。
在本发明的一些实施方案中，例如外科医生计划植入的医疗装置的预期位置的外科手术计划的各方面可以通过叠加到实时数据上的光学头戴式显示器来显示。比如，可以通过虚拟医疗装置组件来指示预期位置，该虚拟医疗装置组件可表示被选择用于植入的医疗装置组件。由光学头戴式显示器与实时数据叠加显示的虚拟医疗装置组件可以显示在其最终期望位置。然后，外科医生可以在术中放置或插入医疗装置组件以将物理装置与虚拟装置组件对准。
在一些实施方案中，假体、移植物、医疗装置或其他植入体的预期位置可使用光学头戴式显示器与患者实时数据同时显示的虚拟标记或目标来指示。然后，外科医生可以将假体、移植物、医疗装置或其他植入体与虚拟标记或靶标对准，或者外科医生可以将假体、移植物、医疗装置或其他植入体指向虚拟标记或靶标。
如果外科医生/操作者偏离手术计划，则可以发出或提供视觉或声学或其他警告信号。视觉警告信号可以由光学头戴式显示器提供，比如由在虚拟数据的显示器中闪烁的红色背景或虚拟数据的颜色改变比如红色提供。
在本发明的一些实施方案中，虚拟手术计划可以通过基于患者的解剖结构、手术部位、病理状况、畸形和其他信息包括但不限于与一个或多个解剖或旋转或生物力学轴线相关的期望定位、位置、定向、旋转或对准来选择或设计期望的植入体或植入体组件或医疗装置尺寸和/或大小和/或形状来开始。在选择或设计所需的尺寸和/或大小和/或形状之后，可以将植入体、植入体组件或医疗装置放置在与一个或多个解剖或生物力学轴线、患者的解剖手术部位、病理状况或畸形有关的期望定位、位置、定向、旋转或对准中。该过程可以是迭代反复的。比如，植入体或植入体组件或医疗器械选择或设计之后可以是期望的放置，随后可以改变植入体或植入体组件或医疗器械选择的选择或设计，然后可以进行调整放置等。迭代过程可以是自动的或半自动的。
一旦在虚拟手术计划中确定了最终的植入体选择或设计和放置，就可以在虚拟手术计划中设计或选择与患者的解剖结构、手术部位、病理状况、一个或多个解剖或生物力学轴线、功能信息、敏感组织和其他组织的信息有关的前述手术步骤。可以从最终植入体或植入体组件或医疗器械的放置开始以相反顺序、连续顺序或随机顺序或其任何组合来设计或选择前述手术步骤。手术步骤可以可选地重复以优化任何组织改变和/或植入体放置和/或植入体选择和/或植入体设计。如果虚拟手术计划表明手术期间可能出现并发症比如放置太靠近血管或神经结构或其他敏感结构，则可以修改手术计划、手术计划的部分、手术计划的顺序和植入体、植入体、植入体组件或医疗装置选择或设计以避免这种潜在的并发症。因此，在虚拟手术计划中可以迭代植入体的选择和放置与包括手术器械的显示的手术步骤之间的整个过程。
在本发明的一些实施方案中，虚拟手术计划可以通过将虚拟植入体或植入体组件或医疗装置放置在与一个或多个解剖学或生物力学轴、患者的解剖结构手术部位、病理状况或畸形相关的期望定位、位置、定向、旋转或对准开始。用于该初始或最终放置的植入体可以是选自平均、最小或最大尺寸、大小或形状或其组合的植入体。然后，可以在植入体或植入体组件或医疗装置的放置之后，选择或设计期望的植入体或植入体组件或医疗装置的尺寸和/或大小和/或形状。该过程可以是迭代反复的。比如，植入体或植入体组件或医疗装置的放置之后可以选择或设计所需的植入体或植入体组件或医疗器械的尺寸、大小或形状，随后改变植入体或者植入体组件或医疗装置的放置，其后可以改变尺寸、大小或形状等的选择或设计。迭代过程可以是自动的或半自动的。
一旦在虚拟手术计划中确定了最终的植入体放置和选择或设计，就可以在虚拟手术计划中设计或选择与患者的解剖结构、手术部位、病理状况、一个或多个解剖学或生物力学轴线、功能信息、敏感组织和其他组织的信息有关的前述手术步骤。可以从最终植入体或植入体组件或医疗器械的放置开始以相反顺序、连续顺序或随机顺序或其任何组合来设计或选择前述手术步骤。手术步骤可以可选地重复以优化任何组织改变和/或植入体放置和/或植入体选择和/或植入体设计。如果虚拟手术计划表明手术期间可能出现并发症比如放置太靠近血管或神经结构或其他敏感结构，则可以修改手术计划、手术计划的部分、手术计划的顺序和植入体、植入体、植入体组件或医疗装置选择或设计以避免这种潜在的并发症。因此，在虚拟手术计划中可以迭代反复植入体的选择和放置与包括手术器械的显示的手术步骤之间的整个过程。
在本发明的一些实施方案中，虚拟手术计划可以从如在外科手术技术中定义的初始手术步骤开始。这之后可以可选地进行每一或一些后续外科手术步骤比如仅主要步骤。然后，虚拟手术计划可以延续至植入体在患者的虚拟数据中的选择和/或设计和放置。如果植入体、植入体组件或医疗装置的最终选择和/或设计和/或放置不同于期望的结果，比如如外科手术计划中所定义的或外科医生所希望的，则可以修改任何前述手术步骤、植入体、植入体组件或医疗装置的放置和/或选择或设计。该过程可以是迭代反复的、手动的、半自动的或自动的，直到实现期望的虚拟手术计划、植入体、植入体组件或医疗装置的选择和/或设计或放置为止。
图14示出了如何可以在外科手术期间比如由第一外科医生、第二外科医生、手术助手和/或一个或多个护士使用多个光学头戴式显示器以及如何在多个光学头戴式显示器进行手术期间修改和显示手术计划同时为各个操作者保留虚拟数据和相应实时数据的正确立体图。示出了用于为多个观察者比如主要外科医生、第二外科医生、手术助手和/或护士所使用的多个光学头戴式显示器11、12、13、14的系统10。多个光学头戴式显示器可以使用解剖结构、解剖标志、校准体模(phantom)、参考体模、光学标记、导航标记和/或空间锚点配准在共同坐标系统15中比如像微软全息眼镜所用空间锚点。患者的术前数据16也可以在共同坐标系15中配准。可以比如使用一个或多个惯性测量单元、光学标记、导航标记、图像或视频捕获系统和/或三维扫描仪和/或空间锚点来测量患者实时数据18比如来自手术部位例如脊柱(可选具有微创通路的)、髋关节切开术部位、膝关节切开术部位、骨切割、改变表面的实时数据。患者的实时数据18可以在共同坐标系15中配准。可以在共同坐标系15中配准术中影像学检查结果20。OR参考比如手术台或房间固定装置可以使用比如光学标记惯性测量单元、导航标记或空间映射22而在共同坐标系15中配准。术前数据16或包括术中测值的实时数据18或其组合可用于产生、生成或修改虚拟手术计划24。虚拟手术计划24可以在共同坐标系15中配准。对于每一观察者的透视图和位置以及头部位置和方向27，光学头戴式显示器的11、12、13、14可以针对每一光学头戴式显示器11、12、13、14保持患者虚拟数据和患者实时数据的对准和叠加。使用虚拟或其他接口，佩戴光学头戴式显示器1 11的外科医生可以执行命令32，比如以如根据虚拟手术计划或影像学检查或术中测值来显示下一预定的骨切割，其可以触发光学头戴式显示器11、12、13、14将下一手术步骤34的叠加到手术部位上并与手术部位对准的虚拟数据投影到预定位置/或取向中。光学头戴式显示器的11、12、13、14中的任一者都可以使用比如集成的或附接的摄像头、图像捕获或视频系统来获取一个或多个光学测量或测量输入，比如解剖标志、来自摄像机的轴线、解剖轴线、生物力学轴线、腿的机械轴线17的光学测量或测量输入。通过使用具有多个摄像头、图像捕获或视频系统的不同视角的多个光学头戴式显示器11、12、13、14，可以可选地提高测量的准确度。可选地，使用多个光学头戴式显示器11、12、13、14从不同视角利用多个摄像头、图像捕获或视频系统来执行视差测量。一个或多个光学测量可以用于可选地使用来自多个光学头戴式显示器11、12、13、14的信息来修改虚拟手术计划19。本领域技术人员可以认识到，可以使用多个坐标系代替共同坐标系。在该情况下，坐标转移可以从一个坐标系应用到另一坐标系比如用于配准光学头戴式显示器、患者的实时数，包括手术部位、虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
组织变形包括骨变形，软骨变形
在本发明的一些实施方案中，患者的组织比如骨、软骨、关节或器官中的一者或多者的形状可以在三维手术中例如手术期间估计或变形。患者的组织形状比如骨形状、软骨形状、关节形状或器官形状的估计或变形可以帮助减少或消除对术前成像的需要，并且在选择的实施方案中可以帮助减少或消除术中成像的需要。
在本发明的一些实施方案中，可以使用二维术前数据，并且可以在三维术前比如手术之前对患者的组织比如骨骼，软骨、关节或器官中的一者或多者的形状进行估计或变形。
使用术前成像或术中成像的骨骼变形和/或软骨和/或组织变形
在本发明的一些实施方案中，可以获得患者的一个或多个二维图像。这些图像可以例如包括患者的一个或多个X光。可以使用数字采集技术获得X光。也可以使用常规的基于胶片的技术获得X光，在该情况下，可以先使用扫描仪，随后对X光进行数字化处理。
示例性X光图像可包括：
-脊柱：正位、后前位、横向、斜视图和/或倾斜视图、屈曲图、延伸视图、侧向弯曲视图；直立、仰卧或俯卧
-髋部：正位、后前位、横向、斜视图、倾斜视图和/或蛙腿式视图；站立或躺卧、承重或不承重
-膝：正位、后前位、横向、斜视图、倾斜视图、隧道视图和/或商家视图、日出位图等，本领域已知的任何其他髌骨、股骨或胫骨视图；站立或躺卧，承重或非承重
-全腿X光片；站立或躺卧、承重或不承重
-全股骨X光；站立或躺卧、承重或非承重
-胫骨X光；站立或躺卧、承重或非承重
-选择性腿部X光片，比如髋关节、膝关节、脚踝；站立或躺卧，承重或不承重
可以在患者处于直立，仰卧和/或俯卧位置的情况下获得X光。可以在患者处于承重和非承重位置获得X光。在本发明的一些实施方案中，X光在手术中获得，比如其中患者已经针对预期的外科手术而定位并放置。
患者的X光数据可以转移到计算机中。可选地，图像处理可以应用于分段选择的患者组织，比如骨或椎骨或椎骨结构、软骨下骨、皮质骨、骨赘。图像处理例如也可以用于确定选定的患者组织(比如骨骼或椎骨或椎骨结构、软骨下骨、皮质骨、骨赘)的边缘。当已经从图像中识别和/或导出软骨下骨、包括软骨下骨曲率和/或几何结构和/或形状时，软骨形状、曲率或几何结构可以被叠加或添加到软骨下骨形状。对于，软骨形状、曲率或几何结构可以假定给定关节和/或给定患者的标准软骨厚度，比如1.0mm、1.5mm、2.0mm、2.5mm、3.0mm、3.5mm。软骨几何结构还可以比如取决于关节中和/或关节表面上的软骨的位置和/或基于患者的年龄、性别、种族、体重和/或BMI以及潜在畸形比如内翻或外翻畸形而呈现可变的软骨厚度。
在本发明的一些实施方案中，二维X光图像可用于导出关于包括在X光中的解剖结构的尺寸和形状的信息。其中一些信息可以是比如：
-解剖标志
-两个或更多个已知解剖标志/结构之间的距离和/或尺寸
-解剖标志之间的角度
-解剖轴线
-生物力学轴线
-曲率信息
-骨表面的曲率信息
-软骨下骨表面的曲率信息
-关节面的曲率信息
-曲率从凸变凹
-曲率从凹变凸
-表面信息
-边缘信息
-形状信息，比如当来自以不同投影或光束角度获得的多个X光图像的信息被组合或聚合时的形状信息
-长度信息，比如在正位、内外侧位、上外下内方向、正位、内外侧位、上外下内平面、倾斜平面中的长度信息
-宽度信息，比如在正位、内外侧位、上外下内方向、正位、内外侧位、上外下内平面、倾斜平面中的宽度信息
-深度信息，比如在正位、内外侧位、上外下内方向、正位、内外侧位、上外下内平面、倾斜平面中的深度信息
任何前述信息可以在手术野的外部例如通过透视光学头戴式显示器或在没有光学头戴式显示器的情况下外科医生的眼睛直接可见、和/或在可触及的表面上。任何信息都可以在手术野内部，例如不能通过透视OHMD显示器或没有光学头戴式显示器的外科医生的眼睛直接看到和/或不能在可触及的表面上和/或被其他组织例如骨、皮质骨和/或软组织隐藏。
下面的表16中提供了脊柱、髋关节、膝关节和肩关节的标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征的示例，这些特征可用于这些或这些区域的任何手术中的骨变形和三维模型选择、制定、衍生和变形。这些实施方案决不是对本发明的限制而仅是示例性的。本领域技术人员将易于识别这些关节以及人体中其他关节的其他标志、距离、尺寸、表面、边缘、角度、轴、曲率、形状、长度、宽度、深度和/或其他特征。
对于任何实施方案，标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征可以在手术野的外部，例如通过透视光学头戴式显示器或在没有光学头戴式显示器的情况下外科医生的眼睛直接可见和/或在可触及的表面上直接可见；标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征可以在手术野内部，例如通过透视OHMD显示器或在没有光学头戴式显示器的情况下外科医生的眼睛不直接可见和/或不在可触及的表面上和/或被其他组织例如骨、皮质骨和/或软组织隐藏。
表16.脊柱、髋关节、膝关节和肩关节的标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征的示例，这些特征可用于这些或这些区域的任何手术中的骨变形和三维模型选择、制定、衍生和变形。
脊柱：
椎弓根的皮质骨；椎弓根的骨内膜骨；椎体后皮质骨；椎体前皮质骨；椎体外侧皮质骨；上终板；下终板；椎间盘；椎体；椎体骨小梁(trabecular bone)；上关节面；下关节面；棘突；任何骨折部件或碎片其中包括椎弓根、小关节或椎体；终板形状比如矢状平面；终板形状比如冠状面；施莫耳氏结；椎弓根距离；椎间高度或椎间盘高度；椎体的正位长度比如在下终板、上终板、中间部分的接合处；椎体的内外侧位宽度(ML width)比如在下终板、上终板、中间部分的接合处；椎体的倾斜宽度比如在下终板、上终板、中间部分的接合处；椎体高度比如前部、中部、后部；椎弓根长度；椎弓根宽度；椎弓根高度；椎弓根角；棘突上外下内厚度(SI thickness)比如前部、中部、尖端；棘突宽度比如前部、中部、尖端；从原点开始的棘突下角；面尺寸、正位、内外侧位、上外下内；关节面夹角比如在上椎骨的下关节面和下椎骨的上关节面之间形成的关节角度；椎板上外下内高度；椎板正位宽度；椎板内外侧位半径、直径；脊髓正位直径、内外侧位直径；脊柱前凸；脊柱后凸；脊柱侧弯；侧弯比如左侧、右侧；科布角；腰骶角
髋：
髋臼外侧点或边缘；髋臼内侧点或边缘；髋臼上点或边缘；髋臼前点或边缘；髋臼后点或边缘；三叶形软骨和区域；髋臼唇，内侧、外侧、前侧、后侧(比如，当X光造影剂注入关节时)；骨头凹；股骨头软骨下骨、外形、轮廓；股骨头颈/接处、曲率、凸、凹；大转子比如外侧皮质、上皮质、前皮质、后皮质；沟点(大转子和股骨颈之间的最低点)例如在正面或正位X光片上看到的；沟曲率；大转子/沟交接，曲率、凸、凹；小转子；小转子/股骨颈交接，弯曲；小转子/股骨干交接；股骨干、前皮质、后皮质、内侧皮质、外侧皮质；适用于任何前述结构的前皮质、后皮质、内侧皮质、外侧皮质；适用于任何前述结构的骨内膜骨、前部、后部、内侧、外侧；股骨颈角；股骨干角度；髋臼角；髋臼前倾；股骨前倾；股骨干角度；骨盆倾斜；股骨偏移；申顿线(Shenton line)；希尔根莱纳线；珀金线；髋臼指数
膝关节
股骨凹陷(femoral notch)的内侧壁；股骨凹陷的外侧壁；股骨凹陷的顶部；股骨凹陷几何结构；股骨凹陷形状；从股骨凹陷顶部到股骨内侧髁最低点或其他点或表面的距离/线/平面；从股骨凹陷顶部到股骨外侧髁最低点或其他点或表面的距离/线/平面；内侧髁的内侧壁；内侧髁侧壁；外侧髁的内侧壁；外侧髁的外侧壁；内侧髁的内侧边缘；内侧髁的外侧边缘；外侧髁的内侧边缘；外侧髁的外侧边缘；一次或多次骨切除或骨移除后内侧髁的内侧边缘；一次或多次骨切除或骨移除后内侧髁的外侧边缘；一次或多次骨切除或骨移除后外侧髁的内侧边缘；一次或多次骨切除或骨移除后外侧髁的外侧边缘；内侧上髁隆起；外侧上髁隆起；股骨内侧髁形状，比如半径、凸度、凹陷、曲率例如矢状J曲线(sagittal J-curve)；股骨外侧髁形状，比如半径、凸度、凹陷曲率例如矢状J曲线；髁间凹陷形状(Intercondylar notch shape)；髁间凹陷表面特征；内侧胫骨脊柱；胫骨外侧脊柱；前内侧胫骨缘；前外侧胫骨缘；内侧胫骨缘；胫骨外侧缘；胫骨后缘；前内侧胫骨边缘；前外侧胫骨边缘；内侧胫骨边缘；外侧胫骨边缘；后胫骨边缘；一次或多次骨切除或骨移除后的前内侧胫骨边缘；一次或多次骨切除或骨移除后的前外侧胫骨边缘；一次或多次骨切除或骨移除后的内侧胫骨边缘；一次或多次骨切除或骨移除后的外侧胫骨边缘；一次或多次骨切除或骨移除后的胫骨后边缘；内侧坪的最低点；外侧坪的最低点；内侧坪的最高点；外侧坪的最高点；胫骨内侧坪形状；胫骨外侧坪形状；胫骨内侧坪矢状曲率；胫骨外侧坪矢状曲率；胫骨内侧坪冠状曲率；胫骨外侧坪冠状曲率；胫骨内侧坪表面特征，比如，半径，凸面，凹面；胫骨外侧坪表面特征，比如半径、凸面、凹面；股骨骨赘；胫骨骨赘；髌骨骨赘；股骨软骨下囊肿；胫骨软骨下囊肿；髌骨骨赘；髌骨软骨下囊肿；滑车骨赘；滑车软骨下囊肿；髌骨矢状曲率；髌骨冠状曲率；髌骨轴向曲率；髌骨表面特征，比如半径、凸面、凹面；髌骨表面特征，比如半径、凸面、凹面；髌骨圆周形状；髌骨隆起；髌骨厚度；滑车深度；滑车矢状曲率；滑车轴向曲率；滑车冠状曲率；滑车矢状形状；滑车轴向形状；滑车冠状形状；滑车角；滑车沟深度；上髁轴线；股骨后轴线；滑车旋转轴线；机械轴线；Q-角
肩：
锁骨；肩锁关节(AC joint)；肩峰；盂；肩胛骨；喙突；肱骨头；肱骨颈；肱骨干；关节盂骨赘；肱骨骨赘；肩锁关节骨赘；关节盂软骨下囊肿；肱骨软骨下囊肿；肩锁关节软下囊肿；肩峰肱骨距离；肩峰肱骨空间；关节盂最深处；关节盂的最前点或边缘；关节盂的最后点或边缘；关节盂的最高点或边缘；关节盂的最低点或边缘；盂唇形状；肱骨头形；关节盂矢状曲率，比如半径、凸面、凹面；关节盂轴向曲率，比如半径、凸面、凹面；关节盂冠状曲率，比如半径、凸面、凹面；肱骨头矢状曲率，比如半径、凸度、凹陷；肱骨头轴向弯曲，比如半径、凸面、凹面；肱骨头冠状曲率，比如半径、凸度、凹陷；机械轴线；解剖轴线；头颈部轴线；倾斜角度；绕穿上踝的轴线；后倾角。
脊柱、髋关节、膝关节和肩关节的这些标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征也可用于虚拟地放置装置和/或植入体组件和/或器械、虚拟地评估和/或选择良好配合或最佳配合的装置和/或植入体组件和/或器械、评估虚拟形状和/或选择具有优选形状的虚拟装置和/或植入体组件和/或器械、评估虚拟功能和/或选择具有优选虚拟功能的装置和/或植入体组件和/或器械、虚拟地确定装置和/或植入体组件和/或器械的优选位置、虚拟地确定装置和/或植入体组件和/或器械的优选定向、虚拟地确定装置和/或植入体组件和/或器械的优选对准、和/或虚拟地确定和/或选择优选的虚拟锚和/或附接和/或固定构件。脊柱、髋关节、膝关节和肩关节的这些标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征也可以在整个应用中用于其他应用，这些应用利用解剖信息例如测量、虚拟手术计划的制定、虚拟数据在这些标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征上的光学头戴式显示器投影等。
通过测量任何前述标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征，包括手术野外部的特征，例如通过透视光学头戴式显示器或没有光学头戴式显示器的外科医生的眼睛直接可见的特征和/或在可触及的表面和/或手术野内部的特征，例如通过透视OHMD显示器或没有光学头戴式显示器的外科医生的眼睛不直接可见和/或不在可触及的表面上和/或被其他组织(例如骨、皮质骨和/或软组织)隐藏，可以估计骨(例如近端股骨、远端股骨、近端胫骨、髋臼、椎体和脊柱元件以及关节盂和/或近端肱骨)的三维形状、体积或表面。正在测量的解剖标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征越多，骨骼的三维形状、体积或表面的估计就越准确。此外，从不同的视角、投影角度、光束角度(可选地具有相同的放大倍率或不同的放大倍率，可选地应用或不应用放大倍率校正)拍摄或获取的二维图像越多，对骨骼的三维形状、体积或表面的估计就越准确。
比如，可以通过填充信息来估计骨骼的三维形状、体积或表面或曲率，所述信息比如为中间或连接解剖标志、距离、尺寸、表面、边缘、角度、轴、曲率、形状、长度、宽度、深度和/或已知解剖标志、距离、尺寸、表面、边缘、角度、轴、曲率、形状、长度、宽度、深度和/或从一个、两个、三个或更多个X光图像导出的其他特征之间的其他特征。骨骼的三维形状、体积或表面或曲率可以例如通过在多个点之间插入表面或通过拟合样条来估计。
在本发明的一些实施方案中，可以使用骨的标准模型，并且可以使用已知的标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或从X光图像导出的其他特征中的一者或多者来变形，包括使用标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或手术野外部的其他特征，例如通过透视光学头戴式显示器或在没有光学头戴式显示器的情况下外科医生的眼睛和/或在可触及的表面和/或标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或手术野内部的其他特征直接可见，例如通过透视OHMD显示器或在没有光学头戴式显示器的情况下外科医生的眼睛不直接可见和/或不在可触及的表面和/或被其他组织例如骨、皮质骨和/或软组织隐藏。可以使用本领域已知的各种统计模型来执行这种变形。
在本发明的一些实施方案中，可以使用骨模型和组织模型的数据库或库。这些解剖标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征(例如外部或内部)中的一者或多者可以通过将一个或多个解剖标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他外部或内部特征与参考患者和/或参考骨或标准软骨形状的参考数据库中的数据进行比较并且通过选择最匹配所选解剖标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征的三维模型而用于识别标准骨形状和/或标准软骨形状。以这种方式，患者骨骼和/或软骨的三维形状，比如远端股骨和/或近端胫骨和/或髋臼和/或近端股骨和/或椎体和/或脊柱元素和/或关节盂和/或近端肱骨可以在不需要获取三维数据或不需要分割三维数据或限制可用三维数据所需的分割量(比如，病患的计算机断层扫描或磁共振扫描)的情况下进行估计。参考数据库可以是来自尸体数据的解剖学参考数据库。参考数据库还可以是扫描数据比如在NIH骨关节炎计划中获得的或从图像数据采集的扫描数据，用以产生用于膝关节置换的患者特异性器械。这种扫描数据可用于生成具有不同年龄、性别、种族背景、种族、体重、身高和/或BMI的患者的三维形状的数据库。
值得注意的是，使用二维图像数据或三维图像数据(比如X光、超声、计算机断层扫描或磁共振)结合选定解剖结构的三维形状的一个或多个参考数据库(比如用于减少或限制或消除获取三维数据或用于分割二维或三维数据所需的骨骼、软骨和器官)适用于整个说明书中的本发明的任何实施方案，包括用于所有其他临床应用比如髋关节置换、膝关节置换、肩关节置换、脊柱外科手术、脊柱融合术、椎体成形术、椎体后凸成形术、前交叉韧带修复、前交叉韧带重建、骨折固定术、脑外科手术、肝脏手术、癌症手术等。
在本发明的一些实施方案中，可选择使用患者的解剖标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征变形的标准模型可与使用患者的标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征从数据库中选择的模型、组合和融合。在一些实施方案中，可以使用患者的解剖标志、距离、尺寸、表面、边缘、角度、轴、曲率、形状、长度、宽度、深度和/或其他特征来变形和/或调整从数据库中选择的模型。可以使用本领域已知的各种统计模型来执行这种变形。
如果使用一个或多个X光，一个或多个X光可以比如在膝关节(或后前位)的正位投影和膝关节的侧向投影中获得。如本领域中已知的，其他视图也是可能的，比如隧道视图、商家视图、髌骨视图、倾斜视图、站立视图、仰卧视图、俯视图。可选择在正位/后前位和/或侧视图和/或倾斜视图上识别内侧和外侧股骨髁；可选择在正位/后前位和/或侧视图和/或倾斜视图上识别内侧和胫骨外侧坪。可以识别其他解剖标志、距离、尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度、深度和/或其他特征(例如外部或内部)。
比如，侧膝X光可用于导出关于内侧和外侧髁的曲率信息。在膝关节侧位X线片上可以看到两条截然不同的曲线，一条代表内侧髁，另一条代表外侧髁。在大多数情况下，外侧髁比如在中央负重区域中具有比内侧髁更小的半径。软件可以使用比如数据分割中描述的一些软件包来识别和/或分割每条曲线。然后可以进行曲率分析评估每条曲线的半径。在本发明的一些实施方案中，比如在中央承重区域中具有较小半径的曲线可以指定为外侧髁。其他组合也是可能的。如果腿相对于X光源和检测器面板的位置例如膝关节的更靠近检测器面板的内侧或外侧(例如放大倍率较低)是已知的，则第一髁的尺寸或放大倍率可以与第二髁的尺寸或放大倍率以及测量尺寸的差异进行比较，并且可选地，估计的放大倍率可以用于识别X光上更靠近检测器面板的髁(例如放大倍率较小)以及远离检测器面板的髁(例如放大倍率较大)。内侧和/或外侧髁的识别可以是手动的(例如由操作者或外科医生手动操作)、半自动的或自动的。
用于估计或改变患者骨骼的三维形状的技术的前述描述本质上仅是示例性的而决不意味着限制本发明。本领域技术人员将易于识别以三维方式估计患者骨形状的其他手段。可以使用本领域已知的根据二维数据确定或估计骨骼的三维形状的任何技术。可以使用本领域已知的根据二维数据建模和显示骨骼的三维形状的任何技术。然后，可以通过例如叠加在患者的肝脏、身体解剖或手术部位上的一个或多个光学头戴式显示器来显示使用这些技术中的任何一种技术得到的患者骨骼的三维模型叠加。
使用机械探针和/或光电和/或射频探针进行骨和/或组织变形
在本发明的一些实施方案中，机械探针可用于在手术中确定患者组织的三维形状比如软骨或骨或器官组织。组织探针可以附接至支架或夹具。组织探针也可以是掌上型的。
组织探针可以被配置为类似于本领域已知且用于工业形状检查目的的机械检测装置，比如本领域已知的坐标测量机(CMM)比方说例如Faro臂系统(Faro arm system)。
在本发明的一些实施方案中，可以使用机械探针，机械探针具有至少一个光学标记，例如具有一个或多个几何图案、例如一个或多个条形码或二维码、导航标记包括附接的红外标记、逆向反射标记、射频标记、发光二极管和/或惯性测量单元。然后可以比如使用集成到、附接到光学头戴式显示器或与光学头戴式显示器分离的导航系统和/或图像和/或视频捕获系统和/或三维扫描仪来确定探测器的位置和/或定向和/或对准和/或移动方向。在实施方案中，例如使用集成到、附接到或分离于光学头戴式显示器的图像或视频捕获系统或三维扫描仪来直接追踪机械探针。
通过使机械探针沿着骨骼、软骨、组织和/或器官表面移动，可以配准探针梢端的位置，并且比如可以生成用于生成三维表面的点云。本领域已知的标准技术比如镶嵌可用于此目的。通过追踪机械探针的运动(例如，利用一个或多个附接的具有几何图案的光学标记)生成的点云可以用于生成患者的一个或多个表面(例如，手术部位)的三维模型。点云可以可选地用于例如根据预先存在的模型库选择患者的三维模型。点云可以选择性地用于使三维模型变形。
使用光学探针和/或三维扫描仪和/或图像和/或视频捕获系统进行骨和/或组织变形。
在本发明的一些实施方案中，集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪可用于对患者的骨和/或软骨和/或组织和/或韧带和/或半月板/或器官表面进行成像。利用可选地例如在共同坐标系中已知的图像和/或视频捕获系统和/或三维扫描仪的位置、定向、对准和/或移动方向比如使用光学标记、导航标记，包括红外标记、逆向反射标记、射频标记、发光二极管和/或惯性测量单元、空间映射、和/或深度映射，患者的骨骼和/或软骨和/或组织和/或韧带和/或半月板和/或器官表面的图像可以从多个视点或连续获取和，使用如在数据分割中描述的软件和图像处理或如在空间映射中描述的空间映射技术，图像可以用于导出患者的骨骼和/或软骨和/或组织和/或韧带/或半月板和/或器官的一个或多个三维体积、三维表面和/或三维形状。可选择使用两个或更多个摄像头和/或扫描仪的图像和/或视频捕获系统和/或三维扫描仪来增强图像采集和三维体积、三维表面和/或三维形状的重建的准确性，其可以用于生成视差信息和/或立体视觉信息、视差和/或立体信息可用于增强重建的准确性。替代性地，可以通过对三维坐标或检测到的表面点或其他几何结构(比如，平面或曲面)进行平均来合并来自两个或更多个摄像头的信息。
在本发明的一些实施方案中，本领域已知的三维激光扫描仪或深度传感器比方说例如由Occipital Inc.提供的结构激光扫描仪可用于对患者的骨骼和/或软骨和/或组织和/或韧带和/或半月板和/或器官的表面成像。可以使用本领域已知的其他三维扫描仪。可以使用本领域已知的激光扫描、光学或光学扫描技术用于确定、估计或导出本领域已知结构的三维体积、三维表面或三维形状。
在本发明的一些实施方案中，三维扫描仪或图像和/或视频捕获系统和/或三维扫描仪可以附接到臂或三脚架上。可以在恒定距离处获取患者的骨和/或软骨和/或组织和/或韧带和/或半月板和/或器官的图像。可以在可变距离处获取患者的骨和/或软骨和/或组织和/或韧带和/或半月板和/或器官的图像。激光或光学扫描仪可选地用于在图像采集期间测量至患者的骨和/或软骨和/或组织和/或韧带和/或半月板和/或器官的距离。使用激光的起始位置或图像和/或视频捕获系统和/或三维扫描仪的起始位置和/或光学标记、包括红外标记的导航标记、逆向反射标记、射频标记、发光二极管和/或者惯性测量单元中的至少一者，在整个采集过程中可以知道图像和/或视频捕获系统和/或三维扫描仪的位置、定向、对准和/或移动方向，从而实现放大倍率校正和可选视角调整和/或投影和/或表面生成计算和/或调整和/或校正。
结合术前和术中数据
在本发明的一些实施方案中，通过机械探针、光电探针、射频探针、光学探针、图像和/或视频捕获系统、激光扫描仪和/或三维扫描仪在术中获得的二维或三维数据可与术前数据比如术前图像数据和/或虚拟手术计划合并。
术前获得的二维或三维信息可以例如包括机械轴线信息比如膝关节和/或下肢的(比如，使用站立位X线片获得)机械轴线位置、旋转轴线(比如，髋关节或膝关节)信息，比如使用上髁轴线信息、后髁轴线信息、胫骨结节信息、关节的一个或多个正位尺寸、关节的一个或多个内外侧位尺寸、关节的一个或多个上外下内尺寸、内侧髁曲率和/或横向髁曲率(比如，在横向和/或正位射线照片上看到的)，内侧胫骨曲率和/或外侧胫骨曲率(比如，在横向和/或正位射线照片上看到的)、关节线信息(比如，膝关节中的内侧和/或外侧关节线位置)、偏移信息(比如，髋部偏移或内侧和/或外侧髁之间的偏移)。
手术中获得的二维或三维数据可以包括组织、器官(比如，软骨和/或骨)的尺寸信息、几何信息、曲率信息、体积信息、形状信息和/或表面信息。手术中获得的二维或三维数据可以包括关于关节线位置的信息，比如基于软骨和/或软骨下骨测量的内侧和/或外侧、股骨偏移和/或胫骨偏移。
可选地，对手术前和/或手术中获得的数据应用调整或校正。比如，可以从术前和/或术中二维或三维数据中虚拟去除骨赘和/或软骨下囊肿。可以选择校正在任何数据上看到的关节表面的展平，比如通过应用校正的形状比如使用样条曲面(spline surface)或平滑函数或平均函数。
在本发明的一些实施方案中，二维或三维术前数据可以与二维或三维术中数据组合。比如，从术前站立位X线片获得的机械轴线信息可以与关节比如膝关节或髋关节的术中三维扫描组合。可以基于组合数据拟制或导出虚拟手术计划，比如计划维持或恢复正常机械轴线对准的切除或外科医生期望的任何其他对准比如关节内翻或外翻对准的5％或更少。如果在手术前已经拟制了虚拟手术计划，则可以使用一个或多个关节的术中三维扫描信息比如使用关节或器官的更准确的术中表面信息在手术中修改虚拟手术计划。
在本发明的一些实施方案中，比如使用一个或多个术前X光从二维术前数据变形的三维表面与术中导出的三维表面组合比如使用术中机械和/或三维表面或光电和/或激光和/或三维扫描仪导出。比如，股骨头的术前变形表面可以以这种方式与术中表面匹配，对准，叠加或合并。替代性地，一个或两个股骨髁和/或胫骨坪的术前变形表面可以以这种方式与它们相应的术中表面匹配、对准、叠加或合并。通过匹配、对准、叠加或合并从术前和术中数据导出的表面，在术前数据(比如，站立的X光)上获得的轴线信息可以容易地与术中数据叠加或合并。所得模型可用于拟制、推导和/或修改虚拟手术计划比如，随后通过光学头戴式显示器显示一个或多个切割平面或组织切除或轴线。
使用二维到三维组织变形(比如，骨变形、例如如说明书中所描述的骨变形)的术前和/或术中获得的且变形为三维模型的二维数据可以使用一个或多个光学头戴式显示器显示屏立体地和/或非立体地显示。此外，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变中的任一项可以通过光学头戴式显示器与经二维到三维变形的三维模型(例如骨骼模型)同时立体或非立体地显示。虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变中的一项或多项可以使用经二维到三维变形的三维模型例如使用虚拟手术计划来计划。
在本发明的一些实施方案中，用于二维到三维组织变形比如骨变形的相同解剖标志、距离、尺寸、表面、边缘、角度、轴、曲率、形状、长度、宽度、深度和/或其他特征中的至少一者或多者可以通过识别相应的解剖标志、距离、尺寸、表面、边缘、角度、轴、曲率、形状、长度、宽度、深度和/或实时数据中的其他特征比如使用说明书中描述的一些技术中的至少一者或多者而用于患者的实时数据和虚拟数据(例如手术前数据)的术中配准。以这种方式，配准的准确性可以例如通过使用用于二维到三维组织变形的真实物理数据来提高，与变形数据相比，用于将物理患者解剖结构(例如手术部位)与虚拟数据配准。
图15是如何使用或应用二维到三维变形数据的示例。该示例决不意味着限制本发明。在该示例中，可以获得二维X光图像、可选择有多个投影165。可以导出一种或多种组织(比如，骨、软骨)、它们的界标、形状和/或几何结构或其他特征166，并且可以选择性调整167。可以确定互连或填充特征168，可以从模型库或数据库中选择紧密配合或匹配的模型169，可以使用166中的形状、几何结构或特征选择标准模型并且可选择使其变形170，可以从模型171库或数据库中选择紧密配合或者匹配模型并且使用166中的信息进行变形。168、169、170和171中的步骤和过程可以任选地组合172。步骤和过程168、169、170、171和172可用于生成二维至三维变形模型173，该模型可用于生成术前虚拟手术计划174。变形的模型173和术前虚拟手术计划174可以由一个或多个光学头戴式显示器175显示，可选地为立体176或非立体177。术中虚拟手术计划179可以可选地与术前虚拟手术计划174叠加、合并、匹配或对准。术中扫描或探测数据180可用于使用术中数据生成患者模型，比如二维模型、二维到三维变形模型、三维模型181，其可选使用术前数据173或术前虚拟手术计划174与患者的变形模型叠加、匹配、合并或对准173。可以使用手术数据181对患者模型进行可选调整182。
通过一个或多个光学头戴式显示器查看虚拟数据和实时数据
使用患者虚拟数据的虚拟手术计划可用于创制或确定用于放置或引导手术工具、手术器械、试验植入体组件、试验植入体、植入体组件、植入体、包括本领域已知的任何类型的生物处理或植入体或基质的装置的以下任何内容：
●预定起点
●预定起始位置
●预定的起始方向/对准
●预定中间点
●预定中间位置
●预定的中间定向/对准
●预定终点
●预定的最终位置
●预定的中间定向/对准
●预定路径
●预定平面(比如，用于放置或定向手术器械或植入体组件)
●预定切割平面(比如，用于引导锯或其他手术器械(比如，钻头、钉、切割器、扩孔器、锉刀、撞击器、骨刀)和/或用于放置或定向植入体组件或试验植入体组件)
●投影外形/轮廓/横截面/表面特征/形状/投影
●预定深度标记或深度计、预定止挡、可选地对应于物理手术工具、手术器械、试验植入体、植入体组件、植入体或装置上的物理深度标记或深度计
●预定角度/定向/旋转标记，可选择对应于物理手术工具、手术器械、试验植入体、植入体组件、植入体或装置上的物理角度/定向/旋转标记
●预定轴线，比如旋转轴线、弯曲轴线、延伸轴
●物理手术工具、手术器械、试验植入体、植入体组件、植入体或装置的预定轴，比如长轴、水平轴、正交轴、钻孔轴、钉扎轴、切割轴
●装置/植入体/植入体组件/手术器械/手术工具的估计/投影的非可视化部分，比如使用图像捕获或附接到具有已知几何结构的装置/植入体/植入体组件/手术器械/手术工具的标记
●预定的虚拟组织变化/改变。
任何前述内容，比如切割平面或轮廓，比如植入体或手术器械的轮廓可选择交替显示二维和/或三维图像。比如，当外科医生从骨端观察(比如，远端股骨)以定向和/或引导切割器械(比如，锯或锯片)时，可以使用切割平面的二维可视化比如线。当外科医生从侧面观察时比如以一定角度观察时，可视化可选地切换到三维显示器以显示切口和/或刀片相对于骨骼的期望角度方向。显示器也可以保持二维模式。二维显示与三维显示之间可以比如通过语音命令或虚拟投影键盘上的命令或虚拟投影的用户接口而手动切换，或者比如基于操作者头部和/或光学头戴式显示器相对于手术部位的位置和/或定向(比如，操作者头部/光学头戴式显示器相对于手术部位的正面方向，或接近包括90度的侧(近正交)向或角度，非90度的侧方向，比如30度角、40度角、50度角、60度角、70度角)而自动切换。切割平面的二维或三维图像可以帮助确定/显示预期切割的期望角度方向。角度定向可以例如是膝关节置换中的计划/预期机械轴线校正、膝关节置换中的计划/预期股骨组件屈曲或伸展、膝关节置换中的计划/预期胫骨斜度、或者髋关节置换术中的计划/预期腿长的计划/预期的股骨颈切除等的反映。
二维或三维显示器还可以包括多个切割平面，比如在髋关节置换手术中的两个或更多个股骨颈切割，如可以用于涉及前路手术且使用像双切割的“餐巾环(napkin ring)”穿过股骨颈的髋关节置换手术。在该示例中，三维切割平面可以包括在其下指向表面处的远端切割平面和在其上表面处的近端切割平面。这些“餐巾环”下部、远端面向和上部近端面部切口比如为了更容易拔出股骨头而可以是平行的或不平行的。使用OHMD显示器在二维或三维中可视化的任何切割平面可以使用立体或非立体显示器而是平行的或非平行的。
如果外科医生选择改变或调整以下在一个或多个虚拟手术计划中使用的各项中的任一项，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变，使用例如由OHMD显示器所显示的虚拟接口例如手指滑块或手指标签，通过虚拟触摸虚拟切割平面或者使用任何其他接口(包括例如手指命令或语音命令)来移动和/或旋转虚拟切割平面，虚拟数据的虚拟表示可以相应地移动并且可以在外科医生的显示器中相应地更新光学头戴式显示器中显示的虚拟数据。虚拟数据的虚拟图像的位置和/或定向的变化也可以在其他光学头戴式显示器中看到，比如由第二外科医生、住院医师、擦洗护士或PA佩戴的光学头戴式显示器，并且虚拟数据的投影也可以在第二、第三或任何其他光学头戴式显示器单元中相应地更新，比如在手术期间由第二外科医生、住院医师、擦洗护士或PA使用的光学头戴式显示器单元。可选地，改变或调整一个或多个虚拟数据的虚拟接口或任何其他接口仅可用于外科医生的光学头戴式显示器单元，即主要光学头戴式显示器单元，而其他光学头戴式显示器单元可作为伺服装置操作，仅随后显示主要光学头戴式显示器单元。以这种方式，可以避免潜在的术中误差，比如非外科医生修改虚拟数据或虚拟手术计划的各方面。可选地，主要作用可以传递给其他设备，在该情况下，外科医生的光学头戴式显示器单元可以作为伺服装置操作。当虚拟手术计划和/或患者虚拟数据需要复杂的变化时，这可能是有益的，这可能需要单独的人来实施这样的变化，同时外科医生也在管理活体患者的实际操作。
在本发明的一些实施方案中，外科医生的光学头戴式显示器单元可以使用集成到或附接到光学头戴式显示器的一个或多个图像和/或视频捕获系统和/或三维扫描仪来捕获患者实时数据。然后，捕获的患者实时数据可以以电子、数字形式作为实时流传输到从属光学头戴式显示器单元，可选地与患者虚拟数据一起比如叠加到患者虚拟数据上或与患者虚拟数据共同显示。替代性地，该示例中的伺服装置可以是非透视虚拟现实(VR)系统，比如Google Daydream系统或Zeiss VR One系统以及本领域中已知的其他系统。
由光学头戴式显示器显示的任何预期切割平面，可选地包括或考虑了锯片厚度，以反映在锯切步骤期间的骨损情况。用于钻头或针或其他手术器械的任何预期路径可包括或考虑手术器械的厚度，以反映在外科手术步骤期间的骨损情况。另外，由于手术器械的运动——比如，诸如锯片颤动或锯振动或略微偏心的钻头或钻头振动之类的不在手术步骤的主要方向上的运动——而损失的骨可包括在虚拟手术计划中，比如，通过在已知的锯片厚度的基础上加上对锯片颤振或锯振动的估计，并且可将其考虑入虚拟切除计划中和一个或多个二维或三维切割平面的通过光学头戴式显示器的最终显示中。
本领域技术人员可以易于意识到，如果外科手术涉及多个骨移除步骤，比如，可包括两个、三个或更多个骨切割的部分或全膝关节置换的股骨前处理，则可以在一个、两个、三个或更多骨移除步骤中考虑锯片厚度或其他骨移除器械的尺寸以及相关器械或装置移动或振动引起的骨损失。
当光学头戴式显示器用于显示装置、植入体、植入体组件、手术器械和/或手术工具的估计的/投影的非可视化部分时，装置、植入体、植入体组件、手术器械和/或手术工具的非可视化部分的显示也可以考虑可能已经或将要由装置、植入体、植入体组件、手术器械和/或手术工具引起的任何骨损失。通过考虑由装置、植入体、植入体组件、手术器械和/或手术工具引起的骨损失，虚拟手术计划和由光学头戴式显示器显示的包括后续手术步骤的任何手术步骤会更准确。
虚拟手术计划可用于限定手术工具、手术器械、试验植入体组件、试验植入体、植入体组件、植入体、装置的预定起始点。起点可以是，比如，患者皮肤的入口。如果使用术前成像(比如，超声、计算机断层扫描和/或磁共振)来拟制手术计划，则可以将皮肤定位在图像数据中，并且可以在通常靠近预期手术部位的区域处定义起始点。起始点也可以定义在选定的软组织深度，比如，深入软组织(比如，皮下组织或肌肉或其他组织或器官组织)5、8或10厘米。起点可以定义在器官的表面，比如，肝脏或脾脏或肾脏或膀胱或脑。起点可以定义在器官的解剖标志处或相关于器官的解剖标志定义，比如，肝脏边缘、肝门、下腔静脉进入肝脏的入口、门静脉进入肝脏的入口、肾脏的上极或下极、肾门。起始点可以定义在骨表面或骨性解剖标志处。
在一个或多个虚拟手术计划中使用的下述中的一项或多项：虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置，下述中的一项或多项：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变，可以使用本领域已知的各种技术在一个或多个OHMD显示中突出显示，所述各种技术包括但不限于：彩色显示；灰度显示；阴影显示；图案化显示，例如正方形、线条、条形；线条显示，例如实线、点画线、虚线；箭头显示；靶样显示；间歇显示，例如闪烁或闪光；出现或消失显示；放大显示；迷你显示。
例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变由光学头戴式显示器显示，有多种颜色可供选择。
例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变可以使用箭头显示来高亮显示。箭头可以对准一个或多个手术工具、手术器械、植入体组件、植入体或装置的方向。箭头也可以不与一个或多个手术工具、手术器械、植入体组件、植入体或装置的方向对准。箭头可以与一个或多个手术工具、手术器械、植入体组件、植入体或装置的方向正交。箭头可以对准一个或多个手术工具、手术器械、植入体组件、植入体或装置。箭头不能与一个或多个手术工具、手术器械、植入体组件、植入体或装置正交。
一个或多个箭头可以直接指向以下一项或多项，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置，以及以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。可选择放大或缩小所述一个或多个箭头。可选地，间歇地显示一个或多个箭头，比如，闪烁或闪光。一个或多个箭头可选地出现或消失。比如，当物理手术工具、手术器械、植入体组件、植入体或装置到达预定终点时，一个或多个箭头可以消失。
以下一项或多项，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置，以及以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变可以使用靶样显示来突出显示。可以使用多个靶样显示。
比如，靶样显示器可以定位在物理手术工具、手术器械、试验植入体、植入体组件、植入体或装置的预定轴线，起始点、一个或多个中间点、终点、起始位置、一个或多个中间位置、结束位置、预期路径、预定平面、预定切割平面。穿过目标以正交方式定向并穿过一个或多个目标的中心的线或轴线可选地对准物理手术工具、手术器械、试验植入体、植入体组件、植入体或装置的预定路径、预定平面、预定切割平面或预定轴线，和/或预定组织变更/改变中的一者或多者。
间歇的(例如闪烁或闪光的)显示可以用来示出以下一项或多项，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置，以及以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。例如，间歇显示可以突出显示手术工具、手术器械、试验植入体、植入体组件、植入体或装置中的一项或多项是否以及何时与以下一项或多项未对准：虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置，以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。间歇显示可以例如突出显示手术工具、手术器械、试验植入体、植入体组件、植入体或装置中的一者或多者是否以及何时与以下一项或多项中的一项或多项对准：虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变。
间歇显示可以选择性地改变颜色或具有不同的间歇性配色方案。例如，当物理手术工具、手术器械、试验植入体、植入体组件、植入体和/或装置中的一者或多者与以下一项或多项对准时：虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、虚拟植入体或虚拟装置，或以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变，闪烁或闪光的红色可以变成连续的而不是断续的绿色。
例如，间歇显示可以突出显示手术工具、手术器械、试验植入体、植入体组件、植入体或装置中的一项或多项是否以及何时与以下一项或多项未对准：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变，在OHMD中，间歇显示可以从连续的颜色(例如绿色或蓝色)变为闪烁或闪光的红色。可以选择不同的颜色用于中间与最终的末端位置，例如，蓝色表示中间，绿色表示最终/结束。
出现或消失显示可用于示出以下一项或多项：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或光学头戴式显示器内的虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。例如，出现或消失显示可以突出显示手术工具、手术器械、试验植入体、植入体组件、植入体或装置中的一项或多项是否以及何时与以下一项或多项未对准：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。在该示例中，以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，在物理手术工具、手术器械、试验植入体、植入体组件、植入体和/或装置与例如手术计划或以下一项或多项未对准时可出现在OHMD显示中：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变，和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，在重新对准时可以在OHMD显示中消失。相反也是可能的，例如以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，在未实现对准时消失，在实现对准时出现。
放大或缩小显示可用于显示以下一项或多项：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。光学头戴式显示器还可以选择性提供或叠加患者的虚拟解剖结构或虚拟数据的放大或缩小显示，比如，在与患者的实时解剖结构/实时数据配准之后。患者的未放大、放大或缩小的虚拟解剖结构或虚拟数据可以由光学头戴式显示器同时显示，例如由光学头戴式显示器使用不同的颜色、灰度或图案，或者交替地利用未放大、放大或缩小的显示，来显示以下一项或多项：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。在本发明的一些实施方案中，患者的虚拟解剖结构或虚拟数据的显示的放大(包括无放大)或缩小可以与以下一项或多项的放大(包括无放大)或缩小相同：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。如在上述中使用的患者的虚拟解剖结构或虚拟数据，包括患者的所有虚拟数据，包括例如来自血管流动研究、代谢成像、运动学数据等的数据。
例如，通过光学头戴式显示器的放大或缩小显示可以例如突出显示手术工具、手术器械、试验植入体、植入体组件、植入体或装置中的一项或多项是否以及何时与以下一项或多项未对准：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。在该示例中，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，在物理手术工具、手术器械、试验植入体、植入体组件、植入体和/或装置与例如手术计划或以下一项或多项未对准时可在OHMD显示中被放大或缩小：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，在重新实现对准时，可以在OHMD显示中被设置为零放大或缩小、或者可以从放大到缩小、或从缩小到放大。
如果以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，由光学头戴式显示器显示，则显示样式或技术的任何组合都是可能的，例如多色、灰度、阴影、图案、线条、箭头、靶样、间歇、出现、消失、放大、缩小。在一些实施方案中，可以选择不同的显示样式或技术用于不同的预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。
二维和三维显示
以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，可以由光学头戴式显示器以二维显示。
以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，可以由光学头戴式显示器以三维显示。
以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，可以由光学头戴式显示器以二维和/或三维显示，例如交替地显示或由语音命令或其他命令触发显示。可以同时以三维显示以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。
立体和非立体显示器
以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，可以由光学头戴式显示器以非立体方式三维显示，使得由外科医生的眼睛通过光学头戴式显示器单元的显示看到的患者虚拟数据的视角和由外科医生的眼睛通过光学头戴式显示器单元看到的患者实时数据的视角相似。
以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，可以由光学头戴式显示器以立体方式三维显示。
以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，可以由光学头戴式显示器以立体和/或非立体显示来显示，例如交替地或由语音命令或其他命令触发。以非立体方式显示以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，和以立体方式显示以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者可以同时显示。
在本发明的一些实施方案中，以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，可以位于脊柱中，更具体地说，位于椎体、椎弓根、椎骨骨折、后部结构、小关节中，这取决于虚拟手术计划和患者的解剖结构和临床状况。预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，可以位于脊柱、椎弓根和椎体的后部结构中，例如，如果考虑使用椎弓根螺钉的脊柱融合或椎体后凸成形术的椎体成形术。
如果计划用椎弓根螺钉进行脊柱融合，则预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者可以与在；来自虚拟手术计划的椎弓根螺钉的预定虚拟放置位置中的椎弓根螺钉的长轴线重合、平行、对准和/或叠加，可选地使用放置标准，例如如在虚拟手术计划中使用的与皮质的距离。
如果计划进行椎体成形术或椎体后凸成形术或脊柱活检，则预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者，可以与设定在来自虚拟手术计划的椎体成形术、椎体后凸成形术或活检针或针的预期虚拟放置位置中的椎体成形术、椎体后凸成形术或活检针或针的长轴线重合、平行或对准和/或叠加，可选地使用放置标准，例如如在虚拟手术计划中使用的与皮质的距离。
当光学头戴式显示器使用立体投影时，可以针对外科医生或操作者的眼间距离(包括比如，瞳距)调整左眼和右眼的显示。比如，可以在操作光学头戴式显示器之前测量左瞳孔与右瞳孔之间的距离。可以使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来执行这样的测量。这种测量也可以使用本领域已知的任何其他技术进行，包括比如，机械标尺、光学测量工具和验光师所用标准工具。
调整包含显示器的光学头戴式显示器单元
在一些实施方案中，一旦已知外科医生或操作者的瞳距，比如，瞳孔间的，就可以将其输入到显示系统接口和/或软件中，并且可以为用户调整左右眼的三维投影。比如，眼间或瞳距缩小，左右眼的投影可以移动得更靠近鼻子，使得左右投影的中心与左眼/瞳孔和右眼/瞳孔的中心对准。在眼间或瞳间距离增大的情况下，左右眼的投影远离鼻子移动，使得左右投影的中心与左眼/瞳孔和右眼/瞳孔的中心对准。不同的用户设置可以存储在系统中，比如，按用户名。以这种方式，当不同的用户将光学头戴式显示器放置在其头上时，用户或系统可以调出其优选使用者设置，包括各自的眼间距或瞳距。可以调用用户设置，比如，使用由光学头戴式显示器投影的可视或光学键盘接口，操作者可以在该接口中选择虚拟按钮。还可以使用语音命令、键盘和任何其他已知技术或用于执行用户命令的技术来调用用户设置。
刷新率，解决图像闪烁
在本发明的许多实施方案中，可能需要快速刷新率，比如，15Hz、20Hz、25Hz或30Hz、50Hz、70Hz、80Hz、100Hz、120Hz、150Hz、175Hz、200Hz或更高。当使用更高的刷新率时，如果带宽和传输速度和/或显示速度达到其极限，则能够可选地降低虚拟数据的显示的空间分辨率。替代性地，可以有交替式高分辨率显示器，比如，1920×1080像素分辨率，以及较低分辨率，比如，1024×768像素分辨率。高分辨率图像与低分辨率图像的比率可以是1∶1、2∶1、3∶1,1∶2、1∶3，可以是任何其他组合。
一些用户在刷新率为30Hz(有时刷新率更低)下没有感受到闪烁。其他用户可以在刷新率为70Hz或更快的情况下感受到或体验到闪烁。如果用户对虚拟数据的显示感受到闪烁效果或闪烁感，则用户可以选择增大刷新率，并且如果需要，比如出于带宽或传输速度的原因，可选择降低显示分辨率。用户还可以选择交替分辨率，比如，使1920×1080像素分辨率与1024×768像素分辨率混合；任何其他像素分辨率和像素分辨率的组合都是可以的。以这种方式，使用者可以选择产生令人愉快的、基本上无闪烁同时保持足够的空间和/或时间分辨率以实现精确的物理/虚拟工作环境的显示设置。
在本发明的一些实施方案中，显示器将根据使用者和/或操作者和/或外科医生指示视图的位置自动关闭以及可选地打开。
自动关闭和/或开启
在选择的情况下，使用者和/或操作者和/或外科医生可以选择关闭OHMD显示器或将其重新打开。关闭和/或开启可以通过语音命令执行。它还可以通过手势命令、眼睛命令、物理或虚拟键盘或键盘上的数字/手指命令来执行，比如，由光学头戴式显示器投射。
在一些实施方案中，OHMD显示器可以自动关闭和/或打开。关闭和/或开启可以由任意数量的发起事件或运动触发，其可以可选地由用户定义。触发自动关闭和/或开启的事件或运动在不同用户之间可以是不同的，并且可以存储为使用者偏好。
比如，自动关闭和/或开启还可帮助减少OHMD显示器的开启时间或活动时间，这在用户对OHMD显示器体验到闪烁感觉或遇到闪烁体验或其他不舒服的感觉时是可取的。以这种方式，当用户要求光学头戴式显示器执行活动(例如，通过显示在虚拟手术计划中可选地定义的物理手术步骤)时，潜在闪烁曝光或其他不适感的时段可以减少到关键部分或部段或区段，所述显示为显示以下一项或多项，预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。
在本发明的一些实施方案中，OHMD显示器可选地在用户观察目标活动区域时自动打开，比如，观察位于实时手术野或区域和/或虚拟手术野或区域的坐标内的手术野或器官或组织。在本发明的一些实施方案中，OHMD显示器可选地在用户目光远离目标活动区域的区域时自动关闭，所述目标活动区域比如为位于实时和/或虚拟手术野或区域的坐标内的手术野或区域或器官或组织。
在一些实施方案中，OHMD显示器可以可选地在用户观察活动的目标区域时自动打开，比如，观察位于实时手术野或区域和/或虚拟手术野或区域的坐标内的手术野或器官或组织，并且通过集成到、附接到或分离于光学头戴式显示器的图像或视频捕获系统、照摄像头，在位于实时手术野或区域和/或虚拟手术野或区域的坐标内的器官或组织中，检测一个或多个光学标记系统。在本发明的一些实施方案中，OHMD显示器可选择在用户目光远离目标活动区域，比如，远离位于活动和/或虚拟手术野或区域的坐标内的手术野或区域或器官或组织，并且外科医生的视野和/或集成到、附接到或分离于光学头戴式显示器的摄像头、图像或视频捕获系统和/或三维扫描仪的视野中不存在一个或多个光学标记时自动关闭。
可以使用不同的手段来定义和/或识别活动的目标区域(比如，手术野和/或目标组织)，所述手段为比如，图像捕获、光学标记、导航标记、包括红外标记、逆向反射标记、射频标记、手术导航、发光二极管、参考体模、校准体模、在目标区域上绘制的标记、比如，在皮肤或手术盖布上。如果考虑手术，任何前述的主动和/或被动标记可以放置在患者身上，比如，在手术盖布下面、或者在将要进行手术的患者的可见无菌暴露区域内。或者，任何主动或被动标记也可以置于无菌盖布的顶部或患者的皮肤上，比如，围绕手术区域或手术野。目标区域也可以通过使用一个或多个解剖标志来识别，比如，大转子和股骨颈之间的髋关节最低点(比如，龈点)、大转子上最高点、小转子最高点、髋臼缘、髋臼中心或膝关节内侧髁上最内侧点、外侧髁上最外侧点、滑车凹陷中心、胫骨脊、胫骨最前点、髌骨的中心点。已经/正被用于配准患者虚拟数据和患者实时数据的一个或多个相同解剖标志可用于定义或识别目标活动区域。可以使用例如集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来识别标志。可以通过可选地附接一个或多个光学标记、导航标记(包括红外标记、逆向反射标记、射频标记、手术导航、发光二极管、参考体模、校准体模或标记)来识别标志。目标区域可以由解剖标志包围，比如，由三个或更多个解剖标志包围。目标区域可以延伸超过一个或多个解剖标志，比如，达2、4、5、6、8、10厘米或更长或任何其他距离或半径，比如，由外科医生或操作者选择。
如果使用图像捕获来定义预期活动的区域，比如，手术野，则用户和/或外科医生可选地查看预期活动的区域，比如，该预期手术野。可选择，识别活动区域的中心区域和/或手术野可以由用户定义，比如，通过用手指或指示设备或射频标记、光学标记、包括红外标记、逆向反射标记、射频标记的导航标记、发光二极管和/或校准体模或参考体模指向该活动区域的中心区域和/或该手术野。一旦用户和/或外科医生的目光聚焦于预期的活动区域和/或预期的手术野，用户和/或外科医生就可以执行命令，比如，语音命令或手指命令，以识别预期的活动区域和/或手术野，并将识别结果存储在图像和/或视频捕获系统和/或三维扫描仪中。所识别的预期活动区域和/或手术野以这种方式存储在图像和/或视频捕获系统和/或三维扫描仪中。使用标准图像处理技术、图像和/或视频捕获系统和/或三维扫描仪随后可以识别用户和/或操作者和/或外科医生的视野中是否包括预期活动区域和/或外科手术野的20％、30％、40％、50％、60％、70％、80％、90％或100％。一旦外科医生的视野中包含一定百分比，比如，50％或60％或70％或80％或90％的预期活动区域和/或手术野，光学头戴式显示器可自动打开光学头戴式显示器显示。可选地，当用户、操作者和/或外科医生转离其视线时，OHMD显示器可以自动关闭，比如，当低于预期活动区域和/或手术野的90％、80％、70％、60％或50％包括在视野中时。
用于打开光学头戴式显示器和关闭光学头戴式显示器的面积或百分比可以不同。百分比可以选择，并且，可选地，存储为使用者偏好。
可以以各种不同方式定义视野，可选地，作为用户偏好。比如，当用户通过光学头戴式显示器查看时，视野可以是由OHMD显示覆盖的区域。视野可以是用户和/或操作者和/或外科医生可用的整个视野。视野可以是用户，操作者和/或外科医生的部分视野。
除了使用包括的预期活动区域和/或手术野的面积的百分比之外，还可以使用其他触发器，比如，解剖标志、图像捕获或光学标记、包括红外标记、逆向反射标记、射频标记的导航标记、发光二极管和/或校准体模或参考体模。比如，在解剖标志、光学标记、包括红外标记、逆向反射标记、射频标记的导航标记、发光二极管或校准体模或参考体模(比如，通过集成到、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统和/或三维扫描仪看到)位于视野的外三分之一、中央三分之一或内三分之一或内半部或其他解剖标志或分界/外的情况下，当用户、操作者和/或外科医生开始观察预期的活动区域和/或手术野时，OHMD显示器可以自动打开。
或者，当视野到达解剖标志、光学标记、包括红外标记、逆向反射标记、射频标记的导航标记、发光二极管或校准体模或参考体模或惯性测量单元中的一者或多者的特定厘米范围内时，比如，15厘米、10厘米、5厘米等时，OHMD显示器也可自动打开。当视野达到预期活动区域和/或手术野的一个或多个标记(比如，针或螺钉)的某些厘米范围内(比如，15厘米、10厘米、5厘米内)时，OHMD显示器也可自动打开。
当预期的活动区域或手术野或区域降到低于视野的某个阈值百分比(可选地由用户设定)，比如，90％、80％、70％、60％、50％、40％、30％、20％、10％等时，OHMD显示也可选地自动关闭。在一些实施方案中，在解剖标志、光学标记、导航标记(包括红外标记、逆向反射标记、射频标记)、发光二极管或校准体模或参考体模(比如，通过集成到、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统和/或三维扫描仪看到)位于视野的外三分之一、中央三分之一或内三分之一或内半部或其他标志或分界/外的情况下，当用户、操作者和/或外科医生视线开始远离预期的活动区域和/或手术野时，OHMD显示器可以自动关闭。
或者，当视野到达解剖标志、光学标记、包括红外标记、逆向反射标记、射频标记的导航标记、发光二极管或校准体模或参考体模或惯性测量单元中的一者或多者的特定厘米范围(比如，5厘米、10厘米、15厘米或更长)之外时，OHMD显示器也可自动关闭。当视野到达预定活动区域和/或手术野的一个或多个标记(比如，针或螺钉)的特定厘米范围(比如，5厘米、10厘米、15厘米内或更长)之外时，OHMD显示器也可自动关闭。
在本发明的一些实施方案中，在选择的手术器械(比如，锥子或针式驱动器或扩孔器或锯子)或选择的医疗装置组件或多个选择的手术器械或多个选择的医疗装置组件(同时或顺序地)出现在视野中时，OHMD显示器可以自动打开。可选地，当选择的外科手术器械(比如，锥子或针式驱动器或扩孔器或锯子)或选择的医疗装置组件或多个选择的手术器械或多个选择的医疗装置组件(同时或顺序地)从视野消失时，OHMD显示器可自动关闭。一个或多个手术器械或医疗装置组件的出现或消失可以由使用者/外科医生将头部移动远离预期的活动区域和/或手术野引起；还可以由用户/外科医生将手术器械和/或医疗装置组件移动到视野外或远离预期活动和/或手术野同时继续观察预期活动的区域和/或手术野引起。
在本发明的一些实施方案中，当用户/操作者/外科医生注视非光学头戴式显示器的显示监视器时，OHMD显示器可以自动关闭。这种显示监视器可以是视频屏幕或电视屏幕或计算机监视器，或PACS监视器或其他显示监视器，比如，位于手术室或工厂中。在本发明的一些实施方案中，可以比如使用结合标准图像处理技术的图像捕获，基于该监视器的方形或矩形轮廓/形状来识别监视器。在本发明的一些实施方案中，视频屏幕或电视屏幕或计算机监视器，或PACS监视器或其他显示监视器可以用置于显示器上、其周围或附近的光学标记、包括红外标记、逆向反射标记、射频标记的导航标记、发光二极管和其他标记来识别。
可选地，当用户/操作者/外科医生视线离开监视器时，光学头戴式显示器可以自动重新打开。比如，当监视器占据视野的25％、50％或75％或更多时，可以触发OHMD显示器的开启和关闭。可以触发OHMD显示器的开启和关闭，比如，当视野(比如，通过OHMD显示器)到达监视器的中心区域或点，或者监示器的中心区域或点的5厘米、10厘米、15厘米或更大的范围内，或距放置在监示器上、周围或附近的光学标记、包括红外标记、逆向反射标记、射频标记的导航标记、发光二极管和/或其他标记一定距离或区域内时。
在选择的实施方案中，优选的是，当用户注视监视器时OHMD显示器开启，而当用户视线远离监视器时OHMD显示器关闭。然后，当用户注视预期的活动区域(比如，手术野或区域)时，OHMD显示器可以选择性地重新打开。
在本发明的一些实施方案中，当对OHMD显示器的闪烁或经历闪烁的感觉是用户担忧的问题时，光学头戴式显示器可以间歇地打开和关闭，比如，它可以显示虚拟数据1、2、3、4或更多秒，然后关闭休息，比如，1、2、3、4或更多秒。可以由用户基于用户偏好来定义显示开启和显示关闭的时段。显示开启和关闭的时段可以与如例如在前述中概述的OHMD显示器的自动开启和关闭的各种触发器组合。
描述用于开启OHMD显示器和关闭OHMD显示器的非自动和自动或自动技术的前述实施方案和示例本质上仅是示例性的，决不意味着限制本发明。本领域技术人员可以识别用于自动打开和关闭OHMD显示器的许多不同触发器。OHMD显示器的自动开启和关闭也可以是用于保持电池寿命的有用功能，比如，一次性或可充电式电池。
管理显示器、硬件、软件或带宽限制
在本发明的一些实施方案中，光学头戴式显示器单元的显示器可以使用，比如，仅一部分可及的显示屏显示表示通过光学头戴式显示器可见的或可由光学头戴式显示器单元的显示器显示的较小部分的视野的部分数据和/或图像。如果显示来自术前或术中影像学检查(比如，X光、计算机断层扫描、磁共振扫描)的数据，则由光学头戴式显示器显示的数据或图像也可以针对比由影像学检查所涵盖的原始扫描体积或面积更小的体积，以减少显示的数据量。另外，由光学头戴式显示器显示的数据或图像的体积或面积还可以定为小于要操作的体积或面积或小于手术部位的体积或面积。比如，当软件环境限制由光学头戴式显示器所显示的表面点或节点的数量或限制由光学头戴式显示器显示的数据的大小或数量时，该实施方案可以是有用的。当WiFi或蓝牙或其他无线连接与光学头戴式显示器一起使用，其中在带宽和/或数据传输方面存在限制时，该实施方案也是有用的，从而限制了传输到光学头戴式显示器并最终被显示的数据量，特别是在该限制意味着对由光学头戴式显示器进行的数据和/或图像的显示而言可及的数据量的限制的情况下。
这种透过光学头戴式显示器可见或可以通过光学头戴式显示器单元的显示器显示的视野的较小部分、来自影像学检查的较小的目标体积、或者比手术部位的体积或面积更小的体积或面积可以定目标于手术部位的部分或定目标于解剖标志。例如，在膝关节置换中，视野的较小部分可以定目标于远端股骨或远端股骨的部分，当外科医生考虑在股骨上进行外科手术步骤时，例如，远端股骨切割或前切割或后切割或倒角切割；视野的较小部分可以定目标于近端胫骨或其部分，当外科医生考虑在胫骨上进行外科手术步骤时，例如，近端胫骨切割或胫骨龙骨准备和打孔；视野的较小部分可以定目标于髌骨，当外科医生考虑在髌骨上进行外科手术步骤时，例如，铣削或切割髌骨。在髋关节置换术中，视野的较小部分可以定目标于近端股骨或其部分，在外科医生正在考虑在近端股骨上进行手术步骤时，例如，股骨颈切割；视野的较小部分可以定目标于髋臼，当外科医生正在考虑对髋臼进行外科手术步骤时，例如髋臼扩孔或髋臼杯嵌入；视野的较小部分可以重新聚焦或重新定目标在近端股骨上，当外科医生考虑股骨拉削或扩孔时，可选地随后进行股骨组件撞击。在椎弓根螺钉放置或椎体成形术或椎体后凸成形术中，视野的较小部分可以定目标于外科医生考虑进行下一外科手术步骤的水平和/或侧面，例如，插入锥子、椎弓根螺钉、针、椎骨或椎体后凸成形术针。
透过光学头戴式显示器可见的或通过光学头戴式显示器的显示可显示的视野的目标区域或较小部分、来自影像学检查的较小的目标体积、或小于手术部位的体积或面积的体积或面积，也可以使用一个或多个解剖标志来限定，例如在髋关节的最下点、例如在大转子和股骨颈之间的龈沟、大转子上的最上点、小转子上的最上点、髋臼缘或其部分、髋臼中心、或在膝关节中、内侧髁上的最内侧点、外侧髁上的最外侧点、滑车凹陷的中心、胫骨脊、胫骨的最前点、髌骨的中心点。可以使用已经/正被用于配准患者虚拟数据和患者实时数据的一个或多个相同的解剖标志来限定透过光学头戴式显示器可见的或可通过OHMD显示器显示的视野的目标区域或较小部分。可以使用例如集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来识别标志。可以通过选择性附接一个或多个光学标记、导航标记(包括红外标记、逆向反射标记、射频标记)、手术导航、发光二极管、参考体模、校准体模或标记来识别标志。目标区域可以由解剖标志包围，比如，由三个或更多个解剖标志包围。目标区域可以延伸超过一个或多个解剖标志，比如，达2、4、5、6、8、10厘米或更长或任何其他距离或半径，比如，由外科医生或操作者选择。
通过将显示限制为透过光学头戴式显示器可见或通过光学头戴式显示器的显示可显示的视野的较小部分或目标区域、来自影像学检查的较小目标体积、或比手术部位的体积或面积更小的体积或面积，可以减少显示的数据量。另外，也可以减少传输的数据量，例如，使用Wifi、蓝牙或LIF网络。
通过光学头戴式显示器单元查看二维计算机监视器
在本发明的一些实施方案中，如果外科医生或操作者正在查看与光学头戴式显示器分开的计算机或显示监视器，例如，使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，则光学头戴式显示器系统可以例如自动检测。可以使用独立或单独的计算机或显示监视器来例如显示图像数据，例如，患者的，或同时显示光学头戴式显示器显示的虚拟数据。图像和/或视频捕获系统和/或三维扫描仪可以例如捕获计算机或显示监视器的轮廓，例如，圆形、方形或矩形，软件可以选择性地自动匹配、叠加或对准由光学头戴式显示器显示的项目或结构和独立或单独的计算机或显示监视器显示的项目或结构。或者，使用者、操作者和/或外科医生可以执行命令，例如，语音命令或使用虚拟手指/键盘接口的命令，指示他或她正在查看独立或单独的计算机或显示监视器，然后软件可以匹配、叠加或对准由光学头戴式显示器显示的项目或结构和由独立或单独的计算机或显示监视器显示的项目或结构。光学头戴式显示器系统可以匹配、叠加或对准由独立或单独的计算机监视器显示的所有结构。光学头戴式显示器系统可以匹配、叠加或对准由独立或单独的计算机监视器显示的结构的一部分。
光学头戴式显示器可以使用相同的颜色显示由独立或单独的计算机监示器显示的结构。光学头戴式显示器可以使用不同的颜色显示由独立或单独的计算机监示器显示的结构。光学头戴式显示器可以使用与由独立或单独的计算机显示器所用颜色或灰度或对比度不同的颜色或灰度或对比度来显示未通过独立或单独的计算机监示器显示的结构。
光学头戴式显示器可以使用与由独立或单独的计算机监视器所用的灰度和/或对比度相同的灰度和/或对比度来显示由独立或单独的计算机监视器显示的结构。光学头戴式显示器可以使用与由独立或单独的计算机监视器所用的灰度和/或对比度不同的灰度和/或对比度来显示由独立或单独的计算机监视器显示的结构。
光学头戴式显示器可以使用与由独立或单独的计算机监视器所用的图像强度相同的图像强度来显示由独立或单独的计算机监视器显示的结构。光学头戴式显示器可以使用与由独立或单独的计算机监视器所用的图像强度不同的图像强度来显示由独立或单独的计算机监视器显示的结构，例如，更亮或更不明亮。
在本发明的一些实施方案中，位于用户区域中的独立或单独的计算机或显示监视器，例如，手术室或手术间，可用作光学头戴式显示器单元的校准或参考或配准体模，包括支架并显示位置、定向和/或对准和/或运动的方向。监视器可以呈已知尺寸的圆形、矩形或方形。集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪可用于捕获监视器的一个或多个图像。由于监视器的尺寸是已知的，例如沿其边缘的大小、形状或尺寸，或监视器的捕获图像上的面积可用于确定光学头戴式显示器与监视器的距离；圆形、椭圆形、矩形或正方形的形状可用于确定光学头戴式显示器相对于监视器的角度。如果集成到或附接到光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪使用两个或更多个摄像机，则可以使用在第一个、第二个和任何附加的摄像机之间检测到的圆形、椭圆形、矩形或方形的形状差异来增大光学头戴式显示器对显示监视器的角度定向的估计的准确性，例如，通过相对于第二相机、相对于第三相机等校准第一相机的测量值。如果使用两个或更多个摄像头集成或附接到光学头戴式显示器支架的不同部分，例如，支架的左侧和支架的右侧，则也可以使用两个摄像头之间的监视器圆形、椭圆形、矩形或正方形的投影上的差异来估计用户的头部位置和/或定向和/或对准，和/或光学头戴式显示器框架的相对于使用者的头部和/或面部的位置和/或定向和/或对准。
在本发明的一些实施方案中，使用者和/或外科医生可选透过光学头戴式显示器观看显示监视器，同时将其头部保持在中性位置，例如，没有颈部外展、内收、屈曲、伸展或旋转。该头部位置可用于校准OHMD显示器相对于目标区域和/或患者和/或手术部位的位置，例如，在初始配准或随后的配准期间。该头部位置还可用于校准光学头戴式显示器单元/框架相对于使用者和/或外科医生头部和面部的位置。可选地，用户和/或外科医生可以将其头部放置在下巴支架或头部支架上以出于该校准或配准的目的。使用外部计算机或显示监视器作为校准和/或配准目的的参考的过程可以在活动开始和/或外科手术过程中进行，例如，作为初始配准过程的一部分。将外部显示监视器用作出于校准和/或配准目的的参考的过程也可以在活动期间执行或在活动和/或外科手术之后执行，例如，在担心光学头戴式显示器单元相对于用户和/或外科医生的脸出现移动的情况下。
在本发明的一些实施方案中，独立或单独的计算机或显示监视器的轮廓的位置、定位、定向和/或对准可以例如，使用集成到、附接到或与光学头戴式显示器分开的图像和/或视频捕获系统和/或三维扫描仪来监测。可选地，可以使用附加的光学标记、包括红外标记、逆向反射标记、射频标记的导航标记、发光二极管和/或惯性测量单元以及说明书中描述的或本领域已知的用于确定和/或追踪对象的位置、定位、定向和/或对准的任何其他技术，监视独立或单独的计算机或显示监视器的轮廓的定位、位置、定向和/或对准。利用已知的独立或外部计算机或显示监视器的位置、定位、定向和/或对准，可以追踪光学头戴式显示器单元的位置、定位、定向、对准和/或运动方向，例如，通过集成到或附接到光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，或集成到或附加到其上的光学标记、包括红外标记、逆向反射标记、射频标记的导航标记、发光二极管和/或惯性测量单元。由于可以追踪光学头戴式显示器单元的定位、位置、定向、对准和/或移动方向，光学头戴式显示器单元的显示器可以始终或者优选间歇地显示由独立或单独的计算机或显示监视器显示的、在空间上匹配的相同结构，或者至少其子集或一部分。如果独立或单独的计算机或显示监视器仅占用由OHMD显示器覆盖的视野的一部分，则OHMD显示器可以将显示的结构与由独立或单独的计算机或显示监视器显示的结构仅针对由独立或单独的计算机或显示监视器占用的视野的该部分相匹配。可备选，OHMD显示器可以显示延伸超出由独立或单独的计算机或显示监视器占据的视野部分的结构。延伸超出由独立或单独的计算机或显示监视器占据的视野部分的结构可以与由独立或单独的计算机或显示监视器显示的结构相连续。由独立或单独的计算机或显示监视器占据的视野的该部分之外的结构可以是独立的，和/或与独立或单独的计算机或显示监视器显示的结构分开。例如，除了显示与由独立或单独的计算机或显示监视器显示的内容匹配或对应的一个或多个结构之外，OHMD显示器还可以在不包括独立或单独的计算机或显示器的那部分视野中显示诸如生命体征或患者人口统计学或诸如术前影像学检查之类的项目。当使用者、操作者和/或外科医生没有注视患者时，这可能是有用的。
在本发明的一些实施方案中，光学头戴式显示器可以在用户或外科医生正在观察手术野时显示手术野相关信息，例如，虚拟手术计划的细节或各方面(例如，预期/投影的切割平面)，或患者的解剖学信息(例如，来自术前影像学检查)；光学头戴式显示器可以在用户或外科医生正在查看独立或单独的计算机或显示监视器时，显示由该独立或单独的计算机或显示监视器显示的部分信息或所有信息，例如以三维方式而同时该独立或单独的计算机或显示监视器可以以二维方式显示；当用户或外科医生既不看手术区也不看独立或单独的计算机或显示监视器或手术时，或当手术野和/或独立或单独的计算机或显示监视器仅占用由OHMD显示器覆盖的视野的一部分时，光学头戴式显示器可显示非手术野相关信息和非独立或非单独的计算机或显示监视器相关或显示的信息。由OHMD显示器显示的手术野相关信息、独立或单独的计算机或显示监视器信息和其他信息之间的切换或转换可以是自动的，例如，通过图像捕获和相关图像处理和识别用户或外科医生当前正在查看的区域，例如可选地由光学标记、导航标记包括红外标记、逆向反射标记、射频标记和/或发光二极管区别，或者可以通过用户或外科医生执行命令，例如，语音命令或手指/键盘命令，比如，使用OHMD显示器显示的虚拟键盘。
光学头戴式显示器可以显示与独立或单独的计算机显示器或监视器上以二维或三维显示的信息有关的信息，后者是立体的或非立体的。可以在通过OHMD显示器的显示与通过独立或单独的计算机或监视显示器的显示之间应用任意数目的显示组合。例如，当计算机或监视显示器显示患者的术前或术中影像学检查时，这些可以使用拟三维显示技术以二维(例如横截面)或三维显示，例如，通过表面重建和阴影。使用OHMD显示器覆盖或叠加例如，来自患者的术前或术中影像学检查和/或患者的虚拟手术计划的解剖的真三维(例如，立体三维)视图，到由独立的或者单独的计算机或显示监视器以二维或拟三维显示的相同解剖结构和/或虚拟手术计划上，对于外科医生可能是有益的，在外科医生在手术期间执行手术计划或计划下一手术计划时。
在一些实施方案中，光学头戴式显示器单元的显示器或独立或单独的计算机或显示监视器可以显示患者的功能和/或时间研究结果，例如，外科医生使用实时荧光透视成像移动患者的腿或手臂，而两个显示模式中的另一个可以同时显示和/或叠加静态图像。比如，独立或单独的计算机或显示监视器可以显示二维或三维功能和/或时间研究，比如，使用实时二维单或双平面荧光透视或使用三维计算机断层扫描荧光透视捕获的膝关节运动，同时光学头戴式显示器单元的显示器可以叠加相应解剖结构的二维或三维非立体图像或三维立体图像。
以下是光学头戴式显示器的二维和三维非立体和立体显示和独立或单独的计算机或显示监视器的二维和拟三维显示的选择的可能组合的示例性列表。表8中的列表决不意味着限制本发明。
表8：通过光学头戴式显示器单元的显示器和独立或单独的计算机显示器或显示监视器显示模式或类型的可能组合的示例。
OHMD显示器可选择以二维显示患者的一些虚拟数据，比如，术前图像和/或图像重建，同时可以三维显示其他虚拟数据，比如，虚拟计划的各方面或各部分，比如，预期切割平面。类似地，OHMD显示器可选择以三维形式显示患者的一些虚拟数据，比如，术前图像和/或图像重建，同时可以以两维显示其他虚拟数据，比如，虚拟计划的各方面或构成部分，比如，预期的钉或钻头放置，在二维中作为线。
独立或单独的计算机或显示监视器可选择以二维显示患者的一些虚拟数据，比如，术前图像和/或图像重建，同时可以以拟三维(pseudo 3D)格式(比如，具有透视图和阴影)显示其他虚拟数据，比如，虚拟计划的各方面或各部分，比如，预期切割平面。类似地，独立或单独的计算机或显示监视器可选择显示患者的一些虚拟数据，比如，术前图像和/或图像重建，同时以两维显示其他虚拟数据，比如，虚拟计划的各方面或构成部分，比如，预期的钉或钻头放置，在二维中为线。
虚拟手术计划的各方面或各部分可以例如包括以下一项或多项：预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者。
在另外的实施方案中，OHMD显示器可选地以二维形式显示虚拟手术计划的一些方面或部分，以及以三维、立体或非立体形式显示其他方面和部分。比如，OHMD显示器可以以三维立体或非立体显示预期的切割平面，同时可以以二维显示虚拟切割块为轮廓，比如，待切割(比如，用于髋关节置换的股骨颈)的下层组织的立体三维视图投影。OHMD显示器可以显示虚拟手术器械，比如，三维中的扩孔器，比如，立体或非立体，并且可以以二维或三维投射预期的扩孔轴线。
独立或单独的计算机或显示监视器可选择同时以二维显示虚拟手术计划的一些方面或部分和以拟三维显示虚拟手术计划的的其他方面和部分，可选地，以不同的颜色显示。比如，独立或单独的计算机或显示监视器可以以拟三维显示预期的切割平面，同时可以以二维显示虚拟切割块为轮廓，比如，投影在待切割的下层组织(比如，用于膝关节置换的远端股骨)的拟三维视图上。独立或单独的计算机或显示监视器可以拟三维形式显示虚拟植入体或试验植入体，并且可以在二维中投射其预期的中心轴线，比如，用于髋关节置换的股骨组件的股骨干轴线。
在许多实施方案中，OHMD显示器和独立或单独的计算机或显示监视器的不同二维和三维图像可以同时显示和查看，基本或部分叠加。由于用户或外科医生可以透过OHMD显示器查看独立或单独的计算机或显示监视器，因此，用户或外科医生可以体验以前无法实现的二维和三维显示信息(比如，患者的虚拟解剖结构的和/或虚拟手术计划的各方面)的组合。
表9：用于同时查看通过光学头戴式显示器单元和独立或单独的计算机或显示监视器对包括解剖结构(anatomy)的患者虚拟数据(比如，术前成像)和/或虚拟手术计划的方面和/或部分和/或虚拟手术器械和/或虚拟植入体或植入体组件和/或患者的术中成像的显示的不同显示模式和类型的可能的组合的另外一些示例。
包括解剖结构的患者虚拟数据(比如，术前成像)，和/或虚拟手术计划的方面和/或部分，和/或虚拟手术器械和/或虚拟植入体或植入体组件和/或患者的术中成像，可通过光学头戴式显示器单元的显示器和独立或单独的计算机或显示监视器(display monitor)使用不同的颜色、灰度值和图像强度显示。
患者的术中成像可以包括，例如，关节的(比如，髋关节、膝关节、肩关节或脊柱)X光成像、激光扫描、三维扫描或机械探针扫描。术中X光图像、激光扫描、三维扫描、机械探针扫描、患者的术前图像数据，包括二维和三维重建、虚拟手术计划的方面和/或部分、虚拟手术器械和/或虚拟植入体和植入体组件可以同时显示，也可以可选地通过光学头戴式显示器单元的显示器和独立或单独的计算机或显示监视器叠加显示。两个或更多个成像模式或术前和术中影像学检查如果被共同显示，则可选地在解剖学上匹配，并且可选地使用相同的投影平面或可选择不同的投影平面来显示。
如果二维视图与三维视图或拟三维视图仅通过OHMD显示器、仅通过独立或单独的计算机或显示监视器共同显示，或者通过两者一起显示并且部分或完全叠加，则可以选择性地使用某些标准投影显示二维视图，所述标准投影为比如，正位、横向、倾斜；标准投影，比如，正位、横向和倾斜，可以选择参考患者实时数据(比如，患者位于手术台上的相应平面)，或独立或单独的计算机或显示器上显示的患者数据。标准投影或标准视图还可以包括来自患者侧面、前视图、顶视图、底视图或倾斜视图的视角。
动态视图或功能视图，比如，具有两个或三个空间维度和时间维度，可以通过光学头戴式显示器单元的显示器和/或独立或单独的计算机显示器或显示监视器来显示，可选地叠加到静态图像上或与静态图像共同显示，比如，二维或三维，通过第二显示单元，比如，光学头戴式显示器单元的显示器或独立或单独的计算机显示器或显示监视器。这样的动态视图或功能视图可以包括关节的运动学研究，比如，通过术中激光或三维扫描仪获得的，外科医生可以使用该运动学结果来获得膝关节、髋关节、肩关节和任何其他关节在不同屈曲角度、延伸角度、旋转角度、外展角度、内收角度下的扫描，比如，0、10、15、20、30、40、45、50、60、70、80、90、100、110、120、130、140、150度等。可以通过光学头戴式显示器单元的显示器和/或独立或单独的计算机显示器或显示监视器来显示任何其他类型的动态扫描，其可以包括时间元素或时间维度或功能单元或功能维度。
在本发明的一些实施方案中，光学头戴式显示器单元的显示器可用于显示较低分辨率的数据和/或图像，而独立或单独的计算机显示器或显示监视器的显示器可用于显示相应或匹配或重迭的更高分辨率的数据和/或图像。比如，当光学头戴式显示器的最大可用显示分辨率低于特定应用或外科手术所需的显示分辨率时，该实施方案特别有用。当软件环境限制显示的表面点或节点的数量或限制可用分辨率时，该实施方案也是有用的。当WiFi或蓝牙或其他无线连接与光学头戴式显示器一起使用时，该实施方案在带宽和/或数据传输方面的限制也是有用的，从而限制了传输到光学头戴式显示器并最终显示的数据量，特别是当该限制意味着限制光学头戴式显示器显示数据和/或图像的数据量的可及的空间分辨率。通过光学头戴式显示器查看低分辨率的数据和/或图像，用户便于立体可视化或查看手术计划的部分或方面，比如，虚拟切除线、虚拟切割平面、虚拟器械和/或虚拟植入体，通过同时查看更高分辨率数据和/或图像和/或部分或完全叠加更高分辨率数据和/或图像在独立或单独的计算机显示器或显示监视器上，观察者便于同时查看高分辨率的数据和/或图像。
在本发明的一些实施方案中，光学头戴式显示器单元的显示器可用于显示静态数据和/或图像，而独立或单独的计算机显示器或显示监视器可用于显示相应或匹配或重迭的动态数据/或图像，比如，展示功能的图像，比如，关节的运动，和/或包括在一段时间内监测的状况或功能的变化的时间元素或维度。比如，当OHMD显示器的刷新率低于特定应用或外科手术所需的刷新率时，该实施方案尤其有用。当软件环境限制所显示的数据量和/或图像量时，该实施方案也是有用的。当WiFi或蓝牙或其他无线连接用于连接光学头戴式显示器且存在带宽和/或数据传输上的限制时，该实施方案也是有用的，从而限制了传输到光学头戴式显示器并最终显示的数据量，特别是当该限制意味着光学头戴式显示器显示数据和/或图像的可用时间和/或空间分辨率的限制时。通过光学头戴式显示器查看静态数据和/或图像，用户便于立体可视化或查看手术计划的部分或方面，比如，虚拟切除线、虚拟切割平面、虚拟器械和/或虚拟植入体、通过同时查看动态数据和/或图像和/或部分或完全叠加动态数据和/或图像在独立或单独的计算机显示器或显示监视器上，观察者便于同时查看可选择的高分辨率的动态数据和/或图像。
在本发明的一些实施方案中，光学头戴式显示器单元的显示器可用于显示表示由独立或单独的计算机或显示监视器显示的较小部分视野的数据和/或图像的子集，同时独立或单独的计算机显示器或显示监视器的显示器可用于使用患者数据的完整预期视野显示相应或匹配或重迭的更高数据和/或图像。比如，当软件环境限制由光学头戴式显示器显示的表面点或节点的数量或限制由光学头戴式显示器显示的数据的大小时，该实施方案可以是有用的。当WiFi或蓝牙或其他无线连接与光学头戴式显示器一起使用且在带宽和/或数据传输方面存在限制时，该实施方案也是有用的，从而限制了传输到光学头戴式显示器并最终显示的数据量，特别是当该限制意味着光学头戴式显示器可用于显示数据和/或图像的数据量的限制。通过光学头戴式显示器观察具有更小，更窄视野的数据和/或图像，用户便于例如立体可视化或查看手术计划的部分或方面，比如，虚拟切除线、虚拟切割平面、虚拟器械和/或虚拟植入体，同时，通过同时查看和/或通过部分或完全叠加具有完整视野的数据和/或图像在独立或单独的计算机显示器或者显示监视器上叠加，观察者便于同时使用患者数据的完整预期视野来查看数据和/或图像。
通过光学头戴式显示器单元的显示器和独立或单独的计算机显示器或显示监视器将三维视图叠加到二维视图上或与二维视图共同显示时，或当光学头戴式显示器单元的显示器以及独立或单独的计算机显示器或显示监视器叠加或共同显示多个二维视图时，它们可以在解剖学上匹配，比如，使用相应的解剖标志和/或使用共同坐标。它们还可以具有不同的视角，比如，当患者位于手术台上时的视角，侧视、前视、顶视、底视或倾斜视的视角。因此，OHMD显示器可以显示患者的虚拟解剖结构的立体三维视图，例如，来自术前影像学检查，而独立或单独的计算机或显示监视器可以显示患者的匹配的正位或横向术中放射摄影视图或匹配的拟三维激光视图。
光学头戴式显示器单元的显示器和独立或单独的计算机或显示监视器的显示器所显示的数据的匹配可以以不同的方式实现，例如通过使用坐标的数据和/或图像的匹配；使用内容的数据和/或图像的匹配和使用坐标的数据和/或图像的匹配与使用内容的数据和/或图像的匹配的组合来匹配数据和/或图像。
在本发明的一些实施方案中，由光学头戴式显示器显示的数据和/或图像以及由独立或单独的计算机或显示监视器显示的数据和/或图像可以使用已知的图像坐标进行匹配，然后可选部分或完全叠加，例如，当用户和/或外科医生在观看独立或单独的计算机或显示监视器的同时，移动其头部和/或身体时。例如，如果光学头戴式显示器空间配准，例如，关于患者和/或手术部位和/或独立计算机或显示监视器和/或独立计算机或显示监视器上显示的图像数据，由光学头戴式显示器显示的和/或由独立计算机或显示监视器显示的数据和/或图像可以在相同或共同的坐标系统中，这在当部分或全部单独的计算机或显示监视器包含在用户或者外科医生的透过光学头戴式显示器的视野中时，可以允许将光学头戴式显示器的显示与独立或单独的计算机显示器或显示监视器的显示匹配或叠加。
在本发明的一些实施方案中，当光学头戴式显示器的显示和单独的计算机或显示监视器的显示都配准在同一坐标系中——这可以包括由一个或多个光学头戴式显示器显示的图像数据和由单独的计算机或显示监视器显示的图像数据配准在同一坐标系中——时，光学头戴式显示器然后可以显示至少部分匹配单独的计算机或显示监视器的数据和/或图像的坐标和/或解剖特征(例如在二维或三维中)的一组数据和/或图像。例如，光学头戴式显示器可以显示与由独立或单独的计算机或显示监视器显示的拟三维可视化视图共享公共坐标和/或解剖特征(例如在二维或三维中)的立体三维视图。比如，这样的公共坐标可以是角点或边缘或选择几何特征和/或位置，这些然后可以叠加在用户或外科医生看到的合成的光学头戴式显示器/独立监视器视图中叠加。光学头戴式显示器还可以显示例如患者实时数据或患者虚拟数据或两者的立体三维视图，在独立或单独的计算机或显示监视器显示二维视图，比如，病患术前影像学检查时。独立或单独的计算机或显示监视器显示的二维平面或视图可以与嵌入或包含在由光学头戴式显示器显示的三维数据和/或图像中的相应二维平面具有相同或共同的坐标和/或解剖特征(例如三维的或二维的)，然后这些坐标和/或解剖特征可以匹配或叠加在用户或外科医生可以看到的合成的复合光学头戴式显示器/独立监视器视图上。或者，在类似的示例中，如果光学头戴式显示器仅提供表面显示，比如，由独立或单独的计算机或显示监视器显示的二维平面的外围或轮廓或选择外围点可以具有与对应于由光学头戴式显示器显示的三维数据和/或图像中的二维平面的位置中的相应的表面点和/或解剖特征(例如二维的或三维的)相同或共同的坐标和/或解剖特征(例如二维的或三维的)。
由光学头戴式显示器显示的数据和/或图像可以与由独立或单独的计算机或显示监视器显示的数据匹配，比如，通过叠加识别并叠加公共坐标和/或通过定义共同坐标系。或者，由独立或单独的计算机或显示监视器显示的数据和/或图像可以与由光学头戴式显示器显示的数据匹配，比如，通过识别并叠加公共坐标和/或通过定义共同坐标系。当光学头戴式显示器显示的数据和/或图像与独立或单独的显示监视器显示的数据和/或图像叠加时，光学头戴式显示器显示的数据和/或图像以及独立或单独的显示监视器显示的数据和/或图像，可以使用相同的放大倍率显示，以优化叠加或匹配。
在本发明的一些实施方案中，手术台可以移动。手术台的运动可以转化为患者和/或手术部位在x、y和/或z方向上的比较运动。当手术台移动的大小和方向已知时，可用相应的量或方向移动共同坐标系，以匹配或叠加由光学头戴式显示器显示的数据和/或图像和独立或单独的显示监视器显示的数据和/或图像。比如，如果光学头戴式显示器显示患者实时数据，比如，通过集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统捕获和/或三维扫描仪捕获的，和/或患者虚拟数据和/或叠加到患者实时数据上的患者虚拟数据，并且独立或单独的计算机或显示监视器显示患者的术前影像学检查，手术台和患者可以移动并且光学头戴式显示器显示的实时或虚拟数据可以移动相应的数量，从而保持配准，包括配准独立或单独的计算机或显示监视器上显示的数据。
在本发明的一些实施方案中，由光学头戴式显示器显示的数据和/或图像以及由独立或单独的计算机或显示监视器显示的数据和/或图像可以交叉配准，以及，比如，移动到共享或共同的坐标系中，通过使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，捕获由独立或单独的计算机或显示监视器显示的数据。比如，独立或单独的计算机或显示监视器可以显示来自患者的实时术中影像学检查的数据，包括比如，在患者或手术台移动期间或两者移动期间的成像。标准图像处理技术可以识别例如在独立或单独的计算机或显示监视器上显示的数据或图像上的解剖标志或特征，并将这些识别的解剖标志或特征与通过光学头戴式显示器可显示的图像和/或数据中的相应解剖标志或特征相匹配。然后，光学头戴式显示器可以显示相应的数据和/或图像，可选地基于解剖标志匹配来叠加数据。解剖标志匹配可以例如通过移动和/或平移光学头戴式显示器可显示的数据或图像一定量使其重叠或匹配在共同坐标系中对应的解剖标志和/或特征而发生叠加。
在实施方案中，可以通过使用图像捕获或视频捕获系统或三维扫描仪从独立或单独的计算机监视器或显示器捕获信息，通过比较、配准、匹配、移动、对准和/或叠加用术中成像系统获取的图像(例如由独立或单独的计算机监视器或显示器显示的图像)和在术前影像学检查中获取的数据和/或图像(例如由光学头戴式显示器显示的图像)，来应用该过程。在实施方案中，通过比较、配准、匹配、移动、对准和/或叠加用术中成像系统获取的图像(例如由独立或单独的计算机监视器或显示器显示的图像)和在术前影像学检查中获取的数据和/或图像(例如由光学头戴式显示器显示的图像)，可以直接应用该过程，即，不使用图像捕获或视频捕获系统或三维扫描仪，使用例如计算机工作站，可选地连接到独立或单独的计算机监视器或显示器。
在实施方案中，通过比较、配准、匹配、移动、对准和/或叠加在术前影像学检查中获得的图像，例如由光学头戴式显示器显示的图像和通过术中成像系统获取的数据和/或图像，例如由独立或单独的计算机监视器或显示器显示的数据和/或图像，可以使用图像捕获或视频捕获系统或三维扫描仪从独立或单独的计算机监视器或显示器捕获信息来应用该过程，所述数据和/或图像由术中成像系统获取，例如由独立或单独的计算机监视器或显示器显示。在实施方案中，通过将术前影像学检查(例如由光学头戴式显示器显示)中获得的图像与术中成像系统(例如由独立或单独的计算机监视器或显示器显示)所获得的数据和/或图像进行比较、配准、匹配、移动、对准和/或叠加，可以直接应用该过程，即不使用图像捕获或视频捕获系统或三维扫描仪，使用例如计算机工作站，该计算机工作站可选地连接到独立或单独的计算机监视器或显示器。
图像处理技术可以例如识别由实时成像系统获取的数据或图像上的解剖标志或特征，并将这些与光学头戴式显示器可显示的数据和/或图像中的相应解剖标志或特征相匹配。然后，光学头戴式显示器可以显示相应的数据和/或图像，可选地基于解剖标志匹配来叠加数据。比如，解剖标志匹配可以通过移动和/或平移光学头戴式显示器可显示的数据或图像一定量使其将重叠或匹配在共同坐标系中的对应的解剖标志和/或特征叠加而发生。
在前述实施方案中，由光学头戴式显示器显示的数据和/或图像可以与独立或单独的计算机或显示监视器显示的数据匹配，比如，通过识别公共坐标并叠加它们和/或通过定义共同坐标系。或者，由独立或单独的计算机或显示监视器显示的数据和/或图像可以与光学头戴式显示器显示的数据匹配，比如，通过识别并叠加公共坐标和/或通过定义共同坐标系。当光学头戴式显示器显示的数据和/或图像与独立或单独的显示监视器显示的数据和/或图像叠加时，光学头戴式显示器显示的数据和/或图像以及独立或单独的显示监视器显示的数据和/或图像或者，可以使用相同的放大倍率显示，以优化叠加或匹配。
由光学头戴式显示器和独立或单独的计算机或显示监视器显示的图像的匹配也可以通过组合基于坐标的匹配(比如，对于两个显示器使用同一坐标系)和使用任何前述技术的基于解剖标志的匹配来执行。本领域技术人员将易于识别坐标匹配和解剖标志匹配的其他手段。
在本发明的一些实施方案中，可以调整由光学头戴式显示器显示的项目的放大倍率，使得放大倍率反映、对应于、小于或大于独立或单独的计算机或显示监视器所用的放大倍率。或者，独立或单独的计算机或显示监视器可以具有一个或多个标记，比如，一个或多个发光二极管，集成到、附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统和/或三维扫描仪，随后可以检测所述一个或多个标记，而这又能够触发由光学头戴式显示器显示的项目的放大倍率的调整，例如基于光学头戴式显示器到监视器的距离。在一些实施方案中，集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪可以使独立或单独的计算机或显示监视器的尺寸和形状(圆形、椭圆形、椭球形、矩形、正方形)可视化；使用标准图像处理技术和几何结构，然后，可以使用尺寸和形状来推导光学头戴式显示器相对于独立或单独的计算机或显示监视器的距离和角度。如果使用多个摄像头，则可以使用额外的视差信息(独立或单独计算机或显示监视器的尺寸和/或形状的差异)来进一步估计或改进光学头戴式显示器与独立的或单独的计算机或显示器的距离或角度的估值。然后，可以选择性地使用OHMD显示器到独立或单独的计算机或显示监视器的距离和/或角度的最终估值来匹配由独立或单独的计算机或显示监视器显示的数据的放大倍率，或以高于或低于由独立或单独的计算机显示器或显示监视器显示的数据的放大倍率显示。
类似地，光学头戴式显示器可以比如自动检测是否外科医生或操作者没有正在看独立或单独的计算机或显示监视器，比如，使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪。比如，图像和/或视频捕获系统和/或三维扫描仪可以例如检测到所捕获的图像数据中不存在独立或单独的计算机或显示监视器的轮廓(比如圆形、方形、矩形)，并且软件可以自动调整由光学头戴式显示器显示的项目的放大倍率，使其反映或对应光学头戴式显示器或外科医生的眼睛与患者手术部位的距离，或者小于或大于该值。或者，独立的或单独的计算机或显示监视器可以具有图像和/或视频捕获系统和/或三维扫描仪可以检测到的一个或多个标记，例如，一个或多个发光二极管或光学标记；在这种情况下，当图像捕获系统注意到一个或多个发光二极管或光学标记不包括在图像捕获数据中时，软件可以自动调整光学头戴式显示器显示项目的放大倍率，以便它反映或对应于光学头戴式显示器或外科医生的眼睛与患者手术部位的距离，或者小于或大于该值。类似地，包括集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪的光学头戴式显示器可以检测放置在患者手术部位上的标记或发光二极管，从而触发放大倍率的调整以使其反应、对应光学头戴式显示器或外科医生的眼睛与患者手术部位的距离，或者小于或大于该值，当外科医生或操作者看患者手术部位时。
在本发明的一些实施方案中，代替独立的或单独的计算机或显示监视器，光学头戴式显示器可用于显示数据和/或图像。可选地，光学头戴式显示器可以替换独立或单独的计算机或显示监视器。在一些实施方案中，光学头戴式显示器可以显示来自患者手术部位的实时数据，并且将其投射给外科医生且将其与虚拟数据叠加。光学头戴式显示器还可以显示虚拟手术计划的一个或多个方面或部分，例如，一个或多个手术器械的投影路径，或者光学头戴式显示器可以显示一个或多个虚拟植入体或植入体组件。在该实施方案中，光学头戴式显示器可选地可以使一个或多个投影路径、和/或一个或多个手术器械和/或一个或多个虚拟植入体或植入体组件的放大倍率相对于患者实时数据的放大倍率匹配。对于一个或多个投影路径和/或虚拟手术器械、和/或一个或多个虚拟植入体或植入体组件，光学头戴式显示器还可以应用比患者实时数据的放大倍率更大或更小的放大倍率和/或尺寸。通过光学头戴式显示器的透明显示器可以看到患者实时数据。或者，显示器可以是部分或完全不透明的，并且实时数据可以通过集成到、附接至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来捕获，然后由OHMD显示器显示。
在本发明的一些实施方案中，例如当光学头戴式显示器是主要显示单元时，光学头戴式显示器对于光可以是不透明的或者对从患者手术野反射的光最低程度地透明，并且可以显示由图像和/或视频捕获系统和/或三维扫描仪收集的实时(电子)图像，并且可选地，光学头戴式显示器还可以另外地显示虚拟手术计划的方面和/或部分，例如，用于一个或多个物理手术器械、探针、指针的一个或多个投影路径、和/或一个或多个虚拟器械和/或一个或多个虚拟植入体或植入体组件(可选地，具有各种选择的匹配或非匹配的放大倍率)。在该设置中，光学头戴式显示器还可以显示物理手术器械和/或装置的电子图像及其各自的运动，例如通过集成到、附接至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪所捕获的物理手术器械和/或装置的电子图像及其各自的运动(具有各种选择的匹配或不匹配的放大倍率)。
光学头戴式显示器对于光可以是永久不透明的，或者对于从患者手术野反射的光最低程度地透明。或者，透明度可以是可变的，例如通过使用位于光学头戴式显示器或电子组件(例如，液晶显示器(LCD))前面或集成到光学头戴式显示器或电子组件中的一个或多个光学滤光器(例如，偏振光滤光器)、或位于光学头戴式显示器前面或集成到光学头戴式显示器中的光学滤光器而是可变的，或者通过强度调整而是可变的。手术室可以选择使用光源，例如，偏振光或滤光，光源将支持调制或帮助调整光学头戴式显示器对于从患者手术野反射的光线的透明度。
放大显示
以下结构和/或装置的放大显示、例如对于以下一者或多者的放大显示可以用光学头戴式显示器同时或非同时地显示：
-物理解剖结构(physical anatomy)(例如，使用可选地放大或缩小的术中成像)
○静态
○动态，例如，具有功能或时间元素或维度
-虚拟解剖结构，例如来自术前影像学检查的虚拟解剖结构
-虚拟手术计划的方面或部分，例如预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、和/或预定组织变化或改变中的一者或多者、和/或虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的预定位置和/或定向中的一者或多者
-虚拟手术器械
-虚拟植入体或植入体组件
在本发明的一些实施方案中，OHMD显示器可以显示通过集成到、附接至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪捕获的患者实时数据，患者实时数据的放大倍率高于由用户或外科医生的眼睛通过光学头戴式显示器的透明部分看到的实时数据。因此，对于OHMD显示器到手术野的给定距离，可以以放大的方式显示通过集成到、附接至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪捕获的患者实时数据。这具有以下益处：可以更详细地看到选择的结构，例如，提供部分或全部手术野的低功率微观放大视图。光学头戴式显示器到手术野的距离可以使用说明书中描述的技术来确定，例如，光学标记、包括红外标记的导航标记、逆向反射标记、射频标记、惯性测量单元、发光二极管和本领域已知的任何其他技术。除了使用独立计算机监视器或显示器显示的任何图像的放大倍率之外，还可以考虑光学头戴式显示器到单独的或独立的计算机监视器或显示器的距离，以使匹配由单独的或独立的计算机监视器显示的结构和结构的放大倍率与OHMD显示器匹配。
可以在部分或完全混合通过光学头戴式显示器看到的实时数据的同时执行实时数据的放大显示，例如，光学头戴式显示器对于从手术野发出的光部分或完全不透明，并且主要或仅显示通过图像和/或视频捕获系统和/或三维扫描仪捕获的数据。通过图像和/或视频捕获系统和/或三维扫描仪捕获的实时数据的放大显示可以叠加在通过光学头戴式显示器的一个或多个部分或完全透明部分看到的实时数据上。在该示例中，实时数据的放大显示可以是通过光学头戴式显示器看到的手术野的一部分。
可选地，可以将下降的放大梯度应用于实时数据，使得放大的实时数据可以与未放大的实时数据、例如通过光学头戴式显示器的一个或多个部分或完全透明部分看到的实时数据无缝地或接近无缝地混合。
通过图像和/或视频捕获系统和/或三维扫描仪捕获的部分或全部实时数据的放大倍率可以处于预设水平(例如1.5倍、2.0倍、3.0倍、4.0倍或5.0倍)、或者任何其他放大倍率水平(例如0-1倍、0-5倍、0-10倍、0-20倍的范围)。放大倍率可以是连续的，例如，按比例增减。放大倍率可以由用户和/或外科医生选择、例如使用语音命令、眼睛命令或使用由光学头戴式显示器显示的虚拟键盘接口来选择。
可选地，可以使用与实时数据相同的放大倍率来显示虚拟数据。可选地，虚拟数据可以在没有放大倍率或者以比实时数据更小或更大的放大倍率显示。
在本发明的一些实施方案中，OHMD显示器可以以比由用户或外科医生的眼睛通过光学头戴式显示器的透明部分看到的实时数据更高的放大倍率显示患者虚拟数据。因此，对于OHMD显示器到手术野的给定距离，可以以放大的方式显示患者虚拟数据。这具有以下益处：可以更详细地看到虚拟手术计划的组件的选择结构或方面，例如，提供部分或全部虚拟数据的低功率微观放大视图。光学头戴式显示器到手术野的距离可以使用说明书中描述的技术来确定，例如，光学标记、包括红外标记的导航标记、逆向反射标记、射频标记、惯性测量单元、发光二极管和本领域已知的任何其他技术。
可以在部分或完全混合通过光学头戴式显示器看到的实时数据的同时执行虚拟数据的放大显示，例如，光学头戴式显示器对于从手术野发出的光部分或完全不透明，并且主要或仅显示虚拟数据。通过图像和/或视频捕获系统和/或三维扫描仪捕获的虚拟数据的放大显示可以叠加在通过光学头戴式显示器的一个或多个部分或完全透明部分看到的实时数据上。在该示例中，虚拟数据的放大显示可以是通过光学头戴式显示器看到的手术野的一部分。
可选地，可以将下降的放大梯度应用于虚拟数据，使得放大的虚拟数据可以与未放大的实时数据、例如通过光学头戴式显示器的一个或多个部分或完全透明部分看到的实时数据无缝地或近乎无缝地混合。
部分或全部虚拟数据的放大倍率可以处于预设水平(例如1.5倍、2.0倍、3.0倍、4.0倍或5.0倍)、或者任何其他放大倍率水平(例如0–1倍、0–2倍、0–3倍、0–5倍、0–10倍、10–20倍的范围)。放大倍率可以是连续的，例如，按比例增减。放大倍率可以由用户和/或外科医生选择、例如使用语音命令、眼睛命令或使用由光学头戴式显示器显示的虚拟键盘接口来选择。
可以使用放大倍率或不使用放大倍率来显示部分或全部实时数据和虚拟数据两者。下面提供实时数据和虚拟数据之间可能的放大倍率组合的非限制性示例。
表10：实时数据和/或虚拟数据的放大倍率的示例性、非限制性组合。
/>
实时数据和虚拟数据的放大倍率可以相同。实时数据和虚拟数据的放大倍率可以不同。虚拟数据可以是部分的，例如仅影响部分显示的虚拟数据，或者虚拟数据可以被全部放大。实时数据可以是部分的，例如仅影响部分显示的实时数据，或者实时数据可以被全部放大。在不放大实时数据的同时，可以放大虚拟数据。在不放大虚拟数据的同时，可以放大实时数据。任何组合都是可能的。
术语放大倍率还包括显示，其中实时数据或虚拟数据以小于通过光学头戴式显示器的透明部分在给定距离上看到的实时数据的格式或放大倍率显示。
可以在中心点——例如，锚定点、解剖标志、进入骨骼的钉入口、螺钉头部或光学头戴式显示器视野的中心轴线、钉轴线或螺钉轴线——周围应用放大倍率。当使用中心点时，外科医生的右眼通过光学头戴式显示器单元看到的患者实时数据中心点的坐标将与通过光学头戴式显示器单元的显示器投影的由外科医生的右眼看到的患者虚拟数据中的中心点的视图坐标相同；外科医生的左眼通过光学头戴式显示器单元看到的患者实时数据中心点的坐标将与通过光学头戴式显示器单元的显示器投影的由外科医生的左眼看到的患者虚拟数据中心点的视图坐标相同。当使用中心轴线时，外科医生的右眼通过光学头戴式显示器单元看到的患者实时数据中心轴线的坐标将与通过光学头戴式显示器单元投影的由外科医生的右眼看到的患者虚拟数据中心轴线的视图坐标相同；外科医生的左眼通过光学头戴式显示器单元看到的患者实时数据中心轴线的坐标将与通过光学头戴式显示器单元投影的由外科医生的左眼看到的患者虚拟数据中心轴线的视图坐标相同。当立体投影与光学头戴式显示器单元的左右显示器一起使用时，光学头戴式显示器单元的左右显示器的视图坐标对于左眼和右眼将是不同的；视图坐标的差异是视差的反映。例如，当用户或外科医生选择开启实时和/或虚拟数据的放大倍率时，可以在上一未放大的视野的中心点周围应用放大倍率。包括其软件的系统可以可选地围绕上一视野的中心点自动应用放大倍率。或者，用户和/或外科医生可以使用不同的中心点或中心轴线作为放大实时和/或虚拟数据的中心。当考虑脊柱手术时，中心点或中心轴线可以与椎弓根的中心重合。中心轴线可以与髋臼或股骨轴线、例如前倾轴线重合。例如，中心轴线可以是预定路径。例如，中心点可以是端点。例如，当考虑进行髋关节置换或其他髋关节手术时，中心点或中心轴线可以是髋臼的中心。例如，当考虑肩部手术时，中心点或中心轴线可以是关节盂的中心。用于放大的中心点或中心轴线可以预先选择用于考虑的各种解剖部位或手术野或外科手术，例如，髋关节置换术、膝关节置换术、膝关节镜检查或脊柱融合术。例如，使用集成到、附接至或分离于光学头戴式显示器的一个或多个图像和/或视频捕获系统和/或三维扫描仪，或者使用术中成像，可以可选地使用标准图像处理技术来识别一个或多个解剖结构(比如，髋臼及其中心)并且可以可选地自动设置或定义任何放大视图的中心点或中心轴线。
查看患者/查看计算机监视器/屏幕
在一些实施方案中，OHMD显示器的放大倍率可以与计算机监视器、比如手术室中的计算机监视器的放大倍率匹配，使得光学头戴式显示器和/或计算机监视器所示的相应组织使用相同的放大倍率显示，并且例如可以在光学头戴式显示器和计算机监视器显示器之间基本对准或叠加。
显示手术器械和/或医疗器械/植入体
在本发明的一些实施方案中，可以用患者实时数据虚拟地显示手术器械或医疗装置或植入体。虚拟数据手术器械或虚拟植入体可以通过光学头戴式显示器显示为叠加到包括实时数据手术器械的患者实时数据上。
光学头戴式显示器可以示出虚拟手术器械或虚拟植入体，其比如使用虚拟手术计划来指示虚拟手术器械或虚拟植入体的期望定向或方向或放置。可选地，光学头戴式显示器可以显示方向标记、比如从手术计划得出的预期路径，以帮助指导外科医生引导物理手术器械或物理植入体。
可以在术前扫描物理手术器械或物理植入体以获得其形状和/或尺寸，以便随后由光学头戴式显示器显示手术器械或植入体的虚拟图像的所获得的形状或尺寸。或者，可以使用手术器械或植入体的CAD文件或三维文件。
可以使用本领域已知的任何技术进行手术器械或植入体的术前扫描。可以通过光学头戴式显示器、比如使用内置的图像捕获装置执行手术器械或植入体的扫描。可以通过单独的图像捕获装置来执行手术器械或植入体的扫描。
在一些实施方案中，手术器械或植入体的扫描可以在两个或更多个维度上发生。所用维度越多，手术器械或植入体的合成虚拟图像越精确。
如果使用图像捕获装置、比如附接至或集成到光学头戴式显示器或者耦合至或分离于光学头戴式显示器的图像捕获装置，则可以在一个、两个或更多个投影、位置或方向上扫描手术器械或植入体，比如通过使光学头戴式显示器或手术器械或植入体移动到不同的位置或方向来扫描手术器械或植入体。在一些实施方案中，为此目的，手术器械或植入体可放置在托件或固定装置上，这允许将手术器械或植入体移动到不同位置，并且可选地旋转手术器械或植入体。在一些实施方案中，手术器械或植入体和图像捕获装置——包括附接至或集成到光学头戴式显示器中或者耦合至或分离于光学头戴式显示器的图像捕获装置——之间的距离是固定的，同时扫描手术器械或植入体。
然后，可以使用物理手术器械或植入体的扫描来获得手术器械或植入体的虚拟二维或三维图像。
通过手术中扫描手术器械或植入体，外科医生在使用不同的手术器械或植入体方面具有很大的灵活性，外科医生可以改变和修改这些手术器械或植入体，并且可选地将这些手术器械或植入体整合到外科医生的物理或虚拟手术计划中。
外科医生可以可选地将以这种方式扫描的每一手术器械或植入体存储在手术器械或植入体的虚拟库中。以这种方式存储的虚拟手术器械或植入体可以被命名和存储，以供将来在其他患者的后续外科手术中使用。通过存储虚拟手术器械或植入体，可以无需重复扫描相同手术器械或者相同类型或形状的植入体。
在本发明的一些实施方案中，外科医生可以使用先前在新手术计划中为另一新患者生成的手术器械或植入体的虚拟数据。外科医生可以从虚拟库选择期望的虚拟手术器械或植入体，并在其虚拟手术计划中使用虚拟手术器械或虚拟植入体。
当外科医生进行物理手术并且光学头戴式显示器可选地显示虚拟手术器械或植入体、可选地叠加到物理手术器械或植入体上或显示在物理手术器械或植入体附近的虚拟手术器械或植入体时，软件可以可选地对物理手术器械或植入体的大小和形状与先前选择的虚拟手术器械或植入体的大小和形状进行比较。或者，外科医生可以在视觉上比较虚拟和物理手术器械或植入体的尺寸和/或形状。
如果检测到尺寸和/或形状不匹配，软件可以向外科医生发送指示不匹配的通知或警报、比如视觉或听觉的通知或警报。不匹配可以向外科医生指示虚拟数据和实时数据的配准准确性已经受到损害，并且可能需要重新配准。不匹配还可以向外科医生指示：与先前识别的虚拟手术器械或植入体相比，选择了错误的物理手术器械或植入体。在该情况下，外科医生可以通过选择不同尺寸或形状的虚拟或实时手术器械或植入体来检查虚拟手术计划或物理手术计划并修改虚拟手术计划或物理手术计划中的一者或两者。
叠加在患者实时数据上的患者虚拟数据的立体和非立体三维图像
在本发明的一些实施方案中，光学头戴式显示器可以显示患者的正常或患病组织或器官或手术部位或目标组织的虚拟二维或三维图像，虚拟二维或三维图像的视角或透视或投影对于左眼的显示器与右眼的显示器是不同的，从而导致解剖结构或病理组织的立体投影。因此，对于外科医生的左右眼，分别使用外科医生的左视角和右视角将患者虚拟数据叠加在患者实时数据、比如手术部位上。这意味着从虚拟二维或三维数据集渲染两个单独的视图，一个视图用于左眼，一个视图用于右眼。可以为左眼和右眼生成超过三维的多维视图。比如，除了患者的虚拟解剖结构之外，还可以针对左眼和右眼单独显示血管流动或关节运动。可以选择或程序设计虚拟数据的左眼投影与右眼投影之间的透视差异或视差，使得它发生改变，比如随光学头戴式显示器、外科医生的头部或外科医生的眼睛相对于目标部位、手术部位或目标组织的距离而发生改变。也可以考虑外科医生或操作者眼睛之间的距离。在一些实施方案中，将选择或程序设计透视差异或视差，使得以立体三维方式或效果生成三维效果。透视差异或视差可以根据光学头戴式显示器、外科医生或操作者的头部或外科医生或操作者的眼睛与目标部位、手术部位或目标组织的距离的任何变化而变化。比如，随着外科医生或操作者移动远离目标部位、手术部位或目标组织，透视差异或视差可能减少。随着外科医生或操作者朝向目标部位、手术部位或目标组织移动，透视差异或视差可能增加。减少或增加可以是线性的、非线性的、指数的或算法的。任何其他数学函数都是可能的。在一些实施方案中，当外科医生或操作者朝向或远离目标移动时，透视差异或视差将与人眼所经历的变化类似地改变。
光学头戴式显示器、外科医生或操作者的头部或外科医生或操作者的眼睛与目标部位、手术部位或目标组织的距离可以通过图像捕获、解剖标志实施方案、结合校准或配准体模使用的图像捕获、手术导航或本说明书中描述的任何其他实施方案和/或空间映射来测量。光学头戴式显示器、外科医生或操作者的头部或外科医生或操作者的眼睛与目标部位、手术部位或目标组织的距离和距离的任何变化都可用于改变透视图的差异或左眼与右眼的视图视差。
图16A和图16B是概述一个或多个光学头戴式显示器——比如主要外科医生、第二外科医生、手术助手、护士或其他人所用的光学头戴式显示器——的模型生成、配准和视图投影的流程图。可以获取患者的术前、术中或术后图像240。可以可选地对图像数据进行分割241。可以生成、例如使用不同的颜色或阴影来生成患者的包括多个不同组织的解剖结构或病理结构的三维重建242。可以生成手术器械和装置组件的虚拟三维模型，该虚拟三维模型可以包括手术器械和装置组件的预定定位、位置、旋转、定向、对准、和/或方向243。可以比如相对于光学头戴式显示器和患者来配准虚拟三维模型244。可以相对于患者实时数据来配准虚拟三维模型245。可选地，可以针对不同的视角、视差、皮肤、皮肤位移和其他组织特定问题进行调整246。可以为用户的左眼和右眼生成不同的透视图以例如像电子全息图一样改善对表面下的或隐藏的解剖或病理组织的虚拟模型的立体观看体验247，并且可以为用户的左眼和右眼生成工具、器械、植入体和装置的虚拟三维模型248。可以在光学头戴式显示器中显示虚拟患者数据249，并且可以在光学头戴式显示器中显示工具、器械、植入体和装置的虚拟三维模型250，可选地以针对用户的左右眼调整的不同视角，在光学头戴式显示器中显示虚拟患者数据251，并且在光学头戴式显示器中显示工具、器械、植入体和装置的虚拟三维模型252。可以可选地使用诸如深度传感器或空间映射或其他配准技术基于光学头戴式显示器、外科医生头部或外科医生眼睛与手术部位的距离并且还基于双眼距离来调整左右眼偏移或视差253。用于立体视图的偏振或颜色技术可以与诸如由微软全息眼镜提供的电子全息图组合254。
在图16B的可选描述中，可以生成多个三维模型260、261、262，例如，一个模型用于患者的表面下解剖或病理结构，一个模型用于虚拟手术工具或器械，一个模型用于虚拟手术植入体组件。这些可以例如在共同坐标系或多个坐标系中使用坐标转移与光学头戴式显示器配准263。使用用于不同虚拟三维模型260、261、262的共享坐标，使用多个光学头戴式显示器的多位观看者可以通过一个或多个模型在患者实时数据上的投影或显示265来共享三维世界264。可以使用用户的左眼坐标针对每个用户的左眼单独生成显示266，并且使用用户的右眼坐标针对每个用户的右眼单独生成显示267。
可以为患者的多个虚拟数据集或数据量生成立体视图或对于左眼和右眼具有视差的不同透视图或视图。表4中列出的任何尺寸或应用中提到的虚拟结构，组织或数据可以使用立体视图或具有视差的不同透视图或视图对于左眼和右眼分别同时地、非同时地或顺序地显示。另外，表11中的任何虚拟数据可以使用立体视图或对于左眼和右眼具有视差的不同透视图或视图来显示。表11中列出的多个数据可以同时地、非同时地或顺序地显示，例如还可以立体地或非立体地显示有通过光学头戴式显示器看到的患者实时数据或图像：
表11：患者虚拟数据、手术部位和手术部位的改变、手术器械和手术步骤或程序、以及可以可选地使用立体视图或对于左眼和右眼具有视差的不同透视图或视图同时地显示或非立体地显示的医疗装置的示例性的非限制性列表。通常结合查看或显示患者实时数据来显示虚拟数据。如果在光学头戴式显示器中显示多个虚拟数据集，则可以立体地或非立体地显示虚拟数据或其组合。
表11A：可以立体地或非立体地显示的示例性患者虚拟数据
-原生解剖结构，例如，
○大脑脑回
○大脑静脉窦
○大脑动脉结构
○脑损伤
○脑肿瘤
○脸部特征
○耳部特征
○肝缘
○肝叶
○脾缘
○肾、肾轮廓
○一个或多个骨赘
○骨刺
○骨骼解剖结构
○骨畸形
○髋关节髋臼缘
○三辐射软骨区域
○骨头凹
○髂前上棘
○髂前下棘
○耻骨联合
○髋关节股骨头
○股骨颈
○大转子
○小转子
○膝关节髁突
○膝关节滑车
○膝关节髌骨
○膝关节胫骨坪
○膝关节的胫骨内侧坪
○膝关节的胫骨外侧坪
○膝关节前十字韧带
○膝关节后交叉韧带
○踝关节远端胫骨
○踝关节远端腓骨
○踝关节距骨
○患者的任何韧带或韧带结构
○肩胛骨盂缘
○肩胛骨盂
○肩胛骨肱骨头或颈
○脊柱小关节
○棘突
○脊椎椎弓根
○椎体终板
○椎间盘
○椎间盘突出
○任何影响人体的肿瘤
表11B：可以立体地或非立体地显示的示例性虚拟手术部位和手术部位的改变
-计划对手术部位的改变，比如，
○组织移除
○去除正常组织
○去除病变组织
○去除肿瘤组织
○骨骼切割
○扩孔(比如，近端股骨)
○拉削(比如，在近端股骨)
○撞击(比如，在股骨或胫骨中)
○铣削
○钻孔
○组织移植
○器官移植
○部分或完全切除，比如，器官切除
○放置医疗装置
○放置支架
表11C：可以立体地或非立体地显示的示例性虚拟手术器械和手术步骤或程序
-组织切割器，
○比如，手术刀、刀片、钻头、锯子、去毛刺器、扩孔器、拉刀
-组织消融装置
○比如，加热机或冷冻机
-机械臂
-附接至机械臂的器械
-内窥镜检查装置
-内窥镜摄像头
-内窥镜切割装置
-内窥镜消融装置
-一个手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上同时使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上未同时使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上连续使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上未连续使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上在关节的同一侧使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上在关节的一个或多个相对侧上使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上在相同椎骨水平上使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上在相邻椎骨水平上使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上在非相邻椎骨水平上使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个在椎骨终板上使用的手术器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
-一个以上在上椎骨终板和相邻的下椎骨终板上使用的手术器械的预定手术路径或预定放置或位置、旋转、定向、对准或方向
-用于盘移除的器械的预定手术路径或预定放置或位置、定位、旋转、定向、对准或方向
表11D：可以立体地或非立体地显示的示例性虚拟医疗装置和植入体
-髋关节置换组件
○髋臼杯，其包括预定的放置或位置、定位、旋转、定向、对准、前倾、后倾、倾斜、偏移、与安全区相关的定位
○髋臼衬垫，其包括预定的放置或位置、定位、旋转、定向、对准、前倾、后倾、倾斜、偏移、与安全区相关的定位
○股骨头，其包括预定的放置或位置、定位、旋转、定向、对准、前倾、后倾、倾斜、偏移、与安全区相关的定位
○股骨颈(可选地具有模块化颈)，其包括预定的放置或位置、定位、旋转、定向、对准、前倾、后倾、倾斜、偏移、与安全区域相关的定位
○股骨柄，其包括预定的放置或位置、定位、旋转、定向、对准、前倾、后倾、倾斜、偏移、与股骨颈切割、小腿、大或小转子、髋臼相关的定位
-膝关节置换组件
○股骨组件，其包括预定的放置或位置、定位、内部或外部旋转、定向、对准、屈曲、伸展、与前皮质、或机械轴线或其他轴线对准相关的位置，所有这些都可选地在整个运动范围上
○胫骨组件，其包括预定的放置或位置、定位、内部或外部旋转、定向、对准、屈曲、伸展、倾斜、与皮质边缘、或机械轴线或其他轴线对准相关的位置，所有这些都可选地在整个运动范围上
○聚乙烯或其他插入件，其包括预定的放置或位置、定位、内部或外部旋转、定向、对准、弯曲、伸展、倾斜、与皮质边缘、或机械轴线或其他轴线对准相关的位置，所有这些都可选地在整个运动范围上
○髌骨组件，其包括预定的放置或位置、定位、内部或外部旋转、定向、对准、与髌骨皮质边缘相关的位置、与滑车相关的位置、可选地与屈曲和/或伸展相关的位置和/或在整个运动范围上的位置、与机械轴线、滑车轴线、滑车槽、上髁轴线或其他轴线对准相关的位置
○试验性股骨组件，其包括预定的放置或位置、定位、内部或外部旋转、定向、对准、屈曲、伸展、与前皮质、或机械轴线或其他轴线对准相关的位置，所有这些都可选地在整个运动范围上
○试验性胫骨组件，其包括预定的放置或位置、定位、内部或外部旋转、定向、对准、屈曲、伸展、倾斜、与皮质边缘、或机械轴线或其他轴线对准相关的位置，所有这些都可选地在整个运动范围上
○试验性插入件，其包括预定的放置或位置、定位、内部或外部旋转、定向、对准、弯曲、伸展、倾斜、与皮质边缘、或机械轴线或其他轴线对准相关的位置，所有这些都可选地在整个运动范围上
○试验性髌骨组件，其包括预定的放置或位置、定位、内部或外部旋转、定向、对准、位置、与髌骨皮质边缘相关的位置、与滑车相关的位置、可选地与屈曲和/或伸展相关的位置和/或在整个运动范围上的位置、与机械轴线、滑车轴线、滑车槽、上髁轴线或其他轴线对准相关的位置
-脊柱螺钉，其包括预定的放置或位置、定位、旋转、定向、对准、与椎弓根、椎弓根的皮质骨、椎弓根的骨内膜骨、椎体的后皮质骨、椎体的前皮质骨、椎体的外侧皮质骨、上终板、下终板、椎间盘、椎体、椎体的骨小梁、任何骨折构件或碎片相关的定位，比如涉及椎弓根、小关节或椎体
-椎弓根螺钉，其包括预定的放置或位置、定位、旋转、定向、对准、与椎弓根、椎弓根的皮质骨、椎弓根的骨内膜骨、椎体的后皮质骨、椎体的前皮质骨、椎体的外侧皮质骨、上终板、下终板、椎间盘、椎体、椎体的骨小梁、任何骨折构件或碎片相关的定位，比如涉及椎弓根、小关节或椎体
-脊柱固定杆，其包括预定的放置或位置、定位、旋转、定向、对准、位置、与一个或多个椎弓根、椎弓根的皮质骨、椎体的后皮质骨、椎体的前皮质骨、椎体的外侧皮质骨、上终板、下终板、椎间盘、椎体、任何骨折构件或碎片相关的定位，比如涉及椎弓根、小关节或椎体、脊柱侧凸畸形、和脊柱侧凸畸形的预定矫正
-人造脊椎盘，其包括预定的放置或位置、定位、旋转、定向、对准、位置、与一个或多个椎弓根、椎弓根的皮质骨、椎体的后皮质骨、椎体的前皮质骨、椎体的外侧皮质骨、上终板、下终板、椎间盘、椎体、任何骨折构件或碎片相关的定位，比如涉及椎弓根、小关节或椎体、脊柱侧凸畸形、和脊柱侧凸畸形的预定矫正
-用于创伤的金属螺钉、钉、板、杆，其包括预定的放置或位置、定位、旋转、定向、对准、位置、与一个或多个椎弓根、椎弓根的皮质骨、椎体的后皮质骨、椎体的前皮质骨、椎体的外侧皮质骨、上终板、下终板、椎间盘、椎体、任何骨折构件或碎片相关的定位，比如涉及椎弓根、小关节或椎骨身体、长骨、关节、关节面、以及任何预定的骨折或骨折畸形矫正
-髓内钉，其包括预定的放置或位置、定位、旋转、定向、对准、与一个或多个骨折构件或碎片、比如长骨、关节、关节面、以及任何预定的骨折或骨折畸形矫正相关的定位
-血管支架
○冠状动脉支架，其包括预定的放置或位置、定位、旋转、定向、对准，比如与狭窄区域、血管闭塞区域、血栓、凝块、斑块、窦口、两个或更多个口、动脉瘤、解剖、内膜瓣、邻近血管、邻近神经相关的
○颈动脉支架，其包括预定的放置或位置、定位、旋转、定向、对准，比如与狭窄区域、血管闭塞区域、血栓、凝块、斑块、窦口、两个或更多个口、动脉瘤、解剖、内膜瓣、邻近血管、邻近神经相关的
○主动脉支架，其包括预定的放置或位置、定位、旋转、定向、对准，比如与狭窄区域、血管闭塞区域、血栓、凝块、斑块、窦口、两个或更多个口、动脉瘤、解剖、内膜瓣、邻近血管、邻近神经相关的
○股骨支架，其包括预定的放置或位置、定位、旋转、定向、对准，比如与狭窄区域、血管闭塞区域、血栓、凝块、斑块、窦口、两个或更多个口、动脉瘤、解剖、内膜瓣、邻近血管、邻近神经相关的
-人工耳蜗，其包括预定的放置或位置、定位、旋转、定向、对准，比如与骨结构、神经结构、听觉结构、迷路相关的
-视网膜植入体，其包括预定的放置或位置、定位、旋转、定向、对准，比如与骨结构、神经结构、血管结构相关的
-神经植入体，其包括预定的放置或位置、定位、旋转、定向、对准，比如与神经结构、血管结构、骨结构相关的
-神经义肢，其包括预定的放置或位置、定位、旋转、定向、对准，比如与神经结构、血管结构、骨结构相关的
-用于深部脑刺激的植入体、比如用于治疗帕金森病的植入体，其包括预定的放置或位置、定位、旋转、定向、对准，比如与神经结构、血管结构、骨结构相关的
表11中的列表仅是示例性的，并不意味着限制本发明。表11A中列出的示例性患者虚拟数据、表11B中列出的示例性虚拟手术部位和对手术部位的改变、表11C中列出的示例性虚拟手术器械和手术步骤或程序、以及表11D中列出的示例性虚拟医疗装置和植入体中的任意一者可以由光学头戴式显示器使用立体投影或非立体投影或视图以二维、三维或更多维显示(比如，如表4中所述)。因此，本发明不限于立体显示和/或二维显示和/或三维显示。虚拟显示的任何组合都是可能的，比如，具有二维手术器械显示和/或二维医疗装置显示的三维立体患者解剖结构或手术部位，或具有三维非立体手术器械显示和/或三维立体医疗器械显示的三维患者解剖结构。
将物理手术器械与虚拟手术器械对准或叠加
通过光学头戴式显示器中的手术器械的虚拟显示，以虚拟数据显示的手术器械可以代表活体患者体内所用的物理手术器械，并且可以具有与物理手术器械相同的投影尺寸和形状。如表11所示，虚拟手术器械的虚拟视图例如可以指示手术器械的预定位置、定位、旋转、定向、对准、方向。当物理手术器械与虚拟手术器械的虚拟图像对准和/或叠加在虚拟手术器械的虚拟图像上时，可以可选地执行手术步骤，或者外科医生可以例如基于比如屈曲或伸展时的韧带张力或韧带平衡来选择调整物理手术器械相对于虚拟手术器械的位置、定位、旋转、定向、对准、方向。当虚拟和物理手术器械叠加在它们各自的位置、定位、旋转、定向、对准或方向上进行叠加时，在活体患者体内由手术步骤引起的活体手术部位的改变通常与虚拟手术计划一致。
可以以这种方式、比如通过使用虚拟手术器械的立体或非立体显示将物理手术器械与对应的虚拟手术器械对准来执行一个以上的手术步骤。对准可以在二维、三维和三维以上进行。可以利用立体和非立体显示执行对准。利用虚拟手术计划可以计划一个以上的虚拟手术步骤。可以计划两个或更多个虚拟手术步骤。虚拟手术步骤可以包括预期手术的主要手术步骤，它们可以可选地包括子步骤，或者可选地包括整个手术。当在相应的手术步骤中将一个或多个物理器械与虚拟器械对准之后执行物理手术步骤时，使用物理器械的每一手术步骤由使用图像引导信息的操作者或外科医生可选地通过使用虚拟手术计划并且通常在术前成像时利用处于与手术时间的对象坐标系不同的对象坐标系中的手术部位来进行有效图像引导，比如，图像引导信息来自在不同于外科手术的时间、通常在外科手术之前获得的术前扫描或影像学检查。虚拟手术器械的显示可以是立体的或非立体的。
因此，通过使用光学头戴式显示器中的虚拟手术器械的立体或非立体显示使通过光学头戴式显示器看到或由光学头戴式显示器显示的物理手术器械与虚拟手术器械对准，可以使用比如在虚拟手术计划中定义的预先存在的图像信息和图像引导信息来准确地执行活体患者的手术计划。此外，通过使用光学头戴式显示器中的虚拟手术器械的立体或非立体显示器使通过光学头戴式显示器看到或由光学头戴式显示器显示的物理手术器械与虚拟手术器械对准，可以实现医疗植入体——包括但不限于表11D中列出的植入体——的预定位置、定位、旋转、定向、对准、方向。
光学头戴式显示器可以以连续表面视图、比如对于器械的不同特征使用一种颜色或多种颜色示出一个或多个虚拟手术器械。连续表面显示可包括基于手术室中和/或手术野上所用光源的阴影。手术室光源的定向方向可以例如使用可选地集成到、附接至或分离于光学头戴式显示器的图像捕获来测量。
光学头戴式显示器可以以轮廓视图示出一个或多个虚拟手术器械，轮廓视图可以是二维或三维的。轮廓视图可包括整个虚拟手术器械的轮廓，比如在特定平面或横截面平面中的轮廓。轮廓视图可选地仅突出显示虚拟手术器械的选择特征，比如，骨切割表面或特征或抓握特征或其组合。光学头戴式显示器可以示出两个或更多个轮廓视图，比如沿着不同平面延伸穿过或沿着虚拟手术器械的表面或周边延伸的轮廓视图。可以选择的这些平面彼此不同地成0或180度角。在本发明的一些实施方案中，轮廓视图可以彼此正交。以这种方式，即使两个或更多个轮廓视图可以是二维的，通过提供具有不同角度方向的两个或更多个轮廓视图并且通过提供关于手术器械的x轴、y轴和z轴对准或位置或定向或方向的信息，光学头戴式显示器仍然可以向外科医生或操作者提供有关手术器械的预期定向、位置和/或方向的三维信息。轮廓视图可以辅助限制光学头戴式显示器显示的信息量，这可以帮助外科医生专注于手术部位，并且可以完全看到手术部位。轮廓视图可以通过无意地叠加虚拟数据(比如，三维表面数据)和遮蔽实时解剖结构的部分来辅助降低使患者重要实时信息(比如，出血血管)模糊的风险。
通过使用光学头戴式显示器中的虚拟手术器械的立体或非立体显示使通过光学头戴式显示器看到或由光学头戴式显示器显示的物理手术器械与虚拟手术器械对准，可以在活体患者体内实现手术部位的某些改变或某些植入体放置或植入体组件放置，这例如可以确定下述各者中的至少一者：手术器械位置；手术器械定位；手术器械定向；手术器械旋转；手术器械对准；手术器械方向；手术器械推进的深度，例如用于髋臼或盂扩孔的手术器械推进的深度；植入体位置；植入体定位；植入体定向；植入体旋转；植入体对准；两个或更多个植入体组件彼此相关和/或与患者相关的植入体位置；两个或更多个植入体组件彼此相关和/或与患者相关的植入体定位；两个或更多个植入体组件彼此相关和/或与患者相关的植入体定向；两个或更多个植入体组件彼此相关和/或与患者相关的植入体旋转；两个或更多个植入体组件彼此相关和/或与患者相关的植入体对准。
包括但不限于一个或多个骨赘或骨刺或其他骨解剖结构或骨畸形或软组织或肿瘤组织或畸形的解剖或病理结构和/或组织可以用于以虚拟数据和实时数据两者来标识患者以及用于确定或交叉标识其他解剖结构的所需器械或植入体组件的定位、位置、定向、旋转或对准。
将具有物理手术器械或物理医疗装置与对手术部位的虚拟改变对准或叠加
光学头戴式显示器可以在实际手术部位的物理改变之前显示叠加在实时手术部位上的对手术部位的虚拟改变。可以使用虚拟手术计划来模拟对手术的虚拟改变。虚拟手术改变和/或虚拟手术计划可以可选地使用立体或非立体显示在两个、三个或更多个维度上执行或显示。
在本发明的一些实施方案中，光学头戴式显示器可以显示对手术部位的虚拟改变。然后，操作者或外科医生可以将为了执行对物理手术部位的预期改变所选择的物理手术器械对准，并将物理手术器械与对手术部位的虚拟改变对准。比如，虚拟改变可以是一个或多个骨赘或骨刺或其他骨解剖结构或变形或软组织或肿瘤组织或畸形的移除或形状改变。然后，操作者或外科医生可以将物理手术器械推进或移动到物理手术部位的方向或移动到物理手术部位的方向，可选地同时保持物理器械与对手术部位的虚拟改变的对准。以这种方式，操作者或外科医生可以对活体患者体内的手术部位实现期望的变化或改变，并且在活体患者的手术部位中实现的改变或变化通常与对手术部位以及虚拟手术计划(如果适用)的预期的虚拟改变或变化类似或对准或一致。
比如，外科医生可以计划对患者的远端股骨进行骨切割。光学头戴式显示器可以显示叠加在活体患者的未切割骨上的虚拟骨切割上。虚拟骨切割和预期的物理骨切割例如可以移除或矫正一个或多个骨赘或骨刺或其他骨骼解剖结构或畸形或软组织。然后，外科医生可以将物理骨锯的锯片与光学头戴式显示器显示的骨表面的虚拟改变中的预期骨切割的平面表面对准。通过在切割方向上推进锯片同时保持物理锯片(比如，物理锯片的平面)与虚拟骨切割的平面之间的对准，外科医生可以实现对实时患者进行精确的物理骨切割。或者，外科医生可以将切割工具或切割块或引导骨锯的切割导引物与由光学头戴式显示器显示的骨表面的虚拟改变的预期骨切割的平面表面对准；然后，切割工具或切割块或切割导引物可选地固定到组织和/或骨上、比如使用一个或多个钉或螺钉固定到组织和/或骨上，并且可以使用切割工具、切割块或切割导引物执行切割。
在另一示例中，外科医生可以计划对患者的近端股骨进行骨切割(比如，用于部分或全部髋关节成形术)、或者对远端股骨或近端胫骨进行骨切割(比如，用于部分或全部膝关节置换)、或者对近端肱骨进行骨切割(比如，部分或全部肩关节成形术)。光学头戴式显示器可以显示叠加在活体患者的未切割骨上的虚拟骨切割。然后，外科医生可以将物理骨锯的锯片与由光学头戴式显示器显示的骨骼的虚拟改变中的预期骨切割的平面表面对准。通过在切割方向上推进锯片同时保持物理锯片与虚拟骨切割的平面表面之间的对准，外科医生可以实现对实时患者进行精确的物理骨切割。可以定向骨切割以实现期望的组件旋转和/或组件弯曲或伸展。可以定向骨切割以实现期望的斜度。通过将切割工具、切割块或切割导引物与虚拟骨切割的平面表面对准——可选地通过将切割工具、切割块或切割导引物固定到组织和/或骨骼——并且用骨锯进行切割，可以实现相同的结果。
在另一示例中，外科医生可以计划对骨骼——比如，近端股骨或近端肱骨——进行扩孔或拉削。光学头戴式显示器可以显示虚拟扩孔或拉削过程之后的骨骼，其示出了扩孔或拉削过程之后内骨表面的预期虚拟改变；显示可选地可以叠加到未改变的物理骨骼的实时图像上。然后，外科医生可以将物理扩孔器或拉刀对准由光学头戴式显示器显示的扩孔或拉削过程之后骨的预期的虚拟改变和形状变化。通过在保持物理扩孔器或拉刀与虚拟扩孔或拉削骨表面之间的对准的同时在将扩孔器或拉刀沿虚拟扩孔或拉削骨表面的方向推进，外科医生可以实现对实时患者的骨骼进行精确物理扩孔或拉削。
在另一示例中，外科医生可以计划将椎弓根螺钉放置在患者的椎弓根中，以比如用于脊柱融合。光学头戴式显示器可以显示由虚拟椎弓根螺钉产生的虚拟骨空隙或空间，其可选地叠加在活体患者的未改变的椎弓根上。然后，外科医生可以将物理钻孔或物理椎弓根螺钉与由光学头戴式显示器显示的椎弓根的虚拟改变中的椎弓根螺钉的虚拟骨空隙或空间对准。通过在保持物理钻或椎弓根螺钉与椎弓根中的虚拟骨空隙或空间之间的对准的同时将物理钻或椎弓根螺钉沿椎弓根中的虚拟骨空隙或空间的方向推进，外科医生可以实现将物理钻或椎弓根螺钉精确放置在活体患者体内。可以在虚拟手术计划中选择椎弓根中的骨空隙或椎弓根螺钉的位置，使得在骨空隙或椎弓根螺钉与椎弓根的皮质骨表面或骨内膜骨表面之间在内侧、在外侧、在上方和/或在下方存在骨的一个或多个期望的最小距离或最小面积或体积。
在另一示例中，外科医生可以计划将椎间盘置换件放置在患者的椎间盘空间中，以比如用于保持椎间盘置换件的运动。光学头戴式显示器可以显示放置椎间盘置换件所需的虚拟改变，比如对两个相邻椎体的上终板和/或下终板的虚拟改变，其可选地叠加到活体患者的端板上。虚拟和预期的物理改变可以例如包括去除一个或多个骨赘或骨刺或其他骨解剖结构或畸形或切除部分或全部终板。然后，外科医生可以将用于改变椎骨终板以接纳椎间盘置换件的物理器械与由光学头戴式显示器显示的终板的虚拟改变对准。通过在可选地保持物理手术器械与终板的虚拟改变之间的对准的同时将物理手术器械沿终板的虚拟改变方向推进，外科医生可以实现将物理手术器械和物理椎间盘置换件精确放置在实时病患中。
因此，通过使物理手术器械或医疗装置与光学头戴式显示器中手术部位的虚拟改变的显示对准或将物理手术器械或医疗装置朝向光学头戴式显示器中手术部位的虚拟改变的显示引导，可以在活体患者体内实现手术部位的某些改变或某些植入体放置或植入体组件放置，这可以例如确定下述各者中的至少一者：手术器械位置；手术器械定位；手术器械定向；手术器械旋转；手术器械对准；手术器械方向；手术器械推进的深度，例如用于髋臼扩孔的手术器械推进的深度；植入体位置；植入体定位；植入体定向，例如前倾、后倾、偏置(例如在髋关节置换髋臼杯或股骨组件中)、外展、内收、内部旋转、外部旋转、屈曲、伸展(例如在膝关节置换股骨组件或胫骨组件中)；植入体旋转；植入体对准；两个或更多个植入体组件彼此相关和/或与患者相关的植入体位置；两个或更多个植入体组件彼此相关和/或与患者相关的植入体定位；两个或更多个植入体组件彼此相关和/或与患者相关的植入体定向；两个或更多个植入体组件彼此相关和/或与患者相关的植入体旋转；两个或更多个植入体组件彼此相关和/或与患者相关的植入体对准。
可选地，外科医生可以在改变之前和/或改变之后在手术部位的显示之间切换虚拟数据的显示。可选地，外科医生可以在几个外科手术步骤中推进虚拟数据的显示，使得比如不是显示对手术部位的下一后续虚拟改变，而是显示对手术部位的一个或多个后续虚拟改变。
可选地，外科医生可以使用具有不同颜色的显示，以用于在对手术部位预期或计划的一个或多个连续或非连续虚拟改变之前和之后同时或非同时观察物理手术部位、活体手术部位和虚拟手术部位，虚拟改变可选地在进行一次或多次改变之前叠加到活体手术部位或虚拟手术部位上。
可选地，在进行手术改变之后，可以将计划改变的虚拟显示叠加到物理手术部位上，以检查活体患者的物理改变的准确性。如果外科医生注意到计划的虚拟改变与物理改变之间存在差异，则外科医生可以修改物理改变。比如，如果外科医生已经执行骨切割、比如对于髋关节置换在近端股骨中执行骨切割或者对于膝关节置换在远端股骨或近端胫骨中执行骨切割，则外科医生可以在进行骨切割之后使用光学头戴式显示器将计划的、预期的虚拟骨切割叠加到物理骨切割上。如果外科医生注意到，与计划的、预期的虚拟骨切割相比，物理骨切割所需的骨比预期的少，则外科医生可以重新切割骨骼，以使物理骨切割与预期的虚拟骨切割更紧密地匹配并且可选地与虚拟手术计划更紧密地匹配。
如果外科医生注意到计划的虚拟改变与物理改变之间存在差异，则外科医生可选地可以修改虚拟改变以匹配由患者引起的物理改变。然后可以修改虚拟手术计划，以比如用于后续手术步骤或程序中的一者或多者，使得虚拟手术计划将继续与在活体患者体内实现或引起的物理手术改变一起工作。虚拟手术计划的修改可以由操作者或外科医生通过半自动地或自动使用来自患者体内引起的物理手术改变的输入来手动执行。
例如，如果外科医生已执行骨切割、比如对于髋关节置换在近端股骨中执行骨切割或对于膝关节置换在远端股骨或近端胫骨中执行骨切割，则外科医生可以在进行骨切割之后使用光学头戴式显示器将计划的、预期的虚拟骨切割叠加到物理骨切割上。如果外科医生注意到，与计划的、预期的虚拟骨切割相比，物理骨切割所需的骨比预期的多，则外科医生可以修改虚拟手术计划。然后，修改的外科手术计划例如可以包括：在相对的关节表面上的随后的骨切割或扩孔步骤将用去较少的骨，与在活体患者的先前物理骨切割期间去除的骨量相比，通常在相对的关节表面上去除同样少量的骨。或者，修改的外科手术计划可以包括：医疗装置的一个或多个组件是较厚的以补偿较大的骨切割。比如，在膝关节置换术中，可以可选地使用较厚的胫骨插入件。比如，在髋关节置换术中，可以可选地使用较厚的髋臼内衬或偏移衬垫。
将物理医疗装置和植入体与虚拟医疗装置和植入体对准
通过比如在光学头戴式显示器中的预期最终虚拟定位、位置、定向、旋转或对准方面将物理医疗装置或医疗装置组件与虚拟植入的医疗装置或医疗装置组件的显示对准或将物理医疗装置或医疗装置组件朝向虚拟植入的医疗装置或医疗装置组件的显示引导，可以在活体患者体内实现预定的植入体放置或植入体组件放置，这可以比如确定下述物理的、最终的各者中的至少一者：
■植入体位置
■植入体定位
■植入体定向，比如，前倾、后倾、偏移(比如，在髋关节置换髋臼杯或股骨组件中)、内旋转、外旋转、屈曲、伸展(比如，在膝关节置换股骨组件或胫骨组件中)
■植入体旋转
■植入体对准
■两个或更多个植入体组件的彼此相关和/或与患者相关的植入位置
■两个或更多个植入体组件彼此相关和/或与患者相关的植入体定位
■两个或更多个植入体组件的彼此相关和/或与患者相关的植入体定向
■两个或更多个植入体组件彼此相关和/或与患者相关的植入体旋转
■两个或更多个植入体组件的彼此相关和/或与患者相关的植入体对准
光学头戴式显示器可以以连续表面视图示出一个或多个虚拟的、可选地虚拟植入的医疗装置或医疗装置组件，比如使用一种颜色或多种颜色用于装置的不同特征或用于不同的装置组件。连续表面显示可包括基于手术室中和/或手术野上所用光源的阴影。手术室光源的定向方向可以使用可选地集成到、附接至或分离于光学头戴式显示器的图像捕获来测量。
光学头戴式显示器可以以轮廓视图示出一个或多个虚拟的、可选地虚拟植入的医疗装置或医疗装置组件，轮廓视图可以是二维或三维的。轮廓视图可以包括整个虚拟医疗装置或虚拟医疗装置组件的轮廓，比如在特定平面或横截面平面中的轮廓。轮廓视图可以可选地仅突出显示虚拟医疗装置或虚拟医疗装置组件的选择特征，比如面向骨的表面或彼此面对的两个或更多个组件之间的表面、或者装置或组件的结合部分或其组合。光学头戴式显示器可以示出两个或更多个轮廓视图，比如沿着不同平面延伸穿过或沿着虚拟医疗装置或虚拟医疗装置组件的表面或周边延伸的轮廓视图。可以选择这些平面彼此不同地成0或180度角。在本发明的一些实施方案中，轮廓图可以彼此正交。以这种方式，即使两个或更多个轮廓视图可以是二维的，通过提供具有不同角度方向的两个或更多个轮廓视图并且通过提供关于装置或装置组件的x轴、y轴和z轴对准或位置或定向或方向的信息，光学头戴式显示器仍然可以向外科医生或操作者提供有关装置或装置组件的预期定向、位置和/或方向的三维信息。轮廓视图可以辅助限制光学头戴式显示器显示的信息量，这可以帮助外科医生专注于手术部位，并且可以完全看到手术部位。轮廓视图可以通过以缩小的格式叠加虚拟数据来辅助降低使患者重要实时信息(比如，暴露的神经根)模糊的风险。
可选地，外科医生可以在一个或多个虚拟医疗装置组件的显示、可选地在实时医疗装置组件的显示之间切换虚拟数据的显示。
可选地，外科医生可以使用具有不同颜色的显示来同时或不同时查看两个或更多个虚拟医疗装置组件，虚拟医疗装置组件可选地叠加到物理医疗装置上或与物理医疗装置一起显示。
可选地，可以将虚拟植入之后的医疗装置或医疗装置组件的虚拟显示叠加到物理植入或放置之后的物理医疗装置或医疗装置组件上，以检查活体患者体内的物理植入或放置的准确性。如果外科医生注意到医疗装置或医疗装置组件的计划的虚拟定位、位置、定向、旋转、对准与物理医疗装置或医疗装置组件的物理定位、位置、定向、旋转、对准之间存在差异，则外科医生可以修改物理装置放置或者外科医生可以使用不同的装置组件，比如，在膝关节置换术中使用较厚或较薄或不同形状的胫骨聚乙烯插入件，或在髋关节置换术中使用不同的聚乙烯衬垫，比如较厚、较薄或偏移的虚拟医疗装置组件。
面罩
在本发明的一些实施方案中，眼罩面罩或防溅罩可以集成到光学头戴式显示器中，以保护外科医生、包括保护外科医生的眼睛免受体液、比如血液的影响。在本发明的一些实施方案中，面罩或防溅罩可以连接到光学头戴式显示器，以保护外科医生、包括保护外科医生的眼睛免受体液、比如血液的影响。在本发明的一些实施方案中，面罩或防溅罩可以放置在光学头戴式显示器的前面，以保护外科医生、包括保护外科医生的眼睛免受体液、比如血液的影响。
颜色编码
可选地，在光学头戴式显示器中的显示期间，可以对不同的手术器械、装置或装置组件进行颜色编码。比如，OHMD显示器中的颜色编码将对应于物理手术器械、装置或装置组件的颜色编码(如果适用)。下面提供示例性颜色编码图表：
物理装置：4.0毫米螺钉—灰色；4.5毫米螺钉—粉色；5.0毫米螺钉—棕色；5.5毫米螺钉—蓝色；6.0毫米螺钉—橙色；6.5毫米螺钉—黄色；7.0毫米螺钉—无色；7.5毫米螺钉—绿色；8.5毫米螺钉—黑色；
虚拟装置显示：4.0毫米螺钉—灰色；4.5毫米螺钉—粉色；5.0毫米螺钉—棕色；5.5毫米螺钉—蓝色；6.0毫米螺钉—橙色；6.5毫米螺丝—黄色；7.0毫米螺钉—无色；7.5毫米螺钉—绿色；8.5毫米螺钉—黑色
比如，这种螺钉可以与椎弓根螺钉或关节盂组件或髋臼组件一起使用。前述颜色编码仅是示例性的。任何颜色、颜色、条纹、图案的组合可用于识别不同的尺寸、大小、形状、直径、宽度或长度。任何器械或植入体都可以进行颜色编码。
颜色编码适用于任何手术器械、医疗装置或医疗装置组件，比如带有血管支架、心脏植入体、心脏除颤器、髋关节置换组件、膝关节置换组件等的手术器械、医疗装置或医疗装置组件。
可选地，除了颜色编码或作为颜色编码的替代，光学头戴式显示器可以在虚拟手术器械或医疗装置旁边显示一个或多个数值，比如尺寸表中的厚度、直径或尺寸。
在本发明的一些实施方案中，光学头戴式显示器可以识别物理手术器械或装置的直径、宽度、长度、大小、形状或尺寸与手术计划中选择的虚拟装置是否存在差异。比如，集成到、附接至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪可用于对手术器械、医疗装置或医疗装置组件进行成像，可选地基于手术器械或装置距图像和/或视频捕获系统和/或三维扫描仪的距离(比如，使用基于视差的测量或配准或校准体模)校正手术器械、医疗装置或医疗装置组件的直径、宽度、长度、尺寸、形状或大小，然后确定由操作者或外科医生选择的物理医疗装置或医疗装置组件是否匹配在虚拟手术计划中选择的物理医疗装置或医疗装置组件。如果物理手术器械或医疗装置或医疗装置组件不匹配，比如关于虚拟器械或组件的直径、宽度、长度、大小、形状或尺寸不匹配，则系统可以提供警告信号，比如，声音警报或视觉警告标志(比如，光学头戴式显示器显示的红色感叹号)。
部分可见或部分模糊的器械、工具、设备、植入体、植入体组件在手术期间或某些手术部位的某些情况下，一个或多个物理手术器械或工具或一个或多个物理装置、植入体、植入体组件和植入系统在手术的各方面或时段期间可能仅部分可见。这特别地是涉及深部器官的外科手术——比如肝脏或肾脏、大脑、或深部、模糊或隐藏的身体结构，比如髋关节或脊柱的一些方面——的情况，其中，一个或多个物理手术器械或工具的重要部分或一个或多个物理装置、植入体、植入体组件和植入系统可能至少部分地从视图中遮挡。如果从视图中遮挡的部分是比如通过电烧灼、消融、切割或扩孔或撞击而引起组织表面的一个或多个改变的部分，则会加重遮挡。一个或多个物理手术器械或工具或一个或多个物理装置、植入体、植入体组件和植入系统的可视化的这种减少或限制可导致手术技术的精确度降低以及比如装置、植入体、植入体组件或植入系统的放置错误、或潜在的并发症。
在本发明的实施方案中，物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者可以包括某些标准化的几何特征，比如矩形、三角形、圆形等，这些几何特征可以通过集成到或附接至或耦合至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪容易地识别。或者，图像和/或视频捕获系统和/或三维扫描仪可以简单地识别物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者的可见几何形状、表面、特征或部分。然后，该信息可用于计算物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者的非可视化、不可见部分的形状、几何结构、轮廓、表面或其他特征。利用前述技术，即使手术器械或工具中的一者或多者和/或装置、植入体、植入体组件和植入系统中的一者或多者仅在手术部位中部分或不完全可视化或可见，也可以确定手术器械或工具中的一者或多者和/或装置、植入体、植入体组件和系统中的一者或多者的定位、位置、定向、对准、移动方向和/或轨迹。
然后，物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者的非可视或不可见部分可以可选地由光学头戴式显示器显示，并被投射到手术部位的视图上。可选地，物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者的非可视或不可见部分可以与相应的虚拟手术器械或工具中的一者或多者和/或相应的虚拟装置、植入体、植入体组件和植入系统中的一者或多者由光学头戴式显示器同时显示。可以可选地使用不同的颜色或显示图案来显示和区分OHMD显示器中的虚拟的和物理的手术器械或工具中的一者或多者和/或装置、植入体、植入体组件和植入系统中的一者或多者。
在替代实施方案中，物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者可包括一个或多个惯性测量单元，惯性测量单元例如包括加速计、磁力计和陀螺仪，比如类似于光学头戴式显示器。在一些实施方案中，物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者可包括一个或多个可以由手术导航系统捕获的射频卷标或标记或逆向反射标记等及其定位、位置和/或定向。可选地，光学头戴式显示器还可以包括一个或多个射频卷标或标记或逆向反射标记等，并且其定位、位置和/或定向也可以由手术导航系统捕获并且与物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者交叉标识。物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者还可以包括光源，比如，激光器或发光二极管。比如，可以将激光投射在墙壁或天花板上，并且光学头戴式显示器和患者可以被标识为与激光有关。附接至或集成到物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者的发光二极管可以例如通过集成到或附接至或耦合至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来识别。
利用任何前述技术，即使物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者仅在外科手术中部分或不完全可视化或可见，也可以确定物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件中的一者或多者的定位、位置、定向、对准、移动方向和/或轨迹。然后，计算机程序或软件可以可选地计算物理手术器械或工具中的一者或多者和/或物理器件、植入体、植入体组件和植入系统中的一者或多者的非可视化、不可见部分的其他特征的形状、几何结构、轮廓、表面。然后，物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者的非可视或不可见部分可以可选地由光学头戴式显示器显示，并被投射到手术部位的视图上。可选地，物理手术器械或工具中的一者或多者和/或物理装置、植入体、植入体组件和植入系统中的一者或多者的非可视或不可见部分可以与相应的虚拟手术器械或工具中的一者或多者和/或相应的虚拟装置、植入体、植入体组件和植入系统中的一者或多者由光学头戴式显示器同时显示。可以可选地使用不同的颜色或显示图案来显示和区分OHMD显示器中的虚拟的和物理的手术器械或工具中的一者或多者和/或装置、植入体、植入体组件和植入系统中的一者或多者。
困难的照明和组织对比条件
在手术期间的某些情况下或在某些手术部位，照明条件和组织对比度可能使得操作者可能难以在OHMD显示器中看到虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或任何虚拟装置、植入体、植入体组件和植入系统。在这些情况中的任一情况下，系统可以可选地允许操作者或外科医生改变显示模式，或者系统可以比如通过改变虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的颜色、亮度、强度和/或对比度来主动改变虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的显示模式。颜色、亮度、强度和/或对比度的不同变化可以应用于不同的虚拟数据，比如虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统。
外科医生或操作者或软件或系统可以改变虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的颜色。外科医生或操作者或软件或系统可以改变虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的亮度。外科医生或操作者或软件或系统可以改变虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的强度。外科医生或操作者或软件或系统可以改变虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的对比度。外科医生或操作者或软件或系统可以改变虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的显示图案。比如，虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者可以以光栅图案或线图案或点图案或本领域已知的任何其他显示图案显示。或者，虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者可以以暂时改变的显示图案显示，暂时改变的显示图案包括但不限于眨眼图案或闪烁图案，比如仅间歇性显示虚拟信息的眨眼图案或闪烁图案。或者，虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者可以以“镂空图案(skeletonization pattern)”显示，在“镂空图案”中，比如仅可以显示虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的关键特征或关键轮廓。或者，虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者可以以“突出显示图案”或模式显示，其中，比如虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的关键特征或关键轮廓可以使用特征或轮廓的放大或特征或轮廓的颜色或亮度或对比度或其他显示增强来显示。可选地，可以降低不太重要的特征或轮廓组件或部分的显示强度或从显示移除。上述显示调整可以通过操作者控制的命令、比如手动或语音或其他命令来执行。或者，这些调整可以通过操作者输入半自动地进行，或者使用比如关于患者的虚拟和/或实时数据的亮度、对比度和/或颜色以及环境光条件、比如手术室光强度、光反射等的信息自动地进行。对于选择的一个或多个虚拟数据——比如虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或设备路径、虚拟手术器械或工具和/或虚拟设备、植入体、植入体组件和植入系统——的显示的半自动或自动调整，可以采用可选地集成到、附接至或分离于一个或多个光学头戴式显示器的光强度和对比度传感器。或者，可以通过集成到、附接至或分离于光学头戴式显示器的一个或多个图像和/或视频捕获系统和/或三维扫描仪获得关于通过光学头戴式显示器看到的实时数据的颜色、亮度、强度、对比度和/或环境照明条件的信息。
对虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、手术器械或工具和/或装置、植入体、植入体组件和植入系统的显示的前述改变中的任一者也可应用于物理手术器械或工具和/或物理装置、植入体、植入体组件和植入系统的任何部分模糊部分或不可见部分。
通过使用这些技术中的一种或多种技术或本领域已知的任何其他显示修改技术，可以在显示中修改本发明中任何地方描述的任何虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、手术器械或工具和/或装置、植入体、植入体组件和植入系统。
在手术期间的某些情况下或在某些手术部位中，照明条件和组织对比度可能使得让人操作者可能难以在OHMD显示器中看到解剖结构的任何模糊部分、或模糊病理、或模糊的目标组织、或病理或目标组织的深部、模糊或隐藏部分、或深部组织的预期改变。这还包括隐藏或模糊或深部的正常组织和正常解剖结构。在这些情况中的任一情况下，系统可以可选地允许操作者或外科医生改变显示模式，或者系统可以主动地改变解剖结构、或解剖结构或目标组织的深部部分、或对深部、模糊或隐藏的组织的预期改变的显示模式。比如，外科医生或操作者可以改变解剖结构的颜色、或解剖结构或目标组织的深部、模糊或隐藏部分、或对深部、模糊或隐藏组织的预期改变。或者，外科医生或操作者可以改变解剖结构的显示图案、或解剖结构或目标组织的深部、模糊或隐藏部分、或对深部、模糊或隐藏组织的预期改变。比如，可以用光栅图案或线图案或点图案或本领域已知的任何其他显示图案来显示解剖结构、或解剖结构或目标组织的深部、模糊或隐藏部分、或对深部、模糊或隐藏组织的预期改变。或者，可以用暂时改变的显示图案显示解剖结构、或解剖结构或目标组织的深部、模糊或隐藏部分、或对深部、模糊或隐藏组织的预期改变，暂时改变的显示图案包括但不限于眨眼图案或闪烁图案，比如，只间歇性显示信息。或者，可以用“镂空图案”显示解剖结构、或解剖结构或目标组织的深部、模糊或隐藏部分、或对深部、模糊或隐藏组织的预期改变，在“镂空图案”中，比如，可以仅显示解剖结构的关键特征或关键轮廓、或解剖结构或目标组织的深部、模糊或隐藏部分、或对深部、模糊或隐藏组织的预期改变。或者，可以用“突出显示图案”或模式显示解剖结构、或解剖结构或目标组织的深部、模糊或隐藏部分、或对深部、模糊或隐藏组织的预期改变，在“突出显示图案”或模式中，例如可以使用特征或轮廓的放大或颜色或亮度或对比度或特征或轮廓的其他显示增强来显示解剖结构的关键特征或关键轮廓、或解剖结构或目标组织的深部、模糊或隐藏部分、或对深部、模糊或隐藏组织的预期改变。可选地，可以降低不太重要的特征或轮廓组件或部分的显示强度或从显示移除。在本发明的任何地方描述的任何组织——比如作为示例的大脑皮层、脑回、椎弓根、椎骨终板、前椎壁、后椎骨壁、髋臼、血管、神经、肿瘤——可以使用这些技术中的一种或多种技术或本领域已知的任何其他显示修改方法在显示中进行修改。
上述颜色、亮度、强度和/或对比度的调整中的任一者可以应用于虚拟解剖数据或结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统中的一者或多者的二维或三维、立体和非立体显示。如果患者实时数据不能通过光学头戴式显示器直接看到，而是通过集成到、附接至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪捕获，然后由光学头戴式显示器显示，可选地结合虚拟解剖数据或者结构、虚拟手术计划、虚拟工具或器械或装置路径、虚拟手术器械或工具和/或虚拟装置、植入体、植入体组件和植入系统，相同或类似的调整可以应用于一个或多个患者实时数据，比如，选择解剖结构、或所有的患者实时数据。
在一些方面，本发明提供了一种准备用于患者体内的假体的关节的方法。在一些实施方案中，该方法包括：在坐标系中配准患者关节和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器；获得一个或多个术中测值；在坐标系中配准一个或多个术中测值；基于一个或多个术中测值拟定虚拟手术计划；并且利用光学头戴式显示器显示或投射叠加到患者关节的相应部分上的虚拟手术计划的各方面。在一些实施方案中，一个或多个光学头戴式显示器在同一坐标系中配准。在一些实施方案中，一个或多个术中测值是形态测值、光学测值或其组合。在一些实施方案中，一个或多个术中测值不是压力测值。
在一些方面，本发明提供了一种准备在患者体内进行的整形外科手术的方法。在一些实施方案中，该方法包括：在共同坐标系中配准患者手术部位和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器；使用一个或多个光学标记获得一个或多个术中光学测值；使用共同坐标系中的一个或多个光学标记配准一个或多个术中光学测值；基于一个或多个术中测值拟定虚拟手术计划；并且利用光学头戴式显示器显示或投射叠加到患者身体关节的相应部分上的虚拟手术计划的各方面。可以至少部分地基于虚拟手术计划的预定位置的坐标来将虚拟手术计划显示或投影到患者的身体关节上。
在一些实施方案中，虚拟手术计划包含来自术前扫描的数据。在一些实施方案中，虚拟手术计划包含来自术中扫描的数据。在一些实施方案中，虚拟手术计划包含来自术前扫描和术中扫描的数据。扫描包括一个或多个X光、计算机断层扫描、磁共振扫描、超声波或其组合。
在一些实施方案中，扫描数据在共同坐标系中被配准。在一些实施方案中，通过光学头戴式显示器将配准的扫描数据叠加显示在手术部位上。在一些实施方案中，扫描数据包括手术部位的三维显示。
在一些实施方案中，配准步骤包括识别活体手术部位中的一个或多个解剖标志。在一些实施方案中，在患者的扫描数据中识别一个或多个对应的解剖标志。
在一些实施方案中，配准步骤包括识别活体手术部位中的一个或多个解剖轴线或生物力学轴线。在一些实施方案中，在患者的扫描数据中识别一个或多个对应的解剖轴线或生物力学轴线。
在一些实施方案中，活体手术部位包括骨、软骨、关节、关节表面、相对关节表面、韧带、半月板、盂唇、关节内结构、棘突、椎弓根、小关节、上下突或椎体中的一者或多者。
在一些实施方案中，配准步骤包括检测附接至活体手术部位中的一个或多个结构的一个或多个光学标记。在一些实施方案中，配准步骤包括检测附接至手术台的一个或多个光学标记。在一些实施方案中，一个或多个光学标记的检测包括确定一个或多个光学标记的位置、定向、对准、移动方向或移动速度中的一者或多者。
光学标记可包括几何图案、二维码、条形码或其组合。二维码或条形码可以包括在几何图案中，或者结合到几何图案中或附加至几何图案。
在一些实施方案中，光学头戴式显示器包括一个或多个摄像头或图像捕获或视频捕获系统和/或三维扫描仪。一个或多个摄像头或图像捕获或视频捕获系统和/或三维扫描仪可以检测一个或多个光学标记、包括检测一个或多个光学标记的坐标(x，y，z)。
在一些实施方案中，光学标记包括关于植入体库存管理的信息。比如，二维码可以包括关于植入体库存管理的信息。
在一些实施方案中，光学头戴式显示器中包括的一个或多个摄像头或图像捕获或视频捕获系统和/或三维扫描仪读取二维码中的库存管理并将其发送到另一计算机。
在一些实施方案中，术中测值包括使用一个或多个光学标记识别患者关节中的实时解剖标志的坐标(x，y，z)。在一些实施方案中，术中测值包括识别术中扫描数据中的解剖标志的坐标(x，y，z)。
在一些实施方案中，一个或多个光学标记是不透射线的，并且可以在术中扫描数据中检测一个或多个光学标记的坐标(x，y，z)。
在一些实施方案中，使用包括在光学头戴式显示器中的一个或多个摄像头或图像捕获或视频捕获系统和/或三维扫描仪来检测光学标记，并且在术中扫描数据中检测的光学标记在共同坐标系中配准。
在一些实施方案中，术中测值包括识别患者的解剖轴线或生物力学轴线。生物力学轴线可以是腿的机械轴线。在一些实施方案中，术中测值包括从手术改变的表面获得信息。
在一些实施方案中，术中测值包括识别患者关节的旋转中心。关节可以是正进行手术的关节，或者关节可以是与正进行手术的关节不同的关节。
在一些实施方案中，术中测值包括识别解剖平面。解剖平面可以与一个或多个解剖标志相切。解剖平面可以与一个或多个解剖标志相交。在一些实施方案中，可以通过将虚拟平面放置成与一个或多个解剖标志相切或相交来找到解剖平面。可以使用虚拟接口放置虚拟平面。
在一些实施方案中，虚拟手术计划包括用于手术器械的预定路径。在一些实施方案中，虚拟手术计划包括投射或预期的切割平面。在一些实施方案中，虚拟手术计划包括以期望或预期的位置、定向和/或对准投影的虚拟切割块。在一些实施方案中，虚拟手术计划包括投影或预期的扩孔、铣削或撞击轴线。在一些实施方案中，虚拟手术计划包括以期望或预定的位置、定向、对准和/或移动方向显示或投影的虚拟手术器械。在一些实施方案中，虚拟手术计划包括以期望或预定的位置、定向和/或对准显示或投影的虚拟手术植入体组件。
在一些方面，准备用于患者体内的假体的关节的方法包括：获得与患者关节相关的扫描数据；基于扫描数据为患者关节准备虚拟手术计划；在共同坐标系中配准患者的物理关节、虚拟手术计划和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器；获得一个或多个术中测值；基于一个或多个术中测值调整或修改虚拟手术计划；并且利用光学头戴式显示器显示或投射叠加到患者物理关节的相应部分上的调整或修改的外科手术计划的各方面。在一些实施方案中，一个或多个术中测值是形态测量值、光学测量值或其组合。
在一些方面，准备在患者体内进行的整形外科手术的方法包括：获得与患者的手术部位相关联的扫描数据；基于扫描数据为患者准备虚拟手术计划；在共同坐标系中配准患者活体手术部位、虚拟手术计划和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器；获得一个或多个术中测值；基于一个或多个术中测值调整或修改虚拟手术计划；并且显示或投射利用光学头戴式显示器叠加到患者活体手术部位的相应部分上的调整或修改的外科手术计划的各方面。
在一些实施方案中，一个或多个术中测值包括一个或多个光学标记。
在一些实施方案中，扫描数据在术前和/或术中获得。在一些实施方案中，扫描数据包括术前和术中扫描数据。在一些实施方案中，扫描数据包括一个或多个X光、计算机断层扫描、磁共振扫描、超声波或前述的组合。
在一些实施方案中，扫描数据在共同坐标系中被配准。在一些实施方案中，通过光学头戴式显示器将配准的扫描数据叠加显示在手术部位上。
在一些实施方案中，扫描数据包括手术部位的三维显示。
在一些实施方案中，配准包括识别患者的扫描数据中的一个或多个解剖标志。在一些实施方案中，配准包括识别活体手术部位中的一个或多个相应的解剖标志。在一些实施方案中，配准包括识别患者扫描数据中的一个或多个解剖轴线或生物力学轴线。在一些实施方案中，配准包括识别活体手术部位中的一个或多个对应的解剖轴线或生物力学轴线。
在一些实施方案中，活体手术部位包括骨、软骨、关节、关节表面、相对关节表面、韧带、半月板、盂唇、关节内结构、棘突、椎弓根、小关节、上下突或椎体中的一者或多者。
在一些实施方案中，配准包括检测附接至活体手术部位中的一个或多个结构的一个或多个光学标记。在一些实施方案中，配准包括检测附接至手术台的一个或多个光学标记。在一些实施方案中，一个或多个光学标记的检测包括确定一个或多个光学标记的位置、定向、对准、移动方向或移动速度中的一者或多者。
光学标记可包括几何图案、二维码、条形码或其组合。二维码或条形码可以包括在几何图案中，或者结合到几何图案中或附加至几何图案。
在一些实施方案中，光学头戴式显示器包括一个或多个摄像头或图像捕获或视频捕获系统和/或三维扫描仪。一个或多个摄像头或图像捕获或视频捕获系统和/或三维扫描仪可以检测一个或多个光学标记、包括检测一个或多个光学标记的坐标(x，y，z)。
在一些实施方案中，光学标记包括关于植入体库存管理的信息。比如，二维码可以包括关于植入体库存管理的信息。
在一些实施方案中，二维码包括关于植入体库存管理的信息。在一些实施方案中，光学头戴式显示器中包括的一个或多个摄像头或图像捕获或视频捕获系统和/或三维扫描仪读取二维码中的库存管理并将其发送到另一计算机。
在一些实施方案中，术中测值包括使用一个或多个光学标记识别患者关节中的实时解剖标志的坐标(x，y，z)。在一些实施方案中，术中测值包括识别术中扫描数据中的解剖标志的坐标(x，y，z)。
在一些实施方案中，一个或多个光学标记是不透射线的，并且可以在术中扫描数据中检测一个或多个光学标记的坐标(x，y，z)。
在一些实施方案中，使用包括在光学头戴式显示器中并且在术中扫描数据中检测到的一个或多个摄像头或图像捕获或视频捕获系统和/或三维扫描仪检测到的光学标记在共同坐标系中被配准。
在一些实施方案中，术中测值包括识别患者的解剖轴线或生物力学轴线。比如，生物力学轴线可以是腿的机械轴线。
在一些实施方案中，术中测值包括识别患者关节的旋转中心。关节可以是进行手术的关节，或者可以是与进行手术的关节不同的关节。
在一些实施方案中，术中测值包括识别解剖平面。解剖平面可以与一个或多个解剖标志相切。解剖平面可以与一个或多个解剖标志相交。在一些实施方案中，通过将虚拟平面放置成与一个或多个解剖标志相切或相交来找到解剖平面。可以使用虚拟接口放置虚拟平面。
在一些实施方案中，术中测值包括从手术改变的表面获得信息。
在一些实施方案中，调整或修改虚拟手术计划包括放置或移动手术器械的预定路径。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟切割平面。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟切割块。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟扩孔、铣削或撞击轴线。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟手术器械。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟手术植入体组件。
根据本发明的一些方面，准备用于患者体内的假体的关节的方法包括：在共同坐标系中配准患者活体手术部位和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器；获得一个或多个术中测值；在共同坐标系中配准一个或多个术中测值；基于一个或多个术中测值拟定虚拟手术计划，该虚拟计划包括至少一个虚拟切割平面；并且利用光学头戴式显示器显示或投射叠加到患者活体手术部位的相应部分上的一个或多个虚拟切割平面。
根据本发明的一些方面，准备用于患者体内的假体的关节的方法包括：在共同坐标系中配准患者活体手术部位和由外科医生或手术助手佩戴的光学头戴式显示器；拟定虚拟手术计划；在共同坐标系中配准虚拟手术计划，该虚拟手术计划包括至少一个虚拟切割平面；以及利用光学头戴式显示器显示或投射叠加到患者活体手术部位的相应部分上的至少一个虚拟切割平面。在一些实施方案中，该方法还包括获得一个或多个术中测值。在一些实施方案中，该方法还包括在共同坐标系中配准一个或多个术中测值。在一些实施方案中，一个或多个术中测值包括术中形态测值和光学测值。
在一些实施方案中，假体是膝关节置换品，并且虚拟切割平面限定了在植入胫骨植入体组件之后的胫骨斜度。在一些实施方案中，假体是膝关节置换品，并且虚拟切割平面限定了与患者的腿部的用于胫骨组件和相关骨切割的机械轴线相关的内翻或外翻矫正角度。在一些实施方案中，假体是膝关节置换品，并且虚拟切割平面限定了与患者的腿部的用于患者股骨组件和相关骨切割的机械轴线相关的内翻或外翻矫正角度。在一些实施方案中，假体是膝关节置换品，并且虚拟切割平面限定了与患者的腿部的用于股骨组件和胫骨组件以及包括组合矫正的相关骨切割的机械轴线相关内翻或外翻矫正角度。在一些实施方案中，假体是膝关节置换品，并且虚拟切割平面对应于远端股骨切割并且限定股骨组件屈曲。在一些实施方案中，假体是膝关节置换品，并且虚拟切割平面对应于前股骨切割并且限定股骨组件旋转。在一些实施方案中，假体是膝关节置换品，并且虚拟切割平面对应于后股骨切割并且限定股骨组件旋转。在一些实施方案中，假体是膝关节置换品，并且虚拟切割平面对应于倒角切口并且限定股骨组件旋转。在一些实施方案中，假体是髋关节置换品，并且其中虚拟切割平面限定了在植入之后的腿长度。
根据本发明的一些方面，准备用于患者体内的假体的关节的方法包括：在共同坐标系中配准患者活体手术部位和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器；拟定虚拟手术计划；在共同坐标系中配准虚拟手术计划，该虚拟手术计划包括至少两个或更多个投影或预期的钉或钻头路径；以及利用光学头戴式显示器显示或投射叠加到活体手术部位中的患者的骨或软骨的相应部分上的两个或更多个投影或预期的钉或钻头路径。
在一些实施方案中，第一物理钉或钻头与第一虚拟钉或钻头路径对准，并且在保持对准的同时执行钉扎或钻孔。在一些实施方案中，第二物理钉或钻头与第二虚拟钉或钻头路径对准，并且在保持对准的同时执行钉扎或钻孔。在一些实施方案中，第一和第二钉或钻头用于固定或标识手术导引物或切割块。在一些实施方案中，由物理第一和第二钉或钻头产生的钻孔用于固定或标识手术导引物或切割块。
在一些实施方案中，手术导引物或切割块用于执行骨切割。骨切割可以基于虚拟手术计划限定腿长度。骨切割可以基于虚拟手术计划限定内翻或外翻矫正。骨切割可以基于虚拟手术计划来限定股骨组件屈曲。骨切割可以基于虚拟手术计划来限定股骨组件旋转。骨切割可以基于虚拟手术计划确定胫骨斜度。在一些实施方案中，骨切割是龙骨冲头并且基于虚拟手术计划确定胫骨组件旋转。
根据一些方面，准备用于患者体内的假体的关节的方法包括：在共同坐标系中配准患者的关节和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器；获得一个或多个术中测值；在共同坐标系中配准一个或多个术中测值；基于一个或多个术中测值拟定虚拟手术计划，该虚拟手术计划包括虚拟手术钻头导引物；并且使用光学头戴式显示器将虚拟钻头导引物叠加到用于钻孔的患者活体手术部位的相应部分上。在一些实施方案中，一个或多个术中测值是形态和/或光学测量。在一些实施方案中，对应于虚拟钻头导引物的物理钻头包括至少两个开口以容纳两个或更多个钻头。在一些实施方案中，虚拟钻头导引物对应于物理钻头导引物并且具有与物理钻头导引物类似的至少一个或多个尺寸。
根据一些方面，准备用于患者体内的假体的关节的方法包括：在共同坐标系中配准患者的关节和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器；获得一个或多个术中测值；在共同坐标系中配准一个或多个术中测值；基于一个或多个术中测值拟定虚拟手术计划，虚拟手术计划包括用于扩孔器、铣刀或撞击器的至少一个虚拟轴线，并且利用光学头戴式显示器显示或投射叠加到患者活体手术部位的相应部分上的用于扩孔器、铣刀或撞击器的至少一个虚拟轴线叠加。
根据一些方面，准备用于患者体内的假体的关节的方法包括：在共同坐标系中配准患者的关节和由外科医生或手术助手佩戴的光学头戴式显示器；拟定虚拟手术计划；在共同坐标系中配准虚拟手术计划，该虚拟手术计划包括用于扩孔器、铣刀或撞击器的至少一个虚拟轴线；以及利用光学头戴式显示器显示或投射叠加到患者活体手术部位的相应部分上的用于扩孔器、铣刀或撞击器的至少一个虚拟轴线叠加。在一些实施方案中，该方法还包括获得一个或多个术中测值。在一些实施方案中，该方法还包括在共同坐标系中配准一个或多个术中测值。
在一些实施方案中，假体是髋关节置换品，并且虚拟轴线限定了在基于虚拟手术计划植入髋臼组件之后的髋臼前倾。在一些实施方案中，假体是髋关节置换品，并且虚拟轴线限定了在基于虚拟手术计划植入髋臼组件之后的髋臼偏移。在一些实施方案中，假体是髋关节置换品，并且虚拟轴线限定组合的髋臼和股骨组件前倾。物理扩孔器、铣刀或撞击器可以与扩孔器、铣刀或撞击器的虚拟轴线对准，并且可以在保持对准的同时执行扩孔、铣削或撞击。
根据一些方面，准备用于患者体内的假体的关节的方法包括：在共同坐标系中配准患者活体手术部位和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器；获得一个或多个术中测值；在共同坐标系中配准一个或多个术中测值；基于一个或多个术中测值拟定虚拟手术计划，该虚拟手术计划包括虚拟胫骨模板(virtual tibial template)；以及利用光学头戴式显示器显示或投射叠加到切割胫骨上的虚拟胫骨模板。
在一些实施方案中，物理胫骨模板与虚拟切割胫骨模板对准，插入胫骨龙骨冲头，并且冲压近端胫骨以容纳胫骨龙骨和肋片。
在一些实施方案中，虚拟和物理胫骨模板确定胫骨植入体组件的对准和旋转。
根据一些方面，准备在患者体内进行的整形外科手术的方法包括在共同坐标系中配准患者手术部位和一个或多个由外科医生或手术助手佩戴的光学头戴式显示器，其中使用在手术部位中或周围附加至患者的一个或多个光学标记来执行患者手术部位在共同坐标系中的配准，其中光学标记包括一个或多个几何图案，其中光学标记用集成到、附接至或分离于光学头戴式显示器的摄像头、图像捕获或视频系统来检测。在一些实施方案中，光学标记包括至少一个不透射线的部分。在一些实施方案中，使用具有电离辐射的影像学检查来可视化患者或手术部位的内部结构。比如，影像学检查可以是一个或多个X光和/或计算机断层扫描。
在一些实施方案中，在影像学检查中使用图像处理软件检测光学标记的不透射线部分。在一些实施方案中，在影像学检查中检测到的光学标记的不透射线部分与用摄像头、图像捕获或视频系统检测到的光学标记的可见部分交叉标识，并且其中该信息用于在共同坐标系中配准患者或手术部位的内部结构。
在一些实施方案中，光学头戴式显示器将患者或手术部位的内部结构显示为叠加到患者或手术部位的相应外表面上。在一些实施方案中，光学头戴式显示器将虚拟手术计划叠加到相应的外部和内部结构上。虚拟手术计划可以是用于手术装置的预定路径。
示例：
以下示例显示了本发明各种实施方案的代表性应用。这些示例并不意味着限制。本领域技术人员将认识到所描述的方法、技术、装置和系统的其他应用或改进。针对一个关节或解剖区域(比如，脊柱或椎弓根)描述的任何实施方案可以应用于其他关节或其他区域，比如，髋关节，髋关节置换品、膝关节、膝关节置换品、血管影像学检查、血管造影等。
在一些实施方案中，当物理导引物、工具、器械或植入体与由光学头戴式显示器显示或投射的虚拟手术导引物、工具、器械或植入体对准或叠加时，可以采用以下位置精度在一个、两个或三个方向x、y、z上执行对准或叠加：约10毫米，约9毫米，约8毫米，约7毫米，约6毫米，约5毫米，约4毫米，约3毫米，约2毫米，约1毫米，约0.5毫米，约0.25毫米或更小，0.25毫米至0.5毫米，0.25毫米至1毫米，0.25毫米至2毫米，0.25毫米至3毫米，0.25毫米至4毫米，0.25毫米至5毫米，0.25毫米至6毫米，0.25毫米至7毫米，1毫米至2毫米，1毫米至3毫米，1毫米至4毫米，1毫米至5毫米，1毫米至6毫米，1毫米至7毫米，2毫米至3毫米，2毫米至4毫米，2毫米至5毫米，2毫米至6毫米，2毫米至7毫米，3毫米至4毫米，3毫米至5毫米，3毫米至6毫米，3毫米至7毫米，4毫米至5毫米，4毫米至6毫米，4毫米至7毫米，5毫米至6毫米，5毫米至7毫米，6毫米至7毫米或必要时根据临床应用的需求。当物理导引物、工具、器械或植入体与由光学头戴式显示器显示或投射的虚拟手术导引物、工具、器械或植入体对准或叠加时，可以采用以下定向或角度精度在一个、两个或三个方向x、y、z上执行对准或叠加：约10°，约9°，约8°，约7°，约6°，约5°，约4°，约3°，约2°，约1°，约0.5°，约0.25°或更小，0.25°至10°，0.25°至9°，0.25°至8°，0.25°至7°，0.25°至6°，0.25°至5°，0.25°至4°，0.25°至3°，0.25°至2°，0.25°至1°，0.25°至0.5°，0.5°至9°，0.5°至8°，0.5°至7°，0.5°至6°，0.5°至5°，0.5°至4°，0.5°至3°，0.5°至2°，0.5°至1°，1°至9°，1°至8°，1°至7°，1°至6°，1°至5°，1°至4°，1°至3°，1°至2°，2°至9°，2°至8°，2°至7°，2°至6°，2°至5°，2°至4°，2°至3°，3°至9°，3°至8°，3°至7°，3°至6°，3°至5°，3°至4°，4°至9°，4°至8°，4°至7°，4°至6°，4°至5°，5°至9°，5°至8°，5°至7°，5°至6°，6°至9°，6°至8°，6°至7°，7°至9°，7°至8°，8°至9°或必要时根据临床应用的需要。
下肢的机械轴线是通过从股骨头的中心到踝关节的中心画一条线来确定的，该线通常对应于与垂直轴线的斜度相比大约为3°的斜度。这可以细分为从股骨头部延伸到远端股骨的髁间凹陷的股骨机械轴线、以及从近端胫骨的中心延伸到踝关节的中心的胫骨机械轴线。股骨的机械轴线与胫骨的机械轴线之间形成的内侧角称为髋膝踝角，该髋膝踝角表示下肢的整体对准，并且在也称为正常机械轴线对准的正常膝关节中通常约为或略小于180°。机械轴线的位置使其通常仅在内侧经过胫骨脊，但是这可能基于患者身高和骨盆宽度而不尽相同。
例如用于矫正脊柱畸形和脊柱侧凸和/或骨折治疗的椎弓根螺钉和脊柱杆放置
椎弓根螺钉和杆放置是最常见的脊柱手术之一。椎弓根螺钉和杆放置可以在许多不同的条件下进行，这些条件包括比如脊柱不稳定、脊柱畸形——比如脊柱侧凸、脊柱后凸及其组合——的矫正、以及先天性脊柱缺陷。椎弓根螺钉和杆放置可以与骨移植物结合，比如，同种异体移植物或自体移植物。有时，在手术期间可以使用可输注或可注射的骨形态发生蛋白，以促进骨移植物的愈合和稳定。
术前，患者通常会经历X光成像，比如以前后、侧向和倾斜视角经历X光成像。可以获得选定区域、比如骶骨或寰枕联结点的特殊视图。可以在站立和躺卧位置获得X光。也可以在俯卧或仰卧位置获得X光。可以通过患者直立、脊柱屈曲和脊柱伸展获得X光。也可以在患者向左侧或向右侧弯曲的情况下获得X光。
患者可以可选地经历计算机断层扫描或磁共振扫描。计算机断层扫描和磁共振扫描具有提供患者解剖结构的三维数据集的附加优点。此外，硬膜囊和神经根可以被可视化。通过磁共振，脊髓也可以被可视化。
虚拟手术计划
外科医生可以拟定用于椎弓根螺钉和杆放置的虚拟手术计划，该虚拟手术计划可以可选地结合任何期望的畸形矫正。放置椎弓根螺钉的典型标准可包括以下内容：
例如可以在上关节突与将左侧和右侧的横突二等分的水平线相交的侧向边界处选择椎弓根螺钉和任何锥子、探针、丝锥、K线、Y线、其他线和其他手术器械的入口点。
在腰椎中，椎弓根的轨迹通常会在上腰椎中会聚5至10度，在下腰椎中会聚10至15度。通常在腰椎中不需要头部倾斜或尾部倾斜的轨迹。
在胸椎中，入口点可以恰好在上椎间关节的边缘下方，并且距横突的基部附近的关节中心的侧面大约3毫米。在胸椎中，椎弓根和螺钉可以以大约7至10度会聚至中线；在矢状平面上，椎弓根和螺钉可以向尾部以10至20度定向。在进入T12时，虚拟手术计划可以包括移除横突以打开骨髓空间。角度可以是内侧和尾侧角度。
外科医生通常或使用用于椎弓根螺钉放置的侧向交叉法，或使用上关节突的与将左侧和右侧的横突二等分的水平线的形成交叉的侧向边界。可以选择更内侧的入口点，在该情况下，可能需要测距来移除关节突的基部。这可以包括在虚拟手术计划中。
对于S1，可以在与S1关节突相切的竖直线和与其下边界相切的水平线的交叉点处选择入口点。通常，在S1处，椎弓根螺钉会聚，但是悬垂的骨盆可能在体内限制该会聚。螺钉通常瞄准骶骨岬的上边界。将以椎弓根螺钉和/或器械将避开S1孔和任何神经根的方式选择或定义虚拟手术计划中的器械放置和椎弓根螺钉放置。如果使用双皮质螺钉，应选择或定向螺钉位置，以避免对L5神经根造成任何伤害；任何影像学检查、如计算机断层扫描或磁共振扫描都可用于在虚拟手术计划中识别L5神经根并放置椎弓根螺钉，可选择显示计算机断层扫描或磁共振扫描和神经根，使得其尖端和主体相对于神经根具有安全余量。
虚拟手术计划可包括脊柱结构的二维或三维图像。二维显示可以是多平面显示，比如，以轴向、倾斜轴向、矢状、倾斜或弯曲的矢状、冠状、倾斜或弯曲的冠状突起显示脊柱。三维显示可以显示脊柱，比如从后投影、前投影、侧向投影、从顶部或底部的投影、或沿着神经根或硬膜囊或脐带的投影显示脊柱。可以以这种方式显示的代表性骨结构包括比如棘突、椎板、椎间关节、椎弓根和包括终板、前、后、内侧和外侧皮质的椎体。在本发明的一些实施方案中，视图视角是外科医生的头部和光学头戴式显示器相对于手术野和患者所具有的视角。左眼显示和右眼显示的视角可以是不同的，特别是当使用立体显示技术时，外科医生的左眼通过光学头戴式显示器单元的显示器看到的患者虚拟数据的视角和外科医生的左眼通过光学头戴式显示器单元看到的患者实时数据的视角基本相同，外科医生的右眼通过光学头戴式显示器单元的显示器看到的患者虚拟数据和外科医生的右眼通过光学头戴式显示器单元看到的患者实时数据的视角基本相同。
在一些实施方案中，除了骨结构之外，在手术计划中突出显示了硬膜囊、神经结构和神经根，比如L4、L5和S1。可以使用本领域已知的分割技术、比如自动或半自动或手动分割来突出显示神经根。或者，操作者或外科医生可以点击椎弓根附近的神经根或预期的椎弓根螺钉放置。点击的位置可以存储在图像数据量中，并且可以用不同的颜色突出显示。包含点击的面积或者体积可以配准为安全区域，椎弓根螺钉和放置的任何器械不应进入该安全区域。可以在安全区域添加比如为2毫米、3毫米、4毫米、5毫米、7毫米或10毫米的安全余量。在虚拟计划期间，将修改或调整手术计划和任何椎弓根螺钉和相关器械的放置或位置或方向，以确保外科手术不会引起神经损伤或撞击。
在一些实施方案中，血管结构可以使用自动化、半自动化或手动分割技术或由外科医生或操作者执行的简单点击或图像标记来突出显示。这种血管结构可包括例如主动脉、下腔静脉、主动脉或下腔静脉的任何分支、肋间动脉、无名动脉。可以在这些血管结构周围限定安全区域和/或2毫米、3毫米、4毫米、5毫米、7毫米或10毫米或更大的安全余量。在虚拟计划期间，将修改或调整手术计划和任何椎弓根螺钉和相关器械的放置或位置或方向，以确保在外科手术过程中不会引起血管损伤。
虚拟手术计划可包括：
-识别所需的椎弓根螺钉位置和/或定位和/或定向；
-识别用于放置椎弓根螺钉的任何手术器械——比如锥子、探针、线、翼片、螺钉刀等，包括椎弓根螺钉本身——的期望位置和/或定位和/或定向和/或轨迹；
-识别所需的杆位置和/或定位和/或定向；
-如果适用，识别所需的脊柱畸形矫正，比如，对脊柱后凸、脊柱前凸、脊柱侧凸、矢状畸形、冠状畸形、旋转畸形、断裂畸形的矫正；
-识别敏感结构，比如，神经结构、神经根、血管结构；
-定义比如在椎弓根、神经结构、神经根和/或血管结构中比如用于皮质穿透的安全区域。
虚拟手术计划可以包括可选地预定义的标准，以在患者的数据中自动或半自动地虚拟放置椎弓根螺钉。这样的标准可以包括椎弓根螺钉或相关骨空隙之间的用于将椎弓根螺钉接纳至部分或全部椎弓根的内侧、外侧、上部和/或下部骨内膜表面或皮质表面的距离、或椎弓根螺钉或相关骨空隙之间的用于将椎弓根螺钉接纳至部分或全部椎弓根的内侧、外侧、上部和/或下部骨内膜表面或皮质表面的面积或体积。如果外科医生手动地、可视地将虚拟椎弓根螺钉放置在二维或三维显示上，则软件可应用相同或类似的标准以突出显示可能导致临床问题、比如皮质破裂或神经根损伤的潜在区域。比如，如果虚拟椎弓根螺钉位于椎弓根的内侧皮质的1毫米、2毫米或3毫米内，则软件使用图像处理和骨、骨内膜骨或皮质骨的分割来突出显示此类接近性和潜在风险。突出显示可以比如通过接近皮质或神经或血管结构的颜色编码区域或通过其他视觉提示和声音警告信号来进行。在外科手术期间，这些突出显示的区域也可以可选地由光学头戴式显示器立体地或非立体地显示。可选地，突出显示的区域可以以轮廓格式显示。
椎弓根螺钉的尺寸、宽度、直径或长度的选择也可以使用诸如用于将椎弓根螺钉接纳至部分或全部椎弓根的内侧、外侧、上部和/或下部骨内膜表面或皮质表面的椎弓根螺钉或相关骨空隙之间的距离、或用于将椎弓根螺钉接纳至部分或全部椎弓根的内侧、外侧、上部和/或下部骨内膜表面或皮质表面的椎弓根螺钉或相关骨空隙之间的面积或体积之类的标准手动、半自动或自动进行。
外科医生可以例如使用虚拟接口并采用以下标准来手动将虚拟椎弓根螺钉的数字全息图置于患者的隐藏的表面下解剖结构的虚拟显示上：包括其尖端的椎弓根螺钉在椎体中的位置，包括其尖端的椎弓根螺钉相对于脊柱/椎体骨折的位置，包括其尖端的椎弓根螺钉相对于上终板的位置，包括其尖端的椎弓根螺钉相对于下终板的位置，包括其尖端的椎弓根螺钉相对于前椎骨皮质和/或后椎骨皮质的位置，包括其尖端的椎弓根螺钉相对于血管的位置，包括其尖端的椎弓根螺钉相对于主动脉的位置，包括其尖端的椎弓根螺钉相对于下腔静脉的位置，包括其尖端的椎弓根螺钉相对于神经结构、硬膜囊、神经根和/或脊髓的位置，包括其尖端的椎弓根螺钉相对于脊柱/椎体骨折的距离、面积或体积，包括其尖端的椎弓根螺钉相对于上端板的距离、面积或体积，包括其尖端的椎弓根螺钉相对于下端板的距离、面积或体积，包括其尖端的椎弓根螺钉相对于前和/或后椎骨皮质的距离、面积或体积，包括其尖端的椎弓根螺钉相对于血管的距离、面积或体积，包括其尖端的椎弓根螺钉相对于主动脉的距离、面积或体积，包括其尖端的椎弓根螺钉相对于下腔静脉的距离、面积或体积，包括其尖端的椎弓根螺钉相对于神经结构、硬膜囊、神经根和/或脊髓的距离、面积或体积。外科医生可以使用关于位置或距离或面积或体积的信息、或使用椎弓根螺钉和患者解剖结构的虚拟图像来选择虚拟手术计划中的椎弓根螺钉的尺寸、宽度、直径或长度。可以针对前述标准定义安全区域标准，比如，距离皮质或神经结构1毫米、2毫米或3毫米或5毫米或更多毫米。如果外科医生将椎弓根螺钉或用于放置椎弓根螺钉的任何相关的外科手术器械放置得太靠近安全区域或安全区域内，则该区域可以突出显示或者软件可以触发另一视觉或声学警报。
或者，软件可以采用以下标准自动或半自动地将椎弓根螺钉放置在患者的虚拟显示上：包括其尖端的椎弓根螺钉在椎体中的位置，包括其尖端的椎弓根螺钉相对于脊柱/椎体骨折的位置，包括其尖端的椎弓根螺钉相对于上终板的位置，包括其尖端的椎弓根螺钉相对于下终板的位置，包括其尖端的椎弓根螺钉相对于前椎骨皮质和/或后椎骨皮质的位置，包括其尖端的椎弓根螺钉相对于血管的位置，包括其尖端的椎弓根螺钉相对于主动脉的位置，包括其尖端的椎弓根螺钉相对于下腔静脉的位置，包括其尖端的椎弓根螺钉相对于神经结构、硬膜囊、神经根和/或脊髓的位置，包括其尖端的椎弓根螺钉相对于脊柱/椎体的骨折的距离、面积或体积，包括其尖端的椎弓根螺钉相对于上端板的距离、面积或体积，包括其尖端的椎弓根螺钉相对于下端板的距离、面积或体积，包括其尖端的椎弓根螺钉相对于前椎骨皮质和/或后椎骨皮质的距离、面积或体积，包括其尖端的椎弓根螺钉相对于血管的距离、面积或体积，包括其尖端的椎弓根螺钉相对于主动脉的距离、面积或体积，包括其尖端的椎弓根螺钉相对于下腔静脉的距离、面积或体积，包括其尖端的椎弓根螺钉相对于神经结构、硬膜囊、神经根和/或脊髓的距离、面积或体积。软件可以使用关于位置或距离或面积或体积的信息，也可以选择虚拟手术计划中的椎弓根螺钉的尺寸、宽度直径或长度。可以针对前述标准定义安全区域标准，比如，距离皮质或神经结构的1毫米、2毫米或3毫米或更多毫米。如果软件无法在不违背安全区域中的一个安全区域的情况下放置椎弓根螺钉或用于放置椎弓根螺钉的任何相关的手术器械，或者如果软件将椎弓根螺钉或用于放置椎弓根螺钉的任何相关的手术器械放置得过于靠近安全区域，则可以突出显示该区域或者软件触发其他视觉或听觉警报。然后，外科医生可以手动调整椎弓根螺钉或用于放置椎弓根螺钉的任何相关手术器械——比如锥子、探针、针、线、丝锥等——的虚拟位置。
虚拟手术计划只能模拟椎弓根螺钉和任何相关杆的最终所需位置。然后，可以在手术期间基于虚拟手术计划以及椎弓根螺钉和任何相关杆的最终期望的布置位置来投射用于放置椎弓根螺钉的任何手术器械——比如锥子、探针、针、线、丝锥等——的期望轨迹。
在本发明的一些实施方案中，每一器械或者比如用于放置椎弓根螺钉和/或杆的主要器械可以在手术期间在虚拟显示中显示。通过光学头戴式显示器看到的物理器械可以与光学头戴式显示器显示的相应虚拟器械可选地以三维、立体或非立体形式对准，从而比如根据虚拟手术计划实现期望的手术改变。
图17A至图17D为用于在混合现实环境中执行脊柱手术的选择选项和方法的说明性流程图。如图17A所示，术前患者就诊，成像，术前计划184，外科医生评估患者并设定对于使用椎弓根螺钉和脊柱固定杆执行的脊柱融合的指示185。可以可选地获得脊柱X光照片186和/或三维成像、比如计算机断层扫描或磁共振187。可选地，数据可以被分割188和191。可选地，可以使用二维数据192。骨骼轮廓可以从射线照片189或计算机断层扫描或磁共振193自动、半自动或手动地得到189。可选地，可以确定诸如神经根和血管的敏感结构194，并将其叠加在二维或三维骨骼数据的显示上198。来自射线照片和诸如计算机断层扫描或磁共振的其他影像学检查的骨骼轮廓可以可选地比如使用坐标转移或使用共同坐标系来交叉配准190。可选地，可以生成三维数据的二维投影，以比如生成可以与术中射线照片对准和/或叠加的匹配投影195。可选地，外科医生或操作者可以选择点或标记或表面用于术中配准196。可以使用骨骼轮廓189和/或193和其他数据、比如198、197、196来拟定用于放置椎弓根螺钉和杆199的虚拟手术计划。可选地，可以使用比如在数据分割中描述的软件来得到用于术中配准的一个或多个结构的形状200。可选地，可以为脊柱201生成患者特异性模板，如WO9325157A1中所述的。
如图17B所示，术中虚拟手术计划，成像，标志，配准，患者的虚拟和实时数据互相参照215，来自图17A的数据、比如189、193、194、195、199、200可以导入工作站中202。还可以导入患者虚拟数据，可选地包括虚拟器械数据、虚拟设备数据和/或虚拟手术计划203。光学头戴式显示器可以连接到工作站204，并且可选地显示未配准的虚拟数据204。患者可以可选地在与用于术前成像的位置相同的位置定位在手术台上205。可选择在202、203和204之前执行步骤205。可选地，可以识别一个或多个棘突或其他骨标志或皮肤参照206。可选地，可以使用比如X光或计算机断层扫描/O臂成像207来执行术中成像207。可选地，可以在棘突上进行切割，并且可以应用患者特异性标记或模板、光学标记或其他标记用于配准208和209。可以识别标志211、比如在虚拟手术计划199中所用标志，并且标志可以可选地与由术中成像或患者特异性标记或光学标记或其他标记标识的标志比如在比如使用光学头戴式显示器的情况下在共同坐标系中、或在使用坐标转移时的不同坐标系中互相参照或配准210和212。然后，可以将患者在共同坐标系、比如第一坐标系中配准213。可选地，标记可以附接到固定至脊柱和/或标志231的刚性结构。
如图17C所示，在患者标志的配准213之后继续进行术中虚拟手术计划、成像、标志、配准、虚拟和患者实时数据的互相参照215，可以将一个或多个光学头戴式显示器相对于患者或患者标志配准214，比如，使用空间映射或光学标记或导航标记或其组合或本申请中描述的任何其他配准技术。也可以将诸如锥子和钉之类的实际手术器械以及诸如椎弓根螺钉和杆的植入体配准232。可以生成二维或三维显示，其可以包括比如椎体、椎弓根、椎间关节的隐藏的表面下解剖结构、虚拟手术器械和虚拟植入体216。这些可以与患者的相应实时数据、比如椎弓根中心叠加并对准，锥子或螺钉可以在椎弓根中心放置在预定位置中216。可以生成立体显示217和非立体显示218。多个观察者可以看到使用多个光学头戴式显示器叠加的虚拟数据和实时数据，每一光学头戴式显示器以与个体观察者的实时数据的视角相匹配的观察视角显示虚拟数据216、217、218。观察者可以自由地移动他们的头部并且每一观察者佩戴的光学头戴式显示器可以使用比如附接到光学头戴式显示器的一个或多个惯性测量单元、手术部位或者患者或两者的例如房间映射、空间映射、光学标记或导航标记来保持与实时数据配准219。也可以使用比如惯性测量单元、发光二极管、光学标记或导航标记来追踪器械或植入体、比如椎弓根螺钉或杆220。可以基于头部运动或器械或设备运动或其组合比如以每秒30帧或更多帧实时调整光学头戴式显示器的显示221。外科医生可以获得椎弓根的向下的筒形视图以用于比如实时地放置比如钉或螺钉之类的工具222。可以在选择的椎弓根或多个脊柱节段上进行皮肤切割223。
如图17D所示，继续术中虚拟手术计划，成像，标志，配准，虚拟和患者实时数据的互相参照215，外科医生可以比如朝向椎弓根螺钉的入口点推进锥子224。实际或物理锥子可以与虚拟锥子对准225。其他物理器械可以与其对应的虚拟器械、或者比如预期的路径或端点对准226。可以执行连续的外科手术步骤，使物理与虚拟工具、器械或植入体对准227。可选地，物理器械的隐藏在组织内部或由组织隐藏的部分可以使用比如来自器械228的可见部分的对准信息显示在增强现实系统中的虚拟显示中。为此目的，光学标记或导航标记可以比如附接到器械上以对其进行配准并计算其隐藏部分。物理或实际椎弓根螺钉可以放置成与隐藏的表面下解剖结构比如椎弓根或虚拟椎弓根螺钉、或预期的路径或端点或其组合对准或叠加229。物理脊柱固定杆可以放置成与虚拟脊柱固定杆对准或叠加在虚拟脊柱固定杆上230；可选地，脊柱固定杆可以放置成对准杆座或椎弓根螺钉的接收或保持或附接机构的虚拟图像。为此目的，可以通过光学头戴式显示器比如围绕中心轴线或中心点放大杆座或者接收或保持或附接机构，以便于瞄准物理杆。物理杆的隐藏部分可以由光学头戴式显示器虚拟显示，可选地放大，瞄准杆座或者接收或保持或附接机构。
实施方案中描述的任何配准技术和/或技术——包括植入式和附接式标记、校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、具有图像捕获和惯性测量单元的发光二极管——可以应用于脊柱外科手术和操作。比如，在脊柱外科手术或操作中，可以将一种或多种患者特异性标记或模板比如通过小切口应用于一个或多个棘突或关节突或横突或其他脊柱结构。通过将患者特异性标记或模板应用于患者的相应结构，可以可靠地识别脊柱节段，可选地无需术中成像。此外，在由光学头戴式显示器使用可选的虚拟手术计划投射的椎弓根螺钉和相关器械或者椎体成形术或椎体后凸成形术针和套管针的轨迹或所需位置之后，可以可靠地放置椎弓根螺钉和相关器械或椎体成形术或椎体后凸成形术针和套管针及相关器械。值得注意的是，使用光学头戴式显示器以及本发明中描述的或本领域公知的其他配准和互相参照技术，也可以可靠地识别脊柱节段并且可靠地放置椎弓根螺钉、杆和相关器械和/或椎体成形术或椎体后凸成形术针和套管针。
使用光学头戴式显示器以及本发明中描述的或本领域已知的其他配准和互相参照技术，比如使用解剖标志的配准或包括光学标记或图像捕获的配准或校准体模，可选地使用光学标记或手术导航，也可以采用相同的步骤和光学头戴式显示器引导的脊柱手术。
在本发明的一些实施方案中，在已经在光学头戴式显示器引导的脊柱手术中执行一个或多个外科手术步骤之后，可以重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征可以与患者虚拟数据中的、例如为患者制定的虚拟手术计划中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配、叠加和/或配准。在手术组织改变之后，患者实时数据和患者组织和/或手术部位的包括隐藏和/或模糊部分的数字全息图的匹配、叠加和/或配准可使用与前述或说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术来执行。
髋关节置换术
实施方案中描述的任何配准技术和/或技术——包括植入式和附接式标记、校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、带图像捕获的发光二极管和惯性测量单元——可以应用于髋关节置换手术，包括表面重修、部分和全髋关节置换。光学标记和/或发光二极管和/或校准和/或参考体模和/或其他标记可以例如使用例如集成到、附接至或分离于光学头戴式显示器的光学成像系统和/或三维扫描仪来检测和/或追踪。例如，一个或多个标记，例如光学标记、导航标记、患者特异性标记或模板，可以应用于髋臼缘、髋臼内部或骨盆壁。类似地，一个或多个标记，例如光学标记、导航标记，例如红外或射频标记、患者特异性标记或模板，可以应用于大转子、小转子、股骨干或股骨颈。通过将一个或多个患者特异性标记或模板和/或光学标记应用于例如患者的相应结构，虚拟数据和实时数据可以比如用一个或多个更多光学头戴式显示器在共同坐标系中有效地互相参照和/或配准。通过相对于光学头戴式显示器配准患者特异性标记或模板和/或光学标记或者通过使用本文描述的或本领域已知的任何其他配准技术或技术，光学头戴式显示器可以显示或叠加在髋关节置换期间所用任何手术器械的期望定位、位置、定向对准和/或轨迹。比如，髋臼扩孔器可以以预定角度施加，其中扩孔器的长轴线通常匹配比如来自患者虚拟手术计划的期望的髋臼杯角、偏移、内侧或外侧位置和/或前倾和/或倾斜。
可以使用解剖结构进行配准，如髂前上棘，耻骨联合，大转子，小转子，股骨颈的前、后、内侧或外侧表面，股骨头的前、后、内侧或外侧表面，股骨干的前、后、内侧或外侧表面，髋臼前、后、上或下边缘或髋臼中心或髋关节旋转中心，髂关节线，髂骨盆线，骶骨或尾骨的前、后、内或外表面，骶骨的上表面或终板，以及髋关节和骨盆区域内的任何其他解剖结构。一个或多个患者特异性标记或模板和/或光学标记和/或导航标记可以应用于这些解剖结构中的一者或多者，并且可以例如与一个或多个光学头戴式显示器、患者和可选的手术台一起在共同坐标系中配准。可选地，可以将销或螺钉附接到或引入骨解剖结构，并且可以将一个或多个光学标记和/或导航标记和/或惯性测量单元附接到销或螺钉。
在髋关节中，一个或多个光学头戴式显示器、一个或多个虚拟数据集或虚拟数据可以在共同坐标系中配准。在髋关节中，两个相对的关节表面、例如具有相对的软骨表面和下面的软骨下骨的两个相对的关节表面可以在坐标系、例如共同坐标系中分别配准和/或可选地联合配准。第一关节表面可以位于骨盆侧，即位于髋臼上，第二关节表面可以位于股骨近端上。将例如位于髋臼侧的第一关节表面和/或相关联的骨和/或结构与第二关节表面和/或相关联的骨和/或结构在共同坐标系中分别配准可以具有以下优点：允许第一关节表面和/或相关联的骨和/或结构相对于例如位于股骨近端侧的第二关节表面和/或相关联的骨和/或结构的运动，例如弯曲和/或伸展和/或旋转和/或外展和/或内收和/或抬高和/或其他运动例如平移，同时保持第一关节表面和/或相关骨骼和/或结构(例如在髋臼侧)、和/或第二关节表面和/或相关骨骼和/或结构(例如在股骨近端侧)例如在共同坐标系或子坐标系中、例如可选地与手术室中的一个或多个光学头戴式显示器和/或固定结构、例如手术台和/或患者的例如与关节的各个部分的运动无关的其他结构或解剖标志一起的配准；前述内容适用于人体内的任何关节，例如肩、肘、腕、手指、膝关节、脚踝、脚或脚趾关节或颞下颌关节。以这种方式，髋关节或任何其他关节可以以不同的位置放置，例如屈曲、伸展、旋转、外展、内收，例如比方说在放置股骨组件期间例如20度、30度、40度或其他角度的髋关节外展的角度，以及在放置髋臼组件期间例如30度、40度或50度或其他角度的髋关节外展的角度，或者根据外科技术和外科医生的偏好用于任一组件放置的任何其他角度，同时髋臼的配准和/或股骨近端侧的配准以及任何虚拟数据——例如虚拟手术导引物、虚拟切割平面、髋臼侧和/或股骨近端侧上的虚拟植入体组件——的显示可以被保持并叠加到相应的解剖区域、例如与关节的各个部分的运动无关的用于植入体组件放置的区域，从而允许一个或多个光学头戴式显示器保持例如在正常、受损和/或患病软骨和/或软骨下骨和/或皮质骨的外部和/或内部例如以相切、相交和/或偏移的方式叠加在物理关节解剖结构的相应部分上的虚拟数据的解剖配准显示，所述物理关节解剖结构例如为关节表面，包括正常、受损和/或患病软骨和/或软骨下骨和/或皮质骨。
图18A至图18F为使用一个或多个光学头戴式显示器显示虚拟髋臼扩孔轴线并且将物理髋臼扩孔器与虚拟扩孔轴线对准以用于以预定的髋臼杯角、偏移、内侧或外侧位置和/或前倾和/或倾斜放置髋臼杯的说明性示例。图18A说明了第一外科医生比如通过光学头戴式显示器在患者暴露的髋臼280上观察到的视图。还注意到，髂前上棘281和耻骨联合282可选地用于比如使用附接的光学标记或导航标记进行配准的目的。如图18B所示，第一外科医生可以通过光学头戴式显示器看到虚拟髋臼扩孔轴线283，其可以比如根据为患者制定的虚拟手术计划以预定方式定向以实现预定的髋臼杯角、偏移、内侧或外侧位置和/或前倾和/或倾斜。如图18C所示，第一外科医生对准物理髋臼扩孔器轴284，使得其中心轴线与虚拟髋臼扩孔轴线对准或叠加，从而将扩孔器头部285以预定位置和定向放置在髋臼中，以获得预定的髋臼杯角、偏移、内侧或外侧位置和/或前倾和/或倾斜。
图18D显示了第二外科医生以其相应的视角通过光学头戴式显示器在患者暴露的髋臼280上观察到的实时数据和虚拟数据的视图。还注意到，髂前上棘281和耻骨联合282可选地用于比如使用附接的光学标记或导航标记进行配准的目的。如图18E所示，第二外科医生可以通过光学头戴式显示器看到虚拟髋臼扩孔轴线283，其可以比如根据为患者制定的虚拟手术计划以预定方式定向以实现预定的髋臼杯角、偏移、内侧或外侧位置和/或前倾和/或倾斜。虚拟髋臼扩孔轴线以与第二外科医生看到的患者实时数据的视角或视图视角相匹配的视角或视图视角来投影。如图18F所示，第二外科医生可以看到物理髋臼扩孔器轴284如何由第一外科医生对准，使得其中心轴线与虚拟髋臼扩孔轴线对准或叠加，从而将扩孔器头部285以预定位置和定向放置在髋臼中，以获得预定的髋臼杯角、偏移、内侧或外侧位置和/或前倾和/或倾斜。
因此，外科医生可以通过光学头戴式显示器查看实时数据来保持物理髋臼扩孔器；同时，光学头戴式显示器可以显示或投射相应的虚拟髋臼扩孔器的数字全息图，其中虚拟髋臼扩孔器被对准并定向成实现如在虚拟手术计划中可选地限定的期望的髋臼杯位置，比如前倾、倾斜。或者，光学头戴式显示器可以显示虚拟髋臼扩孔器的部分(比如，折线或虚线)或完整的二维或三维轮廓或一个或多个置位指示物，比如指示髋臼扩孔器的预定放置位置和定向——比如虚拟预定内侧边界或置位或位置、虚拟预定横向边界或置位或位置、虚拟预定前边界或置位或位置、虚拟预定后边界或置位或位置、虚拟预定上边界或置位或位置和/或虚拟预定下边界或置位或位置和/或虚拟预定边缘位置和/或虚拟预定中心轴线定向或位置和/或虚拟预定前倾——的线。
外科医生现在可以将物理髋臼扩孔器与虚拟髋臼扩孔器或其二维或三维轮廓或置位指示物或光学头戴式显示器显示的预定或虚拟扩孔轴线对准，以使物理髋臼扩孔器基本上与虚拟髋臼扩孔器或其二维或三维轮廓或置位指示物或虚拟扩孔轴线重迭或对准或沿其定向。光学头戴式显示器还可以指示如可选地在虚拟手术计划中定义的所需扩孔深度。可以通过光学头戴式显示器显示期望的扩孔深度，比如显示为可以推进物理扩孔器的虚拟红色边界。如果物理扩孔器的扩孔表面由于被组织(比如，软组织或骨骼)隐藏而不可见，则可以基于物理扩孔器的可见部分来估计它，并且可以可选地由光学头戴式显示器比如使用与虚拟扩孔器的显示或用于扩孔深度的虚拟“红色边界”不同的颜色显示。物理扩孔器的物理扩孔深度也可以测量，比如通过物理扩孔器上的数字刻度的图像捕获或机械数据捕获来指示扩孔深度，或者通过附加惯性测量单元或一个或多个光学标记、射频卷标或镜面反射标记用于导航到扩孔器并通过将物理测量的扩孔深度与虚拟手术计划进行比较。光学头戴式显示器可以比如利用视觉或声学信号指示何时已经实现了期望的扩孔深度。一个或多个光学标记也可以附接到髋臼扩孔器的轴上。通过测量一个或多个光学标记比如沿着扩孔器的轴在两个不同位置的两个光学标记的位置，可以使用图像或视频捕获来确定物理髋臼扩孔器的长轴线并且可以与预定的虚拟扩孔轴线进行比较以实现期望的杯放置，包括期望的偏移和/或杯角和/或前倾。
通过将一个或多个光学标记、导航标记、红外标记、射频标记、患者特异性标记、具有图像捕获和惯性测量单元的发光二极管附接或集成到髋关节置换中的扩孔器或拉刀或冲击器或髋关节、膝关节、肩部、踝部、肘部、腕部或何其他关节中的其他关节置换手术或关节镜手术中的任何其他器械或工具，例如切割块、钻头、销、研磨机、扩孔器、拉刀、冲击器、钻柱、模板或患者专用器械，可以根据器械或工具在坐标系中的位置、定位、定向、移动方向、移动速度和/或坐标来追踪它们。类似地，视频系统或三维扫描仪可用于追踪器械及其位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标。可以将被追踪器械或工具的位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标与虚拟手术计划中器械或工具的预定或预期位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标进行比较。如果器械或工具偏离预定或预期位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标，这可以在光学头戴式显示器中指示或显示。例如，如果器械或工具偏离预定或预期的位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标，则光学头戴式显示器可以显示光学警告系统、可选地颜色编码(例如红色)、或者可选地闪烁或闪光。光学头戴式显示器还可以发出声音或任何其他信号，例如振动。被追踪的器械或工具可以可选地用突出显示偏离预定或预期位置、定位、定向、移动方向、坐标系中移动速度的颜色例如红色来显示。当器械或工具处于或返回到预定或预期位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标时，或者处于预定或预期位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标的特定范围——例如1％、2％、3％、5％、10％、15％、20％、30％等，或者1度、2度、3度、5度、10度、15度、20度等，或者0.5毫米、1.0毫米、2.0毫米、3.0毫米、5.0毫米、10.0毫米、15.0毫米、20.0毫米等——内时，光学、声学或其他警告信号可以停止。可以使用任何值。可选地，系统可以测量器械或工具在预定或预期位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标之外的百分比时间。可选地，该系统可以测量与预定或预期位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标的平均偏差，例如以百分比、度数或毫米为单位。可选地，如果器械或工具偏离预定或预期位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标超过例如以百分比、度数或毫米为单位的定义百分比的时间或平均值或中间值或其他统计值，则系统可以生成警告或报告。可选地，当器械或工具处于或返回到预定或预期位置、定位、定向、移动方向、移动速度和/或坐标系中的坐标时，器械或工具的包括颜色的显示可以在光学头戴式显示器中改变，例如从红色变为绿色，或者从闪烁或闪光变为稳定或消失。
在另一个实施方案中，虚拟植入体、器械或工具与物理植入体、器械或工具的重叠或对准百分比可以数字显示的形式显示，例如10％、20％、30％、40％、50％、60％、70％、80％、90％、95％、98％、99％、100％。重叠或对准的百分比可以通过将追踪的物理植入体、器械或工具与例如虚拟手术计划中的虚拟植入体、器械或工具进行比较来计算。百分比重叠或对准可以基于坐标、植入体、器械或工具的轮廓、置位指示物、面积或体积。
通过使用比如患者的虚拟手术计划由光学头戴式显示器投射的虚拟髋臼杯或其二维或三维轮廓或置位指示物获得实质或近似实质叠加，可以放置物理髋臼杯，由此虚拟髋臼杯或其二维或三维轮廓或置位指示物显示所需的前倾和倾斜。取决于比如前部、后部或后外侧的手术入路，虚拟髋臼杯的仅与物理髋臼杯对于外科手术入路或手术部位可见的部分相对应的部分可以被显示。可选地，比如通过光学头戴式显示器以数值方式显示前倾和倾斜的物理值(例如以度数为单位的数值)，比如显示来自虚拟手术计划的患者的期望值以及基于物理杯或试杯定位、位置、定向和/或对准的物理值。如果存在视觉差异(即光学头戴式显示器显示的虚拟杯与物理杯或试杯之间的不完全叠加)或者数值差异(比如来自虚拟手术计划的虚拟杯前倾和/或倾斜与物理杯前倾和/或倾斜)，外科医生可以在撞击之前校正物理杯的定位、位置、定向和/或对准。外科医生还可以例如在撞击期间监测虚拟髋臼杯和物理髋臼杯之间的视觉对准和数值对准或差异，或者外科医生还可以监测虚拟髋臼杯和物理髋臼杯之间的数值一致或差异。
在另一个示例中，外科医生可以将髋臼放置器械470放置在暴露的髋臼窝中，如图33中的说明性示例所示。髋臼放置器械在面向髋臼窝的表面上可以具有与选择用于植入的髋臼杯或试验杯相同的形状和/或尺寸和/或半径和/或多个半径。髋臼放置器械可以在面向髋臼窝的表面上具有与患者髋臼窝的形状和/或尺寸和/或半径匹配的形状和/或尺寸和/或半径和/或多个半径。髋臼放置工具470也可以具有与髋臼杯或试验杯或患者髋臼窝相似或更小的形状和/或尺寸和/或半径和/或多个半径，如图33所示。通过将髋臼放置器械置于与患者的前、后、上和下髋臼缘472等距的视觉控制下，外科医生可以确定患者的髋臼倾斜和前倾。外科医生可以在植入假体髋臼杯的手术期间选择使用相同的杯倾斜和前倾。或者，外科医生可以选择不同的位置，例如通过髋臼放置器械的位置居中或者通过改变髋臼放置器械的前倾。
髋臼放置器械可以具有带中心轴线476的手柄474(图33中的黄线)。两个或更多个光学标记478可以集成到手柄474中或附接到手柄474上。光学标记478的位置可以通过集成到、附接至或分离于光学头戴式显示器的摄像机来检测。利用位于例如髋臼放置器械上的限定位置处的光学标记以及利用已知器械的几何结构，可以计算器械的位置和定向，包括器械面向髋臼部分的位置。可以使用更多的标记478，例如在器械上具有重叠或分开的、不同的x、y和z坐标的不同几何位置。或者，导航标记、例如红外线或射频可以与外科手术导航系统结合使用。光学标记或任何其他标记(例如发光二极管)的三维坐标由集成到、附接至光学头戴式显示器或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪使用说明书(包括示例)中描述的方法来识别。使用第一标记和第二标记的坐标，计算中心轴线和向量476，即图33中的黄线。髋臼放置器械然后可以从髋臼窝移除。外科医生可以可选地对以这种方式确定的髋臼倾斜和前倾或扩孔轴线进行调整，例如在手术室中的独立或单独的计算机上进行调整，该计算机可以容纳例如基于X光和X光模板、或者基于包括使用髋臼放置器械的测量在内的术中测值例如在术前或术中确定的虚拟手术计划。外科医生也可以使用虚拟接口来改变矢量的定向、以及髋臼倾斜和前倾以及预期的扩孔轴线。光学头戴式显示器随后可以显示预期的髋臼扩孔轴线，该轴线可以是用髋臼放置工具测量的轴线或向量，或者可以是基于用髋臼放置工具测量的轴线或向量修改或导出的轴线，或者可以是任何其他轴线，例如预定轴线或例如相对于手术台具有固定角度的轴线。
通过使用来自术前数据的患者的三维解剖信息或通过使用术中测值、比如用于确定髋关节的旋转中心或用于确定期望的前倾的光学标记，外科医生可以以这种方式更准确地操作，从而减少了对偏移或不对称衬垫的需求。
在本发明的另一个实施方案中，可以测量切除骨的尺寸和/或形状，并且该信息可以与使用光学标记、惯性测量单元、导航标记和/或校准体模获得的信息相结合。例如，在髋关节置换中，外科医生可以确定切除的股骨头的中心和切除的股骨头和股骨颈的前倾、以及颈部长度、头颈部组合长度和颈部切除角度。可以使用机械装置对切除的骨样本进行测量，这些机械装置包括但不限于尺子、卡钳和角度测量工具、以及更复杂的器械，如坐标测量机，例如法罗臂(Faro,Warwickshire,UK)。或者，光学扫描仪和激光扫描仪可用于测量切除的骨样本。代表性的扫描仪是例如Occipital,Inc.,San Francisco,CA的结构三维扫描仪。在任何测量中，例如由锯片厚度造成的切割的骨损失都可以被考虑在内。如果进行了一次以上的骨切割，例如在前髋关节置换中股骨颈的“餐巾环”切除的情况下，也可以考虑两次骨切割所损失的骨。餐巾环的尺寸和厚度也可以测量。通过以这种方式测量切除的骨，到实际手术的任何偏差，包括实际的、物理的骨切割与虚拟手术计划的偏差可以被检测到，并且可以在随后的手术步骤中进行考虑，或者通过使用不同的植入体组件、例如在髋关节置换中通过使用正或负尺寸的头部或者具有不同颈角的各种衬垫厚度或杆组件来考虑。
值得注意的是，使用光学头戴式显示器以及本发明中描述的或本领域已知的任何配准和互相参照技术，比如使用包括光学标记或图像捕获的解剖标志或配准或校准体模的配准，可选地使用光学标记或手术导航或患者特异性标记或术中成像，也可以采用相同的步骤和光学头戴式显示器引导的髋臼手术。
本文所述的配准技术和/或技术中的任一者——包括植入式和附接式标记、校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、具有图像捕获和惯性测量单元的发光二极管——可以应用于将患者的近端股骨相对于外科医生和/或助手所佩戴的一个或多个光学头戴式显示器和/或一个或多个手术器械、钉、钻、锯、扩孔器、撞击器、拉刀等和/或相对于包括金属和/或聚乙烯组件的一个或多个股骨或髋臼植入体配准。比如，通过将一个或多个光学标记和/或患者特异性标记或模板应用于大转子、小转子、股骨干或股骨颈、或股骨骨赘，虚拟和物理患者实时数据可以在股骨侧互相参照。可选地，钉或螺钉可以插入近端股骨中、比如插入大转子中，比如如果光学标记或患者特异性标记移动，则大转子可以用作对准的参考。光学标记可以选择性地连接到钉或螺钉上。可以以这种方式使用多个钉或螺钉。虚拟手术计划可包括用于特定股骨组件的期望颈部切割位置。可以设计或选择颈部切割以避免任何偏移问题并且在虚拟手术计划中保持患者的腿部长度。通过比如在共同坐标系中将与光学头戴式显示器相关的光学标记和/或患者特异性标记或模板与光学头戴式显示器、手术部位、近端股骨配准，光学头戴式显示器可以显示或叠加和/或投射数字全息图，为佩戴光学头戴式显示器的用户的左眼和右眼提供不同的视图坐标，数字全息图显示任何手术器械——包括用于执行股骨颈切割的锯——的所需或预定定位、位置、定向、对准和/或轨迹或预定平面。在使用本文所述的任何技术或技术成功配准患者的虚拟和实时数据之后，光学头戴式显示器可以显示期望的三维轨迹，包括针对股骨颈切割的x、y和Z方向上的期望位置、入口点和角度，或者光学头戴式显示器可以在手术计划中定义的定位、位置、角度方向和轨迹(比如，虚线或箭头)方面显示虚拟切割平面和/或虚拟锯或锯片的一个或多个数字全息图。然后，外科医生可以匹配物理锯，即外科医生可以定向和对准物理锯，使得它与虚拟锯对准或基本上叠加在虚拟锯上(同样参见图4A至图4C)。
或者，光学头戴式显示器可以显示虚拟锯或置位指示物的部分(比如，断线或虚线)或完整二维或三维轮廓的数字全息图，置位指示物比如为指示锯的预定放置位置和定向——比如虚拟预定内侧放置或位置、虚拟预定横向放置或位置虚拟预定前部放置或位置虚拟预定后部放置或位置、虚拟预定上部放置或位置和/或虚拟预定下部放置或位置——的线。或者，光学头戴式显示器可以显示虚拟股骨颈切割平面的数字全息图。
可选地，比如一旦已经定义了股骨颈上的入口点或者已经在光学头戴式显示器的帮助下确定了锯的期望位置、定位和/或方向，则外科医生可以将标准锯导引物应用于股骨颈以便于颈部切割。或者，光学头戴式显示器可以在其在股骨颈上的期望位置或定位中显示虚拟股骨颈锯导引物或其对应的二维或三维轮廓或置位指示物的数字全息图。然后，物理锯导引物可以与基于患者虚拟手术计划以期望位置、定向和角度放置的相应的虚拟锯导引物或其对应的二维或三维轮廓或置位指示物对准。虚拟锯导引物可具有与物理锯导引物相同或相似的形状和/或一个或多个尺寸或平面。一旦物理锯导引物基本上与虚拟锯导引物或其相应的由光学头戴式显示器显示的二维或三维轮廓或置位指示物叠加就位，则外科医生可选地将物理锯导引物固定在适当位置并执行颈部切割。通过使用利用来自术前扫描和/或术中测值(包括，配准)的患者的准确三维解剖信息、比如使用光学标记的这些方法中的一种方法来执行颈部切割，可以更准确地保留或解决腿长和偏移。
类似地，光学头戴式显示器可以投射任何虚拟股骨扩孔器和撞击器的所需定位、位置、定向和轨迹。或者，光学头戴式显示器只能显示虚拟股骨扩孔器或撞击器或置位指示物的部分(比如，折线或虚线)或完整的二维或三维轮廓，置位指示物比如为表示扩孔器或撞击器的预定放置位置和定向——比如虚拟预定内侧放置或位置、虚拟预定横向放置或位置、虚拟预定前部放置或位置、虚拟预定后部放置或位置虚拟预定上部放置或位置或虚拟预定下部放置或位置或虚拟扩孔轴线、比如穿过扩孔器轴的中心轴线——的线。光学头戴式显示器还可以显示预定虚拟扩孔和/或拉削轴线的数字全息图，其可以提供期望的股骨组件位置，包括偏移和/或前倾、比如包括用于股骨和髋臼组件的复合前倾中的一者或多者。虚拟股骨扩孔器和撞击器可以具有与物理股骨扩孔器和撞击器相同或相似的形状和尺寸。然后，外科医生可以将物理股骨扩孔器和撞击器的定位、位置、定向和轨迹(比如，虚线数据中的虚线或箭头指示的)与虚拟扩孔器和撞击器或其对应的二维或三维轮廓或置位指示物或虚拟扩孔或拉削轴线相匹配，从而减少股骨柄错位和可能不正确的股骨前倾、不正确的股骨偏移或股骨组件角度或腿长差异的可能性。在本发明的一些实施方案中，外科医生可以对准光学头戴式显示器，使得视角垂直于股骨干轴线，或者替代地垂直于股骨颈轴线。然后，光学头戴式显示器可以显示靶心或靶状结构，由此外科医生将使股骨扩孔器、撞击器、股骨试验和物理股骨组件瞄准成定位在靶心或靶标中心。光学头戴式显示器可以显示所需的入口点，比如关于切割股骨颈上的内侧或外侧、前或后位置、和/或基于虚拟手术计划、包括比如虚拟股骨组件放置的进入角度。光学头戴式显示器还可以比如通过切割的股骨颈表面上的或者与切割的股骨颈表面相关联的实线或虚线或箭头显示期望的股骨倾侧(desired femoral version)。光学头戴式显示器还可以通过以期望的虚拟位置和定向(orientation)显示股骨扩孔器、撞击器、股骨试验和最终股骨组件或它们各自的二维或三维轮廓或置位指示物的一个或多个数字全息图来显示期望的股骨倾侧、包括基于虚拟手术计划的股骨倾侧。以这种方式，外科医生可以将物理股骨扩孔器、物理撞击器、物理股骨试验和物理最终股骨组件对准成与一个或多个虚拟股骨扩孔器、虚拟撞击器、虚拟股骨试验、虚拟最终股骨组件的数字全息图基本对准或叠加，由此在期望的股骨倾侧附近实现结果，并且可选地基于虚拟手术计划实现腿部长度。
所有上述步骤和光学头戴式显示器引导的股骨手术也可以使用光学头戴式显示器与本发明中描述的或本领域已知的任何其他配准和互相参照技术一起使用，比如使用解剖标志或植入式和附接式标记、校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、具有图像捕获和惯性测量单元的发光二极管。
在本发明的一些实施方案中，超声扫描可用于导出用于设计和产生比如用于髋臼侧或股骨侧的患者特异性模板的形状信息。可选地，可以以仰卧和/或直立位置获得超声扫描。通过以直立位置获得超声扫描，可以在承重位置下获得关于股骨-髋臼对准和方向的信息，包括比如股骨或髋臼前倾、股骨/髋臼/髋屈曲、伸展、外展、内收和/或旋转。通过以仰卧位置获得超声扫描，可以在非承重位置获得关于股骨-髋臼对准和定向的信息，包括比如股骨或髋臼前倾、股骨/髋臼/髋屈曲、伸展、外展、内收和/或旋转。通过比较来自一个或多个直立超声扫描和一个或多个仰卧超声扫描的数据，比如通过比较相应解剖标志的相对运动，可以获得关于骨盆倾斜的信息。来自直立和/或仰卧扫描的信息可用于选择期望的股骨和髋臼组件，包括比如股骨颈的形状和长度、偏移股骨头组件以及髋臼组件形状，包括比如偏置的、近中的、侧向的或有边缘的髋臼组件。来自直立和/或仰卧扫描的信息可用于比如通过基于直立扫描信息或基于骨盆倾斜的信息改变预定杯位置来拟定或调整虚拟手术计划。使用仰卧和直立X光检查可以获得类似信息。
可选地，来自直立和/或仰卧图像数据的信息可用于评估关于骨盆倾斜的信息，该信息又可被引入手术计划和组件选择中以避免或最小化诸如组件错位的术后并发症的风险。
因此，通过使用本发明的不同实施方案进行髋关节置换，外科医生可以高精度地进行手术，从而减少髋关节置换中常见并发症、比如导致髋部脱位或腿长差异的偏移误差或错误髋臼或股骨前倾的可能性。选择性地，光学头戴式显示器还可以显示敏感的血管或神经结构，从而降低血管损伤或比如坐骨神经损伤的可能性。
在本发明的一些实施方案中，在光学头戴式显示器引导的髋关节置换手术中执行一个或多个外科手术步骤之后，可以重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征可以与患者虚拟数据中的、例如为患者制定的虚拟手术计划中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术来执行。比如，可以使用切割的骨表面来执行重新配准，比如，使用表面形状、表面区域或周边或其他特征、可选地用图像捕获或机械或物理探针测量的表面形状、表面区域或周边或其他特征重新配准切割股骨颈，以在执行后续外科手术步骤——比如对股管进行扩孔、铣削或撞击以放置股骨组件——之前匹配、叠加和/或配准患者实时数据和患者虚拟数据。比如，可以使用铣削的骨表面比如铣削髋臼且使用表面形状、表面区域或周边或其他特征、可选地用图像捕获或机械或物理探针测量的表面形状、表面区域或周边或其他特征来执行重新配准，以在执行后续手术步骤、比如放置包括试验组件的髋臼组件之前匹配、叠加和/或者配准患者实时数据和患者虚拟数据。
图39是说明性的、非限制性的示例性流程图，其展示了一些前述示例和实施方案以及附加的示例和实施方案。在步骤700中，例如在光学头戴式显示器或独立的计算机监视器上显示一个或多个骨盆X光，以用于股骨和/或髋臼组件的模板和/或尺寸确定。可选地，X光可以在患者仰卧和/或直立位置获得。在步骤702中，患者例如以中性位置或任何其他位置被定位在手术台上。可选地，腿可以定位在获得例如用于模板和尺寸确定的X光时的相同位置。例如，这可能有助于股骨颈切割的计划和实施。在步骤704中，股骨和/或髋臼尺寸和对准数据、例如来自X光和模板的数据可以被导入光学头戴式显示器系统。可选地，模板和/或尺寸确定可以在横截面影像学检查、例如计算机断层扫描或磁共振扫描中执行，或者可以使用EOS或类似系统(EOS,Paris,France)的直立成像来获得。该系统可以包括OHMD显示器单元、一个或多个处理器或计算机芯片、软件、存储器(例如随机存取存储器)、传感器(例如深度传感器或声音传感器)和/或一个或多个摄像头。可选地，数据也可以驻留或导入手术室中或手术室外的独立计算机(例如PC机)或服务器，并且可选地计算密集型步骤，例如通过用户接口(例如图形用户接口、声学接口、光学接口、虚拟接口、手势识别接口或本领域已知的任何其他接口)在患者的物理关节上虚拟地移动、配合、调整、对准植入体组件，可以发生在独立计算机或服务器上；或者，它们可以发生在光学头戴式显示器或光学头戴式显示器共享计算和处理器能力和容量的网络上。在步骤706中，外科医生可以进行切开、暴露、囊切开术，并对股骨颈和近端股骨进行探查。在步骤708中，外科医生可以选择性地识别沟点，例如大转子和股骨颈之间的最低点。沟或任何其他点或解剖标志可以可选地被标记有例如光学标记、导航标记、例如红外或射频标记、指针，例如被标记有一个或多个光学标记和/或一个或多个导航标记、螺钉和发光二极管标记和/或墨汁或本领域已知的任何其他标记。在步骤710中，外科医生可以识别近端股骨上的附加点，例如大转子上的最高点或多个点、小转子上的最高点或最低点或多个点、股骨颈上的一个或多个点、股骨干上的一个或多个点、股骨头上的一个或多个点、骨赘上的一个或多个点。这些点可用于虚拟数据和物理数据的配准。这些点可用于生成点云，例如用于虚拟数据的表面匹配，例如术前超声、计算机断层扫描或磁共振扫描、以及股骨近端和类似的髋臼、髋臼缘和髂骨或耻骨上的物理表面。在步骤712中，一个或多个前述点例如沟点或任何其他点、或者一个或多个点云或表面可以用于计算股骨颈切口。例如，可以在术中在活体手术部位(例如暴露的股骨颈、大转子或小转子)以及在术前或术中的影像学检查(例如X光、计算机断层扫描、磁共振成像或超声波扫描)中识别相应的点。例如，大转子和小转子上的最高点可以在术中在患者的物理关节或骨骼上以及在术前或术中的影像学检查中识别。如果影像学检查例如X光是二维的，则第一平面可以被定义为与这两个点相交，并且例如相对于手术台是正交的或处于定义的角度。由于股骨颈切割平面可以被可视化为模板软件和显示的一部分，所以可以确定第一平面到股骨颈切割平面的角度和距离。考虑到X光放大，在影像学检查中识别的第一平面和股骨颈切割平面之间的角度和距离可以应用于第一平面，在该示例中，该平面与大转子和小转子相交，并且可以计算虚拟股骨颈切割平面以投影到患者的物理近端股骨上。然后，一个或多个光学头戴式显示器可以将股骨颈切割平面投影到手术部位，例如本例中未切割的近端股骨。股骨颈切割平面可以定向成垂直于冠状面或手术台；股骨颈切割平面可以相对于冠状平面或手术台成任何其他角度，这例如取决于手术方法(例如前侧对后侧对后侧)、或外科医生的偏好。如果例如在具有两个股骨颈切口的前髋关节置换中使用餐巾环切割方法，则光学头戴式显示器可以选择性地投影两个股骨颈切口。可选地，股骨颈切割工具或虚拟股骨颈切割工具的轮廓可以由光学头戴式显示器显示。在步骤714中，外科医生可以通过任选切除髋臼唇、枕叶、脂肪、骨赘来移除股骨头来进行一次或多次股骨颈切割并暴露髋臼。在步骤716中，可以定义髋臼的中心。可以使用部分或全半径髋臼放置，例如具有例如X光上的患者髋臼半径的1/2或2/3或1/1、和/或植入体和可选的中心杆/扩展器的半径，如果放置工具基本上放置在患者髋臼的中心，则中心杆/扩展器指示髋臼的中心和/或前倾。中心杆或扩展器可以包括一个或多个光学标记或导航标记或发光二极管或其他标记。替代地或附加地，可以通过计算机处理器执行直接图像捕获和图像分析，以识别髋臼的中心。为此，图像捕获设备或系统、例如摄像机可以在共同坐标系中配准、例如与患者和/或一个或多个光学头戴式显示器配准。在一些实施方案中，也可以例如利用也在共同坐标系中配准的激光或三维扫描仪获得髋臼的激光扫描或三维扫描。机械探针、例如带有附加射频标记的指针探针、用于导航的红外标记、光学标记、发光二极管和/或惯性测量单元可以用于确定髋臼上的一个或多个点，并且例如生成点云。这些点可用于识别髋臼的几何中心。可选地，髋臼的中心可以例如通过向内侧或外侧移动部分髋臼放置工具、或者通过移动髋臼的中心以便在点云上向内侧或外侧扩孔和/或冲击并且随后在一个或多个OHMD显示器中对扩孔器和/或冲击器进行居中或侧向化引导来居中或侧向化。或者，髋臼杯及其髋臼中心可以例如使用计算机显示器或光学头戴式显示器在图形用户接口上向内侧或外侧移动，并且虚拟手术计划可以利用新的、调整后的内侧或外侧中心。在步骤718中，外科医生可以例如通过使用由一个或多个光学头戴式显示器投影到髋臼上的X光和/或术中物理试验和/或术中虚拟试验组件来选择髋臼组件。在步骤720中，髋关节的旋转中心可以例如使用例如使用部分或全半径髋臼放置工具测量的、通过估计或确定边缘位置测量的、或者基于所选择的髋臼组件导出的、或者从在正位和/或蛙腿式射线照片上测量的股骨头半径/股骨头中心导出的、或者在患者的切除股骨头上测量的患者髋臼的中心来确定。在步骤722中，可以测量切除的股骨头和颈部，以确定例如股骨前倾和/或偏置。测量结果可用于调整扩孔或拉孔或植入体组件、例如股骨组件或包括头部偏移的头部组件的选择，以及针对欠切除或过切除调整扩孔或拉孔和/或植入体组件。可选地，锯片厚度可以在计算和调整中考虑。可选地，在计算和调整中可以考虑预先存在的腿长度差异及其可选的矫正。在步骤724中，外科医生、软件和/或系统可以检查髋臼组件和髋臼衬垫的组合是否保持旋转中心；可选地，可以选择不同的衬垫，或者可以修改或改变虚拟手术计划和/或物理手术计划。在步骤726中，外科医生、软件和/或系统可以检查旋转中心是否被保持以选择杯的内侧化或侧向化，这可以例如在扩孔或冲击期间执行；可选地，可以选择不同的衬垫，或者可以修改或改变虚拟手术计划和/或物理手术计划。在步骤728中，可选地，可以例如基于术前X光或影像学检查或基于术中发现在虚拟手术计划中确定期望的或预定的扩孔深度。在步骤730中，髋臼组件中心轴线和/或髋臼组件扩孔轴线可以投影到髋臼表面和手术部位表面上。髋臼组件中心轴线和/或髋臼组件扩孔轴线可以考虑预定的前倾，例如来自术前影像学检查、例如计算机断层扫描或一个或多个X光片的预定的前倾。髋臼组件中心轴线和/或髋臼组件扩孔轴线可以考虑所需的内侧化或外侧化和/或偏移。可选地，光学头戴式显示器可以显示投影到髋臼表面以及髋臼表面下方的术前或术中影像学检查。影像学检查可以是例如通过髋臼的前部、中部、后部、中部或侧部投射的、可选地与相应的解剖结构、例如髋臼缘或边缘或髂前下棘配准的X光。X光可以平行于手术台投影，或者平行于患者的冠状面或患者的任何其他平面，或者它/它们可以与手术台或患者的冠状面或患者的任何其他平面垂直或者成任何其他定义的角度。可选地，可以显示体积数据，例如来自计算机断层扫描或磁共振成像扫描的体积数据。体积数据可以被配准到物理患者的相应标志和/或表面，例如髋臼缘或边缘、髋臼关节表面、髂翼表面、耻骨联合等。通过显示叠加在患者的实时物理解剖结构上的影像学检查、可选地多个二维或三维影像学检查，光学头戴式显示器可以便于显示底层骨储备以及隐藏结构，例如神经、神经根或血管结构。因此，成像数据的OHMD显示可用于指导任何涉及骨去除的步骤例如扩孔或拉削的方向、速度和深度。以这种方式，OHMD显示器可以促进手术过程，确保髋臼窝不会发生过度扩孔，因为可以显示下面的骨储备。影像学检查和/或下面的骨储备、和/或髋臼组件中心轴线和/或髋臼组件扩孔轴线可以同时显示，从而便于扩孔器或其他手术器械的引导和扩孔深度的确定。可选地，髋臼组件中心轴线和/或髋臼组件扩孔轴线可以显示在髋臼表面上和髋臼表面下方，例如延伸到光学头戴式显示器显示的一个或多个影像学检查中。可选地，可以使用一个或多个术前或术中影像学检查例如使用图形用户接口或虚拟或其他接口来确定预定的扩孔深度，其可以可选地显示、例如以物理扩孔器的虚拟止挡的形式显示。虚拟止挡可以是虚拟指示物，其显示外科医生可以推进扩孔器的相应物理部分多远以达到预定扩孔深度。在步骤732中，外科医生可以例如通过将物理扩孔器与投影虚拟扩孔轴线或投影虚拟扩孔器对准来对髋臼扩孔。在步骤734中，可以显示预期的或预定的虚拟髋臼扩孔深度，并且可以推进物理扩孔器，直到物理扩孔器的相应物理部分达到虚拟扩孔深度参考。可选地或附加地，光学头戴式显示器还可以显示影像学检查，例如向患者配准以显示下面的骨储备，使得外科医生可以在推进扩孔器的同时监测剩余的骨储备。扩孔器可以例如使用光学标记、导航标记、视频系统或三维扫描仪来追踪，并且扩孔器的位置、例如x、y、z坐标和已知的几何结构可以用来确定扩孔器已经前进到骨骼中多远。该信息又可用于通过从整个髋臼骨储备中减去扩孔器前进量、例如从关节表面行进到骨中的距离来计算或显示例如髋臼壁中的残余骨储备，例如以毫米或立方毫米为单位。在步骤736中，可选地，髋臼撞击轴线可以由光学头戴式显示器投影。髋臼撞击轴线、髋臼组件中心轴线和/或髋臼组件扩孔轴线可以相同。在步骤738中，髋臼组件可以例如通过将冲击器与髋臼组件冲击或扩孔轴线对准来冲击。在步骤740中，可选地，例如在扩孔或拉削之前，可以确定患者股骨干的身体部位和/或定向的位置。为此，例如具有附接的光学标记或导航标记的例如放置在近端股骨中的螺钉可以用于例如在颈部切除的水平确定近端股骨的位置、定向和/或坐标。在步骤742中，对于给定的股骨干位置和/或定向以及期望的股骨干放置，光学头戴式显示器可以投射用于盒式骨刀的预定虚拟入口或入口、例如入口框的虚拟置位指示物、例如轮廓。虚拟进入或置位指示物可以有助于引导到例如扩孔器或拉刀的内侧或侧面位置。或者，可以使用钻头代替盒式骨刀。在步骤744中，光学头戴式显示器可以可选地投影一个或多个拉刀的长轴线。然后，物理拉刀可以与光学头戴式显示器投影的虚拟拉刀轴线对准。可选地，物理拉刀可以包括例如来自拉刀手柄的延伸件；可选地，光学头戴式显示器可以显示物理延伸件可以与之对准的一个或多个虚拟延伸件。在步骤746中，可以进行股骨拉削。在步骤748中，例如对于标准的或不同的偏移，或不同的股骨柄或颈构型，可以进行可选的试验复位。在步骤750中，可以进行股骨柄组件撞击。前述顺序或次序可以根据外科医生的偏好进行修改。序列或顺序可以根据前后入路进行修改。可以根据外科医生的偏好添加或省略选择的步骤。可以根据前后入路增加或省略选择的步骤。骨盆倾斜、骨盆发病率和骶骨倾斜度可以引入虚拟手术计划。除仰卧位骨盆X光外，还可以使用直立骨盆X光。在优选实施方案中，附加的X光视图、例如侧视图或骶骨视图也可以用于提供附加信息。骨盆倾斜、骨盆发病率和/或骶骨倾斜度可以在仰卧位和直立位X光上测量。仰卧位和直立位X光之间的骨盆倾斜的差异可以例如用于例如通过改变髋臼和/或股骨前倾和/或偏移来修改虚拟手术计划。当骨盆的正面(例如正位)X光用于仰卧位和直立位时，骨盆位置的变化(例如髋臼轮廓、椭圆宽度、倾角、闭孔形状和尺寸的变化)可以应用于骨盆的标准模型，该标准模型可以可选地使用从一个或多个X光获得的统计模型和患者标志来变形，以便估计仰卧位和直立位之间骨盆倾斜的差异。
部分或全部膝关节置换
对于膝关节置换，存在一般的对准和定向建议，其中一些已在综述中进行了总结(Gromov et al.Acta Orthop 2014,85,5,480-487)：中性整体冠状面对准目前是黄金标准，并且可以针对腿的中性机械轴线或2-7°外翻解剖胫骨股骨轴线。股骨组件可以放置在相对于股骨解剖轴线的2-8°(比如，2°、3°、4°、5°、6°、7°、8°、2-3°、2°-4°、2-5°、2-6°、2-7°、2-8°、3-4°、3-5°、3-6°、3-7°、3-8°、4-5°、5-6°、5-7°、5-8°、6-7°、6-8°、7-8°)冠状外翻位置并且应避免植入体组件悬垂在骨骼上的距离大于3毫米。胫骨组件可以以最大骨覆盖范围和最小(如果有的话)植入体组件悬垂放置在中性冠状面对准(90°)。在矢状平面中，股骨组件可以以0-3°(比如，0°、1°、2°、3°、0-1°、0-2°、0-3°1-2°1-3°、2-3°)屈曲放置，胫骨斜度可以是0-7°(比如，0°、1°、2°、3°、4°、5°、6°、7°、0-1°、0-2°、0-3°、0-4°、0-5°、0-6°、0-7°、1-2°、1-3°、1-4°、1-5°、1-6°、1-7°、2-3°、2-4°、2-5°、2-6°、2-7°、3-4°、3-5°、3-6°、3-7°、4-5°、4-6°、4-7°、5-6°、5-7°、6-7°)。应避免股骨组件内旋，因为股骨组件应相对于手术经胫骨轴线置于外旋2-5°(比如，2°、3°、4°、5°、2-3°、2-4°、2-5°、3-4°、3-5°、4-5°)。还应避免相对于胫骨的中性横轴线，胫骨结节轴线以及结合的内部胫骨股骨旋转的过度胫骨旋转。
实施方案中描述的任何配准技术和/或工艺可以应用于膝关节置换，例如表面重修、部分和全部膝关节置换手术，包括可植入和可附接的标记、校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、具有图像捕获(例如使用例如集成到、附接至或分离于光学头戴式显示器的光学成像系统和/或三维扫描仪)的发光二极管、和惯性测量单元。比如，可以将一个或多个光学标记和/或患者特异性标记或模板或其他标记和/或发光二极管和/或惯性测量单元或其组合应用于远端股骨，比如远端前皮质和/或上滑车，可选地与具有的任何骨赘一起。类似地，可以将一个或多个光学标记和/或患者特异性标记或模板或其他标记和/或发光二极管和/或惯性测量单元或其组合比如在胫骨坪区域应用于近端胫骨，比如胫骨前部皮质，可选地与具有的任何骨赘或胫骨脊柱一起。可以将一个或多个光学标记和/或患者特异性标记或模板或其他标记和/或发光二极管和/或惯性测量单元或其组合应用于近端胫骨，比如胫骨前部皮质。通过将一个或多个光学标记和/或患者特异性标记或模板或任何其他配准技术——包括植入式和附接式标记、校准和配准体模、导航标记、红外标记、射频标记、带图像捕获的发光二极管和惯性测量单元——置于患者的相应结构，虚拟数据、比如从术前成像得出的虚拟数据和实时数据可以为膝关节置换手术有效地互相参照，并且可以在共同坐标系中配准，比如与由外科医生和其手术助手和护士穿戴的一个或多个光学头戴式显示器配准。通过相对于光学头戴式显示器配准光学标记和/或患者特异性标记或模板，光学头戴式显示器可以显示或叠加膝关节置换期间所用的任何手术器械的期望定位、位置、定向、对准和/或轴线和/或轨迹。
患者的关节、一个或多个光学头戴式显示器、一个或多个虚拟数据集或虚拟数据可以在共同坐标系中配准。在膝关节中，两个或更多个相对的关节表面、例如具有相对的软骨表面和下面的软骨下骨可以分别和/或可选地在坐标系(例如共同坐标系)中联合配准。第一关节表面可以位于股骨远端，第二关节表面可以位于胫骨近端，第三关节表面可以位于髌骨上。将第一关节表面和/或相关联的骨和/或结构与第二关节表面和/或相关联的骨和/或结构分别配准可以具有以下优点：允许第一关节表面和/或相关联的骨和/或结构(例如股骨远端)相对于第二关节表面和/或相关骨骼和/或结构(例如胫骨近端)的运动，例如弯曲和/或伸展和/或旋转和/或外展和/或内收和/或抬高和/或其他运动例如平移，同时保持第一关节表面和/或相关骨骼和/或结构(例如在股骨远端)、和/或第二关节表面和/或相关骨骼和/或结构(例如在胫骨近端)例如在共同坐标系或子坐标系中、可选地与手术室中的一个或多个光学头戴式显示器和/或固定结构、例如手术台和/或患者的例如与关节的各个部分的运动无关的其他结构或解剖标志一起的配准。以这种方式，膝关节可以以不同的位置被放置，例如屈曲、伸展、旋转、外展、内收，例如比方说在放置股骨组件期间例如90度、100度、110度、120度的膝关节屈曲的角度，以及在放置胫骨组件期间例如60度、70度、80度或其他角度的膝关节屈曲的角度，同时远端股骨的配准和/或近端胫骨的配准以及任何虚拟数据——例如虚拟手术导引物、虚拟切割平面、远端股骨和/或近端胫骨上的虚拟植入体组件——的显示可以被保持并叠加到相应的解剖区域、例如与关节的各个部分的运动无关的用于植入体组件放置的区域，从而允许一个或多个光学头戴式显示器保持例如在正常、受损和/或患病软骨和/或软骨下骨和/或皮质骨的外部和/或内部例如以相切、相交和/或偏移的方式叠加在物理关节解剖结构的相应部分上的虚拟数据的解剖配准显示，所述物理关节解剖结构例如为关节表面，包括正常、受损和/或患病软骨和/或软骨下骨和/或皮质骨。
在本发明的一些实施方案中，超声扫描可用于获得远端股骨和/或近端胫骨和/或髌骨的形状信息，以比如用于设计、选择或制造患者特异性标记或模板。比如，附接到保持装置、支架三脚架等的手持超声波或超声探针可用于对股骨的远端前皮质和上滑车进行成像、可选地与具有的任何骨赘一起成像。然后，超声装置可选地用于对近端胫骨、比如位于比如胫骨坪区域中的胫骨前部皮质进行成像、可选地与具有的任何骨赘一起成像。然后，超声装置可用于可选地对髌骨比如髌骨表面、整个髌骨或部分髌骨(比如上极或下极、内侧或外侧边缘)进行成像、可选地与具有的任何骨赘一起成像。可选地，可以对超声数据进行分割。比如，可以得到骨形状和/或软骨形状以及任选的半月板形状(如果存在的话)。此外，有关韧带位置和/或形态测量的信息——包括但不限于原点、插入、位置、长度、膝关节屈曲、伸展、旋转、内侧副韧带、外侧副韧带、前十字韧带、后十字韧带、髌股韧带或肌腱和股四头肌插入——也可选地用超声波捕获。
在一些实施方案中，从超声数据导出的形状信息可选地用于设计、选择和/或制造患者特异性标记或模板，比如适合于患者远端前皮质和股骨上滑车——可选地与具有的任何骨赘一起——的一个标记或模板；或者适合于患者的近端胫骨、比如位于比如在胫骨坪区域的前部胫骨皮质——可选地与具有的任何骨赘一起——的一个标记或模板；或者适合于患者的髌骨比如髌骨表面、整个髌骨或部分髌骨(比如，上极或下极、内侧或外侧边缘)、可选地与具有的任何骨赘一起——的一个或多个标记或模板。
可选地，超声探针还可以用于对患者髋关节的部分成像，以比如识别髋关节的中心。可选地，超声探针还可以用于对患者踝关节的部分进行成像，以比如识别踝榫或踝关节的中心或者冠状平面上的踝关节的1/3或2/3等距离，或选择内侧或外侧踝榫的半径或距离。
可选地，以仰卧或直立位置获得膝关节、可选的髋部和可选的踝关节的超声扫描。通过以直立位置获得超声扫描或扫描，可选地可获得关于机械轴线对准的更准确信息、特别是在承重期间关于机械轴线对准的更准确信息。比如，在承重条件下，膝关节的内翻或外翻畸形可能更明显。在承重条件下使用机械轴线信息校正内翻或外翻畸形可以比基于非承重信息校正内翻或外翻畸形更准确。在规划任何所需的机械轴线校正时，此信息可能是有益的。
可选地，在执行髋部扫描和/或踝部扫描以及可选的膝部扫描时比如使用具有图像捕获或视频捕获的光学标记、反射标记、红外标记或射频标记或与外科手术导航系统结合使用其他追踪装置、或者比如使用集成到、附接至、耦合至或分离于光学头戴式显示器的图像捕获、或者使用一个或多个惯性测量单元来捕获超声探针的位置。通过以这种方式对髋关节和踝关节以及可选的膝关节进行成像并且通过在超声扫描期间使用一个或多个附接标记捕获超声探针位置和方向的信息，可以得到关于患者腿和膝关节的解剖轴线和/或机械轴线的信息。
在一些实施方案中，比如远端股骨、近端胫骨和/或髌骨的来自超声波的信息可以与来自另一种成像模式——比如，磁共振、计算机断层扫描或X光——的信息组合或融合。X光可包括俯卧、仰卧非承重位置或站立承重位置的X光。X光可以仅限于膝关节。可以在膝关节的不同姿势——比如，伸展和不同的弯曲角度、承重或非承重——中获得X光。比如，屈曲/伸展X光可用于获得关于膝关节旋转轴线、比如上髁或滑车轴线的信息。X光还可以包括下肢或整个下肢的其他部分，比如在承重位置的腿部的站立全长X光。在承重位置的腿部的站立全长X光可用于识别髋关节的中心以及踝部榫眼，以比如估计或导出膝关节的机械轴线和/或解剖轴线。在一些实施方案中，从X光获得的膝关节的机械轴线和/或解剖轴线和/或旋转轴线信息可以包括在从超声得到的患者特异性标记或模板中。比如，患者特异性标记的患者特异性超声衍生表面可以调整到患者的选定解剖区域，比如包括部分上滑车或比如位于胫骨坪区域中的前部胫骨皮质的远端股骨。患者特异性标记或模板的一个或多个面向外的表面可具有标准形状，并且可选地包括标记或指示物以显示患者膝关节的解剖轴线、患者膝关节的机械轴线、在手术之后期望的比如在可选的虚拟手术计划中所定义的患者膝关节的新机械轴线、和/或患者的膝关节旋转轴线和/或在外科手术之后期望的比如在可选的虚拟手术计划中所定义的患者膝关节的新旋转轴线。然后，可以在手术期间可选地使用这些外部标记或指示物(包括光学标记)以确认比如期望的机械轴线校正或旋转轴线校正或其组合。附接至、集成到、耦合至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪可以可选地用于使用例如患者特定标记或模板上的一个或多个光学标记或指示物来识别这种校正，并且可选地将它们与虚拟手术计划进行比较。可以识别与虚拟手术计划的任何偏差或差异，并且外科医生或操作者可选地比如使用额外的韧带松解、骨切割或不同的植入体组件——包括比如不同的内侧、外侧或综合插入高度、插入形状、间隔物和增强物——执行对手术技术的修改。
在一些实施方案中，可以在手术期间检查光学标记或患者特异性标记的放置的准确性。比如，在膝关节置换中，光学标记或患者特异性标记可以放置在远端股骨或近端胫骨或其组合上。视觉或光学标记、比如发光二极管或激光可以比如通过向髋部和/或踝部的中心投射箭头或光束来指示患者的机械轴线。或者，机械标记、比如指向髋部的股骨对准杆或指向踝部的胫骨对准杆可用于指示使用光学标记或患者特异性标记确定的患者机械轴线。股骨和/或胫骨对准杆可以是集成到、附接至或物理或视觉上可链接至光学标记或患者特异性标记。一个或多个光学标记可以集成到股骨和/或胫骨对准杆中或附接至股骨和/或胫骨对准杆。
然后，可以使用术中X光或术中超声或术中计算机断层扫描来确定手术台上的活体患者的髋部的物理中心和/或踝的物理中心、以及可选的在进行任何校正之前患者的物理机械轴线。如果来自光学标记或患者特异性标记的投射机械轴线与髋部的物理中心和/或踝部的物理中心重合，则来自光学标记或患者特异性标记的放置或信息是准确的。如果来自光学标记和/或患者特异性标记的投射机械轴线与髋部的物理中心和/或踝部的物理中心不一致，则光学标记和/或患者特异性标记没有被准确放置并且可以重新定位。髋部和/或踝部的物理和投射中心之间的差异程度或量可用于确定所需放置的校正量。或者，光学标记和/或患者特异性标记可保留在适当位置；然而，校正可以应用于任何后续配准，其中校正基于髋部和/或踝部的物理中心(来自术中影像学检查)和投影中心(来自光学标记和/或患者特异性标记)之间的差异程度或量。本领域技术人员可以认识到，这些类型的放置或校正的校正可以应用于其他测量，比如旋转轴线和其他关节。
一旦已经执行了对光学标记和/或患者特定标记的放置误差的任何校正(如果适用的话)，可以执行预期的轴线校正，比如患者的畸形机械轴线或旋转轴线或两者的校正。
股骨
在本发明的一些实施方案中，一旦使用本发明中描述的任何技术和/或本发明中描述的或本领域已知的任何其他配准技术(包括植入式和附接式标记、校准和配准体模(包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、带有图像捕获的发光二极管和惯性测量单元))来配准股骨，则光学头戴式显示器可显示用于执行远端股骨切割的虚拟远端股骨切割块。
图19A至图19D提供了使用虚拟手术导引物(比如，由光学头戴式显示器显示的远端股骨切割块)和物理手术导引物(比如，物理远端股骨切割块)的说明性非限制性示例。图19A显示了在膝关节置换手术期间暴露的远端股骨300、内侧髁301、外侧髁302和滑车303的患者实时数据。如图19B所示，一个或多个光学头戴式显示器可以显示虚拟远端股骨切割块，比如对于外科医生的左眼和右眼以立体方式显示虚拟远端股骨切割块，从而创建虚拟手术导引物、即虚拟远端切割块的电子全息图形式。在该示例中，虚拟远端股骨切割块304是物理远端股骨切割块的轮廓，其具有与物理远端股骨切割块的尺寸基本相似的尺寸。虚拟远端股骨切割块304至少部分地基于用于引导远端股骨切割的预定位置的坐标对准，以比如用于实现相对于远端股骨以及比如远端股骨的解剖学或生物力学轴线的预定内翻或外翻矫正和/或预定股骨组件屈曲。如图19C所示，物理手术导引物305、即该示例中的物理远端股骨切割块305(实线)可以移动和对准成与虚拟手术导引物304、叠加即该示例中的虚拟远端股骨切割块304(虚线)基本叠加或对准。由物理远端股骨切割块305遮挡或隐藏的膝关节306的隐藏区域也可选地由光学头戴式显示器显示。如图19D所示，物理远端股骨切割块305可以使用两个钉307附接到远端股骨。这些钉307可用于随后的外科手术步骤，以比如用于参考屈曲间隙或延伸间隙或用于韧带平衡。光学头戴式显示器可以停止显示虚拟手术导引物、即该示例中的虚拟远端股骨切割块，但是可选地继续显示隐藏的解剖结构306。
虚拟远端股骨切割块可具有与物理远端股骨切割块相同或相似的形状和一个或多个尺寸以及一个或多个平面。或者，光学头戴式显示器仅显示虚拟远端股骨切割块的部分(比如，折线或虚线)或完整的二维或三维轮廓或置位指示物，比如指示远端股骨切割块的预定放置位置和定向——比如虚拟预定内侧边界或置位或位置、虚拟预定横向边界或置位或位置、虚拟预定前边界或置位或位置、虚拟预定后边界或置位或位置、虚拟预定上边界或置位或位置和/或虚拟预定下边界或置位或位置——的线。在虚拟手术计划中，远端股骨切割通常垂直于股骨的机械轴线以恢复机械轴线对准，除非外科医生希望保持轻度内翻畸形，比如部分或者一些全膝关节置换的情况可能如此，或者除非外科医生使用不同的对准方法、比如运动学对准，或者除非外科医生希望为患者保持一定量的预先存在的内翻或外翻对准。然后，外科医生可以采取物理远端股骨切割块并且基本上将物理远端股骨切割块与由光学头戴式显示器显示的虚拟远端股骨切割块或其二维或三维轮廓或其置位指示物对准或叠加。一旦物理远端股骨切割块与由光学头戴式显示器基于患者的虚拟手术计划显示的虚拟远端股骨切割块或其二维或三维轮廓或其置物指示物进行充分对准或叠加，则外科医生可以将物理远端股骨切块固定或附接到骨骼并进行切割。通过利用术前三维数据信息或术中测值或两者的组合，在光学头戴式显示器的辅助下对准物理远端股骨切割块，外科医生可以精确地执行远端股骨切割，而无需髓内杆或患者专用器械来进行切割。或者，光学头戴式显示器可以显示对应于远端股骨切割的虚拟切割平面的数字全息图，并且外科医生可以将锯片与虚拟远端股骨切割平面的数字全息图对准。
可选地，光学头戴式显示器可以显示虚拟股骨对准杆或其置位指示物(例如，指示可以从股骨远端延伸到髋关节的对准杆的中心轴线)的数字全息图。外科医生可以比较虚拟股骨对准杆或置位指示物与活体患者体内的物理股骨对准杆的对准，并评估两者是否与活体患者的髋关节中心对准。如果虚拟(包括置位指示物)和物理股骨对准杆没有彼此对准和/或与髋关节的中心对准，则外科医生可以检查活体患者体内物理对准杆的对准精度、患者实时数据与患者虚拟数据的配准准确性和/或虚拟手术计划的准确性。然后，外科医生可以选择性地调整实时患者、配准或虚拟手术计划中的物理对准杆的对准。
然后，外科医生可以比如选择在光学头戴式显示器中显示或投影虚拟股骨正位切割块的数字全息图。虚拟股骨正位切割块可以具有与物理股骨正位切割块相同或相似的形状和尺寸。光学头戴式显示器可以显示虚拟股骨正位切割块或虚拟远端股骨切割块或置位指示物的部分(比如，折线或虚线)或完整的二维或三维轮廓，置位指示物比如为指示正位股骨切割块的预定放置位置和定向——比如虚拟预定内侧边界或置位或位置、虚拟预定横向边界或置位或位置、虚拟预定前边界或置位或位置、虚拟预定后边界或置位或位置、虚拟预定上边界或置位或位置和/或虚拟预定的下边界或置位或位置——的平面或线。虚拟手术计划可包括虚拟股骨正位切割块的预定位置和旋转。股骨正位切割块的旋转可以确定所产生的股骨前后切割相对于例如股骨旋转轴线或其他轴线或解剖标志的旋转，并且由此可以确定股骨组件植入体的旋转。光学头戴式显示器可以显示虚拟股骨正位切割块或其二维或三维轮廓或一个或多个置位指示物。
图20A至图20C提供了使用虚拟手术导引物(比如，由光学头戴式显示器显示的正位股骨切割块)和物理手术导引物(比如，用于膝关节置换的物理正位切割块)的说明性非限制性示例。图20A显示了在远端股骨切割之后在膝关节置换手术期间暴露的远端股骨300的患者实时数据，远端股骨切割产生平面远端表面310、内侧髁301、外侧髁302和滑车303。如图20B所示，一个或多个光学头戴式显示器可以显示虚拟股骨正位切割块312，比如对于外科医生的左眼和右眼以立体方式显示虚拟股骨正位切割块312，从而创建虚拟手术导引物、即虚拟股骨正位切割块312的电子或数字全息图形式。在该示例中，虚拟股骨正位切割块312是物理股骨正位切割块的轮廓，其具有与物理股骨正位切割块类似的尺寸、边缘或平面。虚拟股骨正位切割块312至少部分地基于用于引导不同的骨切割(比如取决于物理股骨正位切割块的构造的前切割、后切割和/或倒角切割)的预定位置的坐标来对准，以比如用于实现预定的股骨组件旋转。如图20C所示，物理手术导引物314、即该示例中的物理股骨正位切割块314(实线)可以移动和对准成与虚拟手术导引物312、叠加即该示例中的虚拟股骨正位切割块312(虚线)基本叠加或对准。可以使用钉(未显示)将物理股骨正位切割块附接到远端股骨，并且可以执行切割。可选地基于使用物理股骨正位切割块执行的一个或多个切割来参考后续手术步骤。
外科医生可以将物理股骨正位切割块与由光学头戴式显示器投射的虚拟股骨正位切割块或其二维或三维轮廓或一个或多个置位指示物的数字全息图对准或基本上叠加。一旦实现了物理正位切割块与由光学头戴式显示器显示的虚拟正位切割块或其二维或三维轮廓或一个或多个置位指示物的充分对准或叠加，则外科医生可以固定物理正位切割块并执行切割。通过利用术前三维数据信息或术中信息、比如在光学头戴式显示器的辅助下来自用于物理股骨正位切割块的位置、对准和旋转的光学标记和图像或视频捕获测量的术中信息，外科医生可以高度精确地执行前后股骨切割，从而精确地旋转对准股骨组件。相同的方法和显示选项、比如虚拟切割块、二维或三维轮廓或一个或多个置位指示物可以应用于所有后续的股骨准备步骤，包括倒角切割和倒角切割块。
值得注意的是，类似的步骤和光学头戴式显示器引导的股骨手术也可以使用光学头戴式显示器与本发明中描述的或本领域已知的任何其他配准和互相参照技术、比如术中图像引导。
胫骨
在本发明的一些实施方案中，一旦使用本发明中描述的或本领域已知的任何技术——包括比如植入式和附接式标记、校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、带有图像捕获的发光二极管和惯性测量单元——配准胫骨，则光学头戴式显示器可显示虚拟近端胫骨切割块，以用于执行近端胫骨切割。或者，光学头戴式显示器仅显示虚拟近端胫骨切割块的部分(比如，折线或虚线)或完整的二维或三维轮廓或一个或多个置位指示物，比如指示近端胫骨切割块的预定放置位置和定向——比如虚拟预定内侧边界或置位或位置、虚拟预定横向边界或置位或位置、虚拟预定前边界或置位或位置、虚拟预定后边界或置位或位置、虚拟预定上边界或置位或位置和/或虚拟预定下边界或置位或位置——的线。虚拟近端胫骨切割块可以具有与物理近端胫骨切割块相同或相似的形状和尺寸，或者它可以具有与物理近端胫骨切割块或导引物相同的至少一个或多个尺寸或平面。
图21A至图21F提供了虚拟手术导引物、比如由光学头戴式显示器显示的虚拟近端胫骨切割导引物和物理手术导引物、比如物理近端胫骨切割导引物的使用的说明性非限制性示例。图21A显示了在膝关节置换手术期间暴露的近端胫骨330、胫骨内侧坪331、胫骨外侧坪332和内侧胫骨脊333以及外侧胫骨脊334的患者实时数据。如图21B所示，一个或多个光学头戴式显示器可以显示虚拟近端胫骨导引物，比如对于外科医生的左眼和右眼以立体方式显示显示虚拟近端胫骨导引物，从而创建虚拟手术导引物、即虚拟近端胫骨切割导引物的电子全息图形式。在该示例中，虚拟近端胫骨切割导引物336可以是物理近端胫骨切割导引物的轮廓，其具有与物理近端胫骨切割导引物的尺寸基本相似的尺寸。虚拟近端胫骨切割导引物336至少部分地基于用于引导近端胫骨切割的预定位置的坐标对准，以比如用于实现相对于近端胫骨以及比如近端胫骨的解剖学或生物力学轴线的预定内翻或外翻矫正和/或预定斜度。如图21C所示，物理手术导引物338、即该示例中的物理近端胫骨切割导引物338(实线)可以移动和对准成与虚拟手术导引物336、叠加即该示例中的虚拟近端胫骨切割导引物336(虚线)基本叠加或对准。注意物理近端胫骨切割导引物338中具有两个钉孔339。如图21D所示，物理近端胫骨切割导引物338可使用两个钉340附接到近端胫骨骨骼。这些钉307可用于随后的外科手术步骤，比如用于参考屈曲间隙或延伸间隙或用于韧带平衡。在图21E中，显示了图21B的替代实施方案。一个或多个光学头戴式显示器可以例如对于外科医生的左眼和右眼以立体方式显示虚拟近端胫骨切割平面342，从而创建虚拟胫骨切割平面的电子全息图形式。在该示例中，虚拟近端胫骨切割平面342与用于物理近端胫骨切割导引物的预定切割平面平行并且基本上对准并叠加。虚拟近端胫骨切割平面342至少部分地基于用于引导近端胫骨切割的预定位置的坐标对准，以比如用于实现相对于近端胫骨以及比如近端胫骨的解剖学或生物力学轴线的预定内翻或外翻矫正和/或预定斜度。然后，物理锯片、或用于对准物理近端胫骨切割导引物中的物理锯片的槽、或用于将锯片容纳在物理近端胫骨切割导引物中的开放引导区域对准并且至少部分地与虚拟近端胫骨切割平面342叠加。在图21F中，显示了图21B的替代实施方案。一个或多个光学头戴式显示器可以显示用于放置在近端胫骨中的两个或更多个虚拟钻头或钉344，比如对于外科医生的左眼和右眼以立体方式显示用于放置在近端胫骨中的两个或更多个虚拟钻头或钉344，从而创建虚拟胫骨钉或钻头的电子全息图形式。在该示例中，虚拟钻头或钉344可以是物理钉或钻头的轮廓或突出路径，物理钉或钻头可用于将物理近端胫骨切割导引物固定到近端胫骨。虚拟钻头或钉344至少部分地基于用于引导近端胫骨切割的预定位置的坐标对准，以比如用于实现相对于近端胫骨以及比如近端胫骨的解剖学或生物力学轴线的预定内翻或外翻矫正和/或预定斜度。然后，物理钻头或钉(未显示)可与虚拟钻头或钉344对准并叠加，并放置在近端胫骨中。然后，可以将物理近端胫骨切割导引物附接到物理钉，并且可以执行近端胫骨切割。
在本发明的一些实施方案中，物理和相应的虚拟近端胫骨导引物、或物理和相应的虚拟远端股骨导引物也可以是钉导引物，其中物理导引物可用于将两个或更多个钉放置在骨中，以用于附接用于后续手术步骤的物理切割导引物。用于对准物理与虚拟导引物的实施方案、如图19B和图19C、图20B和图20C以及图21B和图21C所示的实施方案也可以应用于钉导引物。
本领域技术人员可以认识到，虚拟和物理手术导引物(包括切割导引物和钉导引物)的使用可以应用于人体和脊柱的任何关节。
在虚拟手术计划中，近端胫骨切割可垂直于胫骨的机械轴线以恢复中性机械轴线对准，除非外科医生希望保持轻度内翻畸形，比如，部分或者一些全膝关节置换的情况可能如此，或者除非外科医生使用不同的对准方法、比如运动学对准，或者除非外科医生希望为患者保持一定量的预先存在的内翻或外翻对准。然后，外科医生可以采用物理近端胫骨切割块并且基本上将物理近端胫骨切割块与由光学头戴式显示器显示的虚拟近端胫骨切割块或其二维或三维轮廓或其置位指示物对准或叠加。虚拟手术计划和/或术中测值可选地不仅确定近端胫骨切割与腿的机械轴线的对准，而且还可以确定近端胫骨沿矢状方向切割的前后斜度。在一些实施方案中，外科医生、操作者或半自动或自动软件可以选择比如用十字固定(Cruciate Retaining，CR)膝关节置换系统以固定的矢状斜度(比如，5度或7度或3度)切割近端胫骨。或者外科医生、操作者或半自动或自动软件可以选择比如用后置替代(Posterior Substituting，PS)膝关节置换系统以固定的矢状斜度(比如，0度或2度或3度)切割近端胫骨。或者外科医生、操作者或半自动或自动软件可以选择以患者特定斜度切割近端胫骨，患者特定斜度可以相同于或得自原生的、未操作的胫骨内侧坪的内侧斜度、原生的、未操作的胫骨外侧坪的外侧斜度、或其组合或平均值。一旦实现了物理近端胫骨切割块与基于患者的虚拟手术计划和/或术中测值由光学头戴式显示器显示的虚拟近端胫骨切割块的虚拟图像或其二维或三维轮廓或其置物指示物充分对准或叠加，则外科医生可以将物理近端胫骨切割块固定并执行切割，从而然后可以反映与所需的机械轴线校正和所需的胫骨斜度的对准。通过在光学头戴式显示器的辅助下利用术前三维数据信息和/或术中测值和/或信息来对准物理近端胫骨切割块，外科医生可以精确地执行近端胫骨切割，而无需髓内杆或患者专用器械来进行切割。同时，外科医生依然有能力进行术中调整，这可以像手动移动远端或其他股骨切割块或移动近端胫骨切割块或其他胫骨切割块(比如在还使用触笔类装置的情况下)以比如用于检查和测量斜度一样简单。通过例如在光学头戴式显示器中显示最终期望的植入体位置或相应的虚拟手术器械的预定位置(考虑用此调整物理手术器械)，可以对照虚拟手术计划和/或术中测值来检查此类调整。任何虚拟手术器械和任何物理手术器械之间的对准的任何差异、比如股骨组件的外部旋转的差异可以通过光学头戴式显示器以数值表示，比如以毫米为单位的距离或以度为单位的角度。如果外科医生或操作者选择进行比如胫骨斜度或股骨或胫骨切割水平的调整，则可以修改虚拟手术计划中的任何后续步骤。
值得注意的是，通过使用光学头戴式显示器以及本发明中描述的或本领域已知的任何其他配准和互相参照技术，比如使用术中图像引导和植入式和附接式标记、校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、带图像捕获的发光二极管和惯性测量单元，也可以使用相同的步骤和光学头戴式显示器引导的胫骨手术。
胫骨模板或胫骨基部试验可用于备置近端胫骨以接受胫骨植入体组件。可以使用钻头来移除近端胫骨中心的骨骼，以接受胫骨组件的龙骨的中心孔。龙骨冲头可用于冲出空间以接纳胫骨组件的龙骨翼。胫骨龙骨和龙骨翼的最终就位和定向可以确定胫骨植入体的旋转。精确的胫骨旋转、比如与原生膝关节的旋转轴线对准的胫骨旋转的重要目的是避免术后疼痛。
在一些实施方案中，光学头戴式显示器可以显示虚拟胫骨模板或虚拟胫骨基础试验以及虚拟胫骨钻塔和虚拟龙骨冲头的数字全息图。根据所用膝关节置换系统的配置和手术技术，可以显示其他虚拟胫骨准备器械。或者，光学头戴式显示器只能显示虚拟胫骨模板或虚拟胫骨基础试验的部分(比如，折线或虚线)或完整的二维或三维轮廓、以及虚拟胫骨钻塔和虚拟龙骨冲头或其他虚拟胫骨准备器械或置位指示物，比如指示胫骨模板或胫骨基础试验、以及胫骨钻塔和龙骨冲头或其他胫骨准备器械的预定布置位置和定向——比如虚拟预定内侧边界或置位或位置、虚拟预定横向边界或置位或位置、虚拟预定前边界或置位或位置、虚拟预定后边界或置位或位置、虚拟预定上边界或置位或位置和/或虚拟预定下边界或置位或位置——的平面或线。虚拟胫骨模板或胫骨基础试验以及虚拟胫骨钻塔和虚拟龙骨冲头以及其他虚拟胫骨准备器械可以具有与物理胫骨模板或物理胫骨基础试验以及物理胫骨钻塔和物理龙骨冲头和物理胫骨准备器械相同或相似的形状和尺寸。在虚拟手术计划中，虚拟胫骨模板或胫骨基础试验以及虚拟胫骨钻塔和虚拟龙骨冲头和虚拟胫骨准备器械可以以在预期的情况下实现最终植入的物理胫骨托件(physical tibial tray)相对于未手术膝关节的胫骨的原始旋转轴线的接近零的胫骨旋转误差的方式对准。外科医生或操作者可以选择偏离零旋转并且可以选择性地将1度、2度、3度或更多度的内部或外部胫骨组件旋转添加到虚拟手术计划和/或术中测值。
对于胫骨准备的每一步骤，光学头戴式显示器可以显示所用虚拟胫骨器械或其二维或三维轮廓或其置位指示物的数字全息图及其基于虚拟手术计划的期望的对准和旋转。然后，外科医生可以将对应的物理胫骨器械与虚拟胫骨器械或其二维或三维轮廓或其置位指示物对准或叠加，从而对照虚拟手术计划和/或术中测值实现物理胫骨器械的期望对准和/或旋转。如果需要，光学头戴式显示器可以使用数字全息图显示所有虚拟胫骨准备工具和器械，包括虚拟胫骨模板或虚拟胫骨基础试验以及虚拟胫骨钻、钻塔或锯和龙骨冲头。或者，光学头戴式显示器可以显示三维轮廓的数字全息图或虚拟胫骨器械的置位指示物。可选地，光学头戴式显示器只能显示用于设置胫骨组件对准和旋转的关键器械。通过利用术前三维数据信息和/或在光学头戴式显示器的帮助下显示的用于虚拟胫骨准备器械、胫骨试验和最终胫骨组件的位置、对准和旋转的术中测值和/或信息、或其各自的二维或三维轮廓或置位指示物，外科医生可以通过将物理器械和组件与虚拟器械和组件的对准和旋转或它们各自的二维或三维轮廓或置位指示物相匹配来准确地执行物理胫骨准备，从而实现精确旋转胫骨组件的对准。
可选地，光学头戴式显示器可以显示可以从近端胫骨延伸至踝关节的虚拟胫骨对准杆的数字全息图。外科医生可以比较虚拟胫骨对准杆与活体患者体内的物理胫骨对准杆的对准，并评估两者是否与活体患者的踝关节中的期望位置对准。如果虚拟和物理胫骨对准杆彼此不对准和/或未对准踝关节中的期望位置，则外科医生可以检查活体患者体内物理对准杆的对准精度、患者实时数据和患者虚拟数据的对准精度、和/或虚拟手术计划和/或术中测值的准确性。然后，外科医生可以选择性地调整实时患者、配准或虚拟手术计划中的物理对准杆的对准。
值得注意的是，使用光学头戴式显示器以及本发明中描述的或本领域已知的其他配准和互相参照技术，包括植入式和附接式标记、校准和配准体模(包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、带图像捕获的发光二极管和惯性测量单元)，也可以使用相同的步骤和光学头戴式显示器引导的胫骨手术。
髌骨
在本发明的一些实施方案中，一种或多种光学标记和/或患者特异性标记或模板或其组合可以应用于髌骨或髌骨表面或部分髌骨(比如，上极或下极、内侧或外侧边缘)，可选地与具有的任何骨赘一起。通过将一种或多种光学标记和/或患者特异性标记或模板应用于患者的相应结构或使用本发明中描述的或本领域已知的任何其他技术和技术，比如植入式和附接式标记、校准和配准体模、导航标记、红外标记、射频标记、带图像捕获和惯性测量单元的发光二极管，虚拟数据和实时数据可以有效地互相参照，以用于髌骨置换或部分或完全表面重修。通过比如在与光学头戴式显示器和股骨、胫骨和髌骨的共同坐标系中配准与光学头戴式显示器相关的光学标记和/或患者特异性标记或模板，或者通过使用本发明中描述的任何配准技术将光学头戴式显示器与患者实时数据和虚拟数据相关联地配准，光学头戴式显示器可以显示或叠加指示在髌骨置换或部分或完全表面重修期间所用任何手术器械的所需定位、位置、定向、对准和/或轨迹的数字全息图，包括髌骨准备器械的虚拟显示、髌骨准备器械的二维或三维轮廓或预定置位指示物的虚拟显示。
在本发明的一些实施方案中，一旦髌骨使用本发明中描述的任何技术——包括比如植入式和附接式标记、校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、带有图像捕获的发光二极管和惯性测量单元——进行配准，则光学头戴式显示器可以显示或投影虚拟髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置、预定铣削轴和/或髌骨切割块或其他用于进行髌骨切割或髌骨准备的髌骨准备器械的数字全息图。或者，光学头戴式显示器只能显示虚拟髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块或其他髌骨准备器械的部分(比如，折线或虚线)或完整的二维或三维轮廓或置位指示物，比如表示虚拟髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块或其他髌骨准备器械(比如，髌骨切割块)的预定放置位置和定向——虚拟预定内侧边界或置位或位置、虚拟预定横向边界或置位或位置、虚拟预定前边界或置位或位置、虚拟预定后边界或置位或位置、虚拟预定上边界或置位或位置和/或虚拟预定下边界或置位或位置——的线。虚拟髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割和/或其他髌骨准备器械块的数字全息图可具有与相应的物理髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械相同或相似的形状以及至少与相应的物理髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械相同的一个或多个尺寸或平面。在虚拟手术计划中，可以比如以为特定髌骨植入体或置换和/或特定患者解剖结构选择的期望切除深度或角度、和/或基于髌骨形状、髌骨追踪、髌股运动或膝关节旋转轴线来规划髌骨切割或铣削。然后，外科医生可以采用物理髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械，并将叠加物理髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械与光学头戴式显示器显示的相应的虚拟髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械、或其各自的虚拟轮廓或置位指示物基本上对准或叠加。一旦物理髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械与虚拟髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械的数字全息图或由光学头戴式显示器基于患者的虚拟手术计划和/或术中测值显示的其各自的轮廓或置位指示物充分对准或叠加，则外科医生可选地钉住或固定物理虚拟髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械，并进行切割或铣削。通过在光学头戴式显示器的辅助下利用术前三维数据信息或术中数据和/或测量或其组合来对准物理虚拟髌骨夹、髌骨工具、髌骨切割装置、髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械，外科医生可以高度精确地进行髌骨切割或铣削。
本发明中描述的髌骨手术也可以使用本发明中描述的或本领域已知的任何其他配准技术来实施，包括植入式和附接式标记、校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、带有图像捕获的发光二极管和惯性测量单元。比如，使用集成到、附接至、耦合至或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，可以对髌骨形状或表面或轮廓成像。可以将该信息与关于髌骨形状或表面或轮廓的术前成像信息进行比较，并且可选地进行匹配以用于配准。可以使用本发明中描述的或本领域已知的任何其他配准技术，包括但不限于手术导航。可选地，包括比如陀螺仪、磁力计和加速度计的惯性测量单元可以在手术期间或手术前应用于髌骨。胫骨斜度的评估：在本发明的一个实施方案中，可以确定胫骨斜度。胫骨斜度可以是内侧胫骨斜度。胫骨斜度可以是外侧胫骨斜度。内侧胫骨斜度可以通过例如将前内侧胫骨上的最高点与后内侧胫骨上的最高点相连接来测量，如例如在侧位射线照片或二维或三维扫描(例如超声波扫描、计算机断层扫描或磁共振扫描)上所看到的。外侧胫骨斜度可以通过例如将前外侧胫骨上的最高点与后外侧胫骨上的最高点相连接来测量，如例如在侧位射线照片或二维或三维扫描(例如超声波扫描、计算机断层扫描或磁共振扫描)上所看到的。
可以测量前胫骨和后胫骨的胫骨斜度。例如，前内侧胫骨斜度可以通过将前内侧胫骨上的最高点与内侧胫骨坪中的最低点相连接来测量。后内侧胫骨斜度可以通过将内侧胫骨坪中的最低点与后内侧胫骨坪上的最高点相连接来测量。前外侧胫骨斜度可以通过将前外侧胫骨上的最高点与外侧胫骨坪中的最低点相连接来测量。后外侧胫骨斜度可以通过将外侧胫骨坪中的最低点与后外侧胫骨上的最高点相连接来测量。胫骨斜度可以例如通过对任何合成线与垂直于地面的线之间的角度进行测量来确定或者例如通过对任何合成线与一个或多个胫骨轴线(例如胫骨的长轴线)之间的角度进行测量来确定。可选地，可以确定从前内侧皮层或后内侧皮层至胫骨内侧坪上的最低点的距离。可选地，可以确定从前外侧皮层或后外侧皮层至外侧胫骨坪上的最低点的距离。
一个或多个胫骨斜度的一个或多个测值可以可选地引入虚拟手术计划中，例如如由光学头戴式显示器在手术期间所显示的。虚拟手术计划可以要求：在虚拟手术计划中放置一个或多个虚拟植入体组件之后例如如由光学头戴式显示器显示的并且最终在实时手术期间放置实际的一个或多个植入体组件之后，保留相同的一个或多个胫骨斜度(例如内侧斜度和/或外侧斜度)或者内侧斜度和外侧斜度两者的平均值或者内侧斜度和外侧斜度两者的其他组合。替代性地，可以矫正内侧斜度、外侧斜度、内侧斜度和外侧斜度两者的平均值、或内侧斜度和外侧斜度两者的其他组合。例如，内侧斜度和外侧斜度可以设置为固定的内侧斜度、固定的外侧斜度、固定的内侧斜度和固定的外侧斜度两者的固定平均值、或固定的内侧斜度和固定的外侧斜度两者的固定其他组合。例如，可以在虚拟手术计划中选择5度的固定内侧斜度和固定外侧斜度。或者可以在虚拟手术计划中选择3度的固定内侧斜度或固定外侧斜度。或者可以在虚拟手术计划中选择2度的固定内侧斜度或固定外侧斜度。或者可以在虚拟手术计划中选择0度的固定内侧斜度或固定外侧斜度。
对于一些后部稳定的植入体，可以选择0度的固定斜度，尽管其他固定斜度例如2度、3度和5度或任何其他值也是可能的。对于一些后交叉韧带保持植入体，可以选择5度的固定斜度，尽管其他斜度例如0度、2度或4度或任何其他值也是可能的。
在一些实施方案中，至少一个与未手术患者的自然斜度相似或相同的斜度将是优选的。例如，在一些实施方案中，患者的内侧斜度和/或患者的外侧斜度将被保留。在一些实施方案中，患者的原生内侧斜度将被保留在虚拟手术计划中，而外侧斜度可能不会被保留。例如，外侧斜度可以是固定的或者可以设置为等于患者的内侧斜度或者等于外侧斜度与内侧斜度之间的值或比值。在一些实施方案中，在虚拟手术计划中，将保留患者的自然外侧斜度而不保留内侧斜度。例如，内侧斜度可以是固定，或者可以设置为等于患者的外侧斜度或者等于外侧斜度与内侧斜度之间的值或比值。
对患者的原生内侧胫骨斜度和外侧胫骨斜度进行复制可以在虚拟手术计划中实现例如如由光学头戴式显示器显示的，并且在实际手术期间通过选择分离的内侧胫骨坪组件和外侧胫骨坪组件来实现，然后通过放置虚拟胫骨切口以及在活体患者体内以接近或基本类似于患者的原生内侧斜度和外侧斜度的角度放置实际胫骨切口可以将内侧胫骨坪组件和外侧胫骨坪组件放置成相对于彼此具有不同斜度。
在本发明的一个实施方案中，光学头戴式显示器可以例如通过彩色或虚线显示患者的内侧和/或外侧斜度。光学头戴式显示器还可以显示预期的内侧斜度和/或外侧斜度，例如如在虚拟手术计划中定义的。预期的内侧斜度和/或外侧斜度可以用彩色或虚线或平面显示，可选地如果它们也被显示则不同于患者的自然斜度。然后，外科医生可以引导骨锯或骨钻或其他手术器械，使得骨锯、骨钻或其他手术器械将基本上执行近端胫骨坪的部分的移除，以实现具有一个或多个预期的内侧和/或外侧斜度的植入体的放置。
在本发明的一个实施方案中，在患者处于仰卧位置的情况下可以获得一个或多个胫骨斜度的测值。替代性地，可以在患者处于俯卧位置的情况下获得患者胫骨倾斜度的测值。替代性地，可以在处于直立位置的情况下获得患者胫骨斜度的测值。在本发明的另一实施方案中，成像数据例如X光、超声波、计算机断层扫描或磁共振成像可以使用定位装置或腿部支架来获得。典型地，定位装置或腿部支架可用于控制膝关节弯曲或伸展的程度(例如，参见Synarc公司的Synaflex膝关节定位装置)。定位装置或腿部支架可用于控制膝关节旋转或腿部旋转的程度。在实施方案中，X光、超声波、计算机断层扫描和/或磁共振扫描是在腿处于零旋转或者替代性地处于限定度数的内部或外部旋转(例如5度的内部或外部旋转)的情况下获得的。在本发明的另一实施方案中，在手术过程中可以使用相同或相似的定位装置或腿部支架，优选地使用与在任何术前影像学检查中使用的相同程度的屈曲或伸展和/或旋转。
胫骨关节线的显示：在本发明的另一实施方案中，可以确定内侧关节线和/或外侧关节线。关节线可以通过X光、超声波扫描、计算机断层扫描或磁共振扫描来测量。关节线测量可以基于二维和/或三维数据，并且可以由一个或多个光学头戴式显示器显示。
在本发明的一个实施方案中，可以在患者处于仰卧位置的情况下获得一条或多条胫骨关节线的测值。替代性地，可以在患者处于俯卧位置的情况下获得患者胫骨关节线的测值。替代性地，可以在直立位置获得患者胫骨关节线的测值。
在本发明的一个实施方案中，内侧关节线和/或外侧关节线可以相对于地面测量，例如通过测量内侧关节线和/或外侧关节线相对于地面的距离。在本发明的另一实施方案中，内侧关节线和/或外侧关节线可以相对于跟骨的下表面测量，例如通过测量内侧关节线和/或外侧关节线相对于跟骨的下表面的距离。在一个实施方案中，内侧关节线和/或外侧关节线可以相对于彼此测量，并且对于给定位置或给定射线照相视图或超声波扫描或计算机断层扫描或磁共振扫描而言的内侧关节线和外侧关节线的高度差可以例如以mm为单位而被测量。对于给定位置或给定射线照相视图或超声波扫描或计算机断层扫描或磁共振扫描而言的内侧关节线和外侧关节线的高度差可以是0mm、0.5mm、1mm、2mm、3mm、4mm、5mm、6mm、7mm或8mm或更多。内侧关节线可以比外侧关节线更远。外侧关节线可以比内侧关节线更远。可以对沿着前内侧和外侧胫骨坪的关节线进行测量。可以对沿着后内侧和外侧胫骨坪的关节线进行测量。可以对关节线进行测量，关节线延伸穿过内侧和外侧胫骨坪的最低点。可以使用内侧和外侧胫骨坪在正位定向的复合投影来对关节线进行测量。内侧关节线和/或外侧关节线或其复合物可以由一个或多个光学头戴式显示器例如在股骨或胫骨切除之前和/或在一个或多个股骨或胫骨切除之后进行投影。
在本发明的另一实施方案中，成像数据例如X光、超声波、计算机断层扫描或磁共振成像可以通过使用定位装置或腿部支架来获得。典型地，定位装置或腿部支架可用于控制膝关节弯曲或伸展的程度(例如，参见Synarc公司的Synaflex膝关节定位装置)。定位装置或腿部支架可用于控制膝关节旋转或腿部旋转的程度。在实施方案中，X光、超声波、计算机断层扫描和/或磁共振扫描是在腿处于零旋转或者替代性地处于限定度数的内部或外部旋转(例如5度的内部或外部旋转)的情况下获得的。
在本发明的另一实施方案中，可以在膝关节处于伸展的情况下获得成像数据。在本发明的另一实施方案中，可以在膝关节屈曲(例如屈曲5度、10度、15度、20度或更多度)的情况下获得成像数据。在本发明的另一实施方案中，如果使用X光，则X光管和薄膜或检测器系统将优选地定位成使得X光束基本上垂直于关节空间。
股骨偏移和相关信息的显示：在本发明的另一实施方案中，可以对内侧股骨髁与外侧股骨髁之间的一个或多个偏移进行测量。内侧股骨髁与外侧股骨髁之间的偏移可以例如在膝关节处于伸展的情况下远端确定。内侧股骨髁与外侧股骨髁之间的偏移可以例如在膝关节屈曲90度或更大的情况下在后侧确定。对于任何其他屈曲角度或伸展角度，可以确定内侧股骨髁与外侧股骨髁之间的偏移。在影像学检查中，可以在膝关节伸展的情况下测量偏移量；可以通过内侧股骨踝的最低点和外侧股骨踝的最低点来确定垂直于地面的线或对应于扫描y轴的线；在与内侧远端股骨髁关节表面和相应的外侧股骨髁关节表面相交的情况下可以测量远端偏移。附加的线或平面可以以其他角度放置，例如以相对于垂直轴线或y轴线成15度、或相对于垂直轴线或y轴线成30度(对应于膝关节屈曲15度或膝关节屈曲30度等)而放置。可以用这种方式模拟任何可能的屈曲角度或伸展角度，并且相应的线或平面可以由一个或多个光学头戴式显示器显示。
内侧股骨踝与外侧股骨踝之间的偏移可以通过X光、超声波扫描、计算机断层扫描或磁共振扫描来测量。股骨偏移测量可以基于二维和/或三维数据。在本发明的一个实施方案中，可以在患者处于仰卧位置的情况下获得一个或多个股骨偏移的测值。替代性地，可以在患者处于俯卧位置的情况下获得一个或多个股骨偏移的测值。替代性地，可以在处于直立位置的情况下获得一个或多个股骨偏移的测值。
在一些实施方案中，一个或多个股骨偏移可以相对于地面测量，例如通过测量例如针对不同的屈曲角度和伸展角度而言的内侧股骨髁和外侧股骨髁相对于地面的距离，以及通过确定内侧距离测值与外侧距离测值之间的差异。在本发明的另一实施方案中，一个或多个股骨偏移可以相对于跟骨的下表面测量，例如通过测量内侧股骨髁和外侧股骨髁相对于跟骨的下表面的距离，例如通过测量例如针对不同的屈曲角度和伸展角度而言的相对于跟骨的下表面的距离，以及通过确定内侧距离测值与外侧距离测值之间的差异。不同伸展和屈曲角度的一个或多个远端或后部偏移可以是0mm、0.5mm、1mm、2mm、3mm、4mm、5mm、6mm、7mm或8mm或更多。内侧股骨踝可以比外侧股骨踝更远。外侧股骨踝可以比内侧股骨踝更远。一个或多个股骨偏移可以类似于内侧关节线和外侧关节线的差异。
在其他实施方案中，成像数据例如X光、超声波、计算机断层扫描或磁共振成像可以通过使用定位装置或腿部支架获得。典型地，定位装置或腿部支架可用于控制膝关节弯曲或伸展的程度(例如，参见Synarc公司的Synaflex膝关节定位装置)。定位装置或腿部支架可用于控制膝关节旋转或腿部旋转的程度。在实施方案中，X光、超声波、计算机断层扫描和/或磁共振扫描是在腿处于零旋转或者替代性地处于限定度数的内部或外部旋转(例如5度的内部或外部旋转)的情况下获得的。腿部的旋转以及波束角度的控制(例如对于X光和超声波)可能是重要的，以避免股骨偏移的过高或过低估计(例如侧向射线照片上显示的，例如对于一个或多个伸展角度或屈曲角度)。在实施方案中，偏移是用在正位视图中垂直指向关节空间并且在侧视图中垂直指向膝关节的任何X光束来测量的。在本发明的实施方案中，根据管膜或检测器和/或骨节/膜或检测器的距离，放大倍率矫正可以应用于内侧和/或外侧股骨骨节。考虑到检测器的距离差异以及由此产生的放大倍率差异，内侧髁和外侧髁的放大倍率矫正可以不同。在本发明的另一实施方案中，针对任何射线照相放大倍率对股骨偏移进行矫正。例如，如果射线照相放大倍率是1.2，则股骨偏移可以可选地除以1.2。在本发明的另一实施方案中，可以在膝关节处于伸展的情况下获得成像数据。在本发明的另一实施方案中，可以在膝关节处于屈曲(例如屈曲5度、10度、15度、20度或更多度)的情况下获得成像数据。在本发明的另一实施方案中，如果使用X光，则X光管和薄膜或检测器系统将优选地定位成使得X光束基本上垂直于关节空间。
一旦确定了内侧股骨踝与外侧股骨髁之间的一个或多个偏移，例如与伸展中的膝关节相对应的远侧偏移、与膝关节屈曲15度相对应的屈曲偏移、与膝关节屈曲30度相对应的屈曲偏移、与膝关节屈曲60度相对应的屈曲偏移和/或与膝关节屈曲90度相对应的后侧偏移，测值可用于确定股骨植入体组件上的期望股骨偏移。
在本发明的一个实施方案中，选择股骨组件，该股骨组件具有与患者的原生膝关节相似的偏移，例如在伸展和90度屈曲、伸展、15度屈曲、30度屈曲和90度屈曲或任何其他值。例如，在股骨远端没有偏移或偏移很小的患者体内，可以使用没有偏移或偏移很小的股骨组件比如Zimmer Nexgen CR股骨组件或PS股骨组件。例如，在远端股骨偏移更大(例如在3mm与4mm)之间的患者体内，可以使用股骨偏移更大的股骨组件例如Smith&NephewJourney股骨组件。例如，在具有后股骨偏移的患者体内，可以使用具有后股骨偏移的股骨组件例如Smith&Nephew Profix股骨组件。由一个或多个光学头戴式显示器显示的虚拟手术计划可用于显示用以执行这些不同类型的植入体的骨切除和引导切除所需的预期骨切除或虚拟手术器械例如虚拟切割块。
在手术期间如由光学头戴式显示器显示的虚拟手术计划中的虚拟切割深度可以在虚拟手术计划中选择，使得在放置虚拟植入体的情况下考虑到其复合厚度，内侧和外侧插入件的关节表面可以在内侧或外侧靠近患者的原生关节线同时复制内侧-外侧股骨偏移。
光学头戴式显示器可以显示各种现成植入体所需的不同骨切除；骨切除可以例如基于每种植入体类型可用的射线照相模板信息和每种植入体类型可用的不同植入体尺寸来确定。替代性地，可以使用三维扫描仪来扫描植入体和植入体组件。替代性地，对于每种植入体类型和尺寸，可以从不同的制造商处获得计算机辅助设计文件例如STL文件。光学头戴式显示器然后可以显示不同植入体类型和尺寸的不同切口的单独骨切除(例如股骨的远端股骨、前部、后部和倒角骨切口、近端胫骨切口的骨切除、以及胫骨模板的骨切除)，以容纳胫骨龙骨。切割可以使用标准金属切割导引物和器械或一次性切割导引物和器械来执行。一次性器械和/或切割导引物可以例如使用不同的塑料类型(例如各种聚碳酸酯)以及使用不同的制造技术(例如注射成型和/或三维打印)来制造。为了考虑来自不同制造商的现成植入体设计的可变性、尺寸的可变性、形状的可变性以及骨切除的可变性，棘轮状机构和/或插入件状机构可用于制造适用于各种现成植入体的一次性器械和切割块。远端股骨切割导引物和近端胫骨切割导引物可以被构造成不需要植入体的特定尺寸。远端股骨切割导引物和近端胫骨切割导引物可以构造有单个塑料组件，以适用于多种植入体类型及其相应的尺寸范围。可用于放置前切口、后切口和倒角切口的股骨多切口导引物可以设计成两个或三个部件，所述两个或三个部件可包括棘轮状机构，其中由此产生的骨切口尺寸是可调整的，例如以0.5mm或1个增量调整；与棘轮相邻的塑料模具中可以包括mm或刻度。棘轮可以被移动成使得mm和度数设置与植入体组件的射线照相模板和/或计算机辅助设计文件或STL文件中的相应mm和度数相匹配。光学头戴式显示器可以可视地显示给定植入体的特定切口所需的数值，例如以mm和/或度为单位，并且外科医生可以在棘轮状机构的mm和/或度标度上匹配这些数值。集成到、附接至或分离于光学头戴式显示器的图像捕获系统和/或视频捕获系统可以捕获物理棘轮状机构上的mm和/或度数设置；如果物理棘轮状机构上的mm和/或度数设置不同于基于射线照相模板和/或植入体的计算机辅助设计文件或STL文件确定的mm和/或度数设置，则可以触发警报。对于给定的植入体几何结构，可以基于例如从放射照相植入体模板和/或植入体的计算机辅助设计或模拟激光文件获得的信息来调整前切口、后切口和倒角切口的位置和角度，这些信息可以反映在OHMD显示器中。光学头戴式显示器可以选择性地增加锯片的厚度例如0.5mm、0.75mm、1.0mm、1.25mm、1.5mm以进行计划切除；因此，如果切除平面是基于虚拟手术计划和给定的植入体几何结构而规划的，例如从植入体的射线照相模板和/或计算机辅助设计或模拟激光文件中测量或确定的，则切除平面可以例如在前面、后面、上面、下面、内侧、侧面和/或也在倾斜平面中调整，以考虑到锯片厚度并使虚拟切除平面在OHMD显示器中移动相应的距离。光学头戴式显示器可以考虑到锯片颤振而选择性地增加额外的偏移，例如0.5mm、0.75mm、1.0mm、1.25mm、1.5mm以进行计划切除。锯片颤振可以随着锯片厚度的增加而减小。它可以在单独的实验中测量，例如通过用安装在固定框架上的锯切割骨骼，该框架仅允许沿锯片的预定方向移动；对于不同的锯片厚度，可以测量超出锯片厚度的物理骨骼中的骨切除的增加，以解决锯片颤振。因此，如果切除平面已经基于虚拟手术计划和给定的植入体几何结构进行了规划，例如根据植入体的射线照相模板和/或计算机辅助设计或STL文件测量或确定，并且对于给定的锯片厚度，切除平面可以例如在前面、后面、上面、下面、内侧、外侧和/或也在倾斜平面中进行调整，以不仅考虑锯片厚度而且考虑锯片摆动并且将OHMD显示器中的虚拟切割平面移动相应的距离。一次性器械和/或切割块中的棘轮状机构也可以允许外科医生进行额外的调整例如通过将切割深度增加或减少额外的0.5mm或1.0mm或0.5度或1.0度，以便例如由光学头戴式显示器显示或考虑锯片厚度和/或锯片摆动。作为替代或附加地，可调整插入件可以使用不同的尺寸和厚度，例如1mm、2mm、3mm、4mm、5mm、6mm、7mm或更大和/或1度、2度、3度、4度、5度、6度、7度、8度、9度、10度或更大。插入件可以例如插入切割导引物的标准注射模制件中，例如在肠导引物和关节表面或切割骨表面之间。通过将插入件插入肠导引物与关节表面或切割骨表面之间，可以例如通过插入件增加的厚度和/或角度移动利用切割导引物执行的下一次切割。可选地，倒角切削可以从塑料多切削块和单独的倒角切削块分开，也可以任选地使用注射成型，其也可以包括棘轮状机构和/或插入件，用于调整每个切削的深度、位置和/或角度。光学头戴式显示器可以显示虚拟棘轮，例如作为虚拟器械和/或切割块的一部分，包括虚拟棘轮设置，例如以mm或度为单位，和/或包括虚拟刀片厚度或角度的虚拟刀片，对应于为给定植入体几何结构选择的角度和/或mm设置。外科医生可以将虚拟显示器与物理棘轮和/或插入件进行比较，包括它们各自的设置和/或厚度和/或角度。可选地，包括其棘轮和/或插入件的物理器械和/或切割块可以与患者关节(例如膝关节)和一个或多个光学头戴式显示器在共同坐标系中对准。光学头戴式显示器可以显示虚拟器械和/或切割块，其可选地包括在患者关节上的预定位置、定位和/或定向和/或坐标处的棘轮和/或插入件，例如在执行股骨远端切割之后在股骨远端外部，或者在执行胫骨近端切割之后在胫骨近端外部。外科医生可以将物理器械和/或切割块对准例如不配准和不追踪它，可选地包括它的棘轮和/或插入件，与虚拟切割块对准，虚拟切割块可选地包括光学头戴式显示器显示的虚拟棘轮和/或插入件。光学头戴式显示器可以显示数值，例如以mm或度为单位，例如倒角切削的期望位置和/或定位和/或角度。外科医生可以确保物理器械和/或包括其棘轮和/或插入件的切割块的设置，例如以mm或度为单位的设置，匹配虚拟显示的器械和/或包括其棘轮和/或插入件的切割块。这些实施方案涉及虚拟和物理棘轮、插入件和调整机构及其相应的包括数值的虚拟显示，可应用于任何关节例如用于髋关节置换、肩关节置换、踝关节置换和/或肘关节置换手术。
图40是用于膝关节置换的光学头戴式显示器引导手术的过程流程的非限制性说明示例，例如使用股骨优先或胫骨优先技术、测量切除或韧带平衡。在步骤760中，可以获得腿部的X光片。这些可以是站立的下肢X光片例如包括髋关节、膝关节和脚踝。站立的承重X光可用于确定腿的机械轴线，并确定内翻或外翻畸形的程度和任何期望的方向，例如回到正常的机械轴线对准(180度)或一些残余畸形，例如1度、2度、3度、4度等的结构性内翻畸形。在一些实施方案中，可以获得站立的承重X光的侧视图。这些可用于确定例如潜在的矢状畸形，并计划任何期望的或预定的矫正。在一些实施方案中，可以获得腿部的非承重X光片；任选地，这些可以在例如施加内翻或外翻应力时获得。内翻或外翻应力下的成像可用于例如确定韧带不稳定性，并可用于确定任何预定的校正，例如通过调整一个或多个股骨或胫骨切除来校正韧带不稳定性。在一些实施方案中，可以使用一个或多个光学标记来确定机械轴线，例如放置在股骨远端和/或胫骨近端。腿可以在圆形路径上移动，该圆形路径可以用于通过监视或测量标记移动的路径来计算髋关节的旋转中心，例如使用一个或多个摄像机。踝夹可以放在内踝和外踝上。踝夹可以包括相对于踝夹以及内踝和外踝在限定几何位置的一个或多个光学标记；通过测量光学标记的坐标例如使用一个或多个摄像机可以确定踝关节的中心。髋关节的旋转中心和踝关节的中心可以用来确定腿的机械轴线。在一些实施方案中，可以使用一个或多个导航标记来确定机械轴线，例如放置在股骨远端和/或胫骨近端。腿可以在圆形路径上移动，该圆形路径可以用于通过使用导航系统监视或测量导航标记(例如红外或射频)的移动路径来计算髋关节的旋转中心。踝夹可以放在内踝和外踝上。踝夹可以包括相对于踝夹以及内踝和外踝的限定几何位置处的一个或多个导航标记；通过测量导航标记的坐标可以使用导航系统来确定踝关节的中心。髋关节的旋转中心和踝关节的中心可以用来确定腿的机械轴线。在步骤762中，可以获得膝关节X光片例如正位、横向、斜视、髌骨视图，例如日出位髌骨视图或商家视图，以确定膝关节的一个或多个尺寸或曲率或形状例如内外侧位宽度、髁宽度、正位长度、髁长度、滑车角、PF关节宽度、髌骨尺寸、滑车凸缘高度、股骨偏移、胫骨斜率、股骨曲率、胫骨曲率、轴线，例如上髁轴线、Q角等。在步骤764中，可以使用例如二维X光图像和标志、尺寸、轴线、曲率、偏移量来执行骨变形，例如从二维到三维，以导出患者膝关节的三维形状，例如远端股骨、近端胫骨和/或髌骨。可选地，可以获得术中扫描例如激光扫描、光学扫描，例如使用图像或视频捕获，使用带有一个或多个光学标记或导航标记(例如射频或红外、发光二极管或惯性测量单元)的机械探针的扫描。如果使用具有任何前述标记或追踪装置的机械探针，可以产生骨骼的点或点云，例如股骨远端或胫骨近端，或任何其他关节中的任何其他关节表面，例如髋关节、肩关节或踝关节。点云可以被配准在共同坐标系中，例如与一个或多个光学头戴式显示器、或手术台、或手术室中的固定结构、或患者的其他身体部位一起。测量表面内的点云或点可用于确定一个或多个点到用户或一个或多个用户佩戴的光学头戴式显示器的距离；对于到虚拟工具、虚拟器械或虚拟植入体组件的给定距离，该距离可用于在OHMD显示器中显示例如具有适当尺寸的虚拟工具、虚拟器械或虚拟植入体组件。例如，当在患者的物理关节表面或物理关节上显示、放置、确定尺寸、配合或对准虚拟植入体时，患者的关节表面或物理关节上的一个或多个点可以与一个或多个光学头戴式显示器一起被配准在坐标系中。类似地，当虚拟轴线、虚拟平面、虚拟工具或虚拟器械显示在预定位置时，例如相对于患者的骨骼、软骨或物理关节或物理脊柱，患者的物理骨骼、物理软骨或物理关节或物理脊柱上的一个或多个点或患者的物理组织可以与一个或多个光学头戴式显示器一起被配准在坐标系中。
随着光学头戴式显示器到患者的物理关节表面或物理关节上的点的距离改变，虚拟植入体的显示尺寸将改变，例如随着光学头戴式显示器到点或点云的距离的增加，虚拟植入体的显示尺寸将变小，并且随着光学头戴式显示器到点或点云的距离的减小，虚拟植入体的显示尺寸将变大，对应于当透视光学头戴式显示器或摄像机和虚拟现实系统移近物理关节时通过透视光学头戴式显示器或摄像机看到的物理关节变大，并且当透视光学头戴式显示器或摄像机移离物理关节更远时，随着光学头戴式显示器离点或点云的距离增加，物理关节变小，对应于当透视光学头戴式显示器或摄像机和虚拟现实系统看到的物理关节变小。
随着光学头戴式显示器到患者的物理骨骼、物理软骨或物理关节或物理脊柱或患者的物理组织上的点的距离改变，虚拟轴线、虚拟平面、虚拟工具或虚拟器械的显示尺寸将改变，例如，随着光学头戴式显示器距点或点云的距离的增加，它将变小，并且随着光学头戴式显示器距点或点云的距离的减小，它将变大，这对应于当透视光学头戴式显示器或摄像机移动得更靠近患者的物理骨骼、物理软骨或物理关节或物理脊柱或患者的物理组织时，通过透视光学头戴式显示器或摄像机和虚拟现实系统看到的患者的物理骨骼、物理软骨或物理关节或物理脊柱变大，并且随着光学头戴式显示器离点或点云的距离的增加，它将变得更小，这对应于当透视光学头戴式显示器或摄像机远离物理关节时，通过透视光学头戴式显示器或摄像机和虚拟现实系统看到的患者的物理骨骼、物理软骨或物理关节或物理脊柱或患者的物理组织变小。
在一些实施方案中，附接到患者关节、骨骼、软骨或任何其他解剖标志(例如组织表面)的一个或多个标志(例如光学标记)可以用于确定虚拟工具的显示尺寸，通过在共同坐标系中配准一个或多个标记，并通过在共同坐标系中配准一个或多个OHMD显示器，以及通过相对于光学标记和一个或多个光学头戴式显示器之间的距离调整虚拟工具、器械或植入体的显示尺寸，例如如前面段落中所述，在OHMD显示器中的虚拟器械或虚拟植入体组件。在一些实施方案中，附接于患者关节、骨骼、软骨或任何其他解剖标志(例如组织表面)的一个或多个标志(例如导航标记或发光二极管)可用于确定虚拟工具的显示尺寸，通过在共同坐标系中配准一个或多个标记，并通过在共同坐标系中配准一个或多个OHMD显示器，以及通过相对于光学标记和一个或多个光学头戴式显示器之间的距离调整虚拟工具、器械或植入体的显示尺寸，例如，如前面段落中所述，在OHMD显示器中的虚拟器械或虚拟植入体组件。
在步骤766中，可以选择一个或多个股骨、胫骨和/或髌骨组件的尺寸，例如使用植入体的模板或轮廓，并使用X光或其他影像学检查，例如计算机断层扫描或磁共振成像和/或骨骼模型和/或三维变形的关节模型例如来自二维X光或超声波。
在步骤768中，可以生成虚拟手术计划，例如使用二维或三维尺寸确定和/或考虑预定轴线矫正，例如中性机械轴线对准或与固有内翻或外翻的对准，可选地考虑期望或预定矢状畸形矫正，屈曲或伸展缺陷的期望或预定矫正，可选地考虑预定胫骨斜度或患者解剖斜度，例如在胫骨内侧或外侧坪或两者上，可选地考虑计划的或预定的骨移除，例如使用骨切割或去毛刺器或铣削或钻孔或扩孔或拉削，可选地考虑期望的或预定的股骨组件旋转，可选地考虑期望的或预定的胫骨组件旋转，可选地考虑患者测量的膝关节运动学和/或期望的或预定的运动学矫正，可选地考虑股骨和/或胫骨偏移，以及可选地考虑植入体选择，例如具有一个或多个股骨或胫骨偏移的一个或多个植入体组件。在步骤770中，可以将患者放置在手术台上例如将腿放置在与获得二维X光片时或获得其他术前或术中影像学检查时腿所处的位置相似的位置。
在步骤772中，可以将虚拟手术计划导入光学头戴式显示器系统，例如光学头戴式显示器、处理器、软件、托管一些系统组件的任何服务器等。虚拟手术计划可以在术前生成，并且可选地，可以在术中修改。虚拟手术计划可以在术中生成，并且可选地，可以在术中修改。在步骤774中，可以执行切开、暴露、囊切开术和其他手术步骤，暴露例如远端股骨、近端胫骨和髌骨。可选地，髌骨可以翻转。在步骤776中，可以执行实时术中数据和虚拟手术计划的配准，例如使用与例如术前影像学检查或骨的三维模型上的标志相对应的术中标志，患者关节包括例如一个或多个关节表面，可选地通过骨变形生成。这些标志可以包括或可以定义内侧或外侧关节线、解剖轴线或生物力学轴线。该配准可以允许来自患者实时关节的虚拟数据和物理数据的匹配。该配准也可以可选地使用术中成像来执行，例如使用X光、超声波或计算机断层扫描。可选地，术中影像学检查(例如X光)可以与术前影像学检查(例如X光)相匹配。可选地，可以使用一个或多个探针来定义或识别标志，例如使用一个或多个附接的光学标记、导航标记，例如红外或射频标记、发光二极管或惯性测量单元，其可以在一个或多个标志的表面上移动，例如关节表面，用于获得一个或多个点，并且可选地，生成一个或多个标志的一个或多个点云。在步骤778中，可以投影一个或多个股骨和/或胫骨和/或髌骨虚拟手术引导。股骨和/或胫骨和/或髌骨虚拟手术导引物可以是物理切割导引物或切割块的三维表示，或者物理切割导引物或切割块的置位指示物，或者其组合。股骨和/或胫骨和/或髌骨虚拟手术导引物可以是虚拟平面，例如虚拟切割平面，或者虚拟轴线，例如用于钻头、钻孔器、扩孔器、研磨机、拉刀或冲击器。一个、两个或更多个虚拟轴线可以被投影到例如远端股骨或近端胫骨上，例如用于放置一个、两个或更多个物理销或钻头。然后，可以将物理工具、器械或切割导引物或切割块附接到两个或更多个物理销或钻头上。一个或多个虚拟手术导引物可以由光学头戴式显示器投影，以包括例如预定的机械轴线矫正、预定的屈曲挛缩矫正、预定的股骨分量或胫骨分量旋转、预定的胫骨斜度。虚拟切口可以使用一个或多个光学头戴式显示器进行投影。切口可以可选地投影为二维线或三维轴线例如在骨表面上。在一些实施方案中，切割可以被投影为三维切割平面，例如用于将插入物理引导或物理切割块中的物理锯片或物理锯片或假锯片与虚拟三维切割平面对准。
光学头戴式显示器可以投射虚拟髌骨切割。可以对髌骨进行一次或多次测量，例如在术中从物理髌骨进行测量，或者在术前进行测量，例如从髌骨的影像学检查进行测量。如果使用术前影像学检查，成像数据，例如二维或三维数据或表面或形状，例如来自计算机断层扫描或磁共振成像扫描或来自使用骨变形获得的三维模型，可以在术中与髌骨的物理标志、表面或形状配准。替代性地，髌骨的三维模型可以在术中生成，例如通过测量髌骨表面上的多个点，例如使用具有一个或多个光学标记、导航标记、发光二极管、其他标记和/或惯性测量单元的指针。髌骨的三维模型也可以使用图像捕获或视频捕获系统获得，例如从多个视角和/或距离获得髌骨的图像，或者使用三维扫描仪或激光扫描仪。然后可以例如使用三维模型来选择髌骨植入体组件，例如用于期望的切除深度和/或期望的关节表面几何结构和/或植入体组件的位置，例如相对于患者的原生髌骨关节表面和/或患者的髌骨骨储备。髌骨植入体组件也可以基于患者的髌骨形状来选择，例如圆顶形或帽状和/或对称或非对称的。髌骨植入体组件也可以基于髌骨尺寸来选择，例如内外侧位或上外下内尺寸，例如分别从髌骨的内侧边缘到髌骨的外侧边缘或者从髌骨的下极到髌骨的上极。髌骨植入体组件也可以基于正位尺寸来选择，例如正位方向上髌骨最厚区域的尺寸；例如，髌骨元件厚度可以基于正位尺寸来选择。因此，髌骨植入体组件可以基于多个参数来选择，例如预定的骨切除水平或深度、预定的骨保存量、髌骨尺寸、髌骨形状、髌骨厚度、原生髌骨和/或植入体组件的髌骨关节表面位置、髌骨对称性或不对称性、预定的切割和/或植入位置、定向、角度、坐标和/或髌骨植入体组件和/或预定的髌骨锚(例如钉、长度和/或尺寸)对切割髌骨的预定骨覆盖量。一旦选择了髌骨组件，就可以确定所选髌骨组件的骨切割，例如使用手术室中的PC机或服务器上的图形用户接口，或者例如使用光学头戴式显示器上的虚拟接口。在一些实施方案中，髌骨切割被确定为髌骨植入体组件的下表面，例如在髌骨植入体组件的配合、尺寸确定、选择和对准过程中。然后，光学头戴式显示器可以投影对应于预定髌骨切割的虚拟切割平面，可选地考虑锯片厚度。虚拟切割平面可以投影到髌骨的表面上，例如周界或关节表面。虚拟切割平面也可以可选地在其延伸穿过骨骼时被投影或显示，例如连接物理骨锯的预定骨切割的入口和出口点。如果使用物理髌骨切割导引物，光学头戴式显示器可以将虚拟切割导引物，例如物理髌骨切割导引物的三维表示、物理髌骨切割导引物的置位指示物或其组合投影到髌骨的表面或周界或边缘上，在那里可以放置物理切割导引物。如果使用铣刀而不是用于放置髌骨元件的锯来移除髌骨骨骼，则前述实施方案中的锯可以由铣刀代替，并且虚拟手术导引物可以例如是虚拟轴线和/或虚拟铣刀和/或虚拟止挡，包括二维或三维轮廓或其置位指示物，或者其组合。光学头戴式显示器可以例如投影铣刀的中心轴线，该中心轴线可以例如对应于髌骨植入体组件的中心轴线，或者可以例如对应于髌骨植入体组件的钉或锚。在一些实施方案中，光学头戴式显示器还可以为铣刀投影虚拟止挡；虚拟止挡可以对应于所需的铣削深度或骨去除深度。虚拟止挡可以可选地对应于铣刀或铣削机的物理组件或扩展器；一旦铣刀或铣削机的物理组件或扩展器到达虚拟止挡，并且例如与虚拟止挡对准和/或叠加在虚拟止挡上，外科医生或可选地机器人可以停止铣削过程。
在步骤780中，韧带平衡可以例如使用软组织释放或额外的骨移除，例如骨切割或再切割来执行。在一些实施方案中，光学头戴式显示器可以显示虚拟手术导引物，其指示例如+1mm、+2mm、+3mm、+4mm的再切除或额外的骨切割，例如，如果在术中识别出屈曲或伸展不足，或者用于在手术过程中优化屈曲间隙或伸展间隙。
膝关节运动学和形态学
在本发明的一个实施方案中，惯性测量单元和/或导航标记和/或图像捕获标记，例如具有几何图案的光学标记和/或发光二极管，包括其组合，可以应用于膝关节的期望位置和/或肢体的其他部分，患者可以进行各种类型的锻炼，并且可以在这些锻炼期间收集来自惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合)的数据和/或坐标，和/或惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合)的位置、速度和轨迹以及位置、坐标、速度和轨迹的变化可以例如使用集成到、附接到或分离于光学头戴式显示器的导航系统和/或图像和/或视频捕获系统和/或三维扫描仪来测量。
锻炼可以例如包括但不限于：正常步态，例如在限定的路径上；以向上的角度模拟上坡行走的步态，例如在以向上角度定向的皮带上；以向下的角度模拟下坡行走的步态，例如在以向下角度定向的皮带上；爬楼梯；下楼；从椅子上站起来；从椅子上站起来走路；从椅子上站起来，上楼和/或下楼；跪着；蹲着；站立；双腿站立；单腿站立
可选地，这些锻炼可以在一个或多个力板上进行，以测量例如接触力、接触时间、脚跟撞击时间、速度和本领域已知的任何其他已知的活动测量。
在本发明的一个实施方案中，使用惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管,包括其组合)从关节获得的关于其定位、定向、对准、速度、移动方向、轨迹、运动学及其变化(例如胫股或髌股运动)的信息可以在静止位置(例如站立和/或躺下)期间产生，和/或可以在锻炼期间产生；可以分析来自锻炼的数据，以获得关于患者膝关节运动学和/或患者膝关节形状和形态的信息。
惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合)的定位、定向、对准、速度、轨迹、坐标及其变化可以产生关于膝关节运动学和/或关节(例如膝关节、肩关节、踝关节、髋关节)的形状和形态的信息。
惯性测量单元和/或导航标记和/或图像捕获标记的定位、定向、对准、速度、轨迹、坐标及其变化，例如具有几何图案的光学标记和/或发光二极管，包括其组合，也可以产生关于患者机械轴线对准的信息。例如，如果惯性测量单元和/或导航标记和/或图像捕获标记(例如，具有几何图案的光学标记和/或发光二极管，包括其组合)位于髋关节、膝关节和/或脚踝周围的选定位置，则数据可用于确定，例如某些锻炼或活动时髋关节的旋转或屈曲和伸展或外展和内收中心、或某些锻炼或活动时踝关节的旋转或屈曲和伸展或外展和内收中心、或某些锻炼或活动时膝关节的旋转或屈曲和伸展或外展和内收中心、如胫股旋转或髌股旋转。然后，该信息可用于确定机械轴线，该机械轴线可用于例如确定内翻或外翻畸形的程度，并且可用于虚拟手术计划，例如选择部分或完全畸形矫正，例如朝向部分内翻或外翻畸形矫正或朝向中性机械轴线的恢复。该信息还可用于确定一个或多个旋转轴线，例如围绕膝关节、髋关节或脚踝的旋转轴线，其可任选地用于确定任何旋转变形(如果适用)和任何期望的旋转矫正(如果适用)，并且其可用于虚拟手术计划，例如选择部分或完全旋转变形矫正。在另一实施方案中，一个或多个旋转轴线(例如围绕膝关节的旋转轴线，例如胫股旋转轴线或髌股旋转轴线)的确定可以用于虚拟手术计划中，目的是放置一个或多个植入体组件，使得对于给定的植入系统，一个或多个关节表面基本上恢复患者的旋转轴线，例如股骨组件和胫骨组件或股骨组件和髌骨股骨组件，例如也通过将植入体组件的一个或多个关节表面与患者的一个或多个关节表面对准，例如使用光学头戴式显示器引导，通过将虚拟植入体组件投影和/或叠加到患者的物理关节上并使植入体组件的一个或多个关节表面与患者的物理关节表面对准。
可以捕获关于操作者和患者以及包括运动关节的相应身体部分的以下示例性信息：速度、速率、加速度、空间位置、位置变化、角度定向、角度定向变化、坐标、对准、定向和/或移动方向和/或移动速度(例如通过顺序测量)。操作者和/或患者身体部位，关于这些部位的信息可由惯性测量单元传输，包括但不限于：头、胸、躯干、肩、肘、手腕、手、手指、手臂、髋、膝、脚踝、脚、脚趾、腿、内部器官，例如脑、心、肺、肝、脾、肠、膀胱等。
应用于第一关节侧的由惯性测量单元和/或导航标记和/或图像捕获标记(例如，具有几何图案的光学标记和/或发光二极管，包括其组合)生成的坐标或任何前述数据的相对移动和变化可以与应用于第二关节侧的由惯性测量单元和/或导航标记和/或图像捕获标记(例如，具有几何图案的光学标记和/或发光二极管，包括其组合)生成的坐标或任何前述数据的相对移动和变化进行比较。
例如，由惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合，应用于股骨关节侧，例如股骨远端和/或周围软组织，包括韧带、肌肉或皮肤)的相对移动和产生的坐标或任何前述数据变化可以与由惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合，应用于胫骨关节侧，例如胫骨近端和/或周围软组织，包括韧带、肌肉或皮肤)的相对移动和产生的坐标或任何前述数据变化进行比较。例如，由惯性测量单元和/或导航标记和/或图像捕获标记(例如，具有几何图案的光学标记和/或发光二极管，包括其组合，应用于股骨关节侧，例如股骨远端和/或周围软组织，包括韧带、肌肉或皮肤)的相对移动和产生的坐标或任何前述数据变化可以与由惯性测量单元和/或导航标记和/或图像捕获标记(例如，具有几何图案的光学标记和/或发光二极管，包括其组合，应用于髌骨关节侧，例如髌骨和/或周围软组织，包括韧带、肌肉或皮肤)的相对移动和产生的坐标或任何前述数据变化进行比较。在任何实施方案中，可以检测光学标记和/或发光二极管，并且可以使用光学成像系统和/或三维扫描仪(例如集成到、附接到或分离于光学头戴式显示器和/或静止位置中的，例如手术室中的固定位置，例如附接到手术台上的)来确定它们的坐标。
通过比较来自第一和第二以及可选的第三关节侧的数据，包括它们彼此之间的相对运动，可以导出接触面形状、接触力、关节形状和/或关节几何结构以及运动学参数的估计，如下文进一步详细描述的。可以使用惯性测量单元和/或导航标记和/或图像捕获标记，例如具有几何图案的光学标记和/或发光二极管，以这种方式测量或获得或导出或估计的参数或数据，包括应用于关节和关节周围的其组合，包括但不限于：内侧关节线在冠状平面和/或矢状平面中的位置，外侧关节线在冠状平面和/或矢状平面中的位置，胫骨内侧坪最低点的位置，胫骨外侧坪最低点的位置、胫骨内侧坪最高前点的位置、胫骨外侧坪最高前点的位置、胫骨内侧坪最高后点的位置、胫骨外侧坪最高后点的位置、内侧股骨远端偏移、外侧股骨远端偏移、内侧股骨后偏移、外侧股骨后偏移、不同屈曲角度下的内侧股骨偏移，例如屈曲20度或30度或任何其他屈曲角度下，不同屈曲角度下的外侧股骨偏移，例如20度屈曲或30度屈曲或任何其他屈曲角度，过度伸展时的内侧股骨偏移，例如5度或10度过度伸展或任何其他过度伸展角度，过度伸展时的外侧股骨偏移，例如5度或10度过度伸展或任何其他过度伸展角度，胫骨内侧坪高度，任选居中、前、后、内侧、外侧；胫骨外侧坪高度，可选地居中、前侧、后侧、内侧、外侧；胫骨内侧坪最低点，胫骨内侧坪最高点，胫骨外侧坪最低点，胫骨外侧坪最高点；接触面积、接触面积的变化、接触面积的移动，例如对于胫骨内侧关节、胫骨外侧关节、髌股关节；接触力，接触力的变化，例如使用惯性测量单元估算，例如用于胫骨内侧关节、胫骨外侧关节、髌股关节；股骨后倾、向前滚动，例如用于胫骨内侧关节运动、胫骨外侧关节运动；股骨旋转，内侧股骨踝；股骨旋转，外侧股骨踝；股骨旋转，整个股骨远端；胫骨旋转，胫骨内侧坪；胫骨旋转，胫骨外侧坪；胫骨旋转，整个胫骨，胫骨坪；胫骨内收；胫骨外展；估计的股骨内侧形状，例如矢状面；估计的股骨外侧形状，例如矢状面；估计的胫骨内侧形状，例如矢状面；估计的胫骨外侧形状，例如矢状面；胫骨斜度，例如内侧、外侧、平均内侧外侧或内侧和外侧的其他组合；胫骨股骨稳定性，例如在骨关节炎方向或骨关节炎方向；胫骨股骨不稳定，例如在正位方向或股骨近端方向；骨赘位置；骨赘体积；肌肉力量，例如腘绳肌、股四头肌，例如股直肌、股内侧肌、股外侧肌、小腿肌肉，例如腓肠肌、比目鱼肌。
生物力学和运动学建模软件，如AnyBody建模系统或Joint Track软件(https:// sourceforge.net/projects/jointtrack/files/？source＝navbar)可以可选地用于基于从惯性测量单元和/或导航标记和/或图像捕获标记(例如，具有几何图案的光学标记和/或发光二极管，包括其组合以及一个或多个图像和/或视频捕获系统和/或三维扫描仪)获得的数据来导出这些参数和本领域已知的任何运动学或生物力学或形态学或形状参数的估计。
各种算法，例如最短路径算法、迪杰斯特拉算法、交替投影方法算法、迪杰斯特拉投影算法、最近邻算法和本领域已知的任何算法，都可以用于获得和/或导出和/或估计任何上述参数和特定应用(例如关节置换)所需的任何其他参数。惯性测量单元和/或导航标记和/或图像捕获标记(例如，具有几何图案的光学标记和/或发光二极管，包括其组合)的位置、定向、对准、速度、轨迹及其变化可用于在各种膝关节锻炼(包括例如屈曲和伸展)期间获得对内侧和外侧关节空间或关节线或髌股关节空间或关节线的位置和定向、内侧和外侧胫骨斜度、不同伸展和屈曲角度的内侧-外侧股骨偏移以及髌骨运动的更精确估计。可以应用各种类型的算法来确定内侧和外侧关节空间或关节线的位置和/或定向、内侧和外侧胫骨斜度、不同伸展和屈曲角度的内侧-外侧股骨偏移和/或髌股关节。例如，步态期间胫骨股骨运动的已知限制之一是股骨的一部分将与胫骨坪的一部分接触。如果一个以上的惯性测量单元和/或导航标记和/或图像捕获标记，例如一个或多个具有几何图案或发光二极管的光学标记，已经被应用到股骨远端，并且类似地，应用到胫骨近端，对于给定的屈曲或伸展角度，最近的股骨和胫骨惯性测量单元或导航标记或图像捕获标记的位置将提供胫骨股骨接触点或接触面积的估计，其又可用于确定或估计不同伸展和屈曲角度的内侧和外侧关节空间或关节线、内侧和外侧胫骨斜度、内侧-外侧股骨偏移。此外，惯性测量单元、导航标记或图像捕获标记的网格或阵列可以应用于关节，例如膝关节。在膝关节的示例中，这种网格或阵列可以应用于例如内侧关节空间区域中的膝关节内侧，外侧关节空间区域中的膝关节外侧，髌骨和/或髌股关节空间的内侧、外侧、下侧或上侧，或者应用于整个膝关节，或者仅应用于前侧、内侧、外侧或后侧。在替代实施方案中，可以在第一静态位置，例如膝关节伸展的直立位置、膝关节屈曲的直立位置、膝关节伸展的仰卧位置或膝关节屈曲的仰卧位置，来执行惯性测量单元、导航标记或图像捕获标记在网格或阵列中的位置的初始配准。附加的配准可以在第二、第三、第四和更多的静态位置执行，例如在不同的屈曲角度、直立或仰卧，或者在动态关节运动期间执行，例如膝关节屈曲或包括旋转的屈曲。例如，最大惯性测量单元或标记移动的区域，例如在相反或不同的方向上，例如不同的旋转，例如在轴向平面上，如惯性测量单元数据中所见，或者导航或图像捕获数据或其组合可以指示或可以用于导出关节空间或关节线的位置，例如内侧、外侧或髌股关节的位置，或者内侧和外侧胫骨斜度，对于不同的伸展和屈曲角度的内侧-外侧股骨偏移。此外，除了内侧或外侧关节线位置之外，这种测量还可用于推导股骨偏移和胫骨斜度的估计。值得注意的是，使用惯性测量单元和/或导航标记和/或图像捕获标记的栅格图案或阵列，例如具有几何图案的光学标记和/或发光二极管，包括其组合，本质上仅仅是示例性的。可以使用本领域已知的任何空间布置，例如股骨惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合)的两个、三个、四个或更多行或层，或者胫骨惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合)的两个、三个、四个或更多行或层。可以使用多个阵列，并且可以例如集成到围绕膝关节全部或部分的软支撑中。如果使用导航，不同的阵列可以例如以不同的频率发射射频信号。如果使用图像捕获，不同的阵列可以例如发射不同波长的光或使用具有不同几何图案的光学标记，例如还识别选定的解剖或生物力学位置，例如股骨内侧远端、股骨外侧远端、胫骨内侧近端、胫骨外侧近端、胫骨前部、髌骨上极、髌骨下极、髌骨内侧边缘、髌骨外侧边缘。可选地，本领域中已知的用于说明膝关节运动期间软组织变形的软件算法和方法可以应用于由惯性测量单元和/或导航标记和/或图像捕获标记生成的数据。
通过使用具有更多惯性测量单元和/或导航标记和/或图像捕获标记的更精细的网格或阵列，例如具有几何图案的光学标记和/或发光二极管，包括其组合，可以可选地提高一些测量的精度。例如，在一些实施方案中，网格越细或者在网格或阵列中使用的测量装置越多，所得数据的空间分辨率就越大。
可选地，内侧或外侧关节空间或髌股关节最初可以使用手动触诊来识别，并且可选地，例如使用视觉标记(例如笔标记等)、惯性测量单元和/或导航标记和/或图像捕获标记来标记。例如，操作者，例如物理治疗师，可以触摸内侧关节空间，例如通过在一系列运动中轻轻移动膝关节。然后操作者可以任选地标记关节空间，例如用笔。然后，操作者可以任选地将惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合)放置在股骨侧靠近关节空间，例如靠近患者皮肤上形成的视觉标记。然后，操作者可以任选地将惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合)放置在关节空间远端，例如靠近在胫骨侧患者皮肤上形成的视觉标记。操作者可以通过放置惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合)对髌股关节空间，例如内侧或外侧，执行相同的操作，可选地在患者皮肤上放置视觉标记或不放置视觉标记。
患者膝关节上的形状信息可以可选地通过影像学检查来增强，例如超声波、计算机断层扫描或磁共振扫描。形状信息可以可选地包括骨骼或软骨信息或其组合。类似地，内侧、外侧和/或髌股关节空间可以通过影像学检查来识别，例如超声波、计算机断层扫描和磁共振成像。然后，操作者可以任选地在患者皮肤上标记关节空间，例如用笔，并将惯性测量单元和/或导航标记和/或图像捕获标记放置在关节空间的两侧，用于说明书中描述的后续测量。可选地，例如，如果超声换能器用于内侧、外侧或髌股关节空间位置和/或定向、胫骨斜度以及股骨或胫骨形状的任何测量，则超声换能器还可以包括或已经附接一个或多个惯性测量单元和/或导航标记和/或图像捕获标记，例如具有几何图案的光学标记和/或发光二极管，包括其组合，使得超声换能器的位置可以容易地在患者坐标系中交叉参考或配准。当影像学检查或装置(例如超声换能器)也用于产生例如远端股骨(例如远端前皮质和上滑车)的图像和合成形状时，这可能特别有用，任选地具有任何骨赘(如果存在的话)，或者近端胫骨和胫骨前坪(如果存在的话)，任选地具有任何骨赘，然后用于产生用于术中参考和导航的患者特异性标记或模板。以这种方式，可以交叉引用患者的任何术前形态学模型(例如，植入体组件放置之前和之后)、患者的术前运动学模型(例如，植入体组件放置之前和之后)、虚拟手术计划(例如，由光学头戴式显示器在手术期间显示的)、以及实际手术器械和实际植入体组件以及包括活体手术部位改变的活体手术部位。可以使用其他的配准和交叉引用方法，包括配准和交叉引用手术部位和一个或多个光学头戴式显示器，例如在美国专利申请序列号62/491,510、美国专利申请序列号15/456,084和PCT国际申请序列号PCT/US2017/021859中描述的那些。这些申请通过引用整体并入本文。
在本发明的另一实施方案中，内侧和/或外侧关节空间和/或髌股关节空间的位置、胫骨斜度、远端股骨偏移、后部股骨偏移、机械轴线和/或旋转轴线以及本领域已知的任何其他解剖标志或解剖学或生物力学轴线可以在影像学检查中测量，例如仰卧位或直立位X光、全长站立X光和本领域已知的任何其他成像技术，例如超声波，可以与使用惯性测量单元和/或导航标记和/或图像捕获标记(例如具有几何图案的光学标记和/或发光二极管，包括其组合)和/或图像捕获标记和系统、导航系统等生成的数据一起、之前或之后被输入到患者的生物力学或运动学模型中。
可选地，说明书中描述的任何测量可以在执行手术之前例如通过将一个或多个惯性测量单元、导航标记(例如射频或逆反射标记)、图像捕获标记(例如具有几何图案的光学标记或发光二极管)放置在患者皮肤上例如放置在关节或关节空间附近而在关节(例如膝关节、髋关节和/或踝关节，或者肩、肘和/或腕关节)上执行。可选地，说明书中描述的任何测量可以在手术期间例如通过将一个或多个惯性测量单元、导航标记(例如射频或逆向反射标记)、图像捕获标记(例如具有几何图案的光学标记或发光二极管)放置在手术期间暴露的患者骨骼或软骨上例如放置在关节或关节空间附近而在关节(例如膝关节、髋关节和/或踝关节，或者肩部、肘部和/或腕关节)上执行。
在本发明的一些实施方案中，在光学头戴式显示器引导的膝关节置换手术中执行一个或多个外科手术步骤之后，可以重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，活体患者体内的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配、叠加和/或配准。在手术组织改变之后匹配、叠加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备，包括植入式和附接式标记，校准和配准体模，包括光学标记、导航标记、红外标记、射频标记、患者特异性标记、具有图像捕获的发光二极管和惯性测量单元。比如，可以使用骨切割表面例如使用表面形状、表面面积或周长或其他特征的远端股骨来执行重新配准，以在执行后续外科手术步骤之前匹配，叠加和/或配准患者实时数据和患者虚拟数据。
本领域技术人员可以将针对脊柱手术、膝关节置换和髋关节置换所描述的相同概念和实施方案应用于人体的其他手术，比如修复或重建前十字韧带、后十字韧带、其他韧带、肩部置换、踝关节置换和/或手腕置换。例如，光学头戴式显示器可以显示或投影一个或多个手术器械、试验植入体或植入体组件或手术器械、试验植入体或植入体组件的一个或多个轮廓或轴线的数字全息图，或以下各项的数字全息图，预定起始点、预定起始位置、预定起始定向/对准、预定中间点、预定中间位置、预定中间定向/对准、预定终点、预定结束位置、预定结束定向/对准、预定路径、预定平面、预定切割平面、预计外形/轮廓/横截面/表面特征/形状/投影、预定深度标记或深度计、预定止挡、预定角度/定向/旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置/植入体/植入体组件/手术器械/手术工具的估计/预计非可视化部分、和/或肩关节置换的一种或多种预定组织变化或改变，其中所述一个或多个数字全息图可用于确定肱骨切除、臂长、关节盂组件倾侧、定向和/或位置，肱骨组件倾侧、定向和/或位置。
光学头戴式显示器可以显示或投影一个或多个手术器械、试验植入体或植入体组件或手术器械、试验植入体或植入体组件的一个或多个轮廓或轴线的数字全息图，或以下各项的数字全息图，预定起始点、预定起始位置、预定起始定向/对准、预定中间点、预定中间位置、预定中间定向/对准、预定终点、预定结束位置、预定结束定向/对准、预定路径、预定平面、预定切割平面、预计外形/轮廓/横截面/表面特征/形状/投影、预定深度标记或深度计、预定止挡、预定角度/定向/旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置/植入体/植入体组件/手术器械/手术工具的估计/预计非可视化部分、和/或脚踝置换的一种或多种预定组织变化或改变，其中所述一个或多个数字全息图可用于显示或投影具有期望坐标、角度、定向和/或对准的预定胫骨切除和/或距骨切除，以实现期望的脚踝对准，包括冠状平面植入体组件对准、矢状平面植入体组件对准(包括弯曲和轴向平面组件对准或旋转)中的至少一者。
肩关节置换，部分或全部，其他肩关节手术
说明书中的任何实施方案也可以应用于部分或全部肩关节置换以及其他类型的肩关节手术，包括例如肩袖修复、修复或去除盂唇撕裂的手术以及各种关节镜和/或开放肩关节手术。例如，光学头戴式显示器引导可用于引导肩关节造影或注射，例如进入肩峰下/韧带下囊以及关节内注射；例如，可以执行过程内成像例如X光荧光透视，其可以包括一个或多个光学标记，一个或多个不透射线的元件叠加和/或附接到患者例如患者的皮肤上，以用于配准目的。一旦患者、光学标记和一个或多个光学头戴式显示器已经在相同的坐标系中配准，荧光检查图像可以由一个或多个光学头戴式显示器显示例如显示在相对于患者的预定平面中、例如显示在平行于患者休息的荧光检查单元台管和/或平行于图像增强器和/或X光管并穿过肱骨头或关节盂中心的投影中的正位肩部视图中，当外科医生推进针或套管针时，不需要重复荧光透视，从而减少对患者和操作者(例如放射科医师或外科医生)的辐射暴露。
在部分或全部肩关节成形术的示例中，表16示出了使用光学头戴式显示器来引导手术的一些实施方案。
表16：光学头戴式显示器引导对肩关节成形术的益处。示例性外科手术步骤以说明性的、非限制性的顺序列出，以及使用一个或多个光学头戴式显示器来引导手术的相应实施方案。
/>
/>
/>
/>
/>
一个或多个光学标记，例如具有几何图案的光学标记、发光二极管、导航标记，例如射频或红外标记、校准或参考体模、三维扫描仪和说明书中描述的或本领域已知的其他技术可以用于将术中解剖结构与例如术前解剖结构(例如在扫描中可视化或检测到的解剖结构)以及一个或多个光学头戴式显示器配准。可以使用一个或多个坐标系(例如共同坐标系)以及可选的子坐标系(例如参考共同坐标系的坐标系)来执行配准。一个或多个光学标记，例如具有几何图案的光学标记、发光二极管、导航标记，例如射频或红外标记、校准或参考体模，可以附接到肩关节例如喙突、肩峰和肱骨近端的大结节、或其他解剖结构。可以使用摄像头、视频或图像捕获系统和/或三维扫描仪来检测一个或多个光学标记和/或发光二极管，所述摄像头、视频或图像捕获系统和/或三维扫描仪使用说明书中描述的技术集成到一个或多个光学头戴式显示器中、附接到一个或多个光学头戴式显示器或与其分离。可以使用导航系统检测导航标记。可以使用说明书中描述的技术来追踪手术器械，例如在题为“手术器械的追踪”的示例中，并且它们的可视部分例如轴线可以与虚拟手术器械或虚拟轴线例如扩孔轴线、例如关节盂扩孔轴线或肱骨扩孔轴线对准。如果已知手术器械的几何结构并且使用例如光学标记、发光二极管、惯性测量单元、导航标记、校准或参考体模、三维扫描仪和/或空间映射来追踪手术器械，则可以显示手术器械的隐藏部分，例如隐藏在软组织内。物理手术器械的隐藏部分可以可选地与虚拟扩孔或拉孔或其他轴线或者预定虚拟器械位置和/或定向和/或对准和/或行进方向一起显示，并且可选地与虚拟扩孔或拉孔或其他轴线对准，这可以由光学头戴式显示器同时显示。
指针或指示装置，例如具有一个或多个附接的光学标记，例如具有几何图案，和/或发光二极管、惯性测量单元、导航标记、校准或参考体模可用于触摸和指向肩关节中的解剖结构，例如肱骨的盂、喙突或大结节或其他结构，例如当执行旋转或圆形或椭圆形运动时，枢转算法或其他算法可用于追踪器械运动，由此用于确定指针或指向器械的尖端的位置以及尖端触碰或接触的解剖标志的坐标。
作为使用光学标记、发光二极管、惯性测量单元、导航标记、校准或参考体模中的一个或多个来追踪解剖结构和/或器械的替代方案，患者解剖标志例如肱骨的喙突、关节盂或大结节，以及手术器械例如扩孔器、锯或拉刀，可以在手术过程中用光学成像装置，例如三维扫描仪来捕获、配准和追踪。在使用图像捕获和/或视频捕获的过程中，例如使用集成在光学头戴式显示器中、附接到光学头戴式显示器或与光学头戴式显示器分离的图像捕获或视频系统，可以捕获、配准和追踪患者解剖标志例如喙部、盂部或肱骨大结节，以及手术器械例如扩孔器、锯或拉刀。图像可以被处理以检测解剖标志和/或检测器械，并在过程中追踪它们中的一个或两个。
例如，软件可以利用OpenCV代码(例如，OpenCV 2.4,Intel Inc.,Santa Clara,CA)，其可以用于定义每个标记的本标志记坐标系和姿态。微软全息眼镜空间映射库(Microsoft,Redmond,WI)可用于使用深度相机扫描产生表面网格；可以使用质谱微软全息眼镜对象检测库来识别平面。空间映射信息可用于相对于光学头戴式显示器定义标记坐标。基于关于标记的已知形状和尺寸的预先存在的信息，可以使用深度信息来进一步细化标记坐标。缩放因子可以使用标记的预先存在的已知形状和尺寸信息应用于虚拟数据。空间图可用于从局部标记坐标系(例如，附接在患者肩部或手术台上的标记)转换为全局光学头戴式显示器坐标。
患者的肩关节、一个或多个光学头戴式显示器、一个或多个虚拟数据集或虚拟数据可以在共同坐标系中配准。在肩关节中，两个相对的关节表面，例如具有相对的软骨表面和下面的软骨下骨，可以分别和/或可选地在坐标系例如共同坐标系中联合配准。第一关节表面可以位于肩胛骨侧即关节盂上，第二关节表面可以位于肱骨近端上。将第一关节表面和/或相关联的骨骼和/或结构与第二关节表面和/或相关联的骨骼和/或结构分别在共同坐标系中配准可以具有以下优点，允许第一关节表面和/或相关联的骨骼和/或结构相对于第二关节表面和/或相关联的骨骼和/或结构(例如关节窝上)相对于第二关节表面和/或相关联的骨骼和/或结构的运动(例如屈曲和/或伸展和/或旋转和/或外展和/或内收和/或抬高和/或其他运动(例如平移)例如在肱骨近端上，同时保持第一关节表面和/或相关骨骼和/或结构(例如在关节盂上)和/或第二关节表面和/或相关骨骼和/或结构(例如在肱骨近端上)的配准，例如在共同坐标系或子坐标系中，可选地与手术室中的一个或多个光学头戴式显示器和/或固定结构(例如手术台)和/或患者的其他结构或解剖标志(例如不考虑患者的运动)。以这种方式，肩关节可以放置在不同的位置，例如屈曲、伸展、旋转、外展、内收，例如肩关节外展的程度，例如70度、80度、90度或其他角度，例如在关节盂组件的放置过程中，以及肩关节外展的程度，例如0度、20度、30度或其他角度，在肱骨组件的放置过程中，或者根据外科技术和外科医生的偏好，任一组件放置的任何其他角度，尽管关节盂的配准和/或肱骨近端的配准以及任何虚拟数据(例如虚拟手术导引物、虚拟切面、关节盂和/或肱骨近端上的虚拟植入体组件)的显示可以保持并叠加到相应的解剖区域(例如用于植入体组件放置的区域)上，而与关节的各个部分的运动无关，从而允许一个或多个光学头戴式显示器例如以相切、相交和/或偏移的方式，例如在正常、受损和/或患病软骨和/或软骨下骨和/或皮质骨的外部和/或内部，保持叠加在物理关节解剖结构的相应部分上的虚拟数据的解剖配准显示，所述物理关节解剖结构例如关节表面，包括正常、受损和/或患病软骨和/或软骨下骨和/或皮质骨。
手术器械，例如肱骨切割导引物、肱骨扩孔器、肱骨拉刀、关节盂扩孔器、关节盂模板、钻头、销、锯等可以通过一个或多个光学头戴式显示器在外科医生的患者实时视图中被追踪，并且一个或多个光学头戴式显示器可以投射被组织隐藏的器械的不可见部分及其相对于光学头戴式显示器的方向。除了器械的隐藏部分之外，光学头戴式显示器还可以共同投影患者组织(例如骨和/或软组织)内的预定扩孔轴线、拉削轴线、钻孔轴线、器械路径、位置、定向和/或对准。光学标记可以附接到器械上，例如肱骨切割导引物、肱骨扩孔器、肱骨拉刀、关节盂扩孔器、关节盂模板、钻头、销、锯等。标记可以固定在器械上规定的位置。已知器械的几何结构，例如肱骨切割导引物、肱骨扩孔器、肱骨拉刀、关节盂扩孔器、关节盂模板、钻头、销、锯等，可以计算器械的位置和定向。例如，对于像具有尖端的指针这样的器械，其旋转定向与指向轴线对准，仅可以使用两个标记或具有足够几何信息的一个标记，例如沿着器械的长轴线用于精确的坐标确定，例如2cm、3cm、4cm、5cm、6cm、7cm、8cm、9cm或10cm长和/或分开的长度和例如1cm、2cm、3cm、4cm、5cm、6cm或7cm宽和/或分开的宽度，这也取决于摄像头系统的空间分辨率。通常，摄像头或视频系统的空间分辨率越高，可能的标记大小就越小。标记的三维坐标可以由一个或多个光学头戴式显示器使用集成到或附接到光学头戴式显示器的摄像头或视频系统来识别。使用第一和第二标记的坐标，或者具有足够大小和/或长度和/或宽度和/或深度的单个标记来确定长轴线，例如2cm、3cm、4cm、5cm、6cm、7cm、8cm、9cm或10cm长和/或1cm、2cm、3cm、4cm、5cm、6cm或7cm或其他cm宽和/或1cm、2cm、3cm、4cm、5cm、6cm或7cm或其他cm深，指向尖端方向的向量可以由一个或多个光学头戴式显示器计算和显示，以指示叠加在手术部位上的器械隐藏部分的方向，使得外科医生能够将器械与预定路径对准，例如关节盂的扩孔轴线、肱骨的扩孔轴线或肱骨的拉削轴线，该预定路径使用标准或虚拟规划接口定义，并且可选地由一个或多个光学头戴式显示器投影，例如与隐藏在组织内的器械的任何部分的投影一起。第二种方法可以使用枢转，一种用于确定尖端位置的数学技术。通过枢转，器械尖端可以固定在组织上的一个位置，同时整个器械可以移动。附接的光学标记可以在球面上移动。这导致入口或触摸点的精确配准。
在另一个示例中，可以使用空间映射来确定解剖标志的坐标。患者物理解剖结构上的解剖标志可以数字化，以便与虚拟模型配准。为此，当外科医生可以在解剖标志(例如喙突、盂缘或肱骨头或其他解剖标志)的表面上移动其尖端时，可以追踪带有光学标记、发光二极管或导航标记或其他标记的指针器械的运动。当外科医生“绘制”标志表面时，可以使用说明书中描述的一些方法，例如在标题为“手术器械的追踪”的部分中，从光学标记、发光二极管或导航标记或其他标记来计算器械尖端的位置，从而生成解剖标志或患者解剖结构的点云和/或表面，例如关节表面。
生成虚拟模型
在另一实施方案中，例如在实际手术之前，以标准DICOM 3.0格式导入计算机断层扫描数据的基于计算机或多媒体计算机的应用程序可以用于肩关节成形术的手术计划。开源DCMTK DICOM工具包(OFFIS，Oldenburg，Germany)可用于实现与DICOM相关的功能。肩关节骨骼的表面可以使用等值面算法从计算机断层扫描中提取，例如类似于Lorensen发表的(Lorensen WE,Cline HE.[ed.],in M.C.Stone.1987.Marching cubes:A highresolution 3d surface construction algorithm.Proceedings of SIGGRAPH87.pp.163-169)。用户接口可用于手动分离肱骨和肩胛骨的表面。此外，用户接口可用于标记骨标志的表面，例如肱骨头和大结节或喙突和肩胛骨的盂缘，例如使用追踪工具或种子点部署工具。所有虚拟骨骼模型表面都可以以OBJ文件格式保存为网格数据。对于光学头戴式显示器和PC机之间的通信，可以使用客户机-服务器通信系统，例如使用统一传输层应用编程接口。数据可以通过光学头戴式显示器与PC机和/或计算机之间的无线连接进行传输。
表面配准方法将虚拟模型与实时表面数据配准
对于从通过透视光学头戴式显示器的计算机断层扫描和实时视图获得的虚拟模型的对准，可以使用用于肱骨和肩胛骨的虚拟模型中识别的骨标志与例如外科医生使用指针“绘制”或触摸骨表面数字化的标志的表面配准的算法，并产生如前说明书中所述的表面点。该算法可以基于迭代最近点技术，如Besl等人所述(Besl PJ,McKay ND.2,1992.Amethod for registration of 3-D shapes.IEEE Trans PAMI,Vol.14,pp.239-256)，它可以使用刚性变换最小化待配准表面中对应点对之间的距离。骨模型与数字化标志的配准结果可以由肱骨和肩胛骨的两个变换H1和S1组成，这两个变换描述了对准。通过光学头戴式显示器对视图位置或定向的任何改变都需要更新配准。为此，例如在手术开始时，可以将光学标记、发光二极管、导航标记或其他标记附接到肱骨和肩胛骨例如喙突。这些标记的基线三维坐标可以在配准期间被测量和保存，其可以包括初始光学头戴式显示器位置和定向。来自标记的信息可以例如用于更新配准信息。
通过光学头戴式显示器显示与实时视图重叠的虚拟模型的软件组件。
附接在肱骨和肩胛骨上的光学标记可以被连续或间歇地追踪，并且，例如，使用如前所述的虚拟模型和光学标记之间的空间关系，可以实时更新覆盖在患者的实时物理解剖结构上的虚拟模型的显示位置，例如，断层扫描或磁共振成像扫描的三维重建或其他虚拟数据，例如，数据显示或突出敏感解剖结构。在使用例如变换矩阵H1和S1变换到光学头戴式显示器实时视图的坐标系中之后，虚拟肱骨和肩胛骨模型的网格或任何相关的虚拟手术计划，例如虚拟肱骨颈部切口或关节盂或肱骨扩孔或拉削轴线，可以使用例如微软全息工具包编程接口(Microsoft,Redmond,WI)渲染为全息图。之后，可以连续更新配准，以便实时补偿光学头戴式显示器视图中的变化。为此，可以连续追踪附接于肱骨和肩胛骨和/或盂的光学标记，包括例如喙突。例如，可以如下连续更新配准：对于肱骨和肩胛骨和/或关节盂，可以计算变换矩阵H2和S2，其将例如在第一次配准期间确定的初始标记坐标映射到光学头戴式显示器坐标系中的当前标记坐标。虚拟骨模型与光学头戴式显示器的实时视图的更新对准可以分别由H2与H1和S2与S1的串联产生。
用于全肩关节成形术的手术计划系统，使用例如基于PC机和/或新型虚拟光学头戴式显示器用户接口和软件来投影预定的扩孔路径和虚拟手术器械，包括组织外部和/或组织内部，例如隐藏在组织内部。
手术计划的基于PC机的用户接口可以在手术室的服务器上实现。该接口可以允许轴向、矢状和冠状二维视图的双重或多重显示模式，包括例如倾斜投影。该接口还可以允许显示骨骼解剖结构的三维重建，可选地具有透明视图，例如同时显示二维图像和/或各种组织的重建或多个三维显示。该接口可以提供不同植入体组件以及螺钉或锚的三维计算机辅助设计文件的导入和显示，以放置在关节盂骨穹窿中。该接口可以允许通过关节盂显示二维和三维断层扫描切片和/或图像，例如显示关节盂骨储备，可选地同时显示虚拟植入体组件和/或预定器械路径和/或预定锚件放置和/或预定扩孔、拉削和/或冲击轴线，可选地在关节表面外部，例如用于虚拟导向器或模板，例如在相对于关节表面非相切或相切的位置，例如非相交的位置，并且可选地也在患者骨骼内的关节表面内部，可选地与物理器械的隐藏部分共同显示。该接口可以输入和显示不同器械和器械组件的三维计算机辅助设计文件，如锯导引物、扩孔器、扩孔器等。所有组件的计算机辅助设计文件都可以使用STL(Stereolithography)网格文件格式。可以选择将计算机辅助设计文件转换为WavefrontObject文件格式(*.obj)供光学头戴式显示器显示。使用鼠标或轨迹球，接口可以允许外科医生定义器械和关节盂螺钉或锚(例如中央关节盂螺钉)的入口点和向量。基于PC机的接口可以允许外科医生将关节盂和肱骨组件投射到关节盂和肱骨上。基于PC机的接口可以允许为虚拟手术计划设置以下示例性的、非限制性的参数：1.关节盂组件后倾和/或倾斜，2.关节盂组件扩孔和/或钻孔深度，3.关节盂组件螺钉位置和/或定向，螺钉长度，4.肱骨组件放置，包括肱骨近端切割位置，5.肱骨组件颈部角度用于组件选择，6.肱骨组件倾侧，7.关节盂和/或肱骨组件倾侧，例如关节盂-肱骨组合倾侧，类似于或基本上相同于患者的原生未手术解剖结构，可选地矫正畸形，8.肱骨偏移。以这种方式生成的计划数据，例如使用组合的关节盂-肱骨倾侧，可以与手术导航、机器人引导手术和光学头戴式显示器引导手术一起使用，并且可以与它们各自的虚拟手术计划和手术计划执行一起使用或输入到它们各自的虚拟手术计划和手术计划执行中。例如，除了二维或三维断层扫描或磁共振成像或其他图像之外，规划数据还可以由一个或多个光学头戴式显示器显示，并且可以在介入期间用作实时光学引导的输入。三维数据可以由光学头戴式显示器显示，该光学头戴式显示器与患者的肩部解剖结构配准并叠加在其上；如果外科医生选择显示二维图像，例如斜冠状或轴向图像，软件可以显示与患者的相应坐标配准并叠加在其上的所选切片。
还可以实现用于植入体放置的虚拟接口，该虚拟接口叠加在患者的实时解剖结构上，用于确定植入体的尺寸和评估植入体的配合。虚拟的，例如立体和/或电子全息接口可以结合手势和全息菜单按钮用于用户交互。它可以基于全息工具包应用编程接口(API)(Microsoft,Redmond,WI)提供的功能，例如，可以包括3种操作植入体组件的模式。此外，由观察方向控制的光标(凝视光标)可以用于植入体的放置、移动、尺寸确定和/或配合。虚拟菜单可以投影到视野中，例如手术野旁边。它可以包括用于选择植入体组件的按钮(例如关节盂或肱骨组件，例如有多种尺寸和形状)、用于尺寸选择的按钮和用于模式选择的多个按钮，例如三个。三种模式可以是1.)沿x轴线(水平)和y轴线(竖直)平移，2.)绕x轴线和y轴线旋转，以及3.)沿z轴线平移和绕z轴线旋转。
植入体组件的初始放置可以由凝视光标控制，例如集成到光学头戴式显示器中。用户可以将凝视光标指向肩关节，通过改变观察方向可以在肩关节处放置植入体组件。可以使用手指轻敲手势或语音命令将组件锁定在适当的位置。初始z位置(例如距OHMD显示器的距离)可以基于表面网格，例如由深度相机创建，例如集成或附接到光学头戴式显示器或与光学头戴式显示器分离。初始放置后，用户可以使用3种模式中的任何一种来调整组件的位置和定向。可以通过将凝视光标指向相应的菜单按钮之一并通过选择按钮来选择模式，例如用手指轻敲手势或语音命令。一旦选择了一种模式，组件的位置或定向也可以例如通过水平或竖直的手运动来调整。例如，使用手势识别，例如集成在利用HPU(Microsoft,Redmond,WI)的微软全息眼镜中，可以追踪外科医生的手和/或手指。该软件可以使用光学头戴式显示器在相对于外科医生的手或选择的手指的坐标的限定位置投影植入体组件，例如相对于外科医生的手或选择的手指(例如指尖)的坐标在z方向、x方向、y方向或其组合上偏移1cm、2cm、3cm、4cm、5cm、6cm、7cm、8cm、9cm或10cm。当外科医生移动手或选择手指朝向或远离关节时，植入体组件的光学头戴式显示器投影可以相应地跟随，例如行进相同的距离或更小的距离或更大的距离。例如，植入体组件的虚拟投影行进的距离可以是手或手指行进的距离的一定比率，例如3:1、2:1、1.5:1、1.2:1、1:1、1:1.1、1:1.3、1:1.5、1:2、1:3、1:4。任何比率都是可能的。手或手指的运动和虚拟植入体组件之间也可能存在任何线性或非线性关系。当需要快速放置时，例如在初始虚拟植入体放置期间，手或手指移动与虚拟植入体组件移动的低比率，例如1:3或1:4，可能是理想的。当需要小心精确地放置虚拟植入体组件时，例如在小空间或小关节中，手或手指运动与虚拟植入体组件运动的高比率，例如3:1或2:1，可能是理想的。在手或手指运动与虚拟植入体组件运动的低比率(小的手或手指运动导致大的虚拟植入体组件运动)在植入体尺寸确定期间可能是理想的，即评估投射到患者物理植入部位的不同植入体尺寸。在手或手指运动与虚拟植入体组件运动的高比率(大的手或手指运动导致小的虚拟植入体组件运动)在最终的植入体配合和/或对准期间可能是理想的。一旦达到包括对准在内的最终植入位置，外科医生可以执行语音、手势或其他命令来“锁定”共同坐标系中虚拟植入坐标的坐标。然后，坐标可用于制定、调整或修改植入体放置的一个或多个手术步骤，例如骨去毛刺、钻孔、扩孔、拉削或切割骨。
作为替代，具有两个或更多个附接的光学标记、发光二极管或导航标记或其他标记的杆或棒可用于放置、移动、对准、定向、配合和确定一个或多个植入体组件的尺寸。光学标记、发光二极管或导航标记或其他标记的坐标可以按照说明书中的描述进行追踪。杆或棒可以被成形为保持在外科医生的拇指和食指之间。软件可以使用光学头戴式显示器在相对于棒的坐标的限定位置投影植入体组件，例如相对于杆或棒的中点或其他坐标在z方向、x方向、y方向或其组合上偏移1、2cm、3cm、4cm、5cm、6cm、7cm、8cm、9cm或10cm。当外科医生将杆或棒移向或移离关节时，植入体组件的光学头戴式显示器投影可以相应地跟随，例如行进相同的距离或更小的距离或更大的距离。例如，植入体组件的虚拟投影行进的距离可以是物理杆或棒行进的距离的一定比率，例如3:1、2:1、1.5:1、1.2:1、1:1、1:1.1、1:1.3、1:1.5、1:2、1:3、1:4。任何比率都是可能的。物理杆或棒和虚拟植入体组件之间的任何线性或非线性关系也是可能的。当需要快速放置时，例如在初始虚拟植入体放置期间，物理杆或棒运动与虚拟植入体组件运动的低比率，例如1:3或1:4，可能是理想的。当需要小心精确地放置虚拟植入体组件时，例如在小空间或小关节中，物理杆或棒运动与虚拟植入体组件运动的高比率，例如3:1或2:1，可能是理想的。在植入体尺寸确定过程中，物理杆或棒运动与虚拟植入体组件运动的低比率(小杆或棒运动导致大的虚拟植入体组件运动)可能是理想的。在最终的植入体配合和/或对准期间，物理杆或棒运动与虚拟植入体组件运动的高比率(大的杆或棒运动导致小的虚拟植入体组件运动)可能是理想的。
一旦外科医生将植入体的三维投影移动到相对于关节的期望位置和定向，可以使用语音命令或另一命令锁定该位置和定向。在另一个示例中，杆或棒可以包括开关或按钮，当杆或棒以及虚拟植入体组件已经到达关节上的期望位置时，可以通过例如用拇指按压开关或按钮来激活开关或按钮。
可以用相应的菜单按钮选择不同的植入体组件或尺寸。使用凝视和手指敲击或语音命令触发按钮，可以显示用于选择植入体组件和/或尺寸和/或的下拉列表。
本领域技术人员可以认识到，用于一个或多个虚拟植入体组件的放置、移动、对准、定向、装配、确定尺寸等的虚拟和其他界面或方法、系统或装置的前述实施方案可以应用于说明书中的任何其他应用，例如部分或全部膝关节置换、髋关节置换、肩部置换、踝关节置换、脊柱融合、脊柱手术、椎间盘置换、韧带修复和/或重建，包括前交叉韧带或其他韧带、牙科手术、牙科植入体和其他牙科装置、血管或其他装置等。
可选地，患者的计算机断层扫描可以由光学头戴式显示器叠加，例如与关节盂螺钉或锚的显示配对。以这种方式，外科医生可以利用相对于关节盂表面和/或关节盂边缘和/或底层骨质的虚拟或其他接口来优化组件位置。外科医生还可以优化关节盂螺钉的位置和/或长度和/或厚度，从而优化患者的骨固定。因此，通过评估多参数信息，可以使用一个或多个光学头戴式显示器放置关节盂组件，多参数信息包括但不限于，例如
-关节盂的外部关节表面形状和大小、尺寸、形状
-盂缘的外形
-关节盂倾侧，倾斜度
-底层骨储备
-下方骨骼的大小、深度、宽度、长度、尺寸
-骨锚的大小、深度、宽度、长度、尺寸
因此，光学头戴式显示器可以例如在虚拟植入体或器械移动、对准、定向、定尺寸、配合和/或选择的一个或多个过程中显示以下一个或多个：
-显示以下一项或多项的关节盂关节表面外部的虚拟数据，虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻头、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变
-关节表面之下或内部(例如骨内)的虚拟数据的显示，例如虚拟植入体的隐藏部分、虚拟植入体组件的隐藏部分、虚拟锚的隐藏部分、虚拟器械的隐藏部分、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具、包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线、预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变、大小、长度、宽度、深度、尺寸，例如骨储备的长度、宽度、深度、高度、体积或面积，如在共同显示的计算机断层扫描或计算机断层扫描信息上看到的。
虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟手术导引物或切割块、虚拟手术工具、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻孔和其他虚拟信息或显示可以相对于关节表面外部的关节表面的至少一部分以相切位置和/或定向显示。虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟手术导引物或切割块、虚拟手术工具、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻孔和其他虚拟信息或显示可以相对于关节表面外部的关节表面的至少一部分以非相切位置和/或定向显示。虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟手术导引物或切割块、虚拟手术工具、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻孔和其他虚拟信息或显示可以相对于关节表面外部的关节表面的至少一部分以交叉位置和/或定向显示。虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟手术导引物或切割块、虚拟手术工具、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻孔和其他虚拟信息或显示可以相对于关节表面外部的关节表面的至少一部分以非交叉位置和/或定向显示。
虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟手术导引物或切割块、虚拟手术工具、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻孔和其他虚拟信息或显示可以相对于关节表面内部或下方的关节表面的至少一部分以相切位置和/或定向显示。虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟手术导引物或切割块、虚拟手术工具、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻孔和其他虚拟信息或显示可以相对于关节表面内部或下方的关节表面的至少一部分以非相切位置和/或定向显示。虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟手术导引物或切割块、虚拟手术工具、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻孔和其他虚拟信息或显示可以相对于关节表面内部或下方的关节表面的至少一部分以交叉位置和/或定向显示。虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟手术导引物或切割块、虚拟手术工具、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻孔和其他虚拟信息或显示可以相对于关节表面内部或下方的关节表面的至少一部分以非交叉位置和/或定向显示。
因此，外科医生可以使用关于患者外部解剖结构的信息，患者内部解剖结构包括骨储备。如果使用虚拟接口定义的最终植入位置不同于在虚拟手术计划中制定的最终植入位置，则虚拟手术计划和所有后续步骤可以选择性地相应调整。
图36是虚拟切割块的增强现实OHMD显示的非限制性说明示例，该虚拟切割块与患者的实时物理肱骨配准并叠加在其上，以对准物理切割块。在图36A中，肱骨头600的外表面和肱骨颈604的外表面被暴露。肱骨颈外表面存在骨赘。肱骨干608的外表面也部分暴露。可以看到各种组织牵开器610，其牵开例如皮下组织和/或脂肪612。在图36B中，虚拟肱骨切割块614(点画线)由光学头戴式显示器投影到肱骨轴608的外表面和肱骨颈604的外表面上，在用于颈部切割的预定位置和定向，例如基于虚拟手术计划和例如特定植入体大小和/或尺寸，例如颈部长度、颈部角度、肱骨头尺寸。虚拟肱骨切割块614包括虚拟钻孔616和虚拟手术导引物618。虚拟钻孔616可以通过将物理切割块中的物理钻孔与虚拟钻孔616对准来促进物理切割块的对准。虚拟钻孔616还可以通过将物理钻孔对准虚拟钻孔来促进物理钻孔的放置。虚拟手术导引物618可用于对准物理切割块中的物理手术导引物，以及对准物理锯片。在图36C中，外科医生将通过透视光学头戴式显示器看到的实际肱骨切割块620(实线)与由透视光学头戴式显示器投影到患者肱骨颈604和轴608的外表面上的虚拟肱骨切割块614(点画线)对准并叠加。物理钻孔622对准并叠加到虚拟钻孔616上。物理手术导引物624与虚拟手术导引物618对准并叠加在其上，参见图36B。在图36D中，外科医生已经使用穿过物理钻孔622插入的钻头或销626将物理切割块620固定到患者的肱骨轴线和颈部。
图37是虚拟关节盂模板的非限制性说明示例，该虚拟关节盂模板通过光学头戴式显示器与患者的实时物理关节盂配准并叠加在其上，以对准物理关节盂模板。在图37A中，可以看到各种组织牵开器610，牵开肌肉和皮下组织和/或脂肪612。关节盂和关节盂缘630外露。在图37B中，一个或多个光学头戴式显示器投影虚拟关节盂模板632(点画线)，例如在预定和/或术中确定的虚拟手术计划的位置和/或定向和/或对准中，叠加在关节盂的外部暴露表面上。通过一个或多个光学头戴式显示器同时显示射线照相、计算机断层扫描或磁共振成像或其他图像是可能的，例如显示关节盂骨穹窿或骨储备或喙肩弓，这对于确定或调整虚拟和/或物理关节盂模板的位置和/或定向和/或对准是有用的，例如用于优化外部植入体对准和关节盂覆盖，同时优化可用于固定一个或多个关节盂螺钉或锚的骨量。虚拟关节盂模板632可以包括与物理关节盂模板中的特征相对应的特征，例如，在该示例中，一个或多个开口及其相应的边缘634和用于放置中心螺钉或锚的中心钻孔636。在图37C中，物理关节盂模板644(实线)与虚拟关节盂模板632(点画线)对准；包括其在物理关节盂模板中的边缘638的物理开口与虚拟关节盂模板632中的虚拟开口634对准。物理中心钻孔640与虚拟中心钻孔636对准。手柄642也存在于物理关节盂模板644中。一旦物理关节盂模板644与包括其一个或多个特征的虚拟关节盂模板632对准，外科医生可以例如可选地转动OHMD显示器(图37D)并执行外科手术步骤，例如钻孔以放置中心螺钉或锚或多个螺钉或锚，或者固定关节盂模板。在虚拟显示中包括多个内部或外部特征，例如中心钻孔或多个钻孔，或者一个或多个开口或延伸部或延伸件，这些特征对应于物理手术器械中的特征并且具有相同或相似尺寸的特征，例如当虚拟器械投影到关节或骨骼或牙齿或其他解剖区域的外表面上时，可以帮助提高物理器械与虚拟器械对准和叠加的精度。
图38是通过一个或多个光学头戴式显示器对虚拟扩孔轴线的投影的非限制性说明示例。在图38A中，可以看到各种组织牵开器610，牵开肌肉和皮下组织和/或脂肪612。关节盂和关节盂缘630外露。在图38B中，一个或多个光学头戴式显示器显示虚拟扩孔轴线650(点画线)，例如基于虚拟手术计划。虚拟扩孔轴线650被选择、放置、定向和/或设计成产生预定的关节盂组件或植入体位置、定向、对准、倾斜和/或倾侧，例如基于组合的关节盂-肱骨倾侧。虚拟扩孔轴线650投影到关节的外部关节表面例如关节盂。然后，物理关节盂扩孔器656的轴654与虚拟扩孔轴线650对准，使得在该示例中，虚拟扩孔轴线650穿过轴的中心和/或扩孔器/手术器械的长轴线。物理扩孔表面652抵靠物理关节盂630前进，同时保持物理扩孔器的轴654的中心与虚拟扩孔轴线650的对准和/或重叠，和/或同时保持扩孔器/手术器械的长轴线或中心轴线与虚拟扩孔轴线650的对准和/或重叠。
该软件还可以提供基于虚拟手术计划的虚拟器械的显示，例如由光学头戴式显示器投影到关节盂上的虚拟关节盂模板的显示，用于对准用于螺钉放置的物理关节盂模板。虚拟器械的计算机辅助设计文件，例如关节盂扩孔器或关节盂模板，可以使用激光扫描生成，也可以直接从制造商处获得。计算机辅助设计文件可以是STL格式。计算机辅助设计文件可以转换成Wavefront Object文件格式(*.obj)由一个或多个光学头戴式显示器显示。一个或多个光学头戴式显示器可以基于在虚拟手术计划中确定的植入位置投影具有最终坐标的虚拟手术器械。
光学头戴式显示器引导的手术技术的准确性可以通过尸体上的手术导航来评估。可以使用TSA的商用导航系统(Exactech，Gainesville，FL)。除了光学标记、发光二极管、惯性测量单元、导航标记和/或其组合之外，导航标记可以放置在喙突、盂缘和标准位置上，用于光学头戴式显示器引导。导航系统和使用光学头戴式显示器的光学引导系统都可以通过识别尸体和尸体计算机断层扫描中相应的标志(例如喙突、盂缘等)而被配准到物理肩关节和从计算机断层扫描导出的肩部虚拟模，分别使用导航和光学头戴式显示器引导指针，例如用于“绘制”一个或多个解剖标志的表面。该过程可以使用光学头戴式显示器引导来执行，包括关节盂的手术准备(扩孔、钻孔)和关节盂组件的植入。导航指针可用于映射使用光学头戴式显示器引导植入的组件的坐标和倾侧。坐标和倾侧可以与基于导航的手术计划和光学头戴式显示器虚拟手术计划中的预期坐标和倾侧进行比较。
确定中心或旋转，测量肩关节运动学
在另一示例中，通过将光学标记附接到肱骨的内上髁和/或外侧上髁和/或其他部位，并且通过执行圆周运动，一个或多个光学头戴式显示器的视频系统可以追踪一个或多个光学标记的运动，例如具有几何图案、发光二极管、图像捕获标记和/或其他标记，并且肩关节的旋转中心可以使用例如枢转算法来确定。反过来，该信息可用于选择肱骨头尺寸和关节盂组件厚度，这将有助于保持患者的旋转中心类似于给定手术计划中患者的原生未手术肩关节。此外，植入的关节盂试验组件或关节盂组件的实际位置可以例如使用附接有光学标记的指针来确定，并且可以与虚拟手术计划中计划的关节盂组件位置例如倾侧和倾斜度进行比较。计划倾侧与实际倾侧之间的差异可以用于例如调整肱骨组件倾侧，其可以通过光学头戴式显示器结合到虚拟扩孔器和拉刀的投影中，同时物理扩孔器和拉刀与投影对准，从而例如旨在实现将近似于患者的肱骨-关节盂组合倾侧。相反，如果首先植入肱骨组件，植入的肱骨试验组件或肱骨组件或可选的肱骨扩孔器或拉刀的实际位置可以通过例如附接有光学标记或导航标记的指针来确定，并且可以与虚拟手术计划中计划的肱骨组件位置进行比较，例如倾侧、偏移、倾斜度。计划倾侧和实际倾侧之间的差异可用于例如调整关节盂组件倾侧，该关节盂组件倾侧可通过光学头戴式显示器结合到虚拟扩眼器的投影中，同时物理扩眼器与投影对准，从而例如旨在实现肱骨倾侧，该肱骨倾侧产生将近似于患者的肱骨-关节盂组合倾侧。
在实施方案中，一个或多个光学头戴式显示器的视频系统可以追踪一个或多个光学标记的运动，例如具有几何图案、发光二极管、图像捕获标记和/或其他标记，可选地与惯性测量单元结合例如附接到肱骨远端和/或关节盂和/或喙部，并且可以确定肩关节的生物运动和/或运动学。替代性地，视频系统可以通过运动捕获直接追踪手臂的运动。可选地，导航系统可用于追踪一个或多个导航标记的运动，例如射频或红外标记，可选地与惯性测量单元结合，例如附接到肱骨远端和/或关节盂和/或喙部，并且肩关节的生物运动和/或运动学可被确定。例如，可以在植入前测量肩关节旋转、外展、内收、抬高、屈曲、伸展和/或病理不稳定性。然后可以模拟一个或多个植入体组件的植入，并且可以选择一个或多个植入体组件，例如实现与植入前运动学相似的植入后运动学，或者实现针对例如植入前不稳定性或其他病理运动或运动条件矫正的植入后运动学。一个或多个肩关节植入体组件的配合、尺寸确定、选择、定向和/或对准可以使用以这种方式获得的运动学信息来执行或调整。
术语组合关节盂-肱骨倾侧和组合肱骨-关节盂倾侧可以互换使用。关节盂和肱骨植入体组件的组合关节盂-肱骨或肱骨-关节盂倾侧可以例如与患者未手术关节盂和患者未手术肱骨的组合倾侧基本相似或相似或基本相同或相同。例如，如果患者未手术的盂具有-8度的倾侧，即后倾8度，而患者未手术的肱骨具有6度的倾侧，即前倾6度，则组合的盂肱倾侧在未手术的肩关节中可以是-2度。如果外科医生无意中以-2度的角度植入关节盂组件，关节盂植入体组件的角度和患者未手术的关节盂之间的差异可以被确定，在本例中为6度；虚拟手术计划然后可以可选地被调整，以将肱骨倾侧从患者未手术肱骨的6度改变到患者手术肩关节的0度，其中肱骨植入体组件在修改的定向上就位，产生-2度的关节盂-肱骨组合倾侧。
关节盂和肱骨植入体组件的这种预期组合关节盂肱骨倾侧可以描述为，例如：
倾侧未手术关节盂+倾侧未手术肱骨头和颈＝倾侧关节盂植入体组件+倾侧肱骨植入体组件
或者，阈值可用于设定关节盂和肱骨的组合或单独倾侧，例如关节盂与肱骨分开。例如，可以为关节盂设置5度后倾的目标值。或者，例如，可以为关节盂设置2度至7度的后倾的目标范围。可以设定肱骨头相对于例如肱骨经皮髁轴后倾30度的目标值。或者可以设定肱骨头相对于例如肱骨经皮髁轴线的25度至35度的后倾的目标范围。
肩关节的旋转中心和/或肱骨头大小、尺寸和/或形状和/或肱骨前倾、偏置、倾斜、头颈部角度、颈轴线角度、髓管大小、尺寸和/或形状、皮质骨大小、尺寸和/或形状和/或关节盂大小、尺寸和/或形状、关节盂边缘大小、尺寸和/或形状、关节盂骨储备、关节盂骨穹窿大小、尺寸和/或形状、关节盂前倾和/或倾斜中的一个或多个也可以通过使用例如三维扫描仪或共焦成像的计算机断层扫描、磁共振扫描、射线照相成像或任何其他适用的成像技术和/或光学成像和/或手术中扫描，和/或通过“绘制”它们各自的一些表面，和通过产生例如点云和/或表面，例如利用使用光学标记和/或导航标记和/或发光二极管和/或惯性测量单元和/或校准模型或参考模型和/或其他标记的指针来评估。该信息可用于选择一个或多个关节盂和一个或多个肱骨组件，例如用于虚拟手术计划；可以选择例如肱骨头尺寸和关节盂聚乙烯厚度的组件来保持旋转中心、肱骨前倾、偏置、倾斜度、头颈部角度、颈轴线角度、臂长、关节盂前倾、关节盂倾斜度和/或组合的关节盂-肱骨前倾和/或旋转中心中的一个或多个。所得到的信息，例如具有肱骨和关节盂植入体组件的虚拟手术计划，其被选择来保持患者肩关节的旋转中心和/或关节盂-肱骨组合前倾，可用于引导手术导航系统、机器人和/或一个或多个光学头戴式系统来执行用于部分或全部肩关节成形术的一个或多个手术步骤。例如，可以选择肱骨和关节盂植入体组件，使得如果金属背衬的关节盂组件与聚乙烯插入件一起使用，且聚乙烯插入件与一定的肱骨头组件直径配对，关节盂组件厚度或复合厚度将保持患者的旋转中心，例如在植入体组件放置之后，患者肩关节的旋转中心坐标基本上类似于植入前患者肩关节在未手术肩关节的旋转中心坐标。可选地，外科医生可以选择关节盂组件的厚度，以确保保持关节间隙或关节线类似于患者未手术肩关节的关节间隙或关节线。可选地，关节盂组件及其关节表面可以延伸超过未手术肩关节的关节空间或关节线，在这种情况下，外科医生可以选择具有较小直径的肱骨头，以保持与患者未手术肩关节相似的旋转中心；例如，肱骨头植入体组件的直径可以选择为患者的原生肱骨头直径减去关节盂组件延伸超出患者的原生关节空间的mm量。可选地，关节盂组件可以以其关节表面位于未手术肩关节的关节空间或关节线内部或更内侧的方式安置，在这种情况下，外科医生可以选择具有更大直径的肱骨头，以保持与患者未手术肩关节相似的旋转中心；例如，肱骨头植入体组件直径可以选择为患者的原生肱骨头直径加上关节盂组件在患者原生关节空间内部或内侧的mm量。
在实施方案中，可选地结合前述和以下实施方案，肱骨头的中心可以位于关节盂中心的中心，例如如术中和/或虚拟手术计划中所确定的。关节盂的中心可以是几何中心点，例如在连接关节盂的最上和最下点的线和连接关节盂或关节盂组件的最前和最后点的线之间的交点处。关节盂的中心也可以是关节盂或关节盂部分凹陷内的最深点。虚拟手术计划可以可选地考虑肱骨头相对于关节盂的一些平移，例如在肩关节运动期间。在实施方案中，肱骨头的中心可以位于关节盂的前部的中心，例如在术中和/或虚拟手术计划中确定的，例如关节盂的前三分之一。在实施方案中，肱骨头的中心可以位于关节盂后部的中心，例如在术中和/或虚拟手术计划中确定的，例如关节盂后部的三分之一。在任一实施方案中肱骨和关节盂组件的选择可以考虑保持肱骨头中心相对于关节盂中心的对准。因此，肱骨和/或关节盂组件的选择和虚拟手术计划都可以被设计、选择或执行，以保持或实现肱骨头组件的中心相对于关节盂和/或关节盂组件的期望位置、定向、对准。
在本发明的另一实施方案中，外科医生可以通过一个或多个光学头戴式显示器，与例如虚拟的，例如手势识别，或其他接口，例如使用一个或多个光学标记的杆或棒配对，使用显示器，可视地移动、放置、定向、对准、调整和/或配合一个或多个虚拟肱骨组件，包括虚拟肱骨轴、颈(如果适用)和头，以及一个或多个虚拟关节盂组件，可选地使用一个或多个虚拟关节盂锚，发光二极管、惯性测量单元、导航标记、校准或参考体模和/或其他标记，并将一个或多个虚拟组件的显示叠加到患者的解剖结构上，例如肱骨头、颈、轴线和/或关节盂边缘、关节盂窝和/或关节盂骨穹窿，如可选地使用共同投影的断层扫描所看到的。移动、放置、定向、对准、定尺寸和/或配合可以包括选择关节盂组件的尺寸和/或形状、关节盂锚或螺钉的尺寸、厚度、长度宽度和/或肱骨组件的尺寸和/或形状，例如肱骨干、肱骨颈(如果适用)、肱骨颈角度、肱骨头尺寸和/或直径。通过将一个或多个虚拟植入体组件投影到患者的实时、物理三维解剖结构上，并且可选地投影到任何合作配准的术前扫描数据上，外科医生可以避免对术前模板的需要，并且可以基于患者的实时三维解剖结构来选择植入体组件，而不是使用具有射线照相模板的二维射线照片。可选地，具有射线照相模板的二维射线照相可用于在术前预先选择一个或多个植入体组件，例如基于射线照相正位、内外侧位、上外下内或倾斜尺寸和/或射线照相形状。然后，射线照相信息可用于在术前将有限的尺寸范围运送到医院，例如相对于放射性选择的植入体组件的+1尺寸或+2尺寸和/或-1尺寸或-2尺寸；然后，可以使用患者的实时三维解剖结构在实时患者体内进行最终的植入体组件选择。
使用一个或多个虚拟植入体组件的虚拟移动、放置、定向、对准、定尺寸和/或装配和/或选择，外科医生可以选择一个或多个虚拟植入体组件来保持或实现相似或基本相似的肩关节的旋转中心和/或肱骨头的大小、尺寸和/或形状和/或肱骨前倾、偏置、倾斜、头颈部角度、颈轴角度和/或关节盂大小、尺寸和/或形状、关节盂边缘大小、尺寸和/或形状、关节盂骨储备、关节盂骨穹窿大小、尺寸和/或形状、关节盂前倾和/或倾斜中的一个或多个，从而对于外科医生用于虚拟移动、放置、定向、对准、确定尺寸和/或装配和/或选择植入体组件的那些参数，植入体组件就位的手术后、植入后解剖结构与患者的手术前解剖结构相似或基本相似。
可选地，在植入体组件的虚拟移动、放置、定向、对准、尺寸确定和/或配合和/或选择期间，外科医生可以选择虚拟关节盂组件厚度，以确保维持与患者未手术肩关节相似的关节空间或关节线。或者，虚拟关节盂组件及其虚拟关节表面可以延伸到未手术肩关节的关节空间或关节线之外，在这种情况下，外科医生可以选择具有较小直径的虚拟肱骨头，以便保持与患者未手术肩关节相似的旋转中心；例如，虚拟肱骨头植入体组件直径可以选择为患者的原生肱骨头直径减去虚拟关节盂组件延伸超出患者的原生关节空间的量，单位为mm。可选地，虚拟关节盂组件可以以其关节表面位于未手术肩关节的关节空间或关节线内部或更内侧的方式放置，在这种情况下，外科医生可以选择具有更大直径的虚拟肱骨头，以保持与患者未手术肩关节相似的旋转中心；例如，虚拟肱骨头植入体组件直径可以选择为患者的原生肱骨头直径加上虚拟关节盂组件位于患者原生关节空间内部或内侧的mm量。
可选地，一个或多个光学头戴式显示器可以显示未操作肩关节和/或未操作肱骨头的旋转中心的坐标或指示器或轮廓、尺寸和/或形状和/或一个或多个未操作肱骨前倾、偏置、倾斜、未操作头颈部角度、颈轴线角度和/或一个或多个未操作关节盂大小、尺寸和/或形状、未操作关节盂边缘大小、尺寸和/或形状、未操作关节盂骨储备、关节盂任选地，这些可以在植入一个或多个组件后投射到患者的肩膀上，并且可以评估患者肩膀的手术后结果和未手术状态之间的差异。可选地，检测到的任何差异可用于修改或调整或矫正随后的手术步骤和/或改变一个或多个植入体组件的选择，例如关于大小、尺寸或形状。
本领域技术人员可以认识到，上述关于部分和全部肩关节置换和其他肩关节手术(例如修复肩袖或盂唇)的实施方案可以应用于说明书中的任何其他应用，例如部分或全部膝关节置换、髋关节置换、肩关节置换、踝关节置换、脊柱融合、脊柱手术、椎间盘置换、韧带修复和/或重建(包括前交叉韧带或其他韧带)、牙科手术、牙科植入体和其他牙科装置、血管或其他装置等。例如，前述实施方案中的词语“关节盂”和“肱骨”代表关节中的两个关节连接表面，并且可以在髋关节置换中被替换为词语“髋臼”和“股骨”、或者在膝关节置换或融合中被替换为词语“胫骨”和“股骨”、以及在踝关节置换或融合中被替换为词语“胫骨”和“距骨”或“距骨”和“跟骨”。例如，在涉及植入体组件的虚拟移动、放置、定向、对准、尺寸确定和/或配合和/或选择的实施方案中，前述实施方案中的词语“关节盂”和“肱骨”代表关节中的两个关节表面，并且可以在髋关节置换或膝关节置换中被替换为词语“髋臼”和“股骨”或在膝关节置换或融合中被替换为词语“胫骨”和“股骨”以及在踝关节置换或融合中被替换为词语“胫骨”和“距骨”或“距骨”和“跟骨”。
关节镜和使用光学头戴式显示器引导的各种关节手术
光学头戴式显示器引导可用于各种关节镜手术，包括但不限于前交叉韧带修复和/或重建、半月板修复、半月板切除术、软骨清创和/或修复、软骨基质放置、软骨移植、软骨移植物放置、骨软骨自体移植物、同种异体移植物和/或其他移植物放置、骨髓水肿损伤的治疗、肩关节或髋关节或其他关节的拉布拉多撕裂、股骨髋臼撞击，例如CAM和钳形撞击、肩袖撕裂、盂唇撕裂、韧带损伤和修复或重建，例如盂肱韧带的中部或下部撕裂、例如膝关节中的囊结构的撕裂和/或重建，髋、肩、踝、腕、肘、撕裂和/或韧带结构的重建，例如膝关节、髋、肩、踝、腕、肘、撕裂和/或三角纤维软骨的重建。光学头戴式显示器引导也可用于各种其他涉及关节的手术，例如膝关节、髋关节、踝关节、肩关节、肘关节、腕关节、足部、手指和/或脚趾关节的置换。一个或多个光学头戴式显示器可以例如用于显示虚拟数据，例如一个或多个虚拟手术计划或来自术前影像学检查的数据。这种术前影像学检查可以例如显示选定的损伤，例如骨髓水肿样(BMEL)损伤，例如膝关节中的损伤，该损伤可以用一个或多个光学头戴式显示器投影到胫骨近端或股骨远端的相应解剖区域或部分上并与之对准。皮下隐藏病变(例如BMEL)的OHMD显示器可用于指导治疗，例如用于注射骨水泥的套管针、药物、细胞治疗、生长因子等。
虚拟数据
一个或多个光学头戴式显示器可用于将虚拟数据叠加在相应的关节上，例如髋关节、膝关节、踝关节、肩关节、肘关节、腕关节、手指或足部关节。虚拟数据可以包括说明书中提到的任何虚拟数据，包括但不限于术前和/或术中的成像数据，例如X光、X光数据、计算机断层扫描、和/或磁共振成像、超声波、一个或多个虚拟手术计划、虚拟手术计划以及相关显示的任何方面、部分或步骤，虚拟植入体、虚拟植入体组件、虚拟手术导引物、虚拟手术器械、虚拟扩孔轴线、虚拟钻孔轴线、虚拟钻头、预定起始点、预定起始位置、预定起始定向或对准、预定中间点、预定中间位置、预定中间定向或对准、预定终点、预定结束位置、预定结束定向或对准、预定路径、预定平面、预定切割平面、预定外形或轮廓或横截面或表面特征或形状或投影、预定深度标记或深度计、预定止挡、预定角度或定向或旋转标记、预定轴线(例如，虚拟手术工具，包括虚拟手术导引物或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置的旋转轴线、弯曲轴线、延伸轴线，预定轴线)、一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分、和/或一种或多种预定组织变化或改变、一个或多个虚拟锚、一个或多个虚拟固定装置、一个或多个虚拟缝线、一个或多个虚拟缝合装置、一个或多个虚拟组织移植物、一个或多个虚拟植入体、一个或多个虚拟植入体组件、一个或多个虚拟试验植入体组件。
如果虚拟数据包括一个或多个术前和/或术中的成像数据，例如X光、X光数据、计算机断层扫描和/或磁共振成像、超声波、光学相干断层扫描、正电子断层扫描、断层扫描和/或其组合，则影像学检查可用于突出病理区域或敏感区域例如血管、神经等。突出显示可以例如由放射科医师或外科医生使用用户接口在二维、三维或多维显示器中圈出或标记病理区域或敏感区域来执行。通过将虚拟数据与患者的实时解剖和/或手术部位进行配准，一个或多个光学头戴式显示器可以显示X光、X光数据、计算机断层扫描和/或磁共振成像、超声波、光学相干断层扫描、计算机断层扫描、计算机断层扫描和/或其组合，包括任何突出显示的区域。以这种方式，外科医生在执行手术时可以看到包括任何突出区域的X光、X光数据、计算机断层扫描和/或磁共振成像、超声波、光学相干断层扫描、正电子断层扫描、断层扫描和/或其组合，所述突出区域与包括手术部位和/或目标组织的实时患者解剖结构对准、叠加、对准。X光、X光数据、计算机断层扫描和/或磁共振成像、超声波、光学相干断层扫描、正电子发射断层扫描、计算机断层扫描和/或其组合，包括任何突出显示的区域，可以例如帮助外科医生更容易地识别隐藏或微妙的病理。例如，X光、X光数据、计算机断层扫描和/或磁共振成像、超声波、光学相干断层扫描、正电子断层扫描、断层扫描和/或其组合的OHMD显示器，包括任何突出显示的区域，可以向外科医生显示细微半月板撕裂、盂唇或髋臼唇撕裂、韧带撕裂、旋转套撕裂、关节内体、软组织囊肿，例如贝克囊肿、神经节、半月板的任何类型的物质内撕裂、唇、韧带、软骨、椎间盘、腱、旋转套、跟腱，这些都不能通过检查结构表面容易地检测到，以及任何深层肿瘤或其他病变。
不同关节表面的配准
患者的关节、一个或多个光学头戴式显示器、一个或多个虚拟数据集或虚拟数据可以在共同坐标系中配准。在具有两个或更多个相对关节表面的关节中，例如具有相对软骨表面和软骨下骨的关节，例如二关节、第一关节表面和/或相关骨骼和/或结构可以与第二关节表面和/或相关骨骼和/或结构分开配准和/或可选地联合配准。分别配准第一关节表面和/或相关骨骼和/或结构和第二关节表面和/或相关骨骼和/或结构可以具有允许第一关节表面和/或相关骨骼和/或结构和第二关节表面和/或相关骨骼和/或结构运动的益处，例如屈曲和/或伸展和/或旋转和/或外展、和/或内收、和/或抬高和/或其他运动，例如平移，同时保持第一关节表面和/或相关骨骼和/或结构和/或第二关节表面和/或相关骨骼和/或结构的配准，例如在共同坐标系或子坐标系中，可选地与手术室中的一个或多个光学头戴式显示器和/或固定结构(例如手术台)和/或患者的其他结构或解剖标志配准，例如与关节的各个部分的运动无关。以这种方式，在放置用于前交叉韧带重建的股骨隧道和膝关节伸展的程度期间，关节可以被放置在不同的位置，例如屈曲、伸展、旋转、外展、内收，例如膝关节屈曲的程度，例如100度、110度、120度，或者例如膝关节弯曲的75度和150度之间的范围，例如0度、-5度、-10度、+5度或例如-10度和15度之间的膝关节伸展至早期屈曲的范围，在前交叉韧带重建期间放置胫骨隧道期间，而第一关节表面和/或相关骨骼和/或结构的配准和/或第二关节表面和/或相关骨骼和/或结构的配准可以保持，而不管关节的各个部分的运动如何，从而允许一个或多个光学头戴式显示器保持叠加在物理关节解剖结构的相应部分上的虚拟数据的解剖记录显示，例如关节表面、关节缺损、韧带缺损和/或另一目标修复的缺损，或者以预定位置和/或方向叠加在远端股骨上的股骨隧道和/或以预定位置和/或定向叠加在近端胫骨上的胫骨隧道，而不考虑第一关节表面和/或相关骨骼和/或结构的运动和/或第二关节表面和/或相关骨骼和/或结构的运动。本领域技术人员可以认识到，第一关节表面和/或相关骨骼和/或结构与第二关节表面和/或相关骨骼和/或结构的单独配准的相同优点对于其他关节手术是有利的，例如膝关节、髋关节、肩关节和/或踝关节和/或其他关节的关节置换，通过允许第一关节表面和/或相关骨骼和/或结构以及第二关节表面和/或相关骨骼和/或结构的移动，而不会丢失虚拟数据在患者的相应实时数据和/或解剖结构和/或手术部位上的配准和/或叠加。本领域技术人员可以认识到，关节表面和/或相关骨骼和/或结构的单独配准可以扩展到具有三个或更多关节表面和/或相关骨骼和/或结构的关节。
配准技术
说明书中描述的或本领域已知的任何配准技术都可以用于在共同坐标系或子坐标系(例如在共同坐标系内)中配准一个或多个关节表面和/或相关骨骼和/或相关结构、一个或多个光学头戴式显示器、患者解剖结构的其他部分和/或手术室中的固定结构(例如手术台)。例如，可以使用指针来检测和/或识别解剖标志，例如使用一个或多个附接的光学标记，例如使用几何图案、一个或多个导航标记、一个或多个惯性测量单元、一个或多个参考或校准体模等。指针或指示装置也可以使用光学成像系统和/或三维扫描仪成像和/或检测。当指针和/或指示装置在关节镜手术过程中位于关节内时，例如通过关节镜入口引入尖端时，一个或多个光学成像系统和/或三维扫描仪，例如说明书中描述的也可以例如通过入口引入关节或者集成到关节镜中或附接到关节镜或作为关节镜的一部分。
指针或指示装置以及包括关节镜器械和关节镜的任何其他器械可以被追踪，例如使用一个或多个光学标记，例如使用几何图案、发光二极管、惯性测量单元、导航标记，例如射频或红外标记、校准和/或参考体模。一个或多个光学标记，例如使用几何图案、发光二极管、惯性测量单元、导航标记，例如射频或红外标记、校准和/或参考体模，可以集成到或附接到指针或指示装置以及包括关节镜器械和关节镜的任何其他器械。一个或多个光学标记，例如使用几何图案、惯性测量单元、导航标记，例如射频或红外标记、校准和/或参考体模，可以位于关节外部，例如在入口、手术入口或患者皮肤外部。一个或多个光学标记例如使用几何图案、发光二极管惯性测量单元、导航标记(例如射频或红外标记)、校准和/或参考体模可以位于关节内。一个或多个光学标记，例如使用几何图案、惯性测量单元、导航标记，例如射频或红外标记、校准和/或参考体模，既可以位于关节外部，例如在入口、手术入口或患者皮肤外部，也可以位于关节内部，例如在关节滑膜衬里形成的腔体内部。在实施方案中，追踪一个或多个光学标记可能是有利的，例如使用几何图案、发光二极管惯性测量单元、导航标记(例如，射频或红外标记)、校准和/或参考体模仅在关节外部，例如当关节内部没有光学成像系统和/或三维扫描仪可用时，或者当光学成像系统和/或三维扫描仪在执行其他任务时。在实施方案中，追踪一个或多个光学标记可能是有利的，例如使用几何图案、发光二极管惯性测量单元、导航标记，例如射频或红外标记、仅在关节内的校准和/或参考体模。在实施方案中，追踪一个或多个光学标记可能是有利的，例如使用几何图案、发光二极管、惯性测量单元、导航标记，例如射频或红外标记、关节内外的校准和/或参考体模。
导航系统可以追踪附接到一个或多个指针或指示装置以及任何其他器械的导航标记，包括关节内窥镜器械和关节内窥镜及其关节外部和/或关节内部的部分。随着一个或多个指针或指示装置以及包括关节内窥镜器械和关节内窥镜的任何其他器械的几何结构已知，并且指针或指示装置以及包括关节内窥镜器械和关节内窥镜的任何其他器械上的一个或多个导航标记的定位、位置和/或定向已知，可以将一个或多个导航标记的定位、位置、定向，可以在关节外部和/或内部追踪尖端或一个或多个指针或指示装置以及包括关节镜器械和关节镜的任何其他器械的其他部分和/或几何结构的方向和/或坐标，也可以与一个或多个目标组织和/或虚拟手术计划相关联。
一个或多个光学成像系统和/或三维扫描仪可以追踪一个或多个光学标记例如具有一个或多个几何图案、发光二极管、校准和/或参考体模和/或参考标记(例如关节内窥镜或关节内窥镜器械表面上的深度标记，例如关节内的，例如从尖端开始，和/或皮肤外的)，所述光学标记附接到或集成到一个或多个指针或指示装置和任何其他器械中，包括关节内窥镜器械和关节内窥镜和/或关节外和/或关节内的其部分。已知一个或多个指针或指示装置和包括关节镜器械和关节镜的任何其他器械的几何结构，并且已知一个或多个光学标记(例如具有一个或多个几何图案)、发光二极管、校准和/或参考模型和/或指针或指示设备上的参考标记以及任何其他器械(包括关节镜器械和关节镜)的位置、定位和/或取向，可以在关节外部和/或内部，也可以相对于一个或多个目标组织和/或虚拟手术计划，追踪一个或多个指针或指示装置以及包括关节镜器械和关节镜的任何其他器械的尖端或其他部分和/或几何形状的位置、定位、定向、方向和/或坐标。
在实施方案中，追踪一个或多个光学标记可能是有利的，例如使用几何图案、发光二极管惯性测量单元、导航标记，例如射频或红外标记、关节内外的校准和/或参考体模。在该示例中，可以将关节外获得的追踪数据与关节内获得的追踪数据进行比较。可以确定一个或多个指针或指示装置以及包括关节镜器械和关节镜在内的任何其他器械的测量坐标的任何差异。如果这些差异超过例如阈值，例如在x、y和/或z方向或角度方向上大于0.5mm或度、1.0mm或度、1.5mm或度、2.0mm或度，则可以触发警报。例如，警报可以建议在关节外、关节内或两者都重复配准。一个或多个指针或指示装置以及包括关节内窥镜器械和关节内窥镜器械在内的任何其他器械的坐标与关节外测量的坐标的任何差异也可以任选地使用例如统计方法进行协调，例如使用测量的坐标的平均值、加权平均值、中间值、标准偏差等。
在实施方案中，一个或多个光学标记例如使用几何图案、发光二极管惯性测量单元、导航标记(例如射频或红外标记)、校准和/或参考体模可以附接和/或固定到关节表面和/或与关节表面相关联的结构或组织例如软骨、软骨下骨和/或骨赘。一个或多个光学标记例如使用几何图案、发光二极管惯性测量单元、导航标记，例如射频或红外标记、校准和/或参考体模可以通过例如使用组织锚、销、螺钉、吻合器或其他固定装置将它们插入关节镜入口并将其附接到软骨、骨或其他组织来附接。在实施方案中，一个或多个光学标记例如使用几何图案、发光二极管惯性测量单元、导航标记(例如射频或红外标记)、校准和/或参考体模可以附接到第一关节表面和/或相关结构和/或组织。在实施方案中，一个或多个光学标记例如使用几何图案、发光二极管惯性测量单元、导航标记(例如射频或红外标记)、校准和/或参考体模也可以附接到第二关节表面和/或相关结构和/或组织。通过将一个或多个光学标记例如使用几何图案、发光二极管惯性测量单元、导航标记例如射频或红外标记、校准和/或参考体模附接到第一和/或第二和/或可选地第三关节表面和/或相关结构和/或组织，例如当关节在外科手术过程中移动到不同位置或当关节移动通过一系列运动时，可以单独追踪每个关节表面和/或相关结构和/或组织。在任何实施方案中，螺钉和/或销和/或组织锚也可以用作校准或参考体模。
一个或多个光学标记，例如使用几何图案、发光二极管、导航标记(例如射频、红外标记)或惯性测量单元、校准和/或参考体模也可以附接到光学成像系统和/或三维扫描仪，以用于追踪光学成像系统和/或三维扫描仪的位置、定向、对准、行进方向和/或坐标。一个或多个光学标记，例如使用几何图案、发光二极管、导航标记(例如射频、红外标记)或惯性测量单元、校准和/或参考体模可以附接到光学成像系统和/或三维扫描仪位于关节内部的部分。一个或多个光学标记例如使用几何图案、发光二极管、导航标记，例如射频、红外标记或惯性测量单元、校准和/或参考体模可以附接到光学成像系统和/或三维扫描仪位于关节外部的部分例如目标组织外部、手术野外部和/或患者皮肤外部。一个或多个光学标记例如使用几何图案、发光二极管、导航标记，例如射频、红外标记或惯性测量单元、校准和/或参考体模可以附接到光学成像系统和/或三维扫描仪的位于关节外部和关节内部的部分。例如，当光学成像系统和/或三维扫描仪可移动时例如在关节内部、关节外部和/或两者都可移动时，光学成像系统和/或三维扫描仪的位置也可以例如使用附加的光学成像系统和/或三维扫描仪被追踪，其也可以在关节内部、关节外部和/或关节内部和外部，并且可以可选地是静止的。类似地，当光学成像系统和/或三维扫描仪可移动时，例如在关节内、关节外和/或两者都可移动时，光学成像系统和/或三维扫描仪的位置也可以被追踪，例如使用可以是静止的导航系统。在实施方案中，通过监视和/或追踪光学成像系统和/或三维扫描仪的位置、定向、对准、行进方向和/或坐标，可以提高任何坐标测量和/或三维表面测量和/或光学标记、发光二极管、惯性测量单元、校准和/或参考体模的任何测量的精度。在实施方案中，追踪关节外部和/或内部(或人体的任何其他结构，例如腹腔、内腔等)的一个或多个光学成像系统和/或三维扫描仪。)可用于将光学成像系统和/或三维扫描仪引导到期望的位置，例如用于通过可选的外科手术干预对病变或病理区域进行实时成像。在实施方案中，追踪关节外部和/或内部(或人体的任何其他结构，例如腹腔、内腔等)的一个或多个光学成像系统和/或三维扫描仪可用于提高手术器械的任何配准和/或追踪和/或虚拟尺寸确定、装配、对准、虚拟植入体组件的放置的准确性。
任何光学标记(例如使用几何图案)、发光二极管惯性测量单元、导航标记(例如射频或红外标记)、校准和/或参考模型附接到第一和/或第二和/或可选地第三关节表面和/或相关结构和/或组织中的一个或多个和/或附接到一个或多个指针或指示装置以及包括关节镜器械和关节镜的任何其他器械例如在关节内和/或关节外的位置，例如在患者皮肤和/或手术野和/或目标组织的外部，和/或手术室中的固定结构，例如手术台，和/或一个或多个光学头戴式显示器，可以被配准在共同坐标系或子坐标系中，并且可以在手术过程中被追踪。前述技术，例如使用光学标记(例如使用几何图案)、发光二极管惯性测量单元、导航标记(例如射频或红外标记)、校准和/或参考体模，可以与本领域已知或说明书中描述的任何其他配准技术相结合，例如空间映射，例如使用一个或多个光学头戴式显示器、光学扫描仪、三维扫描仪、使用光学扫描仪和/或三维扫描仪的直接配准等。例如，光学标记(例如使用几何图案)、发光二极管、惯性测量单元、校准和/或参考体模中的一个或多个(例如，当使用多个标记、发光二极管、惯性测量单元、校准和/或参考体模时)的大小、尺寸、几何结构和/或形状和/或空间布置和/或定向已知，光学成像系统和/或三维扫描仪可用于检测和成像它们，例如在关节外部，例如在患者皮肤外部的位置，和/或关节内部，例如在关节滑膜内衬内部的位置；光学标记(例如使用几何图案)、发光二极管、惯性测量单元、校准和/或参考体模中的一个或多个的测量大小、尺寸、几何结构和/或形状和/或空间排列和/或定向可用于确定以下各项的距离、定向、对准和/或角度定向：光学成像系统和/或三维扫描仪(例如集成到、连接到或分离于关节镜，在患者关节内部和/或外部)，和/或光学标记(例如使用几何图案)、发光二极管、惯性测量单元、校准和/或参考体模中的一个或多个，例如在共同坐标系和/或任何子坐标系中。
术中扫描还可以包括利用关节镜光学扫描仪或三维扫描仪获得的扫描，例如通过内窥镜入口、单独的入口和/或集成到或附接到关节镜的入口。在实施方案中，可以捕获和/或处理通过关节镜看到的图像，以导出一个或多个解剖标志、表面、几何结构、形状和/或特征。在实施方案中，关节镜可以用作光学成像系统。在实施方案中，光学成像系统和/或三维扫描仪可以使用关节镜的光学系统。在实施方案中，当关节镜的光学系统用于光学成像系统和/或三维扫描仪时，可以使用一个或多个分束器。可选地，关节内光学扫描仪例如使用关节内窥镜的光学器件和/或三维扫描仪例如使用关节内窥镜的光学器件可以用于检测和/或监测在关节内位置附接到股骨远端和/或胫骨近端的一个或多个标记的位置、定位、定向和/或移动方向，所述标记例如是光学标记(例如具有一个或多个几何图案)、惯性测量单元、发光二极管和其他标记，例如附接或固定到第一和/或第二关节侧(例如软骨、软骨下骨、皮质骨、韧带、韧带附件和/或任何其他结构)的销和/或螺钉和/或组织锚。当销、螺钉和/或组织锚用作标记时，销、螺钉和/或组织锚的已知形状和/或几何结构可用于例如使用三角测量技术提高配准和任何坐标测量的精度。
可扩展标记
在实施方案中，标记可以放置在一个或多个标志上，或者可以配准在第一关节表面和/或相关结构和/或第二关节表面和/或相关结构上，例如股骨和/或胫骨表面、股骨切口、前交叉韧带起点、前交叉韧带附接部等。该标记例如可以是光学标记，例如具有一个或多个几何图案。标记可以是组织锚。标记物可以通过入口引入，并且可以可选地附接或固定到第一表面或标志上，例如股骨表面、髋臼表面、关节盂表面或第二表面或标志，例如胫骨表面、股骨近端表面、肱骨近端表面。可以使用光学扫描仪和/或三维激光扫描仪在第一表面或标志和/或第二表面或标志上配准标记位置和/或坐标。标记位置和/或坐标可以被配准在三维模型上，例如使用光学成像系统和/或三维扫描仪生成。标记可选地是可扩展的。标记可以在折叠状态下通过一个或多个入口插入。一旦进入关节，标记就可以展开。例如，当标记扩展时，一个或多个几何图案可以变得可见。标记物可以具有不可扩展的部分，例如螺钉或进入骨骼用于固定标记物的销部分。标记的可扩展部分和不可扩展部分可以具有已知的几何结构，这有利于提高任何坐标测量的精度。标记可以具有可扩展部分，例如集成到标记中或附接到标记上的一个或多个几何图案。标记可以是螺钉或销，其可以固定到股骨或其他骨骼上。
表面生成，表面配准
在实施方案中，患者解剖结构的虚拟三维模型，例如目标部位和/或目标组织，可以从影像学检查中生成，例如X光、断层扫描、磁共振成像扫描、正电子发射断层扫描、正电子发射断层扫描、正电子发射断层扫描/正电子发射断层扫描、正电子发射断层扫描/正电子发射断层扫描、超声波。在实施方案中，一个或多个X光片可用于生成和/或选择患者骨骼的虚拟三维模型，例如如本说明书中关于组织变形包括骨骼变形、软骨变形的部分和其他部分中所述。
在实施方案中，例如通过关节镜入口引入的光学成像系统和/或三维扫描仪可用于在手术过程中生成患者关节的关节内三维模型。例如，如果光学成像系统和/或三维扫描仪是关节镜的一部分、集成到或附接到关节镜，则外科医生可以执行关节镜手术，例如从患者关节的初始检查开始。当外科医生通过关节镜检查关节时，光学成像系统和/或三维扫描仪可以同时获取表面数据。外科医生也可以使用光学成像系统和/或三维扫描仪获得一个或多个关节内表面的全扫描，例如目标组织的表面或目标移植物放置。可选地，标记(例如光学标记)、惯性测量单元、发光二极管、螺钉、销、组织锚等可以放置在第一和/或第二或附加关节表面和/或任何相关结构上。该标记可以包括在患者关节的表面数据和关节内三维扫描中。在实施方案中，用光学成像系统和/或三维扫描仪扫描的表面数据是在一个或多个重叠的表面补丁中获取的。使用重叠区域的表面匹配可以将多个重叠曲面片合并成单个曲面。如说明书中所述获取的成像系统和/或三维扫描仪的追踪信息也可以用于确定多个表面贴片相对于彼此的位置。追踪信息可用于提高表面匹配的精度。替代性地，可以使用追踪信息来代替表面匹配，以避免需要多个表面补片的重叠表面区域。通过基于每个曲面片的追踪信息确定每个曲面片的变换矩阵，可以将曲面片变换成共同坐标系。
为了对准患者关节的虚拟三维模型，例如通过术前影像学检查或通过骨骼和/或软骨变形从X光产生的虚拟三维模型，以及关节内三维扫描，例如通过光学成像系统和/或三维扫描仪获得的，例如使用集成到或附接到关节镜或通过关节镜入口插入的光学成像系统和/或三维扫描仪可以使用虚拟三维模型与关节内三维扫描的表面配准算法。该算法可以基于迭代最近点技术，如Besl等人所述(Besl PJ,McKay ND.2,1992.A method forregistration of 3-D shapes.IEEE Trans PAMI,Vol.14,pp.239-256)，它可以使用刚性变换最小化待配准表面中对应点对之间的距离。虚拟三维模型与关节内三维模型配准的结果可以包括分别用于第一关节侧和第二关节侧的两个变换FA1和SA1，其描述对准。通过光学成像系统和/或三维扫描仪的视图的位置和/或定向的任何改变，或者第一关节侧和/或第二关节侧的位置和/或定向的任何改变，都需要更新配准。为此，例如，在手术开始时，可以将光学标记、发光二极管、导航标记或其他标记附接到第一关节侧，例如远端股骨、关节盂和第二关节侧，例如近端胫骨、近端肱骨。这些标记的基线三维坐标可以在配准期间被测量和保存，其可以包括光学成像系统和/或三维扫描仪的初始位置和定向以及第一关节侧和第二关节侧的初始位置和定向。来自标记的信息，例如标记位置、定向、角度投影、投影尺寸的变化，可以例如用于更新配准信息，包括不同关节姿态，例如屈曲、伸展、旋转。替代性地，通过光学成像系统和/或三维扫描仪检测到的所生成的患者关节内三维表面的透视图中的任何变化都可以用于更新配准。
使用一个或多个光学头戴式显示器显示覆盖有患者实时视图的虚拟模型的软件组件。
附接到第一和/或第二关节表面和/或相关结构和/或由光学成像系统和/或三维扫描仪产生的关节内三维表面的标记可以被连续或间歇地跟踪使用例如关节内光学成像系统和/或三维扫描仪(也可以在共同坐标系中追踪)，例如使用如前几节所述的虚拟三维模型与关节内标记和/或关节内三维表面之间的空间关系、虚拟三维模型的显示位置和/或方向，例如基于X光或其他虚拟数据生成的三维模型或断层扫描或磁共振成像扫描的三维重建，例如虚拟前交叉韧带隧道或虚拟前交叉韧带移植物的显示，或者虚拟肩袖修复的显示，或者虚拟锚的显示，或者虚拟损伤的显示，例如类似骨髓水肿的损伤，可以叠加在患者的实时解剖结构上，并且可以实时更新。覆盖和叠加可以在患者的实时物理解剖结构上，例如使用关节镜手术进行手术的关节，例如患者的膝关节、髋关节、肩关节，和/或在计算机监视器上，例如使用例如说明书各部分中描述的方法和技术显示使用关节镜从关节内部获得的图像的计算机监视器上，包括题为“通过光学头戴式显示器单元查看二维计算机监视器”的部分。例如，当外科医生观察患者的物理关节，例如膝关节、髋关节或肩关节时，可以使用光学头戴式显示器将虚拟数据叠加到关节上并与关节对准，而无放大倍率。当外科医生在二维计算机监视器上观察患者关节的关节镜图像时，虚拟数据可以叠加到关节内结构上并与之对准，例如与监视器匹配的远端股骨和/或近端胫骨和/或关节镜图像的显示放大。这可以例如通过追踪关节内窥镜的位置和定向，例如使用附接的追踪标记，并且通过考虑关节内窥镜的光学特性，例如视角和变焦因子/放大倍率来执行。
在使用例如变换矩阵FA1和SA1变换到光学头戴式显示器实时视图的坐标系之后，虚拟第一关节表面和相关结构以及第二关节表面和相关结构模型的网格或者任何相关的虚拟手术计划，例如虚拟股骨或胫骨隧道、虚拟股骨或胫骨移植物、虚拟锚、虚拟钻孔或取芯，可以使用例如微软全息工具包编程接口(Microsoft,Redmond,WI)呈现为全息图。之后，可以连续更新配准，以便实时补偿光学头戴式显示器视图中的变化。为此，可以连续追踪附接到第一关节侧和相关结构以及第二关节侧和相关结构的光学标记或其他标记。或者，可以追踪用光学成像系统和/或三维扫描仪测量的关节内三维表面的透视变化。例如，配准可以如下连续更新：对于第一关节表面和相关结构以及第二关节表面和相关结构，可以计算变换矩阵FA2和SA2，其将初始标记坐标和/或三维表面(例如在第一配准期间确定的)映射到光学头戴式显示器坐标系中的当前标记坐标和/或三维表面。虚拟模型与光学头戴式显示器实时视图的更新对准可以分别由FA2与FA1和SA2与SA1的串联产生。
前述技术和本说明书的实施方案可以应用于任何数量的关节镜和非关节镜手术，例如
-前交叉韧带修复和/或重建：例如，在一个或多个预定位置和/或定向上的一个或多个虚拟隧道和/或移植物的OHMD显示
-半月板修复：例如半月板撕裂和/或待修复区域的OHMD显示，例如在共同配准的先前影像学检查中显示，或者在先前影像学检查如磁共振成像中突出显示
-半月板切除术：例如OHMD显示要切除的区域，例如先前的影像学检查
-软骨清创和/或修复、软骨基质放置、软骨移植、软骨移植物放置、骨软骨自体移植物、同种异体移植物和/或其他移植物的放置：例如，要切除或清创的区域的OHMD显示、打算放置软骨基质的区域的OHMD显示、移植物、移植物、虚拟移植物的OHMD显示，例如在预定位置和/或定向和/或对准
-骨髓水肿病变(BMEL)的治疗：例如，骨髓水肿病变的OHMD显示，例如，在地下位置使用共同配准的磁共振成像数据，手术器械的光学头戴式显示器引导和注射物、治疗骨髓水肿病变的细胞的注射/针/套管针的引导
-肩或髋关节或其他关节中的盂唇撕裂：盂唇撕裂的OHMD显示，例如使用联合配准的术前图像，光学头戴式显示器清创、切除或修复引导
-股骨髋臼撞击：OHMD显示器CAM和/或钳形撞击区域，光学头戴式显示器切除引导，例如指示与骨相交的预定切除平面
-髋关节镜检查，髋关节置换：术前影像学研究的OHMD显示器，例如X光、计算机断层扫描、磁共振成像、超声波。例如，如果X光是共同显示的，它们可以显示在预定的平面中，例如延伸通过选择的解剖标志。例如，髋关节和/或骨盆的正位射线照片可以由光学头戴式显示器叠加在患者身上，例如在平行于手术台或平行于原始采集平面的平面中，并且延伸，例如，穿过髂前脊柱或髋臼缘的最前面，或穿过髋臼窝的中心，或穿过股骨头的中心，或穿过旋转中心；旋转中心可以例如使用一个或多个施加到末端的光学标记来确定，并且当执行圆周运动时追踪标记运动，例如如说明书的其他部分所述。
-肩袖撕裂、盂唇撕裂：颞下颌关节撕裂或盂唇撕裂的OHMD显示器，例如，通过相互配准的术前磁共振成像扫描或磁共振关节造影图像或计算机断层关节造影图像和/或这些扫描的三维重建的叠加和对准；光学头戴式显示器引导，用于肩袖修复的目标区域，例如物质内撕裂、囊表面撕裂，以及用于引导缝线、锚、移植物、修复材料的放置。
-韧带损伤和修复或重建，例如盂肱韧带中部或下部的撕裂，囊结构的撕裂和/或重建，例如膝关节、髋关节、肩关节、脚踝、手腕、肘部的撕裂和/或韧带结构的重建，例如膝关节、髋关节、肩膀、脚踝、手腕、肘部的撕裂和/或三角纤维软骨的重建：撕裂部分的OHMD显示，例如使用显示撕裂或损伤的术前影像学检查的共同显示；锚定、缝合或修复位置、定向、对准、位置的光学头戴式显示器引导。
-植入体固定：OHMD显示预定植入部位下面的骨储备，光学头戴式显示器引导选择最佳配合锚，例如实现最佳固定光学头戴式显示器引导锚放置，例如使用预定轨迹和/或预定终点和/或预定位置和/或定向和/或对准和/或深度。
在这些示例中的任何一个中，包括任何虚拟数据的OHMD显示可以叠加到患者解剖结构的相应部分上并与之对准，使得外科医生可以例如将物理器械和/或物理装置和/或植入件与投影在预定位置、定向、对准方式，例如在手术部位或软骨或骨外部，例如与手术部位或软骨或骨偏移1mm、2mm、3mm、4mm、5mm或更多，或0-5mm或5-10mm的范围，或与手术部位或软骨或骨相切或相交。
前交叉韧带(Anterior Cruciate Ligament，ACL)的修复和/或重建
使用本发明的各方面进行前交叉韧带修复的以下实施方案和描述仅仅是示例性的，并不意味着限制本发明。可以应用或使用说明书中描述的任何装置、系统、技术和/或方法。任何成像技术、患者定位技术、配准技术，用于拟制包括在不同屈曲和伸展或旋转角度的手术计划的方法，显示虚拟和患者实时数据的方法均可以应用于本说明书中的任何其他实施方案，包括，用于比如，膝关节置换、髋关节置换、椎弓根螺钉放置和脊柱融合、以及椎体成形术或椎体后凸成形术。
前十字韧带(前交叉韧带)的撕裂是人类膝关节最常见的损伤之一。它们可能导致膝关节不稳定，比如，屈曲或弯曲膝关节。前交叉韧带撕裂的手术治疗可包括自体移植物或同种异体移植物或另一种移植物材料的放置。可以使用所谓的单束技术或双束技术来执行前交叉韧带修复。前交叉韧带修复或重建的目的是恢复膝关节不稳或膝关节前交叉韧带缺陷患者的正常膝关节运动。前交叉韧带的解剖重建可以帮助恢复正常的膝关节运动，并减少前交叉韧带损伤后发生膝关节骨性关节炎的可能性。在解剖学上，已经描述了前交叉韧带的两个不同部分或束，即前内侧束和后外侧束。
可以使用所谓的单束技术或双束技术来执行前交叉韧带重建。手术前交叉韧带重建的目标之一包括将移植组织置于等长位置以恢复膝关节功能，并减少术后移植物并发症和移植物失败的可能性。将移植物放置在原生撕裂的前交叉韧带附近或位置具有以下益处：前交叉韧带移植物被放置在确保主要是等长韧带功能的位置，这可以帮助移植物的长期存活。
外科医生通常会尝试将前交叉韧带移植物放置在原生撕裂前交叉韧带的位置和/或定向上。需要放置股骨和胫骨骨隧道以容纳移植物。股骨隧道从后股骨皮质延伸到股骨凹陷的区域，例如是原生前交叉韧带的原点所在的区域。胫骨管例如从内侧胫骨脊延伸，原生的撕裂的前交叉韧带附接到前内侧胫骨皮质。可以例如在移置物植入股骨和/或离开胫骨的区域中放置锚。
可以在预定位置和/或定向上选择隧道位置以实现这种等距功能。隧道位置可以使用光学头戴式显示器引导放置在预定位置和/或方向上，使得股骨隧道将在前交叉韧带的起点附近离开远端股骨。胫骨隧道可以使用光学头戴式显示器引导放置在预定位置和/或定向上，使得它在内侧胫骨脊上插入前交叉韧带附近进入近端胫骨。股骨和/或胫骨隧道的角度和/或方向可以使用光学头戴式显示器引导放置在预定位置和/或方向，使得它们导致前交叉韧带移植物的位置和/或方向类似于原生前交叉韧带的自然角度和/或方向，或者可选地不同于患者原生前交叉韧带的自然方向。如果使用单束技术，则股骨和/或胫骨隧道的角度和/或定向(包括它们的入口和出口区域)可以使用光学头戴式显示器引导指向预定位置和/或定向，使得移植物的位置和/或定向是前交叉韧带的前内侧束的位置和/或定向与前交叉韧带的后外侧束的位置和/或定向之间的折衷。经胫骨技术可以使用光学头戴式显示器引导用作隧道放置的方法，其中股骨隧道可以通过胫骨隧道在预定位置和/或定向上钻孔。这样做的好处是可以使用光学头戴式显示器引导将两条隧道连接起来。或者，可以首先在预定位置和/或定向上使用光学头戴式显示器引导钻胫骨隧道，比如，通过前部胫骨皮肤中的小切割，然后使用光学头戴式显示器引导钻出股骨隧道，比如，通过小切口和入口进入膝关节。可选地，隧道位置可以通过关节镜可视化放置在预定位置和/或定向，比如，通过评估股骨和/或胫骨上残留前交叉韧带纤维的位置。因股骨和/或胫骨隧道的错误放置可能会使得移植物被放置在预期位置和/或定向之外。一个或两个隧道的错误放置和移植物的不正确放置可能导致膝关节功能的限制和移植物的过早磨损。
图22A的正位和22B的侧视图说明了包括前内侧和后外侧纤维的示例性正常前交叉韧带360。股骨侧的曲线虚线表示髁间凹陷区域/顶部361。
图22C的正位和22D的侧视图说明了股骨侧和胫骨侧上的示例性前交叉韧带隧道362(实直线)。股骨侧的曲线虚线表示髁间凹陷区域/顶部361。
成像
在本发明的一些实施方案中，患者可以进行术前或术中扫描，比如，计算机断层扫描、磁共振扫描或超声扫描。可选地，股骨和胫骨可以被分割并以二维或三维显示。在一些实施方案中，可以识别撕裂的原生前交叉韧带的原点和插入。替代地或另外地，可以识别撕裂的原生前交叉韧带的一个或多个部分。该信息可用于拟制用于使用光学头戴式显示器引导放置股骨和/或胫骨隧道或移植物的虚拟手术计划，比如，通过显示一个或多个虚拟股骨或胫骨隧道或一个或多个虚拟移植物。
比如，如果使用磁共振扫描，则可以将磁共振数据导入软件程序以分割股骨和/或胫骨。为此，可以选择T1加权的磁共振序列而不抑制脂肪。在没有脂肪抑制的T1加权序列上，骨髓空间可以显示中到高信号强度。骨髓空间受低信号强度皮质骨的限制。可以比如，使用阈值算法或种子生长算法或活动轮廓或水平集技术或本领域已知的任何其他算法或技术来分割高强度骨髓空间。可以添加两毫米或三毫米或其他厚度的皮质骨和软骨下骨包膜。可以使用参考数据库来应用厚度包膜，比如，对于已知尺寸或大小的骨骼。皮质骨或软骨下骨包膜的厚度可以根据胫骨或股骨上的位置而变化。可以基于解剖学参考数据导出厚度。或者，可以使用本领域已知的任何方法和/或算法对皮质骨和软骨下骨进行分割。可选择生成数据的三维图像。或者，可以显示原始二维数据。外科医生可以使用指针或标记工具来标记撕裂的前交叉韧带的起点和撕裂的前交叉韧带的插入和/或识别任何其他解剖标志，例如表12中的示例性示例中所示的标志。可以分别标记前内侧束和后外侧束的原点和插入位置。任何前交叉韧带残余物或其部分可由外科医生或操作者标记。
如果使用计算机断层扫描，则可以将计算机断层扫描数据导入软件程序以使用比如，阈值或等值面算法来分割股骨和/或胫骨。可选择应用检测表面粗糙度并且基于该信息识别前交叉韧带的股骨原物的算法。或者，可以在二维或三维图像上目视检查后外侧股骨凹陷中的股骨表面以识别前交叉韧带的原点。可以识别胫骨内侧脊以标记前交叉韧带的插入。
如果使用超声波，可以在二维中显示股骨和胫骨。可选择将超声数据导入软件程序中以分割股骨和/或胫骨。可选地识别前交叉韧带的残余股骨纤维以确定原生前交叉韧带原点的位置。或者，前交叉韧带原点位置的股骨表面粗糙度可用于此目的。可以识别胫骨内侧脊以标记前交叉韧带的插入。可以使用本领域已知的任何其他影像学检查。
可选择在超声图像或超声数据上识别内侧和外侧股骨髁；可选择在超声图像或超声数据上识别胫骨内侧坪和胫骨外侧坪。其他解剖标志、表面、几何结构、形状和/或特征(比如，如下表12中提供的标题为“例如用于配准比如用于前交叉韧带修复/重建和/或膝关节置换的虚拟和实时数据的膝关节中的示例性解剖标志、表面和特征，所述虚拟和实时数据包括可选的术前和术中图像数据”)可以被识别。可选地，通过将一个或多个解剖标志、表面和特征与参考患者和/或参考股骨形状和/或参考胫骨形状的参考数据库中的数据进行比较，并且通过选择最接近匹配所选择的解剖标志、表面、几何结构、形状和/或特征的远端股骨和/或近端胫骨的三维模型，可以使用远端股骨和/或近端胫骨的这些解剖标志、表面、几何结构、形状和/或特征中的一者或多者来识别标准股骨形状或标准胫骨形状。以这种方式，可以估计患者骨骼的三维形状，比如，远端股骨和/或远端胫骨，而无需获取三维数据或不需要分割三维数据或限制所需的分割量。参考数据库可以是例如来自尸体数据的解剖学参考数据库。参考数据库还可以是例如扫描数据，比如，在NIH骨关节炎计划中获得的或从图像数据采集的扫描数据，以产生用于膝关节置换的患者特异性器械。一个或多个解剖标志、表面、几何结构、形状和/或特征也可以用于使股骨和/或胫骨的标准三维模型变形。
如果使用一个或多个X光，它们可以比如，在膝关节(或后前位)的正位投影和膝关节的侧向投影中获得。如本领域中已知的，其他视图是可能的，比如，隧道视图、商家视图、髌骨视图、倾斜视图、站立视图、仰卧视图、俯视图。可选择在正位/后前位和/或侧视图和/或倾斜视图上识别内侧和外侧股骨髁；可选择在正位/后前位和/或侧视图和/或倾斜视图上识别胫骨内侧坪和胫骨外侧坪。可以识别其他解剖标志、表面、几何结构、形状和/或特征(比如，如表12中所提供的)。可选地，通过将一个或多个解剖标志、表面、几何结构、形状和/或特征与参考患者和/或参考股骨形状和/或参考胫骨形状的参考数据库中的数据进行比较，并且通过选择最接近匹配所选择的解剖标志、表面、几何结构、形状/或和特征的远端股骨和/或近端胫骨的三维模型，可以使用远端股骨和/或近端胫骨的这些解剖标志、表面和特征中的一者或多者来识别标准股骨形状或标准胫骨形状。以这种方式，可以估计患者骨骼的三维形状，比如，远端股骨和/或远端胫骨，而无需获取三维数据或不需要分割三维数据或限制所需的分割量。参考数据库可以是例如来自尸体数据的解剖学参考数据库。参考数据库还可以是例如扫描数据，比如，在NIH骨关节炎计划中获得的或从成像数据中采集的扫描数据，以产生用于膝关节置换的患者特异性器械。
值得注意的是，使用二维图像数据或三维图像数据，比如，X光、超声、计算机断层扫描或磁共振，结合选定解剖结构的三维形状的一个或多个参考数据库，比如，用于减少或限制或消除对于获取三维数据或对于分割二维或三维数据的需要的骨骼、软骨和器官，适用于整个说明书中的本发明的包括用于所有其他临床应用的任何实施方案，比如，髋关节置、膝关节置换、脊柱外科手术、脊柱融合术、椎体成形术、椎体后凸成形术、骨折固定术、脑外科手术、肝脏手术、癌症手术等。
虚拟手术计划
通过使用任何前述方法或本领域已知的任何其他方法识别患者原生前交叉韧带的原点和插入或残余物的位置，外科医生或软件可以使用二维或者三维成像数据或可选地运动学数据(kinematic data)，比如，模拟膝关节弯曲和/或伸展和/或旋转的数据，制定和/或生成虚拟手术计划。比如，软件可以显示患者虚拟数据，比如，图像数据或三维模型数据。外科医生或软件可以选择性为给定患者和/或给定移植物大小选择期望尺寸或直径的股骨隧道和/或胫骨隧道。可以选择隧道的直径和尺寸，比如，基于患者骨骼的大小、患者肌腱的尺寸，比如，如果考虑肌腱自体移植物，则基于患者髌腱的尺寸，比如，如果考虑髌骨自体移植物，则基于患者的半腱肌腱的大小，比如，如果考虑半腱肌自体移植物，则基于或同种异体移植物或人工移植物的预期大小或施加到移植物的预期生物力学负荷或应力；相同或相似或其他参数也可用于选择移植物的股骨和/或胫骨锚，其可包括一个或多个干渉螺钉或包括纽扣型锚的其他类型的锚。外科医生或软件可以随意选择预定的股骨或胫骨隧道位置和/或定向，比如，使用原生撕裂前交叉韧带的股骨起点作为股骨中的入口点和胫骨内侧脊作为进入胫骨的入口点。注意，术语入口点和出口点可以在说明书中互换使用。
外科医生或软件可选地为给定患者选择所需尺寸和长度的移植物，比如，同种异体移植物或自体移植物。比如，可以根据患者骨骼的大小、患者肌腱的大小，来选择移植物的直径和大小，比如，如果考虑自体肌腱的大小，则基于同种异体移植肌腱的大小，比如，如果考虑同种异体移植物的大小，则基于或人造移植物的预期尺寸或施加到移植物上的预期生物力学载荷或应力；相同或其他参数也可用于选择移植物的股骨和/或胫骨锚，其可包括一个或多个干渉螺钉或包括纽扣型锚的其他类型的锚。外科医生或软件可以可选地选择预定的股骨或胫骨隧道位置和/或定向，比如，使用原生撕裂前交叉韧带的股骨起点作为股骨中的入口点和内侧胫骨脊作为进入胫骨的入口点。注意，术语入口点和出口点可以在说明书中互换使用。
投影的股骨和/或胫骨隧道位置和/或入口点和/或定向可以是通过连接原生前交叉韧带的股骨原点和胫骨插入而产生的线的延伸，可选地，前内侧束或后外侧束或后侧束或两者之间的中间位置，比如，伸展或15度屈曲。在实施方案中，移植物的骨内部分可以具有与移植物的关节内部分相同的定向。在实施方案中，移植物的骨内部分可以具有不同于移植物关节内部分的定向。移植物骨内/隧道内部分的定向和/或股骨和/或胫骨隧道的定向可以相对于患者的骨、骨厚度(例如髁厚度或从胫骨脊附近的入口点到胫骨皮质出口点的距离)以及相对于移植物关节内部分的期望位置和/或定向(例如类似于原生前交叉韧带的位置和/或定向，例如连接股骨原点和胫骨插入件的线)来选择。可针对不同的屈曲和伸展和/或旋转角度确定投影的股骨和/或胫骨隧道位置和/或定向和/或投影的骨内、关节内移植物位置、定位和/或定向。在实施方案中，光学头戴式显示器可以显示移植物的胫骨和/或股骨隧道以及关节内部分。在实施方案中，光学头戴式显示器可以显示移植物的骨内部分，例如在股骨和/或胫骨中，以及移植物的关节内部分。如果投影的股骨和/或胫骨隧道和/或投影的骨内和/或关节内移植物部分的位置和/或定向根据屈曲、伸展和/或旋转的程度而变化，则可以选择统计平均值用于选择数值，或其他统计措施或方法可以用来确定投影的股骨和/或胫骨隧道和/或投影的移植物部分的定位、位置和/或定向。
比如，在标准PC机或苹果计算机上实现的图形用户接口可用于显示患者的二维和/或三维数据并用于识别前交叉韧带原点和/或插入和/或前交叉韧带残余以及任何其他对于制定手术计划有用的骨骼标志、特征、表面和/或形状。外科医生或操作者可选地在图形用户接口上执行虚拟手术计划。外科医生或操作者可以将虚拟股骨和/或胫骨隧道和/或虚拟移植物的骨内和/或关节内部分(例如用于单束和双束技术)放置在图形用户接口和相关的数据显示上。外科医生或操作者可以在图形用户接口和相关的数据显示上放置虚拟移植物，比如，用于单束和双束技术。外科医生或操作者可以将虚拟隧道和虚拟移植物放置在图形用户接口和相关的数据显示上。软件可以可选地显示处于一度或多度的膝关节屈曲和/或伸展和/或旋转下的隧道和/或移植物。软件和/或操作者可以虚拟地评估对于一个或多个屈曲、伸展和/或旋转角度的隧道和/或移植物的定位、位置和/或定向，并且可以对这些一个或多个不同的角度虚拟评估移植物性能。软件和/或操作者/外科医生可选地基于以这种方式从一个或多个屈曲、伸展和/或旋转角度获得的信息来调整隧道和/或关节内和/或骨内移植物的定位、位置和/或定向。
可选地，图形用户接口可以提供或显示施加到移植物部分和/或锚以及周围骨的机械力的评估。软件可用于评估机械力，比如，可包括有限元建模。此外，软件可用于评估不同隧道和/或移植物的定位、位置和/或定向的膝关节的运动。比如，这种软件可以包括Anybody或其他运动建模软件。
图22E是正位图并且图22F是侧视图，其说明了股骨侧和胫骨侧(直虚线)上的示例性虚拟前交叉韧带隧道364。股骨侧弯曲的虚线表示髁间凹陷区域/顶部。
图22G是正位图并且图22H是侧视图，其说明了股骨侧和胫骨侧上的延伸穿过股骨和胫骨之间的关节间空间的示例性虚拟前交叉韧带移植物366(直实线)。虚拟锚(实心黑色椭圆形结构)367也显示在股骨和胫骨侧。注意，为了代替虚拟锚，可以在股骨和/或胫骨侧使用虚拟干渉螺钉或使用任何其他固定方式。股骨侧弯曲的虚线表示髁间凹陷区域/顶部。
图23是描述用于规划一个或多个股骨或胫骨隧道的定位、位置、定向、对准和/或方向(比如，用于单束或双束技术)或用于放置前交叉韧带移植物的不同方法的说明性非限制性流程图。最初可以获取扫描数据，比如，超声、计算机断层扫描、磁共振380。扫描数据可选地被分割381，比如，用于骨、软骨、前交叉韧带组织或结构。分割的381或未分割的380扫描数据可以二维或三维显示382。可选择识别384原生前交叉韧带原点和插入点，选择性分别用于前内侧和后外侧束。可选地，还可以识别386原生前交叉韧带残余物，也用于前内侧和后外侧束。可选地，使用来自384和/或386的信息，可以选择移植物大小388或隧道大小390或两者。可选地，虚拟股骨392和胫骨396隧道可以由光学头戴式显示器在它们各自的预定位置和方向上投影；或者，它们的中心轴线可以由光学头戴式显示器在其预定位置和方向上投影，所有这些都可选地具有显示的入口点和出口点。可选地，光学头戴式显示器394可以在其预定位置显示虚拟前交叉韧带移植物，例如用于关节内部分和/或股骨骨内部分和/或胫骨骨内部分。可选择针对不同程度的膝关节屈曲或伸展和/或旋转执行或重复步骤392、394和/或396，包括不稳定性测试398。可选择在步骤400和/或402中检查虚拟股骨隧道392、虚拟胫骨隧道396和/或虚拟前交叉韧带移植物的预定位置和方向。可选择在步骤404和/或406中调整或修改虚拟股骨隧道392、虚拟胫骨隧道396和/或虚拟前交叉韧带移植物的预定位置和方向。
可选地，软件可以在运动范围或运动范围的一部分期间模拟不同程度的股骨和胫骨屈曲和/或旋转。
配准患者虚拟数据和实时数据以进行前交叉韧带修复或重建
在本发明的一些实施方案中，患者的术前成像或扫描数据或患者虚拟数据，比如，来自磁共振扫描、计算机断层扫描、超声扫描(二维或三维)、X光成像或X光成像、超声、计算机断层扫描、或磁共振成像，通过从参考数据库中选择患者的三维股骨和/或胫骨模型，或基于患者膝关节的一个或多个解剖标志、表面、几何结构、形状或特征的现有模型的变形、或使用患者膝关节的X光对患者膝关节的三维模型的变形、或其任意组合，可以在计算机屏幕上显示，并且操作者(比如，外科医生或放射科医师)可以手动或半自动地识别以下一个或多个：股骨外侧凹陷壁、前交叉韧带原点、包括比如前内侧或后外侧束部分或中间部分的股骨侧的近端前交叉韧带残余物、内侧胫骨脊、包括比如前内侧或后外侧束部分或中间部分的胫骨侧的远端前交叉韧带残余物、前交叉韧带附着部或膝关节的任何其他解剖结构。比如，操作者，外科医生或放射科医师可以点击或圈选这些结构中的一个或多个以识别它们。可选地，操作者、外科医生或放射科医师可以指定标签，该标签标出已经用点击或圈选识别的解剖结构的名称，比如，股骨外侧凹陷壁、前交叉韧带原点、包括比如前内侧或后外侧束部分或中间部分的股骨侧的近端前交叉韧带残余、内侧胫骨脊、包括比如前内侧或后外侧束部分或中间部分的胫骨侧的远端前交叉韧带残余物、前交叉韧带附着部或膝关节的任何其他解剖结构。
在手术中，外科医生然后可以比如，使用指针或指示装置来接触患者实时数据中的对应结构。指针或指示装置可以相对于光学头戴式显示器和/或导航系统和/或患者和/或患者的膝关节和/或共同坐标系进行配准，例如使用一个或多个惯性测量单元或一个或多个光学标记(比如具有几何图案)，或包括红外标记、逆反射标记、射频标记的导航标记，或集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，其可以例如利用已知的几何结构和/或尖端位置来成像和检测指针或指示装置，使得指针的位置和指针尖端的定位、位置、定向和方向在三维对象坐标系中被捕获。然后，外科医生可选地接触在患者实时数据中对应于患者的术前成像/虚拟数据中被标记、点击或圈出的结构，即患者的实时膝关节，如比如，通过关节镜看到的，或通过术中使用超声探针并用指针扫描的结构。比如，这种结构可以是股骨外侧凹陷壁、前交叉韧带起点、包括比如前内侧或后外侧束部分或中间部分的股骨侧的近端前交叉韧带残余物、胫骨内侧、包括比如前内侧或后外侧束部分或中间部分的胫骨侧的远端前交叉韧带残余物、前交叉韧带附着部或膝关节的任何其他解剖结构中的一者或多者。以这种方式，可以在空间中配准虚拟数据和实时数据。
前述解剖标志，表面和特征仅是示例性的，并不意味着限制。本领域技术人员可以容易地识别可以用于配准患者虚拟数据和患者实时数据或患者的其他数据和/或手术器械的目的的其他解剖标志、表面或特征，比如，表12中的一些解剖标志。
本说明书中描述的任何配准技术可用于配准患者虚拟数据和患者实时数据以进行前交叉韧带修复或重建。比如，诸如超声扫描、计算机断层扫描或磁共振扫描之类的术前影像学检查或一个或多个X光图像可用于产生患者特异性标记。患者特异性标记可以被设计成具有可以与患者的解剖结构紧密配合的至少一个患者特异性表面，比如，股骨表面或胫骨表面。患者特异性标记可以应用于患者的股骨或胫骨。可选择设计患者特异性标记，使其可以在关节内位置穿过膝关节内的小切口或小门。为此目的，患者特异性标记可以由多个部分组成，其可以选择性组装在关节内。患者特异性标记的子部分或假体可具有可接合的连接器。一旦将患者特异性标记应用在相应的患者表面并且适当地坐置在配合位置中，就可以选择性将其固定到底层骨或软骨或韧带结构上。与实时患者表面连接的物理患者特异性标记上的患者特异性表面对应于患者虚拟数据中的虚拟患者表面。一旦患者特异性标记位于活体患者的配合表面上的预定位置和定向，就可以比如，使用说明书中描述的任何手段来执行患者虚拟数据与患者实时数据之间的配准。在实施方案中，至少一个患者特异性标记可以放置在远端股骨的一个或多个部分上，并且至少一个患者特异性标记可以放置在近端胫骨的一个或多个部分上。以这种方式，股骨和胫骨可以单独和/或可选地联合配准。分别配准股骨和胫骨可以具有允许膝关节屈曲和/或伸展和/或其他运动(例如旋转)的优点，同时保持股骨侧和/或胫骨侧与一个或多个光学头戴式显示器在共同坐标系中的配准。以这种方式，膝关节可以被放置在不同的位置，例如屈曲、伸展、旋转，同时保持股骨和/或胫骨的配准，从而允许一个或多个光学头戴式显示器保持虚拟股骨隧道、虚拟胫骨隧道、移植物的虚拟股骨骨内位置、移植物的虚拟胫骨骨内位置和/或移植物的关节内部分的解剖学配准显示。
可选地通过关节镜(arthroscope)以光学方式捕获患者特异性标记的位置，比如，使用集成到关节镜系统和相关显示系统中或附接到关节镜系统和相关显示系统的图像和/或视频捕获系统和/或三维扫描仪。关节镜或任何相关器械或指针可以相对于光学头戴式显示器和/或导航系统和/或患者和/或患者的膝进行配准，比如，使用一个或多个惯性测量单元或一个或多个光学标记(例如具有一种或多种几何图案)或导航标记(包括红外标记、逆向反射标记、射频标记)，或集成到、附接到光学头戴式显示器或与光学头戴式显示器分离的，例如在已知的几何结构和/或形状的协助下，可以成像和检测关节内窥镜的图像和/或视频捕获系统和/或三维扫描仪，使得关节内窥镜、器械和/或指针的位置以及关节内窥镜、器械和/或指针的尖端在三维对象坐标系中(例如共同坐标系)的定位、位置、定向和方向被捕获，该坐标系可以相对于患者的膝关节进行交叉参考和配准，例如通过将其相对于患者特异性标记和/或相对于手术室中使用的光学头戴式显示器或任何其他参考坐标系进行配准。
应用于远端股骨或近端胫骨的患者特异性标记或任何其他标记，例如具有几何图案的光学标记，可以具有已知的几何形状，例如正方形或三角形或立方体或任何其他三维形状。当已知几何形状的投影形状在关节内窥镜的投影中改变时，关于已知几何形状的投影形状的形状和大小的改变的信息可以用于例如图像和/或视频捕获系统和/或关节内三维扫描仪，以在手术过程中计算或估计关节内窥镜相对于患者特异性标记或其他标记(例如具有几何图案的光学标记)和/或实时数据(例如从患者关节内部获得的实时关节内窥镜图像)的位置。代替已知的几何形状，患者特异性标记和/或其他标记可以包括其他标记或标记装置，例如一个、两个、三个或更多个发光二极管。关节镜从患者关节内投影的一个、两个、三个或更多个发光二极管的位置和/或空间定向的变化可用于计算或估计关节镜相对于患者特异性标记和/或其他标记和/或发光二极管和/或实时数据(例如在手术过程中从患者关节内获得的实时关节镜图像)的位置。患者特异性标记和/或其他标记和/或发光二极管还可以包括物理参考区域或点，比如，可以容纳指针尖端的凹槽或凹陷。以这种方式，指针的尖端可以放置在凹槽或凹陷中。指针可附接有一个或多个惯性测量单元或一个或多个光学标记或一个或多个包括红外标记、逆向反射标记、射频标记的导航标记，例如在关节内或关节外，例如手术部位、目标组织或患者皮肤的外部，这些部位可由光学头戴式显示器或导航系统检测。还可以使用，例如集成到、附接到或分离于光学头戴式显示器的，图像和/或视频捕获系统和/或关节内三维扫描仪来检测该附接位置，例如通过入口之一引入，例如用于包括位于关节外部的光学标记和/或发光二极管的标记，例如手术部位、目标组织和/或患者皮肤外部的标记。
在本发明的一些实施方案中，患者的膝关节可以在手术中成像，比如，使用X光或多个X光图像或计算机断层扫描或超声扫描。术中扫描还可以包括利用关节镜光学扫描仪或三维扫描仪获得的扫描，该关节镜光学扫描仪或三维扫描仪例如通过内窥镜入口、单独的入口引入和/或集成到或附接到关节镜。在实施方案中，可以捕获和/或处理通过关节镜看到的图像，以导出一个或多个解剖标志、表面、几何结构、形状和/或特征。可选地，关节内光学扫描仪，例如使用关节内窥镜的光学器件，和/或三维扫描仪，例如使用关节内窥镜的光学器件，可以用于检测和/或监测在关节内位置附接到股骨远端和/或胫骨近端的一个或多个标记的位置、定位、定向和/或移动方向，所述标记为例如光学标记(例如具有一个或多个几何图案)、惯性测量单元、发光二极管和其他标记。在实施方案中，关节内光学扫描仪，例如使用关节镜的光学器件，和/或三维扫描仪，例如使用关节镜的光学器件，可以用于导出和追踪远端股骨的三维表面，例如在凹陷区域，例如用于配准股骨和/或用于保持远端股骨的配准，和/或导出和追踪近端胫骨的三维表面，例如在胫骨脊周围的区域，例如用于配准胫骨和/或用于保持胫骨的配准。可以在扫描中识别解剖标志，比如，可以包括：
表12：膝关节中的示例性解剖标志、表面、几何结构、形状和/或特征，用于虚拟和实时数据的配准，包括可选的术前和术中成像数据，用于前交叉韧带修复/重建和/或膝关节置换和/或其他膝关节相关手术
股骨凹陷(femoral notch)的内侧壁
股骨凹陷的外侧壁
股骨凹陷的顶部
残留的前交叉韧带原点
残留的前交叉韧带附着部
内侧髁的内侧壁
外侧髁的外侧壁
内侧上髁隆起
外侧上髁隆起
股骨内侧髁形状，比如，半径、凸度、凹陷
股骨外侧髁形状，比如，半径、凸度、凹陷
髁间凹陷形状(Intercondylar notch shape)
髁间凹陷表面特征
髁间凹陷天顶壁
髁间凹陷内侧壁
髁间凹陷外侧壁
内侧胫骨脊
外侧胫骨脊
前内侧胫骨缘
前外侧胫骨缘
内侧胫骨缘
外侧胫骨缘
内侧坪的最低点
外侧坪的最低点
内侧坪的最高点
外侧坪的最高点
胫骨内侧坪形状
胫骨外侧坪形状
胫骨内侧坪表面特征，比如，半径、凸度、凹陷
胫骨外侧坪表面特征，比如，半径、凸度、凹陷
前述解剖标志、表面和特征仅是示例性的，并不意味着限制。本领域技术人员可以容易地识别可以用于配准患者虚拟数据和患者实时数据或患者的其他数据和/或手术器械的目的的其他解剖标志、表面、几何结构、形状或特征。
解剖标志、表面、几何结构、形状或特征可用于配准以下一个或多个：术前数据，例如术前运动学数据、术前成像数据；术前生物力学数据，例如有限元数据，例如评估和/或显示移植物应力、应力增加的区域等；术中数据，例如术中运动学数据、术中成像数据；手术期间生物力学数据，例如手术期间压力测量，例如在胫骨内侧坪和/或胫骨外侧坪上，手术期间力和/或张力测量，例如涉及前交叉韧带移植物的部分；患者的虚拟数据，例如虚拟运动学数据、虚拟成像数据、虚拟解剖数据、虚拟器械数据、虚拟装置数据、患者的虚拟手术计划、包括物理手术器械和关节镜的患者的实时数据，例如通过光学头戴式显示器看到的或者由集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪捕获的，例如在关节内位置的通过相同或不同的入口进入的集成到、附接到分离于关节镜的图像和/或视频捕获系统和/或三维扫描仪，或者集成到关节镜中的图像捕获和图像分析系统，例如使用关节镜的光学器件，或者如通过关节镜观察的。解剖标志、表面和特征可以例如在患者的一个或多个虚拟数据和/或患者的一个或多个术中成像数据上被标记、点击或圈出，或者可以被自动识别，例如手术中获得的x光或超声波、光学扫描、三维激光扫描，例如从关节内获得的，例如通过将光学扫描仪和/或三维激光扫描仪通过一个或多个关节内窥镜入口引入，或者集成到关节内窥镜中、附接到关节内窥镜上或与关节内窥镜分离，以及在一些实施方案中，实时患者/膝关节中相应的解剖标志、表面、几何结构、形状和/或特征可以例如由外科医生用指针或探针触摸，或者使用患者关节内的光学扫描仪和/或三维激光扫描仪直接扫描患者的实时解剖结构和/或附着于股骨远端和/或胫骨近端的标记来配准。在实施方案中，标记可以放置在一个或多个标志上，或者可以配准在股骨和/或胫骨表面上。该标记例如可以是光学标记，例如具有一个或多个几何图案。标记物可以通过入口引入，并且可以选择性地附接或固定到股骨表面或标志物或胫骨表面或标志物上。可以使用光学扫描仪和/或三维激光扫描仪在股骨表面和/或胫骨表面上配准标记位置和/或坐标。标记位置和/或坐标可以被配准在使用光学扫描仪和/或三维扫描仪生成的股骨和/或胫骨三维模型上。标记可以选择性地扩展：标记可以在折叠状态下通过一个或多个入口插入。一旦进入关节，标记可以扩展。例如，当标记扩展时，一个或多个几何图案可以变得可见。标记物可以具有不可扩展的部分，例如进入骨骼用于固定标记物的螺钉或钉部分。标记可以具有可扩展部分，例如集成到标记中或附接到标记上的一个或多个几何图案。标记可以是螺钉或销，其可以固定到股骨或其他骨骼上。
在实施方案中，指针或探针可以相对于光学头戴式显示器或导航系统和/或患者和/或患者的膝关节进行配准，比如，使用一个或多个惯性测量单元或一个或多个光学或包括红外标记、逆向反射标记、射频标记的导航标记或集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，以便在三维对象坐标系中捕获指针的位置和指针尖端的定位、位置、定向和方向，该三维对象坐标系可以与术中数据互相参照。所述一个或多个惯性测量单元或一个或多个光学或包括红外标记、逆向反射标记、射频标记的导航标记，可以位于关节内侧，例如关节滑膜内衬内，例如靠近指针或探针的尖端。所述一个或多个惯性测量单元或一个或多个光学或包括红外标记、逆向反射标记、射频标记的导航标记，可以位于关节外侧，例如目标组织、手术部位和/或患者皮肤外部。所述一个或多个惯性测量单元或一个或多个光学或包括红外标记、逆向反射标记、射频标记的导航标记，可以在关节内部并且目标组织、手术部位和/或患者皮肤外部。
术中数据，比如，术中图像数据可以手动或半自动或自动(比如，通过图像处理和/或模式识别技术)互相参照并配准到患者虚拟数据、虚拟手术计划和/或患者实时数据。患者虚拟数据、虚拟手术计划、术中数据，比如，术中成像，以及患者实时数据可以在同一坐标系中配准，可选地通过各种坐标转换。外科医生可选地接触与术前成像/虚拟数据和/或术中数据中被点击或圈出的结构相对应的结构，比如，患者实时数据中的患者术中成像数据，即患者实时膝关节(live knee)，如比如，通过具有指针的关节镜看到的，该指针可以包括或携带一个或多个惯性测量单元或一个或多个光学或者包括红外标记、逆向反射标记、射频标记的导航标记，或可以使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来配准。可选择通过一个或多个入口引入超声探针，并且比如，除了X光成像外，超声探针也可以用于术中成像。超声探针可用于识别比如，前交叉韧带原点、前交叉韧带附着部和/或任何近端或远端前交叉韧带残余。超声探针可以包括或携带一个或多个惯性测量单元或一个或多个光学或包括红外标记、逆向反射标记、射频标记的导航标记，其可以使用集成到、附接到光学头戴式显示器到或与光学头戴式显示器分离的图像和/或视频捕获系统和/或三维扫描仪进行配准。
或者，可以使用光学指针(比如，激光)指向对应于已在患者虚拟数据和/或患者术中数据中标记的解剖标志、表面和特征的实时患者体内的解剖标志、表面和特征中的一者或多者。光学指针可以包括或携带一个或多个惯性测量单元或一个或多个光学或导航标记，包括红外标记、逆向反射标记、射频标记，这些标记可以使用集成到、附接到或分离于光学头戴式显示器或导航系统的图像和/或视频捕获系统和/或三维扫描仪进行配准；一个或多个惯性测量单元或一个或多个光学或导航标记，包括红外标记、逆向反射标记、射频标记，可以在关节内部、关节外部和/或关节内部和外部。每当光学指针突出显示活体患者的一个或多个解剖标志、表面和特征时，该区域可以通过关节镜的成像系统或通过集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来捕获。以这种方式，可以在患者实时数据中识别相应的解剖标志、表面和特征，并且可以与患者虚拟数据和/或患者的术中数据互相参照和配准。
关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置也可以一起或单独相对于远端股骨和/或近端胫骨的任何解剖标志、表面或特征进行配准，用于配准患者的虚拟数据、术中数据、实时数据或其他数据。为此目的，物理和可选的虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他虚拟设备和/或虚拟股骨和/或胫骨隧道可以相对于光学头戴式显示器或导航系统和/或患者和/或患者的膝关节，例如在包括例如光学头戴式显示器的共同坐标系中配准，比如，使用一个或多个惯性测量单元或一个或多个光学或导航标记，包括红外标记、逆向反射标记、射频标记，或者集成到、附接到光学头戴式显示器或与光学头戴式显示器分开的图像和/或视频捕获系统和/或三维扫描仪，以便在三维对象坐标系中捕获关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置的位置，和关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置的定位、位置、定向和方向。
可选地，在术中扫描(例如使用光学成像系统和/或三维扫描仪)中识别的一个或多个解剖标志可以与在外科手术之前获得的患者虚拟数据互相参照，比如，术前X光、计算机断层扫描、磁共振扫描或超声扫描，比如，用于拟定虚拟手术计划。在手术期间所用成像模式(比如，超声、和/或光学成像扫描和/或三维扫描)可以与用于生成患者虚拟数据的成像模式不同，可选地，与虚拟手术计划的成像模式(比如，磁共振)不同。
可选地，通过任何入口引入的一个或多个器械和/或关节内窥镜可携带一个、两个、三个或更多个惯性测量单元、光学、光或其他标记、导航标记(包括红外标记、逆向反射标记、射频标记)、图像捕获标记(例如发光二极管)等，例如在关节内侧，例如滑膜内衬内侧，和/或关节外侧，例如在患者关节外侧和/或患者皮肤外侧。只有一个或多个器械可以相对于患者虚拟数据或患者术中数据进行配准，而关节镜不能配准。只有关节镜可以相对于患者虚拟数据或患者术中数据配准，而一个或多个工具不能被配准。可以使用说明书中描述的或本领域已知的任何标记。内窥镜和/或一个或多个器械的位置和/或方向可以例如相对于术中成像数据上识别的一个或多个解剖标志被配准，例如使用超声波、光学扫描系统和/或三维扫描仪获得的解剖标志，或者相对于患者的虚拟数据被配准，例如术前X光、计算机断层扫描、磁共振成像或超声波，或者相对于虚拟手术计划被配准。
可用于前交叉韧带修复和/或前交叉韧带重建的任何前述实施方案的其他标记包括但不限于，皮肤标记、关节内标记、射频标记、光学标记、关节镜锚、关节镜标签、钉和/或螺钉。
在本发明的一些实施方案中，外科医生可通过关节镜或通过使用术中成像技术，诸如超声波、光学成像系统、三维扫描仪，比如，通过其中一个入口插入，获得前交叉韧带原点和/或前交叉韧带插入件的图像或前交叉韧带近端和/或远端残余物或两者的组合的图像。然后，可以在计算机监视器上或在光学头戴式显示器的投影中获得可比较的投影，其中患者虚拟数据以及患者实时数据的视角和放大倍率可以基本上相似并且可以叠加，比如，以视觉方式在光学头戴式显示器上叠加。一旦获得了患者实时数据和患者虚拟数据的视角和放大倍率的实质相似度，就可以比如，在同一坐标系中或在单独坐标系中通过已知坐标转换配准数据。关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置可以包括或附接一个或多个惯性测量单元或一个或多个光学或导航标记(包括红外标记、逆向反射标记、射频标记)、发光二极管，或其可以使用集成到、附接到、或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，从而关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置可以在它们被移动时保持配准，比如，在初始配准之后使用患者的物理和虚拟数据的基本相似的投影。
在一些实施方案中，远端股骨的标志可以被配准，可选地相对于胫骨，或者可选地与胫骨分离。胫骨可以可选地相对于股骨处于固定和/或屈曲位置，例如使用或不使用腿部支架，例如在90、100、110、120度或更大的屈曲度。可选地，可以将钉或螺钉放置在例如骨中，例如股骨隧道的预定位置处或附近。可以配准所述一个或多个钉的位置，比如，使用图像和/或视频捕获系统和/或三维扫描仪或一个或多个附加的惯性测量单元或光学标记或导航标记，包括红外标记、逆向反射标记、射频标记。以这种方式，通过将钉或螺钉和/或一个或多个惯性测量单元，光学标记或导航标记保持在适当位置或通过使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，保持股骨和/或胫骨配准，即使膝关节移动到不同的位置，比如，不同的屈曲、伸展、旋转、外展、内收等角度时也是如此。
在一些实施方案中，可以配准近端胫骨的解剖标志，可选择相对于股骨。股骨可以可选地相对于胫骨处于固定或伸展位置，例如使用或不使用腿部支架，例如在0度屈曲、5度过伸、10度过伸、5度屈曲、10度屈曲、15度屈曲等。可选地，可以将钉或螺钉放置在例如骨中，例如胫骨隧道的预定位置处或附近。可以配准一个或多个钉的位置，比如，使用图像和/或视频捕获系统和/或三维扫描仪或一个或多个附加的惯性测量单元或光学标记或导航标记。以这种方式，通过将钉或螺钉和/或一个或多个惯性测量单元或光学标记或导航标记保持在适当位置或通过使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，可以保持胫骨和/或股骨配准，即使当膝关节移动到不同的位置，比如，不同的屈曲、伸展、旋转、外展、内收等角度时也是如此。
可以使用本文描述的一种或多种方法相互关联地配准以下数据：
-患者虚拟数据，比如，术前成像数据、术前运动学数据
-虚拟手术计划，例如虚拟股骨和/或胫骨隧道，虚拟移植物，例如关节内和/或骨内股骨和/或胫骨部分
-术中成像数据，比如，使用术中扫描，比如，一个或多个X光、计算机断层扫描、磁共振、超声，可视化患者的选择的解剖标志、表面或特征(参见前述清单)
-术中图像捕获数据，例如来自光学成像系统的数据，例如通过入口插入关节，例如选择的患者膝关节(例如，参见前述列表)或患者关节的标志、表面或特征
-将一个或多个患者特异性标记应用于关节，比如，应用于一个或多个关节表面或骨赘，可选地使用集成到关节镜系统中，附接到关节镜系统或从关节镜系统分离的图像和/或视频捕获系统和/或三维扫描仪可视化，或者可选地通过关节镜系统可视化
-内窥镜位置、定位、定向、对准和方向，例如通过以下方式测量：使用关节外部的集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪的直接追踪和/或使用通过入口插入、位于关节内部的集成到、附接到或分离于关节镜的图像和/或视频捕获系统和/或三维扫描仪的直接追踪，和/或附接的惯性测量单元、光学标记、导航标记(包括红外标记、逆向反射标记、射频标记)、或关节外部和/或关节内部的集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪
-器械、探针、移植物、锚或其他装置的位置、定位、定向、对准和方向，例如通过以下方式测量：使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪的直接追踪和/或使用通过入口插入、位于关节内部的集成到、附接到或分离于关节镜的图像和/或视频捕获系统和/或三维扫描仪的直接追踪，和/或附接的惯性测量单元、光学标记、导航标记(包括红外标记、逆向反射标记、射频标记)、或集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪
物理器械、装置或移植物的投影路径以及虚拟器械、装置、移植物或隧道的虚拟路径
可以使用说明书中描述的任何技术影响或实现配准。例如，集成到或附接到任何关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置的任何惯性测量单元或光学标记、发光二极管或导航标记，包括红外标记、逆向反射标记、射频标记，的位置、定位、定向、方向，可以使用集成到、附接到或分离于光学头戴式显示器的图像捕获系统来捕获，例如当在关节外部时，或者使用通过入口插入关节内的图像捕获系统，例如集成到关节内窥镜中、附接到关节内窥镜或与关节内窥镜分离的三维扫描仪或者光学扫描系统，或者导航系统，或者关节内窥镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置的位置、定位、定向、方向可以使用，例如集成到、附接到或分离于光学头戴式显示器或关节内窥镜的图像和/或视频捕获系统和/或三维扫描仪来捕获，并且例如，一旦完成配准，物理手术器械(例如探针或钻头)的投影路径可以被计算和/或由关节镜系统的光学头戴式显示器和/或显示监视器显示。物理手术器械的投影路径比如，可以与预定的虚拟股骨隧道、虚拟胫骨隧道、虚拟前交叉韧带移植物或虚拟锚或虚拟干渉螺钉中的一者或多者的预定位置和/或定向平行、重迭、叠加、或垂直或者以预定的角度定向。随着物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置的定位、位置、定向、方向的改变，投射路径可以改变。投射路径可以是物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置中的一者或多者的长轴线或其他轴线或行进方向的延伸。投射路径可以由光学头戴式显示器以三维立体或三维非立体或二维形式显示，可选地具有不同的颜色或图案。投射路径可以由关节镜系统的显示监视器和/或两者显示。
如果是通过光学头戴式显示器显示，则可以调整放大倍率，在操作者注视患者或患者的膝关节的情况下，这能够要求例如无需放大，或者在操作者查看通过关节镜(scope)获得的并且可选地由关节镜单元的监视系统显示的关节镜图像的显示的情况下。由于通过关节镜获得并且可选地通过关节镜系统显示监视器显示的患者膝关节和内部结构的图像通常被放大，因此，投射路径的显示也可以被放大，比如，匹配关节镜显示器或系统的放大系数。投射路径和/或任何虚拟器械或物理器械的任何非可视化部分的虚拟显示的显示可以在放大倍率上与关节镜图像的放大倍率或关节镜系统的固有放大倍率匹配，或者可选地，可以在放大倍率上略小于或大于关节镜或关节镜监视器显示设备的放大倍率。
在本发明的一些实施方案中，光学头戴式显示器和/或关节镜系统显示监视器可以显示关节镜、手术器械、钻头、扩孔器、撞击器、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置中的一者或多者的虚拟路径。虚拟路径可以与手术器械的预定路径重合或基本上对准或平行或与手术器械的预定路径相同。虚拟路径可以例如与预定股骨隧道、胫骨隧道、前交叉韧带移植物(例如关节内和/或骨内股骨和/或胫骨部分)或锚或干涉螺钉中的一者或多者的预定位置和/或定向平行和/或一致、叠加、或正交或成预定角度。虚拟路径可以通过光学头戴式显示器投影，可选地以三维立体或三维非立体或二维形式投影，可选地具有不同的颜色或图案。虚拟路径可以由关节镜系统的显示监视器投射。虚拟器械和/或装置，比如，虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他虚拟装置也可以由光学头戴式显示器和/或关节镜系统显示监视器显示。
如果是通过光学头戴式显示器显示，则可以调整放大倍率，在操作者注视的患者或患者的膝关节的情况下，这能够要求例如无需放大，或者在操作者查看通过关节镜获得的并且可选地由关节镜单元的显示监视器系统显示的关节镜图像的显示的情况下。由于通过关节镜获得并且可选地通过关节镜系统显示监视器显示的患者膝关节和内部结构的图像通常被放大，虚拟路径或任何虚拟器械或装置，比如，关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他虚拟装置的显示，也可以被放大，比如，匹配关节镜显示器或系统的放大系数。虚拟路径和/或任何虚拟器械或装置的显示可以在放大倍率上与关节镜图像的放大倍率或关节镜系统的固有放大倍率匹配，或者可选地，可以在放大倍率上略微小于或大于关节镜或关节镜监视器显示单元的放大倍率。虚拟路径和/或任何虚拟器械或装置的显示可以使用不同的颜色或图案，比如，不同于患者实时数据，包括膝关节内部结构的关节镜图像。
在本发明的一些实施方案中，肢体部(extremity)，在肩部手术或肘部手术的情况下手臂，在膝关节或髋部手术、包括前交叉韧带修复或重建的情况下被保持或定位在相同的位置，比如，相同度数的屈曲、伸展、外展、内收、内部或外部旋转，以获取将出于下述数据配准的目的而使用的数据：术前数据，比如，术前成像数据和/或运动学数据，术中数据，比如，术中成像数据和/或运动学数据，和/或患者实时数据，比如，通过光学头戴式显示器观察到的数据，诸如，膝关节的患者实时数据或通过光学头戴式显示器或关节镜系统的显示监测单元观察到的数据，比如，患者膝关节内部结构的患者实时数据。通过在肢体或目标组织或关节的相同位置获取这些术前、术中和患者实时数据，可以遇到较少的定位变化，这可以有助于促进使用说明书中描述的任何方法进行配准。比如，上臂支架或腿支架可用于获得术前成像数据，比如，四肢或目标关节或目标组织的X光图像，超声数据，计算机断层扫描或磁共振数据；上臂或腿支架可以将肢体或目标关节或目标组织固定在一个或多个位置。可以使用相同或类似的上臂支架或腿支架来获得术中成像数据，比如，肢体或目标关节或目标组织的X光图像、超声数据、计算机断层扫描或磁共振数据、光学扫描系统数据和/或三维扫描仪数据；上臂或腿保持器可以将肢体或目标关节或目标组织固定在一个或多个位置以用于术中数据采集。可以获得在肢体、目标关节或目标组织处于与获得术前或术中数据时所用位置相似的位置的情况下的包括从患者关节内部获得的关节镜数据的患者实时数据。可以以这种方式便利配准患者的两个或更多个术前数据、患者的术中数据、患者虚拟数据、患者的虚拟手术计划或患者实时数据(包括关节镜图像或从患者关节内获得的其他数据)。当一个或多个光学头戴式显示器用于显示软组织损伤或损坏或损伤区域并引导治疗物的放置时，复制相同或相似的肢体位置和/或定向，例如对于肩关节手术而言的手臂或对于髋关节、膝关节或脚踝手术而言的腿，可能特别有益。例如，在修复肩袖撕裂时，在术前磁共振成像扫描期间和实际手术期间复制臂的相同或相似位置和/或定向可以有助于使用一个或多个光学头戴式显示器将肩袖撕裂部分的显示叠加到患者的活体手术部位上。可选地，软件还可以模拟手臂的运动，例如外展，以及肩袖的相关内侧运动，例如达1、2、3、4或5厘米或更多厘米，对应于例如外展的角度。本领域技术人员可以认识到，相同的概念可以扩展到其他关节和其他类型的软组织手术，例如盂唇撕裂和修复或清创术等。
任何前述实施方案，比如，与虚拟手术计划、配准和肢体或目标关节或组织定位有关的那些实施方案适用于其他外科手术，比如，膝关节置换、髋关节置换、脊柱手术、脊柱融合术、椎体成形术、椎体后凸成形术、脑外科手术、其他器官手术、如肝脏、肾脏、脾脏、肠道手术以及切除任何种类的肿瘤。
光学头戴式显示器
光学头戴式显示器可选地显示一个或多个虚拟隧道或虚拟移植物或虚拟移植物位置和/或对准。在任一实施方案中，虚拟移植物位置和/或对准可以是移植物的关节内部分和/或移植物的骨内股骨部分和/或移植物的骨内胫骨部分。虚拟股骨隧道和/或虚拟移植物的骨内部分可以被放置和/或定向和/或对准为，使得其不会在其进入和离开远端股骨的入口和出口区域侵犯股骨软骨表面。光学头戴式显示器还可以显示一个或多个物理手术器械或装置的投影路径，例如关节镜、手术器械，例如股骨和/或胫骨钻头、夯具、前交叉韧带足迹模板、钉导引物、钻头导引物、股骨导引物和/或胫骨导引物、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置。光学头戴式显示器还可以显示一个或多个物理手术器械或装置的虚拟路径，例如关节镜、手术器械，例如股骨和/或胫骨钻头、夯具、前交叉韧带足迹模板、钉导引物、钻头导引物、股骨导引物和/或胫骨导引物、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置。虚拟路径可以是来自虚拟手术计划的预定路径。虚拟数据可以包括任何器械的虚拟深度指示器或虚拟深度止挡的显示，外科医生可以使用虚拟深度指示器或虚拟深度止挡来例如将物理器械中的物理深度止挡与虚拟显示的深度止挡对准，从而控制物理器械的穿透深度或前进深度。
可选地，一个或多个物理手术器械，例如股骨和/或胫骨钻头、夯具、前交叉韧带足迹模板、钉导引物、钻头导引物、股骨导引物和/或胫骨导引物，或装置，例如关节镜、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置，和/或它们的投影路径可以与虚拟隧道、虚拟移植物或虚拟移植物位置的显示对准。对准可以处于与隧道的角度相同或不同的角度，例如在冠状面或矢状面中。可选地，光学头戴式显示器可以显示相应的虚拟手术器械的虚拟位置，例如股骨和/或胫骨钻头、夯具、前交叉韧带足迹模板、钉导引物、钻头导引物、股骨导引物和/或胫骨导引物，或者装置，例如关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置，并且操作者可以可选地将所述一个或多个物理手术器械，例如股骨和/或胫骨钻头、夯具、前交叉韧带足迹模板、钉导引物、钻头导引物、股骨导引物和/或胫骨导引物、或装置与虚拟手术器械或装置对准。或者，光学头戴式显示器可以显示虚拟手术器械(例如股骨和/或胫骨钻头、夯具、前交叉韧带足迹模板、钉导引物、钻头导引物、股骨导引物和/或胫骨导引物或装置)的位置和/或定向和/或对准或行进方向以及虚拟隧道、虚拟移植物或虚拟移植物位置)中的一者或多者，物理手术器械或装置(例如探针或钻头)和/或它们的投影路径可以与虚拟手术器械(例如股骨和/或胫骨钻头、夯具、前交叉韧带足迹模板、钉导引物、钻头导引物、股骨导引物和/或胫骨导引物、或装置)和/或虚拟隧道、虚拟移植物或虚拟移植物二者对准。
投影路径、虚拟路径、预定路径、虚拟手术器械和/或装置、关节镜、手术器械，例如股骨和/或胫骨钻头、夯具、前交叉韧带足迹模板、钉导引物、钻头导引物、股骨导引物和/或胫骨导引物、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他虚拟装置、虚拟隧道和/或虚拟移植物可以由光学头戴式显示器和/或关节镜系统的显示单元使用不同的图案和颜色来显示，例如实线、虚线、点划线，不同的颜色，例如绿色、红色、蓝色、橙色，不同的粗细，不同的不透明度或透明度。
在一些实施方案中，一个或多个惯性测量单元和/或光学标记、发光二极管、导航标记(包括红外标记、逆向反射标记、射频标记)、校准体模可以应用于关节镜、手术器械，例如股骨和/或胫骨钻头、夯具、前交叉韧带足迹模板、钉导引物、钻头导引物、股骨导引物和/或胫骨导引物、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置。关节镜、手术器械、探针、指针、前交叉韧带移植物，股骨和/或胫骨锚和其他装置可以被配准，比如，相对于患者虚拟数据。关节镜或一个或多个关节镜器械，例如探针或指针，可以应用于膝关节内的、通过关节镜可视化的各种标志，并与患者的虚拟数据，例如术前扫描数据和/或来自光学成像系统和/或三维扫描仪的术中扫描数据和/或术中数据进行配准，所述光学成像系统和/或三维扫描仪可以位于关节外部，例如患者皮肤外部，并且可以位于关节内部，例如关节滑膜内衬内部。
一旦配准了患者的虚拟数据和实时数据，用于准备隧道的物理钻头或器械，例如股骨和/或胫骨钻头、前交叉韧带足迹模板、钉导引物、钻导引物、股骨导引物和/或胫骨导引物，可以与光学头戴式显示器和/或关节镜系统的显示单元在股骨侧和胫骨侧显示的虚拟钻或虚拟隧道的轴线、位置和/或定向对准。或者，可以通过光学头戴式显示器和/或关节镜系统的显示设备显示虚拟路径，并且物理钻头(比如，物理钻头的长轴线)和物理钻头的入口点可以与虚拟路径对准。这可以用单束和双束技术实施。这也可以针对移植物的股骨和/或胫骨隧道和股骨和/或胫骨侧单独进行。如果使用经胫骨技术，股骨和胫骨隧道可以在虚拟手术计划和光学头戴式显示器或关节镜系统显示单元的虚拟显示器中以给定角度的膝关节屈曲(和/或旋转)连接，以便虚拟手术计划与外科医生的预期经胫骨技术一致。
在本发明的实施方案中，内窥镜可以可选地附接有一个或多个惯性测量单元或光学标记或包括红外标记、逆向反射标记、射频标记的导航标记，并且内窥镜可以在其位置中相对于光学头戴式显示器或相对于光学成像系统和/或三维扫描仪配准，该光学成像系统和/或三维扫描仪可以位于关节外部，例如患者皮肤外部，以及关节内部，例如关节滑膜内衬内部。还可以利用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪来捕获镜的位置和/或定向。外科医生可以在远端股骨或近端胫骨的目标区域上来回移动关节镜，比如，接近隧道放置区域或前交叉韧带原点和/或插入物等区域。通过在目标区域上来回移动镜，可以获得表面形貌和/或形状的视觉感知。此外，由于可以使用一个或多个惯性测量单元、光学标记、导航标记(包括红外标记、逆向反射标记、射频标记)、和/或图像和/或视频捕获系统和/或三维扫描仪在坐标系中配准镜，因此目标区域的表面形貌和/或形状也可以与镜和/或光学头戴式显示器及其各自的对象坐标系相关地被捕获和配准，例如也使用图像和/或视频捕获系统和/或三维扫描仪。当镜在目标区域上来回移动时，可以通过镜在镜的不同角度方向上获得目标区域的多个投影。可选地，目标区域的这些多个角度投影可以用于重建目标区域的三维表面或者从镜图像数据估计目标区域表面或三维形貌或形状。可以将该表面形貌和/或形状与患者虚拟数据中的目标区域的表面形貌和/或形状进行比较，或者可选地，与患者的术中数据进行比较。可以在镜图像数据和患者虚拟数据中识别基本相似的表面形貌和/或形状，并且可以执行镜图像数据和患者实时数据、患者虚拟数据和/或光学头戴式显示器的配准。现在可以知道对象坐标转换的目的是进行配准。
如果由光学头戴式显示器和/或关节镜系统的显示单元显示虚拟手术器械、装置、移植物或隧道和/或虚拟手术计划，则外科医生可以来回移动关节镜，或者例如以圆形方式(circular fashion)获得关节内结构的深度透视或拟三维效果，包括比如，各个隧道进入区域的通过关节镜单元的视觉表示；当外科医生以这种方式移动关节镜时，可以使用附接到关节镜的一个或多个惯性测量单元或光学标记和/或导航标记，包括红外标记、逆向反射标记、射频标记来监测关节镜运动，包括角度定向或方向的变化，或者其可以通过集成到、附接到OHMD或与OHMD分离的图像和/或视频捕获系统和/或三维扫描仪(例如位于患者皮肤外部或位于关节内部或两者在分离的情况下)来监测。该软件可以通过角度定向和/或方向的变化来保持关节镜系统相对于患者虚拟数据和患者实时数据的配准，并且虚拟手术器械、装置、移植物或隧道和/或虚拟手术计划的显示可以在光学头戴式显示器中保持稳定。
以下是可在前交叉韧带重建期间所用物理和虚拟器械的示例性列表。在虚拟手术计划之后的外科手术过程中，光学头戴式显示器可以以虚拟形式显示这些器械中的一者或多者或全部。比如，可以在虚拟手术计划上以预定位置、定位、定向和/或方向显示每一虚拟器械，使得外科医生可以将用于前交叉韧带重建的物理器械与光学头戴式显示器显示的虚拟器械或股骨或胫骨侧的虚拟隧道或股骨或胫骨侧的中央隧道轴线或虚拟前交叉韧带移植物对准。光学头戴式显示器还可以显示虚拟手术器械的虚拟路径，其中虚拟路径可以是来自虚拟手术计划的预定路径。光学头戴式显示器还可以显示在患者实时数据中所用物理手术器械的投影路径。
表13：由光学头戴式显示器显示的用于前交叉韧带重建的物理手术器械和虚拟手术器械的示例性列表(可以使用多个每一者，比如，具有不同的尺寸、长度、形状)：
关节镜
电动器械
电动工具
关节镜通道(arthroscopy portal)
关节镜鞘
闭孔器(obturator)
抓钳，比如，鳄齿型抓钳、斗牛犬齿型抓钳
鸭形钳
上咬合器
穿孔器，比如，叉骨穿孔器
去毛刺器
剃须刀
缝合刀
剪刀
钻，各种类型，不同直径，实心，插套管
钻头导引物
偏置钻头导引物
偏置钻头导螺杆或销
钻套筒，各种类型，例如阶梯钻套筒、直钻套筒
夹头扳手
钩针
平行导引物
平行导套
肌腱剥离器，比如，半腱肌腱剥离器、腿后肌腱剥离器
锉刀，比如，髁间窝成形术锉刀
扩孔器
扩孔器手柄
拔销器
隧道插塞
隧道开槽器
牵开器，比如，移植物切取牵开器
钩，比如，股骨或胫骨前交叉韧带标记钩
前交叉韧带导引物，比如，股骨或胫骨，左、右
螺钉刀，比如，逆向螺钉刀，干渉螺钉刀
螺钉刀轴，空心管或非空心管
前交叉韧带导引物，比如，输送式前交叉韧带导引物
前交叉韧带钻头导引物，比如，经颅前交叉韧带钻头导引物
胫骨或股骨隧道导引物，比如，带单点弯头导引物，单点叉形导引物，双点叉形导引物
股骨瞄准器
胫骨瞄准器
骨刀
拉柄
套管，比如，胫骨隧道套管，可选地具有一个或多个闭孔器
切割导引物，比如，用于移植物切取
移植校准刀
移植刀
移植刀架/拉柄
干渉螺钉，可再吸收、不可再吸收
股骨和/或胫骨夯具
前交叉韧带足迹模板
销导引物
股骨导引物
胫骨导引物。
光学头戴式显示器可以显示完整的股骨和/或胫骨隧道，它可以仅显示中心线或轴线，它可以显示前壁、后壁、内壁和/或侧壁，它可以显示三维轮廓，或者它可以显示隧道的方向箭头。光学头戴式显示器可以显示完整的股骨和/或关节内和/或胫骨移植部分，它只能在股骨，关节内或胫骨区域显示中心线或轴，或者它可以显示移植物的方向箭头或三维轮廓。
可选地，如果外科医生选择改变物理手术计划，则可以相应地调整虚拟手术计划，比如，通过计算机接口，并且可以通过改变虚拟手术计划来改变光学头戴式显示器中显示的虚拟器械和步骤的顺序。对虚拟手术计划的改变可以包括手术步骤顺序的改变、手术方法的改变，比如，股骨优先、胫骨优先、经胫骨、删除选择的手术步骤、添加手术步骤、重新定向虚拟手术隧道、重新定向虚拟手术移植等
如果外科医生选择调整股骨或胫骨隧道的定位、位置和/或定向，则软件可以调整虚拟手术计划中相对侧上的隧道的位置。这种调整可以是自动的，比如，如果使用经胫骨技术，则股骨隧道可以是经调整的胫骨隧道的延伸。相对的隧道的虚拟手术计划中的调整也可以是手动的，比如，由外科医生进行，比如，在外科医生已经调整第一物理隧道并且改变其相对于虚拟手术计划的位置之后。在虚拟手术计划或物理手术中，在第一隧道的位置和/或定向已经改变之后，软件可选地重新计算对于不同的伸展、弯曲和旋转角度而言的相对的胫骨隧道的位置。
可以使用本领域已知的用于前交叉韧带重建和前交叉韧带修复的任何手术技术或方法。因此，虚拟手术计划可以用于本领域已知的用于前交叉韧带重建和前交叉韧带修复的任何手术技术或方法，并且可以由光学头戴式显示器显示。这样的手术技术或方法可以包括但不限于，开放式外科前交叉韧带重建或修复、关节镜手术前交叉韧带重建或修复、所有内部前交叉韧带重建或修复、经胫骨前交叉韧带重建、股骨优先技术、胫骨优先技术、使用干渉螺钉或其他类型的锚、单束和双束技术、髌骨自体移植技术、半腱肌腱技术、其他类型的肌腱移植技术、同种异体移植技术。
在实施方案中，光学头戴式显示器可以显示患者的远端股骨和/或近端胫骨的虚拟三维模型，例如从具有三维模型生成(例如骨变形)的二维X光图像生成，和/或从与物理远端股骨和/或物理近端胫骨配准并叠加在其上的计算机断层扫描或磁共振扫描导出。光学头戴式显示器还可以共同显示一个或多个虚拟隧道和/或虚拟移植物，例如骨内和/或关节内和/或虚拟锚。外科医生可以使用说明书中描述的技术，例如使用基于PC机的接口和/或虚拟接口，虚拟地移动、放置、定向、对准、配合和/或确定尺寸和/或选择虚拟隧道、虚拟移植物和/或虚拟锚。虚拟隧道、虚拟移植物和/或虚拟锚的虚拟移动、放置、定向、对准、配合和/或确定尺寸和/或选择可以在患者体内重新发生，而无需预先确定的虚拟手术计划和/或虚拟移动、放置、定向、对准、配合和/或确定尺寸和/或选择虚拟隧道、虚拟移植物和/或虚拟锚可以用于在将数据叠加到患者的物理远侧股骨和/或近侧胫骨之前修改预定的虚拟手术计划，例如最初仅使用虚拟三维模型制定的虚拟手术计划。
在本发明的一些实施方案中，光学头戴式显示器可选地显示物理关节镜、手术器械(例如列在表13中)、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置中的一者或多者的任何非可视部分。由于物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置的几何结构、形状和尺寸是已知的，可选择使用图像和/或视频捕获系统和/或三维扫描仪来捕获一个或多个关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置的可视化部分。可选的标记(比如，厘米或毫米标记)，可用于识别物理关节镜、手术器械、探针，指针、前交叉韧带移植物、股骨和/或胫骨锚和其他装置的哪些部分可见以及哪些不可见。然后，软件可以识别关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的哪些部分不包括在图像捕获数据中或者不可视化，并且该软件可以计算关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的非可视化部分的定位、位置、定向和大小/放大倍率(如果适用)，然后，可以可选地由光学头戴式显示器显示，比如，作为物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚点和其他装置的可视化部分的延伸部。可以使用说明书中描述的用于显示物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的非可视化部分的其他手段。物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的非可视化部分可由光学头戴式显示器、关节镜系统的显示装置或两者显示。
在本发明的一些实施方案中，光学头戴式显示器可以显示一个或多个物理关节镜、手术器械(如表13中列出的)、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个投影路径，和/或可以显示一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于所述一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。在一些实施方案中，关节镜系统的显示单元，比如，所用的一个或多个电子监视器，可以显示一个或多个物理关节镜、手术器、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个投影路径，和/或它可以显示一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于所述一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。在本发明的一些实施方案中，光学头戴式显示器和关节镜系统的显示单元(比如，所用的一个或多个电子监视器)两者，可以显示一个或多个物理关节镜、手术器、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个投影路径，和/或可以显示一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于所述一个或多个虚拟关节镜、手术器、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。
当外科医生注视膝关节时，光学头戴式显示器可以使用反映或对应于光学头戴式显示器或外科医生或操作者的眼睛到患者的膝关节的距离的放大倍率和尺寸，显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的所述一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于所述一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。关节镜系统的显示单元，比如，一个或多个电子监视器，可以使用反映或对应于关节镜系统的显示单元的用于显示来自患者膝关节内部的患者实时数据的放大倍率的放大倍率或大小显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个投影路径，和/或显示一个或多个虚拟关节镜、手术器械，探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于所述一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划，使得用于一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的所述一个或多个投影路径，和/或所述一个或者更多虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置、和/或用于所述一个或多个关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的尺寸和/或放大倍率与通过关节镜系统可视化的患者膝关节的关节内结构的实时显示相匹配。以这种方式，外科医生可以以无缝方式在患者的实时关节内图像数据和患者的投影数据和虚拟数据之间工作，因为它们具有匹配的尺寸和/或放大倍率。
当外科医生移近或远离患者的膝关节时，由光学头戴式显示器使用的用于显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的放大倍率可以改变。关节镜系统的显示装置的放大倍率可以改变；比如，它可以增加或减少，以及用于显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的所述一个或多个投影路径和/或一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的放大倍率可以相应调整。
当外科医生通过光学头戴式显示器使用反应或对应于或大于或小于由关节镜系统的显示单元使用的用于显示患者膝关节内的实时数据的放大倍率的放大倍率或尺寸查看关节镜系统的显示单元时，光学头戴式显示器可选地显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。光学头戴式显示器对虚拟数据的显示可以使用说明书中的任何配准技术和任何相关技术，包括例如在标题为“通过光学头戴式显示器单元观察二维计算机监视器”一节中概述的配准和显示技术，与关节镜系统的计算机显示单元显示的相应解剖结构配准。
由光学头戴式显示器使用的用于显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个投影路径，和/或一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的放大倍率，可以切换回来反映或对应光学头戴式显示器或外科医生的眼睛与患者膝关节的距离，或者当外科医生再次看着患者的膝关节时，放大倍率可以比关节镜系统的显示装置的更小或更大。
在实施方案中，关节镜系统的显示单元可以显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚点和其他装置的一个或多个投影路径，和/或它可以显示一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。关节镜系统的显示单元，比如，一个或两个电子监视器，可以显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个投影路径，和/或一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划，以反映或对应于通过关节镜看到并通过关节镜单元的显示单元显示的从患者膝关节内部投影的结构的实时数据的放大倍率的放大倍率，或者小于或大于该放大倍率的放大倍率。
当外科医生通过关节镜系统的显示单元(比如，一个或两个电子监视器)观察光学头戴式显示器时，光学头戴式显示器可以选择性地关闭显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚点和其他装置的一个或多个投射路径和/或一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。关闭或打开一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划，的显示可通过来自各种输入系统的手动命令、语音命令、各种命令执行或自动执行。比如，通过使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪，可以实现自动开启或关闭。图像和/或视频捕获系统和/或三维扫描仪可以比如，捕获关节镜系统的显示单元的轮廓，并且软件可以自动关闭OHMD显示器或OHMD显示器的各方面。或者，关节镜系统的显示设备可以具有一个或多个标记，比如，一个或多个发光二极管，图像和/或视频捕获系统和/或三维扫描仪可以检测到这些标记，然后可以触发开启或关闭光学头戴式显示器显示屏。
在一些实施方案中，光学头戴式显示器可以比如，自动检测外科医生或操作者是否正在观察关节镜系统的显示单元，比如，使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪。图像和/或视频捕获系统和/或三维扫描仪例如可以捕获关节镜系统的显示设备的轮廓，并且软件可以自动调整光学头戴式显示器显示项目的放大倍率，使其反映、对应于、小于或大于由关节镜系统的显示单元使用的用于患者膝关节内部的实时数据/图像的放大倍率。或者，关节镜系统的显示单元可以具有一个或多个标记，比如，一个或多个发光二极管，图像和/或视频捕获系统和/或三维扫描仪可以检测到这些标记，然后可以触发调整由光学头戴式显示器所显示项目的放大倍率。
类似地，光学头戴式显示器可以比如，自动检测外科医生或操作者是否注视关节镜系统的显示单元，比如，使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪。比如，图像和/或视频捕获系统和/或三维扫描仪可以检测到关节镜系统的显示设备的轮廓不存在于捕获的图像数据中，并且软件可以自动调整光学头戴式显示器显示项目的放大倍率，放大倍率反映或对应于光学头戴式显示器或外科医生的眼睛与患者膝关节的距离，或者小于或大于反映该距离的放大倍率。或者，关节镜系统的显示单元可以具有一个或多个图像和/或视频捕获系统和/或三维扫描仪可以检测到的标记，比如，一个或多个发光二极管；在该情况下，当图像捕获系统注意到一个或多个发光二极管不包括在图像捕获数据中时，软件可以自动调整光学头戴式显示器显示项目的放大倍率，使其反映或对应于光学头戴式显示器或外科医生的眼睛与患者膝关节的距离，或者小于或大于反映该距离的放大倍率。类似地，包括集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪的光学头戴式显示器可以检测放置在患者膝关节上的标记或发光二极管，从而触发放大倍率的调整，使其反应、对应于当外科医生或操作者看患者膝关节时光学头戴式显示器或外科医生的眼睛与患者膝关节的距离，或者小于或大于反映该距离的放大倍率。
在本发明的实施方案中，比如，代替关节镜系统的显示单元或除了关节镜系统的显示设备之外，光学头戴式显示器也可用于显示关节镜从患者膝关节内部收集的实时数据。可选地，光学头戴式显示器可以代替关节镜系统的显示单元，或者可以是关节镜系统的显示单元。在该示例中，光学头戴式显示器除了可以显示患者膝关节内的实时图像之外还可以显示关节镜收集的患者膝关节内的实时数据，并将其投影给外科医生。光学头戴式显示器还可以显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚点和其他装置的一个或多个投影路径，和/或一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。在该实施方案中，光学头戴式显示器可选地相对于由关节镜收集的患者膝关节内的实时数据的放大倍率匹配一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的放大倍率。光学头戴式显示器还可以应用比由关节镜收集的患者膝关节内的实时数据的放大倍率更大或更小的放大倍率或尺寸，用于一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。
在本发明的一些实施方案中，比如，当光学头戴式显示器是关节镜系统的主要显示单元时，光学头戴式显示器可以对从患者的膝关节或手术室反射的光不透明或最低透明并且可以显示比如，由关节镜从患者膝关节内收集的实时(电子)图像，并且，还可选地显示一个或多个物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚点和其他装置的一个或多个投影路径，和/或可以显示一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划(以各种选择的匹配或不匹配的放大倍率)。在该情况下，光学头戴式显示器还可以显示物理关节镜、手术器械、探针、指针、前交叉韧带移植物、股骨和/或胫骨隧道、股骨和/或胫骨锚和其他装置的电子图像及其各自的运动，比如，用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪(以各种选择的匹配或不匹配的放大倍率)捕获的。
光学头戴式显示器对于对从患者膝关节或手术室反射的光线可以是永久不透明，或者透明度最低。或者，透明度可以是可变的，比如，使用一个或多个在光学头戴式显示器前面或集成到光学头戴式显示器的光学滤光器，比如，偏振光滤光器，或在光学头戴式显示器前面或集成到光学头戴式显示器中的电子滤光器(比如，液晶显示器(LCD)或光学滤光器)。手术室可以选择使用光源，比如，偏振光或过滤光，它们支持调制或帮助调整光学头戴式显示器对从患者膝关节或手术室反射的光线的透明度。
本领域技术人员将容易认识到，前述用于前交叉韧带修复和前交叉韧带重建的所有示例和实施方案适用于所有其他关节镜手术，比如，肩关节、髋关节和踝关节镜检查，并且也可以应用于许多内窥镜手术以及许多其他实施方案和髋关节置换、膝关节置换、脊柱外科手术、脊柱融合术、椎弓根螺钉固定术、椎体成形术和/或椎体后凸成形术、任何类型的机器人手术、使用二维计算机显示监视器的任何类型的引导手术及许多其他手术。
光学标记
数据是使用微软制造的光学头戴式显示器微软全息眼镜(Microsoft,Redmond,WI)获得的。微软全息眼镜可以使用例如Windows全息应用编程接口，包括Unity技术公司(Unity Technologies，美国加利福尼亚州旧金山市)和Vuforia 6.2公司(PTC,Inc.,Needham,MA)。
使用微软全息眼镜和Vuforia 6.2对光学标记进行配准
图24示出了准备好的具有25个正方形的木板，并且具有四个不同二维码的四个4.0×4.0cm光学标记420被施加在等距位置，间隔4.0cm。如图25所示，软件例程被实现为将尺寸为4.0×4.0×4.0cm的四个立方体423投影到正方形上，并在正方形上保持配准，而与头部运动无关。结果如图25所示。微软全息眼镜无法在指定的光学标记上保持四个立方体的配准；立方体有时会移位3cm至4cm，而且还会倾斜。
使用微软全息眼镜和OpenCV 2.4配准光学标记
OpenCV 2.4是一个开源的计算机视觉框架(Intel Inc.,Santa Clara,CA)，使用OpenCVForUnity在微软全息眼镜系统上实现25如图26所示，尺寸为2.8cm×2.8cm的OpenCV可用ArUco标记425以3.0cm×3.0cm的距离排列。cm刻度426显示在图26的底部。没有执行进一步的校准，例如摄像头校准或参考帧校准。使用图27所示的结果显示的这种方法，使用内部微软全息眼镜摄像头获取25个标记425需要1秒钟，相当于每个标记大约40毫秒。标记始终如一地被识别，如显示的绿色标记标识号428所示，只有少数不显示绿色标记标识号的偶然退出430，如图27所示。
静态精度测量
标记安装在尺寸为2.8cm×2.8cm的木板上，并以3.0cm×3.0cm的距离排列，在微软全息眼镜和木板之间距离木板中心约32.5cm处，以约40度的角度获得光学检测到的标记位置相对于实际标记位置的位移的静态测值。图28示出了将黑色的实际标记尺寸(2.8cm×2.8cm)和位置432与使用微软全息眼镜摄像头光学检测的标记(被视为红色轮廓)434进行比较的示例。由于角度的原因，标记在图像中不是方形的。在该测试中，像素尺寸在水平方向上大约为0.5mm，在竖直方向上大约为0.75mm。数据表明子像素精度，这就是为什么对数据进行以下分析的原因：如果一半以上的像素的灰度值低于平均灰度值(即黑色和灰色背景之间的灰度值)，则认为上、下、左和右边界的像素检测不正确。例如，图28中上边界处的水平红线需要精确地高1个像素，以便被计数为正确检测到。相反，从左边数下的第二和第三条水平红线被视为准确检测到。然后确定正确检测到的每个边缘(上、下、左、右)的百分比，例如图28中的上边缘为100％，下边缘为50％。对25个标记的分析表明，光学检测的标记位置和实际标记之间的最大偏差为0.75mm，即竖直方向上的一个像素大小，光学检测的标记位置和实际标记之间的平均偏差为0.349像素＝0.26mm。
运动过程中的动态精度测量
在图29中，具有25个ArUco 425标记的木板安装在数控机床436上(isel CPM4030，isel，Eichenzell，Germany)，所述标记的尺寸为2.8cm×2.8cm，间隔3.0cm排列，如前所述。数控机床被编程为以每秒7.5cm的规定速度在x和z方向移动板，以模拟外科医生头部的运动。在这个速度下，25个标记被一致地检测到，只有1或2个标记间歇性地丢失。这个实验中的像素大小大约为0.58mm。在本实验中，使用微软全息眼镜图像和/或视频捕获系统光学检测到的标记位置和实际光学标记位置之间的最大偏差是2个像素，对应于大约1.16mm。
在另一个实验中，测量了关于y方向运动的精度。y轴线指向图像平面，与朝向或远离患者的运动相对应。标记再次以与先前实验相同的速度(每秒7.5cm)安装在移动的数控机床上。在离光学头戴式显示器30cm到68cm的距离拍摄了四张不同的快照。对所有标记和四个不同深度的评估导致使用微软全息眼镜图像和/或视频捕获系统的光学检测位置与实际标记位置之间的平均偏差为0.71±0.32mm(平均标准偏差)。本实验观察到的最大偏差为1.75mm，最大距离为68cm，超出了外科医生的典型工作空间。
通过优化标记的几何结构和图案，通过使用关于标记尺寸和尺寸的现有知识以及已知的尺寸和尺寸，例如在x和y方向或z方向或y和z方向或这三个方向的组合，以及通过使用将光学标记附接在患者身上的参考框架，并且可选地附接在手术台上，可以进一步提高配准的准确性。此外，使用由每个光学头戴式显示器生成的实时空间图来实现光学头戴式显示器的网络可以进一步提高不同光学头戴式显示器的实时图像和包括虚拟手术计划的患者虚拟数据的配准精度。
为生物医学应用制定光学标记
为了利用光学头戴式显示器摄像机的图像为特定的生物医学应用制定最佳的几何图案用于检测和识别，可以针对不同的参数测试候选识别。图30示出了潜在的测试候选425。测试候选425可以例如使用ArUco图案，其利用正方形形状，该正方形形状包括外部的实心黑色边框和内部的二进制图案，如图30所示。ArUco模式可以基于OpenCV代码开发。可以使用和优化任何其他光学标记和图案。在该示例的第一步中，可以确定标记的可接受的最小尺寸，例如为了期望的配准精度，例如从0.5cm或1.0cm边界长度的4×4二进制图案开始，并以5mm为增量增加尺寸，直到该图案被集成在微软全息眼镜或其他光学头戴式显示器中的摄像机可靠地检测到。可以使用任何其他标记图案和尺寸。可以对不同的距离、角度、照度和光颜色参数进行测试，例如像表14中列出的一些示例性参数。可以使用任何可能的参数组合进行测试，例如表14或任何其他参数集和参数范围。测试可以在静态和移动条件下进行，例如以不同的速度进行。数控机床的设置可以用于动态运动测量，因为速度可以使用这种方法精确编程。
ArUco光学标记可由多种图案组成，并可附接到塑料、金属或其他材料支架上。可以测试两种形状的固定器的性能，例如三角形和正方形：可以在两种形状之间比较光学头戴式显示器获取的空间图中每个形状的可检测性。可以测试其他形状，例如矩形、五边形、六边形、隔边形、八边形、圆形、卵形、椭圆形、立方体、椭圆体、不规则形状。性能标准可以是位置误差以及标记部分遮挡时的运行时间和行为。不透射线的元件可以附接到标记上，以便术中用荧光透视法参考解剖标志，用于确定手术器械的预期路径或植入体组件的预期置位。不透射线元件的边缘可以与ArUco标记的边缘对准。辐射透不过元件的其他几何或密度特征可以与ArUco标记的特征对准。不透射线的元件或参考或校准体模可以集成或附接到光学标记上。不透射线的元件或参考或校准体模也可以在规定的距离或几何排列上与光学标记分开。配准框架在与配准框架的限定距离或几何布置处具有附接的光学标记或分离的光学标记，该配准框架也可以是部分或完全不透射线的。
该软件可利用OpenCV代码，并可用于定义每个标记的局部标记坐标系和姿态。质谱微软全息眼镜空间映射库可用于使用深度相机扫描产生表面网格；可以使用质谱微软全息眼镜对象检测库来识别平面。空间映射信息可用于相对于光学头戴式显示器定义标记坐标。基于标记的已知形状和尺寸信息，可以使用深度信息进一步细化标记坐标。缩放因子可以使用标记的已知形状和尺寸信息应用于虚拟数据。空间图可用于从局部标记坐标系(例如，附在患者背部或手术台上的参考坐标系)转换为全局光学头戴式显示器坐标。标记坐标系可用于确定不透射线元件的坐标，然后可将其转换成全局坐标，用于与荧光透视数据配准。
将术中荧光图像与患者的实时数据配准
为了将荧光透视图像与光学头戴式显示器捕获的实时图像合并，可以使用配准参考帧。框架可以由利用可消毒塑料(例如聚醚醚酮)制成的刚性塑料杆组成，并且以正方形或矩形布置，例如边缘长度为35cm、40cm、45cm、50cm。可以使用多个框架，例如一个放置在腰椎上，第二个放置在胸椎上，第三个放置在颈椎上。可选地，框架可以是可连接的，例如通过包括可连接的构件或机构。其他材料，例如金属，可以用于框架的构造。可选地，框架可以是不透射线的。具有ArUco图案和不透射线元件的光学标记可以附接到框架的每个角落。标记可以附接在距框架平面不同的高度(偏移)，以避免标记共面，并确保至少一些标记不共面。
配准算法可以在MATLAB开发环境(Mathworks，Waltham，MA)中原型化和测试，然后移植到C#和微软全息眼镜平台或另一个光学头戴式显示器。为了执行荧光透视图像和实时图像之间的配准，不透射线的标记元素可以例如使用灰度阈值和模板匹配技术定位在荧光透视图像中。光学标记坐标可以使用前面部分描述的技术从视频图像中确定。单个或多个光学标记可以被附接或集成到一个或多个框架中。在患者解剖结构的第一侧例如左侧或前侧可以使用一个以上的光学标记。在患者解剖结构的第二侧例如右侧或后侧可以使用一个以上的光学标记。
包括其形状和尺寸的参考框架的三维模型是已知的，从而可以确定变换矩阵T1，其将标记(例如4个标记M0-M3)在模型坐标系中的位置映射到光学标记的坐标，例如对于使用光学头戴式显示器视频图像测量的4个光学标记O1-O4。该变换矩阵包含旋转和平移分量。
类似地，模型坐标系中的标记M0-M3可以使用变换矩阵T2映射到荧光透视图像中识别的标记R0-R3。T2可以包含旋转、平移、投影和缩放组件。荧光透视图像中的标记坐标R0-R3和视频图像中导出的坐标O1-O3之间的总配准矩阵T3是T1和T2的反相拼接的结果。
这种转换可用于将荧光透视图像合并和叠加到实时视图上。它可以被更新以考虑光学头戴式显示器和/或患者的位置变化。为此，为了加快重新计算并允许实时更新，只能更新光学标记坐标。这将导致对T1和T3的更新，并假设荧光透视图像没有改变。如果荧光透视图像也被更新，则可以触发如所述的更耗时的T1、T2和T3的完全重新初始化。
可以测试配准的准确性。例如，光学头戴式显示器捕获放置在手术台上的配准框架边缘上的四个光学标记的位置；获得荧光图像，并使用参考标记进行实时、光学数据和荧光数据的配准。将三个尺寸为1×1×1cm的不透射线方形铅体模放置在配准参考框架边界内或邻近配准框架的手术台上。使用配准变换，光学头戴式显示器将荧光透视图像投影到实时视图中，从而覆盖射线透不过的铅体模的荧光透视和实时视图。荧光透视中投影的铅体模和物理可见体模之间的差异与图25所示的技术相似。对表14中列出的距离和视角重复测试。
使用任何前述技术，可以将患者的荧光透视图像与患者的实时数据进行配准，包括患者的实时解剖结构。如果手术部位在手术过程中移动，例如相对于手术台或相对于移动之前获得的荧光镜图像移动，则光学头戴式显示器显示的荧光镜图像可以相应地移动，以反映活体手术部位的任何类型的平移或旋转，从而使用上述技术保持相应的实时解剖标志和荧光镜标志之间的配准。因此，荧光检查不需要重复，或者可选地，可以间歇地重复，这有助于减少对患者和外科医生的辐射剂量。
在某些情况下，荧光透视图像和术前或术中的X光图像之间的匹配可能是不完美的或部分的，例如，由于X光束的锥形束几何结构或放大倍率不同地影响患者解剖结构的不同部分，例如，取决于X光管的角度。为了减轻这种影响，可以任选地使用位于患者想要手术的一侧的不透射线的光学标记或位于想要手术部位附近的不透射线的光学标记来进行配准。例如，在脊柱外科手术中，如果外科医生计划将椎弓根螺钉放置在左L4椎弓根中，则可以任选地将施加到患者背部的配准框架左侧的不透射线的光学标记用于配准过程，例如使用上述技术。如果外科医生正计划将椎弓根螺钉放置在右侧L4椎弓根中，则可选择地将应用于患者背部的配准框架右侧的不透射线的光学标记用于配准过程，例如使用上述技术。可选地，可以使用沿着整个框架存在的标记。
使用说明书中描述的任何其他配准技术，也可以使用患者的实时数据和患者的射线照相或荧光透视数据中的相应解剖标志来执行配准，例如在手术期间容易接近的棘突或几个棘突的尖端。如果在患者的实时数据和患者的射线照相或荧光透视数据中使用相应的解剖标志，则可以选择这些标志与手术部位在同一侧或手术部位附近，以最小化来自X光束锥形束几何结构的失真的影响，并最小化任何其他失真，例如来自影响远离X光管的解剖结构的选定部分的放大倍率的失真。在这个示例中，X光管和射线束可以有意地位于手术部位的中心，以减小锥形射线束几何结构的影响。例如，如果外科医生从左T3椎弓根切换到右T3椎弓根，荧光透视图像可以以待手术侧的更新中心重复。
术中荧光图像与患者实时数据的共同显示
光学头戴式显示器显示与患者相应的实时数据和解剖标志配准并叠加到患者相应的实时数据和/或解剖标志上的荧光透视图像对于使用术中荧光透视的任何类型的手术都是有利的，例如脊柱手术、脊柱融合术、髋关节置换手术、髋关节镜检查、肩关节置换手术等。通过使用光学头戴式显示器将荧光透视图像直接叠加到患者和/或解剖结构的相应实时数据上，可以极大地改善手眼协调。此外，荧光透视图像可以不太频繁地或仅间歇地获取，从而降低辐射剂量。荧光透视图像的这种同时显示例如对于脊柱外科手术是有利的，其中光学头戴式显示器可以显示叠加在患者实时解剖结构上的荧光透视图像，例如皮肤、肌肉或暴露的脊柱元件，并且可选地，其中光学头戴式显示器还可以显示叠加在患者相应实时结构上的手术器械的预期路径和/或终点以及荧光透视图像的显示。光学头戴式显示器同时显示叠加在患者相应的实时数据上的荧光图像，例如解剖结构和/或标志，例如从后视图(实时和/或虚拟)观察的椎弓根中心，以及可选地，手术器械、锥子或椎弓根螺钉的预期路径和/或终点，可以帮助外科医生瞄准或引导器械或植入体，例如椎弓根螺钉。可选地，光学头戴式显示器还可以共同显示隐藏在患者组织内的器械或植入体的任何部分的虚拟图像。例如，在脊柱外科手术中，外科医生可以将包括任何隐藏部分的器械或锥子或椎弓根螺钉(可选地虚拟显示)与光学头戴式显示器显示的预期路径对准，同时监测包括任何隐藏部分的器械或锥子或椎弓根螺钉(可选地也虚拟显示)到共同显示的荧光图像上可见的椎弓根壁的距离，确保与椎弓根壁的安全距离，并使用荧光图像的同时显示避免椎弓根壁穿透。类似地，外科医生可以将包括光学头戴式显示器虚拟显示的任何隐藏部分的器械、锥子或椎弓根螺钉向光学头戴式显示器显示的预期终点推进，同时在光学头戴式显示器共同显示的荧光图像上可视地监测器械、锥子或椎弓根螺钉距椎体壁的距离。
在髋关节置换或涉及髋关节的其他外科手术过程中，包括关节镜或创伤外科手术，例如骨折修复，一个或多个光学头戴式显示器也可以显示荧光图像，其中荧光可视化解剖结构叠加在患者的实时数据上，包括例如相应的实际实时解剖结构，例如骨盆、骨盆壁、髋臼、髋臼壁、泪滴、髂前上棘、耻骨联合、髂关节线、髂腹线、骶骨，骶骨的顶部、尾骨、骶骨和/或尾骨的前表面或后表面、骶骨或尾骨的侧缘或边缘、股骨头、颈部或股骨干的部分或全部、大转子或小转子，包括前、后、内、侧、上或下表面(如果适用)。通过光学头戴式显示器同时显示荧光图像，荧光图像可以叠加到患者的实时髋关节、股骨或骨盆解剖结构上，并且可选地，光学头戴式显示器还可以显示预期的路径，例如用于切割股骨颈的锯或者用于扩孔股骨髓腔的扩孔器或拉刀，或者用于扩孔髋臼的髋臼扩孔器，和/或叠加在患者相应的实时结构上的手术器械的终点，例如髋臼扩孔器的预定止挡，以避免穿透髋臼壁。光学头戴式显示器显示叠加在患者相应的实时数据上的荧光图像，例如解剖结构和/或标志，例如髋臼内壁或泪滴，以及可选地，手术器械，例如锯、股骨拉刀或扩孔器或髋臼扩孔器的预期路径和/或终点的附加虚拟显示，或者包括试验植入体组件的股骨或髋臼植入体组件的预期位置或定向的虚拟显示可以帮助外科医生瞄准或引导器械或植入体，例如髋臼扩孔器或髋臼杯或股骨柄。
可选地，光学头戴式显示器还可以共同显示隐藏在患者组织内的器械或植入体的任何部分的虚拟图像。例如，在髋关节置换手术中，外科医生可以将诸如髋臼扩孔钻或股骨扩孔钻或包括任何隐藏部分的扩孔钻的器械(可选地虚拟显示)与预期的扩孔轴线或路径对准，同时监测诸如髋臼扩孔钻或股骨扩孔钻或包括任何隐藏部分的扩孔钻的器械(可选地虚拟显示)与敏感结构(例如在共同显示的荧光图像上可见的内侧髋臼壁)的距离，使用荧光透视图像的OHMD显示器确保与髋臼壁的安全距离并避免髋臼壁穿透。类似地，外科医生可以将包括光学头戴式显示器虚拟显示的任何隐藏部分的器械例如髋臼钻孔器或股骨钻孔器推进光学头戴式显示器显示的预期终点，同时视觉监测器械与光学头戴式显示器共同显示的荧光图像上所见的预期终点的距离。例如，当外科医生进行髋臼扩孔时，光学头戴式显示器可以显示患者髋关节的荧光透视图像，例如在正位投影中，该图像与患者的实时数据配准。荧光透视图像可以由光学头戴式显示器在平行于手术台的平面内或以与手术台成预定角度显示，并延伸穿过髋关节中心或另一个标志。光学头戴式显示器可以显示预期扩孔轴线，例如基于虚拟手术计划或术中确定的期望杯倾角和前倾。外科医生可以将物理髋臼扩孔器与光学头戴式显示器显示的预期虚拟扩孔轴线对准，并且可以扩孔髋臼腔。随着扩孔器的前进，光学头戴式显示器还可以可视化或显示髋臼扩孔器的任何隐藏部分，包括扩孔器手柄的隐藏部分和面向髋臼腔的扩孔器表面的球形部分。随着扩孔器的前进，外科医生可以将髋臼扩孔器的可见和虚拟显示的隐藏部分(包括面向由光学头戴式显示器投影的扩孔器表面的髋臼腔的位置)与共同显示的荧光镜图像进行视觉比较，并且外科医生可以确定扩孔器表面相对于髋臼壁(例如髋臼内侧壁)的位置和距离，以及共同显示的荧光镜图像上的泪滴。扩孔器的隐藏部分(包括面向扩孔器表面的髋臼腔)和荧光图像数据(包括髋臼壁和泪滴)的虚拟共同显示可以帮助外科医生确定合适的扩孔深度并避免潜在的髋臼壁穿透。通过与光学头戴式显示器共同显示配准的荧光透视图像数据，也可以减少重复荧光透视以确定扩孔器位置的需要，从而减少对外科医生和患者的辐射暴露。
在肩关节置换或涉及肩关节的其他外科手术过程中，包括关节镜或创伤外科手术，例如骨折修复，一个或多个光学头戴式显示器还可以显示荧光图像，其中荧光可视化解剖结构叠加在患者的实时数据上，包括例如相应的实际实时解剖结构，例如关节盂、关节盂腔、关节盂边缘、喙突、肩峰、肩胛骨、内侧或外侧或上肩胛骨边缘、下肩胛骨边缘或角度，肱骨近端、肱骨头、大结节、小结节、外科颈、解剖颈和/或任何骨赘(当存在时)。通过光学头戴式显示器同时显示荧光图像，荧光图像可以叠加到患者的活肩关节、肱骨、肩胛骨或关节盂解剖结构上，并且可选地，光学头戴式显示器还可以显示预期的路径，例如用于切割肱骨近端的锯或者用于扩孔或拉刀扩孔肱骨髓腔的扩孔器或拉刀，或者用于扩孔关节盂的关节盂扩孔器，和/或叠加在患者相应的实时结构上的手术器械的终点，例如关节盂扩孔器的预定止挡，以避免过度扩张和骨储备的损失。光学头戴式显示器显示叠加在患者相应的实时数据(例如解剖结构和/或标志，例如关节盂和关节盂骨储备)上的荧光图像，以及可选地，手术器械(例如锯、拉刀或扩孔器)的预期路径和/或终点的附加虚拟显示，或者包括试验植入体组件的肱骨或关节盂植入体组件的预期位置或定向的虚拟显示，可以帮助外科医生瞄准或引导器械或植入体，例如关节盂扩孔器或关节盂或肱骨组件。
在踝关节置换或涉及踝关节的其他外科手术过程中，包括踝关节融合、关节镜检查或外伤手术，例如骨折修复，一个或多个光学头戴式显示器还可以显示荧光图像，其中荧光可视化解剖结构叠加在患者的实时数据上，包括例如相应的实际实时解剖结构，例如内踝、外踝、胫骨平台、距骨、距骨圆顶、距骨的内侧、外侧、前或后或下表面和/或部分或全部跟骨和/或任何骨赘(当存在时)。通过光学头戴式显示器同时显示荧光图像，荧光图像可以叠加到患者的实时脚踝、胫骨、距骨或跟骨解剖结构上，并且任选地，光学头戴式显示器还可以显示预期路径，例如用于切割胫骨远端或距骨的锯或用于扩孔或扩孔胫骨髓腔的扩孔器或拉刀，和/或叠加到患者相应实时结构上的手术器械的终点，例如用于胫骨扩孔器的预期止挡，以避免过度扩孔和骨储备的损失。光学头戴式显示器显示叠加在患者相应的实时数据(例如解剖结构和/或标志，例如距骨、胫骨或胫骨储备)上的荧光图像，以及可选地，手术器械(例如锯、拉刀或扩孔器)的预期路径和/或终点的附加虚拟显示，或者包括试验植入体组件的胫骨或距骨植入体组件的预期位置或定向的虚拟显示，可以帮助外科医生瞄准或引导器械或植入体，例如胫骨扩孔器或胫骨或距骨组件。
由于荧光透视图像是二维图像，并且患者的解剖结构是三维的，因此荧光透视图像可以显示在解剖结构的中心，例如作为锚点，和/或与解剖结构或手术台定义的平面对准或平行。例如，在脊柱外科手术中，脊柱的正位荧光透视图像可以由光学头戴式显示器投影，使得投影延伸穿过左椎弓根的中心、右椎弓根的中心、两个椎弓根的中心、左小关节、右小关节、左和右小关节、椎板、棘突、后椎骨壁或前椎骨壁。其他位置也是可能的，例如椎弓根的前三分之一、椎弓根的后三分之一。可以选择任何其他解剖结构以相切或相交方式放置荧光透视图像。这些结构中的任何一个都可以被选择用于多个脊柱水平，并且投影平面可以由光学头戴式显示器放置成与以这种方式选择的三个或更多个点相交或相切。可选地，投影平面可以与手术台平行或成预定角度以及可选地相距预定距离，例如使用光学头戴式显示器的摄像机和附接到手术台上的一个或多个光学标记来确定，并且可以以相交或相切的方式延伸穿过解剖结构，例如前述解剖结构之一。脊柱的侧向荧光透视图像可以由光学头戴式显示器投影，使得投影延伸穿过左椎弓根的中心、右椎弓根的中心、左小关节、右小关节、椎板、棘突、左椎体壁或右椎体壁。其他位置也是可能的，例如椎弓根的外三分之一、椎弓根的内三分之一。这些结构中的任何一个都可以选择用于多个脊柱水平，并且投影平面可以由光学头戴式显示器放置成与以这种方式选择的三个或更多个点相交或相切。可选地，投影平面可以垂直于手术台或与手术台成预定角度，例如使用光学头戴式显示器的摄像机和附接到手术台的一个或多个光学标记来确定，并且可以延伸穿过一个或多个解剖结构，例如前述解剖结构之一。可选地，投影平面可以平行于手术台的边缘平面，或者与手术台的边缘成预定角度。投影平面可以选择在该区域附近，与外科医生正在操作的区域相切或相交。例如，如果外科医生在左侧椎弓根上操作，当外科医生主要从侧面观察患者时，光学头戴式显示器可以投射横向X光，该横向X光延伸例如穿过操作层面的左侧椎弓根，并且例如垂直于手术台或平行于原始投射/采集平面。如果外科医生在右侧椎弓根上操作，当外科医生主要从侧面观察患者时，光学头戴式显示器可以投射横向X光，该横向X光延伸例如穿过操作层面的右侧椎弓根，并且例如垂直于手术台或平行于原始投射/采集平面。
如果外科医生在左椎弓根上进行手术，当外科医生主要从顶部观察患者时，光学头戴式显示器可以投射延伸穿过例如手术层的左椎弓根的中心点的正位X光，并且例如平行于手术台或平行于原始投射/采集平面。如果外科医生在右侧椎弓根上进行手术，当外科医生主要从顶部观察患者时，光学头戴式显示器可以投射延伸穿过例如操作水平面右侧椎弓根的中心点并且例如平行于手术台或平行于原始投射/采集平面的正位X光。
可选地，如果外科医生从正位视角看得更多(例如，相对于手术台成90度-46度角)，或者从侧视视角看得更多(例如，相对于手术台成0度-45度角)，则显示可以从正位自动改变到侧视或者从侧视改变到正位视角。
可选地，在前面的示例中，可以同时投射正位和侧向X光，在椎弓根上居中，或者在其他示例中，在外科医生正在操作的解剖结构或其标志之一上居中。因此，外科医生可以看到两种X光，例如当从位于真正的横向和真正的正位视角之间的视角观察时也可以看到。
X光片可以按比例放大。使用手动或自动图像处理技术来突出解剖标志或结构，例如椎弓根或其皮质或髋臼，X光的投影可以可选地在OHMD显示器中对准，使得它们直接与患者体内相应的实时结构叠加，如果患者在X光采集后移动，这将是有帮助的。
在涉及髋关节的手术中，例如髋关节置换手术或髋关节镜检查，光学头戴式显示器可以投影荧光图像，使得投影延伸穿过与前骨盆平面共面的左髂前上棘或右髂前上棘，或耻骨联合，或左髂前上棘和右髂前上棘和耻骨联合；或者荧光透视图像可以平行于手术台或者以可选地预先定义的另一个角度投影到手术台，投影平面与耻骨联合或大转子或小转子或股骨颈前表面或股骨头前表面或股骨干前表面或股骨颈后表面或股骨头后表面或股骨干后表面或股骨头中心或髋臼前或后边缘或髋臼中心或髋关节旋转中心中的一个或多个相交或相切，例如通过使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪在旋转运动期间追踪附接到远端股骨的多个光学标记来确定。可以选择任何其他解剖结构以相切或相交方式放置荧光透视图像。
在涉及肩关节的手术中，例如肩关节置换或肩关节镜检查，光学头戴式显示器可以投影荧光图像，使得投影延伸穿过一个或多个关节盂，例如穿过关节盂腔的最内侧点、关节盂的上、下、前或后边缘、肩峰、喙突、唇、任何腱结构或肌肉、肱骨头、肱骨头的最内侧部分或表面、肱骨头的最外侧部分或表面、肱骨头的最前侧部分或表面、肱骨头的最后侧部分或表面、肱骨头的中心或肱骨头的旋转中心。可以选择任何其他解剖结构以相切或相交方式放置荧光透视图像。荧光检查图像可以平行于或垂直于手术台投影，或者以相对于手术台的另一角度投影，可选地预定义，投影平面与一个或多个前述结构或任何其他结构相交或相切；投影平面可以相对于患者所躺的手术室平台的平面以预定的距离和角度投影。荧光透视图像可以平行于关节盂平面或垂直于关节盂平面投影例如取决于X光系统的原始光束方向或角度。
在涉及踝关节的手术中，例如踝关节置换或踝关节镜检查，荧光透视图像可以由OHMD投影，使得投影延伸穿过以下一项或多项：内踝、外踝、距骨、距骨的前、后、内或外侧面或表面、距骨圆顶、胫骨平台、胫骨远端的前、后、内或外侧面或表面、跟骨、跟骨的前、后、内或外侧面或表面、任何腱结构或肌肉或踝关节的屈曲/伸展轴线。可以选择任何其他解剖结构以相切或相交方式放置荧光透视图像。荧光检查图像可以平行于或垂直于手术台投影，或者以相对于手术台的另一角度投影，可选地预定义，投影平面与一个或多个前述结构或任何其他结构相交或相切；投影平面可以相对于患者所躺的手术室平台的平面以预定的距离和角度投影。荧光透视图像可以使用X光系统的原始光束方向或角度来投影。
对于任何前述示例，投影平面可以被选择成镜像X光系统的原始光束方向或角度，或者是X光系统的原始光束方向或角度的导数。本领域技术人员可以识别用于放置X光图像或荧光透视图像的虚拟投影的其他解剖区域或结构或锚点使得其与解剖区域或结构或锚点相交或相切。
术前X光图像(包括植入体尺寸确定和/或模板信息)与患者的实时数据的共同显示
在一些实施方案中，术前X光图像可用于从库中选择植入体。例如，一个或多个髋关节X光可用于确定髋臼组件、髋臼衬垫和包括股骨柄的股骨柄的尺寸或模板。在图34中可以看到一个说明性示例。关节炎患者髋关节的正位射线照片显示了患者的放射学标志，例如髋臼480、泪滴482、股骨头484、骨赘486、沟点488、大转子的最高点490、小转子的最内侧点494。髋臼杯496、股骨头组件498、股骨柄组件500、股骨柄轴线502、旋转中心504的尺寸和模板信息用虚线提供。股骨颈切口506也显示在股骨干和股骨干之间的连接处。显示了股骨颈切入周围骨508的内侧延伸部分(虚线)。由于股骨颈切口506的主要部分会干扰大转子，因此本例中的侧向延伸需要第二次切割510(虚线)。光学头戴式显示器可以显示股骨颈切口506，包括其内侧延伸部分508(虚线)和外侧延伸部分510(虚线)，以及放射学标志信息，例如髋臼480包括髋臼壁、泪滴482、股骨头484、骨赘486、沟点488、大转子的最高点490、小转子的最内侧点494。物理股骨扩孔器或股骨拉刀可以可选地与光学头戴式显示器虚拟显示的股骨柄轴线502对准，例如与射线照相信息或射线照相标志对准。为此，放射照相股骨标志可以例如通过将大转子的放射照相轮廓与大转子的物理形状对准而与手术部位的物理股骨标志对准。本领域技术人员将认识到相同的模板、虚拟模板显示、虚拟射线照相信息显示如何应用于其他关节，例如膝关节、肩膀和脚踝以及脊柱。
使用一个或多个X光片的类似模板方法，例如正位、侧向和/或倾斜X光片，用于椎弓根螺钉，例如用于相对于患者椎弓根和椎体尺寸和/或形状确定椎弓根螺钉的尺寸和/或模板，部分和全部膝关节置换，例如相对于内外侧位和正位尺寸或远端股骨、近端胫骨和髌骨的其他尺寸和/或形状确定股骨、胫骨和/或髌骨植入体组件的尺寸和/或模板，部分和全部肩关节置换，例如用于相对于肱骨近端和关节盂的正位、内外侧位和/或上外下内尺寸或其他尺寸和/或形状来确定关节盂和肱骨组件的尺寸和/或模板，部分和全部踝关节置换，例如用于相对于胫骨远端和距骨的内外侧位和正位尺寸或其他尺寸和/或形状来确定胫骨和距骨组件的尺寸和/或模板。
在患者的物理手术部位中或其附近以及在患者的术前X光中识别相应的解剖结构，并且使用说明书中描述的任何配准技术将X光配准至患者，该说明书包括示例或本领域已知的配准技术。包括尺寸和模板信息的X光由光学头戴式显示器显示在由患者的解剖标志限定的平面中，或者平行于手术台，或者与手术台成预定或预定角度，或者与X光束成对应的角度，延伸穿过患者的一个或多个结构或标志，例如在髋关节置换中髋臼的中心或髋关节的旋转中心或髋臼的前边缘或患者股骨颈或股骨干的前表面，或者在膝关节置换中股骨切口的中心或经皮髁轴线或胫骨结节或胫骨内侧或外侧脊柱或髌骨，或者在肩关节置换中关节盂或肱骨内侧的中心或前边缘或后边缘，或者在踝关节置换中胫骨平台或距骨圆顶的中心。可选地，X光被缩放以校正用于任何放大倍率。为此，外科医生可以例如将两个或更多个虚拟点放置在患者的解剖标志上，例如小转子的最上侧或最内侧点以及大转子的最上侧和外侧点，并且可以在患者的手术部位和X光上测量这两个点之间的距离。本领域技术人员将认识到髋关节、膝关节、肩关节、踝关节、其他关节和脊柱中可以以这种方式使用的不同标志。如果在X光上测量的距离不同于在患者体内测量的距离，可以对X光和包括的模板信息进行放大矫正，使得射线照相距离与患者的活体手术部位的距离相匹配。OHMD显示器术前X光，可选地缩放以匹配患者、与患者的解剖标志配准并叠加在患者的活体手术部位上。任选地，X光被配准并叠加到患者的相同解剖标志上，例如沟点，即大转子和股骨颈之间的最低点，和/或大转子上的最上点和/或小转子上的最上点。术前X光的显示还包括一个或多个植入体组件的尺寸和模板信息以及骨切口(例如股骨颈切口)的位置和/或定向，该骨切口可以位于假体的轴线/杆连接处。术前X光的显示还包括一个或多个植入体组件的尺寸和模板信息、以及一个或多个植入体组件相对于骨或手术部位的位置和/或定向，如图34所。
通使用光学头戴式显示器将具有任何骨切口的尺寸和/或模板信息以及相关信息的术前X光直接投影到患者身上，外科医生可以将骨锯与投影模板的投影切口对准，并执行切割，例如一个或多个股骨颈切口506、508、510。可选地，光学头戴式显示器可以从模板信息投影穿过投影切口的虚拟平面，其中虚拟平面可以垂直于手术台或相对于手术台成预定角度。以这种方式，锯片可以相对于由光学头戴式显示器显示的三维结构而不是二维线对准。可选地，光学头戴式显示器还可以显示虚拟切割块，该虚拟切割块与光学头戴式显示器投影的模板和射线照片的投影切割线对准。
通过使用光学头戴式显示器将包含有尺寸和/或模板信息以及植入位置的术前射线照片直接投影到患者身上，外科医生也可以使用投影的信息将物理手术器械或物理植入与投影的信息对准。例如，在髋关节置换中，投影的信息可以包括关于髋臼组件相对于髋臼壁的位置和泪滴的信息，并且它可以指导外科医生将髋臼扩孔器推进多远，例如当光学头戴式显示器投影扩孔器的几乎任何隐藏部分时，包括例如扩孔器面向髋臼窝的表面。使用光学头戴式显示器引导，外科医生可以推进扩孔器，直到扩孔器的投影隐藏部分的面向髋臼窝的表面从光学头戴式显示器投影的植入体的射线照相模板到达植入体组件的投影预期位置为止；外科医生可以通过光学头戴式显示器进行视觉监测，同时还可以观察扩孔器的隐藏部分相对于光学头戴式显示器投影的射线照相标志(例如髋臼壁和泪滴)的前进。类似地，外科医生可以放置包括由光学头戴式显示器投影的任何隐藏部分的物理植入体，该隐藏部分与由光学头戴式显示器投影的射线照相模板以及投影的射线照相标志相关。投影信息可以包括股骨柄组件相对于近端股骨的位置信息，并且它可以指导外科医生将股骨扩孔器或拉刀推进多远，例如当光学头戴式显示器投影扩孔器或拉刀的几乎任何隐藏部分时，包括例如扩孔器或拉刀的面向骨骼的表面。使用光学头戴式显示器引导，外科医生可以推进扩孔器或拉刀，直到扩孔器或拉刀的投影隐藏部分的面向骨的表面从光学头戴式显示器投影的植入体的射线照相模板到达股骨柄组件的投影预期位置为止；外科医生可以通过光学头戴式显示器进行视觉监测，同时还可以观察扩孔器或拉刀的隐藏部分相对于光学头戴式显示器投影的射线照相标志的前进。
在肩关节置换中，投影信息可以包括关于关节盂组件相对于关节盂和任何下面的骨储备的位置的信息，并且它可以指导外科医生将关节盂扩孔器推进多远。使用光学头戴式显示器引导，外科医生可以推进扩孔器，直到扩孔器从光学头戴式显示器投影的植入体的射线照相模板到达植入体组件的投影预期位置；外科医生可以通过光学头戴式显示器进行视觉监测，同时还可以观察关节盂扩孔器相对于光学头戴式显示器投影的射线照相标志的前进。类似地，外科医生可以放置物理关节盂组件，包括与光学头戴式显示器投影的射线照相模板以及投影的射线照相标志相关的组件。
前述示例也可以与诸如计算机断层摄影或磁共振成像的横截面成像技术一起使用，其中光学头戴式显示器可以共同显示二维横截面图像或手术部位或要手术的解剖结构的三维模型，包括在手术的不同模拟步骤中，解剖部位具有相应的手术诱发的变化，并且在二维或植入体组件的三维中共同显示尺寸和/或模板信息。
术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据与患者的实时数据的共同显示
在一些实施方案中，外科医生可以使用一个或多个光学头戴式显示器来将患者的术前计算机断层扫描或磁共振成像扫描与患者的实时术中解剖结构共同显示。超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据的显示，可选地以二维或三维显示，与患者的相应的实时数据和解剖标志配准，并由光学头戴式显示器叠加到患者的相应的实时数据和/或解剖标志上，对于外科医生利用术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据的任何类型的外科手术例如脊柱外科手术、脊柱融合术、髋关节置换手术、肩关节置换手术等都是有利的。通过使用光学头戴式显示器将术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据(可选地以二维或三维显示)直接叠加到患者和/或解剖结构的相应实时数据上可以极大地改善手眼协调性。这种术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子发射断层扫描数据的并行显示，可选地以二维或三维显示，例如对于脊柱外科手术是有利的，其中光学头戴式显示器可以显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子发射断层扫描数据，可选地以二维或三维显示，与患者的实时解剖结构，例如皮肤、肌肉或暴露的脊柱元件配准并叠加在其上，并且可选地，其中光学头戴式显示器还可以显示叠加在患者相应肝脏结构上的手术器械的预期路径和/或终点，以及术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据的显示，可选地以二维或三维显示。光学头戴式显示器同时显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据，可选地以二维或三维显示，与患者的相应实时数据例如解剖结构和/或标志，例如椎弓根中心(实时和/或虚拟的)，以及可选地手术器械、锥子或椎弓根螺钉的预期路径和/或终点，可以帮助外科医生瞄准或引导器械或植入体，例如椎弓根螺钉。可选地，光学头戴式显示器还可以共同显示隐藏在患者组织内的器械或植入体的任何部分的虚拟图像。例如，在脊柱外科手术中，外科医生可以将包括任何隐藏部分的器械或锥子或椎弓根螺钉(可选地虚拟显示)与光学头戴式显示器显示的预期路径对准，同时监测包括任何隐藏部分的器械或锥子或椎弓根螺钉(可选地也由光学头戴式显示器虚拟显示)到共同显示的术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据(可选地以二维或三维显示)上可见的椎弓根壁的距离，使用术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据的并行显示，确保与椎弓根壁的安全距离并避免椎弓根壁穿透，可选地以二维或三维显示。类似地，外科医生可以将包括由光学头戴式显示器虚拟显示的任何隐藏部分的器械、锥子或椎弓根螺钉推进到由光学头戴式显示器显示的预期终点，同时可视地监测器械、锥子或椎弓根螺钉与椎体壁的距离，该距离在术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据上可见，可选地由光学头戴式显示器以二维或三维显示。
在髋关节置换或涉及髋关节的其他外科手术过程中，包括关节镜或外伤手术例如骨折修复，一个或多个光学头戴式显示器还可以显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据，可选地以二维或三维显示，具有可视化解剖结构，与患者的实时数据配准并叠加在其上，包括例如相应的实际实时解剖结构，例如骨盆、骨盆壁、髋臼、髋臼壁，髂前上棘、耻骨联合、髂关节线、髂骨盆线、骶骨、骶骨顶部、尾骨、骶骨和/或尾骨的前表面或后表面、骶骨或尾骨的侧缘或边缘、股骨头、颈部或轴线的部分或全部、大转子或小转子，包括前、后、内、侧、上或下表面(如果适用)。通过光学头戴式显示器同时显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据(可选地以二维或三维显示)，计算机断层扫描数据可以叠加到患者的实时髋关节、股骨或骨盆解剖结构上，进行解剖学配准，并且可选地，光学头戴式显示器还可以显示预期路径，例如用于骨锯切割股骨颈，或用于扩孔器或拉刀对股骨的髓腔进行扩孔或拉削，或用于髋臼扩孔器对髋臼进行扩孔，和/或叠加在患者相应实时结构上的手术器械的终点，例如髋臼扩孔器的预期止挡，以避免穿透髋臼壁。由光学头戴式显示器显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据，可选地以二维或三维显示，与患者的相应实时数据(例如解剖结构和/或标志，例如髋臼壁)配准并叠加在其上，以及可选地，手术器械(例如锯、股骨拉刀或扩孔器或髋臼扩孔器)的预期路径和/或终点的附加虚拟显示，或者包括试验植入体组件的股骨或髋臼植入体组件的预期位置或定向的虚拟显示可以帮助外科医生瞄准或引导器械或植入体，例如髋臼扩孔器或髋臼杯或股骨柄。
可选地，光学头戴式显示器还可以共同显示隐藏在患者组织内的器械或植入体的任何部分的虚拟图像。例如，在髋关节置换手术中，外科医生可以将诸如髋臼扩孔钻或股骨扩孔钻或包括任何隐藏部分的扩孔钻的器械(可选地虚拟显示)与预期的扩孔轴线或路径对准，同时监测诸如髋臼扩孔钻或股骨扩孔钻或包括任何隐藏部分的扩孔钻的器械(可选地虚拟显示)与敏感结构，例如在共同显示的术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据(可选地以二维或三维显示)上可见，使用术前超声、断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据的OHMD显示，确保距髋臼壁的安全距离并避免髋臼壁穿透。类似地，外科医生可以将包括由光学头戴式显示器虚拟显示的任何隐藏部分的诸如髋臼钻孔器或股骨钻孔器或钻孔器的器械向光学头戴式显示器显示的预期终点推进，同时可视地监测器械与术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据(任选地由光学头戴式显示器在二维或三维中显示)上看到的预期终点的距离。例如，当外科医生进行髋臼扩孔时，光学头戴式显示器可以显示患者髋关节的术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据(可选地以二维或三维显示)，这些数据与患者的实时数据进行配准。如果显示了二维超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子发射断层扫描图像，则可以通过光学头戴式显示器在平行于手术台的平面内或与手术台成预定角度并延伸穿过髋关节中心或另一个标志来显示图像。光学头戴式显示器可以显示预期扩孔轴线，例如基于虚拟手术计划或术中确定的期望杯倾角和前倾。外科医生可以将物理髋臼扩孔器与光学头戴式显示器显示的预期虚拟扩孔轴线对准，并且可以扩孔髋臼腔。随着扩孔器的前进，光学头戴式显示器还可以可视化或显示髋臼扩孔器的任何隐藏部分包括扩孔器手柄的隐藏部分和面向髋臼腔的扩孔器表面的球形部分。随着扩孔器的前进，外科医生可以可视地比较髋臼扩孔器的可见和虚拟显示的隐藏部分，包括由光学头戴式显示器投影的面向扩孔器表面的髋臼腔的位置与共同显示的术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据，可选地以二维或三维显示，并且外科医生可以在共同显示的超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描图像上确定扩孔器表面相对于髋臼壁(例如髋臼内壁)的位置和距离。扩孔钻隐藏部分的虚拟共同显示，包括面向扩孔钻表面的髋臼腔和术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据，可选地以二维或三维显示，包括髋臼壁可以帮助外科医生确定合适的扩孔深度并避免潜在的髋臼壁穿透。通过与光学头戴式显示器共同显示配准的超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据，还可以减少术中荧光透视以确定扩孔器位置的需要，从而减少外科医生和患者的辐射暴露。
在肩关节置换或涉及肩关节的其他外科手术过程中，包括关节镜或创伤外科手术例如骨折修复，一个或多个光学头戴式显示器还可以显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据，可选地以二维或三维显示，可视化解剖结构与患者的实时数据配准并叠加在其上，包括例如相应的实际实时解剖结构，例如关节盂、关节盂腔、关节盂缘、喙突、肩峰、肩胛骨、内侧或外侧或上肩胛骨边缘、下肩胛骨边缘或角度、肱骨近端、肱骨头、大结节、小结节、手术颈、解剖颈和/或任何骨赘(当存在时)。通过光学头戴式显示器同时显示术前超声、计算机断层扫描、核磁共振成像、断层扫描和/或正电子断层扫描数据(可选地以二维或三维显示)，超声、计算机断层扫描、核磁共振成像、断层扫描和/或正电子断层扫描数据可以叠加到患者的实时肩关节、肱骨、肩胛骨或盂解剖结构上，可选地，光学头戴式显示器还可以显示预期路径，例如用于骨锯切割肱骨近端，或用于扩孔器或拉刀对肱骨的髓腔扩孔或拉削，或用于关节盂扩孔器对关节盂进行扩孔，和/或叠加在患者相应活体结构上的手术器械的终点例如用于关节盂铰刀的预期止挡，以避免过度扩孔和骨储备的损失。由光学头戴式显示器显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据(可选地以二维或三维显示)与患者的相应实时数据(例如解剖结构和/或标志，例如关节盂和关节盂骨储备)配准并叠加在其上，并且可选地，手术器械(例如锯、拉刀或扩孔器)的预期路径和/或终点的附加虚拟显示，或者包括试验植入体组件的肱骨或关节盂植入体组件的预期位置或定向的虚拟显示可以帮助外科医生瞄准或引导器械或植入体，例如关节盂扩孔器或关节盂或肱骨组件。
在踝关节置换中或在涉及踝关节的其他外科手术过程中，包括踝关节融合、关节镜或外伤手术，例如骨折修复，一个或多个光学头戴式显示器还可以显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据，可选地以二维或三维显示，可视化解剖结构与患者的实时数据配准并叠加在其上，包括例如相应的实际实时解剖结构，例如内踝、外踝、胫骨平台、距骨、距骨圆顶、距骨的内侧、外侧、前或后或下表面，和/或部分或全部跟骨和/或任何骨赘(当存在时)。通过光学头戴式显示器同时显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据(可选地以二维或三维显示)，超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据可以与患者的实时脚踝、胫骨、距骨或跟骨解剖配准并叠加在其上，并且可选地，光学头戴式显示器还可以显示预期路径，例如用于切割胫骨远端或距骨的锯，或者用于扩孔或拉削胫骨髓腔的扩孔器或拉刀，和/或用于叠加在患者相应的实时结构上的手术器械的终点，例如用于胫骨扩孔器的预期止挡，以避免过度扩孔和骨储备的损失。由光学头戴式显示器显示术前超声、计算机断层扫描、磁共振成像、断层扫描和/或正电子断层扫描数据，可选地以二维或三维显示，与患者的相应实时数据(例如解剖结构和/或标志，例如距骨、胫骨或胫骨骨储备)配准并叠加在其上，以及可选地，手术器械(例如锯、拉刀或扩孔器)的预期路径和/或终点的附加虚拟显示，或者包括试验植入体组件的胫骨或距骨植入体组件的预期位置或定向的虚拟显示可以帮助外科医生瞄准或引导器械或植入体例如胫骨扩孔器或胫骨或距骨组件。
用光学头戴式显示器投影二维截面图像数据
在一些实施方案中，超声、断层扫描、磁共振成像、断层扫描和/或正电子断层扫描可以由光学头戴式显示器显示为二维(2D)截面图像或三维(3D)重建。由于患者的解剖结构是三维的，因此当使用二维横截面图像时，二维图像可以显示在解剖结构的中心，例如作为锚点，和/或与解剖结构或手术台定义的平面对准或平行。例如，在脊柱外科手术中，脊柱的二维横截面图像可以由光学头戴式显示器投影，使得投影延伸穿过左椎弓根的中心、右椎弓根的中心、两个椎弓根的中心、左小关节、右小关节、左和右小关节、椎板、棘突、后椎骨壁或前椎骨壁。其他位置也是可能的，例如椎弓根的前三分之一、椎弓根的后三分之一。可以选择任何其他解剖结构来以相切或相交的方式放置二维横截面图像。这些结构中的任何一个都可以被选择用于多个脊柱水平，并且投影平面可以由光学头戴式显示器放置成与以这种方式选择的三个或更多个点相交或相切。可选地，投影平面可以与手术台平行或成预定角度以及可选地相距预定距离，例如使用光学头戴式显示器的摄像机和附接到手术台上的一个或多个光学标记来确定，并且可以以相交或相切的方式延伸穿过解剖结构，例如前述解剖结构之一。可选地，投影平面可以平行于手术台的边缘平面或者与手术台的边缘成预定角度。
在涉及髋关节的手术中，例如髋关节置换手术或髋关节镜检查，光学头戴式显示器可以投影二维截面图像，使得投影延伸穿过与前骨盆平面共面的左髂前上棘或右髂前上棘，或耻骨联合，或左髂前上棘和右髂前上棘和耻骨联合；或者二维截面透视图像可以平行于手术台或者以可选地预先定义的另一个角度投影到手术台，投影平面与耻骨联合或大转子或小转子或股骨颈前表面或股骨头前表面或股骨干前表面或股骨颈后表面或股骨头后表面或股骨干后表面或股骨头中心或髋臼前或后边缘或髋臼中心或髋关节旋转中心中的一个或多个相交或相切，例如通过使用集成到、附接到或分离于光学头戴式显示器的图像和/或视频捕获系统和/或三维扫描仪在旋转运动期间追踪附接到远端股骨的多个光学标记来确定。可以选择任何其他解剖结构来以相切或相交的方式放置二维横截面图像。
在涉及肩关节的手术中，例如肩关节置换或肩关节镜检查，光学头戴式显示器可以投影二维截面图像，使得投影延伸穿过一个或多个关节盂，例如关节盂腔的最内侧点、关节盂的上、下、前或后边缘、肩峰、喙突、唇、任何腱结构或肌肉、肱骨头、肱骨头的最内侧部分或表面、肱骨头的最外侧部分或表面、肱骨头的最前侧部分或表面、肱骨头的最后侧部分或表面、肱骨头的中心或肱骨头的旋转中心。可以选择任何其他解剖结构来以相切或相交的方式放置二维横截面图像。二维截面图像可以平行于或垂直于手术台投影，或者以相对于手术台的另一角度投影，可选地预定义，投影平面与一个或多个前述结构或任何其他结构相交或相切；投影平面可以相对于患者所躺的手术室平台的平面以预定的距离和角度投影。二维截面图像可以平行于关节盂平面或垂直于关节盂平面投影例如取决于X光系统的原始光束方向或角度。
在涉及踝关节的手术中，例如踝关节置换或踝关节镜检查，二维截面图像可以由光学头戴式显示器投影，使得投影延伸穿过以下一项或多项：内踝、外踝、距骨、距骨的前、后、内或外侧面或表面、距骨圆顶、胫骨平台、胫骨远端的前、后、内或外侧面或表面、跟骨、跟骨的前、后、内或外侧面或表面、任何腱结构或肌肉或踝关节的屈曲/伸展轴线。可以选择任何其他解剖结构来以相切或相交的方式放置二维横截面图像。二维截面图像可以平行于或垂直于手术台投影，或者以相对于手术台的另一角度投影，可选地预定义，投影平面与一个或多个前述结构或任何其他结构相交或相切；投影平面可以相对于患者所躺的手术室平台的平面以预定的距离和角度投影。
光学头戴式显示器装置的网络
在一些实施方案中，几个光学头戴式显示器装置可以互连以创建用于增强视图的共享体验的网络。这些装置可以组织在客户机-服务器网络中，其中多个光学头戴式显示器客户机集中在一台服务器周围。因此，当将计算密集型任务(例如图像处理)外包给服务器时，光学头戴式显示器装置可以被解除计算能力。此外，光学头戴式显示器的电池寿命可以显著延长，这使得该策略甚至适用于单个光学头戴式显示器客户。服务器在手术室中可以访问。服务器可以有独立于光学头戴式显示器的计算机监视器和用户接口。
在多个客户端的情况下，服务器可以使用来自不同角度的不同数据输入来提高计算的准确性(例如，通过平均误差)。可以实施在服务器上合并来自多个光学头戴式显示器客户端的空间映射的技术。空间映射由三角形网格组成，这些网格由每个光学头戴式显示器的深度传感器信息构建而成。一旦空间映射已经从每个光学头戴式显示器传送到服务器，使用以下示例性的、非限制性的平均算法将不同的网格组合成组合的、更精确的网格：来自第一光学头戴式显示器的数据被用作基线。从基线网格中的每个面，沿着面的表面法线投射光线。计算光线和所有其他网格之间的交点。组合网格的新顶点被导出为沿射线的所有交点的平均值。基线网格中相邻三角形的新顶点被连接以形成组合网格中的面。然后，组合的网格被传送回单个光学头戴式显示器用于与荧光透视数据的配准的细化。
示例性用户接口
手术计划的标准用户接口在手术室的服务器上实现。服务器被配置为包括用于传输患者荧光图像的DICOM服务器。该接口允许正位视图和侧视图以及获得的任何斜视图的双重或多重显示模式。使用标准鼠标或轨迹球，接口允许外科医生定义器械和椎弓根螺钉的入口点和向量。使用最少2个近似垂直的荧光透视视图来确定平面的点和向量的三维坐标。荧光镜图像或视图之间的其他角度也是可能的，已知或定义的，或者不已知或定义的。规划数据除了荧光透视图像之外，还由光学头戴式显示器显示，并在干预期间用作实时光学引导的输入。
此外，椎弓根螺钉路径的原型虚拟接口被使用，例如，使用微软全息眼镜的Unity引擎(Unity Technologies,San Francisco,CA)。Unity的手势识别器接口允许识别不同的保持、导航和操作功能。此外，凝视功能可用于实现由用户的观看方向控制的光标。因此，在选择应用中，用户的凝视控制光标，包括光标移动。例如，眼睑的闭合也可以用作执行功能的命令。利用虚拟接口，可以使用映射到入口点和向量的手势命令对光学头戴式显示器显示的荧光透视图像执行规划。对应于手术器械(例如锥子或椎弓根螺钉)的预期路径的向量可以由外科医生使用手势命令来放置，例如拇指和食指的闭合位置或拇指和食指的打开位置，如图31A-3E所示。图31A-E示出了放置椎弓根螺钉的预定路径的说明性示例。在图31A-E中，光学头戴式显示器显示腰椎水平L1-L5的腰椎442的荧光图像440，其使用参考框架444与解剖标志配准，参考框架具有附接在患者背部的光学标记446。每个光学标记都有自己独特的二维码或其他代码，从而可以选择识别患者的左侧和右侧、上侧和下侧。在图31B中，光学头戴式显示器在任意位置显示初步路径448拇指450和食指452也可见。外科医生张开手指向任意路径移动手指。在图31C中，外科医生在预期路径454上闭合拇指450和食指452，通过手势识别触发命令，以随着手指移动来移动预期路径。在图31D中，外科医生通过移动拇指450和食指452将预期路径455移动到椎弓根上方的期望定向。在图31E中，外科医生打开拇指450和食指452，通过手势识别触发命令，以将预期路径455的向量固定在坐标系中。在该非限制性示例中，打开位置指示矢量被锚定，并且预期路径相对于全局坐标系和解剖标志被固定。在该非限制性示例中，闭合位置指示矢量可以随着手指的移动以六个自由度移动。可以使用任何其他手指符号和动作。
虚拟接口的准确性可以与为计算机实现开发的标准接口进行比较。例如，获得锯骨腰椎的荧光图像，并使用标准PC接口将椎弓根螺钉的预定路径放置在L1-L5椎弓根中。同一操作者使用虚拟接口在不同时间放置预期路径。使用虚拟接口捕获预期路径放置的结果，包括其入口点和向量，并与使用基于标准PC机的接口作为基本事实获得的结果进行比较。标准接口和虚拟接口可以选择性地组合或同时可用。
追踪手术器械，对患者表面进行“绘制”
有多种不同的技术方法可以通过光学头戴式显示器在外科医生对患者的实时视野中追踪手术器械，并通过光学头戴式显示器投影被组织隐藏的器械的不可见部分及其方向。这些方法都不意味着限制本发明，而是本质上仅是示例性的。本领域技术人员可以认识到使用本发明的实施方案追踪手术器械的其他方法。如图32所示，多个光学标记460可以附接到手术器械462。例如，标记可以固定在器械上的规定位置。在已知器械几何结构的情况下，可以计算器械的位置和定向，例如，对于像锥子一样的器械，其旋转方向与指向轴线对准，如图32所示，只需要两个标记460。可以使用更多的标记，例如在器械上具有重叠或分开的、不同的x、y和z坐标的不同几何位置。光学头戴式显示器使用前面章节中描述的方法识别标记的三维坐标。使用第一和第二标记的坐标，光学头戴式显示器计算并显示指向尖端方向的向量464，即图32中的黄线，以指示叠加在手术部位上的器械隐藏部分的方向，使得外科医生能够将包括其隐藏部分的物理锥子或椎弓根螺钉与使用标准或虚拟计划接口定义并由光学头戴式显示器投影的预期路径对准。不是使用两个或更多个标记，而是可以使用单个标记，例如具有足够的几何信息，例如沿着器械的长轴线或其他轴线，用于精确的坐标确定，例如2cm、3cm、4cm、5cm、6cm、7cm、8cm、9cm或10cm长，以及例如1cm、2cm、3cm、4cm、5cm、6cm或7cm或其他cm宽，这也取决于摄像头系统的空间分辨率。通常，摄像头或视频系统的空间分辨率越高，可用于精确坐标和/或矢量确定的标记尺寸越小。此外，当标记是固定的，例如刚性附接到患者的非移动解剖部分或手术台上时，较小的标记尺寸是可能的。例如，当标记附接到可移动解剖标志时，例如股骨远端骨节或胫骨近端坪、肱骨或肱骨结节，或者当它们附接到光学头戴式显示器并因此例如随着外科医生移动他或她的头部而受到移动时，可以使用更大的标记尺寸。
另一种应变方法使用枢转，一种确定尖端位置的数学技术。通过枢转，当整个器械移动时，器械尖端固定在组织上的一个位置。附接的光学标记在球面上移动。例如，这导致入口点的准确配准。追踪器械的精度可以通过使用前面章节中描述的方法将它们安装在数控机床上来测量。可以针对不同的参数组合测试追踪器械位置和定向的精度，例如，针对从表14中选择的参数和参数范围，针对不同速度下的运动条件。可选地，可以组合不同的器械追踪技术例如前面的两个示例，以及使用附加的惯性测量单元或导航标记的追踪。
在另一个示例中，可以使用空间映射来确定解剖标志的坐标。患者物理解剖结构上的解剖标志可以数字化，以便与虚拟模型配准。为此，当外科医生可以在解剖标志的表面(例如股骨髁、胫骨坪、关节表面或任何其他解剖标志)上移动其尖端时，可以追踪带有光学标记、发光二极管或导航标记或其他标记的指针器械的运动。当外科医生“绘制”标志表面时，器械尖端的位置可以从光学标记、发光二极管或导航标记或其他计算出来。例如，当指针器械沿着表面移动时，可以确定多个表面点的坐标，从而生成可用于定义表面的点云。通过将记录的尖端位置转换成表面网格，表面的触摸或“绘制”部分可以可选地在光学头戴式显示器中显示为全息图，用于视觉反馈给外科医生。点的密度可以是可变的；当需要高空间分辨率和/或高配准精度时，可能需要更高的密度图，例如在脑手术或切除脑或其他器官中的肿瘤期间，或者对于放置医疗装置(例如膝关节植入体或肩关节或髋关节植入体)可能是必要的。点云或表面网格可以例如基于术前或术中的扫描数据与例如患者解剖结构的虚拟模型配准，从而例如用虚拟数据配准术中的物理表面和/或患者的标志，例如术前或术中的扫描、成像数据或包括一个或多个虚拟手术计划的其他虚拟数据。如果点的密度太低，可以警告外科医生向表面部分添加更多的点，例如通过全息图中的视觉反馈或听觉或其他反馈。除了通过解剖标志数字化获得的密集网格之外，深度相机还可以生成更粗糙但更通用的空间映射。该空间图也可以由三维表面网格组成，例如，可以使用光学头戴式显示器的编程接口读出。该信息可用于补充数字化标志以进行配准。
前述技术和示例及其任何修改用于使用和优化光学标记、优化光学标记的几何图案、优化光学标记的形状、将光学标记和/或几何图案与不透射线元件对准、将荧光图像与患者的实时解剖结构配准、利用关于一个或多个光学标记的已知尺寸、形状和/或尺寸的现有信息、用于光学头戴式显示器的网络以及组合多个空间图，对于包括虚拟接口和用于追踪手术器械的各种接口，手术器械和植入体以及植入体组件可应用于任何类型的手术过程，包括试验组件，包括但不限于部分和全部膝关节置换、部分和全部髋关节置换、部分和全部肩关节置换、部分和全部踝关节置换、部分和全部肘关节置换、部分和全部腕关节置换、部分和全部足中关节和前足关节置换，手和脚的部分和全部小关节置换、膝关节、髋关节、肩关节、踝关节、肘关节、腕关节和其他关节的关节镜检查、韧带修复，包括前交叉韧带和/或后交叉韧带修复、膝关节、髋关节、肩关节、肘关节、踝关节或腕关节的韧带修复、脊柱融合、前部和/或后部、脊柱盘置换、脊柱运动保持手术、不同类型的脊柱手术方法和程序，例如PLIF、TLIF、ALIF和本领域已知的其他方法和程序。
本领域技术人员可以认识到，说明书中的实施方案可以非限制性方式应用于许多不同类型的医疗器械相关手术，例如如表15中所列的植入体放置，包括例如部分和全部肩关节置换和其他肩关节手术，例如肩袖或盂唇的修复、部分或全部膝关节置换、部分或全部髋关节置换、部分或全部肩关节置换、部分或全部踝关节置换，脊柱融合、脊柱手术、椎间盘置换、韧带修复和/或重建，包括前交叉韧带或其他韧带、牙科手术、牙科植入体和其他牙科装置、血管或其他装置等。特定解剖区域(例如膝关节)的解剖学或病理学相关术语可以与另一解剖区域(例如髋关节或肩关节)的解剖学或病理学相关术语交换。例如，实施方案中的词语“股骨”和“胫骨”代表例如膝关节的关节中的两个关节表面，例如在膝关节置换手术期间，并且可以在髋关节置换中被替换为词语“髋臼”和“股骨”，或者在肩关节置换中被替换为词语“关节盂”和“肱骨”，在踝关节置换或融合中被替换为词语“胫骨”和“距骨”或“距骨”和“跟骨”。例如，在与植入体组件的虚拟移动、放置、定向、对准、尺寸确定和/或配合和/或选择相关的实施方案中，实施方案中的词语“股骨”和“胫骨”代表关节中的两个关节表面，并且可以在髋关节置换中被替换为词语“髋臼”和“股骨”，或者在肩关节置换中被替换为词语“关节盂”和“肱骨”，在脚踝置换或融合中被替换为词语“胫骨”和“距骨”或“距骨”和“跟骨”。
本文引用的所有专利，专利申请和公开的参考文献均通过引用整体并入本文。应该强调的是，公开的上述实施方案仅仅是可能的实施方案，只是为了清楚地理解本披露原则而提出的。在不背离本发明的精神和原则的情况下，可以对上述实施方案进行许多变化和修改。可以理解，上述公开内容和其他特征和功能，或其替代方案可以合意地组合到其他不同的系统或应用中。所有这些修改和变化应纳入本权利要求书的范围，属于所附权利要求的范围。

Claims (16)

1.一种光学引导系统，其包括：
透视光学头戴式显示器，和
处理器，
其中所述处理器被配置为生成虚拟关节植入体组件，
其中所述透视光学头戴式显示器被配置为显示所述虚拟关节植入体组件，
其中所述虚拟关节植入体组件是对应于物理关节植入体组件的至少一部分的三维数字表示，
其中所述处理器被配置为接收来自用户接口的输入，以促进所述虚拟关节植入体组件与物理关节的正常软骨、患病软骨或其组合的表面的对准，
其中所述光学引导系统被配置为基于所述物理关节的运动、韧带松弛、韧带紧绷或其组合的术中测量而修改所述虚拟关节植入体组件与所述物理关节的正常软骨、患病软骨或其组合的表面的所述对准，并且
其中所述光学引导系统被配置为修改、校正或修改且校正所述物理关节的运动、韧带松弛、韧带紧绷或其组合，以减少所述物理关节的异常运动模式、所述物理关节的不稳定性、所述物理关节的韧带紧绷或其组合。
2.如权利要求1所述的光学引导系统，其中所述光学引导系统进一步包括一个或多个摄像头。
3.如权利要求1所述的光学引导系统，其中所述物理关节包括手术改变之前或之后的目标解剖组织或目标病理组织。
4.如权利要求3所述的光学引导系统，其中手术改变之前或之后的所述目标解剖组织或目标病理组织是切除骨、切割骨、切除软骨、切割软骨、未切除骨、未切除皮质骨、未切除软骨下骨、未切除软骨、未切除组织、部分切除组织、或切除组织。
5.如权利要求1所述的光学引导系统，其中所述用户接口包括图形用户接口、计算机接口、声学接口、虚拟接口、键盘接口或虚拟键盘接口。
6.如权利要求5所述的光学引导系统，其中所述虚拟接口被配置为使用手势识别。
7.如权利要求5所述的光学引导系统，其中所述声学接口被配置为使用语音识别。
8.如权利要求1所述的光学引导系统，其中所述虚拟关节植入体组件的所述对准包括与以下各项的至少一部分相切、靠近、平行、成角度、正交或相交中的一种或多种：解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理区域、解剖轴线、生物力学轴线、周围组织、周围结构、所述物理关节附近的组织、所述物理关节附近的结构、与所述物理关节相对的组织、与所述物理关节相对的结构、与所述物理关节相互作用的组织、与所述物理关节相互作用的结构、已经放置在所述物理关节处或已经附接或植入在所述物理关节附近的一个或多个物理植入体、已经放置在所述物理关节处或已经附接或植入在所述物理关节附近的一个或多个物理植入体组件、已经放置在所述物理关节处或已经附接或植入在预期物理关节附近的一个或多个物理医疗装置、一个或多个虚拟植入体、一个或多个虚拟植入体组件、或一个或多个虚拟医疗装置。
9.如权利要求1所述的光学引导系统，其中所述光学引导系统被配置为修改所述虚拟关节植入体组件相对于解剖标志、解剖尺寸、解剖形状、期望的形状校正、病理区域、解剖轴线、生物力学轴线、相对关节表面的软骨或其组合的所述对准。
10.如权利要求1所述的光学引导系统，其中所述光学引导系统被配置为修改所述虚拟关节植入体组件相对于正常软骨、患病软骨、正常软骨与患病软骨二者或软骨下骨的距离、屈曲间隙和/或延伸间隙的所述对准，或修改所述虚拟关节植入体组件相对于正常软骨、患病软骨、正常软骨与患病软骨二者或软骨下骨的尺寸、表面、边缘、角度、轴线、曲率、形状、长度、宽度和/或深度的所述对准。
11.如权利要求1所述的光学引导系统，其中所述物理关节包括边界、周边、边缘、周长、前后位尺寸、内外侧尺寸、倾斜尺寸、直径、半径、曲率、几何结构、形状或其组合。
12.如权利要求1所述的光学引导系统，其中所述处理器被配置成便于显示从虚拟植入体组件库中选择的一个或多个虚拟关节植入体组件，并且所述处理器被配置成接收来自用户接口的输入，以便于选择所述一个或多个虚拟关节植入体组件。
13.如权利要求1所述的光学引导系统，其中所述处理器被配置成便于同时或顺序显示具有不同形状的两个或更多个虚拟关节植入体组件，并且所述处理器被配置成接收来自用户接口的输入，以便于评估所述两个或更多个虚拟植入体与患者的所述物理关节的配合。
14.如权利要求1所述的光学引导系统，其中所述透视光学头戴式显示器被配置为基于所述关节的术中测量而显示至少一个字母数字值。
15.如权利要求1所述的光学引导系统，其中所述光学引导系统被配置为取得不同于所述物理关节的植入前运动、韧带松弛、韧带紧绷或其组合的所述物理关节的植入后运动、韧带松弛、韧带紧绷或其组合。
16.如权利要求1所述的光学引导系统，其中所述光学引导系统被配置为修改所述虚拟关节植入体组件相对于软骨下骨的至少一部分的所述对准。
CN201880017817.6A 2017-01-16 2018-01-16 用于外科、医疗和牙科手术的光学引导 Active CN110430809B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201762446724P 2017-01-16 2017-01-16
US62/446,724 2017-01-16
US201762453484P 2017-02-01 2017-02-01
US62/453,484 2017-02-01
US201762491510P 2017-04-28 2017-04-28
US62/491,510 2017-04-28
US201762543185P 2017-08-09 2017-08-09
US62/543,185 2017-08-09
US201762551166P 2017-08-28 2017-08-28
US62/551,166 2017-08-28
US201762556867P 2017-09-11 2017-09-11
US62/556,867 2017-09-11
PCT/US2018/013774 WO2018132804A1 (en) 2017-01-16 2018-01-16 Optical guidance for surgical, medical, and dental procedures

Publications (2)

Publication Number Publication Date
CN110430809A CN110430809A (zh) 2019-11-08
CN110430809B true CN110430809B (zh) 2023-09-26

Family

ID=62839726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880017817.6A Active CN110430809B (zh) 2017-01-16 2018-01-16 用于外科、医疗和牙科手术的光学引导

Country Status (5)

Country Link
US (2) US11751944B2 (zh)
EP (1) EP3568070B1 (zh)
CN (1) CN110430809B (zh)
CA (1) CA3049662A1 (zh)
WO (1) WO2018132804A1 (zh)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11627944B2 (en) 2004-11-30 2023-04-18 The Regents Of The University Of California Ultrasound case builder system and method
US11631342B1 (en) 2012-05-25 2023-04-18 The Regents Of University Of California Embedded motion sensing technology for integration within commercial ultrasound probes
US9554880B2 (en) * 2012-10-25 2017-01-31 Zfx Gmbh Reference member for determining a position of an implant analog
US10380919B2 (en) 2013-11-21 2019-08-13 SonoSim, Inc. System and method for extended spectrum ultrasound training using animate and inanimate training objects
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11600201B1 (en) 2015-06-30 2023-03-07 The Regents Of The University Of California System and method for converting handheld diagnostic ultrasound systems into ultrasound training systems
US11058495B2 (en) 2016-04-27 2021-07-13 Biomet Manufacturing, Llc Surgical system having assisted optical navigation with dual projection system
WO2018059838A1 (en) * 2016-09-27 2018-04-05 Brainlab Ag Efficient positioning of a mechatronic arm
EP3518730B1 (en) * 2016-10-03 2024-04-17 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
US11202682B2 (en) * 2016-12-16 2021-12-21 Mako Surgical Corp. Techniques for modifying tool operation in a surgical robotic system based on comparing actual and commanded states of the tool relative to a surgical site
WO2018131045A1 (en) * 2017-01-12 2018-07-19 Mazor Robotics Ltd. Global balance using dynamic motion analysis
US10896628B2 (en) 2017-01-26 2021-01-19 SonoSim, Inc. System and method for multisensory psychomotor skill training
US11135016B2 (en) 2017-03-10 2021-10-05 Brainlab Ag Augmented reality pre-registration
WO2019029936A1 (en) * 2017-08-11 2019-02-14 Brainlab Ag MICROSCOPE ADJUSTMENT USING VIDEO
US11127212B1 (en) * 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
US10828110B1 (en) * 2017-10-10 2020-11-10 Orthosoft Ulc Method and system for pre-operative implant sizing
EP3700457A4 (en) 2017-10-23 2021-11-17 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTATION OF AUGMENTED REALITY ON A DISPLAY OF A TELEOPERATION SYSTEM
US11432945B2 (en) * 2017-11-07 2022-09-06 Howmedica Osteonics Corp. Robotic system for shoulder arthroplasty using stemless implant components
EP3709927A4 (en) * 2017-11-16 2020-12-23 Intuitive Surgical Operations Inc. MASTER / SLAVE REGISTRATION AND CONTROL FOR REMOTE OPERATION
US11351007B1 (en) * 2018-01-22 2022-06-07 CAIRA Surgical Surgical systems with intra-operative 3D scanners and surgical methods using the same
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
EP3530497B1 (de) * 2018-02-27 2020-04-15 Autotech Engineering Deutschland GmbH Fahrwerksbauteil mit exzenterscheibenanschlag sowie verfahren zur herstellung eines fahrwerksbauteils
US11462319B2 (en) * 2018-03-20 2022-10-04 3M Innovative Properties Company Sterilization process management
WO2019211764A1 (en) * 2018-05-03 2019-11-07 3M Innovative Properties Company Personal protective equipment system with augmented reality for safety event detection and visualization
DE102018213872A1 (de) * 2018-05-06 2019-11-07 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildgebung bei der Implantation von Retinaimplantaten
US11026766B2 (en) * 2018-05-21 2021-06-08 Align Technology, Inc. Photo realistic rendering of smile image after treatment
CN110555358B (zh) * 2018-06-01 2023-09-12 苹果公司 用于检测和识别ar/vr场景中的特征部的方法和设备
CN112584791A (zh) 2018-06-19 2021-03-30 托尼尔公司 用于诊断肩部疾患的神经网络
US11094221B2 (en) * 2018-06-21 2021-08-17 University Of Utah Research Foundation Visual guidance system and method for posing a physical object in three dimensional space
US11389131B2 (en) 2018-06-27 2022-07-19 Denti.Ai Technology Inc. Systems and methods for processing of dental images
US10835349B2 (en) 2018-07-20 2020-11-17 Align Technology, Inc. Parametric blurring of colors for teeth in generated images
CN109226967B (zh) * 2018-07-25 2021-03-09 同高先进制造科技（太仓）有限公司 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统
JP7017493B2 (ja) * 2018-09-27 2022-02-08 富士フイルム株式会社 乳房撮影装置とその作動方法、並びに画像処理装置とその作動プログラムおよび作動方法
US11062527B2 (en) * 2018-09-28 2021-07-13 General Electric Company Overlay and manipulation of medical images in a virtual environment
US11287874B2 (en) * 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US20200186786A1 (en) * 2018-12-06 2020-06-11 Novarad Corporation Calibration for Augmented Reality
US11357593B2 (en) * 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11810473B2 (en) * 2019-01-29 2023-11-07 The Regents Of The University Of California Optical surface tracking for medical simulation
US11495142B2 (en) 2019-01-30 2022-11-08 The Regents Of The University Of California Ultrasound trainer with internal optical tracking
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11137875B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Mixed reality intelligent tether for dynamic attention direction
US10779890B2 (en) * 2019-02-27 2020-09-22 Jared Weir System and method for performing joint replacement surgery using artificial neural network
WO2020185015A1 (ko) * 2019-03-12 2020-09-17 주식회사 메디트 치아 보철 제조를 위한 3차원 스캔 데이터 처리 방법
JP2020156825A (ja) * 2019-03-27 2020-10-01 富士フイルム株式会社 位置情報表示装置、方法およびプログラム、並びに放射線画像撮影装置
US11123163B2 (en) * 2019-04-04 2021-09-21 Dentsply Sirona Inc. Custom dental membrane
JP7322182B2 (ja) * 2019-05-14 2023-08-07 ホウメディカ・オステオニクス・コーポレイション 整形外科インプラント埋植のための骨壁追跡及びガイダンス
CN110400634A (zh) * 2019-07-19 2019-11-01 丁浩男 一种数字化物联网医疗系统
US11676701B2 (en) 2019-09-05 2023-06-13 Pearl Inc. Systems and methods for automated medical image analysis
US10984529B2 (en) * 2019-09-05 2021-04-20 Pearl Inc. Systems and methods for automated medical image annotation
US11432882B2 (en) 2019-09-17 2022-09-06 CAIRA Surgical System and method for medical object tracking
US11521345B2 (en) * 2019-09-30 2022-12-06 GE Precision Healthcare LLC Method and system for providing rotation previews for three-dimensional and four-dimensional ultrasound images
US11832893B2 (en) * 2019-10-01 2023-12-05 Smith & Nephew, Inc. Methods of accessing joints for arthroscopic procedures
CN112843506B (zh) * 2019-11-28 2023-07-04 重庆西山科技股份有限公司 手术系统、超声吸引刀系统
CN111127527B (zh) * 2019-12-06 2021-02-05 广州柏视医疗科技有限公司 基于ct影像骨骼配准实现肺结节自适应匹配的方法与装置
US11045263B1 (en) * 2019-12-16 2021-06-29 Russell Nevins System and method for generating a virtual jig for surgical procedures
US11382712B2 (en) * 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
CN110976839B (zh) * 2019-12-24 2021-06-11 中冶南方工程技术有限公司 连铸机上部结构及长水口自动装卸方法
CN111105475B (zh) * 2019-12-24 2022-11-22 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
US11723614B2 (en) * 2019-12-31 2023-08-15 Jerry Chi Hu Dynamic 3-D anatomical mapping and visualization
CN111227794A (zh) * 2020-01-13 2020-06-05 广州医科大学 基于oct图像提取骨磨削或消融后表面粗糙度的方法
US11055789B1 (en) 2020-01-17 2021-07-06 Pearl Inc. Systems and methods for insurance fraud detection
WO2021168408A1 (en) 2020-02-20 2021-08-26 Smith & Nephew, Inc. Methods for arthroscopic video analysis and devices therefor
US20230109015A1 (en) * 2020-03-04 2023-04-06 360 Knee Systems Pty Ltd Surgical impactor navigation systems and methods
EP4128263A1 (en) * 2020-04-03 2023-02-08 Smith & Nephew, Inc User interface for digital markers in arthroscopy
CN115210756A (zh) 2020-04-03 2022-10-18 史密夫和内修有限公司 用于关节镜手术视频分割的方法及用于其的装置
US11786190B2 (en) * 2020-04-06 2023-10-17 Jae Hong Kim Dental low dose fluoroscopic image acquisition device
US11161204B1 (en) * 2020-04-10 2021-11-02 Amnio Technology Llc Allograft optimization system
US20210330250A1 (en) * 2020-04-22 2021-10-28 Warsaw Orthopedic, Inc. Clinical diagnosis and treatment planning system and methods of use
CN111598896B (zh) * 2020-04-28 2023-12-05 腾讯科技（深圳）有限公司 图像检测方法、装置、设备及存储介质
CN111563502B (zh) * 2020-05-09 2023-12-15 腾讯科技（深圳）有限公司 图像的文本识别方法、装置、电子设备及计算机存储介质
BR112022023661A2 (pt) * 2020-05-20 2023-03-07 Get Grin Inc Sistemas e métodos para monitoramento odontológico remoto
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
AU2021315544A1 (en) * 2020-07-28 2022-12-08 Mako Surgical Corp. Systems and methods for joint balancing
WO2022031564A1 (en) * 2020-08-07 2022-02-10 Surgical Theater, Inc. System and method for augmented reality spine surgery
WO2022036302A1 (en) 2020-08-14 2022-02-17 Hes Ip Holdings, Llc Systems and methods for superimposing virtual image on real-time image
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
WO2022051688A1 (en) 2020-09-03 2022-03-10 Hes Ip Holdings, Llc Systems and methods for improving binocular vision
US11630556B2 (en) * 2020-09-16 2023-04-18 Kyndryl, Inc. Finger control of wearable devices
CN116420104A (zh) 2020-09-30 2023-07-11 海思智财控股有限公司 用于虚拟实境及扩增实境装置的虚拟影像显示系统
US20240013679A1 (en) * 2020-10-02 2024-01-11 The Johns Hopkins University Smart sensor-equipped phantom for performance assessment of medical procedures
US20220125553A1 (en) * 2020-10-27 2022-04-28 Marc Lemchen Methods for Direct Printing of Orthodontic and Dental Appliances onto the Teeth of a Patient
US11776677B2 (en) 2021-01-06 2023-10-03 Pearl Inc. Computer vision-based analysis of provider data
CA3203261A1 (en) * 2021-01-06 2022-07-14 Benjamin William KENNY Surgical system
CN112754664B (zh) * 2021-01-10 2022-01-28 杭州素问九州医疗科技有限公司 用于寻找髋关节中心的骨科手术系统
US11656690B2 (en) * 2021-03-05 2023-05-23 MediVis, Inc. User input and virtual touch pad in augmented reality for use in surgical settings
CN112842451A (zh) * 2021-01-20 2021-05-28 上海市第六人民医院 一种用于修复和固定关节软骨的装置、试剂盒和方法
CN112932703A (zh) * 2021-02-05 2021-06-11 四川大学 一种利用混合现实技术的正畸托槽粘接方法
EP4304490A1 (en) * 2021-03-10 2024-01-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery
EP4307995A1 (en) * 2021-03-18 2024-01-24 3D Systems, Incorporated Devices and methods for registering an imaging model to an augmented reality system before or during surgery
EP4062851A1 (en) * 2021-03-23 2022-09-28 Cilag GmbH International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
EP4066771A1 (en) * 2021-03-29 2022-10-05 Cilag GmbH International Visualization systems using structured light
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
CN113112898A (zh) * 2021-04-09 2021-07-13 西安交通大学口腔医院 一种以数字化技术建立牙周病损模型信息库及其教学方法
CN113171173A (zh) * 2021-04-28 2021-07-27 上海电气集团股份有限公司 一种手术机器人vr术前规划方法及系统
US20220384017A1 (en) * 2021-05-28 2022-12-01 Cilag Gmbh International Aggregated network of surgical hubs for efficiency analysis
CN113317876A (zh) * 2021-06-07 2021-08-31 上海盼研机器人科技有限公司 一种基于增强现实的颅颌面骨折修复导航系统
EP4102513A1 (en) * 2021-06-10 2022-12-14 Inteneural Networks Inc. Method and apparatus for registering a neurosurgical patient and determining brain shift during surgery using machine learning and stereooptical three-dimensional depth camera with a surfacemapping system
US11861822B2 (en) * 2021-06-24 2024-01-02 Saudi Arabian Oil Company Image recognition device and method for retrieving information on a marker
CN117836870A (zh) * 2021-07-04 2024-04-05 Ai瓦力股份有限公司 用于实时处理医学图像的系统和方法
US20230013210A1 (en) * 2021-07-19 2023-01-19 Orthosoft Ulc Robotic revision knee arthroplasty virtual reconstruction system
WO2023012504A1 (en) * 2021-08-04 2023-02-09 Baghi Saeid Electronic capsule camera with image transmission mechanism using bluetooth mouse and skeleton fixer
CN113436129B (zh) * 2021-08-24 2021-11-16 南京微纳科技研究院有限公司 图像融合系统、方法、装置、设备及存储介质
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
CN113850810B (zh) * 2021-12-01 2022-03-04 杭州柳叶刀机器人有限公司 用于转正股骨的方法及手术系统、存储介质以及电子设备
CN114190903A (zh) * 2021-12-02 2022-03-18 萤雪科技(佛山)有限公司 医学信息码、生成方法及系统、信号波显示方法及系统
US11410769B1 (en) * 2021-12-08 2022-08-09 Vent Creativity Corporation Tactile solutions integration for patient specific treatment
WO2024035976A2 (en) * 2022-05-09 2024-02-15 Mofaip, Llc Dynamic areas of interest that travel and interact with maps and void spaces
WO2023133390A1 (en) * 2022-01-06 2023-07-13 Monogram Orthopaedics Inc. Data optimization methods for dynamic cut boundary
DE102022100438B3 (de) * 2022-01-10 2023-03-09 Albert-Ludwigs-Universität Freiburg, Körperschaft des öffentlichen Rechts Präoperative planung einer einbringung eines dentalen implantates
US20230241775A1 (en) * 2022-02-02 2023-08-03 Mazor Robotics, Ltd. Robotic arm guide as a depth stop
WO2023161858A1 (en) * 2022-02-28 2023-08-31 DePuy Synthes Products, Inc. Surgical imaging and display system, and related methods
TWI805248B (zh) * 2022-03-01 2023-06-11 艾沙技術股份有限公司 基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法
US20230285083A1 (en) * 2022-03-08 2023-09-14 Howmedica Osteonics Corp. Humerus anatomical neck detection for shoulder replacement planning
EP4273791A1 (en) * 2022-05-05 2023-11-08 Koninklijke Philips N.V. Method to render soft tissue into x-ray modalities
KR102490579B1 (ko) * 2022-09-06 2023-01-20 주식회사 유에이로보틱스 치과 로봇
WO2024054737A1 (en) * 2022-09-07 2024-03-14 Baylor College Of Medicine Computer vision systems and methods for classifying implanted thoracolumbar pedicle screws
CN116912213B (zh) * 2023-07-20 2024-04-19 中国人民解放军总医院第六医学中心 一种医学Dicom图像边缘轮廓多边检测算法和检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US20080269596A1 (en) * 2004-03-10 2008-10-30 Ian Revie Orthpaedic Monitoring Systems, Methods, Implants and Instruments
US20150310668A1 (en) * 2014-04-24 2015-10-29 Christof Ellerbrock Head-worn platform for integrating virtuality with reality
US20160225192A1 (en) * 2015-02-03 2016-08-04 Thales USA, Inc. Surgeon head-mounted display apparatuses
WO2016124847A1 (fr) * 2015-02-03 2016-08-11 François Duret Dispositif de visualisation de l'intérieur d'une bouche
US20160324598A1 (en) * 2014-01-21 2016-11-10 Trophy Method for implant surgery using augmented visualization

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4219939C2 (de) 1992-06-18 1995-10-19 Klaus Dipl Ing Radermacher Vorrichtung zur Ausrichtung, Positionierung und Führung von Bearbeitungswerkzeugen, Bearbeitungs- oder Meßvorrichtungen zur Bearbeitung einer knöchernen Struktur und Verfahren zur Erstellung dieser Vorrichtung
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US6061064A (en) 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
EP0951874A3 (en) 1994-09-15 2000-06-14 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications using a reference unit secured to a patients head
US5829444A (en) 1994-09-15 1998-11-03 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications
US6256529B1 (en) 1995-07-26 2001-07-03 Burdette Medical Systems, Inc. Virtual reality 3D visualization for surgical procedures
US8480754B2 (en) * 2001-05-25 2013-07-09 Conformis, Inc. Patient-adapted and improved articular implants, designs and related guide tools
US6256090B1 (en) * 1997-07-31 2001-07-03 University Of Maryland Method and apparatus for determining the shape of a flexible body
JP2001522630A (ja) 1997-11-05 2001-11-20 ジンテーズ アクチエンゲゼルシャフト クール 骨または骨関節の仮想表示
USD415146S (en) 1997-11-12 1999-10-12 Vista Medical Technologies, Inc. Head mounted display
US6477400B1 (en) 1998-08-20 2002-11-05 Sofamor Danek Holdings, Inc. Fluoroscopic image guided orthopaedic surgery system with intraoperative registration
DE10030663A1 (de) 2000-06-23 2002-01-10 Merck Patent Gmbh UV-B-Filter
US6599247B1 (en) 2000-07-07 2003-07-29 University Of Pittsburgh System and method for location-merging of real-time tomographic slice images with human vision
US6714810B2 (en) 2000-09-07 2004-03-30 Cbyon, Inc. Fluoroscopic registration system and method
WO2002029700A2 (en) 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20050113846A1 (en) 2001-02-27 2005-05-26 Carson Christopher P. Surgical navigation systems and processes for unicompartmental knee arthroplasty
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US20080313282A1 (en) 2002-09-10 2008-12-18 Warila Bruce W User interface, operating system and architecture
US7542791B2 (en) * 2003-01-30 2009-06-02 Medtronic Navigation, Inc. Method and apparatus for preplanning a surgical procedure
WO2004091419A2 (en) 2003-04-08 2004-10-28 Wasielewski Ray C Use of micro-and miniature position sensing devices for use in tka and tha
US20050028146A1 (en) 2003-08-01 2005-02-03 Quick Shawn G. Systems and methods for software and firmware testing using checkpoint signatures
US20070276234A1 (en) 2003-10-21 2007-11-29 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Intraoperative Targeting
US20050267353A1 (en) 2004-02-04 2005-12-01 Joel Marquart Computer-assisted knee replacement apparatus and method
US20050281465A1 (en) 2004-02-04 2005-12-22 Joel Marquart Method and apparatus for computer assistance with total hip replacement procedure
US7774044B2 (en) 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
WO2005091220A1 (en) 2004-03-12 2005-09-29 Bracco Imaging S.P.A Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
GB0405792D0 (en) 2004-03-15 2004-04-21 Univ Catholique Louvain Augmented reality vision system and method
US7896869B2 (en) 2004-12-29 2011-03-01 Depuy Products, Inc. System and method for ensuring proper medical instrument use in an operating room
WO2006081198A2 (en) 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
DE602005013752D1 (de) 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
WO2006131373A2 (de) 2005-06-09 2006-12-14 Ife Industrielle Forschung Und Entwicklung Gmbh Vorrichtung zum berührungslosen ermitteln und vermessen einer raumposition und/oder einer raumorientierung von körpern
US20070015999A1 (en) 2005-07-15 2007-01-18 Heldreth Mark A System and method for providing orthopaedic surgical information to a surgeon
US20070179626A1 (en) 2005-11-30 2007-08-02 De La Barrera Jose L M Functional joint arthroplasty method
EP1993483B1 (en) * 2006-03-13 2013-06-19 Mako Surgical Corp. Prosthetic device and method for planning the implantation
US8265949B2 (en) 2007-09-27 2012-09-11 Depuy Products, Inc. Customized patient surgical plan
CN101566874A (zh) 2008-04-24 2009-10-28 鸿富锦精密工业（深圳）有限公司 控制装置及使用该控制装置的电子设备
WO2010020397A1 (de) 2008-08-18 2010-02-25 Naviswiss Ag Medizinisches messsystem, verfahren zum chirurgischen eingriff sowie die verwendung eines medizinischen messsystems
KR101717695B1 (ko) 2008-09-25 2017-03-17 씨에이이 헬스케어 캐나다 인코포레이티드 의료 영상의 시뮬레이션
CA2743369C (en) 2008-11-13 2016-09-06 Queen's University At Kingston System and method for integrating gaze tracking with virtual reality or augmented reality
EP2470058A1 (de) 2009-08-27 2012-07-04 Naviswiss AG Endoskop und verfahren zu dessen verwendung
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
WO2011149558A2 (en) 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
JP6040151B2 (ja) 2010-06-16 2016-12-07 エーツー・サージカル ３ｄ患者画像からアクセス領域を決定する方法
CN103037797B (zh) 2010-07-15 2015-11-25 奈威司维斯股份公司 测定空间坐标的方法
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
DE102010042540B4 (de) 2010-10-15 2014-09-04 Scopis Gmbh Verfahren und Vorrichtung zum Kalibrieren einer Abstandsbestimmungsvorrichtung eines optischen Systems
DE102011078212B4 (de) 2011-06-28 2017-06-29 Scopis Gmbh Verfahren und Vorrichtung zum Darstellen eines Objektes
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
WO2013033195A2 (en) 2011-08-30 2013-03-07 Microsoft Corporation Head mounted display with iris scan profiling
WO2013049386A1 (en) 2011-09-27 2013-04-04 Allied Minds Devices Llc Instruct-or
AU2012348348B2 (en) 2011-10-28 2017-03-30 Magic Leap, Inc. System and method for augmented and virtual reality
DE102011087347B4 (de) 2011-11-29 2022-06-09 Robert Bosch Gmbh Verfahren zur Steuerung mindestens eines Aktors anhand von Signallaufzeitänderungen mindestens eines Ultraschallsensors
US9539112B2 (en) 2012-03-28 2017-01-10 Robert L. Thornberry Computer-guided system for orienting a prosthetic acetabular cup in the acetabulum during total hip replacement surgery
US20130261758A1 (en) 2012-03-30 2013-10-03 Zimmer, Inc. Tibial prosthesis systems, kits, and methods
US10098761B2 (en) 2012-03-31 2018-10-16 DePuy Synthes Products, Inc. System and method for validating an orthopaedic surgical plan
US20130296682A1 (en) 2012-05-04 2013-11-07 Microsoft Corporation Integrating pre-surgical and surgical images
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US8989843B2 (en) 2012-06-05 2015-03-24 DePuy Synthes Products, LLC Methods and apparatus for estimating the position and orientation of an implant using a mobile device
CN107817555A (zh) 2012-06-11 2018-03-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
EP2674913B1 (en) 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
JP6186689B2 (ja) 2012-09-26 2017-08-30 セイコーエプソン株式会社 映像表示システム
US9563266B2 (en) 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US10108266B2 (en) 2012-09-27 2018-10-23 The Board Of Trustees Of The University Of Illinois Haptic augmented and virtual reality system for simulation of surgical procedures
DE112013004917A5 (de) 2012-10-08 2015-06-18 Ife Industrielle Forschung Und Entwicklung Gmbh Messtaster und Verfahren zum Vermessen einer Oberfläche
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
US20140198190A1 (en) 2013-01-16 2014-07-17 Kris Okumu Wearable surgical imaging device with semi-transparent screen
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9299138B2 (en) 2013-03-14 2016-03-29 DePuy Synthes Products, Inc. Generating a patient-specific orthopaedic surgical plan from medical image data
NZ712192A (en) 2013-03-15 2018-11-30 Magic Leap Inc Display system and method
US10426345B2 (en) 2013-04-04 2019-10-01 Children's National Medical Center System for generating composite images for endoscopic surgery of moving and deformable anatomy
WO2015017242A1 (en) 2013-07-28 2015-02-05 Deluca Michael J Augmented reality based user interfacing
KR101536115B1 (ko) 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
US20150100067A1 (en) 2013-10-08 2015-04-09 University Of Washington Through Its Center For Commercialization Methods and systems for computer-guided placement of bone implants
US20150206218A1 (en) 2014-01-21 2015-07-23 Bank Of America Corporation Augmented Reality Based Mobile App for Home Buyers
EP3107476B1 (en) 2014-02-21 2024-04-24 The University of Akron Imaging and display system for guiding medical interventions
US10197803B2 (en) 2014-03-28 2019-02-05 Alma Mater Studiorum—Universita' di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
US9389424B1 (en) 2014-04-02 2016-07-12 Magic Leap, Inc. Methods and systems for implementing a high resolution color micro-display
CN105992996B (zh) 2014-04-04 2019-11-26 外科手术室公司 外科手术环境中的动态和交互式导航
US20150366628A1 (en) 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
US9626936B2 (en) 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
US9547940B1 (en) 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
GB201501157D0 (en) 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
GB2534359A (en) 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20160287337A1 (en) 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
US20180140362A1 (en) 2015-04-07 2018-05-24 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US9503681B1 (en) 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration
KR101647467B1 (ko) 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
GB201510959D0 (en) 2015-06-22 2015-08-05 Ec Medica Ltd Augmented reality imaging System, Apparatus and Method
WO2016210159A1 (en) 2015-06-23 2016-12-29 Mobius Virtual Foundry Llc Head mounted display
US9956054B2 (en) 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
US10092361B2 (en) 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
WO2017117517A1 (en) 2015-12-30 2017-07-06 The Johns Hopkins University System and method for medical imaging
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
US10136952B2 (en) 2016-06-16 2018-11-27 Zimmer, Inc. Soft tissue balancing in articular surgery
JP2019534717A (ja) * 2016-08-16 2019-12-05 インサイト メディカル システムズ インコーポレイテッド 医療処置における感覚増強のためのシステム
US20180082480A1 (en) 2016-09-16 2018-03-22 John R. White Augmented reality surgical technique guidance
US10660760B2 (en) 2016-11-02 2020-05-26 Zimmer, Inc. Device for sensing implant location and impingement
CA3153493C (en) 2016-11-03 2023-12-12 Zimmer Us, Inc. Augmented reality therapeutic movement display and gesture analyzer
EP4278956A3 (en) 2017-03-10 2024-02-21 Biomet Manufacturing, LLC Augmented reality supported knee surgery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080269596A1 (en) * 2004-03-10 2008-10-30 Ian Revie Orthpaedic Monitoring Systems, Methods, Implants and Instruments
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US20160324598A1 (en) * 2014-01-21 2016-11-10 Trophy Method for implant surgery using augmented visualization
US20150310668A1 (en) * 2014-04-24 2015-10-29 Christof Ellerbrock Head-worn platform for integrating virtuality with reality
US20160225192A1 (en) * 2015-02-03 2016-08-04 Thales USA, Inc. Surgeon head-mounted display apparatuses
WO2016124847A1 (fr) * 2015-02-03 2016-08-11 François Duret Dispositif de visualisation de l'intérieur d'une bouche

Also Published As

Publication number Publication date
US11751944B2 (en) 2023-09-12
CA3049662A1 (en) 2018-07-19
EP3568070A4 (en) 2020-11-11
WO2018132804A1 (en) 2018-07-19
EP3568070B1 (en) 2024-01-03
US20200138518A1 (en) 2020-05-07
EP3568070A1 (en) 2019-11-20
US20240041530A1 (en) 2024-02-08
CN110430809A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110430809B (zh) 用于外科、医疗和牙科手术的光学引导
US11727581B2 (en) Augmented reality guidance for dental procedures
US11553969B1 (en) System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11602395B2 (en) Augmented reality display systems for fitting, sizing, trialing and balancing of virtual implant components on the physical joint of the patient

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant