CN111329552B - 包括机器人的用于引导骨切除的增强现实可视化 - Google Patents

包括机器人的用于引导骨切除的增强现实可视化 Download PDF

Info

Publication number
CN111329552B
CN111329552B CN202010160714.4A CN202010160714A CN111329552B CN 111329552 B CN111329552 B CN 111329552B CN 202010160714 A CN202010160714 A CN 202010160714A CN 111329552 B CN111329552 B CN 111329552B
Authority
CN
China
Prior art keywords
predetermined
virtual
physical
surgical
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010160714.4A
Other languages
English (en)
Other versions
CN111329552A (zh
Inventor
P·K·朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
P KLang
Original Assignee
P KLang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by P KLang filed Critical P KLang
Publication of CN111329552A publication Critical patent/CN111329552A/zh
Application granted granted Critical
Publication of CN111329552B publication Critical patent/CN111329552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A61B17/154—Guides therefor for preparing bone for knee prosthesis
    • A61B17/155—Cutting femur
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A61B17/154—Guides therefor for preparing bone for knee prosthesis
    • A61B17/157—Cutting tibia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1742—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1764—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the knee
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1775—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the foot or ankle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1778—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the shoulder
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/32—Joints for the hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/38—Joints for elbows or knees
    • A61F2/3859—Femoral components
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/38—Joints for elbows or knees
    • A61F2/389—Tibial components
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1662—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body
    • A61B17/1664—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body for the hip
    • A61B17/1666—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body for the hip for the acetabulum
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/56—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A61B2017/568—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor produced with shape and dimensions specific for an individual patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/40—Joints for shoulders
    • A61F2/4014—Humeral heads or necks; Connections of endoprosthetic heads or necks to endoprosthetic humeral shafts
    • A61F2002/4018—Heads or epiphyseal parts of humerus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/42—Joints for wrists or ankles; for hands, e.g. fingers; for feet, e.g. toes
    • A61F2/4202—Joints for wrists or ankles; for hands, e.g. fingers; for feet, e.g. toes for ankles
    • A61F2002/4205—Tibial components
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/42—Joints for wrists or ankles; for hands, e.g. fingers; for feet, e.g. toes
    • A61F2/4202—Joints for wrists or ankles; for hands, e.g. fingers; for feet, e.g. toes for ankles
    • A61F2002/4207—Talar components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Dentistry (AREA)
  • Transplantation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Prostheses (AREA)
  • Surgical Instruments (AREA)
  • Display Devices Of Pinball Game Machines (AREA)

Abstract

公开了一种使用光学头戴式显示器、通过视觉引导执行手术步骤或外科手术的装置和方法。

Description

包括机器人的用于引导骨切除的增强现实可视化
分案说明
本申请是申请日为2017年3月10日、申请号为201780029093.2、发明名称为“用于手术的装置与方法”的中国发明专利申请的分案申请。
相关申请
本专利申请要求2016年3月12日提交的美国临时申请，编号62/307,476；2016 年4月4日提交的美国临时申请，编号62/318,157；2016年4月17日提交的美国临时申请，编号62/323,716；2016年5月5日提交的美国临时申请，编号62/331,995； 2016年6月26日提交的美国临时申请，编号62/354,780；2016年8月23日提交的美国临时申请，编号62/378,242；2016年9月11日提交的美国临时申请，编号62/ 393,054；2016年10月10日提交的美国临时申请，编号62/406,379；2016年11月21 日提交的美国临时申请，编号62/425,019；2017年1月12日提交的美国临时申请，编号62/445,691；2017年2月1日提交的美国临时申请，编号62/453,484，的权益和优先权，其全部内容通过引用整体纳入本申请。
技术领域
本发明的各方面涉及，使用光学头戴式显示器进行视觉引导以执行外科手术步骤或外科手术治疗的设备与方法。
背景技术
利用计算机辅助手术(比如，手术导航或机器人)，可使用患者的术前影像学检查。影像学检查可以在手术室(OR)中的外部计算机监视器上显示，并且患者解剖结构 (比如，测点)可以与显示器上显示的信息配准。由于手术部位位于不同的位置，并且外科医生目之所视与外部计算机监视器的视图坐标系统迥异，因此，手眼协调对于外科医生来说具有挑战性。
发明内容
此外，本发明的各方面旨在实现患者实时数据(比如，患者的脊柱或关节)，以及虚拟数据的数字表示(比如，光学头戴式显示器(optical head mounted display，OHMD) 的虚拟切割和/或带切割块或钻孔导板的虚拟手术导板(guide))的同时可视。在一些实施方案中，包括患者实时数据的手术部位，光学头戴式显示器和虚拟数据都在共同坐标系中配准。在一些实施方案中，虚拟数据被迭加到患者实时数据上并与之对准。与混合实时数据的虚拟现实头戴系统不同，光学头戴式显示器允许外科医生查看患者实时数据(比如，手术野)，同时使用光学头戴式显示器单元的显示器查看具有预定位置和/或方位的患者和/或虚拟手术器械或植入体的虚拟数据。
本发明的各方面描述了例如通过显示如下内容的虚拟表示(virtualrepresentation) 而使用光学头戴式显示器执行外科手术步骤或手术治疗的新颖装置：一个或多个虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始定向或对准，预定中间点，预定中间位置，预定中间定向或对准，预定终点，预定结束位置，预定结束定向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或定向或旋转标记，预定轴(比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具、包括虚拟手术导板或切割块的虚拟手术器械、虚拟试验植入体、虚拟植入体组件、植入体或装置等的预定轴)，用于一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分，和/或一种或多种预定组织变化或改变等。
本发明的各方面涉及包括至少一台光学头戴式显示器的一种装置，配置该装置可产生虚拟手术导板。在一些实施方案中，虚拟手术导板是数字格式的三维表示，其至少对应于物理手术导板，物理手术导板的置位指示物或其组合中的一部分。在一些实施方案中，所述至少一个光学头戴式显示器配置成显示至少部分地基于虚拟手术导板的预定位置坐标来迭加在物理关节上的虚拟手术导板，并且虚拟手术导板配置成将物理手术导板或物理锯片与虚拟手术导板对准以引导关节骨切割。
在一些实施方案中，该装置包括一个，两个，三个或更多个光学头戴式显示器。
在一些实施方案中，虚拟手术导板配置成在膝关节置换，髋关节置换，肩关节置换或踝关节置换中引导骨切割。
在一些实施方案中，虚拟手术导板包括用于虚拟或物理锯片的虚拟槽。
在一些实施方案中，虚拟手术导板包括用于对准虚拟或物理锯片的平面区域。
在一些实施方案中，虚拟手术导板包括两个或更多个虚拟导板孔或路径，以用于对准两个或更多个物理钻头或钉。
在一些实施方案中，虚拟手术导板的预定位置包括关节的解剖信息和/或对准信息。比如，关节的解剖和/或对准信息可以基于关节坐标，关节的解剖轴，关节的生物力学轴，机械轴或其组合中的至少一个。
在一些实施方案中，至少一个光学头戴式显示器被配置为基于预定肢体对准(predetermined limb alignment)以对准虚拟手术导板。比如，预定肢体对准可以是腿的正常机械轴对准。
在一些实施方案中，至少一个光学头戴式显示器被配置为基于预定股骨或胫骨组件旋转(femoralortibial component rotation)来对准虚拟手术导板。在一些实施方案中，所述至少一个光学头戴式显示器被配置为基于股骨组件的预定屈曲或胫骨组件的预定斜度来对准虚拟手术导板。
在一些实施方案中，虚拟手术导板被配置为基于预定腿长引导近端股骨切割。
在一些实施方案中，虚拟手术导板被配置为在踝关节置换中引导远端胫骨或距骨的骨切割，并且至少一个光学头戴式显示器被配置为基于预定的脚踝对准来对准虚拟手术导板，其中预定脚踝对准包括冠状面植入体组件对准(coronal plane implant componentalignment)，矢状面植入体组件对准，轴向平面组件对准(axial plane componentalignment)，植入体组件旋转或其组合。
在一些实施方案中，虚拟手术导板被配置为在肩关节置换中引导近端肱骨(proximal humerus)的骨切割，并且至少一个光学头戴式显示器被配置为基于预定的肱骨植入体组件对准来对准虚拟手术导板，其中，肱骨植入体组件对准包括冠状面植入体组件对准，矢状面植入体组件对准，轴向平面组件对准，植入体组件或其组合。
在一些实施方案中，手术导板的预定位置基于术前或术中影像学检查，一个或多个术中测值，术中数据或其组合。
本发明的各方面涉及一种包括用于两个或更多用户的两个或更多个光学头戴式显示器的设备，其中该设备被配置为生成虚拟手术导板，其中虚拟手术导板是数字格式的三维表示，三维表示对应于物理手术导板的一部分，物理手术导板的置位指示物或其组合中的至少一个，其中光学头戴式显示器被配置为至少部分的基于虚拟手术导板的预定位置的坐标而显示迭加到物理关节的虚拟手术导板，并且其中虚拟手术导板配置成用于对准物理手术导板或锯片以引导关节的骨切割。
本发明的各方面涉及包括至少一个光学头戴式显示器的装置和虚拟骨切割平面，其中虚拟骨切割平面被配置为引导关节的骨切割，其中虚拟骨切割平面对应于骨切割平面的至少一部分，并且其中光学头戴式显示器被配置为至少部分地基于虚拟骨切割平面的预定位置的坐标来显示迭加在物理关节上的虚拟骨切割平面。在一些实施方案中，虚拟骨切割平面被配置成以预定的内翻或外翻方位或预定胫骨斜度(predetermined tibialslope)或植入体组件的预定股骨屈曲或预定腿长度引导骨切割。
本发明的各方面涉及准备用于患者体内的假体的关节的方法。在一些实施方案中，该方法包括将外科医生或外科助理佩戴的一个或多个光学头戴式显示器在坐标系中配准，从患者的物理关节获得一个或多个术中测值以确定一个或多个术中坐标，在坐标系中配准来自患者的物理关节的一个或多个术中坐标，生成虚拟手术导板，基于一个或多个术中测值确定虚拟手术导板的预定位置和/或定向，使用一个或多个光学头戴式显示器，至少部分基于虚拟手术导板的预定位置的坐标将虚拟手术导板显示和迭加到物理关节上，并将物理手术导板或物理锯片对准虚拟手术导板，用于引导关节的骨切割。
在一些实施方案中，一个或多个光学头戴式显示器被配准在共同坐标系中。在一些实施方案中，共同坐标系是共享的坐标系。
在一些实施方案中，虚拟手术导板用于引导膝关节置换，髋关节置换，肩关节置换或踝关节置换中的骨切割。
在一些实施方案中，虚拟手术导板的预定位置确定用于在膝关节置换中植入一个或多个胫骨植入体组件的胫骨斜度。在一些实施方案中，虚拟手术导板的预定位置确定膝关节置换中的股骨和/或胫骨组件的内翻或外翻矫正角度。
在一些实施方案中，虚拟手术导板对应于物理远端股骨导板或切割块，并且，虚拟手术导板的预定位置确定股骨组件屈曲。
在一些实施方案中，虚拟手术导板对应于物理前部或后部股骨手术导板或切割块，并且虚拟手术导板的预定位置确定股骨组件旋转。
在一些实施方案中，虚拟手术导板对应于物理倒角股骨导板(physical chamferfemoral guide)或切割块。
在一些实施方案中，虚拟手术导板对应于物理多切割股骨导板(physical multi-cut femoral guide)或切割块，并且虚拟手术导板的预定位置确定前部切割，后部切割，倒角切割和股骨组件旋转中的一个或多个。
在一些实施方案中，虚拟手术导板用于髋关节置换，并且虚拟手术导板的预定位置确定植入后的腿长度。
在一些实施方案中，虚拟手术导板是用于对准物理锯片以引导关节骨切割的虚拟平面。
在一些实施方案中，一个或多个术中测值包括检测附接到患者关节，手术台，手术室中的固定结构或其组合的一个或多个光学标记。在一些实施方案中，光学头戴式显示器中的一个或多个摄像头或图像捕获或视频捕获系统检测包括其坐标(x，y，z)的一个或多个光学标记及一个或多个光学标记的位置和定向，对准，移动方向或移动速度中的至少一个或多个。
在一些实施方案中，可以使用空间映射技术来执行一个或多个光学头戴式显示器，手术部位，关节，脊柱，手术器械或植入体组件的配准。
在一些实施方案中，可以使用深度传感器来执行一个或多个光学头戴式显示器，手术部位，关节，脊柱，手术器械或植入体组件的配准。
在一些实施方案中，虚拟手术导板用于在踝关节置换中引导远端胫骨或距骨的骨切割，并且一个或多个光学头戴式显示器用于基于预定胫骨或距骨植入体组件对准来对准虚拟手术导板，其中预定胫骨或距骨植入体组件对准包括植入体组件的冠状面植入体组件对准，矢状面植入体组件对准，轴向平面组件对准，植入体组件旋转或其组合。
在一些实施方案中，虚拟手术导板用于在肩关节置换中引导近端肱骨的骨切割，并且其中一个或多个光学头戴式显示器用于基于预定的肱骨植入体组件对准来对准虚拟手术导板，其中肱骨植入体组件对准包括冠状面植入体组件对准，矢状面植入体组件对准，轴向平面组件对准，肱骨植入体组件旋转或其组合。
本发明的各方面涉及一种系统，其包括至少一个光学头戴式显示器和植入体虚拟库，其中植入体虚拟库包括至少一个虚拟植入体组件，其中虚拟植入体组件具有至少一个维度，所述至少一个尺寸对应于植入体组件尺寸或具有与植入体组件的尺寸基本相同的尺寸，其中至少一个光学头戴式显示器被配置成显示与旨在放置植入体组件的组织基本对准的虚拟植入体组件，其中虚拟植入体组件的放置旨在实现预定植入体组件位置和/或定向。
附图说明
从以下附图的详细说明中，将更清楚地理解说明性的非限制性实例的实施方案。
图1说明了多个光学头戴式显示器用于多位观察者的情况，比如，依据本发明的某些实施例的主要外科医生，第二外科医生，外科手术助理和/或护士。
图2说明了依据本发明的某些实施例，分割和选择后续步骤的工作流程。
图3说明了依据本发明的某些实施例，为初始外科手术步骤配准数字全息图，执行外科手术步骤并重新配准一个或多个数字全息图以用于后续外科手术步骤。
图4A，B和c是依据本发明的某些实施例，髋部和股骨颈切割平面中的任意虚拟平面实例。
图5是说明依据本发明的某些实施例，膝盖中延伸通过内侧和外侧关节空间的膝盖中的任意虚拟平面的实例。
图6是依据本发明的某些实施例，解决由外科手术步骤引起的变化与患者虚拟数据的预期，预计或预定变化之间的误差的不同方法的说明性流程图。
图7A-H是说明依据本发明的某些实施例，股骨颈切割和矫正股骨颈切割技术的实例。
图7A-H是说明依据本发明的某些实施例，股骨颈切割和矫正股骨颈切割技术的实例。
图8A-H是说明依据本发明的某些实施例，远端股骨切割和矫正远端股骨切割技术的实例。
图9A-G是说明依据本发明的某些实施例，远端股骨切割和矫正远端股骨切割技术的实例。
图10A-G是说明依据本发明的某些实施例，远端股骨切割和近端胫骨切割以及校正切割技术的实例。
图11是依据本发明的某些实施例，说明如何使用诸如术中测值(intra-operativemeasurement)等术中数据生成虚拟手术计划的实例，所述术中测值比如为，利用一个或多个摄像头和集成到光学头戴式显示器，附接到光学头戴式显示器或与光学头戴式显示器分离的图像捕获系统或视频捕获系统获得的测值。
图12是依据本发明的某些实施例，用于生成虚拟手术计划的示例性工作流程。
图13的示例说明了如何使用术中数据修改虚拟手术计划，比如，依据本发明的某些实施例的术中测值。
图14的实例说明了依据本发明的某些实施例，在外科手术期间如何比如通过第一外科医生，第二外科医生，外科手术助理和/或一个或多个护士使用多个光学头戴式显示器，以及如何在使用多个光学头戴式显示器的手术期间修改和显示手术计划，同时，为各手术者保留虚拟数据和相应实时数据的正确透视图。
图15的实例说明如何使用或应用二维转三维变形数据。
图16A和B是概述一个或多个光学头戴式显示器的模型生成，配准和视图投影的流程图，比如，依据本发明的某些实施例，用于主要外科医生，第二外科医生，外科手术助理护士或其他人。
图17A-D是依据本发明的某些实施例，用于在混合现实环境中执行脊柱手术时选择方案和方法的说明性流程图。
图18A-F的实例说明依据本发明的某些实施例，如何使用一个或多个光学头戴式显示器显示虚拟髋臼扩孔轴并且将物理髋臼扩孔器与虚拟扩孔轴对准，用于放置具有预定杯角，偏移，内侧或外侧位置和/或前倾角的髋臼杯。
图19A-D的非限制性说明示例说明，依据本发明的某些实施例，如何使用虚拟手术导板(比如，由光学头戴式显示器显示的远端股骨切割块)和物理手术导板(比如，用于膝关节置换的物理远端股骨切割块)。
图20A-C的非限制性说明示例说明，依据本发明的某些实施例，如何使用虚拟手术导板(比如，由光学头戴式显示器显示的正位(AP)股骨切割块)和物理手术导板(比如，用于膝关节置换的物理正位切割块(AP cutblock))。
图21A-F的非限制性说明示例说明如何使用虚拟手术导板(比如，由光学头戴式显示器显示的虚拟近端胫骨切割导板)和物理手术导板(比如，依据本发明的某些实施例的物理近端胫骨切割导板)。
图22A和B的正位和侧视图说明了包括前内侧和后外侧纤维的示例性正常前交叉韧带(ACL)。
图22C和D的正位和侧视图说明了股骨侧和胫骨侧上的示例性前交叉韧带隧道(直实线)。
图22E和F的正位和侧视图说明了，依据本发明的某些实施例，股骨侧和胫骨侧(直虚线)上的示例性虚拟前交叉韧带隧道。
图22G和H的正位和侧视图说明了，依据本发明的某些实施例，在股骨侧和胫骨侧上延伸穿过股骨和胫骨之间的关节间空间(直实线)的示例性虚拟前交叉韧带移植物。
图23的说明性非限制性流程图说明了，依据本发明的某些实施例，用于规划一个或多个股骨或胫骨隧道的定位，位置，方位，对准和/或方向(比如，用于单束或双束技术)或用于放置前交叉韧带移植物的不同方法。
具体实施方式
在下文中将参考附图更全面地描述各种示例方案，附图中说明了一些示例方案。然而，本发明构思可以以许多不同的形式实施，并且不应该被解释为限于这里阐述的示例方案。相反，提供这些示例方案是为了使本公开彻底和完整，并且将本发明构思的范围完全传达给本领域技术人员。在附图中，为了清楚起见，可放大各层和各区域的尺寸和相对尺寸。相同标记始终表示相同要素。
如本文所用术语“患者实时数据”包括，外科医生或观察者的眼睛看到的患者的手术部位，解剖结构，解剖结构或组织和/或病理学，病理结构或组织，没有来自虚拟数据的信息，虚拟数据或影像学检查的立体视图。术语“患者实时数据”不包括，只能在计算机监视器或光学头戴式显示器的帮助下才能看到的内部或表面下的组织或结构或隐藏的组织或结构。
术语“真实手术器械”，“实际手术器械”，“物理手术器械”和“手术器械”在整个申请中可互换使用；术语“真实手术器械”，“实际手术器械”，“物理手术器械”和“手术器械”不包括虚拟手术器械。比如，物理手术器械可以是由制造商或供货商提供的用于脊柱外科手术，椎弓根螺钉固定，前路脊柱融合术，膝关节置换术，髋关节置换术，踝关节置换术和/或肩部置换术的手术器械；比如，物理手术器械可以是切块，导向杆，锥子，铰刀，撞击器，髓针。物理手术器械可以是可重复所用或一次性所用或其组合。物理手术器械可以是患者特定的。术语“虚拟手术器械”不包括真实手术器械，实际手术器械，物理手术器械和手术器械。
真实手术工具，实际手术工具，物理手术工具和手术工具等术语在整个申请中可互换使用；真实手术工具，实际手术工具，物理手术工具和手术工具等术语不包括虚拟手术工具。物理手术工具可以是制造商或供货商提供的手术工具。比如，物理手术工具可以是钉，钻，锯片，牵开器，用于分离组织的框架以及用于整形外科，神经外科，泌尿外科或心血管外科手术的其他工具。术语虚拟手术工具不包括真实手术工具，实际手术工具，物理手术工具和手术工具。
真实植入体或植入体组件，实际植入体或植入体组件，物理植入体或植入体组件以及植入体或植入体组件等术语在整个申请中可互换使用；实际植入体或植入体组件，实际植入体或植入体组件，物理植入体或植入体组件以及植入体或植入体组件等术语不包括虚拟植入体或植入体组件。物理植入体或植入体组件可以是制造商或供货商提供的植入体或植入体组件。比如，物理外科植入体可以是椎弓根螺钉，脊柱固定杆，脊柱融合器，膝关节置换中的股骨或胫骨组件，髋关节置换中的髋臼杯或股骨柄和头。术语“虚拟植入体”或“植入体组件”不包括真实植入体或植入体组件，实际植入体或植入体组件，物理植入体或植入体组件以及植入体或植入体组件。
利用手术导航，可以在计算机监视器上显示第一虚拟器械，该计算机监视器是用导航标记跟踪的物理器械的图像，比如，红外或射频标记，并且，第一虚拟器械的位置和/或方向可以与虚拟手术计划中生成的相应第二虚拟器械的位置和/或方向进行比较。因此，通过手术导航，比较第一和第二虚拟器械的位置和/或方向。
本发明的各方面涉及使用头戴式显示设备在混合现实环境中定位虚拟路径，虚拟平面，虚拟工具，虚拟手术器械或虚拟植入体组件的装置，系统和方法，头戴式显示设备可选地耦合到一个或多个处理单元。
在混合现实环境中指导下，可以将虚拟手术导板，工具，器械或植入体迭加到物理关节，脊柱或手术部位上。此外，物理导板，工具，器械或植入体可对准光学头戴式显示器显示或投射的虚拟手术导板，工具，器械或植入体。因此，混合现实环境中的指导不需要使用导板，工具，器械或植入体的多个虚拟图像，并且不需要比较虚拟导板，工具，器械或植入体的多个虚拟图像的位置和/或方向。
在各种实施方案中，光学头戴式显示器可以显示一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的估计或预定的非可视化部分。
可以使用诸如术前影像学检查，术前数据，术前测值，术中影像学检查，术中数据和/或术中测值，来预定手术器械或工具的位置，定位，定向，对准，方向，移动速度，施加的力，或虚拟的或物理的。
可以使用诸如术前影像学检查，手术数据，术前测值，术中影像学检查，术中数据和/或术中测值预先确定任何位置，定位，方向，对准，矢状平面对准，冠状面对准，轴向平面对准，旋转，植入斜度，植入角度，植入体组件的屈曲，偏移，前倾，后倾；相对于一个或多个解剖标志的位置，定位，方向，校准；相对于一个或多个解剖学平面的位置，定位，方向，校准；相对于一个或多个解剖轴线的位置，定位，方向，校准；相对于一个或多个生物力学轴的位置，定位，方向，校准；相对于试验植入体，植入体组件或植入体的机械轴，虚拟和/或物理的，的位置，定位，方向，校准。术中测值可包括用于配准目的的测量，比如，关节，脊柱，手术部位，骨骼，软骨，光学头戴式显示器，手术工具或器械，试验植入体，植入体组件或植入体。
在一些实施方案中，可以使用多个坐标系代替共同或共享坐标系。在该情况下，可以将坐标从一个坐标系变换为另一个坐标系，比如，用于配准光学头戴式显示器，患者实时数据，包括手术部位，虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
光学头戴式显示器
在本发明的一些实施方案中，使用一副眼镜。眼镜可包括光学头戴式显示器。光学头戴式显示器(OHMD)可以是可穿戴显示器，其具有反射投影图像以及允许用户透视的能力。可以使用各种类型的光学头戴式显示器来实施本发明。这些包括曲面镜或曲面组合器光学头戴式显示器以及波导光学头戴式显示器或光导光学头戴式显示器。光学头戴式显示器可以选择使用衍射光学，全息光学，偏振光学和反射光学。
可与光学头戴式显示器一起所用传统输入设备包括但不限于，触摸板或按钮，智能手机控制器，语音识别和手势识别。可有高级接口，比如，脑机界面。
可选的，计算机或服务器或工作站可以将数据发送到光学头戴式显示器。数据传输可以通过电缆，蓝牙，WiFi，光信号和本领域已知的任何其他方法或数据传输模式进行。光学头戴式显示器可以显示虚拟数据，比如，患者虚拟数据，其为未压缩形式或压缩形式。当传输到光学头戴式显示器或由光学头戴式显示器显示时，患者虚拟数据可以选择性降低分辨率。
当虚拟数据传输到光学头戴式显示器时，它们可以在传输期间以压缩形式存在。然后，光学头戴式显示器可以选择对它们进行解压缩，以便光学头戴式显示器显示未压缩的虚拟数据。
或者，当虚拟数据被发送到光学头戴式显示器时，它们在传输期间可以降低分辨率，比如，通过在传输之前增加图像数据的层厚。然后，光学头戴式显示器可以选择性地增加分辨率，比如，通过重新插值到图像数据的原始层厚或甚至更薄层厚，使得虚拟数据的分辨率等于或大于原始虚拟数据或者至少比光学头戴式显示器显示的传输数据分辨率更高。
在一些实施方案中，光学头戴式显示器可以将数据发送回计算机，服务器或工作站。此类数据可包括但不限于：
-有关光学头戴式显示器的或佩戴光学头戴式显示器手术者或外科医生的位置，定位或方向信息
-光学头戴式显示器的位置，定位或方向的变化
-由一个或多个惯性测量单元(IMU)生成的数据
-(射频，光学，光，其他)连接到，集成到或耦合到光学头戴式显示器的标记物的数据
-由连接到光学头戴式显示器，与光学头戴式显示器集成或耦合的手术导航系统生成的数据
-由连接到光学头戴式显示器，与光学头戴式显示器集成或耦合到光学头戴式显示器的图像和/或视频捕获系统生成的数据
-视差数据，比如，使用连接到光学头戴式显示器，与光学头戴式显示器集成或耦合到光学头戴式显示器的两个或更多个图像和/或视频捕获系统，比如，第一个图像和/或视频捕获系统位于左眼上方或下方或附近，第二个位于右眼上方或下方或附近
-距离数据，比如，由两个或多个图像和/或视频捕获系统生成的视差数据，评估光学头戴式显示器与手术野或对象之间的距离变化
-运动视差数据
-与校准或配准体模相关的数据(参见本说明书的其他章节)
-由光学头戴式显示器捕获的患者的任何类型的实时数据，包括连接，集成或耦合到光学头戴式显示器的图像和/或视频捕获系统
○比如，改变现场手术部位
○比如，使用由图像和/或视频捕获系统检测到的某些手术器械
○比如，使用由图像和/或视频捕获系统检测到的某些医疗设备或试验植入体
-对手术计划的任何类型的修改
○部分或多方面的现场手术计划
○部分或多方面的虚拟手术计划
在整个实施方案中所用射频标签可以是有源或无源类型，有或没有电池。
示例性光学头戴式显示器包括来自ODG(Osterhout Group，San Francisco，CA)的ODG R-7，R-8和R-8智能眼镜，NVIDIA 9423-D视觉无线眼镜(NVIDIA，Santa Clara， CA)和微软全息眼镜(微软，Redmond，WI)。
微软全息眼镜由微软制造。它是一副增强型现实智能眼镜。微软全息眼镜可以使用 Windows 10操作系统。微软全息眼镜的前部包括传感器，相关硬件，几个摄像头和处理器。面罩包括一对透明的合束透镜，用于显示投影图像。可以使用识别手势的集成程序为瞳距(IPD)调整微软全息眼镜。还集成了一对扬声器。扬声器不排除外部声音并允许用户听到虚拟声音。集成一个USB 2.0micro-B插座还有A3.5毫米耳机插座。
微软全息眼镜有带加速计，陀螺仪和一个磁力计的惯性测量装置(IMU)，四个环境映射传感器/摄像头(每侧两个)，一个具有120°×120°视角的深度摄像头，一个240万像素的摄影摄像机，一个四麦克风数组和一个环境光传感器。
微软全息眼镜有Intel Cherry Trail SoC包含CPU和GPU。微软全息眼镜还包括一个定制的微软全息处理单元(HPU)。SoC和HPU各有1GB LPDDR3并共享8MB SRAM，SoC 还控制64GB eMMC并运行Windows 10操作系统。HPU处理和集成来自传感器的数据，以及处理空间映射，手势识别，和语音和语言识别等任务。微软全息眼镜包括IEEE 802.11ac Wi-FiandBluetooth 4.1低能量(LE)无线连接。耳机使用Bluetooth LE，可以连接到 Clicker，其为手指操作输入设备，可用于选择菜单和功能。
许多应用程序可用于微软全息眼镜，比如，全息图目录，HoloStudio，具微软三维打印功能的三维建模应用程序，Autodesk Maya三维创建应用程序，FreeForm，将微软全息眼镜与AutodeskFusion 360基于云的三维开发应用程序及其他。
使用HPu的微软全息眼镜可以使用感性和自然的接口命令-语音，手势和手势。凝视命令，比如，头部跟踪，可让用户促使应用程序关注用户感知的任何内容。可以使用空中敲击方法选择任何虚拟应用程序或按钮，类似于单击虚拟计算机鼠标。可以保持敲击模拟拖动，移动显示器。也可以使用语音命令。
微软全息眼镜外壳采用了Windows桌面环境中的许多组件或概念。用于打开主菜单的绽放手势(bloom gesture)通过打开一只手来实现，手掌朝上且手指伸展。Windows可以拖动到特定位置，锁定和/或重设大小。虚拟窗口或菜单可以固定在多处位置或多个物理对象上。虚拟窗口或菜单可以与用户一起移动，或者可以与用户关联固定。或者，可以在用户移动时跟随用户。
开发人员可以使用Windows 10 PC和Windows 10 Mobile设备的微软全息眼镜应用，来运行应用程序，并从微软全息眼镜用户的角度查看实时流，以及捕获增强后的现实照片和视频。
几乎所有通用Windows平台应用都可以在微软全息眼镜上运行。这些应用程序可以二维投影。微软全息眼镜目前支持选择Windows 10 APIs。微软全息眼镜应用程序也可以在Windows 10 PC上开发。全息应用程序可以使用Windows Holographic APIs。Unity和Vuforia是可以使用的应用程序。也可以使用DirectX和Windows API's开发应用程序。
计算机图像观察途径
在本发明的一些实施方案中，光学头戴式显示器使用计算机图像查看途径，其包括以下步骤以显示位于三维空间中的三维对象或二维对象或其他计算机生成的对象和模型。
图16B：
1.配准
2.查看投影
配准：
光学头戴式显示器计算机图像系统要显示的不同对象(比如，虚拟解剖模型，器械虚拟模型，几何和外科参照和导板)最初都在各自独立的模型坐标系中定义。在配准过程中，定义不同对象之间的空间关系，并将每一对象从其各自模型坐标系转换为通用总体坐标系统。如下所述的不同技术可以应用于配准过程。
对于将计算机生成的对象与物理环境的实时视图迭加的增强现实光学头戴式显示器，总体坐标系统由环境定义。如下所述的称为空间映射的程序创建环境计算机图像，该环境允许与计算机生成的对象合并和配准，从而定义计算机生成的对象与物理环境之间的空间关系。
查看投影：
一旦要显示的所有对象都已被配准并转换成同一总体坐标系，通过将显示对象的坐标从总体坐标系转换为视图坐标系，并随后将它们投影到显示平面上来，准备在显示器上查看。此视图投影步骤使用视点和视图方向来定义此步骤中应用的转换。对于诸如光学头戴式显示器的立体显示器，可以使用两个不同的视图投影，一个用于左眼，另一个用于右眼。对于增强现实光学头戴式显示器，可以知道相对于物理环境的视点和视图方向的位置，以便将计算机生成的对象与物理环境正确地迭加。当视点和视图方向改变时，比如，由于头部移动，视图投影被更新，使得计算机生成的显示器跟随新视图变化。
眼球跟踪系统
本发明提供了使用人眼的方法，包括眼睛运动和眼睑运动以及由眼眶周围肌肉引起的运动，以执行计算机命令。本发明还提供了通过面部运动和头部运动来执行计算机命令的方法。
由眼球运动和眼睑运动引起的命令执行以及由眼眶周围肌肉引起的运动，面部运动和头部运动，在手术者无法用手敲击键盘或执行触摸板或其他手持计算机接口上的命令的环境中最有优势。这些情况包括但不限于工业应用，具体包括汽车和飞机制造，芯片制造，医疗或外科手术以及许多其他潜在应用。
在一些实施方案中，光学头戴式显示器可包括眼睛跟踪系统。可以使用不同类型的眼睛跟踪系统。以下提供的实施方案决不会被认为是对本发明的限制。现在可以使用本领域已知的任何眼睛跟踪系统。
眼睛运动可以分为固视和扫视-即分别为当眼睛暂时注视某个位置时，以及当它移动到另一个位置时。得到的一系列固视和扫视可以定义为扫描路径。视角的中心一度或两度提供大部分视觉信息；来自外围的输入信息量较少。因此，沿扫描路径的固视位置说明了在眼睛跟踪会话期间处理的信息位置，比如，在外科手术期间。
眼睛跟踪器可以以多种方式测量眼睛的旋转或移动，比如，通过测量附着到眼睛的物体(比如，隐形眼镜的形式)的运动，不直接接触眼睛的光学跟踪，以及测量放置在眼睛周围电极的电位。
如果使用眼睛附着物，则可以是诸如具有嵌入式镜子或磁场传感器的特殊隐形眼镜。附着物的运动可以在假设眼睛旋转时不会明显滑动的情况下进行测量。测量紧密配戴的隐形眼镜，可以提供非常准确的眼球运动测值。另外，可以利用磁探察线圈，测量眼睛的水平，垂直和扭转等方向的运动。
或者，可以使用测量眼睛运动的非接触光学方法。眼睛可以反射光，可选红外线；利用这种技术，并且可以通过光学传感器或摄像机来感测。然后，测量信息，以从反射的变化中推断眼睛的旋转和/或移动。光学传感器或基于视频的眼睛跟踪器可以使用角膜反射(所谓的第一浦肯野(Purkinje)图像)和瞳孔中心作为跟踪特征，可选随着时间而变化。一种更敏感的眼动仪，双浦肯野眼动仪，使用来自角膜前部(第一浦肯野图像)和镜片背面(第四浦肯野图像)的反射作为追踪特征。更敏感的跟踪方法是从眼睛内部对视觉特征(如视网膜血管)进行成像，并在眼睛旋转和/或移动时跟踪这些特征。光学方法，特别是基于光学传感器或视频配准的方法，可用于凝视跟踪。
在一些实施方案中，可以使用基于光学或视频的眼睛跟踪器。当观察者执行诸如外科手术的功能时，摄像头聚焦在一只或两只眼睛上并跟踪它们的运动。眼动仪可以使用瞳孔的中心进行跟踪。可以利用红外或近红外非准直光来产生角膜反射。瞳孔中心和角膜反射之间的向量可用于计算表面或凝视方向上的关注点。可选在眼睛跟踪开始时执行校准程序。
可以采用亮瞳孔和暗瞳孔跟踪。它们的区别在于照明源相对于光学器件的位置。如果光照相对于光路是同轴的，则眼睛的作用是逆向反射的，因为光从视网膜反射，产生类似于红眼的明亮瞳孔效果。如果光照源偏离光路，则瞳孔看起来很暗，因为来自视网膜的后向反射远离光学传感器或摄像头。
亮瞳孔跟踪可以获得更大的虹膜/瞳孔对比度，用虹膜色素沉着跟踪眼睛更可靠。还可以减少睫毛造成的干扰。可以在黑暗和非常明亮的照明条件下进行跟踪。
如上所述，光学跟踪方法可以包括跟踪瞳孔在内的眼睛运动。光学跟踪方法还可以包括跟踪眼睑以及眶周和面部肌肉的运动。
在一些实施方案中，眼睛跟踪设备集成在光学头戴式显示器中。在一些实施方案中，可以同时跟踪头部运动，比如，使用由加速度计和陀螺仪组合形成的惯性测量单元 (见下文)。
在一些实施方案中，可以利用放置在眼睛周围的电极来测量电势。眼睛产生电势场，如果眼睛闭合也可以检测到。可以将电势场建模为由偶极子产生，其中在角膜处为正极并且在视网膜处为负极。可以通过在眼睛周围的皮肤上放置两个电极来测量。以这种方式测量的电位称为眼电图。
如果眼睛从中心位置向外围移动，则视网膜接近一个电极，而角膜接近相对电极。偶极子的方向变化和随之的电势场变化，会导致测量眼电信号的变化。通过分析这些变化，可以评估眼球运动。可以识别两个单独的运动方向，水平和垂直。如果使用后颅骨电极，则可以测量径向方向上的眼电图(EOG)分量。通常参考后颅骨电极的眼电图通道的平均值。径向眼电图通道可以测量在眼跳开始时源自眼外肌肉的扫视峰电位。
可以限制眼电图用于测量慢眼运动和检测凝视方向。然而，眼电图非常适合测量与凝视移位相关的快速或扫视眼球运动和检测眨眼。与基于光学或视频的眼动仪不同，眼电图即使闭着眼睛也可以配准眼球运动。与光学或视频跟踪器相比，眼电图的主要缺点是其相对较差的注视方向精度。可选地，光学或视频跟踪和眼电图两种方法，可以在本发明的选定实施方案中结合使用。
可以使用15,20,25,30,50,60,100,120,240,250,500,1000Hz或更高的采样率。任何采样频率都可能。在许多实施方案中，优选大于30Hz的采样率。
测量位置，方向，加速度
人体头部，人体各部位(比如，手，手臂，腿或脚)，以及患者身体各部位(比如，患者的头部或四肢，包括髋部，膝部，踝部，足部，肩部，肘部，手部或手腕)，以及任何其他身体部位的位置，方向和加速度，可以通过结合使用陀螺仪和加速度计来测量。在所选应用中，也可以使用磁力计。利用这些组件构件中的任何一个的这种测量系统可以被定义为惯性测量单元(IMU)。
如本文所用，术语惯性测量单元与结合使用加速度计和陀螺仪，以及可选的磁力计，测量和传输关于身体特定力，角速率以及可选地围绕身体的磁场等信息的电子设备有关。惯性测量单元或其组件可以与导航系统或机器人耦合或配准，比如，通过在共享坐标系内配准身体或身体各部位。可选地，惯性测量单元可以是无线的，比如，使用WiFi网络或蓝牙网络。
在空间区域上扩展的成对加速度计可用于检测与这些点相关联的参照系的适当加速度的差异(梯度)。
单轴和多轴加速度计模型可用于检测加速度的大小和方向，作为向量，并可用于检测方向(因为重量方向变化)，坐标加速度(只要它产生重力或重力的变化)，振动，冲击。在一些实施方案中，可以利用微机械加速度计来检测设备或手术者头部的位置。
压电，压阻和电容器件可用于将机械运动转换为电信号。压电加速度计依赖于压电陶瓷，或也可以使用单晶压阻加速度计。电容式加速度计通常使用硅微机械传感组件。
在一些实施方案中，所用加速度计可以包括小型微机电系统(MEMS)，包括诸如具有检测质量的悬臂梁。
可选地，加速度计可以集成在光学头戴式设备中，并且来自眼睛跟踪系统和加速度计的输出都可以用于命令执行。
通过惯性测量单元，可以捕获关于手术者和患者以及各个身体部位的以下示例性信息：速率，速度，加速度，空间地点，位置变化，对准，方向和/或运动方向(比如，通过连续测量)
利用惯性测量单元传输此类信息的手术者和/或患者的身体部位包括但不限于：头部，胸部，躯干，肩，肘，腕，手，手指，手臂，髋，膝，踝，脚，脚趾，腿，内部器官，如脑，心，肺，肝，脾，肠，膀胱等。
可以将任意数量的惯性测量单元放置在光学头戴式显示器、手术者和/或患者上，并且可选地，这些惯性测量单元可以在单个或多个坐标系统中相互参照，或者，可选地，它们可以关联光学头戴式显示器、第二和第三或更多光学头戴式显示器，导航系统或机器人以及由这种导航系统和/或机器人所用一个或多个坐标系统相互参照。导航系统可以与光学头戴式显示器结合使用而无需使用惯性测量单元。比如，包括红外标记，逆向反射标记，射频标记的导航标记可以附着到光学头戴式显示器，并且可选地，附着到患者或患者解剖结构的各部位或体节。光学头戴式显示器和患者或患者的解剖结构可以以这种方式互相参照或者在导航系统所用一个或多个坐标系中配准，并且光学头戴式显示器的运动或佩戴光学头戴式显示器的手术者可以在一个或多个坐标系内，关联患者进行配准。一旦患者和光学头戴式显示器的虚拟数据和实时数据被配准在同一坐标系中，比如，使用惯性测量单元，光学标记，导航标记，包括红外标记，逆向反射标记，射频标记，以及说明书中描述的或本领域已知的任何其他配准方法，以这种方式测量的关联患者的光学头戴式显示器位置的任何变化，可以用于改变患者虚拟数据与患者实时数据之间的关系，从而患者虚拟数据的视觉图像和通过光学头戴式显示器看到的患者实时数据，不论光学头戴式显示器和/ 或手术者的头部和/或佩戴光学头戴式显示器的手术者如何移动，都始终对准。同样的，当使用多个光学头戴式显示器时，比如，一个用于主要外科医生和另外几个，比如，两个，三个，四个或更多，用于其他外科医生，助理，住院医师，研究员，护士和/或访客，其他工作人员而非主要外科医生佩戴的光学头戴式显示器，也将显示患者虚拟数据的虚拟图像，虚拟图像与通过光学头戴式显示器看到的患者的相应实时数据一致，其中患者和/或手术部位的虚拟数据的透视图用于使用光学头戴式显示器的观察者和各观察者眼睛的定位，位置和/或方向。可以实现前述实施方案，因为放置在手术者和/或患者身上的惯性测量单元，光学标记，射频标记，红外标记和/或导航标记以及任何空间定位，都可以在主要光学头戴式显示器和任何其他光学头戴式显示器的同一坐标系中配准。可以单独监测其余光学头戴式显示器的患者和/或手术部位的位置，方向，准直以及位置，方向和对准的变化，从而对准和/或迭加额外光学头戴式显示器的患者实时数据和患者虚拟数据的对应结构，而不管患者和/或手术部位的位置，方向和/或准直为何。
参考图1，系统10用于多位观察者使用多个光学头戴式显示器11，12，13，14，比如，显示主要外科医生，第二外科医生，外科助手和/或护士。多个光学头戴式显示器可以使用解剖结构，解剖标志，校准体模(phantom)，参考体模，光学标记，导航标记和/或空间锚点点配准在共同坐标系统15中，比如，像微软全息眼镜所用空间锚点。患者的术前数据16也可以在共同坐标系15中配准。比如，使用一个或多个惯性测量单元，光学标记，导航标记，图像或视频捕获系统和/或空间锚点可以测量患者实时数据18，比如，来自手术部位的，脊柱，(可选具有微创通路的)，髋关节切开术部位，膝关节切开术部位，骨切割，改变表面。患者实时数据18可以在共同坐标系15中配准。可以在共同坐标系15中配准术中影像学检查结果20。或参考，比如，使用比如，光学标记惯性测量单元，导航标记或空间映射22，手术室桌或房间固定装置可在共同坐标系15中配准。术前数据16或包括术中测值的实时数据18或其组合可用于产生，生成或修改虚拟手术计划 24。虚拟手术计划24可以在共同坐标系15中配准。光学头戴式显示器11，12，13，14可以使用左眼26的视图位置和方向将虚拟数据或虚拟数据的数字全息图投影到左眼视图中，并且可以使用用户右眼28的视图位置和方向将虚拟数据或虚拟数据的数字全息图投影到右眼视图中，从而产生共享的数字全息体验30。使用虚拟或其他接口，佩戴光学头戴式显示器111的外科医生可以执行命令32，比如，显示下一预定的骨切割，比如，来自虚拟手术计划或影像学检查或术中测值，其可以触发光学头戴式显示器11，12，13，14将下一手术步骤34的迭加到手术部位上并与手术部位对准的数字全息图投影到预定位置/或方向。
通过配准患者实时数据，比如，手术野，患者虚拟数据以及同一共享坐标系统中的每一光学头戴式显示器，他们从各自的视角利用各光学头戴式显示器，可以将患者虚拟数据投影迭加到各观察者的患者实时数据上。因此，包括虚拟手术计划各方面的患者虚拟数据可以保持与患者实时数据迭加和/或对准，而不管观察者的视角如何，并且当观察者移动头或身体时，可以保持准直和/或迭加。
新颖的用户接口
本发明的一个主题是提供新颖用户接口，其中人眼，包括眼球运动，和眼睑运动，包括由眼眶和眼眶周围和选定颅骨肌肉引起的运动，由眼睛跟踪系统检测并被处理以执行预定义，可操作的计算机命令。
表1中提供了可由系统检测的眼睛运动和眼睑运动的示例性列表。
表1：眼睛跟踪软件检测到的眼睛运动和眼睑运动的示例性列表
○1次眨眼
○2次眨眼
○3次眨眼
○快速眨眼，比如，小于0.5秒
○慢速眨眼，比如，超过1.0秒
○快速时间间隔的2个或更多个眨眼，比如，不到1秒
○长时间间隔的2次或更多次眨眼，比如，超过2秒(通常选择小于眨眼之间的自然时间间隔)
○只眨左眼
○只眨右眼
○同时眨左眼和右眼
○首先眨左眼，然后在短时间间隔内(比如，小于1秒)，右眼眨眼
○首先眨右眼，然后在短时间间隔内(比如，小于1秒)，左眼眨眼
○首先左眼眨眼，然后在长时间间隔内(比如，超过2秒)，右眼眨眼
○首先眨右眼，然后在长时间间隔内(比如，超过2秒)，左眼眨眼
○眼球快速向左移动
○眼球快速向右移动
○眼球快速向上移动
○眼球快速向下移动
○睁大眼睛，保持短时间间隔，比如，不到1秒
○睁大眼睛，保持很长时间间隔，比如，超过2秒
○闭合双眼1秒钟
○闭合双眼2秒钟或更长时间
○闭合双眼，保持，然后打开并快速眨眼
○闭合左眼仅1秒，2秒
○闭合右眼仅1秒，2秒
○闭合左眼，然后右眼
○闭合右眼，然后左眼
○眨左眼，然后右眼
○眨右眼，然后左眼
○盯着现场，虚拟按钮1秒，2秒，3秒或更长时间；启动功能，比如，放大或缩小
眨眼，眼球运动，序列和时间间隔的任何组合都可用于编码各种类型的命令。这些命令，比如，可以是指导或操纵手术器械或机器人的计算机命令。
本发明还提供了通过面部运动和头部运动来执行命令的方法。
表2中提供了可由系统检测的面部运动和头部运动的示例性列表。(这个列表只是一个范例，绝不是详尽无遗的；任何数量或组合的运动都是可能的)。
表2：检测到面部动作和头部动作的示例性列表：
○将头快速向右移动并保持
○将头快速向左移动并保持
○将头快速向下移动并保持
○将头快速向下移动并保持
○将头快速向右和向后移动
○将头快速向左和向后移动
○将头快速向下和向后移动
○将头快速向下和向后移动
○将头向左倾斜并保持
○将头向右倾斜并保持
○将头向左和向后倾斜
○将头向右和向后倾斜
○张开嘴并保持
○张开嘴并闭合
○拧鼻子一次
○拧鼻子两次
表3中列出了使用眼睛运动，眼睑运动，面部运动和头部运动执行的示例性命令。
表3：可以通过跟踪眼睛运动，眼睑运动，面部运动和头部运动来执行的示例性命令行表(该列表仅是示例，并且绝不意味着穷举；任何数量或组合的命令都是可能的；特殊用途的命令可以也以这种方式执行)。
○点击
○指向
○移动指针
■慢
■快
○滚动，比如，通过图像
■快速滚动
■慢速滚动
○向上滚动
○向下滚动
○向左滚动
○向右滚动
○拖动
○旋动
○配准
○二维和三维切换
○切换影像学检查
○迭加图像
○融合图像
○配准图像
○剪切
○粘帖
○复制
○撤销
○重做
○删除
○采购
○提供信用卡信息
○授权
○转至购物卡
○光学头戴式显示器打开
○光学头戴式显示器关闭
○眼球跟踪开启
○眼球跟踪关闭
○执行眼睛命令开启
○执行眼睛命令关闭
○执行面部命令开启
○执行面部命令关闭
○开启手术器械(比如，摆锯，激光等)
○关闭手术器械
○增加手术器械的强度，速度，能量
○降低手术器械的强度，速度，能量
○改变手术器械的方向
○改变手术器械的定向
○改变任何类型的设置手术器械
在本发明的一些实施方案中，眼睛运动，眼睑运动，面部运动，头部运动的单独或组合可用作信号数字代码或数字序列或机器操作序列。比如，这种数字序列可用于执行某些机器操作序列。
头部运动控制手术器械的运动
在本发明的一些实施方案中，头部运动可用于控制手术器械。比如，在具有机器人触觉回馈功能的机器人辅助程序中，外科医生可以用手来控制手术器械的方向。外科医生可以向前移动头部。该前向运动由惯性测量单元捕获并且被转换成机械臂的向前运动，该机械臂沿着手术器械的方向控制手术器械。头部向后移动可以由惯性测量单元捕获并且转换为机械臂的向后运动，该机械臂沿着手术器械的方向控制手术器械。
在本发明的一些实施方案中，眼睛运动，眼睑运动，面部运动，头部运动或其组合可用于发出摩尔斯电码信号。国际摩尔斯电码使用一小组标点符号和程序信号作为称为点和线的短信号和长信号的标准化序列，对拉丁字母进行编码。每一字符(字母或数字)由单一序列的点和线表示。线的持续时间是点持续时间的三倍。每一点或线后面都是短暂的静音，等于点持续时间。单词字母由等于三个点(一条线)的空格分隔，并且单词由等于七个点的空格分隔。
使用眼睛命令执行摩尔斯电码的实例如下；这绝不意味着限制。许多不同的实现是可能的。比如，可以使用双眼的快速眨眼(通常小于1秒)来执行点，而可以通过仅闭合右眼(比如，1秒钟)来执行线。穆尔斯电码中的字母A是一个点后跟一条线。使用摩尔斯电码的这种编码，字母A可以用双眼快速眨眼(点)执行，然后闭合右眼仅一秒钟 (线)。字母B(线，三个点)，可以通过闭合右眼仅一秒钟(线)然后双眼三次快速眨眼(三个点)等来执行。比如，可以通过在眼睛命令之间保持两秒或更长的间隔来分离字母。或者，在另一示例中，通过仅闭合左眼大约一秒钟可以分离字母。
二进制代码也可以选择使用眼睛命令执行。比如，双眼的快速眨眼可以表示数字0，而仅右眼闭合约1秒可以表示数字1。或者，仅闭合右眼约一秒可以代表数字0，而仅闭合左眼约一秒可以代表数字1。许多不同类型的编码都是可能的。其他数字也可以使用比如，表1和2中所示的一些眼睛，眼睑，面部和/或头部等运动来执行。
可以以这种方式执行许多不同语言。还可选地还计算机语言，比如，Fortran，Pascal， C，C++，C--，Basic和本领域已知的许多其他计算机语言。
在本发明的一些实施方案中，眼睛，眼睑，面部和头部等运动命令可以与语音命令，手部命令，手势命令，键盘命令，跟踪板命令，鼠标命令，图形用户界面命令和本领域已知的任何其他命令输入设备配对或结合使用。光学头戴式显示器还可选地一个或多个触敏传感器。
在选择环境中，眼睛命令的另一裨益是能够在导航屏幕或执行命令的同时，保持命令的隐私性或机密性。比如，在医院环境中，与附近的其他患者或访客一起，可以利用眼睛命令来查看患者病例或安排实验室测试或其他诊断测试，而旁观者不会知道正在审查这些配准或安排这些测试。
在会议中，光学头戴式显示器的佩戴者可利用眼睛命令打开视频或音频配准功能或传输到远程网站或远程会议室，而不会暴露配准功能已被启动。这与手动启动配准功能完全不同，比如，用户按下光学头戴式显示器上的按钮或触敏传感器以启动配准功能。
在一些实施方案中，用户可以利用眼睛运动，面部运动或头部运动来引导数码摄像头拍摄照片或视频。命令可以包括但不限于，放大，缩小，左右上下移动目标区域，拍照，拍摄照片系列，打开/关闭闪光开始视频录制，停止视频录制，更改分辨率，增加分辨率，降低分辨率。
可以使用基于眼睛运动，面部运动或基于头部运动的命令，以这种方式执行本领域中已知的任何其他摄像头命令。通过利用这种类型的一个或多个命令，用户可以在获得关于周围环境的图像信息的同时保持隐私。
眼睛命令对于外科医生或手术室人员来说非常有用，在不用手的情况下执行命令，藉此会保持无菌状态。
将物理世界与患者的图像和其他数据融合在一起
在本发明的一些实施方案中，诸如外科医生等手术者可以通过光学头戴式显示器观察患者的物理数据或信息，比如，手术部位或在手术部位上引起的变化，同时，预先存在的患者数据被迭加到现场患者的物理视觉图像上。
患者预先存在的数据可以是影像学检查或图像数据或包括代谢信息或功能信息的其他类型的数据。
可以在外科手术时间之外获得预先存在的患者数据，包括一个或多个影像学检查，或包括代谢或功能信息的其他类型的数据。比如，可以在外科手术之前一天，两天，三天或更多天或几周获得预先存在的患者数据。
当与现场患者或现场患者中的手术部位的位置或对象坐标系相比时，包括一个或多个影像学检查的预先存在的患者数据或包括代谢或功能信息的其他类型的数据，通常从位于不同于预先存在的数据的位置或在不同于预先存在的数据的对象坐标系中的患者或手术部位获得。因此，患者或手术部位的预先存在的数据通常位于第一对象坐标系中，并且患者或手术部位的实时数据通常位于第二对象坐标系中；第一和第二目标坐标系通常彼此不同。具有预先存在的数据的第一对象坐标系需要与第二对象坐标系一起配准患者实时数据，比如，现场手术部位。
扫描技术
以下是可以使用或应用于本发明各方面的扫描和成像技术的示例性列表；这份列表并非详尽无遗，只是示范性的。本领域技术人员可以识别可以用于实现该发明的其他扫描或成像技术。
关于这些不同的扫描和成像技术的详细描述，参见比如，Bushberg等人的医学影像的基本物理学，第3版，Wolters，Kluwer，Lippincott，2012。
-X射线成像，二维，三维，仰卧，直立或其他身体姿势和姿态，包括模拟和数字X 射线成像
-数字断层合成
-锥束计算机断层扫描(CT)
-超声
-多普勒超声
-弹性成像，比如，使用超声波或核磁共振
-计算机断层扫描
-核磁共振(MRI)
○包括，比如，功能性核磁共振，扩散成像，中风成像，具有造影剂的核磁共振
-功能性核磁共振(fMRI)，比如，用于脑成像和功能性脑图
-磁共振波谱学
-正电子放射断层造影术(PET)
-单光子发射断层扫描-计算机断层扫描(SPECT-CT)
-正电子放射断层造影术-计算机断层扫描(PET-CT)
-正电子放射断层造影术-核磁共振(PET-MRI)
-使用任何前述模态(包括X射线成像，超声波等)可选地在多个平面或三维中进行垂直扫描。
-造影剂
○比如，，用于X射线和计算机断层扫描扫描的碘化造影剂，或核磁共振造影剂。
○造影剂可包括用于特异靶向性细胞或组织的抗原或抗体
○其他目标技术，比如，使用脂质体，也可以应用
○分子成像
■为了突出大脑中的代谢异常并将手术器械对准代谢异常区域
○本领域已知的任何造影剂都可以与本发明结合使用。
多维成像，重建和可视化
本发明的各种实施方案可以在一个，两个，三个或更多个维度上实施。以下是可以应用的潜在尺寸，视图，投影，角度或重建的示例性列表；这份列表并非详尽无遗，只是示范性的。本领域技术人员可以识别用于实现本发明的附加尺寸，视图，投影，角度或重建。示例性尺寸列于表4中。
表4：可使用光学头戴式显示器的虚拟图像显示的潜在尺寸，视图，投影，角度或重建的示例性列表，可选地立体
第一维：上下，比如，病人的物理数据数据
第二维：中间外侧，比如，病人的物理数据
第三维：前后位，比如，病人的物理数据
第4-第6维：1,2或3维的头部运动(以及眼镜运动/光学头戴式显示器)
第7-第9维：器械的1,2或3维运动，比如，与手术野，器官或头部有关，包括头部运动
第10-第13维度：1,2或3维的手臂或手部运动，比如，与手术野，器官或头部有关，包括头部运动
第14-第16维：患者的虚拟三维数据，比如，从扫描或术中测值获得
第17-19维：血管流量；在1,2或3维中，比如，与手术野(surgical field)，器官或头部有关，包括头部运动
第20-第22维度：温度图(包括由低温或高温引起的变化)，热成像，在1,2或3 维中，比如，与外科领域有关
第25-28维：代谢图(比如，使用MRS，正电子放射断层造影术-计算机断层扫描，单光子发射断层扫描-计算机断层扫描)，在1,2或3维中，比如，与外科领域有关
第29-32维：功能图(比如，使用功能性核磁共振，正电子放射断层造影术-计算机断层扫描，单光子发射断层扫描-计算机断层扫描，正电子放射断层造影术，运动成像)，在1，2或3维中，比如，与外科领域或患者有关
任何斜度都是可能的。任何透视投影都是可能的。任何倾斜角度都是可能的。任何曲面都是可能的。任何弯曲透视投影都是可能的。可以在不同类型的数据之间进行一维，二维和三维数据的任意组合。
通过光学头戴式显示器配准实时数据和虚拟数据
在一些实施方案中，患者虚拟数据可以迭加到通过光学头戴式显示器看到的实时数据上。虚拟数据可以是未处理形式的原始数据，比如，患者的术前图像，或者可以是处理过的数据，比如，过滤数据或分段数据。
数据分段
当患者图像迭加到通过光学头戴式显示器看到的实时数据上时，在许多实施方案中，可能需要图像分割。本领域中的任何已知算法可用于此目的，比如，阈值处理，种子点技术，火线，可变形模型，统计模型，活动形状模型，水平集方法，行进立方体算法，人工神经网络，深度学习技术，或其组合等。许多这些算法都是开源或商业库的一部分，比如，洞悉分段和配准工具包(Insight Segmentation and Registration Toolkit，ITK)，开源计算机视觉库OpenCV，G′MIC(GREYC's Magic for Image Computing，GREYC的图像计算魔法)，Caffe，或者MATLAB(MathWorks，Natick，Mass.)。图2中提供了用于分割和后续的代表性工作流程。可以获得可选的术前影像学检查40。可以获得可选的术中影像学检查41。可以对术前40或术中41影像学检查进行分段42，提取，比如，表面，体积或关键特征。可以生成可选的三维重建或三维渲染43。术前40或术中41影像学检查和任何三维重建或三维渲染43可以在共同坐标系44中配准。术前40或术中41影像学检查和任何三维重建或三维渲染43可用于生成虚拟手术计划45。虚拟手术计划45可以在共同坐标系44中配准。手术部位46可以在共同坐标系44中配准。可以获得术中测值47，并且可以将其用于生成虚拟手术计划45。光学头戴式显示器48可以投影或显示迭加在手术部位上并与手术部位对准的虚拟数据或虚拟数据49的数字全息图。光学头戴式显示器48 被配置为使用内置摄像头或图像捕获或视频捕获系统50来可选地检测和/或测量一个或多个光学标记51的位置和/或方向和/或对准，这些位置和/或方向和/或对准可用于坐标测量52，且可以是术中测值47的一部分。
配准软件和算法
可以使用本领域中已知的各种技术来执行实时数据和虚拟数据的配准。这些包括但不限于，表面配准算法(比如，迭代最近点算法)，统计模型，主动形状模型(Active ShapeModels)，基于交互信息或其他体积配准算法，对象识别，模式识别或计算机视觉技术，深度学习或其他人工智能方法。处理的数据，比如，可以由网格数据，参数表面数据，点云数据，体数据或其组合组成。这些方法在本领域中是已知的，并且已经在公共和 /或商业可用的代码库和应用程序编程接口(正位一)中实现，诸如Insight Segmentation andRegistration Toolkit(ITK)，开源计算机视觉库OpenCV，Elastix，Plastimatch或医学图像配准工具包(MIRTK)。
光学头戴式显示器迭加虚拟数据和实时数据
在一些实施方案中，分段数据或原始数据可以迭加在通过光学头戴式显示器看到的患者实时数据上。这种迭加可以以未配准的形式发生，即，患者虚拟数据可能不与通过光学头戴式显示器看到的实时数据对准。在该情况下，佩戴光学头戴式显示器的手术者可以在可迭加虚拟数据和患者实时数据的相应特征的方向上移动头部。外科医生或手术者还可以使用其他方式移动和重新定向虚拟数据，比如，光学头戴式显示器中显示的跟踪球或虚拟显示接口，与外科医生/手术者头部运动无关。手术者可以调整实时数据的放大倍率，使得虚拟数据的某些特征的大小，形状，长度，厚度，在对象/患者的给定距离内，与实际数据的大小，形状，长度，厚度匹配。
比如，在脑外科手术期间，外科医生可以在直观显示实时数据时，观察患者脑部的暴露脑回和脑沟。光学头戴式显示器可以显示患者的脑回和脑沟的虚拟三维模型。外科医生可以选择性地调整三维模型的放大倍率，以使模型匹配实时数据中相应的脑回和脑沟的大小或宽度或长度。外科医生可以选择调整光学头戴式显示器中显示的虚拟数据的透明度或不透明度。通过光学头戴式显示器传输的虚拟数据与实时数据的比率可以是1∶10，1∶9，1∶8，1∶5，1∶2，1∶1，2∶1，3∶1，5∶1，8∶1，10∶1，以及它们的分数或倍数。虚拟数据和实时数据的透明度或不透明度的任何组合都是可能的。外科医生头部的移动方向可以迭加虚拟特征，比如，患者的脑回和脑沟，和患者实时数据。
一旦数据被迭加，外科医生就可以选择将虚拟数据与实时数据配准。配准如上所述那样简单，比如，外科医生视觉确认虚拟数据和实时数据是否基本上匹配或基本上迭加。此时，外科医生可选地将实时数据和/或实时数据的坐标系参考虚拟数据和/或虚拟数据的坐标系(2，3维或更多维)。一旦数据被配准，外科医生就可以将其头部移动到任何期望的位置或方向，比如，以便从不同视角观察患者的大脑或病变和邻近结构，比如，敏感性的。光学头戴式显示器的惯性测量单元将配准头部运动，头部运动的方向，最新头部位置和头部方向。外科医生头部的位置和方向的变化可以同时或者，如果需要，可以非同时地应用于虚拟数据，该虚拟数据现在可以与所得到的实时数据的新位置和方向迭加。另外，当外科医生移动其头部或身体进一步远离目标解剖结构时，惯性测量单元可以测量位置的变化和距目标解剖结构的加大距离。根据与惯性测量单元的距离，可以将虚拟数据的因子扩大或缩小，使得在一些实施方案中，虚拟数据的大小，形状和尺寸将接近或匹配实时数据的大小，形状和尺寸，无论外科医生头部的距离，位置和方向如何。
出于配准虚拟数据和实时数据的目的，光学头戴式显示器可选地放置在固定位置，比如，安装在支架上或三脚架上。当光学头戴式显示器被放置在固定位置时，外科医生可以查看实时数据，并且可以选择用摄像头配准和/或显示在监视器上。然后，可以迭加虚拟数据，并且可以执行虚拟数据和实时数据的匹配和配准此时，外科医生或手术者可以从固定位置移除光学头戴式显示器，并且外科医生可以在外科手术期间佩戴光学头戴式显示器。
可选地使用不同的颜色显示虚拟数据，比如，红色，绿色，黄色等。可选地仅显示虚拟数据的选择特征的轮廓。比如，这些特征可以是患者大脑的脑沟(比如，黑色线条或黑色或其他颜色的线条)，不对这些脑沟边缘的脑回进行可视化。或者，比如，仅显示一处病变，比如，在脑的实例中的肿瘤，成胶质细胞瘤。或者，可以综合显示正常组织和病理组织的虚拟数据。
虚拟数据可以与通过光学头戴式显示器看到的实时数据进行配准。可以使用本领域已知的任何方法进行配准，以便以2，3或更高维度配准或互相参照虚拟数据和实时数据。
在一些实施方案中，整个外科手术期间要保持虚拟数据和实时数据的配准。在一些实施方案中，虚拟数据和实时数据的配准将在外科手术或外科手术计划的选择期间保持，其可以是或可以包括虚拟手术计划，比如，术前生成的手术计划。
在本发明的一些实施方案中，光学头戴式显示器迭加虚拟数据和实时数据同时发生。在一些实施方案中，光学头戴式显示器对虚拟数据和实时数据的迭加不是同时的。比如，可以间歇地迭加虚拟数据。
虚拟数据可以是透明的，半透明的或不透明的。如果虚拟数据是不透明的，则可以间歇地显示它们，以便手术者或外科医生可以看到它们如何与患者实时数据相关联地投射。
如果虚拟数据的组合与实时数据同时显示，则可以用不同颜色显示不同类型的虚拟数据。下面提供虚拟和实时数据的代表性组合。以下仅是说明性的，决不意味着限制本发明：
实时数据：患者的大脑；手术暴露的脑回和脑沟。
实时数据：手术器械，比如，活检针或切割工具
虚拟数据：具有脑回和脑沟的患者脑部，导自成像模式和可选地从显像模式分割，比如，计算机断层扫描扫描或核磁共振扫描
虚拟数据：脑部深处的脑肿瘤
虚拟数据：外科医生当前所用相同手术器械，在器械的虚拟图像中，虚拟数据指示手术器械的期望方向，位置或方向。
任何前述虚拟数据可以二维或三维显示。如说明书的其他部分中概述的多维显示器也可行。
比如，患者的正常组织，比如，正常的脑组织，可选地以二维显示，比如，使用灰度图像，同时，患者的畸形组织，比如，中风，出血或肿瘤，可以三维显示。光学头戴式显示器可以显示二维，三维和多维图像的任何组合；光学头戴式显示器可以将任何二维，三维和多维图像的组合迭加在患者实时数据上。
虚拟二维，三维和多维数据可以通过不同的数据采集技术生成或获取，比如，不同的影像学检查等
锁定或移动虚拟数据
在本发明的一些实施方案中，虚拟数据可以关联锁定外科医生或手术者，或关联锁定患者或患者体内的某个目标解剖结构。这意味着，即使外科医生移动其头部或身体或部分患者解剖结构正在移动，虚拟数据也不会在OHMD显示器中移动。比如，一旦配准，光学头戴式显示器可以显示目标组织或相邻组织的虚像。目标组织或相邻组织的虚像可以是，比如，穿过肿瘤或其他类型的病理组织的图像。当外科医生或手术者在外科手术过程中移动其头部或身体时，虚拟数据将不会移动，而是显示在相同位置内。
在本发明的一些实施方案中，虚拟数据可以与外科医生或手术者关联移动，或与患者或患者体内的某个目标解剖结构关联移动。这意味着，如果外科医生移动其头部或正在移动患者的身体或部分解剖结构，则虚拟数据将在OHMD显示器中移动。比如，一旦配准，光学头戴式显示器可以显示目标组织或相邻组织的虚像。目标组织或相邻组织的虚像可以是，比如，穿过肿瘤或其他类型的病理组织的图像。当外科医生或手术者在外科手术过程中移动其头部或身体时，虚拟数据将移动并改变其位置和方向，就像外科医生移动其头部或身体的方式一样，通常反映外科医生通过移动其头部或身体产生的透视或视角的变化。
可选地，虚拟数据的移动比外科医生的头部或身体的移动，有更大的虚拟距离或更大的角度，或更小的虚拟距离或更小的角度。
提高移动或重新定向虚拟数据的准确性
一旦虚拟数据和物理数据之间完成配准，虚拟数据的移动或重新定向就会跟随，比如，外科医生的头部运动或身体运动或操作手臂或手的运动，或患者或某些身体部位的运动，比如，通过使用光学头戴式显示器的惯性测量单元监测外科医生头部的移动和位置和 /或方向的变化来实现。
在一些实施方案中，本领域已知的光学或射频跟踪器(RF tracker)或其他跟踪设备可以应用于光学头戴式显示器和/或患者，包括患者的选择身体部位或目标组织，比如，病人的膝盖。使用本领域已知的标准手术导航技术，可以配准光学或射频跟踪器的空间位置，比如，用于起始姿势或位置或定位。跟踪器的移动，比如，由外科医生的头部或身体的运动或者通过患者的至少一部分的运动引起的，可以使用导航系统跟踪。然后，使用有关外科医生头部或患者或两者的位置变化，方向变化或运动方向变化的信息来相应地更新虚拟数据，或者相应地更新光学头戴式显示器显示的虚拟数据，或两者都更新。以这种方式，虚拟数据和实时数据可以由光学头戴式显示器迭加，通常以精确的方式。
可选地，由惯性测量单元生成的位置，取向，方向等数据可以与由手术导航系统生成的此类数据结合使用。数据的组合可以有益于更精确地测量外科医生的头部，身体，操作臂，手或患者的位置或方向的变化。
在2维或更多维度中使用虚拟数据
在本发明的一些实施方案中，光学头戴式显示器可以显示患者的二维虚拟图像。图像可以是透射型图像，比如，X射线或计算机断层扫描跟踪扫描(CT scout scan)。图像可以是患者的选择解剖结构的横截面图像。图像可以是原始图像或患者的复位格式，重建或分割或部分分割的图像。
在本发明的一些实施方案中，外科医生将通过光学头戴式显示器查看患者实时数据，比如，暴露的大脑表面与患者的脑回和脑沟。外科医生可以将患者虚拟数据和患者实时数据配准，比如，对患者大脑进行核磁共振扫描。配准可以在2，3维或更多维度进行。实时数据和虚拟数据的配准可以包括配准不同类型的虚拟数据，比如，不同类型的正常或患病组织，使用不同的显像模式，用于不同类型的正常或患病组织的不同尺寸等。可以同时显示多个二维扫描平面。这些二维扫描平面可以是可变角度的平行或非平行平面，正交或非正交平面。
滚动，移动虚拟数据迭加到实时数据上
在本发明的一些实施方案中，外科医生或手术者可选地滚动浏览一组连续或非连续的虚拟二维图像数据以及正被迭加到患者实时数据上的三维图像数据，通常实时数据来自相同解剖部位，比如，大脑，脊柱，臀部，膝盖等。可以通过本领域已知的任何类型的用户接口引导滚动。比如，外科医生可以使用由光学头戴式显示器投射的虚拟接口，其中他或她可以向上或向下或向左或向右移动虚拟箭头，以向后或向前滚动图像，或者比如，旋转图像，或以不同的多平面角度显示图像或改变视角或投影角度。
外科医生可选地通过头部前后移动来滚动虚拟图像数据或移动虚拟图像数据，比如，用于在虚拟图像卷中向后或向前滚动。比如，外科医生可以向左或向右移动其头部以旋转图像，或以不同的多平面角度显示图像或者改变三维图像的视角或投影角度。
外科医生可选地通过前后移动其手或手指或任何其他身体部位来滚动虚拟图像数据，比如，用于在虚拟图像卷中向后或向前滚动。比如，外科医生可以左右移动其手或手指或任何其他身体部位，以旋转图像或以不同的多平面角度显示图像或改变视角或投影角度。外科医生可以在旋转或转动运动中移动其手或手指，以旋转或转动虚拟数据。头或手或眼和其他身体信号的任何组合可用于改变虚拟数据的显示。
使用外科医生用于触发屏幕变化的身体部位的有关地点，位置，方位，角度，方向和运动的相同变值，虚拟数据的这些屏幕变化可选地在光学头戴式显示器中执行。或者，可以使用与外科医生身体部位的地点，位置，方位，角度，方向和运动的变化相关的放大系数或缩小系数，来执行虚拟数据的地点，位置，方位，角度，方向和运动等相关变化中的任何一个。这些放大系数或缩小系数可以是线性的或非线性的，比如，指数或对数。在一些实施方案中，控制移动OHMD显示器中的虚拟数据的外科医生身体部位越远离其原始位置，光学头戴式显示器中的虚拟数据的移动引起的变化越大。在一些实施方案中，控制移动OHMD显示器中的虚拟数据的外科医生身体部位越远离其原始位置，光学头戴式显示器中的虚拟数据的移动引起的变化越小。
在3个或更多维度中使用虚拟数据
在本发明的一些实施方案中，光学头戴式显示器可以显示患者的三维虚拟图像。患者的三维图像可以包括不同类型的解剖结构的三维图像，比如，在预期手术或手术部位的区域中。
可以在术前，术中和/或术后产生图像数据或患者的其他数据的三维重建。虚拟三维图像可以包括整个解剖区域或选择组织或解剖区域的选择组织。比如，光学头戴式显示器可以使用不同颜色在三维中虚拟地显示不同组织。可以以这种方式显示正常组织和病理组织。
比如，正常组织可以包括脑组织，心脏组织，肺组织，肝组织，血管结构，骨，软骨，脊柱组织，椎间盘，神经根。光学头戴式显示器可以虚拟可视化任何组织。
比如，在手术部位配准患者虚拟数据和实时数据
在本发明的一些实施方案中，由光学头戴式显示器显示的患者虚拟数据和通过光学头戴式显示器看到的患者实时数据在空间上相互关联配准，比如，在共同坐标系中，用同一坐标系中的一个或多个光学光学头戴式显示器。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。空间共同配准具有以下优势：当外科医生移动其头部或身体时，当光学头戴式显示器移动或患者移动时，患者的虚拟和实时数据的同时显示不受影响或受影响较小。因此，外科医生的眼睛通过光学头戴式显示器看到的患者实时数据的视角，比如，实时手术野，可以保持与外科医生的眼睛通过光学头戴式显示器设备的显示器看到的患者虚拟数据的视角相同，比如，虚拟手术野，虚拟手术平面，虚拟路径，虚拟切割路径或平面投射到外科医生的眼睛中，即使外科医生移动其头部或身体。以这种方式，外科医生不需要重新思考或调整他的手眼协调，因为通过外科医生的眼睛看到的患者实时数据和通过OHMD显示器看到的患者虚拟数据被迭加，这与其他方法根本不同，比如，在手术室中采用单独的计算机监视器的手术导航方法，其中外科医生的视角不同于他或她对患者和手术野的实时数据的视角。此外，利用手术导航，可以在计算机监视器上显示第一虚拟器械，该计算机监视器是用导航标记跟踪的物理器械的图像，比如，红外或射频标记，并且，第一虚拟器械的位置和/或方向可以与虚拟手术计划中生成的相应第二虚拟器械的位置和/或方向进行比较。因此，通过手术导航，比较第一和第二虚拟器械的位置和/或方向。
在混合现实环境中提供指导的情况下，比如，在使用类似电子全息环境的立体显示器的情况下，虚拟手术导板，工具，器械或植入体可以迭加在关节，脊柱或手术部位上。此外，物理导板，工具，器械或植入体可对准虚拟手术导板，工具，器械或植入体的二维或三维图像。因此，混合现实环境中的指导不需要使用导板，工具，器械或植入体的多个虚拟图像，并且不需要比较虚拟导板，工具，器械或植入体的多个虚拟图像的位置和/或方向。
在一些实施方案中，虚拟数据可以与外科医生或手术者关联移动，或与患者或患者体内的某个目标解剖结构关联移动。这意味着，如果外科医生移动其头部或正在移动患者的身体或部分解剖结构，则虚拟数据将在OHMD显示器中移动。比如，一旦共同坐标系中的光学头戴式显示器，患者虚拟数据和患者实时数据完成配准，光学头戴式显示器就可以显示目标组织或相邻组织的虚拟图像。目标组织或相邻组织的虚像可以是，比如，肿瘤或其他类型的病理组织或脊柱或脊椎椎弓根的图像。当外科医生或手术者在外科手术过程中移动其头部或身体时，虚拟数据将移动并改变其位置和方向，就像外科医生移动其头部或身体的方式一样，通常反映外科医生通过移动其头部或身体产生的透视或视角的变化。虚拟数据可以包括外科手术工具或器械的三维图像，比如，用于椎体后凸成形术或椎体成形术的针，其中针的虚拟图像显示其与脊柱和/或椎弓根相关的预期位置，方向或路径。虚拟数据还可以包括医疗装置，比如，椎弓根螺钉，其中椎弓根螺钉的虚拟数据显示其与脊柱，和/或椎弓根，和/或椎体相关的预期位置，方向或路径。
在一些实施方案中，利用可以迭加或融合到用于虚拟数据和实时数据的公共对象坐标系统中的至少三个或更多个点来执行配准。还可以使用存在于患者虚拟数据和实时数据中的解剖结构的表面或三维形状来执行配准。在该情况下，可以移动虚拟表面，直到基本上匹配患者的活动表面，或者可以移动虚拟形状，直到基本上匹配患者的活体形状。
可以使用不同的手段来实现患者虚拟数据和患者实时数据的配准。以下内容决不是为了限制本发明，而仅仅是示例性的。
使用直接或间接连接的对象坐标系统配准患者虚拟数据和患者实时数据
如果虚拟数据(比如，患者的图像数据)是通过位于第一对象坐标系中的患者获取的，且实时数据(比如，在手术期间)是通过位于第二目标坐标系中的患者观察或获取的，其中第一和第二目标坐标系可以直接连接(比如，物理方式)，或间接连接(比如，非物理方式)，那么，可以执行患者虚拟数据和实时数据的配准。第一和第二对象坐标系的直接连接可以是，比如，第一和第二对象坐标系之间的物理连接。比如，把患者可以沿着卷尺的长度从第一对象坐标系移动到第二对象坐标系。或者，可以用扫描仪扫描患者，比如，计算机断层扫描扫描仪或核磁共振扫描仪，随后将扫描仪台移出扫描仪，以便给仍在扫描仪台上的患者进行外科手术。在该情况下，扫描仪台可以是第一和第二目标坐标系之间的物理连接形式，扫描位置和扫描仪位置外部间的台移动的长度 (用于实时数据，比如，外科手术)可以定义从第一对象坐标系到第二对象坐标系的坐标变换。
可以建立第一(虚拟数据)对象和第二(实时数据)对象之间的间接连接，但其条件是患者在获取虚拟数据(比如，使用影像学检查)，和实时数据(比如，当在沿着限定路径执行外科手术时，其中路径的方向和角度是已知的，使得第一和第二对象坐标系可以互相参照，并且使用患者的定义路径和虚拟数据的已知信息，可以应用对象坐标转移，患者和光学头戴式显示器的实时数据可以在共同坐标系中配准)间移动。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
患者虚拟数据和患者实时数据的配准也可以在没有直接或间接连接的对象坐标系统的情况下使用将在以下段落和专栏中解释的其他手段和方法，比如，当患者进行一个或多个未知方向，长度或大小的运动时。本说明书中描述的所有不同配准方法的组合是可能的，比如，为了提高配准的准确性，在操作期间切换配准方法或同时使用多种配准方法。
使用空间映射配准
使用空间映射过程可以获取或配准患者实时数据，比如，物理器械的位置和/或方向，植入体组件的位置和/或方向，一个或多个光学头戴式显示器的位置和/或方向。该过程使用比如，但不限于，深度传感器，激光扫描仪，结构光传感器，飞行时间传感器，红外传感器或跟踪探针，来创建描述一个或多个对象表面或环境结构的三维网格。这些设备可以通过收集三维坐标信息，或一个或多个对象或环境结构上的一个或多个表面点的传感器的距离信息，来生成三维表面数据。然后，可以将三维表面点连接到三维表面网格，从而产生实时数据的三维表面图像。然后，可以使用说明书中描述的任何配准技术将表面网格与虚拟数据合并。
实时数据可以是静态的，或者更可取的是，用附加信息连续更新，以结合一个或多个对象或环境结构的位置或表面的变化。附加信息可以通过深度传感器，激光扫描仪，结构光传感器，飞行时间传感器，红外传感器或跟踪探针获取。
对于初始空间映射和映射数据的更新，可以使用通常可用的软件代码库。比如，此功能可以由微软HoloToolkit或Google Project Tango平台提供。已经说明了用于空间映射和跟踪的各种技术，包括在US9,582,717中描述的那些技术，其通过引用明确地并入本文。
使用视觉解剖学特征配准患者虚拟数据和患者实时数据
a)外科医生或手术者可视配准与患者实时数据相关的患者虚拟数据
在一些实施方案中，外科医生或手术者可视对准或匹配患者虚拟数据与患者实时数据。患者虚拟数据和患者实时数据的这种可视对准或匹配，可以通过移动光学头戴式显示器来执行，比如，通过佩戴光学头戴式显示器的手术者的头部移动来执行。在该示例中，患者虚拟数据以固定方式显示，而不是在手术者移动光学头戴式显示器时改变视角。手术者将移动光学头戴式显示器，直到将患者实时数据对准或迭加到患者虚拟数据的固定投影上。一旦实现了患者数据与患者虚拟数据的令人满意的对准，匹配或迭加，外科医生就可以执行配准命令，比如，通过语音命令或键盘命令。现在配准患者虚拟数据和患者实时数据。此时，在完成配准后，患者虚拟数据将随着光学头戴式显示器的移动而移动，比如，通过集成惯性测量单元，图像和视野跟踪的移动来测量；比如，利用图像和/或视频捕获系统，和/或使用带光学或射频或其他跟踪器的附加导航系统，其可以附接到患者，手术部位，骨骼或患者的任何其他组织，外科医生，外科医生的手臂，外科医生的头部或外科医生佩戴的光学头戴式显示器，而在图像或视野中使用锚点进行测量。
因此，一旦实现了令人满意的对准或匹配，外科医生就可以执行成功配准的命令。配准可以包括虚拟数据和实时数据的位置，方向和放大倍率中的至少一个的改变，以便实现对准或匹配。应用于虚拟数据的放大倍率可以指示从光学头戴式显示器或外科医生的头部到匹配组织的距离。作为最大化配准精度的手段，可以通过可选的距离物理测量来确认光学头戴式显示器与目标组织或皮肤表面或其他参考组织之间的估计距离，特别是，如果光学头戴式显示器是在固定的位置，比如，在支架或三脚架上，这些可在初始配准期间任选使用。在成功对准或匹配之后，外科医生命令可以在相同的共同坐标系中配准，比如，患者虚拟数据和患者实时数据或光学头戴式显示器。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
在本发明的一些实施方案中，视觉解剖学数据可以是脑回或骨赘或骨刺或病理性骨变形或肿瘤结节或结节，比如，在肝脏或大脑表面。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的方法配准患者虚拟数据和患者实时数据。在该情况下，手术改变的组织或组织表面或组织轮廓或形状，诸如，铣削或扩孔后的骨的形状，或组织周长，比如，现场患者的骨切割或组织体积或其他组织特征的周长，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配，迭加和/或对准。比如，在为患者开发的虚拟外科手术计划中，外科医生的眼睛通过光学头戴式显示器设备显示器看到患者虚拟数据，以及外科医生的眼睛通过光学头戴式显示器设备看到的患者实时数据的视角基本相同。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同方法或本说明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。参考图3，图3的示例说明了为初始外科手术步骤配准数字全息图或虚拟数据，执行外科手术步骤并重新配准一个或多个全息图以用于后续外科手术步骤。光学头戴式显示器可以投影或显示患者55的虚拟数据或虚拟数据的数字全息图。数字全息图可选地固定到光学头戴式显示器，以使其随着光学头戴式显示器56的移动而移动。手术者可以移动光学头戴式显示器，直到虚拟数据的数字全息图或患者虚拟数据迭加到患者实时数据，并与患者实时数据(比如，手术部位57)对准。然后，可以使用与迭加数位全息图的实时数据相同或相似的坐标来配准虚拟数据或虚拟数据的数字全息图 58。然后，外科医生可以执行一个或多个预定的手术步骤，比如，骨头切割59。在利用实时数据60进行手术改变之后，可选地配准或重新配准虚拟数据或虚拟数据的数字全息图。手术改变之后的虚拟数据或虚拟数据的数字全息图可选地由光学头戴式显示器61显示。手术改变之后的虚拟数据或虚拟数据的数字全息图可选地相对于光学头戴式显示器固定，使它随着光学头戴式显示器62的移动而移动。手术者可以移动光学头戴式显示器，直到手术改变之后的患者虚拟数据或虚拟数据的数字全息图迭加到和对准手术改变63之后的患者实时数据。然后，可以使用与迭加数位全息图64的手术改变之后的实时数据相同或相似的坐标来配准虚拟数据或虚拟数据的数字全息图。然后，外科医生可以执行一个或多个预定的后续手术步骤，比如，骨切割，磨铣或钻孔65。可选地重复前述步骤，直到外科手术完成66。可以使用虚拟手术计划67。可选地，光学头戴式显示器68可以显示患者的固有解剖结构，包括在第一次手术改变之后。光学头戴式显示器可选地显示后续手术步骤69的数字全息图。
b)使用图像处理和/或模式识别和匹配技术自动或半自动地配准患者实时数据和患者虚拟数据
c)在本发明的一些实施方案中，图像处理技术，模式识别技术或基于深度学习 /人工神经网络的技术可用于匹配患者虚拟数据和患者实时数据。可选地，图像处理和/或模式识别算法可用于识别某些特征，比如，患者虚拟数据的脑表面上的脑回或脑沟。包括独特形状的耳朵也可用于匹配患者虚拟数据和患者实时数据。
比如，脑外科手术时，患者可以被放在手术台上。可选择将清洁液或消毒液涂到剃毛的颅骨上，比如，使用聚维酮碘。光学头戴式显示器可以放置在患者身上，或者放在三脚架上或者由手术者佩戴，比如，患者的头部侧转过现场患者的耳朵和侧颅骨。光学头戴式显示器将被放置在包括要显示患者虚拟数据的现场患者的部位上。
患者虚拟数据可以显示在光学头戴式显示器中。患者虚拟数据可以包括，患者皮肤，耳朵或鼻子的可视化或其他数据，比如，来自术前核磁共振数据。患者皮肤或其他结构的虚拟数据，比如，患者的耳朵或鼻子，可以与患者实时数据同时显示。然后，可以移动，重新定向，重新对准并且可选地放大或缩小患者虚拟数据，直到对准，匹配或迭加令人满意为止。也可选地在此过程中移动光学头戴式显示器，在患者虚拟数据和患者实时数据之间实现令人满意的大小匹配，可选不需要放大或缩小患者虚拟数据。
一旦在患者虚拟数据和实时数据之间实现了令人满意的对准，匹配或迭加，手术者就可以执行表示成功配准的命令。通过集成惯性测量单元、图像和视野跟踪(例如，利用使用图像和/或视频捕获系统的图像或视野中的锚点)、和/或连接到光学头戴式显示器的导航系统所测量的光学头戴式显示器的位置，方向或方向的变化，都可利用与患者虚拟数据和患者实时数据基本相同的对象坐标，通过光学头戴式显示器获得的患者实时数据的视图移动患者虚拟数据，从而在手术过程中保持配准，而不管光学头戴式显示器如何移动，比如，佩戴光学头戴式显示器的手术者进行头部移动，并确保当投射到外科医生的视野中时患者虚拟数据与患者实时数据正确迭加。
在将患者虚拟数据成功配准到患者皮肤或其他结构之后，诸如耳朵或鼻子等，手术者或助手可以在患者身上施加标记或校准或配准体模或装置，比如，靠近开颅手术的预期部位。标记或校准或配准体模或装置不能被随后放置的任何盖布或手术罩覆盖。然后，通过将患者虚拟数据配准到患者实时数据，使用放置在患者身上的实时标记或校准或配准体模或设备并通过互相参照，将患者虚拟数据和患者实时数据二次配准，比如，患者皮肤或诸如耳朵或鼻子等其他结构的实时数据。这可以通过在与放置在患者身上的标记物或校准或配准体模或装置同一坐标系中，配准患者的皮肤或诸如耳朵或鼻子等其他结构来实现，比如，通过将患者皮肤或诸如耳朵或鼻子或骨赘或骨刺或其他骨骼解剖或畸形等其他结构的患者虚拟数据，和标记物或校准或配准体模或装置的实时数据，共同配准。可以测量患者皮肤或诸如耳朵或鼻子或骨赘或骨刺或其他骨骼解剖或畸形等其他结构和标记或校准或配准体模或附着于患者的装置之间在坐标上的距离，偏移，角度偏移或总体差异，并可将其用于将患者虚拟数据的配准切换到患者皮肤或诸如耳朵或鼻子等其他结构的患者实时数据，和标记物或校准或配准体模或设备的实时数据。可选择保持患者皮肤或诸如耳朵或鼻子等其他结构的实时数据，和标记物或校准或配准体模或设备的实时数据，以进行配准。可选地，系统可以评估配准到患者皮肤或诸如耳朵或鼻子等其他结构的实时数据，或标记物或校准或配准体模或设备的实时数据是否更准确，系统可以在两者之间来回切换。比如，如果从光学头戴式显示器到患者的皮肤或诸如耳朵或鼻子等其他结构的距离增加或减少，超过一定程度，比如，可选地预定义的阈值，或者被盖布部分覆盖，则系统可以将配准切换到标记或校准或配准体模或设备的实时数据。反过来也是可以的。或者，如果患者的皮肤或诸如耳朵或鼻子等或骨赘或骨刺或其他骨骼解剖或畸形等其他结构与光学头戴式显示器的角度增大或减小超过一定水平，比如，可以任选预定义的阈值，系统可以将配准切换到标记或校准或配准体模或装置的实时数据。反过来也是可以的。
然后，手术者或助手可以在该部位上放置无菌盖布或手术覆盖物，但是，最好不覆盖标记物或校准或配准体模或装置。可以通过标记物或附着于患者的校准或配准体模或装置的实时数据来保持配准，比如，在开颅部位附近或内部。
然后，可以通过光学头戴式显示器，对患者实时数据进行图像处理和/或模式识别。比如，使用内置图像捕获设备来捕获附着到光学头戴式显示器，与光学头戴式显示器集成或耦合到光学头戴式显示器的患者或图像和/或视频捕获系统的实时数据。
然后，可以匹配虚拟和实时的数据特征或模式。为了成功配准患者实时数据和两者的迭加，匹配可以包括虚拟数据的移动和/或重新定向和/或放大和/或缩小。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
(a)和(b)的组合(例如具有手动调整选项的自动配准功能)，比如，在图像处理软件和/或模式识别软件和/或匹配软件识别出潜在匹配或执行初始匹配之后，通过对照实时图像数据移动虚拟图像数据，然后，可以进行基于手动/手术者的调整。或者，可以首先执行基于手动/手术者的匹配和配准，然后，通过基于匹配和配准的软件或算法(图像处理，模式识别等)进行微调。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的方法配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同方法或本说明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。
使用解剖标志配准患者虚拟数据和患者实时数据
在一些实施方案中，外科医生可以识别患者虚拟数据的选择解剖标志，比如，患者的电子术前计划，以及患者实时数据中的解剖标志。比如，外科医生可以通过在患者虚拟数据的电子图像上放置游标或标记来识别解剖标志，并且一旦游标或标记在期望的位置，就点击解剖标志来识别。在脊柱中，这样的解剖标志可以是，比如，棘突的后尖端，脊椎椎板，患者左侧的下关节面，患者左侧的上关节面，患者右侧的下关节面，患者右侧的上关节面，小关节的尖端，骨刺，骨赘等。在髋部，这样的标志可以是髋臼的最前部点，比如，以下各部位的骨赘：在髋臼缘，在髋臼内，邻近髋臼，在股骨头，在股骨颈或颈轴交界处，在股骨头中心为二维或三维图像，在股骨头最前点，髂前上棘，髂前下棘，耻骨联合，大转子，小转子等。在膝盖中，这样的标志可以是股骨髁，股骨凹陷，髁间隙，内侧或外侧上髁，股骨轴，上髁轴，滑车轴，机械轴，滑车槽，股骨骨赘，边缘股骨骨赘，中央股骨骨赘，髌骨圆顶，髌骨或股骨或股骨关节面的上缘，内缘，外缘，下缘，髌骨骨赘，前胫骨，胫骨棘，胫骨的内缘，外缘，前缘，后缘，胫骨骨赘，边缘胫骨骨赘，中央胫骨骨赘。然后，外科医生可以识别患者体内的相同标志。比如，当外科医生通过光学头戴式显示器观察时，外科医生可以用手指或用指示设备指向实时数据中的相应解剖标志。指针的尖端或手指的尖端可选地包括跟踪器，该跟踪器将指针的尖端或手指定位在空间中。这种定位也可以使用图像捕获直观完成，比如，通过光学头戴式显示器以立体方式更准确地确定指针或手指与光学头戴式显示器的距离和位置。图像和/或视频捕获系统也可以连接到光学头戴式显示器，与光学头戴式显示器集成或耦合到光学头戴式显示器。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
可用于配准患者的虚拟和实时数据的代表性解剖标志可包括(但不限于)：
在脊柱内：
-一部分或整个棘突
-一部分或整个脊椎板
-一部分或整个脊柱关节突
-一部分或整个小关节
-一部分或整个横突
-一部分或整个椎弓根
-一部分或整个椎体
-一部分或整个椎间盘
-一部分或整个脊柱骨赘
-一部分或整个脊柱骨刺
-一部分或整个脊柱骨折
-一部分或整个椎体骨折
-前述的任何组合
髋部：
-一部分或整个髋臼
-髋臼的一部分或整个边缘
-髋臼边缘的多个部分
-髂壁的一部分
-耻骨的一部分
-坐骨的一部分
-髂前上棘
-髂前下棘
-耻骨联合
-大转子的一部分或整个大转子
-小转子的一部分或整个小转子
-股骨干的一部分或整个股骨干
-一部分或全部股骨颈
-一部分或全部股骨头
-骨头凹
-横向髋臼韧带
-丘脑后结节
-韧带
-上唇
-一个或多个骨赘，股骨和/或髋臼
-前述的任何组合
膝盖：
-部分或整个内侧髁
-部分或整个股骨外侧髁
-部分或整个股骨凹口
-部分或整个滑车
-股骨前部皮质的一部分
-股骨前部皮质的一部分与滑车的相邻部分
-股骨前部皮质的一部分，当存在时具有滑车和骨赘的相邻部分
-一个或多个骨赘股骨和/或胫骨
-一个或多个骨刺刺股骨和/或胫骨
-上髁隆起
-一部分或整个胫骨坪中部
-一部分或整个胫骨坪侧部
-部分或整个胫骨棘中部
-部分或整个外侧胫骨脊柱
-胫骨前部皮质的一部分
-胫骨前部皮质的一部分和胫骨坪的一部分，内侧或外侧或两者
-胫骨前部皮质的一部分和胫骨坪的一部分，内侧或侧面或两者和存在的骨赘
-一部分或整个髌骨
-髌骨的内侧边缘
-髌骨的侧缘
-髌骨上极
-髌骨下极
-髌骨骨赘
-前十字韧带
-后十字韧带
-内侧副韧带
-外侧副韧带
-一部分或整个内侧半月板
-一部分或整个外侧半月板
-前述的任何组合
肩部：
-部分或整个关节盂
-一部分或整个喙突
-一部分或整个肩峰
-锁骨的一部分
-一部分或整个肱骨头
-一部分或整个肱骨颈
-肱骨干的一部分
-一个或多个肱骨骨赘
-一个或多个关节盂骨赘
-一部分或整个关节盂唇
-一部分或整个肩部韧带，比如，喙肩韧带，上，中，或下盂肱韧带
-肩胛骨的一部分
-前述的任何组合
头骨和大脑：
-颅骨的一部分
-枕骨的一部分
-颞骨的一部分
-枕骨的一部分
-顶骨的一部分
-额骨的一部分
-面部骨骼的一部分
-面部结构的一部分
-颅骨内部的一部分或整个骨骼结构
-部分或全部选择脑回
-部分或全部选择脑沟
-窦的一部分
-静脉窦的一部分
-脉管的一部分
-耳朵的一部分
-外耳道的一部分
器官：
-器官的一部分，比如，肾的上极或下极
-肝脏，脾脏，肺脏的边或边缘
-肝叶的一部分
-脉管的一部分
-裂缝的一部分，比如，在肝脏或脾脏
-子宫的一部分
本领域技术人员可以识别硬组织，软组织和/或包括脑在内的器官的其他解剖标志，其可以用于在共同坐标系上配准虚拟数据(包括可选的虚拟手术计划)和患者和光学头戴式显示器的实时数据。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
在本发明的一些实施方案中，光学头戴式显示器可以在手术野上显示任意虚拟平面 (arbitrary virtual plane)。任意虚拟平面可以使用虚拟接口或其他接口移动。比如，任意虚拟平面可以包括“接触区域”，其中手势识别软件，比如，微软提供的具有微软全息眼镜的软件，具有用于全息图的集成虚拟“拖动功能”，可以用于移动任意虚拟平面。比如，集成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于接触区域的移动；使用手势跟踪软件，然后，可以通过在期望的方向上将手指推向接触区域来移动虚拟平面。
光学头戴式显示器最初可以在任何位置显示任意虚拟平面，比如，投射到手术野或之外的位置，诸如髋关节，膝关节，肩关节，踝关节或脊柱等。光学头戴式显示器可选地以限定角度显示任意虚拟平面，比如，相对于手术室中的固定结构的正交或平行，任意虚拟平面可以使用集成到光学头戴式显示器，图像捕获或视频捕获系统的一个或多个摄像头以及诸如微软提供的微软全息眼镜之类的空间识别软件来识别，或者可以使用一个或多个附加的光学标记或导航标记(包括红外或射频标记)识别。比如，一个或多个光学标记可以附接到手术台的延伸部分。光学头戴式显示器可以检测这些一个或多个光学标记并确定它们的坐标，并由此确定手术台的水平面。然后，可以相对于手术室工作台垂直或以另一角度显示虚拟平面。
比如，在髋关节置换术中，光学头戴式显示器可以在手术部位上显示虚拟平面。虚拟平面可以垂直于手术台。使用虚拟接口，比如，在虚拟手术平面上的接触区域和手势跟踪，光学头戴式显示器可以检测外科医生如何移动虚拟平面。可选地，当外科医生移动和 /或重新定向平面时，虚拟平面可以保持其相对于手术台的垂直(或所需的其他角度)方向；当外科医生打算制作垂直的股骨颈切割时，可能需要垂直方向。当外科医生打算用另一种方向切割股骨颈时，可能需要不同的角度。
然后，使用接触区域或其他虚拟接口，外科医生可以将虚拟平面移动到期望的位置，方向和/或对准。虚拟平面的移动可以包括，使用任何期望的角度或向量在任何期望的方向上平移和旋转或其组合。外科医生可以移动虚拟平面以与选择的解剖标志相交或者与选择的解剖学轴或生物力学轴相交。外科医生可以将虚拟平面移动到与选择的解剖标志或选择的解剖学或生物力学轴相切。
比如，在髋关节置换术中，外科医生可以将虚拟平面移动到与大转子的最上面和小转子的最上面相切。图4A的实例说明了虚拟平面70，其中主要外科医生已经移动并对准以与大转子71的最上面和小转子72的最上面相切。图4B的实例说明了相同的虚拟平面 70，其中主要外科医生已经移动并对准以与大转子71的最上面和小转子72的最上面相切，现在的视图来自第二外科医生或外科手术助理的光学头戴式显示器，比如，在手术台 (ORtable)的另一侧。
可选地，比如，使用带有附加光学标记或附加导航标记的指针，或者使用集成到光学头戴式显示器中的图像或视频捕获系统，以及诸在微软在微软全息眼镜中提供的手势识别软件来检测他的手指，或者使用带有附加的光学标记或导航标记的手指，外科医生可以指向并识别龈沟点，再如，大转子和股骨颈之间的最低点，作为额外参考。然后，可以在髋关节的术前或术中正位射线照片上确定连接大转子的最上面和小转子的最上面的线；可选地，还可以在正位射线照片(AP radiograph)上检测龈沟点。正位射线照片可以包括外科医生用于选择和确定尺寸的模板，比如，股骨和髋臼组件组件，以及衬垫和/或股骨头。射线照相模板可包括股骨颈切割指示。可以确定连接大转子的最上方面与小转子的最上面的线和股骨颈切割指示之间的角度。图4C的例证说明第二虚拟平面73(虚拟股骨颈切割平面73)然后可由光学头戴式显示器投影或显示，其也垂直于如虚拟平面70的手术台，后者与大转子71的最上面和小转子72的最上面相切，并且股骨颈切割平面73与任意虚拟平面的角度和/或距离，和大转子最上面和小转子最上面的连接线和射线照片上的股骨颈切割指示之间的角度和距离相同。以这种方式，可以使用基于手术中放置的虚拟平面规定或预定的第二虚拟平面来定义股骨颈切割平面，手术中放置的任意虚拟平面由手术者移动，以与大转子最上方和小转子最上面相切。以这种方式规定和投射或显示的虚拟股骨颈切割平面也可以是虚拟导板，比如，投射用于引导物理锯的虚拟槽的虚拟切割块。虚拟导板或虚拟切割块可以具有与物理导板或切割块相同的一个或多个维度，使得物理导板或切割块可以与虚拟导板或切割块对准。虚拟导板或切割块可以是物理导板或切割块的轮廓，二维图或三维图，部分轮廓或完整轮廓，具有一个或多个相同的尺寸，使得外科医生可以将物理导板或切割块与虚拟导板对准或切割块。虚拟导板或切割块可包括物理导板或切割块的放置标记。
如果射线照相放大倍率(radiographic magnification)是规定诸如基于第一虚拟平面的虚拟切割平面的第二虚拟平面的关注点，比如，平面与从一个或多个解剖标志或一个或多个解剖学轴或生物力学轴相切或交叉，以与术前射线照片结合或从术前射线照片衍生的角度，能够可选地结合测量距离和应用校正放大倍率。比如，与虚拟平面相切或与虚拟平面相交的一个或多个解剖标志之间的距离，可以在患者实时数据中测量，并且可以在射线照片上测量。如果射线照相距离大于或小于现场患者的距离，则可以应用放大倍率校正，比如，第一虚拟平面之间的距离，诸如与一个或多个解剖标志或一个或多个解剖学轴或生物力学轴相切或相交的平面，和诸如虚拟截平面之类的第二虚拟平面，可以基于射线照相放大倍率系数来校正。
在另一示例中，可以在膝盖置换中将任意虚拟平面投影或显示在手术野之外或之上。可选地，任意虚拟平面至少最初垂直于手术台或者与手术台成一定角度。如果腿部的机械轴已经在前面的步骤中使用术中测值确定，比如，贴于大腿的光学标记和贴于踝关节的一个或多个光学标记，用于使用集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像捕获或视频捕获系统确定髋关节的旋转中心和踝关节的中心，虚拟平面可以被配置为垂直于腿的机械轴。使用诸如接触区域的虚拟接口，以及集成或附接到光学头戴式显示器和可选手势跟踪软件的图像或视频捕获系统，外科医生可以移动和/或重新对准虚拟平面，比如，与暴露膝关节的内侧和外侧关节空间相交，比如，增大屈曲度或以 5，10，15，20，30，45屈曲度或更大屈曲度。图5的实例是膝盖中的任意虚拟平面74，其与延伸的内侧76和外侧75关节空间相交。
然后，可选地投射一个或多个附加的虚拟平面，比如，与手术台垂直或以另一角度投射，或者使用期望的股骨组件弯曲角度或期望的胫骨斜度。外科医生可选地移动这些一个或多个虚拟平面以与一个或多个解剖轴线重合，比如，在现场患者体内的解剖学股骨干轴线或解剖学胫骨轴轴线。外科医生还可以移动虚拟平面以在股骨凹口的中心放置和定向，虚拟平面平行于凹口壁并且在内侧和外侧股骨干皮质之间居中延伸，可作为估计解剖学股骨干轴的手段。
一旦确定或估计了解剖股骨轴和/或胫骨轴，就设计了包含股骨和胫骨切除(femoral and tibial resection)的虚拟手术计划，以实现期望的股骨机械轴矫正，比如，从患者的机械轴对准矫正，比如，5,10,15度的内翻或外翻，到正常的机械轴对准或任何所需残差，比如，可以形成或产生先天性内翻或外翻。植入体尺寸和所需的聚乙烯厚度可以计入虚拟手术计划中。然后，光学头戴式显示器可以基于虚拟手术计划和/或术中测值，期望的内翻和/或外翻校正，期望的斜度和/或期望的植入体旋转来投射虚拟手术切割平面。然后，外科医生可以将物理锯片与投射或显示的虚拟锯片对准。或者，光学头戴式显示器可以显示虚拟导板或虚拟切割块，其具有与物理导板或物理切割块相同的至少一个或多个维度，并且外科医生可以将物理切割导板或切割块与虚拟导板或切割块对准，在物理导板或切割块中，将锯片插入件理导板或切割块并执行一个或多个块。
投射任意虚拟平面和将它们与一个或多个解剖标志，解剖轴或生物力学或机械轴对准的前述概念，可应用于任何关节以及脊柱。类似地，这些概念可以应用于脑外科手术，其中一个或多个虚拟平面可以被投影或显示并移动以与一个或多个解剖标志相切或截取，比如，脑回，脑桥，小脑等。类似地，这些概念可以应用于器官手术，其中一个或多个虚拟平面可以被投射或显示并移动以与一个或多个解剖标志相切或截取，比如，肝门和前肝边缘，一个或多个心脏瓣膜等
其他任意的二维和/或三维虚拟形状或轮廓或表面，比如，立方体，长方体，棱柱，圆锥体，圆柱体，球体，椭圆体衍生的三维形状，不规则形状等，可以虚拟投影或显示，并自动或使用虚拟或其他用户界面移动，定向或对准以重合，与以下相切，交叉，部分或完全迭加：患者解剖学，病理学，解剖轴，包括机械轴的生物力学轴，解剖学平面，三维形状，二维和/或三维几何形状，三维表面和/或任何内部器官的三维体积，患者的软组织或硬组织；在移动，定向或对准之后，可以测量二维和/或三维虚拟形状或轮廓或表面的坐标信息。可选择，基于坐标信息，执行额外的术中测值，和/或，可选择使用该信息开发或修改虚拟手术计划。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的方法(包括解剖标志)来配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同方法或本说明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。可选地，不同的解剖标志也可以用于第一次配准和任何后续配准。或者，相同的解剖标志可以用于第一次配准和任何后续配准。
使用光源来引用现场解剖标志
跟踪器或指示设备也可以是光源，其可以在患者组织上产生由激光产生的红点或绿点，突出显示用于配准的解剖标志。可以选择具有强度和/或颜色的光源，其将容易地将其与患者的活组织区分开。
激光器或其他光源可选地集成到光学头戴式显示器中或附接到光学头戴式显示器，比如，激光器或光源可以集成到或连接到连接光学头戴式显示器的左眼和右眼部分之间的框架件的桥接件，比如，在鼻区上。
比如，集成到或附接到或耦合到光学头戴式显示器的图像捕获，可用于识别光在患者组织或患者的解剖标志上的位置。一旦光被引导到患者实时数据上的期望位置，具体地，患者的现场解剖标志，就可以通过执行配准命令来执行配准，将患者实时数据和虚拟数据配准，比如，激光或其他光线反射的现场解剖标志和患者的相应虚拟解剖标志。可以针对不同的解剖标志重复该过程，比如，通过将光源指向患者的下一个现场解剖标志，确认光的准确位置或指向，比如，可以通过光学头戴式显示器的图像捕获设备和软件捕获从现场患者解剖标志反射的红色或绿色激光点，并且可以将下一个解剖学现场解剖标志与患者的相应虚拟解剖标志配准。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。以这种方式，光学头戴式显示器，患者实时数据和患者虚拟数据可以在共同坐标系中配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
在一些实施方案中，将使用患者的一个以上的实时和虚拟解剖标志，比如，两个，三个或更多。
在本发明的一些实施方案中，超声波或射频发射器可用于精确定位某些现场解剖标志。比如，超声波发射器或射频发射器可以合成到点设备中，比如，指示设备的尖端。当尖端接触期望的现场解剖标志时，发射器可以发射可在接收站点捕获的超声波信号或射频信号，可选地，将信号集成到光学头戴式显示器中。可选地，比如，作为提高实时数据配准的准确性的手段，可以在空间上不同的位置使用多个接收站点。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
在本发明的一些实施方案中，指针的尺寸先前已被扫描并与光学头戴式显示器配准。连接到光学头戴式显示器，与光学头戴式显示器集成或耦合到光学头戴式显示器的图像和/或视频捕获系统可以识别实时数据中的指针并且可以识别指针的尖端。当指针的尖端触碰患者身上与虚拟数据中的解剖标志对应的现场解剖标志时，外科医生可以点击以指示已成功互相参照。然后，可选地将两个数据点融合或迭加在共同坐标系中。虚拟和实时数据和数据点可以包括骨赘或骨刺或其他骨骼解剖结构或畸形，或可以从骨赘或骨刺或其他骨骼解剖结构或畸形中产生。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
解剖标志可以包括未改变的表面形状，比如，皮肤，诸如鼻尖，双眼之间的距离，耳朵的位置，耳朵的形状等面部特征。
解剖标志也可以是骨性解剖标志，比如，内踝或外踝，胫骨结节，内侧或外侧上髁，滑车凹陷，棘突等。虚拟和实时数据以及虚拟和现场解剖标志可以包括骨赘或骨刺或其他骨骼解剖或畸形。
可选地，活体解剖表面可用于配准目的。在该实施方案中，可以在手术期间使用光扫描，红外扫描或超声技术或超声扫描技术来导出实时解剖表面。以这种方式检测和生成的患者活体表面可以与患者虚拟表面匹配或对准，比如，使用诸如X射线成像，超声，计算机断层扫描或核磁共振或本领域已知的任何其他技术的影像学检查在术前获得。虚拟和实时数据和解剖学表面可包括骨赘或骨刺或其他骨骼解剖或畸形。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的方法配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同方法或本说明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。
使用植入式或附接式标记或，校准或配准体模，或包括光学标记的设备，配准患者虚拟数据和患者实时数据。
在本发明的一些实施方案中，外科医生可选地使用植入式式或附接式标记配准患者实时数据和虚拟数据。比如，如果手术范围非常广泛并且导致手术部位中的组织被移除，则该实施方案是有用的，脑外科手术符合这种情况，比如，去除脑肿瘤，还有诸如切除肝肿瘤等肝脏手术，关节置换手术和许多其他类型的手术。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
植入式标记，附接式标记，皮肤标记，软组织标记，校准或配准体模或装置，以及在整个申请中所用图像捕获标记等术语，包括光学标记，比如，具有不同几何形状或图案的光学标记，带二维码(QR code)，条形码，字母数字代码的光学标记。可以在实际手术之前植入植入式或附接式标记物或校准或配准体模或装置，并且可以将其包括在术前，术中和/或术后图像中。植入式或附接式标记物或校准或配准体模或装置，可植入或附于骨赘或骨刺或其他骨骼解剖结构或畸形。
如果虚拟图像数据中存在植入式或附接式标记或校准或配准模型或装置，因为外科医生可以接触目标组织和放置在靶组织旁边或靶组织内的植入式标记物，则外科医生可以在切割后随时识别植入式或附接式标记或校准或配准模型或装置。这种植入式或附接式标记或校准或配准体模或装置，可以包括辐射甜菜(radiation beets)或金属甜菜(metallic beets)，比如，也用于立体成像或配准。
或者，可以在手术期间放置植入式或附接式标记物或校准或配准体模或装置，比如，通过光学头戴式显示器图像捕获，或通过附着的光学头戴式显示器，整合或耦合的光学头戴式显示器图像捕获，可以确定植入式或附接式标记或校准或配准模型或设备的位置。然后，可以将患者实体数据中的植入式或附接式标记或校准或配准模型或装置的位置，与附在患者虚拟数据中的植入式或附接式标记或校准或配准模型或装置的解剖结构的位置匹配。比如，虚拟和实时数据中的解剖结构可包括骨赘或骨刺或其他骨骼解剖或畸形。在一些实施方案中，指针或指示设备可选地放置在植入式或附接式标记或校准或配准模型或设备上，然后，通过光学头戴式显示器和连接到光学头戴式显示器并与光学头戴式显示器连接或耦合的其他图像捕获设备进行图像捕获，并且配准指针尖端。以这种方式，光学头戴式显示器，植入式或附接式标记或校准或配准体模或包括光学标记的装置，以及通过使用植入式或附接式标记或校准或配准体模或包括光学标记的装置，可以将一个或多个植入式或附接式标记或校准或配准体模或包括光学标记的装置附接到其上的解剖结构，病理结构，器械，植入体组件和任何其他物体，和患者虚拟数据，可以在共同坐标系中配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
植入式或附接式标记或校准或配准体模或装置可包括刚性或固定的配准标记。当外科手术野改变时，这种刚性或固定的配准标记可用于保持配准。刚性或固定的配准标记可以是螺钉或钉。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。刚性或固定配准标记可以附着于骨赘或骨刺或其他骨骼解剖结构或畸形。在一些实施方案中，正在植入的医疗装置或其组件已经暂时或永久地附着于患者组织，在手术期间，比如，在手术的后续步骤完成时，骨赘或骨刺或骨骼解剖或畸形，或解剖部位或手术部位可用作植入式或附接式标记或校准或配准体模或装置。这些后续步骤可以包括植入医疗装置的附加组件。比如，在脊柱融合手术中，可以植入第一椎弓根螺钉。可以配准第一椎弓根螺钉的实时数据和虚拟数据。通过使用配准的第一椎弓根螺钉保持实时数据和虚拟数据之间的配准，可以在光学头戴式显示器中虚拟显示随后的椎弓根螺钉或其他组件，包括它们的预期路径，地点，位置或方向。任何其他刚性或固定的配准标记或植入式装置可以这种方式用于人体的不同类型的外科手术。
一个或多个植入式或附接式标记或校准或配准体模或装置附接到骨，软骨，软组织，器官或病理组织，比如，骨赘或骨刺或其他骨解剖结构或变形等。
一个或多个植入式或附接式标记或校准或配准体模或装置可选地包括光学标记，逆向反射标记，红外标记或射频标记或本领域中描述的任何其他标记装置。
光学标记是反射可见光谱内光线的标记，即人眼可见的电磁波谱部分，波长约为390至700nm或频带约为430-770THz。光学标记还可以反射包括可见光谱内的不同波长的混合光。光学标记反射的光，可以由集成到光学头戴式显示器中，附着到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来检测。通过使用与光学头戴式显示器集成，连接或分离的可进行相关图像处理的图像和/或视频捕获系统，以及可选的模式识别软件和系统，可以检测光学标记的地点，位置，方向，准直和/或移动方向。光学标记可包括图像和/或视频捕获系统(比如，集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的)可识别的具有选定几何图案和/或几何形状的标记，比如，使用图像处理和/或模式识别技术。光学标记可以选择字母代码或图案和/或数字代码或图案和/或字母数字代码或图案或其他代码或图案组成的标记，诸如集成到光学头戴式显示器中，附着到光学头戴式显示器或与光学头戴式显示器分离的图像和/ 或视频捕获系统可以识别的条形码或二维码，比如，使用图像处理和/或模式识别技术。二维码或快速响应代码包括条形码在内的任何当前或下一代矩阵代码。条形码和二维码是机器可读光学卷标，其上信息包括，比如，带有患者标识符，患者状况，手术类型的患者信息，手术部位信息，如果进行脊柱手术则手术的脊柱节段信息，患者手术侧信息，一个或多个手术器械信息，一个或多个试验植入体信息，一个或多个植入体组件信息，包括所用植入体类型和/或植入体尺寸，聚乙烯类型，髋臼内衬类型(比如，标准，唇形，偏移，其他)，如果髋关节预期更换。二维码可以使用不同的标准化编码模式，比如，数字，字母数字，字节/二进制和/或汉字存储数据等。可以使用其他编码模式。可以使用任何当前和/或未来版本的二维码。可以使用单色或多色编码的二维码。其他图形标记，比如，Vuforia(PTC，Needham，Mass)增强现实平台支持的图形标记也可以使用。
条形码，二维码或其他图形标记可以是光学标记。条形码，二维码或其他图形标记可以是光学标记的一部分或者可以集成到光学标记中。可以包含相同的二维码或条形码或其他图形标记
-与患者和/或手术部位有关的信息，比如，患者标识符，年龄，性别，BMI，病史，危险因素，过敏，部位和侧面(左，右)，要手术的脊柱节段
-与库存管理有关的信息，包括手术器械和/或植入体或植入体组件，比如，左右组件，选定的组件大小(与虚拟手术计划和/或模板和/或大小匹配)
并且可用于获得关于手术部位，手术改变组织，一个或多个手术器械和一个或多个试验植入体和/或植入体组件的地点，位置，方向，准直和/或移动方向(如果适用)等信息。
几何图案，几何形状，字母，数字，字母数字以及包括在一个或多个光学标记中或其一部分中的条形码和二维码的其他代码或图案可以被预定义，并且，可选地存储在可由图像和/或视频捕获系统及相关图像处理软件和模式识别软件访问的数据库中。几何图案，几何形状，字母，数字，字母数字以及包括在一个或多个光学标记中或其一部分中的条形码和二维码的其他代码或图案可以是二维图像，而一些是三维图像。比如，可以在选择的实施方案中使用一个或多个平面或二维图案。或者，可以使用选择的三维几何形状，比如，立方体，长方体，棱柱，圆锥体，圆柱体，球体。可以使用任何三维形状，包括不规则形状和/或不对称形状。三维几何形状可以包括二维几何图案和/或字母，数字，字母数字以及包括一个或多个表面上的条形码和二维码的其他代码或图案。比如，如果使用长方体，则相同或不同的几何图案和/或字母，数字，字母数字和其他代码或图案(包括条形码和二维码)可以包括在，附加到或集成到其中一个或多个表面，诸如两个相对的表面或两个相邻的表面，比如，垂直定向。二维几何图案和/或字母，数字，字母数字和其他代码或图案(包括条形码和二维码)包括在，固定到或集成到三维几何形状的一个或多个表面，可用于确定方向选择包括光学标记在内的几何形状的表面，以及表面的方向和/或对准，以及几何形状，比如，与手术部位和与手术改变的关系，具体包括切割骨表面或扩孔骨表面，手术器械和/或包括试验植入体的一个或多个植入体组件。
几何图案和/或几何形状，字母，数字，字母数字和包括条形码和二维码的其他代码或图案可以是彩色的或黑白的。几何图案和/或几何形状和/或字母，数字，字母数字和包括条形码和二维码的其他代码或图案可包括彩色和黑白部分，仅包括彩色部分和仅包括黑白部分。几何形状可以包括包括彩色和黑白表面，仅包括黑白表面，以及仅包括彩色表面。不同颜色和不同颜色的代码可用于光学标记的几何形状部分的不同表面。不同颜色和不同颜色的代码可用于不同的几何图案和/或几何形状和/或字母，数字，字母数字和包括条形码和二维码的其他代码或图案。不同颜色和不同颜色的代码可用于不同的光学标记。不同的颜色，比如，红色，蓝色，绿色，橙色，青色等，可用于不同的几何图案和/或几何形状和/或字母，数字，字母数字和其他代码或图案，包括条形码和二维码。不同的颜色，比如，红色，蓝色，绿色，橙色，黄色，粉红色，青色等，可用于不同的光学标记。不同的光学标记可以任选与不同的手术步骤和/或不同的手术器械和/或不同的植入体组件相关联；可以通过使用标准图像处理和/或模式识别软件集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来识别特定标记的使用，所述图像和/或视频捕获系统可选地包括图案数据库，比如，与特定手术步骤和/或手术器械关联的图像数据库。由于图像和/或视频捕获系统识别视场中的特定光学标记，比如，基于特定几何图案和/或几何形状和/或字母，数字，字母数字和包括条形码的其他代码或图案。然后，它可以选择性地显示与该光学标记相关的相应手术步骤和/或手术器械和/或植入体组件。
二维几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案，可选地彩色和/或黑白编码，包括在，附加或集成到一个或多个三维几何形状表面中，可以用来确定几何形状的选择表面的方向和/或几何形状的选择表面对准，几何形状和/或光学标记的方向和/或对准，比如，比照解剖学标志，手术部位，手术交替，具体包括：切割骨表面或扩孔骨表面，手术器械和/或包括试验植入体的一个或多个植入体组件等。一个或多个二维几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案，可选地彩色和/或黑白编码，包括在，附加或集成到光学标记物，可以用来确定固定到或集成到解剖学标志，手术部位，手术交替的光学标记物的方向和/或对准，比如，切割骨表面或扩孔骨表面，手术器械和/或包括试验植入体的一个或多个植入体组件等。光学标记可以固定到解剖标志，手术部位，手术改变(比如，可以在患者虚拟数据中识别的切割骨表面或扩孔骨表面，或患者钻孔以及相应的解剖标志，手术部位或手术改变)，从而能够在同一坐标系中配准患者的虚拟数据和实时数据。如果在手术期间使用多个光学头戴式显示器，光学标记物也可以连接到光学头戴式显示器，包括多个光学头戴式显示器。选择性，光学标记(比如，使用二维码)，可以用于区分第一，第三，第四和/或更多光学头戴式显示器。可选地，一个或多个光学标记可以附接到手术台，并且它们可以在坐标系中配准，比如，在同一坐标系，可以配准一个或多个光学头戴式显示器，患者和手术部位的部分。一个或多个光学标记可以选择性连接到手术室中的其他结构，包括固定结构(比如，墙壁)和可移动结构(比如，手术室灯)，它们可以在坐标系中配准，比如，可以在同一坐标系配准一个或多个光学头戴式显示器，患者和手术部位的部分。在该示例中，光学标记也可以安装到保持臂或延伸器上的固定结构上，可选地移动式，比如，具有已知的尺寸，方向，长度和角度。
附接到诸如手术室壁(OR walls)的固定结构的光学标记可用于增强房间识别和空间映射的准确性，特别是当已知不同光学标记之间的坐标和/或角度和/或距离时。连接到固定结构(比如，手术室壁)的光学标记也可用于增强确定一个或多个光学头戴式显示器的位置和姿势以及位置或姿势的变化或坐标和坐标的变化，这可以帮助增加虚拟数据显示的准确性，以及在相应实时数据上迭加的准确性。
附接到可移动结构的光学标记可用于跟踪它们在手术室中的位置。连接到手术室灯的光学标记可用于估计光的方向以及手术室或房间中阴影的方向和/或轨迹。如果已知手术室或房间中的阴影的方向和/或轨迹，则具有相同或相似方向或轨迹的虚拟阴影可应用于光学头戴式显示器的虚拟数据显示。
比如，包括一个或多个几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案的一个或多个光学标记，可以附接到内侧股骨上髁，比如，使用钉或螺钉或粘合剂。集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于监视光学标记相对于图像/或视频捕捉系统的位置，和/或方向和/或对准和/或移动方向；当远端股骨移动时，图像和/或视频捕获系统可以检测标记(比如，基于其预程序设计的几何形状，几何图案，字母，数字，字母数字以及包括条形码和二维码的其他代码或图案)，并且可以监控和可选地配准运动。如果在同一示例中，将包括一个或多个几何形状，几何图案，字母，数字，字母数字和其他代码或图案(包括条形码和二维码或其组合)的第二光学标记附接到外侧股骨髁，则图像和/或视频捕获系统还可以监视和可选地配准第二光学标记相对于图像和/或视频捕获系统的位置，和/或方向和/或对准和/或移动方向；通过监测第一光学标记物在内侧股骨上髁上的位置和/或方向和/或对准和/或移动方向以及第二光学标记物在股骨外上髁上的位置和/或方向和/或对准和/或移动方向，图像和/或视频捕获系统以及相关的图像处理和模式识别软件还可以监测和可选地配准股骨上髁轴的运动(比如，在膝盖的屈曲和伸展期间)。包括一个或多个几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案的一个或多个光学标记可以附接到近端胫骨(比如，近端胫骨)，胫骨前缘，内侧和/或外侧胫骨脊，内侧平台的最低点和/或外侧胫骨坪的最高点。比如，在同一实例中。集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于监视附接到胫骨的光学标记相对于图像和/或视频捕获系统以及与一个或多个股骨光学标记的位置，和/或方向和/或对准和/ 或移动方向，从而监测并且可选地配准胫骨股动作，比如，在手术期间。包括一个或多个几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案的一个或多个光学标记可以附着到髌骨(比如，在同一示例中的最上面，最下面，最侧面和/或最内侧)。集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于监视附接到髌骨的光学标记相对于图像和/或视频捕获系统以及与一个或多个股骨光学标记的位置，和/或方向和/或对准和/或移动方向，从而监测并且可选地配准髌股动作，比如，在手术期间。集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于监视附接到髌骨的光学标记相对于一个或多个胫骨光学标记物的位置，和/或方向和/或对准和/或移动方向，从而监测并且可选地配准与胫骨相关的髌骨运动，比如，在胫骨内收或外展期间。
在本发明的一些实施方案中，使用一个或多个特定几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案的光学标记，可以指定给虚拟手术步骤。标记可以包括定义外科手术步骤或对应于外科手术步骤的书面文本，其可以是紧接在前的外科手术步骤或下一手术步骤，比如，在虚拟外科手术计划中。在一些实施方案中，文本可以是数字(比如，对应于特定手术步骤的数位)，比如，1-用于远端股骨切割，2-用于股骨前切割，3-用于后股骨切割，4-用于第一倒角切割，5-用于第二倒角切割。该数字可以由图像和/或视频捕获系统识别，然后，图像和/或视频捕获系统可以显示相应外科手术步骤的虚拟视图，比如，1-用于远端股骨切割的切割平面或相应物理远端股骨切割块的虚拟轮廓。可以使用数字和文本的组合，并且图像和/或视频捕获系统以及相关软件和可选模式识别软件和系统可以识别数字和文本并触发命令以显示相应虚拟手术步骤的对应虚拟视图，比如，1F-远端股骨切割，2F-股骨前切口，1T-近端胫骨切割，2T-胫骨龙骨等。
在另一示例中，具有一个或多个特定几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案的光学标记可以被分配给患者全膝关节置换虚拟手术计划中的“远端股骨切割”步骤；光学标记物可包括文本“远端股骨切割”。比如，外科医生可以将标记物固定到远端股骨的切割骨表面或与其相邻的某处。集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以检测具有分配给“远端股骨切割”的一个或多个特定几何图案和/或特定几何形状的光学标记，指示远端股骨切割已经完成；然后，图像捕获信号可以向光学头戴式显示器发出命令以显示下一外科手术步骤(比如，当外科医生准备进行下一次切割时，前切割平面或前切块或切割导板的轮廓)，比如，在这一实例中的股骨前切割。
在一些实施方案中，使用一个或多个特定几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案的光学标记，可以被集成到，包括在，或者附着在用于虚拟手术计划中的手术步骤的手术器械上。比如，光学标记物可以包括在外科切割块或切割工具中，集成到或附接到外科切割块或切割工具中，比如，用于近端胫骨切割。可选地，标记可以包括定义外科手术步骤或对应于外科手术步骤的书面文本，比如，在虚拟手术计划中。在前面的示例中，具有一个或多个特定几何形状，几何图案，字母，数字，字母数字和其他代码或图案(包括条形码和二维码或其组合)的光学标记可以被分配给在患者全膝关节置换的虚拟手术计划中的“近端胫骨切割”步骤“；光学标记物可包括外科医生可读取的文本“近端胫骨切割”，并确保正确的标记物用于他或她正在考虑的下一外科手术步骤，在该示例中为近端胫骨切割。
当光学标记物进入外科医生的视野时，集成到或连接到外科医生头部上的光学头戴式显示器的图像和/或视频捕获系统可以检测光学标记物并显示下一个虚拟手术步骤，比如，对应于物理近端胫骨切割块的虚拟近端胫骨切割块的轮廓，使得外科医生可以将物理手术切割块或器械对准或迭加到虚拟手术切割块或器械的轮廓上。或者，当光学标记物进入外科医生的视野时，集成到或连接到外科医生头部上的光学头戴式显示器的图像和/或视频捕获系统可以检测光学标记物并显示下一个虚拟手术步骤，比如，具有预定切除水平，内翻或外翻角和/或斜度的虚拟切割平面，使得外科医生可以将物理手术切割块和/或物理手术锯与虚拟切割平面对准或迭加。一旦外科手术步骤完成，比如，近端胫骨切割，并且外科医生从手术野和/或图像和/或视频捕获系统的视野中移除具有集成的，包括的或附接的光学标记的物理手术器械，图像和/或视频捕获系统可以检测到光学标记不再存在于视野中，并且软件可以生成关闭光学头戴式显示器屏幕或完成虚拟手术步骤的屏幕的命令。可选地，此时可以生成命令，可选地自动生成命令，以显示下一手术步骤(比如，胫骨龙骨冲头)，比如，设定胫骨旋转。或者，光学头戴式显示器装置的显示器可以显示下一手术器械的下一手术步骤，同时，带有用于下一手术步骤的相应光学标记的下一手术器械进入视野，比如，在外科医生的手中。
在类似的示例中，光学标记物可以附接到用于髋关节置换的髋臼扩孔器。集成到或连接到光学头戴式显示器的图像和/或视频捕获系统可以在光学标记进入外科医生的视野时检测光学标记，触发命令以显示扩孔轴或具有扩孔步骤的预期对准或方向的扩孔器的虚拟显示；当外科手术器械的光学标记器离开外科医生的视野时，图像和/或视频捕获系统可以检测到它触发命令以停止扩孔器的显示或扩孔器的虚拟显示，可选地切换到下一外科手术步骤。
在一些实施方案中，一个或多个光学标记可以包括在，集成到或附接到用于切割块或导板的插入件中。插入件可以配置成配合到切割块或导板内的一个或多个槽或导板中，以引导锯片。比如，代表性切割块或导板是用于膝盖置换，肩部置换，髋关节置换和踝部置换的切割块或导板。比如，这些切割块或导板用于移除关节表面处的骨，以使患者的骨骼适合植入体或植入体组件的面向骨的侧面。插入件可以设计成部分或基本上填充整个槽或导板，比如，根据切割块或导板的形状和/或设计，在X和Y方向上或X和Z方向上或 Y和z方向上。如果插入件在X和Y方向上部分地填充或基本上填充槽或导板，则插入件可以配置成在Z方向上延伸超过槽或导板。如果插入件在X和Z方向上部分地填充或基本上填充槽或导板，则插入件可以配置成在Y方向上延伸超过槽或导板。如果插入件在Y和 Z方向上部分地填充或基本上填充槽或导板，则插入件可以配置成在X方向上延伸超过槽或导板。根据切割块或导板的配置以及相关槽或导板的配置，任何方向都是可能的，包括倾斜方向，正交方向和非正交方向。比如，斜槽可用于全膝关节置换中的倒角切除或全踝置换中的倾斜距骨切割。
插入件的延伸超出狭槽或导板的部分可以包括一个或多个集成或附接的光学标记。如果使用一个以上光学标记，则光学标记可以以预定角度和位置排列，比如，90度或小于90度或大于90度。插入件可具有与用于切割块或导板的代表性锯片相似的尺寸。插入件可以指示随后将插入锯片的地点，位置，方向，对准和行进方向。外科医生可以将插入件放置在物理切割块或导板的狭槽或导板内，并使插入件对准由光学头戴式显示器投射到手术部位的插入件或切割块或导板的虚拟切割平面或虚拟轮廓，比如，全膝关节置换术中的远端股骨或全髋关节置换术中的近端股骨。一旦插入件与插入件或切割块或导板的虚拟切割平面，虚拟轮廓基本对准和/或迭加后，外科医生就可以将物理切割块或导板固定到骨骼上，从而将切割块或导板固定到骨骼上，在此固定位置，虚拟手术计划，比如，插入件或切割块或导板的虚拟切割平面或虚拟轮廓，基本上与物理切割平面和/或物理插入件或切割块或导板对准。然后，外科医生可以插入物理锯片并进行物理切割。插入件可以配置成具有与物理锯片基本相似的形状，用作假锯片。
或者，外科医生可以将物理锯片(physical saw)放置在物理切割块或导板的槽或导板内，并且外科医生可以将物理锯片与由光学头戴式显示器投射到手术部位的锯片或切割块或导板的虚拟切割平面或虚拟轮廓对准，比如，全膝关节置换术中的远端股骨或全髋关节置换术中的近端股骨。一旦物理锯片基本上与锯片或切割块或导板的虚拟切割平面，虚拟轮廓对准和/或迭加，外科医生就可以将物理切割块(physical cutting block)或导板钉在骨头上，从而将切割块或导板固定骨骼上，在固定位置，虚拟手术计划，比如，锯片或切割块或导板的虚拟切割平面或虚拟轮廓，基本上与物理切割平面(physical cut plane)和/或物理锯片或切割块或导板对准。然后，外科医生可以推进物理锯片并进行物理切割。
光学标记可包括在切割块或导向装置或插入件中，集成到或附接到插入件或插入件中，比如，假锯片。光学标记也可以附接或固定在锯片上。光学标记可以包括用于外科医生的文本或字母数字代码，其指定特定的外科手术步骤，比如，特定的手术步骤，1F-远端股骨切割，2F-股骨前切割，1T-近端胫骨切割，2T-胫骨龙骨冲头等。光学标记还可以包括一个或多个特定几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案。一个或多个特定几何形状，几何图案，字母，数字，字母数字和其他代码或图案(包括条形码和二维码或其组合)可以特定于外科手术步骤，比如，对应于表示外科医生手术步骤的字母或字母数字代码。当光学标记进入视场时，集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/ 或视频捕获系统可以检测一个或多个特定几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或组合的其他代码或图案；可以使用图像处理和/或模式识别软件来识别特定的几何形状，几何图案，字母，数字，字母数字和其他代码或图案，比如，命令用于在光学头戴式显示器中显示相应的虚拟手术步骤迭加到具有与手术野或目标解剖或骨切割一致的外科医生视角的外科手术野。当去除切割块或导板，插入件(比如，假锯片)，或带有光学标记的物理锯片时，图像和/或视频捕获系统可以检测到光学标记不再存在于视野中，触发命令关闭光学头戴式显示器显示或完成手术步骤的显示或切换到下一手术步骤的显示和相应的虚拟显示。
在本发明的一些实施方案中，一种或多种光学标记物(其选择角度，比如，90度或更小或更大或平行轴或在轴上)，可以包括在切割块或导向装置中，集成到切割块或导向装置中或者附接到切割块或导向装置。
在一些实施方案中，一种或多种光学标记物可以与脊柱外科手术结合使用，比如，椎体成形术，椎体后凸成形术，后脊柱融合术，前脊柱融合术，侧向脊柱融合术和/或椎间盘置换术。比如，一个或多个光学标记可以包括在，集成到或附接到针，钉，锥，探针，球形手柄探针，直探针，弯曲探针，丝锥，棘轮，螺钉刀，杆模板，杆插入器，杆夹，弯管机，插头启动器，压缩机，牵引器，断路器，闭孔器，反扭矩，快速关节，驱动器，牵引器，缩回框架，植入体定位器，卡钳，板保持器，板弯曲器，镊子等。前述列表仅是示例性的，不应解释为限制本发明。一个或多个光学标记可用于指定患者左侧和患者右侧，和/或指定患者的脊柱节段，比如，使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统检测的，并且使用图像处理和/或模式识别来识别的一个或多个几何形状，几何图案，字母，数字，字母数字和其他代码或图案。
可以利用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，使用一个或多个光学标记来确定针，钉，锥，探针，球柄探针，直探针，弯曲探针，螺钉，棘轮，螺钉刀，杆模板，杆式插入器，杆式夹具，弯管机，插头启动器，压缩机，牵引器，断路器，闭孔器，反扭矩，快速关节，驱动器，牵开器，缩回框架，植入体定位器，卡钳，板固定器，弯板机，镊子，铣刀，锯，铰刀，拉刀，撞击器，切割或钻孔块，以及/或其他手术器械和/或试验植入体和/或植入体组件，的地点，位置，方向，对准和/或方位。比如，初始配准或后续配准患者，手术部位，光学头戴式显示器，可选地，集成到光学头戴式显示器，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，病患的虚拟数据和/或实时数据之后，图像和/或视频捕获系统可以检测包括在手术器械中，集成到手术器械中和/或附接到手术器械的光学标记器。由于光学标记物在手术器械上的地点，位置，对准和/或方向是已知的，并且手术器械的尺寸(比如，它们中的至少一个)或几何形状是已知的，因此，图像和/或视频捕获系统可以跟踪光学标记和手术器械的地点，位置，方向，对准和/或运动方向。
在另一示例中，两个或更多个光学标记可以沿着针，钉，锥，探针，球柄探针，直探针，弯曲探针，螺钉，棘轮，螺钉刀，杆模板，杆式插入器，杆式夹具，弯管机，插头启动器，压缩机，牵引器，断路器，闭孔器，反扭矩，快速关节，驱动器，牵开器，缩回框架，植入体定位器，卡钳，板固定器，弯板机，镊子，铣刀，锯，铰刀，拉刀，撞击器，切割或钻孔块，以及/或其他手术器械和/或试验植入体和/或植入体组件，的长轴被集成到或附接到不同的，可选地限定的位置，比如，膝关节置换或髋关节置换中的器械或试验植入体或植入体组件。图像和/或视频捕获系统可以检测两个或更多个光学标记，并且可以确定它们各自的位置。通过定位图像和/或视频捕获系统捕获和定义的两个或更多个光学标记，可以确定针，钉，锥，探针，丝锥，铣刀，锯，铰刀，拉刀，撞击器和/或手术器械和/或试验植入体和/或植入体组件的长轴；除了长轴之外或者代替长轴，可以确定其他轴。随着光学标记在针，钉，锥，探针，丝锥，铣刀，锯，铰刀，拉刀，撞击器和 /或其他手术器械和/或试验植入体和/或植入体组件上的位置已知，针，锥，探针，丝锥，磨，锯，铰刀，拉刀，撞击器和/或其他手术器械和/或试验植入体和/或植入体组件的长轴或其他轴已知，以及针，钉，锥，探针，丝锥，铣刀，锯，铰刀，拉刀，撞击器和 /或其他手术器械和/或试验植入体和/或植入体组件的尺寸已知，针，钉，锥，探针，丝锥，铣刀，锯，铰刀，拉刀，撞击器和/或其他手术器械和/或试验植入体和/或植入体组件的部分被组织隐藏，比如，在皮肤下方和/或肌肉内部，除了虚拟或预期的路径或投射路径或虚拟手术计划的任何其他方面之外，还可以由光学头戴式显示器估计和可选地显示。不是在前述实施方案中使用两个或更多个光学标记，而是，还可以使用足够长或足够宽或足够深的光学标记以限定针，钉，锥，探针，丝锥，铣刀，锯，铰刀，拉刀，撞击器和/或其他手术器械和/或试验植入体和/或植入体组件的一个或多个轴。
可选地，当使用包括在手术器械中，集成到手术器械中或附接到手术器械的两个或更多个光学标记物时，光学标记物可以以相同的角度布置，比如，平行或在相同的轴上，或以不同的角度，比如，正交角度或非正交角度。当光学标记包括几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案中的一个或多个时，这可能特别有用。通过以这种方式布置光学标记和任何相关的几何形状，几何图案，字母，数字，字母数字和其他代码或图案(包括条形码和二维码或其组合)，确定手术器械的角度方向更准确。比如，自集成到或连接到光学头戴式显示器的图像和/或视频捕获系统的某些视角处选择手术器械上第一光学标记物的几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案，由于角度方向，仅部分可视化或根本不可见；当第二光学标记物在同一手术器械上以不同的角度，位置和/或方向定向时，从集成到或附接到光学头戴式显示器的图像和/或视频捕获系统到第二光学标记物的视角，可以允许完整或更完整地显示一个或多个几何形状，几何图案，字母，数字，字母数字和包括条形码和二维码或其组合的其他代码或图案，从而允许更准确地确定第二光学标记物的角度取向，并由此确定手术器械。另外，由图像和/或视频捕获系统测量的第一光学标记和/或第二光学标记的相应投影，当使用两个或更多个摄像头时可可选择任何视差信息配对(比如，一个位于左眼附近，另一个位于右眼附近)，可用于更准确地确定它们的相对位置和手术器械的位置。
与光学头戴式显示器集成，连接或分离的图像和/或视频捕获系统检测包含在，集成到或附着在以下的光学标记：针，钉，锥，探针，球柄探针，直探针，弯曲探针，螺钉，棘轮，螺钉刀，杆模板，杆式插入器，杆式夹具，弯管机，插头启动器，压缩机，牵引器，断路器，闭孔器，反扭矩，快速关节，驱动器，牵开器，缩回框架，植入体定位器，卡钳，板固定器，弯板机，镊子，铣刀，锯，铰刀，拉刀，撞击器，切割或钻孔块，以及 /或其他手术器械和/或试验植入体和/或植入体组件，当光学标记进入外科医生的视野时，触发命令以显示针，钉，锥，探针，球柄探针，直探针，弯曲探针，螺钉，棘轮，螺钉刀，杆模板，杆式插入器，杆式夹具，弯管机，插头启动器，压缩机，牵引器，断路器，闭孔器，反扭矩，快速关节，驱动器，牵开器，缩回框架，植入体定位器，卡钳，板固定器，弯板机，镊子，铣刀，锯，铰刀，拉刀，撞击器，切割或钻孔块，以及/或其他手术器械和/或试验植入体和/或植入体组件的预定路径或平面，例如，具有预期手术步骤的预期位置，定位和/或准线和/或方向；当手术器械的光学标记器离开外科医生的视野时，图像和/或视频捕获系统可以检测到它，触发命令以停止显示预定的路径或手术器械的虚拟显示器或虚拟手术计划的其他方面，可选地切换到下一个手术步骤和相应的虚拟显示。在脊柱手术以及选择的其他手术中，下一手术步骤可以涉及患者相同脊柱节段的同一侧或患者相同脊柱节段的相对侧，其中对应于给定水平和侧面的下一手术步骤的虚拟显示可以由OHMD显示器启动。下一手术步骤可涉及患者相邻或不同脊柱节段的同一侧或相对侧，其中对于给定水平和侧面的下一手术步骤的相应虚拟显示可由光学头戴式显示器显示启动。
光学标记可包括一个或多个二维码。二维码可以是光学标记中包括的几何图案或几何图形的一部分或可以嵌入其中。光学标记可以是二维码。
如果光学标记物附接到手术器械，则附接可以发生在限定的定位和/或位置和/或对准，比如，在手术器械的末端。附件可以包括具有止挡件的开口，从而限定光学标记在手术器械上的定位和/或位置和/或对准。比如，光学标记器设有带止挡件的开口，该开口足够大，以便容纳外科医生面向钉或钻头的端部，比如，插入棘突或小关节或椎弓根的一部分。利用这种类型的附件和其他附件将标记物固定在手术器械上的限定定位，位置和/或方向上，图像和/或视频捕获系统可以检测光学标记物及其定位，位置和/或方向，据此可以用于确定手术器械的定位，位置和/或方向，比如，针，由于其限定的空间关系和手术器械的已知几何形状，包括其在患者体内的尖端或前部。
在本发明的一些实施方案中，光学标记可用于确定或识别手术改变的位置，定位，方向，对准(alignment)，尺寸，轴或轴线，平面或多个平面。比如，如果在外科手术步骤中进行了骨切割，则可以将一个或多个光学标记附着到切割骨上，以确定其地点，位置，方向，对准，尺寸，形状，几何形状，轴或轴线，平面或多个平面，或其中的一个或多个。比如，一个，两个或更多个光学标记可以放置在切割骨或手术改变的周边或边缘；集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以检测光学标记的定位，位置和/或方向，并且可以使用软件，比如，分析光学标记的定位，位置和/或方向信息，以获得关于切割骨或手术改变的周边和/或边缘和/或形状的信息。一个，两个或更多个光学标记可以放置在切骨或手术改变的附近或其上；集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以检测光学标记的定位，位置和/或方向，并且可以使用软件，比如，分析地点，位置和/或光学标记的方向信息，以获得关于切割骨的形状或几何形状或手术改变的信息。如果骨切割是平面的，则可以保持面向平面骨的表面的一个或多个光学标记或者附接到载体或器械(比如，塑料片)的面向平面骨的表面的一个或多个光学标记，抵靠，固定或者附着在切骨表面；然后，可以使用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来检测一个或多个光学标记，并且可以使用软件，比如，分析一个或多个光学标记的定位，位置和/或方向信息，获得关于骨切割平面的定位和/或位置和/或方向和/或对准的信息，包括与其他解剖标志和/或其他光学标记的关系。用于光学标记的载体或器械可以是透明的或半透明的，以便外科医生可以在确定或确认之前检查或确认载体或器械和附接的光学标记物与骨切割是否齐平，比如，骨头平面。一旦以这种方式确定或确认了骨切割平面，附接到切骨的光学标记和/或骨切割的确定平面可用于计划下一次手术改变，比如，下一次骨折或手术改变，比如，在膝关节置换术中远端股骨切割后的股骨前切割或后股骨切割，或在膝关节置换术后股骨前后切割后切割倒角，或在相对关节表面切开。通过以这种方式确定，确认和/或参考先前的外科手术改变，比如，骨切割，可以改善后续手术步骤的准确性，从而最终提高外科手术的整体准确性。
在本发明的一些实施方案中，一个或多个光学标记可以附着或固定到患者的大腿或远端股骨。比如，一个或多个光学标记可以附接到远端大腿的皮肤，比如，膝盖关节空间上方。可以使用，比如，将一个或多个光学标记物附着到患者皮肤的粘合剂来执行附接。一种或多种光学标记物可选地无菌的。一个或多个光学标记可选地磁性的。在该示例中，磁性基座可选地附接到患者的皮肤，比如，使用粘合剂。然后，可以将透明，半透明或不透明的手术单放置在磁性基座上，然后，将磁性光学标记物附着到附着于患者皮肤的磁性基座上。或者，一旦形成皮肤切口，一个或多个光学标记物可以刚性地附接到一个或多个骨骼，比如，远端股骨和/或近端胫骨。可以使用钉或螺钉或其他附接机构来完成刚性附接。
集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以配准一个或多个光学标记的定位和/或位置和/或方向和/或对准，比如，当腿处于中性时位置(neutral position)和/或延伸位置和/或任何其他位置，包括任意位置或由外科医生和/或手术者选择的位置的时候。然后，外科医生和/或手术者可以将腿和大腿移动到多个不同的位置和/或方向和/或对准，和/或外科医生和/或手术者可以以圆形方式或半圆形方式移动腿和大腿。集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以为多个光学标记的位置和/或位置和/或方向和/或对准和这些腿或大腿的多个不同的位置和/或方向和/或对准配准，和/或在不同的圆形或半圆形运动期间配准多个光学标记的位置和/或位置和/ 或方向和/或对准。得到的信息可用于确定旋转中心，在该示例中，旋转中心可以是髋关节的中心。
在一些实施方案中，踝夹可以应用于患者腿部的踝部。踝夹可包括一个或多个光学标记，包括一个或多个二维码。踝夹和/或光学标记可以是一次性的。利用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，踝关节夹和集成或附接的光学标记可用于确定内踝和外踝的位置，比如，使用踝关节的踝部之间的中心或1/3或2/3距离点。或者，可以将一个或多个光学标记物应用于内踝和/或外踝。在本发明的一些实施方案中，磁性基座可以固定到内踝和外踝上。然后，可以用无菌技术准备和遮盖脚踝，并且可以将一个或多个无菌的磁性光学标记物施加在盖布或外科手术盖上，用一个或多个光学标记将内置的盖布或外科手术盖固定到磁性基座上。然后，可以使用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来识别内踝和外踝上的光学标记以及踝关节的中心，1/3或2/3距离点。
使用大腿或远端股骨处的一个或多个光学标记确定髋关节的中心，以及使用踝夹和/ 或一个或多个光学标记确定踝关节的中心或1/3或2/3距离点后，系统可以获得患者的机械轴，并且可以计划外科手术干预，比如，用相应的股骨和/或胫骨和/或距骨切割矫正内翻或外翻畸形，并随后使用光学头戴式显示器进行投射。
在本发明的一些实施方案中，一个或多个光学标记可以附着或固定到患者的手臂上。比如，一个或多个光学标记可以附接到上臂大腿的皮肤，比如，肘部上方。可以使用，比如，将一个或多个光学标记物附着到患者皮肤的粘合剂来执行附接。一种或多种光学标记物可选地无菌的。一个或多个光学标记可选地为磁性的。在该示例中，磁性基座可选地附接到患者的皮肤，比如，使用粘合剂。然后，可以将透明，半透明或不透明的手术单放置在磁性基座上，然后，将磁性光学标记物附着到附着于患者皮肤的磁性基座上。或者，一旦形成皮肤切口，一个或多个光学标记物可以刚性地附接到一个或多个骨骼，比如，近端肱骨。可以使用钉或螺钉或其他附接机构来完成刚性附接。
集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以配准一个或多个光学标记的定位和/或位置和/或方向和/或对准，比如，当手臂处于中性时位置和/或延伸位置和/或外展位置和/或任何其他位置，包括，由外科医生和/或手术者选择的任意位置或位置。然后，外科医生和/或手术者可以将手臂移动到多个不同的位置和/或方向和/或对准，和/或外科医生和/或手术者可以以圆形方式或半圆形方式移动手臂。集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以为多个光学标记的位置和/或位置和/或方向和/或对准和这些手臂的多个不同的位置和/或方向和/或对准配准，和/或在不同的圆形或半圆形运动期间配准多个光学标记的位置和/或位置和/或方向和/或对准。得到的信息可用于确定旋转中心，在该示例中，旋转中心可以是肩关节的旋转中心。
在本发明的一些实施方案中，一个或多个光学标记可以附接到手术室(OR)的台案。如果光学标记与手术台平行，则单个标记足以确定手术台的主平面，比如，水平面，其可以是患者所在的平面，比如，仰卧，俯卧，横向或倾斜或本领域已知的其他位置。这可以通过使用光学标记来辅助，所述光学标记包括与手术台平行或垂直或以限定角度的表面或平面，并且足够大以便被集成到，附接到或与光学头戴式显示器分开的摄像机，图像或视频捕获系统检测到。比如，光学标记物的这种平面可以测量1×1厘米，2×2厘米， 2×3厘米，4×4厘米，4×6厘米等。或者，可以使用多个(比如，两个，三个或更多)光学标记来确定平面，具体通过对应于手术台的主平面的标记确定平面或平行于手术台的主平面确定平面，或者比如，垂直于手术台的平面确定平面，或者，比如，与手术台成一定角度的平面确定平面。如果手术台被手术单覆盖，则可以在放置手术单之前将一个或多个磁性或附接式的基部附接到手术台。在放置盖布之后，一个或多个磁性或附接式的光学标记可以用插入的手术单附着到磁性基座或附接机构上。或者，可以将一个或多个已知几何形状的保持臂或延伸器连接到手术台上，并且一个或多个光学标记可以连接到或可以集成到保持臂或延伸器上。然后，集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以识别一个或多个光学标记的地点，位置，方向和/或对准。结果信息可用于确定患者躺在其上的手术台的主平面。可以使用集成到光学头戴式显示器中或附接到光学头戴式显示器的图像和/或视频捕获系统，以手术台和/或附接的光学标记为准，来参考一个或多个光学头戴式显示器。一旦在系统中确定了手术台的主平面，就可以在患者的虚拟手术计划中计划手术台主平面的虚拟手术步骤。比如，可以垂直于手术台的主平面计划和/或执行一个或多个骨切割，比如，患者处于仰卧位或俯卧位或任何其他期望位置。可以相对于手术台的水平面以90度以外的限定角度计划和/或执行一个或多个骨切割，比如，使患者处于仰卧或俯卧位置或任何其他期望位置。可以在相对于手术台的主平面或水平面的非正交平面或方向上计划和/或执行一个或多个骨切割，比如，使患者处于仰卧或俯卧位置或任何其他期望位置，可选地参考垂直于手术台的由光学头戴式显示器显示的平面。手术台的主平面可以以这种方式作为参考，包括用于比较或参考患者虚拟数据和患者实时数据，并且包括用于比较或参考虚拟手术计划。可以使用一个或多个虚拟手术导板或切割块和/或一个或多个物理手术导板或切块执行正交角度或非正交角度(比如，相对于手术台或相对于患者的解剖结构，解剖标志，解剖轴或生物力学轴)的骨切割。虚拟手术导板或切割块可包括对应于物理手术导板或切割块的一个或多个尺寸。
附着或引连手术台的一个或多个光学标记物也可以在外科手术过程中用作一个或多个光学头戴式显示器的固定参考。比如，当患者和/或肢体和/或手术部位在手术期间移动时，这可能是有用的。对手术台的固定参考可以帮助维持一个或多个光学头戴式显示器和虚拟手术计划以及患者实时数据和/或手术室的配准。
在本发明的一些实施方案中，一个或多个光学标记可以放置在手术野和/或远离手术野的区域中或附着于患者。集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于识别一个或多个光学标记，并确定它们的地点，位置，方向和/或对准。图像和/或视频捕获系统还可选地确定附接到或参考手术台的一个或多个光学标记的地点，位置，方向和/或对准。该系统可以在手术野中和/或远离手术野和附接到或用作参照的手术台的一个或多个光学标记的区域，参考附接到患者的一个或多个光学标记的坐标和/或空间关系。以这种方式，如果患者的身体在手术期间移动，比如，在髋关节置换时的近端股骨拉削或髋臼扩孔期间，或者在膝关节置换时撞击股骨或胫骨组件期间，或者在钉住或切割骨头期间，或者在放置脊柱装置(比如，融合器子或椎弓根螺钉)期间，可以检测在外科手术野中和/或远离外科手术野的区域附接到患者的一个或多个光学标记和附接到或参考手术台的一个或多个光学标记之间的移动以及在手术野和/或远离手术野的区域附着到患者的一个或多个光学标记的坐标变化，并且可以确定运动量，运动方向和运动幅度；比如，所得到的信息可用于更新或调整或修改虚拟手术计划或更新或调整或修改虚拟手术计划或虚拟手术步骤或虚拟显示器的显示以用于患者的运动，包括，通过更新，移动或调整虚拟手术计划的一个或多个方面和/或部分，包括一个或多个虚拟外科手术工具，虚拟手术器械包括：虚拟手术导板或切割块，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定的起始点，预定的起始位置，预定的起始方向或对准，预定的中间点，预定的中间位置，预定的中间方向或对准，预定的终点，预定的最终位置，预定的端部方向或对准，预定的路径，预定的平面，预定的切割平面，预定的轮廓或横截面或表面特征或形状或投影，预定的深度标记或深度计，预定的角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械(包括虚拟手术导板或切割块，虚拟试验植入体，虚拟植入体组件，虚拟植入体或装置)，用于一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分，和/或使用新的患者坐标或手术野的新坐标的预定组织改变或变化中的一个或多个。
在本发明的一些实施方案中，光学标记物的部分或整个光学标记物可以是不透射线的，使得光学标记物也可以在射线照片或利用电离辐射的其他影像学检查中可见，包括荧光透视，数字断层合成，锥形束计算机断层扫描和/或计算机断层扫描。不同水平或程度的射线不透性可以存在于光学标记物的不同部分或区域中。可以利用不同水平或程度的射线不透性来编码信息。比如，不同水平的射线不透性可用于编码以光学可读的字母数字代码，条形码或QR保存的信息。不同水平的射线不透性可选地像厚度分布条一样布置，其可选地镜像条形码中包含的部分或全部信息。不同水平的射线不透性可选地像厚度分布一样以点或方格排列，其可选地镜像包含在二维码中的部分信息。通过改变金属(比如，铅)的厚度可以获得不同的射线不透性。以这种方式编码信息的不透射线光学标记可以使用三维金属打印机制造。它们也可以是数控机床(CNC)加工的，比如，杆料或铸坯。
光学标记物的不透射线部分可包括侧向性信息，比如，左侧的左和右侧的右，在射线照片上可见，比如，通过不同的材料厚度，比如，铅；相同的信息可以包含在附加的字母数字代码或文本，条形码或二维码中，可以通过条形码或二维码阅读器或集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统读取。光学标记物的不透射线部分可包括解剖部位信息，比如，L5或L4，T1或 T2，C3或C7，膝盖，臀部，在射线照片上可见，比如，通过不同的材料厚度，比如，铅；相同的信息可以包含在附加的字母数字代码或文本，条形码或二维码中，可以通过条形码或二维码阅读器或集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统读取。图像处理技术和/或软件可以应用于包括光学标记的射线照相信息和诸如横向性和/或位置的射线照相编码信息，并且可以将包括在射线照片中的信息与包括在光学扫描上的信息进行比较。如果检测到任何差异，则可以触发警报，比如，可以在光学头戴式显示器中显示警报。
可以使用多个部分或完全不透射线的光学标记。不透射线的光学标记可以应用在手术部位周围的不同位置和不同平面中。在脊柱外科手术中，比如，可以将一个，两个，三个或更多个不透射线的光学标记物应用于脊柱节段周围的皮肤以进行预期的手术；一个，两个，三个或更多个不透射线的光学标记可以连接到插入棘突和/或椎弓根或其他脊柱元素的钉，钻或螺钉上；一个，两个，三个或更多不透射线的光学标记可以应用于患者的侧腹或腹部。在髋关节置换手术中，可以将一个，两个，三个或更多个不透射线的光学标记物应用于患者的预期手术侧上的髂前上棘，比如，用粘合剂粘合到皮肤上或附于针上或将钻附到骨上；一个，两个，三个或更多个不透射线的光学标记可以应用于患者对侧的髂前上棘，比如，用粘合剂粘合到皮肤上或附于针或将钻附到骨上；可以将一个，两个，三个或更多个不透射线的光学标记物附于耻骨联合处，比如，用粘合剂粘合到皮肤上或附于针上或将钻附到骨上；一个，两个，三个或更多个不透射线的光学标记可以应用于附于患者的预期手术侧的髋臼，比如，将钉或钻附接到骨上。通过在手术部位周围的多个不同位置和不同平面中使用多个不透射线光学标记，可以增加光学标记在不同模态(比如，射线照片，图像捕获)中的三维空间配准和互相参照的准确性，比如，从多个视角获得不同角度的多个X射线，比如，正位，横向和/或倾斜，和/或通过使用集成到光学头戴式显示器中，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，从多个视角对不透射线光学标记扫描成像。通过在手术部位周围的多个不同位置和不同平面中使用多个光学标记，可以增加光学标记的三维空间配准的精度，比如，使用集成到光学头戴式显示器中，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，从多个视角对光学标记扫描成像。另外，当视角或射线照相角度改变时，比如，在外科手术过程中或由于患者移动，可以更好地保持配准的准确性。
在本发明的一些实施方案中，可以测试系统性能。比如，系统性能测试可以在已知地点，位置，方向和/或对准处测量包括两个或更多个光学标记的体模。利用已知的两个或更多个光学标记的坐标以及标记之间的距离和角度，采用以下方式使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，可以确定距离测量和/或角度测量和/或面积测量和/或体积测量的准确度。此外，通过重复测量，使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，可以确定距离测量和/或角度测量和/或面积测量和/或体积测量的再现性和/或精度。使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，可以确定距离测量和/或角度测量和/或面积测量和/或体积测量在静态和动态条件下的准确度和/或再现性和/或精度。静态条件可以是患者，脊柱，四肢，关节和/或骨骼不移动的情况。动态条件可以是在图像捕获期间患者，脊柱，四肢，关节和/或骨骼移动的条件。比如，动态条件可用于确定关节的旋转中心。静态条件和动态条件的测量可以针对集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统的不同视角和距离来执行。静态条件和动态条件的测量可以在光学头戴式显示器静止时进行，而非移动时。静态条件和动态条件的测量可以在光学头戴式显示器不静止时进行，而非移动时，比如，随手术者的头部移动。
表5说明了具有测试条件和测试参数的各种组合的示例性测试，其中可以确定测量的准确度和再现性和/或精度。任何组合都是可能的。可以测量其他参数，比如，色温的再现性(比如，以开尔文为单位)。可以应用其他统计测试。可以评估在静态，动态，光学头戴式显示器不动和光学头戴式显示器移动的条件下的所有测量和所有统计测定和参数，包括图像和/或视频捕获系统与目标解剖结构和/或测试装置和/或体模的不同角度和距离。
Figure BDA0002405039400000731
Figure BDA0002405039400000741
一旦使用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，确定距离测量和/或角度测量和/或面积测量和/或体积测量和/或坐标测量的准确度和/或再现性和/或精度，定义阈值可以指示系统何时在临床上可接受的性能范围之外操作。可以使用本领域已知的标准统计方法确定阈值。比如，当集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统的视角和/或距离或移动速度指示测量值落在包括整体系统性能的系统性能的两个标准偏差之外时，可以向外科医生触发警告，虚拟数据的显示，比如，虚拟手术计划的部分，虚拟投射路径或虚拟平面(比如，虚拟切割平面)，可能不准确。二进制(比如，是，否)系统可用于触发图像和/或视频捕获系统和/或OHMD显示器在临床上可接受的性能范围之外操作的警报，比如，超过某些视角，超过或低于到目标解剖结构的某些距离，或超过可接受的运动速度。或者，随着系统逐渐进入临床上可接受的性能范围之外的范围，可以使用滑动标度。滑动标尺可以是从绿色到红色的色标，其间具有混合色。滑动标度可以是声学信号，其在系统在临床可接受范围之外操作时可进一步增加强度或频率。滑动标度可以是振动信号，其在系统在临床可接受范围之外操作时可进一步增加强度或频率。在本发明的一些实施方案中，当一个或多个测试数据指示系统在其临床可接受的性能范围之外运行时，光学头戴式显示器可选地关闭患者虚拟数据的显示，比如，虚拟计划信息，虚拟手术导板或切割块或虚拟平面或预期路径。当测试数据表明系统在临床可接受的性能范围内再次运行时，OHMD显示器可以重新打开。包括精确度测试和再现性测试的系统测试可以间歇地进行，比如，每3秒，5秒，10秒，20秒，30秒，1分钟，2分钟等。系统测试可以连续进行。系统测试可以间歇或连续执行，但仅限于光学头戴式显示器显示虚拟数据的时间。系统测试可以间歇或连续进行，但仅限于需要高精度或可重复性的手术步骤的时间。需要高精度或高再现性的这些步骤可以由外科医生通过语音命令或其他命令来识别，或者它们可以在虚拟手术计划中被识别，比如，自动识别或通过外科医生的选择。
在本发明的一些实施方案中，不透射线的和非不透射线的光学标记可选地附着或施加到扩展器上，扩展器增加光学标记物与患者皮肤的距离。比如，这种扩展器可以通过钉，钻或螺钉锚固在棘突，椎弓根或其他脊柱元素中。使用具有附接的射线照相光学标记的扩展器可以增加射线照相数据和图像捕获数据之间的配准精度，比如，当使用正位和侧位射线照片时。在使用图像捕获时，使用带有附加光学标记的扩展器可以说明定义解剖轴或器械轴以及其他信息。当两个或更多个标记与扩展器一起使用并且标记分开的距离大于图像和/或视频捕获系统的空间分辨率时，可以增加确定两个标记之间的轴的准确度，比如，扩展器的长度和标记之间的距离。
光学标记可以用其他显像模式可见，比如，核磁共振，核素显像(nuclearscintigraphy)，单光子发射断层扫描或正电子放射断层造影术。比如，光学标记可以掺杂有核磁共振造影剂，比如，钆-DTPA(Gadolinium-DTPA)，使得它们以核磁共振显现。光学标记可以掺杂有同位素或正电子发射体，使得它们以单光子发射断层扫描或正电子放射断层造影术显现。
当光学标记包括二维码或当二维码用作光学标记时，它还可以解决在手术之前，期间和之后的库存管理问题和质量问题。患者手术侧的错误是与手术相关的常见质量问题，可能对患者造成破坏性后果。类似地，在脊柱外科手术中，操作错误的脊柱节段会导致患者严重受伤。用于确定患者，肢体，关节，手术部位，手术器械，试验植入体和/或植入体组件的定位，位置，方向，对准和/或行进方向的光学标记物还可以包括以下任何信息，比如，使用包含在光学标记中或附加到光学标记中的条形码或二维码的信息：
-患者标识符
-患者人口统计资料，比如，年龄，性别，身高，体重指数(BMI)
-患者病历
-患者风险因素
-患者过敏
-要手术的体侧，比如，左侧与右侧
-要手术的部位，比如，膝盖与臀部，脊柱节段L1与L2等。
-要手术的脊柱节段
-虚拟手术计划的一部分，比如，
○切除量，
○给定手术步骤的切除水平，
○骨切割的位置和/或方向
○胫骨切割的斜度，
○植入体旋转，比如，股骨组件旋转，胫骨组件旋转
○植入体屈曲，比如，股骨组件屈曲
○去毛刺的预定深度，地点，位置，定位，方向，坐标
○铰孔的预定深度，地点，位置，定位，方向，坐标
○铣削的预期深度，地点，位置，定位，方向，坐标
○股骨颈切角，
○髋臼角，
○髋臼前倾，
○股前倾，
○偏移
○股骨干轴
○预期的植入体组件轴/准直
○预期的聚乙烯成分，厚度(比如，髋关节髋臼内衬，膝关节胫骨插入件，肩关节盂插入件)
-模板或尺寸的相关信息
○所选植入体组件的尺寸，比如，膝关节股骨，胫骨或髌骨组件，髋髋骨外壳，髋臼内衬，股骨柄，股骨头，具有可移动轴承组件的股骨颈部分
○植入体组件的一侧，左侧与右侧
-库存管理信息，比如，
○所用器械的版本，类型，型号
○所用器械的批号
○所用器械的制造地点
○所用器械的制造日期
○所用器械的首次灭菌日期
○应用于所用器械的灭菌周期数
○所用器械的最后一次灭菌日期
○器械送到医院或手术中心的日期
○所用植入体组件的版本，类型，型号
○所用植入体组件的批号
○所用植入体组件的制造地点
○所用植入体组件的制造日期
○所用植入体组件的灭菌日期
○植入体组件送到医院或手术中心的日期
○与库存管理相关的任何其他信息
可选地，包括这些信息中的一些二维码也可以与光学标记分开。在本发明的一些实施方案中，可以在手术之前，期间和/或之后使用单独的条形码和/或二维码读取器来读取条形码和/或二维码上包含的信息。在本发明的一些实施方案中，集成到光学头戴式显示器中或附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于读取条形码和/或二维码上包含的信息。然后，比如，可以将从条形码和/或二维码读取的信息与虚拟手术计划的部分和/或为手术准备的患者体侧(比如，左侧与右侧，)，准备用于手术的患者部位，比如，脊柱节段L4对L5(比如，如在射线照片所见)，执行的物理手术，选择的物理器械，选择的物理植入体试验，选择的物理植入体组件进行比较。
当钉或螺钉放置在包括关节和/或骨头的手术部位中时，比如，在脊柱节段的棘突或椎弓根，具有带有二维码的集成式或附接式光学标记物，或者当具有带有二维码的集成式或附接式光学标记物的器械，试验植入体和/或植入体组件进入条形码和/或二维码阅读器和/或集成或附接到光学头戴式显示器的图像和/或视频捕获系统的视野时，或进入手术野或手术改变组织的附近时，条形图上的信息可以读取物理钉或螺钉，物理器械，物理试验植入体和/或物理植入体组件上的代码或二维码，并将其与预期的手术部位信息和/或预期的侧向性信息和/或虚拟手术计划和/或预期的尺寸信息和/或预期的模板信息进行比较。在脊柱节段的示例中，条形码和/或二维码读取器和/或集成或附接到光学头戴式显示器的图像和/或视频捕获系统可以读取识别预期脊柱节段和用于钉或椎弓根螺钉或其他装置的侧面上的二维码(左侧或右侧)。可以将信息与患者的虚拟手术计划和/或X射线信息进行比较。比如，系统可以使用术中X射线来自动或半自动或用户操作识别脊柱节段(比如，从骶骨向上计数)，比如，通过检测骶骨终板和相对的终板和/或椎弓根。如果系统检测到从钉，螺钉或装置和集成或附加的光学标记和条形码或二维码读取的信息与虚拟手术计划和/或放射照相信息之间存在脊柱节段或侧向性的差异，则可触发检查设备，检查手术计划和/或重新确认脊柱节段和/或侧面的警报。上述示例不限于射线照相信息；本领域已知的其他影像学检查，比如，计算机断层扫描，核磁共振等，可用于确定或识别解剖部位和侧面，包括脊柱节段。
如果二维码的读取表明二维码中嵌入的任何信息存在差异，比如，虚拟手术计划的部位，偏侧性，节段，多部分或多方面，尺寸或模板信息，则与手术期间的物理实时数据相比较，比如，插入的钉或螺钉，所用物理器械，所用物理试验植入体和/或所用物理植入体组件的物理位置或脊柱节段或侧向性，可以触发警报，比如，在光学头戴式显示器中或在用于计划，显示或修改虚拟手术计划的计算机监视器。警报可以是视觉的，比如，红色警告标志或停止标志或显示的警报标志，或声音，或振动，或其组合。可以使用本领域已知的任何其他警报。
比如，当外科医生在患者上操作以更换患者的左膝时，一个或多个植入体组件或附接的保持器或包装标签或无菌包装可包括二维码的光学标记。二维码可以指示侧向性，比如，左股骨组件与右股骨组件。如果磨砂技术人员意外地将外科医生右侧股骨组件移植到患者的左膝中，则外科医生佩戴的光学头戴式显示器集成或附接的图像和/或视频捕获系统可以在外科医生取股骨组件时，和在具有附接式光学标记和二维码的股骨组件进入外科医生的视野时或进入手术野附近时，读取二维码。图像和/或视频捕获系统和相关系统软件可以读取二维码识别植入体组件是否用于右膝；然后，系统软件可以将信息与患者的虚拟手术计划或指示左膝计划的模板和/或尺寸信息进行比较，然后，触发不正确的股骨组件已进入视野的警报，或者外科医生已经进入手术野附近，比如，由另一个光学标记区别。警报可以通过切换到正确的侧面组件来辅助外科医生纠正错误。
在另一示例中，当外科医生在患者上操作以更换患者的左膝时，一个或多个植入体组件或附接的保持器或包装标签或无菌包装可包括二维码的光学标记。二维码可以指示植入体组件的尺寸，比如，尺寸5或6或其他股骨组件，或尺寸5或6或其他胫骨组件，或尺寸2或3或其他髌骨组件。如果磨砂技术人员意外地将移植到患者左膝中的尺寸为4 的股骨组件(模板化为尺寸为6的股骨组件)递给外科医生，则外科医生佩戴的集成到或附接到光学头戴式显示器的图像和/或视频捕获系统可以在外科医生取股骨组件时，和在具有附接式光学标记和二维码的股骨组件进入外科医生的视野时或进入手术野附近时，读取二维码。图像和/或视频捕获系统和相关系统软件可以读取识别植入体组件尺寸为4 的二维码；然后，系统软件可以将信息与患者的虚拟手术计划或模板和/或尺寸信息进行比较，模板和/或尺寸信息可以指示已规划了尺寸为6的股骨组件，然后触发不正确的股骨组件已进入外科医生的视图或已进入手术野附近(比如，由另一光学标记区别)的警报。警报可以通过切换到正确的尺寸组件来辅助外科医生纠正错误。
集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统和/或条形码和/或二维码读取器也可用于读取关于虚拟手术器械和/或植入体组件的嵌入信息，以用于库存管理和计费和开发票的目的。比如，图像和/或视频捕获系统和/或条形码和/或二维码读取器可以检测使用了哪些器械，监视其使用频率，以及何时达到某个推荐的使用频率，系统可以触发警报以发送器械进行维修。在一些实施方案中，图像和/或视频捕获系统和/或条形码和/或二维码读取器可以检测使用哪些器械，并触发警报以将器械送去维修。在一些实施方案中，图像和/或视频捕获系统和/或条形码和/或二维码读取器可以检测使用哪些一次性器械，并触发系统警报补充供应，发送新的，额外的一次性器械替换已用器械。在一些实施方案中，图像和/或视频捕获系统和/或条形码和/或二维码读取器可以检测使用了哪些植入体组件和其他可充电组件，并在系统中触发警报补充供应，并发送新的，额外的植入体来取代已用植入体；警报还可以触发命令以生成医院和/或手术中心的发票，并监控支付。
任何前述实施方案可以在任何类型的手术期间应用于任何手术步骤和任何手术器械或任何植入体组件，比如，膝关节置换，髋关节置换，肩关节置换，韧带修复，包括前交叉韧带修复，脊柱手术，脊柱融合(比如，前路和后部)，椎体成形术和/或椎体后凸成形术。
在本发明的一些实施方案中，钉或其他植入式或附接式标记或校准或配准体模或包括光学标记的装置可以最初放置在，比如，骨或骨赘或骨刺或其他骨解剖结构或畸形中。可以执行虚拟图像数据的配准，比如，使用解剖标志或位置或骨赘或骨刺或其他骨骼解剖或畸形，其中针已被物理放置并且可选地在电子图像上标记针，和处理患者实时数据。然后可以选择性移除钉，比如，如果它们会干扰外科手术的步骤。在执行外科手术的步骤 (比如，骨切割)之后，可选地将钉重新插入留在骨切割下方的残留骨中的钉孔中，并且钉可以用于配准虚拟数据。即使手术部位和解剖结构已经通过外科手术改变，患者也可以获得患者实时数据。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
使用患者特异性标记(specific marker)或模板配准患者虚拟数据和患者实时数据
已经描述了使用患者特异性标记或模板(包括WO9325157A1中描述的那些)向患者实时数据配准患者虚拟数据的各种技术，其通过引用明确地并入本文。
在本发明的一些实施方案中，执行术前成像以获取患者的三维数据。比如，术前成像需要超声，计算机断层扫描或核磁共振，如前所述，可选注射造影剂。
术前成像可包括单个区域或部位，比如，腰椎或腰椎的一部分或一个或多个脊柱节段，或单个关节(比如，膝关节，髋关节，踝关节，肩关节，肘关节或腕关节)。或者，术前成像可包括扫描一个或多个相邻关节的部分或全部。当需要关于肢体长度或轴对准或旋转对准的信息时，该方法可能是有益的。比如，在计划髋关节置换手术时，通过远端股骨和任选的膝关节和/或踝关节获取的图像信息有助于确定腿长度等。在计划膝关节置换手术时，通过髋关节和踝关节获得图像信息是有益的。比如，以这种方式，确定髋部中心和踝关节。该信息可用于确定患者的机械轴对准，并且可选地，用于计划机械轴校正。
术前成像还可以在一个或多个位置进行成像，比如，俯卧，仰卧，直立，屈曲，伸展，侧向弯曲等。扫描患者不同位置获得的数据，可以任选组合或融合。比如，可以使用直立的承重部分或全腿X射线来确定腿的机械轴对准。比如，来自计算机断层扫描或核磁共振的膝关节三维数据可用于获得关于关节的详细解剖信息，比如，以获得表面形状信息并设计患者特异性标记或模板。来自直立扫描的信息可用于对准患者特异性标记或模板或相对于机械轴的方位。来自三维膝盖扫描的信息可用于导出一个或多个适合患者的独特形状的患者特异性表面。
在患有脊柱症状的患者中，脊柱的三维数据可以通过计算机断层扫描或核磁共振扫描或旋转荧光透视或C臂扫描获得。比如，在屈曲和伸展中的直立成像可用于确定脊柱不稳定的存在和程度，比如，在具有椎弓根螺钉和/或融合器的预期脊柱融合手术之前。可以确定不稳定程度或滑动程度并用于确定预期矫正的程度(如果有的话)或所需的椎间孔切开术的程度，两者都可以选择性预定三维数据。可选地使用侧向弯曲视图来确定部分椎骨椎体切除术的程度和角度以及椎间椎弓根的期望位置和/或高度。因此，来自直立影像学检查的数据可以与来自仰卧或俯卧影像学检查的数据组合或选择性融合。来自二维影像学检查的数据可以与来自三维影像学检查的数据组合或融合。三维数据可用于导出一个或多个患者特定表面，其适合于患者的独特形状，比如，一个或多个患者棘突的独特形状，患者的一个或多个横突，一个或多个更多患者的椎板，一个或多个患者的关节突，一个或多个患者的椎体。
患者特异性标记或模板可包括一个或多个表面，其被设计和制造成适合患者的相应表面，通常类似于阴性或基本上为阴性。可选修匀表面。或者，可以有意地“粗糙化”表面以包括比患者的目标解剖结构的区段三维表面更多的表面特征。这样的表面特征可以包括尖钉或针状结构，以允许患者特异性标记或模板在患者组织表面上增强固定。
可以从计算机断层扫描，核磁共振或超声扫描以及X射线成像开发患者特异性标记物或模板。原则上，任何多平面二维或三维显像模式都是适用的，特别是当它提供关于表面形状的信息或提供信息以得出解剖区域的表面形状的估计时。患者特异性标记物或模板可包括一个或多个表面，其被设计或制造成适合任何关节或脊柱或其他解剖位置对应
-患者的软骨表面
-患者的软骨下骨表面
-患者的皮质骨表面
-患者的骨病或骨刺
-患者的骨缺损
-患者的赘骨形成
-患者的软骨下囊肿
-软组织形状，比如，大腿或小腿或下背，或胸部区域，或颈部区域，或脚或踝区域，或肩部区域等的形状。
-不同身体姿势或位置的软组织形状，比如，在俯卧位或仰卧位或侧卧位
-患者的韧带
-患者的上唇
-患者的半月板
-患者的器官形状
-器官边缘或患者边缘，比如，肝脏边缘或脾脏边缘
对于给定组织，不同的影像学检查尤其适合。比如，如果患者特异性标记物或模板被设计成适合患者的软骨形状，则核磁共振和超声波或计算机断层扫描关节造影术最适合于提供表面信息。如果患者特异性标记物或模板旨在适合软骨下骨形状或皮质骨形状，则可以使用计算机断层扫描，尽管核磁共振和超声也可以提供关于骨形状的信息。
患者特异性标记或模板可使用不同材料制造，比如，ABS或尼龙或不同类型的塑料或金属。它们可以从坯料加工，其中CAD/CAM加工系统将患者特定的形状信息传送到铣床中。它们也可以使用本领域已知的立体平版印刷术或三维印刷技术生产。如果使用三维打印，可以使用空气清洁操作和/或水浴除去残留粉末。可以使用基于粉末或基于液体树脂的方法来执行三维打印，包括但不限于，连续液体接口生产。
患者特异性标记或模板可包括或结合光学标记，比如，具有不同几何形状或图案，二维码，条形码，字母数字代码的光学标记。可选地打印几何形状或图案，二维码，条形码，字母数字代码，比如，当三维打印用于制造患者特异性标记或模板时。三维打印可以用软件执行，比如，Materialize Magics(Materialise，Leuven，Belgium)和本领域已知的硬件，比如，3D Systems，Rock Hill，SC或Concept Laser，Lichtenfels，Germany的3D打印机。
患者特异性标记或模板可以用不同的材料特性制成。比如，它们可以是非弹性的，半弹性的或弹性的。可能很坚硬。可以是实心的，或包括空心空间或开口。可以是不透明的。患者特异性标记物或模板可以是半透明的。患者特异性标记可以是透明的。在一些实施方案中，患者特异性标记物或模板可以是半不透明或半透明的。然而，当患者特异性标记物或模板与患者接触并且标记物或模板的患者特异性表面与患者的相应表面良好匹配时，由于在患者的相应表面上有组织水分，患者特异性标记物或模板透明。
可以在关节的第一表面上使用一种或多种患者特异性标记物或模板。可以在关节的第二表面上使用一种或多种患者特异性标记物。第一和第二表面可以位于关节的相同承重侧。第一和第二表面可位于关节的相对侧。关节的第一表面上的一个或多个患者特异性标记或模板不能连接到关节的第二表面上的一个或多个患者特异性标记或模板。在一些实施方案中，关节的第一表面上的一个或多个患者特异性标记或模板可选地连接或连接到关节的第二表面。因此，可选地互相参照一种或多种患者特异性标记或模板。
可以针对任何关节，脊柱的任何部分以及人体的任何组织设计患者特异性标记或模板。患者特异性标记物或模板通常包括一个或多个表面或形状，其被设计成适合患者的相应表面或形状。可以设计和/或安装患者特异性标记物或模板的患者表面的代表性非限制性实例包括：
脊柱：
-一部分或整个棘突
-一部分或整个脊椎板
-一部分或整个脊柱关节突
-一部分或整个小关节
-一部分或整个横突
-一部分或整个椎弓根
-一部分或整个椎体
-一部分或整个椎间盘
-一部分或整个脊柱骨赘
-一部分或整个脊柱骨刺
-一部分或整个脊柱骨折
-一部分或整个椎体骨折
-前述的任何组合
髋部：
-一部分或整个髋臼
-髋臼的一部分或整个边缘
-髋臼边缘的多个部分
-髂壁的一部分
-耻骨的一部分
-坐骨的一部分
-大转子的一部分或整个大转子
-小转子的一部分或整个小转子
-股骨干的一部分或整个股骨干
-一部分或全部股骨颈
-一部分或全部股骨头
-骨头凹
-横向髋臼韧带
-丘脑后结节
-韧带
-上唇
-一个或多个骨赘，股骨和/或髋臼
-前述的任何组合
膝盖：
-部分或整个内侧髁
-部分或整个股骨外侧髁
-部分或整个股骨凹口
-部分或整个滑车
-股骨前部皮质的一部分
-股骨前部皮质的一部分与滑车的相邻部分
-股骨前部皮质的一部分，当存在时具有滑车和骨赘的相邻部分
-一个或多个骨赘股骨和/或胫骨
-一个或多个骨刺刺股骨和/或胫骨
-上髁隆起
-一部分或整个胫骨坪中部
-一部分或整个胫骨坪侧部
-部分或整个胫骨棘中部
-部分或整个外侧胫骨脊柱
-胫骨前部皮质的一部分
-胫骨前部皮质的一部分和胫骨坪的一部分，内侧或外侧或两者
-胫骨前部皮质的一部分和胫骨坪的一部分，内侧或侧面或两者和存在的骨赘
-一部分或整个髌骨
-髌骨的内侧边缘
-髌骨的侧缘
-髌骨上极
-髌骨下极
-髌骨骨赘
-前十字韧带
-后十字韧带
-内侧副韧带
-外侧副韧带
-一部分或整个内侧半月板
-一部分或整个外侧半月板
-前述的任何组合
肩部：
-部分或整个关节盂
-一部分或整个喙突
-一部分或整个肩峰
-锁骨的一部分
-一部分或整个肱骨头
-一部分或整个肱骨颈
-肱骨干的一部分
-一个或多个肱骨骨赘
-一个或多个关节盂骨赘
-一部分或整个关节盂唇
-一部分或整个肩部韧带，比如，喙肩韧带，上，中，或下盂肱韧带
-肩胛骨的一部分
-前述的任何组合
头骨和大脑：
-颅骨的一部分
-枕骨的一部分
-颞骨的一部分
-枕骨的一部分
-顶骨的一部分
-额骨的一部分
-面部骨骼的一部分
-颅骨内部的一部分或整个骨骼结构
-部分或全部选择脑回
-部分或全部选择脑沟
-窦的一部分
-静脉窦的一部分
-脉管的一部分
器官：
-器官的一部分，比如，肾的上极或下极
-肝脏，脾脏，肺脏的边或边缘
-肝叶的一部分
-脉管的一部分
-裂缝的一部分，比如，在肝脏或脾脏
-子宫的一部分
如果适用于特定解剖区域，比如，软骨，软骨下骨，皮质骨，骨赘等，可以将患者特异性标记或模板设计或适合于任何前述组织。患者特异性标记或模板可以仅设计或适合于正常组织。患者特异性标记或模板可以仅设计或适合于异常或患病组织。可以将患者特异性标记或模板设计或适合于正常组织和异常组织或患病组织的组合。比如，患者特异性标记可以设计为正常软骨，或患病软骨，或正常和患病软骨的组合，比如，在相同或相对的关节表面上。患者特异性标记可用于在共同坐标系中配准一个或多个正常或病理组织或结构，比如，用患者的一个或多个光学头戴式显示器和虚拟数据。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
可以使用患者虚拟数据来设计患者特异性标记或模板，比如，来自诸如计算机断层扫描扫描，核磁共振扫描或超声扫描的术前影像学检查。患者特异性标记物或模板包括一个或多个表面，设计和/或制造所述表面以实现与患者的相应表面的紧密配合。
在本发明的一些实施方案中，外科医生或手术者可以将患者特异性标记或模板应用于患者的相应组织。一旦实现了令人满意的配合并且两个相应的表面基本上接触，患者特异性标记或模板可用于配准患者虚拟数据和可选的具有患者实时数据的虚拟手术计划。通过将患者特异性标记或模板应用于患者的相应表面，外科医生可有效识别虚拟数据中的相应结构或表面以及患者实时数据。
然后可以确定患者特异性标记或模板相对于光学头戴式显示器的定位，位置和/或方向。本文描述的任何实施方案可以应用于确定患者特异性标记物或模板相对于光学头戴式显示器的定位，位置和/或方向。比如，与患者特定表面相对的患者特异性标记或模板的侧面可以包括某些标准化的几何特征，比如，矩形，三角形，圆形等，这样便于集成到或连接到光学头戴式显示器或耦合到光学头戴式显示器的图像和/或视频捕获系统识别。在替代实施方案中，患者特异性标记物或模板可包括一个或多个惯性测量单元，包括加速度计，磁力计和陀螺仪，类似于光学头戴式显示器。在一些实施方案中，患者特异性标记物或模板可包括一个或多个射频卷标或标记物或逆向反射标记物，并且其定位，位置和/或方向可由手术导航系统捕获。射频标签可以是有源的也可以是无源的。光学头戴式显示器还可以选择性包括一个或多个射频卷标或标记或逆向反射标记，其定位，位置和/或方向也可以由手术导航系统捕获并且与患者特异性标记或模板互相参照。患者特异性标记物或模板还可包括光源，比如，激光或发光二极管(LED)。比如，可以将激光投射到墙壁或天花板上，并且光学头戴式显示器可以与其相对引用。附着或集成到患者特异性标记或模板中的发光二极管可以被识别，比如，通过集成到或连接到光学头戴式显示器的图像和/ 或视频捕获系统。
在另外的实施方案中，在外科手术期间所用一个或多个外科手术器械和/或一个或多个植入式装置可以包括通过集成到或连接到光学头戴式显示器或耦合到光学头戴式显示器的图像和/或视频捕获系统容易识别的某些标准化几何特征，比如，矩形，三角形，圆形等。在替代实施方案中，在外科手术期间所用一个或多个外科手术器械和/或一个或多个植入式装置可包括一个或多个惯性测量单元，包括加速度计，磁力计和陀螺仪，类似于光学头戴式显示器。在一些实施方案中，在外科手术期间所用一个或多个手术器械和/或一个或多个植入式装置可包括一个或多个射频卷标或标记或逆向反射标记，并且其定位，位置和/或方向可由手术导航系统捕获。光学头戴式显示器还可选地包括一个或多个射频卷标或标记或逆向反射标记，其定位，位置和/或方向也可以由手术导航系统捕获，并且与患者特异性标记或模板和/或手术器械中所用一个或多个手术器械和/或一个或多个植入式装置互相参照。在手术期间所用一个或多个手术器械和/或一个或多个植入式装置还可以包括光源，比如，激光器或发光二极管。比如，可以将激光投射在墙壁或天花板上，并且可以相对于激光参照光学头戴式显示器和患者。比如，集成到或连接到光学头戴式显示器或耦合到光学头戴式显示器的图像和/或视频捕获系统，可以识别附接到或集成到手术器械中的一个或多个手术器械和/或一个或多个植入式装置的发光二极管。可选地使用多个发光二极管。可选择，多个发光二极管中的两个或更多个发光具有不同波长或颜色。两个或更多个发光二极管可以位于空间限定的位置和方向中，比如，以预定义或固定距离并且以一个或多个预定义或固定角度定位。以这种方式，当图像和/或视频捕获系统靠近手术者的眼睛时，两个或更多个发光二极管可以通过集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统以及通过图像和/或视频捕获系统看到的测量距离和/或角度来定位。比如，可以用于确定手术者到目标解剖结构的距离和/或方向。通过使用具有不同波长或颜色的发光二极管，图像和/或视频捕获系统可以区分不同的发光二极管；当发光二极管以已知的空间方向排列时，该信息可有助于提高配准的准确度和/或用于获得精确的距离，角度，方向和/或速度测量。在包含发光二极管使用或适合使用发光二极管的所有实施方案中，在整个说明书中使用具有不同波长和颜色，测值或配准的两个或更多个发光二极管。
可选地，手术期间所用选择性患者特异性标记或模板以及一个或多个手术器械和/或植入式装置，还可以包括颜色标记，选择不同几何形状的颜色标记或者在不同的，已知位置和不同的已知角度的颜色标记，比如，可以通过集成到或附接到或耦合到光学头戴式显示器的图像和/或视频捕获系统识别这样的图案和，比如，估计距离和角度(比如，从手术部位到光学头戴式显示器，或两个标记，两个手术器械或医疗装置组件之间的距离和角度)。
可选择的，患者特异性标记或模板以及手术期间所用一个或多个手术器械和/或一个或多个植入式装置，还可以包括多种尺度，比如，公制距离，英寸，或角度标度。比如，通过集成到或附接到或耦合到光学头戴式显示器的图像和/或视频捕获系统来识别这样的尺度或角度，并且估计距离和角度，比如，从手术部位到光学头戴式显示器，或两个手术器械或医疗装置组件之间的距离和角度。
在本发明的一些实施方案中，患者特异性标记物或模板可以附着到患者的相应表面或附着到患者的相邻表面，比如，使用组织胶(如纤维蛋白胶或针或钉)。
在一些实施方案中，患者特异性标记或模板可包括开口或导板，比如，用于接受手术器械或工具，比如，钻头，锯，铰刀，钉，螺钉和任何本领域已知的其他器械或工具。
通过使用患者特异性标记物或模板以及手术和光学头戴式显示器期间所用的一个或多个选择性手术器械和/或一个或多个植入式装置来互相参照患者虚拟数据和患者实时数据，现在可以在手术期间获得并使用患者虚拟数据中包含的坐标信息，距离信息，轴信息，功能信息。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
使用术中成像配准患者虚拟数据和患者实时数据
在本发明的一些实施方案中，可以执行术中成像，比如，使用X射线成像或计算机断层扫描成像和/或超声成像。使用术中成像中获得的患者虚拟数据可用于配准术前获得的患者虚拟数据，比如，使用术前X射线，超声，计算机断层扫描或核磁共振成像。可以通过识别和选择性标记对应的解剖标志，表面，对象形状，比如，对患者的术前和术中虚拟数据以及患者实时数据在具有一个或多个光学头戴式显示器的共同坐标系中进行配准。在患者的术前虚拟数据中，患者的术中虚拟数据，比如，上述一个或多个的电子二维或三维图像，以及患者实时数据，可以是手术部位或目标组织。虚拟术前，虚拟术中和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
当通过术中成像获得的信息量，在解剖学上或以其他方式比术前成像可获得的信息量更受限制时，该实施方案可以是有利的，反之亦然。
比如，术中成像可以使用X射线成像来执行，其通常仅是二维的。可以通过一个以上平面中的图像采集来增强X射线成像，比如，正交平面或由限定角度分开的一个或多个平面。术中X射线图像可用于识别某些标志或形状，然后，可在手术期间将其配准到患者的术前成像和/或实时数据。术前成像可以选择性包括三维图像数据，比如，通过计算机断层扫描或核磁共振获得。在多个平面中获取术中图像可以有助于更准确地定义用于术前虚拟数据，术中虚拟数据和患者实时数据的配准的某些解剖标志，轮廓或形状的位置。患者的术中虚拟数据可以是二维或三维中的患者术中图像，以资澄清。
比如，在诸如椎体成形术，椎体后凸成形术，椎弓根螺钉放置或包括人造椎间盘或融合器的前脊柱装置的放置的脊柱手术中，术中X射线成像可用于识别手术的脊柱节段，正位投影中的某些标志或轮廓，比如，棘突的尖端，小关节，小关节的上或下尖端，椎板的皮质边缘，上部或下部终板或骨赘或骨刺或其他骨骼解剖或畸形。可备选，X射线管与患者之间的距离导致X射线放大可以被考虑到任何配准中，以便提高患者虚拟术前数据，患者虚拟术中数据或实时患者数据的配准准确性。然后，可以配准术中X射线图像，并且可选择通过光学头戴式显示器将其迭加到患者术前数据或患者实时数据中。患者的术中虚拟数据，比如，棘突尖端，小关节，小关节的上或下尖端，椎板的皮质边缘，上部或下部终板，可以比如，通过接触带指向装置或穿过皮肤插入的针或钉的相应解剖标志，并通过互相参照实时数据指示装置的尖端的位置和患者术中虚拟数据，配准到实时数据。以这种方式，可以共同配准患者的术前虚拟数据，患者的术中虚拟数据和患者实时数据及其组合中的任何一个。可以在光学头戴式显示器中选择性看到两个或三个数据集，患者的术前虚拟数据，患者的术中虚拟数据和患者实时数据。然而，在许多实施方案中，术中成像可以仅用于增强患者的术前虚拟数据和患者实时数据的配准准确性，并且比如，患者和/或预期放置在手术部位的医疗设备的术前虚拟数据，和患者或手术部位的实时数据，将由光学头戴式显示器一起显示。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后使用本文描述的技术重复配准患者虚拟数据和患者实时数据，并且可选地重复术中成像。在该情况下，手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或现场患者或患者的术中重复图像数据中的其他组织特征可以匹配，迭加到和/或配准到，患者的虚拟数据(比如在为患者制定的虚拟手术计划)中的，手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或患者虚拟数据中的其他组织特征。在手术组织改变之后匹配，迭加和 /或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
使用皮肤标记或软组织标记配准患者虚拟数据和患者实时数据
在本发明的一些实施方案中，皮肤标记和软组织标记，校准或配准体模或装置可用于配准术前虚拟数据，可选择配准术中虚拟数据，比如，从术中X射线成像获得的数据，以及通过在具有一个或多个光学头戴式显示器的共同坐标系中的光学头戴式显示器看到的实时数据。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。比如，术前虚拟数据和患者实时数据之间的初始配准可以在程序开始时发生。比如，可以使用相应的解剖标志，表面或形状，或使用术中成像来执行初始配准，从而产生术中虚拟数据或本发明中描述的其他实施方案。比如，配准可用于将虚拟数据和实时数据以及光学头戴式显示器放置到共同坐标系中。然后，可以应用皮肤标记，校准或配准体模或装置。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。可选择，或者另外，应用软组织标记，校准或配准模型或设备。通常，应用多于一种，比如，两种，三种，四种或更多种，皮肤标记和软组织标记，校准或配准体模或装置。为清楚起见，本应用所用术语植入式标记，附接式标记，皮肤标记，软组织标记，校准或配准体模或装置可包括光学标记，比如，带有不同几何形状或图案的光学标记，带有二维码，带有条形码，带有字母数字代码。皮肤标记和软组织标记，校准或配准体模或装置可，以使用组织兼容性粘合剂(包括纤维蛋白胶等)的形式，施用于皮肤或软组织。在一些实施方案中，一种，两种，三种，四种或更多种皮肤标记和软组织标记，校准或配准体模或装置可包括在，在手术前施用于皮肤的手术单或敷料透明膜中。然后，可以在实时数据中配准皮肤标记和软组织标记，校准或配准模型或设备，并互相参照虚拟数据。随后可以使用皮肤标记和软组织标记，校准或配准模型或装置，比如，当手术部位被改变并且用于虚拟和实时数据的初始配准的解剖标志，表面或形状被改变或移除时，不能使用或不能可靠地用于保持虚拟数据和实时数据之间的配准时。虚拟术前，虚拟术中和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
如果标记或体模仍然存在，则可以在执行一个或多个外科手术步骤之后使用相同的皮肤标记或软组织标记或校准体模或配准体模。或者，可以在一个或多个外科手术步骤或外科手术改变之后执行患者实时数据和患者虚拟数据的重新配准。在重新配准之后，可以应用一个或多个新的皮肤标记物或软组织标记物或校准体模或配准体模，并在手术步骤或改变之后互相参照重新配准的实时和虚拟数据。然后，可以将皮肤标记物或软组织标记物或校准体模或配准体模用于患者实时数据和患者虚拟数据的后续匹配，迭加，移动和配准。
使用限定尺寸或形状的校准或配准体模来配准患者虚拟数据和患者实时数据。
在本发明的一些实施方案中，具有限定尺寸或形状的校准或配准体模可用于执行患者虚拟数据和患者实时数据的配准。校准或配准体模可以主要具有二维或三维特性。比如，校准或配准体模可以主要布置或定位在单个平面中。其他校准体模可以位于多个平面中，从而创建使用多个平面进行配准的机会。为清楚起见，本应用所用术语校准或配准体模，植入式标记，附接式标记，皮肤标记，软组织标记，校准或配准体模或装置可包括光学标记，比如，带有不同几何形状或图案的光学标记，带有二维码，带有条形码，带有字母数字代码。
这种校准或配准体模可以附着在患者的皮肤上。校准或配准体模可以集成或附接到手术单上。校准或配准体模可以附着在患者的组织上。校准或配准体模可以是医疗设备的一部分或其部件。医疗装置的零部件通常具有已知的尺寸。通过使用校准或配准体模以及其他标记，患者实时数据和患者虚拟数据可以配准在共同坐标系中，比如，具有一个或多个光学头戴式显示器。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
在一些实施方案中，校准或配准体模包括已知的尺寸，角度或几何二维或三维形状。比如，校准或配准体模可以包括以下结构：
-圆形，卵形，椭圆，正方形，矩形，复杂的二维几何，具有一个或多个定义距离的二维几何，具有一个或多个定义角度的二维几何
-球体，蛋形结构，圆柱体，立方体，长方体，复杂的三维几何形状或形状，具有一个或多个定义距离的三维几何体，具有一个或多个定义角度的三维几何体，具有一个或多个定义表面的三维几何体
可选的，如果使用具有电离辐射的显像模式执行术前或术中成像，则校准或配准体模可以是不透射线的，比如，x射线成像，二维或三维透视，计算机断层扫描，锥形束计算机断层扫描等。
在一些实施方案中，校准或配准体模可以是核磁共振可见或核素显像或单光子发射断层扫描可见或正电子放射断层造影术可见，比如，通过在包含掺有钆-DTPA或掺有放射性核素或正电子放射断层造影术(PET)同位素射水(isotope emitting water)的体模中包括部分或容器。可以以这种方式使用本领域已知的任何造影剂或核磁共振或核素显像术或单光子发射断层扫描或正电子放射断层造影术可见试剂。
在一些实施方案中，校准或配准体模包括逆向反射标记或特征，其有助于图像和/或视频捕获系统的检测。校准或配准体模也可以通过选择颜色突出显示患者的组织，包括血液和手术单，比如，亮绿色，亮蓝色，亮黄色，亮粉色等。颜色组合是可能的。可以使用本领域已知的任何颜色或颜色组合。
校准或配准体模可以选择性地包括发光二极管，可选地由电池供电。可以使用多个发光二极管。发光二极管可以发出已知颜色，色调和强度的光，优选选择为可由图像和/或视频捕获系统，以及用于检测发光二极管的定位，位置和/或方向的分割技术或算法容易识别。
发光二极管可以以空间限定的方式布置，其中两个或更多个发光二极管以限定的距离和角度布置在基本相同的平面或不同的平面中。如果发光二极管布置在不同的平面中，则平面的空间方向是已知的和定义的。
当使用两个或更多个发光二极管时，两个或更多个发光二极管可以利用不同的波长，颜色，强度以及还可选择眨眼频率发光。以这种方式，集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以基于它们的不同波长，颜色，强度和/或眨眼频率中的一个或多个来识别每一不同的发光二极管。当发光二极管以空间定义和已知的方式布置时，比如，使用同一平面内或不同平面内的已知距离或角度，每一单独发光二极管的识别以及由图像和/或视频捕获系统测量的距离和角度的变化可用于确定光学头戴式显示器和/或手术者头部的定位，位置和/或方向 (比如，如果图像和/或视频捕获系统集成到光学头戴式显示器或连接到光学头戴式显示器)，或者在某些应用中，校准或配准体模和发光二极管所附着的患者或身体部位的运动。
整个说明书中所用发光二极管可以重复使用。整个说明书中所用发光二极管也可以是一次性的，可选择具有集成的一次性电池单元/电池。发光二极管可以利用导线操作，比如，连接到电源和/或连接到有线用户接口或控制单元。发光二极管可以是无线的，比如，没有连接电源(比如，电池供电)和/或连接到无线(比如，WiFi，蓝牙)控制单元。
发光二极管可以在LIF网络中连接和/或组织。比如，可以使用一个或多个LIF网络从一个或多个光学头戴式显示器到控制单元或计算机来回传输或接收数据或信息，可选择具有用户接口的LIF网络。在该示例中，参与或连接在一个或多个LIF网络中的发光二极管可以集成到光学头戴式显示器中或附接到光学头戴式显示器。参与或连接在一个或多个LIF网络中的发光二极管可以连接到或在适用时集成到外科医生，手术室工作人员，患者，手术部位，一个或多个光学头戴式显示器，一个或多个导航的任何位置或网站系统，一个或多个导航标记，比如，逆向反射标记，红外标记，射频标记；一个或多个光学标记，校准或配准体模等。
LIF网络还可用于发送或接收关于各个发光二极管的空间位置，方向，移动方向，移动速度等的数据或信息。比如，使用图像和/或视频捕获系统测量同一发光二极管相对于外科医生或患者或手术部位的位置，方向，移动方向，移动速度，同一发光二极管可用于在LIF网络中发送或接收信息，可选择使用不同的波长，颜色，频率，眨眼模式，这取决于所传输的数据类型。信息可以是关于各个发光二极管的位置，方向，移动方向，移动速度等。该信息也可以是光学头戴式显示器正在传输或接收的数据。该信息可以是光学头戴式显示器正在显示的信息或数据。信息可以是由导航标记，射频标记生成或接收的信息。该信息可以是由一个或多个图像和/或视频捕获系统或摄像头捕获的信息。
1，2，3，4或更多个发光二极管可以在第一次，第二次或更多次手术改变之后连接或附接到患者，目标解剖结构，手术部位，手术部位(比如，使用虚拟手术计划执行)，光学头戴式显示器，第二，第三和/或另外的光学头戴式显示器，比如，由第二外科医生，擦洗护士，其他手术室人员，手，前臂，上臂和/或外科医生/手术者的其他身体部位佩戴。
比如，当一个或多个发光二极管利用不同的波长，颜色，强度以及可选择的眨眼频率发光时，可以确定每一发光二极管的相对位置，方向，移动，移动方向，移动速度(比如，使用集成到，连接到或与一个或多个光学头戴式显示器分离的一个或多个图像和/或视频捕获系统)。
校准或配准体模可选择包括一个或多个激光器，可选择由电池供电。可以使用多个激光器。激光器可以发出已知颜色，色调和强度的光，比如，选择为可由图像和/或视频捕获系统容易识别的光以及用于检测激光的定位，位置和/或方向的任何分割技术或算法。
激光器可以以空间限定的方式布置，其中两个或更多个激光器以限定的一个或多个距离以基本相同的平面或不同的平面以限定的角度或多个角度布置。如果激光器布置在不同的平面中，则可以知道并限定平面的空间方向。
校准或配准体模可选择包括射频(射频)发射器，可选择由电池供电。可以使用多个射频发射器。射频发射器可以发射一个或多个信号，这些信号被选择为易于由用于检测射频发射器的定位，位置和/或方向的射频接收器系统识别。一个或多个射频发射器可以发射具有不同频率和强度的信号，从而允许射频接收器系统区分不同的射频发射器。
射频发射器可以以空间限定的方式布置，其中两个或更多个射频发射器以限定的一个或多个距离以基本相同的平面或不同的平面以限定的角度或角度布置。如果射频发射器布置在不同的平面中，则可以知道并定义平面的空间方向。
校准或配准体模可选地包括超声(US)发射器，可选择由电池供电。可以使用多个US发射器。US发射器可以发送选择为易于由US接收器或换能器系统识别的信号或信号，用于检测US发射器的定位，位置和/或方向。一个或多个US发射器可以以不同的频率和强度发射信号，从而允许US接收器或换能器系统区分不同的US发射器。
超声发射器可以以空间限定的方式布置，其中两个或更多个超声发射器以限定的距离，以限定的角度布置在基本相同的平面或不同的平面中。如果超声发射器布置在不同的平面中，则可以知道并定义平面的空间方向。
校准体模或配准体模可用于术前成像和/或用于实时数据的术中成像和/或图像捕获，比如，使用附接到或集成到光学头戴式显示器或耦合到光学头戴式显示器或与光学头戴式显示器分开的图像和/或视频捕获系统。虚拟术前，虚拟术中和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
如果相同的校准或配准体模用于术前成像和术中成像，则可选择使用相同的显像模式(比如，x射线成像)执行成像，比如，在患者相对于X射线源和检测器系统的相同方向上，和在患者相对于X射线源和检测器系统的相同距离上。使用这种方法，可以在术前成像和术中成像上可视化的解剖结构可以迭加和配准，可选择在同一坐标系中。
在该情况下，校准或配准体模在患者身上的位置不同，用于术前成像和术中图像数据采集，可以使用在术前成像和术中成像中可视化的解剖数据的共同配准来确定位置或位置或坐标的差异。可以调整从术前数据到术中数据的体模位置差异；这种调节可选择定义为术前和术中数据之间的体模偏移。虚拟术前，虚拟术中和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
作为在术前成像和术中成像中可视化的解剖结构的解剖配准的替代，通过光学头戴式显示器或附加的，集成的或单独的图像和/或视频捕获系统可视化的术前图像数据和术中实时数据之间的配准现在可替代地使用校准或配准体模来执行，同时，在手术期间可视化或光学识别，比如，使用术前和术中数据之间的体模偏移。
通常，使用本文描述的任何技术(比如，使用解剖学特征，解剖学标志，术中成像等)，可以初始配准虚拟数据和实时数据。然后，可以执行校准或配准体模的共同配准，比如，在同一坐标系中。如果在外科手术过程中初始配准失败，则可以使用校准或配准模型保持配准。为此目的，将使用图像和/或视频捕获系统连续或间歇地监视校准或配准体模的地点，位置，方向和/或对准，该图像和/或视频捕获系统可以集成到光学头戴式显示器中或附接到光学头戴式显示器或耦合到光学头戴式显示器或与光学头戴式显示器分离。
在本发明的一些实施方案中，术前成像需要横截面显像模式，比如，计算机断层摄影，其可选地生成患者的三维数据，比如，以螺旋计算机断层扫描或螺旋计算机断层扫描扫描的形式，并且可选择三维重建。可以将患者的三维数据(比如，螺旋或螺旋计算机断层扫描扫描或三维重建)重新投影到二维图像中，从而创建患者的X射线状透射图像，比如，患者的骨结构，包括但不限于，骨赘或骨刺或其他骨骼解剖或畸形。三维数据的这种二维重新投影，比如，计算机断层扫描数据，可选择使用相同的平面或投影或视角来执行，并且术中随后可使用相同或相似的放大倍率和术中X-射线影像学检查。在重新投射术前三维数据时，可以知道用于术中成像部分的X射线系统的焦片距和可选物距，从给定术中焦片距和可选物距得到患者或解剖数据的放大倍率，将与重新投影的术前数据匹配或得到反映。如果在重新投射术前三维数据时不知道用于术中成像部分的X射线系统的焦片距和可选物距，则重新投影数据的放大倍率可以在它们被可视化并且可选地迭加到患者的二维术中图像数据或解剖学数据上时进行调整，从而得到给定的术中焦片距和可选物距，以便重新投射数据和术中图像数据的放大倍率得到匹配或者基本相似。比如，通过将术前数据中的某些特征或解剖标志或病理组织(包括骨赘或骨刺或其他骨骼解剖或畸形) 与术中数据对准并调整放大倍率，可以实现放大倍数的匹配，直至特征或解剖标志基本上迭加或基本匹配。利用这种方法，术前图像数据可以利用三维数据的优点，包括更精确的植入体组件的三维放置，比如，脊柱组件或用于关节置换或骨折修复的组件。类似地，可以检测某些解剖标志或特征并将其用于三维数据集中的手术计划。当将三维数据重新投影到二维重新投影或视图中时，解剖学标志，特征或数据或病理数据可以容易地与术中二维影像学检查(比如，术中X射线)相应部分中的相应解剖标志，特征或数据或病理数据进行匹配或对准。因此，虽然可以使用不同的三维术前和二维术中显像模式，但二维重新投影允许互相参照，并且可选择二维和三维数据集的共同配准。可以以这种方式使用本领域中已知的任何二维和三维显像模式。
在另外的实施方案中，可以使用校准/配准体模
1.)估计光学头戴式显示器与患者的距离，位置，方向，用于主要或备用配准，比如，与集成孙连接到或耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和 /或视频捕获系统结合使用。
2.)估计患者皮肤下方的目标组织或手术部位的距离，位置，方向，比如，在与术前和 /或术中图像数据交叉配准之后
3.)估计手术器械的略径或估计医疗装置或植入体或移植物的期望植入部位的位置 4.)更新手术计划
校准或配准体模可以在物理时间模式中使用，使用物理时间配准，比如，使用集成到，连接到，耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，其可选择以物理时间模式操作。比如，物理时间模式可以是指以超过5帧/秒，10 帧/秒，15帧/秒，20帧/秒，30帧/秒等执行图像捕获。
如果利用图像和/或视频捕获系统生成的图像被分段或者，比如，执行图像处理或模式识别，则可选择对利用图像和/或视频捕获系统生成的每一帧执行该操作。或者，可以对利用图像和/或视频捕获系统捕获的图像帧的子集执行分割或图像处理或模式识别。可以在各帧之间平均分割，图像处理或模式识别数据。前述实施方案适用于本说明书中利用图像捕获的所有实施方案。
可以执行图像处理以包括来自一个或多个骨赘或骨刺或其他骨骼解剖结构或畸形的数据。一个或多个骨赘或骨刺或其他骨骼解剖或畸形可用于配准虚拟和实时数据，包括，虚拟术前和虚拟术中成像数据或虚拟功能数据。还可以执行图像处理以排除来自一个或多个骨赘或骨刺或其他骨骼解剖结构或畸形的数据。可以从用于配准虚拟和实时数据的任何数据中排除或省略一个或多个骨赘或骨刺或其他骨骼解剖或畸形，包括虚拟术前和虚拟术中成像数据或虚拟功能数据。可以基于解剖部位，手术部位和/或虚拟数据和实时数据的分割或配准的所需准确度选择，包含或排除一个或多个骨赘或骨刺或其他骨骼解剖或畸形。
校准或配准体模可以以非物理时间模式(比如，间歇模式)使用，比如，使用集成到，连接到，耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，其可选择以间歇模式操作。可以通过使用定时器或定时装置来使用校准或配准体模的间歇模式，其中每10秒，8秒，5秒，3秒，2秒，1秒执行图像捕获和配准。
在一些实施方案中，将选择或设计使用校准或配准体模的物理时间和间歇配准，使得所生成的数据不超过图像和/或视频捕获系统的时间分辨率和/或用于配准的分割或图像处理或模式识别的时间分辨率。
在任何前述实施方案中，可以通过使用多个配准点，图案，平面或表面来可选地提高配准精度。通常，随着配准点，图案，平面或表面的数量增加，配准的准确性将提高。在一些实施方案中，这些可以不超过图像和/或视频捕获系统的空间分辨率。在一些实施方案中，这些可能超过图像和/或视频捕获系统的空间分辨率。在那种情况下，可选择执行数据的下采样，比如，通过降低一个，两个或三个平面中的有效空间分辨率，或者通过降低通过光学头戴式显示器看到的视野中的或者在虚拟数据中可视化的选定区域中的空间分辨率。虚拟术前，虚拟术中和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
如果标记或体模仍然存在，则可以在执行一个或多个外科手术步骤之后使用相同的皮肤标记或软组织标记或校准体模或配准体模。或者，可以在一个或多个外科手术步骤或外科手术改变之后执行患者实时数据和患者虚拟数据的重新配准。在重新配准之后，可以应用一个或多个新的皮肤标记物或软组织标记物或校准体模或配准体模，并在手术步骤或改变之后互相参照重新配准的实时和虚拟数据。然后，可以将皮肤标记物或软组织标记物或校准体模或配准体模用于患者实时数据和患者虚拟数据的后续匹配，迭加，移动和配准。
估计患者与光学头戴式显示器的距离，位置，方向
如果使用本说明书中描述的任何技术配准患者虚拟数据和患者实时数据，并且，如果校准或配准体模也与患者实时数据相关地进行了配准，则校准或配准体模可用于保持配准，比如，间歇或物理时间，包括在外科医生或手术者移动其头部或身体时。比如，校准或配准体模可以在手术期间不移动。如果需要移动校准或配准体模，则可选择与任何患者实时数据，患者虚拟数据，术前数据和术中数据重新配准。
在该实施方案和相关实施方案中，将使用图像和/或视频捕获系统以及可选择使用分割技术，图像处理技术或模式识别技术和本领域已知的用于识别图像数据中对象的任何其他技术来识别校准或配准体模的地点，位置，方向，准直，表面或形状。图像和/或视频捕获系统可以集成到光学头戴式显示器或附加到光学头戴式显示器。图像和/或视频捕获系统可以耦合到光学头戴式显示器或与光学头戴式显示器分离。图像和/或视频捕获系统将用于确定与患者，手术者和/或光学头戴式显示器相关的校准或配准体模的地点，位置，方向，对准，表面或形状。
本领域已知的任何其他技术，包括如本说明书中所述，可用于确定与患者，手术者和/或光学头戴式显示器相关的校准或配准体模的地点，位置，方向，准直，表面或形状，可以使用，包括但不限于，光学或射频跟踪的手术导航，基于激光的距离测量等。
校准或配准模型可用于主要或备份配准。可选择使用同步配准，其中，比如，同时使用一种以上配准技术来维持患者虚拟数据和患者实时数据之间的配准，比如，通过使用一个或者多个校准或配准体模来同时保持患者虚拟数据和患者实时数据之间的配准，和结合使用患者虚拟数据和患者实时数据之间的相应解剖标志或表面来保持配准。如果使用同步配准，则可选择应用规则来解决用于配准患者虚拟和实时数据的第一和第二配准技术之间的潜在冲突。
比如，利用集成到光学头戴式显示器中或连接到光学头戴式显示器或耦合到光学头戴式显示器的图像和/或视频捕获系统，外科医生或手术者头部或身体的定位，位置或方向的任何变化都将导致校准或配准体模的透视图和可视化尺寸和/或形状的变化。可以测量透视图以及校准或配准体模的可视化尺寸和/或形状的变化，用于确定外科医生或手术者的头部或身体的地点，位置或方向的变化，然后，将其用于通过将患者虚拟数据移动到地点，位置，方向和/或对准来保持患者虚拟数据和患者实时数据之间的配准，该地点，位置，方向和/或对准可确保即使外科医生或手术者的头部或身体处在新位置或方向，仍能保持配准，并且虚拟和患者实时数据，比如，在需要时，基本上迭加或匹配。同样，当使用多个光学头戴式显示器时，比如，一个用于主要外科医生，一个用于助理，第三个用于住院医师，第四个用于擦洗护士和第五个用于访客，利用集成到或连接到每一不同的光学头戴式显示器或耦合到每一不同的光学头戴式显示器的图像和/或视频捕获系统，用户或观察者的头部或身体的地点，位置或方向的任何改变都将导致校准或配准体模的透视图和可视化尺寸和/或形状的变化。可以测量透视图以及校准或配准体模的可视化尺寸和/或形状的变化，用于确定用户或观察者的头部或身体的地点，位置或方向的变化，然后，将其用于通过将患者虚拟数据移动到地点，位置，方向和/或对准来保持患者虚拟数据和患者实时数据之间的配准，该地点，位置，方向和/或对准可确保即使用户或观察者的头部或身体处在新位置或方向，仍能保持配准，并且虚拟和患者实时数据，比如，在需要时，基本上迭加或匹配，观察者的左眼通过光学头戴式显示器装置屏幕看到的患者虚拟数据，和观察者的左眼通过光学头戴式显示器装置屏幕看到的患者实时数据，的视角基本相同；观察者的右眼通过光学头戴式显示器装置屏幕看到的患者虚拟数据，和观察者的右眼通过光学头戴式显示器装置屏幕看到的患者实时数据，的视角基本相同。
在本发明的一些实施方案中，校准或配准体模可用于检查集成或附接或耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统的准确度。
在本发明的另一实施方案中，校准或配准体模可用于校准集成或附接或耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统。
在一些实施方案中，校准或配准体模可用于校准惯性测量单元，比如，用于距离测量，移动，与物体的距离，因为校准或配准体模包括已知的几何形状，比如，已知的距离或角度。
用于组织变形的患者虚拟数据和患者实时数据配准的配准
在本发明的一些实施方案中，可以在虚拟数据中模拟由手术或手术器械引起的组织变形，组织形状改变或移除。然后，可以在现场患者的变形，改变形状或移除组织之前和/或之后，将得到的模拟虚拟数据与患者实时数据相关联地配准。由手术或手术器械引起的组织变形，形状改变或组织移除可包括一个或多个骨赘或骨刺或其他骨解剖结构或畸形的形状改变或移除。患者虚拟数据和患者实时数据可以在共同坐标系中配准，比如，与一个或多个光学头戴式显示器一起配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
在本发明的一些实施方案中，可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。如果手术改变或手术步骤导致一些组织变形，则重新配准患者实时数据和患者虚拟数据可能特别有用。比如，可以通过匹配，迭加和/或配准尚未通过外科手术步骤或外科手术改变执行的组织来执行重新配准。或者，可以通过匹配，迭加和/或配准变形的患者实时数据(比如，来自手术变形的组织)和在虚拟外科手术步骤之后模拟相同的组织变形的患者虚拟数据，比如，骨赘或组织去除，执行重新配准。
在多个时间点配准患者虚拟数据和患者实时数据，比如，在外科手术的不同阶段
在本发明的一些实施方案中，患者虚拟数据和患者实时数据的配准可以在多个时间点发生，比如，在组织移除或植入医疗装置的不同阶段期间。对于选择或每一时间点，比如，对于外科手术的选择或所有阶段，患者实时数据和患者虚拟数据可以在共同坐标系中配准，比如，使用一个或多个光学头戴式显示器。虚拟和物理手术器械也可以在共同坐标系中配准。
比如，在膝关节置换手术或髋关节置换手术中，可以在切除任何组织之前，使用股骨或胫骨或髋臼表面形状或使用股骨或胫骨或髋臼标志，来执行患者虚拟数据和患者实时数据的配准。可选择将钉或其他刚性固定标记放置在，比如，在至少一部分外科手术期间，不会通过外科手术切除的区域。在移除组织后，比如，在已经发生关节面翻边之后或者在进行骨切割之后或者在已经进行扩孔之后，或者在一个或多个骨赘或骨刺或其他骨骼解剖或畸形已被移除后，可以使用不同的配准部位，表面或解剖标志来重复虚拟和患者实时数据的配准。现在，对于由外科手术新创建的解剖标志，或者比如，由外科手术新创建的表面，可以进行配准。这种新产表面可以是，比如，由骨切割产生的残余股骨或胫骨上的平面表面。植入的针或刚性固定标记可选择用于辅助配准手术改变后的虚拟数据和通过手术改变的患者实时数据。因此，本发明允许患者虚拟数据和患者实时数据的多时间点配准，比如，通过在手术改变之前和在一次或多次手术改变之后配准患者虚拟数据和患者实时数据。以这种方式，可以多次重新配准，改变手术野。
可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
使用CAD文件或数据或(比如，医疗设备的)三维文件或数据配准患者虚拟数据和患者实时数据
在本发明的一些实施方案中，医疗设备的CAD文件或CAD数据可以由光学头戴式显示器显示并迭加在患者实时数据上。CAD文件或CAD数据可以是在外科手术过程中使用或植入的医疗装置。相对于患者实时数据(包括正常解剖结构或病理组织)迭加和配准任何类型的cAD文件或CAD数据，或医疗设备，手术器械或植入式设备的任何类型的三维文件或三维数据，比如，共同坐标系中的一个或多个骨赘或骨刺或其他骨解剖结构或畸形或软组织或肿瘤组织或畸形，比如，使用一个或多个光学头戴式显示器。物理手术器械和植入体组件也可以在共同坐标系中配准。
医疗装置可以包括非生物制品以及生物装置，比如，可以植入人体的组织支架，细胞，细胞基质等。
在本发明的一些实施方案中，可以将多个CAD文件和/或虚拟数据的三维文件迭加到患者实时数据上。比如，CAD文件可以是具有不同尺寸或形状的医疗设备的CAD文件。比如，从术前影像学检查获得的患者的虚拟二维或三维数据可以迭加到患者实时数据上，比如，手术部位。然后，外科医生可选择通过光学头戴式显示器将医疗设备的三维CAD 文件引入显示器中。外科医生可以检查医疗设备的尺寸或形状与患者的虚拟二维或三维数据和/或患者实时数据的关系。如果外科医生不满意与患者的虚拟二维或三维数据和/或患者实时数据相关的医疗设备的预计尺寸或形状，则外科医生可以选择不同尺寸和/或形状的医疗设备的不同CAD文件，将CAD文件选择性投影到患者的虚拟二维或三维数据以及 OHMD显示器中的患者实时数据，并根据需要重复该过程多次，直到外科医生对与患者的虚拟二维或三维数据和/或患者实时数据有关的所选医疗设备的最终尺寸或形状感到满意为止。
可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。比如，模拟虚拟手术步骤或患者虚拟数据中的手术改变的CAD文件可以在现场患者的物理手术步骤或手术改变之后与患者实时数据匹配，迭加或配准。以这种方式，可以在外科手术步骤或手术改变之后重新配准实时和虚拟数据。
使用非解剖数据配准患者虚拟数据和患者实时数据
可以使用除解剖学或病理结构之外的数据来执行患者虚拟数据和患者实时数据的配准。比如，可以基于运动学数据，运动学数据来执行配准(比如，为确定实时数据中关节的旋转中心，然后可以将其配准到患者虚拟数据中的估值或模拟旋转中心)。可以使用代谢数据进行配准，比如，在正电子放射断层造影术扫描或正电子放射断层造影术-核磁共振或正电子放射断层造影术计算机断层扫描中使用高18FDG-正电子放射断层造影术摄取区域，其可以与目标外科手术部位中体温升高的区域匹配。可以使用功能数据进行配准，比如，使用功能性核磁共振检查。患者虚拟数据和实时数据可以在共同坐标系中配准，比如，与一个或多个光学头戴式显示器一起配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
可选择不同类型的数据，比如，解剖学，运动，运动学，代谢，功能，温度和/或血管流动等数据可以单独使用或组合使用，用于患者的虚拟和实时数据的配准。
可以在已经执行一个或多个外科手术步骤之后重复使用本文描述的技术，利用非解剖学数据，配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可选地使用非解剖学数据，与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。在对组织或手术部位进行一次或多次外科手术改变后，配准患者虚拟数据和患者实时数据
在本发明的一些实施方案中，在已经执行一个或多个外科手术步骤并且可以在公共坐标中配准患者虚拟数据和实时数据之后，在选择步骤或每一手术步骤或组织改变之后，可以重复使用本文描述的技术来配准患者虚拟数据和患者实时数据，比如，使用一个或多个光学头戴式显示器的系统。在选择步骤或每一手术步骤或组织改变之后，虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
在手术组织改变之后，利用关于手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征的信息，患者实时数据和患者虚拟数据的匹配，迭加和/或配准可以是手动，半自动或自动的。比如，可以使用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来执行自动重新配准，该光学头戴式显示器可以在手术改变之后捕获患者实时数据中关于手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征的信息，并将该信息与患者虚拟数据中的信息进行比较，比如，在虚拟手术计划中执行可比较步骤之后的虚拟数据。
手术改变或手术步骤可包括但不限于，表6中的程序：
表6：应用于各种患者组织的示例性外科改变或步骤，比如，骨，软骨，韧带，腱，关节囊，皮肤，脂肪，器官组织(比如，肝，脾，肾，肠，胆囊，肺，心脏，甲状腺，脑等)。
切除，比如，骨切割
锯切，比如，用锯锯骨头
铣削，比如，用铣刀铣削骨头
铰孔，比如，用铰刀扩孔
撞击，比如，用撞击器撞击骨头
钻孔，比如，用钻头钻孔
固定，比如，用钉固定骨头
射频消融
热消融
冷冻消融
烧灼
组织切除
组织移除
肿瘤切除
骨折固定
创伤修复
创伤重建
软组织修复
软组织重建
组织移植
将配准标记或校准体模放置在组织表面或组织内部
放置手术器械，比如，针或锯
医疗植入体或其组件的放置，比如，活检针，椎弓根针，椎弓根螺钉，脊柱固定杆，膝关节置换系统组件，髋关节置换系统组件，肩部置换系统组件，踝关节置换系统组件
骨水泥或其他物质的植入/注射，硬化或非硬化
植入试验植入体
植入组织移植物
植入组织基质
植入移植物
植入导管，比如，留置导管
植入或注射细胞，比如，干细胞
注射药物
可选择在执行外科手术步骤之后重复本文所述的配准程序。可选择在多个手术步骤之后重复本文所述的配准程序。可选择在每一手术步骤之后重复本文所述的配准程序。可选择在主要手术步骤之后重复本文所述的配准程序。当外科医生想要实现高手术准确度时，可选择重复这里描述的配准程序。当外科医生担心在外科手术步骤或手术改变之前执行的初始配准不准确或不再准确或受外科手术步骤或手术改变影响时，可选择执行或重复本文所述的配准程序。
在本发明的一些实施方案中，可以知道或估计由手术改变或手术步骤引起的对患者组织的改变，比如，作为使用患者虚拟数据的虚拟手术计划的一部分。应用于患者组织的手术改变和/或手术步骤可以包括，表6中的实施方案中列出的任何手术改变和/或手术步骤，但是也可以包括对本领域已知的患者组织的任何改变。比如，可以在虚拟手术计划和 /或患者虚拟数据中估计通过手术改变或手术步骤在患者组织上引起的改变和/或变化。通过手术改变或手术步骤在患者组织上诱导的示例性变化列于表7中，表7仅是示例性说明，决不意味着限制本发明：
表7：通过手术改变或手术步骤在患者组织上诱导的示例性变化。这些变化可以在现场患者中诱导。这些变化也可以被计划/预期或模拟，比如，用于由一个或多个光学头戴式显示器进行投影，比如，在虚拟手术计划中。
组织表面积的变化
组织体积的变化
组织表面形状的变化
组织表面形貌的变化
组织周长的变化(比如，从未切割到切割表面，或从切割表面1到切割表面2)
组织表面粗糙度的变化
组织表面纹理的变化
组织表面颜色的变化
组织表面反射性的变化(比如，反射光或超声波)
组织表面区域的变化有不同的颜色(比如，手术改变引起的颜色变化)
组织表面周长的变化，比如，切割与未切割的组织表面
组织温度的变化
组织弹性的变化
组织成分的变化，比如，脂肪含量(比如，切骨表面的骨髓脂肪)
任何前述变化可包括所有组织或仅包括组织的一部分。本发明的实施方案可以针对所有组织或仅部分组织或组织的一部分。
在使用说明书中描述的或本领域已知的任何技术初始配准患者实时数据和患者虚拟数据之后，可以执行第一或任何后续手术改变或手术步骤，从而引起患者的组织改变。手术改变或手术步骤可以通过OHMD显示器的可选指导进行，比如，通过光学头戴式显示器显示一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，从虚拟库选择的全部，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具的非可视化部分，和/或一种或多种预定组织变化或改变的估计或预定的非可视化部分。
一旦在现场患者的组织上进行或诱导了手术改变或手术步骤，就可以在患者/活体的实时数据中确定诱导的物理变化或由此导致的组织外观和/或组织特性/特征。可以使用本领域已知的用于评估组织外观，组织特性和/或特征的任何技术，在患者/现场患者实时数据中确定诱导的物理变化或所得组织外观和/或组织特性/特征，包括，比如，面积，体积，形状，形貌，粗糙度，纹理，颜色，反射性，具有不同颜色的区域，周长，温度，弹性和/或组成。比如，集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于评估手术改变组织的一个或多个区域，形状，形貌，粗糙度，纹理，颜色，反射性，不同颜色的区域，周长，温度，弹性和/或组成。组织探针，比如，温度探针，弹性探针，可用于评估手术改变的组织的特征和/或特性。机械探针，比如，具有一个或多个附接的光学标记，发光二极管，红外标记，逆向反射标记，射频标记，导航标记和/或惯性测量单元，可用于接触组织表面或周边，比如，围绕周边或跟踪并评估手术改变的组织的组织形貌。
手术改变的组织的物理外观，性质和/或特征可以使用任何前述技术或说明书中描述的或本领域已知的任何技术来评估。手术改变的组织的物理外观，性质和/或特征可选地与估计的或预期的改变或变化后的外观相比较，比如，患者虚拟数据(比如，虚拟手术计划)的组织的表面积，体积，形状，形貌，性质和/或特征。如果物理手术改变的组织的物理变化与实际上手术改变的组织的虚拟预期变化之间存在差异，或者物理手术改变的组织和实际改变的组织的外观，性质和/或特征存在差异，比如，在患者虚拟数据和/或虚拟手术计划中，可以评估差异的大小：如果差异被认为是无关紧要的，比如，如果它们低于可选地预定义的距离或角度偏差阈值，则外科手术过程和随后的手术步骤可以如原始计划的那样继续，比如，在虚拟手术计划中。如果差异被认为是显著的，比如，如果在距离或角度偏差的可选地预定义的阈值之上，则外科医生或手术者可以具有若干选项。该过程和选项也在图6中以图示的说明形式说明：外科医生可以执行手术步骤80。然后，外科医生可以评估在现场患者81中引起的实际变化。外科医生可以将在现场患者中引起的实际变化与患者虚拟数据中的预定变化进行比较，比如，在虚拟手术计划或虚拟三维图像82 中。可以确定实际变化和预定变化之间的差异的大小83。如果是可接受的84，则外科医生可以执行下一个手术步骤85。可选择对下一外科手术步骤重复步骤81，82，83。如果实际和预定变化之间的差异是不可接受的86，则外科医生有几种解决差异的方法，修改最后的手术步骤87，修改下一个手术步骤88，修改虚拟手术计划89，根据患者实时数据 90修改患者虚拟数据的配准，或者应用配准校正91。在修改最后一个手术步骤之后87，可选择92重复步骤81，82，83以进行下一手术步骤。
A).修改最后的手术步骤以便修改后现场患者中手术改变的组织的物理外观，物理特性和/或物理特征(包括形状和尺寸，切割平面，切割平面/组织平面的周长，钻孔深度，角度，旋转，植入部位等)更类似于，并且可选择，更接近地复制患者虚拟数据中的预期虚拟外观，虚拟属性和/或虚拟特征，比如，患者的虚拟手术计划。比如，如果手术者或外科医生认为最后的外科手术步骤存在误差，比如，通过颤动或偏离锯片或未对准的针或未对准的铰刀或撞击器或其他问题，则可以选择该选项，纠正错误。一旦修改完成，外科医生或手术者可以再次评估手术改变的组织的物理变化，物理外观，物理特性和/或物理特征，并将其与患者虚拟数据中的组织的估计的或预期的虚拟变化，虚拟外观，虚拟特性和/或虚拟特征进行比较，比如，虚拟手术计划。根据评估结果，外科医生或手术者可以选择重复选项A，或恢复选项B或C
B).修改接下来的手术步骤以便在后续手术步骤中的修改之后，现场患者中的手术改变的物理外观，物理特性和/或物理特征(包括形状和尺寸，切割平面，切割平面/组织平面的周长，钻孔深度，角度，旋转，植入部位等)，更加类似于并且可选择更接近地复制患者虚拟数据中的预期虚拟外观，虚拟属性和/或虚拟特征，比如，在接下来的虚拟手术步骤中的虚拟修改之后的患者的虚拟手术计划。比如，如果手术者或外科医生认为最后的外科手术步骤存在误差，比如，通过颤动或偏离锯片或未对准的针或未对准的铰刀或撞击器或其他问题，则可以选择该选项，纠正接下来的手术步骤中的错误。一旦接下来的手术步骤的修改完成，外科医生或手术者可以再次评估手术改变的组织的物理变化，物理外观，物理特性和/或物理特征，并将其与患者虚拟数据中的组织的估计的或预期的虚拟变化，虚拟外观，虚拟特性和/或虚拟特征进行比较，比如，虚拟手术计划。根据评估结果，外科医生或手术者可以选择重复选项A和/或B和/或恢复选项C和/或D和/或E.
C).修改患者的虚拟手术计划以便在修改后的患者虚拟数据中手术改变的组织的虚拟外观，虚拟属性和/或虚拟特征(包括形状和尺寸，切割平面，切割平面/组织平面的周长，钻孔深度，角度，旋转，植入部位等)更类似于，并且可选择，更接近地复制经过物理手术改造之后患者实时数据中的预期物理外观，物理属性和/或物理特征。比如，如果手术者或外科医生认为最后的手术步骤是准确的或者考虑到虚拟手术计划中未考虑的组织状况的意外变化，则可以选择该选项。比如，在膝关节置换手术或髋关节置换或其他关节置换手术中可以观察到，组织状况的这种意外变化可以是，比如，韧带松弛或紧绷。如果以这种方式修改已改手术计划，则可以从最后或之前的物理手术步骤引用所有后续的虚拟手术步骤，从而保持手术的连续性。然后，光学头戴式显示器可用于投射所有或一些后续虚拟手术步骤，比如，通过投射一个或多个虚拟手术工具，虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，从虚拟库选择的全部，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具的非可视化部分，和/或一种或多种预定组织变化或改变的估计或预定的非可视化部分。因此，修改随后的虚拟手术步骤以完成手术，并且可选择考虑一个或多个的先前物理手术步骤，植入植入体或植入体组件或装置或移植片或移植物。可选择在虚拟或物理修改之后基于局部组织状况 /特征进一步修改已改后续虚拟手术步骤，比如，如果后续手术步骤落入组织空隙中或将导致植入体组件植入的损害。
D）.修改患者虚拟数据与患者实时数据的配准。患者在进行物理手术改造之后，手术者或外科医生可选择使用说明书中描述的或本领域已知的任何技术重复配准程序，用于配准患者虚拟数据，包括，比如，虚拟手术计划，和患者实时数据。一旦手术改变后重新配准了患者虚拟数据和患者实时数据，光学头戴式显示器显示的所有后续虚拟手术步骤和任何相关的虚拟手术计划都可以参考患者虚拟数据和实时数据的重新配准。比如，然后，可以在重新配准之后，使用光学头戴式显示器投射所有或一些后续虚拟手术步骤，比如，通过投射一个或多个虚拟手术工具，虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，虚拟库可选择的全部，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分。
E).应用配准更正。如果物理手术改变的组织的物理变化与实际上手术改变的组织的虚拟预期变化之间存在差异，或者物理手术改变的组织和实际改变的组织的外观，性质和/或特征存在差异，比如，在患者虚拟数据和/或虚拟手术计划中，可以评估差异的大小并且可以用于患者虚拟数据配准的坐标校正，坐标调整或坐标转移，可选地包括，虚拟手术计划，以及患者实时数据，比如，用于任何后续手术步骤或外科手术。比如，然后，光学头戴式显示器可以使用坐标校正或调整或转移来投影/显示所有后续虚拟手术步骤，比如，通过投射一个或多个虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，从虚拟库选择的全部，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具的，和/或一种或多种预定组织变化或改变的非可视化部分。
上述选项A，B，C，D和/或E的任何组合都是可能的。
如果使用图像和/或视频捕获系统来测量/捕获物理变化，比如，表面/表面区域，周长，周边形状和/或切割表面的形状的变化或以其他方式修改或改变的表面，则由图像和/ 或视频捕获系统捕获的数据/图像可以针对任何角度失真或投影进行校正，比如，如果摄像头相对于切割表面或者以其他方式修改或改变表面以不同于90度的角度定位。类似地，可以根据摄像头或图像和/或视频捕获系统之间的距离以及改变的表面/表面区域，周边，周边形状和/或切割表面的形状或以其他方式修改或改变的表面，校正或者调整由图像和/或视频捕获系统测量的物理变化，比如，表面/表面区域的大小，周长，周长形状和 /或切割表面或以其他方式修改或改变的表面的形状。可以评估图像和/或视频捕获系统与物理变化的角度和/或距离，比如，表面/表面积，周长，周边形状和/或切割表面的形状或以其他方式修改或改变的表面。比如，使用一个或多个射频标记，光学标记，导航标记，包括但不限于，附着在图像，和/或视频捕获系统，和/或光学头戴式显示器，和/或患者，和/或切口，修改或改变的表面上的红外标记，逆向反射标记，射频标记，发光二极管和/或惯性测量单元。
比如，在膝关节置换，髋关节置换或肩关节置换手术中，选择性使用光学头戴式显示器的骨锯的虚拟导板，可对远端股骨，近端胫骨，近端股骨或近端肱骨施加骨切割。然后，可以对现场患者评估骨切割的位置，对准和/或方向，包括，可选择，切割表面的表面/表面区域，周长，周边形状和/或形状，比如，使用集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，或使用一个或多个探针，选择使用一个或多个附接的光学标记，导航标记(包括但不限于红外标记，逆向反射标记，射频标记，发光二极管或惯性测量单元)。
如果切割表面的物理位置，对准，方向，表面，表面区域，周长，周长形状和/或形状不同于切割表面的虚拟预期/投影位置，对准，方向，表面，表面积，周长，周边形状和/或形状，软件可以选择性确定切割表面的虚拟修改的位置，对准，方向，表面，表面积，周长，周边形状和/或形状，其将更接近切割表面的物理位置，对准，方向，表面，表面区域，周长，周边形状和/或形状。然后，虚拟修改的切割表面的位置，对准，方向，表面，表面区域，周长，周边形状和/或形状，和物理位置，对准，方向，表面，表面区域，周长，周边形状和/或形状之间的坐标差异可以用于确定随后的虚拟手术步骤的坐标校正，调整或转移。然后，可以将坐标校正，调整或转移应用于OHMD显示器，比如，当光学头戴式显示器在后续手术步骤中显示一个或多个虚拟手术工具，虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，从虚拟库选择的全部，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具的非可视化部分，和/或一种或多种预定组织变化或改变的非可视化部分。
以下是图7A-H中的示例性实例中所示的髋部置换过程的一部分的示例性说明，外科医生在进行该程序的后续步骤之前选择矫正近端股骨切割。该实施方案决不是限制性的，而仅是对本发明某些方面的说明。
图7A显示了预定的股骨颈95切割或虚拟手术计划的视图，其可选地用光学头戴式显示器以二维或三维，立体或非立体形式显示，包括使用具有诸如微软全息眼镜(Hololens)(微软，雷德蒙德，华盛顿州)系统的数字全息图像。在该示例中，光学头戴式显示器可以显示用于锯片的虚拟预定路径或平面(虚线)96，所述锯片被选择为进行近端股骨切割。光学头戴式显示器还可以显示虚拟股骨颈切割的数字全息图。用于物理锯片切割近端股骨颈和虚拟股骨颈的虚拟投射路径可以是相同的；它们也可以是不同的，比如，考虑锯片厚度。比如，如果锯片厚度为2.0毫米，则可以移动预定路径，比如，在近端股骨中移动，用于近端髋关节置换，锯除1.00毫米或更多骨头，从而虚拟股骨切割算上已锯除骨头。
预定路径的显示可以是二维或三维，立体或非立体。外科医生可以将物理锯片与预定路径对准，然后，外科医生可以推进锯片，同时保持锯片基本上与光学头戴式显示器所示的预定路径对准。光学头戴式显示器不是显示预定路径，而是显示对准的虚拟骨锯以切除虚拟骨(可选择考虑切割或锯切的骨头)，并且外科医生可以将物理骨锯与虚拟骨锯对准，然后进行切割。
图7B是说明预期的虚拟股骨颈切割(虚线轮廓)97的横截面图或俯视图，比如，在虚拟手术计划中拟定的。虚拟切割的股骨的周长和/或横截面和/或表面积和/或形状，比如，使用来自患者的术前影像学检查的数据(比如，计算机断层扫描或核磁共振)模拟而成，在该示例中为相对圆形，在内外侧方向上具有稍大的直径。
图7c说明了对现场患者造成的物理股骨颈切割98(直实线)。物理股骨颈切割与锯片的虚拟投射或预期路径没有对准，也未与虚拟股骨颈切割对准，比如，在该示例的虚拟手术计划中。这可能由于实际手术中的各种原因而发生，比如，意外地导致锯片偏离的骨质硬化区域。对于外科医生来说，在手术中很难检测到虚拟预期的骨切割和物理股骨切割之间的对准差异，比如，如果手术野小且深藏，遮挡或隐藏或者光线有限，或者如果只是露出切骨的很小部分。
图7D是说明物理股骨颈切割(实线轮廓)99的俯视图或横截面。物理股骨颈切割的周长和/或横截面和/或表面积和/或形状不同于虚拟计划的切割股骨的周长和/或横截面和/或表面积和/或形状。它在内外侧方向上更趋椭圆形或长圆形。可以检测物理切割近端股骨的周长和/或横截面和/或表面区域和/或形状，比如，使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统或者使用机械或光学探针，比如，使用射频，光学，导航等标记和其他标记。然后，可以将其与虚拟切割表面的周长和/或横截面和/或表面积和/或形状进行比较。
在图7E中，一旦检测到物理切割近端股骨的周长和/或横截面和/或表面区域和/或形状，比如，使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统或者使用机械或光学探针，比如，使用射频，光学，导航等标记和其他标记，可在患者虚拟数据(虚线轮廓)100中识别物理切割近端股骨的相应周长和/或横截面和/或表面积和/或形状，比如，使用本领域已知的图像处理算法。
如图7F所示，一旦在患者虚拟数据中识别出相应的周长和/或横截面和/或表面区域和/或形状(图7E)，可以在患者虚拟数据中识别近似于预期股骨切割的新的虚拟股骨切割替代101。可以确定原始计划的或预定的虚拟股骨切割与新的虚拟股骨切割替代之间的地点，位置，方向，冠状，矢状，轴向角度/角度的差异。具体根据原始计划的或预定的虚拟股骨切割96与新的虚拟股骨切割替代101，对应于对患者执行的物理股骨切割98，之间的差异的严重性和/或临床意义的情况，外科医生然后可以决定或选择任何前述选项 A-E或者组合任何前述选项A-E，比如，修改最后的手术步骤，修改下一手术步骤，修改患者的虚拟手术计划，修改患者虚拟数据与患者实时数据的配准，和/或应用配准更正或其组合。
如图7G所示，外科医生可以选择修改最后的手术步骤并通过沿锯片的对准和方向进行校正来调整近端股骨切割。然后，所得到的校正后的物理近端股骨切割102可以接近原始预期的，虚拟计划的，投射的近端股骨切割97。
图7H说明了经校正的物理近端股骨切割103的周长和/或横截面和/或表面积和/或形状近似于最初虚拟计划的近端股骨骨切割的周长和/或横截面和/或表面积和/或形状。
在膝关节置换的示例中，远端股骨切割没有落到其预期位置并不罕见。比如，关节炎区域下方的致密硬化骨可导致锯片偏转，从而改变远端股骨切割的角度。一旦完成远端股骨切割，就可以评估物理远端股骨切割的周长和/或横截面和/或表面积和/或形状，比如，使用集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，和/或使用激光扫描仪和/或三维扫描仪和/或使用一个或多个探针，其可以接触和/或跟随切割股骨，可选择具有一个或多个附接的光学标记，发光二极管，导航标记，所述导航标记包括但不限于，红外标记，逆向反射标记，射频标记和/或惯性测量单元。然后，可以将现场患者的物理远端股骨切割的周长和/或横截面和/或表面积和/或形状和虚拟远端股骨切割的周长和/或横截面和/或表面积和/或形状进行比较，比如，在患者的虚拟手术计划中。物理远端股骨切割的周长和/或横截面和/或表面区域和/或形状可用于识别虚拟远端股骨切割或患者虚拟数据中的相应虚拟切割平面的相应周长和/或横截面和/或表面区域和/或形状，其可以产生虚拟远端股骨的类似周长和/或横截面和/或表面区域和/或形状。
如果物理远端股骨切割和虚拟远端股骨切割之间的差异低于阈值，比如，距离远端股骨表面切割深度为1，2，3毫米或更多，和/或角度为1度，2度，3度或更大时，手术可按原计划进行。如果物理远端股骨切割和虚拟远端股骨切割之间的差异高于阈值，比如，距离远端股骨表面切割深度为1，2，3毫米或更多，和/或角度为1度，2度，3度或更大时，外科医生或手术者可以在前面的选项A-E之间决定或选择，比如，修改最后的手术步骤，比如，重新远端股骨切割，选择性使用更厚的胫骨插入件以补偿更大的骨损失或减少胫骨切割深度；修改下一手术步骤之一，比如，切割胫骨以解决更大或更小的股骨损失和 /或不同的股骨组件角度(比如，在矢状平面或冠状平面中(比如，具有不同的股骨机械轴对准)可选择在具有不同的胫骨机械轴对准的胫骨侧上校正)；修改患者的虚拟手术计划，修改患者虚拟数据的配准与患者实时数据的关系；和/或应用配准更正或其组合。
图8A说明了预定的远端股骨切割，比如，作为虚拟手术计划的视图的一部分，可选择由光学头戴式显示器以二维或三维，非立体或立体显示。在该示例中，光学头戴式显示器可以显示用于物理锯片的虚拟预期路径或平面110，选择使用所述物理锯片以进行远端股骨切割。用于物理锯片的远端股骨切割和虚拟远端股骨切割的虚拟/投射路径或平面可以重合；它们也可以是不同的，比如，考虑锯片的厚度。比如，如果锯片厚度为2.0毫米，则可以移动预定路径，比如，在远端股骨中，用于近端膝关节置换，锯除1.00毫米或更多骨头，从而虚拟股骨切割算上已锯除骨头。
预定路径的显示可以是二维或三维，立体或非立体。外科医生可以将物理锯片与预定路径对准，然后，外科医生可以推进锯片，同时保持锯片基本上与光学头戴式显示器所示的预定路径或平面对准。光学头戴式显示器不是显示预定路径或平面，而是显示对准的虚拟骨锯以切除虚拟骨(可选择考虑切割或锯切的骨头)，并且外科医生可以将物理骨锯与虚拟骨锯对准，然后进行切割。
图8B是说明了预期的虚拟远端股骨切割111的横截面或视图，比如，在虚拟手术计划中形成的。显示虚拟切割的股骨的周长和/或横截面和/或表面积和/或形状，比如，使用来自患者的术前影像学检查的数据(比如，计算机断层扫描或核磁共振或超声或X射线)模拟。
图8C说明了对现场患者112进行的物理远端股骨切割。物理远端股骨切割不与锯片的实际预定路径对准，并且在该示例中它不与虚拟手术计划中的虚拟远端股骨切割对准。这可能由于实际手术中的各种原因而发生，比如，意外地导致锯片偏离的骨质硬化区域。对于外科医生来说，在实际上很难检测到虚拟预期的骨切割和物理股骨切割之间的对准差异。
图8D是说明物理远端股骨切割113的视图或横截面。物理远端股骨切割的周长和/或横截面和/或表面积和/或形状不同于虚拟计划的切割股骨的周长和/或横截面和/或表面积和/或形状。可以检测物理切割远端股骨切割的周长和/或横截面和/或表面区域和/或形状，比如，使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统或者使用机械或光学探针，比如，使用射频，光学，导航等标记和其他标记。然后，可以将其与虚拟切割表面的周长和/或横截面和/或表面积和/或形状进行比较。
图8E一旦检测到物理远端股骨切割的周长和/或横截面和/或表面区域和/或形状，比如，使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统或者使用激光扫描仪和/或三维扫描仪或使用机械或光学探针，比如，使用射频，光学，导航等标记和其他标记，可在患者虚拟数据114中识别物理远端股骨切割的相应周长和/或横截面和/或表面积和/或形状，比如，使用本领域已知的图像处理算法。
图8F一旦在患者虚拟数据中识别出相应的周长和/或横截面和/或表面区域和/或形状 (图8E)，可以在患者虚拟数据中识别近似于物理股骨切割的新的虚拟股骨切割替代115。可以确定原始计划/预定的的虚拟股骨切割与新的虚拟股骨切割替代之间的地点，位置，方向，冠状，矢状，轴向角度/角度的差异。具体根据原始计划的或预定的虚拟股骨切割和，对患者执行的物理股骨切割，之间的差异的严重性和/或临床意义的情况，外科医生然后可以决定或选择任何前述选项A-E或者组合任何前述选项A-E，比如，修改最后的手术步骤，修改下一手术步骤，修改患者的虚拟手术计划，修改患者虚拟数据与患者实时数据的配准，和/或应用配准更正或其组合。
图8G外科医生可以选择修改最后的手术步骤，并沿锯片的对准和方向校正远端股骨切割，该校正可以是矢状平面(如本例所示)或，如果物理切口在冠状面上未对准，则为冠状面。然后，所矫正的物理远端股骨切割116最接近原始预期的，虚拟计划的，预计的远端股骨切割。
图8H说明了经校正的物理远端股骨切割117的周长和/或横截面和/或表面积和/或形状接近于最初虚拟计划的远端股骨切割的周长和/或横截面和/或表面积和/或形状。
比如，如果比较物理远端股骨切割的周长和/或横截面和/或表面积和/或形状和虚拟计划的远端股骨切割的周长和/或横截面和/或表面积和/或形状，比如，在虚拟数据中对应于物理远端股骨切割的新虚拟切割平面的可选识别显示，虚拟远端股骨切割和和物理股骨切割的地点，位置，方向和/或角度之间的差异超过阈值，比如，屈曲方向角度增加3 度和/或切割深度增加2毫米(即更多骨骼移除)，然后，外科医生可以通过将对应的虚拟切割平面与物理切割平面和外科医生或者软件配准修改虚拟手术计划，进而修改患者实时数据(比如，物理远端股骨切割的周长和/或横截面和/或表面区域和/或形状)和患者虚拟数据的的配准。在该示例中，为了避免植入体和骨头之间出现间隙或者物理切割骨头剩余区域太宽，对虚拟手术计划的修改可以包括，改变前股骨切割，后股骨切割和倒角切割的角度以与股骨组件的组件平面的尺寸和角度一致的远端股骨切割对准，否则可能导致骨骼在选择区域中过宽，比植入体尺寸宽，从而不能接受植入体。如果使用股骨第一技术，则虚拟手术计划的修改还可以包括调整近端胫骨切割的高度或深度以及近端胫骨切割的角度，比如，通过减少胫骨切割和通过改变切口的斜度，以考虑更加弯曲的股骨组件，并考虑不同的物理远端股骨切割，保持更好的软组织/韧带平衡。这些对虚拟手术计划的调整可选择由光学头戴式显示器显示，比如，通过显示一个或多个经虚拟校正或调整的前，后，倒角切割，和/或通过显示一个或多个校正或调整的近端胫骨切割，经矫正或调整的切割高度/深度，和/或经矫正或调整的胫骨斜度，和/或经矫正或调整的胫骨内翻或外翻角度。光学头戴式显示器可显示锯片或手术器械的虚拟校正或调整的预期/投射路径，虚拟校正或调整的预期/投影切割平面，或锯片和/或电动工具的虚拟校正或调整的预期/投影轴。
下面示例中，外科医生无意中误导了股骨切割，在光学头戴式显示器的帮助下，集成或附加或分离的图像和/或视频捕获系统检测到股骨误切，然后决定在胫骨侧的后续手术步骤中进行必要的矫正。
图9A说明了预定的远端股骨切割和近端胫骨切割，比如，作为虚拟手术计划的视图的一部分，可选择由光学头戴式显示器以二维或三维，非立体或立体显示。在该示例中，光学头戴式显示器可以显示用于物理锯片的虚拟预定路径，该物理锯片被选择以进行远端股骨切割120和近端胫骨切割121。光学头戴式显示器还可以显示虚拟远端股骨和/或近端胫骨切割。切割位置可以根据锯片的厚度进行调整。
预定路径的显示可以是二维或三维，非立体或立体。外科医生可以将物理锯片与预定路径对准，然后，外科医生可以推进锯片，同时保持锯片基本上与光学头戴式显示器所示的预定路径对准。光学头戴式显示器不是显示预定路径，而是显示对准的虚拟骨锯以切除虚拟骨(可选择考虑切割或锯切的骨头)，并且外科医生可以将物理骨锯与虚拟骨锯对准，然后进行切割。
图9B是说明了预期的虚拟远端股骨切割122的横截面或视图，比如，在虚拟手术计划中形成的。显示虚拟切割的股骨的周长和/或横截面和/或表面积和/或形状，比如，使用来自患者的术前影像学检查的数据(比如，计算机断层扫描或核磁共振或超声)模拟。
图9C说明了对现场患者实施的物理远端股骨切割123。物理远端股骨切割123未与锯片的实际预定路径对准，并且在该示例中，它未与虚拟手术计划中的虚拟远端股骨切割120对准。这可能由于实际手术中的各种原因而发生，比如，意外地导致锯片偏离的骨质硬化区域。对于外科医生来说，在实际上很难检测到虚拟预期的骨切割和物理股骨切割之间的对准差异。虚线表示基于虚拟手术计划的预定胫骨切割。
图9D是说明物理远端股骨切割124的视图或横截面。物理远端股骨切割的周长和/或横截面和/或表面积和/或形状不同于虚拟计划的切割股骨122的周长和/或横截面和/或表面积和/或形状。可以检测物理远端股骨切割的周长和/或横截面和/或表面区域和/或形状，比如，使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统或者激光扫描仪和/或三维扫描仪或者机械或光学探针，比如，使用射频，光学，导航等标记和其他标记。然后，可以将其与虚拟切割表面的周长和/或横截面和/或表面积和/或形状进行比较。
如图9E所示，一旦检测到物理切割远端股骨的周长和/或横截面和/或表面区域和/ 或形状，比如，使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统或者使用激光扫描仪和/或三维扫描仪或使用机械或光学探针，比如，使用射频，光学，导航等标记和其他标记，可在患者虚拟数据125中识别物理切割远端股骨的相应周长和/或横截面和/或表面积和/或形状，比如，使用本领域已知的图像处理算法。
如图9F所示，一旦在患者虚拟数据中识别出相应的周长和/或横截面和/或表面区域和/或形状(图9E)，可以选择在患者虚拟数据中识别近似于物理股骨切割的新的虚拟股骨切割替代126。可以确定原始计划的或预定的虚拟股骨切割120与新的替代股骨切割 126之间的地点，位置，方向，冠状，矢状，轴向角度/角度的差异。具体根据原始计划的或预定的虚拟股骨切割和物理股骨切割之间的差异的严重性和/或临床意义的情况，外科医生可以决定或选择任何前述选项A-E或者组合任何前述选项A-E，比如，修改最后的手术步骤，修改下一手术步骤，修改患者的虚拟手术计划，修改患者虚拟数据与患者实时数据的配准，和/或应用配准更正或其组合。在该示例中，外科医生选择通过将虚拟胫骨切割的角度从其原始方向121改变为新方向127来修改下一外科手术步骤，可选择，至少部分地，校正股骨误切的整体准直。
如图9G所示，外科医生可以选择修改下一外科手术步骤，并且在该示例中，沿锯片的对准和方向应用校正来改变近端胫骨切割，以在新的，虚拟修改的胫骨切割上执行。可以定位修改的虚拟和合成的物理近端胫骨切割128，以至少部分地校正股骨误切。
如果比较物理远端股骨切割的周长和/或横截面和/或表面积和/或形状和虚拟计划的远端股骨切割的周长和/或横截面和/或表面积和/或形状，比如，在虚拟数据中对应于物理远端股骨切割的新虚拟切割平面的可选识别显示，物理远端股骨切割表面更倾斜，比如，3度或更大，如光学头戴式显示器所示，在虚拟手术计划和/或虚拟切割的远端股骨表面的冠状面上而非预定方向，然后，外科医生可以通过重新远端股骨切割来修正最后的手术步骤，以纠正冠状面平面角度的误差，并且避免任何内翻/外翻错位。对准/定向锯片的虚拟预定切割平面或虚拟预定路径或锯片和/或动力器械和/或虚拟锯片和/或动力器械的虚拟预定轴，用于校正最后一次手术，可以选择由光学头戴式显示器显示步骤。或者，外科医生可以选择校正一个或多个后续外科手术步骤，比如，在该示例中，通过改变胫骨坪的预期切口来校正股骨切割冠状平面错误。在任一示例中，外科医生可以将物理锯片或手术器械与锯片的虚拟预定切割平面或虚拟预定路径，或锯片或动力器械和/或虚拟锯片和/或动力器械的虚拟预定轴线中的一个或多个对准。
图10A说明了预定的远端股骨切割和近端胫骨切割，比如，作为虚拟手术计划的视图的一部分，可选择由光学头戴式显示器以二维或三维，非立体或立体显示。光学头戴式显示器可以显示膝关节的机械轴130或解剖轴/轴，比如，股骨轴或胫骨轴，以及各种其他运动或生物力学轴，包括膝盖的旋转轴。虚拟手术计划可以包括股骨131和/或胫骨 132切割的计划，其可以被选择以校正任何潜在的机械轴畸形，比如，内翻或外翻畸形。比如，可以选择这些骨切割中的一个或多个垂直于患者的股骨或胫骨机械轴。或者，可以选择其他对准并且可以将其结合到虚拟手术计划中。比如，内侧股骨髁表面，外侧股骨髁表面和内侧胫骨表面和外侧胫骨表面可选择与患者的软骨和/或软骨下骨或软骨下骨对准，并且添加偏移以考虑软骨损失。在该示例中，光学头戴式显示器可以显示被选择用于进行股骨切割和/或胫骨切割的物理锯片的一个或多个虚拟预定路径(断开的水平线)。光学头戴式显示器还可以显示虚拟股骨和/或胫骨切割。用于物理锯片以进行股骨和/或胫骨切割以及虚拟股骨和/或胫骨切割的虚拟/投射路径可以是相同的；也可以是不同的，比如，考虑锯片厚度。光学头戴式显示器不是虚拟显示预定路径或平面，而是显示虚拟骨锯的虚拟图像或其对准的二维或三维轮廓，以进行虚拟骨切割(可选择考虑切割或锯切的骨头)，并且外科医生可以将物理骨锯与虚拟骨锯或其二维或三维轮廓对准，然后进行切割。
图10B是说明预期的虚拟股骨切割133的横截面或视图，比如，在虚拟手术计划中形成的。在该示例中，外侧髁(左)和内侧髁(右)的虚拟切割的股骨的周长和/或横截面和/或表面积和/或形状，比如，使用来自患者的术前影像学检查的数据(比如，计算机断层扫描或核磁共振或超声)模拟，是相对圆形的。
图10C说明了对现场患者134实施的物理远端股骨切割。物理股骨切割不与锯片的实际预定路径对准，并且在该示例中它不与虚拟手术计划中的虚拟股骨切割对准。这可能由于活体手术中的各种原因而发生，比如，骨骼或软骨或骨质疏松骨的意外硬化区域导致锯片偏离。
图10D是说明物理股骨切割135的视图或横截面。物理股骨切割的周长和/或横截面和/或表面积和/或形状不同于虚拟计划的股骨切割的周长和/或横截面和/或表面积和/或形状。可以检测物理远端股骨切割的周长和/或横截面和/或表面区域和/或形状，比如，使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统或者使用激光扫描仪和/或三维扫描仪或使用机械或光学探针，比如，使用射频，光学，导航和其他标记。然后，可以将其与虚拟切割表面的周长和/或横截面和/或表面积和/或形状进行比较。
在图10E中，一旦检测到物理远端股骨切割的周长和/或横截面和/或表面区域和/或形状，比如，使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，或使用激光扫描仪和/或三维扫描仪或使用机械或光学探针，比如，使用射频，光学，导航和其他标记，相应的周长和/或横截面和/或表面区域和/或形状可以在患者136的虚拟数据中识别物理远端股骨切割，比如，使用本领域已知的图像处理算法。
如图10F所示，一旦在患者虚拟数据中识别出相应的周长和/或横截面和/或表面区域和/或形状(图10E)，可以在患者虚拟数据中识别近似于物理股骨切割的虚拟股骨切割137。可以确定原始计划的或预定的虚拟股骨切割131与新的虚拟股骨切割和物理骨切割之间的地点，位置，方向，冠状，矢状，轴向角度/角度的差异。根据它们之间的差异的严重性和/或临床意义，外科医生然后可以决定或选择任何前述选项A-E或组合任何前述选项A-E，比如，修改最后的手术步骤(比如，重新切除股骨)，修改下一个手术步骤 (比如，以不同于最初计划的冠状角度切割胫骨以解决股骨误切，并且可选地，实现复合对准，比如，仍然在正常(180度)机械轴内对准)，修改患者的虚拟手术计划，修改患者虚拟数据的配准与患者实时数据的关系，和/或应用配准校正或其组合。具体根据它们之间的差异的严重性和/或临床意义的情况，外科医生可以决定或选择或组合任何前述选项A-E，比如，修改最后的手术步骤(比如，以不同于最初计划的冠状角度切割胫骨以解决股骨误切，并且可选择实现复合对准，比如，仍然在正常(180度)机械轴内对准)，修改下一手术步骤，修改患者的虚拟手术计划，修改患者虚拟数据与患者实时数据的配准，和/或应用配准更正或其组合。
如图10G所示，外科医生可以选择修改下一外科手术步骤，并且在该示例中，修改近端胫骨切割，如两个示例中所示，一个具有直虚线139，另一个具有直虚线138。在一些实施方案中，外科医生可以在与原始计划不同的冠状角度处切割胫骨以解决股骨误切，并且可选择实现复合对准，比如，仍然在正常(180度)机械轴内对准。
在另一示例中，光学头戴式显示器可用于引导股骨钉或钻头的植入，其可用于设定股骨组件旋转，这通常在全膝关节置换手术中进行。这种股骨钉或钻头，比如，可以通过股骨切割块或钉或钻块中的开口放置。在该示例中，光学头戴式显示器可以通过投射虚拟股骨切割块或钉或钻块来引导物理股骨切割块或钉或钻块的放置，外科医生可以用此来对准物理股骨切割块或钻头或钉块，然后放置物理钉或钻头。或者，光学头戴式显示器可以通过投射虚拟钉或钻头或通过投射虚拟钉或钻孔路径，然后，放置物理钉或钻头来引导物理钉或钻头的放置。
集成到光学头戴式显示器中或与光学头戴式显示器分离的图像和/或视频捕获系统，或光学或机械探针，可选择附有光学标记，发光二极管，导航标记，包括但不限于，红外标记，逆向反射标记，射频标记和/或惯性测量单元，光学标记，发光二极管，导航标记，包括但不限于红外标记，逆向反射标记，射频标记和/或附加到钻头或者钉的惯性测量单元，可用于评估一个或多个物理钉或钻头或所得物理钉或钻孔的位置和/或方向和/或对准，并将它们与一个或多个虚拟钉或钻头或虚拟钉或钻孔的位置和/或方向和/或对准进行比较。比如，在患者的虚拟手术计划中，使用现有的配准或使用手术改变或修改的表面的实时和虚拟数据的新配准。如果检测到物理和虚拟钉或钻头或钉孔或钻孔之间的位置和 /或方向和/或准直存在差异并且发现其具有临床意义，则外科医生可以决定或选择或合并先前的选项A-E，比如，修改最后的手术步骤(比如，重复/修改一个或多个针位置)，修改下一手术步骤(比如，将股骨旋转改变为与一个或多个钉或钻头或者针孔或钻孔所指示的有异)，修改患者的虚拟手术计划，修改患者虚拟数据和患者实时数据的配准，和/ 或应用配准校正或其组合。
在另一示例中，光学头戴式显示器可以用于引导胫骨钉或钻头的放置，这可以用于设置胫骨组件旋转，这通常在全膝关节置换手术中进行。这种胫骨钉或钻头，比如，可以通过胫骨切割块或钉或钻块中的开口放置。在该示例中，光学头戴式显示器可以通过投射虚拟胫骨切割块或钉或钻块来引导物理胫骨切割块或针或钻块的放置，外科医生可以使用该块来对准物理胫骨切割块或钻或针块，然后放置物理钉或钻头。或者，光学头戴式显示器可以通过投射虚拟钉或钻头或通过投射虚拟钉或钻孔路径，然后，放置物理钉或钻头来引导物理钉或钻头的放置。
集成到光学头戴式显示器中或与光学头戴式显示器分离的图像和/或视频捕获系统，或光学或机械探针，可选择附有射频标记，光学标记，发光二极管，导航标记，包括但不限于，红外标记，逆向反射标记，射频标记和/或惯性测量单元，或光学标记，发光二极管，导航标记，包括但不限于红外标记，逆向反射标记，射频标记和/或附加到钻头或者钉的惯性测量单元，可用于评估一个或多个物理钉或钻头或所得物理钉或钻孔的位置和/ 或方向和/或对准，并将它们与一个或多个虚拟钉或钻头或虚拟钉或钻孔的位置和/或方向和/或对准进行比较。比如，在患者的虚拟手术计划中，使用现有的配准或使用手术改变或修改的表面的实时和虚拟数据的新配准。如果检测到物理和虚拟钉或钻头或钉孔或钻孔之间的位置和/或方向和/或准直存在差异并且发现其具有临床意义，则外科医生可以决定或选择或合并先前的选项A-E，比如，修改最后的手术步骤(比如，重复/修改一个或多个针位置)，修改下一手术步骤(比如，将胫骨旋转改变为与一个或多个钉或钻头或者针孔或钻孔所指示的有异)，修改患者的虚拟手术计划，修改患者虚拟数据和患者实时数据的配准，和/或应用配准校正或其组合。
类似地，如果外科医生错误切割，比如，切割胫骨，则光学头戴式显示器可以对股骨切割进行可选的修改，比如，移动虚拟股骨切割以及由此导致的更远端的物理股骨切割以解决胫骨过度切除。
前述实施方案决不是对本发明的限制，而仅是本发明的示例。本领域技术人员可以易于识别它们如何可以应用于其他类型的手术，比如，踝关节置换，肩关节置换，肘关节置换，韧带修复和/或重建或置换，脊柱手术(比如，椎体成形术，椎体后凸成形术，脊柱融合术和/或椎弓根螺钉和杆放置)。
基于钉的配准，骨切割，铰孔，铣削等后配准
如果正在钻组织或在组织中放置钉或钻头，比如，为了放置有钉的椎弓根螺钉或钻穿部分或全部椎弓根或用于在部分或全部膝关节置换中放置切割块或者为了规划股骨切割或髋臼扩孔用于髋关节置换术或用于肩关节成形术或用于各种类型的手术，比如，颅脑手术，可以在放置钉或钻之后或在钻孔发生之后重复配准过程。比如，可以使用术中X射线(比如，脊柱，膝盖或髋部)进行初始配准，比如，患者处于俯卧位或仰卧位。术中X 射线可以包括正位投影(AP projection)，后前位投影(PA projection)，侧向投影，比如，从左侧和/或从右侧，倾斜视图，使用旋转X射线采集的计算机断层扫描视图中的一个或多个，比如，在旋转C臂系统上。一个或多个术中X射线投影可以与患者的术前图像数据或患者虚拟数据匹配，包括可选地的虚拟手术计划，使用比如，模式识别算法，图像处理算法，或外科医生或手术者的手动/视觉匹配；为了使所有所用数据具有相似或相同的放大倍率，可选择对给定的胶片/检测器焦距进行放大倍率调整，放大或缩小术中X 射线数据，术前数据，患者虚拟数据(可以选择包括虚拟外科手术计划)。
在脊柱外科手术的示例中，一旦进行了初始配准，就可以将钉或钻放置在第一椎弓根中，比如，颈椎，胸椎或腰椎中。然后可以将第二钉或钻头和/或另外的钉或钻头放置在第二椎弓根中，可选择在相同或不同的脊柱节段，选择在脊柱的同一侧(比如，左或右)或交替从左脊柱节段到右脊柱节段。类似地，可以针对膝关节置换手术，髋关节置换手术，肩关节置换手术，前交叉韧带修复或重建和/或各种运动相关手术和/或颅/脑手术的各个方面放置和配准钉或钻。
可以配准一个或多个钉或钻头的位置，比如，使用可检测一个或多个钉或钻头的集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统，或者激光扫描仪和/或三维扫描仪。可以使用附接的或集成的光学标记或导航标记来配准一个或多个钉或钻头的位置，包括但不限于红外标记，逆向反射标记，射频标记，比如，可选择利用导航系统，或惯性测量单元。可以使用接触探针来检测钻头或钉的位置，使用接触探针，其可以包括附接的或集成的惯性测量单元，光学标记，导航标记，包括但不限于红外标记，逆向反射标记，射频标记等，使用比如，图像和/或视频捕获系统或导航系统。如果沿着钉或钻头的轨迹放置一个以上的标记，或者如果使用图像捕获，则使用图像捕获的两个或更多个标记或者钉或钻头的可视化部分的轨迹可以是用于估计钉或钻头的轨迹，并估计钉或钻头前进时的预计路径。如果已知针的长度和厚度，则不仅可以确定患者组织外的终点，而且即使在脊柱手术，膝关节置换，髋关节置换，肩关节置换，脑外科手术和其他各种手术中，将其置于患者组织深处，也可以估计针尖的位置。
可以使用说明书中描述的任何技术相对于患者和/或光学头戴式显示器配准钉或钻头的位置。一个或多个光学标记可以是逆向反射的或可以包括发光二极管。可以使用光学和射频标记的组合。
在本发明的一些实施方案中，配准第一钻头或钉，可选择随后配准第二或更多钉和钻头。一个或多个钉或钻头的位置和/或方向可用于在手术期间保持配准，比如，放置椎弓根螺钉和相关装置(比如，杆)，或膝盖置换，其中在在股骨和/或胫骨或髋关节置换中放置一个或多个钉或钻头，在髋臼或近端股骨放置一个或多个钉或钻。由于一个或多个钉或钻头固定到骨头上，因此，即使在初次配准之后存在患者移动，如果在初始配准之后使用钉或钻头进行配准，也可以保持准确的配准。可选择将钉或钻针放置并与钉或钻头配准之后，可以一起使用初始配准和随后对改变的手术表面/部位的配准。在该情况下，可以应用统计技术来协调初始配准和配准到包括一个或多个钉或钻头的改变的手术表面或部位之间的微小差异。比如，不同配准的平均值或中值可用于后续手术步骤。
在本发明的一些实施方案中，可以在患者虚拟数据之间执行初始配准，比如，术前成像，包括可选择用于患者的虚拟手术计划，以及手术期间的患者实时数据。比如，初始配准可以使用术中成像来执行，该术中成像可以参考患者实时数据并与其配准。在说明书中描述的或本领域已知的任何其他配准技术可用于初始配准。可以使用患者虚拟数据的初始配准和患者实时数据来放置第一钉或钻或第一组钉或钻。
在放置第一钉或钻头或第一组钉或钻头之后，可以重复术中成像。在本发明的一些实施方案中，术中成像用于初始配准，并且在放置第一钉或钻或第一组钉或钻之后，使用相同的术中显像模式和技术或类似的术中显像模式或技术。或者，在放置第一钉或钻头或第一组钉或钻头之后使用不同的术中显像模式。术中显像模式可包括，X射线(比如，正位，后前位，横向和倾斜视图)，C臂采集，可选择具有计算机断层扫描能力，计算机断层扫描扫描或超声扫描或核磁共振扫描或任何其他本领域已知的成像技术。
在本发明的一些实施方案中，在放置第一钉或钻头或第一组钉或钻头之后，可评估放置的准确性。可以使用比如，以下任何一种来评估放置的准确性：
-术中成像，比如，如果在不使用术中成像的情况下进行初始配准
-使用相同或不同的成像模式进行初次配准的术中成像(如果适用)
-图像捕获钉或钻头的可见部分，可选择投影/估计患者组织内任何非可视化部分的位置和/或方向
-光学标记，导航标记包括但不限于红外标记，逆向反射标记，射频标记，惯性测量单元以及本领域已知的任何其他电子或光学或磁性标记，具有可选的投影/估计患者组织内任何非可视化部分的位置和/或方向
物理位置的任何偏差，包括钉或钻头的物理位置和/或物理方向，与钉或钻头的预期位置和/或预期方向相比较，可以以这种方式测量虚拟手术计划。如果一个或多个钉在物理与预期的虚拟位置和/或方向上显示偏差，则可以确定坐标的差异，并且可以对使用一个或多个放在患者组织内的钉或钻头的任何后续配准应用坐标转移或坐标校正。可以全局应用坐标转移或坐标校正，比如，对于使用相同值放置的所有钉或钻头。或者，可以对每一钉或钻头单独地应用坐标转移或坐标校正，以考虑它们与物理与预期虚拟放置/位置/和 /或方向的特定偏差。前一种方法更加节省时间。对于任何后续配准，后一种方法更准确。当手术期间一个或多个脊柱节段可以彼此相关地移动时，比如，倘若外科医生必须调整患者在手术台上的位置，分别使用物理放置/位置/和/或方向相比于基于虚拟手术计划的预期虚拟放置/位置/和/或方向的坐标偏差值/差值的数据且应用于每一钉或钻的坐标转移或坐标校正，在脊柱手术中特别有用。在该情况下，一个或多个钉或钻头可以选择放置在一个以上的脊柱节段上，比如，在初始配准之后涉及手术的所有脊柱节段，并且可以使用前述技术评估放置的准确性。然后，可选择对一个以上的脊柱节段应用坐标转移或坐标校正，比如，手术中涉及的所有脊柱节段，其中通过使用一个或多个钉或钻头，用于已应用坐标转移或坐标校正的每一脊柱节段的后续手术步骤，钉或钻的物理与预期虚拟放置/ 位置/和/或方向的差异可以用于提高后续配准的准确性。
在脊柱外科手术的示例中，可以在相同的脊柱节段或不同的脊柱节段放置一个或多个椎弓根螺钉。可选择对比使用前述技术的虚拟手术计划中的预期虚拟放置/位置/和/或方向，评估每一椎弓根螺钉的物理放置/位置和/或方向的准确性。可选择基于椎弓根螺钉的物理和预期虚拟放置之间的偏差来确定坐标转移或坐标校正，并且椎弓根螺钉可以用于在后续手术步骤期间对患者，脊柱和/或光学头戴式显示器进行配准。比如，放置额外的椎弓根螺钉，比如，在相同或其他脊柱节段，或放置一个或多个连接器或杆等。
在放置椎弓根螺钉期间，可以通过参考放置在椎弓根中相同或相邻脊柱节段的一个或多个钉或钻或椎弓根螺钉来保持对准。
类似地，在其他外科手术中，比如，膝关节置换，髋关节置换，肩关节置换，前交叉韧带修复和重建，颅骨，颌面和脑外科手术，通过使用说明书中描述任何技术以及物理和预期虚拟放置/位置/和/或方向之间的偏差值或差值，可以确定钻头，针，器械，植入体，装置或装置组件等的物理位置。现在使用一个或多个钻头，针，器械，植入体，装置或装置组件作为配准参考或标记，所测量的差值可用于确定后续手术步骤的任何后续配准的坐标转移或坐标校正。
通过参考固定在骨骼或硬组织内的钉或钻头(在第一次手术改变之后)，可以保持准确的配准，比如，在椎弓根螺钉放置，膝关节置换，髋关节置换，前交叉韧带修复和/ 或重建，颌面外科，颅脑和/或脑外科手术等期间。
在该情况下，现场患者的钉扎或钻孔组织或其部分可以与虚拟手术计划中的相应钉扎或钻孔组织匹配或迭加和/或配准。一旦获得了实时和虚拟切割钉扎或钻孔区域的适当匹配，可选择重复配准。在本发明的一些实施方案中，由任何钉扎或钻孔产生的骨空隙或孔可用于任何后续配准。可选择将钉或钻头临时放回骨空隙或孔中，用于任何后续配准和随后的手术步骤。如果使用其他手术器械，比如，除了钻头或针头之外的其他手术器械，比如，钻孔器(burr)或刀片，则其他合成的骨质空隙也可选地用于任何后续的配准。
可选择评估由任何手术器械产生的骨空隙或孔的定位，位置和/或方向和/或尺寸和/ 或形状，比如，使用诸如X射线或超声的术中成像，可评估骨空隙或孔的物理和预期的虚拟定位，位置和/或方向和/或尺寸和/或形状之间的差异。骨空隙或孔的物理和预期虚拟定位，位置和/或方向和/或尺寸和/或形状之间的差值或偏差可用于确定坐标差异或坐标转移或坐标校正，以便骨空隙或孔可用于任何后续配准和随后的手术步骤。任何随后的配准可以通过选择引入部分或完整的骨空隙填充物(比如，钉或钻)和对准骨空隙填充物来进行。任何后续的配准也可以通过直接配准骨空隙或孔来进行，比如，通过术中成像。任何后续配准也可以通过放置一个或多个惯性测量单元，光学标记和/或导航标记来执行，包括但不限于在骨空间内或附近的红外标记，逆向反射标记，射频标记，并且使用说明书中描述的技术配准了一个或多个惯性测量单元，光学标记，发光二极管和/或导航标记，包括但不限于红外标记，逆向反射标记，射频标记。此外，任何随后的配准也可以通过用颜色(比如，甲苯胺蓝)标记部分或全部骨空隙或孔，并通过配准骨空隙或孔的标记和/或染色部分来执行，比如，使用集成到光学头戴式显示器，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统。
如果比如，用手术刀或锯进行组织切割，则可以在放置组织切割之后重复配准。在该情况下，现场患者的切割组织表面或其部分，或现场患者的切割组织表面的周边或其部分，或现场患者的切割组织表面的表面区域或其部分，或现场患者的组织移除的体积或其部分，可以与虚拟手术计划中的虚拟数据的相应切割组织表面或其部分，或虚拟数据的切割组织表面的周边或其部分，虚拟数据的切割组织表面的表面积或其部分，虚拟数据的移除组织的体积或其部分，匹配或迭加和/或配准。一旦获得了实时和虚拟切割表面的适当匹配，就可选择重复配准。
如果进行组织切割，则可以在组织切割完成后重复配准。在该情况下，现场患者的切割组织表面或其部分，或现场患者的切割组织表面的周边或其部分，可以与虚拟手术计划的相应切割组织表面或其部分，或虚拟手术计划中的切割组织表面的周边或其部分，匹配或迭加和/或配准。一旦获得了实时和虚拟切割表面的适当匹配，就可选择重复配准过程。
如果，用锯进行骨切割，则可以在放置骨切割之后重复配准过程。在该情况下，现场患者的切割骨表面或其部分，或现场患者的切割骨表面的周边或其部分，或现场患者的切割骨表面的表面区域或其部分，或现场患者的组织移除的体积或其部分，可以与虚拟手术计划中的虚拟数据的相应切割骨表面或其部分，或虚拟数据的切割骨表面的周边或其部分，虚拟数据的切割骨表面的表面积或其部分，虚拟数据的移除组织的体积或其部分，匹配或迭加和/或配准。一旦获得了实时和虚拟切割表面的适当匹配，就可选择重复配准过程。
如果进行铣削，铰孔或冲击程序，比如，使用铰刀，铣刀或撞击器，则可以在进行铣削，铰孔或冲击之后重复配准程序。在该情况下，现场患者的磨碎，扩孔或撞击的骨表面或其部分，或现场患者的磨碎，扩孔或撞击的骨表面的周边或其部分，或现场患者的磨碎，扩孔或撞击的骨表面的表面区域或其部分，或现场患者的移除骨的体积或其部分，可以与虚拟手术计划中的虚拟数据的磨碎，扩孔或撞击的相应骨表面或其部分，或虚拟数据的磨碎，扩孔或撞击的骨表面的周边或其部分，虚拟数据的磨碎，扩孔或撞击的骨表面的表面积或其部分，虚拟数据的移除骨的体积或其部分，匹配或迭加和/或配准。一旦获得了实时和虚拟切割表面的适当匹配，就可选择重复配准过程。
如果执行钻孔程序，比如，使用钻头或钉或K线，则可以在放置钻头或钉或K线之后重复配准程序。在该情况下，现场患者的钻孔表面或其部分，或现场患者的钻孔表面的周边或其部分，或现场患者的钻孔表面的表面区域或其部分，或现场患者的移除骨的体积或其部分，钻孔的位置或钻孔的方向或钻孔的尺寸或诸如插入钻孔中的钻头，钉或K线或墨水等标记，可以与虚拟手术计划中的虚拟数据的相应钻孔表面或其部分，或虚拟数据的钻孔表面的周边或其部分，虚拟数据的钻孔表面的表面积或其部分，虚拟数据的移除骨的体积或其部分，或虚拟数据中钻孔的位置或虚拟数据中钻孔的方向或虚拟数据中钻孔的尺寸或诸如插入虚拟数据中钻孔中的钻头，钉或K线或墨水等标记，可选择在虚拟外科手术计划中，进行匹配或迭加和/或配准。一旦获得了实时和虚拟切割表面的适当匹配，就可选择重复配准过程。
如果执行钻孔程序，钻孔可选择在现场患者中用印度墨水或其他颜色标记。可以使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来识别颜色标记。然后，可选择使用现场患者中的颜色标记，在已经执行了组织的一个或多个外科手术改变之后，用虚拟数据重新配准患者实时数据。颜色标记可以与图像和/或视频捕获系统一起使用，以在患者实时数据中检测它们并将它们与患者虚拟数据一起配准。或者，外科医生可以使用颜色标记目测识别先前放置的钻孔，比如，在已经执行一个或多个外科手术改变或外科手术步骤之后。然后可选择将钻头，钉， K线，螺钉或其他手术器械放置在钻孔内，并且可以通过匹配，迭加和/或配准现场钻，钉，K线，螺钉或其他手术器械，和虚拟手术计划中的相应虚拟钻头，钉，K线，螺钉或其他手术器械或相应钻孔，来执行实时数据和虚拟数据的配准。
比如，在膝关节置换手术中，可以在执行远端股骨切割和骨移除之前，将钻导子应用于远端股骨和/或远端股骨髁。钻导子可以集成到远端股骨切割块中。通常，可以放置两个或更多个钻孔，比如，具有位于股骨内侧髁或内侧股骨中的一个或多个钻孔以及位于外侧股骨髁或外侧股骨中的一个或多个钻孔。内侧和外侧钻孔的位置以及两个钻孔之间的交叉可用于限定股骨组件的旋转轴线。
光学头戴式显示器可以显示远端股骨切割块的期望位置，为设定股骨植入体组件的期望旋转轴，以实现期望的机械轴校正和钻孔的期望位置。可以在进行切割之前钻孔，并且可以在进行远端股骨切割之前选择用墨水标记。然后，可以进行远端股骨切割。然后，可以在切割表面上识别钻孔中的墨水。可以使用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来配准在患者实时数据中看到的墨水，并且与虚拟手术计划中定义的虚拟钻孔进行配准。或者，外科医生可以选择将钻头，针，K线，螺钉或其他手术器械插入到患者实时数据的钻孔中，器械可以使用集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统对钻头，针，K线，螺钉或其他手术器械进行配准，并且可以与虚拟钻头，钉，K线，螺钉或其他可选择引入虚拟手术计划的手术器械进行配准。
以这种方式，在已经执行远端股骨切割之后，可以重新配准患者实时数据和患者虚拟数据。外科医生还可以使用重新配准来检查初始配准的准确性，并根据检测到的任何差异对物理手术计划或虚拟手术计划进行调整。
前述实施方案可以应用于任何类型的关节置换或关节保留手术，包括关节镜检查。
如果进行射频消融，热消融，冷冻消融或烧灼，则可以在进行射频消融，热消融，冷冻消融或烧灼后重复配准程序。在该情况下，现场患者的消融或烧灼组织表面或其部分，或现场患者的消融或烧灼组织表面的周边或其部分，或现场患者的消融或烧灼组织表面的表面区域或其部分，或现场患者的组织移除的体积或其部分，可以与虚拟手术计划中的虚拟数据的相应消融或烧灼组织表面或其部分，或虚拟数据的消融或烧灼组织表面的周边或其部分，虚拟数据的消融或烧灼组织表面的表面积或其部分，虚拟数据的移除组织的体积或其部分，匹配或迭加和/或配准。一旦获得了实时和虚拟消融或烧灼表面的适当匹配，就可选择重复配准过程。
如果放置医疗植入体组件，试验植入体，组织移植物，组织基质，移植物，导管，手术器械或注射细胞或药物，则可在执行手术步骤或手术改变之后重复配准程序。在该情况下，现场患者的改变组织或其部分，或现场患者的改变组织表面或其部分或现场患者的改变组织表面的周边或其部分，或现场患者的改变组织表面的表面积或其部分，或现场患者的组织移除的体积或其部分，可以与虚拟手术计划中的虚拟数据的改变组织或其部分，虚拟数据的相应改变组织表面或其部分，或虚拟数据的改变组织表面的周边或其部分，虚拟数据的改变组织表面的表面积或其部分，虚拟数据的移除组织的体积或其部分，匹配或迭加和/或配准。一旦实现了现场和虚拟改变组织的适当匹配，可选地重复配准。
手术器械库
在一些方面，该系统包括用于不同外科手术的手术器械库。虚拟手术器械库的概念用于虚拟手术计划，可选择由光学头戴式显示器在现场手术期间显示，比如，根据虚拟和/或预期的外科手术计划，迭加到物理手术器械上，提供物理手术器械的位置，定向或方向指导，适用于任何外科手术，比如，心血管手术，胸部或肺部手术，神经手术，泌尿手术，妇科手术，肝脏或其他内脏器官手术，肠道手术和/或肌肉骨骼手术。虚拟和物理手术器械和植入体组件可以在共同坐标系中配准，比如，具有一个或多个光学头戴式显示器和患者实时数据；光学头戴式显示器可以投影或显示虚拟手术器械的虚拟图像。
在一些实施方案中，手术器械的虚拟库可以对应于手术期间的手术器械的物理库。可选择，只有少数选择的手术器械可以包括在手术器械的虚拟库中。比如，这些少数选择的手术器械可以是用于主要，关键手术步骤或选择子步骤的手术器械。或者，在现场手术期间所用所有手术器械可以包括在虚拟手术器械的虚拟库中。
虚拟手术器械的虚拟库可以包括各种文件格式的这些器械。在一些实施方案中，可以使用cAD文件格式。通常，任何类型的表面图像，二维或三维形状图像三维体积图像，三维图像和不同文件格式可以在虚拟手术计划中使用，随后在手术期间由光学头戴式显示器可选择显示。
下面提供了可用于椎弓根螺钉放置或脊柱放置，人工椎间盘置换，髋关节置换和膝关节置换的手术器械库的示例。在其他外科手术中所用的其他手术器械可以用于虚拟手术计划和/或可以由光学头戴式显示器显示。
椎弓根螺钉和脊柱放置
用于椎弓根螺钉器械和/或脊柱固定杆放置的手术器械的虚拟和/或物理库可以，包括：
用于椎弓根准备：
-锥子，比如，圆锥
-单端探针
-双端探针
-探空/探针
-胸球手柄探针
-腰球手柄探针
-直探针，比如，腰椎，胸椎，颈椎
-弯曲探针，比如，腰部，胸部，颈部
-棘轮手柄
-不同直径/尺寸的丝锥
用于螺钉插入：
-螺钉刀，比如，
○多轴螺钉刀
○自锁螺钉刀
-杆模板(Rod template)
-杆插入器
-杆夹持器
-弯机，比如，法国弯曲机
-单端插头启动器
-双端插头启动器
-临时驱动器
减少杆(rod reduction)：
-压缩机，比如，并联压缩机
-牵张器，比如，平行牵引器
收紧：
-断开驱动器，比如，自保持
-充填器
-反扭矩
其他工具：
-插头启动器，比如，不断开
-快速连接器
-扭矩限制驱动器
-组织牵开器
-用于固定组织牵开器的框架
-夹具
板式器械：
-植入定位器
-螺钉刀，比如，扭矩限制或非扭矩限制
-测量卡尺
-测量信用卡
-反扭矩
-板架，比如，成一直线
-弯板机
-镊子板架
-拆卸驱动器，比如，六角头轴式
上述用于椎弓根螺钉器械和/或脊柱固定杆放置的手术器械列表仅是一个示例。决不意味着限制本发明。用于椎弓根螺钉器械和/或脊柱固定杆放置的任何当前和未来的手术器械可以用于椎弓根螺钉器械和/或脊柱固定杆放置的虚拟手术计划和现场手术计划。
所有上述手术器械可以以不同的尺寸和/或直径和/或宽度和/或长度和/或形状和/或尺寸提供，比如，基于物理植入体，植入体组件和/或所用医疗设备的尺寸或大小。
医疗器械，植入体，植入体组件库
椎弓根螺钉和脊柱固定杆放置
用于椎弓根螺钉器械和/或脊柱固定杆放置的虚拟和物理植入体，植入体组件和/或医疗装置的库可以包括，比如，螺钉，包括但不限于，螺钉头，螺纹部分，多轴螺钉，单轴螺钉，固定螺钉，所有前述的不同尺寸和/或直径(可选择在光学头戴式显示器显示期间进行颜色编码)；这些板包括但不限于固定板，交联板，多跨板，所有前述的不同尺寸和/或直径(在光学头戴式显示器显示期间可选择进行颜色编码)；杆包括，但不限于，直杆，成型杆，所有前述的不同尺寸和/或直径(在光学头戴式显示器显示期间可选地进行颜色编码)。所有上述装置，装置组件，植入体和植入体组件可以以不同的直径，宽度，长度，尺寸，形状或尺寸提供。
膝关节置换术
用于部分和全膝关节置换的虚拟和物理植入体，植入体组件和/或医疗装置的库可以包括，比如，不同尺寸的左右股骨组件，比如，尺寸1,2,3,4......，17，18，19，20和形状，比如，没有或具有远端内外侧股骨偏移，比如，1，2，3，4，5，6，7，8或更多毫米，没有或具有后内外侧股骨髁偏移，比如，1，2，3，4，5，6，7，8或更多毫米；不同尺寸的左右胫骨组件，金属背衬或全聚乙烯，比如，尺寸1，2，3，4，......，17，18，19，20，以及形状，比如，对称，不对称，可选择不同程度不对称；不同尺寸的左右胫骨插入件，比如，尺寸1，2,3，4，......， 17，18，19，20，以及形状，比如，对称，不对称，可选择具有不同程度的不对称性；不同尺寸的膝盖骨组件，比如，尺寸1，2，3，4，......，17，18，19，20，以及形状，比如，对称的，不对称的。
髋关节置换术
用于髋关节置换的虚拟和物理植入体，植入体组件和/或医疗装置的库可以包括，比如，左和右标准偏移，高偏移，髋关节变形股骨组件，环式或非环式，骨水泥或非骨水泥，具有不同的多孔向内生长附件，具有不同的尺寸，杆长，偏移，颈部长度，颈轴角度；不同尺寸，正负头的陶瓷或金属股骨头；不同尺寸的，骨水泥或非骨水泥的，具有不同的多孔向内生长附件的髋臼杯；不同的髋臼衬垫，包括不同尺寸的唇形和不对称衬垫。
前述列表仅是说明性和示例性的，不应被解释为限制本发明。本领域已知的任何植入体组件可包括在一个或多个虚拟和物理植入体库中。
虚拟对准植入体组件
光学头戴式显示器可以显示或投射一个或多个虚拟植入体，虚拟植入体组件和/或虚拟医疗设备和虚拟器械的数字全息图，而无需使用术前或术中成像。在本发明的一些实施方案中，光学头戴式显示器可以在手术野上显示任意虚拟植入体组件。比如，任意虚拟植入体组件，可以选择中间值尺寸或形状的植入体组件。可以基于外科医生偏好来选择任意虚拟植入体组件。任意虚拟植入体组件可以是特定患者群体中所用最常见尺寸。任意虚拟植入体组件可以使用虚拟接口或其他接口移动。比如，任意虚拟植入体组件的虚拟图像可以包括“接触区域”，其中手势识别软件，比如，微软提供的微软全息眼镜软件，包括用于全息图的集成虚拟“拖动功能”，可用于移动任意虚拟植入体组件。比如，集成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于接触区域的移动；使用手势跟踪软件，然后可以通过使手指朝向期望方向上的接触区域前进来移动任意虚拟植入体组件。比如，外科医生还可以通过在接触区域上闭合两个手指(比如，拇指和食指) 然后在期望的方向上移动手指来“保持”任意虚拟植入体组件，从而将任意虚拟植入体组件移动到患者关节上的所需位置和/或方向。
光学头戴式显示器可以在最初的任何位置显示虚拟植入体组件，比如，投射到手术野上或外部，比如，髋关节，膝关节，肩关节，踝关节或脊柱。光学头戴式显示器可以选择性地以相对于手术室中的固定结构的限定角度(比如，正交或平行)显示虚拟植入体组件，其可以使用一个或多个摄像头，集成到光学头戴式显示器的图像捕获或视频捕获系统来和空间识别软件来识别，比如，微软提供的微软全息眼镜软件，或者可以使用一个或多个附加的光学标记或导航标记识别，包括但不限于红外或射频标记。比如，一个或多个光学标记可以附接到手术台的延伸部分。光学头戴式显示器可以检测这些一个或多个光学标记并确定它们的坐标，并由此确定手术台的水平面。然后，虚拟植入体组件可以相对于手术台垂直或以另一角度显示。虚拟植入体组件可以以一定角度显示在一个或多个解剖学或生物力学轴上，比如，当考虑膝关节置换时的机械轴。虚拟植入体组件可以与一个或多个解剖标志相切地显示或投射。可以显示虚拟植入体组件与一个或多个解剖标志相交。
外科医生可以移动虚拟植入体组件以使其在植入部位上的期望位置和/或方向上对准。然后，外科医生可以通过评估迭加在预期植入部位上的植入体组件的虚拟图像的尺寸，评估虚拟植入体组件的尺寸和虚拟植入体组件的适合性。外科医生可以移动和对准虚拟植入体组件，使其外表面与预期植入部位的外表面位于一处，比如，具有相似或基本相同的坐标。光学头戴式显示器可以显示虚拟植入体组件的其他部分，其凸出在植入部位的外表面下方。如果虚拟植入体组件对于植入部位而言太大，则外科医生可以取消所显示的特定尺寸的虚拟植入体组件的虚拟显示，并且外科医生可以从虚拟和物理植入体组件库中选择较小的虚拟植入体组件。如果虚拟植入体组件对于植入部位而言太小，则外科医生可以取消所显示的特定尺寸的虚拟植入体组件的虚拟显示，并且外科医生可以从虚拟和物理植入体组件库中选择较大的虚拟植入体组件。以这种方式，外科医生可以优化植入体尺寸和并在实际手术部位中适合三维，而不是使用，比如，二维X射线或三维影像学检查 (比如，计算机断层扫描和核磁共振)恢复到术前尺寸和适合度。如果植入部位的特征在于一个或多个不对称性，比如，在膝关节或肿瘤或内部器官中，则外科医生可以为植入部位选择确定一个或多个不对称植入体组件的尺寸和配合度，选择具有不同的不对称性和几何形状。
外科医生可移动虚拟植入体组件，以将其放置和/或对准和/或定向在给定患者的植入部位上的期望定位，位置和/或方向。由于在患者的实时植入部位上执行移动和对准，外科医生可以优化植入体的定位，位置和/或方向。外科医生可以进一步修改和/或优化虚拟植入体组件的定位，位置和/或方向，接着是物理植入体组件，使用于植入部位中的期望功能，比如，期望的弯曲角度，旋转角度，运动范围，韧带松弛，所需运动。外科医生可以将虚拟植入体组件的外表面的至少一部分与植入部位的外表面的至少一部分对准。在外科医生将虚拟植入体组件放置，对准和/或定向迭加在所需位置和/或方向，或与现场植入部位对准，比如，在共同坐标系中保存虚拟植入体组件的坐标，其中光学头戴式显示器和植入部位也可以配准。所保存的虚拟植入体组件的坐标可选择包含在虚拟手术计划中，该虚拟手术计划也可选择在共同坐标系中配准。光学头戴式显示器随后可以显示一个或多个虚拟手术器械和/或虚拟植入体组件的一个或多个数字全息图，其中一个或多个虚拟手术器械或虚拟植入体组件的一个或多个数字全息图的定位，位置和/或方向是从虚拟植入体组件的保存坐标导出或考虑的。
比如，在髋关节置换术中，可以在手术部位附近显示虚拟髋臼杯，其包括，暴露的患者髋臼。外科医生可以使用虚拟或其他接口移动虚拟髋臼杯，并将其迭加到暴露的患者髋臼上。外科医生可以评估虚拟髋臼杯的尺寸和适合度。外科医生可以通过选择更小或更大的虚拟髋臼杯来扩大或缩小虚拟髋臼杯的尺寸，直到外科医生对髋臼杯的虚拟图像与患者暴露的髋臼的配合感到满意为止。外科医生可选择将虚拟髋臼杯置于患者暴露的髋臼中心上方，与虚拟髋臼杯的外缘相匹配，与暴露的患者髋臼缘的上，下，内侧和外侧相一致或相等。然后，可以保存虚拟髋臼杯的坐标，比如，在同一坐标系中，其中手术部位，髋臼和/或近端股骨，和光学头戴式显示器配准。以这种方式识别的虚拟髋臼杯的坐标可用于设定期望的髋臼前倾，比如，在髋臼杯的扩孔或冲击期间。可选的，外科医生安装和放置的虚拟髋臼杯的虚拟图像可以在碰撞物理髋臼杯之前由光学头戴式显示器显示。然后，外科医生可以将物理髋臼杯与髋臼杯的虚拟投影对准；一旦实现了期望的对准，外科医生就可以开始挤入物理髋臼杯，同时可选择间歇地将其位置和/或方向(包括偏移和前倾) 与虚拟髋臼杯的虚拟显示进行比较。
在一些实施方案中，在髋关节置换中，可以在手术部位附近显示虚拟股骨组件，可选择包括头部组件，包括患者的暴露的近端股骨。外科医生可以使用虚拟或其他接口移动虚拟股骨组件，可选择包括头部组件，并且可选择在股骨颈切割之前和/或之后将其迭加到患者的暴露的近端股骨上。外科医生可以评估虚拟股骨组件的尺寸和配合，可选择包括头部组件；光学头戴式显示器可选择显示与手术部位在共同坐标系中配准的患者的一个或多个术前或术中X射线图像或其他影像学检查，比如，计算机断层扫描或核磁共振；影像学检查可以迭加到近端股骨的相应部分上，比如，在X射线或影像学检查中具有大转子的现场患者的大转子，在X射线或图像研究中具有较小转子的现场患者的小转子。外科医生可以通过选择更小或更大的虚拟股骨组件来扩大或缩小虚拟股骨组件的尺寸，直到外科医生对髋臼杯的虚拟图像与患者的暴露的近端股骨的适合性，或者股骨组件和/或股骨头的虚拟图像以及患者的投射或显示的X射线或影像学检查(包括骨髓腔和/或骨内膜接口(的适合性，感到满意。外科医生可选择将虚拟股骨组件置于暴露的近端股骨上，可选在股骨颈切割之前和/或之后，也在切割的股骨颈表面居中位置，使虚拟股骨组件和/或虚拟股骨头与相应的解剖结构或患者成像数据对准。然后，可以保存虚拟股骨组件和/或虚拟股骨头的坐标，比如，在同一坐标系中，其中手术部位，髋臼和/或近端股骨，和光学头戴式显示器配准。以这种方式识别的虚拟股骨组件和/或虚拟股骨头的坐标可用于设定期望的股骨前倾和/或偏移，比如，在股骨组件的扩孔或拉削期间。可选择，外科医生装配和放置的虚拟股骨组件和/或股骨头的虚拟图像可以在挤入物理股骨组件之前由光学头戴式显示器显示。然后，外科医生可以将物理虚拟股骨组件和/或股骨头与股骨组件和/或股骨头的虚拟投影对准；一旦实现了期望的对准，外科医生就可以开始撞击物理股骨组件，同时可选择间歇地将其位置和/或方向(包括偏移和前倾)与虚拟股骨组件的虚拟显示进行比较。
在一些实施方案中，在膝关节置换中，可以在手术部位附近显示虚拟股骨组件，包括患者的暴露的远端股骨。外科医生可以使用虚拟或其他接口移动虚拟股骨组件，比如，虚拟股骨组件的虚拟图像上的“接触区域”与外科医生的手和/或手指的图像或视频捕获和/或手势跟踪，并且选择性在任何骨切割之前和/或之后，将其迭加到患者暴露的远端股骨上。外科医生可以评估虚拟股骨组件的尺寸和适合度。外科医生可以评估三维适合度，向前，向后，在内侧髁的内侧面，在内侧髁的外侧面，在外侧髁的内侧面，在外侧髁的外侧面，在髁间凹陷中，在内侧和外侧滑车区域。外科医生可以针对不同程度的股骨组件弯曲和/或相对于患者的物理远端股骨的伸展以及不同程度的股骨组件旋转(比如，外部旋转)来评估虚拟股骨组件的尺寸和配合度。外科医生可以通过从虚拟库中选择更小或更大的虚拟股骨组件来扩大或缩小虚拟股骨组件，直到外科医生对股骨组件的虚拟图像与患者的暴露的远端股骨的配合度感到满意为止。如果虚拟股骨植入体组件对于植入部位而言太大，则外科医生可以取消所显示的特定尺寸的虚拟股骨组件的虚拟显示，并且外科医生可以从虚拟和物理股骨组件库中选择较小的虚拟股骨组件。如果股骨植入体组件对于植入部位而言太小，则外科医生可以取消所显示的特定尺寸的虚拟股骨组件的虚拟显示，并且外科医生可以从虚拟和物理股骨组件库中选择更大的虚拟股骨组件。外科医生还可以评估虚拟股骨组件的位置和/或方向，以便相对于患者远端股骨的物理前皮质进行可能的切割。
外科医生可以评估虚拟股骨组件的形状，并将其与患者远端股骨的形状进行比较。外科医生可选择将虚拟股骨组件的外表面的至少一部分与患者的关节表面的至少一部分对准，比如，在股骨内侧髁，股骨外侧髁和/或滑车关节表面上。外科医生可以从植入体的虚拟库中选择不同形状的虚拟股骨组件，比如，股骨组件，其具有内侧远端股骨髁和外侧远端股骨髁之间的一个或多个偏移，和/或内侧后内侧髁与股骨外侧后方髁之间的一个或多个相同或不同的偏移。偏移可以是内侧远端和/或后侧以及外侧远端和/或后侧股骨髁的不同半径的反射。比如，外科医生可以将虚拟股骨组件的内侧髁的外表面或凸起的至少一部分与患者的物理内侧髁的至少部分外表面对准；如果虚拟股骨组件的外侧髁的外表面或突出部相对于患者的物理外侧髁的外表面是隆起的，即延伸超出患者的物理外侧髁的外表面，则外科医生可以丢弃虚拟股骨组件的数字全息图，并从虚拟库中选择不同的虚拟股骨组件；比如，外科医生可以选择具有比内侧髁半径更小的外侧髁半径的虚拟股骨部件和/或具有相比于内侧髁的外侧髁的远端和/或后侧偏移。比如，外科医生可以，与内侧和/或外侧股骨髁的外表面一起投射，移动，对准多个不同的虚拟股骨组件形状，比如，具有多个不同的偏移，直到外科医生识别出产生理想形状的虚拟股骨组件。如果选择具有内侧和外侧股骨组件之间的偏移的虚拟股骨组件，则可选择为胫骨聚乙烯选择匹配的偏移，其中胫骨插入件的外侧部分，对应于虚拟股骨组件的外侧股骨髁的较小半径，可以是1，2，3，4，5， 6，7，8毫米或比胫骨插入件的中间部分厚的更多毫米。可以保存虚拟股骨组件的最终位置的坐标，并且可选择将其结合到虚拟手术计划中。如果虚拟手术计划指示虚拟股骨组件相对于虚拟手术计划的位置，方向，对准，植入体屈曲的变化，则外科医生可以调整虚拟股骨组件的位置以更接近预期的位置，方向，对准，虚拟手术计划的植入体屈曲，或复制它。或者，可以基于虚拟股骨组件的位置，方向，对准，植入体屈曲来修改虚拟手术计划。
在一些实施方案中，在膝关节置换中，可以在手术部位附近显示虚拟胫骨组件，包括患者的暴露的近端胫骨。外科医生可以使用虚拟或其他接口移动虚拟胫骨组件，比如，虚拟胫骨组件的虚拟图像上的“接触区域”与外科医生的手和/或手指的图像或视频捕获和/或手势跟踪，并且可选择在任何骨切割之前和/或之后，将其迭加到患者的暴露的近端胫骨上。外科医生可以评估虚拟胫骨组件的尺寸和适合度。外科医生可以评估三维，前，后，胫骨内侧坪的内侧面，外侧胫骨坪的外侧面，的适合度。外科医生可以评估虚拟胫骨组件的尺寸和适合度，用于不同水平的胫骨切割和不同的胫骨斜度以及不同程度的胫骨组件旋转，比如，外旋。外科医生可以通过从虚拟库中选择更小或更大的虚拟胫骨组件来扩大或缩小虚拟胫骨组件，直到外科医生对胫骨组件的虚拟图像与患者的暴露的近端胫骨的适合度感到满意为止。如果虚拟胫骨植入体组件对于植入部位而言太大，则外科医生可以取消所显示的特定尺寸的虚拟胫骨组件的虚拟显示，并且外科医生可以从虚拟和物理胫骨组件库中选择较小的虚拟胫骨组件。如果胫骨植入体组件对于植入部位而言太小，则外科医生可以取消所显示的特定尺寸的虚拟胫骨组件的虚拟显示，并且外科医生可以从虚拟和物理胫骨组件库中选择更大的虚拟胫骨组件。外科医生还可以评估虚拟胫骨组件的位置和 /或方向，以用于可能的十字形固定植入体的PCL撞击，或髌腱撞击。
外科医生可以评估虚拟胫骨组件的形状，并将其与患者近端胫骨的形状进行比较。外科医生可选择从来自胫骨组件的虚拟库的可选的各种不同的不对称胫骨形状中选择不对称的虚拟胫骨组件。
外科医生可选择将虚拟胫骨组件的外表面的至少一部分，比如，一个或多个聚乙烯插入件的上表面与患者的胫骨关节表面的至少一部分对准，比如，在胫骨内侧坪，外侧胫骨坪上。通过将虚拟胫骨组件的外表面的至少一部分，比如，一个或多个聚乙烯插入件的上表面，与患者的胫骨关节表面的至少一部分对准，比如，在胫骨内侧坪，外侧胫骨坪，外科医生可以确定胫骨切割的期望斜度，比如，如果外科医生打算切割胫骨并安装具有类似于患者固有斜度的胫骨组件。通过将虚拟胫骨组件的外表面的至少一部分，比如，一个或多个聚乙烯插入件的上表面，与患者的胫骨关节表面的至少一部分对准，比如，在胫骨内侧坪，外侧胫骨坪，外科医生可以确定胫骨聚乙烯的任何所需的内侧到外侧偏移。
比如，外科医生可以将包括内侧聚乙烯的虚拟胫骨组件的中间部分的外部上表面或突出部分的至少一部分与患者的身体内侧胫骨坪的至少部分外表面对准；如果虚拟胫骨组件的胫骨聚乙烯的外侧部分的外表面或上表面的外表面或突出部位于患者的物理外侧胫骨坪的外表面的下方，即保持在患者的身体外侧胫骨坪的外表面下方，外科医生可以放弃虚拟胫骨组件的数字全息图并从虚拟库中选择不同的虚拟胫骨组件；比如，外科医生可以选择包括聚乙烯的虚拟胫骨部件，该聚乙烯具有比内侧插入部分更厚的横向插入部分。外科医生可以重复该过程，直到实现期望的准直，匹配或适合度。将内侧和/或侧面的虚拟胫骨组件的数字全息图的外部轮廓，形状或表面与患者的胫骨坪对准时，可以考虑任何期望的内翻或外翻校正和/或斜度，比如，通过基于期望的内翻或外翻矫正和/或斜度，调整选择的内侧或外侧聚乙烯厚度或形状。可以保存虚拟胫骨组件的最终位置的坐标，并且可选择将其结合到虚拟手术计划中。如果虚拟手术计划指示虚拟胫骨组件相对于虚拟手术计划的位置，方向，对准或斜度的变化，则外科医生可以调整虚拟胫骨组件的位置以更接近预期位置，方向，对准，和/或虚拟手术计划的斜度或复制它。或者，可以基于虚拟胫骨组件的位置，方向，对准或斜度来修改虚拟手术计划。
当外科医生移动，定向或对准虚拟股骨组件，虚拟胫骨组件和/或虚拟髌骨组件时，光学头戴式显示器可以显示准直标准。得到的股骨组件的内翻/外翻，外部/内部旋转，屈曲和/或胫骨组件的斜度，Q角和轴线可以数字或图形显示，并且可选择，比如，基于虚拟手术计划，与期望的内翻/外翻，外部/内部的，股骨组件的旋转，屈曲和/或胫骨组件的斜度进行比较。外科医生可以选择应用不同的对准标准，比如，解剖学对准，其中外科医生可以使一个或多个虚拟和物理植入体表面与患者的一个或多个关节表面更紧密地匹配，比如，在一个或两个股骨髁上，在内侧和/或外侧胫骨坪上，在滑车和/或髌骨上。
本领域技术人员可以认识到，前述实施方案可以修改并应用于髌骨置换，髌骨表面重修，肩关节置换和/或踝关节置换。
在本发明的一些实施方案中，可以执行术中二维或三维影像学检查，比如，一个或多个X射线或计算机断层扫描扫描，比如，使用脊柱外科手术中的O形臂系统。术中影像学检查可以在与手术部位(比如，脊柱)和一个或多个光学头戴式显示器相同的坐标系中配准，比如，由第一外科医生，外科住院医师和医师助理或护士佩戴的光学头戴式显示器。光学头戴式显示器可以显示患者的表面下的解剖结构的一个或多个数位全息图，其被覆盖的皮肤，软组织和/或骨骼隐藏或遮挡。光学头戴式显示器可以在手术野上显示任意虚拟椎弓根螺钉。比如，任意虚拟椎弓根螺钉可以是从尺寸范围或形状范围的中间选择的椎弓根螺钉。可以根据外科医生的偏好选择任意虚拟椎弓根螺钉。任意虚拟椎弓根螺钉可以是特定患者群体中所用最常见尺寸。任意虚拟椎弓根螺钉可以使用虚拟或其他接口移动。比如，任意虚拟椎弓根螺钉的虚拟图像可以包括“接触区域”，其中手势识别软件，比如，微软提供的微软全息眼镜软件，包括用于全息图的集成虚拟“拖动功能”，可用于移动任意虚拟椎弓根螺钉。比如，集成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于接触区域的移动；使用手势跟踪软件，然后可以通过使手指朝向期望方向上的接触区域前进来移动任意虚拟椎弓根螺钉。比如，外科医生还可以通过在接触区域上闭合两个手指(比如，拇指和食指)然后沿所需方向移动手指来“保持”任意虚拟椎弓根螺钉，从而将任意虚拟椎弓根螺钉移动到患者脊柱中的所需位置和/或方向，比如，在目标椎弓根中心，朝向内侧椎弓根壁，朝向外侧椎弓根壁，朝向上椎弓根壁和/或朝向下椎弓根壁，向前和选择向后。作为虚拟移动或对准虚拟椎弓根螺钉的替代方案，椎弓根螺钉或椎体成形术或椎体后凸成形术针的虚拟预定路径也可以虚拟地移动或对准，比如，使用虚拟接口或其他接口。。
光学头戴式显示器可以在最初的任何位置显示虚拟椎弓根螺钉，比如，投射到手术野上或外部，比如，腰椎，胸椎或颈椎。光学头戴式显示器可选地以限定角度显示虚拟椎弓根螺钉，比如，相对于手术室中的固定结构的正交或平行，虚拟平面可以使用集成到光学头戴式显示器中的一个或多个摄像头，图像捕获或视频捕获系统以及诸如微软提供的微软全息眼镜之类的空间识别软件来识别，或者可以使用一个或多个附加的光学标记或导航标记(包括红外或射频标记)识别。然后，虚拟椎弓根螺钉可垂直于手术台或以另一角度显示。虚拟椎弓根螺钉可以以与一个或多个解剖学或生物力学轴的一定角度显示。
外科医生可以移动虚拟椎弓根螺钉以使其在椎弓根和/或椎体中的期望位置和/或方向对准。然后，外科医生可以通过评估迭加在椎弓根和椎体中的预期植入部位上的虚拟椎弓根螺钉的虚拟图像的尺寸和适合度来评估虚拟椎弓根螺钉的尺寸和适合度。外科医生可以移动并对准虚拟椎弓根螺钉。如果虚拟椎弓根螺钉对于患者的椎弓根而言太大，则外科医生可以取消所显示的特定尺寸的虚拟椎弓根螺钉的虚拟显示，并且外科医生可以从虚拟和物理椎弓根螺钉库中选择较小的虚拟椎弓根螺钉。如果虚拟椎弓根螺钉对于患者的椎弓根而言太小，则外科医生可以取消所显示的特定尺寸的虚拟椎弓根螺钉的虚拟显示，并且外科医生可以从虚拟和物理椎弓根螺钉库中选择更大的虚拟椎弓根螺钉。以这种方式，外科医生可以优化椎弓根螺钉尺寸并且逐级地在实际手术部位中以三维方式配合。
虚拟手术计划
虚拟和物理手术器械和植入体组件可以在共同坐标系中与患者实时数据配准，比如，具有一个或多个光学头戴式显示器。当术前影像学检查，术中影像学检查或术中测值在共同坐标系中与一个或多个光学头戴式显示器配准时，比如，使用解剖学特征，解剖标志，植入式和附接式标记，校准和配准模型，包括光学标记，带有图像捕获的发光二极管，导航标记，红外标记，射频标记，惯性测量单元或空间锚点和空间识别，使用术前和术后影像学检查和/或术中测值预先确定一个或多个器械或植入体的位置，方向，对准。
在本发明的一些实施方案中，外科医生或手术者可以拟定虚拟手术计划。虚拟手术计划可以包括选择组织的虚拟切除，比如，骨或软骨或软组织，比如，用于安装或植入医疗装置。虚拟手术计划可包括切除肿瘤或其他组织。虚拟手术计划可包括放置假体或移植物。可以在虚拟外科手术计划中模拟本领域已知的任何外科手术，比如，包括前部和后部的脊柱融合，使用保留活动度方法(motion preservation approach)的椎间盘置换，髋关节置换，膝关节置换，踝关节置换，肩部置换，前交叉韧带修复或重建，韧带重建。
可以使用术中数据或测值来拟定虚拟手术计划，包括使用一个或多个光学标记获得的测值，所述光学标记可以使用一个或多个摄像头，图像捕获系统，集成到光学头戴式显示器，附属于光学头戴式显示器或与光学头戴式显示器分开的视频捕获系统检测。一个或多个摄像头，图像捕获系统，集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的视频捕获系统，可以检测附接到手术部位的一个或多个光学标记的坐标，比如，骨或软骨，改变的手术部位，比如，骨切割，手术台，手术台的延伸部和 /或手术室中的固定装置结构，比如，墙壁。一个或多个摄像头，图像捕获系统，集成到光学头戴式显示器中或附接到光学头戴式显示器或与光学头戴式显示器分离的视频捕获系统可以在静态位置和/或动态移动位置检测一个或多个光学标记。可以在静态和动态条件下测量光学标记的坐标(x，y，z)。
在说明书中描述的任何其他传感器，比如，惯性测量单元，导航标记，比如，红外标记和/或射频标记，发光二极管，可以用于获得术中测值，并且可以组合，比如，光学标记测值，用于导出术中测值，并且用于生成和/或拟定虚拟手术计划。
当希望从外科医生的视角获得测量结果时，或当从外科助手或第二外科医生的角度来看，使用多个光学头戴式显示器时，通过使用一个或多个摄像机，图像捕获系统，集成到光学头戴式显示器或连接到光学头戴式显示器的视频捕获系统获得的的术中测值是有益的。当希望从外科医生以外的视角获得测量结果时，或者从手术助手或第二外科医生之外的视角使用多个光学头戴式显示器时，使用一个或多个摄像机，图像捕获系统，与光学头戴式显示器分离的视频捕获系统的术中测值可能是有利的。
术前数据，比如，术前影像学检查或患者的运动学研究，比如，关节或脊柱测量或运动成像，也可以结合到虚拟手术计划中。仅术前数据可用于制定虚拟手术计划。
可以使用计算机或计算机工作站以及本地或远端计算机或计算机网络来拟定虚拟手术计划。计算机或计算机工作站可包括一个或多个显示器，键盘，鼠标，轨迹球，鼠标垫，操纵杆，人类输入设备，处理器，图形处理器，内存芯片，存储介质，磁盘和软件，比如，用于三维重建，表面显示器，音量显示或CAD设计和显示，以及可选的CAM输出。该软件可以包括用于CAD设计的一个或多个接口，用于显示患者的解剖结构，用于显示虚拟手术器械以及用于显示虚拟植入体，植入体组件，医疗设备和/或医疗设备组件。
可选择在同一屏幕或部分屏幕上同时或非同时，比如，在不同屏幕上，不同时间在同一屏幕上，或者在不同的屏幕部分，显示不同的解剖学和病理学结构以及不同的虚拟器械，比如，包括钻导子或切割块的虚拟手术导板，虚拟植入体，植入体组件，医疗设备和 /或医疗设备组件。不同的解剖和病理结构，包括隐藏和/或模糊或部分隐藏和/或模糊的解剖和病理结构以及不同的虚拟器械，比如，虚拟手术导板，包括钻孔导板或切割块，虚拟植入体，植入体组件，医疗器械和/或医疗设备组件，可选择使用不同颜色或不同阴影显示。一些不同的解剖学和病理学结构以及不同的虚拟器械，比如，包括钻导子或切割块的虚拟手术导板，虚拟植入体，植入体组件，医疗装置和/或医疗装置组件，可选择以轮廓模式或图案模式显示，其中仅解剖和病理结构以及虚拟器械的轮廓或选择特征或模式，比如，虚拟手术导板，包括钻孔导板或切割块，不同的虚拟植入体，植入体组件，医疗设备和/或正在显示医疗设备组件，以实线，点线或虚线或几何图案显示。
图11说明了如何使用术中数据(比如，术中测值140)拟制虚拟手术计划141，比如，使用一个或多个摄像头，图像捕获系统或集成到，附接到光学头戴式显示器或与光学头戴式显示器分离的视频捕获系统获得的测值。术中测值140可用于拟制虚拟手术计划 141，其可以在共同坐标系142中配准。术中测值140也可以直接在共同坐标系142中配准。可以生成术前和/或术中扫描数据143，并且可选择在光学头戴式显示器145中在二维或三维中显示144。术前和/或术中扫描数据143可选择并入146虚拟手术计划141 中。光学标记物147可以存在于患者，手术野，手术器械或植入体上，并且可以测量它们的地点，位置，方向，移动方向和/或速度148。光学头戴式显示器145可以显示虚拟平面或路径或轴149，通过利用虚拟接口150，外科医生可以移动平面或路径或轴，以及可选择的虚拟植入体或器械。可选择，光学头戴式显示器145可以显示隐藏或内部结构 151，比如，在术前或术中影像学检查或两者的组合上可视化，并且外科医生或软件可以以隐藏或内部结构149为准，对准平面，轴或路径，以及可选择的虚拟植入体或器械。平面，轴或路径或虚拟手术器械或虚拟植入体可以移动以与解剖标志和/或解剖轴和/或生物力学轴152相切或相交，比如，用于对准目的或实现预定位置和/或器械或植入体的方向。光学头戴式显示器可以通过显示具有虚拟数据的电子全息图来投影左眼和右眼的立体视图，其中虚拟数据使用左眼位置和左眼153的实时数据的方向来迭加虚拟数据并且使用右眼位置和右眼154的实时数据的方向迭加虚拟数据。153和154中的投影虚拟数据可用于相对于患者实时数据，定位，定向，对准，引导或放置一个或多个手术器械，植入体组件和植入体，比如，在预定位置，方向，对准方向或位置155。手术器械，植入体组件和植入体中的一个或多个的位置，方向，对准方向或位置可选地与隐藏的解剖结构或内部结构151对准，可选择使用虚拟接口150。本领域技术人员可以认识到，可以使用多个坐标系代替共同坐标系。在该情况下，可以将坐标从一个坐标系变换为另一个坐标系，比如，用于配准光学头戴式显示器，患者实时数据，包括手术部位，虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
图12是用于生成虚拟手术计划的另一示例性工作流程。比如，在远离手术室290的位置获取患者的图像数据。图像数据可以，通过诸如ftp或因特网291之类的电子数据传输例程传输到计算机或工作站。可以在三维292中重建患者的图像数据。图像数据可以在计算机显示器293或光学头戴式显示器上以二维或三维显示。
图13是说明如何使用术中数据(比如，术中测值140)来修改虚拟手术计划157的示例。可以使用患者143的术前和术中图像数据来拟定虚拟手术计划157。虚拟手术计划 157可以配准在共同坐标系142中。可以生成术前和/或术中扫描数据143，并且可选择在光学头戴式显示器145中在二维或三维中显示144。术前和/或术中扫描数据143可用于拟定虚拟手术计划157，其可由光学头戴式显示器145选择性显示158。光学标记物147 可以存在于患者，手术野，手术器械或植入体上，并且可以测量它们的地点，位置，方向，移动方向和/或速度148。光学头戴式显示器145可以显示虚拟平面或路径或轴149，通过利用虚拟接口150，外科医生可以移动平面或路径或轴，以及可选择的虚拟植入体或器械。可选择，光学头戴式显示器145可以显示隐藏或内部结构151，比如，在术前或术中影像学检查或两者的组合上可视化，并且外科医生可以以隐藏或内部结构149为准，对准平面，轴或路径，以及可选择的虚拟植入体或器械。平面，轴或路径或虚拟手术器械或虚拟植入体可以移动以与解剖标志和/或解剖轴和/或生物力学轴152相切或相交，比如，用于对准目的或实现预定位置和/或器械或植入体的方向。光学头戴式显示器可以通过显示虚拟数据来投影左眼和右眼的立体视图，其中虚拟数据使用左眼位置和左眼153 的实时数据的方向来迭加虚拟数据并且使用右眼位置和右眼154的实时数据的方向迭加虚拟数据。153和154中的投影虚拟数据可用于相对于患者实时数据，定位，定向，对准，引导或放置一个或多个手术器械，植入体组件和植入体，比如，在预定位置，方向，对准方向或位置155。手术器械，植入体组件和植入体中的一个或多个的位置，方向，对准方向或位置可选地与隐藏的解剖结构或内部结构151对准，可选择使用虚拟接口150。术中测值140可用于生成或修改虚拟手术计划157。虚拟手术计划157和/或修改的虚拟手术计划162可选择迭加在患者159的术前和术中图像数据上。虚拟手术计划 157和/或修改的虚拟手术计划162可选择迭加在患者159的术前和术中图像数据上。可以基于视觉或光学回馈或输入161进一步修改已修改的虚拟手术计划162，并且其可以用于在预定位置155定位，定向，对准，引导，放置一个或多个虚拟或物理器械，植入体组件和/或植入体。本领域技术人员可以认识到，可以使用多个坐标系代替共同坐标系。在该情况下，可以将坐标从一个坐标系变换为另一个坐标系，比如，用于配准光学头戴式显示器，患者实时数据，包括手术部位，虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
在本发明的一些实施方案中，光学头戴式显示器可以显示一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，可由外科医生利用虚拟或其他接口移动，重新定向和/或重新对准。在本发明的各种实施方案中，光学头戴式显示器可以显示一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，包括“接触区域”，其中图像或视频捕获系统和手势识别软件，比如，微软提供的具有微软全息眼镜的手势识别软件，包括比如，用于全息图的集成虚拟“拖动功能”，可用于移动虚拟数据。比如，集成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于接触区域的移动；使用手势跟踪软件，然后，可以通过在期望的方向上将手指推向接触区域来移动全息图。比如，外科医生还可以通过在接触区域上闭合两个手指(比如，拇指和食指)然后沿所需方向移动手指来“保持”全息图。
放置规则，选择规则，设计规则
虚拟手术计划可选择包括用于手术器械和/或医疗装置，植入体或植入体组件的放置规则。这些放置规则可以基于标准手术规则或标准手术技术，比如，膝关节成形术，髋关节成形术或椎弓根螺钉的放置规则。用于虚拟手术计划的放置规则或选择规则或设计规则可以基于患者的解剖结构，期望的植入体，假体或医疗装置地点，位置，方向，旋转或对准，一个或多个解剖轴，一个或多个生物力学轴，膝盖或下肢的机械轴，一个或多个旋转轴，植入体，植入体组件或医疗装置的期望功能。比如，可以使用外科手术计划的放置规则或选择规则或设计规则来选择植入体。放置规则或选择规则或设计规则可包括植入体，植入体组件或医疗器械尺寸或形状。放置规则或选择规则或设计规则可包括避免某些软组织，血管或神经结构以及其他敏感组织或结构，比如，旨在保留的韧带。比如，在单室关节成形术中，放置规则可以包括垂直胫骨切割保留内侧胫骨脊柱。在十字韧带保留全膝关节置换术中，放置规则可包括在胫骨切割期间保留后十字韧带，比如，通过以避免后十字韧带的方式设计骨切割。虚拟手术计划的放置规则，选择规则或设计规则可以包括患者的人口统计信息，比如，体重，身高，年龄，性别，其他信息，比如，骨矿物质密度或结构，临床病史，既往骨折史或功能信息，比如，关节的运动，或代谢信息，比如，某些器官或病理组织。虚拟医疗设备，设备组件或植入体的自动放置是可能的，比如，基于使用放置规则，选择规则或设计规则拟制虚拟手术计划的解剖标准，病理标准或功能标准使用放置规则，选择规则或设计规则放置虚拟医疗设备可以是手动，半自动或自动的。手动，半自动或自动放置规则通常需要软件和用户接口。
比如，在脊柱外科手术中，椎弓根螺钉在虚拟手术计划中的放置可以在部分或全部椎弓根，基于
-椎弓根螺钉或相关骨空隙之间的距离，以在内侧，外侧，上部和/或下部骨内膜表面或皮质表面接纳椎弓根螺钉。
-椎弓根螺钉或相关骨空隙之间的面积或体积，以将椎弓根螺钉接纳到部分或全部椎弓根的内侧，外侧，上部和/或下部骨内膜表面或皮质表面。
关于距离或面积的前述信息也可用于选择椎弓根螺钉的尺寸，宽度，直径或长度。
在脊柱外科手术中，在虚拟手术计划中放置椎弓根螺钉也可以基于：
-椎弓根螺钉的位置，包括其在椎体中的尖端。
-椎弓根螺钉的位置，包括其尖端与脊柱/椎体骨折的关系。
-椎弓根螺钉的位置，包括其尖端与上终板的关系。
-椎弓根螺钉的位置，包括其尖端与下终板的关系。
-椎弓根螺钉的位置，包括其尖端与前椎骨皮质的关系。
-椎弓根螺钉的位置，包括其尖端与血管的关系。
-椎弓根螺钉的位置，包括其尖端与主动脉的关系。
-椎弓根螺钉的位置，包括其尖端与下腔静脉的关系。
-椎弓根螺钉的位置，包括其尖端与神经结构，耳囊，神经根和/或脊髓的关系。
-椎弓根螺钉之间的距离，面积或体积，包括其尖端到脊柱/椎体骨折。
-椎弓根螺钉之间的距离，面积或体积，包括其尖端到上终板。
-椎弓根螺钉之间的距离，面积或体积，包括其尖端到下终板。
-椎弓根螺钉之间的距离，面积或体积，包括其尖端到前椎骨皮质。
-椎弓根螺钉(包括其尖端与血管)之间的距离，面积或体积。
-椎弓根螺钉(包括其尖端到主动脉)之间的距离，面积或体积。
-椎弓根螺钉(包括其尖端至下腔静脉)之间的距离，面积或体积。
-椎弓根螺钉(包括其尖端与神经结构，骶骨囊，神经根和/或脊髓)之间的距离，面积或体积。
关于位置或距离或面积或体积的前述信息也可用于选择椎弓根螺钉的尺寸，宽度，直径或长度。
脊柱外科手术中椎弓根螺钉的放置和选择可基于前述任何一种，包括其任何组合。
外科医生可以接收患者的二维或三维或多维信息。可以显示信息，比如，使用显示屏，比如，与光学头戴式显示器分离的计算机屏幕。外科医生可以使用患者的二维或三维或多维信息在计算机屏幕上标记解剖结构或病理结构。可选择对信息进行分段或者可以对其进行修改，比如，使用本领域中已知的图像处理技术。可以使用光学头戴式显示器装置的显示器来执行标记，比如，使用虚拟用户界面。
外科医生还可以标记外科医生想要在手术期间保存或保护的敏感组织，比如，神经，脑结构，血管等。当虚拟手术计划和相关的解剖学数据或病理组织信息被发送到光学头戴式显示器或由光学头戴式显示器显示时，可以突出显示这种敏感结构，比如，使用不同的颜色。可以设计，调整或修改手术计划，以便避免敏感结构或仅最小程度地干扰敏感结构。比如，如果虚拟手术计划会导致手术器械(比如，手术刀，锯，钻头或钻头)干扰敏感结构(比如，血管或神经)，则可以调整虚拟手术计划或通过移动虚拟手术器械的地点，位置，定位和/或方向来修改，以避免敏感结构与手术器械的任何干扰或接触。可以使用光学头戴式显示器装置的显示器来执行标记，比如，使用虚拟用户界面。比如，外科医生可以选择用手指指向或圈出在现场手术部位上的敏感结构，包括通过选择性接触敏感组织。集成到光学头戴式显示器中，连接到光学头戴式显示器或与光学头戴式显示器分离的一个或多个摄像头，图像或视频捕获系统可以检测手指移动并且可以突出显示由外科医生的手指指出或圈出的敏感区域。
在本发明的一些实施方案中，如果不能避免手术器械与一个或多个敏感结构之间的干扰或接触(在虚拟数据和/或现场或物理手术中)，则可以调整或修改虚拟手术计划以通常至少部分地移动敏感结构，比如，使用组织牵开器，以最小化或减少手术器械与敏感结构的任何干扰或接触。
在本发明的一些实施方案中，如果不能(在虚拟数据和/或现场或物理手术中)避免手术器械与一个或多个敏感结构之间的干扰或接触，则可以调整或修改虚拟手术计划以至少部分地保护敏感结构，比如，使用虚拟和现场患者物理金属或塑料护罩，其可选地插入敏感结构和手术器械之间，以便最小化或减少手术器械与敏感结构的任何干扰或接触。
外科医生可以标记假体，移植物或植入体或其组件的期望地点，位置，方向和/或对准。植入材料可包括有机和无机物质。植入材料可包括生物和非生物物质。
比如，在髋关节置换手术中，外科医生可以指示髋臼组件或股骨组件的期望地点，位置，方向，对准，前倾或偏移。利用股骨组件，外科医生还可以指示期望的股骨颈切除水平和股管中的组件的期望位置，包括进入切割股骨颈的期望进入点，比如，内侧，侧面，前侧或后侧以及期望的进入角度。利用髋臼组件，外科医生还可以指示期望的扩孔深度和任何期望的内侧化或侧向化。
通过植入任意医疗装置，外科医生可以指示医疗装置的期望地点，位置，方向，对准。因此，虚拟手术计划可以显示医疗装置的期望地点，位置，方向或对准。虚拟手术计划还可以显示医疗装置相对于相邻组织的期望地点，位置，方向或对准。相邻组织可以是相同器官或关节的组织。相邻组织也可以是相邻敏感结构的组织，比如，血管，神经，其他器官等。
外科医生可选择模拟医疗设备的不同地点，位置，方向或对准。当医疗设备需要一个以上假体时，模拟医疗设备的不同地点，位置，方向或对准可能是特别有用的，比如，
-椎弓根螺钉，连接器和脊柱固定杆
-人造椎间盘，比如，金属终板和超高分子量聚乙烯移动滑动芯
-膝关节置换组件，包括胫骨托，聚乙烯衬垫，股骨组件，移动轴承
-髋关节置换组件，包括髋臼杯，髋臼内衬，股骨头，可选模块化股骨颈，股骨柄或单块股骨颈和髋关节
利用这些多组件装置，外科医生可以规划虚拟手术计划中各个组件的放置，并且外科医生可选地评估它们相对于彼此的地点，位置，方向或对准。然后，外科医生可以对放置进行调整，虚拟计划的，稍后可选择在现场手术中的一个或多个组件组件的位置，比如，地点，位置，方向，旋转或对准。
外科医生还可选择测试这些组件彼此相关的功能。比如，在用于人工椎间盘的外科手术计划中，软件可以允许外科医生利用虚拟外科手术计划或运动模拟中包括的一个或多个医疗装置组件虚拟地模拟左侧和右侧的脊柱弯曲或伸展或侧向弯曲。外科医生可以重复虚拟手术计划或模拟，其具有向左和向右的不同程度的屈曲或伸展或侧向弯曲和/或具有不同尺寸或形状的医疗装置或医疗装置组件。如果不同尺寸和形状之间的零件或组件或医疗装置可互换，则外科医生可以选择使用不同尺寸的组件重复虚拟手术计划或模拟，比如，大尺寸聚乙烯插入件或具有中等尺寸金属背衬的间隔物组件，反之亦然。
外科医生可选择将具有不同尺寸和/或形状的医疗设备组件迭加在信息上，并选择最适合患者或最匹配患者的设备组件。
在本发明的一些实施方案中，当使用术前数据(比如，术前图像数据)拟定虚拟手术计划时，将信息从外科医生或手术者的办公室(比如，放射学办公室)发送到中央网站，比如，用于图像处理或用于生成初始手术计划草案，以处理数据或信息。处理后的信息可以传回给外科医生或手术者。外科医生或手术者可以查看手术计划草案。外科医生或手术者可以接受手术计划草案。外科医生或手术者可选择修改手术计划草案。可以选择将接受或修改的手术计划草案传送回中央网站。比如，中央网站可以生成指令，按照接受或修改的外科手术计划，运送外科医生已经接受或选择的某些医疗设备组件。
当使用术中数据来拟定虚拟手术计划时，外科医生可以自己拟制部分或整个虚拟手术计划，比如，使用他或她办公室中的计算机，标准硬件组件，显示器和软件，计算机，标准硬件组件，手术室中的显示器和软件，或光学头戴式显示器，比如，使用虚拟接口或其组合。包括光学头戴式显示器的不同计算机可以通过网络连接，比如，WiFi或LiFi网络。
外科医生可选地将术前数据结合到虚拟手术计划中。比如，在膝关节置换中，外科医生可以使用比如，光学标记来执行术中测值以确定腿的机械轴并且定义股骨和/或胫骨和/或髌骨解剖标志并将它们配准在公共坐标中系统可以用于虚拟手术计划，也可以在共同坐标系统中配准。然后，外科医生可以合并或输入来自一个或多个术前和/或术中膝关节X射线的数据，比如，股骨，胫骨或髌骨组件尺寸和/或期望的内翻或外翻矫正和/或期望的股骨和/或或者胫骨组件旋转和/或期望的股骨组件弯曲和/或期望的胫骨斜度，和/或期望的股骨，胫骨和/或髌骨组件位置和/或方向和/或对准到虚拟手术计划中。标准数据，比如，固定的胫骨斜度，比如，0度，3度或5度，也可以结合到虚拟手术计划中。任何前述内容都可以在共同坐标系中配准，并且可选地由光学头戴式显示器虚拟显示。
在髋关节置换中，外科医生可以使用比如，光学标记来执行术中测值以确定髋关节的旋转中心的位置，以限定股骨和髋臼标志，比如，大转子的顶部，龈沟点，比如，大转子和股骨颈之间的最低点，以及较小的转子，髋臼缘和/或髋臼的中心，比如，通过使用带有一个或多个附接的光学标记的指针指向它们；这些和其他术中测值可以配准在共同坐标系中，并且可以用于虚拟手术计划，其也可以在共同坐标系中配准。然后，外科医生可以合并或输入来自一个或多个术前和/或术中髋部X射线和/或骨盆X射线的数据，比如，股骨和髋臼组件尺寸，期望的衬垫，包括唇形和偏移衬垫，期望的股骨头尺寸包括正负头部尺寸，和/或期望腿部长度，和/或期望的旋转中心，和/或期望的股骨颈长度，和/或期望的股骨颈角度，和/或期望的股骨和/或髋臼分量前倾和/或偏移，包括组合前倾。标准数据，比如，固定的股骨，髋臼或组合前倾，固定的股骨颈角，髋臼安全区的角度范围也可以结合到虚拟手术计划中。任何前述内容都可以在共同坐标系中配准，并且可选择由光学头戴式显示器虚拟显示。
在本发明的一些实施方案中，例如，外科医生计划植入的医疗设备的预期位置的外科手术计划的各方面可以通过迭加到实时数据上的光学头戴式显示器来显示。比如，可以通过虚拟医疗设备组件来指示预期位置，该虚拟医疗设备组件可表示被选择用于植入的医疗设备组件。由光学头戴式显示器与实时数据迭加显示的虚拟医疗设备组件可以显示在其最终期望位置。然后，外科医生可以将物理设备与虚拟设备组件对准，在术中放置或插入医疗设备组件。
在一些实施方案中，假体，移植物，医疗装置或其他植入体的预期位置可使用光学头戴式显示器与患者实时数据同时显示的虚拟标记物或目标来指示。然后，外科医生可以将假体，移植物，医疗装置或其他植入体与虚拟标记物或靶标对准，或者外科医生可以将假体，移植物，医疗装置或其他植入体指向虚拟标记物或靶标。
如果外科医生/手术者偏离手术计划，则可以发出或提供视觉或声学或其他警告信号。视觉警告信号可以由光学头戴式显示器提供，比如，在虚拟数据的显示器中眨眼的红色背景或虚拟数据的颜色改变，比如，红色。
在本发明的一些实施方案中，虚拟手术计划可以通过基于患者的解剖结构，手术部位，病理状况，畸形和其他信息，包括但不限于，与一个或多个解剖或旋转或生物力学等轴相关的期望地点，位置，方向，旋转或对准，选择或设计期望的植入体或植入体组件或医疗装置尺寸和/或大小和/或形状来开始。在选择或设计所需的尺寸和/或大小和/或形状之后，可以相对于一个或多个解剖或生物力学轴，患者的解剖手术部位，病理状况或畸形，将植入体，植入体组件或医疗装置放置与解剖结构相关的期望地点，位置，方向，旋转或对准中。该过程可以是迭代反复的。比如，植入体或植入体组件或医疗器械选择或设计之后，可以是期望的放置，随后可以改变植入体或植入体组件或医疗器械选择的选择或设计，然后可以进行调整放置等。迭代反复过程可以是自动的或半自动的。
一旦在虚拟手术计划中确定了最终的植入体选择或设计和放置，可以在虚拟手术计划中设计或选择关于患者的解剖结构，手术部位，病理状况，一个或多个解剖或生物力学轴，功能信息，敏感组织和其他组织的信息的前述手术步骤。设计或选择前述手术步骤后，开始以相反顺序，连续顺序或随机顺序或其任何组合，放置最终植入体或植入体组件或医疗器械。可选择重复手术步骤以优化任何组织改变和/或植入体放置和/或植入体选择和/或植入体设计。如果虚拟手术计划表明手术过程中可能出现并发症，比如，放置太靠近血管或神经结构或其他敏感结构，为避免这种潜在的并发症，可以修改手术计划，手术计划的部分，手术计划的顺序和植入体，植入体，植入体组件或医疗设备选择或设计。因此，在虚拟手术计划中可以迭代植入体的选择和放置与包括手术器械的显示的手术步骤之间的整个过程。
在本发明的一些实施方案中，虚拟手术计划可以通过将虚拟植入体或植入体组件或医疗装置放置在与一个或多个解剖学或生物力学轴，患者的解剖结构手术部位，病理状况或畸形相关的期望地点，位置，方向，旋转或对准开始。用于该初始或最终放置的植入体可以选择平均，最小或最大尺寸，大小或形状或其组合的植入体。然后，可以在植入体或植入体组件或医疗装置的放置之后，选择或设计期望的植入体或植入体组件或医疗装置的尺寸和/或大小和/或形状。该过程可以是迭代反复的。比如，植入体或植入体组件或医疗装置的放置之后可以选择或设计所需的植入体或植入体组件或医疗器械的尺寸，大小或形状，随后改变植入体或者植入体组件或医疗装置的放置，其后改变尺寸，大小或形状等的选择或设计。迭代过程可以是自动的或半自动的。
一旦在虚拟手术计划中确定了最终的植入体放置和选择或设计，与患者的解剖结构，手术部位，病理状况，一个或多个解剖学或生物力学轴，功能信息，敏感组织和其他组织的信息相关的前述手术步骤可以在虚拟手术计划中设计或选择。设计或选择前述手术步骤后，开始以相反顺序，连续顺序或随机顺序或其任何组合，放置最终植入体或植入体组件或医疗器械。可选择重复手术步骤以优化任何组织改变和/或植入体放置和/或植入体选择和/或植入体设计。如果虚拟手术计划表明手术过程中可能出现并发症，比如，放置太靠近血管或神经结构或其他敏感结构，为避免这种潜在的并发症，可以修改手术计划，手术计划的部分，手术计划的顺序和植入体，植入体，植入组件或医疗设备选择或设计。因此，在虚拟手术计划中可以迭代反复植入体的选择和放置与包括手术器械的显示的手术步骤之间的整个过程。
在本发明的一些实施方案中，虚拟手术计划可以从在外科手术技术中定义的初始手术步骤开始。随后是每一或一些后续外科手术步骤，比如，仅主要步骤，这可以选择。然后，虚拟手术计划可以延续至植入体在患者虚拟数据中的选择和/或设计和放置。如果植入体，植入体组件或医疗装置的最终选择和/或设计和/或放置不同于期望的结果，比如，如外科手术计划中所定义的或外科医生所希望的，可以修改任何前述手术步骤，植入体，植入体组件或医疗装置的放置和/或选择或设计。该过程可以是迭代反复的，手动的，半自动的或自动的，直到实现期望的虚拟手术计划，植入体，植入体组件或医疗装置的选择和/或设计或放置。
图14的例证性实例说明了，在外科手术期间如何使用多个光学头戴式显示器，比如，用于第一外科医生，第二外科医生，外科手术助理和/或一个或多个护士，以及如何在使用多个光学头戴式显示器手术期间修改和显示手术计划，同时，为各手术者保留虚拟数据和相应实时数据的正确透视图。多个光学头戴式显示器11，12，13，14的系统10用于多个观察者，比如，主要外科医生，第二外科医生，外科手术助理和/或护士。多个光学头戴式显示器可以使用解剖结构，解剖标志，校准体模，参考体模，光学标记，导航标记和 /或空间锚点点配准在共同坐标系统15中，比如，像微软全息眼镜所用空间锚点点。患者的术前数据16也可以在共同坐标系15中配准。比如，使用一个或多个惯性测量单元，光学标记，导航标记，图像或视频捕获系统和/或空间锚点可以测量患者实时数据18，比如，来自手术部位的，脊柱，(可选具有微创通路的)，髋关节切开术部位，膝关节切开术部位，骨切割，改变表面。患者实时数据18可以在共同坐标系15中配准。可以在共同坐标系15中配准术中影像学检查结果20。或参考，比如，使用比如，光学标记惯性测量单元，导航标记或空间映射22，手术室桌或房间固定装置可在共同坐标系15中配准。术前数据16或包括术中测值的实时数据18或其组合可用于产生，生成或修改虚拟手术计划24。虚拟手术计划24可以在共同坐标系15中配准。对于每一观察者的透视图和位置以及头部位置和方向27，光学头戴式显示器的11，12，13，14可以针对每一光学头戴式显示器11，12，13，14保持患者虚拟数据和患者实时数据的对准和迭加。使用虚拟或其他接口，佩戴光学头戴式显示器1 11的外科医生可以执行命令32，比如，显示下一预定的骨切割，比如，来自虚拟手术计划或影像学检查或术中测值，其可以触发光学头戴式显示器 11，12，13，14将下一手术步骤34的迭加到手术部位上并与手术部位对准的虚拟数据投影到预定位置/或方向。光学头戴式显示器的11，12，13，14中的任何一个都可以获取一个或多个光学测量或测量输入，比如，解剖学标志，来自摄像机的轴，解剖轴，生物力学轴，腿的机械轴17，使用比如，集成的或附加的摄像头，图像捕捉或视频系统。通过使用具有多个摄像头，图像捕获或视频系统的不同视角的多个光学头戴式显示器11，12，13， 14，可选择提高测量的准确度。可选择使用来自不同视角的多个光学头戴式显示器11，12，13，14与多个摄像头，图像捕获或视频系统来执行视差测量。一个或多个光学测量可以用于修改虚拟手术计划19，可选择使用来自多个光学头戴式显示器11，12，13，14的信息。本领域技术人员可以认识到，可以使用多个坐标系代替共同坐标系。在该情况下，可以将坐标从一个坐标系变换为另一个坐标系，比如，用于配准光学头戴式显示器，患者实时数据，包括手术部位，虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
组织变形包括骨变形，软骨变形
在本发明的一些实施方案中，患者的一个或多个组织(比如，骨，软骨，关节或器官)的形状可以在手术中，比如，在手术期间三维中估计或变形。估计或变形患者的组织形状，比如，骨形状，软骨形状，关节形状或器官形状，可以帮助减少或消除对术前成像的需要，并且在选择的实施方案中，可以帮助减少或消除术中成像的需要。
在本发明的一些实施方案中，可以使用二维术前数据，并且可以在术前三维中估计或变形患者组织中的一个或多个的形状，比如，骨骼，软骨，关节或器官，比如，手术前。
使用术前成像或术中成像的骨骼变形和/或软骨和/或组织变形
在本发明的一些实施方案中，可以获得患者的一个或多个二维图像。这些图像可以，包括患者的一个或多个X射线。可以使用数字采集技术获得X射线。也可以使用传统的基于胶片的技术获得X射线，在该情况下，可以先使用扫描仪，随后对X射线进行数字化处理。
示例性X射线图像可包括：
-脊柱：正位，后前位，横向，斜视图和/或倾斜视图，屈曲图，延伸视图，侧向弯曲视图；直立，仰卧或俯卧
-髋部：正位，后前位，横向，斜视图，倾斜视图和/或蛙腿式视图；站立或躺卧，承重或不承重
-膝盖：正位，后前位，横向，斜视图，倾斜视图和/或站立图，日出位图等；站立或躺卧，承重或不承重
-全腿X射线光片；站立或躺卧，承重或不承重
-选择性腿部X射线光片，比如，臀部，膝盖，脚踝；站立或躺卧，承重或不承重
可以在患者处于直立，仰卧和/或俯卧位置的情况下获得X射线。患者可以在承重和非承重位置获得X射线。在本发明的一些实施方案中，X射线在手术中获得，比如，患者已经定位并放置预期的外科手术。
患者的X射线数据可以转移到计算机中。图像处理可以选择应用于分割选择的患者组织，比如，骨或椎骨或椎骨结构，软骨下骨，皮质骨，骨赘。比如，图像处理也可以用于确定选定患者组织的边缘，比如，骨骼或椎骨或椎骨结构，软骨下骨，皮质骨，骨赘。当已经从图像识别和/或衍生软骨下骨时，包括软骨下骨曲率和/或几何形状和/或形状，可以将软骨形状，曲率或几何形状迭加或添加到软骨下骨形状。对于给定关节和/或给定患者，软骨形状，曲率或几何形状可呈现标准软骨厚度，比如，1.0毫米，1.5毫米，2.0 毫米，2.5毫米，3.0毫米，3.5毫米。软骨几何形状还可以呈现可变的软骨厚度，比如，取决于关节中和/或关节表面上的软骨的位置和/或基于患者的年龄，性别，种族，体重和 /或BMI，以及潜在畸形，比如，内翻或外翻畸形。
在本发明的一些实施方案中，二维X射线图像可用于导出关于包括在X射线中的解剖结构的尺寸和形状的信息。其中一些信息可以是，比如：
-解剖标志
-两个或更多个已知解剖标志/结构之间的距离和/或尺寸
-解剖标志之间的角度
-解剖轴
-生物力学轴
-曲率信息
-表面信息
-边缘信息
-曲率信息
-形状信息，比如，当来自以不同投影或光束角度获得的多个X射线图像的信息被组合或聚合时
-长度信息，比如，在正位，内外侧位，上外下内方向，正位，内外侧位，上外下内平面，倾斜平面中
-宽度信息，比如，在正位，内外侧位，上外下内方向，正位，内外侧位，上外下内平面，倾斜平面中
-深度信息，比如，在正位，内外侧位，上外下内方向，正位，内外侧位，上外下内平面，倾斜平面中
脊柱，臀部，膝盖和肩关节的标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征的示例可用于骨骼变形，以下提供在这些区域或面向这些区域的外科手术中的三维模型选择，建立，推导和变形。这些实施方案决不是对本发明的限制，而仅是示例性的。本领域技术人员将易于识别这些关节以及人体中其他关节的其他标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和 /或其他特征。
脊柱
-椎弓根的皮质骨
-椎弓根的骨内膜骨
-椎体后皮质骨
-椎体前皮质骨
-椎体外侧皮质骨
-上终板
-下终板
-椎间盘
-椎体
-椎体骨小梁(trabecular bone)
-上关节面
-下关节面
-棘突
-任何骨折部件或碎片，其中包括椎弓根，小关节或椎体
-终板形状，比如，矢状平面
-终板形状，比如，冠状面
-施莫耳氏结
-椎弓根距离
-椎间高度或椎间盘高度
-椎体的正位长度，比如，在下终板，上终板，中间部分的接合处
-椎体的内外侧位宽度(ML width)，比如，在下终板，上终板，中间部分的接合处
-椎体的倾斜宽度，比如，在下终板，上终板，中间部分的接合处
-椎体高度，比如，前部，中部，后部
-椎弓根长度
-椎弓根宽度
-椎弓根高度
-椎弓根角
-棘突上外下内厚度(Slthickness)，比如，前部，中部，尖端
-棘突宽度，比如，前部，中部，尖端
-从原点开始的棘突下角
-面尺寸，正位，内外侧位，上外下内
-关节面夹角，比如，在上椎骨的下关节面和下椎骨的上关节面之间形成的关节角度
-椎板上外下内高度
-椎板正位宽度
-椎板内外侧位半径，直径
-脊髓正位直径，内外侧位直径
-脊柱前凸
-脊柱后凸
-脊柱侧弯
-侧弯，比如，左侧，右侧
-科布角
-腰骶角
髋关节
-髋臼外侧点或边缘
-髋臼内侧点或边缘
-髋臼上点或边缘
-髋臼前点或边缘
-髋臼后点或边缘
-三叶形软骨和区域
-髋臼唇，内侧，外侧，前侧，后侧(比如，当X射线造影剂注入关节时)
-骨头凹
-股骨头软骨下骨，外形，轮廓
-股骨头颈/接处，曲率，凸，凹
-大转子，比如，外侧皮质，上皮质，前皮质，后皮质
-沟点(大转子和股骨颈之间的最低点)
-沟曲率
-大转子/沟交接，曲率，凸，凹
-小转子
-小转子/股骨颈交接，弯曲
-小转子/股骨干交接
-股骨干，前皮质，后皮质，内侧皮质，外侧皮质
-适用于任何前述结构的前皮质，后皮质，内侧皮质，外侧皮质
-适用于任何前述结构的骨内膜骨，前部，后部，内侧，外侧
-股骨颈角
-股骨干角度
-髋臼角
-髋臼前倾
-股骨前倾
-股骨干角度
-骨盆倾斜
-股骨偏移
-申顿线(Shentonline)
-希尔根莱纳线
-珀金线
-髋臼指数
膝盖
-股骨凹陷的内侧壁
-股骨凹陷的外侧壁
-股骨凹陷的顶部
-内侧髁的内侧壁
-外侧髁的外侧壁
-内侧上髁隆起
-外侧上髁隆起
-股骨内侧髁形状，比如，半径，凸度，凹陷
-股骨外侧髁形状，比如，半径，凸度，凹陷
-髁间凹陷形状
-髁间凹陷表面特征
-内侧胫骨脊柱
-胫骨外侧脊柱
-前内侧胫骨缘
-前外侧胫骨缘
-内侧胫骨缘
-胫骨外侧缘
-内侧坪的最低点
-外侧坪的最低点
-内侧坪的最高点
-外侧坪的最高点
-内侧胫骨坪形状
-外侧胫骨坪形状
-内侧胫骨坪矢状曲率
-外侧胫骨坪矢状曲率
-内侧胫骨坪冠状曲率
-外侧胫骨坪冠状曲率
-内侧胫骨坪表面特征，比如，半径，凸面，凹面
-外侧胫骨坪表面特征，比如，半径，凸面，凹面
-股骨骨赘
-胫骨骨赘
-髌骨骨赘
-股骨软骨下囊肿
-胫骨软骨下囊肿
-髌骨骨赘
-髌骨软骨下囊肿
-滑车骨赘
-滑车软骨下囊肿
-髌骨矢状曲率
-髌骨冠状曲率
-髌骨轴向曲率
-髌骨表面特征，比如，半径，凸面，凹面
-髌骨表面特征，比如，半径，凸面，凹面
-髌骨圆周形状
-髌骨隆起
-髌骨厚度
-滑车深度
-滑车矢状曲率
-滑车轴向曲率
-滑车冠状曲率
-滑车矢状形状
-滑车轴向形状
-滑车冠状形状
-滑车角
-上髁轴
-股骨后轴
-滑车旋转轴
-机械轴
-Q-角
肩
-锁骨
-肩锁关节(ACjoint)
-肩峰
-盂
-肩胛骨
-喙突
-肱骨头
-肱骨颈
-肱骨干
-关节盂骨赘
-肱骨骨赘
-肩锁关节骨赘
-关节盂软骨下囊肿
-肱骨软骨下囊肿
-肩锁关节软下囊肿
-肩峰肱骨距离
-肩峰肱骨空间
-关节盂最深处
-关节盂的最前点或边缘
-关节盂的最后点或边缘
-关节盂的最高点或边缘
-关节盂的最低点或边缘
-盂唇形状
-肱骨头形
-关节盂矢状曲率，比如，半径，凸面，凹面
-关节盂轴向曲率，比如，半径，凸面，凹面
-关节盂冠状曲率，比如，半径，凸面，凹面
-肱骨头矢状曲率，比如，半径，凸度，凹陷
-肱骨头轴向弯曲，比如，半径，凸面，凹面
-肱骨头冠状曲率，比如，半径，凸度，凹陷
-机械轴
-解剖轴
-倾斜角度
-头颈部轴
-绕穿上踝的轴
-后倾角
通过测量前述标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征，可以估计三维形状，体积或表面。比如，近端股骨，远端股骨，近端胫骨，髋臼，椎体和脊柱元素以及关节盂和/或近端肱骨。正在测量的解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征越多，骨头的三维形状，体积或表面的估计就越准确。此外，从不同的视角，投影角度，光束角度，可选择具有相同的放大倍率或不同的放大倍率拍摄或获取的二维图像越多，对骨头的三维形状，体积或表面的估计就越准确。
比如，可以通过填充信息来估计骨骼的三维形状，体积或表面，比如，中间或连接解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或已知解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和 /或从一个，两个，三个或更多个X射线图像导出的其他特征之间的其他特征。在本发明的一些实施方案中，可以使用骨的标准模型，并且可以使用一个或多个已知的解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或从一个，两个，三个或更多个X射线图像导出的其他特征来变形。可以使用本领域已知的各种统计模型来执行这种变形。
在本发明的一些实施方案中，可以使用骨模型和组织模型的数据库或库。这些解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征中的一个或多个，通过将一个或多个解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征与参考患者和/或参考骨或标准软骨形状的参考数据库中的数据，进行比较，并通过选择最匹配所选解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征的三维模型，可用于识别标准骨形状和/或标准软骨形状。以这种方式，患者骨骼和/或软骨的三维形状，比如，远端股骨和/或近端胫骨和/或髋臼和/或近端股骨，和/或椎体和/或脊柱元素和/或关节盂和/或近端肱骨，可以在不需要获取三维数据或不需要分割三维数据或限制可用三维数据所需的分割量(比如，病患的计算机断层扫描扫描或核磁共振扫描)的情况下进行估计。参考数据库可以来自尸体数据的解剖学参考数据库。参考数据库还可以是扫描数据，比如，在NIH骨关节炎计划中获得的或从图像数据采集的扫描数据，以产生用于膝关节置换的患者特异性器械。这种扫描数据可用于生成具有不同年龄，性别，种族背景，种族，体重，身高和/或BMI的患者的三维形状的数据库。
值得注意的是，使用二维图像数据或三维图像数据，比如，X射线，超声，计算机断层扫描或核磁共振，结合一个或多个选定解剖结构的三维形状的参考数据库，比如，用于减少或限制或消除获取三维数据或用于分割二维或三维数据的需要的骨骼，软骨和器官，适用于整个说明书中的本发明的任何实施方案，包括用于所有其他临床应用，比如，髋关节置换，膝关节置换，脊柱外科手术，脊柱融合术，椎体成形术，椎体后凸成形术，骨折固定术，脑外科手术，肝脏手术，癌症手术等。
在本发明的一些实施方案中，可选择使用患者的解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征变形的标准模型，可与使用患者的标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和 /或其他特征从数据库中选择的模型，组合和融合。在一些实施方案中，可以使用患者的解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征来变形和/或调整从数据库中选择的模型。可以使用本领域已知的各种统计模型来执行这种变形。
如果使用一个或多个X射线，它们可以比如，在膝盖(或后前位)的正位投影和膝盖的侧向投影中获得。如本领域中已知的，其他视图是可能的，比如，隧道视图，商家视图，髌骨视图，倾斜视图，站立视图，仰卧视图，俯视图。可选择在正位/后前位和/或侧视图和/或倾斜视图上识别内侧和外侧股骨髁；可选择在正位/后前位和/或侧视图和/或倾斜视图上识别内侧和外侧胫骨坪。可以识别其他解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征。
比如，侧膝X射线可用于导出关于内侧和外侧髁的曲率信息。在膝关节侧位X线片上可以看到两条截然不同的曲线，一条代表内侧髁，另一条代表外侧髁。在大多数情况下，外侧髁具有比内侧髁更小的半径，比如，在中央负重区域中。软件可以使用比如，数据分段中描述的一些软件包来识别和/或分割每条曲线。然后可以进行曲率分析，评估每条曲线的半径。在本发明的一些实施方案中，具有较小半径的曲线，比如，在中央承重区域中，可以指定为外侧髁。其他组合也是可能的。
用于估计或改变患者骨骼的三维形状的技术的前述描述本质上仅是示例性的，决不意味着限制本发明。本领域技术人员将易于识别以三维方式估计患者骨骼形状的其他手段。可以使用本领域已知的从二维数据确定或估计骨骼三维形状的任何技术。可以使用本领域已知的从二维数据建模和显示骨骼的三维形状的任何技术。
使用机械探针和/或光电和/或射频探针进行骨和/或组织变形
在本发明的一些实施方案中，机械探针可用于在手术中确定患者组织的三维形状，比如，软骨或骨或器官组织。组织探针可以连接到支架或夹具上。组织探针也可以是掌上型的。
组织探针可以被配置为类似于本领域已知的机械检测装置，用于工业形状检查目的，比如，本领域已知的坐标测量机(CMM)，比如，Faro臂系统(Faro arm system)。
在本发明的一些实施方案中，可以使用机械探针，其具有光学标记，导航标记，包括红外标记，逆向反射标记，射频标记，发光二极管和/或惯性测量单元中的至少一种。然后可以确定探测器的位置和/或方向和/或对准和/或移动方向，比如，使用附接到光学头戴式显示器或与光学头戴式显示器分离的导航系统和/或图像和/或视频捕获系统。
通过沿着骨骼，软骨，组织和/或器官表面移动机械探针，可以配准探针尖端的位置，比如，可以生成用于生成三维表面的点云。本领域已知的标准技术，比如，镶嵌，可用于此目的。
使用光学探针和/或三维扫描仪和/或图像捕获系统进行骨和/或组织变形。
在本发明的一些实施方案中，集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于对患者的骨和/或软骨和/ 或组织和/或韧带和/或半月板/或器官表面进行成像。利用已知的图像和/或视频捕获系统的位置，方向，对准和/或移动方向，比如，使用光学标记，导航标记，包括红外标记，逆向反射标记，射频标记，发光二极管和/或惯性测量单元，患者的骨骼和/或软骨和/或组织和/或韧带和/或半月板和/或器官表面的图像可以从多个视点或连续获取和，使用如在数据分割中描述的软件和图像处理或如在空间映射中描述的空间映射技术，图像可以用于导出患者的骨骼和/或软骨和/或组织和/或韧带/或半月板和/或器官的一个或多个三维体积，三维表面和/或三维形状。可选择使用两个或更多个摄像头的图像和/或视频捕获系统增强图像采集和三维体积，三维表面和/或三维形状的重建的准确性，其可以用于生成视差信息和/或立体视觉信息，视差和/或立体信息可用于增强重建的准确性。或者，可以通过平均三维坐标或检测到的表面点或其他几何结构(比如，平面或曲面)来合并来自两个或更多个摄像头的信息。
在本发明的一些实施方案中，本领域已知的三维激光扫描仪或深度传感器，比如，由Occipital lnc.提供的结构激光扫描仪，可用于对患者的骨骼和/或软骨和/或组织和/或韧带和/或半月板和/或器官的表面成像。可以使用本领域已知的其他三维扫描仪。可以使用本领域已知的激光扫描，光学或光学扫描技术，用于确定，估计或导出本领域已知结构的三维体积，三维表面或三维形状。
在本发明的一些实施方案中，三维扫描仪或图像和/或视频捕获系统可以附接到臂或三脚架上。可以在恒定距离处获取患者的骨和/或软骨和/或组织和/或韧带和/或半月板和/ 或器官的图像。可以在可变距离处获取患者的骨和/或软骨和/或组织和/或韧带和/或半月板和/ 或器官的图像。激光或光学扫描仪可选地用于在图像采集期间测量到患者的骨和/或软骨和/或组织和/或韧带和/或半月板和/或器官的距离。使用激光的起始位置或图像和/或视频捕获系统的起始位置和/或光学标记，导航标记包括红外标记，逆向反射标记，射频标记，发光二极管和/或者惯性测量单元，中的至少一个，在整个采集过程中可以知道图像和/或视频捕获系统和/或三维扫描仪的位置，方向，对准和/或移动方向，从而进行放大倍率校正和可选视角调整和/或投影和/或表面生成计算和/或调整和/或校正。
结合术前和术中数据
在本发明的一些实施方案中，机械探针，光电探针，射频探针，光学探针，图像和/或视频捕获系统，激光扫描仪和/或三维扫描仪在术中获得的二维或三维数据可与术前数据合并，比如，术前图像数据和/或虚拟手术计划。
术前获得的二维或三维信息可以包括机械轴信息，比如膝关节和/或下肢的(比如，使用站立位X线片获得)，旋转轴(比如，髋关节或膝关节)信息，比如，使用上髁轴信息，后髁轴信息，胫骨结节信息，关节的一个或多个正位尺寸，关节的一个或多个内外侧位尺寸，关节的一个或多个上外下内尺寸，内侧髁曲率和/或横向髁曲率(比如，在横向和/或正位射线照片上看到的)，内侧胫骨曲率和/或外侧胫骨曲率(比如，在横向和/ 或正位射线照片上看到的)，关节线信息(比如，膝盖中的内侧和/或外侧关节线位置)，偏移信息(比如，髋部偏移或内侧和/或外侧髁之间的偏移)。
手术中获得的二维或三维数据可以包括组织，器官(比如，软骨和/或骨)的尺寸信息，几何信息，曲率信息，体积信息，形状信息和/或表面信息。手术中获得的二维或三维数据可以包括关于关节线位置的信息，比如，基于软骨和/或软骨下骨测量的内侧和/或外侧，股骨偏移和/或胫骨偏移。
可选择对手术前和/或手术中获得的数据应用调整或校正。比如，可以从术前和/或术中二维或三维数据中虚拟去除骨赘和/或软骨下囊肿。可以选择校正在任何数据上看到的关节表面的展平，比如，通过应用校正的形状，比如，使用样条曲面(spline surface)或平滑函数或平均函数。
在本发明的一些实施方案中，二维或三维术前数据可以与二维或三维术中数据组合。比如，从术前站立位X线片获得的机械轴信息可以与关节的术中三维扫描组合，比如，膝关节或髋关节。可以基于组合数据拟制或导出虚拟手术计划，比如，计划维持或恢复正常机械轴对准的切除或外科医生期望的任何其他对准，比如，关节内翻或外翻对准的 5％或更少。如果在手术前已经拟制了虚拟手术计划，则可以使用一个或多个关节的术中三维扫描信息在手术中修改虚拟手术计划，比如，使用关节或器官的更准确的术中表面信息。
在本发明的一些实施方案中，比如，使用一个或多个术前X射线从二维术前数据变形的三维表面与术中导出的三维表面组合，比如，使用术中机械和/或三维表面或光电和/或激光和/或三维扫描仪导出。比如，股骨头的术前变形表面可以以这种方式与术中表面匹配，对准，迭加或合并。或者，一个或两个股骨髁和/或胫骨坪的术前变形表面可以以这种方式与它们相应的术中表面匹配，对准，迭加或合并。通过匹配，对准，迭加或合并从术前和术中数据导出的表面，在术前数据(比如，站立的X射线)上获得的轴信息可以容易地与术中数据迭加或合并。所得模型可用于拟制，推导和/或修改虚拟手术计划，比如，随后通过光学头戴式显示器显示一个或多个切割平面或组织切除或轴。
使用二维到三维组织变形(比如，骨变形，如说明书中所描述的)，术前和/或术中获得的二维数据，并且变形为三维模型，可以使用一个或多个光学头戴式显示器显示屏立体地和/或非立体地显示。此外，光学头戴式显示器可以显示一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个和二维到三维变形的三维模型(比如，骨模型，立体或非立体)可以由光学头戴式显示器同时显示。光学头戴式显示器可以显示一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，可以使用二维到三维变形三维模型来规划，比如，使用虚拟手术计划。
在本发明的一些实施方案中，用于二维到三维组织变形的相同解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或其他特征中的至少一个或多个，比如，骨变形，可以通过识别相应的解剖标志，距离，尺寸，表面，边缘，角度，轴，曲率，形状，长度，宽度，深度和/或实时数据中的其他特征中的至少一个或多个，用于患者实时数据和虚拟数据(比如，术前数据)的术中配准，使用比如说明书中描述的一些技术。
图15是如何使用或应用二维到三维变形数据的示例。该示例决不意味着限制本发明。在该示例中，可以获得二维X射线图像，可选择有多个投影165。可以衍生出一种或多种组织(比如，骨，软骨)，可以得到它们的解剖标志，形状和/或几何形状或其他特征166，并且可以选择性调整167。可以确定互连或填充特征168，可以从模型库或数据库169中选择紧密配合或匹配的模型，可以使用形状，几何形状或特征166选择标准模型并且可选择使其变形170，可以从模型171库或数据库中选择紧密配合或者匹配模型，并使用166中的信息进行变形。168，169，170和171中的步骤和过程可选地组合172。步骤和过程168，169，170，171和172可用于生成二维到三维变形模型173，其可用于生成术前虚拟手术计划174。变形模型173和术前虚拟手术计划174可以由一个或多个光学头戴式显示器175显示，可选立体176或非立体177。可选术中虚拟手术计划179与术前虚拟手术计划174迭加，合并，匹配或对准。术中扫描或探测数据180可用于使用术中数据生成患者模型，比如，二维模型，二维到三维变形模型，三维模型181，其可选使用术前数据173或术前虚拟手术计划174与患者的变形模型迭加，匹配，合并或对准173。可选使用术中数据181对患者模型进行调整182。
通过一个或多个光学头戴式显示器查看虚拟数据和实时数据
使用患者虚拟数据的虚拟手术计划可用于创制或确定用于放置或引导手术工具，手术器械，试验植入体组件，试验植入体，植入体组件，植入体，包括本领域已知的任何类型的生物处理或植入体或基质的装置的以下任何内容：
·预定起点
·预定起始位置
·预定的起始方向/对准
·预定中间点
·预定中间位置
·预定的中间定向/对准
·预定终点
·预定的最终位置
·预定的中间定向/对准
·预定路径
·预定平面(比如，用于放置或定向手术器械或植入体组件)
·预定切割平面(比如，用于引导锯或其他手术器械(比如，钻头，钉，切割器，铰刀，锉刀，撞击器，骨凿)和/或用于放置或定向植入体组件或试验植入体组件)
·投影外形/轮廓/横截面/表面特征/形状/投影
·预定深度标记或深度计，可选择对应于物理手术工具，手术器械，试验植入体，植入体组件，植入体或装置上的物理深度标记或深度计
·预定角度/定向/旋转标记，可选择对应于物理手术工具，手术器械，试验植入体，植入体组件，植入体或装置上的物理角度/定向/旋转标记
·预定轴，比如，旋转轴，弯曲轴，延伸轴
·物理手术工具，手术器械，试验植入体，植入体组件，植入体或装置的预定轴，比如，长轴，水平轴，正交轴，钻孔轴，钉扎轴，切割轴(将其移动到随后的位置示例)
·设备/植入体/植入体组件/手术器械/手术工具的估计/投射的非可视化部分，比如，使用图像捕获或附接到具有已知几何形状的装置/植入体/植入体组件/手术器械/手术工具的标记物
·预定的虚拟组织变化/改变。
任何前述内容，比如，切割平面或轮廓，比如，植入体或手术器械的轮廓，可选择交替显示二维和/或三维图像。比如，当外科医生从骨端观察(比如，远端股骨)以定向和/或引导切割器械(比如，锯或锯片)时，可以使用切割平面的二维可视化，比如，线。当外科医生从侧面观察时，比如，以一定角度观察时，可视化可选地切换到三维显示器以显示切口和/或刀片相对于骨骼的期望角度方向。显示器也可以保持二维模式。二维和三维图像之间可以手动切换，比如，通过语音命令或虚拟投影键盘上的命令或虚拟投影的用户接口，或自动切换，比如，基于手术者头部和/或光学头戴式显示器相对于手术部位的的位置和/或方向(比如，手术者头部/光学头戴式显示器相对于手术部位的正面方向，或接近包括90度的侧(近正交)向或角度，非90度的侧方向，比如，30，40，50，60， 70度角)。切割平面的二维或三维图像可说明确定/显示预期切割的所需角度方向。比如，角度定向可以是膝关节置换中的计划/预期机械轴校正，膝关节置换中的计划/预期股骨组件屈曲或伸展，膝关节置换中的计划/预期胫骨斜度，或者髋关节置换术中的计划/预期腿长的计划/预期的股骨颈切除等的反映。
二维或三维显示器还可以包括多个切割平面，比如，在髋关节置换手术中的两个或更多个股骨颈切割，如可以用于涉及前路手术并且使用像双切割的“餐巾环(napkinring)”穿过股骨颈的髋关节置换手术。在该示例中，三维切割平面可以包括在其下指向表面处的远端切割平面和在其上表面处的近端切割平面。这些“餐巾环”下部，远端面向和上部近端面部切口可以是平行的或不平行的，比如，为了更容易拔出股骨头。使用OHMD 显示器在二维或三维中可视化的任何切割平面可以是平行的或非平行的，使用立体或非立体显示器。
如果外科医生选择改变或调整任何一件虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或虚拟手术计划中所用预定组织改变或变化中的一个或多个，比如，使用由 OHMD显示器显示的虚拟接口，比如，手指通过虚拟地切换虚拟切割平面或任何其他接口(包括，手指命令或语音命令)来移动和/或旋转虚拟切割平面的滑块或手指卷标，虚拟数据的虚拟图像可以相应地移动，并且可以在外科医生的显示器中相应地更新光学头戴式显示器中显示的虚拟数据。虚拟数据的虚拟图像的位置和/或方向的变化也可以在其他光学头戴式显示器中看到，比如，由第二外科医生，住院医师，擦洗护士或PA佩戴的光学头戴式显示器，并且虚拟数据的投影也可以在第二，第三或任何其他光学头戴式显示器装置中相应地更新，比如，在手术期间由第二外科医生，住院医师，擦洗护士或PA使用的光学头戴式显示器装置。可选择，改变或调整一个或多个虚拟数据的虚拟接口或任何其他接口仅可用于外科医生的光学头戴式显示器装置，即主要光学头戴式显示器装置，而其他光学头戴式显示器装置可作为伺服装置操作，仅随后显示主要光学头戴式显示器装置。以这种方式，可以避免潜在的术中误差，比如，非外科医生修改虚拟数据或虚拟手术计划的各方面。可选择，主要作用可以传递给其他设备，在该情况下，外科医生的光学头戴式显示器装置可以作为伺服装置操作。当虚拟手术计划和/或患者虚拟数据需要复杂的变化时，这可能是有益的，这可能需要单独的人来实施这样的变化，同时，外科医生也在管理现场患者的实际操作。
在本发明的一些实施方案中，外科医生的光学头戴式显示器装置可以使用集成到光学头戴式显示器中或附接到光学头戴式显示器的一个或多个图像和/或视频捕获系统来捕获患者实时数据。然后，捕获的患者实时数据可以以电子，数字形式作为实时流传输到从属光学头戴式显示器装置，可选择与患者虚拟数据一起，比如，迭加到患者虚拟数据上或与患者虚拟数据共同显示。或者，该示例中的伺服装置可以是非可见虚拟现实(VR)系统，比如，Google Daydream系统或Zeiss VR One系统以及本领域中已知的其他系统。
由光学头戴式显示器显示的任何预期切割平面，可选地包括或说明锯片厚度，以反映在锯切期间的骨损情况。用于钻头或针或其他手术器械的任何预期路径可包括或说明手术器械的厚度，以反映在外科手术步骤期间的骨损情况。另外，由于手术器械的运动而损失的骨，比如，不在手术步骤的主要方向上的运动，比如，锯片颤动或锯振动或略微偏心的钻头或钻头振动，可包括在虚拟手术计划中，比如，通过估计锯片颤振或锯齿振动以及已知的锯片厚度，可考虑将其纳入虚拟切除计划中和一个或多个二维或三维切割平面的在光学头戴式显示器中的最终显示。
本领域技术人员可以易于意识到，如果外科手术涉及多个骨移除步骤，比如，部分或全膝关节置换的股骨前处理，其可包括两个，三个或更多个骨切割，可以在一个，两个，三个或更多骨移除步骤中考虑锯片厚度，或移除器械以及相关器械后其他骨的尺寸，或装置移动或振动引起的骨损失。
当光学头戴式显示器用于显示设备，植入体，植入体组件，手术器械和/或手术工具的估计/投射的非可视化部分时，装置，植入体，植入体组件，手术器械和/或手术工具的非可视化部分的显示，还可以考虑可能已经或将要由装置，植入体，植入体组件，手术器械和/或手术工具引起的任何骨损失。通过考虑装置，植入体，植入体组件，手术器械和/ 或手术工具引起的骨损失，虚拟手术计划和光学头戴式显示器显示的包括后续手术步骤的手术步骤会更准确。
虚拟手术计划可用于限定手术工具，手术器械，试验植入体组件，试验植入体，植入体组件，植入体，装置的预定起始点。起点可以是，比如，患者皮肤的入口。如果使用术前成像(比如，超声，计算机断层扫描和/或核磁共振)来拟制手术计划，则可以将皮肤定位在图像数据中，并且可以在通常靠近预期手术部位的区域处定义起点。起始点也可以定义在选定的软组织深度，比如，深入软组织(比如，皮下组织或肌肉或其他组织或器官组织)5，8或10厘米。起点可以定义在器官的表面，比如，肝脏或脾脏或肾脏或膀胱或脑。起点可以定义在解剖标志或与器官的解剖标志相关处，比如，肝脏边缘，肝门，下腔静脉进入肝脏的入口，门静脉进入肝脏的入口，肾脏的上极或下极，肾门。起点可以定义在骨表面或骨性解剖标志
一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或在一个或多个虚拟手术计划中所用的预定组织改变或变化中的一个或多个可以使用本领域已知的各种技术，在一个或多个OHMD显示器中突出显示，包括但不限于：
-彩色显示
-灰度显示
-阴影显示
-图案化显示，比如，正方形，线条，条形
-线条显示，比如，实心，点画，点缀
-箭头显示
-靶样显示
-间歇显示，比如，眨眼
-隐现显示
-放大显示
-缩小显示
比如，一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个可以由光学头戴式显示器显示，可以选择多种颜色。
比如，一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个可以使用箭兴显示来突出显示。箭头可以对准一个或多个手术工具，手术器械，植入体组件，植入体或装置的方向。箭头也可以不与一个或多个手术工具，手术器械，植入体组件，植入体或装置的方向对准。箭头可以与一个或多个手术工具，手术器械，植入体组件，植入体或装置的方向正交。箭头可以对准一个或多个手术工具，手术器械，植入体组件，植入体或装置。箭头不能与一个或多个手术工具，手术器械，植入体组件，植入体或装置正交。
一个或多个箭头可以直接指向一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个可以使用箭头显示来突出显示。可选择放大或缩小一个或多个箭头。可选择，间歇地显示一个或多个箭头，比如，眨眼。一个或多个箭头可选地出现或消失。比如，当物理手术工具，手术器械，植入体组件，植入体或装置到达预定终点时，一个或多个箭头可以消失。
一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个可以使用靶样显示器来突出显示。可以使用多个靶样显示器。
比如，靶样显示器可以定位在起始点，一个或多个中间点，终点，起始位置，一个或多个中间位置，结束位置，预期路径，预定平面，预定切割上方平面，物理手术工具的预定轴，手术器械，试验植入体，植入体组件，植入体或装置。通过目标以正交方式定向并穿过一个或多个目标的中心的线或轴可选地对准物理外科手术工具，手术器械，试验植入体，植入体组件，植入体或装置，和/或预定组织改变/变更中的一个或多个的预定路径，预定平面，预定切割平面或预定轴对准。
间歇性显示器(intermittent display)，比如，眨眼或频闪显示器(blinking orflashing display)，可用于显示一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/ 或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个。比如，间歇性显示器可突出显示手术工具，手术器械，试验植入体，植入体组件，植入体或装置中的一个或多个是否对准一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个。比如，间歇性显示器可突出显示手术工具，手术器械，试验植入体，植入体组件，植入体或装置中的一个或多个是否对准一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个。
间歇显示可以选择性地改变颜色或具有不同的间歇性配色方案。例如，当物理手术工具，手术器械，试验植入体，植入体组件，植入体和/或装置中的一个或多个与以下的一个或多个对准时，频闪红色变成单色而不是间歇性绿色：一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个。
比如，间歇性显示器可突出显示手术工具，手术器械，试验植入体，植入体组件，植入体或装置中的一个或多个是否对准一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个可以从纯色变为，例如绿色或蓝色，频闪红色。可以选择不同的颜色用于中间与最终的末端位置，例如，蓝色表示中间，绿色表示最终/结束。
隐现显示器可用于显示一个或多个预定起始点，预定起始位置，预定起始起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或预定组织变化或改变中的一个或多个，和/或一个或多个虚拟手术工具的预定位置和/或方向，包括在光学头戴式显示器内的虚拟手术导板，或切割块，虚拟试验植入体，虚拟植入体组件，植入体或设备的虚拟手术器械的非可视化部分。比如，隐现显示器可突出显示手术工具，手术器械，试验植入体，植入体组件，植入体或装置中的一个或多个是否对准一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或虚拟手术工具，包括导板或切割块，虚拟试验植入，虚拟植入体组件，植入体或设备的虚拟手术器械的预定位置和/或方向。当物理手术工具，手术器械，试验植入体，植入体组件，植入体和/或装置未对准，例如，手术计划或预定起始点，预定起始位置，预定起始方向或对准，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或虚拟手术工具，包括导板或切割块，虚拟试验植入，虚拟植入体组件，植入体或设备的虚拟手术器械的预定位置和/或方向时，在该示例中，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定的外形或轮廓或横截面或表面特征或形状或投影，预定的深度标记或深度计，预定的角度或方向或旋转标记，预定轴(比如，旋转轴，弯曲轴，延伸轴)，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分，和/或预定组织改变或变化中的一个或多个，和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术工具，手术器械，试验植入体，植入体组件，植入体和/或装置的虚拟手术器械，可出现在OHMD显示器中。当再次进行对准时，一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或一个或多个虚拟手术工具的预定位置和/或方向，包括在光学头戴式显示器内的虚拟手术导板，或切割块，虚拟试验植入体，虚拟植入体组件，植入体或设备的虚拟手术器械，可以在光学头戴式显示器显示屏中消失。反过来也有可能发生，一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或一个或多个虚拟手术工具的预定位置和/或方向，包括在光学头戴式显示器内的虚拟手术导板，或切割块，虚拟试验植入体，虚拟植入体组件，植入体或设备的虚拟手术器械，在未实现对准时消失，并在实现对准时出现。
放大或缩小的显示器可用于显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或一个或多个虚拟手术工具的预定位置和/或方向，包括的虚拟手术导板或切割块，虚拟试验植入体，虚拟植入体组件，植入体或设备的虚拟手术器械。光学头戴式显示器还可以选择性提供或迭加患者的虚拟解剖结构或虚拟数据的放大或缩小显示屏，比如，在配准患者的实时解剖结构/实时数据之后。光学头戴式显示器可以同时显示患者的未放大，放大或缩小的虚拟解剖结构或虚拟数据，例如，使用不同颜色，灰度或图案，或与光学头戴式显示器交替显示一个或多个预定起点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或一个或多个虚拟手术工具的预定位置和/或方向，包括在光学头戴式显示器内的虚拟手术导板，或切割块，虚拟试验植入体，虚拟植入体组件，植入体或设备的虚拟手术器械。在本发明的一些实施例中，患者的虚拟解剖结构或虚拟数据的显示的放大(包括无放大)或缩小可以与以下的一个或多个的放大(包括无放大)或缩小相同：预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或一个或多个虚拟手术工具的预定位置和/或方向，包括在光学头戴式显示器内的虚拟手术导板，或切割块，虚拟试验植入体，虚拟植入体组件，植入体或设备的虚拟手术器械。如上所述，患者的虚拟解剖结构或虚拟数据，包括患者的所有虚拟数据，包括来自血管流动研究，代谢成像，运动学数据等的数据。
例如，光学头戴式显示器放大或缩小的显示器可突出显示手术工具，手术器械，试验植入体，植入体组件，植入体或装置中的一个或多个是否对准一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或虚拟手术工具，包括导板或切割块，虚拟试验植入，虚拟植入体组件，植入体或设备的虚拟手术器械的预定位置和/或方向。当物理手术工具，手术器械，试验植入体，植入体组件，植入体和/或装置未对准，例如，手术计划或预定起始点，预定起始位置，预定起始方向或对准，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或虚拟手术工具，包括导板或切割块，虚拟试验植入，虚拟植入体组件，植入体或设备的虚拟手术器械的预定位置和/或方向时，在该示例中，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定的外形或轮廓或横截面或表面特征或形状或投影，预定的深度标记或深度计，预定的角度或方向或旋转标记，预定轴(比如，旋转轴，弯曲轴，延伸轴)，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分，和/或预定组织改变或变化中的一个或多个，和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术工具，手术器械，试验植入体，植入体组件，植入体和/或装置的虚拟手术器械时，可以在OHMD显示器中放大或缩小。当再次进行对准时，一个或多个虚拟手术工具，包括虚拟手术导板或虚拟切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，虚拟植入体或虚拟设备，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或一个或多个虚拟手术工具的预定位置和/或方向，包括在光学头戴式显示器内的虚拟手术导板，或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置设置为零放大或缩小，或者可以在光学头戴式显示器显示中从放大缩小到缩小或从缩小到放大。
如果多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或一个或多个虚拟手术工具的预定位置和/或方向，包括在虚拟手术导板或切割块，虚拟试验植入体，虚拟植入体组件，植入体或设备被光学头戴式显示器显示，则显示样式或技术的任何组合，例如多色，灰度，阴影，图案，线，箭头，目标，间歇，出现，消失，放大，缩小是可能的。在一些实施例中，可以针对不同的预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，一个或多个更多装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或一个或多个虚拟手术工具的预定位置和/或方向，包括在光学头戴式显示器内的虚拟手术导板，或切割块，虚拟试验植入体，虚拟植入体组件，植入体或设备，选择不同的显示样式或技术。
二维和三维显示
光学头戴式显示器可以二维显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中的一个或多个或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术导板或切块的虚拟手术器械，虚拟试验植入，虚拟植入体组件，植入体或设备。
光学头戴式显示器可以三维显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中的一个或多个或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术的虚拟手术器械导板或切块，虚拟试验植入，虚拟植入体组件，植入体或设备。
光学头戴式显示器可以(例如，交替地或由语音命令或其他命令触发式地)按照二维和/或三维显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中的一个或多个或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术导板或切块的虚拟手术器械，虚拟试验植入，虚拟植入体组件，植入体或设备。可以同时显示预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中的一个或多个或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术的虚拟手术器械导板或切块，虚拟试验植入，虚拟植入体组件，植入体或设备。
立体和非立体显示器
光学头戴式显示器可以以外科医生的眼睛通过其观察患者虚拟数据，和外科医生的眼睛通过光学头戴式显示器装置看到的患者实时数据的相似视角，三维非立体方式显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术的虚拟手术器械导板或切块，虚拟试验植入，虚拟植入体组件，植入体或设备。
光学头戴式显示器可以三维立体图像显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术的虚拟手术器械导板或切块，虚拟试验植入，虚拟植入体组件，植入体或设备。
光学头戴式显示器可以在立体和/或非立体显示器中显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术导板或切块的虚拟手术器械，虚拟试验植入，虚拟植入体组件，植入体或设备，例如，交替地或由语音命令或其他命令触发。可同时以立体方式显示预定起始点，预定起始位置，预定起始方向或对准，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或装置，一个或多个装置或植入体或植入体组件或手术器械或手术工具，和/或一种或多种预定组织变化或改变的非可视化部分，和/或预定组织变化或改变中的一个或多个，和/或包括虚拟手术导板或切割块的虚拟手术器械，虚拟试验植入，虚拟植入体组件，植入体或设备(以非立体方式方式显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方向或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定的外形或轮廓或横截面或表面特征或形状或投影，预定的深度标记或深度计，预定的角度或方向或旋转标记，预定轴(比如，旋转轴，弯曲轴，延伸轴)，虚拟手术工具的预定轴，虚拟手术器械(包括虚拟手术导板或切割块)，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分，和/或预定组织改变或变化中的一个或多个，和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术工具，手术器械，试验植入体，植入体组件，植入体和/或装置的虚拟手术器械)。
在本发明的一些实施方案中，光学头戴式显示器可以三维显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术的虚拟手术器械导板或切块，虚拟试验植入，虚拟植入体组件，依据虚拟手术计划以及患者的解剖和临床状况，植入体或设备可以位于脊柱中，具体包括椎体，椎弓根，椎骨骨折，后部结构，小关节。光学头戴式显示器可以三维显示预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中的一个或多个或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术的虚拟手术器械导板或切块，虚拟试验植入，虚拟植入体组件，如果考虑脊柱与椎弓根螺钉的融合或椎体后凸成形术的椎体成形术，则植入体或装置可以位于脊柱，椎弓根和椎体的后部结构中。
如果计划脊柱融合椎弓根螺钉，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中的一个或多个或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术的虚拟手术器械导板或切块，虚拟试验植入，虚拟植入体组件，植入体或装置可以与椎弓根螺钉的长轴在虚拟手术计划的预期虚拟放置位置重合，平行或对准和/或迭加，或任选使用放置标准，例如，在虚拟外科手术计划中使用的皮质距离。
如果计划椎体成形术或椎体后凸成形术或脊柱活检，预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个的非可视化部分，包括虚拟手术的虚拟手术器械导板或切块，虚拟试验植入，虚拟植入体组件，植入体或装置可与椎体成形术，椎体后凸成形术，活检针或针设置的长轴在虚拟手术计划的预期虚拟放置位置重合，平行，或对准和/或迭加或者，可选地使用放置标准，比如，在虚拟手术计划中所用的皮质距离。
当光学头戴式显示器使用立体投影时，可以针对外科医生或手术者的眼间距离(包括比如，瞳距)调整左眼和右眼的显示。比如，可以在操作光学头戴式显示器之前测量左瞳孔和右瞳孔之间的距离。可以使用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来执行这样的测量。这种测量也可以使用本领域已知的任何其他技术进行，包括比如，机械标尺，光学测量工具和验光师所用标准工具。
调整包含显示器的光学头戴式显示器装置
在一些实施方案中，一旦已知外科医生或手术者的瞳距，比如，瞳孔间的，就可以将其输入到显示系统接口和/或软件中，并且可以为用户调整左右眼的三维投影。比如，眼间或瞳距缩小，左右眼的投影可以移动得更靠近鼻子，使得对准左右眼的投影的中心和左眼/瞳孔和右眼/瞳孔的中心。当眼间或瞳距增大，左右眼的投影远离鼻子移动，使得对准左右眼的投影的中心和左眼/瞳孔和右眼/瞳孔的中心。不同的用户设置可以存储在系统中，比如，按用户名。以这种方式，当不同的用户将光学头戴式显示器放置在其头上时，用户或系统可以调出优选使用者设置，包括各自的眼间距或瞳距。可以调用用户设置，比如，使用由光学头戴式显示器投影的可视或光学键盘接口，手术者可以在其中选择虚拟按钮。还可以使用语音命令，键盘和用于执行用户命令的任何其他已知技术或技术来调用用户设置。
刷新率，解决图像眨眼
在本发明的许多实施方案中，可能需要快速刷新率，比如，15Hz，20Hz，25Hz或30Hz，50Hz，70Hz，80Hz，1OOHz，120Hz，150Hz，175Hz，200Hz或更高。当使用更高的刷新率时，如果带宽和传输速度和/或显示速度达到其极限，则可选地降低虚拟数据的显示的空间分辨率。代之以交替式高分辨率显示器，比如，1920×1080像素分辨率，以及较低分辨率，比如，1024×768像素分辨率。高分辨率图像与低分辨率图像的比率可以是 1∶1,2∶1,3∶1，1∶2,1∶3，可以是任何其他组合。
一些用户在刷新率为30Hz(有时刷新率更低)下没有眨眼。其他用户可以感受到或体验到眨眼，刷新率为70Hz或更快。如果用户对虚拟数据的显示出现闪变效应或眨眼感，则用户可以选择增加刷新率，并且如果需要，出于带宽或传输速度的原因，可选择降低显示分辨率。用户还可以选择交替分辨率，比如，1920×1080像素分辨率，混合1024 ×768像素分辨率；任何其他像素分辨率和像素分辨率的组合都是可以的。以这种方式，使用者可以选择产生令人愉快的，基本上无眨眼的显示设置，同时保持足够的空间和/或时间分辨率以实现精确的物理/虚拟工作环境。
在本发明的一些实施方案中，显示器将根据使用者和/或手术者和/或外科医生指示视图的位置自动转动并且可选地打开。
自动关闭和/或开启
在选择的情况下，使用者和/或手术者和/或外科医生可以选择关闭OHMD显示器或将其重新打开。关闭和/或开启可以通过语音命令执行。它还可以通过手势命令，眼睛命令，物理或虚拟键盘或键盘上的数字/手指命令来执行，比如，由光学头戴式显示器投射。
在一些实施方案中，OHMD显示器可以自动关闭和/或打开。关闭和/或开启可以由任意数量的发起事件或移动触发，其可由用户随意定义。触发自动关闭和/或开启的事件或移动在不同用户之间可以是不同的，并且可以存储为使用者偏好。
比如，自动关闭和/或开启还可帮助减少OHMD显示器的开启时间或活动时间，这在用户体验眨眼感觉或遇到OHMD显示器的眨眼体验或其他不舒服的感觉时是可取的。以这种方式，当用户需要光学头戴式显示器执行活动时，可以将潜在眨眼暴露的时段或其他不适感可以减少到关键部分或部分，比如，可选择在虚拟外科手术计划中定义的物理外科手术步骤显示一个或多个预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中的一个或多个或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术的虚拟手术器械导板或切块，虚拟试验植入，虚拟植入体组件，植入体或设备。
在本发明的一些实施方案中，OHMD显示器可选地在用户观察目标活动区域时自动打开，比如，手术野或位于现场外科手术野或区域的坐标内的器官或组织和/或虚拟手术野或区域。在本发明的一些实施方案中，OHMD显示器可选地在用户远离目标活动区域时自动关闭，比如，手术野内或活动和/或虚拟坐标内的手术野或区域或器官或组织。
在一些实施方案中，OHMD显示器可选地在用户观察活动的目标区域时自动打开，比如，位于手术野或现场手术野或区域的坐标内的器官或组织和/或虚拟手术场或区域，并且通过照摄像头，集成到光学头戴式显示器，连接到光学头戴式显示器或与光学头戴式显示器分离的图像或视频捕获系统，在现场手术野或区域和/或虚拟手术野或区域的坐标内的器官或组织中，检测一个或多个光学标记系统。在本发明的一些实施方案中，OHMD 显示器可选择在用户远离目标活动区域时自动关闭，比如，手术野或区域或位于活动和/ 或虚拟手术野坐标内的器官或组织，并且外科医生的视野和/或摄像头，图像或视频捕获系统的视野中不存在一个或多个光学标记，所述图像或视频捕获系统集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离。
可以使用不同的手段来定义和/或识别活动的目标区域(比如，手术野和/或目标组织)，比如，图像捕获，光学标记，导航标记，包括红外标记，逆向反射标记，射频标记，手术导航，发光二极管，参考体模，校准体模，在目标区域上绘制的标记，比如，在皮肤或手术单上。如果考虑手术，任何前述的有源和/或无源标记可以放置在患者身上，比如，在手术单下面，或者在将要进行手术的患者的可见无菌暴露区域内。或者，任何有源或无源标记物也可以置于无菌盖布的顶部或患者的皮肤上，比如，围绕手术区域或手术野。目标区域也可以通过使用一个或多个解剖学标志来识别，比如，大转子和股骨颈之间的臀部最低点(比如，龈点)，大转子上最高点，小转子最高点，髋臼缘，髋臼中心或膝盖内侧髁上最内侧点，外侧髁上最外侧点，滑车凹陷中心，胫骨脊柱，胫骨最前点，髌骨的中心点。已经/正被用于配准虚拟数据和患者实时数据的一个或多个相同解剖标志可用于定义或识别目标活动区域。可以使用比如，集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来识别解剖标志。可以通过选择性附接一个或多个光学标记，导航标记(包括红外标记，逆向反射标记，射频标记，手术导航，发光二极管，参考体模，校准体模或标记)来识别标记。目标区域可以由解剖标志包围，比如，由三个或更多个解剖标志包围。目标区域可以延伸超过一个或多个解剖标志，比如，通过2，4，5，6，8，10厘米或更长或任何其他距离或半径，比如，由外科医生或手术者选择。
如果使用图像捕获来定义预期活动的区域，比如，手术野，则用户和/或外科医生可选地查看预期活动的区域，比如，预期区域。可选择，识别活动区域的中心区域和/或手术野可以由用户定义，比如，通过用手指或指示设备或射频标记，光学标记，导航标记包括红外标记，逆向反射标记，射频标记，发光二极管和/或校准体模或参考体模指向它。一旦用户和/或外科医生的视图聚焦于预期的活动区域和/或预期的手术野，用户和/或外科医生就可以执行命令，比如，语音命令或手指命令，以识别预期的活动区域和/或外科手术领域，并将其存储在图像和/或视频捕获系统中。所识别的预期活动区域和/或手术野以这种方式存储在图像和/或视频捕获系统中。使用标准图像处理技术，图像和/或视频捕获系统随后可以识别预期活动区域的20％，30％，40％，50％，60％，70％，80％， 90％或100％，和/或手术野包括在用户和/或手术者和/或外科医生的视野中。一旦外科医生的视野中包含一定百分比，比如，50％或60％或70％或80％或90％的预期活动和/或手术野，光学头戴式显示器可自动打开光学头戴式显示器显示。可选地，当用户，手术者和/或外科医生转动其视线时，OHMD显示器可以自动关闭，比如，当低于预期活动区域的90％，80％，70％，60％或50％和/或手术野包括在视野中。
用于打开光学头戴式显示器和关闭光学头戴式显示器的面积或百分比可以不同。可以选择百分比，并且，可选地，存储为使用者偏好。
可以以各种不同方式定义视野，可选地，作为用户偏好。比如，当用户查看光学头戴式显示器时，视野可以是OHMD显示器覆盖的区域。视野可以是用户和/或手术者和/ 或外科医生可用的整个视野。视野可以是用户，手术者和/或外科医生的部分视野。
可以使用其他触发器，比如，解剖标志，图像捕获或光学标记，包括红外标记的导航标记，逆向反射，标记，射频标记，发光二极管和/或校准体模或参考体模，而非使用预期活动区域和/或手术野的百分比。比如，当解剖标志，光学标记，包括红外线的导航标记，逆向反射标记，射频标记，发光二极管或校准体模或参考体模(比如，通过集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统看到)位于外部标记中第三，中央三分之一或内三分之一或内半部或其他解剖标志或分界/ 分离的视野，用户，手术者和/或外科医生开始观察预期的活动区域和/或手术野时， OHMD显示器可以自动打开。
或者，当视野达到一个或多个解剖标志，光学标记，包括红外标记，逆向反射标记，射频标记的导航标记物，发光二极管或校准体模或参考体模或惯性测量单元的特定厘米范围内时，OHMD显示器也可自动打开，比如，15厘米，10厘米，5厘米等。当视野达到预期活动区域和/或手术野的一个或多个标记(比如，针或螺钉，比如，15厘米， 10厘米，5厘米内)的某些厘米范围内时，OHMD显示器也可自动打开。
当预期的活动区域或手术野或区域降低到视野的某个阈值百分比(可选地由用户设定)，比如，90％，80％，70％，60％，50％，40％，30％，20％，10％等时，OHMD 显示器也可选地自动关闭。在一些实施方案中，当解剖标志，光学标记，导航标记(包括红外标记，逆向反射标记，射频标记)，发光二极管或校准体模或参考体模(比如，通过集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统看到)位于外三分之一，中央三分之一或内三分之一或内半部或其他标志或分界/分离的视野，用户，手术者和/或外科医生开始远离预期的活动区域和/或手术野时，OHMD 显示器可以自动关闭。
或者，当视野超出一个或多个解剖标志，光学标记物，包括红外标记物，逆向反射标记物，射频标记物的导航标记物，发光二极管或校准体模或参考体模或惯性测量单元的特定厘米范围内时，OHMD显示器也可自动关闭，比如，5厘米，10厘米，15厘米或更长之外。当视野到达预定活动区域和/或手术野的一个或多个标记(比如，针或螺钉)的特定厘米范围之外时，OHMD显示器也可自动关闭，比如，5厘米，10厘米，15厘米内或更长。
在本发明的一些实施方案中，在选择的手术器械(比如，锥子或针式驱动器或铰刀或锯子，或选定的医疗设备组件，或其多个(同时或顺序地))出现在视野中时，OHMD 显示器可以自动打开。可选地，当选择的外科手术器械(比如，锥子或针式驱动器或铰刀或锯子，或选定的医疗设备组件，或其多个(同时或顺序地)从视野消失时，OHMD显示器可自动关闭。一个或多个手术器械或医疗装置组件的出现或消失可以由使用者/外科医生将头部移动远离预期的活动区域和/或手术野引起；还可以由用户/外科医生将手术器械和/或医疗装置组件移动到视野外或远离预期活动和/或手术野，同时继续观察预期活动的区域和/或外科领域。
在本发明的一些实施方案中，当用户/手术者/外科医生注视除光学头戴式显示器之外的显示监视器时，OHMD显示器可以自动关闭。这种显示监视器可以是视频屏幕或电视屏幕或计算机监视器，或PACS监视器或其他显示监视器，比如，位于手术室或工厂中。在本发明的一些实施方案中，可以使用比如，结合标准图像处理技术的图像捕获，比如，基于其方形或矩形轮廓/形状来识别监视器。在本发明的一些实施方案中，视频屏幕或电视屏幕或计算机监视器，或PACS监视器或其他显示监视器可以用置于显示器，周围或附近的光学标记，导航标记包括红外标记，逆向反射标记，射频标记，发光二极管和其他标记来识别。
可选地，当用户/手术者/外科医生远离监视器时，光学头戴式显示器可以自动重新打开。比如，当监视器占据视野的25％，50％或75％或更多时，可以触发OHMD显示器的开启和关闭。可以触发OHMD显示器的开启和关闭，比如，当视野(比如，通过 OHMD显示器)到达监视器的中心区域时，或者显示器中心区域或点内的5厘米，10厘米，15厘米或更大的范围，或距光学标记，包括红外标记，逆向反射标记，射频标记的导航标记，发光二极管和/或置于，环绕或靠近显示器的其他标记一定距离或区域内时。
在选择的实施方案中，优选的是，当用户注视监视器时OHMD显示器开启，而当用户远离监视器时OHMD显示器关闭。然后，当用户注视预期的活动区域(比如，手术野或区域)时，它可以选择性地重新打开。
在本发明的一些实施方案中，当OHMD显示器的眨眼或眨眼感觉是用户关心的问题时，光学头戴式显示器可以间歇地打开和关闭，比如，它可以显示虚拟数据1，2，3，4或更多秒，然后关闭休息，比如，1，2，3，4或更多秒。可以由用户基于用户偏好来定义显示和显示的时段。显示开启和关闭的时段可以与OHMD显示器的自动开启和关闭的各种触发器组合，如前所述。
描述用于开启OHMD显示器和关闭OHMD显示器的非自动和自动或自动技术的前述实施方案和示例本质上仅是示例性的，决不意味着限制本发明。本领域技术人员可以识别用于自动打开和关闭OHMD显示器的许多不同触发器。OHMD显示器的自动开启和关闭也可以是用于保持电池寿命的有用功能，比如，一次性或可充电式。
管理显示器，硬件，软件或带宽限制
在本发明的一些实施方案中，光学头戴式显示器单元的显示器可以显示部分数据和/ 或图像，其使用，比如，只有部分可用的显示屏，来表示通过光学头戴式显示器可见的或可由光学头戴式显示器单元的显示器显示的较小视野。如果显示来自术前或术中影像学检查的数据，比如，X射线，计算机断层扫描扫描，核磁共振扫描，则光学头戴式显示器显示的数据或图像的扫描体积也可以定为小于影像学检查所涵盖的原始扫描体积或面积，以减少显示的数据量。另外，由光学头戴式显示器显示的数据或图像的体积或面积还可以定为小于要操作的体积或面积或小于手术部位的体积或面积。比如，当软件环境限制所显示的表面点或节点的数量或限制由光学头戴式显示器显示数据的大小或数量时，该实施方案可以是有用的。当WiFi或蓝牙或其他无线连接与光学头戴式显示器一起使用时，该实施方案在带宽和/或数据传输方面的限制也是有用的，从而限制了传输到光学头戴式显示器并最终显示的数据量，特别是当该限制意味着光学头戴式显示器可用于显示数据和/或图像的数据量的限制。
针对部分手术部位或解剖学标志的手术部位的体积或面积，通过光学头戴式显示器可以看到或通过光学头戴式显示器单元的显示器显示的视野较小，来自影像学检查的目标体积较小，或者体积或面积较小。例如，在膝盖置换中，当外科医生考虑在股骨上进行外科手术时，视野的较小部分可以靶向远端股骨或远端股骨的部分，例如，远端股骨切割或前切割或后切割或倒角切割；当外科医生考虑在胫骨上进行外科手术时，可以靶向近端胫骨或其部分，例如，近端胫骨切割或胫骨龙骨准备和打孔；当外科医生考虑在髌骨上进行外科手术时，可以靶向髌骨，例如，铣削或切割髌骨。在髋关节置换术中，视野的较小部分可以靶向近端股骨或其部分，而外科医生正在考虑在近端股骨上的台阶，例如，在近端股骨。股骨颈切割；它可以针对髋臼，而外科医生正在考虑对髋臼进行外科手术，例如髋臼。髋臼扩孔或髋臼杯嵌入；当外科医生考虑股骨拉削或扩孔时，可以将其重新聚焦或重新定位在近端股骨，选择性随后进行股骨组件撞击。在椎弓根螺钉放置或椎体成形术或椎体后凸成形术中，视野的较小部分可以靶向外科医生考虑下一外科手术步骤的水平和/或侧面，例如，插入锥子，椎弓根螺钉，针，椎骨或椎体后凸成形术针。
通过光学头戴式显示器可见的或光学头戴式显示器的显示可显示的目标区域或较小部分视野，来自影像学检查的较小的目标体积，或小于该体积或面积的手术部位的体积或面积，也可以使用一个或多个解剖标志来限定，例如在臀部是最不利的一点，例如在大转子和股骨颈之间的龈沟点，是大转子上最优越的点，小转子，髋臼缘或其部分，髋臼中心或膝盖，最中间点的最优点在内侧髁上，外侧髁上的最外侧点，滑车凹口的中心，胫骨脊，胫骨的最前点，髌骨的中心点。已经/正被用于配准虚拟数据和患者实时数据的一个或多个相同的解剖标志可以通过光学头戴式显示器而可视化或可通过OHMD显示器显示，来定义或识别目标区域或通过该视野可见的视野的较小部分。。可以使用比如，集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/ 或视频捕获系统来识别解剖标志。可以通过选择性附接一个或多个光学标记，导航标记 (包括红外标记，逆向反射标记，射频标记，手术导航，发光二极管，参考体模，校准体模或标记)来识别标记。目标区域可以由解剖标志包围，比如，由三个或更多个解剖标志包围。目标区域可以延伸超过一个或多个解剖标志，比如，通过2，4，5，6，8，10厘米或更长或任何其他距离或半径，比如，由外科医生或手术者选择。
通过将显示限制为通过光学头戴式显示器可见的较小视野，或通过将显示限制为通过OHMD显示器或目标区域可显示的较小视野，影像学检查的较小目标体积，或体积或面积小于手术部位的体积或面积，可以以减少显示的数据量。另外，也可以减少传输的数据量，例如，使用Wifi，蓝牙或LIF网络。
通过光学头戴式显示器装置查看二维计算机监视器
在本发明的一些实施方案中，如果外科医生或操作者正在查看与光学头戴式显示器分开的计算机或显示器，光学头戴式显示器系统可以自动检测，例如，使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统。独立或单独的计算机或显示监视器可用于显示图像数据，例如，患者，或同时显示光学头戴式显示器显示的虚拟数据。图像和/或视频捕获系统可以捕获计算机或显示监视器的轮廓，例如，圆形，方形或矩形，软件可以选择性地自动匹配，迭加或对准光学头戴式显示器显示的项目或结构和独立或单独的计算机或显示监视器显示的项目或结构。或者，使用者，操作员和/或外科医生可以执行命令，例如，语音命令或使用虚拟手指/键盘接口的命令，指示他或她正在查看独立或单独的计算机或显示器，然后软件可以匹配，迭加或对准光学头戴式显示器显示的项目或结构和独立或单独的计算机或显示器显示的项目或结构。光学头戴式显示器系统可以匹配，迭加或对准独立或单独的计算机监视器显示的所有结构。光学头戴式显示器系统可以匹配，迭加或对准由独立或单独的计算机监视器显示的部分结构。
光学头戴式显示器可以使用相同的颜色显示独立或单独的计算机显示器显示的结构。光学头戴式显示器可以使用不同的颜色显示独立或单独的计算机显示器显示的结构。光学头戴式显示器可以使用与独立或单独的计算机显示器所用颜色或灰度或对比度不同的独立或单独的计算机显示器来显示未显示的结构。
光学头戴式显示器可以使用独立或单独的计算机监视器所用相同灰度和/或对比度来显示独立或单独的计算机监视器显示的结构。光学头戴式显示器可以使用独立或单独的计算机监视器所用不同灰度和/或对比度来显示独立或单独的计算机监视器显示的结构。
光学头戴式显示器可以使用独立或单独的计算机监视器所用相同图像强度来显示独立或单独的计算机监视器显示的结构。光学头戴式显示器可以使用独立或单独的计算机监视器所用不同图像强度来显示由独立或单独的计算机监视器显示的结构，例如，更亮或更不明亮。
在本发明的一些实施例中，位于用户区域中的独立或单独的计算机或显示监视器，例如，手术室或手术间，可用作光学头戴式显示器装置的校准或参考或配准体模，包括支架和显示器的位置，方向和/或对准和/或移动方向。监视器可以具有已知尺寸的圆形，矩形或方形。集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于捕获监视器的一个或多个图像。由于监视器的尺寸是已知的，例如沿其边缘的尺寸，形状或尺寸，或捕获图像上的监视器区域可用于确定光学头戴式显示器与监视器的距离；圆形，椭圆形，矩形或正方形的形状可用于确定光学头戴式显示器相对于监视器的角度。如果集成到光学头戴式显示器或连接到光学头戴式显示器的图像和/或视频捕获系统使用两个或更多个摄像机，则可以使用在第一个，第二个和任何其他摄像机之间检测到的圆形，椭圆形，矩形或方形的形状差异来增加光学头戴式显示器对显示监视器的角度方向的估计的准确性，例如，通过针对第三相机校准第一相机相对于第二相机的测量等。如果使用两个或更多个摄像机集成或连接到光学头戴式显示器支架的不同部分，例如，支架的左侧和支架的右侧，两个摄像机之间的监视器圆形，椭圆形，矩形或正方形的投影差异也可用于估计用户的头部位置和/或方向和/或对准，和/或光学头戴式显示器框架相对于使用者的头部和/或面部的位置和/或取向和/或对准。
在本发明的一些实施例中，使用者和/或外科医生可选通过光学头戴式显示器观察显示监视器，同时将其头部保持在正中位置，例如，没有颈部外展，内收，屈曲，伸展或旋转。该头部位置可用于校准OHMD显示器相对于目标区域和/或患者和/或手术部位的位置，例如，在初次配准或随后的配准期间。该头部位置还可用于校准光学头戴式显示器装置/框架相对于使用者和/或外科医生头部和面部的位置。可选地，用户和/或外科医生可以将其头部放置在下巴支架或头部支架上以用于该校准或配准。使用外部计算机或显示监视器作为校准和/或配准目的的参考的过程可以在活动开始和/或外科手术过程中进行，例如，作为初始配准过程的一部分。使用外部显示监视器作为校准和/或配准目的的参考的过程也可以在活动期间或在活动和/或外科手术之后执行，例如，当担心光学头戴式显示器装置相对于用户和/或外科医生的脸出现移动时。
在本发明的一些实施例中，可以监视独立或单独的计算机或显示监视器的轮廓的位置，定位，方向和/或对准，例如，使用集成到，附接到或与光学头戴式显示器分开的图像和/或视频捕获系统。可选地，可以使用附加的光学标记，导航标记，包括红外标记，逆向反射标记，射频标记，发光二极管和/或惯性测量单元以及说明书中描述的或本领域已知的用于确定和/或跟踪物体的地点，位置，取向和/或对准的任何其他技术，监视独立或单独的计算机或显示监视器的轮廓的地点，位置，方向和/或对准。利用已知的独立或外部计算机或显示监视器的地点，位置，方向和/或对准，可以跟踪光学头戴式显示器装置的地点，位置，方向，对准和/或移动方向，例如，通过集成到或连接到光学头戴式显示器的图像和/或视频捕获系统，或集成到其中或附加到其上的光学标记，导航标记包括红外标记，逆向反射标记，射频标记，发光二极管和/或惯性测量单元。由于可以跟踪光学头戴式显示器装置的地点，位置，方向，对准和/或移动方向，光学头戴式显示器装置的显示器可以始终或者首选间歇地显示由独立或单独的计算机或显示监视器显示和在空间上匹配的相同结构，或者至少一部分或其子集。如果独立或单独的计算机或显示器仅占用 OHMD显示器覆盖部分视野，则OHMD显示器可以将显示的结构与独立或单独的计算机或显示器显示的结构相匹配，仅用于独立或单独的计算机或显示器监视器占用的部分视野。可备选，OHMD显示器可以显示延伸超出由独立或单独的计算机或显示监视器占据的视野部分的结构。延伸超出由独立或单独的计算机或显示监视器占据的视野部分的结构是独立或单独的计算机或显示监视器显示的结构的延续部分。由独立或单独的计算机或显示监视器占据的视野部分之外的结构可以是独立的，和/或与独立或单独的计算机或显示监视器显示的结构分开。例如，除了显示与独立或单独的计算机或显示监视器显示的内容匹配或对应的一个或多个结构之外，OHMD显示器还在不包括独立或单独的计算机或显示器的部分视野中，可以显示诸如生命体征或患者人口统计学或诸如术前影像学检查之类的项目。当使用者，操作员和/或外科医生不看病人时，这可能是有用的。
在本发明的一些实施方案中，当用户或外科医生正在观察手术区域时，光学头戴式显示器可以显示外科手术相关信息，例如，虚拟手术计划的细节或各方面(例如，预期/投射的切割平面)，或患者的解剖学信息(例如，来自术前影像学检查)；当用户或外科医生正在查看独立或单独的计算机或显示器时，光学头戴式显示器可以显示由独立或单独的计算机或显示监视器显示的部分信息或所有信息，例如三维图像，而独立或单独的计算机或显示监视器可以显示二维图像；当用户或外科医生既不看手术区也不看独立或单独的计算机或显示器或手术时，或当手术区和/或独立或单独的计算机或显示监视器仅占用 OHMD显示器覆盖的部分视野时，光学头戴式显示器可显示非手术野相关信息和非独立或非单独的计算机或显示器监视器相关或显示的信息。OHMD显示器的外科手术相关信息，独立或单独的计算机或显示监视器信息和其他信息之间的切换或转换可以是自动的，例如，通过图像捕获和相关图像处理和识别，用户或外科医生当前正在查看的区域(可选地由光学标记，导航标记包括红外标记，逆向反射标记，射频标记和/或发光二极管区别，或者可以通过用户或外科医生执行命令，例如，语音命令或手指/键盘命令，比如，使用OHMD显示器显示的虚拟键盘。
光学头戴式显示器可以在二维或三维中显示与独立或单独的计算机显示器或监视器上显示的信息有关的信息，后者是立体的或非立体的。可以通过OHMD显示器在显示器之间应用任意数量的显示组合，并通过独立或单独的计算机或监视器显示器在显示器之间应用。例如，当计算机或监视器显示器显示患者的术前或术中影像学检查时，这些可以使用拟三维显示技术以二维(例如横截面)或三维显示，例如，通过表面重建和阴影。使用 OHMD显示器覆盖或迭加真三维(例如，立体三维)图像，从患者的术前或术中影像学检查和/或患者的虚拟手术计划的解剖视图，到由独立的或者单独的计算机或显示监视器以二维或拟三维显示的相同解剖结构和/或虚拟手术计划，这对于外科医生可能是有益的，因为外科医生在手术期间执行手术计划或计划下一手术计划。
在一些实施例中，光学头戴式显示器装置或独立或单独的计算机显示器或显示监视器可以显示患者的功能和/或时间研究结果，例如，外科医生使用物理时间荧光透视成像移动患者的腿或手臂，而两个显示模态中的另一个可以同时显示和/或迭加静态图像。比如，独立或单独的计算机或显示监视器可以显示二维或三维功能和/或时间研究，比如，使用物理时间二维单或双平面荧光透视或使用三维计算机断层扫描荧光透视捕获的膝关节运动，同时光学头戴式显示器装置显示屏可以迭加相应解剖结构的二维或三维非立体图像或三维立体图像。
以下是光学头戴式显示器的二维和三维非立体和立体显示器和独立或单独的计算机或显示监视器的二维和拟三维显示器的可能组合的示例性列表。表8中的列表决不意味着限制本发明。
表8：通过光学头戴式显示器装置的显示屏和独立或单独的计算机显示器或显示监视器显示模式或类型的可能组合的示例。
Figure BDA0002405039400002011
Figure BDA0002405039400002021
OHMD显示器可选择在二维中显示患者的一些虚拟数据，比如，术前图像和/或图像重建，同时可以三维显示其他虚拟数据，比如，虚拟计划的各方面或各部分，比如，预期切割平面。类似地，OHMD显示器可选择以三维形式显示患者的一些虚拟数据，比如，术前图像和/或图像重建，同时显示其他虚拟数据，比如，虚拟计划的各方面或构成部分，比如，预期的钉或钻孔放置，在二维中作为线。
独立或单独的计算机或显示监视器可选择以二维显示患者的一些虚拟数据，比如，术前图像和/或图像重建，同时可以显示其他虚拟数据，比如，虚拟计划的各方面或各部分，比如，预期切割平面，拟三维(pseudo 3D)格式，具有透视图和阴影。类似地，独立或单独的计算机或显示监视器可选择显示患者的一些虚拟数据，比如，术前图像和/或图像重建，同时显示其他虚拟数据，比如，虚拟计划的各方面或构成部分，比如，预期的钉或钻孔放置，在二维中作为线。
虚拟手术计划的各方面或各部分可以包括以下中的一个或多个：预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置的预定轴，用于一个或多个装置或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术导板或切块的虚拟手术器械，虚拟试验植入体，虚拟植入体组件，植入体或设备的非可视化部分。
在另外的实施方案中，OHMD显示器可选地以二维形式显示虚拟手术计划的一些方面或部分，以及三维，立体或非立体的其他方面或部分。比如，OHMD显示器可以在三维立体或非立体中显示预期的切割平面，同时可以在二维中显示虚拟切割块作为轮廓，比如，待切割(比如，用于髋关节置换的股骨颈)的下层组织的立体三维视图投影。OHMD 显示器可以显示虚拟手术器械，比如，三维中的铰刀，比如，立体或非立体，并且可以以二维或三维投射预期的扩孔轴。
独立或单独的计算机或显示监视器可选择以二维和拟三维的其他方面和部分共同显示虚拟手术计划的一些方面或部分，可选择不同的颜色。比如，独立或单独的计算机或显示监视器可以在拟三维中显示预期的切割平面，而可以在二维中显示虚拟切割块作为轮廓，比如，投影在待切割(比如，用于膝关节置换的远端股骨)的下层组织的拟三维视图上。独立或单独的计算机或显示监视器可以拟三维图像形式显示虚拟植入体或试验植入体，并且可以在二维中投射其预期的中心轴，比如，用于髋关节置换的股骨组件的股骨干轴。
在许多实施方案中，OHMD显示器和独立或单独的计算机或显示监视器的不同二维和三维图像可以同时显示和查看，基本或部分迭加。由于用户或外科医生可以通过 OHMD显示器查看独立或单独的计算机或显示监视器，因此，用户或外科医生可以组合二维和三维图像信息，比如，患者的虚拟解剖结构和/或虚拟手术计划的各方面，以前无法实现。
表9：通过光学头戴式显示器单元的显示器和独立或单独的计算机显示器或显示监视器同时查看显示模式或类型的可能组合的更多示例，其针对包括解剖结构(anatomy)的患者虚拟数据(比如，术前成像)，和/或虚拟手术计划的方面和/或部分，和/或虚拟手术器械和/或虚拟植入体或植入体组件和/或患者的术中成像。
Figure BDA0002405039400002041
包括解剖结构的患者虚拟数据(比如，术前成像)，和/或虚拟手术计划的方面和/或部分，和/或虚拟手术器械和/或虚拟植入体或植入体组件和/或术中成像，可通过光学头戴式显示器装置的显示屏和独立或单独的计算机或显示监视器(display monitor)显示，可以使用不同的颜色，灰度值和图像强度显示患者。
患者的术中成像可以包括，X射线成像，激光扫描，三维扫描或关节的机械探针扫描，比如，髋关节，膝关节，肩关节或脊柱。术中X射线图像，激光扫描，三维扫描，机械探针扫描，患者的术前图像数据，包括二维和三维重建，虚拟手术计划的方面和/或部分，虚拟手术器械和/或虚拟植入体和植入体组件可以同时显示，也可以通过光学头戴式显示器装置的显示器和独立或单独的计算机或显示器迭加显示。如果共同显示两个或更多个显像模式或术前和术中影像学检查，则可选地在解剖学上匹配，并且可选地使用相同的投影平面或可选择不同的投影平面来显示。
如果仅通过OHMD显示器，和仅通过独立或单独的计算机或显示监视器，或者两者一起或部分或完全迭加，共同显示二维视图与三维视图或拟三维视图，则可以选择性地使用某些二维视图显示标准投影，比如，正位，横向，倾斜；标准投影，比如，正位，横向和倾斜，可以选择参考患者实时数据(比如，患者位于手术台上的相应平面)，或独立或单独的计算机或显示器上显示的患者数据。标准投影或标准视图还可以包括来自患者侧面，前视图，顶视图，底视图或倾斜视图的视角。
动态视图或功能视图，比如，具有两个或三个空间维度和时间维度，可以通过光学头戴式显示器装置的显示器和/或独立或单独的计算机显示器或显示监视器来显示，可选地迭加到或共同显示静态图像，比如，二维或三维，第二显示设备，比如，光学头戴式显示器装置的显示器或独立或单独的计算机显示器或显示监视器。这样的动态视图或功能视图可以包括关节的运动学研究，比如，通过术中激光或三维扫描仪获得的，外科医生可以使用该运动学结果来获得不同屈曲角度，延伸角度，旋转角度，外展角度，内收角度的膝关节，髋关节，肩关节和任何其他关节的扫描，比如， 0，10，15，20，30，40，45，50，60，70，80，90，100，110，120，130，140，150度等。可以通过光学头戴式显示器装置的显示器和/或独立或单独的计算机显示器或显示监视器来显示任何其他类型的动态扫描，其可以包括时间元素或时间维度或功能单元或功能维度。
在本发明的一些实施方案中，光学头戴式显示器单元的显示器可用于显示较低分辨率的数据和/或图像，而独立或单独的计算机显示器或显示监视器的显示器可用于显示相应或匹配或重迭的更高分辨率的数据和/或图像。比如，当光学头戴式显示器的最大可用显示分辨率低于特定应用或外科手术所需的显示分辨率时，该实施方案特别有用。当软件环境限制表面点或节点的数量或限制可用分辨率时，该实施方案也是有用的。当WiFi或蓝牙或其他无线连接与光学头戴式显示器一起使用时，该实施方案在带宽和/或数据传输方面的限制也是有用的，从而限制了传输到光学头戴式显示器并最终显示的数据量，特别是当该限制意味着限制光学头戴式显示器显示数据和/或图像的数据量的空间分辨率。通过光学头戴式显示器查看低分辨率的数据和/或图像，用户便于立体可视化或查看手术计划的部分或方面，比如，虚拟切除线，虚拟切割平面，虚拟器械和/或虚拟植入体，通过查看和/或部分或完全迭加在独立或单独的计算机显示器或显示监视器上的高分辨率数据和/或图像，观察者便于同时查看高分辨率的数据和/或图像。
在本发明的一些实施方案中，光学头戴式显示器装置的显示器可用于显示静态数据和/或图像，而独立或单独的计算机显示器或显示监视器可用于显示相应或匹配或重迭的动态数据/或图像，比如，展示功能的图像，比如，关节的运动，和/或包括在一段时间内监测的状况或功能的变化的时间元素或维度。比如，当OHMD显示器的刷新率低于特定应用或外科手术所需的刷新率时，该实施方案尤其有用。当软件环境限制所显示的数据量和/或图像量时，该实施方案也是有用的。当WiFi或蓝牙或其他无线连接用于连接光学头戴式显示器且限制带宽和/或数据传输时，该实施方案也是有用的，从而限制了传输到光学头戴式显示器并最终显示的数据量，特别是当该限制意味着光学头戴式显示器显示数据和/或图像的可用时间和/或空间分辨率的限制时。通过光学头戴式显示器查看静态数据和 /或图像，用户便于立体可视化或查看手术计划的部分或方面，比如，虚拟切除线，虚拟切割平面，虚拟器械和/或虚拟植入体，通过查看和/或部分或完全迭加在独立或单独的计算机显示器或显示监视器上的动态数据和/或图像，观察者便于同时查看可选择的高分辨率的动态数据和/或图像。
在本发明的一些实施方案中，光学头戴式显示器装置的显示器可用于显示表示由独立或单独的计算机或显示监视器显示的较小部分视野的数据和/或图像的子集，同时显示器独立或单独的计算机显示器或显示监视器的显示器可用于使用患者数据的完整预期视野显示相应或匹配或重迭的更高数据和/或图像。比如，当软件环境限制所显示的表面点或节点的数量或限制由光学头戴式显示器显示的数据的大小时，该实施方案可以是有用的。当WiFi或蓝牙或其他无线连接与光学头戴式显示器一起使用时，该实施方案在带宽和/或数据传输方面的限制也是有用的，从而限制了传输到光学头戴式显示器并最终显示的数据量，特别是当该限制意味着光学头戴式显示器可用于显示数据和/或图像的数据量的限制。通过光学头戴式显示器观察具有更小，更窄视野的数据和/或图像，用户便于立体可视化或查看手术计划的部分或方面，比如，虚拟切除线，虚拟切割平面，虚拟器械和/或虚拟植入体，同时，通过在独立或单独的计算机显示器或者显示监视器上同时和/或部分或完全迭加数据和/或图像与完整视野，观察者便于同时使用患者数据的完整预期视野来查看数据和/或图像。
通过光学头戴式显示器单元的显示器和独立或单独的计算机显示器或显示监视器将三维视图迭加到二维视图上或与二维视图共同显示时，或当光学头戴式显示器装置的显示器以及独立或单独的计算机显示器或显示监视器迭加或共同显示多个二维视图时，它们可以在解剖学上匹配，比如，使用相应的解剖标志和/或使用共同坐标。它们还可以具有不同的视角，比如，当患者位于手术台上时的视角，侧视图，前视图，顶视图，底视图或倾斜视图的视角。因此，OHMD显示器可以显示患者的虚拟解剖结构的立体三维视图，例如，来自术前影像学检查，而独立或单独的计算机或显示监视器可以显示患者的匹配的正位或横向术中放射摄影视图或匹配的拟三维激光视图。
由光学头戴式显示器装置的显示器和独立或单独的计算机显示器或显示监视器显示数据的匹配可以以不同的方式实现，例如，运用
-使用坐标匹配数据和/或图像
-使用内容匹配数据和/或图像
-综合数据和/或图像坐标匹配数据和/或图像内容
在本发明的一些实施例中，由光学头戴式显示器显示的数据和/或图像以及由独立或单独的计算机或显示监视器显示的数据和/或图像可以使用已知的图像坐标进行匹配，然后可选部分或完全迭加，例如，当用户和/或外科医生在观看独立或单独的计算机或显示监视器的同时，移动其头部和/或身体。例如，如果光学头戴式显示器空间配准，例如，关于患者和/或手术部位和/或独立计算机或显示监视器，由光学头戴式显示器显示的和/或由独立计算机或显示监视器显示的数据和/或图像可以在相同或共同的坐标系统中，当部分或全部单独的计算机或显示监视器包含在用户或者外科医生的光学头戴式显示器的视野中时，可以允许光学头戴式显示器将显示器与独立或单独的计算机显示器或显示监视器匹配或迭加。
在本发明的一些实施方案中，当光学头戴式显示器的显示器和单独的计算机显示器或显示监视器都配准在同一坐标系中时，然后，光学头戴式显示器可以显示至少部分匹配单独计算机或显示监视器的数据和/或图像的坐标的一组数据和/或图像。比如，光学头戴式显示器可以显示立体三维视图，其与由独立或单独的计算机或显示监视器显示的拟三维可视化共享公共坐标。比如，这样的公共坐标可以是角点或边缘或选择几何特征和/或位置，然后，可以在用户或外科医生看到的合成的光学头戴式显示器/独立监视器视图中迭加。光学头戴式显示器还可以显示患者实时数据或患者虚拟数据或两者的立体三维视图，而独立或单独的计算机或显示监视器显示二维视图，比如，病患术前影像学检查。独立或单独的计算机或显示监视器的二维平面或视图显示可以与嵌入或包含在由光学头戴式显示器显示的三维数据和/或图像中的相应二维平面具有相同或共同的坐标，然后，其可以匹配或迭加在用户或外科医生可以看到的合成的复合光学头戴式显示器/独立监视器视图上。或者，在类似的示例中，如果光学头戴式显示器仅提供表面显示，比如，由独立或单独的计算机或显示监视器显示的二维平面的外围或轮廓或选择外围点具有相应的或共同的坐标，对应于三维数据中的二维平面的位置中的表面点和/或由光学头戴式显示器显示的图像。
由光学头戴式显示器显示的数据和/或图像可以与独立或单独的计算机或显示监视器显示的数据匹配，比如，通过并迭加识别公共坐标和/或通过定义共同坐标系。或者，由独立或单独的计算机或显示监视器显示的数据和/或图像可以与光学头戴式显示器显示的数据匹配，比如，通过识别并迭加公共坐标和/或通过定义共同坐标系。当光学头戴式显示器显示的数据和/或图像与独立或单独的显示监视器显示的数据和/或图像迭加时，光学头戴式显示器显示的数据和/或图像以及独立或单独的显示监视器显示的数据和/或图像或者，可以使用相同的放大倍率显示，以优化迭加或匹配。
在本发明的一些实施方案中，手术台可以移动。手术台的运动可以转化为患者和/或手术部位在x，y和/或z方向上的比较运动。当手术台移动的大小和方向已知时，可用相应的量或方向移动共同坐标系，以匹配或迭加由光学头戴式显示器显示的数据和/或图像和独立或单独的显示器显示的数据和/或图像。比如，如果光学头戴式显示器显示患者实时数据，比如，通过集成到光学头戴式显示器中，附着到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统捕获，和/或患者虚拟数据和/或迭加到患者实时数据上的患者虚拟数据，并且独立或单独的计算机或显示监视器显示患者的术前影像学检查，手术台和患者可以移动并且光学头戴式显示器显示的实时或虚拟数据移动相应的数量，从而保持配准，包括配准独立或单独的计算机或显示器上显示的数据。
在本发明的一些实施方案中，由光学头戴式显示器显示的数据和/或图像以及由独立或单独的计算机或显示监视器显示的数据和/或图像可以交叉配准，并且，移动到共享或共同的坐标系统，使用集成到光学头戴式显示器，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，捕获由独立或单独的计算机或显示监视器显示的数据。比如，独立或单独的计算机或显示监视器可以显示来自患者的物理时间术中影像学检查的数据，包括比如，在患者或手术台移动期间或两者移动期间的成像。标准图像处理技术可以识别在独立或单独的计算机或显示监视器上显示的数据或图像上的解剖标志或特征，并将这些与光学头戴式显示器显示的图像和/或数据中的相应解剖标志或特征相匹配。然后，光学头戴式显示器可以显示相应的数据和/或图像，可选地基于解剖标志匹配来迭加数据。比如，解剖标志匹配可以通过移动和/或平移光学头戴式显示器可显示的数据或图像，其量将在对应的解剖标志和/或特征的共同坐标系中迭加或匹配。
在一些实施方案中，通过直接将利用物理时间术中成像系统获取的图像与可由光学头戴式显示器显示的数据和/或图像进行比较，可以在不使用图像和/或视频捕获系统的情况下应用相同的程序。标准图像处理技术可以识别由物理时间成像系统获取的数据或图像上的解剖标志或特征，并将这些与光学头戴式显示器可显示的数据和/或图像中的相应解剖标志或特征相匹配。然后，光学头戴式显示器可以显示相应的数据和/或图像，可选地基于解剖标志匹配来迭加数据。比如，解剖标志匹配可以通过移动和/或平移光学头戴式显示器可显示的数据或图像，其量将在对应的解剖标志和/或特征的共同坐标系中迭加或匹配。
在前述实施方案中，由光学头戴式显示器显示的数据和/或图像可以与独立或单独的计算机或显示监视器显示的数据匹配，比如，通过识别公共坐标并迭加它们和/或通过定义共同坐标系。或者，由独立或单独的计算机或显示监视器显示的数据和/或图像可以与光学头戴式显示器显示的数据匹配，比如，通过识别并迭加公共坐标和/或通过定义共同坐标系。当光学头戴式显示器显示的数据和/或图像与独立或单独的显示监视器显示的数据和/或图像迭加时，光学头戴式显示器显示的数据和/或图像以及独立或单独的显示监视器显示的数据和/或图像或者，可以使用相同的放大倍率显示，以优化迭加或匹配。
由光学头戴式显示器和独立或单独的计算机或显示监视器显示的图像的匹配也可以通过组合基于坐标的匹配来执行，比如，对于两个显示器使用同一坐标系，以及使用任何前述技术的基于解剖标志的匹配。本领域技术人员将易于识别坐标匹配和解剖标志匹配的其他手段。
在本发明的一些实施方案中，可以调整由光学头戴式显示器显示的项目的放大倍率，使得放大倍率反映，对应于，小于或大于独立或单独的计算机或显示监视器所用的放大倍率。或者，独立或单独的计算机或显示监视器可以具有一个或多个标记，比如，一个或多个发光二极管，集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，随后可以检测哪一标记触发调整了光学头戴式显示器显示项目的放大倍率。在一些实施方案中，集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以使独立或单独的计算机或显示监视器的尺寸和形状(圆形，椭圆形，椭圆形，矩形，正方形)可视化；使用标准图像处理技术和几何结构，然后，可以使用尺寸和形状来推导光学头戴式显示器相对于独立或单独的计算机或显示监视器的距离和角度。如果使用多个摄像机，则可以使用额外的视差信息 (独立或单独计算机或显示监视器的尺寸和/或形状的差异)来进一步估计或改进光学头戴式显示器与独立的或单独的计算机或显示器的距离或角度的估值。然后，可以选择性地估计OHMD显示器到独立或单独的计算机或显示监视器的距离和/或角度的估值，以匹配由独立或单独的计算机或显示监视器显示的数据的放大倍率或，或以高于或低于独立或单独的计算机显示器或显示监视器显示的数据的放大倍率显示。
类似地，光学头戴式显示器可以自动检测外科医生或手术者是否观察独立或单独的计算机或显示监视器，比如，使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统。比如，图像和/或视频捕获系统可以检测到所捕获的图像数据中不存在独立或单独的计算机或显示监视器(比如，圆形，方形，矩形)的轮廓，并且软件可以自动调整放大光学头戴式显示器显示的项目，使其反映或对应光学头戴式显示器或外科医生的眼睛与患者手术部位的距离，或者小于或大于该值。或者，独立的或单独的计算机或显示监视器可以具有图像和/或视频捕获系统可以检测到的一个或多个标记，例如，一个或多个发光二极管或光学标记；在这种情况下，当图像捕获系统注意到一个或多个发光二极管或光学标记不包括在图像捕获数据中时，软件可以自动调整光学头戴式显示器显示项目的放大倍率，以便它反映或对应于光学头戴式显示器或外科医生的眼睛与患者手术部位的距离，或者小于或大于该值。类似地，光学头戴式显示器可以检测放置在患者手术部位上的标记或发光二极管，包括集成到光学头戴式显示器中，附着到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，从而触发调整放大倍率以使其反应，对应光学头戴式显示器或外科医生的眼睛与患者手术部位的距离，或者小于或大于外科医生或操作者看病人手术部位时的距离。
在本发明的一些实施例中，光学头戴式显示器可用于显示数据和/或图像，而非独立的或单独的计算机或显示监视器。可选地，光学头戴式显示器可以替换独立或单独的计算机或显示监视器。在一些实施例中，光学头戴式显示器可以显示来自患者手术部位的实时数据，并将其投射给外科医生，将其与虚拟数据迭加。光学头戴式显示器还可以显示虚拟手术计划的一个或多个方面和/或部分，例如，一个或多个手术器械的投射路径，或者它可以显示一个或多个虚拟植入体或植入体组件。在该实施例中，光学头戴式显示器可选地匹配一个或多个投射路径的放大倍率，和/或一个或多个外科器械和/或一个或多个虚拟植入体或植入体组件相对于患者实时数据的放大倍率。对于一个或多个投射路径和/或虚拟手术器械，和/或一个或多个虚拟植入体或植入体组件，光学头戴式显示器还可以应用比患者实时数据的放大倍率更大或更小的放大倍率和/或尺寸。通过光学头戴式显示器的透明显示可以看到患者实时数据。或者，显示器可以是部分或完全不透明的，并且可以通过集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统捕获实时数据，然后由OHMD显示器显示。
在本发明的一些实施例中，例如当光学头戴式显示器是主要显示单元时，光学头戴式显示器可以对光不透明或对从患者手术区域反射的光最低透明并且可以显示由图像和/ 或视频捕获系统收集的实时(电子)图像，并且可选地，还可以显示虚拟手术计划的方面和/或部分，例如，用于一个或多个物理手术器械，探针，指针和/或一个或多个虚拟器械和/或一个或多个虚拟植入体或植入体组件的一个或多个投射路径(可选地，具有各种选择的匹配或非匹配放大倍率)。在该设置中，光学头戴式显示器还可以显示物理手术器械和/或装置的电子图像及其各自的运动，例如，通过与光学头戴式显示器集成，附接或分离的图像和/或视频捕获系统捕获(具有各种匹配或不匹配的已选放大倍率)。
光学头戴式显示器对于光可以是永久不透明的，或者对于从患者手术区域反射的光最低程度地透明。或者，透明度可以是可变的，例如，使用一个或多个光学滤波器(例如，偏振光滤光器)，在光学头戴式显示器前面或集成到光学头戴式显示器或电子组件 (例如，液晶显示器(LCD))中，或光学滤波器位于光学头戴式显示器前面或集成到光学头戴式显示器中，或通过强度调整。手术室影院可以选择使用光源(例如，偏振光或滤光)，以支持调制或说明调整光学头戴式显示器对于从患者手术区域反射的光线的透明度。
放大显示
以下结构和/或设备的放大显示可以用光学头戴式显示器，例如，对于以下一个或多个，同时或非同时地显示：
-物理解剖学(physical anatomy)(例如，使用术中成像，可选放大或缩小)
○静态
○动态，例如，具有功能或时间元素或维度
-虚拟解剖学，例如，来自术前影像学检查
-虚拟手术计划的各方面或各部分，诸如：预定起始点，预定起始位置，预定起始方向或对准，预定中间点，预定中间位置，预定中间方位或对准，预定终点，预定结束位置，预定结束方向中的一个或多个或对准，预定路径，预定平面，预定切割平面，预定外形或轮廓或横截面或表面特征或形状或投影，预定深度标记或深度计，预定角度或方向或旋转标记，预定轴，例如旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械包括虚拟手术引导或切割块，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具，和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个，包括虚拟手术导板或切块的虚拟手术器械，虚拟试验植入，虚拟植入体组件，植入体或设备。
-虚拟手术器械
-虚拟植入体或植入体组件
在本发明的一些实施例中，OHMD显示器可以显示通过图像和/或视频捕获系统捕获的患者实时数据，所述图像和/或视频捕获系统集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离，其放大倍率高于由用户或外科医生的眼睛看穿光学头戴式显示器的透明部分看到的实时数据。因此，对于OHMD显示器到手术区域的给定距离，可以放大显示通过集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统捕获的患者实时数据。这具有以下益处：可以更详细地看到选择的结构，例如，提供部分或全部手术区域的低功率微观放大视图。光学头戴式显示器与手术野的距离可以使用说明书中描述的技术来确定，例如，光学标记，导航标记包括红外标记，逆向反射标记，射频标记，惯性测量单元，发光二极管和本领域已知的任何其他技术。
可以在部分或完全混合通过光学头戴式显示器看到的实时数据的同时执行实时数据的放大显示，例如，光学头戴式显示器对于从手术区域发出的光部分或完全不透明，并且主要或仅显示通过图像和/或视频捕获系统捕获的数据。通过图像和/或视频捕获系统捕获的实时数据的放大显示可以迭加在通过光学头戴式显示器的一个或多个部分或完全透明部分看到的实时数据上。在该示例中，实时数据的放大显示可以是通过光学头戴式显示器看到的手术区域的一部分。
可选地，可以将下降的放大梯度应用于实时数据，使得放大的实时数据可以与未放大的实时数据无缝地或接近地无缝地混合非放大的实时数据，例如，通过光学头戴式显示器的一个或多个部分或完全透明部分看到的实时数据。
通过图像和/或视频捕获系统捕获的部分或全部实时数据的放大倍率可以是预设水平，例如，1.5X，2.0X，3.0X，4.0X或5.0X或任何其他放大级别。放大倍率可以是连续的，例如，按比例增减。放大倍率可以由用户和/或外科医生选择，例如，使用语音命令，眼睛命令或使用由光学头戴式显示器显示的虚拟键盘接口。
可选地，可以使用与实时数据相同的放大倍率来显示虚拟数据。可选地，虚拟数据可以在没有放大倍率或比实时数据更小或更大的放大倍率的情况下显示。
在本发明的一些实施例中，OHMD显示器可以以比由用户或外科医生的眼睛通过光学头戴式显示器的透明部分看到的实时数据更高的放大倍率显示患者虚拟数据。因此，对于OHMD显示器到手术区域的给定距离，可以放大地显示患者虚拟数据。这具有以下益处：可以更详细地看到虚拟手术计划的组件的选择结构或方面，例如，提供部分或全部虚拟数据的低功率微观放大视图。光学头戴式显示器与手术野的距离可以使用说明书中描述的技术来确定，例如，光学标记，导航标记包括红外标记，逆向反射标记，射频标记，惯性测量单元，发光二极管和本领域已知的任何其他技术。
可以在部分或完全混合通过光学头戴式显示器看到的实时数据的同时，放大显示虚拟数据，例如，光学头戴式显示器对手术区域发出的光部分或完全不透明，主要或仅显示虚拟数据。通过图像和/或视频捕获系统捕获的虚拟数据的放大显示可以迭加在通过光学头戴式显示器的一个或多个部分或完全透明部分看到的实时数据上。在该示例中，虚拟数据的放大显示可以是通过光学头戴式显示器看到的手术区域的一部分。
可选地，可以将下降的放大梯度应用于虚拟数据，使得放大的虚拟数据可以与未放大的实时数据无缝地或近乎无缝地混合非放大的实时数据，例如，通过光学头戴式显示器的一个或多个部分或完全透明部分看到的实时数据。
一部分或全部虚拟数据的放大倍率可以是预设水平，例如，1.5X，2.0X，3.0X，4.0X或5.0X或任何其他放大级别。放大倍率可以是连续的，例如，按比例增减。放大倍率可以由用户和/或外科医生选择，例如，使用语音命令，眼睛命令或使用由光学头戴式显示器显示的虚拟键盘接口。
可以使用放大或不放大来显示实时数据和虚拟数据的两个部分或全部。下面提供实时数据和虚拟数据之间可能的放大组合的非限制性示例。
表10：实时数据和/或虚拟数据的放大倍率的示例性，非限制性组合。
Figure BDA0002405039400002141
Figure BDA0002405039400002151
实时数据和虚拟数据的放大倍率可以相同。实时数据和虚拟数据的放大倍率可以不同。虚拟数据可以是部分的，例如，仅影响部分显示的虚拟数据，或全部放大。实时数据可以是部分的，例如，仅影响部分显示的实时数据，或全部放大。在不放大实时数据的情况下，可以放大虚拟数据。实时数据可以放大，而虚拟数据不会被放大。任何组合都是可能的。
术语放大倍率还包括显示，其中实时数据或虚拟数据以小于通过光学头戴式显示器的透明部分在给定距离上看到的实时数据的格式或放大倍率显示。
可以在中心点周围应用放大倍率，例如，锚定点，解剖标志，进入骨骼的钉入口，螺钉头部或光学头戴式显示器视野的中心轴，钉轴或螺钉轴。当使用中心点时，外科医生的右眼通过光学头戴式显示器装置看到的患者实时数据中心点的坐标将与外科医生的右眼通过光学头戴式显示器装置看到的患者虚拟数据中的中心点的视图坐标相同；外科医生的左眼通过光学头戴式显示器装置看到的患者实时数据中心点的坐标将与外科医生的左眼通过光学头戴式显示器装置看到的患者虚拟数据中心点的视图坐标相同。当使用中心轴时，外科医生的右眼通过光学头戴式显示器装置看到的患者实时数据中心轴的坐标将与外科医生的右眼通过光学头戴式显示器装置看到的患者虚拟数据中的中心轴的视图坐标相同；外科医生的左眼通过光学头戴式显示器装置看到的患者实时数据中心轴的坐标将与外科医生的左眼通过光学头戴式显示器装置看到的患者虚拟数据中心轴的视图坐标相同。当立体投影与光学头戴式显示器装置的左右显示器一起使用时，光学头戴式显示器装置的左右显示器的视图坐标对于左右眼将是不同的；视图坐标的差异是视差的反映。例如，当用户或外科医生选择开启实时和/或虚拟数据的放大倍率时，可以在最后未放大的视野的中心点周围应用放大倍率。包括其软件的系统可以可选地围绕最后视野的中心点自动应用放大倍率。或者，用户和/或外科医生可以使用不同的中心点或中心轴作为放大实时和/或虚拟数据的中心。当考虑脊柱手术时，中心点或中心轴可以与椎弓根的中心重合。中心轴可以与髋臼或股骨轴重合，例如，前倾轴。例如，中心轴可以是预定路径。例如，中心点可以是端点。例如，当考虑进行髋关节置换或其他髋关节手术时，中心点或中心轴可以是髋臼的中心。例如，当考虑肩部手术时，中心点或中心轴可以是关节盂的中心。用于放大的中心点或中心轴可以预先选择用于各种解剖部位或手术区域或外科手术，例如，手术室，髋关节置换术，膝关节置换术，膝关节镜检查或脊柱融合术。比如，使用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的一个或多个图像和/或视频捕获系统，或者使用术中成像，可选地使用标准图像处理技术来识别一个或多个解剖结构(比如，髋臼及其中心)和可以选择自动设置或定义放大视图的中心点或中心轴。
查看患者/查看计算机监视器/屏幕
在一些实施方案中，OHMD显示器的放大倍率可以与计算机监视器的放大倍率匹配，比如，在手术室中，使得光学头戴式显示器和/或计算机监视器所示的相应组织使用相同的放大倍率显示，并且可以在光学头戴式显示器和计算机监视器显示器之间基本对准或迭加。
显示手术器械和/或医疗器械/植入体
在本发明的一些实施方案中，可以用患者实时数据虚拟地显示手术器械或医疗装置或植入体。虚拟数据手术器械或虚拟植入体可以通过光学头戴式显示器显示迭加到患者实时数据上，包括，实时数据手术器械。
光学头戴式显示器可以说明虚拟手术器械或虚拟植入体，其指示虚拟手术器械或虚拟植入体的期望定向或方向或放置，比如，使用虚拟手术计划。可选地，光学头戴式显示器可以显示方向标记，比如，从手术计划得出的预期路径，以说明引导外科医生引导物理手术器械或物理植入体。
可以在术前扫描物理手术器械或物理植入体以获得其形状和/或尺寸，以便随后显示外科手术器械的虚拟图像或光学头戴式显示器植入体衍生形状或尺寸。或者，可以使用手术器械或植入体的CAD文件或三维文件。
可以使用本领域已知的任何技术进行手术器械或植入体的术前扫描。可以通过光学头戴式显示器执行手术器械或植入体的扫描，比如，使用内置的图像捕获设备。可以通过单独的图像捕获设备来执行手术器械或植入体的扫描。
在一些实施方案中，手术器械或植入体的扫描可以在两个或更多个维度上发生。所用尺寸越多，手术器械或植入体的合成虚拟图像越精确。
如果使用图像捕获设备，比如，连接到光学头戴式显示器或者集成到光学头戴式显示器中或者连接到光学头戴式显示器或者与光学头戴式显示器分离的图像捕获设备，则可以在一个，两个或更多个投影，位置或方向上扫描外科手术器械或植入体，比如，通过移动光学头戴式显示器或手术器械或植入不同的位置或方向。在一些实施方案中，为此目的，手术器械或植入体可放置在托件或固定装置上，这允许将手术器械或植入体移动到不同位置，并且可选择旋转手术器械或植入体。在一些实施方案中，手术器械或植入体和图像捕获装置之间的距离是固定的，包括附接到光学头戴式显示器或者集成到光学头戴式显示器中或者耦合到光学头戴式显示器或者与光学头戴式显示器分离的图像捕获装置，同时扫描外科手术器械或植入体。
然后，可以使用物理手术器械或植入体的扫描来获得手术器械或植入体的虚拟二维或三维图像。
通过手术中扫描手术器械或植入体，外科医生在使用不同的手术器械或植入体方面具有很大的灵活性，他可以改变和修改这些手术器械或植入体，并且可选择整合到他的物理或虚拟手术计划中。
外科医生可以选择将以这种方式扫描的每一手术器械或植入体存储在手术器械或植入体的虚拟库中。以这种方式存储的虚拟手术器械或植入体可以被命名和存储，以供将来在其他患者的后续外科手术中使用。通过存储虚拟手术器械或植入体，可以无须重复扫描相同手术器械或相同类型或形状的植入体。
在本发明的一些实施方案中，外科医生可以使用先前在新手术计划中为另一新患者生成的手术器械或植入体的虚拟数据。外科医生可以选择期望的虚拟手术器械或可从虚拟库选择植入体，并在其虚拟手术计划中使用虚拟手术器械或虚拟植入体。
当外科医生进行物理手术并且光学头戴式显示器可选地显示虚拟手术器械或植入体，可选地迭加到物理手术器械或植入体附近或显示在物理手术器械或植入体附近时，软件可以选择性比较物理手术器械的大小和形状或植入体和先前选择的虚拟手术器械或植入体。或者，外科医生可以在视觉上比较虚拟和物理手术器械或植入体的尺寸和/或形状。
如果检测到尺寸和/或形状不匹配，软件可以向外科医生发送通知或警报(比如，视觉或听觉的)，表示不匹配。不匹配可以向外科医生指示虚拟数据和实时数据的配准准确性已经受到损害，并且可能需要重新配准。不匹配还可以向外科医生指示，与先前识别的虚拟手术器械或植入体相比，选择了错误的物理手术器械或植入体。在该情况下，外科医生可以通过选择不同尺寸或形状的虚拟或现场手术器械或植入体，来检查虚拟手术计划或物理手术计划，并修改其中一个或两个。
嵌入患者实时数据的患者虚拟数据的立体和非立体三维图像
在本发明的一些实施方案中，光学头戴式显示器可以显示患者的正常或患病组织或器官或手术部位或目标组织的虚拟二维或三维图像，和右眼显示器对比，其视角或透视或投影不同于左眼显示器，并导致解剖结构或病理组织的立体投影。因此，使用外科医生的左视角和右视角，将患者虚拟数据分别迭加在患者实时数据上，比如，外科医生的左右眼的手术部位。这意味着从虚拟二维或三维数据集渲染两个单独的视图，一个用于左眼，一个用于右眼。可以为左右眼生成超过三维的多维视图。比如，除了患者的虚拟解剖结构之外，还可以针对左右眼单独显示血管流动或关节运动。可以选择或程序设计虚拟数据或视差的左右眼投影之间的透视差异，使它发生改变，比如，相对于目标部位，手术部位或目标组织，与光学头戴式显示器，外科医生的头部或外科医生的眼睛的距离。也可以考虑外科医生或手术者眼睛之间的距离。在一些实施方案中，将选择或程序设计透视或视差的差异，以便以立体三维方式或效果生成三维效果。视角或视差的差异可以根据光学头戴式显示器，外科医生或手术者的头部或外科医生或手术者的眼睛与目标部位，手术部位或目标组织的距离的任何变化而变化。比如，当外科医生或手术者远离目标部位，手术部位或目标组织时，透视或视差的差异可能减小。随着外科医生或手术者朝向目标部位，手术部位或目标组织移动，透视或视差的差异可能增加。减少或增加可以是线性的，非线性的，指数的或算法的。任何其他数学函数都是可能的。在一些实施方案中，当外科医生或手术者朝向或远离目标移动时，透视或视差的差异将与人眼所经历的变化类似地改变。
光学头戴式显示器，外科医生或手术者的头部或外科医生或手术者的眼睛与目标部位，手术部位或目标组织的距离可以通过图像捕获，解剖标志，结合校准或配准模型，手术导航或本说明书中描述的任何其他实施方案和/或空间映射，使用图像捕获来测量。光学头戴式显示器，外科医生或手术者的头部或外科医生或手术者的眼睛与目标部位，手术部位或目标组织之间的距离和距离的任何变化都可用于改变透视图或左右眼视图视差的差异。
图16A和16B是概述一个或多个光学头戴式显示器的模型生成，配准和视图投影的流程图，比如，主要外科医生，第二外科医生，外科手术助理护士或其他人所用的光学头戴式显示器。可以获取患者的术前，术中或术后图像240。可选择对图像数据进行分段 241，可以生成患者的解剖结构或病理学的三维重建，包括多个不同的组织，比如，使用不同的颜色或阴影242。可以生成外科手术器械和装置组件的虚拟三维模型，其可以包括它们的预定地点，位置，旋转，方向对准，和/或方向243。可以比如，相对于光学头戴式显示器和患者244，配准虚拟三维模型。可以相对于患者实时数据245，配准虚拟三维模型。可选地，可以针对不同的视角，视差，皮肤，皮肤位移和其他组织特定问题进行调整246。可以为用户的左右眼生成不同的透视图以改善立体观看体验，例如，像电子全息图一样，表面下的或隐藏的解剖或病理组织247的虚拟模型，和工具，器械，植入体和装置的虚拟三维模型248。虚拟患者数据249和，工具，器械，植入体和设备250的虚拟三维模型可以显示在光学头戴式显示器中，可选地具有针对用户251和252的左右眼调整的不同视角。可以使用诸如深度传感器或空间映射或其他配准技术，基于光学头戴式显示器的外科医生头部或外科医生眼睛与手术部位的距离并且还基于双眼距离253，可选地调整左右眼偏移或视差。用于立体视图254的偏振或颜色技术可以与诸如由微软 Hololens提供的电子全息图组合。
在图16B的可选描述中，可以生成多个三维模型260，261，262，例如，一个用于患者的表面下解剖或病理结构，一个用于虚拟手术工具或器械，一个用于虚拟手术植入体组件。这些可以与光学头戴式显示器263配准，例如，在公共坐标系或多个坐标系中使用坐标转移。使用用于不同虚拟三维模型260，261，262的共享坐标，使用多个光学头戴式显示器的多位观看者可以与264在患者265实时数据上的一个或多个模型的投影或显示共享三维世界。可以使用用户的左眼坐标266针对每个用户的左眼单独生成显示，和使用用户的右眼坐标267针对每个用户的右眼单独生成显示。
可以为患者的多个虚拟数据集或数据量生成立体视图或具有用于左右眼的视差的不同透视图或视图。表4中列出的任何尺寸或应用中提到的虚拟结构，组织或数据可以使用立体视图或具有视差的不同透视图或视图分别显示左右眼，同时，非同时或顺序。另外，表11中的任何虚拟数据可以使用立体视图或具有左右眼视差的不同透视图或视图来显示。表11中列出的多个数据可以同时，非同时或顺序显示，例如，也可以通过光学头戴式显示器，立体或非立体，显示患者实时数据或图像：
表11：此示例性非限制性列表有关于患者虚拟数据，手术部位和手术部位的改变，手术器械和手术步骤或程序，以及可以使用立体视图或不同透视图或视图与左右眼视差可选地同时显示或非立体显示的医疗设备。通常结合查看或显示患者实时数据来显示虚拟数据。如果在光学头戴式显示器中显示多个虚拟数据集，则可以立体地或非立体地显示虚拟数据或其组合。
表11A：可以立体地或非立体地显示患者的示例性虚拟数据
-天然解剖结构，例如
○大脑脑回
○大脑静脉窦
○大脑动脉结构
○脑部病变
○脑肿瘤
○脸部特征
○耳部特征
○肝缘
○肝叶
○脾缘
○肾，肾脏轮廓
○一个或多个骨赘
○骨刺
○骨骼解剖结构
○骨畸形
○臀部髋臼缘
○三辐射软骨区域
○骨头凹
○髂前上棘
○髂前下棘
○耻骨联合
○臀部股骨头
○股骨颈
○大转子
○小转子
○膝盖髁突
○膝盖滑车
○膝盖髌骨
○膝盖胫骨坪
○膝盖内侧胫骨坪
○膝盖外侧胫骨坪
○膝关节前十字韧带
○膝关节后交叉韧带
○踝关节远端胫骨
○踝关节远端腓骨
○踝关节距骨
○患者的任何韧带或韧带结构
○肩胛骨盂缘
○肩胛骨盂
○肩胛骨肱骨头或颈
○脊柱小关节
○棘突
○脊椎椎弓根
○椎体终板
○椎间盘
○椎间盘突出
○任何影响人体的肿瘤
表11B：示例性虚拟手术部位和手术部位的改变可以立体地或非立体地显示
-计划对手术部位的改变，比如，
○组织移除
○去除正常组织
○去除病变组织
○去除肿瘤组织
○骨头切割
○扩髓(比如，近端股骨)
○拉削(比如，在近端股骨)
○撞击(比如，在股骨或胫骨中)
○磨铣
○钻孔
○组织移植
○器官移植
○部分或完全切除，比如，器官切除
○放置医疗设备
○放置支架
表11C：可以立体地或非立体地显示的示例性虚拟手术器械和手术步骤或程序
-组织切割器，
○比如，手术刀，刀片，钻头，锯子，钻孔器，铰刀，拉刀
-组织消融装置
○比如，加热或冷冻疗法
-机械臂
-附在机器人手臂上的器械
-内窥镜检查设备
-内窥镜摄像头
-内窥镜切割装置
-内窥镜消融装置
-手术器械的预定手术路径或预定放置，或地点，位置，旋转，定位，对准或方向
-一个以上手术器械的预定手术路径或预定放置或地点，位置，旋转，定位，对准或方向
-一个以上同时用手术器械的预定外科手术路径或预定放置或地点，位置，旋转，定位，对准或方向
-未同时所用一个以上手术器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
-连续所用一个以上手术器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
-不连续所用一个以上手术器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
-在关节的同一侧所用一个以上手术器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
-在关节的一个或多个相对侧上所用一个以上手术器械的预定手术路径或预定位置或地点，位置，旋转，定向，对准或方向
-在相同椎骨水平上所用一个以上手术器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
-在相邻椎骨水平上所用一个以上手术器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
-在非相邻椎骨水平上所用一个以上手术器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
-在椎骨终板上所用一个手术器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
-用于上椎骨终板和相邻的下椎骨终板上的一个以上手术器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
-用于磁盘移除的器械的预定手术路径或预定位置或地点，位置，旋转，定位，对准或方向
表11D：可以立体地或非立体地显示的示例性虚拟医疗设备和植入体
-髋关节置换组件
○髋臼杯包括预定位置或地点，位置，旋转，方向，对准，前倾，后倾，倾斜，偏移，与安全区相关的位置
○髋臼内衬包括预定的位置或地点，位置，旋转，方向，对准，前倾，后倾，倾斜，偏移，与安全区相关的位置
○股骨头包括预定位置或地点，位置，旋转，方向，对准，前倾，后倾，倾斜，偏移，与安全区相关的位置
○股骨颈包括预定位置或地点，位置，旋转，方向，对准，前倾，后倾，倾斜，偏移，与安全区域相关的位置(可选择模块化颈部)
○股骨柄包括预定的位置或地点，位置，旋转，方向，对准，前倾，后倾，倾斜，偏移，与股骨颈切割，小腿，大或小转子，髋臼相关的位置
-膝关节置换组件
○股骨组件包括预定的放置或地点，位置，内部或外部旋转，方向，对准，屈曲，伸展，与前皮质相关的位置，或机械轴或其他轴线对准，所有这些都可选择整个运动范围
○胫骨组件包括预定的放置或地点，位置，内部或外部旋转，方向，对准，屈曲，伸展，倾斜，与皮质边缘相关的位置，或机械轴或其他轴线对准，所有这些都可选择整个运动范围
○聚乙烯或其他插入件，包括预定的放置或地点，位置，内部或外部旋转，取向，对准，弯曲，伸展，倾斜，与皮质边缘相关的位置，或机械轴或其他轴线对准，所有这些都可选择整个运动范围
○髌骨组件包括预定的放置或地点，位置，内部或外部旋转，方向，对准，与髌骨皮质边缘相关的位置，与滑车相关的位置，可选屈曲和/或伸展和/或整个运动范围，相对于机械轴，滑车轴，滑车槽，上髁轴或其他轴对准的位置
○试验股骨组件包括预定的放置或地点，位置，内部或外部旋转，方向，对准，屈曲，伸展，与前皮质相关的位置，或机械轴或其他轴线对准，所有这些都可选择整个运动范围
○试验性胫骨组件包括预定的放置或地点，位置，内部或外部旋转，方向，对准，屈曲，伸展，斜度，与皮质边缘相关的位置，或机械轴或其他轴线对准，所有这些都可选择整个运动范围
○试验插入件包括预定的放置或地点，位置，内部或外部旋转，方向，对准，弯曲，伸展，倾斜，与皮质边缘相关的位置，或机械轴或其他轴线对准，所有这些都可选择整个运动范围
○试验性髌骨组件包括预定的放置或地点，位置，内部或外部旋转，方向，对准，位置，与髌骨皮质边缘相关的位置，与滑车相关的位置，可选择屈曲和 /或伸展和/或整个运动范围，与机械轴，滑车轴，滑车槽，上髁轴或其他轴线对准相关的
-脊柱螺钉包括预定位置或地点，位置，旋转，方向，对准，相对于椎弓根，椎弓根的皮质骨，椎弓根的骨内膜骨，椎体的后皮质骨，前皮质骨椎体，椎体外侧皮质骨，上终板，下终板，椎间盘，椎体，椎体的骨小梁，任何骨折构件或碎片，比如，椎弓根，小关节或椎体的位置
-椎弓根螺钉包括预定的位置或地点，位置，旋转，方向，对准，位置，与椎弓根，椎弓根的皮质骨，椎弓根的骨内膜骨，椎体的后皮质骨，前皮质骨椎体，椎体外侧皮质骨，上终板，下终板，椎间盘，椎体，椎体的骨小梁，任何骨折成分或碎片，比如，椎弓根，小关节或椎体相关的
-脊柱固定杆包括预定的放置或地点，位置，旋转，方向，对准，位置，与一个或多个椎弓根，椎弓根的皮质骨，椎体的后皮质骨，椎体的前皮质骨，椎体的外侧皮质骨，上终板，下终板，椎间盘，椎体，任何骨折成分或碎片，比如，涉及椎弓根，小关节或椎体，脊柱侧凸畸形，和脊柱侧凸畸形的预定矫正相关的
-人造脊椎盘，包括预定的放置或地点，位置，旋转，方向，对准，位置，与一个或多个椎弓根，椎弓根的皮质骨，椎体的后皮质骨，椎体的前皮质骨，椎体的外侧皮质骨，上终板，下终板，椎间盘，椎体，任何骨折成分或碎片(比如，涉及椎弓根，小关节或椎体，脊柱侧凸畸形，和脊柱侧凸畸形的预定矫正)相关的
-用于创伤的金属螺钉，钉，板，杆包括预定的放置或地点，位置，旋转，方向，对准，位置，与一个或多个椎弓根，椎弓根的皮质骨，椎体的后皮质骨，椎体的前皮质骨，椎体的外侧皮质骨，上终板，下终板，椎间盘，椎体，任何骨折成分或碎片(比如，涉及椎弓根，小关节或椎骨身体，长骨，关节，关节面，以及任何预定的骨折或骨折畸形矫正)相关的
-髓内钉包括预定的放置或地点，位置，旋转，方向，排列，与一个或多个骨折组件或碎片，比如，长骨，关节，关节面，以及任何预定的骨折或骨折畸形矫正相关的位置
-血管支架
○冠状动脉支架包括预定的放置或地点，位置，旋转，定向，对准，比如，与狭窄区域，血管闭塞区域，血栓，凝块，斑块，窦口，两个或更多个口，动脉瘤，解剖，内膜瓣，邻近血管，邻近神经相关的
○颈动脉支架包括预定的放置或地点，位置，旋转，方向，对准，比如，与狭窄区域，血管闭塞区域，血栓，凝块，斑块，窦口，两个或更多个口，动脉瘤，解剖，内膜瓣，邻近血管，邻近神经相关的
○主动脉支架包括预定的放置或地点，位置，旋转，方向，排列，比如，与狭窄区域，血管闭塞区域，血栓，凝块，斑块，窦口，两个或更多个口，动脉瘤，解剖，内膜瓣，邻近血管，邻近神经相关的
○股骨支架包括预定的放置或地点，位置，旋转，方向，对准，比如，与狭窄区域，血管闭塞区域，血栓，凝块，斑块，窦口，两个或更多个口，动脉瘤，解剖，内膜瓣，邻近血管，邻近神经相关的
-人工耳蜗包括预定的位置或地点，位置，旋转，方向，对准，比如，与骨结构，神经结构，听觉结构，迷路相关的
-视网膜植入体包括预定的放置或地点，位置，旋转，方向，排列，比如，与骨结构，神经结构，血管结构相关的
-神经植入体包括预定的放置或地点，位置，旋转，方向，对准，比如，与神经结构，血管结构，骨结构相关的
-神经修复术包括预定的放置或地点，位置，旋转，方向，对准，比如，与神经结构，血管结构，骨结构相关的
-用于深部脑刺激的植入体，比如，用于治疗帕金森病，包括预定的放置或地点，位置，旋转，方向，排列，比如，与神经结构，血管结构，骨结构相关的
表11中的列表仅是示例性的，并不意味着限制本发明。表11A中列出的示例性患者虚拟数据，表11B中列出的示例性虚拟手术部位和对手术部位的改变，表11C中列出的示例性虚拟手术器械和手术步骤或程序，以及表11D中列出的示例性虚拟医疗装置和植入体的任意一个可以由光学头戴式显示器以二维，三维或更多维显示(比如，如表4中所述)，使用立体投影或非立体投影或视图。因此，本发明不限于立体显示器和/或二维显示器和/或三维显示器。虚拟显示器的任何组合都是可能的，比如，三维立体患者解剖结构或具有二维手术器械显示器和/或二维医疗设备显示器的手术部位，或具有三维非立体外科手术器械显示器和/或三维立体医疗器械显示器的三维患者解剖结构。
将物理手术器械与虚拟手术器械对准或迭加
通过光学头戴式显示器中的手术器械的虚拟显示，虚拟数据中显示的手术器械可以代表现场患者中所用物理手术器械，并且可以具有与物理手术器械相同的投影尺寸和形状。如表11所示，虚拟手术器械的虚拟视图可以指示手术器械的预定地点，位置，旋转，方向，对准，方向。当物理手术器械与虚拟手术器械的虚拟图像对准和/或迭加在虚拟手术器械的虚拟图像上时，可选地执行手术步骤，或者外科医生可以选择调整物理手术器械相对于虚拟手术器械的地点，位置，旋转，方向，对准，定向，比如，基于韧带张力或韧带平衡，比如，在屈曲或伸展中。当虚拟和物理手术器械迭加在它们各自的地点，位置，旋转，定位，对准或方向上时，由现场患者中的手术步骤引起的现场手术部位的改变通常与虚拟手术计划一致。
可以以这种方式执行一个以上的手术步骤，比如，通过使用虚拟手术器械的立体或非立体显示器将物理手术器械与对应的虚拟手术器械对准。对准可以在二维，三维和三维以上进行。可以利用立体和非立体显示器执行对准。利用虚拟手术计划可以计划一个以上的虚拟手术步骤。可以计划两个或更多个虚拟手术步骤。虚拟手术步骤可以包括预期手术的主要手术步骤，它们可以包括任选的子步骤，或者可选地包括整个手术。当在相应的外科手术步骤中将一个或多个物理器械与虚拟器械对准之后执行物理外科手术步骤时，使用物理器械的每一外科手术步骤，由使用图像引导信息的手术者或外科医生，通过有选择地使用虚拟外科手术计划，进行有效图像引导，比如，图像引导信息来自在不同于外科手术的时间获得的术前扫描或影像学检查，通常在外科手术之前，并且通常与手术时间相比，在术前成像时手术部位在不同的物件坐标系中。虚拟手术器械的显示器可以是立体的或非立体的。
因此，通过在光学头戴式显示器中使用虚拟手术器械的立体或非立体显示器对准通过光学头戴式显示器看到的物理手术器械和光学头戴式显示器显示的虚拟手术器械，可以使用现场患者的手术计划准确地执行预先存在的图像信息和图像引导信息，比如，在虚拟手术计划中定义的。此外，通过在光学头戴式显示器中使用虚拟手术器械的立体或非立体显示器对准通过光学头戴式显示器看到的物理手术器械和光学头戴式显示器显示的虚拟手术器械，可以实现医疗植入体的预定位置，定位，旋转，方向，对准，定向，包括但不限于，表11D中列出的植入体。
光学头戴式显示器可以显示具有连续表面视图的一个或多个虚拟手术器械，比如，对于器械的不同特征使用一种颜色或多种颜色。连续表面显示可包括基于手术室中和/或手术野上所用光源的阴影。手术室光源的定向方向可以选择性使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像捕获来测量。
光学头戴式显示器可以显示具有轮廓视图的一个或多个虚拟手术器械，其可以是二维图像或三维图像。轮廓视图可包括整个虚拟手术器械的轮廓，比如，在特定平面或横截面平面中。轮廓视图可选地仅突出显示虚拟手术器械的选择特征，比如，骨切割表面或特征或抓握特征或其组合。光学头戴式显示器可以说明两个或更多个轮廓视图，比如，沿着不同平面延伸穿过或沿着虚拟手术器械的表面或周边延伸。可以选择的这些平面彼此成不同的0或180度角。在本发明的一些实施方案中，轮廓图可以彼此正交。以这种方式，即使两个或更多个轮廓视图可以是二维的，通过提供具有不同角度方向的两个或更多个轮廓视图，和通过提供关于手术器械的x，y和Z轴对准或位置或方向或方向的信息，光学头戴式显示器仍然可以向外科医生或手术者提供有关手术器械的预期定向，位置和/或方向的三维信息。轮廓视图可以说明限制光学头戴式显示器显示的信息量，这可以帮助外科医生专注于手术部位，并且可以完全看到手术部位。轮廓视图可以通过无意地迭加虚拟数据(比如，三维表面数据)和遮蔽活体解剖结构的部分来辅助降低患者(比如，出血血管)使重要实况信息模糊的风险。
通过在光学头戴式显示器中使用虚拟手术器械的立体或非立体显示器对准通过光学头戴式显示器看到的或光学头戴式显示器显示的物理手术器械与虚拟手术器械，可以对现场患者实现手术部位的某些改变或某些植入体植入或植入体组件植入，比如，这些可以确定以下中的至少一个
■手术器械的位置
■手术器械的定位
■手术器械的定向
■手术器械的旋转
■手术器械的对准
■手术器械的方向
■手术器械的推进深度，比如，用于髋臼或关节盂扩孔
■植入物位置
■植入体定位
■植入体方向
■植入体旋转
■植入体对准
■两个或更多个植入体组件的植入位置彼此相关和/或与患者相关
■植入两个或更多个植入体组件相对于彼此和/或与患者的关系的位置
■两个或更多个植入体组件的植入方向彼此相关和/或与患者相关
■植入两个或更多个植入体组件相对于彼此和/或与患者相关的旋转
■两个或更多个植入体组件的植入对准彼此相关和/或与患者相关
解剖或病理结构和/或组织，包括但不限于，一个或多个骨赘或骨刺或其他骨骼解剖或畸形或软组织或肿瘤组织或畸形，可用于参照病患的虚拟数据和实时数据，以及用于确定或互相参照其他解剖结构的必要器械或植入体组件的地点，位置，方向，旋转或对准。将具有虚拟改变的物理手术器械或物理医疗器械对准或迭加到手术部位
光学头戴式显示器可以在实际手术部位的物理改变之前显示，迭加在活体外科手术部位上的手术部位的虚拟改变。可以使用虚拟手术计划来模拟对手术的虚拟改变。虚拟手术改变和/或虚拟手术计划可以在两个，三个或更多个维度上执行或显示，可选择使用立体或非立体显示器。
在本发明的一些实施方案中，光学头戴式显示器可以显示对手术部位的虚拟改变。然后，手术者或外科医生可以将所选择以执行对物理手术部位的预期改变的物理手术器械对准，并将物理手术器械与手术部位的虚拟改变对准。比如，虚拟改变可以是一个或多个骨赘或骨刺或其他骨解剖结构或变形或软组织或肿瘤组织或畸形的移除或形状改变。然后，手术者或外科医生可以将物理手术器械推进或移动到物理手术部位的方向或移动到物理手术部位的方向，可选择同时保持物理器械与手术部位的虚拟改变的对准。以这种方式，手术者或外科医生可以对现场患者中的手术部位实现期望的改变或改变，并且在现场患者的手术部位中实现的改变或变化通常类似于或与之对准或一致：对手术部位以及虚拟手术计划(如果适用)的虚拟改变或变化。
比如，外科医生可以计划对患者的远端股骨进行骨切割。光学头戴式显示器可以显示迭加在现场患者的未切割骨上的虚拟骨切割上。虚拟骨切割和预期的物理骨切割可以，移除或矫正一个或多个骨赘或骨刺或其他骨骼解剖结构或畸形或软组织。然后，外科医生可以将物理骨锯的锯片与光学头戴式显示器显示的骨表面的虚拟改变中的预期骨切割的平面表面对准。通过在切割方向上推进锯片同时保持物理锯片(比如，物理锯片的平面)与虚拟骨切割的平面之间的对准，外科医生可以实现对现场病患进行精确的物理骨切割。或者，外科医生可以对准切割工具或切割块或切割导板，用在光学头戴式显示器显示的骨表面的虚拟改变引导骨锯和预切割的平面表面；然后，切割工具或切割块或切割导板可选地固定到组织和/或骨上，比如，使用一个或多个钉或螺钉，并且可以使用切割工具，切割块或切割导板执行切割。
在另一示例中，外科医生可以计划对患者的近端股骨进行骨切割(比如，用于部分或全部髋关节成形术)，或者用于远端股骨或近端胫骨(比如，用于部分或全部膝关节置换)，或者用于近端肱骨(比如，部分或全部肩关节成形术)。光学头戴式显示器可以显示迭加在现场患者的未切割骨上的虚拟骨切割上。然后，外科医生可以将物理骨锯的锯片与光学头戴式显示器显示的骨骼的虚拟改变中的预期骨切割的平面表面对准。通过在切割方向上推进锯片同时保持物理锯片与虚拟骨切割的平面表面之间的对准，外科医生可以在现场患者中实现精确的物理骨切割。可以定向骨切割以实现期望的组件旋转和/或组件弯曲或伸展。可以定向骨切割以实现期望的斜度。通过将切割工具，切割块或切割导板与虚拟骨切割的平面表面对准，可选地将其固定到组织和/或骨头，并用骨锯进行切割，可以实现相同的结果。
在另一示例中，外科医生可以计划对骨骼进行扩孔或拔刀，比如，近端股骨或近端肱骨。光学头戴式显示器可以在虚拟铰孔或拉削程序之后显示骨骼，显示在扩孔或拉削程序之后内骨表面的预期虚拟改变；显示器可选地迭加到未改变的物理骨骼的实时图像上。然后，外科医生可以在光学头戴式显示器显示的扩孔或拉削程序之后将物理扩孔器或拉刀对准骨的预期虚拟改变和形状变化。通过将铰刀或拉刀推向虚拟铰孔或拉削骨表面的方向，同时保持物理扩孔器或拉刀与实际扩孔或拉削的骨表面之间的对准，外科医生可以实现现场病患的骨骼的精确物理扩孔或拉削。
在另一示例中，外科医生可以计划将椎弓根螺钉放置患者的椎弓根，比如，用于脊柱融合。光学头戴式显示器可以显示由虚拟椎弓根螺钉产生的虚拟骨空隙或空间，可选地迭加在现场患者的未改变的椎弓根上。然后，外科医生可以将物理钻孔或物理椎弓根螺钉与由光学头戴式显示器显示的椎弓根的虚拟改变中的椎弓根螺钉的虚拟骨空隙或空间对准。通过在椎弓根中的虚拟骨空隙或空间的方向上推进物理钻或椎弓根螺钉，同时保持物理钻或椎弓根螺钉与椎弓根中的虚拟骨空隙或空间之间的对准，外科医生可以实现准确放置现场患者的物理钻或椎弓根螺钉。可以在虚拟手术计划中选择椎弓根中的骨空隙或椎弓根螺钉的位置，使得在骨空隙或椎弓根螺钉与骨内膜骨表面或椎弓根的皮质骨表面之间在内侧地，在外侧地，在上方地和/或在下方地存在一个或多个期望的最小距离或最小面积或体积。
在另一示例中，外科医生可以计划将椎间盘替换件放置在患者的椎间盘空间中，比如，用于保持椎间盘替换件的运动。光学头戴式显示器可以显示放置椎间盘替换件所需的虚拟改变，比如，对两个相邻椎体的上终板和/或下终板进行虚拟改变，可选地迭加到现场患者的端板上。虚拟和预期的物理改变可以包括，比如，去除一个或多个骨赘或骨刺或其他骨解剖结构或畸形或切除部分或全部终板。然后，外科医生可以将用于改变椎骨终板的物理器械对准，以用由光学头戴式显示器显示的终板的虚拟改变来进行椎间盘置换。通过在终板的虚拟改变的方向上推进物理手术器械，同时可选地保持物理手术器械与终板的虚拟改变之间的对准，外科医生可以实现物理手术器械的准确放置和现场病患的人体盘置换。
因此，通过对准或引导物理手术器械或医疗装置朝向光学头戴式显示器中的手术部位的虚拟改变的显示，可以实现手术部位的某些改变或者现场患者的某些植入体放置或植入体组件放置，比如，其可以确定以下中的至少一个
■手术器械的位置
■手术器械的定位
■手术器械的定向
■手术器械的旋转
■手术器械的对准
■手术器械的方向
■手术器械的前进深度，比如，用于髋臼扩孔
■植入物位置
■植入体定位
■植入方向，比如，前倾，后倾，偏移(比如，在髋关节置换髋臼杯或股骨组件中)，外展，内收，内旋，外旋，屈曲，伸展(比如，在膝关节置换股骨组件或胫骨组件中)
■植入体旋转
■植入体对准
■两个或更多个植入体组件的植入位置彼此相关和/或与患者相关
■植入两个或更多个植入体组件相对于彼此和/或与患者的关系的位置
■两个或更多个植入体组件的植入方向彼此相关和/或与患者相关
■植入两个或更多个植入体组件相对于彼此和/或与患者相关的旋转
■两个或更多个植入体组件的植入对准彼此相关和/或与患者相关
可选地，外科医生可以在改变之前和/或改变之后在手术部位的显示器之间切换虚拟数据的显示。可选地，外科医生可以在几个外科手术步骤中推进虚拟数据的显示，使得比如，不显示对手术部位的下一后续虚拟改变，而显示一个或多个后续虚拟改变。
可选地，外科医生可以使用具有不同颜色的显示器，用于在手术部位预期或计划的一个或多个连续或非连续虚拟改变之前和之后同时或非同时观察物理，现场手术部位和虚拟手术部位，可选地在进行一次或多次改变之前迭加到实时或虚拟手术部位上。
可选地，在进行手术改变之后，可以将计划改变的虚拟显示迭加到物理手术部位上，以检查现场患者的物理改变的准确性。如果外科医生注意到计划的虚拟改变与物理改变之间存在差异，则外科医生可以修改物理改变。比如，如果外科医生已经执行了骨切割，比如，用于髋关节置换的近端股骨或用于膝关节置换的远端股骨或近端胫骨，则外科医生可以使用光学头戴式显示器将计划的，预期的虚拟骨切割迭加到在切骨后进行的物理骨切割。如果外科医生注意到，与计划的，预期的虚拟骨切割相比，物理骨切割所需的骨骼少于预期，外科医生可以重新切割骨骼，使其与物理骨切割与预期的虚拟骨切割更紧密地匹配，并且可选择虚拟切割手术计划。
如果外科医生注意到计划的虚拟改变与物理物理改变之间存在差异，则外科医生可选地修改虚拟改变以匹配患者引起的物理改变。然后可以修改虚拟手术计划，比如，用于后续手术步骤或程序中的一个或多个，使得虚拟手术计划将继续与在患者中实现或诱导的物理手术改变一起工作。虚拟手术计划的修改可以通过半自动地或自动使用来自患者中引起的物理手术改变的输入，由手术者或外科医生手动执行。
如果外科医生已执行骨切割，比如，在近端股骨用于髋关节置换或在远端股骨或近端胫骨用于膝关节置换，则外科医生可以使用光学头戴式显示器将计划的，预期的虚拟骨切割迭加到在切骨后进行的物理骨切割。如果外科医生注意到与计划的，预期的虚拟骨切割相比，物理骨切割比预期的多，外科医生可以修改虚拟手术计划。然后，比如，修改的外科手术计划可以包括，在相对的关节表面上的随后的骨切割或扩孔步骤将用去较少骨量，通常与在现场病人的先前物理骨切割期间去除的骨量相比，在相对的关节表面上去除的骨量同样较少。或者，修改的外科手术计划可以包括医疗装置的一个或多个组件更厚以补偿更大的骨切割。比如，在膝关节置换术中，可以选择性使用较厚的胫骨插入件。比如，在髋关节置换术中，可以选择使用较厚的髋臼内衬或偏移衬垫。
将物理医疗设备和植入物与虚拟医疗设备和植入体对准
通过将物理医疗设备或医疗设备组件对准或指向虚拟植入的医疗设备或医疗设备组件的显示器，比如，在光学头戴式显示器中的预期最终虚拟地点，位置，方向，旋转或对准，可以在现场患者中实现预定的植入体放置或植入体组件放置，其可以比如，确定至少一个物理的，最终的
■植入物位置
■植入体定位
■植入方向，比如，前倾，后倾，偏移(比如，在髋关节置换髋臼杯或股骨组件中)，内旋，外旋，屈曲，伸展(比如，在膝关节置换股骨组件或胫骨组件中)
■植入体旋转
■植入体对准
■两个或更多个植入体组件的植入位置彼此相关和/或与患者相关
■植入两个或更多个植入体组件相对于彼此和/或与患者的关系的位置
■两个或更多个植入体组件的植入方向彼此相关和/或与患者相关
■植入两个或更多个植入体组件相对于彼此和/或与患者相关的旋转
■两个或更多个植入体组件的植入对准彼此相关和/或与患者相关
光学头戴式显示器可以说明具有连续表面视图的一个或多个虚拟和可选地虚拟植入的医疗设备或医疗设备组件，比如，使用一种颜色或多种颜色用于设备的不同特征或用于不同的设备组件。连续表面显示可包括基于手术室中和/或手术野上所用光源的阴影。手术室光源的定向方向可以选择性使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像捕获来测量。
光学头戴式显示器可以显示一个或多个虚拟的和选择性虚拟植入的医疗设备或医疗设备组件，其具有二维或三维的轮廓视图。轮廓视图可以包括整个虚拟医疗设备或虚拟医疗设备组件的轮廓，比如，在特定平面或横截面平面中。轮廓视图可选择仅突出显示虚拟医疗设备或虚拟医疗设备组件的选择特征，比如，面向骨的表面或彼此面对的两个或更多个组件之间的表面，或者设备或组件的结合部分或其组合。光学头戴式显示器可以显示两个或更多个轮廓视图，比如，沿着不同平面延伸穿过或沿着虚拟医疗设备或虚拟医疗设备组件的表面或周边延伸。可以选择这些平面彼此成0或180度角，互不相同。在本发明的一些实施方案中，轮廓图可以彼此正交。以这种方式，即使两个或更多个轮廓视图可以是二维的，通过提供具有不同角度方向的两个或更多个轮廓视图，和通过提供关于设备或设备组件的x，y和z轴对准或位置或方向或方向的信息，光学头戴式显示器仍然可以向外科医生或手术者提供有关设备或设备组件的预期定向，位置和/或方向的三维信息。轮廓视图可以辅助限制光学头戴式显示器显示的信息量，这可以帮助外科医生专注于手术部位，并且可以完全看到手术部位。通过以缩小的格式迭加虚拟数据，轮廓视图可以说明降低因患者模糊重要实时信息(比如，暴露的神经根)的风险。
可选地，外科医生可以在一个或多个虚拟医疗设备组件的显示器和可选的实况医疗设备组件的显示器之间切换虚拟数据的显示。
可选地，外科医生可以使用具有不同颜色的显示器来同时或不同时观看两个或更多个虚拟医疗设备组件，可选地迭加到物理医疗设备上或与物理医疗设备一起显示。
可选地，在物理植入或放置之后，可以在虚拟植入之后将医疗设备或医疗设备组件的虚拟显示迭加到物理医疗设备或医疗设备组件上，以检查物理植入或放置在现场患者中的准确性。如果外科医生注意到计划的虚拟地点，位置，方向，旋转，医疗设备或医疗设备组件的对准与物理医疗设备或医疗设备组件的物理物理地点，位置，方向，旋转，对准之间存在差异，外科医生可以修改物理设备放置或外科医生可以使用不同的设备组件，比如，在膝关节置换术中使用更厚或更薄或不同形状的胫骨聚乙烯插入件或在髋关节置换术中使用不同的聚乙烯衬垫，比如，更厚，更薄或带偏移量。
面罩
在本发明的一些实施方案中，面罩或防溅罩可以集成到光学头戴式显示器中，以保护包括其眼睛的外科医生免受体液，比如，血液，的影响。在本发明的一些实施方案中，面罩或防溅罩可以连接到光学头戴式显示器，以保护包括其眼睛的外科医生免受体液，比如，血液，的影响。在本发明的一些实施方案中，面罩或防溅罩可以放置在光学头戴式显示器的前面，以保护包括其眼睛的外科医生免受体液，比如，血液，的影响。
颜色编码
可选地，在光学头戴式显示器中的显示期间，可以对不同的手术器械，装置或装置组件进行颜色编码。比如，OHMD显示器中的颜色编码将对应于物理手术器械，装置或装置组件的颜色编码(如果适用)。下面提供示例性颜色编码图表：
物理设备：
4.0毫米螺钉-灰色
4.5毫米螺钉-粉红色
5.0毫米螺钉-棕色
5.5毫米螺钉-蓝色
6.0毫米螺钉-橙色
6.5毫米螺钉-黄色
7.0毫米螺钉-无色
7.5毫米螺钉-绿色
8.5毫米螺钉-黑色
虚拟设备显示器：
4.0毫米螺钉-灰色
4.5毫米螺钉-粉红色
5.0毫米螺钉-棕色
5.5毫米螺钉-蓝色
6.0毫米螺钉-橙色
6.5毫米螺钉-黄色
7.0毫米螺钉-无色
7.5毫米螺钉-绿色
8.5毫米螺钉-黑色
比如，这种螺钉可以与椎弓根螺钉或关节盂组件或髋臼组件一起使用。前述颜色编码仅是示例性的。任何颜色，颜色，条纹，图案的组合可用于识别不同的尺寸，大小，形状，直径，宽度或长度。任何器械或植入体都可以进行颜色编码。
颜色编码适用于任何手术器械，医疗器械或医疗装置组件，比如，血管支架，心脏植入体，心脏除颤器，髋关节置换组件，膝关节置换组件(Knee replacement component)等。
可选地，除了颜色编码或作为颜色编码的替代，光学头戴式显示器可以在虚拟手术器械或医疗装置旁边显示一个或多个数值，比如，尺寸表中的厚度，直径或尺寸。
在本发明的一些实施方案中，光学头戴式显示器可以识别物理手术器械或装置的直径，宽度，长度，尺寸，形状或尺寸与手术计划中选择的虚拟设备是否存在差异。比如，集成到光学头戴式显示器中或连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可用于对手术器械，医疗装置或医疗装置组件成像，可基于手术器械或设备距图像和/或视频捕获系统的距离(比如，使用基于视差的测量或配准或校准体模)，选择性校正其直径，宽度，长度，尺寸，形状或大小，然后确定由手术者或外科医生选择的物理医疗设备或医疗设备组件是否匹配在虚拟手术计划中选择的。如果物理手术器械或医疗装置或医疗装置组件不匹配，比如，关于虚拟器械或组件的直径，宽度，长度，尺寸，形状或尺寸，系统可以提供警告信号，比如，声音警报或视觉警告标志(比如，光学头戴式显示器显示的红色感叹号)。
部分可见或部分模糊的器械，工具，设备，植入体，植入体组件在手术期间或某些手术部位的某些情况下，一个或多个物理手术器械或工具或一个或多个物理装置，植入体，植入体组件和植入系统在手术的各个方面或期间可能仅部分可见。对于深部器官的外科手术，比如，特别是这种情况，肝脏或肾脏，大脑，或深层，模糊或隐藏的身体结构，比如，髋关节或脊柱的一些方面，其中一个或多个物理外科手术器械或工具的重要部分或一个或多个物理装置，植入体，植入体组件和植入系统可以至少部分地从视图中遮挡。如果从视野中遮挡的部分是引起组织表面的一个或多个改变的部分，比如，通过电烧灼，消融，切割或扩孔或冲击，则会加重遮挡。一个或多个物理手术器械或工具或一个或多个物理装置，植入体，植入体组件和植入系统的可视化的这种减少或限制可导致手术技术的精确度降低，比如，设备，植入体，植入体组件或植入系统的放置错误，或潜在的并发症。
在本发明的一个实施方案中，一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统可以包括某些标准化的几何特征，比如，矩形，三角形，圆形等，可以通过集成到或连接到光学头戴式显示器或与光学头戴式显示器分离或分开的图像和/或视频捕获系统容易地识别。或者，图像和/或视频捕获系统可以简单地识别物理手术器械或工具中的一个或多个的可见几何形状，表面，特征或部分和/或物理装置，植入体，植入体组件和植入系统中的一个或多个。然后，该信息可用于计算一个或多个物理手术器械或工具和/或一个或多个物理设备，植入体，植入体组件和植入系统的非可视化，不可见部分的形状，几何形状，轮廓，表面或其他特征。利用前述技术，即使一个或多个手术器械或工具和/或一个或多个装置，植入体，植入体组件和植入系统仅在手术部位中部分或不完全可视化或可见，也可以确定一个或多个手术器械或工具和/或一个或多个装置，植入体，植入体组件和系统的地点，位置，方向，对准，运动方向和/或轨迹。
然后，光学头戴式显示器可以选择性地显示一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统的非可视或不可见部分，或将其投射到到手术部位的视图。可选地，光学头戴式显示器可以同时显示一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统的非可视或不可见部分，和一个或多个相应的虚拟手术器械或工具和/或一个或多个相应的虚拟设备，植入体，植入体组件和植入系统。可选择使用不同的颜色或显示图案来显示和区分OHMD显示器中的虚拟的和物理的一个或多个手术器械或工具和/或一个或多个装置，植入体，植入体组件和植入系统。
在替代实施方案中，一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统可包括一个或多个惯性测量单元，包括比如，加速计，磁力计，和陀螺仪，比如，类似于光学头戴式显示器。在一些实施方案中，一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统可包括一个或多个可以由手术导航系统捕获的射频卷标或标记或逆向反射标记等/其定位，位置和/或方向。可选地，光学头戴式显示器还可以包括一个或多个射频卷标或标记或逆向反射标记等，并且其定位，位置和/或方向也可以由手术导航系统捕获，并且与一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统互相参照。一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统还可以包括光源，比如，激光器或发光二极管。比如，可以将激光投射在墙壁或天花板上，并且可以相对于激光参照光学头戴式显示器和患者。附接到或集成到一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统中的发光二极管可以比如，通过图像和/或识别视频捕获系统集成到或连接到或耦合到光学头戴式显示器或与光学头戴式显示器分离。
利用任何前述技术，即使一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统仅在外科手术中部分或不完全可视化或可见，也可以确定一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件的地点，位置，方向，对准，运动方向和/或轨迹。然后，计算机程序或软件可选地计算一个或多个物理手术器械或工具和/或一个或多个物理器件，植入体，植入体组件和植入系统的非可视化，不可见部分的其他特征的形状，几何形状，轮廓，表面。然后，光学头戴式显示器可以选择性地显示一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统的非可视或不可见部分，或将其投射到到手术部位的视图。可选地，光学头戴式显示器可以同时显示一个或多个物理手术器械或工具和/或一个或多个物理装置，植入体，植入体组件和植入系统的非可视或不可见部分，和一个或多个相应的虚拟手术器械或工具和/或一个或多个相应的虚拟设备，植入体，植入体组件和植入系统。可选择使用不同的颜色或显示图案来显示和区分OHMD显示器中的虚拟的和物理的一个或多个手术器械或工具和/或一个或多个装置，植入体，植入体组件和植入系统。
困难的照明和组织对比条件
在手术期间的某些情况下或在某些手术部位，照明条件和组织对比度可能让操作员可能难以在OHMD显示器中看到虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或任何虚拟设备，植入体，植入体组件和系统。在这些情况下，系统可选地允许手术者或外科医生改变显示模式，或者系统可以主动改变一个或多个虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统的显示模式，比如，通过改变一个或多个虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统的颜色，亮度，强度和/或对比度。颜色，亮度，强度和/或对比度的不同变化可以应用于不同的虚拟数据，比如，虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和 /或虚拟设备，植入体，植入体组件和植入系统。
外科医生或手术者或软件或系统可以改变一个或多个虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统的颜色。外科医生或手术者或软件或系统可以改变一个或多个虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统的亮度。外科医生或手术者或软件或系统可以改变一个或多个虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统的强度。外科医生或手术者或软件或系统可以改变一个或多个虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统的对比度。外科医生或手术者或软件或系统可以改变一个或多个的虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统的显示模式。比如，虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统中的一个或多个可以显示光栅图案或线图案或点图案或本领域已知的任何其他图案。或者，虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统中的一个或多个可以显示暂时改变的图案，包括但不限于，眨眼图案或闪烁图案，比如，仅间歇性显示虚拟信息。或者，虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统中的一个或多个可以“镂空模式 (skeletonization pattern)”显示，其中，比如，仅可以显示虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统中的一个或多个的关键特征或关键轮廓。或者，虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统中的一个或多个可以“突出显示模式”显示，或以下模式：其中，比如，虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统中的一个或多个的关键特征或关键轮廓，可以使用特征或轮廓的放大或特征或轮廓的颜色或亮度或对比度或其他显示增强来显示。可选择降低不太重要的特征或轮廓部件或部分的显示强度或从显示器移除。上述显示调整可以通过手术者控制的命令来执行，比如，手动或语音或其他命令。或者，这些调整可以是手术者输入加半自动使用，或自动使用，比如，关于患者的虚拟和/ 或实时数据的亮度，对比度和/或颜色以及环境光条件，比如，环境光条件，或光强度，光反射等的信息。对于选择的一个或多个虚拟数据的显示的半自动或自动调整，比如，虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和 /或虚拟设备，植入体，植入体组件和植入系统，可以采用可选地与一个或多个光学头戴式显示器整合，连接或分离的光强度和对比度传感器。或者，可以通过集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的一个或多个图像和/或视频捕获系统获得关于通过光学头戴式显示器看到的实时数据的颜色，亮度，强度，对比度和/或环境照明条件的信息。
虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，手术器械或工具和/或装置，植入体，植入体组件和植入系统的显示的任何前述变化也可应用于物理手术器械或工具和/或物理装置，植入体，植入体组件和植入系统的部分模糊部分或不可见部分。
通过使用这些技术中的一种或多种或本领域已知的任何其他显示器修改技术，可以在显示器中修改本发明中任何地方描述的任何虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或设备路径，手术器械或工具和/或装置，植入体，植入体组件和植入系统。
在手术期间的某些情况下或在某些手术部位处，照明条件和组织对比度可能让操作员可能难以在OHMD显示器中看到解剖结构的任何模糊部分，或模糊病理，或模糊的目标组织，或病理或目标组织的深层，模糊或隐藏部分，或深层组织的预期改变。这还包括正常组织和正常解剖结构，隐藏或模糊或深层的。在任何这些情况下，系统可选地允许手术者或外科医生改变显示模式，或者系统可以主动地改变解剖结构或目标组织的深层部分的显示模式，或对深层，模糊或隐藏的组织的预期改变。比如，外科医生或手术者可以改变解剖结构的颜色或解剖结构或目标组织的深层，模糊或隐藏部分或者对深层，模糊或隐藏组织的预期改变。或者，外科医生或手术者可以改变解剖结构的显示图案或解剖结构或目标组织的深层，模糊或隐藏部分或对深层，模糊或隐藏组织的预期改变。比如，可以用光栅图案或线图案或点图案或本领域已知的任何其他显示图案来显示解剖结构或目标组织的解剖结构或深层，模糊或隐藏部分或对深部，模糊或隐藏组织的预期改变。或者，可以暂时改变的显示模式显示解剖结构或目标组织的解剖结构或深层，模糊或隐藏部分或对深层，模糊或隐藏组织的预期改变，包括但不限于，眨眼图案或闪烁图案，比如，只间歇性显示信息。或者，可以用“镂空模式”显示解剖结构或目标组织的解剖结构或深层，模糊或隐藏部分或对深层，模糊或隐藏组织的预期改变，其中，比如，可以仅显示解剖结构的关键特征或关键轮廓或解剖结构或目标组织的深层，模糊或隐藏部分或对深层，模糊或隐藏组织的预期改变。或者，可以用“突出显示模式”显示解剖结构或目标组织的解剖结构或深层，模糊或隐藏部分或对深层，模糊或隐藏组织的预期改变，或者可以使用特征的放大或轮廓或颜色或亮度或对比度或特征或轮廓的其他显示增强，仅显示解剖结构的关键特征或关键轮廓或解剖结构或目标组织的深层，模糊或隐藏部分或对深层，模糊或隐藏组织的预期改变。可选择降低不太重要的特征或轮廓部件或部分的显示强度或从显示器移除。在本发明的任何地方描述的任何组织，比如，大脑皮层，脑回，椎弓根，椎骨终板，前椎壁，后椎骨壁，髋臼，血管，神经，肿瘤，可以是使用这些技术中的一种或多种或本领域已知的任何其他显示修改方法在显示器中进行修改。
任何上述颜色，亮度，强度和/或对比度的调整可以应用于虚拟解剖数据或结构，虚拟手术计划，虚拟工具或器械或装置路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统中的一个或多个的二维或三维，立体和非立体显示器。如果不能通过光学头戴式显示器直接看到患者实时数据，而是通过集成到光学头戴式显示器中，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统捕获，然后由光学头戴式显示器显示，可选地结合虚拟解剖数据或者结构，虚拟手术计划，虚拟工具或器械或设备路径，虚拟手术器械或工具和/或虚拟设备，植入体，植入体组件和植入系统，相同或类似的调整可以应用于一个或多个患者实时数据，比如，选择解剖结构，或患者的所有实时数据。
在一些方面，本发明提供了一种用于在患者体内准备假体关节的方法。在一些实施方案中，该方法包括在坐标系统中配准患者关节和一个或多个外科医生或外科手术助手佩戴的光学头戴式显示器，获得一个或多个术中测值，在坐标系统中配准一个或多个术中测值，基于一个或多个术中测值拟定虚拟手术计划，并且利用光学头戴式显示器显示或投射迭加到患者关节相应部分上的虚拟手术计划的各方面。在一些实施方案中，一个或多个光学头戴式显示器在同一坐标系中配准。在一些实施方案中，一种或多种术中测值是形态测量值，光学测量值或其组合。在一些实施方案中，一个或多个术中测值不是压力测量。
在一些方面，本发明提供了一种用于在患者中拟定整形外科手术的方法。在一些实施方案中，该方法包括将患者手术部位和一个或多个外科医生或外科手术助手佩戴的光学头戴式显示器配准在共同坐标系中，使用一个或多个光学标记获得一个或多个术中光学测值，使用共同坐标系中的一个或多个光学标记配准一个或多个术中光学测值，基于一个或多个术中测值拟定虚拟手术计划，并且利用光学头戴式显示器显示或投射迭加到患者身体关节相应部分上的虚拟手术计划的各方面。可以至少部分地基于虚拟手术计划的预定位置的坐标来将虚拟手术计划显示或投影到患者的身体关节上。
在一些实施方案中，虚拟手术计划包含来自术前扫描的数据。在一些实施方案中，虚拟手术计划包含来自术中扫描的数据。在一些实施方案中，虚拟手术计划包含来自术前扫描和术中扫描的数据。扫描包括一个或多个X射线，计算机断层扫描扫描，核磁共振扫描，超声波或其组合。
在一些实施方案中，扫描数据被配准在共同坐标系中。在一些实施方案中，通过光学头戴式显示器将配准的扫描数据迭加显示在手术部位上。在一些实施方案中，扫描数据报括手术部位的三维显示。
在一些实施方案中，配准步骤包括识别现场手术部位中的一个或多个解剖标志。在一些实施方案中，在患者的扫描数据中识别一个或多个对应的解剖标志。
在一些实施方案中，配准步骤包括识别现场手术部位中的一个或多个解剖轴或生物力学轴。在一些实施方案中，在患者的扫描数据中识别一个或多个对应的解剖轴或生物力学轴。
在一些实施方案中，现场手术部位包括骨，软骨，关节，关节表面，相对关节表面，韧带，半月板，盂唇，关节内结构，棘突中的一种或多种，椎弓根，小关节，上下突或椎体。
在一些实施方案中，配准步骤包括检测附接到现场手术部位中的一个或多个结构的一个或多个光学标记。在一些实施方案中，配准步骤包括检测附接到手术台的一个或多个光学标记。在一些实施方案中，一个或多个光学标记的检测包括确定一个或多个光学标记的位置，方向，对准，移动方向或移动速度中的一个或多个。
光学标记可包括几何图案，二维码，条形码或其组合。二维码或条形码可以包括在几何图案中，或者集成到几何图案中或附加到几何图案上。
在一些实施方案中，光学头戴式显示器包括一个或多个摄像头或图像捕获或视频捕获系统。一个或多个摄像头或图像捕获或视频捕获系统可以检测一个或多个光学标记，包括它们的坐标(x，y，z)。
在一些实施方案中，光学标记包括关于植入体库存管理的信息。比如，二维码可以包括关于植入体库存管理的信息。
在一些实施方案中，光学头戴式显示器中包括的一个或多个摄像头或图像捕获或视频捕获系统读取二维码中的库存管理并将其发送到另一计算机。
在一些实施方案中，术中测值包括使用一个或多个光学标记识别患者关节中的现场解剖标志的坐标(x，y，z)。在一些实施方案中，术中测值包括识别术中扫描数据中的解剖标志的坐标(x，y，z)。
在一些实施方案中，一个或多个光学标记是不透射线的，并且可以在术中扫描数据中检测它们的坐标(x，y，z)。
在一些实施方案中，使用包括在光学头戴式显示器中并且在术中扫描数据中检测到的一个或多个摄像头或图像捕获或视频捕获系统来检测光学标记，并将其配准在共同坐标系中。
在一些实施方案中，术中测值包括识别患者的解剖轴或生物力学轴。生物力学轴可以是腿的机械轴。在一些实施方案中，术中测值包括从手术改变的表面获得信息。
在一些实施方案中，术中测值包括识别患者关节的旋转中心。关节可以是手术关节，或者关节可以是与手术关节不同的关节。
在一些实施方案中，术中测值包括识别解剖平面。解剖平面可以与一个或多个解剖标志相切。解剖学平面可以与一个或多个解剖标志相交。在一些实施方案中，可以通过将虚拟平面放置成与一个或多个解剖标志相切或相交来找到解剖学平面。可以使用虚拟接口放置虚拟平面。
在一些实施方案中，虚拟手术计划包括用于手术器械的预定路径。在一些实施方案中，虚拟手术计划包括投射或预期切割平面。在一些实施方案中，虚拟手术计划包括投影在期望或预期位置，方向和/或对准中的虚拟切割块。在一些实施方案中，虚拟手术计划包括投影或预期的铰孔，铣削或冲击轴。在一些实施方案中，虚拟手术计划包括在期望或预定位置，方向，对准和/或移动方向上显示或投影的虚拟手术器械。在一些实施方案中，虚拟手术计划包括在期望或预定位置，方向和/或对准中显示或投影的虚拟手术植入体组件。
在一些方面，在患者体内制作假体关节的方法包括获得与患者关节相关的扫描数据；根据扫描数据为患者的关节拟定虚拟手术计划；配准患者的物理关节，虚拟手术计划，以及外科医生或手术助手佩戴的在共同坐标系中的一个或多个光学头戴式显示器，获得一个或多个术中测值，基于一个或多个术中测值调整或修改虚拟手术计划，并且显示或投射利用光学头戴式显示器迭加到患者物理关节的相应部分上的调整或修改的外科手术计划的各方面。在一些实施方案中，一个或多个术中测值是形态测量值，光学测量值或其组合。
在一些方面，为患者准备整形外科手术的方法包括获得与患者的手术部位相关联的扫描数据；根据扫描数据为患者准备虚拟手术计划；配准患者的现场手术部位，虚拟手术计划，以及外科医生或手术助手佩戴的在共同坐标系中的一个或多个光学头戴式显示器，获得一个或多个术中测值；基于一个或多个术中测值调整或修改虚拟手术计划，并且显示或投射利用光学头戴式显示器迭加到患者现场手术部位的相应部分上的调整或修改的外科手术计划的各方面。
在一些实施方案中，一个或多个术中测值包括一个或多个光学标记物。
在一些实施方案中，扫描数据在术前和/或术中获得。在一些实施方案中，扫描数据报括术前和术中扫描数据。在一些实施方案中，扫描数据报括一个或多个X射线，计算机断层扫描扫描，核磁共振扫描，超声波或前述的组合。
在一些实施方案中，扫描数据被配准在共同坐标系中。在一些实施方案中，通过光学头戴式显示器将配准的扫描数据迭加显示在手术部位上。
在一些实施方案中，扫描数据报括手术部位的三维显示。
在一些实施方案中，配准包括识别患者的扫描数据中的一个或多个解剖标志。在一些实施方案中，配准包括识别现场手术部位中的一个或多个相应的解剖标志。在一些实施方案中，配准包括识别患者扫描数据中的一个或多个解剖轴或生物力学轴。在一些实施方案中，配准包括识别现场手术部位(live surgical site)中的一个或多个对应的解剖轴或生物力学轴。
在一些实施方案中，现场手术部位包括骨，软骨，关节，关节表面，相对关节表面，韧带，半月板，盂唇，关节内结构，棘突中的一种或多种，椎弓根，小关节，上下突或椎体。
在一些实施方案中，配准包括检测附接到现场手术部位中的一个或多个结构的一个或多个光学标记。在一些实施方案中，配准包括检测附接到手术台的一个或多个光学标记。在一些实施方案中，一个或多个光学标记的检测包括确定一个或多个光学标记的位置，方向，对准，移动方向或移动速度中的一个或多个。
光学标记可包括几何图案，二维码，条形码或其组合。二维码或条形码可以包括在几何图案中，或者集成到几何图案中或附加到几何图案上。
在一些实施方案中，光学头戴式显示器包括一个或多个摄像头或图像捕获或视频捕获系统。一个或多个摄像头或图像捕获或视频捕获系统可以检测一个或多个光学标记，包括它们的坐标(x，y，z)。
在一些实施方案中，光学标记包括关于植入体库存管理的信息。比如，二维码可以包括关于植入体库存管理的信息。
在一些实施方案中，二维码包括关于植入体库存管理的信息。在一些实施方案中，光学头戴式显示器中包括的一个或多个摄像头或图像捕获或视频捕获系统读取二维码中的库存管理并将其发送到另一计算机。
在一些实施方案中，术中测值包括使用一个或多个光学标记识别患者关节中的现场解剖标志的坐标(x，y，z)。在一些实施方案中，术中测值包括识别术中扫描数据中的解剖标志的坐标(x，y，z)。
在一些实施方案中，一个或多个光学标记是不透射线的，并且可以在术中扫描数据中检测它们的坐标(x，y，z)。
在一些实施方案中，使用包括在光学头戴式显示器中并且在术中扫描数据中检测到的一个或多个摄像头或图像捕获或视频捕获系统来检测光学标记，并将其配准在共同坐标系中。
在一些实施方案中，术中测值包括识别患者的解剖轴或生物力学轴。比如，生物力学轴可以是腿的机械轴。
在一些实施方案中，术中测值包括识别患者关节的旋转中心。关节可以是进行手术的关节，或者可以是与进行手术的关节不同的关节。
在一些实施方案中，术中测值包括识别解剖平面。解剖平面可以与一个或多个解剖标志相切。解剖学平面可以与一个或多个解剖标志相交。在一些实施方案中，通过将虚拟平面放置成与一个或多个解剖标志相切或相交来找到解剖学平面。可以使用虚拟接口放置虚拟平面。
在一些实施方案中，术中测值包括从手术改变的表面获得信息。
在一些实施方案中，调整或修改虚拟手术计划包括放置或移动手术器械的预定路径。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟切割平面。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟切割块。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟铰孔，铣削或冲击轴。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟手术器械。在一些实施方案中，调整或修改虚拟手术计划包括放置或移动虚拟手术植入体组件。
根据本发明的一些方面，为患者准备关节假体的方法包括在坐标系统中配准现场手术部位和一个或多个外科医生或外科手术助手佩戴的光学头戴式显示器，获得一个或多个术中测值，在共同坐标系中配准一个或多个术中测值，基于一个或多个术中测值拟定虚拟手术计划，虚拟手术该计划包括至少一个虚拟切割平面，并且利用光学头戴式显示器显示或投射迭加在患者的现场手术部位的相应部分上的一个或多个虚拟切割平面。
根据本发明的一些方面，为患者准备关节假体的方法包括在坐标系统中配准患者现场手术部位和一个或多个外科医生或外科手术助手佩戴的光学头戴式显示器，拟定虚拟手术计划，在共同坐标系中配准虚拟手术计划，虚拟手术计划包括至少一个虚拟切割平面，以及利用光学头戴式显示器显示或投射迭加在患者的现场手术部位的相应部分上的至少一个虚拟切割平面。在一些实施方案中，该方法还包括获得一个或多个术中测值。在一些实施方案中，该方法还包括在共同坐标系中配准一个或多个术中测值。在一些实施方案中，一个或多个术中测值包括术中形态学和光学测量。
在一些实施方案中，假体是膝关节置换，并且虚拟切割平面在植入胫骨植入体组件之后限定胫骨斜度。在一些实施方案中，假体是膝关节置换，并且虚拟切割平面限定了与患者的腿部机械轴线相关的用于胫骨组件和相关骨切割的内翻或外翻矫正角度。在一些实施方案中，假体是膝关节置换，并且虚拟切割平面限定了与腿部机械轴线相关的用于患者股骨组件和相关骨切割的内翻或外翻矫正角度。在一些实施方案中，假体是膝关节置换，并且虚拟切割平面限定了与患者腿部机械轴相关的用于股骨组件和胫骨组件以及包括组合矫正的相关骨切割的内翻或外翻矫正角度。在一些实施方案中，假体是膝关节置换，并且虚拟切割平面对应于远端股骨切割并且限定股骨组件屈曲。在一些实施方案中，假体是膝关节置换，并且虚拟切割平面对应于股骨前切割并且限定股骨组件旋转。在一些实施方案中，假体是膝关节置换，并且虚拟切割平面对应于后股骨切割并且限定股骨组件旋转。在一些实施方案中，假体是膝关节置换，并且虚拟切割平面对应于倒角切割并且限定股骨组件旋转。在一些实施方案中，假体是髋关节置换物，并且其中虚拟切割平面在植入后限定腿长度。
根据本发明的一些方面，为患者准备关节假体的方法包括将患者的现场手术部位和外科医生或外科手术助手佩戴的一个或多个光学头戴式显示器配准在共同坐标系中，拟定虚拟手术计划，在共同坐标系统中配准虚拟手术计划，虚拟手术计划包括至少两个或更多个投射或预期的钉或钻孔路径，以及显示或投射利用光学头戴式显示器迭加在现场手术部位中患者骨或软骨的相应部分上的两个或更多个投影或预期的钉或钻孔路径。
在一些实施方案中，第一物理钉或钻头与第一虚拟钉或钻孔路径对准，并且在保持对准的同时执行钉扎或钻孔。在一些实施方案中，第二物理钉或钻头与第二虚拟钉或钻孔路径对准，并且在保持对准的同时执行钉扎或钻孔。在一些实施方案中，第一和第二钉或钻头用于固定或参考手术导板或切割块。在一些实施方案中，由物理第一和第二钉或钻头产生的钻孔用于固定或参考手术导板或切割块。
在一些实施方案中，手术导板或切割块用于执行骨切割。骨切割可以基于虚拟手术计划限定腿长度。骨切割可以基于虚拟手术计划限定内翻或外翻矫正。骨切割可以基于虚拟手术计划来限定股骨组件屈曲。骨切割可以基于虚拟手术计划来限定股骨组件旋转。骨切割可以基于虚拟手术计划确定胫骨斜度。在一些实施方案中，骨切割是龙骨冲头并且基于虚拟手术计划确定胫骨组件旋转。
根据一些方面，用于为患者准备关节假体的方法包括将患者的关节和由外科医生或外科手术助手佩戴的一个或多个光学头戴式显示器配准在共同坐标系中，从而获得一个或多个术中测值，在共同坐标系统中配准一个或多个术中测值，基于一个或多个术中测值拟定虚拟手术计划，虚拟手术计划包括虚拟手术钻孔导向，并且使用光学头戴式显示器将虚拟钻导子迭加到用于钻孔的患者现场手术部位的相应部分上。在一些实施方案中，一个或多个术中测值是形态和/或光学测量。在一些实施方案中，对应于虚拟钻子引导器的物理钻头包括至少两个开口以容纳两个或更多个钻头。在一些实施方案中，虚拟钻导子对应于物理钻导子并且具有与物理钻导子类似的至少一个或多个尺寸。
根据一些方面，用于为患者准备关节假体的方法包括将患者的关节和由外科医生或外科手术助手佩戴的一个或多个光学头戴式显示器配准在共同坐标系中，获得一个或多个术中测值，在共同坐标系统中配准一个或多个术中测值，基于一个或多个术中测值拟定虚拟手术计划，虚拟手术计划包括用于铰刀，磨机或撞击器的至少一个虚拟轴，并且利用光学头戴式显示器显示或投射用于扩孔器，研磨机或撞击器的至少一个虚拟轴，所述虚拟轴迭加在患者现场手术部位的相应部分上。
根据一些方面，用于为患者准备关节假体的方法包括将患者的关节和由外科医生或外科手术助手佩戴的光学头戴式显示器配准在共同坐标系中，拟定虚拟手术计划，在共同坐标系统中配准虚拟手术计划，虚拟手术计划包括用于铰刀，铣刀或撞击器的至少一个虚拟轴，以及显示或投射用于铰刀，铣刀或撞击器的至少一个虚拟轴，用光学头戴式显示器将虚拟轴迭加到患者现场手术部位的相应部分上。在一些实施方案中，该方法还包括获得一个或多个术中测值。在一些实施方案中，该方法还包括在共同坐标系中配准一个或多个术中测值。
在一些实施方案中，假体是髋关节置换物，并且虚拟轴在基于虚拟手术计划植入髋臼组件之后限定髋臼前倾。在一些实施方案中，假体是髋关节置换物，并且虚拟轴在基于虚拟手术计划植入髋臼组件之后限定髋臼偏移。在一些实施方案中，假体是髋关节置换物，并且虚拟轴限定组合的髋臼和股骨组件前倾。物理铰刀，铣刀或撞击器(impactor) 可以与铰刀，铣刀或撞击器的虚拟轴对准，并且可以在保持对准的同时执行铰孔，铣削或冲击。
根据一些方面，用于为患者准备关节假体的方法包括将患者的现场手术部位和外科医生或外科手术助手佩戴的一个或多个光学头戴式显示器配准在共同坐标系中，获得一个或多个术中测值，在共同坐标系统中配准一个或多个术中测值，基于一个或多个术中测值拟定虚拟手术计划，虚拟手术计划包括虚拟胫骨模板(virtual tibial template)，以及显示或投射用光学头戴式显示器迭加在切割胫骨上的虚拟胫骨模板。
在一些实施方案中，物理胫骨模板与虚拟切割胫骨模板对准，插入胫骨龙骨冲头，并且冲压近端胫骨以容纳胫骨龙骨和肋片。
在一些实施方案中，虚拟和物理胫骨模板确定胫骨植入体组件的对准和旋转。
根据一些方面，用于为患者准备整形外科手术的方法包括将外科医生或外科手术助理佩戴的患者手术部位和一个或多个光学头戴式显示器配准在共同坐标系中，其中使用在手术部位中或周围附着于患者的一个或多个光学标记来执行患者外科手术在共同坐标系中的配准，其中光学标记包括一个或多个几何图案，其中光学标记用摄像头和集成到，附着在或分离于光学头戴式显示器的图像捕获或视频系统检测。在一些实施方案中，光学标记物包括至少一个不透射线的部分。在一些实施方案中，使用具有电离辐射的影像学检查来可视化患者或手术部位的内部结构。比如，影像学检查可以是一个或多个X射线和/或计算机断层扫描扫描。
在一些实施方案中，使用图像处理软件在影像学检查中检测光学标记的不透射线部分。在一些实施方案中，在影像学检查中检测到的光学标记的不透射线部分与用摄像头，图像捕获或视频系统检测到的光学标记的可见部分互相参照，并且其中该信息用于将患者内部结构或手术部位配准在共同坐标系中。
在一些实施方案中，光学头戴式显示器将患者或手术部位的内部结构迭加在患者或手术部位的相应外表面上。在一些实施方案中，光学头戴式显示器将虚拟手术计划迭加到相应的外部和内部结构上。虚拟手术计划可以是手术装置的预定路径。
示例：
以下示例显示了本发明各种实施方案的代表性应用。这些示例并不意味着限制。本领域技术人员将认识到所描述的方法，技术，设备和系统的其他应用或改进。针对一个关节或解剖区域(比如，脊柱或椎弓根)描述的任何实施方案可以应用于其他关节或其他区域，比如，髋关节，髋关节置换，膝关节，膝关节置换，血管影像学检查，血管造影等。
在一些实施方案中，当物理导板(physical guide)，工具，器械或植入体与光学头戴式显示器显示或投射的虚拟手术导板，工具，器械或植入体对准或迭加时，可以采用以下大约位置精度在两个或三个方向上(x，y，z)执行对准或迭加：10毫米，约9毫米，约8毫米，约7毫米，约6毫米，约5毫米，约4毫米，约3毫米，约2毫米，约1毫米，约0.5毫米，约0.25毫米或更小，0.25毫米至0.5毫米，0.25毫米至1毫米，0.25 毫米至2毫米，0.25毫米至3毫米，0.25毫米至4毫米，0.25毫米至5毫米，0.25毫米至6毫米，0.25毫米至7毫米，1毫米至2毫米，1毫米至3毫米，1毫米至4毫米，1 毫米至5毫米，1毫米至6毫米，1毫米至7毫米，2毫米至3毫米，2毫米至4毫米，2 毫米至5毫米，2毫米至6毫米，2毫米至7毫米，3毫米至4毫米，3毫米至5毫米，3 毫米至6毫米，3毫米至7毫米，4毫米至5毫米，4毫米至6毫米，4毫米至7毫米，5 毫米至6毫米，5毫米至7毫米，6毫米至7毫米或必要时根据临床应用的需求。当物理导板器，工具，器械或植入体与光学头戴式显示器显示或投射的虚拟手术导板，工具，器械或植入体对准或迭加在一起时，可以采用以下定向或角度精度在一个，两个或三个方向上(x，y，z)执行对准或迭加：约10°，约9°，约8°，约7°，约6°，约5°，约4°，约 3°，约2°，约1°，约0.5°，约0.25°或更小，0.25-10°，0.25至9°，0.25-8°，0.25-7°，0.25- 6°，0.25-5°，0.25-4°，0.25-3°，0.25-2°，0.25-1°，0.25-0.5°，0.5至9°，0.5-8°，0.5-7°， 0.5-6°，0.5-5°，0.5-4°，0.5-3°，0.5-2°，0.5-1°，1至9°，1-8°，1-7°，1-6°，1-5°，1-4°，1- 3°，1-2°，2-9°，2-8°，2-7°，2-6°，2-5°，2-4°，2-3°，3-9°，3-8°，3-7°，3-6°，3-5°，3- 4°，4-9°，4-8°，4-7°，4-6°，4-5°，5-9°，5-8°，5-7°，5-6°，6-9°，6-8°，6-7°，7-9°，7- 8°，8-9°或必要时根据临床应用的需要。
下肢的机械轴线是通过从股骨头的中心到踝关节的中心画一条线来确定的，该线通常对应于与垂直轴的斜度相比大约3°的斜度。这可以细分为股骨机械轴，其从股骨头部延伸到远端股骨(distal femur)的髁间凹口，以及胫骨机械轴，其从近端胫骨的中心延伸到踝中心。股骨的机械轴线与胫骨的机械轴线之间形成的内侧角称为髋膝踝角，其表示下肢的整体对准，并且在正常膝盖中通常约为或略小于180°，也称为正常机械轴对准(normal mechanical axis alignment)。机械轴的位置使其通常仅通过内侧到胫骨脊，但是这可以根据患者身高和骨盆宽度而不尽相同。
用于矫正脊柱畸形和脊柱侧凸和/或骨折治疗的椎弓根螺钉和脊柱杆放置
椎弓根螺钉和杆放置是最常见的脊柱手术之一。它可以在许多不同的条件下进行，包括比如，脊柱不稳定，脊柱畸形的矫正，比如，脊柱畸形，脊柱侧凸，脊柱后凸及其组合，以及先天性脊柱缺陷。椎弓根螺钉和杆放置可以与骨移植物结合，比如，同种异体移植或自体移植。有时，在手术过程中可以使用可输注或可注射的骨形态发生蛋白，以促进骨移植物的愈合和稳定。
术前，患者通常会进行X射线成像，比如，前后位，侧位和斜位。可以获得选定区域的特殊视图，比如，骶骨或寰枕联结可以在站立和卧位的位置获得X射线。X射线也可以在俯卧或仰卧位置获得。可以通过患者直立，脊柱屈曲和脊柱伸展获得X射线。也可以在患者向左侧或向右侧弯曲的情况下获得X射线。
患者可以选择进行计算机断层扫描扫描或核磁共振扫描。计算机断层扫描扫描和核磁共振扫描具有提供患者解剖结构的三维数据集的附加优点。此外，可以观察到囊和神经根。通过核磁共振，脊髓也可以被可视化。
虚拟手术计划
外科医生可以拟制用于椎弓根螺钉和杆放置的虚拟手术计划，其可以选择性结合任何期望的畸形矫正。放置椎弓根螺钉的典型标准可包括以下内容：
可以选择椎弓根螺钉和任何锥形，探针，丝锥，K线，Y线，其他线和其他手术器械的进入点，比如，在上关节突的外侧边界处，相交于水平线，将左侧和右侧的横突二等分。
在腰椎中，椎弓根的轨迹通常会在上腰椎中收缩5-10度，在下腰椎中收缩10-15度。通常在腰椎中不需要头部倾斜或尾部倾斜的轨迹。
在胸椎中，进入点可以恰好在上关节面的边缘下方，并且在横突的基部附近的关节中心的侧面大约3毫米。在胸椎，椎弓根和螺钉可以收敛大约7-10度到中线；在矢状平面上，可以定向尾部10-20度。在进入T12时，虚拟手术计划可以包括移除横突以打开骨髓空间。角度可以是内侧和尾侧角度。
外科医生通常或使用用于椎弓根螺钉放置的横向交叉法，或使用上关节突的外侧边界形成与将左侧和右侧的横突二等分的水平线的交叉。可以选择更内侧的切入点，在该情况下，可能需要测距来移除关节突的基部。这可以包括在虚拟手术计划中。
对于S1，可以在与S1关节突切线相切的垂直线和与其下边界相切的水平线的交叉点处选择进入点。通常，在S1处，收敛椎弓根螺钉，但是悬垂的骨盆可能在体内限制收敛。螺钉通常瞄准骶骨岬的上边界。将以椎弓根螺钉和/或器械将避开S1孔和任何神经根的方式选择或定义虚拟手术计划中的器械放置和椎弓根螺钉放置。如果使用双皮质螺钉，应选择或定向螺钉位置，以避免对L5神经根造成任何伤害；任何影像学检查，如计算机断层扫描扫描或核磁共振扫描，都可用于识别L5神经根并将椎弓根螺钉置于虚拟手术计划中，可选择显示计算机断层扫描或核磁共振扫描和神经根，这样其尖端和身体相对于神经根有一个安全边缘。
虚拟手术计划可包括脊柱结构的二维或三维图像。二维显示器可以是多平面显示器，比如，以轴向，倾斜轴向，矢状，倾斜或弯曲的矢状，冠状，倾斜或弯曲的冠状突起显示脊柱。三维显示器可以显示脊柱，比如，从后投影，前投影，侧向投影，从顶部或底部的投影，或沿着神经根或骶囊或脐带的投影。可以以这种方式显示的代表性骨结构包括比如，棘突，椎板，小关节，椎弓根和包括终板，前，后，内侧和外侧皮质的椎体。在本发明的一些实施方案中，视图透视图是外科医生的头部和光学头戴式显示器相对于手术野和患者的视角。左眼显示器和右眼显示器的透视可以是不同的，特别是当使用立体显示技术时，外科医生的左眼通过光学头戴式显示器装置的显示器看到的患者虚拟数据的视角和外科医生的左眼通过光学头戴式显示器装置看到的患者实时数据的视角基本相同，外科医生的右眼通过光学头戴式显示器装置的显示器看到的患者虚拟数据和外科医生的右眼通过光学头戴式显示器装置看到的患者实时数据的视角基本相同。
在一些实施方案中，除了骨结构之外，在手术计划中突出显示了囊，神经结构和神经根，比如，L4，L5和S1。可以使用本领域已知的分割技术突出神经根，比如，自动或半自动或手动分割。或者，手术者或外科医生可以点击椎弓根附近的神经根或预期的椎弓根螺钉放置。点击的位置可以存储在图像数据量中，并且可以用不同的颜色突出显示。包含点击的面积或者体积可以配准为安全区域，椎弓根螺钉和放置的任何器械不应进入。可以在安全区域添加安全范围，比如，2，3，4，5，7或10毫米。在虚拟计划期间，将修改或调整任何椎弓根螺钉和相关器械的手术计划和放置或位置或方向，以确保外科手术不会引起神经损伤或撞击。
在一些实施方案中，血管结构可以使用自动化，半自动化或手动分割技术或由外科医生或手术者执行的简单点击或图像标记来突出显示。比如，这种血管结构可包括主动脉，下腔静脉，主动脉的任何分支或下腔静脉，肋间动脉，无名动脉。可以在这些血管结构周围限定安全区域和/或2，3，4，5，7或10毫米或更大的安全范围。在虚拟计划期间，将修改或调整任何椎弓根螺钉和相关器械的手术计划和放置或位置或方向，以确保在外科手术过程中不会引起血管损伤。
虚拟手术计划可包括
-识别所需的椎弓根螺钉位置和/或地点和/或方向
-识别用于放置椎弓根螺钉的任何手术器械的期望位置和/或地点和/或方向和/或轨迹，比如，锥子，探针，线，翼片，螺钉刀等，包括椎弓根螺钉。
-识别所需的杆位置和/或地点和/或方向
-如果适用，确定所需的脊柱畸形矫正，比如，矫正脊柱后凸，脊柱前凸，脊柱侧凸，矢状畸形，冠状畸形，旋转畸形，断裂畸形
-识别敏感结构，比如，神经结构，神经根，血管结构
-定义安全区，比如，用于皮质穿透，比如，在椎弓根，神经结构，神经根和/或血管结构中
虚拟手术计划可以包括，可选地预定义的标准，以在患者的数据中自动或半自动地虚拟放置椎弓根螺钉。这样的标准可以包括椎弓根螺钉或相关骨空隙之间的距离，以将椎弓根螺钉放置椎弓根的部分或全部的面积或者体积中的内侧，外侧，上部和/或下部骨内膜表面或皮质表面，或椎弓根螺钉或相关骨空隙之间的面积或者体积，以将椎弓根螺钉放置到椎弓根的部分或全部中的内侧，外侧，上部和/或下部骨内膜表面或皮质表面。如果外科医生手动地，可视地将虚拟椎弓根螺钉放置在二维或三维显示器上，则软件可应用相同或类似的标准以突出可能导致临床问题的潜在区域，比如，皮质破裂或神经根损伤。比如，如果虚拟椎弓根螺钉位于椎弓根内侧皮质的1，2或3毫米内，则使用图像处理和骨，骨内膜骨或皮质骨分割软件，突出此类接近性和潜在风险。突出显示可以比如，通过接近皮质或神经或血管结构的颜色编码区域或通过其他视觉提示和声音警告信号来进行。在外科手术过程中，这些突出显示的区域也可选地由光学头戴式显示器显示，立体地或非立体地显示。可选地，突出显示的区域可以以轮廓格式显示。
椎弓根螺钉的尺寸，宽度，直径或长度的选择也可以使用诸如椎弓根螺钉或相关骨空隙之间的距离标准手动，半自动或自动进行，以将椎弓根螺钉放置椎弓根的部分或全部的面积或者体积中的内侧，外侧，上部和/或下部骨内膜表面或皮质表面，或椎弓根螺钉或相关骨空隙之间的面积或者体积，以将椎弓根螺钉放置到椎弓根的部分或全部中的内侧，外侧，上部和/或下部骨内膜表面或皮质表面。
外科医生可以例如使用虚拟接口手动将虚拟椎弓根螺钉的数字全息图置于患者的隐藏的表面下解剖结构的虚拟显示器上，并使用以下标准：包括其尖端的椎弓根螺钉在椎体中的位置，包括其尖端的椎弓根螺钉相对于脊柱/椎体骨折的位置，包括其尖端的椎弓根螺钉相对于脊柱/椎体骨折的位置，包括其尖端的椎弓根螺钉相对于上终板的位置，包括其尖端的椎弓根螺钉相对于下终板的位置，包括其尖端的椎弓根螺钉相对于前椎骨和/或后椎体皮质的位置，包括其尖端的椎弓根螺钉相对于血管的位置，包括其尖端的椎弓根螺钉相对于主动脉的位置，包括其尖端的椎弓根螺钉相对于下腔静脉的位置，包括其尖端的椎弓根螺钉相对于神经结构，骶囊，神经根和/或脊髓的位置，包括其尖端的椎弓根螺钉相对于脊柱/椎体的骨折的距离，面积或体积，包括其尖端的椎弓根螺钉相对于上端板的距离，面积或体积，包括其尖端的椎弓根螺钉相对于下端板的距离，面积或体积，包括其尖端的椎弓根螺钉相对于下前和/或后椎骨皮质的距离，面积或体积，包括其尖端的椎弓根螺钉相对于血管的距离，面积或体积，包括其尖端的椎弓根螺钉相对于主动脉的距离，面积或体积，包括其尖端的椎弓根螺钉相对于下腔静脉的距离，面积或体积，包括其尖端的椎弓根螺钉相对于神经结构，骶骨囊，神经根和/或脊髓的距离，面积或体积。外科医生可以使用位置或距离或面积或体积等信息来选择在虚拟手术计划中的椎弓根螺钉的尺寸，宽度，直径或长度，或使用患者解剖结构的虚拟图像。可以针对前述标准定义安全区标准，比如，距离皮质或神经结构1，2或3或5毫米或更多毫米。如果外科医生将椎弓根螺钉或任何相关的外科手术器械放置得太靠近安全区域或安全区域内的椎弓根螺钉，则该区域可以突出显示或者软件可以触发另一视觉或声学警报。
或者，软件可以自动或半自动地将椎弓根螺钉放置在患者的虚拟显示器上，并使用以下标准：包括其尖端的椎弓根螺钉在椎体中的位置，包括其尖端的椎弓根螺钉相对于脊柱/椎体骨折的位置，包括其尖端的椎弓根螺钉相对于上终板的位置，包括其尖端的椎弓根螺钉相对于下终板的位置，包括其尖端的椎弓根螺钉相对于前椎骨和/或后椎体皮质的位置，包括其尖端的椎弓根螺钉相对于血管的位置，包括其尖端的椎弓根螺钉相对于主动脉的位置，包括其尖端的椎弓根螺钉相对于下腔静脉的位置，包括其尖端的椎弓根螺钉相对于神经结构，骶囊，神经根和/或脊髓的位置，包括其尖端的椎弓根螺钉相对于脊柱/椎体的骨折的距离，面积或体积，包括其尖端的椎弓根螺钉相对于上端板的距离，面积或体积，包括其尖端的椎弓根螺钉相对于下端板的距离，面积或体积，包括其尖端的椎弓根螺钉相对于下前和/或后椎骨皮质的距离，面积或体积，包括其尖端的椎弓根螺钉相对于血管的距离，面积或体积，包括其尖端的椎弓根螺钉相对于主动脉的距离，面积或体积，包括其尖端的椎弓根螺钉相对于下腔静脉的距离，面积或体积，包括其尖端的椎弓根螺钉相对于神经结构，骶骨囊，神经根和/或脊髓的距离，面积或体积。软件可以使用关于位置或距离或面积或体积的信息，也可以选择虚拟手术计划中椎弓根螺钉的尺寸，宽度，直径或长度。可以针对前述标准定义安全区标准，比如，距离皮质或神经结构的1，2或3毫米或更多毫米。如果软件不侵害安全区域或将其放置得太靠近安全区域就无法放置椎弓根螺钉或任何相关的手术器械来放置椎弓根螺钉，则可以突出显示该区域或者软件触发其他视觉或听觉警报。然后，外科医生可以手动调节椎弓根螺钉或任何相关手术器械的虚拟位置，以便放置椎弓根螺钉，比如，锥子，探针，针，线，螺钉等。
虚拟手术计划只能模拟椎弓根螺钉和任何相关杆的最终所需位置。然后，可以在手术期间基于虚拟手术计划和最终期望的位置来投射用于放置椎弓根螺钉的任何手术器械的期望轨迹，比如，锥子，探针，针，线，螺钉等。椎弓根螺钉和任何相关杆的位置。
在本发明的一些实施方案中，每一器械或者比如，用于放置椎弓根螺钉和/或杆的主要器械，可以在手术期间在虚拟显示器中显示。通过光学头戴式显示器看到的物理器械可以与光学头戴式显示器显示的相应虚拟器械对准，可选地以三维，立体或非立体形式，从而实现期望的手术改变，比如，根据虚拟手术计划。
图17A-D为用于在混合现实环境中执行脊柱手术的选择选项和方法的说明性流程图。如图17A所示，术前患者就诊，成像，术前计划184，外科医生评估患者并使用椎弓根螺钉和脊柱固定杆185设定脊柱融合的指示。可选择获得脊柱X射线照片186和/或三维成像，比如，计算机断层扫描或核磁共振187。可选地，数据可以被分割为188和 191。可选择使用192数据。骨骼轮廓可以从射线照片189或计算机断层扫描或核磁共振 193自动，半自动或手动地导出189。可选择确定194诸如神经根和血管的敏感结构，并将其迭加在二维或三维骨骼数据198的显示器上。来自射线照片的骨骼轮廓和诸如计算机断层扫描或核磁共振的其他影像学检查可选地交叉配准，比如，使用坐标转移或使用共同坐标系统190配准。可选择生成三维数据的二维投影，比如，以生成可以与术中放射线照片195对准和/或与术中放射线照片195迭加的匹配投影。可选地，外科医生或手术者可以选择点或标记或表面用于术中配准196。骨轮廓189和/或193和其他数据，比如，198，197，196可用于拟制用于放置椎弓根螺钉和杆199的虚拟手术计划。可选择使用比如，在数据分割中描述的软件来导出200用于术中配准的一个或多个结构的形状。可选择为脊柱201生成患者特异性模板，如WO9325157A1中所述。
如图17B所示，术中虚拟手术计划，成像，解剖标志，配准，患者的虚拟和实时数据互相参照215，来自图17A的数据，比如，189，193，194，195，199，200，可导入工作站中202。还可以导入患者虚拟数据，可选地包括虚拟器械数据，虚拟设备数据和/或虚拟手术计划203。光学头戴式显示器可以连接到工作站204，并且可选地显示未配准的虚拟数据204。患者可以定位在手术台上，可选地在与用于术前成像205的位置相同的位置。可选择在202，203和204之前执行步骤205。可选择识别206一个或多个棘突或其他骨标志或皮肤参照。可选择使用比如，x射线或计算机断层扫描/O臂成像207来执行术中成像207。可选择在棘突上进行切割，并且可以应用患者特异性标记物或模板，光学标记物或其他标记物用于配准208和209。可以识别(比如，在虚拟手术计划199中所用标记) 的标记211，并且可可选择由术中成像或患者特异性标记或光学标记或其他标记210和 212标识的标记互相参照或配准，比如，在共同坐标系中，比如，使用光学头戴式显示器，或在使用坐标转移的不同坐标系中。然后可以将患者配准在共同的，比如，第一坐标系213中。可选地，标记可以附接到固定在脊柱和/或解剖标志231的刚性结构。
如图17C所示，在患者标志213的配准之后，继续进行术中虚拟手术计划，成像，标记，配准，虚拟和患者实时数据215的互相参照，可以相对于患者配准一个或多个光学头戴式显示器或患者解剖标志214，比如，使用空间映射或光学标记或导航标记或其组合或本申请中描述的任何其他配准技术。诸如钻和钉之类的实际手术器械以及诸如椎弓根螺钉和杆的植入体也可以被配准232。可以生成二维或三维显示，其可以包括隐藏的表面下解剖结构，比如，椎体，椎弓根，小关节，虚拟手术器械和虚拟植入体216。这些可以与患者的相应实时数据迭加并对准，比如，椎弓根的中心，其中锥子或螺钉可以放置在预定位置216中。可以生成立体217和非立体218显示。多个观察者可以看到使用多个光学头戴式显示器迭加的虚拟数据和实时数据，每一光学头戴式显示器显示虚拟数据，其中视角透视与个体观察者216，217，218的实时数据的视角相匹配。观察者可以自由地移动他们的头部并且每一观察者佩戴的光学头戴式显示器可以保持与实时数据(使用比如，附接到光学头戴式显示器的一个或多个惯性测量单元)，手术部位或者患者或两者，光学标记或导航标记的房间映射，空间映射配准219。器械或植入体，比如，椎弓根螺钉或杆，也可以使用比如，惯性测量单元，发光二极管，光学标记或导航标记220来跟踪。可以实时调整光学头戴式显示器的显示，比如，基于头部运动或器械或设备运动或其组合 221，每秒30帧或更多帧。外科医生可以获得椎弓根的简形视图，用于比如，实时地放置工具222，比如，钉或螺钉。可以在选择的椎弓根或多个脊柱节段223上进行皮肤切割。
如图17D所示，继续术中虚拟手术计划，成像，解剖标志，配准，虚拟和患者实时数据215的互相参照，外科医生可以比如，朝向椎弓根螺钉224的进入点推进锥子。实际或物理锥子可以与虚拟锥子225对准。其他物理器械可以与其对应的虚拟器械对准，或者比如，预期的路径或端点226。可以执行连续的外科手术步骤，使物理与虚拟工具，器械或植入体227对准。可选地，隐藏在组织内部或由组织隐藏的物理器械的部分可以使用比如，来自器械228的可见部分的对准信息显示在增强现实系统中的虚拟显示器中。为此目的，光学标记或导航标记可以比如，附着到器械上以对其进行配准并计算其隐藏部分。放置的物理或实际椎弓根螺钉可以与隐藏的表面下解剖结构，比如，椎弓根，或虚拟椎弓根螺钉，或预期的路径或端点或其组合对准或迭加229。物理脊柱固定杆可以放置成与虚拟脊柱固定杆230对准或迭加在虚拟脊柱固定杆230上；可选地，脊柱固定杆可以对准放置杆座或椎弓根螺钉的接收或保持或附接机构的虚拟图像。为此目的，可以通过光学头戴式显示器放大杆座或接收或保持或附接机构，比如，围绕中心轴或中心点，以便于瞄准物理杆。物理杆的隐藏部分可以由光学头戴式显示器虚拟显示，可选地放大，瞄准杆座或接收或保持或附接机构。
实施方案中描述的任何配准技术和/或技术包括植入式和附接式标记，校准和配准体模，包括光学标记，导航标记，红外标记，射频标记，具有图像捕获和惯性测量单元的发光二极管，可以应用于脊柱手术和操作。比如，在脊柱外科手术或操作中，可以将一种或多种患者特异性标记物或模板应用于一个或多个棘突或关节突或横突或其他脊柱结构，比如，通过小切割。通过将患者特异性标记物或模板应用于患者的相应结构，可以可靠地识别脊柱节段，可选择无需术中成像。此外，在由光学头戴式显示器使用可选的虚拟外科手术计划投射的椎弓根螺钉和相关器械或者椎体成形术或椎体后凸成形术的针和套管针的轨迹或所需位置之后，可以可靠地放置椎弓根螺钉和相关器械或椎体成形术或椎体后凸成形术针和套管针及相关器械。值得注意的是，使用光学头戴式显示器以及本发明中描述的或其他本领域公知的其他配准和互相参照技术，也可以可靠地识别脊柱节段并且可靠地放置椎弓根螺钉，杆和相关器械和/或椎体成形术或椎体后凸成形术针和套管针。
使用光学头戴式显示器以及本发明中描述的或本领域已知的其他配准和互相参照技术，比如，使用包括光学标记或图像捕获的解剖标志或配准或校准模型的配准，可选地使用光学标记或手术导航，也可以采用相同的步骤和光学头戴式显示器引导的脊柱手术。
在本发明的一些实施方案中，在已经在光学头戴式显示器引导的脊柱手术中执行一个或多个外科手术步骤之后，可以重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后，患者实时数据和患者组织和/或手术部位的数字全息图的匹配，迭加和/或配准可包括隐藏和/或模糊部分，可使用与前述或说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术。
髋关节置换术
实施方案中描述的任何配准技术和/或技术可以应用于髋关节置换手术，包括表面重修，部分和全髋关节置换，包括植入式和附接式标记，校准和配准体模，包括光学标记，导航标记，红外标记，射频标记，患者特异性标记，带图像捕获的发光二极管和惯性测量单元。比如，可以将一种或多种患者特异性标记物或模板或光学标记物应用于髋臼边缘，髋臼内部或骨盆壁。类似地，一个或多个患者特异性标记物或模板或光学标记物可以应用于大转子，小转子，股骨干或股骨颈。通过将一个或多个患者特异性标记或模板和/或光学标记应用于患者的相应结构，虚拟数据和实时数据可以在共同坐标系中有效地互相参照和/或配准，比如，用一个或多个更多光学头戴式显示器。通过相对于光学头戴式显示器配准患者特异性标记物或模板和/或光学标记物或者通过使用本文描述的或本领域已知的任何其他配准技术或技术，光学头戴式显示器可以显示或迭加在髋关节置换期间所用任何手术器械的期望地点，位置，方向，对准和/或轨迹。比如，髋臼扩孔器可以以预定角度施加，其中扩孔器的长轴通常匹配期望的髋臼杯角度，偏移，内侧或外侧位置和/或前倾和/或倾斜，比如，来自病患虚拟外科手术计划。
图18A-F的实例说明，如何使用一个或多个光学头戴式显示器显示虚拟髋臼扩孔轴并且对准物理髋臼扩孔器和虚拟扩孔轴，用于放置具有预定杯角，偏移，内侧或外侧位置和/或前倾角的髋臼杯和/或倾向。图18A说明了第一外科医生的视图，比如，通过光学头戴式显示器，在患者暴露的髋臼280上。还要注意髂前上棘281和耻骨联合282，其可选地用于配准目的，比如，使用附接的光学标记或导航标记。如图18B所示，第一外科医生可以通过光学头戴式显示器看到虚拟髋臼扩孔轴283，其可以以预定方式定向以实现预定的髋臼杯角度，偏移，内侧或外侧位置和/或前倾和/或倾斜，比如，来自为患者制定的虚拟手术计划。如图18C所示，第一外科医生对准物理髋臼扩孔器轴284，使得其中心轴线与虚拟髋臼扩孔轴线对准或迭加，从而将扩孔器头部285放置在髋臼中的预定位置和方向上，以获得预定的髋臼杯角度，偏移，内侧或外侧位置和/或前倾和/或倾斜。
图18D显示了第二外科医生的视图，与其通过光学头戴式显示器到患者暴露的髋臼 280上的实时数据和虚拟数据的各自视角。还要注意髂前上棘281和耻骨联合282，其可选地用于配准目的，比如，使用附接的光学标记或导航标记。如图18E所示，第二外科医生可以通过光学头戴式显示器看到虚拟髋臼扩孔轴283，其可以以预定方式定向以实现预定的髋臼杯角度，偏移，内侧或外侧位置和/或前倾和/或倾斜，比如，来自为患者制定的虚拟手术计划。虚拟髋臼扩孔轴以与第二外科医生看到的患者实时数据的视角或视图视角相匹配的视角或视图视角来投影。如图18F所示，第二外科医生可以看到物理髋臼扩孔器轴284如何由第一外科医生对准，使得其中心轴线与虚拟髋臼扩孔轴线对准或迭加，从而将扩孔器头部285放置在髋臼中的预定位置和方向上，以获得预定的髋臼杯角度，偏移，内侧或外侧位置和/或前倾和/或倾斜。
因此，外科医生可以通过光学头戴式显示器查看实时数据保持物理髋臼扩孔器；同时，光学头戴式显示器可以显示或投射相应的虚拟髋臼扩孔器的数字全息图，其中虚拟髋臼扩孔器被对准并定向以实现期望的髋臼杯位置，比如，前倾，倾斜，如在虚拟外科手术计划中可选地限定的。或者，光学头戴式显示器可以显示虚拟髋臼扩孔器的部分(比如，折线或虚线)或完整的二维或三维轮廓或一个或多个置位指示物，比如，指示髋臼扩孔器的预定放置位置和方向的线，比如，虚拟预定内侧边界或定位或位置，虚拟预定横向边界或位置或位置，虚拟预定前边界或定位或位置，虚拟预定后边界或定位或位置，虚拟预定上边界或定位或位置和/或虚拟预定下边界或定位或位置和/或虚拟预定边缘位置和/或虚拟预定中心轴方向或位置和/或虚拟预定前倾。
外科医生现在可以将物理髋臼扩孔器与虚拟髋臼扩孔器或其二维或三维轮廓或置位指示物或光学头戴式显示器显示的预定或虚拟扩孔轴对准，以使物理髋臼扩孔器基本上与虚拟物重迭或对准或沿虚拟方向定向髋臼扩孔器或其二维或三维轮廓或置位指示物或虚拟扩孔轴。光学头戴式显示器还可以指示在虚拟外科手术计划中任选定义的所需扩孔深度。可以通过光学头戴式显示器显示期望的扩孔深度，比如，作为可以推进物理扩孔器的虚拟红色边界。如果物理扩孔器的扩孔表面由于被组织(比如，软组织或骨骼)隐藏而不可见，则可以基于物理扩孔器的可见部分来估计它，并且可以由光学头戴式显示器可选地显示，比如，使用与虚拟铰刀的显示不同的颜色或用于铰孔深度的虚拟“红色边框”。物理铰刀的物理铰孔深度也可以测量，比如，通过物理铰刀上的数字刻度的图像捕获或机械数据捕获来指示铰孔深度，或者通过附加惯性测量单元或一个或多个光学标记，射频卷标或镜面反射标记用于导航到铰刀，并通过将物理测量的铰孔深度与虚拟手术计划进行比较。光学头戴式显示器可以指示何时已经实现了期望的扩孔深度，比如，利用视觉或声学信号。一个或多个光学标记物也可以附接到髋臼扩孔器的轴上。通过测量一个或多个光学标记的位置，比如，沿着扩孔器的轴在两个不同位置的两个光学标记，可以使用图像或视频捕获来确定物理髋臼扩孔器的长轴并且可以与预定的虚拟铰孔轴比较以实现期望的杯放置，包括期望的偏移和/或杯角和/或前倾。
通过使用比如，患者的虚拟手术计划，由光学头戴式显示器投射的虚拟髋臼杯或其二维或三维轮廓或置位指示物获得实质或近似实质迭加，可以放置物理髋臼杯，藉此虚拟髋臼杯或其二维或三维轮廓或置位指示物(placement indicator)显示所需的前倾角和倾斜度。取决于手术方法，比如，前部，后部或后外侧，虚拟髋臼杯仅显示的部分，其对应于物理髋臼杯对于外科手术入路或手术部位可见的部分。可选择比如，通过光学头戴式显示器以数字方式显示前倾和倾斜的物理值，比如，显示来自虚拟手术计划的患者的期望值以及基于物理杯或试杯地点，位置，方向和/或对准的物理值。如果存在视觉差异，即光学头戴式显示器显示的虚拟杯与物理杯或试杯之间的不完全迭加，或数值差异，比如，虚拟杯前倾和/或虚拟手术计划与物理杯前倾和/或倾斜，外科医生可以在撞击之前校正物理杯的地点，位置，方向和/或对准。
通过使用来自术前数据的患者的三维解剖信息或通过使用术中测值，比如，用于确定髋关节的旋转中心或用于确定期望的前倾的光学标记，外科医生可以以这种方式更准确地操作，从而减少了偏移或不对称衬垫。
值得注意的是，使用光学头戴式显示器以及本发明中描述的或本领域已知的任何配准和互相参照技术，比如，使用包括光学标记或图像捕获的解剖标志或配准或校准模型的配准，可选地使用光学标记或手术导航或患者特异性标记或术中成像，也可以采用相同的步骤和光学头戴式显示器引导的髋臼手术。
本文所述的任何配准技术和/或技术，包括植入式和附接式标记，校准和配准模型，包括光学标记，导航标记，红外标记，射频标记，具有图像捕获和惯性测量单元的发光二极管，可以应用于配准患者的近端股骨和外科医生和/或助手所穿的一个或多个光学头戴式显示器，和/或一个或多个手术器械，钉，钻，锯，铰刀，撞击器，拉刀等，和/或与一个或多个股骨或髋臼植入体，包括金属和/或聚乙烯组件。比如，通过将一个或多个光学标记物和/或患者特异性标记物或模板应用于大转子，小转子，股骨干或股骨颈，虚拟和物理患者实时数据可以在股骨侧互相参照。可选地，钉或螺钉可以插入近端股骨中，比如，在大转子中，其可以用作对准的参考，比如，如果光学标记或患者特异性标记移动。光学标记可以选择性地连接到钉或螺钉上。可以以这种方式使用多个钉或螺钉。虚拟手术计划可包括用于特定股骨组件的期望颈部切割位置。可以设计或选择颈部切割以避免任何偏移问题并且在虚拟手术计划中保持患者的腿部长度。通过配准与光学头戴式显示器相关的光学标记物和/或患者特异性标记物或模板，比如，在与光学头戴式显示器，手术部位，近端股骨的共同坐标系中，光学头戴式显示器可以显示或迭加和/或投射数字全息图，数字全息图显示任何手术器械的所需或预定地点，位置，方向，对准和/或轨迹或预定平面，包括用于执行股骨颈切割的锯。在使用本文所述的任何技术或技术成功配准患者的虚拟和实时数据之后，光学头戴式显示器可以显示期望的三维轨迹，包括针对股骨颈切割的x，y和Z方向上的期望位置，进入点和角度，或者，光学头戴式显示器可以在手术计划中定义的地点，位置，角度方向和轨迹(比如，虚线或箭头)中显示虚拟切割平面和 /或虚拟锯或锯片的一个或多个数字全息图。然后，外科医生可以匹配物理锯，即外科医生可以定向和对准物理锯，使得它与虚拟锯对准或基本上迭加在虚拟锯上(也参见图4A- C)。
或者，光学头戴式显示器可以显示虚拟锯或置位指示物的部分(比如，断线或虚线)或完整二维或三维轮廓的数字全息图，比如，指示锯的预定放置位置和方向的线，比如，虚拟预定内侧放置或位置，虚拟预定横向放置或位置，虚拟预定前部放置或位置，虚拟预定后部放置或位置，虚拟预定上部放置或位置和/或虚拟预定下部放置或位置。或者，光学头戴式显示器可以显示虚拟股骨颈切割平面的数字全息图。
可选地，比如，一旦已经定义了股骨颈上的进入点或者已经在光学头戴式显示器的帮助下确定了锯的期望位置，定位和/或方向，外科医生可以将标准锯导板应用于股骨颈，便于颈部切割。或者，光学头戴式显示器可以在其在股骨颈上的期望位置或定位显示虚拟股骨颈锯导板的数字全息图或其对应的二维或三维轮廓或置位指示物。然后，物理锯导板可以与相应的虚拟锯导板或其对应的二维或三维轮廓或置位指示物对准，所述二维或三维轮廓或置位指示物基于患者虚拟手术计划放置在期望位置，方向和角度。虚拟锯导板可具有与物理锯导板相同或相似的形状和/或一个或多个尺寸或平面。一旦物理锯导板基本上与虚拟锯导板或其相应的由光学头戴式显示器显示的二维或三维轮廓或置位指示物迭加就位，外科医生可选地将物理锯导板固定在适当位置并执行颈部切割。通过使用这些方法中的一种来执行颈部切割，所述方法利用来自术前扫描和/或术中测量(包括，配准) 的患者的准确三维解剖信息，比如，使用光学标记，可以更准确地保留或解决腿长和偏移。
同样，光学头戴式显示器可以投射任何虚拟股骨扩孔器和撞击器的所需地点，位置，方向和轨迹。或者，光学头戴式显示器只能显示虚拟股骨扩孔器或撞击器或置位指示物的部分(比如，折线或虚线)或完整的二维或三维轮廓，比如，表示铰刀或撞击器的预定放置位置和方向的线，比如，虚拟预定内侧放置或位置，虚拟预定横向放置或位置，虚拟预定前部放置或位置，虚拟预定后部放置或位置，虚拟预定上部放置或位置或虚拟预定下部放置或位置或虚拟扩孔轴，比如，穿过铰刀轴的中心轴。光学头戴式显示器还可以显示预定虚拟铰孔和/或拉削轴的数字全息图，其可以提供期望的股骨组件位置，包括偏移和/或前倾中的一个或多个，比如，用于股骨和髋臼部件的复合前倾。虚拟股骨扩孔器和撞击器可以具有与物理股骨扩孔器和撞击器相同或相似的形状和尺寸。然后，外科医生可以将物理股骨扩孔器和撞击器的地点，位置，方向和轨迹(比如，虚线数据中的虚线或箭头指示)与虚拟扩孔器和撞击器或其对应的二维或三维轮廓或置位指示物或虚拟铰孔或拉削轴相匹配，从而减少股骨柄错位和可能不正确的股骨前倾，不正确的股骨偏移或股骨组件角度或腿长差异的可能性。在本发明的一些实施方案中，外科医生可以对准光学头戴式显示器，使得视角垂直于股骨干轴线，或者替代地，股骨颈轴线。然后，光学头戴式显示器可以显示靶心或靶状结构，由此外科医生将瞄准股骨扩孔器，撞击器，股骨试验和物理股骨组件定位在靶心或靶标中心。光学头戴式显示器可以显示所需的入口点，比如，切割股骨颈上的内侧或外侧，前或后位置，和/或基于虚拟手术计划的进入角度，包括比如，虚拟股骨组件放置。光学头戴式显示器还可以显示期望的股骨倾侧(desired femoral version)，比如，通过切割的股骨颈表面上的实线或虚线或箭头或者与切割的股骨颈表面相关联。光学头戴式显示器还可以通过在期望的虚拟位置和定向(orientation)上显示股骨扩孔器，撞击器，股骨试验和最终股骨组件或它们各自的二维或三维轮廓或置位指示物的一个或多个数字全息图来显示期望的股骨倾侧，包括基于虚拟手术计划的股骨倾侧。以这种方式，外科医生可以将物理股骨扩孔器，物理撞击器，物理股骨试验和物理最终股骨组件对准，以与一个或多个虚拟股骨扩孔器，虚拟撞击器，虚拟股骨试验，虚拟最终股骨组件的数字全息图基本对准或迭加，由此在期望的股骨倾侧附近实现结果，并且可选地，基于虚拟手术计划实现腿部长度。
所有上述步骤和光学头戴式显示器引导的股骨手术也可以使用光学头戴式显示器与本发明中描述的或本领域已知的任何其他配准和互相参照技术一起使用，比如，使用解剖标志或植入式和附接式标记，校准和配准模型，包括光学标记，导航标记，红外标记，射频标记，患者特异性标记，具有图像捕获和惯性测量单元的发光二极管。
在本发明的一些实施方案中，超声扫描可用于导出用于设计和产生患者特异性模板的形状信息，比如，用于髋臼侧或股骨侧。可选择以仰卧位和/或直立位置获得超声扫描。通过以直立位置获得超声扫描，可以在负重位置下获得关于股骨-髋臼对准和方向的信息，包括比如，股骨或髋臼前倾，股骨/髋臼/髋屈曲，伸展，外展，内收和/或旋转。通过以仰卧位置获得超声扫描，可以在非负重位置获得关于股骨-髋臼对准和定向的信息，包括比如，股骨或髋臼前倾，股骨/髋臼/髋屈曲，伸展，外展，内收和/或旋转。通过比较来自一个或多个直立和一个或多个仰卧超声扫描的数据，比如，通过比较相应解剖标志的相对运动，可以获得关于骨盆倾斜的信息。来自直立和/或仰卧扫描的信息可用于选择期望的股骨和髋臼组件，包括比如，股骨颈的形状和长度，偏移，股骨头组件以及髋臼组件形状，包括比如，偏置的，近中的，侧向的或有边缘的髋臼组件。来自直立和/或仰卧扫描的信息可用于拟制或调整虚拟手术计划，比如，通过基于直立扫描信息或基于骨盆倾斜的信息改变预定杯位置。使用仰卧和垂直X射线检查可以获得类似信息。
可选地，来自直立和/或仰卧图像数据的信息可用于评估关于骨盆倾斜的信息，反过来，其可被引入手术计划和组件选择中以避免或最小化诸如组件错位的术后并发症的风险。
因此，通过使用本发明的不同实施方案进行髋关节置换，外科医生可以高精度地进行手术，从而减少髋关节置换中常见并发症的可能性，比如，导致髋部脱位或腿长差异的偏移误差或错误髋臼或股骨前倾。选择性，光学头戴式显示器还可以显示敏感的血管或神经结构，从而降低血管损伤或比如，坐骨神经损伤的可能性。
在本发明的一些实施方案中，在光学头戴式显示器引导的髋关节置换手术中执行一个或多个外科手术步骤之后，可以重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。比如，可以使用切割的骨表面来执行重新配准，比如，使用表面形状，表面区域或周边或其他特征重新配准切割股骨颈，或选择图像捕获或机械或物理探针进行测量，以在执行后续外科手术步骤之前匹配，迭加和/或配准患者实时数据和患者虚拟数据，比如，对股管进行扩孔，铣削或冲击以放置股骨组件。比如，可以使用铣削的骨表面来执行重新配准，比如，使用表面形状，表面区域或周边或其他特征的铣削髋臼，选择性用图像捕获或机械或物理探针测量，以在执行后续手术步骤之前匹配，迭加和/或者配准患者实时数据和患者虚拟数据，比如，放置包括试验组件的髋臼组件。
膝关节置换，部分或全部
对于膝关节置换，存在一般的对准和定向建议，其中一些已在综述中进行了总结(Gromov et al.Acta Orthop 2014，85，5，480-487)：中性整体冠状面对准目前是金标准，并且可以针对腿的中性机械轴或2-7°外翻解剖胫骨股骨轴。股骨组件可以放置相对于股骨解剖轴的2-8°冠状外翻位置(比如，2°，3°，4°，5°，6°，7°，8°，2-3°，2°-4°，2-5°，2-6°，2-7°，2-8°，3-4°，3-5°，3-6°，3-7°，3-8°，4-5°，5-6°，5-7°，5-8°，6-7°，6-8°，7-8°)和应避免植入体组件悬垂在骨头上的距离＞3毫米。胫骨组件可以放置在中性冠状面对准 (90°)，同时最大骨覆盖范围和最小(如果有的话)植入体组件悬垂。在矢状平面中，股骨组件可以放置0-3°屈曲(比如，0°，1°，2°，3°，0-1°，0-2°，0-3°，1-2°°，1-3°，2- 3°)，胫骨斜度可以是0-7°(比如，0°，1°，2°，3°，4°，5°，6°，7°，0°-1°，0-2°，0- 3°，0-4°，0-5°，0-b°，0-7°，1-2°，1-3°，1-4°，1-5°，1-b°，1-7°，2-3°，2-4°，2-5°，2- 6°，2-7°，3-4°，3-5°，3-6°，3-7°，4-5°，4-6°，4-7°，5-6°，5-7°，6-7°)。应避免股骨组件内旋，因为股骨组件应相对于手术经胫骨轴置于外旋2-5°(比如，2°，3°，4°，5°，2- 3°，2-4°，2-5°，3-4°，3-5°，4-5°)。还应避免相对于胫骨的中性横轴，胫骨结节轴以及结合的内部胫骨股骨旋转的过度胫骨旋转。
实施方案中描述的任何配准技术和/或技术可以应用于膝关节置换手术，比如，表面重修，部分和全膝关节置换术，包括植入式和附接式标记，校准和配准体模，包括光学标记，导航标记，红外标记，射频标记，患者特异性标记，带图像捕获的发光二极管和惯性测量单元。比如，可以将一个或多个光学标记物和/或患者特异性标记物或模板应用于远端股骨，比如，远端前皮质和/或上滑车，可选择与具有的任何骨赘一起。类似地，可以将一个或多个光学标记物和/或患者特异性标记物或模板应用于近端胫骨，比如，胫骨前部皮质，比如，在胫骨坪区域，可选择与具有的任何骨赘或胫骨脊柱一起。通过将一个或多个光学标记和/或患者特异性标记或模板或任何其他配准技术，包括植入式和附接式标记，校准和配准体模，导航标记，红外标记，射频标记，带图像捕获的发光二极管和惯性测量单元置于患者的相应结构，虚拟数据(比如，从术前成像得出的虚拟数据)和实时数据可以为膝关节置换手术有效地互相参照，并且可以，在共同坐标系中配准，比如，与由外科医生和其外科助理和护士穿戴的一个或多个光学头戴式显示器一起配准。通过相对于光学头戴式显示器配准光学标记和/或患者特异性标记或模板，光学头戴式显示器可以显示或迭加膝盖置换期间所用的任何手术器械的期望地点，位置，方向，对准和/或轴和/或轨迹。
在本发明的一些实施方案中，超声扫描可用于获得远端股骨和/或近端胫骨和/或髌骨的形状信息，比如，用于设计，选择或制造患者特异性标记或模板。比如，附接到保持装置，支架，三脚架等的手持超声波或超声探针可用于对股骨的远端前皮质和上滑车进行成像，可选择具有的任何骨赘一起成像。然后，超声装置可选地用于对近端胫骨，比如，胫骨前部皮质，比如，在胫骨坪区域中成像，可选择与具有的任何骨赘一起成像。然后，超声装置可用于选择性对髌骨成像，比如，髌骨表面，整个髌骨或部分髌骨，比如，上极或下极，内侧或外侧边缘，可选择与具有的任何骨赘一起。可选择对超声数据进行分段。比如，可以得到骨形状和/或软骨形状以及任选的半月板形状(如果存在的话)。此外，有关韧带位置和/或形态测量的信息，包括但不限于，原点，插入，位置，长度，膝关节屈曲，伸展，旋转，内侧副韧带，外侧副韧带，前十字韧带，后十字韧带，髌股韧带或肌腱和股四头肌插入也可选地用超声波捕获。
在一些实施方案中，从超声数据导出的形状信息可选地用于设计，选择和/或制造患者特异性标记或模板，比如，适合于患者远端前皮质和股骨上滑车的模板，可选择与任何骨赘一起存在；或者适合于患者的近端胫骨，比如，前胫骨皮质，比如，在胫骨坪区域，可选择与具有的任何骨赘一起；或者一个或多个适合患者的髌骨，比如，髌骨表面，整个髌骨或部分髌骨，比如，上极或下极，内侧或外侧边缘，可选择与具有的任何骨赘一起。
可选地，超声探针还可以用于对患者髋关节的部分成像，比如，以识别髋关节的中心。可选地，超声探针还可以用于对患者踝关节的部分进行成像，比如，以识别踝榫或踝关节的中心或者冠状平面上的踝关节的1/3或2/3等距离，或选择内侧或外侧踝榫的半径或距离。
可选择以仰卧或直立位置获得膝关节，选择性髋部和选择性踝关节的超声扫描。通过以直立位置获得超声扫描或扫描，可选地，可获得关于机械轴对准的更准确信息，特别是在承重期间。比如，在负重条件下，膝盖的内翻或外翻畸形可能更明显。在负重条件下使用机械轴信息校正内翻或外翻畸形可以比基于非负重信息校正内翻或外翻畸形更准确。在规划任何所需的机械轴校正时，此信息可能是有益的。
可选择在执行髋部扫描和/或踝部扫描以及可选地膝部扫描时捕获超声探针的位置，比如，使用具有图像捕获或视频捕获的光学标记，反射标记，红外标记或射频标记或其他跟踪装置与外科手术导航系统结合使用，或者比如，使用集成到，连接到，耦合到光学头戴式显示器或与光学头戴式显示器分离的图像捕获，或使用一个或多个惯性测量单元。通过以这种方式对髋关节和踝关节以及可选地膝关节成像并且通过在超声扫描期间使用一个或多个附接标记捕获超声探针位置和方向的信息，可以得到关于机械轴和/或患者腿和膝关节的解剖轴。
在一些实施方案中，来自超声波的信息，比如，远端股骨，近端胫骨和/或髌骨可以与来自另一种显像模式的信息组合或融合，比如，核磁共振，计算机断层扫描或X射线。X射线可包括俯卧，仰卧，非承重位置或站立，承重位置的X射线。X射线仅限于膝盖。可以在膝盖的不同姿势中获得X射线，比如，伸展和不同的弯曲角度，承重或非承重。比如，屈曲/伸展X射线可用于获得关于膝关节旋转轴的信息，比如，上髁或滑车轴。X射线还可以包括下肢或整个下肢的其他部分，比如，在承重位置的腿的站立全长X 射线。在承重位置的腿部的站立全长X射线可用于识别髋关节的中心以及踝部榫眼，比如，以估计或导出膝盖的机械轴和/或解剖轴。在本发明的一些实施方案中，从X射线获得的膝关节的机械轴和/或解剖轴和/或旋转轴信息可以包括在源自超声的患者特异性标记或模板中。比如，患者特异性标记的患者特异性超声衍生表面可以调整到患者的选定解剖区域，比如，包括部分上滑车或前胫骨皮质的远端股骨，比如，在胫骨坪区域。患者特异性标记或模板的一个或多个面向外的表面可具有标准形状，并且可选地包括标记或指示物以显示患者膝盖的解剖轴线，患者膝盖的机械轴线，在手术之后期望的患者膝盖的新机械轴，比如，在可选的虚拟手术计划中所定义的，和/或患者的膝盖旋转轴和/或在外科手术之后患者膝盖的期望的新旋转轴，比如，如可选的虚拟手术计划中所定义的。然后，可以在手术期间选择性使用这些外部标记或指示物(包括光学标记)以确认比如，期望的机械轴校正或旋转轴校正或其组合。附着到，集成到，耦合到或与光学头戴式显示器分离的图像和/或视频捕获系统可选地用于使用比如，患者特异性标记或模板上的一个或多个光学标记或指示物来识别这种校正。并且，可选地将它们与虚拟手术计划进行比较。可以识别与虚拟手术计划的任何偏差或差异，并且外科医生或手术者可选地执行对手术技术的修改，比如，使用额外的韧带松解，骨切割或不同的植入体组件，包括比如，不同的内侧，外侧或综合插入高度，插入形状，间隔物和增强物。
在本发明的一些实施方案中，可以在手术期间检查光学标记物或患者特异性标记物的放置的准确性。比如，在膝盖置换中，光学标记物或患者特异性标记物可以放置在远端股骨或近端胫骨或其组合上。视觉或光学标记，比如，发光二极管或激光，可以指示患者的机械轴，比如，通过向髋部和/或踝部的中心投射箭头或光束。或者，机械标记，比如，指向髋部的股骨对准杆或指向踝部的胫骨对准杆可用于指示使用光学标记物或患者特异性标记物确定的患者机械轴。股骨和/或胫骨对准杆可以是集成到，附接到或物理或视觉上可链接到光学标记物或患者特异性标记物。一个或多个光学标记可以集成到股骨和/ 或胫骨对准杆中或附接到股骨和/或胫骨对准杆。
然后，可以使用术中X射线或术中超声或术中计算机断层扫描来确定手术台上的现场患者的髋部的物理中心和/或踝的物理中心，并且可选地，在进行任何校正之前，患者的物理机械轴。如果来自光学标记物或患者特异性标记物的投射机械轴与髋部的物理中心和/或踝部的物理中心重合，则来自光学标记物或患者特异性标记物的放置或信息是准确的。如果来自光学标记物和/或患者特异性标记物的投射机械轴与髋部的物理中心和/或踝部的物理中心不一致，则光学标记物和/或患者特异性标记物的放置不准确，可以重新定位。髋部和/或踝部的物理和投射中心之间的差异程度或量可用于确定所需放置的校正量。或者，光学标记物和/或患者特异性标记物可保留在适当位置；然而，校正可以应用于任何后续配准，其中校正基于物理(来自术中影像学检查)和髋部和/或踝部的投射中心 (来自光学标记物和/或患者特异性标记物)之间的差异程度或量。本领域技术人员可以认识到，放置或校正中的这些类型的校正可以应用于其他测量，比如，旋转轴和其他关节。
一旦已经执行了对光学标记和/或患者特定标记的放置误差的任何校正，如果适用的话，可以执行预期的轴校正，比如，患者的畸形机械轴或旋转轴或两者的校正。
股骨
在本发明的一些实施方案中，一旦使用本发明中描述的任何技术和/或本发明中描述的或本领域已知的任何其他配准技术(包括植入式和附接式标记，校准和配准体模(包括光学标记，导航标记，红外标记，射频标记，患者特异性标记，带有图像捕获的发光二极管和惯性测量单元))来配准股骨，光学头戴式显示器可显示用于执行远端股骨切割的虚拟远端股骨切割块。
图19A-D提供了使用虚拟手术导板(比如，由光学头戴式显示器显示的远端股骨切割块)和物理手术导板(比如，物理远端股骨切割块)的非限制性说明示例。图19A显示了在膝关节置换手术期间暴露的远端股骨300，内侧髁301，外侧髁302和滑车303的患者实时数据。如图19B所示，一个或多个光学头戴式显示器可以显示虚拟远端股骨切割块，比如，以立体方式显示外科医生的左右眼，从而创建虚拟手术导板的电子全息图形式，即虚拟远端切块。在该示例中，虚拟远端股骨切割块304是物理远端股骨切割块的轮廓，其具有与物理远端股骨切割块的尺寸基本相似的尺寸。虚拟远端股骨切割块304 至少部分地基于用于引导远端股骨切割的预定位置的坐标对准，比如，用于实现相对于远端股骨的预定内翻或外翻矫正和/或预定股骨组件屈曲，比如，其解剖学或生物力学轴。如图19C所示，可以移动和对准物理手术导板305，即该实例中的物理远端股骨切割块305(实线)，以与虚拟手术导板304基本迭加或对准，即在该示例中的虚拟远端股骨切割块304(虚线)。由物理远端股骨切割块305遮挡或隐藏的膝关节306的隐藏区域也可选地由光学头戴式显示器显示。如图19D所示，物理远端股骨切割块305可以使用两个钉307附接到远端股骨。这些钉307可用于随后的外科手术步骤，比如，用于参考屈曲间隙或延伸间隙或用于韧带平衡。在该示例中，光学头戴式显示器可以停止显示虚拟手术导板，即虚拟远端股骨切割块，但是可选地继续显示隐藏的解剖结构306。
虚拟远端股骨切割块可具有与物理远端股骨切割块相同或相似的形状和一个或多个尺寸以及一个或多个平面。或者，光学头戴式显示器仅显示虚拟远端股骨切割块的部分 (比如，折线或虚线)或完整的二维或三维轮廓或一个或多个置位指示物，比如，指示远端股骨切割块的预定放置位置和方向的线，比如，虚拟预定内侧边界或定位或位置，虚拟预定横向边界或位置或位置，虚拟预定前边界或定位或位置，虚拟预定后边界或定位或位置，虚拟预定上边界或定位或位置和/或虚拟预定下边界或定位或位置。在虚拟手术计划中，远端股骨切割通常垂直于股骨的机械轴线以恢复机械轴对准，除非外科医生希望保持轻微的内翻畸形，比如，部分情况可能如此，如同部分或者一些全膝关节置换，或者除非外科医生使用不同的对准方法，比如，运动学对准，或者除非外科医生希望为患者保持一定量的预先存在的内翻或外翻对准。然后，外科医生可以采取物理远端股骨切割块并且基本上将物理远端股骨切割块与虚拟远端股骨切割块或其二维或三维轮廓或其由光学头戴式显示器显示的置位指示物对准或迭加。一旦物理远端股骨切割块与虚拟远端股骨切割块或其二维或三维轮廓或由光学头戴式显示器基于患者的虚拟手术计划显示的其置物指示物进行充分对准或迭加，外科医生可以固定或附接物理远端股骨切块到骨头并进行切割。通过利用术前三维数据信息或两者组合的术中测值，在光学头戴式显示器的说明下对准物理远端股骨切割块，外科医生可以精确地执行远端股骨切割，而无需髓内用于进行切割的杆或患者专用器械。或者，光学头戴式显示器可以显示对应于远端股骨切割的虚拟切割平面的数字全息图，并且外科医生可以将锯片与虚拟远端股骨切割平面的数字全息图对准。
可选地，光学头戴式显示器可以显示虚拟股骨对准杆的数字全息图，其可以从远端股骨延伸到髋关节。外科医生可以比较虚拟股骨对准杆与现场患者中的物理股骨对准杆的对准，并评估两者是否与现场患者的髋关节中心对准。如果虚拟和物理股骨对准杆没有彼此对准和/或髋关节的中心对准，外科医生可以检查现场患者中物理对准杆的对准精度，实时数据的配准准确性，患者实时数据和患者虚拟数据的准确性和/或虚拟手术计划的准确性。然后，外科医生可以选择性地调整现场患者，配准或虚拟手术计划中的物理对准杆的对准。
然后，外科医生可以比如，选择在光学头戴式显示器中显示或投影虚拟股骨正位切割块的数字全息图。虚拟股骨正位切割块可以具有与物理股骨正位切割块相同或相似的形状和尺寸。光学头戴式显示器可以显示虚拟股骨正位切割块或虚拟远端股骨切割块或置位指示物的部分(比如，折线或虚线)或完整的二维或三维轮廓，比如，指示正位股骨切割块的预定放置位置和方向的平面或线，比如，虚拟预定内侧边界或定位或位置，虚拟预定横向边界或定位或位置，虚拟预定前边界或定位或位置，虚拟预定后边界或定位或位置，虚拟预定上边界或定位或位置和/或虚拟预定的下边界或定位或位置。虚拟手术计划可包括虚拟股骨正位切割块的预定位置和旋转。股骨正位切割块的旋转可以确定所得的股骨前切割和后股骨切割相对于股骨轴的旋转，并且由此可以确定股骨组件植入体旋转。光学头戴式显示器可以显示虚拟股骨正位切割块或其二维或三维轮廓或一个或多个放置指示物。
图20A-C提供了使用虚拟手术导板(比如，由光学头戴式显示器显示的正位股骨切割块)和物理手术导板(比如，用于膝关节置换的物理正位切割块)的非限制性说明示例。图20A显示了在远端股骨切割之后在膝关节置换手术期间暴露的远端股骨300的患者实时数据，远端股骨切割产生平面远端表面310，内侧髁301，外侧髁302和滑车 303。如图20B所示，一个或多个光学头戴式显示器可以显示虚拟股骨正位切割块312，比如，以立体方式为外科医生的左右眼创建虚拟手术导板的电子或数字全息图形式，即虚拟股骨正位切割块312。在该示例中，虚拟股骨正位切割块312是物理股骨正位切割块的轮廓，其具有与物理股骨正位切割块类似的尺寸，边缘或平面。虚拟股骨正位切割块312 至少部分地基于预定位置的坐标对准，用于引导不同的骨切割，比如，取决于物理股骨正位切割块的构造，比如，用于实现预定的股骨组件旋转，前切割，后切割和/或倒角切割。如图20C所示，物理手术导板314，即该实例中的物理股骨正位切割块314(实线)，可以移动和对准以与虚拟手术导板312基本迭加或对准，即虚拟股骨正位切割块在该示例中为312(虚线)。可以使用钉(未显示)将物理股骨正位切割块附接到远端股骨，并且可以执行切割。可选地基于使用物理股骨正位切割块执行的一个或多个切割，来参考后续手术步骤。
外科医生可以将物理股骨正位切割块与虚拟股骨正位切割块的数字全息图或其二维或三维轮廓或由光学头戴式显示器投射的一个或多个置位指示物对准或基本上迭加。一旦实现了物理正位切割块与虚拟正位切割块或其二维或三维轮廓或光学头戴式显示器显示的一个或多个置位指示物的充分对准或迭加，外科医生可以固定物理正位切割块并执行切割。通过利用术前三维数据信息或术中信息，比如，从光学标记和图像或视频捕获测量的，在光学头戴式显示器的帮助下，对准和旋转物理股骨正位切割块的位置，外科医生可以高度准确地执行前后股骨切割，从而准确旋转对准股骨组件。相同的方法和显示选项，比如，虚拟切割块，二维或三维轮廓或一个或多个置位指示物，可以应用于所有后续的股骨准备步骤，包括倒角切割和倒角切割块。
值得注意的是，类似的步骤和光学头戴式显示器引导的股骨手术也可以使用光学头戴式显示器与本发明中描述的或本领域已知的任何其他配准和互相参照技术，比如，术中图像引导。
胫骨
在本发明的一些实施方案中，一旦使用本发明中描述的或本领域已知的任何技术配准胫骨，包括比如，植入式和附接式标记物，校准和配准体模，包括光学标记物，导航标记物，红外标记物，射频标记，患者特异性标记，带有图像捕获的发光二极管和惯性测量单元，光学头戴式显示器可显示虚拟近端胫骨切割块，用于执行近端胫骨切割。或者，光学头戴式显示器仅显示虚拟近端胫骨切割块的部分(比如，折线或虚线)或完整的二维或三维轮廓或一个或多个置位指示物，比如，指示近端胫骨切割块的预定放置位置和方向的线，比如，虚拟预定内侧边界或定位或位置，虚拟预定横向边界或位置或位置，虚拟预定前边界或定位或位置，虚拟预定后边界或定位或位置，虚拟预定上边界或定位或位置和/ 或虚拟预定下边界或定位或位置。虚拟近端胫骨切割块可以具有与物理近端胫骨切割块相同或相似的形状和尺寸，或者它可以具有与物理近端胫骨切割块或导板相同的至少一个或多个尺寸或平面。
图21A-F的非限制性说明示例说明如何使用虚拟手术导板，比如，由光学头戴式显示器显示的虚拟近端胫骨切割导板，和物理手术导板，比如，物理近端胫骨切割导板。图21A显示了在膝关节置换手术期间暴露的近端胫骨330，内侧胫骨坪331，外侧胫骨坪 332和内侧胫骨脊333以及外侧胫骨脊334的患者实时数据。如图21B所示，一个或多个光学头戴式显示器可以显示虚拟近端胫骨导板，比如，以立体方式显示外科医生的左右眼，从而创建虚拟手术导板的电子全息图形式，即虚拟近端胫骨切割导板。在该示例中，虚拟近端胫骨切割导板336可以是物理近端胫骨切割导板的轮廓，其具有与物理近端胫骨切割导板的尺寸基本相似的尺寸。虚拟近端胫骨切割导板336至少部分地基于用于引导近端胫骨切割的预定位置的坐标对准，比如，用于实现相对于近端胫骨的预定内翻或外翻矫正和/或预定斜度，并且比如，其解剖学或生物力学轴。如图21C所示，物理手术导板338，即该实例中的物理近端胫骨切割导板338(实线)，可以移动和对准以与虚拟手术导板336基本迭加或对准，即在该示例中的虚拟近端胫骨切割导板336(虚线)。注意物理近端胫骨切割导板338中的两个钉孔339。如图21D所示，物理近端胫骨切割导板 338可使用两个钉340附接到近端胫骨骨。这些钉307可用于随后的外科手术步骤，比如，用于参考屈曲间隙或延伸间隙或用于韧带平衡。在图21E中，图21B显示了替代实施方案。一个或多个光学头戴式显示器可以例如以立体方式显示虚拟近端胫骨切割平面 342，以用于外科医生的左右眼，从而创建虚拟胫骨切割平面的电子全息图形式。在该示例中，虚拟近端胫骨切割平面342与用于物理近端胫骨切割导板的预定切割平面平行并且基本上对准并迭加。虚拟近端胫骨切割平面342至少部分地基于用于近端胫骨切割的预定位置的坐标对准，比如，用于实现相对于近端胫骨的预定内翻或外翻矫正和/或预定斜度，并且比如，其解剖学或生物力学轴。然后，对准物理锯片或用于对准物理近端胫骨切割导板中的物理锯片的槽或用于将锯片容纳在物理近端胫骨切割导板中的开放引导区域，并且至少部分地与虚拟近端胫骨切割平面342迭加。在图21F中，显示了图21B的替代实施方案。一个或多个光学头戴式显示器可以显示两个或更多个虚拟钻头或钉344 以用于放置在近端胫骨中，比如，以立体方式用于外科医生的左右眼，从而创建虚拟胫骨钉或钻头的电子全息图。在该示例中，虚拟钻头或钉344可以是物理钉或钻头的轮廓或突出路径，其可用于将物理近端胫骨切割导板固定到近端胫骨。虚拟钻头或钉344至少部分地基于用于引导近端胫骨切割的预定位置的坐标对准，比如，用于实现相对于近端胫骨的预定内翻或外翻矫正和/或预定斜度，并且比如，其解剖学或生物力学轴。然后，物理钻头或钉(未显示)可与虚拟钻头或钉344对准并迭置，并放置在近端胫骨中。然后可以将物理近端胫骨切割导板附接到物理钉，并且可以执行近端胫骨切割。
在本发明的一些实施方案中，物理和相应的虚拟近端胫骨导板或物理和相应的虚拟远端股骨导板也可以是导向杆，其中物理导板可用于将两个或更多个钉放置在骨中，用于附接用于后续手术步骤的物理切割导板。用于对准物理与虚拟导板的实施方案，如图19B和图19C，图20B和图20C以及图21B和图21C所示，也可以应用于导向杆。
本领域技术人员可以认识到，虚拟和物理手术导板(包括切割导板和导向杆)的使用可以应用于人体和脊柱的任何关节。
在虚拟手术计划中，近端胫骨切割可垂直于胫骨的机械轴线，以恢复中性机械轴对准，除非外科医生希望保持轻度内翻畸形，比如，部分情况可能如一些全膝关节置换，或者除非外科医生使用不同的对准方法，比如，运动学对准，或者除非外科医生希望为患者保持一定量的预先存在的内翻或外翻对准。然后，外科医生可以采用物理近端胫骨切割块并且基本上将物理近端胫骨切割块与虚拟近端胫骨切割块或其二维或三维轮廓或其由光学头戴式显示器显示的置位指示物对准或迭加。虚拟手术计划和/或术中测值可选地不仅确定近端胫骨切割与腿的机械轴线的对准，而且还可以确定近端胫骨在矢状面切割的前后斜度。在一些实施方案中，外科医生，手术者或半自动或自动软件可以选择以固定的矢状斜度切割近端胫骨，比如，5度或7度或3度，比如，使用十字固定(Cruciate Retaining， CR)膝关节置换系统。或者外科医生，手术者或半自动或自动软件可以选择用固定的矢状斜度切割近端胫骨，比如，0度或2度或3度，比如，用后置替代(Posterior Substituting，PS)膝关节置换系统。或者外科医生，手术者或半自动或自动软件可以选择用患者特定斜度切割近端胫骨，其可以与原生的、未操作的内侧胫骨坪的内侧斜度，原生的、未操作的外侧胫骨坪的外侧斜度，或其组合或平均值相同或自其衍生斜度。一旦物理的近端胫骨切割块与基于患者的虚拟手术计划和/或术中测量由光学头戴式显示器显示的虚拟近端胫骨切割块的虚拟图像或其二维或三维轮廓或其置物指示物充分对准或迭加，且达到测量结果时，外科医生可以将物理的近端胫骨切割块固定并执行切割，然后切割可以反映与所需的机械轴校正和所需的胫骨斜度的对准。通过在光学头戴式显示器的帮助下利用术前三维数据信息和/或术中测值和/或信息来对准物理近端胫骨切割块，外科医生可以精确地执行近端胫骨切割，而无需髓内针或患者专用器械进行切割。同时，外科医生依然有能力进行术中调整，这可以像手动移动远端或其他股骨切割块或移动近端胫骨切割块或其他胫骨切割块一样简单，比如，也可以使用触笔类设备，比如，用于检查和测量斜度。通过在光学头戴式显示器中显示最终期望的植入体位置或相应的虚拟手术器械的预定位置 (考虑用此调整物理手术器械)，可以对照虚拟手术计划和/或术中测值来检查此类调整。任何虚拟手术器械和任何物理手术器械之间的对准的任何差异可以通过光学头戴式显示器以数值表示，比如，以毫米为单位的距离或以度为单位的角度，比如，股骨组件的外部旋转的差异。如果外科医生或手术者选择进行比如，胫骨斜坡或股骨或胫骨切割水平的调整，则可以修改虚拟手术计划中的任何后续步骤。
值得注意的是，通过使用光学头戴式显示器以及本发明中描述的或本领域已知的任何其他配准和互相参照技术，比如，使用术中图像引导和植入式和附接式标记，校准和配准体模，包括光学标记，导航标记，红外标记，射频标记，患者特异性标记，带图像捕获的发光二极管和惯性测量单元，也可以使用相同的步骤和光学头戴式显示器引导的胫骨手术。
胫骨模板或胫骨基部试验可用于备置近端胫骨以接受胫骨植入体组件。可以使用钻头来移除近端胫骨中心的骨骼，以接受胫骨组件的龙骨的中心孔。龙骨冲头可用于冲出空间以接纳胫骨组件的龙骨翼。胫骨龙骨和龙骨翼的最终就位和定向可以确定胫骨植入体的旋转。准确的胫骨旋转，比如，与原生膝关节的旋转轴对准，其重要目的是避免术后疼痛。
在本发明的一些实施方案中，光学头戴式显示器可以显示虚拟胫骨模板或虚拟胫骨基础试验的数字全息图以及虚拟胫骨钻塔和虚拟龙骨冲头。根据所用膝关节置换系统的配置和手术技术，可以显示其他虚拟胫骨准备器械。或者，光学头戴式显示器只能显示虚拟胫骨模板或虚拟胫骨基础试验的部分(比如，折线或虚线)或完整的二维或三维轮廓，以及虚拟胫骨钻塔和虚拟龙骨冲头或其他虚拟胫骨准备器械或置位指示物，比如，虚拟预定内侧边界或定位或位置，虚拟预定横向边界或位置或位置，虚拟预定前边界或定位或位置，虚拟预定后边界或定位或位置，虚拟预定上边界或定位或位置和/或虚拟预定下边界或定位或位置。虚拟胫骨模板或胫骨基础试验以及虚拟胫骨钻塔(virtual tibialdrill towers)和虚拟龙骨冲头以及其他虚拟胫骨准备器械(virtual tibiaI preparationinstruments)可以具有与物理胫骨模板或物理胫骨基础试验(physical tibial basetrial)以及物理胫骨钻塔和物理龙骨冲头(physical keelpunch)和物理胫骨准备器械相同或相似的形状和尺寸。在虚拟手术计划中，虚拟胫骨模板或胫骨基础试验以及虚拟胫骨钻塔和虚拟龙骨冲头和虚拟胫骨准备器械可以对准的方式是，如有意向，以实现最终植入的物理胫骨托件(physical tibial tray)相对于未手术膝盖的胫骨的原始旋转轴线，接近零胫骨旋转误差。外科医生或手术者可以选择偏离零旋转并且可以选择性地将1，2，3度或更多度的内部或外部胫骨组件旋转添加到虚拟手术计划和/或术中测值。
对于胫骨准备的每一步骤，基于虚拟手术计划，光学头戴式显示器可以显示所用虚拟胫骨器械的数字全息图或其二维或三维轮廓或其置位指示物及其期望的对准和旋转。然后，外科医生可以将对应的物理胫骨器械与虚拟胫骨器械或其(他们的)二维或三维轮廓或其(它们的)置位指示物对准或迭加，从而对照虚拟手术计划和/或术中测值实现物理胫骨器械的期望对准和/或旋转。如果需要，光学头戴式显示器可以使用数字全息图显示所有虚拟胫骨准备工具和器械，包括虚拟胫骨模板或虚拟胫骨基础试验以及虚拟胫骨钻，钻塔或锯和龙骨冲头。或者，光学头戴式显示器可以显示三维轮廓的数字全息图或虚拟胫骨器械的置位指示物。可选地，光学头戴式显示器只能显示用于设置胫骨组件对准和旋转的关键器械。通过利用术前三维数据信息和/或术中测值和/或信息来确定虚拟胫骨准备器械的位置，对准和旋转，胫骨试验和最终胫骨组件或其各自的二维或三维轮廓或置位指示物和在光学头戴式显示器的帮助下，外科医生可以通过将物理器械和组件与虚拟器械和组件的对准和旋转或它们各自的二维或三维轮廓或置位指示物相匹配，准确地执行物理胫骨准备，从而实现精确旋转胫骨组件的对准。
可选地，光学头戴式显示器可以显示虚拟胫骨对准杆的数字全息图，其可以从近端胫骨延伸到踝关节。外科医生可以比较虚拟胫骨对准杆与现场患者中的物理胫骨对准杆的对准，并评估两者是否与现场患者的踝关节中的期望位置对准。如果虚拟和物理胫骨对准杆彼此不对准和/或未对准踝关节中的期望位置，则外科医生可以检查现场患者中物理对准杆的对准精度，患者实时数据和患者虚拟数据的对准精度，和/或虚拟手术计划和/或术中测值的准确性。然后，外科医生可以选择性地调整现场患者，配准或虚拟手术计划中的物理对准杆的对准。
值得注意的是，使用光学头戴式显示器以及本发明中描述的或本领域已知的其他配准和互相参照技术，包括植入式和附接式标记，校准和配准体模(包括光学标记，导航标记，红外标记，射频标记，患者特异性标记，带图像捕获的发光二极管和惯性测量单元)，也可以使用相同的步骤和光学头戴式显示器引导的胫骨手术。
髌骨
在本发明的一些实施方案中，一种或多种光学标记和/或患者特异性标记或模板或其组合可以应用于髌骨或髌骨表面或部分髌骨，比如，上极或下极，内侧或外侧边缘，可选择与具有的任何骨赘一起。通过将一种或多种光学标记物和/或患者特异性标记物或模板应用于患者的相应结构或使用本发明中描述的或本领域已知的任何其他技术和技术，比如，植入式和附接式标记，校准和配准模型，导航标记，红外标记，射频标记，带图像捕获和惯性测量单元的发光二极管，虚拟数据和实时数据可以有效地互相参照，用于髌骨置换或部分或完全表面重修。通过配准与光学头戴式显示器相关的光学标记和/或患者特异性标记或模板，比如，在与光学头戴式显示器和股骨，胫骨和髌骨的共同坐标系中，或者通过使用本发明中描述的任何配准技术将光学头戴式显示器与患者实时数据和虚拟数据相关联地配准，光学头戴式显示器可以显示或迭加数位全息图，指示在髌骨置换或部分或完全表面重修期间所用任何手术器械的所需地点，位置，方向，对准和/或轨迹，包括髌骨准备器械的虚拟显示，髌骨准备器械的二维或三维轮廓或预定置位指示物的虚拟显示。
在本发明的一些实施方案中，一旦髌骨使用本发明中描述的任何技术进行配准，包括比如，植入式和附接式标记，校准和配准体模，包括光学标记，导航标记，红外标记，射频标记，患者特异性标记，带有图像捕获的发光二极管和惯性测量单元，光学头戴式显示器可以显示或投影虚拟髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置，预定铣削轴和/或髌骨切割块或其他用于进行髌骨切割或髌骨准备的髌骨准备器械的数字全息图。或者，光学头戴式显示器只能显示虚拟髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和 /或髌骨切割块或其他髌骨准备器械的部分(比如，折线或虚线)或完整的二维或三维轮廓或置位指示物，比如，表示虚拟髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和/ 或髌骨切割块或其他髌骨准备器械(比如，髌骨切割块)的预定放置位置和方向的线，比如，虚拟预定内侧边界或定位或位置，虚拟预定横向边界或位置或位置，虚拟预定前边界或定位或位置，虚拟预定后边界或定位或位置，虚拟预定上边界或定位或位置和/或虚拟预定下边界或定位或位置。虚拟髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和/或髌骨切割和/或其他髌骨准备器械块的数字全息图可具有相同或相似的形状以及至少与相应的物理髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械相同的一个或多个尺寸或平面。在虚拟手术计划中，可以规划髌骨切割或铣削，比如，在为特定髌骨植入体或置换和/或特定患者解剖结构选择的期望切除深度或角度，和/或基于髌骨形状，髌骨跟踪，髌股运动或膝盖旋转轴。然后，外科医生可以采用物理髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械，并基本上对准或迭加物理髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和/ 或髌骨切割块和/或其他髌骨准备器械，和光学头戴式显示器显示的相应虚拟髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械，或其各自的虚拟轮廓或置位指示物。一旦物理髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械，与虚拟髌骨夹，髌骨工具，髌骨切割设备，髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械的数字全息图或由光学头戴式显示器基于患者的虚拟手术计划和/或术中测值显示的其各自的轮廓或置位指示物充分对准或迭加，外科医生可选地钉住或固定物理虚拟髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械，并进行切割或铣削。通过利用术前三维数据信息或术中数据和/或测量或其组合来对准物理虚拟髌骨夹，髌骨工具，髌骨切割装置，髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械，在光学头戴式显示器的帮助下，外科医生可以高度精确地进行髌骨切割或铣削。
本发明中描述的髌骨手术也可以使用本发明中描述的或本领域已知的任何其他配准技术来实施，包括植入式和附接式标记，校准和配准模型，包括光学标记，导航标记，红外标记，射频标记，患者特异性标记物，带有图像捕获的发光二极管和惯性测量单元。比如，使用集成到，连接到，耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和 /或视频捕获系统，可以对髌骨形状或表面或轮廓成像。可以将该信息与关于髌骨形状或表面或轮廓的术前成像信息进行比较，并且可选地进行匹配以用于配准。可以使用本发明中描述的或本领域已知的任何其他配准技术，包括但不限于，手术导航。可选地，包括比如，陀螺仪，磁力计和加速度计的惯性测量单元可以在手术期间或手术前应用于髌骨。
在本发明的一些实施方案中，在光学头戴式显示器引导的膝关节置换手术中执行一个或多个外科手术步骤之后，可以重复使用本文描述的技术配准患者虚拟数据和患者实时数据。在该情况下，现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征，可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配，迭加和/或配准。在手术组织改变之后匹配，迭加和/或配准患者实时数据和患者虚拟数据，可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备，包括植入式和附接式标记，校准和配准体模，包括光学标记，导航标记，红外标记，射频标记，患者特异性标记，具有图像捕获的发光二极管和惯性测量单元。比如，可以使用骨切割表面，例如使用表面形状、表面面积或周长或其他特征的远端股骨来执行重新配准，以在执行后续外科手术步骤之前匹配，迭加和/或配准患者实时数据和患者虚拟数据。
本领域技术人员可以将针对脊柱手术，膝关节置换和髋关节置换所描述的相同概念和实施方案应用于人体的其他手术，比如，修复或重建前十字韧带，后十字韧带，其他韧带，肩部置换，踝关节置换和/或手腕置换。比如，光学头戴式显示器可以显示或投影一个或多个手术器械，试验植入体或植入体组件或手术器械的一个或多个轮廓或轴，试验植入体或植入体组件或预定起始点，预定的起始位置，预定的起始方向/对准，预定的中间点，预定的中间位置，预定的中间方向/对准，预定的结束点，预定的结束位置，预定的结束方向/对准，预定的路径，预定的平面，预定的切割平面，投影外形/轮廓/横截面/表面特征/形状/投影，预定深度标记或深度计，预定角度/方向/旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械(包括虚拟手术导板或切割块)，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置/植入体/植入体组件/手术器械/手术工具的估计/投射的非可视化部分，和/或肩部置换的预定组织改变/变更中的一个或多个的数字全息图，其中一个或多个数字全息图可用于确定肱骨切除(humeralresection)，臂长，关节盂组件倾侧(glenoid component version)，定向和/或位置，肱骨组件倾侧，定向和/或位置。
光学头戴式显示器可以显示或投影一个或多个手术器械，试验植入体或植入体组件或手术器械的一个或多个轮廓或轴，试验植入体或植入体组件或预定起始点，预定的起始位置，预定的起始方向/对准，预定的中间点，预定的中间位置，预定的中间方向/对准，预定的结束点，预定的结束位置，预定的结束方向/对准，预定的路径，预定的平面，预定的切割平面，投影外形/轮廓/横截面/表面特征/形状/投影，预定深度标记或深度计，预定角度/方向/旋转标记，预定轴，比如，旋转轴，弯曲轴，延伸轴，虚拟手术工具的预定轴，虚拟手术器械(包括虚拟手术导板或切割块)，虚拟试验植入体，虚拟植入体组件，植入体或装置，用于一个或多个装置/植入体/植入体组件/手术器械/手术工具的估计/投射的非可视化部分，和/或脚踝置换的预定组织改变/变更中的一个或多个的数字全息图，其中一个或多个数字全息图可用于显示或投射具有所需坐标，角度，方向和/或对准的预定胫骨切除和/或距骨切除(talar resection)以实现期望的脚踝对准，包括冠状面植入体组件对准，矢状面植入体组件对准中的至少一个，包括屈曲和轴向平面组件对准或旋转矢状平面植入体组件对准(包括屈曲和轴向平面组件对准或旋转)。
前交叉韧带(Anterior Cruciate Ligament，ACL)的修复和/或重建
使用本发明的各方面进行前交叉韧带修复的以下实施方案和描述仅仅是示例性的，并不意味着限制本发明。可以应用或使用说明书中描述的任何方法。任何成像技术，患者定位技术，配准技术，用于拟制包括在不同屈曲和伸展或旋转角度的手术计划的方法，显示虚拟和患者实时数据可以应用于本说明书中的任何其他实施方案，包括，用于比如，膝关节置换，髋关节置换，椎弓根螺钉放置和脊柱融合，以及椎体成形术或椎体后凸成形术。
前十字韧带(前交叉韧带)的撕裂是人类膝关节最常见的损伤之一。它们可能导致膝盖不稳定，比如，屈曲或弯曲膝盖。前交叉韧带撕裂的手术治疗可包括自体移植物或同种异体移植物或另一种移植物材料的放置。可以使用所谓的单束技术或双束技术来执行前交叉韧带修复。
前交叉韧带修复或重建的目的是恢复膝关节不稳或膝关节缺损患者的正常膝关节运动。前交叉韧带的解剖重建可以帮助恢复正常的膝关节运动，并减少前交叉韧带损伤后发生膝关节骨性关节炎的可能性。在解剖学上，已经描述了前交叉韧带的两个不同部分或束，即前内侧束和后外侧束。
可以使用所谓的单束技术或双束技术来执行前交叉韧带重建。手术前交叉韧带重建的目标之一包括将移植组织置于等长位置以恢复膝关节功能，并减少术后移植物并发症和移植物失败的可能性。将移植物放置在天然撕裂的前交叉韧带附近或位置具有以下益处：前交叉韧带移植物被放置在确保主要是等长韧带功能的位置，这可以帮助移植物的长期存活。
外科医生通常会尝试将前交叉韧带移植物放置在原生撕裂前交叉韧带的位置和/或方向上。需要放置股骨和胫骨骨隧道以容纳移植物。股骨隧道从后股骨皮质延伸到股骨凹口的区域，通常是原生前交叉韧带的原点所在的区域。胫骨管通常从内侧胫骨脊延伸，原生的撕裂的前交叉韧带附着到前内侧胫骨皮质。锚通常被放置在将假体植入股骨和/或离开胫骨的区域中。
可以在预定位置和/或方向上选择隧道位置以实现这种等距功能。隧道位置可以放置在预定位置和/或方向上，使得股骨隧道将在前交叉韧带的起点附近离开远端股骨。胫骨隧道可以放置在预定位置和/或方向上，使得它在内侧胫骨脊上插入前交叉韧带附近进入近端胫骨。股骨和/或胫骨隧道的角度和/或方向可以放置在预定位置和/或方向上，使得它类似于原生前交叉韧带的自然角度和/或方向，或者可选地，与患者的原生前交叉韧带的天然方向不同。如果使用单束技术，则股骨和/或胫骨隧道的角度和/或方向(包括它们的入口和出口区域)可以指向预定位置和/或方向，使得移植物的位置和/或方向是前交叉韧带的前内侧束的位置和/或方向与前交叉韧带的后外侧束之间的折衷。经胫骨技术可以用作隧道放置的方法，其中股骨隧道可以通过胫骨隧道在预定位置和/或方向上钻孔。这样做的好处是可以连接两个隧道。或者，可以首先在预定位置和/或方向上钻胫骨隧道，比如，通过胫骨前部皮肤中的小切割，然后钻出股骨隧道，比如，通过小切口和入口进入膝关节。可选地，隧道位置可以通过关节镜可视化放置在预定位置和/或方向，比如，通过评估股骨和/或胫骨上残留前交叉韧带纤维的位置。将移植物放置在预期位置和/或方向之外可能是由于股骨和/或胫骨隧道的错误放置引起的。一个或两个隧道的错误放置和移植物的不正确放置可能导致膝关节功能的限制和移植物的早期磨损。
图22A的正位和22B的侧视图说明了包括前内侧和后外侧纤维的示例性正常前交叉韧带360。股骨侧的曲线虚线表示髁间凹陷区域/顶部361。
图22C的正位和22D的侧视图说明了股骨侧和胫骨侧上的示例性前交叉韧带隧道362(实线)。股骨侧的曲线虚线表示髁间凹陷区域/顶部361。
成像
在本发明的一些实施方案中，患者可以进行术前或术中扫描，比如，计算机断层扫描扫描，核磁共振扫描或超声扫描。可选地，股骨和胫骨可以被分段并以二维或三维显示。在一些实施方案中，可以识别撕裂的原生前交叉韧带的原点和插入。替代地或另外地，可以识别撕裂的原生前交叉韧带的一个或多个部分。该信息可用于拟制用于使用光学头戴式显示器引导放置股骨和/或胫骨隧道或移植物的虚拟手术计划，比如，通过显示一个或多个虚拟股骨或胫骨隧道或一个或多个虚拟移植物。
比如，如果使用核磁共振扫描，则可以将核磁共振数据导入软件程序以分割股骨和/ 或胫骨。为此，可以选择T1加权的核磁共振序列而不抑制脂肪。在没有脂肪抑制的T1加权序列上，骨髓空间可以显示中到高信号强度。骨髓空间受低信号强度皮质骨的限制。可以比如，使用阈值算法或种子生长算法或活动轮廓或水平集技术或本领域已知的任何其他算法或技术来分割高强度骨髓空间。可以添加两毫米或三毫米或其他厚度的皮质骨和软骨下骨包膜。可以使用参考数据库来应用厚度包膜，比如，对于已知尺寸或大小的骨骼。皮质骨或软骨下骨包膜的厚度可以根据胫骨或股骨上的位置而变化。可以基于解剖学参考数据导出厚度。或者，可以使用本领域已知的任何方法和/或算法对皮质骨和软骨下骨进行分割。可选择生成数据的三维图像。或者，可以显示原始二维数据。外科医生可以使用指针或标记工具来标记撕裂的原生前交叉韧带和撕裂的前交叉韧带的插入。可以分别标记前内侧束和后外侧束的原点和插入位置。任何前交叉韧带残余物或其部分可由外科医生或手术者标记。
如果使用计算机断层扫描扫描，则可以将计算机断层扫描数据导入软件程序以使用比如，阈值或等值面算法来分割股骨和/或胫骨。可选择应用检测表面粗糙度的算法，并且基于该信息识别前交叉韧带的股骨原物。或者，可以在二维或三维图像上目视检查后外侧股骨凹口中的股骨表面以识别前交叉韧带的原点。可以识别内侧胫骨脊柱以标记前交叉韧带的插入。
如果使用超声波，可以在二维中显示股骨和胫骨。可选择将超声数据导入软件程序中以分割股骨和/或胫骨。可选地识别前交叉韧带的残余股骨纤维以确定天然前交叉韧带原点的位置。或者，前交叉韧带原点位置的股骨表面粗糙度可用于此目的。可以识别内侧胫骨脊柱以标记前交叉韧带的插入。可以使用本领域已知的任何其他影像学检查。
可选择在超声图像或超声数据上识别内侧和外侧股骨髁；可选择在超声图像或超声数据上识别内侧和外侧胫骨坪。其他解剖学标志，表面和特征(比如，如下表中提供的标题为“用于配准针对前交叉韧带修复/重建的虚拟和实时数据的膝盖中的示例性解剖标志，表面和特征，所述虚拟和实时数据包括可选的术前和术中图像数据”)可以被识别。可选地，通过将一个或多个解剖学标志，表面和特征与参考患者和/或参考股骨形状和/或参考胫骨形状的参考数据库中的数据进行比较，并且通过选择最接近匹配所选择的解剖标志，表面或特征的远端股骨和/或近端胫骨的三维模型，可以使用远端股骨和/或近端胫骨的这些解剖标志，表面和特征中的一个或多个来识别标准股骨形状或标准胫骨形状。以这种方式，可以估计患者骨骼的三维形状，比如，远端股骨和/或远端胫骨，而无需获取三维数据或不需要分割三维数据或限制所需的分割量。参考数据库可以来自尸体数据的解剖学参考数据库。参考数据库还可以是扫描数据，比如，在NIH骨关节炎计划中获得的或从图像数据采集的扫描数据，以产生用于膝关节置换的患者特异性器械。
如果使用一个或多个X射线，它们可以比如，在膝盖(或后前位)的正位投影和膝盖的侧向投影中获得。如本领域中已知的，其他视图是可能的，比如，隧道视图，商家视图，髌骨视图，倾斜视图，站立视图，仰卧视图，俯视图。可选择在正位/后前位和/或侧视图和/或倾斜视图上识别内侧和外侧股骨髁；可选择在正位/后前位和/或侧视图和/或倾斜视图上识别内侧和外侧胫骨坪。可以识别其他解剖标志，表面和特征(比如，如表 12中所提供的)。可选地，通过将一个或多个解剖学标志，表面和特征与参考患者和/或参考股骨形状和/或参考胫骨形状的参考数据库中的数据进行比较，并且通过选择最接近匹配所选择的解剖标志，表面或特征的远端股骨和/或近端胫骨的三维模型，可以使用远端股骨和/或近端胫骨的这些解剖标志，表面和特征中的一个或多个来识别标准股骨形状或标准胫骨形状。以这种方式，可以估计患者骨骼的三维形状，比如，远端股骨和/或远端胫骨，而无需获取三维数据或不需要分割三维数据或限制所需的分割量。参考数据库可以来自尸体数据的解剖学参考数据库。参考数据库还可以是扫描数据，比如，在NIH骨关节炎计划中获得的或从图像数据采集的扫描数据，以产生用于膝关节置换的患者特异性器械。
值得注意的是，使用二维图像数据或三维图像数据，比如，X射线，超声，计算机断层扫描或核磁共振，结合一个或多个选定解剖结构的三维形状的参考数据库，比如，用于减少或限制或消除获取三维数据或用于分割二维或三维数据的需要的骨骼，软骨和器官，适用于整个说明书中的本发明的任何实施方案，包括用于所有其他临床应用，比如，髋关节置换，膝关节置换，脊柱外科手术，脊柱融合术，椎体成形术，椎体后凸成形术，骨折固定术，脑外科手术，肝脏手术，癌症手术等。
虚拟手术计划
通过使用任何前述方法或本领域已知的任何其他方法识别患者原生前交叉韧带的原点和插入或残余物的位置，外科医生或软件可以使用二维或者二维或者三维图像数据或可选地运动学数据(kinematic data)，比如，模拟膝盖弯曲和/或伸展和/或旋转的数据，拟制/生成虚拟手术计划。比如，软件可以显示患者虚拟数据，比如，图像数据。外科医生或软件可以选择性为给定患者选择期望尺寸或直径的股骨隧道和/或胫骨隧道。可以选择隧道的直径和尺寸，比如，基于患者骨骼的大小，患者肌腱的尺寸，比如，如果考虑肌腱自体移植物，患者髌腱的尺寸，比如，如果考虑髌骨自体移植物，患者的半腱肌腱的大小，比如，如果考虑半腱肌自体移植物，或同种异体移植物或人工移植物的预期大小或施加到移植物的预期生物力学负荷或应力；相同或相似或其他参数也可用于选择移植物的股骨和/或胫骨锚，其可包括一个或多个挤压螺钉或包括纽扣型锚的其他类型的锚。外科医生或软件可以随意选择预定的股骨或胫骨隧道位置和/或方向，比如，使用原生撕裂前交叉韧带的股骨起点作为股骨中的入口点和内侧胫骨脊柱作为进入胫骨的入口点。注意，术语入口点和出口点可以在说明书中互换使用。
外科医生或软件可选地为给定患者选择所需尺寸和长度的移植物，比如，同种异体移植物或自体移植物。比如，可以根据患者骨骼的大小，患者肌腱的大小，来选择移植物的直径和大小，即如果考虑自体肌腱的大小，同种异体移植肌腱的大小，即如果考虑同种异体移植物的大小或人造移植物的预期尺寸或施加到移植物上的预期生物力学载荷或应力；相同或其他参数也可用于选择移植物的股骨和/或胫骨锚，其可包括一个或多个挤压螺钉或包括纽扣型锚的其他类型的锚。外科医生或软件可以随意选择预定的股骨或胫骨隧道位置和/或方向，比如，使用原生撕裂前交叉韧带的股骨起点作为股骨中的入口点和内侧胫骨脊柱作为进入胫骨的入口点。注意，术语入口点和出口点可以在说明书中互换使用。
投射的股骨和/或胫骨隧道位置和/或方向可以是通过连接原生前交叉韧带的股骨原点和胫骨插入而产生的线的延伸，可选地，前内侧束或后外侧束或后侧束或两者之间的中间位置，比如，伸展或15度屈曲。可针对不同的屈曲和伸展和/或旋转角度确定投射的股骨和/或胫骨隧道位置和/或方向和/或投射的移植物定位，位置和/或方向。如果投射的股骨和/或胫骨隧道和/或投射的移植物的位置和/或方向根据屈曲，伸展和/或旋转的程度而变化，则可以选择统计平均值用于选择数值或其他统计测量，或可以应用多种方法来确定投射的股骨和/或胫骨隧道和/或投射的移植物的定位，位置和/或方向。
比如，在标准PC或苹果计算机上实现的图形用户界面可用于显示患者的二维和/或三维数据并用于识别前交叉韧带原点和/或插入和/或前交叉韧带残余以及任何其他骨骼标志，特征，表面和/或形状，可能有利于制定手术计划。外科医生或手术者可选地在图形用户界面上执行虚拟手术计划。外科医生或手术者可以在图形用户界面和相关的数据显示上放置虚拟股骨和/或胫骨隧道，比如，用于单束和双束技术。外科医生或手术者可以在图形用户界面和相关的数据显示上放置虚拟移植物，比如，用于单束和双束技术。外科医生或手术者可以将虚拟隧道和虚拟移植物放置在图形用户界面和相关的数据显示上。软件可选地以一度或多度的膝关节屈曲和/或伸展和/或旋转显示隧道和/或移植物。软件和/或手术者可以虚拟地评估一个或多个屈曲，伸展和/或旋转角度的隧道和/或移植物的定位，位置和/或方向，并且可以从不同的角度虚拟评估移植物性能。软件和/或手术者/外科医生可选地基于以这种方式从一个或多个屈曲，伸展和/或旋转角度获得的信息来调整隧道和/或移植物的定位，位置和/或方向。
可选地，图形用户界面可以提供或显示施加到移植物和/或锚以及周围骨的机械力的评估。软件可用于评估机械力，比如，可包括有限元建模。此外，软件可用于评估不同隧道和/或移植物的定位，位置和/或方向的膝关节的运动。比如，这种软件可以包括 Anybody或其他运动建模软件。
图22E是正位图和图F是侧视图，其说明了股骨侧和胫骨侧(直虚线)上的示例性虚拟前交叉韧带隧道364。股骨侧弯曲的虚线表示髁间凹陷区域/顶部。
图22G是正位图和图22H是侧视图，其说明了股骨侧和胫骨侧上的示例性虚拟前交叉韧带移植物366，其延伸穿过股骨和胫骨之间的关节间空间(直实线)。虚拟锚也显示在股骨和胫骨侧(实心黑色椭圆形结构)367。注意，为了代替虚拟锚，可以在股骨和/或胫骨侧使用虚拟挤压螺钉或使用任何其他固定方式。股骨侧弯曲的虚线表示髁间凹陷区域 /顶部。
图23是描述用于规划一个或多个股骨或胫骨隧道的地点，位置，方向，对准和/或方向(比如，用于单束或双束技术)或用于放置前交叉韧带移植物的不同方法的说明性非限制性流程图。最初可以获取扫描数据，比如，超声，计算机断层扫描，核磁共振380。扫描数据可选地被分段381，比如，用于骨，软骨，前交叉韧带组织或结构。分段的381 或未分段的380扫描数据可以二维或三维382显示。可选择识别384的原生前交叉韧带原点和插入点，选择性分别用于前内侧和后外侧束。可选地，还可以识别原生前交叉韧带残余物，也用于前内侧和后外侧束386。可选地，使用来自384和/或386的信息，可以选择移植物大小388或隧道大小390或两者。可选地，虚拟股骨392和胫骨396隧道可以由光学头戴式显示器在它们各自的预定位置和方向上投射；或者，它们的中心轴可以由光学头戴式显示器在其预定位置和方向上投射，所有这些都可选地具有显示的入口点和出口点。可选地，光学头戴式显示器394可以在其预定位置显示虚拟前交叉韧带移植物。可选择针对不同程度的膝关节屈曲或伸展和/或旋转执行或重复步骤392,394和/或396，包括不稳定性测试398。可选择在步骤400和/或402中检查虚拟股骨隧道392，虚拟胫骨隧道396和/或虚拟前交叉韧带移植物的预定位置和方向。可选择在步骤404和/或406中调整或修改虚拟股骨隧道392，虚拟胫骨隧道396和/或虚拟前交叉韧带移植物的预定位置和方向。
可选地，软件可以在运动范围或运动范围的一部分期间模拟不同程度的股骨和胫骨屈曲和/或旋转。
配准患者虚拟数据和实时数据以进行前交叉韧带修复或重建
在一些实施方案中本发明的，术前成像或扫描数据或患者虚拟数据，比如，来自核磁共振扫描，计算机断层扫描扫描，超声扫描(二维或三维)，X射线成像或X射线成像，超声，计算机断层扫描可以在计算机屏幕上显示或者从参考数据库中选择患者的三维股骨和/或胫骨模型的核磁共振或核磁共振，并且手术者(比如，外科医生或放射科医师)可以手动或半自动地识别一个或多个以下：股骨外侧切割壁，前交叉韧带原点，股骨侧的近端前交叉韧带残余物，包括比如，前内侧或后外侧束部分或中间部分，内侧胫骨脊柱，胫骨侧的远端前交叉韧带残余物，包括比如，前内侧或后外侧束部分或中间部分，前交叉韧带插入或膝关节的任何其他解剖结构。比如，手术者，外科医生或放射科医师可以点击或圈选这些结构中的一个以识别它们。可选地，手术者，外科医生或放射科医师可以指定卷标，该卷标指定已经用点击或圆圈识别的解剖结构的名称，比如，股骨外侧切割壁，前交叉韧带原点，股骨侧的近端前交叉韧带残余，包括比如，在胫骨侧上的前内侧或后外侧束部分或中间部分，内侧胫骨脊，远端前交叉韧带残余物，包括比如，前内侧或后外侧束部分或中间部分，前交叉韧带附着部物或膝关节的任何其他解剖结构。
在手术中，外科医生然后可以比如，使用指针或指示设备来接触患者实时数据中的对应结构。指针或指示设备可以相对于光学头戴式显示器或导航系统和/或患者和/或患者的膝盖进行配准，比如，使用一个或多个惯性测量单元或一个或多个光学或导航标记包括红外标记，逆向反射标记，射频标记或集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，以便在三维对象坐标系中捕获指针的位置和指针尖端的地点，位置，定位和方向。然后，外科医生可选地接触对应于在患者实时数据中患者的术前成像/虚拟数据中被点击或圈出的结构，即患者的现场膝盖，比如，通过关节镜看到的结构，或术中使用超声探针并用指针扫描。比如，这种结构可以是股骨侧的侧向股骨凹口壁，前交叉韧带起点，近端前交叉韧带残余物中的一个或多个，包括比如，前内侧或后外侧束部分或中间部分，胫骨内侧，胫骨侧的远端前交叉韧带残余，包括比如，前内侧或后外侧束部分或中间部分，前交叉韧带附着部或膝关节的任何其他解剖结构。以这种方式，可以在空间中配准虚拟数据和实时数据。
前述解剖标志，表面和特征仅是示例性的，并不意味着限制。本领域技术人员可以容易地识别可以用于配准虚拟数据和患者实时数据或患者的其他数据和/或手术器械的目的的其他解剖标志，表面或特征，比如，表12中的一些解剖标志。
本说明书中描述的任何配准技术可用于配准患者虚拟数据和患者实时数据以进行前交叉韧带修复或重建。比如，诸如超声扫描，计算机断层扫描扫描或核磁共振扫描之类的术前影像学检查或一个或多个X射线图像可用于产生患者特异性标记。患者特异性标记物可以被设计成具有至少一个患者特异性表面，其可以与患者的解剖结构紧密配合，比如，股骨表面或胫骨表面。患者特异性标记可以应用于患者的股骨或胫骨。可选择设计患者特异性标记，使其可以在关节内位置穿过膝关节内的小切口或小门。为此目的，患者特异性标记可以由多个部分组成，其可以选择性组装在关节内。患者特异性标记的子部分或假体可具有可接合的连接器。一旦将患者特异性标记附着在相应的患者表面并且适当地固定在连接位置上，就可以选择性将其固定到下面的骨或软骨或韧带结构上。与现场患者表面连接的物理患者特异性标记上的患者特异性表面对应于患者虚拟数据中的虚拟患者表面。一旦患者特异性标记位于现场患者的连接表面上的预定位置和方向，就可以比如，使用说明书中描述的任何手段来执行虚拟数据和患者实时数据之间的配准。
可选地通过关节镜(arthroscope)以光学方式捕获患者特异性标记的位置，比如，使用集成到关节镜系统和相关显示系统中或附接到关节镜系统和相关显示系统的图像和/或视频捕获系统。关节镜或任何相关器械或指针可以与光学头戴式显示器或导航系统和/或患者和/或患者的膝关系进行配准，比如，使用一个或多个惯性测量单元或一个或多个光学或导航标记包括红外标记，逆向反射标记，射频标记，或集成到，连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，以便在三维目标坐标系统中捕获关节镜，器械和/或指针的位置和，关节镜，器械和/或指针尖端的定位，位置，定向和方向，该坐标系统可以互相参照并与患者膝盖相关地配准，比如，通过将其与患者特异性标记相关联地配准和/或与光学头戴式显示器或手术室中所用任何其他参考坐标系相关联。
患者特异性标记可具有已知的几何形状，比如，正方形或三角形。由于已知几何形状的投影形状在关节镜的投影中改变，因此可以使用关于已知几何形状的投影形状的形状和尺寸的变化的信息，比如，利用图像和/或视频捕获系统，计算或估计关节镜的位置与患者特异性标记和/或实时数据的关系，比如，在手术过程中从患者关节内部获得的实时关节镜图像。患者特异性标记可以包括其他标记，比如，一个，两个，三个或更多个发光二极管，而不是已知的几何形状。关节镜从患者关节内投射的一个，两个，三个或更多发光二极管的位置变化可用于计算或估计关节镜与患者特异性标记和/或实时数据的关系，比如，在手术过程中从患者关节内部获得的实时关节镜图像。患者特异性标记还可以包括物理参考区域或点，比如，可以容纳指针尖端的凹槽或凹口。以这种方式，指针的尖端可以放置在凹槽或凹口中。指针可以具有附着于其上的一个或多个惯性测量单元或一个或多个光学或导航标记，包括红外标记，逆向反射标记，射频标记，其可以由光学头戴式显示器或导航系统检测。还可以使用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来检测所述位置。
在本发明的一些实施方案中，患者的膝盖可以在手术中成像，比如，使用X射线或多个X射线图像或计算机断层扫描或超声扫描。可以在扫描中识别解剖标志，比如，可以包括：
表12：膝关节中的示例性解剖标志，表面和特征，用于配准虚拟和实时数据，包括可选的术前和术中图像数据，用于前交叉韧带修复/重建
股骨凹陷(femoral notch)的内侧壁
股骨凹陷的外侧壁
股骨凹陷的顶部
残留的前交叉韧带原点
残留的前交叉韧带附着部
内侧髁的内侧壁
外侧髁的外侧壁
内侧上髁隆起
外侧上髁隆起
股骨内侧髁形状，比如，半径，凸度，凹陷
股骨外侧髁形状，比如，半径，凸度，凹陷
髁间凹陷形状(lntercondylar notch shape)
髁间凹陷表面特征
内侧胫骨脊柱
胫骨外侧脊柱
前内侧胫骨缘
前外侧胫骨缘
内侧胫骨缘
胫骨外侧缘
内侧坪的最低点
外侧坪的最低点
内侧坪的最高点
外侧坪的最高点
内侧胫骨坪形状
外侧胫骨坪形状
内侧胫骨坪表面特征，比如，半径，凸面，凹面
外侧胫骨坪表面特征，比如，半径，凸面，凹面
前述解剖标志，表面和特征仅是示例性的，并不意味着限制。本领域技术人员可以容易地识别可以用于配准虚拟数据和患者实时数据或患者的其他数据和/或手术器械的目的的其他解剖标志，表面或特征。
解剖标志，表面和特征可用于配准以下一个或多个：术前数据，比如，术前数据，术前运动学数据，术前图像数据；术中数据，比如，术中运动学数据，术中图像数据；患者虚拟数据，比如，虚拟运动学数据，虚拟图像数据，虚拟解剖数据，虚拟器械数据，虚拟设备数据，患者的虚拟手术计划，患者实时数据，包括物理手术器械，和关节镜，比如，通过光学头戴式显示器看到的，或通过集成到光学头戴式显示器中，附着到光学头戴式显示器或与光学头戴式显示器分开的图像和/或视频捕获系统捕获，或通过关节镜看到。比如，解剖标志，表面和特征可以被点击或圈出，或者可以在患者的一个或多个虚拟数据上和/或在患者的一个或多个术中图像数据上自动识别，即术中获得的X射线或超声波，并且比如，外科医生可以用指针或探针接触现场患者/膝盖中的相应解剖标志，表面和特征。指针或探针可以相对于光学头戴式显示器或导航系统和/或患者和/或患者的膝盖进行配准，比如，使用一个或多个惯性测量单元或一个或多个光学或导航标记包括红外标记，逆向反射标记，射频标记或集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，以便在三维对象坐标系中捕获指针的位置和指针尖端的地点，位置，定位和方向，该三维对象坐标系可以与术中数据互相参照。
术中数据，比如，术中图像数据可以手动或半自动或自动(比如，通过图像处理和/或模式识别技术)互相参照并配准到患者虚拟数据，虚拟手术计划和/或患者实时数据。虚拟数据，虚拟手术计划，术中数据，比如，术中成像和患者实时数据可以在同一坐标系中配准，可选地通过各种坐标转移。外科医生可选地接触与术前成像/虚拟数据和/或术中数据中被点击或圈出的结构相对应的结构，比如，患者实时数据中的患者术中图像数据，即患者实时膝盖(live knee)，比如，通过具有指针的关节镜可以看到，该指针可以包括或携带一个或多个惯性测量单元或一个或多个光学或者导航标记包括红外标记，逆向反射标记，射频标记，或可以使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来配准。可选择通过一个或多个入口引入超声探针，并且超声探针可以用于术中成像，比如，除了X射线成像外。超声探针可用于识别比如，前交叉韧带原点，前交叉韧带附着部和/或任何近端或远端前交叉韧带残余。超声探针可以包括或携带一个或多个惯性测量单元或一个或多个光学或导航标记，包括红外标记，逆向反射标记，射频标记，其可以使用集成到，附加光学头戴式显示器到或与光学头戴式显示器分离的图像和/或视频捕获系统进行配准。
或者，可以使用光学指针(比如，激光)指向现场患者中的一个或多个解剖学标志，表面和特征，对应于已在该患者虚拟数据和/或患者术中数据中标记的解剖标志，表面和特征。光学指针可以包括或携带一个或多个惯性测量单元或一个或多个光学或导航标记，包括红外标记，逆向反射标记，射频标记，其可以使用集成到，附加光学头戴式显示器到或与光学头戴式显示器分离的图像和/或视频捕获系统或导航系统进行配准。每当光学指针突出显示患者的一个或多个解剖学标志，表面和特征时，该区域可以通过关节镜的成像系统或通过集成到光学头戴式显示器，附着于光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来捕获。以这种方式，可以在患者实时数据中识别相应的解剖标志，表面和特征，并且可以与患者虚拟数据和/或患者的术中数据互相参照和配准。
关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置也可以与在虚拟，术中，现场或其他患者数据中用于配准的任何解剖学标志，表面或特征相关联地进行配准。为此目的，物理和可选的虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他虚拟设备和/或虚拟股骨和/或胫骨隧道可以与光学头戴式显示器或导航系统和/或患者和/或患者的膝盖，比如，使用一个或多个惯性测量单元或一个或多个光学或导航标记，包括红外标记，逆向反射标记，射频标记或者集成到，连接到光学头戴式显示器或与光学头戴式显示器分开的图像和/或视频捕获系统，以便在三维对象坐标系中捕获关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和 /或胫骨锚和其他装置的位置，和关节镜，手术器械，探针，指关节前交叉韧带移植物，股骨和/或胫骨锚和其他装置的定位，位置，定位，方向。
可选地，在术中扫描中识别的一个或多个解剖标志可以与在外科手术之前获得的患者虚拟数据互相参照，比如，术前X射线，计算机断层扫描扫描，核磁共振扫描或超声扫描，比如，用于拟定虚拟手术计划。在手术期间所用显像模式(比如，超声)可以与用于生成患者虚拟数据的显像模式不同，并且可选地，与虚拟手术计划(比如，核磁共振) 不同。
可选地，关节镜和/或通过任何入口引入的一个或多个器械可以携带一个，两个，三个或更多惯性测量单元，光学，灯光或其他标记，导航标记包括红外标记，逆向反射标记，射频标记，图像捕获标记(比如，发光二极管)等。只有一个或多个器械可以与患者虚拟数据或患者术中数据相关地进行配准，而关节镜不能配准。只有关节镜可以与患者虚拟数据或患者术中数据相关联地配准，而一个或多个工具不能被配准。可以使用说明书中描述的或本领域已知的任何标记物。可以配准关节镜和/或一个或多个器械的位置和/或方向，比如，与在术中图像数据上识别的或与患者虚拟数据相关的一个或多个解剖标志相关联，比如，术前X射线，计算机断层扫描，核磁共振或超声，或与虚拟手术计划有关。
可用于前交叉韧带修复和/或前交叉韧带重建的任何前述实施方案的其他标志物包括但不限于，皮肤标志物，关节内标志物，射频标志物，光学标志物，关节镜锚，关节镜标签，钉和/或螺钉。
在本发明的一些实施方案中，外科医生可通过关节镜或通过使用术中成像技术，诸如超声波，获得前交叉韧带原点和/或前交叉韧带插入物的图像或前交叉韧带近端和/或远端残余物或两者的组合的图像，比如，通过其中一个入口插入。然后，可以在计算机监视器上或在光学头戴式显示器的投影中获得可比较的投影，其中虚拟数据以及患者实时数据的视角和放大倍率可以基本上相似并且可以迭加，比如，以视觉方式在光学头戴式显示器上迭加。一旦获得了患者实时数据和患者虚拟数据的视角和放大倍率的实质相似，就可以比如，在同一坐标系中或在具有已知坐标转移的单独坐标系中配准数据。关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置可以包括或附接一个或多个惯性测量单元或一个或多个光学或导航标记，包括红外标记，逆向反射标记，射频标记，或其可以使用集成到光学头戴式显示器中，附接到光学头戴式显示器，或者与光学头戴式显示器分离的图像和/或视频捕获系统，从而关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置可以在它们被移动时保持配准，比如，在初始配准之后使用患者的物理和虚拟数据的基本相似的投影。
在一些实施方案中，远端股骨的解剖标志可选择胫骨相关地配准。胫骨可选地处于固定位置，比如，使用与股骨相关的腿支架。可选地，钉可以放置在，比如，骨中，比如，在预定股骨隧道的位置或附近。可以配准一个或多个钉的位置，比如，使用图像和/ 或视频捕获系统或一个或多个附加的惯性测量单元或光学标记或导航标记，包括红外标记，逆向反射标记，射频标记。以这种方式，通过将钉和/或一个或多个惯性测量单元，光学标记或导航标记保持在适当位置或通过使用集成到光学头戴式显示器，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，保持股骨和/或胫骨配准，即使膝盖移动到不同的位置，即不同的屈曲，伸展，旋转，外展，内收等角度。
在一些实施方案中，可以配准近端胫骨的解剖标志，可选择相对于股骨。股骨可选地处于固定位置，比如，使用与胫骨相关的腿支架。可选地，钉可以放置在，比如，骨中，比如，在预定胫骨隧道的位置或附近。可以配准一个或多个钉的位置，比如，使用图像和/或视频捕获系统或一个或多个附加的惯性测量单元或光学标记或导航标记。以这种方式，通过将钉和/或一个或多个惯性测量单元或光学标记或导航标记保持在适当位置或通过使用集成到光学头戴式显示器，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，保持胫骨和/或股骨配准，即使膝盖移动到不同的位置，比如，不同的屈曲，伸展，旋转，外展，内收等角度。
可以使用本文描述的一种或多种方法相互关联地配准以下数据：
-患者虚拟数据，比如，术前图像数据，术前运动学数据
-虚拟手术计划
-术中图像数据，比如，使用术中扫描可视化患者的解剖标志，表面或特征(参见前述清单)，比如，一个或多个X射线，计算机断层扫描，核磁共振，超声
-术中图像捕获数据，比如，选择患者膝盖的解剖标志，表面或特征(参见比如，前述列表)或患者的关节
-将一个或多个患者特异性标记应用于关节，比如，应用于一个或多个关节表面或骨赘，选择性使用集成到关节镜系统中，附接到关节镜系统或从关节镜系统分离的图像和/或视频捕获系统可视化，或者可选地通过关节镜可视化
-镜位置，定位，定向，对准和方向，比如，通过附接的惯性测量单元，光学标记，导航标记测量，所述导航标记包括红外标记，逆向反射标记，射频标记或集成到，连接到光学头戴式显示器或与光学头戴式显示器分开的图像和/或视频捕获系统
-器械，探针，移植物，锚定物或其他设备位置，定位，定向，对准和方向，比如，通过附接的惯性测量单元，光学标记，导航标记包括红外标记，逆向反射标记，射频标记，或集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统测量物理器械，设备或移植物的投影路径以及虚拟器械，设备，移植物或隧道的虚拟路径
可以使用说明书中描述的任何技术影响或实现配准。比如，集成到或附着于任何关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他设备的任何惯性测量单元或光学标记物或导航标记物包括红外标记物，逆向反射标记物，射频标记物，的地点，位置，定向，方向，可以使用光学头戴式显示器或导航系统捕获，或关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨捕获和/或胫骨锚和其他装置的地点，位置，定向，方向，可以使用集成到光学头戴式显示器中，附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统捕获，并且比如，一旦配准完成，光学头戴式显示器和/或关节镜系统的显示监视器可以计算和/或显示用于物理手术器械的投射路径，比如，探针或钻头。物理手术器械的投射路径比如，可以与预定的股骨隧道，胫骨隧道，前交叉韧带移植物或锚或挤压螺钉中的一个或多个的预定位置和/或方向平行，重迭，迭加，或垂直或者以预定的角度定向。随着物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置的地点，位置，方向，方向的改变，投射路径可以改变。投射路径可以是物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置中的一个或多个的长轴或其他轴或行进方向的延伸。投射路径可以由光学头戴式显示器以三维立体或三维非立体或二维形式显示，可选地具有不同的颜色或图案。投射路径可以由关节镜系统的显示监视器和/或两者显示。
如果是通过光学头戴式显示器显示，则可以调整放大倍率，前提是手术者注视的患者或患者的膝盖无需放大，或者手术者查看通过镜(scope)获得的关节镜图像的显示，并且可选地，由关节镜单元的监视系统显示。由于通过关节镜获得并且可选地通过关节镜系统显示监视器显示的患者膝盖和内部结构的图像通常被放大，因此，投射路径的显示也可以被放大，比如，匹配关节镜显示器或系统的放大系数。物理器械的任何非可视化部分的投射路径和/或任何虚拟器械或虚拟显示的显示可以在放大倍率上与关节镜图像的放大倍率或关节镜系统的固有放大倍率匹配，或者可选地，放大倍率略小于或大于关节镜或关节镜监视器显示设备的放大倍数。
在本发明的一些实施方案中，光学头戴式显示器和/或关节镜系统显示监视器可以显示关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置中的一个或多个的虚拟路径。虚拟路径可以与手术器械的预定路径重合或基本上对准或平行或与手术器械的预定路径相同。比如，虚拟路径可以与预定的股骨隧道，胫骨隧道，前交叉韧带移植物或锚或挤压螺钉中的一个或多个的预定位置和/或方向平行，重迭，迭加，或垂直或者以预定的角度定向。虚拟路径可以通过光学头戴式显示器投影，可选地以三维立体或三维非立体或二维形式投影，可选地具有不同的颜色或图案。虚拟路径可以由关节镜系统的显示监视器投射。虚拟器械和/或设备，比如，虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他虚拟设备也可以由光学头戴式显示器和/或关节镜系统显示监视器显示。
如果是通过光学头戴式显示器显示，则可以调整放大倍率，前提是手术者注视的患者或患者的膝盖无需放大，或者手术者通过显示器查看的关节镜图像，通过关节镜获得，并且可选地，由关节镜单元的显示监视器系统显示。由于通过关节镜获得并且可选地通过关节镜系统显示监视器显示的患者膝盖和内部结构的图像通常被放大，虚拟路径或任何虚拟器械或装置，比如，关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他虚拟设备，的显示，也可以被放大，比如，匹配关节镜显示器或系统的放大系数。虚拟路径和/或任何虚拟器械或设备的显示可以在放大倍率上与关节镜图像的放大倍率或关节镜系统的固有放大倍率匹配，或者可选地，可以在放大倍率上略微小于或大于关节镜或关节镜监视器显示设备的放大倍率。虚拟路径和/或任何虚拟器械或设备的显示可以使用不同的颜色或图案，比如，不同于患者实时数据，包括膝盖内部结构的关节镜图像。
在本发明的一些实施方案中，在肩部手术或肘部手术的情况下，肢体部(extremity)(在膝盖或髋部手术的情况下，包括前交叉韧带修复或重建的手臂)被保持或定位在相同的位置，比如，相同度数的屈曲，伸展，外展，内收，内部或外部旋转，用于获取将用于术前数据配准的数据，比如，术前图像数据和/或运动学数据，术中数据，比如，术中图像数据和/或运动学数据，和/或患者实时数据，比如，通过光学头戴式显示器观察到的数据，比如，膝关节的患者实时数据或通过光学头戴式显示器或关节镜的显示监测设备观察到的数据系统，比如，患者膝盖内部结构的患者实时数据。通过在肢体或目标组织或关节的相同位置获取这些术前，术中和患者实时数据，可以遇到较少的定位变化，这可以说明促进使用说明书中描述的任何方法进行配准。比如，上臂支架或腿支架可用于获得术前图像数据，比如，四肢或目标关节或目标组织的X射线图像，超声数据，计算机断层扫描或核磁共振数据；上臂或腿支架可以将肢体或目标关节或目标组织固定在一个或多个位置。可以使用相同或类似的上臂支架或腿支架来获得术中图像数据，比如，肢体或目标关节或目标组织的X射线图像，超声数据，计算机断层扫描或核磁共振数据；上臂或腿保持器可以将肢体或目标关节或目标组织固定在一个或多个位置以用于术中数据采集。可以获得包括从患者关节内部获得的关节镜数据的患者实时数据，其中肢体，目标关节或目标组织处于与获得术前或术中数据时所用位置相似的位置。可以以这种方式而便于配准患者的两个或更多个术前数据，患者的术中数据，患者虚拟数据，患者的虚拟手术计划或患者实时数据(包括关节镜图像或从患者关节内获得的其他数据)使。
任何前述实施方案，比如，与虚拟手术计划，配准和肢体或目标关节或组织定位有关的那些实施方案适用于其他外科手术，比如，膝关节置换，髋关节置换，脊柱手术，脊柱融合术，椎体成形术，椎体后凸成形术，脑外科手术，其他器官手术，如肝脏，肾脏，脾脏，肠道手术以及切除任何种类的肿瘤。
光学头戴式显示器
光学头戴式显示器可选地显示一个或多个虚拟隧道或虚拟移植物或虚拟移植物位置。光学头戴式显示器还可以显示一个或多个物理手术器械或装置的投射路径，比如，关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置。光学头戴式显示器还可以显示一个或多个物理手术器械或装置的虚拟路径，比如，关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置。虚拟路径可以是来自虚拟手术计划的预定路径。
可选地，一个或多个物理手术器械或装置，比如，关节镜，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置，和/或它们的投射路径可以对准虚拟隧道，虚拟移植物或虚拟移植物位置的显示。或者，光学头戴式显示器可以显示相应的虚拟手术器械或装置，比如，关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置，的虚拟位置，并且手术者可选地将一个或多个物理手术器械或装置与虚拟手术器械或装置对准。或者，光学头戴式显示器可以显示虚拟手术器械或装置的位置和/或方向和/或行进方向或方向，以及虚拟隧道，虚拟移植物或虚拟移植物位置和物理手术器械或装置(比如，探钉或钻头)中的一个或多个，和/或它们的投射路径，可以对准虚拟手术器械或装置和/或虚通道，虚拟移植物或虚拟移植物的组合。
投射路径，虚拟路径，预定路径，虚拟手术器械和/或装置，关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他虚拟设备，虚拟隧道和/或虚拟移植物可以由光学头戴式显示器和/或关节镜系统的显示设备使用不同的图案和颜色显示，比如，实线，折线，虚线，不同颜色(比如，绿色，红色，蓝色，橙色)，不同厚度，不同不透明度或透明度。
在一些实施方案中，一个或多个惯性测量单元和/或光学标记，发光二极管，导航标记包括红外标记，逆向反射标记，射频标记，校准模型可以应用于关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置。关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置可以被配准，比如，相对于患者虚拟数据。关节镜或一个或多个关节镜器械，比如，探针或指针，可应用于膝关节内的各种解剖标志，通过关节镜可视化，并与患者虚拟数据对准(比如，术前扫描数据和/ 或手术扫描数据)。
一旦配准了患者虚拟数据和实时数据，用于准备隧道的物理钻头或器械可以与在股骨和胫骨侧的光学头戴式显示器和/或关节镜系统的显示设备显示的虚拟钻头或虚拟隧道的轴，位置和/或方向对准。或者，可以通过光学头戴式显示器和/或关节镜系统的显示设备显示虚拟路径，并且物理钻头(比如，物理钻头的长轴)和物理钻头的入口点可以与虚拟路径对准。这可以用单束和双束技术实施。这也可以针对移植物的股骨和/或胫骨隧道和股骨和/或胫骨侧单独进行。如果使用胫骨技术，股骨和胫骨隧道可以在虚拟手术计划和光学头戴式显示器或关节镜系统显示设备的虚拟显示器中以给定角度连接膝关节屈曲 (和/或旋转)，以便虚拟手术计划与外科医生的预期胫骨技术一致。
在本发明的一些实施方案中，镜可选地具有一个或多个惯性测量单元或光学标记或导航标记，其包括红外标记，逆向反射标记，射频标记，并且镜可以在其位置上与光学头戴式显示器配准。还可以利用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来捕获镜的位置和/或方向。外科医生可以在远端股骨或近端胫骨的目标区域上来回移动关节镜，比如，接近隧道放置区域或前交叉韧带原点和/或插入物等区域。通过在目标区域上来回移动镜，可以获得表面形貌和/或形状的视觉感知。此外，由于可以使用一个或多个惯性测量单元，光学标记，导航标记，其包括红外标记，逆向反射标记，射频标记，和/或图像和/或视频捕获系统而在坐标系中配准镜，因此目标区域的表面形貌和/或形状也可以与镜和/或光学头戴式显示器及其各自的对象坐标系相关地被捕获和配准。当镜在目标区域上来回移动时，可以通过镜在镜的不同角度方向上获得目标区域的多个投影。可选地，目标区域的这些多个角度投影可以用于重建目标区域的三维表面或者从镜图像数据估计目标区域表面或三维形貌或形状。可以将表面形貌和/或形状与患者虚拟数据中的目标区域的表面形貌和/或形状进行比较，或者可选地，与患者的术中数据进行比较。使用本领域已知的标准图像处理技术和特征比较，可以在镜图像数据和患者虚拟数据中识别基本相似的表面形貌和/或形状，并且可以执行镜图像数据和患者实时数据，患者虚拟数据和/或光学头戴式显示器的配准。现在可以知道对象坐标变换的目的是进行配准。
如果由光学头戴式显示器和/或关节镜系统的显示单元显示虚拟手术器械，装置，移植物或隧道和/或虚拟手术计划，则外科医生可以来回移动关节镜，或者例如以圆形方式(circular fashion)获得关节内结构的深度透视或拟三维效果，包括比如，各个隧道进入区域的关节镜单元的视觉表示；当外科医生以这种方式移动关节镜时，可以使用一个或多个惯性测量单元或附接到关节镜的光学标记和/或导航标记，其包括红外标记，逆向反射标记，来监测关节镜运动，包括角度或方向的变化，或者其可以通过集成到，附接到 OHMD或与OHMD分离的图像和/或视频捕获系统来监测。该软件可以通过角度定向和/ 或方向的变化来保持关节镜系统与患者虚拟数据和患者实时数据的配准，并且虚拟手术器械，装置，移植物或隧道和/或虚拟手术计划的显示在光学头戴式显示器中保持稳定。
以下是可在前交叉韧带重建期间所用物理和虚拟器械的示例性列表。在虚拟手术计划之后的外科手术过程中，光学头戴式显示器可以以虚拟形式显示这些器械中的一个或多个或全部。比如，可以在虚拟手术计划上以预定位置，定位，定向和/或方向显示每一虚拟器械，使得外科医生可以将用于前交叉韧带重建的物理器械与光学头戴式显示器显示的虚拟器械或股骨或胫骨侧的虚拟隧道或股骨或胫骨侧的中央隧道轴或虚拟前交叉韧带移植物对准。光学头戴式显示器还可以显示虚拟手术器械的虚拟路径，其中虚拟路径可以是来自虚拟手术计划的预定路径。光学头戴式显示器还可以显示在患者实时数据中所用物理手术器械的投射路径。
表13：由光学头戴式显示器显示的用于前交叉韧带重建的物理手术器械和虚拟手术器械的示例性列表(可以使用其每一个的多个，比如，具有不同的尺寸，长度，形状)：
关节镜
动力仪器
动力工具
关节镜通道(arthroscopy portal)
关节镜鞘
闭孔机(obturator)
抓钳，比如，鳄齿型抓钳，斗牛犬齿型抓钳
鸭形钳
上咬合器
穿孔器，比如，叉骨穿孔器
钻孔器
剃须刀
缝合刀
剪刀
钻，各型，不同直径，实心，插套管
钻孔导板
偏置钻孔导板
偏心钻导板螺钉或钉
钻套，各种类型，比如，阶梯钻套，直钻套
夹头扳手
钩针
平行导板
平行导套
肌腱剥离器，比如，半腱肌腱剥离器，腿后肌腱剥离器
锉刀，比如，髁间窝成形术锉刀
绞刀
铰刀手柄
拔销器
隧道插塞
隧道开槽器
牵开器，比如，移植物切取牵开器
钩，比如，股骨或胫骨前交叉韧带标记钩
前交叉韧带导板，比如，股骨或胫骨，左，右
螺钉刀，比如，逆向螺钉刀，挤压螺钉刀
螺钉刀轴，空心管或非空心管
前交叉韧带导板，比如，输送式前交叉韧带导板
前交叉韧带钻孔导板，比如，经颅前交叉韧带钻孔导板
胫骨或股骨隧道定向装置，比如，带单点弯头导板，单点叉形导板，双点叉形导板
股骨瞄准器
胫骨瞄准器
骨刀
拉柄
套管，比如，胫骨隧道套管，可选地具有一个或多个填塞器
切割导板，比如，用于移植物切取
移植校准刀
移植刀
移植刀架/拉柄
挤压螺钉，可再吸收，不可再吸收
光学头戴式显示器可以显示完整的股骨和/或胫骨隧道，它只能显示中心线或轴，或者它可以显示隧道的方向箭头。光学头戴式显示器可以显示完整的股骨和/或关节内和/或胫骨移植部分，它只能在股骨，关节内或胫骨区域显示中心线或轴，或者它可以显示移植物的方向箭头。
可选地，如果外科医生选择改变物理手术计划，则可以相应地调整虚拟手术计划，比如，通过计算机接口，并且可以通过改变虚拟手术计划来改变光学头戴式显示器中显示的步骤和虚拟器械的顺序。对虚拟手术计划的改变可以包括手术步骤顺序的改变，手术方法的改变，比如，股骨优先，胫骨优先，经胫骨，省略选择的手术步骤，添加手术步骤，重新定向虚拟手术隧道，重新定向虚拟手术移植等
如果外科医生选择调整股骨或胫骨隧道的定位，位置和/或方向，则软件可以调整虚拟手术计划中相对侧上的隧道的位置。这种调整可以是自动的，比如，如果使用经胫骨技术，则股骨隧道可以是经调整的胫骨隧道的延伸。对向隧道的虚拟手术计划中的调整也可以是手动的，比如，由外科医生进行，比如，在外科医生已经调整第一物理隧道并且改变其相对于虚拟手术计划的位置之后。在虚拟手术计划或物理手术中，在第一隧道的位置和 /或方向已经改变之后，软件可选地重新计算相对的胫骨隧道的位置，以用于不同的伸展，弯曲和旋转角度。
可以使用本领域已知的用于前交叉韧带重建和前交叉韧带修复的任何手术技术或方法。因此，虚拟手术计划可以用于本领域已知的用于前交叉韧带重建和前交叉韧带修复的任何手术技术或方法，并且可以由光学头戴式显示器显示。这样的手术技术或方法可以包括但不限于，开放式外科前交叉韧带重建或修复，关节镜手术前交叉韧带重建或修复，所有内部前交叉韧带重建或修复，经胫骨前交叉韧带重建，股骨第一技术，胫骨第一技术，使用挤压螺钉或其他类型的锚，单束和双束技术，髌骨自体移植技术，半腱肌腱技术，其他类型的肌腱移植技术，同种异体移植技术。
在本发明的一些实施方案中，光学头戴式显示器可选地显示物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他设备中的一个或多个的任何非可视部分。由于物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置的几何形状，形状和尺寸是已知的，可选择使用图像和/或视频捕获系统来捕获一个或多个关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置的可视化部分。可选的标记(比如，厘米或毫米标记)，可用于识别物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨锚和其他装置的哪些部分可见以及哪些不可见。然后，软件可以识别关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的哪些部分不包括在图像捕获数据中或者不可视化，并且该软件可以计算关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他装置的非可视化部分的地点，位置，方向和大小/放大倍率(如果适用)，然后，可以由光学头戴式显示器选择性显示，比如，作为物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他设备的可视化部分的延伸。可以使用说明书中描述的用于显示物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的非可视化部分的其他手段。物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的非可视化部分可由光学头戴式显示器，关节镜系统的显示设备或两者显示。
在本发明的一些实施方案中，光学头戴式显示器可以显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/ 或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。在一些实施方案中，关节镜系统的显示单元，比如，所用的一个或多个电子监视器，可以显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或它可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/ 或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。在本发明的一些实施方案中，光学头戴式显示器和关节镜系统的显示单元两者，比如，所用的一个或多个电子监视器，可以显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/ 或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。
使用当外科医生注视膝关节时反映或对应于光学头戴式显示器或外科医生或手术者注视患者的膝关节的距离的放大倍率和尺寸，光学头戴式显示器可以显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。关节镜系统的显示单元，比如，一个或多个电子监视器，可以显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划，其使用反映或对应于关节镜系统的显示设备的放大倍率的放大倍率或尺寸，用于从患者膝关节内部显示患者实时数据，使得用于一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或一个或者更多虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划，它们的尺寸和/或放大倍率与关节镜系统可视化的患者膝关节内结构的实时显示相匹配。以这种方式，外科医生可以以无缝方式在患者的实时关节内图像数据和患者的投影数据和虚拟数据之间工作，因为它们具有匹配的尺寸和/或放大倍率。
当外科医生移近或远离患者的膝盖时，使用光学头戴式显示器显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径的放大倍率，和/或一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的放大倍率可以改变。关节镜系统的显示设备的放大倍率可以改变；比如，它可以增加或减少，以及用于显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径的放大倍率，和/或一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/ 或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的放大倍率可以相应改变。
当外科医生通过光学头戴式显示器使用反应或对应于或大于或小于显示单元所用的放大倍率或尺寸观察关节镜系统的显示单元以用于显示患者膝关节内的实时数据时，光学头戴式显示器可选地显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/ 或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。
使用光学头戴式显示器显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的放大倍率，可以切换回来反映或对应光学头戴式显示器或外科医生的眼睛与患者膝盖的距离，或者当外科医生再次看着患者的膝盖时，放大倍率可以比关节镜系统的显示设备更小或更大。
在一些实施方案中，关节镜系统的显示单元可以显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或它可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/ 或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。关节镜系统的显示单元，比如，一个或两个电子监视器，可以显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或可以显示用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和 /或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划，其放大倍率反映或对应于通过关节镜看到并通过关节镜设备的显示设备显示的从患者膝盖内部投射的结构的实时数据的放大倍率，或者小于或大于其放大倍数。
当外科医生通过关节镜系统的显示单元(比如，一个或两个电子监视器)观察光学头戴式显示器时，光学头戴式显示器可以选择性地关闭显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。关闭或打开一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个投射路径，和/或一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划，的显示器，可通过来自各种输入系统的手动命令，语音命令，各种命令执行或自动执行。比如，通过使用集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，可以实现自动开启或关闭。图像和/或视频捕获系统可以比如，捕获关节镜系统的显示设备的轮廓，并且软件可以自动关闭 OHMD显示器或OHMD显示器的各方面。或者，关节镜系统的显示设备可以具有一个或多个标记，比如，一个或多个发光二极管，图像和/或视频捕获系统可以检测到这些标记，然后可以触发开启或关闭光学头戴式显示器显示屏。
在一些实施方案中，光学头戴式显示器可以比如，自动检测外科医生或手术者是否正在观察关节镜系统的显示单元，比如，使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统。图像和/或视频捕获系统可以比如，捕获关节镜系统的显示设备的轮廓，并且软件可以自动调整光学头戴式显示器显示项目的放大倍率，使其反映，对应于，小于或大于关节镜系统的显示设备使用的患者膝盖内部的实时数据/图像的放大倍率。或者，关节镜系统的显示设备可以具有一个或多个标记，比如，一个或多个发光二极管，图像和/或视频捕获系统可以检测到这些标记，然后可以触发调整所显示项目的放大倍率。
类似地，光学头戴式显示器可以比如，自动检测外科医生或手术者是否注视关节镜系统的显示单元，比如，使用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统。比如，图像和/或视频捕获系统可以检测到关节镜系统的显示设备的轮廓不存在于捕获的图像数据中，并且软件可以自动调整光学头戴式显示器显示项目的放大倍率，放大倍率反映或对应于光学头戴式显示器或外科医生的眼睛与患者膝盖的距离，或者小于或大于此距离。或者，关节镜系统的显示设备可以具有一个或多个图像和/或视频捕获系统可以检测到的标记，比如，一个或多个发光二极管；在该情况下，当图像捕获系统注意到一个或多个发光二极管不包括在图像捕获数据中时，软件可以自动调整光学头戴式显示器显示项目的放大倍率，使其反映或对应于光学头戴式显示器或外科医生的眼睛与患者膝盖的距离，或者小于或大于此距离。类似地，光学头戴式显示器可以检测放置在患者膝盖上的标记或发光二极管，包括集成到光学头戴式显示器中，附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统，从而触发放大倍率的调整，使其反应，对应于光学头戴式显示器或外科医生的眼睛与患者膝盖的距离，或者小于或大于外科医生或手术者看病人膝盖时的距离。
在本发明的一些实施方案中，光学头戴式显示器可用于显示关节镜从患者膝盖内部收集的实时数据，比如，代替关节镜系统的显示单元或除了关节镜系统的显示设备之外。可选地，光学头戴式显示器可以代替关节镜系统的显示设备，或者可以是关节镜系统的显示设备。在该示例中，光学头戴式显示器可以显示关节镜收集的患者膝盖内的实时数据，并将其投射给外科医生。光学头戴式显示器还可以显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划，以及患者膝盖内的实时图像。在该实施方案中，光学头戴式显示器可选地匹配一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的相对于关节镜收集的患者膝盖内的实时数据的放大倍率，使其相对于关节镜收集的患者膝盖内的实时数据的放大倍率。光学头戴式显示器还可以应用比关节镜收集的患者膝盖内的实时数据放大倍率更大或更小的尺寸，用于一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。
在本发明的一些实施方案中，比如，当光学头戴式显示器是关节镜系统的主要显示设备时，光学头戴式显示器可以对光不透明或对从患者的膝盖或手术室反射的光最低透明并且可以显示比如，由关节镜从患者膝盖内收集的实时(电子)图像，并且，还可选地显示一个或多个物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚点和其他装置的一个或多个投射路径，和/或可以显示一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/ 或胫骨锚和其他装置，和/或用于一个或多个虚拟关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和/或胫骨隧道，股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划(具有各种选择的匹配或不匹配的放大倍率)。在该情况下，光学头戴式显示器还可以显示物理关节镜，手术器械，探针，指针，前交叉韧带移植物，股骨和 /或胫骨隧道，股骨和/或胫骨锚和其他装置的电子图像及其各自的运动，比如，用集成到光学头戴式显示器中，附加到光学头戴式显示器或与光学头戴式显示器分离图像和/或视频捕获系统(具有各种选择的匹配或不匹配的放大倍率)捕获。
光学头戴式显示器对于光线永久不透明，或者对患者膝盖或手术室反射的光线透明度最低。或者，透明度可以是可变的，比如，使用一个或多个在光学头戴式显示器前面或集成到光学头戴式显示器的光学滤光器，比如，偏振光滤光器，或在光学头戴式显示器前面或集成到光学头戴式显示器中的电子或光学滤光器(比如，液晶显示器(LCD))。手术室可以选择使用光源，比如，偏振光或过滤光，它们支持调制或帮助调整光学头戴式显示器对从患者膝盖或手术室反射的光线的透明度。
本领域技术人员将容易认识到，前述用于前交叉韧带修复和前交叉韧带重建的所有示例和实施方案适用于所有其他关节镜手术，比如，肩关节，髋关节和踝关节镜检查，并且也可以应用于许多内窥镜手术，和髋关节置换，膝关节置换，脊柱外科手术，脊柱融合术，椎弓根螺钉固定术，椎体成形术和/或椎体后凸成形术以及许多其他实施方案。
本文引用的所有专利，专利申请和公开的参考文献均通过引用整体并入本文。应该强调的是，公开的上述实施方案仅仅是可能的实施方案，只是为了清楚地理解本披露原则而提出的。在不背离本发明的精神和原则的情况下，可以对上述实施方案进行许多变化和修改。可以理解，上述公开内容和其他特征和功能，或其替代方案可以合意地组合到其他不同的系统或应用中。所有这些修改和变化应纳入本权利要求书的范围，属于所附权利要求的范围。

Claims (85)

1.一种用于准备患者体内的物理关节的系统，包括：
至少一个计算机，其被配置为生成虚拟手术导板，其中所述虚拟手术导板是虚拟平面，其中所述虚拟平面是三维数字表示，其指示与一个或多个解剖结构相关的预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合，用于对准一个或多个物理手术导板、物理锯片、或物理插入件；和
透视光学头戴式显示器，其被配置为以所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、或其组合将所述虚拟手术导板显示在透过所述透视光学头戴式显示器能够直接可见的所述物理关节的表面上，以便将所述虚拟手术导板迭加在所述物理关节的所述表面上，
其中所述虚拟手术导板被配置为允许所述一个或多个物理手术导板、物理锯片或物理插入件与所述虚拟手术导板之间的迭加和对准，
其中所述患者的所述物理关节以及所述一个或多个物理手术导板、物理锯片、或物理插入件透过所述透视光学头戴式显示器能够直接可见，
其中所述一个或多个物理手术导板、物理锯片、或物理插入件被配置为执行或指示所述关节的一个或多个骨切割，并且
其中所述一个或多个解剖结构被配准在坐标系中。
2.根据权利要求1所述的系统，其中所述物理手术导板、物理锯片或物理插入件附接在机器人上。
3.根据权利要求2所述的系统，其中所述机器人包括机器人手臂。
4.根据权利要求1所述的系统，其中所述虚拟平面与所述关节的所述表面相交，并且其中所述虚拟平面是所述物理锯片的虚拟预定路径。
5.根据权利要求1所述的系统，其中所述透视光学头戴式显示器被配置为显示与所述关节的至少一部分相交的虚拟锯片。
6.根据权利要求5所述的系统，其中所述虚拟锯片是物理锯片的三维数字表示。
7.根据权利要求1所述的系统，其中所述虚拟平面被配置为允许所述一个或多个物理手术导板、物理锯片、或物理插入件与所述虚拟平面至少部分迭加。
8.根据权利要求1所述的系统，其中所述虚拟平面在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合下的显示被配置为当所述一个或多个物理手术导板、物理锯片、或物理插入件在用户的视野中移动时或当所述患者的所述物理关节移动时，由所述至少一个计算机相对于所述一个或多个解剖结构保持在所述物理关节的所述表面上。
9.根据权利要求1所述的系统，其中所述至少一个计算机被配置为当所述一个或多个物理手术导板、物理锯片、或物理插入件至少部分地与所述虚拟平面迭加时，将所述虚拟平面相对于所述一个或多个解剖结构保持在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合。
10.根据权利要求1所述的系统，其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、或预定斜度包括预定起始位置、预定中间位置、预定结束位置、或其组合中的至少一个，或者其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、或预定斜度包括预定角度、预定起始定向、预定起始对准、预定中间定向、预定中间对准、预定结束定向、预定结束对准、或其组合。
11.根据权利要求1所述的系统，其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、或预定斜度包括预定起始点、预定中间点、预定结束点、或其组合中的至少一个。
12.根据权利要求1所述的系统，其中所述虚拟平面在所述预定切除水平、或预定切除角度中的所述至少一个下的显示确定了髋关节置换中的腿长度。
13.根据权利要求1所述的系统，其中所述虚拟平面在所述预定切除水平、或预定切除角度中的所述至少一个下的显示确定了髋关节置换中的股骨组件的位置、定向、或其组合。
14.根据权利要求1所述的系统，其中所述虚拟平面在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合下的显示确定了膝关节置换中股骨组件的内翻或外翻角度、屈曲或旋转或者胫骨组件的内翻或外翻角度、斜度、或旋转。
15.根据权利要求1所述的系统，其中所述虚拟平面用于在肩关节置换中引导肱骨的骨切割。
16.根据权利要求1所述的系统，其中所述虚拟平面在所述预定切除水平、预定切除角度、预定内翻或外翻角度、或预定屈曲中的至少一个下的显示确定了踝关节置换中胫骨或距骨组件的冠状面对准或旋转。
17.根据权利要求1所述的系统，进一步包括射频标记、IMU、光学标记、几何图案、手术导航系统、图像捕获系统、深度传感器、激光扫描仪、3D扫描仪、或其组合中的至少一个，其被配置为确定所述一个或多个解剖结构在所述坐标系中的x、y和z坐标。
18.根据权利要求1所述的系统，进一步包括至少一个红外标记，其被配置为确定所述一个或多个解剖结构在所述坐标系中的x、y和z坐标。
19.根据权利要求1所述的系统，进一步包括至少一个LED，其被配置为确定所述一个或多个解剖结构在所述坐标系中的x、y和z坐标。
20.根据权利要求1所述的系统，进一步包括成像系统，其被配置为追踪在所述坐标系中的所述一个或多个解剖结构或者在所述坐标系中的一个或多个物理手术导板、物理锯片、或物理插入件。
21.根据权利要求1所述的系统，进一步包括患者特异性模板、患者的x射线图像或其组合，其被配置为配准在所述坐标系中的所述一个或多个解剖结构。
22.根据权利要求1所述的系统，其中所述一个或多个解剖结构包括解剖标志、解剖平面或其组合。
23.根据权利要求1所述的系统，其中所述一个或多个解剖结构包括关节表面、软骨表面、软骨下骨表面、皮质骨表面、一个或多个表面点、解剖轴、生物力学轴、机械轴或其组合。
24.一种用于准备患者体内的物理关节的系统，包括：
至少一个计算机，其被配置为生成虚拟手术导板，其中所述虚拟手术导板是虚拟平面，其中所述虚拟平面是三维数字表示，其指示相对于一个或多个解剖结构的预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合，用以对准物理组织切割器，其中所述物理组织切割器附接到机器人；和
透视光学头戴式显示器，其被配置为以所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合将所述虚拟手术导板显示在透过所述透视光学头戴式显示器能够直接可见的所述物理关节的表面上，以便将所述虚拟手术导板迭加在所述物理关节的所述表面上，
其中所述虚拟手术导板被配置为允许所述物理组织切割器与所述虚拟手术导板之间的迭加和对准，
其中所述患者的所述物理关节和所述物理组织切割器透过所述透视光学头戴式显示器能够直接可见，
其中所述物理组织切割器被配置为执行所述关节的一个或多个骨切割，并且
其中所述一个或多个解剖结构被配准在坐标系中。
25.一种用于准备患者体内的物理关节的系统，包括：
至少一个计算机，其被配置为生成虚拟手术导板，其中所述虚拟手术导板是虚拟平面，其中所述虚拟平面是三维数字表示，其指示相对于一个或多个解剖结构的预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合，用以对准物理组织切割器，其中所述物理组织切割器附接到机器人；和
透视光学头戴式显示器，其被配置为以所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合将所述虚拟手术导板显示在透过所述透视光学头戴式显示器能够直接可见的所述物理关节的表面上，以便将所述虚拟手术导板迭加在所述物理关节的所述表面上，
其中所述虚拟手术导板被配置为允许所述物理组织切割器与所述虚拟手术导板之间的迭加和对准，
其中所述患者的所述物理关节和所述物理组织切割器透过所述透视光学头戴式显示器能够直接可见，
其中所述物理组织切割器被配置为执行所述关节的一个或多个骨切除，并且
其中所述一个或多个解剖结构被配准在坐标系中。
26.根据权利要求24或25所述的系统，其中所述组织切割器是锯、去毛刺器、钉、手术刀、扩孔器。
27.根据权利要求24或25所述的系统，其中所述组织切割器是锯片。
28.根据权利要求24或25所述的系统，其中所述组织切割器是铣刀。
29.根据权利要求24或25所述的系统，其中所述组织切割器是手持式的。
30.根据权利要求24或25所述的系统，其中所述机器人包括机器人手臂。
31.根据权利要求24或25所述的系统，其中所述至少一个计算机被配置为当所述物理组织切割器在用户的视野内移动时或者当所述患者的所述物理关节移动时，将所述虚拟平面的显示相对于所述一个或多个解剖结构在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、或其组合中的至少一个下保持在所述物理关节的所述表面上。
32.根据权利要求24或25所述的系统，其中所述至少一个计算机被配置为当所述物理组织切割器至少部分地与所述虚拟平面迭加时，将所述虚拟平面的显示相对于所述一个或多个解剖结构保持在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、或其组合中的所述至少一个下。
33.根据权利要求24或25所述的系统，其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲或预定斜度中的所述至少一个包括预定起始位置、预定中间位置、预定结束位置、或其组合中的至少一个。
34.根据权利要求24或25所述的系统，其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲或预定斜度中的所述至少一个包括预定起始点、预定中间点、预定结束点、或其组合中的至少一个。
35.根据权利要求24或25所述的系统，其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲或预定斜度中的所述至少一个包括预定角度、预定起始定向、预定起始对准、预定中间定向、预定结束定向、预定结束对准、或其组合中的至少一个。
36.根据权利要求24或25所述的系统，其中所述至少一个计算机被配置为通过所述光学头戴式显示器显示安全区域。
37.根据权利要求36所述的系统，其中所述至少一个计算机被配置为当所述组织切割器在所述安全区域内、靠近所述安全区域或者违反所述安全区域时通过所述光学头戴式显示器显示视觉警报或者触发声学警报。
38.根据权利要求24或25所述的系统，其中所述虚拟平面与所述关节的所述表面相交，并且其中所述虚拟平面是锯片的虚拟预定路径。
39.根据权利要求24或25所述的系统，其中所述至少一个计算机被配置为通过所述透视光学头戴式显示器显示从所述患者的所述物理关节的预定组织移除。
40.根据权利要求24或25所述的系统，其中所述至少一个计算机被配置为通过所述透视光学头戴式显示器显示从所述患者的所述物理关节的预定组织切除。
41.根据权利要求24或25所述的系统，其中所述透视光学头戴式显示器被配置为显示与所述关节的至少一部分相交的虚拟锯片。
42.一种用于准备患者体内的物理关节的系统，所述系统包括：
至少一个处理器，
至少一个透视光学头戴式显示器，和
至少一个用户接口，
其中所述系统被配置为生成虚拟手术导板，其中所述虚拟手术导板是虚拟轴，其中所述虚拟轴是用于对准至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合的三维数字表示，其是从相对于所述物理关节的至少一个解剖结构的预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合导出的，
其中，所述系统被配置为通过所述至少一个透视光学头戴式显示器在预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合下将所述虚拟手术导板显示在透过所述透视光学头戴式显示器能够直接可见的物理关节的表面上，以便将虚拟手术导板迭加到物理关节的表面上，
其中所述系统被配置为允许所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合与由所述至少一个透视光学头戴式显示器显示的所述虚拟手术导板的至少一部分之间的迭加和对准，并且
其中所述至少一个解剖结构被配准在坐标系中。
43.根据权利要求42所述的系统，其中所述系统被配置为响应于所述物理关节的移动来调整所述虚拟手术导板的显示，以将所述虚拟手术导板的显示相对于所述物理关节的所述至少一个解剖结构保持在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜或其组合下。
44.根据权利要求42所述的系统，其中所述系统被配置为当所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器或撞击器、或其组合在用户的视野中移动时，将所述虚拟手术导板的显示以所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜或其组合保持在所述物理关节的所述表面上。
45.根据权利要求42所述的系统，其中所述至少一个用户接口包括图形用户接口、语音识别、手势识别、由所述至少一个透视光学头戴式显示器显示的虚拟接口、由所述至少一个透视光学头戴式显示器显示的虚拟键盘、物理键盘、物理计算机鼠标、物理追踪板、或其组合。
46.根据权利要求42所述的系统，其中所述系统被配置为通过在物理关节的移动期间保持与第一关节表面和第二关节表面的配准，响应于包括第一关节表面和第二关节表面的物理关节的移动来调整所述虚拟手术导板的显示。
47.根据权利要求42所述的系统，其中所述虚拟轴是所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合的置位指示物。
48.根据权利要求47所述的系统，其中所述置位指示物是对应于所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合的至少一部分或轴的三维数字表示。
49.根据权利要求42所述的系统，其中所述系统用于为植入体组件准备所述物理关节，并且其中所述植入体组件用于膝关节置换、髋关节置换、肩关节置换或踝关节置换。
50.根据权利要求42所述的系统，其中所述系统用于准备所述物理关节用以前十字韧带的重建，并且其中所述虚拟轴与预定股骨隧道、预定胫骨隧道、前十字韧带移植物的预定位置、或前十字韧带移植物的预定定向中的至少一个对准。
51.根据权利要求42所述的系统，其中所述预定切除水平包括预定起始位置、预定结束位置、或其组合，或者其中所述预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合包括预定角度、预定起始定向、预定起始对准、预定结束定向、预定起始位置和结束位置、预定结束对准、或其组合。
52.根据权利要求42所述的系统，其中所述预定切除水平包括预定起始点、预定结束点、或其组合，或者其中所述预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合包括预定角度、预定起始定向、预定起始对准、预定结束定向、预定起始点和结束点、预定结束对准、或其组合。
53.根据权利要求42所述的系统，其中所述虚拟轴的所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合被配置为确定膝关节置换中股骨组件的屈曲、内翻或外翻角度或旋转或者胫骨组件的斜度内翻或外翻角度、或旋转，或髋关节置换中髋臼组件的偏移、倾斜或前倾或者股骨组件的偏移、前倾或腿长，或肩关节置换中关节盂或肱骨组件的位置、定向或倾侧，或踝关节置换中胫骨或距骨组件的冠状面对准或旋转。
54.根据权利要求42所述的系统，其中所述至少一个解剖结构透过所述光学头戴式显示器能够直接可见。
55.根据权利要求42所述的系统，其中所述系统被配置为使用射频标记、IMU、光学标记、几何图案、患者特异性标记、手术导航系统、图像捕获系统、深度传感器、激光扫描仪、3D扫描仪、或其组合来获得所述至少一个解剖结构的坐标，并且其中所述坐标被配准在所述坐标系中。
56.根据权利要求42所述的系统，进一步包括至少一个红外标记，其被配置为确定所述至少一个解剖结构在所述坐标系中的x、y和z坐标。
57.根据权利要求42所述的系统，进一步包括至少一个LED，其被配置为确定所述至少一个解剖结构在所述坐标系中的x、y和z坐标。
58.根据权利要求42所述的系统，进一步包括成像系统，其被配置为追踪在所述坐标系中的所述至少一个解剖结构或者在所述坐标系中的至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合。
59.根据权利要求42所述的系统，进一步包括患者特异性模板、患者的x射线图像或其组合，其被配置为配准在所述坐标系中的所述至少一个解剖结构。
60.根据权利要求42所述的系统，其中在所述迭加和对准期间，所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合以及所述虚拟轴透过所述透视光学头戴式显示器能够直接可见。
61.根据权利要求42所述的系统，其中所述至少一个解剖结构包括解剖标志、解剖平面或其组合。
62.根据权利要求42所述的系统，其中所述至少一个解剖结构包括关节表面、软骨表面、软骨下骨表面、皮质骨表面或其组合。
63.根据权利要求42所述的系统，其中能够透过关节镜看到所述至少一个解剖结构。
64.根据权利要求42所述的系统，其中所述至少一个解剖结构包括关于解剖轴、生物力学轴、机械轴、两个或更多个解剖标志之间的尺寸、前部和后部解剖结构之间的尺寸、内侧和外侧解剖结构之间的尺寸、上部和下部解剖结构之间的尺寸、曲率、表面、边缘、或其组合的信息。
65.根据权利要求61所述的系统，其中所述解剖标志包括以下一项或多项：髋臼的一部分或整体、髂壁的一部分、耻骨的一部分、坐骨的一部分、髂前上棘、髂前下棘、耻骨联合、大转子的一部分或整体、小转子的一部分或整体、股骨头的中心、股骨干的一部分或整体、股骨颈的一部分或整体、股骨头的一部分或整体、横向髋臼韧带、丘脑枕、一个或多个骨赘、股骨髁的一部分或整体、前十字韧带、滑车的一部分或整体、股骨前皮质的一部分、内侧上髁隆起、外侧上髁隆起、胫骨内侧坪的一部分或整体、胫骨外侧坪一部分或整体、内侧胫骨脊的一部分或整体、外侧胫骨脊的一部分或整体、胫骨前皮质的一部分、髌骨的内侧边缘、髌骨的外侧边缘、髌骨上极、髌骨下极、髌骨骨赘、股骨凹陷的内侧壁、股骨凹陷的外侧壁、股骨凹陷的顶部、内侧髁的内侧壁、外侧髁的外侧壁、内侧股骨髁形状、内侧股骨髁半径、内侧股骨髁凸面、内侧股骨髁凹面、外侧股骨髁形状、外侧股骨髁半径、外侧股骨髁凸面、外侧股骨髁凹面、髁间凹陷形状、髁间凹陷表面特征、前内侧胫骨边缘、前外侧胫骨边缘、内侧胫骨边缘、外侧胫骨边缘、关节盂的一部分或整体、喙突的一部分或整体、肩峰的一部分或整体、锁骨的一部分、肱骨头的一部分或整体、肱骨颈的一部分或整体、肱骨干的一部分、一个或多个肱骨骨赘、一个或多个关节盂骨赘、盂唇的一部分或整体、肩部韧带的一部分或整体、喙肩韧带的一部分或整体、以及盂肱韧带的一部分或整体。
66.根据权利要求61所述的系统，其中所述解剖标志包括以下一项或多项：内侧坪的最低点、外侧坪的最低点、内侧坪的最高点、外侧坪的最高点、胫骨内侧坪形状、胫骨外侧坪形状、胫骨内侧坪表面、胫骨内侧坪表面特征、胫骨内侧坪半径、胫骨内侧坪凸面、胫骨内侧坪凹面、胫骨外侧坪形状、胫骨外侧坪表面、胫骨外侧坪表面特征、胫骨外侧坪半径、胫骨外侧坪凸面以及胫骨外侧坪凹面。
67.根据权利要求42所述的系统，其中所述物理关节的所述表面包括骨、相对的关节表面、皮肤、皮下组织、韧带、半月板中的一个或多个。
68.根据权利要求43所述的系统，其中所述患者的所述物理关节的移动包括以下一项或多项的移动：软骨表面、皮质骨表面、软骨下骨表面、关节表面，骨赘、切割骨表面、扩孔骨表面、铣削骨表面、撞击骨表面、皮肤、皮下组织、髋臼、髂壁、耻骨、坐骨、髂前上棘、髂前下棘、耻骨联合、大转子、小转子、股骨干、股骨颈、股骨头、横向髋臼韧带、丘脑枕、盂唇、股骨髁、股骨凹陷、滑车、股骨的前皮质、上髁隆起、胫骨内侧坪、胫骨外侧坪、胫骨脊、胫骨皮质、髌骨、前十字韧带、后十字韧带、内侧副韧带、外侧副韧带、半月板、关节盂、喙突、肩峰、锁骨、肱骨头、肱骨颈、肱骨干、盂唇、肩部韧带、胫骨远端和距骨中的一项或多项的至少一部分。
69.根据权利要求42所述的系统，其中一个或多个标记附接于第一关节侧和第二关节侧，其中在所述关节的移动期间追踪所述第一关节侧和所述第二关节侧上的所述一个或多个标记的位置和/或定向，并且其中所述一个或多个标记包括IMU、光学标记、几何图案、射频标记、中的一个或多个。
70.根据权利要求42所述的系统，其中一个或多个标记附接于第一关节侧和第二关节侧，其中在所述关节的移动期间追踪所述第一关节侧和所述第二关节侧上的所述一个或多个标记的位置和/或定向，并且其中所述一个或多个标记包括红外标记或逆向反射标记中的一个或多个。
71.根据权利要求42所述的系统，其中所述系统被配置为在所述坐标系中追踪所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、撞击器、或其组合。
72.根据权利要求71所述的系统，其中所述系统被配置为当所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合偏离预定手术计划时，通过所述至少一个透视光学头戴式显示器以一种或多种颜色显示视觉警报信号。
73.根据权利要求42所述的系统，其中所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合是手持式的。
74.根据权利要求42或73所述的系统，其中所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合被附接到机器人。
75.根据权利要求74所述的系统，其中所述系统被配置为通过所述至少一个透视光学头戴式显示器在所述物理关节的表面上显示安全区域，其中所述安全区域指示用于所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合的预定操作范围。
76.根据权利要求74所述的系统，其中所述系统被配置为通过所述至少一个透视光学头戴式显示器来显示视觉警报，和/或其中所述系统被配置为当所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合在安全区域内或安全区域外时触发声学警报。
77.根据权利要求74所述的系统，其中所述机器人具有机器人手臂。
78.根据权利要求74所述的系统，其中所述机器人引导至少一个物理手术钻、去毛刺器、铣刀、锯、切割块、导向杆或扩孔器。
79.根据权利要求42所述的系统，其中所述系统被配置为持续地显示所述虚拟手术导板。
80.根据权利要求1、24、25或42的任一项所述的系统，其中所述系统被配置为间歇地显示所述虚拟手术导板。
81.根据权利要求1、24、25或42的任一项所述的系统，其中至少一个透视光学头戴式显示器包括至少一个处理器。
82.根据权利要求1、24、25或42的任一项所述的系统，其中至少一个处理器与至少一个透视光学头戴式显示器分离。
83.根据权利要求42的所述的系统，其中所述虚拟轴被配置为允许所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合与所述虚拟轴的至少部分迭加。
84.根据权利要求42的所述的系统，其中所述虚拟轴被配置为允许所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合与所述虚拟轴的至少部分对准。
85.根据权利要求42所述的系统，其中所述物理关节的所述表面包括软骨。
CN202010160714.4A 2016-03-12 2017-03-10 包括机器人的用于引导骨切除的增强现实可视化 Active CN111329552B (zh)

Applications Claiming Priority (23)

Application Number Priority Date Filing Date Title
US201662307476P 2016-03-12 2016-03-12
US62/307,476 2016-03-12
US201662318157P 2016-04-04 2016-04-04
US62/318,157 2016-04-04
US201662323716P 2016-04-17 2016-04-17
US62/323,716 2016-04-17
US201662331995P 2016-05-05 2016-05-05
US62/331,995 2016-05-05
US201662354780P 2016-06-26 2016-06-26
US62/354,780 2016-06-26
US201662378242P 2016-08-23 2016-08-23
US62/378,242 2016-08-23
US201662393054P 2016-09-11 2016-09-11
US62/393,054 2016-09-11
US201662406379P 2016-10-10 2016-10-10
US62/406,379 2016-10-10
US201662425019P 2016-11-21 2016-11-21
US62/425,019 2016-11-21
US201762445691P 2017-01-12 2017-01-12
US62/445,691 2017-01-12
US201762453484P 2017-02-01 2017-02-01
US62/453,484 2017-02-01
CN201780029093.2A CN109310476B (zh) 2016-03-12 2017-03-10 用于手术的装置与方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780029093.2A Division CN109310476B (zh) 2016-03-12 2017-03-10 用于手术的装置与方法

Publications (2)

Publication Number Publication Date
CN111329552A CN111329552A (zh) 2020-06-26
CN111329552B true CN111329552B (zh) 2021-06-22

Family

ID=59788205

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202010160902.7A Active CN111329554B (zh) 2016-03-12 2017-03-10 用于手术的装置与方法
CN202010160584.4A Pending CN111329551A (zh) 2016-03-12 2017-03-10 用于脊柱和关节手术的增强现实引导
CN202010160714.4A Active CN111329552B (zh) 2016-03-12 2017-03-10 包括机器人的用于引导骨切除的增强现实可视化
CN202010160852.2A Active CN111329553B (zh) 2016-03-12 2017-03-10 用于手术的装置与方法
CN201780029093.2A Active CN109310476B (zh) 2016-03-12 2017-03-10 用于手术的装置与方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202010160902.7A Active CN111329554B (zh) 2016-03-12 2017-03-10 用于手术的装置与方法
CN202010160584.4A Pending CN111329551A (zh) 2016-03-12 2017-03-10 用于脊柱和关节手术的增强现实引导

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202010160852.2A Active CN111329553B (zh) 2016-03-12 2017-03-10 用于手术的装置与方法
CN201780029093.2A Active CN109310476B (zh) 2016-03-12 2017-03-10 用于手术的装置与方法

Country Status (5)

Country Link
US (20) US9861446B2 (zh)
EP (2) EP4327769A3 (zh)
CN (5) CN111329554B (zh)
CA (1) CA3016604A1 (zh)
WO (1) WO2017160651A1 (zh)

Families Citing this family (798)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9060770B2 (en) 2003-05-20 2015-06-23 Ethicon Endo-Surgery, Inc. Robotically-driven surgical instrument with E-beam driver
US20070084897A1 (en) 2003-05-20 2007-04-19 Shelton Frederick E Iv Articulating surgical stapling instrument incorporating a two-piece e-beam firing mechanism
US8215531B2 (en) 2004-07-28 2012-07-10 Ethicon Endo-Surgery, Inc. Surgical stapling instrument having a medical substance dispenser
US9072535B2 (en) 2011-05-27 2015-07-07 Ethicon Endo-Surgery, Inc. Surgical stapling instruments with rotatable staple deployment arrangements
US11998198B2 (en) 2004-07-28 2024-06-04 Cilag Gmbh International Surgical stapling instrument incorporating a two-piece E-beam firing mechanism
US11896225B2 (en) 2004-07-28 2024-02-13 Cilag Gmbh International Staple cartridge comprising a pan
US9237891B2 (en) 2005-08-31 2016-01-19 Ethicon Endo-Surgery, Inc. Robotically-controlled surgical stapling devices that produce formed staples having different lengths
US7934630B2 (en) 2005-08-31 2011-05-03 Ethicon Endo-Surgery, Inc. Staple cartridges for forming staples having differing formed staple heights
US11246590B2 (en) 2005-08-31 2022-02-15 Cilag Gmbh International Staple cartridge including staple drivers having different unfired heights
US7669746B2 (en) 2005-08-31 2010-03-02 Ethicon Endo-Surgery, Inc. Staple cartridges for forming staples having differing formed staple heights
US10159482B2 (en) 2005-08-31 2018-12-25 Ethicon Llc Fastener cartridge assembly comprising a fixed anvil and different staple heights
US11484312B2 (en) 2005-08-31 2022-11-01 Cilag Gmbh International Staple cartridge comprising a staple driver arrangement
US20070106317A1 (en) 2005-11-09 2007-05-10 Shelton Frederick E Iv Hydraulically and electrically actuated articulation joints for surgical instruments
US9592127B2 (en) 2005-12-15 2017-03-14 Zimmer, Inc. Distal femoral knee prostheses
US20110024477A1 (en) 2009-02-06 2011-02-03 Hall Steven G Driven Surgical Stapler Improvements
US7845537B2 (en) 2006-01-31 2010-12-07 Ethicon Endo-Surgery, Inc. Surgical instrument having recording capabilities
US11793518B2 (en) 2006-01-31 2023-10-24 Cilag Gmbh International Powered surgical instruments with firing system lockout arrangements
US8820603B2 (en) 2006-01-31 2014-09-02 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of a surgical instrument
US20110295295A1 (en) 2006-01-31 2011-12-01 Ethicon Endo-Surgery, Inc. Robotically-controlled surgical instrument having recording capabilities
US8708213B2 (en) 2006-01-31 2014-04-29 Ethicon Endo-Surgery, Inc. Surgical instrument having a feedback system
US7753904B2 (en) 2006-01-31 2010-07-13 Ethicon Endo-Surgery, Inc. Endoscopic surgical instrument with a handle that can articulate with respect to the shaft
US20120292367A1 (en) 2006-01-31 2012-11-22 Ethicon Endo-Surgery, Inc. Robotically-controlled end effector
US11278279B2 (en) 2006-01-31 2022-03-22 Cilag Gmbh International Surgical instrument assembly
US8186555B2 (en) 2006-01-31 2012-05-29 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting and fastening instrument with mechanical closure system
US11224427B2 (en) 2006-01-31 2022-01-18 Cilag Gmbh International Surgical stapling system including a console and retraction assembly
US8992422B2 (en) 2006-03-23 2015-03-31 Ethicon Endo-Surgery, Inc. Robotically-controlled endoscopic accessory channel
US8635082B2 (en) 2006-05-25 2014-01-21 DePuy Synthes Products, LLC Method and system for managing inventories of orthopaedic implants
US8322455B2 (en) 2006-06-27 2012-12-04 Ethicon Endo-Surgery, Inc. Manually driven surgical cutting and fastening instrument
US10568652B2 (en) 2006-09-29 2020-02-25 Ethicon Llc Surgical staples having attached drivers of different heights and stapling instruments for deploying the same
US11980366B2 (en) 2006-10-03 2024-05-14 Cilag Gmbh International Surgical instrument
US11275242B1 (en) * 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11228753B1 (en) * 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US8632535B2 (en) 2007-01-10 2014-01-21 Ethicon Endo-Surgery, Inc. Interlock and surgical instrument including same
US8684253B2 (en) 2007-01-10 2014-04-01 Ethicon Endo-Surgery, Inc. Surgical instrument with wireless communication between a control unit of a robotic system and remote sensor
US11291441B2 (en) 2007-01-10 2022-04-05 Cilag Gmbh International Surgical instrument with wireless communication between control unit and remote sensor
US11039836B2 (en) 2007-01-11 2021-06-22 Cilag Gmbh International Staple cartridge for use with a surgical stapling instrument
US8827133B2 (en) 2007-01-11 2014-09-09 Ethicon Endo-Surgery, Inc. Surgical stapling device having supports for a flexible drive mechanism
US7604151B2 (en) 2007-03-15 2009-10-20 Ethicon Endo-Surgery, Inc. Surgical stapling systems and staple cartridges for deploying surgical staples with tissue compression features
US8931682B2 (en) 2007-06-04 2015-01-13 Ethicon Endo-Surgery, Inc. Robotically-controlled shaft based rotary drive systems for surgical instruments
US11857181B2 (en) 2007-06-04 2024-01-02 Cilag Gmbh International Robotically-controlled shaft based rotary drive systems for surgical instruments
US7753245B2 (en) 2007-06-22 2010-07-13 Ethicon Endo-Surgery, Inc. Surgical stapling instruments
US11849941B2 (en) 2007-06-29 2023-12-26 Cilag Gmbh International Staple cartridge having staple cavities extending at a transverse angle relative to a longitudinal cartridge axis
US8573465B2 (en) 2008-02-14 2013-11-05 Ethicon Endo-Surgery, Inc. Robotically-controlled surgical end effector system with rotary actuated closure systems
US11986183B2 (en) 2008-02-14 2024-05-21 Cilag Gmbh International Surgical cutting and fastening instrument comprising a plurality of sensors to measure an electrical parameter
US8636736B2 (en) 2008-02-14 2014-01-28 Ethicon Endo-Surgery, Inc. Motorized surgical cutting and fastening instrument
US7819298B2 (en) 2008-02-14 2010-10-26 Ethicon Endo-Surgery, Inc. Surgical stapling apparatus with control features operable with one hand
US8758391B2 (en) 2008-02-14 2014-06-24 Ethicon Endo-Surgery, Inc. Interchangeable tools for surgical instruments
US7866527B2 (en) 2008-02-14 2011-01-11 Ethicon Endo-Surgery, Inc. Surgical stapling apparatus with interlockable firing system
US9179912B2 (en) 2008-02-14 2015-11-10 Ethicon Endo-Surgery, Inc. Robotically-controlled motorized surgical cutting and fastening instrument
BRPI0901282A2 (pt) 2008-02-14 2009-11-17 Ethicon Endo Surgery Inc instrumento cirúrgico de corte e fixação dotado de eletrodos de rf
US9585657B2 (en) 2008-02-15 2017-03-07 Ethicon Endo-Surgery, Llc Actuator for releasing a layer of material from a surgical end effector
US9386983B2 (en) 2008-09-23 2016-07-12 Ethicon Endo-Surgery, Llc Robotically-controlled motorized surgical instrument
US11648005B2 (en) 2008-09-23 2023-05-16 Cilag Gmbh International Robotically-controlled motorized surgical instrument with an end effector
US9005230B2 (en) 2008-09-23 2015-04-14 Ethicon Endo-Surgery, Inc. Motorized surgical instrument
US8210411B2 (en) 2008-09-23 2012-07-03 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting instrument
US8608045B2 (en) 2008-10-10 2013-12-17 Ethicon Endo-Sugery, Inc. Powered surgical cutting and stapling apparatus with manually retractable firing system
US8517239B2 (en) 2009-02-05 2013-08-27 Ethicon Endo-Surgery, Inc. Surgical stapling instrument comprising a magnetic element driver
CA2751664A1 (en) 2009-02-06 2010-08-12 Ethicon Endo-Surgery, Inc. Driven surgical stapler improvements
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
US8220688B2 (en) 2009-12-24 2012-07-17 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting instrument with electric actuator directional control assembly
US8851354B2 (en) 2009-12-24 2014-10-07 Ethicon Endo-Surgery, Inc. Surgical cutting instrument that analyzes tissue thickness
US8783543B2 (en) 2010-07-30 2014-07-22 Ethicon Endo-Surgery, Inc. Tissue acquisition arrangements and methods for surgical stapling devices
CA2810729C (en) * 2010-09-10 2018-04-10 Zimmer Gmbh Femoral prosthesis with medialized patellar groove
US8857694B2 (en) 2010-09-30 2014-10-14 Ethicon Endo-Surgery, Inc. Staple cartridge loading assembly
US10945731B2 (en) 2010-09-30 2021-03-16 Ethicon Llc Tissue thickness compensator comprising controlled release and expansion
US9700317B2 (en) 2010-09-30 2017-07-11 Ethicon Endo-Surgery, Llc Fastener cartridge comprising a releasable tissue thickness compensator
US9629814B2 (en) 2010-09-30 2017-04-25 Ethicon Endo-Surgery, Llc Tissue thickness compensator configured to redistribute compressive forces
US11925354B2 (en) 2010-09-30 2024-03-12 Cilag Gmbh International Staple cartridge comprising staples positioned within a compressible portion thereof
US11812965B2 (en) 2010-09-30 2023-11-14 Cilag Gmbh International Layer of material for a surgical end effector
US9320523B2 (en) 2012-03-28 2016-04-26 Ethicon Endo-Surgery, Llc Tissue thickness compensator comprising tissue ingrowth features
US9241714B2 (en) 2011-04-29 2016-01-26 Ethicon Endo-Surgery, Inc. Tissue thickness compensator and method for making the same
US11298125B2 (en) 2010-09-30 2022-04-12 Cilag Gmbh International Tissue stapler having a thickness compensator
US8695866B2 (en) 2010-10-01 2014-04-15 Ethicon Endo-Surgery, Inc. Surgical instrument having a power control circuit
BR112013027794B1 (pt) 2011-04-29 2020-12-15 Ethicon Endo-Surgery, Inc Conjunto de cartucho de grampos
US11207064B2 (en) 2011-05-27 2021-12-28 Cilag Gmbh International Automated end effector component reloading system for use with a robotic system
US8932365B2 (en) 2011-06-16 2015-01-13 Zimmer, Inc. Femoral component for a knee prosthesis with improved articular characteristics
BR112014024102B1 (pt) 2012-03-28 2022-03-03 Ethicon Endo-Surgery, Inc Conjunto de cartucho de prendedores para um instrumento cirúrgico, e conjunto de atuador de extremidade para um instrumento cirúrgico
JP6105041B2 (ja) 2012-03-28 2017-03-29 エシコン・エンド−サージェリィ・インコーポレイテッドＥｔｈｉｃｏｎ Ｅｎｄｏ−Ｓｕｒｇｅｒｙ，Ｉｎｃ． 低圧環境を画定するカプセルを含む組織厚コンペンセーター
RU2644272C2 (ru) 2012-03-28 2018-02-08 Этикон Эндо-Серджери, Инк. Узел ограничения, включающий компенсатор толщины ткани
US9101358B2 (en) 2012-06-15 2015-08-11 Ethicon Endo-Surgery, Inc. Articulatable surgical instrument comprising a firing drive
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11278284B2 (en) 2012-06-28 2022-03-22 Cilag Gmbh International Rotary drive arrangements for surgical instruments
US9289256B2 (en) 2012-06-28 2016-03-22 Ethicon Endo-Surgery, Llc Surgical end effectors having angled tissue-contacting surfaces
BR112014032776B1 (pt) 2012-06-28 2021-09-08 Ethicon Endo-Surgery, Inc Sistema de instrumento cirúrgico e kit cirúrgico para uso com um sistema de instrumento cirúrgico
RU2636861C2 (ru) 2012-06-28 2017-11-28 Этикон Эндо-Серджери, Инк. Блокировка пустой кассеты с клипсами
US9226751B2 (en) 2012-06-28 2016-01-05 Ethicon Endo-Surgery, Inc. Surgical instrument system including replaceable end effectors
US9282974B2 (en) 2012-06-28 2016-03-15 Ethicon Endo-Surgery, Llc Empty clip cartridge lockout
US20140001231A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Firing system lockout arrangements for surgical instruments
MX368026B (es) 2013-03-01 2019-09-12 Ethicon Endo Surgery Inc Instrumento quirúrgico articulable con vías conductoras para la comunicación de la señal.
BR112015021082B1 (pt) 2013-03-01 2022-05-10 Ethicon Endo-Surgery, Inc Instrumento cirúrgico
US9629629B2 (en) 2013-03-14 2017-04-25 Ethicon Endo-Surgey, LLC Control systems for surgical instruments
US9883860B2 (en) 2013-03-14 2018-02-06 Ethicon Llc Interchangeable shaft assemblies for use with a surgical instrument
BR112015026109B1 (pt) 2013-04-16 2022-02-22 Ethicon Endo-Surgery, Inc Instrumento cirúrgico
US10136887B2 (en) 2013-04-16 2018-11-27 Ethicon Llc Drive system decoupling arrangement for a surgical instrument
US10624634B2 (en) 2013-08-23 2020-04-21 Ethicon Llc Firing trigger lockout arrangements for surgical instruments
JP6416260B2 (ja) 2013-08-23 2018-10-31 エシコン エルエルシー 動力付き外科用器具のための発射部材後退装置
WO2015052586A2 (en) 2013-10-10 2015-04-16 Imascap Methods, systems and devices for pre-operatively planned shoulder surgery guides and implants
DE102013222230A1 (de) 2013-10-31 2015-04-30 Fiagon Gmbh Chirurgisches Instrument
JP6442530B2 (ja) * 2014-01-27 2018-12-19 マテリアライズ・ナムローゼ・フエンノートシャップＭａｔｅｒｉａｌｉｓｅ Ｎｖ 形状の予測
US9962161B2 (en) 2014-02-12 2018-05-08 Ethicon Llc Deliverable surgical instrument
US10004497B2 (en) 2014-03-26 2018-06-26 Ethicon Llc Interface systems for use with surgical instruments
BR112016021943B1 (pt) 2014-03-26 2022-06-14 Ethicon Endo-Surgery, Llc Instrumento cirúrgico para uso por um operador em um procedimento cirúrgico
US9826977B2 (en) 2014-03-26 2017-11-28 Ethicon Llc Sterilization verification circuit
US10561422B2 (en) 2014-04-16 2020-02-18 Ethicon Llc Fastener cartridge comprising deployable tissue engaging members
JP6612256B2 (ja) 2014-04-16 2019-11-27 エシコン エルエルシー 不均一な締結具を備える締結具カートリッジ
US9801628B2 (en) 2014-09-26 2017-10-31 Ethicon Llc Surgical staple and driver arrangements for staple cartridges
US20150297225A1 (en) 2014-04-16 2015-10-22 Ethicon Endo-Surgery, Inc. Fastener cartridges including extensions having different configurations
CN106456176B (zh) 2014-04-16 2019-06-28 伊西康内外科有限责任公司 包括具有不同构型的延伸部的紧固件仓
BR112016023807B1 (pt) 2014-04-16 2022-07-12 Ethicon Endo-Surgery, Llc Conjunto de cartucho de prendedores para uso com um instrumento cirúrgico
US10130375B2 (en) 2014-07-31 2018-11-20 Zimmer, Inc. Instruments and methods in performing kinematically-aligned total knee arthroplasty
US11311294B2 (en) 2014-09-05 2022-04-26 Cilag Gmbh International Powered medical device including measurement of closure state of jaws
US10016199B2 (en) 2014-09-05 2018-07-10 Ethicon Llc Polarity of hall magnet to identify cartridge type
BR112017004361B1 (pt) 2014-09-05 2023-04-11 Ethicon Llc Sistema eletrônico para um instrumento cirúrgico
US10105142B2 (en) 2014-09-18 2018-10-23 Ethicon Llc Surgical stapler with plurality of cutting elements
MX2017003960A (es) 2014-09-26 2017-12-04 Ethicon Llc Refuerzos de grapas quirúrgicas y materiales auxiliares.
US11523821B2 (en) 2014-09-26 2022-12-13 Cilag Gmbh International Method for creating a flexible staple line
US10076325B2 (en) 2014-10-13 2018-09-18 Ethicon Llc Surgical stapling apparatus comprising a tissue stop
US9924944B2 (en) 2014-10-16 2018-03-27 Ethicon Llc Staple cartridge comprising an adjunct material
US11141153B2 (en) 2014-10-29 2021-10-12 Cilag Gmbh International Staple cartridges comprising driver arrangements
US10517594B2 (en) 2014-10-29 2019-12-31 Ethicon Llc Cartridge assemblies for surgical staplers
US9844376B2 (en) 2014-11-06 2017-12-19 Ethicon Llc Staple cartridge comprising a releasable adjunct material
US10736636B2 (en) 2014-12-10 2020-08-11 Ethicon Llc Articulatable surgical instrument system
US10085748B2 (en) 2014-12-18 2018-10-02 Ethicon Llc Locking arrangements for detachable shaft assemblies with articulatable surgical end effectors
US9987000B2 (en) 2014-12-18 2018-06-05 Ethicon Llc Surgical instrument assembly comprising a flexible articulation system
US9844374B2 (en) 2014-12-18 2017-12-19 Ethicon Llc Surgical instrument systems comprising an articulatable end effector and means for adjusting the firing stroke of a firing member
US10245027B2 (en) 2014-12-18 2019-04-02 Ethicon Llc Surgical instrument with an anvil that is selectively movable about a discrete non-movable axis relative to a staple cartridge
RU2703684C2 (ru) 2014-12-18 2019-10-21 ЭТИКОН ЭНДО-СЕРДЖЕРИ, ЭлЭлСи Хирургический инструмент с упором, который выполнен с возможностью избирательного перемещения относительно кассеты со скобами вокруг дискретной неподвижной оси
US9844375B2 (en) 2014-12-18 2017-12-19 Ethicon Llc Drive arrangements for articulatable surgical instruments
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20160262800A1 (en) 2015-02-13 2016-09-15 Nuvasive, Inc. Systems and methods for planning, performing, and assessing spinal correction during surgery
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US11154301B2 (en) 2015-02-27 2021-10-26 Cilag Gmbh International Modular stapling assembly
CN104644205A (zh) 2015-03-02 2015-05-27 上海联影医疗科技有限公司 用于影像诊断的患者定位方法及系统
US11576645B2 (en) * 2015-03-02 2023-02-14 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for scanning a patient in an imaging system
US11576578B2 (en) * 2015-03-02 2023-02-14 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for scanning a patient in an imaging system
US10617412B2 (en) 2015-03-06 2020-04-14 Ethicon Llc System for detecting the mis-insertion of a staple cartridge into a surgical stapler
US10245033B2 (en) 2015-03-06 2019-04-02 Ethicon Llc Surgical instrument comprising a lockable battery housing
US10052044B2 (en) 2015-03-06 2018-08-21 Ethicon Llc Time dependent evaluation of sensor data to determine stability, creep, and viscoelastic elements of measures
US9901342B2 (en) 2015-03-06 2018-02-27 Ethicon Endo-Surgery, Llc Signal and power communication system positioned on a rotatable shaft
US9993248B2 (en) 2015-03-06 2018-06-12 Ethicon Endo-Surgery, Llc Smart sensors with local signal processing
US10441279B2 (en) 2015-03-06 2019-10-15 Ethicon Llc Multiple level thresholds to modify operation of powered surgical instruments
US10687806B2 (en) 2015-03-06 2020-06-23 Ethicon Llc Adaptive tissue compression techniques to adjust closure rates for multiple tissue types
JP2020121162A (ja) 2015-03-06 2020-08-13 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 測定の安定性要素、クリープ要素、及び粘弾性要素を決定するためのセンサデータの時間依存性評価
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10433844B2 (en) 2015-03-31 2019-10-08 Ethicon Llc Surgical instrument with selectively disengageable threaded drive systems
US10617418B2 (en) 2015-08-17 2020-04-14 Ethicon Llc Implantable layers for a surgical instrument
US10092361B2 (en) 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
US10238386B2 (en) 2015-09-23 2019-03-26 Ethicon Llc Surgical stapler having motor control based on an electrical parameter related to a motor current
US10105139B2 (en) 2015-09-23 2018-10-23 Ethicon Llc Surgical stapler having downstream current-based motor control
US10299878B2 (en) 2015-09-25 2019-05-28 Ethicon Llc Implantable adjunct systems for determining adjunct skew
KR20170037020A (ko) * 2015-09-25 2017-04-04 전자부품연구원 3d 구조물 내 정보 삽입 및 비파괴 정보 인식 방법
JP6889703B2 (ja) 2015-09-28 2021-06-18 モンテフィオレ・メディカル・センターＭｏｎｔｅｆｉｏｒｅ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ 患者の３ｄ表面画像を手術中に観察するための方法及び装置
EP3355834B1 (en) 2015-09-29 2023-01-04 Zimmer, Inc. Tibial prosthesis for tibia with varus resection
US10524788B2 (en) 2015-09-30 2020-01-07 Ethicon Llc Compressible adjunct with attachment regions
US10980539B2 (en) 2015-09-30 2021-04-20 Ethicon Llc Implantable adjunct comprising bonded layers
US11890015B2 (en) 2015-09-30 2024-02-06 Cilag Gmbh International Compressible adjunct with crossing spacer fibers
US10736633B2 (en) 2015-09-30 2020-08-11 Ethicon Llc Compressible adjunct with looping members
AU2015414802B2 (en) * 2015-11-19 2020-12-24 Eos Imaging Method of preoperative planning to correct spine misalignment of a patient
US10991070B2 (en) 2015-12-18 2021-04-27 OrthoGrid Systems, Inc Method of providing surgical guidance
JP6714085B2 (ja) * 2015-12-29 2020-06-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法
US10292704B2 (en) 2015-12-30 2019-05-21 Ethicon Llc Mechanisms for compensating for battery pack failure in powered surgical instruments
US10368865B2 (en) 2015-12-30 2019-08-06 Ethicon Llc Mechanisms for compensating for drivetrain failure in powered surgical instruments
US10265068B2 (en) 2015-12-30 2019-04-23 Ethicon Llc Surgical instruments with separable motors and motor control circuits
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
CN108882932B (zh) 2016-02-09 2021-07-23 伊西康有限责任公司 具有非对称关节运动构造的外科器械
US11213293B2 (en) 2016-02-09 2022-01-04 Cilag Gmbh International Articulatable surgical instruments with single articulation link arrangements
US11224426B2 (en) 2016-02-12 2022-01-18 Cilag Gmbh International Mechanisms for compensating for drivetrain failure in powered surgical instruments
US10448948B2 (en) 2016-02-12 2019-10-22 Ethicon Llc Mechanisms for compensating for drivetrain failure in powered surgical instruments
CN108697471A (zh) * 2016-03-02 2018-10-23 思想外科有限公司 自动化的关节成形术规划
EP3422940B1 (en) * 2016-03-02 2021-06-16 Nuvasive, Inc. Systems and methods for spinal correction surgical planning
CN111329554B (zh) 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
EP3827777A3 (en) * 2016-03-14 2021-08-25 Mohamed R. Mahfouz A bone-cutting guide
AU2017236893A1 (en) * 2016-03-21 2018-09-06 Washington University Virtual reality or augmented reality visualization of 3D medical images
US10335145B2 (en) 2016-04-15 2019-07-02 Ethicon Llc Modular surgical instrument with configurable operating mode
US10456137B2 (en) 2016-04-15 2019-10-29 Ethicon Llc Staple formation detection mechanisms
US10357247B2 (en) 2016-04-15 2019-07-23 Ethicon Llc Surgical instrument with multiple program responses during a firing motion
US10828028B2 (en) 2016-04-15 2020-11-10 Ethicon Llc Surgical instrument with multiple program responses during a firing motion
US11179150B2 (en) 2016-04-15 2021-11-23 Cilag Gmbh International Systems and methods for controlling a surgical stapling and cutting instrument
US10426467B2 (en) 2016-04-15 2019-10-01 Ethicon Llc Surgical instrument with detection sensors
US10492783B2 (en) 2016-04-15 2019-12-03 Ethicon, Llc Surgical instrument with improved stop/start control during a firing motion
US11607239B2 (en) 2016-04-15 2023-03-21 Cilag Gmbh International Systems and methods for controlling a surgical stapling and cutting instrument
US20170296173A1 (en) 2016-04-18 2017-10-19 Ethicon Endo-Surgery, Llc Method for operating a surgical instrument
US10433840B2 (en) 2016-04-18 2019-10-08 Ethicon Llc Surgical instrument comprising a replaceable cartridge jaw
US11317917B2 (en) 2016-04-18 2022-05-03 Cilag Gmbh International Surgical stapling system comprising a lockable firing assembly
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US11253321B2 (en) * 2016-04-27 2022-02-22 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US10813700B2 (en) * 2016-04-27 2020-10-27 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US10806518B2 (en) * 2016-04-27 2020-10-20 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
CN109475385B (zh) * 2016-06-17 2021-06-18 捷迈有限公司 用于术中手术计划的系统和方法
GB2566663B (en) * 2016-06-27 2022-02-23 Synaptive Medical Inc Intraoperative medical imaging method and system
AU2017295728B2 (en) 2016-07-15 2021-03-25 Mako Surgical Corp. Systems for a robotic-assisted revision procedure
US11071596B2 (en) 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US10485450B2 (en) 2016-08-30 2019-11-26 Mako Surgical Corp. Systems and methods for intra-operative pelvic registration
JP6659501B2 (ja) * 2016-09-14 2020-03-04 富士フイルム株式会社 軟骨定量化装置、方法およびプログラム
US10433725B2 (en) * 2016-09-15 2019-10-08 The Governors Of The University Of Alberta System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task
EP3512452A1 (en) * 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
US10130430B2 (en) * 2016-11-14 2018-11-20 Intai Technology Corp. No-touch surgical navigation method and system thereof
EP3554414A1 (en) * 2016-12-16 2019-10-23 MAKO Surgical Corp. Techniques for modifying tool operation in a surgical robotic system based on comparing actual and commanded states of the tool relative to a surgical site
US10485543B2 (en) 2016-12-21 2019-11-26 Ethicon Llc Anvil having a knife slot width
US10881401B2 (en) 2016-12-21 2021-01-05 Ethicon Llc Staple firing member comprising a missing cartridge and/or spent cartridge lockout
US10610224B2 (en) 2016-12-21 2020-04-07 Ethicon Llc Lockout arrangements for surgical end effectors and replaceable tool assemblies
JP7010956B2 (ja) 2016-12-21 2022-01-26 エシコン エルエルシー 組織をステープル留めする方法
US10675026B2 (en) 2016-12-21 2020-06-09 Ethicon Llc Methods of stapling tissue
US10582928B2 (en) 2016-12-21 2020-03-10 Ethicon Llc Articulation lock arrangements for locking an end effector in an articulated position in response to actuation of a jaw closure system
US11134942B2 (en) 2016-12-21 2021-10-05 Cilag Gmbh International Surgical stapling instruments and staple-forming anvils
US20180168625A1 (en) 2016-12-21 2018-06-21 Ethicon Endo-Surgery, Llc Surgical stapling instruments with smart staple cartridges
JP7086963B2 (ja) 2016-12-21 2022-06-20 エシコン エルエルシー エンドエフェクタロックアウト及び発射アセンブリロックアウトを備える外科用器具システム
US20180168615A1 (en) 2016-12-21 2018-06-21 Ethicon Endo-Surgery, Llc Method of deforming staples from two different types of staple cartridges with the same surgical stapling instrument
JP6983893B2 (ja) 2016-12-21 2021-12-17 エシコン エルエルシーEthicon LLC 外科用エンドエフェクタ及び交換式ツールアセンブリのためのロックアウト構成
US11419606B2 (en) 2016-12-21 2022-08-23 Cilag Gmbh International Shaft assembly comprising a clutch configured to adapt the output of a rotary firing member to two different systems
US10893864B2 (en) 2016-12-21 2021-01-19 Ethicon Staple cartridges and arrangements of staples and staple cavities therein
US10898186B2 (en) 2016-12-21 2021-01-26 Ethicon Llc Staple forming pocket arrangements comprising primary sidewalls and pocket sidewalls
US11191539B2 (en) 2016-12-21 2021-12-07 Cilag Gmbh International Shaft assembly comprising a manually-operable retraction system for use with a motorized surgical instrument system
US10667809B2 (en) 2016-12-21 2020-06-02 Ethicon Llc Staple cartridge and staple cartridge channel comprising windows defined therein
US10588631B2 (en) 2016-12-21 2020-03-17 Ethicon Llc Surgical instruments with positive jaw opening features
CN110087565A (zh) 2016-12-21 2019-08-02 爱惜康有限责任公司 外科缝合系统
US10448950B2 (en) 2016-12-21 2019-10-22 Ethicon Llc Surgical staplers with independently actuatable closing and firing systems
KR101863574B1 (ko) * 2016-12-29 2018-06-01 경북대학교 산학협력단 레이저 표적 투영장치와 C-arm 영상의 정합 방법, 이를 수행하기 위한 기록 매체 및 정합용 툴을 포함하는 레이저 수술 유도 시스템
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
CN108268120B (zh) * 2016-12-29 2020-07-28 同方威视技术股份有限公司 基于vr或ar的图像数据处理方法、设备和安检系统
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
WO2018132804A1 (en) * 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
WO2018154491A1 (en) * 2017-02-22 2018-08-30 Orthosoft Inc. Bone and tool tracking in robotized computer-assisted surgery
EP3614949A4 (en) 2017-03-07 2021-05-19 Imascap SAS COMPUTER MODELING PROCEDURES FOR SURGICAL SIMULATION AND PLANNING
CN110603002A (zh) * 2017-03-10 2019-12-20 拜欧米特制造有限责任公司 增强现实支持的膝盖手术
WO2018169891A1 (en) * 2017-03-13 2018-09-20 Zimmer, Inc. Augmented reality diagnosis guidance
CN110730639B (zh) 2017-03-14 2023-12-12 S·B·墨菲 用于确定髋部外科手术期间腿长改变的系统和方法
WO2018170181A1 (en) * 2017-03-14 2018-09-20 Universidade De Coimbra Systems and methods for 3d registration of curves and surfaces using local differential information
EP3595567A1 (en) * 2017-03-14 2020-01-22 Smith & Nephew, Inc. Systems and methods for measuring bone joint laxity
US11830614B2 (en) 2017-03-20 2023-11-28 Opticsurg, Inc. Method and system for optimizing healthcare delivery
US20200234809A1 (en) * 2017-03-20 2020-07-23 OpticSurg Inc. Method and system for optimizing healthcare delivery
US11364077B2 (en) * 2017-03-24 2022-06-21 The Spectranetics Corporation Laser energy delivery devices including distal tip orientation indicators
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
EP3613057A4 (en) * 2017-04-18 2021-04-21 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE FOR PLANNING A PROCEDURE
US10895906B2 (en) * 2017-04-20 2021-01-19 The Cleveland Clinic Foundation System and method for holographic image-guided non-vascular percutaneous procedures
KR102555443B1 (ko) 2017-05-01 2023-07-12 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
EP3398551B1 (en) * 2017-05-03 2024-10-30 Stryker European Operations Holdings LLC Methods of pose estimation of three-dimensional bone models in surgical planning a total ankle replacement
US10032281B1 (en) 2017-05-03 2018-07-24 Siemens Healthcare Gmbh Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging
US11589927B2 (en) 2017-05-05 2023-02-28 Stryker European Operations Limited Surgical navigation system and method
JP6972647B2 (ja) * 2017-05-11 2021-11-24 富士フイルムビジネスイノベーション株式会社 三次元形状データの編集装置、及び三次元形状データの編集プログラム
EP3409230B1 (de) * 2017-05-31 2019-05-22 Siemens Healthcare GmbH Bewegen eines roboterarms
US10881399B2 (en) 2017-06-20 2021-01-05 Ethicon Llc Techniques for adaptive control of motor velocity of a surgical stapling and cutting instrument
US10779820B2 (en) 2017-06-20 2020-09-22 Ethicon Llc Systems and methods for controlling motor speed according to user input for a surgical instrument
US11090046B2 (en) 2017-06-20 2021-08-17 Cilag Gmbh International Systems and methods for controlling displacement member motion of a surgical stapling and cutting instrument
USD879809S1 (en) 2017-06-20 2020-03-31 Ethicon Llc Display panel with changeable graphical user interface
US10888321B2 (en) 2017-06-20 2021-01-12 Ethicon Llc Systems and methods for controlling velocity of a displacement member of a surgical stapling and cutting instrument
USD890784S1 (en) 2017-06-20 2020-07-21 Ethicon Llc Display panel with changeable graphical user interface
US10307170B2 (en) 2017-06-20 2019-06-04 Ethicon Llc Method for closed loop control of motor velocity of a surgical stapling and cutting instrument
US11517325B2 (en) 2017-06-20 2022-12-06 Cilag Gmbh International Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured displacement distance traveled over a specified time interval
US11071554B2 (en) 2017-06-20 2021-07-27 Cilag Gmbh International Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on magnitude of velocity error measurements
US11382638B2 (en) 2017-06-20 2022-07-12 Cilag Gmbh International Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured time over a specified displacement distance
US11653914B2 (en) 2017-06-20 2023-05-23 Cilag Gmbh International Systems and methods for controlling motor velocity of a surgical stapling and cutting instrument according to articulation angle of end effector
US10980537B2 (en) 2017-06-20 2021-04-20 Ethicon Llc Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured time over a specified number of shaft rotations
US10646220B2 (en) 2017-06-20 2020-05-12 Ethicon Llc Systems and methods for controlling displacement member velocity for a surgical instrument
US11324503B2 (en) 2017-06-27 2022-05-10 Cilag Gmbh International Surgical firing member arrangements
US20180368844A1 (en) 2017-06-27 2018-12-27 Ethicon Llc Staple forming pocket arrangements
US10993716B2 (en) 2017-06-27 2021-05-04 Ethicon Llc Surgical anvil arrangements
US11266405B2 (en) 2017-06-27 2022-03-08 Cilag Gmbh International Surgical anvil manufacturing methods
US10856869B2 (en) 2017-06-27 2020-12-08 Ethicon Llc Surgical anvil arrangements
US10765427B2 (en) 2017-06-28 2020-09-08 Ethicon Llc Method for articulating a surgical instrument
USD906355S1 (en) 2017-06-28 2020-12-29 Ethicon Llc Display screen or portion thereof with a graphical user interface for a surgical instrument
US11246592B2 (en) 2017-06-28 2022-02-15 Cilag Gmbh International Surgical instrument comprising an articulation system lockable to a frame
US10716614B2 (en) 2017-06-28 2020-07-21 Ethicon Llc Surgical shaft assemblies with slip ring assemblies with increased contact pressure
EP4070740A1 (en) 2017-06-28 2022-10-12 Cilag GmbH International Surgical instrument comprising selectively actuatable rotatable couplers
US10903685B2 (en) 2017-06-28 2021-01-26 Ethicon Llc Surgical shaft assemblies with slip ring assemblies forming capacitive channels
US11564686B2 (en) 2017-06-28 2023-01-31 Cilag Gmbh International Surgical shaft assemblies with flexible interfaces
US10639037B2 (en) 2017-06-28 2020-05-05 Ethicon Llc Surgical instrument with axially movable closure member
US11259805B2 (en) 2017-06-28 2022-03-01 Cilag Gmbh International Surgical instrument comprising firing member supports
US11058424B2 (en) 2017-06-28 2021-07-13 Cilag Gmbh International Surgical instrument comprising an offset articulation joint
US11270601B2 (en) 2017-06-29 2022-03-08 Verb Surgical Inc. Virtual reality system for simulating a robotic surgical environment
US11011077B2 (en) * 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US10932772B2 (en) 2017-06-29 2021-03-02 Ethicon Llc Methods for closed loop velocity control for robotic surgical instrument
US11007022B2 (en) 2017-06-29 2021-05-18 Ethicon Llc Closed loop velocity control techniques based on sensed tissue parameters for robotic surgical instrument
US11284955B2 (en) 2017-06-29 2022-03-29 Verb Surgical Inc. Emulation of robotic arms and control thereof in a virtual reality environment
US10898183B2 (en) 2017-06-29 2021-01-26 Ethicon Llc Robotic surgical instrument with closed loop feedback techniques for advancement of closure member during firing
US10610303B2 (en) 2017-06-29 2020-04-07 Verb Surgical Inc. Virtual reality laparoscopic tools
US20210361357A1 (en) * 2017-07-21 2021-11-25 Globus Medical, Inc. Robot surgical platform
US11135015B2 (en) * 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US11166764B2 (en) * 2017-07-27 2021-11-09 Carlsmed, Inc. Systems and methods for assisting and augmenting surgical procedures
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US11974742B2 (en) 2017-08-03 2024-05-07 Cilag Gmbh International Surgical system comprising an articulation bailout
US11471155B2 (en) 2017-08-03 2022-10-18 Cilag Gmbh International Surgical system bailout
US11944300B2 (en) 2017-08-03 2024-04-02 Cilag Gmbh International Method for operating a surgical system bailout
US11304695B2 (en) 2017-08-03 2022-04-19 Cilag Gmbh International Surgical system shaft interconnection
WO2019032450A1 (en) * 2017-08-08 2019-02-14 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR RENDERING ALERTS ON A SCREEN OF A TELEOPERATION SYSTEM
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
WO2019036006A1 (en) 2017-08-16 2019-02-21 Covidien Lp SYNTHESIS OF SPACE-SENSITIVE TRANSITIONS BETWEEN MULTIPLE VIEWPOINTS OF VIEWING DEVICES DURING MINI-INVASIVE SURGERY
WO2019036790A1 (en) * 2017-08-21 2019-02-28 Precisionos Technology Inc. MEDICAL VIRTUAL REALITY, MIXED REALITY OR SURGICAL SYSTEM IN INCREASED REALITY
US11127212B1 (en) * 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
US10605875B2 (en) * 2017-08-28 2020-03-31 Synaptive Medical (Barbados) Inc. Contrast system and methods for reflective markers
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US11166775B2 (en) 2017-09-15 2021-11-09 Mako Surgical Corp. Robotic cutting systems and methods for surgical saw blade cutting on hard tissue
USD907647S1 (en) 2017-09-29 2021-01-12 Ethicon Llc Display screen or portion thereof with animated graphical user interface
USD917500S1 (en) 2017-09-29 2021-04-27 Ethicon Llc Display screen or portion thereof with graphical user interface
USD907648S1 (en) 2017-09-29 2021-01-12 Ethicon Llc Display screen or portion thereof with animated graphical user interface
US11399829B2 (en) 2017-09-29 2022-08-02 Cilag Gmbh International Systems and methods of initiating a power shutdown mode for a surgical instrument
US10743872B2 (en) 2017-09-29 2020-08-18 Ethicon Llc System and methods for controlling a display of a surgical instrument
US10765429B2 (en) 2017-09-29 2020-09-08 Ethicon Llc Systems and methods for providing alerts according to the operational state of a surgical instrument
US20200275988A1 (en) * 2017-10-02 2020-09-03 The Johns Hopkins University Image to world registration for medical augmented reality applications using a world spatial map
CN111163697B (zh) * 2017-10-10 2023-10-03 柯惠有限合伙公司 用于在荧光三维重构中识别和标记目标的系统和方法
CN107855980B (zh) * 2017-10-10 2023-10-20 中国空气动力研究与发展中心高速空气动力研究所 一种拔销和拉紧装置
US10828110B1 (en) * 2017-10-10 2020-11-10 Orthosoft Ulc Method and system for pre-operative implant sizing
US11090075B2 (en) 2017-10-30 2021-08-17 Cilag Gmbh International Articulation features for surgical end effector
US11134944B2 (en) 2017-10-30 2021-10-05 Cilag Gmbh International Surgical stapler knife motion controls
US10842490B2 (en) 2017-10-31 2020-11-24 Ethicon Llc Cartridge body design with force reduction based on firing completion
US10779903B2 (en) 2017-10-31 2020-09-22 Ethicon Llc Positive shaft rotation lock activated by jaw closure
CN111448535A (zh) * 2017-11-07 2020-07-24 皇家飞利浦有限公司 对象的增强现实拖放
US11537931B2 (en) 2017-11-29 2022-12-27 Google Llc On-device machine learning platform to enable sharing of machine-learned models between applications
EP4390219A2 (en) 2017-12-10 2024-06-26 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US10796475B2 (en) * 2017-12-13 2020-10-06 Carestream Health, Inc. Bone segmentation and display for 3D extremity imaging
DE102017129837A1 (de) * 2017-12-13 2019-06-13 Leibniz-Institut für Photonische Technologien e. V. Kombinierte Untersuchung mit Bildgebung und Lasermessung
US11197670B2 (en) 2017-12-15 2021-12-14 Cilag Gmbh International Surgical end effectors with pivotal jaws configured to touch at their respective distal ends when fully closed
KR102697349B1 (ko) * 2017-12-15 2024-08-23 삼성전자주식회사 대화형 원격 의료를 위한 통합 예측 분석 장치 및 동작 방법
US11033267B2 (en) 2017-12-15 2021-06-15 Ethicon Llc Systems and methods of controlling a clamping member firing rate of a surgical instrument
US10828033B2 (en) 2017-12-15 2020-11-10 Ethicon Llc Handheld electromechanical surgical instruments with improved motor control arrangements for positioning components of an adapter coupled thereto
US10869666B2 (en) 2017-12-15 2020-12-22 Ethicon Llc Adapters with control systems for controlling multiple motors of an electromechanical surgical instrument
US10743875B2 (en) 2017-12-15 2020-08-18 Ethicon Llc Surgical end effectors with jaw stiffener arrangements configured to permit monitoring of firing member
US11071543B2 (en) 2017-12-15 2021-07-27 Cilag Gmbh International Surgical end effectors with clamping assemblies configured to increase jaw aperture ranges
US10779825B2 (en) 2017-12-15 2020-09-22 Ethicon Llc Adapters with end effector position sensing and control arrangements for use in connection with electromechanical surgical instruments
US10779826B2 (en) 2017-12-15 2020-09-22 Ethicon Llc Methods of operating surgical end effectors
US11006955B2 (en) 2017-12-15 2021-05-18 Ethicon Llc End effectors with positive jaw opening features for use with adapters for electromechanical surgical instruments
US10966718B2 (en) 2017-12-15 2021-04-06 Ethicon Llc Dynamic clamping assemblies with improved wear characteristics for use in connection with electromechanical surgical instruments
US10743874B2 (en) 2017-12-15 2020-08-18 Ethicon Llc Sealed adapters for use with electromechanical surgical instruments
US10687813B2 (en) 2017-12-15 2020-06-23 Ethicon Llc Adapters with firing stroke sensing arrangements for use in connection with electromechanical surgical instruments
USD910847S1 (en) 2017-12-19 2021-02-16 Ethicon Llc Surgical instrument assembly
US10729509B2 (en) 2017-12-19 2020-08-04 Ethicon Llc Surgical instrument comprising closure and firing locking mechanism
US10835330B2 (en) 2017-12-19 2020-11-17 Ethicon Llc Method for determining the position of a rotatable jaw of a surgical instrument attachment assembly
US10716565B2 (en) 2017-12-19 2020-07-21 Ethicon Llc Surgical instruments with dual articulation drivers
US11045270B2 (en) 2017-12-19 2021-06-29 Cilag Gmbh International Robotic attachment comprising exterior drive actuator
US11020112B2 (en) 2017-12-19 2021-06-01 Ethicon Llc Surgical tools configured for interchangeable use with different controller interfaces
US10827971B2 (en) * 2017-12-20 2020-11-10 Howmedica Osteonics Corp. Virtual ligament balancing
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
US11129680B2 (en) 2017-12-21 2021-09-28 Cilag Gmbh International Surgical instrument comprising a projector
US11311290B2 (en) 2017-12-21 2022-04-26 Cilag Gmbh International Surgical instrument comprising an end effector dampener
US11364027B2 (en) * 2017-12-21 2022-06-21 Cilag Gmbh International Surgical instrument comprising speed control
US11076853B2 (en) 2017-12-21 2021-08-03 Cilag Gmbh International Systems and methods of displaying a knife position during transection for a surgical instrument
AU2018388581A1 (en) 2017-12-22 2020-07-23 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
EP3716879A4 (en) * 2017-12-28 2022-01-26 Changi General Hospital Pte Ltd MOTION COMPENSATION PLATFORM FOR IMAGE-GUIDED PERCUTANEOUS ACCESS TO BODY ORGANS AND STRUCTURES
KR101862360B1 (ko) * 2017-12-28 2018-06-29 (주)휴톰 수술결과에 대한 피드백 제공방법 및 프로그램
GB201800696D0 (en) 2018-01-16 2018-02-28 Depuy Ireland Ultd Co Replaceable battery unit for a surgical power tool
DK201870347A1 (en) * 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
WO2019148154A1 (en) * 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
WO2019152619A1 (en) 2018-02-03 2019-08-08 The Johns Hopkins University Blink-based calibration of an optical see-through head-mounted display
WO2019152617A1 (en) 2018-02-03 2019-08-08 The Johns Hopkins University Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display
US11278413B1 (en) 2018-02-06 2022-03-22 Philipp K. Lang Devices, systems, techniques and methods for determining the fit, size and/or shape of orthopedic implants using computer systems, artificial neural networks and artificial intelligence
EP3749244A1 (en) * 2018-02-07 2020-12-16 AO Technology AG Reference device for real-time tracking of bone and/or surgical objects in computer-assisted surgery
US10864043B2 (en) * 2018-02-09 2020-12-15 Kathleen M Douglas Interactive placement of a 3D digital representation of a surgical device or anatomic feature into a 3D radiologic image for pre-operative planning
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
JP7112502B2 (ja) 2018-02-22 2022-08-03 マジック リープ， インコーポレイテッド 複合現実システムのためのブラウザ
AU2019225931A1 (en) * 2018-02-22 2020-08-20 Magic Leap, Inc. Object creation with physical manipulation
WO2019168863A1 (en) * 2018-02-27 2019-09-06 Mako Surgical Corp. Registration tools, systems, and methods
US10517681B2 (en) 2018-02-27 2019-12-31 NavLab, Inc. Artificial intelligence guidance system for robotic surgery
JP7109936B2 (ja) * 2018-02-28 2022-08-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、および制御方法
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11462319B2 (en) * 2018-03-20 2022-10-04 3M Innovative Properties Company Sterilization process management
US20210007806A1 (en) * 2018-03-21 2021-01-14 Vikas KARADE A method for obtaining 3-d deformity correction for bones
KR102395445B1 (ko) * 2018-03-26 2022-05-11 한국전자통신연구원 음원의 위치를 추정하기 위한 전자 장치
RU180998U1 (ru) * 2018-04-02 2018-07-03 Анастасия Викторовна Филиппова Индивидуальный резекционный блок для выполнения опилов бедренной кости при эндопротезировании коленного сустава
GB2572594A (en) * 2018-04-04 2019-10-09 Corin Ltd Implant alignment system
US11589949B1 (en) * 2018-04-05 2023-02-28 MirrorMe3D, LLC System and methods of creating a 3D medical representation for use in performing reconstructive surgeries
US11386990B1 (en) 2018-04-17 2022-07-12 Smith & Nephew, Inc. Three-dimensional selective bone matching
US11259874B1 (en) * 2018-04-17 2022-03-01 Smith & Nephew, Inc. Three-dimensional selective bone matching
TWI678181B (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US10869727B2 (en) * 2018-05-07 2020-12-22 The Cleveland Clinic Foundation Live 3D holographic guidance and navigation for performing interventional procedures
EP3566669A1 (en) * 2018-05-10 2019-11-13 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US10825563B2 (en) 2018-05-14 2020-11-03 Novarad Corporation Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
US11783464B2 (en) * 2018-05-18 2023-10-10 Lawrence Livermore National Security, Llc Integrating extended reality with inspection systems
ES2804910R2 (es) * 2018-05-30 2021-09-22 Macho Alvaro Zubizarreta Procedimiento para transferir una planificacion terapeutica a un dispositivo de realidad mixta
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
US10511881B1 (en) 2018-05-31 2019-12-17 Titan Health & Security Technologies, Inc. Communication exchange system for remotely communicating instructions
EP3574862B1 (en) * 2018-06-01 2021-08-18 Mako Surgical Corporation Systems for adaptive planning and control of a surgical tool
WO2019245852A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Virtual checklists for orthopedic surgery
US11051829B2 (en) * 2018-06-26 2021-07-06 DePuy Synthes Products, Inc. Customized patient-specific orthopaedic surgical instrument
US11373372B2 (en) 2018-06-26 2022-06-28 Fanuc America Corporation Automatic dynamic diagnosis guide with augmented reality
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
DE102018116558A1 (de) * 2018-07-09 2020-01-09 Aesculap Ag Medizintechnisches Instrumentarium und Verfahren
US20200015924A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
EP3824621A4 (en) 2018-07-19 2022-04-27 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MULTIMODAL DETECTION OF DEPTH IN VISION SYSTEMS FOR AUTOMATED SURGICAL ROBOTS
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
US11705238B2 (en) * 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
GB2574074B (en) 2018-07-27 2020-05-20 Mclaren Applied Tech Ltd Time synchronisation
US10712837B1 (en) * 2018-07-30 2020-07-14 David Douglas Using geo-registered tools to manipulate three-dimensional medical images
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
US11045192B2 (en) 2018-08-20 2021-06-29 Cilag Gmbh International Fabricating techniques for surgical stapler anvils
US10779821B2 (en) 2018-08-20 2020-09-22 Ethicon Llc Surgical stapler anvils with tissue stop features configured to avoid tissue pinch
US10856870B2 (en) 2018-08-20 2020-12-08 Ethicon Llc Switching arrangements for motor powered articulatable surgical instruments
US11207065B2 (en) 2018-08-20 2021-12-28 Cilag Gmbh International Method for fabricating surgical stapler anvils
US11291440B2 (en) 2018-08-20 2022-04-05 Cilag Gmbh International Method for operating a powered articulatable surgical instrument
US11324501B2 (en) 2018-08-20 2022-05-10 Cilag Gmbh International Surgical stapling devices with improved closure members
US11083458B2 (en) 2018-08-20 2021-08-10 Cilag Gmbh International Powered surgical instruments with clutching arrangements to convert linear drive motions to rotary drive motions
US10842492B2 (en) 2018-08-20 2020-11-24 Ethicon Llc Powered articulatable surgical instruments with clutching and locking arrangements for linking an articulation drive system to a firing drive system
USD914878S1 (en) 2018-08-20 2021-03-30 Ethicon Llc Surgical instrument anvil
US10912559B2 (en) 2018-08-20 2021-02-09 Ethicon Llc Reinforced deformable anvil tip for surgical stapler anvil
US11039834B2 (en) 2018-08-20 2021-06-22 Cilag Gmbh International Surgical stapler anvils with staple directing protrusions and tissue stability features
US11253256B2 (en) 2018-08-20 2022-02-22 Cilag Gmbh International Articulatable motor powered surgical instruments with dedicated articulation motor arrangements
CN112955073A (zh) 2018-08-22 2021-06-11 奇跃公司 患者观察系统
CN112533555A (zh) * 2018-08-28 2021-03-19 史密夫和内修有限公司 机器人辅助韧带移植物放置和张紧
CN109009583B (zh) * 2018-09-06 2023-11-03 绍兴市上虞区中医医院 臼杯安放位置定位装置
US10679743B2 (en) * 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
US11540794B2 (en) 2018-09-12 2023-01-03 Orthogrid Systesm Holdings, LLC Artificial intelligence intra-operative surgical guidance system and method of use
EP3852645A4 (en) * 2018-09-12 2022-08-24 Orthogrid Systems, SAS INTRAOPERATIVE ARTIFICIAL INTELLIGENCE SURGICAL GUIDANCE SYSTEM AND METHOD OF USE
CN109388467B (zh) * 2018-09-30 2022-12-02 阿波罗智联(北京)科技有限公司 地图信息显示方法、装置、计算机设备及存储介质
CN112842533B (zh) * 2018-10-09 2023-09-05 北京术锐机器人股份有限公司 柔性手术工具及血管介入手术机器人系统
EP3640949A1 (en) * 2018-10-17 2020-04-22 Incremed AG Augmented reality with medical imaging
NL2021849B1 (en) 2018-10-22 2020-05-13 Mat Nv System and method for catheter based intervention
EP3870021B1 (en) 2018-10-26 2022-05-25 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US11684489B2 (en) * 2018-10-29 2023-06-27 Mako Surgical Corp. Robotic system for ankle arthroplasty
US11555874B2 (en) * 2018-11-12 2023-01-17 Case Western Reserve University System and method for real-time magnetic resonance imaging data visualization in three or four dimensions
US11000382B1 (en) * 2018-11-15 2021-05-11 Little Engine, LLC Apparatus and method for joint characterization and treatment
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
WO2020102665A1 (en) * 2018-11-16 2020-05-22 Lang Philipp K Augmented reality guidance for surgical procedures with adjustment of scale, convergence and focal plane or focal point of virtual data
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
TWI693922B (zh) * 2018-11-30 2020-05-21 財團法人金屬工業研究發展中心 骨缺損補骨導引器具之製備方法
WO2020115152A1 (en) * 2018-12-05 2020-06-11 Medos International Sarl Surgical navigation system providing attachment metrics
US10976728B2 (en) * 2018-12-10 2021-04-13 Raytheon Technologies Corporation Automatic process planning for robotic deburring operations
WO2020123705A1 (en) * 2018-12-12 2020-06-18 Tornier, Inc. Soft tissue structure determination from ct images
US11350847B2 (en) 2018-12-13 2022-06-07 Biosense Webster (Israel) Ltd. Composite visualization of body part
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
RU2692981C1 (ru) * 2018-12-24 2019-06-28 Денис Игоревич Варфоломеев Способ определения торсии шейки бедренной кости
CN109498106B (zh) * 2018-12-26 2021-11-19 哈尔滨工程大学 一种基于三维图像的髓内针钉孔的定位和导航方法
CN109512511A (zh) * 2019-01-14 2019-03-26 常州锦瑟医疗信息科技有限公司 基于定位导板的手术增强现实定位的方法和装置
US11666384B2 (en) * 2019-01-14 2023-06-06 Nuvasive, Inc. Prediction of postoperative global sagittal alignment based on full-body musculoskeletal modeling and posture optimization
US11176667B2 (en) * 2019-01-15 2021-11-16 Intellijoint Surgical Inc. Systems, devices and methods for bone reorientation
US10909951B2 (en) * 2019-01-16 2021-02-02 International Business Machines Corporation Localized glare reduction on user interfaces
EP3682808A1 (fr) * 2019-01-17 2020-07-22 Université Paris Est Créteil Val De Marne Dispositif médical en radiologie interventionnelle de guidage en temps réel d'une aiguille médicale d'opération dans un volume
US11730389B2 (en) * 2019-01-28 2023-08-22 Incremed Ag Method and system for supporting medical interventions
CN109620406B (zh) * 2019-01-29 2021-08-17 北京和华瑞博医疗科技有限公司 用于全膝关节置换术的显示及配准方法
EP3689247B1 (en) * 2019-01-30 2024-06-05 MedCom GmbH Ultrasound imaging method and ultrasound imaging system for carrying out said method
US11918294B2 (en) * 2019-01-31 2024-03-05 Brainlab Ag Virtual trajectory planning
CN114269277A (zh) * 2019-02-05 2022-04-01 史密夫和内修有限公司 改善髌骨性能的计算机辅助的关节置换术系统
CN113874173A (zh) 2019-02-08 2021-12-31 安川美国有限公司 对射式自动示教
US11857378B1 (en) * 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
IT201900002737A1 (it) * 2019-02-26 2020-08-26 Sparkbio S R L Metodo e sistema per l'identificazione e il trattamento di eventi in un sistema per la sincronizzazione e la visualizzazione combinata di informazioni
JP7280967B2 (ja) * 2019-03-05 2023-05-24 マコー サージカル コーポレイション 手術位置合わせ用のシステム及び方法
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
CN109994188A (zh) * 2019-03-12 2019-07-09 上海嘉奥信息科技发展有限公司 基于ndi的神经外科导航配准测试方法和系统
EP3937825A4 (en) * 2019-03-13 2022-12-28 Smith&Nephew, Inc. AUGMENTED REALITY ASSISTED SURGICAL TOOL ALIGNMENT
EP3937821A1 (en) 2019-03-15 2022-01-19 Mako Surgical Corporation Robotic surgical system and methods utilizing a cutting bur for bone penetration and cannulation
CN109806004A (zh) * 2019-03-18 2019-05-28 汪俊霞 一种基于云数据技术的手术机器人系统及操作方法
US11172929B2 (en) 2019-03-25 2021-11-16 Cilag Gmbh International Articulation drive arrangements for surgical systems
US11147553B2 (en) 2019-03-25 2021-10-19 Cilag Gmbh International Firing drive arrangements for surgical systems
US11696761B2 (en) 2019-03-25 2023-07-11 Cilag Gmbh International Firing drive arrangements for surgical systems
US11147551B2 (en) 2019-03-25 2021-10-19 Cilag Gmbh International Firing drive arrangements for surgical systems
JP7355514B2 (ja) * 2019-03-28 2023-10-03 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
EP3719749A1 (en) * 2019-04-03 2020-10-07 Fiagon AG Medical Technologies Registration method and setup
US12053333B2 (en) 2019-04-04 2024-08-06 The Board Of Regents Of The University Of Oklahoma Surgical enhanced visualization system and method of use
IT201900005350A1 (it) * 2019-04-08 2020-10-08 Medacta Int Sa Metodo ottenuto mediante calcolatore per verificare il corretto allineamento di una protesi dell’anca e sistema per attuare tale verifica
CN110047148B (zh) * 2019-04-10 2024-01-26 珠海惠中智能技术有限公司 一种虚拟机器人工作站的仿真互动可视化系统及实现方法
US11684374B2 (en) 2019-04-12 2023-06-27 Mako Surgical Corp. Robotic systems and methods for manipulating a cutting guide for a surgical instrument
EP3958782A4 (en) * 2019-04-22 2023-01-11 Navisect, Inc. SYSTEM AND PROCEDURE FOR PERFORMING BONE SURGERY
US11253254B2 (en) 2019-04-30 2022-02-22 Cilag Gmbh International Shaft rotation actuator on a surgical instrument
US11648009B2 (en) 2019-04-30 2023-05-16 Cilag Gmbh International Rotatable jaw tip for a surgical instrument
US11903581B2 (en) 2019-04-30 2024-02-20 Cilag Gmbh International Methods for stapling tissue using a surgical instrument
US11426251B2 (en) 2019-04-30 2022-08-30 Cilag Gmbh International Articulation directional lights on a surgical instrument
US11432816B2 (en) 2019-04-30 2022-09-06 Cilag Gmbh International Articulation pin for a surgical instrument
US11452528B2 (en) 2019-04-30 2022-09-27 Cilag Gmbh International Articulation actuators for a surgical instrument
US11471157B2 (en) 2019-04-30 2022-10-18 Cilag Gmbh International Articulation control mapping for a surgical instrument
US11786308B2 (en) * 2019-05-02 2023-10-17 DePuy Synthes Products, Inc. Orthopaedic implant placement system and method
EP3965698A4 (en) 2019-05-08 2023-01-25 DePuy Ireland Unlimited Company ORTHOPEDIC IMPLANT SYSTEM WITH HINGE
EP3968886A1 (en) * 2019-05-14 2022-03-23 Howmedica Osteonics Corporation Bone wall tracking and guidance for orthopedic implant placement
US11204640B2 (en) * 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
EP3972517A4 (en) 2019-05-20 2023-10-18 Icahn School of Medicine at Mount Sinai SYSTEM AND METHOD FOR INTERACTION AND DEFINITION OF TOOL TRAJECTORIES FOR A ROBOTIC CUTTING TOOL
US20220079687A1 (en) * 2019-05-20 2022-03-17 Icahn School Of Medicine At Mount Sinai Robot mounted camera registration and tracking system for orthopedic and neurological surgery
JP7532416B2 (ja) 2019-05-29 2024-08-13 マーフィー，ステファン，ビー 外科手術に拡張現実を利用するためのシステム及び方法
US11291451B2 (en) 2019-06-28 2022-04-05 Cilag Gmbh International Surgical instrument with battery compatibility verification functionality
US11464601B2 (en) 2019-06-28 2022-10-11 Cilag Gmbh International Surgical instrument comprising an RFID system for tracking a movable component
US11684434B2 (en) 2019-06-28 2023-06-27 Cilag Gmbh International Surgical RFID assemblies for instrument operational setting control
US11660163B2 (en) 2019-06-28 2023-05-30 Cilag Gmbh International Surgical system with RFID tags for updating motor assembly parameters
US11259803B2 (en) 2019-06-28 2022-03-01 Cilag Gmbh International Surgical stapling system having an information encryption protocol
US11627959B2 (en) 2019-06-28 2023-04-18 Cilag Gmbh International Surgical instruments including manual and powered system lockouts
US11497492B2 (en) 2019-06-28 2022-11-15 Cilag Gmbh International Surgical instrument including an articulation lock
CN110264504B (zh) * 2019-06-28 2021-03-30 北京国润健康医学投资有限公司 一种用于增强现实的三维配准方法和系统
US11399837B2 (en) 2019-06-28 2022-08-02 Cilag Gmbh International Mechanisms for motor control adjustments of a motorized surgical instrument
US11771419B2 (en) 2019-06-28 2023-10-03 Cilag Gmbh International Packaging for a replaceable component of a surgical stapling system
US11298127B2 (en) 2019-06-28 2022-04-12 Cilag GmbH Interational Surgical stapling system having a lockout mechanism for an incompatible cartridge
US11376098B2 (en) 2019-06-28 2022-07-05 Cilag Gmbh International Surgical instrument system comprising an RFID system
US11426167B2 (en) 2019-06-28 2022-08-30 Cilag Gmbh International Mechanisms for proper anvil attachment surgical stapling head assembly
US11219455B2 (en) 2019-06-28 2022-01-11 Cilag Gmbh International Surgical instrument including a lockout key
US11051807B2 (en) 2019-06-28 2021-07-06 Cilag Gmbh International Packaging assembly including a particulate trap
US11523822B2 (en) 2019-06-28 2022-12-13 Cilag Gmbh International Battery pack including a circuit interrupter
US11224497B2 (en) 2019-06-28 2022-01-18 Cilag Gmbh International Surgical systems with multiple RFID tags
US11638587B2 (en) 2019-06-28 2023-05-02 Cilag Gmbh International RFID identification systems for surgical instruments
US11478241B2 (en) 2019-06-28 2022-10-25 Cilag Gmbh International Staple cartridge including projections
TWI718578B (zh) * 2019-06-28 2021-02-11 中國醫藥大學 植入物表面映射與映射展開方法
US12004740B2 (en) 2019-06-28 2024-06-11 Cilag Gmbh International Surgical stapling system having an information decryption protocol
US11553971B2 (en) 2019-06-28 2023-01-17 Cilag Gmbh International Surgical RFID assemblies for display and communication
US11350938B2 (en) 2019-06-28 2022-06-07 Cilag Gmbh International Surgical instrument comprising an aligned rfid sensor
US11298132B2 (en) 2019-06-28 2022-04-12 Cilag GmbH Inlernational Staple cartridge including a honeycomb extension
US11246678B2 (en) 2019-06-28 2022-02-15 Cilag Gmbh International Surgical stapling system having a frangible RFID tag
US10846911B1 (en) * 2019-07-09 2020-11-24 Robert Edwin Douglas 3D imaging of virtual fluids and virtual sounds
JP2022540642A (ja) * 2019-07-09 2022-09-16 マテリアライズ・ナムローゼ・フエンノートシャップ 拡張現実支援関節形成術
AU2020316076B2 (en) * 2019-07-25 2023-09-14 Howmedica Osteonics Corp. Positioning a camera for perspective sharing of a surgical site
WO2021021670A1 (en) 2019-07-26 2021-02-04 Magic Leap, Inc. Systems and methods for augmented reality
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US12089902B2 (en) 2019-07-30 2024-09-17 Coviden Lp Cone beam and 3D fluoroscope lung navigation
CN110537961B (zh) * 2019-08-01 2021-09-28 中国人民解放军总医院 一种ct和超声影像融合的微创介入引导系统及方法
JP7271362B2 (ja) * 2019-08-06 2023-05-11 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理システム、医用画像処理プログラム、及び医用画像処理方法
WO2021030536A1 (en) 2019-08-13 2021-02-18 Duluth Medical Technologies Inc. Robotic surgical methods and apparatuses
US11672607B2 (en) 2019-08-14 2023-06-13 Warsaw Orthopedic, Inc. Systems, devices, and methods for surgical navigation with anatomical tracking
EP4017355B1 (en) * 2019-08-23 2024-11-06 Solventum Intellectual Properties Company Systems for determining and tracking range of motion of a jointed limb
EP4027869A4 (en) * 2019-08-27 2023-12-06 Teixido, Michael SYSTEM AND METHOD FOR AUGMENTED REALITY VISUALIZATION OF BENIGN PAROXYSTIC POSITIONAL POSITIONAL VERTIGO DISORDER (BPPV)
TWI741359B (zh) * 2019-08-30 2021-10-01 國立中央大學 與手術導航系統整合之混合實境系統
WO2021048236A2 (en) 2019-09-10 2021-03-18 Depuy Ireland Unlimited Company Orthopaedic knee prosthesis system and methods for using same
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11832893B2 (en) * 2019-10-01 2023-12-05 Smith & Nephew, Inc. Methods of accessing joints for arthroscopic procedures
JP7427902B2 (ja) * 2019-10-02 2024-02-06 コニカミノルタ株式会社 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
US11534185B2 (en) * 2019-10-03 2022-12-27 Smith & Nephew, Inc. Registration of intramedulary canal during revision total knee arthroplasty
US20240078781A1 (en) * 2019-10-11 2024-03-07 The Regents Of The University Of California System and Method for Determining a Device Safe Zone
CN114585314A (zh) 2019-10-18 2022-06-03 奥尔索夫特无限责任公司 用于踝关节成形术的患者特异性器械和方法
GB2588236B (en) 2019-10-18 2024-03-20 Mclaren Applied Ltd Gyroscope bias estimation
JP7344378B2 (ja) * 2019-10-18 2023-09-13 インテグリティ インプランツ インコーポレイテッド 手術ナビゲーションシステム
CN114929145B (zh) * 2019-10-23 2024-10-08 医达科技公司 计划通过线性切割吻合器手术切除病变的系统和方法
CN110720982B (zh) * 2019-10-29 2021-08-06 京东方科技集团股份有限公司 增强现实系统、基于增强现实的控制方法以及装置
US11517334B1 (en) 2019-11-04 2022-12-06 Smith & Nephew, Inc. Patient-specific guides for latarjet procedure
WO2021097318A1 (en) 2019-11-14 2021-05-20 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2021097323A1 (en) * 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
EP4061270A1 (en) * 2019-11-19 2022-09-28 Smith & Nephew, Inc. Elastography for ligament characterization
WO2021102422A1 (en) * 2019-11-22 2021-05-27 The Brigham And Women's Hospital, Inc. Systems and methods for ventricle procedures
US20210153969A1 (en) * 2019-11-25 2021-05-27 Ethicon, Inc. Method for precision planning, guidance, and placement of probes within a body
US11810227B2 (en) * 2019-11-27 2023-11-07 Siemens Healthcare Gmbh MR image reconstruction based on a-priori information
US11925418B2 (en) 2019-12-02 2024-03-12 The General Hospital Corporation Methods for multi-modal bioimaging data integration and visualization
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
CN110974414B (zh) * 2019-12-11 2020-10-30 北京工业大学 一种用于胫骨畸形矫正的空间锥-柱干涉检验方法
US11045263B1 (en) 2019-12-16 2021-06-29 Russell Nevins System and method for generating a virtual jig for surgical procedures
US11911032B2 (en) 2019-12-19 2024-02-27 Cilag Gmbh International Staple cartridge comprising a seating cam
US11529139B2 (en) 2019-12-19 2022-12-20 Cilag Gmbh International Motor driven surgical instrument
US11931033B2 (en) 2019-12-19 2024-03-19 Cilag Gmbh International Staple cartridge comprising a latch lockout
US11559304B2 (en) 2019-12-19 2023-01-24 Cilag Gmbh International Surgical instrument comprising a rapid closure mechanism
US11607219B2 (en) 2019-12-19 2023-03-21 Cilag Gmbh International Staple cartridge comprising a detachable tissue cutting knife
US11291447B2 (en) 2019-12-19 2022-04-05 Cilag Gmbh International Stapling instrument comprising independent jaw closing and staple firing systems
US11701111B2 (en) 2019-12-19 2023-07-18 Cilag Gmbh International Method for operating a surgical stapling instrument
US11234698B2 (en) 2019-12-19 2022-02-01 Cilag Gmbh International Stapling system comprising a clamp lockout and a firing lockout
US11844520B2 (en) 2019-12-19 2023-12-19 Cilag Gmbh International Staple cartridge comprising driver retention members
US11304696B2 (en) 2019-12-19 2022-04-19 Cilag Gmbh International Surgical instrument comprising a powered articulation system
US11529137B2 (en) 2019-12-19 2022-12-20 Cilag Gmbh International Staple cartridge comprising driver retention members
US11446029B2 (en) 2019-12-19 2022-09-20 Cilag Gmbh International Staple cartridge comprising projections extending from a curved deck surface
US11504122B2 (en) 2019-12-19 2022-11-22 Cilag Gmbh International Surgical instrument comprising a nested firing member
US11464512B2 (en) 2019-12-19 2022-10-11 Cilag Gmbh International Staple cartridge comprising a curved deck surface
US11576672B2 (en) 2019-12-19 2023-02-14 Cilag Gmbh International Surgical instrument comprising a closure system including a closure member and an opening member driven by a drive screw
US12035913B2 (en) 2019-12-19 2024-07-16 Cilag Gmbh International Staple cartridge comprising a deployable knife
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
CN111008678B (zh) * 2019-12-25 2024-10-01 宁波大学附属第一医院 一种用于骨科植入物的验收装置
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11759283B2 (en) * 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
CN111227794A (zh) * 2020-01-13 2020-06-05 广州医科大学 基于oct图像提取骨磨削或消融后表面粗糙度的方法
CN114901217A (zh) 2020-01-15 2022-08-12 史密夫和内修有限公司 用于在全膝关节置换翻修术期间使用的初次试验测量装置
US11237627B2 (en) * 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US11847730B2 (en) * 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
KR20220106217A (ko) * 2020-01-31 2022-07-28 텔레폰악티에볼라겟엘엠에릭슨(펍) 3차원(3d) 모델링
US11983824B2 (en) * 2020-01-31 2024-05-14 Surgical Theater, Inc. System and method for augmenting and synchronizing a virtual model with a physical model
KR102349862B1 (ko) * 2020-01-31 2022-01-12 큐렉소 주식회사 관절치환 로봇수술 정보 제공 장치 및 제공 방법
US11090873B1 (en) * 2020-02-02 2021-08-17 Robert Edwin Douglas Optimizing analysis of a 3D printed object through integration of geo-registered virtual objects
US20230047622A1 (en) * 2020-02-03 2023-02-16 Neurotechnology Pty. Ltd. VR-Based Treatment System and Method
US11382699B2 (en) * 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11559405B2 (en) 2020-02-12 2023-01-24 Howmedica Osteonics Corp. Robotic shoulder fracture management
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
WO2021188833A1 (en) * 2020-03-18 2021-09-23 The Board Of Trustees Of The Leland Stanford Junior University System and method for detecting, characterizing, and preventing tissue damage during a surgical procedure
CN111427451B (zh) * 2020-03-25 2022-11-01 中国人民解放军海军特色医学中心 采用扫描仪与眼动仪确定注视点在三维场景中位置的方法
KR20230004475A (ko) * 2020-04-13 2023-01-06 워싱톤 유니버시티 초음파 이미징을 위한 증강 현실 데이터 상호작용을 위한 시스템 및 방법
WO2021211986A1 (en) * 2020-04-17 2021-10-21 Activ Surgical, Inc. Systems and methods for enhancing medical images
US11357645B2 (en) * 2020-04-17 2022-06-14 Warsaw Orthopedic, Inc. Implant with graded radiopacity calibration feature
US11564767B2 (en) * 2020-04-22 2023-01-31 Warsaw Orthopedic, Inc. Clinical diagnosis and treatment planning system and methods of use
US20210330250A1 (en) * 2020-04-22 2021-10-28 Warsaw Orthopedic, Inc. Clinical diagnosis and treatment planning system and methods of use
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US20210346093A1 (en) * 2020-05-06 2021-11-11 Warsaw Orthopedic, Inc. Spinal surgery system and methods of use
US11701176B2 (en) 2020-05-06 2023-07-18 Warsaw Orthopedic, Inc. Spinal surgery system and methods of use
US12042341B2 (en) 2020-05-06 2024-07-23 Howmedica Osteonics Corp. Registration marker with anti-rotation base for orthopedic surgical procedures
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
CN111528782B (zh) * 2020-05-26 2023-05-23 郑州大学第一附属医院 一种消化内镜微创诊疗导航系统
CN111627560B (zh) * 2020-05-27 2022-03-22 四川大学华西医院 基于有限元和机器学习的脊柱近端交界角的手术优化方法
USD975850S1 (en) 2020-06-02 2023-01-17 Cilag Gmbh International Staple cartridge
USD974560S1 (en) 2020-06-02 2023-01-03 Cilag Gmbh International Staple cartridge
USD976401S1 (en) 2020-06-02 2023-01-24 Cilag Gmbh International Staple cartridge
USD975851S1 (en) 2020-06-02 2023-01-17 Cilag Gmbh International Staple cartridge
USD967421S1 (en) 2020-06-02 2022-10-18 Cilag Gmbh International Staple cartridge
USD975278S1 (en) 2020-06-02 2023-01-10 Cilag Gmbh International Staple cartridge
USD966512S1 (en) 2020-06-02 2022-10-11 Cilag Gmbh International Staple cartridge
US20210378752A1 (en) * 2020-06-03 2021-12-09 Globus Medical, Inc. Machine learning system for navigated spinal surgeries
US12064191B2 (en) 2020-06-03 2024-08-20 Covidien Lp Surgical tool navigation using sensor fusion
WO2021247173A1 (en) * 2020-06-03 2021-12-09 Howmedica Osteonics Corp. Identification of bone areas to be removed during surgery
US12070276B2 (en) * 2020-06-09 2024-08-27 Globus Medical Inc. Surgical object tracking in visible light via fiducial seeding and synthetic image registration
TWI790447B (zh) * 2020-06-10 2023-01-21 長庚大學 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
DE102020116073A1 (de) 2020-06-18 2021-12-23 Aesculap Ag Medizintechnische Vorrichtung, Verfahren zum Registrieren eines Modelldatensatzes, Datenverarbeitungsprogramm und Programmspeichermedium
US11107586B1 (en) * 2020-06-24 2021-08-31 Cuptimize, Inc. System and method for analyzing acetabular cup position
US11861856B2 (en) 2020-06-27 2024-01-02 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
US20230298279A1 (en) * 2020-06-30 2023-09-21 Surgical Theater, Inc. Augmented reality shared anchoring system and method
EP3932357A1 (en) * 2020-07-01 2022-01-05 Koninklijke Philips N.V. System for assisting a user in placing a penetrating device in tissue
CN116075282A (zh) 2020-07-10 2023-05-05 德普伊爱尔兰无限公司 内侧稳定整形外科膝关节假体
WO2022015672A1 (en) * 2020-07-13 2022-01-20 Douglas Robert Edwin A method and apparatus for generating a precision sub-volume within three-dimensional image datasets
US20220015841A1 (en) * 2020-07-15 2022-01-20 Orthosoft Ulc Robotic device and sterilization unit for surgical instrument
US12011229B2 (en) * 2020-07-15 2024-06-18 Hcl Technologies Limited System and method for providing visual guidance in a medical surgery
US11857182B2 (en) 2020-07-28 2024-01-02 Cilag Gmbh International Surgical instruments with combination function articulation joint arrangements
WO2022031564A1 (en) * 2020-08-07 2022-02-10 Surgical Theater, Inc. System and method for augmented reality spine surgery
US11571225B2 (en) * 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
CN113017829B (zh) * 2020-08-22 2023-08-29 张逸凌 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN111887908A (zh) * 2020-09-02 2020-11-06 上海卓梦医疗科技有限公司 一种膝关节韧带重建智能控制系统及方法
WO2022047720A1 (en) * 2020-09-04 2022-03-10 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for assisting in placing surgical instrument into subject
US12097374B2 (en) * 2020-09-22 2024-09-24 International Business Machines Corporation Audio-visual interaction with implanted devices
US20220104887A1 (en) * 2020-10-06 2022-04-07 Asensus Surgical Us, Inc. Surgical record creation using computer recognition of surgical events
US12023106B2 (en) * 2020-10-12 2024-07-02 Johnson & Johnson Surgical Vision, Inc. Virtual reality 3D eye-inspection by combining images from position-tracked optical visualization modalities
CN112289158B (zh) * 2020-10-13 2022-01-18 厦门立方幻境科技有限公司 一种基于人机交互虚拟仿真的阴道指诊模型及其模拟方法
EP4231907A1 (en) * 2020-10-20 2023-08-30 Mediview XR, Inc. Automatic segmentation and registration system and method
US12045957B2 (en) 2020-10-21 2024-07-23 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality
TWI793767B (zh) * 2020-10-23 2023-02-21 聯合骨科器材股份有限公司 髖骨手術植入物導引系統
US11452526B2 (en) 2020-10-29 2022-09-27 Cilag Gmbh International Surgical instrument comprising a staged voltage regulation start-up system
US12053175B2 (en) 2020-10-29 2024-08-06 Cilag Gmbh International Surgical instrument comprising a stowed closure actuator stop
US11896217B2 (en) 2020-10-29 2024-02-13 Cilag Gmbh International Surgical instrument comprising an articulation lock
USD1013170S1 (en) 2020-10-29 2024-01-30 Cilag Gmbh International Surgical instrument assembly
US11534259B2 (en) 2020-10-29 2022-12-27 Cilag Gmbh International Surgical instrument comprising an articulation indicator
US11779330B2 (en) 2020-10-29 2023-10-10 Cilag Gmbh International Surgical instrument comprising a jaw alignment system
US11517390B2 (en) 2020-10-29 2022-12-06 Cilag Gmbh International Surgical instrument comprising a limited travel switch
US11717289B2 (en) 2020-10-29 2023-08-08 Cilag Gmbh International Surgical instrument comprising an indicator which indicates that an articulation drive is actuatable
US11931025B2 (en) 2020-10-29 2024-03-19 Cilag Gmbh International Surgical instrument comprising a releasable closure drive lock
US11844518B2 (en) 2020-10-29 2023-12-19 Cilag Gmbh International Method for operating a surgical instrument
US11617577B2 (en) 2020-10-29 2023-04-04 Cilag Gmbh International Surgical instrument comprising a sensor configured to sense whether an articulation drive of the surgical instrument is actuatable
USD980425S1 (en) 2020-10-29 2023-03-07 Cilag Gmbh International Surgical instrument assembly
US20220133331A1 (en) 2020-10-30 2022-05-05 Mako Surgical Corp. Robotic surgical system with cut selection logic
CN112347583B (zh) * 2020-11-08 2022-01-28 西南石油大学 一种增压站含双缺陷弯管极限内压的计算方法
CN112515767B (zh) * 2020-11-13 2021-11-16 中国科学院深圳先进技术研究院 手术导航装置、设备及计算机可读存储介质
CN112515660B (zh) * 2020-11-30 2022-04-19 居天科技(深圳)有限公司 激光雷达人体建模方法
US11849943B2 (en) 2020-12-02 2023-12-26 Cilag Gmbh International Surgical instrument with cartridge release mechanisms
US11890010B2 (en) 2020-12-02 2024-02-06 Cllag GmbH International Dual-sided reinforced reload for surgical instruments
US11653920B2 (en) 2020-12-02 2023-05-23 Cilag Gmbh International Powered surgical instruments with communication interfaces through sterile barrier
US11653915B2 (en) 2020-12-02 2023-05-23 Cilag Gmbh International Surgical instruments with sled location detection and adjustment features
US11678882B2 (en) 2020-12-02 2023-06-20 Cilag Gmbh International Surgical instruments with interactive features to remedy incidental sled movements
US11944296B2 (en) 2020-12-02 2024-04-02 Cilag Gmbh International Powered surgical instruments with external connectors
US11737751B2 (en) 2020-12-02 2023-08-29 Cilag Gmbh International Devices and methods of managing energy dissipated within sterile barriers of surgical instrument housings
US11744581B2 (en) 2020-12-02 2023-09-05 Cilag Gmbh International Powered surgical instruments with multi-phase tissue treatment
US11627960B2 (en) 2020-12-02 2023-04-18 Cilag Gmbh International Powered surgical instruments with smart reload with separately attachable exteriorly mounted wiring connections
US12053247B1 (en) 2020-12-04 2024-08-06 Onpoint Medical, Inc. System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures
DE102020215559B4 (de) * 2020-12-09 2024-07-25 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung
CN112546459B (zh) * 2020-12-09 2023-07-18 成都理工大学 一种牙套装置及运用该装置的头部肿瘤靶区定位方法
US20240033533A1 (en) * 2020-12-23 2024-02-01 Solenic Medical, Inc. System for application of alternating magnetic fields to reduce infection
CN114690884A (zh) * 2020-12-28 2022-07-01 中国科学院沈阳自动化研究所 一种基于ar眼镜的舰船装备布置可视化演示系统
US12016633B2 (en) 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
CN112754616B (zh) * 2020-12-30 2022-05-10 诺创智能医疗科技(杭州)有限公司 超声定位穿刺系统和存储介质
US11890058B2 (en) 2021-01-21 2024-02-06 Arthrex, Inc. Orthopaedic planning systems and methods of repair
CN112917457A (zh) * 2021-01-27 2021-06-08 南京航空航天大学 一种基于增强现实技术的工业机器人快速精准示教系统及方法
US20220249195A1 (en) * 2021-02-05 2022-08-11 Jack Wade Video architecture and framework for collecting surgical video at scale
CN112972076B (zh) * 2021-02-07 2024-04-26 杭州素问九州医疗科技有限公司 膝关节假体股骨部件与股骨的拟合方法及机器人手术系统
CN113143457A (zh) * 2021-02-09 2021-07-23 席庆 基于mr头戴设备的颌面手术辅助系统及方法
US11696757B2 (en) 2021-02-26 2023-07-11 Cilag Gmbh International Monitoring of internal systems to detect and track cartridge motion status
US11744583B2 (en) 2021-02-26 2023-09-05 Cilag Gmbh International Distal communication array to tune frequency of RF systems
US11980362B2 (en) 2021-02-26 2024-05-14 Cilag Gmbh International Surgical instrument system comprising a power transfer coil
US11812964B2 (en) 2021-02-26 2023-11-14 Cilag Gmbh International Staple cartridge comprising a power management circuit
US11730473B2 (en) 2021-02-26 2023-08-22 Cilag Gmbh International Monitoring of manufacturing life-cycle
US11701113B2 (en) 2021-02-26 2023-07-18 Cilag Gmbh International Stapling instrument comprising a separate power antenna and a data transfer antenna
US11950777B2 (en) 2021-02-26 2024-04-09 Cilag Gmbh International Staple cartridge comprising an information access control system
US11749877B2 (en) 2021-02-26 2023-09-05 Cilag Gmbh International Stapling instrument comprising a signal antenna
US11925349B2 (en) 2021-02-26 2024-03-12 Cilag Gmbh International Adjustment to transfer parameters to improve available power
US11751869B2 (en) 2021-02-26 2023-09-12 Cilag Gmbh International Monitoring of multiple sensors over time to detect moving characteristics of tissue
US11723657B2 (en) 2021-02-26 2023-08-15 Cilag Gmbh International Adjustable communication based on available bandwidth and power capacity
US12059212B2 (en) 2021-02-26 2024-08-13 Stephen B. Murphy Systems and methods for registering and tracking anatomical structures
US11950779B2 (en) 2021-02-26 2024-04-09 Cilag Gmbh International Method of powering and communicating with a staple cartridge
US12108951B2 (en) 2021-02-26 2024-10-08 Cilag Gmbh International Staple cartridge comprising a sensing array and a temperature control system
US11793514B2 (en) 2021-02-26 2023-10-24 Cilag Gmbh International Staple cartridge comprising sensor array which may be embedded in cartridge body
WO2022192585A1 (en) 2021-03-10 2022-09-15 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery
US11826042B2 (en) 2021-03-22 2023-11-28 Cilag Gmbh International Surgical instrument comprising a firing drive including a selectable leverage mechanism
US11826012B2 (en) 2021-03-22 2023-11-28 Cilag Gmbh International Stapling instrument comprising a pulsed motor-driven firing rack
US11759202B2 (en) 2021-03-22 2023-09-19 Cilag Gmbh International Staple cartridge comprising an implantable layer
US11806011B2 (en) 2021-03-22 2023-11-07 Cilag Gmbh International Stapling instrument comprising tissue compression systems
US11723658B2 (en) 2021-03-22 2023-08-15 Cilag Gmbh International Staple cartridge comprising a firing lockout
US11717291B2 (en) 2021-03-22 2023-08-08 Cilag Gmbh International Staple cartridge comprising staples configured to apply different tissue compression
US11737749B2 (en) 2021-03-22 2023-08-29 Cilag Gmbh International Surgical stapling instrument comprising a retraction system
JP7345866B2 (ja) * 2021-03-23 2023-09-19 国立大学法人 東京大学 情報処理システム、情報処理方法及びプログラム
US11793516B2 (en) 2021-03-24 2023-10-24 Cilag Gmbh International Surgical staple cartridge comprising longitudinal support beam
US11896219B2 (en) 2021-03-24 2024-02-13 Cilag Gmbh International Mating features between drivers and underside of a cartridge deck
US11849944B2 (en) 2021-03-24 2023-12-26 Cilag Gmbh International Drivers for fastener cartridge assemblies having rotary drive screws
US11849945B2 (en) 2021-03-24 2023-12-26 Cilag Gmbh International Rotary-driven surgical stapling assembly comprising eccentrically driven firing member
US11857183B2 (en) 2021-03-24 2024-01-02 Cilag Gmbh International Stapling assembly components having metal substrates and plastic bodies
US11744603B2 (en) 2021-03-24 2023-09-05 Cilag Gmbh International Multi-axis pivot joints for surgical instruments and methods for manufacturing same
US11944336B2 (en) 2021-03-24 2024-04-02 Cilag Gmbh International Joint arrangements for multi-planar alignment and support of operational drive shafts in articulatable surgical instruments
US11896218B2 (en) 2021-03-24 2024-02-13 Cilag Gmbh International Method of using a powered stapling device
US12102323B2 (en) 2021-03-24 2024-10-01 Cilag Gmbh International Rotary-driven surgical stapling assembly comprising a floatable component
US11832816B2 (en) 2021-03-24 2023-12-05 Cilag Gmbh International Surgical stapling assembly comprising nonplanar staples and planar staples
US11786243B2 (en) 2021-03-24 2023-10-17 Cilag Gmbh International Firing members having flexible portions for adapting to a load during a surgical firing stroke
US11903582B2 (en) 2021-03-24 2024-02-20 Cilag Gmbh International Leveraging surfaces for cartridge installation
US11786239B2 (en) 2021-03-24 2023-10-17 Cilag Gmbh International Surgical instrument articulation joint arrangements comprising multiple moving linkage features
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
WO2022221341A1 (en) 2021-04-12 2022-10-20 Chandra Jonelagadda Systems and methods for using image analysis in superior capsule reconstruction
US20220334787A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Customization of overlaid data and configuration
US11449841B1 (en) 2021-04-15 2022-09-20 Bank Of America Corporation Information security system and method for augmented reality check realization
EP4341963A1 (en) * 2021-05-19 2024-03-27 Charité - Universitätsmedizin Berlin Computer assisted method for the evaluation of cardiac metabolism
US11826047B2 (en) 2021-05-28 2023-11-28 Cilag Gmbh International Stapling instrument comprising jaw mounts
US11676348B2 (en) * 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
CN113409445B (zh) * 2021-06-02 2023-10-17 东北大学 骨折手术钢钉稳定性的评估方法、确定方法、介质及设备
CN113520513B (zh) * 2021-06-16 2023-02-28 叶川 一种保髋经皮微创精准定位取骨减压植骨装置
CN113369552B (zh) * 2021-06-18 2022-09-30 重庆水泵厂有限责任公司 内相贯线圆角加工方法
CN113327297B (zh) * 2021-06-30 2022-06-17 湖南科技大学 基于深度学习的深海海底障碍物测量系统与识别方法
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN113558765B (zh) * 2021-07-09 2023-03-21 北京罗森博特科技有限公司 导航及复位操作控制系统及方法
AU2022314050A1 (en) * 2021-07-20 2024-02-08 Microport Orthopedics Holdings Inc. Systems and methods for using photogrammetry to create patient-specific guides for orthopedic surgery
USD1044829S1 (en) 2021-07-29 2024-10-01 Mako Surgical Corp. Display screen or portion thereof with graphical user interface
US11986248B2 (en) * 2021-07-29 2024-05-21 Hutom Co., Ltd. Apparatus and method for matching the real surgical image with the 3D-based virtual simulated surgical image based on POI definition and phase recognition
US11832897B2 (en) * 2021-07-30 2023-12-05 Remex Medical Corp. Method and system for surgical navigation
WO2023014316A2 (en) * 2021-08-05 2023-02-09 Yaldiz Oezguer Sinan Personal bone cutting measurement planning software and distal femoral osteotomy bone cutting and screw guide
US12053150B2 (en) 2021-08-11 2024-08-06 Terumo Cardiovascular Systems Corporation Endoscopic vessel harvesting with thermal management and augmented reality display
EP4137087A1 (de) * 2021-08-16 2023-02-22 Michael Hess Robotisch gesteuerte fräsanwendung in der wirbelsäulenchirurgie
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
EP4387552A1 (en) * 2021-08-18 2024-06-26 Augmedics Ltd. Augmented-reality surgical system using depth sensing
CN113681895B (zh) * 2021-08-20 2023-03-10 宜宾显微智能科技有限公司 一种导针定位导向板定制及模拟验证系统及其方法
CN113689406B (zh) * 2021-08-24 2022-04-08 北京长木谷医疗科技有限公司 基于运动模拟算法的膝关节股骨后髁点识别方法及系统
US12076094B2 (en) * 2021-09-01 2024-09-03 Orthosoft Ulc Fluoroscopic robotic prosthetic implant system and methods
GB2614025B (en) * 2021-09-07 2023-12-27 Neuronav Ltd Augmented reality surgical navigation system
US11759216B2 (en) 2021-09-22 2023-09-19 Arthrex, Inc. Orthopaedic fusion planning systems and methods of repair
CN113870229B (zh) * 2021-09-29 2022-03-11 北京长木谷医疗科技有限公司 股骨近端髓腔图像数据处理方法、装置、设备和存储介质
US11600053B1 (en) * 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11980363B2 (en) 2021-10-18 2024-05-14 Cilag Gmbh International Row-to-row staple array variations
US11877745B2 (en) 2021-10-18 2024-01-23 Cilag Gmbh International Surgical stapling assembly having longitudinally-repeating staple leg clusters
US11957337B2 (en) 2021-10-18 2024-04-16 Cilag Gmbh International Surgical stapling assembly with offset ramped drive surfaces
CN113974786A (zh) * 2021-10-20 2022-01-28 深圳先进技术研究院 一种机械臂穿刺的颅内血肿穿刺引流手术系统
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11937816B2 (en) 2021-10-28 2024-03-26 Cilag Gmbh International Electrical lead arrangements for surgical instruments
US12089841B2 (en) 2021-10-28 2024-09-17 Cilag CmbH International Staple cartridge identification systems
CN113974720B (zh) * 2021-11-09 2023-06-23 西安市红会医院 一种用于显露髋臼的手术器械
US12016736B2 (en) * 2021-11-11 2024-06-25 Smith & Nephew, Inc. Calibration of 2D images for digital templating using monomarker
CN113940752B (zh) * 2021-11-11 2023-07-25 首都医科大学 一种基于多角度投影的椎弓根螺钉最优路径规划方法
US11816231B2 (en) 2021-11-22 2023-11-14 Bank Of America Corporation Using machine-learning models to determine graduated levels of access to secured data for remote devices
US20230157757A1 (en) * 2021-11-23 2023-05-25 Medtronic, Inc. Extended Intelligence for Pulmonary Procedures
CN114119683A (zh) * 2021-11-26 2022-03-01 吉林大学 一种提高面部扫描图像配准ct扫描图像精度的方法
US11510733B1 (en) * 2021-12-10 2022-11-29 Ix Innovation Llc Placement of surgical implants
CN114170215A (zh) * 2021-12-15 2022-03-11 北京航空航天大学 一种骨肿瘤危险区域快速生成系统
CN114469341B (zh) * 2021-12-17 2024-01-26 中国人民解放军总医院第四医学中心 基于髋关节置换的髋臼注册方法
CN114209433B (zh) * 2021-12-31 2023-09-05 杭州三坛医疗科技有限公司 一种手术机器人导航定位装置
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US11944508B1 (en) * 2022-01-13 2024-04-02 Altair Innovations, LLC Augmented reality surgical assistance system
CN114098969B (zh) * 2022-01-27 2022-05-06 北京威高智慧科技有限公司 一种截骨诊断系统、截骨诊断方法、设备及介质
US20220222835A1 (en) * 2022-02-06 2022-07-14 Real Image Technology Co., Ltd Endoscopic image registration
CN114454167B (zh) * 2022-02-11 2024-06-07 四川锋准机器人科技有限公司 一种种植牙机器人末端夹持器几何尺寸的标定方法
US20230293237A1 (en) * 2022-03-18 2023-09-21 DePuy Synthes Products, Inc. Surgical systems, methods, and devices employing augmented reality (ar) instrument guidance
US12118516B2 (en) 2022-03-24 2024-10-15 International Business Machines Corporation Data center guide creation for augmented reality headsets
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
CN114795376B (zh) * 2022-05-11 2023-02-03 北京易迈医疗科技有限公司 一种关节置换辅助截骨系统
US11849098B2 (en) * 2022-05-16 2023-12-19 Eyegaze Inc. Gaze-operated point designation on a 3D object or scene
US20240024035A1 (en) * 2022-07-21 2024-01-25 Jpi Consulting Preoperative imaging combined with intraoperative navigation before and after alteration of a surgical site to create a composite surgical three dimensional structural dataset
WO2024030683A2 (en) * 2022-08-05 2024-02-08 Kaliber Labs Inc. System and methods for surgical collaboration
IT202200017319A1 (it) * 2022-08-12 2024-02-12 Milano Politecnico Metodo e sistema per il perfezionamento di una procedura chirurgica virtuale
US11918296B1 (en) 2022-08-26 2024-03-05 Ix Innovation Llc Digital image analysis for in vivo robotic assembly of multi-component implants
US20240074811A1 (en) * 2022-09-06 2024-03-07 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for visualizing anatomical structure of patient during surgery
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention
TWI836680B (zh) 2022-10-26 2024-03-21 幻景啟動股份有限公司 立體影像互動模擬系統與運作方法
US20240189060A1 (en) * 2022-12-06 2024-06-13 apoQlar GmbH Systems, Methods and Apparatus for Points-Based Registration of a Medical Hologram to a Surgical Site in Holographic Medical Augmented Reality
EP4406502A1 (en) * 2023-01-24 2024-07-31 Barco N.V. System and method for visual image guidance during a medical procedure
AU2023433408A1 (en) * 2023-02-20 2024-10-31 Smartray Pty Ltd Medical imaging apparatus, system and method
DE102023106760A1 (de) 2023-03-17 2024-09-19 Westfälische Wilhelms-Universität Münster Körperschaft des öffentlichen Rechts Verfahren zum Planen eines Positionierungsvorgangs und zum navigationssystemgestützten Positionieren eines Objekts in einer Umgebung
CN116098707B (zh) * 2023-04-13 2023-07-11 青岛大学附属医院 无线电磁波引导的远程手术系统
CN116797494B (zh) * 2023-08-17 2023-11-21 中南大学湘雅医院 一种基于图像处理的产科手术监测方法、系统及相关设备
TWI839311B (zh) * 2023-10-17 2024-04-11 財團法人金屬工業研究發展中心 手術三維即時定位補償方法
CN118402862B (zh) * 2024-07-02 2024-08-23 首都医科大学宣武医院 脊柱置钉系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050113846A1 (en) * 2001-02-27 2005-05-26 Carson Christopher P. Surgical navigation systems and processes for unicompartmental knee arthroplasty
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US20080269596A1 (en) * 2004-03-10 2008-10-30 Ian Revie Orthpaedic Monitoring Systems, Methods, Implants and Instruments
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US20140275760A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same
WO2015110859A1 (en) * 2014-01-21 2015-07-30 Trophy Method for implant surgery using augmented visualization
US20150310668A1 (en) * 2014-04-24 2015-10-29 Christof Ellerbrock Head-worn platform for integrating virtuality with reality

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4219939C2 (de) 1992-06-18 1995-10-19 Klaus Dipl Ing Radermacher Vorrichtung zur Ausrichtung, Positionierung und Führung von Bearbeitungswerkzeugen, Bearbeitungs- oder Meßvorrichtungen zur Bearbeitung einer knöchernen Struktur und Verfahren zur Erstellung dieser Vorrichtung
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US6061064A (en) 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5829444A (en) 1994-09-15 1998-11-03 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications
EP0951874A3 (en) 1994-09-15 2000-06-14 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications using a reference unit secured to a patients head
US6256529B1 (en) 1995-07-26 2001-07-03 Burdette Medical Systems, Inc. Virtual reality 3D visualization for surgical procedures
AU5317698A (en) 1997-11-05 1999-05-31 Synthes Ag, Chur Virtual representation of a bone or a bone joint
USD415146S (en) 1997-11-12 1999-10-12 Vista Medical Technologies, Inc. Head mounted display
US6477400B1 (en) 1998-08-20 2002-11-05 Sofamor Danek Holdings, Inc. Fluoroscopic image guided orthopaedic surgery system with intraoperative registration
DE10030663A1 (de) 2000-06-23 2002-01-10 Merck Patent Gmbh UV-B-Filter
US6599247B1 (en) 2000-07-07 2003-07-29 University Of Pittsburgh System and method for location-merging of real-time tomographic slice images with human vision
US6714810B2 (en) 2000-09-07 2004-03-30 Cbyon, Inc. Fluoroscopic registration system and method
EP1356413A2 (en) 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US6919867B2 (en) 2001-03-29 2005-07-19 Siemens Corporate Research, Inc. Method and apparatus for augmented reality visualization
US20080313282A1 (en) 2002-09-10 2008-12-18 Warila Bruce W User interface, operating system and architecture
WO2004070580A2 (en) 2003-02-04 2004-08-19 Z-Kat, Inc. Computer-assisted knee replacement apparatus and method
US20040243148A1 (en) 2003-04-08 2004-12-02 Wasielewski Ray C. Use of micro- and miniature position sensing devices for use in TKA and THA
US20050028146A1 (en) 2003-08-01 2005-02-03 Quick Shawn G. Systems and methods for software and firmware testing using checkpoint signatures
US20070225553A1 (en) 2003-10-21 2007-09-27 The Board Of Trustees Of The Leland Stanford Junio Systems and Methods for Intraoperative Targeting
US20050267353A1 (en) 2004-02-04 2005-12-01 Joel Marquart Computer-assisted knee replacement apparatus and method
US20050281465A1 (en) 2004-02-04 2005-12-22 Joel Marquart Method and apparatus for computer assistance with total hip replacement procedure
US7774044B2 (en) 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
CN1957373A (zh) 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
GB0405792D0 (en) 2004-03-15 2004-04-21 Univ Catholique Louvain Augmented reality vision system and method
US7896869B2 (en) 2004-12-29 2011-03-01 Depuy Products, Inc. System and method for ensuring proper medical instrument use in an operating room
US7812815B2 (en) 2005-01-25 2010-10-12 The Broad of Trustees of the University of Illinois Compact haptic and augmented virtual reality system
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
DE602005013752D1 (de) 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
JP5741885B2 (ja) 2005-06-09 2015-07-01 ナヴィスイス エージー 物体の空間位置そして／または空間方位の非接触決定及び測定用システムと方法、特に医療器具に関するパターン又は構造体を含む特に医療器具の較正及び試験方法
US20070015999A1 (en) 2005-07-15 2007-01-18 Heldreth Mark A System and method for providing orthopaedic surgical information to a surgeon
US20070179626A1 (en) 2005-11-30 2007-08-02 De La Barrera Jose L M Functional joint arthroplasty method
US8265949B2 (en) 2007-09-27 2012-09-11 Depuy Products, Inc. Customized patient surgical plan
CN101566874A (zh) 2008-04-24 2009-10-28 鸿富锦精密工业（深圳）有限公司 控制装置及使用该控制装置的电子设备
US20110190637A1 (en) 2008-08-18 2011-08-04 Naviswiss Ag Medical measuring system, method for surgical intervention as well as use of a medical measuring system
KR101717695B1 (ko) 2008-09-25 2017-03-17 씨에이이 헬스케어 캐나다 인코포레이티드 의료 영상의 시뮬레이션
US8730266B2 (en) 2008-11-13 2014-05-20 Queen's University At Kingston System and method for integrating gaze tracking with virtual reality or augmented reality
CN107510506A (zh) * 2009-03-24 2017-12-26 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
WO2011023339A1 (de) 2009-08-27 2011-03-03 Naviswiss Ag Endoskop und verfahren zu dessen verwendung
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
WO2011149558A2 (en) 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
EP2583244B1 (en) * 2010-06-16 2019-07-24 A² Surgical Method of determination of access areas from 3d patient images
DE112011102348A5 (de) 2010-07-15 2013-04-18 Naviswiss Ag Verfahren zur Ermittlung von Raumkoordinaten
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
DE102010042540B4 (de) 2010-10-15 2014-09-04 Scopis Gmbh Verfahren und Vorrichtung zum Kalibrieren einer Abstandsbestimmungsvorrichtung eines optischen Systems
DE102011078212B4 (de) 2011-06-28 2017-06-29 Scopis Gmbh Verfahren und Vorrichtung zum Darstellen eines Objektes
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
WO2013033195A2 (en) 2011-08-30 2013-03-07 Microsoft Corporation Head mounted display with iris scan profiling
US20130093829A1 (en) 2011-09-27 2013-04-18 Allied Minds Devices Llc Instruct-or
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
JP5447619B2 (ja) 2011-11-08 2014-03-19 株式会社ニコン 撮像装置
JP2013123209A (ja) 2011-11-10 2013-06-20 Funai Electric Co Ltd 電子機器、及び表示装置
DE102011087347B4 (de) 2011-11-29 2022-06-09 Robert Bosch Gmbh Verfahren zur Steuerung mindestens eines Aktors anhand von Signallaufzeitänderungen mindestens eines Ultraschallsensors
EP2785256A4 (en) * 2011-12-01 2016-03-30 Neochord Inc SURGICAL NAVIGATION FOR THE REPAIR OF CARDIAC VALVES
US9539112B2 (en) 2012-03-28 2017-01-10 Robert L. Thornberry Computer-guided system for orienting a prosthetic acetabular cup in the acetabulum during total hip replacement surgery
US20130261758A1 (en) 2012-03-30 2013-10-03 Zimmer, Inc. Tibial prosthesis systems, kits, and methods
US10098761B2 (en) 2012-03-31 2018-10-16 DePuy Synthes Products, Inc. System and method for validating an orthopaedic surgical plan
US20130296682A1 (en) 2012-05-04 2013-11-07 Microsoft Corporation Integrating pre-surgical and surgical images
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US8989843B2 (en) 2012-06-05 2015-03-24 DePuy Synthes Products, LLC Methods and apparatus for estimating the position and orientation of an implant using a mobile device
KR102217788B1 (ko) 2012-06-11 2021-02-18 매직 립, 인코포레이티드 도파관 리플렉터 어레이 프로젝터를 이용한 다중 깊이면 3차원 디스플레이
EP2674913B1 (en) 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
JP6186689B2 (ja) 2012-09-26 2017-08-30 セイコーエプソン株式会社 映像表示システム
US10108266B2 (en) 2012-09-27 2018-10-23 The Board Of Trustees Of The University Of Illinois Haptic augmented and virtual reality system for simulation of surgical procedures
US9563266B2 (en) 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
WO2014057352A1 (de) 2012-10-08 2014-04-17 Naviswiss Ag Messtaster und verfahren zum vermessen einer oberfläche
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
CN104853689B (zh) * 2012-12-10 2018-11-06 皇家飞利浦有限公司 定位工具
US20140198190A1 (en) 2013-01-16 2014-07-17 Kris Okumu Wearable surgical imaging device with semi-transparent screen
US9299138B2 (en) 2013-03-14 2016-03-29 DePuy Synthes Products, Inc. Generating a patient-specific orthopaedic surgical plan from medical image data
CN105358085A (zh) * 2013-03-15 2016-02-24 特拉科手术公司 工具承载的追踪系统以及计算机辅助手术方法
NZ751593A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
EP2967297B1 (en) * 2013-03-15 2022-01-05 Synaptive Medical Inc. System for dynamic validation, correction of registration for surgical navigation
EP2981205A4 (en) 2013-04-04 2017-02-15 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
US10467752B2 (en) 2013-06-11 2019-11-05 Atsushi Tanji Bone cutting support system, information processing apparatus, image processing method, and image processing program
WO2014200016A1 (ja) 2013-06-11 2014-12-18 Tanji Atsushi 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置
US10295338B2 (en) * 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US10349031B2 (en) 2013-07-28 2019-07-09 Michael J. DeLuca Augmented reality based user interfacing
KR101536115B1 (ko) 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
US20150100067A1 (en) 2013-10-08 2015-04-09 University Of Washington Through Its Center For Commercialization Methods and systems for computer-guided placement of bone implants
KR102378457B1 (ko) * 2013-11-27 2022-03-23 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US20150206218A1 (en) 2014-01-21 2015-07-23 Bank Of America Corporation Augmented Reality Based Mobile App for Home Buyers
ES2805008T3 (es) * 2014-02-17 2021-02-10 Childrens Nat Medical Ct Procedimiento y sistema para proporcionar recomendaciones para la ejecución óptima de procedimientos quirúrgicos
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
EP3107476B1 (en) 2014-02-21 2024-04-24 The University of Akron Imaging and display system for guiding medical interventions
US10197803B2 (en) 2014-03-28 2019-02-05 Alma Mater Studiorum—Universita' di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
US9389424B1 (en) 2014-04-02 2016-07-12 Magic Leap, Inc. Methods and systems for implementing a high resolution color micro-display
CN105992996B (zh) 2014-04-04 2019-11-26 外科手术室公司 外科手术环境中的动态和交互式导航
US20150366628A1 (en) * 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
US9754371B2 (en) * 2014-07-31 2017-09-05 California Institute Of Technology Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition
US9626936B2 (en) 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
US9547940B1 (en) 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
GB201501157D0 (en) 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
GB2534359A (en) 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
FR3032282B1 (fr) 2015-02-03 2018-09-14 Francois Duret Dispositif de visualisation de l'interieur d'une bouche
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10410419B2 (en) * 2015-03-02 2019-09-10 Virtek Vision International Ulc Laser projection system with video overlay
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20160287337A1 (en) 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
EP3280344A2 (en) 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US9503681B1 (en) 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration
KR101647467B1 (ko) 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
GB201510959D0 (en) 2015-06-22 2015-08-05 Ec Medica Ltd Augmented reality imaging System, Apparatus and Method
US10078221B2 (en) 2015-06-23 2018-09-18 Mobius Virtual Foundry Llc Head mounted display
US9956054B2 (en) 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
US10092361B2 (en) 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
CN105266897B (zh) * 2015-11-25 2018-03-23 上海交通大学医学院附属第九人民医院 一种基于增强现实的显微外科手术导航系统及导航方法
US20190000564A1 (en) 2015-12-30 2019-01-03 The Johns Hopkins University System and method for medical imaging
CN111329554B (zh) 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
US10136952B2 (en) 2016-06-16 2018-11-27 Zimmer, Inc. Soft tissue balancing in articular surgery
CN106249881B (zh) * 2016-07-21 2019-03-19 江苏奥格视特信息科技有限公司 增强现实视场空间和虚拟三维目标动态配准方法
US20180049622A1 (en) 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
EP3512452A1 (en) 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
EP3534847B1 (en) 2016-11-02 2020-09-09 Zimmer, Inc. Device for sensing implant location and impingement
CA3042535C (en) 2016-11-03 2022-05-17 Zimmer, Inc. Augmented reality therapeutic movement display and gesture analyzer
CN110603002A (zh) 2017-03-10 2019-12-20 拜欧米特制造有限责任公司 增强现实支持的膝盖手术

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050113846A1 (en) * 2001-02-27 2005-05-26 Carson Christopher P. Surgical navigation systems and processes for unicompartmental knee arthroplasty
US20080269596A1 (en) * 2004-03-10 2008-10-30 Ian Revie Orthpaedic Monitoring Systems, Methods, Implants and Instruments
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US20140275760A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same
WO2015110859A1 (en) * 2014-01-21 2015-07-30 Trophy Method for implant surgery using augmented visualization
US20150310668A1 (en) * 2014-04-24 2015-10-29 Christof Ellerbrock Head-worn platform for integrating virtuality with reality

Also Published As

Publication number Publication date
US10159530B2 (en) 2018-12-25
US20220249171A1 (en) 2022-08-11
US12127795B2 (en) 2024-10-29
US20180125584A1 (en) 2018-05-10
EP3426179A4 (en) 2019-10-23
US20200305980A1 (en) 2020-10-01
EP3426179B1 (en) 2023-03-22
US20190192226A1 (en) 2019-06-27
US20240074812A1 (en) 2024-03-07
CN111329553A (zh) 2020-06-26
US20210106386A1 (en) 2021-04-15
CA3016604A1 (en) 2017-09-21
CN111329554B (zh) 2021-01-05
US20190110842A1 (en) 2019-04-18
US20180116728A1 (en) 2018-05-03
US20210022808A1 (en) 2021-01-28
CN111329554A (zh) 2020-06-26
US11311341B2 (en) 2022-04-26
US10849693B2 (en) 2020-12-01
US11172990B2 (en) 2021-11-16
EP4327769A2 (en) 2024-02-28
US20240252252A1 (en) 2024-08-01
US9861446B2 (en) 2018-01-09
EP4327769A3 (en) 2024-08-21
US11850003B2 (en) 2023-12-26
CN111329553B (zh) 2021-05-04
US11452568B2 (en) 2022-09-27
US11013560B2 (en) 2021-05-25
US20240081911A1 (en) 2024-03-14
CN111329552A (zh) 2020-06-26
US10799296B2 (en) 2020-10-13
US9980780B2 (en) 2018-05-29
US10368947B2 (en) 2019-08-06
US10743939B1 (en) 2020-08-18
US10405927B1 (en) 2019-09-10
CN111329551A (zh) 2020-06-26
US11602395B2 (en) 2023-03-14
US11957420B2 (en) 2024-04-16
CN109310476B (zh) 2020-04-03
US20170258526A1 (en) 2017-09-14
US20210267691A1 (en) 2021-09-02
US20190380784A1 (en) 2019-12-19
EP3426179A1 (en) 2019-01-16
CN109310476A (zh) 2019-02-05
US10292768B2 (en) 2019-05-21
US20200060767A1 (en) 2020-02-27
US20230038678A1 (en) 2023-02-09
US10603113B2 (en) 2020-03-31
US20190262078A1 (en) 2019-08-29
US20180263704A1 (en) 2018-09-20
WO2017160651A1 (en) 2017-09-21
US20200246074A1 (en) 2020-08-06
US10278777B1 (en) 2019-05-07
US20220087746A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
US11452568B2 (en) Augmented reality display for fitting, sizing, trialing and balancing of virtual implants on the physical joint of a patient for manual and robot assisted joint replacement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant