CN112584789A - 具有配准虚拟模型的物理标记的混合现实外科手术系统 - Google Patents

具有配准虚拟模型的物理标记的混合现实外科手术系统 Download PDF

Info

Publication number
CN112584789A
CN112584789A CN201980054163.9A CN201980054163A CN112584789A CN 112584789 A CN112584789 A CN 112584789A CN 201980054163 A CN201980054163 A CN 201980054163A CN 112584789 A CN112584789 A CN 112584789A
Authority
CN
China
Prior art keywords
virtual
surgical
surgeon
patient
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980054163.9A
Other languages
English (en)
Inventor
杰西·G·莫尔
塞尔吉·波尔塔雷特斯克伊
让·沙维
达米安·卡里乌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Halma Dekay Ostenac
Original Assignee
Tony Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tony Co filed Critical Tony Co
Publication of CN112584789A publication Critical patent/CN112584789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/142—Surgical saws ; Accessories therefor with reciprocating saw blades, e.g. with cutting edges at the distal end of the saw blades
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1604—Chisels; Rongeurs; Punches; Stamps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1613—Component parts
    • A61B17/1626—Control means; Display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1659—Surgical rasps, files, planes, or scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1662—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body
    • A61B17/1684—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body for the shoulder
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/92—Identification means for patients or instruments, e.g. tags coded with colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/40—Joints for shoulders
    • A61F2/4081—Glenoid components, e.g. cups
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A61B17/151—Guides therefor for corrective osteotomy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1775—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the foot or ankle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1778—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the shoulder
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A61B2017/00123—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation and automatic shutdown
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/062—Measuring instruments not otherwise provided for penetration depth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/067—Measuring instruments not otherwise provided for for measuring angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0801—Prevention of accidental cutting or pricking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3945—Active visible markers, e.g. light emitting diodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/32—Joints for the hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/38—Joints for elbows or knees
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/40—Joints for shoulders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/42—Joints for wrists or ankles; for hands, e.g. fingers; for feet, e.g. toes
    • A61F2/4202—Joints for wrists or ankles; for hands, e.g. fingers; for feet, e.g. toes for ankles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4603—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/4606—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof of wrists or ankles; of hands, e.g. fingers; of feet, e.g. toes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4603—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/4612—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof of shoulders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/40—Joints for shoulders
    • A61F2002/4011—Joints for shoulders including proximal or total replacement of the humerus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2002/4632—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery
    • A61F2002/4633—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery for selection of endoprosthetic joints or for pre-operative planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4657—Measuring instruments used for implanting artificial joints
    • A61F2002/4658—Measuring instruments used for implanting artificial joints for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4657—Measuring instruments used for implanting artificial joints
    • A61F2002/4668—Measuring instruments used for implanting artificial joints for measuring angles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30052—Implant; Prosthesis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Dentistry (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

公开了一种方法，所述方法包括：获得从用于旨在将假体附接到患者的解剖结构的骨科关节修复外科手术的虚拟外科手术计划获得的所述解剖结构的一部分的虚拟模型；基于由一个或多个传感器获得的数据而识别相对于所述患者的所述解剖结构定位的一个或多个物理标记的位置；以及基于所述所识别的位置而将所述解剖结构的所述部分的所述虚拟模型与所述解剖结构的对应的被观察部分配准。

Description

具有配准虚拟模型的物理标记的混合现实外科手术系统
本专利申请要求以下项的权益：2018年6月19日提交的美国临时专利申请号62/687,014；2018年10月1日提交的美国临时专利申请号62/739,406；2018年12月12日提交的美国临时专利申请号62/778,774；2018年12月12日提交的美国临时专利申请号62/778,789；2018年12月12日提交的美国临时专利申请号62/778,764；2018年12月12日提交的美国临时专利申请号62/778,797；2018年12月12日提交的美国临时专利申请号62/778,778；2018年12月12日提交的美国临时专利申请号62/778,788；2018年12月12日提交的美国临时专利申请号62/778,760；2018年12月12日提交的美国临时专利申请号62/778,772；2018年12月12日提交的美国临时专利申请号62/778,796；2018年12月12日提交的美国临时专利申请号62/778,782；2018年12月12日提交的美国临时专利申请号62/778,791；2019年2月12日提交的美国临时专利申请62/804,383；2019年2月12日提交的美国临时专利申请62/804,392；以及2019年2月12日提交的美国临时专利申请62/804,402。
背景技术
外科关节修复手术涉及修复和/或置换受损或患病关节。很多时候，外科关节修复手术(诸如作为实例的关节置换术)涉及用植入到患者的骨骼中的假体置换受损关节。为了确保最佳外科手术效果而适当地选择已被适当地设定大小和形状的假体并且适当地定位所述假体可能是有挑战性的。为了帮助定位，外科手术通常涉及使用外科手术器械来控制受损骨骼表面的成形，并且对骨骼进行切割或钻孔以容纳假体。
如今，虚拟可视化工具可供外科医生利用，所述虚拟可视化工具使用对骨骼形状的三维建模以有助于对关节修复和置换进行术前计划。这些工具能够帮助外科医生设计和/或选择与患者的解剖结构密切匹配的外科手术引导件和植入物，并且能够通过为每个患者定制外科手术计划来改善外科手术结果。
发明内容
本公开描述了用于提供有关外科关节修复手术的术前计划、医疗植入物设计和制造、术中引导、术后分析和/或培训以及教学的各种技术。所述技术可独立地或以各种组合使用来支持外科关节修复手术的特定阶段或设置，或者提供多方面生态系统来支持外科关节修复手术。在各种实例中，本公开描述了用于使用基于混合现实(MR)的可视化进行术前外科手术计划、术中外科手术计划、术中外科手术引导、术中外科手术跟踪以及术后分析的技术。在一些实例中，本公开还描述了用于执行外科关节修复手术的外科手术项目和/或方法。在一些实例中，本公开也描述了被配置为使用混合现实来提供与骨科外科手术有关的教学的技术和可视化装置。
在所附附图和以下描述中阐述了本公开的各种实例的细节。根据以下说明书、附图和权利要求，各种特征、目的和优点将是显而易见的。
附图说明
图1是根据本公开的一个实例的骨科外科手术系统的框图。
图2是根据本公开的一个实例的包括混合现实(MR)系统的骨科外科手术系统的框图。
图3是示出外科手术生命周期的示例阶段的流程图。
图4是示出支持骨科外科手术的术前、术中和术后工作流的流程图。
图5是根据本公开的一个实例的用于混合现实(MR)系统中的可视化装置的示意图。
图6是示出根据本公开的一个实例的用于混合现实(MR)系统中的可视化装置的示例部件的框图。
图7是示出一组用户在术前阶段期间使用骨科外科手术系统的混合现实(MR)系统的示例设置的概念图。
图8是示出外科手术生命周期的术前阶段中的示例步骤的流程图。
图9示出了根据本公开的一个实例的用于选择外科手术病例的示例欢迎页面。
图10示出了根据本公开的一个实例的混合现实(MR)系统的用户界面的页面的实例。
图11A是可在图10的用户界面的页面上显示的信息的实例。
图11B是示出根据本公开的技术的用于协助外科手术参数选择的示例操作的流程图。
图12示出了对图10的导航栏中的图标取消选择的效果。
图13是根据本公开的一个实例的在图10的用户界面的各种页面上显示的增强外科手术模式小工具的实例。
图14是示出在图10的用户界面的工作流页面中显示的信息的实例的概念图。
图15A是根据本公开的一个实例的图10的用户界面的肱骨切割页面的实例。
图15B至图15D是根据本公开的一个实例的图15A的肱骨切割页面中的隐藏虚拟对象的实例。
图16是根据本公开的一个实例的图10的用户界面的安装引导件页面的实例。
图17是根据本公开的一个实例的图10的用户界面的安装植入物页面的实例。
图18是示出一组用户在术中阶段期间使用骨科外科手术系统的MR系统的示例设置的概念图。
图19是示出肩关节修复外科手术的示例阶段的流程图。
图20A和图20B示出了用于在关节修复外科手术期间将三维虚拟骨骼模型与患者的被观察的真实骨骼结构配准的示例技术。
图21是示出肩关节置换术手术的示例配准过程的步骤的概念图。
图22是示出图21的肩关节置换术手术的示例配准过程的额外步骤的概念图。
图23和图24是进一步示出肩关节置换术手术的示例配准过程的概念图。
图25是示出使用虚拟标记的示例配准程序的概念图。
图26是示出图25的使用虚拟标记的示例配准程序的额外步骤的概念图。
图27示出了根据本公开的一个实例的当处于混合现实(MR)系统的增强外科手术模式时用户可感知的图像。
图28示出了在混合现实(MR)系统的增强外科手术模式中的植入物部件的外科医生可看到的虚拟图像的实例。
图29示出了在混合现实(MR)系统的增强外科手术模式中的植入物部件的外科医生可看到的虚拟图像的实例。
图30A至图30E示出了根据本公开的一个实例的可被采用于图1的混合现实(MR)系统中的物理标记的实例。
图31是根据本公开的一个实例的用于在混合现实(MR)系统的增强外科手术模式中进行跟踪的过程流的实例。
图32A至图32C示出了在肩关节置换术手术中外科医生可执行来切除肱骨的肱骨头的步骤。
图33示出了用于在肩关节置换术手术中切除肱骨头的机械引导件。
图34和图35是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来将机械引导件安装在肱骨头中的概念图。
图36A至图36D示出了MR系统可显示的虚拟标记的实例。
图37和图38是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来在肱骨头中对移植物进行扩孔的概念图。
图39和图40是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来在肱骨头中对移植物进行钻孔的概念图。
图41是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来在肱骨头中切割移植物的概念图。
图42A至图42C是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来切除肱骨头的概念图。
图43是示出根据本公开的一种或多种技术的在肩关节置换术手术中使用虚拟引导定位的用于肱骨头切除的物理引导件的概念图。
图44和图45是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来在肱骨中产生导向孔的概念图。
图46是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来对肱骨进行测深的概念图。
图47是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来对肱骨进行冲孔的概念图。
图48是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来压紧肱骨的概念图。
图49是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来修复肱骨的表面的概念图。
图50是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来将植入物附接到肱骨的概念图。
图51是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统向用户提供虚拟引导来将引导件安装在肩胛骨的关节盂中的概念图。
图52是示出如在肩关节置换术手术中安装在关节盂中的示例引导件的概念图。
图53是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来对关节盂进行扩孔的概念图。
图54和图55是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来(例如，在扩孔后)在关节盂中产生中心孔的概念图。
图56是示出具有龙骨类型锚固件的关节盂假体的概念图。
图57至图59是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来在关节盂中产生龙骨类型锚固位置的概念图。
图60是示出具有栓柱类型锚固件的关节盂假体的概念图。
图61和图62是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来在关节盂中产生栓柱类型锚固位置的概念图。
图63是示出根据本公开的一种或多种技术在肩关节置换术手术中由MR系统提供虚拟引导来将植入物附接到关节盂的概念图。
图64和图65示出了可用于在肩关节置换术手术中将假体附接到关节盂的螺钉和中心杆。
图66是根据本公开的一种或多种技术的在肩关节置换术手术中可由MR系统提供的虚拟引导的概念图。
图67是根据本公开的一种或多种技术的在肩关节置换术手术中可由MR系统提供并且提供辅助视图窗口的示例视图的概念图。
图68是MR系统显示包括示出在肩关节置换术手术中钻机相对于肩胛骨的位置的图示的图形深度引导的概念图。
图69是示出在目标区周围具有缺失区域的示例虚拟模型的概念图。
图70是示出在目标区周围具有缺失区域的示例虚拟模型的概念图。
图71是示出在目标区周围具有缺失区域的示例虚拟模型的概念图。
图72是示出根据本公开的一种或多种技术的用于在外科手术中进行闭环工具控制的示例技术的流程图。
图73是与本公开的实例相一致的医疗装置和深度相机的一部分的概念侧视图。
图74是与本公开相一致的医疗装置的一部分的概念侧视图。
图75是与本公开的实例相一致的混合现实(MR)系统和包括深度辅助元件的示例扩孔工具的概念透视图。
图76是与本公开的实例相一致的利用包括深度辅助元件的示例扩孔工具的混合现实系统的概念透视图。
图77是示出与本公开的实例相一致的示例过程的流程图。
图78是可消除对特殊设计的深度辅助元件的需求的另一个深度跟踪实例的侧视图。
图79是示出相对于扩孔钻附接在固定位置处的深度辅助元件的实例的另一个侧视图。
图80、图81和图82是示出配准深度辅助元件的位置的一个示例配准过程的额外图示。
图83是示出根据本公开的一个实例的包括一组外科手术项目和处理装置的系统的框图。
图84是示出根据本公开的一个实例的包括一组外科手术项目和呈MR可视化装置的形式的处理装置的医疗装置系统的概念框图。
图85是示出根据本公开的一个实例的包括一组外科手术项目和呈MR可视化装置的形式的处理装置的医疗装置系统的另一个概念框图。
图86是在肩关节置换术手术中的示例测深程序的视图。
图87是在肩关节置换术手术中的示例冲孔程序的视图。
图88是在肩关节置换术手术中的示例压紧或锉磨程序的视图。
图89是在肩关节置换术手术中的示例表面计划程序的视图。
图90是在肩关节置换术手术中的示例保护程序的视图。
图91和图92是在肩关节置换术手术中的示例试验程序的视图。
图93和图94是在肩关节置换术手术中的示例植入程序的视图。
图95是对人类肱骨骨骼执行的测深程序的概念侧视图，其中在肩关节置换术手术中，测深器插入到患者的肱骨骨骼中。
图96是用于图95所示的外科手术中的不同大小的一组医疗测深器的图示。
图97是包括一组逐渐变大的测深器的一组工具的图示。
图98是对人类肱骨骨骼执行的压紧或锉磨程序的概念侧视图。
图99是包括一组逐渐变大的压紧工具的一组工具的图示。
图100是对人类肱骨骨骼执行的表面计划程序的概念侧视图。
图101是包括一组逐渐变大的表面计划工具的一组工具的图示。
图102是示出在外科手术中标识工具的技术的流程图。
图103是示出用于在外科手术中标识工具并基于外科手术的阶段而改变对此类工具的标识的方法的流程图。
图104是可对应于本公开中描述的外科手术项目中的一者或多者的外科手术项目的更详细的框图。
图105是类似于图97所示的那些的一组外科手术项目的图示，其中呈现虚拟元素来标识该组中的特定外科手术项目。
图106是类似于图97所示的那些的一组外科手术项目的另一个图示，其中呈现虚拟元素来标识该组中的特定外科手术项目。
图107是类似于图99所示的那些的一组外科手术项目的图示，其中呈现虚拟元素以标识外科手术中所需的项目，标识需要组装的项目并且标识双侧项目上将使用的一侧。
图108是类似于图101所示的那些的一组外科手术项目的图示，其中呈现虚拟元素来标识一组外科手术项目并且将给定的外科手术项目与其他标识的外科手术项目区分开来。
图109是示出根据本公开的技术的用于产生患者的附肢的运动范围的扩展现实(XR)可视化的示例系统的框图。
图110是示出患者的右侧手臂在患者的肩部中发生的示例运动的概念图。
图111是示出根据本公开的技术的运动范围的示例扩展现实可视化的概念图。
图112A是示出根据本公开的技术的用于运动范围分析和可视化的系统的示例操作的流程图。
图112B是示出根据本公开的技术的系统的示例操作的流程图。
图113是示出出于教学目的，一组用户使用MR系统的示例设置的概念图。
图114是包括彼此通信的多个MR装置的系统的框图。
图115是示出在本地环境处包括与远程环境中的一个或多个用户通信的一个或多个用户的分布式MR系统的框图。
图116是示出在本地环境处包括与远程环境中的一个或多个用户通信的一个或多个用户的MR系统的另一个框图。
图117是示出根据本公开的技术的可协助诸如外科医生、护士、或其他医疗技术人员的用户完成骨科外科手术的工作流步骤中的步骤的示例系统的框图。
图118是示出根据本公开的技术的用于协助诸如外科医生、护士、或其他医疗技术人员的用户完成骨科外科手术的工作流中的步骤的示例操作的流程图。
图119是示出示例XR可视化的概念图，所述XR可视化包括在对患者的肩部执行骨科外科手术时如由诸如骨科外科医生、护士或其他医疗技术人员的用户所查看的一组一个或多个虚拟检查清单项目。
图120是示出根据本公开的技术的在术中阶段期间修改第一外科手术计划以产生第二外科手术计划的示例系统的概念图。
图121是根据本公开的技术的在术中阶段期间修改第一外科手术计划以产生第二外科手术计划的示例操作的流程图。
图122是示出根据本公开的技术的实现可用于确定患者的肩部疾患的分类的DNN的示例计算系统的框图。
图123示出了可针对图122的系统通过计算系统实现的示例深度神经网络(DNN)。
图124是示出根据本公开的技术的由计算系统使用DNN来确定肩部疾患的分类的示例操作的流程图。
图125是示出根据本公开的技术的用于使用DNN来确定对肩部疾患的推荐手术的计算系统的示例功能部件的框图。
图126是示出根据本公开的技术的使用DNN来确定对患者的肩部外科手术的推荐类型的计算系统的示例操作的流程图。
图127是用于骨科外科手术教学的包括MR教员装置和MR学生装置的教学系统的概念框图。
图128是用于骨科外科手术教学的包括MR教员装置和多个MR学生装置的教学系统的概念框图。
图129是用于骨科外科手术教学的在没有现场教员的情况下由学生使用的教学系统的概念框图。
图130是用于骨科外科手术教学的由相对于学生位于远处的教员使用的教学系统的概念框图。
图131是用于骨科外科手术教学的由教员和多个学生使用的教学系统的概念框图，其中学生中的一者或多者相对于教员位于远处。
图132和图133是将MR和/或VR用于骨科外科手术教学的其他教学系统的概念框图。
图134是将MR和/或VR用于骨科外科手术教学的教学系统的概念框图，其中教员和学生能够操纵包括虚拟信息的不同的虚拟模型。
图135是将MR和/或VR用于骨科外科手术教学的教学系统的概念框图，其中教员能够指派对虚拟模型的操纵权以允许学生操纵虚拟模型。
图136至图139是示出借助于MR和/或VR可执行的教学技术的流程图。
图140是将MR和/或VR用于骨科外科手术教学的教学系统的概念框图，其中用户能够启动虚拟模型的可操纵的拷贝。
图141是将MR和/或VR用于骨科外科手术教学的教学系统的概念框图，其中学生和教员能够查看并比较若干不同的虚拟模型。
图142是将MR和/或VR用于骨科外科手术教学的教学系统的概念框图，其中教员具有用于控制MR/VR教学内容的虚拟控制菜单。
图143是将MR和/或VR用于骨科外科手术教学的教学系统的概念框图，其中教员和学生具有用于控制MR/VR教学内容的虚拟控制元素。
图144是示出借助于MR和/或VR可执行的教学技术的流程图。
图145是包括有助于对远程用户进行关于正进行的外科手术的特定细节的教学的特征的教学系统的概念框图。
图146和图147是示出帮助对远程用户进行关于正进行的外科手术的特定细节的教学的术间教学技术的流程图。
图148是示出示例虚拟肩部的虚拟教员模型以及具有类似于教员模型的虚拟内容的多个学生模型的一个概念实例。
图149是根据本公开的一种或多种技术的用于对解剖结构准备进行MR辅助验证的示例技术的流程图。
图150是示出脚踝关节修复外科手术的示例阶段的流程图。
图151A和图151B是示出引导销到胫骨的示例附接的概念图。
图152是示出在胫骨中实现孔的示例钻孔的概念图。
图153是示出胫骨的示例切除的概念图。
图154A和图154B是示出在距骨准备过程期间安装在距骨中的示例引导销的概念图。
图155是示出距骨的示例切除的概念图。
图156是在执行胫骨切除和距骨切除之后的示例脚踝的概念图。
图157A至图157C是示出胫骨托架试验的实例的概念图。
图158是示出胫骨植入物锚固处的示例产生的概念图。
图159A和图159B是示出引导销到距骨的示例附接的概念图。
图160是距骨上的示例距骨切除引导件的概念图。
图161是示例后距骨斜切切除的概念图。
图162和图163是示例前距骨斜切切除的概念图。
图164和图165是示出距骨植入物锚固处的示例产生的概念图。
图166是示出示例胫骨植入物的概念图。
图167是示出准备好的胫骨的实例的概念图。
图168是示出胫骨植入物到胫骨中的示例冲击的概念图。
图169是示出示例距骨植入物的概念图。
图170是示出距骨植入物到距骨中的示例冲击的概念图。
图171是示出植入在胫骨植入物与距骨植入物之间的示例轴承的概念图。
图172是示出根据本公开的一种或多种技术的用于MR辅助外科手术的示例技术的流程图。
具体实施方式
参考附图描述了本公开的某些实例，其中类似的附图标记表示类似的元件。然而，应理解，附图仅示出了本文描述的各种实现方式，并且不意味着限制本文描述的各种技术的范围。附图示出并描述了本公开的各种实例。
在以下描述中，阐述了众多细节，以便提供对本发明的理解。然而，本领域技术人员将理解，可在没有这些细节的情况下实践本发明，并且对于所描述的实例可能会有众多改变或修改。
骨科外科手术可涉及植入一个或多个假体装置以修复或置换患者的受损或患病关节。如今，可获得虚拟外科手术计划工具，所述虚拟外科手术计划工具使用患病或受损关节的图像数据来产生准确的三维骨骼模型，外科医生可在术前查看并操纵所述三维骨骼模型。这些工具可通过以下方式增强外科手术结果：允许外科医生模拟外科手术，选择或设计更密切匹配患者的实际骨骼的轮廓的植入物，以及选择或设计特别适于修复特定患者的骨骼的外科手术器械和引导工具。这些计划工具的使用通常会导致产生术前外科手术计划，包括针对单独的患者选择或制造的植入物和外科手术器械。常常，一旦在实际手术环境中，外科医生就可能期望在术中相对于患者的实际骨骼验证术前外科手术计划。这种验证可能会导致确定需要对术前外科手术计划进行调整，诸如不同的植入物、植入物的不同的定位或取向、和/或用于实施外科手术计划的不同的外科手术引导件。此外，外科医生可能想要在实际手术期间相对于患者的真实骨骼查看术前外科手术计划的细节，以便更高效地且更准确地对植入物部件进行定位和定向。例如，外科医生可能想要获得术中可视化，所述术中可视化提供引导来对植入物部件进行定位和定向，提供引导来使骨骼或组织准备好接纳植入物部件，提供引导来查阅手术或手术步骤的细节，和/或提供引导来选择工具或植入物并且跟踪外科手术工作流。
因此，本公开描述了用于使用混合现实(MR)可视化系统来协助在外科手术之前以及期间创建、实现、验证和/或修改外科手术计划的系统和方法。由于MR，或在一些情况下VR可用于与外科手术计划交互，因此本公开也可将外科手术计划称为“虚拟”外科手术计划。不同于混合现实可视化系统或除此之外的可视化工具也可根据本公开的技术来使用。例如，如由BLUEPRINTTM系统或另一个外科手术计划平台所产生的外科手术计划可包括定义外科手术的各种特征，诸如将由外科医生根据外科手术计划对患者执行的特定外科手术步骤的特征的信息，所述特定外科手术步骤包括例如骨骼或组织准备步骤和/或用于选择、修改和/或放置植入物部件的步骤。在各种实例中，这种信息可包括将由外科医生选择或修改的植入物部件的尺寸、形状、角度、表面轮廓和/或取向；由外科医生将在骨骼或组织准备步骤中对骨骼或组织定义的尺寸、形状、角度、表面轮廓和/或取向；和/或定义由外科医生相对于患者骨骼或组织对植入物部件进行的放置的位置、轴、平面、角度和/或进入点。诸如患者的解剖特征的尺寸、形状、角度、表面轮廓和/或取向的信息可来源于成像(例如，x射线、CT、MRI、超声或其他图像)、直接观察或其他技术。
在本公开中，术语“混合现实”(MR)指代呈现虚拟对象，使得用户看到包括真实物理对象和虚拟对象两者的图像。虚拟对象可包括文本、二维表面、三维模型、或者实际上不存在于物理真实世界环境中，而在其中却被呈现为共存的其他用户可感知元素。此外，在本公开的各种实例中描述的虚拟对象可包括图形、图像、动画或视频，例如被呈现为3D虚拟对象或2D虚拟对象。虚拟对象也可被称为虚拟元素。此类元素可为或不为真实世界对象的类似物。在一些实例中，在混合现实中，相机可捕获真实世界的图像，并且在真实世界的背景下修改所述图像以呈现虚拟对象。在此类实例中，所修改的图像可显示在屏幕上，所述屏幕可为头戴的、手持的、或可以其他方式供用户查看。这种类型的混合现实在智能手机上越来越普遍，诸如用户可将智能手机的相机指向以外国语言书写的字符，并且在智能手机的屏幕中看到以用户自己的语言对所述字符进行的翻译叠加在所述字符以及由相机捕获的其余场景上。在一些实例中，在混合现实中，可被称为波导的透视(例如，透明)的全息透镜可准许用户通过全息透镜查看真实世界对象，即在真实世界环境中的实际对象，诸如真实解剖结构，并且还能同时查看虚拟对象。
可获自华盛顿雷德蒙德的Microsoft Corporation的Microsoft HOLOLENSTM头戴式耳机是MR装置的一个实例，所述MR装置包括透视的全息透镜(有时被称为波导)，所述透视的全息透镜准许用户通过透镜查看真实世界对象并且同时查看投射的3D全息对象。Microsoft HOLOLENSTM头戴式耳机或类似的基于波导的可视化装置是可根据本公开的一些实例使用的MR可视化装置的实例。一些全息透镜可通过透视的全息透镜呈现具有一定程度的透明度的全息对象，使得用户能查看真实世界对象和虚拟全息对象。在一些实例中，一些全息透镜有时可能会完全阻止用户查看真实世界对象，而是可能允许用户查看完全虚拟的环境。术语混合现实还可涵盖一个或多个用户能够感知由全息投影产生的一个或多个虚拟对象的情景。换句话说，“混合现实”可涵盖以下情况：全息投影仪产生在用户看来好像存在于用户的实际物理环境中的元素的全息图。
在一些实例中，在混合现实中，一些或所有呈现的虚拟对象的位置与物理对象在真实世界中的位置相关。例如，虚拟对象可捆绑到真实世界中的工作台，使得当用户看向工作台的方向时，用户可看到虚拟对象，但是当工作台不在用户的视场中时看不到虚拟对象。在一些实例中，在混合现实中，一些或所有呈现的虚拟对象的位置不与物理对象在真实世界中的位置相关。例如，虚拟项目看起来可能始终在用户的视场的右上角，而不管用户看向哪里。
增强现实(AR)在呈现真实世界元素和虚拟元素两者方面类似于MR，但是AR通常指代大部分真实的呈现，存在几处虚拟添加是为了“增强”真实世界呈现。出于本公开的目的，MR被视为包括AR。例如，在AR中，可选择性地调亮用户的物理环境的处于阴影中的部分，而不调亮用户的物理环境的其他区。此实例也是MR的示例，因为选择性调亮的区可被视为叠加在用户的物理环境的处于阴影中的部分上的虚拟对象。
另外，在本公开中，术语“虚拟现实”(VR)指代用户体验由计算机提供的感官刺激(诸如景象和声音)的沉浸式人工环境。因此，在虚拟现实中，在用户存在于真实世界中时，所述用户可能看不到任何物理对象。以想象世界为背景设置的视频游戏是VR的常见实例。术语“VR”还涵盖以下情景：向用户呈现完全人工环境，其中一些虚拟对象的位置是基于对应的物理对象在其与用户相关时的位置。漫步式VR景观是这种类型VR的实例。
术语“扩展现实”(XR)是涵盖包括以下项的一系列用户体验的术语：虚拟现实、混合现实、增强现实、以及涉及不存在于用户的真实世界环境中的至少一些可感知元素呈现为存在于用户环境中的其他用户体验。因此，术语“扩展现实”可被视为是MR和VR的一个类属。XR可视化可以本公开中其他位置讨论的用于呈现混合现实的任何技术呈现，或者使用用于呈现VR的技术，诸如VR护目镜来呈现。
这些混合现实系统和方法可为智能外科手术计划系统的一部分，所述智能外科手术计划系统包括可用于增强外科手术结果的多个子系统。除了上文讨论的术前和术中应用，智能外科手术计划系统还可包括术后工具，所述术后工具用于协助患者恢复并且可提供可用于协助并计划将来的外科手术修正，或其他患者的外科手术病例的信息。
因此，本文还描述了可并入到智能外科手术计划系统中的系统和方法，所述智能外科手术计划系统诸如为用于协助计划的人工智能系统、具有嵌入式传感器以提供术后反馈以供保健提供者和人工智能系统使用的植入物(例如，智能植入物)、以及用于监测信息并实时地或接近实时地向患者和保健提供者提供所述信息的移动应用程序。
可获得可视化工具，所述可视化工具利用患者图像数据来产生骨骼轮廓的三维模型以有助于对关节修复和置换的术前计划。这些工具允许外科医生设计和/或选择密切匹配患者的解剖结构的外科手术引导件和植入物部件。这些工具可通过为每个患者定制外科手术计划来改善外科手术结果。用于肩部修复的这种可视化工具的实例是可获自WrightMedical Technology,Inc的BLUEPRINTTM系统。BLUEPRINT TM系统向外科医生提供骨骼修复区域的二维平面图以及修复区域的三维虚拟模型。外科医生可使用BLUEPRINTTM系统来选择、设计或修改适当的植入物部件，确定如何最好地对植入物部件进行定位和定向以及如何使骨骼的表面成形来接纳部件，并且设计、选择或修改一种或多种外科手术引导工具或器械来实施外科手术计划。由BLUEPRINTTM系统产生的信息被编译在患者的术前外科手术计划中，所述术前外科手术计划存储在适当的位置处(例如，广域网、局域网或全球网中的服务器上)的数据库中，所述数据库可由外科医生或其他护理提供者访问，包括在实际外科手术之前以及期间访问。
图1是根据本公开的一个实例的骨科外科手术系统100的框图。骨科外科手术系统100包括一组子系统。在图1的实例中，子系统包括虚拟计划系统102、计划支持系统104、制造和交付系统106、术中引导系统108、医疗教学系统110、监测系统112、预测分析系统114以及通信网络116。在其他实例中，骨科外科手术系统100可包括更多、更少或不同的子系统。例如，骨科外科手术系统100可省略医疗教学系统110、监测系统112、预测分析系统114和/或其他子系统。在一些实例中，骨科外科手术系统100可用于外科手术跟踪，在此情况下，骨科外科手术系统100可被称为外科手术跟踪系统。在其他情况下，骨科外科手术系统100通常可被称为医疗装置系统。
骨科外科手术系统100的用户可使用虚拟计划系统102来计划骨科外科手术。骨科外科手术系统100的用户可使用计划支持系统104来查阅使用骨科外科手术系统100产生的外科手术计划。制造和交付系统106可协助执行骨科外科手术所需的项目的制造和交付。术中引导系统108提供引导来协助骨科外科手术系统100的用户执行骨科外科手术。医疗教学系统110可协助对诸如保健专业人员、患者和其他类型个人的用户的教学。术前和术后监测系统112可协助在患者接受外科手术之前以及之后监测患者。预测分析系统114可协助保健专业人员进行各种类型的预测。例如，预测分析系统114可应用人工智能技术来确定骨科关节的疾患的分类(例如，诊断)，确定对患者执行哪种类型的外科手术和/或在手术中将使用哪种类型的植入物，确定在外科手术期间可能需要的项目的类型等等。
骨科外科手术系统100的子系统(即，虚拟计划系统102、计划支持系统104、制造和交付系统106、术中引导系统108、医疗教学系统110、术前和术后监测系统112以及预测分析系统114)可包括各种系统。骨科外科手术系统100的子系统中的系统可包括各种类型的计算系统、计算装置(包括服务器计算机、个人计算机、平板计算机、智能手机)、显示装置、物联网(IoT)装置、可视化装置(例如，混合现实(MR)可视化装置、虚拟现实(VR)可视化装置、全息投影仪或用于呈现扩展现实(XR)可视化的其他装置)、外科手术工具等等。在一些实例中，全息投影仪可投射全息图以供多个用户或单个用户在没有头戴式耳机的情况下进行一般查看，而不是仅供佩戴了头戴式耳机的用户查看。例如，虚拟计划系统102可包括MR可视化装置和一个或多个服务器装置，计划支持系统104可包括一个或多个个人计算机和一个或多个服务器装置等等。计算系统是被配置为作为系统操作的一个或多个计算系统的集合。在一些实例中，可在骨科外科手术系统100的子系统中的两者或更多者之间共享一个或多个装置。例如，在先前的实例中，虚拟计划系统102和计划支持系统104可包括相同的服务器装置。
在图1的实例中，骨科外科手术系统100的子系统中所包括的装置可使用通信网络116来通信。通信网络116可包括各种类型的通信网络，包括一个或多个广域网(诸如互联网)、局域网等等。在一些实例中，通信网络116可包括有线和/或无线通信链路。
根据本公开的技术，骨科外科手术系统100的许多变化是可能的。此类变化可包括比图1所示版本的骨科外科手术系统100更多或更少的子系统。例如，图2是根据本公开的一个实例的包括一个或多个混合现实(MR)系统的骨科外科手术系统200的框图。骨科外科手术系统200可用于创建、验证、更新、修改和/或实现外科手术计划。在一些实例中，可在术前诸如通过使用虚拟外科手术计划系统(例如，BLUEPRINTTM系统)来创建外科手术计划，然后在术中例如使用外科手术计划的MR可视化来对所述外科手术计划进行验证、修改、更新和查看。在其他实例中，骨科外科手术系统200可用于根据需要紧接在外科手术之前或在术中创建外科手术计划。在一些实例中，骨科外科手术系统200可用于外科手术跟踪，在此情况下，骨科外科手术系统200可被称为外科手术跟踪系统。在其他情况下，骨科外科手术系统200通常可被称为医疗装置系统。
在图2的实例中，骨科外科手术系统200包括术前外科手术计划系统202、保健设施204(例如，外科手术中心或医院)、存储系统206以及网络208，所述网络208允许保健设施204处的用户访问所存储的患者信息，诸如病史、对应于受损关节或骨骼的图像数据和对应于在术前已创建的外科手术计划的各种参数(作为实例)。术前外科手术计划系统202可等同于图1的虚拟计划系统102，并且在一些实例中通常可对应于与BLUEPRINTTM系统类似或相同的虚拟计划系统。
在图2的实例中，保健设施204包括混合现实(MR)系统212。在本公开的一些实例中，MR系统212包括一个或多个处理装置(P)210以提供下文将进一步详细地描述的功能。一个或多个处理装置210也可被称为一个或多个处理器。此外，MR系统212的一个或多个用户(例如，外科医生、护士或其他护理提供者)可使用一个或多个处理装置(P)210来产生对特定外科手术计划或经由网络208传输到存储系统206的其他患者信息的请求。作为响应，存储系统206将所请求的患者信息返回到MR系统212。在一些实例中，用户可使用一个或多个其他处理装置来请求和接收信息，诸如作为MR系统212的一部分但是不作为任何可视化装置的一部分的一个或多个处理装置，或作为MR系统212的可视化装置(例如，可视化装置213)的一部分的一个或多个处理装置、或作为MR系统212的一部分但是不作为任何可视化装置的一部分的一个或多个处理装置与作为成为MR系统212的一部分的可视化装置(例如，可视化装置213)的一部分的一个或多个处理装置的组合。
在一些实例中，多个用户可同时使用MR系统212。例如，MR系统212可以旁观者模式使用，其中多个用户各自使用其自身的可视化装置，使得用户可同时并从同一视角查看相同的信息。在一些实例中，MR系统212可以某种模式使用，其中多个用户各自使用其自身的可视化装置，使得用户可从不同的视角查看相同的信息。
在一些实例中，一个或多个处理装置210可提供用户界面以显示数据，并且从保健设施204处的用户接收输入。一个或多个处理装置210可被配置为控制可视化装置213以呈现用户界面。另外，一个或多个处理装置210可被配置为控制可视化装置213以呈现虚拟图像，诸如3D虚拟模型、2D图像等等。一个或多个处理装置210可包括各种不同的处理或计算装置，诸如服务器、台式计算机、膝上型计算机、平板计算机、移动电话以及其他电子计算装置，或此类装置内的处理器。在一些实例中，一个或多个处理装置210中的一者或多者可位于远离保健设施204之处。在一些实例中，一个或多个处理装置210驻留在可视化装置213内。在一些实例中，一个或多个处理装置210中的至少一者是在可视化装置213的外部。在一些实例中，一个或多个处理装置210驻留在可视化装置213内，并且一个或多个处理装置210中的一者或多者是在可视化装置213的外部。
在图2的实例中，MR系统212还包括一个或多个存储器或存储装置(M)215以存储数据以及可由一个或多个处理装置210执行的软件指令。软件指令可对应于本文描述的MR系统212的功能。在一些实例中，诸如BLUEPRINTTM系统的虚拟外科手术计划应用的功能也可结合一个或多个存储器存储装置(M)215进行存储并且由一个或多个处理装置210执行。例如，存储器或存储系统215可被配置为存储对应于虚拟外科手术计划的至少一部分的数据。在一些实例中，存储系统206可被配置为存储对应于虚拟外科手术计划的至少一部分的数据。在一些实例中，一个或多个存储器或存储装置(M)215驻留在可视化装置213内。在一些实例中，一个或多个存储器或存储装置(M)215是在可视化装置213的外部。在一些实例中，一个或多个存储器或存储装置(M)215包括在可视化装置213内的一个或多个存储器或存储装置与在可视化装置的外部的一个或多个存储器或存储装置的组合。
网络208可等同于网络116。网络208可包括将术前外科手术计划系统202和MR系统212连接到存储系统206的一个或多个广域网、局域网和/或全球网(例如，互联网)。存储系统206可包括可包含患者信息、医疗信息、患者图像数据以及定义外科手术计划的参数的一个或多个数据库。例如，患者的患病或受损骨骼的医疗图像通常在术前在准备骨科外科手术的过程中产生。医疗图像可包括沿着患者的身体的矢状平面和冠状平面取得的一个或多个相关骨骼的图像。医疗图像可包括X射线图像、磁共振成像(MRI)图像、计算机断层扫描(CT)图像、超声图像和/或提供与相关外科手术区有关的信息的任何其他类型的2D或3D图像。存储系统206还可包括识别以下项的数据：针对特定患者选择的植入物部件(例如，类型、大小等)、针对特定患者选择的外科手术引导件以及外科手术的细节，诸如进入点、切割平面、钻孔轴、扩孔深度等。作为实例，存储系统206可为基于云的存储系统(如所示)，或者可位于保健设施204处或术前外科手术计划系统202的位置处，或者可为MR系统212或可视化装置(VD)213的一部分。
MR系统212可由外科医生在外科手术之前(例如，术前)或期间(例如，术中)使用来创建、查阅、验证、更新、修改和/或实现外科手术计划。在一些实例中，MR系统212还可在外科手术之后(例如，术后)使用来查阅外科手术的结果，评定是否需要修正，或者执行其他术后任务。为此，MR系统212可包括可视化装置213，所述可视化装置213可由外科医生佩戴并且(如下文将进一步详细地解释的)可操作来在外科手术中显示各种类型的信息，以适当地对假体部件、外科手术引导件和器械以及其在受损关节上的放置进行定向和定位，并且显示可能可供外科医生用来实现外科手术计划的任何其他信息，所述各种类型的信息包括患者的患病、受损或术后关节的3D虚拟图像以及外科手术计划的细节，诸如针对外科手术计划选择的假体植入物部件的3D虚拟图像、用于定位假体部件的进入点的3D虚拟图像、用于使切割或扩孔工具对准来使骨骼表面成形的对准轴和切割平面、或用于限定骨骼表面中的一个或多个孔的钻孔工具。MR系统212可产生这种信息的可视化装置213的用户在外科手术之前和/或期间可感知的图像。
在一些实例中，MR系统212包括多个可视化装置(例如，可视化装置213的多个实例)，使得多个用户可同时看到相同的图像并且共享相同的3D场景。在一些此类实例中，可视化装置中的一者可被指定为主装置，并且其他可视化装置可被指定为观察者或旁观者。如MR系统212的用户可能期望的，任何观察者装置可在任何时间被重新指定为主装置。
以此方式，图2示出了外科手术计划系统，所述外科手术计划系统包括术前外科手术计划系统202以产生虚拟外科手术计划，所述虚拟外科手术计划被定制为修复特定患者的目标解剖结构。例如，虚拟外科手术计划可包括骨科关节修复外科手术(例如，将假体附接到患者的解剖结构)，诸如标准全肩关节置换术或反向肩关节置换术中的一者的计划。在此实例中，虚拟外科手术计划的细节可包括与以下项中的至少一者相关的细节：用于附接假体的解剖结构的准备或假体到解剖结构的附接。例如，虚拟外科手术计划的细节可包括与以下项中的至少一者相关的细节：关节盂骨骼的准备、肱骨骨骼的准备、假体到关节盂骨骼的附接、或假体到肱骨骨骼的附接。在一些实例中，骨科关节修复外科手术是以下项中的一者：无柄标准全肩关节置换术、有柄标准全肩关节置换术、无柄反向肩关节置换术、有柄反向肩关节置换术、增强型关节盂标准全肩关节置换术以及增强型关节盂反向肩关节置换术。
虚拟外科手术计划可包括对应于特定患者的目标解剖结构的3D虚拟模型、以及用于修复目标解剖结构或被选择来修复目标解剖结构的匹配到特定患者的假体部件的3D模型。另外，在图2的实例中，外科手术计划系统包括存储系统206以存储对应于虚拟外科手术计划的数据。图2的外科手术计划系统还包括MR系统212，所述MR系统212可包括可视化装置213。在一些实例中，可视化装置213可由用户佩戴。在一些实例中，可视化装置213由用户保持，或搁置在可由用户触及的地方的表面上。MR系统212可被配置为经由可视化装置213呈现用户界面。用户界面可呈现特定患者的虚拟外科手术计划的细节。例如，虚拟外科手术计划的细节可包括特定患者的目标解剖结构的3D虚拟模型。当用户使用可视化装置213时，用户可视觉感知用户界面。例如，在一个实例中，可视化装置213的屏幕可在屏幕上显示真实世界图像和用户界面。在一些实例中，可视化装置213可将虚拟全息图像投射到透视的全息透镜上，并且还准许用户通过透镜看到真实世界环境的真实世界对象。换句话说，可视化装置213可包括一个或多个透视的全息透镜，以及经由全息透镜向用户呈现影像以向用户呈现用户界面的一个或多个显示装置。
在一些实例中，可视化装置213被配置为使得用户可操纵用户界面(当用户佩戴或以其他方式使用可视化装置213时，用户可视觉感知所述用户界面)以请求并查看特定患者的虚拟外科手术计划的细节，包括目标解剖结构的3D虚拟模型(例如，目标解剖结构，诸如关节盂骨骼或肱骨骨骼的3D虚拟骨骼模型)和/或被选择来修复目标解剖结构的假体部件的3D模型。在一些此类实例中，可视化装置213被配置为使得用户可操纵用户界面，使得用户可在术中查看虚拟外科手术计划，包括(至少在一些实例中)目标解剖结构的3D虚拟模型(例如，目标解剖结构的3D虚拟骨骼模型)。在一些实例中，MR系统212可以增强外科手术模式操作，其中用户可在术中操纵用户界面，使得用户可视觉地感知投射在真实环境中，例如投射在特定患者的真实目标解剖结构上的虚拟外科手术计划的细节。在本公开中，术语真实和真实世界可以类似方式使用。例如，MR系统212可呈现一个或多个虚拟对象，所述一个或多个虚拟对象提供引导来准备骨骼表面并且将假体植入物放置在骨骼表面上。可视化装置213可按以下方式呈现一个或多个虚拟对象：虚拟对象在真实世界环境内看起来好像覆盖在患者的实际的真实解剖对象上，这例如通过显示一个或多个虚拟对象与由用户通过全息透镜查看到的实际的真实世界患者解剖结构来进行。例如，虚拟对象可为看起来好像与实际的真实解剖对象一起驻留在真实世界环境内的3D虚拟对象。
图3是示出外科手术生命周期300的示例阶段的流程图。在图3的实例中，外科手术生命周期300开始于术前阶段(302)。在术前阶段期间，制定外科手术计划。术前阶段之后是制造和交付阶段(304)。在制造和交付阶段期间，制造执行外科手术计划所需的患者特定项目，诸如零件和设备并且将所述患者特定项目交付到外科手术场地。在一些实例中，为了执行外科手术计划，不一定需要制造患者特定项目。术中阶段跟在制造和交付阶段之后发生(306)。在术中阶段期间执行外科手术计划。换句话说，一个或多个人员在术中阶段期间对患者执行外科手术。术中阶段之后是术后阶段(308)。术后阶段包括在外科手术计划完成之后进行的活动。例如，可在术后阶段期间监测患者的并发症。
如本公开中所描述，骨科外科手术系统100(图1)可用于术前阶段302、制造和交付阶段304、术中阶段306以及术后阶段308中的一者或多者中。例如，虚拟计划系统102和计划支持系统104可用于术前阶段302中。制造和交付系统106可用于制造和交付阶段304中。术中引导系统108可用于术中阶段306中。图1的系统中的一些可用于图3的多个阶段中。例如，医疗教学系统110可用于术前阶段302、术中阶段306和术后阶段308中的一者或多者中；术前和术后监测系统112可用于术前阶段302和术后阶段308中。预测分析系统114可用于术前阶段302和术后阶段308中。
在图3的外科手术过程内可存在各种工作流。例如，图3的外科手术过程内的不同工作流可适于不同类型的外科手术。图4是示出支持骨科外科手术的术前、术中和术后工作流的流程图。在图4的实例中，外科手术过程开始于医疗咨询(400)。在医疗咨询(400)期间，保健专业人员评估患者的医疗状况。例如，保健专业人员可相对于患者的症状对患者进行咨询。在医疗咨询(400)期间，保健专业人员还可与患者讨论各种治疗方案。例如，保健专业人员可描述用于处理患者的症状的一种或多种不同的外科手术。
另外，图4的实例包括病例创建步骤(402)。在其他实例中，病例创建步骤在医疗咨询步骤之前发生。在病例创建步骤期间，医疗专业人员或其他用户为患者建立电子病例文件。患者的电子病例文件可包括与患者相关的信息，诸如关于患者的症状的数据、患者运动范围观察、关于患者的外科手术计划的数据、患者的医疗图像、关于患者的注意事项、关于患者的账单信息等等。
图4的实例包括术前患者监测阶段(404)。在术前患者监测阶段期间，可监测患者的症状。例如，患者可能会遭受与患者的肩部中关节炎相关联的疼痛。在此实例中，患者的症状可能尚未发展到需要关节置换术来置换患者的肩部的程度。然而，关节炎通常会随着时间的推移而恶化。因此，可监测患者的症状以确定是否已到对患者的肩部执行外科手术的时间。来自术前患者监测阶段的观察可存储在患者的电子病例文件中。在一些实例中，预测分析系统114可用于预测患者何时可能需要外科手术，预测用于延迟或避免外科手术的治疗过程，或相对于患者的健康进行其他预测。
另外地，在图4的实例中，医疗图像获取步骤(406)在术前阶段期间发生。在图像获取步骤期间，产生患者的医疗图像。医疗图像可以各种方式产生。例如，图像可使用计算机断层扫描(CT)过程、磁共振成像(MRI)过程、超声过程或另一个成像过程来产生。在图像获取步骤期间产生的医疗图像包括患者的目标解剖结构的图像。例如，如果患者的症状涉及患者的肩部，则可产生患者的肩部的医疗图像。可将医疗图像添加到患者的电子病例文件。保健专业人员可能能够在术前阶段、术中阶段和术后阶段中的一者或多者中使用医疗图像。
另外，在图4的实例中，可发生自动处理步骤(408)。在自动处理步骤期间，虚拟计划系统102(图1)可自动地为患者制定初步外科手术计划。在本公开的一些实例中，虚拟计划系统102可使用机器学习技术以基于患者的虚拟病例文件而制定初步外科手术计划。
图4的实例还包括手动校正步骤(410)。在手动校正步骤期间，一个或多个人类用户可检查并校正在自动处理步骤期间进行的确定。在本公开的一些实例中，一个或多个用户可在手动校正步骤期间使用混合现实或虚拟现实可视化装置。在一些实例中，在手动校正步骤期间进行的改变可用作训练数据以提升由虚拟计划系统102在自动处理步骤期间应用的机器学习技术。
在图4中，虚拟计划步骤(412)可跟在手动校正步骤之后发生。在虚拟计划步骤期间，保健专业人员可为患者制定外科手术计划。在本公开的一些实例中，一个或多个用户可在为患者制定外科手术计划期间使用混合现实或虚拟现实可视化装置。
另外，在图4的实例中，可产生术中引导(414)。术中引导可包括就如何执行外科手术计划方面对外科医生进行引导。在本公开的一些实例中，虚拟计划系统102可产生术中引导的至少一部分。在一些实例中，外科医生或其他用户可对术中引导做出贡献。
另外地，在图4的实例中，执行选择和制造外科手术项目步骤(416)。在选择和制造外科手术项目步骤期间，制造和交付系统106(图1)可制造外科手术项目以供在由外科手术计划描述的外科手术期间使用。例如，外科手术项目可包括外科手术植入物、外科手术工具和执行由外科手术计划描述的外科手术所需的其他项目。
在图4的实例中，可在来自术中系统108(图1)的引导下执行外科手术(418)。例如，外科医生可在佩戴术中系统108的向外科医生呈现引导信息的头戴式MR可视化装置时执行外科手术。引导信息可帮助引导外科医生完成外科手术，提供对外科手术工作流中的各种步骤的引导，包括步骤的顺序、各个步骤的细节和工具或植入物选择、植入物放置和定位、以及外科手术工作流中的各个步骤的骨骼表面准备。
术后患者监测(420)可在完成外科手术之后发生。在术后患者监测步骤期间，可监测患者的保健结果。保健结果可包括症状的缓解、运动范围、并发症、所植入的外科手术项目的性能等等。术前和术后监测系统112(图1)可协助术后患者监测步骤。
图4的医疗咨询、病例创建、术前患者监测、图像获取、自动处理、手动校正和虚拟计划步骤是图3的术前阶段302的一部分。在图4的引导步骤下进行外科手术是图3的术中阶段306的一部分。图4的术后患者监测步骤是图3的术后阶段308的一部分。
如上文所提及，骨科外科手术系统100的子系统中的一者或多者可包括一个或多个混合现实(MR)系统，诸如MR系统212(图2)。每个MR系统可包括可视化装置。例如，在图2的实例中，MR系统212包括可视化装置213。在一些实例中，除了包括可视化装置之外，MR系统还可包括支持可视化装置的操作的外部计算资源。例如，MR系统的可视化装置可通信地耦合到提供外部计算资源的计算装置(例如，个人计算机、背包计算机、智能手机等)。可选地，足够的计算资源可提供在可视化装置213之上或之内以执行可视化装置的必要功能。
图5是根据本公开的一个实例的用于诸如图2的MR系统212的MR系统中的可视化装置213的示意图。如图5的实例中所示，可视化装置213可包括存在于计算系统中的各种电子部件，包括可安装在框架518之上或之内的一个或多个处理器514(例如，微处理器或其他类型的处理单元)和存储器516。另外，在图5的实例中，可视化装置213可包括在由用户佩戴可视化装置213时定位在眼睛高度处的透明屏幕520。在一些实例中，屏幕520可包括一个或多个液晶显示器(LCD)、或佩戴或以其他方式使用可视化装置213的外科医生经由屏幕520可在上面感知图像的其他类型的显示屏幕。其他显示器实例包括有机发光二极管(OLED)显示器。在一些实例中，可视化装置213可操作来使用本领域中已知的技术将3D图像投射在用户的视网膜上。
在一些实例中，屏幕520可包括透视的全息透镜(有时被称为波导)，所述透视的全息透镜准许用户通过(例如，透过)透镜看到真实世界对象，并且还看到投射到透镜中而且通过显示器，诸如硅上液晶(LCoS)显示装置投射到用户的视网膜上的全息影像，所述显示器有时被称为光引擎或投影仪，作为可视化装置213内的全息投影系统538的实例操作。换句话说，可视化装置213可包括一个或多个透视的全息透镜以向用户呈现虚拟图像。因此，在一些实例中，可视化装置213可操作来经由例如由全息透镜形成的屏幕520将3D图像投射到用户的视网膜上。以此方式，可视化装置213可被配置为在通过屏幕520观察的真实世界视图内向用户呈现3D虚拟图像，例如使得虚拟图像看起来好像形成了真实世界环境的一部分。在一些实例中，可视化装置213可为可获自美国华盛顿雷德蒙德的MicrosoftCorporation的Microsoft HOLOLENSTM头戴式耳机，或者例如像包括波导的类似的MR可视化装置的类似装置。HOLOLENSTM装置可用于经由全息透镜或波导呈现3D虚拟对象，同时准许用户通过全息透镜查看真实世界场景中，即真实世界环境中的实际对象。
虽然图5的实例将可视化装置213示出为头部可佩戴装置，但是可视化装置213可具有其他形式和形状因数。例如，在一些实例中，可视化装置213可为手持式智能手机或平板计算机。
可视化装置213还可产生用户可见的用户界面(UI)522，例如产生为如上所述的投射到透视的全息透镜中的全息影像。例如，UI 522可包括允许用户与诸如图2的MR系统212的混合现实(MR)系统交互的各种可选择小工具524。由可视化装置213呈现的影像可包括例如一个或多个3D虚拟对象。在本公开中的其他位置描述了UI 522的实例的细节。可视化装置213还可包括可定位在与用户的耳朵相邻之处的扬声器或其他感官装置526。感官装置526可传达可听信息或其他可感知信息(例如，振动)以协助可视化装置213的用户。
可视化装置213还可包括收发器528以诸如经由有线通信协议或无线协议(例如，Wi-Fi、蓝牙等)将可视化装置213连接到处理装置510和/或网络208和/或计算云。可视化装置213还包括安装到框架518、安装在所述框架之上或之内的用于收集传感器数据的各种传感器，诸如一个或多个光学相机530(或其他光学传感器)以及一个或多个深度相机532(或其他深度传感器)。在一些实例中，一个或多个光学传感器530可操作来扫描MR系统212的用户所在的物理环境(例如，手术室)的几何形状，并且收集二维(2D)光学图像数据(黑白或彩色)。一个或多个深度传感器532可操作来诸如通过采用飞行时间、立体声或者用于确定深度并由此产生三维图像数据的其他已知的或将来开发的技术来提供3D图像数据。其他传感器可包括运动传感器533(例如，惯性质量单元(IMU)传感器、加速度计等)以协助跟踪移动。
MR系统212处理传感器数据，使得可界定用户的环境或“场景”中的几何、环境、纹理、或其他类型的界标(例如，角部、边缘、或其他线条、壁、地板、对象)，并且可检测场景内的移动。作为一个实例，各种类型的传感器数据可被组合或融合，使得可视化装置213的用户可感知可定位、或固定在场景内和/或在所述场景内移动的3D图像。当3D图像固定在场景中时，用户可在3D图像周围走动，从不同的视角查看3D图像，并且使用手部姿势、语音命令、注视线(或注视方向)和/或其他控制输入来操纵场景内的3D图像。作为另一个实例，传感器数据可被处理，使得用户可将3D虚拟对象(例如，骨骼模型)定位在场景中的被观察物理对象(例如，表面、患者的真实骨骼等)上，和/或相对于场景中显示的其他虚拟图像对3D虚拟对象进行定向。在一些实例中，传感器数据可被处理，使得用户可将外科手术计划的虚拟表示(或其他小工具、图像或信息)定位并固定到诸如手术室的墙壁的表面上。更进一步地，在一些实例中，传感器数据可用于辨别外科手术器械以及这些器械的定位和/或位置。
可视化装置213可包括例如在可视化装置的框架518内的一个或多个处理器514和存储器516。在一些实例中，作为对一个或多个框架内处理器514和存储器516的取代或补充，一个或多个外部计算资源536处理并存储信息，诸如传感器数据。以此方式，数据处理和存储可由可视化装置213内的一个或多个处理器514和存储器516执行，和/或可对可视化装置213减轻一些处理和存储需求。因此，在一些实例中，控制可视化装置213的操作的一个或多个处理器可在可视化装置213内，例如作为一个或多个处理器514。可选地，在一些实例中，控制可视化装置213的操作的处理器中的至少一者可在可视化装置213的外部，例如作为一个或多个处理器210。同样，可视化装置213的操作在一些实例中可部分地通过可视化装置内的一个或多个处理器514以及在可视化装置213的外部的一个或多个处理器210的组合来控制。
例如，在一些实例中，当可视化装置213处于图2的背景中时，传感器数据的处理可由一个或多个处理装置210结合一个或多个存储器或存储装置(M)215来执行。在一些实例中，安装到框架518的一个或多个处理器514和存储器516可提供足够的计算资源来处理由相机530、532和运动传感器533收集的传感器数据。在一些实例中，传感器数据可使用即时定位与地图构建(SLAM)算法、或用于处理和绘制2D和3D图像数据并跟踪可视化装置213在3D场景中的位置的其他已知的或将来开发的算法来处理。在一些实例中，图像跟踪可使用由Microsoft HOLOLENSTM系统提供的传感器处理和跟踪功能来执行，例如由基本上符合Microsoft HOLOLENSTM装置的可视化装置213或类似的混合现实(MR)可视化装置内的一个或多个传感器和处理器514来执行。
在一些实例中，MR系统212还可包括一个或多个用户操作的控制装置534，所述一个或多个用户操作的控制装置534允许用户操作MR系统212，以旁观者模式使用MR系统212(作为主导者或观察者)，与UI 522交互和/或另外向一个或多个处理装置210或连接到网络208的其他系统提供命令或请求。作为实例，一个或多个控制装置534可包括传声器、触控板、控制面板、运动传感器或用户可与之交互的其他类型的控制输入装置。
图6是示出用于MR系统中的可视化装置213的示例部件的框图。在图6的实例中，可视化装置213包括处理器514、电源600、一个或多个显示装置602、扬声器604、一个或多个传声器606、一个或多个输入装置608、一个或多个输出装置610、一个或多个存储装置612、一个或多个传感器614以及通信装置616。在图6的实例中，一个或多个传感器616可包括一个或多个深度传感器532、一个或多个光学传感器530、一个或多个运动传感器533以及一个或多个取向传感器618。一个或多个光学传感器530可包括相机，诸如红绿蓝(RGB)摄像机、红外相机、或从光形成图像的其他类型的传感器。一个或多个显示装置602可显示影像以向用户呈现用户界面。
在一些实例中，扬声器604可形成图5所示的感官装置526的一部分。在一些实例中，显示装置602可包括图5所示的屏幕520。例如，如参考图5所讨论，一个或多个显示装置602可包括透视的全息透镜，所述透视的全息透镜结合投影仪准许用户通过透镜看到真实世界环境中的真实世界对象，并且还看到投射到透镜中而且例如通过全息投影系统投射到用户的视网膜上的虚拟3D全息影像。在此实例中，虚拟3D全息对象可能看起来好像放置在真实世界环境内。在一些实例中，显示装置602包括一个或多个显示屏幕，诸如LCD显示屏幕、OLED显示屏幕等等。用户界面可呈现特定患者的虚拟外科手术计划的细节的虚拟图像。
在一些实例中，用户可以各种方式与可视化装置213交互并且控制所述可视化装置。例如，传声器606和相关联的语音辨别处理电路或软件可辨别由用户说出的语音命令，并且作为响应，执行各种操作中的任一者，诸如与外科手术计划相关联的各种功能的选择、激活或停用，术中引导等等。作为另一个实例，传感器614的一个或多个相机或其他光学传感器530可检测并解释姿势以执行如上所述的操作。作为另一实例，传感器614可感测注视方向并且执行如本公开中其他位置所描述的各种操作。在一些实例中，输入装置608可例如经由手持控制器接收来自用户的手动输入，所述手持控制器包括一个或多个按钮、小键盘、触摸屏、操纵杆、轨迹球和/或其他手动输入媒介，并且响应于手动用户输入，执行如上所述的各种操作。
如上文所讨论，外科手术生命周期300可包括术前阶段302(图3)。一个或多个用户可在术前阶段302中使用骨科外科手术系统100。例如，骨科外科手术系统100可包括虚拟计划系统102以帮助一个或多个用户产生可能针对特定患者的目标解剖结构定制的虚拟外科手术计划。如本文所描述，虚拟外科手术计划可包括对应于特定患者的目标解剖结构的三维虚拟模型、以及用于修复目标解剖结构或被选择来修复目标解剖结构的匹配到特定患者的一个或多个假体部件的三维模型。虚拟外科手术计划还可包括用于引导外科医生执行外科手术，例如准备骨骼表面或组织并且相对于此类骨骼表面或组织放置可植入假体硬件的引导信息的三维虚拟模型。
图7是示出一组用户在术前阶段302期间使用骨科外科手术系统100的MR系统的示例设置的概念图。在图7的实例中，外科医生可使用(例如，佩戴)第一MR系统700A(例如，MR系统212)的可视化装置(例如，可视化装置213)。MR系统700A的可视化装置可在术前阶段302期间向外科医生呈现MR术前计划内容702。如本公开中其他位置详细地描述的，MR术前计划内容702可帮助外科医生计划外科手术。
另外，在图7的实例中，一个或多个其他用户可使用骨科外科手术系统100的MR系统的可视化装置来查看MR术前计划内容702。例如，患者可在术前阶段302期间使用第二MR系统700B的可视化装置。MR系统700B的可视化装置可向患者呈现MR术前计划内容702。例如，如本公开中其他位置详细地描述的，MR术前计划内容702可包括将使用MR呈现来帮助患者理解患者的当前疾患和将对患者执行的外科手术中的一者或多者的虚拟3D模型信息。
在图7的实例中，护士或其他保健专业人员可在术前阶段302期间使用第三MR系统700C的可视化装置。MR系统700C的可视化装置可向护士或其他保健专业人员呈现MR术前计划内容702。例如，在一个实例中，MR术前计划内容702可帮助护士在进行外科手术之前理解所述外科手术。
另外，在图7的实例中，第二外科医生可使用第四MR系统700D的可视化装置。MR系统700D的可视化装置可向第二外科医生呈现MR术前计划内容702。这可允许外科医生协作来制定并查阅患者的外科手术计划。例如，外科医生可在相同或不同的时间查看并操纵相同的术前计划内容702。MR系统700A、700B、700C和700D在本文可被统称为“MR系统700”。
因此，如以上实例中所描述，上文描述的个人(例如，第一外科医生、患者、护士和第二外科医生)中的两者或更多者可同时查看相同或不同的MR术前计划内容702。在个人中的两者或更多者同时查看相同的MR术前计划内容702的实例中，两个或更多个个人可从相同或不同的视角同时查看相同的MR术前引导内容702。此外，在一些实例中，上文描述的个人中的两者或更多者可在不同的时间查看相同或不同的MR术前计划内容702。术前计划内容702可包括外科手术计划的信息模型、表示诸如骨骼和/或组织的患者解剖结构的虚拟3D模型信息单独或者与表示外科手术步骤和/或植入物放置和定位的虚拟3D模型信息的组合。术前计划内容702的实例可包括用于肩关节置换术的外科手术计划，表示肩胛骨和/或关节盂骨骼、或表示肱骨骨骼的虚拟3D模型信息与将应用于骨骼的器械或将定位在骨骼之上或之中的植入物的虚拟3D模型信息。在一些实例中，多个用户可能能够改变并操纵术前计划内容702。
图8是示出外科手术生命周期300的术前阶段302中的示例步骤的流程图。在其他实例中，术前阶段302可包括更多、更少或不同的步骤。此外，在其他实例中，图8的步骤中的一者或多者可以不同的次序执行。在一些实例中，步骤中的一者或多者可在诸如虚拟计划系统102(图1)或202(图2)的外科手术计划系统内自动地执行。
在图8的实例中，产生目标区的模型(800)。例如，可执行对目标区的扫描(例如，CT扫描、MRI扫描、或其他类型的扫描)。例如，如果目标区是患者的肩部，则可执行对患者的肩部的扫描。另外，可对目标区中的病理进行分类(802)。在一些实例中，目标区的病理可基于对目标区的扫描而分类。例如，如果目标区是用户的肩部，则外科医生可基于对患者的肩部的扫描而确定患者的肩部出现了什么问题，并且提供指示分类或诊断的肩部分类，例如像原发性盂肱骨性关节炎(PGHOA)、肩袖撕裂性关节病(RCTA)不稳定、巨大肩袖撕裂(MRCT)、类风湿性关节炎、创伤后关节炎以及骨关节炎。
另外地，可基于病理而选择外科手术计划(804)。外科手术计划是处理病理的计划。例如，在目标区是患者的肩部的实例中，外科手术计划可选自解剖肩关节置换术、反向肩关节置换术、创伤后肩关节置换术、或对先前肩关节置换术的修正。然后可相对于患者调节外科手术计划(806)。例如，调节外科手术计划可涉及对执行所选外科手术计划所需的外科手术项目进行选择和/或设定大小。另外地，可相对于患者调节外科手术计划以便解决特定于患者的难题，诸如存在骨赘。如本公开中其他位置详细地描述的，一个或多个用户可使用骨科外科手术系统100的混合现实系统来相对于患者调节外科手术计划。
然后可查阅外科手术计划(808)。例如，咨询外科医生可在执行外科手术计划之前查阅外科手术计划。如本公开中其他位置详细地描述的，一个或多个用户可使用骨科外科手术系统100的混合现实(MR)系统来查阅外科手术计划。在一些实例中，外科医生可使用MR系统通过与UI和显示元素交互来修改外科手术计划，例如以选择不同的手术，改变植入物的大小设定、形状或定位，或改变骨骼表面的切割或扩孔的角度、深度或量以适应植入物。
另外地，在图8的实例中，可请求执行外科手术计划所需的外科手术项目(810)。
如本公开的以下部分中所描述，骨科外科手术系统100可协助各种用户执行图8的术前步骤中的一者或多者。
图9示出了根据本公开的一个实例的用于选择外科手术病例的示例欢迎页面。可由MR可视化装置213向用户呈现的欢迎页面显示菜单904，所述菜单904允许用户滚动浏览并且选择特定患者的外科手术计划，所述特定患者的外科手术计划存储在系统200(图2)中的存储系统206上并从中检索，或存储在MR可视化装置213(图2)的存储器或存储装置215中并在其中检索。
图10示出了根据本公开的一个实例的例如针对从图9的欢迎页面选择的特定患者的外科手术计划产生的混合现实系统的用户界面的页面的实例。使用可视化装置213，用户可感知UI 522并且与之交互。在图10所示的实例中，UI 522包括具有可选择按钮1002的工作流栏1000，所述可选择按钮1002表示外科手术工作流，从而跨越针对肩关节置换术手术中关于肱骨和关节盂的操作的各种外科手术步骤。对按钮1002的选择可能会导致显示各种可选择小工具，用户可与所述可选择小工具交互，诸如通过使用手部姿势、语音命令、注视方向、所连接的镜头和/或其他控制输入来进行。对小工具的选择可启动MR系统212的各种操作模式，显示由MR系统212产生的信息或图像，允许用户进一步控制和/或操纵信息和图像，产生另外的可选择菜单或小工具等。
用户还可根据用户的偏好通过对显示的小工具中的任一者进行操纵、移动和定向，诸如通过可视化装置213或检测注视方向、手部姿势和/或语音命令的其他装置来组织或定制UI 522。另外，向用户显示的小工具的位置可相对于场景进行固定。因此，在用户的目光(即，眼睛方向)移动来查看用户界面522的其他特征、其他虚拟图像和/或场景中物理地存在的真实对象(例如，患者、器械包等)时，小工具可保持静止并且不干扰用户对其他特征和对象的查看。作为又另一个实例，用户可控制小工具或者任何其他显示图像或信息的不透明度或透明度。用户还可在工作流栏1000上的按钮1002之间在任何方向上导航，并且可在使用MR系统212期间的任何时间选择任何按钮1002。对小工具、信息、图像或其他显示特征的选择和操纵可基于可视化装置213或检测用户注视方向、手部运动、语音命令或其任何组合的其他装置而实现。
在图10的实例中，UI 522被配置为用于肩部修复手术中，并且作为实例包括工作流栏1000上的对应于“欢迎”页面、“计划”页面、“移植”页面、“肱骨切割”页面、“安装引导件”页面、“关节盂扩孔”页面以及“关节盂植入”页面的按钮1002。“安装引导件”页面的呈现可能是任选的，因为在一些实例中，关节盂扩孔可使用虚拟引导并在不应用关节盂引导的情况下完成。
如图10所示，“计划”页面在UI 522的这个实例中显示对应于所选外科手术计划的各种信息和图像，包括对应于所选计划(包括术前和术后信息)的外科手术计划文件(例如，pdf文件或其他适当的媒体格式)的图像1006；3D虚拟骨骼模型1008和3D虚拟植入物模型1010，以及用于操纵3D虚拟模型1008、1010(它们可被称为3D图像)的3D图像导航栏1012；用于查看与所选外科手术计划相关联的多平面视图的查看器1014和查看器导航栏1016。MR系统212可在术前阶段302(图3)期间将“计划”页面作为虚拟MR对象呈现给用户。例如，MR系统212可向用户呈现“计划”页面，以帮助用户如图8的步骤802、804、806和808中所描述对病理进行分类，选择外科手术计划，相对于患者调节外科手术计划，修正外科手术计划并且查阅外科手术计划。
外科手术计划图像1006可为存储在存储系统206中的数据库中的术前(以及任选地术后)患者信息和患者的外科手术计划的编译。在一些实例中，外科手术计划图像1006可对应于用户可浏览的多页面文件。例如，页面的其他图像可显示患者信息、关于目标解剖结构的信息、术后测量值以及目标解剖结构的各种2D图像。作为实例，再一些其他页面图像可包括与针对患者选择的植入物相关联的计划信息，诸如解剖结构测量值以及植入物大小、类型和尺寸；目标解剖结构的平面图像；示出针对患者选择来协助执行外科手术计划的外科手术引导件的定位和取向的3D模型的图像等。
应理解，外科手术计划图像1006可以任何合适的格式和布置显示，并且本文描述的系统和技术的其他实现方式可包括不同的信息，这取决于使用计划图像1006的应用的需求。
再次参考图10，UI 522的计划页面还可提供3D虚拟骨骼模型1008和植入物部件的3D模型1010，以及用于操纵3D虚拟模型1008、1010的导航栏1012的图像。例如，对导航栏1012上的图标的选择或取消选择允许用户选择性地查看具有或不具有各种植入物部件1010的3D虚拟骨骼模型1008的不同部分。例如，已对虚拟骨骼模型1008的肩胛骨和植入物模型1010的关节盂植入物取消选择，从而仅使得肱骨骨骼和股骨植入物部件可见。其他图标可允许用户放大或缩小，并且用户还可例如使用注视方向、手部姿势和/或语音命令来旋转3D虚拟模型1008、1010并且对所述虚拟模型重新定向。
UI 522的计划页面还提供3D虚拟骨骼模型1008和植入物部件的3D模型1010，以及用于操纵3D虚拟模型1008、1010的导航栏1012的图像。例如，如图12所示，对导航栏1012上的图标1218(图12)的选择或取消选择允许用户选择性地查看具有或不具有各种植入物部件1010的3D虚拟骨骼模型1008的不同部分。在此实例中，已对虚拟骨骼模型1008的肩胛骨和植入物模型1010的关节盂植入物取消选择，从而仅使得肱骨骨骼和股骨植入物部件可见。图标1220(图12)允许用户放大或缩小，并且用户还可使用注视方向、手部姿势和/或语音命令来旋转3D虚拟模型1008、1010并且对所述虚拟模型重新定向。
在图11A的实例中，对“计划”页面的导航栏1012上的运动范围图标1102的选择启动运动范围模式，其中用户可通过模拟根据患者的术前外科手术计划植入有假体植入物的解剖结构的各种不同的运动来测试或确认对植入物部件1010的选择、放置和/或定位。在此实例中，通过使用注视方向、由运动传感器或其他控制装置检测的手部运动和/或语音命令，用户可选择解剖结构运动，诸如内收、外展、内部/外部旋转、抬高、屈曲和伸展或诸如对应于日常功能任务的移动的任何其他关节移动模拟。在图11A的实例中，运动范围菜单1104包括对应于不同类型的运动的可选择元素。
响应于接收到用于选择移动(即，“内收”、“外展”、“内部旋转0度”、“外部旋转0度”、“伸展”和“屈曲”)中的一者的用户输入的指示，MR系统212可呈现3D虚拟模型1008的展现出所选移动类型的MR动画。例如，如果用户选择外展，则MR系统212可呈现3D虚拟模型1008的肱骨相对于3D虚拟模型1008的肩胛骨垂直地旋转的动画。另外，在图11A的实例中，运动范围菜单1104包括“播放全部运动”元素1125。响应于接收到用于选择元素1125的用户输入的指示，MR系统212可呈现3D虚拟模型1008的肱骨以运动范围菜单1104中列出的移动类型中的每一者移动的动画。
运动范围菜单1104还列出了针对运动类型中的每一者的撞击角度。在图11A的实例中，针对某种运动类型的撞击角度是在执行所述运动类型时发生骨撞击所处的角度。当骨骼接触另一个骨骼时，或者当移动的植入的外科手术部件(例如，连接到肱骨的杯状构件、距骨植入物、胫骨植入物等)接触骨骼时会发生骨撞击。骨撞击可能会引起疼痛并且可能会对骨骼造成磨损。由于骨撞击代表两个硬质表面之间的接触，因此骨撞击还代表对运动范围的理论限制。在图11A的实例中，撞击角度表示针对包括植入物部件的给定的虚拟外科手术计划，以及由虚拟外科手术计划指定的部件大小、位置和角度确定的角度。
使用MR系统212对模拟的运动范围实现的可视化可帮助外科医生确认外科手术计划，或者可引导外科医生来更新或修改术前外科手术计划。例如，在图11A中，用户已在运动范围菜单1104上选择内收按钮。在MR可视化中由可视化装置213(例如，以红色)突出显示了在内收模拟期间在肩胛骨与股骨安装的杯状部件之间的碰撞1106。在另一个实例中，可在MR可视化中由可视化装置213突出显示在距骨骨骼与胫骨植入物之间，或在距骨植入物与胫骨之间的碰撞。为了进一步帮助用户，MR系统212可旋转3D模型，绕3D模型一周转动，隐藏或示出3D模型的部分，或执行观察3D模型的其他动作。
如果在患者的正常运动范围内在某一角度处发生骨撞击(即，碰撞)，则这可向外科医生指示可能需要改变外科手术计划的某些参数(例如，植入物部件的大小、类型、位置或取向)。然而，如果在患者的正常运动范围之外在某一角度处发生这种碰撞，则可能不需要外科医生改变外科手术计划的参数。而是，患者的其他组织可能会在碰撞发生之前阻止运动。例如，在图11A的实例中，患者的侧板(side)或附接到肱骨的肌腱可能会阻止碰撞1106真正发生。然而，外展的正常运动范围是180°，而菜单1104指示骨撞击可能会在60°的角度处发生。因此，在图11A所示的外科手术计划的当前参数下，患者甚至不能够将其手臂抬高到水平位置。本公开可使用术语“过早碰撞”来指代发生在正常运动范围内的骨撞击。
将诸如碰撞1106的碰撞示出为运动范围的MR动画呈现的一部分可帮助外科医生理解如何改变外科手术计划的某些参数。例如，在肱骨与肩峰或喙突之间的骨撞击可能会限制患者在外展期间的运动范围。因此，在此实例中，外科医生可能能够因为看到在外展期间在患者的肱骨与肩峰之间发生了过早骨碰撞，但是在外展期间在患者的肱骨与喙突之间未发生碰撞而确定球形部件应向后偏移。然而，如果在肱骨与肩峰和喙突两者之间都存在过早骨碰撞，则外科医生可确定需要不同大小的球形部件或楔形件。使得外科医生能够看到、旋转3D虚拟骨骼模型和3D虚拟植入物模型、在所述模型周围走动或以其他方式与所述模型交互可帮助外科医生进行这种确定。
图11B是示出根据本公开的技术的用于协助外科手术参数选择的示例操作的流程图。因此，根据本公开的技术，诸如MR系统212或术前外科手术计划系统202(图2)的计算系统可基于患者的医疗图像而产生患者的关节的三维(3D)虚拟模型(1108)。关节可为各种类型的关节，诸如肩关节、脚踝、膝盖、肘部或腕部。
另外地，计算系统还可基于一组外科手术参数而产生关节的3D虚拟植入物模型(1110)。在关节是肩关节的实例中，3D虚拟植入物模型可包括如图11A所示的球形部件、杯状部件和肱骨柄部件。其他关节或关于肩关节的其他外科手术的虚拟植入物模型可包括不同的部件。所述一组外科手术参数可指示用于关节的植入物的一个或多个部件中的部件的大小、形状、位置或其他方面。产生3D虚拟植入物模型可包括选择并布置虚拟对象，所述虚拟对象对应于植入物的具有由所述一组外科手术参数指示的大小的部件。
另外地，计算系统可基于3D虚拟骨骼模型和3D虚拟植入物模型而确定多个撞击角度(1112)。多个撞击角度的每个相应的撞击角度对应于关节的多种运动类型中的不同的运动类型。对于多个撞击角度的每个相应的撞击角度，相应的撞击角度指示在对应于相应的撞击角度的运动类型期间发生骨撞击所处的角度。在一些实例中，计算系统可通过移动3D虚拟骨骼模型和3D虚拟植入物模型的部件并检测在3D虚拟骨骼模型和3D虚拟植入物模型中的虚拟对象之间的碰撞发生在何处来确定撞击角度。在关节是肩关节的实例中，运动类型可包括内收、外展、内部旋转、外部旋转、伸展以及屈曲。在关节是脚踝关节的实例中，运动类型可包括跖曲和背屈。
诸如可视化装置213(图2)的MR可视化装置可呈现MR可视化，所述MR可视化包括3D虚拟骨骼模型、3D虚拟植入物模型以及指示多个撞击角度的视觉元素(1114)。图11A示出了这种MR可视化的实例。MR可视化装置可在外科手术生命周期期间的各个时间呈现MR可视化。例如，MR可视化装置可在术前阶段302(图3)、术中阶段306或术后阶段308期间呈现MR可视化。因此，外科医生或其他用户可在计划外科手术时查看MR运动范围可视化，例如在外科手术过程中作为虚拟模型，例如单独作为虚拟模型，或者结合对实际患者解剖结构的查看和虚拟术中引导元素的呈现来查看，或者在完成外科手术之后，例如作为虚拟模型来查看。
另外，MR可视化装置可在MR可视化中视觉地指示3D虚拟骨骼模型和3D虚拟植入物模型的两个或更多个部件发生碰撞(1116)，例如产生撞击1106的一个或多个点。在一些实例中，MR可视化装置可通过在MR可视化中在一个或多个点的区中呈现一个或多个撞击标识符来指示碰撞点。撞击标识符可包括发光区、箭头、突出显示区、颜色、闪烁元素、几何形状、轮廓线或可用于视觉地指示碰撞点的其他类型的指示符。
在一些实例中，MR可视化装置可呈现3D虚拟骨骼模型和3D虚拟植入物模型根据多种运动类型中的某种运动类型移动的动画。在一些实例中，MR可视化装置可呈现3D虚拟骨骼模型和3D虚拟植入物模型根据多种运动类型中的每种运动类型移动的动画。在任一个实例中，MR可视化装置可响应于接收到诸如选择对应于菜单1104中的某种运动类型的元素的手部姿势、或语音命令的用户输入的指示而呈现动画。例如，相对于图11A，MR可视化装置可响应于接收到用于选择菜单1104的内收元素、菜单1104的外展元素或菜单1104的“播放全部运动”元素的用户输入的指示而呈现肱骨根据外展/内收运动类型相对于肩胛骨移动的动画。在MR可视化装置呈现动画的实例中，MR可视化装置可在动画期间视觉地指示3D虚拟骨骼模型和3D虚拟植入物模型的两个或更多个部件发生碰撞的一个或多个点。另外，在一些实例中，MR可视化装置可在3D虚拟骨骼模型和3D虚拟植入物模型的两个或更多个部件发生碰撞的动画期间产生可听通知或触觉通知。例如，MR可视化装置的扬声器可在动画显示发生碰撞的画面时输出可听通知(例如，输出为哔哔声或咔哒声)。MR可视化装置的振动单元可在动画显示发生碰撞的画面时产生作为振动的触觉通知。
如本公开中其他位置所讨论，用户可使用MR可视化中关于撞击角度和碰撞点的信息来确定是否对外科手术参数进行调整。
返回到图10的实例，由可视化装置213呈现的计划页面还包括多平面图像查看器1014(例如，DICOM查看器)和导航栏1016，所述多平面图像查看器1014和导航栏1016允许用户查看患者图像数据并且在所显示的切片和取向之间切换。例如，用户可选择导航栏1016上的2D平面图标1026，使得用户可在多平面图像查看器1014中查看患者的身体的2D矢状平面和冠状平面。
图10中的工作流栏1000包括对应于特定骨科手术(此处为肩部修复手术)的外科手术工作流中的步骤的其他页面。在图10的实例中，工作流栏1000包括对应于肩部修复手术的外科手术工作流中的步骤的工作流页面的标记为“移植”、“肱骨切割”、“安装引导件”、“关节盂扩孔”以及“关节盂植入”的元素。一般而言，这些工作流页面包括在计划外科手术期间，或在执行所述外科手术期间可供保健专业人员使用的信息，并且在选择这些页面时呈现的信息以意图最小化手术期间对外科医生的干扰或扰乱的方式进行选择和组织。因此，所显示的信息的量被优化并且所显示的信息的效用被最大化。这些工作流页面可用作术中阶段306(图3)的一部分来引导外科医生、护士或其他医疗技术人员完成外科手术中的步骤。在一些实例中，这些工作流页面可用作术前阶段302(图3)的一部分以使得用户能够看到外科手术工作流的各个步骤中涉及的对象的三维模型。
在所示的实例中，可供用户(例如，外科医生)选择的每个工作流页面可包括增强外科手术小工具，诸如增强外科手术小工具1300(示出于图13中)，所述增强外科手术小工具在被选择时启动MR系统212的操作模式，其中使用(例如，佩戴)可视化装置213(图2)的用户可看到投射并匹配到患者骨骼上的外科手术计划的细节(例如，细节的虚拟图像)，并且在术中使用计划来协助外科手术。一般而言，如下文将进一步详细地解释的，增强外科手术模式允许外科医生将患者的目标解剖结构(例如，关节盂)的虚拟3D模型与被观察的真实解剖结构配准，使得外科医生可使用虚拟外科手术计划来协助实现真实的外科手术。对于外科手术的步骤中的每一者，可能存在外科医生在实际外科手术期间使用的不同的增强外科手术小工具。用于不同的步骤的增强外科手术小工具可包括不同的文本、控件、图标、图形等。
在肩部修复手术的这个实例中且参考图10，可供外科医生使用的UI 522的工作流页面包括“移植”、“肱骨切割”、“安装引导件”、“关节盂扩孔”以及“关节盂植入”。“移植”步骤和“安装引导件”步骤可为任选的。例如，可能没有必要在每个手术中都采用移植物，并且如果由可视化装置213向用户呈现MR扩孔轴引导，则关节盂扩孔引导件的使用可能是不必要的。用户可在术前阶段302期间、在术中阶段306期间或在其他时间查看工作流页面。外科医生在术前阶段302期间查看工作流页面可能是有帮助的，以便相对于患者调节外科手术计划，查阅外科手术计划的步骤，或执行其他任务。外科医生在术中阶段306中查看工作流页面可能是有帮助的，以对外科医生更新对应的外科手术步骤中涉及的患者的解剖结构，获得关于在对应的外科手术步骤期间如何执行某些动作的信息，清点外科手术步骤中所需的外科手术器械、植入物或其他外科手术项目等等。如所提及，工作流页面中的每一者通常对应于特定外科手术的工作流中的步骤。因此，例如，移植页面允许用户看到针对特定患者匹配的骨骼移植物1402(图14)，并且向用户提供用于选择、设计和/或修改骨骼移植物1402的形状和尺寸(如需要的话)的足够的信息。作为一个实例，骨骼移植物1402可为取自肱骨或另一个骨骼的骨骼移植物。
作为另一个实例，参考图15A，肱骨切割页面向用户呈现肱骨的3D模型1504和肱骨植入物部件的3D模型1506、以及在肱骨头上的切割平面1508，例如以应用诸如旋转或往复锯的切割工具来移除肱骨头的一部分。响应于在此页面上对菜单1510上的其他项的选择，作为实例，可视化装置213可将肱骨植入物部件的3D模型1506从所呈现的影像中移除，并且提供在切割前后的肱骨头的图像。
图15B至图15D是根据本公开的一个实例的图15A的肱骨切割页面中的隐藏虚拟对象的实例。如上文所提及，图15A的菜单1510使得用户能够选择性地添加或移除患者的肱骨的部件的3D模型和植入物部件的3D模型1506。例如，在图15B至图15D的实例中，用户已移除植入物部件的3D模型1506。在图15B中，用户已选择查看肱骨和肱骨头。在图15C中，用户已选择查看肱骨，而不是肱骨头。在图15D中，用户已选择查看肱骨头，而不是肱骨。在此实例中，不具有肱骨头的肱骨的呈现可被选择来示出肱骨切割平面以根据虚拟外科手术计划移除肱骨头的部分，例如以准许在外科手术的过程中将诸如肱骨球或板部件的植入物部件放置在肱骨上。
作为另一个实例(未示出)，可由可视化装置213在菜单页面上呈现骨赘项目以供选择。当被选择时，激活骨赘评定特征，其中可在由可视化装置213呈现给用户的MR可视化中标识骨赘、将所述骨赘投射、突出显示或隐藏在患者骨骼上。
参考图16，安装引导件页面允许用户看到在患者的关节盂1602上的患者特定或患者匹配的引导件1600的物理位置，例如以引导钻机将扩孔引导销放置在关节盂骨骼中，以便协助在实际外科手术期间高效且正确地放置引导件1600。对菜单1604上的项目的选择可例如通过语音命令、注视方向和/或手部姿势选择来从3D图像中移除特征，或者添加外科手术计划的诸如扩孔轴1606的其他参数。在可视化装置213呈现虚拟扩孔轴或其他虚拟引导，而不是物理引导件，以引导钻机将扩孔引导销放置在关节盂骨骼中的手术中，引导件1600的放置可能是不必要的。由可视化装置213呈现的虚拟引导或其他虚拟对象可包括例如一个或多个3D虚拟对象。在一些实例中，虚拟引导可包括2D虚拟对象。在一些实例中，虚拟引导可包括3D和2D虚拟对象的组合。
参考图17，关节盂植入页面允许用户看到关节盂植入物1700和骨骼移植物1402在关节盂1602上的取向和放置。
应理解，本文示出和描述的工作流页面是实例，并且UI 522可包括更少、更多或不同的页面。例如，在MR系统212用于涉及诸如脚踝、脚、膝盖、臀部或肘部的其他患者解剖结构的手术的应用中，UI 522可包括对应于特定于这些手术的外科手术工作流的特定步骤的页面。
在MR系统212的UI 522上显示的图像可在外科手术环境之外或之内查看，并且在旁观者模式中可由在手术环境之外和之内的多个用户同时查看。在一些情况下，诸如在手术环境中，外科医生可能发现有用的是，使用控制装置534来指引可视化装置213，使得作为一个实例，某些信息可能在手术室的墙壁或其他表面上锁定到适当的位置，使得信息不会阻碍外科医生在手术期间的视野。例如，外科手术计划的相关外科手术步骤可选择性地显示并且由外科医生或其他护理提供者使用来引导外科手术。
在一些不同的实例中，外科手术步骤的显示可被自动地控制，使得在外科手术期间，在适当的时间仅显示相关步骤。
如上文所讨论，外科手术生命周期300可包括执行外科手术的术中阶段306。一个或多个用户可在术中阶段306中使用骨科外科手术系统100。
图18是示出一组一个或多个用户在术中阶段306期间使用骨科外科手术系统100的MR系统的示例设置的概念图。在图18的实例中，外科医生可佩戴第一MR系统1800A(例如，MR系统212)的可视化装置(例如，可视化装置213)。MR系统1800A的可视化装置可在术中阶段306期间向外科医生呈现MR术中引导内容1802。如本公开中其他位置详细地描述的，MR术中引导内容1802可帮助外科医生执行外科手术。
另外地，在图18的实例中，一个或多个其他用户可使用骨科外科手术系统100的MR系统的可视化装置来查看MR术中引导内容1802。例如，护士可使用骨科外科手术系统100的MR系统1800B的可视化装置。另外，在图18的实例中，技术人员可使用骨科外科手术系统100的MR系统1800C的可视化装置。在图18的实例中，第二外科医生可使用骨科外科手术系统100的MR系统1800D的可视化装置。MR系统1800A、1800B、1800C和1800D在本文可被统称为“MR系统1800”。在一些实例中，电视机或其他显示装置可向诸如护士、外科医生或技术人员的一个或多个其他个人呈现外科医生的可包括虚拟对象的视图。
上文描述的个人(例如，第一外科医生、护士、技术人员、第二外科医生)中的两者或更多者可同时查看相同或不同的MR术中引导内容1802。在个人中的两者或更多者同时查看相同的MR术中引导内容1802的实例中，两个或更多个个人可从相同或不同的视角同时查看相同的MR术中引导内容1802。
一个或多个用户可在术中背景中使用骨科外科手术系统100。例如，用户可操纵由MR系统1800呈现的用户界面，使得用户可在术中查看虚拟外科手术计划。例如，在此实例中，用户可查看目标解剖结构的3D虚拟模型(例如，目标解剖结构的三维虚拟骨骼模型)。
在一些实例中，包括至少一个外科医生的一个或多个用户可在术中背景中使用骨科外科手术系统100以执行肩部外科手术。图19是示出肩关节修复外科手术的示例阶段的流程图。如上文所讨论，图19描述了用于肩部外科手术的示例外科手术过程。外科医生可在图10的外科手术过程的每个步骤期间佩戴或以其他方式使用可视化装置213。在其他实例中，肩部外科手术可包括更多、更少或不同的步骤。例如，肩部外科手术可包括用于添加骨骼移植物、添加粘固剂的步骤和/或其他步骤。在一些实例中，可视化装置213可呈现虚拟引导来引导外科医生、护士或其他用户完成外科手术工作流中的步骤。
在图19的实例中，外科医生执行切开过程(1900)。在切开过程期间，外科医生切出一系列切口以暴露患者的肩关节。在一些实例中，MR系统(例如，MR系统212、MR系统1800A等)可例如通过显示示出如何、在何处切出切口的虚拟引导影像来帮助外科医生执行切开过程。
另外，在图19的实例中，外科医生可执行肱骨切割过程(1902)。在肱骨切割过程期间，外科医生可移除患者的肱骨的肱骨头的一部分。移除肱骨头的部分可允许外科医生触及患者的关节盂。另外地，移除肱骨头的部分可允许外科医生随后用肱骨植入物置换肱骨头的部分，所述肱骨植入物与外科医生计划植入患者的关节盂中的关节盂植入物相容。
如上文所讨论，肱骨准备过程可使得外科医生能够触及患者的关节盂。在图19的实例中，在执行肱骨准备过程之后，外科医生可在由可视化装置213呈现给外科医生的视场中执行配准过程，所述配准过程将虚拟关节盂对象与患者的实际关节盂骨骼配准(1904)。
图20A示出了用于将3D虚拟骨骼模型1008与患者的真实的被观察骨骼结构2200配准的技术2000的实例。换句话说，图20A是例如由可视化装置213执行的用于将虚拟骨骼模型与被观察骨骼配准的在诸如图2的混合现实系统212的混合现实系统中实现的过程流的实例。下文描述的图20B示出了用于使用物理配准标记将3D虚拟骨骼模型1008与骨骼结构2200配准的另一种技术2018。
进一步参考图20A，3D虚拟骨骼模型1008可为一个或多个骨骼的全部或部分的模型。图20A的过程流可作为图19的步骤1904的配准过程的一部分执行。配准过程可以两个步骤实施：初始化和优化(例如，最小化)。在初始化期间，MR系统212的用户结合以下项一起使用可视化装置213：来源于术前虚拟计划系统102的信息、用户的头部的取向(其提供对用户的眼睛的方向(被称为“目光”或“注视线”)的指示)、用户的头部在多个方向上的旋转、由传感器530、532和/或533(或其他探测传感器)收集的传感器数据、和/或视觉地实现3D虚拟骨骼模型1008与被观察骨骼结构2200的近似对准的语音命令和/或手部姿势。更特别地，在框2002处，在使用虚拟计划系统102进行术前计划期间识别虚拟骨骼模型1008的表面上的目标点或区域以及区域的表面上的目标点(或区域)的虚拟法向矢量。
在框2004处，MR系统212将所识别的目标点(或区域)连接到用户的注视点(例如，可视化装置213的视场中的中心点)。因此，当可视化装置213的用户的头部之后移动或旋转时，虚拟骨骼模型1008也在空间中移动和旋转。
在肩关节置换术手术的实例中，虚拟骨骼模型1008的表面上的目标点可为虚拟关节盂的可通过使用诸如BLUEPRINTTM计划系统的虚拟计划系统102确定的近似中心。在一些实例中，虚拟关节盂的近似中心可使用重心发现算法，借助于机器学习算法或人工智能系统，或者使用另一种类型的算法来确定。对于其他类型的骨骼修复/置换手术，可识别骨骼的其他点或区域，然后将它们连接到用户的注视线或注视点。
使虚拟骨骼模型1008在空间中围绕用户的注视点单独移动和旋转的能力通常不足以相对于被观察骨骼对虚拟骨骼模型1008进行定向。因此，作为初始化程序的一部分，MR系统212还使用从深度传感器532、光学传感器530和运动传感器533收集的传感器数据来确定在可视化装置213与可视化装置213的视场中的被观察骨骼的表面上的一个(或多个)点之间的距离，以及所述表面的取向(框2008)。例如，关节盂是相对简单的表面，因为就局部而言，它近似平面。因此，关节盂表面的取向可通过确定正交(即，垂直)于表面上的点(例如，中心点)的矢量来近似。这个法向矢量在本文被称为“被观察法向矢量”。然而，应理解，其他骨骼可具有更复杂的表面，诸如肱骨或膝盖。对于这些更复杂的情况，可使用其他表面描述物来确定取向。
不管具体的骨骼如何，距离信息都可通过MR系统212从一个或多个深度相机532获得。这种距离信息可用于获得被观察骨骼的表面的几何形状。也就是说，由于一个或多个深度相机532提供对应于一个或多个深度相机532的视场中的任何点的距离数据，因此可确定到被观察骨骼上的用户的注视点的距离。有了这个信息，用户之后可在空间中移动3D虚拟骨骼模型1008，并且使用注视点使所述虚拟骨骼模型与被观察骨骼在目标点或区域处近似对准(图20A中的框2010)。也就是说，当用户将目光转移到被观察骨骼结构2200(图20A中的框2006)时，虚拟骨骼模型1008(其连接到用户的注视线)随着用户的目光一起移动。用户之后可通过移动用户的头部(以及因此注视线)，使用手部姿势，使用语音命令和/或使用用于调整虚拟骨骼模型1008的位置的虚拟界面来使3D虚拟骨骼模型1008与被观察骨骼结构2200对准。例如，一旦3D虚拟骨骼模型1008与被观察骨骼结构2200近似对准，用户就可提供致使MR系统212捕获初始对准的语音命令(例如，“设置”)。3D模型的取向(“偏航”和“俯仰”)可通过旋转用户的头部，使用手部姿势，使用语音命令和/或使用虚拟界面来调整，这些操作使3D虚拟骨骼模型1008围绕用户的注视线旋转，使得可实现虚拟对象与被观察对象的初始(或近似)对准(图20A中的框2012)。以此方式，通过使虚拟法向矢量与被观察法向矢量对准来相对于被观察骨骼对虚拟骨骼模型1008进行定向。可根据需要执行对初始对准的额外调整。例如，在提供语音命令之后，用户可提供额外的用户输入来调整虚拟骨骼模型1008相对于被观察骨骼结构2200的取向或位置。这个初始对准过程在术中(或实时地)执行，使得外科医生可将虚拟骨骼与被观察骨骼近似地对准。在一些实例中，诸如在外科医生确定初始对准不足的情况下，外科医生可提供用户输入(例如，语音命令，诸如“重新设置”)，所述用户输入致使MR系统212释放初始对准，使得点2106再次锁定到用户的注视线。
在图20A的框2014处，当用户检测到(例如，看到)已(至少近似地)实现3D虚拟骨骼模型1008与被观察骨骼结构2200的初始对准时，用户可提供可听或其他可感知的指示以告知MR系统212可开始精密配准过程(即，执行优化(例如，最小化)算法)。例如，用户可提供语音命令(例如，“匹配”)，所述语音命令致使MR系统212执行最小化算法来执行精密配准过程。优化过程可采用任何合适的优化算法(例如，最小化算法，诸如迭代最近点或遗传算法)来完善虚拟骨骼模型1008与被观察骨骼结构2200的对准。在图20A的框2016处，在完成优化算法的执行之后，完成配准程序。
图21是示出肩关节置换术手术的示例配准过程的步骤的概念图。图22是示出图21的肩关节置换术手术的示例配准过程的额外步骤的概念图。在图21中，可视化装置213的用户的注视线2104与3D虚拟骨骼模型1008(关节盂)的表面2108上的先前所识别的目标点(或注视点)2106连接。图21还示出了表面2108上的点2106的虚拟法向矢量(Nv)2110。在图22中，可视化装置213的用户将注视线2104转移到被观察骨骼结构2200的表面2204上的目标区域2202。由于注视线2104连接到虚拟骨骼模型1008的中心点2106，因此转移注视线2104使虚拟骨骼模型1008的虚拟中心点2106与被观察目标区域2202对准。然而，如图22所示，简单地转移目光使中心点/区域2106、2202对准，但是可能没有相对于被观察骨骼结构2200对虚拟骨骼模型1008(以虚线示出)进行适当地定向。一旦如上文所讨论确定被观察法向矢量(NO)2206，可视化装置213就可调整虚拟骨骼模型1008的取向(俯仰和偏航)，直到实现适当的取向(以点线示出)并且虚拟法向矢量(VN)2110与被观察法向矢量2206对准为止。用户可围绕穿过关节盂的对准轴旋转虚拟骨骼模型1008以使虚拟骨骼模型1008与对应的真实骨骼适当地对准。
图23和图24是示出肩关节置换术手术的示例配准过程的概念图。类似于图21所示的配准过程，图23示出了可视化装置213的用户的视点。如图23所示，在虚拟骨骼模型1008上示出了目标点2106。如上文所讨论，由于用户的目光连接到点2106，用户可通过转移其目光来移动虚拟骨骼模型1008，在此情况下，可视化装置213检测目光转移并且以对应的方式移动虚拟骨骼模型。如图24所示，为了使虚拟骨骼模型1008与被观察骨骼结构2200对准，用户可在由箭头2400指示的方向上转移其目光。
对于一些外科骨骼修复手术，诸如肩关节置换术，仅使用用户的目光对虚拟骨骼与被观察骨骼进行对准和定向可能是有挑战性的。这些挑战的产生归因于许多因素，包括骨骼(例如，关节盂)位于皮肤下方相当深的位置，使得即使是在切出外科手术切口之后，都可能很难将可视化装置213定位在靠近骨骼之处；阴影可能会遮蔽骨骼；整个目标骨骼表面可能是不可见的；并且用户可能很难维持沉着而稳定的目光，这可能会导致虚拟骨骼的定位的不稳定性。在一些实例中，为了解决这些挑战，可通过使用放置在骨骼上的一个或多个特定位置(例如，肩关节置换术手术的关节盂的中心)处的一个或多个虚拟界标来促成配准程序。在此类实例中，放置虚拟界标的位置和在所述位置处的表面法线可用于自动地确定虚拟骨骼和被观察骨骼的初始化变换(或配准变换)。如果需要的话，则使用虚拟界标在虚拟骨骼与被观察骨骼之间实现的对准可进一步由用户使用语音命令、手部姿势、虚拟界面按钮，和/或通过在骨骼表面上的各种位置定位额外的虚拟标记来调整。
图25示出了使用虚拟标记2500的示例配准程序。图26是示出使用虚拟标记的图20A的示例配准程序的额外步骤的概念图。在图25和图26的实例中，可视化装置213的用户转移注视线2104以将虚拟标记2500设置在被观察骨骼结构2200的中心区域2202(例如，中心点)处。在虚拟定位的标记2500、虚拟法向矢量2110和被观察法向矢量2206的帮助下，可确定虚拟骨骼模型1008与被观察骨骼结构2200之间的初始化变换。然后，如上所述执行优化算法(或配准算法)，以便获得虚拟骨骼模型1008与被观察骨骼结构2200之间的最佳配准。
在一些实例中，初始化程序可基于骨骼表面上的目标区域而不是目标点来实现。在此类实例中，可处理由可视化装置213的一个或多个深度相机532和/或一个或多个光学相机530(图5)收集的图像数据，以检测将有助于识别被观察骨骼的位置和取向的表面描述物，并且确定虚拟骨骼与被观察骨骼之间的初始化变换。
如上文所讨论，在一些实例中，初始化可受助于用户(例如，受助于用户转移注视线2104以将虚拟标记2500设置在被观察骨骼结构2200的中心区域2202处)。在一些实例中，MR系统212可在从用户接受最小帮助或不接受帮助的情况下执行整个配准过程(例如，包括任何初始化步骤)。例如，MR系统212可处理由一个或多个深度相机532和/或一个或多个光学相机530(图5)收集的图像数据以自动地识别目标解剖结构(例如，被观察骨骼结构2200)的位置。因此，MR系统212可响应于用户看向解剖结构的一部分(例如，外科医生在佩戴可视化装置213时可仅看向解剖结构的所述部分)而将解剖结构的所述部分的虚拟模型配准到解剖结构的对应的被观察部分。MR系统212可使用任何合适的技术来自动地识别位置。例如，MR系统212可使用机器学习模型(即，使用机器学习，诸如随机森林算法)来处理图像数据并且识别目标解剖结构的位置。
更一般地说，参考图20A和图20B描述的配准方法可被视为相对于3D虚拟模型确定第一局部参考坐标系，并且相对于被观察的真实解剖结构确定第二局部参考坐标系。在一些实例中，MR系统212还可使用从光学相机530和/或深度相机532和/或运动传感器533(或任何其他探测传感器)收集的光学图像数据来相对于用户所在的环境(例如，手术室)确定全局参考坐标系。在其他实例中，可以其他方式定义全局参考坐标系。在一些实例中，深度相机532在外部耦合到可视化装置213，所述可视化装置可为混合现实头戴式耳机，诸如Microsoft HOLOLENSTM头戴式耳机或类似的MR可视化装置。例如，深度相机532可能能够从可视化装置213中移除。在一些实例中，深度相机532是可视化装置213的一部分，所述可视化装置再次可为混合现实头戴式耳机。例如，深度相机532可容纳在可视化装置213的外壳体内。
配准过程可能会导致产生变换矩阵，所述变换矩阵之后允许3D虚拟骨骼模型沿着x轴、y轴和z轴平移并围绕x轴、y轴和z轴旋转，以便实现并维持虚拟骨骼与被观察骨骼之间的对准。
在一些实例中，可用诸如作为实例的光学标记或电磁标记的一个或多个物理标记置换虚拟标记中的一者或多者，和/或对它们进行补充。图30A至图30E示出了定位在真实的被观察骨骼结构2200周围的物理标记的实例。一般而言，一个或多个物理标记可定位在被配准的对象(例如，真实的被观察骨骼结构2200或工具)之上或周围的各种位置处。如图30A和图30B的实例中所示，固定光学标记3010可用于肩关节置换术手术中以限定真实的被观察骨骼结构2200上肩胛骨的肩峰的位置。在图30A的实例中，固定光学标记3010可包括在光学标记的单个面上的平面基准标记3010A。在图30B的实例中，固定光学标记3010可包括在光学标记的多个面上的平面基准标记3010A。在物理标记包括多个面的基准标记的情况下，基准标记在每个面上可为相同的，或者不同的面可包括不同的基准标记。如图30A和图30B所示，基准标记可定位在物理标记的接近于标记3010的尖端3010B的一部分上。在一些实例中，MR系统212可获得在基准标记的特征(例如，形心或中心点)与物理标记的尖端之间的距离。作为一个实例，距离可被预先确定并存储在MR系统212的存储器中。作为另一个实例，MR系统212可基于基准标记的光学特性而确定距离(即，距离可被编码在基准标记中)。
如图30C的实例中所示，物理标记3012A至3012D(统称为“物理标记3012”)可定位在真实的被观察骨骼结构2200周围的各种位置处。在一些实例中，物理标记的各种位置可对应于图16的患者匹配引导件1600的位置(例如，附接点)。对肩峰位置和关节盂的中心的位置(其可虚拟地设置)的了解可允许MR系统212自动地将虚拟骨骼初始化/配准，而无需用户采用头部移动和旋转。
一般而言，物理标记可放置在任何位置。例如，物理标记可附接到患者(例如，未经灭菌的区域)、外科手术暴露的解剖结构(灭菌的区域)、器械、外科手术视场中的任何位置、或任何其他合适的位置。
物理标记可为使得能够相对于真实的被观察对象(例如，骨骼结构2200)标识特定位置的任何类型的标记。物理标记的实例包括但不一定限于无源物理标记和有源物理标记。无源物理标记可具有有助于其被MR系统212识别的物理参数。例如，物理标记可具有某些形状(例如，可附接到真实的被观察骨骼结构2200的球形标记)，和/或有助于其被MR系统212识别的光学特性(例如，反射材料、颜色(例如，在外科手术环境中更易看见的颜色，诸如绿色)、条形码(包括一维或二维条形码，诸如QR码)等等)。无源物理标记可为三维或二维的。无源物理标记可被视为无源的是因为其存在/位置被MR系统212无源地检测到。无源物理标记可为平坦或柔性的二维标贴，所述二维标贴具有平面基准标记，所述平面基准标记可例如经由在移除释放层之后暴露的粘附性背层粘附地安装到骨骼、工具或其他结构。可选地，无源物理标记可例如用外科手术粘附剂、螺钉、钉子、夹具和/或其他固定机构固定到骨骼。
如图30D的实例中所示，包括平面基准标记的标贴3016A至3016C被示出为附接到被观察脚踝3014，或附接在所述脚踝周围。另外地，包括平面基准标记的标贴3018被示出为附接到钻机3020。
有源物理标记可执行有助于其被MR系统212识别的一个或多个动作。例如，有源物理标记可输出有助于其被MR系统212识别的信号(例如，电磁信号)。有源物理标记的实例包括但不限于可获自Northern Digital Inc的trakSTARTM和/或driveBAYTM系统的传感器或发射器。
电磁跟踪(即，使用电磁物理标记进行跟踪，被称为“EM跟踪”)可通过将传感器定位在具有已知几何形状的磁场内来完成，所述磁场可由场发生器(FG)产生。传感器可测量磁通量或磁场。跟踪装置可控制FG并且从传感器接收测量值。基于所接收的测量值，跟踪装置可确定传感器的位置/定位。关于EM跟踪的更详细的描述可见于Alfred M.Franz等人，“Electromagnetic Tracking in Medicine—A Review of Technology,Validation,andApplications,”IEEE TRANSACTIONS ON MEDICAL IMAGING，第33卷，第8期，2014年8月。
图30E示出了定位在真实的被观察骨骼结构2200周围的电磁物理标记的实例。如图30E所示，电磁(EM)跟踪系统3022(其可被包括在图2的MR系统204内)包括电磁(EM)跟踪器3024、场发生器3004以及一个或多个EM物理标记3028A和3028B(统称为“EM物理标记3028”)。EM物理标记3006可使用上文描述的技术来定位在待跟踪的对象(例如，被观察骨骼结构2200、器械等等)附近和/或附接到所述对象。例如，EM物理标记3006可使用外科手术粘附剂、螺钉、钉子、夹具和/或其他固定机构来附接。
场发生器3004可被配置为输出/产生具有已知几何形状的磁场。场发生器3004的实例包括但不一定限于永久磁体或利用电磁学。在电磁学情况下，参考磁场的结构可受到Biot–Savart定律的支配。发射线圈组件的几何形状和通过线圈输送的电流的类型决定了前述场的形状和几何性质。
EM跟踪器3024可被配置为控制场发生器3004的操作。例如，EM跟踪器3024可通过调整流过场发生器3004的线圈的电流来控制由场发生器3004产生的EM场的参数。EM跟踪器3024可从EM物理标记3006接收信号。例如，EM跟踪器可从EM物理标记3006接收磁通量和/或磁场的测量值。EM跟踪器3024可基于所接收的测量值而确定EM物理标记3006的定位/取向/位置。
EM跟踪器3024和场发生器3004各自可为独立部件，可被集成为单个部件，或者可被包括在另一个部件内。例如，EM跟踪器3024可被包括在图2的MR系统212内。EM跟踪器3024可向MR系统204的一个或多个其他部件(例如，处理装置210)输出EM物理标记3006的所确定的定位/取向/位置。
EM跟踪系统3022可用于在使用或不使用其他标记的情况下执行配准。作为一个实例，EM跟踪系统3022可用于在不使用其他物理标记或虚拟标记的情况下将骨骼的虚拟模型配准到对应的被观察骨骼。作为另一个实例，EM跟踪系统3022可用于结合其他物理标记和/或虚拟标记一起将骨骼的虚拟模型配准到对应的被观察骨骼。
图20B示出了用于使用物理标记(例如，无源和有源物理标记的任何组合)将3D虚拟骨骼模型1008与患者的真实的被观察骨骼结构2200配准的技术2018的实例。换句话说，图20B是例如由可视化装置213执行的用于将虚拟骨骼模型与被观察骨骼配准的在诸如图2的混合现实系统212的混合现实系统中实现的过程流的实例。3D虚拟骨骼模型1008可为一个或多个骨骼的全部或部分的模型。图20B的过程流可作为图19的步骤1904的配准过程的一部分执行。如下所述，作为对图20A的配准过程的补充或取代，可使用图20B的配准过程。
在操作中，从业人员可将一个或多个物理标记放置在特定位置处。在一些实例中，MR系统212可输出关于从业人员应在何处放置物理标记的指示。所规定的位置可对应于虚拟模型的对应于被观察骨骼结构2200的特定位置。例如，在一个实例中，可视化装置213可对从业人员显示将物理标记(例如，用外科手术粘附剂、螺钉、钉子、夹具和/或其他固定机构)附接在对应于图16的患者匹配引导件1600的位置的位置处的指示(例如，而不管患者匹配引导件1600是否可供使用)。换句话说，即使患者匹配引导件1600不存在，从业人员也可将物理标记附接在可能附接患者匹配引导件1600的位置处。在其他实例中，所规定的位置可通过文本、图形或可听信息指示，以致使外科医生选择身体骨骼或者一个或多个工具上的对应的位置来进行标记的附接或其他放置。例如，MR系统212可输出图形信息来引导外科医生将图30A的光学标记3010的尖端3010B附接到肩胛骨的肩峰。
MR系统212可利用来自一个或多个传感器(例如，图6的可视化装置213的传感器614中的一者或多者)的数据来识别物理标记的位置(2020)。例如，MR系统212可使用由深度传感器532和/或光学传感器530的任何组合产生的数据来识别物理标记中的每一者的具体位置(例如，坐标)。作为一个具体实例，MR系统212可利用由光学传感器530产生的光学数据来识别图30A的光学标记3010A的形心。MR系统212之后可利用由深度传感器532产生的深度数据和/或由光学传感器530产生的光学数据来确定所识别的形心的位置和/或取向。MR系统212可确定在形心与物理标记的附接点之间的距离。例如，MR系统212可确定在图30A的基准标记3010A的形心与光学标记3010的尖端3010B之间的距离。基于所确定的距离(即，在形心与附接点之间)和形心的所确定的位置/取向，MR系统212可确定附接点的位置/取向。
MR系统212可基于物理标记的所识别的位置而将虚拟模型与被观察解剖结构配准(2022)。例如，在物理标记在被观察骨骼结构2200上放置在对应于虚拟模型上对应于被观察骨骼结构2200的一个或多个特定位置的位置处的情况下，MR系统212可产生虚拟模型与被观察骨骼结构212之间的变换矩阵。这个变换矩阵可类似于上文讨论的变换矩阵，因为所述变换矩阵允许虚拟模型沿着x轴、y轴和z轴平移并围绕x轴、y轴和z轴旋转，以便实现并维持虚拟骨骼与被观察骨骼之间的对准。在一些实例中，在完成配准之后，MR系统212利用配准的结果来执行即时定位与地图构建(SLAM)以维持虚拟模型相对于对应的被观察骨骼的对准。
如下文进一步详细地讨论的，MR系统212可基于配准而显示虚拟引导以使被观察解剖结构准备好附接假体，或者显示虚拟引导来将假体附接到被观察解剖结构(2024)。例如，MR系统212可提供如下文参考图34至图71的任何组合所描述的虚拟引导。
如上文所讨论，作为对虚拟标记(例如，虚拟标记2500)的补充或取代，可使用物理标记。换句话说，MR系统212可使用物理标记与虚拟标记的任何组合来执行骨骼的虚拟模型到对应的被观察骨骼的配准。在一些实例中，使用物理标记(单独或结合虚拟标记)可使得MR系统212能够减少执行配准所需的时间量和/或可带来更准确的配准。
在一些实例中，MR系统212可使用虚拟标记或物理标记中的一者作为主要配准标记，并且使用另一者作为辅助或补充配准标记。作为一个实例，MR系统212可通过尝试使用主要配准标记执行配准来开始配准过程。在此类实例中，如果MR系统212仅使用主要配准标记不能够充分地完成配准(例如，无法产生虚拟解剖结构与被观察解剖结构之间的映射，诸如变换矩阵)，则MR系统212可尝试仅使用辅助配准标记或主要配准标记与辅助配准标记的组合来执行配准。在一个具体实例中，如果MR系统212仅使用一个或多个虚拟标记不能够充分地完成配准，则MR系统212可尝试仅使用一个或多个物理标记或者一个或多个虚拟配准标记与一个或多个物理配准标记的组合来执行配准。
在MR系统212仅使用主要配准标记不能够充分地完成配准的情况下，MR系统212可输出请求以使从业人员执行一个或多个动作，以使得能够使用辅助配准标记来进行配准。作为一个实例，在辅助配准标记是物理标记的情况下，MR系统212可输出请求以使从业人员相对于被观察解剖结构将物理标记定位在特定位置处。作为另一个实例，在辅助配准标记是虚拟标记的情况下，MR系统212可输出请求和对应的图形用户界面(例如，3D虚拟骨骼模型1008)以使从业人员执行上文参考图20A描述的初始对准程序。
在一些实例中，从业人员可移除物理标记(例如，在完成配准之后)。例如，在MR系统212已使用物理标记完成配准过程之后，MR系统212可输出可移除物理标记的指示。在物理标记被移除的实例中，MR系统212可使用虚拟标记或任何其他合适的跟踪技术来维持虚拟骨骼模型到被观察骨骼的配准。
在一些实例中，到外科手术中的稍后时间点为止，从业人员可能不移除物理标记。例如，从业人员可能不移除物理标记，直到不再需要虚拟模型到被观察骨骼的配准为止(例如，在已显示使用配准的所有虚拟引导并且已完成对应的外科手术步骤之后)。
在一些实例中，MR系统212可能能够在整个程序中维持虚拟骨骼模型与被观察骨骼(例如，关节盂、肱骨或其他骨骼结构)之间的配准。然而，在一些情况下，MR系统212可能会失去或另外无法维持虚拟骨骼模型与被观察骨骼之间的对准。例如，MR系统212可能会失去对标记(例如，虚拟、物理或两者)中的一者或多者的跟踪。这种失去可能是多种因素的结果，包括但不限于体液(例如，血液)遮盖标记，标记发生脱落(例如，物理标记被撞出适当的位置)等等。因此，MR系统212可定期地确定是否已失去配准(2026)。
在一些实例中，MR系统212可在虚拟点与对应的物理点之间的置信距离超过阈值置信距离(例如，临床值)的情况下确定已失去配准。MR系统212可定期地将置信距离确定为代表当前配准的准确度的值。例如，MR系统212可确定虚拟点与对应的物理点之间的距离小于3mm。
在一些实例中，MR系统212可输出置信距离的表示。作为一个实例，MR系统212可使可视化装置213显示置信距离的数值。作为另一个实例，MR系统212可使可视化装置213显示置信距离相对于阈值置信距离的图形表示(例如，如果置信距离小于阈值置信距离的一半则显示绿色圆圈，如果置信距离是在阈值置信距离的一半与阈值置信距离之间则显示黄色圆圈，并且如果置信距离大于阈值置信距离则显示红色圆圈)。
在一些实例中，MR系统212可在整个外科手术中利用相同的阈值置信距离。例如，MR系统212可针对所有肱骨和肩胛骨工作步骤利用特定阈值置信距离(例如，下文参考图34至71描述)。在一些实例中，MR系统212可针对外科手术的不同部分利用不同的阈值置信距离。例如，MR系统212可针对第一组工作步骤利用第一阈值置信距离，并且针对第一组工作步骤针对第二组工作步骤使用第二阈值置信距离(其不同于第一阈值置信距离)。
在尚未失去配准(2026的“否”分支)的情况下，MR系统212可继续显示虚拟引导(2024)。然而，在MR系统212失去配准(2026的“是”分支)的情况下，MR系统212可执行一个或多个动作来将虚拟骨骼模型重新配准到被观察骨骼。作为一个实例，MR系统212可自动地尝试执行配准过程，而无需来自从业人员的进一步动作。例如，在物理标记尚未被移除的情况下。MR系统212可使用物理标记来执行配准过程。可选地，在物理标记已被移除(或从未放置)的情况下，MR系统212可输出请求以使从业人员放置物理标记。因此，MR系统212可被视为定期地将虚拟模型与被观察骨骼配准。
在一些实例中，与在失去配准的情况下自动地尝试重新配准相反，MR系统212可基于是否仍然需要配准而选择性地执行重新配准(2028)。在一些实例中，MR系统212可在将显示额外的虚拟引导的情况下确定仍然需要配准。在MR系统212确定不再需要配准(2028的“否”分支)的情况下，MR系统212可结束配准程序。
如上所述，MR系统212可利用虚拟标记与物理标记的任何组合来实现虚拟模型到对应的被观察结构的配准。MR系统212可使用标记中的任一者来执行初始配准，并且在需要时，MR系统212可使用标记中的任一者来执行重新配准。用于初始配准的标记可与用于任何重新配准的标记相同，或者可与用于任何重新配准的标记不同。
在一些实例中，为了增强配准的准确度和质量，在配准过程的初始化阶段期间，MR系统212可计算并显示用户头部姿势和取向的空间约束。这些约束可实时地计算，并且取决于用户的位置、和/或取向、和/或到被观察骨骼的距离、和/或深度相机特性。例如，MR系统212可提示用户移动成更靠近被观察骨骼；调整头部位置，使得用户的注视线垂直于被观察骨骼的目标表面；或者进行任何其他调整，所述其他调整可能可用于增强配准过程并且可取决于特定外科手术应用、和/或特定目标解剖结构的属性、和/或MR系统212中采用的光学传感器和深度传感器的特性。
在一些实例中，一个或多个深度相机532通过使用结构光方法或者具有适当的波长的光学信号的飞行时间来检测距离。一般而言，光学信号的波长被选择为使得由一个或多个深度相机532传输的光学信号对被观察解剖结构的表面的穿透被最小化。然而，应理解，也可采用用于检测距离的其他已知或将来开发的技术。
如下文所讨论，本文描述的配准技术可针对任何虚拟模型与被观察对象对执行。作为一个实例，MR系统可利用配准技术来将骨骼的虚拟模型配准到被观察骨骼。例如，MR系统可利用配准技术来将关节盂/肱骨/脚踝的虚拟模型配准到对应的被观察关节盂/肱骨/脚踝。作为另一个实例，MR系统可利用配准技术来将植入物的虚拟模型配准到被观察植入物。MR系统可利用配准技术来将工具的虚拟模型配准到被观察工具。例如，MR系统可利用配准技术来将钻机的虚拟模型配准到对应的被观察钻机。
在一些实例中，MR系统可针对特定的一对虚拟模型和被观察对象(例如，在特定外科手术内)执行一次配准技术。例如，MR系统可将关节盂的虚拟模型与被观察关节盂配准，并且利用所述配准来为外科手术的多个步骤提供虚拟引导。在一些实例中，MR系统可针对特定的一对虚拟模型和被观察对象(例如，在特定外科手术内)多次执行配准技术。例如，MR系统可首先将关节盂的虚拟模型与被观察关节盂配准，并且利用所述配准来为外科手术的一个或多个步骤提供虚拟引导。然后，例如，在已(例如，经由扩孔)从关节盂移除物质之后，MR系统可将关节盂的另一个虚拟模型(考虑到被移除的物质)与被观察关节盂配准，并且使用后续配准来为外科手术的一个或多个其他步骤提供虚拟引导。
一旦完成配准，就可使用MR系统212的增强外科手术模式来执行外科手术计划。例如，图27示出了根据本公开的一个实例的当处于混合现实系统的增强外科手术模式时用户可感知的图像。如图27的实例中所示，外科医生可看到在被观察骨骼结构2200上的虚拟计划的进入点2700和钻孔轴2702，并且使用这些虚拟图像来协助外科手术工具的定位和对准。钻孔轴2702也可被称为扩孔轴，并且提供虚拟引导来在关节盂中钻出孔以放置将引导扩孔过程的引导销。在一些情况下，钻孔和放置引导销包括将引导销钻到适当的位置的单步过程(例如，引导销可为“自攻的”)。
图28示出了植入物部件的外科医生经由可视化装置213可看到的虚拟图像的实例。类似地，图29示出了植入物部件的外科医生可看到的虚拟图像的实例。在图28和图29的实例中，外科医生还可看到叠加在被观察骨骼结构2200上的包括移植物1402的植入物部件(例如，虚拟骨骼模型1008)的虚拟图像。另外，外科医生可看到骨赘以及骨骼的哪个部分表示骨赘。
配准过程可结合本公开中其他位置描述的虚拟计划过程和/或术中引导一起使用。因此，在一个实例中，产生或以其他方式获得虚拟外科手术计划来修复特定患者的目标解剖结构(例如，特定患者的肩关节)。在获得虚拟外科手术计划的实例中，另一个计算系统可产生虚拟外科手术计划，并且MR系统(例如，MR系统212)或其他计算系统从计算机可读介质，诸如通信介质或非暂时性存储介质获得虚拟外科手术计划的至少一部分。在此实例中，虚拟外科手术计划可包括基于术前图像数据而产生目标解剖结构的3D虚拟模型，并且针对特定患者选择假体部件来修复目标解剖结构。另外，在此实例中，用户可使用MR系统(例如，MR系统212)来实现虚拟外科手术计划。在此实例中，作为使用MR系统的一部分，用户可请求特定患者的虚拟外科手术计划。
另外地，用户可查看投射在真实环境内的外科手术计划的虚拟图像。例如，MR系统212可呈现3D虚拟对象，使得如本公开的各种实例中所描述，对象看起来好像驻留在真实环境内，例如看起来好像与患者的真实解剖结构在一起。换句话说，为了供用户查看，MR系统212可输出投射在真实环境内的虚拟外科手术计划的虚拟图像，其中虚拟外科手术计划的虚拟图像包括目标解剖结构的3D虚拟模型。在此实例中，外科手术计划的虚拟图像可包括以下中的一者或多者：目标解剖结构的3D虚拟模型、被选择来修复目标解剖结构的假体部件的3D模型、以及用于修复目标解剖结构的外科手术工作流的虚拟图像。外科手术工作流的虚拟图像可包括指示作为执行用于修复目标解剖结构的外科手术的一部分来执行的一个或多个步骤的文本、图形、或者动画。另外，在此实例中，用户可将3D虚拟模型与特定患者的真实目标解剖结构配准。用户之后可基于配准而实现虚拟产生的外科手术计划以修复真实目标解剖结构。换句话说，在增强外科手术模式中，用户可使用可视化装置来使目标解剖结构的3D虚拟模型与真实目标解剖结构对准。
在此类实例中，MR系统实现配准过程，由此3D虚拟模型与真实目标解剖结构对准(例如，最佳地对准)。在此实例中，用户可将3D虚拟模型与真实目标解剖结构配准，而无需使用虚拟标记或物理标记。换句话说，3D虚拟模型可在不使用虚拟标记或物理标记的情况下与真实目标解剖结构对准(例如，最佳地对准)。MR系统可在对真实目标解剖结构实现虚拟外科手术计划期间使用所述配准来跟踪真实目标解剖结构的移动。在一些实例中，MR系统可在不使用跟踪标记的情况下跟踪真实目标解剖结构的移动。
在一些实例中，作为将3D虚拟模型与真实目标解剖结构配准的一部分，3D虚拟模型可(例如，通过用户)与真实目标解剖结构配准，并且基于对准而产生3D虚拟模型与真实目标解剖结构之间的变换矩阵。变换矩阵提供用于将虚拟产生的外科手术计划平移到真实目标解剖结构的坐标系。例如，配准过程可允许用户查看与在患者的外科手术期间投射在对应的真实目标解剖特征上的虚拟外科手术计划的步骤相关联的解剖特征的3D虚拟模型。投射在真实目标解剖结构上的虚拟外科手术计划的步骤包括识别用于定位假体植入物的进入点来修复真实目标解剖特征。在一些实例中，3D虚拟模型与真实目标解剖结构的对准可产生变换矩阵，所述变换矩阵可允许用户查看投射在真实目标解剖结构上的虚拟外科手术计划的步骤(例如，识别用于定位假体植入物的进入点来修复真实目标解剖结构)。
在一些实例中，配准过程(例如，使用配准过程产生的变换矩阵)可允许用户在不使用跟踪标记的情况下对真实目标解剖结构实现虚拟外科手术计划。在一些实例中，将3D虚拟模型与真实目标解剖结构对准包括将3D虚拟模型的表面上的目标点定位在真实目标解剖结构的表面上的对应的目标点的位置处，并且调整3D虚拟模型的取向，使得目标点处的虚拟表面法线与对应的目标点处的真实表面法线对准。在一些此类实例中，目标点是关节盂的中心点。
继续参考图19，在执行配准过程之后，外科医生可执行扩孔轴钻孔过程(1906)。在扩孔轴钻孔过程期间，外科医生可在患者的关节盂中钻出扩孔轴引导销孔以接纳扩孔引导销。在一些实例中，在肩部外科手术的稍后阶段，外科医生可将扩孔轴销插入到扩孔轴引导销孔中。在一些实例中，扩孔轴销自身可为用于钻出扩孔轴引导销孔的钻头(例如，扩孔轴销可为自攻的)。因此，在此类实例中，可能没有必要执行插入扩孔轴销的单独的步骤。在一些实例中，MR系统(例如，MR系统212、MR系统1800A等)可呈现虚拟扩孔轴来帮助外科医生在与扩孔轴对准的过程中执行钻孔，并且由此以正确的位置并以正确的取向放置扩孔引导销。
外科医生可以多种方式中的一种方式执行扩孔轴钻孔过程。例如，外科医生可执行基于引导件的过程来钻出扩孔轴销孔。在该情况下，将物理引导件放置在关节盂上以引导扩孔轴销孔的钻孔。在其他实例中，外科医生可执行不带引导件的过程，例如通过呈现虚拟扩孔轴来执行，所述虚拟扩孔轴引导外科医生在适当对准的情况下钻出扩孔轴销孔。MR系统(例如，MR系统212、MR系统1800A等)可帮助外科医生执行这些过程中的任一者来钻出扩孔轴销孔。
另外，在图19的外科手术过程中，外科医生可执行扩孔轴销插入过程(1908)。在扩孔轴销插入过程期间，外科医生将扩孔轴销插入到钻到患者的肩胛骨中的扩孔轴销孔中。在一些实例中，MR系统(例如，MR系统212、MR系统1800A等)可呈现虚拟引导信息来帮助外科医生执行扩孔轴销插入过程。
在执行扩孔轴插入过程之后，外科医生可执行关节盂扩孔过程(1910)。在关节盂扩孔过程期间，外科医生对患者的关节盂进行扩孔。对患者的关节盂进行扩孔可能会产生适当的表面以安装关节盂植入物。在一些实例中，为了对患者的关节盂进行扩孔，外科医生可将扩孔钻头附连到外科手术钻机。扩孔钻头沿着扩孔钻头的旋转轴限定轴向空腔。轴向空腔具有对应于扩孔轴销的外径的内径。在将扩孔钻头附连到外科手术钻机之后，外科医生可定位扩孔钻头，使得扩孔轴销处于扩孔钻头的轴向空腔中。因此，在关节盂扩孔过程期间，扩孔钻头可围绕扩孔轴销旋转。以此方式，扩孔轴销可防止扩孔钻头在关节盂扩孔过程期间漂移。在一些实例中，可使用多个工具来对患者的关节盂进行扩孔。MR系统(例如，MR系统212、MR系统1800A等)可呈现虚拟引导来帮助外科医生或其他用户执行关节盂扩孔过程。例如，MR系统可帮助诸如外科医生的用户来选择用于关节盂扩孔过程中的扩孔钻头。在一些实例中，MR系统呈现虚拟引导来帮助外科医生控制外科医生在用户的关节盂中扩孔达到的深度。在一些实例中，关节盂扩孔过程包括用于对患者的关节盂的不同部分进行扩孔的先扩孔步骤和后扩孔步骤。
另外地，在图19的外科手术过程中，外科医生可执行关节盂植入物安装过程(1912)。在关节盂植入物安装过程期间，外科医生将关节盂植入物安装在患者的关节盂中。在一些情况下，当外科医生执行解剖肩关节置换术时，关节盂植入物具有充当用户的天然关节盂的置换物的凹入表面。在其他情况下，当外科医生执行反向肩关节置换术时，关节盂植入物具有充当用户的天然肱骨头的置换物的凸出表面。在此反向肩关节置换术中，外科医生可安装肱骨植入物，所述肱骨植入物具有在关节盂植入物的凸出表面上滑动的凹入表面。就像在图19的肩部外科手术的其他步骤中一样，MR系统(例如，MR系统212、MR系统1800A等)可呈现虚拟引导来帮助外科医生执行关节盂安装过程。
在一些实例中，关节盂植入过程包括用于将关节盂植入物固定到患者的肩胛骨的过程(1914)。在一些实例中，用于将关节盂植入物固定到患者的肩胛骨的过程包括在患者的肩胛骨中钻出一个或多个锚固孔或者一个或多个螺钉孔，并且可能借助于粘固剂或其他粘附剂，将诸如植入物的一个或多个栓柱或者龙骨的锚固件定位在一个或多个锚固孔中和/或穿过关节盂植入物和螺钉孔插入螺钉。MR系统(例如，MR系统212、MR系统1800A等)可呈现虚拟引导来帮助外科医生进行将关节盂植入物固定到关节盂骨骼的过程，所述虚拟引导例如包括指示要在关节盂中钻出或以其他方式形成锚固孔或螺钉孔，并且将锚固件或螺钉放置在孔中的虚拟引导。
另外，在图19的实例中，外科医生可执行肱骨准备过程(1916)。在肱骨准备过程期间，外科医生使肱骨准备好安装肱骨植入物。在外科医生执行解剖肩关节置换术的实例中，肱骨植入物可具有充当患者的天然肱骨头的置换物的凸出表面。肱骨植入物的凸出表面在关节盂植入物的凹入表面内滑动。在外科医生执行反向肩关节置换术的实例中，肱骨植入物可具有凹入表面，并且关节盂植入物具有对应的凸出表面。如本公开中其他位置所描述，MR系统(例如，MR系统212、MR系统1800A等)可呈现虚拟引导信息来帮助外科医生执行肱骨准备过程。
另外，在图19的示例外科手术过程中，外科医生可执行肱骨植入物安装过程(1918)。在肱骨植入物安装过程期间，外科医生将肱骨植入物安装在患者的肱骨上。如本公开中其他位置所描述，MR系统(例如，MR系统212、MR系统1800A等)可呈现虚拟引导来帮助外科医生执行肱骨准备过程。
在执行肱骨植入物安装过程之后，外科医生可执行将所安装的关节盂植入物和所安装的肱骨植入物对准的植入物对准过程(1920)。例如，在外科医生执行解剖肩关节置换术的实例中，外科医生可将肱骨植入物的凸出表面嵌套在关节盂植入物的凹入表面中。在外科医生执行反向肩关节置换术的实例中，外科医生可将关节盂植入物的凸出表面嵌套在肱骨植入物的凹入表面中。随后，外科医生可执行伤口闭合过程(1922)。在伤口闭合过程期间，外科医生可将切开过程期间切断的组织重新连接，以便闭合患者的肩部中的伤口。
如本公开中其他位置所提及，MR系统212的用户界面可包括工作流栏1000。工作流栏1000包括对应于工作流页面的图标。在一些实例中，可供用户(例如，外科医生)选择的每个工作流页面可包括增强外科手术小工具1300(诸如图13所示的那些)，所述增强外科手术小工具在被选择时启动MR系统212的操作模式，其中佩戴或以其他方式使用可视化装置213的用户可看到投射并匹配到患者骨骼上的外科手术计划的细节(例如，细节的虚拟图像)，并且在术中使用计划来协助外科手术。一般而言，如下文将进一步详细地解释的，增强外科手术模式允许外科医生将患者的目标解剖结构(例如，关节盂)的虚拟3D模型与被观察的真实解剖结构配准，使得外科医生可使用虚拟外科手术计划来协助实现真实的外科手术。
图13中示出了增强外科手术小工具1300的实例。对小工具1300的选择发起MR系统212的增强外科手术操作模式。在发起增强外科手术模式之后，将患者的相关骨骼结构的3D虚拟骨骼模型1008与被观察骨骼结构(即，患者的真实骨骼)配准，使得虚拟计划手术的细节可在被观察骨骼上可视化并叠加在所述被观察骨骼上。例如，对于肩关节置换术手术，这些细节可包括作为实例的进入点、钻孔轴、骨赘和切割表面/平面。如图13所示，增强外科手术小工具1300可准许用户例如用语音命令关键字选择是显示还是不显示肩胛骨(肩胛骨启用/关闭)，并且如果显示的话，则选择是将肩胛骨显示为不透明的还是透明的(肩胛骨不透明/透明)。此外，用户可例如用语音命令关键字选择是显示还是不显示关节盂扩孔轴(扩孔轴启用/关闭)，是否不显示任何事物(关闭任何事物)，是向左旋转还是向右旋转所显示的虚拟对象(向左旋转/向右旋转)，以及是否停止旋转(说出停止来结束一切)。
如上文所提及，增强外科手术小工具1300可准许用户选择是将肩胛骨显示为不透明的还是透明的(肩胛骨不透明/透明)。在一些实例中，用户可使用语音命令、手部姿势、或其他类型的命令来选择是将肩胛骨显示为不透明的还是透明的。当用户选择用于对肩胛骨是不透明还是透明进行控制的元素时，可视化装置213可增加或减小肩胛骨的模型的不透明度。在一些实例中，可视化装置213可继续改变模型的不透明度，直到可视化装置213接收到用于停止改变不透明度的诸如语音命令的用户输入的指示为止。改变肩胛骨，尤其是肩胛骨的关节盂部分的模型的不透明度可帮助用户在不同的照明条件下更好地看到肩胛骨的模型。
对于肩关节置换术应用，配准过程可开始于由可视化装置213向用户呈现患者的肩胛骨和关节盂的3D虚拟骨骼模型1008，所述虚拟骨骼模型例如由外科手术计划系统102从患者的解剖结构的术前图像中产生。用户之后可按以下方式操纵3D虚拟骨骼模型1008：使3D虚拟骨骼模型1008与用户在手术环境中观察到的患者的真实肩胛骨和关节盂对准，并且相对于所述真实肩胛骨和关节盂对所述虚拟骨骼模型进行定向。因此，在一些实例中，MR系统可接收用户输入来协助初始化和/或配准。然而，如上文所讨论，在一些实例中，MR系统可自动地执行初始化和/或配准过程(例如，而无需接收用户输入来定位3D骨骼模型)。对于其他类型的诸如针对膝盖、臀部、脚、脚踝或肘部的关节置换术手术，不同的相关骨骼结构可显示为虚拟3D图像，并且以类似方式与患者的实际的真实解剖结构对准并相对于所述真实解剖结构对所述虚拟3D图像进行定向。
无论所涉及的关节或解剖结构的具体类型如何，对增强外科手术模式的选择都会发起将3D虚拟骨骼模型1008与被观察骨骼结构配准的程序。一般而言，配准程序可被视为经典的优化问题(例如，最小化或最大化)。对于肩关节置换术手术，优化(例如，最小化)分析的已知输入是被观察的患者的骨骼的3D几何形状(从来自可视化装置213的传感器数据获得，所述传感器数据包括来自一个或多个深度相机532的深度数据)，以及在虚拟外科手术计划状态期间(诸如通过使用BLUEPRINTTM系统)获得的3D虚拟骨骼的几何形状。其他输入包括外科手术计划的细节(也在虚拟外科手术计划状态期间，诸如通过使用BLUEPRINTTM系统来获得)，诸如进入点的位置和取向、切割平面、扩孔轴和/或钻孔轴、以及用于使骨骼结构成形的扩孔或钻孔深度、假体部件的类型、大小和形状、以及将放置假体部件的位置和取向、或在断裂的情况下将重建骨骼结构的方式。
在从MR系统212(图5)的UI 522的欢迎页面选择特定患者之后，与所述患者相关联的外科手术计划参数例如通过可视化装置213的一个或多个处理器与患者的3D虚拟骨骼模型1008连接。在增强外科手术模式中，由可视化装置213进行3D虚拟骨骼模型1008(具有所连接的预先计划参数)与被观察骨骼的配准允许外科医生看到关于患者的外科手术计划参数的虚拟表示。
被实施来实现3D虚拟骨骼模型1008与真实骨骼的配准的优化(例如，最小化)分析通常分两个阶段执行：初始化阶段和优化(例如，最小化)阶段。在初始化阶段期间，用户诸如通过使用注视方向、手部姿势和/或语音命令对虚拟骨骼与被观察的真实骨骼的对准进行定位和定向，或者以其他方式进行调整来使3D虚拟骨骼模型1008与患者的真实骨骼近似地对准。将在下文进一步详细地描述初始化阶段。在也将在下文详细地描述的优化(例如，最小化)阶段期间，执行优化(例如，最小化)算法，所述优化算法使用来自一个或多个光学相机530和/或一个或多个深度相机532和/或任何其他探测传感器(例如，运动传感器533)的信息以进一步改进3D模型与被观察的目标解剖结构的对准。在一些实例中，优化(例如，最小化)算法可为最小化算法，包括任何已知的或将来开发的最小化算法，诸如作为实例的迭代最近点算法或遗传算法。
以此方式，在一个实例中，混合现实外科手术计划方法包括产生虚拟外科手术计划来修复特定患者的目标解剖结构。虚拟外科手术计划包括基于术前图像数据而产生目标解剖结构的3D虚拟模型，并且针对特定患者选择假体部件来修复目标解剖结构。另外，在此实例中，MR可视化系统可用于实现虚拟外科手术计划。在此实例中，使用MR系统可包括请求特定患者的虚拟外科手术计划。使用MR系统还包括查看投射在真实环境内的外科手术计划的虚拟图像。例如，可视化装置213可被配置为呈现投射在真实环境内的外科手术计划的细节的一个或多个3D虚拟图像，例如使得一个或多个虚拟图像看起来好像形成真实环境的一部分。外科手术计划的虚拟图像可包括目标解剖结构的3D虚拟模型、假体部件的3D模型、以及用于修复目标解剖结构的外科手术工作流的虚拟图像。使用MR系统还可包括将3D虚拟模型与特定患者的真实目标解剖结构配准。另外地，在此实例中，使用MR系统可包括基于配准而实现虚拟产生的外科手术计划以修复真实目标解剖结构。
另外，在一些实例中，所述方法包括将3D虚拟模型与真实目标解剖结构配准，而无需使用虚拟标记或物理标记。所述方法还可包括在对真实目标解剖结构实现虚拟外科手术计划期间使用所述配准来跟踪真实目标解剖结构的移动。真实目标解剖结构的移动可在不使用跟踪标记的情况下进行跟踪。在一些情况下，将3D虚拟模型与真实目标解剖结构配准可包括使3D虚拟模型与真实目标解剖结构对准，并且基于对准而产生3D虚拟模型与真实目标解剖结构之间的变换矩阵。变换矩阵提供用于将虚拟产生的外科手术计划平移到真实目标解剖结构的坐标系。在一些实例中，对准可包括将3D虚拟模型的表面上的目标点虚拟地定位在真实目标解剖结构的表面上的对应的目标区域内；并且调整3D虚拟模型的取向，使得与目标点相关联的虚拟表面形状同与对应的目标区域相关联的真实表面形状对准。在一些实例中，对准还可包括使3D虚拟模型围绕用户的注视线旋转。目标区域可为目标解剖结构的解剖界标。目标解剖结构可为肩关节。在一些实例中，解剖界标是关节盂的中心区域。
在一些实例中，在完成配准过程之后，可发起跟踪过程，所述跟踪过程在增强外科手术模式期间连续地且自动地验证3D虚拟骨骼模型1008与被观察骨骼结构2200之间的配准。在外科手术期间，可能会发生可能会干扰3D解剖模型与对应的被观察患者解剖结构之间的配准，或可能会阻碍MR系统212维持模型与被观察解剖结构之间的配准的能力的许多事件(例如，患者移动、器械移动、失去跟踪等)。因此，通过实现跟踪特征，MR系统212可连续地或定期地验证配准并且根据需要调整配准参数。如果MR系统212检测到不当的配准(诸如超过阈值量的患者移动)，则可能会要求用户重新发起配准过程。
在一些实例中，可使用固定到解剖结构上的特定位置的一个或多个光学标记，诸如图30所示的标记3010来实现跟踪。MR系统212监测一个或多个光学标记，以便在3D空间中跟踪相关解剖结构的位置和取向。如果检测到标记的移动，则MR系统212可计算移动量，然后相应地平移配准参数，以便维持3D模型与被观察解剖结构之间的对准，而无需重复配准过程。
在其他实例中，跟踪是无标记的。例如，代替使用光学标记，MR系统212基于被观察目标解剖结构的几何形状而实现无标记跟踪。在一些实例中，无标记跟踪可依赖于骨骼的为跟踪算法提供界限清楚的锚固点的解剖界标的位置。在界限清楚的界标不可见的情况或应用中，可实现使用可见骨骼形状或其他解剖结构的几何形状的跟踪算法。在此类情况下，可使用来自一个或多个光学相机530和/或一个或多个深度相机532和/或运动传感器533(例如，IMU传感器)的图像数据来获得与可见解剖结构的几何形状和移动有关的信息。可用于无标记跟踪的跟踪算法的实例描述于David J.Tan等人，“6D Object Pose Estimationwith Depth Images:A Seamless Approach for Robotic Interaction and AugmentedReality,”arXiv:1709.01459v1[cs,CV](2017年9月5日)中，但是可使用任何合适的跟踪算法。在一些实例中，MR系统212的无标记跟踪模式可包括学习阶段，其中跟踪算法在发起跟踪之前学习可见解剖结构的几何形状。学习阶段可增强跟踪的性能，使得可在有限的处理能力下实时地执行跟踪。
图31示出了根据本公开的一个实例的用于MR系统212的增强外科手术模式中的过程流3100的实例。图31的过程可由MR系统212的可视化装置213执行。在框3102处，执行学习过程，在此过程期间，跟踪算法基于虚拟骨骼模型而学习目标解剖结构的几何形状。在一些实例中，离线地(即，在外科手术之前)执行学习。在框3104处，在增强外科手术模式期间发起跟踪。在框3106处，连续地(或定期地)监测目标解剖结构的移动。在框3108处，如果检测到的移动超过阈值量，则可提示用户重新发起图20A或图20B的配准过程(框3112)。如上文所讨论，在一些实例中，如果检测到的移动超过阈值量，则MR系统212可自动地重新发起和/或执行配准过程。否则，根据需要使用移动量来平移配准参数(框3110)。
在一些实例中，可实现标记跟踪和无标记跟踪两者。例如，光学标记可用作无标记跟踪算法的备份，或者用作对跟踪算法的验证。另外，实现标记和/或无标记跟踪的选择可由用户自行决定，或者可取决于特定外科手术以及可见的具体解剖特征。
在一些实例中，为了根据外科手术计划引导外科医生，可使用上文描述的任何相同的跟踪技术来跟踪外科手术器械或工具(标记(例如，可见、红外等)或无标记(例如，工具几何形状))以确保器械姿势和取向都是正确的。为了引导外科医生对外科手术器械的使用，MR系统212可显示可见指示符，或者提供提示外科医生在某些方向上移动器械的其他可感知的指示(例如，振动、可听哔哔声等)。例如，MR系统212可产生外科医生可见的圆圈，所述圆圈在同心时指示工具已根据外科手术计划对准。
有时，在外科手术期间，外科医生可确定需要修改术前外科手术计划。MR系统212允许对外科手术计划的术中修改，之后可在增强外科手术模式中执行所述外科手术计划。例如，在一些实例中，用户可操纵用户界面，使得用户可在术中查看虚拟外科手术计划，至少包括3D虚拟目标解剖结构骨骼。在此类实例中，用户可操纵用户界面，使得用户可在术中修改虚拟外科手术计划。作为一个实例，对图10所示的UI 522的工作流栏1000上的计划页面的选择允许外科医生查看并操纵患者的解剖结构的3D虚拟骨骼模型1008和假体植入物部件1010。使用UI 522，外科医生可旋转和平移植入物部件1010，并且改变所述植入物部件的类型和大小(如果需要的话)。如果进行了改变，则用新的参数自动地更新虚拟外科手术计划，之后可在处于增强外科手术模式时将所述虚拟外科手术计划与3D虚拟骨骼模型1008连接。如果对于在先版本的虚拟外科手术计划，先前已完成配准，则可更新计划参数。如果对虚拟外科手术计划的修改需要外科医生重复配准过程，则MR系统212可提示外科医生如此行为。
如本公开中其他位置所讨论，骨科外科手术可涉及对患者的解剖结构执行各种工作。可执行的工作的一些实例包括但不一定限于切割、钻孔、扩孔、螺钉拧入、粘附以及冲击。一般而言，可能期望从业人员(例如，外科医生、医师的助手、护士等)尽可能准确地执行工作。例如，如果用于将假体植入特定患者体内的外科手术计划指定将以特定直径对患者的解剖结构的一部分进行扩孔直至特定深度，则可能期望外科医生对患者的解剖结构的所述部分进行尽可能靠近特定直径和特定深度的扩孔(例如，以增加假体将像计划的那样配合并起作用，由此促成患者的良好的健康结果的可能性)。
在一些实例中，外科医生可通过“自由手”执行一个或多个工作操作(即，通过在没有对工具的机械或视觉引导/辅助的情况下应用工具或以其他方式使用所述工具)。例如，如图32A至图32C所示，在肩关节置换术手术的过程中，外科医生可通过视觉地估计(例如，“目测”)并标记肱骨3200的解剖颈3202来执行切除肱骨3200的肱骨头3204的外科手术步骤。外科医生之后可通过用外科医生的自由手(即，无机械或视觉引导)沿着所标记的解剖颈3202引导切割工具3206(例如，摆锯的锯片)来执行对肱骨头3204的切除。然而，完全通过自由手执行涉及这些类型工作操作的外科手术步骤可能会引入不想要的误差，从而可能会破坏骨科外科手术的结果。
在一些实例中，在骨科外科手术的过程中，外科医生可在机械引导的协助下执行一个或多个工作操作，所述操作也可被称为外科手术步骤。例如，如图33所示，外科医生可在执行肱骨头3204的切除(例如，作为执行图19的步骤1902的肱骨切割过程的一部分)之前将机械引导件3300附接在肱骨3200上。外科医生可调整机械引导件3300的一个或多个部件，使得机械引导件3300的顶表面3302与肱骨3200的解剖颈3202共面(出于说明目的，解剖颈3202被示出为虚线)。在将机械引导件3300附接到肱骨头3204并且调整机械引导件之后，外科医生可通过沿着顶表面3302引导切割工具(例如，摆锯的锯片)来执行对肱骨头3204的切除。然而，利用机械引导件可能是不期望的。作为一个实例，机械引导件的附接和/或调整会给外科手术增加时间。作为另一个实例，机械引导件是可能会带来机械引导件的额外的成本和/或因为对机械引导件进行灭菌和跟踪而带来额外的时间(例如，在手术期间以及在闭合前库存清点期间)的额外的工具。
根据本公开的一种或多种技术，诸如MR可视化系统212的可视化系统可被配置为显示虚拟引导，所述虚拟引导包括用于对患者的解剖结构的一部分执行工作的一个或多个虚拟引导。例如，可视化系统可显示覆盖在患者的肱骨的解剖颈上的虚拟切割平面。在一些实例中，诸如外科医生的用户可在真实世界场景中查看真实世界对象。真实世界场景可处于真实世界环境，诸如外科手术室中。在本公开中，术语真实和真实世界可以类似方式使用。由用户在真实世界场景中查看到的真实世界对象可包括在外科手术期间暴露的患者的实际的真实解剖结构，诸如实际关节盂或肱骨。用户可经由诸如可视化装置213的头戴式MR可视化装置的透视(例如，透明)屏幕，诸如透视的全息透镜查看真实世界对象，并且还可看到看起来好像投射在屏幕上或真实世界场景内的虚拟引导，诸如虚拟MR对象，使得一个或多个MR引导对象看起来好像是真实世界场景的一部分，例如虚拟对象在用户看来好像与实际的真实世界场景融为一体。例如，虚拟切割平面/线可投射在诸如可视化装置213的MR可视化装置的屏幕上，使得切割平面覆盖在由外科医生通过透明屏幕，例如通过透视的全息透镜查看到的患者的实际肱骨的实际的观察视图上，并且看起来好像放置在所述观察视图内。因此，在此实例中，虚拟切割平面/线可为看起来连同实际的真实世界对象一起好像都是真实世界环境的一部分的虚拟3D对象。
外科医生查看实际的真实解剖结构并且另外观察虚拟对象，诸如虚拟解剖结构和/或虚拟外科手术引导所利用的屏幕可包括一个或多个透视的全息透镜。全息透镜(有时被称为“波导”)可准许用户通过透镜查看真实世界对象，并且显示所投射的全息对象以供用户查看。如上文所讨论，适合于可视化装置213的头戴式MR装置的实例是可获自美国华盛顿雷德蒙德的Microsoft Corporation的Microsoft HOLOLENSTM头戴式耳机。HOLOLENSTM头戴式耳机包括透视的全息透镜(也被称为波导)，在所述全息透镜中向用户呈现投射图像。HOLOLENSTM头戴式耳机还包括内部计算机、相机和传感器，以及投影系统，所述投影系统用于经由全息透镜投射全息内容以供用户查看。一般而言，如上文所提及，MicrosoftHOLOLENSTM头戴式耳机或类似的MR可视化装置可包括LCoS显示装置，所述LCoS显示装置例如经由将显示装置的光耦合到光学波导的光学部件将图像投射到全息透镜(也被称为波导)中。波导可准许用户通过波导查看真实世界场景，同时还查看经由波导呈现给用户的3D虚拟图像。在一些实例中，波导可为衍射波导。
诸如虚拟切割平面的虚拟引导的呈现可使得外科医生能够在不需要机械引导件的情况下准确地切除肱骨头，例如通过沿着经由可视化系统显示的虚拟切割平面引导锯子，同时由外科医生查看实际肱骨头来进行。以此方式，诸如具有可视化装置213的MR系统212的可视化系统可使得外科医生能够执行准确的工作(例如，具有机械引导件的准确度，但是不具有使用机械引导件的缺点)。这种“无引导”外科手术在一些实例中可提供降低的成本和复杂性。
可视化系统(例如，MR系统212/可视化装置213)可被配置为显示不同类型的虚拟引导。虚拟引导的实例包括但不限于虚拟点、虚拟轴、虚拟角度、虚拟路径、虚拟平面以及虚拟表面或轮廓。如上文所讨论，可视化系统(例如，MR系统212/可视化装置213)可使得用户能够经由显示，例如投射虚拟引导的透镜直接查看患者的解剖结构。虚拟引导可引导或协助外科手术的各方面。例如，虚拟引导可引导以下项中的至少一者：用于附接假体的解剖结构的准备或假体到解剖结构的附接。
可视化系统可获得诸如本文描述的虚拟外科手术计划的虚拟外科手术计划的虚拟引导的参数。虚拟引导的示例参数包括但不一定限于：引导位置、引导取向、引导类型、引导颜色等。
可视化系统可按以下方式显示虚拟引导：虚拟引导在真实世界环境内看起来好像覆盖在患者的实际的真实解剖对象上，这例如通过显示一个或多个虚拟引导与由用户通过全息透镜查看到的实际的真实世界患者解剖结构(例如，患者的解剖结构的至少一部分)来进行。例如，虚拟引导可为看起来好像与实际的真实解剖对象一起驻留在真实世界环境内的3D虚拟对象。
下文相对于肩关节置换术外科手术描述本公开的技术。肩关节置换术的实例包括但不限于反向关节置换术、增强型反向关节置换术、标准全肩关节置换术、增强型全肩关节置换术以及半关节置换术。然而，技术不限于此，并且可视化系统可用于提供虚拟引导信息，包括任何类型的外科手术中的虚拟引导。诸如MR系统212的可视化系统可使用来在其中提供虚拟引导的其他示例手术包括但不限于：其他类型的骨科外科手术；具有后缀“置换术”、“造口术”、“切除术”、“破坏”、或“穿刺术”的任何类型的手术；针对其他关节，诸如肘部、腕部、手指、臀部、膝盖、脚踝或脚趾的骨科外科手术；或者期望有精确引导的任何其他骨科外科手术。
典型的肩关节置换术包括对患者的肩胛骨执行各种工作，以及对患者的肱骨执行各种工作。对肩胛骨的工作通常可被描述为使肩胛骨(例如，肩胛骨的关节盂腔)准备好附接假体并且将假体附接到准备好的肩胛骨。类似地，对肱骨的工作通常可被描述为使肱骨准备好附接假体并且将假体附接到准备好的肱骨。如本文所述，可视化系统可对这种关节置换术手术中执行的任何或所有工作提供引导。
如上文所讨论，MR系统(例如，MR系统212、图18的MR系统1800A等)可接收用于将假体附接到患者和/或使患者的骨骼、软组织或其他解剖结构准备好接纳假体的虚拟外科手术计划。虚拟外科手术计划可指定待执行的各种工作，以及待执行的工作的各种参数。作为一个实例，虚拟外科手术计划可指定患者的关节盂上用于执行扩孔的位置，以及扩孔的深度。作为另一个实例，虚拟外科手术计划可指定用于切除患者的肱骨头的表面。作为另一个实例，虚拟外科手术计划可指定一个或多个锚固位置(例如，螺钉、杆件、栓柱、龙骨等)的位置和/或取向。
在一些实例中，MR系统212可提供虚拟引导来协助外科医生对患者的肱骨执行工作。如图34至图41所示，MR系统212可提供虚拟引导来协助外科医生准备骨骼移植物并且将所述骨骼移植物从患者的肱骨的头部中移除。如图42A至图49所示，MR系统212可提供虚拟引导来协助外科医生进行肱骨准备，诸如切割来移除肱骨头的全部或一部分。图50是示出根据本公开的一种或多种技术由MR系统212提供虚拟引导来将植入物附接到肱骨的概念图。可使用工具来将植入物附接到肱骨3200。例如，外科医生可利用手柄4802来将假体5000插入到准备好的肱骨3200中。在一些实例中，可在插入之前将一种或多种粘附剂(例如，胶水、粘固剂等)施加到假体5000和/或肱骨3200。如图50所示，MR系统212可提供虚拟引导来协助外科医生进行肱骨植入物定位，诸如使肱骨准备好接纳植入物，并且将植入物定位在肱骨内。
在一些实例中，MR系统212可提供虚拟引导来协助外科医生对患者的肩胛骨执行工作。如图51至图62所示，MR系统可提供虚拟引导来协助外科医生进行肩胛骨准备(例如，作为执行图19的步骤1906的扩孔轴钻孔过程的一部分，作为执行图19的步骤1908的扩孔轴引导销插入过程的一部分，和/或作为执行图19的步骤1910的关节盂扩孔过程的一部分)。如图63至图65所示，MR系统可提供虚拟引导来协助外科医生进行肩胛骨植入物定位(例如，作为执行图19的步骤1912的关节盂植入物安装过程的一部分)。
可使用许多不同的技术来使肱骨准备好进行假体附接并且执行实际的假体附接。无论所使用的技术如何，MR系统212都可提供虚拟引导来协助准备和附接中的一者或两者。因此，虽然以下技术是MR系统212提供虚拟引导的实例，但是MR系统212也可为其他技术提供虚拟引导。
在一种示例技术中，相对于肱骨，工作步骤包括切除肱骨头、产生导向孔、测深、冲孔、压紧、表面准备，以及将植入物附接到肱骨。另外地，在一些技术中，工作步骤可包括骨骼移植物工作步骤，诸如将引导件安装在肱骨头中、对移植物进行扩孔、对移植物进行钻孔、切割移植物以及移除移植物，例如用于与植入物一起放置以相对于诸如关节盂的骨骼表面增强植入物。
外科医生可执行用于暴露患者的肱骨的一个或多个步骤。例如，外科医生可切出一个或多个切口来暴露肱骨的包括肱骨头的上部部分。外科医生可定位一个或多个牵开器来维持暴露。在一些实例中，MR系统212可提供引导来例如通过切出切口来协助暴露肱骨，和/或协助放置牵开器。
图34和图35是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来将机械引导件安装在肱骨头中的概念图。应注意到，出于说明目的，在图34和图35、以及其他图中省略了周围组织和一些骨骼。如图34所示，MR系统212可在肱骨3200的肱骨头3204上显示虚拟轴3400。图34和后续的图示出了外科医生、或其他用户在经由可视化装置213查看时将看到什么内容。特别地，在经由可视化装置213查看时，外科医生将看到肱骨3200的一部分以及覆盖在肱骨3200的所述部分上的虚拟轴3400(和/或其他虚拟引导)。
为了显示虚拟轴3400，MR系统212可确定肱骨3200的虚拟模型上将安装引导件的位置。MR系统212可从虚拟外科手术计划(例如，上文描述为由虚拟计划系统202产生的虚拟外科手术计划)获得位置。由MR系统212获得的位置可指定虚拟模型上的点的坐标和矢量中的一者或两者。点可为将安装引导件的位置，并且矢量可指示将安装引导件所呈的角度/坡度。因此，MR系统212可显示具有从虚拟外科手术计划获得的参数的虚拟钻孔轴，所述虚拟钻孔轴被配置为引导在关节盂中钻出一个或多个孔(例如，以用于将引导销附接到肩胛骨)。
如上文所讨论，肱骨3200的虚拟模型可与肱骨3200配准，使得虚拟模型上的坐标近似对应于肱骨3200上的坐标。因此，通过在虚拟模型上的所确定的位置处显示虚拟轴3400，MR系统212可在肱骨3200上的计划位置处显示虚拟轴3400。
外科医生可使用所显示的虚拟引导来附接物理引导件。例如，在引导件是具有带自攻螺纹的远侧尖端的引导销的情况下，外科医生可将引导销与所显示的虚拟轴3400对准并且利用钻机或其他器械来安装引导销。在一些实例中，MR系统212可显示深度引导信息以使得外科医生能够将引导销安装到计划深度。本文参考图66至图68进一步详细地讨论深度引导信息的实例。
图35是示出如安装在肱骨头3204中的引导件3500的概念图。引导件3500可采用细长销的形式以安装在形成于肱骨头中的孔中。如图34和图35所示，通过显示虚拟轴3400，外科医生可将引导件3500安装在肱骨头3204上的计划位置处。以此方式，MR系统212可实现对引导件的安装，而无需额外的机械引导件。
如上文所讨论，MR系统212可提供诸如虚拟标记的虚拟引导来协助外科医生安装引导销。例如，在图34的实例中，MR系统212可显示虚拟轴3400来协助外科医生安装引导销。MR系统212可显示的虚拟标记的其他实例包括但不限于轴、点、圆圈、环、多边形、X形状、十字形、或者任何其他形状或形状组合。MR系统212可以静止状态或以各种动画或其他效果显示虚拟标记。
图36A至图36D示出了MR系统212可显示的虚拟标记的实例。图36A示出了MR系统212将虚拟标记3600A显示为点的实例。图36B示出了MR系统212将虚拟标记3600B显示为十字形/X形状的实例。图36C示出了MR系统212将虚拟标记3600C显示为十字线的实例。图36D示出了MR系统212将虚拟标记3600D显示为十字线和轴的组合的实例。
如上文所讨论，在一些实例中，MR系统212可以各种动画或其他效果显示虚拟标记。作为一个实例，MR系统212可将虚拟标记显示为具有旋转环的十字线。作为另一个实例，MR系统212可将虚拟标记显示为闪烁的十字形/X形状。
MR系统212可以特定颜色显示虚拟标记。例如，在一些实例中，MR系统212可优选地以除红色之外的颜色，诸如绿色、蓝色、黄色等显示虚拟标记。以除红色之外的一种或多种颜色显示虚拟标记可提供一种或多种益处。例如，由于血液显现为红色并且血液可能存在于目标解剖结构之上或周围，因此红色着色的虚拟标记可能是不可见的。
上文描述的各种类型的虚拟标记的使用不限于引导销的安装。例如，MR系统212可显示上文描述的虚拟标记中的任一者来协助外科医生执行任何工作。作为一个实例，MR系统212可显示上文描述的虚拟标记中的任一者来协助外科医生对肱骨3200执行任何工作。作为另一个实例，MR系统212可显示上文描述的虚拟标记中的任一者来协助外科医生对肩胛骨5100执行任何工作。
图37和图38是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来在肱骨头中对移植物进行扩孔的概念图。如图37和图38所示，移植物扩孔工具3700可用于对肱骨头3204的表面进行扩孔并且切割轮廓线3800(示出于图38中)。
外科医生可将移植物扩孔工具3700连接到钻机或其他器械，并且MR系统212可显示虚拟引导来协助对肱骨头3204的表面进行扩孔并且切割轮廓线3800。例如，MR系统212可显示深度引导以使得外科医生能够对肱骨头3204的表面进行扩孔并且切割轮廓线3800，直至目标深度(例如，深度引导类似于下文参考图66至图68讨论的深度引导)。作为另一个实例，MR系统212可提供目标确定引导。例如，MR系统212可显示以下项中的一者或两者：标识扩孔的中心点或规定轴的虚拟标记(例如，如上文参考图36A至图36D所讨论)和/或对移植物扩孔工具3700是否与规定轴对准的指示。如图38所示，外科医生可在执行扩孔之后将移植物扩孔工具3700从引导件3500中移除。
在此实例中，移植物扩孔工具3700可为被配置为通过诸如引导件3500的引导销定位和/或引导的插管式扩孔工具。在其他实例中，移植物扩孔工具3700可能不是插管的，并且可在没有物理引导销的协助下进行引导。例如，MR系统212可提供虚拟引导(例如，深度引导和/或目标确定引导，诸如所显示的虚拟标记)以使得外科医生能够在不使用引导件3500的情况下从肱骨头3204对移植物进行扩孔。因此，MR系统212可显示具有从虚拟外科手术计划获得的参数(例如，相对于肩胛骨的虚拟模型的位置、大小和/或取向)的虚拟扩孔轴。所显示的虚拟扩孔轴可被配置为引导对肱骨头的扩孔和/或从肱骨头对移植物的扩孔。
图39和图40是示出根据本公开的一种或多种技术由诸如MR系统212的MR系统提供虚拟引导来在肱骨头中对移植物进行钻孔的概念图。如图39和图40所示，钻头3900可用于在肱骨头3204中钻出中心孔4000。
外科医生可将钻头3900连接到钻机或其他器械，并且MR系统212可显示虚拟引导来协助产生中心孔4000。例如，MR系统212可显示深度引导以使得外科医生能够将中心孔4000钻到目标深度(例如，深度引导类似于下文参考图66至图68讨论的深度引导)。作为另一个实例，MR系统212可提供目标确定引导。例如，MR系统212可显示以下项中的一者或两者：标识钻孔的中心点或规定轴的虚拟标记(例如，如上文参考图36A至图36D所讨论)和/或对钻头3900是否在规定轴上的指示。
在此实例中，钻头3900可为被配置为通过诸如引导件3500的引导销定位和/或引导的插管式扩孔工具。在其他实例中，钻头3900可能不是插管的，并且可在没有物理引导销的协助下进行引导。例如，MR系统212可提供虚拟引导(例如，深度引导和/或目标确定引导，诸如虚拟标记)以使得外科医生能够在不使用引导件3500的情况下钻出中心孔4000。
图41是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来在肱骨头中切割移植物的概念图。如图41所示，上文讨论的扩孔和钻孔工作步骤可导致移植物4102具有底表面仍然附接到肱骨3200的圆环面形状。外科医生可使用诸如摆锯4104的工具来从肱骨3200切割移植物4102。
MR系统212可显示虚拟引导来协助切割过程。作为一个实例，MR系统212可提供目标确定引导。例如，MR系统212可显示指示外科医生应使用工具切割的位置的诸如虚拟切割表面4100的虚拟标记(例如，虚拟切割平面或上文参考图36A至图36D讨论的虚拟标记中的任一者)，和/或对工具(例如，摆锯4104)是否与虚拟切割表面对准的指示。MR系统212可从虚拟外科手术计划获得虚拟切割平面的位置和取向。因此，MR系统212可显示具有从虚拟外科手术计划获得的参数(例如，相对于肱骨头的虚拟模型的位置、大小和/或取向)的虚拟切割平面，所述虚拟切割平面引导从肱骨头切割移植物。如图41所示，MR系统212可在平行于移植物4102的底部，或与所述底部相同的平面上显示虚拟切割表面4100。作为另一个实例，MR系统212可显示移植物4102的虚拟模型。例如，MR系统212可显示移植物4102的轮廓线。作为另一个实例，MR系统212可提供深度引导(例如，深度引导类似于下文参考图66至图68讨论的深度引导)。例如，MR系统212可显示深度引导以使得外科医生能够切割到目标深度。
外科医生可将移植物用于任何目的。例如，外科医生可利用移植物来填充假体与患者的关节盂之间的空的空间，和/或在将假体附接到患者的关节盂时提供/增加偏移量。
为了使肱骨准备好植入假体，外科医生可切除、切割或以其他方式移除肱骨头。用于肱骨头移除的若干MR辅助技术是预期的，包括涉及在移除移植物的情况下切割肱骨头，以及在不移除移植物的情况下切割肱骨头的技术。在第一示例技术中，MR系统212可显示诸如虚拟切割平面的虚拟切割表面，所述虚拟切割表面引导外科医生例如在不采用移植物的情况下切除肱骨头。在此情况下，可能不需要机械引导件，从而使得程序不那么复杂并且可能不那么昂贵，同时仍然维持准确度。下文参考图42A至图42C讨论了第一示例技术的其他细节。在第二示例技术中，MR系统212可显示虚拟轴，所述虚拟轴引导外科医生来将物理引导件(即，机械引导件)安装在肱骨上，然后引导外科医生来切除肱骨头。下文参考图43讨论了第二示例技术的其他细节。
图42A至图42C是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来切除肱骨头的概念图。如图42A和图42B所示，MR系统212可在肱骨3200上的计划位置处显示虚拟切割平面4200。为了显示虚拟切割平面4200，MR系统212可确定肱骨3200的虚拟模型上将切除肱骨头3204的位置。MR系统212可从虚拟外科手术计划(例如，上文描述的虚拟外科手术计划)获得位置。因此，MR系统212可显示具有从虚拟外科手术计划获得的参数(例如，相对于肱骨的虚拟模型的位置、大小和/或取向)的虚拟切割表面(例如，切割平面)，所述虚拟切割表面引导切除肱骨的头部的一部分。
如上文所讨论，肱骨3200的虚拟模型可与肱骨3200配准，使得虚拟模型上的坐标近似对应于肱骨3200上的坐标。因此，通过在虚拟模型上的所确定的位置处显示虚拟切割平面4200，MR系统212可在肱骨3200上的计划位置处显示虚拟切割平面4200。
外科医生可使用所显示的虚拟引导来切除肱骨头3204。例如，外科医生可利用摆锯4104以通过沿着虚拟切割平面4200进行切割来切除肱骨头3204。在一些实例中，MR系统212可显示目标确定引导来指示工具(例如，摆锯4104)是否在规定平面上。
图43是示出根据本公开的一种或多种技术的使用虚拟引导定位的用于肱骨头切除的物理引导件的概念图。如上文所讨论，在第二示例技术中，MR系统212可显示虚拟轴，所述虚拟轴引导外科医生来安装物理引导件，所述物理引导件引导外科医生来切除肱骨头。例如，MR系统212可使用类似于上文参考图34和图35讨论的那些的技术来显示虚拟标记，诸如虚拟轴。外科医生可使用虚拟轴来引导对物理引导件3500(例如，引导销)的安装。因此，MR系统212可显示具有从虚拟外科手术计划获得的参数(例如，相对于肱骨的虚拟模型的位置、大小和/或取向)的虚拟钻孔轴，所述虚拟钻孔轴引导将引导销附接到肱骨。如上文所讨论，引导销可被配置为引导将切除引导件附接到肱骨。
外科医生可使用引导件3500来协助安装切除引导件4300(例如，引导销可被配置为引导将切除引导件附接到肱骨)。一般而言，切除引导件4300可为被配置为物理地引导工具(例如，摆锯)来切除肱骨头的物理组件。在图43的实例中，切除引导件4300包括板4302A和4302B(统称为“板4302”)、上部板4308、调整螺钉4306A和4306B(统称为“调整螺钉4306”)以及引导件接纳部4310。
引导件接纳部4310可被设定大小以容纳引导件3500，使得切除引导件4300可越过引导件3500。板4302限定槽4304，所述槽4304可被设定大小来将工具(例如，摆锯)接纳在板4302之间并且物理地引导所述工具越过切割平面4312。上部板4308可被配置为抵靠在肱骨头3204(天然的或者在已执行工作来移除移植物之后)的顶部上。调整螺钉4306可相对于上部板4308共同地或独立地调整来定位板4302，以及因此切割平面4312。
MR系统212可提供虚拟引导来协助定位切除引导件4300。作为一个实例，MR系统212可在切割平面4312的期望的位置处显示虚拟切割平面。外科医生可调整调整螺钉4306，直到槽4304与虚拟切割平面对准为止。在一些实例中，MR系统212可提供关于将拧紧或松开调整螺钉4306中的哪一者的引导。一旦切除引导件4300被适当地配置(例如，槽4304与虚拟切割平面对准)，则外科医生就可操作工具来切除肱骨头3204。
图44和图45是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来在肱骨中产生导向孔的概念图。如图44和图45所示，起始锥4400可用于在切除件的铰接点处产生与肱骨沟成直线的导向孔。
MR系统212可提供虚拟引导来协助产生导向孔。作为一个实例，MR系统212可显示目标确定引导，诸如虚拟标记(例如，虚拟点4402)，所述虚拟标记表示外科医生应产生导向孔的位置。例如，MR系统212可显示具有从虚拟外科手术计划获得的参数(例如，相对于肱骨的虚拟模型的位置、大小和/或取向)的虚拟轴，所述虚拟轴引导在已切除肱骨的头部之后在肱骨中产生导向孔。作为另一个实例，MR系统212可显示深度引导(例如，下文参考图66至图68讨论的深度引导)来协助外科医生产生导向孔直至规定深度。
图46是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来对肱骨进行测深的概念图。如图46所示，测深器4600可用于确定肱骨3200的远侧部分的大小上限。在一些实例中，如本文所讨论，可根据大小上限使用不同大小的多个测深器。
MR系统212可提供虚拟引导来协助测深。作为一个实例，MR系统212可为测深器4600显示虚拟目标确定引导。例如，MR系统212可显示指示应插入测深器4600的虚拟标记(例如，如上文参考图36A至图36D所讨论)。
图47是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来对肱骨进行冲孔的概念图。如图47所示，外科医生可将冲孔器模板4700附接到测深器4600(或在测深步骤期间确定的最终的测深器)。外科医生之后可将冲孔器4702放置到模板4700中，直到冲孔器4702触底于模板4700。外科医生之后可通过将测深器4600、模板4700和冲孔器4702拉出肱骨3200来移除受损的骨骼。
MR系统212可提供虚拟引导来协助冲孔。作为一个实例，MR系统212可显示对冲孔器4702是否适当地定位在模板4700中的指示。例如，在冲孔器4702适当地定位在模板4700中的情况下，MR系统212可显示指示适当定位的虚拟标记(例如，检查标志)。类似地，在冲孔器4702未适当地定位在模板4700中的情况下，MR系统212可显示指示不当定位的虚拟标记(例如，X)。
图48是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来压紧肱骨的概念图。如图48所示，压紧器4800可附接到手柄4802并且插入到肱骨3200中。在一些实例中，可使用多个压紧器。例如，外科医生可以比最终的测深器的大小小三个号的压紧器开始操作并且随后进行压紧，直到实现令人满意的固定为止。可通过手柄4802的轻微扭矩运动来评定令人满意的固定。如果已实现令人满意的固定，则压紧器4800在此测试期间不应在肱骨内移动。
MR系统212可提供虚拟引导来协助压紧。作为一个实例，MR系统212可显示对是否已实现令人满意的固定的指示。例如，在MR系统212确定已实现令人满意的固定的情况下，MR系统212可显示指示令人满意的固定的虚拟标记(例如，检查标志)。类似地，在MR系统212确定尚未实现令人满意的固定的情况下，MR系统212可显示指示不令人满意的固定的虚拟标记(例如，X)。
外科医生可将压紧器4800(例如，最终的压紧器)与手柄4802断开连接。外科医生之后可执行一个或多个表面准备步骤。
图49是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来准备肱骨的表面的概念图。如图49所示，外科医生可使用表面计划工具4900来准备肱骨3200的表面(例如，以确保忠实于假体的平滑切除)。
MR系统212可提供虚拟引导来协助表面准备。例如，MR系统212可提供目标确定引导(例如，类似于下文参考图66至图68讨论的目标确定引导)来协助外科医生将表面计划工具4900保持在计划/规定轴上。
可使用许多不同的技术来使肩胛骨准备好进行假体附接并且执行实际的假体附接。无论所使用的技术如何，MR系统212都可提供虚拟引导来协助准备和附接中的一者或两者。因此，虽然以下技术是MR系统212提供虚拟引导的实例，但是MR系统212也可为其他技术提供虚拟引导。
在一种示例技术中，外科手术步骤包括将引导件安装在肩胛骨的关节盂中，对关节盂进行扩孔，在关节盂中产生中心孔，在关节盂中产生额外的锚固位置，以及将植入物附接到准备好的关节盂。由于使用了引导销，因此示例技术可被视为插管技术。然而，所述技术同样适用于非插管技术。
外科医生可执行用于暴露患者的关节盂的一个或多个步骤。例如，在患者的手臂外展并向内部旋转时，外科医生可切出一个或多个切口以暴露关节盂。外科医生可定位一个或多个牵开器来维持暴露。在一些实例中，MR系统212可提供引导来协助暴露，和/或协助放置牵开器。
图51是示出根据本公开的一种或多种技术由MR系统向用户提供虚拟引导来将引导件安装在肩胛骨的关节盂中的概念图。如图51所示，MR系统212可在肩胛骨5100的关节盂5102上显示例如呈虚拟轴5104的形式的虚拟引导。为了显示虚拟轴5104，MR系统212可确定关节盂5102的虚拟模型上将安装引导件的位置。MR系统212可从虚拟外科手术计划(例如，上文描述的虚拟外科手术计划)获得位置。由MR系统212获得的位置可指定虚拟模型上的点的坐标和矢量中的一者或两者。点可为将安装引导件的位置，并且矢量可指示将安装引导件所呈的角度/坡度。因此，MR系统212可显示具有从虚拟外科手术计划获得的参数(例如，相对于肩胛骨的虚拟模型的位置、大小和/或取向)的虚拟扩孔轴。所显示的虚拟扩孔轴可被配置为引导对关节盂进行扩孔。
如上文所讨论，关节盂5102的虚拟模型可与关节盂5102配准，使得虚拟模型上的坐标近似对应于关节盂5102上的坐标。因此，通过在虚拟模型上的所确定的位置处显示虚拟轴5104，MR系统212可在关节盂5102上的计划位置处显示虚拟轴5104。
同样如上文所讨论，可在配准之后选择性地显示关节盂5102的虚拟模型。例如，在将关节盂5102的虚拟模型与关节盂5102配准之后，MR系统212可停止显示虚拟模型。可选地，MR系统212可在配准之后继续显示覆盖在关节盂5102上的虚拟模型。对虚拟模型的显示可为选择性的，因为外科医生可激活或停用对虚拟模型的显示。
MR系统212可以变化的不透明度(例如，透明度)显示虚拟模型和/或虚拟引导。不透明度可自动地、手动地或以这两种方式调整。作为一个实例，外科医生可向MR系统212提供用户输入来手动地调整虚拟模型和/或虚拟引导的不透明度。作为另一个实例，MR系统212可基于视场中的光量(例如，外科医生所看之处的光量)而自动地调整不透明度。例如，MR系统212可将虚拟模型和/或虚拟引导的不透明度调整(例如，增加透明度)为与视场中的光量正相关(例如，更亮的光带来增加的不透明度/减小的透明度，并且更暗的光带来减小的不透明度/增加的透明度)。
外科医生可使用所显示的虚拟引导来附接物理引导件。作为一个实例，在引导件是具有带自攻螺纹的远侧尖端的引导销的情况下，外科医生可将引导销与所显示的虚拟轴5104对准并且利用钻机或其他器械来安装引导销。作为另一个实例，在引导件是不具有自攻尖端的引导销的情况下，外科医生可使钻机的钻头与所显示的虚拟轴5104对准并且操作钻机来形成孔以接纳引导销，然后将引导销安装在孔中。在一些实例中，MR系统212可显示深度引导信息以使得外科医生能够将引导销安装到计划深度。本文参考图66进一步详细地讨论深度引导信息的实例。
图52是示出如安装在关节盂5102中的引导件5200(即，在此实例中为引导销)的概念图。如图51和图52所示，通过显示虚拟轴5104，外科医生可与虚拟轴(其可被称为扩孔轴)对准地钻孔，并且由此形成孔以将引导件5200安装在关节盂5102的计划位置处。以此方式，MR系统212可实现对引导件的安装，而无需额外的机械引导件。
图53是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来对关节盂进行扩孔的概念图。如图53所示，扩孔工具5300可用于对关节盂5102的表面进行扩孔。在此实例中，扩孔工具5300可为被配置为通过诸如引导件5200的引导销定位和/或引导的插管式扩孔工具。例如，插管式扩孔工具的轴杆可接纳引导件5200，使得工具轴杆与销基本上同心地安装。在其他实例中，扩孔工具5300可能不是插管的，并且可在没有物理引导销的协助下进行引导。
外科医生可将扩孔工具5300附接到引导件5200(例如，将引导件5200的近侧尖端插入到扩孔工具5300中)，并且附接钻机或其他器械来使扩孔工具5300旋转。为了执行扩孔，外科医生可旋转扩孔工具5300以使扩孔工具5300顺着引导件5200向下推进，直到完成扩孔为止。
MR系统212可显示虚拟引导来协助扩孔过程。作为一个实例，MR系统212可提供深度引导。例如，MR系统212可显示深度引导以使得外科医生能够扩孔到目标深度。作为另一个实例，MR系统212可提供目标确定引导。例如，MR系统212可显示对扩孔工具5300是否与虚拟扩孔轴对准的指示。
虽然在本文中描述为单个扩孔步骤，但是外科手术可包括多个扩孔步骤。各种扩孔步骤可使用相同的轴/引导销或者可使用不同的轴/引导销。在不同的扩孔步骤使用不同的轴的实例中，MR系统212可提供虚拟引导来使用不同的轴进行扩孔。
图54和图55是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来(例如，在扩孔后)在关节盂中产生中心孔的概念图。如图54和图55所示，钻头5400可用于在关节盂5102中钻出中心孔5500。在此实例中，钻头5400可为被配置为通过诸如引导件5200的引导销定位和/或引导的插管式钻头。在其他实例中，钻头5400可能不是插管的，并且可在没有物理引导销的协助下进行引导。例如，MR系统212可提供虚拟引导(例如，虚拟标记、下文参考图66至图68讨论的深度引导和/或目标确定引导的任何组合)以使得外科医生能够在不使用引导件5200的情况下对关节盂5102进行钻孔。如下文进一步详细地讨论的，中心孔5500可有助于例如经由一个或多个锚固件将假体附接到关节盂5102。
MR系统212可显示虚拟引导来协助产生中心孔5500。例如，MR系统212可显示深度引导以使得外科医生能够将中心孔5500钻到目标深度。作为另一个实例，MR系统212可提供目标确定引导(例如，虚拟标记和/或下文参考图66至图68讨论的目标确定引导的任何组合)。例如，MR系统212可显示对钻头工具5400是否在规定轴上的指示，所述规定轴被选择来在适当的位置以适当的取向形成中心孔5500。
除了中心孔(例如，中心孔5500)之外，可能还期望外科医生在关节盂中产生额外的锚固位置。这种额外的锚固位置可改进假体与关节盂之间的固定。例如，额外的锚固位置可在假体与关节盂之间提供抗旋转支持。取决于将安装的假体的类型，可使用若干种不同类型的锚固件。锚固件的一些实例包括但不一定限于龙骨和栓柱锚固件。然而，本文讨论的虚拟引导技术可适用于任何类型的锚固件。下文参考图56至图59讨论了用于龙骨类型锚固件的示例MR引导。下文参考图60至图62讨论了用于栓柱类型锚固件的示例MR引导。在每种情况下，锚固件可有助于将诸如用于解剖关节置换术的关节盂基板，或用于反向关节置换术的关节盂基板和关节盂球的关节盂植入物放置到关节盂中并且将所述关节盂植入物固定在适当的位置。
图56是示出具有龙骨类型锚固件的关节盂假体的概念图。如图56所示，关节盂假体5600包括：后表面5602，所述后表面5602被配置为接合关节盂5102的准备好的表面(例如，经扩孔的表面)；以及龙骨锚固件5604，所述龙骨锚固件5604被配置为插入关节盂5102中产生的龙骨槽(例如，图59的龙骨槽5902)中。
图57至图59是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来在关节盂中产生龙骨类型锚固位置的概念图。如图57所示，MR系统212可提供虚拟引导来在关节盂5102中钻出额外的孔。MR系统212可提供虚拟引导来以各种方式中的任一者钻出额外的孔。作为一个实例，MR系统212可在将钻出额外的孔的位置处显示虚拟引导，诸如具有指定形状(例如，轴、箭头、点、圆圈、X形状、十字形、标靶等)、大小和/或颜色的虚拟标记。例如，在图57的实例中，MR系统212可在将钻出额外的孔的位置处显示虚拟标记5700A和5700B。作为另一个实例，MR系统212可在将钻出额外的孔的位置处显示虚拟轴，以协助外科医生适当地对准钻头来在关节盂骨骼中形成孔。例如，MR系统212可(例如，在将钻出额外的孔的位置处)显示具有从虚拟外科手术计划获得的相应参数的多个虚拟钻孔轴，多个虚拟钻孔轴中的每个相应的虚拟钻孔轴被配置为引导在关节盂中钻出相应的孔。
MR系统212可基于虚拟外科手术计划而确定额外的孔的位置。例如，类似于图51的虚拟轴5104，MR系统212可从虚拟外科手术计划获得将在关节盂5102的虚拟模型上钻出的额外的孔的一个或多个位置。因此，通过在虚拟模型上的所确定的位置处显示虚拟标记5700A和5700B，MR系统212可在关节盂5102上的计划位置处显示虚拟标记5700A和5700B。如上文所讨论，虚拟外科手术计划可为患者特定的，因为计划可特别针对特定患者而制定。因此，关节盂5102上MR系统212显示虚拟标记5700A和5700B的计划位置可被视为患者特定计划位置。因而，计划位置的位置将根据各个患者特定外科手术计划在患者之间变化。
外科医生可利用钻头和钻机来在由MR系统212指示的一个或多个位置处产生一个或多个额外的孔。例如，如图58所示，外科医生可在虚拟标记5700A的位置处钻出孔5800A，并且在虚拟标记5700B的位置处钻出孔5800B。外科医生可针对每个孔使用同一个钻头，或者可针对不同的孔使用不同的钻头。
作为对指示将钻出额外的孔的位置的虚拟标记，诸如上文描述的那些的补充或取代，MR系统212可提供用于钻孔的虚拟引导。作为一个实例，MR系统212可提供目标确定引导以指示钻机是否在目标轴上。在此情况下，作为虚拟标记的补充或替代，MR系统212可显示从待钻出的相应的孔中的每一者的位置向外延伸的引导轴。作为另一个实例，MR系统212可显示遮掩部，其中遮掩部中的孔对应于将钻出孔的位置。作为另一个实例，MR系统212可显示深度引导以使得外科医生能够将孔5800A和5800B钻到目标深度(例如，下文参考图66至图68讨论的深度引导)。
MR系统212可提供虚拟引导来将孔加工成可容纳关节盂假体5600的龙骨锚固件5604的龙骨槽。作为一个实例，MR系统212可围绕孔5800A、5500和5800B显示虚拟轮廓线5802。例如，MR系统212可将虚拟轮廓线5802显示为近似对应于待产生的期望的龙骨槽的最终的轮廓线。
外科医生可利用工具来将孔5800A、5500和5800B加工成龙骨槽5902。如图59所示，外科医生可利用龙骨冲孔器5900来将孔5800A、5500和5800B加工成龙骨槽5902。例如，外科医生可将龙骨冲孔器5900冲击到由虚拟轮廓线5802指示的区中。在此情况下，虚拟轮廓线5802限定期望的龙骨槽5902的形状和尺寸，从而准许外科医生将孔加工成视觉地匹配或近似龙骨槽的所显示的虚拟轮廓线的形式。
MR系统212可提供额外或替代的虚拟引导来产生龙骨槽5902。作为一个实例，MR系统212可显示深度引导以使得外科医生能够将龙骨冲孔器5900冲击到目标深度(例如，深度引导类似于下文参考图66至图68讨论的深度引导)。作为另一个实例，MR系统212可提供目标确定引导来指示龙骨冲孔器5900是否在目标轴上(例如，目标确定引导类似于下文参考图66至图68讨论的目标确定引导)。作为另一个实例，MR系统212可显示具有针对虚拟轮廓线5802的切口的遮掩部。
图60是示出具有栓柱类型锚固件的关节盂假体的概念图。如图60所示，关节盂假体6000包括：后表面6002，所述后表面6002被配置为接合关节盂5102的准备好的表面(例如，经扩孔的表面)；中心栓柱锚固件6004，所述中心栓柱锚固件6004被配置为插入关节盂5102中产生的中心孔中；以及一个或多个栓柱锚固件6006A至6006C(被统称为“栓柱锚固件6006”)，所述一个或多个栓柱锚固件6006A至6006C相应地被配置为插入关节盂5102中产生的额外的孔中。
图61和图62是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来在关节盂中产生栓柱类型锚固位置的概念图。如图61所示，MR系统212可提供虚拟引导来在关节盂5102中钻出额外的孔。MR系统212可提供虚拟引导来以各种方式中的任一者钻出额外的孔。作为一个实例，MR系统212可在将钻出额外的孔的位置处显示虚拟标记(例如，轴、点、圆圈、X形状等)。例如，在图61的实例中，MR系统212可在将钻出额外的孔的位置处显示虚拟标记5700A至5700C。作为另一个实例，MR系统212可显示从将钻出额外的孔的位置延伸的虚拟轴。作为另一个实例，MR系统212可显示指示将钻出孔的遮掩部(有效地为虚拟标记的倒置)。
MR系统212可基于虚拟外科手术计划而确定额外的孔的位置。例如，类似于图51的虚拟轴5104，MR系统212可从虚拟外科手术计划(其可为患者特定的)获得将在关节盂5102的虚拟模型上钻出的额外的孔的一个或多个位置。因此，通过在虚拟模型上的所确定的位置处显示虚拟标记5700A至5700C，MR系统212可在关节盂5102上的计划位置处显示虚拟标记5700A至5700C。
外科医生可利用一个钻头(或多个钻头)和钻机来在由MR系统212指示的一个或多个位置处产生一个或多个额外的孔。例如，如图62所示，外科医生可在虚拟标记5700A的位置处钻出孔5800A，在虚拟标记5700B的位置处钻出孔5800B，并且在虚拟标记5700C的位置处钻出孔5800C。
作为对指示将钻出额外的孔的位置的虚拟标记的补充或取代，MR系统212可提供用于钻孔的虚拟引导。作为一个实例，MR系统212可提供目标确定引导以指示钻机是否在目标轴上。作为另一个实例，MR系统212可显示深度引导以使得外科医生能够将孔5800A至5800C钻到目标深度。
应注意到，不同的植入物可具有不同的轮廓，诸如增强的轮廓。另外地，如本文所讨论，一些植入物可用取自患者，诸如骨骼移植物的额外的物质植入。在此类实例中的一些中，MR系统212可提供虚拟引导来放置额外的物质。例如，MR系统212可提供虚拟引导来将骨骼移植物附接到植入物，并且提供引导来将移植物/植入物组件附接到患者。
在一些实例中，无论使用何种锚固类型，外科医生都可利用试验部件来确定关节盂5102是否已适当地做好准备。试验部件可具有与待植入的假体的后表面和锚固件相同地设定大小和定位的后表面和锚固件。
图149是根据本公开的一种或多种技术的用于对解剖结构准备进行MR辅助验证的示例技术的流程图。如上文所讨论，在一些实例中，试验部件可用于确定患者的解剖结构的一部分是否已适当地做好准备。例如，表面匹配待植入的假体的表面的试验部件可放置在准备好的解剖结构之中/周围/抵靠所述准备好的解剖结构放置/等。如果试验部件的表面与准备好的解剖结构的表面相匹配，则外科医生可确定解剖结构已适当地做好准备。然而，在一些实例中，可能期望在不需要使用试验部件的情况下确定解剖结构是否已适当地做好准备。
根据本公开的一种或多种技术，MR系统212可执行虚拟试验来确定关节盂5102是否已适当地做好准备。例如，MR系统212可在关节盂已准备好附接假体之后获得肩胛骨的关节盂的一个或多个尺寸(14902)。作为一个实例，MR系统212的一个或多个传感器(例如，一个或多个深度相机和/或一个或多个RGB相机)可捕获准备好的关节盂5102的数据。MR系统212可基于所捕获的数据而确定准备好的关节盂5102的一个或多个尺寸。
MR系统212可获得待植入的假体的尺寸(14904)。例如，MR系统212可从虚拟外科手术计划、假体尺寸的数据库或任何其他合适的来源获得假体的尺寸。
MR系统212可将所确定的尺寸与待植入的假体的所获得的尺寸进行比较(14906)以确定解剖结构是否已适当地做好准备(14908)。例如，MR系统212可在所确定的尺寸与待植入的假体的尺寸之间的差异小于阈值的情况下确定解剖结构已适当地做好准备。类似地，MR系统212可在所确定的尺寸与待植入的假体的尺寸之间的差异大于阈值的情况下确定解剖结构尚未适当地做好准备。作为一个实例，如果所确定的尺寸与待植入的假体的尺寸之间的差异小于阈值，则MR系统212可确定关节盂5102已适当地做好准备(例如，以接纳假体)。类似地，如果所确定的尺寸与待植入的假体的尺寸之间的差异大于阈值，则MR系统212可确定关节盂5102尚未适当地做好准备。
MR系统212可输出对关节盂5102是否已适当地做好准备来接纳植入物(另外被称为假体)的指示(14910/14912)。作为一个实例，MR系统212可输出关节盂5102已适当地做好准备来接纳假体的图形指示。作为另一个实例，MR系统212可(例如，经由感官装置526)输出关节盂5102已适当地做好准备来接纳假体的触觉或可听指示。在MR系统212确定关节盂5102尚未适当地做好准备的情况下，MR系统212可提供虚拟引导来供外科医生执行额外的工作，以便适当地对关节盂5102做好准备。
上文描述的MR辅助验证技术可用于任何类型的解剖结构，例如用于各种关节修复外科手术中的任一者中。作为一个实例，如上所述，MR辅助验证技术可用于确定关节盂是否已适当地做好准备。作为另一个实例，MR辅助验证技术可用于确定肱骨是否已适当地做好准备。作为另一个实例，MR辅助验证技术可用于确定胫骨是否已适当地做好准备。作为另一个实例，MR辅助验证技术可用于确定距骨是否已适当地做好准备。作为另一个实例，MR辅助验证技术可用于确定股骨是否已适当地做好准备。
图63是示出根据本公开的一种或多种技术由MR系统提供虚拟引导来将植入物附接到关节盂的概念图。可使用工具来将植入物(例如，栓柱植入物、龙骨植入物或任何其他类型的植入物)附接到关节盂5102。例如，外科医生可利用冲击器6302来将假体6300插入到准备好的关节盂5102中。在一些实例中，可在冲击之前将一种或多种粘附剂(例如，胶水、粘固剂等)施加到假体6300和/或关节盂5102。
在一些实例中，可使用一个或多个紧固件来将假体附接到关节盂5102。例如，如图64和图65所示，可使用螺钉6400A至6400D(统称为“螺钉6400”)和中心杆6402来将假体6300附接到关节盂5102。作为对假体中所包括的任何锚固件(例如，栓柱、龙骨等)的补充或取代，可使用这些紧固件。
MR系统212可提供虚拟引导以有助于安装额外的紧固件。例如，如图65所示，MR系统212可显示虚拟轴6500A至6500D(统称为“虚拟轴6500”)(其可被称为“虚拟螺钉轴”)，以引导外科医生来安装螺钉6400(例如，安装到关节盂5102中)。在螺钉6400是“自攻”的实例中，MR系统212可显示虚拟引导(例如，虚拟轴)来引导插入螺钉6400。例如，MR系统212可显示具有从虚拟外科手术计划获得的参数(例如，相对于肩胛骨的虚拟模型的位置、大小和/或取向)的虚拟螺钉轴，所述虚拟螺钉轴引导将螺钉插入到关节盂中。在螺钉6400不是“自攻”的实例中，MR系统212可显示虚拟引导(例如，虚拟轴)来引导为螺钉6400钻出导向孔。例如，MR系统212可显示具有从虚拟外科手术计划获得的参数(例如，相对于肩胛骨的虚拟模型的位置、大小和/或取向)的虚拟钻孔轴，所述虚拟钻孔轴引导在关节盂中钻出一个或多个孔(例如，一个或多个导向孔和/或一个或多个间隙孔)(例如，以用于拧入螺钉6400)。
为了显示虚拟引导来安装紧固件，MR系统212可将假体的虚拟模型配准到实际的被观察假体。例如，MR系统212可从虚拟外科手术计划获得假体6300的虚拟模型，并且以类似于上文参考图17至图20描述的配准过程的方式执行配准。
MR系统212可获得待安装的紧固件中的每一者的位置。例如，MR系统212可从虚拟外科手术计划获得紧固件中的每一者的在假体的虚拟模型上的坐标和矢量。在一些实例中，MR系统212可确定每个紧固件的坐标是假体中的对应的孔的形心。例如，MR系统212可确定螺钉6400A的坐标是孔6502的形心。
外科医生可使用所显示的虚拟引导来安装紧固件。例如，外科医生可使用螺丝起子或其他器械来安装螺钉6400。
MR系统212可显示虚拟引导来协助紧固件附接。作为一个实例，MR系统212可提供深度引导。例如，MR系统212可显示深度引导以使得外科医生能够将螺钉6400中的每一者安装到目标深度。作为另一个实例，MR系统212可提供目标确定引导。例如，MR系统212可显示对螺钉6400中的每一者是否安装在规定轴上的指示。作为另一个实例，MR系统212可对拧紧螺钉6400的次序提供引导。例如，MR系统212可在螺钉6400中的将被拧紧的特定螺钉上显示虚拟标记。
如上文所讨论，MR系统212可提供各种各样的虚拟引导。可由MR系统212提供的虚拟引导的实例包括但不限于目标确定引导和深度引导。MR系统212可提供目标确定引导来协助外科医生沿着特定轴执行工作(例如，钻出孔、扩孔、安装螺钉等)。MR系统212可提供深度引导来协助外科医生执行工作(例如，钻出孔、扩孔、安装螺钉等)直至期望的深度。
图66是根据本公开的一种或多种技术的可由MR系统提供的虚拟引导的概念图。如图66所示，外科医生可通过可视化装置213查看肩胛骨5100的一部分。
如上文所讨论，在一些实例中，外科医生可利用一个或多个工具来对患者的解剖结构(例如，肩胛骨5100、肱骨3200等)的部分执行工作。例如，外科医生可利用诸如钻机6600的钻机来安装引导件5200，操作扩孔工具5300，操作钻头5400和/或安装螺钉6400。然而，如图66所示，钻机6600可能会遮挡肩胛骨5100的外科医生在上面执行工作的部分中的至少一些。
根据本公开的一种或多种技术，MR系统212可利用可视化装置213来针对外科医生在肩胛骨5100(或肱骨3200)的部分上执行的工作向外科医生提供图形目标确定引导6602和图形深度引导6604。例如，为了显示图形目标确定引导6602，MR系统212可确定正被使用的工具(例如，钻机6600或附接到所述钻机的钻头/器械)的当前取向以及目标取向(例如，经由虚拟外科手术计划获得的目标矢量)。MR系统212可使用任何数量的技术来确定正被使用的工具的当前取向。作为一个实例，MR系统212可基于从附接到工具的一个或多个传感器(例如，加速度计、陀螺仪等)接收的取向数据而确定正被使用的工具的当前取向。作为另一个实例，MR系统212可基于由可视化装置213的一个或多个传感器(例如，光学相机530、深度相机532等)捕获的数据而确定正被使用的工具的当前取向。
在一些实例中，MR系统212可将图形目标确定引导6602显示为一个或多个视点(除了外科医生的视点之外)的图形表示。图形表示可被称为合成视图。例如，如图66所示，MR系统212可显示来自由箭头6606指示的视点的侧视图的图形表示，以及来自由箭头6606指示的视点的顶视图的图形表示。侧视图可为左侧视图或右侧视图。类似地，顶视图可为底视图。在一些实例中，顶视图/底视图/左视图/右视图的显示可能能够由外科医生选择。另外地或可选地，MR系统212可基于外科手术是在患者的左侧上还是右侧上执行而自动地选择显示哪个视图(例如，选择默认视图)。
在图66中，额外视点的图形表示示出了在正被使用的工具(例如，钻机6600或附接到所述钻机的钻头/器械)的当前取向与目标取向(例如，目标矢量)之间的相对角度差异。可由MR系统212显示的其他图形表示包括但不限于十字线、数值(例如，相对角度差异的数值)、符号表示(例如，检查标志/X、着色的阴影等)或正被使用的工具的当前取向与延伸到骨骼(例如，肩胛骨的关节盂、肱骨或任何其他骨骼)上的目标位置的目标矢量之间的关系的任何其他图形表示。应理解，作为对其他虚拟引导的补充或取代，MR系统212可显示额外视点。例如，MR系统212可同时显示额外视点和虚拟轴/切割表面。
例如，为了显示图形深度引导6604，MR系统212可确定正被使用的工具(例如，钻机6600或附接到所述钻机的钻头/器械)的当前深度以及目标深度(例如，经由虚拟外科手术计划获得的目标深度)。MR系统212可使用任何数量的技术来确定正被使用的工具的当前深度。作为一个实例，MR系统212可基于从附接到工具的一个或多个传感器(例如，加速度计、陀螺仪等)接收的取向数据而确定正被使用的工具的当前深度。作为另一个实例，MR系统212可基于由可视化装置213的一个或多个传感器(例如，光学相机530、深度相机532等)捕获的数据而确定正被使用的工具的当前深度。作为另一个实例，MR系统212可如本文参考图73至图79所描述确定工具的当前深度。
MR系统212可将图形深度引导6604显示为当前深度与目标深度之间的关系的图形表示。在图66中，当前深度与目标深度之间的关系的图形表示被示出为从起始深度(在此实例中示出为白色圆圈)向目标深度(在此实例中示出为黑色圆圈)推进的箭头。可由MR系统212显示的其他图形表示包括但不限于数值(例如，剩余深度的数值；当前深度的数值和目标深度的数值；等)、符号表示(例如，在已实现目标深度时的检查标志、着色的阴影等)或当前深度与目标深度之间的关系的任何其他图形表示。
如本文所讨论，MR系统212的可视化装置213可在外科医生查看患者的解剖结构所利用的透镜上显示虚拟引导。因此，在一些实例中，虚拟引导可被视为混合现实(MR)引导。
作为对图形引导(目标确定和/或深度)的补充或取代，MR系统212可输出呈其他形式的引导。例如，MR系统212可针对目标确定和深度中的一者或两者输出音频和/或触觉引导。作为一个实例，MR系统212可通过使当前正被使用的工具和/或可视化装置213中的一者或两者在达到目标深度时振动来输出触觉深度引导。作为另一个实例，MR系统212可通过使当前正被使用的工具和/或可视化装置213中的一者或两者在工具的取向相对于目标取向偏移超过阈值量时振动来输出触觉目标确定引导。
作为另一个实例，MR系统212可通过使可视化装置213输出当前深度与目标深度之间的差异的可听表示来输出音频深度引导。例如，可视化装置213可输出在接近目标深度时音量增加并且在达到目标深度时改变频率的音调。作为另一个实例，MR系统212可通过使可视化装置213输出指示工具的取向相对于目标取向何时偏移超过阈值量的音频来输出音频目标确定引导。
例如，可视化装置213可响应于确定工具向目标取向的左侧偏移而在外科医生的左耳中输出音调，并且响应于确定工具向目标取向的右侧偏移而在外科医生的右耳中输出音调。类似地，可视化装置213可响应于确定工具相对于目标取向向上偏移而将由外科医生感知的音调输出为在外科医生上方，并且响应于确定工具相对于目标取向向下偏移而将由外科医生感知的音调输出为在外科医生下方。
在一些实例中，可视化装置213(例如，经由感官装置526中的一者或多者)可使用三维音频来输出音频目标确定引导。例如，可视化装置213可响应于确定工具在对应的方向上偏移而将待感知的音调输出为在外科医生的前方/左侧/右侧/后方/上方/下方。
虽然被示出为来自某些视角和取向，但是应注意到，本文描述的虚拟引导可从任何视角或取向进行显示。例如，即使在可视化装置213的用户移动其头部和/或在患者的解剖结构周围移动时，也可维持虚拟引导(例如，轴、点、表面等)与被观察解剖对象的相对位置。
如上文所讨论，MR系统212可将患者的解剖结构的虚拟模型与对应的被观察解剖结构配准。作为一个实例，MR系统212可将患者的关节盂的虚拟模型与如由可视化装置213的一个或多个传感器所观察的患者的实际关节盂配准。作为另一个实例，MR系统212可将患者的肱骨的虚拟模型与如由可视化装置213的一个或多个传感器所观察的患者的实际肱骨配准。
在一些实例中，初始配准可能足以支持MR系统212为对解剖结构的特定一小部分执行的所有工作步骤提供虚拟引导。例如，患者的关节盂的虚拟模型与如由可视化装置213的一个或多个传感器所观察的患者的实际关节盂的初始配准可能足以支持MR系统212为对关节盂执行的所有工作步骤(例如，安装引导销、扩孔、产生锚固点等)提供虚拟引导。
然而，在一些实例中，MR系统212可执行额外配准。例如，在对解剖结构的一小部分执行特定工作步骤之后，MR系统212可对解剖结构的那一小部分的考虑到所执行的工作步骤的虚拟模型(例如，并入有所计划的工作的额外的虚拟模型)进行重新配准。作为一个实例，在外科医生对患者的关节盂进行扩孔之后，MR系统212可获得包括所计划的扩孔的关节盂的后续虚拟模型，并且以类似于上文参考图17至图20描述的配准过程的方式将后续虚拟模型配准到被观察的经扩孔的关节盂。
在一些实例中，MR系统212可被配置为提供针对外科医生将如何执行工作流的步骤的指示。例如，响应于用户输入(例如，语音命令、姿势等)，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。指示可为通用的或可为患者特定的。
如上文所讨论，MR系统212可提供虚拟引导来对患者执行工作。例如，可视化装置213可向使用可视化装置213的外科医生显示虚拟引导。另外地，如本文所讨论，其他个人也可使用可视化装置。MR系统212可使用相应的可视化装置来向多个个人提供虚拟引导。虚拟引导针对所有个人而言可能是相同的，或可能是不同的。例如，MR系统212可向不同的个人提供针对手术室中的个人的角色定制的不同的虚拟引导。
出于说明目的，若干附图示出了比在外科手术期间实际上可见更多的患者的解剖结构(例如，如会被组织遮蔽的部分)。例如，图34示出了比在外科手术期间实际上可见更多的肱骨3200，并且图51示出了比在外科手术期间实际上可见更多的肩胛骨5100。
如上文所讨论，在一些实例中，MR系统212可显示患者的解剖结构的一部分的覆盖在患者的解剖结构的被观察部分上的虚拟模型。例如，在配准程序期间，可视化装置213可显示患者的关节盂的覆盖在患者的实际关节盂上的3D虚拟模型。3D虚拟模型可能看起来好像例如与实际关节盂一起在真实世界环境内。在一些实例中，MR系统212可在配准过程期间仅显示虚拟模型。在其他实例中，MR系统212可在外科手术的其他部分期间显示虚拟模型。例如，MR系统212可显示患者的解剖结构的一部分的覆盖在患者的解剖结构的实际部分上的虚拟模型，同时外科医生对患者的解剖结构的实际部分执行工作(例如，切割、钻孔、扩孔、假体附接、试验等)。
在一些实例中，MR系统212可显示虚拟模型，使得虚拟模型遮蔽患者的解剖结构的对应的部分。在一些实例中，MR系统212可显示虚拟模型，使得虚拟模型不完全遮蔽患者的解剖结构的对应的部分(例如，显示覆盖在患者的解剖结构的对应的部分上的虚拟模型的至少一些)。作为一个实例，MR系统212可显示虚拟模型，使得患者的解剖结构的实际部分上的目标区域(例如，患者的解剖结构上将执行工作的位置)不被虚拟模型遮蔽(至少不完全遮蔽)。例如，MR系统212可显示虚拟模型，使得解剖结构上由虚拟引导指示的位置(例如，对应于患者的解剖结构的实际部分上的目标区域)不完全被所显示的虚拟模型遮蔽。例如，MR系统212可显示关节盂的在将安装引导销的区周围存在“孔”或缺失区域的虚拟模型。“孔”或缺失区域可被称为虚拟模型中的虚拟孔。作为另一个实例，MR系统212可显示虚拟模型的轮廓线。
图69和图70是示出在目标区周围具有缺失区域的示例虚拟模型的概念图。类似于图51，图69和图70是用于协助外科医生安装引导销的虚拟引导的其他实例。如图69和图70所示，MR系统212可将虚拟骨骼模型1008显示为在包括虚拟引导，诸如虚拟轴5104的区域(即，对应于解剖结构上由虚拟引导指示的位置的区域)周围包括虚拟孔6900。如可看到，虽然仍然显示了虚拟骨骼模型1008的至少一些，但是由于包括虚拟孔6900，关节盂5102的一部分未被虚拟骨骼模型1008遮蔽。
在一些实例中，虚拟孔可具有鲜明的边界。在一些实例中，MR系统212可将虚拟模型显示为随着接近解剖结构上由虚拟引导指示的位置而逐渐褪色(例如，在不透明度上)。例如，MR系统212可以特定的不透明度显示虚拟模型的周长，并且在解剖结构上的位置的方向上减小不透明度(例如，使虚拟模型逐渐褪色)。
图71是示出在目标区周围具有缺失区域的示例虚拟模型的概念图。类似于图57，图71是用于协助外科医生产生锚固点的虚拟引导的另一个实例。如图71所示，MR系统212可将虚拟骨骼模型1008显示为围绕关节盂5102的周长。如可看到，虽然仍然显示了虚拟骨骼模型1008的至少一些，但是关节盂5102的一部分未被虚拟骨骼模型1008遮蔽。
在虚拟模型中呈现虚拟孔可向外科医生提供实际的真实解剖表面，诸如骨骼表面的更好的视图，从而在外科医生执行用于使表面准备好接纳假体植入物的操作、或用于将假体植入物放置在表面上的操作时提高表面的可见度。在执行工作时维持对虚拟模型的至少一些显示可提供一个或多个优点。例如，如果在虚拟引导的协助下执行工作时显示虚拟模型的至少一部分(例如，周长、轮廓线、具有孔的虚拟模型等)，则外科医生可确信MR系统212在一个或多个适当的位置处显示虚拟引导。特别地，在外科医生将能够看到虚拟模型的所显示的部分与被观察解剖结构适当地对准并且基于虚拟模型的位置而显示虚拟引导时，外科医生将确信MR系统212在一个或多个适当的位置处显示虚拟引导。
如上文所讨论，在一些实例中，外科医生可利用一个或多个工具来对患者的解剖结构(例如，肩胛骨5100、肱骨3200等)的部分执行工作。例如，外科医生可利用诸如钻机6600的钻机来安装引导件5200，操作扩孔工具5300，操作钻头5400和/或安装螺钉6400。此类工具可能是带动力的并且可例如通过手动按钮、触发器或开关来控制。同样如上文所讨论，在一些实例中，MR系统212可提供虚拟引导来协助执行工作。例如，MR系统212可提供目标确定引导、深度引导等等。
根据本公开的一种或多种技术，MR系统可被配置为绝对地控制用于执行工作的一个或多个工具的操作。例如，MR系统212可基于钻机是否准确地定位在虚拟轴上而选择性地调整诸如钻机6600的钻机的操作。操作的调整可包括启动工具、关断工具、使得工具能够由外科医生手动地启动、禁止外科医生手动地启动工具和/或控制工具的速度、扭矩或力，诸如旋转速度、扭矩或力。以此方式，MR系统212可对一个或多个工具实现闭环控制。在一些实例中，闭环控制可随所监测的工具或工具的一部分相对于规定轴的定位、位置、角度等等(在一些实例中，它们也可通过显示虚拟引导而向外科医生视觉地显示)而变化。
图72是示出根据本公开的一种或多种技术的用于在外科手术中进行闭环工具控制的示例技术的流程图。在操作中，MR系统212可从虚拟外科手术计划获得将用工具对患者的解剖结构的一部分进行的修改的参数的目标值(7200)。参数的实例包括将钻出孔的位置、深度(例如，钻孔深度、扩孔深度等)、切割表面的位置等。作为一个具体实例，MR系统212可获得关节盂上将安装引导销的位置(例如，关节盂5102上的在图51中MR系统212描述为显示虚拟轴5104的位置)。作为另一个具体实例，MR系统212可确定对关节盂进行扩孔的深度。
MR系统212可获得参数的当前值(7202)。作为一个实例，MR系统212可基于从附接到工具的一个或多个传感器(例如，加速度计、陀螺仪等)接收的取向数据而确定正被使用的工具的当前位置/深度。例如，MR系统212可基于由附接到工具的加速度计测量的数据而确定工具的当前取向。作为另一个实例，MR系统212可基于由可视化装置213的一个或多个传感器(例如，光学相机530、深度相机532等)捕获的数据而确定正被使用的工具的当前位置/深度。例如，MR系统212可将工具的虚拟模型配准到被观察工具。作为另一个实例，MR系统212可如本文参考图73至图79所描述确定工具的当前位置/深度。
MR系统212可将参数的当前值与参数的目标值进行比较(7204)。作为一个实例，MR系统212可确定工具的当前取向/轴与目标轴之间的差异。在一些实例中，目标轴可通过由MR系统212显示的虚拟引导轴示出以供外科医生查看，例如以协助外科医生将工具(例如，诸如钻头扩孔轴杆)与由外科手术计划规定的轴对准。类似地，在检测和修改工具的参数期间可将其他虚拟引导，诸如虚拟放置标记、角度指示或深度指示和/或其他虚拟引导显示为虚拟引导。在其他实例中，例如可由MR系统212控制工具的一个或多个参数，并且在不显示虚拟引导轴、虚拟放置标记、虚拟角度指示、虚拟深度指示和/或其他虚拟引导的情况下监测所述参数。例如，MR系统212可确定工具的当前取向/轴相对于目标轴偏离了5度(例如，MR系统212可确定工具的当前取向(如基于由附接到工具的加速度计测量的数据而确定)与规定轴之间的差异是5度)。作为另一个实例，MR系统212可确定工具的当前深度与目标深度之间的差异。例如，在当前深度是例如距离初始钻孔表面平面3mm，并且目标深度是7mm的情况下，MR系统212可确定当前深度比目标深度小4mm。
MR系统212可基于比较而自动地并选择性地调整工具的状态(7206)。作为一个实例，MR系统212可基于比较而对工具的操作进行门控。例如，MR系统212可在目标值与当前值之间的差异小于阈值的情况下允许工具的操作。例如，MR系统212可激活工具或启用动力以准许外科医生手动地激活工具。类似地，MR系统212可在目标值与当前值之间的差异大于阈值的情况下阻止工具的操作。例如，MR系统212可停用工具或禁用动力，使得外科医生不准许手动地激活工具。作为另一个实例，MR系统212可基于比较而抑制速度、扭矩、力或另一个操作参数，或者以其他方式限制工具的操作。例如，MR系统212可在目标值与当前值之间的差异小于阈值的情况下允许工具以全动力操作。类似地，MR系统212可在目标值与当前值之间的差异大于阈值的情况下减小工具的操作动力(例如，旋转速度、扭矩输出等)。例如，MR系统212可通过目标值与当前值之间的差异的某一函数来减小操作动力。
虽然MR系统212被描述为自动地并选择性地调整工具的状态，但是工具的实际激活/停用可由外科医生手动地执行。例如，在MR系统212允许工具的操作的情况下，工具可能实际上并不激活，直到外科医生拉动触发器或致动按钮或工具的其他控制输入端，例如，工具的钻机马达的触发器或按钮。另外地，在一些实例中，MR系统212和/或工具可包括超控装置，所述超控装置使得外科医生不管MR系统212当前是否允许工具的操作都能够激活工具。
MR系统212和工具可经由任何合适的方式通信。有线和无线通信链路两者都是预期的。例如，MR系统212和工具可通过蓝牙链路、Wi-Fi链路(例如，根据IEEE 802.11标准中的任一者)、有线串行连接(例如，RS-232或USB)、3G、4G或5G、或任何其他合适的通信链路来通信。
MR系统212可经由通信链路或任何其他技术来对工具实行绝对控制。作为一个实例，MR系统212可经由通信链路向工具输出指示工具的操作是否受到门控或抑制的数据。作为另一个实例，MR系统212可控制工具的电源，使得MR系统212可在工具的操作受到门控或抑制时防止工具接收电力(或调整所接收的电力量)。例如，工具可经由“智能插座”供电，并且MR系统212可在工具的操作受到门控或抑制时控制对智能插头的激活。此外，工具的激活、停用或以其他方式调整的状态可例如经由MR系统212所显示的增强现实(AR)或MR内容而可听地或视觉地传达给外科医生。
工具可为可供外科医生使用的任何类型的工具。工具的实例包括但不限于钻机、锯子、激光器以及在外科手术期间使用的任何其他类型的工具。此类工具可由外科医生手动地驱动，或者由马达，诸如旋转或往复式马达或振动马达，诸如压电振荡器驱动。工具可被视为是可手动地引导的，因为工具的定位/取向/位置由外科医生通过移动和/或旋转工具来控制。因此，在一些实例中，工具可被视为是手持式工具，诸如手持式钻机，所述手持式钻机例如具有钻机马达和卡盘或其他接口以接纳携载工作钻头，诸如钻头、扩孔元件或其他工作元件的轴杆。
对工具的绝对控制可结合本公开的任何其他技术一起使用。例如，MR系统212可提供虚拟图形引导和如上所述的绝对工具控制两者。作为一个具体实例，MR系统212可在MR系统212执行闭环工具控制的同时提供上文参考图66讨论的虚拟图形引导。
图67是根据本公开的一种或多种技术的可由MR系统提供并且提供辅助视图窗口的示例视图6700的概念图。图67的实例示出了外科医生在骨科肩部外科手术期间使用MR可视化装置(例如，可视化装置213)时可看到什么内容。特别地，在图67的实例中，外科医生可查看肩胛骨5100的暴露部分，以及包围肩胛骨5100的暴露部分的组织区6702。
如上文相对于图66所讨论，外科医生可使用一个或多个工具来对患者的解剖结构(例如，肩胛骨5100、肱骨3200等)的部分执行工作。例如，外科医生可使用诸如钻机6600的钻机来安装引导件5200，操作扩孔工具5300，操作钻头5400和/或安装螺钉6400。然而，如图67所示，钻机6600可能会遮挡肩胛骨5100的外科医生在上面执行工作的部分中的至少一些。另外，对于外科医生来说，评定诸如钻机6600的钻头的工具在组织或骨骼中已穿透多深可能是有挑战性的。这在外科医生顺着诸如钻机6600的钻机的长度向下看时可能尤其富有挑战性。
因此，根据本公开的一种或多种技术，MR系统212的可视化装置213可产生MR可视化，所述MR可视化包括辅助视图窗口6704，所述辅助视图窗口6704可为与主窗口的诸如其他虚拟引导的任何内容覆盖或以其他方式排布的子窗口。辅助视图窗口6704以及其他虚拟引导(例如，虚拟标记、深度引导等)可连同物理的真实世界对象一起显现在外科医生的视场中。因此，在图67的实例中，外科医生可看到辅助视图窗口6704，连同肩胛骨5100的暴露部分、组织6702和钻机6600，以及诸如虚拟轴或虚拟进入点的任何虚拟引导。在一些实例中，外科医生或其他用户可对辅助视图窗口6704重新设定大小或重新定位。
辅助视图窗口6704包含表示针对外科手术部位的不同视角的图像。例如，在图67的实例中，外科手术部位是患者的关节盂，并且外科医生在患者的肩胛骨5100的暴露的关节盂部分中钻出孔。另外，在图67的实例中，外科医生的视角基本上是顺着钻机6600的轴向下。相对于患者，图67中的外科医生的视角是在患者的额状轴上。因此，在图67的实例中，辅助视图窗口6704包含来自除顺着钻机6600的轴向下之外的视角的表示患者的肩胛骨的关节盂部分的图像。也就是说，在图67的实例中，辅助视图窗口6704中的图像不是在患者的任何额状轴上。而是，在图67的实例中，辅助视图窗口6704中呈现的图像是来自从外科医生的视角旋转90°的视角。例如，相对于患者，辅助视图窗口6704中呈现的图像可以是在矢状轴上。
外科医生可使用辅助视图窗口6704来检查工具已穿透的深度。例如，在图67的实例中，外科医生可使用辅助视图窗口6704来确定钻机6600的钻头已在肩胛骨5100中穿透多少距离。
辅助视图窗口6704中呈现的图像可以各种方式产生。例如，在一个实例中，辅助视图窗口6704中呈现的图像可由摄像机捕获。在一些此类实例中，摄像机可由除外科医生之外的人员，诸如护士佩戴或保持。例如，摄像机可安装在由护士佩戴的可视化装置(例如，MR系统1800B(图18)的可视化装置)上。在一些实例中，摄像机可安装在固定壁、机械臂、机器人或其他物理对象上。
在其他实例中，辅助视图窗口6704中呈现的图像可包括虚拟对象或由所述虚拟对象组成。例如，辅助视图窗口6704中呈现的图像可包括患者的解剖结构的虚拟三维模型。另外地，辅助视图窗口6704中呈现的图像可包括正被外科医生使用的工具的虚拟三维模型。因此，在图67的实例中，辅助视图窗口6704可包括患者的肩胛骨5100的虚拟三维模型和钻机6600的虚拟三维模型。患者的解剖结构的虚拟三维模型可与在外科手术的术前计划期间使用的虚拟三维模型相同。此外，在一些实例中，辅助视图窗口6704可包括虚拟引导，诸如虚拟扩孔或钻孔轴、虚拟切割计划、虚拟进入点等等。
在辅助视图窗口6704中呈现的图像包括虚拟对象或由所述虚拟对象组成的实例中，如本公开中其他位置所描述，患者的解剖结构可与患者的解剖结构的对应的虚拟模型配准。例如，患者的关节盂可配准到患者的关节盂的虚拟模型。因此，计算系统(例如，MR系统212(图2)可能能够确定患者的解剖结构在三维空间中的位置和取向。另外，计算系统可从一个或多个传感器(例如，相机、运动传感器等)接收信息，所述一个或多个传感器使得计算系统能够确定在同一个三维空间中的工具(例如，钻机6600)的位置。在工具上的一个或多个标记可协助计算系统来识别工具的位置。因此，计算系统可确定工具相对于患者的解剖结构的位置。计算系统可基于患者的解剖结构与工具的相对位置而产生辅助视图窗口6704的图像。因此，在图67的实例中，计算系统可在辅助视图窗口6704中产生示出患者的肩胛骨5100和钻机6600的钻头的虚拟三维模型的相对位置的MR可视化。
呈现患者的解剖结构和由外科医生使用的工具的虚拟三维模型可解决一系列特定挑战。例如，在护士保持或佩戴将图像馈送到辅助视图窗口6704中的相机的实例中，护士的自然移动可能会产生可能会使外科医生分心的相机抖动。为了对相机抖动进行补偿，计算系统可能需要应用图像稳定，并且可能会导致减小的视场，所述图像稳定可能是计算昂贵的，从而可能会导致电池耗竭。另外，以此方式，辅助视图窗口6704中的虚拟三维模型不会受制于相机抖动，这可节省否则将耗费在图像稳定上的计算资源，并且潜在地会增加视场并减少外科医生分心。
使用虚拟三维模型的另一个潜在的优点可为可从辅助视图窗口6704中省略不需要的背景信息。例如，在图67的实例中，可从辅助视图窗口6704中呈现的图像中省略组织6702。省略不需要的背景信息可进一步减少对外科医生的视觉分心。另外，外科医生可能能够将辅助视图窗口6704中所示的虚拟三维模型的视角旋转或以其他方式改变为人类护士利用手持或头部佩戴式相机可能无法切实获得的角度。因此，可能需要使用固定位置摄像机或机械臂安装的相机来实现外科医生可能想要的视角。虚拟三维模型的使用可消除对将医院资源耗费在此类相机和安装系统上的需求。
在一些实例中，MR系统212可通过显示解剖结构的一部分的位置以及工具相对于解剖结构的所述部分的位置的图示来显示图形深度引导。例如，如图68所示，MR系统212可显示包括图像6802的辅助视图窗口6704，所述图像6802示出了钻机6600相对于肩胛骨5100的位置。如图68所示，图像6802可进一步示出当前深度6804和目标深度6806。如上文所讨论，深度引导可包括在当前深度6804与目标深度6806之间的差异的数值(即，“剩余3mm”)。
MR系统212可呈现解剖结构的所述部分的位置的图示，并且工具相对于解剖结构的所述部分的位置可来自任何视图(例如，顶视图、左侧视图、右侧视图、俯视图、仰视图等)。在图68的实例中，MR系统212从由箭头6800指示的侧视图呈现图像。
如本公开中其他位置所描述，计算系统(例如，虚拟计划系统102)可产生外科手术的信息模型。外科手术的信息模型描述外科手术工作流，所述外科手术工作流包括外科医生为了完成外科手术将执行的一系列步骤。例如，外科手术工作流可包括图19的实例中所示的那一系列步骤。另外，如本公开中其他位置所描述，计算系统(例如，术中引导系统108(图1)、计算系统11706(图117)等)可在外科医生逐渐完成外科手术工作流时标示外科手术工作流的步骤完成。
根据本公开的技术，MR系统212可在外科手术工作流的适当的步骤处自动地显示辅助视图窗口6704，并且在外科手术工作流的其他步骤处隐藏辅助视图窗口6704。例如，MR系统212可在外科手术工作流中外科医生使用钻机的步骤期间显示辅助视图窗口6704，并且在其他情况下隐藏辅助视图窗口6704。另外，在一些实例中，辅助视图窗口6704在显示虚拟三维模型时的默认视角可与外科手术工作流中的步骤绑定。例如，在一个实例中，辅助视图窗口6704可在外科手术工作流的一个步骤中具有沿着患者的额状轴的默认视角，并且可在外科手术工作流的另一个步骤中具有沿着患者的纵向轴的默认视角。默认视角可为在用户修改辅助视图窗口6704的视角之前呈现的辅助视图窗口6704的视角。
本公开的另一方面涉及一种用于跟踪和呈现工具作业钻头在医疗手术中的深度的基于混合现实(MR)的技术。所述技术可能特别可用于骨科医疗手术，诸如肩部外科手术、脚踝外科手术、膝盖外科手术、臀部外科手术、或任何关节修复外科手术或增强。虽然所述技术可能可用于各种各样的骨科手术中，但是这些技术可能尤其可用于解剖和反向解剖肩部重建外科手术两者中。事实上，所述技术可能有助于反向关节置换术、增强型反向关节置换术、标准全肩关节置换术、增强型全肩关节置换术、半球形肩部外科手术、或其他类型的肩部外科手术。甚至更特别地，所述技术可能尤其可在基于混合现实(MR)的技术中用于在解剖肩部重建外科手术中进行关节盂扩孔，例如对关节盂骨骼进行扩孔以调节骨骼表面来接纳植入物。
一般而言，被跟踪来进行深度跟踪的工具作业钻头可包括任何类型的医疗工具，包括钻头、扩孔元件、磨削元件、或被配置为借助旋转轴杆旋转的任何元件。所述技术可用于例如相对于固定或已知位置，诸如工具作业钻头在钻孔、扩孔或磨削过程开始时的起始点钻孔、扩孔或磨削到期望的深度。在一些实例中，起始点由虚拟平面限定，所述虚拟平面可由用户选择来将钻孔、扩孔或磨削过程初始化。在限定起始点之后，深度辅助元件沿着轴的向下移动可用于对工具作业钻头的向下深度进行跟踪。
对于解剖肩部重建外科手术，例如，本文描述的技术和工具可能非常适合于在对患者的关节盂骨骼执行扩孔时对扩孔工具的深度进行跟踪。在一些实例中，诸如MR系统212的可视化装置213的混合现实(MR)装置(例如，混合现实头戴式耳机)可使用来根据本公开实施一个或多个深度相机。诸如可视化装置213的MR装置可为MR系统212的实例。例如，MR装置可为封闭在壳体内的MR系统。配备有一个或多个深度相机的MR装置可被配置为检测并跟踪工具作业钻头的点相对于目标深度的深度。在一些实例中，MR装置能够跟踪相对于起始点的位移，所述位移可通过配准过程来确定。例如，在钻孔并插入引导销之后，并且在将扩孔元件放置在引导销的扩孔位置处时，可对深度跟踪元件执行配准过程，并且在此之后，对深度跟踪元件的深度跟踪可用作对扩孔元件的深度跟踪的替代。
对工具作业钻头的深度跟踪可以是基于对沿着与工具作业钻头相关联的旋转轴定位在与工具作业钻头相距固定且已知的距离之处的另一个元件的深度跟踪。在一些实例中，所述技术使用混合现实来跟踪与工具作业钻头同轴地移动的某物的深度。例如，所述技术可使用相对于工具作业钻头位于固定且已知的位置处的深度辅助元件。或者可选地，代替添加深度辅助元件，所述技术可跟踪医疗钻机壳体、或医疗装置的另一个元件。在又另一个实例中，所述技术可跟踪工具作业钻头的背侧，所述背侧可为扩孔元件的背侧。
混合现实可用于跟踪，并且可执行配准过程来将虚拟元素配准到医疗装置。例如，可将虚拟元素配准到装置的深度辅助元件，或可能配准到外科手术钻机的医疗装置壳体，或可能配准到工具作业钻头的背侧。虚拟元素可对应于装置的一部分的形状，或深度辅助元件的形状，或者在一些情况下，虚拟元素可简单地包括深度平面，所述深度平面正交于工具作业钻头的轴并且定位在与工具作业钻头相距固定且已知的距离之处。本公开预期用深度相机进行深度跟踪。在一些情况下，深度相机是诸如MR系统212的混合现实系统的一部分，但是在其他情况下，深度相机可在混合现实环境之外操作。
图73是与本公开的实例相一致的医疗装置7300和深度相机7314的一部分的概念侧视图。在一些实例中，钻机6600(图66、图67)是医疗装置7300的实例。医疗装置7300包括可旋转轴杆7302，以及位于可旋转轴杆7302的远端上的工具作业钻头7304。在此实例中，工具作业钻头7304可包括例如被设计用于钻到患者的骨骼中的钻孔元件，或例如被设计用于对患者的骨骼进行扩孔的扩孔元件。旋转轴杆7302的相对的近端7308可联接到在医疗手术期间使轴杆7302旋转的医疗钻机。医疗钻机可包括电动钻机，所述电动钻机通过用户致动触发器或其他用户输入端来手动地控制，或者例如响应于控制信号，诸如响应于工具作业钻头的检测到的深度而产生的控制信号由控制器自动地控制。医疗钻机可包括联接到轴杆7302来使轴杆旋转的外科手术马达。
如图73所示，医疗装置7300包括相对于可旋转轴杆7302的轴定位在固定位置处的深度辅助元件7312。由于深度辅助元件7312沿着可旋转轴杆7302的轴相对于工具作业钻头7304定位在固定位置处，因此深度辅助元件7312沿着轴与工具作业钻头7304共线地移动。换句话说，深度辅助元件7312沿着可旋转轴杆7302定位在与工具作业钻头7304相距已知的固定距离之处。因此，对深度辅助元件7312沿着轴的位置的跟踪可用作对工具作业钻头7304的位置的跟踪的替代。因此，在将工具作业钻头7304放置在患者的期望的工具作业位置处时，系统可跟踪深度辅助元件7312的位置来监测工具作业钻头7304的钻孔深度。
深度相机7314被配置为捕获深度辅助元件7312的一个或多个图像。例如，深度相机7314可使用来自相对于彼此定位在固定且已知的位置处的多个相机的多个图像，并且可执行视差计算来确定深度辅助元件7312的深度。在这种深度跟踪之前，可执行配准过程，使得深度相机7314适当地配准到深度辅助元件7312。下文更详细地描述了关于深度辅助配准过程的其他细节。在任何情况下，深度辅助元件7312的深度都可被确定和用作用于确定工具作业钻头7304的深度的替代。一个或多个处理器(未示出于图73中)可被配置为基于对由深度相机7314捕获的图像的分析，例如通过执行上文描述的视差计算或其他深度确定处理来确定工具作业钻头7304沿着旋转轴的深度。
作为一个实例，为了将深度辅助元件7312定位在与工具作业钻头7304相距已知的固定距离之处，可旋转轴杆7302可被配置为包括第一部分7306，所述第一部分7306具有不同于第二部分7310的直径。第一部分7306和第二部分7310的不同直径可产生机械止挡件以紧固深度辅助元件7312的位置。例如，深度辅助元件7312可包括大小被设定为类似于(且略微大于)第一部分7306的直径并且小于第二部分7310的孔。以此方式，深度辅助元件7312可被适当地定位，使得所述深度辅助元件沿着可旋转轴杆7302与工具作业钻头7304保持已知的固定距离。然而，在其他实例中，可使用各种各样的其他结构或技术来确保深度辅助元件7312沿着可旋转轴杆7302紧固在与工具作业钻头7304相距已知的固定距离之处。在一些实例中，滚珠轴承的环可定位在深度辅助元件7312与第二部分7310之间的物理相互作用点处，以便减小或基本上消除深度辅助元件7312与第二部分7310之间的摩擦。在一些情况下，深度辅助元件7312可旋转地固定，并且在其他情况下，深度辅助元件7312可连同旋转轴杆7302一起旋转。
为了有助于深度相机7314对深度辅助元件7312的良好的深度跟踪，深度辅助元件7312可被设计为包括一个或多个球形形状元件(即，一个或多个球形元件)或/或一个或多个圆柱形形状元件(即，一个或多个圆柱形元件)。深度辅助元件7312的一些或全部可包括球形或圆柱形元件，或者在一些情况下，可在深度辅助元件7312上包括多个球体和/或圆柱形元件。基本上过大的球形元件和/或圆柱形元件可促成比其他形状更好的深度跟踪，但是也可使用其他形状和大小。球形和/或圆柱形元件可为部分球形的、部分圆柱形的、完全为圆柱形的、完全为球形的。对于深度辅助元件而言可能期望的形状的其他实例可包括圆椎体形状。圆锥形、球形和/或圆柱形形状可在平行于可旋转轴杆7302的方向上延伸。
另外，可能期望深度辅助元件7312是相对大的，以便确保所述深度辅助元件可提供良好的深度跟踪能力。例如，可能有利的是，确保深度辅助元件7312是过大的元件以帮助深度跟踪，并且例如，所述深度辅助元件通常应大于医疗装置7300的其他部件，诸如可旋转轴杆7302的直径和工具作业钻头7304的直径。下文更详细地描述了深度辅助元件7312的其他细节和期望的形状。
在其他实例中，为了有助于深度相机7314对深度辅助元件7312的良好的深度跟踪，深度辅助元件7312可被设计为包括平面表面，所述平面表面限定垂直于平行于可旋转轴杆7302的轴的平面。在一些实例中，平面表面可为深度跟踪定义良好的特征，并且在一些实例中，平面表面可比球体或圆柱体更为凑效。在一些实例中，深度辅助元件7312可包括在垂直于平行于可旋转轴杆7302的轴的一个或多个平面上的一个或多个平面表面。在一些实例中，深度辅助元件7312可包括与一个或多个圆柱形形状和/或一个或多个球形形状结合的一个或多个的平面表面。作为一个非限制性实例，深度平面或深度辅助元件可以约15-30mm的范围设定大小。
图74是与本公开的实例相一致的医疗装置7400的一部分的概念侧视图。医疗装置7400包括可旋转轴杆7402，以及位于可旋转轴杆7402的远端上的工具作业钻头7410。在此实例中，工具作业钻头7410可包括扩孔元件，所述扩孔元件例如被设计用于对患者的关节盂骨骼进行扩孔以移除骨骼并且使关节盂表面准备好进行解剖肩部重建外科手术。旋转轴杆7402的相对的近端7408可联接到在手术期间使轴杆7402旋转的医疗扩孔工具。
如图74所示，医疗装置7400包括相对于可旋转轴杆7402的轴定位在固定位置处的深度辅助元件7412。类似于在图73中，在图74中，由于深度辅助元件7412沿着可旋转轴杆7402的轴相对于工具作业钻头7410定位在固定位置处，因此深度辅助元件7412沿着轴与工具作业钻头7410共线地移动。换句话说，深度辅助元件7412沿着可旋转轴杆7402定位在与工具作业钻头7410相距已知的固定距离之处。因此，对深度辅助元件7412沿着轴的位置的跟踪可用作对工具作业钻头7410的位置的跟踪的替代。因此，在将工具作业钻头7410放置在患者的期望的工具作业位置处，例如出于关节盂扩孔目的放置在患者的关节盂骨骼的位置处时，系统可跟踪深度辅助元件7412的位置来监测工具作业钻头7410的扩孔深度。在一些情况下，引导销可安装在患者的关节盂骨骼上以对扩孔过程进行定向和引导(例如，在图19的动作1910的扩孔引导销插入过程中)。扩孔深度例如可对应于在从关节盂中移除骨骼时进入骨骼的深度。
深度相机未示出于图74中，但是类似于图73，如上文相对于图73所描述，可使用此类深度相机来捕获深度辅助元件7412的一个或多个图像。一个或多个处理器(未示出于图73中)可被配置为基于对由深度相机捕获的图像的分析而确定工具作业钻头7410沿着旋转轴的深度。处理器例如可为MR装置的处理器，诸如本文描述的MR系统212的可视化装置213的微处理器515。可选地，可通过本地或远程计算机或者通过网络连接到深度相机的所谓的“云计算机”来远程地执行处理。
在图74的实例中，为了将深度辅助元件7412定位在与工具作业钻头7410相距已知的固定距离之处，可旋转轴杆7402可被配置为包括具有大于可旋转轴杆7402的其余部分的直径的止挡件7404。止挡件7404产生机械止挡件以沿着可旋转轴杆7402紧固深度辅助元件7412的位置。例如，深度辅助元件7412可包括机械连接部分7406，所述机械连接部分7406包括大小被设定为类似于(且略微大于)可旋转轴杆7402的直径的孔。止挡件7404借助于重力或另外借助于锁定机构(未示出)而将深度辅助元件7412保持在适当的位置。以此方式，深度辅助元件7412可被适当地定位，使得所述深度辅助元件沿着可旋转轴杆7402与工具作业钻头7410保持已知的固定距离。
可旋转轴杆7402可自由地在通过深度辅助元件7412限定的孔内旋转，使得深度辅助元件7412保持旋转地固定并且在可旋转轴杆7402旋转时不旋转。或者在一些情况下，深度辅助元件7412可随着轴杆7402的旋转而旋转。然而，深度辅助元件7412的旋转可能不是期望的，因此还可使用额外的机械元件或止挡件(未示出)来确保深度辅助元件7412在轴杆7402旋转时不被允许旋转。在一些实例中，滚珠轴承的环或其他类型的摩擦减小元件可定位在深度辅助元件7412与止挡件7404之间的物理相互作用点处，以便尤其是在可旋转轴杆7402旋转时减小或基本上消除深度辅助元件7412与止挡件7404之间的摩擦。
图75是与本公开的实例相一致的混合现实(MR)系统和包括深度辅助元件7502的示例扩孔工具7500的概念透视图。扩孔工具7500可包括围绕由可旋转轴杆7506限定的轴旋转的扩孔钻头7504。轴杆7506可在套筒7508内旋转。深度辅助元件7502可紧固到套筒7508，使得所述深度辅助元件固定在与扩孔钻头7504的扩孔表面相距已知的距离之处。套筒7508可连接到外科手术钻机的壳体，并且因此，套筒7508可被视为是这种外科手术钻机壳体的一部分。通过将深度辅助元件7502紧固到套筒7508，深度辅助元件可在轴杆7506旋转时保持旋转地固定。同时，深度辅助元件7502将在扩孔过程期间与扩孔钻头7504的扩孔表面保持固定距离。
深度相机7510被配置为捕获深度辅助元件7502的一个或多个图像。例如，类似于上文描述的实例，深度相机7510可使用来自相对于彼此定位在固定且已知的位置处的多个相机的多个图像，并且可执行视差计算来确定深度辅助元件7502的深度。以此方式，深度辅助元件7502的深度可被确定和用作用于确定扩孔钻头7504的扩孔表面的深度的替代。一个或多个处理器(未示出于图75中)可被配置为基于对由深度相机7510捕获的图像的分析而执行视差计算来确定扩孔钻头7504的扩孔表面沿着由轴杆7506限定的可旋转轴的深度。处理器例如可为MR装置的处理器，诸如本文描述的可视化装置213的微处理器515。以此方式，可在对患者的关节盂骨骼7514的表面7512进行扩孔时促成对扩孔钻头7504的基于对深度的跟踪。在可视化装置213用于深度跟踪的一些实例中，可听、触觉或视觉反馈例如可指示深度。
任选地，手术还可利用机械夹具7516，所述机械夹具7516可为紧固到患者的关节盂7514的引导销。机械夹具7516可借助于外科手术钻机来插入，并且所述机械夹具可提供用于引导扩孔过程并可能控制扩孔钻头7504的扩孔深度的机械机构。在一些实例中，深度辅助元件7502可与基于夹具的用于关节盂扩孔的方法(如图75所示)结合使用。然而，在其他实例中，深度辅助元件7502可能会促成对夹具7516的消除，以支持仅基于深度检测，而不是机械限制的深度控制。换句话说，深度辅助元件7502的使用可有助于关节盂扩孔程序和深度控制，而不需要机械夹具7516。
图76是与本公开的实例相一致的利用包括深度辅助元件7604的示例扩孔工具7602的混合现实系统1051的概念透视图。扩孔工具7602可包括围绕由可旋转轴杆7608限定的轴旋转的扩孔钻头7606。轴杆7608可在套筒7610内旋转。深度跟踪元件7604可紧固到套筒7610，使得所述深度辅助元件固定在与扩孔钻头7606的扩孔表面相距已知的距离之处。套筒7610可连接到外科手术钻机的壳体，并且因此，套筒7610可被视为是这种外科手术钻机壳体的一部分。通过将深度辅助元件7604紧固到套筒7610，深度辅助元件可在轴杆7608旋转时保持旋转地固定。同时，深度辅助元件7604将在扩孔过程期间与扩孔钻头7606的扩孔表面保持固定距离。
图76所示的实例可利用包括额外的深度相机的可视化装置213，所述可视化装置可包括混合现实(MR)装置，诸如由外科医生或其他用户佩戴的混合现实头戴式耳机或护目镜。在一些实例中，深度相机可被包括作为可视化装置213的内部部分，并且在其他实例中，深度相机可在可视化装置的外部以便提供更好的深度跟踪能力。
根据本公开，可视化装置213的深度相机532(图5)或其他深度传感器被配置为捕获深度辅助元件7604的一个或多个图像。例如，类似于本文描述的其他实例，深度相机532可使用来自相对于彼此定位在固定且已知的位置处的多个相机的多个图像，并且可执行视差计算来确定深度辅助元件7604的深度。以此方式，深度辅助元件7604的深度可被确定和用作用于确定扩孔钻头7606的扩孔表面的深度的替代。可视化装置213的微处理器515(图5)可被配置为基于对由深度相机532捕获的图像的分析而确定扩孔钻头7606的扩孔表面沿着由轴杆7608限定的可旋转轴的深度。由深度相机532捕获的图像可包含深度信息。特别地，微处理器515可基于对由深度相机532捕获的图像的分析而执行视差计算，以便确定深度辅助元件7604的深度。以此方式，可在对患者的关节盂7614的表面7612执行扩孔程序时在混合现实环境中促成对扩孔钻头7606的基于深度的跟踪(借助于跟踪深度辅助元件7604)。在可视化装置213用于深度跟踪的一些实例中，可听、触觉或视觉反馈例如可指示深度。例如，可视化装置213可向用户提供或发出警报，并且此类警报可指示深度。警报可为图形的、基于颜色的、变色的、符号、形状或大小变化的符号、文本、视觉、可听、触觉警报或其他类型的警报。
在再一些其他实例中，医疗装置系统可被配置为相对于工具作业钻头在医疗手术中期望的深度，基于工具作业钻头沿着轴的深度而自动地控制医疗装置以限制可旋转轴杆的旋转。例如，一旦系统检测到工具作业钻头的深度已到达期望的深度，就可自动地禁用由医疗装置进行的钻孔、扩孔或工具作业。在一些实例中，医疗装置系统可被配置为使用相对于图72和本公开中其他位置描述的闭环控制技术来控制医疗装置或其他医疗装置。
如所提及的，手术还可利用机械夹具7616，所述机械夹具7616紧固到患者的关节盂7614。机械夹具7616可包括引导销，并且所述机械夹具可提供用于引导扩孔钻头7616，以及任选地用于控制或限制扩孔钻头7616的扩孔深度的机械机构。在一些实例中，深度辅助元件7604可与基于夹具的用于关节盂扩孔的方法(如图76所示)结合使用。然而，在其他实例中，深度辅助元件7604可在混合现实系统7600中完全促成对夹具7616的消除。换句话说，深度辅助元件7604与具有深度相机532的混合现实可视化装置213的使用可有助于关节盂扩孔程序和深度控制，而不需要机械夹具7616。
图77是示出与本公开的实例相一致的示例过程的流程图。图77将从图73所示的系统的视角进行描述，但是相同的原理可适用于本文描述的其他系统。如图77所示，外科医生可将工具作业钻头7304定位在患者体内的工具作业位置处(7700)。如所提及的，工具作业钻头7304可包括钻孔元件、扩孔元件、或被设计为围绕轴旋转的各种各样的工具作业元件中的任一种。事实上，图77的技术可能特别适合于借助于混合现实系统对患者的关节盂骨骼执行的扩孔程序。
在一些情况下，可将机械夹具(例如，引导销)插入到患者的关节盂中以限定对工具作业钻头7304的定位。在任何情况下，一旦工具作业钻头7304放置在期望的位置，例如，起始位置处(7700)，就可通过深度相机7314配准深度辅助元件7312沿着可旋转轴杆7302的轴的深度(7702)。配准过程可简单地为识别深度辅助元件7312的起始位置的过程，或者在一些实例中，配准过程可包括将虚拟元素配准到深度辅助元件7312的过程。在将工具作业钻头7304的起始位置限定在工具作业位置处之后，还可经由可视化装置213所执行的配准过程，诸如本文描述的配准过程来为深度辅助元件7312设置或限定所述起始位置。然后，在配准过程之后，可视化装置213可跟踪深度辅助元件7312的深度作为用于限定工具作业钻头7304的深度的替代。
配准过程(1104)可为识别三个或更多个点，以便定义与深度辅助元件7312相关联的深度平面的过程。例如，使用可视化装置213的用户可在空间中选择三个或更多个点以定义平面，然后通过可视化装置213发起点匹配算法以将平面定义为虚拟平面。在一些实例中，用户可以各种方式，诸如以下项中的一种或多种方式选择点：手部姿势、虚拟界面、目光选择、语音命令或其他输入技术。
在可视化装置213执行点匹配算法以定义平面之后，可视化装置213可能能够通过用深度相机跟踪所识别的三个或更多个点来跟踪所述平面。
图80、图81和图82是示出配准深度辅助元件的位置的一个示例配准过程的额外图示。特别地，图80是“最佳线拟合”的示例图示，由此沿着线的被观察点8000可根据最佳拟合来定义线。在识别可由d0、d1、d2....dn表示的被观察点8000之后，可视化装置213可搜索将最小化函数
Figure BDA0002943711310001261
的线。为了定义深度平面，以类似于最佳线拟合的方式，在识别三个或更多个被观察点以定义平面之后，可视化装置213可搜索将最小化平面函数的平面。
图81(示意性地)示出了具有安装的扩孔钻8102和作为平面8104的深度辅助元件的肱骨8100的场景。还示出了一个或多个示例性深度相机8106，所述深度相机8106在一些实例中可为可视化装置213的一部分或者与所述可视化装置集成。一个或多个深度相机8106测量到其视场中的每个像素的距离，并且以此方式，一个或多个深度相机8106可获得表示被观察场景的几何形状的点云。
一个或多个深度相机8106可产生点云作为对可视化装置213的输出(并且在此阶段可能不进行分类)。一旦可视化装置213具有这个点云，可视化装置213就可应用将对点云中的点进行分类的算法。作为一个说明性实例，图82示出了可被一个或多个深度相机8106观察到并由可视化装置213定义的各种点云。图82所示的带说明的点云包括用深度相机观察到的点云，所述点云可为属于被观察肱骨头的点)。图82所示的带说明的点云还可包括属于扩孔钻轴的点云、属于扩孔钻背侧的点云以及属于深度辅助元件(平面)的点云。
可视化装置213可被配置为细化分类，并且仅确定属于深度辅助元件(平面)的点。一旦可视化装置213确定了属于深度辅助元件(平面)的那些点，可视化装置213就可对这些点拟合平面(例如，根据最佳拟合平面函数或方程)。再次，图80是“最佳线拟合”的示例图示，由此沿着线的被观察点8000可根据最佳拟合来定义线。最佳拟合平面可以类似的方式定义。一旦可视化装置213第一次确定了最佳拟合平面，可视化装置213就可执行简单的跟踪算法，所述跟踪算法将确定来自一个或多个深度相机的每个帧处的最佳拟合平面。
在深度辅助配准的另一个可能的实例中，如本公开中其他位置所描述，用于配准深度辅助元件7312的起始位置的配准过程可为类似的用于将患者的关节盂骨骼的虚拟图像配准到患者的实际关节盂骨骼的配准过程。根据图77，在此实例中，图73的深度相机7314可为执行深度辅助元件7312的配准过程的混合现实系统的一部分。在一些实例中，对深度辅助元件7312的深度跟踪相对于通过配准深度辅助元件7312识别的起始位置来进行，而在其他情况下，深度跟踪可执行来监测深度辅助元件7312相对于深度相机的实际深度，这可能并不总是需要深度辅助元件7312的配准。此外，尽管主要是在肩部外科手术和患者的关节盂骨骼的扩孔的背景下进行描述，但是本公开的深度跟踪技术也可用于其他外科手术，诸如用于脚踝外科手术的一个或多个步骤。
在一些实例中，配准过程可经由类似于本公开中其他位置描述的那些的“设置”和“调整”技术来设置并调整虚拟元素。使用可视化装置213，用户可发起“设置”来呈现虚拟元素，所述虚拟元素可为定义深度平面的深度辅助元件的虚拟版本、定义深度平面的扩孔钻头的背侧的虚拟版本、定义深度平面的医疗装置壳体或外科手术钻机的虚拟版本、定义深度平面的医疗钻机的另一个部分的虚拟版本、或可能仅为垂直于工具作业钻头的轴的深度平面。用户可实现“调整”技术来例如使用混合现实系统中的基于姿势的控制而调整虚拟元素的位置。一旦放置并调整到期望的位置，所述过程就可实现匹配算法来将虚拟元素“匹配”到对应的真实世界元件。以此方式，可用于深度跟踪的虚拟元素可配准到真实世界元件，诸如深度辅助元件7312。
不管怎样执行配准，一旦深度辅助元件7312的深度与定位在用于工具作业的位置中的工具作业钻头配准(7702)，外科医生就可激活附接在可旋转轴杆7302的近端7308处的医疗装置，以便引起轴杆7302的旋转并且由此通过工具作业钻头7304执行工具作业(7704)。外科医生可顺着可旋转轴杆7302的轴向下施加压力以通过工具作业钻头7304进行钻孔或扩孔。再次，所述系统可能尤其可用于在解肩部重建外科手术期间对患者的关节盂骨骼进行扩孔，在此情况下，工具作业钻头7304将为扩孔元件，而不是钻头。尽管本公开的一些方面已聚焦于扩孔深度，但是在钻出孔以接纳引导销时监测深度也可能是有帮助的，例如，对钻孔深度进行深度跟踪以放置扩孔销。引导销之后可放置在孔中并且扩孔工具可与引导销一起使用。钻孔深度跟踪的其他实例也可能是期望的，例如，用于钻出孔以接纳关节盂板的安装栓柱，或者用于在脚踝外科手术中对距骨和/或胫骨进行钻孔、扩孔或其他工具作业。
在任何情况下，在通过工具作业过程执行工具作业(7704)时，深度相机7314都可用于跟踪深度辅助元件7312相对于可旋转轴杆7302的轴的位置(7706)。以此方式，工具作业钻头7304的扩孔深度(或钻孔深度)可通过跟踪深度辅助元件7312的位置来进行跟踪和监测。
在一些实例中，所述过程还可基于对深度辅助元件7312的深度跟踪而识别工具作业钻头7304的期望的深度(7708)。例如，参考图76，由可视化装置213的深度相机532进行的深度跟踪可借助于用户界面522来执行，所述用户界面可在医疗手术期间向用户呈现指示工具作业钻头(诸如扩孔元件7606)的深度的混合现实信息。在一些实例中，用户界面522可呈现对扩孔元件7606的当前实际深度的指示。在一些实例中，用户界面522可呈现对扩孔元件7606的期望的深度的指示，所述期望的深度可由术前计划确定。可相对于实际当前深度示出期望的深度，并且在一些实例中，用户界面522可呈现对实现期望的深度所需的扩孔深度的指示。可听、触觉或视觉反馈例如可指示深度。
用于医疗装置工具控制的其他机构(诸如本公开中其他位置所描述)也可用于帮助外科医生实现期望的深度，并且帮助避免过度钻孔或过度扩孔。例如，可基于对深度辅助元件7604的深度跟踪而经由可视化装置213向外科医生呈现可听或视觉提示。还可基于对深度辅助元件7604的深度跟踪而实现对医疗装置的智能控制。在一些实例中，如果扩孔深度被确定为满足或超过由术前计划定义的期望的深度，则可禁用医疗扩孔装置。为了改进医疗手术，可基于对深度辅助元件7604的跟踪而使用这些或其他提示或控制。
图78是可消除对特殊设计的深度辅助元件的需求的另一个深度跟踪实例的侧视图。在此实例中，诸如可视化装置213的可视化装置(未示出于图78中)可监测扩孔元件的背部表面(即，非扩孔表面)的深度。所述系统可被设计为跟踪(并且可能控制)扩孔元件的背侧的位置。在此实例中，可例如经由类似于本文描述用于配准深度辅助元件或用于将3D模型配准到患者的关节盂骨骼的配准过程的配准过程将深度平面配准到扩孔元件的背侧。在此实例中，配准过程可涉及将虚拟元素配准到扩孔元件(例如，通过将扩孔元件的虚拟平面或虚拟版本配准到实际扩孔元件的背侧)。
通过如图78所示将深度平面配准到扩孔元件的背侧，之后可实现对扩孔元件的深度跟踪。然而，相对于跟踪扩孔元件的背侧，如本文所述的深度辅助元件的使用可能是期望的，因为当正对患者执行扩孔时，血液或其他物质可能会抑制准确地跟踪扩孔元件的背侧的能力。
再次参考图78，在再一些其他实例中，可相对于外科手术马达(或包括外科手术马达的医疗装置)执行深度跟踪，并且外科手术马达(或医疗装置)的深度可用作扩孔元件的深度的替代。类似于本文描述的深度辅助元件，图78所示的外科手术马达可位于与扩孔元件的远端相距固定且已知的距离之处。因此，在配准外科手术马达并跟踪所述外科手术马达的深度(这可涉及将外科手术马达的虚拟元素配准到真实的外科手术马达)时，可以类似于本文相对于深度辅助元件描述的深度跟踪的方式对扩孔元件实现跟踪。在此实例中，可经由如上所述的配准过程将深度平面配准到外科手术马达。通过将深度平面配准到外科手术马达，之后可实现对扩孔元件的深度跟踪。图76所示的实例(其中深度辅助元件7604紧固到套筒7610)可被视为深度辅助元件7604附接到外科手术工具的壳体的实例。在一些实例中，套筒7610例如可形成外科手术钻机的壳体的一部分。
图79是示出相对于扩孔钻7900附接在固定位置处的深度辅助元件7902的实例的另一个侧视图。图79的实例可与使用附接的深度辅助元件的其他实例相一致。根据此实例，可使用诸如可视化装置213的可视化装置(未示出于图79中)来将平面标记(或其他类型的虚拟标记元素)添加到扩孔钻7900，以便跟踪并控制扩孔钻的远端的深度。虚拟元素可包括配准到深度辅助元件7902的虚拟平面。使用可视化装置213，所述系统可用深度相机检测平面上的点，并且对附接到扩孔钻7900的物理深度辅助元件7902拟合平面。在此实例中，可经由类似于上文描述以及本公开中其他位置也描述为例如用于将3D模型配准到患者的关节盂骨骼的配准过程的配准过程来将深度平面配准到深度辅助元件7902。通过将深度平面配准到深度辅助元件7902，可实现对扩孔钻7900的深度跟踪。
在一些实例中，本公开涉及多种与外科手术、术中工作流引导相关的基于自动化的辅助特征和技术，其中一些可被设计为协助护士(或其他医疗助手、技术人员、或外科医生)来进行骨科外科手术，诸如骨科关节修复外科手术，诸如肩部修复外科手术。尤其是在护士没有经常地协助外科手术的情况下，手术室护士可能很难知晓外科手术的所有细节，诸如下一个外科手术步骤或下一个外科手术步骤需要哪个接下来的器械。例如，护士可协助进行对外科手术步骤以及器械、植入物或这些步骤中使用的其他外科手术项目具有不同的要求和细节的一系列外科手术。本公开的技术和装置可有助于使过程自动化以帮助护士，并且帮助减少外科手术中的错误。
在一些实例中，所述技术利用被设计为具有高级特征，诸如传感器、加速度计和/或光源的外科手术项目。诸如与MR系统212或另一个计算系统相关联的处理装置的一个或多个处理装置可在外科手术期间跟踪外科手术项目并且监测其使用。此外，一个或多个处理装置可帮助控制外科手术项目的高级特征以协助护士在执行手术时进行外科手术项目选择。例如，可由驻留在此类外科手术项目内的光源(例如，发光二极管)照亮一组外科手术项目，以便告知护士外科手术需要此类工具。此外，照明可与手术同步，使得外科手术项目例如在骨科外科手术过程中的特定时间点需要此类外科手术项目时被照亮。在一些实例中，所选外科手术项目的光源可基于与外科手术相关联的外科手术计划中定义的外科手术项目的指定使用而照亮。
在其他情况下，通过照亮，或者通过经由诸如MR系统212的可视化装置213的可视化装置上的混合现实而呈现的虚拟元素来对护士标识外科手术项目。经由MR呈现虚拟元素来标识外科手术项目的实例可包括使用以下方式来突出显示所标识的外科手术项目：半透明颜色区域、包围所标识的外科手术项目的虚拟圆圈、指向所标识的外科手术项目的虚拟箭头、围绕所标识的外科手术项目的虚拟轮廓线、阻挡对其他未标识的外科手术项目的视线的虚拟对象、对其他未标识的外科手术项目增加不透明度等等。在一些实例中，外科手术的一个或多个外科手术项目可连接到控制器(例如，控制外科手术项目上的灯或混合现实系统的装置)。在使用MR来标识外科手术项目的实例中可能不需要这种连接。在使用某一外科手术项目之后，可通过MR中呈现的一个或多个虚拟元素来突出显示、点亮、标识手术所需的下一个器械，或者另外以自动化方式对护士标识所述下一个器械。对外科手术项目的自动化标识可与外科手术的工作流中的步骤同步，使得外科手术项目例如在骨科外科手术过程中的特定时间点需要此类外科手术项目时被标识。以此方式，本公开的技术和装置可有助于使过程自动化以帮助护士，并且帮助减少外科手术中的错误。
在一些情况下，可在外科手术期间照亮一组外科手术项目(例如，使用MR可视化，使用外科手术项目上的灯，使用托盘中的灯，或使用另一种方法或方法的组合)以协助护士进行外科手术项目选择，并且可针对该组中的不同的外科手术项目使用特定类型的照亮。例如，手术的先前使用的外科手术项目、当前使用的外科手术项目和后续使用的外科手术项目可以不同的颜色或着色效果、或不同的灯或者空间或时间照明模式来照亮。通过直接将光源集成到外科手术项目中，相对于使用背景照明或者在托盘或工作台中使用照明的其他技术(在此情况下，如果移动外科手术项目，照明可能是不正确的)，可更好地确保照明准确度。此外，项目跟踪还可帮助确保项目标识在外科手术期间是准确的并且具有很好的文件记录。外科手术项目在其用于外科手术期间的自动化文件记录可消除对由外科医生或护士物理地跟踪并聚焦于此类文件记录的需求，从而允许外科医生或护士聚焦于手术的其他方面。
事实上，项目跟踪还可用于帮助以文件形式记录并记载外科手术，而且提供安全检查以确保例如相对于术前计划正在使用正确的外科手术项目，所述术前计划可为具有特别针对特定患者规定的一个或多个特征的患者特定外科手术计划。对外科手术项目的基于对象的混合现实(MR)检测可有助于外科手术项目验证。在一些实例中，也可用监测外科手术项目中的加速度计的加速度计数据的项目跟踪来监测或验证外科手术项目使用。在一些情况下，项目跟踪可与其他项目跟踪或其他项目登记技术，诸如条形码或其他光码扫描、RFID读取或其他自动化，例如使用光码扫描仪、RFID读取器或其他机器自动化工具结合使用。在一些情况下，光码读取、RFID读取或其他机器自动化可被并入到类似于可视化装置213的可视化装置中，以便允许在MR环境中实现这种自动化，而不需要额外的条形码读取器或RFID读取器。以此方式，可通过跟踪并验证在手术的适当状态下使用正确的外科手术项目来改进外科手术文件记录。为了有助于由可视化装置213对外科手术项目进行光码扫描，外科手术项目中的一些或全部可包括光学可扫描码，诸如一维条形码或二维条形码，所述光学可扫描码可被打印在外科手术项目上或附连到外科手术项目。可视化装置213可检测特定外科手术项目，并且基于检测光学可扫描码而记录其在医疗手术中的使用。同样，外科手术项目的盒子或托盘可包括可由可视化装置213扫描的光学可扫码条形码。在一些实例中，作为对光码的使用的取代或补充，可视化装置213可使用计算机图像辨别和/或光学字符辨别来识别外科手术项目。
在一些实例中，本公开的技术中的一些或全部可借助于混合现实(MR)可视化来实现。例如，代替使用集成到外科手术项目自身中的灯，可由可视化装置在真实世界外科手术项目之上或与之相邻的位置处呈现虚拟信息，这可由用户经由可视化装置，诸如由护士在操作程序期间佩戴的混合现实头戴式耳机来查看。例如，如图2和图5所示，这种MR头戴式耳机的实例为MR系统212的可视化装置213。此外，MR的使用可实现对在其中集成灯可能不切实际的外科手术项目，诸如可植入装置、伤口闭合产品和其他类型的外科手术项目的标识。这可消除对外科手术项目自身内的照明的需求，但是即使在使用MR时，某些外科手术项目内的照明可能仍然是期望的。换句话说，在一些实例中，MR实现方式可用来取代外科手术项目中的物理照明，但是在其他实例中，混合现实实现方式可与外科手术项目中的物理照明结合使用。此外，混合现实可与外科手术项目中的其他高级特征，诸如灯、传感器、加速度计或其他跟踪特征结合使用。
在一些实例中，用户可查看真实世界场景，所述真实世界场景包括手术室的环境、患者的实际解剖结构，即，真实解剖结构，诸如在外科手术期间暴露的实际骨骼或软组织解剖结构(例如，在肩关节置换术中的关节盂或肱骨骨骼)。用户可通过头戴式MR装置，诸如本公开中描述的可视化装置213的透明屏幕(例如，通过透视、透明的全息透镜)查看此场景，并且用户还可看到投射在屏幕之上或之中的一个或多个虚拟MR对象，使得一个或多个MR对象看起来好像是真实世界场景的一部分，例如虚拟对象在用户看来好像覆盖在实际的真实世界场景上或以其他方式与之融合。例如，如上文所讨论，虚拟信息可呈现或覆盖或呈现在与特定的真实世界外科手术项目相邻之处，以便将外科手术中的外科手术项目的状态标识为例如在外科手术的当前步骤中将使用的外科手术项目、先前使用的外科手术项目、或在外科手术的下一个步骤或将来的步骤中将使用的外科手术项目。虚拟信息可例如经由全息透镜作为全息影像投射在诸如可视化装置213的MR可视化装置的屏幕上，使得全息图像覆盖在通过屏幕可见的真实世界外科手术项目上。
除了协助护士进行外科手术项目选择之外，本文描述的技术和特征还可改进外科手术的外科手术项目跟踪和文件记录。如前文所讨论，外科手术项目可包括工具、可植入装置、其他外科手术项目的托盘、或在外科手术期间可能使用的其他物理对象。此外，所述系统可通信地耦合到可用的外科手术项目的库存系统。在此情况下，如果外科医生需要不存在的外科手术项目，或者如果外科医生需要相对于术前计划改变手术的一个或多个步骤，本文描述的特征可允许护士检查医院库存以查明其他外科手术项目是否立即可用于手术中。如果为是，则护士可指引另一个助手来从库存中取出必要的外科手术项目，同时避免就外科手术项目可用性向助手发送手动检查的需求。这可节省手术期间的重要的时间并且帮助避免不必要的停歇时间。
在一些实例中，本公开的技术可促成对外科手术的更准确的文件记录，以及对在该手术期间使用的外科手术项目的更准确的文件记录。借助于可视化装置和混合现实，护士可能能够自动地以文件形式记录外科手术项目使用。外科手术项目的对象识别和对象跟踪可由可视化装置的计算系统执行来帮助跟踪外科手术项目选择和外科手术项目使用。例如，当外科医生取出第一外科手术项目来使用时，所述系统可例如基于来自外科手术项目的传感器数据、基于图像的对象检测、或外科手术项目上的扫描标志而检测到外科手术项目是在外科医生的手部中。这种对象跟踪(例如，对外科手术项目的视觉形状检测或对外科手术项目上的标志的视觉检测、或通过使用来自外科手术项目的传感器数据)可用来取代其他自动化或者与其他自动化结合使用，诸如光码扫描、RFID读取或其他项目跟踪自动化。在一些实例中，例如，除了光码扫描、RFID读取或其他项目跟踪自动化，基于对象检测的项目跟踪可用作对项目使用的验证和进一步的文件记录。再次，在一些情况下，光码扫描、RFID读取或其他项目跟踪自动化特征可被集成到MR装置，诸如可视化装置213中。可视化装置213可以文件形式记录外科手术项目使用并且保存这个文件记录以用于纪录保持和术后分析。再次参考图6，例如，可视化装置213可将与外科手术项目使用相关联的跟踪信息记录到一个或多个存储装置612中以用于文件记录和稍后检索。例如，在由可视化装置213检测到外科手术项目或外科手术项目的任何特定使用时，这种检测的时间戳和检测类型(RFID扫描、条形码扫描、外科手术项目的对象检测或其他自动化外科手术项目检测)、检测到的外科手术项目以及与所述检测相关联的时间戳可存储在一个或多个存储装置612中以用于外科手术的文件记录和稍后检索。另外，在一些实例中，一个或多个外科手术项目可例如经由一个或多个通信装置616和外科手术项目中的对应的通信装置或模块与可视化装置213通信，以便向可视化装置213传达传感器信息、加速度计数据、照明信息(以及与任何此类信息或数据相关联的时间戳)以用于外科手术期间对外科手术项目使用进行文件记录和稍后检索。以此方式，可实现对外科手术的准确的文件记录，并且可改进手术自身。外科手术项目中的诸如传感器和加速度计的高级特征可用于协助项目跟踪，以便通过监测加速度计数据来验证并以文件形式记录在手术中何时使用外科手术项目。
图83是示出根据本公开的一个实例的包括一组外科手术项目8302和处理装置8304的系统8300的框图。外科手术项目8302可使用本公开的项目跟踪技术来跟踪。在此实例中，外科手术项目8302中的每一者包括示出为“L(s)”的一个或多个光源。光源L(s)可包括发光二极管(LED)，但是其他类型的半导体发光元件或其他类型的光源也可用于光源L(s)。由于诸如低能量使用、高效率、长寿命和高强度之类的因素，诸如LED的半导体照明件可能是期望的。此外，利用LED可能很容易控制和实现诸如不同的颜色、强度或脉冲或闪烁效果的照明效果，所述LED可包括能够照亮不同颜色的灯的多色LED。在一些实例中，可针对给定的环境选择颜色来用于标识外科手术项目。对于外科手术室，例如，可能期望避免红色，并且对于项目标识，绿色可能是非常明显的。LED可具有被配置为驱动LED的相关联的LED控制器。
光源L(s)可安装在该组外科手术项目8302内的外科手术项目中的每一者之上或之内。每个外科手术项目可包括电池、天线和通信电路，例如在外科手术项目中的每一者内都包括这些项目，以便对灯进行供电，并且提供与处理装置8304通信的能力，所述处理装置可控制灯。灯可设置在外科手术项目的壳体的空腔或隔室内。灯可为包括通信电路、天线和电池的灯模块的一部分。灯可被安置或定位成在外科手术期间对相应的外科手术项目进行有效照明，例如安置或定位在顶侧、底侧或任何期望的位置上。在一些实例中，照明模块可一次性地或永久地附连在外科手术项目上。灯或照明模块可被设计为能承受灭菌。作为对灯的补充或取代，也可使用声学或振动反馈模块(例如，以触觉反馈使外科手术项目“发出嗡嗡声”，或者以音频反馈使外科手术项目“发出哔哔声”)。如果需要的话，则外科手术项目还可包括打开/关闭开关，以在外科手术项目在使用时启用可选择的照明，并且在外科手术项目不在使用时禁用照明。
图104是可对应于本公开中描述的外科手术项目中的一者或多者的外科手术项目10400的更详细的框图。外科手术项目10400可包括经由通信总线10424通信地耦合的一个或多个处理器10402和一个或多个存储装置10422。外科手术项目10400还可包括一个或多个传感器10404，诸如本文针对外科手术项目使用、外科手术项目自动化、或项目跟踪描述的那些传感器中的任一者。在一些实例中，外科手术项目10400被示出为包括一个或多个温度传感器10406、一个或多个压力传感器10408、一个或多个运动传感器10410以及一个或多个取向传感器10412。外科手术项目10400还可包括一个或多个发光二极管10420和一个或多个加速度计10418。外科手术项目10400也可包括对外科手术项目10400中示出的部件进行供电的电源10416，诸如电池。此外，外科手术项目10400还可包括通信装置10414，所述通信装置10414可包括用于与外部装置，诸如可视化装置213的一个或多个通信装置616通信的无线通信装置(例如，具有天线)。传感器10404可感测各种事物(例如，温度、运动、压力、取向等)作为对外科手术项目使用的指示，并且所感测的数据(以及相关联的时机信息，诸如与所感测的数据相关联的时间戳)可存储在一个或多个存储装置10422中并且可能例如经由外科手术项目10400的一个或多个通信装置10414与可视化装置213的一个或多个通信装置616之间的无线通信而传达到可视化装置213。
一般而言，装置可包括用于外科手术中的外科手术项目，以及在外科手术项目之上或之内的灯，其中灯可由外部装置控制以便标识用于外科手术中的外科手术项目。在一些实例中，所述装置还可包括加速度计和/或一个或多个传感器。作为实例，外科手术项目可包括测深器、压紧器、冲孔工具、锉磨工具、或表面计划工具。可选地，外科手术项目包括外科手术植入物，诸如关节盂植入物、肱骨植入物、固定装置或锚固硬件。外科手术项目可为包括针对特定患者的解剖结构设计的一个或多个特征的患者特定外科手术项目。
在一些实例中，该组外科手术项目8302可限定可用于外科手术的外科手术项目的套件。例如，套件可包括用于外科手术中的多个外科手术项目，以及在多个外科手术项目中的每一者之上或之内的灯，其中灯可由外部装置控制以便选择性地标识用于外科手术中的多个外科手术项目中的每一者。在一些实例中，多个外科手术项目中的每一者可包括加速度计和/或一个或多个传感器。作为实例，所述套件可包括多个测深器、多个压紧器、多个冲孔工具、多个锉磨工具、或多个表面计划工具。另外，在一些情况下，外科手术项目中的至少一者可包括外科手术植入物，诸如关节盂植入物、肱骨植入物、固定装置或锚固硬件。外科手术项目可包含包括针对特定患者的解剖结构设计的一个或多个特征的患者特定外科手术项目。可针对给定的手术，诸如特定类型的肩部外科手术或特定类型的脚踝外科手术定义外科手术项目8302。因此，在外科手术项目8302内的项目可根据待执行的手术而变化。
术语“医疗工具”可包括用于骨科外科手术中的各种各样的工具中的任一者，包括例如测深器、压紧器、冲孔工具、锉磨工具、表面计划工具以及用于外科手术准备和植入中的其他工具。此外，术语“外科手术项目”可包括如本文所述的医疗工具、外科手术植入物以及可用于外科手术中的其他项目。在一些实例中，外科手术项目可为患者特定的。换句话说，本文描述的项目跟踪技术(例如，使用MR，使用高级特征和照明，或其他特征)还可应用于呈外科手术植入物的形式的外科手术项目，例如在肩关节修复外科手术的实例中包括诸如关节盂或肱骨植入物和相关联的固定装置、锚固硬件、或者其他植入物或用于植入此类装置的工具的事物。
如图83所示，处理装置8304是在该组外科手术项目的外部。处理装置8304被配置为与该组外科手术项目通信，并且基于外科手术而控制外科手术项目中的每一者中的光源。对于这种通信，处理装置8304和该组外科手术项目8302中的外科手术项目中的每一者可包括受到无线通信硬件部件，例如像发射器、接收器和调制解调器支持的无线通信能力。可使用各种各样的通信技术中的任一种，但是高速短程通信协议可能是特别有用的，诸如蓝牙、Zigbee、无线USB或另一种高速短程通信协议。为了简单和方便说明起见，图83中未示出该组外科手术项目和处理装置8304内的无线通信部件。
尽管不是所有实例所需的，但是该组外科手术项目8302内的外科手术项目中的每一者还可包括其他高级特征，诸如加速度计(示出为A(s))和其他传感器(示出为S(s))。外科手术项目内的加速度计A(s)和其他传感器S(s)可在一些实例中例如通过促进识别此类外科手术项目的位置和运动的能力来促进并增强对象跟踪。其他传感器S(s)可包括陀螺仪；用于在项目使用期间跟踪环境室温或患者温度的一个或多个温度传感器；用于检测施加在外科手术项目上的压力的压力传感器；用于检测诸如血液的流体的流体传感器；额外的加速度计；或对于外科手术项目而言期望的任何类型的传感器。例如，加速度计A(s)和其他传感器S(s)可允许处理装置8304基于传感器数据和加速度计数据而确定医师将何时使用特定外科手术项目。传感器S(s)还可例如基于外科手术期间的压力、温度或其他所感测的参数而提供与外科手术项目使用有关的更高级的信息。这种感测的数据可存储在外科手术项目中或者可能从外科手术项目传达到外部装置，诸如处理装置8304、可视化装置213或另一个外部装置。
在一些实例中，该组外科手术项目8302内的外科手术项目中的每一者内的光源L(s)可协助护士来识别医师在外科手术中需要外科手术项目的顺序。处理装置8304可被配置为激活或停用医疗外科手术项目(例如，项目1、项目2、项目3、…项目N)中的每一者中的光源L(s)，使得不同的外科手术项目在不同的时间发亮。另外，在一些情况下，处理装置8304可被配置为激活或停用外科手术项目(例如，项目1、项目2、项目3、…项目N)中的每一者中的光源L(s)，使得不同的外科手术项目以不同的颜色(并还可能在不同的时间)发亮。可定义颜色协调方案，使得护士能够使用颜色来标识正在使用哪个外科手术项目，已经使用哪些外科手术项目，以及哪个外科手术项目是医师在外科手术中所需的下一个外科手术项目。在外科手术过程中所需的外科手术项目的顺序可在患者的虚拟外科手术计划中进行阐述，所述虚拟外科手术计划也可为患者特定的并且包括特别针对患者规定的工具、植入物和手术顺序。
在一些实例中，处理装置8304被配置为控制该组外科手术项目(项目1至项目N)中的每一者中的光源L(s)组，以便标识该组外科手术项目中的所有外科手术项目并且特别区分外科手术项目中的一者。换句话说，可照亮所有外科手术项目(项目1至项目N)，但是可以某种方式区分外科手术项目中的特定外科手术项目(例如，项目2)。以此方式，护士可能能够识别整组项目，以及当前需要的特定外科手术项目。该组外科手术项目(项目1至项目N)可被包括在外科手术项目的较大的集合内，使得对该组外科手术项目(项目1至项目N)的照亮将该组外科手术项目与外科手术项目的较大的集合区分开来，并且对特定外科手术项目(例如，项目2)的有区别的照明可允许护士更快速地识别该组内的特定外科手术项目。
在一些实例中，不同的灯颜色可用于将外科手术项目中的一者与该组外科手术项目区分开来。在一些实例中，照明效果(例如，闪光或闪烁的灯，所述灯可逐个项目地限定时间闪烁模式或速率)可用于区分外科手术项目中的一者。在一些实例中，照明强度用于区分外科手术项目中的一者。在其他实例中，如果多个灯被提供在外科手术项目中，则多个灯的照亮或外科手术项目上的灯的模式可用于区分外科手术项目。这些或其他实例(以及此类有区别的照明的任何组合)可用于帮助护士快速而准确地识别该组内的特定外科手术项目。
在一些实例中，控制外科手术项目中的每一者中的光源L(s)以区分外科手术项目的第一子集、外科手术项目的第二子集以及外科手术项目的第三子集。例如，外科手术项目的第一子集可对应于已经使用的外科手术项目，外科手术项目的第二子集可对应于当前使用的外科手术项目，并且外科手术项目的第三子集可对应于后续需要的外科手术项目。
在一些实例中，该组外科手术项目8302(项目1至项目N)可定义可在外科手术中相继使用的具有不同大小或形状的类似的外科手术项目。例如，该组外科手术项目8302(项目1至项目N)可对应于用于骨科肩部重建外科手术的具有有序大小或形状的一组骨科测深器(例如，用于对肱骨沟进行测深)。在一些实例中，该组外科手术项目8302(项目1至项目N)还可包括用于骨科肩部重建外科手术的具有有序大小或形状的一个或多个冲孔工具。在一些实例中，该组外科手术项目8302(项目1至项目N)还可包括用于骨科肩部重建外科手术的具有有序大小或形状的一个或多个压紧工具。仍然在另一个实例中，该组外科手术项目8302(项目1至项目N)还可包括用于骨科肩部重建外科手术的具有有序大小或形状的一个或多个表面计划工具。在这些和其他实例中，可照亮具有不同大小或形状的该组外科手术项目8302(项目1至项目N)，但是照亮可根据此类外科手术项目是先前使用的，此类外科手术项目是在当前使用中，还是此类外科手术项目计划用于后续使用而有所不同。可照亮整个组，但是照亮可能是明显地编码的，使得护士或其他用户能够将先前使用的外科手术项目与使用中的当前外科手术项目区分开来，并且将后续需要的外科手术项目与使用中的当前外科手术项目和先前使用的外科手术项目区分开来。不同类型的灯颜色、不同类型的光强度或不同类型的照明效果可用于(可能组合地用于)协助护士进行外科手术项目选择。手术中将使用的该组外科手术项目可由术前计划定义，并且本公开的技术可识别手术的所有外科手术项目，并且还可识别根据术前计划作为手术中所需的当前外科手术项目(例如，如由虚拟患者特定外科手术计划所定义)的特定外科手术项目。在一些情况下，外科手术项目的大小范围可为例如1号至10号，并且所述系统可被设计为识别这些大小的子集，以例如根据术前计划进行使用。在一些情况下，对于整组外科手术项目可能存在一个灯，并且对于该组中将使用的特定外科手术项目可能存在另一个灯。
如上文所提及，在一些实例中，本公开的技术中的一些或全部可借助于混合现实来实现。例如，代替使用集成到外科手术项目自身中的灯，虚拟信息可通过诸如由护士在操作程序期间佩戴的MR头戴式耳机的可视化装置覆盖在外科手术项目上。这可消除对外科手术项目中的照明的需求，但是即使在使用混合现实时，照明可能仍然是期望的。换句话说，在一些实例中，混合现实实现方式可用来取代外科手术项目中的物理照明，但是在其他实例中，混合现实实现方式可与外科手术项目中的物理照明结合使用。此外，混合现实可与外科手术项目中的其他高级特征，诸如灯、传感器、加速度计或其他项目跟踪特征结合使用。
图84是示出根据本公开的一个实例的包括一组外科手术项目8402和呈MR可视化装置213的形式的处理装置的医疗装置系统8400的概念框图。在此实例中，该组8402中的外科手术项目中的每一者以示出为“V(s)”的覆盖虚拟元素示出。虚拟元素V(s)可作为混合现实呈现的虚拟元素呈现给可视化装置213的用户。虚拟元素V(s)可以类似于图83中示出和描述的光源L(s)的方式起作用。然而，虚拟元素V(s)实际上并不是该组外科手术项目8402的一部分。相反，所述虚拟元素是由可视化装置213呈现，以至于看起来好像与该组外科手术项目8402中的外科手术项目中的每一者相关联的元素。以此方式，代替使用集成到外科手术项目自身中的灯，使用混合现实来呈现由可视化装置213呈现或可能覆盖在外科手术项目上的虚拟信息。可视化装置213可用于外科手术项目识别，例如用于护士，同时还提供术中引导和工作流引导。相对于外科医生的视图，可视化装置213上看到的视图对于护士而言可能是不同的。可视化装置213上的项目识别特征或呈现可呈现给护士，而不是呈现给外科医生，但是也可使用视图共享技术，由此外科医生能够选择并查看来自护士的视图的图像或对象，如本公开中其他位置更详细地所描述。
根据本公开，可视化装置213以可协助护士识别医师在外科手术中所需的外科手术项目的顺序的方式在该组外科手术项目8402内的外科手术项目中的每一者之上或周围呈现虚拟元素V(s)。此类虚拟信息可包括虚拟光晕、轮廓线、突出显示、标记、文本(包括字母和数字)、或用于区分外科手术项目的其他类型的虚拟元素。可视化装置213可被配置为激活或停用该组外科手术项目8402的外科手术项目(例如，项目1、项目2、项目3、…项目N)中的每一者中的虚拟元素V(s)，使得不同的外科手术项目看起来好像以不同的颜色照亮。例如，不同地着色的虚拟光晕、轮廓线、或突出显示可用于照亮外科手术项目。可定义颜色协调方案，使得护士能够使用颜色来标识正在使用哪个外科手术项目，已经使用哪些外科手术项目，以及外科手术项目中的哪一者是医师在外科手术中所需的下一个外科手术项目。在外科手术过程中所需的外科手术项目的顺序可在术前计划中进行阐述。
在一些实例中，可视化装置213被配置为控制与该组外科手术项目8402内的外科手术项目(项目1至项目N)中的每一者相关联的虚拟信息V(s)，以便标识该组外科手术项目中的所有外科手术项目并且特别区分外科手术项目中的一者。换句话说，可通过虚拟信息V(s)标识该组8402内的所有外科手术项目(项目1至项目N)，但是项目中的特定项目(例如，该组8402内的项目2)可通过其相关联的虚拟信息V(s)来区分。虚拟信息V(s)可包括本公开中其他位置描述为用于区分外科手术项目的任何类型的虚拟信息。以此方式，混合现实可用于帮助护士识别整组外科手术项目，以及当前需要的特定外科手术项目。该组外科手术项目8402(项目1至项目N)可被包括在外科手术项目的较大的集合内，使得用虚拟信息V(s)对该组外科手术项目(项目1至项目N)的虚拟标识将该组外科手术项目与外科手术项目的较大的集合区分开来，并且特定外科手术项目的有区别的虚拟信息(例如，项目2的V(s))可允许护士更快速地识别该组内的特定外科手术项目。
在一些实例中，覆盖在该组外科手术项目8402中的每个外科手术项目上的虚拟元素V(s)可包括不同的颜色，以便将外科手术项目中的一者与该组外科手术项目区分开来。在一些实例中，MR照明效果可与虚拟元素V(s)(例如，闪光或闪烁的灯)一起使用来区分外科手术项目中的一者。在一些实例中，照明强度应用于虚拟元素V(s)来区分外科手术项目中的一者。这些或其他实例(以及此类有区别的照明与虚拟元素V(s)的任何组合)可用于帮助护士快速而准确地识别该组内的特定外科手术项目。
在一些实例中，医疗装置系统包括：多个外科手术项目；可视化装置，所述可视化装置被配置为向用户呈现MR呈现；以及一个或多个处理器，所述一个或多个处理器被配置为基于外科手术而选择多个外科手术项目中的某一外科手术项目。一个或多个处理器还可被配置为在MR呈现中呈现在多个外科手术项目之中标识所选外科手术项目的虚拟信息。虚拟信息可呈现在经由可视化装置可见的所选外科手术项目的位置上或与所述位置相邻之处。处理器可为MR可视化装置的一部分，或者处理器可在MR可视化装置的外部。如本公开中其他位置更详细地所描述，MR可视化装置可包括一个或多个透视的全息透镜以及一个或多个显示装置，所述一个或多个显示装置经由全息透镜显示图像以向用户呈现虚拟模型和虚拟引导。
作为例如通过可视化装置213呈现给用户的MR内容的另外的实例，虚拟元素V(s)可包括外接外科手术项目以用于标识的标识环或圆圈、箭头、X形状、十字线、括号、形状(圆形、矩形、方形、椭圆形、数字、字母、词语或符号，它们可能会闪烁或具有其他效果)、不同的背景阴影或模式、与颜色或强度组合。这些和各种各样的其他类型的MR内容可被添加为视觉元素V(s)以借助于MR来突出显示(或区分)给定的外科手术项目。
在一些实例中，经由可视化装置213以区分外科手术项目的第一子集、外科手术项目的第二子集以及外科手术项目的第三子集的方式向用户显示与外科手术项目中的每一者相关联的虚拟元素V(s)。例如，外科手术项目的第一子集可对应于已经使用的外科手术项目，外科手术项目的第二子集可对应于当前使用的外科手术项目，并且外科手术项目的第三子集可对应于后续需要的外科手术项目。
在一些实例中，组8402中的该组外科手术项目(项目1至项目N)可限定可在外科手术中相继使用的具有不同大小或形状的类似的外科手术项目。例如，该组外科手术项目8402(项目1至项目N)可对应于用于骨科肩部重建外科手术的具有有序大小或形状的一组测深器。此外，该组外科手术项目8402(项目1至项目N)还可包括用于骨科肩部重建外科手术的具有有序大小或形状的一个或多个冲孔工具。此外，该组外科手术项目8402(项目1至项目N)也可包括用于骨科肩部重建外科手术的具有有序大小或形状的一个或多个压紧工具。此外，该组外科手术项目8402(项目1至项目N)还可包括用于骨科肩部重建外科手术的具有有序大小或形状的一个或多个表面计划工具。
在这些和其他实例中，具有不同大小或形状的该组外科手术项目8402(项目1至项目N)可用虚拟元素V(s)标识。在一些实例中，每个外科手术项目在进行到要使用所述外科手术项目时进行标识。然而，在一些实例中，可标识多个外科手术项目。在一些实例中，虚拟元素V(s)的元素类型、颜色或形状可根据此类外科手术项目是先前使用的，此类外科手术项目是在当前使用中，还是此类外科手术项目计划用于后续使用而有所不同。整个组可通过虚拟元素V(s)来标识，但是虚拟元素V(s)可被明显地定义，使得护士能够将先前使用的外科手术项目与使用中的当前外科手术项目区分开来，并且将后续需要的外科手术项目与使用中的当前外科手术项目和先前使用的外科手术项目区分开来。不同类型的颜色、不同类型的强度或不同类型的效果可与虚拟元素V(s)(可能组合地)一起使用来协助护士进行外科手术项目选择。
手术中将使用的该组外科手术项目可由术前计划定义，并且本公开的技术可识别手术的所有外科手术项目，并且还可识别根据术前计划作为手术中所需的当前外科手术项目的特定外科手术项目。再次，可视化装置213可用于外科手术项目识别，例如用于护士，同时还提供术中引导和工作流引导。相对于外科医生的视图，可视化装置213上看到的视图对于护士而言可能是不同的。可视化装置213上的项目识别特征或呈现可呈现给护士，而不是呈现给外科医生，但是也可使用视图共享技术，由此外科医生能够选择并查看来自护士的视图的图像或对象，如本公开中其他位置更详细地所描述。
图85是示出根据本公开的一个实例的包括一组外科手术项目8502和呈可视化装置213的形式的处理装置的医疗装置系统8500的另一个概念框图。在此实例中，医疗装置系统8500可包括上文相对于图83的系统8300描述的特征中的一些或全部与上文相对于图85的系统8500描述的特征中的一些或全部的组合。该组8502中的外科手术项目中的每一者可包括光源L(s)、加速度计A(s)、其他传感器(S(s)以及示出为“V(s)”的一个或多个虚拟元素。虚拟元素V(s)可作为混合现实呈现的虚拟元素呈现给可视化装置213的用户。以此方式，具有高级特征，诸如光源L(s)、加速度计A(s)、其他传感器(S(s)的外科手术项目可连同混合现实和虚拟元素V(s)一起使用来提供具有混合现实控制、项目跟踪和程序跟踪的一组高级的外科手术项目。虚拟元素V(s)结合光源L(s)的使用可允许由佩戴或以其他方式使用可视化装置的人员，以及未使用可视化装置的人员进行项目识别。或者，光源L(s)可与虚拟元素V(s)结合使用来改进项目识别或者不同的照亮或标识效果。
在一些实例中，MR系统212可被配置为允许借助于混合现实来进行项目跟踪。此外，MR系统212还可允许使用混合现实来对外科手术进行跟踪和文件记录。项目跟踪例如可由MR系统212执行来帮助以文件形式记录并记载外科手术，并且提供安全检查来确保例如相对于术前计划正在使用正确的外科手术项目。MR系统212可利用对外科手术项目的基于对象的检测。
例如，当医师被给予该组外科手术项目8502中的外科手术项目中的一者时，MR系统212可执行视觉对象检测作为验证以确保正在使用正确的外科手术项目。视觉对象检测可指代对对象形状的检测(或可能为对条形码、文本、字母、数字、词语或与外科手术项目相关联的其他标识标志的检测)。作为对条形码扫描、RFID读取或其他项目跟踪技术的补充，可使用这种视觉对象检测。此外，与所选外科手术项目的加速度计A(s)相关联的加速度计数据可用作对外科手术项目使用的进一步的验证和文件记录。例如，与加速度计(A(s)相关联的加速度计数据可指示外科手术项目使用、外科手术项目停用、特定类型的外科手术项目定位。这种数据可能可用于标识并以文件形式记录外科手术项目使用(或未使用)。
结合项目跟踪技术的使用可有助于提高手术期间的项目跟踪和文件记录的准确度。根据本公开，可使用以下技术中的两种或更多种来验证外科手术项目使用：加速度计数据；用MR可视化装置的相机对外科手术项目进行视觉对象检测；由MR可视化装置通过跟踪并监测托盘中的外科手术项目在所述托盘的使用期间的缺席以便识别外科手术项目使用的可能时间来进行托盘跟踪；外科手术项目的RFID或光码扫描；或其他跟踪技术。托盘跟踪可使用相机来识别外科手术项目在托盘中的缺席，并且外科手术项目在托盘中的缺席可用于推测外科手术项目可能在使用中。在一些实例中，可使用这些项目跟踪技术中的三种或更多种、四种或更多种、或者五种或更多种来帮助确保项目跟踪在手术期间是准确的并且具有良好的文件记录。
项目跟踪信息可由可视化装置213在手术期间记录为外科手术的记录。所记录的项目跟踪信息可包括如何使用外科手术项目的视频、使用哪些外科手术项目的记录、何时使用各个外科手术项目的记录等等。例如，与使用了哪些外科手术项目有关的信息可。为了有助于对外科手术项目进行这种多模式跟踪，在一些情况下，光码读取、借助于相机的对象检测、RFID读取或其他机器自动化可被并入到类似于可视化装置213的可视化装置中，以便允许在MR环境中实现这种自动化，而不需要额外的条形码读取器或RFID读取器。以此方式，可通过跟踪并验证在手术的适当状态下使用正确的外科手术项目来改进外科手术文件记录。
系统8500可被配置为跟踪项目使用并且推荐将用于手术的下一个外科手术项目。例如，系统8500可被配置为基于诸如术前定义的外科手术计划的外科手术计划而选择外科手术项目。在此实例中，外科手术计划可包含指定在由外科手术计划定义的外科手术的各种步骤中将使用哪些外科手术项目的信息。因此，系统8500可使用外科手术计划中的这种信息以基于外科手术计划而选择外科手术项目。此外，在使用该组外科手术项目8502中的所有外科手术项目(项目1至项目N)之后，系统8500可被配置为移到外科手术的下一个阶段，例如，针对所述下一个步骤可能例如在不同的托盘或盒子中标识全新的一组外科手术项目。在一些实例中，项目跟踪和项目识别特征可特定于佩戴或以其他方式使用诸如可视化装置213的MR装置的护士。
外科医生也可佩戴或以其他方式使用类似的MR装置，但是外科医生的MR装置可能不包括由护士的MR装置执行的项目跟踪和项目识别特征。换句话说，在一些实例中，外科医生的MR装置被配置为提供护士的MR装置的所有功能，而在其他实例中，外科医生的MR装置可能没有被配置为呈现标识特定外科手术项目的虚拟影像，并且可能不包括用于处理加速度计数据以识别外科手术项目或外科手术项目的使用的视觉检测一个或多个特征。
在一些实例中，可使用本公开中其他位置描述的视图共享技术以使得外科医生能够看到护士的视图，但是通常，外科医生可能会查看他或她的外科医生特定MR呈现，而不会查看由护士看到的项目跟踪MR元素，使得外科医生可集中精力于骨科外科手术以及正被处理的外科手术骨骼或组织部位。由护士看到的用于项目标识的MR元素可能只有在护士查看该组外科手术项目时才会对所述护士可见。
出于安全跟踪、质量控制、法律合规性、外科手术的分析、跟踪器械或其他外科手术项目已被使用多少次、器械用龄、器械寿命、或其他原因，对外科手术的记录可能是非常有用或重要的。除了跟踪外科手术项目使用之外，可视化装置213(或者如果手术中未使用MR，则可能为另一个装置)可被配置为记录手术中与外科手术项目使用相关联的次数、针对每次外科手术项目使用进行计数器记录、记录手术的步骤之间的时间、或者其他时机或跟踪。例如，可使用外科手术项目使用和外科手术项目监测来记录外科医生执行测深的时间量、外科医生执行锉磨的时间量、外科医生执行压紧的时间量、外科医生执行表面计划的时间量等等。通过使用外科手术项目使用来跟踪手术的每个步骤并通过记录使用每个外科手术项目的时间，所述系统可记录整个外科手术的非常准确的画面。
可能可用于跟踪的其他事物可包括对外科手术项目执行的灭菌的次数、外科手术项目移动的次数、外科手术项目用于外科手术中的次数或时间量、外科手术项目已掉落在底板上的指示、或其他外科手术项目的特定类型的使用或误用。为了在外科手术日志中记录外科手术的步骤，诸如光源L(s)、加速度计A(s)、其他传感器(S(s)的高级外科手术项目特征可单独使用或与混合现实技术结合使用，包括使用视觉元素V(s)的基于MR的项目跟踪、使用安装在MR可视化装置上的传感器的视觉对象检测以及对护士呈现虚拟信息V(s)。
例如，外科手术记录保持和外科手术项目跟踪可划分为外科手术的各阶段。图86至图94示出了解剖关节置换术的阶段的一个实例，由此可针对手术的每个阶段执行并记录项目跟踪、项目选择和识别以及外科手术项目使用的文件记录。图86至图94中阐述的实例出于说明目的示出了肩关节置换术中的肱骨准备和植入，但是类似于本文描述的那些的技术可应用于肩关节置换术中的其他步骤，诸如关节盂准备和植入，以及其他骨科程序。虽然图86至图94以及图95至图108讨论了特定肩部外科手术步骤的各方面，但是本公开的技术也可适用于其他类型的外科手术。此外，脚踝外科手术可涉及使用多个工具和夹具来钻孔、切割、准备植入部位并将植入物安装在患者的距骨和胫骨上，并且尤其是在手术中使用各种不同的工具的情况下，本公开的工具跟踪技术可被用于脚踝外科手术。
在图86至图94所示的实例中，手术可划分为各阶段，诸如图86所示的测深程序、图87所示的冲孔程序、图88所示的压紧或锉磨程序、图89所示的表面计划程序、图90所示的保护程序、图91和图92所示的试验程序以及图93和图94所示的植入程序。每个阶段可涉及使用多个外科手术项目，并且本公开的技术可有助于外科手术项目选择，以及每个阶段中使用的多个外科手术项目的外科手术项目识别。在一些实例中，针对整个手术定义外科手术项目组，而在其他实例中，针对整体手术的每个阶段定义外科手术项目组。在任一种情况下，可识别该组外科手术项目，同时还区分在手术的当前步骤中将使用的特定外科手术项目(例如，如由术前计划所定义)。或者，所述技术可区分一组外科手术项目中的单个外科手术项目，而不用识别该组外科手术项目中的其他外科手术项目，例如，针对手术的每个步骤或阶段一次识别一个外科手术项目。图86所示的测深程序可涉及将一个或多个测深器8600插入到患者的肱骨骨骼8602内部的软组织中。图87所示的冲孔程序可涉及连接冲孔工具8700并将所述冲孔工具插入到患者的肱骨骨骼8702中已插入测深器(例如，图86所示)的区中。图88所示的压紧或锉磨程序可包括将一个或多个压紧工具8800插入到患者的肱骨骨骼8802中产生的孔中。视情况而定，压紧或锉磨可用长杆或短杆执行。图89所示的表面计划程序可包括经由在患者的肱骨骨骼8902上的计划工具8900来进行表面计划。图90所示的保护程序可包括将保护硬件9000附接到患者的肱骨骨骼9002。图91和图92所示的试验程序可涉及将额外的植入硬件9100或9200附接到患者的肱骨骨骼9102或9202，并且图93和图94所示的植入程序可包括将最终的植入物9300或9400附接到患者的肱骨骨骼9302或9402。
如果手术划分为各阶段，则在为任何给定阶段识别出最终的外科手术项目的使用之后，可视化装置213可针对手术的阶段进行编程，并且被配置为向护士警示给定的阶段已完成并且接下来要为下一个阶段做好准备。在此情况下，可提示护士准备另一组外科手术项目作为将用于外科手术中的下一组外科手术项目。例如，在结束图86所示的测深程序(其可涉及使用可像本文所述那样识别和跟踪的多个不同大小的测深器)之后，可通过可视化装置213提示护士准备下一组外科手术项目，即用于图87所示的冲孔程序的一组冲孔工具。
类似地，在结束图87所示的冲孔程序(其可涉及使用可像本文所述那样识别和跟踪的一个或多个冲孔工具)之后，可通过可视化装置213提示护士准备下一组外科手术项目，即用于图88所示的压紧或锉磨程序的一组压紧工具。然后，在结束图88所示的压紧或锉磨程序(其也可涉及使用可像本文所述那样识别和跟踪的多个不同大小的压紧工具)之后，可通过可视化装置213提示护士准备下一组外科手术项目，即用于图89所示的表面计划程序的一组表面计划工具。可视化装置213可有助于外科手术的每个步骤或子步骤的外科手术项目选择、外科手术项目准备和程序跟踪。针对每个步骤提示护士可包括在可视化装置213上呈现视觉提示、虚拟元素或其他MR内容。
图95是对人类肱骨骨骼执行的测深程序的概念侧视图，其中测深器9500插入到患者的肱骨骨骼9502中。图96是用于图95所示的外科手术中的不同大小的一组医疗测深器9600的图示。通常，从最小测深器到最大测深器相继使用测深器。取决于术前计划，可能不使用测深器中的一些。例如，在一些情况下，使用的第一个测深器可能不是该组外科手术项目中的最小测深器，在此情况下，最小测深器可能不用于手术中。类似地，在一些情况下，使用的最后一个测深器可能不是最大测深器，在此情况下，最大测深器可能不用于手术中。待使用的具体测深器可由术前计划定义，并且外科手术项目识别技术可根据术前计划来识别外科手术项目。在一些情况下，术前外科手术计划可标识将用于外科手术的给定步骤的外科手术项目，并且可视化装置213可为手术的给定步骤识别最后一个外科手术项目。然后，在检测到最后一个外科手术项目的使用之后，可视化装置213可自动地为用户识别外科手术的下一个步骤。
根据本公开，高级特征(诸如加速度计、光源或其他传感器)可被包括在图96所示的测深器中的每一者中，以实现如本文所述的项目识别和项目跟踪。此外，在一些情况下，MR系统212可呈现虚拟元素，例如覆盖在图96所示的测深器中的每一者上或者放置在所述每一者之上、周围或与每一者相邻之处，以实现如本文所述的项目识别和项目跟踪。也可由MR系统212记录程序跟踪、使用时机和外科手术项目使用的文件记录，以便实现自动化外科手术项目识别、程序跟踪和外科手术记录。
图97是包括一组逐渐变大的测深器9700的一组外科手术项目的图示。本公开的技术可在测深器9700中的每一者中利用高级特征(诸如加速度计、光源或其他传感器)，以实现如本文所述的项目识别和项目跟踪。此外，在一些情况下，MR系统212可在测深器9700中的每一者上呈现虚拟元素，以实现如本文所述的项目识别和项目跟踪。
图97所示的该组外科手术项目还可包括位于每种大小的测深器9700旁边的冲孔工具。根据外科手术，特定冲孔工具(例如，冲孔工具9702)可由术前外科手术计划定义为对应于根据术前计划使用的最大测深器大小。换句话说，尽管图97所示的该组外科手术项目包括大小逐渐变大的冲孔工具，但是这些冲孔工具中只有一个可用于手术中，例如，对应于所使用的最大测深器。为此原因，可能非常期望例如由可视化装置213进行来仅区分冲孔步骤所需的那一个特定冲孔工具的外科手术项目识别，以帮助确保使用正确的外科手术项目。此外，本文描述的外科手术项目跟踪和验证可帮助避免使用不正确大小的冲孔工具的情景。图105是类似于图97所示的那些的一组外科手术项目的图示。图105示出了用于标识或区分外科手术步骤所需的特定外科手术项目的一个示例性虚拟元素10500，所述示例性虚拟元素10500可由可视化装置213呈现为例如覆盖物。图106是类似于图97所示的那些的一组外科手术项目的另一个示例性图示。图106示出了用于标识或区分外科手术的下一个步骤所需的那一个外科手术项目的另一个示例性虚拟元素10600，所述示例性虚拟元素10600可由可视化装置213呈现为例如给定的外科手术项目的箭头和/或轮廓线。尽管图105和图106示出了虚拟元素10500和10600的两个实例，但是许多其他类型的虚拟元素也可由可视化装置213使用并呈现来标识外科手术项目。
图98是对人类肱骨骨骼执行的压紧或锉磨程序的概念侧视图。图99是包括一组逐渐变大的压紧工具9900的一组外科手术项目的图示。本公开的技术可在压紧工具9900中的每一者中使用高级特征(诸如加速度计、光源或其他传感器)，以实现如本文所述的项目识别和项目跟踪。此外，在一些情况下，MR系统212可在压紧工具9900中的每一者上呈现虚拟元素，以实现如本文所述的项目识别和项目跟踪。
项目还可能需要组装，例如，需要将压紧工具9900附接到手柄9902。可通过由护士佩戴的可视化装置213中显示的指导图、动画或视频来向护士说明项目组装。可通过选择MR或AR显示器中的小工具或图标来发起对指导图、动画或视频的显示，使得可向护士显示如何适当地组装项目，如果实时地需要这种指示的话。可呈现指导图、动画或视频来示出程序的步骤，并且对于护士而言，示出项目组装的指导图、动画或视频可能是非常有帮助的。
锉磨工具9900可包括具有长杆和短杆锉磨元件两者的双侧工具。因此，项目标识(例如，通过照明或通过混合现实中的虚拟元素的虚拟覆盖)还可标识手术中应使用的锉磨侧(例如，长杆或短杆)。这对于护士而言可能是非常有帮助的，以便确保在术前计划中定义长杆锉磨时使用长杆锉磨，或者确保在术前计划中定义短杆锉磨的情况下使用短杆锉磨。当每个锉磨工具都是双侧的并且仅一侧可用于手术中时，可能非常期望不仅标识锉磨工具，而且标识锉磨工具的将使用的部分，例如经由锉磨工具内的照明或经由混合现实信息来进行。因此，锉磨工具可被配置为选择性地对锉磨工具的一侧进行照明以将该侧标识为是适于锉磨的一侧，或者可视化装置213可被配置为呈现虚拟信息，所述虚拟信息将锉磨工具的特定一侧标识为是适于锉磨的一侧。还可以清楚地显示锉磨工具的用于短杆锉磨或长杆锉磨的组装的方式(例如，经由护士的混合现实呈现中的指导图、动画或视频)显示外科手术项目组装。
在一些实例中，例如，根据术前计划，本文描述的项目识别技术可识别比用于测深过程中的最终的测深器小三个号的特定锉磨工具。可顺序地执行锉磨，直到实现令人满意的固定为止。可通过插入件手柄的轻微扭矩运动来评定令人满意的固定。压紧器或锉磨工具不应在患者的骨骼内移动。因此，由于最终的锉磨工具大小可能不由术前外科手术计划定义，而是在术中过程期间进行定义或选择，因此可通过本公开的技术以独特的着色、视觉效果或甚至经由诸如可视化装置213的MR装置实现的文本覆盖来标识锉磨工具的顺序。此外，用于锉磨的项目标识技术可向护士解释(以文本、动画或视频)或标识(经由虚拟元素)最终的锉磨工具大小是实现令人满意的固定水平的那个锉磨工具大小，这可由医师在手术期间确定。图107是类似于图99所示的那些的一组外科手术项目的图示。图107示出了用于标识或区分外科手术步骤所需的特定外科手术项目的一组示例性虚拟元素10700和10702，所述示例性虚拟元素10700和10702可由可视化装置213呈现为例如覆盖物。虚拟元素10700和10702可能需要组装，并且在一些情况下，可视化装置213可呈现指导视频来展示组装过程(其可供护士选择并且仅在需要时显示)。另外，虚拟元素10702可被配置为不仅标识外科手术项目，而且标识外科手术项目的一侧(在此情况下为锉磨工具的长杆)，以便告知护士双侧外科手术元件的在外科手术中应使用的那一侧。
图100是对人类肱骨骨骼执行的表面计划程序的概念侧视图。图101是包括一组逐渐变大的表面计划工具10100的一组外科手术项目的图示。本公开的技术可在表面计划工具10100中的每一者中利用高级特征(诸如加速度计、光源或其他传感器)，以实现如本文所述的外科手术项目识别和外科手术项目跟踪。此外，在一些情况下，另外地或可选地，可视化装置213可在压紧工具9900中的每一者上呈现虚拟元素，以实现如本文所述的项目识别和项目跟踪。
表面计划可涉及使用表面计划工具10100的例如对应于用作最终的测深器的类似大小的最大测深器并对应于所使用的冲孔工具的仅一者。为此原因，可能非常期望仅区分表面计划步骤所需的那一个特定表面计划工具的外科手术项目识别，以帮助确保使用正确的外科手术项目。此外，本文描述的项目跟踪和验证可帮助避免使用不正确大小的冲孔工具的情景。图108是类似于图101所示的那些的一组外科手术项目的图示。图108示出了用于标识或区分外科手术所需的一组外科手术项目的一组示例性虚拟元素10800和10802，所述示例性虚拟元素10800和10802可由可视化装置213呈现为例如覆盖物。在此实例中，虚拟元素10802可被配置为将给定的外科手术项目与其他标识的外科手术项目10800区分开来，以便将所述外科手术项目标识为是外科手术的当前外科手术步骤中所需的外科手术项目。
图102是示出在外科手术中标识外科手术项目的技术的流程图。图102的方法可例如用呈现虚拟元素的可视化装置213，或者借助于包括如本文所述的集成照明的外科手术项目来执行。如图102所示，方法包括视觉地标识一组外科手术项目(10200)，并且视觉地区分该组外科手术项目内的特定外科手术项目(10202)。在一些实例中，视觉地标识该组外科手术项目可包括控制外科手术项目中的每一者中的光源，并且视觉地区分特定外科手术项目可包括控制特定外科手术项目的特定光源。在此情况下，视觉地区分特定外科手术项目可包括以下项中的一者或多者：以独特的颜色控制特定光源；以独特的照明效果控制特定光源；或以独特的光强度控制特定光源。
在其他实例中，视觉地标识该组外科手术项目可包括在可视化装置中呈现第一混合现实信息，并且在此情况下，视觉地区分特定外科手术项目可包括在可视化装置中呈现第二混合现实信息。在此实例中，视觉地区分特定外科手术项目可包括以下项中的一者或多者：以独特的颜色呈现第二混合现实信息；以独特的效果呈现第二混合现实信息；或以独特的强度呈现第二混合现实信息。如上所述，也可使用其他视觉效果。然而，更一般地说，标识一组外科手术项目并视觉地区分特定外科手术项目可包括呈现混合现实信息。
在一些实例中，由可视化装置213呈现在外科手术项目上的混合现实信息区分外科手术项目的第一子集、外科手术项目的第二子集和外科手术项目的第三子集，其中外科手术项目的第一子集对应于已经使用的外科手术项目，外科手术项目的第二子集对应于当前使用的外科手术项目并且外科手术项目的第三子集对应于后续需要的外科手术项目。如本文所述，该组外科手术项目可包括用于骨科肩部修复外科手术的测深器，并且外科手术项目包括将使用的当前测深器。
在一些实例中，该组外科手术项目包括用于骨科肩部修复外科手术的测深器，以及用于骨科肩部修复外科手术的一个或多个冲孔工具。在一些实例中，该组外科手术项目可包括用于骨科肩部修复外科手术的测深器、用于骨科肩部修复外科手术的一个或多个冲孔工具以及用于骨科肩部修复外科手术的一个或多个压紧工具。在一些实例中，该组外科手术项目可包括用于骨科肩部修复外科手术的测深器、用于骨科肩部修复外科手术的一个或多个冲孔工具和用于骨科肩部修复外科手术的一个或多个压紧工具，以及用于骨科肩部修复外科手术的一个或多个计划工具。
在再一些其他实例中，可视化装置213可呈现虚拟元素，或者外科手术项目可通过如本文所述的集成照明逐个项目地标识，而不一定照亮整个组。例如，可视化装置213可针对外科手术过程顺序地呈现虚拟元素，以便顺序地标识手术中的每个外科手术项目(逐个项目)。或者，可由外部处理装置控制集成照明，以根据外科手术过程顺序地照亮每个外科手术项目，以便顺序地标识手术中的每个外科手术项目(逐个项目)。
图103是示出用于在外科手术中标识外科手术项目并基于外科手术的阶段而改变对此类外科手术项目的标识的方法的流程图。图103的方法可例如用呈现虚拟元素的可视化装置213，或者借助于包括如本文所述的集成照明的外科手术项目来执行。如图103所示，方法包括将外科手术项目的第一子集视觉地标识为先前用于外科手术中(10300)，并且将外科手术项目的第二子集视觉地标识为当前用于外科手术中(10302)。如通过可视化装置213借助于MR或通过具有集成照明的外科手术项目所执行的方法还可包括将外科手术项目的第三子集视觉地标识为是外科手术的后续使用中所需的(10304)。
根据图103的实例，在医疗外科手术的下一个步骤处(10306的“是”分支)，“当前外科手术项目”从第二子集移动到第一子集，并且下一个“后续外科手术项目”从第三子集移动到第二子集(10308)。例如，可视化装置213的一个或多个处理器可基于护士的反馈和/或虚拟图标选择而跟踪程序，并且这种反馈或图标选择可使可视化装置213将外科手术项目的归属从一组移动到另一组。或者，控制外科手术项目的集成照明的外部处理器可被配置为基于护士的反馈而跟踪程序，并且这种反馈可使外部处理器将外科手术项目的归属从一组移动到另一组。
以此方式，当外科手术的阶段变化时，项目标识(即，照明或用于项目标识的虚拟元素的呈现)同样可发生变化，以便对护士标识新的外科手术项目(即，下一个“后续外科手术项目”)以供当前使用。视觉地标识外科手术项目的方式可对应于本文描述的实例中的任一者，包括使用外科手术项目内的灯，使用由可视化装置213呈现的混合现实信息或两者。
已描述了各种实例。例如，已针对利用外科手术项目的外科手术描述了项目标识和跟踪技术，所述外科手术项目被设计为具有高级特征，诸如传感器、加速度计和光源。此外，也已经描述了在外科手术期间用于项目跟踪和项目标识中的混合现实技术。同样描述了用于记录和以文件形式记录外科手术的技术，这可使用自动化。
本公开的项目标识技术已通过以下方式来描述：使用外科手术项目(例如，工具)自身上的灯，所述灯可由外部装置根据术前计划来控制。可选地或另外地，本公开的项目标识技术已通过以下方式来描述：使用混合现实，例如通过在可视化装置213上呈现一个或多个虚拟元素来标识外科手术中所需的外科手术项目来进行，所述外科手术项目可根据术前计划定义。然而，在一些情况下，外科医生可偏离术前计划，并且在这些情况下，本公开的技术可根据外科医生所进行的改变来调节或调整项目标识过程。此外，外科手术项目选择和/或外科手术项目使用可用于标识相对于术前计划的这种偏离。也就是说，在一些实例中，使用中的当前外科手术项目可用于标识可能将使用的下一个外科手术项目。换句话说，处理装置8304可被配置为基于对使用中的当前外科手术项目的检测而选择下一个外科手术项目，并且呈现标识下一个外科手术项目的虚拟信息。例如，如果正在使用3号压紧器，则此信息可由所述系统使用来推荐4号压紧器作为下一个外科手术项目，或者可能推荐将使用3号冲孔工具，或者可能突出显示4号压紧器或3号冲孔工具作为外科医生接下来可能需要的两个替代外科手术项目。外科手术中正在使用的当前外科手术项目可高度指示可能将使用的下一个外科手术项目，并且图83所示的实例的处理装置8304或图84所示的实例的可视化装置213可被配置为基于使用中的当前外科手术项目而标识可能的下一个外科手术项目(或一些可能的外科手术项目)。
另外，当外科手术在手术室中偏离术前外科手术计划时，考虑到医师在手术室中已改变外科手术过程，图83所示的实例的处理装置8304或图84所示的实例的可视化装置213可改变或调节项目标识过程，以便标识外科手术过程中可能将需要的不同的外科手术项目。
例如，图83所示的实例的处理装置8304或图84所示的实例的可视化装置213可存储信息模型以跟踪正执行的步骤(例如，通过可视化或外科医生与虚拟引导的交互)并且预测接下来是哪个外科手术步骤。然后，图83所示的实例的处理装置8304或图84所示的实例的可视化装置213可基于这种预测而标识将使用的下一个外科手术项目。信息模型可包括考虑到来自步骤的分支(例如，步骤4变为步骤4a或步骤4b，取决于步骤3中发生了什么)的决策树。用于分支的外科手术项目可能是不同的，并且外科手术项目可根据预测到是哪个分支通过外科手术项目上的照明或通过在此类外科手术项目之上或周围呈现的虚拟信息来标识。以此方式，虚拟引导系统或照明(以及相关联的信息模型和预测)的使用可提供更能适应操作程序实时变化的项目跟踪方法。此外，项目跟踪可与本文描述的虚拟引导同步，例如，基于虚拟引导步骤而提供项目预测。针对不同的虚拟引导步骤的外科手术项目预测可存储在可视化装置213的存储器中(或处理装置8304的存储器中)。
在一些实例中，定义项目预测和项目标识的信息模型可基于相机或其他传感器输入而定义，例如可能使用机器学习来学习并预测外科医生在给定的外科手术内进行到何处(例如，哪个步骤)，以便预测下一个步骤(通过识别外科手术计划的当前步骤)并且预测需要的下一个外科手术项目(基于当前步骤或正在使用的当前外科手术项目)。信息模型可包括步骤顺序，或可包括更高级的信息，因为所述信息模型可基于外科手术期间发生的不同事件而描述不同的情景。在一些实例中，信息模型可定义决策树结构，所述决策树结构有助于预测手术的下一个步骤(通过识别当前步骤)和/或有助于预测需要的下一个外科手术项目(基于当前步骤或正在使用的当前外科手术项目)。决策树可存储在可视化装置213的存储器中(或处理装置8304的存储器中)，并且基于此决策树，可视化装置213可呈现对下一个外科手术步骤的预测，或者可视化装置213或处理装置8304可呈现或标识对外科手术所需的接下来的一个或多个(或一组可能的接下来的)外科手术项目的预测。
在一些实例中，处理装置8304可基于外科手术中的检测到的变化并基于机器学习而选择下一个外科手术项目，并且呈现标识下一个外科手术项目的第二虚拟信息。例如，处理装置8304(或可视化装置213)可对许多外科手术应用机器学习，并且可使用在过去的外科手术中所进行的决策和改变来推动机器学习，并且由此预测下一个外科手术项目。在一些情况下，机器学习可以是基于由特定外科医生进行的过去的外科手术、决策和改变。换句话说，由特定外科医生进行的过去的外科手术、决策和改变可存储在存储器中，并且用作用于推动可有助于预测下一个外科手术项目的机器学习算法的数据。以此方式，机器学习可有助于预测给定的手术所需的下一个外科手术项目，并且预测可以是基于历史数据，诸如由特定外科医生进行的过去的外科手术、决策和改变。在一些情况下，各种外科医生的历史数据都可用于这种机器学习，例如，由此由许多外科医生进行的过去的外科手术、决策和改变可用于推动可有助于预测下一个外科手术项目的机器学习算法。例如，如果在手术室中对外科手术计划进行了特定改变，并且如果对于一个或多个先前的外科手术，对外科手术计划进行了类似的改变，则在先前的手术的后续步骤中(在外科医生进行改变之后)使用的外科手术项目可为当前外科手术的类似的后续步骤中所需的外科手术项目的良好预测。通过实现机器学习算法，处理装置8304(或可视化装置213)可被配置为预测在对手术进行术间改变之后所述手术所需的外科手术项目。
作为一个实例，可针对肱骨准备定义决策树，从而提供用于虚拟引导和外科手术项目选择的不同分支以相对于反向解剖准备进行解剖准备。如果外科医生在手术室中改变计划，例如，将关于解剖修复的术前外科手术计划改变为反向解剖修复，则可视化装置213可调整其对下一个外科手术步骤的预测，或者可视化装置213或处理装置8304可调整其对外科手术所需的接下来的一个或多个(或一组可能的接下来的)外科手术项目的预测。
作为另一个实例，可视化装置213和具有传感器的高级外科手术项目可基于外科医生实际上执行了什么而以文件形式记录实际的外科手术参数，并且对虚拟引导和/或外科手术项目选择的预测可从术前外科手术计划中定义的那些改变为手术室中实际上执行的那些。
作为又另一个实例，项目预测可与正在使用的外科手术项目大小相联系。因此，如果在先前的步骤中使用了特定大小，则下一个外科手术项目可能需要选择为是相同大小的不同的外科手术项目或不同大小的类似的外科手术项目。外科手术项目预测可以是基于当前使用中的外科手术项目，以及可能使用中的当前外科手术项目的大小。此外，如果相对于术前计划中定义的外科手术项目和大小，所使用的外科手术项目或外科手术项目大小在手术室中发生改变，可视化装置213可调整其对下一个外科手术步骤的预测，或者可视化装置213或处理装置8304可调整其对外科手术所需的接下来的一个或多个(或一组可能的接下来的)外科手术项目的预测。可视化装置213上的虚拟引导和虚拟呈现的这些和其他实例可经由类似于可获自Wright Medical的BLUEPRINTTM系统的软件系统来实现。
出于示例目的，已描述并示出了特定的几组外科手术项目。然而，所述技术可能可用于各种各样的外科手术和各种各样的外科手术项目。所述技术可能特别可用于骨科外科手术，诸如肩部外科手术、脚踝外科手术、膝盖外科手术、臀部外科手术、腕部外科手术、手或手指外科手术、脚或脚趾外科手术、或任何关节修复外科手术或增强。虽然所述技术可能可用于各种各样的骨科手术中，但是这些技术可能尤其可用于解剖和反向解剖肩部重建外科手术两者中。事实上，所述技术可能有助于反向关节置换术、增强型反向关节置换术、标准全肩关节置换术、增强型全肩关节置换术、半球形肩部外科手术、或其他类型的肩部外科手术。虽然图86至图108讨论了特定肩部外科手术步骤的各方面，但是本公开的技术也可适用于其他类型的肩部外科手术。此外，脚踝外科手术可涉及使用多个工具和夹具来钻孔、切割、准备植入部位并将植入物安装在患者的距骨和胫骨上，并且尤其是在手术中使用各种不同的工具的情况下，本公开的工具跟踪技术可被用于脚踝外科手术。这些和其他实例在本公开的范围内。
关节经常受损的患者在与关节相关联的附肢方面具有有限的运动范围。例如，左侧肩部受损的患者通常无法移动他或她的左侧手臂通过肩部未受损的人员典型能通过的一系列角度和位置。在另一个实例中，脚踝受损的患者可能不能够相对于患者的小腿将他或她的脚抬高或放低到超过特定角度。这种损伤可能是由各种疾患和事件，诸如关节炎、运动损伤、创伤等等引起的。
在术前阶段302(图3)期间，作为评估患者的疾患的一部分，保健专业人员可评估与关节相关联的附肢的运动范围。例如，保健专业人员可能能够基于与关节相关联的附肢的运动范围而确定患者的关节的损伤严重程度或损伤类型。另外，保健专业人员可询问患者以识别在附肢的运动范围中患者在与附肢相关联的关节中体验到疼痛的点。
在患者接受了与附肢相关联的关节的外科手术之后(即，在术后阶段308期间)，保健专业人员可能希望评估附肢的运动范围。例如，附肢紧接在外科手术之后通常具有有限的活动能力，但是附肢的运动范围应随着患者的痊愈而增加。患者的附肢在特定时间窗口内无法实现预期运动范围可能是可能需要额外的干预或物理治疗的迹象。因此，为了检查额外的干预或物理治疗是否有必要，患者通常会到保健专业人员处就诊，所述保健专业人员之后可对附肢的运动范围执行物理检查。
在一些情况下，为了有助于增加附肢实现全运动范围的机会，患者可能会接受需要患者以特定方式移动附肢的物理治疗。例如，物理治疗师可能会要求患者移动附肢通过特定运动范围。在一些实例中，在术后阶段期间，可能会要求患者在物理治疗师或其他保健专业人员不在场的情况下在家执行物理治疗练习。例如，在患者已在患者的左侧肩部上接受肩关节置换术的实例中，可能会为患者开出物理治疗练习的处方，所述物理治疗练习涉及患者尝试相对于患者的矢状平面、额状平面或横向平面将其左侧手臂移动到特定角度。
在评估与关节相关联的附肢的运动范围方面，保健专业人员和患者面临着各种挑战。例如，在术前阶段302和术后阶段308(图3)期间，保健专业人员可能很难准确地测量并评定附肢的运动范围。另外地，保健专业人员可能很难准确地记录附肢中患者在与附肢相关联的关节中体验到疼痛的位置。类似地，患者可能很难知晓他或她是否移动其附肢通过规定运动范围。此外，让患者频繁到诊所就诊以由保健专业人员进行物理治疗或物理检查可能是不方便或昂贵的。然而，通过交互式远程医疗会话或远程监测来避免此类诊所就诊可能是有挑战性的，因为在没有训练有素的物理辅助人员的情况下，患者可能很难准确地移动其附肢到达规定的角度，患者可能很难准确地描述其运动范围，并且患者可能很难描述其附肢中患者体验到疼痛的位置。另外地，让保健专业人员解读并验证关于由患者提供的运动范围和疼痛的信息可能是有挑战性的。例如，保健专业人员可能很难从由患者提供的信息中知晓由患者提供的信息是否有误，或者是否存在对干预的实际需求。
本公开描述了可解决这些挑战中的一者或多者的技术。例如，根据本公开的一个实例，计算系统可获得描述连接到患者的附肢的运动跟踪装置的移动的运动数据。在此实例中，计算系统可基于运动数据而确定附肢的运动范围。另外地，在此实例中，计算系统可产生叠加在患者或患者的化身上的附肢的运动范围的扩展现实可视化。通过查看附肢的运动范围的扩展现实可视化，与患者分开，或除了患者之外的用户可能能够看到并描述附肢的运动范围。运动范围的扩展现实可视化可为混合现实(MR)可视化或虚拟现实(VR)可视化。
图109是示出根据本公开的技术的用于产生患者的附肢的运动范围的扩展现实可视化的示例系统10900的框图。如图109的实例中所示，系统10900包括计算系统10902、一组一个或多个扩展现实(XR)可视化装置10904A至10904N(统称为“XR可视化装置10904”)以及运动跟踪装置10906。在其他实例中，系统10900可包括更多、更少或不同的装置和系统。在一些实例中，计算系统10902、XR可视化装置10904和运动跟踪装置10906可经由诸如互联网的一个或多个通信网络来通信。在一些实例中，运动跟踪装置10906可经由直接无线通信链路而与计算系统和/或一个或多个XR可视化装置10904通信。
计算系统10902可包括各种类型的计算装置，诸如服务器计算机、个人计算机、智能手机、膝上型计算机以及其他类型的计算装置。在图109的实例中，计算系统10902包括一个或多个处理电路10908、数据存储系统10910以及一组一个或多个通信接口10912A至10912N(统称为“通信接口10912”)。数据存储装置10910被配置为存储数据，诸如运动数据。通信接口10912可使得计算系统10902能够与其他计算系统和装置，诸如XR可视化装置10904和运动跟踪装置10906通信(例如，无线地或使用电线)。为了便于解释，本公开可将由处理电路10908、数据存储装置10910以及通信接口10912执行的动作描述为整体由计算系统10902执行。
骨科外科手术系统100(图1)的各种计算系统可包括计算系统10902。例如，虚拟计划系统102、术前和术后监测系统112和/或骨科外科手术系统100的另一个子系统可包括计算系统10902。在一些实例中，XR可视化装置10904中的一者或多者包括计算系统10902的一个或多个部件。例如，XR可视化装置10904中的一者或多者可包括计算系统10902的处理电路10908中的一者或多者。因此，在一些实例中，本公开中描述为由计算系统10902执行的动作中的一些或全部可由XR可视化装置10904中的一者或多者中的处理电路执行。在一些实例中，XR可视化装置10904包括MR可视化装置，诸如MR可视化装置213(图2)。在一些实例中，XR可视化装置10904包括VR可视化装置。
运动跟踪装置10906是被配置为检测患者的附肢的移动的装置。例如，在一些实例中，运动跟踪装置10906可包括连接到患者的附肢并检测运动跟踪装置10906的移动的装置。运动跟踪装置10906可例如为具有在多个维度(例如，3个维度)上跟踪运动跟踪装置10906的加速度的惯性测量单元(IMU)的装置。在一些实例中，IMU还可跟踪运动跟踪装置10906(例如，相对于重力矢量或磁极)的取向。运动跟踪装置10906可为或可包括各种类型的装置。例如，运动跟踪装置10906可为或可包括智能手表、智能手机、环、手链、脚链、头戴式装置、眼镜、专用运动跟踪装置或被配置为检测装置的移动的另一种类型的装置。
在运动跟踪装置10906为或包括连接到患者的附肢并检测运动跟踪装置10906的移动的装置的实例中，运动跟踪装置10906可以各种方式连接到患者的附肢。例如，运动跟踪装置10906可连接到腕部、脚踝、大腿、脚、脚趾、手指、头部、膝盖、小腿、上侧手臂、手部、下颌或患者的其他身体部分。运动跟踪装置10906可以各种方式连接到患者的附肢。例如，运动跟踪装置10906可由患者握持(例如，就像患者将运动跟踪装置10906握在患者的手部中的一者中的情况那样)；可用带子绑到患者身上(例如，就像运动跟踪装置10906佩戴在患者的腕部或脚踝上的情况那样)；可用粘附剂附接；可由于重力和/或压缩而搁置在患者身上(例如，就像运动跟踪装置10906包括眼镜或头饰的情况那样)；可通过压缩而保持在适当的位置(例如，就像运动跟踪装置10906作为环或夹具佩戴的情况那样；或者所述运动跟踪装置可以其他方式连接到患者的附肢，使得运动跟踪装置10906随患者的附肢移动。在一些实例中，运动跟踪装置10906可指导患者以校准位置(例如，手臂向下伸直)开始移动并且相对于校准位置跟踪移动。
在一些实例中，运动跟踪装置10906可包括一个或多个相机或视觉地检测附肢的移动的其他装置。例如，在一些实例中，一个或多个相机可被集成到由患者佩戴的XR可视化装置中。在一个或多个相机被集成到由患者佩戴的XR可视化装置中的一些实例中，患者可能需要定位在镜子前方，使得相机能够捕获患者的附肢的移动的图像。
根据本公开的一个实例，计算系统10902可获得描述患者的附肢的移动的运动数据。例如，计算系统10902可获得包括患者的附肢移动期间由运动跟踪装置10906的IMU产生的IMU信号的运动数据。在一些实例中，计算系统10902可获得示出患者的附肢的移动的视频数据。在一些实例中，存储系统(例如，存储系统206、存储器215等)可存储运动数据。
计算系统10902可基于运动数据而确定附肢的运动范围。例如，计算系统10902可基于IMU信号而确定运动跟踪装置10906在附肢的运动期间行进了多少距离。在此实例中，基于先前确定的运动跟踪装置10906相对于与附肢相关联的关节的距离，计算系统10906可将附肢的运动范围确定为：
Figure BDA0002943711310001661
在以上公式中，l是运动跟踪装置10906在附肢的运动期间行进的距离，并且r是运动跟踪装置10906相对于与附肢相关联的关节的距离。在计算系统10902获得示出患者的附肢的移动的视频数据的实例中，计算系统10902可将图像分析应用于视频数据以识别附肢的长轴，以及在一些实例中的患者的适用轴(例如，额状轴、横向轴、矢状轴等)。例如，计算系统10902可应用神经网络(例如，卷积神经网络)，所述神经网络被训练来辨别图像内包含附肢的区。在此实例中，计算系统10902之后可将所辨别的区的最长尺寸确定为附肢的长轴。在一些实例中，计算系统10902可接收指示适用轴的用户输入的指示。在一些实例中，计算系统10902可应用神经网络(例如，卷积神经网络)来确定适用轴。在此类实例中，计算系统10902可将这些轴进行比较以确定限定运动范围的角度。
附肢的不同的运动范围可能是意义重大的。例如，图110是示出患者的右侧手臂在患者的肩部中发生的示例运动的概念图。如图110所示，在患者在矢状平面上向上抬高患者的手臂时发生屈曲，并且在患者在矢状平面上向下放低该患者的手臂时发生伸展。在患者在矢状平面上移动患者的手臂经过穿过患者的肩关节延伸的额状平面时发生过度伸展。另外，如图110所示，外展是在额状平面上远离患者的身体的中心抬高患者的手臂。内收是在额状平面上朝向患者的身体的中心移动患者的手臂。如图110所示，在患者的手臂在肩部处旋转时发生内部旋转/向内旋转和外部旋转/向外旋转。
在一些实例中，可(例如，通过运动跟踪装置10906)指导患者来执行某种类型的移动，并且响应于被提示执行所述类型的移动，患者可执行移动。例如，所述类型的移动可为附肢在穿过与附肢相关联的关节的平面上的移动。作为说明，对于肩部运动范围，可(例如，通过运动跟踪装置10906)指导患者来在第一次练习中将手臂从屈曲点移动到伸展点，并且如果可能的话，移动到过度伸展点；在第二次练习中，将手臂从外展点移动到内收点；并且在第三次练习中，将手臂从外部/向外旋转点移动到内部/向内旋转点。在另一个实例中，对于脚踝运动范围，可(例如，通过运动跟踪装置10906)指导患者来在一次练习中将患者的脚从跖屈点移动到背屈点。
在每次练习期间，运动跟踪装置10906可跟踪这些点以形成对患者的运动范围的表示。例如，在指导患者来进行从外展到内收的移动(或反之亦然)时，运动跟踪装置10906可记录指示最大外展点和内收点的数据以供骨科外科医生、物理治疗师或其他用户查阅。在另一个实例中，在指导患者来进行从跖屈到背屈的移动时，运动跟踪装置10906可记录指示最大跖屈点和背屈点的数据以供查阅。例如，运动跟踪装置10906可记录最大点相对于特定平面的角度、最大点的极坐标、最大点的球面坐标、最大点的笛卡儿坐标、或指示最大点的其他类型的数据。例如，在一个实例中，基于运动跟踪装置10906行进的距离以及运动跟踪装置10906相对于与附肢相关联的关节的距离，运动跟踪装置10906可确定相对于适用平面的角度(例如，使用以上公式)，并且由此确定由运动跟踪装置10906相对于与附肢相关联的关节的距离以及角度限定的一对极坐标。类似地，运动跟踪装置10906可记录最大屈曲点和伸展点的相对或绝对坐标、以及由患者在运动跟踪装置10906的指导下执行的对应的练习期间的最大外部/向外旋转点和内部/向内旋转点的相对或绝对坐标，以供骨科外科医生、物理治疗师或其他用户查看。
可(例如，通过运动跟踪装置10906)指导患者来执行某种类型的移动，所述类型的移动需要与附肢相关联的关节在多个维度上进行关节运动。例如，可指导患者来执行与日常活动相关的移动，诸如将手部移动到对侧位置、移动手臂来梳理患者的头发(或另外将患者的手部带到患者的头部)、或者将手部放置在患者的身体的与进行移动的相关手臂相邻的一侧上的患者的背侧口袋(或半边臀部)上。对于这些常见移动中的每一者，运动跟踪装置10906可记录与这些移动中的每一者相关联的相对或绝对坐标以供骨科外科医生、物理治疗师或其他用户查看。可评估与其他关节或附肢、或患者的其他身体部分的类似的常见移动相关联的运动范围。
另外地，计算系统10902可产生附肢的运动范围的XR可视化(例如，MR、AR或VR可视化)。XR可视化装置10904可输出附肢的运动范围的XR可视化以向用户显示。XR可视化装置10904可输出附肢的运动范围的XR可视化，使得附肢的运动范围的XR可视化叠加在患者的图像或患者的化身上。在一些实例中，患者的图像是通过直接或间接地从患者反射的光来形成的图像。通过间接地从患者反射的光来形成的图像可在从患者反射之后并在被XR可视化装置10904中的一者或多者的一个或多个相机检测之前被镜子反射。在一些实例中，患者的图像是患者的先前捕获的二维或三维图像。患者的化身可为表示患者的虚拟人物形象。
在一些实例中，运动范围的XR可视化叠加在患者的图像或患者的化身上，使得运动范围的XR可视化的一些可见部分在用户看来好像与患者的图像或患者的化身重叠。在一些实例中，运动范围的XR可视化叠加在患者的图像或患者的化身上，其意义在于运动范围的XR可视化叠加在包含患者的图像或患者的化身的场景上，而不管XR可视化的任何可见部分在用户看来是否与患者的图像或患者的化身重叠。
附肢的运动范围的扩展现实可视化可具有各种形式。例如，在一个实例中，附肢的运动范围的XR可视化可包括跨越附肢的运动范围中的最远点之间的角度的虚拟弧。在一些实例中，虚拟弧的焦点可位于与附肢相关联的关节处。在此实例中，如果附肢是患者的左侧手臂，则虚拟弧可能看起来好像叠加在围绕患者的左侧肩部的空间区中，并且虚拟弧的焦点可位于患者的左侧肩关节处。虚拟弧的端部可对应于患者能够在患者的身体的特定平面，诸如额状平面(例如，在外展和内收期间)、矢状平面(例如，在屈曲和伸展期间或在内部和外部旋转期间)、或患者的身体的其他平面上移动患者的左侧手臂所达到的限制位置。
在附肢的运动范围的XR可视化包括这种虚拟弧的一些实例中，虚拟弧可与具有标记角度的虚拟量角器相关联。在一些此类实例中，虚拟量角器的标记角度可以是相对于患者的身体的某一平面或轴而言。例如，如果附肢是患者的左侧手臂并且运动范围是在患者的额状平面上(例如，在外展和内收期间)，则角度可以是相对于穿过患者的左侧肩关节的额状轴而言。如果附肢是患者的左侧手臂并且运动范围是在患者的矢状平面上(例如，在屈曲和伸展期间)，则角度可以是相对于穿过患者的左侧肩关节的纵向轴而言。
虚拟量角器的标记角度可包括在虚拟弧的端部处的角度。在一些实例中，虚拟量角器的标记角度可包括在虚拟弧的端部处的角度之间的中间角度。在一些实例中，标记角度在XR可视化中可能是可见的，但是虚拟弧自身在XR可视化中是不可见的。在一些实例中，虚拟量角器被并入到虚拟弧中或者与虚拟弧分开。在存在多个虚拟弧的一些实例中，对于所有虚拟弧，可能存在单个虚拟量角器，并且对于虚拟弧中的两者或更多者，可能存在单独的虚拟量角器。
另外，在附肢的运动范围的XR可视化包括虚拟弧的一些实例中，一个或多个XR可视化装置10904可输出从虚拟弧的焦点径向地发出并在虚拟弧的平面上的流线。在此类实例中，计算系统10902更新流线，使得在患者在虚拟弧的平面中移动附肢时，流线与附肢的长轴保持实时对准。以此方式，患者可能能够更好地看到附肢相对于虚拟弧的当前角度。计算系统10902可使用诸如IMU信号和/或视频数据的运动数据来确定在产生流线的XR可视化时的附肢的当前位置。在一些实例中，计算系统10902可随着患者移动附肢而记录流线的位置。
XR可视化装置10904可向各种用户呈现运动范围的XR可视化。例如，在一些实例中，XR可视化装置10904中的一者可向患者呈现运动范围的XR可视化。例如，患者可佩戴或以其他方式使用XR可视化装置，诸如MR、AR或VR可视化装置。在由患者使用的XR可视化装置是MR可视化装置的情况下，MR可视化装置可为可视化装置213。在此实例中，当患者在佩戴或以其他方式使用XR可视化装置的同时看向关节时，XR可视化装置呈现与附肢相关联的关节的运动范围的XR可视化。在患者佩戴或以其他方式使用XR可视化装置的另一个实例中，患者可站在镜子前方。在此实例中，XR可视化装置可呈现叠加在患者的影像，或者基于患者的影像而构思的患者的化身上的运动范围的XR可视化。这可能在用户可能很难直接看到关节或关节在特定方向上的运动范围的情况下尤其有用，就像对于患者的肩部或颈部的情况那样。
在XR可视化装置向患者呈现XR可视化的实例中，扩展现实可视化可包括跨越由患者实现的附肢的实际运动范围中的最远点之间的角度的第一虚拟弧。在此实例中，XR可视化还可包括跨越附肢的目标运动范围中的最远点之间的角度的第二虚拟弧。例如，患者的左侧手臂在穿过患者的左侧肩关节延伸的额状平面上的先前记录的运动范围可相对于穿过患者的左侧肩关节延伸的额状轴从-90°到10°变动。
因此，在此实例中，第一虚拟弧可跨越-90°至10°。在此实例中，-90°可对应于患者的左侧手臂放松地悬垂在患者的那一侧上，并且10°可对应于患者的左侧手臂略高于水平面。然而，作为患者的术后康复或术前评估的一部分，可提示患者尝试在额状平面上移动患者的左侧手臂通过-90°至20°的范围。因此，在此实例中，第二弧可跨越-90°至20°。在一些实例中，第一虚拟弧和第二虚拟弧不同地着色。在一些实例中，第一虚拟弧在XR可视化中呈现为第二虚拟弧的区段。
在一些实例中，附肢的目标运动范围是健康个人的典型运动范围。在一些实例中，附肢的目标运动范围是患者在术后恢复过程中的特定点处的典型运动范围。在一些实例中，附肢的目标运动范围是患者特定运动范围，所述患者特定运动范围可由保健专业人员或计划软件，诸如Wright Medical的BLUEPRINTTM确定。由于患者能够在XR可视化中感知第二虚拟弧，因此患者可能比患者仅被书面或口头告知目标运动范围的最远角度的情况更能够确定患者是否能够实现目标运动范围。
如上文所提及，目标运动范围可为患者特定的。因此，在一个实例中，可能存在特定于第一患者的第一目标运动范围。在此实例中，计算系统10902可获得描述第二患者的附肢的移动的运动数据。另外，在此实例中，计算系统10902可基于运动数据而确定第二患者的附肢的运动范围。在此实例中，计算系统10902还可产生叠加在第二患者的图像或第二患者的化身上的第二患者的附肢的运动范围的第二XR可视化，以供由第二患者佩戴的扩展现实可视化装置显示。第二XR可视化可包括跨越第二患者的附肢的第二目标运动范围中的最远点之间的角度的虚拟弧。第二目标运动范围不同于第一目标运动范围。
在一些实例中，可提示患者尝试移动附肢以达到附肢的目标运动范围，诸如由以上实例中的第二虚拟弧表示的目标运动范围中的最远点。可提示患者尝试以各种方式移动附肢以达到目标范围中的最远点。例如，计算系统10902可使由患者佩戴的XR可视化装置的一个或多个扬声器输出提示患者在目标运动范围内移动附肢的声音。在一些实例中，计算系统10902可使书面提示显现在呈现给患者的XR可视化中。
在一些实例中，可作为并不绝对涉及保健专业人员的预编程诊断或物理治疗会话的一部分提示患者。在一些实例中，智能手机或由患者使用的其他装置可提示患者参与物理治疗练习，或者可指定目标运动范围。智能手机、智能手表或其他装置还可为用于记录运动范围的运动跟踪装置10906，由此服务于发出提示，或者指导患者进行一定范围的移动练习并记录表示所实现的运动的数据的双重目的。特别地，在移动附肢完成指定的运动范围练习期间患者可保持智能手机，或者可佩戴智能手表或其他可佩戴装置。
可响应于各种事件而提示患者尝试移动附肢以达到目标范围中的最远点。例如，在涉及患者和保健专业人员的交互式会话期间，计算系统10902可从保健专业人员接收用户输入(例如，语音命令、鼠标点击、轻击等)的指示，以提示患者尝试移动附肢以达到附肢的目标范围中的最远点。在此实例中，计算系统10902可响应于来自保健专业人员的用户输入的指示而提示患者尝试移动附肢以达到目标范围中的最远点。在一些实例中，在涉及患者和保健专业人员的交互式现场或远程医疗会话期间，保健提供者可口头提示患者。
患者可从各种装置接收提示。例如，运动跟踪装置10906可提示患者。例如，在运动跟踪装置10906是智能手机或智能手表的实例中，运动跟踪装置10906可显示包含提示的屏幕上消息。在一些实例中，运动跟踪装置10906可输出产生提示患者执行附肢的所述类型移动的音频。另外，在一些实例中，由患者佩戴的XR可视化装置可提示患者。在一些此类实例中，运动跟踪装置10906和/或XR可视化装置可响应于由计算系统10902产生的信号而产生此类提示。
由患者接收的提示可包括各种类型的信息。例如，提示可包括描述患者将执行的练习的文本、视频和/或音频。在由患者佩戴的XR可视化装置呈现提示的实例中，MR或AR可视化可包含提示。
如上文所提及，患者和保健提供者所面临的挑战之一是患者可能很难精确地表达在患者移动附肢通过运动范围时患者体验到疼痛的点。知晓患者体验到疼痛的点可帮助保健提供者(和/或基于AI的诊断工具)了解患者的病情。为了解决此类挑战，在向患者呈现XR可视化的一些实例中，计算系统10902可接收指示运动范围内的一个或多个疼痛点的用户输入的指示。当附肢处于疼痛点时，患者可能会体验到疼痛。因此，患者可在附肢处于运动范围内患者体验到疼痛的点时提供用户输入的指示。响应于接收到用户输入的指示，计算系统10902可基于运动数据而产生指示疼痛点的数据，其中疼痛点是患者的附肢中患者体验到疼痛的一个或多个位置。
例如，如果附肢是患者的左侧手臂并且计算系统10902在患者已将患者的左侧手臂抬高到穿过患者的左侧肩关节延伸的额状轴上方10°时接收到用户输入的指示，则计算系统10902可确定患者在患者的左侧手臂在冠状轴上方10°时具有疼痛点。在此实例中，患者不需要指明在患者的左侧手臂在额状轴上方10°时发生疼痛。而是，患者仅需要在患者感觉到疼痛时提供输入，并且计算系统10902确定在患者感觉到疼痛时，患者的左侧手臂的角度为10°。在不使用这种技术的情况下，患者可能很难准确地说出疼痛点出现于患者的左侧手臂在额状轴上方10°的时候。计算系统10902可存储指示疼痛点的数据(例如，存储在计算系统10902的数据存储系统10910中)。
计算系统10902可以一种或多种方式接收针对疼痛点的用户输入的指示。例如，计算系统10902可在患者将附肢移动到患者体验到疼痛的点时(例如，经由患者所佩戴的XR可视化装置的传声器、运动跟踪装置10906的传声器、或另一个装置的传声器)从患者接收口头指示。例如，在此实例中，在患者将附肢移动到患者体验到疼痛的点时，患者可说出“疼痛”。在另一个实例中，计算系统10902可(例如，经由患者所佩戴的XR可视化装置的一个或多个相机)接收视频数据，所述视频数据示出用户在执行指示用户在运动范围中的当前点处已体验到疼痛的姿势(例如，手部姿势、头部姿势等)。在其他实例中，计算系统10902可接收作为轻击姿势、按钮按压或另一种形式的用户输入的用户输入的指示。
在一些实例中，XR可视化装置10904中的一者或多者可向一个或多个保健专业人员，诸如医生、外科医生或护士呈现运动范围的扩展现实可视化。换句话说，XR可视化装置可由保健专业人员佩戴。例如，保健专业人员和患者可参与交互式会话，在此期间，保健专业人员佩戴或以其他方式使用一个或多个XR可视化装置10904。在此实例中，保健专业人员和患者可处于分开的位置。换句话说，XR可视化装置可在与患者进行交互式会话期间向保健专业人员呈现扩展现实可视化，其中保健专业人员和患者处于分开的位置，就像在远程医疗会话期间的情况那样。
可选地，在此实例中，保健专业人员和患者可处于相同的位置，诸如在诊所就诊期间，并且保健专业人员和患者可直接彼此对话。换句话说，XR可视化装置可在与患者进行交互式会话期间向保健专业人员呈现XR可视化，其中保健专业人员和患者处于相同的位置。在任一种情况下，XR可视化装置都可向保健专业人员实时地呈现运动范围的XR可视化，使得保健专业人员能够看到患者能够达到的运动范围。
在此实例中，保健专业人员可(例如，经由保健专业人员所佩戴的XR可视化装置以及患者所佩戴的XR可视化装置，经由一个或多个其他通信装置，或者直接现场地)与患者交流，以指导患者尝试移动患者的附肢通过各种目标运动范围。在一些实例中，呈现给保健专业人员的XR可视化指示一个或多个目标运动范围。
在XR可视化装置10904中的一者向保健提供者呈现扩展现实可视化的一些实例中，XR可视化装置10904中的另一者可向患者呈现另一种XR可视化例如，在远程医疗会话期间或在诊所就诊期间，保健专业人员和患者两者都可佩戴或以其他方式使用XR可视化装置。在此实例中，XR可视化装置可向保健专业人员和患者呈现示出患者的附肢的所实现的运动范围、目标运动范围、疼痛点等中的一者或多者的XR可视化。
在向保健专业人员呈现XR可视化的一些实例中，保健专业人员在与患者进行交互式会话的环境之外查看XR可视化。换句话说，XR可视化装置可在不涉及患者的会话期间向保健专业人员呈现XR可视化。例如，患者可执行测试附肢的运动范围的各种练习，并且计算系统10902可存储指示附肢的运动范围的数据(例如，存储在数据存储系统10910中)。
在此实例中，计算系统10902可使用所存储的数据以稍后产生附肢的运动范围的XR可视化。在此实例中，由保健提供者佩戴的XR可视化装置可在患者执行练习之后的任何时间向保健提供者呈现扩展现实可视化。以此方式，保健提供者可能能够有效地看到患者的附肢的运动范围或将所述运动范围概念化，在某种程度上，这在保健提供者仅查阅指示运动范围的角度的书面笔记的情况下可能是困难的。
在一些实例中，当计算系统10902接收到指示计算系统10902已接收到新的运动范围数据或者患者在参与运动范围练习的信息时，计算系统10902可向保健提供者发送通知。在一些实例中，计算系统10902可向保健提供者提供指示患者是否参与已指派的物理治疗练习的信息。
另外，在一些实例中，计算系统10902可向保健提供者呈现示出患者的运动范围随时间演变的信息。例如，计算系统10902可向XR可视化装置提供使得XR可视化装置能够显示在各个时间处的对应于患者的运动范围的虚拟弧的信息。在一些实例中，XR可视化装置可使虚拟弧动画化以进一步帮助展示患者的运动范围的变化。在一些实例中，由患者佩戴的XR可视化装置可显示类似的虚拟弧以相对于患者的运动范围的演变而帮助对患者进行教学。
呈现给保健专业人员的XR可视化可包括各种虚拟对象。在XR可视化呈现给保健专业人员的一些实例中，如本文中其他位置所描述，XR可视化可包括虚拟量角器。另外，在一些实例中，如本公开中其他位置所描述，可在可视化中呈现运动范围和目标运动范围的一个或多个虚拟弧。因此，在一个实例中，呈现给保健提供者的XR可视化可包括跨越附肢的运动范围的最远点之间的角度的第一虚拟弧。在此实例中，XR可视化另外或可选地包括跨越附肢的目标运动范围中的最远点之间的角度的虚拟弧。
在一些实例中，呈现给保健专业人员的XR可视化可包括如由患者所体验的疼痛点的指示。也就是说，可在运动范围的XR可视化中标记疼痛点。例如，在一个实例中，呈现给保健专业人员的XR可视化可包括对应于患者的附肢的所实现的运动范围或目标运动范围的虚拟弧，并且还可包括虚拟弧上指示患者体验到疼痛的点的虚拟指示符。换句话说，附肢的运动范围的XR可视化可包括跨越附肢的运动范围中的最远点之间的角度的虚拟弧，并且在虚拟弧上标记疼痛点。
另外，附肢的运动中的不规则部分可提供有用的诊断信息。例如，患者可能能够以受控的方式放低附肢通过运动范围的第一部分，但是无法容易地控制附肢在运动范围的第二部分中的运动，以至于附肢快速地垂落。在此实例中，这种信息可诊断特定类型的健康状况，诸如特定肌肉的撕裂或者植入的关节置换表面的滑移。在另一个实例中，附肢的运动在运动范围内的一致点处的突然或异常加速或减速可提供有价值的诊断信息。在一些情况下，附肢的运动中的这些不规则部分可能是患者感知不到的。此类诊断信息在外科手术生命周期中的各个点处，诸如在术前阶段302和术后阶段308期间可能是有用的。
因此，计算系统10902可基于运动数据而确定患者的附肢的运动中是否存在不规则部分。例如，计算系统10902可将从附肢在整个运动范围中的多次移动中产生的多组运动数据进行比较以确定是否存在任何一致的运动模式。例如，计算系统10902可应用动态时间规整算法，以基于关于患者在不同时间移动附肢通过运动范围的多组运动信号而产生表示附肢通过运动范围的加速度的信号。计算系统10902之后可将所得的信号与表示典型个人中附肢通过运动范围的加速度的信号进行比较。
在一些实例中，运动范围的扩展现实可视化可包括关于附肢的运动中的不规则部分的信息。然后，计算系统10902可基于运动数据而确定附肢的运动范围中发生附肢的不规则移动所在的点，并且可产生运动范围的扩展现实可视化，使得扩展现实可视化指示运动范围中所确定的发生附肢的不规则移动所在的点。
例如，XR可视化可包括虚拟点、虚拟弧、或指示附肢的运动范围内的附肢的运动中何处存在不规则部分的其他虚拟对象。关于附肢的运动中的不规则部分的信息可呈现给患者、保健专业人员或骨科外科手术系统100的另一个用户。例如，在关于附肢的运动中的不规则部分的信息呈现给患者的实例中，可(例如，通过由患者佩戴的XR可视化装置、由患者使用的智能手机、运动跟踪装置10906等)提示患者尝试移动附肢，使得不会出现不规则部分。
在此实例中，如果患者无法以常规方式移动附肢(尽管被提示要如此行为)，则可确认不规则部分。在关于附肢的运动中的不规则部分的信息呈现给保健专业人员(例如，通过XR可视化装置10904中的一者、监视器、或其他可视化装置)的实例中，示出关于附肢的运动中的不规则部分的信息的XR可视化可帮助保健专业人员进行诊断或物理治疗。
图111是示出根据本公开的技术的运动范围的示例扩展现实可视化的概念图。图111的实例中所示的XR可视化可由佩戴或以其他方式使用XR可视化装置(例如，XR可视化装置10904中的一者)的保健提供者感知。可选地，图111的实例中所示的XR可视化可由佩戴或以其他方式使用XR可视化装置(例如，XR可视化装置10904中的一者)的患者在看向镜子时感知。
图111的XR可视化包括患者或患者的一部分的图像或化身11100。另外地，图111的扩展现实可视化包括虚拟弧11102，所述虚拟弧11102跨越对应于患者的左侧手臂在穿过患者的左侧肩关节的额状平面上的实际运动范围(例如，当执行内收和外展时)的角度。另外地，在图111的实例中，XR可视化包括虚拟弧11104，所述虚拟弧11104跨越对应于患者的左侧手臂在横向平面上的目标运动范围的角度。
在其他实例中，虚拟弧11102和虚拟弧11104可以是在其他平面上。标记11106可对应于疼痛点。标记11110可对应于患者的左侧手臂的不规则移动的点或区域。另外地，在图111的实例中，扩展现实可视化包括从虚拟弧11102和虚拟弧11104的焦点径向地发出并在虚拟弧的平面上的流线11108。计算系统10902可更新流线11108，使得流线11108与患者的左侧手臂的长轴保持对准。
图112A是示出根据本公开的技术的用于运动范围分析和可视化的系统10900的示例操作的流程图。在图112A的实例中，计算系统10902可获得描述患者的附肢的移动的运动数据(11200)。例如，如本公开中所描述，计算装置10902可从运动跟踪装置、相机组、或其组合获得运动数据。
另外，在图112A的实例中，计算系统10902可基于运动数据而确定附肢的运动范围(11202)。计算系统10902可根据本公开中其他位置提供的实例中的任一者或组合来确定附肢的运动范围。
计算系统10902可产生叠加在患者或患者的化身上的附肢的运动范围的XR可视化(11204)。计算系统10902可根据本公开中其他位置提供的实例中的任一者或组合来产生XR可视化。
图112B是示出根据本公开的技术的系统10900的示例操作的流程图。在图112B的实例中，患者的运动跟踪装置10906输出提示以尝试移动患者的附肢来达到附肢的目标运动范围中的最远点(11240)。例如，运动跟踪装置10906可输出如何移动附肢的音频或视频描述。如本公开中其他位置所讨论，运动跟踪装置10906可响应于各种事件，诸如响应于来自保健专业人员的用户输入的指示而输出提示。
另外地，在图112B的实例中，运动跟踪装置10906可产生描述患者的附肢的移动的运动数据(11242)。例如，运动跟踪装置10906的IMU可产生描述移动的运动数据。运动跟踪装置10906可基于运动数据而产生指示患者的附肢的所实现的运动范围的数据(11244)。例如，运动跟踪装置10906可产生指示所实现的运动范围的起始点和终止点的坐标的数据。在一些实例中，运动跟踪装置10906可向患者数据的远程数据库(例如，数据存储系统10910)发送指示所实现的运动范围的数据。
另外，在一些实例中，运动跟踪装置10906可在患者的附肢处于运动范围内患者体验到疼痛的点时接收用户输入的指示。在此类实例中，响应于接收到用户输入的指示，运动跟踪装置可基于运动数据而产生指示疼痛点的数据。疼痛点可为患者的附肢中患者体验到疼痛的位置。
图113是示出出于教学目的，一组用户使用MR系统的示例设置的概念图。在图113的实例中，外科医生可佩戴或以其他方式使用第一MR系统11300(例如，MR系统212)的可视化装置(例如，可视化装置213)。MR系统11300的可视化装置可向培训者呈现MR教学内容11302。另外，在图113的实例中，另一个外科医生可佩戴或以其他方式使用第二MR系统11304的可视化装置，医疗装置制造商代表可佩戴或以其他方式使用第三MR系统11306的可视化装置，和/或护士可佩戴或以其他方式使用第四MR系统11308的可视化装置。在一个实例中，医疗装置制造商代表可佩戴或以其他方式使用MR系统11306的可视化装置，同时外科医生佩戴或以其他方式使用MR系统11300的可视化装置。在此实例中，MR系统11300和MR系统11306的可视化装置可向医疗装置制造商代表和外科医生呈现相同的MR教学内容11302。在此实例中，医疗装置制造商可向外科医生解释医疗装置的使用，同时医疗装置制造商和外科医生观看相同的MR术前内容。
本公开描述了许多用于利用混合现实(MR)的骨科医疗手术的多用户协作技术。虽然所述技术可能可用于各种各样的骨科手术中，但是这些技术可能尤其可用于解剖和反向解剖肩部重建外科手术两者中。事实上，所述技术可能有助于反向关节置换术、增强型反向关节置换术、标准全肩关节置换术、增强型全肩关节置换术、半球形肩部外科手术、或其他类型的肩部外科手术。然而，更一般地说，可能发现所述技术可应用于在手术中涉及多个参与者的任何骨科医疗手术。
针对手术室内使用的混合现实装置描述了各种视图共享技术和控制，由此用户可能能够查看手术室中其他用户的混合现实呈现(或其一部分)。手术室中的用户以及远程用户可包括医疗护理人员，例如像一个或多个外科医生、一个或多个护士、一个或多个医疗支持人员(诸如医疗装置器械、植入物、设备或物资的制造商的技术支持代表)、麻醉师以及其他手术室人员。
在一些实例中，与其他用户(或可能为固定相机)的视图相关联的MR内容可在想要看到来自另一个用户或视角的视图的用户的呈现内呈现为窗口视图。用户的视图可为用户从用户的自身的视角能够看到的内容的至少一部分。在一些实例中，其他用户的视图可被选择性地呈现为想要看到另一个用户或视角所看到的视图的用户的主要视图。因此，用户可查看主要视图并例如在子窗口中查看一个或多个额外视图，并且选择视图中的任一者以呈现为主要视图。例如，可将来自执行骨科外科手术的医师的视角的混合现实视图作为主要视图向他或她呈现，但是所述用户可能能够例如通过选择子窗口中的一者或者与视图相关联的其他信息，基于人、视图名称或其他信息而选择来选择并看到手术室内的其他人员(或固定相机)的视图。这可允许医师将他或她自身的视角视作主要视图，但是通过查看子窗口和/或子窗口中暂时作为主要视图的一者来快速地获取手术室内的其他视角。在一些实例中，其他人的视图可在用户的主要视图上呈现为窗口，使得用户能够看到他或她的主要视图，同时观看呈现在主要视图上的窗口中的另一个人员的另一个视图。例如，外科医生可在执行外科手术步骤时访问针对不同的角度或视角的护士的视图，并且可在外科医生的主要视图上的窗口中向外科医生显示护士的视图。
此外，本公开还描述了对于手术室中的不同用户可能会有所不同的混合现实呈现。例如，对护士的混合现实呈现可能不同于对医师的混合现实呈现，因为护士和医师在手术室中扮演不同的角色，并且可逐个用户地调节混合现实以帮助每个用户扮演其在医疗手术中的角色。其他参与者可扮演其他角色，并且可将其混合现实呈现定义为适应此类不同的角色。作为其他实例，对医疗装置代表、助手、不同护士和不同医师的混合现实呈现可能会因人而异。当访问另一个人员的视图时，所述人员的视图可包括真实世界对象(诸如患者的骨骼或其他解剖结构的视图)、以及虚拟对象(诸如在MR呈现中呈现的虚拟元素)两者。因此，当医师访问或观察护士的视图时，医师可查看由护士查看到的真实世界对象、以及在护士的MR呈现中呈现给护士的虚拟对象两者。
在一些实例中，一些混合现实信息(例如，混合现实呈现的虚拟元素)对于所有参与者而言可能是共用的，而其他混合现实信息可能是特定的并且仅基于特定参与者在医疗手术中的角色而呈现给所述特定参与者。本公开还预期了逐个对象地启用或选择来自其他用户的混合现实信息的能力，例如，允许医师启用或禁用作为护士的MR呈现的一部分的虚拟元素，以便在医师的MR呈现中显示所述相同的元素。因此，视图共享可包括看到其他用户的整个视图的能力(包括其他用户看到的真实被观察对象和呈现给其他用户的虚拟元素)，或逐个对象地启用或禁用显示给其他人的虚拟对象的能力。可启用或禁用的虚拟对象可包括混合现实引导特征、用户界面、小工具或MR呈现中包括的任何虚拟信息。
在再一些其他实例中，本公开描述了可有助于一个或多个远程参与者可能借助于虚拟现实来参与医疗手术的技术。在不同的实例中，所描述的系统和技术可促成主动和被动参与者、针对手术室中的不同角色定义的用户特定混合现实引导、视图共享和视图共享控制以及下文更详细地描述的其他有用特征。主动参与者例如可能具有对虚拟内容、视图共享以及其他视图的MR呈现的一定程度的控制，而被动参与者可能具有查看MR呈现和虚拟内容的能力，而不具有对MR呈现和虚拟内容的任何控制。
如本公开中其他位置所提及，多个用户可同时使用MR系统。例如，MR系统可支持旁观者模式，其中多个用户各自具有可视化装置，使得用户可同时查看相同的信息。以此方式，一个或多个旁观者在术前、术中或术后程序中可为主动或被动参与者。
包括某一程序的主动和被动参与者的能力可能是高度期望的。在一些实例中，可在医疗手术或医疗交流中指派或重新指派主动角色。在其他实例中，可定义不同级别的主动角色。事实上，可向使用MR系统的不同人员提供不同的MR体验和特征。例如，可向医师呈现第一MR界面，并且可向护士呈现不同于第一MR界面的第二MR界面。例如，可针对医师定义可视化装置213的MR屏幕520中所示的用户界面522的可选择小工具524(图5)，并且可针对使用与医师所使用不同的一个或多个处理装置210(图2)的护士(或其他用户)定义不同的可选择小工具524。还可基于用户定义第一用户的MR体验与第二用户的MR体验之间的其他变化。例如，可向被动参与用户呈现可查看的MR元素，而没有任何可选择的控制小工具，这对于学生或手术的其他被动观察者而言可能是期望的。此类被动MR参与者可受益于查看手术的MR元素，但是可能不能够选择或修改MR世界中的任何事物。
图114是包括彼此通信的多个MR装置的系统11400的框图。所示的MR装置中的每一者可包括类似于本文描述的可视化装置213(图2、图5)的可视化装置。图114示出了四个MR装置(11402、11406、11408和11410)，但是可使用更多或更少的装置。MR装置(11402、11406、11408和11410)的可视化装置可在骨科医疗手术，例如外科手术期间在手术室中由用户佩戴。如所示，MR装置1(11402)包括视图共享窗口11404。根据本公开，MR装置1(11402)被配置为在MR装置1(11402)上呈现其他MR装置的视图中的一者或多者。尽管被示出为视图共享窗口(11404)，但是视图共享可以其他方式呈现。
MR装置1(11402)可针对特定用户进行配置，而MR装置2(11406)、MR装置3(11408)和MR装置4(11410)可针对其他用户进行配置。以此方式，可在手术室中定义用户特定案卷，并且针对每个参与者定义混合现实呈现。由于参与者在手术室中可能扮演不同的角色，因此对于不同的用户而言，MR呈现可能是不同的。为此原因，视图共享可能是期望的，例如以允许医师看到护士的视图或技术人员的视图，以便允许在手术室中进行更多协作。为了在手术室中启用不同的视图角度或不同的视角，视图共享也可能是期望的。视图共享可在不同的MR装置之间发生，并且可能发生于一个或多个额外的固定相机(未示出于图114中)。在一些情况下，MR装置(11402、11406、11408、11410)中的一者或多者相对于外科手术可能位于远处。在此情况下，远程参与者可能能够作为其他参与者查看相同的虚拟元素，但是由于MR装置被用于不同的位置，真实世界视图可能会有所不同。视图共享可能尤其可用于这种类型的设置中，以便允许远程参与者看到本地参与者的视图。
还可针对诸如脚踝外科手术、或肩部外科手术的骨科外科手术的不同的主动参与者定义不同程度的主动参与和被动参与。例如，可在医疗手术期间给予医师对MR呈现的所显示的元素的特定程度的控制，并且可给予护士或助手不同程度的控制。另外，MR界面对于不同用户而言可能会有所不同。因此，可向医师呈现医师的MR界面，所述MR界面被设计为提供虚拟引导来协助医师进行手术(诸如用于协助医师进行手术的虚拟引导特征)，并且可向护士呈现不同的MR界面，所述不同的MR界面被设计为协助护士进行护士的特定任务(诸如工具选择以及手术的跟踪和文件记录)。还可定义其他类型的用户，诸如医疗装置人员、额外的医师、麻醉师、医师助手、护士助手、医疗技术人员或其他用户。在一些实例中，可定义主角色以提供对过程的总控制，并且在一些情况下，可在用户之间委托主角色。例如，再次参考图114，MR装置1(11402)可被指派为主装置，并且与MR装置2-4(11406、11408和11410)相关联的其他用户可具有比MR装置1(11402)更少的控制。然而，在一些情况下，可在用户之间指派或改变主角色。
在一些实例中，本公开描述了MR系统(例如，MR系统11400)，所述MR系统包括：第一MR装置(例如，MR装置1 11402)，所述第一MR装置被配置为经由第一MR呈现向第一用户提供第一医疗信息；以及第二MR装置(例如，MR装置11406)，所述第二MR装置被配置为经由第二MR呈现向第二用户提供第二医疗信息。第一MR装置和第二MR装置可包括如本公开中其他位置所描述的可视化装置。在一些实例中，第一医疗信息与第二医疗信息相同。在一些实例中，第一医疗信息和第二医疗信息是不同的。第一MR装置可能能够控制来向第一用户呈现第二MR呈现。例如，第一MR装置可被配置为将第二MR呈现作为第一MR呈现内的可查看窗口呈现给第一用户。在另一个实例中，第一MR装置可被配置为允许第一用户选择并查看第一MR呈现或第二MR呈现。MR呈现中的每一者可包括真实世界对象和一个或多个虚拟元素的视图。
在一些实例中，MR系统(例如，MR系统11400)可包括第一MR装置(例如，可视化装置213)，所述第一MR装置被配置为经由第一MR呈现向医师提供关于骨科医疗手术的第一医疗信息，其中第一MR呈现包括与骨科医疗手术相关联的医师特定信息。MR系统还可包括第二MR装置(例如，另一个可视化装置213)，所述第二MR装置被配置为经由第二MR呈现向第二用户提供第二医疗信息，其中第二MR呈现包括不同于第一MR呈现的信息。在一些实例中，第一医疗信息与第二医疗信息相同。在一些实例中，第一医疗信息和第二医疗信息是不同的。第一MR装置可能能够控制来向医师呈现第二MR呈现。例如，第一MR装置可被配置为将第二MR呈现作为第一MR呈现内的可查看窗口呈现给第一用户。在一些实例中，第一MR装置被配置为允许第一用户选择第一MR呈现或第二MR呈现。医师特定信息可包括外科手术引导信息。此外，在一些实例中，第二MR呈现可包括与骨科医疗手术相关联的护士特定信息。例如，护士特定信息可包括外科手术项目信息。在其他实例中，第二MR呈现可包括与骨科医疗手术相关联的技术人员特定信息。例如，技术人员特定信息可包括用于配准第二MR呈现中的一个或多个虚拟元素的配准引导。例如，配准引导可包括关于如何将虚拟元素(例如，骨骼的虚拟3D模型)与诸如骨骼的真实世界对象配准的引导。
在一些实例中，根据本公开的方法可包括：在第一可视化装置上经由第一MR呈现向第一用户呈现第一医疗信息；以及在第二可视化装置上经由第二MR呈现向第二用户呈现第二医疗信息。在此实例中，第一可视化装置可能能够控制来向第一用户呈现第二MR呈现。第二MR呈现可包括真实世界对象和一个或多个虚拟元素的视图。
在一些实例中，根据本公开的方法可包括：在第一可视化装置上经由第一MR呈现向第一用户呈现第一医疗信息；从第二可视化装置接收包括第二MR呈现的第二医疗信息；以及控制第一可视化装置以在第一可视化装置上选择性地呈现第二MR呈现。在一些实例中，第一医疗信息与第二医疗信息相同。在一些实例中，第一医疗信息和第二医疗信息是不同的。本公开中描述的这些和其他方法可由一个或多个处理器执行，在此情况下，所述技术可体现为存储在计算机可读介质中的处理器可执行指令。一个或多个处理器可包括可视化装置213的一个或多个处理器，并且计算机可读存储介质可包括可视化装置213的存储器。
还可使用工作流管理工具和检查清单来提供对外科手术过程的额外的检查和控制。当多个MR参与者与外科手术有关时，例如，可指派不同的人员来批准不同的步骤。在系统允许外科手术进行到下一个步骤之前，可能需要一个人员来批准第一医疗手术步骤，并且在一些情况下，在系统允许外科手术进行到又另一个步骤之前，可能需要另一人员来批准第二医疗手术步骤。以此方式，可在外科手术的不同参与者(或观察者)之间分配对外科手术步骤的检查和批准。工作流管理工具和检查清单可能尤其有助于复杂的多步骤外科手术，诸如肩关节置换术、脚踝关节置换术或需要许多不同步骤的任何其他类型的骨科外科手术。
在一些实例中，可向医师呈现第一MR界面，并且可向护士呈现不同于第一MR界面的第二MR界面。例如，再次参考图114，MR装置1(11402)可对医师呈现第一MR界面，并且MR装置2(11406)可对护士呈现第二MR界面。此外，可向诸如助手或医疗装置技术人员的其他用户呈现再一些其他类型的MR界面。以此方式，呈现给每个用户的MR界面可被特别地定义或调节来协助所述参与者扮演其在手术中的特定角色。例如，用于在外科手术中引导手术步骤的基于MR的术中引导特征(切割轴、钻孔轴、扩孔轴、虚拟夹具、植入物定位目标、或其他术中辅助)可呈现给负责此类步骤的外科医生，但是这些术中引导特征中的一些可能不呈现给其他用户，诸如护士、助手或医疗装置技术人员。此外，可在医师的MR装置上向所述医师呈现此类术中引导特征的菜单或控件，但是可能会在其他用户的一个或多个MR装置上从其他用户的视图中消除此类菜单或控件。类似地，可向护士呈现工具选择提示、医疗装置库存跟踪和医疗手术文件记录特征(以及菜单和控件)，但是可从外科医生的视图中消除这些特征中的一些或全部。另外，可向医疗装置技术人员呈现其他特征或控件，诸如用于将虚拟元素配准到MR呈现中的特征，但是可能会从外科医生和护士的视图中消除针对所述技术人员的这种技术人员特定MR。在一些情况下，可能允许用户选择、启用或禁用显示给其他用户的虚拟元素。例如，如果外科医生需要或期望查看通常显示给护士而不显示给医师的虚拟元素，则外科医生可选择性地启用或禁用护士特定虚拟元素。
一些虚拟元素可能能够由所有参与者查看，而其他虚拟元素或控件可能仅能够由选定参与者查看。以此方式，MR系统可有助于经由根据医疗手术中每个参与者的角色调节的工具和特征来引导所述参与者。此外，消除不与给定参与者的角色相关的特征或控件可提升MR体验，并且有助于消除MR体验中的视觉混乱。例如，工具选择提示可能是高度期望的，以协助护士识别工具并且相继或顺序地实现此类工具在手术中的计划使用。然而，尤其是在外科医生聚焦于患者手术组织或骨骼部位的情况下，外科医生可能会发现工具选择提示会让人分心，并且医师可能仅依赖于护士来以工具的适合于手术的次序(例如，如外科医生所请求和/或如提供给护士的关于工具选择和顺序以及整个外科手术工作流的虚拟引导所指示)提供所述工具。出于这些和其他原因，可针对医师定义可视化装置213的MR屏幕520中所示的用户界面522的可选择小工具524，并且可针对护士(或其他用户)定义不同的可选择小工具524，使得每次MR体验可更好地适于手术中的所述参与者的案卷。
MR装置的包括主动参与者和旁观者的用户在手术期间可使用MR可视化装置而物理地存在。可选地，一个或多个用户或旁观者相对于手术的位置可能是物理上远离的。当一个或多个用户或旁观者位于远处时，所述用户或旁观者可经由诸如膝上型计算机、台式计算机、智能手机或其他类型的显示屏幕的远程显示屏幕来参与手术，或查看手术。在其他实例中，远程参与者可经由混合现实(MR)可视化装置，或利用虚拟现实(VR)而不是MR来查看手术。如果MR用于远程参与者，则远程参与者可能能够作为其他参与者查看相同的虚拟元素，但是由于MR装置被用于不同的位置，真实世界视图可能会有所不同。视图共享可能尤其可用于这种类型的设置中，以便允许远程参与者看到本地参与者的视图。
在一些实例中，系统可包括VR装置和MR装置两者。在此情况下，呈现给远程用户的VR环境可包括由本地参与者使用的MR系统捕获和呈现的图像和对象。以此方式，包括真实世界对象的MR环境可被捕获并作为VR环境呈现给远程用户。VR可视化可包括VR环境的影像。在VR环境中，由MR参与者看到的真实世界对象可由所述真实世界对象的VR图像表示。在一些实例中，呈现给VR用户的VR呈现可包括MR参与者中的一者的MR视图中的一者。然而，在其他实例中，呈现给VR用户的VR呈现可包括来自MR参与者中的两者或更多者的两个或更多个MR视图的信息。在存在多个MR视图的情况下，相对于使用单个MR视图来提供VR呈现，手术的准确的VR表示的产生可能会增强。例如，MR参与者可提供用于房间映射的输入，使得房间可被映射并且作为虚拟环境呈现给VR参与者。
图115是示出在本地环境11508处包括与远程环境11502中的一个或多个用户通信的一个或多个用户的分布式MR系统11500的框图。通信可通过任何类型的网络(例如，示出为网络11516)来进行。在一些实例中，本地环境11508可包括手术室。MR装置1-3(11510、11512和11514)可对应于手术室中的用户，诸如医师、护士、医疗技术人员、麻醉师或其他用户。
一般而言，本地环境11508可为用户在患者的可查看接近度内的环境，而远程环境11502可对应于用户不在患者的可查看接近度内的位置。由于远程环境11502与本地环境11508不在同一个位置，因此系统11500的在远程环境11502处的任何用户可在纯粹的虚拟现实中操作。VR装置11504可促成这种虚拟现实环境，所述虚拟现实环境可为基于来自本地环境11508中的MR装置中的一者或多者的视图和数据(例如，房间映射)而产生的虚拟现实世界。
如图115所示，VR装置1(11504)包括视图共享窗口11506。根据本公开，VR装置1(11504)被配置为在视图共享窗口11506中呈现本地环境11508中的MR装置的视图中的一者或多者。尽管被示出为视图共享窗口(11404)，但是视图共享可以其他方式呈现，诸如经由具有视图共享窗口的远程定位的MR装置，或通过VR装置11504呈现本地环境11508中的MR装置中的所选一者的视图来呈现。
在一些实例中，外科医生可借助于MR在手术室中对患者执行一个或多个手术。在手术期间，MR环境可被捕获并且经由显示屏幕或作为VR环境呈现给远程用户。外科医生可能能够在手术室中经由MR装置，诸如利用可视化装置213直接查看患者。MR用户可利用向患者传递混合或增强现实的可视化装置，而远程VR用户可利用传递纯粹的虚拟现实的可视化装置。
可选地，代替使用VR，远程用户可使用位于远处的MR装置，或者可简单地查看显示屏幕(诸如台式计算机、膝上型计算机或智能手机)，所述显示屏幕包括来自由本地参与者使用的相机或MR装置的相机馈送。在一些实例中，由一个或多个远程用户使用的远程显示屏幕可显示与显示给本地MR参与者相同的虚拟元素。远程参与者可能能够在MR视图之间进行选择并随意切换所述视图，并且由远程参与者选择的视图可包括显示给本地MR参与者的虚拟元素，所述本地MR参与者将具有由远程参与者选择的相同的对应的本地视图。
在一些实例中，MR系统可捕获由外科医生查看的图像，然后使用这些捕获的图像来提供VR图像，所述VR图像可经由VR显示给远程旁观者。以此方式，可向远程旁观者呈现与由本地外科医生查看到的MR环境类似或相同的VR环境。当然，VR参与者的视图可能无法用于MR参与者，因为VR参与者通常不存在于手术室中。
当一个或多个MR参与者和一个或多个VR参与者正在使用系统时，MR参与者和VR参与者还可在MR环境和VR环境中相互呈现。例如，可向手术室中借助于MR工作的外科医生呈现包括一个或多个VR参与者的MR环境，所述一个或多个VR参与者在MR环境中可能被显示为MR对象(例如，化身)。类似地，可向VR参与者呈现包括MR环境中所显示的相同的对象和图像的VR环境。因此，MR环境中显示给MR用户的真实对象可在VR环境中作为VR对象呈现给VR用户。以此方式，MR世界和VR世界可互相交织，使得MR参与者可在MR世界中看到作为VR对象的VR参与者。类似地，VR参与者可在VR世界中查看作为VR对象的MR对象和MR参与者(例如，化身)、以及真实世界对象。当对象在MR世界中移动时，由MR参与者中的一者或多者捕获对象移动。然后调整VR世界以反映MR世界的由MR参与者捕获的变化。以此方式，VR参与者能够实时地查看基于MR世界的VR世界。再次，对VR用户的VR呈现可包括MR参与者中的一者的MR视图中的一者。然而，在其他实例中，对VR用户的VR呈现可包括来自MR参与者中的两者或更多者的两个或更多个MR视图的信息。在存在多个MR视图的情况下，相对于使用单个MR视图来提供VR，手术的准确的VR表示的产生可能会增强。例如，多个MR参与者可提供用于房间映射的输入，使得房间可被映射并且作为虚拟环境呈现给VR参与者。
如所提及，相对于MR背景，诸如手术室或针对患者交互的远程位置，VR参与者中的一者或多者可能位于远处。这允许VR参与者相对于患者交流、程序或外科手术的位置成为远程参与者。纳入VR参与者的能力在许多情况和背景下可能是高度期望的。例如，外科手术专家可作为手术室中的原本MR手术中的VR参与者接受咨询，从而借助于远程定位的VR参与者而为手术提供更多专业知识。例如，在此实例中，手术室中的MR可视化装置的用户可能会在外科手术期间请求远程外科手术专家来进行咨询。在此实例中，远程外科手术专家可使用VR可视化装置来获得手术室中的场景的VR可视化。使用MR的本地医师之后可提出问题或从远程VR参与者接受引导，以便帮助改进医疗过程。远程VR参与者可能能够例如通过选择外科医生的MR视图作为远程VR参与者的VR视图来看到本地MR外科医生正看到的内容。在一些实例中，远程VR参与者可为在医疗手术期间为了获取对手术的见解或建议而召唤的外科手术专家。
在一些实例中，MR系统包括第一MR装置(例如，可视化装置213)，所述第一MR装置被配置为经由第一MR呈现向第一用户提供与骨科医疗手术有关的第一医疗信息；以及第二MR装置(例如，另一个可视化装置213)，所述第二MR装置被配置为经由第二MR呈现向第二用户提供与骨科医疗手术有关的第二医疗信息。第一医疗信息和第二医疗信息例如可包括呈第一MR呈现或第二MR呈现中呈现的一个或多个虚拟元素的形式的外科手术引导信息。在一些实例中，第一医疗信息与第二医疗信息相同。在一些实例中，第一医疗信息和第二医疗信息是不同的。虚拟元素例如可包括本公开中描述的虚拟信息中的任一者，诸如虚拟平面、虚拟轴、虚拟菜单或小工具、或在外科手术中可能有用的任何虚拟信息。MR系统还可包括VR装置，所述VR装置被配置为向第三用户呈现VR呈现，所述VR呈现提供与骨科医疗手术有关的第一医疗信息或第二医疗信息中的至少一些。VR呈现可至少部分地基于第一MR呈现或第二MR呈现。在一些实例中，VR呈现包括第一MR呈现和第二MR呈现中的一者，并且在一些实例中，VR呈现可在VR装置上在第一MR呈现与第二MR呈现之间进行选择。第一用户和第二用户可位于患者的可查看的接近度内，并且第三用户相对于患者可位于远处。VR装置可被配置为相对于MR呈现基本上实时地向第三用户呈现VR呈现。第一MR装置可被配置为在第一MR呈现中将第三用户呈现为化身，并且第二MR装置被配置为在第二MR呈现中将第三用户呈现为化身。此外，VR装置可被配置为在VR呈现中将第一用户和第二用户呈现为化身。
在一些实例中，本公开描述了供远程医疗专业人员使用的VR装置，所述VR装置包括：显示器，所述显示器被配置为向远程医疗专业人员呈现提供与患者相关联的医疗信息的VR呈现，其中VR呈现至少部分地是基于MR呈现；以及控制显示器的一个或多个处理器，其中MR呈现由位于患者的可查看的接近度内的MR装置的本地用户在本地捕获。
在一些实例中，MR系统包括第一MR装置，所述第一MR装置被配置为经由第一MR呈现向第一用户呈现第一医疗信息和第一真实世界信息；第二MR装置，所述第二MR装置被配置为经由第二MR呈现向第二用户提供第二医疗信息和第二真实世界信息；以及第三装置，所述第三装置被配置为向第三用户提供第三信息，其中第三信息至少部分地是基于第一MR呈现或第二MR呈现。在一些实例中，第一医疗信息与第二医疗信息相同。在一些实例中，第一医疗信息和第二医疗信息是不同的。第三装置可被配置为允许在第三装置上在第一MR呈现与第二MR呈现之间进行选择。第一用户和第二用户可位于患者的可查看的接近度内，并且第三用户相对于患者可位于远处。在一些实例中，第三装置相对于第一MR装置上的第一MR呈现和第二装置上的第二MR呈现而向第三用户实时地呈现第三信息。第三装置可包括呈现第三信息的显示屏幕，或者可选地，第三装置可包括呈现第三信息的VR装置。
在一些实例中，根据本公开的方法可包括：在第一可视化装置上经由第一混合现实呈现向第一用户呈现与骨科医疗手术有关的第一医疗信息；在第二可视化装置上经由第二MR呈现向第二用户呈现与骨科医疗手术有关的第二医疗信息；以及向VR装置的第三用户呈现VR呈现，所述VR呈现提供与骨科医疗手术有关的第一医疗信息或第二医疗信息中的至少一些，其中VR呈现至少部分地是基于第一MR呈现或第二MR呈现。在一些实例中，第一医疗信息与第二医疗信息相同。在一些实例中，第一医疗信息和第二医疗信息是不同的。
本公开中描述的这些和其他方法可由一个或多个处理器执行，在此情况下，所述技术可体现为存储在计算机可读介质中的处理器可执行指令。一个或多个处理器可包括可视化装置213的一个或多个处理器，并且计算机可读存储介质可包括可视化装置213的存储器。
本公开中已描述的视图共享和手术的远程参与者的参与的许多实例已在外科手术过程的背景下进行了描述。然而，视图共享和远程参与者的使用还可用于其他背景中，诸如与患者的术前交流、术后交流或其他背景中。例如，在术前或术后交流中，可咨询远程参与者(例如，借助于MR、VR或本文描述的其他技术)，以便利用所述远程参与者的专业知识，所述远程参与者可为医疗专家、医疗装置技术人员、外科手术专家、护士、或可能需要咨询的任何其他人员。一般而言，对于医疗手术的视图共享和远程参与者的参与在各种各样的背景中可能都是期望的，所述背景包括手术室背景、教学背景、术前会议或背景、术后会议或背景、物理治疗背景、或其他背景。
作为另一个实例，MR可在本地现场用于患者交流、健康检查、或现场急救，诸如在患者的住所处对患者进行远程健康检查或急救护理。再次参考图115，例如，本地环境11508可包括需要患者护理的任何位置。在这些类型的实例中，可在借助于VR装置11504进行这种远程健康检查或急救护理期间实时地咨询远程参与者。在此类实例中，一个或多个MR参与者可包括医师、护士、或在本地，例如在患者的住宅处与患者互动的其他人员。由MR参与者查看到的对象和图像可为与虚拟对象混合的实际对象。这些相同的对象和图像也可借助于VR通过将对象作为虚拟对象呈现给远程参与者来呈现给远程参与者。这可允许医疗人员(用AR工作)实时地利用远程VR参与者的观点和专业知识。以此方式，为了查看、诊断并帮助患者护理，VR参与者不需要出现在患者的位置处。在其他实例中，远程参与者可简单地查看一个或多个显示屏幕，所述一个或多个显示屏幕可包括由MR参与者或其他相机捕获的信息。
在一些实例中，由一个或多个MR参与者捕获的视图和图像可供远程VR参与者查看。例如，使用VR的医师可能能够访问由手术的MR参与者在本地看到的视图和图像。使用VR，可向医师呈现由MR参与者在本地看到的视图和图像。以此方式，医师相对于患者可位于远处，但是可查看患者和患者的环境的实时对象和图像，以便由使用VR的医师协助并促成远程诊断和治疗。
在一些实例中，一个或多个MR用户的视图可为可供一个或多个远程用户选择的选项。以此方式，远程用户可访问与多个不同的MR视角相关联的多个不同的视图选项。例如，使用VR的远程医师可能能够选择并看到第一MR参与者或第二MR参与者的视图。以此方式，由远程用户查看到的VR世界可包括显示给手术的本地MR参与者的相同的MR视图。此外，远程VR用户可能能够改变视图以呈现与手术的不同的MR参与者相关联的不同的MR视图。可供VR参与者选择的视图对于手术室环境以及在现场进行的远程患者健康检查和远程急救而言可能是期望的。
为了选择其他用户的视图，用户可选择化身、子窗口、注视线、图标、或从下拉菜单中进行选择。这些或其他类型的控制机制可被实现为在用户的MR或VR呈现中呈现在可视化装置上的虚拟对象。然后，当第一用户选择第二用户的视图时，所述第二用户的视图可被呈现给第一用户。以此方式，视图共享和其他用户的视图的可选择性可向MR用户提供更多信息。
相对于本地过程或程序，VR参与者可在显示给MR参与者的MR世界中被呈现为MR对象(例如，化身)。以此方式，相对于MR参与者，VR参与者可被呈现为“处于房间中”。因此，VR参与者可能看起来好像更融入到存在MR参与者的过程中，从而给MR参与者留下VR参与者例如存在于手术室中或护理位置处的印象。MR参与者和VR参与者可进行交互并且甚至互相对视，就好像他们在同一个房间中互动一样。然而，MR参与者仅仅是看到VR参与者的对象(例如，化身)，反之亦然。
在一些实例中，VR参与者能够与多个MR参与者进行交互或者从与所述MR参与者相关联的视图中进行选择。VR参与者可能能够查看由第一MR参与者的视图定义的第一VR世界，并且VR参与者之后可能能够将视图改变为由第二MR参与者捕获的视图。以此方式，例如，VR参与者可被赋予对实时地看到的视图的更多的控制。另外，在另外的实例中，可基于来自多个本地用户的多个MR视图而将房间映射并呈现给VR世界中的VR参与者。以此方式，VR世界可更准确地反映由多个MR用户看到的MR世界和真实世界。VR世界中的对象再现可通过投票方案或另一种优化方案来确定，使得由多个MR用户看到的对象比仅由一个MR用户看到的对象更有可能显示在VR世界中。
在一些实例中，VR参与者可包括对由本地MR医师执行的工作进行检查的人员。在此实例中，VR参与者可查看并监测由本地MR医师执行的医疗过程。VR参与者可向本地MR医师传达并提供言语反馈，同时实时地观察本地MR医师的视图。相对于本地MR医师的工作，VR参与者的这种类型的协作和安全检查可能有助于实现积极的患者结果。可由MR或VR用户提供音频输入，并且所有用户都可听到音频输入，就好像所有用户都身处同一个房间一样。相对于存在VR用户，这可为患者和MR用户提供更亲密的体验。
被赋予远程VR参与者的控制等级在不同的情景和背景下可发生变化。在一些实例中，VR参与者可被赋予对诸如外科手术的手术的一个或多个步骤的检查权。在此实例中，手术的步骤的完成可以VR参与者提供对手术的所述步骤的完成的批准为条件。以此方式，可通过使用VR的远程医师的专业知识来引导和协助使用MR的本地外科医生。在一些实例中，MR系统可能需要来自使用VR的远程医师的输入，使得远程医师需要批准由使用MR的本地医师在本地执行的程序或步骤。使用VR的远程医师可实时地观看过程，提供反馈，并且确定本地外科医生是否已适当地执行过程或步骤。
在再一些其他实例中，MR系统可包括在患者的位置处的本地MR用户，并且远程观察者可能能够经由一个或多个远程显示屏幕查看MR环境。在此情况下，远程观察者可能能够选择本地MR用户的视图，或者可能选择与患者的位置处的固定相机相关联的视图。以此方式，远程参与者可能能够选择不同的视图并且由此获取对手术的了解或理解。例如，远程参与者可包括可在手术期间接受咨询的医师。作为另一个实例，远程参与者可包括可在与装置或植入程序有关的信息方面接受咨询的医疗技术人员，诸如医疗装置技术人员。一般而言，“本地”MR用户可为在患者或手术的可查看的接近度内的用户，而“远程”用户可为不在患者或手术的可查看的接近度内的用户。在一些实例中，所述系统可减少对来自医疗装置技术人员的协助的需求，并且可能使得医疗装置技术人员不必在一些外科手术中出席。
图116是示出在本地环境11608处包括与远程环境11602中的一个或多个用户通信的一个或多个用户的MR系统11600的另一个框图。通信可通过任何类型的网络(例如，示出为网络11616)来进行。在一些实例中，本地环境11508可包括手术室。MR装置1-3(11610、11612和11614)可对应于手术室中的用户，诸如医师、护士、医疗技术人员、麻醉师或其他用户。在一些实例中，图116可被视为图18的情景的实例，其中多个用户可查看相同的MR术中引导内容1802。
正如图115的实例一样，在图116中，本地环境11608可为用户在患者的可查看接近度内的环境，而远程环境11602可对应于用户不在患者的可查看接近度内的位置。由于远程环境11602与本地环境11608不在同一个位置，因此系统11600的在远程环境11502处的任何用户可能需要访问来自本地环境11608中的MR装置的视图或数据。
如图116所示，在远程环境11602处的用户可利用被配置为包括视图共享窗口11606的显示器11604。显示器11604和视图共享窗口11606可由一个或多个处理器(未示出)控制或驱动。在任何情况下，显示器11604被配置为在视图共享窗口11606中呈现本地环境11608中的MR装置的视图中的一者或多者。尽管被示出为视图共享窗口(11404)，但是视图共享可以其他方式呈现，诸如由显示器11604呈现本地环境11608中的MR装置中的所选一者的视图。图116大体上示出了远程参与者可如何在不需要虚拟现实的情况下使用视图共享。替代地，在此实例中，远程环境11602可简单地使用一个或多个显示屏幕来将信息从本地环境11608传送到远程环境11602处的一个或多个用户。
在另一个实例中，可使用包括MR用户和远程用户(例如，VR用户或者查看一个或多个显示屏幕的远程用户)两者的MR系统以有助于远程患者健康检查。在此情况下，可利用远程用户来协助MR用户经由MR系统进行本地患者交流。例如，使用MR的护士可联系使用VR或远程显示屏幕的远程医师，以协助患者交流。MR环境可包括使用MR的护士和患者，以及远程定位的医师，所述远程定位的医师使用VR(诸如示出于图116中)或显示在本地捕获的MR视图的显示屏幕(诸如示出于图116中)。在远程医师使用VR(诸如示出于图116中)，患者可与远程医师进行交互，就好像医师与护士和患者一起在房间中一样。在此类情况下，医师可利用护士的MR视图，以便向患者传递医疗建议。
在又另一个实例中，可使用包括MR用户和远程用户(诸如VR用户或者具有显示其他人的MR视图的显示屏幕的用户)两者的MR系统以有助于急救护理。在此情况下，可利用远程用户来协助MR用户经由MR系统进行急救护理。例如，使用MR的急救医疗技术人员(EMT)可联系远程医师(使用VR或者显示本地MR视图的显示屏幕)以协助急救患者交流。医师可利用EMT的MR视图，以便传递对患者的即时医疗诊断。MR环境可包括使用MR的EMT和使用VR的远程定位的医师，以便给出一种远程医师在急救护理的“现场”的感觉。
如本公开中其他位置所提及，MR系统可包括多个可视化装置，使得多个用户可同时看到相同的图像并且共享相同的3D场景，诸如MR术中引导内容1802(图18)。在此类实例中，可视化装置中的一者可被指定为主装置，并且其他可视化装置可被指定为观察者。如MR系统的用户可能期望的，任何观察者装置可在任何时间被重新指定为主装置。
对于本文描述的实例中的任一者，还可能期望具有一个主装置和许多观察者装置。此外，由于对主装置的指派可能会发生变化，因此主角色可被重新指派给不同的观察者，实质上是在房间中的各人员之间传递主角色。在骨科肩部重建外科手术的一个实例中，一个人员可执行钻孔操作以精确定位患者的关节盂骨骼上的某一位置，另一个人员可在患者的关节盂骨骼上执行扩孔操作，然后第三个人员可将植入物放置在患者的关节盂骨骼的经标识和扩孔的位置处。在此实例或存在多个参与者的其他外科手术实例中，每个人员可相对于医疗手术的由其执行的一个或多个步骤被指派为主导者，并且每个人员可相对于由其他人执行的其他步骤被指派为观察者。在一个实例中，可能允许主导者自愿地接受或放弃对MR系统的主控制。在另一个实例中，可基于特定的主指派程序，诸如为了将特定用户改为主导者需要MR参与者中的两者或更多者(或者可能大多数参与者)的批准的程序而自动地指派或重新指派主控制。
在又另一个实例中，本地外科医生可执行外科手术切割，并且另一个本地或远程人员(使用VR)可执行手术的一个或多个配准步骤，诸如，如本公开中所描述的“设置”、“调整”和“匹配”，例如，以用于将视场中的MR对象放置成与物理解剖对象配准。换句话说，3D模型的配准可由专家作为MR参与者在本地执行，或者甚至可能由专家作为VR参与者远程地执行。在这些实例中，专家可为医疗装置代表，并且专家可为被指派来执行3D模型与患者的真实骨骼或组织的初始化阶段的MR或VR参与者。
如果专家是VR参与者，则专家可查看来自MR参与者中的一者或多者的图像，以便相对于叠加在患者的骨骼结构上的3D模型查看患者的骨骼结构的实时图像。专家参与者可使用命令、手部姿势、目光或其他控制机制来相对于作为VR元素显示给远程医师的患者的骨骼结构对3D模型进行定向。纳入远程参与者的VR的使用可允许更高资质的医师执行初始化阶段。可选地，专家可为本地MR参与者，在此情况下，将配准过程的初始化过程指派给所述专家可能仍然是有利的。然后，在初始化之后，MR或VR用户中的一者可发起诸如最小化算法的优化算法，以将3D模型与患者的真实骨骼更精确地匹配。使远程专家加入外科手术的能力可能尤其有助于复杂的多步骤外科手术，诸如肩关节置换术、脚踝关节置换术或需要一个或多个复杂步骤的任何其他类型的骨科外科手术。
特别地，计算机辅助步骤可能非常适合于远程医师，而物理步骤(诸如切割、扩孔、钻孔或其他步骤)可能需要医师亲自到场。例如，初始化步骤可能非常适合于由VR参与者或本地专家，诸如医疗装置技术人员来远程执行。在一些实例中，虚拟对象配准步骤，例如，如本公开中所描述的“设置”、“调整”和“匹配”中的一者或全部可能非常适合于由VR参与者、或者由作为MR系统或手术中使用的医疗装置的专家，诸如医疗装置技术人员的本地参与者来远程执行。
另外，如本公开中其他位置所提及，在MR系统的UI(例如，图5的UI 522)上显示的图像可在手术环境之外或之内查看，并且在旁观者模式中可由在手术环境之外和之内的多个用户同时查看。
在一些实例中，诸如MR系统212的MR系统可支持在手术室内在由不同参与者佩戴的MR装置之间共享视图的能力。此外，还可对手术室中的一个或多个固定相机实现视图共享，例如从而允许医师能够即时且反复地访问固定相机或其他用户的特定视图。以此方式，例如，医师可能能够非常快速地获取视觉信息，而不需要在他或她的视图周围移动或改变所述视图。
例如，可向骨科外科手术中涉及的医师(或其他用户)呈现来自他或她的视角的混合现实视图，但是所述用户可能能够选择并查看手术室内的其他人员(或固定相机)的视图。这可允许医师快速地获取手术室内的其他视角。其他人员的视图可包括混合现实视图，所述混合现实视图包括作为所述用户的混合现实呈现的一部分的真实对象和叠加的虚拟对象。当医师(或其他用户)在医师的混合现实呈现中，例如在可视化装置213上选择另一个人员的视图时，另一个人员的所述视图可在医师的MR装置上，例如作为MR装置上的显示窗口或整个视图呈现给医师。
共享视图可包括一个或多个真实对象和一个或多个虚拟对象。每个用户的MR可视化装置213中显示的虚拟对象可能会有所不同，因为不同的用户在医疗手术中扮演不同的角色，但是当实现视图共享时，一个用户的视图的虚拟对象可与其他用户共享。以此方式，视图共享可允许用户共享独特的MR呈现，所述独特的MR呈现包括否则在视图共享不可用的情况下用户可能无法查看的虚拟元素。
例如，可向护士和医师呈现不同的MR呈现，但是当医师选择护士的视图时，护士的视图可被呈现给医师，并且可包括否则可能不会在医师的MR呈现中呈现的护士特定虚拟元素。因此，通过呈现其他用户的视图，医师可能能够获取不同的视觉角度、不同的视图角度以及视图中呈现的不同的虚拟元素。
当向不同的用户呈现不同的MR呈现时，呈现给此类用户的虚拟元素可能会有所不同。这允许一个用户看到特定于所述用户的虚拟元素，并且允许另一个用户看到特定于所述另一个用户的虚拟元素。再次，例如，可向医师和护士呈现包括针对医生以及针对护士定义的虚拟元素的不同的MR呈现。在一些实例中，视图共享可允许医师看到护士的MR呈现。或者在一些实例中，可逐个元素地实现视图共享。也就是说，呈现给护士的一个或多个虚拟元素可由医师启用或禁用，使得医师能够选择性地查看护士相对于特定虚拟元素的共享。
例如，可在护士的MR呈现中向护士呈现工具标识元素以协助护士进行工具选择和工具跟踪。此类工具标识元素(或其他护士特定元素)最初可能会对医师隐藏。然而，在对象特定视图共享下，医师可能能够在医师的MR呈现上启用或禁用护士的虚拟元素。因此，医师(或其他用户)可能能够启用和禁用其他用户看到的虚拟元素，以便定制所述医师(或另一个MR用户)的MR呈现。
在一些实例中，MR系统可用于术前、术中或术后教学目的。教学的有益效果可被提供给患者，或者在一些情况下，教学的有益效果可被提供给第三方观察者，诸如医学生或其他医师。例如，MR系统可用于向过程的远程观察者提供教学。在此实例中，远程观察者可实施VR装置，诸如本文描述的VR装置。可选地，远程观察者可能仅具有查看本地MR参与者的MR馈送的能力。
MR可视化装置可允许外科医生查看3D内容并且确切地看到在手术期间会逐个步骤地发生什么。逐步骤解释可为提供给由医师使用的MR可视化装置的虚拟内容。提供给医师的信息可包括基于来自一般患者群体的信息的一般患者信息，或者可为与将执行给定手术的特定患者相关联的患者特定信息。
在一些实例中，诸如可视化装置213的MR可视化装置可被配置为向由医师、患者或另一个用户使用的MR可视化装置呈现虚拟人员，并且虚拟人员可解释与待执行的外科手术或其他医疗手术有关的一个或多个细节。虚拟人员可为自动化录像，或者可包括位于远处并用与手术室中的MR可视化装置交互的远程VR装置操作的实际医师。对于MR可视化装置的用户而言，视频或指导队列可为可选择小工具，并且此类视频或指导队列可针对医疗手术的不同步骤或阶段进行限定。这种交互式和可选择的实时术中指导可能尤其可用于协助没有定期地、频繁地或相当大量执行手术的外科医生。
在一些实例中，MR可视化装置(例如，可视化装置213)可允许医师出于教学或计划目的而将虚拟骨骼、虚拟植入物或其他虚拟元素放置在患者身上。例如，可在AR中呈现患者的骨骼或其他物理特征的实际患者图像或分段，并且可由医师将虚拟植入物、夹具或其他元素虚拟地放置在患者身上。植入物或夹具相对于患者的虚拟放置可改进植入物或夹具的大小设定和选择，或者可有利于或改进适应患者的独特的解剖特征的患者特定植入物或夹具。
医师可从不同的视角查看植入物、夹具或其他元素的虚拟3D图像，并且使用手部姿势、语音命令、注视方向和/或其他控制输入相对于患者的图像或分段操纵3D图像。例如，医师可将植入物或夹具的虚拟表示放置到患者的植入位置中，例如患者的肩部中。例如，如本公开中其他位置相对于关节盂骨骼手术的基于MR的术中引导的实例所描述，放置可涉及经由“设置”和“调整”技术来设置并调整虚拟植入物。一旦进入初始化过程，可实现匹配算法来经由计算机算法将植入物“匹配”到患者的解剖结构，例如，如本公开中其他位置相对于关节盂骨骼手术的基于MR的术中引导的实例所描述。
此外，如本公开中其他位置所描述，可在MR呈现中定义虚拟三维表示以协助医师进行手术。虚拟3D表示可示出相对于解剖元素的切割轴，诸如针对肩部重建外科手术在肱骨骨骼上的切割轴。作为另一个实例，虚拟3D表示可示出相对于解剖元素的扩孔入口，诸如相对于肩部重建外科手术的患者的关节盂骨骼的扩孔轴。作为又另一个实例，三维表示可示出相对于解剖元素的钻孔轴。当然，虚拟3D表示可通过正执行的外科手术来定义。在脚踝外科手术中，例如，虚拟3D表示可包括相对于虚拟脚踝模型或者距骨和/或胫骨的模型呈现的虚拟元素。
作为另一个实例，三维表示可示出虚拟夹具相对于解剖元素的放置，并且在此情况下，三维表示还可示出相对于虚拟夹具的轴(例如，扩孔轴)。在这些实例中，解剖元素可为患者的真实骨骼，或者所述解剖元素可包括基于患者的解剖特征的一个或多个真实图像而产生的患者的解剖特征的3D虚拟表示。可将解剖特征的3D虚拟表示配准到患者的实际解剖元素，即患者的真实解剖结构，使得所述虚拟表示作为覆盖物显示在实际的物理解剖元素的MR视图中。以此方式，与3D虚拟表示(例如，切割轴、扩孔轴、钻孔位置、虚拟夹具或其他特征)相关联的术前计划可相对于3D虚拟表示进行定义，使得在3D虚拟表示配准到患者的真实解剖特征时，术前计划特征(例如，切割轴、扩孔轴、钻孔位置、虚拟夹具或其他特征)也相对于患者的真实解剖特征适当地对准。
在一些实例中，MR系统可允许与患者，或与其他医疗专业人员进行教学协作。可在与患者的术前会议期间进行基于MR的协作，以便借助于MR向患者解释手术。基于MR的协作可使用真实患者影像与植入物、夹具或其他医疗装置的虚拟表示的组合，以便向患者说明手术的细节。
在其他实例中，MR系统可允许术后病例分析。在此情况下，可将外科手术结果的实际图像与其他患者的其他外科手术结果的图像进行比较。作为另一个实例，可将外科手术结果的实际图像与虚拟图像进行比较以便提供术后评定。类似于术前协作，可与患者或与全部都像本文描述的那样用MR可视化装置或VR可视化装置参与混合现实的其他医疗专业人员一起执行术后协作。
在再一些其他实例中，MR系统可允许在医疗手术或外科手术期间进行教学培训。也就是说，手术的一个或多个被动查看者可具有向用户提供MR环境的视图，而不具有对MR环境的任何控制的被动MR可视化装置。此类被动查看者可位于手术室中，或与手术室相邻的查看室中，或位于远离手术室之处。可选地，在一些情况下，被动查看者可位于远处，实质上是查看由手术室中的人员看到的MR呈现中的一者或多者。来自远程位置的在手术室中不用任何出席或与成员进行任何协作就能实现的这种被动查看可用于培训和教学目的。这种MR查看工具在用于实时或延迟查看手术中可能是非常有用的。
在一些实例中，MR系统可维护与在先患者或在先外科手术相关联的信息的数据库，所述信息例如存储在可视化装置213的存储系统中，或存储在通信地耦合到可视化装置213的数据库(例如，图2的存储系统206)中。在此情况下，信息的数据库可用于识别在先外科手术或手术的情况或情形，所述在先外科手术或手术可传授与当前外科手术或手术有密切关系的知识或信息。诸如患者测量值，解剖特征大小、形状或异常现象，植入物或夹具的大小或者其他参数的特定参数可用于识别存储在数据库中的在先外科手术或手术与当前手术之间的相似性或匹配度。
以此方式，MR系统可用于帮助医师识别与当前患者相关联的当前手术与对过去患者执行的过去手术之间的病例相似性。在一些情况下，MR系统可被配置为向用户医师呈现外科手术建议(诸如植入物的大小和形状、植入物的类型、对解剖或反向解剖手术的建议、或其他类型的建议)。建议例如可通过利用存储在数据库中的数据的机器学习技术来定义。
在术中阶段306(图3)期间，外科医生可执行骨科外科手术，所述骨科外科手术遵循一系列复杂的工作流步骤，其中一些或全部可根据规定的顺序来进行。虽然外科医生对于执行骨科外科手术的步骤而言通常都是训练有素的，但是可能会出现骨科外科手术的一个或多个步骤不小心被遗漏或者以错误的方式执行的意外。此外，可能会出现以下意外：外科医生记起来要执行骨科外科手术的某一步骤，但是记错了如何执行步骤的一个或多个方面；或者另外会受益于对如何执行步骤或与所述步骤的一个或多个方面有关的引导的提醒，所述一个或多个方面中的一些可能会根据针对特定患者产生的特定外科手术计划而改变。
此类意外可能会影响外科手术效率、外科手术功效或患者结果。可使用纸质检查清单来提醒外科医生和手术室(OR)工作人员以执行外科手术的步骤。然而，使用纸质检查清单存在众多缺点。例如，尤其是在外科医生保持外科手术工具的情况下，外科医生可能不容易看到纸质检查清单。此外，由于外科医生必须保持无菌，外科医生可能无法使用她或他的手部来划掉纸质检查清单上的项目。另外地，纸质检查清单包括关于已完成和即将进行的步骤的视觉混乱，并且这可能会花费外科医生宝贵的时间来审核纸质检查清单。此外，纸质检查清单中的视觉混乱可能会允许外科医生在视觉上跳过外科手术的某一步骤。让护士保持检查清单并向外科医生复述检查清单可能会增加费用，因为这种方法可能需要专门的护士到场以达到此目的。另外，纸质检查清单不允许外科医生访问比纸张本身上提供的信息更多的任何信息。
在可选方案中在计算机屏幕上呈现纸质检查清单的计算机化版本可能会具有许多与常规的纸质检查清单相同的问题。例如，在计算机屏幕上呈现外科手术的所有步骤可能会导致可能会延误或迷惑外科医生的视觉混乱，并且可能需要外科医生把目光从外科手术部位移开。此外，可能需要专门的护士来控制呈现在计算机屏幕上的检查清单。另外，尽管纸质检查清单的计算机化版本原则上可能允许外科医生在外科手术期间访问更多信息，但是外科医生可能很难请求显示这种信息。例如，由于需要保持无菌，因此外科医生可能无法使用鼠标或键盘来控制计算机。外科医生可能能够向计算机或护士提供语音指示，但是语音命令可能会被计算机或护士错误解释，这可能会导致时间浪费，或者再次可能需要专门的护士可供用于控制计算机，就像在外科医生想要计算机显示额外信息的情况中一样。
呈现在计算机屏幕上的检查清单的另一问题是计算机屏幕在外科手术期间往往有点远离骨科外科医生，以便确保骨科外科医生和其他保健专业人员具有足够的空间以在患者周围工作。例如，可将计算机监视器安装到手术室的墙壁。然而，仅这一点就可能会给骨科外科医生带来某些问题。例如，在一个实例中，一些骨科外科医生可能会佩戴放大镜眼镜或标准矫正眼镜来帮助外科医生更好地看到患者身上的外科手术部位。然而，由于患者身上的外科手术部位通常比计算机监视器所在的位置更靠近骨科外科医生，因此外科医生的眼镜可能会使外科医生很难看到处于更远距离处的计算机监视器。换句话说，外科手术部位与计算机监视器之间的焦点距离的差异可能如此之大，以至于骨科外科医生在佩戴(或不佩戴)特定眼镜时无法清楚地看到外科手术部位和计算机监视器两者。因此，为了看到计算机监视器，外科医生可能需要移除或改变眼镜。移除或改变眼镜可能会消耗时间，并且可能会引入传播细菌和其他类型的污染的另一种潜在的媒介。
本公开描述了使用扩展现实(XR)来协助用户(例如，外科医生或其他类型的人员)以可解决诸如上文提及的那些的挑战的方式完成骨科外科手术的工作流步骤的技术。如本公开中其他位置所描述，XR可包括VR、MR和AR。在使用XR来协助用户完成骨科外科手术的工作流步骤并且XR采用VR的形式的实例中，用户可执行骨科外科手术的模拟，或者可远程地执行骨科外科手术。在使用XR来协助用户完成骨科外科手术的工作流步骤并且XR采用MR或AR的形式的实例中，外科医生可在骨科外科手术期间同时感知真实世界对象和虚拟对象。
例如，图117是示出根据本公开的技术的可协助诸如外科医生、护士、或其他医疗技术人员的用户完成骨科外科手术的工作流步骤中的步骤的示例系统11700的框图。在图117的实例中，系统11700包括XR可视化装置11702、通信网络11704以及一个或多个计算系统11706A至11706N(统称为“计算系统11706”)。在其他实例中，系统11700可包括更多、更少或不同的装置和系统。
计算系统11706可包括各种类型的计算装置，诸如服务器计算机、个人计算机、智能手机、膝上型计算机以及其他类型的计算装置。为了便于解释，本公开可将由XR可视化装置11702的处理电路、数据存储系统和通信接口，以及计算系统11706执行的动作描述为整体由XR可视化装置11702和计算系统11706执行。通信网络11704可包括各种类型的网络，诸如局域网、互联网和/或其他类型的通信网络。骨科外科手术系统100(图1)的各种计算系统可包括系统11700。例如，术中引导系统108可包括系统11700。在一些实例中，可如图5的实例中所示实施XR可视化装置11702。
在图117的实例中，XR可视化装置11702可由骨科外科医生佩戴，并且可输出XR可视化以供显示。在一些实例中，XR可视化装置11702由另一种类型的用户(例如，护士、医疗技术人员或其他类型的用户)佩戴并且可输出XR可视化以供显示。XR可视化装置11702可从计算系统11706中的一者或多者中访问与骨科外科手术的工作流步骤有关的信息。基本上与XR可视化装置11702类似或相同的XR可视化装置可由外科手术室中的其他人员，诸如一个或多个护士、一个或多个医疗技术人员或者一个或多个额外的外科医生佩戴，使得一个或多个人员可观察提供关于骨科外科手术的工作流步骤的引导的AR、MR和/或VR影像。
在一个实例中，XR可视化包括一组一个或多个虚拟检查清单项目。一个或多个虚拟检查清单项目中的每一者对应于骨科外科手术(例如，肩关节置换术、脚踝关节置换术或任何其他类型的骨科外科手术)的步骤检查清单中的某一项目。步骤可根据将执行步骤的次序顺序地安排，或者可根据手术步骤的物理或功能特性按主题安排为步骤主题。另外，在此实例中，XR可视化装置11702的相机或其他传感器可检测骨科外科医生或其他用户的命令以在该组虚拟检查清单项目中选择某一虚拟检查清单项目。在一些实例中，与XR可视化装置11702分开的一个或多个装置可检测命令。例如，一个或多个相机、传声器或定位在手术室中的其他类型的装置可检测命令。然而，为了便于解释，本公开将XR可视化装置11702描述为检测命令。然而，对XR可视化装置11702检测命令的讨论可适用于检测命令的一个或多个其他类型的装置。响应于检测到非接触式命令，XR可视化装置11702可更新XR可视化以包括关于骨科外科手术的对应于所选虚拟检查清单项目的步骤的额外信息。
在一些实例中，命令是非接触式命令。非接触式命令在骨科外科医生或其他用户没有触摸任何实体对象的情况下执行。例如，非接触式命令可为在空中作出的手部姿势。例如，非接触式命令可为针对XR可视化的虚拟元素的捏压姿势。在一些实例中，非接触式命令是语音命令。
在其他实例中，XR可视化装置11702可检测涉及接触的命令。例如，XR可视化装置11702可检测呈手部姿势的形式的第一命令，其中用户(例如，骨科外科医生或其他类型的用户)将用户的左侧手部的一个或多个手指轻击在用户的右侧手部的手背上。在此实例中，XR可视化装置11702可检测呈手部姿势的形式的第二命令，其中用户将用户的右侧手部的一个或多个手指轻击在用户的左侧手部的手背上。在另一个实例中，用户可在表面(例如，灭菌表面)，诸如手术台的角部或外科手术项目上轻击。
在命令为非接触式命令的实例中，由于骨科外科医生或其他用户能够在没有触摸任何实体对象的情况下查看额外信息，因此不存在来自骨科外科医生或其他用户触摸物理计算机用户接口装置，诸如鼠标、键盘或触摸屏的额外的污染风险。关于降低污染风险的类似考虑可适用于在已经灭菌的表面，诸如外科医生的自身的手部或灭菌的外科手术项目上的基于接触的命令。另外地，在命令(例如，非接触式命令)为手部姿势的实例中，使用手部姿势来访问信息可避免上文讨论的语音命令的问题，但是语音命令也可能会用于一些实例中。以此方式，操纵骨科外科手术的工作流检查清单的计算系统(例如，XR可视化装置11702、计算系统11706中的一者等)可通过降低计算系统充当传播污染的媒介的风险来改进。另外，由于可在XR可视化中在相对靠近外科手术部位的焦点平面的焦点平面中呈现虚拟检查清单项目，因此为了看到虚拟检查清单项目，骨科外科医生可能不需要改变或移除眼镜。因此，在各种实例中，本公开的技术可特别针对患有视觉障碍的骨科外科医生或其他用户提高计算系统的可访问性，并且可使得骨科外科医生或其他用户能够跳过访问虚拟检查清单项目原本所需的步骤，从而提高计算系统的使用效率。
XR可视化装置11702可在XR可视化中呈现各种虚拟检查清单项目。例如，XR可视化可包括对应于骨科外科手术的骨科外科医生正执行的当前步骤的虚拟检查清单项目。在此实例中，XR可视化可排除对应于骨科外科手术的已完成步骤的虚拟检查清单项目。另外，在一些实例中，XR可视化可排除对应于骨科外科手术的在骨科外科手术的当前步骤之后发生的一个或多个步骤的虚拟检查清单项目。例如，在一个实例中，XR可视化装置11702可排除对应于骨科外科手术的在当前步骤之后发生的所有步骤的虚拟检查清单项目。在另一个实例中，XR可视化可排除对应于骨科外科手术的除了骨科外科手术的下一个步骤之外的所有步骤的检查清单项目。在一些实例中，在XR可视化中显示的该组虚拟检查清单项目是用户可配置的。
不同的骨科外科手术存在不同的步骤。例如，用于执行膝盖关节置换术的一系列步骤不同于执行反向肩关节置换术所需的一系列步骤。在一个实例中，用于肩关节置换术的该系列步骤可包括：切开步骤、切断肱骨头的步骤、为扩孔引导销钻出孔的步骤、用于执行关节盂扩孔过程的步骤、用于安装关节盂植入物的步骤、用于准备肱骨的步骤、用于安装肱骨植入物的步骤以及用于闭合切口的步骤。在一些实例中，步骤可包括嵌套的子步骤。在一些实例中，该系列步骤可包括图10的移植、肱骨切割、安装引导件、关节盂扩孔以及关节盂植入步骤。在一些此类实例中，骨科外科手术的下一个步骤可为子步骤。诸如上文描述的那些的步骤可例如使用AR、MR或VR可视化呈现为检查清单项目。当然，用于脚踝关节置换术的步骤也可能会不同于其他类型的骨科外科手术的那些步骤，并且虚拟工作流引导和虚拟检查清单可被定义来引导和跟踪针对给定类型的脚踝关节置换术或其他骨科外科手术定义的特定步骤。
此外，骨科外科手术可能是为特定患者定制的。例如，移除骨赘的额外步骤在一个患者的肩关节置换术外科手术中可能是需要的，但是在另一个患者的肩关节置换术外科手术中可能是不需要的。在不同的患者的相同的外科手术内可能存在变化的事实可能会增加外科医生和手术室人员的精神负担。因此，XR可视化可包括对应于骨科外科手术的针对特定患者定制的患者特定步骤或子步骤的虚拟检查清单项目。包括对应于患者特定步骤或子步骤的虚拟检查清单项目可有助于提醒外科手术人员将如何为各个患者执行骨科外科手术。
XR可视化可在虚拟检查清单项目中呈现各种类型的信息。例如，在一个实例中，XR可视化中的虚拟检查清单项目可包括标识骨科外科手术的对应步骤的文本。在一些实例中，XR可视化中的虚拟检查清单项目可包括表示骨科外科手术的对应步骤的图标或其他非文本图形。在一些实例中，虚拟检查清单项目可指定哪些外科手术项目(例如，工具、植入物等)将用于骨科外科手术的对应步骤中。XR可视化可根据各种格式呈现虚拟检查清单项目。例如，XR可视化可将虚拟检查清单项目呈现为一排或一列项目，所述项目中的每一者可包含文本、图标或其他信息。在一些实例中，XR可视化可以三维堆叠卡格式呈现虚拟检查清单项目，其中虚拟检查清单项目处于可被移除或添加到堆叠体的不同的虚拟卡中。
在一些实例中，虚拟检查清单项目可对应于骨科外科手术的特定于单独的患者的步骤。换句话说，虚拟检查清单项目可对应于特定于某一患者的骨科外科手术的版本中所包括的步骤，所述步骤不包括在其他患者的骨科外科手术的版本中。例如，在上文提供的肩关节置换术外科手术的实例中，XR可视化可包括对应于在第一患者的外科手术期间移除骨赘的步骤的虚拟检查清单项目，但是不会将这个虚拟检查清单项目包括在不具有需要移除的骨赘的第二患者的外科手术中。
XR可视化装置11702可在XR可视化中呈现各种类型的额外信息。在一个实例中，额外信息可包括描述骨科外科手术的步骤的额外文本。例如，额外信息可包括由骨科外科医生或其他人员先前准备的笔记。在一些实例中，先前准备的笔记可特定于骨科外科医生正在手术的患者。例如，特定于患者的先前准备的笔记可告知骨科外科医生以特定方式安装螺钉，以便避开存在于第一患者的骨骼中的特定位置处的囊肿。在此实例中，其他患者在与第一患者相同的位置处可能不具有囊肿。在一些实例中，先前准备的笔记在患者之间可能是普通的，但是特定于单独的外科医生、医院、护理网络或其他群组。例如，外科医生可能始终想要访问他或她的关于外科手术的特定步骤的个人笔记。
在一些实例中，额外信息可包括与骨科外科手术的步骤相关联的一个或多个虚拟三维对象。换句话说，XR可视化装置11702可更新XR可视化，以包括与骨科外科手术的步骤相关联的一个或多个虚拟三维对象。三维对象可包括与骨科外科手术的步骤有关联的骨骼的一个或多个虚拟三维模型。例如，在本公开中其他位置描述的肩关节置换术外科手术的背景下，三维对象可包括患者的肩胛骨的三维模型。在此实例中，XR可视化可包括不对应于真实世界对象的一个或多个虚拟三维对象。例如，虚拟三维对象可包括虚拟扩孔轴。在外科手术期间在XR可视化中显示的虚拟三维模型可与术前阶段302期间显示的虚拟三维模型相同。因此，骨科外科医生或其他用户可能已经熟悉虚拟三维模型，因为骨科外科医生在术前计划阶段期间可能已使用过虚拟三维模型。因此，在一些实例中，XR可视化可包括虚拟三维模型，诸如图15A、图15B、图15C、图15D、图16、图17、图27、图28、图29、图30等等中所示的那些。在一些实例中，三维模型中的一者或多者特定于接受外科手术的单独的患者。在一些实例中，三维模型中的一者或多者在患者之间是通用的。
在一些实例中，XR可视化还可包括用于控制虚拟三维对象的虚拟控件。骨科外科医生或其他用户可使用非接触式命令(例如，手部姿势或语音命令)或者基于接触的命令来选择虚拟控件。虚拟控件可允许骨科外科医生或其他用户隐藏或显示个别虚拟三维对象，旋转虚拟三维对象、缩放虚拟三维对象或以其他方式控制虚拟三维对象。本公开中其他位置详细描述的图13是包括用于控制与骨科外科手术的步骤相关联的虚拟三维对象的虚拟控件的XR可视化中的界面的实例。特别地，图13是包括用于控制与肩关节置换术外科手术的关节盂扩孔步骤相关联的虚拟三维对象的虚拟控件的XR可视化中的界面的实例。在一些实例中，XR可视化装置11702可响应于来自骨科外科医生或其他用户的命令而更新XR可视化以旋转或缩放一个或多个虚拟三维对象。在一些此类实例中，命令可为非接触式命令，诸如手部姿势或语音命令。
另外，在一些实例中，XR可视化装置11702可更新XR可视化，以向骨科外科医生或其他用户显示如应用于一个或多个虚拟三维对象的骨科外科手术的步骤的动画。动画可显示一个或多个虚拟3D对象，诸如工具或植入物从最初位置到中间位置且直至最终位置的渐进式移动以表示完成手术中的步骤所需的操作。例如，在肩关节置换术的背景下，XR可视化可显示如何执行切割肱骨头的步骤的动画。这可帮助骨科外科医生或其他用户记住如何执行骨科外科手术的步骤，或者如何根据患者特定外科手术计划以特定方式执行步骤。在一些实例中，动画特定于单独的患者。在一些实例中，动画在一组患者之间是通用的。
在一些实例中，XR可视化装置11702可检测来自骨科外科医生或其他用户的旨在标示骨科外科手术的步骤完成的命令(例如，非接触式命令或基于接触的命令)。在命令为非接触式命令的实例中，非接触式命令可为手部姿势或语音命令。标示步骤完成可包括(例如，由计算系统11706中的一者)存储指示步骤完成的数据。另外，基于命令，XR可视化装置11702可更新XR可视化，以包括对应于骨科外科手术的步骤检查清单中的下一个步骤的虚拟检查清单项目。例如，XR可视化装置11702可响应于检测到来自骨科外科医生的命令而更新XR可视化以标示骨科外科手术的当前步骤完成。
在一些实例中，计算系统11706中的一者或多者可向除骨科外科医生之外的一个或多个人员显示虚拟检查清单项目。例如，XR可视化装置或计算机可显示与XR可视化装置11702显示给骨科外科医生相同的虚拟检查清单项目。这可允许其他人员跟踪外科手术的过程。此类其他人员可包括护士、产品代表、学生、其他外科医生等等。用于术中协作和教学的技术在本公开中其他位置进行了描述。
在一些实例中，除外科医生之外的人员可能加入来标示骨科外科手术的步骤完成。例如，响应于检测到来自骨科外科医生的旨在标示骨科外科手术的步骤完成的命令，与第二人员相关联的计算装置(例如，计算系统11706中的一者)可提示第二人员确认骨科外科手术的步骤已完成。在此实例中，与第二人员相关联的计算装置通信地耦合到XR可视化装置(例如，MR或VR可视化装置)。因此，手术室工作人员(例如，外科医生、护士等)可与可能能够查看虚拟检查清单项目的远程用户通信和/或向所述远程人员进行咨询。
例如，与第二人员相关联的计算装置可为由第二人员佩戴的XR可视化装置、第二人员的智能手机、由第二人员使用的计算机等等。与第二人员相关联的计算装置可经由通信网络11704通信地耦合到XR可视化装置。在一些实例中，一个或多个其他计算装置(例如，计算系统11706中的其他计算系统)可处理来自XR可视化装置11702或其他装置的信息，以产生发送到与第二人员相关联的计算装置的信息。接收到这种信息可使与第二人员相关联的计算装置产生提示。
在此实例中，作为更新XR可视化以包括对应于骨科外科手术的步骤检查清单中的下一个步骤的虚拟检查清单项目的一部分，XR可视化装置11702可响应于第二人员确认骨科外科手术的步骤实际上已完成而更新XR可视化以包括对应于骨科外科手术的步骤检查清单中的下一个步骤的虚拟检查清单项目。以此方式，第二人员有机会验证骨科外科手术的步骤实际上已完成。这可有助于防止意外跳过外科手术的步骤和/或确保步骤根据一般护理标准或患者特定需求来执行。在其他实例中，除骨科外科医生之外的人员可发出旨在标示骨科外科手术的步骤完成的初始命令，并且外科医生或其他人员可确认步骤实际上已完成。
在一些实例中，为了使得第二人员能够验证步骤已完成，与第二人员相关联的计算装置可显示来自被定位成看到外科手术部位的相机的视频馈送。例如，在一个实例中，相机被集成到由骨科外科医生佩戴的XR可视化装置11702中。在另一个实例中，相机被安装到手术室的框架或墙壁。
在一些实例中，计算系统11706中的一者可基于外科手术中的哪个步骤是外科手术的当前步骤而控制各种外科手术工具。例如，如果在当前步骤期间不应当使用特定工具，则计算系统可禁用所述工具。例如，在肩关节置换术外科手术的背景下，如果在切割患者的肱骨头的步骤期间不应使用扩孔钻机，则计算系统可在切割患者的肱骨头的步骤期间禁用扩孔钻机。这可有助于防止外科医生跳过骨科外科手术的步骤。为了控制哪些外科手术工具可与特定步骤一起使用，计算系统11706可访问可用于外科手术的特定步骤中的外科手术工具的预定义列表。
在一些实例中，如本公开中其他位置所描述，本文描述的工作流管理过程可引导用于帮助护士向外科医生提供正确工具的过程。例如，呈现给护士的XR可视化中的虚拟对象可向护士指示在骨科外科手术的下一个步骤中要向外科医生提供哪些工具。在另一个实例中，内置于外科手术工具或托盘中的灯可向护士指示在骨科外科手术的下一个步骤中将使用哪些工具。在本公开中的其他位置更详细地描述了此类实例。
在一些实例中，计算系统(例如，计算系统11706中的一者)输出检查清单项目以向护士或其他个人显示。在一些此类实例中，代替XR可视化装置11702检测到旨在标示骨科外科手术的步骤完成的命令，计算系统可在护士使用计算系统的装置来光学地扫描骨科外科手术的下一个步骤中使用的外科手术项目(例如，外科手术工具、植入物、外科手术项目的盒子等)的码(例如，条形码)时标示骨科外科手术的步骤完成。这可具有推进检查清单并更新可用外科手术项目的库存的联合作用。在此实例中，计算系统可在护士没有扫描骨科外科手术的下一个步骤的预期的外科手术项目的情况下警告护士。
在一些实例中，系统11700中的计算系统可记录外科手术笔记并且自动地将外科手术笔记与骨科外科手术的步骤关联起来。例如，外科医生可在骨科外科手术的过程中口述笔记。在此实例中，XR可视化装置11702或计算系统11706中的一者的传声器可检测并记录外科医生的语音。计算系统11706中的一者可存储(并且在一些实例中转录)口头笔记。在一些实例中，护士可转录由外科医生口述的笔记。另外地，计算系统可在骨科外科手术的特定步骤是当前步骤时口述的笔记与特定步骤关联起来。换句话说，可将外科手术期间口述的笔记与外科手术的口述笔记的步骤关联起来。因此，可基于骨科外科手术的步骤而检索骨科外科手术的特定步骤的笔记。
类似地，在一些实例中，一个或多个计算系统11706可自动地将外科手术的视频的部分与外科手术的对应步骤关联起来。这可允许用户快速地跳到对应于外科手术的用户感兴趣的步骤的视频的部分。
图118是示出根据本公开的技术的用于协助诸如外科医生、护士或其他医疗技术人员的用户完成骨科外科手术的工作流中的步骤的示例操作的流程图。在图118的实例中，由骨科外科医生佩戴的XR可视化装置11702可输出XR可视化以供显示(11800)。XR可视化包括一组一个或多个虚拟检查清单项目。一个或多个虚拟检查清单项目中的每一者对应于骨科外科手术，诸如脚踝关节置换术或肩关节置换术的步骤检查清单中的某一项目。
另外，XR可视化装置11702可检测骨科外科医生的非接触式命令(例如，手部姿势或语音命令)以在该组虚拟检查清单项目中选择某一虚拟检查清单项目(11802)。非接触式命令在骨科外科医生没有触摸任何实体对象的情况下执行，并且可由与由外科医生佩戴的XR可视化装置11702相关联的相机、传声器或其他传感器，由手术室中的其他人员佩戴的XR可视化装置，或不是由XR可视化装置携载的另一个传感器检测。另外，响应于检测到非接触式命令，XR可视化装置11702可更新XR可视化以包括关于骨科外科手术的对应于所选虚拟检查清单项目的某一步骤的额外信息(11804)。
在一些实例中，XR可视化装置11702是骨科外科医生在外科手术期间佩戴或以其他方式使用的MR可视化装置或AR可视化装置。在一些实例中，XR可视化装置11702是VR可视化装置。在此类实例中，骨科外科医生可使用VR可视化装置来执行骨科外科手术的模拟。在这种模拟期间，骨科外科医生以与骨科外科医生在MR可视化装置或AR可视化装置中将看到虚拟检查清单项目相同的方式看到虚拟检查清单项目可能是有帮助的。
图119是示出示例XR可视化11900的概念图，所述XR可视化11900包括在对患者的肩部执行骨科外科手术时如由诸如骨科外科医生、护士或其他医疗技术人员的用户所查看的一组一个或多个虚拟检查清单项目。在图119的实例中，患者正躺在手术台上并且骨科外科医生正从上方查看患者。骨科外科医生已经在患者的肩部中切出切口11902，并且暴露出关节盂表面11904。
根据本公开的技术，XR可视化11900包括一组虚拟检查清单项目11906。虚拟检查清单项目11906对应于骨科外科医生正对患者执行的骨科外科手术的步骤检查清单中的项目。在图119的实例中，虚拟检查清单项目11906以虚拟卡堆叠的形式呈现，所述虚拟卡堆叠中的每一者对应于骨科外科手术的一个步骤(或子步骤)。在其他实例中，一个或多个虚拟检查清单项目11906可在XR可视化中以列形式呈现。在一些实例中，一个或多个虚拟检查清单项目11906处于排形式，这类似于图10中的可选择按钮1002的布置。
虚拟检查清单项目11908包括描述骨科外科手术的步骤的文本以及对应于所述步骤的图形。特别地，虚拟检查清单项目11908包括描述用于安装扩孔引导销的步骤的文本。另外，如图119的实例中所示，虚拟检查清单项目11908包括患者特定内容，即患者在喙突上具有骨骼囊肿并且应避免意外接触。可能不会对所有患者都呈现这种患者特定内容。在一些实例中，虚拟检查清单项目11908可包括与当前步骤相关联的一个或多个警告。例如，与图161的安装固定螺钉16102A和16102B的步骤相关联的虚拟检查清单项目可包括防止过度扭转固定螺钉16102A和16102B的文本或图形警告。
如本公开中其他位置所描述，可在术前阶段302(图3)期间为骨科外科手术制定外科手术计划。例如，外科手术计划可使用BLUEPRINTTM系统来制定。然而，在执行骨科外科手术时，外科医生可能会偏离外科手术计划。换句话说，术中阶段306(图3)期间的外科医生的动作可能会不同于术前阶段302(图3)期间定义的外科手术计划中阐述的动作。
存在许多外科医生为什么可能会偏离外科手术计划的原因。例如，在术前阶段302期间制定的外科手术计划可能是基于对患者的解剖结构的不正确的估计或假设。例如，在一个实例中，在术前阶段302期间制定的外科手术计划可能是基于对骨赘的位置或大小的不正确的估计。
在外科医生为什么可能会偏离术前阶段302期间制定的外科手术计划的另一个实例中，外科手术计划可能是基于对患者的病理的不正确的估计。例如，外科医生可能会在打开患者的肩关节时发现患者的肩关节中的关节盂缺损的程度与Walch盂肱骨关节炎分类系统中的不同于根据患者的肩关节的先前成像所理解的分类的分类相一致。在肩部修复外科手术的情况下，对患者的病理的不正确的估计可能会要求外科医生执行反向肩关节置换术，而不是标准解剖肩关节置换术，反之亦然。
在外科医生为什么可能会偏离术前阶段302期间制定的外科手术计划的另一个实例中，外科手术计划可能是基于对骨骼密度的不正确的估计。例如，在此实例中，如果骨骼密度在诸如肱骨或肩胛骨的骨骼的特定区中过低，则骨骼可能无法充分支撑植入物，诸如术前阶段302期间计划的植入物类型。如果骨骼无法充分支撑植入物，则骨骼可能会断裂，或者可能无法将植入物牢固地安装到骨骼上。因此，外科医生可能会被迫以不同于外科手术计划的方式切割骨骼、对所述骨骼进行钻孔或扩孔，以改进植入物的安置，或使用不同的植入物类型。例如，在一个实例中，初始外科手术计划可能要求使用无柄的肱骨植入物，但是如果肱骨的骨骼密度在某些区中过低，则外科医生可能想要切换到有柄的肱骨植入物。
在外科医生为什么可能会偏离术前阶段302期间制定的外科手术计划的其他实例中，外科医生可能只是认识到在外科手术计划中存在错误。外科医生也可能会在无意中偏离外科手术计划。例如，外科医生可能会以略微不用于由外科手术计划指示的角度的角度切割骨骼。例如，外科医生可能会切除了过多的肱骨头。在一些情况下，如果不通过使用不同的植入物来进行补偿，切割的不同角度可能会导致不同的潜在运动范围。
根据本公开的技术，计算系统可获得指定第一外科手术计划的信息模型，所述第一外科手术计划可为术前定义的外科手术计划。计算系统可在骨科外科手术的术中阶段306期间修改第一外科手术计划以产生第二外科手术计划(图3)。另外，根据本公开的技术，XR系统可呈现基于第二外科手术计划的XR可视化以供显示。这可允许外科医生开始使用XR可视化来帮助外科医生执行第二外科手术计划。
图120是示出根据本公开的技术的在术中阶段306期间修改第一外科手术计划以产生第二外科手术计划的示例系统12000的概念图。系统12000包括计算系统12002、XR系统12004、存储系统12006以及网络12008。在图120的实例中，XR系统12004包括可视化装置12010。类似于图2的MR系统212，XR系统12004也可包括其他部件，诸如与可视化装置12010分开的一个或多个处理器和存储装置。如图120的实例中所示，可视化装置12010可为头戴式可视化装置。在其他实例中，可视化装置12010可为全息投影仪或使得用户能够看到MR可视化的其他类型的装置。在一些实例中，计算系统12002的功能由可视化装置12010或XR系统12004中所包括的一个或多个处理器来执行。在其他实例中，计算系统12002的一些或所有功能由在可视化装置12010外部的处理器来执行。
如本公开中其他位置所讨论，计算系统12002可包括作为系统操作的一个或多个计算装置。在一些实例中，计算系统12002是虚拟计划系统102(图1)或术中引导系统108(图1)的一部分。计算系统12002可获得描述外科手术计划的信息模型。例如，计算系统12002可例如使用外科手术计划软件，诸如BLUEPRINTTM来产生信息模型。在一些实例中，计算系统12002可从计算机可读介质，诸如通信介质或非暂时性计算机可读介质获得信息模型。存储系统12006可存储信息模型。
图121是根据本公开的技术的在术中阶段306期间修改第一外科手术计划以产生第二外科手术计划的示例操作的流程图。在图121的实例中，计算系统12002可获得指定将在患者身上执行的骨科外科手术的第一外科手术计划的信息模型(12100)。例如，如本公开中其他位置所描述，计算系统12002可产生或检索第一外科手术计划。另外，在图121的实例中，计算系统12002可在骨科外科手术的术中阶段306(图3)期间修改第一外科手术计划以产生第二外科手术计划(12102)。可视化装置12010可在骨科外科手术的术中阶段306期间呈现基于第二外科手术计划的可视化以供显示(12104)。可视化可为XR可视化，诸如MR可视化或VR可视化。
在一些实例中，第一外科手术计划是将在患者身上执行的骨科外科手术的术前定义的外科手术计划。换句话说，第一外科手术计划可在术前阶段302(图3)期间定义。在一些实例中，第一外科手术计划是将在患者身上执行的骨科外科手术的术中定义的外科手术计划。例如，在一个实例中，可能会在骨科外科手术的过程中修改术前定义的外科手术计划以产生第一外科手术计划，所述第一外科手术计划可被进一步修改来产生第二外科手术计划。
第一外科手术计划可能在各个方面都与第二外科手术计划有所不同。例如，第一外科手术计划可能会指定第一外科手术项目，诸如外科手术工具或植入物的使用。在此实例中，计算系统12002可修改第一外科手术计划，使得第二外科手术计划指定第二外科手术项目而不是第一外科手术项目的使用。在此实例中，第二外科手术项目不同于第一外科手术项目。例如，第一外科手术项目和第二外科手术项目可为相同类型的不同大小的项目，或者完全可为不同类型的项目。例如，第一外科手术项目可为无柄的肱骨植入物，并且第二外科手术项目可为有柄的肱骨植入物，反之亦然。在一些实例中，第一外科手术计划可在切割角度或位置(例如，切除肱骨头的切割角度或位置)方面与第二外科手术计划有所不同。
在一些实例中，第一外科手术计划可指定执行第一类型外科手术。在此实例中，计算系统12002可修改第一外科手术计划，使得第二外科手术计划指定不同于第一类型外科手术的第二类型外科手术。例如，第一类型外科手术和第二类型外科手术可为以下项中的不同者：无柄标准全肩关节置换术、有柄标准全肩关节置换术、无柄反向肩关节置换术、有柄反向肩关节置换术、增强型关节盂标准全肩关节置换术或增强型关节盂反向肩关节置换术。在其他实例中，第一类型外科手术和第二类型外科手术可为不同类型的脚踝外科手术或其他类型的关节外科手术。虽然参考肩部外科手术描述了技术，但是相对于其他类型的骨科外科手术，诸如对于脚踝关节置换术手术也可能会发生外科手术计划的类似的术间改变。
在骨科外科手术是肩部修复外科手术的一些实例中，第一外科手术计划可在患者的关节盂上指定第一扩孔轴。在此实例中，第二外科手术计划可在患者的关节盂上指定不同于第一扩孔轴的第二扩孔轴。例如，第一扩孔轴和第二扩孔轴可具有不同的参数，诸如角度、进入点等等。在骨科外科手术是肩部修复外科手术的一些实例中，第一外科手术计划可在患者的关节盂上指定第一扩孔深度。在此实例中，第二外科手术计划可在患者的关节盂上指定不同于第一扩孔深度的第二扩孔深度。
另外，在骨科外科手术是肩部修复外科手术的一些实例中，第一外科手术计划可指定第一肱骨切割深度，并且第二外科手术计划可指定不同于第一肱骨切割深度的第二肱骨切割深度。在骨科外科手术是肩部修复外科手术的一些实例中，第一外科手术计划指定第一肱骨切割角度，并且第二外科手术计划指定不同于第一肱骨切割角度的第二肱骨切割角度。
在一些实例中，第一外科手术计划可指定第一植入位置，并且第二外科手术计划指定不同于第一植入位置的第二植入位置。例如，在一个实例中，第一植入位置和第二植入位置可为将植入物安装到骨骼的不同位置。在另一个实例中，第一植入位置和第二植入位置可为诸如肱骨植入物的植入物的柄的不同深度。
计算系统12002可执行各种动作来确定是否修改第一外科手术计划以及如何修改所述第一外科手术计划来产生第二外科手术计划。例如，计算系统12002可基于第一外科手术计划而产生计划深度图，所述计划深度图表示如果根据第一外科手术计划执行骨科外科手术的某一步骤，则在执行骨科外科手术的所述步骤之后患者的骨骼的表面将具有的三维形状。另外，计算系统12002可产生现实深度图，所述现实深度图表示在外科医生实际上已执行骨科外科手术的步骤之后在患者的骨骼的表面上的三维形状。在此实例中，计算系统12002可使用由可视化装置12010的一个或多个深度相机(例如，一个或多个深度相机532(图5))提供的信息来产生深度图(例如，现实深度图)。计算系统12002可确定现实深度图与计划深度图之间的差异。例如，计算系统12002可确定现实深度图与计划深度图之间的角度或深度的差异。计算系统12002可基于现实深度图与计划深度图之间的所确定的差异而产生第二外科手术计划。例如，考虑到现实深度图与计划深度图之间的差异，计算系统12002可确定不同类型的外科手术或不同的外科手术项目可能是优选的。在一些实例中，计算系统12002使用标记(例如，图30的标记3010)来确定诸如骨骼和外科手术工具的对象的深度和取向。
在一些实例中，骨科外科手术是包括用摆锯工具切断肱骨头(例如，切除肱骨头)的步骤的肩部修复外科手术。在此类实例中，计划切割平面是如果切断肱骨头的步骤根据第一外科手术计划执行则摆锯工具将沿着来切割肱骨头的平面。另外，在此实例中，现实切割平面是在执行切断肱骨头的步骤期间摆锯工具实际上沿着来切割肱骨头的平面。在此实例中，计算系统12002可确定计划切割平面与现实切割平面之间的差异。此外，计算系统12002可基于现实切割平面与计划切割平面之间的所确定的差异而产生第二外科手术计划。
在骨科外科手术是包括用摆锯工具切断肱骨头的步骤的肩部修复外科手术的一些实例中，计算系统12002可产生表示包括肱骨头和摆锯工具的场景内的三维形状的深度图。在此类实例中，计算系统12002可基于深度图而确定现实切割平面。在一些实例中，标记被固定到摆锯工具，并且计算系统12002基于执行切断肱骨头的步骤期间捕获的标记的视频图像(例如，RGB图像)而确定现实切割平面。
另外，在骨科外科手术是包括用摆锯工具切断肱骨头的步骤的肩部修复外科手术的一个实例中，第一外科手术计划指定使用第一肱骨植入物。在此实例中，计算系统12002可基于现实切割平面而确定使用第一肱骨植入物可能会导致的第一运动范围。另外地，考虑到现实切割平面，计算系统12002可确定使用第二肱骨植入物可能会导致第二运动范围，而不是第一运动范围，其中第二肱骨植入物不同于第一肱骨植入物。在此实例中，计算系统12002可使用将现实切割平面映射到运动范围的病例研究的数据库，使用数学模型或基于其他算法而确定第一运动范围。另外，在此实例中，计算系统12002可产生第二外科手术计划，使得第二外科手术计划指定使用第二肱骨植入物，而不是第一肱骨植入物。
在骨科外科手术是包括用扩孔工具对患者的关节盂进行扩孔的步骤的肩部修复外科手术的一些实例中，计划扩孔深度是如果对关节盂进行扩孔的步骤根据第一外科手术计划执行则扩孔工具将对关节盂扩孔达到的深度。在此类实例中，现实扩孔深度是在执行对关节盂进行扩孔的步骤期间扩孔工具对关节盂扩孔实际上达到的深度。在一个这样的实例中，计算系统12002可确定计划扩孔深度与现实扩孔深度之间的差异。另外，在此实例中，计算系统12002可基于现实扩孔深度与计划扩孔深度之间的所确定的差异而产生第二外科手术计划。
另外，在骨科外科手术是包括对患者的关节盂进行扩孔的步骤的肩部修复外科手术的一个实例中，计算系统12002可产生表示包括关节盂和扩孔工具的场景内的三维形状的深度图。在此实例中，计算系统12002可基于深度图而确定现实扩孔深度。例如，计算系统12002可使用深度图中对应于扩孔之后的关节盂的深度值来确定已将关节盂扩孔到哪个深度。在一些实例中，第一标记被固定到扩孔工具，并且第二标记被固定到具有关节盂的肩胛骨。在此类实例中，计算系统12002可基于在执行对关节盂进行扩孔的步骤期间捕获的第一标记和第二标记的视频图像而确定现实扩孔深度。
另外，在骨科外科手术是包括对关节盂进行扩孔的步骤的肩部修复外科手术的一个实例中，第一外科手术计划可指定使用第一关节盂植入物。在此实例中，计算系统12002可基于现实扩孔深度而确定使用第一关节盂植入物可能会导致的第一运动范围。另外地，在此实例中，考虑到现实扩孔深度，计算系统12002可确定使用第二关节盂植入物可能会导致第二运动范围，而不是第一运动范围，其中第二关节盂植入物不同于第一关节盂植入物。计算系统12002可根据本公开中其他位置提供来用于确定运动范围的实例中的任一者而确定运动范围。另外，计算系统12002可产生第二外科手术计划，使得第二外科手术计划指定使用第二关节盂植入物，而不是第一关节盂植入物。在一些实例中，第二运动范围大于第一运动范围。
如上文所提及，可视化装置12010可基于第二外科手术计划而呈现XR可视化。基于第二外科手术计划的XR可视化可包括各种类型的内容，诸如本公开中其他位置描述的术中MR内容中的任一者。例如，XR可视化可包括对应于骨科外科手术的步骤的符合第二外科手术计划的检查清单中的项目的一个或多个虚拟检查清单项目。在可视化是MR可视化的实例中，MR可视化可包括虚拟检查清单项目并且还包括真实世界对象的图像。在此类实例中，真实世界对象的图像可为如由外科医生通过可视化装置12010的透视的全息透镜所看到的或者如由外科医生在可视化装置12010的屏幕上所看到的患者和手术室的图像。
在一些实例中，系统12000可在外科医生偏离外科手术计划之前使得外科医生能够评定偏离外科手术计划的后果。例如，外科医生可能想要评定使用与外科手术计划中所指定不同的切割角度或深度、不同的扩孔深度，或不同的外科手术项目将会有什么后果，例如因为外科医生已发现一些骨赘、不同于预期的骨骼密度或其他因素。在系统12000使得外科医生能够评定偏离外科手术计划的后果的一些实例中，计算系统12002可在术中阶段306(图3)期间基于所提出的相对于外科手术计划的偏离而产生修改的外科手术计划。外科医生之后可能有机会在术中查阅所修改的外科手术计划。例如，可视化装置12010可基于所修改的外科手术计划而呈现XR可视化。在一些实例中，系统12000可确定偏离外科手术计划可能会导致的一个或多个运动范围。运动范围可基于历史病例的数据库中的数据，基于数学模型，基于神经网络模型或使用另一这类型的算法来确定。XR可视化可呈现运动范围。例如，系统12000可以相对于图11A和图11B描述的方式呈现由所修改的外科手术计划所导致的运动范围。
外科医生可以各种方式指定所提出的相对于外科手术计划的偏离。例如，在外科医生使用摆锯工具的实例中，外科医生可相对于由骨骼的外科手术计划指定的切割平面将摆锯工具保持在特定角度。在此实例中，外科医生之后可提供要求系统12000确定在所述特定角度处切割骨骼的后果的输入。例如，外科医生可提供陈述“如果我使用这个切割平面来代替会发生什么？”的语音命令。在外科医生使用钻孔工具的实例中，外科医生可发出指示外科医生建议如何改变钻孔的位置或深度的语音命令。类似地，在外科医生使用扩孔工具的情况下，外科医生可发出指示所提出的替代扩孔深度的语音命令。
当计算系统12002修改外科手术计划时，考虑到偏离外科手术计划所带来的约束，计算系统12002可能会尝试优化骨科外科手术的一个或多个外科手术参数。例如，计算系统12002可能会尝试优化预期运动范围，优化与皮质骨的接触，优化植入物与骨骼的高质量(例如，致密)部分的接触点或其他因素。这些因素可能会影响植入物的位置、植入物的柄大小、植入物的表面大小以及其他外科手术参数。另外，在一些实例中，当计算系统12002修改外科手术计划时，可为计算系统12002或另一个计算系统的一部分的处理装置8304(图83)可基于所修改的外科手术计划而识别下一个外科手术项目，并且在MR呈现中呈现标识下一个外科手术项目的虚拟信息。
本公开描述了使用诸如神经网络的人工智能(AI)技术来进行骨科分类和外科手术计划。在一些实例中，此类AI技术可在术前阶段302(图3)或外科手术生命周期的另一个阶段期间采用。包括深度神经网络(DNN)的人工神经网络(ANN)作为分类工具已显示出远大的前景。DNN包括输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。ANN和DNN还可包括一个或多个其他类型的层，诸如池化层。
每个层可包括一组人工神经元，它们往往被简称为“神经元”。输入层中的每个神经元从输入矢量接收输入值。输入层中的神经元的输出被提供为ANN中的下一个层的输入。在输入层之后的层的每个神经元可将传播函数应用于先前层的一个或多个神经元的输出以产生神经元的输入值。神经元之后可将激活函数应用于输入以计算激活值。神经元然后可将输出函数应用于激活值以产生神经元的输出值。ANN的输出矢量包括ANN的输出层的输出值。
存在与ANN在尤其是相对于肩部病理计划骨科外科手术中的应用相关联的若干挑战。例如，一些挑战涉及如何构建和训练ANN，使得ANN能够提供关于肩部病理的有意义的输出。在与ANN在计划骨科外科手术中的应用相关联的挑战的另一个实例中，可理解的是，患者和保健专业人员不愿意相信由计算机进行的决策，尤其是在不清楚计算机如何进行这些决策的情况下。因此存在与如何以有助于确保患者和保健专业人员能放心地相信ANN的输出的方式产生输出相关的问题。
本公开描述了可解决这些挑战并且提供ANN结构的技术，所述ANN结构提供关于肩部病理的有意义的输出。例如，诸如DNN的人工神经网络(ANN)具有输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。输入层包括多个输入层神经元。多个输入层神经元中的每个输入层神经元对应于多个输入元素中的不同的输入元素。输出层包括多个输出层神经元。
多个输出层神经元中的每个输出层神经元对应于多个输出元素中的不同的输出元素。多个输出元素中的每个输出元素对应于一个或多个肩部病理分类系统中的不同的分类。在此实例中，计算系统可从过去的肩部外科手术病例产生多个训练数据集。每个相应的训练数据集对应于多个训练数据型患者中的不同的训练数据型患者，并且包括相应的训练输入矢量和相应的目标输出矢量。
对于每个相应的训练数据集，相应的训练数据集的训练输入矢量包括用于多个输入元素中的每个元素的值。对于每个相应的训练数据集，相应的训练数据集的目标输出矢量包括用于多个输出元素中的每个元素的值。在此实例中，计算系统可使用多个训练数据集来训练神经网络。另外地，在此实例中，计算系统可获得对应于当前患者的当前输入矢量。计算系统可将DNN应用于当前输入矢量以产生当前输出矢量。计算系统之后可基于当前输出矢量而确定对当前患者的肩部疾患的分类，这也可被称为肩部分类。在一些情况下，分类是诊断。
在此实例中，通过使多个输出元素中的不同的输出元素对应于一个或多个肩部病理分类系统中的不同的类别，DNN可能能够提供可用于患者的肩部疾患的分类中的有意义的输出信息。例如，这在计算方面以及在训练时间方面可能比输出层中的神经元的不同值对应于不同类别的系统更高效。另外，在一些实例中，输出层中的神经元的输出值指示对患者的所分类的肩部疾患属于肩部病理分类系统中的一者中的对应类别的置信的量度。此类置信值可帮助用户考虑患者可能患有与由使用DNN的计算系统确定的类别不同的类别的肩部疾患的可能性。另外，使同一个输出层神经元的输出既表达置信级别，又用作用于确定患者的肩部疾患的分类(例如，诊断)的基础在计算方面可能是高效的。
图122是示出根据本公开的技术的实现可用于确定患者的肩部疾患的分类的DNN的示例计算系统12202的框图。计算系统12202可为骨科外科手术系统100(图1)的一部分。作为在图8的步骤802中对病理进行分类的一部分，计算系统12202可使用DNN来对患者的肩部疾患进行分类。在一些实例中，计算系统12202包括XR可视化装置(例如，MR可视化装置或VR可视化装置)，所述XR可视化装置包括执行计算系统12202的操作的一个或多个处理器。
如图122的实例中所示，系统10900包括计算系统12202、一组一个或多个客户端装置(统称为“客户端装置12204”)。在其他实例中，系统12200可包括更多、更少或不同的装置和系统。在一些实例中，计算系统12202和客户端装置12204可经由诸如互联网的一个或多个通信网络来通信。
计算系统12202可包括一个或多个计算装置。计算系统12202和客户端装置12204可包括各种类型的计算装置，诸如服务器计算机、个人计算机、智能手机、膝上型计算机以及其他类型的计算装置。在图122的实例中，计算系统12202包括一个或多个处理电路12206、数据存储系统12208以及一组一个或多个通信接口12210A至12210N(统称为“通信接口12210”)。数据存储装置12208被配置为存储数据。通信接口12210可使得计算系统12202能够与其他计算系统和装置，诸如客户端装置12204通信(例如，无线地或使用电线)。为了便于解释，本公开可将由处理电路12206、数据存储装置12208以及通信接口12210执行的动作描述为整体由计算系统10902执行。骨科外科手术系统100(图1)的一个或多个子系统可包括计算系统12202和客户端装置12204。例如，虚拟计划系统102可包括计算系统12202和客户端装置12204。
用户可使用客户端装置12204来访问由计算系统12202产生的信息。例如，计算系统12202可确定对当前患者的肩部疾患的分类。分类可由肩部病理分类系统中的多个肩部类别之中的某一肩部类别表示。在此实例中，用户可使用客户端装置12204来访问关于分类的信息。由于计算系统12202可能远离客户端装置12204，因此客户端装置12204的用户可将计算系统12202看成是在基于云的计算系统中。在其他实例中，计算系统12202的一些或所有功能可由客户端装置12204中的一者或多者执行。
计算系统12202可实现神经网络(NN)，诸如DNN。存储系统12208可包括一个或多个计算机可读数据存储介质。存储系统12208可存储NN的参数。例如，存储系统12208可存储NN的神经元的权重、NN的神经元的偏离值等等。
计算系统12202可基于NN的输出而确定对患者的肩部疾患的分类。根据本公开的技术，NN的输出元素包括对应于一个或多个肩部病理分类系统中的不同类别的输出元素。肩部病理分类系统可包括原发性盂肱骨关节炎分类系统、肩袖分类系统以及用于其他肩部病理的分类系统。例如，Walch分类系统和Favard分类系统是两种不同的原发性盂肱骨关节炎分类系统。Warner分类系统和Goutalier分类系统是两种不同的肩袖分类系统。在一些实例中，肩部病理分类系统可包括针对更一般肩部病理分类的类别，诸如以下项中的一者或多者：原发性盂肱骨性关节炎(PGHOA)、肩袖撕裂关节病(RCTA)不稳定、巨大肩袖撕裂(MRCT)、类风湿性关节炎、创伤后关节炎以及骨关节炎。
例如，Walch分类系统指定五个类别：1A、1B、2A、2B以及3。作为另一个实例，Favard分类系统指定五个类别：E0、E1、E2、E3以及E4。作为另一实例，Warner分类系统指定肩袖萎缩的四个类别：无、轻度、中度以及重度。作为另一实例，Goutalier分类系统指定五个类别：0(完全正常的肌肉)、I(一些脂肪条纹)、II(肌肉量大于脂肪浸润)、III(肌肉量等于脂肪浸润)、IV(脂肪浸润量大于肌肉)。
在一些实例中，计算系统12202可基于由NN产生的输出元素的值的比较而确定对患者的肩部疾患的分类。例如，输出元素的值可对应于置信值，所述置信值指示患者的肩部疾患属于对应于产生值的输出层神经元的类别的置信级别。例如，输出元素的值可为置信值，或者计算系统12202可基于输出元素的值而计算置信值。
在一些实例中，输出层神经元的输出函数产生置信值。另外，计算系统12202可识别置信值中的哪个置信值是最高的。在此实例中，计算系统12202可确定对应于最高置信值的肩部病理类别是当前患者的肩部疾患的分类。在一些实例中，如果置信值中没有一个高于阈值，则计算系统12202可产生指示计算系统12202无法进行明确分类的输出。
如上文所提及，在一些实例中，NN的输出元素包括置信值。在一个这样的实例中，置信值函数输出置信值。置信值函数可为NN的输出层神经元的输出函数。在此实例中，由置信值函数输出的所有可能的置信值都在预定范围内。另外，在此实例中，计算系统12202可将NN应用于输入矢量以产生输出矢量。作为应用NN的一部分，计算系统12202可针对多个输出层神经元中的每个相应的输出层神经元计算相应的输出层神经元的输出值。
计算系统12202之后可通过将相应的输出层神经元的输出值作为置信值函数的输入来应用置信值函数。置信值函数输出相应的输出层神经元的置信值。在此实例中，对于多个输出层神经元中的每个相应的输出层神经元，对应于相应的输出层神经元的输出元素指定相应的输出层神经元的置信值。另外，对于多个输出层神经元中的每个相应的输出层神经元，相应的输出层神经元的置信值是对当前患者的肩部疾患属于一个或多个肩部病理分类系统中对应于与相应的输出层神经元相对应的输出元素的类别的置信的量度。
计算系统12202可使用各种置信值函数。例如，计算系统12202可应用双曲正切函数、双弯曲函数或输出在预定范围内的值的另一种类型的函数。双曲正切函数(tanh)具有以下形式：γ(c)＝tanh(c)＝(ec-e-c)/(ec+e-c)。双曲正切函数采用实值自变数，诸如输出层神经元的输出值，并且将它们转换为范围(–1,1)。双弯曲函数具有以下形式：γ(c)＝1/(1+e-c)。双弯曲函数采用实值自变数，诸如输出层神经元的输出值，并且将它们转换为范围(0,1)。
计算系统12202可使用多个训练数据集来训练NN。每个相应的训练数据集可对应于多个先前分类的训练数据型患者中的不同的训练数据型患者。例如，第一训练数据集可对应于第一训练数据型患者，第二训练数据集可对应于第二训练数据型患者等等。训练数据集可对应于训练数据型患者，其意义在于训练数据集可包括关于患者的信息。训练数据型患者可为患有已分类的肩部疾患的真实患者。在一些实例中，训练数据型患者可包括模拟患者。
每个相应的训练数据集可包括相应的训练输入矢量和相应的目标输出矢量。对于每个相应的训练数据集，相应的训练数据集的训练输入矢量包括用于多个输入元素中的每个元素的值。换句话说，训练输入矢量可包括NN的每个输入层神经元的值。对于每个相应的训练数据集，相应的训练数据集的目标输出矢量可包括用于多个输出元素中的每个元素的值。换句话说，目标输出矢量可包括NN的每个输出层神经元的值。
在一些实例中，目标输出矢量中的值是基于置信值。此类置信值反过来可以是基于由一个或多个受过训练的保健专业人员，诸如骨科外科医生表达的置信级别。例如，可向受过训练的保健专业人员给出训练数据集的训练输入矢量中的信息(或者从中获得训练数据集的训练输入矢量的信息)，并且可能要求所述保健专业人员提供训练数据型患者患有属于肩部病理分类系统中的每一者中的每个类别的肩部疾患的置信级别。
例如，在肩部病理分类系统包括Walch分类系统的实例中，保健专业人员可指示她对训练数据型患者的肩部疾患属于类别A1的置信级别为0(意味着她完全不相信训练数据型患者的肩部疾患属于类别A1)，指示她对训练数据型患者的肩部疾患属于类别A2的置信级别为0；指示她对训练数据型患者的肩部疾患属于类别B1的置信级别为0.75(意味着她十分相信训练数据型患者的肩部疾患属于类别B1)；指示她对训练数据型患者的肩部疾患属于类别B2的置信级别为0.25(意味着她认为训练数据型患者的肩部疾患属于类别B2的可能性很小)；并且可指示她对训练数据型患者的肩部疾患属于类别C的置信级别为0。在一些实例中，计算系统12202可将置信值函数的反函数应用于由保健专业人员提供的置信值以产生包括在目标输出矢量中的值。在一些实例中，由保健专业人员提供的置信值是目标输出矢量中所包括的值。
不同的保健专业人员可具有对相同的训练数据型患者患有属于肩部病理分类系统中的每一者中的每个类别的肩部疾患不同的置信级别。因此，在一些实例中，目标输出矢量中的值所依据的置信值可为平均值，或者以其他方式从由多个保健专业人员提供的置信级别确定。
在一些此类实例中，一些保健专业人员的置信级别在置信级别的加权平均中可能会被给予比其他保健专业人员的置信级别更大的权重。例如，优秀的骨科外科医生的置信级别可能会被给予比其他骨科外科医生的置信级别更大的权重。在另一个实例中，特定区域或医院中的保健专业人员或训练数据型患者的置信级别可能会被给予比来自其他区域或医院的保健专业人员或训练数据型患者的置信级别更大的权重。有利地，这种加权平均可允许NN根据各种标准和偏好来调节。
例如，保健专业人员可能偏好使用已被训练成使得置信级别以特定方式加权的NN。在训练数据集包括基于保健专业人员的自身的病例的训练数据集的一些实例中，保健专业人员(例如，骨科外科医生)可能偏好使用某种NN，所述NN使用保健专业人员的自身的病例被更重地加权或唯一地使用保健专业人员的自身的病例加权的训练数据集来训练。以此方式，NN可产生与保健专业人员的自身的执业风格相符的输出。此外，如上文所提及，保健专业人员和患者可能很难相信计算系统的输出。因此，在一些实例中，计算系统12202可提供指示NN被训练来对保健专业人员自身和/或特别受信任的骨科外科医生的决策进行模拟的信息。
在一些实例中，不同的保健专业人员对相同的训练数据型患者的置信级别可用于产生不同的训练数据集。例如，第一保健专业人员相对于特定训练数据型患者的置信级别可用于产生第一训练数据集，并且第二保健专业人员相对于相同的训练数据型患者的置信级别可用于产生第二训练数据集。
另外，在一些实例中，计算系统12202可提供用于输出到一个或多个用户的置信值。例如，计算系统12202可向客户端装置12204提供置信值以向一个或多个用户显示。以此方式，一个或多个用户可能能够更好地理解计算系统12202可能是如何得出对患者的肩部疾患的分类。
在一些实例中，为了扩展训练数据集的范围，计算系统12202可自动地从电子医疗记录产生置信值。例如，在一个实例中，患者的电子医疗记录可包括计算系统12202可形成输入矢量的数据，并且可包括指示外科医生对患者的肩部疾患的分类的数据。在此实例中，计算系统12202可从分类推测默认置信级别。默认置信级别可具有各种值(例如，0.75、0.8等)。虽然这种默认置信级别可能并未反映外科医生的实际置信级别，但是输入置信级别可帮助增加可用训练数据集的数量，这可提高NN的准确度。
在一些实例中，训练数据集基于训练数据型患者的健康结果而进行加权。例如，如果与训练数据集相关联的训练数据型患者全都具有积极的健康结果，则训练数据集可被给予更高的权重。然而，如果相关联的训练数据型患者具有不太积极的健康结果，则训练数据集可被给予更低的权重。在训练期间，计算系统12202可使用基于给予训练数据集的权重而对训练数据集进行加权的损失函数。
在一些实例中，作为产生训练数据集的一部分，计算系统12202可基于一个或多个训练数据集选择标准而从训练数据集的数据库选择多个训练数据集。换句话说，如果训练数据集不满足训练数据集选择标准，则计算系统12202可将某些训练数据集从NN的训练过程中排除。在图122的实例中，数据存储系统12208存储数据库12212，所述数据库12212包含来自过去的肩部外科手术病例的训练数据集。
可能存在各种各样的训练数据集选择标准。例如，在一个实例中，一个或多个训练数据集选择标准可包括由哪个外科医生对多个训练数据型患者进行手术。在一些实例中，一个或多个训练数据集选择标准包括训练数据型患者生活的区域。在一些实例中，一个或多个训练数据集选择标准包括与一个或多个外科医生相关联的区域(例如，一个或多个外科医生执业、生活、持证上岗、训练等所在的区域)。
在一些实例中，一个或多个训练数据集选择标准包括训练数据型患者的术后健康结果。在此类实例中，训练数据型患者的术后健康结果可包括以下项中的一者或多者：术后运动范围、术后感染的存在或术后疼痛。因此，在此类实例中，训练NN所依据的训练数据集可排除出现不良健康结果的训练数据集。
可随时间的推移而将额外的训练数据集添加到数据库，并且计算系统12202可使用额外的训练数据集来训练NN。因此，随着更多的训练数据集被添加到数据库，NN可随时间的推移而持续改进。
计算系统12202可应用各种技术中的一种以使用训练数据集来训练NN。例如，计算系统12202可使用本领域中已知的各种标准反向传播算法中的一者。例如，作为训练NN的一部分，计算系统12202可应用成本函数以基于由NN产生的输出矢量与目标输出矢量之间的差异而确定成本值。计算系统12202之后可将成本值用于反向传播算法中以更新神经元在NN中的权重。
图123示出了可针对图122的系统通过计算系统12202实现的示例NN 12300。在图123的实例中，NN 12300包括输入层12302、输出层12304以及在输入层12302与输出层12304之间的一个或多个隐藏层12306。在图123的实例中，神经元表示为圆圈。尽管在图123的实例中，每个层被示出为包括六个神经元，但是NN 12300中的层可包括更多或更少的神经元。另外，尽管NN 12300在图123中被示出为是完全连接的网络，但是NN 12300可具有不同的架构。例如，NN 12300可能不是完全连接的网络，可能具有一个或多个卷积层或者可能另外具有不同于图123所示的架构。
在一些实现方式中，NN 12300可为或包括一个或多个人工神经网络(也被简称为神经网络)。神经网络可包括一组连接节点，所述连接节点也可被称为神经元或感知器。神经网络可被组织成一个或多个层。包括多个层的神经网络可被称为“深度”网络。深度网络可包括输入层、输出层以及定位在输入层与输出层之间的一个或多个隐藏层。神经网络的节点可为连接的或不完全连接的。
NN 12300可为或包括一个或多个前向馈送神经网络。在前向馈送网络中，节点之间的连接不形成循环。例如，每个连接可将前面层的节点连接到稍后层的节点。
在一些情况下，NN 12300可为或包括一个或多个递归神经网络。在一些情况下，递归神经网络的节点中的至少一些可形成循环。递归神经网络可能尤其可用于处理实际上有顺序的输入数据。特别地，在一些情况下，递归神经网络可通过使用递归或有向循环节点连接来将来自输入数据序列的先前部分的信息传递到输入数据序列的后续部分，或者保留所述信息。
在一些实例中，顺序的输入数据可包括时间序列数据(例如，随时间变化的传感器数据或在不同时间捕获的影像)。例如，递归神经网络可对随时间变化的传感器数据进行分析以检测或预测滑动方向，以执行手写辨别等。顺序的输入数据可包括句子中的字词(例如，以用于自然语言处理、语音检测或处理等)；音乐作品中的音符；由用户采取的顺序动作(例如，以检测或预测顺序的应用使用)；顺序的对象状态等。示例递归神经网络包括长短期(LSTM)递归神经网络；门控递归单元；双向递归神经网络；连续时间递归神经网络；神经历史压缩器；回声状态网络；Elman网络；Jordan网络；递归神经网络；Hopfield网络；完全递归网络；序列到序列配置等。
在一些实现方式中，NN 12300可为或包括一个或多个卷积神经网络。在一些情况下，卷积神经网络可包括使用所习得的滤波器对输入数据执行卷积的一个或多个卷积层。滤波器也可被称为内核。卷积神经网络可能尤其可用于视觉问题，诸如在输入数据包括影像，诸如静止图像或视频的情况下。然而，卷积神经网络也可应用于自然语言处理。
NN 12300可为或包括一个或多个其他形式的人工神经网络，例如像深度波尔兹曼机；深度信念网络；堆叠自编码器等。本文描述的神经网络中的任一者可组合(例如，堆叠)来形成更复杂的网络。
在图123的实例中，输入矢量12308包括多个输入元素。输入元素中的每一者可为数值。输入层12302包括多个输入层神经元。输入层12302中所包括的多个输入层神经元中的每个输入层神经元可对应于多个输入元素中的不同的输入元素。换句话说，输入层12302可包括用于输入矢量12308中的每个输入元素的不同的神经元。
另外，在图123的实例中，输出矢量12310包括多个输出元素。输出元素中的每一者可为数值。输出层12304包括多个输出层神经元。多个输出层神经元中的每个输出层神经元对应于多个输出元素中的不同的输出元素。换句话说，输出层12304中的每个输出层神经元对应于输出矢量12310中的不同的输出元素。
输入矢量12308可包括各种各样的信息。例如，输入矢量12308可包括患者的形态学测量值。在输入矢量12308包括患者的形态的测量值的一些实例中，输入矢量12308可基于患者的医疗图像，诸如CT图像、MRI图像、或其他类型的图像而确定测量值。例如，计算系统12202可获得当前患者的医疗图像。例如，计算系统12202可从成像机器(例如，CT机、MRI机或其他类型的成像机器)、患者的电子医疗记录或另一个数据源获得医疗图像。在此实例中，计算系统12202可分割医疗图像以识别当前患者的内部结构，诸如软组织和骨骼。例如，在一个实例中，计算系统12202可应用人工神经网络，所述人工神经网络被训练来识别医疗图像的对应于骨骼或软组织的部分。另外，在此实例中，计算系统12202可基于当前患者的所识别的内部结构的相对位置而确定多个测量值。在此实例中，多个输入元素可包括用于多个测量值中的每个测量值的输入元素。
如本公开中其他位置所提及，计算系统12202可包括一个或多个计算装置。因此，计算系统12202的各种功能可由计算系统12202的计算装置的各种组合执行。例如，在一些实例中，计算系统12202的第一计算装置可分割图像，计算系统12202的第二计算装置可训练DNN，计算系统12202的第三计算装置可应用DNN等等。在其他实例中，计算系统12202的单个计算装置可分割图像，训练DNN并且应用DNN。
如上文所提及，计算系统12202可确定患者的形态特性的多个测量值。此类测量值可包括距离测量值、角度测量值、以及患者的结构中和/或之间的可测量关系的其他类型的数值表征。例如，测量值可包括与以下项中的一者或多者相关的值的任何组合：
·关节盂扭转：关节盂关节表面的轴相对于肩胛骨的横向轴的角度取向；
·关节盂倾斜：关节盂相对于肩胛骨的上/下倾斜度。
·关节盂取向/方向：关节盂在三维空间中的三维取向。
·关节盂最佳拟合球面半径：患者的关节盂的最佳拟合球面的半径。最佳拟合球面是被设定大小，使得球面的扇区坐设于与患者的关节盂尽可能齐平之处的概念性球面。
·关节盂最佳拟合球面均方根误差：患者的关节盂与最佳拟合球面的扇区之间的差异的均方误差。
·反向肩部角度：关节盂的下部部分的倾斜度。
·临界肩部角度：关节窝的平面与接至肩峰的最下侧点的连接线之间的角度。
·肩峰肱骨空间：肩峰与肱骨的顶部之间的空间。
·关节盂肱骨空间：关节盂与肱骨之间的空间。
·肱骨扭转：肱骨取向与上髁轴之间的角度。
·肱骨颈干角度：肱骨解剖颈法向矢量与髓内轴之间的角度。
·肱骨头最佳拟合球面半径和均方根误差：患者的肱骨的头部的最佳拟合球面的半径。最佳拟合球面是被设定大小，使得球面的扇区尽可能匹配肱骨头的表面的概念性球面。均方根误差指示最佳拟合球面与患者的实际肱骨头之间的误差。
·肱骨半脱位：对肱骨相对于关节盂的半脱位的量度。
·肱骨取向/方向：肱骨头在三维空间中的取向。
·患者的肱骨的骨骺的测量值，
·患者的肱骨的干骺端的测量值，
·患者的肱骨的骨干的测量值，
·骨骼的后倾。
在一些实例中，输入矢量12308可包括基于患者的肩袖评定的信息(例如，与本文描述的零或多个其他示例类型的输入数据组合)。例如，输入矢量12308可包括(单独包括或与上文描述的形态输入组合)关于肩袖的脂肪浸润、肩袖的萎缩的信息和/或与患者的肩袖相关的其他信息。在一些实例中，例如可通过如本申请中所描述的软组织建模技术中的任一种来获得用作神经网络的输入的软组织的脂肪浸润量度和萎缩量度。在一些实例中，关于患者的肩袖的信息可在诸如Warner分类系统或Goutalier分类系统的肩部病理分类系统中的类别方面进行表达。
在一些实例中，输入矢量12308可包括患者运动范围信息(例如，与本文描述的零或多个其他示例类型的输入数据组合)。在一些实例中，如本公开中其他位置所描述，患者运动范围信息可使用运动跟踪装置来产生。
另外，在一些实例中，输入矢量12308可包括指定一个或多个肩部病理分类系统中的类别的信息(例如，与本文描述的零或多个其他示例类型的输入数据组合)。在此类实例中，输出矢量可包括对应于一个或多个不同的肩部病理分类系统中的类别的输出元素。例如，输入矢量12308可包括指定肩袖分类系统中的类别的信息，并且输出矢量12310可包括对应于盂肱骨关节炎分类系统中的类别的输出元素。
在一些实例中，输入矢量12308可包括指定肱骨和/或关节盂的骨骼密度评分的信息(例如，与本文描述的零或多个其他示例类型的输入数据组合，所述输入数据包括形态输入和/或肩袖输入)。输入矢量12308中所包括的其他信息可包括人口统计信息，诸如患者年龄、患者活动、患者性别、患者身体质量指数(BMI)等等。在一些实例中，输入矢量12308可包括关于症状的发作速度的信息(例如，逐渐或突然发作)。输入矢量12308中的多个输入元素还可包括患者参与活动的目的，诸如特定练习/运动类型、运动范围等。
图124是示出根据本公开的技术的由计算系统12202使用DNN来确定肩部疾患的分类的示例操作的流程图。在图124的实例中，计算系统12202从过去的肩部外科手术病例产生多个训练数据集(12400)。在一些实例中，产生多个训练数据集包括从历史肩部病例的数据库检索所选训练数据集。在图124的实例中，诸如NN 12300(图123)的NN具有输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。输入层包括多个输入层神经元。多个输入层神经元中的每个输入层神经元对应于多个输入元素中的不同的输入元素。输出层包括多个输出层神经元。多个输出层神经元中的每个输出层神经元对应于多个输出元素中的不同的输出元素。多个输出元素中的每个输出元素对应于一个或多个肩部病理分类系统中的不同的类别。
每个相应的训练数据集对应于来自过去的肩部外科手术病例的多个训练数据型患者中的不同的训练数据型患者，并且包括相应的训练输入矢量和相应的目标输出矢量。对于每个相应的训练数据集，相应的训练数据集的训练输入矢量包括用于多个输入元素中的每个元素的值。对于每个相应的训练数据集，相应的训练数据集的目标输出矢量包括用于多个输出元素中的每个元素的值。
另外，在图124的实例中，计算系统12202使用多个训练数据集来训练NN(12402)。另外地，计算系统12202可获得对应于当前患者的当前输入矢量(12404)，所述当前输入矢量例如包括如上所述的各种患者输入的组合。计算系统12202可将NN应用于当前输入矢量来产生当前输出矢量(12406)。例如，计算系统12202可向NN的输入层提供当前输入矢量，并且可通过NN执行前向传播以产生当前输出矢量。
另外，计算系统12202可基于当前输出矢量而确定对当前患者的肩部疾患的分类(12408)。在一些实例中，对当前患者的肩部疾患的分类可为诊断。如上文所讨论，肩部疾患可通过所选肩部分类系统中的分类来表达。此外，肩部疾患可能会伴有置信量度、值或其他指示。计算系统12202可根据本公开中其他位置提供的实例中的任一者或实例的组合来执行这些动作。
保健专业人员可以各种方式使用对肩部疾患的分类。例如，外科医生可使用分类来选择对患者执行的外科手术的类型。在一些实例中，外科医生可使用分类来选择外科手术项目(例如，植入物、工具等)以使用来对患者执行外科手术。在一些实例中，物理治疗师或其他保健专业人员可使用分类来确定患者的康复计划。
在一个实例中，本公开涉及使用诸如神经网络的人工智能技术来进行骨科外科手术计划，包括外科手术类型选择。在先研究尚未解决关于如何构建和训练NN，使得NN能够提供关于肩部病理的有意义的输出的问题，在先研究尚未解决关于如何构建和训练NN，使得NN能够提供关于对患者执行哪种类型的肩部外科手术的有意义的输出的问题。肩部外科手术的示例类型可包括标准全肩关节置换术和反向肩关节置换术。在与NN在计划骨科外科手术中的应用相关联的挑战的另一个实例中，可理解的是，患者和保健专业人员不愿意相信由计算机进行的决策，尤其是在不清楚计算机如何进行这些决策的情况下。因此存在与如何以有助于确保患者和保健专业人员能放心地相信NN的输出的方式产生输出相关的问题。
本公开描述了可解决这些挑战并且可提供NN结构的技术，所述NN结构提供关于患者的肩部外科手术的推荐类型的有意义的输出。根据本公开的技术，NN(例如，DNN)可具有输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。输入层包括多个输入层神经元。多个输入层神经元中的每个输入层神经元对应于多个输入元素中的不同的输入元素。输出层包括多个输出层神经元。多个输出层神经元中的每个输出层神经元对应于多个输出元素中的不同的输出元素。多个输出元素包括多个外科手术类型输出元素。
根据本公开的技术，多个外科手术类型输出元素中的每个外科手术类型输出元素对应于多种类型肩部外科手术中的不同类型的肩部外科手术。另外，根据本技术，计算系统可产生多个训练数据集。每个相应的训练数据集对应于多个训练数据型患者中的不同的训练数据型患者，并且包括相应的训练输入矢量和相应的目标输出矢量。对于每个相应的训练数据集，相应的训练数据集的训练输入矢量包括用于多个输入元素中的每个元素的值。对于每个相应的训练数据集，相应的训练数据集的目标输出矢量包括用于多个输出元素中的每个元素的值。计算系统可使用多个训练数据集来训练NN。
另外地，计算系统可获得对应于当前患者的当前输入矢量。计算系统可将NN应用于当前输入矢量以产生当前输出矢量。另外地，计算系统可基于当前输出矢量而确定当前患者的肩部外科手术的推荐类型。作为在图8的步骤804中针对患者选择外科手术计划的一部分，计算系统可使用NN来确定当前患者的肩部外科手术的推荐类型。
在此实例中，通过使多个输出元素中的不同的输出元素对应于不同肩部类型的肩部外科手术，NN可能能够提供可用于选择将用于治疗患者的肩部疾患的肩部外科手术类型中的有意义的输出信息。另外，在一些实例中，输出层中的神经元的输出值指示对患者应接受特定类型的肩部外科手术的置信的量度。此类置信值可帮助用户考虑患者替代地应接受不同类型的肩部外科手术的可能性。另外，使同一个输出层神经元的输出既表达置信级别，又用作用于对患者推荐特定类型的肩部外科手术的基础在计算方面可能是高效的。
图125是示出根据本公开的技术的用于使用NN来确定对肩部疾患的推荐外科手术的计算系统12500的示例功能部件的框图。计算系统12500可以与计算系统12202(图122)相同的方式实现，并且可形成骨科外科手术系统100(图1)的一部分。在一些实例中，同一个计算系统扮演计算系统12202和计算系统12500两者的角色。在一些实例中，计算系统12500包括XR可视化装置(例如，MR可视化装置或VR可视化装置)，所述XR可视化装置包括执行计算系统12500的操作的一个或多个处理器。
在图125的实例中，计算系统12500包括NN 12502和存储系统12504。存储系统12504可存储数据库12506。NN 12502可以类似于图123的NN 12300的方式实现。也就是说，NN 12502可包括输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。此外，NN12502的输入层的多个输入层神经元中的每个输入层神经元可对应于输入矢量中的多个输入元素中的不同的输入元素。NN 12502的输出层中的多个输出层神经元中的每个输出层神经元可对应于输出矢量中的多个输出元素中的不同的输出元素。然而，NN 12502可具有不同的参数，诸如不同数量的隐藏层、输入层中的不同数量的神经元、输出层中的不同数量的神经元等等。
存储系统12504可包括一个或多个计算机可读数据存储介质。存储系统12504可存储NN 12502的参数。例如，存储系统12504可存储NN 12502的神经元的权重、NN 12502的神经元的偏离值等等。类似于数据库12212，数据库12506可包含来自过去的肩部外科手术病例的训练数据集。
计算系统12500可将NN 12502应用于输入矢量以产生输出矢量。例如，NN 12502的输出层可包括(并且在一些实例中不限于)多个输出层神经元。输出层神经元中的每一者可对应于多个外科手术类型输出元素中的不同的输出元素。输出矢量可包括多个外科手术类型输出元素。外科手术类型输出元素中的每一者可对应于不同类型的肩部外科手术。可表示为输出的肩部外科手术类型的示例类型可包括无柄标准全肩关节置换术、有柄标准全肩关节置换术、无柄反向肩关节置换术、有柄反向肩关节置换术、增强型关节盂标准全肩关节置换术、增强型关节盂反向肩关节置换术以及其他类型的骨科肩部外科手术。肩部外科手术可为“标准的”，其意义在于在外科手术之后，患者的肩关节具有标准解剖构型，其中肩关节的肩胛骨侧具有凹入表面并且肩部外科手术的肱骨侧具有凸出表面。另一方面，“反向”肩部外科手术带来相反的构型，其中凸出表面附接到肩胛骨并且凹入表面附接到肱骨。在一些实例中，肩部外科手术类型的类型包括对患者的肩部的多种修正外科手术。关于患者的肩部的修正外科手术的实例包括…
另外地，计算系统12500可基于当前输出矢量而确定对患者的肩部外科手术的推荐类型。例如，计算系统12500可确定输出矢量中的哪个输出元素对应于具有最大置信值的肩部外科手术类型。
NN 12502的输入矢量可包括上文相对于计算系统12202和NN 12300描述的输入元素中的一些、组合或全部。例如，输入元素可包括以下项中的一者或多者：患者的形态特性的测量值(包括软组织建模和骨骼建模)、关于患者的人口统计信息、关于患者的运动范围信息等等。另外，用于训练NN 12502中的训练数据集可根据上文相对于用于对患者的肩部疾患进行分类的NN提供的实例来选择和产生。例如，训练数据集可基于一个或多个训练数据集选择标准而选择。如本公开中其他位置所描述，这种训练数据集选择标准可包括哪个外科医生对多个训练数据型患者进行手术、训练数据型患者生活所在的区域、与一个或多个外科医生相关联的区域、训练数据型患者的术后健康结果等等。NN 12502可以类似于上文相对于用于对患者的肩部疾患进行分类的NN提供的实例的方式来训练。例如，NN 12502的训练数据集的目标输出矢量可包括指示对应对患者执行特定类型的肩部外科手术的置信级别的输出元素。
图126是示出根据本公开的技术的使用NN来确定对患者的肩部外科手术的推荐类型的计算系统的示例操作的流程图。在图126的实例中，计算系统12500产生多个训练数据集(12600)。在此实例中，NN具有输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。输入层包括多个输入层神经元。多个输入层神经元中的每个输入层神经元对应于多个输入元素中的不同的输入元素。输出层包括多个输出层神经元。
多个输出层神经元中的每个输出层神经元对应于多个输出元素中的不同的输出元素。多个输出元素包括多个外科手术类型输出元素。多个外科手术类型输出元素中的每个外科手术类型输出元素对应于多种类型肩部外科手术中的不同类型的肩部外科手术。每个相应的训练数据集对应于多个训练数据型患者中的不同的训练数据型患者，并且包括相应的训练输入矢量和相应的目标输出矢量。对于每个相应的训练数据集，相应的训练数据集的训练输入矢量包括用于多个输入元素中的每个元素的值。对于每个相应的训练数据集，相应的训练数据集的目标输出矢量包括用于多个输出元素中的每个元素的值。
另外，在图126的实例中，计算系统12500使用多个训练数据集来训练NN(12602)。另外地，计算系统12500可获得对应于当前患者的当前输入矢量(12604)。计算系统12500可将NN应用于当前输入矢量来产生当前输出矢量(12606)。计算系统12500可基于当前输出矢量而确定对当前患者的肩部外科手术的推荐类型(12608)。计算系统12500可根据本公开中其他位置提供的实例来执行这些活动。
尽管上文已经在用于计划和实现肩部的外科修复手术的系统的背景下描述了MR系统212，但是MR系统212的应用不限于此。例如，MR系统212和增强外科手术模式可用于促成对其他关节的置换或者对其他骨骼的修复或重建。因此，上文描述的任何特征可用于协助任何骨科外科手术，包括但不限于涉及肘部、脚踝、膝盖、臀部或脚的手术。还应理解，MR系统212以及其特征可用于使用外部固定装置来固定或修复骨骼的外科手术中，诸如涉及脚的Charcot手术。另外，MR系统212以及其特征不限于仅涉及骨骼结构的应用。作为一个实例，由于某些类型的诸如CT图像和MRI图像的图像数据可提供与包括皮肤的软组织结构有关的信息，因此MR系统212可用于使最佳切口位置可视化并定位所述最佳切口位置，并且因此可进一步增强微创外科手术。
MR系统212以及其增强外科手术特征的使用不限于外科医生或其他护理提供者的使用。作为一个实例，由MR系统212产生的包括配准和跟踪的信息可用于控制可能存在于手术环境中的机械臂。
MR系统212可为用于增强外科手术结果的高级外科手术系统的一个部件。除了虚拟预先计划和用于执行外科手术的混合现实的使用之外，植入物可包括用于在外科手术之后提供信息的各种传感器、以及有助于收集传感器所采集的数据的收发器(例如，RF收发器)。例如，这种数据可用于监测患者的恢复并且协助患者的恢复(例如，通过诸如经由安装在由患者使用的移动装置上的应用程序提示患者移动关节，作为一个实例)。由传感器采集的数据还可输入到数据库中，其中可由外科医生或人工智能系统使用所述数据来协助计划将来的外科手术病例。
尽管已相对于肩关节修复外科手术提供了本公开的许多实例，但是本公开的许多技术可适用于其他类型的骨科外科手术。例如，本公开的许多技术可能可适用于脚踝外科手术(例如，全踝关节置换术)。在全踝关节置换术的实例中，外科医生可执行远侧胫骨切割、近侧跟骨切割以及两种其他内侧/外侧切割。为此，外科医生可能需要将切割引导件放置在脚踝关节上。切割引导件被放置成使得切口将垂直于胫骨的力轴。切割引导件的放置之后通过相对于三个解剖平面(轴向、矢状和冠状平面)调整三个角度来细化。外科医生可使用切割夹具来执行这些切割，或者可使用摆锯来直接执行这些切割。接着，外科医生执行前后距骨斜切切割。
上文相对于切割和钻孔提供的许多实例可适用于在全踝关节置换术期间执行的切割和钻孔操作。例如，在术前阶段302(图3)和术中阶段306(图3)期间，骨科外科手术系统100(图1)可提供包括患者的脚踝解剖结构的患者特定虚拟3D模型的XR可视化(例如，MR可视化或VR可视化)。这可有助于外科医生计划并执行全踝关节置换术。
另外，在全踝关节置换术的术中阶段306(图3)期间，MR系统212的可视化装置213可呈现包括虚拟引导的MR可视化，诸如帮助外科医生执行精确切割，钻孔以及定位或放置假体部件的虚拟切割平面、虚拟钻孔轴和虚拟进入点。例如，MR可视化可包括用于远侧胫骨切割、近侧跟骨切割等等的切割平面。在一个实例中，用于脚踝关节置换术的假体植入物部件可包括距骨圆顶状物、胫骨托架以及相关联的栓柱或其他锚固部件。此外，可在全踝关节置换术的背景下使用类似于本公开中其他位置相对于肩部修复外科手术所描述的配准过程。例如，代替使用关节盂的中心作为用于将虚拟3D模型与患者的真实解剖结构对准的界标，可使用患者的脚踝上的另一个界标(例如，胫骨的底部)。
图150是示出脚踝关节修复外科手术的示例阶段的流程图。外科医生可在图150的外科手术过程的一些或所有步骤期间佩戴或以其他方式使用可视化装置，诸如可视化装置213。在其他实例中，脚踝外科手术可包括更多、更少或不同的步骤。例如，脚踝外科手术可包括用于添加粘固剂的步骤和/或其他步骤。在一些实例中，可视化装置213可呈现虚拟引导来引导外科医生、护士或其他用户完成外科手术工作流中的步骤。
在图150的实例中，外科医生执行切开过程(15002)。在切开过程期间，外科医生切开一系列切口以暴露患者的脚踝关节(例如，暴露患者的胫骨的至少一部分以及患者的距骨的至少一部分)。在一些实例中，MR系统(例如，MR系统212、MR系统1800A等)可例如通过显示示出如何和/或在何处切出切口的虚拟引导影像来帮助外科医生执行切开过程。如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定执行切开过程的当前步骤的检查清单项目的虚拟检查清单。
外科医生可在由可视化装置213呈现给外科医生的视场中执行配准过程，所述配准过程将虚拟胫骨对象与患者的实际胫骨骨骼配准(15004)。例如，MR系统212可从图2的存储系统206获得虚拟胫骨对象。类似于上文讨论的虚拟关节盂对象，虚拟胫骨对象可基于患者的胫骨的术前成像(例如，CT成像)而产生。MR系统212可使用任何合适的过程来执行配准。例如，MR系统212可使用上文参考图20A至图31讨论的任何配准技术来执行虚拟胫骨对象与患者的实际胫骨骨骼的配准。如上文所讨论，配准可产生虚拟胫骨对象与患者的实际胫骨骨骼之间的变换矩阵。如上文所讨论，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。例如，MR系统212可使可视化装置213显示示出将如何执行配准过程的简图或动画。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定将虚拟胫骨对象与患者的实际胫骨骨骼配准的当前步骤的检查清单项目的虚拟检查清单。
外科医生可执行各种工作步骤来准备胫骨骨骼(15006)。准备胫骨骨骼的示例工作步骤包括但不限于：将一个或多个引导销安装到胫骨骨骼中、在胫骨骨骼中钻出一个或多个孔和/或将一个或多个引导件附接到胫骨骨骼。MR系统212可提供虚拟引导来协助外科医生进行准备胫骨骨骼的各种工作步骤。如上文所讨论，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。例如，MR系统212可使可视化装置213显示示出将如何准备胫骨的简图或动画。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定准备胫骨骨骼的当前步骤或一系列步骤的检查清单项目的虚拟检查清单。
图151A和图151B是示出引导销到胫骨的示例附接的概念图。切开过程可暴露脚踝15100的胫骨15102、腓骨15110和距骨15108的至少一部分。在执行切开过程之后，外科医生可将引导销15104A、15104B、15106A和15106B安装到胫骨15102中。
在一些实例，诸如图151B的实例中，外科医生可使用物理引导件来安装引导销15104A、15104B、15106A和15106B。例如，外科医生可将胫骨引导件15112放置在胫骨15102上，并且利用胫骨引导件15112中的一个或多个孔来引导安装引导销15104A、15104B、15106A和15106B。在一些实例中，胫骨引导件15112可为患者特定引导件，所述患者特定引导件被制造成具有被设计为与胫骨15102的轮廓相符合的表面。这种患者特定引导件的一个实例是由Wright Medical Group N.V.生产的
Figure BDA0002943711310002481
全踝系统的Prophecy胫骨对准引导件。
作为对胫骨引导件15112的补充或取代，MR系统212可提供虚拟引导来协助外科医生安装引导销15104A、15104B、15106A和15106B。例如，可视化装置213可显示引导外科医生安装引导销的虚拟标记。可视化装置213可以标记覆盖在胫骨15102上的外观显示所述标记(例如，以指示将安装引导销的位置和/或取向)。虚拟标记可为在胫骨15102的某一点处的引导外科医生安装引导销的虚拟轴(例如，类似于图34的轴3400)。例如，如图151A所示，可视化装置213可显示虚拟轴15114A、15114B、15116A和15116B以相应地引导例如沿着轴安装引导销15104A、15104B、15106A和15106B。虽然虚拟轴15114A、15114B、15116A和15116B在图151A中被示出为以类似于图151B的引导销15104A、15104B、15106A和15106B的外观显示，但是引导安装引导销(例如，引导销15104A、15104B、15106A和15106B)的虚拟标记的显示不限于此。MR系统212可显示的虚拟标记的其他实例包括但不限于轴、箭头、点、圆圈、环、多边形、X形状、十字形、靶或者任何其他形状或形状组合。MR系统212可以静止特征或以各种动画或其他效果显示虚拟标记。
取决于是否也使用物理引导件，MR系统212可利用不同类型的虚拟标记。作为一个实例，在图151B的使用胫骨引导件15112的实例中，MR系统212可利用箭头来引导将安装的引导销的安装。如图151B所示，可视化装置213可显示箭头以引导经由胫骨引导件15112的特定孔安装引导销15106A。作为另一个实例，在图151A的不使用胫骨引导件15112的实例中，MR系统212可利用虚拟轴来引导安装引导销。如图151A所示，可视化装置213可显示虚拟轴15116A来引导安装引导销15106A。
在将安装多个引导销的实例中，可视化装置213可显示用于每个引导销的相应的虚拟标记。在图151的实例中，可视化装置213可显示多个虚拟标记来引导安装引导销15104A、15104B、15106A和15106B。在一些实例中，可视化装置213可同时显示虚拟标记。例如，可视化装置213可同时显示虚拟轴15114A、15114B、15116A和15116B，例如以用于引导销的对准。在其他实例中，可视化装置213可在特定时间显示少于所有虚拟标记的虚拟标记。例如，可视化装置213可顺序地显示虚拟标记。作为一个实例，在第一时间，可视化装置213可显示引导安装第一引导销(例如，引导销15104A)的第一虚拟标记。在第一时间之后(例如，在引导销15104A已被安装之后)的第二时间，可视化装置213可显示引导安装第二引导销(例如，引导销15104B)的第二虚拟标记。换句话说，响应于确定引导销15404A已被安装，可视化装置213可停止显示引导安装引导销15404A的虚拟标记，并且显示待安装的下一个引导销的虚拟标记。可视化装置213可继续顺序地显示虚拟标记，直到所有必要的引导销都被安装为止(例如，直到引导销15104A、15104B、15106A和15106B都被安装为止)。以此方式，MR系统212可显示各自具有从虚拟外科手术计划获得的参数的多个虚拟轴，虚拟轴中的每一者被配置为引导将多个销中的相应的引导销安装在胫骨中。
MR系统212可以特定颜色显示虚拟标记。例如，在一些实例中，MR系统212可优选地以除红色之外的颜色，诸如绿色、蓝色、黄色等显示虚拟标记。以除红色之外的一种或多种颜色显示虚拟标记可提供一种或多种益处。例如，由于血液显现为红色并且血液可能存在于目标解剖结构之上或周围，因此红色着色的虚拟标记可能是不可见的。
在一些实例中，诸如在可视化系统213同时显示多个虚拟标记的情况下，可视化系统213可在外科医生已完成对应的工作步骤之后改变或以其他方式修改虚拟标记的显示。虚拟标记的显示的改变可包括但不限于：改变颜色、改变标记类型、动画化(例如，闪光或闪烁)、显示额外元素(例如，在虚拟标记之上或附近的X或检查标志)或任何其他视觉可感知的改变。例如，可视化系统213最初可显示第一虚拟标记以作为虚拟轴引导安装引导销15104A，并且显示第二虚拟标记以作为虚拟轴引导安装引导销15104B。在外科医生安装引导销15104A之后，可视化系统213可修改显示来引导安装引导销15104A的第一虚拟标记(例如，从虚拟轴改变为十字线)，同时维持第二虚拟标记作为虚拟轴的显示。
作为对虚拟标记的补充或取代，MR系统212可提供其他虚拟引导。例如，MR系统212可显示深度引导以使得外科医生能够将引导销安装到目标深度(例如，深度引导类似于上文参考图66至图68讨论的深度引导)。作为另一个实例，MR系统212可提供目标确定引导。例如，MR系统212可显示以下项中的一者或两者：标识销安装的中心点或规定轴的虚拟标记(例如，如上文参考图36A至图36D所讨论)和/或对引导销是否与规定轴对准的指示。如上文所讨论，MR系统212可通过监测引导销和/或驱动引导销的钻机的位置/取向并将所监测的位置/取向与规定轴进行比较来确定引导销是否与规定轴对准。
外科医生可使用虚拟引导来安装引导销15104A、15104B、15106A和15106B。在使用胫骨引导件15112的实例中，外科医生可在安装引导销15104A、15104B、15106A和15106B之后移除胫骨引导件15112。
图152是示出在胫骨中实现孔的示例钻孔的概念图。如图152所示，外科医生可使用引导销15104A、15104B、15106A和15106B将钻孔引导件15202安装到胫骨15102上。钻孔引导件15202包括引导将孔钻到胫骨15102中的一个或多个通道。例如，如图152所示，钻孔引导件15202包括第一通道15204A和第二通道15204B。外科医生可利用钻机(例如，具有胫骨角部钻头的外科手术马达)以使用第一通道15204A和第二通道15204B中的每一者来钻出孔。以此方式，外科医生可对胫骨15102的两个近侧角部进行双皮层地钻孔。
作为对钻孔引导件15202的补充或取代，MR系统212可提供虚拟引导来协助外科医生对胫骨15102的近侧角部进行钻孔。例如，可视化装置213可显示引导外科医生在胫骨15102中钻出孔的虚拟标记。可视化装置213可显示覆盖在胫骨15102上的虚拟标记(例如，以指示将钻出孔的位置和/或取向)。虚拟标记可为在胫骨15102的某一点处的引导外科医生执行钻孔的虚拟钻孔轴(例如，类似于图34的轴3400)。类似于上文讨论的引导安装引导销的虚拟标记，可视化装置213装置可显示同时或顺序地引导胫骨15102的近侧角部的钻孔的虚拟标记，以及可引导胫骨的每个相应的近侧角部的钻孔的虚拟标记。
作为对虚拟标记的补充或取代，MR系统212可提供其他虚拟引导。例如，MR系统212可显示深度引导以使得外科医生能够将孔钻到目标深度(例如，深度引导类似于上文参考图66至图68讨论的深度引导)。作为另一个实例，MR系统212可提供目标确定引导。例如，MR系统212可显示以下项中的一者或两者：标识例如在胫骨或距骨中钻孔的中心点或规定轴的虚拟标记(例如，如上文参考图36A至图36D所讨论)和/或对钻头是否与规定轴对准的指示。如上文所讨论，MR系统212可通过监测钻头和/或驱动钻头的钻机的位置/取向并将所监测的位置/取向与规定轴进行比较来确定钻头是否与规定轴对准。
在一些实例中，MR系统212可利用本公开中描述的外科手术项目跟踪技术(例如，参考图83至图108)来协助脚踝关节置换术。例如，MR系统212可在多个外科手术项目中选择某一外科手术项目。多个外科手术项目可被包括在用于执行脚踝关节置换术手术的一个或多个托盘中。示例外科手术项目包括但不限于：工具、器械、植入物、相关联的硬件。MR系统212可使第二可视化装置(例如，由护士或除外科医生之外的某个人佩戴)显示在多个外科手术项目之中标识所选外科手术项目的虚拟信息，其中虚拟信息呈现在经由第二可视化装置可见的所选外科手术项目的位置上或与所述位置相邻之处。MR系统212可将外科手术项目选择作为与脚踝关节置换术手术的当前步骤相关联的外科手术项目。例如，在图152的外科医生可使用钻孔引导件15202来对胫骨角部进行钻孔的实例中，MR系统212可将钻孔引导件15202选择作为所选外科手术项目。第二可视化装置可显示标识钻孔引导件15202的虚拟信息(例如，突出显示或另外以类似于图105至图108的方式标识钻孔引导件15202)。
继续参考图150的脚踝关节修复外科手术的各阶段，外科医生可执行胫骨切除过程(15008)。例如，外科医生可移除胫骨15102的一部分以为胫骨植入物的后续安装腾出空间。在一些实例中，外科医生可通过以下方式来执行胫骨切除：在胫骨15102中进行三次切割(例如，近侧切割、内侧切割和外侧切割)以移除胫骨15102的一部分并且为胫骨植入物的后续安装产生空间。如上文所讨论，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。例如，MR系统212可使可视化装置213显示示出将如何执行胫骨切除的简图或动画。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定执行胫骨切除的当前步骤或一系列步骤的检查清单项目的虚拟检查清单。
图153是示出胫骨的示例切除的概念图。如图153所示，外科医生可使用引导销15104A、15104B、15106A和15106B将切除引导件15302安装到胫骨15102上。切除引导件15302包括引导在胫骨15102中执行切割的一个或多个通道。例如，如图153所示，切除引导件15202包括引导执行内侧切割的第一通道15306A、引导执行近侧切割的第二通道15306B以及引导执行外侧切割的第三通道15306C。在一些实例中，切除引导件15302可包括引导执行切除距骨15108的第四通道。例如，如图153所示，切除引导件15302可包括第四通道15304。外科医生可利用锯片(例如，骨骼摆锯)以使用通道15306A至15306C来执行内侧、外侧和近侧切割。以此方式，外科医生可执行胫骨15102的切除。
作为对切除引导件15302的补充或取代，MR系统212可提供虚拟引导来协助外科医生执行胫骨15102的切除。例如，可视化装置213可显示引导外科医生在胫骨15102中执行切割的虚拟标记。可视化装置213可显示覆盖在胫骨15102上的标记(例如，以指示将进行切割的位置和/或取向)。虚拟标记可为在胫骨15102上的某一点处的引导外科医生执行切割的虚拟切割线、虚拟切割表面或虚拟切割平面(例如，类似于图42A和图42B的虚拟切割平面4200)。类似于上文讨论的引导安装引导销的虚拟标记，可视化装置213装置可显示同时或顺序地引导执行近侧、内侧和外侧切割的虚拟标记。以此方式，MR系统212可显示各自具有从虚拟外科手术计划获得的参数的多个虚拟切割表面，所述多个虚拟切割表面被配置为引导切除胫骨。
作为对虚拟标记的补充或取代，MR系统212可提供其他虚拟引导。例如，MR系统212可显示深度引导以使得外科医生能够执行切割到目标深度(例如，深度引导类似于上文参考图66至图68讨论的深度引导)。作为另一个实例，MR系统212可提供目标确定引导。例如，MR系统212可显示以下项中的一者或两者：标识切割的规定平面的虚拟标记(例如，如上文参考图36A至图36D所讨论)和/或对锯片是否与规定平面对准的指示。如上文所讨论，MR系统212可通过监测锯片和/或驱动锯片引导销的马达的位置/取向并将所监测的位置/取向与规定平面进行比较来确定锯片是否与规定平面对准。
外科医生可移除切除部(即，胫骨15102的经由切割分离的部分)。引导销15104A和15104B可附接到切除部并且由于切除部移除而被移除。
如上文所讨论，MR系统212可使第二可视化装置显示标识针对脚踝关节置换术手术的当前步骤选择的外科手术项目的虚拟信息。例如，在图153的外科医生可使用切除引导件15302来执行胫骨切除的实例中，MR系统212可将切除引导件15302选择作为所选外科手术项目。
另外，参考图150的脚踝关节修复外科手术的各阶段，外科医生可在由可视化装置213呈现给外科医生的视场中执行配准过程，所述配准过程将虚拟距骨对象与患者的实际距骨骨骼配准(15010)。例如，MR系统212可从图2的存储系统206获得虚拟距骨对象。类似于上文讨论的虚拟胫骨对象，虚拟距骨对象可基于患者的距骨的术前成像(例如，CT成像)而产生。MR系统212可使用任何合适的过程来执行配准。例如，MR系统212可使用上文参考图20A至图31讨论的任何配准技术来执行虚拟距骨对象与患者的实际距骨骨骼的配准。如上文所讨论，配准可产生虚拟距骨对象与患者的实际距骨骨骼之间的变换矩阵。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定将虚拟距骨对象与患者的实际距骨骨骼配准的当前步骤或一系列步骤的检查清单项目的虚拟检查清单。
另外地，在图150的实例中，外科医生可执行各种工作步骤来准备距骨骨骼(15012)。准备距骨骨骼的示例工作步骤包括但不一定限于：将一个或多个引导销安装到距骨骨骼中、在距骨骨骼中钻出一个或多个孔和/或将一个或多个引导件(例如，切割引导件、钻孔引导件、扩孔引导件等)附接到距骨骨骼。MR系统212可提供虚拟引导来协助外科医生进行准备距骨骨骼的各种工作步骤。如上文所讨论，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。例如，MR系统212可使可视化装置213显示示出将如何准备距骨的简图或动画。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定准备距骨骨骼的当前步骤或一系列步骤的检查清单项目的虚拟检查清单。
图154A和图154B是示出在距骨准备过程期间安装在距骨中的示例引导销的概念图。如图154A和图154B所示，外科医生可将引导销15402A和15402B安装到距骨15108中。
在一些实例，诸如图154B的实例中，外科医生可使用物理引导件来安装引导销15402A和15402B。例如，外科医生可将距骨引导件15404放置在距骨15108上，并且利用距骨引导件15404中的一个或多个孔来引导安装引导销15402A和15402B。在一些实例中，距骨引导件1540可为患者特定引导件，所述患者特定引导件被制造成具有被设计为与距骨15108的轮廓相符合的表面。这种患者特定引导件的一个实例是由Wright Medical Group N.V.生产的
Figure BDA0002943711310002551
全踝系统的Prophecy距骨对准引导件。
作为对胫骨引导件15404的补充或取代，MR系统212可提供虚拟引导来协助外科医生安装引导销15402A和15402B。例如，可视化装置213可显示引导外科医生安装引导销15402A和15402B中的某一引导销的一个或多个虚拟标记。例如，如图154A所示，可视化装置213可显示虚拟轴15406A和15406B以相应地引导安装引导销15402A和15402B。可视化装置213可以类似于上文参考图151A和图151B所描述的方式显示虚拟标记。作为对虚拟标记的补充或取代，MR系统212可提供其他虚拟引导来协助安装引导销15402A和15402B。例如，MR系统212可提供上文讨论的额外的虚拟引导(例如，深度引导、目标确定引导等)中的任一者。以此方式，MR系统212可显示各自具有从虚拟外科手术计划获得的参数的多个虚拟轴，并且虚拟轴中的每一者被配置为引导将相应的引导销安装在距骨中。虚拟轴可通过提供外科医生在安装引导销期间可将物理引导销与之对准的视觉参考来引导安装对应的引导销。如本文所讨论，在一些实例中，MR系统212可提供关于物理引导销实际上是否与虚拟轴对准的反馈。
外科医生可使用虚拟引导来安装引导销15402A和15402B。例如，外科医生可将销15402A和15402B的引导纵轴与相应的虚拟轴对准以将销放置在骨骼中。在使用距骨引导件15404的实例中，外科医生可在安装引导销15402A和15402B之后移除距骨引导件15404。
如上文所讨论，MR系统212可使第二可视化装置显示标识针对脚踝关节置换术手术的当前步骤选择的外科手术项目的虚拟信息。例如，在图154B的外科医生可使用距骨引导件15404来安装引导销15402A和15402B的实例中，MR系统212可将距骨引导件15404选择作为所选外科手术项目。
继续参考图150，在执行距骨准备过程之后，外科医生可执行距骨切除过程(15014)。例如，外科医生可移除距骨15108的一部分以为距骨植入物的后续安装腾出空间。在一些实例中，外科医生可通过以下方式来执行距骨切除：在距骨15108中进行单次切割以移除距骨15108的一部分并且为距骨植入物的后续安装产生空间。如上文所讨论，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。例如，MR系统212可使可视化装置213显示示出将如何执行距骨切除的简图或动画。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定执行距骨切除的当前步骤或一系列步骤的检查清单项目的虚拟检查清单。
图155是示出距骨的示例切除的概念图。如图155所示，外科医生可使用引导销15402A和15402B将切除引导件15302安装到距骨15108上。在图155的实例中，外科医生可利用与执行胫骨切除所使用的相同的切除引导件(即，切除引导件15302)。在其他实例中，可使用距骨特定切除引导件。外科医生可使用切除引导件15302来执行距骨切除。例如，外科医生可利用锯片(例如，骨骼摆锯)以使用通道15304来执行切割。以此方式，外科医生可执行距骨15108的切除。
作为对切除引导件15302的补充或取代，MR系统212可提供虚拟引导来协助外科医生执行距骨15308的切除。例如，可视化装置213可显示引导外科医生在距骨15108中执行切割的虚拟标记。可视化装置213可显示覆盖在距骨15108上的标记(例如，以指示将进行切割的位置和/或取向)。虚拟标记可为在距骨15108上的某一点处的引导外科医生执行切割的虚拟切割线、虚拟切割表面或虚拟切割平面(例如，类似于图42A和图42B的虚拟切割平面4200)。以此方式，MR系统212可显示具有从虚拟外科手术计划获得的参数的虚拟切割表面，所述虚拟切割表面被配置为引导距骨的主要切除。
作为对虚拟标记的补充或取代，MR系统212可提供其他虚拟引导。例如，MR系统212可显示深度引导以使得外科医生能够执行切割到目标深度(例如，深度引导类似于上文参考图66至图68讨论的深度引导)。作为另一个实例，MR系统212可提供目标确定引导。例如，MR系统212可显示以下项中的一者或两者：标识切割的规定平面的虚拟标记(例如，如上文参考图36A至图36D所讨论)和/或对锯片是否与规定平面对准的指示。如上文所讨论，在一些实例中，MR系统212可通过以下方式来确定锯片是否与规定平面对准：将锯片或其上连接的某物(例如，锯马达主体、锯柄、物理配准标记等)与对应的虚拟模型配准，并且将对应的虚拟模型的位置与规定平面进行比较。
外科医生可移除切除部(即，距骨15108的经由切割分离的部分)。在一些实例中，外科医生可使用各种工具(例如，往复锯或骨骼锉磨件)来移除在切除部已被移除之后剩余的任何多余骨骼。图156是在执行胫骨切除和距骨切除之后的示例脚踝的概念图。
外科医生可对胫骨15102和/或距骨15108中的一者或两者执行一个或多个额外的工作步骤以使胫骨15102和/或距骨15108准备好接纳植入物。示例的额外的工作步骤包括但不一定限于：胫骨托架试验、胫骨栓柱拉削、距骨斜切切除以及距骨栓柱钻孔。
图157A至图157C是示出胫骨托架试验的实例的概念图。在一些实例中，可能期望确保在安装时，胫骨植入物的后缘将至少到达胫骨15102的后部分。另外地，在一些实例中，可能存在可用的多个大小的胫骨植入物。因此，可能期望由外科医生确定利用哪种大小的胫骨植入物。为了确保胫骨植入物的后缘将至少到达胫骨15102的后部分和/或为了确定利用哪种大小的胫骨植入物，外科医生可执行胫骨托架试验。
为了执行胫骨托架试验，外科医生可将胫骨托架试验件15702附接到胫骨15102。如图157A所示，胫骨托架试验件15702可包括后缘15704、指示部15710、引导销孔15712A和15712B、拉削孔15714A和15714B(未示出额外的前拉削孔15714C)以及前表面15716。外科医生可通过将引导销15106A和15106B滑动到对应的引导销孔15712A和15712B中来将胫骨托架试验件15702附接到胫骨15102。在一些实例中，在附接胫骨托架试验件15702之后，外科医生可修剪引导销15106A和15106B以与胫骨托架试验件15702的前表面15716齐平(例如，如图158所示)。
在一些实例中，外科医生可利用荧光镜检查来执行胫骨托架试验。例如，外科医生可利用荧光镜检查来确定胫骨托架试验件15702与胫骨15102的相对位置。
MR系统212可提供虚拟引导来协助胫骨托架试验。作为一个实例，可视化装置213可显示示出胫骨托架试验件15702与胫骨15102的相对位置的合成视图。可视化装置213可以类似于上文参考图66至图68所讨论的方式显示合成视图。例如，MR系统212可将胫骨托架试验件15702配准到胫骨托架试验件的对应的虚拟模型，并且利用胫骨托架试验件15702和胫骨15102的所配准的虚拟模型来合成示出胫骨托架试验件15702与胫骨15102的虚拟模型的相对位置的视图。由于胫骨托架试验件15702和胫骨15102的虚拟模型相应地配准到胫骨托架试验件15702和胫骨15102，因此胫骨托架试验件15702与胫骨15102的虚拟模型的相对位置对应于胫骨托架试验件15702与胫骨15102的相对位置。合成视图可能看起来类似于图157B和图157C的概念图。
外科医生可利用合成视图来对胫骨托架试验件15702执行一次或多次调整。例如，如果合成视图指示胫骨托架试验件15702的后缘15704延伸经过胫骨15102的后缘15706，则外科医生可调整胫骨托架试验件15702以使胫骨托架试验件15702的后缘15704向前推进。例如，外科医生可利用工具15708来使胫骨托架试验件15702向前平移。
外科医生可利用合成视图来确定将利用哪种大小的胫骨植入物。例如，如果合成视图指示胫骨托架试验件15702的指示部15710(在图157C中示出为凹口)延伸经过胫骨15102的后缘15706，则外科医生可确定将利用第一大小的胫骨植入物(例如，标准大小)。如果合成视图指示胫骨托架试验件15702的指示部15710并未延伸经过胫骨15102的后缘15706，则外科医生可确定将利用第二大小的胫骨植入物(例如，大小较长)。
如上所述，MR系统212可使得外科医生能够使用虚拟引导来执行胫骨托架试验。在一些实例中，MR系统212可使得外科医生能够在不使用荧光镜检查的情况下执行胫骨托架试验。
如上文所讨论，MR系统212可使第二可视化装置显示标识针对脚踝关节置换术手术的当前步骤选择的外科手术项目的虚拟信息。例如，在图157A至图157C的外科医生可使用胫骨托架试验件15702的实例中，MR系统212可将胫骨托架试验件15702选择作为所选外科手术项目。
外科医生可为胫骨植入物产生锚固点。例如，外科医生可利用胫骨托架试验件来执行胫骨栓柱拉削。图158是示出胫骨植入物锚固处的示例产生的概念图。如图158所示，外科医生可利用前胫骨栓柱拉削件15802A以使用拉削孔15714A在胫骨15102中拉削出第一前孔，利用前胫骨栓柱拉削件15802A以使用拉削孔15714C在胫骨15102中拉削出第二前孔，并且利用后胫骨栓柱拉削件15802B以使用拉削孔15714B在胫骨15102中拉削出孔。胫骨15102中拉削出的孔可构成用于胫骨植入物的锚固点。
如上文所讨论，MR系统212可使第二可视化装置显示标识针对脚踝关节置换术手术的当前步骤选择的外科手术项目的虚拟信息。例如，在图158的外科医生可使用前胫骨栓柱拉削件15802A和后胫骨栓柱拉削件15802B的实例中，MR系统212可将前胫骨栓柱拉削件15802A和后胫骨栓柱拉削件15802B选择作为所选的一个(或多个)外科手术项目。如上文所讨论，MR系统212可使第二可视化装置和/或可视化装置213视觉地区分所选外科手术项目(即，前胫骨栓柱拉削件15802A和后胫骨栓柱拉削件15802B)。
外科医生可执行一次或多次距骨斜切切除来使距骨15108进一步准备好接纳距骨植入物。在一些实例中，外科医生可执行前距骨斜切切除和后距骨斜切切除。为了执行一次或多次距骨切除，外科医生可将一个或多个引导销附接到距骨15108。
图159A和图159B是示出引导销到距骨15108的示例附接的概念图。MR系统212可提供虚拟引导来引导外科医生将引导销15904A和15904B附接到距骨15108。例如，如图159A所示，可视化装置213可显示覆盖在距骨15108上的虚拟轴15902A和15902B以引导将引导销15904A和15904B安装到距骨15108。虽然在图159A中示出为虚拟轴，但是可视化装置213可显示本文描述的虚拟标记中的任一者来引导将引导销15904A和15904B安装到距骨15108。
在一些实例中，外科医生可利用物理引导件来协助将引导销15904A和15904B安装到距骨15108。例如，外科医生可利用荧光镜检查来定位距骨圆顶状试验部件。当距骨圆顶状试验部件被定位时，外科医生可利用距骨圆顶状试验部件中的孔来引导安装引导销15904A和15904B。
外科医生可使用引导销15904A和15904B来执行距骨斜切切除。例如，如图160所示，外科医生可使用引导销15904A和15904B将距骨切除引导基座16002定位在距骨15108上。外科医生可利用一个或多个部件来将距骨切除引导基座16002紧固到距骨15108。例如，如图161所示，外科医生可通过切除引导基座16002将固定螺钉16102A和16102B安装到距骨15108中。
MR系统212可提供虚拟引导来协助外科医生安装固定螺钉16102A和16102B。作为一个实例，可视化装置213可显示指示将安装固定螺钉16102A和16102B的位置和轴的虚拟标记。作为另一个实例，可视化装置213可提供深度引导以使得外科医生能够将固定螺钉16102A和16102B安装到目标深度(例如，深度引导类似于上文参考图66至图68讨论的深度引导)。在一些实例中，MR系统212可利用闭环工具控制以绝对地控制用于附接固定螺钉16102A和16102B的钻机。例如，MR系统212可利用例如上文参考图72讨论的闭环工具控制技术，以在达到期望的深度和/或扭矩时减小用于附接固定螺钉16102A和16102B的钻机的速度和/或使所述钻机停止。
外科医生可利用距骨切除引导基座16002来执行后距骨斜切切除。例如，如图161所示，外科医生可将锯片16104插入到距骨切除引导基座16002的槽16004中以执行后距骨斜切切除。
如上文所讨论，MR系统212可使第二可视化装置显示标识针对脚踝关节置换术手术的当前步骤选择的外科手术项目的虚拟信息。例如，在图161的外科医生可使用距骨切除引导基座16002的实例中，MR系统212可将距骨切除引导基座16002选择作为所选外科手术项目。
作为对距骨切除引导基座16002的补充或取代，MR系统212可提供虚拟引导来协助外科医生执行后距骨斜切切除。例如，可视化装置213可显示引导外科医生执行后距骨斜切切除的虚拟标记。可视化装置213可显示覆盖在距骨15108上的标记(例如，以指示将进行切割的位置和/或取向)。虚拟标记可为在距骨15108上的某一点处的引导外科医生执行切割的虚拟表面或虚拟切割平面(例如，类似于图42A和图42B的虚拟切割平面4200)。
外科医生可利用距骨切除引导基座16002来执行前距骨斜切切除。例如，如图162所示，外科医生可将前距骨引导件16202附接到距骨切除引导基座16002。外科医生可利用具有距骨扩孔钻16204的钻机来对距骨15108的前表面进行扩孔。例如，外科医生可在前距骨引导件16202中水平地滑动距骨扩孔钻16204以为距骨植入物的前平坦部准备距骨15108的表面。如图162所示，距骨扩孔钻16204可包括深度止挡件16206，所述深度止挡件16206接合前距骨引导件16202的表面16208以控制扩孔深度。外科医生可将距骨引导件16202旋转180度并且再次在(现已旋转的)前距骨引导件16202中水平地滑动距骨扩孔钻16204以为距骨植入物的前斜切部准备距骨15108的表面。如上文所讨论，距骨扩孔钻16204可包括深度止挡件16206，所述深度止挡件16206接合前距骨引导件16202的表面16208以控制扩孔深度。
在一些实例中，对于前平坦部和前斜切部准备中的一者或两者，外科医生可执行陷入式切割(例如，使用距骨扩孔钻16204)以将距骨15108准备用于扩孔。例如，外科医生可附接先导引导件，所述先导引导件具有引导执行陷入式切割的孔。距骨扩孔钻16204的深度止挡件16206可与先导引导件的控制陷入深度的表面接合。
作为对距骨切除引导基座16002的补充或取代，MR系统212可提供虚拟引导来协助外科医生执行前距骨斜切切除。例如，可视化装置213可显示引导外科医生执行陷入式切割和/或水平扩孔的一个或多个虚拟标记。作为一个实例，可视化装置213可为每次陷入式切割显示相应的虚拟轴。作为对虚拟标记的补充或取代，MR系统212可提供其他虚拟引导来协助执行陷入式切割和/或水平扩孔。例如，MR系统212可提供上文讨论的额外的虚拟引导(例如，深度引导、目标确定引导等)中的任一者。
外科医生可执行距骨栓柱钻孔以在距骨15108中产生用于距骨植入物的锚固点。MR系统212可提供虚拟引导来协助外科医生执行前距骨斜切切除。例如，可视化装置213可显示引导外科医生在距骨15108中钻出孔的一个或多个虚拟标记。如图164所示，可视化装置213可显示引导钻出图165的栓柱孔16502A和16502B的虚拟轴16402A和16402B。作为对虚拟标记的补充或取代，MR系统212可提供其他虚拟引导来协助产生锚固处。例如，MR系统212可提供上文讨论的额外的虚拟引导(例如，深度引导、目标确定引导等)中的任一者。以此方式，MR系统212可显示各自具有从虚拟外科手术计划获得的参数的多个虚拟钻孔轴，虚拟钻孔轴中的每一者被配置为引导在距骨中钻出锚固点。
继续参考图150，外科医生可执行胫骨植入物安装过程(15016)。图166是示出示例胫骨植入物的概念图。如图166所示，胫骨植入物16602包括后栓柱16604A，以及前栓柱16604B和16604C。图167是示出如使用上文描述的步骤所准备的示例胫骨的概念图。如图167所示，胫骨15102包括在上文参考图158描述的拉削过程期间产生的栓柱孔16702A至16702C。
外科医生可安装胫骨植入物16602，使得胫骨植入物16602的后栓柱16604A以及前栓柱16604B和16604C与胫骨15102的栓柱孔16702A至16702C接合。例如，外科医生可定位胫骨植入物16602，使得后栓柱16604A与栓柱孔16702A对齐，前栓柱16604B与栓柱孔16702B对齐，并且前栓柱16604C与栓柱孔16702C对齐。一旦栓柱与其对应的栓柱孔对齐，外科医生可将胫骨植入物16602冲击到胫骨15102中。如上文所讨论，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。例如，MR系统212可使可视化装置213显示示出将如何安装胫骨植入物16602的简图或动画。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定安装胫骨植入物的当前步骤或一系列步骤的检查清单项目的虚拟检查清单。
图168是示出胫骨植入物到胫骨中的示例冲击的概念图。如图168所示，外科医生可利用托架冲击器16802以将胫骨植入物16602冲击到胫骨15102中。例如，外科医生可将托架冲击器16802的顶端16806放置在胫骨植入物16602上并且用冲击器(例如，锤子)撞击冲击点16804A和/或16804B中的一者或两者。
继续参考图150，外科医生可执行距骨植入物安装过程(15018)。图169是示出示例距骨植入物的概念图。如图169所示，距骨植入物16902包括第一栓柱16904A和第二栓柱16904B。
外科医生可安装距骨植入物16902，使得距骨植入物16902的第一栓柱16904A和第二栓柱16904B与距骨15108的栓柱孔16502A和16502B接合。例如，外科医生可定位距骨植入物16902，使得第一栓柱16904A与栓柱孔16502A对齐，并且距骨植入物16902的第二栓柱16904B与栓柱孔16502B对齐。一旦栓柱与其对应的栓柱孔对齐，外科医生可将胫骨植入物16902冲击到距骨15108中。
如上文所讨论，MR系统212可使第二可视化装置显示标识针对脚踝关节置换术手术的当前步骤选择的外科手术项目的虚拟信息。例如，在图168的外科医生可使用托架冲击器16802的实例中，MR系统212可将托架冲击器16802选择作为所选外科手术项目。
图170是示出距骨植入物到距骨中的示例冲击的概念图。如图170所示，外科医生可利用距骨冲击器17002以将距骨植入物16902冲击到距骨15108中。例如，外科医生可将距骨冲击器17002的顶端17004放置在距骨植入物16902上并且用冲击器(例如，锤子)撞击距骨冲击器17002的冲击点。
如上文所讨论，MR系统212可使第二可视化装置显示标识针对脚踝关节置换术手术的当前步骤选择的外科手术项目的虚拟信息。例如，在图168的外科医生可使用距骨冲击器17002的实例中，MR系统212可将距骨冲击器17002选择作为所选外科手术项目。如上文所讨论，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。例如，MR系统212可使可视化装置213显示示出将如何安装距骨植入物16902的简图或动画。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定安装距骨植入物的当前步骤或一系列步骤的检查清单项目的虚拟检查清单。
继续参考图150，外科医生可执行轴承安装过程(15020)。外科医生可将轴承安装在胫骨植入物16602与距骨植入物16902之间。例如，如图171所示，外科医生可将轴承17102安装在胫骨植入物16602与距骨植入物16902之间。如上文所讨论，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。例如，MR系统212可使可视化装置213显示示出将如何安装轴承17102的简图或动画。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定安装轴承的当前步骤或一系列步骤的检查清单项目的虚拟检查清单。
随后，在图150的实例中，外科医生可执行伤口闭合过程(15022)。在伤口闭合过程期间，外科医生可将切开过程期间切断的组织重新连接，以便闭合患者的脚踝中的伤口。如上文所讨论，MR系统212可显示动画、视频、或文本来描述将如何执行一个或多个特定步骤。例如，MR系统212可使可视化装置213显示示出将如何闭合伤口的简图或动画。同样如上文所讨论，MR系统212可显示虚拟检查清单，其中检查清单项目上的每个项目对应于骨科外科手术的步骤检查清单中的某一项目。例如，MR系统212可显示具有指定闭合伤口的当前步骤或一系列步骤的检查清单项目的虚拟检查清单。
图172是示出根据本公开的一种或多种技术的用于MR辅助外科手术的示例技术的流程图。如上文所讨论，外科医生可佩戴MR系统的可视化装置，诸如MR系统212的可视化装置213。
MR系统212可经由可视化装置将患者的解剖结构的一部分的虚拟模型配准到经由可视化装置可查看的解剖结构的对应部分(17202)。例如，MR系统212可使用上文参考图20A至图31讨论的任何配准技术来执行虚拟胫骨对象与经由可视化装置213可查看的患者的实际胫骨骨骼的配准。如上文所讨论，MR系统212可从外科手术的虚拟外科手术计划获得虚拟模型以将假体附接到解剖结构。
如上文所讨论，可视化装置213可在解剖结构的部分的虚拟模型到解剖结构的对应部分的配准期间显示虚拟模型的至少一部分。例如，如图24所示，可视化装置213可显示虚拟模型(例如，虚拟骨骼模型)，并且用户(即，可视化装置213的佩戴者)可转移其目光以使虚拟模型与解剖结构的对应部分对准。在一些实例中，可视化装置213可在配准过程之后停止显示虚拟模型。在一些实例中，可视化装置213可在配准过程之后维持显示虚拟模型，和/或在外科手术期间的稍后时间重新显示虚拟模型。
MR系统212可经由可视化装置显示虚拟引导并且将所述虚拟引导覆盖在解剖结构的部分上，所述虚拟引导引导以下项中的至少一者：用于附接假体的解剖结构的准备或假体到解剖结构的附接(17204)。例如，MR系统212可使可视化装置213显示上文讨论的虚拟引导/引导件中的任一者。如上文所讨论，示例虚拟引导包括但不限于：虚拟轴、虚拟切割表面等等。同样如上文所讨论，可视化装置213可显示覆盖在解剖结构的部分上的虚拟引导，使得虚拟引导看起来好像是真实世界场景的一部分，例如虚拟引导在用户看来好像覆盖或以其他方式集成在实际的真实世界场景内。
如上文所讨论，在一些实例中，可视化装置213可在配准过程之后停止显示虚拟模型。因此，在一些实例中，可视化装置213可在与显示虚拟模型不同的时间显示虚拟引导(例如，不同时)。同样如上文所讨论，在一些实例中，可视化装置213可在配准过程之后维持显示虚拟模型，和/或在外科手术期间的稍后时间重新显示虚拟模型。因此，在一些实例中，可视化装置213可在与显示虚拟模型相同的时间显示虚拟引导(例如，同时)。
在全踝关节置换术的背景下也可使用本公开中其他位置描述的闭环工具控制技术。例如，在一个实例中，闭环控制可在全踝关节置换术期间应用于用于切出远侧胫骨切口、近侧跟骨切口、内侧切口以及外侧切口中的锯子。在另一个实例中，本公开中其他位置描述的深度控制技术可在全踝关节置换术的背景下应用来帮助确保外科医生不会钻到过深之处。例如，如上文所讨论，本公开中其他位置描述的深度控制技术可应用来在执行胫骨切除时协助外科医生。
本公开中其他位置相对于肩关节修复外科手术描述的外科手术项目跟踪技术也可应用于全踝关节置换术来帮助保健专业人员选择外科手术项目并且跟踪外科手术项目的使用。另外地，本公开中其他位置描述的工作流管理过程可能适合用于全踝关节置换术中。例如，XR可视化装置(例如，XR可视化装置11702)可输出XR可视化(例如，MR可视化或VR可视化)，所述XR可视化包括对应于全踝关节置换术的步骤检查清单中的项目的一组虚拟检查清单项目。例如，代替对应于图19的步骤的虚拟检查清单项目，XR可视化可包括对应于图150的步骤或脚踝关节置换术的任何其他步骤的虚拟检查清单项目。
在诸如全踝关节置换术的脚踝外科手术的背景下也可使用本公开中其他位置描述的协作和教学技术。例如，在一个实例中，外科医生可在全踝关节置换术或其他类型的脚踝外科手术期间使用MR和/或VR来咨询远程外科医生。在另一个实例中，可视化装置213可向外科医生呈现MR可视化，所述MR可视化包括辅助视图窗口，所述辅助视图窗口包含另一个人对患者的脚踝的视图，所述视图例如包括由另一个人的可视化装置的相机捕获的实际解剖对象，即真实患者解剖结构，以及由另一个人的可视化装置产生作为MR可视化的虚拟对象两者。在代替患者的肩部的患者的脚踝的背景下也可应用本公开中其他位置描述的运动范围跟踪技术。
在一些实例中，本文描述的任何技术、装置或方法都可用于医疗和外科手术教学目的。例如，呈现混合现实对象或信息的可视化装置可用于对学生进行与骨科外科手术或者所述手术的一个或多个步骤或阶段有关的教学。接受与骨科外科手术有关的教学的学生可包括接受关于手术的培训的医师，或者接受关于手术的一般或特殊培训的医学生。可选地，在一些情况下，接受与骨科医疗手术有关的教学的学生可为将对其执行手术的患者、或看护人、监护人或患者的家庭成员。在此情况下，教员可包括对患者学生进行培训的外科医生或另一个医疗专业人员。另外，医疗技术人员、护士、医师助手、医疗研究员或任何其他人员根据本文描述的技术和方法都可为学生。在一些实例中，一个或多个教员可通过使用混合现实向一个或多个学生提供说明性指导(以及可能演示)。此外，在再一些其他实例中，一个或多个学生可使用可视化装置以借助于混合现实来执行骨科医疗手术的实践技术或培训技术。在再一些其他情况下，学生和教员可包括在协作环境中工作的一组专家，在此情况下，学生和教员角色在教学会话期间可发生变化。一般而言，借助于混合现实(或虚拟现实)接受教学的任何人根据本公开都可为学生，并且类似地，借助于混合现实(或虚拟现实)进行教学的任何人根据本公开都可为教员。
图127是包括MR教员装置12702和MR学生装置12704的教学系统12701的概念框图。MR教员装置12702和MR学生装置12704各自可包括可视化装置213，贯穿本公开对所述可视化装置进行了详细描述。MR教员装置12702可向教员呈现用于骨科外科手术教学的MR教学内容12706。类似地，MR学生装置12704可向学生呈现用于骨科外科手术教学的类似的MR教学内容12706。MR教学内容12706连同佩戴MR教员装置12702的教员的教导一起可帮助对佩戴MR学生装置12704的学生进行教学。在大多数情况下，MR教员装置和MR学生装置在同一个物理位置进行操作，但是本公开的技术在此方面并未进行限制。例如，MR教员装置12702和MR学生装置12704还可能在相互远离的物理位置处进行操作，在此情况下，用户在查看不同的真实世界背景时可共享MR教学内容12706。
MR教学内容12706可包括一个或多个虚拟元素，所述一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。例如，教学内容12706内的一个或多个解剖特征的3D虚拟表示可包括人类肩部的3D虚拟模型，诸如在图10中例如示出为3D虚拟模型1008、1010。在一些实例中，教学内容12706内的一个或多个解剖特征的虚拟表示可包括肱骨头的3D虚拟图示、肩胛骨的虚拟图示、肱骨骨骼的3D虚拟图示或关节盂的3D虚拟图示。在再一些其他实例中，教学内容12706内的一个或多个解剖特征的虚拟表示可包括脚踝的3D虚拟图示、距骨的虚拟图示或者胫骨或胫骨头的3D虚拟图示。下文许多教学细节是在肩部解剖结构的3D虚拟表示的背景下描述的，但是技术对于其他解剖结构，尤其是诸如脚踝解剖结构的复杂的解剖元素而言也是非常有用的。
此外，除了一个或多个解剖特征的3D虚拟表示之外，教学内容12706还可包括展示骨科外科手术的至少一个方面的额外的虚拟元素。这些额外的元素例如可包括相对于3D虚拟表示的虚拟术前计划元素、相对于3D虚拟表示的一个或多个虚拟外科手术引导特征或者在3D虚拟表示上虚拟地示出的一个或多个外科手术结果，以便展示骨科外科手术的至少一个方面。
教学系统12701的用户(例如，佩戴MR学生装置12704和MR教员装置12702的教员和学生)可通过虚拟控制，诸如经由姿势、基于目光的控制、语音输入或者可用于混合现实或虚拟现实中的任何控制技术来查看并操纵虚拟3D元素。例如，学生或教员可控制3D虚拟肩部模型的虚拟运动，并且启用或禁用虚拟元素以展示骨科外科手术的一个或多个方面(术前、术间和/或术后)。另外，手动小键盘输入、触摸屏输入、指针控制、任何虚拟控制机制的组合或其他类型的控制可由教员使用来操纵教学内容12706内的虚拟3D元素。
在一些情况下，MR学生装置12704和/或MR教员装置12702可包括触觉装置，所述触觉装置向用户提供基于触摸的信息以帮助用户学习与虚拟元素有关的物理性质并且操纵虚拟元素。例如，触觉装置可包括一个或多个触觉手套、一个或多个触觉腕带、触觉笔型装置或另一种触觉装置。触觉装置可与可视化装置一起操作来向用户提供触觉反馈，并且触觉反馈可与由可视化装置呈现给用户的一个或多个虚拟元素相关联。这种触觉反馈可能尤其可用于由MR学生装置12704执行的外科手术模拟。在此情况下，MR学生装置12704可包括呈现一个或多个虚拟元素的可视化装置以及提供触觉反馈的触觉装置。在一些情况下，触觉反馈可与用户对由可视化装置呈现的一个或多个虚拟元素执行的操纵同步或协调。
使用MR装置，诸如MR学生装置12704或MR教员装置12702，教员或学生可出于教学原因而在空间中旋转虚拟3D元素，对所述元素重新设定大小，重新定位或以其他方式移动所述元素。MR学生装置12704或MR教员装置12702可启用或禁用对虚拟肩部模型的不同区段的查看，启用或禁用虚拟元素，所述虚拟元素示出关于3D虚拟模型的虚拟植入物、关于3D虚拟模型的虚拟外科手术计划、关于3D虚拟模型的虚拟外科手术引导和/或关于3D模型的虚拟术后结果。
此外，教员或学生可显示骨骼在肩部臼窝内或在人类脚踝内的解剖移动。例如，图11所示的示例教员模型1008示出了肩部的3D模型，连同示出肩部植入物部件1010的虚拟3D表示的虚拟元素，以及示出可能由肩部植入部件1010引起的可能撞击点1106的虚拟元素。使用MR装置，诸如MR学生装置12704或MR教员装置12702，教员或学生可能能够相对于关节盂旋转虚拟肱骨骨骼以显示肩部运动。此外，教员或学生还可启用或禁用对可能被分割的不同的示出的元素的查看。可对肱骨骨骼的部分进行分割并选择性地启用或禁用，例如以示出肱骨切割平面以及一个或多个肩部植入物部件在肱骨骨骼上的位置。另外，可对肩胛骨或关节盂的部分进行分割并选择性地启用或禁用，例如以示出一个或多个肩部植入物部件在肩胛骨或关节盂上的位置。
一个或多个解剖特征的3D虚拟表示可以是基于实际患者图像，或者可以是基于一个或多个患者的图像。3D虚拟表示可被分割成可由用户启用或禁用的不同的子部件。在一些情况下，3D虚拟表示可由计算机产生。在一些情况下，3D虚拟表示可选自3D虚拟表示的目录(例如，存储在MR学生装置12704或MR教员装置12702的存储器中，或者远程地存储)。目录中的不同的3D虚拟表示可展示可能需要骨科外科手术修复的各种各样不同的肩部疾患。使用MR教员装置12702的教员例如可从3D图像的目录选择一个或多个3D虚拟表示，以便对佩戴MR学生装置12704的学生进行教学演示。
可由教员针对特定病灶为学生选择3D虚拟表示。MR教员装置12702例如可呈现MR教学内容12706内的3D肩部模型，以示出具有特定类型分类的肩部(例如，Walch分类类型)，所述肩部可能需要特定类型的外科手术或选择具有特定大小、角度和植入位置的特定的植入物部件。对于其他课程，MR教员装置12702可呈现具有不同分类的不同的肩部模型，由此需要不同类型的外科手术或者不同的植入物部件、大小、角度和/或植入位置。
除了一个或多个解剖元素的3D虚拟表示，诸如一个或多个解剖元素的虚拟表示之外，MR教学内容12706还可包括本文描述的各种各样的MR内容中的任一者，诸如MR外科手术引导信息，MR配准内容，基于MR的轴、平面或标记，基于MR的夹具或引导件，基于MR的骨骼模型或软组织模型，基于MR的外科手术工具引导，虚拟植入物，基于MR的工作流检查清单，运动范围信息，术前动画或其他基于MR的信息。然而，任何给定教学背景中使用的特定MR内容都可取决于接受教学的学生。例如，教学系统12701可用于对医师、医学生、技术人员、护士、医师助手或骨科医疗手术中可能涉及的任何其他人员进行教学或培训。可选地，教学系统12701可用于对患者(或看护人、监护人、患者家庭成员和/或患者朋友)进行与将执行的手术有关的教学。在再一些其他情况下，教学系统12701可用于对可能有兴趣或理由学习与骨科外科手术有关的一个或多个细节的研究员或任何其他人员进行教学。可针对不同的教学背景对骨科外科手术教学的MR教学内容12706进行选择或定义。
MR教学内容12706可包括一个或多个虚拟元素，所述一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。一个或多个解剖特征的3D虚拟表示例如可包括人类肩部的3D虚拟模型，或者可能为人类肩部的区段，诸如肱骨头的3D虚拟图示或关节盂的3D虚拟图示。虚拟元素可能能够由MR教员装置12702和/或MR学生装置12704控制。MR教员装置12702通常可控制虚拟元素，但是在一些情况下，虚拟控制可交给佩戴MR学生装置12704中的一者的学生。对虚拟元素的控制可由MR教员装置12702(或MR学生装置12704)的用户利用姿势，目光，语音输入，姿势、目光或语音输入的组合或者用于MR或VR控制和操纵虚拟内容的其他技术来执行。
在一些实例中，MR教学内容12706可包括外科手术引导信息，并且这种外科手术引导信息可允许MR教员装置12702的用户对MR学生装置12704的用户进行关于外科手术的培训。在此类情况下，MR教学内容12706可包括一个或多个虚拟元素，所述一个或多个虚拟元素包括一个或多个解剖特征的3D虚拟表示，以及用于在相对于一个或多个解剖特征的3D虚拟表示显示或示出的外科手术步骤方面对用户进行引导的虚拟引导元素或信息。在其他实例中，MR教学内容12706可包括相对于物理(例如，合成)解剖模型或尸体的解剖结构定位的一个或多个虚拟元素。示例物理解剖模型可商购自美国华盛顿瓦逊岛的Sawbones USA。尸体解剖结构可包括整个尸体或尸体标本。
作为一个实例，MR教学内容12706可包括相对于关节盂的虚拟3D表示或者相对于物理模型或尸体的关节盂骨骼定位的虚拟扩孔轴。在一些情况下，虚拟扩孔轮廓也可被包括在MR教学内容12706中。作为另一个实例，MR教学内容12706可包括虚拟切割平面，诸如相对于肱骨头的3D虚拟表示示出的虚拟肱骨切割平面，或者相对于肱骨骨骼的物理模型或尸体的肱骨骨骼的虚拟切割平面。在其他实例中，MR教学内容12706可包括虚拟夹具或引导件，并且可示出虚拟夹具或引导件相对于一个或多个解剖特征的3D虚拟表示(诸如虚拟关节盂)的放置，或者相对于物理模型或尸体的解剖结构定位的虚拟夹具或引导件。在其他实例中，MR教学内容12706可示出用于将引导杆插入到关节盂的3D虚拟表示(或其他虚拟解剖模型)中或者用于将引导杆插入到物理解剖模型或尸体中的虚拟钻孔点或虚拟钻孔轴。在此类实例中，MR教学内容12706还可示出相对于虚拟夹具或引导件的虚拟轴。在再一些其他实例中，MR教学内容12706可包括相对于一个或多个解剖特征的3D虚拟表示(例如，虚拟模型)或者相对于物理模型或尸体解剖结构的虚拟标记。虚拟标记可指定用于钻孔、扩孔、磨削、准备植入物、附接植入物、或在术中外科手术引导中相对于患者的解剖结构可能示出的任何操作的位置、点或轴。事实上，相对于虚拟解剖模型(或物理模型或尸体)，同样可由MR教员装置12702和MR学生装置12704虚拟地呈现本公开中其他位置描述的外科手术引导特征中的任一者以有助于关于外科手术的培训。
物理模型可包括物理骨骼模型，诸如可商购自Sawbones USA或另一个来源的物理骨骼模型。借助于混合现实，学生可在物理骨骼模型上练习扩孔或其他外科手术步骤。在其他实例中，可向学生呈现虚拟组织模型，从而允许学生经由MR学生装置12704对虚拟组织模型执行模拟外科手术切割或其他操纵。由用户的身体所做的姿势可经由MR学生装置12704在虚拟组织模型上模拟切割，使得学生可切割组织，暴露解剖特征(诸如关节盂)并且相对于虚拟组织模型放置虚拟植入物或其他部件。使用诸如基于手指的切割姿势的姿势，学生可操纵虚拟组织模型以暴露皮肤、脂肪、肌肉、骨骼或其他解剖结构的层。虚拟组织模型可被分割，这可允许示出、暴露虚拟组织模型的不同层(皮肤、脂肪、肌肉和骨骼)，并且由佩戴MR学生装置12704的学生或佩戴MR教员装置12702的教员对所述不同层进行操纵。MR学生装置12704可执行手指跟踪和手部跟踪以示出虚拟组织模型上的虚拟切割或其他操纵。人类肩部的物理模型或虚拟组织模型可用于肩部外科手术教学，并且类似地，人类脚踝的物理模型或虚拟组织模型可用于脚踝外科手术教学。其他类型的物理模型或虚拟组织模型(手指、肘部、膝盖、背部、颈部等)也可用于推进相对于身体的其他部分的骨科外科手术教学。
当相对于物理模型、尸体或虚拟组织模型呈现虚拟元素时，可能期望确保虚拟元素匹配物理模型、尸体或虚拟模型的元素。因此，可能期望知晓物理模型、尸体或虚拟组织模型的实际物理尺寸，所述实际物理尺寸可通过扫描或成像来获得。因此，可能期望具有基于物理模型的扫描或图像而产生或定义的虚拟元素。这可确保虚拟元素可匹配并适当地配准到物理模型、尸体或虚拟模型。另外，在教学环境中，具有带有匹配物理模型的对应的虚拟元素的许多相同的物理模型可能是有用的。在此情况下，不同的学生可借助于基于相同的物理模型的解剖结构而精确地定义的虚拟元素和虚拟引导在各个相同的物理模型上执行实际操纵。
在一些实例中，系统包括：解剖元素的多个物理模型，其中多个物理模型基本上是相同的；以及计算机可读介质，所述计算机可读介质包括指令，所述指令在由可视化装置执行时致使可视化装置相对于物理模型中的一者呈现与解剖骨科外科手术相关联的虚拟元素，其中虚拟元素包括解剖元素的在大小和形状上与物理模型基本上相同的虚拟表示。
在一些实例中，系统可包括供不同的学生或教员借助于混合现实物理地使用的多个物理模型。例如，系统可包括解剖元素的多个物理模型，其中多个物理模型基本上是相同的。所述系统可包括第一可视化装置，所述第一可视化装置被配置为向第一用户显示第一混合现实呈现，其中第一混合现实呈现包括在第一用户佩戴第一装置时可由第一用户控制的一个或多个第一虚拟元素，并且其中一个或多个第一虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的第一3D虚拟表示，并且其中第一3D虚拟表示相对于多个物理模型中的第一物理模型定位。此外，所述系统可包括第二可视化装置，所述第二可视化装置被配置为向第二用户显示第二混合现实呈现，其中第二混合现实呈现包括在第二用户佩戴第二装置时可由第二用户控制的一个或多个第二虚拟元素，并且其中一个或多个第二虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的第二3D虚拟表示，并且其中第二3D虚拟表示相对于多个物理模型中的第二物理模型定位。在此实例中，第一可视化装置和第二可视化装置可由学生或教员使用，并且每个用户(学生和/或教员)可具有其自身的物理模型，以及相对于其自身的物理模型示出的其自身的混合现实呈现。在一些实例中，物理模型可基于实际患者或尸体解剖元素的图像或分段而产生。在此情况下，可3D打印物理模型以产生多个相同的3D模型，并且可基于实际患者或尸体解剖元素的相同的图像或分段而定义虚拟元素。学生和教员可在其自身的物理模型(其为实际患者或尸体解剖结构的3D表示)上执行试验外科手术步骤，并且可相对于不同的物理模型通过由学生和教员佩戴的可视化装置呈现混合现实虚拟元素或虚拟模型。
在这些和其他实例中，MR教学内容12706可能可用于对医师进行关于如何执行骨科关节修复手术的步骤的培训，所述骨科关节修复手术诸如为各种肩部外科手术(例如，诸如解剖或反向肩关节置换术手术)中的任一者，或者各种脚踝外科手术(例如，诸如脚踝关节置换术手术)中的任一者。因此，在这些实例中，佩戴MR学生装置12704的学生通常将是外科医生，但是其他学生也可能会受益于基于MR的教学。
在其他实例中，MR教学内容12706可包括说明配准过程的虚拟内容，所述配准过程用于将虚拟模型配准到患者的实际解剖特征、物理骨骼或软组织模型或者尸体特征。例如，MR教员装置12702和MR学生装置12704可被配置为执行配准过程以将虚拟模型配准到实际解剖特征，例如将关节盂的虚拟模型配准到诸如相应地来自尸体或合成骨骼模型的实际关节盂或物理模型。在此情况下，佩戴MR教员装置12702的教员可包括医疗装置技术人员。为了将虚拟模型配准到实际关节盂模型或物理模型，教员可指导佩戴MR学生装置12704的学生(例如，外科医生)来进行本公开中其他位置更详细描述的“设置”、“匹配”和“重新设置”的配准步骤，以将虚拟模型配准到患者的实际解剖特征。
在再一些其他实例中，MR教学内容12706可包括虚拟试验信息，例如，将经扩孔的骨骼的虚拟模型与植入物的虚拟模型进行比较以查明经扩孔的骨骼的虚拟模型是否已适当地成形来接纳植入物。换句话说，MR教学内容12706可包括呈植入物部件的虚拟模型的形式的虚拟元素，所述虚拟元素可相对于3D虚拟模型(例如，虚拟关节盂)，或者相对于关节盂的物理模型或尸体定位来查明虚拟植入物是否与虚拟的经扩孔的关节盂骨骼、物理模型或尸体骨骼配合。在此情况下，佩戴MR教员装置12702的教员可指导佩戴MR学生装置12704的学生进行扩孔过程。在一些情况下，学生可查看相对于经扩孔的骨骼的虚拟模型的虚拟植入物。在其他情况下，学生实际上可例如使用经由MR学生装置12704提供的虚拟术中引导来对尸体关节盂骨骼或模型关节盂骨骼执行扩孔过程，然后MR学生装置12704和MR教员装置12702可呈现植入物的虚拟模型。学生或教员之后可相对于经扩孔的骨骼或经扩孔的模型操纵植入物的虚拟模型的位置以查明植入物是否适当地配合。此过程可向学生提供关于肩部外科手术(作为一个实例为骨科外科手术任务)的扩孔过程的有用的培训，并且在此实例中，学生可包括医学生、外科医生或接受关于外科手术的培训的任何人员。类似的培训可能也可用于脚踝手术或其他相对复杂的骨科手术，从而允许学生在尸体的距骨和/或胫骨上练习MR引导的手术或手术步骤。
在其他实例中，MR教学内容12706可包括有助于诸如本公开中其他位置更详细描述的深度辅助元件的配准过程的信息。例如，如本公开中其他位置详细地描述的，深度辅助元件可用于协助诸如扩孔元件、钻孔元件或另一种其他工具作业钻头的工具作业钻头的深度计算。例如参考图80至图82所示和所述的配准过程可通过MR学生装置12704和MR教员装置12702来实现，以便对学生(例如，外科医生)进行关于如何执行配准过程的培训。在一些情况下，佩戴MR教员装置12702的教员可包括可对外科医生进行关于如何借助于深度辅助元件执行配准过程的培训的医疗装置技术人员。
在其他实例中，MR教学内容12706可包括关于外科手术工具或植入物部件选择的虚拟信息或者虚拟辅助，诸如标识用于骨科外科手术中的工具或植入物部件的虚拟元素。事实上，本公开描述了可由可视化装置呈现以便协助护士或其他外科手术参与者进行工具选择的虚拟元素的许多实例。此类技术和工具可能也可用于教学系统12701中。在此类情况下，MR学生装置12704可由护士或医疗助手佩戴，并且MR教员装置12702可由对护士进行关于外科手术和工具选择的培训的人员佩戴。MR学生装置12704和MR教员装置12702可为护士培训呈现类似于本公开中其他位置描述来供护士在实际外科手术中使用的那些的MR可视化。关于外科手术的包括针对护士的工具选择培训的教学培训可帮助改进外科手术。
在一些实例中，MR教学内容12706可能涉及外科手术的计划，并且可包括植入物部件大小、位置、角度，扩孔轴，扩孔轮廓，切割平面或其他特征，使得学生可看到对关节盂的扩孔，以及通过切割肱骨骨骼并放置肱骨植入物而实现的特定植入物的放置，所述特定植入物具有所选大小、位置、角度(例如，针对不同的手术，诸如解剖或反向肩关节置换术)。佩戴MR学生装置12704的学生可针对具有特定类型问题的特定虚拟肩部模型练习计划外科手术，并且佩戴MR教员装置12702的教员可对学生进行关于多种不同的肩部模型的培训，所述多种不同的肩部模型表示不同的肩部问题、不同的肩部分类和/或待计划的不同类型的外科手术。
在其他实例中，MR教学内容12706可包括关于使用包括闭环控制的自动化工具的虚拟培训信息或虚拟视觉辅助。例如，本文中已描述了用于骨科外科手术中的自动化工具，由此工具可基于工具的使用而自动地启用或禁用。作为一个实例，已描述了一旦工具已执行完其功能就可自动地禁用的闭环控制工具(诸如一旦实现期望的扩孔深度就被禁用的扩孔钻)。关于此类工具的使用的教学培训对于外科医生而言可能是有用的。因此，在一些实例中，MR学生装置12704和MR教员装置12702可呈现示出或展示工具使用的虚拟元素，以及一旦工具已执行完其功能就实现的工具禁用。
在再一些其他实例中，MR教学内容12706可包括MR外科手术工作流引导信息，诸如由MR学生装置12704和MR教员装置12702呈现的逐步骤工作流或检查清单。佩戴MR学生装置12704的学生可观看佩戴MR教员装置12702的外科医生执行手术时呈现的虚拟工作流。例如，MR学生装置12702可产生包含虚拟检查清单项目的MR可视化。在一些情况下，呈现给佩戴MR学生装置12704的学生的虚拟工作流可能不同于(可能更显著)呈现给佩戴MR教员装置12702的外科医生的虚拟工作流。这可允许学生在进行手术时更好地了解外科手术并且接受与所述外科手术有关的更好的教学。在此实例中，学生可为医学生，或者可能为正在接受另一个外科医生(即，教员外科医生)的培训的外科医生(即，学生外科医生)。
在其他实例中，MR教学内容12706可包括与运动范围有关的虚拟信息。在此情况下，佩戴MR教员装置12702的医师或外科医生可通过显示与诸如肩部外科手术的骨科外科手术相关联的运动范围信息的虚拟演示来对佩戴MR学生装置12704的患者进行教学。另外，包括运动范围信息的MR教学内容12706可能还可用于对外科医生、医学生或其他人进行关于与外科手术步骤相关联的运动范围影响的培训。例如，MR教学内容12706可包括指示与特定植入物的植入相关联的运动范围(或运动范围损失)的运动范围信息。如果例如不正确大小或定位的植入物被植入患者体内，则这可能会对运动范围具有负面影响。MR教员装置12702和MR学生装置12704可呈现示出与特定植入物相关联的可能的运动范围结果的运动范围可视化。在此情况下，例如，MR教学内容12706可包括虚拟地示出期望的运动范围内的可能的撞击点的运动范围信息或运动范围演示，其中撞击可能是由不正确大小或定位的植入物引起的。在一些情况下，MR教学内容12706可包括因植入物在患者体内的放置所致的可能的撞击点的虚拟标记。
在其他实例中，MR教学内容12706可包括虚拟术前动画，所述虚拟术前动画例如可示出与任何给定植入或植入程序相关联的期望的结果或问题。例如，MR教员装置12702和MR学生装置12704可呈现示出与不正确大小的植入物的植入相关联的可能撞击的虚拟动画。类似地，MR教员装置12702和MR学生装置12704可呈现示出与正确大小的植入物的植入相关联的期望的结果的虚拟动画。在一些情况下，MR教员装置12702和MR学生装置12704可向教员和学生呈现即时虚拟反馈，所述即时虚拟反馈展示或示出与特定植入物或特定植入程序相关联的后果(例如，期望的结果，或者不期望的撞击或运动范围损失)。
图127的教学系统12701是可展示骨科外科手术的至少一个方面的系统的一个实例。第一装置(例如，MR教员装置12702)可被配置为向第一用户(即，教员)显示呈现，其中呈现包括在第一用户佩戴第一装置时可由第一用户控制的一个或多个虚拟元素，其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。第二装置(例如，MR学生装置12704)也可被配置为向第二用户显示呈现，其中一个或多个虚拟元素还包括相对于3D虚拟表示的一个或多个虚拟术前计划元素、相对于3D虚拟表示的一个或多个虚拟外科手术引导特征或者在3D虚拟表示上虚拟地示出的一个或多个外科手术结果，以便展示骨科外科手术的至少一个方面。例如，展示骨科外科手术的至少一个方面可包括呈现相对于3D虚拟表示的虚拟术前计划元素，呈现相对于3D虚拟表示的一个或多个虚拟外科手术引导特征，和/或呈现在3D虚拟表示上虚拟地示出的一个或多个外科手术结果，以便展示骨科外科手术的至少一个方面。
在第一用户佩戴第一装置时可由第一用户控制并在第二用户佩戴第二装置时可由第二用户查看的一个或多个虚拟元素可有助于关于骨科外科手术的教学。MR教学内容12706可包括在第一用户佩戴第一装置(例如，MR教员装置12702)时可由第一用户控制并在第二用户佩戴第二装置(例如，MR学生装置12704)时可由第二用户查看的一个或多个虚拟元素。一个或多个虚拟元素可包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。在一些实例中，一个或多个虚拟元素可示出相对于3D虚拟表示的虚拟切割轴。在一些实例中，一个或多个虚拟元素可示出相对于3D虚拟表示的虚拟扩孔轴。在一些实例中，一个或多个虚拟元素可示出相对于3D虚拟表示的虚拟钻孔轴。在一些实例中，一个或多个虚拟元素可示出虚拟夹具或引导件相对于3D虚拟表示的放置。在一些实例中，一个或多个虚拟元素可示出相对于虚拟夹具或引导件的虚拟轴。在一些实例中，一个或多个虚拟元素可包括相对于3D虚拟表示呈现的外科手术引导信息。在一些实例中，一个或多个虚拟元素可示出用于将3D虚拟表示配准到物理模型或尸体的对应特征的配准过程。在一些实例中，一个或多个虚拟元素可包括与为植入物部件准备的植入位置相关联的试验信息。在一些实例中，一个或多个虚拟元素可示出用于配准深度辅助元件的配准过程。在一些实例中，一个或多个虚拟元素可包括关于使用包括闭环控制的自动化工具的虚拟培训信息或虚拟视觉辅助。在一些实例中，一个或多个虚拟元素可包括与运动范围有关的虚拟信息。在一些实例中，一个或多个虚拟元素可包括虚拟术前动画。在一些实例中，一个或多个虚拟元素可示出相对于3D虚拟表示的一个或多个虚拟植入物部件。
图128是包括MR教员装置12802和多个MR学生装置12804A和12804B至12804N(统称为学生装置12804)的教学系统12801的概念框图。MR教员装置12802和MR学生装置12804各自可包括可视化装置213，贯穿本公开对所述可视化装置进行了详细描述。MR教员装置12802可向教员呈现用于骨科外科手术教学的MR教学内容12806。类似地，MR学生装置12804可向学生呈现用于骨科外科手术教学的类似的MR教学内容12806。MR教学内容12806连同佩戴MR教员装置12802的教员的教导一起可帮助对佩戴MR学生装置12804的学生进行教学。
MR教学内容12806可包括与图127所示和所述的MR教学内容12706类似或相同的内容。此外，MR教学内容12806可包括本公开中其他位置公开的MR内容中的任一者，所述MR内容也可用于外科手术引导、外科手术计划、术后分析或其他原因。事实上，MR教学内容12806可包括本文描述的各种各样的MR内容中的任一者。在一些情况下，MR学生装置12804和/或MR教员装置12802可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置两者。
然而，正如其他实例一样，任何给定教学背景中使用的实际MR内容都可取决于接受教学的学生。例如，教学系统12801可用于对医师、医学生、技术人员、护士、医师助手或骨科医疗手术中可能涉及的任何其他人员(诸如患者、看护人、监护人、家人或其他人)进行教学或培训。可选地，教学系统12801可用于对患者、家人和朋友进行与将对患者执行的手术有关的教学。在再一些其他情况下，教学系统12801可用于对可能有兴趣或理由学习与骨科外科手术有关的一个或多个细节的研究员或任何其他人员进行教学。根据图128，与MR学生装置12804相关联的多个学生可受益于使用MR教员装置12802的教员的教学。
图128的教学系统12801是可展示骨科外科手术的至少一个方面的系统的另一个实例。第一装置(例如，MR教员装置12802)可被配置为向第一用户(即，教员)显示呈现，其中呈现包括在第一用户佩戴第一装置时可由第一用户控制的一个或多个虚拟元素，并且其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。第二装置(例如，MR学生装置12804中的一者)也可被配置为向第二用户显示呈现。一个或多个虚拟元素还可包括相对于3D虚拟表示的一个或多个虚拟术前计划元素、相对于3D虚拟表示的一个或多个虚拟外科手术引导特征或者在3D虚拟表示上虚拟地示出的一个或多个外科手术结果，以便展示骨科外科手术的至少一个方面。
对于肩部外科手术教学实例，一个或多个解剖特征的形成MR教学内容12806的一部分的虚拟表示可包括人类肩部的3D虚拟模型。作为另一个实例，一个或多个解剖特征的形成MR教学内容12806的一部分的虚拟表示可包括肱骨头的3D虚拟图示或关节盂的3D虚拟图示。然而，对于其他类型的骨科外科手术教学实例，可在MR教学内容12806中呈现不同类型的虚拟3D模型或解剖特征。例如，脚踝外科手术教学可涉及人类脚踝的3D虚拟图示或者距骨和/或胫骨的3D虚拟图示的呈现。
在第一用户佩戴第一装置时可由第一用户控制并在第二用户佩戴第二装置时可由第二用户查看的一个或多个虚拟元素可有助于关于骨科外科手术的教学。MR教学内容12806可包括在第一用户佩戴第一装置(例如，MR教员装置12802)时可由第一用户控制并在第二用户佩戴第二装置(例如，MR学生装置12804中的一者)时可由第二用户查看的一个或多个虚拟元素。一个或多个虚拟元素可包括上文相对于图127的MR教学内容12706描述的那些中的任一者(或上文描述的那些的组合)。
图129是教学系统12901的概念框图。教学系统12901包括MR/VR学生装置12904，所述MR/VR学生装置12904各自可包括混合现实装置，诸如贯穿本公开详细描述的可视化装置213，或者仅呈现虚拟信息而不呈现真实世界视图的虚拟现实装置。MR/VR学生装置12904可向学生呈现用于骨科外科手术教学的MR/VR(混合现实或虚拟现实)教学内容12906。然而，在此实例中，MR/VR教学内容12906包括化身教员12902。
在图129的实例中，MR/VR教学内容可包括由预记录化身教员12902呈现的预记录内容。MR学生装置12904的用户可从菜单或清单选择内容，并且可经由MR学生装置12904查看内容。在一些情况下，MR学生装置12904可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置。
类似于图127的MR教学内容12706和图128的MR教学内容12806，图129所示的MR/VR教学内容12906可包括本公开中其他位置公开的虚拟内容中的任一者。例如，MR/VR教学内容12906可包括本文描述的各种各样的内容中的任一者，诸如包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示的一个或多个虚拟元素。除了3D虚拟表示(例如，人类肩部的虚拟模型、关节盂或关节盂表面的虚拟模型或者肱骨骨骼或肱骨头的虚拟模型)之外，MR/VR教学内容12906还可包括额外的虚拟内容。这种额外的虚拟内容可包括上文相对于图127的MR教学内容12706描述的内容虚拟内容或虚拟元素中的任一者(或此类虚拟元素的组合)。
然而，正如其他实例一样，任何给定教学背景中使用的实际内容都可取决于接受教学的学生。例如，教学系统12901可用于对医师、医学生、技术人员、护士、医师助手或骨科医疗手术中可能涉及的任何其他人员(诸如患者、看护人、监护人、家人或其他人)进行教学或培训。然而，在许多情况下，教学系统12901可能可用于对患者、家人和朋友进行与将对患者执行的手术有关的教学。例如，MR/VR教学内容12906可包括存储在服务器上的可供佩戴MR/VR学生装置12904的用户访问的虚拟信息。预记录的骨科外科手术内容可能尤其可用于对非专家用户，诸如患者、患者的家人和朋友进行教学。
图130是可能可用于远程教学环境的教学系统13001的概念框图。在图130所示的实例中，教员相对于学生可能位于远处，并且教员可佩戴VR教员装置13002，所述VR教员装置13002可包括虚拟现实装置。学生可经由MR/VR学生装置13004A和13004B至13004N(统称为MR/VR学生装置13004)与教员进行交互。
MR/VR学生装置13004各自可包括混合现实装置，诸如贯穿本公开详细描述的可视化装置213，或者仅呈现虚拟信息而不呈现真实世界视图的虚拟现实装置。MR/VR学生装置13004可向每个学生呈现用于骨科外科手术教学的MR/VR(混合现实或虚拟现实)教学内容13006。类似于图127的MR教学内容12706和图128的MR教学内容12806，以及图128的MR/VR教学内容12906，图130的MR/VR教学内容13006可包括本公开中其他位置公开的虚拟内容中的任一者。在一些情况下，MR/VR学生装置13004和/或VR教员装置13002可包括向用户呈现虚拟元素的可视化装置，以及向同一个用户提供基于触摸的信息的触觉装置两者。
用于骨科外科手术教学的MR/VR教学内容13006可包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。除了3D虚拟表示(例如，人类肩部的虚拟模型、关节盂或关节盂表面的虚拟模型或者肱骨骨骼或肱骨头的虚拟模型)之外，MR/VR教学内容13006还可包括额外的虚拟内容。这种额外的虚拟内容可包括一个或多个额外的虚拟元素，诸如上文相对于图127的MR教学内容12706描述的那些中的任一者(或上文描述的那些的组合)。
然而，正如其他实例一样，任何给定教学背景中使用的实际内容都可取决于接受教学的学生。例如，教学系统13001可用于对医师、医学生、技术人员、护士、医师助手或骨科医疗手术中可能涉及的任何其他人员(诸如患者、看护人、监护人、家人或其他人)进行教学或培训。此外，虚拟现实(例如，VR教员装置13002)的使用可允许教员相对于学生位于远处。在此实例中，学生可使用混合现实或虚拟现实(例如，MR/VR学生装置13004)来与佩戴VR教员装置13002的教员进行交互，并且查看MR/VR教学内容13006，所述MR/VR教学内容可由教员选择、呈现或以其他方式指派给学生。
图130的教学系统13001是可展示骨科外科手术的至少一个方面的系统的另一个实例。第一装置(例如，VR教员装置13002)可被配置为向第一用户(即，教员)显示呈现，其中呈现包括可由佩戴第一装置的第一用户控制的一个或多个虚拟元素，并且其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。第二装置(例如，MR/VR学生装置13004中的一者)也可被配置为向第二用户显示呈现。一个或多个虚拟元素还可包括相对于3D虚拟表示示出的一个或多个虚拟术前计划元素、相对于3D虚拟表示示出的一个或多个虚拟外科手术引导特征或者在3D虚拟表示上虚拟地示出的一个或多个外科手术结果，以便展示骨科外科手术的至少一个方面。
可由佩戴第一装置的第一用户控制并可由佩戴第二装置的第二用户查看的一个或多个虚拟元素可有助于关于骨科外科手术的教学。例如，MR/VR教学内容13006可包括本文描述的各种各样的内容中的任一者，并且可包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。除了3D虚拟表示(例如，人类肩部的虚拟模型、关节盂或关节盂表面的虚拟模型或者肱骨骨骼或肱骨头的虚拟模型)之外，MR/VR教学内容13006还可包括额外的虚拟内容。这种额外的虚拟内容可包括相对于图127的MR教学内容12706描述的虚拟元素中的任一者(或组合)。
图131是可能可用于远程教学环境的教学系统，例如教学系统13101的另一个概念框图。在此实例中，教员可佩戴MR教员装置13102来向各种学生呈现MR/VR教学内容13106。第一学生可佩戴MR学生装置13104A，诸如贯穿本公开详细描述的可视化装置213。第一学生和教员可能物理地位于同一个房间中，以有助于共享MR体验。然而，第二学生相对于教员可能位于远处并且可佩戴VR学生装置13104B来参与教学活动。VR学生装置13104B可仅呈现虚拟信息，而不呈现真实世界视图。在一些情况下，教员和其他学生(例如，佩戴MR教员装置13102的教员和佩戴MR学生装置13104A的第一学生)可作为化身呈现在VR学生装置13104B的VR呈现中，由此即使与VR学生装置13104B相关联的学生位于远处，仍然给出学生和教员全都位于同一个房间中的感觉。类似地，第二学生也可作为化身呈现给佩戴MR教员装置13102的教员和佩戴MR学生装置13104A的第一学生。图131还示出了MR/VR学生装置N13104N，这通常意味着在教学会话期间可存在任何数量的MR或VR参与者。在一些情况下，MR装置可由相对于彼此位于远处的参与者使用，在此情况下，用户可共享虚拟元素的视图，而不共享相同的真实世界视图。
类似于图127、图128、图129和图130所示的实例，在图131的实例中，MR/VR教学内容13106可包括本公开中其他位置公开的虚拟内容中的任一者，诸如包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示的一个或多个虚拟元素。除了3D虚拟表示(例如，人类肩部的虚拟模型、关节盂或关节盂表面的虚拟模型或者肱骨骨骼或肱骨头的虚拟模型)之外，MR/VR教学内容13006还可包括额外的虚拟内容。这种额外的虚拟内容可包括相对于3D虚拟表示呈现的一个或多个虚拟元素，并且可包括上文相对于图127的MR教学内容12706描述的那些中的任一者(或上文描述的那些的组合)。另外，在一些情况下，学生装置13104和/或MR教员装置13102可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置两者。
然而，正如其他实例一样，任何给定教学背景中使用的实际内容都可取决于接受教学的学生。例如，教学系统13101可用于对医师、医学生、技术人员、护士、医师助手或骨科医疗手术中可能涉及的任何其他人员(诸如患者、看护人、监护人、家人或其他人)进行教学或培训。此外，虚拟现实(例如，VR学生装置13104B)的使用可允许学生中的一者或多者相对于教员位于远处，所述教员在此实例中佩戴MR教员装置MR教员装置13102。然而，同时，教员可能能够查看诸如佩戴MR学生装置13104B的学生的任何本地学生并且与之交互。
图131的教学系统13101是可展示骨科外科手术的至少一个方面的系统的另一个实例。第一装置(例如，MR教员装置13102)可被配置为向第一用户(即，教员)显示呈现，其中呈现包括可由佩戴第一装置的第一用户控制的一个或多个虚拟元素，并且其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。第二装置(例如，MR学生装置13104A或VR学生装置13104B)也可被配置为向第二用户显示呈现。一个或多个虚拟元素还可包括相对于3D虚拟表示示出的一个或多个虚拟术前计划元素、相对于3D虚拟表示示出的一个或多个虚拟外科手术引导特征或者在3D虚拟表示上虚拟地示出的一个或多个外科手术结果，以便展示骨科外科手术的至少一个方面。
可由佩戴第一装置的第一用户控制并可由佩戴第二装置的第二用户查看的一个或多个虚拟元素可有助于关于骨科外科手术的教学。MR教学内容13106可包括可由佩戴第一装置(例如，MR教员装置13102)的第一用户控制并可由佩戴第二装置(例如，MR学生装置13104A或MR学生装置13104B)的第二用户查看的一个或多个虚拟元素。
图132和图133是将混合现实和虚拟现实用于骨科外科手术教学的其他教学系统13201和13301的概念框图。在图132的实例中，多个教员佩戴MR/VR教员装置13202A和13202B至13202N(统称为MR/VR教员装置13202)。此外，在图132的实例中，多个学生佩戴MR/VR学生装置13204A和13204B至13204N(统称为MR/VR学生装置13204)。在此实例中，参与者(教员或学生)中的任一者都可使用混合现实或虚拟现实来参与教学会话。也就是说，MR/VR教员装置13202和MR/VR学生装置13204中的任一者可包括混合现实装置，诸如可视化装置213，或者可选地，MR/VR教员装置13202和MR/VR学生装置13204可包括仅呈现虚拟信息的虚拟现实装置，在此情况下，呈现给佩戴混合现实装置的用户的真实世界信息可作为虚拟信息呈现给佩戴虚拟现实装置的用户。此外，佩戴混合现实装置的MR用户可作为化身呈现给佩戴虚拟现实装置的VR用户，并且佩戴虚拟现实装置的VR用户可作为化身呈现给佩戴混合现实装置的MR用户。
图133的实例有点类似于图132的实例。在图133的实例中，第一教员佩戴MR教员装置13302A，并且第二教员佩戴VR教学装置13302B。此外，在图133的实例中，第一学生佩戴MR学生装置13304A，并且第二学生佩戴VR学生装置13304B。如通常由MR/VR教员装置N 13302N和MR/VR学生装置N 13304N所示，还可能存在使用混合现实或虚拟现实的额外的教员或学生。一般而言，任何MR装置(例如，MR教员装置13302A和MR学生装置13304B)使用混合现实，而任何VR装置(例如，VR教员装置13302B或VR学生装置13304)使用虚拟现实。
根据图133所示的实例，由佩戴混合现实装置(诸如MR教员装置13302A和MR学生装置13304A)的用户查看到的真实世界信息或对象可作为虚拟信息呈现给佩戴虚拟现实装置(诸如VR教员装置13302B和VR学生装置13304B)的用户。例如，MR教员装置13302A的用户可查看真实世界对象(诸如尸体)，并且所述真实世界对象可作为虚拟对象呈现给VR装置(诸如VR教员装置13302B和VR学生装置13304B)。此外，佩戴混合现实装置的MR用户可作为化身呈现给佩戴虚拟现实装置的VR用户，并且佩戴虚拟现实装置的VR用户可作为化身呈现给佩戴混合现实装置的MR用户。
类似于图127、图128、图129、图130和图131所示的其他实例，在图132和图133的实例中，MR/VR教学内容13206或13306可包括本公开中其他位置公开的虚拟内容中的任一者。例如，MR/VR教学内容13206可包括本文描述的各种各样的内容中的任一者，诸如包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示的一个或多个虚拟元素。除了3D虚拟表示(例如，人类肩部的虚拟模型、关节盂或关节盂表面的虚拟模型或者肱骨骨骼或肱骨头的虚拟模型)之外，MR/VR教学内容13206还可包括额外的虚拟内容。这种额外的虚拟内容可包括上文相对于图127的MR教学内容12706描述的虚拟元素中的任一者(或上文描述的那些的组合)。另外，在一些情况下，学生装置13304、13404和/或教员装置13302、13402各自可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置两者。
然而，再次，任何给定教学背景中使用的实际内容都可取决于接受教学的学生。例如，教学系统13201或13301可用于对医师、医学生、技术人员、护士、医师助手或骨科医疗手术中可能涉及的任何其他人员(诸如患者、看护人、监护人、家人或其他人)进行教学或培训。此外，虚拟现实(例如，VR教员装置13302B或VR学生装置13304B)的使用可允许学生和教员中的一者或多者相对于彼此位于远处。同时，混合现实(例如，MR教员装置13302A或MR学生装置13304A)的任何用户可能能够查看使用混合现实的其他本地参与者并且与之交互。
图132的教学系统13201是可展示骨科外科手术的至少一个方面的系统的另一个实例。第一装置(例如，MR/VR教员装置13202中的一者)可被配置为向第一用户(即，教员)显示呈现，其中呈现包括可由佩戴第一装置的第一用户控制的一个或多个虚拟元素，并且其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。第二装置(例如，MR/VR学生装置13204中的一者)也可被配置为向第二用户显示呈现。一个或多个虚拟元素还可包括相对于3D虚拟表示示出的一个或多个虚拟术前计划元素、相对于3D虚拟表示示出的一个或多个虚拟外科手术引导特征或者在3D虚拟表示上虚拟地示出的一个或多个外科手术结果，以便展示骨科外科手术的至少一个方面。
可由佩戴第一装置的第一用户控制并可由佩戴第二装置的第二用户查看的一个或多个虚拟元素可有助于关于骨科外科手术的教学。MR教学内容13206可包括可由佩戴第一装置(例如，MR/VR教员装置13202中的一者)的第一用户控制并可由佩戴第二装置(例如，MR/VR学生装置13204中的一者)的第二用户查看的一个或多个虚拟元素。
图133的教学系统13301是可展示骨科外科手术的至少一个方面的系统的另一个实例。第一装置(例如，MR教员装置13302A或VR教员装置13302B)可被配置为向第一用户(即，教员)显示呈现，其中呈现包括可由佩戴第一装置的第一用户控制的一个或多个虚拟元素，并且其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。第二装置(例如，MR学生装置13304A或VR学生装置13304B)也可被配置为向第二用户显示呈现。一个或多个虚拟元素还可包括相对于3D虚拟表示显示或示出的一个或多个虚拟术前计划元素、相对于3D虚拟表示显示或示出的一个或多个虚拟外科手术引导特征或者在3D虚拟表示上虚拟地示出的一个或多个外科手术结果，以便展示骨科外科手术的至少一个方面。
可由佩戴第一装置的第一用户控制并可由佩戴第二装置的第二用户查看的一个或多个虚拟元素可有助于关于骨科外科手术的教学。MR教学内容13306可包括可由佩戴第一装置(例如，MR教员装置13302A或VR教员装置13302B)的第一用户控制并可由佩戴第二装置(例如，MR学生装置13304A或VR学生装置13304)的第二用户查看的一个或多个虚拟元素。在各种实例中，一个或多个虚拟元素可包括上文相对于图127的MR教学内容12706描述的那些中的任一者(或上文描述的那些的组合)。
图134是将混合现实和/或虚拟现实用于骨科外科手术教学的教学系统，例如教学系统13401的另一个概念框图。在图134的实例中，教员佩戴MR/VR教员装置13402，并且多个学生佩戴MR/VR学生装置13404A和13404B至13404N(统称为MR/VR学生装置13404)。在此实例中，参与者(教员或学生)中的任一者都可使用混合现实或虚拟现实来参与教学会话。也就是说，MR/VR教员装置13402和MR/VR学生装置13404中的任一者可包括混合现实装置，诸如可视化装置213，或者可选地，MR/VR教员装置13402和MR/VR学生装置13404可包括仅呈现虚拟信息的虚拟现实装置，在此情况下，呈现给佩戴混合现实装置的用户的真实世界信息可作为虚拟信息呈现给佩戴虚拟现实装置的用户，并且虚拟信息可以是基于由MR装置的用户查看到的真实世界对象。MR/VR教学内容13406可包括本公开中其他位置公开的虚拟内容中的任一者，诸如相对于图127至图133或本公开中其他位置描述的教学内容中的任一者。此外，在图134所示的实例下，MR/VR教学内容13406可包括将由学生和教员使用和操纵的多个不同的虚拟模型，这在图13408中示出为教员模型13408和学生模型13405A和13405B至13405N(统称为学生模型13405)。用于学生和教员的分开的虚拟模型可包括虚拟内容，诸如虚拟模型的学生和教员拷贝(例如，人类肩部的3D虚拟模型的学生和教员拷贝、人类肩部的区段的3D虚拟模型的学生和教员拷贝、肱骨头的3D虚拟图示的学生和教员拷贝、或者关节盂的3D虚拟图示的学生和教员拷贝)。此外，虚拟学生和教员内容可包括相对于此类虚拟模型13408和13405呈现的额外的虚拟元素。
教学系统13401可能可用于展示骨科外科手术的至少一个方面。系统13401可包括第一装置(例如，MR/VR教员装置13402)，所述第一装置被配置为向第一用户显示呈现，其中呈现包括呈解剖元素的3D虚拟图示的形式的教员模型13408，其中教员模型13408可由佩戴第一装置的第一用户(即，教员)控制。系统13401还可包括第二装置(例如，MR/VR学生装置13404中的一者)，所述第二装置被配置为向第二用户(例如，学生中的一者)显示呈现，其中呈现也包括呈解剖元素的额外的3D虚拟图示的形式的学生模型13405中的一者，其中学生模型(模型13405中的一者)可由佩戴第一装置的第二用户(即，学生中的一者)控制。
除了解剖元素的3D虚拟图示之外，教员模型13408还可包括额外的虚拟元素(诸如上文相对于图127至图133描述的那些中的一者多者)以展示骨科外科手术的至少一个方面。此外，学生模型13405A、13405B或13405N同样可包括此类额外的虚拟元素(类似于上文相对于图127至图133描述的那些中的一者或多者)。换句话说，可相对于学生模型13405A、13405B或13405N和教员模型13408呈现额外的虚拟元素，并且此类虚拟元素可包括本公开中其他位置公开和描述的虚拟元素中的任一者，诸如上文相对于图127的MR教学内容12706描述的那些中的任一者(或上文描述的那些的组合)，或者本公开中其他位置描述的虚拟元素。另外，在一些实例中，MR/VR学生装置13404和/或MR/VR教员装置13402可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置两者。
用于不同学生的分开的虚拟模型的使用对于骨科外科手术教学而言可能是高度有用的。在一些实例中，教员模型13408可包括解剖特征的虚拟模型，所述虚拟模型可配准到实际骨骼或软组织模型(诸如骨骼的人造模型或尸体的实际骨骼)。类似地，在一些实例中，学生模型13405可包括解剖特征的虚拟模型，所述虚拟模型可配准到对应的物理模型或尸体骨骼。然而，在其他实例中，教员模型13408和学生模型13405可在不需要任何物理模型或尸体的情况下用于教学。如果虚拟模型被配准到实际物理模型或尸体，则MR通常将用于将虚拟元素(诸如虚拟模型)与包括实际物理模型或尸体的真实世界视图组合。
佩戴MR/VR教员装置13402的教员可操纵教员模型13409以向学生提供引导和指导。学生之后可基于教员的实例和教导而尝试适当地操纵学生模型13405。佩戴MR/VR教员装置13402的教员能够经由MR教员装置13402查看学生模型13405中的每一者。佩戴MR学生装置13404的学生可能能够查看其对应的学生模型(例如，学生装置1 13404A可能能够查看学生模型13405A，并且学生装置2 13404B可能能够查看学生模型13405B)。在一些情况下，学生装置13404可能能够查看与其他学生相关联的学生模型，并且在其他情况下，学生装置13404可能无法查看其他学生的学生模型。在任何情况下，针对教员和学生使用虚拟模型的不同拷贝可能因为允许每个学生对其对应的虚拟内容执行其自身的操纵而对骨科外科手术教学非常有用。操纵可包括本文描述的控制中的任一者，诸如虚拟3D元素的旋转、重新设定大小、重新定位或其他移动。此外，操纵可包括外科手术计划选择，诸如植入物、植入物大小、外科手术类型、肩部类型、肩部分类的选择或其他选择。另外，操纵可包括术前、术间或术后动画的启用或禁用。任何类型的虚拟控制、移动或虚拟选择都可被视为是对虚拟内容的操纵。在一些情况下，学生和/或教员可将教员模型13408与学生模型13405中的一者或多者进行比较，以评定学生是否执行正确的步骤并且校正对学生内容13405的操纵。
MR/VR学生装置13404可允许学生通过虚拟控制，诸如经由姿势、基于目光的控制、语音输入、此类虚拟控制的组合或可用于混合现实中的任何控制技术来操纵并控制其相应的学生模型13405。另外，手动小键盘输入、触摸屏输入、指针控制或其他类型的控制可由学生使用来操纵相应的学生模型13405。类似地，MR/VR教员装置13402可允许学生操纵并控制教员模型13408。
如所提及，教员模型13408和学生模型13405可包括解剖特征的虚拟模型，诸如示例关节盂骨骼或示例肱骨骨骼的虚拟模型。此外，教员模型13408和学生内容13405可包括被设计为协助可对解剖特征执行的外科手术步骤的额外的虚拟内容。例如，内容中的每一者可包括外科手术引导信息、配准内容、虚拟轴、平面或标记、虚拟夹具、关于外科手术工具的虚拟引导、虚拟植入物、虚拟工作流信息、虚拟运动范围信息、虚拟手术动画或其他虚拟信息。使用MR/VR学生装置13404，每个相应的学生可被允许操纵其相应的学生模型，例如执行外科手术步骤、外科手术准备、配准，设置用于钻孔或扩孔的轴，设置切割平面，放置虚拟夹具，选择工具，放置虚拟植入物，选择虚拟工作流，查看任何选择可能对运动范围所具有的影响等等。佩戴MR/VR教学装置13402的教员可相对于教员模型13408提供指导实例，并且佩戴MR/VR/学生装置13404的学生可尝试使用其自身的相应的学生内容(13405A、13405B或13405N)来模仿由教员执行的步骤。这种“亲自动手”培训对于有效地组织、安排和培训学生而言可能是非常有帮助的。模型(以及结果，诸如由虚拟运动范围信息所示)可被比较来相对于教员模型13408上的教员操纵的功效和效用评定相应的学生模型13405上的学生操纵的功效和效用。
图134所示的学生和教员模型在聚焦于外科手术计划和外科手术决策或选择的教学背景中可能也是非常有用的。不同的学生可选择外科手术类型(例如，解剖与反向肩关节置换术)，或者可在不同大小的外科手术工具或不同大小的外科手术植入物之间进行选择。教员可使用教员模型13402提供指导性引导和教导，并且可由教员通过观察并评论学生模型13405来评定学生选择和结果。
图148是示出虚拟教员模型和多个学生模型的概念图，这些模型在一些实例中可对应于图134所示的教员和学生模型。再次，尽管图148示出了肩部模型的实例，但是类似的教学技术也可用于其他关节，诸如脚踝，在此情况下，由教员和学生使用的模型将为脚踝或其部分的3D虚拟模型。如图148所示，使用MR或VR装置，教员能够通过虚拟控制，诸如经由姿势、基于目光的控制、语音输入或者可用于混合现实或虚拟现实中的任何控制技术来查看并操纵教员模型14801。另外，手动小键盘输入、触摸屏输入、指针控制、任何虚拟控制机制的组合或其他类型的控制可由教员使用来操纵教员模型14801。使用MR或VR装置，例如，教员可在空间中旋转教员模型14801、对所述教员模型重新设定大小，重新定位或以其他方式移动所述教员模型。此外，教员可显示骨骼在肩部臼窝内的解剖移动。示例教员模型14801包括肩部的3D模型，连同示出肩部植入物部件14803的虚拟3D表示的虚拟元素，以及示出可能由肩部植入部件14803引起的可能撞击点14805的虚拟元素。教员可能能够相对于关节盂旋转虚拟肱骨骨骼以显示肩部运动。教员还可能能够启用或禁用对可能被分割的不同的示出的元素的查看。尽管图148示出了呈具有植入物的肩部图示的形式的模型，但是任何类型的解剖元素、虚拟外科手术计划或虚拟结果都可根据本公开呈现为教员和学生模型，以便实现骨科外科手术的教学。
类似于教员操纵并控制教员模型14801的能力，使用MR或VR装置，学生可经由虚拟控制、姿势、基于目光的控制、语音输入、手动小键盘输入、触摸屏输入、指针控制、此类虚拟控制的组合或可用于混合现实或虚拟现实中的任何控制技术来操纵学生模型14802A、14802B和14802N(统称为学生模型14802)。类似于教员，例如，学生可在空间中旋转学生模型14802，对所述学生模型重新设定大小，重新定位或以其他方式移动所述学生模型。此外，学生可启用或禁用对学生模型14802的不同部件或分段的查看，引起肩部移动，启用或禁用对植入物14804A、14204B和14204N的查看，呈现其他植入物，启用或禁用对撞击处14806A、14806B和14806N的查看或者以其他方式操纵学生模型14802。再次，图148所示的模型是示例性说明形成教员模型14801和学生模型14802的一些特定虚拟元素。本公开预期了可能可用于骨科外科手术教学的各种各样的3D模型，包括但不限于贯穿本公开描述的3D模型中的任一者。根据图134和图148，针对教员和学生呈现和使用不同模型在对学生进行关于骨科外科手术、骨科外科手术计划和预期结果方面的培训可能是非常有用的。
图135是将混合现实和/或虚拟现实用于骨科外科手术教学的教学系统，例如教学系统13501的另一个概念框图。在图135的实例中，教员佩戴MR/VR教员装置13502，并且多个学生佩戴MR/VR学生装置13504A和13405B至13405N(统称为MR/VR学生装置13504)。在此实例中，参与者(教员或学生)中的任一者都可使用混合现实或虚拟现实来参与教学会话。也就是说，MR/VR教员装置13502和MR/VR学生装置13504中的任一者可包括混合现实装置，诸如可视化装置213，或者可选地，MR/VR教员装置13502和MR/VR学生装置13504可包括仅呈现虚拟信息的虚拟现实装置，在此情况下，呈现给佩戴混合现实装置的用户的真实世界信息可作为虚拟信息呈现给佩戴虚拟现实装置的用户。MR/VR教学内容13506可包括本公开中其他位置公开的虚拟内容中的任一者，诸如相对于图127至图133或本公开中其他位置描述的教学内容中的任一者。另外，在一些情况下，MR/VR学生装置13504和/或MR/VR教员装置13502可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置两者。
在图135所示的实例下，MR教学内容13406可包括可指派模型13508。例如，佩戴MR/VR教学装置13502的教员可具有对可指派模型13508的控制，并且可能被允许将一般或特殊的操纵权指派给一个或多个学生，使得一个或多个学生能够在对其指派了操纵权的情况下控制并操纵可指派模型13508。因此，在此实例中，代替使用分开的教员和学生模型，在混合现实或虚拟现实呈现中呈现一个可指派模型13508。使用MR/VR教员装置13502，教员可操纵可指派模型13508，并且如果需要，则教员可将对可指派模型13508的控制指派给与MR/VR学生装置13504中的一者相关联的学生。在一些情况下，教员可提供对可指派模型13508的总控制权，并且在其他情况下，仅可将有限的操纵权指派给学生。例如，在一些情况下，教员可对学生指派选择植入物或进行一些其他术前、术间或术后选择的权利，但是移动、重新对准虚拟模型或对所述虚拟模型重新设定大小的能力可由教员保留并且不指派给学生。这种对操纵权的有限指派可能尤其可用于有多个学生查看相同的3D虚拟模型的教学背景。
教学系统13501可能可用于展示骨科外科手术的至少一个方面。系统13501可包括第一装置(例如，MR/VR教员装置13502)，所述第一装置被配置为向第一用户(即，教员)显示呈现，其中呈现包括一个或多个可指派虚拟元素(例如，可指派模型13508)。系统13501还可包括第二装置(例如，MR/VR学生装置13504中的一者)，所述第二装置被配置为向第二用户(即，学生中的一者)显示呈现。根据本实例，一个或多个可指派虚拟元素(例如，可指派模型13508)展示了骨科外科手术的至少一个方面，并且对一个或多个虚拟元素的控制能够从第一装置(例如，MR/VR教员装置13502)指派到第二装置(例如，MR/VR学生装置13504中的一者)。可指派模型13508例如可包括一个或多个解剖特征，诸如肩部或肩部的一部分的3D虚拟表示，或者本文描述的其他3D虚拟表示或虚拟模型中的任一者。
可指派模型13508可能可用于教学背景。佩戴MR/VR教员装置13502的教员可操纵可指派模型13508以向学生提供引导和指导。使用MR/VR教员装置13502，教员之后可诸如通过选择指派图标，或者使用目光和/或手部姿势以标识受指派学生来将对可指派虚拟模型13508的操纵权指派给佩戴MR/VR学生装置13504的一个或多个学生。一旦操纵权被指派给一个或多个学生，则一个或多个学生可能能够操纵可指派模型13508。佩戴MR/VR教员装置13502的教员以及佩戴MR/VR学生装置13504的学生中的每一者可能能够查看可指派模型13508，但是仅被教员授予操纵权的那些学生(或者被授予有限的操纵权或操纵权的子集的那些人)能够控制并操纵可指派模型13508。在将操纵权指派给某个学生之后，所述学生的操纵和控制可能能够被整个班级查看，或者可能仅能够被教员装置以及被给予操纵权的学生的学生装置查看。
由于允许学生在教员和其他学生的引导下对可指派模型进行操纵，因此对可指派模型13508的可指派的控制对于骨科外科手术教学可能是非常有用的。这可能相当于一次小组教学练习，其中不同的学生有机会在被班级人员观看的同时操纵可指派虚拟模型13508。
类似于本文描述的其他实例，可指派模型13508可包括解剖特征的虚拟模型，诸如示例关节盂骨骼或示例肱骨骨骼、或整个肩部的虚拟模型。此外，可指派模型13504可包括被设计为协助外科手术计划、外科手术步骤或可能对解剖特征执行的术后分析的额外的虚拟内容。例如，可指派模型13508可包括上文相对于图127的MR教学内容12706描述的虚拟元素中的任一者(或上文描述的那些的组合)。
使用MR/VR学生装置13504，一旦MR/VR教员装置13502授予控制，一个或多个学生就可被允许在班级面前操纵可指派虚拟模型13508，例如，执行外科手术步骤、外科手术准备、配准，设置用于钻孔或扩孔的轴，设置切割平面，放置虚拟夹具，选择工具，放置虚拟植入物，选择虚拟工作流，查看任何选择可能对运动范围所具有的影响等等。佩戴MR/VR教学装置13402的教员可提供指导性引导来对学生进行有效的培训。在针对每个给定学生完成并分析操纵之后，可指派虚拟模型13508可由MR/VR教员装置13502重新设置。结果(诸如由虚拟运动范围信息所示)可在学生之间比较来相对于其他学生对可指派虚拟模型13508的操纵的功效和效用评定可指派虚拟模型13508上的学生操纵的功效和效用。
在一些情况下，指派可指派模型13508的动作可能类似于在班级上对学生点名。佩戴MR/VR教学装置13502的教员可诸如通过从MR/VR教员装置13502的用户界面选择“指派”小工具，或通过使用手部姿势、基于目光的选择或这些选择技术的组合来向给定的学生授予用户控制或编辑权。在一些情况下，佩戴MR/VR教学装置的教员维持对可指派虚拟模型13508的控制以及操纵可指派虚拟模型13508的能力。然而，同时，佩戴MR/VR教学装置的教员可向一个或多个学生授予访问权，使得所述学生能够在虚拟班级面前对可指派虚拟模型13508执行步骤或程序。
在一些实例中，被配置为协助教员进行与骨科外科手术有关的教学的可视化装置213可包括：一个或多个处理器514，所述一个或多个处理器514被配置为产生一个或多个虚拟元素，产生一个或多个虚拟元素，其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示；以及屏幕520，所述屏幕520可包括透明的混合现实显示屏幕(诸如透视的全息透镜)，作为由教员针对一个或多个学生所进行的混合现实呈现的一部分，所述透明的混合现实显示屏幕被配置为呈现一个或多个虚拟元素。混合现实呈现被配置为促进对佩戴其他可视化装置的一个或多个学生的与骨科外科手术有关的指导，其中处理器514被配置为控制一个或多个虚拟元素，并且其中处理器514还被配置为将对一个或多个虚拟元素的控制指派给其他可视化装置的其他用户中的一者。在一些情况下，处理器514可响应于来自教员的输入而将控制指派给学生。在其他实例中，处理器514可被配置为基于来自一个或多个学生的输入而将控制指派给其他可视化装置(由学生佩戴)中的一者，其中其他可视化装置(由学生佩戴)向由教员佩戴的可视化装置213传达输入。
在各种实例中，由处理器514产生的一个或多个虚拟元素可包括上文相对于图127的MR教学内容12706描述的那些中的任一者(或上文描述的那些的组合)。
在一些实例中，可视化装置213可产生包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示的一个或多个虚拟元素，接收用户输入来控制一个或多个虚拟元素以进行与骨科外科手术有关的教学，并且接收用户输入来将对虚拟元素中的至少一些的控制指派给另一个装置。作为实例，一个或多个解剖特征的虚拟表示可包括人类肩部的3D虚拟模型，或肱骨头的3D虚拟图示或关节盂的3D虚拟图示，接收用户输入来控制一个或多个虚拟元素可包括由教员控制可视化装置213，并且相对于3D虚拟表示呈现外科手术计划的一个或多个步骤，然后在接收到用户输入之后，可视化装置213可将对虚拟元素中的至少一些的控制指派给其他装置，并且从其他装置(例如，学生装置)接收额外输入以相对于3D虚拟表示调整外科手术计划的一个或多个步骤。
图136是示出根据本公开的可由可视化装置执行的一般教学技术的流程图。可视化装置可包括本公开中详细描述的可视化装置213，并且可由任何类型的学生佩戴，诸如患者、外科医生、医师、医学生、技术人员、护士、医师助手、患者的亲戚、研究员或可能需要与骨科医疗手术有关的教学的任何其他人员。
如图136所示，可视化装置213呈现包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示的一个或多个虚拟元素(13601)。例如，佩戴可视化装置213的人员可查看患者的解剖特征的虚拟模型，诸如虚拟肩部模型、关节盂模型、肱骨骨骼模型或另一个解剖3D模型。可视化装置213之后可向佩戴可视化装置213的人员展示骨科外科手术的至少一个方面(13602)。在一些情况下，在可视化装置213上呈现一个或多个虚拟元素的动作(13601)可能对用户具有教学意义，以便展示骨科外科手术的至少一个方面(13602)。在其他情况下，在可视化装置213上展示骨科外科手术的至少一个方面的步骤(13602)可涉及在可视化装置213上对一个或多个虚拟元素进行一些类型的改变或操纵。在此类情况下，在可视化装置213上对一个或多个虚拟元素进行的这些改变或操纵可包括由佩戴不同的可视化装置或虚拟现实装置的教员实现的动画、可视化或可能演示。佩戴可视化装置213的学生可查看由教员执行的此类动画、可视化或演示，并且借助于呈现在可视化装置213上的一个或多个虚拟元素，学生可接受关于外科手术的一个或多个方面的教学。
除了呈现3D虚拟表示之外，作为实例，呈现一个或多个虚拟元素的动作(13601)还可包括呈现虚拟术前计划信息，呈现虚拟术间外科手术引导信息或呈现术后分析。可视化装置213可被配置为呈现包括上文相对于图127的MR教学内容12706描述的那些中的任一者(或上文描述的那些的组合)的一个或多个虚拟元素。由可视化装置213呈现的这种虚拟信息可帮助展示骨科外科手术的至少一个方面(13602)，诸如通过展示术前计划或其部分，展示术间外科手术步骤，或者提供术前、术间或术后分析来进行。
在一个实例中，可视化装置213可呈现呈相对于解剖模型或尸体的解剖特征呈现的引导信息的形式的一个或多个虚拟元素(13601)。在此情况下，外科手术引导信息可允许另一个可视化装置的用户使用由佩戴可视化装置213的学生查看到的演示来对佩戴可视化装置213的学生进行关于外科手术的培训。可能可用于呈现来展示外科手术的至少一个方面的示例虚拟元素(13601)可包括相对于合成关节盂模型或尸体的关节盂定位的扩孔轴。
在其他实例中，可视化装置213可呈现包括术前动画的一个或多个虚拟元素(13601)，所述术前动画例如可示出与任何给定植入或植入程序相关联的期望的结果或问题。例如，可视化装置213可呈现示出与不正确大小的植入物的植入相关联的可能撞击的动画，或者示出与正确大小的植入物的植入相关联的期望的结果的动画。在一些情况下，可视化装置213可向用户呈现即时反馈，所述即时反馈展示或示出与特定植入物或特定植入程序相关联的后果(例如，期望的结果，或者不期望的撞击或运动范围损失)。
图137是示出根据本公开的可由两个不同的装置(例如，教员装置和学生装置)执行的一般教学技术的流程图。第一装置和第二装置各自可包括本公开中详细描述的可视化装置213。可选地，第一装置和第二装置中的一者或两者可包括虚拟现实(VR)装置。如图137所示，一个或多个虚拟元素呈现在第一装置上，其中一个或多个虚拟元素可由第一用户(例如，教员)控制来展示骨科外科手术的至少一个方面(13701)。一个或多个虚拟元素还呈现在第二装置上以对第二用户(例如，学生)进行与骨科外科手术有关的教学(13702)。一般而言，借助于混合现实(或虚拟现实)接受教学的任何人根据本公开都可为学生，并且类似地，借助于混合现实(或虚拟现实)进行教学的任何人根据本公开都可为教员。
正如其他实例一样，在图137的示例过程中，可由佩戴第一装置的第一用户控制并可由佩戴第二装置的第二用户查看的一个或多个虚拟元素可有助于关于骨科外科手术的教学。上文描述了各种各样的此类虚拟元素，包括例如一个或多个解剖特征的3D虚拟表示，以及用于示出术前步骤、术间引导步骤或外科手术结果的额外的虚拟元素。
在使用混合现实的一些实例中，本文描述的MR学生装置中的任一者可包括被配置为对用户进行与骨科外科手术有关的教学的可视化装置(诸如可视化装置213)。可视化装置213可包括一个或多个处理器514，所述一个或多个处理器514被配置为产生一个或多个虚拟元素；以及屏幕520，所述屏幕520可包括透明的混合现实显示屏幕(诸如透视的全息透镜)，所述透明的混合现实显示屏幕被配置为向用户呈现呈现，其中混合现实呈现包括一个或多个虚拟元素，其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示，并且其中一个或多个虚拟元素还包括相对于3D虚拟表示显示或示出的一个或多个虚拟术前计划元素、相对于3D虚拟表示显示或示出的一个或多个虚拟外科手术引导特征，或在3D虚拟表示上虚拟地示出的一个或多个外科手术结果，使得混合现实呈现被配置为对用户进行与骨科外科手术有关的教学。
再次，作为非限制性实例，一个或多个解剖特征的虚拟表示可包括人类肩部的3D虚拟模型、肱骨头的3D虚拟图示或关节盂的3D虚拟图示。此外，一个或多个虚拟元素可包括上文相对于图127的MR教学内容12706描述的那些中的任一者(或上文描述的那些的组合)。
在再一些其他实例中，可视化装置213可被配置为展示配准过程，以将3D虚拟表示与解剖元素的物理模型或尸体的对应的解剖特征配准。在一些实例中，一个或多个虚拟元素包括外科手术引导信息，包括与植入物部件的准备好的植入位置相关联的试验信息，示出用于配准深度辅助元件的配准过程，包括关于使用包括闭环控制的自动化工具的虚拟培训信息或虚拟视觉辅助，包括与运动范围有关的虚拟信息，包括虚拟术前动画，包括相对于3D虚拟表示定位的一个或多个虚拟植入物部件，或者提供可能对骨科外科手术具有教学意义的其他特征。
图138是示出可借助于混合现实和/或虚拟现实执行的教学技术的另一个流程图。将通过再次参考图34的教学系统13401来对图138进行描述，所述教学系统可能可用于展示骨科外科手术的至少一个方面。然而，其他教学系统也可实现类似于图138所示的技术。如图138所示，第一装置(例如，MR/VR教员装置13402)可显示包括教员模型13408的一个或多个虚拟元素(13801)。佩戴MR/VR教员装置13402的教员使用教员模型13408来展示骨科外科手术或外科手术计划的一个或多个方面(13802)。类似地，第二装置(例如，MR/VR学生装置13404中的一者)可呈现包括学生模型13405的一个或多个虚拟元素(13803)。第二装置可从学生接收输入以使用学生模型13405来执行外科手术或外科手术计划的至少一个方面(13804)。以此方式，包括教员模型13408的第一组虚拟元素可由教员操纵来展示骨科外科手术或外科手术计划的至少一个方面，并且包括学生模型13405A、13405B或13405N(其可类似于教员模型13408)的另外多组虚拟元素可由不同的学生操纵。在一些情况下，学生可尝试模仿由教员执行的外科手术步骤，并且针对每个学生的学生特定虚拟元素(类似于由教员使用的教员特定虚拟元素)的使用可提供用于骨科外科手术教学的非常有用的教学系统。在其他情况下，学生可尝试基于学生模型13405而选择或定义外科手术计划，选择植入物大小，选择外科手术类型或进行其他外科手术计划决策，并且由每个学生进行的计划和选择可与教员的计划和选择，或者可能由计算机算法定义的计划进行比较。
在一些实例中，教员模型13408可由教员装置13402相对于物理模型或尸体的解剖特征进行定位，并且学生模型13405A、13405B或13405N可由学生装置13404中的一者相对于第二解剖模型或第二尸体的解剖特征进行定位。也就是说，教员和学生可操纵相对于不同模型或不同尸体定位的虚拟元素。此外，可相对于学生和教员模型呈现额外的基于引导的虚拟元素以协助对尸体进行试验外科手术过程。
图139是教学技术的另一个流程图，所述教学技术例如可由可视化装置213执行，所述可视化装置213也可被示出为图135的MR/VR教员装置13502。如图139所示，可视化装置213向用户(例如，教员)呈现一个或多个虚拟元素，其中虚拟元素包括解剖特征的虚拟3D模型(13901)。使用可视化装置213，教员例如通过使用和操纵虚拟3D模型并相对于虚拟3D模型选择或呈现其他虚拟特征来展示骨科外科手术或骨科外科手术计划的至少一个方面(13902)。教员之后可将对虚拟元素的虚拟控制(或此类虚拟控制的子集)指派给学生中的使用不同于由教员所佩戴的可视化装置213的一者(13903)。一旦对可指派虚拟元素的虚拟控制被授予学生，则由所述学生佩戴的可视化装置213就可接收学生输入，以使用虚拟3D模型来执行骨科外科手术的至少一个方面，或者定义外科手术计划的一个或多个方面(13904)。以此方式，教员可使用可视化装置213来产生并控制虚拟元素，然后将控制指派给学生(其中学生使用另一个可视化装置213)。教员可观察并评定学生的模仿由教员执行的骨科外科手术步骤的能力，或者评定学生的针对外科手术计划进行良好的术前决策和选择的能力。
图140是将混合现实和/或虚拟现实用于骨科外科手术教学的教学系统，例如教学系统14001的概念框图，其中用户能够启动包括虚拟元素的虚拟内容的可操纵的拷贝。在图140的实例中，教员佩戴MR/VR教员装置14002，并且多个学生佩戴MR/VR学生装置14004A和14004B至14004N(统称为MR/VR学生装置14004)。在此实例中，参与者(教员或学生)中的任一者都可使用混合现实或虚拟现实来参与教学会话。也就是说，MR/VR教员装置14002和MR/VR学生装置14004中的任一者可包括混合现实装置，诸如可视化装置213，或者可选地，MR/VR教员装置14002和MR/VR学生装置14004可包括仅呈现虚拟信息的虚拟现实装置，在此情况下，呈现给佩戴混合现实装置的用户的真实世界信息可作为虚拟信息呈现给佩戴虚拟现实装置的用户。
MR/VR教学内容14006可包括本公开中其他位置公开的虚拟内容中的任一者，诸如相对于图127至图133或本公开中其他位置描述的教学内容中的任一者。此外，在图140所示的实例下，MR教学内容14006可包括虚拟模型14008，以及虚拟模型的拷贝14009，所述拷贝14009可由MR/VR学生装置14004(或MR/VR教员装置14002)中的一者在教学会话期间启动。虚拟模型14008和虚拟模型的拷贝14009各自可包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示，诸如人类肩部的3D虚拟模型、肱骨头的3D虚拟图示、关节盂的3D虚拟图示或与任何骨科外科手术相关联的解剖特征的另一个3D模型。在一些情况下，MR/VR学生装置14004和/或MR/VR教员装置14002可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置两者。
学生(或教员)在教学会话期间启动虚拟模型的拷贝，例如虚拟模型拷贝14009的能力对于骨科外科手术教学而言可能是非常有用的。例如，虚拟模型拷贝14009可在MR/VR教员装置14002已用于操纵虚拟模型14008之后在教学会话中间启动。在一些情况下，虚拟模型拷贝14009可包括指示术间外科手术步骤的虚拟内容，其中教员已经对虚拟模型14008执行一些预先的外科手术相关操纵。在其他情况下，可启动虚拟模型拷贝14009以允许学生执行外科手术计划步骤、植入物的选择、外科手术类型(例如，反向与解剖)的选择、植入物的放置、植入物大小的选择、外科手术工具的选择或其他外科手术计划步骤或决策。
教学系统14001可能可用于展示骨科外科手术的至少一个方面，诸如外科手术步骤或外科手术计划。佩戴MR/VR教员装置14002的教员可展示外科手术步骤或外科手术计划的一个或多个方面。在演示期间或在任何时间，MR/VR学生装置14004(或MR/VR教员装置14002)中的一者可启动虚拟模型拷贝14009(其为虚拟模型14008的拷贝)，这可能在教员已对虚拟模型14008执行一个或多个外科手术相关操纵或者对虚拟模型执行一些预先的外科手术计划步骤之后进行。以此方式，学生可能能够聚焦于手术的特定计划阶段或特定术间外科手术步骤。在一些情况下，在学生操纵和教员查阅之后可能会丢弃虚拟模型拷贝14009，但是在其他情况下，教员可能会采纳虚拟模型拷贝14009，以便置换虚拟模型14008。在本文稍后的实例中，虚拟模型拷贝14009的学生操纵可由教员接受，并且在教员继续对学生进行关于骨科外科手术的下一个步骤或外科手术计划中的下一个步骤的教学时采纳为虚拟模型14008。
在一些实例中，系统14001可包括第一装置(例如，MR/VR教员装置14002)，所述第一装置被配置为向第一用户(即，教员)显示呈现，其中呈现包括虚拟模型14008，所述虚拟模型14008包括可由佩戴第一装置的第一用户控制的一个或多个虚拟元素，并且其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。此外，系统14001可包括第二装置(例如，MR/VR学生装置14004中的一者)，所述第二装置被配置为向第二用户(即，学生中的一者)显示呈现。包括一个或多个虚拟元素的虚拟模型14008可展示骨科外科手术的至少一个方面，诸如手术的外科手术步骤或手术的外科手术计划步骤。第二装置(例如，MR/VR学生装置14004中的一者)或第一装置(例如，MR/VR教员装置14002)可被配置为响应于来自第二用户(即，学生中的一者)或第一用户(即，教员)的输入而产生虚拟模型的拷贝14009。而且，虚拟模型的拷贝14009可能能够由佩戴第二装置的第二用户控制。在一些情况下，第一装置还可被配置为在由佩戴第二装置的第二用户操纵虚拟模型的拷贝14009之后在呈现中用虚拟模型的拷贝14009置换虚拟模型14008。换句话说，例如，如果学生对学生的虚拟内容的拷贝执行正确的步骤或操纵，则教员可在此类学生操纵之后将学生的拷贝版本的虚拟模型采纳为用于所有学生的新的教员内容，并且教员之后可继续教学会话以展示骨科外科手术的稍后的外科手术步骤或外科手术计划步骤。
作为实例，虚拟模型14008(以及虚拟模型拷贝14009)可包括额外的虚拟元素，所述额外的虚拟元素示出相对于3D虚拟表示的术前计划元素、相对于3D虚拟表示示出的一个或多个虚拟外科手术引导特征、或在3D虚拟表示上虚拟地示出的一个或多个外科手术结果。贯穿本公开描述了各种各样的此类额外的虚拟元素。
在一些实例中，被配置为对用户进行与骨科外科手术有关的教学的可视化装置213可包括屏幕520，所述屏幕520可包括透明的混合现实显示屏幕(诸如透视的全息透镜)，所述透明的混合现实显示屏幕被配置为向用户呈现混合现实呈现，其中混合现实呈现包括一个或多个虚拟元素，所述一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。换句话说，由学生佩戴的可视化装置213可查看关于骨科外科手术(例如，外科手术步骤或外科手术计划)的混合现实呈现，所述混合现实呈现通过由教员佩戴的不同的可视化装置产生和控制。由学生佩戴(或由教员佩戴)的可视化装置213可包括处理器514，所述处理器514被配置为产生由教员示出的虚拟模型的拷贝，其中拷贝能够通过由学生佩戴的可视化装置213控制。以此方式，学生(或教员)可能能够启动并操纵在教员呈现期间由教员呈现的虚拟内容的拷贝。由学生启动和操纵的虚拟内容的拷贝可包括在由学生启动并操纵虚拟内容之前教员可能已经对这种内容执行的外科手术计划(或外科手术步骤)。以此方式，虚拟模型的学生拷贝可被设计用于进行特定外科手术计划步骤或特定外科手术操作步骤的教学。
作为实例，作为教员模型的拷贝可能由学生启动和操纵的虚拟模型可包括本文描述的额外的虚拟信息中的任一者，以便有助于关于外科手术计划步骤或外科手术操作步骤的教学。例如，这种额外的虚拟信息可包括诸如以下的事物：相对于3D虚拟表示显示或示出的虚拟切割轴、相对于3D虚拟表示显示或示出的虚拟扩孔轴、相对于3D虚拟表示显示或示出的虚拟钻孔轴、虚拟夹具或引导件相对于3D虚拟表示的放置或选择、相对于虚拟夹具或引导件显示或示出的虚拟轴、相对于3D虚拟表示呈现的外科手术引导信息、用于将3D虚拟表示配准到物理模型或尸体的对应特征的配准过程的图示、与植入物部件的准备好的植入位置相关联的试验信息、示出用于配准深度辅助元件的配准过程的信息、关于使用包括闭环控制的自动化工具的虚拟培训信息或虚拟视觉辅助、与运动范围有关的虚拟信息、虚拟术前动画、一个或多个虚拟植入物部件相对于3D虚拟表示的图示、外科手术计划的决策选择、植入物或植入物大小的选择、外科手术工具或工具大小的选择、外科手术类型的选择或决策、或者与外科手术计划或外科手术引导相关的其他元素。
在一些实例中，方法可包括在学生装置和教员装置上显示骨科外科手术的混合现实呈现，其中混合现实呈现包括由教员装置控制的虚拟元素的教员拷贝，并且其中虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示；以及
在一些情况下，MR/VR教员装置14002始终可包括虚拟模型14008的主模型。一个或多个拷贝(例如，虚拟模型拷贝14009)可被产生来供MR/VR学生装置14004中的一者的学生使用，并且在一些情况下，此类拷贝(例如，虚拟模型拷贝14009)可被呈现为与由MR/VR教员装置14002控制的主模型(例如，虚拟模型14008)进行比较。在一些情况下，虚拟模型拷贝14009可能在学生操纵之后可叠加在虚拟模型14008上，以在允许虚拟模型14008与虚拟模型拷贝14009之间进行精确比较。在一些情况下，每个学生可具有对应的虚拟模型拷贝14009。在一些情况下，每个学生的虚拟模型拷贝14009可能仅能够被其对应的MR/VR学生装置14004查看，并且在其他情况下，MR/VR学生装置中的每一者可能能够查看与MR/VR学生装置14004中的其他学生装置相关联的虚拟模型拷贝14009。
图141是将混合现实和/或虚拟现实用于骨科外科手术教学的教学系统，例如教学系统14101的概念框图，其中学生和教员能够查看并比较若干不同的3D虚拟模型，所述3D虚拟模型可包括如本文所述的额外的虚拟元素。在图141的实例中，教员佩戴MR/VR教员装置14102，并且多个学生佩戴MR/VR学生装置14104A和14104B至14104N(统称为MR/VR学生装置14104)。在此实例中，参与者(教员或学生)中的任一者都可使用混合现实或虚拟现实来参与教学会话。也就是说，MR/VR教员装置14102和MR/VR学生装置14104中的任一者可包括混合现实装置，诸如可视化装置213，或者可选地，MR/VR教员装置14102和MR/VR学生装置14104可包括仅呈现虚拟信息的虚拟现实装置，在此情况下，呈现给佩戴混合现实装置的用户的真实世界信息可作为虚拟信息呈现给佩戴虚拟现实装置的用户。MR/VR教学内容14106可包括本公开中其他位置公开的虚拟内容中的任一者，诸如相对于图127至图133或本公开中其他位置描述的教学内容中的任一者。另外，在一些情况下，MR/VR学生装置14104和/或MR/VR教员装置14102可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置两者。
如图141的实例中所示，MR/VR教学内容14106包括多个模型(例如，模型1 14108A和模型2 14108B至模型N 14108N)。在一些情况下，多个模型(统称为模型14108)可示出关于同一个解剖结构的不同的外科手术计划。将多个模型14108呈现为共同呈现的一部分对于促进骨科外科手术或外科手术计划的教学而言可能是非常有用的。这可呈现当前外科手术计划相对于其他实例的并行比较。例如，模型1 14108A可包括针对外科手术计划的当前患者模型，并且其他模型(模型2 14108B至模型N 14108N)可包括由其他人基于同一个解剖结构、与所实现的病例研究相关联的模型、理论病例的模型、由计算机算法产生的模型或者可能可用于与模型1 14108B进行比较的任何病例研究而计划的模型。在其他实例中，多个模型14108可包括相对于教员模型的学生模型，例如，所述学生模型可在教学性骨科外科手术过程的不同阶段呈现并进行比较，或者被呈现来示出不同的外科手术计划、外科手术计划的不同方面。在一些情况下，MR/VR学生装置14104可由外科医生佩戴，所述外科医生通过在MR或VR呈现内呈现不同模型来进行并行比较而相互协作并共享经验。在一些情况下，MR/VR学生装置14104可参与“众包”会话，其中不同的学生借助于MR或VR在类似的问题或难题方面进行协作以展现出特定患者的病例研究的呈现，或特定病例研究中的特定难题。
在一些情况下，多个模型14108可选自3D虚拟表示的目录(例如，存储在MR/VR学生装置14104或MR教员装置14102的存储器中，或者远程地存储)。目录中的不同模型可展示可能需要骨科外科手术修复的各种各样不同的肩部疾患。使用MR/VR教员装置14102的教员例如可从3D图像的目录选择一个或多个3D虚拟表示，以便对佩戴MR/VR学生装置14104中的一者的学生进行教学演示。在一些情况下，可将患者解剖结构的3D虚拟模型与目录中的3D虚拟模型进行比较以实现并行比较，这可帮助用户识别患者解剖结构与来自目录的示出一个或多个肩部问题的其他示例解剖结构之间的相似性。
在再一些其他情况下，多个模型14108可被选择来示出具有不同类型的分类(例如，不同类型的Walch分类)的肩部。不同的分类可能要求不同类型的外科手术，或者选择具有特定大小、角度和植入位置的不同的植入物部件。可在多个模型14108中并行地展示术前、术间或术后步骤，以便示出不同类型的肩部分类所需的手术的差异。在再一些其他情况下，多个模型14108可包括用于展示骨科脚踝手术的一个或多个方面的脚踝模型。
在一些情况下，模型14108中的不同模型可示出与同一个患者相关联的不同的外科手术或不同的外科手术计划，例如以帮助MR教员装置14102和MR学生装置14104的用户识别对于给定的肩部分类而言最期望的外科手术或计划。例如，模型1 14108A可呈现解剖外科手术植入物的模型，并且模型2 14108B可呈现反向外科手术植入物的模型。以此方式，MR教员装置14102和MR学生装置14104可能在术前确定中可将植入物进行比较，以识别给定的肩部分类的最佳的外科手术类型。在一些实例中，MR教员装置14102和MR学生装置14104可由交换或共享教学案卷的一组专家或一组讲师佩戴。在一些情况下，每个用户可能都有能力取得控制或被授予控制以成为MR教员装置14102。
图142是将混合现实和/或虚拟现实用于骨科外科手术教学的教学系统，例如教学系统14201的概念框图，其中教员具有教员控制菜单，所述教员控制菜单包括虚拟控制元素以允许教员控制MR/VR教学内容。类似于其他实例，在图142的实例中，教员佩戴MR/VR教员装置14202，并且多个学生佩戴MR/VR学生装置14204A和14204B至14204N(统称为MR/VR学生装置14204)。在此实例中，参与者(教员或学生)中的任一者都可使用混合现实或虚拟现实来参与教学会话。也就是说，MR/VR教员装置14202和MR/VR学生装置14204中的任一者可包括混合现实装置，诸如可视化装置213，或者可选地，MR/VR教员装置14202和MR/VR学生装置14204可包括仅呈现虚拟信息的虚拟现实装置，在此情况下，呈现给佩戴混合现实装置的用户的真实世界信息可作为虚拟信息呈现给佩戴虚拟现实装置的用户。MR/VR教学内容14206可包括本公开中其他位置公开的虚拟内容中的任一者，诸如相对于图127至图133或本公开中其他位置描述的教学内容中的任一者。另外，在一些情况下，MR/VR学生装置14204和/或MR/VR教员装置14202可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置两者。
如图142的实例中所示，MR/VR教学内容14206包括教员控制菜单14205，所述教员控制菜单14205可包括用于控制关于骨科外科手术的MR或VR呈现的虚拟控制元素。在一些情况下，教员控制菜单14205可能仅对佩戴MR/VR教员装置14202的教员可见，并且对于显示在MR/VR学生装置14204上的MR/VR教学内容可能是隐藏的。
教员控制菜单14205可包括可选择元素，诸如虚拟控制小工具，所述可选择元素可由佩戴MR/VR教员装置14202的教员选择，以便使用目光、指向小工具的姿势、语音命令或其他选择方式来控制MR或VR呈现。特别地，教员控制菜单14205可呈现用于控制或启动MR或VR特征的元素或者本公开中描述的元素，并且用户可使用目光、姿势、语音控制或混合现实或虚拟现实中使用的其他选择来选择此类元素。例如，教员控制菜单14205可包括用于呈现和/或操纵MR/VR教学内容14206的一个或多个元素，所述MR/VR教学内容14206可包括本文中描述为用于骨科外科手术或骨科外科手术教学中的虚拟内容中的任一者。教员控制菜单14205可包括教学工具，诸如用于启动视频、图像、呈现(诸如幻灯片呈现)、电子表格或可能可用于混合现实或虚拟现实教学环境中的任何事物的图标。
作为一个实例，教员控制菜单14205可包括用于将对MR/VR教学内容14204的虚拟控制指派给MR/VR学生装置14204中的一者的虚拟元素或图标。在另一个实例中，教员控制菜单14205可包括用于针对特定MR/VR学生装置启动虚拟内容的学生拷贝，或用于针对所有MR/VR学生装置14204启动虚拟内容的多个拷贝的虚拟元素或图标。更一般地说，教员控制菜单14205可包括用于呈现可由佩戴MR/VR教员装置14202的教员操纵的教员内容，或用于呈现可由佩戴MR/VR学生装置14204的学生操纵的学生内容的一个或多个虚拟元素或者图标。可经由目光、姿势、语音控制或混合现实或虚拟现实中使用的其他选择来选择虚拟元素或图标。
在其他实例中，教员控制菜单14205可包括用于呈现多个模型以供协作性和比较性查看的一个或多个虚拟元素或者图标。在其他实例中，教员控制菜单14205可包括用于呈现视频，用于呈现CT扫描、图像或分段，用于呈现术前图像或视频，用于选择或启动呈现或呈现工具(诸如幻灯片呈现)的一个或多个虚拟元素或者图标。在其他实例中，教员控制菜单14205可包括用于记笔记的记事本、用于记录教学会话或记录教学会话的一部分的记录图标。在其他实例中，教员控制菜单14205可包括用于对给定的教学会话的内容存档，用于访问其他病例的记录视频，或用于加载在先实例或在先模型以进行班级演示或讨论的虚拟元素或图标。
在再一些其他实例中，教员控制菜单14205可包括用于共享查看虚拟内容的能力或用于共享控制这种虚拟内容的能力的一个或多个虚拟元素或者图标。共享元素或图标可允许与MR/VR学生装置14204中的特定学生装置共享或与所有MR/VR学生装置14204共享。
在其他实例中，教员控制菜单14205可包括例如用于组织班级会话的文件队列。另外，教员控制菜单14205可包括与教学学分(诸如继续医疗教学学分)相关的内容，诸如用于呈现这种学分的可获得性，或用于寻求学生响应以验证学生出勤的内容。
在一些实例中，教员控制菜单14205可包括用于指派对一些或所有虚拟元素的编辑权的可选择元素或图标。在一些实例中，教员控制菜单14205可包括参与者的下拉菜单，从而促成MR/VR教员装置14002选择或点名佩戴MR/VR学生装置14204的其他参与者的能力。在其他实例中，教员控制菜单14205可包括可由MR/VR教员装置14202的用户，例如使用手部姿势或基于目光的用户控制选择来点名学生或将虚拟控制指派给学生的可选择图标或化身。
教员控制菜单14205可包括用于过滤器的元素或图标，所述过滤器按手术相似性识别类似的病例，例如，定位可能类似于目标手术或步骤的一个或多个手术或手术步骤。在由教员选择特定过滤器图标之后，MR/VR教员装置14202可访问数据库(本地或远程地定位)并且识别与当前病例研究密切匹配的一个或多个示例病例研究或在先外科手术。MR/VR教员装置14202之后可将存档的模型或实例加载到MR/VR教学内容14206中以呈现给学生。识别与当前病例研究具有相似性的存档的病例研究或示例手术的能力对于教学而言可能是非常有帮助的，并且可能尤其可用于学生一起努力(例如，在众包会话中)来集思广益以寻求如何最佳地应对当前病例研究的方式的协作性教学会话中。
呈现在教员控制菜单14205上的元素或图标可能能够由佩戴MR/VR教员装置14202的教员经由手部姿势、基于目光的控制、面部表情或可能借助于选择工具(诸如识别笔或激光笔)来选择。教员可从教员控制菜单14205选择图标或元素，以控制MR/VR呈现并且控制并操纵虚拟内容，所述虚拟内容可包括本文中描述为用于骨科外科手术或骨科外科手术教学中的虚拟内容中的任一者，包括但不限于3D虚拟表示(例如，人类肩部的虚拟模型、关节盂或关节盂表面的虚拟模型、或者肱骨骨骼或肱骨头的虚拟模型)，和/或额外的虚拟内容，诸如相对于图127的MR教学内容12706描述的虚拟元素中的任一者(或组合)。
在再一些其他实例中，教员控制菜单14205可包括一组保存的外科手术计划，或图示以用于选择并展示不同的手术，诸如反向肩关节置换术与解剖肩关节置换术。
图143是将混合现实和/或虚拟现实用于骨科外科手术教学的教学系统，例如教学系统14301的另一个概念框图，其中教员和学生两者都具有用于控制MR/VR教学内容的虚拟控制元素。类似于其他实例，在图143的实例中，教员佩戴MR/VR教员装置14302，并且多个学生佩戴MR/VR学生装置14304A和14304B至14304N(统称为MR/VR学生装置14304)。在此实例中，参与者(教员或学生)中的任一者都可使用混合现实或虚拟现实来参与教学会话。也就是说，MR/VR教员装置14302和MR/VR学生装置14304中的任一者可包括混合现实装置，诸如可视化装置213，或者可选地，MR/VR教员装置14302和MR/VR学生装置14304可包括仅呈现虚拟信息的虚拟现实装置，在此情况下，呈现给佩戴混合现实装置的用户的真实世界信息可作为虚拟信息呈现给佩戴虚拟现实装置的用户。MR/VR教学内容14306可包括本公开中其他位置公开的虚拟内容中的任一者，诸如相对于图127至图133或本公开中其他位置描述的教学内容中的任一者。另外，在一些情况下，MR/VR学生装置14304和/或MR/VR教员装置14302可包括向用户呈现虚拟元素的可视化装置，以及向用户提供基于触摸的信息的触觉装置两者。
教员控制元素14305可包括上文相对于图143所示的系统14202的教员控制元素14205描述的特征、元素、图标或控制中的任一者。然而，在图143的实例中，作为MR/VR教学内容14206的一部分，也向MR/VR学生装置14304呈现虚拟控制。例如，MR/VR学生装置114304A可被配置为呈现对应的学生1控制元素14307，并且MR/VR学生装置2 14304B可被配置为呈现对应的学生2控制元素14307B。多个学生装置中的每一者具有对应的虚拟控制，并且每个装置的虚拟控制可能仅能够由所述装置的用户查看。也就是说，学生1控制元素14307A可能能够由MR/VR学生装置1 14304A查看，而学生1控制元素14307A可能无法由MR/VR学生装置2 14304B查看。类似地，学生2控制元素14307B可能能够由MR/VR学生装置214304B查看，而学生2控制元素14307B可能无法由MR/VR学生装置1 14304A查看。在一些情况下，MR/VR教员装置14302可能仅能够查看教员控制元素14305并且可能无法查看学生控制元素14307，但是在其他情况下，MR/VR教员装置14302可能能够查看包括与学生装置14304相关联的学生控制元素14307的所有控制元素。在一些情况下，教员控制元素14305可包括用于启用或禁用MR/VR教员装置14302对学生控制元素14307的可查看性的图标或元素，这在教员需要向学生解释如何使用此类控制的情况下可能是有用的。
一般而言，学生控制元素14307中的每一者可包括教员控制元素14305内所包括的特征、元素、图标或控制中的任一者。此外，学生控制元素14307中的每一者可包括上文相对于图143所示的系统14202的教员控制元素14205描述的特征、元素、图标或控制中的任一者。然而，在大多数情况下，学生控制元素14307可包括相对于教员控制元素14305数量更为有限的控制元素。例如，在大多数情况下，教员控制元素14305可提供对MR/VR教学内容14206的普遍控制，而学生控制元素14307可具有对MR/VR教学内容14206的更为有限的控制。在再一些其他情况下，MR/VR学生装置14304中的不同的学生装置可被提供对MR/VR教学内容的不同程度的控制，并且在一些情况下，MR/VR教员装置14302可被配置为将或不将这种不同程度的控制指派给MR/VR学生装置14304。
在一些实例中，教员控制元素14305和/或学生控制元素14307可包括用于记录不同用户的笔记的记笔记特征。另外，培训会话以及由学生和教员执行的任何虚拟操纵的记录可记录并以文件形式记录为MR/VR教学内容14306的一部分。
图144是示出可借助于混合现实和/或虚拟现实执行的另一种教学技术的流程图。将从图140的系统14001的视角描述图144，但是其他系统也可使用类似的技术。如图144所示，MR/VR装置(诸如MR/VR教员装置14002或MR/VR学生装置14004中的一者)显示关于骨科外科手术的MR或VR呈现，所述呈现包括由MR/VR教员装置14002控制的虚拟元素(例如，虚拟模型14008)(14401)。MR/VR装置(诸如MR/VR教员装置14002或MR/VR学生装置14004中的一者)之后产生虚拟元素的学生拷贝(例如，虚拟模型拷贝14009)，其中学生拷贝可由学生装置(例如，MR/VR学生装置14004中的一者)控制(14402)。在一些情况下，MR/VR教员装置14002为每个学生产生学生拷贝，并且在一些情况下，MR/VR学生装置14004能够产生虚拟元素的相应的学生拷贝。在一些情况下，拷贝不是虚拟元素的原始版本，而是拷贝可包括教员进行一些初始操纵之后的虚拟元素的版本。例如，教员或学生可能能够在正进行的虚拟呈现期间产生虚拟内容的拷贝，由此允许在骨科外科手术的不同阶段或外科手术计划会话的不同阶段产生学生拷贝，使得学生能够模仿或练习特定的外科手术步骤，或进行与特定的外科手术计划步骤相关联的外科手术计划决策。此外，在一些情况下，在学生已操纵拷贝14009之后，MR/VR教员装置14002可用虚拟模型的拷贝14009置换虚拟模型14008。
在一些实例中，系统14001展示骨科外科手术的至少一个方面，并且包括第一装置(例如，MR/VR教员装置14002)，所述第一装置被配置为向第一用户显示呈现，其中呈现包括可由佩戴第一装置的第一用户控制的一个或多个虚拟元素，其中一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。此外，系统14001包括第二装置(例如，MR/VR学生装置14004中的一者)，所述第二装置被配置为向第二用户显示呈现。一个或多个虚拟元素展示骨科外科手术的至少一个方面。在一些情况下，第二装置(例如，MR/VR学生装置14004中的一者)或第一装置(例如，MR/VR教员装置14002)可被配置为响应于来自第一用户或第二用户的输入而产生一个或多个虚拟元素的拷贝，并且其中一个或多个虚拟元素的拷贝可由佩戴第二装置的第二用户控制。然而，在其他情况下，MR/VR教员装置14002可产生拷贝并且将所述拷贝指派给MR/VR学生装置14004A。在一些实例中，第一装置还可被配置为在由佩戴第二装置的第二用户操纵一个或多个虚拟元素的拷贝之后在呈现中用一个或多个虚拟元素的拷贝置换一个或多个虚拟元素的拷贝。
作为实例，表示为虚拟模型14008的一个或多个虚拟元素(以及表示为虚拟模型拷贝14009的虚拟元素的一个或多个学生拷贝)可包括一个或多个解剖特征的3D虚拟表示，以及关于3D虚拟表示的额外的外科手术引导信息或外科手术计划信息。
在一些实例中，可视化装置213可被配置为对用户进行与骨科外科手术有关的教学，并且可视化装置213可包括屏幕520，所述屏幕520可包括透明的混合现实显示屏幕(诸如透视的全息透镜)，所述透明的混合现实显示屏幕被配置为向用户呈现混合现实呈现，其中混合现实呈现包括一个或多个虚拟元素，所述一个或多个虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示。此外，可视化装置213还可包括一个或多个处理器514，所述一个或多个处理器514被配置为产生一个或多个虚拟元素的拷贝，其中拷贝能够用可视化装置控制。在一些情况下，由另一个可视化装置(例如，教员装置)的另一个用户产生并控制原始混合现实呈现，并且通过由学生佩戴的可视化装置213产生并控制拷贝。然而，在其他情况下，拷贝可由MR/VR教员装置14002产生并且被指派给MR/VR学生装置14004中的一者。在一些实例中，方法可包括在学生装置和教员装置上显示骨科外科手术的混合现实呈现，其中混合现实呈现包括由教员装置控制的虚拟元素的教员拷贝，并且其中虚拟元素包括与骨科外科手术相关联的一个或多个解剖特征的3D虚拟表示；以及产生虚拟元素的学生拷贝，其中学生拷贝可由学生装置控制。
图145是包括有助于对远程用户进行关于正进行的外科手术的特定细节的教学的特征的教学系统的概念框图。教学系统14501提出了特别与术间背景相关的骨科外科手术教学的特定教学情景。本公开的其他部分描述了在不同用户之间或当中执行术间交互的各种情景和设置，并且在许多协作情况下，一个或多个外科手术参与者可为通过使用MR或可能VR与手术室参与者进行交互的远程参与者。在一些情况下，外科手术帮手可能位于手术室中，并且在其他情况下，外科手术帮手可能位于远处。无论如何，图145示出了佩戴MR外科手术装置14504的外科手术参与者(诸如外科医生)从佩戴或以其他方式使用MR/VR外科手术帮助装置14508的另一个人员(诸如外科手术专家)寻求外科手术帮助的教学情景。
MR外科手术装置14504可包括混合现实装置，诸如贯穿本公开详细描述的可视化装置213。例如，MR外科手术装置14504可包括由外科医生佩戴来向外科医生提供虚拟术间协助的可视化装置。MR外科手术装置14504可实现本公开中描述的特征中的任一者来协助用户(例如，外科医生或可能另一个外科手术参与者)进行骨科外科手术步骤。
VR/MR外科手术帮助装置14508可包括混合现实装置，诸如可视化装置213，或者可选地，VR/MR外科手术帮助装置14508可包括虚拟现实装置。在任何情况下，MR外科手术帮助装置14504的用户可在手术期间寻求专家帮助，并且为此，MR外科手术装置14504可被配置为发起与VR/MR外科手术帮助装置14508的通信会话。或者在其他实例中，可以另一种方式，诸如经由电话呼叫、电子邮件、文本消息或任何其他类型的消息联系专家帮助，并且响应于被联系，外科手术专家可经由VR/MR外科手术帮助装置14508加入手术室中发生的手术(物理地或远程地)。在一些情况下，MR外科手术装置14504和VR/MR外科手术帮助装置14508可直接地或经由网络相互通信。
佩戴MR外科手术装置14504的外科医生可在各种各样的情况下受益于专家对外科手术的帮助。无论何时外科医生遇到困难、并发症或意想不到的情况，佩戴MR外科手术装置14504的外科医生都可受益于专家帮助。例如，在打开肩部或脚踝并且尝试安装植入物时，佩戴MR外科手术装置14504的外科医生可能会发现患者的骨骼质量对于植入物而言可能太差。在此情况下，佩戴MR外科手术装置14504的外科医生可确定很难或无法实现计划固定，并且在此情况下，可能有益的是，联系专家以向专家示出患者的CT图像和患者的解剖结构的3D重建，以及真实场景图像(例如，经由MR外科手术装置14504获得)。在这些和其他情况下，佩戴VR/MR外科手术帮助装置14508的外科手术专家加入外科手术可能是非常有益的。
然而，在加入外科手术时，佩戴VR/MR外科手术帮助装置14508的外科手术专家可受益于示出为“跟上进度”特征14505的教学特征，所述跟上进度特征14505可向VR/MR外科手术帮助装置14508的用户告知骨科外科手术的一个或多个先前执行的步骤。例如，为了在VR/MR外科手术帮助装置14508的用户加入时对MR外科手术装置14504的用户提供有用的帮助，VR/MR外科手术帮助装置14508的用户可能需要接受关于手术中已经发生的先前步骤的教学并且基本上“跟上进度”。事实上，为了对正进行的外科手术中的问题或难题进行分类，VR/MR外科手术帮助装置的用户可能需要对手术的先前执行的步骤有一定了解。因此，骨科外科手术帮助内容14506可包括用于以快速而高效的方式提供特定的术间教学的“跟上进度”特征14505。此外，在一些情况下，还可提供视觉帮助14507，例如提供为对VR/MR外科手术帮助装置14508的用户的视觉辅助。
在一个实例中，外科手术系统14501被配置为在正进行的外科手术期间对VR/MR外科手术帮助装置14508提供术间教学。系统14501包括第一装置(例如，MR外科手术装置14504)，所述第一装置被配置为向第一用户(例如，外科医生或其他外科手术参与者)显示第一呈现。第一呈现包括被配置为协助第一用户进行骨科外科手术的一个或多个虚拟元素。系统14501还可包括第二装置(例如，VR/MR外科手术帮助装置14508)，所述第二装置被配置为向第二用户(例如，专家外科医生或者与骨科外科手术过程的一个或多个步骤相关联的其他专家)显示第二呈现。可在手术期间联系第二用户以便对骨科外科手术提供外科手术协助。根据本公开，为了充分地对第二装置的用户进行教学，第二装置还被配置为显示向第二用户告知骨科外科手术的一个或多个先前执行的步骤或者对所述第二用户进行关于所述先前执行的步骤的教学的内容。
在一些情况下，第一装置(例如，MR外科手术装置14504)被配置为从第二装置(例如，VR/MR外科手术帮助装置14508)的第二用户寻求外科手术协助。然而，也可以其他方式，诸如经由电话呼叫、电子邮件、文本或任何其他类型的消息来寻求外科手术协助。作为实例，“跟上进度”特征14505可包括以下项中的一者或多者：患者的扫描或患者的图像数据的分段、与骨科外科手术的一个或多个先前执行的步骤相关联的信息、与先前使用的外科手术工具相关联的信息、与植入的装置相关联的信息、与骨科外科手术中使用的夹具或引导件相关联的信息、与术前计划相关联的信息、与骨科外科手术的一个或多个先前执行的步骤的时机相关联的信息、或者与骨科外科手术的一个或多个先前执行的步骤相关联的患者数据。在一些情况下，“跟上进度”特征14505可包括在外科手术之前获取的患者数据，诸如CT扫描、患者解剖结构的3D重建、外科手术计划或计划信息、患者年龄、患者体重、患者重要信息或任何其他患者数据。在一些情况下，MR外科手术装置14504可自动地跟踪外科手术的步骤，并且在此情况下，“跟上进度”特征可包括识别外科手术的当前步骤和先前执行的步骤的信息。
此外，如所提及，视觉帮助14507也可帮助术间教学，并且可能尤其可用于加速教学过程，这在正进行的外科手术期间可能是很重要的。因此，针对骨科外科手术帮助的教学内容14506可包括视觉帮助14507，诸如与一个或多个先前执行的外科手术步骤相关联的一个或多个图像、一个或多个先前执行的外科手术步骤的一个或多个视频、为植入物准备好的患者的准备好的解剖表面的一个或多个图像或视频、计划外科手术步骤的动画或图示、外科手术计划的一个或多个图像或视频以及骨科外科手术的一个或多个图像或视频。
在一些实例中，“跟上进度”特征14505和/或视觉帮助147可包括骨科外科手术的一个或多个图像或视频，所述一个或多个图像或视频可由MR外科手术装置在骨科外科手术期间捕获，或者由位于手术室中的另一个相机或另一个MR装置在骨科外科手术期间捕获。为了有助于VR/MR外科手术帮助装置14508的用户进行快速而高效的查阅，图像或视频可能编有时间索引。或者在一些情况下，图像或视频可基于外科手术步骤或阶段而编索引，使得VR/MR外科手术帮助装置14508可选择特定的外科手术步骤或阶段并且查看在那些步骤或阶段记录的图像或视频。步骤或阶段可包括通常以图像示出的术前计划步骤，以及可以视频或图像示出的术间步骤。
在一些实例中，内容14506可由位于手术室中的相机或经由MR外科手术装置14504上的一个或多个相机获取，使得VR/MR外科手术帮助装置14508可看到外科医生(或房间中的一些其他人员，诸如护士或技术人员)的视角或来自房间中的相机的视角。这种内容还可包括在手术期间呈现给外科医生的任何虚拟影像，并且在一些实例中，VR/MR外科手术帮助装置14508可启用或禁用虚拟影像以查看患者肩部解剖结构或患者肩部解剖结构加上虚拟影像。另外，可呈现虚拟解剖模型以示出虚拟外科手术计划，并且VR/MR外科手术帮助装置14508可能能够选择性地看到虚拟外科手术计划、仅骨骼模型、骨骼模型加上虚拟引导(例如，有助于扩孔、切割、钻孔、拧入螺钉或其他定位标记的虚拟元素)。在再一些其他情况下，VR/MR外科手术帮助装置14508可能能够选择性地查看虚拟外科手术计划，加上骨骼模型，加上虚拟引导特征。可在手术或计划阶段期间记录这种内容，并且可将所述内容存储为可能编有时间索引或任务索引的图像或视频(例如，对工作流中的某一点，诸如关节盂扩孔、关节盂植入物放置编索引)。这种内容还可标识诸如以下的事物：用于解剖手术的板，或用于反向解剖手术、肱骨切割、肱骨植入物放置的单侧件(例如，针对解剖手术的有柄或无柄的单侧件或者针对反向手术的有柄或无柄的板)和/或其他事物。
“跟上进度”特征14505和/或视觉帮助147可包括用于告知远程外科医生或佩戴VR/MR外科手术帮助装置14508的另一个术间外科手术参与者或对其进行教学的特征。此外，在一些情况下，教学内容14506还可包括可协助MR/VR外科手术帮助装置14508的佩戴者对佩戴MR外科手术装置14504的人员进行教学的特征。换句话说，在“跟上进度”并充分地接受关于外科手术的先前的步骤的教学之后，VR/MR外科手术帮助装置14508可呈现可协助对MR外科手术装置14504的用户提供专家帮助的特征。例如，教学内容14506可包括可由MR/VR外科手术帮助装置14508访问并向MR外科手术装置14504呈现的视频片段(诸如外科手术的视频片段或类似外科手术的视频片段)的档案。此外，视觉帮助14507可包括此类视频片段或可能为解决问题的视频的档案。在一些情况下，VR/MR外科手术帮助装置14508可被授予对虚拟模型或其他虚拟元素的控制，使得MR/MR外科手术帮助装置14508的佩戴者可呈现演示来协助MR外科手术装置14504的用户。如果例如MR外科手术装置14504呈现配准到患者的实际解剖结构的解剖元素的虚拟模型(例如，配准到实际的患者的关节盂骨骼的患者的关节盂骨骼的虚拟模型)，则VR/MR外科手术帮助装置14508可被给予对虚拟模型的控制，使得VR/MR外科手术帮助装置14508可操纵虚拟模型(例如，展示钻孔的位置或扩孔轴的位置)。在一些情况下，由VR/MR外科手术帮助装置14508对模型执行的任何操纵可对MR外科手术装置14504显示为对配准到患者解剖结构的对应的配准的模型的操纵。因此，VR/MR外科手术帮助装置可在空间中操纵呈现给VR/MR外科手术帮助装置14508的虚拟模型，并且操纵可在另一个虚拟模型上呈现给MR外科手术装置14504，所述另一个虚拟模型可由MR外科手术装置14504查看并且也配准到在手术室中并可由MR外科手术装置14504查看的患者解剖结构。以此方式，例如，VR/MR外科手术帮助装置14508可相对于虚拟模型呈现虚拟元素，并且此类虚拟元素可能能够由MR外科手术装置14504查看，以便在手术中显现相对真实的患者解剖结构。在一些实例中，内容14508内呈现的虚拟元素可包括上文相对于图127的MR教学内容12706描述的虚拟元素中的任一者(或上文描述的那些的组合)。
在一些情况下，VR/MR外科手术帮助装置14508可被配置有可选择元素的菜单以协助/MR外科手术帮助装置14508的用户的术间教学。例如，VR/MR外科手术帮助装置14508可被配置为呈现对应于与正进行的外科手术相关联的多个教学内容元素的多个可选择虚拟元素，其中在选择虚拟元素中的一者之后，第二装置被配置为对第二用户进行关于与外科手术相关联的一个或多个先前执行的步骤的教学。
此外，在一些情况下，由VR/MR外科手术帮助装置14508在空间中对患者解剖结构的虚拟模型的操纵可对MR外科手术装置14504显现为对配准到手术室中的患者解剖结构的配准的虚拟模型的虚拟操纵。例如，VR/MR外科手术帮助装置14508的用户可在空间中展示相对于虚拟模型的虚拟扩孔轴的期望的位置，并且这种演示可对MR外科手术装置14504显现为相对于患者解剖结构适当地定位的虚拟扩孔轴，因为在由MR外科手术装置14504查看时，虚拟模型已配准到患者解剖结构。这种类型的演示对于由VR/MR外科手术帮助装置14508的用户对MR外科手术帮助装置14504的用户提供专家协助而言可能是非常有用的。
在一些实例中，可视化装置213可被配置为对用户进行与骨科外科手术的先前执行的步骤有关的教学。在此实例中，可视化装置可对应于VR/MR外科手术帮助装置14508，并且可包括：一个或多个处理器514，所述一个或多个处理器514被配置为产生一个或多个虚拟元素；以及屏幕520，所述屏幕520可包括透明的混合现实显示屏幕(诸如透视的全息透镜)，所述透明的混合现实显示屏幕被配置为将一个或多个虚拟元素作为混合现实呈现的一部分呈现给用户，其中一个或多个虚拟元素定义教学内容，所述教学内容对用户进行关于骨科外科手术的一个或多个先前执行的步骤的教学。在一些情况下，可视化装置213可被配置为响应于对协助的请求而对用户进行与骨科外科手术的先前执行的步骤有关的教学。
作为非限制性实例，可能可在外科手术期间用于术间外科手术教学以对专家外科手术帮手(诸如位于远处并联系来提供帮助的专家外科医生)进行教学的教学内容可包括诸如以下的事物：患者的扫描或患者的图像数据的分段、与先前执行的外科手术步骤相关联的信息、与先前使用的外科手术工具相关联的信息、与植入的装置相关联的信息、与骨科外科手术中使用的夹具或引导件相关联的信息、为植入物准备好的患者的准备好的解剖表面的一个或多个图像或视频、与术前计划相关联的信息、与先前执行的外科手术步骤相关联的一个或多个图像、先前执行的外科手术步骤的一个或多个视频、与先前执行的外科手术步骤的时机相关联的信息、与先前执行的外科手术步骤相关联的患者数据、计划外科手术步骤的动画或图示、外科手术计划的一个或多个图像或视频以及骨科外科手术的一个或多个图像或视频。
在一些情况下，可视化装置213的屏幕520可被配置为呈现对应于多个教学内容元素的多个可选择虚拟元素，其中在选择虚拟元素中的一者之后，可视化装置213被配置为向用户告知与外科手术相关联的一个或多个先前执行的步骤。例如，屏幕520可包括透明的混合现实显示屏幕，诸如透视的全息透镜。
在一些实例中，方法可包括：在第一装置上呈现第一混合现实呈现以协助第一用户进行骨科外科手术的步骤；寻求对骨科外科手术的外科手术帮助；以及响应于寻求外科手术帮助，经由第二混合现实装置或虚拟现实装置呈现教学内容，其中教学内容包括关于骨科外科手术的一个或多个先前执行的步骤的信息。
从VR/MR外科手术帮助装置14508的视角来看，方法可包括：接收骨科外科手术中对协助的请求；以及响应于请求，经由混合现实装置或虚拟现实装置呈现教学内容，其中教学内容包括关于骨科外科手术的一个或多个先前执行的步骤的信息。在接收并研究教学内容之后，VR/MR外科手术帮助装置14508的用户可更好地做好准备来传递对骨科外科手术的受过教学的专家协助。
在一些情况下，作为外科手术工作流的一部分，可由MR外科手术装置14504或位于外科手术室中的另一个装置联系VR/MR外科手术帮助装置14508的远程用户，并且可能在外科手术工作流的所定义的步骤处自动地联系所述远程用户。本地MR装置可检测外科手术工作流的当前阶段，并且从VR/MR外科手术帮助装置14508的用户请求外科手术协助以进行手术的特定步骤。在此情况下，可基于外科手术工作流的当前阶段而自动地联系VR/MR外科手术帮助装置14508。以此方式，可在外科手术的所定义的阶段咨询使用VR/MR外科手术帮助装置14508的大量外科手术专家，使得仅在需要专家外科手术帮助时才使所述外科手术专家加入进来。
在一些情况下，VR/MR外科手术帮助装置14508的用户可在外科手术会话期间在手术的特定步骤处连接到MR外科手术装置14504。本地外科手术参与者可手动地呼叫VR/MR外科手术帮助装置14508的用户以寻求对特定步骤的帮助，或者呼叫或联系到VR/MR外科手术帮助装置14508的其他方式可由MR外科手术装置14504基于外科手术工作流的当前阶段或步骤而自动进行。
另外，如果外科手术工作流过程被MR外科手术装置14504使用来从VR/MR外科手术帮助装置14508寻求帮助，则在一些情况下，可由MR外科手术装置14504向VR/MR外科手术帮助装置14508事先通知在不远的将来需要帮助。例如，基于外科手术的当前工作流，一个或多个本地MR装置(诸如MR外科手术装置14504)可联系VR/MR外科手术帮助装置14508以指示将来需要帮助。作为由MR外科手术装置14504进行这种帮助请求的一部分，可由MR外科手术装置14504向VR/MR外科手术帮助装置14508事先警告或通知何时将需要帮助，诸如提供何时将需要帮助的通知的倒计时。可使用人工智能以基于外科手术的当前在进行中的当前步骤或阶段(并基于与先前实施的外科手术有关的信息)而提供对(对于手术的所定义的步骤或阶段)何时需要帮助的预测。图像检测和声音检测可由MR外科手术装置14504使用来定义或确认外科手术的当前步骤或阶段，以便提供对将来的步骤或阶段将何时发生(从而需要、期望或计划VR/MR外科手术帮助装置14508的用户的将来的外科手术帮助)的更好的估计。人工智能可帮助引导并预测由MR外科手术装置14504呼叫VR/MR外科手术帮助装置14508的用户的时机，例如，通过由MR外科手术装置14504学习过程并且基于外科手术的当前进行中的当前步骤或阶段而预测外科手术的将来的步骤或阶段的时机来进行。记录手术，并识别声音、图像、工作步骤或手术的其他方面可允许由MR外科手术装置14504实现的人工智能预测需要或期望来自VR/MR外科手术帮助装置14508的帮助的时间。输入(诸如声音、图像、工作步骤)可与当前外科手术工作流步骤相关联，并且之后这可由MR外科手术装置14504使用来预测将来的工作流步骤的时机。这可帮助对VR/MR外科手术帮助装置14508的用户提供通知或行程安排，并且在需要来自远程参与者的帮助时避免外科手术中的停歇时间。
图146和图147是示出帮助对远程用户进行关于正进行的外科手术的特定细节的教学的术间教学技术的流程图。如图146所示，由外科医生或另一个外科手术参与者佩戴的可视化装置213可呈现混合现实以协助用户进行骨科外科手术的步骤(14601)。可视化装置213(或另一个构件)可寻求对骨科外科手术的外科手术帮助(14602)。之后可经由MR装置或VR装置向外科手术助手提供术间教学内容以对外科手术专家进行关于骨科外科手术的在先步骤的教学(14603)。以此方式，外科手术专家(例如，通过使用MR或VR在术中接受咨询的专家外科医生)可通过教学跟上手术的进度，以确保外科手术协助是有用且准确的。
图147示出了来自关于图145所示的外科手术系统14501的示例性VR/MR外科手术帮助装置14508的视角的示例方法。如图147所示，VR/MR外科手术帮助装置14508(或VR/MR外科手术帮助装置14508的用户)接收骨科外科手术中对协助的请求(14701)。在一些实例中，VR/MR外科手术帮助装置14508从MR外科手术装置14504接收对协助的请求。在其他实例中，对协助的请求可包括对VR/MR外科手术帮助装置14508的用户的请求，诸如电话呼叫、电子邮件、文本消息或从MR外科手术装置14504到VR/MR外科手术帮助装置14508的用户的任何其他类型的消息。另外，在一些实例中，可能期望MR外科手术装置14504响应于MR外科手术装置14504的用户(例如，本地外科医生)的语音说话而使用语音至文本技术来向VR/MR外科手术帮助装置14508的用户发送基于文本的请求。语音至文本技术可能尤其可用于本地外科医生无法使用他或她的手部来与VR/MR外科手术帮助装置14508的用户通信的情况。在一些情况下，语音至文本技术可由MR外科手术装置14504使用来传递手术的书面总结或当前状态、手术的一个或多个事件、外科手术进展和/或外科手术中已遇到的问题。
在一些实例中，MR外科手术装置14504可被配置为响应于接收到来自MR外科手术装置14504的用户的用户输入的指示而自动地向VR/MR外科手术帮助装置14508发送对帮助的请求。例如，MR外科手术装置14504的用户可选择虚拟图标或小工具来使MR外科手术装置14504向VR/MR外科手术帮助装置14508发送对帮助的请求。在一些实例中，MR外科手术装置14504可响应于检测到MR外科手术装置14504的用户的说出“我想要联系专家”或一些其他触发语的语音说话而向VR/MR外科手术帮助装置14508发送对帮助的请求。在MR外科手术装置14504自动地发送对帮助的请求的实例中，本文描述的“跟上进度”特征中的一些或全部同样可自动地传达到VR/MR外科手术帮助装置14508。
例如，响应于对协助的请求，VR/MR外科手术帮助装置14508被配置为呈现关于骨科外科手术的在先步骤的术间教学内容(14702)。例如，在先步骤可包括相对于骨科外科手术已经执行的手术或术前步骤中的任一者。使用VR/MR外科手术帮助装置14508，专家之后可传递对骨科外科手术的受过教学的专家协助(14703)。
再次，可能可在外科手术期间用于术间外科手术教学以告知专家外科手术帮手(诸如位于远处并联系来提供帮助的专家外科医生)的内容的一些非限制性和非穷举性的实例可包括诸如以下的事物：患者的扫描或患者的图像数据的分段、与正进行的骨科外科手术的先前执行的步骤相关联的信息、与先前使用的外科手术工具相关联的信息、与植入的装置相关联的信息、与骨科外科手术中使用的夹具或引导件相关联的信息、为植入物准备好的患者的准备好的解剖表面的一个或多个图像或视频、与术前计划相关联的信息、与正进行的骨科外科手术的先前执行的步骤相关联的一个或多个图像、正进行的骨科外科手术的先前执行的步骤的一个或多个视频、与正进行的骨科外科手术的先前执行的步骤的时机相关联的信息、与先前执行的外科手术步骤相关联的患者数据、计划外科手术步骤的动画或图示、外科手术计划的一个或多个图像或视频以及骨科外科手术的一个或多个图像或视频。
另外，在一些实例中，内容14506可包括骨科外科手术的一个或多个图像或视频，所述一个或多个图像或视频可由MR外科手术装置14504在骨科外科手术期间捕获，或者由位于手术室中的另一个相机或另一个MR装置在骨科外科手术期间捕获。图像或视频可编有时间索引。或者在一些情况下，图像或视频可基于外科手术步骤或阶段而编索引，使得VR/MR外科手术帮助装置14508可选择特定的外科手术步骤或阶段并且查看在那些步骤或阶段记录的图像或视频。步骤或阶段可包括通常以图像示出的术前计划步骤，以及可以视频或图像示出的术间步骤。在一些实例中，VR/MR外科手术帮助装置14508可呈现由MR外科手术装置14504看到的虚拟元素或视图。在此类实例中，VR/MR外科手术帮助装置14508还可呈现MR术前计划模型(例如，在由VR/MR外科手术帮助装置14508看到的呈现上方或在所述呈现的侧视图中)。
尽管VR/MR外科手术帮助装置14508被示出为一个装置，但是也可能具有多个VR/MR外科手术帮助装置14508，所述外科手术帮助装置中的每一者可能与在外科手术的不同阶段处需要的不同的外科手术专家相关联。多个VR/MR外科手术帮助装置14508可允许一队或一组专家提供帮助。多个专家可共同地在特定难题上进行帮助，或者可将难题指派给团队中的特定成员，或者可将难题指派给一组专家。例如，本地外科医生可从一队远程外科手术人员寻求帮助，并且团队中的成员可接受请求以经由VR/MR外科手术帮助装置14508中的一者提供帮助。在一些实例中，在先来先服务的基础上，对帮助的请求可由MR外科手术装置14504指派给远程参与者。在一些实例中，对帮助的请求可由MR外科手术装置14504基于帮助团队中的特定成员的专业知识而指派给帮助团队中的特定成员。
在一些实例中，传递对骨科外科手术的受过教学的专家协助(14703)包括呈现虚拟信息。此外，在一些实例中，可由与提供协助的人员相关联的第一装置(VR/MR外科手术帮助装置14508)查看并操纵虚拟信息，并且可由与请求协助的人员相关联的第二装置(例如，MR外科手术装置14504)相对于患者解剖结构查看虚拟信息。例如，VR/MR外科手术帮助装置14508在自由空间中呈现虚拟模型，所述虚拟模型由正提供协助的用户操纵，并且这个虚拟模型可能能够由MR外科手术装置14504查看并从MR外科手术装置14504的视角配准到患者解剖结构。更一般地说，上文相对于图127的MR教学内容12706描述的任何虚拟内容、虚拟模型或虚拟元素都可被包括在骨科外科手术帮助内容14506内，例如以告知VR/MR外科手术帮助装置14508的用户，或者以从VR/MR外科手术帮助装置14508的用户对MR外科手术装置14504的用户提供虚拟辅助型帮助。
虽然已相对于有限数量的实例公开了技术，但是受益于本公开的本领域技术人员将会了解对这些实例的众多修改和改变。例如，可预期的是，可执行所描述的实例的任何合理的组合。随附权利要求意图涵盖落在本发明的真实精神和范围内的此类修改和改变。
应认识到，根据实例，本文描述的技术中的任一种的某些动作或事件可以不同的顺序执行，可以一起添加、合并或省去(例如，不是所有描述的动作或事件对于技术的实践都是必需的)。此外，在某些实例中，动作或事件可例如通过多线程处理、中断处理或多个处理器同时而不是顺序地执行。
在一个或多个实例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则所述功能可作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输，并且由基于硬件的处理单元执行。计算机可读介质可包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质，或通信介质，所述通信介质包括例如根据通信协议有助于将计算机程序从一个地方传送到另一个地方的任何介质。以此方式，计算机可读介质通常可对应于(1)非暂时性的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可为可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包括计算机可读介质。
作为举例而非限制，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储装置、闪存、或者可用于以指令或数据结构的形式存储期望的程序代码并且可由计算机访问的任何其他介质。另外，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(诸如红外线、无线电和微波)从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外线、无线电和微波)包括在介质的定义中。然而，应理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号、或其他暂时性介质，而是针对非暂时性的有形存储介质。如本文所使用的磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘以及蓝光盘，其中磁盘通常以磁的方式再现数据，而光盘用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
本公开中描述的操作可由一个或多个处理器执行，所述一个或多个处理器可被实现为固定功能处理电路、可编程电路、或其组合，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其他等效的集成或离散逻辑电路。固定功能电路指代提供特定功能并预先设置在可执行的操作上的电路。可编程电路指代可被编程来执行各种任务并在可执行的操作中提供灵活功能的电路。例如，可编程电路可执行由软件或固件指定的指令，所述指令致使可编程电路以由软件或固件的指令限定的方式进行操作。固定功能电路可执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。因此，如本文所使用的术语“处理器”和“处理电路”可指代前述结构中的任一者或适合于实现本文描述的技术的任何其他结构。
已描述了各种实例。这些和其他实例在以下权利要求的范围内。

Claims (32)

1.一种方法，所述方法包括：
获得从用于旨在将假体附接到患者的解剖结构的骨科关节修复外科手术的虚拟外科手术计划获得的所述解剖结构的一部分的虚拟模型；
基于由一个或多个传感器获得的数据而识别相对于所述患者的所述解剖结构定位的一个或多个物理标记的位置；以及
基于所述所识别的位置而将所述解剖结构的所述部分的所述虚拟模型与所述解剖结构的对应的被观察部分配准。
2.如权利要求1所述的方法，其中配准所述虚拟模型包括最初配准所述虚拟模型。
3.如权利要求2所述的方法，其中配准所述虚拟模型包括重新配准所述虚拟模型。
4.如权利要求3所述的方法，其中重新配准所述虚拟模型包括：
响应于确定已失去所述虚拟模型的配准，基于所述所识别的位置而重新配准所述虚拟模型。
5.如权利要求1-4中任一项所述的方法，其中配准所述虚拟模型还包括：
基于所述一个或多个物理标记的所述所识别的位置以及一个或多个虚拟标记而将所述解剖结构的所述部分的所述虚拟模型与所述解剖结构的所述对应的被观察部分配准。
6.如权利要求5所述的方法，其中基于所述一个或多个虚拟标记而将所述解剖结构的所述部分的所述虚拟模型与所述解剖结构的所述对应的被观察部分配准包括：
基于所述解剖结构的所述部分的所述虚拟模型与所述解剖结构的对应的被观察部分之间的对准而产生所述解剖结构的所述部分的所述虚拟模型与所述解剖结构的所述对应的被观察部分之间的变换矩阵，其中所述变换矩阵提供用于将由所述虚拟外科手术计划指示的虚拟引导平移到所述解剖结构的所述被观察部分的坐标系。
7.如权利要求6所述的方法，所述方法还包括通过至少以下方式确定所述对准：
接收用户输入以将虚拟标记虚拟地定位在所述解剖结构的所述被观察部分的所述虚拟模型的在所述解剖结构的所述被观察部分的表面上的对应的目标区域内的表面上；以及
调整所述虚拟模型的取向，使得与所述虚拟标记相关联的虚拟表面法向矢量与同所述对应的目标区域相关联的真实表面法向矢量对准。
8.如权利要求1-7中任一项所述的方法，其中配准所述虚拟模型包括：
执行初始化程序；以及
执行优化程序。
9.如权利要求8所述的方法，其中执行所述初始化程序包括确定所述对准，并且其中执行所述优化程序包括产生所述变换矩阵。
10.如权利要求7所述的方法，其中所述目标区域是所述解剖结构的所述部分的解剖界标。
11.如权利要求9所述的方法，其中所述解剖界标是关节盂的中心区域或肱骨头的中心区域。
12.如权利要求7-11中任一项所述的方法，其中接收所述用户输入包括以下项中的一者或多者：
从可视化装置的一个或多个传感器接收运动数据；
接收指示一个或多个语音命令的音频数据；以及
接收指示一个或多个手部姿势的执行的数据。
13.如权利要求1-12中任一项所述的方法，所述方法还包括：
经由可视化装置显示所述解剖结构的所述部分的所述虚拟模型，并且将所述虚拟模型覆盖在经由所述可视化装置能够查看的所述解剖结构的所述部分上。
14.如权利要求1-13中任一项所述的方法，所述方法还包括：
经由所述可视化装置显示虚拟引导并且将所述虚拟引导覆盖在所述解剖结构的所述部分上，所述虚拟引导引导以下项中的至少一者：用于附接所述假体的所述解剖结构的准备或所述假体到所述解剖结构的附接。
15.如权利要求1-14中任一项所述的方法，所述方法还包括：
输出可移除所述物理标记的指示。
16.如权利要求15所述的方法，其中输出可移除所述物理标记的所述指示包括：
响应于确定在所述物理标记不用保持存在的情况下就能够维持配准而输出所述指示。
17.如权利要求15所述的方法，其中输出可移除所述物理标记的所述指示包括：
响应于确定不再需要配准而输出所述指示。
18.如权利要求1-17中任一项所述的方法，其中所述物理标记包括一个或多个无源物理标记。
19.如权利要求18所述的方法，其中所述无源物理标记中的至少一者包括标贴。
20.如权利要求1-19中任一项所述的方法，其中所述物理标记包括一个或多个有源物理标记。
21.如权利要求20所述的方法，其中所述有源物理标记中的至少一者包括电磁标记。
22.如权利要求1-21中任一项所述的方法，所述方法还包括：
获得某一器械的虚拟模型；
基于由所述一个或多个传感器获得的数据而识别相对于所述器械定位的一个或多个物理标记的位置；以及
基于所述所识别的位置而将所述器械的所述虚拟模型与所述器械的对应的被观察部分配准。
23.如权利要求1-22中任一项所述的方法，其中将所述虚拟模型与所述被观察部分配准包括：
定期地将所述虚拟模型与所述被观察部分配准。
24.如权利要求1-23中任一项所述的方法，所述方法还包括：
确定所述虚拟模型的所述配准的置信度。
25.如权利要求24所述的方法，其中确定所述配准的所述置信度包括：
确定表示在所述虚拟模型上的某一点与所述解剖结构的所述被观察部分上的对应的点之间的最大距离的置信距离。
26.如权利要求25所述的方法，其中确定已失去所述虚拟模型的配准包括：
确定所述置信距离大于阈值置信距离。
27.如权利要求26所述的方法，其中对于所述骨科关节修复外科手术的所有工作步骤而言，所述阈值置信距离都是相同的。
28.如权利要求26所述的方法，所述方法还包括：
针对所述骨科关节修复外科手术的第一工作步骤选择第一阈值置信距离；以及
针对所述骨科关节修复外科手术的第二工作步骤选择第二阈值置信距离。
29.如权利要求24-28中任一项所述的方法，所述方法还包括：
输出所述配准的所述置信度的表示。
30.如权利要求29所述的方法，其中输出所述置信度的所述表示包括以下项中的一者或多者：
显示所述置信距离的数值；以及
显示所述置信距离的图形表示。
31.一种混合现实系统，所述混合现实系统包括：
存储器，所述存储器存储用于旨在将假体附接到患者的解剖结构的骨科关节修复外科手术的虚拟外科手术计划的至少一部分；
一个或多个物理标记；
一个或多个传感器；以及
一个或多个处理器，所述一个或多个处理器被配置为执行如权利要求1-30中任一组合所述的方法。
32.一种计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令在被执行时致使混合现实系统的一个或多个处理器执行如权利要求1-30中任一组合所述的方法。
CN201980054163.9A 2018-06-19 2019-06-13 具有配准虚拟模型的物理标记的混合现实外科手术系统 Pending CN112584789A (zh)

Applications Claiming Priority (33)

Application Number Priority Date Filing Date Title
US201862687014P 2018-06-19 2018-06-19
US62/687,014 2018-06-19
US201862739406P 2018-10-01 2018-10-01
US62/739,406 2018-10-01
US201862778760P 2018-12-12 2018-12-12
US201862778774P 2018-12-12 2018-12-12
US201862778782P 2018-12-12 2018-12-12
US201862778791P 2018-12-12 2018-12-12
US201862778797P 2018-12-12 2018-12-12
US201862778789P 2018-12-12 2018-12-12
US201862778796P 2018-12-12 2018-12-12
US201862778778P 2018-12-12 2018-12-12
US201862778788P 2018-12-12 2018-12-12
US201862778764P 2018-12-12 2018-12-12
US201862778772P 2018-12-12 2018-12-12
US62/778,760 2018-12-12
US62/778,782 2018-12-12
US62/778,796 2018-12-12
US62/778,774 2018-12-12
US62/778,772 2018-12-12
US62/778,788 2018-12-12
US62/778,778 2018-12-12
US62/778,764 2018-12-12
US62/778,797 2018-12-12
US62/778,789 2018-12-12
US62/778,791 2018-12-12
US201962804402P 2019-02-12 2019-02-12
US201962804392P 2019-02-12 2019-02-12
US201962804383P 2019-02-12 2019-02-12
US62/804,392 2019-02-12
US62/804,402 2019-02-12
US62/804,383 2019-02-12
PCT/US2019/036971 WO2019245848A1 (en) 2018-06-19 2019-06-13 Mixed-reality surgical system with physical markers for registration of virtual models

Publications (1)

Publication Number Publication Date
CN112584789A true CN112584789A (zh) 2021-03-30

Family

ID=67108204

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201980054165.8A Pending CN112566578A (zh) 2018-06-19 2019-06-13 针对骨科外科手术使用虚拟模型或虚拟表示进行的混合现实辅助教学
CN201980054178.5A Pending CN112584790A (zh) 2018-06-19 2019-06-13 用于骨科外科手术的虚拟检查清单
CN201980054163.9A Pending CN112584789A (zh) 2018-06-19 2019-06-13 具有配准虚拟模型的物理标记的混合现实外科手术系统
CN201980054214.8A Pending CN112584791A (zh) 2018-06-19 2019-06-13 用于诊断肩部疾患的神经网络
CN201980054194.4A Pending CN112566579A (zh) 2018-06-19 2019-06-13 使用混合现实进行骨科外科手术的多用户协作和工作流技术
CN201980054205.9A Pending CN112566580A (zh) 2018-06-19 2019-06-13 用于脚踝外科手术的虚拟引导

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201980054165.8A Pending CN112566578A (zh) 2018-06-19 2019-06-13 针对骨科外科手术使用虚拟模型或虚拟表示进行的混合现实辅助教学
CN201980054178.5A Pending CN112584790A (zh) 2018-06-19 2019-06-13 用于骨科外科手术的虚拟检查清单

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201980054214.8A Pending CN112584791A (zh) 2018-06-19 2019-06-13 用于诊断肩部疾患的神经网络
CN201980054194.4A Pending CN112566579A (zh) 2018-06-19 2019-06-13 使用混合现实进行骨科外科手术的多用户协作和工作流技术
CN201980054205.9A Pending CN112566580A (zh) 2018-06-19 2019-06-13 用于脚踝外科手术的虚拟引导

Country Status (6)

Country Link
US (23) US10987176B2 (zh)
EP (15) EP3810018A1 (zh)
JP (2) JP7271579B2 (zh)
CN (6) CN112566578A (zh)
AU (7) AU2019289081B2 (zh)
WO (18) WO2019245864A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113133814A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于增强现实的穿刺手术导航装置及计算机可读存储介质
CN113133813A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于穿刺过程的动态信息显示系统及方法
CN113509265A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 一种动态位置识别提示系统及其方法
CN115131409A (zh) * 2022-08-26 2022-09-30 深圳深知未来智能有限公司 一种基于深度学习的亲密矩阵视点合成方法、应用及系统

Families Citing this family (250)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010121250A1 (en) 2009-04-17 2010-10-21 Arthrosurface Incorporated Glenoid resurfacing system and method
US11020189B2 (en) * 2012-10-02 2021-06-01 Radlink, Inc. System and method for component positioning by registering a 3D patient model to an intra-operative image
US9629698B2 (en) * 2014-11-04 2017-04-25 James R. Glidewell Dental Ceramics, Inc. Method and apparatus for generation of 3D models with applications in dental restoration design
CN106999289B (zh) * 2014-12-11 2019-03-12 思想外科有限公司 用于膝关节置换术的测量胫骨试验
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10646289B2 (en) * 2015-12-29 2020-05-12 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN109688963B (zh) 2016-07-15 2021-08-06 马科外科公司 用于机器人辅助修正程序的系统
CN110248618B (zh) 2016-09-09 2024-01-09 莫比乌斯成像公司 用于在计算机辅助手术中显示患者数据的方法及系统
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US20210295048A1 (en) * 2017-01-24 2021-09-23 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
US20210327303A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
US20210327304A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equpment systems
CA3049148A1 (en) * 2017-01-24 2018-08-02 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
CN111010865B (zh) 2017-02-24 2023-07-25 梅西莫股份有限公司 用于显示医疗监测数据的系统
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US11166764B2 (en) 2017-07-27 2021-11-09 Carlsmed, Inc. Systems and methods for assisting and augmenting surgical procedures
DE102017218215A1 (de) * 2017-10-12 2019-04-18 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
KR20230152180A (ko) 2017-12-10 2023-11-02 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
CA3086206A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
US10846109B2 (en) * 2017-12-20 2020-11-24 Google Llc Suggesting actions based on machine learning
US11887236B2 (en) * 2018-01-02 2024-01-30 Koninklijke Philips N.V. Animated position display of an OSS interventional device
US11351007B1 (en) 2018-01-22 2022-06-07 CAIRA Surgical Surgical systems with intra-operative 3D scanners and surgical methods using the same
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11439514B2 (en) 2018-04-16 2022-09-13 Carlsmed, Inc. Systems and methods for orthopedic implant fixation
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11250726B2 (en) * 2018-05-24 2022-02-15 Verily Life Sciences Llc System for simulation of soft bodies
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
WO2019245864A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided education related to orthopedic surgical procedures
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
GB2574074B (en) 2018-07-27 2020-05-20 Mclaren Applied Tech Ltd Time synchronisation
USD958151S1 (en) 2018-07-30 2022-07-19 Carlsmed, Inc. Display screen with a graphical user interface for surgical planning
US11298186B2 (en) * 2018-08-02 2022-04-12 Point Robotics Medtech Inc. Surgery assistive system and method for obtaining surface information thereof
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11116587B2 (en) 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
EP3611734A1 (de) * 2018-08-13 2020-02-19 Siemens Healthcare GmbH Steuereinheit und steuerverfahren zur steuerung einer ausgabeeinheit von informationen im rahmen der medizinischen diagnostik und therapie
US11244381B2 (en) * 2018-08-21 2022-02-08 International Business Machines Corporation Collaborative virtual reality computing system
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US20200078113A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Port presence detection system for modular energy system
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11896279B2 (en) 2018-09-07 2024-02-13 Cilag Gmbh International Surgical modular energy system with footer module
US11696833B2 (en) 2018-09-12 2023-07-11 Carlsmed, Inc. Systems and methods for orthopedic implants
US11621081B1 (en) * 2018-11-13 2023-04-04 Iqvia Inc. System for predicting patient health conditions
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11523872B1 (en) * 2018-12-03 2022-12-13 Memic Innovative Surgery Ltd. Systems and methods for guiding manipulation of endoscopic tools for endoscopic surgery
JP2022028086A (ja) * 2018-12-05 2022-02-15 ソニーグループ株式会社 情報処理装置、提示方法、および手術システム
US20220054195A1 (en) * 2018-12-12 2022-02-24 Howmedica Osteonics Corp. Soft tissue structure determination from ct images
US11625825B2 (en) * 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US20220148739A1 (en) * 2019-02-05 2022-05-12 Smith & Nephew, Inc. Use of robotic surgical data for long term episode of care
US11857378B1 (en) * 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US10729502B1 (en) 2019-02-21 2020-08-04 Theator inc. Intraoperative surgical event summary
US11065079B2 (en) 2019-02-21 2021-07-20 Theator inc. Image-based system for estimating surgical contact force
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US11478358B2 (en) 2019-03-12 2022-10-25 Arthrosurface Incorporated Humeral and glenoid articular surface implant systems and methods
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
US11743665B2 (en) 2019-03-29 2023-08-29 Cilag Gmbh International Modular surgical energy system with module positional awareness sensing with time counter
US11295410B2 (en) * 2019-04-12 2022-04-05 Rocket Innovations, Inc. Writing surface boundary markers for computer vision
US11024096B2 (en) * 2019-04-29 2021-06-01 The Board Of Trustees Of The Leland Stanford Junior University 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device
US20200352652A1 (en) * 2019-05-06 2020-11-12 Biosense Webster (Israel) Ltd. Systems and methods for improving cardiac ablation procedures
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
US11957956B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies, Inc. System, method and apparatus for rehabilitation and exercise
US10881353B2 (en) * 2019-06-03 2021-01-05 General Electric Company Machine-guided imaging techniques
US11896540B2 (en) 2019-06-24 2024-02-13 Rehab2Fit Technologies, Inc. Method and system for implementing an exercise protocol for osteogenesis and/or muscular hypertrophy
WO2021021670A1 (en) 2019-07-26 2021-02-04 Magic Leap, Inc. Systems and methods for augmented reality
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11182576B1 (en) * 2019-07-31 2021-11-23 Splunk Inc. Techniques for using tag placement to determine 3D object orientation
WO2021026156A1 (en) * 2019-08-07 2021-02-11 Tornier, Inc. Pre-operative planning of bone graft to be harvested from donor site
US11478362B2 (en) 2019-08-29 2022-10-25 Mako Surgical Corp. Robotic surgery system for augmented hip arthroplasty procedures
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11986251B2 (en) 2019-09-13 2024-05-21 Treace Medical Concepts, Inc. Patient-specific osteotomy instrumentation
WO2021051098A1 (en) 2019-09-13 2021-03-18 Inmotus Medical Llc Patient-specific surgical methods and instrumentation
US11071597B2 (en) 2019-10-03 2021-07-27 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11432882B2 (en) 2019-09-17 2022-09-06 CAIRA Surgical System and method for medical object tracking
US11075000B2 (en) 2019-10-03 2021-07-27 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11101028B2 (en) 2019-10-03 2021-08-24 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11069436B2 (en) 2019-10-03 2021-07-20 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US11978559B2 (en) 2019-10-03 2024-05-07 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US11676345B1 (en) * 2019-10-18 2023-06-13 Splunk Inc. Automated adaptive workflows in an extended reality environment
GB2588236B (en) 2019-10-18 2024-03-20 Mclaren Applied Ltd Gyroscope bias estimation
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
EP4058979A4 (en) * 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
WO2021106883A1 (ja) * 2019-11-28 2021-06-03 ソニーグループ株式会社 情報処理システム、情報処理方法及びプログラム
US11925418B2 (en) * 2019-12-02 2024-03-12 The General Hospital Corporation Methods for multi-modal bioimaging data integration and visualization
US11488700B2 (en) * 2019-12-13 2022-11-01 Medtronic Minimed, Inc. Medical device configuration procedure guidance responsive to detected gestures
US20210193310A1 (en) * 2019-12-18 2021-06-24 DePuy Synthes Products, Inc. Platform for handling of medical devices associated with a medical device kit
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
KR102347471B1 (ko) * 2019-12-26 2022-01-06 (의료)길의료재단 증강 현실을 이용한 모의 수술 시스템 및 방법
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11376076B2 (en) 2020-01-06 2022-07-05 Carlsmed, Inc. Patient-specific medical systems, devices, and methods
US10902944B1 (en) 2020-01-06 2021-01-26 Carlsmed, Inc. Patient-specific medical procedures and devices, and associated systems and methods
EP3848779A1 (en) * 2020-01-09 2021-07-14 BHS Technologies GmbH Head-mounted display system and method for controlling a medical imaging device
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
JP7490965B2 (ja) 2020-01-24 2024-05-28 コニカミノルタ株式会社 術式提案装置及びプログラム
WO2021155334A1 (en) * 2020-01-31 2021-08-05 Surgical Theater, Inc. System and method for augmenting and synchronizing a virtual model with a physical model
CN113345057A (zh) * 2020-02-18 2021-09-03 京东方科技集团股份有限公司 动画形象的生成方法、设备及存储介质
US11207150B2 (en) * 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
CN111297475B (zh) * 2020-02-19 2021-06-18 苏州微创畅行机器人有限公司 骨注册方法、骨注册系统、骨注册控制装置及可跟踪元件
CN115136253A (zh) 2020-02-20 2022-09-30 史密夫和内修有限公司 用于关节镜视频分析的方法及用于其的装置
CN111290388B (zh) * 2020-02-25 2022-05-13 苏州科瓴精密机械科技有限公司 路径追踪方法、系统，机器人及可读存储介质
KR20230037007A (ko) * 2020-02-28 2023-03-15 8칠리 아이엔씨 수술 내비게이션 시스템 및 그 응용
AU2021229905A1 (en) * 2020-03-04 2022-10-27 360 Knee Systems Pty Ltd Surgical impactor navigation systems and methods
CN111403022B (zh) * 2020-03-13 2020-11-27 北京维卓致远医疗科技发展有限责任公司 一种医疗用可移动分体式操控系统使用方法
TWI741536B (zh) * 2020-03-20 2021-10-01 台灣骨王生技股份有限公司 基於混合實境的手術導航影像成像方法
CN115210756A (zh) 2020-04-03 2022-10-18 史密夫和内修有限公司 用于关节镜手术视频分割的方法及用于其的装置
WO2021201967A1 (en) * 2020-04-03 2021-10-07 Howmedica Osteonics Corp. Mixed reality guidance for bone-graft harvesting
US11224485B2 (en) 2020-04-05 2022-01-18 Theator inc. Image analysis for detecting deviations from a surgical plane
US20230157705A1 (en) * 2020-04-10 2023-05-25 Wright Medical Technology, Inc. Devices and methods for removing bone
US20210327567A1 (en) * 2020-04-20 2021-10-21 Explorer Surgical Corp. Machine-Learning Based Surgical Instrument Recognition System and Method to Trigger Events in Operating Room Workflows
WO2021216516A1 (en) * 2020-04-20 2021-10-28 Smith & Nephew, Inc. Fiducial marker devices
US11564767B2 (en) 2020-04-22 2023-01-31 Warsaw Orthopedic, Inc. Clinical diagnosis and treatment planning system and methods of use
US20230146371A1 (en) * 2020-04-29 2023-05-11 Howmedica Osteonics Corp. Mixed-reality humeral-head sizing and placement
US20230346506A1 (en) * 2020-05-04 2023-11-02 Howmedica Osteonics Corp. Mixed reality-based screw trajectory guidance
DE102020205804A1 (de) * 2020-05-08 2021-11-11 Siemens Healthcare Gmbh Unterstützung einer medizinischen Intervention
TWI799705B (zh) * 2020-05-20 2023-04-21 倍利科技股份有限公司 醫學影像輔助判讀系統
US20210374635A1 (en) * 2020-05-29 2021-12-02 Zebra Technologies Corporation Scalable assistive data generation and delivery
US11087557B1 (en) 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US11593931B2 (en) 2020-06-09 2023-02-28 Howmedica Osteonics Corp. Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types
TWI790447B (zh) * 2020-06-10 2023-01-21 長庚大學 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
WO2021250456A1 (en) * 2020-06-11 2021-12-16 Vivek Dubey System and method to detect a disease outbreak
US20210391058A1 (en) * 2020-06-16 2021-12-16 Globus Medical, Inc. Machine learning system for navigated orthopedic surgeries
US20230268051A1 (en) * 2020-06-30 2023-08-24 Purdue Research Foundation Artifically intelligent medical procedure assessment and intervention system
CN111987630B (zh) * 2020-07-10 2022-09-06 国网上海市电力公司 一种用于电力物联网检修的可视化设备系统
EP4181813A1 (en) * 2020-07-14 2023-05-24 Howmedica Osteonics Corporation Dynamic joint analysis for joint replacement
US20230293236A1 (en) * 2020-07-14 2023-09-21 Sony Group Corporation Device, method and computer program product for validating surgical simulation
US11980426B2 (en) * 2020-08-03 2024-05-14 Warsaw Orthopedic, Inc. System and method for preliminary registration
JP2023538543A (ja) * 2020-08-11 2023-09-08 カールスメッド インコーポレイテッド 患者特異データとの患者特異医療デバイスのリンク及び関連のシステム及び方法
CN111932678B (zh) * 2020-08-13 2021-05-14 北京未澜科技有限公司 多视点实时人体运动、手势、表情、纹理重建系统
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
CN112107363B (zh) * 2020-08-31 2022-08-02 上海交通大学 一种基于深度相机的超声溶脂机器人系统及辅助操作方法
US10937542B1 (en) * 2020-09-18 2021-03-02 Vent Creativity Corporation Patient specific treatment planning
TWI765369B (zh) * 2020-10-12 2022-05-21 臺北醫學大學 基於擴增實境的手術決策支援系統及其方法
AU2021376536A1 (en) * 2020-11-03 2023-06-15 360 Hip Systems Pty Limited Calculating range of motion
US20220175462A1 (en) * 2020-12-07 2022-06-09 Mazor Robotics Ltd. System for position and process verification in computer assisted surgery
EP4011314A1 (en) * 2020-12-08 2022-06-15 Ganymed Robotics System and method for assisting orthopeadics surgeries
US20220175460A1 (en) * 2020-12-09 2022-06-09 Pacific Medical Device Consulting LLC Self-locating, active markers for navigated, augmented reality, or robotic surgery
US11890058B2 (en) 2021-01-21 2024-02-06 Arthrex, Inc. Orthopaedic planning systems and methods of repair
WO2022164884A1 (en) * 2021-01-28 2022-08-04 Mcginley Engineered Solutions, Llc Surgical instrument operation monitoring using artificial intelligence
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US11478327B2 (en) 2021-02-18 2022-10-25 Xenco Medical, Inc. Surgical display
US20240173096A1 (en) * 2021-03-26 2024-05-30 Think Surgical, Inc. System and method for detecting a potential collision between a bone and an end-effector
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US20220313341A1 (en) * 2021-03-30 2022-10-06 Ethicon Llc Surgical proceduralization via modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
DE102021109241B4 (de) * 2021-04-13 2023-03-16 Siemens Healthcare Gmbh System und verfahren zum bereitstellen interaktiver virtueller schulungen für mehrere medizinische mitarbeiter in echtzeit
CN113158944B (zh) * 2021-04-29 2023-07-18 重庆锐云科技有限公司 基于人脸识别的体检排队方法、系统、设备及存储介质
DE102021111146A1 (de) * 2021-04-29 2022-11-03 Medicad Hectec Gmbh Augmented Reality Intra-OP
DE102021002652A1 (de) * 2021-05-20 2022-11-24 Medicad Hectec Gmbh Augmented reality-preoperative Planung
WO2022243961A1 (en) * 2021-05-21 2022-11-24 Cilag Gmbh International Surgical simulation system with simulated surgical equipment coordination
WO2022243958A1 (en) * 2021-05-21 2022-11-24 Cilag Gmbh International Surgical simulation system with coordinated imagining
WO2022243957A1 (en) * 2021-05-21 2022-11-24 Cilag Gmbh International Simulation-based surgical procedure planning system
WO2022243963A1 (en) * 2021-05-21 2022-11-24 Cilag Gmbh International Dynamic adaptation system for surgical simulation
EP4150608A1 (en) * 2021-05-21 2023-03-22 Cilag GmbH International Simulation-based directed surgical development system
EP4150609A1 (en) * 2021-05-21 2023-03-22 Cilag GmbH International Surgical simulation navigation system
WO2022243960A1 (en) * 2021-05-21 2022-11-24 Cilag Gmbh International Simulation-based surgical analysis system
US20220370137A1 (en) * 2021-05-21 2022-11-24 Cilag Gmbh International Surgical Simulation Object Rectification System
WO2022251715A2 (en) * 2021-05-27 2022-12-01 Covidien Lp Improved systems and methods of navigating a medical device in a body lumen using fuzzy logic combined with device parameters, direct user inputs, and distributed anonymized data
DE102021205688A1 (de) * 2021-06-04 2022-12-08 Siemens Healthcare Gmbh Virtuelle Erweiterung eines Kamerabildes
US20220391790A1 (en) * 2021-06-06 2022-12-08 International Business Machines Corporation Using an augmented reality device to implement a computer driven action between multiple devices
WO2022261528A1 (en) * 2021-06-11 2022-12-15 The Regents Of The University Of California Using machine learning and 3d projection to guide medical procedures
EP4104744A1 (en) * 2021-06-15 2022-12-21 Cilag GmbH International Method of using imaging devices in surgery
CN117836870A (zh) * 2021-07-04 2024-04-05 Ai瓦力股份有限公司 用于实时处理医学图像的系统和方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN113393056B (zh) * 2021-07-08 2022-11-25 山东大学 基于时间序列的众包服务供需缺口预测方法及系统
CN113488179B (zh) * 2021-07-20 2022-03-15 重庆东登科技有限公司 基于虚拟现实的急救系统
WO2023002377A1 (en) * 2021-07-22 2023-01-26 Cilag Gmbh International Multi-level surgical data analysis system
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230031572A1 (en) * 2021-08-02 2023-02-02 Unisys Corporatrion Method of training a user to perform a task
WO2023014316A2 (en) * 2021-08-05 2023-02-09 Yaldiz Oezguer Sinan Personal bone cutting measurement planning software and distal femoral osteotomy bone cutting and screw guide
WO2023021450A1 (en) * 2021-08-18 2023-02-23 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
US20230055383A1 (en) * 2021-08-23 2023-02-23 Summate Technologies, Inc. Integrated Data Capture of Sterile and Non-Sterile Surgical Supplies and Implantables
CN113761776B (zh) * 2021-08-24 2023-03-14 中国人民解放军总医院第一医学中心 基于增强现实的心脏出血与止血模型的仿真系统和方法
CN113761796B (zh) * 2021-08-24 2023-04-18 中国人民解放军总医院第一医学中心 基于虚拟现实的心脏出血与止血模型的仿真系统和方法
CA3230211A1 (en) * 2021-08-30 2023-03-09 Arthrex, Inc. Surgical planning systems and methods for preoperatively assessing center of rotation data
CA3230781A1 (en) * 2021-09-08 2023-03-16 Arthrex, Inc. Surgical systems and methods for positioning objects using augmented reality navigation
DE102021210397A1 (de) 2021-09-20 2023-03-23 Carl Zeiss Meditec Ag System und Verfahren zum Konfigurieren von zumindest einem medizinischen Gerät
US11759216B2 (en) 2021-09-22 2023-09-19 Arthrex, Inc. Orthopaedic fusion planning systems and methods of repair
WO2023056261A1 (en) * 2021-09-30 2023-04-06 Microport Orthopedics Holdings Inc. Systems and methods of using photogrammetry for intraoperatively aligning surgical elements
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
AU2021471764A1 (en) * 2021-10-28 2024-05-02 Akunah Medical Technology Pty Ltd Method and system of visualization during orthopaedic surgery
CN113995525A (zh) * 2021-11-05 2022-02-01 无锡蓝软智能医疗科技有限公司 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质
WO2023086332A1 (en) * 2021-11-09 2023-05-19 Genesis Medtech (USA) Inc. An interactive augmented reality system for laparoscopic and video assisted surgeries
KR102608724B1 (ko) * 2021-11-22 2023-12-01 주식회사 듀코젠 Vr 공학 실습 컨텐츠에서의 실습 제공 방법 및 시스템
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
US20230169696A1 (en) * 2021-11-27 2023-06-01 Novarad Corporation Transfer of Alignment Accuracy Between Visible Markers Used with Augmented Reality Displays
PT117610A (pt) * 2021-11-29 2023-05-29 Peek Health S A Sistemas e métodos para planeamento automático de cirurgias ortopédicas
US11410769B1 (en) * 2021-12-08 2022-08-09 Vent Creativity Corporation Tactile solutions integration for patient specific treatment
WO2023113823A1 (en) * 2021-12-17 2023-06-22 Hewlett-Packard Development Company, L.P. Generating a three-dimensional representation of an object
CN114241476A (zh) * 2021-12-20 2022-03-25 山东矩阵软件工程股份有限公司 一种列车车况检查方法、系统及相关装置
WO2023117340A1 (en) * 2021-12-22 2023-06-29 Biotronik Ag Method and system for virtual surgical procedure
US11726734B2 (en) * 2022-01-13 2023-08-15 Motorola Mobility Llc Configuring an external presentation device based on an impairment of a user
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11443838B1 (en) 2022-02-23 2022-09-13 Carlsmed, Inc. Non-fungible token systems and methods for storing and accessing healthcare data
CN114973820A (zh) * 2022-04-13 2022-08-30 北京众绘虚拟现实技术研究院有限公司 关节镜模拟训练系统
DE102022111283A1 (de) * 2022-05-06 2023-11-09 Aesculap Ag Generierung von virtuellen optoelektronischen Daten
WO2023220646A2 (en) * 2022-05-10 2023-11-16 Kaliber Labs Inc. System to provide postoperative care and monitoring using human voice
FR3135560A1 (fr) * 2022-05-13 2023-11-17 Virtualisurg Plateforme d’entraînement
WO2023235747A2 (en) * 2022-05-31 2023-12-07 The Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College Modular anatomical system
US20230410993A1 (en) * 2022-06-21 2023-12-21 Mako Surgical Corporation Devices, systems, and methods for predicting surgical time and optimizing medical procedures and outcomes
CN115115810B (zh) * 2022-06-29 2023-06-02 广东工业大学 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法
US20240029367A1 (en) * 2022-07-22 2024-01-25 Covidien Lp Extended reality training platform
US11547486B1 (en) * 2022-08-03 2023-01-10 Ix Innovation Llc Digital image analysis for robotic installation of surgical implants
WO2024039493A1 (en) * 2022-08-18 2024-02-22 Arthrex, Inc. Preoperative surgical planning systems and methods for performing range of motion analysis
WO2024044490A1 (en) * 2022-08-22 2024-02-29 Broncus Medical Inc. Intraprocedure 2d to 3d registration adjustment method and system
WO2024044188A1 (en) * 2022-08-23 2024-02-29 Smith & Nephew, Inc. Multi-class image segmentation with w-net architecture
EP4331664A1 (en) * 2022-08-31 2024-03-06 Vision RT Limited A system for monitoring position of a patient
WO2024054578A1 (en) * 2022-09-09 2024-03-14 Howmedica Osteonics Corp. Mixed reality bone graft shaping
AU2022235552A1 (en) * 2022-09-20 2024-04-04 Griffith University A computer program, apparatus, and computer-implemented method of pre-operative planning for patient surgery
US11806241B1 (en) 2022-09-22 2023-11-07 Carlsmed, Inc. System for manufacturing and pre-operative inspecting of patient-specific implants
US11850005B1 (en) * 2022-10-27 2023-12-26 Mammen Thomas Use of immersive real-time metaverse and avatar and 3-D hologram for medical and veterinary applications using spatially coordinated multi-imager based 3-D imaging
US20240138919A1 (en) * 2022-10-28 2024-05-02 Carlsmed, Inc. Systems and methods for selecting, reviewing, modifying, and/or approving surgical plans
EP4365875A1 (en) * 2022-11-02 2024-05-08 Siemens Healthineers AG Technique for visualizing interactions with a technical device in an xr scene
CN115662234B (zh) * 2022-11-03 2023-09-08 郑州大学 一种基于虚拟现实的胸腔镜手术示教系统
US11793577B1 (en) 2023-01-27 2023-10-24 Carlsmed, Inc. Techniques to map three-dimensional human anatomy data to two-dimensional human anatomy data
KR102624485B1 (ko) * 2023-07-12 2024-01-15 (주)시안솔루션 환자 맞춤형 가이던스를 설계하는 방법, 이를 위한 프로그램 및 서버
KR102631687B1 (ko) * 2023-08-23 2024-01-31 주식회사 대박드림스 뉴럴 네트워크를 이용하여 사용자 단말에게 통증 관리 정보를 제공하는 방법 및 장치

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US20080249395A1 (en) * 2007-04-06 2008-10-09 Yehoshua Shachar Method and apparatus for controlling catheter positioning and orientation
CN102985025A (zh) * 2010-07-08 2013-03-20 斯恩蒂斯有限公司 先进的骨标记和定制植入件
US20130336553A1 (en) * 2010-08-13 2013-12-19 Smith & Nephew, Inc. Detection of anatomical landmarks
CN104025119A (zh) * 2011-10-05 2014-09-03 塞伏瑞斯派恩公司 用于手术和介入性医疗过程中的成像系统和方法
US20160143699A1 (en) * 2013-06-11 2016-05-26 Atsushi Tanji Surgical operation support system, surgical operation support apparatus, surgical operation support method, surgical operation support program, and information processing apparatus
CN105939687A (zh) * 2013-12-31 2016-09-14 马科外科公司 用于生成定制的触觉边界的系统和方法
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US20170312031A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US20170367766A1 (en) * 2016-03-14 2017-12-28 Mohamed R. Mahfouz Ultra-wideband positioning for wireless ultrasound tracking and communication
US20180049622A1 (en) * 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures

Family Cites Families (383)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5769640A (en) * 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
JP3482690B2 (ja) * 1994-05-31 2003-12-22 株式会社島津製作所 手術器具の位置表示装置
US5682886A (en) 1995-12-26 1997-11-04 Musculographics Inc Computer-assisted surgical system
US5824085A (en) 1996-09-30 1998-10-20 Integrated Surgical Systems, Inc. System and method for cavity generation for surgical planning and initial placement of a bone prosthesis
AU727263B2 (en) * 1996-09-30 2000-12-07 Smithkline Beecham Corporation Disease management method and system
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US8545569B2 (en) 2001-05-25 2013-10-01 Conformis, Inc. Patient selectable knee arthroplasty devices
US8083745B2 (en) 2001-05-25 2011-12-27 Conformis, Inc. Surgical tools for arthroplasty
US20110071802A1 (en) 2009-02-25 2011-03-24 Ray Bojarski Patient-adapted and improved articular implants, designs and related guide tools
US8480754B2 (en) 2001-05-25 2013-07-09 Conformis, Inc. Patient-adapted and improved articular implants, designs and related guide tools
US8617242B2 (en) 2001-05-25 2013-12-31 Conformis, Inc. Implant device and method for manufacture
US7618451B2 (en) 2001-05-25 2009-11-17 Conformis, Inc. Patient selectable joint arthroplasty devices and surgical tools facilitating increased accuracy, speed and simplicity in performing total and partial joint arthroplasty
US7468075B2 (en) 2001-05-25 2008-12-23 Conformis, Inc. Methods and compositions for articular repair
US7534263B2 (en) 2001-05-25 2009-05-19 Conformis, Inc. Surgical tools facilitating increased accuracy, speed and simplicity in performing joint arthroplasty
US9603711B2 (en) 2001-05-25 2017-03-28 Conformis, Inc. Patient-adapted and improved articular implants, designs and related guide tools
US8735773B2 (en) 2007-02-14 2014-05-27 Conformis, Inc. Implant device and method for manufacture
US8556983B2 (en) 2001-05-25 2013-10-15 Conformis, Inc. Patient-adapted and improved orthopedic implants, designs and related tools
US8234097B2 (en) 2001-05-25 2012-07-31 Conformis, Inc. Automated systems for manufacturing patient-specific orthopedic implants and instrumentation
US5880976A (en) 1997-02-21 1999-03-09 Carnegie Mellon University Apparatus and method for facilitating the implantation of artificial components in joints
US6205411B1 (en) 1997-02-21 2001-03-20 Carnegie Mellon University Computer-assisted surgery planner and intra-operative guidance system
US6245074B1 (en) * 1999-09-01 2001-06-12 Bristol-Myers Squibb Co. Orthopaedic glenoid reamer
US7635390B1 (en) * 2000-01-14 2009-12-22 Marctec, Llc Joint replacement component having a modular articulating surface
US20040068187A1 (en) * 2000-04-07 2004-04-08 Krause Norman M. Computer-aided orthopedic surgery
US6458136B1 (en) * 2000-05-11 2002-10-01 Zimmer, Inc. Orthopaedic instrument for sizing implant sites and for pressurizing bone cement and a method for using the same
WO2002029700A2 (en) 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
DE60232315D1 (de) 2001-02-27 2009-06-25 Smith & Nephew Inc Chirurgisches navigationssystem zur teilweisen kniegelenkrekonstruktion
JP2002297850A (ja) * 2001-04-02 2002-10-11 Hitachi Ltd ワークフローシステムにおけるクロスチェック制御方法およびワークフローシステム
AU2002310193B8 (en) 2001-05-25 2007-05-17 Conformis, Inc. Methods and compositions for articular resurfacing
US8439926B2 (en) 2001-05-25 2013-05-14 Conformis, Inc. Patient selectable joint arthroplasty devices and surgical tools
CA2486520A1 (en) 2001-06-13 2002-12-19 Volume Interactions Pte. Ltd. Guide systems for interacting with a subject, and methods therefor
US20040254454A1 (en) 2001-06-13 2004-12-16 Kockro Ralf Alfons Guide system and a probe therefor
US20040162619A1 (en) 2001-08-27 2004-08-19 Zimmer Technology, Inc. Tibial augments for use with knee joint prostheses, method of implanting the tibial augment, and associated tools
US7708741B1 (en) * 2001-08-28 2010-05-04 Marctec, Llc Method of preparing bones for knee replacement surgery
US7715602B2 (en) 2002-01-18 2010-05-11 Orthosoft Inc. Method and apparatus for reconstructing bone surfaces during surgery
US7206627B2 (en) 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for intra-operative haptic planning of a medical procedure
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US8801720B2 (en) 2002-05-15 2014-08-12 Otismed Corporation Total joint arthroplasty system
US6978167B2 (en) 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
US7736368B2 (en) 2002-08-23 2010-06-15 Orthosoft Inc. Surgical universal positioning block and tool guide
GB2393625B (en) 2002-09-26 2004-08-18 Internet Tech Ltd Orthopaedic surgery planning
WO2004032806A1 (en) 2002-10-07 2004-04-22 Conformis, Inc. Minimally invasive joint implant with 3-dimensional geometry matching the articular surfaces
CN1780594A (zh) 2002-11-07 2006-05-31 康复米斯公司 用于确定半月板的大小和形状以及设计治疗的方法
CN1729484A (zh) 2002-12-04 2006-02-01 康复米斯公司 用于mri中的各向同性成像及使用各向同性或近似各向同性成像的定量图像分析中的多个成像平面的融合
US7542791B2 (en) 2003-01-30 2009-06-02 Medtronic Navigation, Inc. Method and apparatus for preplanning a surgical procedure
US20040243148A1 (en) 2003-04-08 2004-12-02 Wasielewski Ray C. Use of micro- and miniature position sensing devices for use in TKA and THA
US6944518B2 (en) 2003-09-18 2005-09-13 Depuy Products, Inc. Customized prosthesis and method of designing and manufacturing a customized prosthesis by utilizing computed tomography data
WO2005039430A2 (en) 2003-10-06 2005-05-06 Smith & Nephew, Inc. Modular navigated portal
US8175683B2 (en) 2003-12-30 2012-05-08 Depuy Products, Inc. System and method of designing and manufacturing customized instrumentation for accurate implantation of prosthesis by utilizing computed tomography data
US7774044B2 (en) 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
EP1722705A2 (en) 2004-03-10 2006-11-22 Depuy International Limited Orthopaedic operating systems, methods, implants and instruments
US9681925B2 (en) 2004-04-21 2017-06-20 Siemens Medical Solutions Usa, Inc. Method for augmented reality instrument placement using an image based navigation system
EP1591075B1 (de) 2004-04-27 2008-03-19 BrainLAB AG Planungsverfahren und -vorrichtung für Knieimplantationen
US9237958B2 (en) * 2004-06-30 2016-01-19 Synergy Disc Replacement Inc. Joint prostheses
US7235592B2 (en) 2004-10-12 2007-06-26 Zimmer Gmbh PVA hydrogel
US20070239159A1 (en) 2005-07-22 2007-10-11 Vertiflex, Inc. Systems and methods for stabilization of bone structures
US7935134B2 (en) 2004-10-20 2011-05-03 Exactech, Inc. Systems and methods for stabilization of bone structures
US20060111722A1 (en) 2004-11-19 2006-05-25 Hacene Bouadi Surgical cutting tool
US7896869B2 (en) 2004-12-29 2011-03-01 Depuy Products, Inc. System and method for ensuring proper medical instrument use in an operating room
GB0504172D0 (en) 2005-03-01 2005-04-06 King S College London Surgical planning
US20070015999A1 (en) 2005-07-15 2007-01-18 Heldreth Mark A System and method for providing orthopaedic surgical information to a surgeon
US7983777B2 (en) 2005-08-19 2011-07-19 Mark Melton System for biomedical implant creation and procurement
US20070066917A1 (en) 2005-09-20 2007-03-22 Hodorek Robert A Method for simulating prosthetic implant selection and placement
US20070118055A1 (en) 2005-11-04 2007-05-24 Smith & Nephew, Inc. Systems and methods for facilitating surgical procedures involving custom medical implants
US20070179626A1 (en) 2005-11-30 2007-08-02 De La Barrera Jose L M Functional joint arthroplasty method
KR100978260B1 (ko) 2005-12-27 2010-08-26 엘지디스플레이 주식회사 액정표시장치 및 그 제조방법
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
TWI434675B (zh) 2006-02-06 2014-04-21 Conformis Inc 患者可選擇式關節置換術裝置及外科工具
US8500740B2 (en) 2006-02-06 2013-08-06 Conformis, Inc. Patient-specific joint arthroplasty devices for ligament repair
US8623026B2 (en) 2006-02-06 2014-01-07 Conformis, Inc. Patient selectable joint arthroplasty devices and surgical tools incorporating anatomical relief
US20070239153A1 (en) 2006-02-22 2007-10-11 Hodorek Robert A Computer assisted surgery system using alternative energy technology
GB0603572D0 (en) 2006-02-23 2006-04-05 Depuy Ireland Ltd A glenoid component of a shoulder joint prosthesis
US8282646B2 (en) 2006-02-27 2012-10-09 Biomet Manufacturing Corp. Patient specific knee alignment guide and associated method
US8092465B2 (en) 2006-06-09 2012-01-10 Biomet Manufacturing Corp. Patient specific knee alignment guide and associated method
US8070752B2 (en) 2006-02-27 2011-12-06 Biomet Manufacturing Corp. Patient specific alignment guide and inter-operative adjustment
US7949386B2 (en) * 2006-03-21 2011-05-24 A2 Surgical Computer-aided osteoplasty surgery system
US20070233267A1 (en) * 2006-03-29 2007-10-04 Farid Amirouche Application of neural networks to prosthesis fitting and balancing in joints
WO2007115826A2 (en) * 2006-04-12 2007-10-18 Nassir Navab Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
FR2899790B1 (fr) * 2006-04-13 2008-06-13 Tornier Sas Composant glenoidien pour prothese totale d'epaule, jeu de tels composants, et prothese totale d'epaule comprenant un tel composant
US9795399B2 (en) 2006-06-09 2017-10-24 Biomet Manufacturing, Llc Patient-specific knee alignment guide and associated method
US8560047B2 (en) * 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
EP2032087A1 (en) 2006-06-19 2009-03-11 IGO Technologies Inc. Joint placement methods and apparatuses
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US7885701B2 (en) 2006-06-30 2011-02-08 Depuy Products, Inc. Registration pointer and method for registering a bone of a patient to a computer assisted orthopaedic surgery system
MX2009000206A (es) * 2006-07-12 2009-06-08 Medical Cyberworlds Inc Sistema de entrenamiento medico computarizado.
US8214016B2 (en) 2006-12-12 2012-07-03 Perception Raisonnement Action En Medecine System and method for determining an optimal type and position of an implant
EP2129317B1 (en) 2007-03-06 2014-11-05 The Cleveland Clinic Foundation Method for preparing for a surgical procedure
CN101711127B (zh) * 2007-04-19 2013-12-11 玛口外科股份有限公司 使用捕获的关节运动信息的植入规划
US8062364B1 (en) 2007-04-27 2011-11-22 Knee Creations, Llc Osteoarthritis treatment and device
US9179983B2 (en) 2007-08-14 2015-11-10 Zimmer, Inc. Method of determining a contour of an anatomical structure and selecting an orthopaedic implant to replicate the anatomical structure
CA2882265C (en) 2007-08-17 2017-01-03 Zimmer, Inc. Implant design analysis suite
WO2009033677A2 (en) 2007-09-12 2009-03-19 Nobel Biocare Services Ag Method and system for planning a medical procedure and generating data related to said medical procedure
US8457790B2 (en) 2007-09-14 2013-06-04 Zimmer, Inc. Robotic calibration method
US8221430B2 (en) 2007-12-18 2012-07-17 Otismed Corporation System and method for manufacturing arthroplasty jigs
US8545509B2 (en) 2007-12-18 2013-10-01 Otismed Corporation Arthroplasty system and related methods
US8480679B2 (en) 2008-04-29 2013-07-09 Otismed Corporation Generation of a computerized bone model representative of a pre-degenerated state and useable in the design and manufacture of arthroplasty devices
US8777875B2 (en) 2008-07-23 2014-07-15 Otismed Corporation System and method for manufacturing arthroplasty jigs having improved mating accuracy
US8737700B2 (en) 2007-12-18 2014-05-27 Otismed Corporation Preoperatively planning an arthroplasty procedure and generating a corresponding patient specific arthroplasty resection guide
US8160345B2 (en) 2008-04-30 2012-04-17 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
US8617171B2 (en) 2007-12-18 2013-12-31 Otismed Corporation Preoperatively planning an arthroplasty procedure and generating a corresponding patient specific arthroplasty resection guide
US8715291B2 (en) 2007-12-18 2014-05-06 Otismed Corporation Arthroplasty system and related methods
US8478382B2 (en) * 2008-02-11 2013-07-02 C. R. Bard, Inc. Systems and methods for positioning a catheter
WO2009111626A2 (en) 2008-03-05 2009-09-11 Conformis, Inc. Implants for altering wear patterns of articular surfaces
EP2103259B1 (en) 2008-03-19 2012-01-25 BrainLAB AG Method and system for determination of a degree of deformity of an anatomical joint
EP2119409B1 (de) 2008-05-15 2012-10-10 BrainLAB AG Gelenk-Rekonstruktionsplanung mit Modelldaten
FR2932674B1 (fr) 2008-06-20 2011-11-18 Tornier Sa Procede de modelisation d'une surface glenoidienne d'une omoplate, dispositif d'implantation d'un composant glenoidien d'une prothese d'epaule, et procede de fabrication d'un tel compose.
WO2010011978A1 (en) * 2008-07-24 2010-01-28 OrthAlign, Inc. Systems and methods for joint replacement
US8078440B2 (en) 2008-09-19 2011-12-13 Smith & Nephew, Inc. Operatively tuning implants for increased performance
US8160326B2 (en) 2008-10-08 2012-04-17 Fujifilm Medical Systems Usa, Inc. Method and system for surgical modeling
US8295637B2 (en) * 2009-01-07 2012-10-23 Seiko Epson Corporation Method of classifying red-eye objects using feature extraction and classifiers
US8444564B2 (en) * 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
US8480677B2 (en) * 2009-02-20 2013-07-09 Gordon I. Groh System for treating proximal humeral fractures and method of using the same
US8808297B2 (en) 2009-02-24 2014-08-19 Microport Orthopedics Holdings Inc. Orthopedic surgical guide
US8808303B2 (en) 2009-02-24 2014-08-19 Microport Orthopedics Holdings Inc. Orthopedic surgical guide
US9078755B2 (en) 2009-02-25 2015-07-14 Zimmer, Inc. Ethnic-specific orthopaedic implants and custom cutting jigs
JP2012518519A (ja) 2009-02-25 2012-08-16 モハメッド ラシュワン マーフォーズ カスタマイズされた整形外科用インプラント及び関連方法並びに変形可能な関節テンプレート
US8241366B2 (en) 2009-03-11 2012-08-14 Exactech Inc. Motion inducing reverse shoulder assembly
EP2236104B1 (de) * 2009-03-31 2013-06-19 BrainLAB AG Medizintechnische Navigations-Bildausgabe mit virtuellen Primärbildern und realen Sekundärbildern
US8457930B2 (en) 2009-04-15 2013-06-04 James Schroeder Personalized fit and functional designed medical prostheses and surgical instruments and methods for making
US8794977B2 (en) 2009-04-29 2014-08-05 Lifemodeler, Inc. Implant training system
US8662900B2 (en) 2009-06-04 2014-03-04 Zimmer Dental Inc. Dental implant surgical training simulation system
EP2258283B1 (de) 2009-06-05 2013-08-28 BrainLAB AG Werkzeugaufsatz für medizintechnische Anwendungen
US8876830B2 (en) 2009-08-13 2014-11-04 Zimmer, Inc. Virtual implant placement in the OR
WO2011021181A1 (en) * 2009-08-16 2011-02-24 Ori Hay Assessment of spinal anatomy
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
AU2010323639B2 (en) 2009-11-24 2014-04-10 Lexi Co., Ltd. Preoperative planning program for artificial hip joint replacement surgery and surgery support jig
US8652148B2 (en) 2010-02-25 2014-02-18 Zimmer, Inc. Tracked cartilage repair system
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9366862B2 (en) * 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
GB2479694B (en) * 2010-03-17 2012-02-08 Thomas Maurice Stewart Gregory Shoulder replacement apparatus
US9579106B2 (en) 2010-03-31 2017-02-28 New York Society For The Relief Of The Ruptured And Crippled, Maintaining The Hospital For Special Surgery Shoulder arthroplasty instrumentation
AU2011239570A1 (en) * 2010-04-14 2012-11-01 Smith & Nephew, Inc. Systems and methods for patient- based computer assisted surgical procedures
FR2962573B1 (fr) 2010-06-16 2019-04-12 Imascap Procede d'identification automatique des contours d'un os predefini, procedes derives et produits programme d'ordinateur correspondants
US11633254B2 (en) 2018-06-04 2023-04-25 Mighty Oak Medical, Inc. Patient-matched apparatus for use in augmented reality assisted surgical procedures and methods for using the same
US8908937B2 (en) 2010-07-08 2014-12-09 Biomet Manufacturing, Llc Method and device for digital image templating
US9232955B2 (en) 2010-08-12 2016-01-12 Smith & Nephew, Inc. Methods and devices for installing standard and reverse shoulder implants
US8315812B2 (en) 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
CA2808526A1 (en) 2010-08-13 2012-02-16 Smith & Nephew, Inc. Systems and methods for optimizing parameters of orthopaedic procedures
US9358114B2 (en) 2010-08-25 2016-06-07 Smith & Nephew, Inc. Intraoperative scanning for implant optimization
US8696675B2 (en) * 2010-08-31 2014-04-15 Orthosoft Inc. Proximity-triggered computer-assisted surgery system and method
US8679125B2 (en) 2010-09-22 2014-03-25 Biomet Manufacturing, Llc Robotic guided femoral head reshaping
US20120100517A1 (en) * 2010-09-30 2012-04-26 Andrew Bowditch Real-time, interactive, three-dimensional virtual surgery system and method thereof
US8751194B2 (en) * 2010-09-30 2014-06-10 Fitbit, Inc. Power consumption management of display in portable device based on prediction of user input
US20120089146A1 (en) 2010-10-06 2012-04-12 Howmedica Osteonics Corp. System and method of bone preparation
EP2632350B1 (en) 2010-10-29 2021-09-22 The Cleveland Clinic Foundation System of preoperative planning and provision of patient-specific surgical aids
US20120276509A1 (en) 2010-10-29 2012-11-01 The Cleveland Clinic Foundation System of preoperative planning and provision of patient-specific surgical aids
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
EP2651344A4 (en) 2010-12-17 2015-08-19 Intellijoint Surgical Inc METHOD AND SYSTEM FOR ALIGNING A PROSTHESIS DURING A SURGICAL INTERVENTION
US8917290B2 (en) 2011-01-31 2014-12-23 Biomet Manufacturing, Llc Digital image templating
EP2672929A4 (en) 2011-02-07 2018-01-31 Exactech Inc. Adjustable reverse shoulder prostheses
EP2754419B1 (en) 2011-02-15 2024-02-07 ConforMIS, Inc. Patient-adapted and improved orthopedic implants
EP3656356B1 (en) 2011-02-25 2021-04-28 Corin Limited A computer-implemented method, a computing device and a computer readable storage medium for providing alignment information data for the alignment of an orthopaedic implant for a joint of a patient
EP2709540B1 (en) 2011-05-11 2020-11-04 The Cleveland Clinic Foundation Generating patient specific instruments for use as surgical aids
US8532807B2 (en) 2011-06-06 2013-09-10 Biomet Manufacturing, Llc Pre-operative planning and manufacturing method for orthopedic procedure
CN103732297B (zh) 2011-06-30 2016-11-02 奥林奇实验室 增强现实活动范围的治疗系统及其操作方法
MX2014000752A (es) 2011-07-20 2014-11-13 Smith & Nephew Inc Sistemas y metodos para optimizar el ajuste de un implante a anatomía.
AU2012289973B2 (en) 2011-08-03 2017-01-19 Conformis, Inc. Automated design, selection, manufacturing and implantation of patient-adapted and improved articular implants, designs and related guide tools
AU2012296556B2 (en) 2011-08-15 2016-08-11 Conformis, Inc. Revision systems, tools and methods for revising joint arthroplasty implants
US20130093829A1 (en) * 2011-09-27 2013-04-18 Allied Minds Devices Llc Instruct-or
US9301812B2 (en) 2011-10-27 2016-04-05 Biomet Manufacturing, Llc Methods for patient-specific shoulder arthroplasty
US9554910B2 (en) 2011-10-27 2017-01-31 Biomet Manufacturing, Llc Patient-specific glenoid guide and implants
KR20130046337A (ko) 2011-10-27 2013-05-07 삼성전자주식회사 멀티뷰 디바이스 및 그 제어방법과, 디스플레이장치 및 그 제어방법과, 디스플레이 시스템
WO2013101753A1 (en) * 2011-12-30 2013-07-04 Mako Surgical Corp. Systems and methods for customizing interactive haptic boundaries
US10363102B2 (en) 2011-12-30 2019-07-30 Mako Surgical Corp. Integrated surgery method
EP2797512A4 (en) * 2011-12-30 2015-09-09 Philip D Gole MEDICAL DEVICES FOR ASSESSING IMAGE SUPPORT AND PROCEDURE
US9286355B2 (en) * 2012-01-16 2016-03-15 Emovi Inc. Method and system for human joint treatment plan and personalized surgery planning using 3-D kinematics, fusion imaging and simulation
US9408686B1 (en) 2012-01-20 2016-08-09 Conformis, Inc. Devices, systems and methods for manufacturing orthopedic implants
EP2959867B1 (en) * 2012-03-30 2016-11-02 DePuy Synthes Products, Inc. A surgical instrument for implanting a humeral component
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
KR20140136517A (ko) 2012-05-02 2014-11-28 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록
US9622820B2 (en) * 2012-05-03 2017-04-18 Siemens Product Lifecycle Management Software Inc. Feature-driven rule-based framework for orthopedic surgical planning
BR112014027592A2 (pt) * 2012-05-09 2017-06-27 Koninklijke Philips Nv método para prover uma interface de rastreamento médico para comunicação entre pelo menos uma ferramenta de rastreamento de intervenção e um aplicativo de intervenção orientada por imagem (igi), interface de rastreamento médico, e produto de programa de computador
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9675471B2 (en) 2012-06-11 2017-06-13 Conformis, Inc. Devices, techniques and methods for assessing joint spacing, balancing soft tissues and obtaining desired kinematics for joint implant components
US20140022283A1 (en) 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
WO2014047514A1 (en) 2012-09-21 2014-03-27 Conformis, Inc. Methods and systems for optimizing design and manufacture of implant components using solid freeform fabrication
US10108266B2 (en) * 2012-09-27 2018-10-23 The Board Of Trustees Of The University Of Illinois Haptic augmented and virtual reality system for simulation of surgical procedures
US20140088989A1 (en) * 2012-09-27 2014-03-27 Balaji Krishnapuram Rapid Learning Community for Predictive Models of Medical Knowledge
JP5719819B2 (ja) 2012-09-28 2015-05-20 日本光電工業株式会社 手術支援システム
US9888967B2 (en) * 2012-12-31 2018-02-13 Mako Surgical Corp. Systems and methods for guiding a user during surgical planning
US20170128059A1 (en) * 2013-01-08 2017-05-11 Prescient Surgical, Inc. Methods and apparatus for prevention of surgical site infections
US9943370B2 (en) 2013-01-30 2018-04-17 Conformis, Inc. Advanced methods and techniques for designing knee implant components
US9387083B2 (en) 2013-01-30 2016-07-12 Conformis, Inc. Acquiring and utilizing kinematic information for patient-adapted implants, tools and surgical procedures
US20140221819A1 (en) 2013-02-01 2014-08-07 David SARMENT Apparatus, system and method for surgical navigation
KR102084534B1 (ko) 2013-03-13 2020-03-04 씽크 써지컬, 인크. 컴퓨터 지원 로봇 수술을 위한 방법, 장치 및 시스템
US9220572B2 (en) 2013-03-14 2015-12-29 Biomet Manufacturing, Llc Method for implanting a hip prosthesis and related system
US20140276872A1 (en) 2013-03-15 2014-09-18 Otismed Corporation Customized acetabular cup positioning guide and system and method of generating and employing such a guide
US9641799B2 (en) * 2013-03-15 2017-05-02 James Paul Smurro Multimodal cognitive communications and collaborative knowledge exchange with visual neural networking and packetized augmented intelligence
US9778648B2 (en) 2013-03-15 2017-10-03 Biomet Manufacturing, Llc Systems and methods for remote manufacturing of medical devices
US11020183B2 (en) 2013-05-30 2021-06-01 Eos Imaging Method for designing a patient specific orthopaedic device
JP6122495B2 (ja) 2013-06-11 2017-04-26 敦 丹治 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
US9901366B2 (en) 2013-07-27 2018-02-27 Lawrence A. Colby Systems and methods for enhancing the visibility of medical items
US20150058031A1 (en) * 2013-08-20 2015-02-26 Kyle Samani Methods and systems for a medical checklist
US10433911B2 (en) 2013-09-18 2019-10-08 iMIRGE Medical INC. Optical targeting and visualization of trajectories
EP3057524B1 (en) 2013-10-10 2019-11-20 Imascap Method for designing and producing a shoulder surgery guide
CA2927811C (en) * 2013-10-17 2022-07-05 Imascap Sas Methods, systems and devices for pre-operatively planned glenoid placement guides and uses thereof
WO2015068035A1 (en) 2013-11-08 2015-05-14 Imascap Methods, systems and devices for pre-operatively planned adaptive glenoid implants
US20150133820A1 (en) * 2013-11-13 2015-05-14 Motorika Limited Virtual reality based rehabilitation apparatuses and methods
US20150150688A1 (en) 2013-12-03 2015-06-04 Biomet Manufacturing, Llc Patient-Specific Glenoid Implant
US9956083B2 (en) * 2013-12-30 2018-05-01 Deltoid, Llc Instruments and techniques for orienting prosthesis components for joint prostheses
CN104766127A (zh) * 2014-01-02 2015-07-08 深圳市永泰中天软件股份有限公司 一种预测患者手术后住院天数的方法
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10684687B2 (en) * 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
EP3097448A1 (en) 2014-01-21 2016-11-30 Trophy Method for implant surgery using augmented visualization
US9504529B2 (en) * 2014-02-24 2016-11-29 Vida Diagnostics, Inc. Treatment outcome prediction for lung volume reduction procedures
US11547499B2 (en) 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
US20170042631A1 (en) 2014-04-22 2017-02-16 Surgerati, Llc Intra-operative medical image viewing system and method
US10663740B2 (en) * 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150366628A1 (en) * 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
EP3166540B1 (en) 2014-07-09 2019-06-19 Episurf IP-Management AB A surgical joint implant
WO2016004993A1 (en) 2014-07-09 2016-01-14 Episurf Ip-Management Ab Design method of a rig
US20160015474A1 (en) 2014-07-16 2016-01-21 Claronav Inc. Surgical instrument tracking assembly
WO2016014163A1 (en) * 2014-07-25 2016-01-28 The Regents Of The University Of California Three dimensional sensor-based interactive pain maps for localizing pain
WO2016019345A1 (en) * 2014-08-01 2016-02-04 Smith & Nephew, Inc. Providing implants for surgical procedures
US9547940B1 (en) 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
WO2016038585A1 (en) * 2014-09-12 2016-03-17 Blacktree Fitness Technologies Inc. Portable devices and methods for measuring nutritional intake
US9414846B2 (en) 2014-10-22 2016-08-16 Bullseye Hip Replacement, Llc Devices and methods for knee replacement
GB201501157D0 (en) 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
EP3221809A1 (en) * 2014-11-18 2017-09-27 Koninklijke Philips N.V. User guidance system and method, use of an augmented reality device
EP3226799A4 (en) 2014-12-05 2018-07-25 Camplex, Inc. Surgical visualization systems and displays
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9538962B1 (en) 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
GB2534359A (en) 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
US20170367764A1 (en) 2015-01-16 2017-12-28 Think Surgical, Inc. Computer assisted implant placement
FR3032282B1 (fr) * 2015-02-03 2018-09-14 Francois Duret Dispositif de visualisation de l'interieur d'une bouche
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CN107847289A (zh) * 2015-03-01 2018-03-27 阿里斯医疗诊断公司 现实增强的形态学手术
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2016149824A1 (en) 2015-03-25 2016-09-29 Orthosoft Inc. Method and system for assisting implant placement in thin bones such as scapula
US10499996B2 (en) 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
US20180140362A1 (en) 2015-04-07 2018-05-24 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
WO2016168307A1 (en) 2015-04-13 2016-10-20 Universidade De Coimbra Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination
EP3788967A3 (en) * 2015-04-24 2021-06-02 Biomet Manufacturing, LLC Patient-specific augmented glenoid systems
US9972133B2 (en) * 2015-04-24 2018-05-15 Jpw Industries Inc. Wearable display for use with tool
US9503681B1 (en) * 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration
US10881417B2 (en) * 2015-06-09 2021-01-05 Zimmer, Inc. Patient-specific instrumentation and methods for total ankle replacement
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
WO2016208291A1 (ja) * 2015-06-26 2016-12-29 Ｎｅｃソリューションイノベータ株式会社 測定装置及び測定方法
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10390890B2 (en) 2015-07-27 2019-08-27 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
AU2016306654B2 (en) 2015-08-12 2018-11-08 The Cleveland Clinic Foundation System and method for model-based surgical planning
US9855146B2 (en) 2015-08-24 2018-01-02 Arthrex, Inc. Arthroscopic resurfacing techniques
EP3355769A4 (en) 2015-09-28 2020-02-05 Montefiore Medical Center METHODS AND DEVICES FOR PEROPERATORY VIEWING OF 3D PATIENT SURFACE IMAGES
EP3361979A4 (en) 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
WO2017075122A1 (en) 2015-10-30 2017-05-04 Covidien Lp Input handles for robotic surgical systems having visual feedback
US10321961B2 (en) * 2015-11-05 2019-06-18 Howmedica Osteonics Corp. Patient specific implantation method for range of motion hip impingement
US10052170B2 (en) 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
US10991070B2 (en) * 2015-12-18 2021-04-27 OrthoGrid Systems, Inc Method of providing surgical guidance
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US20170258390A1 (en) * 2016-02-12 2017-09-14 Newton Howard Early Detection Of Neurodegenerative Disease
EP3420413A1 (en) 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US9861446B2 (en) 2016-03-12 2018-01-09 Philipp K. Lang Devices and methods for surgery
EP3222253B1 (en) 2016-03-25 2020-03-18 Tornier Methods of forming a joint prosthesis component, of forming a bone press component and a bone press
US20170286617A1 (en) 2016-04-03 2017-10-05 Michael DK. Zimmer Holomedicine: Methodology, Process, Practice and Delivery
US9791703B1 (en) 2016-04-13 2017-10-17 Microsoft Technology Licensing, Llc Waveguides with extended field of view
US20170296292A1 (en) 2016-04-16 2017-10-19 Eitezaz MAHMOOD Systems and Methods for Surgical Imaging
US10806518B2 (en) 2016-04-27 2020-10-20 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US10813700B2 (en) 2016-04-27 2020-10-27 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
US10357315B2 (en) * 2016-05-27 2019-07-23 Mako Surgical Corp. Preoperative planning and associated intraoperative registration for a surgical system
US10019629B2 (en) * 2016-05-31 2018-07-10 Microsoft Technology Licensing, Llc Skeleton-based action detection using recurrent neural network
US11612446B2 (en) * 2016-06-03 2023-03-28 Covidien Lp Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
AU2016411801A1 (en) * 2016-06-14 2019-02-07 360 Knee Systems Pty Ltd Graphical representation of a dynamic knee score for a knee surgery
US10136952B2 (en) 2016-06-16 2018-11-27 Zimmer, Inc. Soft tissue balancing in articular surgery
WO2017218929A1 (en) 2016-06-17 2017-12-21 Zimmer, Inc. System and method for intraoperative surgical planning
EP3474758B1 (en) 2016-06-23 2023-09-13 Mazor Robotics Ltd. Minimally invasive intervertebral rod insertion
US10537390B2 (en) * 2016-07-08 2020-01-21 Biomet Manufacturing, Llc Reverse shoulder pre-operative planning
US11071596B2 (en) 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US10398514B2 (en) 2016-08-16 2019-09-03 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
GB2568426B (en) * 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system
US10444419B2 (en) 2016-08-22 2019-10-15 Magic Leap, Inc. Dithering methods and apparatus for wearable display device
US10849689B1 (en) * 2016-08-26 2020-12-01 Smith & Nephew, Inc. Technologies for preoperative implant size estimation
US11370113B2 (en) * 2016-09-06 2022-06-28 Verily Life Sciences Llc Systems and methods for prevention of surgical mistakes
WO2018052966A1 (en) 2016-09-16 2018-03-22 Zimmer, Inc. Augmented reality surgical technique guidance
US10568703B2 (en) 2016-09-21 2020-02-25 Verb Surgical Inc. User arm support for use in a robotic surgical system
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
EP3519999A1 (en) * 2016-09-30 2019-08-07 Koninklijke Philips N.V. Anatomical model for position planning and tool guidance of a medical tool
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
US11250950B1 (en) * 2016-10-05 2022-02-15 HVH Precision Analytics LLC Machine-learning based query construction and pattern identification for amyotrophic lateral sclerosis
US10188408B2 (en) * 2016-10-18 2019-01-29 Fournitures Hospitalieres Industrie Glenoid cavity bone preparation set for setting a shoulder prosthesis, and method for implanting a shoulder prosthesis
AU2017347975B2 (en) * 2016-10-24 2023-08-03 Akili Interactive Labs, Inc. Cognitive platform configured as a biomarker or other type of marker
EP3535645B1 (en) 2016-11-03 2023-07-26 Zimmer US, Inc. Augmented reality therapeutic movement display and gesture analyzer
US10733566B1 (en) * 2016-11-11 2020-08-04 Iodine Software, LLC High fidelity clinical documentation improvement (CDI) smart scoring systems and methods
US10426551B2 (en) * 2016-12-09 2019-10-01 Microsoft Technology Licensing, Llc Personalized refractive surgery recommendations for eye patients
JP7268879B2 (ja) * 2017-01-02 2023-05-08 ガウス サージカル，インコーポレイテッド 重複撮像を予測した手術アイテムの追跡
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US20190333480A1 (en) 2017-01-05 2019-10-31 Philipp K. Lang Improved Accuracy of Displayed Virtual Data with Optical Head Mount Displays for Mixed Reality
US20200093544A1 (en) 2017-01-06 2020-03-26 Intuitive Surgical Operations, Inc. System and method for registration and coordinated manipulation of augmented reality image components
WO2018132804A1 (en) 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
EP3571608A4 (en) * 2017-01-17 2020-10-28 MModal IP LLC PROCEDURES AND SYSTEMS FOR MANIFESTATION AND TRANSMISSION OF FOLLOW-UP NOTIFICATIONS
JP7233841B2 (ja) 2017-01-18 2023-03-07 ケービー メディカル エスアー ロボット外科手術システムのロボットナビゲーション
CN106845120A (zh) * 2017-01-19 2017-06-13 杭州古珀医疗科技有限公司 一种基于混合现实技术的远程医疗系统及其操作方法
FR3062297B1 (fr) 2017-02-01 2022-07-15 Laurent Cazal Procede et dispositif d'assistance a la pose d'une prothese, notamment de hanche, par un chirurgien suivant differents protocoles chirurgicaux
EP3576624A1 (en) * 2017-02-02 2019-12-11 Smith & Nephew, Inc. Technologies for intra-operative ligament balancing using machine learning
WO2018148379A1 (en) 2017-02-08 2018-08-16 Duke University Augmented reality-based navigation for use in surgical and non-surgical procedures
US11158415B2 (en) 2017-02-16 2021-10-26 Mako Surgical Corporation Surgical procedure planning system with multiple feedback loops
US10896370B2 (en) * 2017-03-03 2021-01-19 International Business Machines Corporation Triage of training data for acceleration of large-scale machine learning
EP3614949A4 (en) 2017-03-07 2021-05-19 Imascap SAS COMPUTER MODELING PROCEDURES FOR SURGICAL SIMULATION AND PLANNING
EP3592273B1 (en) 2017-03-10 2023-10-04 Biomet Manufacturing, LLC Augmented reality supported knee surgery
CA3055941C (en) 2017-03-13 2023-06-20 Zimmer, Inc. Augmented reality diagnosis guidance
EP3596657A4 (en) 2017-03-14 2021-01-13 Universidade De Coimbra SYSTEMS AND METHODS FOR 3D REGISTRATION OF CURVES AND SURFACES USING VARIOUS LOCAL INFORMATION
CN110621253A (zh) 2017-03-17 2019-12-27 智能联合外科公司 用于导航手术中的增强现实显示的系统和方法
CN106886952A (zh) * 2017-03-23 2017-06-23 国网山东省电力公司夏津县供电公司 专变采集终端的作业管理方法、装置及系统
EP3381414B1 (en) 2017-03-31 2019-12-18 Tornier Positioning system for a bone resecting instrumentation and positioning kit
US20180296320A1 (en) * 2017-04-14 2018-10-18 Microsoft Technology Licensing, Llc Forecasting cataract surgery effectiveness
WO2018189725A1 (en) 2017-04-14 2018-10-18 Stryker Corporation Surgical systems and methods for facilitating ad-hoc intraoperative planning of surgical procedures
CA3060617C (en) 2017-04-20 2022-10-04 The Cleveland Clinic Foundation System and method for holographic image-guided non-vascular percutaneous procedures
EP3613055A1 (en) 2017-04-21 2020-02-26 Zahid, Abdullah Bin Using augmented reality in surgical navigation
WO2018200767A1 (en) 2017-04-27 2018-11-01 Arthrology Consulting, Llc Method for augmenting a surgical with virtual guidance content
US10716643B2 (en) 2017-05-05 2020-07-21 OrbisMV LLC Surgical projection system and method
CN116236282A (zh) 2017-05-05 2023-06-09 史赛克欧洲运营有限公司 手术导航系统
US10722223B2 (en) 2017-05-31 2020-07-28 Medos International Sarl Coupling devices for surgical instruments and related methods
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US9924921B1 (en) * 2017-06-20 2018-03-27 Qualcomm Incorporated System for mapping joint performance
US10338400B2 (en) * 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10959742B2 (en) * 2017-07-11 2021-03-30 Tornier, Inc. Patient specific humeral cutting guides
US10578869B2 (en) * 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) * 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
EP3658233A4 (en) 2017-07-28 2021-01-20 Edda Technology, Inc. PROCESS AND SYSTEM FOR SURGICAL PLANNING IN A MIXED REALITY ENVIRONMENT
US11266328B2 (en) * 2017-08-03 2022-03-08 Latella Sports Technologies, LLC Systems and methods for evaluating body motion
WO2019036524A1 (en) 2017-08-14 2019-02-21 Scapa Flow, Llc SYSTEM AND METHOD USING ENHANCED REALITY WITH FORMS ALIGNMENT FOR MEDICAL DEVICE INSTALLATION IN BONE
ES2945711T3 (es) 2017-08-15 2023-07-06 Holo Surgical Inc Sistema de navegación quirúrgica para proporcionar una imagen de realidad aumentada durante la operación
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
EP3443888A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for displaying automatically segmented individual parts of anatomy in a surgical navigation system
CN107704991A (zh) * 2017-08-30 2018-02-16 国网北京市电力公司 规范巡检流程的方法和装置
US11687800B2 (en) * 2017-08-30 2023-06-27 P Tech, Llc Artificial intelligence and/or virtual reality for activity optimization/personalization
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
WO2019051464A1 (en) 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
US11234770B2 (en) * 2017-09-12 2022-02-01 Biomet Manufacturing, Llc Femoral medial condyle spherical center tracking
KR102510174B1 (ko) * 2017-09-13 2023-03-14 삼성전자주식회사 질병 예측 모델 생성 장치, 질병 예측 장치 및 방법
US11272985B2 (en) * 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
US11350901B2 (en) * 2017-11-27 2022-06-07 Case Western Reserve University Recurrence prognosis and prediction of added benefit of adjuvant chemotherapy in early stage non-small cell lung cancer with radiomic features on baseline computed tomography
EP3498212A1 (en) 2017-12-12 2019-06-19 Holo Surgical Inc. A method for patient registration, calibration, and real-time augmented reality image display during surgery
US11179200B2 (en) 2017-12-15 2021-11-23 Medtronic, Inc. Augmented reality solution to disrupt, transform and enhance cardiovascular surgical and/or procedural mapping navigation and diagnostics
US10413363B2 (en) 2017-12-15 2019-09-17 Medtronic, Inc. Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools
US11058497B2 (en) 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
SG11202005483XA (en) 2017-12-28 2020-07-29 Changi General Hospital Pte Ltd Motion compensation platform for image guided percutaneous access to bodily organs and structures
US11969216B2 (en) * 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
WO2019127359A1 (en) * 2017-12-29 2019-07-04 Kone Elevators Co., Ltd. Escalator monitoring system, method, sound data collection device and fixture therefor
US11657901B2 (en) * 2018-01-05 2023-05-23 Koninklijke Philips N.V. System and method for prediction-model-based display of distributions of health outcome information for patient populations in geographical areas
WO2019139931A1 (en) 2018-01-10 2019-07-18 Covidien Lp Guidance for placement of surgical ports
US20210052348A1 (en) 2018-01-22 2021-02-25 Medivation Ag An Augmented Reality Surgical Guidance System
WO2019148154A1 (en) * 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US11244508B2 (en) 2018-02-03 2022-02-08 The Johns Hopkins University Augmented reality display for surgical procedures
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10383692B1 (en) 2018-04-13 2019-08-20 Taiwan Main Orthopaedic Biotechnology Co., Ltd. Surgical instrument guidance system
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US10869727B2 (en) 2018-05-07 2020-12-22 The Cleveland Clinic Foundation Live 3D holographic guidance and navigation for performing interventional procedures
EP3813713A4 (en) 2018-05-10 2022-01-26 Live Vue Technologies Inc. SYSTEM AND PROCEDURE TO ASSIST A USER DURING A SURGICAL PROCEDURE
WO2019245864A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided education related to orthopedic surgical procedures
US11357576B2 (en) 2018-07-05 2022-06-14 Dentsply Sirona Inc. Method and system for augmented reality guided surgery
DE102018116558A1 (de) 2018-07-09 2020-01-09 Aesculap Ag Medizintechnisches Instrumentarium und Verfahren
WO2020018417A1 (en) * 2018-07-16 2020-01-23 The Children's Hospital Of Philadelphia Spinal surgery outcome prediction
JP7466928B2 (ja) * 2018-09-12 2024-04-15 オルソグリッド システムズ ホールディング，エルエルシー 人工知能の術中外科的ガイダンスシステムと使用方法
EP3640949A1 (en) 2018-10-17 2020-04-22 Incremed AG Augmented reality with medical imaging
BR102018072428A2 (pt) 2018-10-31 2020-05-26 Protótipos Indústria E Comércio De Produtos Protótipos Ltda - Me Sistema guia com realidade aumentada
WO2020102665A1 (en) 2018-11-16 2020-05-22 Lang Philipp K Augmented reality guidance for surgical procedures with adjustment of scale, convergence and focal plane or focal point of virtual data
US10930395B2 (en) * 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
EP3682808A1 (fr) 2019-01-17 2020-07-22 Université Paris Est Créteil Val De Marne Dispositif médical en radiologie interventionnelle de guidage en temps réel d'une aiguille médicale d'opération dans un volume
US11730389B2 (en) 2019-01-28 2023-08-22 Incremed Ag Method and system for supporting medical interventions
US11937885B2 (en) 2019-03-04 2024-03-26 Smith & Nephew, Inc. Co-registration for augmented reality and surgical navigation
WO2020186194A1 (en) 2019-03-13 2020-09-17 Smith & Nephew Inc. Augmented reality assisted surgical tool alignment
US20200315734A1 (en) 2019-04-04 2020-10-08 The Board Of Regents Of The University Of Oklahoma Surgical Enhanced Visualization System and Method of Use
WO2020220208A1 (en) 2019-04-29 2020-11-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for object positioning and image-guided surgery
US20200352655A1 (en) 2019-05-06 2020-11-12 ARUS Inc. Methods, devices, and systems for augmented reality guidance of medical devices into soft tissue
AU2020273972B2 (en) 2019-05-14 2023-04-20 Howmedica Osteonics Corp. Bone wall tracking and guidance for orthopedic implant placement
EP3977196A1 (en) 2019-05-29 2022-04-06 Stephen B. Murphy Systems and methods for utilizing augmented reality in surgery
CN110353806B (zh) 2019-06-18 2021-03-12 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及系统
JP2022540642A (ja) 2019-07-09 2022-09-16 マテリアライズ・ナムローゼ・フエンノートシャップ 拡張現実支援関節形成術
EP3982862A1 (en) 2019-07-16 2022-04-20 Smith&Nephew, Inc. Systems for augmented reality assisted trauma fixation
WO2021016429A1 (en) 2019-07-25 2021-01-28 Tornier, Inc. Positioning a camera for perspective sharing of a surgical site
TWI741359B (zh) 2019-08-30 2021-10-01 國立中央大學 與手術導航系統整合之混合實境系統
US11574446B2 (en) 2019-08-30 2023-02-07 National Central University Digital image reality aligning kit and method applied to mixed reality system for surgical navigation
US20210346117A1 (en) * 2020-05-06 2021-11-11 Howmedica Osteonics Corp. Registration marker with anti-rotation base for orthopedic surgical procedures

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US20080249395A1 (en) * 2007-04-06 2008-10-09 Yehoshua Shachar Method and apparatus for controlling catheter positioning and orientation
CN102985025A (zh) * 2010-07-08 2013-03-20 斯恩蒂斯有限公司 先进的骨标记和定制植入件
US20130336553A1 (en) * 2010-08-13 2013-12-19 Smith & Nephew, Inc. Detection of anatomical landmarks
CN104025119A (zh) * 2011-10-05 2014-09-03 塞伏瑞斯派恩公司 用于手术和介入性医疗过程中的成像系统和方法
US20160143699A1 (en) * 2013-06-11 2016-05-26 Atsushi Tanji Surgical operation support system, surgical operation support apparatus, surgical operation support method, surgical operation support program, and information processing apparatus
CN105939687A (zh) * 2013-12-31 2016-09-14 马科外科公司 用于生成定制的触觉边界的系统和方法
US20170367766A1 (en) * 2016-03-14 2017-12-28 Mohamed R. Mahfouz Ultra-wideband positioning for wireless ultrasound tracking and communication
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US20170312031A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US20180049622A1 (en) * 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113133814A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于增强现实的穿刺手术导航装置及计算机可读存储介质
CN113133813A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于穿刺过程的动态信息显示系统及方法
CN113509265A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 一种动态位置识别提示系统及其方法
CN115131409A (zh) * 2022-08-26 2022-09-30 深圳深知未来智能有限公司 一种基于深度学习的亲密矩阵视点合成方法、应用及系统
CN115131409B (zh) * 2022-08-26 2023-01-24 深圳深知未来智能有限公司 一种基于深度学习的亲密矩阵视点合成方法、应用及系统

Also Published As

Publication number Publication date
AU2019289083B2 (en) 2022-09-15
WO2019245852A1 (en) 2019-12-26
WO2019245856A1 (en) 2019-12-26
EP3809966B1 (en) 2023-09-13
CN112584791A (zh) 2021-03-30
US20210104325A1 (en) 2021-04-08
EP3810013A1 (en) 2021-04-28
WO2019245866A3 (en) 2020-01-23
US20210100620A1 (en) 2021-04-08
US20210085220A1 (en) 2021-03-25
US20210093329A1 (en) 2021-04-01
US20210093388A1 (en) 2021-04-01
AU2019289081B2 (en) 2022-02-24
US11439469B2 (en) 2022-09-13
US11657287B2 (en) 2023-05-23
CN112584790A (zh) 2021-03-30
US20210134467A1 (en) 2021-05-06
US11645531B2 (en) 2023-05-09
AU2019289083A1 (en) 2021-01-28
AU2019289085A1 (en) 2021-01-28
US20210093390A1 (en) 2021-04-01
US20210161613A1 (en) 2021-06-03
EP3810011A2 (en) 2021-04-28
EP3810021A1 (en) 2021-04-28
EP3810016A1 (en) 2021-04-28
JP2021527536A (ja) 2021-10-14
US10987176B2 (en) 2021-04-27
WO2019245867A1 (en) 2019-12-26
EP3810020A1 (en) 2021-04-28
CN112566580A (zh) 2021-03-26
EP3810014A1 (en) 2021-04-28
US20210093414A1 (en) 2021-04-01
JP7247234B2 (ja) 2023-03-28
EP3810017A1 (en) 2021-04-28
WO2019245865A1 (en) 2019-12-26
US11571263B2 (en) 2023-02-07
US20210093385A1 (en) 2021-04-01
WO2019245853A1 (en) 2019-12-26
US20210093395A1 (en) 2021-04-01
WO2019245862A1 (en) 2019-12-26
AU2019289084B2 (en) 2023-04-27
US11478310B2 (en) 2022-10-25
AU2023208193A1 (en) 2023-08-17
AU2023285959A1 (en) 2024-01-25
WO2019245864A1 (en) 2019-12-26
US20210093389A1 (en) 2021-04-01
JP2021526940A (ja) 2021-10-11
WO2019245848A1 (en) 2019-12-26
US20210093386A1 (en) 2021-04-01
WO2019245851A1 (en) 2019-12-26
EP3810012A1 (en) 2021-04-28
AU2019289084A1 (en) 2021-01-28
US20190380792A1 (en) 2019-12-19
WO2019245866A2 (en) 2019-12-26
US20210093410A1 (en) 2021-04-01
WO2019245857A1 (en) 2019-12-26
WO2019245868A1 (en) 2019-12-26
EP3810015A1 (en) 2021-04-28
EP3810009A1 (en) 2021-04-28
WO2019245870A1 (en) 2019-12-26
EP3810007A1 (en) 2021-04-28
AU2019289077A1 (en) 2021-01-28
WO2019245849A1 (en) 2019-12-26
AU2019289081A1 (en) 2021-01-28
JP7271579B2 (ja) 2023-05-11
AU2019289085B2 (en) 2022-09-01
WO2019245854A2 (en) 2019-12-26
EP3810010A1 (en) 2021-04-28
US20210290319A1 (en) 2021-09-23
WO2019245869A1 (en) 2019-12-26
US20210093387A1 (en) 2021-04-01
AU2023208193B2 (en) 2024-01-18
US20210093391A1 (en) 2021-04-01
EP3810018A1 (en) 2021-04-28
WO2019245861A3 (en) 2020-03-05
US20210097880A1 (en) 2021-04-01
US20210093415A1 (en) 2021-04-01
EP3810008A2 (en) 2021-04-28
US20210093392A1 (en) 2021-04-01
CN112566579A (zh) 2021-03-26
US20210097886A1 (en) 2021-04-01
EP3809966A2 (en) 2021-04-28
WO2019245861A2 (en) 2019-12-26
US20210093413A1 (en) 2021-04-01
CN112566578A (zh) 2021-03-26
WO2019245860A1 (en) 2019-12-26
WO2019245854A3 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
JP7271579B2 (ja) 整形外科手術における複合現実支援を用いた手術支援

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211026

Address after: new jersey

Applicant after: Halma Dekay Ostenac

Address before: American Minnesota

Applicant before: Tony Co.

TA01 Transfer of patent application right