CN117480565A - 用于控制外科数据叠加项的系统和方法 - Google Patents

用于控制外科数据叠加项的系统和方法 Download PDF

Info

Publication number
CN117480565A
CN117480565A CN202280041956.9A CN202280041956A CN117480565A CN 117480565 A CN117480565 A CN 117480565A CN 202280041956 A CN202280041956 A CN 202280041956A CN 117480565 A CN117480565 A CN 117480565A
Authority
CN
China
Prior art keywords
information
surgical
display
amount
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280041956.9A
Other languages
English (en)
Inventor
F·E·谢尔顿四世
S·R·亚当斯
M·D·考珀思韦特
K·M·费比格
C·G·金巴尔
M·L·Z·里瓦德
L·N·罗索尼
R·科杰塞夫
F·J·博克
B·J·奥伯基尔彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cilag GmbH International
Original Assignee
Cilag GmbH International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cilag GmbH International filed Critical Cilag GmbH International
Priority claimed from PCT/IB2022/053359 external-priority patent/WO2022219488A1/en
Publication of CN117480565A publication Critical patent/CN117480565A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B17/07207—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously the staples being applied sequentially
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105—Multiple levels of security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50—Secure pairing of devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B17/07292—Reinforcements for staple line, e.g. pledgets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/11—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis
    • A61B17/115—Staplers for performing anastomosis in a single operation
    • A61B17/1155—Circular staplers comprising a plurality of staples
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00026—Conductivity or impedance, e.g. of tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00084—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00106—Sensing or detecting at the treatment site ultrasonic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00128—Electrical control of surgical instruments with audible or visual output related to intensity or progress of surgical action
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00818—Treatment of the gastro-intestinal system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B2017/07214—Stapler heads
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B2017/07214—Stapler heads
    • A61B2017/07271—Stapler heads characterised by its cartridge
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/11—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis
    • A61B2017/1132—End-to-end connections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/42—Gynaecological or obstetrical instruments or methods
    • A61B2017/4216—Operations on uterus, e.g. endometrium
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00898—Alarms or notifications created in response to an abnormal condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/005—Auxiliary appliance with suction drainage system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/007—Auxiliary appliance with irrigation system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Urology & Nephrology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Emergency Management (AREA)
  • Quality & Reliability (AREA)
  • Social Psychology (AREA)

Abstract

本发明公开了一种外科系统，该外科系统包括：成像装置；显示器；和控制系统，该控制系统可操作地耦接到该成像装置和该显示器。该显示器被配置为能够显示外科规程的外科视野的实况流。该实况流由该成像装置捕获。该控制系统被配置为能够：将与该外科规程相关联的第一信息量叠加到该实况流上；检测被配置为能够使正在叠加的该第一信息量增加到正在叠加的第二信息量的事件；将该第二信息量与干扰阈值进行比较；基于该比较，将该第二信息量调整成第三信息量；以及基于正在调整的该第二信息量，将该第三信息量叠加到该实况流上。该第三信息量小于该干扰阈值。

Description

用于控制外科数据叠加项的系统和方法
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求2021年4月14日提交的名称为“HEADS UPDISPLAY”的美国临时专利申请号63/174,674和2021年11月30日提交的名称为“INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国临时专利申请号63/284,326的权益，这些美国临时专利申请中的每一者的公开内容全文以引用方式并入本文。
背景技术
本公开涉及用于在外科规程期间提供增强现实交互式体验的设备、系统和方法。在外科规程期间，希望提供真实世界环境的增强现实交互式体验，其中驻留在真实世界中的对象通过叠加计算机生成的感知信息(有时跨多个感知模态，包括视觉、听觉、触觉、躯体感觉和嗅觉)来增强。在本公开的上下文中，通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野及外科视野中出现的器械或其他对象的真实世界图像上，由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输，或可为静止图像。
真实世界的外科器械包括多种外科装置，包括能量、缝合器或组合的能量和缝合器。基于能量的医疗装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置是用于在包括减肥、胸部、结肠直肠、妇科、泌尿科和普通手术的多种外科规程中切割和缝合组织的外科器械。
发明内容
在各种情况下，本公开提供了一种外科系统，该外科系统包括：成像装置；显示器；和控制系统，该控制系统可操作地耦接到该成像装置和该显示器。该显示器被配置为能够显示外科规程的外科视野的实况流。该实况流由该成像装置捕获。该控制系统被配置为能够：将与该外科规程相关联的第一信息量叠加到该实况流上；检测被配置为能够使正在叠加的该第一信息量增加到正在叠加的第二信息量的事件；将该第二信息量与干扰阈值进行比较；基于该比较，将该第二信息量调整成第三信息量；以及基于正在调整的该第二信息量，将该第三信息量叠加到该实况流上。该第三信息量小于该干扰阈值。
在各种情况下，本公开提供了一种外科系统，该外科系统包括：成像装置；显示器；态势感知模块；和控制系统，该控制系统可操作地耦接到该成像装置、该显示器和该态势感知模块。该显示器被配置为能够显示外科规程的外科视野的实况流。该实况流由该成像装置捕获。该控制系统被配置为能够：将与该外科规程相关联的信息叠加到该实况流上；由该态势感知模块来确定该外科规程的步骤；以及根据所确定的该外科规程的步骤，调整该叠加信息。
在各种情况下，本公开提供了一种外科系统，该外科系统包括：成像装置；显示器；和控制系统，该控制系统可操作地耦接到该成像装置和该显示器。该显示器被配置为能够显示外科规程的外科视野的实况流。该实况流由该成像装置捕获。该控制系统被配置为能够：将与外科规程相关联的信息叠加到该实况流上；接收与跟执行该外科规程的用户相关联的参数对应的输入信号；以及根据与该用户相关联的该参数，调整该叠加信息。
附图说明
通过参考以下结合如下附图所作的说明可最好地理解本文所述的各种方面(有关手术组织和方法两者)及其进一步的目的和优点。
图1是根据本公开的一个方面的计算机实现的交互式外科系统的框图。
图2是根据本公开的一个方面的用于在手术室中执行外科规程的外科系统。
图3是根据本公开的一个方面的与可视化系统、机器人系统和智能器械配对的外科集线器。
图4示出了根据本公开的一个方面的外科数据网络，该外科数据网络包括模块化通信集线器，该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室中或医疗设施中专门为外科操作配备的任何房间的模块化装置连接到云。
图5示出了根据本公开的一个方面的计算机实现的交互式外科系统。
图6示出了根据本公开的一个方面的包括耦接到模块化控制塔的多个模块的外科集线器。
图7示出了根据本公开的一个方面的增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。
图8示出了根据本公开的一个方面的增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。
图9示出了根据本公开的一个方面的由外科医生佩戴的用以将数据传送到外科集线器的增强现实(AR)装置。
图10示出了根据本公开的一个方面的用于使用增强现实显示器来增强外科器械信息的系统。
图11示出了根据本公开的一个方面的态势感知外科规程的时间轴。
图12示出了根据本公开的至少一个方面的外科可视化系统。
图13示出了根据本公开的至少一个方面的用于确定外科数据的显示布置的方法，该外科数据竞相呈现在显示了外科视野实况流的显示器上。
图14示出了根据本公开的至少一个方面的用于确定外科数据的显示布置的方法，该外科数据竞相呈现在显示了外科视野实况流的显示器上。
图15示出了根据本公开的至少一个方面的用于确定外科数据的显示布置的方法，该外科数据竞相呈现在显示了外科视野实况流的显示器上。
在若干视图中，对应的参考符号指示对应的零件。本文所述的范例以一种形式示出了各种公开的实施方案，并且此类范例不应被解释为以任何方式限制本发明的范围。
具体实施方式
本申请的申请人拥有与之同时提交的以下美国专利申请，这些专利申请中的每一者的公开内容全文以引用方式并入本文：
·名称为“METHOD FOR INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国专利申请，代理人案卷END9352USNP1/210120-1M号；
·名称为“UTILIZATION OF SURGICAL DATA VALUES AND SITUATIONALAWARENESS TO CONTROL THE OVERLAY IN SURGICAL FIELDVIEW”的美国专利申请，代理人案卷END9352USNP2/210120-2号；
·名称为“SELECTIVE AND ADJUSTABLE MIXED REALITY OVERLAY IN SURGICALFIELDVIEW”的美国专利申请，代理人案卷END9352USNP3/210120-3号；
·名称为“RISK BASED PRIORITIZATION OF DISPLAY ASPECTS IN SURGICALFIELD view”的美国专利申请，代理人案卷END9352USNP4/210120-4号；
·名称为“SYSTEMS AND METHODS FOR CHANGING DISPLAY OVERLAY OF SURGICALFIELDVIEW BASED ON TRIGGERING EVENTS”的美国专利申请，代理人案卷END9352USNP6/210120-6号；
·名称为“CUSTOMIZATION OF OVERLAID DATA AND CONFIGURATION”的美国专利申请，代理人案卷END9352USNP7/210120-7号；
·名称为“INDICATION OF THE COUPLE PAIR OF REMOTE CONTROLS WITH REMOTEDEVICES FUNCTIONS”的美国专利申请，代理人案卷END9352USNP8/210120-8号；
·名称为“COOPERATIVE OVERLAYS OF INTERACTING INSTRUMENTS WHICH RESULTIN BOTH OVERLAYS BEING EFFECTED”的美国专利申请，代理人案卷END9352USNP9/210120-9号；
·名称为“ANTICIPATION OF INTERACTIVE UTILIZATION OF COMMON DATAOVERLAYS BY DIFFERENT USERS”的美国专利申请，代理人案卷END9352USNP10/210120-10号；
·名称为“MIXING DIRECTLY VISUALIZED WITH RENDERED ELEMENTS TO DISPLAYBLENDED ELEMENTS AND ACTIONS HAPPENING ON-SCREEN AND OFF-SCREEN”的美国专利申请，代理人案卷END9352USNP11/210120-11号；
·名称为“SYSTEM AND METHOD FOR TRACKING APORTION OF THE USER AS APROXY FOR NON-MONITORED INSTRUMENT”的美国专利申请，代理人案卷END9352USNP12/210120-12号；
·名称为“UTILIZING CONTEXTUAL PARAMETERS OF ONE OR MORE SURGICALDEVICES TO PREDICT A FREQUENCY INTERVAL FOR DISPLAYING SURGICAL INFORMATION”的美国专利申请，代理人案卷END9352USNP13/210120-13号；
·名称为“COOPERATION AMONG MULTIPLE DISPLAY SYSTEMS TO PROVIDE AHEALTHCARE USER CUSTOMIZED INFORMATION”的美国专利申请，代理人案卷END9352USNP14/210120-14号；
·名称为“INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS”的美国专利申请，代理人案卷END9352USNP15/210120-15号；
·名称为“ADAPTATION AND ADJUSTABILITY OR OVERLAID INSTRUMENTINFORMATION FOR SURGICAL SYSTEMS”的美国专利申请，代理人案卷END9352USNP16/210120-16号；以及
·名称为“MIXED REALITY FEEDBACK SYSTEMS THAT COOPERATE TO INCREASEEFFICIENT PERCEPTION OF COMPLEX DATA FEEDS”的美国专利申请；代理人案卷END9352USNP17/210120-17号。
本申请的申请人拥有以下美国专利申请，这些专利申请中的每一者的公开内容全文以引用方式并入本文：
·名称为“METHOD OF COMPRESSING TISSUE WITHIN ASTAPLING DEVICE ANDSIMULTANEOUSLY DISPLAYING THE LOCATION OF THE TISSUE WITHIN THE JAWS”的美国专利申请号16/209,423，现为美国专利申请公布号US-2019-0200981-A1；
·名称为“METHOD FOR CONTROLLING SMART ENERGY DEVICES”的美国专利申请号16/209,453，现为美国专利申请公布号US-2019-0201046-A1。
在详细说明外科装置和发生器的各个方面之前，应该指出的是，例示性示例的应用或使用并不局限于附图和具体实施方式中所示出的零件的构造和布置的细节。例示性示例可单独实施，或与其他方面、变更形式和修改形式结合在一起实施，并可以各种方式实践或执行。此外，除非另外指明，否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的，并非为了限制性的目的。而且，应当理解，以下描述的方面中的一个或多个、方面和/或示例的表达可以与以下描述的其他方面、方面和/或示例的表达中的任何一个或多个组合。
各种方面涉及用于各种基于能量和外科缝合器的医疗装置的外科系统的屏幕显示。基于能量的医疗装置包括但不限于基于射频(RF)的单极和双极电外科器械、超声外科器械、组合式RF电外科和超声器械、组合式RF电外科和机械缝合器等。外科缝合器装置包括具有电外科装置和/或超声装置的组合式外科缝合器。超声外科装置的各方面可被配置用于例如在外科规程期间横切和/或凝固组织。电外科装置的各方面可被配置用于例如在外科规程期间横切、凝固、密封、焊接和/或干燥组织。外科缝合器装置的各方面可被配置用于在外科规程期间横切和缝合组织，并且在一些方面，外科缝合器装置可被配置为能够在外科规程期间向组织递送RF能量。电外科装置被配置为能够向组织递送治疗和/或非治疗RF能量。外科缝合器装置、电外科装置和超声装置的元件可在单个外科器械中组合使用。
在各种方面，本公开在外科规程期间向OR团队提供实时信息的屏幕显示。根据本公开的各种方面，提供了许多新的和独特的屏幕显示以在屏幕上向OR团队显示各种视觉信息反馈。根据本公开，视觉信息可包括一个或多个有声或无声的各种视觉媒体。一般来讲，视觉信息包括静态摄影、电影摄影、视频或音频录制、图形艺术、视觉辅助、模型、显示、视觉呈现服务和支持过程。视觉信息可在任何数量的显示选项上传送，诸如例如主OR屏幕、能量或外科缝合器装置本身、平板计算机、增强现实眼镜等。
在各种方面，本公开提供大量可能的选项列表以实时地将视觉信息传送给OR团队，而不将过多视觉信息提供给OR团队。例如，在各种方面，本公开提供视觉信息的屏幕显示，以使得外科医生或OR团队的其他成员能够选择性地激活屏幕显示，诸如围绕屏幕选项的图标，以管理大量视觉信息。可使用各种因素中的一者或组合来确定活动显示，这些因素可包括使用中的基于能量(例如，电外科、超声)或基于机械(例如，缝合器)的外科装置、估计与给定显示相关联的风险、外科医生的经验程度以及外科医生的选择等。在其他方面，视觉信息可包括叠加或重叠到外科视野中以管理视觉信息的大量数据。在下文描述的各种方面，包括需要视频分析和跟踪的重叠图像以便适当地叠加数据。与静态图标相反，以此方式传送的视觉信息数据可以更简明且更容易理解的方式向OR团队提供另外的有用视觉信息。
在各种方面，本公开提供用于选择性地激活诸如围绕屏幕的图标的屏幕显示以在外科规程期间管理视觉信息的技术。在其他方面，本公开提供用于使用各种因素中的一者或组合来确定活动显示的技术。在各种方面，根据本公开的技术可包括选择用作活动显示的基于能量或基于机械的外科装置、估计与给定显示相关联的风险、利用做出选择的外科医生或OR团队的经验程度等。
在其他方面，根据本公开的技术可包括将大量数据叠加或重叠到外科视野上以管理视觉信息。本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用，术语叠加包括半透明叠加、部分叠加和/或移动叠加。图形叠加可为透明图形、半透明图形或不透明图形的形式，或者为透明、半透明和不透明元素或效果的组合。此外，叠加层可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加层的一个或多个显示元素的变化，包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。图形叠加层渲染在活动显示监视器的顶部上以将重要信息快速高效地传送给OR团队。
在其他方面，根据本公开的技术可包括需要分析视频和跟踪的重叠图像以便适当地叠加视觉信息数据。在其他方面，根据本公开的技术可包括传送丰富的视觉信息，而不是简单的静态图标，从而以更简明且易于理解的方式向OR团队提供另外的视觉信息。在其他方面，视觉叠加层可与可听和/或躯体感觉叠加层(诸如热装置、化学装置和机械装置以及它们的组合)组合使用。
以下描述整体涉及在外科规程期间提供增强现实(AR)交互式体验的设备、系统和方法。在该上下文中，通过将计算机生成的视觉、听觉、触觉、躯体感觉、嗅觉或其他感觉信息叠加在外科视野、外科视野中出现的器械和/或其他对象的真实世界图像上，由此增强外科视野及外科视野中出现的外科器械和其他对象的图像。图像可被实时流式传输，或可为静止图像。增强现实是用于渲染和显示叠加在真实环境上的虚拟或“增强”虚拟对象、数据或视觉效果的技术。真实环境可包括外科视野。叠加在真实环境上的虚拟对象可表示为相对于真实环境的一个或多个方面锚定或处于设定位置。在非限制性示例中，如果真实世界对象离开真实环境视野，则锚定到真实世界对象的虚拟对象也将离开增强现实视野。
本公开所述的多种显示布置涉及将外科数据的各种视觉表示叠加在外科视野的实况流上。如本文所用，术语叠加包括半透明叠加、部分叠加和/或移动叠加。此外，叠加层可定位在外科视野中的对象(诸如例如端部执行器和/或关键外科结构)上或至少部分地定位在其上或定位在其附近。某些显示布置可包括叠加层的一个或多个显示元素的变化，包括基于显示优先级值的变化的颜色、大小、形状、显示时间、显示位置、显示频率、突出显示或它们的组合的变化。
如本文所述，AR是真实物理世界的增强版本，通过使用经由技术递送的数字视觉元素、声音或其他感官刺激来实现。虚拟现实(VR)是计算机生成的环境，具有看起来真实的场景和对象，使得用户感觉自己沉浸在其周围环境中。该环境通过被称为虚拟现实头戴式耳机或头盔的装置来感知。混合现实(MR)和AR都被视为沉浸式技术，但它们不是相同的。MR是混合现实的扩展，允许真实元素和虚拟元素在环境中交互。虽然AR经常通过使用相机将数字元素添加到实时视图，但MR体验组合了AR和VR两者的元素，真实世界和数字对象在其中交互。
在AR环境中，一个或多个计算机生成的虚拟对象可与一个或多个真实(即，所谓的“真实世界”)元素一起显示。例如，周围环境的实时图像或视频可与一个或多个叠加的虚拟对象一起显示在计算机屏幕显示器上。此类虚拟对象可提供与环境有关的补充信息或通常增强用户对环境的感知和参与。相反，周围环境的实时图像或视频可附加地或另选地增强用户与显示器上示出的虚拟对象的参与。
本公开的上下文中的设备、系统和方法增强在外科规程期间从一个或多个成像装置接收到的图像。成像装置可包括在无创和微创外科规程期间使用的各种内窥镜、AR装置和/或相机以在开放式外科规程期间提供图像。图像可被实时流式传输，或可为静止图像。这些设备、系统和方法通过将虚拟对象或数据和/或真实对象的表示叠加在真实外科环境上来增强真实世界外科环境的图像，从而提供增强现实交互式体验。可在允许用户查看真实世界外科环境上的所叠加虚拟对象的显示器和/或AR装置上查看增强现实体验。显示器可位于手术室中或远离手术室。AR装置佩戴在外科医生或其他手术室人员头上，并且通常包括两个立体显示镜片或屏幕，包括用于用户的每只眼睛的一个立体显示镜片或屏幕。自然光能够穿过两个透明或半透明显示镜片，使得真实环境的各方面是可见的，同时也投射光以使得虚拟对象对AR装置的用户可见。
可以协调方式使用两个或多个显示器及AR装置，例如第一显示器或AR装置控制以所定义角色控制系统中的一个或多个另外的显示器或AR装置。例如，当激活显示器或AR装置时，用户可选择角色(例如，外科规程期间的外科医生、外科助手、护士等)并且显示器或AR装置可显示与该角色相关的信息。例如，外科助手可具有所显示器械的虚拟表示，外科医生在执行外科规程的下一步骤时需要该虚拟表示。外科医生对当前步骤的关注可能看到与外科助手不同的显示信息。
尽管存在许多已知的屏幕显示和警告，但本公开在外科规程期间提供许多新的和独特的增强现实交互式体验。此类增强现实交互式体验包括对手术室内部或外部的外科团队的视觉、听觉、触觉、躯体感觉、嗅觉或其他感官反馈信息。可将叠加在真实世界外科规程环境上的虚拟反馈信息提供给手术室(OR)团队，包括OR内部的人员，包括但不限于例如执刀外科医生、外科医生助手、擦洗人员、麻醉医生和巡回护士等。虚拟反馈信息可在任何数量的显示选项上传送，诸如主OR屏幕显示、AR装置、能量或外科缝合器器械、平板计算机、增强现实眼镜、装置等。
图1示出了计算机实现的交互式外科系统1，其包括一个或多个外科系统2和基于云的系统4。基于云的系统4可包括耦接到存储装置5的远程服务器13。每个外科系统2包括与云4通信的至少一个外科集线器6。例如，外科系统2可包括可视化系统8、机器人系统10和手持式智能外科器械12，每一者被配置为能够彼此通信并且/或者与集线器6通信。在一些方面，外科系统2可包括M个集线器6、N个可视化系统8、O个机器人系统10和P个手持式智能外科器械12，其中M、N、O和P为大于或等于1的整数。计算机实现的交互式外科系统1可被配置为能够在如本文所述的外科规程期间提供增强现实交互式体验。
图2示出了对平躺在外科手术室16中的手术台14上的患者执行外科规程的外科系统2的示例。机器人系统10在外科规程中用作外科系统2的一部分。机器人系统10包括外科医生的控制台18、患者侧推车20(外科机器人)和外科机器人集线器22。当外科医生通过外科医生的控制台18或外科医生佩戴的增强现实(AR)装置66观察外科部位时，患者侧推车20可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具17。微创手术规程的外科部位的图像(例如，静止图像或实时的流式传输实况图像)可通过医学成像装置24获得。患者侧推车20可操纵成像装置24以将成像装置24取向。开放式外科规程的图像可通过医学成像装置96获得。机器人集线器22处理外科部位的图像以供后续显示在外科医生的控制台18或外科医生佩戴的AR装置66上或显示给外科手术室16中的其他人员。
成像装置24、96或AR装置66的光学部件可包括一个或多个照明源和/或一个或多个镜片。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科视野中的组织和器械反射或折射的光。
在各种方面，成像装置24被配置用于微创外科规程中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。在各种方面，成像装置96被配置用于开放式(侵入式)外科规程中。
在各种方面，可视化系统8包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列以及一个或多个显示器，该一个或多个显示器相对于无菌区进行策略布置。在一个方面，可视化系统8包括用于HL7、PACS和EMR的界面。在一个方面，成像装置24可采用多光谱监测来辨别形貌和底层结构。多光谱图像捕获电磁波谱上的特定波长范围内的图像数据。通过滤波器或对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如IR和紫外。光谱成像可提取人眼不可见的信息。多光谱监测可在完成外科任务之后重新定位外科视野，以对处理过的组织执行测试。
图2示出了主显示器19定位在无菌区中，以对在手术台14处的操作者可见。可视化塔11定位在无菌区外并且包括彼此背对的第一非无菌显示器7和第二非无菌显示器9。由集线器6引导的可视化系统8被配置为能够利用显示器7、9、19来将信息流协调到无菌区内部和外部的操作者。例如，集线器6可使可视化系统8显示由非无菌显示器7、9上的成像装置24、96或通过AR装置66记录的外科部位的AR图像，同时保持外科部位在主显示器19或AR装置66上的实时馈送。例如，非无菌显示器7、9可允许非无菌操作者执行与外科规程相关的诊断步骤。
图3示出了与可视化系统8、机器人系统10和手持式智能外科器械12通信的外科集线器6。集线器6包括集线器显示器35、成像模块38、发生器模块40、通信模块30、处理器模块32、存储阵列34和手术室标测模块33。集线器6还包括排烟模块26和/或抽吸/冲洗模块28。在各种方面，成像模块38包括AR装置66并且处理器模块32包括集成式视频处理器和增强现实建模器(例如，如图10中所示)。模块化光源可适于与各种成像装置一起使用。在各种示例中，可将多个成像装置放置在外科视野中的不同位置处以提供多个视图(例如，无创、微创、侵入式或开放式外科规程)。成像模块38可被配置为能够在成像装置之间切换以提供最佳视图。在各种方面，成像模块38可被配置为能够整合来自不同成像装置的图像并且在如本文所述的外科规程期间提供增强现实交互式体验。
图4示出了包括模块化通信集线器53的外科数据网络51，该模块化通信集线器被配置为能够将位于医疗设施的一个或多个手术室/房间中的模块化装置连接到基于云的系统。云54可包括耦接到存储装置55的远程服务器63(图5)。模块化通信集线器53包括与网络路由器61通信的网络集线器57和/或网络交换机59。模块化通信集线器53耦接到本地计算机系统60以处理数据。位于手术室中的模块化装置1a-1n可耦接到模块化通信集线器53。网络集线器57和/或网络交换机59可耦接到网络路由器61以将装置1a-1n连接到云54或本地计算机系统60。与装置1a-1n相关联的数据可经由路由器传输到基于云的计算机，用于远程数据处理和操纵。手术室装置1a-1n可通过有线信道或无线信道连接到模块化通信集线器53。外科数据网络51环境可用于在如本文所述的外科规程期间提供增强现实交互式体验，并且具体地将外科视野中的增强图像提供给一个或多于一个远程显示器58。
图5示出了计算机实现的交互式外科系统50。计算机实现的交互式外科系统50在许多方面类似于计算机实现的交互式外科系统1。计算机实现的交互式外科系统50包括在许多方面类似于外科系统2的一个或多个外科系统52。每个外科系统52包括与可包括远程服务器63的云54通信的至少一个外科集线器56。在一个方面，计算机实现的交互式外科系统50包括模块化控制塔23，该模块化控制塔连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。如图6中所示，模块化控制塔23包括耦接到计算机系统60的模块化通信集线器53。
返回图5，模块化控制塔23耦接到成像模块38(其耦接到内窥镜98)、发生器模块27(其耦接到能量装置99)、排烟器模块76、抽吸/冲洗模块78、通信模块13、处理器模块15、存储阵列16、智能装置/器械21(其任选地耦接到显示器39)和传感器模块29。手术室装置经由模块化控制塔23耦接到云计算资源，诸如服务器63、数据存储装置55和显示器58。机器人集线器72也可连接到模块化控制塔23并且连接到服务器63、数据存储装置55和显示器58。装置/器械21、可视化系统58等可经由有线或无线通信标准或协议耦接到模块化控制塔23，如本文所述。模块化控制塔23可耦接到集线器显示器65(例如，监测器、屏幕)以显示接收到的增强图像，包括从成像模块38、装置/器械显示器39和/或其他可视化系统58接收的真实外科视野中的所叠加虚拟对象。集线器显示器65还可结合图像和叠加图像来显示从连接到模块化控制塔23的装置接收的数据。
图6示出了包括耦接到模块化控制塔23的多个模块的外科集线器56。模块化控制塔23包括模块化通信集线器53(例如，网络连接性装置)和计算机系统60，以提供例如增强外科信息的本地处理、可视化和成像。模块化通信集线器53可以分层配置连接以扩展可连接到模块化通信集线器53的模块(例如，装置)的数量，并将与模块相关联的数据传输到计算机系统60、云计算资源或两者。模块化通信集线器53中的网络集线器57/交换机59中的每一者可包括三个下游端口和一个上游端口。上游网络集线器57/交换机59连接到处理器31以提供与云计算资源和本地显示器67的通信连接。与云54的通信可通过有线或无线通信信道进行。
计算机系统60包括处理器31和网络接口37。处理器31经由系统总线耦接到通信模块41、存储装置45、存储器46、非易失性存储器47和输入/输出接口48。系统总线可以是多种类型的总线结构中的任一种，包括使用任意各种可用总线架构的存储器总线或存储器控制器、外围总线或外部总线和/或本地总线。
处理器31包括增强现实建模器(例如，如图10中所示)并且可实现为单核或多核处理器，诸如由德州仪器公司(Texas Instruments)提供的商品名为ARM Cortex的那些处理器。在一个方面，处理器可为购自例如德克萨斯器械公司(Texas Instruments)LM4F230H5QR ARM Cortex-M4F处理器核心，其包括256KB的单循环闪存或其他非易失性存储器(高达40MHz)的片上存储器、用于改善40MHz以上的执行的预取缓冲器、32KB单循环序列随机存取存储器(SRAM)、装载有软件的内部只读存储器(ROM)、2KB电可擦除可编程只读存储器(EEPROM)、和/或一个或多个脉宽调制(PWM)模块、一个或多个正交编码器输入(QEI)模拟、具有12个模拟输入信道的一个或多个12位模数转换器(ADC)，其细节可见于产品数据表。
系统存储器包括易失性存储器和非易失性存储器。基本输入/输出系统(BIOS)(包含诸如在启动期间在计算机系统内的元件之间传输信息的基本例程，)存储在非易失性存储器中。例如，非易失性存储器可包括ROM、可编程ROM(PROM)、电可编程ROM(EPROM)、EEPROM或闪存。易失存储器包括充当外部高速缓存存储器的随机存取存储器(RAM)。此外，RAM可以多种形式可用，诸如SRAM、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)和直接Rambus RAM(DRRAM)。
计算机系统60还包括可移除/不可移除的、易失性/非易失性的计算机存储介质，诸如例如磁盘存储器。磁盘存储器包括但不限于诸如装置如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-60驱动器、闪存存储卡或内存条。此外，磁盘存储器可包括单独地或与其他存储介质组合的存储介质，包括但不限于光盘驱动器诸如光盘ROM装置(CD-ROM)、光盘可记录驱动器(CD-R驱动器)、光盘可重写驱动器(CD-RW驱动器)或数字通用磁盘ROM驱动器(DVD-ROM)。为了有利于磁盘存储装置与系统总线的连接，可使用可移除或非可移除接口。
在各种方面，图6的计算机系统60、图4至图6的成像模块38和/或可视化系统58和/或处理器模块15可包括图像处理器、图像处理引擎、图形处理单元(GPU)、媒体处理器或用于处理数字图像的任何专用数字信号处理器(DSP)。图像处理器可采用具有单个指令、多数据(SIMD)或多指令、多数据(MIMD)技术的并行计算以提高速度和效率。数字图像处理引擎可执行一系列任务。图像处理器可为具有多核处理器架构的芯片上的系统。
图7示出了增强现实(AR)系统263，该系统包括被定位在成像模块38和外科集线器显示器67之间的通信路径中的中间信号组合器64。信号组合器64组合从成像模块38和/或AR装置66接收到的音频和/或图像数据。外科集线器56从组合器64接收组合数据并且叠加提供给显示器67的数据，叠加数据显示在该显示器上。成像装置68可以是数字视频摄像机，并且音频装置69可以是麦克风。信号组合器64可包括无线平视显示器适配器，以耦接到被置于显示器67到控制台的通信路径中的AR装置66，从而允许外科集线器56将数据叠加在显示器67。
图8示出了增强现实(AR)系统，该系统包括被定位在成像模块和外科集线器显示器之间的通信路径中的中间信号组合器。图8示出了由外科医生73佩戴的用以将数据传送到外科集线器56的AR装置66。AR装置66的外围信息不包括活动视频。相反，该外围信息仅包括装置设置或不具有相同刷新率要求的信号。交互可基于与术前计算机断层扫描(CT)的链接或在外科集线器56中链接的其他数据增强外科医生73的信息。AR装置66可识别结构，例如询问器械是否正接触神经、脉管或粘连。AR装置66可包括术前扫描数据、光学视图、在整个规程中获得的组织询问特性和/或用于提供答案的外科集线器56中的处理。外科医生73可向AR装置66口述注意事项，以与患者数据一起保存在集线器存储装置45中，以供稍后用于报告或随访。
外科医生73佩戴的AR装置66利用音频和视觉信息链接到外科集线器56，以避免对叠加的需要，并且允许围绕视野围边定制显示信息。AR装置66提供来自装置(例如，器械)的信号、回答关于装置设置或与视频链接的位置信息有关的询问，以识别象限或位置。AR装置66具有音频控制和来自AR装置66的音频反馈。AR装置66能够与手术室中的所有其他系统进行交互，并且无论外科医生73在何处查看，都具有可用的反馈和交互。例如，AR装置66可从外科医生接收语音或手势发起的命令和询问，并且AR装置66可以包括音频、视觉或触觉触摸的一个或多个模态的形式提供反馈。
图9示出了佩戴AR装置66的外科医生73、患者74，并且可在手术室75中包括相机96。外科医生73佩戴的AR装置66可用于通过增强现实显示器89或通过集线器连接的显示器67向外科医生73呈现叠加在外科视野的实时图像上的虚拟对象。实时图像可包括外科器械77的一部分。虚拟对象对于手术室75内的其他人(例如，外科助手或护士)可能是不可见的，尽管他们也可能佩戴AR装置66。即使另一个人正在使用AR装置66查看手术室75，这个人也可能看不到虚拟对象或能够在与外科医生73共享的增强现实中看到虚拟对象，或者能够看到虚拟对象的修改版本(例如，根据对外科医生73唯一的自定义)或者可能看到不同的虚拟对象。
虚拟对象和/或数据可被配置为能够出现在外科器械77的一部分上或由成像模块38、在微创外科规程期间由成像装置68和/或在开放式外科规程期间由相机96捕获的外科视野中。在例示的示例中，成像模块38是在微创外科规程期间提供外科视野的实时馈送的腹腔镜相机。AR系统可呈现固定到真实对象的虚拟对象，而不考虑AR系统的一个或多个观察者(例如，外科医生73)的视角。例如，虚拟对象可对手术室75内部的AR系统的观察者可见，而对手术室75外部的AR系统的观察者不可见。当观察者进入手术室75时，虚拟对象可显示给手术室75外部的观察者。增强图像可显示在外科集线器显示器67或增强现实显示器89上。
AR装置66可包括一个或多个屏幕或镜片，诸如单个屏幕或两个屏幕(例如，用户的每只眼睛一个屏幕)。屏幕可允许光穿过屏幕，使得真实环境的各方面在显示虚拟对象时是可见的。可通过投射光使虚拟对象对外科医生73可见。虚拟对象可表现为具有一定程度的透明度或可为不透明的(即，遮挡真实环境的各方面)。
AR系统对于一个或多个观察者来说可为可查看的，并且可包括可用于一个或多个观察者的视图之间的差异，同时将一些方面保持为各视图之间通用。例如，平视显示器可在两个视图之间改变，而虚拟对象和/或数据可固定到两个视图中的真实对象或区域。在不改变至少一个虚拟对象的固定位置的情况下，可在各视图之间改变各方面，诸如对象的颜色、照明或其他改变。
用户可将AR系统中呈现的虚拟对象和/或数据视为不透明的或视为包括一定程度的透明度。在一个示例中，用户可诸如通过将虚拟对象从第一位置移动到第二位置来与虚拟对象交互。例如，用户可自己的手移动对象。通过确定手已移动到与对象重合或相邻的位置(例如，使用可安装在AR装置66上的一个或多个相机，诸如AR装置相机79或单独的相机96，并且其可为静态的或可受到控制以移动)并且使对象作为响应而移动，这可在AR系统中虚拟地完成。虚拟方面可包括真实世界对象的虚拟表示或可包括视觉效果，诸如照明效果等。AR系统可包括管理虚拟对象行为的规则，诸如使虚拟对象经受重力或摩擦，或可包括排除真实世界物理约束(例如，浮动对象、永运等)的其他预定义规则。AR装置66可包括位于AR装置66上的相机79(不与相机96混淆，与AR装置66分离)。AR装置相机79或相机96可包括红外相机、红外滤光器、可见光滤光器、多个相机、深度相机等。AR装置66可将虚拟项投射在真实环境的表示上，从而可由用户查看。
AR装置66可在外科规程期间在手术室75中使用，例如由外科医生73对患者74执行。AR装置66可投射或显示虚拟对象诸如外科规程期间的虚拟对象以增强外科医生的视觉。外科医生73可使用AR装置66、用于AR装置66的遥控器来查看虚拟对象，或者可与虚拟对象交互，例如使用手与虚拟对象或由AR装置66的相机79识别的手势“交互”。虚拟对象可增强外科工具，诸如外科器械77。例如，虚拟对象可表现为(对于通过AR装置66查看虚拟对象的外科医生73)与外科器械77耦接或保持距外科器械固定距离。在另一个示例中，虚拟对象可用于引导外科器械77，并且可表现为固定到患者74。在某些示例中，虚拟对象可对外科视野中的其他虚拟对象或现实世界对象的移动作出反应。例如，当外科医生正在操纵接近虚拟对象的外科器械时，虚拟对象可被改变。
增强现实显示系统成像装置38在外科规程过程中捕获外科视野的真实图像。增强现实显示器89、67呈现外科器械77的操作方面在外科视野的真实图像上的叠加。外科器械77包括通信电路系统231，以经由AR装置66上的通信电路系统233将操作方面和功能数据从外科器械77传送到AR装置66。尽管外科器械77和AR装置66显示为如箭头B、C所示在电路231、233之间进行RF无线通信，但也可采用其他通信技术(例如，有线、超声、红外等)。叠加与外科器械77的主动可视化的操作方面相关。叠加将外科视野中的组织交互作用的各方面与来自外科器械77的功能数据组合。AR装置66的处理器部分被配置为能够从外科器械77接收操作方面和功能数据，确定与外科器械77的操作相关的叠加，并且将外科视野中的组织方面与来自外科器械77的功能数据组合。增强图像指示关于装置性能考虑事项的警告、不兼容使用的警告、关于不完全捕获的警告。不兼容使用包括组织超出范围条件以及组织在端部执行器的钳口内没有正确地平衡。附加增强图像提供附带事件的指示，包括组织张力的指示和异物检测的指示。其他增强图像指示装置状态叠加和器械指示。
图10示出了根据本公开的至少一个方面的用于使用AR显示器89用信息来增强外科视野图像的系统83。系统83可用于例如通过使用处理器85来执行下文所述的技术。系统83包括AR装置66的可与数据库93通信的一个方面。AR装置66包括处理器85、存储器87、AR显示器89和相机79。AR装置66可包括传感器90、扬声器91和/或触觉控制器92。数据库93可包括图像存储装置94或术前计划存储装置95。
AR装置66的处理器85包括增强现实建模器86。增强现实建模器86可由处理器85用来创建增强现实环境。例如，增强现实建模器86可诸如从相机79或传感器90接收外科视野中器械的图像，并且创建增强现实环境以适配在外科视野的显示图像内。在另一个示例中，物理对象和/或数据可叠加在外科视野和/或外科器械图像上，并且增强现实建模器86可使用物理对象和数据来在增强现实环境中呈现虚拟对象和/或数据的增强现实显示。例如，增强现实建模器86可使用或检测患者外科部位处的器械并且呈现外科器械上的虚拟对象和/或数据和/或由相机79捕获的外科视野中的外科部位的图像。AR显示器89可显示叠加在真实环境上的AR环境。显示器89可使用AR装置66显示虚拟对象和/或数据，诸如显示在AR环境中的固定位置。
AR装置66可包括传感器90，例如红外传感器。相机79或传感器90可用于检测移动，诸如外科医生或其他用户的手势，处理器85可将该移动解释为用户与虚拟目标的尝试或预期交互。处理器85可诸如通过使用相机79接收到的处理信息来识别真实环境中的对象。在其他方面，传感器90可以是触觉、听觉、化学或热传感器，以生成可与各种数据馈送组合的对应信号以创建增强环境。传感器90可包括双耳音频传感器(空间声音)、惯性测量传感器(加速度计、陀螺仪、磁力计)、环境传感器、深度相机传感器、手眼跟踪传感器以及语音命令识别功能。
例如在外科规程期间，AR显示器89可在允许通过AR显示器89查看外科视野时诸如在外科视野内呈现对应于被患者的解剖方面隐藏的物理特征的虚拟特征。虚拟特征可具有对应于物理特征的第一物理位置或取向的虚拟位置或取向。在一个示例中，虚拟特征的虚拟位置或取向可包括从物理特征的第一物理位置或取向的偏移。偏移可包括距增强现实显示器预定距离、从增强现实显示器到解剖方面的相对距离等。
在一个示例中，AR装置66可以是单个AR装置。在一个方面，AR装置66可以是由华盛顿州雷德蒙德的微软公司(Microsoft,Redmond,Wash)制造的HoloLens 2AR装置。该AR装置66包括具有镜片和双耳音频特征(空间声音)的护目镜、惯性测量装置(加速度计、陀螺仪、磁力计)、环境传感器、深度相机和视频相机、手眼跟踪以及语音命令识别功能。它通过使用反射镜在佩戴者眼睛前方引导波导来提供具有高分辨率的改进视野。可通过改变反射镜的角度来放大图像。它还提供眼睛跟踪来识别用户并针对特定用户调节镜片宽度。
在另一个示例中，AR装置66可以是Snapchat Spectacles 3AR装置。该AR装置能够捕获成对图像并且重新创建3D深度映射、添加虚拟效果及重新播放3D视频。该AR装置包括两个HD相机，从而以60fps捕获3D照片和视频，同时四个内置麦克风记录沉浸式的高保真音频。来自两个相机的图像组合以建立围绕用户的真实世界的几何地图，从而提供新的深度感知感觉。照片和视频可以无线方式同步到外部显示装置。
在又一个示例中，AR装置66可以是Google的Glass 2AR装置。该AR装置提供叠加在镜头上(视野外)的惯性测量(加速度计、陀螺仪、磁力计)信息以补充信息。
在另一个示例中，AR装置66可以是Amazon的Echo Frames AR装置。该AR装置没有相机/显示器。麦克风和扬声器连接到Alexa。该AR装置提供比平视显示器更少的功能。
在又一个示例中，AR装置66可以是North(Google)的Focals AR装置。该AR装置提供通知推送/智能手表模拟；惯性测量、信息(天气、日历、消息)的屏幕叠加、语音控制(Alexa)集成。该AR装置提供基本平视显示器功能。
在另一个示例中，AR装置66可以是Nreal AR装置。该AR装置包括空间声音、两个环境相机、照片相机、IMU(加速度计、陀螺仪)、环境光传感器、接近传感器功能。Nebula将应用信息投射在镜片上。
在各种其他示例中，AR装置66可以是以下市售AR装置中的任一者：Magic Leap 1、Epson Moverio、Vuzix Blade AR、ZenFone AR、Microsoft AR眼镜原型、EyeTap，以将与环境光共线的光直接产生到视网膜中。例如，分束器使得由眼睛看到的相同光可用于计算机处理和叠加信息。AR可视化系统包括HUD、接触镜片、眼镜、虚拟现实(VR)头戴式耳机、虚拟视网膜显示器、手术室显示器和/或智能接触镜片(仿生镜片)。
用于AR装置66的多用户接口包括虚拟视网膜显示器(诸如直接绘制在视网膜上而非眼睛前方的屏幕上的光栅显示器)、智能电视、智能电话和/或空间显示器(诸如Sony空间显示系统)。
其他AR技术可包括例如AR捕获装置和软件应用程序、AR创建装置和软件应用程序以及AR云装置和软件应用程序。AR捕获装置和软件应用程序包括例如Apple Polycam应用程序Ubiquity 6(使用Display.land app的Mirrorworld)，用户可扫描并获得真实世界的3D图像(以创建3D模型)。AR创建装置和软件应用程序包括例如Adobe Aero、Vuforia、ARToolKit、Google ARCore、Apple ARKit、MAXST、Aurasma、Zappar、Blippar。AR云装置和软件应用程序包括例如Facebook、Google(世界几何、对象识别、预测数据)、Amazon AR云(商务)、Microsoft Azure、Samsung Project Whare、Niantic、Magic Leap。
态势感知是指外科系统的一些方面的根据从数据库和/或器械接收的数据来确定或推断与外科手术相关的信息的能力。该信息可包括正在进行的规程的类型、正在手术的组织的类型或作为该规程的对象的体腔。利用与外科规程相关的背景信息，外科系统可例如改善该外科系统控制连接到其的模块化装置(例如，机器人臂和/或机器人外科工具)的方式，并且在外科规程的过程期间向外科医生提供背景信息或建议。
图11示出了态势感知外科规程的时间轴。图11示出了例示性外科规程的时间轴5200以及外科集线器5104可在外科规程的每个步骤从数据源5126接收到的数据导出的上下文信息。时间轴5200描绘了护士、外科医生和其他医疗人员在肺分段切除手术期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。态势感知外科集线器5104在整个外科规程过程中从数据源5126接收数据，包括每次医疗人员利用与外科集线器5104配对的模块化装置5102时生成的数据。外科集线器5104可从配对的模块化装置5102和其他数据源5126接收该数据，并且在接收新数据时不断导出关于正在进行的手术的推论(即，背景信息)，诸如在任何给定时间执行手术的哪个步骤。外科集线器5104的态势感知系统能够例如记录与用于生成报告的手术相关的数据，验证医疗人员正在采取的步骤，(例如，经由显示屏)提供可能与特定手术步骤相关的数据或提示，基于上下文调节模块化装置5102(例如，激活监测器、调节医学成像装置的FOV或改变超声外科器械或RF电外科器械的能量程度)，以及采取本文所述的任何其他此类动作。
第一5202，医院工作人员从医院的EMR数据库中检索患者的EMR。基于在EMR中选择的患者数据，外科集线器5104确定待执行的手术是胸腔手术。
第二5204，工作人员扫描用于规程的进入的医疗用品。外科集线器5104将所扫描的用品与在各种类型的规程中利用的用品列表交叉对比，并确认用品的组合对应于胸腔规程。另外，外科集线器5104还能够确定规程不是楔形规程(因为进入的用品缺乏胸腔楔形规程所需的某些用品，或以其他方式不对应于胸腔楔形规程)。
第三5206，医疗人员经由通信地连接到外科集线器5104的扫描器5128来扫描患者带。然后，外科集线器5104可基于所扫描的数据来确认患者的身份。
第四5208，医务工作人员打开辅助设备。利用的辅助设备可根据外科手术的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当激活时，作为其初始化过程的一部分，作为模块化装置5102的辅助设备可以自动与位于模块化装置5102特定附近的外科集线器5104配对。然后，外科集线器5104可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置5102的类型来导出关于外科手术的背景信息。在该具体示例中，外科集线器5104确定外科规程是基于配对模块化装置5102的该特定组合的VATS规程。基于来自患者的EMR的数据、待在手术中使用的医疗用品的列表以及连接至集线器的模块化装置5102的类型的组合，外科集线器5104通常可推断外科团队将执行的特定手术。一旦外科集线器5104知道正在被执行的特定手术，外科集线器5104就可从存储器或云中检索该手术的步骤，然后交叉引用其随后从所连接的数据源5126(例如，模块化装置5102和患者监测装置5124)接收的数据，以推断外科团队正在执行的外科手术的步骤。
第五5210，工作人员将EKG电极和其他患者监测装置5124附接到患者。EKG电极和其他患者监测装置5124能够与外科集线器5104配对。随着外科集线器5104开始从患者监测装置5124接收数据，外科集线器5104因此确认患者在手术室中。
第六5212，医疗人员诱导患者麻醉。外科集线器5104可基于来自模块化装置5102和/或患者监测装置5124的数据(包括EKG数据、血压数据、呼吸机数据或它们的组合)推断患者处于麻醉下。在第六步5212完成时，肺分段切除手术的术前部分完成，并且手术部分开始。
第七5214，使正在手术的患者的肺部塌缩(同时通气被切换到对侧肺)。外科集线器5104可从呼吸机数据推断出患者的肺已经塌缩。外科集线器5104可推断规程的手术部分已开始，因为其可将患者的肺部塌缩的检测与规程的预期步骤(可先前访问或检索)进行比较，从而确定使肺部塌缩是该特定规程中的手术步骤。
第八5216，插入医学成像装置5108(例如，内窥镜)，并启动来自该医学成像装置的视频。外科集线器5104通过其与医学成像装置的连接来接收医学成像装置数据(即，静止图像数据或实时的实况流式传输视频)。在接收到医学成像装置数据之后，外科集线器5104可确定外科手术的腹腔镜部分已开始。另外，外科集线器5104可确定正在被执行的特定手术是分段切除术，而不是肺叶切除术(注意，外科集线器5104基于在手术的第二步骤5204处接收到的数据已经排除了楔形手术)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在被执行的手术的类型相关的背景信息，包括通过确定医学成像装置相对于患者的解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器5104配对)，以及监测所利用的可视化装置的类型。
例如，一种用于执行VATS肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行VATS分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例，一种用于执行VATS肺叶切除术的技术利用单个医学成像装置，而用于执行VATS分段切除术的另一种技术利用多个相机。作为另一个示例，一种用于执行VATS分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地耦接到外科集线器)以可视化不用于VATS肺部切除术中的分段裂隙。通过从医学成像装置5108跟踪这些数据中的任何或所有，外科集线器5104因此可确定正在被执行的外科手术的具体类型和/或用于特定类型的外科手术的技术。
第九5218，外科团队开始规程的解剖步骤。外科集线器5104可推断外科医生正处在解剖以调动患者的肺部的过程中，因为其从RF发生器或超声发生器接收到指示能量器械正在被击发的数据。外科集线器5104可将所接收的数据与外科手术的检索步骤交叉引用，以确定在方法中的该点处(即，在先前讨论的手术步骤完成之后)击发的能量器械对应于解剖步骤。
第十5220，外科团队继续进行至规程的结扎步骤。外科集线器5104可推断外科医生正在结扎动脉和静脉，因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器5104可通过交叉引用来自外科缝合和切割器械的数据的接收与该方法中的检索步骤来导出该推论。
第十一5222，执行规程的分段切除术部分。外科集线器5104推断外科医生正在基于来自外科器械的数据(包括来自钉仓的数据)横切软组织。仓数据可对应于由器械击发的钉的大小或类型。仓数据可针对在不同类型组织中采用的不同类型钉指示被缝合和/或横切的组织的类型。被击发的钉的类型用于软组织或其他组织类型，以使得外科集线器5104能够推断正在执行的分段切除手术。
第十二5224，执行节点解剖步骤。外科集线器5104可基于从发生器接收的指示正在击发RF或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定手术，在横切软组织后利用RF或超声器械对应于节点解剖步骤，这允许外科集线器5104做出该推论。应当指出的是，外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(即，RF或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。在第十二步骤5224完成时，切口被闭合并且规程的术后部分开始。
第十三5226，逆转患者的麻醉。例如，外科集线器5104可基于呼吸机数据(即，患者的呼吸率开始增加)推断出患者正在从麻醉中醒来。
最后，第十四5228，医疗人员从患者移除各种患者监测装置5124。因此，当外科集线器5104丢失EKG、BP和来自患者监测装置5124的其他数据时，该集线器可推断患者正在被转移到恢复室。外科集线器5104可根据从可通信地耦接到外科集线器5104的各种数据源5126接收的数据来确定或推断给定外科规程的每个步骤何时发生。
除了利用来自EMR数据库的患者数据来推断待执行的外科手术的类型之外，如图11所示的时间线5200的第一步骤5202所示，态势感知外科集线器5104也可利用患者数据来生成用于配对的模块化装置5102的控制调节。
外科显示器(例如，显示器7、9、19、35、62、65、66、67和89)通过向临床医生(例如，外科医生、外科工作人员)提供有用信息在手术室内发挥重要作用，有用信息可用于评估外科规程的进度、确定外科规程中要采取的后续步骤、监测患者生命体征等。显示器需要足够大，使得所提供的该信息可以被看到，但又不能大到过于显眼并在拥挤的手术室中妨碍工作流程或移动。
例如，成像装置(诸如在本文别处描述的许多成像装置中的一者)用于在外科规程过程期间捕获外科视野的实况流。显示器显示由成像装置捕获的这种实况流，使得临床医生可在外科规程期间查看外科视野。
在外科规程过程期间，与外科规程相关或相关联的信息可叠加在显示器上的实况流上。例如，心电图(EKG)在外科规程期间监测患者的心率，并且所监测的心率叠加在实况流上，使得临床医生可确保患者情况稳定。
各种其他传感器、检测器、模块等在外科规程过程中监测其他参数，并且与这些参数相关的信息也可叠加在显示器上。然而，一些叠加信息可能比其他叠加信息更重要。例如，当临床医生利用外科器械的端部执行器操纵组织时，关于利用端部执行器向组织施加多大力的信息与监测相关，以便确保组织不会被无意损伤。
然而，由于叠加在显示器上的信息量，临床医生可能会忽略或遗漏更重要的信息，诸如施加到组织的力。这种大量的竞争性信息可导致外科医生被可能影响其充分执行外科规程的能力的信息淹没，而这对于患者而言可能是代价高昂的。因此，需要对叠加到显示器上的数据/信息量进行优先级排序、控制和/或限制。
图12示出了根据本公开的至少一个方面的外科可视化系统6000。外科可视化系统6000的各种部件在许多方面类似于在本公开别处描述的其他系统的部件，并且因此为了简洁起见，在此处不以相同的细节程度重复。外科可视化系统6000包括被配置为能够例如通过使用一个或多个处理器或处理电路系统诸如处理器85来执行本文所述的各种技术的控制模块6001。在一些具体实施中，系统6000例如可包括增强现实装置85、与其结合使用或与其通信。系统6000还可包括存储介质(诸如例如存储器6003)、成像装置6004(诸如例如相机88)和显示器6005。系统6000还可包括一个或多个扬声器91、触觉控制器92和/或传感器90(参见图10)。显示器6005可包括例如AR显示器89、VR显示器、投影仪、平视显示器、屏幕和/或用于描绘视觉内容的任何其他合适装置。
在一些具体实施中，系统6000例如结合到计算机实现的交互式外科系统50中。在一些具体实施中，系统6000与可将外科数据递送到系统6000的一个或多个集线器、系统、网络、服务器和/或数据库可操作地通信。例如，系统6000可经由如本文所述的有线或无线通信标准或协议与包括远程服务器63、机器人集线器72、外科集线器56、装置/器械21和/或模块化控制塔23的云54可操作地通信。在一些具体实施中，系统6000包括类似于结合外科集线器5104所述的态势感知模块6006。态势感知模块6006可被训练成基于通过传感器输入和/或用户输入接收到的大量围手术期数据来推断关于外科规程的上下文信息。
鉴于与重叠信息的竞争量相关联的前述问题，本公开提供了一种控制系统，其可控制和/或限制正重叠于显示器上的数据量。在一些方面，系统6000可以监测和/或控制叠加到显示器(诸如显示器6005)上的信息量，使得所叠加的信息量不会对外科工作人员造成压力或使其应接不暇。在各种实施方案中，系统6000可通过将叠加信息与干扰阈值进行比较来控制叠加信息的量。干扰阈值可以是用户定义的阈值、存储在存储器(诸如存储器6003)中的预定义阈值、基于显示器大小的阈值、或它们的组合。
在一些方面，干扰阈值可基于显示器的大小，使得一个显示器的干扰阈值不同于比第一显示器更大的第二显示器的干扰阈值。在一些实施方案中，干扰阈值可以基于用户在输入界面处提供的输入和存储在存储器6003中的预定义输入的组合。在一个方面，干扰阈值可定义为可使用户变得对叠加到显示器上的信息量感到应接不暇的阈值信息量。在若干实施方案中，干扰阈值可根据用户的经验、用户的年龄、用户的视力、用户的舒适程度或它们的组合而随用户变化。
在一些实施方案中，干扰阈值可定义为显示器的可视面积的百分比，诸如监测器的屏幕或可佩戴装置(如AR装置66)的镜头。例如，系统6000可以计算显示器的可视面积的大小并且将干扰阈值设置为所计算面积的百分比。在一些示例性实施方案中，作为示例，干扰阈值可以是计算面积的10％、计算面积的25％、计算面积的50％或计算面积的75％。在一些实施方案中，基于标准行业惯例、基于用户的经验水平或它们的组合，用作干扰阈值的计算面积的百分比可以由用户经由输入界面(诸如，计算机键盘处)提供，存储在存储器6003中。
在各种实施方案中，系统6000可监测叠加信息所占据的面积，并且在叠加信息所占据的总面积达到或超过干扰阈值时，调整叠加信息量。在一些方面，系统6000可从传感器接收使信息叠加到显示器上的信号。在将信息叠加到显示器上之前，系统6000可确定叠加信息将在显示器上占据的面积。在一些方面，对叠加信息将占据的面积进行预定义并存储于存储器6003中。在一些方面，叠加信息将占据的面积是可变的并将基于显示器上的可用空间而变化。在一些方面，叠加信息将占据的面积是基于用户提供的输入。在一些示例性实施方案中，用户可以向系统6000提供输入，从而提供某些类型的信息大小，以叠加到显示器上。一旦系统6000确定了叠加信息将在显示器上占据的面积，系统6000就可评估是否将信息叠加到显示器上，如下文更详细所释。
在各种实施方案中，系统6000可跟踪显示器上的叠加信息所占据或要占据的总面积，并将所跟踪的面积与干扰阈值进行比较。在一个示例性实施方案中，系统6000可以评估显示器并确定第一信息量当前叠加于显示器上。系统可以评估第一信息量并确定第一信息量所占据的总面积小于干扰阈值。然后系统可以从例如EKG接收信号，该信号指示了患者的心率。基于例如存储在存储器6003中的预定义面积，系统6000可以确定所叠加的心率信息将占据的显示器面积。然后，系统6000可以将所确定的所叠加的心率信息将占据的面积添加到已经叠加到显示器上的总面积中。如果组合面积小于干扰阈值，则系统6000可以将心率信息叠加到显示器上，而无需对已经叠加的信息进行调整。如果组合面积达到或超过干扰阈值，则系统6000可以采取积极行动，使得显示器上叠加的信息不超过干扰阈值，如下面更详细所论。
在一些方面，系统6000可确定将新的叠加信息添加到显示器上是否将使干扰阈值在叠加新的叠加信息之前被达到或超过。通过在叠加新信息之前确定是否达到或超过干扰阈值，系统6000可以防止显示器使观看显示器的OR人员应接不暇，即使仅是瞬间的。在系统6000确定添加新的叠加信息将不会使信息量达到或超过干扰阈值的情况下，系统6000可以继续叠加新信息，从而知道将不会达到或超过干扰阈值。在系统6000确定叠加新信息将导致显示器上的信息量达到或超过干扰阈值的情况下，系统6000可在叠加新信息之前，采取积极行动，诸如从显示器上移除叠加信息，调整已经处于显示器上的叠加的信息(诸如，通过改变大小，作为示例)，以及许多其他积极动作，如下文将更详细所述。通过在叠加信息之前采取积极行动，系统6000确保在显示器上不达到或超过干扰阈值，即使仅是瞬间的。
在一些方面，系统6000可采取积极行动来减少、控制或维持叠加到显示器上的信息量，使得所叠加的信息不达到或超过干扰阈值。在各种实施方案中，基于各种传感器(诸如传感器90)、成像模块(诸如成像装置6004)或输入(如本文别处所述)，态势感知模块(诸如态势感知模块6006)可确定(作为示例)最近已完成的外科规程的步骤、当前正在执行的步骤、或很快将要完成的步骤，并且根据这些所确定的步骤，进行优先级排序并移除叠加信息。在一个方面，系统6000可将所叠加的或待叠加的信息进行优先级排序并且移除被认为不那么相关或重要的信息。在一些方面，当由态势感知模块6006正在接收的关于外科步骤的信息很少或为零时，可认为该信息不太相关或无关。在一些方面，当态势感知模块积极接收与待叠加的信息相关联的更新信息时，可认为该信息更相关或重要。在一些方面，信息的优先级可存储在存储器(诸如存储器6003)中。在一些方面，优先级可基于行业标准、用户偏好、用户经验、正在执行的外科手术的类型、或它们的组合。
在一个示例性实施方案中，系统6000可从RF或超声发生器接收指示了能量器械正在进行击发的数据。态势感知模块6006可以推断外科大夫正处于使用能量器械解剖患者组织的过程中，并且因此优先考虑与外科手术的该步骤相关联的叠加信息，诸如所测的组织阻抗、所测的组织温度、所测的由发生器输出的能量(作为示例)。在叠加信息的量达到或超过干扰阈值的情况下，系统6000可以移除或调整被认为与所确定的当前正在执行的外科手术的步骤不太相关的叠加信息。在上述参考实施方案中，态势感知模块6006可以识别当前没有接收到指示了外科缝合操作的输入，并且因此可以从显示器中移除关于外科缝合步骤的信息。在一些方面，系统6000可以接收态势感知模块6006认为的与外科规程的当前步骤无关的信息，并且因此，系统6000可以选择不将该信息叠加到显示器上。在一个示例性实施方案中，外科医生可以对患者组织执行外科缝合操作。在缝合操作期间，系统6000可经由温度传感器来检测组织的温度水平的变化。系统6000可确定该温度变化与外科缝合规程不太相关或无关，并且因此不能将该信息叠加到显示器上。
在各种实施方案中，当系统6000确定即将从显示器上移除所叠加的信息时，或者系统6000认为信息与显示器上的叠加项无关或不太相关时，系统6000可以将信息叠加到第二显示器上，使得该信息对于外科工作人员仍然是可见的。在一个方面，OR可以具有显示最相关信息的主显示器以及显示辅助信息的辅显示器。可从主显示器上移除所移除的和/或不太相关的信息并且将其叠加到辅显示器上，使得该信息在必要时仍然可用。在一些示例性实施方案中，外科工作人员可确定辅显示器上的信息比系统所确定的信息更具相关性。因此，外科工作人员可以诸如在输入界面(如键盘)处向系统提供输入，该输入将信息从辅显示器转移到主显示器。类似地，外科人员可以确定主显示器上的信息不比系统所确定的信息更具相关性。因此，外科工作人员可以诸如在输入界面处向系统提供输入，其将信息从主显示器转移到辅显示器。这为外科工作人员提供了在规程
在一个方面，系统6000可基于用户提供的输入来调整叠加的信息量。例如，用户可以向系统6000提供输入，该输入可以在确定叠加什么信息以及移除什么信息时使用。在一个示例性实施方案中，用户可在外科手术之前或期间将优先级分配给各类信息，然后系统6000可在确定移除或调整什么信息时使用该优先级。在一个示例性实施方案中，系统6000可以基于与用户相关联的预定义参数(诸如，用户的经验水平、用户的年龄、用户的视力、用户的偏好)来为叠加信息分配优先级。在另一示例性实施方案中，用户可以向系统6000提供输入，从而指示系统哪些信息永不叠加，或者仅在某些情况下叠加，如态势感知模块所确定。在另一示例性实施方案中，用户可以向系统6000提供输入，从而指示系统总是叠加哪些信息，而不管场景如何。作为一个示例，用户可以指示系统始终叠加患者的心率。在此类实施方案中，即使患者的心率被确定为与当前外科步骤不太相关，也不将其从显示器中移除。在其他此类实施方案中，如果系统6000确定患者的心率不太相关，但用户指示心率信息保持重叠，则系统可反之改变心率重叠项的大小，或改变心率重叠在显示器上的位置，如本文下面更详细所释。
在一些方面，结合了或替代从显示器上移除叠加信息，系统6000可以调整叠加信息。在一些实施方案中，系统6000可以调整显示器上的一部分叠加信息的大小。在一个方面，系统6000可增加相关信息的大小，诸如由态势感知模块认为相关的信息、用户提供的输入、预定义输入或它们的组合。作为示例，增加信息的大小可包括：增加叠加信息在显示器上占据的总面积；或增加叠加信息的字体大小。在一个方面，系统可减少被认为不太相关的信息，诸如态势感知模块认为不太相关的信息、用户提供的输入、预定义输入、或它们的组合。作为示例，减少信息的大小可包括：减少叠加信息在显示器上所占据的总面积；或减少叠加信息的字体大小。在一些实施方案中，系统6000可以调整显示器上的一部分叠加信息的权重，诸如通过基于它们的相关性将信息加粗或不加粗。
在一些实施方案中，系统6000可以调整一部分叠加信息在显示器上的位置。在一个方面，系统6000可通过如下方式来调整位置：将更相关或更重要的信息定位于显示器的容易看见的区域中，诸如靠近显示器的中心、或靠近实况流上外科医生当前正在工作的区域。在一个方面，系统6000可通过如下方式来调整位置：将不太相关或较不重要的信息定位在显示器的较不容易看见的区域中，诸如显示器的边角或侧边上、或远离实况流中外科医生当前正在工作之处的区域(作为示例)。
在一些示例性实施方案中，当系统6000确定要移除哪些叠加信息使得叠加信息保持低于干扰阈值时，系统6000可以在确定要移除什么信息时考虑已经对叠加信息所作的调整。在一个示例性实施方案中，系统6000可以接收指示了待叠加到显示器上的新信息的信号。系统6000可以确定新信息是相关的(根据来自外科感知模块的确定结果)并且叠加该新信息将使干扰阈值被达到或超过，并且因此，系统6000需要移除或调整显示器上的信息以容纳新的相关信息。将优先级或相关度分配给已经叠加的信息时(诸如基于用户输入或所确定的正在执行的外科规程的步骤)，系统6000可以评估叠加信息的某些部分是否已经进行了调整。在一个示例性实施方案中，该系统6000可以确定：所叠加的患者心率信息的大小已经减小并重新定位到显示器的边角。在一些实施方案中，系统6000可以确定：可将已经降低了优先级(已经调整了两次)的患者心率从显示器中移除。在一些其他实施方案中，系统6000可以确定患者的心率已经被调整了两次，并且因此在决定移除患者的心率信息之前，系统6000应当评估显示器上的其他信息是否可以进行调整。
在一些方面，在从显示器中移除之前，系统6000可分配可进行调整的信息量。在各种实施方案中，在从显示器中移除信息之前，用户可分配可完成的调整度。在一个示例性实施方案中，用户可以指示系统6000可以减小信息的大小直到它占据了显示器的较低阈值面积，诸如显示器的10％。一旦系统6000确定需要减小信息的大小以使其占据小于显示器的阈值面积(诸如，显示器的5％)，系统6000就可替代地移除信息。上文所提供的调整度允许系统6000自信地从显示器中移除信息，使显示器的各部分不被仅占用少量显示器的信息所占用。
在一些实施方案中，系统6000可以在完成任务的同时，向外科医生或OR的成员提供听觉反馈，而不是在显示器上叠加信息或不断地调整叠加信息。在一个方面，对于组织操纵任务，系统6000可以提供听觉信号作为反馈，以使显示器上的干扰最小化，而不是使显示器上具有视觉信号。在一个示例性实施方案中，任务可以是将组织和/或外科器械导航到目标位置。可将目标位置提供在显示器上。使用成像装置6004、位置传感器、加速计、可视化系统、由本公开提供的任何数量的位置跟踪系统、或它们的组合的系统6000可用于跟踪组织和/或外科器械的位置并且在任务完成时(即，在组织和/或外科器械被导航到目标区域时)提供听觉音调。在各种实施方案中，可视化系统可类似于以下文献所述的可视化系统：美国专利11000270号、美国专利申请公开2020/0015900号、美国专利申请公开2020/0015899号、美国专利11259793号、美国专利申请公开2020/0015924号、美国专利申请公开2020/0015898号、美国专利申请公开2020/0015906号、美国专利申请公开2020/0015907号、美国专利10925598号、美国专利申请公开2020/0015914号和美国专利申请公开2020/0015902号，这些专利的全部内容通过引用结合于此。
在一个示例性实施方案中，在组织和/或外科器械接近目标区域时，听觉反馈模块可增加体积、速度或它们的组合。在另一示例性实施方案中，当组织和/或外科器械远离目标区域移动时，听觉反馈模块可减少体积、速度或它们的组合。在另一示例性实施方案中，听觉反馈模块可以提供告知外科医生目标区域正在完成的听觉音调。在另一示例性实施方案中，听觉反馈模块可以提供指示了任务正在完成的听觉信号。在一个方面，系统6000可经由听觉反馈模块来提供听觉音调，而无需调整显示器上的叠加信息，以便在完成任务的同时，使对其的干扰最小化。
通过提供听觉音调来代替显示器上不断更新的信息，向OR工作人员提供另外的价值，因为没有专注于外科医生正在看的显示器上的工作人员可以提供他们完成工作并且他们需要准备下一步骤的指示信息。例如，对于涉及缝合组织的任务，指示了缝合器已被击发的听觉音调可通知护士：外科缝合器已准备好换手并且准备用新的钉仓替换以供下一次缝钉击发。这可消除外科医生要求重新装钉的需要并保持专注于手术部位。
如上文所参考，系统6000可尤其基于用户的经验水平来调整或控制显示器上的信息量。在一个方面，用户可经由输入界面将其经验水平提供给系统，并且系统可根据所提供的输入来检索与待叠加的信息相关联的参数。在一个示例性实施方案中，用户可以向系统提供对应于他们的经验水平的数字输入(即，作为示例，输入“1”对应于具有5+年经验的外科医生，输入“2”对应于外科住院医师，输入“3”对应于医学学生)。在其他示例性实施方案中，用户可以手动输入他们的经验年限。在其他示例性实施方案中，用户可以输入他们的教育程度。在其他示例性实施方案中，用户可以输入他们执行特定外科规程的次数。在其他示例性实施方案中，用户可以提供与特定外科手术相关联的置信水平。基于所提供的输入，系统6000可从存储器6003中检索出与所提供的经验相关联的预定义参数。在一些方面，预定义参数可包括如本文别处所释的将在外科手术期间使用的干扰阈值。在一个示例性实施方案中，与需要更多信息但也需要更少干扰以维持其专注的医学学生相比，具有几年经验的外科医生可具有更高的干扰阈值。在其他方面，预定义参数可包括在外科手术过程中待叠加的数据类型。在一个示例性实施方案中，作为示例，对于经验较少的用户，待叠加的信息可能指示解剖结构叠加项、警告、外科手术的每个步骤的使用步骤、步骤完成的确认信息、与预期结果或外科手术步骤的矛盾事项。在另一示例性实施方案中，作为示例，更有经验的用户可能不需要某些叠加相，诸如解剖结构叠加项、警告、步骤完成的确认信息，并且因此将不提供这些叠加项。
在各种实施方案中，系统6000可基于外科医生或工作人员正在积极使用的外科装置来控制正在叠加什么信息。在一些方面，系统6000可基于从OR内的传感器和模块接收的数据来确定哪些外科装置正被积极地使用。在一个示例性实施方案中，系统可基于从发生器模块40接收的数据来确定能量装置正被积极地使用。在一个示例性实施方案中，系统可基于从排烟模块26接收的数据来确定真空吸尘模块正被积极地使用。在一个示例性实施方案中，系统可基于从抽吸/冲洗模块28接收的数据来确定抽吸或冲洗模块正被积极地使用。在一个示例性实施方案中，系统可基于从传感器模块29接收的数据来确定外科装置正被积极地使用。在一个示例性实施方案中，系统可基于从成像模块25接收的数据来确定外科装置正被积极地使用。在一个示例性实施方案中，系统可基于从态势感知模块所作的推断来确定外科装置正被积极地使用。在一个示例性实施方案中，基于系统接收指示了发生在用户佩戴的识别器与外科器械之间的配对的信号，系统可确定一种装置正被积极地使用，如美国专利10758310号所释，该专利全文据此以引用方式并入本文。在各种实施方案中，系统6000可基于本文所述的各种传感器、模块和输入装置单独地或彼此组合地确定正在积极地使用哪种外科装置。一旦系统6000已经确定正在积极地使用什么外科装置，系统6000就可以在决定将什么信息叠加到显示器上时，对与这些外科装置相关联的信息进行优先级排序。在一个方面，当系统6000确定外科装置6000正被积极地使用时，与跟未被积极使用的其他外科装置相关联的信息相比，外科系统可以给与所积极使用的外科装置相关联的信息分配更高的优先级。
在各种实施方案中，系统6000可基于一系列预定条件、用户提供的条件或存储在存储器中的条件来评估、确定和控制将什么信息叠加到显示器上。在一个方面，当确定应当叠加什么信息时，系统6000可分析来自各种模块、传感器和用户输入装置的输入，并且基于以下项来确定待叠加什么信息：什么信息将对外科医生有用、外科医生将想要跟踪什么操作条件或状态、以及什么外科工作在外科医生脑海中值得跟踪且需要确认信息等。在一个示例性实施方案中，在利用外科缝合装置完成缝钉击发行程之后，系统6000可基于一系列预定条件、用户提供的条件和/或存储在存储器中的条件来确定外科医生想要检查缝钉线以确保缝合行程成功。在这一点上，显示器可以放大到所完成的缝钉线中，以给予外科医生最佳视图、淡出或最小化其他一切，或提供任何必要的叠加项以确定缝钉击发行程是否成功。利用这些预定义条件，系统6000可以确定当前时间应当专注于刚完成的任务上，因此优先考虑与该任务的完成结果相关联的信息，并且不优先考虑与当前任务无关的信息。上文所提供的示例可以将优先级驱动到显示器的中心，以确保与该任务相关联的相关信息不会被外科医生忽略或遗漏。
在各种实施方案中，系统6000可基于与正在完成的外科手术相关联的任务来分配关于待叠加什么信息以及要调整或移除什么叠加信息的优先级。在一个示例性实施方案中，系统6000可提供叠加项，以确认重装件已被正确地安装，此类替换型外科钉仓被重装到外科缝合器中。在另一示例性实施方案中，系统6000可提供一个叠加项，该叠加项指示了切割器械中的刀已到达其预期位置(诸如，行程位置的终点、行程位置的起点、行程位置的中间、或沿切割路径的任何数字或位置)。在各种实施方案中，当系统6000确定一个组织切割步骤即将完成时(作为示例，通过来自任何数量的传感器、模块、用户输入界面的输入，或通过态势感知模块)，系统6000可叠加预期缝钉线位置的轨迹，以确保缝钉线被捕获在外科切割器械的钳口之间。在各种实施方案中，系统6000可确定组织正被外科装置抓握并且叠加所确定的组织厚度以供临床医生参考。另外，系统6000可确定即将对所捕获的组织执行外科缝合手术(作为示例，通过用户输入或态势感知模块)并且叠加待用于缝合所捕获的组织的适当缝钉重装件。
在各种实施方案中，基于正在完成的外科手术步骤的关键程度，系统6000可以分配关于叠加什么信息以及调整或移除什么叠加信息的优先级。在一个示例性实施方案中，当系统6000确定组织正被外科装置操纵时，系统6000可确定：监测对组织施加的力的量以确保组织不被损坏是至关重要的。因此，系统6000可以向叠加了与对组织施加的力的量有关的信息驱动优先级，这可例如使用组织操纵器的钳口内的力传感器来测量。在一个示例性实施方案中，当系统6000确定组织正被外科缝合装置切割和缝合时，系统6000可确定在显示器上叠加多条信息是至关重要的，诸如钳口的位置、组织的厚度、对组织施加的压力、确保允许足够量的时间供流体流出正在击发外科缝合器的夹紧组织的时钟、由外科缝合器施加的击发力、以及/或者组织的血流(作为示例)。与外科手术的某些任务相关联的参数的关键程度可以是预定的，随用户而变化，诸如基于经验水平、偏好等，或它们的组合。
图13示出了流程图，其示出了用于确定竞相呈现在显示器(诸如显示器6005)上的外科数据的显示布置的示例性方法9000的操作，该显示器示出了外科视野的实况流。在一个方面，可通过成像装置(诸如成像装置6004)来捕获实况流，该成像装置对外科视野进行成像。成像装置可以可操作地耦接到控制系统，诸如系统6000，其也可操作地耦接到显示器。控制系统可将外科视野的实况流从成像装置传输到显示器，使得外科人员可在显示器上观察实况流。
在各种实施方案中，方法9000包括将与正在执行的外科手术相关联的第一信息量叠加9005到实况流上。在一个方面，控制系统可从各种模块、传感器、用户输入装置、态势感知模块(作为示例)接收输入，并且将与这些输入相关联的信息叠加到显示器上。
在各种实施方案中，方法9000还包括检测9010被配置为能够使正在叠加的第一信息量增加到正在叠加的第二信息量的事件。在一个示例性实施方案中，态势感知模块可确定外科缝合步骤即将发生，这将驱动控制系统叠加与外科缝合步骤相关联的信息。本文别处描述了各种其他将使该信息量叠加到显示器上的事件。
在各种实施方案中，方法9000还包括将第二信息量与干扰阈值进行比较9015。在一个方面，如本文别处所述，作为示例，干扰阈值可以是预定的、用户提供的、随用户而变化。在一个示例性实施方案中，控制系统可评估第二信息量将在显示器上占据的面积量，并且将其与干扰阈值进行比较以确定是否将达到或超过干扰阈值。作为一个示例，控制系统可以确定第二信息量将占据显示器的可视面积的60％，并且干扰阈值被定义为显示器的可视面积的50％。
在各种实施方案中，方法9000还包括：基于比较，将第二信息量调整9020成第三信息量，其中第三信息量小于干扰阈值。继续上文提供的示例性实施方案，控制系统可以确定第二信息量将占据显示器的可视面积的60％，这大于50％干扰阈值。因此，控制系统可以调整叠加信息，以确保不达到或超过干扰阈值。在一个示例性实施方案中，控制系统可评估当前叠加到显示器上的信息，并且基于预定条件、用户提供的条件或它们的组合，移除被确定为无关或不太相关的信息。在另一示例性实施方案中，控制系统可评估当前叠加到显示器上的信息，并且基于预定条件、用户提供的条件或它们的组合，调整被确定为无关或不太相关的信息。这种调整可以是改变其大小、其重量、其位置或它们的组合，如本文别处更详细所述。在另一示例性实施方案中，控制系统可评估当前叠加到显示器上的信息，并且基于预定条件、用户提供的条件或它们的组合，既移除也调整被确定为无关或不太相关的信息。
在各种实施方案中，方法9000还可包括：基于正在调整的第二信息量，将第三信息量叠加9025到实况流上。在一个方面，一旦控制系统已经确定待作出的调整将使叠加信息达不到或超过干扰阈值，然后控制系统就可以根据所确定的调整项来调整叠加信息。继续上文提供的示例性实施方案，其中第二叠加信息量曾是显示器的60％，控制系统可以调整投影的叠加信息，使得仅45％的显示器将被叠加信息占据，这小于50％干扰阈值。
图14示出了流程图，其示出了用于确定竞相呈现在显示器(诸如显示器6005)上的外科数据的显示布置的示例性方法9100的操作，该显示器示出了外科视野的实况流。在一个方面，可通过成像装置(诸如成像装置6004)来捕获实况流，该成像装置对外科视野进行成像。成像装置可以可操作地耦接到控制系统，诸如系统6000，其也可操作地耦接到显示器。控制系统可将外科视野的实况流从成像装置传输到显示器，使得外科人员可在显示器上观察实况流。
在各种实施方案中，方法9100包括将与正在执行的外科手术相关联的第一信息量叠加9105到实况流上。在一个方面，控制系统可从各种模块、传感器、用户输入装置、态势感知模块(作为示例)接收输入，并且将与这些输入相关联的信息叠加到显示器上。
在各种实施方案中，方法9100还包括确定9110正在执行的外科手术的步骤。在一个方面，外科手术的步骤可通过提供给态势感知模块的任何数量的输入来确定，诸如从任何数量的传感器、模块、用户输入件或它们的组合所接收的信息。其他用于确定与正在执行的外科手术相关联的步骤的示例如本文别处所述。
在各种实施方案中，方法9100还包括：根据所确定的正在执行的外科手术的步骤，调整9115叠加信息。在一个方面，控制系统可调整当前叠加到显示器上的一部分信息，以帮助外科人员完成外科任务。在一个示例性实施方案中，态势感知模块可以确定正对组织执行的组织操纵步骤，并且因此，控制系统可以调整与组织操纵步骤相关或无关的各部分叠加信息。
在一个示例性实施方案中，控制系统可通过调整叠加信息在显示器上的位置来调整叠加信息(即，作为示例，朝向以下位置移动叠加信息：显示器的中心、朝向显示器的边缘、朝向或远离正在执行外科手术的当前步骤的点)。在正在发生组织操纵的一个示例性实施方案中，与对组织施加的力相关联的叠加信息可朝向显示器的中心移动，而与组织缝合操作相关联的信息可移动到显示器的边缘。
在一个示例性实施方案中，控制系统可以通过调整叠加信息在显示器上的大小来调整叠加信息(即，作为示例，增加信息的正面大小、减少信息的字体大小、增加信息在显示器上占据的总面积、或减少信息在显示器上占据的总面积)。在正在发生组织操纵的一个示例性实施方案中，与对组织施加的力相关联的叠加信息可从占据显示器的可视面积的10％增加到显示器的可视面积的20％，而与组织缝合操作相关联的信息可从占据显示器的可视面积的20％减少到显示器的可视面积的10％。
在一个示例性实施方案中，控制系统可以通过调整显示器上的叠加信息的权重(即，作为示例，将信息加粗或不加粗)来调整叠加信息。在正在发生组织操纵的一个示例性实施方案中，与对组织施加的力相关联的叠加信息可被加粗，而与组织缝合操作相关联的信息可不被加粗。
在一个示例性实施方案中，控制系统可以通过添加或移除显示器上的叠加信息来调整叠加信息。在正在发生组织操纵的一个示例性实施方案中，控制系统可以检测到没有任何与对夹紧组织施加的压力(例如，通过组织操纵器的钳口中的力传感器所确定的压力)相关的信息正叠加到显示器上。控制系统可以调整显示器以叠加关于对组织施加的力的信息，同时也移除与组织缝合操作有关的信息。
在一个方面，可作出上述调整，同时也考虑了干扰阈值。例如，系统6000可以基于所确定的外科手术步骤和干扰阈值两者来确定待作出何种调整，使得不达到或超过干扰阈值。在调整将使干扰阈值被达到或超过的情况下，系统可以采取替代性调整。在一个示例性实施方案中，控制系统可确定添加与外科手术相关的信息将使干扰阈值被达到或超过，并且因此，控制系统可以使不太相关的信息在大小上减少或从显示器中移除，以便避免超过干扰阈值。可作出本文上述调整的任何变化或组合，使得在不超过干扰阈值因此使用户对信息应接不暇的情况下，向用户提供相关信息。
图15示出了流程图，其示出了用于确定竞相呈现在显示器(诸如显示器6005)上的外科数据的显示布置的示例性方法9200的操作，该显示器示出了外科视野的实况流。在一个方面，可通过成像装置(诸如成像装置6004)来捕获实况流，该成像装置对外科视野进行成像。成像装置可以可操作地耦接到控制系统，诸如系统6000，其也可操作地耦接到显示器。控制系统可将外科视野的实况流从成像装置传输到显示器，使得外科人员可在显示器上观察实况流。
在各种实施方案中，方法9200包括将与正在执行的外科手术相关联的信息叠加9205到实况流上。在一个方面，控制系统可从各种模块、传感器、用户输入装置、态势感知模块(作为示例)接收输入，并且将与这些输入相关联的信息叠加到显示器上。其他用于确定与正在执行的外科手术相关联的步骤的示例如本文别处所述。
在各种实施方案中，方法9200还可包括接收9210输入信号，该输入信号对应于与正在执行外科手术的用户相关联的参数。在一个方面，在外科手术之前或期间，外科医生可诸如在键盘或计算机处向控制系统提供输入、听觉命令或它们的组合。在一个方面，作为示例，输入可对应于用户的身份、用户的经验水平、用户的年龄、用户的视力、用户的偏好或它们的组合。
在各种实施方案中，方法9200还可包括：根据与用户相关联的参数，调整9215叠加信息。在一个方面，与用户相关联的参数可以是用户的经验水平。在一些实施方案中，用户可以手动输入他们的经验水平。在一个方面，经验水平可包括经验年限、手术的舒适程度、医院内的职位(作为示例，外科医生、住院医师、实习医生)或它们的组合。在一些实施方案中，控制系统可以根据该经验水平来调整叠加信息。在一个示例性实施方案中，具有第一经验水平的第一用户可以具有叠加到显示器上的第一信息量，并且具有第二经验水平的第二用户可以具有与第一经验量不同的叠加到显示器上的第二信息量。在另一示例性实施方案中，具有第一经验水平的第一用户可以具有叠加到显示器上的第一信息类型，并且具有第二经验水平的第二用户不可具有叠加到显示器上的该信息类型。在一些实施方案中，具有第一经验水平的第一用户可以具有叠加到显示器上的第一信息量和第一信息类型，并且具有第二经验水平的第二用户可以具有与第一经验量不同的叠加到显示器上的第二信息量以及不可具有叠加到显示器上的第一信息类型。控制系统可以根据经验水平来调整叠加信息，使得具有较少经验的用户可以具有叠加到显示器上的更多信息或更集中的信息，而具有较多经验的用户可以具有叠加到显示器上的更少信息或仅某些类型的信息。
尽管所有信息类型在外科手术的某个时刻对外科工作人员都是有价值的，但是当一切都重要时，什么都不重要。上文提供的公开内容允许在显示器上向外科工作人员呈现含义、相关信息，而不会使其对大量信息感到应接不暇，而大量信息会使外科人员在外科手术期间受到干扰或失去专注力。
本文所述主题的各种附加方面在以下编号的实施例中陈述：
实施例1：一种外科系统，包括：成像装置；显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；和控制系统，所述控制系统可操作地耦接到所述成像装置和所述显示器，其中，所述控制系统被配置为能够将与所述外科规程相关联的第一信息量叠加到所述实况流上；检测事件，所述事件被配置为能够使正在叠加的所述第一信息量增加到正在叠加的第二信息量；将所述第二信息量与干扰阈值进行比较；基于所述比较，将所述第二信息量调整成第三信息量，其中，所述第三信息量小于所述干扰阈值；以及基于正在调整的所述第二信息量，将所述第三信息量叠加到所述实况流上。
实施例2：根据实施例1所述的外科系统，其中，所述控制系统被配置为能够基于所述第二信息量达到或超过所述干扰阈值将所述第二信息量调整成所述第三信息量。
实施例3：根据实施例1或2所述的外科系统，其中，所述控制系统被进一步配置为能够基于所述第二信息量低于所述干扰阈值将所述第二信息量叠加到所述实况流上。
实施例4：根据实施例1-3中任一项所述的外科系统，其中，所述干扰阈值基于用户输入。
实施例5：根据实施例1-4中任一项所述的外科系统，其中，所述显示器包括可视面积，并且其中，干扰阈值对应于所述可视面积的百分比。
实施例6：根据实施例1-5中任一项所述的外科系统，还包括可操作地耦接到控制系统的态势感知模块，其中，所述控制系统被进一步配置为能够由所述态势感知模块来确定所述外科规程的步骤，并且其中，将所述第二信息量调整成所述第三信息量包括：移除与正在执行的所述外科规程的所述步骤无关的信息。
实施例7：一种外科系统，包括：成像装置；显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；态势感知模块；和控制系统，所述控制系统可操作地耦接到所述成像装置、所述显示器和所述态势感知模块，其中，所述控制系统被配置为能够将与所述外科规程相关联的信息叠加到所述实况流上；由所述态势感知模块来确定所述外科规程的步骤；以及根据所确定的正在执行的所述外科规程的步骤，调整叠加信息。
实施例8：根据实施例7所述的外科系统，其中，调整所述叠加信息包括：调整一部分所述叠加信息在所述显示器上的位置。
实施例9：根据实施例7或8所述的外科系统，其中，调整所述叠加信息包括：调整一部分所述叠加信息在所述显示器上的大小。
实施例10：根据实施例7-9中任一项所述的外科系统，其中，调整所述叠加信息包括：调整一部分所述叠加信息在所述显示器上的权重。
实施例11：根据实施例7-10中任一项所述的外科系统，其中，调整所述叠加信息包括：移除与正在执行的所述外科规程的所述步骤无关的叠加信息。
实施例12：根据实施例7-11中任一项所述的外科系统，其中，调整所述叠加信息包括：叠加与正在执行的所述外科规程的所述步骤相关联的附加信息。
实施例13：根据实施例7-12中任一项所述的外科系统，还包括可操作地耦接到所述控制系统的听觉反馈模块，其中，所述控制系统被进一步配置为能够：由所述态势感知模块来确定所述外科规程的第二步骤；将与所述外科规程的所述第二步骤相关联的信息叠加到所述实况流上；以及基于正在完成的所述外科规程的所述第二步骤，由所述听觉反馈模块来提供听觉音调，其中，在缺乏与正在调整的所述外科规程的所述第二步骤相关联的所述叠加信息的情况下，提供所述听觉音调。
实施例14：根据实施例13所述的外科系统，其中，所述外科规程的所述第二步骤包括将组织从第一位置移动到第二位置，其中，所述控制系统被进一步配置为能够在所述组织朝向所述第二位置时由所述听觉反馈模块来提供第二听觉音调。
实施例15：根据实施例14所述的外科系统，其中，所述控制系统被配置为能够在所述组织接近所述第二位置时增加所述第二听觉音调的音量。
实施例16：根据实施例14或15所述的外科系统，其中，所述控制系统被配置为能够在所述组织接近所述第二位置时增加所述第二听觉音调的速度。
实施例17：一种外科系统，包括：成像装置；显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；和控制系统，所述控制系统可操作地耦接到所述成像装置和所述显示器，其中，所述控制系统被配置为能够：将与所述外科规程相关联的信息叠加到所述实况流上；接收与跟执行所述外科规程的用户相关联的参数对应的输入信号；以及根据与所述用户相关联的所述参数，调整所述叠加信息。
实施例18：根据实施例17所述的外科系统，其中，所述参数包括所述用户的经验水平。
实施例19：根据实施例18所述的外科系统，其中，所述经验水平包括：第一经验水平，其中，所述控制系统将第一信息量叠加到所述实况流上；和第二经验水平，其中，所述控制系统将第二信息量叠加到所述实况流上，其中，所述第二信息量不同于所述第一信息量。
实施例20：根据实施例18或19所述的外科系统，其中，所述经验水平包括：第一经验水平，其中，所述控制系统将第一信息类型叠加到所述实况流上；和第二经验水平，其中，所述控制系统不将所述第一信息类型叠加到所述实况流上。
尽管已举例说明和描述了多个形式，但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离该公开的范围的情况下，可实现对这些形式的许多修改、变型、改变、替换、组合和等同物，并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外，另选地，可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外，在公开了用于某些部件的材料的情况下，也可使用其他材料。因此，应当理解，上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。
上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到，本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现，并且根据本公开，设计电路系统和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外，本领域的技术人员将会认识到，本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布，并且本文所述主题的例示性形式适用，而不管用于实际进行分布的信号承载介质的具体类型是什么。
用于编程逻辑以执行各种所公开的方面的指令可存储在系统中的存储器内，诸如动态随机存取存储器(DRAM)、高速缓存、闪存存储器或其他存储器。此外，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于存储或传输以机器(例如，计算机)可读形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(CD-ROM)、和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如，载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此，非暂态计算机可读介质包括适于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。
如本文任一方面所用，术语“控制电路”可指例如硬连线电路系统、可编程电路系统(例如，计算机处理器，该计算机处理器包括一个或多个单独指令处理内核、处理单元，处理器、微控制器、微控制器单元、控制器、数字信号处理器(DSP)、可编程逻辑装置(PLD)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA))、状态机电路系统、存储由可编程电路系统执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大系统的一部分的电路系统，例如集成电路(IC)、专用集成电路(ASIC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此，如本文所用，“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如，至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机，或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如，形成随机存取存储器)的电子电路，和/或形成通信设备(如，调制解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到，可以模拟或数字方式或它们的一些组合实施本文所述的主题。
如本文的任何方面所用，术语“逻辑”可指被配置为能够执行前述操作中的任一者的应用程序、软件、固件和/或电路系统。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。
如本文任一方面所用，术语“部件”、“系统”、“模块”等可指控制电路、计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。
如本文任一方面中所用，“算法”是指导致所期望结果的有条理的步骤序列，其中“步骤”是指物理量和/或逻辑状态的操纵，物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号，如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。
网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(TCP/IP)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(IEEE)于2008年12月发布的名称为“IEEE 802.3Standard”的以太网标准和/或本标准的更高版本。另选地或附加地，通信装置可能够使用X.25通信协议彼此通信。X.25通信协议可符合或兼容由国际电信联盟电信标准化部门(ITU-T)发布的标准。另选地或附加地，通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(CCITT)和/或美国国家标准学会(ANSI)发布的标准。另选地或附加地，收发器可能够使用异步传输模式(ATM)通信协议彼此通信。ATM通信协议可符合或兼容ATM论坛于2001年8月发布的名为“ATM-MPLS Network Interworking 2.0”的ATM标准和/或该标准的更高版本。当然，本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。
除非上述公开中另外明确指明，否则可以理解的是，在上述公开中，使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机系统或类似的电子计算装置的动作和进程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
一个或多个部件在本文中可被称为“被配置为能够”、“可配置为”、“可操作/可操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到，除非上下文另有所指，否则“被配置为能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。
术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分，术语“远侧”是指远离临床医生定位的部分。还应当理解，为简洁和清楚起见，本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而，外科器械在许多取向和方位中使用，并且这些术语并非是限制性的和/或绝对的。
本领域的技术人员将认识到，一般而言，本文、以及特别是所附权利要求(例如，所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果所引入权利要求表述的具体数目为预期的，则此类意图将在权利要求中明确表述，并且在不存在此类叙述的情况下，不存在此类意图。例如，为有助于理解，下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而，对此类短语的使用不应视为暗示通过不定冠词“一个”或“一种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中，甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时；这也适用于对用于引入权利要求表述的定冠词的使用。
另外，即使明确叙述引入权利要求叙述的特定数目，本领域的技术人员应当认识到，此种叙述通常应解释为意指至少所叙述的数目(例如，在没有其他修饰语的情况下，对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外，在其中使用类似于“A、B和C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B和C中的至少一者的系统”将包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。在其中使用类似于“A、B或C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B或C中的至少一者的系统”应当包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。本领域的技术人员还应当理解，通常，除非上下文另有指示，否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如，短语“A或B”通常将被理解为包括“A”或“B”或“A和B”的可能性。
对于所附的权利要求，本领域的技术人员将会理解，其中表述的操作通常可以任何顺序进行。另外，尽管以一个或多个序列出了各种操作流程图，但应当理解，可以不同于所示顺序的其他顺序执行各种操作，或者可同时执行所述各种操作。除非上下文另有规定，否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向，或其他改变的排序。此外，除非上下文另有规定，否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。
值得一提的是，任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此，在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外，具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。
本说明书提及和/或在任何申请数据表中列出的任何专利申请，专利，非专利公布或其他公开材料均以引用方式并入本文，只要所并入的材料在此不一致。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。
概括地说，已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的，已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用，从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。

Claims (20)

1.一种外科系统，包括：
成像装置；
显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；和
控制系统，所述控制系统可操作地耦接到所述成像装置和所述显示器，其中，所述控制系统被配置为能够：
将与所述外科规程相关联的第一信息量叠加到所述实况流上；
检测被配置为能够使正在叠加的所述第一信息量增加到正在叠加的第二信息量的事件；
将所述第二信息量与干扰阈值进行比较；
基于所述比较，将所述第二信息量调整成第三信息量，其中，所述第三信息量小于所述干扰阈值；以及
基于正在调整的所述第二信息量，将所述第三信息量叠加到所述实况流上。
2.根据权利要求1所述的外科系统，其中，所述控制系统被配置为能够基于所述第二信息量达到或超过所述干扰阈值将所述第二信息量调整成所述第三信息量。
3.根据权利要求1所述的外科系统，其中，所述控制系统被进一步配置为能够基于所述第二信息量低于所述干扰阈值将所述第二信息量叠加到所述实况流上。
4.根据权利要求1所述的外科系统，其中，所述干扰阈值基于用户输入。
5.根据权利要求1所述的外科系统，其中，所述显示器包括可视面积，并且其中，干扰阈值对应于所述可视面积的百分比。
6.根据权利要求1所述的外科系统，还包括可操作地耦接到控制系统的态势感知模块，其中，所述控制系统被进一步配置为能够由所述态势感知模块来确定所述外科规程的步骤，并且其中，将所述第二信息量调整成所述第三信息量包括：移除与正在执行的外科规程的所述步骤无关的信息。
7.一种外科系统，包括：
成像装置；
显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；
态势感知模块；和
控制系统，所述控制系统可操作地耦接到所述成像装置、所述显示器和所述态势感知模块，其中，所述控制系统被配置为能够：
将与所述外科规程相关联的信息叠加到所述实况流上；
由所述态势感知模块来确定所述外科规程的步骤；以及
根据所确定的所述外科规程的步骤，调整叠加信息。
8.根据权利要求7所述的外科系统，其中，调整所述叠加信息包括：调整一部分所述叠加信息在所述显示器上的位置。
9.根据权利要求7所述的外科系统，其中，调整所述叠加信息包括：调整一部分所述叠加信息在所述显示器上的大小。
10.根据权利要求7所述的外科系统，其中，调整所述叠加信息包括：调整一部分所述叠加信息在所述显示器上的权重。
11.根据权利要求7所述的外科系统，其中，调整所述叠加信息包括：移除与所述外科规程的所述步骤无关的叠加信息。
12.根据权利要求7所述的外科系统，其中，调整所述叠加信息包括：叠加与所述外科规程的所述步骤相关联的附加信息。
13.根据权利要求7所述的外科系统，还包括可操作地耦接到所述控制系统的听觉反馈模块，其中，所述控制系统被进一步配置为能够：
由所述态势感知模块来确定所述外科规程的第二步骤；
将与所述外科规程的所述第二步骤相关联的信息叠加到所述实况流上；以及
基于正在完成的所述外科规程的所述第二步骤，由所述听觉反馈模块来提供听觉音调，其中，在缺乏与正在调整的所述外科规程的所述第二步骤相关联的所述叠加信息的情况下，提供所述听觉音调。
14.根据权利要求13所述的外科系统，其中，所述外科规程的所述第二步骤包括将组织从第一位置移动到第二位置，其中，所述控制系统被进一步配置为能够在所述组织朝向所述第二位置时由所述听觉反馈模块来提供第二听觉音调。
15.根据权利要求14所述的外科系统，其中，所述控制系统被配置为能够在所述组织接近所述第二位置时增加所述第二听觉音调的音量。
16.根据权利要求14所述的外科系统，其中，所述控制系统被配置为能够在所述组织接近所述第二位置时增加所述第二听觉音调的速度。
17.一种外科系统，包括：
成像装置；
显示器，所述显示器被配置为能够显示外科规程的外科视野的实况流，其中，所述实况流由所述成像装置捕获；
控制系统，所述控制系统可操作地耦接到所述成像装置和所述显示器，其中，所述控制系统被配置为能够：
将与所述外科规程相关联的信息叠加到所述实况流上；
接收输入信号，其中，所述输入信号对应于与正在执行所述外科规程的用户相关联的参数；以及
根据与所述用户相关联的所述参数，调整所述叠加信息。
18.根据权利要求17所述的外科系统，其中，所述参数包括所述用户的经验水平。
19.根据权利要求18所述的外科系统，其中，所述经验水平包括：
第一经验水平，其中，所述控制系统将第一信息量叠加到所述实况流上；和
第二经验水平，其中，所述控制系统将第二信息量叠加到所述实况流上，其中，所述第二信息量不同于所述第一信息量。
20.根据权利要求18所述的外科系统，其中，所述经验水平包括：
第一经验水平，其中，所述控制系统将第一信息类型叠加到所述实况流上；和
第二经验水平，其中，所述控制系统不将所述第一信息类型叠加到所述实况流上。
CN202280041956.9A 2021-04-14 2022-04-11 用于控制外科数据叠加项的系统和方法 Pending CN117480565A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202163174674P 2021-04-14 2021-04-14
US63/174,674 2021-04-14
US202163284326P 2021-11-30 2021-11-30
US63/284,326 2021-11-30
US17/688,626 2022-03-07
US17/688,626 US20220331049A1 (en) 2021-04-14 2022-03-07 Systems and methods for controlling surgical data overlay
PCT/IB2022/053359 WO2022219488A1 (en) 2021-04-14 2022-04-11 Systems and methods for controlling surgical data overlay

Publications (1)

Publication Number Publication Date
CN117480565A true CN117480565A (zh) 2024-01-30

Family

ID=83601401

Family Applications (7)

Application Number Title Priority Date Filing Date
CN202280040424.3A Pending CN117441362A (zh) 2021-04-14 2022-04-11 具有远程装置功能的远程控件对的指示
CN202280040795.1A Pending CN117501378A (zh) 2021-04-14 2022-04-11 导致两个叠加都被实现的交互器械的协作叠加
CN202280039646.3A Pending CN117425935A (zh) 2021-04-14 2022-04-11 利用外科数据值和态势感知来控制外科视野中的叠加
CN202280042372.3A Pending CN117581308A (zh) 2021-04-14 2022-04-11 利用一个或多个外科装置的环境参数来预测用于显示外科信息的频率间隔
CN202280041956.9A Pending CN117480565A (zh) 2021-04-14 2022-04-11 用于控制外科数据叠加项的系统和方法
CN202280040157.XA Pending CN117501377A (zh) 2021-04-14 2022-04-11 外科视野中显示方面的基于风险的优先级
CN202280042720.7A Pending CN117501585A (zh) 2021-04-14 2022-05-12 用于无线功率设备的软磁环

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202280040424.3A Pending CN117441362A (zh) 2021-04-14 2022-04-11 具有远程装置功能的远程控件对的指示
CN202280040795.1A Pending CN117501378A (zh) 2021-04-14 2022-04-11 导致两个叠加都被实现的交互器械的协作叠加
CN202280039646.3A Pending CN117425935A (zh) 2021-04-14 2022-04-11 利用外科数据值和态势感知来控制外科视野中的叠加
CN202280042372.3A Pending CN117581308A (zh) 2021-04-14 2022-04-11 利用一个或多个外科装置的环境参数来预测用于显示外科信息的频率间隔

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202280040157.XA Pending CN117501377A (zh) 2021-04-14 2022-04-11 外科视野中显示方面的基于风险的优先级
CN202280042720.7A Pending CN117501585A (zh) 2021-04-14 2022-05-12 用于无线功率设备的软磁环

Country Status (6)

Country Link
US (17) US20220331048A1 (zh)
EP (7) EP4136646A1 (zh)
JP (7) JP2024514883A (zh)
CN (7) CN117441362A (zh)
BR (6) BR112023021249A2 (zh)
WO (4) WO2022219503A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US20200078113A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Port presence detection system for modular energy system
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11896279B2 (en) 2018-09-07 2024-02-13 Cilag Gmbh International Surgical modular energy system with footer module
US11743665B2 (en) 2019-03-29 2023-08-29 Cilag Gmbh International Modular surgical energy system with module positional awareness sensing with time counter
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US20220331048A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Utilization of surgical data values and situational awareness to control the overlay in surgical field view
CN117321543A (zh) * 2021-05-14 2023-12-29 斯纳普公司 减少增强现实体验的启动时间
USD1003915S1 (en) * 2021-08-19 2023-11-07 Covidien Lp Surgeon display screen with a graphical user interface having electrosurgical buttons
US20230059343A1 (en) * 2021-08-21 2023-02-23 Ix Innovation Llc Telemetry-based control of robotic systems
US20230055383A1 (en) * 2021-08-23 2023-02-23 Summate Technologies, Inc. Integrated Data Capture of Sterile and Non-Sterile Surgical Supplies and Implantables
US20230138204A1 (en) * 2021-11-02 2023-05-04 International Business Machines Corporation Augmented reality object interaction and notification
US20230156174A1 (en) * 2021-11-17 2023-05-18 3Dintegrated Aps Surgical visualization image enhancement
US20230306652A1 (en) * 2022-03-11 2023-09-28 International Business Machines Corporation Mixed reality based contextual evaluation of object dimensions
US20230328494A1 (en) * 2022-04-08 2023-10-12 Shreyas Sen Distributed body area network computing system, method and computer program products
EP4356396A1 (en) 2022-06-02 2024-04-24 Cilag GmbH International Customization, troubleshooting, and wireless pairing techniques for surgical instruments

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212208B2 (en) * 2003-02-25 2007-05-01 Bahram Khozai System and method to present and display multiple data using enhanced box charts
FR2855292B1 (fr) * 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US20070211930A1 (en) * 2006-03-09 2007-09-13 Terry Dolwick Attribute based image enhancement and display for medical imaging applications
US8982195B2 (en) * 2006-09-07 2015-03-17 Abbott Medical Optics Inc. Digital video capture system and method with customizable graphical overlay
US8708922B2 (en) * 2006-12-21 2014-04-29 Koninklijke Philips N.V. Electrically isolated catheter with wireless sensors
US8803955B2 (en) * 2008-04-26 2014-08-12 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism
JP5203858B2 (ja) * 2008-09-01 2013-06-05 富士フイルム株式会社 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム
EP2227063B1 (en) * 2009-03-04 2012-03-14 Fujitsu Limited Improvements to wireless sensor networks
US8521331B2 (en) * 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8730251B2 (en) * 2010-06-07 2014-05-20 Apple Inc. Switching video streams for a display without a visible interruption
US20140052150A1 (en) * 2010-08-02 2014-02-20 The Johns Hopkins University Method for presenting force sensor information using cooperative robot control and audio feedback
JP6774404B2 (ja) * 2014-10-27 2020-10-21 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 統合手術台アイコンのためのシステム及び方法
US11504192B2 (en) * 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
US9861446B2 (en) * 2016-03-12 2018-01-09 Philipp K. Lang Devices and methods for surgery
US10754417B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for operating an input device in an augmented/virtual reality environment
US11487353B2 (en) * 2016-11-14 2022-11-01 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
JP7146772B2 (ja) * 2017-01-17 2022-10-04 コーニンクレッカ フィリップス エヌ ヴェ コンテクストオーバレイを提供する拡張現実インターベンションシステム
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US10242502B2 (en) * 2017-07-27 2019-03-26 Facebook, Inc. Providing an augmented reality overlay for display over a view of a user
US11432877B2 (en) * 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US10610310B2 (en) * 2017-10-02 2020-04-07 Robin Elizabeth McKenzie TODD User interface system and methods for overlaying surgical video output
JP2021500690A (ja) * 2017-10-23 2021-01-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 自己展開型拡張現実ベースのサービス命令ライブラリ
US11564756B2 (en) * 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11071595B2 (en) * 2017-12-14 2021-07-27 Verb Surgical Inc. Multi-panel graphical user interface for a robotic surgical system
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11424027B2 (en) * 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11304699B2 (en) * 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11056244B2 (en) * 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11844579B2 (en) * 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11937769B2 (en) * 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11114199B2 (en) * 2018-01-25 2021-09-07 Mako Surgical Corp. Workflow systems and methods for enhancing collaboration between participants in a surgical procedure
US20230072423A1 (en) * 2018-01-25 2023-03-09 Meta Platforms Technologies, Llc Wearable electronic devices and extended reality systems including neuromuscular sensors
JP2021512440A (ja) * 2018-01-26 2021-05-13 サージカル シアター インコーポレイテッド 患者エンゲージメントのシステムおよび方法
US10825563B2 (en) * 2018-05-14 2020-11-03 Novarad Corporation Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
US11287874B2 (en) * 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11103312B2 (en) * 2019-04-02 2021-08-31 Verb Surgical Inc. Method and system for predicting current paths and evaluating electrical burn risks of a monopolar electrosurgery tool
DE102019109189B3 (de) * 2019-04-08 2020-08-13 Schölly Fiberoptic GmbH Vorrichtung und Verfahren zur Bearbeitung von Datenströmen
US11272990B2 (en) * 2019-10-29 2022-03-15 Alcon Inc. System and method of utilizing three-dimensional overlays with medical procedures
EP4051331A4 (en) * 2019-10-31 2022-12-28 Terumo Cardiovascular Systems Corporation HEART LUNG MACHINE WITH AUGMENTED REALITY DISPLAY
WO2021092194A1 (en) * 2019-11-05 2021-05-14 Vicarious Surgical Inc. Surgical virtual reality user interface
US11992373B2 (en) * 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11818413B2 (en) * 2019-12-17 2023-11-14 Infosys Limited System and method for dynamic generation of charts in a personalized video
US11896442B2 (en) * 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US20220409300A1 (en) * 2020-01-15 2022-12-29 Intuitive Surgical Operations, Inc. Systems and methods for providing surgical assistance based on operational context
US11464581B2 (en) * 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) * 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11224485B2 (en) * 2020-04-05 2022-01-18 Theator inc. Image analysis for detecting deviations from a surgical plane
US11382700B2 (en) * 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) * 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US20220104896A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Interactive information overlay on multiple surgical displays
US11748924B2 (en) * 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11992372B2 (en) * 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11914835B2 (en) * 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor
US11786206B2 (en) * 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
US20220331048A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Utilization of surgical data values and situational awareness to control the overlay in surgical field view
US11838563B2 (en) * 2021-04-15 2023-12-05 Synamedia Limited Switching between transmitting a preauthored video frame and a composited video frame
WO2023062594A1 (en) * 2021-10-15 2023-04-20 Verb Surgical Inc. Apparatus, systems, and methods for intraoperative visualization

Also Published As

Publication number Publication date
EP4136645A1 (en) 2023-02-22
EP4136650A1 (en) 2023-02-22
BR112023021241A2 (pt) 2024-01-09
BR112023021240A2 (pt) 2024-01-09
BR112023021253A2 (pt) 2023-12-26
CN117501585A (zh) 2024-02-02
US20220338049A1 (en) 2022-10-20
US20220331052A1 (en) 2022-10-20
WO2022219497A1 (en) 2022-10-20
BR112023021473A2 (pt) 2023-12-19
EP4136644A1 (en) 2023-02-22
US20220331053A1 (en) 2022-10-20
BR112023021249A2 (pt) 2024-02-06
CN117425935A (zh) 2024-01-19
US20220331056A1 (en) 2022-10-20
WO2022219499A1 (en) 2022-10-20
CN117581308A (zh) 2024-02-20
US20220331050A1 (en) 2022-10-20
EP4128854A1 (en) 2023-02-08
CN117501377A (zh) 2024-02-02
JP2024514881A (ja) 2024-04-03
JP2024514635A (ja) 2024-04-02
US20220335660A1 (en) 2022-10-20
US20220331048A1 (en) 2022-10-20
JP2024514882A (ja) 2024-04-03
US20220335696A1 (en) 2022-10-20
WO2022219490A1 (en) 2022-10-20
US20220334787A1 (en) 2022-10-20
US20220335604A1 (en) 2022-10-20
JP2024514637A (ja) 2024-04-02
EP4136653A1 (en) 2023-02-22
US20220331049A1 (en) 2022-10-20
JP2024514883A (ja) 2024-04-03
US20220331047A1 (en) 2022-10-20
US20220336078A1 (en) 2022-10-20
EP4136646A1 (en) 2023-02-22
BR112023021464A2 (pt) 2023-12-19
CN117501378A (zh) 2024-02-02
CN117441362A (zh) 2024-01-23
US20220331051A1 (en) 2022-10-20
WO2022219503A1 (en) 2022-10-20
US20220331054A1 (en) 2022-10-20
JP2024514633A (ja) 2024-04-02
JP2024514634A (ja) 2024-04-02
EP4136652A1 (en) 2023-02-22
US20220336097A1 (en) 2022-10-20
US20220331013A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
US20220331049A1 (en) Systems and methods for controlling surgical data overlay
US20230395250A1 (en) Customization, troubleshooting, and wireless pairing techniques for surgical instruments
WO2022219488A1 (en) Systems and methods for controlling surgical data overlay
CN117461093A (zh) 基于触发事件来改变外科视野的显示叠加项的系统和方法
WO2023233323A1 (en) Customization, troubleshooting, and wireless pairing techniques for surgical instruments
WO2022219504A1 (en) Cooperative overlays of interacting instruments which result in both overlays being effected
CN118160044A (zh) 叠加数据和配置的定制
JP2024513991A (ja) トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法
CN117546253A (zh) 协作以增加复杂数据馈送的有效感知的混合现实反馈系统
CN117480562A (zh) 外科视野中选择性和可调节的混合现实叠加
CN117479896A (zh) 包括可在组织穿透外科装置的通道外展开的相机阵列的系统
CN117480563A (zh) 用于外科系统的术中显示器
JP2024514884A (ja) 外科用システムのためのオーバーレイ器具情報の適合及び調整可能性
WO2022219496A1 (en) Selective and adjustable mixed reality overlay in surgical field view
EP4143844A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
CN117441212A (zh) 用渲染元素将混合直接可视化以显示混合元素以及在屏幕上和在屏幕外正在发生的动作

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination