CN116685255A - 现场可编程外科可视化系统 - Google Patents

现场可编程外科可视化系统 Download PDF

Info

Publication number
CN116685255A
CN116685255A CN202180080824.2A CN202180080824A CN116685255A CN 116685255 A CN116685255 A CN 116685255A CN 202180080824 A CN202180080824 A CN 202180080824A CN 116685255 A CN116685255 A CN 116685255A
Authority
CN
China
Prior art keywords
surgical
information indicative
light
data
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180080824.2A
Other languages
English (en)
Inventor
F·E·谢尔顿四世
K·M·费比格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cilag GmbH International
Original Assignee
Cilag GmbH International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cilag GmbH International filed Critical Cilag GmbH International
Publication of CN116685255A publication Critical patent/CN116685255A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B17/07207—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously the staples being applied sequentially
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320068—Surgical cutting instruments using mechanical vibrations, e.g. ultrasonic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00025—Operational features of endoscopes characterised by power management
    • A61B1/00036—Means for power saving, e.g. sleeping mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00367—Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like
    • A61B2017/00398—Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like using powered actuators, e.g. stepper motors, solenoids
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/1206—Generators therefor
    • A61B2018/1246—Generators therefor characterised by the output polarity
    • A61B2018/1253—Generators therefor characterised by the output polarity monopolar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/1206—Generators therefor
    • A61B2018/1246—Generators therefor characterised by the output polarity
    • A61B2018/126—Generators therefor characterised by the output polarity bipolar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2218/00—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2218/001—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body having means for irrigation and/or aspiration of substances to and/or from the surgical site
    • A61B2218/002—Irrigation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2218/00—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2218/001—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body having means for irrigation and/or aspiration of substances to and/or from the surgical site
    • A61B2218/007—Aspiration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2218/00—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2218/001—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body having means for irrigation and/or aspiration of substances to and/or from the surgical site
    • A61B2218/007—Aspiration
    • A61B2218/008—Aspiration for smoke evacuation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223—Magnetic field sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Urology & Nephrology (AREA)
  • Plasma & Fusion (AREA)
  • Otolaryngology (AREA)
  • Dentistry (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Surgical Instruments (AREA)

Abstract

本发明公开了一种外科可视化系统(10000)，该外科可视化系统能够为现场可编程的。该外科可视化系统能够包括现场可编程门阵列(FPGA，10004)和处理器(10006)。该FPGA能够被配置为将反向散射激光的传感器信息变换成外科场地的一部分中的粒子移动(例如，血细胞)的实时信息。该处理器能够被配置为接收输入，并且基于该输入重新配置该FPGA的逻辑元件，从而将该FPGA的操作从第一变换改变为第二变换。例如，该FPGA的这些逻辑元件能够被配置为评估可选深度处的粒子移动，并且然后在外科医生的请求下被重新配置为评估多个深度上的聚集粒子运动。

Description

现场可编程外科可视化系统
相关申请的交叉引用
本申请涉及以下申请，其每个申请的内容以引用方式并入本文：
2018年3月29日提交的名称为“Surgical System Distributed Processing”的美国专利申请15/940,663号；
2018年3月29日提交的名称为“Use Of Laser Light And Red-Green-BlueColoration To Determine Properties Of Back Scattered Light”的美国专利申请15/940,704号；
与本文同时提交的名称为“Method for Operating Tiered Operation Modes inA Surgical System”的美国专利申请，代理人案卷号为END9287USNP1；
与本文同时提交的名称为“Tiered-Access Surgical Visualization System”的美国专利申请，代理人案卷号为END9287USNP2；以及
与本文同时提交的名称为“Surgical Visualization and Particle TrendAnalysis System”的美国专利申请，代理人案卷号为END9287USNP3。
背景技术
外科系统通常结合有成像系统，该成像系统可允许临床医生例如在一个或多个显示器(诸如监测器)上观看外科部位和/或其一个或多个部分。显示器可以是手术室本地的和/或远程的。成像系统可包括具有相机的观察镜，该观察镜观看外科部位并将视图传输到临床医生可观看的显示器。观察镜包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜和外镜。成像系统可受到它们能够识别和/或传达给临床医生的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。另外，某些成像系统可能无法在术中将某些信息传送和/或传达给临床医生。
发明内容
外科可视化系统能够为现场可编程的。该外科可视化系统能够包括现场可编程门阵列(FPGA)和处理器。该FPGA能够被配置为将反向散射激光的传感器信息变换成外科场地的一部分中的粒子移动(例如，血细胞)的实时信息。该处理器能够被配置为接收输入，并且基于该输入重新配置该FPGA的逻辑元件，从而将该FPGA的操作从第一变换改变为第二变换。例如，该FPGA的这些逻辑元件能够被配置为评估可选深度处的粒子移动，并且然后在外科医生的请求下被重新配置为评估多个深度上的聚集粒子运动。
根据本发明的各种实施方案，提供了以下示例：
1.一种用于分析外科场地的至少一部分的外科可视化系统，所述系统包括：
激光照明源，所述激光照明源被配置成能够用激光照明所述外科场地的所述至少一部分；
光传感器，所述光传感器被配置成能够接收反射激光；
现场可编程门阵列，所述现场可编程门阵列包括可配置的逻辑元件，其中所述现场可编程门阵列被配置成能够根据由逻辑元件的第一配置实现的第一变换，将指示所述反射激光的信息变换为指示在所述外科场地的所述至少一部分中的移动粒子的信息；
显示器，所述显示器被配置成能够显示输出，所述输出表示指示在所述外科场地的所述至少一部分中的移动粒子的所述信息；和
处理器，所述处理器被配置成能够接收输入，并且基于所述输入，将所述逻辑元件配置为逻辑元件的第二配置，使得所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的第二变换来变换指示所述反射激光的信息。
2.根据示例1所述的外科可视化系统，其中，所述处理器包括第一处理器，并且其中所述系统还包括与所述现场可编程门阵列远程地布置的第二处理器，所述第二处理器被配置成能够接收指示在所述外科场地的所述至少一部分中的移动粒子的所述信息以及将所述第二配置发送到所述第一处理器，并且其中所述第一处理器能够操作以将所述逻辑元件配置为所述逻辑元件的第二配置。
3.根据示例1或示例2所述的外科可视化系统，其中，所述反射激光是多光谱的，其中所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示由多光谱的所述反射激光赋予的深度测定的聚集的信息。
4.根据示例1或示例2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示折射率的信息。
5.根据示例1或示例2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示移动粒子的多个深度的信息。
6.根据示例5所述的外科可视化系统，其中，指示移动粒子的多个深度的所述信息是指示血流的多个深度的信息。
7.根据示例1或示例2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示多个深度的加权表示的信息。
8.根据示例1或示例2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示折射率和粒子移动的信息。
9.根据示例1或示例2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示当前折射率和当前粒子移动与先前折射率和先前粒子移动的比较的信息。
10.根据示例1至9中任一项所述的外科可视化系统，其中，所述输入是控制参数，所述控制参数指示与用户或器械中的任一者相关联的功能层。
11.根据示例1至10中任一项所述的外科可视化系统，其中，所述处理器在空闲时间监测所述现场可编程门阵列，并且在所述空闲时间的期间根据所述第二配置来配置所述现场可编程门阵列。
12.根据示例1至11中任一项所述的外科可视化系统，其中，所述输入是指示根据所述第一变换的所述外科场地的所述至少一部分中的移动粒子的所述信息与临床事件相关并且所述第二变换可用的指示。
13.根据示例12所述的外科可视化系统，其中，所述临床事件是严重出血事件。
14.一种用于分析外科场地的至少一部分的外科可视化系统，所述系统包括：
存储器，所述存储器中存储有与第一变换相关联的第一配置、与第二变换相关联的第二配置，以及多普勒信息和相关外科结果的聚集；
处理器，所述处理器被配置成能够接收指示所述外科场地的所述至少一部分中的移动粒子的信息，所述信息是现场可编程门阵列将所述第一变换应用于指示所述外科场地的所述至少一部分中的反射激光的信息的结果，其中所述处理器被进一步配置成能够基于所述信息与所述多普勒信息和相关外科结果的聚集的相关性来选择所述第二变换，以及将所述第二配置发送到所述现场可编程门阵列。
15.根据示例14所述的外科可视化系统，其中，所述反射激光是多光谱的，所述第二变换将指示所述反射激光的信息变换为指示由多光谱的所述反射激光赋予的深度测定的聚集的信息。
16.根据示例14所述的外科可视化系统，其中，所述第二变换将指示所述反射激光的信息变换为指示折射率的信息。
17.根据示例14所述的外科可视化系统，其中，所述第二变换将指示所述反射激光的信息变换为指示移动粒子的多个深度的信息，优选地，其中指示移动粒子的多个深度的所述信息是指示血流的多个深度的信息。
18.根据示例14所述的外科可视化系统，其中，所述第二变换将指示所述反射激光的信息变换为指示多个深度的加权表示的信息。
19.根据示例14所述的外科可视化系统，其中，到所述处理器的指示与用户或器械中的任一者相关联的功能层的输入是选择所述第二变换的条件。
20.根据示例14所述的外科可视化系统，其中，所述相关性是与特定临床事件的相关性，优选地其中所述特定临床事件是严重出血事件。
21.一种用于分析外科场地的至少一部分的外科可视化系统，所述系统包括：
激光照明源，所述激光照明源被配置成能够用激光照明所述外科场地的所述至少一部分；
光传感器，所述光传感器被配置成能够接收反射激光；和
现场可编程门阵列，所述现场可编程门阵列包括可配置的逻辑元件，
其中，在第一操作模式下，所述现场可编程门阵列被配置成能够根据由逻辑元件的第一配置实现的第一变换来变换指示所述反射激光的信息，并且
其中，在第二操作模式下，所述现场可编程门阵列被配置成能够根据由逻辑元件的第二配置实现的第二变换来变换指示所述反射激光的所述信息。
22.根据示例21所述的外科可视化系统，还包括处理器，所述处理器被配置成能够基于到所述处理器的输入来选择所述现场可编程门阵列的所述第一操作模式和所述第二操作模式中的任一者，所述输入指示与用户或器械中的任一者相关联的功能层。
23.根据示例1至13、21和22中任一项所述的系统，其中，所述光传感器提供指示所述反射激光的信息。
22.根据示例1至22中任一项所述的系统，其中，指示所述反射激光的所述信息包括振幅、频率、波长、多普勒频移和/或其他时域或频域特征中的一者或多者。
23.根据示例1至14中任一项所述的系统，其中，指示移动粒子的所述信息包括每单位时间移动粒子的数量、粒子速率、粒子速度和/或体积中的一者或多者。
24.根据示例3、7、15和18中任一项所述的外科可视化系统，其中，指示所述反射激光的信息包括波长信息，并且其中所述变换基于与至少一个深度相关联的至少一个波长来推断指示深度的信息。
25.根据示例4、8、9和16中任一项所述的外科可视化系统，其中，指示所述反射激光的信息包括相位信息，并且其中所述变换至少基于所述相位信息来推断指示折射率的所述信息。
26.根据示例25所述的外科可视化系统，其中，所述相位信息为干涉图案。
27.根据示例5、6、9和17中任一项所述的外科可视化系统，其中，指示所述反射激光的信息包括波长信息，其中多光谱激光的波长与所述外科场地的所述至少一部分中的特定深度相关联，其中所述波长的多普勒频移与所述深度处的移动粒子的速度相关联，并且其中所述变换基于与至少一个深度相关联的波长的至少一个多普勒频移来推断指示信息。
28.根据示例12或示例13所述的外科可视化系统，其中，与所述现场可编程门阵列远程地布置的第二处理器通过执行指示所述外科场地的所述至少一部分中的移动粒子的信息与在手术期间先前获取的对应信息和/或与在其他手术期间获取的对应信息的比较，来提供所述指示。
29.根据示例12或示例13所述的外科可视化系统，其中，所述第二处理器与所述现场可编程门阵列远程地布置，所述第二处理器使用人工智能和/或基于机器学习的算法来关联指示所述外科场地的所述至少一部分中的移动粒子的信息。
通过上述示例的方式，特别是在示例1、14和21中，系统能够被动态地重新配置为对所接收的信息执行特定变换，并且由此提供指示外科场地中的移动粒子的信息，该信息与特定手术、临床情形或临床设置最相关或最适合。以举例的方式，第一变换可包括适用于许多手术的一般化变换。基于输入，现场可编程门阵列能够被重新配置为实现第二变换，该第二变换可针对特定手术、组织类型或根据特定用户或临床医师的优选实践而进一步定制。
通过上述示例，特别是在示例2、28和29中，与现场可编程门阵列远程地布置的第二处理器接收关于移动粒子的信息，并且基于该信息将第二配置发送到第一处理器，该第一处理器能够操作以重新配置现场可编程门阵列。以这种方式，可以远程监测实时信息，并且可以根据成像的外科场地的状态利用更适当的变换来动态地更新现场可编程门阵列。此外，因为这种监测可能是计算密集型的，所以使用与第一处理器分离的第二处理器是有利的，以便避免在确定哪种变换最合适并发送相关配置时中断系统的正常运行。
通过以上示例，特别是在示例9中，比较可提供关于外科场地内的移动粒子的信息中的趋势的上下文。这种比较和趋势可用于通知用户或临床医生的决定。例如，它可以在特定手术期间向用户或临床医生提供患者状况的总体轨迹中的重要上下文，而仅从实时瞬时测量来看可能并不明显。
通过以上示例，特别是在示例12和20中，系统可动态地重新配置现场可编程门阵列以执行适于手术的特定阶段或响应于异常事件的变换。这减少了用户或临床医生选择最适当变换的负担，继而缩短了手术持续时间。此外，这有助于确保用户或临床医生必须根据临床情况从外科场地传递最相关的信息，从而提高患者安全性。
通过上述示例，特别是在示例13和20中，可以向用户或临床医生呈现在严重出血事件的情况下与他们最相关的信息。在这种情况下，临床医生必须能够快速行动，并且具有来自外科场地的相关信息。由于响应于所识别的事件(而不是例如用户选择)而重新配置现场可编程门阵列，所以临床医生或用户可以更快速地关注事件，从而改善临床结果。
通过上述示例，特别是在示例10、19和22中，功能层可使得现场可编程门阵列能够实现特定变换，该特定变换可更适合于特定手术、组织类型或外科医生的偏好。通过将该层与用户相关联，适于某些手术的特定功能可仅提供给需要这种功能或被授权执行此类手术的那些用户。通过将该层与特定器械相关联，适于某些手术或特定临床环境的功能可为设计用于此类手术或环境的器械提供。因此可提高利用该系统执行的手术的安全性。此外，由于系统的功能将针对特定环境或用户而定制，因此手术的持续时间可缩短，从而减少用户在手术期间选择适当功能的负担。
附图说明
图1是示例性计算机实现的交互式外科系统的框图。
图2是用于在手术室中执行外科手术的示例性外科系统。
图3是与可视化系统、机器人系统和智能器械配对的示例性外科集线器。
图4示出了示例性外科数据网络，该外科数据网络包括模块化通信集线器，该模块化通信集线器被配置成能够将位于医疗设施的一个或多个手术室中或医疗设施中专门为外科配备的任何房间的模块化装置连接到云。
图5示出了示例性计算机实现的交互式外科系统。
图6示出了包括耦接到模块化控制塔的多个模块的示例性外科集线器。
图7示出了外科器械或工具的示例性控制系统的逻辑图。
图8示出了包括可被激活以执行各种功能的多个马达的示例性外科器械或工具。
图9示出了示例性态势感知外科系统的图。
图10示出了例示性外科手术的时间线以及外科集线器可从外科手术的每个步骤处检测到的数据得出的推论。
图11是示例性计算机实现的交互式外科系统的框图。
图12是示出了示例性计算机实现的交互式外科系统的功能架构的框图。
图13示出了示例性计算机实现的交互式外科系统的框图，该交互式外科系统被配置成能够自适应地生成用于模块化装置的控制程序更新。
图14示出了示例性外科系统，该示例性外科系统包括具有控制器和马达的柄部、可释放地耦接到柄部的适配器和可释放地耦接到适配器的加载单元。
图15A和图15B分别示出了用于确定操作模式的示例性流程和用于改变操作模式的示例性功能框图。
图16A至图16D示出了示例性可视化系统。
图17A至图17F分别示出了可结合到示例性可视化系统中的多个激光发射器、具有拜耳滤色器图案的图像传感器的照明、用于多个帧的像素阵列的操作的图形表示、色度和亮度帧的操作序列的示例的示意图、传感器和发射器图案的示例，以及像素阵列的操作的图形表示。
图18示出了用于NIR光谱学的示例性仪器。
图19示出了用于基于傅里叶变换红外成像确定NIRS的仪器的示例。
图20A至20C示出了从移动血细胞散射的光的波长的变化。
图21示出了可用于检测从组织的部分散射的激光的多普勒频移的示例性仪器。
图22和图23示出了投射在具有表面下结构的组织上的光的示例性光学效果。
图24A至图24D示出了基于各种激光波长下的激光多普勒分析对组织深度处的移动血细胞的检测。
图25示出了使用多普勒成像来检测表面下血管的存在的示例。
图26示出了由于血细胞流过表面下血管而导致的蓝光的多普勒频移。
图27示出了深层表面下血管的示例性定位。
图28示出了浅层表面下血管的示例性定位。
图29示出了包括表面图像和表面下血管图像的示例性合成图像。
图30示出了用于确定一块组织中的表面特征的深度的示例性方法。
图31A示出了示例性可视化系统，图31B示出了具有两个传感器模块的示例性激光传感器，图31C是用于多个帧的像素阵列的示例性操作的图形表示。
图32示出了用于确定操作模式的示例性方法。
图33示出了用于向用户显示实时和趋势信息的示例性方法。
图34描绘了显示实时和/或趋势信息的示例性用户界面。
图35描绘了示例性升级框架。
图36示出了用于重新配置现场可编程门阵列的示例性方法。
具体实施方式
外科集线器可以与显示来自腹腔镜的图像和来自一个或多个其他智能装置的信息的一个或多个装置进行协作交互。集线器可以具有使用算法或控制程序与这些多个显示器交互的能力，该算法或控制程序使得能够组合显示器并控制分布在与集线器通信的多个显示器上的数据。
参见图1，计算机实现的交互式外科系统100可包括一个或多个外科系统102和基于云的系统(例如，可包括耦接到存储装置105的远程服务器113的云104)。每个外科系统102可包括与云104通信的至少一个外科集线器106，该云可包括远程服务器113。在一个示例中，如图1中所示，外科系统102包括可视化系统108、机器人系统110和手持式智能外科器械112，它们被配置成能够彼此通信并且/或者与集线器106通信。在一些方面，外科系统102可包括M数量的集线器106、N数量的可视化系统108、O数量的机器人系统110和P数量的手持式智能外科器械112，其中M、N、O和P可为大于或等于一的整数。
在各种方面，可视化系统108可包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列、以及一个或多个显示器，它们相对于无菌区进行策略布置，如图2中所示。在一个方面，可视化系统108可包括用于HL7、PACS和EMR的界面。可视化系统108的各种部件在2017年12月28日提交的名称为“INTERACTIVE SURGICAL PLATFORM”的美国临时专利申请序列62/611,341号的标题“Advanced Imaging Acquisition Module”下，以及2018年12月4日提交的名称为“METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE ANDDISPLAY”的美国专利申请US 2019-0200844 A1号中有所描述，这些专利申请的公开内容全文以引用方式并入本文。
如图2中所示，主显示器119被定位在无菌区中，以对在手术台114处的操作者可见。此外，可视化塔111被定位在无菌区之外。可视化塔111可包括彼此背离的第一非无菌显示器107和第二非无菌显示器109。由集线器106引导的可视化系统108被配置成能够利用显示器107、109和119来将信息流协调到无菌区内侧和外侧的操作者。例如，集线器106可使可视化系统108在非无菌显示器107或109上显示由成像装置124记录的外科部位的快照，同时保持外科部位在主显示器119上的实时馈送。非无菌显示器107或109上的快照可允许非无菌操作者例如执行与外科手术相关的诊断步骤。
在一个方面，集线器106可还被配置成能够将由非无菌操作者在可视化塔111处输入的诊断输入或反馈路由至无菌区内的主显示器119，其中可由手术台处的无菌操作者观察到该诊断输入或反馈。在一个示例中，输入可以是对显示在非无菌显示器107或109上的快照的修改形式，其可通过集线器106路由到主显示器119。
参见图2，外科器械112作为外科系统102的一部分在外科手术中使用。集线器106还可被配置成能够协调流向外科器械112的显示器的信息流。例如，在2017年12月28日提交的名称为“INTERACTIVE SURGICAL PLATFORM”的美国临时专利申请序列号62/611,341号中，以及在2018年12月4日提交的名称为“METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE AND DISPLAY”的美国专利申请公开US 2019-0200844 A1号中，这些专利申请的公开内容以引用方式并入本文。由非无菌操作者在可视化塔111处输入的诊断输入或反馈可由集线器106路由至无菌区内的外科器械显示器115，其中外科器械112的操作者可观察到该输入或反馈。例如，适合与外科系统102一起使用的示例性外科器械在标题“SurgicalInstrument Hardware”下、在2017年12月28日提交的名称为“INTERACTIVE SURGICALPLATFORM”的美国临时专利申请序列号62/611,341号中，以及在2018年12月4日提交的名称为“METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE AND DISPLAY”的美国专利申请公开US 2019-0200844A1号中有所描述，这些专利申请的公开内容全文以引用方式并入本文。
图2示出了用于对平躺在外科手术室116中的手术台114上的患者执行外科手术的外科系统102的示例。机器人系统110可在外科手术中用作外科系统102的一部分。机器人系统110可包括外科医生的控制台118、患者侧推车120(外科机器人)和外科机器人集线器122。当外科医生通过外科医生的控制台118观察外科部位时，患者侧推车120可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具117。外科部位的图像可通过医学成像装置124获得，该医学成像装置可由患者侧推车120操纵以定向成像装置124。机器人集线器122可用于处理外科部位的图像，以随后通过外科医生的控制台118显示给外科医生。
其他类型的机器人系统可容易地适于与外科系统102一起使用。适用于本公开的机器人系统和外科工具的各种示例在提交于2018年12月4日的名称为“METHOD OF ROBOTICHUB COMMUNICATION,DETECTION,AND CONTROL”的美国专利申请公布US 2019-0201137A1号(美国专利申请16/209,407号)中有所描述，该申请的公开内容全文以引用方式并入本文。
由云104执行并且适用于本公开的基于云的分析的各种示例在提交于2018年12月4日的名称为“METHOD OF CLOUD BASED DATA ANALYTICS FOR USE WITH THE HUB”的美国专利申请公布US 2019-0206569A1号(美国专利申请16/209,403号)中有所描述，该申请的公开内容全文以引用方式并入本文。
在各种方面，成像装置124可包括至少一个图像传感器和一个或多个光学部件。合适的图像传感器可包括但不限于电荷耦接装置(CCD)传感器和互补金属氧化物半导体(CMOS)传感器。
成像装置124的光学部件可包括一个或多个照明源和/或一个或多个透镜。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科场地反射或折射的光，包括从组织和/或外科器械反射或折射的光。
一个或多个照明源可被配置成能够辐射可见光谱中的电磁能以及不可见光谱。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(即，可被其检测)的那部分，并且可被称为可见光或简单光。典型的人眼将对空气中约380nm至约750nm的波长作出响应。
不可见光谱(例如，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分(即，低于约380nm且高于约750nm的波长)。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(IR)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。
在各种方面，成像装置124被配置用于微创手术中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。
该成像装置可采用多光谱监测来辨别形貌和底层结构。多光谱图像是捕获跨电磁波谱的特定波长范围内的图像数据的图像。可通过滤波器或通过使用对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如IR和紫外。光谱成像可允许提取人眼未能用其红色，绿色和蓝色的受体捕获的附加信息。多光谱成像的使用在提交于2018年12月4日的名称为“METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE ANDDISPLAY”的美国专利申请公布US 2019-0200844 A1号(美国专利申16/209,385号)中更详细地描述，该申请的公开内容全文以引用方式并入本文。在完成外科任务以对处理过的组织执行一个或多个先前所述测试之后，多光谱监测可以是用于重新定位外科场地的有用工具。不言自明的是，在任何外科期间都需要对手术室和外科设备进行严格灭菌。在“外科室”(即，手术室或治疗室)中所需的严格的卫生和灭菌条件需要所有医疗装置和设备的最高可能的无菌性。该灭菌过程的一部分是需要对接触患者或穿透无菌区的任何物质进行灭菌，包括成像装置124及其附接件和部件。应当理解，无菌区可被认为是被认为不含微生物的指定区域，诸如在托盘内或无菌毛巾内，或者无菌区可被认为是已准备用于外科规程的患者周围的区域。无菌区可包括被恰当地穿着的擦洗的团队成员，以及该区域中的所有设备和固定装置。
现在参考图3，集线器106被描绘为与可视化系统108、机器人系统110和手持式智能外科器械112通信。集线器106包括集线器显示器135、成像模块138、发生器模块140、通信模块130、处理器模块132、存储阵列134和手术室标测模块133。在某些方面，如图3中所示，集线器106还包括排烟模块126和/或抽吸/冲洗模块128。在外科规程期间，用于密封和/或切割的对组织的能量施加通常与排烟、抽吸过量流体和/或冲洗组织相关联。来自不同来源的流体管线、功率管线和/或数据管线通常在外科规程期间缠结。在外科规程期间解决该问题可丢失有价值的时间。断开管线可需要将管线与其相应的模块断开连接，这可需要重置模块。集线器模块化壳体136提供用于管理功率管线、数据管线和流体管线的统一环境，这减小了此类管线之间缠结的频率。本公开的各方面提供了用于外科规程中的外科集线器，该外科规程涉及将能量施加到外科部位处的组织。外科集线器包括集线器壳体和能够可滑动地接纳在集线器壳体的对接底座中的组合发生器模块。对接底座包括数据触点和功率触点。组合发生器模块包括座置在单个单元中的超声能量发生器部件、双极RF能量发生器部件和单极RF能量发生器部件中的两个或更多个。在一个方面，组合发生器模块还包括排烟部件，用于将组合发生器模块连接到外科器械的至少一根能量递送缆线、被构造成能够排出通过向组织施加治疗能量而产生的烟雾、流体和/或颗粒的至少一个排烟部件、以及从远程外科部位延伸至排烟部件的流体管线。在一个方面，流体管线是第一流体管线，并且第二流体管线从远程外科部位延伸至可滑动地接纳在集线器壳体中的抽吸和冲洗模块。在一个方面，集线器壳体包括流体接口。某些外科规程可需要将多于一种能量类型施加到组织。一种能量类型可更有利于切割组织，而另一种不同的能量类型可更有利于密封组织。例如，双极发生器可用于密封组织，而超声发生器可用于切割密封的组织。本公开的各方面提供了一种解决方案，其中集线器模块化壳体136被构造成能够容纳不同的发生器，并且有利于它们之间的交互式通信。集线器模块化壳体136的优点之一是使得能够快速地移除和/或更换各种模块。本公开的方面提供了在涉及将能量施加到组织的外科规程中使用的模块化外科壳体。模块化外科壳体包括第一能量发生器模块，该第一能量发生器模块被配置成能够生成用于施加到组织的第一能量，和第一对接底座，该第一对接底座包括第一对接端口，该第一对接端口包括第一数据和功率触点，其中第一能量发生器模块可滑动地运动成与该功率和数据触点电接合，并且其中第一能量发生器模块可滑动地运动出与第一功率和数据触点电接合。对上文进行进一步描述，模块化外科壳体还包括第二能量发生器模块，该第二能量发生器模块被构造成能够生成不同于第一能量的第二能量以用于施加到组织，和第二对接底座，该第二对接底座包括第二对接端口，该第二对接端口包括第二数据和功率触点，其中第二能量发生器模块可滑动地运动成与功率和数据触点电接合，并且其中第二能量发生器可滑动地运动出于第二功率和数据触点的电接触。此外，模块化外科壳体还包括在第一对接端口和第二对接端口之间的通信总线，其被构造成能够有利于第一能量发生器模块和第二能量发生器模块之间的通信。参考图3，本公开的各方面被呈现为集线器模块化壳体136，其允许发生器模块140、排烟模块126和抽吸/冲洗模块128的模块化集成。集线器模块化壳体136还有利于模块140、126、128之间的交互式通信。发生器模块140可为具有集成的单极部件、双极部件和超声部件的发生器模块，该部件被支撑在可滑动地插入到集线器模块化壳体136中的单个外壳单元中。发生器模块140可被配置成能够连接到单极装置142、双极装置144和超声装置146。另选地，发生器模块140可包括通过集线器模块化壳体136进行交互的一系列单极发生器模块、双极发生器模块和/或超声发生器模块。集线器模块化壳体136可被配置成能够有利于多个发生器的插入和对接到集线器模块化壳体136中的发生器之间的交互通信，使得发生器将充当单个发生器。
图4示出了包括模块化通信集线器203的外科数据网络201，该模块化通信集线器被配置成能够将位于医疗设施的一个或多个手术室中的模块化装置或专门配备用于外科操作的医疗设施中的任何房间连接到基于云的系统(例如，可包括耦接到存储装置205的远程服务器213的云204)。在一个方面，模块化通信集线器203包括与网络路由器通信的网络集线器207和/或网络交换机209。模块化通信集线器203还可耦接到本地计算机系统210以提供本地计算机处理和数据操纵。外科数据网络201可被配置为无源的、智能的或交换的。无源外科数据网络充当数据的管道，从而使得其能够从一个装置(或区段)转移到另一个装置(或区段)以及云计算资源。智能外科数据网络包括附加特征部，以使得能够监测穿过外科数据网络的流量并配置网络集线器207或网络交换机209中的每个端口。智能外科数据网络可被称为可管理的集线器或交换机。交换集线器读取每个包的目标地址，并且然后将包转发到正确的端口。
位于手术室中的模块化装置1a-1n可耦接到模块化通信集线器203。网络集线器207和/或网络交换机209可耦接到网络路由器211以将装置1a-1n连接至云204或本地计算机系统210。与装置1a-1n相关联的数据可经由路由器传输到基于云的计算机，用于远程数据处理和操纵。与装置1a-1n相关联的数据也可被传输至本地计算机系统210以用于本地数据处理和操纵。位于相同手术室中的模块化装置2a-2m也可耦接到网络交换机209。网络交换机209可耦接到网络集线器207和/或网络路由器211以将装置2a-2m连接至云204。与装置2a-2n相关联的数据可经由网络路由器211传输到云204以用于数据处理和操纵。与装置2a-2m相关联的数据也可被传输至本地计算机系统210以用于本地数据处理和操纵。
应当理解，可通过将多个网络集线器207和/或多个网络交换机209与多个网络路由器211互连来扩展外科数据网络201。模块化通信集线器203可被包含在模块化控制塔中，该模块化控制塔被配置成能够接纳多个装置1a-1n/2a-2m。本地计算机系统210也可包含在模块化控制塔中。模块化通信集线器203连接到显示器212以显示例如在外科规程期间由装置1a-1n/2a-2m中的一些获得的图像。在各种方面，装置1a-1n/2a-2m可包括例如各种模块，诸如耦接到内窥镜的成像模块138、耦接到基于能量的外科装置的发生器模块140、排烟模块126、抽吸/冲洗模块128、通信模块130、处理器模块132、存储阵列134、连接到显示器的外科装置、和/或可连接到外科数据网络201的模块化通信集线器203的其他模块化装置中的非接触传感器模块。
在一个方面，外科数据网络201可包括将装置1a-1n/2a-2m连接至云的网络集线器、网络交换机和网络路由器的组合。耦接到网络集线器或网络交换机的装置1a-1n/2a-2m中的任何一个或全部可实时收集数据并将数据传输到云计算机中以进行数据处理和操纵。应当理解，云计算依赖于共享计算资源，而不是使用本地服务器或个人装置来处理软件应用程序。可使用“云”一词作为“因特网”的隐喻，尽管该术语不受此限制。因此，本文可使用术语“云计算”来指“基于互联网的计算的类型”，其中将不同的服务(诸如服务器、存储器和应用程序)递送至位于外科室(例如，固定、运动、临时或现场手术室或空间)中的模块化通信集线器203和/或计算机系统210以及通过互联网连接至模块化通信集线器203和/或计算机系统210的装置。云基础设施可由云服务提供方维护。在这种情况下，云服务提供方可以是协调位于一个或多个手术室中的装置1a-1n/2a-2m的使用和控制的实体。云计算服务可基于由智能外科器械、机器人和位于手术室中的其他计算机化装置所收集的数据来执行大量计算。集线器硬件使得多个装置或连接能够连接到与云计算资源和存储器通信的计算机。
对由装置1a-1n/2a-2m所收集的数据应用云计算机数据处理技术，外科数据网络可提供改善的外科结果，减小的成本和改善的患者满意度。可采用装置1a-1n/2a-2m中的至少一些来观察组织状态以评估在组织密封和切割规程之后密封的组织的渗漏或灌注。可采用装置1a-1n/2a-2m中的至少一些来识别病理学，诸如疾病的效应，使用基于云的计算检查包括用于诊断目的的身体组织样本的图像的数据。这可包括组织和表型的定位和边缘确认。可采用装置1a-1n/2a-2m中的至少一些使用与成像装置和技术(诸如重叠由多个成像装置捕获的图像)集成的各种传感器来识别身体的解剖结构。由装置1a-1n/2a-2m收集的数据(包括图像数据)可被传输到云204或本地计算机系统210或两者以用于数据处理和操纵，包括图像处理和操纵。可分析数据以通过确定是否可继续进行进一步治疗(诸如内窥镜式干预、新兴技术、靶向辐射、靶向干预和精确机器人对组织特异性位点和状况的应用来改善外科规程结果。此类数据分析可进一步采用结果分析处理，并且使用标准化方法可提供有益反馈以确认外科治疗和外科医生的行为，或建议修改外科治疗和外科医生的行为。
手术室装置1a-1n可通过有线信道或无线信道连接至模块化通信集线器203，具体取决于装置1a-1n至网络集线器的配置。在一个方面，网络集线器207可被实现为在开放式系统互连(OSI)模型的物理层上工作的本地网络广播装置。该网络集线器可提供与位于同一手术室网络中的装置1a-1n的连接。网络集线器207可以包的形式收集数据，并以半双工模式将其发送至路由器。网络集线器207可不存储用于传输装置数据的任何媒体访问控制/互联网协议(MAC/IP)。装置1a-1n中的仅一个可一次通过网络集线器207发送数据。网络集线器207可没有关于在何处发送信息并在每个连接上广播所有网络数据以及通过云204向远程服务器213(图4)广播所有网络数据的路由表或智能。网络集线器207可以检测基本网络错误诸如冲突，但将所有信息广播到多个端口可带来安全风险并导致瓶颈。
手术室装置2a-2m可通过有线信道或无线信道连接到网络交换机209。网络交换机209在OSI模型的数据链路层中工作。网络交换机209可为用于将位于相同手术室中的装置2a-2m连接到网络的多点广播装置。网络交换机209可以帧的形式向网络路由器211发送数据并且以全双工模式工作。多个装置2a-2m可通过网络交换机209同时发送数据。网络交换机209存储并使用装置2a-2m的MAC地址来传输数据。
网络集线器207和/或网络交换机209可耦接到网络路由器211以连接到云204。网络路由器211在OSI模型的网络层中工作。网络路由器211产生用于将从网络集线器207和/或网络交换机211接收的数据包发射至基于云的计算机资源的路由，以进一步处理和操纵由装置1a-1n/2a-2m中的任一者或所有收集的数据。可采用网络路由器211来连接位于不同位置的两个或更多个不同的网络，诸如例如同一医疗设施的不同手术室或位于不同医疗设施的不同手术室的不同网络。网络路由器211可以包的形式向云204发送数据并且以全双工模式工作。多个装置可以同时发送数据。网络路由器211使用IP地址来传输数据。
在一个示例中，网络集线器207可被实现为USB集线器，其允许多个USB装置连接到主机。USB集线器可以将单个USB端口扩展到多个层级，以便有更多端口可用于将装置连接到主机系统计算机。网络集线器207可包括用于通过有线信道或无线信道接收信息的有线或无线能力。在一个方面，无线USB短距离、高带宽无线无线电通信协议可用于装置1a-1n和位于手术室中的装置2a-2m之间的通信。
在示例中，手术室装置1a-1n/2a-2m可经由蓝牙无线技术标准与模块化通信集线器203通信，以用于在短距离(使用ISM频带中的2.4至2.485GHz的短波长UHF无线电波)从固定装置和运动装置交换数据以及构建个人局域网(PAN)。手术室装置1a-1n/2a-2m可经由多种无线或有线通信标准或协议与模块化通信集线器203通信，包括但不限于Wi-Fi(IEEE802.11系列)、WiMAX(IEEE 802.16系列)、IEEE 802.20、新无线电(NR)、长期演进(LTE)和Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、及其以太网衍生物，以及指定为3G、4G、5G和以上的任何其他无线和有线协议。计算模块可包括多个通信模块。例如，第一通信模块可专用于较短距离的无线通信诸如Wi-Fi和蓝牙，并且第二通信模块可专用于较长距离的无线通信，诸如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO等。
模块化通信集线器203可用作手术室装置1a-1n/2a-2m中的一者或全部的中心连接，并且可处理被称为帧的数据类型。帧可携带由装置1a-1n/2a-2m生成的数据。当模块化通信集线器203接收到帧时，其被放大并发射至网络路由器211，该网络路由器通过使用如本文所述的多个无线或有线通信标准或协议将数据传输到云计算资源。
模块化通信集线器203可用作独立装置或连接到兼容的网络集线器和网络交换机以形成更大的网络。模块化通信集线器203通常可易于安装、配置和维护，使得其成为对手术室装置1a-1n/2a-2m进行联网的良好选项。
图5示出了由计算机实现的交互式外科系统200。由计算机实现的交互式外科系统200在许多方面类似于由计算机实现的交互式外科系统100。例如，由计算机实现的交互式外科系统200包括在许多方面类似于外科系统102的一个或多个外科系统202。每个外科系统202包括与可包括远程服务器213的云204通信的至少一个外科集线器206。在一个方面，由计算机实现的交互式外科系统200包括模块化控制塔236，该模块化控制塔连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。如图6中所示，模块化控制塔236包括耦接到计算机系统210的模块化通信集线器203。
如图5的示例中所示，模块化控制塔236可耦接到成像模块238(该成像模块可耦接到内窥镜239)、可耦接到能量装置241的发生器模块240、排烟器模块226、抽吸/冲洗模块228、通信模块230、处理器模块232、存储阵列234、任选地耦接到显示器237的智能装置/器械235和非接触传感器模块242。手术室装置可经由模块化控制塔236耦接到云计算资源和数据存储。机器人集线器222也可连接到模块化控制塔236和云计算资源。装置/器械235、可视化系统208等等可经由有线或无线通信标准或协议耦接到模块化控制塔236，如本文所述。模块化控制塔236可耦接到集线器显示器215(例如，监测器、屏幕)以显示和叠加从成像模块、装置/器械显示器和/或其他可视化系统208接收的图像。集线器显示器还可结合图像和叠加图像来显示从连接到模块化控制塔的装置接收的数据。
图6示出了包括耦接到模块化控制塔236的多个模块的外科集线器206。模块化控制塔236可包括模块化通信集线器203(例如，网络连接性装置)和计算机系统210，以提供例如本地处理、可视化和成像。如图6中所示，模块化通信集线器203可以分层配置连接以扩展可连接到模块化通信集线器203的模块(例如，装置)的数量，并将与模块相关联的数据传输至计算机系统210、云计算资源或两者。如图6中所示，模块化通信集线器203中的网络集线器/交换机中的每一者可包括三个下游端口和一个上游端口。上游网络集线器/交换机可连接至处理器以提供与云计算资源和本地显示器217的通信连接。与云204的通信可通过有线或无线通信信道进行。
外科集线器206可采用非接触传感器模块242来测量手术室的尺寸，并且使用超声或激光型非接触测量装置来生成外科室的标测图。基于超声的非接触传感器模块可通过发射一阵超声波并在其从手术室的围墙弹回时接收回波来扫描手术室，如在2017年12月28日提交的名称为“INTERACTIVE SURGICAL PLATFORM”的美国临时专利申请序列62/611,341号中的标题“Surgical Hub Spatial Awareness Within an Operating Room”下、2018年12月4日提交的名称为“METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE AND DISPLAY”的美国专利申请公开US 2019-0200844 A1号中所述，这些专利申请的公开内容全文以引用方式并入本文，其中传感器模块被配置为确定手术室的大小并调节蓝牙配对距离限制。基于激光的非接触传感器模块可通过发射激光脉冲、接收从手术室的围墙弹回的激光脉冲，以及将发射脉冲的相位与所接收的脉冲进行比较来扫描手术室，以确定手术室的大小并调整蓝牙配对距离限制。
计算机系统210可包括处理器244和网络接口245。处理器244可经由系统总线耦接到通信模块247、存储装置248、存储器249、非易失性存储器250和输入/输出接口251。系统总线可为若干类型的总线结构中的任一者，该总线结构包括存储器总线或存储器控制器、外围总线或外部总线、和/或使用任何各种可用总线架构的本地总线，包括但不限于9位总线、工业标准架构(ISA)、微型Charmel架构(MSA)、扩展ISA(EISA)、智能驱动电子器件(IDE)、VESA本地总线(VLB)、外围部件互连(PCI)、USB、高级图形端口(AGP)、个人计算机存储卡国际协会总线(PCMCIA)、小型计算机系统接口(SCSI)或任何其他外围总线。
控制器244可为任何单核或多核处理器，诸如由德克萨斯器械公司(TexasInstruments)提供的商品名为ARM Cortex的那些处理器。在一个方面，处理器可为购自例如德克萨斯器械公司(Texas Instruments)LM4F230H5QR ARM Cortex-M4F处理器核心，其包括256KB的单循环闪存或其他非易失性存储器(高达40MHz)的片上存储器、用于改善40MHz以上的执行的预取缓冲器、32KB单循环序列随机存取存储器(SRAM)、装载有软件的内部只读存储器(ROM)、2KB电可擦除可编程只读存储器(EEPROM)、和/或一个或多个脉宽调制(PWM)模块、一个或多个正交编码器输入(QEI)模拟、具有12个模拟输入信道的一个或多个12位模数转换器(ADC)，其细节可见于产品数据表。
在一个方面，处理器244可包括安全控制器，该安全控制器包括两个基于控制器的系列(诸如TMS570和RM4x)，已知同样由德克萨斯器械公司(Texas Instruments)生产的商品名为Hercules ARM Cortex R4。安全控制器可被配置为专门用于IEC 61508和ISO 26262安全关键应用等等，以提供高级集成安全特征部，同时递送可定标的执行、连接性和存储器选项。
系统存储器可包括易失性存储器和非易失性存储器。基本输入/输出系统(BIOS)(包含诸如在启动期间在计算机系统内的元件之间传输信息的基本例程，)存储在非易失性存储器中。例如，非易失性存储器可包括ROM、可编程ROM(PROM)、电可编程ROM(EPROM)、EEPROM或闪存。易失存储器包括充当外部高速缓存存储器的随机存取存储器(RAM)。此外，RAM可以多种形式可用，诸如SRAM、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)増强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)和直接Rambus RAM(DRRAM)。
计算机系统210还可包括可移除/不可移除的、易失性/非易失性的计算机存储介质，诸如磁盘存储器。磁盘存储器可包括但不限于诸如装置如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-60驱动器、闪存存储卡或内存条。此外，磁盘存储器可包括单独地或与其他存储介质组合的存储介质，包括但不限于光盘驱动器诸如光盘ROM装置(CD-ROM)、光盘可记录驱动器(CD-R驱动器)、光盘可重写驱动器(CD-RW驱动器)或数字通用磁盘ROM驱动器(DVD-ROM)。为了有利于磁盘存储装置与系统总线的连接，可使用可移除或非可移除接口。
应当理解，计算机系统210可包括充当用户与在合适的操作环境中描述的基本计算机资源之间的中介的软件。此类软件可包括操作系统。可存储在磁盘存储装置上的操作系统可用于控制并分配计算机系统的资源。系统应用程序可利用操作系统通过存储在系统存储器或磁盘存储装置中的程序模块和程序数据来管理资源。应当理解，本文所述的各种部件可用各种操作系统或操作系统的组合来实现。
用户可通过耦接到I/O接口251的输入装置将命令或信息输入到计算机系统210中。输入装置可包括但不限于指向装置，诸如鼠标、触控球、触笔、触摸板、键盘、麦克风、操纵杆、游戏垫、卫星盘、扫描器、电视调谐器卡、数字相机、数字摄像机、web相机等。这些和其他输入装置经由(一个或多个)接口端口通过系统总线连接到处理器。(一个或多个)接口端口包括例如串口、并行端口、游戏端口和USB。(一个或多个)输出装置使用与(一个或多个)输入装置相同类型的端口。因此，例如，USB端口可用于向计算机系统提供输入并将信息从计算机系统输出到输出装置。提供了输出适配器来说明在其他输出装置中可存在可能需要特殊适配器的一些输出装置，如监测器、显示器、扬声器和打印机。输出适配器以举例的方式可包括但不限于提供输出装置和系统总线之间的连接装置的视频和声卡。应当指出，其他装置或装置诸如远程计算机的系统可提供输入能力和输出能力两者。
计算机系统210可使用与一个或多个远程计算机(诸如云计算机)或本地计算机的逻辑连接在联网环境中操作。(一个或多个)远程云计算机可为个人计算机、服务器、路由器、网络PC、工作站、基于微处理器的器具、对等装置或其他公共网络节点等，并且通常包括相对于计算机系统所述的元件中的许多或全部。为简明起见，仅示出了具有(一个或多个)远程计算机的存储器存储装置。远程计算机可通过网络接口在逻辑上连接到计算机系统，并且然后经由通信连接物理连接。网络接口可涵盖通信网络诸如局域网(LAN)和广域网(WAN)。LAN技术可包括光纤分布式数据接口(FDDI)、铜分布式数据接口(CDDI)、以太网/IEEE 802.3、令牌环/IEEE 802.5等。WAN技术可包括但不限于点对点链路、电路交换网络如综合业务数字网络(ISDN)及其变体、分组交换网络和数字用户管线(DSL)。
在各种方面，图6的计算机系统210、成像模块238和/或可视化系统208、和/或图5至图6的处理器模块232可包括图像处理器、图像处理引擎、媒体处理器、或用于处理数字图像的任何专用数字信号处理器(DSP)。图像处理器可采用具有单个指令、多数据(SIMD)或多指令、多数据(MIMD)技术的并行计算以提高速度和效率。数字图像处理引擎可执行一系列任务。图像处理器可为具有多核处理器架构的芯片上的系统。
通信连接可指用于将网络接口连接到总线的硬件/软件。虽然示出了通信连接以便在计算机系统内进行例示性澄清，但其也可位于计算机系统210外部。连接到网络接口所必需的硬件/软件仅出于例示性目的可包括内部和外部技术，诸如调制解调器，包括常规的电话级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器和以太网卡。
图7示出了根据本公开的一个或多个方面的外科器械或工具的控制系统470的逻辑图。系统470可包括控制电路。控制电路可包括微控制器461，该微控制器包括处理器462和存储器468。例如，传感器472、474、476中的一个或多个向处理器462提供实时反馈。由马达驱动器492驱动的马达482可操作地耦接可纵向运动的位移构件以驱动I形梁刀元件。跟踪系统480可被配置成能够确定纵向可运动的位移构件的位置。可将位置信息提供给处理器462，该处理器可被编程或配置为确定可纵向运动的驱动构件的位置以及击发构件、击发杆和I形梁刀元件的位置。附加马达可设置在工具驱动器接口处，以控制I形梁击发、闭合管行进、轴旋转和关节运动。显示器473可显示器械的多种操作条件并且可包括用于数据输入的触摸屏功能。显示在显示器473上的信息可叠加有经由内窥镜式成像模块获取的图像。
在一个方面，微处理器461可为任何单核或多核处理器，诸如已知的由德克萨斯器械公司(Texas Instruments)生产的商品名为ARM Cortex的那些。在一个方面，微控制器461可为购自例如德克萨斯器械公司(Texas Instruments)的LM4F230H5QR ARM Cortex-M4F处理器核心，其包括256KB的单循环闪存或其他非易失性存储器(高达40MHz)的片上存储器、用于改善高于40MHz的性能的预取缓冲器、32KB单循环SRAM、装载有软件的内部ROM、2KB电EEPROM、一个或多个PWM模块、一个或多个QEI模拟、具有12个模拟输入信道的一个或多个12位ADC，其细节可见于产品数据表。
在一个方面，微控制器461可包括安全控制器，该安全控制器包括两个基于控制器的系列(诸如TMS570和RM4x)，已知同样由德克萨斯器械公司(Texas Instruments)生产的商品名为Hercules ARM Cortex R4。安全控制器可被配置为专门用于IEC 61508和ISO26262安全关键应用等等，以提供高级集成安全特征部，同时递送可定标的执行、连接性和存储器选项。
可对控制器461进行编程以执行各种功能，诸如对刀和关节运动系统的速度和位置的精确控制。在一个方面，微控制器461可包括处理器462和存储器468。电动马达482可为有刷直流(DC)马达，其具有齿轮箱以及至关节运动或刀系统的机械链路。在一个方面，马达驱动器492可为可购自Allegro微系统公司(Allegro Microsystems,Inc)的A3941。其他马达驱动器可容易地被替换以用于包括绝对定位系统的跟踪系统480中。绝对定位系统的详细描述在2017年10月19日公布的标题为“SYSTEMS AND METHODS FOR CONTROLLING ASURGICAL STAPLING AND CUTTING INSTRUMENT”的美国专利申请公布2017/0296213号中有所描述，该专利申请全文以引用方式并入本文。
微控制器461可被编程为提供对位移构件和关节运动系统的速度和位置的精确控制。微控制器461可被配置成能够计算微控制器461的软件中的响应。可将计算的响应与实际系统的所测量响应进行比较，以获得“观察到的”响应，其用于实际反馈决定。观察到的响应可为有利的调谐值，该值使所模拟响应的平滑连续性质与所测量响应均衡，这可检测对系统的外部影响。
在一些方面，马达482可由马达驱动器492控制并可被外科器械或工具的击发系统采用。在各种形式中，马达482可为具有大约25,000RPM的最大旋转速度的有刷DC驱动马达。在一些示例中，马达482可包括无刷马达、无绳马达、同步马达、步进马达或任何其他合适的电动马达。马达驱动器492可包括例如包括场效应晶体管(FET)的H桥驱动器。马达482可通过可释放地安装到柄部组件或工具外壳的功率组件来供应功率，以用于向外科器械或工具供应控制功率。功率组件可包括电池，该电池可包括串联连接的、可用作功率源以为外科器械或工具提供功率的多个电池单元。在某些情况下，功率组件的电池单元可以是可替换的和/或可再充电的。在至少一个示例中，电池单元可为锂离子电池，其可耦接到功率组件并且可与功率组件分离。
马达驱动器492可为可购自Allegro微系统公司(Allegro Microsystems,Inc)的A3941。A3941 492可为全桥控制器，其用于与针对电感负载(诸如有刷DC马达)特别设计的外部N信道功率金属氧化物半导体场效应晶体管(MOSFET)一起使用。驱动器492可包括独特的电荷泵调整器，其可为低至7V的电池电压提供完整的(>10V)栅极驱动并且可允许A3941在低至5.5V的减小的栅极驱动下操作。可采用自举电容器来提供N信道MOSFET所需的上述电池供电电压。高边驱动装置的内部电荷泵可允许直流(100％占空比)操作。可使用二极管或同步整流在快衰减模式或慢衰减模式下驱动全桥。在慢衰减模式下，电流再循环可穿过高边或低边FET。可通过电阻器可调式空载时间保护功率FET不被击穿。综合诊断提供欠压、过热和功率桥故障的指示，并且可被配置成能够在大多数短路条件下保护功率MOSFET。其他马达驱动器可容易地被替换以用于包括绝对定位系统的跟踪系统480中。
跟踪系统480可包括根据本公开的一个方面的包括位置传感器472的受控马达驱动电路布置方式。用于绝对定位系统的位置传感器472可提供对应于位移构件的位置的独特位置信号。在一些示例中，位移构件可表示纵向可运动的驱动构件，其包括用于与齿轮减速器组件的对应驱动齿轮啮合接合的驱动齿的齿条。在一些示例中，位移构件可表示击发构件，该击发构件可被适配和配置为包括驱动齿的齿条。在一些示例中，位移构件可表示击发杆或I形梁，它们中的每一者均可被适配和配置为包括驱动齿的齿条。因此，如本文所用，术语位移构件可通常用于指外科器械或工具的任何可运动的构件诸如驱动构件、击发构件、击发杆、I形梁或可进行移位的任何元件。在一个方面，可纵向运动的驱动构件可耦接到击发构件、击发杆和I形梁。因此，绝对定位系统实际上可通过跟踪可纵向运动的驱动构件的线性位移来跟踪I形梁的线性位移。在各种方面，位移构件可耦接到适于测量线性位移的任何位置传感器472。因此，可纵向运动的驱动构件、击发构件、击发杆或I形梁或它们的组合可耦接到任何合适的线性位移传感器。线性位移传感器可包括接触式位移传感器或非接触式位移传感器。线性位移传感器可包括线性可变差分变压器(LVDT)、差分可变磁阻换能器(DVRT)、滑动电位计、包括可运动磁体和一系列线性布置的霍尔效应传感器的磁感测系统、包括固定磁体和一系列可运动的线性布置的霍尔效应传感器的磁感测系统、包括可运动光源和一系列线性布置的光电二极管或光电检测器的光学感测系统、包括固定光源和一系列可运动的线性布置的光电二极管或光电检测器的光学感测系统、或它们的任何组合。
电动马达482可包括可操作地与齿轮组件交接的可旋转轴，该齿轮组件与驱动齿的组或齿条啮合接合安装在位移构件上。传感器元件可以可操作地耦接到齿轮组件，使得位置传感器472元件的单次旋转对应于位移构件的一些线性纵向平移。传动装置和传感器的布置方式可经由齿条和小齿轮布置方式连接至线性致动器，或者经由直齿齿轮或其他连接连接至旋转致动器。功率源可为绝对定位系统供应功率，并且输出指示器可显示绝对定位系统的输出。位移构件可表示纵向可运动驱动构件，该纵向可运动驱动构件包括形成于其上的驱动齿的齿条，以用于与齿轮减速器组件的对应驱动齿轮啮合接合。位移构件可表示可纵向运动的击发构件、击发杆、I形梁或它们的组合。
与位置传感器472相关联的传感器元件的单次旋转可等同于位移构件的纵向线性位移d1，其中d1为在耦接到位移构件的传感器元件的单次旋转之后位移构件从点“a”运动到点“b”的纵向线性距离。可经由齿轮减速连接传感器布置方式，该齿轮减速使得位置传感器472针对位移构件的全行程仅完成一次或多次旋转。位置传感器472可针对位移构件的全行程完成多次旋转。
可单独或结合齿轮减速采用一系列开关(其中n为大于一的整数)以针对位置传感器472的多于一次旋转提供独特位置信号。开关的状态可被馈送回微控制器461，该微控制器应用逻辑以确定对应于位移构件的纵向线性位移d1+d2+…dn的独特位置信号。位置传感器472的输出被提供给微控制器461。该传感器布置方式的位置传感器472可包括磁性传感器、模拟旋转传感器(如电位计)、模拟霍尔效应元件的阵列，该霍尔效应元件的阵列输出位置信号或值的独特组合。
位置传感器472可包括任何数量的磁性感测元件，诸如例如根据它们是否测量磁场的总磁场或矢量分量而被分类的磁性传感器。用于产生上述两种类型磁性传感器的技术可涵盖物理学和电子学的多个方面。用于磁场感测的技术可包括探查线圈、磁通门、光泵、核旋、超导量子干涉仪(SQUID)、霍尔效应、各向异性磁电阻、巨磁电阻、磁性隧道结、巨磁阻抗、磁致伸缩/压电复合材料、磁敏二极管、磁敏晶体管、光纤、磁光，以及基于微机电系统的磁性传感器等等。
在一个方面，用于包括绝对定位系统的跟踪系统480的位置传感器472可包括磁性旋转绝对定位系统。位置传感器472可被实现为AS5055EQFT单片磁性旋转位置传感器，其可购自澳大利亚奥地利微电子公司(Austria Microsystems,AG)。位置传感器472与微控制器461进行交接以提供绝对定位系统。位置传感器472可为低电压和低功率部件，并且包括可位于磁体上方的位置传感器472的区域中的四个霍尔效应元件。在芯片上还可提供高分辨率ADC和智能功率管理控制器。可提供坐标旋转数字计算机(CORDIC)处理器(也被称为逐位法和Volder算法)以执行简单有效的算法来计算双曲线函数和三角函数，其仅需要加法、减法、数位位移和表格查找操作。角位置、报警位和磁场信息可通过标准串行通信接口(诸如串行外围接口(SPI)接口)被传输到微控制器461。位置传感器472可提供12或14位分辨率。位置传感器472可为以小QFN 16引脚4×4×0.85mm封装提供的AS5055芯片。
包括绝对定位系统的跟踪系统480可包括并且/或者可被编程以实现反馈控制器，诸如PID、状态反馈和自适应控制器。功率源将来自反馈控制器的信号转换为对系统的物理输入：在这种情况下为电压。其他示例包括电压、电流和力的PWM。除了由位置传感器472所测量的位置之外，可提供一个或多个其他传感器来测量物理系统的物理参数。在一些方面，一个或多个其他传感器可包括传感器布置方式，诸如在2016年5月24日发布的标题为“STAPLE CARTRIDGE TISSUE THICKNESS SENSOR SYSTEM”的美国专利9,345,481号中所述的那些，该专利全文以引用方式并入本文；2014年9月18日公布的标题为“STAPLECARTRIDGE TISSUE THICKNESS SENSOR SYSTEM”的美国专利申请公布2014/0263552号，该专利全文以引用方式并入本文；以及2017年6月20日提交的标题为“TECHNIQUES FORADAPTIVE CONTROL OF MOTOR VELOCITY OF A SURGICAL STAPLING AND CUTTINGINSTRUMENT”的美国专利申请序列15/628,175号，该专利申请全文以引用方式并入本文。在数字信号处理系统中，绝对定位系统耦接到数字数据采集系统，其中绝对定位系统的输出将具有有限分辨率和采样频率。绝对定位系统可包括比较和组合电路，以使用算法(诸如加权平均和理论控制环路)将计算响应与测量响应进行组合，该算法驱动计算响应朝向所测量的响应。物理系统的计算响应可将特性如质量、惯性、粘性摩擦、电感电阻考虑在内，以通过得知输入预测物理系统的状态和输出。
因此，绝对定位系统在器械上电时可提供位移构件的绝对位置，并且不使位移构件回缩或推进至如常规旋转编码器可需要的复位(清零或本位)位置，这些编码器仅对马达482采取的向前或向后的步骤数进行计数以推断装置致动器、驱动棒、刀等等的位置。
传感器474(诸如，例如应变仪或微应变仪)可被配置成能够测量端部执行器的一个或多个参数，诸如例如在夹持操作期间施加在砧座上的应变的振幅，该振幅可指示施加到砧座的闭合力。可将测得的应变转换成数字信号并提供给处理器462。另选地或除了传感器474之外，传感器476(诸如负载传感器)可以测量由闭合驱动系统施加到砧座的闭合力。传感器476诸如负载传感器可以测量在外科器械或工具的击发行程中施加到I形梁的击发力。I形梁被配置成能够接合楔形滑动件，该楔形滑动件被配置成能够使钉驱动器向上凸轮运动以将钉推出以与砧座变形接触。I形梁还可包括锋利切割刃，当通过击发杆向远侧推进I形梁时，该切割刃可用于切断组织。另选地，可以采用电流传感器478来测量由马达482消耗的电流。推进击发构件所需的力可对应于例如由马达482消耗的电流。可将测得的力转换成数字信号并提供给处理器462。
在一种形式中，应变仪传感器474可用于测量由端部执行器施加到组织的力。应变计可耦接到端部执行器以测量被端部执行器处理的组织上的力。用于测量施加到由端部执行器抓握的组织的力的系统可包括应变仪传感器474，诸如例如微应变仪，其可被配置成能够测量例如端部执行器的一个或多个参数。在一个方面，应变仪传感器474可测量在夹持操作期间施加到端部执行器的钳口构件上的应变的振幅或量值，这可指示组织压缩。可将测得的应变转换成数字信号并将其提供到微控制器461的处理器462。负载传感器476可测量用于操作刀元件例如以切割被捕获在砧座和钉仓之间的组织的力。可采用磁场传感器来测量捕获的组织的厚度。磁场传感器的测量值也可被转换成数字信号并提供给处理器462。
微控制器461可使用分别由传感器474、476测量的组织压缩、组织厚度和/或闭合端部执行器所需的力的测量值来表征击发构件的所选择的位置和/或击发构件的速度的对应值。在一种情况下，存储器468可存储可由微控制器461在评估中所采用的技术、公式和/或查找表。
外科器械或工具的控制系统470还可包括有线或无线通信电路以与模块化通信集线器203通信，如图5和图6中所示。
图8示出了包括可被激活以执行各种功能的多个马达的外科器械或工具。在某些情况下，第一马达可被激活以执行第一功能，第二马达可被激活以执行第二功能，第三马达可被激活以执行第三功能，第四马达可被激活以执行第四功能。在某些情况下，机器人外科器械600的多个马达可被单独地激活以导致端部执行器中的击发运动、闭合运动、和/或关节运动。击发运动、闭合运动、和/或关节运动可例如通过轴组件被传输到端部执行器。
在某些情况下，外科器械系统或工具可包括击发马达602。击发马达602可操作地耦接到击发马达驱动组件604，该击发马达驱动组件可被配置成能够将由马达602生成的击发运动传输到端部执行器，具体地用于使I形梁元件移位。在某些情况下，由马达602生成的击发运动可使例如钉从钉仓部署到由端部执行器捕获的组织内并且/或者使I形梁元件的切割刃被推进以切割所捕获的组织。I形梁元件可通过反转马达602的方向而回缩。
在某些情况下，外科器械或工具可包括闭合马达603。闭合马达603可以可操作地耦接到闭合马达驱动组件605，该闭合马达驱动组件被配置成能够将由马达603生成的闭合运动传输到端部执行器，具体地用于移置闭合管以闭合砧座并且压缩砧座和钉仓之间的组织。闭合运动可使例如端部执行器从打开配置转变成接近配置以捕获组织。端部执行器可通过反转马达603的方向而转变到打开位置。
在某些情况下，外科器械或工具可包括例如一个或多个关节运动马达606a、606b。马达606a、606b可以可操作地耦接到相应的关节运动马达驱动组件608a、608b，该关节运动马达驱动组件可被配置成能够将由马达606a、606b生成的关节运动传输到端部执行器。在某些情况下，关节运动可使端部执行器相对于轴进行关节运动，例如。
如本文所述，外科器械或工具可包括多个马达，该多个马达可被配置成能够执行各种独立功能。在某些情况下，外科器械或工具的多个马达可被单独地或独立地激活以执行一个或多个功能，而其他马达保持非活动的。例如，关节运动马达606a、606b可被激活以使端部执行器进行关节运动，而击发马达602保持非活动的。另选地，击发马达602可被激活以击发多个钉并且/或者推进切割边缘，而关节运动马达606保持非活动的。此外，闭合马达603可与击发马达602同时被激活，以使闭合管和I形梁元件朝远侧推进，如下文更详细地描述。
在某些情况下，外科器械或工具可包括公共控制模块610，该公共控制模块可与外科器械或工具的多个马达一起使用。在某些情况下，公共控制模块610每次可调节多个马达中的一个。例如，公共控制模块610可单独地耦接到外科器械的多个马达并且可从外科器械的多个马达分离。在某些情况下，外科器械或工具的多个马达可共用一个或多个公共控制模块诸如公共控制模块610。在某些情况下，外科器械或工具的多个马达可独立地和选择性地接合公共控制模块610。在某些情况下，公共控制模块610可从与外科器械或工具的多个马达中的一个交接切换到与外科器械或工具的多个马达中的另一个交接。
在至少一个示例中，公共控制模块610可在可操作地接合关节运动马达606a、606b和可操作地接合击发马达602或闭合马达603之间选择性地切换。在至少一个示例中，如图8中所示，开关614可在多个位置和/或状态之间运动或转变。在第一位置616中，开关614可将公共控制模块610电耦接到击发马达602；在第二位置617中，开关614可将公共控制模块610电耦接到闭合马达603；在第三位置618a中，开关614可将公共控制模块610电耦接到第一关节运动马达606a；并且在第四位置618b中，开关614可将公共控制模块610电耦接到例如第二关节运动马达606b。在某些情况下，单独的公共控制模块610可同时电耦接到击发马达602、闭合马达603和关节运动马达606a、606b。在某些情况下，开关614可为机械开关、机电开关、固态开关、或任何合适的开关机构。
马达602、603、606a、606b中的每个可包括扭矩传感器以测量马达的轴上的输出扭矩。可以任何常规方式感测端部执行器上的力，诸如通过钳口的外侧上的力传感器或通过用于致动钳口的马达的扭矩传感器来感测端部执行器上的力。
在各种情况下，如图8中所示，公共控制模块610可包括马达驱动器626，该马达驱动器可包括一个或多个H桥FET。马达驱动器626可例如基于得自微控制器620(“控制器”)的输入来调制从功率源628传输到耦接到公共控制模块610的马达的功率。在某些情况下，当马达耦接到公共控制模块610时，可例如采用微控制器620来确定由马达消耗的电流，如本文所述。
在某些情况下，微控制器620可包括微处理器622(“处理器”)和一个或多个非暂态计算机可读介质或存储单元624(“存储器”)。在某些情况下，存储器624可存储各种程序指令，这些程序指令在被执行时可使处理器622执行本文所述的多个功能和/或计算。在某些情况下，存储器单元624中的一个或多个存储器单元可例如耦接到处理器622。
在某些情况下，功率源628可例如用于为微控制器620供应功率。在某些情况下，功率源628可包括电池(或者“电池组”或“电源组”)，诸如锂离子电池。在某些情况下，电池组可被配置成能够可释放地安装到柄部以用于给外科器械600供应功率。多个串联连接的电池单元可用作功率源628。在某些情况下，功率源628可为例如可替换的和/或可再充电的。
在各种情况下，处理器622可控制马达驱动器626以控制耦接到公共控制器610的马达的位置、旋转方向、和/或速度。在某些情况下，处理器622可发信号通知马达驱动器626，以停止和/或停用耦接到公共控制器610的马达。应当理解，如本文所用的术语“处理器”包括任何合适的微处理器、微控制器、或将计算机的中央处理单元(CPU)的功能结合在一个集成电路或至多几个集成电路上的其他基础计算装置。处理器可为多用途的可编程装置，该装置接收数字数据作为输入，根据其存储器中存储的指令来处理输入，然后提供结果作为输出。因为处理器可具有内部存储器，所以可为时序数字逻辑的示例。处理器的操作对象可以是以二进制数字系统表示的数字和符号。
处理器622可为任何单核或多核处理器，诸如由德克萨斯器械公司(TexasInstruments)提供的商品名为ARM Cortex的那些处理器。在某些情况下，微控制器620可为例如可从德州器械公司(Texas Instruments)购得的LM 4F230H5QR。在至少一个示例中，Texas Instruments LM4F230H5QR为ARM Cortex-M4F处理器芯，其包括：256KB的单循环闪存或其他非易失性存储器(高达40MHz)的片上存储器、用于改善高于40MHz的性能的预取缓冲器、32KB的单循环SRAM、装载有软件的内部ROM、2KB的EEPROM、一个或多个PWM模块、一个或多个QEI模拟、具有12个模拟输入信道的一个或多个12位ADC、以及易得的其他特征部。可容易地换用其他微控制器，以与模块4410一起使用。因此，本公开不应限于这一上下文。
存储器624可包括用于控制可耦接到公共控制器610的外科器械600的马达中的每个的程序指令。例如，存储器624可包括用于控制击发马达602、闭合马达603和关节运动马达606a,606b的程序指令。此类程序指令可使处理器622根据来自外科器械或工具的算法或控制程序的输入来控制击发、闭合和关节运动功能。
一个或多个机构和/或传感器诸如传感器630可用于警示处理器622应当在特定设定中使用的程序指令。例如，传感器630可警示处理器622使用与击发、闭合和关节运动端部执行器相关联的程序指令。在某些情况下，传感器630可包括例如可以用于感测开关614的位置的位置传感器。因此，处理器622可在例如通过传感器630检测到开关614处于第一位置616时使用与击发端部执行器的I形梁相关联的程序指令；处理器622可在例如通过传感器630检测到开关614处于第二位置617时使用与闭合砧座相关联的程序指令；处理器622可在例如通过传感器630检测到开关614处于第三位置618a或第四位置618b时使用与使端部执行器进行关节运动相关联的程序指令。
图9示出了根据本公开的至少一个方面的态势感知外科系统5100的图。在一些范例中，数据源5126可包括例如模块化装置5102(其可包括被配置成能够检测与患者和/或模块化装置本身相关联的参数的传感器)、数据库5122(例如，包含患者记录的EMR数据库)和患者监测装置5124(例如，血压(BP)监测器和心电图(EKG)监测器)。外科集线器5104可被配置成能够例如基于所接收的数据的(一个或多个)特定组合或从数据源5126接收数据的特定顺序从数据导出与外科规程有关的背景信息。从所接收的数据推断的背景信息可包括例如正在被执行的外科规程的类型、外科医生正在执行的外科规程的特定步骤、正在手术的组织的类型或为规程的对象的体腔。外科集线器5104的一些方面从所接收的数据导出或推断与外科手术有关的信息的这种能力可被称为“态势感知”。在范例中，外科集线器5104可并入态势感知系统，该态势感知系统是与外科集线器5104相关联的从所接收的数据导出与外科手术有关的上下文信息的硬件和/或程序设计。
外科集线器5104的态势感知系统可被配置成能够以多种不同的方式从接收自数据源5126的数据导出上下文信息。在范例中，态势感知系统可包括已经在训练数据上进行训练以将各种输入(例如，来自数据库5122、患者监测装置5124和/或模块化装置5102的数据)与关于外科手术的对应上下文信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科规程的背景信息。在范例中，态势感知系统可包括查找表，该查找表存储与对应于上下文信息的一个或多个输入(或输入范围)相关联的关于外科手术的预先表征的上下文信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制模块化装置5102的对应上下文信息。在示例中，由外科集线器5104的态势感知系统接收的上下文信息可与用于一个或多个模块化装置5102的特定控制调整或一组控制调整相关联。在示例中，态势感知系统可包括当提供上下文信息作为输入时生成或检索用于一个或多个模块化装置5102的一个或多个控制调整的另外的机器学习系统、查找表或其他此类系统。
结合有态势感知系统的外科集线器5104可为外科系统5100提供许多益处。一个益处可包括改进对感测和收集到的数据的解释，这将继而改进外科手术过程期间的处理精度和/或数据的使用。回到先前的示例，态势感知外科集线器5104可确定正在手术的组织的类型；因此，当检测到用于闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器5104可正确地使用于组织类型的外科器械的马达速度逐渐上升或逐渐下降。
正在手术的组织的类型可影响针对特定组织间隙测量值对外科缝合和切割器械的压缩率和负荷阈值进行的调整。态势感知外科集线器5104可推断正在被执行的外科手术是胸腔手术还是腹部手术，从而允许外科集线器5104确定被外科缝合和切割器械的端部执行器夹持的组织是肺部组织(对于胸腔手术)还是胃组织(对于腹部手术)。然后，外科集线器5104可针对组织的类型适当地调整外科缝合和切割器械的压缩率和负荷阈值。
在吹入手术期间操作的体腔的类型可影响排烟器的功能。态势感知外科集线器5104可确定外科部位是否处于压力下(通过确定外科手术正在利用吹入)并确定手术类型。由于一种手术类型通常可在特定的体腔内执行，外科集线器5104然后可针对在其中进行操作的体腔适当地控制排烟器的马达速率。因此，态势感知外科集线器5104可提供对于胸腔和腹部手术两者一致的烟排出量。
正在执行的手术类型可影响超声外科器械或射频(RF)电外科器械操作的最佳能量水平。例如，关节镜手术可能需要更高的能量水平，因为超声外科器械或RF电外科器械的端部执行器浸没在流体中。态势感知外科集线器5104可确定外科手术是否是关节镜手术。然后，外科集线器5104可调整发生器的RF功率水平或超声振幅(即“能量水平”)以补偿流体填充的环境。相关地，正在手术的组织的类型可影响超声外科器械或RF电外科器械操作的最佳能量水平。态势感知外科集线器5104可确定正在被执行的外科手术的类型，并且然后根据该外科手术的预期组织概况分别定制超声外科器械或RF电外科器械的能量水平。此外，态势感知外科集线器5104可被配置成能够在整个外科手术过程中而不是仅在逐个手术的基础上调整超声外科器械或RF电外科器械的能量水平。态势感知外科集线器5104可确定正在被执行或随后将要被执行的外科手术的步骤，并且然后更新用于发生器和/或超声外科器械或RF电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。
在示例中，可从附加数据源5126提取数据，以改进外科集线器5104从一个数据源5126提取的结论。态势感知外科集线器5104可用已从其他数据源5126构建的关于外科手术的上下文信息来扩充其从模块化装置5102接收的数据。例如，态势感知外科集线器5104可被配置成能够根据从医学成像装置所接收的视频或图像数据来确定止血是否已经发生(即，在外科部位的出血是否已经停止)。然而，在一些情况下，视频或图像数据可能是不确定的。因此，在范例中，外科集线器5104可被进一步配置为将生理测量值(例如，由可通信地连接至外科集线器5104的BP监测器感测的血压)与止血的视觉或图像数据(例如，来自可通信地耦接到外科集线器5104的医学成像装置124(图2))进行比较，以确定缝合线或组织焊缝的完整性。换句话讲，外科集线器5104的态势感知系统可考虑生理测量数据以在分析可视化数据时提供附加的上下文。当可视化数据本身可能是不确定的或不完整的时，附加背景可以是有用的。
例如，如果态势感知外科集线器5104确定手术的后续步骤需要使用RF电外科器械，则其可主动地激活与该器械连接的发生器。主动地激活能量源可允许器械在手术的先前步骤一完成就准备好使用。
态势感知外科集线器5104可根据在外科部位处外科医生预期需要查看的(一个或多个)特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。然后，外科集线器5104可相应地主动改变所显示的视图(例如，由用于可视化系统108的医学成像装置提供)，使得在整个外科手术中自动调整显示器。
态势感知外科集线器5104可确定外科手术的哪个步骤正在被执行或随后将要执行以及针对外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器5104可被配置成能够基于正在执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生请求该特定信息。
可在外科手术的设置期间或在外科手术的过程期间检查错误。例如，态势感知外科集线器5104可确定手术室是否被正确地或最佳地设置以用于待执行的外科手术。外科集线器5104可被配置成能够确定正在执行的外科手术的类型，(例如，从存储器中)检索对应的清单、产品位置或设置需求，并且然后将当前手术室布局与外科集线器5104确定的用于该正在被执行的外科手术类型的标准布局进行比较。在一些范例中，外科集线器5104可被配置成能够将用于手术的物品列表和/或与外科集线器5104配对的装置列表与用于给定外科手术的物品和/或装置的建议或预期清单进行比较。外科集线器5104可被配置成能够在列表之间存在任何不连续性的情况下提供指示特定模块化装置5102、患者监测装置5124和/或其他外科物品缺失的警示。在一些范例中，外科集线器5104可被配置成能够例如经由接近传感器来确定模块化装置5102和患者监测装置5124的相对距离或位置。外科集线器5104可将装置的相对位置与用于特定外科手术的建议或预期布局进行比较。外科集线器5104可被配置成能够在布局之间存在任何不连续性的情况下提供指示用于该外科手术的当前布局偏离建议布局的警示。
态势感知外科集线器5104可确定外科医生(或其他医疗人员)在外科手术过程期间是否正在出错或以其他方式偏离预期的动作过程。例如，外科集线器5104可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在被执行的步骤或正在被使用的设备与外科集线器5104确定的针对该正在被执行的外科手术类型的预期步骤或设备进行比较。在一些范例中，外科集线器5104可被配置成能够提供指示在外科手术中的特定步骤处正在执行意外动作或正在利用意外装置的警示。
外科器械(和其他模块化装置5102)可针对每个外科手术的特定背景(例如针对不同组织类型进行调整)以及在外科手术期间验证动作而进行调整。接下来的步骤、数据和显示调整可根据手术的特定背景被提供给手术室中的外科器械(和其他模块化装置5102)。
图10示出了例示性外科手术的时间线5200以及外科集线器5104可从外科手术中每个步骤从数据源5126接收到的数据导出的上下文信息。在图9中所示的时间线5200的以下描述中，还应当参考图9。时间线5200可描绘护士、外科医生和其他医疗人员在肺分段切除术期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。态势感知外科集线器5104可在整个外科手术过程中从数据源5126接收数据，包括每次医疗人员利用与外科集线器5104配对的模块化装置5102时生成的数据。外科集线器5104可从配对的模块化装置5102和其他数据源5126接收该数据，并且在接收新数据时不断导出关于正在进行的规程的推论(即，背景信息)，诸如在任何给定时间执行规程的哪个步骤。外科集线器5104的态势感知系统可能够例如记录与用于生成报告的手术相关的数据，验证医疗人员正在采取的步骤，(例如，经由显示屏)提供可能与特定手术步骤相关的数据或提示，基于上下文调整模块化装置5102(例如，激活监测器、调整医学成像装置的FOV或改变超声外科器械或RF电外科器械的能量水平)，以及采取本文所述的任何其他此类动作。
作为该例示性手术中的第一步5202，医院工作人员可从医院的EMR数据库中检索患者的EMR。基于在EMR中选择的患者数据，外科集线器5104确定待执行的手术是胸腔手术。第二5204，工作人员可扫描用于手术的进入的医疗用品。外科集线器5104与可在各种类型的手术中利用的用品列表交叉引用扫描的用品，并确认供应的混合物对应于胸腔手术。另外，外科集线器5104还可能够确定手术不是楔形手术(因为进入的用品缺乏胸腔楔形手术所需的某些用品，或者在其他方面不对应于胸腔楔形手术)。第三步5206，医疗人员可经由可通信地连接到外科集线器5104的扫描器5128来扫描患者带。然后，外科集线器5104可基于所扫描的数据来确认患者的身份。第四5208，医务工作人员打开辅助设备。利用的辅助设备可根据外科手术的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当被激活时，作为模块化装置5102的辅助设备可以自动地与外科集线器5104配对，该外科集线器可以位于模块化装置5102的特定附近，作为其初始化过程的一部分。然后，外科集线器5104可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置5102的类型来导出关于外科规程的背景信息。在该具体示例中，外科集线器5104可确定外科手术是基于配对模块化装置5102的该特定组合的VATS手术。基于来自患者的EMR的数据、待在规程中使用的医疗用品的列表以及连接至集线器的模块化装置5102的类型的组合，外科集线器5104通常可推断外科团队将执行的特定规程。一旦外科集线器5104知道正在被执行的特定规程，外科集线器5104就可从存储器或云中检索该规程的步骤，然后交叉引用其随后从所连接的数据源5126(例如，模块化装置5102和患者监测装置5124)接收的数据，以推断外科团队正在执行的外科规程的步骤。第五5210，工作人员将EKG电极和其他患者监测装置5124附接到患者。EKG电极和其他患者监测装置5124可与外科集线器5104配对。当外科集线器5104开始从患者监测装置5124接收数据时，外科集线器5104可确认患者在手术室中，例如，如在过程5207中所述。第六5212，医疗人员可诱导患者麻醉。外科集线器5104可基于来自模块化装置5102和/或患者监测装置5124的数据(包括例如EKG数据、血压数据、呼吸机数据或它们的组合)推断患者处于麻醉下。在第六步5212完成时，肺分段切除术的术前部分完成，并且手术部分开始。
第七5214，可使正在手术的患者的肺部塌缩(同时通气被切换到对侧肺)。例如，外科集线器5104可从呼吸机数据推断出患者的肺已经塌缩。外科集线器5104可推断手术的手术部分已开始，因为其可将患者的肺部塌缩的检测与手术的预期步骤(可先前访问或检索)进行比较，从而确定使肺部塌缩可能是该特定手术中的第一操作步骤。第八5216，可插入医学成像装置5108(例如，内窥镜)，并且可启动来自该医学成像装置的视频。外科集线器5104可通过其与医学成像装置的连接来接收医学成像装置数据(即，视频或图像数据)。在接收到医学成像装置数据之后，外科集线器5104可确定外科规程的腹腔镜部分已开始。另外，外科集线器5104可确定正在被执行的特定规程是分段切除术，而不是肺叶切除术(注意，外科集线器5104基于在规程的第二步骤5204处接收到的数据已经排除了楔形规程)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在被执行的规程的类型相关的背景信息，包括通过确定医学成像装置相对于患者的解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器5104配对)，以及监测所利用的可视化装置的类型。例如，一种用于执行VATS肺叶切除术的技术可将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行VATS分段切除术的技术将相机相对于分段裂隙放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。一种用于执行VATS肺叶切除术的示例性技术可利用单个医学成像装置。一种用于执行VATS分段切除术的示例性技术利用多个相机。一种用于执行VATS分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地耦接到外科集线器)以可视化不用于VATS肺叶切除术中的分段裂隙。通过从医学成像装置5108跟踪这些数据中的任何或所有，外科集线器5104因此可确定正在被执行的外科规程的具体类型和/或用于特定类型的外科规程的技术。
第九5218，外科团队可开始手术的解剖步骤。外科集线器5104可推断外科医生正处在解剖以调动患者的肺部的过程中，因为其从RF发生器或超声发生器接收到指示能量器械正在被击发的数据。外科集线器5104可将所接收的数据与外科规程的检索步骤交叉引用，以确定在方法中的该点处(即，在先前讨论的规程步骤完成之后)击发的能量器械对应于解剖步骤。第十5220，外科团队可继续进行手术的结扎步骤。外科集线器5104可推断外科医生正在结扎动脉和静脉，因为其可从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器5104可通过交叉引用来自外科缝合和切割器械的数据的接收与该方法中的检索步骤来导出该推论。第十一5222，可执行手术的分段切除术部分。外科集线器5104可推断外科医生正在基于来自外科缝合和切割器械的数据(包括来自其仓的数据)横切软组织。仓数据可对应于例如由器械击发的钉的大小或类型。由于不同类型的钉用于不同类型的组织，因此仓数据可指示正被缝合和/或横切的组织的类型。在这种情况下，被击发的钉的类型用于软组织(或其他类似的组织类型)，这允许外科集线器5104推断正在执行规程的分段切除术部分。第十二5224，执行节点解剖步骤。外科集线器5104可基于从发生器接收的指示正在击发RF或超声器械的数据来推断外科团队正在解剖节点并且执行渗漏测试。对于该特定规程，在横切软组织后利用RF或超声器械对应于节点解剖步骤，这允许外科集线器5104做出该推论。应当指出的是，外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(例如，RF或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。在第十二步骤5224完成时，切口被闭合并且可开始手术的术后部分。
第十三5226，可逆转患者的麻醉。例如，外科集线器5104可基于呼吸机数据(即，患者的呼吸率开始增加)推断出患者正在从麻醉中醒来。最后，第十四步骤5228可以是医疗人员从患者移除各种患者监测装置5124。因此，当外科集线器5104丢失EKG、BP和来自患者监测装置5124的其他数据时，该集线器可推断患者正在被转移到恢复室。如从该示例性规程的描述可以看出，外科集线器5104可根据从可通信地耦接到外科集线器5104的各种数据源5126接收的数据来确定或推断给定外科规程的每个步骤何时发生。
除了利用来自EMR数据库的患者数据来推断待执行的外科手术的类型之外，如图10所示的时间线5200的第一步骤5202所示，态势感知外科集线器5104还可利用患者数据来生成用于配对的模块化装置5102的控制调整。
图11为根据本公开的至少一个方面的计算机实现的交互式外科系统的框图。在一个方面，计算机实现的交互式外科系统可被配置成能够监测和分析与各种外科系统的操作相关的数据，该外科系统包括外科集线器、外科器械、机器人装置以及手术室或医疗设施。计算机实现的交互式外科系统可包括基于云的分析系统。虽然基于云的分析系统可被描述为外科系统，但可不一定如此限制，并且通常可为基于云的医疗系统。如图11中所示，基于云的分析系统可包括多个外科器械7012(可与器械112相同或类似)、多个外科集线器7006(可与集线器106相同或类似)以及外科数据网络7001(可与网络201相同或类似)，以将外科集线器7006耦接到云7004(可与云204相同或类似)。多个外科集线器7006中的每一个可通信地耦接到一个或多个外科器械7012。集线器7006还可经由网络7001通信地耦接到计算机实现的交互式外科系统的云7004。云7004可以是用于存储、操纵和传送基于各种外科系统的操作生成的数据的远程集中式硬件和软件源。如图11中所示，可经由网络7001实现对云7004的访问，该网络可为互联网或一些其他合适的计算机网络。可耦接到云7004的外科集线器7006可被认为是云计算系统(即，基于云的分析系统)的客户端侧。外科器械7012可与外科集线器7006配对，以用于控制和实现如本文所述的各种外科手术或操作。
此外，外科器械7012可包括收发器，以用于向其对应的外科集线器7006(该外科集线器也可包括收发器)传输数据和从该外科集线器传输数据。外科器械7012和对应的集线器7006的组合可指示用于提供医疗操作的特定位置，诸如医疗设施(例如，医院)中的手术室。例如，外科集线器7006的存储器可存储位置数据。如图11所示，云7004包括中央服务器7013(可与远程服务器7013相同或类似)、集线器应用服务器7002、数据分析模块7034和输入/输出(“I/O”)接口7006。云7004的中央服务器7013共同掌管云计算系统，该云计算系统包括监测客户端外科集线器7006的请求并管理云7004的处理容量以用于执行请求。中央服务器7013中的每一者可包括耦接到合适的存储器装置7010的一个或多个处理器7008，该存储器装置可包括易失性存储器诸如随机存取存储器(RAM)和非易失性存储器诸如磁存储装置。存储器装置7010可包括机器可执行指令，该机器可执行指令在被执行时使处理器7008执行数据分析模块7034以用于下文所述的基于云的数据分析、操作、推荐和其它操作。此外，处理器7008可独立地或结合由集线器7006独立地执行的集线器应用程序来执行数据分析模块7034。中央服务器7013还可包括可驻留在存储器2210中的聚集医疗数据数据库2212。
基于经由网络7001到各种外科集线器7006的连接，云7004可聚集来自由各种外科器械7012及其对应集线器7006生成的特定数据的数据。此类聚集数据可存储在云7004的聚集医疗数据库7012内。具体地讲，云7004可有利地对聚集数据执行数据分析和操作，以产生见解和/或执行单独集线器7006自身无法实现的功能。为此，如图11所示，云7004和外科集线器7006通信地耦接以发送和接收信息。I/O接口7006经由网络7001连接到多个外科集线器7006。这样，I/O接口7006可被配置为在外科集线器7006和聚集医疗数据数据库7011之间传输信息。因此，I/O接口7006可促进基于云的分析系统的读/写操作。可响应于来自集线器7006的请求来执行此类读/写操作。这些请求可通过集线器应用程序传输到集线器7006。I/O接口7006可包括一个或多个高速数据端口，该一个或多个高速数据端口可包括通用串行总线(USB)端口、IEEE 1394端口，以及用于将云7004连接到集线器7006的Wi-Fi和蓝牙I/O接口。云7004的集线器应用服务器7002可被配置成能够托管由外科集线器7006执行的软件应用程序(例如，集线器应用程序)并向其提供共享的能力。例如，集线器应用服务器7002可管理集线器应用程序通过集线器7006提出的请求、控制对聚集医疗数据数据库7011的访问以及执行负载平衡。参考图12更详细地描述了数据分析模块7034。
本公开中描述的特定云计算系统配置可被具体设计成解决在使用医疗装置(诸如外科器械7012、112)执行的医疗操作和手术的情境中产生的各种问题。具体地讲，外科器械7012可为数字外科装置，该数字外科装置被配置为与云7004进行交互以用于实现改善外科操作的执行的技术。各种外科器械7012和/或外科集线器7006可包括触摸控制的用户界面，使得临床医生可控制外科器械7012和云7004之间的交互的各方面。也可使用用于控制的其它合适的用户界面，诸如听觉控制的用户界面。
图12为根据本公开的至少一个方面的示出了计算机实现的交互式外科系统的功能架构的框图。基于云的分析系统可包括多个数据分析模块7034，该多个数据分析模块可由云7004的处理器7008执行，以用于为医疗领域中特别产生的问题提供数据分析解决方案。如图12所示，基于云的数据分析模块7034的功能可经由由集线器应用服务器7002托管的集线器应用7014来辅助，这些集线器应用服务器可在外科集线器7006上访问。云处理器7008和集线器应用程序7014可以结合操作以执行数据分析模块7034。应用程序接口(API)7016可定义对应于集线器应用程序7014的一组协议和例程。另外，API 7016可管理向聚集医疗数据库7012中存储和检索数据或从该聚集医疗数据库中存储和检索数据以用于应用程序7014的操作。高速缓存7018还可存储数据(例如，暂时地)并且可耦接到API 7016以用于更有效地检索应用程序7014所使用的数据。图12中的数据分析模块7034可包括资源优化模块7020、数据收集和聚集模块7022、授权和安全模块7024、控制程序更新模块7026、患者结果分析模块7028、推荐模块7030以及数据分类和优先化模块7032。根据一些方面，云7004还可以实现其它合适的数据分析模块。在一个方面，数据分析模块可用于基于分析趋势、结果和其他数据的特定推荐。
例如，数据收集和聚集模块7022可用于生成自描述数据(例如，元数据)，包括显著特征或配置(例如，趋势)的识别、冗余数据集的管理以及数据在配对数据集中的存储，这些配对数据集可通过外科手术分组，但不一定锁定到实际外科日期和外科医生。具体地讲，由外科器械7012的操作生成的对数据集可包括应用二元分类，例如，出血或非出血事件。更一般地，二元分类可表征为期望的事件(例如，成功的外科规程)或不期望的事件(例如，误击发或误用的外科器械7012)。聚集的自描述数据可对应于从外科集线器7006的各种组或子组接收的单独数据。因此，数据收集和聚集模块7022可基于从外科集线器7006接收的原始数据来生成聚集元数据或其它组织数据。为此，处理器7008可以操作地耦接到集线器应用程序7014和聚集医疗数据数据库7011以用于执行数据分析模块7034。数据收集和聚集模块7022可以将聚集组织数据存储到聚集医疗数据数据库2212中。
资源优化模块7020可被配置为分析该聚集数据以确定用于特定或一组医疗设施的资源的最优使用。例如，资源优化模块7020可基于此类器械7012的对应预测需求来确定外科缝合器械7012对于一组医疗设施的最优顺序点。资源优化模块7020还可评估各种医疗设施的资源使用或其它操作配置以确定是否可改善资源使用。类似地，推荐模块7030可被配置为分析来自数据收集和聚集模块7022的聚集组织数据以提供推荐。例如，推荐模块7030可基于例如高于预期错误率向医疗设施(例如，医疗服务提供商，诸如医院)推荐应将特定外科器械7012升级至改善的版本。另外，推荐模块7030和/或资源优化模块7020可推荐更好的供应链参数，诸如产品重新排序点，并且提供不同外科器械7012的建议、其使用或规程步骤以改善外科结果。医疗设施可经由对应的外科集线器7006接收此类推荐。还可提供关于各种外科器械7012的参数或配置的更具体的推荐。集线器7006和/或外科器械7012还可各自具有显示由云7004提供的数据或推荐的显示屏。
患者结果分析模块7028可分析与外科器械7012的当前使用的操作参数相关联的外科结果。患者结果分析模块7028还可以分析和评估其它潜在操作参数。就这一点而言，推荐模块7030可以基于产生更好的外科结果(诸如更好的密封或更少的出血)来推荐使用这些其它潜在操作参数。例如，推荐模块7030可向外科集线器7006传输关于何时针对对应的缝合外科器械7012使用特定仓的推荐。因此，基于云的分析系统在控制公共变量时可被配置为分析大量原始数据的集合并提供对多个医疗设施的集中式推荐(有利地基于聚集数据来确定)。例如，基于云的分析系统可基于医疗实践的类型、患者的类型、患者的数量、医疗提供商之间的地理类似性、哪些医疗提供商/设施使用类似类型的器械等来分析、评估和/或聚集数据，使得任何单个医疗设施单独都不能独立地分析。控制程序更新模块7026可被配置为在对应的控制程序被更新时执行各种外科器械7012推荐。例如，患者结果分析模块7028可以识别将特定控制参数与成功(或不成功)结果链接的相关性。当更新的控制程序经由控制程序更新模块7026传输至外科器械7012时，可解决此类相关性。可经由对应的集线器7006传输的对器械7012的更新可结合由云7004的数据收集和聚集模块7022收集和分析的聚集性能数据。另外，患者结果分析模块7028和推荐模块7030可基于聚集性能数据来识别使用器械7012的改善方法。
基于云的分析系统可包括由云7004实现的安全特征。这些安全特征可由授权和安全模块7024管理。每个外科集线器7006可具有相关联的唯一凭证，诸如用户名、密码和其它合适的安全凭证。这些凭证可存储在存储器7010中并且与允许的云访问级别相关联。例如，基于提供准确的凭证，外科集线器7006可被授予访问权限以在预定程度上与云通信(例如，可仅参与传输或接收某些限定类型的信息)。为此，云7004的聚集医疗数据数据库7011可包括用于验证所提供的凭证的准确性的授权凭证的数据库。不同的凭证可与对与云7004进行交互的不同权限级别相关联，诸如用于接收由云7004生成的数据分析的预定的访问级别。此外，出于安全目的，云可以维护集线器7006、器械7012和可包括禁止装置的“黑名单”的其它装置的数据库。具体地讲，可禁止黑名单上列出的外科集线器7006与云进行交互，同时黑名单上列出的外科器械7012可不具有对于对应的集线器7006的功能访问权限并且/或者可在与其对应的集线器7006配对时被阻止完全起作用。附加地或另选地，云7004可基于不相容性或其他指定标准来标记器械7012。这样，可以识别和解决伪造的医疗装置以及在整个基于云的分析系统中对此类装置的不当重复使用。
外科器械7012可使用无线收发器来传输无线信号，该无线信号可表示例如用于访问对应集线器7006和云7004的授权凭证。有线收发器也可用于传输信号。此类授权凭证可存储在外科器械7012的相应存储器装置中。授权和安全模块7024可确定授权凭证是准确的还是伪造的。授权和安全模块7024还可动态地生成用于增强的安全的授权凭证。凭证也可被加密，诸如通过使用基于散列的加密。在传输适当授权时，外科器械7012可将信号传输到对应的集线器7006并且最终传输到云7004以指示器械7012准备好获取和传输医疗数据。作为响应，云7004可转变成能够用于接收医疗数据以存储到聚集医疗数据数据库7011中的状态。该数据传输准备就绪可例如由器械7012上的光指示器指示。云7004还可将信号传输到外科器械7012以用于更新其相关联的控制程序。云7004可传输涉及特定类别的外科器械7012(例如，电外科器械)的信号，使得控制程序的软件更新仅传输到适当的外科器械7012。此外，云7004可用于实现系统范围内的解决方案，以基于选择性数据传输和授权凭证来解决本地或全局问题。例如，如果一组外科器械7012被识别为具有共同的制造缺陷，则云7004可改变对应于该组的授权凭证以实现该组的操作闭锁。
基于云的分析系统可允许监测多个医疗设施(例如，医院之类的医疗设施)以确定改善的实践并相应地推荐改变(例如，经由推荐模块2030)。因此，云7004的处理器7008可分析与单独医疗设施相关联的数据，以识别该设施并且将该数据与和组中的其它医疗设施相关联的其它数据聚集。例如，可以基于类似的操作实践或地理位置来定义组。这样，云7004可提供医疗设施组范围内的分析和推荐。基于云的分析系统也可用于增强态势感知。例如，处理器7008可对推荐对特定设施的成本和有效性的影响进行预测建模(相对于总体操作和/或各种医疗规程)。还可将与该特定设施相关联的成本和有效性与其它设施或任何其它可比较设施的对应本地区域进行比较。
数据分类和优先化模块7032可以基于关键性(例如，与数据相关联的医疗事件的严重性、出乎意料、怀疑)对数据进行优先化和分类。该分类和优先化可与本文所述其他数据分析模块7034的功能结合使用，以改善本文所述的基于云的分析和操作。例如，数据分类和优先化模块7032可为由数据收集和聚集模块7022以及患者结果分析模块7028执行的数据分析分配优先级。不同的优先级别可引起来自云7004的特定响应(对应于紧急性级别)，诸如加速响应的递增、特殊处理、聚集医疗数据数据库7011的排除或其他合适的响应。此外，如果需要，云7004可通过集线器应用服务器传输来自对应外科器械7012的附加数据的请求(例如，推送消息)。推送消息可引起在对应的集线器7006上显示的用于请求支持或附加数据的通知。在云检测到显著的不规则性或异常性并且云不能确定不规则性的原因的情况下，可能需要该推送消息。中央服务器7013可被编程为在某些显著情况下触发该推送消息，例如，诸如当数据被确定为不同于超过预定阈值的预期值时或当其表现出安全已被包括时。
各种功能的附加示例细节在下文的后续描述中提供。各种描述中的每个可利用如图11和图12所述的云架构作为硬件和软件实现的一个示例。
图13示出了根据本公开的至少一个方面的被配置成能够自适应地生成用于模块化装置9050的控制程序更新的计算机实现的自适应外科系统9060的框图。在一些范例中，外科系统可包括外科集线器9000、可通信地耦接到外科集线器9000的多个模块化装置9050，以及可通信地耦接到外科集线器9000的分析系统9100。尽管可描绘单个外科集线器9000，但应当指出的是，外科系统9060可包括任何数量的外科集线器9000，该外科集线器可被连接以形成可通信地耦接到分析系统9010的外科集线器9000的网络。在一些范例中，外科集线器9000可包括处理器9010和数据中继接口9030，该处理器耦接到存储器9020以用于执行存储在其上的指令，通过该数据中继接口将数据传输到分析系统9100。在一些范例中，外科集线器9000还可包括用户界面9090，该用户界面具有用于接收来自用户的输入的输入装置9092(例如，电容式触摸屏或键盘)和用于向用户提供输出的输出装置9094(例如，显示屏)。输出可包括来自用户的查询输入的数据、对在给定规程中使用的产品或产品混合物的建议和/或对在外科规程之前、期间或之后要执行的动作的指令。外科集线器9000还可包括用于将模块化装置9050可通信地耦接到外科集线器9000的接口9040。在一个方面，接口9040可包括能够经由无线通信协议可通信地连接到模块化装置9050的收发器。模块化装置9050可包括例如外科缝合和切割器械、电外科器械、超声器械、吹入器、呼吸器和显示屏。在一些范例中，外科集线器9000还可通信地耦接到一个或多个患者监测装置9052，诸如EKG监测器或BP监测器。在一些范例中，外科集线器9000还可通信地耦接到一个或多个数据库9054或外部计算机系统，诸如外科集线器9000所在的医疗设施的EMR数据库。
当模块化装置9050连接到外科集线器9000时，外科集线器9000可感测或接收来自模块化装置9050的围手术期数据，并然后将所接收的围手术期数据与外科规程结果数据相关联。围手术期数据可指示如何在外科手术的过程中控制模块化装置9050。规程结果数据包括与来自外科规程(或其步骤)的结果相关联的数据，其可以包括外科规程(或其步骤)是否具有正面的或负面的结果。例如，结果数据可包括患者是否患有来自特定规程的术后并发症或者在特定钉或切口线处是否存在渗漏(例如，出血或空气渗漏)。外科集线器9000可通过从外部源(例如，从EMR数据库9054)接收数据，通过直接检测结果(例如，经由连接的模块化装置9050中的一个)，或通过态势感知系统推断结果的发生来获得外科规程结果数据。例如，可从EMR数据库9054检索关于术后并发症的数据，并且可由态势感知系统直接检测或推断关于钉或切口线渗漏的数据。外科规程结果数据可由态势感知系统从接收自各种数据源的数据推断，该数据源包括模块化装置9050本身、患者监测装置9052以及外科集线器9000所连接的数据库9054。
外科集线器9000可将相关联的模块化装置9050数据和结果数据传输到分析系统9100以用于在其上进行处理。通过传输指示如何控制模块化装置9050的围手术期数据和规程结果数据两者，分析系统9100可以将控制模块化装置9050的不同方式与特定规程类型的外科结果关联。在一些范例中，分析系统9100可包括被配置成能够从外科集线器9000接收数据的分析服务器9070的网络。分析服务器9070中的每一个可包括存储器和耦接到存储器的处理器，该处理器执行存储在其上的指令以分析所接收的数据。在一些范例中，分析服务器9070可连接在分布式计算架构中和/或利用云计算架构。基于该配对数据，分析系统9100然后可学习各种类型的模块化装置9050的最优或优选操作参数，生成对现场模块化装置9050的控制程序的调整，然后向模块化装置9050的控制程序传输(或“推送”)更新。
结合图5至图6描述了关于计算机实现的交互式外科系统9060的附加细节，包括外科集线器9000和可连接到其的各种模块化装置9050。
图14提供了根据本公开的外科系统6500，并且可包括经由有线或无线连接通过局域网6518或云网络6520与控制台6522或便携式装置6526通信的外科器械6502。在各种方面，控制台6522和便携式装置6526可以是任何合适的计算装置。外科器械6502可包括柄部6504、适配器6508和加载单元6514。适配器6508可释放地耦接到柄部6504，并且加载单元6514可释放地耦接到适配器6508，使得适配器6508将力从驱动轴传递到加载单元6514。适配器6508或加载单元6514可包括设置在其中的测力计(未明确示出)，以测量施加在加载单元6514上的力。加载单元6514可包括具有第一钳口6532和第二钳口6534的端部执行器6530。加载单元6514可以是原位加载或多次击发加载单元(MFLU)，其允许临床医生多次击发多个紧固件，而无需将加载单元6514从外科部位移除以重新加载加载单元6514。
第一钳口6532和第二钳口6534可被配置成能够将组织夹持在其间，击发紧固件穿过夹持的组织，并且切断夹持的组织。第一钳口6532可被配置成能够多次击发至少一个紧固件，或者可被配置成能够包括可替换的多次击发紧固件仓，该可替换的多次击发紧固件仓包括在被替换之前可被击发多于一次的多个紧固件(例如，钉、夹具等)。第二钳口6534可以包括砧座，当紧固件从多次击发紧固件仓射出时，该砧座使紧固件变形或以其他方式将紧固件固定在组织周围。
柄部6504可包括马达，该马达耦接至驱动轴以影响驱动轴的旋转。柄部6504可包括用于选择性地激活马达的控制接口。控制接口可以包括按钮、开关、杠杆、滑块、触摸屏和任何其他合适的输入机构或用户界面，可以由临床医生接合这些输入机构或用户界面来激活马达。
柄部6504的控制接口可与柄部6504的控制器6528通信，以选择性地激活马达以影响驱动轴的旋转。控制器6528可设置在柄部6504内，并且被配置成能够接收来自控制接口的输入和来自适配器6508的适配器数据或来自加载单元6514的加载单元数据。控制器6528可分析来自控制接口的输入以及从适配器6508和/或加载单元6514接收的数据，以选择性地激活马达。柄部6504还可以包括显示器，临床医生在使用柄部6504期间可查看该显示器。显示器可被配置成能够在击发器械6502之前、期间或之后显示适配器或加载单元数据的部分。
适配器6508可包括设置在其中的适配器识别装置6510，并且加载单元6514包括设置在其中的加载单元识别装置6516。适配器识别装置6510可与控制器6528通信，并且加载单元识别装置6516可与控制器6528通信。应当理解，加载单元识别装置6516可以与适配器识别装置6510通信，适配器识别装置将来自加载单元识别装置6516的通信中继或传送给控制器6528。
适配器6508还可包括设置在其周围的多个传感器6512(示出了一个)，以检测适配器6508或环境的各种状况(例如，适配器6508是否连接到加载单元、适配器6508是否连接到柄部、驱动轴是否旋转、驱动轴的扭矩、驱动轴的应变、适配器6508内的温度、适配器6508的击发次数、击发期间适配器6508的峰值力、施加到适配器6508上的力的总量、适配器6508的峰值回缩力、击发期间适配器6508的暂停次数等)。多个传感器6512可以数据信号的形式向适配器识别装置6510提供输入。多个传感器6512的数据信号可以被存储在适配器识别装置6510内，或者可以被用于更新存储在适配器识别装置内的适配器数据。多个传感器6512的数据信号可以是模拟或数字的。多个传感器6512可以包括测力计，以测量在击发期间施加在加载单元6514上的力。
柄部6504和适配器6508可被配置成能够经由电接口将适配器识别装置6510和加载单元识别装置6516与控制器6528互连。电接口可以是直接电接口(即包括彼此接合以在其间传输能量和信号的电触点)。附加地或另选地，电接口可以是非接触电接口，以在其间无线地传输能量和信号(例如，感应传输)。还可以设想，适配器识别装置6510和控制器6528可以经由与电接口分离的无线连接彼此无线地通信。
柄部6504可包括发射器6506，该发射器被配置成能够将来自控制器6528的器械数据传输到系统6500的其他部件(例如，LAN 6518、云6520、控制台6522或便携式装置6526)。发射器6506还可以从系统6500的其他部件接收数据(例如，仓数据、加载单元数据或适配器数据)。例如，控制器6528可将器械数据传输到控制台6528，该器械数据包括附接到柄部6504的附接适配器(例如，适配器6508)的序列号、附接到适配器的加载单元(例如，加载单元6514)的序列号、以及加载到加载单元中的多次击发紧固件仓(例如，多次击发紧固件仓)的序列号。此后，控制台6522可以将分别与附接的仓、加载单元和适配器相关联的数据(例如，仓数据、加载单元数据或适配器数据)传输回控制器6528。控制器6528可以在本地器械显示器上显示消息，或者经由发射器6506将消息传输到控制台6522或便携式装置6526，以分别在显示器6524或便携式装置屏幕上显示消息。
图15A示出了用于确定操作模式并且在所确定的模式下操作的示例性流程。计算机实现的交互式外科系统和/或计算机实现的交互式外科系统的部件和/或子系统可被配置成能够被更新。这种更新可包括在更新之前对于用户不可用的特征和益处的纳入。这些更新可通过适合于向用户引入特征的硬件、固件和软件更新的任何方法来建立。例如，可替换的/可交换的(例如，可热交换的)硬件部件、可闪存的固件装置和可更新的软件系统可用于更新计算机实现的交互式外科系统和/或计算机实现的交互式外科系统的部件和/或子系统。
更新可以任何合适的标准或一组标准为条件。例如，更新可以系统的一个或多个硬件能力为条件，诸如处理能力、带宽、分辨率等。例如，更新可以一个或多个软件方面为条件，诸如某些软件代码的购买。例如，更新可以已购买的服务层为条件。服务层可表示用户有权结合计算机实现的交互式外科系统使用的特征和/或一组特征。服务层可由许可代码、电子商务服务器认证交互、硬件密钥、用户名/密码组合、生物计量认证交互、公钥/私钥交换交互等来确定。
在10704处，可识别系统/装置参数。系统/装置参数可以是作为更新的条件的任何元素或一组元素。例如，计算机实现的交互式外科系统可检测模块化装置与外科集线器之间的通信的特定带宽。例如，计算机实现的交互式外科系统可检测某个服务层的购买的指示。
在10708处，可基于所识别的系统/装置参数来确定操作模式。该确定可由将系统/装置参数映射到操作模式的过程来作出。该过程可以是手动和/或自动过程。该过程可以是本地计算和/或远程计算的结果。例如，客户端/服务器交互可用于基于所识别的系统/装置参数来确定操作模式。例如，本地软件和/或本地嵌入固件可用于基于所识别的系统/装置参数来确定操作模式。例如，诸如安全微处理器的硬件密钥可用于基于所识别的系统/装置参数来确定操作模式。
在10710处，操作可根据所确定的操作模式来进行。例如，系统或装置可继续在默认操作模式下操作。例如，系统或装置可继续在另选操作模式下操作。操作模式可由已经驻留在系统或装置中的控制硬件、固件和/或软件来指导。操作模式可由新安装/更新的控制硬件、固件和/或软件来指导。
图15B示出了用于改变操作模式的示例性功能框图。可升级元件10714可包括初始化部件10716。初始化部件10716可包括适于确定操作模式的任何硬件、固件和/或软件。例如，初始化部件10716可以是系统或装置启动过程的一部分。初始化部件10716可参与交互来确定可升级元件10714的操作模式。例如，初始化部件10716可与例如用户10730、外部资源10732和/或本地资源10718交互。例如，初始化部件10716可从用户10730接收许可密钥以确定操作模式。初始化部件10716可以利用可升级装置10714的序列号来查询诸如服务器的外部资源10732以确定操作模式。例如，初始化部件10716可查询本地资源10718，诸如用于确定可用带宽量的本地查询和/或例如用于确定操作模式的硬件密钥的本地查询。
可升级元件10714可包括一个或多个操作部件10720、10722、10726、10728，和操作指针10724。初始化部件10716可引导操作指针10724将可升级元件10741的操作引导到对应于所确定的操作模式的操作部件10720、10722、10726、10728。初始化部件10716可引导操作指针10724将可升级元件的操作引导到默认操作部件10720。例如，默认操作部件10720可在没有确定其他另选操作模式的情况下被选择。例如，默认操作部件10720可在初始化部件失败和/或交互失败的情况下被选择。初始化部件10716可引导操作指针10724将可升级元件10714的操作引导到驻留操作部件10722。例如，某些特征可驻留在可升级部件10714中，但是需要激活才能生效。初始化部件10716可引导操作指针10724引导可升级元件10714的操作以安装新操作部件10728和/或新安装的操作部件10726。例如，可下载新的软件和/或固件。该新的软件和/或固件可包含用于启用由所选择的操作模式表示的特征的代码。例如，可安装新的硬件部件以启用所选择的操作模式。
图16A-D和图17A-F描绘了可并入到外科系统中的可视化系统2108的一个示例的各个方面。可视化系统2108可包括成像控制单元2002和手持单元2020。成像控制单元2002可包括一个或多个照射源、用于该一个或多个照射源的功率源、一种或多种类型的数据通信接口(包括USB、以太网或无线接口2004)以及一个或多个视频输出2006。成像控制单元2002还可包括被配置为将集成视频和图像捕获数据传输到启用USB的装置的接口，诸如USB接口2010。成像控制单元2002还可包括一个或多个计算部件，包括但不限于处理器单元、暂态存储器单元、非暂态存储器单元、图像处理单元、用于在计算部件之中形成数据链路的总线结构，以及从未包括在成像控制单元中的部件接收信息并向这些部件传输信息所必需的任何接口(例如，输入和/或输出)装置。非暂态存储器还可包含指令，这些指令在由处理器单元执行时可执行可从手持单元2020和/或不包括在成像控制单元中的计算装置接收的数据的任何数量的操纵。
照射源可包括白光源2012和一个或多个激光源。成像控制单元2002可包括用于与手持单元2020光学通信和/或电通信的一个或多个光学接口和/或电接口。作为非限制性示例，该一个或多个激光源可包括红色激光源、绿色激光源、蓝色激光源、红外激光源和紫外激光源中的任一个或多个。在一些非限制性示例中，红色激光源可提供峰值波长可在635nm和660nm之间的范围内的照射，该范围包括端值在内。红色激光的峰值波长的非限制性示例可包括约635nm、约640nm、约645nm、约650nm、约655nm、约660nm或其间的任何值或值的范围。在一些非限制性示例中，绿色激光源可提供峰值波长可在520nm和532nm之间的范围内的照射，该范围包括端值在内。绿色激光的峰值波长的非限制性示例可包括约520nm、约522nm、约524nm、约526nm、约528nm、约530nm、约532nm或其间的任何值或值的范围。在一些非限制性示例中，蓝色激光源可提供峰值波长可在405nm和445nm之间的范围内的照射，该范围包括端值在内。蓝色激光的峰值波长的非限制性示例可包括约405nm、约410nm、约415nm、约420nm、约425nm、约430nm、约435nm、约440nm、约445nm或其间的任何值或值的范围。在一些非限制性示例中，红外激光源可提供峰值波长可在750nm和3000nm之间(包括端值在内)的范围内的照明。红外激光的峰值波长的非限制性示例可包括约750nm、约1000nm、约1250nm、约1500nm、约1750nm、约2000nm、约2250nm、约2500nm、约2750nm、3000nm或其间的任何值或值的范围。在一些非限制性示例中，紫外激光源可提供峰值波长可在200nm和360nm之间的范围内的照射，该范围包括端值在内。紫外激光的峰值波长的非限制性示例可包括约200nm、约220nm、约240nm、约260nm、约280nm、约300nm、约320nm、约340nm、约360nm或其间的任何值或值的范围。
在一个非限制性方面，手持单元2020可包括主体2021、附接到主体2021的相机镜缆线2015和细长相机探头2024。手持单元2020的主体2021可包括手持单元控制按钮2022或其他控件以允许健康专业人员使用手持单元2020来控制手持单元2020或成像控制单元2002的其他部件(包括例如光源)的操作。相机镜缆线2015可包括一个或多个电导体和一个或多个光纤。相机镜缆线2015可与相机头部连接器2008终止于近侧端部，在该近侧端部中，相机头部连接器2008被配置为与成像控制单元2002的该一个或多个光学接口和/或电接口配合。电导体可向手持单元2020(包括主体2021和细长相机探头2024)和/或手持单元2020内部的任何电子部件(包括主体2021和/或细长相机探头2024)供电。电导体也可用于在手持单元2020与成像控制单元2002的任一个或多个部件之间提供双向数据通信。该一个或多个光纤可将照射从成像控制单元2002中的该一个或多个照射源通过手持单元主体2021并且传导到细长相机探头2024的远侧端部。在一些非限制性方面，该一个或多个光纤还可将从外科部位反射或折射的光传导到设置在细长相机探头2024、手持单元主体2021和/或成像控制单元2002中的一个或多个光学传感器。
图16B(顶部平面图)更详细地描绘了可视化系统2108的手持单元2020的一些方面。手持单元主体2021可由塑性材料构造。手持单元控制按钮2022或其他控件可具有橡胶包覆成型以保护控件，同时允许外科医生操纵这些控件。相机镜缆线2015可具有与电导体集成的光纤，并且相机镜缆线2015可具有保护性和柔性外覆层，诸如PVC。在一些非限制性示例中，相机镜缆线2015可为约10英尺长以允许在外科手术期间的易用性。相机镜缆线2015的长度可在约5英尺至约15英尺的范围内。相机镜缆线2015的长度的非限制性示例可为约5英尺、约6英尺、约7英尺、约8英尺、约9英尺、约10英尺、约11英尺、约12英尺、约13英尺、约14英尺、约15英尺或其间的任何长度或长度范围。细长相机探头2024可由刚性材料诸如不锈钢制成。在一些方面，细长相机探头2024可经由可旋转套环2026与手持单元主体2021接合。可旋转套环2026可允许细长相机探头2024相对于手持单元主体2021旋转。在一些方面，细长相机探头2024可与用环氧树脂密封的塑料窗口2028终止于远侧端部。
图16C所描绘的手持单元的侧平面视图示出了光或图像传感器2030可设置在细长相机探头的远侧端部2032a或设置在手持单元主体2032b内。在一些另选的方面，光或图像传感器2030可与成像控制单元2002中的附加光学元件一起设置。图16C还描绘了光传感器2030的示例，该光传感器包括设置在半径为约4mm的安装架2036内的CMOS图像传感器2034。图16D示出了CMOS图像传感器2034的各方面，其描绘了图像传感器的有效区域2038。尽管图16C中的CMOS图像传感器被描绘为设置在半径为约4mm的安装架2036内，但是可以认识到，此类传感器和安装架组合可具有任何可用的大小以设置在细长相机探头2024、手持单元主体2021内或设置在图像控制单元2002中。此类另选安装架的一些非限制性示例可包括5.5mm安装架2136a、4mm安装架2136b、2.7mm安装架2136c和2mm安装架2136d。可以认识到，图像传感器还可包括CCD图像传感器。CMOS或CCD传感器可包括单独光感测元件(像素)的阵列。
图17A至图17F描绘了可并入到可视化系统2108中的照明源及其控件的一些示例的各个方面。
图17A示出了具有发射多个电磁能量波长的多个激光束的激光照明系统的方面。如在图中可见，照射系统2700可包括均通过光纤2755光学耦接在一起的红色激光束2720、绿色激光束2730和蓝色激光束2740。如在图中可见，激光束中的每个激光束可分别具有对应的光感测元件或电磁传感器2725、2735、2745，以用于感测特定激光束或波长的输出。
关于图17A所描绘的用于外科可视化系统2108的激光照明系统的附加公开内容可见于2014年3月15日提交的名称为“CONTROLLING THE INTEGRAL LIGHT ENERGY OF ALASER PULSE”的美国专利申请公布2014/0268860号，该专利申请于2017年10月3日作为美国专利9,777,913号公布，该专利申请的内容全文以引用方式并入本文以用于所有目的。
图17B示出了在滚动读出模式下使用的传感器的操作循环。应当理解，x方向对应于时间，并且对角线2202指示读出每个数据帧的内部指针的活动，一次一行。同一指针负责针对下一个暴露周期重置每行像素。针对每行2219a-c的净积聚时间是相等的，但是由于滚动重置和读取过程，它们相对于彼此在时间上交错。因此，针对其中需要相邻帧来表示光的不同构造的任何场景，用于使每行一致的唯一选项是在读出循环2230a-c之间使光脉冲。更具体地，最大可用周期对应于消隐时间加上在帧的开始或结束时为光学黑色行或光学盲(OB)行(2218、2220)提供服务的任何时间的总和。
图17B示出了在滚动读出模式下或在传感器读出2200期间使用的传感器的操作循环。帧读出可在竖直线2210处开始并且可由该竖直线表示。读出周期由对角线或斜线2202表示。传感器可逐行读出，向下倾斜边缘的顶部为传感器顶行2212，向下倾斜边缘的底部为传感器底行2214。最后一行读出与下一个读出循环之间的时间可称为消隐时间2216a-d。应当理解，消隐时间2216a-d可在成功读出循环之间相同，或者其可在成功读出循环之间不同。应当指出，传感器像素行中的一些可覆盖有光屏蔽件(例如，金属涂层或另一种材料类型的任何其它大体上黒色的层)。这些被覆盖的像素行可被称为光学黑色行2218和2220。光学黑色行2218和2220可用作校正算法的输入。
如图17B所示，这些光学黑色行2218和2220可位于像素阵列的顶部上或像素阵列的底部或像素阵列的顶部和底部。在一些方面，可能期望控制暴露于像素的电磁辐射(例如光)的量，从而由像素集成或累积。应当理解，光子是电磁辐射的基本粒子。光子被每个像素集成、吸收或累积并转换为电荷或电流。在一些方面，电子快门或卷帘快门可用于通过重置像素来开始积聚时间(2219a-c)。然后光将集成直到下一读出阶段为止。在一些方面，电子快门的位置可在两个读出循环2202之间移动，以便控制给定光的量的像素饱和度。在缺少电子快门的一些另选方面中，入射光的积聚时间2219a-c可在第一读出循环2202期间开始，并且可在下一个读出循环2202处结束，该下一个读出循环也限定了下一个积聚的开始。在一些另选的方面，可通过消隐时间2216a-d期间对光进行脉冲的时间2230a-d来控制每个像素累积的光的量。这确保所有行均看到从相同光脉冲2230a-c发出的相同光。换句话讲，每行将开始其在第一暗环境2231中的积聚，该第一暗环境可在读出帧(m)的光学黑色后行2220处具有最大光脉冲宽度，并且然后将接收光选通并且将结束其在第二暗环境2232中的积聚，该第二暗环境可在下一个后续读出帧(m+1)的光学黑色前行2218处具有最大光脉冲宽度。因此，由光脉冲2230a-c生成的图像将仅在帧(m+1)读出期间可用，而不会干扰帧(m)和帧(m+2)。
应当指出的是，使光脉冲2230a-c仅在一个帧中读出并且不干扰相邻帧的条件是在消隐时间2216期间击发给定的光脉冲2230a-c。因为光学黑色行2218、2220对光不敏感，所以可将帧(m)的光学黑色后行2220时间和帧(m+1)的光学黑色前行2218时间添加至消隐时间2216，以确定光脉冲2230的击发时间的最大范围。
在一些方面，图17B描绘了由常规CMOS传感器进行的顺序帧捕获的时序图的示例。此类CMOS传感器可并入拜耳滤色器图案，如图17C所描绘。已经认识到，拜耳图案提供比色度更大的亮度细节。还可认识到，传感器具有降低的空间分辨率，因为需要总共4个相邻像素来产生图像的聚集空间部分的颜色信息。在另选的方法中，彩色图像可通过用具有不同中心光波长的各种光源(激光或发光二极管)高速快速地选通可视化区域来构造。
光学选通系统可处于相机系统的控制下，并且可包括专门设计的具有高速读出的CMOS传感器。主要有益效果是，与常规拜耳或3-传感器相机相比，该传感器可用显著更少的像素来实现相同的空间分辨率。因此，可减小由像素阵列占据的物理空间。实际脉冲周期(2230a-c)可在重复图案内不同，如图17B所示。这可用于例如将更长的时间分配给需要更大光能的部件或具有更弱光源的部件。只要所捕获的平均帧速率是必需的最终系统帧速率的整数倍，该数据就可根据需要简单地在信号处理链中缓冲。
通过组合所有这些方法将CMOS传感器芯片面积降低到允许程度的设施对于小直径(约3mm至10mm)内窥镜特别有吸引力。具体地讲，其允许其中传感器位于空间受限的远侧端部中的内窥镜设计，从而大大降低光学区段的复杂性和成本，同时提供高清晰度视频。该方法的结果是，为了重建每个最终的全彩图像，需要及时从三个单独的快照融合数据。场景内相对于内窥镜的光学参照系的任何运动通常将降低感知分辨率，因为对象的边缘出现在每个所捕获的部件内的略微不同的位置处。在本公开中，描述了减少该问题的装置，其利用了空间分辨率对于亮度信息比对于色度更重要的事实。
该方法的基础是，代替在每个帧期间击发单色光，使用三个波长的组合来提供单个图像内的所有亮度信息。色度信息来源于具有例如重复图案诸如Y-Cb-Y-Cr(图17D)的单独帧。虽然可以通过精巧地选择脉冲比来提供纯亮度数据，但色度却并非如此。
在一个方面，如图17D所示，内窥镜式系统2300a可包括具有均匀像素的像素阵列2302a，并且系统2300a可被操作以接收Y(亮度脉冲)2304a、Cb(ChromaBlue)2306a和Cr(ChromaRed)2308a脉冲。
为了完成全彩图像，需要也提供两个色度分量。然而，应用于亮度的相同算法不能直接应用于色度图像，因为它是带符号的，如一些RGB系数为负的事实中所反映的。对此的解决方案为添加足够量级的亮度，使得所有最终脉冲能量变为正。只要ISP中的颜色融合过程知道色度帧的组成，它们就可通过从相邻帧中减去适当量的亮度来解码。脉冲能量比例由下式给出：
Y＝0.183·R+0.614·G+0.062·B
Cb＝λ·Y-0.101·R-0.339·G+0.439·B
Cr＝6·Y+0.439·R-0.399·G-0.040·B
λ≥0.399/0.614＝0.552
δ≥0.399/0.614＝0.650
结果表明，如果λ因子等于0.552，则红色分量和绿色分量两者均精确地被消除，在这种情况下，Cb信息可设置有纯蓝光。类似地，设定δ＝0.650消除了Cr的蓝色分量和绿色分量，Cr变为纯红色。该特定示例在图17E中示出，该图还将λ和δ描绘为(1/2)8的整数倍。这是数字帧重建的方便近似值。
就Y-Cb-Y-Cr脉冲方案而言，图像数据已经在颜色融合之后的YCbCr空间中。因此，在这种情况下，在转换回线性RGB以执行颜色校正等之前，预先执行基于亮度和色度的操作是有意义的。
颜色融合过程比拜耳图案(参见图17C)所必需的去马赛克更简单，因为不存在空间插值。但这确实需要帧的缓冲，以便使每个像素的所有必要信息可用。在一个总体方面，用于Y-Cb-Y-Cr图案的数据可以流水线化，以每两个原始捕获图像产生一个全彩图像。这通过使用每个色度样本两次来实现。在图17F中描绘了提供60Hz最终视频的120Hz帧捕获速率的具体示例。
关于如图17B至图17F所描绘的用于外科可视化系统108的照明系统的激光部件的控制的附加公开内容可见于2013年7月26日提交的名称为“YCBCR PULSED ILLUMINATIONSCHEME IN A LIGHT DEFICIENT ENVIRONMENT”的美国专利申请公布2014/0160318号，该专利申请于2016年12月6日作为美国专利9,516,239号公布，以及2013年7月26日提交的名称为“CONTINUOUS VIDEO IN A LIGHT DEFICIENT ENVIRONMENT”的美国专利申请公布2014/0160319号，该专利申请于2017年8月22日作为美国专利9,743,016号公布，这些专利申请的内容全文以引用方式并入本文以用于所有目的。
表面下血管成像
在外科手术期间，可能需要外科医生对组织进行操纵以实现期望的医学结果。外科医生的动作受到外科部位中可在视觉上观察到的限制。因此，外科医生可能不知道例如在手术期间位于被操纵的组织下面的血管结构的布置。
因为外科医生不能可视化外科部位下方的脉管系统，因此外科医生在手术期间可能会意外切断一个或多个关键血管。
因此，期望具有可采集外科部位的成像数据以呈现给外科医生的外科可视化系统，在这些成像数据中，呈现可包括与位于外科部位的表面下方的血管结构的存在相关的信息。
本公开的一些方面还提供了控制电路，该控制电路被配置为使用一个或多个照射源诸如激光源来控制外科部位的照射，以及从一个或多个图像传感器接收成像数据。在一些方面，本公开提供了存储计算机可读指令的非暂态计算机可读介质，这些计算机可读指令在被执行时致使得装置检测组织中的血管并确定其在组织表面下方的深度。
在一些方面，外科图像采集系统可包括：多个照射源，其中每个照射源被配置为发射具有指定中心波长的光；光传感器，该光传感器被配置为当组织样本被该多个照射源中的一个或多个照射源照射时接收光的从组织样本反射的部分；以及计算系统。该计算系统可被配置为：当组织样本被该多个照射源中的每个照射源照射时从该光传感器接收数据；基于当组织样本被该多个照射源中的每个照射源照射时由该光传感器接收的数据来确定组织样本内的结构的深度位置，以及计算关于该结构和该结构的深度位置的可视化数据。在一些方面，该可视化数据可具有可由显示系统使用的数据格式，并且该结构可包括一个或多个血管组织。
使用NIR光谱法的血管成像
在一个方面，外科图像采集系统可包括照射源的独立颜色级联，该照射源包括可见光和在可见范围之外的光，以在不同时间和不同深度处对外科部位内的一个或多个组织进行成像。外科图像采集系统还可检测或计算从外科部位反射和/或折射的光的特性。光的特性可用于提供外科部位内的组织的复合图像，以及提供对在外科部位的表面处不直接可见的下层组织的分析。外科图像采集系统可在不需要单独的测量装置的情况下确定组织深度位置。
在一个方面，从外科部位反射和/或折射的光的特性可为一个或多个波长的光的吸光度的量。各个组织的各种化学组分可导致波长相关的特定光吸收图案。
在一个方面，照射源可包括红色激光源和近红外激光源，其中待成像的该一个或多个组织可包括血管组织，诸如静脉或动脉。在一些方面，红色激光源(在可见范围内)可用于基于可见红色范围内的光谱法对下层血管组织的一些方面进行成像。在一些非限制性示例中，红色激光源可提供峰值波长可在635nm和660nm之间的范围内的照射，该范围包括端值在内。红色激光的峰值波长的非限制性示例可包括约635nm、约640nm、约645nm、约650nm、约655nm、约660nm或其间的任何值或值的范围。在一些其他方面，近红外激光源可用于基于近红外光谱法对下层血管组织进行成像。在一些非限制性示例中，近红外激光源可发射波长可在750至3000nm之间的范围内的照射，该范围包括端值在内。红外激光的峰值波长的非限制性示例可包括约750nm、约1000nm、约1250nm、约1500nm、约1750nm、约2000nm、约2250nm、约2500nm、约2750nm、3000nm或其间的任何值或值的范围。可以认识到，可使用红色和红外光谱的组合探测下层血管组织。在一些示例中，可使用峰值波长在约660nm处的红色激光源和峰值波长在约750nm或在约850nm处的近IR激光源来探测血管组织。
近红外光谱法(NIRS)是非侵入性技术，其允许基于组织内氧合血红蛋白和脱氧血红蛋白的光谱光度定量来确定组织氧合。在一些方面，NIRS可用于基于血管组织与非血管组织之间的照射吸光度的差异来直接对血管组织进行成像。另选地，可在施加生理干预(诸如动脉闭塞方法和静脉闭塞方法)之前和之后基于组织中血流的照射吸光度的差异来间接可视化血管组织。
用于近红外(NIR)光谱的仪器可类似于用于UV可见和中IR范围的器械。此类光谱学器械可包括照射源、检测器和色散元件，以选择用于照射组织样本的特定近IR波长。在一些方面，源可包括白炽光源或石英卤素光源。在一些方面，检测器可包括半导体(例如，InGaAs)光电二极管或光电阵列。在一些方面，色散元件可包括棱镜或更常见地衍射光栅。使用干涉仪的傅里叶变换NIR器械也是常见的，尤其是对于大于约1000nm的波长。根据样本，可以反射或透射模式来测量光谱。
图18示意性地描绘了与用于NIR光谱的UV可见和中IR范围的器械类似的仪器2400的一个示例。光源2402可发射可投射到色散元件2406(诸如棱镜或衍射光栅)上的宽光谱范围的照射2404。色散元件2406可操作以选择由广谱光源2402发射的光的窄波长部分2408，并且所选择的光部分2408可照射组织2410。从组织2412反射的光可被引导到检测器2416(例如，使用二向色镜2414)，并且可记录反射光2412的强度。照射组织2410的光波长可由色散元件2406选择。在一些方面，组织2410可仅由来自光源2402的色散元件2406选择的单个窄波长部分2408照射。在其他方面，可用由色散元件2406选择的各种窄波长部分2408扫描组织2410。这样，可在NIR波长范围内获取组织2410的光谱分析。
图19示意性地描绘了用于基于傅里叶变换红外成像确定NIRS的仪器2430的一个示例。在图19中，在近IR范围2434内发射2432光的激光源照明组织样本2440。由组织2440反射2436的光被反射镜(诸如，二向色镜2444)反射到分束器2446。分束器2446将由组织2440反射的光2448的一部分引导到静止反射镜2450，并且将由组织2440反射2436的光2452的一部分引导到移动反射镜2454。移动反射镜2454可基于由具有电压频率的正弦电压激活的附连压电换能器来在适当位置振荡。移动反射镜2454在空间中的位置对应于压电换能器的正弦激活电压的频率。从移动反射镜和静止反射镜反射的光可在分束器2446处重新组合2458并且被引导到检测器2456。计算部件可接收检测器2456的信号输出并且执行所接收信号的傅里叶变换(在时间上)。因为从移动反射镜2454接收的光波长相对于从静止反射镜2450接收的光波长在时间上变化，因此重新组合的光的基于时间的傅立叶变换对应于重新组合的光2458的基于波长的傅立叶变换。这样，可确定从组织2440反射的光的基于波长的光谱，并且可获取从组织2440反射2436的光的光谱特性。因此，来自从组织2440反射的光的光谱分量的照射的吸光度的变化可指示具有特定光吸收特性(诸如血红蛋白)的组织的存在与否。
确定血红蛋白氧合的近红外光的另选形式将是使用单色红光来确定血红蛋白的红光吸光度特性。血红蛋白对中心波长为约660nm的红光的吸光度特性可指示血红蛋白是被氧合(动脉血)还是被脱氧(静脉血)。
在一些另选的外科手术中，可使用造影剂来改善收集到的有关氧合和组织耗氧的数据。在一个非限制性示例中，NIRS技术可与峰值吸光度在约800nm处的近IR造影剂(诸如吲哚菁绿(ICG))的弹丸式注射结合使用。ICG已在一些医学规程中用于测量脑血流量。
使用激光多普勒血流仪的血管成像
在一个方面，从外科部位反射和/或折射的光特性可为来自其照射源的光波长的多普勒频移。
激光多普勒血流仪可用于可视化和表征相对于有效静止背景移动的粒子流。因此，由移动粒子(诸如血细胞)散射的激光可具有与原始照射激光源不同的波长。相比之下，由有效静止背景(例如，血管组织)散射的激光可具有与原始照射激光源相同的波长。来自血细胞的散射光的波长变化可反映血细胞相对于激光源的流动方向以及血细胞速度两者。
图20A-C示出了从血细胞散射的光波长变化，该血细胞可能正远离(图20A)或朝向(图20C)激光源移动。
在图20A-C中的每个图中，原始照射光2502被描绘为相对中心波长为0。从图20A中可以观察到，从远离激光源2504移动的血细胞散射的光具有偏移一定量2506至相对于激光源更大波长的波长(并且因此被红移)。从图20C中还可以观察到，从朝向激光源2508移动的血细胞散射的光具有偏移一定量2510至相对于激光源更短波长的波长(并且因此被蓝移)。波长偏移的量(例如2506或2510)可取决于血细胞的运动速度。在一些方面，一些血细胞的红移(2506)的量可与一些其他血细胞的蓝移(2510)的量大致相同。另选地，一些血细胞的红移(2506)的量可与一些其他血细胞的蓝移(2510)的量不同。因此，基于波长偏移(2506和2510)的相对量值，如图20A所描绘的血细胞远离激光源流动的速度可小于如图26C所描绘的流向激光源的血细胞的速度。相比之下，并且如图26B所描绘，从不相对于激光源移动的组织(例如血管2512或非血管组织2514)散射的光可能不展示任何波长变化。
图21描绘了可用于检测从组织2540的部分散射的激光的多普勒频移的仪器2530的方面。源自激光器2532的光2534可穿过分束器2544。激光2536的一些部分可由分束器2544透射并且可照射组织2540。激光的另一部分可由分束器2544反射2546以投射在检测器2550上。由组织2540背向散射2542的光可由分束器2544引导并且还投射在检测器2550上。源自激光器2532的光2534与由组织2540背向散射的光2542的组合可导致由检测器2550检测到的干涉图案。由检测器2550接收的干涉图案可包括由源自激光器2532的光2534与从组织2540背向散射2452的多普勒频移(并且因此波长偏移)的光的组合产生的干涉条纹。
可以认识到，来自组织2540的背向散射光2542还可包括来自组织2540内的边界层的背向散射光和/或组织2540内的材料对特定于波长的光吸收。因此，在检测器2550处观察到的干涉图案可并入来自这些附加光学效应的干涉条纹特征，并且因此除非正确分析，否则可能混淆多普勒频移的计算。
图22描绘了这些附加光学效应中的一些。众所周知，穿过具有第一折射率n1的第一光学介质的光可在与具有第二折射率n2的第二光学介质的界面处被反射。透射穿过第二光学介质的光将具有相对于界面的透射角，该透射角基于折射率n1与n2之间的差值而不同于入射光的角度(斯涅尔定律)。图22示出了斯涅尔定律对投射在多组分组织2150的表面上的光的影响，如可在外科领域中呈现的。多组分组织2150可由具有折射率n1的外组织层2152和埋入式组织(诸如具有血管壁2156的血管)构成。血管壁2156的特征可在于折射率n2。血液可在血管2160的内腔内流动。在一些方面，可能重要的是，在外科手术期间确定血管2160在外组织层2152的表面2154下方的位置，并且使用多普勒频移技术来表征血流。
入射激光2170a可用于探测血管2160并且可被引导在外组织层2152的顶部表面2154上。入射激光2170a的一部分2172可在顶部表面2154处被反射。入射激光2170a的另一部分2170b可穿透外组织层2152。外组织层2152的顶部表面2154处的反射部分2172具有与入射光2170a相同的路径长度，并且因此具有与入射光2170a相同的波长和相位。然而，透射到外组织层2152中的光的部分2170b将具有与投射到组织表面上的光的入射角不同的透射角，因为外组织层2152具有与空气的折射率不同的折射率n1。
如果光的透射穿过外组织层2152的部分投射在例如血管壁2156的第二组织表面2158上，则光的一些部分2174a、b将朝入射光2170a反射回来。因此，在外组织层2152与血管壁2156之间的界面处反射的光2174a将具有与入射光2170a相同的波长，但由于光路径长度的变化而将发生相移。将来自外组织层2152与血管壁2156之间的界面的反射的光2174a、b连同入射光一起投射在传感器上将基于两个光源之间的相位差来产生干涉图案。
另外，入射光2170c的一部分可透射穿过血管壁2156并穿透到血管腔2160中。入射光2170c的该部分可与血管腔2160中移动的血细胞相互作用，并且可朝投射光源反射回2176a-c，该投射光源具有根据血细胞的速度频移的波长多普勒，如以上所公开。来自移动的血细胞反射的多普勒频移光2176a-c可连同入射光一起投射在传感器上，从而产生具有基于两个光源之间的波长差的条纹图案的干涉图案。
在图22中，如果在发射光与由移动的血细胞反射的光之间不存在折射率变化，则呈现投射在血管腔2160中的红细胞上的光的光路2178。在该示例中，仅可检测到反射光波长的多普勒频移。然而，除了由于多普勒效应引起的波长变化之外，由血细胞(2176a-c)反射的光还可并入由于组织折射率的变化引起的相位变化。
因此，应当理解，如果光传感器接收入射光、从一个或多个组织界面(2172和2174a、b)反射的光和来自血细胞(2176a-c)的多普勒频移光，则因此在光传感器上产生的干涉图案可包括由于多普勒频移引起的效应(波长变化)以及由于组织内的折射率变化引起的效应(相位变化)。因此，如果不补偿由于样本内的折射率变化引起的效应，则由组织样本反射的光的多普勒分析可能产生错误的结果。
图23示出了对投射2250在组织样本上的光的多普勒分析的效应的示例，以确定下层血管的深度和位置。如果血管与组织表面之间不存在居间组织，则在传感器处检测到的干涉图案可能主要是由于从移动的血细胞反射的波长变化。因此，来源于干涉图案的光谱2252通常可仅反映血细胞的多普勒频移。然而，如果在血管与组织表面之间存在居间组织，则在传感器处检测到的干涉图案可能是由于从移动的血细胞反射的波长变化和由于居间组织的折射率引起的相移的组合。来源于此类干涉图案的光谱2254可导致多普勒频移的计算，该多普勒频移的计算由于反射光中的附加相位变化而混淆。在一些方面，如果关于居间组织的特性(厚度和折射率)的信息是已知的，则可校正所得光谱2256以提供对波长变化的更准确的计算。
认识到，光的组织穿透深度取决于所用光的波长。因此，可以选择激光源光的波长以检测组织深度的特定范围内的粒子运动(诸如血细胞)。
图24A-C示意性地描绘了用于基于激光波长检测各种组织深度处的移动的粒子(诸如血细胞)的装置。如图24A所示，激光源2340可将入射激光束2342引导到外科部位的表面2344上。血管2346(诸如静脉或动脉)可以距组织表面某一深度δ设置在组织2348内。激光进入组织2348的穿透深度2350可至少部分地取决于激光波长。因此，波长在约635nm至约660nm的红色范围内的激光可穿透组织2351a至约1mm的深度。波长在约520nm至约532nm的绿色范围内的激光可穿透组织2351b至约2至3mm的深度。波长在约405nm至约445nm的蓝色范围内的激光可穿透组织2351c至约4mm或更深的深度。在图30A至图30C所描绘的示例中，血管2346可位于组织表面下方约2mm至3mm的深度δ处。红色激光不会穿透到这个深度，并且因此将不会检测到在该脉管内流动的血细胞。然而，绿色激光和蓝色激光两者都可以穿透该深度。因此，来自血管2346内的血细胞的散射的绿色激光和蓝色激光可表现出波长的多普勒频移。
图24B示出了反射激光波长的多普勒频移2355可如何出现。投射在组织表面2344上的发射光(或激光源光2342)可具有中心波长2352。例如，来自绿色激光的光的中心波长2352可在约520nm至约532nm范围内。如果光从粒子诸如移动的远离检测器的红细胞反射，则反射绿光的中心波长2354可偏移到较长波长(红移)。发射激光的中心波长2352与发射激光的中心波长2354之间的差值包括多普勒频移2355。
如以上相对于图22和图23所公开的，从组织2348内的结构反射的激光还可示出由于由组织结构或组成的变化引起的折射率变化而引起的反射光的相移。投射到组织表面2344上的发射光(或激光源光2342)可具有第一相位特性2356。反射激光可具有第二相位特性2358。可以认识到，可穿透组织至约4mm或更深的深度2351c的蓝色激光可遇到比红色激光(约1mm 2351a)或绿色激光(约2至3mm 2351b)更多种的组织结构。因此，如图30C所示，反射蓝色激光的相移2358可至少由于穿透深度而为显著的。
图24D示出了以顺序方式通过红色激光2360a、绿色激光2360b和蓝色激光2360c照射组织的方面。在一些方面，可以顺序方式通过红色激光照射2360a、绿色激光照射2360b和蓝色激光照射2360c探测组织。在一些另选示例中，红色激光2360a、绿色激光2360b和蓝色激光2360c的一种或多种组合(如图17D至图17F所描绘并且如以上所公开)可用于根据限定的照明序列照明组织。24D示出了此类照射随时间推移对CMOS成像传感器2362a-d的影响。因此，在第一时间t.sub.1，CMOS传感器2362a可由红色激光2360a照明。在第二时间t.sub.2，CMOS传感器2362b可由绿色激光2360b照明。在第三时间t.sub.3，CMOS传感器2362c可由蓝色激光2360c照明。然后可从第四时间t.sub.4开始重复照明循环，在此时间，CMOS传感器2362d可再次由红色激光2360a照明。可以认识到，通过以不同波长的激光照射对组织进行顺序照射可以允许随着时间在变化的组织深度进行多普勒分析。尽管红色激光源2360a、绿色激光源2360b和蓝色激光源2360c可用于照明外科部位，但是可以认识到，可见光之外(诸如在红外或紫外区域中)的其他波长可用于照明外科部位以用于多普勒分析。
图25示出了使用多普勒成像来检测原本在外科部位2600处存在不可见血管的示例。在图25中，外科医生可能希望切除存在于肺的右上后叶2604中的肿瘤2602。因为肺是高度血管化的，因此必须注意仅识别与肿瘤相关联的那些血管并且仅密封那些血管而不损害流向肺的未受影响部分的血流。在图25中，外科医生已识别肿瘤2604的边缘2606。然后，外科医生可切割边缘区域2606中的初始解剖区域2608，并且可观察暴露的血管2610以用于切割和密封。多普勒成像检测器2620可用于定位和识别解剖区域中不可观察到的血管2612。成像系统可从多普勒成像检测器2620接收数据以用于分析和显示从外科部位2600获取的数据。在一些方面，成像系统可包括显示器以示出外科部位2600，该外科部位包括外科部位2600的可见图像连同隐藏血管2612在外科部位2600的图像上的图像叠层。
在以上关于图25所公开的场景中，外科医生希望切断向肿瘤供应氧气和营养物质的血管，同时保留与非癌组织相关联的血管。另外，血管可设置在外科部位2600中或周围的不同深度处。因此，外科医生必须识别血管的位置(深度)以及确定它们是否适合切除。图26示出了基于来自流经其中的血细胞的光的多普勒频移来识别深部血管的一种方法。如以上所公开，红色激光的穿透深度为约1mm，并且绿色激光的穿透深度为约2mm至3mm。然而，在这些波长下，低于表面深度为4mm或更深的血管将在穿透深度之外。然而，蓝色激光可基于其血流来检测此类血管。
图26描绘了在外科部位下方的特定深度处从血管反射的激光的多普勒频移。该部位可由红色激光、绿色激光和蓝色激光照射。照射光的中心波长2630可归一化为相对中心3631。如果血管位于外科部位的表面下方4mm或更深的深度处，则红色激光和绿色激光将都不会被血管反射。因此，反射红光的中心波长2632和反射绿光的中心波长2634将不会分别与照射红光或绿光的中心波长2630有太大差异。然而，如果该部位由蓝色激光照射，则反射蓝光2636的中心波长2638将不同于照射蓝光的中心波长2630。在一些情况下，反射蓝光2636的振幅也可在照射蓝光的振幅下显著减小。因此，外科医生可确定存在深处血管连同其近似深度，并且从而避免在表面组织解剖期间的深血管。
图27和图28示意性地示出了使用具有不同中心波长(颜色)的激光源来确定外科部位的表面下方的血管的近似深度。图27描绘了具有表面2654的第一外科部位2650和设置在表面2654下方的血管2656。在一种方法中，可基于投射到血管2656内的血细胞流2658上的光的多普勒频移来识别血管2656。外科部位2650可由来自多个激光2670、2676、2682的光照射，每个激光的特征在于发射若干不同中心波长中的一个中心波长的光。如上所述，由红色激光2670进行的照射可仅穿透组织约1mm。因此，如果血管2656位于表面2654下方小于1mm的深度2672处，则红色激光照射将被反射2674，并且可确定反射红色照射2674的多普勒频移。此外，如上所述，由绿色激光2676进行的照射可仅穿透组织约2至3mm。如果血管2656位于表面2654下方约2至3mm的深度2678处，则绿色激光照射将被反射2680，同时红色激光照射2670将不被反射，并且可确定反射绿色照射2680的多普勒频移。然而，如图27所描绘，血管2656位于表面2654下方约4mm的深度2684处。因此，红色激光照射2670和绿色激光照射2676都不会被反射。相反，仅蓝色激光照射将被反射2686，并且可确定反射蓝色照射2686的多普勒频移。
与图27所描绘的血管2656相比，图28所描绘的血管2656'位于更靠近外科部位处的组织表面。血管2656'与血管2656的区别还可在于血管2656'被示出为具有更厚的壁2657。因此，血管2656'可为动脉的示例，而血管2656可为静脉的示例，因为已知动脉壁比静脉壁厚。在一些示例中，动脉壁的厚度可为约1.3mm。如以上所公开，红色激光照明2670'可穿透组织至约1mm的深度2672'。因此，即使血管2656'暴露于外科部位(参见图25的2610)，由于血管壁2657的厚度，在多普勒分析下从血管2656'的表面反射2674'的红色激光也可能无法可视化血管2656'内的血流2658'。然而，如以上所公开，投射到组织表面上的绿色激光2676'可穿透至约2至3mm的深度2678'。此外，投射2682'到组织表面上的蓝色激光可穿透至约4mm的深度2684'。因此，绿色激光可从在血管2656'内流动2658'的血细胞反射2680'，并且蓝色激光可从在血管2656'内流动2658'的血细胞反射2686'。因此，反射绿光2680'和反射蓝光2686'的多普勒分析可提供关于近表面血管中的血流(尤其是血管的大致深度)的信息。
如以上所公开，可基于波长相关多普勒成像来探测外科部位下方的血管深度。通过此类血管的血流量也可通过散斑对比度(干扰)分析来确定。多普勒频移可指示相对于静止光源的移动的粒子。如以上所公开，多普勒波长频移可为粒子运动速度的指示。各个粒子诸如血细胞可能无法单独观察到。然而，每个血细胞的速度将产生成比例的多普勒频移。由于来自血细胞中的每个血细胞的背向散射光的多普勒频移的差异，可通过从多个血细胞背向散射的光的组合来生成干涉图案。干涉图案可为可视化帧内血细胞的数量密度的指示。干涉图案可被称为散斑对比度。散斑对比度分析可使用全帧300乘300CMOS成像阵列来计算，并且散斑对比度可与在给定暴露时间段内与激光相互作用的移动的粒子(例如血细胞)量直接相关。
CMOS图像传感器可耦接到数字信号处理器(DSP)。传感器的每个像素可被复用和数字化。与多普勒频移光相比，可通过观察源激光来分析光中的多普勒频移。更大的多普勒频移和散斑可与更大数量的血细胞及其在血管中的速度相关。
图29描绘了在外科手术期间可由外科医生呈现的复合视觉显示2800的方面。复合视觉显示2800可通过用多普勒分析图像2850叠加外科部位的白光图像2830来构造。
在一些方面，白光图像2830可描绘外科部位2832、一个或多个外科切口2834以及在外科切口2834内随意可见的组织2836。白光图像2830可通过用白光源2838照射2840外科部位2832并且由光学检测器接收反射的白光2842来生成。尽管白光源2838可用于照明外科部位的表面，但是在一个方面，如以上相对于图17C至图17F所公开的，可使用红色激光2854、绿色激光2856和蓝色激光2858的适当组合来使外科部位的表面可视化。
在一些方面，多普勒分析图像2850可包括血管深度信息连同血流信息2852(来自散斑分析)。如以上所公开，血管深度和血流速度可通过以下方式获取：用多个波长的激光照射外科部位，并且基于特定波长的光的已知穿透深度来确定血管深度和血流。一般来讲，外科部位2832可由一个或多个激光器(诸如，红色激光器2854、绿色激光器2856和蓝色激光器2858)发射的光照射。CMOS检测器2872可接收从外科部位2832及其周围组织反射回的光(2862、2866、2870)。可基于来自CMOS检测器2872的多个像素数据的分析来构造2874多普勒分析图像2850。
在一个方面，红色激光器2854可在外科部位2832上发射红色激光照射2860，并且反射光2862可显示出表面或最低限度的表面下结构。在一个方面，绿色激光器2856可在外科部位2832上发射绿色激光照射2864，并且反射光2866可显示出较深的表面下特性。在另一方面，蓝色激光器2858可在外科部位2832上发射蓝色激光照射2868，并且反射光2870可显示出例如较深的血管结构内的血流。另外，散斑对比度分析可向外科医生呈现关于通过较深的血管结构的血流量和速度的信息。
尽管未在图29中示出，但是应当理解，成像系统还可用可见范围之外的光对外科部位进行照明。此类光可包括红外光和紫外光。在一些方面，红外光或紫外光的源可包括宽带波长源(诸如钨源、钨卤素源或氘源)。在一些其他方面，红外光或紫外光的源可包括窄带波长源(IR二极管激光器、UV气体激光器或染料激光器)。
图30为用于确定一块组织中的表面特征的深度的方法的流程图2900。图像采集系统可用具有第一中心频率的第一光束照射组织2910，并且接收来自被第一光束照射的组织的第一反射光2912。然后，图像采集系统可基于第一光束和第一反射光来计算第一多普勒频移2914。然后，图像采集系统可用具有第二中心频率的第二光束照射组织2916，并且接收来自被第二光束照射的组织的第二反射光2918。然后，图像采集系统可基于第二光束和第二反射光来计算第二多普勒频移2920。然后，图像采集系统可至少部分地基于第一中心波长、第一多普勒频移、第二中心波长和第二多普勒频移来计算组织特征的深度2922。在一些方面，组织特征可包括存在移动的粒子(诸如在血管内移动的血细胞)，以及移动的粒子的流动方向和速度。应当理解，该方法可扩展到包括通过任一个或多个附加光束来照射组织。此外，该系统可计算包括组织表面的图像和设置在组织内的结构的图像的组合的图像。
在一些方面，可使用多个视觉显示。例如，3D显示可提供显示组合的白光(或红色激光、绿色激光和蓝色激光的适当组合)和激光多普勒图像的复合图像。附加显示可仅提供白光显示或显示复合白光显示和NIRS显示的显示，以仅可视化组织的血氧合响应。然而，NIRS显示可不需要允许组织响应的每个循环。
使用多光谱OCT的表面下组织表征
在外科手术期间，外科医生可采用“智能”外科装置来对组织进行操纵。此类装置可因为包括基于与其使用相关的参数来引导、控制和/或改变装置的动作的自动化特征而被认为“智能”。这些参数可包括被操纵的组织的类型和/或组成。如果被操纵的组织的类型和/或组成未知，则智能装置的动作可能不适当的用于被操纵的组织。因此，由于智能装置的不适当的设定，组织可能被损伤或者对组织进行操纵可能是低效的。
外科医生可手动尝试以试错法方式改变智能装置的参数，从而导致低效且冗长的外科手术。
因此，期望具有外科可视化系统，该外科可视化系统可探测外科部位下层的组织结构以确定其结构和组成特性，并且将此类数据提供给在外科手术中使用的智能外科器械。
本公开的一些方面还提供了控制电路，该控制电路被配置为使用一个或多个照射源诸如激光源来控制外科部位的照射，以及从一个或多个图像传感器接收成像数据。在一些方面，本公开提供了存储计算机可读指令的非暂态计算机可读介质，这些计算机可读指令在被执行时使得装置表征外科部位处的表面下方的结构并且确定组织表面下方的结构的深度。
在一些方面，外科图像采集系统可包括：多个照射源，其中每个照射源被配置为发射具有指定中心波长的光；光传感器，该光传感器被配置为当组织样本被该多个照射源中的一个或多个照射源照射时接收光的从组织样本反射的部分；以及计算系统。该计算系统可被配置为当组织样本被该多个照射源中的每个照射源照射时从该光传感器接收数据，基于当组织样本被该照射源中的每个照射源照射时由该光传感器接收的数据来计算与组织样本内的结构的特性相关的结构数据，以及传输与结构的特性相关的结构数据，该结构数据将由智能外科装置接收。在一些方面，该结构的特性为表面特性或结构组成。
在一个方面，外科系统可包括多个激光源并且可接收从组织反射的激光。该系统可使用从组织反射的光来计算设置在组织内的部件的表面特性。设置在组织内的部件的特性可包括部件的组成和/或与部件的表面不平度相关的度量。
在一个方面，外科系统可将与部件的组成相关的数据和/或与部件的表面不平度相关的度量传输到待用于组织上的第二器械，以修改第二器械的控制参数。
在一些方面，第二装置可为高级能量装置，并且控制参数的修改可包括夹持压力、操作功率水平、操作频率和换能器信号振幅。
如以上所公开，可基于由在血管内移动的血细胞反射的光的多普勒频移来在外科部位的表面下检测血管。
激光多普勒血流仪可用于可视化和表征相对于有效静止背景移动的粒子流。因此，由移动粒子(诸如血细胞)散射的激光可具有与原始照射激光源不同的波长。相比之下，由有效静止背景(例如，血管组织)散射的激光可具有与原始照射激光源相同的波长。来自血细胞的散射光的波长变化可反映血细胞相对于激光源的流动方向以及血细胞速度两者。如先前所公开的，图20A-C示出了从血细胞散射的光波长变化，该血细胞可能正远离(图20A)或朝向(图20C)激光源移动。
在图20A-C中的每个图中，原始照射光2502被描绘为相对中心波长为0。从图20A中可以观察到，从远离激光源2504移动的血细胞散射的光具有偏移一定量2506至相对于激光源更大波长的波长(并且因此被红移)。从图18C中还可以观察到，从朝向激光源2508移动的血细胞散射的光具有偏移一定量2510至相对于激光源更短波长的波长(并且因此被蓝移)。波长偏移的量(例如2506或2510)可取决于血细胞的运动速度。在一些方面，一些血细胞的红移(2506)的量可与一些其他血细胞的蓝移(2510)的量大致相同。另选地，一些血细胞的红移(2506)的量可与一些其他血细胞的蓝移(2510)的量不同。因此，基于波长偏移(2506和2510)的相对量值，如图24A所描绘的血细胞远离激光源流动的速度可小于如图20C所描绘的流向激光源的血细胞的速度。相比之下，并且如图20B所描绘，从不相对于激光源移动的组织(例如血管2512或非血管组织2514)散射的光可能不展示任何波长变化。
所先前所公开的，图21描绘了可用于检测从组织2540的部分散射的激光的多普勒频移的仪器2530的方面。源自激光器2532的光2534可穿过分束器2544。激光2536的一些部分可由分束器2544透射并且可照射组织2540。激光的另一部分可由分束器2544反射2546以投射在检测器2550上。由组织2540背向散射2542的光可由分束器2544引导并且还投射在检测器2550上。源自激光器2532的光2534与由组织2540背向散射的光2542的组合可导致由检测器2550检测到的干涉图案。由检测器2550接收的干涉图案可包括由源自激光器2532的光2534与从组织2540背向散射2452的多普勒频移(并且因此波长偏移)的光的组合产生的干涉条纹。
可以认识到，来自组织2540的背向散射光2542还可包括来自组织2540内的边界层的背向散射光和/或组织2540内的材料对特定于波长的光吸收。因此，在检测器2550处观察到的干涉图案可并入来自这些附加光学效应的干涉条纹特征，并且因此除非正确分析，否则可能混淆多普勒频移的计算。
可以认识到，从组织反射的光还可包括来自组织内的边界层的背向散射光和/或组织内的材料对特定于波长的光吸收。因此，在检测器处观察到的干涉图案可并入条纹特征，除非正确分析，否则可能混淆多普勒频移的计算。
如先前所公开的，图22描绘了这些附加光学效应中的一些。众所周知，穿过具有第一折射率n1的第一光学介质的光可在与具有第二折射率n2的第二光学介质的界面处被反射。透射穿过第二光学介质的光将具有相对于界面的透射角，该透射角基于折射率n1与n2之间的差值而不同于入射光的角度(斯涅尔定律)。图20示出了斯涅尔定律对投射在多组分组织2150的表面上的光的影响，如可在外科领域中呈现的。多组分组织2150可由具有折射率n1的外组织层2152和埋入式组织(诸如具有血管壁2156的血管)构成。血管壁2156的特征可在于折射率n2。血液可在血管2160的内腔内流动。在一些方面，可能重要的是，在外科手术期间确定血管2160在外组织层2152的表面2154下方的位置，并且使用多普勒频移技术来表征血流。
入射激光2170a可用于探测血管2160并且可被引导在外组织层2152的顶部表面2154上。入射激光2170a的一部分2172可在顶部表面2154处被反射。入射激光2170a的另一部分2170b可穿透外组织层2152。外组织层2152的顶部表面2154处的反射部分2172具有与入射光2170a相同的路径长度，并且因此具有与入射光2170a相同的波长和相位。然而，透射到外组织层2152中的光的部分2170b将具有与投射到组织表面上的光的入射角不同的透射角，因为外组织层2152具有与空气的折射率不同的折射率n1。
如果光的透射穿过外组织层2152的部分投射在例如血管壁2156的第二组织表面2158上，则光的一些部分2174a、b将朝入射光2170a反射回来。因此，在外组织层2152与血管壁2156之间的界面处反射的光2174a将具有与入射光2170a相同的波长，但由于光路径长度的变化而将发生相移。将来自外组织层2152与血管壁2156之间的界面的反射的光2174a、b连同入射光一起投射在传感器上将基于两个光源之间的相位差来产生干涉图案。
另外，入射光2170c的一部分可透射穿过血管壁2156并穿透到血管腔2160中。入射光2170c的该部分可与血管腔2160中移动的血细胞相互作用，并且可朝投射光源反射回2176a-c，该投射光源具有根据血细胞的速度频移的波长多普勒，如以上所公开。来自移动的血细胞反射的多普勒频移光2176a-c可连同入射光一起投射在传感器上，从而产生具有基于两个光源之间的波长差的条纹图案的干涉图案。
在图22中，如果在发射光与由移动的血细胞反射的光之间不存在折射率变化，则呈现投射在血管腔2160中的红细胞上的光的光路2178。在该示例中，仅可检测到反射光波长的多普勒频移。然而，除了由于多普勒效应引起的波长变化之外，由血细胞(2176a-c)反射的光还可并入由于组织折射率的变化引起的相位变化。
因此，应当理解，如果光传感器接收入射光、从一个或多个组织界面(2172和2174a、b)反射的光和来自血细胞(2176a-c)的多普勒频移光，则因此在光传感器上产生的干涉图案可包括由于多普勒频移引起的效应(波长变化)以及由于组织内的折射率变化引起的效应(相位变化)。因此，如果不补偿由于样本内的折射率变化引起的效应，则由组织样本反射的光的多普勒分析可能产生错误的结果。
如先前所公开的，图23示出了对投射2250在组织样本上的光的多普勒分析的效应的示例，以确定下层血管的深度和位置。如果血管与组织表面之间不存在居间组织，则在传感器处检测到的干涉图案可能主要是由于从移动的血细胞反射的波长变化。因此，来源于干涉图案的光谱2252通常可仅反映血细胞的多普勒频移。然而，如果在血管与组织表面之间存在居间组织，则在传感器处检测到的干涉图案可能是由于从移动的血细胞反射的波长变化和由于居间组织的折射率引起的相移的组合。来源于此类干涉图案的光谱2254可导致多普勒频移的计算，该多普勒频移的计算由于反射光中的附加相位变化而混淆。在一些方面，如果关于居间组织的特性(厚度和折射率)的信息是已知的，则可校正所得光谱2256以提供对波长变化的更准确的计算。
可以认识到，无论多普勒效应如何，来自组织的反射光的相移都可提供关于下层组织结构的附加信息。
使用本文所公开的成像技术的外科可视化系统可受益于超高采样和显示频率。采样率可与执行采样的底层装置的能力相关联。具有软件的通用计算系统可与第一范围的可实现采样率相关联。纯硬件具体实施(例如，专用的专用集成电路ASIC)可与第二范围的可实现采样率相关联。与纯硬件具体实施相关联的第二范围通常将高于与通用计算软件具体实施相关联的第一范围(例如，比后者高得多)。
使用本文所公开的成像技术的外科可视化系统可受益于可适应的和/或可更新的成像算法(例如变换和成像处理)。具有软件的通用计算系统可与高度可适应性和/或可升级性相关联。与具有软件的通用计算系统相比，纯硬件具体实施(例如，专用的专用集成电路，ASIC)可与较低的可适应性和/或可升级性相关联。这可能部分地由于与纯硬件具体实施(其中物理地设计、构建、添加和/或交换新的硬件部件)相比，软件可总体容易地适应和/或更新(可包括编译和加载不同的软件和/或更新模块化部件)。
使用本文所公开的成像技术的外科可视化系统可受益于将与基于硬件的具体实施相关联的较高采样率与软件系统的可适应性和/或可更新性两者平衡的解决方案。这种外科可视化系统可采用硬件和软件解决方案的混合。例如，外科可视化系统可采用具有软件选择器的各种硬件实现的变换。外科可视化系统还可采用现场可编程门阵列(FPGA)。FPGA可包括硬件装置，该硬件装置可包括一个或多个逻辑元件。这些逻辑元件可由位流配置以实施各种功能。例如，逻辑元件可被配置成能够执行某些个别逻辑功能，以及被配置成能够根据某种次序和互连来执行这些功能。一旦经配置，FPGA就可使用硬件逻辑元件执行其功能而无需进一步配置。而且，一旦经配置，FPGA就可利用不同位流进行重新配置以实施不同功能。类似地，一旦重新配置，FPGA就可使用硬件逻辑元件执行该不同功能。
图31示出了示例性外科可视化系统10000。外科可视化系统10000可用于分析外科场地的至少一部分。例如，外科可视化系统10000可用于分析外科场地的至少一部分内的组织10002。外科可视化系统10000可包括现场可编程门阵列(FPGA)10004、处理器(例如，位于FPGA 10004本地的处理器10006)、存储器10008、激光照明源10010、光传感器10012、显示器10014和/或与该FGPA远程地布置的处理器10016。外科可视化系统10000可包括结合例如图16A至图16D描述的部件和功能。
系统10000可使用FPGA 10004通过频率变换来转换反射的激光，以识别例如该光的多普勒频移，从而确定移动粒子。该经变换的数据可被显示(例如，实时显示)。例如，它可显示为图形和/或度量10020，表示每秒移动粒子的数量。系统10000可包括位于FPGA 10004本地的处理器10006与同该FGPA远程地布置的处理器10016之间的通信。例如，与FGPA10004远程地布置的处理器10016可聚集数据(例如，数秒的数据)。并且该系统可能够显示该数据聚集。例如，它可被显示为表示移动趋势的图形和/或度量10026。该图形和/或度量10026可被叠加在实时数据上。这种趋势信息可用于识别闭塞、器械血管密封/夹持效率、血管树概览，甚至随时间的振荡运动幅度。FPGA 10004可被配置成能够在运行中更新，例如，能够利用不同(例如，更复杂的)变换来更新。这些更新可来自本地或远程通信服务器。这些更新可例如将变换的分析从折射率(例如，细胞不规则性的分析)改变为血流、改变为多个同时深度分析等。
FPGA更新可包括为用户实现多种成像选项的变换。这些成像选项可包括标准组合的可见光、组织折射率、多普勒频移、运动伪影校正、改善的动态范围、改善的局部清晰度、超分辨率、NIR荧光、多光谱成像、共焦激光显微内镜、光学相干断层扫描、拉曼光谱、光声成像或任何组合。成像选项可包括以下任一项中所呈现的选项中的任一项：提交于2018年3月29日的名称为“DUAL CMOS ARRAY IMAGING”的美国专利申请15/940,742号；提交于2013年7月26日的名称为“WIDE DYNAMIC RANGE USING MONOCHROMATIC SENSOR”的美国专利申请13/952,564号；提交于2014年3月14日的名称为“SUPER RESOLUTION AND COLOR MOTIONARTIFACT CORRECTION IN A PULSED COLOR IMAGING SYSTEM”的美国专利申请14/214,311号；提交于2013年7月26日的名称为“CAMERA SYSTEM WITH MINIMAL AREA MONOLITIC CMOSIMAGE SENSOR”的美国专利申请13/952,550号，每个申请全文以引用方式并入本文。例如，多普勒波长偏移移位可用于识别移动粒子的数量、尺寸、速度和/或方向性。例如，多普勒波长偏移可与多个激光波长一起使用以将组织深度和移动粒子相互关联。例如，组织折射率可用于识别组织浅表和表面下方面的不规则或可变性。在外科实践中，它可有益于识别肿瘤边缘、感染、破裂的表面组织、粘连、组织组成的变化等。NIR荧光可包括系统注射的药物优先被靶组织吸收的技术。当用适当波长的光照明时，靶组织发出荧光并且可通过具有NIR能力的观察器/相机成像。高光谱成像和/或多光谱成像可包括在遍及电磁光谱的许多波长上对组织进行照明和评估，以提供实时图像。它可用于区分靶组织。例如，它还能够实现0mm-10mm的成像深度。共聚焦激光显微内镜(CLE)可使用光来捕获高分辨率、细胞级分辨率而不用穿透到组织中。它可提供组织的实时组织病理学。使用光来从组织内捕获微米分辨率的3D图像的技术。光学相干断层扫描(OCT)可采用NIR光。例如，OCT可使得能够对深度为1mm-2mm的组织进行成像。拉曼光谱可包括测量由组织的单色激光照明引起的光子偏移的技术。它可用于识别某些分子。光声成像可包括使组织经受激光脉冲，使得能量的一部分引起热弹性膨胀和超声发射。这些产生的超声波可被检测和分析以形成图像。
这些更新可基于用户输入或系统兼容性检查而自动进行。系统10000的这些实时、聚集和可更新特征可基于系统配置的任何方面来选择性地启用，诸如系统容量、功率可用性、空闲存储器存取、通信容量、软件级别、分层购买级别等。
激光照明源10010可包括适于分析人体组织的任何激光照明源。例如，激光照明源10010可包括诸如图17A至图17F中示出的源激光发射器的装置。激光照明源10010可使用一个或多个波长的激光来照明组织10002。例如，激光照明源10010可使用红-蓝-绿-紫外1-紫外2-红外组合。具有例如360Hz-480Hz采样和致动速率的该组合将允许每个光源在最终用户60Hz组合帧速率下具有多个帧。具有独立源的激光波长组合可提高单个阵列产生的分辨率并且可实现各种深度穿透。
例如，组织10002可以是外科场地的一部分内的人体组织。激光可从组织10002反射，从而产生反射激光。反射激光可由光传感器10012接收。光传感器10012可被配置成能够接收来自外科场地的至少一部分的反射激光。光传感器10012可被配置成能够接收来自整个外科场地的激光。该光传感器可被配置成能够接收来自外科场地的可选部分的反射激光。例如，诸如外科医生的用户可引导光传感器和光激光照明源和/或激光照明源来分析外科场地的特定部分。
光传感器10012可以是适于感测反射激光并输出对应信息的任何装置。例如，光传感器10012可检测反射激光的一个或多个特性，诸如振幅、频率、波长、多普勒频移和/或其他时域或频域特征。激光传感器10012源可包括结合诸如图16A至图16D所公开的光传感器的装置。
激光传感器10012可包括一个或多个传感器模块10013。传感器模块10013可被配置成能够测量宽范围的波长。例如，传感器模块10013可被调谐和/或过滤以测量特定波长。例如，传感器模块10013可包括离散传感器、传感器集合、传感器阵列、传感器阵列的组合等。例如，传感器模块10013可包括半导体部件，诸如光电二极管、CMOS(互补金属氧化物半导体)图像传感器、CCD(电荷耦合装置)图像传感器等。
激光传感器10012可包括双CMOS阵列。图31B示出了示例性激光传感器10030。激光传感器10030可包括两个传感器模块10032、10034。传感器模块10032、10034可被实现为双并排CMOS阵列。例如，激光传感器10030结合到具有两个传感器模块10032、10034(例如，2个并排4mm传感器)的外科内窥镜10031(例如，7mm直径外科手术镜)的形状因数中。激光传感器10030可被配置成能够使得能够在成像模式之间和/或之中进行切换。模式可包括例如三维立体和二维同时成像(例如，视觉成像与用于折射率分析和/或多普勒分析的成像一起)。模式可包括例如具有更窄或更宽可视化范围的成像。模式可包括例如利用更低或更高分辨率的成像和/或伪影校正。传感器模块10032、10034可包括不同类型的传感器。例如，第一传感器模块10032可以是CMOS装置。并且第二传感器模块10034可以是不同的CMOS装置。CMOS装置的差异可实现光收集能力的更大多样性。例如，不同的CMOS装置可实现更宽的光对比度和/或更好的光收集。例如，相对于第二传感器阵列10034，第一传感器阵列10032可具有更高数量的像素检测器。外科内窥镜10031可包括一个或多个光源10036，例如激光照明源。
图31C是用于多个帧的像素阵列的示例性操作的图形表示。传感器模块(例如CMOS传感器模块)可结合用于光感测的图案和/或技术。与传感器模块的操作相关联的光感测技术可结合滤波。与传感器模块相关联的光感测技术可结合光源的频闪。这些技术的示例可包括本文结合例如图17C和图17D所公开的那些技术。频闪光源的图案可与传感器模块结合使用，以测量反射光并且生成指示反射光的信息。像素阵列可通过用具有不同中心光波长的各种光源(激光或发光二极管)使可视化区域高速快速地频闪来捕获。
频闪可使得传感器捕获与对应波长相关联的相应像素阵列。例如，在第一图案10038中，可频闪红色、绿色和蓝色以及红外(例如近红外)波长的光。例如，这种频闪可使得传感器捕获与红色波长相关联的第一像素10040阵列、与绿色波长相关联的第二像素阵列10042、与蓝色波长相关联的第三像素阵列10044、与绿色波长相关联的第四像素阵列4046、与红外(例如近红外)波长相关联的第五像素阵列10048、与绿色波长相关联的第六像素阵列10050和与蓝色波长相关联的第七像素10052阵列。例如，在第二图案10054中，可频闪红色、绿色和蓝色以及红外(例如近红外)波长的光。例如，这种频闪可使得传感器捕获与红色波长相关联的第八像素10056阵列、与绿色波长相关联的第九像素阵列10058、与蓝色波长相关联的第十像素阵列10060、与绿色波长相关联的第十一像素阵列10062、与紫外波长相关联的第十二像素阵列10064、与绿色波长相关联的第十三像素阵列10066和与蓝色波长相关联的第十四像素10068阵列。
图案(例如第一图案10038和第二图案10054)可与一个或多个传感器模块相关联。图案(例如第一图案10038和第二图案10054)可与如本文所公开的操作模式相关联。图案(例如第一图案10038和第二图案10054)可串行操作。图案(例如第一图案10038和第二图案10054)可并行操作(例如具有适当的消隐)。图案(例如第一图案10038和第二图案10054)可各自与相应传感器模块相关联。图案(例如第一图案10038和第二图案10054)可共同与传感器模块相关联。
如图31A所示，由光传感器10012收集的信息可被传送到FPGA 10004。FPGA 10004可包括适于分析来自光传感器10012的数据的任何可更新的门阵列装置。FPGA 10004可包括一个或多个逻辑元件10018。逻辑元件10018可被配置成能够对传入信息执行变换。FPGA10004可包括适于将表示组织的经分析和/或经处理的数据传递到与FPGA 10016和/或显示器10014远程地布置的处理器的输出。
例如，FPGA 10004的逻辑元件10018可提供信息，该信息可被传递到显示器10014并且被显示为表示由光传感器10012接收的反射激光信息的变换的实时数据或度量10020。该变换可包括用于将从光传感器10012接收的数据变换成指示部分运动的信息的任何数学和/或逻辑运算。例如，该变换可包括快速傅里叶变换(FFT)。
例如，FGPA 10004的逻辑元件10018可直接向显示器10014提供实时数据或度量10020，和/或与位于现场可编程门阵列本地的处理器10006协同地提供该实时数据或度量。实时数据和/或度量10020可包括粒子运动的表示，例如粒子每秒。实时数据和/或度量10020可在显示器10014上显示。实时数据和/或度量10020可显示为叠加在组织10002的可视化上。
例如，FPGA 10004的逻辑元件10018可提供可传递到与FPGA 10004远程地布置的处理器10016以用于聚集和/或处理的信息。与FPGA 10004远程地布置的处理器10016可提供该数据的聚集和分析。例如，与FPGA 10004远程地布置的处理器10016可提供运行平均值和其他聚集技术。与FPGA 10004远程地布置的处理器10016可产生具有可变时间粒度的时间聚集数据。例如，与FPGA 10004远程地布置的处理器10016可聚集来自现场可编程门阵列10004的数秒钟的数据。与FPGA 10004远程地布置的处理器10016可包括适于聚集和分析数据的其他算法10022，诸如最小二乘回归技术，多项式拟合技术，以及如平均、均值、众数、最大值、最小值、方差等的其他统计。与FPGA 10004远程地布置的处理器10016可包括将从光传感器10012接收的信息和/或由FPGA 10004转换的信息与外科手术的其他方面相关的相关算法，这些其他方面包括例如态势感知数据、手术状态、医疗信息、患者结果、其他聚集信息，诸如不良事件，如出血事件。与FPGA 10004远程地布置的处理器10016可包括某些人工智能和/或基于机器学习的算法。例如，先前获取的数据可用作一个或多个人工智能和/或机器学习算法的训练集，以提供各种外科事件与从光传感器10012接收的输入和由FPGA10004转换的输入之间的进一步相关性。由聚集和分析算法产生的信息可被发送到显示器10014(例如，与位于FPGA 10004本地的处理器10006协同地发送)以显示给用户。
显示器10014可包括适于向用户显示信息的任何装置。例如，显示器10014可包括结合图3的监测器135。例如，显示器10014可包括传统的计算机监测器。例如，显示器10014可包括适于向用户显示图像和/或文本数据的任何装置。例如，显示器10014可显示从光传感器10012和/或其他图像传感器接收的图像数据10024以描绘组织10002的视觉表示。显示器10014还可适于向用户提供包括一个或多个已显示数据元素的背景信息。数据元素可包括数据和/或度量的数字或图形表示。例如，度量可包括伴随有单元的图形表示的一个或多个数字。例如，显示器10014可显示实时度量10020，诸如根据FPGA 10004的输出检测到的每秒粒子数量。显示器10014可显示来自与FPGA 10006远程地布置的处理器10016的聚集和分析算法的经处理的度量10026(诸如在持续时间内确定的每秒粒子的变化率)。
包括在FPGA 10004本地的处理器10006可包括适于处理外科可视化系统10000的控制处理的任何装置。例如，位于FPGA本地的处理器10006可包括微处理器、微控制器、FPGA和专用集成电路(ASIC)、片上系统(SOIC)、数字信号处理(DSP)平台、实时计算系统等。
位于FPGA 10004本地的处理器10006可提供外科可视化系统10000的任何子部件的控制操作。例如，位于FPGA 10004本地的处理器10006可控制激光照明源10010的操作。例如，位于FPGA 10004本地的处理器10006可为各种激光序列提供定时。例如，位于FPGA10004本地的处理器10006可提供激光照明源的频率和/或振幅的调制。位于FPGA 10004本地的处理器10006可引导激光照明源采用例如图17A至图17F中所公开的技术中的任一种来进行照明。
位于FPGA 10004本地的处理器10006可适于控制光传感器10012的操作。例如，位于FPGA 10004本地的处理器10006可引导光传感器10012提供特定快门顺序，使得特定的光传感器例如在特定时间打开或关闭。位于FPGA 10004本地的处理器10006指示光传感器10012的特定配置，例如本地曝光、对比度、分辨率、带宽、视场和成像处理。
位于FPGA 10004本地的处理器10006可提供内部联网功能以在外科可视化系统的部件之间引导数据流。例如，位于FPGA 10004本地的处理器10006可将从光传感器10012接收的数据引导到FPGA 10004。位于FPGA 10004本地的处理器10006可提供交换结构和/或引导交换结构以实现从光传感器10012到FPGA 10004的一个或多个逻辑元件10018的适当数据通信。
位于FPGA 10004本地的处理器10006可控制显示器10014的全部或部分操作。例如，位于FPGA 10004本地的处理器10006可提供用于使特定图像数据10024、经处理的数据和/或度量10026和/或实时数据和/或度量10020在显示器10014上显示的指令。
位于FPGA 10004本地的处理器10006可从用户界面(图中未描绘)接收信息。例如，位于FPGA 10004本地的处理器10006可接收图像数据10024上的感兴趣区域的特定选择。为了举例说明，如果外科医生对外科场地的特定区域中的粒子的流动感兴趣，则外科医生可使用用户界面(例如，键盘和鼠标)在显示器上选择感兴趣区域，并且位于FPGA 10004本地的处理器10006将相应地响应。例如，通过使得外科可视化系统确定并显示与由外科医生做出的选择相关联的一个或多个度量。
位于FPGA 10004本地的处理器10006和/或与FPGA 10004远程地布置的处理器10016可单独地或协同地操作以实现FPGA 10004的配置改变。例如，FPGA 10004可包括第一逻辑元件布置以执行数据的第一变换。FPGA 10004可被配置成能够从第一逻辑元件布置转变到第二逻辑元件布置以执行数据的第二变换。例如，位于FPGA 10004本地的处理器10006和/或与FPGA 10004远程地布置的处理器10016可适于调整、重新配置和/或重新布置FPGA10004的逻辑元件10018的布置或配置，使得逻辑元件10018执行第二变换。第二变换可不同于第一变换。第二变换可以是第一变换的变体。为了举例说明该特征，示例性第一变换可包括使用11位有符号整数输入的32点Cooly-TukeyRadix-2实现的快速傅里叶变换(FFT)，第二变换可包括使用12位有符号整数输入的1024点Cooly-TukeyRadix-2实现的FFT。
表示实现不同变换的逻辑元件10028的各种配置的数据可供外科可视化系统使用。例如，与FPGA 10004远程地布置的处理器10016可能已经在数据库中存储了逻辑元件10028的一个或多个配置。这些配置10028可不时更新。这些配置10028可表示各种变换。这些配置10028可表示需要不同级别的硬件和处理资源的变换。例如，它们可包括可由较不复杂的FPGA和/或较复杂的FPGA实现的变换。配置信息10028可包括用于与各种手术和/或组织相关联的变换的配置。例如，配置信息10028可包括新开发的变换和/或根据对聚集数据随时间的分析而开发的变换。为了举例说明这一方面并且在一个示例中，某些变换可被确定为在某些外科手术中出血事件的更好的预测因子；这种相关性可用于进一步细化所述变换，然后在类似的患者数据和/或手术数据要求时促进所述变换的使用。
变换的可升级性可与已购买功能层(例如，已购买软件层)相关联。例如，已购买功能层可使FGPA 10004能够更新和/或可以使某些变换可供外科可视化系统10000使用。例如，已购买功能层与医院、手术室、外科医生、手术、一套仪器和/或特定器械相关联。为了举例说明，外科可视化系统10000可安装在医院中以与默认变换一起使用。默认变换可包括适用于许多手术的一般化变换。在购买升级的功能层时，FPGA 10004可被重新配置以实现另选变换，该另选变换可例如针对特定手术、组织类型或外科医生的偏好而进一步定制。
自适应FPGA更新可启用可变叠层。此类叠层可包括来自另选来源数据集的数据和/或度量。这些数据集可用于给出实时粒子移动和聚集趋势数据的背景。例如，可控制环境参数以影响局部外科部位处的血流和/或炎症。通过监测流体的流动，与FPGA远程地布置的处理器可推荐(或例如自动改变)房间和/或患者设置。这些设置变化可优化外科位置和/或改善装置性能。例如，通过监测血液的流动，用户可接收可视化反馈以了解预成形之前的动作(例如，缝合和/或密封)的结果。可使用诸如升高或降低体温、升高/降低床角度、压力以及压缩袖带放置的设置，连同视觉反馈来引导血液朝向或远离监测位置。
存储器10008可包括适于存储和提供所存储的数据的任何装置。存储器可包括只读存储器(ROM)和/或随机存取存储器(RAM)。例如，存储器10008可包括电可擦除可编程只读存储器(EEPROM)。例如，存储器10008可适用于嵌入式系统。例如，存储器10008适用于存储在外科可视化系统的操作中的任何中间数据产物。存储器10008可适于存储外科可视化系统的配置信息，包括一个或多个命令参数，和/或用于所述逻辑元件的配置信息。存储器10008可适于存储系统参数。存储器10008可适于提供一个或多个缓冲器、寄存器和/或信息的临时存储。
图32示出了用于确定操作模式的示例性方法。在10200处，可收集实时数据。例如，外科可视化系统可收集与组织相关联的实时数据。例如，激光照明源可照明组织，产生反射激光，该反射激光可由光传感器感测并且根据在现场可编程门阵列(FPGA)中的逻辑元件的布置中实现的变换而被变换。该实时数据的收集可被呈现给用户。例如，该实时数据的收集可由位于现场可编程门阵列本地的处理器和/或与现场可编程门阵列远程地布置的处理器来处理和/或存储和/或聚集。
在10202处，控制参数和/或输入可被考虑用于逻辑处理。例如，控制参数和/或输入的这种考虑可用于确定操作是否将以默认操作模式和/或另选操作模式继续。例如，可以基于系统参数来确定关于本地处理和趋势的系统锁定状态。
来自用户的输入和/或控制参数可包括任何数量的参数或适于帮助确定是在默认模式还是在另选模式下操作的任何信息。例如，与本地定位的控制系统的数据交换可用作控制参数。例如，可使用与远程系统进行双向通信的本地控制系统。例如，控制参数可包括具有处理能力存储器能力的任何频带。控制参数可包括软件层的购买。输入可包括来自用户诸如外科医生的用以选择另选变换而不是默认变换的输入。例如，输入可以是选择外科场地的一部分以用于例如特定分析的用户输入。控制参数和/或输入可包括适于指示聚集的启用和/或聚集数据的分析的控制参数和输入。
确定是在默认模式还是在另选模式下操作可包括向用户显示数据的最大能力。确定是在默认模式还是在另选模式下操作可包括经由显示器和用户界面与用户的通知和确认交互。根据是在默认模式还是在另选模式下操作的确定，操作可在10204处在默认模式下继续或在10206处在另选模式下继续。例如，默认操作模式下的操作可包括根据默认变换对实时数据的收集和处理。并且，另选操作模式下的操作可包括例如根据用于实时数据的收集的变换或第二变换或另选变换进行操作。
在具有光生成和成像传感器阵列的外科可视化系统中，检测到的光的变换可将该信息变换成移动粒子尺寸、速率和体积。变换的结果可显示在监测器上。默认变换和/或另选变换可包括各种程序参数。默认变换和/或另选变换产生的输出可耦接到外部处理以确定数据的趋势和聚集。是否在默认操作模式和另选操作模式下操作可包括对显示粒子数据、趋势数据、分层数据等的选择。
图33示出了用于向用户显示实时和趋势信息的示例性方法。光波长的多普勒频移的实时变换可被导出到处理器部件。处理器部件可能够存储数据集的前几秒的量。这些数据集可用作将运动数据聚集成趋势数据的参考。并且，趋势数据可叠加在显示器上以显示实时移动和移动趋势两者。
例如，可将移动趋势与历史数据(例如，来自同一手术内的先前分钟和/或前几小时的本地历史数据、长期历史数据)进行比较。例如，可将移动趋势与来自本地和/或外部源的数据进行比较。比较可提供趋势的背景，例如相对于基线的趋势。例如，可在不同时间从同一患者进行比较。例如，可从一个或多个类似的患者(例如，具有类似相关性状的患者)进行比较。比较可用于告知外科医生决定。
在10300处，可收集实时数据。激光可被显示到外科场地中的组织上并且朝向光传感器反射回来。实时数据可包括由光传感器接收的数据。实时数据可包括反射光的频率和/或波长的表示。
外科场地中的移动粒子可能导致反射光波长的多普勒频移。在10302处，可根据变换来变换实时数据以评估多普勒频移。所得信息可表示移动粒子的各方面，例如速率、速度、体积。在10304处，可将此所得信息显示给用户。
另外，可向用户显示数据和/或系统的最大能力。并且，在10306处，所得信息和/或实时数据可被聚集和/或进一步分析。例如，它可与态势感知一起处理。例如，这可使得能够分离和/或识别血流、间质液、烟雾、微粒、雾、气溶胶等。并且它可使得能够显示所选择的数据而没有来自其他数据类型的噪声。例如，高亮粒子跟踪的用户选择可进行进一步的处理和分析以将显示器聚焦到期望的实时信息、结果信息等。例如，用户可选择要显示的数据的类型，诸如粒子的尺寸、体积、增加速率、粒子组的速度和/或标记组随时间的移动等。所得信息和/或实时数据可被聚集和/或进一步分析以确定例如随时间的趋势，到时间变化率方面(例如，加速度等)的变换，温度、吹入气体类型、激光源、组合激光数据集等的校准和/或调整。聚集和分析可与显示实时信息同时发生。关于移动粒子的信息的聚集和分析可在显示关于移动粒子的实时数据之后的某个时间发生。关于移动粒子的信息的聚集和分析可在不显示关于移动粒子的实时信息的情况下发生。关于移动粒子的信息的聚集和分析可包括适于分析可视化数据的任何数量的算法和我们的分析。
在10308处，可向用户显示从聚集和进一步分析得到的信息(例如，趋势信息)。该趋势信息可被组合成图形趋势动画。该趋势信息可被示出为度量。该趋势信息可叠加在原始移动粒子数据上。
图34描绘了显示实时和/或趋势信息的示例性用户界面。第一用户界面10402包括图像数据。该图像数据可表示外科场地的图像部分2810。图像部分2810可呈现血管树2814的特写视图，使得外科医生可专注于仅解剖感兴趣的血管2815。为了切除感兴趣的血管2815，外科医生可使用智能RF烧灼装置2816。图像数据可通过CMOS图像传感器和/或光传感器来形成。数据也可由入射到该组织上的宽带光和/或激光收集，由光传感器接收，并且通过变换实时处理。该变换的输出可以是度量10404和/或视场的特定部分内每秒运动的粒子数量的其他表示。例如，该度量可表示例如烟、液体、血细胞等的粒子。度量10404可被显示在第一用户界面10402上。
用户界面元素10405可被显示给用户。例如，用户界面元素10405可包括指示外科医生是否想要采用本地和/或远程处理以进一步分析数据的文本框。可能需要满足某些条件才能采用这样的处理。例如，该采用可以软件层的购买为条件。例如，该采用可以带宽和/或处理能力为条件。
根据该采用，趋势信息10406可被显示在第二用户界面10408上。第二用户界面10408可显示在显示器上。例如，趋势数据可包括每平方秒粒子的度量和/或信息图形或其他可视化，诸如图表、图标、图形等。
实时度量10404(例如每秒粒子)和趋势信息10406(例如粒子加速度)可被包括在第二用户界面上。这些信息元素可被显示给用户。例如，实时度量10404和趋势信息10406可被叠加在图像数据上。这样的实时度量10404(例如每秒粒子)和/或趋势信息10406(例如粒子加速度)可对执行血管2815的切除的外科医生有用。
图35描绘了用于外科可视化系统的示例性升级框架。该框架包括2乘2网格。左轴表示输入。底部通道表示变换和/或算法。当执行对外科可视化系统的更新时，该更新可包括对输入的改变，诸如改变例如光的波长、图案、强度。例如，输入的改变可包括从单个波长到多光谱输入的改变。当执行对外科可视化系统的更新时，该更新可包括对变换和/或算法的改变。变换可包括针对处理效率、响应性、能量使用、带宽等来新调整该变换。
如图所示，更新可采取网格内的任何框的形式。更新可包括在变换和/或算法保持不变的情况下改变输入。更新可包括在输入相同的情况下改变变换和/或算法。更新可包括变换和/或算法的改变以及输入的改变。
图36示出了用于重新配置FPGA的示例性方法。在10602处，可使用预定义FPGA变换来变换多光谱成像数据。在10604处，从该变换生成的信息可经受聚集和/或进一步分析。该聚集和进一步分析可识别更适合于特定目的的另选变换。在10606处，系统可请求和/或接收与对变换的更新相关联的输入(例如控制参数)。如果这种输入和/或控制参数指示不更新，那么系统可在10608处继续现有变换。如果系统能够升级，则系统可在10610处获得另选配置。在10612处，可根据该另选配置来重新配置FPGA中的逻辑元件以反映经更新的变换。系统可利用经更新的FPGA变换来恢复多光谱成像。
以下实施方案列表形成了描述的一部分：
1.一种用于分析外科场地的至少一部分的外科可视化系统，所述系统包括：
激光照明源，所述激光照明源被配置成能够用激光照明所述外科场地的所述至少一部分；
光传感器，所述光传感器被配置成能够接收反射激光；
现场可编程门阵列，所述现场可编程门阵列包括可配置的逻辑元件，其中所述现场可编程门阵列被配置成能够根据由逻辑元件的第一配置实现的第一变换，将指示所述反射激光的信息变换为指示在所述外科场地的所述至少一部分中的移动粒子的信息；
显示器，所述显示器被配置成能够显示输出，所述输出表示指示在所述外科场地的所述至少一部分中的移动粒子的所述信息；和
处理器，所述处理器被配置成能够接收输入，并且基于所述输入，将所述逻辑元件配置为逻辑元件的第二配置，使得所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的第二变换来变换指示所述反射激光的信息。
2.根据实施方案1所述的外科可视化系统，其中，所述处理器包括第一处理器，并且其中所述系统还包括与所述现场可编程门阵列远程地布置的第二处理器，所述第二处理器被配置成能够接收指示在所述外科场地的所述至少一部分中的移动粒子的信息以及将所述第二配置发送到所述处理器。
3.根据实施方案1所述的外科可视化系统，其中，所述反射激光是多光谱的，其中所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示由多光谱的所述反射激光赋予的深度测定的聚集的信息。
4.根据实施方案1所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示折射率的信息。
5.根据实施方案1所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示血流的多个深度的信息。
6.根据实施方案1所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示多个深度的加权表示的信息。
7.根据实施方案1所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示折射率和粒子移动的信息。
8.根据实施方案1所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示当前折射率和当前粒子移动与先前折射率和先前粒子移动的比较的信息。
9.根据实施方案1所述的外科可视化系统，其中，所述输入是控制参数，所述控制参数指示与用户或器械中的任一者相关联的已购买功能层。
10.根据实施方案1所述的外科可视化系统，其中，所述处理器在空闲时间监测所述现场可编程门阵列，并且在所述空闲时间的期间根据所述第二配置来配置所述现场可编程门阵列。
11.根据实施方案1所述的外科可视化系统，其中，所述输入是指示根据所述第一变换的所述外科场地的所述至少一部分中的移动粒子的所述信息与严重出血事件相关并且所述第二变换可用的指示。
12.一种用于分析外科场地的至少一部分的外科可视化系统，所述系统包括：
存储器，所述存储器中存储有与第一变换相关联的第一配置、与第二变换相关联的第二配置，以及多普勒信息和相关外科结果的聚集；
处理器，所述处理器被配置成能够接收指示所述外科场地的所述至少一部分中的移动粒子的信息，所述信息是现场可编程门阵列将所述第一变换应用于指示所述外科场地的所述至少一部分中的反射激光的信息的结果，其中所述处理器被进一步配置成能够基于所述信息与所述多普勒信息和相关外科结果的聚集的相关性来选择所述第二变换，以及将所述第二配置发送到所述现场可编程门阵列。
13.根据实施方案12所述的外科可视化系统，其中，所述反射激光是多光谱的，所述第二变换将指示所述反射激光的信息变换为指示由多光谱的所述反射激光赋予的深度测定的聚集的信息。
14.根据实施方案12所述的外科可视化系统，其中，所述第二变换将指示所述反射激光的信息变换为指示折射率的信息。
15.根据实施方案12所述的外科可视化系统，其中，所述第二变换将指示所述反射激光的信息变换为指示血流的多个深度的信息。
16.根据实施方案12所述的外科可视化系统，其中，所述第二变换将指示所述反射激光的信息变换为指示多个深度的加权表示的信息。
17.根据实施方案12所述的外科可视化系统，其中，到所述处理器的指示与用户或器械中的任一者相关联的已购买功能层的输入是选择所述第二变换的条件。
18.根据实施方案12所述的外科可视化系统，其中，所述相关性是与严重出血事件的相关性。
19.一种用于分析外科场地的至少一部分的外科可视化系统，所述系统包括：
激光照明源，所述激光照明源被配置成能够用激光照明所述外科场地的所述至少一部分；
光传感器，所述光传感器被配置成能够接收反射激光；和
现场可编程门阵列，所述现场可编程门阵列包括可配置的逻辑元件，
其中，在第一操作模式下，所述现场可编程门阵列被配置成能够根据由逻辑元件的第一配置实现的第一变换来变换指示所述反射激光的信息，并且
其中，在第二操作模式下，所述现场可编程门阵列被配置成能够根据由逻辑元件的第二配置实现的第二变换来变换指示所述反射激光的信息。
20.根据实施方案19所述的外科可视化系统，还包括处理器，所述处理器被配置成能够基于到所述处理器的输入来选择所述现场可编程门阵列的所述第一操作模式和所述第二操作模式中的任一者，所述输入指示与用户或器械中的任一者相关联的已购买功能层。

Claims (31)

1.一种用于分析外科场地的至少一部分的外科可视化系统，所述系统包括：
激光照明源，所述激光照明源被配置成能够用激光照明所述外科场地的所述至少一部分；
光传感器，所述光传感器被配置成能够接收反射激光；
现场可编程门阵列，所述现场可编程门阵列包括可配置的逻辑元件，其中所述现场可编程门阵列被配置成能够根据由逻辑元件的第一配置实现的第一变换，将指示所述反射激光的信息变换为指示在所述外科场地的所述至少一部分中的移动粒子的信息；
显示器，所述显示器被配置成能够显示输出，所述输出表示指示在所述外科场地的所述至少一部分中的移动粒子的所述信息；和
处理器，所述处理器被配置成能够接收输入，并且基于所述输入，将所述逻辑元件配置为逻辑元件的第二配置，使得所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的第二变换来变换指示所述反射激光的信息。
2.根据权利要求1所述的外科可视化系统，其中，所述处理器包括第一处理器，并且其中所述系统还包括与所述现场可编程门阵列远程地布置的第二处理器，所述第二处理器被配置成能够接收指示在所述外科场地的所述至少一部分中的移动粒子的所述信息以及将所述第二配置发送到所述第一处理器，并且其中所述第一处理器能够操作以将所述逻辑元件配置为所述逻辑元件的第二配置。
3.根据权利要求1或权利要求2所述的外科可视化系统，其中，所述反射激光是多光谱的，其中所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的所述信息变换为指示由多光谱的所述反射激光赋予的深度测定的聚集的信息。
4.根据权利要求1或权利要求2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示折射率的信息。
5.根据权利要求1或权利要求2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示移动粒子的多个深度的信息。
6.根据权利要求5所述的外科可视化系统，其中，指示移动粒子的多个深度的所述信息是指示血流的多个深度的信息。
7.根据权利要求1或权利要求2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示多个深度的加权表示的信息。
8.根据权利要求1或权利要求2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示折射率和粒子移动的信息。
9.根据权利要求1或权利要求2所述的外科可视化系统，其中，所述现场可编程门阵列被配置成能够根据由所述逻辑元件的第二配置实现的所述第二变换，将指示所述反射激光的信息变换为指示当前折射率和当前粒子移动与先前折射率和先前粒子移动的比较的信息。
10.根据权利要求1至9中任一项所述的外科可视化系统，其中，所述输入是控制参数，所述控制参数指示与用户或器械中的任一者相关联的功能层。
11.根据权利要求1至10中任一项所述的外科可视化系统，其中，所述处理器在空闲时间监测所述现场可编程门阵列，并且在所述空闲时间的期间根据所述第二配置来配置所述现场可编程门阵列。
12.根据权利要求1至11中任一项所述的外科可视化系统，其中，所述输入是指示根据所述第一变换的所述外科场地的所述至少一部分中的移动粒子的所述信息与临床事件相关并且所述第二变换可用的指示。
13.根据权利要求12所述的外科可视化系统，其中，所述临床事件是严重出血事件。
14.一种用于分析外科场地的至少一部分的外科可视化系统，所述系统包括：
存储器，所述存储器中存储有与第一变换相关联的第一配置、与第二变换相关联的第二配置，以及多普勒信息和相关外科结果的聚集；
处理器，所述处理器被配置成能够接收指示所述外科场地的所述至少一部分中的移动粒子的信息，所述信息是现场可编程门阵列将所述第一变换应用于指示所述外科场地的所述至少一部分中的反射激光的信息的结果，其中所述处理器被进一步配置成能够基于所述信息与所述多普勒信息和相关外科结果的聚集的相关性来选择所述第二变换，以及将所述第二配置发送到所述现场可编程门阵列。
15.根据权利要求14所述的外科可视化系统，其中，所述反射激光是多光谱的，所述第二变换将指示所述反射激光的信息变换为指示由多光谱的所述反射激光赋予的深度测定的聚集的信息。
16.根据权利要求14所述的外科可视化系统，其中，所述第二变换将指示所述反射激光的信息变换为指示折射率的信息。
17.根据权利要求14所述的外科可视化系统，其中，所述第二变换将指示所述反射激光的信息变换为指示移动粒子的多个深度的信息，优选地，其中指示移动粒子的多个深度的所述信息是指示血流的多个深度的信息。
18.根据权利要求14所述的外科可视化系统，其中，所述第二变换将指示所述反射激光的信息变换为指示多个深度的加权表示的信息。
19.根据权利要求14所述的外科可视化系统，其中，到所述处理器的指示与用户或器械中的任一者相关联的功能层的输入是选择所述第二变换的条件。
20.根据权利要求14所述的外科可视化系统，其中，所述相关性是与特定临床事件的相关性，优选地其中所述特定临床事件是严重出血事件。
21.一种用于分析外科场地的至少一部分的外科可视化系统，所述系统包括：
激光照明源，所述激光照明源被配置成能够用激光照明所述外科场地的所述至少一部分；
光传感器，所述光传感器被配置成能够接收反射激光；和
现场可编程门阵列，所述现场可编程门阵列包括可配置的逻辑元件，
其中，在第一操作模式下，所述现场可编程门阵列被配置成能够根据由逻辑元件的第一配置实现的第一变换来变换指示所述反射激光的信息，并且
其中，在第二操作模式下，所述现场可编程门阵列被配置成能够根据由逻辑元件的第二配置实现的第二变换来变换指示所述反射激光的信息。
22.根据权利要求21所述的外科可视化系统，还包括处理器，所述处理器被配置成能够基于到所述处理器的输入来选择所述现场可编程门阵列的所述第一操作模式和所述第二操作模式中的任一者，所述输入指示与用户或器械中的任一者相关联的功能层。
23.根据权利要求1至13、21和22中任一项所述的系统，其中，所述光传感器提供指示所述反射激光的所述信息。
24.根据权利要求1至22中任一项所述的系统，其中，指示所述反射激光的所述信息包括振幅、频率、波长、多普勒频移和/或其他时域或频域特征中的一者或多者。
25.根据权利要求1至14中任一项所述的系统，其中，指示移动粒子的所述信息包括每单位时间移动粒子的数量、粒子速率、粒子速度和/或体积中的一者或多者。
26.根据权利要求3、7、15和18中任一项所述的外科可视化系统，其中，指示所述反射激光的所述信息包括波长信息，并且其中所述变换基于与至少一个深度相关联的至少一个波长来推断指示深度的信息。
27.根据权利要求4、8、9和16中任一项所述的外科可视化系统，其中，指示所述反射激光的所述信息包括相位信息，并且其中所述变换至少基于所述相位信息来推断指示折射率的信息。
28.根据权利要求25所述的外科可视化系统，其中，所述相位信息为干涉图案。
29.根据权利要求5、6、9和17中任一项所述的外科可视化系统，其中，指示所述反射激光的所述信息包括波长信息，其中多光谱激光的波长与所述外科场地的所述至少一部分中的特定深度相关联，其中所述波长的多普勒频移与所述深度处的移动粒子的速度相关联，并且其中所述变换基于与至少一个深度相关联的波长的至少一个多普勒频移来推断指示信息。
30.根据权利要求12或权利要求13所述的外科可视化系统，其中，与所述现场可编程门阵列远程地布置的第二处理器通过执行指示所述外科场地的所述至少一部分中的移动粒子的所述信息与在手术期间先前获取的对应信息和/或与在其他手术期间获取的对应信息的比较，来提供所述指示。
31.根据权利要求12或权利要求13所述的外科可视化系统，其中，所述第二处理器与所述现场可编程门阵列远程地布置，所述第二处理器使用人工智能和/或基于机器学习的算法来关联指示所述外科场地的所述至少一部分中的移动粒子的所述信息。
CN202180080824.2A 2020-10-02 2021-09-29 现场可编程外科可视化系统 Pending CN116685255A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/062,523 2020-10-02
US17/062,523 US20220104908A1 (en) 2020-10-02 2020-10-02 Field programmable surgical visualization system
PCT/IB2021/058893 WO2022070060A1 (en) 2020-10-02 2021-09-29 Field programmable surgical visualization system

Publications (1)

Publication Number Publication Date
CN116685255A true CN116685255A (zh) 2023-09-01

Family

ID=78085977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180080824.2A Pending CN116685255A (zh) 2020-10-02 2021-09-29 现场可编程外科可视化系统

Country Status (5)

Country Link
US (1) US20220104908A1 (zh)
EP (1) EP4037540A1 (zh)
JP (1) JP2023544359A (zh)
CN (1) CN116685255A (zh)
WO (1) WO2022070060A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11883052B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International End effector updates
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11911030B2 (en) 2020-10-02 2024-02-27 Cilag Gmbh International Communication capability of a surgical device with component
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11877792B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Smart energy combo control options

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
US7317955B2 (en) * 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
US7538859B2 (en) * 2006-02-01 2009-05-26 The General Hospital Corporation Methods and systems for monitoring and obtaining information of at least one portion of a sample using conformal laser therapy procedures, and providing electromagnetic radiation thereto
US10646160B2 (en) * 2012-01-19 2020-05-12 Technion Research & Development Foundation Limited Vessel imaging system and method
IN2015MN00022A (zh) 2012-07-26 2015-10-16 Olive Medical Corp
US9743016B2 (en) 2012-12-10 2017-08-22 Intel Corporation Techniques for improved focusing of camera arrays
US9345481B2 (en) 2013-03-13 2016-05-24 Ethicon Endo-Surgery, Llc Staple cartridge tissue thickness sensor system
WO2014145249A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Controlling the integral light energy of a laser pulse
AU2014373656B2 (en) * 2013-12-31 2019-12-05 Cornell University Systems, methods, and apparatus for multichannel imaging of fluorescent sources in real time
US11607239B2 (en) 2016-04-15 2023-03-21 Cilag Gmbh International Systems and methods for controlling a surgical stapling and cutting instrument
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control

Also Published As

Publication number Publication date
EP4037540A1 (en) 2022-08-10
JP2023544359A (ja) 2023-10-23
WO2022070060A1 (en) 2022-04-07
US20220104908A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
US20210212602A1 (en) Dual cmos array imaging
US20240156326A1 (en) Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11100631B2 (en) Use of laser light and red-green-blue coloration to determine properties of back scattered light
CN116507263A (zh) 分层访问外科可视化系统
US20220104908A1 (en) Field programmable surgical visualization system
US20220104765A1 (en) Surgical visualization and particle trend analysis system
US11963683B2 (en) Method for operating tiered operation modes in a surgical system
US11096693B2 (en) Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11601232B2 (en) Redundant communication channels and processing of imaging feeds
CN116724358A (zh) 多个外科显示器上的交互式信息覆盖
CN116635946A (zh) 协作性外科显示器
CN116569277A (zh) 用于外科医生控制的辅助显示器和主显示器的通信控制
CN116670777A (zh) 具有可变互连能力的外科集线器
WO2023002384A1 (en) Cooperative composite video streams layered onto the surgical site and instruments
CN118019507A (zh) 冗余通信信道和对成像馈送的处理
EP4277562A1 (en) Redundant communication channels and processing of imaging feeds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination