CN115087406A - 根据手术烟雾云特征的自适应外科系统控制 - Google Patents

根据手术烟雾云特征的自适应外科系统控制 Download PDF

Info

Publication number
CN115087406A
CN115087406A CN202080091290.9A CN202080091290A CN115087406A CN 115087406 A CN115087406 A CN 115087406A CN 202080091290 A CN202080091290 A CN 202080091290A CN 115087406 A CN115087406 A CN 115087406A
Authority
CN
China
Prior art keywords
surgical
tissue
control
imaging
emr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091290.9A
Other languages
English (en)
Inventor
F·E·谢尔顿四世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cilag GmbH International
Original Assignee
Cilag GmbH International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cilag GmbH International filed Critical Cilag GmbH International
Publication of CN115087406A publication Critical patent/CN115087406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/1206—Generators therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1442—Probes having pivoting end effectors, e.g. forceps
    • A61B18/1445—Probes having pivoting end effectors, e.g. forceps at the distal end of a shaft, e.g. forceps or scissors at the end of a rigid rod
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/148—Probes or electrodes therefor having a short, rigid shaft for accessing the inner body transcutaneously, e.g. for neurosurgery or arthroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/1206—Generators therefor
    • A61B18/1233—Generators therefor with circuits for assuring patient safety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320068—Surgical cutting instruments using mechanical vibrations, e.g. ultrasonic
    • A61B2017/320072—Working tips with special features, e.g. extending parts
    • A61B2017/320074—Working tips with special features, e.g. extending parts blade
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00642—Sensing and controlling the application of energy with feedback, i.e. closed loop control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00696—Controlled or regulated parameters
    • A61B2018/00702—Power or energy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00696—Controlled or regulated parameters
    • A61B2018/00726—Duty cycle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00773—Sensed parameters
    • A61B2018/00791—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00898—Alarms or notifications created in response to an abnormal condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00994—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combining two or more different kinds of non-mechanical energy or combining one or more non-mechanical energies with ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/1815—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using microwaves
    • A61B2018/1823—Generators therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/304—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using chemi-luminescent materials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2218/00—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2218/001—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body having means for irrigation and/or aspiration of substances to and/or from the surgical site
    • A61B2218/002—Irrigation
    • A61B2218/006—Irrigation for smoke evacuation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2218/00—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2218/001—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body having means for irrigation and/or aspiration of substances to and/or from the surgical site
    • A61B2218/007—Aspiration
    • A61B2218/008—Aspiration for smoke evacuation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Otolaryngology (AREA)
  • Plasma & Fusion (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Endoscopes (AREA)
  • Electromagnetism (AREA)
  • Surgical Instruments (AREA)
  • Respiratory Apparatuses And Protective Means (AREA)

Abstract

公开了用于根据检测到的气载微粒云特征来控制外科系统的各种控制系统。控制系统可以根据在外科部位检测到的手术烟雾云或另一种气溶胶的配置或状态变化，自适应地控制各种外科装置(如外科器械和排烟器)。

Description

根据手术烟雾云特征的自适应外科系统控制
背景技术
外科系统通常结合有成像系统，该成像系统可允许临床医生例如在一个或多个显示器(诸如监视器)上观看外科部位和/或其一个或多个部分。显示器可以是手术室本地的和/或远程的。成像系统可包括具有相机的观察镜，该观察镜观看外科部位并将视图传输到临床医生可观看的显示器。观察镜包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜和外镜。成像系统可受到它们能够识别和/或传达给临床医生的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。另外，某些成像系统可能无法在术中将某些信息传送和/或传达给临床医生。
发明内容
在一个一般方面，公开了一种用于外科系统的控制系统。该控制系统包括成像系统和控制电路，该控制电路联接到该成像系统。该成像系统包括被配置成能够发射多光谱电磁辐射(EMR)的发射器。所述控制电路被配置成能够基于所发射的EMR经由所述图像传感器检测气载微粒，表征包含所检测到的气载微粒的微粒云的边界，并且根据所述微粒云的边界的特征调整所述外科系统的控制参数。
在另一个一般方面，公开了一种用于外科系统的控制系统。该控制系统包括成像系统和控制电路，该控制电路联接到该成像系统。该成像系统包括多光谱电磁辐射(EMR)源和图像传感器。该控制电路被配置成能够检测由图像传感器接收的从气溶胶中的微粒反射的EMR，表征包含检测到的微粒的气溶胶的配置，并根据气溶胶的所表征的配置调整外科系统的第一控制参数或第二控制参数中的至少一者。
在又另一个一般方面，公开了一种控制外科系统的方法。该外科系统包括成像系统，该成像系统包括被配置成能够发射多光谱电磁辐射(EMR)的发射器和图像传感器。该方法包括以下步骤：基于发射的EMR经由图像传感器检测气载微粒，表征包含检测到的气载微粒的微粒云的边界，并且根据微粒云的边界的特征调整外科系统的控制参数。
附图说明
各种方面的新型特征在随附权利要求书中具体阐述。然而，关于组织和操作方法两者的所述方面可通过结合附图参照以下描述最好地理解，其中：
图1是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。
图2是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。
图2A示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的控制电路。
图2B示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的组合逻辑电路。
图2C示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的时序逻辑电路。
图3是根据本公开的至少一个方面的描绘在图1的外科装置、成像装置与关键结构之间进行三角测量以确定关键结构在组织表面下方的深度dA的示意图。
图4是根据本公开的至少一个方面的被配置成能够识别组织表面下方的关键结构的外科可视化系统的示意图，其中该外科可视化系统包括用于确定关键结构在组织表面下方的深度dA的脉冲光源。
图5是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。
图6是根据本公开的至少一个方面的包括三维相机的外科可视化系统的示意图，其中该外科可视化系统被配置成能够识别嵌入组织内的关键结构。
图7A和图7B是根据本公开的至少一个方面的由图6的三维相机拍摄的关键结构的视图，其中图7A是来自三维相机的左侧透镜的视图，并且图7B是来自三维相机的右侧透镜的视图。
图8是根据本公开的至少一个方面的图6的外科可视化系统的示意图，其中可确定从三维相机到关键结构的相机-关键结构距离dw。
图9是根据本公开的至少一个方面的利用两个相机来确定嵌入关键结构的方位的外科可视化系统的示意图。
图10A是根据本公开的至少一个方面的利用相机的外科可视化系统的示意图，该相机在多个已知方位之间轴向运动以确定嵌入关键结构的方位。
图10B是根据本公开的至少一个方面的图10A的外科可视化系统的示意图，其中相机在多个已知方位之间轴向且旋转运动以确定嵌入关键结构的方位。
图11是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。
图12是根据本公开的至少一个方面的用于外科可视化系统的结构化光源的示意图。
图13A是根据本公开的至少一个方面的各种生物材料的吸收系数不同波长的曲线图。
图13B是根据本公开的至少一个方面的通过光谱外科可视化系统对解剖结构进行可视化的示意图。
图13C至图13E描绘了根据本公开的至少一个方面的用于区分解剖结构与遮蔽物的例示性高光谱识别特征，其中图13C是输尿管特征与遮蔽物的图形表示，图13D是动脉特征与遮蔽物的图形表示，并且图13E是神经特征与遮蔽物的图形表示。
图14是根据本公开的至少一个方面的被配置成能够感测离关键解剖结构的距离的近红外(NIR)飞行时间测量系统的示意图，该飞行时间测量系统包括定位在公共装置上的传输器(发射器)和接收器(传感器)。
图15是根据本公开的至少一个方面的图17A的NIR飞行时间测量系统的发射波、接收波以及发射波与接收波之间的延迟的示意图。
图16示出了根据本公开的至少一个方面的被配置成能够感测离不同结构的距离的NIR飞行时间测量系统，该飞行时间测量系统包括单独装置上的传输器(发射器)和接收器(传感器)。
图17是根据本公开的至少一个方面的由计算机实现的交互式外科系统的框图。
图18是根据本公开的至少一个方面的用于在手术室中执行外科手术的外科系统。
图19示出了根据本公开的至少一个方面的由计算机实现的交互式外科系统。
图20示出了根据本公开的至少一个方面的态势感知外科系统的图。
图21示出了根据本公开的至少一个方面的描绘集线器的态势感知的时间轴。
图22是根据本公开的至少一个方面的在执行外科手术期间的外科系统的图。
图23是根据本公开的至少一个方面的面对多个遮蔽物的成像装置的图。
图24是根据本公开的至少一个方面的利用多光谱EMR源生成融合图像的过程的逻辑流程图。
图25是根据本公开的至少一个方面的从多光谱EMR源生成的融合图像的图。
图26是根据本公开的至少一个方面的利用多个图像帧生成融合图像的过程的逻辑流程图。
图27是根据本公开的至少一个方面的一系列图像帧的图。
图28是根据本公开的至少一个方面的融合图像的图。
图29是根据本公开的至少一个方面的对用户可视化的融合图像的图。
图30是根据本公开的至少一个方面的外科器械的示意图。
图31是根据本公开的至少一个方面的基于多个感测参数控制外科系统的过程的逻辑流程图。
图32是根据本公开的至少一个方面的用于检测不同微粒类型的偏振EMR源的图。
图33A是根据本发明的至少一个方面的根据检测到的微粒类型控制外科系统的过程的逻辑流程图。
图33B是根据本发明的至少一个方面的根据在限定的距离选通内检测到的微粒类型来控制外科系统的过程的逻辑流程图。
图34A是根据本公开的至少一个方面的检测气载微粒的图像传感器的像素阵列。
图34B是根据本公开的至少一个方面的检测已经从图34A所示的位置移动的气载微粒的图像传感器的像素阵列。
图34C是根据本公开的至少一个方面的图像传感器的像素阵列，其指示图34B中所示的微粒的广义运动矢量。
图35示出了根据本公开的至少一个方面的对应于图34A-图34C的气载微粒云状态的变化。
图36是根据本公开的至少一个方面的在执行正在生成微粒云的外科手术期间的外科系统的图。
图37是根据本公开的至少一个方面的根据微粒云特征控制外科系统的过程的逻辑流程图。
图38是根据本公开的至少一个方面的示出了基于微粒云特征的控制参数调整的一系列曲线图。
具体实施方式
本申请的申请人拥有以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：
·代理人案卷号END9228USNP1/190580-1M，其名称为“METHOD OF USING IMAGINGDEVICES IN SURGERY”；
·代理人案卷号END9227USNP1/190579-1，其名称为“ADAPTIVE VISUALIZATIONBY A SURGICAL SYSTEM”；
·代理人案卷号END9226USNP1/190578-1，其名称为“SURGICAL SYSTEM CONTROLBASED ON MULTIPLE SENSED PARAMETERS”；
·代理人案卷号END9225USNP1/190577-1，其名称为“ADAPTIVE SURGICAL SYSTEMCONTROL ACCORDING TO SURGICAL SMOKE PARTICLE CHARACTERISTICS”；
·代理人案卷号END9223USNP1/190575-1，其名称为“SURGICAL SYSTEMSCORRELATING VISUALIZATION DATA AND POWERED SURGICAL INSTRUMENT DATA”；
·代理人案卷号END9222USNP1/190574-1，其名称为“SURGICAL SYSTEMS FORGENERATING THREE DIMENSIONAL CONSTRUCTS OF ANATOMICAL ORGANS AND COUPLINGIDENTIFIED”；
·代理人案卷号END9221USNP1/190573-1，其名称为“SURGICAL SYSTEM FOROVERLAYING SURGICAL INSTRUMENT DATA ONTO A VIRTUAL THREE DIMENSIONALCONSTRUCT OF AN ORGAN”；
·代理人案卷号END9220USNP1/190572-1，其名称为“SURGICAL SYSTEMS FORPROPOSING AND CORROBORATING ORGAN PORTION REMOVALS”；
·代理人案卷号END9219USNP1/190571-1，其名称为“SYSTEM AND METHOD FORDETERMINING,ADJUSTING,AND MANAGING RESECTION MARGIN ABOUT A SUBJECT TISSUE”；
·代理人案卷号END9218USNP1/190570-1，其名称为“VISUALIZATION SYSTEMSUSING STRUCTURED LIGHT”；
·代理人案卷号END9217USNP1/190569-1，其名称为“DYNAMIC SURGICALVISUALIZATION SYSTEMS”；以及
·代理人案卷号END9216USNP1/190568-1，其名称为“ANALYZING SURGICALTRENDS BY A SURGICAL SYSTEM”。
本申请的申请人拥有于2019年3月15日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：
·美国专利申请序列号16/354,417，其名称为“INPUT CONTROLS FOR ROBOTICSURGERY”；
·美国专利申请序列号16/354,420，其名称为“DUAL MODE CONTROLS FORROBOTIC SURGERY”；
·美国专利申请序列号16/354,422，其名称为“MOTION CAPTURE CONTROLS FORROBOTIC SURGERY”；
·美国专利申请序列号16/354,440，其名称为“ROBOTIC SURGICAL SYSTEMS WITHMECHANISMS FOR SCALING SURGICAL TOOL MOTION ACCORDING TO TISSUE PROXIMITY”；
·美国专利申请序列号16/354,444，其名称为“ROBOTIC SURGICAL SYSTEMS WITHMECHANISMS FOR SCALING CAMERA MAGNIFICATION ACCORDING TO PROXIMITY OFSURGICAL TOOL TO TISSUE”；
·美国专利申请序列号16/354,454，其名称“ROBOTIC SURGICAL SYSTEMS WITHSELECTIVELY LOCKABLE END EFFECTORS”；
·美国专利申请序列号16/354,461，其名称为“SELECTABLE VARIABLE RESPONSEOF SHAFT MOTION OF SURGICAL ROBOTIC SYSTEMS”；
·美国专利申请序列号16/354,470，其名称为“SEGMENTED CONTROL INPUTS FORSURGICAL ROBOTIC SYSTEMS”；
·美国专利申请序列号16/354,474，其名称为“ROBOTIC SURGICAL CONTROLSHAVING FEEDBACK CAPABILITIES”；
·美国专利申请序列号16/354,478，其名称“ROBOTIC SURGICAL CONTROLS WITHFORCE FEEDBACK”；以及
·美国专利申请序列号16/354,481，其名称为“JAW COORDINATION OF ROBOTICSURGICAL CONTROLS”。
本申请的申请人还拥有2018年9月11日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：
·美国专利申请序列号16/128,179，其名称为“SURGICAL VISUALIZATIONPLATFORM”；
·美国专利申请序列号16/128,180，其名称为为“CONTROLLING AN EMITTERASSEMBLY PULSE SEQUENCE”；
·美国专利申请序列号16/128,198，其名称为“SINGULAR EMR SOURCE EMITTERASSEMBLY”；
·美国专利申请序列号16/128,207，其名称为“COMBINATION EMITTER ANDCAMERA ASSEMBLY”；
·美国专利申请序列号16/128,176，其名称为“SURGICAL VISUALIZATION WITHPROXIMITY TRACKING FEATURES”；
·美国专利申请序列号16/128,187，其名称为“SURGICAL VISUALIZATION OFMULTIPLE TARGETS”；
·美国专利申请序列号16/128,192，其名称为“VISUALIZATION OF SURGICALDEVICES”；
·美国专利申请序列号16/128,163，其名称为“OPERATIVE COMMUNICATION OFLIGHT”；
·美国专利申请序列号16/128,197，其名称为“ROBOTIC LIGHT PROJECTIONTOOLS”；
·美国专利申请序列号16/128,164，其名称为“SURGICAL VISUALIZATIONFEEDBACK SYSTEM”；
·美国专利申请序列号16/128,193，其名称为“SURGICAL VISUALIZATION ANDMONITORING”；
·美国专利申请序列号16/128,195，其名称为“INTEGRATION OF IMAGING DATA”；
·美国专利申请序列号16/128,170，其名称为“ROBOTICALLY-ASSISTED SURGICALSUTURING SYSTEMS”；
·美国专利申请序列号16/128,183，其名称为“SAFETY LOGIC FOR SURGICALSUTURING SYSTEMS”；
·美国专利申请序列号16/128,172，其名称为“ROBOTIC SYSTEM WITH SEPARATEPHOTOACOUSTIC RECEIVER”；以及
·美国专利申请序列号16/128,185，其名称为“FORCE SENSOR THROUGHSTRUCTURED LIGHT DEFLECTION”。
本申请的申请人还拥有2018年3月29日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：
·美国专利申请序列号15/940,627，其名称为“DRIVE ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS”，现为美国专利申请公开号2019/0201111；
·美国专利申请序列号15/940,676，其名称为“AUTOMATIC TOOL ADJUSTMENTSFOR ROBOT-ASSISTED SURGICAL PLATFORMS”，现为美国专利申请公开号2019/0201142；
·美国专利申请序列号15/940,711，其名称为“SENSING ARRANGEMENTS FORROBOT-ASSISTED SURGICAL PLATFORMS”，现为美国专利申请公开号2019/0201120；以及
·美国专利申请序列号15/940,722，其名称为“CHARACTERIZATION OF TISSUEIRREGULARITIES THROUGH THE USE OF MONO-CHROMATIC LIGHT REFRACTIVITY”，现为美国专利申请公开号2019/0200905。
本专利申请的申请人拥有于2018年12月4日提交的以下美国专利申请，这些临时专利申请中的每个的公开内容全文以引用方式并入本文：
·美国专利申请序列号16/209,395，其名称为“METHOD OF HUB COMMUNICATION”，现为美国专利申请公开号2019/0201136；
·美国专利申请序列号16/209,403，其名称为“METHOD OF CLOUD BASED DATAANALYTICS FOR USE WITH THE HUB”，现为美国专利申请公开号2019/0206569；
·美国专利申请序列号16/209,407，其名称为“METHOD OF ROBOTIC HUBCOMMUNICATION,DETECTION,AND CONTROL”，现为美国专利申请公开号2019/0201137；
·美国专利申请序列号16/209,416，其名称为“METHOD OF HUB COMMUNICATION,PROCESSING,DISPLAY,AND CLOUD ANALYTICS”，现为美国专利申请公开号2019/0206562；
·美国专利申请序列号16/209,423，其名称为“METHOD OF COMPRESSING TISSUEWITHIN A STAPLING DEVICE AND SIMULTANEOUSLY DISPLAYING THE LOCATION OF THETISSUE WITHIN THE JAWS”，现为美国专利申请公开号2019/0200981；
·美国专利申请序列号16/209,427，其名称为“METHOD OF USING REINFORCEDFLEXIBLE CIRCUITS WITH MULTIPLE SENSORS TO OPTIMIZE PERFORMANCE OF RADIOFREQUENCY DEVICES”，现为美国专利申请公开号2019/0208641；
·美国专利申请序列号16/209,433，其名称为“METHOD OF SENSING PARTICULATEFROM SMOKE EVACUATED FROM A PATIENT,ADJUSTING THE PUMP SPEED BASED ON THESENSED INFORMATION,AND COMMUNICATING THE FUNCTIONAL PARAMETERS OF THE SYSTEMTO THE HUB”，现为美国专利申请公开号2019/0201594；
·美国专利申请序列号16/209,447，其名称为“METHOD FOR SMOKE EVACUATIONFOR SURGICAL HUB”，现为美国专利申请公开号2019/0201045；
·美国专利申请序列号16/209,453，其名称为“METHOD FOR CONTROLLING SMARTENERGY DEVICES”，现为美国专利申请公开号2019/0201046；
·美国专利申请序列号16/209,458，其名称为“METHOD FOR SMART ENERGYDEVICE INFRASTRUCTURE”，现为美国专利申请公开号2019/0201047；
·美国专利申请序列号16/209,465，其名称为“METHOD FOR ADAPTIVE CONTROLSCHEMES FOR SURGICAL NETWORK CONTROL AND INTERACTION”，现为美国专利申请公开号2019/0206563；
·美国专利申请序列号16/209,478，其名称为“METHOD FOR SITUATIONALAWARENESS FOR SURGICAL NETWORK OR SURGICAL NETWORK CONNECTED DEVICE CAPABLEOF ADJUSTING FUNCTION BASED ON A SENSED SITUATION OR USAGE”，现为美国专利申请公开号2019/0104919；
·美国专利申请序列号16/209,490，其名称为“METHOD FOR FACILITY DATACOLLECTION AND INTERPRETATION”，现为美国专利申请公开号2019/0206564；以及
·美国专利申请序列号16/209,491，其名称为“METHOD FOR CIRCULAR STAPLERCONTROL ALGORITHM ADJUSTMENT BASED ON SITUATIONAL AWARENESS”，现为美国专利申请公开号2019/0200998。
在详细说明外科可视化平台的各个方面之前，应当指出，例示性示例在应用或使用上不限于附图和说明书中所示出的部件的构造和布置的细节。例示性示例可在其他方面、变型和修改中实现或并入，并且可以各种方式实践或执行。此外，除非另外指明，否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的，并非为了限制性的目的。而且，应当理解，以下描述的方面、方面的表达和/或示例中的一者或多者可与其他以下描述的方面、方面的表达和/或示例中的任何一者或多者组合。
外科可视化系统
本公开涉及一种外科可视化平台，该外科可视化平台利用“数字外科手术”来获得关于患者的解剖结构和/或外科手术的附加信息。该外科可视化平台被进一步配置成能够以有帮助的方式将数据和/或信息传达给一个或多个临床医生。例如，本公开的各个方面提供了患者的解剖结构和/或外科手术的改善的可视化。
“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(OR)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化平台可与机器人外科系统结合使用，但是外科可视化平台不限于与机器人外科系统一起使用。在某些情况下，高级外科可视化可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。
在某些情况下，结合有外科可视化平台的外科系统可实现智能解剖以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是例如解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。关键结构可基于不同患者和/或不同手术来确定。本文还描述了示例性关键结构。例如，智能解剖技术可提供用于解剖的改善的术中指导，并且/或者可利用关键解剖结构检测和避开技术来实现智能决策。
结合有外科可视化平台的外科系统还可实现智能吻合技术，该智能吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。也可利用本文所述的各种外科可视化平台和手术来改善癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边界。在某些情况下，癌症定位技术可在外科手术期间补偿工具、患者和/或患者的解剖结构的移动，以便为临床医生提供回到感兴趣的点的指导。
在本公开的某些方面，外科可视化平台可提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。本文所述的某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。关于淋巴结诊断和标测，外科可视化平台可在术前定位、标测和理想地诊断涉及例如癌性诊断和分期的淋巴系统和/或淋巴结。
在外科手术期间，临床医生可经由“肉眼”和/或成像系统获得的信息可提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中运动。在此类情况下，临床医生可能无法在术中准确地确定关键结构的位置。
当关键结构的方位不确定时和/或当关键结构与外科工具之间的接近度未知时，临床医生的决策过程可能受到阻碍。例如，临床医生可避开某些区域，以便避免意外解剖关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，临床医生可能无法进入某些期望的区域。例如，过度谨慎可能导致临床医生留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的临床医生的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。
在各个方面，本公开提供了用于术中识别和避开关键结构的外科可视化系统。在一个方面，本公开提供了一种外科可视化系统，该外科可视化系统实现了加强的术中决策和改善的外科结果。在各个方面，所公开的外科可视化系统提供了高级可视化能力，超出临床医生用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给临床医生的内容。各种外科可视化系统可增强和加强临床医生在组织治疗(例如，解剖)之前能够知道的内容，并且因此可在各种情况下改善结果。
例如，可视化系统可包括被配置成能够发射多个光谱波的第一光发射器、被配置成能够发射光图案的第二光发射器以及被配置成能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的一个或多个接收器或传感器。应该注意的是，在下面的整个公开内容中，除非特别提到可见光，否则任何提到的“光”可以包括电磁辐射(EMR)或EMR波长光谱的可见和/或不可见部分中的光子。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可确定外科部位处可见表面的几何表面标测图(即三维表面形貌)以及相对于外科部位的一个或多个距离。在某些情况下，控制电路可确定到至少部分隐蔽的结构的一个或多个距离。此外，成像系统可将几何表面标测图和一个或多个距离传达给临床医生。在此类情况下，提供给临床医生的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。另外或另选地，成像系统可传达一个或多个外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。
在本公开的各个方面，公开了用于术中识别和避开关键结构的外科可视化系统。此类外科可视化系统可在外科手术期间向临床医生提供有价值的信息。因此，例如，临床医生知道外科可视化系统正在跟踪例如可在解剖期间接近的关键结构(诸如输尿管、特定神经和/或关键血管)，可在整个外科手术过程中确信地保持动力。在一个方面，外科可视化系统可在足够长的时间内向临床医生提供指示，以使临床医生暂停和/或减慢外科手术并且评估与关键结构的接近度，以防止对其造成意外损坏。外科可视化系统可向临床医生提供理想的、优化的和/或可定制的信息量，以允许临床医生确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结构造成意外损坏，并且因此最小化由外科手术引起的伤害风险。
图1是根据本公开的至少一个方面的外科可视化系统100的示意图。外科可视化系统100可在解剖场内创建关键结构101的视觉表示。外科可视化系统100可用于例如临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向临床医生提供关于接近度数据、尺寸和/或距离的实时或近实时的信息。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，临床医生可避免在外科手术期间在关键结构101和/或关键结构101的预定接近度中的区域周围操纵外科装置。例如，临床医生可避免对例如被识别为关键结构101的静脉、动脉、神经和/或血管进行解剖和/或避免在这些关键结构附近进行解剖。在各种情况下，关键结构101可基于不同患者和/或不同手术来确定。
外科可视化系统100结合距离传感器系统104结合有组织识别和几何表面标测。结合起来，外科可视化系统100的这些特征可确定关键结构101在解剖场内的方位以及/或者外科装置102与可见组织的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括例如被配置成能够提供外科部位的实时视图的成像装置120，诸如相机。在各种情况下，成像装置120是光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置成能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可被提供给临床医生，并且在本公开的各个方面，可基于组织识别、地形标测和距离传感器系统104用附加信息来增强这些视图。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可配合以在术中向临床医生提供高级数据合成和集成信息。
成像装置可包括相机或成像传感器，该相机或成像传感器被配置成能够检测例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。在本公开的各个方面，成像系统可包括例如成像装置，诸如内窥镜。另外或另选地，成像系统可包括例如成像装置，诸如关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜或外镜。在其他情况下，诸如在开放外科手术应用中，成像系统可不包括观察镜。
在本公开的各个方面，组织识别子系统可用光谱成像系统来实现。光谱成像系统可依赖于例如高光谱成像、多光谱成像或选择性光谱成像。组织的高光谱成像进一步在2016年3月1日公布的名称为“SYSTEM AND METHOD FOR GROSS ANATOMIC PATHOLOGY USINGHYPERSPECTRAL IMAGING”的美国专利号9,274,047中描述，该专利全文以引用方式并入本文。
在本公开的各个方面，表面标测子系统可用光图案系统来实现，如本文进一步所述。光图案(或结构化光)用于表面标测是已知的。已知的表面标测技术可用于本文所述的外科可视化系统中。
结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。2017年3月2日公布的名称为“SET COMPRISING A SURGICAL INSTRUMENT”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“DEPICTION SYSTEM”的美国专利申请公布2017/0251900公开了一种外科系统，该外科系统包括光源以及用于投射光图案的投射仪。2017年3月2日公布的名称为“SET COMPRISING A SURGICAL INSTRUMENT”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“DEPICTION SYSTEM”的美国专利申请公布2017/0251900全文以引用方式并入本文。
在本公开的各个方面，距离确定系统可结合到表面标测系统中。例如，可利用结构化光来生成可见表面的三维虚拟模型并且确定相对于可见表面的各种距离。另外或另选地，距离确定系统可依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。
图2是可与外科可视化系统100一起使用的控制系统133的示意图。控制系统133包括与存储器134信号通信的控制电路132。存储器134存储可由控制电路132执行的指令，以确定和/或识别关键结构(例如，图1中的关键结构101)，确定和/或计算一个或多个距离和/或三维数字表示，并将某些信息传送给一个或多个临床医生。例如，存储器134存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140或距离确定逻辑部件141或者逻辑部件136、138、140和141的任何组合。控制系统133还包括成像系统142，该成像系统具有一个或多个相机144(如图1中的成像装置120)、一个或多个显示器146或者一个或多个控件148或者这些元件的任何组合。相机144可包括一个或多个图像传感器135，以接收来自发射各种可见光谱和不可见光谱下的光的各种光源(例如，可见光、光谱成像器、三维透镜等)的信号。显示器146可包括一个或多个屏幕或监视器，用于向一个或多个临床医生描绘真实、虚拟和/或虚拟增强的图像和/或信息。
在各个方面，相机144的心脏是图像传感器135。一般来讲，现代图像传感器135是包含高达数百万个离散光电探测器位点(称为像素)的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷联接器件(CCD)和互补金属氧化物半导体(CMOS)成像器，并且近来，短波红外(SWIR)是一种新兴的成像技术。另一种类型的图像传感器135采用混合CCD/CMOS架构(以名称“sCMOS”出售)，并且由凸块粘结到CCD成像基板的CMOS读出集成电路(ROIC)组成。CCD和CMOS图像传感器135对大约350nm至1050nm的波长敏感，但该范围通常被给出为400nm至1000nm。一般来讲，CMOS传感器比CCD传感器对IR波长更敏感。固态图像传感器135基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色CCD相机：单芯片和三芯片。单芯片彩色CCD相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色CCD相机通过采用棱镜将入射光谱的每个部分引导到不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的RGB强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。
控制系统133还包括光谱光源150和结构化光源152。在某些情况下，单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。在各种情况下，组织识别逻辑部件140可经由由相机144的图像传感器135部分接收的来自光谱光源150的数据来识别关键结构。表面标测逻辑部件136可基于反射的结构化光来确定可见组织的表面轮廓。利用飞行时间测量结果，距离确定逻辑部件141可确定到可见组织和/或关键结构101的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141的一个或多个输出可被提供给成像逻辑部件138，并且可被组合、共混和/或重叠以经由成像系统142的显示器146传达给临床医生。
说明书现在简要转到图2A至图2C，以描述用于控制外科可视化系统100的各个方面的控制电路132的各个方面。转到图2A，示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的控制电路400。控制电路400可被配置成能够实现本文所述的各种过程。控制电路400可以包括微控制器，该微控制器包括联接到至少一个存储器电路404的一个或多个处理器402(例如，微处理器、微控制器)。存储器电路404存储机器可执行指令，这些机器可执行指令在由处理器402执行时使处理器402执行机器指令以实现本文所述的各种过程。处理器402可以是本领域中已知的多种单核或多核处理器中的任一种。存储器电路404可包括易失性存储介质和非易失性存储介质。处理器402可包括指令处理单元406和运算单元408。指令处理单元可被配置成能够从本公开的存储器电路404接收指令。
图2B示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的组合逻辑电路410。组合逻辑电路410可被配置成能够实现本文所述的各种过程。组合逻辑电路410可包括有限状态机，该有限状态机包括组合逻辑部件412，该组合逻辑部件被配置成能够在输入414处接收与外科器械或工具相关联的数据，通过组合逻辑部件412处理数据并提供输出416。
图2C示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的时序逻辑电路420。时序逻辑电路420或组合逻辑部件422可被配置成能够实现本文所述的各种过程。时序逻辑电路420可包括有限状态机。时序逻辑电路420可包括例如组合逻辑部件422、至少一个存储器电路424和时钟429。至少一个存储器电路424可存储有限状态机的当前状态。在某些情况下，时序逻辑电路420可以是同步的或异步的。组合逻辑部件422被配置成能够从输入426接收与外科装置或系统相关联的数据，通过组合逻辑部件422处理数据并提供输出428。在其他方面，电路可包括处理器(例如，图2A中的处理器402)和有限状态机的组合以实现本文的各种过程。在其他方面，有限状态机可包括组合逻辑电路(例如，组合逻辑电路410，图2B)和时序逻辑电路420的组合。
再次参见图1中的外科可视化系统100，关键结构101可以是感兴趣的解剖结构。例如，关键结构101可以是输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构101可以是例如解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。示例性关键结构在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为“VISUALIZATION OFSURGICAL DEVICES”的美国专利申请号16/128,192)中进一步描述，这些专利申请全文以引用方式并入本文。
在一个方面，关键结构101可嵌入组织103中。换句话说，关键结构101可定位在组织103的表面105下方。在此类情况下，组织103隐蔽关键结构101使其不被临床医生看见。从成像装置120的视角来看，关键结构101也被组织103遮蔽。组织103可以是例如脂肪、结缔组织、粘连和/或器官。在其他情况下，关键结构101可被部分地遮蔽使其不被看见。
图1还描绘了外科装置102。外科装置102包括端部执行器，该端部执行器具有从外科装置102的轴的远侧端部延伸的相对钳口。外科装置102可以是任何合适的外科装置，诸如例如解剖器、缝合器、抓紧器、施夹器和/或能量装置(包括单极探针、双极探针、消融探针和/或超声端部执行器)。另外或另选地，外科装置102可包括例如另一个成像或诊断模态，诸如超声装置。在本公开的一个方面，外科可视化系统100可被配置成能够实现识别一个或多个关键结构101以及外科装置102与关键结构101的接近度。
外科可视化系统100的成像装置120被配置成能够检测各种波长的光，诸如例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文进一步所述。成像装置120还可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的三维图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置成能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可与组织的表面105上的光(结构化光)的图案重叠，如图1所示。
在一个方面，外科可视化系统100可结合到机器人系统110中。例如，机器人系统110可包括第一机器人臂112和第二机器人臂114。机器人臂112、114包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置成能够操纵外科装置102，并且第二机器人臂114被配置成能够操纵成像装置120。机器人控制单元可被配置成能够向机器人臂112、114发出控制运动，这些控制运动可影响例如外科装置102和成像装置120。
外科可视化系统100还包括发射器106，该发射器被配置成能够发射光的图案，诸如条纹、网格线和/或点，以使得能够确定表面105的形貌或地形。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于例如外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，投射光阵列130用于确定由组织103的表面105和/或表面105在术中的运动限定的形状。成像装置120被配置成能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。
在一个方面，成像装置120还可包括光学波形发射器123，该光学波形发射器被配置成能够发射可穿透组织103的表面105并到达关键结构101的电磁辐射124(NIR光子)。成像装置120及其上的光学波形发射器123可能够由机器人臂114定位。成像装置120上的对应波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置成能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长可被配置成能够使得能够识别解剖结构和/或物理结构(诸如关键结构101)的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。在其他情况下，光学波形发射器123可定位在与成像装置120分开的外科装置上。
外科可视化系统100还可包括距离传感器系统104，该距离传感器系统被配置成能够确定外科部位处的一个或多个距离。在一个方面，飞行时间距离传感器系统104可以是包括发射器(诸如发射器106)以及可定位在外科装置102上的接收器108的飞行时间距离传感器系统。在其他情况下，飞行时间发射器可与结构化光发射器分开。在一个一般方面，飞行时间距离传感器系统104的发射器106部分可包括非常微小的激光源，并且飞行时间距离传感器系统104的接收器108部分可包括匹配传感器。飞行时间距离传感器系统104可检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。仍然参见图1，de是从发射器106到组织103的表面105的发射器-组织距离，并且dt是从外科装置102的远侧端部到组织的表面105的装置-组织距离。距离传感器系统104可用于确定发射器-组织距离de。装置-组织距离dt可根据发射器106在外科装置102的轴上相对于外科装置102的远侧端部的已知方位获得。换句话讲，当发射器106与外科装置102的远侧端部之间的距离已知时，装置-组织距离dt可根据发射器-组织距离de确定。在某些情况下，外科装置102的轴可包括一个或多个关节运动接头，并且可能够相对于发射器106和钳口进行关节运动。关节运动构型可包括例如多接头椎骨状结构。在某些情况下，三维相机可用于对到表面105的一个或多个距离进行三角测量。
在各种情况下，飞行时间距离传感器系统104的接收器108可安装在单独的外科装置上而不是外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他情况下，飞行时间距离传感器系统104的接收器108可安装在单独的机器人控制的臂(例如，机器人臂114)上，安装在由另一个机器人操作的可运动臂上和/或安装到手术室(OR)工作台或固定装置。在某些情况下，成像装置120包括飞行时间接收器108，以使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于飞行时间距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知方位来对距离de进行三角测量。接收器108的三维方位可以是已知的和/或在术中与机器人坐标平面配准。
在某些情况下，飞行时间距离传感器系统104的发射器106的方位可由第一机器人臂112控制，并且飞行时间距离传感器系统104的接收器108的方位可由第二机器人臂114控制。在其他情况下，外科可视化系统100可与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。
在某些情况下，机器人臂112、114中的一者或多者可与外科手术中使用的主机器人系统分开。机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并与特定坐标系配准。例如，用于机器人臂110的闭环控制系统和/或多个传感器可控制和/或配准机器人臂112、114相对于特定坐标系的方位。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。
仍然参见图1，dw是从位于成像装置120上的光学波形发射器123到关键结构101的表面的相机-关键结构距离，并且dA是关键结构101在组织103的表面105下方的深度(即，表面105的最靠近外科装置102的部分与关键结构101之间的距离)。在各个方面，从位于成像装置120上的光学波形发射器123发射的光学波形的飞行时间可被配置成能够确定相机-关键结构距离dw。光谱成像结合飞行时间传感器的使用在本文中进一步描述。此外，现在参见图3，在本公开的各个方面，关键结构101相对于组织103的表面105的深度dA可通过以下方法来确定：根据距离dw以及发射器106在外科装置102上和光学波形发射器123在成像装置120上的已知方位(以及因此它们之间的已知距离dx)进行三角测量，以确定距离dy(其为距离de和dA之和)。
另外或另选地，来自光学波形发射器123的飞行时间可被配置成能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离dw，并且第二波形(或波形范围)可用于确定到组织103的表面105的距离。在此类情况下，不同波形可用于确定关键结构101在组织103的表面105下方的深度。
另外或另选地，在某些情况下，距离dA可由超声、配准磁共振成像(MRI)或计算机断层摄影(CT)扫描来确定。在其他情况下，距离dA可用光谱成像来确定，因为由成像装置接收的检测信号可基于材料的类型而变化。例如，脂肪可以第一方式或第一量降低检测信号，并且胶原可以不同的第二方式或第二量降低检测信号。
现在参见图4中的外科可视化系统160，其中外科装置162包括光学波形发射器123以及被配置成能够检测反射的波形的波形传感器122。光学波形发射器123可被配置成能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离dt和dw，如本文进一步所述。在此类情况下，从组织103的表面105到关键结构101的表面的距离dA可如下确定：
dA＝dw-dt。
如本文所公开，关于可见组织、嵌入的关键结构和外科装置的各种信息可通过利用组合方法来确定，该组合方法结合被配置成能够检测光谱波长和结构化光阵列的图像传感器结合有一个或多个飞行时间距离传感器、光谱成像和/或结构化光阵列。此外，图像传感器可被配置成能够接收可见光，并且因此将外科部位的图像提供给成像系统。采用逻辑或算法来识别从飞行时间传感器接收的信息、光谱波长、结构化光和可见光，并且渲染表面组织和下面的解剖结构的三维图像。在各种情况下，成像装置120可包括多个图像传感器。
相机-关键结构距离dw也可以一种或多种替代方式进行检测。在一个方面，可利用例如荧光透视可视化技术(诸如荧光吲哚菁绿(ICG))来照亮关键结构201，如图6至图8所示。相机220可包括两个光学波形传感器222、224，这两个光学波形传感器同时拍摄关键结构201的左侧图像和右侧图像(图7A和图7B)。在此类情况下，相机220可描绘关键结构201在组织203的表面205下方的辉光，并且距离dw可由传感器222与224之间的已知距离来确定。在某些情况下，可通过利用多于一个相机或通过使相机在多个位置之间运动来更准确地确定距离。在某些方面，一个相机可由第一机器人臂控制，并且第二相机可由另一个机器人臂控制。在此类机器人系统中，一个相机可以是例如从动件臂上的从动件相机。从动件臂及其上的相机可被编程为跟踪另一个相机并保持例如特定的距离和/或透镜角度。
在其他方面，外科可视化系统100可采用两个单独的波形接收器(即，相机/图像传感器)来确定dw。现在参见图9，如果关键结构301或其内容物(例如，血管或血管内容物)可诸如利用荧光透视发射信号302，则可根据已知位置处的两个单独的相机320a、320b对实际位置进行三角测量。
在另一方面，现在参见图10A和图10B，外科可视化系统可采用抖动或移动相机440来确定距离dw。相机440是机器人控制的，使得相机440在不同方位处的三维坐标是已知的。在各种情况下，相机440可在插管或患者接口处枢转。例如，如果关键结构401或其内容物(例如，血管或血管内容物)可诸如利用荧光透视发射信号，则可根据在两个或更多个已知位置之间快速运动的相机440对实际位置进行三角测量。在图10A中，相机440沿轴线A轴向移动。更具体地，相机440沿轴线A更靠近关键结构401平移距离d1，以平移到被指示为位置440'的位置，诸如通过在机器人臂上移入和移出。当相机440运动距离d1并且视图的尺寸相对于关键结构401改变时，可计算到关键结构401的距离。例如，4.28mm的轴向平移(距离d1)可对应于6.28度的角度θ1和8.19度的角度θ2。另外或另选地，相机440可沿不同方位之间的弧线旋转或扫掠。现在参见图10B，相机440沿轴线A轴向移动并且围绕轴线A旋转角度θ3。用于相机440的旋转的枢转点442定位在插管/患者接口处。在图10B中，相机440平移并旋转到位置440”。当使相机440运动并且视图边缘关于关键结构401改变时，可计算到关键结构401的距离。在图10B中，距离d2可为例如9.01mm，并且角度θ3可为例如0.9度。
图5描绘了外科可视化系统500，其在许多方面类似于外科可视化系统100。在各种情况下，外科可视化系统500可以是外科可视化系统100的另一个范例。类似于外科可视化系统100，外科可视化系统500包括外科装置502和成像装置520。成像装置520包括光谱光发射器523，该光谱光发射器被配置成能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。在各种情况下，成像装置520还可包括三维相机和相关联的电子处理电路。外科可视化系统500被示出为在术中用于识别和有利于避开在表面上不可见的某些关键结构，诸如器官503(在该示例中为子宫)中的输尿管501a和血管501b。
外科可视化系统500被配置成能够经由结构化光确定从外科装置502上的发射器506到子宫503的表面505的发射器-组织距离de。外科可视化系统500被配置成能够基于发射器-组织距离de来外推从外科装置502到子宫503的表面505的装置-组织距离dt。外科可视化系统500被进一步配置成能够确定从输尿管501a到表面505的组织-输尿管距离dA以及从成像装置520到输尿管501a的相机-输尿管距离dw。如本文关于图1所述，例如，外科可视化系统500可利用例如光谱成像和飞行时间传感器来确定距离dw。在各种情况下，外科可视化系统500可基于本文所述的其他距离和/或表面标测逻辑部件来确定(例如，三角测量)组织-输尿管距离dA(或深度)。
现在参见图11，其中描绘了用于例如外科可视化系统(诸如外科可视化系统100)的控制系统600的示意图。例如，控制系统600是转换系统，该转换系统整合光谱特征组织识别和结构化光组织定位以识别关键结构，特别是当这些结构被其他组织(诸如脂肪、结缔组织、血液和/或其他器官)遮蔽时。此类技术也可用于检测组织可变性，诸如区分器官内的肿瘤和/或不健康组织与健康组织。
控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648以将组织数据转换成外科医生可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种情况下，控制系统600被配置成能够在接近一个或多个关键结构时向临床医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。
采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。
控制系统600被配置成能够检测关键结构并提供关键结构的图像叠加，并且测量到可见组织的表面的距离和到嵌入/掩埋关键结构的距离。在其他情况下，控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。
控制系统600包括光谱控制电路602。例如，光谱控制电路602可以是现场可编程门阵列(FPGA)或如本文结合图2A至图2C所述的另一种合适的电路配置。光谱控制电路602包括处理器604以从视频输入处理器606接收视频输入信号。例如，处理器604可被配置用于高光谱处理并且可利用C/C++代码。例如，视频输入处理器606接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置成能够处理来自视频输入处理器606的视频输入信号并将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608将视频输出信号提供给图像叠加控制器610。
视频输入处理器606经由患者隔离电路614联接到患者侧处的相机612。如前所述，相机612包括固态图像传感器634。患者隔离电路可包括多个变压器，使得患者与系统中的其他电路隔离。相机612通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如CMOS图像传感器，或者可包括例如本文结合图2所述的任何图像传感器技术。在一个方面，相机612以14位/像素信号输出图像。应当理解，在不脱离本公开的范围的情况下，可采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色RGB融合电路616，该融合电路利用硬件寄存器618和Nios2协处理器620来处理相机输出信号613。彩色RGB融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。
激光脉冲控制电路622控制激光引擎624。激光引擎624输出包括近红外(NIR)在内的多个波长(λ1，λ2，λ3......λn)的光。激光引擎624可在多种模式下操作。在一个方面，激光引擎624可在例如两种模式下操作。在第一模式(例如正常操作模式)下，激光引擎624输出照明信号。在第二模式(例如，识别模式)下，激光引擎624输出RGBG和NIR光。在各种情况下，激光引擎624可在偏振模式下操作。
来自激光引擎624的光输出626照亮术中外科部位627中的目标解剖结构。激光脉冲控制电路622还控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪将预先确定的波长(λ2)的激光图案631(诸如线和/或点的网格或图案)投射在外科部位627处的手术组织或器官上。相机612接收图案化光以及通过相机光学器件632输出的反射光。图像传感器634将所接收的光转换成数字信号。
彩色RGB融合电路616还将信号输出到图像叠加控制器610和视频输入模块636，以用于读取由激光图案投射仪630投射到外科部位627处的目标解剖结构上的激光图案631。处理模块638处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还输出表示外科部位处的目标解剖结构的组织或器官的三维渲染形状的第二视频信号642。
第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，整合模块643可确定到掩埋关键结构的距离dA(图1)(例如，经由三角测量算法644)，并且距离dA可经由视频输出处理器646提供给图像叠加控制器610。上述转换逻辑部件可涵盖转换逻辑电路648、中间视频监视器652以及定位在外科部位627处的相机624/激光图案投射仪630。
在各种情况下，可采用来自CT或MRI扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并被提供给视频监视器652。术前数据的配准在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为为“INTEGRATION OF IMAGING DATA”的美国专利申请号16/128,195)中进一步描述，这些专利申请全文以引用方式并入本文。
视频监视器652可从图像叠加控制器610输出整合/增强视图。临床医生可在一个或多个监视器上在不同视图之间选择和/或切换。在第一监视器652a上，临床医生可在(A)其中描绘可见组织的三维渲染的视图与(B)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二监视器652b上，临床医生可例如将距离测量切换到一个或多个隐藏关键结构和/或可见组织的表面。
控制系统600和/或其各种控制电路可结合到本文所公开的各种外科可视化系统中。
图12示出了根据本公开的至少一个方面的结构化(或图案化)光系统700。如本文所述，条纹或线形式的结构化光例如可从光源和/或投射仪706被投射到目标解剖结构的表面705上，以识别表面705的形状和轮廓。在各个方面可类似于成像装置120(图1)的相机720例如可被配置成能够检测光在表面705上的投射图案。投射图案在撞击表面705时变形的方式允许视觉系统计算目标解剖结构的深度和表面信息。
在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。结构化光在en.wikipedia.org/wiki/Structured_light处进一步描述。
如上所述，本文描述的各种外科可视化系统可以用于将各种不同类型的组织和/或解剖结构可视化，包括可被光谱的可见部分中的EMR遮挡而无法可视化的组织和/或解剖结构。在一个方面，外科可视化系统可以利用光谱成像系统来基于组成材料的不同组合来对不同类型的组织进行可视化。特别地，光谱成像系统可以被配置成能够基于组织在各种EMR波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可以进一步被配置成能够基于组成材料的特定组合来表征被可视化的组织的组织类型。为了说明，图13A是描绘各种生物材料的吸收系数如何在EMR波长光谱上变化的曲线图2300。在曲线图2300中，纵轴2303表示生物材料的吸收系数(例如，以cm-1为单位)，横轴2304表示EMR波长(例如，以μm为单位)。曲线图2300进一步示出了表示水在各种EMR波长下的吸收系数的第一条线2310、表示蛋白质在各种EMR波长下的吸收系数的第二条线2312、表示黑色素在各种EMR波长下的吸收系数的第三条线2314、表示脱氧血红蛋白在各种EMR波长下的吸收系数的第四条线2316、表示氧合血红蛋白在各种EMR波长下的吸收系数的第五条线2318，以及表示胶原蛋白在各种EMR波长下的吸收系数的第六条线2319。不同的组织类型具有组成材料的不同组合，因此由外科可视化系统可视化的组织类型可以根据检测到的组成材料的特定组合来识别和区分。因此，光谱成像系统可以被配置成能够发射多个不同波长的EMR，基于在不同波长处检测到的吸收EMR吸收响应来确定组织的组成材料，然后基于组成材料的特定检测组合来表征组织类型。
图13B示出了利用光谱成像技术来对不同的组织类型和/或解剖结构进行可视化。在图13B中，光谱发射器2320(例如，光谱光源150)被成像系统用来对外科部位2325进行可视化。由光谱发射器2320发射并从外科部位2325处的组织和/或结构反射的EMR可以由图像传感器135(图2)接收，以对组织和/或结构进行可视化；该组织和/或结构可以是可见的(例如，位于外科部位2325的表面)或被遮挡的(例如，位于外科部位2325处的其他组织和/或结构的下面)。在该示例中，成像系统142(图2)可以基于光谱特征来对肿瘤2332、动脉2334和各种异常2338(即，与已知或预期的光谱特征不相符的组织)进行可视化，所述光谱特征由不同组织/结构类型中每一个的组成材料的不同吸收特性(例如，吸收系数)来表征。可视化的组织和结构可以显示在与成像系统142关联或联接的显示屏上，例如成像系统显示器146(图2)、主显示器2119(图18)、非无菌显示器2109(图18)、集线器显示器2215(图19)、装置/器械显示器2237(图19)等。
此外，成像系统142可以被配置成能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，成像系统142可以在显示屏(例如，显示器146)上显示与正在可视化的肿瘤2332相关联的边缘2330a。边缘2330a可以指示应该切除以确保肿瘤2332完全切除的组织的面积或数量。控制系统133(图2)可以被配置成能够基于由成像系统142识别的组织和/或结构来控制或更新边缘2330a的尺寸。在所示示例中，成像系统142已经识别了FOV内的多个异常2338。因此，控制系统133可以将显示的边缘2330a调整到第一更新边缘2330b，该第一更新边缘2330b具有足够的尺寸来涵盖异常2338。此外，成像系统142还识别出了与最初显示的边缘2330a部分重叠的动脉2334(如动脉2334的高亮区域2336所示)。因此，控制系统133可以将显示的边缘2330a调整到第二更新边缘2330c，该第二更新边缘具有足够的尺寸来涵盖动脉2334的相关部分。
除了以上关于图13A和13B所描述的吸收特性之外或代替所述吸收特性，还可以根据组织和/或结构的反射特性在EMR波长光谱上对其进行成像或表征。例如，图13C-图13E示出了不同类型的组织或结构在不同EMR波长上的反射率的各种曲线图。图13C是例示性输尿管特征相对于遮蔽物的图形表示1050。图13D是例示性动脉特征相对于遮蔽物的图形表示1052。图13E是例示性神经特征相对于遮蔽物的图形表示1054。图13C-图13E中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识别和可视化。
在各种情况下，可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(即，“选择性光谱”成像)。通过利用选择性光谱成像，可最小化获得光谱图像所需的时间量，使得可实时或接近实时地获得信息，并在手术中加以利用。在各种情况下，波长可由临床医生选择或由控制电路基于临床医生的输入来选择。在某些情况下，波长可基于例如机器学习和/或控制电路可经由云访问的大数据来选择。
光谱成像到组织的前述应用可在手术中用于测量波形发射器与被组织遮蔽的关键结构之间的距离。在本公开的一个方面，现在参见图14和图15，示出了利用波形1124、1125的飞行时间传感器系统1104。在某些情况下，飞行时间传感器系统1104可结合到外科可视化系统100(图1)中。飞行时间传感器系统1104包括相同外科装置1102上的波形发射器1106和波形接收器1108。发射波1124从发射器1106延伸到关键结构1101，并且接收波1125被接收器1108从关键结构1101反射回去。外科装置1102穿过延伸到患者的腔1107中的套管针1110定位。
波形1124、1125被配置成能够穿透遮蔽组织1103。例如，波形1124、1125的波长可在NIR或SWIR波长光谱中。在一个方面，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1106发射并且可穿透其中隐蔽有关键结构1101的组织1103。所发射的波形1124可被关键结构1101反射。所接收的波形1125可由于外科装置1102的远侧端部与关键结构1101之间的距离d而被延迟。在各种情况下，可基于关键结构1101的光谱特征来选择波形1124、1125以靶向组织1103内的关键结构1101，如本文进一步所述。在各种情况下，发射器1106被配置成能够提供二进制信号开和关，如图15所示，例如该二进制信号可由接收器1108测量。
基于发射波1124与接收波1125之间的延迟，飞行时间传感器系统1104被配置成能够确定距离d(图14)。图14的发射器1106和接收器1108的飞行时间时序图1130在图15中示出。延迟是距离d的函数，并且距离d由下式给出：
Figure BDA0003721149960000281
其中：
c＝光的速度；
t＝脉冲的长度；
q11＝发射光时累积的电荷；以及
q2＝不发射光时累积的电荷。
如本文所提供，波形1124、1125的飞行时间对应于图14中的距离d。在各种情况下，附加发射器/接收器和/或来自发射器1106的脉冲信号可被配置成能够发射非穿透信号。非穿透组织可被配置成能够确定从发射器到遮蔽组织1103的表面1105的距离。在各种情况下，关键结构1101的深度可由下式确定：
dA＝dw-dt。
其中：
dA＝关键结构1101的深度；
dw＝从发射器1106到关键结构1101的距离(图14中的d)；以及
dt＝从发射器1106(在外科装置1102的远侧端部上)到遮蔽组织1103的表面1105的距离。
在本公开的一个方面，现在参见图16，示出了利用波1224a、1224b、1224c、1225a、1225b、1225c的飞行时间传感器系统1204。在某些情况下，飞行时间传感器系统1204可结合到外科可视化系统100(图1)中。飞行时间传感器系统1204包括波形发射器1206和波形接收器1208。波形发射器1206定位在第一外科装置1202a上，并且波形接收器1208定位在第二外科装置1202b上。外科装置1202a、1202b分别穿过其相应的套管针1210a、1210b定位，这两个套管针延伸到患者的腔1207中。发射波1224a、1224b、1224c从发射器1206朝向外科部位延伸，并且接收波1225a、1225b、1225c从外科部位处的各种结构和/或表面反射回接收器1208。
不同的发射波1224a、1224b、1224c被配置成能够靶向外科部位处的不同类型的材料。例如，波1224a靶向遮蔽组织1203，波1224b靶向第一关键结构1201a(例如，血管)，并且波1224c靶向第二关键结构1201b(例如，癌性肿瘤)。波1224a、1224b、1224c的波长可在可见光、NIR或SWIR波长光谱中。例如，可见光可从组织1203的表面1205反射，并且NIR和/或SWIR波形可被配置成能够穿透组织1203的表面1205。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1206发射。在各种情况下，可基于关键结构1201a、1201b的光谱特征来选择波1224b、1224c以靶向组织1203内的关键结构1201a、1201b，如本文进一步所述。光声学成像在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中。
发射波1224a、1224b、1224c可从目标材料(即，分别为表面1205、第一关键结构1201a和第二结构1201b)反射。所接收的波形1225a、1225b、1225c可由于图16所示的距离d1a、d2a、d3a、d1b、d2b、d2c而被延迟。
在其中发射器1206和接收器1208可独立定位(例如，定位在单独的外科装置1202a、1202b上和/或由单独的机器人臂控制)的飞行时间传感器系统1204中，可根据发射器1206和接收器1208的已知方位计算各种距离d1a、d2a、d3a、d1b、d2b、d2c。例如，当外科装置1202a、1202b由机器人控制时，这些方位可以是已知的。关于发射器1206和接收器1208的方位以及光子流靶向某一组织的时间的知识以及由接收器1208接收的该特定响应的信息可允许确定距离d1a、d2a、d3a、d1b、d2b、d2c。在一个方面，可使用穿透波长对到被遮蔽的关键结构1201a、1201b的距离进行三角测量。由于光的速度对于任何波长的可见光或不可见光是恒定的，因此飞行时间传感器系统1204可确定各种距离。
仍然参见图16，在各种情况下，在提供给临床医生的视图中，接收器1208可被旋转成使得所得图像中的目标结构的质心保持恒定，即在垂直于所选目标结构1203、1201a或1201b的轴线的平面中。此类取向可快速传送关于关键结构的一个或多个相关距离和/或视角。例如，如图16所示，从关键结构1201a垂直于视平面(即，血管在页面内/页面外取向)的视角显示外科部位。在各种情况下，此类取向可以是默认设置；然而，该视图可由临床医生旋转或以其他方式调整。在某些情况下，临床医生可在限定由成像系统提供的外科部位的视角的不同表面和/或目标结构之间切换。
在各种情况下，接收器1208可安装在套管针或插管(诸如套管针1210b)上，例如外科装置1202b通过该套管针或插管定位。在其他情况下，接收器1208可安装在三维方位已知的单独机器人臂上。在各种情况下，接收器1208可安装在与控制外科装置1202a的机器人分开的可运动臂上，或者可安装到可在术中与机器人坐标平面配准的手术室(OR)工作台。在此类情况下，发射器1206和接收器1208的方位可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统1204的输出对距离进行三角测量。
将飞行时间传感器系统和近红外光谱(NIRS)(称为TOF-NIRS，其能够测量具有纳秒分辨率的NIR光的时间分辨特征图)组合可见于名称为“TIME-OF-FLIGHT NEAR-INFRAREDSPECTROSCOPY FOR NONDESTRUCTIVE MEASUREMENT OF INTERNAL QUALITY INGRAPEFRUIT”(美国园艺科学学会杂志(Journal of the American Society forHorticultural Science)，2013年5月，第138卷，第3期，第225-228页)的文章(该文章全文以引用方式并入本文)中，并且可在journal.ashspublications.org/content/138/3/225.full处获取。
在各种情况下，飞行时间光谱波形被配置成能够确定关键结构的深度和/或外科装置与关键结构的接近度。此外，本文所公开的各种外科可视化系统包括表面标测逻辑部件，该表面标测逻辑部件被配置成能够创建可见组织的表面的三维渲染。在此类情况下，即使当可见组织阻挡关键结构时，临床医生也可知道外科装置与关键结构的接近度(或缺乏接近度)。在一种情况下，外科部位的形貌由表面标测逻辑部件提供在监视器上。如果关键结构靠近组织的表面，则光谱成像可将关键结构的方位传达给临床医生。例如，光谱成像可检测表面的5mm或10mm内的结构。在其他情况下，光谱成像可检测组织的表面下方10mm或20mm的结构。基于光谱成像系统的已知限值，系统被配置成能够在光谱成像系统根本无法检测到关键结构的情况下传达该关键结构在范围外。因此，临床医生可继续移动外科装置和/或操纵组织。当关键结构移动到光谱成像系统范围内时，系统可识别该结构，并且因此传送该结构在范围内。在此类情况下，当初始识别结构和/或在预定义的接近度区域内进一步移动结构时，可提供警示。在此类情况下，即使光谱成像系统利用已知边界/范围未识别关键结构，也可向临床医生提供接近度信息(即，缺乏接近度)。
本文所公开的各种外科可视化系统可被配置成能够在手术中识别关键结构的存在和/或关键结构的接近度，并且在通过意外解剖和/或横切损坏关键结构之前警示临床医生。在各个方面，外科可视化系统被配置成能够识别例如以下关键结构中的一种或多种关键结构：输尿管、肠、直肠、神经(包括膈神经、喉返神经[RLN]、骶岬面部神经、迷走神经以及它们的分支)、血管(包括肺动脉和大叶动脉以及肺静脉和大叶静脉、肠系膜下动脉[IMA]及其分支、直肠上动脉、乙状动脉和左结肠动脉)、肠系膜上动脉(SMA)及其分支(包括中结肠动脉、右结肠动脉、回肠动脉)、肝动脉及其分支、门静脉及其分支、脾动脉/静脉及其分支、外部和内部(下腹部)回肠血管、短胃动脉、子宫动脉、骶中血管和淋巴结。此外，外科可视化系统被配置成能够指示外科装置与关键结构的接近度和/或在外科装置靠近关键结构时警告临床医生。
本公开的各个方面提供了手术中关键结构识别(例如，输尿管、神经和/或血管的识别)和器械接近度监视。例如，本文所公开的各种外科可视化系统可包括光谱成像和外科器械跟踪，这使得能够可视化例如组织的表面下方(诸如组织的表面下方1.0cm至1.5cm)的关键结构。在其他情况下，外科可视化系统可识别组织的表面下方小于1.0cm或大于1.5cm的结构。例如，如果结构由于深度原本不能被看到，则即使例如可识别仅在表面0.2mm内的结构的外科可视化系统也可以是有价值的。在各个方面，外科可视化系统可例如利用关键结构的虚拟描绘作为叠加在可见组织的表面上的可见白光图像来增强临床医生的视图。外科可视化系统可提供外科器械的远侧末端的实时三维空间跟踪，并且可例如在外科器械的远侧末端在关键结构的特定范围内(诸如在关键结构的1.0cm内)移动时提供接近度警示。
本文所公开的各种外科可视化系统可识别解剖何时太靠近关键结构。基于温度(即，在可能有损坏/加热/熔融关键结构的风险的关键结构附近太热)和/或基于张力(即，在可能有损坏/撕裂/牵拉关键结构的风险的关键结构附近张力太大)，解剖可能“太靠近”关键结构。例如，当在结扎之前使血管骨架化时，此类外科可视化系统可有利于在血管周围进行解剖。在各种情况下，可利用热成像相机来读取外科部位处的热量并向临床医生提供基于所检测到的热量和从工具到结构的距离的警告。例如，如果工具的温度高于预定义阈值(诸如例如120℉)，则可在第一距离(诸如例如10mm)处向临床医生提供警示，并且如果工具的温度小于或等于预定义阈值，则可在第二距离(诸如例如5mm)处向临床医生提供警示。预定义阈值和/或警告距离可以是默认设置和/或可临床医生编程。另外或另选地，接近度警示可与由工具本身(诸如测量例如单极或双极解剖器或血管密封器的远侧钳口中的热量的热电偶)进行的热测量关联。
本文所公开的各种外科可视化系统可提供关于关键结构和特异性的足够的灵敏度，以使得临床医生能够基于护理和/或装置安全性数据的标准对快速但安全的解剖有信心地进行。系统可在外科手术期间在手术中实时地起作用，而对患者或临床医生的电离辐射风险最小，并且在各种情况下，对患者或临床医生没有电离辐射风险。相反地，在荧光透视过程中，患者和临床医生可经由例如用于实时观察解剖结构的X射线束暴露于电离辐射。
诸如当外科装置的路径由机器人控制时，本文所公开的各种外科可视化系统可被配置成能够例如检测和识别外科装置的向前路径中的一种或多种期望类型的关键结构。另外或另选地，外科可视化系统可被配置成能够检测和识别例如外科装置的周围区域中和/或多个平面/维度中的一种或多种类型的关键结构。
本文所公开的各种外科可视化系统可易于操作和/或解释。此外，各种外科可视化系统可结合允许临床医生覆写默认设置和/或操作的“覆写”特征。例如，诸如当关键结构的风险小于避开该区域的风险(例如，当摘除关键结构周围的癌症时，留下癌性组织的风险可能大于对关键结构造成损坏的风险)时，临床医生可选择性地关闭来自外科可视化系统的警示和/或比外科可视化系统所建议的更靠近关键结构。
本文所公开的各种外科可视化系统可结合到外科系统中和/或在对工作流程具有有限影响的情况下在外科手术期间使用。换句话讲，外科可视化系统的具体实施可能不会改变实施外科手术的方式。此外，与意外横切的成本相比，外科可视化系统可能更经济。数据表明，对关键结构的意外损坏减少可驱动增量补偿。
本文所公开的各种外科可视化系统可实时或接近实时地并且提前足够远地操作，以使得临床医生能够预期关键结构。例如，外科可视化系统可提供足够的时间以“减慢、评估和避开”，以便使外科手术的效率最大化。
本文所公开的各种外科可视化系统可能不需要注射到组织中的造影剂或染料。例如，光谱成像被配置成能够在不使用造影剂或染料的情况下在手术中可视化隐藏结构。在其他情况下，造影剂可比其他可视化系统更容易注射到适当的组织层中。例如，造影剂的注射与关键结构的可视化之间的时间可少于两小时。
本文所公开的各种外科可视化系统可与临床数据和/或装置数据关联。例如，数据可提供关于能量启用的外科装置(或其他潜在损坏装置)应与外科医生不想损坏的组织相距多近的边界。与本文所公开的外科可视化系统交互的任何数据模块可与机器人整体地或分开地提供，以使得能够与独立的外科装置一起用于例如开放式或腹腔镜式手术中。在各种情况下，外科可视化系统可与机器人外科系统兼容。例如，可视化图像/信息可显示在机器人控制台中。
在各种情况下，临床医生可能不知道关键结构相对于外科工具的位置。例如，当关键结构嵌入组织中时，临床医生可能无法确定关键结构的位置。在某些情况下，临床医生可能想要将外科装置保持在围绕关键结构的方位范围之外和/或远离覆盖隐藏关键结构的可见组织。当隐蔽关键结构的方位未知时，临床医生可能有移动得太靠近关键结构的风险，这可能导致关键结构的无意创伤和/或解剖和/或关键结构附近的过多能量、热量和/或张力。另选地，临床医生可能保持与关键结构的可疑位置相距过远，并且有在较不理想的位置影响组织以试图避开关键结构的风险。
本发明提供了一种外科可视化系统，该外科可视化系统呈现相对于一个或多个关键结构的外科装置跟踪。例如，外科可视化系统可跟踪外科装置相对于关键结构的接近度。此类跟踪可在术中、实时和/或近实时地发生。在各种情况下，跟踪数据可经由成像系统的显示屏(例如，监视器)提供给临床医生。
在本公开的一个方面，外科可视化系统包括：外科装置，该外科装置包括发射器，该发射器被配置成能够将结构化光图案发射到可见表面上；成像系统，该成像系统包括相机，该相机被配置成能够检测嵌入结构和可见表面上的结构化光图案；以及控制电路，该控制电路与相机和成像系统信号通信，其中控制电路被配置成能够确定从外科装置到嵌入结构的距离，并且向成像系统提供指示该距离的信号。例如，该距离可通过计算从相机到用荧光透视技术照亮的关键结构的距离并且基于由来自相机的多个透镜(例如，左侧透镜和右侧透镜)的图像提供的所照亮的结构的三维视图来确定。例如，从外科装置到关键结构的距离可基于外科装置和相机的已知方位来进行三角测量。本文进一步描述了用于确定到嵌入关键结构的距离的替代装置。例如，可采用NIR飞行时间距离传感器。另外或另选地，外科可视化系统可确定到叠加/覆盖嵌入关键结构的可见组织的距离。例如，外科可视化系统可通过在可见结构上描绘隐藏关键结构的示意图(诸如可见组织的表面上的线)来识别隐藏关键结构并增强隐藏关键结构的视图。外科可视化系统还可确定到可见组织上的增强线的距离。
通过向临床医生提供如本文所公开的各种外科可视化系统所提供的关于外科装置到隐蔽关键结构和/或可见结构的接近度的最新信息，临床医生可以做出关于外科装置相对于隐蔽关键结构的放置的更知情的决定。例如，临床医生可实时地/在术中查看外科装置与关键结构之间的距离，并且在某些情况下，当外科装置移动到关键结构的预定义接近度和/或区域内时，可由成像系统提供警示和/或警告。在某些情况下，当外科装置的轨迹指示与关键结构附近(例如，在关键结构的1mm、2mm、5mm、10mm、20mm或更多内)的“禁飞”区的可能碰撞时，可以提供警示和/或警告。在此类情况下，临床医生可在整个外科手术期间保持动量，而无需临床医生监测关键结构的可疑位置和外科装置与其的接近度。因此，某些外科手术可以更快地执行，具有更少的暂停/中断，以及/或者具有改进的准确性和/或确定性。在一个方面，外科可视化系统可用于检测组织可变性，诸如器官内组织的可变性，以区分肿瘤/癌组织/不健康组织与健康组织。此类外科可视化系统可使不健康组织的移除最大化，同时使健康组织的移除最小化。
外科集线器系统
本文所述的各种可视化或成像系统可以并入到外科集线器系统中，如结合图17-图19示出并且在下文中进一步详细描述。
参见图17，计算机实现的交互式外科系统2100包括一个或多个外科系统2102和基于云的系统(例如，可包括联接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。在一个示例中，如图17中所示，外科系统2102包括可视化系统2108、机器人系统2110和手持式智能外科器械2112，它们被配置成能够彼此通信并且/或者与集线器2106通信。在一些方面，外科系统2102可包括M数量的集线器2106、N数量的可视化系统2108、O数量的机器人系统2110和P数量的手持式智能外科器械2112，其中M、N、O和P为大于或等于一的整数。
图18示出了用于对平躺在外科手术室2116中的手术台2114上的患者执行外科手术的外科系统2102的示例。机器人系统2110在外科手术中用作外科系统2102的一部分。机器人系统2110包括外科医生的控制台2118、患者侧推车2120(外科机器人)和外科机器人集线器2122。当外科医生通过外科医生的控制台2118观察外科部位时，患者侧推车2120可通过患者体内的微创切口来操纵至少一个可移除地联接的外科工具2117。外科部位的图像可通过医学成像装置2124获得，该医学成像装置可由患者侧推车2120操纵以定向成像装置2124。机器人集线器2122可用于处理外科部位的图像，以随后通过外科医生的控制台2118显示给外科医生。
其他类型的机器人系统可容易地适于与外科系统2102一起使用。适用于本公开的机器人系统和外科工具的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
由云2104执行的并且适用于本公开的基于云的分析的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
在各种方面，成像装置2124包括至少一个图像传感器和一个或多个光学部件。合适的图像传感器包括但不限于电荷联接装置(CCD)传感器和互补金属氧化物半导体(CMOS)传感器。
成像装置2124的光学部件可包括一个或多个照明源和/或一个或多个透镜。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科场地反射或折射的光，包括从组织和/或外科器械反射或折射的光。
一个或多个照明源可被配置成能够辐射可见光谱中的电磁能以及不可见光谱。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(即，可被其检测)的那部分，并且可被称为可见光或简单光。典型的人眼将对空气中约380nm至约750nm的波长作出响应。
不可见光谱(即，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分(即，低于约380nm且高于约750nm的波长)。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(IR)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。
在各种方面，成像装置2124被配置用于微创手术中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。
在一个方面，成像装置采用多光谱监测来辨别形貌和底层结构。多光谱图像是捕获跨电磁波谱的特定波长范围内的图像数据的图像。可通过滤波器或通过使用对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如IR和紫外。光谱成像可允许提取人眼未能用其红色，绿色和蓝色的受体捕获的附加信息。多光谱成像的使用在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。在完成外科任务以对处理过的组织执行一个或多个先前所述测试之后，多光谱监测可以是用于重新定位外科场地的有用工具。
不言自明的是，在任何外科期间都需要对手术室和外科设备进行严格灭菌。在“外科室”(即，手术室或治疗室)中所需的严格的卫生和灭菌条件需要所有医疗装置和设备的最高可能的无菌性。该灭菌过程的一部分是需要对接触患者或穿透无菌区的任何物质进行灭菌，包括成像装置2124及其附接件和部件。应当理解，无菌区可被认为是被认为不含微生物的指定区域，诸如在托盘内或无菌毛巾内，或者无菌区可被认为是已准备用于外科规程的患者周围的区域。无菌区可包括被恰当地穿着的擦洗的团队成员，以及该区域中的所有设备和固定装置。
在各种方面，可视化系统2108包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列、以及一个或多个显示器，其相对于无菌区进行策略布置，如图18中所示。在一个方面，可视化系统2108包括用于HL7、PACS和EMR的界面。可视化系统2108的各种组件在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
如图18中所示，主显示器2119被定位在无菌区中，以对在手术台2114处的操作者可见。此外，可视化塔21121被定位在无菌区之外。可视化塔21121包括彼此背离的第一非无菌显示器2107和第二非无菌显示器2109。由集线器2106引导的可视化系统2108被配置成能够利用显示器2107、2109和2119来将信息流协调到无菌区内侧和外侧的操作者。例如，集线器2106可使可视化系统2108在非无菌显示器2107或2109上显示由成像装置2124记录的外科部位的快照，同时保持外科部位在主显示器2119上的实时馈送。非无菌显示器2107或2109上的快照可允许非无菌操作者例如执行与外科手术相关的诊断步骤。
在一个方面，集线器2106被进一步配置成能够将由非无菌操作者在可视化塔21121处输入的诊断输入或反馈路由至无菌区内的主显示器2119，其中可由操作台上的无菌操作者查看。在一个示例中，输入可以是对显示在非无菌显示器2107或2109上的快照的修改形式，其可通过集线器2106路由到主显示器2119。
参见图18，外科器械2112作为外科系统2102的一部分在外科手术中使用。集线器2106被进一步配置成能够将信息流协调至外科器械2112的显示器，如在各种美国专利申请中所描述的那样，这些专利申请以引用方式并入本公开中。由非无菌操作者在可视化塔21121处输入的诊断输入或反馈可由集线器2106路由至无菌区内的外科器械显示器2115，其中外科器械2112的操作者可观察到该输入或反馈。适用于外科系统2102的示例性外科器械在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
图19示出了由计算机实现的交互式外科系统2200。由计算机实现的交互式外科系统2200在许多方面类似于由计算机实现的交互式外科系统2100。外科系统2200包括与可包括远程服务器2213的云2204通信的至少一个外科集线器2236。在一个方面，由计算机实现的交互式外科系统2200包括外科集线器2236，该外科集线器连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。外科集线器2236包括用于将外科集线器2236以可通信地联接到云2204和/或远程服务器2213的通信接口。如图19的示例中所示，外科集线器2236联接到成像模块2238(该成像模块联接到内窥镜2239)、联接到能量装置2421的发生器模块2240、排烟器模块2226、抽吸/冲洗模块2228、通信模块2230、处理器模块2232、存储阵列2234、任选地联接到显示器2237的智能装置/器械2235和非接触传感器模块2242。手术室装置经由外科集线器2236联接到云计算资源和数据存储。机器人集线器2222也可连接到外科集线器2236和云计算资源。装置/器械2235、可视化系统2209等等可经由有线或无线通信标准或协议联接到外科集线器2236，如本文所述。外科集线器2236可联接到集线器显示器2215(例如，监测器、屏幕)以显示和叠加从成像模块、装置/器械显示器和/或其他可视化系统208接收的图像。集线器显示器还可结合图像和叠加图像来显示从连接到模块化控制塔的装置接收的数据。
态势感知
本文所述的各种可视化系统或可视化系统的各个方面可以用作态势感知系统的一部分，该态势感知系统可以由外科集线器2106、2236(图17-图19)来实施或执行。特别地，对外科器械或其他外科装置(包括其位置、方向和动作)、组织、结构、用户和位于外科场地或手术室内的其他事物进行表征、识别和/或可视化可以提供情境数据，态势感知系统可以利用该情境数据来推断正在执行的外科手术或其步骤的类型、外科医生正在操作的组织和/或结构的类型等。然后，该态势感知系统可以利用该情境数据来向用户提供警报，建议用户进行后续步骤或动作，准备外科装置以供其使用(例如，在外科手术的后续步骤中使用电外科器械的预期中激活电外科发生器)，智能地控制外科器械(例如，基于每个患者的特定健康状况定制外科器械操作参数)等。
尽管包括响应于感测数据的控制算法的“智能”装置可以是对在不考虑感测数据的情况下操作的“哑巴”装置的改进，但当孤立地考虑时，即在没有正在被执行的外科规程的类型或正在手术的组织的类型的背景下，一些感测数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，控制算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制模块化装置。模块化装置可以包括可由态势感知系统控制的任何外科装置，如可视化系统装置(例如，相机或显示屏)、外科器械(例如，超声波外科器械、电外科器械或外科缝合器)以及其他外科装置(例如，排烟器)。例如，用于响应于特定的感测参数来控制外科器械的控制算法的最佳方式可根据正在手术的特定组织类型而变化。这是由于以下事实：不同的组织类型具有不同的特性(例如，抗撕裂性)，并且因此不同地响应于由外科器械采取的动作。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个特定示例，响应于器械感测到用于闭合其端部执行器的意外高的力来控制外科缝合和切割器械的最佳方式将根据组织类型是易于撕裂还是抗撕裂而变化。对于易于撕裂的组织(诸如肺部组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐下降，从而避免撕裂组织。对于抗撕裂的组织(诸如胃组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐上升，从而确保端部执行器被正确地夹持在组织上。在不知道是肺部组织还是胃组织已被夹持的情况下，控制算法可做出次优决定。
一种解决方案利用包括系统的外科集线器，该系统被配置成能够基于从各种数据源所接收的数据来导出关于正在被执行的外科规程的信息，并且然后相应地控制配对的模块化装置。换句话讲，外科集线器被配置成能够从所接收的数据推断关于外科规程的信息，并且然后基于所推断的外科规程的背景来控制与外科集线器配对的模块化装置。图20示出了根据本公开的至少一个方面的态势感知外科系统2400的图。在一些范例中，数据源2426包括例如模块化装置2402(其可包括被配置成能够检测与患者和/或模块化装置本身相关联的参数的传感器)、数据库2422(例如，包含患者记录的EMR数据库)和患者监测装置2424(例如，血压(BP)监测器和心电图(EKG)监测器)。
外科集线器2404(其可在许多方面类似于集线器106)可被配置成能够例如基于所接收的数据的特定组合或从数据源2426接收数据的特定顺序来从数据导出与外科手术有关的背景信息。从所接收的数据推断的背景信息可包括例如正在被执行的外科规程的类型、外科医生正在执行的外科规程的特定步骤、正在手术的组织的类型或为规程的对象的体腔。外科集线器2404的一些方面从所接收的数据导出或推断与外科手术有关的信息的这种能力可被称为“态势感知”。在一个范例中，外科集线器2404可并入态势感知系统，该态势感知系统是与外科集线器2404相关联的从所接收的数据导出与外科手术有关的背景信息的硬件和/或程序设计。
外科集线器2404的态势感知系统可被配置成能够以多种不同的方式从接收自数据源2426的数据导出背景信息。在一个范例中，态势感知系统包括已经在训练数据上进行训练以将各种输入(例如，来自数据库2422、患者监测装置2424和/或模块化装置2402的数据)与关于外科手术的对应背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科规程的背景信息。在另一个范例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科规程的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制模块化装置2402的对应背景信息。在一个范例中，由外科集线器2404的态势感知系统接收的背景信息与用于一个或多个模块化装置2402的特定控制调节或一组控制调节相关联。在另一个范例中，态势感知系统包括当提供背景信息作为输入时生成或检索用于一个或多个模块化装置2402的一个或多个控制调节的另外的机器学习系统、查找表或其它此类系统。
结合有态势感知系统的外科集线器2404为外科系统2400提供了许多益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科规程过程期间的处理精度和/或数据的使用。回到先前的示例，态势感知外科集线器2404可确定正在手术的组织的类型；因此，当检测到用于闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器2404可正确地使用于组织类型的外科器械的马达速度逐渐上升或逐渐下降。
作为另一个示例，正在手术的组织的类型可影响针对特定组织间隙测量值对外科缝合和切割器械的压缩率和负荷阈值进行的调节。态势感知外科集线器2404可推断正在被执行的外科手术是胸腔手术还是腹部手术，从而允许外科集线器2404确定被外科缝合和切割器械的端部执行器夹持的组织是肺部组织(对于胸腔手术)还是胃组织(对于腹部手术)。然后，外科集线器2404可针对组织的类型适当地调节外科缝合和切割器械的压缩率和负荷阈值。
作为又一个示例，在吹入规程期间被操作的体腔的类型可影响排烟器的功能。态势感知外科集线器2404可确定外科部位是否处于压力下(通过确定外科手术正在利用吹入)并确定手术类型。由于一种手术类型通常在特定的体腔内执行，外科集线器2404然后可针对在其中进行操作的体腔适当地控制排烟器的马达速率。因此，态势感知外科集线器2404可提供对于胸腔和腹部手术两者一致的烟排出量。
作为又一个示例，正在被执行的规程的类型可影响超声外科器械或射频(RF)电外科器械操作的最佳能量水平。例如，关节镜规程需要更高的能量水平，因为超声外科器械或RF电外科器械的端部执行器浸没在流体中。态势感知外科集线器2404可确定外科手术是否是关节镜手术。然后，外科集线器2404可调节发生器的RF功率水平或超声振幅(即“能量水平”)以补偿流体填充的环境。相关地，正在手术的组织的类型可影响超声外科器械或RF电外科器械操作的最佳能量水平。态势感知外科集线器2404可确定正在被执行的外科手术的类型，并且然后根据该外科手术的预期组织概况分别定制超声外科器械或RF电外科器械的能量水平。此外，态势感知外科集线器2404可被配置成能够在整个外科手术过程中而不是仅在逐个手术的基础上调节超声外科器械或RF电外科器械的能量水平。态势感知外科集线器2404可确定正在被执行或随后将要被执行的外科手术的步骤，并且然后更新用于发生器和/或超声外科器械或RF电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。
作为又一个示例，可从附加数据源2426提取数据，以改进外科集线器2404从一个数据源2426提取的结论。态势感知外科集线器2404可用已从其它数据源2426构建的关于外科手术的背景信息来扩充其从模块化装置2402接收的数据。例如，态势感知外科集线器2404可被配置成能够根据从医学成像装置所接收的视频或图像数据来确定止血是否已经发生(即，在外科部位的出血是否已经停止)。然而，在一些情况下，视频或图像数据可能是不确定的。因此，在一个范例中，外科集线器2404可被进一步配置成能够将生理测量值(例如，由可通信地连接至外科集线器2404的BP监测器感测的血压)与止血的视觉或图像数据(例如，来自可通信地联接到外科集线器2404的医学成像装置124(图2))进行比较，以确定缝合线或组织焊缝的完整性。换句话讲，外科集线器2404的态势感知系统可考虑生理测量数据以在分析可视化数据时提供附加的背景。当可视化数据本身可能是不确定的或不完整的时，附加背景可以是有用的。
另一益处包括根据正在被执行的外科手术的特定步骤主动且自动地控制配对的模块化装置2402，以减少在外科手术过程期间医疗人员需要与外科系统2400交互或控制外科系统的次数。例如，如果态势感知外科集线器2404确定手术的后续步骤需要使用RF电外科器械，则其可主动地激活与该器械连接的发生器。主动地激活能量源允许器械在规程的先前步骤一完成就准备好使用。
作为另一个示例，态势感知外科集线器2404可根据在外科部位处外科医生预期需要查看的(一个或多个)特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。然后，外科集线器2404可相应地主动改变所显示的视图(例如，由用于可视化系统108的医学成像装置提供)，使得在整个外科手术中自动调节显示器。
作为又一个示例，态势感知外科集线器2404可确定外科手术的哪个步骤正在被执行或随后将要执行以及针对外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器2404可被配置成能够基于正在被执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生请求该特定信息。
另一个益处包括在外科规程的设置期间或在外科规程的过程期间检查错误。例如，态势感知外科集线器2404可确定手术室是否被正确地或最佳地设置以用于待执行的外科手术。外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的清单、产品位置或设置需求，并且然后将当前手术室布局与外科集线器2404确定的用于该正在被执行的外科手术类型的标准布局进行比较。在一个范例中，外科集线器2404可被配置成能够将用于手术的物品列表(例如，由合适的扫描仪扫描)和/或与外科集线器2404配对的装置列表与用于给定外科手术的物品和/或装置的建议或预期清单进行比较。外科集线器2404可被配置成能够如果列表之间存在任何不连续性，则提供指示特定模块化装置2402、患者监测装置2424和/或其它外科物品缺失的警报。在一个范例中，外科集线器2404可被配置成能够例如经由接近传感器来确定模块化装置2402和患者监测装置2424的相对距离或位置。外科集线器2404可将装置的相对位置与用于特定外科手术的建议或预期布局进行比较。外科集线器2404可被配置成能够如果在布局之间存在任何不连续性，则提供指示用于该外科手术的当前布局偏离建议布局的警报。
作为另一个示例，态势感知外科集线器2404可确定外科医生(或其它医疗人员)在外科手术过程期间是否正在出错或以其它方式偏离预期的动作过程。例如，外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在被执行的步骤或正在被使用的设备与外科集线器2404确定的针对该正在被执行的外科手术类型的预期步骤或设备进行比较。在一个范例中，外科集线器2404可被配置成能够提供指示在外科手术中的特定步骤处正在执行意外动作或正在利用意外装置的警报。
总体而言，用于外科集线器2404的态势感知系统通过针对每种外科手术的特定背景调节外科器械(和其它模块化装置2402)(诸如针对不同的组织类型进行调节)并在外科手术期间验证动作来改善外科手术结果。态势感知系统还根据手术的特定背景通过自动建议下一步骤、提供数据以及调节显示器和手术室中的其它模块化装置2402来提高外科医生执行外科手术的效率。
现在参见图21，其示出了描绘集线器诸如外科集线器106或206(图1至图11)的态势感知的时间轴2500。时间轴2500是说明性的外科手术以及外科集线器106、206可以从外科手术中每个步骤从数据源接收的数据导出的背景信息。时间轴2500描绘了护士、外科医生和其他医疗人员在肺段切除手术期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。
态势感知外科集线器106、206在整个外科手术过程中从数据源接收数据，包括每次医疗人员利用与外科集线器106、206配对的模块化装置时生成的数据。外科集线器106、206可以从配对的模块化装置和其他数据源接收该数据，并且在接收新数据时不断导出关于正在进行的手术的推论(即，背景信息)，诸如在任何给定时间执行手术的哪个步骤。外科集线器106、206的态势感知系统能够例如记录与用于生成报告的过程相关的数据，验证医务人员正在采取的步骤，提供可能与特定过程步骤相关的数据或提示(例如，经由显示屏)，基于背景调节模块化装置(例如，激活监测器，调节医学成像装置的视场(FOV)，或者改变超声外科器械或RF电外科器械的能量水平)，以及采取上述任何其他此类动作。
作为该示例性手术中的第一步2502，医院工作人员从医院的EMR数据库中检索患者的EMR。基于EMR中的选择的患者数据，外科集线器106、206确定待执行的手术是胸腔手术。
第二步2504，工作人员扫描用于手术的进入的医疗用品。外科集线器106、206与在各种类型的手术中利用的用品列表交叉引用扫描的用品，并确认供应的混合物对应于胸腔手术。另外，外科集线器106、206还能够确定手术不是楔形手术(因为进入的用品缺乏胸腔楔形手术所需的某些用品，或者在其他方面不对应于胸腔楔形手术)。
第三步2506，医疗人员经由可通信地连接到外科集线器106、206的扫描器来扫描患者带。然后，外科集线器106、206可基于所扫描的数据来确认患者的身份。
第四步2508，医务工作人员打开辅助设备。利用的辅助设备可根据外科手术的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当激活时，作为其初始化过程的一部分，作为模块化装置的辅助设备可以自动与位于模块化装置特定附近的外科集线器106、206配对。然后，外科集线器106、206可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置的类型来导出关于外科手术的背景信息。在该具体示例中，外科集线器106、206确定外科手术是基于配对模块化装置的该特定组合的VATS手术。基于来自患者的EMR的数据的组合，手术中使用的医疗用品的列表以及连接到集线器的模块化装置的类型，外科集线器106、206通常可推断外科小组将执行的具体手术。一旦外科集线器106、206知道正在执行什么具体手术，外科集线器106、206便可从存储器或云中检索该手术的步骤，然后交叉参照其随后从所连接的数据源(例如，模块化装置和患者监测装置)接收的数据，以推断外科团队正在执行的外科手术的什么步骤。
第五步2510，工作人员将EKG电极和其他患者监测装置附接到患者。EKG电极和其他患者监测装置能够与外科集线器106、206配对。当外科集线器106、206开始从患者监测装置接收数据时，外科集线器106、206因此确认患者在手术室中。
第六步2512，医疗人员诱导患者麻醉。外科集线器106、206可基于来自模块化装置和/或患者监测装置的数据(包括例如EKG数据、血压数据、呼吸机数据、或它们的组合)推断患者处于麻醉下。在第六步2512完成时，肺分段切除手术的术前部分完成，并且手术部分开始。
第七步2514，折叠正在操作的患者肺部(同时通气切换到对侧肺)。例如，外科集线器106、206可从呼吸机数据推断出患者的肺已经塌缩。外科集线器106、206可推断手术的手术部分已开始，因为其可将患者的肺部塌缩的检测与手术的预期步骤(可先前访问或检索)进行比较，从而确定使肺塌缩是该特定手术中的第一手术步骤。
第八步2516，插入医学成像装置(例如，内窥镜)，并启动来自医学成像装置的视频。外科集线器106、206通过其与医学成像装置的连接来接收医学成像装置数据(即，视频或图像数据)。在接收到医学成像装置数据之后，外科集线器106、206可确定外科手术的腹腔镜式部分已开始。另外，外科集线器106、206可确定正在执行的特定手术是分段切除术，而不是叶切除术(注意，楔形手术已经基于外科集线器106、206基于在手术的第二步2504处接收到的数据而排除)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在执行的手术类型相关的情境信息，包括通过确定医学成像装置相对于患者解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器106、206配对)，以及监测所利用的可视化装置的类型。例如，一种用于执行VATS肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行VATS分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例，一种用于执行VATS肺叶切除术的技术利用单个医学成像装置，而用于执行VATS分段切除术的另一种技术利用多个相机。作为另一个示例，一种用于执行VATS分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地联接到外科集线器)以可视化不用于VATS肺部切除术中的分段裂隙。通过从医学成像装置跟踪这些数据中的任何或所有，外科集线器106、206因此可确定正在进行的外科手术的具体类型和/或用于特定类型的外科手术的技术。
第九步2518，外科团队开始手术的解剖步骤。外科集线器106、206可推断外科医生正在解剖以调动患者的肺，因为其从RF发生器或超声发生器接收指示正在击发能量器械的数据。外科集线器106、206可将所接收的数据与外科手术的检索步骤交叉，以确定在过程中的该点处(即，在先前讨论的手术步骤完成之后)击发的能量器械对应于解剖步骤。在某些情况下，能量器械可为安装到机器人外科系统的机器人臂的能量工具。
第十步2520，外科团队继续进行手术的结扎步骤。外科集线器106、206可推断外科医生正在结扎动脉和静脉，因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器106、206可通过将来自外科缝合和切割器械的数据的接收与该过程中的检索步骤进行交叉引用来推导该推论。在某些情况下，外科器械可以是安装到机器人外科系统的机器人臂的外科工具。
第十一步2522，执行手术的分段切除术部分。外科集线器106、206可推断外科医生正在基于来自外科缝合和切割器械的数据(包括来自其仓的数据)横切软组织。仓数据可对应于例如由器械击发的钉的大小或类型。由于不同类型的钉用于不同类型的组织，因此仓数据可指示正被缝合和/或横切的组织的类型。在这种情况下，被击发的钉的类型用于软组织(或其他类似的组织类型)，这允许外科集线器106、206推断手术的分段切除术部分正在进行。
第十二步2524中，执行节点解剖步骤。外科集线器106、206可基于从发生器接收的指示正在击发RF或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定手术，在横切软组织后利用的RF或超声器械对应于节点解剖步骤，该步骤允许外科集线器106、206进行此类推论。应当指出的是，外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(即，RF或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。此外，在某些情况下，机器人工具可用于外科手术中的一个或多个步骤，并且/或者手持式外科器械可用于外科手术中的一个或多个步骤。一个或多个外科医生可例如在机器人工具与手持式外科器械之间交替和/或可同时使用装置。在第十二步2524完成时，切口被闭合并且手术的术后部分开始。
第十三步2526，反向麻醉患者。例如，外科集线器106、206可基于例如呼吸机数据(即，患者的呼吸率开始増加)推断出患者正在从麻醉中醒来。
最后，第十四步2528是医疗人员从患者移除各种患者监测装置。因此，当集线器从患者监测装置丢失EKG、BP和其他数据时，外科集线器2106、2236可推断患者正在被转移到恢复室。如从该示例性手术的描述可以看出，外科集线器2106、2236可根据从可通信地联接到外科集线器2106、2236的各种数据源接收的数据来确定或推断给定外科手术的每个步骤何时发生。
态势感知在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中，本公开以引用方式并入本文。在某些情况下，机器人外科系统(包括例如本文所公开的各种机器人外科系统)的操作可由集线器2106、2236基于其态势感知和/或来自其部件的反馈和/或基于来自云2104(图17)的信息来控制。
利用融合成像的成像系统
外科医生依赖于成像系统142(图2)的外科手术固有的一个问题是摄像机144(图2)的障碍物，其影响了成像系统142对手术部位进行可视化的能力，从而影响了外科医生对执行手术所需的外科任务的能力。障碍物可以包括例如在摄像机144的镜头上、在体腔的表面上或者以其他方式存在于外科部位的流体(例如，血液)；由电外科器械产生的烟雾或体腔内存在的其他气溶胶；和/或覆盖目标组织或结构的组织或其他结构。外科系统可以被配置成能够利用各种成像技术来补偿障碍物，包括摄像机144的FOV的子区域的多光谱成像、插入由摄像机144捕获的先前图像帧的子区域、捕获的图像的对比多光谱分析等。
在一个一般方面，本公开涉及一种外科系统，该外科系统被配置成能够利用通过多光谱光源的成像系统142以一定采样率捕获的图像片段，来最小化由于各种障碍物(例如，手术烟雾)造成的可视化损害。在一个方面，外科系统可以被配置成能够将高光谱成像与可见光成像相结合，以最小化由障碍物引起的图像干扰。例如，外科系统可以被配置成能够通过利用EMR的单独波长或波长范围来检测外科器械、外科部位或周围环境的下面或被遮挡部分的各方面。例如，外科系统可以利用来自顺序扫描装置的帧来传输EMR的独立波长，包括被配置成能够扫描可见光谱内和可见光谱外的高光谱成像装置，或者被配置成能够以不同于第一或主成像系统的长度发射EMR的第二成像系统。因此，外科系统可以被配置成能够识别特定波长或一组波长的图像帧的被遮挡部分，并且利用在其他EMR波长获得的图像帧的未被遮挡图像部分来插入或替换被遮挡的图像部分的一部分，以便为用户提供手术部位的完全可视化的未被遮挡图像。
在利用包括高光谱成像装置的成像系统的方面，高光谱成像装置可以以特定速率(例如，每秒240帧)进行扫描，该速率允许发射扫描的一部分包括来自近红外(IR)或紫外(UV)激光源的EMR。由于这些波长处的EMR不会像可见光那样受到障碍物(如手术烟雾、液体等)的影响，因此高光谱成像装置可以用于获得存在于超光谱图像和相应的可见光图像中的形状、轮廓或特征的图像。然后，外科系统的控制系统(如图2中所示的控制系统133)可以被配置成能够用相应的检测到的超光谱特征或图像部分来替代利用可见光获得的图像的被遮挡部分，以完成对外科医生的可视化。作为另一示例，成像系统可以包括可调EMR源(例如，光谱光源150)，其可由控制系统133控制，以在水对EMR的吸收最小的波长或波长组(例如，在可见的蓝-绿波长范围内)处发射EMR，因为在外科手术中特别容易被水或含水流体遮挡。作为另一示例，除了第一主成像系统之外，外科系统还可以包括第二成像系统(例如，图2所示的成像系统142)。在此示例中，第一成像系统142可以被配置成能够用于对可见或近可见EMR光谱进行成像，并且第二成像系统可以被配置成能够用于不同波长光谱(例如，长波IR(LWIR))的成像。因此，当第一成像系统被遮蔽时，第二成像系统可以根据需要由外科系统激活或以其它方式利用。在这些不同的方面，外科系统将最小化相机144所需的清洁量(例如，从图像传感器135或其他扫描阵列移除障碍物)，并防止由于摄像机144和外科场地之间的障碍物(例如，手术烟雾或吹入气体)而导致的对外科场地的暂时遮蔽。
在特定示例中，成像或可视化系统被描述为包括高光谱成像装置或利用高光谱成像技术。然而，应当注意，高光谱成像是一种特定类型的多光谱成像。在高光谱成像中，波长“库”是连续的，因此高光谱成像技术利用整个EMR光谱。相反，多光谱可以意味着“库”被分离。换句话说，多光谱成像系统可以感测例如EMR光谱的可见光、中波IR(MWIR)和LWIR部分内的EMR(可能存在多光谱成像系统在例如EMR光谱的近IR(NIR)部分和/或MWIR和LWIR部分之间感测不到的间隙)。本文所述的成像或可视化系统和方法不应被解释为限于任何特定示例，包括描述高光谱成像的示例。实际上，成像或可视化系统和方法可以广泛地利用任何多光谱成像装置和技术。
为了帮助理解上述系统和方法，将在视频辅助胸腔镜手术(VATS)过程的背景下描述各种示例。应当理解，这仅仅是为了说明的目的，并且所描述的系统和方法也适用于其他背景和/或外科手术。VATS手术是一种外科手术，其中一个或多个外科器械和一个或多个胸腔镜(即，摄像机)通过位于患者肋骨之间的切口插入患者的胸腔中。使用摄像机向外科医生提供患者胸腔内部的视图，以允许外科医生适当地定位/移动外科器械并对胸腔内的组织/结构进行操作。因此，图22是根据本公开的至少一个方面的在对肺3010执行外科手术期间的外科系统3000的图。用于执行视频辅助外科手术的外科系统3000可以包括各种不同的外科装置，包括成像装置3002、抓紧器3004、电外科器械3006或另一种外科器械以及排烟器3008。此外，外科系统3000可以包括或连接到外科集线器2106、2236(图17-图19)、可视化系统2108(图17-图19)或成像系统142(图2)、控制系统133(图2)、机器人系统2110(图17-图19)以及本文所述的任何其他系统或装置。成像装置3002可以包括摄像机144(图2)、光谱光源150(图2)、结构化光源152(图2)、本文描述的任何其他成像发射器或接收器，或者它们的组合。成像装置3002可以被配置成能够捕获FOV 3020内的外科部位的图像或视频，并将其提供给显示屏(例如，图2中的显示器146)，以供用户(例如，外科医生)观看。成像装置3002可以被配置成能够感测EMR光谱的可见光部分内或外的EMR，从而对肉眼可见或不可见的组织和/或结构进行可视化。然后，基于由与成像装置3002相关联的成像系统142提供的可视化，外科医生可以控制外科装置来对组织和/或结构进行操作以执行外科手术。
在外科手术过程中，各种遮蔽物(如手术烟雾云3014或其他气溶胶、流体、气体、组织、结构等)可以在成像装置3002的FOV 3020上移动，从而防止成像系统132能够完全可视化外科部位，这又会对外科医生执行手术的能力产生负面影响。许多外科系统3000包括排烟器3008，以从正在进行手术的体腔中移除手术烟雾3014、其他气溶胶和气体。然而，排烟器3008可能不足以去除所有的遮蔽物，或者可能存在与遮蔽物的移除相关的延迟，在此期间，外科医生不能正确地观察外科部位。因此，需要系统和方法来补偿遮蔽物的存在，并允许通过这些遮蔽物观察外科部位。
在一个方面，成像系统(如图2所示的成像系统142)可以被配置成能够利用高光谱成像和图像融合技术来允许透过遮蔽物进行可视化。例如，图23是面对多个遮蔽物的成像装置3002的图。在此示例中，外科手术的目标是皮下肿瘤3038。然而，为了实际显现肿瘤3038，成像装置3002将必须补偿许多不同的遮蔽物，包括存在于成像装置3002的镜头上的流体3030、存在于体腔内的手术烟雾3032、组织3036表面上的血液3034、组织3036本身以及位于整个组织3036中的结构3040。在一个方面，成像装置3002可以是高光谱成像装置，其被配置成能够在波长光谱上感测EMR。EMR与在不同波长的各种物体的相互作用是不同的。特别地，特定波长或波长范围的特定遮蔽物可能不会吸收某些波长的EMR。因此，通过在EMR光谱的多个部分感测EMR，成像系统142可以通过在不被遮蔽物吸收的波长处感测EMR来透过遮蔽物进行可视化。此外，可以选择由成像装置3002感测的波长，以感测与典型的或预期的遮蔽物不相互作用(或基本上不相互作用)的波长。在所描绘的示例中，成像装置3002可以被配置成能够感测EMR光谱的可见光、MWIR和LWIR部分内的EMR。
在一个方面，控制系统可以被配置成能够利用多光谱(例如，高光谱)成像来在EMR光谱的多个部分对外科部位进行可视化，然后通过用在未被遮蔽物吸收的波长范围的另一部分捕获的图像的对应部分替换在一个波长范围捕获的图像的遮蔽部分，向用户提供没有遮蔽物的可视化。图24中示出了这种算法的一个示例，其是用于利用多光谱EMR源生成融合图像的过程3050的逻辑流程图。在以下对过程3050的描述中，还应当参考图2和图23。过程3050可实施为例如存储在联接到控制电路132的存储器134中的指令，所述指令在由控制电路132执行时使控制电路132执行过程3050的所枚举的步骤。为了简洁，过程3050被描述为由控制电路132执行；然而，应当理解，过程3050可以由硬件、软件和/或固件的其他组合来执行。
因此，执行过程3050的控制电路132可以使成像系统142执行步骤3052来感测来自外科部位的第一波长范围(例如，可见光)处的EMR(例如，经由成像装置3002)，然后执行步骤3054以从其生成相应的第一图像。相应地，控制电路132可以使成像系统142执行步骤3056以感测来自外科部位的第二波长范围(例如，MWIR或LWIR)处的EMR(例如，经由成像装置3002)，然后执行步骤3058以从其生成相应的第二图像。
因此，控制电路132可以执行步骤3060以确定第一图像是否至少部分被遮挡。控制电路132可以被配置成能够通过利用物体识别和其他计算机视觉技术检测障碍物来做出该确定。如果第一图像没有被至少部分遮挡，则过程3050沿着“否”分支进行，并且控制电路132可以继续进行步骤3052和3054以感测EMR，并且进行步骤3054和3058以生成相应的图像，如上所述。如果第一图像至少部分被遮挡(即，图像内存在障碍物)，则过程3050沿着“是”分支进行，并且控制电路132可以通过用第二图像的对应部分替换第一图像的被遮挡部分来进行步骤3062以生成第三图像。如果选择第二波长范围使得其不被遮蔽物吸收，那么第二图像的相应部分应该是未被遮挡的。因此，第三图像应该提供外科部位的未被遮挡的可视化，以供外科医生观看。
为了简洁，过程3050是在生成和组合在两个不同波长范围捕获的两个图像的背景下描述的；然而，成像系统142可以被配置成能够在任意数量的波长范围内感测和生成图像。例如，图23示出了将来自至少三个不同EMR波长范围的图像数据进行组合以生成结果图像的实施方式。所描绘的第一图像3042a、第二图像3042b、第三图像3042c和第四图像3042d中的每一个都包括像素阵列3043，这些像素在相应的EMR波长范围内共同对外科部位进行可视化。在该示例中，第一图像3042a是利用EMR光谱的可见光部分捕获的，并且包括第一未被遮挡部分3044a，图像3042a的剩余部分被遮挡；第二图像3042b是利用EMR光谱的MWIR部分捕获的，并且包括第二未被遮挡部分3044b；并且第三图像3042c是利用EMR光谱的LWIR部分捕获的，并且包括第三未被遮挡部分3044c。控制系统133还可以被配置成能够对各种生成的图像执行各种图像处理技术，以改善由此提供的可视化。。例如，第四图像3042d也是利用EMR光谱的可见光部分捕获的，因此可以对应于第一图像3042a，但是包括附加的图像处理以识别流体(水)遮挡部分3044d。因此，第一图像3042a的对应部分可以在对应的波长或波长范围(例如，可见光谱的蓝-绿部分)处被过滤，以去除障碍物。因此，执行过程3050的控制电路132可以被配置成能够从上述初始图像3042a、3042b、3042c、3042d生成组合或融合图像3070。融合图像3070可以包括对应于从EMR光谱的可见光部分生成的第一图像3042a的未被遮挡部分3044a的第一部分3072、对应于从EMR光谱的MWIR部分生成的第二图像3042b的未被遮挡部分3044b的第二部分3074、对应于从EMR光谱的LWIR部分生成的第三图像3042c的未被遮挡部分3044c的第三部分3076，以及对应于从EMR光谱的可见光部分生成的图像的被遮挡部分3044d的第四部分3078，但经过后处理以去除可见光谱的蓝-绿部分。上述图像部分3072、3074、3076、3078中的每一个可以由控制系统133融合在一起，以生成融合图像3070，该融合图像提供肿瘤3038和任何其他相关结构3040的未遮挡可视化。
可用于补偿外科部位存在的遮蔽物的另一种技术是图像子区插值，由此被遮蔽、损坏或以其他方式干扰的图像部分可由来自同步图像集的图像的相应部分替换。例如，外科控制系统可以利用幸运区域融合(LRF)技术，通过使用多个图像帧来提高提供给用户的可视化的质量。在一个方面，控制系统可以被配置成能够通过用先前捕获的图像的未遮蔽部分替换图像的遮蔽部分来向用户提供未遮蔽可视化。图26中示出了这种算法的一个示例，其是用于利用多个图像帧来生成融合图像的过程3100的逻辑流程图。在以下对过程3100的描述中，还应当参考图2和图27至图29。过程3100可实施为例如存储在联接到控制电路132的存储器134中的指令，所述指令在由控制电路132执行时使控制电路132执行过程3100的所枚举的步骤。为了简洁，过程3100被描述为由控制电路132执行；然而，应当理解，过程3100可以由硬件、软件和/或固件的其他组合来执行。
因此，执行过程3100的控制电路132可以(例如，经由成像系统142)进行步骤3102以生成外科部位的图像，然后进行步骤3104以确定该图像是否至少部分被遮挡，如上所述。例如，图27是由成像系统142捕获的n个图像帧3160的系列3150的图。第n个图像帧3160可以是最近捕获的图像帧3160，第(n-1)个图像帧3160可以是之前捕获的图像帧3160，等等。例如，每个图像帧3160包括多个像素3151，这些像素可以对应于或不对应于图像传感器135的像素或单元。如图27所示，图像帧3160可以包括未被遮挡部分3162和被遮挡部分3164。具体地，在评估第n个图像帧3160时，执行过程3100的控制电路123将确定第n个图像帧3160至少部分被遮挡，因为该图像帧包括像素3151的被遮挡部分3164。
如果控制电路132确定3104图像没有至少部分被遮挡，则过程3100沿着“否”分支进行，并且控制电路132可以使成像系统142继续生成对外科部位进行可视化的图像(即，对外科部位进行可视化)，如上所述。如果控制电路132进行步骤3104以确定图像至少部分地构建(例如，如第n图像帧3160中所示)，则过程沿着“是”分支进行，并且控制电路132可以进行步骤3106以从图像集3150检索先前图像。在一个方面，控制电路132可以进行步骤3106以从图像集3150中连续检索一个或多个先前图像，直到控制电路132已经定位了相应的未被遮挡图像部分，用这些未被遮挡的图像部分来替换第一图像的被遮挡部分。
因此，控制电路132可以进行步骤3108以从原始图像和从图像集3150检索的一个或多个先前图像生成更新的图像。例如，图28和图29示出了从多个连续图像帧3160生成的更新或融合图像3152。在这个特定的示例中，n等于60，尽管这仅仅是为了说明的目的。在图28中，每个像素3151内指示的数字对应于从中提取特定像素3151的图像帧3160。如图所示，融合图像3152是从跨多个不同图像帧3160的像素3151的组合中生成的。具体地，图像帧3160的55到60分别依次对应于第(n-5)到第n图像帧3160，如图27所示。因此，控制电路132可以被配置成能够从由成像系统142捕获的图像组3150中重复地进行步骤3106以检索先前的图像，并提取图像部分(如在检索的图像中未被遮挡但对应于在连续图像中被遮挡的像素3151的像素3151)。控制电路132可以重复该过程，直到已经从图像集3150中检索到完全或基本上未被遮挡的图像部分集合，然后将图像部分融合在一起进行步骤成3108以生成更新的图像。图29中示出了使用该技术产生的所得融合图像3152，其示出如何通过初始被部分遮挡的图像使得肿瘤3038和结构3140(如血管)向用户可视化。
另一种可用于补偿外科部位存在的遮蔽物的技术是对一组同步成像装置进行比较分析。控制系统133可以被配置成能够交错由多个同步成像装置生成的多个图像部分，以生成融合图像。特别地，由第一或主成像系统(例如，图2中所示的成像系统142)生成的图像的一部分可以被由第二成像系统生成的图像的对应部分替换。特别地，一组成像系统可以被配置成能够对其扫描进行时间索引。由第一成像系统生成的第一扫描的被遮蔽、破坏、模糊或以其他方式干扰的部分可以被由第二成像系统生成的第二扫描的更清晰和/或验证的部分(其根据第一扫描进行时间索引)所替换。如果图像数据在由第一成像系统生成的主动态数据集的成像中丢失、损坏或被遮蔽，来自另一成像系统(其也可以在另一波长或波长范围内感测)的二次扫描可以被控制系统133利用来锐化、替换或内插原始图像，以改善用户对外科部位的可视化。
基于多个感测参数的外科系统控制
任何外科手术和外科器械固有的一个问题是对于给定的患者和/或组织状况以理想的方式控制外科器械。为此，一些外科器械包括用于感测与外科器械和/或由外科器械操纵的组织相关的各种参数的传感器。然而，一些感测的数据可以指示组织的不同状态或条件，因此在缺少额外数据的情况下可能是不确定的。因此，外科系统可以将来自成像系统的数据与其他感测数据相结合，以求解模糊性，并根据所确定的组织状态/状况来理想地控制手术器械。
在一个一般方面，本公开涉及一种控制系统，该控制系统被配置成能够利用两个相关但不相同的数据源来区分由外科器械作用的组织的不同状态。这种状态包括例如组织内的流体流动和由外科器械引导的能量对组织的热冲击。控制系统可以被配置成能够控制外科器械(如下文描述的外科器械3290)。
图30为根据本公开的至少一个方面的被配置成能够控制各个功能的外科器械3290的示意图。在一个方面，外科器械3290被编程为控制位移构件诸如闭合构件3264的远侧平移。外科器械3290包括端部执行器3292，该端部执行器可包括夹持臂3266、闭合构件3264和超声刀3268，该超声刀可与一个或多个RF电极3296(以点划线示出)互换或结合一个或多个RF电极工作。超声刀3268联接到由超声发生器3271驱动的超声换能器3269。
在一个方面，传感器3288可被实现为限位开关、机电装置、固态开关、霍尔效应装置、MR装置、GMR装置、磁力计等等。在其他具体实施方式中，传感器3288可被实现为在光的影响下操作的固态开关，诸如光学传感器、IR传感器、紫外线传感器等等。同样，开关可为固态装置，诸如晶体管(例如，FET、结型FET、MOSFET、双极型晶体管等)。在其他具体实施方式中，传感器3288可包括无电导体开关、超声开关、加速度计和惯性传感器等。
在一个方面，位置传感器3284可被实现为绝对定位系统，该绝对定位系统包括被实现为AS5055EQFT单片磁性旋转位置传感器，其可购自澳大利亚奥地利微电子公司(Austria Microsystems,AG)。位置传感器3284可与控制电路3260进行交互以提供绝对定位系统。位置可包括位于磁体上方并联接到CORDIC处理器的霍尔效应元件，该CORDIC处理器也被已知为逐位方法和Volder算法，提供该CORDIC处理器以实现用于计算双曲线函数和三角函数的简单有效的算法，双曲线函数和三角函数仅需要加法操作、减法操作、数位位移操作和表格查找操作。
在一些示例中，可省略位置传感器3284。在马达3254是步进马达的情况下，控制电路3260可通过聚集马达已被指示执行的步骤的数量和方向来跟踪闭合构件3264的位置。位置传感器3284可位于端部执行器3292中或器械的任何其他部分处。
控制电路3260可与一个或多个传感器3288通信。传感器3288可被定位在端部执行器3292上并且适于与外科器械3290一起操作以测量各种衍生参数，诸如间隙距离与时间、组织压缩与时间以及砧座应变与时间。传感器3288可包括磁性传感器、磁场传感器、应变仪、压力传感器、力传感器、电感式传感器(诸如涡流传感器)、电阻式传感器、电容式传感器、光学传感器和/或用于测量端部执行器3292的一个或多个参数的任何其他合适的传感器。传感器3288可包括一个或多个传感器。
RF能量源3294联接到端部执行器3292，并且当RF电极3296设置在端部执行器3292中以代替超声刀3268或结合超声刀3268工作时，该RF能量源被施加到RF电极3296。例如，超声刀由导电金属制成，并且可用作电外科RF电流的返回路径。控制电路3260控制RF能量到RF电极3296的递送。
附加细节公开于2017年6月28日提交标题为“SURGICAL SYSTEM COUPLABLE WITHSTAPLE CARTRIDGE AND RADIO FREQUENCY CARTRIDGE,AND METHOD OF USING SAME”的美国专利申请序列15/636,096，该专利全文以引用方式并入本文。
在各个方面，外科器械3290的传感器3288可以包括传感器，该传感器被配置成能够检测或测量与外科器械3290作用的组织相关的各种电参数，例如组织的电容或阻抗。在各个方面，传感器3288还可以包括传感器，该传感器被配置成能够检测或测量与外科器械3290作用的组织相关的各种物理参数的传感器，如温度、粘弹性压缩(例如，组织蠕变、稳定时间或初始加载速率)或厚度(例如，其可以在钳口与组织第一次接触时检测到)。进一步地，图2中所示的控制系统133的图像传感器135可用于使用上述各种技术基于成像系统142发射的EMR来检测或测量各种组织参数。例如，图像传感器135可以被配置成能够检测组织在各种波长下的折射率、组织反射的EMR/光的偏振、组织的被动IR发射或与组织相关的多普勒波长偏移。这些基于成像的参数中的任何一个都可以与其他感测到的参数(例如，电或物理参数)结合使用，以确定组织的状态或状况，这些状态或状况可能无法通过参数单独直接确定。
在一个方面，控制系统可以被配置成能够基于外科器械作用的组织的状态或状况来控制与外科系统相关联的一个或多个操作参数，该状态或状况可以基于成像系统和其他传感器感测的参数来确定。图31中示出了这种算法的一个示例，其是用于根据感测到的参数控制外科系统的过程3300的逻辑流程图。在以下对过程3300的描述中，还应当参考图2和图30。过程3300可实施为例如存储在联接到控制电路132的存储器134中的指令，所述指令在由控制电路132执行时使控制电路132执行过程3300的所枚举的步骤。为了简洁，过程3300被描述为由控制电路132执行；然而，应当理解，过程3300可以由硬件、软件和/或固件的其他组合来执行。
因此，执行过程3300的控制电路132可以经由成像系统142进行步骤3302以接收第一组织参数的测量值。如前所述，第一组织参数可以包括例如组织在各种波长下的折射率、组织反射的光的偏振、组织的被动IR发射或与组织相关的多普勒波长偏移。
因此，控制电路132可以通过传感器788进行步骤3304以接收第二组织参数的测量值。如前所述，第二组织参数可以包括例如组织的各种电和/或物理特征，如温度、粘弹性压缩或组织厚度。
因此，控制电路132可以基于接收的组织参数的测量结果(步骤3302和3304)的组合来进行步骤3306以确定组织的状态或状况，然后进行步骤3308以相应地控制外科器械3290。组织的各种电和/或物理特征的相同测量值可以指示组织的不同状况，这又需要对外科器械3290进行不同的控制调节。当没有附加或补充信息时，在基于组织的各种电和/或物理特征的测量值的组织状况不明确的情况下，控制系统133可能无法针对组织的给定状况正确地控制外科器械3290。因此，当前描述的控制系统用经由成像系统142感测的组织参数来补充由传感器3288感测的电和/或物理特征，以便准确地确定组织的状态或状况，然后以适当的方式控制外科器械3290。例如，响应于检测到位于外科器械3290的端部执行器3292的组织温度(即，在过程3300期间接收的第二组织参数(步骤3304))的升高,控制外科器械3290的不同方式可能是合适的。如果控制系统133检测到组织的偏振或折射率(即，在过程3300期间接收的第一组织参数(步骤3302))的相应变化，则控制电路132可以进行步骤3306以确定组织具有附带热损伤，并进行步骤3308以控制外科器械3290，以降低器械功率水平或向用户提供降低器械功率水平的建议。相反，如果没有检测到组织的偏振或折射率的相应变化，则控制电路132可以进行步骤3306以确定组织不具有附带热损伤，并进行步骤3308以控制外科器械3290，以保持或增加器械功率水平或提供达到这种效果的建议。作为另一个示例，响应于检测由外科器械3290的端部执行器3292抓取的组织的组织阻抗(即，在过程3300期间接收的第二组织参数(步骤3304))，控制外科器械3290的不同方式可能是合适的。如果控制系统133在成像系统142对组织的运动、蠕动或压缩(即，在过程3300期间接收的第一组织参数(步骤3302))进行可视化的同时没有检测到组织阻抗的变化，则控制电路132可以进行步骤3306以确定在所抓取的组织中存在皮下不规则性。
本文描述的控制系统133可以例如在外科器械3290、外科器械3290(例如，如图21所示的能量装置3241)可通信地联接到其上的外科集线器2236(图21)或其组合(例如，使用分布式处理协议)上实施或由它们执行。当控制系统体现为外科器械3290的部件时，成像数据可以直接从成像系统142接收，或者通过外科集线器2106、2236(图17-图19)接收，该外科集线器又联接到成像系统142。当控制系统133体现为外科集线器2106、2236的组件时，可以从联接到外科集线器2106、2236的成像系统142处接收成像数据，可以从联接到外科集线器2106、2236的外科器械3290处接收外科器械传感器数据，然后外科集线器2106、2236的控制系统133可以确定适当的外科器械控制调整，并将其传输到外科器械3290以供执行。
用于补偿成像伪影的自适应光学系统
在一个方面，控制系统(如结合图2描述的控制系统133)可以被配置成能够补偿与联接到其上的成像系统142相关联的成像伪影。在一个方面，控制系统133可以被配置成能够在超过60Hz的采样率内结合选择性成像段选择来调节由成像系统142在多个光波长上接收的光学信号，以从可视化中去除光学微粒障碍物。在一个方面，控制系统133可以被配置成能够发射投射的控制光束(例如，经由成像系统142)并相应地监控扫描阵列(例如，图像传感器135)的隔离框架上的返回信号，以确定占据体腔的气体内的微粒对EMR/光的失真。控制投射与其源的差异将为控制系统133提供基线，通过该基线在扫描的后续部分中调整范围可视化帧。
基于气载微粒特征的手术系统控制
使用电外科器械的外科手术固有的一个问题是器械产生的烟雾。手术烟雾可能包括有毒气体和蒸汽；生物气溶胶，包括死细胞和活细胞材料、血液碎片和病毒；以及诱变和致癌化合物。因此，非常需要从外科部位去除这些微粒，并且相应地，排烟器通常用于会产生手术烟雾的外科手术中。然而，需要根据所产生的微粒的类型来控制排烟器和其他外科装置(包括外科器械)，因为不同的微粒类型可能需要不同类型的控制调节来精确控制和减轻外科手术中烟雾的产生。外科系统可以例如改变外科器械的能量曲线以产生更少的烟雾和/或根据产生的微粒类型自动控制排烟器。
在一个一般方面，本公开涉及一种控制系统，其被配置成能够检测由成像系统发射的光的偏振水平，以确定微粒云的参数，并相应地调整链接的系统或装置的控制参数。在另一个方面，从检测到的微粒反射的EMR的偏振可以与所产生的微粒的矢量化和数量结合使用，以确定微粒的来源，这又可以用于控制产生微粒的装置，以提高外科部位的可视化。在另一个方面，从检测到的微粒反射的EMR的偏振可用于确定调整电外科器械或排烟器的控制参数是否会更有效地提高外科部位的可视化。
图32是根据本公开的至少一个方面的用于检测不同微粒类型的偏振EMR源3500的图。偏振EMR源3500可以包括配置成能够发射EMR 3506的发射器3502和配置成能够对发射的EMR 3506进行偏振的偏振滤波器3504。偏振滤波器3504可以可移除地或一体地固定到发射器3502。偏振EMR源3500可以体现为成像系统的组件，该成像系统可以包括例如图1所示的外科可视化系统100、图2所示的成像系统142和/或图5所示的外科可视化系统500。相应地，发射器3502可以包括图1所示的发射器106、图2所示的结构化光源152、图2所示的光谱光源150等等。成像系统又可以体现为外科系统的组件，如图1所示的机器人外科系统110，其可以进一步包括配置成能够控制外科系统的各个方面的控制系统。例如，控制系统可以包括图2所示的控制系统133和/或图11中所示的控制系统600。
在外科手术过程中，外科部位可能存在气载微粒。这些微粒可以包括天然存在的微粒和非天然或合成的微粒。天然存在的微粒可以由于外科器械(如电外科器械)和被治疗的组织之间的相互作用而产生。天然存在的微粒可包括例如死细胞材料、血液片段和其他生物材料。手术人员可以将人造或合成微粒引入外科部位。这些微粒可以体现为存在于外科部位内或外科部位处的烟雾或气溶胶。一般而言，可能不希望存在这种微粒，因此许多外科系统包括排烟器以从外科部位去除不期望的烟雾或气溶胶。成像系统可以被配置成能够检测在外科部位产生的微粒(即，烟雾)，并且控制系统可以被配置成能够基于检测到的微粒的特征或特性来控制外科系统或其组件的各种操作参数。本文描述了此类控制算法的一些示例。
返回参考图32，如上所述，外科部位处的气载微粒可以包括天然存在的微粒3510和人造微粒3512。能够区分外科部位存在的不同类型的微粒是有益的，因为可能需要不同的动作来减少每种不同类型的微粒的存在。例如，如果检测到的微粒类型是可由治疗组织的电外科器械产生的天然存在的微粒3510，则可能期望控制电外科器械以减少天然存在的微粒3510的产生(例如，通过降低能量占空比或以其他方式改变器械的能量传递曲线)。相反，如果检测到的微粒类型是合成微粒3512，那么控制电外科器械将对合成微粒3512的存在没有影响，因为该微粒类型不是由电外科器械的动作产生的。相反，可能期望增加排烟器的吸气量，以从外科部位清除合成微粒3512。进一步地，如果在外科部位检测到不同微粒类型的组合，则可能期望控制相互组合的电外科器械和排烟器，其中对每个装置的控制调整不同。因此，用于外科系统的控制系统可以被配置成能够检测外科部位处存在的不同类型的气载微粒，并适当地控制外科系统的各种装置或组件，以减少或消除外科部位的微粒。
在一个方面，天然存在的微粒3510和合成微粒3512可以基于气载微粒3510、3512在经受极化的EMR 3506时的反射特征而彼此区分。例如，控制系统133可以被配置成能够使发射器3502以多个不同的波长发出具有和不具有偏振的脉冲相干EMR，以便确定到经受外科手术的身体的距离并定义距离选通，使得控制系统133仅从EMR 3506进行退偏振测量，该EMR是从发射器3502和体腔之间的空气空间内的微粒反射的，而不是从体腔本身反射。特别地，控制系统133可以被配置成能够使发射器3502以第一波长和第二波长脉冲相干EMR。可以选择第一波长，使得第一波长的EMR基本上不与天然存在的微粒3510和合成微粒3512相互作用，因此可以穿透烟雾并从体腔反射。然后，控制系统133可以根据发射EMR和检测到反射EMR之间的时间差，通过例如飞行时间传感器系统1104、1204来确定到体腔的距离，如结合图14-图16所述。可以选择第二波长，使得在第二波长处的EMR基本上与天然存在的微粒3510和合成微粒3512相互作用，因此可以用于检测或测量与不同微粒类型相关的特征。因此，控制系统133可以利用通过在第一波长下脉冲EMR来确定的体腔距离，以在第二波长下对EMR接收到的测量结果进行处理，以确保仅进行气载微粒的测量。然后，控制系统133可以基于气载微粒3510、3512的反射特征来确定气载微粒是天然存在的微粒3510还是合成微粒3512，并相应地控制外科系统的其他组件。
在一个方面，控制系统可以被配置成能够基于在外科部位检测到的气载微粒的类型来控制与外科系统相关联的一个或多个操作参数。图33A示出了此类算法的示例，该图是用于根据检测到的微粒类型控制外科系统的过程3600的逻辑流程图，并且图33B是根据在限定的范围门内检测到的微粒类型控制外科系统的过程3650的逻辑流程图。在过程3600、3650的以下描述中，还应当参考图2。过程3600和3650可实施为例如存储在联接到控制电路132的存储器134中的指令，所述指令在由控制电路132执行时使控制电路132执行过程3600和3650的所枚举的步骤。为了简洁，过程3600和3650被描述为由控制电路132执行；然而，应当理解，过程3600和3650可以由硬件、软件和/或固件的其他组合来执行。
现在具体转向图33A，执行过程3600的控制电路132可以使得成像系统142进行步骤3602以经由例如偏振EMR源3500发射指向外科部位的偏振EMR。
因此，控制电路132可以进行步骤3604以接收从外科部位(例如，体腔内)的气载微粒反射的偏振EMR，并进行步骤3606以确定检测到的微粒类型是天然存在的微粒3510还是人造微粒3512。控制电路132可以区分不同类型的气载微粒3510、3512，因为这些微粒在受到偏振EMR照射时具有不同的反射特征。特别地，气载微粒3510、3512(例如，人造微粒3512)的类型中的一种可以以比另一种类型(例如，天然存在的微粒3510)更高的速率散射偏振EMR。这将降低散射的气载微粒类型的可视化程度，或者以其他方式影响由成像系统142的图像传感器135接收反射EMR的方式。因此，可以将对不同类型的气载微粒3510、3512的可视化的这种差异进行表征，并且将这种差异用于识别外科部位(例如，体腔内)存在的气载微粒3510、3512的类型。
因此，如果微粒是天然存在的微粒3510，则过程3600可以沿着“是”分支进行，并且控制电路132可以进行步骤3608以将外科系统的控制参数调节到对应于天然存在的微粒3510的第一状态。相反，如果微粒是人造微粒3512，则过程3600可以沿着“否”分支进行，并且控制电路132可以进行步骤3610以将外科系统的控制参数调节到对应于人造微粒3512的第二状态。
在另一方面，在体腔内存在天然存在的微粒3510和人造微粒3512的各种组合。在这种情况下，控制电路132可以替代地确定体腔内存在的气载微粒3510、3512的类型的相对比率(例如，由于可视化降低或受影响的相对程度)，然后相应地控制外科装置或外科装置的组合。
在又另一方面，控制系统可以被配置成能够基于偏振EMR源3500来对测量和/或可视化进行距离选通。这一方面可以由图33B中所示的过程3650来体现。
因此，执行过程3650的控制电路132可以使得成像系统142进行步骤3652以经由例如结构化光源152和/或光谱光源150在第一波长处发射指向外科部位的EMR。在一个方面，第一波长可以是与待由成像系统142成像的天然存在的微粒3510和合成微粒3512基本不相互作用的波长。
因此，控制电路132可以进行步骤3654以经由成像系统142接收从体腔(即，外科部位)反射的EMR，并且进行步骤3656以定义对应于成像系统142的发射器和体腔表面之间的空间的距离选通，如上所述。
因此，控制电路132可以使成像系统142进行步骤3658以经由例如偏振EMR源3500在第二波长处发射指向外科部位的偏振EMR。在一个方面，第二波长可以是与待由成像系统142成像的天然存在的微粒3510和合成微粒3512基本上相互作用的波长。
因此，控制电路132可以经由成像系统142接收在限定的距离选通内反射的偏振EMR，这可以对应于位于成像系统142的发射器和体腔表面之间的气载微粒3510、3512。然后，控制电路132可以进行步骤3662以确定检测到的微粒类型是天然存在的微粒3510还是人造微粒3512，并且进行步骤3608、3610以将外科系统的控制参数调整到第一状态或第二状态，如上面关于图33A所示的过程3600所述。
在另一方面，外科系统还可以被配置成能够在整个外科手术过程中跟踪气载微粒的运动，这又可以被用来表征由气载微粒限定的云的运动和尺寸或结构的变化。通过表征气载微粒随时间的运动，外科系统可以例如确定体腔的排烟程度，然后调整或向用户提供建议以调整排烟或吹气的位置或幅度。例如，外科系统可以停用第一排烟器或第一吹入器，并启动第二排烟器或第二吹入器，以调节体腔内的气体循环流，从而减轻体腔内(即，微粒和/或气体的运动矢量为零或接近零的区域)的任何涡流，以改善排烟性能。作为另一示例，外科系统可以调整排烟器或吹入器的马达或风扇水平，以改善排烟性能。
在一个方面，控制系统133可以被配置成能够通过表征图像传感器135的单元或像素上的微粒的检测来跟踪和表征气载微粒的运动。特别地，控制系统133可以确定图像传感器135在哪些像素处检测到微粒，然后跟踪微粒随时间在图像传感器135的像素阵列上的运动。在一个方面，控制系统133可以被配置成能够将经由图像传感器135获得的图像划分成两个或更多个像素阵列部分，生成对应于从第一时刻到第二时刻由检测到的气载微粒引起的位置的广义变化的运动矢量，然后相应地对微粒云的运动或配置变化进行表征。
例如，图34A-图34C示出了由多个像素3701组成的图像传感器135的像素阵列3700。进一步地，图34A-图34C显示了检测到的微粒位置随时间的变化以及由此计算出的广义微粒云运动矢量。应当注意，尽管像素阵列3700被描绘为5×5阵列，但这仅仅是出于说明的目的，图像传感器135或其像素的选定子部分都不限于5×5阵列。在图34A至图34C的以下描述中，还应当参考图2。
图34A示出了在时间t1处的检测阵列3700，其指示在图像传感器135的指定像素3701处检测到第一微粒3702a、第二微粒3702b、第三微粒3702c、第四微粒3702d和第五微粒3702e。图34B示出了在时间t2处的检测阵列3700，这指示第一和第五微粒3702a、3702e的位置没有改变，并且第二、第三和第四微粒3702b、3702c、3702d已经在图像传感器135的不同像素3701处被检测到。基于检测到的微粒运动，控制电路132可以被配置成能够确定每个像素的运动的矢量表示。矢量表示可以包括方向和幅度。基于运动矢量的方向和幅度，控制电路132可以进一步被配置成能够计算(例如，使用矢量加法)与由检测到的微粒定义的云的广义运动相对应的矢量3704。因此，如图35所示，根据从检测到微粒的图像传感器135的像素变化计算的矢量3704，控制电路132可以跟踪微粒云或气溶胶从第一状态3710(例如，第一位置或第一尺寸)到第二状态3712(例如，第二位置或第二尺寸)的变化。
在一个方面，联接到图像传感器135的控制电路132可以被配置成能够跟踪检测到的气载微粒的运动，计算对应于像素阵列3700(其可以表示图像传感器135的整个像素阵列或其子部分)内检测到的气载微粒的位置变化的广义运动矢量，然后相应地控制各种连接的外科装置(如吹入器、排烟器和/或外科器械)。在一个方面，包括控制电路132的控制系统133可以体现为如上文在标题外科集线器系统下所描述的外科集线器2106、2236。在这个方面，外科装置可以通信地连接到(例如，配对到)外科集线器2106、2236，并且根据所描述的系统和过程来进行控制。
在另一个方面，控制系统133可以被配置成能够利用拉曼光谱技术，以使用例如近IR、UV或近IR和UV波长的组合来确定气载微粒的振动/旋转方面。例如，从这些技术中获得的数据可以提供关于气相种类(例如，苯与醛)的信息，这进而可以提供对产生微粒的组织类型或施加到组织的能量效率的见解。控制系统133可以包括例如联接到检测器的滤波器(例如，带通或陷波滤波器)以滤除源EMR的弹性散射，因为种类的期望信息包含在EMR的非弹性散射中。根据拉曼光谱技术由图像传感器135或另一个此类检测器(例如，CCD检测器)生成的信号可以基于被检测分子的本质结构特性。特别地，拉曼光谱基于这样的概念，例如，由合适的发射器发射的光子将分子激发到更高的能量状态，这导致散射光子由于从分子中的振动/旋转变化节省能量而改变频率。根据所使用的特定类型的单色光源，对于给定的激发频率，通过将检测到的信号与预先表征的数据进行比较，可以利用散射光子频率的这种变化来表征光子与之相互作用的分子的类型。所确定的微粒分子类型可以用于许多不同的应用，包括提供在外科部位产生的潜在危险分子的相对量的具体数据，以用于安全监控。所确定的微粒分子类型也可用于评估排烟器系统或其滤波器的有效性和运行状况。
基于烟雾云特征的外科系统控制
使用电外科器械的外科手术固有的一个问题是器械产生的烟雾。手术烟雾可能包括有毒气体和蒸汽；生物气溶胶，包括死细胞和活细胞材料、血液碎片和病毒；以及诱变和致癌化合物。因此，非常需要从外科部位去除这些微粒，并且相应地，排烟器通常用于会产生手术烟雾的外科手术中。然而，需要根据外科部位的烟雾量、烟雾云随时间的变化(例如，烟雾云是主动增多还是主动减少)以及其他这样的烟雾云特征来控制排烟器和其他外科装置(包括外科器械)，以便在外科手术中精确地控制和减少烟雾的产生。外科系统可以例如改变外科器械的能量曲线以产生更少的烟雾和/或根据产生的外科烟雾的量自动控制排烟器。
在一个一般方面，本公开涉及一种外科系统，该外科系统被配置成能够检测和表征在外科手术中产生的无定形三维微粒云。外科系统可以被配置成能够检测腹腔内的微粒云的运动以及相对于外科部位的运动，然后相应地控制各种外科装置(如外科器械或排烟器)。在一个一般方面，本公开涉及一种控制系统，该控制系统被配置成能够限定在外科手术中产生的云或微粒团的表面或边界，并分析所限定的云的各种特征(如边界的方向和变化率)，以控制外科系统的各种控制参数(如外科器械/发生器或排烟马达控制的功率水平)。在另一个方面，控制系统可以被配置成能够通过基于微粒的总体积或微粒的尺寸限定微粒的预定密度来形成边界。在另一个方面，微粒云表面边界的变化率可用于定向限定能量装置或排烟机构的变化率。
图36是根据本公开的至少一个方面的在执行正在生成微粒云3752的外科手术期间的外科系统3750的图。外科系统3750可以体现为机器人外科系统，例如图1所示的机器人外科系统110。外科系统3750可以包括电外科器械3754、排烟器3756、抓紧器3750和用于在外科手术中处理、切割或以其他方式操纵组织3760的任何其他外科装置。尽管未在图36中示出，但是外科系统3750可以进一步包括成像系统，该成像系统可以包括例如图1所示的外科可视化系统100、图2所示的成像系统142和/或图5所示的外科可视化系统500。例如，外科系统3750还可以包括控制系统，该控制系统可以包括图2所示的控制系统133和/或图11中所示的控制系统600。
在外科手术过程中，气载微粒3751可以由于外科器械3754(如电外科器械)和被治疗的组织3760之间的相互作用而产生。这些微粒3751可以体现为存在于外科部位内或外科部位处的烟雾3752云或气溶胶。一般而言，可能不希望存在这种微粒3751，因此许多外科系统3750包括排烟器3756以从外科部位去除微粒3751。然而，成像系统可以被配置成能够对在外科部位产生的微粒3751或烟雾进行成像，并且控制系统可以被配置成能够基于成像到的烟雾的特征或特性来控制外科系统3750或其组件的各种操作参数。本文描述了此类控制算法的一些示例。
在一个方面，控制系统可以被配置成能够基于在外科部位产生的与烟雾云相关联的一个或多个特征来控制与外科系统3750相关联的一个或多个操作参数。图37中示出了这种算法的一个示例，其是用于根据烟雾云特征控制外科系统的过程3800的逻辑流程图。在过程3800的以下描述中，还应当参考图2。过程3800可实施为例如存储在联接到控制电路132的存储器134中的指令，所述指令在由控制电路132执行时使控制电路132执行过程3800的所枚举的步骤。为了简洁，过程3800被描述为由控制电路132执行；然而，应当理解，过程3800可以由硬件、软件和/或固件的其他组合来执行。
因此，执行过程3800的控制电路132可以使用上述任何技术来进行步骤3802以检测在成像系统142的FOV内的气载微粒的存在。通常，成像系统142的图像传感器135可以检测由结构化光源152和/或光谱光源150发射并由气载微粒反射的EMR，以检测微粒/对微粒进行成像。
因此，控制电路132可以进行步骤3804以对由检测到的微粒限定的微粒云进行表征。在一个方面，控制电路132可以被配置成能够定义微粒云的三维边界，以描绘出无定形的三维结构，该结构的密度、体积、位置、移动和/或边界可以随时间被跟踪。外科部位的微粒云的边界可以用各种不同的方式来定义。例如，微粒云边界可被定义为包含在成像系统142的FOV内检测到的所有气载微粒的体积。作为另一示例，微粒云边界可以被定义为具有气载微粒的阈值密度的体积。
因此，控制电路132可以进行步骤3806以确定微粒云的一个或多个特征是否违反阈值。这种跟踪特征可以包括例如微粒云的密度、微粒云的体积、微粒云和/或其边界的位置、微粒云和/或其边界的移动、和/或上述特征中任一项的变化率或其他导数。用于跟踪特征的阈值可以被预编程或取决于其他参数，如外科背景(例如，正在进行的外科手术的类型)。如果没有违反阈值，则过程3800可以沿着“否”分支进行，并且控制电路132可以继续如上所述步骤，直到例如已经满足停止标准(例如，外科手术完成)。如果违反了阈值，则过程3800可以沿着“是”分支进行，并且控制电路132可以继续如下所述步骤。
因此，控制电路132可以进行步骤3808以调整外科系统3750的一个或多个控制参数。可由控制电路132调整的控制参数可包括外科器械/发生器能量水平、排烟器吸力、可视化参数等。例如，图38是一系列曲线图3850、3852、3854，其示出了执行过程3800的控制电路132基于微粒云特征对控制参数的调整。第一曲线图3850示出了第一条线3860，其指示由纵轴3856表示的烟雾云密度和由横轴3858表示的时间。第二曲线图3852示出了第二条线3868，其指示由纵轴3866表示的电外科器械3754(或驱动电外科器械3754的发生器)的能量占空比和由横轴3858表示的时间。第三曲线图3854示出了第三条线3880，其指示由纵轴3878表示的排烟器3756的排烟或抽烟流速的变化和由横轴3858表示的时间。结合起来，曲线图3850、3852、3854示出了在外科手术过程3800中的代表性、预示性实施方式，其中过程3800根据表征的烟雾云密度进行步骤3808以调整电外科器械能量占空比和排烟器抽吸流速控制参数。
最初，电外科器械3754未向捕获的组织3760施加能量，如第一个图形3890所示。因此，电外科器械3754的能量占空比为零，排烟器抽吸流速为基础或默认速率，并且没有烟雾产生(因为没有能量施加到组织3760)。在时间t1，外科医生启动电外科仪器3754，并且开始向组织3760施加能量，所述能量由能量占空比从0增加到E3的线3870表示。由于将能量施加到组织3760，在外科部位处开始产生烟雾，该过程由t1后一段时间内烟雾云密度从零急剧增加的线3862表示。进一步地，响应于被激活的能量，当排烟器3756开始试图从外科部位移除产生的烟雾时，排烟器的流速可以通过控制电路132从Q1增加到Q2(如线3882所示)。在这个阶段，控制电路132可以进行步骤3802以开始检测由施加能量产生的气载微粒，并且进行步骤3804以表征由气载微粒限定的相应烟雾云。
在时间t2，向组织3760施加能量导致在外科部位形成烟雾云3752，如第二个图形3892所示。控制电路132可以进行步骤3806以确定云密度已经超过烟雾云密度阈值(例如，由D3表示)。因此，控制电路132通过将电外科器械能量占空比控制参数从E3减小到E2(如线3872所示)以进行步骤3808来调整该参数。控制电路132可以选择进行这种调整，因为向组织3760施加较低水平的能量可以导致产生较少的烟雾。作为响应，烟雾云密度在时间t1开始降低(如线3864所示)。
在时间t3，烟雾3752的尺寸已经减小，但尚未完全耗散，如第三个图形3894所示。控制电路132可以进行步骤3806以确定云密度没有以足够快的速率降低，或者烟雾云的一些其他特征违反了一些其他阈值。因此，控制电路132再次进行步骤3808以通过将电外科器械能量占空比控制参数从E2减小到E1(如线3874所示)来调整该参数，以便减轻进一步的烟雾产生。
在时间t4，烟雾3752几乎已经消散，如第四个图形3896所示。控制电路132可以进行步骤3806以确定烟雾云已经违反了另一阈值，如高于特定水平(例如，如D1所表示的)的云密度持续了比阈值时间段(例如，如t4所示)更长的时间。因此，控制电路132通过将排烟器抽吸流速控制参数从Q2增加到Q3(如线3884所示)来将其调整，以便从外科部位完全去除烟雾微粒。
应当注意，图38所体现的过程3800的实施方式是为了说明的目的而提供的，并且仅代表一种可能的实施方式。特别地，可以通过过程3800控制不同的控制参数，可以利用不同的阈值，以及可以跟踪不同的烟雾云特征等等。因此，图38不应被解释为以任何方式限制图37的过程3800或任何其他描述的系统和方法。
示例性临床应用
本文所公开的各种外科可视化系统可用于以下临床应用中的一种或多种临床应用中。以下临床应用是用于本文所公开的各种外科可视化系统中的一个或多个外科可视化系统的非穷举性和仅例示性应用。
如本文所公开的外科可视化系统可用于多种不同类型的手术中，以用于例如不同的医学专业，诸如泌尿科、妇科、肿瘤科、结肠直肠科、胸科、肥胖科/胃科和肝胰胆管科(HPB)。例如，在泌尿手术(诸如前列腺切除术)中，例如可在脂肪中检测输尿管，或者可在脂肪中检测结缔组织和/或神经。例如，在妇科肿瘤手术(诸如例如子宫切除术)中，以及在结肠直肠手术(诸如例如低位前切除(LAR)手术)中，可在脂肪和/或结缔组织中检测到输尿管。例如，在胸部手术(诸如叶切除术)中，可在肺或结缔组织中检测到血管，并且/或者可在结缔组织中检测到神经(例如，食管造口术)。在肥胖手术中，可在脂肪中检测到血管。例如，在HPB手术(诸如肝切除术或胰切除术)中，可在脂肪(肝外)、结缔组织(肝外)中检测到血管，并且可在薄壁(肝脏或胰腺)组织中检测到胆管。
在一个示例中，临床医生可能想要摘除子宫内膜肌瘤。根据术前磁共振成像(MRI)扫描，临床医生可知道子宫内膜肌瘤位于肠的表面上。因此，临床医生可能想要在术中知道哪些组织构成肠的一部分以及哪些组织构成直肠的一部分。在此类情况下，如本文所公开的外科可视化系统可指示不同类型的组织(肠与直肠)，并且经由成像系统将该信息传达给临床医生。此外，成像系统可确定外科装置与所选组织的接近度并传送该接近度。在此类情况下，外科可视化系统可提供增加的手术效率而没有严重的并发症。
在另一个示例中，临床医生(例如，妇科医生)可保持远离某些解剖区域以避免太靠近关键结构，并且因此临床医生可能无法摘除例如所有子宫内膜异位。如本文所公开的外科可视化系统可使得妇科医生能够降低太靠近关键结构的风险，使得妇科医生可用外科装置足够靠近以摘除所有子宫内膜异位，这可改善患者结果(使外科手术大众化)。此类系统可使得外科医生能够在外科手术期间“保持移动”而不是反复停止和重新开始，以便识别要避开的区域，例如特别是在施加治疗能量诸如超声或电外科能量期间。在妇科应用中，子宫动脉和输尿管是重要的关键结构，并且考虑到所涉及组织的呈现和/或厚度，系统对于子宫切除术和子宫内膜异位手术可能特别有用。
在另一个示例中，临床医生可能有在太近的位置处解剖血管的风险，并且因此这可能影响到除了目标叶之外的叶的血液供应。此外，患者与患者之间的解剖学差异可能导致解剖基于特定患者影响不同叶的血管(例如分支)。如本文所公开的外科可视化系统可使得能够识别期望位置处的正确血管，这使得临床医生能够以适当的解剖确定性进行解剖。例如，系统可确认正确的血管在正确的位置，并且然后临床医生可安全地将血管分开。
在另一个示例中，由于血管的解剖结构的不确定性，临床医生可能会在最佳位置处进行解剖之前进行多次解剖。然而，希望在第一种情况下在最佳位置进行解剖，因为更多解剖可增加出血的风险。如本文所公开的外科可视化系统可通过指示正确的血管和用于解剖的最佳位置来最小化解剖数量。例如，输尿管和主韧带很密集，并且在解剖期间会带来独特的挑战。在此类情况下，可能特别希望最小化解剖数量。
在另一个示例中，临床医生(例如，摘除癌性组织的外科肿瘤医生)可能希望知道关键结构的识别、癌症的定位、癌症的分期和/或组织健康的评估。此类信息超出临床医生用“肉眼”所见的内容。如本文所公开的外科可视化系统可在术中确定此类信息和/或将此类信息传达给临床医生，以加强术中决策并改善外科结果。在某些情况下，外科可视化系统可与例如使用内窥镜或外镜的微创外科手术(MIS)、开放式外科手术和/或机器人方法兼容。
在另一个示例中，临床医生(例如，外科肿瘤医生)可能想要关闭关于外科工具与一个或多个关键结构的接近度的一个或多个警示，以避免在外科手术期间过于保守。在其他情况下，临床医生可能想要接收某些类型的警示诸如触觉反馈(例如，振动/蜂鸣)以指示接近度和/或“禁飞区”，从而保持充分远离一个或多个关键结构。例如，如本文所公开的外科可视化系统可基于临床医生的经验和/或手术的期望进取性来提供灵活性。在此类情况下，系统提供“知道太多”和“知道足够多”之间的平衡以预期和避开关键结构。外科可视化系统可有助于在外科手术期间规划接下来的步骤。
本文所述主题的各个方面在以下编号的实施例中陈述。
实施例1.一种用于外科系统的控制系统，所述控制系统包括成像系统和联接到所述成像系统的控制电路。所述成像系统包括被配置成能够发射多光谱电磁辐射(EMR)的发射器。所述控制电路被配置成能够基于所发射的EMR经由所述图像传感器检测气载微粒，表征包含所检测到的气载微粒的微粒云的边界，并且根据所述微粒云的边界的特征调整所述外科系统的控制参数。
实施例2.根据实施例1所述的控制系统，其中，所述控制电路被进一步配置成能够检测所述微粒云的边界的所述特征变化，并根据所述特征变化将所述控制参数从第一值调整至第二值。
实施例3.根据实施例1或2所述的控制系统，其中，所述外科系统包括被配置成能够驱动电外科器械的发生器，并且所述控制参数包括所述发生器的能量占空比。
实施例4.根据实施例1或2所述的控制系统，其中，所述外科系统包括排烟器，并且所述控制参数包括所述排烟器的风扇状态或马达状态中的至少一者。
实施例5.根据实施例1至4中任一项所述的控制系统，其中，所述边界的特征包括所述边界的移动方向。
实施例6.根据实施例1至4中任一项所述的控制系统，其中，所述边界的特征包括所述边界的变化率。
实施例7.一种用于外科系统的控制系统，所述控制系统包括成像系统和联接到所述成像系统的控制电路。所述成像系统包括多光谱电磁辐射(EMR)源和图像传感器。所述控制电路被配置成能够检测由所述图像传感器接收的从气溶胶中的微粒反射的EMR，表征所述包含所检测到的微粒的气溶胶的配置，并根据所述气溶胶的所表征的配置调整所述外科系统的第一控制参数或第二控制参数中的至少一者。
实施例8.根据实施例7所述的控制系统，其中，所述控制电路被进一步配置成能够检测所述气溶胶的配置的变化，并根据所述配置的变化将所述第一控制参数或所述第二控制参数中的至少一者从第一值调整到第二值。
实施例9.根据实施例7或8所述的控制系统，其中，所述外科系统包括被配置成能够驱动电外科器械的发生器，并且所述第一控制参数包括所述发生器的能量占空比。
实施例10.根据实施例7或8所述的控制系统，其中，所述外科系统包括排烟器，并且所述第二控制参数包括所述排烟器的风扇状态或马达状态中的至少一者。
实施例11.根据实施例7至10中任一项所述的控制系统，其中，所述配置包括所述气溶胶的移动方向。
实施例12.根据实施例7至10中任一项所述的控制系统，其中，所述配置包括所述气溶胶的变化率。
实施例13.一种控制外科系统的方法，所述外科系统包括成像系统，所述成像系统包括被配置成能够发射多光谱电磁辐射(EMR)的发射器和图像传感器。所述方法包括以下步骤：基于所发射的EMR经由所述图像传感器检测气载微粒，表征所述包含所检测到的气载微粒的微粒云的边界，并且根据所述微粒云的边界的特征调整所述外科系统的控制参数。
实施例14.根据实施例13所述的方法，其中，所述控制电路被进一步配置成能够检测所述微粒云的边界的所述特征变化，并根据所述特征变化将所述控制参数从第一值调整至第二值。
实施例15.根据实施例13或14所述的方法，其中，所述外科系统包括被配置成能够驱动电外科器械的发生器，并且所述控制参数包括所述发生器的能量占空比。
实施例16.根据实施例13或14所述的方法，其中，所述外科系统包括排烟器，并且所述控制参数包括所述排烟器的风扇状态或马达状态中的至少一者。
实施例17.根据实施例13至16中任一项所述的方法，其中，所述边界的特征包括所述边界的移动方向。
实施例18.根据实施例13至16中任一项所述的方法，其中，所述边界的特性包括所述边界的变化率。
尽管已举例说明和描述了多个形式，但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离本公开的范围的情况下，可实现对这些形式的许多修改、变型、改变、替换、组合和等同物，并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外，另选地，可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外，在公开了用于某些部件的材料的情况下，也可使用其他材料。因此，应当理解，上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。
上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到，本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现，并且根据本公开，设计电路系统和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外，本领域的技术人员将会认识到，本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布，并且本文所述主题的例示性形式适用，而不管用于实际进行分布的信号承载介质的具体类型是什么。
用于编程逻辑以执行各种所公开的方面的指令可存储在系统中的存储器内，诸如动态随机存取存储器(DRAM)、高速缓存、闪存存储器或其他存储器。此外，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于存储或传输以机器(例如，计算机)可读形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(CD-ROM)、和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如，载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此，非暂态计算机可读介质包括适于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。
如本文任一方面所用，术语“控制电路”可指例如硬连线电路系统、可编程电路系统(例如，计算机处理器，该计算机处理器包括一个或多个单独指令处理内核、处理单元，处理器、微控制器、微控制器单元、控制器、数字信号处理器(DSP)、可编程逻辑装置(PLD)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA))、状态机电路系统、存储由可编程电路系统执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大系统的一部分的电路系统，例如集成电路(IC)、专用集成电路(ASIC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此，如本文所用，“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如，至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机，或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如，形成随机存取存储器)的电子电路，和/或形成通信设备(如，调节解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到，可以模拟或数字方式或它们的一些组合实施本文所述的主题。
如本文的任何方面所用，术语“逻辑”可指被配置成能够执行前述操作中的任一者的应用程序、软件、固件和/或电路系统。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。
如本文任一方面所用，术语“部件”、“系统”、“模块”等可指计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。
如本文任一方面中所用，“算法”是指导致所期望结果的有条理的步骤序列，其中“步骤”是指物理量和/或逻辑状态的操纵，物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号，如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。
网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(TCP/IP)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(IEEE)于2008年12月发布的标题为“IEEE802.3Standard”的以太网标准和/或本标准的更高版本。另选地或附加地，通信装置可能够使用X.25通信协议彼此通信。X.25通信协议可符合或兼容由国际电信联盟电信标准化部门(ITU-T)发布的标准。另选地或附加地，通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(CCITT)和/或美国国家标准学会(ANSI)发布的标准。另选地或附加地，收发器可能够使用异步传输模式(ATM)通信协议彼此通信。ATM通信协议可符合或兼容ATM论坛于2001年8月发布的名为“ATM-MPLS Network Interworking 2.0”的ATM标准和/或该标准的更高版本。当然，本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。
除非上述公开中另外明确指明，否则可以理解的是，在上述公开中，使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机系统或类似的电子计算装置的动作和进程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
一个或多个部件在本文中可被称为“被配置成能够”、“可配置成能够”、“可操作/可操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到，除非上下文另有所指，否则“被配置成能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。
术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分，术语“远侧”是指远离临床医生定位的部分。还应当理解，为简洁和清楚起见，本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而，外科器械在许多取向和方位中使用，并且这些术语并非是限制性的和/或绝对的。
本领域的技术人员将认识到，一般而言，本文、以及特别是所附权利要求(例如，所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果所引入权利要求表述的具体数目为预期的，则此类意图将在权利要求中明确表述，并且在不存在此类叙述的情况下，不存在此类意图。例如，为有助于理解，下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而，对此类短语的使用不应视为暗示通过不定冠词“一个”或“一种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中，甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时；这也适用于对用于引入权利要求表述的定冠词的使用。
另外，即使明确叙述引入权利要求叙述的特定数目，本领域的技术人员应当认识到，此种叙述通常应解释为意指至少所叙述的数目(例如，在没有其他修饰语的情况下，对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外，在其中使用类似于“A、B和C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B和C中的至少一者的系统”将包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。在其中使用类似于“A、B或C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B或C中的至少一者的系统”应当包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。本领域的技术人员还应当理解，通常，除非上下文另有指示，否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如，短语“A或B”通常将被理解为包括“A”或“B”或“A和B”的可能性。
对于所附的权利要求，本领域的技术人员将会理解，其中表述的操作通常可以任何顺序进行。另外，尽管以一个或多个序列出了各种操作流程图，但应当理解，可以不同于所示顺序的其他顺序执行各种操作，或者可同时执行所述各种操作。除非上下文另有规定，否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向，或其他改变的排序。此外，除非上下文另有规定，否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。
值得一提的是，任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此，在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外，具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。
本说明书提及和/或在任何申请数据表中列出的任何专利申请，专利，非专利公布或其他公开材料均以引用方式并入本文，只要所并入的材料在此不一致。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。
概括地说，已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的，已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用，从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。

Claims (18)

1.一种用于外科系统的控制系统，所述控制系统包括：
成像系统，所述成像系统包括：
发射器，所述发射器被配置成能够发射多光谱电磁辐射(EMR)；以及
图像传感器；以及
控制电路，所述控制电路联接到所述成像系统，所述控制电路被配置成能够：
基于所发射的EMR经由所述图像传感器检测气载微粒；
表征包含所检测到的气载微粒的微粒云的边界；以及
根据所述微粒云的边界的特征调整所述外科系统的控制参数。
2.根据权利要求1所述的控制系统，其中，所述控制电路被进一步配置成能够：
检测所述微粒云的边界的所述特征的变化；以及
根据所述特性的变化，将所述控制参数从第一值调整到第二值。
3.根据权利要求1所述的控制系统，其中：
所述外科系统包括被配置成能够驱动电外科器械的发生器；并且
所述控制参数包括所述发生器的能量占空比。
4.根据权利要求1所述的控制系统，其中：
所述外科系统包括排烟器；并且
所述控制参数包括所述排烟器的风扇状态或马达状态中的至少一者。
5.根据权利要求1所述的控制系统，其中，所述边界的特征包括所述边界的移动方向。
6.根据权利要求1所述的控制系统，其中，所述边界的特征包括所述边界的变化率。
7.一种用于外科系统的控制系统，所述控制系统包括：
成像系统，所述成像系统包括：
多光谱电磁辐射(EMR)源；以及
图像传感器；以及
控制电路，所述控制电路联接到所述成像系统，所述控制电路被配置成能够：
检测由所述图像传感器接收的从气溶胶中的微粒反射的EMR；
表征包含所检测到的微粒的所述气溶胶的配置；以及
根据所述气溶胶的所表征的配置，调整所述外科系统的第一控制参数或第二控制参数中的至少一者。
8.根据权利要求7所述的控制系统，其中，所述控制电路被进一步配置成能够：
检测所述气溶胶的所述配置的变化；以及
根据所述配置的变化将所述第一控制参数或所述第二控制参数中的至少一者从第一值调整到第二值。
9.根据权利要求7所述的控制系统，其中：
所述外科系统包括被配置成能够驱动电外科器械的发生器；并且
所述第一控制参数包括所述发生器的能量占空比。
10.根据权利要求7所述的控制系统，其中：
所述外科系统包括排烟器；并且
所述第二控制参数包括所述排烟器的风扇状态或马达状态中的至少一者。
11.根据权利要求7所述的控制系统，其中，所述配置包括所述气溶胶的移动方向。
12.根据权利要求7所述的控制系统，其中，所述配置包括所述气溶胶的变化率。
13.一种控制外科系统的方法，所述外科系统包括成像系统，所述成像系统包括被配置成能够发射多光谱电磁辐射(EMR)的发射器和图像传感器；所述方法包括：
基于所发射的EMR经由所述图像传感器检测气载微粒；
表征包含所检测到的气载微粒的微粒云的边界；以及
根据所述微粒云的边界的特征调整所述外科系统的控制参数。
14.根据权利要求13所述的方法，其中，所述控制电路被进一步配置成能够：
检测所述微粒云的边界的所述特征的变化；以及
根据所述特性的变化，将所述控制参数从第一值调整到第二值。
15.根据权利要求13所述的方法，其中：
所述外科系统包括被配置成能够驱动电外科器械的发生器；并且
所述控制参数包括所述发生器的能量占空比。
16.根据权利要求13所述的方法，其中：
所述外科系统包括排烟器；并且
所述控制参数包括所述排烟器的风扇状态或马达状态中的至少一者。
17.根据权利要求13所述的方法，其中，所述边界的特征包括所述边界的移动方向。
18.根据权利要求13所述的方法，其中，所述边界的特征包括所述边界的变化率。
CN202080091290.9A 2019-12-30 2020-10-29 根据手术烟雾云特征的自适应外科系统控制 Pending CN115087406A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/729,737 2019-12-30
US16/729,737 US20210196108A1 (en) 2019-12-30 2019-12-30 Adaptive surgical system control according to surgical smoke cloud characteristics
PCT/IB2020/060118 WO2021137002A1 (en) 2019-12-30 2020-10-29 Adaptive surgical system control according to surgical smoke cloud characteristics

Publications (1)

Publication Number Publication Date
CN115087406A true CN115087406A (zh) 2022-09-20

Family

ID=73172778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080091290.9A Pending CN115087406A (zh) 2019-12-30 2020-10-29 根据手术烟雾云特征的自适应外科系统控制

Country Status (6)

Country Link
US (1) US20210196108A1 (zh)
EP (1) EP3845175B1 (zh)
JP (1) JP2023508712A (zh)
CN (1) CN115087406A (zh)
BR (1) BR112022012799A2 (zh)
WO (1) WO2021137002A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512236A (zh) * 2022-10-13 2022-12-23 昆明理工大学 一种基于K-means ++的Himawari-8多光谱云检测方法及系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200015924A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US20230020346A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Scene adaptive endoscopic hyperspectral imaging system
US20230100698A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US11937799B2 (en) 2021-09-29 2024-03-26 Cilag Gmbh International Surgical sealing systems for instrument stabilization
US11464573B1 (en) * 2022-04-27 2022-10-11 Ix Innovation Llc Methods and systems for real-time robotic surgical assistance in an operating room

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2595130B1 (en) * 2004-11-12 2016-11-02 Xtralis Technologies Ltd Particle detector, system and method
WO2008022005A2 (en) * 2006-08-09 2008-02-21 Fotonation Vision Limited Detection and correction of flash artifacts from airborne particulates
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US9274047B2 (en) 2013-05-24 2016-03-01 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects
CN106028930B (zh) 2014-02-21 2021-10-22 3D集成公司 包括手术器械的套件
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
CN117064539A (zh) * 2016-07-01 2023-11-17 赛诺秀有限责任公司 非侵入性、均匀和非均匀rf方法以及系统相关应用
EP3258241B1 (en) * 2017-09-14 2019-12-25 Sensirion AG Particulate matter sensor device
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11844579B2 (en) * 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US20190201594A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US20190206564A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for facility data collection and interpretation
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US20190201045A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for smoke evacuation for surgical hub
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US10507153B2 (en) * 2018-03-26 2019-12-17 Augustine Biomedical + Design, LLC Relocation modules and methods for surgical field
US11232556B2 (en) * 2018-04-20 2022-01-25 Verily Life Sciences Llc Surgical simulator providing labeled data
CN110749599A (zh) * 2019-09-29 2020-02-04 四川捷祥医疗器械有限公司 一种手术烟雾的分析方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512236A (zh) * 2022-10-13 2022-12-23 昆明理工大学 一种基于K-means ++的Himawari-8多光谱云检测方法及系统

Also Published As

Publication number Publication date
WO2021137002A1 (en) 2021-07-08
JP2023508712A (ja) 2023-03-03
US20210196108A1 (en) 2021-07-01
EP3845175C0 (en) 2024-02-07
EP3845175A1 (en) 2021-07-07
BR112022012799A2 (pt) 2022-09-06
EP3845175B1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
EP3845173B1 (en) Adaptive surgical system control according to surgical smoke particulate characteristics
EP3845193B1 (en) System for determining, adjusting, and managing resection margin about a subject tissue
EP3845192B1 (en) Adaptive visualization by a surgical system
EP3845175B1 (en) Adaptive surgical system control according to surgical smoke cloud characteristics
EP3845174B1 (en) Surgical system control based on multiple sensed parameters
EP3845194B1 (en) Analyzing surgical trends by a surgical system and providing user recommandations
EP3845118A2 (en) Visualization systems using structured light
EP3845189A2 (en) Dynamic surgical visualization system
EP4066771A1 (en) Visualization systems using structured light
EP4105939A1 (en) Analyzing surgical trends by a surgical system
EP4066772A1 (en) System and method for determining, adjusting, and managing resection margin about a subject tissue

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination