CN115243636A - 关联可视化数据和供电外科器械数据的外科系统 - Google Patents

关联可视化数据和供电外科器械数据的外科系统 Download PDF

Info

Publication number
CN115243636A
CN115243636A CN202080091493.8A CN202080091493A CN115243636A CN 115243636 A CN115243636 A CN 115243636A CN 202080091493 A CN202080091493 A CN 202080091493A CN 115243636 A CN115243636 A CN 115243636A
Authority
CN
China
Prior art keywords
surgical
tissue
data set
data
visualization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091493.8A
Other languages
English (en)
Inventor
F·E·谢尔顿四世
J·L·哈里斯
C·E·埃克特
S·A·沃辛顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cilag GmbH International
Original Assignee
Cilag GmbH International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cilag GmbH International filed Critical Cilag GmbH International
Publication of CN115243636A publication Critical patent/CN115243636A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B17/07207—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously the staples being applied sequentially
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/12—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
    • A61B17/128—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord for applying or removing clamps or clips
    • A61B17/1285—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord for applying or removing clamps or clips for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/148—Probes or electrodes therefor having a short, rigid shaft for accessing the inner body transcutaneously, e.g. for neurosurgery or arthroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00084—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00818—Treatment of the gastro-intestinal system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B2017/07214—Stapler heads
    • A61B2017/07285—Stapler heads characterised by its cutter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00696—Controlled or regulated parameters
    • A61B2018/00702—Power or energy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00773—Sensed parameters
    • A61B2018/00863—Fluid flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A61B2090/0811—Indication means for the position of a particular part of an instrument with respect to the rest of the instrument, e.g. position of the anvil of a stapling instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Endoscopes (AREA)
  • Surgical Instruments (AREA)

Abstract

本发明公开了一种在外科手术中使用的外科系统。该外科系统包括：外科器械，该外科器械包括被配置成能够在该外科手术期间处理在外科场地处的组织的端部执行器；外科可视化系统，该外科可视化系统被配置成能够跟踪该外科场地中的该外科器械；和控制电路，该控制电路被配置成能够从该外科可视化系统导出指示该外科器械相对于该外科场地的视觉方面的第一数据集，从该外科器械导出指示该外科器械的功能方面的第二数据集，以及将该第一数据集与该第二数据集相关联。

Description

关联可视化数据和供电外科器械数据的外科系统
背景技术
外科系统通常结合有成像系统，该成像系统可允许临床医生例如在一个或多个显示器(诸如监视器)上观看外科部位和/或其一个或多个部分。显示器可以是手术室本地的和/或远程的。成像系统可包括具有相机的观察镜，该观察镜观看外科部位并将视图传输到临床医生可观看的显示器。观察镜包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜和外镜。成像系统可受到它们能够识别和/或传达给临床医生的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。另外，某些成像系统可能无法在术中将某些信息传送和/或传达给临床医生。
发明内容
在一个一般方面，公开了一种用在外科手术中的外科系统。该外科系统包括：外科器械，该外科器械包括被配置成能够在该外科手术期间处理在外科场地处的组织的端部执行器；外科可视化系统，该外科可视化系统被配置成能够跟踪该外科场地中的该外科器械；和控制电路，该控制电路被配置成能够从该外科可视化系统导出指示该外科器械相对于该外科场地的视觉方面的第一数据集，从该外科器械导出指示该外科器械的功能方面的第二数据集，以及将该第一数据集与该第二数据集相关联。
在另一个一般方面，公开了一种在外科手术中与外科器械一起使用的外科可视化系统。该外科可视化系统包括：至少一个成像装置，该至少一个成像装置被配置成能够监测在该外科手术的外科场地中的该外科器械的端部执行器；和控制电路，该控制电路被配置成能够导出指示该外科器械相对于由该至少一个成像装置捕获的该外科场地中的组织的视觉方面的第一数据集，从该外科器械接收指示该外科器械的功能方面的第二数据集，以及将该第一数据集与该第二数据集相关联。
附图说明
各种方面的新型特征在随附权利要求书中具体阐述。然而，关于组织和操作方法两者的所述方面可通过结合附图参照以下描述最好地理解，其中：
图1是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。
图2是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。
图2A示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的控制电路。
图2B示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的组合逻辑电路。
图2C示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的时序逻辑电路。
图3是根据本公开的至少一个方面的描绘在图1的外科装置、成像装置与关键结构之间进行三角测量以确定关键结构在组织表面下方的深度dA的示意图。
图4是根据本公开的至少一个方面的被配置成能够识别组织表面下方的关键结构的外科可视化系统的示意图，其中该外科可视化系统包括用于确定关键结构在组织表面下方的深度dA的脉冲光源。
图5是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。
图6是根据本公开的至少一个方面的包括三维相机的外科可视化系统的示意图，其中该外科可视化系统被配置成能够识别嵌入组织内的关键结构。
图7A和图7B是根据本公开的至少一个方面的由图6的三维相机拍摄的关键结构的视图，其中图7A是来自三维相机的左侧透镜的视图，并且图7B是来自三维相机的右侧透镜的视图。
图8是根据本公开的至少一个方面的图6的外科可视化系统的示意图，其中可确定从三维相机到关键结构的相机-关键结构距离dw。
图9是根据本公开的至少一个方面的利用两个相机来确定嵌入关键结构的方位的外科可视化系统的示意图。
图10A是根据本公开的至少一个方面的利用相机的外科可视化系统的示意图，该相机在多个已知方位之间轴向运动以确定嵌入关键结构的方位。
图10B是根据本公开的至少一个方面的图10A的外科可视化系统的示意图，其中相机在多个已知方位之间轴向且旋转运动以确定嵌入关键结构的方位。
图11是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。
图12是根据本公开的至少一个方面的用于外科可视化系统的结构化光源的示意图。
图13A是根据本公开的至少一个方面的各种生物材料的吸收系数不同波长的曲线图。
图13B是根据本公开的至少一个方面的通过光谱外科可视化系统对解剖结构进行可视化的示意图。
图13C至图13E描绘了根据本公开的至少一个方面的用于区分解剖结构与遮蔽物的例示性高光谱识别特征，其中图13C是输尿管特征与遮蔽物的图形表示，图13D是动脉特征与遮蔽物的图形表示，并且图13E是神经特征与遮蔽物的图形表示。
图14是根据本公开的至少一个方面的被配置成能够感测离关键解剖结构的距离的近红外(NIR)飞行时间测量系统的示意图，该飞行时间测量系统包括定位在公共装置上的传输器(发射器)和接收器(传感器)。
图15是根据本公开的至少一个方面的图17A的NIR飞行时间测量系统的发射波、接收波以及发射波与接收波之间的延迟的示意图。
图16示出了根据本公开的至少一个方面的被配置成能够感测离不同结构的距离的NIR飞行时间测量系统，该飞行时间测量系统包括单独装置上的传输器(发射器)和接收器(传感器)。
图17是根据本公开的至少一个方面的由计算机实现的交互式外科系统的框图。
图18是根据本公开的至少一个方面的用于在手术室中执行外科手术的外科系统。
图19示出了根据本公开的至少一个方面的由计算机实现的交互式外科系统。
图20示出了根据本公开的至少一个方面的态势感知外科系统的图。
图21示出了根据本公开的至少一个方面的描绘集线器的态势感知的时间轴。
图22是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于将可视化数据与器械数据相关联的控制程序或逻辑配置。
图23是根据本公开的至少一个方面的外科器械的示意图。
图24是根据本公开的至少一个方面的描绘复合数据集和闭合力(“FTC”)和击发力(“FTF”)虚拟测量仪的曲线图。
图25A示出了根据本公开的至少一个方面的显示外科手术的外科场地中的端部执行器的实时馈送的可视化系统的屏幕的正常视图。
图25B示出了根据本公开的至少一个方面的显示外科手术的外科场地中的端部执行器的实时馈送的可视化系统的屏幕的增强视图。
图26是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于将端部执行器部件的虚拟表示的运动与该端部执行器部件的实际运动同步的控制程序或逻辑配置。
图27示出了根据本公开的至少一个方面的体壁和体壁下方的腔中的解剖结构，其中套管针穿过体壁进入到腔中，并且屏幕显示从该解剖结构到套管针的距离，与穿过套管针引入外科器械相关联的风险和与此相关联的估计操作时间。
图28示出了根据本公开的至少一个方面的暴露于来自结构化光投影仪的结构化光的胃的虚拟三维(“3D”)构造。
图29是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于将可视化数据与器械数据相关联的控制程序或逻辑配置，其中虚线框代表该过程的另选具体实施。
图30示出了根据本公开的至少一个方面的暴露于来自结构化光投影仪的结构化光的胃的虚拟3D构造。
图31是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于拟定移除解剖器官的一部分的切除路径的控制程序或逻辑配置，其中虚线框代表该过程的另选具体实施。
图32A示出了根据本公开的至少一个方面的在外科手术开始时可视化系统的屏幕上的外科场地的实时视图。
图32B是根据本公开的至少一个方面的勾勒出叠加到外科场地上的拟定的外科切除路径的图32A的外科场地的一部分的放大视图。
图32C示出了根据本公开的至少一个方面的在外科手术开始后四十三分钟时图32B的外科场地的实时视图。
图32D示出了根据本公开的至少一个方面的勾勒出修改所拟定的外科切除路径的图32C的外科场地的放大视图。
图33是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于将外科器械的参数呈现到拟定的外科切除路径上或在其附近的控制程序或逻辑配置，其中虚线框代表该过程的另选具体实施。
图34示出了根据本公开的至少一个方面的正在经历袖状胃切除术的患者的胃的虚拟3D构造。
图35示出了图34的胃的完成的虚拟切除。
图36A至图36C示出了根据本公开的至少一个方面的外科缝合器械的击发。
图37是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于调整外科器械的击发速度的控制程序或逻辑配置。
图38是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于沿拟定的外科切除路径的拟定的钉仓布置的控制程序或逻辑配置。
图39是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于拟定器官部分的外科切除的控制程序或逻辑配置。
图40是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于估计由移除器官的所选择部分而引起的器官容积减少量的控制程序或逻辑配置。
图41A示出了根据本公开的至少一个方面的暴露于结构化光的患者的肺，其包括要在外科手术期间被切除的部分。
图41B示出了根据本公开的至少一个方面的在该部分的切除之后的图41A的患者的肺。
图41C示出了根据本公开的至少一个方面的在肺部的该部分的切除之前和之后测量来自图41A和图41B的患者的肺的峰肺容量的曲线图。
图42示出了根据本公开的至少一个方面的在肺的一部分的切除之前、紧接在切除之后以及在切除一分钟之后测量患者的肺中的二氧化碳分压(“PCO2”)的曲线图。
图43是根据本公开的至少一个方面的过程的逻辑流程图，其描绘了用于使用可视化数据和非可视化数据检测组织异常的控制程序或逻辑配置。
图44A示出了根据本公开的至少一个方面的处于第一状态的右肺，其中成像装置将光的图案发射到右肺表面上。
图44B示出了根据本公开的至少一个方面的处于第二状态的图44A的右肺，其中该成像装置将光的图案发射到右肺表面上。
图44C示出了根据本公开的至少一个方面的图44A的右肺的顶部部分。
图44D示出了根据本公开的至少一个方面的图44B的右肺的顶部部分。
具体实施方式
本申请的申请人拥有以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：
·代理人案卷号END9228USNP1/190580-1M，其名称为“METHOD OF USING IMAGINGDEVICES IN SURGERY”；
·代理人案卷号END9227USNP1/190579-1，其名称为“ADAPTIVE VISUALIZATIONBY A SURGICAL SYSTEM”；
·代理人案卷号END9226USNP1/190578-1，其名称为“SURGICAL SYSTEM CONTROLBASED ON MULTIPLE SENSED PARAMETERS”；
·代理人案卷号END9225USNP1/190577-1，其名称为“ADAPTIVE SURGICAL SYSTEMCONTROL ACCORDING TO SURGICAL SMOKE PARTICLE CHARACTERISTICS”；
·代理人案卷号END9224USNP1/190576-1，其名称为“ADAPTIVE SURGICAL SYSTEMCONTROL ACCORDING TO SURGICAL SMOKE CLOUD CHARACTERISTICS”；
·代理人案卷号END9222USNP1/190574-1，其名称为“SURGICAL SYSTEMS FORGENERATING THREE DIMENSIONAL CONSTRUCTS OF ANATOMICAL ORGANS AND COUPLINGIDENTIFIED”；
·代理人案卷号END9221USNP1/190573-1，其名称为“SURGICAL SYSTEM FOROVERLAYING SURGICAL INSTRUMENT DATA ONTO A VIRTUAL THREE DIMENSIONALCONSTRUCT OF AN ORGAN”；
·代理人案卷号END9220USNP1/190572-1，其名称为“SURGICAL SYSTEMS FORPROPOSING AND CORROBORATING ORGAN PORTION REMOVALS”；
·代理人案卷号END9219USNP1/190571-1，其名称为“SYSTEM AND METHOD FORDETERMINING,ADJUSTING,AND MANAGING RESECTION MARGIN ABOUT A SUBJECT TISSUE”；
·代理人案卷号END9218USNP1/190570-1，其名称为“VISUALIZATION SYSTEMSUSING STRUCTURED LIGHT”；
·代理人案卷号END9217USNP1/190569-1，其名称为“DYNAMIC SURGICALVISUALIZATION SYSTEMS”；以及
·代理人案卷号END9216USNP1/190568-1，其名称为“ANALYZING SURGICALTRENDS BY A SURGICAL SYSTEM”。
本申请的申请人拥有于2019年3月15日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：
·美国专利申请序列号16/354,417，其名称为“INPUT CONTROLS FOR ROBOTICSURGERY”；
·美国专利申请序列号16/354,420，其名称为“DUAL MODE CONTROLS FORROBOTIC SURGERY”；
·美国专利申请序列号16/354,422，其名称为“MOTION CAPTURE CONTROLS FORROBOTIC SURGERY”；
·美国专利申请序列号16/354,440，其名称为“ROBOTIC SURGICAL SYSTEMS WITHMECHANISMS FOR SCALING SURGICAL TOOL MOTION ACCORDING TO TISSUE PROXIMITY”；
·美国专利申请序列号16/354,444，其名称为“ROBOTIC SURGICAL SYSTEMS WITHMECHANISMS FOR SCALING CAMERA MAGNIFICATION ACCORDING TO PROXIMITY OFSURGICAL TOOL TO TISSUE”；
·美国专利申请序列号16/354,454，其名称“ROBOTIC SURGICAL SYSTEMS WITHSELECTIVELY LOCKABLE END EFFECTORS”；
·美国专利申请序列号16/354,461，其名称为“SELECTABLE VARIABLE RESPONSEOF SHAFT MOTION OF SURGICAL ROBOTIC SYSTEMS”；
·美国专利申请序列号16/354,470，其名称为“SEGMENTED CONTROL INPUTS FORSURGICAL ROBOTIC SYSTEMS”；
·美国专利申请序列号16/354,474，其名称为“ROBOTIC SURGICAL CONTROLSHAVING FEEDBACK CAPABILITIES”；
·美国专利申请序列号16/354,478，其名称“ROBOTIC SURGICAL CONTROLS WITHFORCE FEEDBACK”；以及
·美国专利申请序列号16/354,481，其名称为“JAW COORDINATION OF ROBOTICSURGICAL CONTROLS”。
本申请的申请人还拥有2018年9月11日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：
·美国专利申请序列号16/128,179，其名称为“SURGICAL VISUALIZATIONPLATFORM”；
·美国专利申请序列号16/128,180，其名称为为“CONTROLLING AN EMITTERASSEMBLY PULSE SEQUENCE”；
·美国专利申请序列号16/128,198，其名称为“SINGULAR EMR SOURCE EMITTERASSEMBLY”；
·美国专利申请序列号16/128,207，其名称为“COMBINATION EMITTER ANDCAMERA ASSEMBLY”；
·美国专利申请序列号16/128,176，其名称为“SURGICAL VISUALIZATION WITHPROXIMITY TRACKING FEATURES”；
·美国专利申请序列号16/128,187，其名称为“SURGICAL VISUALIZATION OFMULTIPLE TARGETS”；
·美国专利申请序列号16/128,192，其名称为“VISUALIZATION OF SURGICALDEVICES”；
·美国专利申请序列号16/128,163，其名称为“OPERATIVE COMMUNICATION OFLIGHT”；
·美国专利申请序列号16/128,197，其名称为“ROBOTIC LIGHT PROJECTIONTOOLS”；
·美国专利申请序列号16/128,164，其名称为“SURGICAL VISUALIZATIONFEEDBACK SYSTEM”；
·美国专利申请序列号16/128,193，其名称为“SURGICAL VISUALIZATION ANDMONITORING”；
·美国专利申请序列号16/128,195，其名称为“INTEGRATION OF IMAGING DATA”；
·美国专利申请序列号16/128,170，其名称为“ROBOTICALLY-ASSISTED SURGICALSUTURING SYSTEMS”；
·美国专利申请序列号16/128,183，其名称为“SAFETY LOGIC FOR SURGICALSUTURING SYSTEMS”；
·美国专利申请序列号16/128,172，其名称为“ROBOTIC SYSTEM WITH SEPARATEPHOTOACOUSTIC RECEIVER”；以及
·美国专利申请序列号16/128,185，其名称为“FORCE SENSOR THROUGHSTRUCTURED LIGHT DEFLECTION”。
本申请的申请人还拥有2018年3月29日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：
·美国专利申请序列号15/940,627，其名称为“DRIVE ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS”，现为美国专利申请公开号2019/0201111；
·美国专利申请序列号15/940,676，其名称为“AUTOMATIC TOOL ADJUSTMENTSFOR ROBOT-ASSISTED SURGICAL PLATFORMS”，现为美国专利申请公开号2019/0201142；
·美国专利申请序列号15/940,711，其名称为“SENSING ARRANGEMENTS FORROBOT-ASSISTED SURGICAL PLATFORMS”，现为美国专利申请公开号2019/0201120；以及
·美国专利申请序列号15/940,722，其名称为“CHARACTERIZATION OF TISSUEIRREGULARITIES THROUGH THE USE OF MONO-CHROMATIC LIGHT REFRACTIVITY”，现为美国专利申请公开号2019/0200905。
本专利申请的申请人拥有于2018年12月4日提交的以下美国专利申请，这些临时专利申请中的每个的公开内容全文以引用方式并入本文：
·美国专利申请序列号16/209,395，其名称为“METHOD OF HUB COMMUNICATION”，现为美国专利申请公开号2019/0201136；
·美国专利申请序列号16/209,403，其名称为“METHOD OF CLOUD BASED DATAANALYTICS FOR USE WITH THE HUB”，现为美国专利申请公开号2019/0206569；
·美国专利申请序列号16/209,407，其名称为“METHOD OF ROBOTIC HUBCOMMUNICATION,DETECTION,AND CONTROL”，现为美国专利申请公开号2019/0201137；
·美国专利申请序列号16/209,416，其名称为“METHOD OF HUB COMMUNICATION,PROCESSING,DISPLAY,AND CLOUD ANALYTICS”，现为美国专利申请公开号2019/0206562；
·美国专利申请序列号16/209,423，其名称为“METHOD OF COMPRESSING TISSUEWITHIN A STAPLING DEVICE AND SIMULTANEOUSLY DISPLAYING THE LOCATION OF THETISSUE WITHIN THE JAWS”，现为美国专利申请公开号2019/0200981；
·美国专利申请序列号16/209,427，其名称为“METHOD OF USING REINFORCEDFLEXIBLE CIRCUITS WITH MULTIPLE SENSORS TO OPTIMIZE PERFORMANCE OF RADIOFREQUENCY DEVICES”，现为美国专利申请公开号2019/0208641；
·美国专利申请序列号16/209,433，其名称为“METHOD OF SENSING PARTICULATEFROM SMOKE EVACUATED FROM A PATIENT,ADJUSTING THE PUMP SPEED BASED ON THESENSED INFORMATION,AND COMMUNICATING THE FUNCTIONAL PARAMETERS OF THE SYSTEMTO THE HUB”，现为美国专利申请公开号2019/0201594；
·美国专利申请序列号16/209,447，其名称为“METHOD FOR SMOKE EVACUATIONFOR SURGICAL HUB”，现为美国专利申请公开号2019/0201045；
·美国专利申请序列号16/209,453，其名称为“METHOD FOR CONTROLLING SMARTENERGY DEVICES”，现为美国专利申请公开号2019/0201046；
·美国专利申请序列号16/209,458，其名称为“METHOD FOR SMART ENERGYDEVICE INFRASTRUCTURE”，现为美国专利申请公开号2019/0201047；
·美国专利申请序列号16/209,465，其名称为“METHOD FOR ADAPTIVE CONTROLSCHEMES FOR SURGICAL NETWORKCONTROL AND INTERACTION”，现为美国专利申请公开号2019/0206563；
·美国专利申请序列号16/209,478，其名称为“METHOD FOR SITUATIONALAWARENESS FOR SURGICAL NETWORK OR SURGICAL NETWORK CONNECTED DEVICE CAPABLEOF ADJUSTING FUNCTION BASED ON A SENSED SITUATION OR USAGE”，现为美国专利申请公开号2019/0104919；
·美国专利申请序列号16/209,490，其名称为“METHOD FOR FACILITY DATACOLLECTION AND INTERPRETATION”，现为美国专利申请公开号2019/0206564；以及
·美国专利申请序列号16/209,491，其名称为“METHOD FOR CIRCULAR STAPLERCONTROL ALGORITHM ADJUSTMENT BASED ON SITUATIONAL AWARENESS”，现为美国专利申请公开号2019/0200998。
在详细说明外科可视化平台的各个方面之前，应当指出，例示性示例在应用或使用上不限于附图和说明书中所示出的部件的构造和布置的细节。例示性示例可在其他方面、变型和修改中实现或并入，并且可以各种方式实践或执行。此外，除非另外指明，否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的，并非为了限制性的目的。而且，应当理解，以下描述的方面、方面的表达和/或示例中的一者或多者可与其他以下描述的方面、方面的表达和/或示例中的任何一者或多者组合。
外科可视化系统
本公开涉及一种外科可视化平台，该外科可视化平台利用“数字外科手术”来获得关于患者的解剖结构和/或外科手术的附加信息。该外科可视化平台被进一步配置成能够以有帮助的方式将数据和/或信息传达给一个或多个临床医生。例如，本公开的各个方面提供了患者的解剖结构和/或外科手术的改善的可视化。
“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(OR)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化平台可与机器人外科系统结合使用，但是外科可视化平台不限于与机器人外科系统一起使用。在某些情况下，高级外科可视化可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。
在某些情况下，结合有外科可视化平台的外科系统可实现智能解剖以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是例如解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。关键结构可基于不同患者和/或不同手术来确定。本文还描述了示例性关键结构。例如，智能解剖技术可提供用于解剖的改善的术中指导，并且/或者可利用关键解剖结构检测和避开技术来实现智能决策。
结合有外科可视化平台的外科系统还可实现智能吻合技术，该智能吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。也可利用本文所述的各种外科可视化平台和手术来改善癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边界。在某些情况下，癌症定位技术可在外科手术期间补偿工具、患者和/或患者的解剖结构的运动，以便为临床医生提供回到感兴趣的点的指导。
在本公开的某些方面，外科可视化平台可提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。本文所述的某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。关于淋巴结诊断和标测，外科可视化平台可在术前定位、标测和理想地诊断涉及例如癌性诊断和分期的淋巴系统和/或淋巴结。
在外科手术期间，临床医生可经由“肉眼”和/或成像系统获得的信息可提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中运动。在此类情况下，临床医生可能无法在术中准确地确定关键结构的位置。
当关键结构的方位不确定时和/或当关键结构与外科工具之间的接近度未知时，临床医生的决策过程可能受到阻碍。例如，临床医生可避开某些区域，以便避免意外解剖关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，临床医生可能无法进入某些期望的区域。例如，过度谨慎可能导致临床医生留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的临床医生的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。
在各个方面，本公开提供了用于术中识别和避开关键结构的外科可视化系统。在一个方面，本公开提供了一种外科可视化系统，该外科可视化系统实现了加强的术中决策和改善的外科结果。在各个方面，所公开的外科可视化系统提供了高级可视化能力，超出临床医生用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给临床医生的内容。各种外科可视化系统可增强和加强临床医生在组织治疗(例如，解剖)之前能够知道的内容，并且因此可在各种情况下改善结果。
例如，可视化系统可包括被配置成能够发射多个光谱波的第一光发射器、被配置成能够发射光图案的第二光发射器以及被配置成能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的一个或多个接收器或传感器。应该注意的是，在下面的整个公开内容中，除非特别提到可见光，否则任何提到的“光”可以包括电磁辐射(EMR)或EMR波长光谱的可见和/或不可见部分中的光子。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可确定外科部位处可见表面的几何表面标测图(即三维表面形貌)以及相对于外科部位的一个或多个距离。在某些情况下，控制电路可确定到至少部分隐蔽的结构的一个或多个距离。此外，成像系统可将几何表面标测图和一个或多个距离传达给临床医生。在此类情况下，提供给临床医生的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。另外或另选地，成像系统可传达一个或多个外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。
在本公开的各个方面，公开了用于术中识别和避开关键结构的外科可视化系统。此类外科可视化系统可在外科手术期间向临床医生提供有价值的信息。因此，例如，临床医生知道外科可视化系统正在跟踪例如可在解剖期间接近的关键结构(诸如输尿管、特定神经和/或关键血管)，可在整个外科手术过程中确信地保持动力。在一个方面，外科可视化系统可在足够长的时间内向临床医生提供指示，以使临床医生暂停和/或减慢外科手术并且评估与关键结构的接近度，以防止对其造成意外损坏。外科可视化系统可向临床医生提供理想的、优化的和/或可定制的信息量，以允许临床医生确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结构造成意外损坏，并且因此最小化由外科手术引起的伤害风险。
图1是根据本公开的至少一个方面的外科可视化系统100的示意图。外科可视化系统100可在解剖场内创建关键结构101的视觉表示。外科可视化系统100可用于例如临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向临床医生提供关于接近度数据、尺寸和/或距离的实时或近实时的信息。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，临床医生可避免在外科手术期间在关键结构101和/或关键结构101的预定接近度中的区域周围操纵外科装置。例如，临床医生可避免对例如被识别为关键结构101的静脉、动脉、神经和/或血管进行解剖和/或避免在这些关键结构附近进行解剖。在各种情况下，关键结构101可基于不同患者和/或不同手术来确定。
外科可视化系统100结合距离传感器系统104结合有组织识别和几何表面标测。结合起来，外科可视化系统100的这些特征可确定关键结构101在解剖场内的方位以及/或者外科装置102与可见组织的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括例如被配置成能够提供外科部位的实时视图的成像装置120，诸如相机。在各种情况下，成像装置120是光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置成能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可被提供给临床医生，并且在本公开的各个方面，可基于组织识别、地形标测和距离传感器系统104用附加信息来增强这些视图。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可配合以在术中向临床医生提供高级数据合成和集成信息。
成像装置可包括相机或成像传感器，该相机或成像传感器被配置成能够检测例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。在本公开的各个方面，成像系统可包括例如成像装置，诸如内窥镜。另外或另选地，成像系统可包括例如成像装置，诸如关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜或外镜。在其他情况下，诸如在开放外科手术应用中，成像系统可不包括观察镜。
在本公开的各个方面，组织识别子系统可用光谱成像系统来实现。光谱成像系统可依赖于例如高光谱成像、多光谱成像或选择性光谱成像。组织的高光谱成像进一步在2016年3月1日公布的名称为“SYSTEM AND METHOD FOR GROSS ANATOMIC PATHOLOGY USINGHYPERSPECTRAL IMAGING”的美国专利号9,274,047中描述，该专利全文以引用方式并入本文。
在本公开的各个方面，表面标测子系统可用光图案系统来实现，如本文进一步所述。光图案(或结构化光)用于表面标测是已知的。已知的表面标测技术可用于本文所述的外科可视化系统中。
结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。2017年3月2日公布的名称为“SET COMPRISING A SURGICAL INSTRUMENT”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“DEPICTION SYSTEM”的美国专利申请公布2017/0251900公开了一种外科系统，该外科系统包括光源以及用于投射光图案的投射仪。2017年3月2日公布的名称为“SET COMPRISING A SURGICAL INSTRUMENT”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“DEPICTION SYSTEM”的美国专利申请公布2017/0251900全文以引用方式并入本文。
在本公开的各个方面，距离确定系统可结合到表面标测系统中。例如，可利用结构化光来生成可见表面的三维虚拟模型并且确定相对于可见表面的各种距离。另外或另选地，距离确定系统可依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。
图2是可与外科可视化系统100一起使用的控制系统133的示意图。控制系统133包括与存储器134信号通信的控制电路132。存储器134存储可由控制电路132执行的指令，以确定和/或识别关键结构(例如，图1中的关键结构101)，确定和/或计算一个或多个距离和/或三维数字表示，并将某些信息传送给一个或多个临床医生。例如，存储器134存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140或距离确定逻辑部件141或者逻辑部件136、138、140和141的任何组合。控制系统133还包括成像系统142，该成像系统具有一个或多个相机144(如图1中的成像装置120)、一个或多个显示器146或者一个或多个控件148或者这些元件的任何组合。相机144可包括一个或多个图像传感器135，以接收来自发射各种可见光谱和不可见光谱下的光的各种光源(例如，可见光、光谱成像器、三维透镜等)的信号。显示器146可包括一个或多个屏幕或监视器，用于向一个或多个临床医生描绘真实、虚拟和/或虚拟增强的图像和/或信息。
在各个方面，相机144的心脏是图像传感器135。一般来讲，现代图像传感器135是包含高达数百万个离散光电探测器位点(称为像素)的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)成像器，并且近来，短波红外(SWIR)是一种新兴的成像技术。另一种类型的图像传感器135采用混合CCD/CMOS架构(以名称“sCMOS”出售)，并且由凸块粘结到CCD成像基板的CMOS读出集成电路(ROIC)组成。CCD和CMOS图像传感器135对大约350nm至1050nm的波长敏感，但该范围通常被给出为400nm至1000nm。一般来讲，CMOS传感器比CCD传感器对IR波长更敏感。固态图像传感器135基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色CCD相机：单芯片和三芯片。单芯片彩色CCD相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色CCD相机通过采用棱镜将入射光谱的每个部分引导到不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的RGB强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。
控制系统133还包括光谱光源150和结构化光源152。在某些情况下，单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。在各种情况下，组织识别逻辑部件140可经由由相机144的图像传感器135部分接收的来自光谱光源150的数据来识别关键结构。表面标测逻辑部件136可基于反射的结构化光来确定可见组织的表面轮廓。利用飞行时间测量结果，距离确定逻辑部件141可确定到可见组织和/或关键结构101的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141的一个或多个输出可被提供给成像逻辑部件138，并且可被组合、共混和/或重叠以经由成像系统142的显示器146传达给临床医生。
说明书现在简要转到图2A至图2C，以描述用于控制外科可视化系统100的各个方面的控制电路132的各个方面。转到图2A，示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的控制电路400。控制电路400可被配置成能够实现本文所述的各种过程。控制电路400可以包括微控制器，该微控制器包括耦接到至少一个存储器电路404的一个或多个处理器402(例如，微处理器、微控制器)。存储器电路404存储机器可执行指令，这些机器可执行指令在由处理器402执行时使处理器402执行机器指令以实现本文所述的各种过程。处理器402可以是本领域中已知的多种单核或多核处理器中的任一种。存储器电路404可包括易失性存储介质和非易失性存储介质。处理器402可包括指令处理单元406和运算单元408。指令处理单元可被配置成能够从本公开的存储器电路404接收指令。
图2B示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的组合逻辑电路410。组合逻辑电路410可被配置成能够实现本文所述的各种过程。组合逻辑电路410可包括有限状态机，该有限状态机包括组合逻辑部件412，该组合逻辑部件被配置成能够在输入414处接收与外科器械或工具相关联的数据，通过组合逻辑部件412处理数据并提供输出416。
图2C示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的时序逻辑电路420。时序逻辑电路420或组合逻辑部件422可被配置成能够实现本文所述的各种过程。时序逻辑电路420可包括有限状态机。时序逻辑电路420可包括例如组合逻辑部件422、至少一个存储器电路424和时钟429。至少一个存储器电路424可存储有限状态机的当前状态。在某些情况下，时序逻辑电路420可以是同步的或异步的。组合逻辑部件422被配置成能够从输入426接收与外科装置或系统相关联的数据，通过组合逻辑部件422处理数据并提供输出428。在其他方面，电路可包括处理器(例如，图2A中的处理器402)和有限状态机的组合以实现本文的各种过程。在其他方面，有限状态机可包括组合逻辑电路(例如，组合逻辑电路410，图2B)和时序逻辑电路420的组合。
再次参见图1中的外科可视化系统100，关键结构101可以是感兴趣的解剖结构。例如，关键结构101可以是输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构101可以是例如解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。示例性关键结构在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为“VISUALIZATION OFSURGICAL DEVICES”的美国专利申请号16/128,192)中进一步描述，这些专利申请全文以引用方式并入本文。
在一个方面，关键结构101可嵌入组织103中。换句话说，关键结构101可定位在组织103的表面105下方。在此类情况下，组织103隐蔽关键结构101使其不被临床医生看见。从成像装置120的视角来看，关键结构101也被组织103遮蔽。组织103可以是例如脂肪、结缔组织、粘连和/或器官。在其他情况下，关键结构101可被部分地遮蔽使其不被看见。
图1还描绘了外科装置102。外科装置102包括端部执行器，该端部执行器具有从外科装置102的轴的远侧端部延伸的相对钳口。外科装置102可以是任何合适的外科装置，诸如例如解剖器、缝合器、抓紧器、施夹器和/或能量装置(包括单极探针、双极探针、消融探针和/或超声端部执行器)。另外或另选地，外科装置102可包括例如另一个成像或诊断模态，诸如超声装置。在本公开的一个方面，外科可视化系统100可被配置成能够实现识别一个或多个关键结构101以及外科装置102与关键结构101的接近度。
外科可视化系统100的成像装置120被配置成能够检测各种波长的光，诸如例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文进一步所述。成像装置120还可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的三维图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置成能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可与组织的表面105上的光(结构化光)的图案重叠，如图1所示。
在一个方面，外科可视化系统100可结合到机器人系统110中。例如，机器人系统110可包括第一机器人臂112和第二机器人臂114。机器人臂112、114包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置成能够操纵外科装置102，并且第二机器人臂114被配置成能够操纵成像装置120。机器人控制单元可被配置成能够向机器人臂112、114发出控制运动，这些控制运动可影响例如外科装置102和成像装置120。
外科可视化系统100还包括发射器106，该发射器被配置成能够发射光的图案，诸如条纹、网格线和/或点，以使得能够确定表面105的形貌或地形。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于例如外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，投射光阵列130用于确定由组织103的表面105和/或表面105在术中的运动限定的形状。成像装置120被配置成能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。
在一个方面，成像装置120还可包括光学波形发射器123，该光学波形发射器被配置成能够发射可穿透组织103的表面105并到达关键结构101的电磁辐射124(NIR光子)。成像装置120及其上的光学波形发射器123可能够由机器人臂114定位。成像装置120上的对应波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置成能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长可被配置成能够使得能够识别解剖结构和/或物理结构(诸如关键结构101)的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。在其他情况下，光学波形发射器123可定位在与成像装置120分开的外科装置上。
外科可视化系统100还可包括距离传感器系统104，该距离传感器系统被配置成能够确定外科部位处的一个或多个距离。在一个方面，飞行时间距离传感器系统104可以是包括发射器(诸如发射器106)以及可定位在外科装置102上的接收器108的飞行时间距离传感器系统。在其他情况下，飞行时间发射器可与结构化光发射器分开。在一个一般方面，飞行时间距离传感器系统104的发射器106部分可包括非常微小的激光源，并且飞行时间距离传感器系统104的接收器108部分可包括匹配传感器。飞行时间距离传感器系统104可检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。仍然参见图1，de是从发射器106到组织103的表面105的发射器-组织距离，并且dt是从外科装置102的远侧端部到组织的表面105的装置-组织距离。距离传感器系统104可用于确定发射器-组织距离de。装置-组织距离dt可根据发射器106在外科装置102的轴上相对于外科装置102的远侧端部的已知方位获得。换句话讲，当发射器106与外科装置102的远侧端部之间的距离已知时，装置-组织距离dt可根据发射器-组织距离de确定。在某些情况下，外科装置102的轴可包括一个或多个关节运动接头，并且可能够相对于发射器106和钳口进行关节运动。关节运动构型可包括例如多接头椎骨状结构。在某些情况下，三维相机可用于对到表面105的一个或多个距离进行三角测量。
在各种情况下，飞行时间距离传感器系统104的接收器108可安装在单独的外科装置上而不是外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他情况下，飞行时间距离传感器系统104的接收器108可安装在单独的机器人控制的臂(例如，机器人臂114)上，安装在由另一个机器人操作的可运动臂上和/或安装到手术室(OR)工作台或固定装置。在某些情况下，成像装置120包括飞行时间接收器108，以使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于飞行时间距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知方位来对距离de进行三角测量。接收器108的三维方位可以是已知的和/或在术中与机器人坐标平面配准。
在某些情况下，飞行时间距离传感器系统104的发射器106的方位可由第一机器人臂112控制，并且飞行时间距离传感器系统104的接收器108的方位可由第二机器人臂114控制。在其他情况下，外科可视化系统100可与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。
在某些情况下，机器人臂112、114中的一者或多者可与外科手术中使用的主机器人系统分开。机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并与特定坐标系配准。例如，用于机器人臂110的闭环控制系统和/或多个传感器可控制和/或配准机器人臂112、114相对于特定坐标系的方位。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。
仍然参见图1，dw是从位于成像装置120上的光学波形发射器123到关键结构101的表面的相机-关键结构距离，并且dA是关键结构101在组织103的表面105下方的深度(即，表面105的最靠近外科装置102的部分与关键结构101之间的距离)。在各个方面，从位于成像装置120上的光学波形发射器123发射的光学波形的飞行时间可被配置成能够确定相机-关键结构距离dw。光谱成像结合飞行时间传感器的使用在本文中进一步描述。此外，现在参见图3，在本公开的各个方面，关键结构101相对于组织103的表面105的深度dA可通过以下方法来确定：根据距离dw以及发射器106在外科装置102上和光学波形发射器123在成像装置120上的已知方位(以及因此它们之间的已知距离dx)进行三角测量，以确定距离dy(其为距离de和dA之和)。
另外或另选地，来自光学波形发射器123的飞行时间可被配置成能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离dw，并且第二波形(或波形范围)可用于确定到组织103的表面105的距离。在此类情况下，不同波形可用于确定关键结构101在组织103的表面105下方的深度。
另外或另选地，在某些情况下，距离dA可由超声、配准磁共振成像(MRI)或计算机断层摄影(CT)扫描来确定。在其他情况下，距离dA可用光谱成像来确定，因为由成像装置接收的检测信号可基于材料的类型而变化。例如，脂肪可以第一方式或第一量降低检测信号，并且胶原可以不同的第二方式或第二量降低检测信号。
现在参见图4中的外科可视化系统160，其中外科装置162包括光学波形发射器123以及被配置成能够检测反射的波形的波形传感器122。光学波形发射器123可被配置成能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离dt和dw，如本文进一步所述。在此类情况下，从组织103的表面105到关键结构101的表面的距离dA可如下确定：
dA＝dw-dt。
如本文所公开，关于可见组织、嵌入的关键结构和外科装置的各种信息可通过利用组合方法来确定，该组合方法结合被配置成能够检测光谱波长和结构化光阵列的图像传感器结合有一个或多个飞行时间距离传感器、光谱成像和/或结构化光阵列。此外，图像传感器可被配置成能够接收可见光，并且因此将外科部位的图像提供给成像系统。采用逻辑或算法来识别从飞行时间传感器接收的信息、光谱波长、结构化光和可见光，并且渲染表面组织和下面的解剖结构的三维图像。在各种情况下，成像装置120可包括多个图像传感器。
相机-关键结构距离dw也可以一种或多种替代方式进行检测。在一个方面，可利用例如荧光透视可视化技术(诸如荧光吲哚菁绿(ICG))来照亮关键结构201，如图6至图8所示。相机220可包括两个光学波形传感器222、224，这两个光学波形传感器同时拍摄关键结构201的左侧图像和右侧图像(图7A和图7B)。在此类情况下，相机220可描绘关键结构201在组织203的表面205下方的辉光，并且距离dw可由传感器222与224之间的已知距离来确定。在某些情况下，可通过利用多于一个相机或通过使相机在多个位置之间运动来更准确地确定距离。在某些方面，一个相机可由第一机器人臂控制，并且第二相机可由另一个机器人臂控制。在此类机器人系统中，一个相机可以是例如从动件臂上的从动件相机。从动件臂及其上的相机可被编程为跟踪另一个相机并保持例如特定的距离和/或透镜角度。
在其他方面，外科可视化系统100可采用两个单独的波形接收器(即，相机/图像传感器)来确定dw。现在参见图9，如果关键结构301或其内容物(例如，血管或血管内容物)可诸如利用荧光透视发射信号302，则可根据已知位置处的两个单独的相机320a、320b对实际位置进行三角测量。
在另一方面，现在参见图10A和图10B，外科可视化系统可采用抖动或移动相机440来确定距离dw。相机440是机器人控制的，使得相机440在不同方位处的三维坐标是已知的。在各种情况下，相机440可在插管或患者接口处枢转。例如，如果关键结构401或其内容物(例如，血管或血管内容物)可诸如利用荧光透视发射信号，则可根据在两个或更多个已知位置之间快速运动的相机440对实际位置进行三角测量。在图10A中，相机440沿轴线A轴向移动。更具体地，相机440沿轴线A更靠近关键结构401平移距离d1，以平移到被指示为位置440'的位置，诸如通过在机器人臂上移入和移出。当相机440运动距离d1并且视图的尺寸相对于关键结构401改变时，可计算到关键结构401的距离。例如，4.28mm的轴向平移(距离d1)可对应于6.28度的角度θ1和8.19度的角度θ2。另外或另选地，相机440可沿不同方位之间的弧线旋转或扫掠。现在参见图10B，相机440沿轴线A轴向移动并且围绕轴线A旋转角度θ3。用于相机440的旋转的枢转点442定位在插管/患者接口处。在图10B中，相机440平移并旋转到位置440”。当使相机440运动并且视图边缘关于关键结构401改变时，可计算到关键结构401的距离。在图10B中，距离d2可为例如9.01mm，并且角度θ3可为例如0.9度。
图5描绘了外科可视化系统500，其在许多方面类似于外科可视化系统100。在各种情况下，外科可视化系统500可以是外科可视化系统100的另一个范例。类似于外科可视化系统100，外科可视化系统500包括外科装置502和成像装置520。成像装置520包括光谱光发射器523，该光谱光发射器被配置成能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。在各种情况下，成像装置520还可包括三维相机和相关联的电子处理电路。外科可视化系统500被示出为在术中用于识别和有利于避开在表面上不可见的某些关键结构，诸如器官503(在该示例中为子宫)中的输尿管501a和血管501b。
外科可视化系统500被配置成能够经由结构化光确定从外科装置502上的发射器506到子宫503的表面505的发射器-组织距离de。外科可视化系统500被配置成能够基于发射器-组织距离de来外推从外科装置502到子宫503的表面505的装置-组织距离dt。外科可视化系统500还被配置成能够确定从输尿管501a到表面505的组织-输尿管距离dA以及从成像装置520到输尿管501a的相机-输尿管距离dw。如本文关于图1所述，例如，外科可视化系统500可利用例如光谱成像和飞行时间传感器来确定距离dw。在各种情况下，外科可视化系统500可基于本文所述的其他距离和/或表面标测逻辑部件来确定(例如，三角测量)组织-输尿管距离dA(或深度)。
现在参见图11，其中描绘了用于例如外科可视化系统(诸如外科可视化系统100)的控制系统600的示意图。例如，控制系统600是转换系统，该转换系统整合光谱特征组织识别和结构化光组织定位以识别关键结构，特别是当这些结构被其他组织(诸如脂肪、结缔组织、血液和/或其他器官)遮蔽时。此类技术也可用于检测组织可变性，诸如区分器官内的肿瘤和/或不健康组织与健康组织。
控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648以将组织数据转换成外科医生可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种情况下，控制系统600被配置成能够在接近一个或多个关键结构时向临床医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。
采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。
控制系统600被配置成能够检测关键结构并提供关键结构的图像叠加，并且测量到可见组织的表面的距离和到嵌入/掩埋关键结构的距离。在其他情况下，控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。
控制系统600包括光谱控制电路602。例如，光谱控制电路602可以是现场可编程门阵列(FPGA)或如本文结合图2A至图2C所述的另一种合适的电路配置。光谱控制电路602包括处理器604以从视频输入处理器606接收视频输入信号。例如，处理器604可被配置用于高光谱处理并且可利用C/C++代码。例如，视频输入处理器606接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置成能够处理来自视频输入处理器606的视频输入信号并将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608将视频输出信号提供给图像叠加控制器610。
视频输入处理器606经由患者隔离电路614联接到患者侧处的相机612。如前所述，相机612包括固态图像传感器634。患者隔离电路可包括多个变压器，使得患者与系统中的其他电路隔离。相机612通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如CMOS图像传感器，或者可包括例如本文结合图2所述的任何图像传感器技术。在一个方面，相机612以14位/像素信号输出图像。应当理解，在不脱离本公开的范围的情况下，可采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色RGB融合电路616，该融合电路利用硬件寄存器618和Nios2协处理器620来处理相机输出信号613。彩色RGB融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。
激光脉冲控制电路622控制激光引擎624。激光引擎624输出包括近红外(NIR)在内的多个波长(λ1，λ2，λ3......λn)的光。激光引擎624可在多种模式下操作。在一个方面，激光引擎624可在例如两种模式下操作。在第一模式(例如正常操作模式)下，激光引擎624输出照明信号。在第二模式(例如，识别模式)下，激光引擎624输出RGBG和NIR光。在各种情况下，激光引擎624可在偏振模式下操作。
来自激光引擎624的光输出626照亮术中外科部位627中的目标解剖结构。激光脉冲控制电路622还控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪将预先确定的波长(λ2)的激光图案631(诸如线和/或点的网格或图案)投射在外科部位627处的手术组织或器官上。相机612接收图案化光以及通过相机光学器件632输出的反射光。图像传感器634将所接收的光转换成数字信号。
彩色RGB融合电路616还将信号输出到图像叠加控制器610和视频输入模块636，以用于读取由激光图案投射仪630投射到外科部位627处的目标解剖结构上的激光图案631。处理模块638处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还输出表示外科部位处的目标解剖结构的组织或器官的三维渲染形状的第二视频信号642。
第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，整合模块643可确定到掩埋关键结构的距离dA(图1)(例如，经由三角测量算法644)，并且距离dA可经由视频输出处理器646提供给图像叠加控制器610。上述转换逻辑部件可涵盖转换逻辑电路648、中间视频监视器652以及定位在外科部位627处的相机624/激光图案投射仪630。
在各种情况下，可采用来自CT或MRI扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并被提供给视频监视器652。术前数据的配准在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为为“INTEGRATION OF IMAGING DATA”的美国专利申请号16/128,195)中进一步描述，这些专利申请全文以引用方式并入本文。
视频监视器652可从图像叠加控制器610输出整合/增强视图。临床医生可在一个或多个监视器上在不同视图之间选择和/或切换。在第一监视器652a上，临床医生可在(A)其中描绘可见组织的三维渲染的视图与(B)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二监视器652b上，临床医生可例如将距离测量切换到一个或多个隐藏关键结构和/或可见组织的表面。
控制系统600和/或其各种控制电路可结合到本文所公开的各种外科可视化系统中。
图12示出了根据本公开的至少一个方面的结构化(或图案化)光系统700。如本文所述，条纹或线形式的结构化光例如可从光源和/或投射仪706被投射到目标解剖结构的表面705上，以识别表面705的形状和轮廓。在各个方面可类似于成像装置120(图1)的相机720例如可被配置成能够检测光在表面705上的投射图案。投射图案在撞击表面705时变形的方式允许视觉系统计算目标解剖结构的深度和表面信息。
在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。结构化光在en.wikipedia.org/wiki/Structured_light处进一步描述。
如上所述，本文描述的各种外科可视化系统可以用于将各种不同类型的组织和/或解剖结构可视化，包括可被光谱的可见部分中的EMR遮挡而无法可视化的组织和/或解剖结构。在一个方面，外科可视化系统可以利用光谱成像系统来基于组成材料的不同组合来对不同类型的组织进行可视化。特别地，光谱成像系统可以被配置成能够基于组织在各种EMR波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可以进一步被配置成能够基于组成材料的特定组合来表征被可视化的组织的组织类型。为了说明，图13A是描绘各种生物材料的吸收系数如何在EMR波长光谱上变化的曲线图2300。在曲线图2300中，纵轴2303表示生物材料的吸收系数(例如，以cm-1为单位)，横轴2304表示EMR波长(例如，以μm为单位)。曲线图2300进一步示出了表示水在各种EMR波长下的吸收系数的第一条线2310、表示蛋白质在各种EMR波长下的吸收系数的第二条线2312、表示黑色素在各种EMR波长下的吸收系数的第三条线2314、表示脱氧血红蛋白在各种EMR波长下的吸收系数的第四条线2316、表示氧合血红蛋白在各种EMR波长下的吸收系数的第五条线2318，以及表示胶原蛋白在各种EMR波长下的吸收系数的第六条线2319。不同的组织类型具有组成材料的不同组合，因此由外科可视化系统可视化的组织类型可以根据检测到的组成材料的特定组合来识别和区分。因此，光谱成像系统可以被配置成能够发射多个不同波长的EMR，基于在不同波长处检测到的吸收EMR吸收响应来确定组织的组成材料，然后基于组成材料的特定检测组合来表征组织类型。
图13B示出了利用光谱成像技术来对不同的组织类型和/或解剖结构进行可视化。在图13B中，光谱发射器2320(例如，光谱光源150)被成像系统用来对外科部位2325进行可视化。由光谱发射器2320发射并从外科部位2325处的组织和/或结构反射的EMR可以由图像传感器135(图2)接收，以对组织和/或结构进行可视化；该组织和/或结构可以是可见的(例如，位于外科部位2325的表面)或被遮挡的(例如，位于外科部位2325处的其他组织和/或结构的下面)。在该示例中，成像系统142(图2)可以基于光谱特征来对肿瘤2332、动脉2334和各种异常2338(即，与已知或预期的光谱特征不相符的组织)进行可视化，所述光谱特征由不同组织/结构类型中每一个的组成材料的不同吸收特性(例如，吸收系数)来表征。可视化的组织和结构可以显示在与成像系统142关联或联接的显示屏上，例如成像系统显示器146(图2)、主显示器2119(图18)、非无菌显示器2109(图18)、集线器显示器2215(图19)、装置/器械显示器2237(图19)等。
此外，成像系统142可以被配置成能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，成像系统142可以在显示屏(例如，显示器146)上显示与正在可视化的肿瘤2332相关联的边缘2330a。边缘2330a可以指示应该切除以确保肿瘤2332完全切除的组织的面积或数量。控制系统133(图2)可以被配置成能够基于由成像系统142识别的组织和/或结构来控制或更新边缘2330a的尺寸。在所示示例中，成像系统142已经识别了FOV内的多个异常2338。因此，控制系统133可以将显示的边缘2330a调整到第一更新边缘2330b，该第一更新边缘2330b具有足够的尺寸来涵盖异常2338。此外，成像系统142还识别出了与最初显示的边缘2330a部分重叠的动脉2334(如动脉2334的高亮区域2336所示)。因此，控制系统133可以将显示的边缘2330a调整到第二更新边缘2330c，该第二更新边缘具有足够的尺寸来涵盖动脉2334的相关部分。
除了以上关于图13A和13B所描述的吸收特性之外或代替所述吸收特性，还可以根据组织和/或结构的反射特性在EMR波长光谱上对其进行成像或表征。例如，图13C-13E示出了不同类型的组织或结构在不同EMR波长上的反射率的各种曲线图。图13C是例示性输尿管特征相对于遮蔽物的图形表示1050。图13D是例示性动脉特征相对于遮蔽物的图形表示1052。图13E是例示性神经特征相对于遮蔽物的图形表示1054。图13C-13E中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识别和可视化。
在各种情况下，可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(即，“选择性光谱”成像)。通过利用选择性光谱成像，可最小化获得光谱图像所需的时间量，使得可实时或接近实时地获得信息，并在手术中加以利用。在各种情况下，波长可由临床医生选择或由控制电路基于临床医生的输入来选择。在某些情况下，波长可基于例如机器学习和/或控制电路可经由云访问的大数据来选择。
光谱成像到组织的前述应用可在手术中用于测量波形发射器与被组织遮蔽的关键结构之间的距离。在本公开的一个方面，现在参见图14和图15，示出了利用波形1124、1125的飞行时间传感器系统1104。在某些情况下，飞行时间传感器系统1104可结合到外科可视化系统100(图1)中。飞行时间传感器系统1104包括相同外科装置1102上的波形发射器1106和波形接收器1108。发射波1124从发射器1106延伸到关键结构1101，并且接收波1125被接收器1108从关键结构1101反射回去。外科装置1102穿过延伸到患者的腔1107中的套管针1110定位。
波形1124、1125被配置成能够穿透遮蔽组织1103。例如，波形1124、1125的波长可在NIR或SWIR波长光谱中。在一个方面，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1106发射并且可穿透其中隐蔽有关键结构1101的组织1103。所发射的波形1124可被关键结构1101反射。所接收的波形1125可由于外科装置1102的远侧端部与关键结构1101之间的距离d而被延迟。在各种情况下，可基于关键结构1101的光谱特征来选择波形1124、1125以靶向组织1103内的关键结构1101，如本文进一步所述。在各种情况下，发射器1106被配置成能够提供二进制信号开和关，如图15所示，例如该二进制信号可由接收器1108测量。
基于发射波1124与接收波1125之间的延迟，飞行时间传感器系统1104被配置成能够确定距离d(图14)。图14的发射器1106和接收器1108的飞行时间时序图1130在图15中示出。延迟是距离d的函数，并且距离d由下式给出：
Figure BDA0003722961350000311
其中：
c＝光的速度；
t＝脉冲的长度；
q1＝发射光时累积的电荷；以及
q2＝不发射光时累积的电荷。
如本文所提供，波形1124、1125的飞行时间对应于图14中的距离d。在各种情况下，附加发射器/接收器和/或来自发射器1106的脉冲信号可被配置成能够发射非穿透信号。非穿透组织可被配置成能够确定从发射器到遮蔽组织1103的表面1105的距离。在各种情况下，关键结构1101的深度可由下式确定：
dA＝dw-dt。
其中：
dA＝关键结构1101的深度；
dw＝从发射器1106到关键结构1101的距离(图14中的d)；以及
dt＝从发射器1106(在外科装置1102的远侧端部上)到遮蔽组织1103的表面1105的距离。
在本公开的一个方面，现在参见图16，示出了利用波1224a、1224b、1224c、1225a、1225b、1225c的飞行时间传感器系统1204。在某些情况下，飞行时间传感器系统1204可结合到外科可视化系统100(图1)中。飞行时间传感器系统1204包括波形发射器1206和波形接收器1208。波形发射器1206定位在第一外科装置1202a上，并且波形接收器1208定位在第二外科装置1202b上。外科装置1202a、1202b分别穿过其相应的套管针1210a、1210b定位，这两个套管针延伸到患者的腔1207中。发射波1224a、1224b、1224c从发射器1206朝向外科部位延伸，并且接收波1225a、1225b、1225c从外科部位处的各种结构和/或表面反射回接收器1208。
不同的发射波1224a、1224b、1224c被配置成能够靶向外科部位处的不同类型的材料。例如，波1224a靶向遮蔽组织1203，波1224b靶向第一关键结构1201a(例如，血管)，并且波1224c靶向第二关键结构1201b(例如，癌性肿瘤)。波1224a、1224b、1224c的波长可在可见光、NIR或SWIR波长光谱中。例如，可见光可从组织1203的表面1205反射，并且NIR和/或SWIR波形可被配置成能够穿透组织1203的表面1205。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1206发射。在各种情况下，可基于关键结构1201a、1201b的光谱特征来选择波1224b、1224c以靶向组织1203内的关键结构1201a、1201b，如本文进一步所述。光声学成像在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中。
发射波1224a、1224b、1224c可从目标材料(即，分别为表面1205、第一关键结构1201a和第二结构1201b)反射。所接收的波形1225a、1225b、1225c可由于图16所示的距离d1a、d2a、d3a、d1b、d2b、d2c而被延迟。
在其中发射器1206和接收器1208可独立定位(例如，定位在单独的外科装置1202a、1202b上和/或由单独的机器人臂控制)的飞行时间传感器系统1204中，可根据发射器1206和接收器1208的已知方位计算各种距离d1a、d2a、d3a、d1b、d2b、d2c。例如，当外科装置1202a、1202b由机器人控制时，这些方位可以是已知的。关于发射器1206和接收器1208的方位以及光子流靶向某一组织的时间的知识以及由接收器1208接收的该特定响应的信息可允许确定距离d1a、d2a、d3a、d1b、d2b、d2c。在一个方面，可使用穿透波长对到被遮蔽的关键结构1201a、1201b的距离进行三角测量。由于光的速度对于任何波长的可见光或不可见光是恒定的，因此飞行时间传感器系统1204可确定各种距离。
仍然参见图16，在各种情况下，在提供给临床医生的视图中，接收器1208可被旋转成使得所得图像中的目标结构的质心保持恒定，即在垂直于所选目标结构1203、1201a或1201b的轴线的平面中。此类取向可快速传送关于关键结构的一个或多个相关距离和/或视角。例如，如图16所示，从关键结构1201a垂直于视平面(即，血管在页面内/页面外取向)的视角显示外科部位。在各种情况下，此类取向可以是默认设置；然而，该视图可由临床医生旋转或以其他方式调整。在某些情况下，临床医生可在限定由成像系统提供的外科部位的视角的不同表面和/或目标结构之间切换。
在各种情况下，接收器1208可安装在套管针或插管(诸如套管针1210b)上，例如外科装置1202b通过该套管针或插管定位。在其他情况下，接收器1208可安装在三维方位已知的单独机器人臂上。在各种情况下，接收器1208可安装在与控制外科装置1202a的机器人分开的可运动臂上，或者可安装到可在术中与机器人坐标平面配准的手术室(OR)工作台。在此类情况下，发射器1206和接收器1208的方位可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统1204的输出对距离进行三角测量。
将飞行时间传感器系统和近红外光谱(NIRS)(称为TOF-NIRS，其能够测量具有纳秒分辨率的NIR光的时间分辨特征图)组合可见于名称为“TIME-OF-FLIGHT NEAR-INFRAREDSPECTROSCOPY FOR NONDESTRUCTIVE MEASUREMENT OF INTERNAL QUALITY INGRAPEFRUIT”(美国园艺科学学会杂志(Journal of the American Society forHorticultural Science)，2013年5月，第138卷，第3期，第225-228页)的文章(该文章全文以引用方式并入本文)中，并且可在journal.ashspublications.org/content/138/3/225.full处获取。
在各种情况下，飞行时间光谱波形被配置成能够确定关键结构的深度和/或外科装置与关键结构的接近度。此外，本文所公开的各种外科可视化系统包括表面标测逻辑部件，该表面标测逻辑部件被配置成能够创建可见组织的表面的三维渲染。在此类情况下，即使当可见组织阻挡关键结构时，临床医生也可知道外科装置与关键结构的接近度(或缺乏接近度)。在一种情况下，外科部位的形貌由表面标测逻辑部件提供在监视器上。如果关键结构靠近组织的表面，则光谱成像可将关键结构的方位传达给临床医生。例如，光谱成像可检测表面的5mm或10mm内的结构。在其他情况下，光谱成像可检测组织的表面下方10mm或20mm的结构。基于光谱成像系统的已知限值，系统被配置成能够在光谱成像系统根本无法检测到关键结构的情况下传达该关键结构在范围外。因此，临床医生可继续移动外科装置和/或操纵组织。当关键结构移动到光谱成像系统范围内时，系统可识别该结构，并且因此传送该结构在范围内。在此类情况下，当初始识别结构和/或在预定义的接近度区域内进一步移动结构时，可提供警示。在此类情况下，即使光谱成像系统利用已知边界/范围未识别关键结构，也可向临床医生提供接近度信息(即，缺乏接近度)。
本文所公开的各种外科可视化系统可被配置成能够在手术中识别关键结构的存在和/或关键结构的接近度，并且在通过意外解剖和/或横切损坏关键结构之前警示临床医生。在各个方面，外科可视化系统被配置成能够识别例如以下关键结构中的一种或多种关键结构：输尿管、肠、直肠、神经(包括膈神经、喉返神经[RLN]、骶岬面部神经、迷走神经以及它们的分支)、血管(包括肺动脉和大叶动脉以及肺静脉和大叶静脉、肠系膜下动脉[IMA]及其分支、直肠上动脉、乙状动脉和左结肠动脉)、肠系膜上动脉(SMA)及其分支(包括中结肠动脉、右结肠动脉、回肠动脉)、肝动脉及其分支、门静脉及其分支、脾动脉/静脉及其分支、外部和内部(下腹部)回肠血管、短胃动脉、子宫动脉、骶中血管和淋巴结。此外，外科可视化系统被配置成能够指示外科装置与关键结构的接近度和/或在外科装置靠近关键结构时警告临床医生。
本公开的各个方面提供了手术中关键结构识别(例如，输尿管、神经和/或血管的识别)和器械接近度监视。例如，本文所公开的各种外科可视化系统可包括光谱成像和外科器械跟踪，这使得能够可视化例如组织的表面下方(诸如组织的表面下方1.0cm至1.5cm)的关键结构。在其他情况下，外科可视化系统可识别组织的表面下方小于1.0cm或大于1.5cm的结构。例如，如果结构由于深度原本不能被看到，则即使例如可识别仅在表面0.2mm内的结构的外科可视化系统也可以是有价值的。在各个方面，外科可视化系统可例如利用关键结构的虚拟描绘作为叠加在可见组织的表面上的可见白光图像来增强临床医生的视图。外科可视化系统可提供外科器械的远侧末端的实时三维空间跟踪，并且可例如在外科器械的远侧末端在关键结构的特定范围内(诸如在关键结构的1.0cm内)移动时提供接近度警示。
本文所公开的各种外科可视化系统可识别解剖何时太靠近关键结构。基于温度(即，在可能有损坏/加热/熔融关键结构的风险的关键结构附近太热)和/或基于张力(即，在可能有损坏/撕裂/牵拉关键结构的风险的关键结构附近张力太大)，解剖可能“太靠近”关键结构。例如，当在结扎之前使血管骨架化时，此类外科可视化系统可有利于在血管周围进行解剖。在各种情况下，可利用热成像相机来读取外科部位处的热量并向临床医生提供基于所检测到的热量和从工具到结构的距离的警告。例如，如果工具的温度高于预定义阈值(诸如例如120℉)，则可在第一距离(诸如例如10mm)处向临床医生提供警示，并且如果工具的温度小于或等于预定义阈值，则可在第二距离(诸如例如5mm)处向临床医生提供警示。预定义阈值和/或警告距离可以是默认设置和/或可临床医生编程。另外或另选地，接近度警示可与由工具本身(诸如测量例如单极或双极解剖器或血管密封器的远侧钳口中的热量的热电偶)进行的热测量关联。
本文所公开的各种外科可视化系统可提供关于关键结构和特异性的足够的灵敏度，以使得临床医生能够基于护理和/或装置安全性数据的标准对快速但安全的解剖有信心地进行。系统可在外科手术期间在手术中实时地起作用，而对患者或临床医生的电离辐射风险最小，并且在各种情况下，对患者或临床医生没有电离辐射风险。相反地，在荧光透视过程中，患者和临床医生可经由例如用于实时观察解剖结构的X射线束暴露于电离辐射。
诸如当外科装置的路径由机器人控制时，本文所公开的各种外科可视化系统可被配置成能够例如检测和识别外科装置的向前路径中的一种或多种期望类型的关键结构。另外或另选地，外科可视化系统可被配置成能够检测和识别例如外科装置的周围区域中和/或多个平面/维度中的一种或多种类型的关键结构。
本文所公开的各种外科可视化系统可易于操作和/或解释。此外，各种外科可视化系统可结合允许临床医生覆写默认设置和/或操作的“覆写”特征。例如，诸如当关键结构的风险小于避开该区域的风险(例如，当摘除关键结构周围的癌症时，留下癌性组织的风险可能大于对关键结构造成损坏的风险)时，临床医生可选择性地关闭来自外科可视化系统的警示和/或比外科可视化系统所建议的更靠近关键结构。
本文所公开的各种外科可视化系统可结合到外科系统中和/或在对工作流程具有有限影响的情况下在外科手术期间使用。换句话讲，外科可视化系统的具体实施可能不会改变实施外科手术的方式。此外，与意外横切的成本相比，外科可视化系统可能更经济。数据表明，对关键结构的意外损坏减少可驱动增量补偿。
本文所公开的各种外科可视化系统可实时或接近实时地并且提前足够远地操作，以使得临床医生能够预期关键结构。例如，外科可视化系统可提供足够的时间以“减慢、评估和避开”，以便使外科手术的效率最大化。
本文所公开的各种外科可视化系统可能不需要注射到组织中的造影剂或染料。例如，光谱成像被配置成能够在不使用造影剂或染料的情况下在手术中可视化隐藏结构。在其他情况下，造影剂可比其他可视化系统更容易注射到适当的组织层中。例如，造影剂的注射与关键结构的可视化之间的时间可少于两小时。
本文所公开的各种外科可视化系统可与临床数据和/或装置数据关联。例如，数据可提供关于能量启用的外科装置(或其他潜在损坏装置)应与外科医生不想损坏的组织相距多近的边界。与本文所公开的外科可视化系统交互的任何数据模块可与机器人整体地或分开地提供，以使得能够与独立的外科装置一起用于例如开放式或腹腔镜式手术中。在各种情况下，外科可视化系统可与机器人外科系统兼容。例如，可视化图像/信息可显示在机器人控制台中。
在各种情况下，临床医生可能不知道关键结构相对于外科工具的位置。例如，当关键结构嵌入组织中时，临床医生可能无法确定关键结构的位置。在某些情况下，临床医生可能想要将外科装置保持在围绕关键结构的方位范围之外和/或远离覆盖隐藏关键结构的可见组织。当隐蔽关键结构的方位未知时，临床医生可能有移动得太靠近关键结构的风险，这可能导致关键结构的无意创伤和/或解剖和/或关键结构附近的过多能量、热量和/或张力。另选地，临床医生可能保持与关键结构的可疑位置相距过远，并且有在较不理想的位置影响组织以试图避开关键结构的风险。
本发明提供了一种外科可视化系统，该外科可视化系统呈现相对于一个或多个关键结构的外科装置跟踪。例如，外科可视化系统可跟踪外科装置相对于关键结构的接近度。此类跟踪可在术中、实时和/或近实时地发生。在各种情况下，跟踪数据可经由成像系统的显示屏(例如，监视器)提供给临床医生。
在本公开的一个方面，外科可视化系统包括：外科装置，该外科装置包括发射器，该发射器被配置成能够将结构化光图案发射到可见表面上；成像系统，该成像系统包括相机，该相机被配置成能够检测嵌入结构和可见表面上的结构化光图案；以及控制电路，该控制电路与相机和成像系统信号通信，其中控制电路被配置成能够确定从外科装置到嵌入结构的距离，并且向成像系统提供指示该距离的信号。例如，该距离可通过计算从相机到用荧光透视技术照亮的关键结构的距离并且基于由来自相机的多个透镜(例如，左侧透镜和右侧透镜)的图像提供的所照亮的结构的三维视图来确定。例如，从外科装置到关键结构的距离可基于外科装置和相机的已知方位来进行三角测量。本文进一步描述了用于确定到嵌入关键结构的距离的替代装置。例如，可采用NIR飞行时间距离传感器。另外或另选地，外科可视化系统可确定到叠加/覆盖嵌入关键结构的可见组织的距离。例如，外科可视化系统可通过在可见结构上描绘隐藏关键结构的示意图(诸如可见组织的表面上的线)来识别隐藏关键结构并增强隐藏关键结构的视图。外科可视化系统还可确定到可见组织上的增强线的距离。
通过向临床医生提供如本文所公开的各种外科可视化系统所提供的关于外科装置到隐蔽关键结构和/或可见结构的接近度的最新信息，临床医生可以做出关于外科装置相对于隐蔽关键结构的放置的更知情的决定。例如，临床医生可实时地/在术中查看外科装置与关键结构之间的距离，并且在某些情况下，当外科装置移动到关键结构的预定义接近度和/或区域内时，可由成像系统提供警示和/或警告。在某些情况下，当外科装置的轨迹指示与关键结构附近(例如，在关键结构的1mm、2mm、5mm、10mm、20mm或更多内)的“禁飞”区的可能碰撞时，可以提供警示和/或警告。在此类情况下，临床医生可在整个外科手术期间保持动量，而无需临床医生监测关键结构的可疑位置和外科装置与其的接近度。因此，某些外科手术可以更快地执行，具有更少的暂停/中断，以及/或者具有改进的准确性和/或确定性。在一个方面，外科可视化系统可用于检测组织可变性，诸如器官内组织的可变性，以区分肿瘤/癌组织/不健康组织与健康组织。此类外科可视化系统可使不健康组织的移除最大化，同时使健康组织的移除最小化。
外科集线器系统
本文所述的各种可视化或成像系统可以并入到外科集线器系统中，如结合图17-19示出并且在下文中进一步详细描述。
参见图17，计算机实现的交互式外科系统2100包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。在一个示例中，如图17中所示，外科系统2102包括可视化系统2108、机器人系统2110和手持式智能外科器械2112，它们被配置成能够彼此通信并且/或者与集线器2106通信。在一些方面，外科系统2102可包括M数量的集线器2106、N数量的可视化系统2108、O数量的机器人系统2110和P数量的手持式智能外科器械2112，其中M、N、O和P为大于或等于一的整数。
图18示出了用于对平躺在外科手术室2116中的手术台2114上的患者执行外科手术的外科系统2102的示例。机器人系统2110在外科手术中用作外科系统2102的一部分。机器人系统2110包括外科医生的控制台2118、患者侧推车2120(外科机器人)和外科机器人集线器2122。当外科医生通过外科医生的控制台2118观察外科部位时，患者侧推车2120可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具2117。外科部位的图像可通过医学成像装置2124获得，该医学成像装置可由患者侧推车2120操纵以定向成像装置2124。机器人集线器2122可用于处理外科部位的图像，以随后通过外科医生的控制台2118显示给外科医生。
其他类型的机器人系统可容易地适于与外科系统2102一起使用。适用于本公开的机器人系统和外科工具的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
由云2104执行的并且适用于本公开的基于云的分析的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
在各种方面，成像装置2124包括至少一个图像传感器和一个或多个光学部件。合适的图像传感器包括但不限于电荷耦接装置(CCD)传感器和互补金属氧化物半导体(CMOS)传感器。
成像装置2124的光学部件可包括一个或多个照明源和/或一个或多个透镜。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科场地反射或折射的光，包括从组织和/或外科器械反射或折射的光。
一个或多个照明源可被配置成能够辐射可见光谱中的电磁能以及不可见光谱。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(即，可被其检测)的那部分，并且可被称为可见光或简单光。典型的人眼将对空气中约380nm至约750nm的波长作出响应。
不可见光谱(即，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分(即，低于约380nm且高于约750nm的波长)。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(IR)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。
在各种方面，成像装置2124被配置用于微创手术中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。
在一个方面，成像装置采用多光谱监测来辨别形貌和底层结构。多光谱图像是捕获跨电磁波谱的特定波长范围内的图像数据的图像。可通过滤波器或通过使用对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如IR和紫外。光谱成像可允许提取人眼未能用其红色，绿色和蓝色的受体捕获的附加信息。多光谱成像的使用在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。在完成外科任务以对处理过的组织执行一个或多个先前所述测试之后，多光谱监测可以是用于重新定位外科场地的有用工具。
不言自明的是，在任何外科期间都需要对手术室和外科设备进行严格灭菌。在“外科室”(即，手术室或治疗室)中所需的严格的卫生和灭菌条件需要所有医疗装置和设备的最高可能的无菌性。该灭菌过程的一部分是需要对接触患者或穿透无菌区的任何物质进行灭菌，包括成像装置2124及其附接件和部件。应当理解，无菌区可被认为是被认为不含微生物的指定区域，诸如在托盘内或无菌毛巾内，或者无菌区可被认为是已准备用于外科规程的患者周围的区域。无菌区可包括被恰当地穿着的擦洗的团队成员，以及该区域中的所有设备和固定装置。在各种方面，可视化系统2108包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列、以及一个或多个显示器，其相对于无菌区进行策略布置，如图18中所示。在一个方面，可视化系统2108包括用于HL7、PACS和EMR的界面。可视化系统2108的各种组件在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
如图18中所示，主显示器2119被定位在无菌区中，以对在手术台2114处的操作者可见。此外，可视化塔21121被定位在无菌区之外。可视化塔21121包括彼此背离的第一非无菌显示器2107和第二非无菌显示器2109。由集线器2106引导的可视化系统2108被配置成能够利用显示器2107、2109和2119来将信息流协调到无菌区内侧和外侧的操作者。例如，集线器2106可使可视化系统2108在非无菌显示器2107或2109上显示由成像装置2124记录的外科部位的快照，同时保持外科部位在主显示器2119上的实时馈送。非无菌显示器2107或2109上的快照可允许非无菌操作者例如执行与外科手术相关的诊断步骤。
在一个方面，集线器2106被进一步配置成能够将由非无菌操作者在可视化塔21121处输入的诊断输入或反馈路由至无菌区内的主显示器2119，其中可由操作台上的无菌操作者查看。在一个示例中，输入可以是对显示在非无菌显示器2107或2109上的快照的修改形式，其可通过集线器2106路由到主显示器2119。
参见图18，外科器械2112作为外科系统2102的一部分在外科手术中使用。集线器2106还被配置成能够将信息流协调至外科器械2112的显示器，如在各种美国专利申请中所描述的那样，这些专利申请以引用方式并入本公开中。由非无菌操作者在可视化塔21121处输入的诊断输入或反馈可由集线器2106路由至无菌区内的外科器械显示器2115，其中外科器械2112的操作者可观察到该输入或反馈。适用于外科系统2102的示例性外科器械在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
图19示出了由计算机实现的交互式外科系统2200。由计算机实现的交互式外科系统2200在许多方面类似于由计算机实现的交互式外科系统2100。外科系统2200包括与可包括远程服务器2213的云2204通信的至少一个外科集线器2236。在一个方面，由计算机实现的交互式外科系统2200包括外科集线器2236，该外科集线器连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。外科集线器2236包括用于将外科集线器2236以可通信地联接到云2204和/或远程服务器2213的通信接口。如图19的示例中所示，外科集线器2236耦接到成像模块2238(该成像模块耦接到内窥镜2239)、耦接到能量装置2421的发生器模块2240、排烟器模块2226、抽吸/冲洗模块2228、通信模块2230、处理器模块2232、存储阵列2234、任选地耦接到显示器2237的智能装置/器械2235和非接触传感器模块2242。手术室装置经由外科集线器2236耦接到云计算资源和数据存储。机器人集线器2222也可连接到外科集线器2236和云计算资源。装置/器械2235、可视化系统2209等等可经由有线或无线通信标准或协议耦接到外科集线器2236，如本文所述。外科集线器2236可耦接到集线器显示器2215(例如，监测器、屏幕)以显示和叠加从成像模块、装置/器械显示器和/或其他可视化系统208接收的图像。集线器显示器还可结合图像和叠加图像来显示从连接到模块化控制塔的装置接收的数据。
态势感知
本文所述的各种可视化系统或可视化系统的各个方面可以用作态势感知系统的一部分，该态势感知系统可以由外科集线器2106、2236(图17-19)来实施或执行。特别地，对外科器械或其他外科装置(包括其位置、方向和动作)、组织、结构、用户和位于外科场地或手术室内的其他事物进行表征、识别和/或可视化可以提供情境数据，态势感知系统可以利用该情境数据来推断正在执行的外科手术或其步骤的类型、外科医生正在操作的组织和/或结构的类型等。然后，该态势感知系统可以利用该情境数据来向用户提供警报，建议用户进行后续步骤或动作，准备外科装置以供其使用(例如，在外科手术的后续步骤中使用电外科器械的预期中激活电外科发生器)，智能地控制外科器械(例如，基于每个患者的特定健康状况定制外科器械操作参数)等。
尽管包括响应于感测数据的控制算法的“智能”装置可以是对在不考虑感测数据的情况下操作的“哑巴”装置的改进，但当孤立地考虑时，即在没有正在被执行的外科规程的类型或正在手术的组织的类型的背景下，一些感测数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，控制算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制模块化装置。模块化装置可以包括可由态势感知系统控制的任何外科装置，如可视化系统装置(例如，相机或显示屏)、外科器械(例如，超声波外科器械、电外科器械或外科缝合器)以及其他外科装置(例如，排烟器)。例如，用于响应于特定的感测参数来控制外科器械的控制算法的最佳方式可根据正在手术的特定组织类型而变化。这是由于以下事实：不同的组织类型具有不同的特性(例如，抗撕裂性)，并且因此不同地响应于由外科器械采取的动作。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个特定示例，响应于器械感测到用于闭合其端部执行器的意外高的力来控制外科缝合和切割器械的最佳方式将根据组织类型是易于撕裂还是抗撕裂而变化。对于易于撕裂的组织(诸如肺部组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐下降，从而避免撕裂组织。对于抗撕裂的组织(诸如胃组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐上升，从而确保端部执行器被正确地夹持在组织上。在不知道是肺部组织还是胃组织已被夹持的情况下，控制算法可做出次优决定。
一种解决方案利用包括系统的外科集线器，该系统被配置成能够基于从各种数据源所接收的数据来导出关于正在被执行的外科规程的信息，并且然后相应地控制配对的模块化装置。换句话讲，外科集线器被配置成能够从所接收的数据推断关于外科规程的信息，并且然后基于所推断的外科规程的背景来控制与外科集线器配对的模块化装置。图20示出了根据本公开的至少一个方面的态势感知外科系统2400的图。在一些范例中，数据源2426包括例如模块化装置2402(其可包括被配置成能够检测与患者和/或模块化装置本身相关联的参数的传感器)、数据库2422(例如，包含患者记录的EMR数据库)和患者监测装置2424(例如，血压(BP)监测器和心电图(EKG)监测器)。
外科集线器2404(其可在许多方面类似于集线器106)可被配置成能够例如基于所接收的数据的特定组合或从数据源2426接收数据的特定顺序来从数据导出与外科手术有关的背景信息。从所接收的数据推断的背景信息可包括例如正在被执行的外科规程的类型、外科医生正在执行的外科规程的特定步骤、正在手术的组织的类型或为规程的对象的体腔。外科集线器2404的一些方面从所接收的数据导出或推断与外科手术有关的信息的这种能力可被称为“态势感知”。在一个范例中，外科集线器2404可并入态势感知系统，该态势感知系统是与外科集线器2404相关联的从所接收的数据导出与外科手术有关的背景信息的硬件和/或程序设计。
外科集线器2404的态势感知系统可被配置成能够以多种不同的方式从接收自数据源2426的数据导出背景信息。在一个范例中，态势感知系统包括已经在训练数据上进行训练以将各种输入(例如，来自数据库2422、患者监测装置2424和/或模块化装置2402的数据)与关于外科手术的对应背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科规程的背景信息。在另一个范例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科规程的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制模块化装置2402的对应背景信息。在一个范例中，由外科集线器2404的态势感知系统接收的背景信息与用于一个或多个模块化装置2402的特定控制调节或一组控制调节相关联。在另一个范例中，态势感知系统包括当提供背景信息作为输入时生成或检索用于一个或多个模块化装置2402的一个或多个控制调节的另外的机器学习系统、查找表或其它此类系统。
结合有态势感知系统的外科集线器2404为外科系统2400提供了许多益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科规程过程期间的处理精度和/或数据的使用。回到先前的示例，态势感知外科集线器2404可确定正在手术的组织的类型；因此，当检测到用于闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器2404可正确地使用于组织类型的外科器械的马达速度逐渐上升或逐渐下降。
作为另一个示例，正在手术的组织的类型可影响针对特定组织间隙测量值对外科缝合和切割器械的压缩率和负荷阈值进行的调节。态势感知外科集线器2404可推断正在被执行的外科手术是胸腔手术还是腹部手术，从而允许外科集线器2404确定被外科缝合和切割器械的端部执行器夹持的组织是肺部组织(对于胸腔手术)还是胃组织(对于腹部手术)。然后，外科集线器2404可针对组织的类型适当地调节外科缝合和切割器械的压缩率和负荷阈值。
作为又一个示例，在吹入规程期间被操作的体腔的类型可影响排烟器的功能。态势感知外科集线器2404可确定外科部位是否处于压力下(通过确定外科手术正在利用吹入)并确定手术类型。由于一种手术类型通常在特定的体腔内执行，外科集线器2404然后可针对在其中进行操作的体腔适当地控制排烟器的马达速率。因此，态势感知外科集线器2404可提供对于胸腔和腹部手术两者一致的烟排出量。
作为又一个示例，正在被执行的规程的类型可影响超声外科器械或射频(RF)电外科器械操作的最佳能量水平。例如，关节镜规程需要更高的能量水平，因为超声外科器械或RF电外科器械的端部执行器浸没在流体中。态势感知外科集线器2404可确定外科手术是否是关节镜手术。然后，外科集线器2404可调节发生器的RF功率水平或超声振幅(即“能量水平”)以补偿流体填充的环境。相关地，正在手术的组织的类型可影响超声外科器械或RF电外科器械操作的最佳能量水平。态势感知外科集线器2404可确定正在被执行的外科手术的类型，并且然后根据该外科手术的预期组织概况分别定制超声外科器械或RF电外科器械的能量水平。此外，态势感知外科集线器2404可被配置成能够在整个外科手术过程中而不是仅在逐个手术的基础上调节超声外科器械或RF电外科器械的能量水平。态势感知外科集线器2404可确定正在被执行或随后将要被执行的外科手术的步骤，并且然后更新用于发生器和/或超声外科器械或RF电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。
作为又一个示例，可从附加数据源2426提取数据，以改进外科集线器2404从一个数据源2426提取的结论。态势感知外科集线器2404可用已从其它数据源2426构建的关于外科手术的背景信息来扩充其从模块化装置2402接收的数据。例如，态势感知外科集线器2404可被配置成能够根据从医学成像装置所接收的视频或图像数据来确定止血是否已经发生(即，在外科部位的出血是否已经停止)。然而，在一些情况下，视频或图像数据可能是不确定的。因此，在一个范例中，外科集线器2404可被进一步配置成能够将生理测量值(例如，由可通信地连接至外科集线器2404的BP监测器感测的血压)与止血的视觉或图像数据(例如，来自可通信地耦接到外科集线器2404的医学成像装置124(图2))进行比较，以确定缝合线或组织焊缝的完整性。换句话讲，外科集线器2404的态势感知系统可考虑生理测量数据以在分析可视化数据时提供附加的背景。当可视化数据本身可能是不确定的或不完整的时，附加背景可以是有用的。
另一益处包括根据正在被执行的外科手术的特定步骤主动且自动地控制配对的模块化装置2402，以减少在外科手术过程期间医疗人员需要与外科系统2400交互或控制外科系统的次数。例如，如果态势感知外科集线器2404确定手术的后续步骤需要使用RF电外科器械，则其可主动地激活与该器械连接的发生器。主动地激活能量源允许器械在规程的先前步骤一完成就准备好使用。
作为另一个示例，态势感知外科集线器2404可根据在外科部位处外科医生预期需要查看的(一个或多个)特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。然后，外科集线器2404可相应地主动改变所显示的视图(例如，由用于可视化系统108的医学成像装置提供)，使得在整个外科手术中自动调节显示器。
作为又一个示例，态势感知外科集线器2404可确定外科手术的哪个步骤正在被执行或随后将要执行以及针对外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器2404可被配置成能够基于正在被执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生请求该特定信息。
另一个益处包括在外科规程的设置期间或在外科规程的过程期间检查错误。例如，态势感知外科集线器2404可确定手术室是否被正确地或最佳地设置以用于待执行的外科手术。外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的清单、产品位置或设置需求，并且然后将当前手术室布局与外科集线器2404确定的用于该正在被执行的外科手术类型的标准布局进行比较。在一个范例中，外科集线器2404可被配置成能够将用于手术的物品列表(例如，由合适的扫描仪扫描)和/或与外科集线器2404配对的装置列表与用于给定外科手术的物品和/或装置的建议或预期清单进行比较。外科集线器2404可被配置成能够如果列表之间存在任何不连续性，则提供指示特定模块化装置2402、患者监测装置2424和/或其它外科物品缺失的警报。在一个范例中，外科集线器2404可被配置成能够例如经由接近传感器来确定模块化装置2402和患者监测装置2424的相对距离或位置。外科集线器2404可将装置的相对位置与用于特定外科手术的建议或预期布局进行比较。外科集线器2404可被配置成能够如果在布局之间存在任何不连续性，则提供指示用于该外科手术的当前布局偏离建议布局的警报。
作为另一个示例，态势感知外科集线器2404可确定外科医生(或其它医疗人员)在外科手术过程期间是否正在出错或以其它方式偏离预期的动作过程。例如，外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在被执行的步骤或正在被使用的设备与外科集线器2404确定的针对该正在被执行的外科手术类型的预期步骤或设备进行比较。在一个范例中，外科集线器2404可被配置成能够提供指示在外科手术中的特定步骤处正在执行意外动作或正在利用意外装置的警报。
总体而言，用于外科集线器2404的态势感知系统通过针对每种外科手术的特定背景调节外科器械(和其它模块化装置2402)(诸如针对不同的组织类型进行调节)并在外科手术期间验证动作来改善外科手术结果。态势感知系统还根据手术的特定背景通过自动建议下一步骤、提供数据以及调节显示器和手术室中的其它模块化装置2402来提高外科医生执行外科手术的效率。
现在参见图21，其示出了描绘集线器诸如外科集线器106或206(图1至图11)的态势感知的时间轴2500。时间轴2500是说明性的外科手术以及外科集线器106、206可以从外科手术中每个步骤从数据源接收的数据导出的背景信息。时间轴2500描绘了护士、外科医生和其他医疗人员在肺段切除手术期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。
态势感知外科集线器106、206在整个外科手术过程中从数据源接收数据，包括每次医疗人员利用与外科集线器106、206配对的模块化装置时生成的数据。外科集线器106、206可以从配对的模块化装置和其他数据源接收该数据，并且在接收新数据时不断导出关于正在进行的手术的推论(即，背景信息)，诸如在任何给定时间执行手术的哪个步骤。外科集线器106、206的态势感知系统能够例如记录与用于生成报告的过程相关的数据，验证医务人员正在采取的步骤，提供可能与特定过程步骤相关的数据或提示(例如，经由显示屏)，基于背景调节模块化装置(例如，激活监测器，调节医学成像装置的视场(FOV)，或者改变超声外科器械或RF电外科器械的能量水平)，以及采取上述任何其他此类动作。
作为该示例性手术中的第一步2502，医院工作人员从医院的EMR数据库中检索患者的EMR。基于EMR中的选择的患者数据，外科集线器106、206确定待执行的手术是胸腔手术。
第二步2504，工作人员扫描用于手术的进入的医疗用品。外科集线器106、206与在各种类型的手术中利用的用品列表交叉引用扫描的用品，并确认供应的混合物对应于胸腔手术。另外，外科集线器106、206还能够确定手术不是楔形手术(因为进入的用品缺乏胸腔楔形手术所需的某些用品，或者在其他方面不对应于胸腔楔形手术)。
第三步2506，医疗人员经由可通信地连接到外科集线器106、206的扫描器来扫描患者带。然后，外科集线器106、206可基于所扫描的数据来确认患者的身份。
第四步2508，医务工作人员打开辅助设备。利用的辅助设备可根据外科手术的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当激活时，作为其初始化过程的一部分，作为模块化装置的辅助设备可以自动与位于模块化装置特定附近的外科集线器106、206配对。然后，外科集线器106、206可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置的类型来导出关于外科手术的背景信息。在该具体示例中，外科集线器106、206确定外科手术是基于配对模块化装置的该特定组合的VATS手术。基于来自患者的EMR的数据的组合，手术中使用的医疗用品的列表以及连接到集线器的模块化装置的类型，外科集线器106、206通常可推断外科小组将执行的具体手术。一旦外科集线器106、206知道正在执行什么具体手术，外科集线器106、206便可从存储器或云中检索该手术的步骤，然后交叉参照其随后从所连接的数据源(例如，模块化装置和患者监测装置)接收的数据，以推断外科团队正在执行的外科手术的什么步骤。
第五步2510，工作人员将EKG电极和其他患者监测装置附接到患者。EKG电极和其他患者监测装置能够与外科集线器106、206配对。当外科集线器106、206开始从患者监测装置接收数据时，外科集线器106、206因此确认患者在手术室中。
第六步2512，医疗人员诱导患者麻醉。外科集线器106、206可基于来自模块化装置和/或患者监测装置的数据(包括例如EKG数据、血压数据、呼吸机数据、或它们的组合)推断患者处于麻醉下。在第六步2512完成时，肺分段切除手术的术前部分完成，并且手术部分开始。
第七步2514，折叠正在操作的患者肺部(同时通气切换到对侧肺)。例如，外科集线器106、206可从呼吸机数据推断出患者的肺已经塌缩。外科集线器106、206可推断手术的手术部分已开始，因为其可将患者的肺部塌缩的检测与手术的预期步骤(可先前访问或检索)进行比较，从而确定使肺塌缩是该特定手术中的第一手术步骤。
第八步2516，插入医学成像装置(例如，内窥镜)，并启动来自医学成像装置的视频。外科集线器106、206通过其与医学成像装置的连接来接收医学成像装置数据(即，视频或图像数据)。在接收到医学成像装置数据之后，外科集线器106、206可确定外科手术的腹腔镜式部分已开始。另外，外科集线器106、206可确定正在执行的特定手术是分段切除术，而不是叶切除术(注意，楔形手术已经基于外科集线器106、206基于在手术的第二步2504处接收到的数据而排除)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在执行的手术类型相关的情境信息，包括通过确定医学成像装置相对于患者解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器106、206配对)，以及监测所利用的可视化装置的类型。例如，一种用于执行VATS肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行VATS分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例，一种用于执行VATS肺叶切除术的技术利用单个医学成像装置，而用于执行VATS分段切除术的另一种技术利用多个相机。作为另一个示例，一种用于执行VATS分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地耦接到外科集线器)以可视化不用于VATS肺部切除术中的分段裂隙。通过从医学成像装置跟踪这些数据中的任何或所有，外科集线器106、206因此可确定正在进行的外科手术的具体类型和/或用于特定类型的外科手术的技术。
第九步2518，外科团队开始手术的解剖步骤。外科集线器106、206可推断外科医生正在解剖以调动患者的肺，因为其从RF发生器或超声发生器接收指示正在击发能量器械的数据。外科集线器106、206可将所接收的数据与外科手术的检索步骤交叉，以确定在过程中的该点处(即，在先前讨论的手术步骤完成之后)击发的能量器械对应于解剖步骤。在某些情况下，能量器械可为安装到机器人外科系统的机器人臂的能量工具。
第十步2520，外科团队继续进行手术的结扎步骤。外科集线器106、206可推断外科医生正在结扎动脉和静脉，因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器106、206可通过将来自外科缝合和切割器械的数据的接收与该过程中的检索步骤进行交叉引用来推导该推论。在某些情况下，外科器械可以是安装到机器人外科系统的机器人臂的外科工具。
第十一步2522，执行手术的分段切除术部分。外科集线器106、206可推断外科医生正在基于来自外科缝合和切割器械的数据(包括来自其仓的数据)横切软组织。仓数据可对应于例如由器械击发的钉的大小或类型。由于不同类型的钉用于不同类型的组织，因此仓数据可指示正被缝合和/或横切的组织的类型。在这种情况下，被击发的钉的类型用于软组织(或其他类似的组织类型)，这允许外科集线器106、206推断手术的分段切除术部分正在进行。
第十二步2524中，执行节点解剖步骤。外科集线器106、206可基于从发生器接收的指示正在击发RF或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定手术，在横切软组织后利用的RF或超声器械对应于节点解剖步骤，该步骤允许外科集线器106、206进行此类推论。应当指出的是，外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(即，RF或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。此外，在某些情况下，机器人工具可用于外科手术中的一个或多个步骤，并且/或者手持式外科器械可用于外科手术中的一个或多个步骤。一个或多个外科医生可例如在机器人工具与手持式外科器械之间交替和/或可同时使用装置。在第十二步2524完成时，切口被闭合并且手术的术后部分开始。
第十三步2526，反向麻醉患者。例如，外科集线器106、206可基于例如呼吸机数据(即，患者的呼吸率开始増加)推断出患者正在从麻醉中醒来。
最后，第十四步2528是医疗人员从患者移除各种患者监测装置。因此，当集线器从患者监测装置丢失EKG、BP和其他数据时，外科集线器2106、2236可推断患者正在被转移到恢复室。如从该示例性手术的描述可以看出，外科集线器2106、2236可根据从可通信地耦接到外科集线器2106、2236的各种数据源接收的数据来确定或推断给定外科手术的每个步骤何时发生。
态势感知在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中，本公开以引用方式并入本文。在某些情况下，机器人外科系统(包括例如本文所公开的各种机器人外科系统)的操作可由集线器2106、2236基于其态势感知和/或来自其部件的反馈和/或基于来自云2104(图17)的信息来控制。
图22是根据本公开的至少一个方面的过程4000的逻辑流程图，其描绘了用于将可视化数据与器械数据相关联的控制程序或逻辑配置。过程4000通常在外科手术期间执行，并且该过程包括：从外科可视化系统接收或导出4001指示该外科器械相对于外科场地的视觉方面的第一数据集(可视化数据)；从该外科器械接收或导出4002指示该外科器械的功能方面的第二数据集(器械数据)；以及将该第一数据集与该第二数据集相关联4003。
在至少一个示例中，通过从可视化数据和器械数据开发复合数据集来实现将可视化数据与器械数据相关联。过程4000还可包括将该复合数据集与另一个复合数据集进行比较，该另一个复合数据集可从外部源接收并且/或者可从先前收集的复合数据集导出。在至少一个示例中，过程4000包括显示这两个复合数据集的比较，如下文更详细描述的。
过程4000的可视化数据可指示外科器械的端部执行器相对于外科场地中的组织的视觉方面。附加地或另选地，可视化数据可指示正由外科器械的端部执行器处理的组织的视觉方面。在至少一个示例中，可视化数据表示端部执行器或其部件相对于外科场地中的组织的一个或多个位置。附加地或另选地，可视化数据可表示端部执行器或其部件相对于外科场地中的组织的一种或多种运动。在至少一个示例中，可视化数据表示在正由外科器械的端部执行器处理的组织的形状、尺寸和/或颜色中的一种或多种变化。
在各个方面，可视化数据从外科可视化系统(例如，可视化系统100、160、500、2108)导出。可视化数据可从由外科可视化系统监测和/或捕获的各种测量结果、读数和/或任何其他合适的参数导出，如结合图1至图18更详细描述的。在各种示例中，可视化数据指示外科场地中的组织的一个或多个视觉方面和/或外科器械相对于该外科场地中的组织的一个或多个视觉方面。在某些示例中，可视化数据表示或识别外科器械的端部执行器相对于外科场地中的关键结构(例如，图1中的关键结构101)的位置和/或运动。在某些示例中，可视化数据从由表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140或距离确定逻辑部件141或逻辑部件136、138、140和141的任何组合计算的表面标测数据、成像数据、组织识别数据和/或距离数据导出。
在至少一个示例中，可视化数据从由可视化系统100结合距离传感器系统104执行的组织识别和几何表面标测导出，如结合图1更详细描述的。在至少一个示例中，可视化数据从由成像装置120捕获的测量结果、读数或任何其他传感器数据导出。如结合图1所述，成像装置120是光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置成能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。
附加地或另选地，可视化数据可从由任何合适的成像装置捕获的测量结果、读数或任何合适的传感器数据导出，该成像装置包括被配置成能够检测例如可见光、光谱光波(可见或不可见)和结构化光图案(可见或不可见)的相机或成像传感器。在至少一个示例中，可视化数据从可视化系统160导出，该可视化系统包括光学波形发射器123和被配置成能够检测反射的波形的波形传感器122，如结合图3至图4和图13至图16更详细描述的。在又一个示例中，可视化数据从包括三维(3D)相机和相关联的电子处理电路的可视化系统(诸如，可视化系统500)导出。在又一个示例中，可视化数据从结构化(或图案化)光系统700导出，该结构化光系统结合图12更详细地描述。前述示例可单独使用或组合使用以导出过程4000的可视化数据。
过程4000的器械数据可指示外科器械的一个或多个内部部件的一个或多个操作。在至少一个示例中，器械数据表示外科器械的内部部件的一个或多个操作参数。器械数据可表示外科器械的一个或多个内部部件的一个或多个位置和/或一种或多种运动。在至少一个示例中，该内部部件是被配置成能够在外科器械的击发序列期间切割组织的切割构件。附加地或另选地，该内部部件可包括被配置成能够在外科器械的击发序列期间被击发到组织中的一个或多个钉。
在至少一个示例中，器械数据表示外科器械的一种或多种驱动组件(诸如，关节运动驱动组件、闭合驱动组件、旋转驱动组件和/或击发驱动组件)的一个或多个部件的一个或多个操作。在至少一个示例中，器械数据集表示外科器械的一种或多种驱动构件(诸如，关节运动驱动构件、闭合驱动构件、旋转驱动构件和/或击发驱动构件)的一个或多个操作。
图23是与过程4000一起使用的示例性外科器械4600的示意图，该外科器械在许多方面类似于由本公开所述的其他外科器械或工具(诸如，外科器械2112)。为了简洁，本公开仅使用手持式外科器械描述过程4000的各个方面。然而，这不是限制性的。可使用机器人外科工具(诸如，外科工具2117)同样地实现过程4000的这些方面。
外科器械4600包括可被激活以执行各种功能的多个马达。外科器械4600的该多个马达可被激活以引起端部执行器中的击发运动、闭合运动和/或关节运动。这些击发运动、闭合运动和/或关节运动可通过例如轴组件被传递到外科器械4600的端部执行器。然而，在其他示例中，与过程4000一起使用的外科器械可被配置成能够手动地执行击发运动、闭合运动和关节运动中的一种或多种运动。在至少一个示例中，外科器械4600包括通过将钉部署到组织中来处理该组织的端部执行器。在另一个示例中，外科器械4600包括通过对组织施加治疗能量来处理该组织的端部执行器。
在某些情况下，外科器械4600包括击发马达4602。击发马达4602可操作地耦接到击发马达驱动组件4604，该击发马达驱动组件可被配置成能够将由击发马达4602生成的击发运动传递到端部执行器，具体地用于移动呈I形梁的形式的击发构件(例如，可包括切割构件)。在某些情况下，由击发马达4602生成的击发运动可使得例如这些钉从钉仓部署到由端部执行器捕获的组织中，并且任选地使得该I形梁的切割构件被推进以切割捕获到的组织。
在某些情况下，外科器械或工具可包括闭合马达4603。闭合马达4603可操作地耦接到闭合马达驱动组件4605，该闭合马达驱动组件被配置成能够将由闭合马达4603生成的闭合运动传递到端部执行器，具体地用于移置闭合管以闭合砧座并且压缩该砧座和该钉仓之间的组织。闭合运动可使例如端部执行器从打开配置转变成接近配置以捕获组织。
在某些情况下，外科器械或工具可包括例如一个或多个关节运动马达4606a、4606b。关节运动马达4606a、4606b可以可操作地联接到相应的关节运动马达驱动组件4608a、4608b，该关节运动马达驱动组件可被配置成能够将由关节运动马达4606a、4606b生成的关节运动传送到端部执行器。在某些情况下，关节运动可使端部执行器相对于轴进行关节运动，例如。
在某些情况下，外科器械或工具可包括控制模块4610，该控制模块可与外科器械4600的多个马达一起使用。马达4602、4603、4606a、4606b中的每个可包括扭矩传感器以测量马达的轴上的输出扭矩。可以任何常规方式感测端部执行器上的力，诸如通过钳口的外侧上的力传感器或通过用于致动钳口的马达的扭矩传感器来感测端部执行器上的力。
在各种情况下，如图23中所示，控制模块4610可包括马达驱动器4626，该马达驱动器可包括一个或多个H桥FET。马达驱动器4626可例如基于来自微控制器4620(“控制器”)的输入来调制从功率源4628传输到耦接到控制模块4610的马达的功率。在某些情况下，例如当该马达耦接到控制模块4610时，控制器4620可用于确定由该马达消耗的电流，如上所述。
在某些情况下，控制器4620可包括微处理器4622(“处理器”)和一个或多个非暂态计算机可读介质或存储器单元4624(“存储器”)。在某些情况下，存储器4624可存储各种程序指令，这些程序指令在被执行时可使处理器4622执行本文所述的多个功能和/或计算。在某些情况下，存储器单元4624中的一个或多个存储器单元可例如耦接到处理器4622。在各种情况下，处理器4622可控制马达驱动器4626以控制耦接到控制模块4610的马达的位置、旋转方向和/或速度。
在某些情况下，一个或多个机械装置和/或传感器(诸如，传感器4630)可被配置成能够检测由外科器械4600的端部执行器的钳口施加到在这些钳口之间捕获的组织的力(闭合力“FTC”)。FTC可通过闭合马达驱动组件4605传递到端部执行器的钳口。附加地或另选地，传感器4630可被配置成能够检测通过击发马达驱动组件4604施加到端部执行器的力(击发力“FTF”)。在各种示例中，传感器4630可被配置成能够感测轴或端部执行器的闭合致动(例如，马达电流和FTC)、击发致动(例如，马达电流和FTF)、关节运动(例如，端部执行器的角位置)和旋转。
过程4000的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4000的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4000的该一个或多个方面。附加地或另选地，过程4000的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4000可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
在各个方面，过程4000可通过计算机实现的交互式外科系统2100(图19)来实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4000的一个或多个方面的控制电路可以是可视化系统(例如，可视化系统100、160、500、2108)的部件，并且可与外科器械(例如，外科器械2112、4600)通信以从其接收器械数据。外科器械和可视化系统的控制电路之间的通信可以是直接通信，或者器械数据可通过例如外科集线器2106路由到可视化系统。在至少一个示例中，执行过程4000的一个或多个方面的控制电路可以是外科集线器2106的部件。
参考图24，在各种示例中，通过从可视化数据4010和器械数据4011开发复合数据集4012来将可视化数据4010与器械数据4011相关联。图24显示了曲线图4013中的当前用户的复合数据集4012，该复合数据集从当前用户的可视化数据4010和当前用户的器械数据4011开发而来。曲线图4013示出了表示外科器械4600的第一使用周期的可视化数据4010，该使用周期涉及外科器械4600的钳口定位、夹持和击发。曲线图4013还描绘了表示外科器械4600的第二使用周期的开始的可视化数据4010，其中这些钳口被重新定位用于外科器械4600的第二夹持和击发。曲线图4013以FTC数据4014(与夹持可视化数据相关联)和FTF数据4015(与击发可视化数据相关联)的形式进一步描绘了当前用户的器械数据4011。
如上所述，可视化数据4010从可视化系统(例如，可视化系统100、160、500、2108)导出，并且可表示例如在外科器械4600的端部执行器的定位、夹持和/或击发期间，外科器械4600的端部执行器和外科场地中的关键结构之间的距离。在至少一个示例中，可视化系统识别外科场地中的端部执行器或其部件，识别外科场地中的关键结构，并且跟踪端部执行器或其部件相对于关键结构或者相对于该关键结构周围的组织的位置。在至少一个示例中，可视化系统识别外科场地中的端部执行器的钳口，识别外科场地中的关键结构，并且跟踪这些钳口相对于外科场地内的关键结构或者相对于该关键结构周围的组织的位置。
在至少一个示例中，关键结构是肿瘤。为了摘除肿瘤，外科医生通常更喜欢沿肿瘤周围的安全边缘切割组织，以确保移除整个肿瘤。在此类示例中，可视化数据4010可表示在外科器械4600的定位、夹持和/或击发期间端部执行器的钳口和肿瘤的安全边缘之间的距离。
过程4000还可包括将当前用户的复合数据集4012与另一个复合数据集4012'进行比较，该另一个复合数据集可从外部源接收并且/或者可从先前收集的复合数据集导出。曲线图4013示出了当前用户的复合数据集4012和另一个复合数据集4012'之间的比较，该另一个复合数据集包括可视化数据4010'和包括FTC数据4014'和FTF数据4015'的器械数据4011'。该比较可以曲线图4013的形式或任何其他合适的形式实时呈现给外科器械4600的用户。执行过程4000的一个或多个方面的控制电路可使这两个复合数据集的比较显示在手术室内的任何合适的屏幕(诸如可视化系统的屏幕)上。在至少一个示例中，该比较可与在手术室内的任何合适的屏幕上捕获的外科场地的实时视频一起显示。在至少一个示例中，控制电路被配置成能够调整器械参数以解决在第一复合数据集和第二复合数据集之间检测到的偏差。
此外，执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可进一步使器械数据(诸如，FTF数据和/或FTC数据)的当前状态与最佳实践等同物对比地显示。在图24中所示的示例中，实时描绘FTC的当前值(由圆圈4020表示)，与具有表示最佳实践FTC的指示器4022的测量仪4021对比。同样，描绘FTF的当前值(由圆圈4023表示)，与具有表示最佳实践FTF的指示器4025的测量仪4024对比。此类信息可实时叠加到外科场地的视频馈送上。
在图24中所示的示例警示用户当前FTC高于最佳实践FTC并且当前FTF也高于最佳实践FTF。执行过程4000的一个或多个方面的控制电路可使用听觉、视觉和/或触觉的警示机制—如果FTF和/或FTC的当前值达到和/或移动超过预先确定的阈值—进一步警示外科器械4600的当前用户。
在某些情况下，执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可基于当前器械数据向外科器械4600的当前用户进一步提供投影的器械数据。例如，如图24所示，基于FTF的当前值确定投影的FTF 4015”，并且进一步将其显示在曲线图4013上，与当前FTF 4015和先前收集的FTF'对比。附加地或另选地，可与测量仪4024对比地显示投影的FTF圆圈4026，如图24所示。
在各个方面，先前收集的复合数据集和/或最佳实践FTF和/或FTC由相同外科手术和/或其他外科手术中的外科器械4600的先前使用确定，这些外科手术由用户、医院内的其他用户和/或其他医院中的用户执行。例如，可通过从云104的输入使此类数据对执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可用。
在各个方面，执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可使组织厚度、压缩度和刚度的反馈测量结果在视觉上叠加到屏幕上，当端部执行器的钳口开始使在夹持阶段期间在这些钳口间捕获的组织变形时，该屏幕显示外科场地中的外科器械4600的实时馈送。视觉叠加将表示组织变形的可视化数据与夹持力随时间的变化相关联。该相关性有助于用户确认正确的仓选择，确定开始击发的时间以及确定合适的击发速度。该相关性可进一步告知自适应夹持算法。自适应的击发速度变化可通过测得的力以及紧邻外科器械4600的钳口的组织运动变化(例如，主应变、组织滑移等)来告知，同时将传送这些结果的测量仪或计量仪覆盖在显示外科场地中的端部执行器的实时馈送的屏幕上。
除上述之外，外科器械4600的运动学还可指示器械相对于另一用途或用户的操作。该运动学可经由加速度计、扭矩传感器、力传感器、马达编码器或任何其他合适的传感器来确定，并且可产生外科器械或其部件的各种力、速度和/或加速度数据用于与对应的可视化数据相关联。
在各个方面，如果从可视化数据和/或器械数据检测到与最佳实践外科技术的偏差，则执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可使替代的外科技术呈现。在至少一个示例中，呈现了器械运动、力、组织阻抗和来自拟定的替代技术的结果的自适应显示。在可视化数据指示检测到外科场地中的血管和施夹器的情况下，执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可进一步确保血管相对于施夹器垂直。控制电路可建议改变位置、取向和/或滚转角度以实现期望的垂直。
在各个方面，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可通过将实时可视化数据与手术前计划的模拟进行比较来执行过程4000。用户可利用术前患者扫描来模拟手术方法。手术前计划的模拟可允许用户基于训练路线遵循特定的手术前计划。控制电路可被配置成能够将术前扫描/模拟的基准界标与当前可视化数据相关联。在至少一个示例中，控制电路可采用对象的边界跟踪以建立相关性。
当外科器械与组织相互作用并且使表面几何形状变形时，可计算表面几何形状的变化作为外科器械的位置的函数。对于与组织接触时外科器械的位置的给定变化，组织几何形状的对应变化可取决于通过外科器械接触到的组织区域中的表面下结构。例如，在胸腔手术中，下部具有气道结构的区域中的组织几何形状的变化与下部具有软组织结构的区域的变化不同。通常，响应于外科器械的位置的给定变化，较硬的下部结构产生表面组织几何形状的较小变化。在各个方面，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可被配置成能够计算外科器械位置的变化相对于给定患者的表面几何形状变化的运行平均值，从而给出患者特定差异。附加地或另选地，所计算的运行平均值可与第二组先前收集的数据进行比较。在某些情况下，在每次工具位置变化时测得的表面几何形状没有变化的情况下，可选择该表面为表面参照。在至少一个示例中，控制电路可被配置成能够基于响应于组织区域和外科器械之间的给定接触而检测到的表面几何形状的变化来确定下部结构的位置。
此外，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可被配置成能够基于设定的器械-组织接触和与该设定的器械-组织接触相关联的一个或多个组织-表面几何形状变化之间的相关性在组织治疗全程维持该设定的器械-组织接触。例如，外科器械4600的端部执行器可在设定器械-组织接触的期望压缩下在该端部执行器的钳口之间夹持组织。可由可视化系统检测组织-表面几何形状的对应变化。此外，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可导出指示与期望压缩相关联的组织-表面几何形状的变化的可视化数据。该控制电路可进一步使闭合马达4603(图22)的马达设定自动地调整以维持与期望压缩相关联的组织-表面几何形状的变化。该布置需要外科器械4600和可视化系统之间的连续相互作用，以通过基于可视化数据连续地调整针对组织的钳口压缩来维持与期望压缩相关联的组织-表面几何形状的变化。
在又一个示例中，在外科器械4600是附接到机器人外科系统(例如，机器人系统110)的机器人臂的机器人工具的情况下，机器人外科系统可被配置成能够基于从响应于与组织的设定表面接触的组织表面几何形状所检测到的变化导出的可视化数据，来自动地调整该机器人外科系统的一个或多个部件，以维持与组织的设定表面接触。
在各种示例中，可视化数据可与测得的器械数据结合地使用以在位置或负载控制中维持组织之间的接触，从而允许用户在相对于组织移动器械的情况下，操纵组织以向组织施加预定义的负载。用户可规定他们希望维持接触或维持压力，并且器械的视觉跟踪以及器械的内部负载可用于使得能够重新定位而不改变固定参数。
参考图25A和图25B，可视化系统(例如，可视化系统100、160、500、2108)的屏幕4601显示了在外科手术期间外科场地的实时视频馈送。例如，外科器械4600的端部执行器4642包括钳口，这些钳口夹持经由叠加的MRI图像在外科场地中识别到的肿瘤附近的组织。端部执行器4642的钳口包括砧座4643和容纳钉仓的通道。砧座4643和通道中的至少一者能够相对于另一者移动以捕获砧座4643和钉仓之间的组织。然后，经由在外科器械4600的击发序列期间能够从钉仓部署的钉4644缝合捕获到的组织。另外，经由在击发序列期间但稍微晚于钉部署从远侧推进的切割构件4645切割捕获到的组织。
如图25A中显而易见的，在击发序列期间，捕获到的组织以及端部执行器4642的某些内部部件(诸如钉4644和切割构件4645)的位置和/或运动在屏幕4601上实时馈送的正常视图4640中可能不可见。某些端部执行器包括窗口4641、4653，这些窗口允许切割构件4645的局部视图在击发序列的开始和结束时可见，但是在击发序列期间不可见。因此，外科器械4600的用户不能在屏幕4601上跟踪击发序列进展。
图26是根据本公开的至少一个方面的过程4030的逻辑流程图，其描绘了用于将端部执行器部件的虚拟表示的运动与该端部执行器部件的实际运动同步的控制程序或逻辑配置。过程4030通常在外科手术期间执行，并且包括在击发序列期间检测4031端部执行器的内部部件的运动，例如通过将内部部件的虚拟表示叠加到4032端部执行器上来呈现，以及将屏幕4601上的虚拟表示的运动与内部部件的检测到的运动同步4033。
过程4030的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4030的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4030的该一个或多个方面。附加地或另选地，过程4030的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4030可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
在各种示例中，执行过程4030的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可接收指示端部执行器4642的内部部件在其击发序列期间的运动的器械数据。例如，可使用击发马达4602的常规旋转编码器来跟踪内部部件的运动。在其他示例中，可通过采用绝对定位系统的跟踪系统来跟踪内部部件的运动。绝对定位系统的详细描述在2017年10月19日公布的标题为“SYSTEMS AND METHODS FORCONTROLLING A SURGICAL STAPLING AND CUTTING INSTRUMENT”的美国专利申请公布2017/0296213中有所描述，该专利申请全文以引用方式并入本文。在某些示例中，可使用一个或多个位置传感器来跟踪内部部件的运动，该一个或多个位置传感器可包括任何数量的磁性感测元件，例如根据它们是否测量总磁场或磁场的矢量分量而被分类的磁性传感器。
在各个方面，过程4030包括叠加触发器。在至少一个示例中，叠加触发器可检测通过端部执行器4642捕获组织。如果检测到通过端部执行器4642捕获了组织，则过程4030在起始位置处将切割构件4645的虚拟表示叠加到端部执行器4642上。过程4030还包括投影缝合线，勾勒出钉将被部署到捕获到的组织中的位置。此外，响应于用户对击发序列的激活，过程4030使切割构件4645的虚拟表示从远侧移动从而模仿端部执行器4642内的切割构件4645的实际运动。当部署钉时，过程4030将未击发的钉转换为击发的钉，从而允许用户在视觉上实时跟踪钉部署和切割构件4645的推进。
在各种示例中，例如，执行过程4030的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可从指示力的器械数据检测到通过端部执行器4642捕获了组织，该力由闭合马达4603(图22)通过闭合马达驱动组件4605施加到端部执行器4642的钳口。该控制电路可进一步从可视化数据确定外科场地内的端部执行器的位置，该可视化数据从可视化系统(例如，可视化系统100、160、500、2108)导出。在至少一个示例中，可相对于组织中的参考点(诸如，关键结构)确定该端部执行器位置。
在任何情况下，控制电路使内部部件的虚拟表示在与该端部执行器内的内部部件的位置相称的位置处叠加到屏幕4601上的端部执行器4642上。该控制电路进一步使内部部件的投影虚拟表示在击发序列期间与内部部件同步移动。在至少一个示例中，通过在端部执行器4642上整合标记来改进同步，控制电路可将这些标记用作参考点用于确定在哪里叠加虚拟表示。
图25B示出了在屏幕4601上的外科场地的实时馈送的增强视图4651。在图25B的示例的增强视图4651中，钉4644和切割构件4645的虚拟表示在击发序列期间叠加到端部执行器4642上。该叠加将击发的钉4644a与未击发的钉4644b区分开，并且将完成的切割线4646a与投影的切割线4646b区分开，该投影的切割线跟踪击发序列进展。该叠加进一步示出了切割线中的缝合线4647的开始以及该缝合线的投影末端4649，该投影末端将不会到达组织的末端。此外，基于肿瘤MRI图像的叠加，测得肿瘤与投影的切割线4646b之间的安全边缘距离“d”并且用叠加的形式呈现。叠加的安全边缘距离“d”向用户确保将移除所有肿瘤。
如图25B所示，控制电路被配置成能够使可视化系统连续地重新定位内部部件的虚拟表示以将其与该内部部件的实际运动相关联。在图25B的示例中，叠加示出了完成的切割线4646a稍微滞后于击发的缝合线4644a距离“d1”，这向用户确保击发序列正在正确地进行。
现在参考图27，可视化系统(例如，可视化系统100、160、500、2108)可采用照明工具4058和相机4059来检测和/或限定套管针位置。基于所确定的套管针位置，可基于时间效率、关键结构的位置和/或避开或风险将用户引导至最合适的套管针端口用于完成预期的功能。
图27示出了三个套管针位置(套管针1、套管针2、套管针3)，它们在相对于体壁和相对于体壁4050内侧的腔4052中的关键结构4051的不同位置处以不同取向，延伸穿过体壁4050。这些套管针由箭头4054、4055、4056表示。照明工具4058可用于通过在周围环境上使用级联光或图像来检测套管针位置。另外，照明工具4058的光源可以是能够旋转的光源。在至少一个示例中，照明工具4058的光源和相机4059用于检测套管针相对于目标位置(诸如，关键结构4051)的距离。在各种示例中，如果基于可视化数据(从记录由照明工具4058的光源投影的光的相机4059导出)确定更优选的器械位置，则可视化系统可表明器械的位置变化。屏幕4060可显示套管针和目标组织之间的距离，是否可接受工具穿过套管针接近，与使用套管针相关联的风险和/或使用套管针的预期操作时间，这些可帮助用户选择用于将外科工具引入到腔4052中的最佳套管针。
在各个方面，外科集线器(例如，外科集线器2106、2122)可基于用户特征(例如，可从用户数据库接收)推荐用于将外科工具插入到腔4052中的最佳套管针。这些用户特征包括用户优势手、患者侧用户偏好和/或用户身体特征(例如，身高、手臂长度、运动范围)。外科集线器可利用这些特征、可用套管针的位置和取向数据和/或关键结构的位置数据，以选择用于努力插入外科工具的最佳套管针以减少用户疲劳并提高效率。在各个方面，如果用户倒置端部执行器取向，则外科集线器可进一步使外科器械倒置其控件。
外科集线器可基于可视化数据重新配置外科器械的输出。例如，如果可视化数据指示外科器械正在缩回或者正在用于执行不同的任务，则外科集线器可禁止激活外科器械的治疗能量输出。
在各个方面，可视化系统可被配置成能够跟踪血液表面或基于反射的IR或红色波长估计血液容量，以从非血液表面和表面几何形状测量结果中描绘血液。这可被报告为绝对静态测量或变化率，以提供关于出血量和变化程度的定量数据。
参考图28，可视化系统(例如，可视化系统100、160、500、2108)的各种元件(诸如，结构化光投影仪706和相机720)可用于生成解剖器官的可视化数据以生成该解剖器官的虚拟3D构造4130。
如本文所述，条纹或线形式的结构化光例如可从光源和/或投射仪706被投射到目标解剖结构的表面705上，以识别表面705的形状和轮廓。在各个方面可类似于成像装置120(图1)的相机720例如可被配置成能够检测光在表面705上的投射图案。投射图案在撞击表面705时变形的方式允许视觉系统计算目标解剖结构的深度和表面信息。
图29是根据本公开的至少一个方面的过程4100的逻辑流程图，其描绘了控制程序或逻辑配置。在各种情况下，过程4100识别4101外科手术并且识别4102外科手术靶向的解剖器官。过程4100进一步生成4104解剖器官的至少一部分的虚拟3D构造4130，识别4105与外科手术相关的该解剖器官的至少一部分的解剖结构，将这些解剖结构耦接4106到虚拟3D构造4130，并且在虚拟3D构造4130上叠加4107基于这些解剖结构确定的外科手术的平面布置图。
过程4100的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4100的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4100的该一个或多个方面。附加地或另选地，过程4100的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4100的一个或多个方面可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
在各个方面，过程4100可通过计算机实现的交互式外科系统2100(图19)来实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4100的一个或多个方面的控制电路可以是可视化系统(例如，可视化系统100、160、500、2108)的部件。
执行过程4100的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可通过从存储信息的数据库中检索此类信息，或者直接从用户输入中获得该信息来识别4101外科手术并且/或者识别4102外科手术靶向的解剖器官。在至少一个示例中，该数据库存储在基于云的系统中(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。在至少一个示例中，该数据库包括医院EMR。
在一个方面，外科系统2200包括连接到多个手术室装置(诸如位于手术室中的可视化系统(例如，可视化系统100、160、500、2108))的外科集线器2236。在至少一个示例中，外科集线器2236包括用于将外科集线器2236通信地耦接到可视化系统、云2204和/或远程服务器2213的通信接口。执行过程4100的一个或多个方面的外科集线器2236的控制电路可通过从存储在云2204和/或远程服务器2213中的数据库中检索此类信息来识别4101外科手术并且/或者识别4102外科手术靶向的解剖器官。
执行过程4100的一个或多个方面的控制电路可使可视化系统(例如，可视化系统100、160、500、2108)对解剖器官的至少一部分执行初始扫描，以生成4104外科手术靶向的解剖器官的至少一部分的三维(“3D”)构造4130。在图28所示的示例中，解剖器官是胃4110。控制电路可使可视化系统的一个或多个元件(例如，结构化光投影仪706和相机720)利用结构化光4111，在将相机引入到体内时，对解剖器官的至少一部分执行扫描，从而生成可视化数据。可利用当前可视化数据、术前数据(例如，患者扫描和其他相关的临床数据)、来自对相同或其他患者执行的先前类似外科手术的可视化数据和/或用户输入来生成解剖器官的至少一部分的3D构造。
此外，执行过程4100的一个或多个方面的控制电路识别4105与外科手术相关的解剖器官的至少一部分的解剖结构。在至少一个示例中，用户可使用任何合适的输入装置来选择这些解剖结构。附加地或另选地，可视化系统可包括具有光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)的一个或多个成像装置120，这些光谱相机被配置成能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像。控制电路可利用组织的光学吸收或折射特性来区分解剖器官的不同组织类型，并且从而识别相关的解剖结构。另外，控制电路可利用当前可视化数据、术前数据(例如，患者扫描和其他相关的临床数据)、来自对相同或其他患者执行的先前类似外科手术的存储的可视化数据和/或用户输入来识别这些相关的解剖结构。
所识别的解剖结构可以是外科场地中的解剖结构和/或由用户选择的解剖结构。在各种示例中，相关解剖结构的位置跟踪可扩展到指向外科场地的相机的当前可见性视图之外。在一个示例中，这通过使用公共可见耦接的界标或通过使用辅助耦接的运动跟踪来实现。例如，可通过辅助成像源、范围运动的计算和/或通过由第二可视化系统测得的预先建立的信标来实现辅助跟踪。
如上文结合图14更详细描述的，可视化系统可利用结构化光投影仪706来投射图案或线的阵列，其中相机720可确定到目标位置的距离。然后，可视化系统可以与所确定的距离相等的设定距离发射已知尺寸的图案或线。另外，光谱相机可确定图案的尺寸，该尺寸可根据组织在目标位置处的光学吸收或折射特性而变化。已知尺寸与所确定的尺寸之间的差异指示在目标位置处的组织密度，该组织密度指示在目标位置处的组织类型。执行过程4100的一个或多个方面的控制电路可至少部分地基于在目标位置处所确定的组织密度来识别相关的解剖结构。
在至少一个示例中，组织密度中检测到的异常可与疾病状态相关联。此外，基于经由可视化数据检测到的组织密度，控制电路选择、更新或修改处理组织的外科器械的一个或多个设置。例如，控制电路可改变用于缝合和切割组织的外科缝合器的各种夹持和/或击发参数。在至少一个示例中，控制电路可基于由可视化数据检测到的组织密度减慢击发序列并且/或者允许更长的夹持时间。在各种示例中，控制电路可通过例如在屏幕上显示减小咬合尺寸、增加或减少用于电外科器械的能量递送输出以及调整钳口闭合量的这些指令来警示外科器械的用户注意异常组织密度。在另一个示例中，如果可视化数据指示组织是脂肪组织，则这些指令可增加功率以减少能量施加时间。
此外，识别外科手术类型可有利于通过控制电路识别靶器官。例如，如果该手术是左肺上叶切除术，则很有可能肺是靶器官。因此，控制电路将仅考虑与肺和/或通常用于此类手术中的工具相关的可视化数据和非可视化数据。另外，例如，更好地了解手术类型允许其他图像融合算法，这些图像融合算法告知了肿瘤位置和缝合线位置。
在各个方面，可由执行过程4100的一个或多个方面的控制电路使用外科手术台位置和/或吹入压力的知识，以建立从可视化数据识别到的靶解剖器官和/或相关的解剖结构的基线位置。外科手术台的运动(例如，将患者从平卧位移动到反向特伦德伦伯卧位(Trendelenburg position))可使解剖结构变形，可跟踪该变形并且将其与基线进行比较，以连续地告知靶器官和/或相关的解剖结构的位置和状态。同样，体腔内吹入压力的变化可干扰体腔内的靶器官和/或相关的解剖结构的基线可视化数据。
控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可执行导出在外科手术期间外科手术台上的患者的靶器官和/或相关的解剖结构的基线可视化数据，确定外科手术台位置的变化，并且重新导出在新的位置中该患者的靶器官和/或这些相关的解剖结构的基线可视化数据的过程的一个或多个方面。
同样，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可执行导出在外科手术期间外科手术台上的患者的靶器官和/或相关的解剖结构的基线可视化数据，确定患者的体腔中的吹入压力的变化，并且重新导出在新的吹入压力下该患者的靶器官和/或这些相关的解剖结构的基线可视化数据的过程的一个或多个方面。
在各种情况下，执行过程4100的一个或多个方面的控制电路可通过将界标或标志叠加到器官的虚拟3D构造上以指示解剖结构的位置，从而将识别到的解剖结构耦接到虚拟3D构造，如图28所示。该控制电路还可使用户限定的结构和组织平面叠加到虚拟3D构造上。在各个方面，可建立组织类型的层次结构以组织在虚拟3D构造上识别到的解剖结构。下面提供的表1阐述了针对肺和胃的示例性层次结构。
器官 层1 层2 层3
肺 左肺 左肺上叶 左肺上叶的部分，主血管/气道
胃 胃 胃底、胃窦、幽门 食管胃角、胃角切迹、胃大弯/胃小弯
在各个方面，在虚拟3D构造上识别到的相关解剖结构可由用户按偏好重新命名和/或重新定位以校正错误。在至少一个示例中，校正可以语音激活。在至少一个示例中，记录校正以供未来机器学习。
除了以上之外，执行过程4100的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可以在靶器官(例如，胃4110)的虚拟3D构造上叠加4107外科手术平面布置图(例如，平面布置图4120)。在至少一个示例中，虚拟3D构造显示在可视化系统的单独屏幕上，独立于显示外科场地的实时馈送/视图的屏幕。在另一个示例中，一个屏幕可交替地显示外科场地的实时馈送和3D构造。在此类示例中，用户可使用任何合适的输入装置在两个视图之间交替。
在图28所示的示例中，控制电路已确定外科手术是袖状胃切除术手术，并且靶器官是胃。在腹腔的初始扫描中，控制电路使用可视化数据(诸如，结构化光数据和/或光谱数据)识别胃、肝、脾脏、胃大弯和幽门。这通过对手术和感兴趣结构的了解来得知。
可视化数据(诸如结构化光数据和/或光谱数据)可以由控制电路利用，以通过将当前结构化光数据与先前存储的与此类器官相关联的结构化光数据进行比较来识别胃4110、肝和/或脾脏。在至少一个示例中，控制电路(例如，例如，控制电路132、400、410、420、602、622、2108、4620)可利用表示器官的特征解剖轮廓的结构化光数据和/或表示特征表面下组织特征的光谱数据来识别与外科手术平面布置图(例如，平面布置图4120)相关的解剖结构。
在至少一个示例中，可利用可视化数据来识别指示幽门4131的位置4113的幽门静脉4112，识别指示胃大弯4110的位置4115的胃网膜血管4114，识别指示角切迹4132的位置4117的胃右静脉处弯曲部4116，并且/或者识别食管胃角4121的位置4119。控制电路可以为所识别的位置中的一个或多个位置分配界标。在至少一个示例中，如图28所示，控制电路使可视化系统在如上所述使用可视化数据生成的胃4110的虚拟3D构造上的位置4113、4117、4119上叠加界标。在各个方面，界标可同步叠加到虚拟3D构造和外科场地视图上，以允许用户在视图之间切换而不会看不见界标。用户可以在显示虚拟3D构造的屏幕的视图中缩小以显示总体平面布置图，或者可放大以显示类似于外科场地视图的部分。控制电路可连续地跟踪并更新界标。
在袖状胃切除术中，外科医生通常在距幽门4cm处或附近缝合胃组织。在缝合之前，在袖状胃切除术手术开始时将能量装置引入患者的腹腔中，以解剖远离胃大弯距幽门4cm处或附近的胃网膜动脉和大网膜。如上所述，已经识别出位置4113的控制电路可自动使能量装置的端部执行器叠加在距位置4113 4cm处或附加。在距幽门4cm处或附近叠加能量装置的端部执行器，或任何合适的界标，识别袖状胃切除术的起始位置。
当外科医生沿胃大弯解剖时，控制电路使位置4113处的界标和/或能量装置的叠加端部执行器移除。当外科医生接近脾脏时，距离指示器自动叠加到虚拟3D构造视图和/或外科场地视图上。控制电路可以使距离指示器识别距脾脏2cm的距离。例如，当解剖路径到达或将要到达距脾脏2cm的位置时，控制电路可以使距离指示器闪烁和/或改变颜色。距离指示器叠加保持直到用户到达食管胃角4121处的位置4119为止。
参考图30，一旦将外科缝合器引入腹腔中，控制电路就可利用可视化数据来识别幽门4131、角切迹4132、胃4110大弯4133、胃4110小弯4134和/或与袖状胃切除术相关的其他解剖结构。也可以示出探条的叠加。控制电路可以从指示端部执行器上的视觉提示(诸如独特的颜色、标志和/或形状)的可视化数据检测体腔中外科器械的引入(例如，腹腔中外科缝合器的引入)。控制电路可以在存储此类视觉提示和对应的视觉提示的数据库中识别外科器械。另选地，控制电路可提示用户识别插入体腔中的外科器械。另选地，有利于进入体腔的外科套管针可包括一个或多个传感器，以用于检测插入其中的外科器械。在至少一个示例中，传感器包括RFID读取器，该RFID读取器被配置成能够从外科器械上的RFID芯片识别外科器械。
除了识别相关解剖结构的界标之外，可视化系统还可以在3D关键结构和/或外科场地视图上叠加手术平面布置图4135，该手术平面布置图呈推荐治疗路径的形式。在图30的示例中，外科手术是袖状胃切除术，并且手术平面布置图4135呈三条切除路径4136、4137、4138和对应的所得袖状胃体积结果的形式。
如图30所示，从幽门4131到用于制造袖状胃的起始点的距离(a、a1、a2)。每个起始点产生不同的袖状胃尺寸(例如，起始点4146距幽门4131距离为a，袖状胃尺寸为400cc；起始点4147距幽门距离为a1，袖状胃尺寸为425cc；起始点4148距幽门距离为a2，袖状胃尺寸为450cc)。在一个示例中，控制电路提示用户输入尺寸选择，并且作为响应，呈现产生所选择的袖状胃尺寸的手术平面布置图，该手术平面布置图可以呈切除路径的形式。在另一个示例中，如图30所示，控制电路呈现多个切除路径4136、4137、4138和对应的袖状胃尺寸。然后，用户可选择所拟定的切除路径4136、4137、4138中的一个切除路径，并且作为响应，控制电路移除未被选择的切除路径。
在又一个示例中，控制电路允许用户在示出了叠加到虚拟3D构造和/或外科场地上的切除路径的屏幕上对拟定的切除路径进行调整。控制电路可基于调整来计算袖状胃尺寸。另选地，在另一个示例中，允许用户在距幽门4131期望距离处选择形成袖状胃的起始点。作为响应，控制电路基于所选择的起始点计算袖状胃尺寸。
例如，可通过使可视化系统在虚拟3D构造视图和/或外科场地视图上叠加切除路径来实现呈现切除路径。相反，可通过使可视化系统从虚拟3D构造视图和/或外科场地视图移除此类切除路径的叠加来实现移除拟定的切除路径。
仍然参考图30，在某些示例中，一旦外科缝合器的端部执行器夹紧在起始点(选自拟定的起始点4146、4147、4147)与结束位置4140(在距角切迹4132预先确定的距离处)之间的胃部组织，控制电路就呈现关于夹紧和/或击发外科缝合器的信息。在至少一个示例中，如图24所示，可显示来自可视化数据4010和器械数据4011的复合数据集4012。附加地或另选地，可显示FTC和/或FTF值。例如，可实时描绘FTC的当前值(由圆圈4020表示)，与具有表示最佳实践FTC的指示器4022的测量仪4021对比。同样，可描绘FTF的当前值(由圆圈4023表示)，与具有表示最佳实践FTF的指示器4025的测量仪4024对比。
在外科缝合器击发之后，可以将用于新仓选择的推荐呈现到外科缝合器的屏幕或可视化系统的任何屏幕上，如下文更详细描述的。当外科缝合器从腹腔移除、重新装载上选择的钉仓然后重新引入腹腔中时，距离指示器—识别从沿胃4110小弯4134的多个点到所选择的切除路径的恒定距离(d)—叠加到虚拟3D构造视图和/或外科场地视图上。为了确保外科缝合器的端部执行器的正确定向，从外科缝合器的端部执行器的远端的目标到先前击发的缝合线的距离以及从近端到先前击发的缝合线的距离叠加到虚拟3D构造视图和/或外科场地视图上。重复该过程直到切除完成为止。
可基于存储的数据确定拟定的和/或由控制电路计算的距离中的一个或多个距离。在至少一个示例中，存储的数据包括术前数据、用户偏好数据和/或来自用户或其他用户先前执行的外科手术的数据。
参考图31，根据本公开的至少一个方面，过程4150描绘了用于拟定用于移除解剖器官的一部分的切除路径的控制程序或逻辑配置。过程4150识别4151外科手术靶向的解剖器官，识别4152与外科手术相关的解剖器官的解剖结构，并且拟定4153用于由外科器械移除解剖器官的一部分的外科切除路径，如本文其他地方结合过程4100更详细描述的。基于解剖结构确定外科切除路径。在至少一个示例中，外科切除路径包括不同的起始点。
过程4150的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4150的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4150的该一个或多个方面。附加地或另选地，过程4150的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4150可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
参考图32A至图32D，执行过程4100或过程4150的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可在实施期间利用动态可视化数据来实时更新或修改外科手术平面布置图。在至少一个示例中，控制电路基于来自跟踪被切除组织和周围组织的进展的可视化系统(例如，可视化系统100、160、500、2108)的一个或多个成像装置的动态可视化数据，将用于由外科器械移除器官的一部分或异常(例如，肿瘤或区域)的设定切除路径(图32B)修改到另选切除路径(图32D)。可由于关键结构(例如，血管)的位置移位进入切除路径而触发切除路径修改。例如，组织切除过程有时可导致组织炎症，该组织炎症改变组织形状和/或体积，这可导致关键结构(例如，血管)位置移位。动态可视化数据使得控制电路能够检测在设定切除路径附近的关键结构和/或相关解剖结构的位置和/或体积变化。如果位置和/或体积变化使关键结构移位到切除路径中或离切除路径的安全边缘内，则控制电路通过选择或至少推荐外科器械的另选切除路径来修改设定切除路径。
图32A示出了可视化系统的屏幕4230上的外科场地的实时视图4201。将外科器械4200引入外科场地中以移除目标区域4203。用于移除该区域的初始平面布置图4209叠加到实时视图4201上，如图32B中区域4203的扩展视图所示。区域4203被关键结构4205、4206、4207、4208包围。如图32B所示，初始平面布置图4209在距区域4203的预定义安全边缘处，围绕区域4203延伸切除路径。切除路径通过在关键结构(例如，关键结构4208)的外侧延伸或者在关键结构(例如，关键结构4206)的内侧延伸来避免穿越或穿过关键结构。如上所述，控制电路基于来自可视化系统的可视化数据来确定初始平面布置图4209。
图32C示出了在稍后时间(00:43)可视化系统的屏幕4230上的外科场地的实时视图4201'。外科器械4200的端部执行器4202沿由平面布置图4209限定的预定义切除路径切割组织。例如，由于组织炎症，包括区域4203的组织的体积变化导致关键结构4206和4208移位到预定义切除路径中。作为响应，控制电路拟定围绕关键结构4206、4208导航的另选切除路径4210，其保护关键结构4206、4208免受损伤，如图32D所示。在各种示例中，可拟定另选切除路径以优化健康组织将保留的量，并且为用户提供指导以确保用户不击中关键结构，这将使出血最小化，并且因此减少处理意外情况的手术时间和压力，同时平衡对剩余器官体积的影响。
在各个方面，执行由本公开所描述过程中的一个或多个过程的一个或多个方面的控制电路可以从可视化系统的多个成像装置接收和/或导出可视化数据。可视化数据有利于跟踪外科场地的实时视图之外的关键结构。公共界标可允许控制电路合并来自可视化系统的多个成像装置的可视化数据。在至少一个示例中，例如，可通过辅助成像源、范围运动的计算或通过由第二系统测得的预先建立的信标/界标来实现对外科场地的实时视图之外的关键结构的辅助跟踪。
通常参考图33至图35，过程4300的逻辑流程图描绘了根据本公开的至少一个方面的用于将外科器械的参数呈现或叠加到拟定的外科切除路径上或其附近的控制程序或逻辑配置。过程4300通常在外科手术期间执行，并且包括识别4301外科手术靶向的解剖器官，从来自至少一个成像装置的可视化数据识别4302与外科手术相关的解剖结构，以及拟定4303用于由外科器械移除解剖器官的一部分的外科切除路径。在至少一个示例中，基于解剖结构确定外科切除路径。过程4300还包括根据外科切除路径呈现4304外科器械的参数。附加地或另选地，过程4300还包括根据外科切除路径调整4305外科器械的参数。
过程4300的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4300的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4030的该一个或多个方面。附加地或另选地，过程4300的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4300可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
在各种示例中，执行过程4300的一个或多个方面的控制电路(例如，例如，控制电路132、400、410、420、602、622、2108、4620)可识别4301外科手术靶向的解剖器官，从来自可视化系统(例如，可视化系统100、160、500、2108)的至少一个成像装置的可视化数据识别4302与外科手术相关的解剖结构，并且/或者拟定4303用于由外科器械(例如，外科器械4600)移除解剖器官的一部分的外科切除路径，如本文其他地方结合过程4150(图31)、4100(图29)所述。此外，执行过程4300的一个或多个方面的控制电路可根据所拟定的4303外科切除路径拟定或推荐外科器械的一个或多个参数。在至少一个示例中，控制电路通过将此类参数叠加到所拟定的外科路径上或其附近来呈现4304外科器械的推荐参数，如图34和图35所示。
图34示出了根据本公开的至少一个方面的正在经历使用外科器械4600执行的袖状胃切除术的患者的胃的虚拟3D构造4130。如结合例如图28更详细描述的，可视化系统(例如，可视化系统100、160、500、2108)的各种元件，诸如结构化光投影仪706和相机720可用于生成可视化数据以创建虚拟3D构造4130。从来自可视化系统的一个或多个成像装置的可视化数据识别相关的解剖结构(例如，幽门4131、角切迹4132、食管胃角4121)。在至少一个示例中，通过将界标叠加到虚拟3D构造4130上，为给此类解剖结构的位置4113、4117、4119分配界标。
另外，基于所识别的解剖结构，拟定4303外科切除路径4312。在至少一个示例中，控制电路将外科切除路径4312叠加到虚拟3D构造4130上，如图34所示。如本文其他地方更详细描述的，可基于期望的体积输出自动对拟定的外科路径进行调整。另外，可基于由控制电路从可视化数据自动识别的关键结构和/或组织异常，自动对投影的边缘进行调整。
在各个方面，执行过程4300的至少一个方面的控制电路呈现根据所拟定的4303外科切除路径4312选择的外科器械的参数4314。在图34所示的示例中，参数4314指示在基于所拟定的4303外科切除路径执行袖状胃切除术时自动选择与外科器械4600一起使用的钉仓。在至少一个示例中，参数4314包括钉仓尺寸、钉仓颜色、钉仓类型和钉仓长度中的至少一者。在至少一个示例中，控制电路通过将此类参数叠加到所拟定的4303外科切除路径4312上或其附近来呈现4304外科器械4600的参数4314，如图34和图35所示。
在各个方面，执行过程4300的至少一个方面的控制电路沿外科切除路径4312的一个或多个部分呈现组织参数4315。在图34所示的示例中，组织参数4315是通过显示沿线A-A截取的横截面来呈现的组织厚度，其表示沿外科切除路径4312的至少一部分的组织厚度。在各个方面，可根据组织参数4315选择由外科器械4600利用的钉仓。例如，如图34所示，选择包括较大钉尺寸的黑色仓用于胃窦的较厚肌肉组织，并且选择包括较小钉尺寸的绿色仓用于主体中央肌肉组织和胃底部分。
组织参数4315包括组织厚度、组织类型和由所拟定的外科切除路径4312产生的袖状胃体积结果中的至少一者。可以从先前捕获的患者器官CT、超声和/或MRI图像并且/或者从先前已知的平均组织厚度导出组织参数4315。在至少一个示例中，外科器械4600是智能器械(类似于智能器械2112)，并且组织厚度和/或所选择的钉仓信息被传输到外科器械4600以优化闭合设置、击发设置和/或任何其他合适的外科器械设置。在一个示例中，组织厚度和/或所选择的钉仓信息可以从与可视化系统(例如，可视化系统100、160、500、2108)和外科器械4600通信的外科集线器(例如，外科集线器2106、2122)传输到外科器械4600，如结合图17至图19所描述的。
在各种示例中，执行过程4300的至少一个方面的控制电路根据沿外科切除路径4312的至少一部分确定的组织厚度拟定具有两个或更多个钉仓尺寸(例如，45mm和60mm)的布置4317。此外，如图35所示，控制电路可进一步沿所拟定的4303外科切除路径4312呈现布置4317。替代地，控制电路可以沿用户选择的外科切除路径呈现合适的布置4317。如上所述，控制电路可以沿用户选择的切除路径确定组织厚度，并且根据组织厚度拟定钉仓布置。
在各个方面，执行过程4300的一个或多个方面的控制电路可拟定外科切除路径，或优化选择的外科切除路径，以使钉仓布置4317中的钉仓数量最小化，而不会损害所得袖状胃的尺寸使其超过预先确定的阈值。减少所用仓的数量，减少了手术时间和成本，并减少了患者创伤。
仍然参考图35，布置4317包括限定外科切除路径4312的开始和结束的第一钉仓4352和最后一个钉仓4353。在仅需要拟定的钉仓布置4317的最后一个钉仓4353的一小部分的情况下，控制电路可调整外科切除路径4312以消除对最后一个钉仓4353的需要，而不会损害所得袖状胃的尺寸使其超过预先确定的阈值。
在各种示例中，执行过程4300的至少一个方面的控制电路呈现所拟定的钉仓布置4317的虚拟击发，这将虚拟3D构造4130虚拟地分成保留部分4318和移除部分4319，如图35所示。保留部分4318是将通过击发钉仓布置4317来实现所拟定的外科切除路径4312而产生的袖状胃的虚拟表示。控制电路可进一步确定保留部分4318和/或移除部分4319的估计体积。保留部分4318的体积表示所得袖状胃的体积。在至少一个示例中，从可视化数据导出保留部分4318和/或移除部分4319的体积。在另一个示例中，从存储保留体积、移除部分体积和对应的外科切除路径的数据库确定保留部分4318和/或移除部分4319的体积。数据库可以根据先前对具有相同或至少相似尺寸的、已使用相同或至少类似的切除路径进行切除的器官执行的外科手术来构建。
在各种示例中，可利用基于器官的态势感知预先确定的平均组织厚度数据(如上文更详细描述的)结合来自可视化源的体积分析和CT、MRI和/或超声辅助成像(如其可用于患者)的组合，来选择布置4317的第一钉仓。除了可视化数据之外，可使用来自先前击发的器械数据来击发布置4317中的后续钉仓，以优化击发参数。可用于补充体积测量结果的器械数据包括，例如，FTF、FTC、马达驱动击发和/或闭合消耗的电流、端部执行器闭合间隙、击发速率、跨钳口的组织阻抗测量结果和/或在使用外科器械期间的等待或暂停时间。
在各种示例中，可视化数据(例如，结构化光数据)可用于跟踪由外科器械(例如，外科器械4600)治疗的组织中的表面几何形状变化。另外，可视化数据(例如，光谱数据)可用于跟踪组织表面下方的关键结构。结构化数据和/或光谱数据可用于在组织治疗全程维持设定的器械-组织接触。
在至少一个示例中，外科器械4600的端部执行器4642可用于在其钳口之间抓握组织。一旦用户输入确认了期望的组织-器械接触，例如，端部执行器和周围组织的与期望的组织-器械接触相关联的可视化数据可用于在组织的至少一部分的治疗全程自动维持期望的组织表面接触。可通过例如对端部执行器4642的位置、定向和/或FTC参数进行细微操纵来自动维持期望的组织-表面接触。
在外科器械4600是手持式外科器械的情况下，可能以例如指令的形式向用户提供位置和/或定向操纵，这些指令可呈现在外科器械4600的显示器4625(图22)上。外科器械4600也可以在需要用户操纵来重新建立期望的组织-表面接触时发出警示。同时，可以将非用户操纵(诸如，对FTC参数和/或关节运动角度的操纵)从例如外科集线器2106或可视化系统2108传送到外科器械4600的控制器4620。然后，控制器4620可以使马达驱动器4626实现期望的操纵。在外科器械4600是联接到机器人系统2110的机器人臂的外科工具的情况下，位置和/或定向操纵可以从例如外科集线器2106或可视化系统2108传送到机器人系统2110。
主要参考图36A至图36C，示出了装载有钉仓布置4317中的第一钉仓4652的外科器械4600的击发。在第一阶段中，如图36A所示，第一界标4361和第二界标4362叠加到外科切除路径4312上。界标4361、4362间隔开距离(d1)，该距离由钉仓4652的尺寸(例如，45)限定，表示要由钉仓4652部署到外科切除路径4312上的缝合线4363的长度。执行过程4300的一个或多个方面的控制电路可采用可视化数据，如本文其他地方更详细描述的，将界标4361、4362叠加到外科切除路径4312上，并且相对于预先确定的关键结构(诸如解剖结构4364、4365、4366、4367)连续地跟踪并更新界标的位置。
在击发期间，如图36B所示，将缝合线4363的钉部署到组织中，并且将切割构件4645沿界标4361、4362之间的外科切除路径4312推进以切割组织。在各种情况下，切割构件4645的推进使正被治疗的组织拉伸和/或移位。组织拉伸和/或移位超过预先确定的阈值指示切割构件4645在正被治疗的组织中移动得太快了。
图37是过程4170的逻辑流程图，其描绘了用于调整外科器械的击发速度以解决击发期间的组织拉伸/移位的控制程序或逻辑配置。过程4170包括在外科器械的击发期间监测4171组织拉伸/移位，以及如果4172组织拉伸/移位大于或等于预先确定的阈值，则调整4173击发参数。
过程4170的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4170的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4170的该一个或多个方面。附加地或另选地，过程4170的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4170可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
在各种示例中，执行过程4170的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)使用来自可视化系统(例如，可视化系统100、160、500、2108)的可视化数据在外科器械4600的击发期间监测4171组织拉伸/移位。在图36B所示的示例中，通过在击发期间跟踪投影到组织上的结构化光网格中的失真和/或使用可视化数据跟踪表示相邻解剖结构的位置的界标4364、4365、4366、4367，来监测4171组织拉伸/移位(d)。附加地或另选地，可以通过在击发期间跟踪界标4362的位置来监测4171组织拉伸(d)。在图36B的示例中，组织拉伸/移位(d)是在击发期间界标4361、4362二者的距离(d1)与在击发期间界标4361、4362二者的距离(d2)之间的差值。在任何情况下，如果4172组织拉伸/移位(d)大于或等于预先确定的阈值，则控制电路调整4173外科器械4600的击发参数以减小组织拉伸/移位(d)。例如，控制电路可通过使控制器4620减小例如击发马达4602的电流消耗(例如，这降低了切割构件4645的推进速度)来降低击发马达驱动组件4604的速度。附加地或另选地，控制电路可以使控制器4620暂停击发马达4602持续预先确定的时间段，以减少组织拉伸/移位(d)。
击发后，如图36C所示，端部执行器4642的钳口松开，并且缝合的组织由于缝合线4363的已击发钉而收缩。图36C示出了由距离(d1)限定的投影缝合线长度和由小于距离(d1)的距离(d3)限定的实际缝合线。距离d1、d2之间的差值表示收缩/移位距离(d')。
图38是过程4180的逻辑流程图，其描绘了用于调整沿拟定的外科切除路径的拟定的钉仓布置的控制程序或逻辑配置。过程4180包括：在击发所拟定的布置的钉仓之后，沿拟定的外科切除路径监测4081缝合组织收缩/移位；以及沿所拟定的外科切除路径调整所拟定的布置的后续钉仓位置。
过程4180的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4180的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4180的该一个或多个方面。附加地或另选地，过程4180的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4180可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
在各种示例中，执行过程4180的一个或多个方面的控制电路(例如，对控制电路132、400、410、420、602、622、2108、4620)监测4181缝合组织沿拟定的切除路径4312的收缩/移位。在图36C所示的示例中，缝合线4363从钉仓布置4317的钉仓部署到界标4361、4362之间的组织中。当端部执行器4642的钳口松开时，缝合组织收缩/移位某个距离(d')。距离(d')是击发前界标4361、4362之间表示由布置4317拟定的缝合线4361的长度的距离(d1)与表示缝合线4363的实际长度的距离(d3)之间的差值。
为了避免连续缝合线之间存在间隙，控制电路沿所拟定的外科切除路径4312调整所拟定的布置4317的后续钉仓位置。例如，如图36C所示，最初拟定的缝合线4368被移除并被替换为延伸穿过或覆盖由距离(d')限定的间隙的更新的缝合线4369。在各个方面，通过在端部执行器4642的钳口松开之后跟踪投影到组织上的结构化光网格中的失真和/或使用可视化数据跟踪表示相邻解剖结构的位置的界标4364、4365、4366、4367，来监测4181组织收缩/移位(d')。附加地或另选地，可以通过跟踪界标4362的位置来监测4181组织收缩距离(d')。
在各个方面，可能期望使用来自非可视化系统的非可视化数据来证实从外科可视化系统(例如，可视化系统100、160、500、2108)导出的可视化数据，反之亦然。在一个示例中，非可视化系统可包括呼吸机，该呼吸机可被配置成能够测量患者肺部的非可视化数据，诸如容量、压力、二氧化碳分压(PCO2)、氧气分压(PO2)等。利用非可视化数据来证实可视化数据为临床医生提供了关于从可视化系统导出的可视化数据准确的更多信心。另外，利用非可视化数据来证实可视化数据允许临床医生更好地识别术后并发症，以及确定器官的整体效率，如下文将更详细描述的。该证实还可有助于肺段切除术或无裂缝复杂肺叶切除术。
在各个方面，临床医生可能需要切除患者器官的一部分以移除关键结构，诸如肿瘤和/或其他组织。在一个示例中，患者器官可以是右肺。临床医生可能需要切除患者右肺的一部分以移除不健康的组织。然而，临床医生可能不希望在外科手术期间移除患者肺的过多部分以便确保肺功能不过度受损。可基于每呼吸峰肺容量(这表示峰肺容积)来评估肺功能。在确定可以安全地移除肺部的多大部分时，临床医生受限于预先确定的峰肺容积减少量，如果超过该量，肺将失去其活力从而需要完全器官切除。
在至少一个示例中，从来自外科可视化系统(例如，可视化系统100、160、500、2108)的可视化数据估计肺表面积和/或体积。可以按峰肺容积或每呼吸峰肺容量来估计肺表面积和/或体积。在至少一个示例中，可以在整个吸入/呼出循环中的多个点处估计肺表面积和/或体积。在至少一个方面，在切除肺的一部分之前，可利用可视化数据和非可视化数据将由可视化系统确定的肺表面积和/或体积与由呼吸机确定的肺容积相关联。例如，相关性数据可用于开发肺表面积和/或体积(如从可视化数据导出的)与肺容积(如由呼吸机所确定的)之间的数学关系。该关系可用于估计可以被移除的肺部分的尺寸，同时维持峰肺容积减少量小于或等于保持肺活力所需的预先确定的阈值。
图39是根据本公开的至少一个方面的用于拟定器官部分的外科切除的过程4750的逻辑流程图。过程4750通常在外科手术期间执行。过程4750可包括基于来自外科可视化系统的可视化数据拟定4752要切除的器官的一部分，其中该部分的切除被配置成能够产生估计的器官容积减少量。过程4750还可包括确定4754在该部分的切除之前器官的非可视化参数的第一值，以及确定4756在该部分的切除之后器官的非可视化参数的第二值。另外，在某些示例中，过程4750还可包括基于非可视化参数的第一值和非可视化参数的第二值来证实4758预先确定的容积减少量。
过程4750的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4750的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4750的该一个或多个方面。附加地或另选地，过程4750的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4750的一个或多个方面可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
在各种方面，过程4750可通过计算机实现的交互式外科系统2100(图19)来实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4750的一个或多个方面的控制电路可以是可视化系统(例如，可视化系统100、160、500、2108)的部件。
图41A示出了一组患者的肺4780。在一个实施方案中，临床医生可利用成像装置4782将光的图案4785(诸如条纹、网格线和/或点)发射4784到患者右肺4786的表面上，以使得能够确定患者右肺4786的表面的形貌或格局。成像装置在各个方面可类似于成像装置120(图1)。如本文其他地方所述，可采用投影光阵列来确定由患者右肺4786的表面限定的形状，和/或患者的右肺4786在术中的运动。在一个实施方案中，成像装置4782可耦接到控制系统133的结构化光源152。在一个实施方案中，外科可视化系统诸如外科可视化系统100可利用控制电路133的表面映射逻辑部件136(在本文其他地方描述)，以确定患者右肺4786的表面的形貌或格局。
临床医生可以向外科系统诸如外科系统2100提供要执行的手术的类型，诸如右肺上叶切除术。除了提供要执行的外科手术之外，临床医生可以向外科系统提供在外科手术期间要移除的最大期望器官容积。基于从成像装置4782获得的可视化数据、要执行的外科手术的类型和要移除的最大期望容积，外科系统可拟定移除右肺的一部分4790的切除路径4788以满足所有临床医生输入。本文其他地方描述了拟定外科切除路径的其他方法。外科系统可考虑任何数量的附加参数，以便拟定切除路径4788。
在各种情况下，可能期望确保器官被切除的体积产生相对于患者器官的期望的容积减少量。为了证实被切除的体积产生期望的容积减少量，可利用来自非可视化系统的非可视化数据。在一个实施方案中，可利用呼吸机来测量患者的峰肺容积随时间的变化。
在至少一个示例中，临床医生可以在外科手术中利用外科系统2100来移除肺肿瘤。如上文结合图13A至图13E所述，控制电路可以从可视化数据识别肿瘤，并且可拟定在肿瘤周围提供安全边缘的外科切除路径，如上文结合图29至图38所述。控制电路可进一步估计峰肺容积时的肺的体积。可利用呼吸机来测量外科手术之前的峰肺容积。使用如视觉估计的肺体积与由呼吸机检测到的肺容积之间的预先确定的数学相关性，控制电路能够估计与移除肺的包括肿瘤及肿瘤周围的安全边缘的一部分相关联的峰肺容积减少量。如果估计的肺容积减少量超过预先确定的安全阈值，则控制电路可警示临床医生并且/或者拟定产生较小的肺容积减少量的不同外科切除路径。
图41C示出了测量患者的峰肺容积随时间的变化的曲线图4800。在器官该部分的切除之前(t1)，呼吸机可测量峰肺容积。在图41C中，在时间t1，在部分4790的切除之前，测得峰肺容积为6L。在上文所描述的示例中，其中要执行的外科手术是右肺上叶切除术，临床医生可能希望仅移除患者肺的产生预先确定的容积减少量的体积，使得患者的呼吸能力不受损害。在一个实施方案中，临床医生可能希望移除例如产生至多约17％患者峰肺容积减少量的部分。基于外科手术和期望的容积减少量，外科系统可拟定外科切除路径4788，该外科切除路径实现肺部分的移除的同时维持峰肺容积大于或等于未切除峰肺容积的83％。
利用呼吸机数据，如图41C所示，临床医生可监测患者峰肺容积随时间的变化，诸如在肺的部分4790的切除之前4802以及在切除之后4804。在时间t2，沿所拟定的切除路径4788切除肺的部分4790。结果，由呼吸机测得的峰肺容积下降。临床医生可利用呼吸机数据(切除前峰肺容量4802和切除后峰肺容量4804)证实，以确保肺的被切除体积产生期望的肺容积减少量。如图41C所示，在切除之后，峰肺容积已下降到5L，峰肺容积下降大约17％，这与期望的容积减少量大致相同。使用呼吸机数据，临床医生对实际容积减少量与由所拟定的外科切除路径4788实现的期望的容积减少量一致更有信心。在其他实施方案中，在非可视化数据与可视化数据之间存在差异的情况下，诸如峰肺容积下降比预期更大(切除过多的肺)或峰肺容积下降比预期更小(未切除足够多的肺)，临床医生可确定是否应采取适当的动作。
现在参考图41B，示出了在部分4790的切除之后的患者右肺4792。在部分4790的切除之后，临床医生可能无意中引起了空气泄漏4794，这导致空气泄漏到肺4794与胸壁之间的空间中，从而导致气胸4796。由于空气泄漏4794，因为右肺4792塌缩，患者每呼吸峰肺容量将随时间推移稳定地减小。可使用从可视化系统(例如，可视化系统100、160、500、2108)导出的可视化数据，通过在视觉上跟踪肺体积的变化来执行动态肺表面积/体积分析，以检测空气泄漏。可在吸入/呼出循环期间的一个或多个点处在视觉上跟踪肺体积和/或表面积，以检测指示空气泄漏4794的体积变化。在一个实施方案中，如上所述，来自成像装置4782的投影光阵列可用于监测患者右肺4786随时间推移的运动，诸如监测尺寸的减小。在另一个实施方案中，外科可视化系统可利用表面映射逻辑部件，诸如表面映射逻辑部件136，来确定患者右肺4786的表面的形貌或格局，并且监测形貌或格局随时间的变化。
在一个方面，临床医生可利用非可视化系统，诸如呼吸机，来证实由可视化系统检测到的体积减少量。再次参考图41C，如上所述，可以在肺的该部分的切除之前4802和该部分的切除之后测量患者峰肺容积，以证实期望的容积减少量与实际肺容积减少量一致。在上文所描述的示例中，在无意中发生空气泄漏的情况下，峰肺容积可以随时间推移稳定地下降4806。在一个示例中，在紧接在该部分的切除之后的时间t2，临床医生可注意到峰肺容积从6L下降到5L，这与期望的肺容积减少量大致一致。在该部分的切除之后，外科可视化系统可监测患者肺容量随时间的变化。如果外科可视化系统确定存在体积变化，则临床医生可再次(诸如在时间t3)测量峰肺容积。在时间t3，临床医生可注意到峰肺容积从5L下降到4L，这证实了从可视化系统确定的数据，该数据指示右肺4792中可能存在空气泄漏。
另外，控制电路可被配置成能够基于可视化数据和非可视化数据来测量器官效率。在一个方面，可通过将可视化数据与该部分的切除前后非可视化数据的差值进行比较来确定器官效率。在一个示例中，可视化系统可生成切除路径以引起17％峰肺容积减少量。呼吸机可被配置成能够测量该部分的切除之前和该部分的切除之后的峰肺容积。在图41C所示的示例中，峰肺容积下降大约17％(6L下降到5L)。由于实际肺容积下降(17％)对比期望的肺容积下降(17％)接近1:1，临床医生可确定肺在功能上高效。在另一个示例中，可视化系统可生成切除路径以引起17％峰肺容积减少量。然而，呼吸机可测量出大于17％，诸如25％的峰肺容积下降。在这种情况下，临床医生可确定由于切除肺的该部分导致峰肺容积下降比预期更大，因此肺在功能上效率不高。
图40示出了根据本公开的至少一个方面的用于估计由移除器官的所选择部分而引起的器官容积减少量的过程4760的逻辑流程图。过程4760在许多方面类似于过程4750。然而，与过程4750不同的是，过程4760依赖于临床医生来选择或拟定用于在外科手术期间移除器官的一部分的外科切除路径。过程4760包括接收4762来自用户的指示器官要切除的部分的输入。过程4760还包括估计4764将由于移除该部分而产生的器官容积减少量。在至少一个示例中，器官是患者的肺，并且估计的4762容积减少量是患者肺每呼吸峰肺容量减少量。可采用来自外科可视化系统(例如，可视化系统100、160、500、2108)的可视化数据来估计对应于该部分的移除的容积减少量。过程4760还可包括确定4766在该部分的切除之前器官的非可视化参数的第一值，以及确定4768在该部分的切除之后器官的非可视化参数的第二值。最后，过程4760还可包括基于非可视化参数的第一值和非可视化参数的第二值来证实4768估计的器官容积减少量。
过程4760的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4760的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4760的该一个或多个方面。附加地或另选地，过程4760的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4760的一个或多个方面可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
在各种方面，过程4760可通过计算机实现的交互式外科系统2100(图19)来实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4760的一个或多个方面的控制电路可以是可视化系统(例如，可视化系统100、160、500、2108)的部件。
在一个示例中，临床医生可以向外科可视化系统(诸如外科可视化系统2100)提供指示器官要切除的部分的输入。在一个示例中，临床医生可以在器官的虚拟3D构造上绘制切除路径，诸如在过程4100期间生成的4104虚拟3D构造。在其他情况下，可视化系统可叠加在本文其他地方更详细描述的手术平面布置图，它可以呈推荐治疗路径的形式。推荐治疗路径可基于正在执行的外科手术的类型。在一个实施方案中，推荐治疗路径可拟定不同的起始点，并且拟定临床医生可以在其间选择的不同切除路径，类似于本文其他地方描述的切除路径4146、4147、4148。可以由可视化系统确定所拟定的切除路径，使得避开某些关键结构，诸如动脉。临床医生可选择所拟定的切除路径，直到完成移除器官的该部分的期望切除路径。
在一个示例中，外科可视化系统可基于所选择的切除路径来确定估计的器官容积减少量。在沿切除路径切除预先确定的部分之后，临床医生可能希望使用非可视化数据来证实实际容积减少量与基于可视化数据估计的容积减少量相符。在一个实施方案中，可使用如上文关于器官是肺的过程4750所描述的类似程序来完成该证实。临床医生可测量肺的切除之前4802和之后4804的峰肺容积，并且比较峰肺容积的变化以确定实际峰肺容积下降。在一个示例中，外科可视化系统可基于临床医生拟定的切除路径来估计17％峰肺容积减少量。在切除之前，临床医生可注意到峰肺容积为6L(时间t1)。在切除之后，临床医生可注意到峰肺容积为5L(时间t2)，峰肺容积下降大约17％。使用这种非可视化/呼吸机数据，临床医生对实际容积减少量与估计容积减少量一致更有信心。在其他情况下，在非可视化数据与可视化数据之间存在差异的情况下，诸如峰肺容积下降比预期更大(切除过多的肺)或峰肺容积下降比预期更小(未切除足够多的肺)，临床医生可确定是否应采取适当的动作。
另外，控制电路可被配置成能够基于可视化数据和非可视化数据来测量器官效率。在一个方面，可通过将可视化数据与该部分的切除前后非可视化数据的差值进行比较来确定器官效率。在一个示例中，可视化系统可基于临床医生期望的切除路径来估计17％峰肺容积减少量。呼吸机可被配置成能够测量该部分的切除之前和该部分的切除之后的峰肺容积。在图41C所示的示例中，峰肺容积下降大约17％(6L下降到5L)。由于实际肺容积下降(17％)对比估计的肺容积下降(17％)接近1:1，临床医生可确定肺在功能上高效。在另一个示例中，可视化系统可基于临床医生期望的切除路径来估计17％峰肺容积减少量。然而，呼吸机可测量出大于17％，诸如25％的峰肺容积下降。在这种情况下，临床医生可确定由于切除肺的该部分导致峰肺容积下降比预期更大，因此肺在功能上效率不高。
如上文关于过程4750、4760所描述的，临床医生可使用非可视化数据来证实可视化数据，诸如通过使用呼吸机来测量切除肺的一部分之前和之后的峰肺容量。利用非可视化数据来证实可视化数据的另一个示例是通过二氧化碳图。
图42示出了测量患者呼出的二氧化碳分压(PCO2)随时间的变化的曲线图4810。在其他情况下，可测量患者呼出的氧气分压(PO2)随时间的变化。曲线图4810示出了在切除之前4812、紧接在切除之后4814以及切除之后一分钟4816测得的PCO2。在图42中，在切除之前4812，测得PCO2为约40mmHg(在时间t1)。在上文所描述的示例中，其中要执行的外科手术是右肺上叶切除术，可视化系统可能期望或估计17％肺容积减少量。由呼吸机测得的PCO2可用于证实这种期望的或估计的容积减少量。
利用呼吸机数据，如图42所示，临床医生可监测患者PCO2随时间的变化，诸如在肺的部分4790的切除之前4812以及紧接在切除之后4814。在时间t2，肺的部分4790已被切除，并且因此，由呼吸机测得的PCO2可下降4818。临床医生可利用呼吸机数据(切除前4812PCO2(在t1)和切除后4814PCO2(在t2))证实，以确保实际肺容积减少量与估计的或期望的肺容积减少量一致。如图42所示，紧接在部分4790的切除之后4814，PCO2下降4812，可测得大约17％PCO2下降(约33.2mmHg)。使用这种非可视化/呼吸机数据，临床医生对实际肺容积减少量与期望或估计肺容积减少量一致更有信心。
在其他情况下，临床医生可利用非可视化/PCO2数据来确定与可视化数据相比的差异。在一个示例中，紧接在部分4790的切除之后4814，在时间t2，可测得PCO2在4820处，其高于在切除之前4812测得的PCO2。PCO2的增加可能是在外科手术期间无意中阻塞支气管的结果，从而导致患者体内积聚CO2。在另一个示例中，紧接在部分4790的切除之后4814，在时间t2，可测得PCO2在4822处，其低于在切除之前4812测得的PCO2并且低于预期。PCO2的减少可能是在外科手术期间无意中阻塞血管的结果，从而导致较少的O2被递送到身体，并且因此产生较少的CO2。在任一情况下，临床医生可采取适当的动作来补救情况。
还可以在除紧接在切除之后4814之外的时间，诸如切除之后一分钟4816(诸如在时间t3)，测量PCO2的变化。在时间t3，其他身体功能(诸如肾脏)补偿由于该切除而导致PCO2的变化。在这种情况下，可测得PCO2为约40mmHg，或与在切除之前4812测得的数据大约相同。在时间t3，在切除之前4812测得的PCO2之间的差异可指示上文讨论的无意阻塞。例如，在时间t3，可测得PCO2为4824，高于切除之前4812，这指示可能发生了无意中阻塞支气管，或者可测得PCO2为4826，低于切除之前4812，这指示可能发生了无意中阻塞血管。
另外，控制电路可被配置成能够基于可视化数据和非可视化数据来测量器官效率。在一个方面，可通过将可视化数据与该部分的切除前后非可视化数据的差值进行比较来确定器官效率。在一个示例中，可视化系统可基于临床医生期望的切除路径来估计17％肺容积减少量。呼吸机可被配置成能够测量该部分的切除之前和该部分的切除之后的PCO2。在图42所示的实施方案中，紧接在切除之后4814存在大约17％PCO2下降。由于PCO2下降(17％)对比估计的肺容积减少量(17％)接近1:1，临床医生可确定肺在功能上高效。在另一个示例中，可视化系统可基于临床医生期望的切除路径来估计17％肺容积减少量。然而，呼吸机可测量出大于17％，诸如25％的PCO2下降。在这种情况下，临床医生可确定由于切除肺的该部分导致PCO2下降比预期更大，因此肺在功能上效率不高。
除了上文所描述的峰肺容量和PCO2测量结果之外，还可利用其他非可视化参数，包括血压或EKG数据。EKG数据将提供动脉变形的近似频率数据。该频率数据以及在类似频率范围内的表面几何形状变化可有助于识别关键血管结构。
如上所述，可能期望利用来自非可视化系统的非可视化数据来证实从外科可视化系统(例如，可视化系统100、160、500、2108)导出的可视化数据。在上述示例中，在器官的一部分已被切除之后，非可视化数据提供用于证实可视化数据的手段。在一些情况下，可能期望在切除器官的一部分之前，利用非可视化数据补充可视化数据。在一个示例中，非可视化数据可以与可视化数据一起使用，以有助于确定将对其进行手术的器官的特征。在一个方面，特征可以是器官组织的异常，其可能不适用于切割。非可视化数据和可视化数据可有助于告知外科可视化系统和临床医生关于在规划器官的切除路径时要避开的区域。这可有助于肺段切除术或无裂缝复杂肺叶切除术。
图43示出了根据本公开的至少一个方面的用于基于可视化数据和非可视化数据检测组织异常的过程4850的逻辑流程图。过程4850通常在外科手术期间执行。过程4850可包括接收4852器官在第一状态下时来自外科可视化系统的第一可视化数据，以及确定4854在第一状态下器官的非可视化参数的第一值。过程4850还可包括接收4856器官在第二状态下时来自外科可视化系统的第二可视化数据，以及确定4858在第二状态下器官的非可视化参数的第二值。该过程还可包括基于第一可视化数据、第二可视化数据、非可视化参数的第一值和非可视化参数的第二值来检测4860组织异常。
过程4850的一个或多个方面可由本公开所述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4850的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储一组计算机可执行指令的存储器，这些计算机可执行指令在由该处理器执行时，使该处理器执行过程4850的该一个或多个方面。附加地或另选地，过程4850的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或时序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4850的一个或多个方面可由带有任何合适的硬件和/或软件部件的任何合适的电路执行，这些部件可位于本公开所描述的各种合适的系统中或者与这些系统相关联。
在各种方面，过程4850可通过计算机实现的交互式外科系统2100(图19)来实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4850的一个或多个方面的控制电路可以是可视化系统(例如，可视化系统100、160、500、2108)的部件。
图44A示出了处于第一状态4862的患者的右肺4870。在一个示例中，第一状态4862可以是收缩状态。在另一个示例中，第一状态4862可以是塌缩状态。成像装置4872被示出为穿过患者胸壁4876中的腔4874插入。临床医生可利用成像装置4872将光的图案4882(诸如条纹、网格线和/或点)发射4880到右肺4870的表面上，以使得能够确定患者右肺4870的表面的形貌或格局。成像装置在各个方面可类似于成像装置120(图1)。如本文其他地方所述，采用投影光阵列来确定由患者右肺4870的表面限定的形状，和/或患者的右肺4870在术中的运动。在一个实施方案中，成像装置4782可耦接到控制系统133的结构化光源152。在一个实施方案中，外科可视化系统诸如外科可视化系统100可利用控制电路133的表面映射逻辑部件136(在本文其他地方描述)，以确定患者右肺4786的表面的形貌或格局。右肺4870在第一状态4862中时，呼吸机可用于测量右肺4870的参数，诸如第一状态压力(P1，或呼气末正压(PEEP))或第一状态容量(V1)。
图44B示出了处于第二状态4864的患者的右肺4870。在一个示例中，第二状态4864可以是部分膨胀状态。在另一个示例中，第二状态4864可以是完全膨胀状态。成像装置4872可被配置成能够继续将光的图案4882发射4880到肺4870的表面上，以使得能够确定在第二状态4864中患者右肺4870的表面的形貌或格局。右肺4870在第二状态4864中时，呼吸机可用于测量右肺4870的参数，诸如第二状态压力(P2)，第二状态压力大于第一状态4862压力P1，和第二状态容量(V2)，第二状态容量大于第一状态4862容量V1。
基于从外科可视化系统和成像装置4872确定的表面形貌，以及从呼吸机确定的非可视化数据(压力/容量)，外科可视化系统可被配置成能够确定右肺4870的组织异常。在一个示例中，在第一状态4862中，成像装置4872可确定右肺4870的第一状态4662形貌(在图44A中示出并且在图44C中更详细地示出)，并且呼吸机可确定第一状态压力/容量。在第二状态4864中，成像装置4872可确定右肺4870的第二状态4864形貌(在图44B中示出并且在图44D中更详细地示出)，并且呼吸机可确定第二状态压力/容量，由于肺部分或完全膨胀，第二状态压力/容量大于第一状态压力/容量。基于已知的压力/容量增加，可视化系统可被配置成能够监测根据已知的压力/容量增加引起的右肺4870的形貌变化。在一个方面，来自呼吸机的该压力/容量测量结果可以与右肺4870的表面变形相关，以识别肺内疾病区域以有助于告知缝合器放置。
在一个方面，参考图44B和图44D，其中压力已经从P1增加到P2(并且容量已经从V1增加到V2)，与第一状态4862相比，从结构化光4880确定的表面形貌已经改变。在一个示例中，光的图案4882可以是点，并且这些点随着肺尺寸增加已经彼此间隔开距离。在另一个示例中，光的图案4882可以是网格线，并且这些网格线随着肺尺寸增加已经间隔开或轮廓化。基于已知的压力增加，成像装置可确定没有根据已知的压力和容量增加而改变的区域4886。例如，在成像装置4872发射网格线和点图案4882到右肺4870的表面上的情况下(如图6A至图6D所示)，可视化系统可被配置成能够针对已知的压力/容量增加监测网格线的轮廓以及这些点相对于彼此的定位。在可视化系统注意到点的间距或网格线的定位和曲率不规则的情况下，可视化系统可确定那些区域对应于潜在组织异常诸如表面下空隙4886，或可定位关键结构(诸如肿瘤)的区域4884。在一个实施方案中，参考过程4100，其中过程4100识别4105与外科手术相关的解剖器官的至少一部分的解剖结构，过程4100可识别如上所述的异常并且将这些异常叠加到3D构造上。
在一个示例中，患者可能患有肺气肿，一种引起呼吸短促的肺部病症。在患有肺气肿的人中，肺中的肺泡(肺泡)损坏，并且随时间推移，肺泡的内壁弱化并破裂，从而产生较大的空气空间而不是许多小空间。这减少了肺用于O2/CO2交换的内表面积，因此减少了到达血流的氧气量。此外，受损的肺泡不能正常工作，并且旧空气被困住，没有空间让新鲜的富氧空气进入。肺气肿患者的肺内的空隙表示具有较小组织厚度的区域，并且因此可影响区域中的缝合结果。组织也被弱化，这导致肺泡破裂，并且不太能够保持穿过它们的钉。
当患有肺气肿的肺膨胀和收缩时，随着压力变化，与健康组织相比，具有表面下空隙的区域将具有不同程度的变形。利用上述过程4850，可检测具有表面下空隙的这些弱化组织区域以告知临床医生应避免穿过这些区域进行缝合，这样可降低术后空气泄漏的可能性。该过程4850的组织变形能力将允许检测到这些差异，从而允许外科医生在放置缝合器时得到引导。
在第二示例中，患者可能患有癌症。在手术之前，肿瘤可能已经过放射治疗，这损害了其组织以及周围组织。放射治疗改变了组织的特性，通常使其更坚硬且更不可压缩。如果外科医生需要穿过该组织进行缝合，则在选择钉重新装载类型时应考虑组织刚度的变化(例如，较硬的组织将需要成型度更高的钉)。
当肺膨胀和收缩时，与健康组织相比，具有较硬组织的区域将具有不同程度的变形，因为这些区域中的肺的顺应性较低。该过程4850的组织变形能力将允许检测到这些差异，从而允许外科医生在放置缝合器以及选择仓/重新装载颜色时得到引导。
在另一个方面，存储器(诸如存储器134)可被配置成能够存储针对已知的压力和容量的肺的表面形貌。在这种情况下，成像装置诸如成像装置4872可发射光的图案以确定在第一已知的压力或容量下患者肺的表面形貌。外科系统诸如外科系统2100可被配置成能够将已知的第一压力或容量下的第一确定的形貌与存储在存储器134中针对给定第一压力或容量的形貌进行比较。基于该比较，可视化系统可被配置成能够指示在仅单个状态下的潜在组织异常。可视化系统可注意到这些潜在异常区域，并且继续确定在第二已知的压力或容量下患者肺的表面形貌。可视化系统可以将第二确定的表面形貌与存储在存储器中针对第二给定压力或容量的形貌以及在第一已知的压力或容量下确定的形貌进行比较。如果可视化系统确定与第一确定的潜在异常区域重叠的潜在异常区域，则可视化系统可被配置成能够基于在第一已知的压力或容量下与第二已知的压力或容量下的比较来指示重叠区域为具有更大置信度的潜在异常。
除了以上之外，可以将来自呼吸机的PO2测量结果进行比较，其中膨胀肺容量诸如V2相对于收缩肺容量诸如V1。容量比较可利用EKG数据来比较吸入和呼出，这可利用血氧进行比较。这也可利用麻醉气体交换测量结果进行比较，以确定呼吸量、摄氧量以及镇静状态。此外，EKG数据可提供动脉变形的近似频率数据。该频率数据以及在类似频率范围内的表面几何形状变化可有助于识别关键血管结构。
在另一个实施方案中，可以将当前跟踪/手术信息与手术前计划的模拟进行比较。在具有挑战性或高风险的手术中，临床医生可利用术前患者扫描来模拟手术方法。该数据集可以在显示器(诸如显示器146)中与实时测量结果进行比较，以有助于使得外科医生能够基于训练路线遵循特定的手术前计划。这将需要匹配术前扫描/模拟与当前可视化之间的基准界标的能力。一种方法可简单地使用对象的边界跟踪。针对组织类型辨别关于当前装置-组织的相互作用与先前相互作用(每患者)或预期相互作用(数据库或过去患者)相比如何的见解、相对组织变形评估或子表面结构差异可存储在存储器(诸如存储器134)中。
在一个实施方案中，表面几何形状可以是工具位置的函数。在每次工具位置变化时测得的表面几何形状没有变化的情况下，可选择该表面为表面参照。当工具与组织相互作用并使表面几何形状变形时，可由外科系统计算作为工具位置的函数的表面几何形状的变化。对于工具与组织接触时工具位置的给定变化，在具有表面下结构(诸如关键结构4884)的区域中组织几何形状的变化可以不同于没有此类结构(诸如表面下空隙4886)的区域。在一个示例中，诸如胸腔手术，这可以在气道上方而不是只在软组织中。可以由外科系统针对给定患者的患者特定差异使用外科可视化系统计算工具位置变化相对于表面几何形状变化的运行平均值，或者可以将该值与第二组先前收集的数据进行比较。
示例性临床应用
本文所公开的各种外科可视化系统可用于以下临床应用中的一种或多种临床应用中。以下临床应用是用于本文所公开的各种外科可视化系统中的一个或多个外科可视化系统的非穷举性和仅例示性应用。
如本文所公开的外科可视化系统可用于多种不同类型的手术中，以用于例如不同的医学专业，诸如泌尿科、妇科、肿瘤科、结肠直肠科、胸科、肥胖科/胃科和肝胰胆管科(HPB)。例如，在泌尿手术(诸如前列腺切除术)中，例如可在脂肪中检测输尿管，或者可在脂肪中检测结缔组织和/或神经。例如，在妇科肿瘤手术(诸如例如子宫切除术)中，以及在结肠直肠手术(诸如例如低位前切除(LAR)手术)中，可在脂肪和/或结缔组织中检测到输尿管。例如，在胸部手术(诸如叶切除术)中，可在肺或结缔组织中检测到血管，并且/或者可在结缔组织中检测到神经(例如，食管造口术)。在肥胖手术中，可在脂肪中检测到血管。例如，在HPB手术(诸如肝切除术或胰切除术)中，可在脂肪(肝外)、结缔组织(肝外)中检测到血管，并且可在薄壁(肝脏或胰腺)组织中检测到胆管。
在一个示例中，临床医生可能想要摘除子宫内膜肌瘤。根据术前磁共振成像(MRI)扫描，临床医生可知道子宫内膜肌瘤位于肠的表面上。因此，临床医生可能想要在术中知道哪些组织构成肠的一部分以及哪些组织构成直肠的一部分。在此类情况下，如本文所公开的外科可视化系统可指示不同类型的组织(肠与直肠)，并且经由成像系统将该信息传达给临床医生。此外，成像系统可确定外科装置与所选组织的接近度并传送该接近度。在此类情况下，外科可视化系统可提供增加的手术效率而没有严重的并发症。
在另一个示例中，临床医生(例如，妇科医生)可保持远离某些解剖区域以避免太靠近关键结构，并且因此临床医生可能无法摘除例如所有子宫内膜异位。如本文所公开的外科可视化系统可使得妇科医生能够降低太靠近关键结构的风险，使得妇科医生可用外科装置足够靠近以摘除所有子宫内膜异位，这可改善患者结果(使外科手术大众化)。此类系统可使得外科医生能够在外科手术期间“保持移动”而不是反复停止和重新开始，以便识别要避开的区域，例如特别是在施加治疗能量诸如超声或电外科能量期间。在妇科应用中，子宫动脉和输尿管是重要的关键结构，并且考虑到所涉及组织的呈现和/或厚度，系统对于子宫切除术和子宫内膜异位手术可能特别有用。
在另一个示例中，临床医生可能有在太近的位置处解剖血管的风险，并且因此这可能影响到除了目标叶之外的叶的血液供应。此外，患者与患者之间的解剖学差异可能导致解剖基于特定患者影响不同叶的血管(例如分支)。如本文所公开的外科可视化系统可使得能够识别期望位置处的正确血管，这使得临床医生能够以适当的解剖确定性进行解剖。例如，系统可确认正确的血管在正确的位置，并且然后临床医生可安全地将血管分开。
在另一个示例中，由于血管的解剖结构的不确定性，临床医生可能会在最佳位置处进行解剖之前进行多次解剖。然而，希望在第一种情况下在最佳位置进行解剖，因为更多解剖可增加出血的风险。如本文所公开的外科可视化系统可通过指示正确的血管和用于解剖的最佳位置来最小化解剖数量。例如，输尿管和主韧带很密集，并且在解剖期间会带来独特的挑战。在此类情况下，可能特别希望最小化解剖数量。
在另一个示例中，临床医生(例如，摘除癌性组织的外科肿瘤医生)可能希望知道关键结构的识别、癌症的定位、癌症的分期和/或组织健康的评估。此类信息超出临床医生用“肉眼”所见的内容。如本文所公开的外科可视化系统可在术中确定此类信息和/或将此类信息传达给临床医生，以加强术中决策并改善外科结果。在某些情况下，外科可视化系统可与例如使用内窥镜或外镜的微创外科手术(MIS)、开放式外科手术和/或机器人方法兼容。
在另一个示例中，临床医生(例如，外科肿瘤医生)可能想要关闭关于外科工具与一个或多个关键结构的接近度的一个或多个警示，以避免在外科手术期间过于保守。在其他情况下，临床医生可能想要接收某些类型的警示诸如触觉反馈(例如，振动/蜂鸣)以指示接近度和/或“禁飞区”，从而保持充分远离一个或多个关键结构。例如，如本文所公开的外科可视化系统可基于临床医生的经验和/或手术的期望进取性来提供灵活性。在此类情况下，系统提供“知道太多”和“知道足够多”之间的平衡以预期和避开关键结构。外科可视化系统可有助于在外科手术期间规划接下来的步骤。
本文所述主题的各个方面在以下编号的实施例中陈述。
实施例1.一种用于外科手术的外科系统，所述外科系统包括：外科器械，所述外科器械包括被配置成能够在所述外科手术期间处理在外科场地处的组织的端部执行器；外科可视化系统，所述外科可视化系统被配置成能够跟踪所述外科场地中的所述外科器械；和控制电路，所述控制电路被配置成能够从所述外科可视化系统导出指示所述外科器械相对于所述外科场地的视觉方面的第一数据集，从所述外科器械导出指示所述外科器械的功能方面的第二数据集，以及将所述第一数据集与所述第二数据集相关联。
实施例2.根据实施例1所述的外科系统，其中，将所述第一数据集与所述第二数据集相关联包括从所述第一数据集和所述第二数据集开发复合数据集。
实施例3.根据实施例2所述的外科系统，其中，所述复合数据集是第一复合数据集，并且其中所述控制电路被进一步配置成能够将所述第一复合数据集与第二复合数据集进行比较。
实施例4.根据实施例3所述的外科系统，其中，从外部源接收所述第二复合数据集。
实施例5.根据实施例3所述的外科系统，其中，从先前收集的复合数据集导出所述第二复合数据集。
实施例6.根据实施例3至5中任一项所述的外科系统，其中，所述控制电路被配置成能够使所述外科可视化系统显示所述第一复合数据集与所述第二复合数据集的比较。
实施例7.根据实施例1至6中任一项所述的外科系统，其中，所述第一数据集表示所述端部执行器相对于所述外科场地中的所述组织的位置。
实施例8.根据实施例1至6中任一项所述的外科系统，其中，所述第一数据集表示所述端部执行器相对于所述外科场地中的所述组织的运动。
实施例9.根据实施例1至8中任一项所述的外科系统，其中，所述第二数据集表示所述外科器械的内部部件的操作参数。
实施例10.根据实施例9中任一项所述的外科系统，其中，所述内部部件包括切割构件。
实施例11.根据实施例9或10所述的外科系统，其中，所述控制电路被配置成能够使所述外科可视化系统显示叠加到所述端部执行器上的所述内部部件的视觉表示。
实施例12.根据实施例11所述的外科系统，其中，所述控制电路被配置成能够使所述外科可视化系统将所述内部部件的所述视觉表示的运动与所述内部部件的实际运动相关联。
实施例13.根据实施例3所述的外科系统，其中，所述控制电路被配置成能够调整器械参数以解决在所述第一复合数据集与所述第二复合数据集之间检测到的偏差。
实施例14.根据实施例13所述的外科系统，其中，调整所述器械参数以维持所述组织与所述端部执行器之间的设定接触。
实施例15.一种在外科手术中与外科器械一起使用的外科可视化系统，所述外科可视化系统包括：至少一个成像装置，所述至少一个成像装置被配置成能够监测在所述外科手术的外科场地中的所述外科器械的端部执行器；和控制电路，所述控制电路被配置成能够导出指示所述外科器械相对于由所述至少一个成像装置捕获的所述外科场地中的组织的视觉方面的第一数据集，从所述外科器械接收指示所述外科器械的功能方面的第二数据集，以及将所述第一数据集与所述第二数据集相关联。
实施例16.根据实施例15所述的外科可视化系统，其中，将所述第一数据集与所述第二数据集相关联包括从所述第一数据集和所述第二数据集开发复合数据集。
实施例17.根据实施例16所述的外科可视化系统，其中，所述复合数据集是第一复合数据集，并且其中所述控制电路被进一步配置成能够将所述第一复合数据集与第二复合数据集进行比较。
实施例18.根据实施例17所述的外科可视化系统，其中，从外部源接收所述第二复合数据集。
实施例19.根据实施例17所述的外科可视化系统，其中，从先前收集的复合数据集导出所述第二复合数据集。
实施例20.根据实施例17至19中任一项所述的外科可视化系统，其中，所述控制电路被配置成能够使所述可视化系统显示所述第一复合数据集与所述第二复合数据集的比较。
实施例21.根据实施例17至20中任一项所述的外科可视化系统，其中，所述第一数据集表示所述端部执行器相对于所述外科场地中的所述组织的位置。
尽管已举例说明和描述了多个形式，但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离本公开的范围的情况下，可实现对这些形式的许多修改、变型、改变、替换、组合和等同物，并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外，另选地，可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外，在公开了用于某些部件的材料的情况下，也可使用其他材料。因此，应当理解，上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。
上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到，本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现，并且根据本公开，设计电路系统和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外，本领域的技术人员将会认识到，本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布，并且本文所述主题的例示性形式适用，而不管用于实际进行分布的信号承载介质的具体类型是什么。
用于编程逻辑以执行各种所公开的方面的指令可存储在系统中的存储器内，诸如动态随机存取存储器(DRAM)、高速缓存、闪存存储器或其他存储器。此外，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于存储或传输以机器(例如，计算机)可读形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(CD-ROM)、和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如，载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此，非暂态计算机可读介质包括适于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。
如本文任一方面所用，术语“控制电路”可指例如硬连线电路系统、可编程电路系统(例如，计算机处理器，该计算机处理器包括一个或多个单独指令处理内核、处理单元，处理器、微控制器、微控制器单元、控制器、数字信号处理器(DSP)、可编程逻辑装置(PLD)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA))、状态机电路系统、存储由可编程电路系统执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大系统的一部分的电路系统，例如集成电路(IC)、专用集成电路(ASIC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此，如本文所用，“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如，至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机，或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如，形成随机存取存储器)的电子电路，和/或形成通信设备(如，调节解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到，可以模拟或数字方式或它们的一些组合实施本文所述的主题。
如本文的任何方面所用，术语“逻辑”可指被配置成能够执行前述操作中的任一者的应用程序、软件、固件和/或电路系统。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。
如本文任一方面所用，术语“部件”、“系统”、“模块”等可指计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。
如本文任一方面中所用，“算法”是指导致所期望结果的有条理的步骤序列，其中“步骤”是指物理量和/或逻辑状态的操纵，物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号，如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。
网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(TCP/IP)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(IEEE)于2008年12月发布的标题为“IEEE 802.3Standard”的以太网标准和/或本标准的更高版本。另选地或附加地，通信装置可能够使用X.25通信协议彼此通信。X.25通信协议可符合或兼容由国际电信联盟电信标准化部门(ITU-T)发布的标准。另选地或附加地，通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(CCITT)和/或美国国家标准学会(ANSI)发布的标准。另选地或附加地，收发器可能够使用异步传输模式(ATM)通信协议彼此通信。ATM通信协议可符合或兼容ATM论坛于2001年8月发布的名为“ATM-MPLS Network Interworking 2.0”的ATM标准和/或该标准的更高版本。当然，本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。
除非上述公开中另外明确指明，否则可以理解的是，在上述公开中，使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机系统或类似的电子计算装置的动作和进程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
一个或多个部件在本文中可被称为“被配置成能够”、“可配置成能够”、“可操作/可操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到，除非上下文另有所指，否则“被配置成能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。
术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分，术语“远侧”是指远离临床医生定位的部分。还应当理解，为简洁和清楚起见，本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而，外科器械在许多取向和方位中使用，并且这些术语并非是限制性的和/或绝对的。
本领域的技术人员将认识到，一般而言，本文、以及特别是所附权利要求(例如，所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果所引入权利要求表述的具体数目为预期的，则此类意图将在权利要求中明确表述，并且在不存在此类叙述的情况下，不存在此类意图。例如，为有助于理解，下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而，对此类短语的使用不应视为暗示通过不定冠词“一个”或“一种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中，甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时；这也适用于对用于引入权利要求表述的定冠词的使用。
另外，即使明确叙述引入权利要求叙述的特定数目，本领域的技术人员应当认识到，此种叙述通常应解释为意指至少所叙述的数目(例如，在没有其他修饰语的情况下，对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外，在其中使用类似于“A、B和C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B和C中的至少一者的系统”将包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。在其中使用类似于“A、B或C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B或C中的至少一者的系统”应当包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。本领域的技术人员还应当理解，通常，除非上下文另有指示，否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如，短语“A或B”通常将被理解为包括“A”或“B”或“A和B”的可能性。
对于所附的权利要求，本领域的技术人员将会理解，其中表述的操作通常可以任何顺序进行。另外，尽管以一个或多个序列出了各种操作流程图，但应当理解，可以不同于所示顺序的其他顺序执行各种操作，或者可同时执行所述各种操作。除非上下文另有规定，否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向，或其他改变的排序。此外，除非上下文另有规定，否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。
值得一提的是，任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此，在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外，具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。
本说明书提及和/或在任何申请数据表中列出的任何专利申请，专利，非专利公布或其他公开材料均以引用方式并入本文，只要所并入的材料在此不一致。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。
概括地说，已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的，已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用，从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。

Claims (21)

1.一种在外科手术中使用的外科系统，所述外科系统包括：
外科器械，所述外科器械包括被配置成能够在所述外科手术期间处理在外科场地处的组织的端部执行器；
外科可视化系统，所述外科可视化系统被配置成能够跟踪所述外科场地中的所述外科器械；和
控制电路，所述控制电路被配置成能够：
从所述外科可视化系统导出指示所述外科器械相对于所述外科场地的视觉方面的第一数据集；
从所述外科器械导出指示所述外科器械的功能方面的第二数据集；以及
将所述第一数据集与所述第二数据集相关联。
2.根据权利要求1所述的外科系统，其中，将所述第一数据集与所述第二数据集相关联包括从所述第一数据集和所述第二数据集开发复合数据集。
3.根据权利要求2所述的外科系统，其中，所述复合数据集是第一复合数据集，并且其中所述控制电路被进一步配置成能够将所述第一复合数据集与第二复合数据集进行比较。
4.根据权利要求3所述的外科系统，其中，从外部源接收所述第二复合数据集。
5.根据权利要求3所述的外科系统，其中，从先前收集的复合数据集导出所述第二复合数据集。
6.根据权利要求3所述的外科系统，其中，所述控制电路被配置成能够使所述外科可视化系统显示所述第一复合数据集与所述第二复合数据集的比较。
7.根据权利要求1所述的外科系统，其中，所述第一数据集表示所述端部执行器相对于所述外科场地中的所述组织的位置。
8.根据权利要求1所述的外科系统，其中所述第一数据集表示所述端部执行器相对于所述外科场地中的所述组织的运动。
9.根据权利要求1所述的外科系统，其中，所述第二数据集表示所述外科器械的内部部件的操作参数。
10.根据权利要求9所述的外科系统，其中，所述内部部件包括切割构件。
11.根据权利要求9所述的外科系统，其中，所述控制电路被配置成能够使所述外科可视化系统显示叠加到所述端部执行器上的所述内部部件的视觉表示。
12.根据权利要求11所述的外科系统，其中，所述控制电路被配置成能够使所述外科可视化系统将所述内部部件的所述视觉表示的运动与所述内部部件的实际运动相关联。
13.根据权利要求3所述的外科系统，其中，所述控制电路被配置成能够调整器械参数以解决在所述第一复合数据集与所述第二复合数据集之间检测到的偏差。
14.根据权利要求13所述的外科系统，其中，调整所述器械参数以维持所述组织与所述端部执行器之间的设定接触。
15.一种在外科手术中与外科器械一起使用的外科可视化系统，所述外科可视化系统包括：
至少一个成像装置，所述至少一个成像装置被配置成能够监测在所述外科手术的外科场地中的所述外科器械的端部执行器；和
控制电路，所述控制电路被配置成能够：
导出指示所述外科器械相对于由所述至少一个成像装置捕获的所述外科场地中的组织的视觉方面的第一数据集；
从所述外科器械接收指示所述外科器械的功能方面的第二数据集；以及
将所述第一数据集与所述第二数据集相关联。
16.根据权利要求15所述的外科可视化系统，其中，将所述第一数据集与所述第二数据集相关联包括从所述第一数据集和所述第二数据集开发复合数据集。
17.根据权利要求16所述的外科可视化系统，其中，所述复合数据集是第一复合数据集，并且其中所述控制电路被进一步配置成能够将所述第一复合数据集与第二复合数据集进行比较。
18.根据权利要求17所述的外科可视化系统，其中，从外部源接收所述第二复合数据集。
19.根据权利要求17所述的外科可视化系统，其中，从先前收集的复合数据集导出所述第二复合数据集。
20.根据权利要求17所述的外科可视化系统，其中，所述控制电路被配置成能够使所述外科可视化系统显示所述第一复合数据集与所述第二复合数据集的比较。
21.根据权利要求17所述的外科可视化系统，其中，所述第一数据集表示所述端部执行器相对于所述外科场地中的所述组织的位置。
CN202080091493.8A 2019-12-30 2020-10-28 关联可视化数据和供电外科器械数据的外科系统 Pending CN115243636A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/729,740 2019-12-30
US16/729,740 US20210196383A1 (en) 2019-12-30 2019-12-30 Surgical systems correlating visualization data and powered surgical instrument data
PCT/IB2020/060117 WO2021137001A1 (en) 2019-12-30 2020-10-28 Surgical systems correlating visualization data and powered surgical instrument data

Publications (1)

Publication Number Publication Date
CN115243636A true CN115243636A (zh) 2022-10-25

Family

ID=73172777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080091493.8A Pending CN115243636A (zh) 2019-12-30 2020-10-28 关联可视化数据和供电外科器械数据的外科系统

Country Status (6)

Country Link
US (1) US20210196383A1 (zh)
EP (1) EP3845191A1 (zh)
JP (1) JP2023508540A (zh)
CN (1) CN115243636A (zh)
BR (1) BR112022013006A2 (zh)
WO (1) WO2021137001A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129193A (zh) * 2023-02-27 2023-05-16 重庆大学附属肿瘤医院 一种类器官生长预测方法、系统及设备
CN116129193B (zh) * 2023-02-27 2024-06-11 重庆大学附属肿瘤医院 一种类器官生长预测方法、系统及设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200015924A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US20200078117A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Energy module for drivig multiple energy modalities through a port
US11696789B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Consolidated user interface for modular energy system
US11743665B2 (en) 2019-03-29 2023-08-29 Cilag Gmbh International Modular surgical energy system with module positional awareness sensing with time counter
CA3137721A1 (en) * 2019-04-22 2020-10-29 Navisect, Inc. System and method to conduct bone surgery
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US20230100698A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US11937799B2 (en) 2021-09-29 2024-03-26 Cilag Gmbh International Surgical sealing systems for instrument stabilization
US20240099805A1 (en) * 2022-09-26 2024-03-28 Medos International Sarl Method and apparatus for guiding a surgical access device

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US20080130965A1 (en) * 2004-11-23 2008-06-05 Avinash Gopal B Method and apparatus for parameter assisted image-guided surgery (PAIGS)
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
DE102012025100A1 (de) * 2012-12-20 2014-06-26 avateramedical GmBH Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie
US9274047B2 (en) 2013-05-24 2016-03-01 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects
CN106028930B (zh) 2014-02-21 2021-10-22 3D集成公司 包括手术器械的套件
JP2018507727A (ja) * 2015-03-10 2018-03-22 コヴィディエン リミテッド パートナーシップ ロボット外科手術システムのコネクタ部材の正常性の測定
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
WO2017139724A1 (en) * 2016-02-12 2017-08-17 Nanophthalmos Llc Systems and methods for posterior segment visualization and surgery
US11607239B2 (en) 2016-04-15 2023-03-21 Cilag Gmbh International Systems and methods for controlling a surgical stapling and cutting instrument
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
GB2552855B (en) * 2017-01-31 2019-02-13 Cmr Surgical Ltd Surgical instrument engagement detection
US10806532B2 (en) * 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US20190206564A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for facility data collection and interpretation
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US20190201594A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US20190201045A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for smoke evacuation for surgical hub
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11259872B2 (en) * 2018-07-25 2022-03-01 Think Surgical Inc. Intraoperative adjustment of a pre-operatively planned implant cavity to improve implant fit

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129193A (zh) * 2023-02-27 2023-05-16 重庆大学附属肿瘤医院 一种类器官生长预测方法、系统及设备
CN116129193B (zh) * 2023-02-27 2024-06-11 重庆大学附属肿瘤医院 一种类器官生长预测方法、系统及设备

Also Published As

Publication number Publication date
EP3845191A1 (en) 2021-07-07
WO2021137001A1 (en) 2021-07-08
US20210196383A1 (en) 2021-07-01
BR112022013006A2 (pt) 2022-09-06
JP2023508540A (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
US11759284B2 (en) Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
EP3845191A1 (en) Surgical systems correlating visualization data and powered surgical instrument data
US11850104B2 (en) Surgical imaging system
US11882993B2 (en) Method of using imaging devices in surgery
US11908146B2 (en) System and method for determining, adjusting, and managing resection margin about a subject tissue
EP3845139B1 (en) Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
EP3845194B1 (en) Analyzing surgical trends by a surgical system and providing user recommandations
EP4094666A1 (en) Surgical systems for proposing and corroborating organ portion removals
EP4062819A1 (en) Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
EP4066772A1 (en) System and method for determining, adjusting, and managing resection margin about a subject tissue
US20230097906A1 (en) Surgical methods using multi-source imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination