CN106999249B - 利用波段选择性成像的输尿管检测 - Google Patents

利用波段选择性成像的输尿管检测 Download PDF

Info

Publication number
CN106999249B
CN106999249B CN201580068079.4A CN201580068079A CN106999249B CN 106999249 B CN106999249 B CN 106999249B CN 201580068079 A CN201580068079 A CN 201580068079A CN 106999249 B CN106999249 B CN 106999249B
Authority
CN
China
Prior art keywords
surgical site
ureter
captured
tissue
ureteral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580068079.4A
Other languages
English (en)
Other versions
CN106999249A (zh
Inventor
J·迪卡洛
I·E·麦克道尔
J·M·松格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202011081990.8A priority Critical patent/CN112057169A/zh
Publication of CN106999249A publication Critical patent/CN106999249A/zh
Application granted granted Critical
Publication of CN106999249B publication Critical patent/CN106999249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/40—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4057—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis by using radiation sources located in the interior of the body
    • C—CHEMISTRY; METALLURGY
    • C09—DYES; PAINTS; POLISHES; NATURAL RESINS; ADHESIVES; COMPOSITIONS NOT OTHERWISE PROVIDED FOR; APPLICATIONS OF MATERIALS NOT OTHERWISE PROVIDED FOR
    • C09B—ORGANIC DYES OR CLOSELY-RELATED COMPOUNDS FOR PRODUCING DYES, e.g. PIGMENTS; MORDANTS; LAKES
    • C09B29/00—Monoazo dyes prepared by diazotising and coupling
    • C09B29/34—Monoazo dyes prepared by diazotising and coupling from other coupling components
    • C09B29/36—Monoazo dyes prepared by diazotising and coupling from other coupling components from heterocyclic compounds
    • C09B29/3604—Monoazo dyes prepared by diazotising and coupling from other coupling components from heterocyclic compounds containing only a nitrogen as heteroatom
    • C09B29/3617—Monoazo dyes prepared by diazotising and coupling from other coupling components from heterocyclic compounds containing only a nitrogen as heteroatom containing a six-membered heterocyclic with only one nitrogen as heteroatom
    • C09B29/3621—Monoazo dyes prepared by diazotising and coupling from other coupling components from heterocyclic compounds containing only a nitrogen as heteroatom containing a six-membered heterocyclic with only one nitrogen as heteroatom from a pyridine ring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Abstract

由输尿管和由输尿管周围的组织对光的选择性反射用于安全且有效地对输尿管成像。在一方面，捕获多个手术部位场景。从具有不同光谱的反射光捕获多个手术部位场景中的每一个。分析多个捕获的手术部位场景，以识别所捕获的手术部位场景中的输尿管组织。手术部位场景被显示在显示装置上。所显示的手术部位场景具有人为突出显示的输尿管组织。

Description

利用波段选择性成像的输尿管检测
本专利申请要求在2014年12月16日提交的题为“URETER DETECTION USINGWAVEBAND-SELECTIVE IMAGING(利用使用波段选择性成像的输尿管检测)”的美国临时专利申请62/092,651的申请日的优先权和利益，该专利申请通过引用整体并入本文。
技术领域
本发明大体涉及在外科手术中使用的成像技术，并且更具体地涉及在外科手术期间的输尿管检测和成像。
背景技术
输尿管为将尿液从肾脏输送至膀胱的窄管。输尿管壁中的肌肉不断收紧和放松以迫使尿液向下远离肾脏。少量的尿液在约每十到十五秒钟内从输尿管排到膀胱中。
输尿管的损伤为与涉及骨盆或结肠直肠区域的手术相关的不良事件。为防止手术期间输尿管的损伤，已尝试了若干不同的技术来帮助外科医生定位输尿管。例如，外科医生能够呼叫泌尿科医生将小镜头摄像头穿插到尿道中，以将导线放入两个输尿管中的每一者中。替代地，点亮的支架能够通过尿道插入并向上穿过膀胱，以进入输尿管。然而，这两种方法在大多数良性外科手术中对临床工作流程都是破坏性的，并且在某些情况下，泌尿科医生可能不可用。
在确定输尿管位置的另一种技术中，少量的放射性化学染料(TC99-DTPA)通过患者手臂中的静脉注射。放射性化学染料穿过身体并通过尿液排出，并因此放射性化学染料穿过输尿管。输尿管由感测放射性的手持式探针检测。
在定位输尿管的另一种技术中，IV注射或近红外(NIR)荧光团的基于导管的逆行注射被用于利用红外照明对输尿管成像。据报道，即使在嵌入周围组织时，输尿管也可以被视觉化，并且可以使用不可见光实时评估损伤。Eiichi Tanaka等人在“J.Urol”第178卷第5期第2197-2201页(2007)的“Real-Time Intraoperarive Ureteral Guidance UsingNear-Infrared Fluorescence(使用近红外荧光的实时术中输尿管引导)”描述了使用来自LI-COR(内布拉斯加州林肯市)的吲哚菁(ICG)和CW800-CA，采用羧酸形式的IRDyeTM800CWNIR染料作为NIR荧光团。Aya Matsui、M.D.等人在“Surgery”第148卷第1期第78-86页(2010)的“Real-Time Near-Infrared Fluorescence-Guided Identification of theUreters using Methylene Blue(使用亚甲基蓝对输尿管的实时近红外荧光引导鉴定)”中使用亚甲基蓝作为NIR荧光团。
定位输尿管的另一种方法使用红外热像仪。室温生理盐水用作手术区域的灌洗液，以使整个手术区域暂时冷却。由于手术区域差异性复温，诸如血管的结构迅速复温，并在红外图像的深色背景中呈白线。这个相同概念的第二个应用涉及用室温盐水填充上泌尿系统。骨盆和输尿管在较暖的背景下呈黑色，该较暖的背景在红外图像中呈白色。参见Jeffrey A.Cadeddu、M.D.等人在“Journal of Endourology”第15卷第1期第111-116页(2001)的“Laparoscopic Infrared Imaging(腹腔镜红外成像)”。
发明内容
不同于用于定位输尿管的需要引入荧光团、产生温度差、将物体引入输尿管或引入放射性染料的已知技术，由输尿管和由输尿管周围的组织对光的选择性反射被用于安全且有效地对输尿管成像。因此，内源性对比用于可视化输尿管，而无需照射/照亮导管或施用例如外源荧光团或放射性染料。
在一方面，捕获多个手术部位场景。从具有不同光谱的反射光捕获多个手术部位场景中的每一个。在一方面，大约同时捕获多个手术部位场景，即同时在与捕获场景相关联的正时和光学公差内，而在另一方面，按顺序捕获多个手术部位场景。
分析多个捕获的手术部位场景，以识别所捕获的手术部位场景中的输尿管组织。基于所捕获的手术部位场景，在显示装置上显示手术部位场景。所显示的手术部位场景突出显示输尿管组织，使得输尿管组织容易被外科医生辨明。
在一方面，用多个不同光谱照射手术部位。例如，手术部位依次用多个不同光谱中的至少两个光谱照射。在一方面，多个光谱包括波长范围在450nm至580nm的光谱，波长范围在640nm至750nm的光谱，以及波长范围在900nm至1080nm的光谱。
在一方面，识别输尿管组织的多个捕获的手术部位场景的分析首先将多个捕获的手术部位场景中的每一个中的手术部位场景中的位置变换为输尿管信号。该分析接下来确定输尿管信号是否指示该位置处的输尿管组织。例如，将输尿管信号与阈值进行比较。替代地，将输尿管信号和非输尿管信号的比率与阈值进行比较。
在又一方面，在捕获手术部位场景之前，用染料处理输尿管组织。染料不同于荧光团和放射性染料，例如染料为非那吡啶。
为执行这些方法，外科手术系统包括图像捕获系统。图像捕获系统被配置成捕获多个手术部位场景。从多个波段的不同波段的反射光捕获多个手术部位场景中的每个手术部位场景。外科手术系统也包括耦接至图像捕获系统的输尿管分析模块。该输尿管分析模块被配置成识别所捕获的手术部位场景中的输尿管组织。在一方面，外科手术系统还包括照明器。照明器被配置成用多个波段中的每个波段照射手术部位。外科手术系统的显示装置被耦接至输尿管分析模块以接收手术部位场景和识别该场景中的输尿管组织的信息。显示装置被配置成显示具有突出显示的输尿管的手术部位场景。
附图说明
图1为包括输尿管分析模块的外科手术系统的高级图。
图2为示出由输尿管组织和非输尿管组织进行不同反射的多个光波段的曲线图。
图3为图1的外科手术系统的部件的更详细的框图。
图4为显示区分输尿管信号和非输尿管信号的一种方式的曲线图。
在附图中，附图标记的第一位数字表示具有该附图标记的元件首次出现的图形。
具体实施方式
不同于用于定位输尿管的需要引入荧光团、产生温度差、将物体引入输尿管或引入放射性染料的已知技术，输尿管分析模块135使用由输尿管反射的光来定位该输尿管。由输尿管和由输尿管周围的组织对光的选择性反射用于安全且有效地对输尿管成像。因此，内源性对比用于可视化输尿管，而无需照射导管或施用例如外源荧光团或放射性染料。
图1为包括输尿管分析模块135的外科手术系统100，例如，da
Figure BDA0001321031570000043
外科手术系统的高级示意图。(da
Figure BDA0001321031570000042
为加利福尼亚州桑尼维尔的直观外科手术(IntuitiveSurgical)公司的注册商标。)在该示例中，外科医生使用在外科医生控制台114处的主控制件远程操纵内窥镜112，该内窥镜112安装在机器人操纵臂113上，该机器人操纵臂113进而安装在手推车110上。外科医生还远程操纵耦接至手推车110的一个或更多个外科手术器械。存在与da
Figure BDA0001321031570000041
外科手术系统相关联的其他部件、电缆等，但是这些未在图1中示出，以避免有损于(detract)本公开。
关于微创外科手术系统的进一步信息可在例如美国专利申请No.11/762,165(在2007年6月23日提交；公开了微创外科手术系统)、美国专利No.US 6,837,883 B2(在2001年10月5日提交；公开了用于远程机器人外科手术系统的手推车)以及美国专利No.6,331,181(在2001年12月28日提交；公开了外科手术机器人工具、数据架构和用途)中找到，所有这些专利文献均通过引用并入本文。使用远程操作的微创外科手术系统仅为说明性的，并不意图将本发明限于该特定系统。鉴于本公开，本文所述的方面能够并入机器人外科手术系统或包括实现本文所述方面必需的元件的其他外科手术系统中。
在一方面，内窥镜112为立体内窥镜，并因此包括将来自患者111体内的手术部位103的光(例如，反射光和/或荧光)传递至图像捕获系统120的两个光学通道。手术部位103包括输尿管和输尿管周围常见的组织。
由手术部位103中的组织反射的光(包括由输尿管反射的光)被捕获为手术部位场景。每个捕获的手术部位场景包括输尿管组织的图像和非输尿管组织的图像。每个捕获的手术部位场景被包含在数据帧121中。在一方面，捕获多个帧，针对照亮手术部位103的多个波段中的每个波段各一个帧。
对于立体内窥镜，手术部位场景包括两个场景，左场景和右场景。由图像捕获系统120捕获两组数据帧，左组和右组。该两组由输尿管分析模块135的输尿管检测模块136进行处理，以产生被发送至在外科医生的控制台114中的立体显示单元的左输尿管增强图像和右输尿管增强图像。左输尿管增强图像和右输尿管增强图像被包含在输尿管增强图像140中。
左输尿管增强图像和右输尿管增强图像在外科医生的控制台114(有时称为外科医生的控制台114或简称控制台114)中的立体显示单元上呈现，以产生具有突出显示的输尿管的手术部位103的三维场景。如上所述，输尿管的识别利用输尿管周围的组织的反射率与输尿管的反射率之间的差异来完成。不再需要特殊的荧光团、放射性染料、温度差或将物体插入输尿管中。相反，输尿管分析模块135被配置成使用输尿管的光谱反射率和输尿管周围的组织(非输尿管组织)的光谱反射率之间的差异来识别和显示手术部位103中的输尿管的位置。
图2示出输尿管的光谱反射率201(实线)，即输尿管光谱特征201，以及与输尿管组织靠近的非输尿管组织的光谱反射率202(虚线)，即非输尿管光谱特征202。尽管在视觉上人类非常难以检测输尿管光谱特征201与非输尿管光谱特征202之间的色差，但是如图2所示确实存在色差。
三个独立的波段，例如三个独立的光谱，在输尿管组织和非输尿管组织之间具有不同的反射率差异。三个独立的波段为450至580纳米(nm)(低波段)、640至750nm(中波段)和900至1080nm(高波段)。有时，这些波段被称为频谱。
尽管低波段(450至580nm)处于可见光谱，以及中波段(640至750nm)部分处于可见光谱(可见光谱取为400nm和700nm之间)，但是这些波段中的反射可见光不导致可由外科医生在外科医生的控制台114上显示的场景中辨明的色差。与反射率差异相关的色差更多地被看作是轻微的强度差异，并且小的强度差异在复杂的照明和三维场景结构中人眼难以检测到，这在外科医生的控制台114上显示的手术部位场景中是典型的。
中波段(640至750nm)的另一部分(700至750nm)和高波段(900至1080nm)位于电磁波谱的近红外(NIR)部分。近红外光不能被人检测到。然而，输尿管检测模块136检测所有这三个波段中的光谱反射率的差异，并因此能够识别由图像捕获系统120捕获的场景中的对应于输尿管组织的像素，以及该场景中的对应于非输尿管组织的像素。
在一方面，在场景中的对应于输尿管组织的像素被突出显示，例如假色(false-colored)，以具有通常在手术部位场景中看不到的颜色，并且所得的场景显示在外科医生的控制台114上。突出显示的输尿管允许外科医生在手术过程中容易辨明输尿管的位置。
在一方面，输尿管分析模块135配置照明系统125以至少两个不同的光谱照射包括输尿管的组织。所选的光谱基于它们在输尿管组织和非输尿管组织之间的反射率差异。如图2所示，每个光谱由输尿管周围的组织和由输尿管不同地反射。在另一方面，在图像捕获系统120中使用滤波器来捕获对应于不同光谱的帧，该不同光谱在输尿管组织和非输尿管组织之间具有反射率差异。
立体内窥镜和立体显示器的使用仅是说明性的而非限制性的。本文所述的方面能够应用于不包括立体特征(诸如单像内窥镜和/或正常显示单元)的系统。
图3为图1的外科手术系统100的一个示例的方面的更详细的说明。在外科手术系统300的实施例中，照明器310被耦接至立体内窥镜301。照明器310至少包括白光源，并且任选地可包括一个或更多个红外照明源。
照明器310与立体内窥镜301中的至少一个照明通道结合使用以照射手术部位303。替代地并且不失一般性，照明器310可被内窥镜301的远侧尖端或远侧尖端附近的照明源代替。此远侧尖端照明可例如由发光二极管(LED)或其他照明源提供。
在一个示例中，照明器310提供照亮手术部位303的白光照明。在一些实施方案中，照明器310也能够提供其他类型的照明，例如不可见光以及组成白光的可见颜色分量的子集。
来自照明器310的光被引导到照明通道316上，该照明通道316将照明器310耦接至内窥镜301中的照明通道。立体内窥镜301中的照明通道将光引导到手术部位303。照明通道能够例如用光纤束、单个刚性或柔性杆或光纤来实现。
在一方面，图像捕获单元320R、320L中的每一个包括捕获从手术部位303反射的光的图像捕获传感器321L、321R。例如，图像捕获传感器321L、321R中的每一个能够是多个CCD，每个CCD捕获不同的可见颜色分量；具有捕获特定可见颜色分量等的CCD的不同区域的单个CCD；三芯片CCD传感器；具有滤色器阵列的单个CMOS图像传感器；或三CMOS彩色图像传感器组件。
无论图像捕获传感器321R、321L中的每一个的实施方案如何，图像捕获单元320R、320L中的每一个并因此图像捕获传感器321R、321L中的每一个均捕获多个数据帧322L、322R。在一方面，多个数据帧包括用于照亮手术部位的多个波段中的每一个的帧。针对多个波段的每个波段捕获的数据帧包括手术部位场景，该手术部位场景进而包括输尿管组织和非输尿管组织。
图像捕获单元320L经由左摄像头控制单元(CCU)330L耦接至外科医生的控制台350中的立体显示单元351。图像捕捉单元320R经由右摄像头控制单元(CCU)330R耦接至外科医生的控制台350中的立体显示单元351。摄像头控制单元330L、330R从系统处理模块362接收信号，该系统处理模块362控制增益、控制捕获图像、控制传送帧往返于输尿管检测模块136等。系统处理模块362表示包括系统300中的视觉系统控制器的各种控制器。摄像头控制单元330L、330R可为单独的单元或可组合在单个双控制器单元中。此外，输尿管检测模块136能够在摄像头控制单元330L、330R中实现。
显示模式选择开关352向用户界面361提供信号，用户界面361进而将所选的显示模式传递给系统处理模块362。系统处理模块362内的各种视觉系统控制器配置照明器310以产生期望的照明、配置左摄像头控制单元330L和右摄像头控制单元330R以获取期望的数据，并配置处理所获取的帧所需的任何其他元件，使得外科医生在立体显示单元351中呈现所请求的图像。尽管在这方面，讨论了在外科医生的控制台上显示的场景，但是该场景也能够在位于手术室或其他地方中的其他监视器上显示。
如图3所示，出于描述的目的，用户界面361、系统处理模块362和输尿管分析模块135被分组为中央控制器360。中央控制器360通常也包括颜色校正模块，其将场景的颜色变换为由系统处理模块362确定的新的期望的色彩平衡。可选的图像处理模块340从中央控制器360接收信号并在外科医生的控制台350中的立体显示单元351上显示之前处理来自颜色校正模块的场景。颜色校正模块和可选的图像处理模块340等同于已知外科手术系统中的模块，并且因此不再进一步详细考虑。
下面描述与单通道中的单个视频流相关联的处理。然而，该处理被施加于被提供到外科医生的控制台350中的立体显示单元351的右侧和左侧通道两者中的视频流。此外，等同于现有技术的立体处理的立体处理关于由输尿管分析模块135处理和产生的场景进行。由于立体处理是已知的，因此不进一步详细考虑。
在正常操作中，即在手术部位的彩色图像被呈现在立体显示单元351上的情况下，图像捕获传感器321R捕获多个场景，针对外科手术系统300中的每个颜色通道各一个场景。在输尿管分析模式的另一方面，在图像捕获传感器321R中使用适当的带通滤波器，从而捕获多个场景，针对上述的低波段、中波段和高波段中的每一个各一个场景。多个带通滤波器中的每一个允许被输尿管组织和非输尿管组织不同反射的多个波段中的一个波段通过。在输尿管分析模式的这一方面，照明器310至少包括白光源和红外照明源。
在输尿管分析模式的另一方面，手术部位303同时被多个照明源312照射，其中，多个照明源中的每个提供不同的光谱。由输尿管组织和非输尿管组织不同反射不同光谱中的每个光谱。在这方面，图像捕获传感器捕获每个不同的光谱的场景，即，多个场景大约同时被捕获，即同时在关于捕获图像与外科手术系统相关联的正时和光学路径公差内。
尽管在该示例中使用了多个照明源312，但这仅是说明性的，而不是限制性的。替代地，可以使用多个滤光器318来过滤来自光源311的光，以将多种不同波段的光中的每一个提供到手术部位303。
以下配置中的每一个关于提供帧用于分析输尿管组织的位置是等同的：(1)具有被设计成允许低、中和高波段和在所有三个波段上发射能量的宽带光通过的三个滤色器的摄像头，(2)仅具有对所有三个波段和在逐次打开并由摄像头一次检测的这三个波段中的每个波段中发射能量的三个单独的窄带光敏感的一个传感器的摄像头，(3)为(1)和(2)的一些组合。
因此，无论使用何种技术，在该示例中，捕获三个帧，即多个帧。针对从输尿管组织和非输尿管组织不同反射的不同波段中的每个波段各一帧被捕获。可以仅分析三个捕获帧中的一个以识别该帧中的输尿管组织。然而，在一些情况下，来自非输尿管组织或外科手术器械和/或组织中的深度变化的镜面反射可能使输尿管组织的单一帧识别有问题。因此，在一方面，使用至少两个帧来识别所捕获的手术部位场景中的输尿管组织。
分析每个帧中或帧组合中捕获的手术部位场景中相同位置处的像素，以确定该位置处的像素是否指示输尿管组织。如果不同帧中的相同位置处的像素指示输尿管组织，则该手术部位场景中的位置被识别为输尿管组织，否则被识别为不同于输尿管组织。当分析所捕获的帧中的所有像素时，得知输尿管组织在手术部位场景中的位置。
在一方面，将在三个帧中捕获的场景进行组合并显示为灰度图像，并且输尿管组织的位置为假色，例如给定绿色，并且与灰度图像叠加以在立体显示器351上显示。
在一方面，不管如何获得从多个波段中的每个波段反射的光的多个帧，有必要将多个帧中的信息变换为该帧中的每个位置处的输尿管信号和非输尿管信号。在下面的描述中，分析多个捕获帧中的每个帧中的位置，以确定多个帧中该位置处的像素是表示输尿管信号还是表示非输尿管信号。这只是出于说明的目的，而非意在限制。实际上，在一帧或甚至整个帧中的一组位置将在一个变换中被处理，并且针对该组位置中的每个位置或帧进行输尿管信号或非输尿管信号确定。
此外，所涉及的位置为手术部位场景中的位置，而不是所捕获的帧中的绝对位置。例如，手术部位场景中的位置(x，y)可为在第一和第二波段的所捕获的帧中的位置(x，y)和第三波段的所捕获的帧中的位置(x+1，y-1)。这取决于针对三个波段捕获的帧是否彼此自动地在空间上配准。如果三个帧被捕获，使得该帧彼此在空间上配准，则三个不同帧中的位置之间的关系是固定和已知的。美国专利No.US 8,672,838B2(公布于2014年3月18日，公开了“Image Capture Unit in a Surgical Instrument(外科手术器械中的图像捕获单元)”)中呈现了捕获的帧彼此在空间上配准的图像捕获单元的示例，该专利通过引用并入本文。
如果帧没有被捕获使得帧彼此在空间上配准，则三个捕获的帧彼此在空间上配准，使得从帧中的每一个来处理手术部位场景中的相同位置。空间配准是已知的，且因此不考虑进一步的细节。例如参见Maintz和Viergever在“In Symposium of Medical ImageRegistration Methods(1996)”的“An Overview of Medical Image RegistrationMethods(医学图像配准方法的概述)”，其通过引用并入本文。另见Sotiras等人在“IEEETrans Med Imaging”第1153-1190页(2013年7月)的“Deformable Medical ImageRegistration:A Survey(可变形医学图像配准：调查)”，其通过引用并入本文。
在输尿管检测模块136的一方面，对波段信号B施加波段至输尿管信号变换C，以在手术部位场景中的每个位置处获得基于输尿管的信号D。例如，
D＝C*B
Figure BDA0001321031570000091
其中，
“Band1”、“Band2”和“Band3”为分别表示低、中、高波段的捕获的手术部位场景的波段信号；
“UB1”、“UB2”、“UB3”为将多个波段信号“Band1”、“Band2”和“Band3”转换为输尿管信号“ureter”的第一多个权重；以及
“NB1”、“NB2”、“NB3”为将多个波段信号“Band1”、“Band2”和“Band3”转换为非输尿管信号“non-ureter”的第二多个权重。
在波段信号“Band1”、“Band2”和“Band3”被变换为输尿管信号“ureter”和非输尿管信号“non-ureter”后，分析输尿管信号和非输尿管信号，以确定摄像头是否更可能在每个位置看到输尿管组织或非输尿管组织。
在一方面，执行阈值分割(thresholding)以确定摄像头是在看输尿管组织还是在看非输尿管组织。例如，确定经验阈值，使得当输尿管信号“ureter”与阈值具有预定关系时，输尿管信号“ureter”被认为来自输尿管组织。例如，通过照射来自若干不同来源的输尿管组织、如上所述捕获输尿管组织的图像并执行刚描述的变换以确定不同输尿管源中的每个输尿管源的输尿管信号“ureter”来确定经验阈值。在一方面，将最小的输尿管信号“uretersmall”视作阈值。
在另一方面，阈值分割将帧中的每个位置处的输尿管信号“ureter”除以非输尿管信号“non-ureter”，即形成两个信号的比率，并将该比率与经验阈值进行比较，例如确定输尿管信号“ureter”是某个常数还是比非输尿管信号“non-ureter”大多倍。再者，通过在上述过程中使用包含输尿管组织和非输尿管组织的若干样本以获得用于该样本的输尿管信号“ureter”和非输尿管信号“non-ureter”来确定阈值。这些信号用于确定阈值。
阈值分割消除输尿管信号“ureter”的噪声和误报。由于噪声，即使输尿管不存在，输尿管信号“ureter”也经常略高于零。使用阈值允许消除此噪声以移除误报。阈值分割还允许在向外科医生呈现输尿管组织时显示在帧中的位置之前，确定输尿管检测的置信度。如果需要高置信水平，则使用高阈值。如果显示误报是可接受的，则将阈值设置得更低。阈值的幅值将标记帧中的位置所需的输尿管信号“ureter”的电平确定为输尿管组织，并因此阈值实际上为系统具有的输尿管实际上位于该帧中的位置的置信水平。
在又一方面，输尿管信号“ureter”与非输尿管信号“non-nreter”被映射到二维空间上，并且该空间的区域很有可能正是检测到的摄像头正在观察的输尿管组织。图4为如何针对两个波段确定二维空间的示例。在图4中，沿x轴绘制中波段信号，以及沿y轴绘制高波段信号。仅出于示例的目的，将中波段视为具有700nm的波长，以及将高波段视为具有约960nm的波长。针对中波段使用图2，非输尿管信号“non-ureter”围绕虚垂直线401散布，以及输尿管信号“ureter”围绕实垂直线402散布。对于高波段，非输尿管信号“non-ureter”围绕虚水平线403散布，以及输尿管信号“ureter”围绕实水平线404散布。
因此，落在区域411内的信号为非输尿管信号“non-ureter”，而落在区域410内的信号为输尿管信号“ureter”。在实施过程中，使用两个实际波段捕获多个不同输尿管样本的图像，以及绘制使用上述变换获得的非输尿管信号“non-ureter”和输尿管信号“ureter”。定义区域410和411，并确定界定输尿管信号“ureter”的区域的线。然后在临床环境中，如果在给定位置处的输尿管信号“ureter”落在区域410内，则该位置被标记为具有输尿管组织，否则该位置被视为具有非输尿管组织。
在帧被处理并确定摄像头的视野中的区域为输尿管之后，该帧被显示给外科医生，其中，该区域与场景的其余部分不同。再次，存在多种方式显示该信息，使得输尿管与手术部位场景的其余部分不同。一种方式是在输尿管组织上包括颜色覆盖物，以提醒外科医生输尿管在那里。另一种方式是在显示器中明显改变输尿管组织的颜色(上述假色)，使得外科医生看到输尿管组织与周围组织不同。而又一种方式是在输尿管组织顶部上显示警告符号，以向外科医生发出存在输尿管的信号。在所有这些情况下，在一方面，此覆盖物或颜色变化能够由外科医生控制，即外科医生能够打开或关闭输尿管的突出显示，或增加或减少被施加以可视化输尿管的颜色偏移。
在一些方面，如上所述，不使用变换C，并且使用波段信号将阈值分割直接应用于波段空间中，以确定该位置是否为输尿管组织。在另一方面，来自施加变换C的输尿管信号被直接用于显示输尿管的存在或不存在。
能够以多种方式确定波段至输尿管信号变换C中的第一多个权重UB1、UB2、UB3和第二多个权重NB1、NB2、NB3。例如，第一和第二多个权重能够以下方法来确定：首先凭经验测量由输尿管和非输尿管组织直接反射的波段信号；建模摄像头/照明系统以及输尿管和非输尿管组织的反射率；或经验测量和建模的一些组合。这些方法中的每种方法产生与输尿管组织相关的一组波段信号和与非输尿管组织相关的一组波段信号。
确定第一和第二多个权重，其组合与输尿管组织相关的一组波段信号和与非输尿管组织相关的一组波段信号并求解使误差最小化的矩阵。例如，
Figure BDA0001321031570000121
C＝[DU DN]*pinv([BU BN])
其中，
DU为选择输尿管信号的矩阵；
BU为针对N个输尿管样本的三个波段中的每个波段捕获的帧的矩阵：
DN为选择非输尿管信号的矩阵；
BN为针对M个非输尿管样本的三个波段中的每个波段捕获的帧的矩阵；以及
pinv为伪逆。
矩阵的伪逆为本领域中的技术人员所熟知。这里适用的伪逆被称为穆尔-彭罗斯(Moore–Penrose)伪逆，穆尔-彭罗斯伪逆的常见用法是计算线性方程组的“最佳拟合”最小二乘解，其缺乏唯一解。穆尔-彭罗斯伪逆的另一用法是找到线性方程组的最小(欧几里德(Euclidean))范数解。在一方面，使用最佳拟合最小二乘解。
在上述示例中，多个不同的光谱照亮手术部位，并且针对不同的光谱中的每个，捕获包括手术部位场景的帧，这致使捕获多个帧。对多个帧进行分析，以对手术部位场景中的为输尿管组织的位置分类。在另一方面，使用相同的方法，但患者在手术前已经服用了染料。该染料与荧光团和放射性染料两者不同。荧光团吸收具有激发波长光谱的光并发出具有发射波长光谱的光。该过程为通过荧光团吸收入射光并通过荧光团发射新的光，这与入射光的反射相反。放射性染料发出在不需要任何入射光的情况下进行测量的辐射。在该方面使用的染料不会发出新的光或辐射，而是染料影响入射光的反射。
此染料的一个示例为非那吡啶(Phenazopyridine)，其有时以盐酸非那吡啶的形式使用。非那吡啶为用作尿路镇痛剂的染料。非那吡啶通常通过口服施用于患者，并通过肾脏迅速排出并直接排泄到尿液中。因此，尿液和输尿管壁两者都被非那吡啶染色，这改变了输尿管的光吸收特性，并因此改变了由输尿管反射的至少一些光。因此，一方面，施用非那吡啶并确定用非那吡啶处理的输尿管组织所反射的波段。在上述分析中使用这些波段。
本文所述的各种模块能够通过硬件、固件、在处理器131上执行的软件、或这三者的任何组合来实现。当模块被实施为在处理器上执行的软件时，软件作为计算机可读指令存储在存储器132中，并且计算机可读指令在处理器131上执行。只要处理器能够耦接至存储器，全部或部分存储器能够处于与处理器不同的物理位置。存储器是指易失性存储器、非易失性存储器或两者的任何组合。
此外，如本文所述，各种模块的功能可由一个单元执行，或者在不同的部件之间划分，每个部件可进而通过硬件、固件和在处理器上执行的软件的任何组合来实施。当在不同部件之间划分时，部件可集中在一个位置中或跨系统300分布以用于分布式处理目的。执行各种模块产生执行上述针对各种模块和控制器360的进程的方法。
因此，处理器被耦接至包含由处理器执行的指令的存储器。这可以在计算机系统内完成，或替代地，经由至另一计算机的连接经由调制解调器和模拟线路或数字接口和数字载体线路来实现。
在本文中，计算机程序产品包括计算机可读介质，该计算机可读介质被配置成存储本文描述的任何部分的或全部的进程所需的计算机可读代码，或者存储有这些进程的任何部分或全部的计算机可读代码。计算机程序产品的一些示例为CD-ROM光盘、DVD光盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器以及代表计算机可读程序代码的通过网络传输的信号。非暂时性有形计算机程序产品包括有形计算机可读介质，其被配置成存储用于任何部分的或全部的进程的计算机可读指令，或者存储任何部分的或全部的进程的计算机可读指令。非暂时性有形计算机程序产品为CD-ROM光盘、DVD光盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器和其他物理存储介质。
鉴于本公开，在本文描述的任何部分的或全部的进程中使用的指令能够使用操作系统和使用者感兴趣的计算机编程设计语言在各种各样的计算机系统配置中实现。
说明本发明的各方面和实施例的上述描述和附图不应视为限制性的——权利要求书界定受保护的发明。在不脱离本说明书和权利要求书的精神和范围的情况下，可以进行各种机械、组成、结构、电气和操作变化。在一些情况下，公知的电路、结构和技术未被详细地示出或描述，以避免模糊本发明。
此外，本说明书的术语并不旨在限制本发明。例如，可使用诸如“在下面”、“在下方”、“低于”、“在上面”、“在上方”、“近端”、“远端”等的空间相对术语来描述一个元素或特征与另一元件或特征的关系，如图所示。除了在附图中示出的位置和取向以外，这些空间相关术语旨在涵盖装置在使用或操作时的不同方位(即位置)和取向(即旋转放置)。
例如，如果在附图中的装置被翻转，则描述为在其他元件或特征“之下”或“下面”的元件将变成在该其他元件或特征的“之上”或“上面”。因此，示例性术语“在下面”能够涵盖在上面和在下面的方位和取向两者。该装置可以以其他方式取向(旋转90度或在其它取向)，并且本文使用的空间相对描述被相应地解释。
同样，沿和围绕各个轴线的运动的描述包括各种特殊装置的方位和取向。单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有指示。术语“包含”、“包含……的”、“包括”等指定陈述特征、步骤、操作、元件和/或构件的存在，但不排除一个或多个其他特征、步骤、操作、元件、构件和/或组的存在或添加。
被描述成耦接的部件可电气或机械直接耦接，或所述部件可经由一个或更多个中间部件间接耦接。鉴于本公开，在关于增强显示系统所述的操作的任一操作或其任何组合中使用的指令能够使用操作系统和使用者感兴趣的计算机编程设计语言在各种各样的计算机系统配置中实现。
所有示例和说明性参考为非限制性的，并且不应用于将权利要求限制于本文所述的具体实施方案和实施例及其等同物。标题仅用于格式化，不应用于以任何方式限制本主题，因为一个标题下的文本可能会交叉引用或应用于一个或更多个标题下的文本。最后，鉴于本公开，即使在附图中没有具体示出或在文本中描述的情况下，关于一方面或实施例描述的特定特征也可应用于本发明的其他公开的方面或实施例。

Claims (20)

1.一种组织检测的方法，包括：
捕获多个手术部位场景，所述多个手术部位场景中的每一个手术部位场景从多个波段中的不同波段的反射光捕获，所述多个波段中的每个波段被输尿管组织和所述输尿管组织周围的非输尿管组织反射；
检测所述捕获的手术部位场景中的每个手术部位场景的光谱反射率之间的差异；以及
基于所述捕获的手术部位场景中的每个手术部位场景的所述光谱反射率之间的检测到的差异，识别对应于所述输尿管组织的在所述捕获的手术部位场景中的像素和对应于所述非输尿管组织的在所述捕获的手术部位场景中的像素。
2.根据权利要求1所述的方法，还包括：
在显示装置上显示被包括在所述多个手术部位场景中的一个手术部位场景，以及
人为突出显示对应于该显示的手术部位场景中的所述输尿管组织的像素。
3.根据权利要求1所述的方法，还包括：
利用多个不同的光谱照射手术部位。
4.根据权利要求3所述的方法，其中，所述照射所述手术部位包括：
利用所述多个不同的光谱中的至少两个光谱按顺序照射所述手术部位。
5.根据权利要求3所述的方法，其中，所述照射所述手术部位包括：
利用波长范围在450nm至580nm的第一光谱照射所述手术部位；
利用波长范围在640nm至750nm的第二光谱照射所述手术部位；以及
利用波长范围在900nm至1080nm的第三光谱照射所述手术部位。
6.根据权利要求3所述的方法，其中，所述照射所述手术部位包括：
利用波长范围在450nm至580nm的第一光谱照射所述手术部位；以及
利用波长范围在640nm至750nm的第二光谱照射所述手术部位。
7.根据权利要求1所述的方法，其中，所述识别包括：
将所述多个捕获的手术部位场景中的每一个捕获的手术部位场景中的位置变换为输尿管信号；以及
确定所述输尿管信号是否指示在所述位置处的输尿管组织。
8.根据权利要求7所述的方法，其中，所述确定包括：
将所述输尿管信号与阈值进行比较。
9.根据权利要求7所述的方法，其中，所述确定包括：
将所述输尿管信号和非输尿管信号的比率与阈值进行比较。
10.根据权利要求1所述的方法，其中，所述识别包括：
将输尿管信号与阈值进行比较。
11.根据权利要求1所述的方法，其中，所述识别包括：
将输尿管信号和非输尿管信号的比率与阈值进行比较。
12.根据权利要求1所述 的方法，其中，利用染料处理所述输尿管组织，所述染料不同于荧光团和放射性染料。
13.根据权利要求12所述 的方法，所述染料为非那吡啶。
14.一种外科手术系统，包括：
图像捕获系统，所述图像捕获系统被配置成捕获多个手术部位场景，所述多个手术部位场景中的每个手术部位场景从多个波段的不同波段的反射光捕获，所述多个波段中的每个波段被输尿管组织和所述输尿管组织周围的非输尿管组织反射；
被耦接至所述图像捕获系统的输尿管分析模块，所述输尿管分析模块被配置成：
检测所述捕获的手术部位场景中的每个手术部位场景的光谱反射率之间的差异，以及
基于所述捕获的手术部位场景中的每个手术部位场景的所述光谱反射率之间的检测到的差异，识别对应于所述输尿管组织的在所述捕获的手术部位场景中的像素和对应于所述非输尿管组织的在所述捕获的手术部位场景中的像素。
15.根据权利要求14所述的外科手术系统，还包括：
照明器，所述照明器被配置成利用所述多个不同波段中的每个波段照射手术部位。
16.根据权利要求14所述的外科手术系统，还包括：
被耦接至所述输尿管分析模块的显示装置，所述显示装置被配置成显示被包括在所述多个手术部位场景中的一个手术部位场景；
其中所述输尿管分析模块还被配置成人为突出显示对应于该显示的手术部位场景中的所述输尿管组织的像素。
17.一种外科手术系统，包括：
用于捕获多个手术部位场景的装置，所述多个手术部位场景中的每一个手术部位场景从多个波段中的不同波段的反射光捕获，所述多个波段中的每个波段被输尿管组织和所述输尿管组织周围的非输尿管组织反射；
用于检测所述捕获的手术部位场景中的每个手术部位场景的光谱反射率之间的差异的装置；以及
用于基于所述捕获的手术部位场景中的每个手术部位场景的所述光谱反射率之间的检测到的差异来识别对应于所述输尿管组织的在所述捕获的手术部位场景中的像素和对应于所述非输尿管组织的在所述捕获的手术部位场景中的像素的装置。
18.根据权利要求17所述的外科手术系统，还包括：
用于在显示装置上显示被包括在所述多个手术部位场景中的一个手术部位场景的装置；以及
用于人为突出显示对应于该显示的手术部位场景中的所述输尿管组织的像素的装置。
19.根据权利要求17所述的外科手术系统，还包括：
用于利用多个不同的光谱照射手术部位的装置。
20.根据权利要求17所述的外科手术系统，其中，用于识别的装置还包括：
用于将所述多个捕获的手术部位场景中的每一个捕获的手术部位场景中的位置变换为输尿管信号的装置；以及
用于确定所述输尿管信号是否指示在所述位置处的输尿管组织的装置。
CN201580068079.4A 2014-12-16 2015-12-14 利用波段选择性成像的输尿管检测 Active CN106999249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011081990.8A CN112057169A (zh) 2014-12-16 2015-12-14 利用波段选择性成像的输尿管检测

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462092651P 2014-12-16 2014-12-16
US62/092,651 2014-12-16
PCT/US2015/065561 WO2016100214A1 (en) 2014-12-16 2015-12-14 Ureter detection using waveband-selective imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011081990.8A Division CN112057169A (zh) 2014-12-16 2015-12-14 利用波段选择性成像的输尿管检测

Publications (2)

Publication Number Publication Date
CN106999249A CN106999249A (zh) 2017-08-01
CN106999249B true CN106999249B (zh) 2020-10-23

Family

ID=56127432

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580068079.4A Active CN106999249B (zh) 2014-12-16 2015-12-14 利用波段选择性成像的输尿管检测
CN202011081990.8A Pending CN112057169A (zh) 2014-12-16 2015-12-14 利用波段选择性成像的输尿管检测

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011081990.8A Pending CN112057169A (zh) 2014-12-16 2015-12-14 利用波段选择性成像的输尿管检测

Country Status (6)

Country Link
US (3) US10588711B2 (zh)
EP (3) EP4226887A1 (zh)
JP (2) JP6657224B2 (zh)
KR (1) KR102476063B1 (zh)
CN (2) CN106999249B (zh)
WO (1) WO2016100214A1 (zh)

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
CN104688281B (zh) 2006-06-13 2017-04-19 直观外科手术操作公司 微创手术系统
US10433917B2 (en) * 2009-05-29 2019-10-08 Jack Wade System and method for enhanced data analysis with video enabled software tools for medical environments
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10588711B2 (en) 2014-12-16 2020-03-17 Intuitive Surgical Operations, Inc. Ureter detection using waveband-selective imaging
WO2016137899A1 (en) 2015-02-23 2016-09-01 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
EP3314234B1 (en) 2015-06-26 2021-05-19 Li-Cor, Inc. Fluorescence biopsy specimen imager
US10489964B2 (en) 2016-04-21 2019-11-26 Li-Cor, Inc. Multimodality multi-axis 3-D imaging with X-ray
EP3475919A1 (en) 2016-06-23 2019-05-01 Li-Cor, Inc. Complementary color flashing for multichannel image presentation
US10993622B2 (en) 2016-11-23 2021-05-04 Li-Cor, Inc. Motion-adaptive interactive imaging method
EP3616158A1 (en) 2017-04-25 2020-03-04 Li-Cor, Inc. Top-down and rotational side view biopsy specimen imager and methods
CN111246818B (zh) * 2017-09-22 2024-02-23 直观外科手术操作公司 增强计算机辅助远程操作外科手术中不同组织之间的可见差异
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11793537B2 (en) 2017-10-30 2023-10-24 Cilag Gmbh International Surgical instrument comprising an adaptive electrical system
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11045197B2 (en) 2017-10-30 2021-06-29 Cilag Gmbh International Clip applier comprising a movable clip magazine
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
KR20200104372A (ko) * 2017-12-27 2020-09-03 에티컨, 엘엘씨 광 결핍 환경에서의 초분광 이미징
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US20190200981A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US10898622B2 (en) 2017-12-28 2021-01-26 Ethicon Llc Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11298148B2 (en) 2018-03-08 2022-04-12 Cilag Gmbh International Live time tissue classification using electrical parameters
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11129611B2 (en) 2018-03-28 2021-09-28 Cilag Gmbh International Surgical staplers with arrangements for maintaining a firing member thereof in a locked configuration unless a compatible cartridge has been installed therein
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
EP4307701A3 (en) * 2018-07-12 2024-03-20 Intuitive Surgical Operations, Inc. Sensing images using multiple band pass bayer pattern filter for discriminating lipid and collagen tissues
JP2022510010A (ja) * 2018-12-05 2022-01-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 組織中の発色団濃度の決定
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11272931B2 (en) 2019-02-19 2022-03-15 Cilag Gmbh International Dual cam cartridge based feature for unlocking a surgical stapler lockout
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11924535B2 (en) 2019-06-20 2024-03-05 Cila GmbH International Controlling integral energy of a laser pulse in a laser mapping imaging system
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
GB2593740A (en) 2020-03-31 2021-10-06 Cmr Surgical Ltd Control system of a surgical robot
EP4214487A1 (en) * 2020-09-17 2023-07-26 Cytoveris Inc. Multi-spectral imager for uv-excited tissue autofluorescence mapping

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590660A (en) * 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
WO2013177061A1 (en) * 2012-05-21 2013-11-28 The Regents Of The University Of Colorado, A Body Corporate Three-dimensional mapping and therapy of prostate cancer

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5408996A (en) * 1993-03-25 1995-04-25 Salb; Jesse System and method for localization of malignant tissue
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
WO2001074252A2 (en) 2000-03-31 2001-10-11 Rita Medical Systems Inc. Tissue biopsy and treatment apparatus and method
WO2004054439A2 (en) * 2002-12-13 2004-07-01 Ietmed Ltd. Optical examination method and apparatus particularly useful for real-time discrimination of tumors from normal tissues during surgery
US20070027362A1 (en) * 2005-07-27 2007-02-01 Olympus Medical Systems Corp. Infrared observation system
US8280496B2 (en) * 2007-12-13 2012-10-02 Boston Scientific Scimed, Inc. Extended spectral sensitivity endoscope system and method of using the same
WO2009117124A1 (en) 2008-03-19 2009-09-24 Nanospectra Biosciences, Inc. Narrowband imaging using near-infrared absorbing nanoparticles
JP5160276B2 (ja) * 2008-03-24 2013-03-13 富士フイルム株式会社 画像表示方法及び装置
CN103220959B (zh) 2011-01-17 2014-08-06 奥林巴斯医疗株式会社 生物体内观察装置及胶囊型内窥镜装置
US8672838B2 (en) 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US9220570B2 (en) * 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
JP2014128423A (ja) * 2012-12-28 2014-07-10 Olympus Medical Systems Corp 内視鏡システム
US10588711B2 (en) 2014-12-16 2020-03-17 Intuitive Surgical Operations, Inc. Ureter detection using waveband-selective imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590660A (en) * 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
WO2013177061A1 (en) * 2012-05-21 2013-11-28 The Regents Of The University Of Colorado, A Body Corporate Three-dimensional mapping and therapy of prostate cancer

Also Published As

Publication number Publication date
US20220304769A1 (en) 2022-09-29
KR102476063B1 (ko) 2022-12-12
JP2018500095A (ja) 2018-01-11
CN106999249A (zh) 2017-08-01
WO2016100214A1 (en) 2016-06-23
JP7086121B2 (ja) 2022-06-17
CN112057169A (zh) 2020-12-11
EP3232975A4 (en) 2018-07-25
US11389267B2 (en) 2022-07-19
EP3730086A1 (en) 2020-10-28
EP3232975B1 (en) 2020-07-15
EP4226887A1 (en) 2023-08-16
JP6657224B2 (ja) 2020-03-04
JP2020073083A (ja) 2020-05-14
EP3232975A1 (en) 2017-10-25
US10588711B2 (en) 2020-03-17
KR20170094231A (ko) 2017-08-17
EP3730086B1 (en) 2023-06-28
US20200179079A1 (en) 2020-06-11
US20170360526A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
CN106999249B (zh) 利用波段选择性成像的输尿管检测
US11911003B2 (en) Simultaneous white light and hyperspectral light imaging systems
US9906739B2 (en) Image pickup device and image pickup method
US8767057B2 (en) Image processing device, image processing method, and program
CN111295127B (zh) 检查支持装置、内窥镜装置及记录介质
CN107427202B (zh) 用于照射人类或动物身体内部的感兴趣结构的设备、系统和方法
JP6581984B2 (ja) 内視鏡システム
CN110164528B (zh) 利用血管丛结构的弹性映射的图像处理方法和装置
WO2019220801A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
US20220007942A1 (en) Medical imaging systems and methods that facilitate use of different fluorescence imaging agents
JPWO2016139768A1 (ja) 画像処理装置、生体観察装置および画像処理方法
US20220222840A1 (en) Control device, image processing method, and storage medium
JP4109132B2 (ja) 蛍光判定装置
KR102112229B1 (ko) 가시광 및 근적외선 광을 모두 가시화할 수 있는 내시경 장치
EP4289334A1 (en) Sterile calibrating cap and methods for using the same on an endoscope
EP4312711A1 (en) An image capture device, an endoscope system, an image capture method and a computer program product
WO2023285962A1 (en) Scene adaptive endoscopic hyperspectral imaging system
KR20210073673A (ko) 형광 복강경 영상 정합 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant