CN102576457B - 用于在临床图像上显示增强成像数据的方法和装置 - Google Patents

用于在临床图像上显示增强成像数据的方法和装置 Download PDF

Info

Publication number
CN102576457B
CN102576457B CN201080044928.XA CN201080044928A CN102576457B CN 102576457 B CN102576457 B CN 102576457B CN 201080044928 A CN201080044928 A CN 201080044928A CN 102576457 B CN102576457 B CN 102576457B
Authority
CN
China
Prior art keywords
image
visible
desaturation
surgical sites
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080044928.XA
Other languages
English (en)
Other versions
CN102576457A (zh
Inventor
C·J·莫尔
I·M·麦克度威尔
P·W·莫尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN102576457A publication Critical patent/CN102576457A/zh
Application granted granted Critical
Publication of CN102576457B publication Critical patent/CN102576457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

在本发明的实施例中，一种设备包括显示装置。该显示装置显示从体腔中在可见电磁(EM)光谱内捕获的组织的去饱和图像；以及与该去饱和图像组合的第一彩色增强图像。该第一彩色增强图像表示从体腔中在可见电磁谱外捕获的第一数据。设定去饱和图像和第一彩色增强图像之间的相对亮度，从而在可见电磁谱内捕获的组织上强调第一数据进而提供改进的信息内容。

Description

用于在临床图像上显示增强成像数据的方法和装置
技术领域
本发明的实施例一般涉及显示医学图像。
背景技术
微创医学技术旨在降低诊断或外科手术操作期间受到损害的无关组织的数量，由此缩短病人恢复时间、减小不适以及有害的副作用。使用微创外科手术技术还可以显著地缩短标准外科手术的平均住院期。因此，越来越多地采用微创技术仅在住院成本上每年即可以节约数百万住院天数，以及数百万美元。使用微创外科手术还可以缩短病人的恢复时间、减少病人不适、外科手术副作用以及脱离工作的时间。
为观察外科手术位点，可将具有照射装置的内窥镜相机插入病人体内用来捕获外科手术位点的彩色图像。可以在监视器或显示器上将外科手术位点的彩色图像显示给外科医生。
可以通过使用画中画(PIP)显示器将外科手术位点的其他图像信息同时显示给外科医生。其他图像信息对于外科医生改善外科手术结果可能是有用的。然而，PIP显示器太小以至于不能显示期望水平的细节信息。此外，使用分离的图像帧，外科医生在意识上将两个分离的图像或成像模式融合在一起可能是辛苦的。可替代地，可通过在显示器装置上显示的彩色图像和另一额外图像之间来回切换以将额外的图像信息全屏显示在该显示装置上。然而，在图像之间来回切换耗费时间并且结果使得外科手术效率降低。此外，外科医生可能不能切换回到白光成像并且在交替成像模式期间切割过多或意外损害重要的组织。
期望的是提供更加高效和更加安全的微创外科手术。
发明内容
通过随附的权利要求来总结本发明的实施例。
附图说明
本专利或申请文件包含绘制成彩色的至少一个图像。根据请求和支付必要费用，具有一个或多个彩色图像的本专利或专利申请公开的副本将由专利局提供。
图1是用于微创外科手术的成像系统的框图。
图2是本发明实施例的多个方面的绘画示意图。
图3是图示说明用于本发明实施例的成像方法的元件的流程图。
图4A是图示说明捕获外科手术位点的可见白光彩色图像的彩色图。
图4B是图示说明将图4A的可见白光彩色图像去饱和成为黑色和白色或灰阶去饱和图像的非彩色图像。
图5A是图示说明在外科手术位点内捕获不可见光谱的数据并且形成特征性组织结构的图像的黑白图。
图5B是图示说明对图5A的特征性组织结构着色从而形成彩色增强图像的图。
图6是图5B的彩色增强图像与临床图像结合(例如覆盖其上)的合并图像的显示图。
图7是图示说明用于调整组分图像的亮度或合并图像中组分图像之间的相对亮度的用户界面的图。
图8是图示说明可用来将外科手术位点彩色图像去饱和水平调整成去饱和图像的用户界面的图。
不同附图中类似的参考编号与相同的或相似的元件相关联但可能具有不同的构型。
具体实施方式
具体实施方式描述了说明本发明的示例性的实施方式，并且因此是说明性而不是限制性的。本发明仅受专利权利要求的限制。在附图中，一些元件已经被省略以便更清楚地显示本发明的实施例。
导言
本发明的实施例旨在改进在相同外科手术位点同时显示组织反射的白光图像，以及分离或同时地获得增强的组织图像的临床应用。增强的组织图像可以用多种技术捕获，例如但不限于包含具有空间变化的临床信息的非可见光特征的近红外(NIR)荧光、可见光荧光、多光谱成像、荧光寿命成像、或光栅扫描。此外，增强的图像可以是通过叠加在临床白光图像上的不同类型可测量的组织参数的点测量值而构建的图像，所述组织参数例如组织阻抗、癌的点检测、或某些细胞类型。
总体上在本发明的一个实施例中，公开了一种显示方法，其中可见的白光或彩色临床图像朝向一种灰度或黑/白图像被去饱和，代替彩色的反射白光图像而被显示给外科医生或临床医生。去饱和将红色、绿色、和蓝色色调推向灰色，由此从图像中去除彩色。使用一种或多种增强成像技术捕获关于临床图像的增强图像并且用在去饱和的白光图像中记录的一种或多种彩色以可见光谱表示。当一般肉眼不可见的增强信息以可见光谱表示时，它是伪彩色的。用于着色增强图像的伪彩色的示例(也称为增强色)是但不限于绿色、蓝色、以及紫色，它们可用于以非可见电磁谱表示一种或多种类型的信号，所述信号通过增强图像中的增强成像技术被检测。彩色形式的增强图像被记录成去饱和的白光临床图像并且与去饱和的临床图像合并、添加其上、或叠加在其顶部(可替代地称为与其组合)。这两个图像通过合并图像的方式被组合并被显示给外科医生，从而增加临床相关信息量，并且改善外科手术期间外科手术位点的彩色增强图像中低信号水平的可检测性。
当将临床图像去饱和时，图像中的彩色信息被去除，但是细节很少丢失。该去饱和临床图像足以辨别骨骼、组织标记、以及外科手术器械，使得允许对其进行安全操作。此外与增强型图像相比，使用去饱和临床图像不存在损失(由于白光临床图像的彩色表示的干扰)。重叠在该去饱和的临床图像上的彩色增强图像提供了关于外科手术位点的改进的信息含量，从而降低了对病人造成损伤的风险并提高了外科手术效率。
可将彩色增强的图像重叠到具有预设相对亮度的去饱和的临床图像上，以在组织的可视图像上强调关于组织的非可视信息的增强的信息。可替代地，可提供一个用户界面装置，例如一个滑动型控制器，用来允许将这两个图像合并，这样可连续改变这两个图像相对亮度。通过这种合并模式调整相对亮度允许用户调整重叠亮度以便使将被执行任务的临床要求与增强的成像信息相匹配。例如，当寻找细的、淡的线时，用户可朝向增强型图像更强地加重相对亮度。例如，当切除增强图像中明亮地发光的大块时，可朝向去饱和的白光图像更强地加重相对亮度图像。
成像系统
现在参考图1，图示说明了用于微创外科手术的成像系统100的框图。成像系统100包括内窥镜相机101，视像控制推车102，以及联接在一起的外科医生控制台104，如所示。
内窥镜相机101包括用于可拆卸地联接到病人侧操纵器的机器人臂111上的机械接口，这样它可以在病人外科手术位点的周围移动。内窥镜相机101被机器人臂111支撑在病人的体腔内的外科手术位点210上，用来捕获其中的数字图像。
视像控制推车102包括照射器112、图像处理器114、核心处理器116、以及监视器118。内窥镜相机101被联接至照射器112上以接收可见光(VL)并且将它引导出它的尖端进入外科手术位点，从而可见地照射组织以便用彩色或光谱相机捕获。内窥镜相机101还可被联接至照射器112以接收非可见光电磁辐射(NVE)并且将它引导出它的尖端进入外科手术位点，从而激发一种物质对组织发出荧光进而用传感器或光谱相机捕获。内窥镜相机101响应于可见光(VL)捕获外科手术位点内组织的一帧或多帧彩色可见图像(VI)并且将其联接到图像处理器114中。内窥镜相机101还可响应于非可见电磁辐射(NVE)捕获外科手术位点内来自该组织的非可见空间编码数据的一帧或多帧并且将数据联接到图像处理器114中。为了立体成像，内窥镜相机101是用来同时捕获外科手术位点左侧和右侧图像的立体相机。虽然可使用内窥镜相机101及其传感器来捕获光学不可见(例如近红外，紫外)图像，但也可使用其他成像设备以及技术来捕获其他非可见光谱数据，例如但不限于分光镜数据(spectroscopicdata)、拉曼散射数值、阻抗数据、双光子荧光、超声、γ辐射和/或X射线图像，它们的数据可被表示为可见光谱且与去饱和的图像组合的图像。另外，覆盖整个图像的全部或一部分的光可被捕获并且被分析用来产生临床相关的二维(2D)图像。这些2D图像可捕获从光特性中提取的特征例如偏振、散射、以及与光和组织相互作用相关的其他类似特征，其中可以通过多种临床相关标志物将该组织放大。增强的图像可以是针对一系列可见图像计算出的图像。例如，可以使用一系列图像来计算血流量，然后将它表示成2D图像。
照射器112可响应于从核心处理器116收到的控制信号126产生可见光(VL)(在可见电磁辐射谱内产生的光)以及非可见电磁辐射(NVE)。照射器112可响应于控制信号同时产生可见光(VL)以及非可见电磁辐射(NVE)，从而与捕获非可见光谱数据且形成增强图像的帧同步地捕获彩色可见图像(VI)的帧。可替代地，照射器112可响应于控制信号交替产生可见光(VL)以及非可见电磁辐射(NVE)，用于与捕获非可见光谱数据并且形成增强图像的帧不同步地捕获彩色可见图像(VI)的帧。
可通过一个或多个光纤或光纤束将可见光(VL)和非可见电磁辐射(NVE)联接至内窥镜相机101。类似地，在外科手术位点内捕获可见组织的全色可见图像(VI)经由光纤被联接到图像处理器114中或被传感器捕获并且通过线缆联接到图像处理器中。外科手术位点内组织的非可见光谱数据还可经由光纤联接到图像处理器114中或被传感器捕获并且通过线缆联接到图像处理器中。由一个或多个传感器捕获的电磁辐射可以二进制(bin)输出成为可见的红色、绿色、蓝色EM光谱以及不可见的EM光谱(例如，近红外)。
图像处理器114包括用来处理捕获图像的一个或多个处理器P120和用于存储图像数据的一帧或多帧的一个或多个存储装置(例如存储器)M122。对于立体成像，图像处理器114可包括用于处理左侧和右侧捕获的图像的一对处理器P120和用于存储左侧和右侧图像帧的一对存储装置(例如存储器)M122。
在增强显示模式下，图像处理器114的一个或多个处理器P120可对数字图像数据的每一帧进行像素操作从而执行在此公开的图像处理和显示方法。图像处理器114接收来自核心处理器116的命令125并且将图像124联接至核心处理器116用于在外科医生控制台104的显示器140上显示和/或控制推车102的监视器118上显示。可替代地，核心处理器116可接收数字图像并且执行数字图像数据每帧的像素操作从而执行在此公开的图像处理和显示方法。
外科医生控制台104可经过光纤线缆129联接至核心处理器116用于数字控制和图像信息的高速连通。外科医生控制台104可以包括立体显示装置140，以将左侧和右侧立体图像显示给外科医生。根据在此公开的显示方法，立体显示设备140可以显示左侧和右侧合并图像。
关于微创外科手术系统的其他信息可以例如在以下文献中找到：于2007年6月13日由DavidQ.Larkin等人提交的名称为“微创外科手术系统”(MINIMALLYINVASIVESURGEONSYSTEM)的美国专利申请号11/762,165；以及于2001年12月18日授予Tierney等人的名称为“外科手术机器人工具、数据构造、以及用途”(SURGICALROBOTICTOOLS,DATA,ARCHITECTURE,ANDUSE)的美国专利号6,331,181，通过引用将它们两者并入本文。
照射非可见特征性组织结构
现在参考图2，图示说明了本发明实施例多个方面的绘图。内窥镜101可包括一个或多个光纤201A-201B，用来引导和发射可见光(VL)和非可见电磁辐射(NVE)进入外科手术位点210中。内窥镜101可包括用于捕获可见光谱中电磁辐射的传感器202A，例如相机。传感器202A可以是用于捕获可见立体彩色图像的立体彩色相机。内窥镜101可进一步包括用于捕获不可见光谱中的电磁辐射或正常地肉眼不可见的其他类型信息(例如超声)的另一传感器202B。例如，传感器202B可以是用于捕获外科手术位点NIR增强图像的近红外(NIR)检测器。可替代地，内窥镜101可以是用于引导可见光以及非可见光谱数据返回至病人体外多个外部传感器/相机的管道。
外科手术位点210包括当用可见光照射时可以反射白光或彩色图像的组织212。外科手术位点210还具有当用可见电磁谱中的光线照射时肉眼不可见的特征性组织结构213，214。
可通过具有或不具有发荧光性、发射性、示踪性、或反射性材料(总称为生物标记)的不可见电磁辐射(NVE)来照射多种不可见特征性组织结构213，214。在一些情况下，这些不可见特征性组织结构可以是生物化学地标记有发荧光的、发射性、示踪性、或反射性材料或化合物(统称为生物标记)，它们可被可见光或电磁辐射(VL)或非可见电磁辐射(NVE)激发，从而它可通过可见光相机或传感器来捕获。在其他情况下，一些不可见特征性组织结构可以用发荧光、发射性、示踪性、标记性、或反射性材料/化合物(统称为生物标记)生物化学地标记，通过不可见电磁辐射(NVE)来激发，从而它发射不可见电磁辐射(NVE)的波长并且通过对该波长敏感的传感器捕获。
能够以多种途径将用反射的白光不可见的组织变成可成像的。例如，可通过注射流体或用发荧光性、发射性、示踪性物质、染料或化合物(统称为生物标记)标记病人的组织，并且用电磁辐射对它照射或将它暴露于电磁辐射下，来将用反射的白光不可见的组织变成可成像的。生物标记中的荧光团标记一种分子使得它吸收激发波长附近的EM辐射并且重新发射发射波长附近的EM辐射。发荧光性材料或化合物(生物标记)的一个示例是吲哚菁绿(ICG)，该物质发荧光从而当用近红外(NIR)电磁辐射激发时以非可见波长发射光子或电磁辐射。存在多种荧光化合物，它们可用于标记在希望的激发波长下激发并且在希望的发射波长下发射的感兴趣组织。可以使用示例性荧光团、发射体、示踪物、标志物等(统称为生物标记)，它们被列出在本说明结尾的表中。
还可以通过注射一种结合到特定组织类型上并且同时发射EM辐射的物质、染料、或化合物(统称为生物标记)将用反射的白光不可见的组织变成可成像的，例如在正电子发射断层成像(PET)中使用的一种放射性药物或放射示踪剂。
可使用可见EM光谱外的其他成像源211(例如，X射线、超声)来照射一些不可见特征性组织结构214(例如骨组织)并且使用或不使用生物标记捕获增强的图像，从而与可见组织的临床图像组合。例如，在无生物标记的外科手术期间可以在外科手术位点内用X射线来捕获骨组织。作为另一个实例，可用超声在外科手术期间捕获外科手术位点内次表面(sub-surface)的组织，无需添加荧光性、发射性、示踪性、标记性或反射性物质/化合物(统称为生物标记)。
通过可见光，人眼可以察觉的电磁辐射光谱(VL)的可见部分中的电磁辐射照射可见组织212。照射线可以由白光形成，该白光可以是宽光谱的或可以是若干离散的窄光谱彩色的混合，包括原色红(R)、绿(G)、以及蓝(B)中的一个或多个。电磁辐射谱的可见部分波长范围从约400纳米(nm)至700nm。特征性组织结构标记有能被可见光激发的荧光性、发射性、示踪性、标记性、或反射性物质或化合物(统称为生物标记)，如果它发荧光或发射可见电磁辐射谱，则可被相机或可见光传感器捕获。
特征性组织结构213，214(用反射白光不可见)还可以用可见EM光谱外人的肉眼不能察觉的电磁辐射谱(NVE)的下侧不可见部分或上侧不可见部分中的电磁辐射进行标记和照射。电磁辐射谱的下侧不可见部分和上侧不可见部分位于电磁辐射谱的可见部分之外。电磁辐射谱的上侧不可见部分波长范围从约400纳米(nm)至十分之一埃(A)，包括γ射线、X射线，以及紫外电磁辐射。电磁辐射谱下侧不可见部分波长范围从约600纳米(nm)至10米(m)，包括红外(近红外、热红外、远红外)、微波、以及无线电波。在一些情况中近红外EM辐射(波长范围约600nm至1200nm之间)可以是优选的，因为与可见光谱相比较，在这些波长下许多生物组织更透明，使得标记有生物标记的表面下面的组织特征或结构可以更易成像。
使用被不可见电磁辐射激发的荧光性或反射性物质或化合物，在反射的白光图像中不可见的组织可以发荧光并且发射在不可见电磁谱中的EM辐射。对不可见电磁辐射敏感的传感器可捕获处于不可见电磁谱中的EM辐射，从而允许构建增强的图像用于可见光谱中的显示。可替代地，如果被不可见电磁辐射激发的荧光性或反射性物质或化合物可以发射可见电磁谱中的某些EM辐射，则它可以被可见光谱中敏感的相机或传感器捕获。尽管如此，来自外科手术位点的不可见光谱中不可见信息被捕获并且表示于可见光谱中的数字图像中。
本发明的实施例一般将在电磁谱的可见部分中捕获的组织图像去饱和，通过着色将在电磁谱的不可见部分中捕获的组织图像移动到电磁谱的可见部分中，并且将这些着色的图像组合或重叠到这些去饱和的图像上从而形成合并图像用于在显示设备上显示。
例如，被可见电磁谱中光线照射并且被彩色相机捕获的可见组织212的图像朝向灰度、黑/白、或单色图像212'被去饱和(将它的彩色减少)。可见组织图像212的每个像素中红色、绿色、蓝色数据朝向灰度或黑/白可被同等地减少。
在可见光谱图像中不可见的不可见特征性组织结构213可被不可见电磁照射线照射并且被传感器捕获。捕获的数据可通过形成增强图像来增强并且然后用第一可见彩色将它着色从而形成第一着色增强图像。例如，可以通过用绿色将其着色将在可见光谱中不可见的该特征性组织结构213移动到可见电磁谱中从而形成绿色增强图像213'。在可见光谱中不可见的特征性组织结构214可以被不可见电磁照射装置照射并且被一个传感器捕获。然后可以通过形成增强图像来增强捕获的数据，并且然后用第二可见彩色将其着色(例如第二可见彩色)，从而形成第二彩色增强图像。例如，可以通过用蓝色将其着色将该不可见特征性组织结构214移动到可见电磁谱中从而形成蓝色增强图像214'。可将绿色增强图像213'和蓝色增强图像214'重叠到灰度或黑色和白色图像212'上从而形成外科手术位点210的合并图像250。
可见组织212可以是表面组织而各种非可见组织213，214可以是在表面组织下面的次表面组织。结果，当被捕获时次表面组织的图像可以是模糊的并且伸展开。调整相对亮度或去饱和水平可以用于补偿模糊的图像。
显示方法
现在参考图3，流程图以增强的显示模式图示说明了成像方法的元素。在捕获不同类型的增强图像的情况下，图3中显示的一个或多个元素在执行成像方法中是任选的。该方法在处理块300处开始并且前往处理块302。
在处理块302处，可将可激发的物质引入病人体内，它可以被处于上侧不可见电磁谱或下侧不可见电磁谱中的电磁(EM)辐射激发。可替代地，引入的物质可同时发射EM辐射，例如γ射线，而无需外部激发。然后该过程可以前往处理块304。
在处理块304处，用可见光或处于可见电磁谱中的电磁辐射例如白光照射病人体内的外科手术位点。然后该过程前往处理块306。
在处理块306处，响应于可见电磁辐射用传感器例如彩色CMOS(互补性金属氧化物半导体)相机捕获病人体内外科手术位点的彩色临床图像。图4A图示说明了用彩色CMOS相机捕获的彩色临床图像400A。彩色临床图像400以彩色方式包括可见组织402，一对可见机器人外科手术工具404A-404B，以及反射处于可见电磁谱中的光线的可见针和缝线406。然后该过程前往处理块308。
在处理块308处，病人体内的外科手术位点可使用上侧不可见电磁谱和下侧不可见电磁谱中的不可见电磁辐射照射或被暴露于其中。病人身体可被交替地或同时地用电磁辐射谱上可见电磁辐射和不可见电磁辐射两者照射或被暴露于其中。然后该过程可前往处理块310。
在处理块310处，用于用病人身体形成外科手术位点增强图像的数据可响应于不可见电磁辐射使用传感器捕获。捕获的数据可称为不可见光谱数据。外科手术位点的可见图像和不可见光谱数据可被交替地或同时地捕获。例如，可见图像的帧以及用于形成增强图像的数据可在外科手术位点被交替地捕获。然后该过程前往处理块311。
在处理块311处，增强的图像响应于不可见光谱数据由外科手术位点形成。图5A图示说明了由从病人体内捕获的数据产生的外科手术位点的增强的图像500A。增强的图像500A将被着色。增强的图像500A包括特征性组织结构502，例如组织表面下的血管，或其他标记的、激发的、或同时发射的组织。然后该过程可前往处理块312。
在处理块312处，用预定去饱和水平将彩色临床图像400A去饱和(朝向黑色和白色减少彩色)成为去饱和图像。去饱和水平(彩色减少)可被改变。图4B图示说明了从图4A的彩色临床图像400A中减少彩色的去饱和临床图像400B。可见组织402'，可见工具404A'-404B'，以及可见针和缝线406'在彩色上朝向黑色和白色或灰度减少。然后该过程前往处理块314。
在处理块314处，用一种彩色将之前形成的增强图像着色从而形成彩色增强图像。图5B图示说明了彩色增强的图像500B。在彩色增强图像500B中该特征性组织结构502用绿色进行着色。然后该过程前往处理块316。
在处理块316处，去饱和图像400B和彩色增强图像500B的亮度被设定为第一水平相对亮度。去饱和图像的亮度和彩色增强图像的亮度可被独立地设定从而提供一个第一水平相对亮度。然后该过程前往处理块318。
在处理块318处，彩色增强的图像与去饱和的图像组合(例如重叠到其上)从而形成合并图像。合并图像已经在单独的彩色临床图像添加了信息内容。该彩色强调了合并图像内彩色增强图像的信息。
图6图示说明了合并图像600。合并图像600包括与去饱和组织特征402’结合的彩色增强图像500B的彩色特征性组织结构502'、工具404A'-404B'、以及去饱和图像400B的针和缝线406'。
可将彩色增强图像500B配准到去饱和图像400B，从而可以将它们组合在一起成为合并图像600。可以执行空间配准用来将彩色增强图像500B和去饱和图像400B组合在一起。如果这些图像具有不同的帧尺寸或方向，则可以计算不同数据源之间的坐标转换来提供空间配准。如果它们是不同步，还可执行时间配准从而将彩色增强图像500B和去饱和图像400B组合在一起。相对于时间不同步的图像帧可被同步到一起从而将彩色增强图像500B和去饱和图像400B的帧相对时间适当地结合到一起。在将图像信息组合到一起之后，则过程可前往处理块320。
在处理块320处，将合并图像600显示在显示装置上例如外科医生控制台104的立体观察器140和/或不同的监视器或显示装置(例如，监视器181)。然后该过程可前往处理块322。
在处理块322处，在合并图像600中去饱和图像400B以及彩色增强图像500B的亮度可被各自调整到一个相对亮度水平以便改变显示设备上显示的合并图像中信息含量。可以使用软件和/或物理用户界面来调整去饱和图像400B和彩色增强图像500B每个的亮度或它们之间的相对亮度。
针对每一帧一个或多个过程可以重复多次，用来将合并图像600连续地显示在显示设备上直至外科手术结束或不再需要彩色增强图像500B。在这种情况下，可以将该成像系统的显示方式切换返回至正常模式用来显示外科手术位点的彩色临床图像400A，而没有增强图像。然后增强显示模式过程可前往处理块399。
在处理块399处，如果外科手术终止或这些过程不再重复，则该过程可以结束。
相对于荧光图像可更具体地地说明一种替代显示方法。该替代显示方法可包括获得由可见光照射的外科手术位点的可视彩色图像；将外科手术位点的可见彩色图像去饱和成为可见灰色图像；获得外科手术位点中荧光组织的荧光图像，其中该荧光组织以可见彩色显示；并且产生一个可显示的图像，该图像包括可见的荧光图像和可见的灰色图像的组合。
用户界面
如前面提及的，可使用软件和/或物理的用户界面来支持增强的显示模式用于将去饱和图像和彩色增强图像组合一起并显示。
可通过产生控制信号的用户界面开关的预定顺序选择在外科医生控制台选择性地进入增强的显示模式，例如通过在外科医生控制台104的左侧和右侧主手柄和/或脚踏板中的选择切换。可替代地，能够以MaM(masters-in-mice)模式通过主手柄选择菜单列表中菜单条款，该模式可以用于产生控制信号用来选择性进入增强显示模式。例如，可以使用于2009年3月9日由PaulMohr等人提交的名称为“机器人外科手术系统中电子外科手术工具的用户界面”(USERINTERFACESFORELECTROSURGICALTOOLSINROBOTICSURGICAL)的申请号12/400,738的申请中说明的主手柄开关来启动该成像系统的增强显示模式，其通过引用被并入本文。可以通过进入用户界面开关的预定顺序选择1秒钟时间来选择性启动增强显示模式，以产生控制信号以便返回外科手术位点彩色图像的正常显示模式。
在增强显示模式下，可以提供用户界面来选择性地控制其特征。在增强显示模式中一些可控的特征包括彩色增强图像与去饱和图像之间相对亮度，和/或去饱和图像的去饱和水平。
现在参考图7，显示器700被显示包括用于增强显示模式的用户界面701。用户界面701可包括增强显示图标702用于向使用者指示成像系统正处在什么显示模式下(正常或增强)。该用户界面可进一步包括用于调整去饱和图像与彩色增强图像之间相对亮度的合并滑动件704。在图7中，调整滑动件704用来显示更少的白光这样使得该彩色增强图像在显示器700中的去饱和图像上被强调。可替代地，可以将一对滑动件开关706-707提供于用户界面中用来分别地调整彩色增强图像的亮度以及去饱和图像的亮度从而实现各自之间希望的相对亮度。亮度调整设备可以产生控制信号用来针对在黑/白或灰度图像中形成多少白光进行去饱和图像的处理控制。可替代地，亮度调整装置可以产生控制信号用来控制照射装置112以便调整所产生白光的亮度水平用来在图像捕获期间对外科手术位点进行照射。
现在参考图8，显示器800被显示包括类似于用户界面701的用户界面801，包括图标702以及相对亮度选择器704。除了针对参考图7中所描述的相对亮度的调整装置之外(例如滑动件704)，该用户界面801进一步包括针对彩色图像去饱和的用户界面调整装置。
用户界面801可包括用于调整去饱和图像402'的去饱和水平的滑动件开关804A。去饱和调整装置可产生控制信号用来控制从可见彩色图像到去饱和图像的处理，所述控制过程涉及通过减少每个像素中红色、绿色、蓝色(RGB)信息来从可见彩色图像中去除多少彩色。滑动件开关804A被设定使得图8中的显示器800用一些彩色但少于全色来显示去饱和图像402'。代替滑动件开关804A，可以使用上下按钮开关804B来调整去饱和图像402'中的去饱和水平。可替代地，可以使用可转动的旋钮804C来调整去饱和图像402'中的去饱和水平。
在任何情况下，公开了一种显示装置，该装置可以显示从体腔中在可见电磁(EM)谱内捕获的组织的去饱和图像，以及与该去饱和图像组合的第一彩色增强图像。该第一彩色增强图像表示从体腔中在可见电磁谱外捕获的数据。可以设定去饱和图像和第一彩色增强图像之间相对亮度用来在可见电磁(EM)谱内捕获的组织上强调捕获数据从而为用户提供了改进的信息内容。
结论
公开的方法提供了白光图像的足够临床细节用来允许用户避免外科手术器械与组织的无意碰撞并且给出足够的标记用来防止外科医生失去解剖信息同时以如下方式提供了在增强图像中可供使用的信息的细节，即使得易于将增强的图像信息与白光图像中的细节区分开。
本发明实施例的一个或多个元素可以在软件中实现从而使得可以使用机器例如处理器自动地完成一个或多个任务。当以软件执行时，本发明实施例的元素基本上是用于执行在此公开的方法的一个或多个任务的程序指令或编码区段。例如，机器可读介质可以在其上存储多个指令，当通过机器执行时这些指令使机器自动地执行多个操作包括减少病人体内在外科手术位点在可见电磁(EM)谱内捕获的组织的彩色图像中的彩色从而形成去饱和图像；使在外科手术位点捕获的不可见特征性组织结构在彩色增强图像中可见；以及将彩色增强图像和去饱和图像组合到一起从而形成组合的图像用于至少一个显示设备上显示。
可以将这些程序指令或编码区段存储在处理器可读取的介质中用于被该处理器执行，例如图1中所示的处理器120或核心处理器116。该处理器可读取的介质可以包括可以存储信息的任何介质，例如图1中图示说明的存储器122。处理器可读介质的示例包括电子电路、半导体存储器器件、ROM、闪存、可擦除式ROM(EROM)、软盘、CD-ROM、光盘、硬盘等。这些程序指令或编码区段可以通过计算机网络例如互联网、内部网等来下载。
虽然本说明书包括多种具体方式，但这些不应被解释成对本公开或所要求权利的范围进行限制，而应解释成对本公开的具体实施方式的特殊特征进行说明。在分离的实现方式的背景中在本说明书中说明的某些特征还能够以组合方式在单个实现方式中执行。相反地，在单个实施方式的背景中所述的多种特征还能够分开地或以子组合方式在多个实施方式中实施。然而，虽然在上面这些特征可被描述为以某些组合起作用或甚至如最初地所要求保护的，但在一些情况下来自要求组合的一个或多个特征可以与该组合分离，并且要求的组合可以是针对子组合或子组合的变体。所要求的发明仅受随附的专利权利要求的限制。

Claims (29)

1.一种用于在临床图像上显示增强成像数据的方法，所述方法包括：
通过外科手术系统中的处理器将组织的可见彩色图像去饱和成为去饱和图像，所述可见彩色图像是从可见电磁谱光捕获的反射白光图像，所述可见电磁谱光来自病人中的外科手术位点；
通过所述处理器用可见彩色为表示从所述外科手术位点捕获的数据的增强图像着色，从而形成彩色增强图像，所述数据从所述可见电磁谱外的光捕获；以及
通过所述处理器将所述彩色增强图像和所述去饱和图像叠加到一起，从而形成外科手术位点的合并图像以用于在显示设备上显示。
2.如权利要求1所述的方法，进一步包括：
用可见电磁谱中的可见光照射所述病人中的所述外科手术位点；
捕获所述病人中的所述外科手术位点的可见彩色图像；以及
从来自所述外科手术位点中的生物标记的光捕获所述数据。
3.如权利要求2所述的方法，进一步包括：
在捕获所述数据之前，将所述病人中的所述外科手术位点暴露于所述可见电磁谱外的电磁辐射以激发所述生物标记。
4.如权利要求3所述的方法，其中
所述生物标记包含吲哚菁绿；以及
其中在所述可见电磁谱外的所述电磁辐射是近红外线辐射。
5.如权利要求1所述的方法，进一步包括：
在叠加之前，设定所述彩色增强图像的亮度与所述去饱和图像的亮度之间的相对亮度。
6.如权利要求5所述的方法，
其中所述相对亮度是预定亮度水平，以及
其中所述可见彩色图像的去饱和处于预定去饱和水平。
7.如权利要求5所述的方法，进一步包括：
在设定步骤之后，接收来自用户界面的输入，所述输入指示将所述彩色增强图像与所述去饱和图像之间的相对亮度改变成不同的相对亮度。
8.如权利要求5所述的方法，进一步包括：
在去饱和步骤之前，接收来自用户界面的输入，所述输入指示改变去饱和水平以将所述外科手术位点的所述可见彩色图像去饱和。
9.如权利要求8所述的方法，
所述输入指示将所述外科手术位点的所述可见彩色图像进行完全去饱和，并且因此所述去饱和图像是黑白图像。
10.如权利要求1所述的方法，其中
所述增强图像是所述外科手术位点的光谱特征的近红外线荧光图像、可见光荧光图像或光栅扫描中的一个，所述光谱特征包括具有空间变化的临床信息。
11.如权利要求1所述的方法，其中
所述增强图像由可测量的组织参数的点测量值形成。
12.如权利要求11所述的方法，其中
所述可测量的组织参数是组织阻抗或预定细胞类型的点检测。
13.如权利要求11所述的方法，其中所述可测量的组织参数是癌细胞的点检测。
14.如权利要求1所述的方法，进一步包括
在叠加之前，对所述彩色增强图像与去饱和图像进行时间配准和空间配准。
15.一种用于在临床图像上显示增强成像数据的设备，所述设备包括：
图像处理器，所述图像处理器被配置成：
将组织的可见彩色图像去饱和成为去饱和图像，所述可见彩色图像是从可见电磁谱光捕获的反射白光图像，所述可见电磁谱光来自病人中的外科手术位点，
用可见彩色为表示从所述外科手术位点捕获的数据的增强图像着色，以形成彩色增强图像，所述数据从可见电磁谱外的光捕获；并且
将所述彩色增强图像和所述去饱和图像叠加到一起，从而形成外科手术位点的合并图像以用于在显示设备上显示；以及
显示设备，其连接到所述图像处理器，所述显示设备被配置成显示所述外科手术位点的所述合并图像。
16.如权利要求15所述的设备，
所述图像处理器进一步被配置成：
用第二可见彩色为表示从所述外科手术位点捕获的第二数据的第二增强图像着色，以形成第二彩色增强图像，所述第二数据从所述可见电磁谱外的光捕获，所述数据与所述第二数据不同，并且所述可见彩色和所述第二可见彩色不同；并且
将所述彩色增强图像、所述第二彩色增强图像和所述去饱和图像叠加到一起，从而形成所述外科手术位点的另一合并图像以用于在显示设备上显示；并且
所述显示设备进一步被配置成显示所述外科手术位点的所述另一合并图像。
17.如权利要求15所述的设备，其进一步包括：
用户界面，其包括用来调整在所述显示装置上显示的所述合并图像中的所述去饱和图像和所述彩色增强图像之间的相对亮度的用户可选择装置。
18.如权利要求16所述的设备，其进一步包括：
用户界面，其包括用于调整在所述显示设备上显示的所述去饱和图像的亮度的第一用户可选择装置以及用于调整在所述显示设备上显示的第二彩色增强图像的亮度的第二用户可选择装置。
19.如权利要求15所述的设备，其进一步包括相机单元，所述相机单元包括：
对可见电磁谱内的波长范围敏感的第一传感器；以及
对可见电磁谱外的波长范围敏感的第二传感器。
20.如权利要求15所述的设备，其中
所述去饱和图像的一部分包括外科手术工具的去饱和图像。
21.如权利要求15所述的设备，进一步包括照射源，所述照射源被配置成提供激发所述外科手术位点中的生物标记的照射，其中所述数据来自激发的生物标记。
22.如权利要求21所述的设备，其中所述生物标记包含吲哚菁绿。
23.如权利要求15所述的设备，其中
所述数据是从表面组织下的骨组织的X射线捕获的数据。
24.一种用于在临床图像上显示增强成像数据的方法，包括：
捕获被可见光照射的外科手术位点的可见彩色图像，所述可见彩色图像是从可见电磁谱光捕获的反射白光图像；
将所述外科手术位点的可见彩色图像去饱和成为可见灰色图像；
捕获所述外科手术位点中的荧光组织的荧光图像，其中捕获的荧光图像以可见彩色显示；以及
产生包括所述荧光图像与所述可见灰色图像一起的叠加以形成所述外科手术位点的合并图像的可显示图像。
25.如权利要求24所述的方法，其中所述去饱和包括：
从所述可见彩色图像去除所有彩色，从而形成所述可见灰色图像。
26.如权利要求24所述的方法，进一步包括：
在捕获所述荧光图像之前，将所述外科手术位点暴露于可见电磁谱外的电磁辐射下。
27.如权利要求24所述的方法，进一步包括：
用所述可见彩色将所述荧光图像中的所述荧光组织着色。
28.如权利要求24所述的方法，进一步包括：
在显示设备上显示所述可显示图像；以及
调整所述可见灰度图像和所述荧光图像中一者或两者的亮度水平。
29.如权利要求24所述的方法，进一步包括：
在显示设备上显示所述可显示图像；以及
调整所述可见彩色图像的去饱和水平。
CN201080044928.XA 2009-10-07 2010-09-30 用于在临床图像上显示增强成像数据的方法和装置 Active CN102576457B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/575,093 US8706184B2 (en) 2009-10-07 2009-10-07 Methods and apparatus for displaying enhanced imaging data on a clinical image
US12/575,093 2009-10-07
PCT/US2010/050980 WO2011043982A1 (en) 2009-10-07 2010-09-30 Methods and apparatus for displaying enhanced imaging data on a clinical image

Publications (2)

Publication Number Publication Date
CN102576457A CN102576457A (zh) 2012-07-11
CN102576457B true CN102576457B (zh) 2015-11-25

Family

ID=43502550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080044928.XA Active CN102576457B (zh) 2009-10-07 2010-09-30 用于在临床图像上显示增强成像数据的方法和装置

Country Status (6)

Country Link
US (1) US8706184B2 (zh)
EP (5) EP2486540B1 (zh)
JP (5) JP5883096B2 (zh)
KR (5) KR101876795B1 (zh)
CN (1) CN102576457B (zh)
WO (1) WO2011043982A1 (zh)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8652186B2 (en) * 2008-06-04 2014-02-18 Restoration Robotics, Inc. System and method for selecting follicular units for harvesting
US9107697B2 (en) * 2008-06-04 2015-08-18 Restoration Robotics, Inc. System and method for selecting follicular units for harvesting
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
JP5818444B2 (ja) * 2010-02-04 2015-11-18 キヤノン株式会社 機能情報取得装置、機能情報取得方法、及びプログラム
US8295693B2 (en) 2010-07-02 2012-10-23 Intuitive Surgical Operations, Inc. Dual optical path prism and camera in a minimally invasive surgical system
US9019345B2 (en) 2010-07-02 2015-04-28 Intuitive Surgical Operations, Inc. Imaging mode blooming suppression
US9037600B1 (en) 2011-01-28 2015-05-19 Yahoo! Inc. Any-image labeling engine
US9218364B1 (en) * 2011-01-28 2015-12-22 Yahoo! Inc. Monitoring an any-image labeling engine
US9841822B2 (en) * 2011-06-28 2017-12-12 Guangzhou Ucweb Computer Technology Co., Ltd. Method for operating mobile device using vibration sensor
CN104582622B (zh) * 2012-04-16 2017-10-13 儿童国家医疗中心 用于外科和介入医疗程序中的跟踪和控制的双模立体成像系统
EP2845137B1 (en) * 2012-04-30 2021-01-20 Global Life Sciences Solutions Usa Llc Systems and methods for performing quality review scoring of biomarkers and image analysis methods for biological tissue
US20130296682A1 (en) * 2012-05-04 2013-11-07 Microsoft Corporation Integrating pre-surgical and surgical images
US20130293690A1 (en) * 2012-05-07 2013-11-07 Eric S. Olson Medical device navigation system stereoscopic display
US20130325805A1 (en) * 2012-06-02 2013-12-05 Dmitriy Tochilnik System and method for tagging and securely archiving patient radiological information
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
US9633272B2 (en) 2013-02-15 2017-04-25 Yahoo! Inc. Real time object scanning using a mobile phone and cloud-based visual search engine
US8983157B2 (en) 2013-03-13 2015-03-17 Restoration Robotics, Inc. System and method for determining the position of a hair tail on a body surface
US9271686B2 (en) * 2013-03-14 2016-03-01 West Virginia University Endorectal prostate probe composed of a combined mini gamma camera and ultrasound sensor
EP3900641A1 (en) 2013-03-14 2021-10-27 SRI International Inc. Wrist and grasper system for a robotic tool
US10383699B2 (en) 2013-03-15 2019-08-20 Sri International Hyperdexterous surgical system
CN105163650B (zh) 2013-05-03 2018-12-07 飞利浦照明控股有限公司 具有经适配的光谱输出的光源
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
KR101630539B1 (ko) * 2014-12-31 2016-06-14 국립암센터 수술현미경용 다중 형광 영상의 실시간 정합 장치 및 방법
CN105225256B (zh) * 2015-06-10 2019-02-01 西安交通大学 一种高灰阶深度图像的显示方法
US10003754B2 (en) 2015-06-18 2018-06-19 Agilent Technologies, Inc. Full field visual-mid-infrared imaging system
WO2017015599A1 (en) 2015-07-23 2017-01-26 Sri International Robotic arm and robotic surgical system
KR101784063B1 (ko) * 2015-08-03 2017-10-11 국립암센터 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
JP6745508B2 (ja) * 2015-09-11 2020-08-26 国立研究開発法人産業技術総合研究所 画像処理システム、画像処理装置、投影装置、及び投影方法
US10614555B2 (en) * 2016-01-13 2020-04-07 Sony Corporation Correction processing of a surgical site image
EP3205254B1 (en) 2016-02-15 2020-11-18 Leica Instruments (Singapore) Pte. Ltd. Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
JP6581923B2 (ja) * 2016-03-03 2019-09-25 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
US11819284B2 (en) 2016-06-30 2023-11-21 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
CN109414180B (zh) * 2016-06-30 2022-01-07 直观外科手术操作公司 在图像引导程序期间以多种模式显示指导信息的图形用户界面
US11602474B2 (en) 2016-11-28 2023-03-14 Verb Surgical Inc. Surgical table base with high stiffness and adjustable support members with force feedback
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
CN110621252B (zh) 2017-04-18 2024-03-15 直观外科手术操作公司 用于监测图像引导程序的图形用户界面
US10792119B2 (en) 2017-05-22 2020-10-06 Ethicon Llc Robotic arm cart and uses therefor
US10806532B2 (en) 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US10856948B2 (en) 2017-05-31 2020-12-08 Verb Surgical Inc. Cart for robotic arms and method and apparatus for registering cart to surgical table
US10485623B2 (en) 2017-06-01 2019-11-26 Verb Surgical Inc. Robotic arm cart with fine position adjustment features and uses therefor
US10913145B2 (en) 2017-06-20 2021-02-09 Verb Surgical Inc. Cart for robotic arms and method and apparatus for cartridge or magazine loading of arms
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10893843B2 (en) 2017-10-10 2021-01-19 Covidien Lp System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US11754712B2 (en) 2018-07-16 2023-09-12 Cilag Gmbh International Combination emitter and camera assembly
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US20200093420A1 (en) * 2018-09-21 2020-03-26 Covidien Lp Surgical imaging system and methods of use thereof
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN113395928A (zh) * 2019-01-25 2021-09-14 直观外科手术操作公司 增强医疗视觉系统和方法
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
CN110101876A (zh) * 2019-05-06 2019-08-09 上海师范大学 新型光声探针在制备医学靶向光声成像试剂或药物中的用途
US11944273B2 (en) 2019-06-20 2024-04-02 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
JP2021021573A (ja) * 2019-07-24 2021-02-18 株式会社島津製作所 イメージング装置
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US20210052161A1 (en) * 2019-08-23 2021-02-25 Rebound Therapeutics Corporation Fluorescence imaging system
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US20210169330A1 (en) * 2019-12-10 2021-06-10 Covidien Lp Lymphatic system tracking
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11744667B2 (en) * 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US20230336847A1 (en) * 2020-02-12 2023-10-19 Axon Enterprise, Inc. Dual mode camera and quasi-bandpass filter
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
US20220058518A1 (en) * 2020-08-23 2022-02-24 Keith Louis DeSanto Using machine learning algorithms and nanotechnology combinations to clean an indoor environment.
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
US11045271B1 (en) 2021-02-09 2021-06-29 Bao Q Tran Robotic medical system
US11436708B1 (en) * 2021-08-19 2022-09-06 Unity Technologies Sf Removing moving objects from a video scene captured by a moving camera
WO2023041469A1 (en) * 2021-09-16 2023-03-23 Surgvision Gmbh Registration of images acquired with different endoscopic units

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278059A (zh) * 2005-07-28 2008-10-01 肿瘤疗法科学股份有限公司 诊断和治疗肾细胞癌的方法
EP2088556A1 (en) * 2008-02-05 2009-08-12 Siemens Aktiengesellschaft Method and system for registration to align at least one preoperative image to at least one intraoperativley acquired image

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US262017A (en) * 1882-08-01 Collar fasteneb
JPS56128133A (en) * 1980-03-14 1981-10-07 Olympus Optical Co Display apparatus of endoscope
JPS60181720A (ja) * 1984-02-28 1985-09-17 Olympus Optical Co Ltd 固体撮像素子内蔵の内視鏡
SE455646B (sv) * 1984-10-22 1988-07-25 Radians Innova Ab Fluorescensanordning
US5177605A (en) * 1987-04-28 1993-01-05 Olympus Optical Co., Ltd. Optical system for endoscopes and endoscopes using same
JP2666856B2 (ja) * 1988-10-15 1997-10-22 オリンパス光学工業株式会社 内視鏡用光源装置
JPH03182185A (ja) * 1989-12-11 1991-08-08 Fujitsu Ltd 赤外線監視システム
US5845639A (en) * 1990-08-10 1998-12-08 Board Of Regents Of The University Of Washington Optical imaging methods
US5438989A (en) 1990-08-10 1995-08-08 Hochman; Darryl Solid tumor, cortical function, and nerve tissue imaging methods and device
JP2641654B2 (ja) * 1991-07-26 1997-08-20 オリンパス光学工業株式会社 内視鏡装置
JPH05228098A (ja) * 1992-02-20 1993-09-07 Asahi Optical Co Ltd 測温内視鏡
US5711755A (en) * 1995-04-14 1998-01-27 Vipera Systems, Inc. Endoscopic diagnostic systems and associated methods employing infrared radiation
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
JP4733264B2 (ja) * 1998-02-11 2011-07-27 ノン−インヴェイシヴ テクノロジイ，インク． 胸部腫瘍の検出、画像形成および特徴表示
JP2000209425A (ja) * 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
US6652452B1 (en) * 1999-10-25 2003-11-25 Advanced Medical Electronics Corporation Infrared endoscope with sensor array at the distal tip
JP2001299676A (ja) * 2000-04-25 2001-10-30 Fuji Photo Film Co Ltd センチネルリンパ節検出方法および検出システム
US6748259B1 (en) * 2000-06-15 2004-06-08 Spectros Corporation Optical imaging of induced signals in vivo under ambient light conditions
US6678398B2 (en) * 2000-09-18 2004-01-13 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP2002102145A (ja) * 2000-09-28 2002-04-09 Asahi Optical Co Ltd 電子内視鏡システム
JP3809058B2 (ja) * 2000-10-05 2006-08-16 ペンタックス株式会社 電子内視鏡装置
JP3876972B2 (ja) * 2001-10-12 2007-02-07 株式会社デンソー 案内画像生成装置、案内画像表示装置、ナビゲーション装置、及びプログラム
US8620410B2 (en) 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
WO2003077749A2 (en) * 2002-03-12 2003-09-25 Beth Israel Deaconess Medical Center Medical imaging systems
JP2003290128A (ja) 2002-03-29 2003-10-14 Olympus Optical Co Ltd センチネルリンパ節検出方法
JP2004208716A (ja) * 2002-12-26 2004-07-29 Ge Medical Systems Global Technology Co Llc Ｘ線撮像システム
US8473035B2 (en) * 2003-09-15 2013-06-25 Beth Israel Deaconess Medical Center Medical imaging systems
JP4534459B2 (ja) * 2003-10-10 2010-09-01 株式会社島津製作所 外科用ｘ線装置
JP4716673B2 (ja) * 2004-05-21 2011-07-06 オリンパス株式会社 蛍光内視鏡装置
JP2006014868A (ja) * 2004-06-30 2006-01-19 Hamamatsu Photonics Kk リンパ節検出装置
JP2006026015A (ja) * 2004-07-14 2006-02-02 Fuji Photo Film Co Ltd 光断層画像取得システム
JP2006043196A (ja) * 2004-08-05 2006-02-16 Pentax Corp 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2006263044A (ja) * 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
US7480402B2 (en) * 2005-04-20 2009-01-20 Visionsense Ltd. System and method for producing an augmented image of an organ of a patient
EP3162318B1 (en) * 2005-10-20 2019-10-16 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
JP2007199542A (ja) * 2006-01-30 2007-08-09 Matsushita Electric Ind Co Ltd 投射型表示装置
JP2009136454A (ja) * 2007-12-05 2009-06-25 Olympus Corp 内視鏡システム
CA2713113A1 (en) * 2008-01-24 2009-07-30 Lifeguard Surgical Systems Common bile duct surgical imaging system
JP5232802B2 (ja) * 2008-02-22 2013-07-10 株式会社日立メディコ 移動型ｘ線装置
EP2096859B1 (en) * 2008-02-26 2015-04-22 Given Imaging Ltd. Method for enhancing in-vivo image contrast
JP5027011B2 (ja) * 2008-02-29 2012-09-19 富士フイルム株式会社 胸部画像回転装置および方法並びにプログラム
JP5229723B2 (ja) * 2008-05-22 2013-07-03 富士フイルム株式会社 蛍光画像取得装置
US20090289200A1 (en) * 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278059A (zh) * 2005-07-28 2008-10-01 肿瘤疗法科学股份有限公司 诊断和治疗肾细胞癌的方法
EP2088556A1 (en) * 2008-02-05 2009-08-12 Siemens Aktiengesellschaft Method and system for registration to align at least one preoperative image to at least one intraoperativley acquired image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enhancement of Cancerous/Normal Tissue Contrast via Combined White Light and Fluorescence Image Processing:Initial Investigation ex vivo;Angelos A. Kalitzeos等;《Novel Optical Instrumentation for Biomedical Applications IV》;20090614;第7371卷;参见摘要，正文第2页第16-20行，图1A、2A、1C、2C *

Also Published As

Publication number Publication date
EP2486540A1 (en) 2012-08-15
EP4191518A1 (en) 2023-06-07
US8706184B2 (en) 2014-04-22
KR102069258B1 (ko) 2020-01-22
KR20190037374A (ko) 2019-04-05
KR101876795B1 (ko) 2018-07-10
JP6671442B2 (ja) 2020-03-25
KR101763833B1 (ko) 2017-08-01
KR102172702B1 (ko) 2020-11-02
US20110082369A1 (en) 2011-04-07
JP5883096B2 (ja) 2016-03-09
EP3965057B1 (en) 2022-11-02
EP3731176A1 (en) 2020-10-28
EP3731176B1 (en) 2021-11-17
EP3109822A1 (en) 2016-12-28
JP2013507182A (ja) 2013-03-04
KR20170091168A (ko) 2017-08-08
EP3109822B1 (en) 2020-07-22
JP6212141B2 (ja) 2017-10-11
CN102576457A (zh) 2012-07-11
KR20200008067A (ko) 2020-01-22
KR20180081168A (ko) 2018-07-13
JP2015006442A (ja) 2015-01-15
EP3965057A1 (en) 2022-03-09
JP2016101528A (ja) 2016-06-02
WO2011043982A1 (en) 2011-04-14
KR101965753B1 (ko) 2019-04-04
JP2017213451A (ja) 2017-12-07
JP5662457B2 (ja) 2015-01-28
JP6419277B2 (ja) 2018-11-07
JP6778807B2 (ja) 2020-11-04
JP2020072873A (ja) 2020-05-14
KR20120092573A (ko) 2012-08-21
EP2486540B1 (en) 2016-09-07
JP2018202266A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
CN102576457B (zh) 用于在临床图像上显示增强成像数据的方法和装置
US20210259553A1 (en) Computer systems and media for complementary color flashing for multichannel image presentation
CN107072644B (zh) 成像装置
JP6485275B2 (ja) イメージング装置
JP6512320B2 (ja) イメージング装置
JP5809850B2 (ja) 画像処理装置
JP6295915B2 (ja) イメージング装置
JP5662457B6 (ja) 臨床画像上に強調された画像化データを表示するための方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant