CN102958426B - 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 - Google Patents

具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 Download PDF

Info

Publication number
CN102958426B
CN102958426B CN201180030716.0A CN201180030716A CN102958426B CN 102958426 B CN102958426 B CN 102958426B CN 201180030716 A CN201180030716 A CN 201180030716A CN 102958426 B CN102958426 B CN 102958426B
Authority
CN
China
Prior art keywords
perceived color
composition
component
part diagram
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180030716.0A
Other languages
English (en)
Other versions
CN102958426A (zh
Inventor
I·M·麦克道尔
C·J·哈瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN201510505335.3A priority Critical patent/CN105231976B/zh
Publication of CN102958426A publication Critical patent/CN102958426A/zh
Application granted granted Critical
Publication of CN102958426B publication Critical patent/CN102958426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

在微创手术系统中，手术部位同时由比构成可见白光的所有可见颜色成分更少的成分和来自照射器的荧光激发照射成分照射。图像捕获系统采集照射手术部位的每种可见颜色成分的图像以及荧光图像，荧光图像由来自照射器的荧光激发照射成分激发。微创手术系统使用采集的图像生成手术部位的背景黑白图像。采集的荧光图像被叠加在背景黑白图像上，并且以选择的颜色（例如绿色）加以突显。为系统的使用者显示叠加有被突显的荧光图像的背景黑白图像。被突显的荧光图像确定感兴趣的临床组织。

Description

具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统
相关申请
本申请要求下列优先权和利益：
2010年7月2日提交题为“METHOD AND SYSTEM FORFLUORESCENT IMAGING WITH BACKGROUND SURGICALIMAGE COMPOSED OF SELECTIVE ILLUMINATION SPECTRA”发明人为Ian McDowall和Christopher J.Hasser美国临时申请No.61/361260，该申请全部内容包含在此以供参考。
技术领域
该发明各方面涉及内窥镜成像，更具体地涉及混合可见光图像和可选图像，以便为外科医生提供增强的实时视频显示。
背景技术
加利福利亚森尼维尔的直观外科手术公司(Intuitive Surgical.Inc.)出售的手术系统是一种微创远程操作手术系统，其为患者提供许多好处，比如降低对身体的损伤、加快恢复和缩短住院时间。da手术系统的一个重要组成部分是能够提供对可见光图像的双通道(即左和右)视频采集和显示，从而为外科医生提供立体观察。
这种电子立体成像系统可以向外科医生输出高清晰度视频图像，并且可允许例如改变焦距/缩放以提供一种“放大”的视图的特征，该特征允许外科医生确定特定的组织类型和特性，并且以增加的精确度工作。然而，在典型的外科手术领域中，某些组织类型难以确定，或者感兴趣组织至少部分地被其他组织遮掩。
通过使用画中画(PIP)显示，可向外科医生同时显示手术部位的额外的图像信息。额外的图像信息可能对于为外科医生提高手术效果来说是有用的。然而，PIP显示中的较小图画可能对于示出理想水平的详细信息而言太小。此外，由于是分离的图像帧，所以外科医生凭想象将两个分离的图像或者成像模态合并在一起，这会很疲劳。
发明内容
在一个方面中，在微创手术系统中，手术部位同时被(i)比组成可见白光(有时被称为白光)的所有可见颜色照射成分更少的成分，以及(ii)来自照射器的荧光激发照射成分照射。微创手术系统中的图像捕获系统采集照射手术部位的每个可见颜色成分的图像，以及由荧光激发照射成分激发的荧光图像。微创手术系统使用针对来自照射器的每个可见颜色照射成分的采集的图像，生成手术部位的背景黑白图像。该背景黑白图像被称为受限带宽图像。
采集的荧光图像被叠加在背景黑白图像上，并且以选择的颜色(例如绿色)突显。为系统的使用者显示带有叠加的被突显的荧光图像的背景黑白图像，在此被称为增强显示。被突显荧光图像确定感兴趣的临床组织。
在使用微创手术系统执行外科手术中，向外科医生实时提供具有叠加的被突显的荧光图像的受限带宽图像。该新颖方法不会带来时间延迟，该时间延迟与在一个帧内捕获正常图像以及在另一个帧内捕获荧光图像然后使用在不同时间点取得的两个帧生成向外科医生显示的单个帧有必然联系。同样，本文描述的新颖方法不会导致延迟或者组合不同时间点采集的两个帧的时间不足。
增强显示的处理不会引入任何延迟，并且无需为随后处理后来的帧存储帧。因此，相对于利用时间分片将荧光图像叠加到立体可视图像上的系统，降低了系统的存储和处理要求。
同样，图像的突显部分始终与背景图像同步。相比之下，当包括荧光图像的帧被存储并且然后与及时与稍后出现的帧配准时，在帧之间可以改变被突显的组织的位置，所以当被显示时，被突显的图像偏离实际位置。因此，该新颖方法对于显示移动的组织(例如脉管系统)是优越的，其中包含时间采集失配的方法将导致显示的运动伪影，这会扰乱外科医生。
在一个示例中，多个可见颜色照射成分组合形成白光。微创手术系统中的照射器同时提供至少两个照射成分。当照射成分中的一个为荧光激发照射成分时，由照射器提供的其他照射成分包括比多个可见颜色照射成分中的所有可见颜色照射成分更少的成分。
在微创手术系统中，摄像机基本同时捕获第一采集成分图像和不同于第一采集成分图像的第二采集成分图像。控制器被连接至摄像机，以接收采集成分图像。在此，基本同时表示这样的同时程度，即该程度能够考虑摄像机中的元件响应发至摄像机的捕获触发信号的时间差异。
在一个方面中，控制器生成受限带宽图像的第一、第二和第三可见颜色成分。这些可见颜色成分的每个包括或者来自第一采集成分图像。控制器将第二采集成分图像添加至受限带宽图像的第二可见颜色成分，以便第二可见颜色成分包括第一采集成分图像和第二采集成分图像两者。受限带宽图像不包括由多个可见颜色照射成分中的至少一个可见颜色照射成分产生的采集的可见颜色成分图像。
控制器生成包括受限带宽图像的图像，其中受限带宽图像被发送至连接至控制器的显示器。在该方面，显示器接收来自控制器的第一、第二和第三可见颜色成分。显示器示出包括受限带宽图像的图像。相对于不包括第二采集成分图像的图像部分，突显包括第二采集成分图像的图像部分。
在一个方面中，其他照射成分包括第一可见颜色照射成分。第一采集成分图像是采集的第一可见颜色成分图像，而第二采集成分图像是由荧光激发照射成分激发的荧光图像。
在另一个方面中，其他照射成分包括第一可见颜色照射成分和第二可见颜色照射成分。在该方面中，摄像机还捕获第三采集成分图像。第一采集成分图像是采集的第一可见颜色成分图像。第二采集成分图像是采集的荧光图像。第三采集成分图像是采集的第二可见颜色成分图像。控制器生成来自采集的第一和第二可见颜色成分图像的受限带宽图像的第一、第二和第三颜色成分。在一个示例中，第一可见颜色成分是蓝色成分，以及第二可见颜色成分是绿色成分。
在又一个方面中，其他照射成分是第一可见照射成分和第二荧光激发照射成分。此外，在该方面中，摄像机捕获第三采集成分图像。第一采集成分是采集的第一可见颜色成分图像。第二采集成分图像是采集的第一荧光图像。第三采集成分图像是采集的第二荧光图像。控制器将第三采集图像添加至受限带宽图像的第三可见颜色成分。
在一个方面中，照射器包括第一可见颜色照射成分源、第二可见颜色照射成分源以及第三可见颜色照射成分源，其中第二可见颜色照射成分不同于第一可见颜色照射成分，其中第三可见颜色照射成分不同于第二可见颜色照射成分，并且不同于第一可见颜色照射成分。照射器还包括荧光激发照射源。
微创手术系统还包括功率水平和电源控制器，其连接至第一、第二和第三可见颜色成分照射源，并且连接至荧光激发照射源。模式改变器被耦合至功率水平和电源控制器。模式改变具有第一状态和第二状态。
当模式改变器具有第一状态时，功率水平和电源控制器(a)向第一、第二和第三可见颜色照射成分源提供功率，而不向荧光激发源提供功率，以及(b)第一、第二和第三可见颜色照射成分源具有第一照射水平。当模式改变器具有第二状态时，功率水平和电源控制器(a)向第一可见颜色照射成分源提供功率，向第二可见颜色照射成分源的至少部分和该荧光激发源提供功率，而不向第三可见颜色照射成分源提供功率，以及(b)降低第一可见颜色照射成分源和第二可见颜色照射成分源的照射水平。
在微创手术系统中生成增强图像显示的方法中，控制器生成包括第一采集成分图像的受限带宽图像的第一可见颜色成分。控制器还生成包括第一采集成分图像的受限带宽图像的第二可见颜色成分。控制器将第二采集成分图像添加至第二可见颜色成分。第二采集成分表示由来自第一荧光激发照射源的照射激发的荧光。控制器生成包括第一采集成分图像的受限带宽图像的第三可见颜色成分。受限带宽图像不包括由白光的多个可见颜色照射成分中的一个可见颜色照射成分产生的采集的可见颜色成分图像。
本方法在显示屏上显示包括受限带宽图像的图像。相对于不包括第二采集成分图像的图像部分，突显包括第二采集成分图像的图像部分。
在微创手术系统中生成增强图像显示的方法的另一个方面中，在处理器上执行增强图像校正模块。执行生成方法，该方法在多个可见颜色成分输入端的第一可见颜色成分输入端上接收采集的第一可见颜色成分图像。该方法还在多个可见颜色成分输入端的第二可见颜色成分输入端上接收采集的荧光图像。
该方法在第一可见颜色成分输出端上，生成第一信号，该第一信号包括该采集的第一可见颜色成分图像。在第二可见颜色成分输出端上，生成第二信号，该第二信号包括采集的第一可见颜色成分图像和采集的荧光图像的组合。同样，在第三可见颜色成分输出端上，生成第三信号，该第三信号包括采集的第一可见颜色成分图像。第一、第二和第三信号的组合是包括受限带宽图像和荧光图像的图像。
该方法还在多个可见颜色成分输入端的第三可见颜色成分输入端上，接收采集的第二可见颜色成分图像。在该方面中，第一和第三信号包括采集的第一可见颜色成分图像和采集的第二可见颜色成分图像的组合。第二信号包括采集的荧光图像加上采集的第一可见颜色成分图像和采集的第二可见颜色成分图像的组合。
在不同的方面中，该方法在多个可见颜色成分输入端的第三可见颜色成分输入端上，接收采集的第二荧光图像。在该方面中，第三信号是采集的第一可见颜色成分图像和采集的第二荧光图像的组合。
附图说明
图1示出微创远程操作手术系统的高度概略的视图，其中该手术系统包括增强的立体可视系统。
图2示出增强的立体可视系统的硬件和软件(图像处理和用户界面)方面的示意图。
图3示出通过使用例如图1所示微创远程操作手术系统的增强立体可视系统执行的过程的流程图。
图4示出图2和图3中系统中的时序、同步和捕获的一个方面。
图5A示出使用图2的系统采集的正常颜色立体图像的表示。
图5B示出带有突显的叠加荧光图像的受限带宽立体图像的表示，该受限带宽立体图像使用图2的系统采集。
图6是图2所示增强图像校正过程的一个方面的方框图。
图7示出图2和图3所示系统中的时序时、同步和捕获的另一个方面。
图8是图2所示增强图像校正过程的另一个方面的方框图。
在附图中，参考标记的第一个数字指示带有该参考标记的元件在其中首次出现的附图。
具体实施方式
如本文使用的，电子立体成像包括使用两个成像通道(即，左图像和右图像的通道)。
如本文使用的，立体光学路径包括用于传输来自组织的光的内窥镜中的两个通道(例如，左图像和右图像的通道)。在每个通道中被传输的光代表组织的不同视图。光能够包括一个或者更多图像。在不失一般性或者适用性的情况下，下面更完整地描述的各方面还能够被用于场序(field sequantial)立体声采集系统和/或场序显示系统的背景中。
如在本文中所使用的，照射路径包括向组织提供照射的内窥镜中的路径。
如在本文中使用的，在可见的电磁辐射光谱中捕获的图像被称为采集的可见光图像。
如在本文中使用的，白光为可见白光，其由三种(或者更多种)可见颜色成分组成，例如，红色可见颜色成分、绿色可见颜色成分以及蓝色可见颜色成分。因此，白光具有多个可见颜色成分。如果由照射器提供可见颜色成分，则可见颜色成分被称为可见颜色照射成分。白光还可以指可见光谱中的一个更连续的光谱，例如，如同可从加热的钨丝中看见的。
如在本文中使用的，使用照射器生成的黑白图像被称为受限带宽图像，其中照射器提供的成分比白光的所有多个可见颜色照射成分要少。
如在本文中使用的，由于荧光而被捕获的图像在本文中被称为采集的荧光图像。存在多种荧光成像形式。例如，由使用可注射染料、荧光蛋白或者荧光标记抗体而导致荧光。例如，可由激光或者其他能量源激发导致荧光。荧光图像能够提供对于手术关键的患者体内的重要信息，诸如病理信息(例如，荧光肿瘤)或解剖信息(例如，荧光标记肌腱)。
通过合并立体的正常可见光图像以及具有荧光图像叠加在其上的可替换立体的受限带宽可见光图像两者，本发明的各方面增强了微创手术系统的立体视频捕获和查看能力，该微创手术系统例如加利福利亚Sunnyvale的直观外科手术公司出售的da微创远程操作手术系统。(da是加利福利亚Sunnyvale的直观外科手术公司的注册商标)。带有叠加的被突显荧光图像的立体受限带宽可见光图像提供具有病理信息和/或被突显用于手术的解剖信息手术部位的立体图像。被突显的荧光图像确定临床感兴趣的组织。
带有叠加的突显的荧光图像的立体受限带宽图像被实时提供给正使用微创远程操作手术系统执行外科手术的外科医生。连续采集方法(也被认为是时间分片)引发延迟，该延迟与捕获一个帧中的立体图像和另一个帧中的荧光图像然后使用在不同时间点取得的两个帧生成为外科医生显示的单个帧有关。因此，相对于使用时间分片在立体颜色可见光图像上叠加荧光图像的系统，本文中描述的系统的存储器和处理要求被降低。
立体的受限带宽可见光图像是通过使用比形成白光的所有多个可见颜色照射成分更少的成分形成的，所以损失了受限带宽可见光图像中的颜色信息，但是细节上存在小的损失或者没有损失。立体的受限带宽可见光图像足以确定解剖体、组织界标和手术器械，以便该图像允许手术器械的安全操作。由于具有受限带宽可见光图像，与荧光图像相比，不存在由于可见颜色照射成分的干扰而引起的损失。
荧光图像覆盖在受限带宽可见光图像上，并且颜色被增加，从而提供提高的关于手术部位的信息量，这降低了伤害患者的风险，并且提高了手术效率。这种立体受限带宽可见光图像和被突显的荧光图像的组合提供多种益处，包括但不限制于，允许外科医生实时确定用于患病组织切除的阳性肿瘤界限，以及确定例如肌腱的其他组织，从而避免不必要地切割该组织。
可以向外科医生连续地显示立体的受限带宽图像和荧光图像的组合。可替换地，可以在打开和关闭之间切换两种图像的覆叠(例如，在da手术系统外科医生控制台上，通过使用踏板或者通过双击主控手指抓握器)。
图1示出微创远程操做手术系统100的高度概略的视图，该系统100例如da手术系统，其中该手术系统100包括增强的立体可视系统。在该示例中，使用外科医生控制台114的外科医生远程操纵被安装在机器人操纵器臂113上的内窥镜112。还有与da手术系统相关的其他部分，缆线等等，但是这些在图1中并未示出，以避免削弱本公开。关于微创手术系统的进一步信息可以在例如，美国专利申请No.11/762165(2007年6月13日提交；公开微创手术系统)和美国专利US6331181(2001年12月18日提交；公开外科手术机器人工具、数据架构和使用)中找到，其中这两个申请包含在此以供参考。
如下面更为完整解释的，照射系统(未示出)有时被称为照射器，其被耦合至内窥镜112。照射系统选择性地提供下列中的一个(a)白光照射和(b)比白光的所有可见颜色照射成分更少的成分和至少一种荧光激发照射成分。来自照射系统的光通过光纤束(参看图2中的光纤束216)耦合至内窥镜112中的至少一个照射路径。光通过内窥镜112中的至少一个照射路径并且照射患者111的组织103。
在一个方面中，内窥镜112还包括两个光学通道，其用于传递来自组织的光例如反射的白光，或者是来自(多个)可见颜色照射成分和荧光的反射光。反射的白光被用于形成一个或多个正常的可见光图像。如下面更为完整解释的，来自(多个)可见颜色照射成分的反射光被用于形成受限带宽可见光图像。
当照射源正提供白光照射时，在图像捕获系统120中，自组织103反射的白光作为正常的采集的可见颜色立体图像被捕获。然而，当外科医生想要看到增强图像时，外科医生将观察模式改变到增强的观察模式。
在增强的观察模式中，断开白光的多个可见颜色照射成分中的至少一个，以便照射源提供比白光的所有可见颜色照射成分更少的成分。例如，如果使用白光的三种可见颜色照射成分，照射源提供最多两种可见颜色照射成分。因此，在增强的观察模式的该方面，使用一种或者两种可见颜色照射成分照射组织103，例如使用比白光的所有多个可见颜色照射成分更少的成分以及荧光激发照射成分。
在增强的观察模式中，采集的左和右可见颜色成分图像通过针对由照射器提供的每个可见颜色成分的元件121捕获，并且荧光被元件122捕获作为左和右荧光图像。除了可以阻止荧光的任何一个或多个滤波器被移除之外，图像捕获系统120是常规的图像捕获系统，并且一个或多个滤波器可以被用于阻止捕获来自一个或多个荧光激发源的任何直射光或者反射光。
显示图像控制器130从图像捕获系统120接收采集的信息。当采集的信息是正常可见颜色立体图像时，显示图像控制器130处理采集的正常可见颜色立体图像，其包括颜色校正采集的图像，并且将经颜色校正的采集的可见颜色立体图像发送至外科医生控制台114处的观察者，该控制台114显示图像。
类似地，在增强的观察模式中，显示图像控制器130从图像捕获系统120接收采集的信息，即由照射源提供的每个可见颜色成分的采集的可见立体颜色成分图像和采集的左和右荧光图像。在增强的观察模式中，显示图像控制器130使用增强图像校正过程代替正常颜色校正处理。
增强图像校正过程使用采集的(多个)可见立体颜色成分的图像生成受限带宽图像。例如，如果照射源提供两个可见颜色照射成分，即第一可见颜色照射成分和第二可见颜色照射成分，采集的可见颜色成分图像是采集的第一可见颜色成分图像和采集的第二可见颜色成分图像的组合。
显示图像控制器130中的增强图像校正过程组合了采集的第一和第二可见颜色成分图像，并且将该组合提供至外科医生控制台114上的显示器的每个颜色成分输入端。显示器生成受限带宽图像。因为图像不包括针对第三可见颜色照射成分的采集的可见颜色成分图像，所以图像为受限带宽图像。
另外，增强图像校正过程将采集的荧光图像添加至显示器的颜色成分输入端中的一个，以便颜色成分输入端中的一个接收荧光图像加上采集的第一和第二可见颜色成分图像的组合。输入到显示器的另外两个颜色成分输入端仅接收采集的第一和第二可见颜色成分图像的组合。在该示例中，如果荧光图像被添加至绿色成分，外科医生看到手术部位的类似立体黑白图像，其中在该黑白图像中组织或者其他解剖特征生成突显为绿色的荧光。
现在共同参考图2至图4，图2为图1所示微创手术系统100的一个示例的各方面的更详细说明。图3是图2中系统操作的流程图，而图4是在图2所示系统中的照射组织和捕获图像的时序图。
在图2所示实施例中，微创手术系统200包括组合光源210的照射器。组合光源210包括可见颜色成分源211和荧光激发源212。只要组合光源210具有下列更为完整描述的能力，源211和212的具体实现方式就是不重要的。
在照射组织过程302(图3)中，组合光源210与立体内窥镜201中的至少一个照射路径一起使用，以照射组织203。在该示例中，组合光源210具有两种操作模式：正常的观察模式和增强观察模式。
在正常的观察模式中，可见颜色成分源211提供用以白光照射组织203的照射，即，使用源211中的所有可见颜色照射成分源。在正常的观察模式中不使用荧光激发源212。
在增强观察模式中，可见颜色成分源211提供比需要用白光照射组织203的所有可见颜色成分更少的成分，例如，在照射中不包括白光的一种或者更多可见颜色成分。在一些方面，例如，可能的是在增强的观察模式中使用白光的所有可见颜色照射成分，但是包括来自一个或者更多可见颜色照射成分源的微不足道的照射，以及来自其余的可见颜色成分照射源的增强的观察模式照射。微不足道的照射意味着可见颜色照射成分源提供的照射低得足以使得当微不足道的照射图像和荧光被一起采集作为共同采集的图像时，采集的微不足道的照射图像不会降低采集的荧光图像的质量。因此，提供针对一个或者更多可见颜色照射成分的微不足道的照射实际上等同于使用比白光的所有可见颜色成分更少的成分来照射组织。
在一个方面中，三个可见颜色成分组成白光照射，即白光包括第一可见颜色成分、第二可见颜色成分和第三可见颜色成分。三个可见颜色成分的每个为不同可见颜色成分，例如红色成分、绿色成分和蓝色成分。使用三种可见颜色成分以形成白光照射是多个这种成分的示意说明，而不是意图限制。
在增强观察模式中，荧光激发源212提供激发来自组织203的荧光的荧光激发照射成分。例如，来自荧光激发源212的窄带光被用于激发组织特定的荧光，以便捕获组织203内的特定组织的荧光图像。
在增强的观察模式中，由可见颜色成分源211提供的可见颜色照射成分的数量取决于捕获的不同荧光图像的数量。在该示例中，如果捕获一个荧光图像，则由可见颜色成分源211提供一个或者两个不同的可见颜色照射成分。如果捕获两个不同的荧光图像，则由可见颜色成分源211提供一个可见颜色照射成分。
在一个方面中，可见颜色成分源211包括针对在白光的多个可见颜色照射成分中的每个不同可见颜色照射成分的源。在一个示例中，对于红绿蓝实现方式，该源是发光二极管(LED)，即一个红色LED、两个绿色LED以及一个蓝色LED。表1给出在该示例中使用的每个LED的输出波长的范围。
表1
可见颜色照射成分 波长
红色 670纳米(nm)
绿色1 555nm
绿色2 532nm
蓝色 450nm
在可见颜色成分源211中使用LED仅是示意说明，并非意图限制。例如，还能够用多个激光源替代LED来实现可见颜色成分源211。可替换地，可见颜色成分源211能够使用带有椭圆后向反射器的氙气灯和带通滤波器涂层，从而形成用于可见光图像的宽带白色照射灯。氙气灯的使用同样仅作为示意说明，并不是意图限制。例如，可以使用高压水银弧光灯、其他弧光灯或者其他宽带灯源。在增强的观察模式中，为了从这种源中除去一个或者更多个可见颜色照射成分，带通滤波器、棱镜等能够被并入组合光源210。
同样地，在增强模式中，如果荧光激发波长出现在可见光谱内，那么可见颜色成分源211(图3B)可以被用作可见颜色照射成分源和荧光激发照射成分源。如果荧光激发波长出现在可见光谱外(例如，在近红外区(NIR))，则激光模块(或者其他能量源，例如发光二极管或者被过滤的白光)被用作荧光激发源212。
因此，在一个方面中，荧光由来自荧光激发源212中的激光模块的光触发。作为示例，使用525nm的激光激发抗体试剂，该抗体试剂从Medarex公司获得。
为组合光源210选择的特定荧光激发源取决于所用的一种或者多种荧光。在表2中呈现体内使用的各种FDA的激发和发射最大值，其中FDA是经批准的荧光染料。
表2
荧光染料 激发最大值(nm) 发射最大值(nm)
荧光素 494 521
靛青绿 810 830
蓝胭脂红 在碱性溶液中436 在碱性溶液中528
亚甲蓝 664 682
表3呈现出用于生物系统中的常见的蛋白质荧光团的示例。
表3
**近似激发和荧光发射共轭最大值。
本领域技术人员理解荧光能够被结合到试剂，然后又结合至患者的特定组织。当选择特定的荧光团时，组合光源210包括荧光激发源212，其为该荧光提供具有激发最大波长的光。因此，假设使用感兴趣的一种或多种荧光团以及许多不同的荧光团，适当的光源能够被包括在组合光源210中。
上述表2和表3中的示例仅为示意说明，并不意图将该方面限制于所呈现的特定示例。鉴于该公开，能够选择可替换的组织成像特性，然后基于被使用的荧光，能够选择适当的光源。
在正常的或者增强的观察模式中，来自光源或者多个光源的光被导入光纤束216。光纤束216将光提供至立体内窥镜201中的照射路径，该照射路径又将光导向到组织203。
通过使用例如脚踏开关、控制手术器械的双击主控抓握器、声音控制以及其他类似开关方法，可以在正常和增强的观察模式之间切换立体显示器241上的视频输出。用于在两种观察模式之间转换的切换在图2中表示为显示模式选择250。
响应于来自显示模式选择250的用户输入，在用户界面260中信号被提供至观察模式检查过程301(图3)，当选择正常观察模式时，又将控制信号提供至照射组织过程302。在一个方面中，由计算机代码生成用户界面260，其中计算机代码被存储在存储器132中，在处理器131上执行(图1)。
在一个方面中，正常观察模式为默认模式。在该方面在，显示模式选择250不会被使用，直到外科医生想要将观察模式从正常观察模式改变到增强观察模式，或者从增强观察模式改变到正常观察模式。
在正常观察模式中，照射组织过程302将正常观察模式操作信号发送至组合光源210中的功率和水平控制器215。示出功率和水平控制器215位于组合光源210中是为了简便，并不是意图将功率和水平控制器215的位置限制于该具体位置。
响应于正常观察模式操作信号，如果源212被打开，功率和水平控制器215断开荧光激发源212，并且使能可见颜色成分源211，以便向组织203提供白光。例如，当可见颜色成分源211包括三种可见颜色照射成分源时，向三种源的每个提供动力/功率。本领域技术人员认识到对于210中的各种源，代替接通和断开动力/功率，控制器215能够维持动力/功率始终接通，并且将来自源的输出导向到光纤束216和离开光纤维216导向，并且实现相同的结果。
因此，在正常观察模式中，照射组织过程302导致组织203被白光照射。在图4所示照射的图中，水平轴线为时间，竖直轴线代表源输出水平。三种可见颜色照射成分中的每种在正常观察模式操作过程中的源输出水平被定义为100％。因此，对于图4中时刻t1之前的时刻，来自三种可见颜色照射成分中的每个的输出水平被显示为100％，并且荧光激发照射成分的输出水平为零。
来自组织203的可见光(图2)通过内窥镜201中的立体光学路径，到达图像捕获系统220。在该方面中，图像捕获系统220包括常规的立体摄像机，其包括左图像电荷耦合装置(CCD)221A和右图像CCD222A。
因此，在正常观察模式中的捕获图像过程303(图3)中，左图像CCD 221A捕获可见光左图像421A(图4)，并且右图像CCD 222A捕获可见光右图像422A。左图像CCD 221A捕获可见光左图像421A的红色、绿色以及蓝色图像，即采集的左图像为彩色图像。类似的，右图像CCD 222A捕获可见光右图像422A的红色、绿色以及蓝色图像。
左图像CCD 221A和右图像CCD 222A能够是每个捕获不同可见颜色成分的多个CCD；具有捕获特定可见颜色成分的不同CCD区域的单个CCD等。仅示出三芯片CCD传感器。还可以使用带有颜色滤波阵列的单个CMOS图像传感器或者三CMOS彩色图像传感器组件。
在正常观察模式中，为显示图像控制器230(图2)提供采集的正常可见左可见光图像421A和采集的正常可见光右图像422A(图4)，其中显示图像控制器230执行图像处理过程304(图3)。在图像处理过程304中，颜色图像校正过程231处理采集的正常可见左可见光图像421A和采集的正常可见光右图像422A。经颜色校正的采集的正常可见左可见光图像和经颜色校正的采集的正常可见光右图像被发送至立体显示器241，并且在生成组织立体视频显示过程305中显示立体彩色图像。
正常观察模式中的处理等价于常规的微创手术系统中的处理，因此被本领域技术人员所知晓。同样地，为每个帧重复执行过程301至305，以便外科医生看到组织203的实时视频图像。
在正常观察模式过程中，给外科医生提供组织203A的正常三维彩色视图500A(图5A)。然而，外科医生可能希望看到在组织203A的三维视图中被突显的组织203A中的感兴趣区域或者多个感兴趣区域。例如，外科医生可能希望看到组织203A和/或特定组织(例如肌腱或者器官)的患病部分。因此，在时刻t1处(图4)，外科医生使用显示模式选择250将观察模式变为增强观察模式。
响应于来自显示模式选择250的用户输入，增强的显示选择信号被提供至用户界面260中的观察模式检查过程301。响应于增强的显示选择信号，检查过程301将增强图像控制信号提供至照射组织过程302和图像处理过程304。
响应于增强的显示控制信号，照射组织过程302将增强的显示信号发送至组合光源210中的功率和水平控制器215。响应于增强的显示信号，功率和水平控制器215接通荧光激发源212，并且在该示例中，断开可见颜色成分源211中的第三可见颜色照射成分，以便仅第一和第二可见颜色照射成分和荧光激发照射成分被供应至光纤束216。
因此，使用第一和第二可见颜色照射成分，而不是第三可见颜色照射成分照射组织203。还可以使用荧光激发照射成分212照射组织203。
同样地，在一个实施例中，功率和水平控制器215降低第一和第二可见颜色照射成分的输出水平，例如将输出水平降低到十分之一。因此，如图4所示，在时刻t1之后，第一和第二可见颜色照射成分的输出水平相对于时刻t1之前的输出水平降低，并且第三可见颜色成分照射输出水平为零。同样地，接通荧光激发照射成分。
在该示例中，通过CCD或者部分CCD，为第三可见颜色成分捕获由荧光激发照射成分激发的荧光。例如，如果荧光处于近红外区，第三可见颜色成分为红色成分，并且第一和第二可见颜色成分为蓝色和绿色成分。
可替换地，如果荧光处于绿色可见颜色成分的范围内，第三可见颜色照射成分将是绿色可见颜色成分，并且在源211中将被断开，并且第一和第二可见颜色成分为红色和蓝色成分。如果荧光处于紫外线范围，第三可见颜色照射成分将是蓝色成分，并且在源211中将被断开，并且第一和第二可见颜色成分为红色和绿色成分。
如在本文中使用的，“第一”、“第二”和“第三”为用于区分可见颜色成分的形容词。因此，“第一”、“第二”和“第三”不意图暗示可见光波长光谱内的可见颜色成分的任何顺序。
在一个方面中，为确保组织203上无入射光处于或者接近被断开的可见颜色照射成分的波长，与被断开的可见颜色照射成分的波长接近或重叠的邻近(多个)彩色可见颜色照射成分的波长在某种程度被阻隔。这确保采集的荧光图像不会被由捕获荧光图像的CCD所捕获的任何可见光削减。例如，当可见颜色成分源211具有表1中给出的四种源，并且第三可见颜色照射成分为红色可见颜色成分时，在增强的观察模式中，同样断开具有波长邻近红色光源波长的绿色光源。
来自组织203的光(图2)经过内窥镜201中的立体光学路径到达图像捕获系统220。在一个方面中，在图像被捕获之前，滤波器221B和222B被用于过滤来自荧光激发源212的任何反射或者直射光。
在捕获图像过程303中(图像3)，在增强的观察模式中，左图像CCD 221A捕获采集的左第一和第二可见颜色成分图像以及采集的左荧光图像421B(图4)，并且右图像CCD 222A捕获采集的右第一和第二可见颜色成分图像以及采集的右荧光图像422B。例如，如果第三可见颜色成分为红色可见颜色成分，左图像CCD 221A中的蓝色和绿色CCD分别为左图像捕获蓝色和绿色左可见颜色成分图像。左图像CCD 221A中的红色CCD捕获左荧光图像。类似地，右图像CCD 222A中的蓝色和绿色CCD分别为右图像捕获蓝色和绿色可见颜色成分图像。右图像CCD 222A中的红色CCD捕获右荧光图像。
在该示例中，不存在第三可见颜色成分照射源，因此不存在自组织203反射的第三可见颜色成分光。这使得通常捕获图像中的第三可见颜色成分光的CCD或者部分CCD可用于捕获荧光图像。因此，无需附加的摄像机、内窥镜中的光学路径、或者附加的内窥镜来采集可见颜色成分图像和荧光图像。在此，当表述图像中的可见颜色成分图像与可见颜色成分照射源有关时，表示可见颜色成分照射源提供生成图像中的可见颜色成分图像的光。
在增强的观察模式中，采集的左第一和第二可见颜色成分图像和采集的左荧光图像，以及采集的右第一和第二可见颜色成分图像和采集的右荧光图像被提供给执行图像处理过程304的图像控制器230。参考上面，如上所述，图像处理过程304已接收增强的显示信号。因此，图像处理过程304从颜色图像校正过程231改变到增强图像校正过程232。
增强图像校正过程232在左和右图像上均执行相同的过程，因此在描述中不考虑左和右命名。图6是针对该示例的输入到增强图像校正过程232A的输入信息，以及从增强图像校正过程232A输出的输出信息的方框图。
增强图像校正过程232A在第一颜色成分输入端上接收采集的第一可见颜色成分图像AVC1；在第二颜色成分输入端上接收采集的第二可见颜色成分图像AVC2；以及在第三颜色成分输入端上接收采集的荧光图像AF。增强图像校正过程232A组合采集的第一可见颜色成分图像AVC1和采集的第二可见颜色成分图像AVC2，例如形成两个采集的成分图像的平均，用于生成受限带宽可见光图像。每个受限带宽图像的颜色成分是两个采集的可见颜色成分图像的平均。
在该示例中，增强图像校正过程232将采集的荧光图像AF添加至带宽受限图像的第二可见颜色成分，该带宽受限图像为采集的第一可见颜色成分图像AVC1和采集的第二可见颜色成分图像AVC2的组合。添加的结果被供应至第二可见颜色成分输出端。在该示例中，第二可见颜色成分输出端为可见颜色成分的输出端，经验研究表明该可见颜色成分是外科医生优选的，例如绿色成分。
在该示例中，采集的第一可见颜色成分图像AVC1和采集的第二可见颜色成分图像AVC2的组合被发送至每个第一和第三可见颜色成分输出端。采集的荧光图像AF加上采集的第一可见颜色成分图像AVC1和采集的第二可见颜色成分图像AVC2的组合，被发送至第二可见颜色成分输出端。本领域技术人员应理解，关于增强图像校正过程232所描述的操作是例如基于像素相对于帧子单元进行的，并且“附加”是象征性的，并且可能要求撤销和重做伽马校正，以例如实现清晰的图像。
在生成组织立体视频显示过程305中(图3)，在立体显示器241(图2)上显示来自增强图像校正过程232的输出。在增强的观察模式中，分别执行过程301至305，以便外科医生参看组织203的实时视频增强图像。
在增强的观察模式期间，给外科医生提供组织203的三维受限带宽图像，该三维受限带宽图像中感兴趣区域503(图5B)以特定颜色被突显。在该示例中，其中使用两种可见颜色成分照射源，组织203的受限带宽图像是单色受限带宽图像。
当图5A中的图像203A是全彩并且图像203B是受限带宽单色图像时，两图中的细节和信息水平是相等的，但是单元图像203B包括附加的突显的信息503。对于图像203A和203B的观察模式之间的转换是快速的，并且实时发生。
增强显示的处理不会引起任何延迟，并且无需为随后处理后来的帧而存储帧。处理实时进行，因此三维图像的突显部分始终与三维图像的受限带宽单色部分同步。相比之下，当包括荧光图像的帧被存储，然后被及时地与稍后出现的帧配准，突显组织的位置可能被改变，并且因此突显的图像当被显示时与实际位置偏离。
当在时刻t2(图4)处，外科医生想要将观察模式改回至正常立体彩色图像时，外科医生使用显示模式选择250(图2)来将观察模式改变到正常观察模式。响应于改变，荧光激发源212被断开；第三可见颜色照射成分被接通；并且第一和第二可见颜色照射成分被返回至完全输出水平。参看图4，该处理与上述正常观察模式所述的相同，因此不再赘述。
在一个方面中，通过在处理器131上执行存储在存储器132中的图像校正模块135(图1)，来进行图像处理过程304(图3)。在该示例中，图像校正模块135包括颜色模块136和增强的模块137。当在处理器131上执行颜色模块136时，执行颜色图像校正过程231。当在处理器131上执行增强的模块137时，执行增强图像校正过程232。示出两个模块136、137的使用。例如，本领域技术人员应理解两个模块能够作为单个模块被实施。
虽然本文所述的过程304包括在处理器上执行模块，但是应明白，具有过程231和232的过程304在实践中可以通过任何硬件、在处理器上执行的软件以及固件的组合实施。同样地，如在此描述的功能，可以通过一个单元执行，或者在不同的部件之间划分，部件中的每个又可以通过硬件、在处理器上执行的软件以及固件的任何组合被实施。当在不同部件之间划分时，部件可以被集中在一个位置或者为了分布式处理的目的被分布在系统100上。
上述示例仅用于示意说明，并不意图限制。在增强的观察模式中，能够使用荧光激发源和可见颜色成分照射源的各种组合。例如，外科医生想要观察患病组织(例如发荧光的肿瘤)以及其他特定组织(例如发荧光的肌腱)，从而避免切割该组织。因此，使用两种不同的荧光团，其需要荧光激发源212(图2)中的两种不同荧光激发源(参看图7)。
在时刻t3处，响应于增强的显示控制信号，照射组织过程302将增强的显示信号发送至组合光源210中的功率和水平控制器215。响应于增强的显示信号，功率和水平控制器215接通荧光激发源212中的两种荧光激发照射成分，并且在该示例中，断开可见颜色成分源211中的第二和第三可见颜色照射成分，以便仅第一可见颜色照射成分、第一荧光激发照射成分和第二荧光激发照射成分被供应至光纤束216。
用第一可见颜色照射成分，而不是第二和第三可见颜色照射成分照射组织203。同样，用第一和第二荧光激发照射成分照射组织203。
同样地，在一个实施例中，功率和水平控制器215降低第一可见颜色照射成分的输出水平，例如输出水平降低到十分之一。因此，如图7所示，在时刻t3之后，第一可见颜色照射成分的输出水平相对于时刻t3之前的输出水平降低，并且第二和第三可见颜色照射成分输出水平为零。同样地，接通第一和第二荧光激发照射成分。
来自组织203(图2)的光通过内窥镜201中的立体光学路径到达图像捕获系统220。在一个方面中，在荧光图像被捕获之前，滤波器221B和222B被用于过滤来自荧光激发源212的两个荧光激发照射成分的任何反射或者直射光。
因此，在捕获图像过程303(图3)中，在增强的观察模式中，左图像CCD 221A捕获采集的左第一可见颜色成分图像、采集的左第一荧光图像以及采集的左第二荧光图像721B(图7)。右图像CCD 222A捕获采集的右第一可见颜色成分图像、采集的右第一荧光图像以及采集的右第二荧光图像722B(图7)。
例如，如果第三可见颜色成分为红色可见颜色成分，并且第二可见颜色成分为蓝色，左图像CCD 221A中的绿色CCD为左图像捕获绿色左可见颜色成分图像。左图像CCD 221A中的红色CCD捕获左第二荧光图像，并且左图像CCD 221中的蓝色CCD捕获左第一荧光图像。类似地，右图像CCD 222A中的绿色CCD为右图像捕获绿色可见颜色成分图像。右图像CCD 222A中的红色CCD捕获右第二荧光图像，并且右图像CCD 222A中的蓝色CCD捕获右第一荧光图像。
在该示例中，不存在第二可见颜色成分照射源，也不存在第三可见颜色成分照射源。因此，在来自组织203的光中不包括与第二和第三可见颜色照射成分关联的光。这使得通常捕获图像中的第二和第三可见颜色成分光的CCD或者CCD部分可用于捕获荧光图像。
参考上面，如上所述，图像处理过程304已经接收增强的显示信号。因此，图像处理过程304从图像721B、722B的颜色图像校正过程231改变到增强图像校正过程232。
此外，增强图像校正过程232在左和右图像上执行相同的过程，因此在描述中不考虑左和右命名。图8是输入到增强图像校正过程232B的输入信息，以及从增强图像校正过程232B输出的输出信息的方框图。
增强图像校正过程232B在第一颜色成分输入端上接收采集的第一可见颜色成分图像AVC1；在第二颜色成分输入端上接收采集的第一荧光图像AF1；以及在第三颜色成分输入端上接收采集的第二荧光图像AF2。增强图像校正过程232也形成采集的可见颜色成分图像的平均水平量，以生成受限带宽的可见光图像，但是因为仅采集一个可见颜色成分图像，因此平均量是采集的第一可见颜色成分图像AVC1。在该示例中，受限带宽图像的每个颜色成分是采集的第一可见颜色成分图像AVC1。
在该示例中，增强图像校正过程232B将采集的第一荧光图像AF1添加至受限带宽图像的第二颜色成分，并且将结果提供至第二可见颜色成分的输出端，其中该受限带宽图像是采集的第一可见颜色成分图像AVC1。增强图像校正过程232B还将采集的第二荧光图像AF2添加至受限带宽图像的第三颜色成分，并且将结果提供至第三可见颜色成分的输出端，该受限带宽图像是采集的第一可见颜色成分图像AVC1。在该实现方式中，包含来自图像AF1的像素数据和来自图像AF2的像素数据两者的任何像素呈现出某种中间色。
在该示例中，采集的第一可见颜色成分图像AVC1被发送至第一可见颜色成分输出端。采集的第一可见颜色成分图像AVC1加上采集的第一荧光图像AF1被发送至第二可见颜色成分输出端。采集的第一可见颜色成分图像AVC1加上采集的第二荧光图像AF2被发送至第三可见颜色成分输出。
在生成组织立体视频显示过程305(图3)中，在立体显示器241(图2)上显示来自增强图像校正过程232的输出。在增强的观察模式中，分别执行过程301至305，以便外科医生观察组织203的实时视频增强的图像。
因此，在增强观察模式过程中，给外科医生提供组织203的三维受限带宽图像，在该三维受限带宽图像中感兴趣的第一区域以特定颜色突显，并且感兴趣的第二区域以不同的颜色突显。
再次，增强显示的处理不会引起任何延迟，并且无需为随后处理后来的帧而存储帧。处理实时进行，并且因此图像的突显部分始终与图像的受限带宽单色部分同步。
在时刻t4(图7)处，当外科医生想要将观察模式改回至正常立体彩色图像时，外科医生使用显示模式选择250(图2)将观察模式改变到正常观察模式。响应于改变，荧光激发源212中的两种荧光激发照射成分被断开，第二和第三可见颜色照射成分被接通，并且第一可见颜色照射成分返回至完全输出水平。参看图7，该处理与上述正常观察模式所述的相同，因此不再赘述。
在上述描述中，邻近内窥镜安装摄像机。然而，这仅是示意性的，并不意图限制。只要摄像机能够采集由来自光学器件的光生成的可使用图像，不论观察光学器件和摄像机的相对位置如何，该过程都相同地工作。例如，本文描述的过程和结构能够与杆上具有芯片(chip-on-stick)的内窥镜一起使用。杆上具有芯片的内窥镜具有短的光学器件部分，其中摄像机恰好位于接近内窥镜尖端的光学器件后方。
同样，立体内窥镜作为示例使用。这同样仅是示意性，而不意图限制。在上述示例中，能够使用单象管内窥镜替代立体内窥镜。如上所述，借助于单象管内窥镜，仅能够采集和处理左和右图像中的一个。
示出本发明各方面和各实施例的上述描述和附图不应被视为限制性的，因为权利要求限定受保护的发明。在不背离本说明书和权利要求的精神和范围的情况下，可以作出各种机械的、构成的、结构的、电气的和操作的改变。在一些示例中，为了避免模糊本发明，未示出或者详细地描述众所周知的电路、结构和技术。
进一步地，本说明书的技术名词不意图限制本发明。例如，空间关系术语，诸如“在……之下”、“下方”、“下部”“在……之上”、“上方”、“近端/近侧”、“远端/远侧”以及类似术语可被用于描述附图中示出一个元件或者特征与另一个元件或特征的关系。除了附图中示出的位置和定向之外，这些空间关系术语还意图包括所使用的和操作的装置的不同部位(即位置)和取向(即旋转方位)。例如，如果附图中的装置被翻转，描述为其他元件或者特征的“之下”或者“下方”的元件，则将在其他元件或者特征的“之上”或者“上方”。因此，示例性术语“下方”可以包括之上和之下的位置和取向。装置可以被另外取向(旋转90度或者处于其他取向)，并且本文使用的空间相关表示法被相应地解释。同样地，沿着和围绕各种轴线运动的描述包括各种特定装置位置和取向。
除非上下文另有所指，否则单数形式“一”、“一个”和“该/所述”也意图包括复数形式。术语“含有”、“包含”、“包括”等等规定存在所述特征、步骤、操作、元件和/或部件，但并不排除一个或者更多其他特征、步骤、操作、元件、部件和/或组的存在或增加。描述为耦合的部件可以是电气地或者机械地直接耦合，或者它们可以通过一个或者更多个中间部件间接耦合。
存储器是指易失性存储器、非易失性存储器或两者的任何组合。处理器被耦合至含有由处理器执行的指令的存储器。这能够在计算机系统内实现，或者可替换地，经由调制解调器和模拟线路或者数字接口和数字载波线路连接到另一台计算机的连接实现。
在此，计算机程序产品包含非临时性介质，该非临时性介质被配置成存储关于增强显示系统描述的操作中的任何一个或其任何组合所需要的计算机可读代码，或者在该非临时性介质中存储关于增强显示系统描述的操作中的任何一个或者其任何组合的计算机可读代码。一些计算机程序产品的示例是CD-ROM光盘、DVD光盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器和经网络传输的表示计算机可读程序代码的信号。非临时性的有形计算机程序产品包含非临时性的有形介质，该非临时性的有形介质被配置成存储关于增强的显示系统描述的操作中的任何一个或其任何组合的计算机可读指令，或者在该非临时性的有形介质中存储关于增强的显示系统描述的操作中的任何一个或其任何组合的计算机可读指令。非临时性的有形计算机程序产品为CD-ROM光盘、DVD光盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器和其他非临时物理存储介质。
鉴于该公开，可以通过使用用户感兴趣的操作系统和计算机编程语言在多种计算机系统配置中实施关于增强显示系统描述的操作中任何一个或者其任何组合使用的指令。
所有示例和示例性参考都是非限制性的，不应被用来将权利要求限制于本文所述的具体实现方式和实施例及其等价物。由于一个标题下的正文部分可以交叉参考或者应用于一个或者更多标题下的正文部分，所以标题仅是形式，而不应被用来以任何方式限制主题。最终，鉴于该公开，即使未在附图中具体示出或者在正文部分描述，关于一个方面或者实施例描述的特定特征也可以被应用于本发明的其他公开方面或者实施例。

Claims (22)

1.一种手术系统(200)，其包含：
(i)摄像机(220)，所述摄像机被配置成捕获第一采集成分图像(ACV1)并且捕获不同于所述第一采集成分图像的第二采集成分图像(AF)；
(ii)控制器(230)，其被连接至所述摄像机，
所述控制器(230)被配置成生成第一可见颜色成分输出，所述第一可见颜色成分输出包括所述第一采集成分图像(ACV1)，并且所述第一可见颜色成分是白光的多个颜色成分的第一可见颜色成分；
所述控制器(230)被配置成生成第二可见颜色成分输出，所述第二可见颜色成分输出包括所述第一采集成分图像(ACV1)，并且
所述控制器(230)被配置成在所述第二可见颜色成分输出中包含所述第二采集成分图像(AF)，以便所述第二可见颜色成分输出是所述第一采集成分图像(ACV1)和所述第二采集成分图像(AF)二者的组合，所述第二可见颜色成分是白光的多个颜色成分的第二可见颜色成分；并且
所述控制器(230)被配置成生成第三可见颜色成分输出，所述第三可见颜色成分输出包括所述第一采集成分图像(ACV1)，所述第三可见颜色成分是白光的多个颜色成分的第三可见颜色成分；
(iii)显示器(241)，其被连接至所述控制器(230)，所述显示器(241)被配置成接收所述第一、第二和第三可见颜色成分输出，所述显示器被配置成显示所述第一、第二和第三可见颜色成分输出，以获得与所述第二采集成分图像(AF)组合的单色图像(203B)，并且所述第二采集成分图像(AF)相对于所述单色图像被突显。
2.根据权利要求1所述的系统，进一步包含：
照射器(210)，所述照射器被配置成同时提供至少两种输出照射成分，所述输出照射成分中的一个是荧光激发照射成分，而其他输出照射成分包括比白光照射的所有多个可见颜色照射成分更少的成分，所述至少两种输出照射成分被用于照射部位(203)，所述摄像机从所述部位(203)采集图像。
3.根据权利要求2所述的系统，
所述其他输出照射成分包括第一可见颜色照射成分；
所述第一采集成分图像是采集的第一可见颜色成分图像；并且
所述第二采集成分图像是由所述荧光激发照射成分激发的荧光图像。
4.根据权利要求2所述的系统，所述其他输出照射成分是第一可见颜色照射成分和第二可见颜色照射成分。
5.根据权利要求4所述的系统，所述摄像机被进一步配置成捕获第三采集成分图像(ACV2)，所述第一采集成分图像是采集的第一可见颜色成分图像(ACV1)；所述第二采集成分图像是采集的荧光图像(AF)；并且所述第三采集成分图像是采集的第二可见颜色成分图像(ACV2)。
6.根据权利要求5所述的系统，所述控制器(230)被配置成生成所述第一和第三可见颜色成分输出作为所述采集的第一可见颜色成分图像和采集的第二可见颜色成分图像的组合；并且所述控制器(230)被配置成生成第二可见颜色成分输出作为所述采集的第一可见颜色成分图像和采集的第二可见颜色成分图像以及采集的荧光图像的组合。
7.根据权利要求6所述的系统，所述第一可见颜色成分输出是蓝色成分输出，以及所述第二可见颜色成分输出是绿色成分输出。
8.根据权利要求6所述的系统，所述第二可见颜色成分输出是绿色成分输出。
9.根据权利要求2所述的系统，所述其他输出照射成分是第一可见颜色照射成分和第二荧光激发照射成分。
10.根据权利要求9所述的系统，所述摄像机(220)被进一步配置成捕获第三采集成分图像，所述第一采集成分图像是采集的第一可见颜色成分图像(ACV1)；所述第二采集成分图像是采集的第一荧光图像(AF1)；并且所述第三采集成分图像是采集的第二荧光图像(AF2)。
11.根据权利要求10所述的系统，
所述控制器被配置成将所述第三采集成分图像添加至所述第三可见颜色成分输出。
12.根据权利要求2所述的系统，所述照射器包括：
第一可见颜色照射成分源(211)；
第二可见颜色照射成分源(211)，所述第二可见颜色照射成分不同于所述第一可见颜色照射成分；
第三可见颜色照射成分源(211)，所述第三可见颜色照射成分不同于所述第二可见颜色照射成分，并且不同于所述第一可见颜色照射成分；以及
荧光激发照射源(212)；并且
所述系统进一步包含：
功率水平和电源控制器(215)，其被连接至所述第一、第二和第三可见颜色成分照射源，并且被连接至所述荧光激发照射源；以及
模式改变器，其被耦合至所述功率水平和电源控制器，该模式改变器具有第一状态和第二状态，
当所述模式改变器具有所述第一状态时，所述功率水平和电源控制器(a)被配置成向所述第一、第二和第三可见颜色照射成分源提供功率，而不向所述荧光激发源提供功率，以及(b)所述第一、第二和第三可见颜色照射成分源的每个均具有第一照射水平；以及
当所述模式改变器具有所述第二状态时，所述功率水平和电源控制器(a)被配置成向所述第一可见颜色照射成分源提供功率，向至少部分所述第二可见颜色照射成分源和所述荧光激发源提供功率，而不向所述第三可见颜色照射成分源提供功率，以及(b)被配置成降低所述第一可见颜色照射成分源和所述第二可见颜色照射成分源的照射水平。
13.一种在手术系统中生成增强的图像显示的方法，其包含：
通过控制器(230)，生成第一可见颜色成分输出，所述第一可见颜色成分输出包括第一采集成分图像(ACV1)，并且所述第一可见颜色成分是白光的多个可见颜色成分的第一可见颜色成分；
通过所述控制器(230)生成第二可见颜色成分输出，所述第二可见颜色成分输出包括所述第一采集成分图像(ACV1)；
通过所述控制器(230)将第二采集成分图像(AF)包含到所述第二可见颜色成分输出中，以便所述第二可见颜色成分输出是所述第一采集成分图像和第二采集成分图像两者的组合，所述第二采集成分图像表示由来自第一荧光激发照射源(212)的照射激发的荧光，并且所述第二可见颜色成分是白光的多个可见颜色成分中的第二可见颜色成分；
通过所述控制器(230)，生成第三可见颜色成分输出，所述第三可见颜色成分输出包括所述第一采集成分图像(ACV1)，并且所述第三可见颜色成分是白光的多个可见颜色成分中的第三可见颜色成分；以及
在显示屏(241)上显示所述第一、第二和第三颜色成分输出，以获得与所述第二采集成分图像(AF)组合的单色图像(203B)，所述第二采集成分图像(AF)相对于所述单色图像被突显。
14.根据权利要求13所述的方法，
所述第一采集成分图像是采集的第一可见颜色成分图像。
15.根据权利要求13所述的方法，
所述第一采集成分图像是采集的第一可见颜色成分图像(ACV1)，并且所述方法进一步包含：
通过所述控制器(230)，接收第三采集成分图像，所述第三采集成分图像是采集的第二可见颜色成分图像(ACV2)。
16.根据权利要求15所述的方法，
所述生成第一可见颜色成分输出还包含在所述第一可见颜色成分输出中包括所述第三采集成分图像，以便所述第一可见颜色成分输出是所述第一采集成分图像和所述第三采集成分图像两者的组合；
所述生成第二可见颜色成分输出还包含在所述第二可见颜色成分输出中包括所述第三采集成分图像，以便所述第二可见颜色成分输出是所述第一采集成分图像、所述第二采集成分图像和所述第三采集成分图像的组合；以及
所述生成第三可见颜色成分输出还包含在所述第三可见颜色成分输出中包括所述第三采集成分图像，以便所述第三可见颜色成分输出是所述第一采集成分图像和所述第三采集成分图像两者的组合。
17.根据权利要求13所述的方法，
所述第一采集成分图像是采集的第一可见颜色成分图像，并且所述方法进一步包含：
通过所述控制器(230)接收第三采集成分图像，所述第三采集成分图像是采集的第二荧光图像。
18.根据权利要求17所述的方法，
所述生成第三可见颜色成分输出进一步包含通过所述控制器将所述第三采集成分图像包含在所述第三可见颜色成分输出中，以便所述第三可见颜色成分输出是所述第一采集成分图像和所述第三采集成分图像两者的组合。
19.根据权利要求13所述的方法，还包含：
使用比白光照射的所有多个可见颜色照射成分更少的成分照射手术部位。
20.一种提供增强的图像显示的方法，其包含：
在控制器的多个可见颜色成分输入端的第一可见颜色成分输入端上，接收采集的第一可见颜色成分图像(ACV1)；
在所述控制器的所述多个可见颜色成分输入端的第二可见颜色成分输入端上，接收采集的荧光图像(AF)；
在所述控制器的第一可见颜色成分输出端上，生成表示所述采集的第一可见颜色成分图像(ACV1)的第一信号；
在所述控制器的第二可见颜色成分输出端上，生成表示所述采集的第一可见颜色成分图像和所述采集的荧光图像的组合(ACV1+AF)的第二信号；以及
在所述控制器的第三可见颜色成分输出端上，生成表示所述采集的第一可见颜色成分图像(ACV1)的第三信号；
由显示设备(241)在所述显示设备的第一可见成分输入端上接收所述第一信号，在所述显示设备的第二可见成分输入端上接收所述第二信号，并且在显示设备的第三可见成分输入端上接收所述第三信号；并且
由所述显示设备(241)显示与所述采集的荧光图像组合的单色图像(203B)，所述采集的荧光图像(AF)相对于所述单色图像被突显，与所述采集的荧光图像组合的所述单色图像是所述第一、第二和第三信号的组合。
21.根据权利要求20所述的方法，还包含：
在所述控制器的所述多个可见颜色成分输入端的第三可见颜色成分输入端上，接收采集的第二可见颜色成分图像；以及
其中生成所述第一信号进一步包括在所述第一信号中包含所述采集的第二可见颜色成分图像，以便所述第一信号是所述采集的第一可见颜色成分图像和所述采集的第二可见颜色成分图像的组合；
其中，生成所述第二信号进一步包括在所述第二信号中包含所述采集的第二可见颜色成分图像，以便所述第二信号是所述采集的荧光图像加上所述采集的第一可见颜色成分图像和所述采集的第二可见颜色成分图像的组合；以及
其中，生成所述第三信号进一步包括在所述第三信号中包含所述采集的第二可见颜色成分图像，以便所述第三信号是所述采集的第一可见颜色成分图像和所述采集的第二可见颜色成分图像的组合。
22.根据权利要求20所述的方法，还包含：
在所述控制器的所述多个可见颜色成分输入端的第三可见颜色成分输入端上，接收采集的第二荧光图像；以及
其中，生成所述第三信号进一步包括在所述第三信号中包含所述采集的第二荧光图像，以便所述第三信号是所述采集的第一可见颜色成分图像和所述采集的第二荧光图像的组合。
CN201180030716.0A 2010-07-02 2011-06-22 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 Active CN102958426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510505335.3A CN105231976B (zh) 2010-07-02 2011-06-22 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36126010P 2010-07-02 2010-07-02
US61/361,260 2010-07-02
US12/855,864 2010-08-13
US12/855,864 US9211058B2 (en) 2010-07-02 2010-08-13 Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
PCT/US2011/041479 WO2012003127A1 (en) 2010-07-02 2011-06-22 Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510505335.3A Division CN105231976B (zh) 2010-07-02 2011-06-22 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统

Publications (2)

Publication Number Publication Date
CN102958426A CN102958426A (zh) 2013-03-06
CN102958426B true CN102958426B (zh) 2015-09-16

Family

ID=44514962

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510505335.3A Active CN105231976B (zh) 2010-07-02 2011-06-22 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统
CN201180030716.0A Active CN102958426B (zh) 2010-07-02 2011-06-22 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510505335.3A Active CN105231976B (zh) 2010-07-02 2011-06-22 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统

Country Status (6)

Country Link
US (2) US9211058B2 (zh)
EP (1) EP2587988B1 (zh)
JP (4) JP6073784B2 (zh)
KR (2) KR101813909B1 (zh)
CN (2) CN105231976B (zh)
WO (1) WO2012003127A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2291640T3 (pl) 2008-05-20 2019-07-31 University Health Network Urządzenie i sposób obrazowania i monitorowania w oparciu o fluorescencję
US10682198B2 (en) 2010-07-02 2020-06-16 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US9019345B2 (en) 2010-07-02 2015-04-28 Intuitive Surgical Operations, Inc. Imaging mode blooming suppression
US9211058B2 (en) * 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
WO2014152757A2 (en) * 2013-03-15 2014-09-25 Stryker Corporation Endoscopic light source and imaging system
WO2015002311A1 (ja) * 2013-07-05 2015-01-08 オリンパスメディカルシステムズ株式会社 医療表示装置および内視鏡手術システム
KR102278806B1 (ko) * 2014-03-17 2021-07-19 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법
CN106102549B (zh) 2014-03-17 2018-12-04 直观外科手术操作公司 用于控制成像器械定向的系统和方法
EP3119321A4 (en) * 2014-03-17 2017-12-06 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator
CN115919256A (zh) 2014-07-24 2023-04-07 大学健康网络 用于诊断目的的数据的收集和分析
US10251714B2 (en) 2014-07-25 2019-04-09 Covidien Lp Augmented surgical reality environment for a robotic surgical system
EP3179948B1 (en) * 2014-07-25 2022-04-27 Covidien LP Augmented surgical reality environment
CN104323858B (zh) * 2014-10-22 2017-02-22 中国科学院自动化研究所 手持式分子影像导航系统
WO2016061754A1 (zh) 2014-10-22 2016-04-28 中国科学院自动化研究所 一种手持式分子影像导航系统
CN108271345B (zh) * 2015-11-05 2021-05-28 柯惠Lp公司 用于检测表面下的血液的系统和方法
JP6461024B2 (ja) 2016-02-05 2019-01-30 富士フイルム株式会社 画像位置合せ装置、方法およびプログラム
EP3284396B1 (en) * 2016-08-16 2020-02-12 Leica Instruments (Singapore) Pte. Ltd. Observation apparatus and method for visual enhancement of an observed object
CN106377219A (zh) * 2016-10-11 2017-02-08 重庆金山医疗器械有限公司 一种全彩黑白双镜头胶囊内窥镜及其工作系统
JPWO2018211885A1 (ja) * 2017-05-17 2020-03-19 ソニー株式会社 画像取得システム、制御装置及び画像取得方法
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
JP2021006070A (ja) * 2017-09-10 2021-01-21 カイロス株式会社 内視鏡システム
JP7059353B2 (ja) * 2018-03-05 2022-04-25 オリンパス株式会社 内視鏡システム
JPWO2019181212A1 (ja) * 2018-03-23 2021-03-11 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、および表示制御方法
DE102018110640B4 (de) 2018-05-03 2020-01-23 Carl Zeiss Meditec Ag Verfahren und Mikroskop zum Abbilden eines Objekts
US10524666B2 (en) 2018-05-09 2020-01-07 Inner Ray, Inc. White excitation light generating device and white excitation light generating method
US20200022657A1 (en) * 2018-07-18 2020-01-23 General Electric Company Minimally invasive procedure analysis and review system and method
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
WO2020154351A1 (en) * 2019-01-25 2020-07-30 Intuitive Surgical Operations, Inc. Augmented medical vision systems and methods
US11442254B2 (en) 2019-04-05 2022-09-13 Inner Ray, Inc. Augmented reality projection device
US11337596B2 (en) 2019-06-20 2022-05-24 Cilag Gmbh International Controlling integral energy of a laser pulse in a fluorescence imaging system
US20230066301A1 (en) * 2020-03-19 2023-03-02 Sony Olympus Medical Solutions Inc. Medical observation system, control device, and control method
WO2022056362A1 (en) * 2020-09-11 2022-03-17 Verily Life Sciences Llc Image processing to compensate for scene lighting during surgical procedures
US20240130609A1 (en) * 2021-03-18 2024-04-25 Sony Olympus Medical Solutions Inc. Medical observation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496719B2 (en) * 1999-12-24 2002-12-17 Fuji Photo Film Co., Ltd. Apparatus for displaying fluorescence images
CN101573068A (zh) * 2006-12-28 2009-11-04 奥林巴斯株式会社 内窥镜系统
EP2133021A1 (en) * 2008-06-13 2009-12-16 FUJIFILM Corporation Light source device, imaging apparatus and endoscope apparatus

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63242232A (ja) 1987-03-31 1988-10-07 株式会社東芝 計測内視鏡装置
JP3020973B2 (ja) 1989-12-29 2000-03-15 キヤノン株式会社 画像処理方法
US5590660A (en) * 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
JP3962122B2 (ja) * 1996-11-20 2007-08-22 オリンパス株式会社 内視鏡装置
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
DE19800312A1 (de) * 1998-01-07 1999-07-08 Wolf Gmbh Richard Diagnosegerät zur bildgebenden Aufnahme fluoreszierender biologischer Gewebebereiche
DE60024059T2 (de) * 1999-01-26 2006-07-20 Newton Laboratories, Inc., Woburn Vorrichtung zur autofluoreszensbildgebung für ein endoskop
US6867851B2 (en) * 1999-11-04 2005-03-15 Regents Of The University Of Minnesota Scanning of biological samples
JP2002095663A (ja) * 2000-09-26 2002-04-02 Fuji Photo Film Co Ltd センチネルリンパ節光断層画像取得方法および装置
JP2002102145A (ja) 2000-09-28 2002-04-09 Asahi Optical Co Ltd 電子内視鏡システム
JP4589514B2 (ja) * 2000-10-11 2010-12-01 Ｈｏｙａ株式会社 電子内視鏡システム
US6826424B1 (en) * 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
JP4723109B2 (ja) * 2001-04-03 2011-07-13 本田技研工業株式会社 太陽電池モジュールの製造方法および太陽電池モジュール製造用治具
US20060241496A1 (en) 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
US6899675B2 (en) 2002-01-15 2005-05-31 Xillix Technologies Corp. Fluorescence endoscopy video systems with no moving parts in the camera
JP3869324B2 (ja) * 2002-06-26 2007-01-17 オリンパス株式会社 蛍光観察用画像処理装置
JP4217477B2 (ja) 2002-12-27 2009-02-04 Ｈｏｙａ株式会社 診断補助用装置
US7697975B2 (en) 2003-06-03 2010-04-13 British Colombia Cancer Agency Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection
JP2005111080A (ja) * 2003-10-09 2005-04-28 Olympus Corp 手術支援システム
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
JP4610970B2 (ja) 2004-09-07 2011-01-12 オリンパス株式会社 着脱フィルタ装置および内視鏡装置
JP5197916B2 (ja) * 2004-09-08 2013-05-15 オリンパス株式会社 内視鏡装置
JP2006134056A (ja) 2004-11-05 2006-05-25 Hitachi Ltd 情報表示装置
JP2006263044A (ja) 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
JP5114024B2 (ja) 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
EP2037794B1 (en) 2006-06-13 2021-10-27 Intuitive Surgical Operations, Inc. Minimally invasive surgical system
WO2009094465A1 (en) 2008-01-24 2009-07-30 Lifeguard Surgical Systems Common bile duct surgical imaging system
US20090236541A1 (en) * 2008-03-24 2009-09-24 General Electric Company System and Methods for Optical Imaging
US8803955B2 (en) * 2008-04-26 2014-08-12 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism
JP5081720B2 (ja) * 2008-05-22 2012-11-28 富士フイルム株式会社 蛍光内視鏡装置および励起光ユニット
JP2010082041A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 電子内視鏡システム
JP2010082141A (ja) 2008-09-30 2010-04-15 Fujinon Corp 電子内視鏡装置
JP5246698B2 (ja) * 2008-12-09 2013-07-24 富士フイルム株式会社 撮像装置
DE102008062650B9 (de) 2008-12-17 2021-10-28 Carl Zeiss Meditec Ag Operationsmikroskop zur Beobachtung einer Infrarot-Fluoreszenz und Verfahren hierzu
CN106137138A (zh) * 2009-01-07 2016-11-23 基文影像公司 用于检测体内病变的装置和方法
CN102869294B (zh) * 2010-04-28 2015-09-30 奥林巴斯株式会社 图像处理装置和荧光观察装置
US9211058B2 (en) 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496719B2 (en) * 1999-12-24 2002-12-17 Fuji Photo Film Co., Ltd. Apparatus for displaying fluorescence images
CN101573068A (zh) * 2006-12-28 2009-11-04 奥林巴斯株式会社 内窥镜系统
EP2133021A1 (en) * 2008-06-13 2009-12-16 FUJIFILM Corporation Light source device, imaging apparatus and endoscope apparatus

Also Published As

Publication number Publication date
JP2020006244A (ja) 2020-01-16
JP2017104567A (ja) 2017-06-15
JP6605654B2 (ja) 2019-11-13
JP6073784B2 (ja) 2017-02-01
JP7049302B2 (ja) 2022-04-06
EP2587988A1 (en) 2013-05-08
US20160089013A1 (en) 2016-03-31
JP2013531538A (ja) 2013-08-08
KR20180004287A (ko) 2018-01-10
CN102958426A (zh) 2013-03-06
JP2018140186A (ja) 2018-09-13
KR101913622B1 (ko) 2018-11-01
KR20130097058A (ko) 2013-09-02
CN105231976B (zh) 2017-04-26
WO2012003127A1 (en) 2012-01-05
EP2587988B1 (en) 2014-11-12
KR101813909B1 (ko) 2018-01-30
JP6321224B2 (ja) 2018-05-09
US9211058B2 (en) 2015-12-15
CN105231976A (zh) 2016-01-13
US20120004557A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
CN102958426B (zh) 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统
KR101854189B1 (ko) 수술 로봇용 확대 입체 가시영상
US20130300837A1 (en) Single-chip sensor multi-function imaging
US11717375B2 (en) Methods and systems for alternate image display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant