CN102958426A - 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 - Google Patents
具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 Download PDFInfo
- Publication number
- CN102958426A CN102958426A CN2011800307160A CN201180030716A CN102958426A CN 102958426 A CN102958426 A CN 102958426A CN 2011800307160 A CN2011800307160 A CN 2011800307160A CN 201180030716 A CN201180030716 A CN 201180030716A CN 102958426 A CN102958426 A CN 102958426A
- Authority
- CN
- China
- Prior art keywords
- visible color
- composition
- component
- part diagram
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 title claims description 100
- 238000001228 spectrum Methods 0.000 title description 5
- 238000012632 fluorescent imaging Methods 0.000 title 1
- 230000005284 excitation Effects 0.000 claims abstract description 55
- 239000000203 mixture Substances 0.000 claims description 298
- 238000010586 diagram Methods 0.000 claims description 151
- 238000003702 image correction Methods 0.000 claims description 29
- 230000002708 enhancing effect Effects 0.000 claims description 26
- 238000002324 minimally invasive surgery Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 10
- 238000002073 fluorescence micrograph Methods 0.000 abstract 4
- 230000008569 process Effects 0.000 description 69
- 238000012545 processing Methods 0.000 description 20
- 238000001356 surgical procedure Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 10
- 239000000835 fiber Substances 0.000 description 8
- 238000005728 strengthening Methods 0.000 description 8
- 230000037361 pathway Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000008520 organization Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 210000002435 tendon Anatomy 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000007850 fluorescent dye Substances 0.000 description 3
- 230000003760 hair shine Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000001429 visible spectrum Methods 0.000 description 3
- 239000012670 alkaline solution Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- MURGITYSBWUQTI-UHFFFAOYSA-N fluorescin Chemical compound OC(=O)C1=CC=CC=C1C1C2=CC=C(O)C=C2OC2=CC(O)=CC=C21 MURGITYSBWUQTI-UHFFFAOYSA-N 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- KHLVKKOJDHCJMG-QDBORUFSSA-L indigo carmine Chemical compound [Na+].[Na+].N/1C2=CC=C(S([O-])(=O)=O)C=C2C(=O)C\1=C1/NC2=CC=C(S(=O)(=O)[O-])C=C2C1=O KHLVKKOJDHCJMG-QDBORUFSSA-L 0.000 description 1
- 229960003988 indigo carmine Drugs 0.000 description 1
- 235000012738 indigotine Nutrition 0.000 description 1
- 239000004179 indigotine Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Microscoopes, Condenser (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
在微创手术系统中,手术部位同时由比构成可见白光的所有可见颜色成分更少的成分和来自照射器的荧光激发照射成分照射。图像捕获系统采集照射手术部位的每种可见颜色成分的图像以及荧光图像,荧光图像由来自照射器的荧光激发照射成分激发。微创手术系统使用采集的图像生成手术部位的背景黑白图像。采集的荧光图像被叠加在背景黑白图像上,并且以选择的颜色(例如绿色)加以突显。为系统的使用者显示叠加有被突显的荧光图像的背景黑白图像。被突显的荧光图像确定感兴趣的临床组织。
Description
相关申请
本申请要求下列优先权和利益:
2010年7月2日提交题为“METHOD AND SYSTEM FORFLUORESCENT IMAGING WITH BACKGROUND SURGICALIMAGE COMPOSED OF SELECTIVE ILLUMINATION SPECTRA”发明人为Ian McDowall和Christopher J.Hasser美国临时申请No.61/361260,该申请全部内容包含在此以供参考。
技术领域
该发明各方面涉及内窥镜成像,更具体地涉及混合可见光图像和可选图像,以便为外科医生提供增强的实时视频显示。
背景技术
加利福利亚森尼维尔的直观外科手术公司(Intuitive Surgical.Inc.)出售的da手术系统是一种微创远程操作手术系统,其为患者提供许多好处,比如降低对身体的损伤、加快恢复和缩短住院时间。da手术系统的一个重要组成部分是能够提供对可见光图像的双通道(即左和右)视频采集和显示,从而为外科医生提供立体观察。
这种电子立体成像系统可以向外科医生输出高清晰度视频图像,并且可允许例如改变焦距/缩放以提供一种“放大”的视图的特征,该特征允许外科医生确定特定的组织类型和特性,并且以增加的精确度工作。然而,在典型的外科手术领域中,某些组织类型难以确定,或者感兴趣组织至少部分地被其他组织遮掩。
通过使用画中画(PIP)显示,可向外科医生同时显示手术部位的额外的图像信息。额外的图像信息可能对于为外科医生提高手术效果来说是有用的。然而,PIP显示中的较小图画可能对于示出理想水平的详细信息而言太小。此外,由于是分离的图像帧,所以外科医生凭想象将两个分离的图像或者成像模态合并在一起,这会很疲劳。
发明内容
在一个方面中,在微创手术系统中,手术部位同时被(i)比组成可见白光(有时被称为白光)的所有可见颜色照射成分更少的成分,以及(ii)来自照射器的荧光激发照射成分照射。微创手术系统中的图像捕获系统采集照射手术部位的每个可见颜色成分的图像,以及由荧光激发照射成分激发的荧光图像。微创手术系统使用针对来自照射器的每个可见颜色照射成分的采集的图像,生成手术部位的背景黑白图像。该背景黑白图像被称为受限带宽图像。
采集的荧光图像被叠加在背景黑白图像上,并且以选择的颜色(例如绿色)突显。为系统的使用者显示带有叠加的被突显的荧光图像的背景黑白图像,在此被称为增强显示。被突显荧光图像确定感兴趣的临床组织。
在使用微创手术系统执行外科手术中,向外科医生实时提供具有叠加的被突显的荧光图像的受限带宽图像。该新颖方法不会带来时间延迟,该时间延迟与在一个帧内捕获正常图像以及在另一个帧内捕获荧光图像然后使用在不同时间点取得的两个帧生成向外科医生显示的单个帧有必然联系。同样,本文描述的新颖方法不会导致延迟或者组合不同时间点采集的两个帧的时间不足。
增强显示的处理不会引入任何延迟,并且无需为随后处理后来的帧存储帧。因此,相对于利用时间分片将荧光图像叠加到立体可视图像上的系统,降低了系统的存储和处理要求。
同样,图像的突显部分始终与背景图像同步。相比之下,当包括荧光图像的帧被存储并且然后与及时与稍后出现的帧配准时,在帧之间可以改变被突显的组织的位置,所以当被显示时,被突显的图像偏离实际位置。因此,该新颖方法对于显示移动的组织(例如脉管系统)是优越的,其中包含时间采集失配的方法将导致显示的运动伪影,这会扰乱外科医生。
在一个示例中,多个可见颜色照射成分组合形成白光。微创手术系统中的照射器同时提供至少两个照射成分。当照射成分中的一个为荧光激发照射成分时,由照射器提供的其他照射成分包括比多个可见颜色照射成分中的所有可见颜色照射成分更少的成分。
在微创手术系统中,摄像机基本同时捕获第一采集成分图像和不同于第一采集成分图像的第二采集成分图像。控制器被连接至摄像机,以接收采集成分图像。在此,基本同时表示这样的同时程度,即该程度能够考虑摄像机中的元件响应发至摄像机的捕获触发信号的时间差异。
在一个方面中,控制器生成受限带宽图像的第一、第二和第三可见颜色成分。这些可见颜色成分的每个包括或者来自第一采集成分图像。控制器将第二采集成分图像添加至受限带宽图像的第二可见颜色成分,以便第二可见颜色成分包括第一采集成分图像和第二采集成分图像两者。受限带宽图像不包括由多个可见颜色照射成分中的至少一个可见颜色照射成分产生的采集的可见颜色成分图像。
控制器生成包括受限带宽图像的图像,其中受限带宽图像被发送至连接至控制器的显示器。在该方面,显示器接收来自控制器的第一、第二和第三可见颜色成分。显示器示出包括受限带宽图像的图像。相对于不包括第二采集成分图像的图像部分,突显包括第二采集成分图像的图像部分。
在一个方面中,其他照射成分包括第一可见颜色照射成分。第一采集成分图像是采集的第一可见颜色成分图像,而第二采集成分图像是由荧光激发照射成分激发的荧光图像。
在另一个方面中,其他照射成分包括第一可见颜色照射成分和第二可见颜色照射成分。在该方面中,摄像机还捕获第三采集成分图像。第一采集成分图像是采集的第一可见颜色成分图像。第二采集成分图像是采集的荧光图像。第三采集成分图像是采集的第二可见颜色成分图像。控制器生成来自采集的第一和第二可见颜色成分图像的受限带宽图像的第一、第二和第三颜色成分。在一个示例中,第一可见颜色成分是蓝色成分,以及第二可见颜色成分是绿色成分。
在又一个方面中,其他照射成分是第一可见照射成分和第二荧光激发照射成分。此外,在该方面中,摄像机捕获第三采集成分图像。第一采集成分是采集的第一可见颜色成分图像。第二采集成分图像是采集的第一荧光图像。第三采集成分图像是采集的第二荧光图像。控制器将第三采集图像添加至受限带宽图像的第三可见颜色成分。
在一个方面中,照射器包括第一可见颜色照射成分源、第二可见颜色照射成分源以及第三可见颜色照射成分源,其中第二可见颜色照射成分不同于第一可见颜色照射成分,其中第三可见颜色照射成分不同于第二可见颜色照射成分,并且不同于第一可见颜色照射成分。照射器还包括荧光激发照射源。
微创手术系统还包括功率水平和电源控制器,其连接至第一、第二和第三可见颜色成分照射源,并且连接至荧光激发照射源。模式改变器被耦合至功率水平和电源控制器。模式改变具有第一状态和第二状态。
当模式改变器具有第一状态时,功率水平和电源控制器(a)向第一、第二和第三可见颜色照射成分源提供功率,而不向荧光激发源提供功率,以及(b)第一、第二和第三可见颜色照射成分源具有第一照射水平。当模式改变器具有第二状态时,功率水平和电源控制器(a)向第一可见颜色照射成分源提供功率,向第二可见颜色照射成分源的至少部分和该荧光激发源提供功率,而不向第三可见颜色照射成分源提供功率,以及(b)降低第一可见颜色照射成分源和第二可见颜色照射成分源的照射水平。
在微创手术系统中生成增强图像显示的方法中,控制器生成包括第一采集成分图像的受限带宽图像的第一可见颜色成分。控制器还生成包括第一采集成分图像的受限带宽图像的第二可见颜色成分。控制器将第二采集成分图像添加至第二可见颜色成分。第二采集成分表示由来自第一荧光激发照射源的照射激发的荧光。控制器生成包括第一采集成分图像的受限带宽图像的第三可见颜色成分。受限带宽图像不包括由白光的多个可见颜色照射成分中的一个可见颜色照射成分产生的采集的可见颜色成分图像。
本方法在显示屏上显示包括受限带宽图像的图像。相对于不包括第二采集成分图像的图像部分,突显包括第二采集成分图像的图像部分。
在微创手术系统中生成增强图像显示的方法的另一个方面中,在处理器上执行增强图像校正模块。执行生成方法,该方法在多个可见颜色成分输入端的第一可见颜色成分输入端上接收采集的第一可见颜色成分图像。该方法还在多个可见颜色成分输入端的第二可见颜色成分输入端上接收采集的荧光图像。
该方法在第一可见颜色成分输出端上,生成第一信号,该第一信号包括该采集的第一可见颜色成分图像。在第二可见颜色成分输出端上,生成第二信号,该第二信号包括采集的第一可见颜色成分图像和采集的荧光图像的组合。同样,在第三可见颜色成分输出端上,生成第三信号,该第三信号包括采集的第一可见颜色成分图像。第一、第二和第三信号的组合是包括受限带宽图像和荧光图像的图像。
该方法还在多个可见颜色成分输入端的第三可见颜色成分输入端上,接收采集的第二可见颜色成分图像。在该方面中,第一和第三信号包括采集的第一可见颜色成分图像和采集的第二可见颜色成分图像的组合。第二信号包括采集的荧光图像加上采集的第一可见颜色成分图像和采集的第二可见颜色成分图像的组合。
在不同的方面中,该方法在多个可见颜色成分输入端的第三可见颜色成分输入端上,接收采集的第二荧光图像。在该方面中,第三信号是采集的第一可见颜色成分图像和采集的第二荧光图像的组合。
附图说明
图1示出微创远程操作手术系统的高度概略的视图,其中该手术系统包括增强的立体可视系统。
图2示出增强的立体可视系统的硬件和软件(图像处理和用户界面)方面的示意图。
图3示出通过使用例如图1所示微创远程操作手术系统的增强立体可视系统执行的过程的流程图。
图4示出图2和图3中系统中的时序、同步和捕获的一个方面。
图5A示出使用图2的系统采集的正常颜色立体图像的表示。
图5B示出带有突显的叠加荧光图像的受限带宽立体图像的表示,该受限带宽立体图像使用图2的系统采集。
图6是图2所示增强图像校正过程的一个方面的方框图。
图7示出图2和图3所示系统中的时序时、同步和捕获的另一个方面。
图8是图2所示增强图像校正过程的另一个方面的方框图。
在附图中,参考标记的第一个数字指示带有该参考标记的元件在其中首次出现的附图。
具体实施方式
如本文使用的,电子立体成像包括使用两个成像通道(即,左图像和右图像的通道)。
如本文使用的,立体光学路径包括用于传输来自组织的光的内窥镜中的两个通道(例如,左图像和右图像的通道)。在每个通道中被传输的光代表组织的不同视图。光能够包括一个或者更多图像。在不失一般性或者适用性的情况下,下面更完整地描述的各方面还能够被用于场序(field sequantial)立体声采集系统和/或场序显示系统的背景中。
如在本文中所使用的,照射路径包括向组织提供照射的内窥镜中的路径。
如在本文中使用的,在可见的电磁辐射光谱中捕获的图像被称为采集的可见光图像。
如在本文中使用的,白光为可见白光,其由三种(或者更多种)可见颜色成分组成,例如,红色可见颜色成分、绿色可见颜色成分以及蓝色可见颜色成分。因此,白光具有多个可见颜色成分。如果由照射器提供可见颜色成分,则可见颜色成分被称为可见颜色照射成分。白光还可以指可见光谱中的一个更连续的光谱,例如,如同可从加热的钨丝中看见的。
如在本文中使用的,使用照射器生成的黑白图像被称为受限带宽图像,其中照射器提供的成分比白光的所有多个可见颜色照射成分要少。
如在本文中使用的,由于荧光而被捕获的图像在本文中被称为采集的荧光图像。存在多种荧光成像形式。例如,由使用可注射染料、荧光蛋白或者荧光标记抗体而导致荧光。例如,可由激光或者其他能量源激发导致荧光。荧光图像能够提供对于手术关键的患者体内的重要信息,诸如病理信息(例如,荧光肿瘤)或解剖信息(例如,荧光标记肌腱)。
通过合并立体的正常可见光图像以及具有荧光图像叠加在其上的可替换立体的受限带宽可见光图像两者,本发明的各方面增强了微创手术系统的立体视频捕获和查看能力,该微创手术系统例如加利福利亚Sunnyvale的直观外科手术公司出售的da微创远程操作手术系统。(da是加利福利亚Sunnyvale的直观外科手术公司的注册商标)。带有叠加的被突显荧光图像的立体受限带宽可见光图像提供具有病理信息和/或被突显用于手术的解剖信息手术部位的立体图像。被突显的荧光图像确定临床感兴趣的组织。
带有叠加的突显的荧光图像的立体受限带宽图像被实时提供给正使用微创远程操作手术系统执行外科手术的外科医生。连续采集方法(也被认为是时间分片)引发延迟,该延迟与捕获一个帧中的立体图像和另一个帧中的荧光图像然后使用在不同时间点取得的两个帧生成为外科医生显示的单个帧有关。因此,相对于使用时间分片在立体颜色可见光图像上叠加荧光图像的系统,本文中描述的系统的存储器和处理要求被降低。
立体的受限带宽可见光图像是通过使用比形成白光的所有多个可见颜色照射成分更少的成分形成的,所以损失了受限带宽可见光图像中的颜色信息,但是细节上存在小的损失或者没有损失。立体的受限带宽可见光图像足以确定解剖体、组织界标和手术器械,以便该图像允许手术器械的安全操作。由于具有受限带宽可见光图像,与荧光图像相比,不存在由于可见颜色照射成分的干扰而引起的损失。
荧光图像覆盖在受限带宽可见光图像上,并且颜色被增加,从而提供提高的关于手术部位的信息量,这降低了伤害患者的风险,并且提高了手术效率。这种立体受限带宽可见光图像和被突显的荧光图像的组合提供多种益处,包括但不限制于,允许外科医生实时确定用于患病组织切除的阳性肿瘤界限,以及确定例如肌腱的其他组织,从而避免不必要地切割该组织。
图1示出微创远程操做手术系统100的高度概略的视图,该系统100例如da手术系统,其中该手术系统100包括增强的立体可视系统。在该示例中,使用外科医生控制台114的外科医生远程操纵被安装在机器人操纵器臂113上的内窥镜112。还有与da手术系统相关的其他部分,缆线等等,但是这些在图1中并未示出,以避免削弱本公开。关于微创手术系统的进一步信息可以在例如,美国专利申请No.11/762165(2007年6月13日提交;公开微创手术系统)和美国专利US6331181(2001年12月18日提交;公开外科手术机器人工具、数据架构和使用)中找到,其中这两个申请包含在此以供参考。
如下面更为完整解释的,照射系统(未示出)有时被称为照射器,其被耦合至内窥镜112。照射系统选择性地提供下列中的一个(a)白光照射和(b)比白光的所有可见颜色照射成分更少的成分和至少一种荧光激发照射成分。来自照射系统的光通过光纤束(参看图2中的光纤束216)耦合至内窥镜112中的至少一个照射路径。光通过内窥镜112中的至少一个照射路径并且照射患者111的组织103。
在一个方面中,内窥镜112还包括两个光学通道,其用于传递来自组织的光例如反射的白光,或者是来自(多个)可见颜色照射成分和荧光的反射光。反射的白光被用于形成一个或多个正常的可见光图像。如下面更为完整解释的,来自(多个)可见颜色照射成分的反射光被用于形成受限带宽可见光图像。
当照射源正提供白光照射时,在图像捕获系统120中,自组织103反射的白光作为正常的采集的可见颜色立体图像被捕获。然而,当外科医生想要看到增强图像时,外科医生将观察模式改变到增强的观察模式。
在增强的观察模式中,断开白光的多个可见颜色照射成分中的至少一个,以便照射源提供比白光的所有可见颜色照射成分更少的成分。例如,如果使用白光的三种可见颜色照射成分,照射源提供最多两种可见颜色照射成分。因此,在增强的观察模式的该方面,使用一种或者两种可见颜色照射成分照射组织103,例如使用比白光的所有多个可见颜色照射成分更少的成分以及荧光激发照射成分。
在增强的观察模式中,采集的左和右可见颜色成分图像通过针对由照射器提供的每个可见颜色成分的元件121捕获,并且荧光被元件122捕获作为左和右荧光图像。除了可以阻止荧光的任何一个或多个滤波器被移除之外,图像捕获系统120是常规的图像捕获系统,并且一个或多个滤波器可以被用于阻止捕获来自一个或多个荧光激发源的任何直射光或者反射光。
显示图像控制器130从图像捕获系统120接收采集的信息。当采集的信息是正常可见颜色立体图像时,显示图像控制器130处理采集的正常可见颜色立体图像,其包括颜色校正采集的图像,并且将经颜色校正的采集的可见颜色立体图像发送至外科医生控制台114处的观察者,该控制台114显示图像。
类似地,在增强的观察模式中,显示图像控制器130从图像捕获系统120接收采集的信息,即由照射源提供的每个可见颜色成分的采集的可见立体颜色成分图像和采集的左和右荧光图像。在增强的观察模式中,显示图像控制器130使用增强图像校正过程代替正常颜色校正处理。
增强图像校正过程使用采集的(多个)可见立体颜色成分的图像生成受限带宽图像。例如,如果照射源提供两个可见颜色照射成分,即第一可见颜色照射成分和第二可见颜色照射成分,采集的可见颜色成分图像是采集的第一可见颜色成分图像和采集的第二可见颜色成分图像的组合。
显示图像控制器130中的增强图像校正过程组合了采集的第一和第二可见颜色成分图像,并且将该组合提供至外科医生控制台114上的显示器的每个颜色成分输入端。显示器生成受限带宽图像。因为图像不包括针对第三可见颜色照射成分的采集的可见颜色成分图像,所以图像为受限带宽图像。
另外,增强图像校正过程将采集的荧光图像添加至显示器的颜色成分输入端中的一个,以便颜色成分输入端中的一个接收荧光图像加上采集的第一和第二可见颜色成分图像的组合。输入到显示器的另外两个颜色成分输入端仅接收采集的第一和第二可见颜色成分图像的组合。在该示例中,如果荧光图像被添加至绿色成分,外科医生看到手术部位的类似立体黑白图像,其中在该黑白图像中组织或者其他解剖特征生成突显为绿色的荧光。
现在共同参考图2至图4,图2为图1所示微创手术系统100的一个示例的各方面的更详细说明。图3是图2中系统操作的流程图,而图4是在图2所示系统中的照射组织和捕获图像的时序图。
在图2所示实施例中,微创手术系统200包括组合光源210的照射器。组合光源210包括可见颜色成分源211和荧光激发源212。只要组合光源210具有下列更为完整描述的能力,源211和212的具体实现方式就是不重要的。
在照射组织过程302(图3)中,组合光源210与立体内窥镜201中的至少一个照射路径一起使用,以照射组织203。在该示例中,组合光源210具有两种操作模式:正常的观察模式和增强观察模式。
在正常的观察模式中,可见颜色成分源211提供用以白光照射组织203的照射,即,使用源211中的所有可见颜色照射成分源。在正常的观察模式中不使用荧光激发源212。
在增强观察模式中,可见颜色成分源211提供比需要用白光照射组织203的所有可见颜色成分更少的成分,例如,在照射中不包括白光的一种或者更多可见颜色成分。在一些方面,例如,可能的是在增强的观察模式中使用白光的所有可见颜色照射成分,但是包括来自一个或者更多可见颜色照射成分源的微不足道的照射,以及来自其余的可见颜色成分照射源的增强的观察模式照射。微不足道的照射意味着可见颜色照射成分源提供的照射低得足以使得当微不足道的照射图像和荧光被一起采集作为共同采集的图像时,采集的微不足道的照射图像不会降低采集的荧光图像的质量。因此,提供针对一个或者更多可见颜色照射成分的微不足道的照射实际上等同于使用比白光的所有可见颜色成分更少的成分来照射组织。
在一个方面中,三个可见颜色成分组成白光照射,即白光包括第一可见颜色成分、第二可见颜色成分和第三可见颜色成分。三个可见颜色成分的每个为不同可见颜色成分,例如红色成分、绿色成分和蓝色成分。使用三种可见颜色成分以形成白光照射是多个这种成分的示意说明,而不是意图限制。
在增强观察模式中,荧光激发源212提供激发来自组织203的荧光的荧光激发照射成分。例如,来自荧光激发源212的窄带光被用于激发组织特定的荧光,以便捕获组织203内的特定组织的荧光图像。
在增强的观察模式中,由可见颜色成分源211提供的可见颜色照射成分的数量取决于捕获的不同荧光图像的数量。在该示例中,如果捕获一个荧光图像,则由可见颜色成分源211提供一个或者两个不同的可见颜色照射成分。如果捕获两个不同的荧光图像,则由可见颜色成分源211提供一个可见颜色照射成分。
在一个方面中,可见颜色成分源211包括针对在白光的多个可见颜色照射成分中的每个不同可见颜色照射成分的源。在一个示例中,对于红绿蓝实现方式,该源是发光二极管(LED),即一个红色LED、两个绿色LED以及一个蓝色LED。表1给出在该示例中使用的每个LED的输出波长的范围。
表1
可见颜色照射成分 | 波长 |
红色 | 670纳米(nm) |
绿色1 | 555nm |
绿色2 | 532nm |
蓝色 | 450nm |
在可见颜色成分源211中使用LED仅是示意说明,并非意图限制。例如,还能够用多个激光源替代LED来实现可见颜色成分源211。可替换地,可见颜色成分源211能够使用带有椭圆后向反射器的氙气灯和带通滤波器涂层,从而形成用于可见光图像的宽带白色照射灯。氙气灯的使用同样仅作为示意说明,并不是意图限制。例如,可以使用高压水银弧光灯、其他弧光灯或者其他宽带灯源。在增强的观察模式中,为了从这种源中除去一个或者更多个可见颜色照射成分,带通滤波器、棱镜等能够被并入组合光源210。
同样地,在增强模式中,如果荧光激发波长出现在可见光谱内,那么可见颜色成分源211(图3B)可以被用作可见颜色照射成分源和荧光激发照射成分源。如果荧光激发波长出现在可见光谱外(例如,在近红外区(NIR)),则激光模块(或者其他能量源,例如发光二极管或者被过滤的白光)被用作荧光激发源212。
因此,在一个方面中,荧光由来自荧光激发源212中的激光模块的光触发。作为示例,使用525nm的激光激发抗体试剂,该抗体试剂从Medarex公司获得。
为组合光源210选择的特定荧光激发源取决于所用的一种或者多种荧光。在表2中呈现体内使用的各种FDA的激发和发射最大值,其中FDA是经批准的荧光染料。
表2
荧光染料 | 激发最大值(nm) | 发射最大值(nm) |
荧光素 | 494 | 521 |
靛青绿 | 810 | 830 |
蓝胭脂红 | 在碱性溶液中436 | 在碱性溶液中528 |
亚甲蓝 | 664 | 682 |
表3呈现出用于生物系统中的常见的蛋白质荧光团的示例。
表3
**近似激发和荧光发射共轭最大值。
本领域技术人员理解荧光能够被结合到试剂,然后又结合至患者的特定组织。当选择特定的荧光团时,组合光源210包括荧光激发源212,其为该荧光提供具有激发最大波长的光。因此,假设使用感兴趣的一种或多种荧光团以及许多不同的荧光团,适当的光源能够被包括在组合光源210中。
上述表2和表3中的示例仅为示意说明,并不意图将该方面限制于所呈现的特定示例。鉴于该公开,能够选择可替换的组织成像特性,然后基于被使用的荧光,能够选择适当的光源。
在正常的或者增强的观察模式中,来自光源或者多个光源的光被导入光纤束216。光纤束216将光提供至立体内窥镜201中的照射路径,该照射路径又将光导向到组织203。
通过使用例如脚踏开关、控制手术器械的双击主控抓握器、声音控制以及其他类似开关方法,可以在正常和增强的观察模式之间切换立体显示器241上的视频输出。用于在两种观察模式之间转换的切换在图2中表示为显示模式选择250。
响应于来自显示模式选择250的用户输入,在用户界面260中信号被提供至观察模式检查过程301(图3),当选择正常观察模式时,又将控制信号提供至照射组织过程302。在一个方面中,由计算机代码生成用户界面260,其中计算机代码被存储在存储器132中,在处理器131上执行(图1)。
在一个方面中,正常观察模式为默认模式。在该方面在,显示模式选择250不会被使用,直到外科医生想要将观察模式从正常观察模式改变到增强观察模式,或者从增强观察模式改变到正常观察模式。
在正常观察模式中,照射组织过程302将正常观察模式操作信号发送至组合光源210中的功率和水平控制器215。示出功率和水平控制器215位于组合光源210中是为了简便,并不是意图将功率和水平控制器215的位置限制于该具体位置。
响应于正常观察模式操作信号,如果源212被打开,功率和水平控制器215断开荧光激发源212,并且使能可见颜色成分源211,以便向组织203提供白光。例如,当可见颜色成分源211包括三种可见颜色照射成分源时,向三种源的每个提供动力/功率。本领域技术人员认识到对于210中的各种源,代替接通和断开动力/功率,控制器215能够维持动力/功率始终接通,并且将来自源的输出导向到光纤束216和离开光纤维216导向,并且实现相同的结果。
因此,在正常观察模式中,照射组织过程302导致组织203被白光照射。在图4所示照射的图中,水平轴线为时间,竖直轴线代表源输出水平。三种可见颜色照射成分中的每种在正常观察模式操作过程中的源输出水平被定义为100%。因此,对于图4中时刻t1之前的时刻,来自三种可见颜色照射成分中的每个的输出水平被显示为100%,并且荧光激发照射成分的输出水平为零。
来自组织203的可见光(图2)通过内窥镜202中的立体光学路径,到达图像捕获系统220。在该方面中,图像捕获系统220包括常规的立体摄像机,其包括左图像电荷耦合装置(CCD)221A和右图像CCD222A。
因此,在正常观察模式中的捕获图像过程303(图3)中,左图像CCD 221A捕获可见光左图像421A(图4),并且右图像CCD 222A捕获可见光右图像422A。左图像CCD 221A捕获可见光左图像421A的红色、绿色以及蓝色图像,即采集的左图像为彩色图像。类似的,右图像CCD 222A捕获可见光右图像422A的红色、绿色以及蓝色图像。
左图像CCD 221A和右图像CCD 222A能够是每个捕获不同可见颜色成分的多个CCD;具有捕获特定可见颜色成分的不同CCD区域的单个CCD等。仅示出三芯片CCD传感器。还可以使用带有颜色滤波阵列的单个CMOS图像传感器或者三CMOS彩色图像传感器组件。
在正常观察模式中,为显示图像控制器230(图2)提供采集的正常可见左可见光图像421A和采集的正常可见光右图像422A(图4),其中显示图像控制器230执行图像处理过程304(图3)。在图像处理过程304中,颜色图像校正过程231处理采集的正常可见左可见光图像421A和采集的正常可见光右图像422A。经颜色校正的采集的正常可见左可见光图像和经颜色校正的采集的正常可见光右图像被发送至立体显示器241,并且在生成组织立体视频显示过程305中显示立体彩色图像。
正常观察模式中的处理等价于常规的微创手术系统中的处理,因此被本领域技术人员所知晓。同样地,为每个帧重复执行过程301至305,以便外科医生看到组织203的实时视频图像。
在正常观察模式过程中,给外科医生提供组织203A的正常三维彩色视图500A(图5A)。然而,外科医生可能希望看到在组织203A的三维视图中被突显的组织203A中的感兴趣区域或者多个感兴趣区域。例如,外科医生可能希望看到组织203A和/或特定组织(例如肌腱或者器官)的患病部分。因此,在时刻t1处(图4),外科医生使用显示模式选择250将观察模式变为增强观察模式。
响应于来自显示模式选择250的用户输入,增强的显示选择信号被提供至用户界面260中的观察模式检查过程301。响应于增强的显示选择信号,检查过程301将增强图像控制信号提供至照射组织过程302和图像处理过程304。
响应于增强的显示控制信号,照射组织过程302将增强的显示信号发送至组合光源210中的功率和水平控制器215。响应于增强的显示信号,功率和水平控制器215接通荧光激发源212,并且在该示例中,断开可见颜色成分源211中的第三可见颜色照射成分,以便仅第一和第二可见颜色照射成分和荧光激发照射成分被供应至光纤束216。
因此,使用第一和第二可见颜色照射成分,而不是第三可见颜色照射成分照射组织203。还可以使用荧光激发照射成分212照射组织203。
同样地,在一个实施例中,功率和水平控制器215降低第一和第二可见颜色照射成分的输出水平,例如将输出水平降低到十分之一。因此,如图4所示,在时刻t1之后,第一和第二可见颜色照射成分的输出水平相对于时刻t1之前的输出水平降低,并且第三可见颜色成分照射输出水平为零。同样地,接通荧光激发照射成分。
在该示例中,通过CCD或者部分CCD,为第三可见颜色成分捕获由荧光激发照射成分激发的荧光。例如,如果荧光处于近红外区,第三可见颜色成分为红色成分,并且第一和第二可见颜色成分为蓝色和绿色成分。
可替换地,如果荧光处于绿色可见颜色成分的范围内,第三可见颜色照射成分将是绿色可见颜色成分,并且在源211中将被断开,并且第一和第二可见颜色成分为红色和蓝色成分。如果荧光处于紫外线范围,第三可见颜色照射成分将是蓝色成分,并且在源211中将被断开,并且第一和第二可见颜色成分为红色和绿色成分。
如在本文中使用的,“第一”、“第二”和“第三”为用于区分可见颜色成分的形容词。因此,“第一”、“第二”和“第三”不意图暗示可见光波长光谱内的可见颜色成分的任何顺序。
在一个方面中,为确保组织203上无入射光处于或者接近被断开的可见颜色照射成分的波长,与被断开的可见颜色照射成分的波长接近或重叠的邻近(多个)彩色可见颜色照射成分的波长在某种程度被阻隔。这确保采集的荧光图像不会被由捕获荧光图像的CCD所捕获的任何可见光削减。例如,当可见颜色成分源211具有表1中给出的四种源,并且第三可见颜色照射成分为红色可见颜色成分时,在增强的观察模式中,同样断开具有波长邻近红色光源波长的绿色光源。
来自组织203的光(图2)经过内窥镜202中的立体光学路径到达图像捕获系统220。在一个方面中,在图像被捕获之前,滤波器221B和222B被用于过滤来自荧光激发源212的任何反射或者直射光。
在捕获图像过程303中(图像3),在增强的观察模式中,左图像CCD 221A捕获采集的左第一和第二可见颜色成分图像以及采集的左荧光图像421B(图4),并且右图像CCD 222A捕获采集的右第一和第二可见颜色成分图像以及采集的右荧光图像422B。例如,如果第三可见颜色成分为红色可见颜色成分,左图像CCD 221A中的蓝色和绿色CCD分别为左图像捕获蓝色和绿色左可见颜色成分图像。左图像CCD 221A中的红色CCD捕获左荧光图像。类似地,右图像CCD 222A中的蓝色和绿色CCD分别为右图像捕获蓝色和绿色可见颜色成分图像。右图像CCD 222A中的红色CCD捕获右荧光图像。
在该示例中,不存在第三可见颜色成分照射源,因此不存在自组织203反射的第三可见颜色成分光。这使得通常捕获图像中的第三可见颜色成分光的CCD或者部分CCD可用于捕获荧光图像。因此,无需附加的摄像机、内窥镜中的光学路径、或者附加的内窥镜来采集可见颜色成分图像和荧光图像。在此,当表述图像中的可见颜色成分图像与可见颜色成分照射源有关时,表示可见颜色成分照射源提供生成图像中的可见颜色成分图像的光。
在增强的观察模式中,采集的左第一和第二可见颜色成分图像和采集的左荧光图像,以及采集的右第一和第二可见颜色成分图像和采集的右荧光图像被提供给执行图像处理过程304的图像控制器230。参考上面,如上所述,图像处理过程304已接收增强的显示信号。因此,图像处理过程304从颜色图像校正过程231改变到增强图像校正过程232。
增强图像校正过程232在左和右图像上均执行相同的过程,因此在描述中不考虑左和右命名。图6是针对该示例的输入到增强图像校正过程232A的输入信息,以及从增强图像校正过程232A输出的输出信息的方框图。
增强图像校正过程232A在第一颜色成分输入端上接收采集的第一可见颜色成分图像AVC1;在第二颜色成分输入端上接收采集的第二可见颜色成分图像AVC2;以及在第三颜色成分输入端上接收采集的荧光图像AF。增强图像校正过程232A组合采集的第一可见颜色成分图像AVC1和采集的第二可见颜色成分图像AVC2,例如形成两个采集的成分图像的平均,用于生成受限带宽可见光图像。每个受限带宽图像的颜色成分是两个采集的可见颜色成分图像的平均。
在该示例中,增强图像校正过程232将采集的荧光图像AF添加至带宽受限图像的第二可见颜色成分,该带宽受限图像为采集的第一可见颜色成分图像AVC1和采集的第二可见颜色成分图像AVC2的组合。添加的结果被供应至第二可见颜色成分输出端。在该示例中,第二可见颜色成分输出端为可见颜色成分的输出端,经验研究表明该可见颜色成分是外科医生优选的,例如绿色成分。
在该示例中,采集的第一可见颜色成分图像AVC1和采集的第二可见颜色成分图像AVC2的组合被发送至每个第一和第三可见颜色成分输出端。采集的荧光图像AF加上采集的第一可见颜色成分图像AVC1和采集的第二可见颜色成分图像AVC2的组合,被发送至第二可见颜色成分输出端。本领域技术人员应理解,关于增强图像校正过程232所描述的操作是例如基于像素相对于帧子单元进行的,并且“附加”是象征性的,并且可能要求撤销和重做伽马校正,以例如实现清晰的图像。
在生成组织立体视频显示过程305中(图3),在立体显示器241(图2)上显示来自增强图像校正过程232的输出。在增强的观察模式中,分别执行过程301至305,以便外科医生参看组织203的实时视频增强图像。
在增强的观察模式期间,给外科医生提供组织203的三维受限带宽图像,该三维受限带宽图像中感兴趣区域503(图5B)以特定颜色被突显。在该示例中,其中使用两种可见颜色成分照射源,组织203的受限带宽图像是单色受限带宽图像。
当图5A中的图像203A是全彩并且图像203B是受限带宽单色图像时,两图中的细节和信息水平是相等的,但是单元图像203B包括附加的突显的信息503。对于图像203A和203B的观察模式之间的转换是快速的,并且实时发生。
增强显示的处理不会引起任何延迟,并且无需为随后处理后来的帧而存储帧。处理实时进行,因此三维图像的突显部分始终与三维图像的受限带宽单色部分同步。相比之下,当包括荧光图像的帧被存储,然后被及时地与稍后出现的帧配准,突显组织的位置可能被改变,并且因此突显的图像当被显示时与实际位置偏离。
当在时刻t2(图4)处,外科医生想要将观察模式改回至正常立体彩色图像时,外科医生使用显示模式选择250(图2)来将观察模式改变到正常观察模式。响应于改变,荧光激发源212被断开;第三可见颜色照射成分被接通;并且第一和第二可见颜色照射成分被返回至完全输出水平。参看图4,该处理与上述正常观察模式所述的相同,因此不再赘述。
在一个方面中,通过在处理器131上执行存储在存储器132中的图像校正模块135(图1),来进行图像处理过程304(图3)。在该示例中,图像校正模块135包括颜色模块136和增强的模块137。当在处理器131上执行颜色模块136时,执行颜色图像校正过程231。当在处理器131上执行增强的模块137时,执行增强图像校正过程232。示出两个模块136、137的使用。例如,本领域技术人员应理解两个模块能够作为单个模块被实施。
虽然本文所述的过程304包括在处理器上执行模块,但是应明白,具有过程231和232的过程304在实践中可以通过任何硬件、在处理器上执行的软件以及固件的组合实施。同样地,如在此描述的功能,可以通过一个单元执行,或者在不同的部件之间划分,部件中的每个又可以通过硬件、在处理器上执行的软件以及固件的任何组合被实施。当在不同部件之间划分时,部件可以被集中在一个位置或者为了分布式处理的目的被分布在系统100上。
上述示例仅用于示意说明,并不意图限制。在增强的观察模式中,能够使用荧光激发源和可见颜色成分照射源的各种组合。例如,外科医生想要观察患病组织(例如发荧光的肿瘤)以及其他特定组织(例如发荧光的肌腱),从而避免切割该组织。因此,使用两种不同的荧光团,其需要荧光激发源212(图2)中的两种不同荧光激发源(参看图7)。
在时刻t3处,响应于增强的显示控制信号,照射组织过程302将增强的显示信号发送至组合光源210中的功率和水平控制器215。响应于增强的显示信号,功率和水平控制器215接通荧光激发源212中的两种荧光激发照射成分,并且在该示例中,断开可见颜色成分源211中的第二和第三可见颜色照射成分,以便仅第一可见颜色照射成分、第一荧光激发照射成分和第二荧光激发照射成分被供应至光纤束216。
用第一可见颜色照射成分,而不是第二和第三可见颜色照射成分照射组织203。同样,用第一和第二荧光激发照射成分照射组织203。
同样地,在一个实施例中,功率和水平控制器215降低第一可见颜色照射成分的输出水平,例如输出水平降低到十分之一。因此,如图7所示,在时刻t3之后,第一可见颜色照射成分的输出水平相对于时刻t3之前的输出水平降低,并且第二和第三可见颜色照射成分输出水平为零。同样地,接通第一和第二荧光激发照射成分。
来自组织203(图2)的光通过内窥镜202中的立体光学路径到达图像捕获系统220。在一个方面中,在荧光图像被捕获之前,滤波器221B和222B被用于过滤来自荧光激发源212的两个荧光激发照射成分的任何反射或者直射光。
因此,在捕获图像过程303(图3)中,在增强的观察模式中,左图像CCD 221A捕获采集的左第一可见颜色成分图像、采集的左第一荧光图像以及采集的左第二荧光图像721B(图7)。右图像CCD 222A捕获采集的右第一可见颜色成分图像、采集的右第一荧光图像以及采集的右第二荧光图像722B(图7)。
例如,如果第三可见颜色成分为红色可见颜色成分,并且第二可见颜色成分为蓝色,左图像CCD 221A中的绿色CCD为左图像捕获绿色左可见颜色成分图像。左图像CCD 221A中的红色CCD捕获左第二荧光图像,并且左图像CCD 221中的蓝色CCD捕获左第一荧光图像。类似地,右图像CCD 222A中的绿色CCD为右图像捕获绿色可见颜色成分图像。右图像CCD 222A中的红色CCD捕获右第二荧光图像,并且右图像CCD 222A中的蓝色CCD捕获右第一荧光图像。
在该示例中,不存在第二可见颜色成分照射源,也不存在第三可见颜色成分照射源。因此,在来自组织203的光中不包括与第二和第三可见颜色照射成分关联的光。这使得通常捕获图像中的第二和第三可见颜色成分光的CCD或者CCD部分可用于捕获荧光图像。
参考上面,如上所述,图像处理过程304已经接收增强的显示信号。因此,图像处理过程304从图像721B、722B的颜色图像校正过程231改变到增强图像校正过程232。
此外,增强图像校正过程232在左和右图像上执行相同的过程,因此在描述中不考虑左和右命名。图8是输入到增强图像校正过程232B的输入信息,以及从增强图像校正过程232B输出的输出信息的方框图。
增强图像校正过程232B在第一颜色成分输入端上接收采集的第一可见颜色成分图像AVC1;在第二颜色成分输入端上接收采集的第一荧光图像AF1;以及在第三颜色成分输入端上接收采集的第二荧光图像AF2。增强图像校正过程232也形成采集的可见颜色成分图像的平均水平量,以生成受限带宽的可见光图像,但是因为仅采集一个可见颜色成分图像,因此平均量是采集的第一可见颜色成分图像AVC1。在该示例中,受限带宽图像的每个颜色成分是采集的第一可见颜色成分图像AVC1。
在该示例中,增强图像校正过程232B将采集的第一荧光图像AF1添加至受限带宽图像的第二颜色成分,并且将结果提供至第二可见颜色成分的输出端,其中该受限带宽图像是采集的第一可见颜色成分图像AVC1。增强图像校正过程232B还将采集的第二荧光图像AF2添加至受限带宽图像的第三颜色成分,并且将结果提供至第三可见颜色成分的输出端,该受限带宽图像是采集的第一可见颜色成分图像AVC1。在该实现方式中,包含来自图像AF1的像素数据和来自图像AF2的像素数据两者的任何像素呈现出某种中间色。
在该示例中,采集的第一可见颜色成分图像AVC1被发送至第一可见颜色成分输出端。采集的第一可见颜色成分图像AVC1加上采集的第一荧光图像AF1被发送至第二可见颜色成分输出端。采集的第一可见颜色成分图像AVC1加上采集的第二荧光图像AF2被发送至第三可见颜色成分输出。
在生成组织立体视频显示过程305(图3)中,在立体显示器241(图2)上显示来自增强图像校正过程232的输出。在增强的观察模式中,分别执行过程301至305,以便外科医生观察组织203的实时视频增强的图像。
因此,在增强观察模式过程中,给外科医生提供组织203的三维受限带宽图像,在该三维受限带宽图像中感兴趣的第一区域以特定颜色突显,并且感兴趣的第二区域以不同的颜色突显。
再次,增强显示的处理不会引起任何延迟,并且无需为随后处理后来的帧而存储帧。处理实时进行,并且因此图像的突显部分始终与图像的受限带宽单色部分同步。
在时刻t4(图7)处,当外科医生想要将观察模式改回至正常立体彩色图像时,外科医生使用显示模式选择250(图2)将观察模式改变到正常观察模式。响应于改变,荧光激发源212中的两种荧光激发照射成分被断开,第二和第三可见颜色照射成分被接通,并且第一可见颜色照射成分返回至完全输出水平。参看图7,该处理与上述正常观察模式所述的相同,因此不再赘述。
在上述描述中,邻近内窥镜安装摄像机。然而,这仅是示意性的,并不意图限制。只要摄像机能够采集由来自光学器件的光生成的可使用图像,不论观察光学器件和摄像机的相对位置如何,该过程都相同地工作。例如,本文描述的过程和结构能够与杆上具有芯片(chip-on-stick)的内窥镜一起使用。杆上具有芯片的内窥镜具有短的光学器件部分,其中摄像机恰好位于接近内窥镜尖端的光学器件后方。
同样,立体内窥镜作为示例使用。这同样仅是示意性,而不意图限制。在上述示例中,能够使用单象管内窥镜替代立体内窥镜。如上所述,借助于单象管内窥镜,仅能够采集和处理左和右图像中的一个。
示出本发明各方面和各实施例的上述描述和附图不应被视为限制性的,因为权利要求限定受保护的发明。在不背离本说明书和权利要求的精神和范围的情况下,可以作出各种机械的、构成的、结构的、电气的和操作的改变。在一些示例中,为了避免模糊本发明,未示出或者详细地描述众所周知的电路、结构和技术。
进一步地,本说明书的技术名词不意图限制本发明。例如,空间关系术语,诸如“在……之下”、“下方”、“下部”“在……之上”、“上方”、“近端/近侧”、“远端/远侧”以及类似术语可被用于描述附图中示出一个元件或者特征与另一个元件或特征的关系。除了附图中示出的位置和定向之外,这些空间关系术语还意图包括所使用的和操作的装置的不同部位(即位置)和取向(即旋转方位)。例如,如果附图中的装置被翻转,描述为其他元件或者特征的“之下”或者“下方”的元件,则将在其他元件或者特征的“之上”或者“上方”。因此,示例性术语“下方”可以包括之上和之下的位置和取向。装置可以被另外取向(旋转90度或者处于其他取向),并且本文使用的空间相关表示法被相应地解释。同样地,沿着和围绕各种轴线运动的描述包括各种特定装置位置和取向。
除非上下文另有所指,否则单数形式“一”、“一个”和“该/所述”也意图包括复数形式。术语“含有”、“包含”、“包括”等等规定存在所述特征、步骤、操作、元件和/或部件,但并不排除一个或者更多其他特征、步骤、操作、元件、部件和/或组的存在或增加。描述为耦合的部件可以是电气地或者机械地直接耦合,或者它们可以通过一个或者更多个中间部件间接耦合。
存储器是指易失性存储器、非易失性存储器或两者的任何组合。处理器被耦合至含有由处理器执行的指令的存储器。这能够在计算机系统内实现,或者可替换地,经由调制解调器和模拟线路或者数字接口和数字载波线路连接到另一台计算机的连接实现。
在此,计算机程序产品包含非临时性介质,该非临时性介质被配置成存储关于增强显示系统描述的操作中的任何一个或其任何组合所需要的计算机可读代码,或者在该非临时性介质中存储关于增强显示系统描述的操作中的任何一个或者其任何组合的计算机可读代码。一些计算机程序产品的示例是CD-ROM光盘、DVD光盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器和经网络传输的表示计算机可读程序代码的信号。非临时性的有形计算机程序产品包含非临时性的有形介质,该非临时性的有形介质被配置成存储关于增强的显示系统描述的操作中的任何一个或其任何组合的计算机可读指令,或者在该非临时性的有形介质中存储关于增强的显示系统描述的操作中的任何一个或其任何组合的计算机可读指令。非临时性的有形计算机程序产品为CD-ROM光盘、DVD光盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器和其他非临时物理存储介质。
鉴于该公开,可以通过使用用户感兴趣的操作系统和计算机编程语言在多种计算机系统配置中实施关于增强显示系统描述的操作中任何一个或者其任何组合使用的指令。
所有示例和示例性参考都是非限制性的,不应被用来将权利要求限制于本文所述的具体实现方式和实施例及其等价物。由于一个标题下的正文部分可以交叉参考或者应用于一个或者更多标题下的正文部分,所以标题仅是形式,而不应被用来以任何方式限制主题。最终,鉴于该公开,即使未在附图中具体示出或者在正文部分描述,关于一个方面或者实施例描述的特定特征也可以被应用于本发明的其他公开方面或者实施例。
Claims (22)
1.一种微创手术系统,其包含:
(i)摄像机,其中所述摄像机捕获第一采集成分图像和不同于所述第一采集成分图像的第二采集成分图像;
(ii)控制器,其被连接至所述摄像机,
其中所述控制器生成包括所述第一采集成分图像的受限带宽图像的第一可见颜色成分;
其中所述控制器生成包括所述第一采集成分图像的所述受限带宽图像的第二可见颜色成分,并且将所述第二采集成分图像添加至所述受限带宽图像的所述第二可见颜色成分,以便所述受限带宽图像的所述第二可见颜色成分包括所述第一采集成分图像和所述第二采集成分图像二者;
其中所述控制器生成包括所述第一采集成分图像的所述受限带宽图像的第三可见颜色成分;以及
进一步地,其中所述受限带宽图像不包括由白光的一个可见颜色成分产生的采集的可见颜色成分图像;以及
(iii)显示器,其被连接至所述控制器,从而接收所述受限带宽图像的第一、第二和第三成分,其中所述显示器显示包括所述受限带宽图像的图像,并且其中包括所述第二采集成分图像的图像部分相对于不包括所述第二采集成分图像的图像部分被突显。
2.根据权利要求1所述的系统,进一步包含:
照射器,其中所述照射器同时提供至少两种照射成分,其中当所述照射成分中的一个是荧光激发照射成分时,其他照射成分包括比白光的所有可见颜色成分更少的成分。
3.根据权利要求2所述的系统,
其中所述其他照射成分包括第一可见颜色照射成分;以及
其中所述第一采集成分图像是采集的第一可见颜色成分图像;并且所述第二采集成分图像是由所述荧光激发照射成分激发的荧光图像。
4.根据权利要求2所述的系统,其中所述其他照射成分包括所述第一可见颜色照射成分和第二可见颜色照射成分。
5.根据权利要求4所述的系统,其中所述摄像机捕获第三采集成分图像,其中所述第一采集成分图像是采集的第一可见颜色成分图像;所述第二采集成分图像是采集的荧光图像;并且所述第三采集成分图像是采集的第二可见颜色成分图像。
6.根据权利要求5所述的系统,
其中所述控制器从所述采集的第一和第二可见颜色成分图像生成所述受限带宽图像的所述第一、第二和第三颜色成分;
7.根据权利要求6所述的系统,
其中所述第一可见颜色成分是蓝色成分,以及所述第二可见颜色成分是绿色成分。
8.根据权利要求6所述的系统,其中所述受限带宽图像的所述第二颜色成分是绿色成分。
9.根据权利要求2所述的系统,其中所述其他照射成分是第一可见照射成分和第二荧光激发照射成分。
10.根据权利要求9所述的系统,其中所述摄像机捕获第三采集成分图像,其中所述第一采集成分图像是采集的第一可见颜色成分图像;所述第二采集成分图像是采集的第一荧光图像;并且所述第三采集成分图像是采集的第二荧光图像。
11.根据权利要求10所述的系统,
其中所述控制器将所述第三采集图像添加至所述受限带宽图像的所述第三可见颜色成分。
12.根据权利要求2所述的系统,其中所述照射器包括:
第一可见颜色照射成分源;
第二可见颜色照射成分源,其中所述第二可见颜色照射成分不同于所述第一可见颜色照射成分;
第三可见颜色照射成分源,
其中所述第三可见颜色照射成分不同于所述第二可见颜色照射成分,并且不同于所述第一可见颜色照射成分;以及
荧光激发照射源;并且
进一步地,其中所述系统包含:
功率水平和电源控制器,其被连接至所述第一、第二和第三可见颜色成分照射源,并且被连接至所述荧光激发照射源;以及
模式改变器,其被耦合至所述功率水平和电源控制器,该模式改变器具有第一状态和第二状态,
其中,当所述模式改变器具有所述第一状态时,所述功率水平和电源控制器(a)向所述第一、第二和第三可见颜色照射成分源提供功率,而不向所述荧光激发源提供功率,以及(b)所述第一、第二和第三可见颜色照射成分源具有第一照射水平;以及
其中,当所述模式改变器具有所述第二状态时,所述功率水平和电源控制器(a)向所述第一可见颜色照射成分源提供功率,向至少部分所述第二可见颜色照射成分源和所述荧光激发源提供功率,而不向所述第三可见颜色照射成分源提供功率,以及(b)降低所述第一可见颜色照射成分源和所述第二可见颜色照射成分源的所述照射水平。
13.一种在微创手术系统中生成增强的图像显示的方法,其包含:
通过控制器,生成包括第一采集成分图像的受限带宽图像的第一可见颜色成分;
通过所述控制器生成包括所述第一采集成分图像的所述受限带宽图像的第二可见颜色成分,并且将第二采集成分图像添加至所述第二可见颜色成分,其中所述第二采集成分表示由来自第一荧光激发照射源的照射激发的荧光;
通过控制器,生成包括所述第一采集成分图像的所述受限带宽图像的第三可见颜色成分,其中所述受限带宽图像不包括由白光的可见颜色照射成分中的一个产生的采集的可见颜色成分图像;以及
在显示屏上显示包括所述受限带宽图像的图像,其中相对于不包括所述第二采集成分图像的图像部分,突显包括所述第二采集成分图像的图像部分。
14.根据权利要求13所述的方法,
其中所述第一采集成分图像是采集的第一可见颜色成分图像。
15.根据权利要求13所述的方法,
其中所述第一采集成分图像是采集的第一可见颜色成分图像,并且所述方法进一步包含:
通过控制器,接收第三采集成分图像,其中所述第三采集成分图像是采集的第二可见颜色成分图像。
16.根据权利要求15所述的方法,
其中所述生成第一可见颜色成分还包含包括所述第三采集成分图像;
其中所述生成第二可见颜色成分还包含包括所述第三采集成分图像;以及
其中所述生成第三可见颜色成分还包含包括所述第三采集成分图像,以便所述受限带宽图像是受限带宽单色图像。
17.根据权利要求13所述的方法,
其中所述第一采集成分图像是采集的第一可见颜色成分图像,并且所述方法进一步包含:
通过所述控制器接收第三采集成分图像,其中所述第三采集成分图像是采集的第二荧光图像。
18.根据权利要求17所述的方法,
其中所述控制器将所述第三采集成分图像添加至所述受限带宽图像的所述第三颜色成分。
19.根据权利要求13所述的方法,还包含:
使用比白光的所有多个可见颜色照射成分更少的成分照射手术部位。
20.一种方法,其包含:
在处理器上执行增强图像校正模块,所述执行包含:
在多个可见颜色成分输入端的第一可见颜色成分输入端上,接收采集的第一可见颜色成分图像;
在所述多个可见颜色成分输入端的第二可见颜色成分输入端上,接收采集的荧光图像;
在第一可见颜色成分输出端上,生成包括所述采集的第一可见颜色成分图像的第一信号;
在第二可见颜色成分输出端上,生成包括所述采集的第一可见颜色成分图像和所述采集的荧光图像的组合的第二信号;以及
在第三可见颜色成分输出端上,生成包括所述采集的第一可见颜色成分图像的第三信号,其中所述第一、第二和第三信号的组合包含包括受限带宽图像和所述荧光图像的图像。
21.根据权利要求20所述的方法,还包含:
在所述多个可见颜色成分输入端的第三可见颜色成分输入端上,接收采集的第二可见颜色成分图像;以及
其中所述第一信号包括所述采集的第一可见颜色成分图像和所述采集的第二可见颜色成分图像的组合;
其中,所述第二信号包括所述采集的荧光图像加上所述采集的第一可见颜色成分图像和所述采集的第二可见颜色成分图像的组合;以及
其中,所述第三信号包括所述采集的第一可见颜色成分图像和所述采集的第二可见颜色成分图像的组合。
22.根据权利要求19所述的方法,还包含:
在所述多个可见颜色成分输入端的第三可见颜色成分输入端上,接收采集的第二荧光图像;以及
其中,所述第三信号是所述采集的第一可见颜色成分图像和所述采集的第二荧光图像的组合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510505335.3A CN105231976B (zh) | 2010-07-02 | 2011-06-22 | 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US36126010P | 2010-07-02 | 2010-07-02 | |
US61/361,260 | 2010-07-02 | ||
US12/855,864 US9211058B2 (en) | 2010-07-02 | 2010-08-13 | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
US12/855,864 | 2010-08-13 | ||
PCT/US2011/041479 WO2012003127A1 (en) | 2010-07-02 | 2011-06-22 | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510505335.3A Division CN105231976B (zh) | 2010-07-02 | 2011-06-22 | 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102958426A true CN102958426A (zh) | 2013-03-06 |
CN102958426B CN102958426B (zh) | 2015-09-16 |
Family
ID=44514962
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510505335.3A Active CN105231976B (zh) | 2010-07-02 | 2011-06-22 | 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 |
CN201180030716.0A Active CN102958426B (zh) | 2010-07-02 | 2011-06-22 | 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510505335.3A Active CN105231976B (zh) | 2010-07-02 | 2011-06-22 | 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9211058B2 (zh) |
EP (1) | EP2587988B1 (zh) |
JP (4) | JP6073784B2 (zh) |
KR (2) | KR101913622B1 (zh) |
CN (2) | CN105231976B (zh) |
WO (1) | WO2012003127A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106456276A (zh) * | 2014-03-17 | 2017-02-22 | 直观外科手术操作公司 | 用于组织接触检测和用于自动曝光和照明控制的系统和方法 |
CN106663318A (zh) * | 2014-07-25 | 2017-05-10 | 柯惠Lp公司 | 增强手术现实环境 |
US10588705B2 (en) | 2014-07-25 | 2020-03-17 | Covidien Lp | Augmented surgical reality environment for a robotic surgical system |
CN111281311A (zh) * | 2014-03-17 | 2020-06-16 | 直观外科手术操作公司 | 包括非白光总体照明器的外科手术系统 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2724973C (en) | 2008-05-20 | 2015-08-11 | University Health Network | Device and method for fluorescence-based imaging and monitoring |
US10682198B2 (en) | 2010-07-02 | 2020-06-16 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
US9211058B2 (en) * | 2010-07-02 | 2015-12-15 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
US9019345B2 (en) | 2010-07-02 | 2015-04-28 | Intuitive Surgical Operations, Inc. | Imaging mode blooming suppression |
US9277205B2 (en) * | 2012-05-14 | 2016-03-01 | Intuitive Surgical Operations, Inc. | Single-chip sensor multi-function imaging |
WO2014152757A2 (en) * | 2013-03-15 | 2014-09-25 | Stryker Corporation | Endoscopic light source and imaging system |
WO2015002311A1 (ja) * | 2013-07-05 | 2015-01-08 | オリンパスメディカルシステムズ株式会社 | 医療表示装置および内視鏡手術システム |
JP2017516507A (ja) * | 2014-03-17 | 2017-06-22 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | イメージング器具の向きの制御のためのシステム及び方法 |
JP6769949B2 (ja) | 2014-07-24 | 2020-10-14 | ユニバーシティー ヘルス ネットワーク | 診断目的のためのデータの収集および解析 |
CN104323858B (zh) * | 2014-10-22 | 2017-02-22 | 中国科学院自动化研究所 | 手持式分子影像导航系统 |
WO2016061754A1 (zh) | 2014-10-22 | 2016-04-28 | 中国科学院自动化研究所 | 一种手持式分子影像导航系统 |
JP2019502419A (ja) * | 2015-11-05 | 2019-01-31 | コヴィディエン リミテッド パートナーシップ | 表層下血液の検出のためのシステムと方法 |
JP6461024B2 (ja) | 2016-02-05 | 2019-01-30 | 富士フイルム株式会社 | 画像位置合せ装置、方法およびプログラム |
EP3284396B1 (en) * | 2016-08-16 | 2020-02-12 | Leica Instruments (Singapore) Pte. Ltd. | Observation apparatus and method for visual enhancement of an observed object |
CN106377219A (zh) * | 2016-10-11 | 2017-02-08 | 重庆金山医疗器械有限公司 | 一种全彩黑白双镜头胶囊内窥镜及其工作系统 |
WO2018211885A1 (ja) * | 2017-05-17 | 2018-11-22 | ソニー株式会社 | 画像取得システム、制御装置及び画像取得方法 |
KR102351542B1 (ko) * | 2017-06-23 | 2022-01-17 | 삼성전자주식회사 | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 |
JP2021006070A (ja) * | 2017-09-10 | 2021-01-21 | カイロス株式会社 | 内視鏡システム |
JP7059353B2 (ja) * | 2018-03-05 | 2022-04-25 | オリンパス株式会社 | 内視鏡システム |
EP3756531B1 (en) | 2018-03-23 | 2023-06-07 | Sony Olympus Medical Solutions Inc. | Medical display control device and display control method |
DE102018110640B4 (de) | 2018-05-03 | 2020-01-23 | Carl Zeiss Meditec Ag | Verfahren und Mikroskop zum Abbilden eines Objekts |
US10524666B2 (en) | 2018-05-09 | 2020-01-07 | Inner Ray, Inc. | White excitation light generating device and white excitation light generating method |
US20200022657A1 (en) * | 2018-07-18 | 2020-01-23 | General Electric Company | Minimally invasive procedure analysis and review system and method |
JP7286948B2 (ja) * | 2018-11-07 | 2023-06-06 | ソニーグループ株式会社 | 医療用観察システム、信号処理装置及び医療用観察方法 |
US20220061671A1 (en) * | 2019-01-17 | 2022-03-03 | Moleculight Inc. | Modular system for multi-modal imaging and analysis |
EP3914139A1 (en) * | 2019-01-25 | 2021-12-01 | Intuitive Surgical Operations, Inc. | Augmented medical vision systems and methods |
US11442254B2 (en) | 2019-04-05 | 2022-09-13 | Inner Ray, Inc. | Augmented reality projection device |
US11284785B2 (en) | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Controlling integral energy of a laser pulse in a hyperspectral, fluorescence, and laser mapping imaging system |
JP2021149558A (ja) * | 2020-03-19 | 2021-09-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置、医療用観察システムおよび画像処理方法 |
EP4105707A4 (en) * | 2020-03-19 | 2023-08-23 | Sony Olympus Medical Solutions Inc. | MEDICAL OBSERVATION SYSTEM, CONTROL DEVICE AND CONTROL METHOD |
WO2022056362A1 (en) * | 2020-09-11 | 2022-03-17 | Verily Life Sciences Llc | Image processing to compensate for scene lighting during surgical procedures |
US20240225432A9 (en) * | 2021-03-19 | 2024-07-11 | Sony Olympus Medical Solutions Inc. | Medical observation system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496719B2 (en) * | 1999-12-24 | 2002-12-17 | Fuji Photo Film Co., Ltd. | Apparatus for displaying fluorescence images |
US20030135092A1 (en) * | 2002-01-15 | 2003-07-17 | Xillix Technologies Corporation | Fluorescence endoscopy video systems with no moving parts in the camera |
CN101573068A (zh) * | 2006-12-28 | 2009-11-04 | 奥林巴斯株式会社 | 内窥镜系统 |
EP2133021A1 (en) * | 2008-06-13 | 2009-12-16 | FUJIFILM Corporation | Light source device, imaging apparatus and endoscope apparatus |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63242232A (ja) | 1987-03-31 | 1988-10-07 | 株式会社東芝 | 計測内視鏡装置 |
JP3020973B2 (ja) | 1989-12-29 | 2000-03-15 | キヤノン株式会社 | 画像処理方法 |
US5590660A (en) * | 1994-03-28 | 1997-01-07 | Xillix Technologies Corp. | Apparatus and method for imaging diseased tissue using integrated autofluorescence |
JP3962122B2 (ja) * | 1996-11-20 | 2007-08-22 | オリンパス株式会社 | 内視鏡装置 |
US6331181B1 (en) | 1998-12-08 | 2001-12-18 | Intuitive Surgical, Inc. | Surgical robotic tools, data architecture, and use |
DE19800312A1 (de) * | 1998-01-07 | 1999-07-08 | Wolf Gmbh Richard | Diagnosegerät zur bildgebenden Aufnahme fluoreszierender biologischer Gewebebereiche |
NZ529432A (en) * | 1999-01-26 | 2005-07-29 | Newton Lab Inc | Autofluorescence imaging system for endoscopy |
US6867851B2 (en) * | 1999-11-04 | 2005-03-15 | Regents Of The University Of Minnesota | Scanning of biological samples |
JP2002095663A (ja) * | 2000-09-26 | 2002-04-02 | Fuji Photo Film Co Ltd | センチネルリンパ節光断層画像取得方法および装置 |
JP2002102145A (ja) | 2000-09-28 | 2002-04-09 | Asahi Optical Co Ltd | 電子内視鏡システム |
JP4589514B2 (ja) * | 2000-10-11 | 2010-12-01 | Hoya株式会社 | 電子内視鏡システム |
US6826424B1 (en) * | 2000-12-19 | 2004-11-30 | Haishan Zeng | Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices |
JP4723109B2 (ja) * | 2001-04-03 | 2011-07-13 | 本田技研工業株式会社 | 太陽電池モジュールの製造方法および太陽電池モジュール製造用治具 |
US20060241496A1 (en) | 2002-01-15 | 2006-10-26 | Xillix Technologies Corp. | Filter for use with imaging endoscopes |
JP3869324B2 (ja) * | 2002-06-26 | 2007-01-17 | オリンパス株式会社 | 蛍光観察用画像処理装置 |
JP4217477B2 (ja) | 2002-12-27 | 2009-02-04 | Hoya株式会社 | 診断補助用装置 |
US7697975B2 (en) | 2003-06-03 | 2010-04-13 | British Colombia Cancer Agency | Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection |
JP2005111080A (ja) * | 2003-10-09 | 2005-04-28 | Olympus Corp | 手術支援システム |
US20060013523A1 (en) | 2004-07-16 | 2006-01-19 | Luna Innovations Incorporated | Fiber optic position and shape sensing device and method relating thereto |
JP4610970B2 (ja) | 2004-09-07 | 2011-01-12 | オリンパス株式会社 | 着脱フィルタ装置および内視鏡装置 |
JP5197916B2 (ja) * | 2004-09-08 | 2013-05-15 | オリンパス株式会社 | 内視鏡装置 |
JP2006134056A (ja) | 2004-11-05 | 2006-05-25 | Hitachi Ltd | 情報表示装置 |
JP2006263044A (ja) * | 2005-03-23 | 2006-10-05 | Fuji Photo Film Co Ltd | 蛍光検出システム |
JP5114024B2 (ja) | 2005-08-31 | 2013-01-09 | オリンパス株式会社 | 光イメージング装置 |
US8062211B2 (en) | 2006-06-13 | 2011-11-22 | Intuitive Surgical Operations, Inc. | Retrograde instrument |
WO2009094465A1 (en) * | 2008-01-24 | 2009-07-30 | Lifeguard Surgical Systems | Common bile duct surgical imaging system |
US20090236541A1 (en) * | 2008-03-24 | 2009-09-24 | General Electric Company | System and Methods for Optical Imaging |
US8169468B2 (en) * | 2008-04-26 | 2012-05-01 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot |
JP5081720B2 (ja) * | 2008-05-22 | 2012-11-28 | 富士フイルム株式会社 | 蛍光内視鏡装置および励起光ユニット |
JP2010082141A (ja) | 2008-09-30 | 2010-04-15 | Fujinon Corp | 電子内視鏡装置 |
JP2010082041A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 電子内視鏡システム |
JP5246698B2 (ja) * | 2008-12-09 | 2013-07-24 | 富士フイルム株式会社 | 撮像装置 |
DE102008062650B9 (de) | 2008-12-17 | 2021-10-28 | Carl Zeiss Meditec Ag | Operationsmikroskop zur Beobachtung einer Infrarot-Fluoreszenz und Verfahren hierzu |
WO2010079484A1 (en) * | 2009-01-07 | 2010-07-15 | Given Imaging Ltd. | Device and method for detection of an in-vivo pathology |
WO2011135992A1 (ja) * | 2010-04-28 | 2011-11-03 | オリンパス株式会社 | 画像処理装置および蛍光観察装置 |
US9211058B2 (en) * | 2010-07-02 | 2015-12-15 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
-
2010
- 2010-08-13 US US12/855,864 patent/US9211058B2/en active Active
-
2011
- 2011-06-22 CN CN201510505335.3A patent/CN105231976B/zh active Active
- 2011-06-22 JP JP2013518487A patent/JP6073784B2/ja active Active
- 2011-06-22 WO PCT/US2011/041479 patent/WO2012003127A1/en active Application Filing
- 2011-06-22 EP EP11729849.7A patent/EP2587988B1/en active Active
- 2011-06-22 KR KR1020177037088A patent/KR101913622B1/ko active IP Right Grant
- 2011-06-22 KR KR1020127023355A patent/KR101813909B1/ko active IP Right Grant
- 2011-06-22 CN CN201180030716.0A patent/CN102958426B/zh active Active
-
2015
- 2015-12-08 US US14/962,865 patent/US20160089013A1/en not_active Abandoned
-
2017
- 2017-01-05 JP JP2017000698A patent/JP6321224B2/ja active Active
-
2018
- 2018-04-04 JP JP2018072555A patent/JP6605654B2/ja active Active
-
2019
- 2019-10-16 JP JP2019189434A patent/JP7049302B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496719B2 (en) * | 1999-12-24 | 2002-12-17 | Fuji Photo Film Co., Ltd. | Apparatus for displaying fluorescence images |
US20030135092A1 (en) * | 2002-01-15 | 2003-07-17 | Xillix Technologies Corporation | Fluorescence endoscopy video systems with no moving parts in the camera |
CN101573068A (zh) * | 2006-12-28 | 2009-11-04 | 奥林巴斯株式会社 | 内窥镜系统 |
EP2133021A1 (en) * | 2008-06-13 | 2009-12-16 | FUJIFILM Corporation | Light source device, imaging apparatus and endoscope apparatus |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106456276A (zh) * | 2014-03-17 | 2017-02-22 | 直观外科手术操作公司 | 用于组织接触检测和用于自动曝光和照明控制的系统和方法 |
CN106456276B (zh) * | 2014-03-17 | 2019-12-10 | 直观外科手术操作公司 | 用于组织接触检测和用于自动曝光和照明控制的系统和方法 |
CN111281311A (zh) * | 2014-03-17 | 2020-06-16 | 直观外科手术操作公司 | 包括非白光总体照明器的外科手术系统 |
CN111281311B (zh) * | 2014-03-17 | 2022-09-02 | 直观外科手术操作公司 | 包括非白光总体照明器的外科手术系统 |
CN106663318A (zh) * | 2014-07-25 | 2017-05-10 | 柯惠Lp公司 | 增强手术现实环境 |
US10588705B2 (en) | 2014-07-25 | 2020-03-17 | Covidien Lp | Augmented surgical reality environment for a robotic surgical system |
US10607345B2 (en) | 2014-07-25 | 2020-03-31 | Covidien Lp | Augmented surgical reality environment |
CN106663318B (zh) * | 2014-07-25 | 2021-03-16 | 柯惠Lp公司 | 增强手术现实环境 |
US11080854B2 (en) | 2014-07-25 | 2021-08-03 | Covidien Lp | Augmented surgical reality environment |
US11096749B2 (en) | 2014-07-25 | 2021-08-24 | Covidien Lp | Augmented surgical reality environment for a robotic surgical system |
Also Published As
Publication number | Publication date |
---|---|
EP2587988A1 (en) | 2013-05-08 |
JP6073784B2 (ja) | 2017-02-01 |
CN105231976B (zh) | 2017-04-26 |
JP2013531538A (ja) | 2013-08-08 |
KR20180004287A (ko) | 2018-01-10 |
US20120004557A1 (en) | 2012-01-05 |
JP6605654B2 (ja) | 2019-11-13 |
JP2017104567A (ja) | 2017-06-15 |
US9211058B2 (en) | 2015-12-15 |
KR101913622B1 (ko) | 2018-11-01 |
JP7049302B2 (ja) | 2022-04-06 |
JP6321224B2 (ja) | 2018-05-09 |
EP2587988B1 (en) | 2014-11-12 |
JP2020006244A (ja) | 2020-01-16 |
CN105231976A (zh) | 2016-01-13 |
CN102958426B (zh) | 2015-09-16 |
JP2018140186A (ja) | 2018-09-13 |
WO2012003127A1 (en) | 2012-01-05 |
KR20130097058A (ko) | 2013-09-02 |
KR101813909B1 (ko) | 2018-01-30 |
US20160089013A1 (en) | 2016-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102958426B (zh) | 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统 | |
KR101977135B1 (ko) | 수술 로봇용 확대 입체 가시영상 | |
US9258549B2 (en) | Single-chip sensor multi-function imaging | |
CN102958420B (zh) | 微创手术系统中的双光路棱镜与摄像机 | |
US11717375B2 (en) | Methods and systems for alternate image display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |